WO2019073802A1 - 送信装置および送信方法、並びにプログラム - Google Patents

送信装置および送信方法、並びにプログラム Download PDF

Info

Publication number
WO2019073802A1
WO2019073802A1 PCT/JP2018/035841 JP2018035841W WO2019073802A1 WO 2019073802 A1 WO2019073802 A1 WO 2019073802A1 JP 2018035841 W JP2018035841 W JP 2018035841W WO 2019073802 A1 WO2019073802 A1 WO 2019073802A1
Authority
WO
WIPO (PCT)
Prior art keywords
transmission
layer
processing unit
encoding
underflow
Prior art date
Application number
PCT/JP2018/035841
Other languages
English (en)
French (fr)
Inventor
秀友 平尾
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP18866425.4A priority Critical patent/EP3678372A4/en
Priority to RU2020112245A priority patent/RU2020112245A/ru
Priority to KR1020207009290A priority patent/KR20200058431A/ko
Priority to CN201880065114.0A priority patent/CN111183640A/zh
Priority to BR112020006752-0A priority patent/BR112020006752A2/pt
Priority to US16/753,409 priority patent/US11070827B2/en
Priority to JP2019548108A priority patent/JP7173028B2/ja
Publication of WO2019073802A1 publication Critical patent/WO2019073802A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401—Monitoring of the client buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server

Definitions

  • the present disclosure relates to a transmission device and transmission method and program, and more particularly to a transmission device and transmission method and program that can transmit a moving image so as to be reproduced with lower delay.
  • Patent Document 1 discloses, for example, a technique capable of enhancing error resistance in a video communication system using scalable video coding.
  • the present disclosure has been made in view of such a situation, and is to enable transmission of a moving image so as to be reproduced with lower delay.
  • a transmission apparatus transmits an encoding unit that performs spatial scalable encoding on a moving image, and a process of transmitting, via a network, a picture for each layer encoded by the encoding unit. Reference is made when encoding the upper layer when it is predicted that the processing unit and the reception buffer are likely to cause underflow or feedback indicating that the reception buffer has underflow has occurred. And a reference layer control processing unit configured to control the encoding unit so as to limit the reference layer to an intermediate layer generated from the lower layer.
  • a transmission device that transmits a moving image performs spatially scalable encoding on the moving image, and transmits encoded pictures for each layer via a network.
  • a transmission device that transmits a moving image performs spatially scalable encoding on the moving image, and transmits encoded pictures for each layer via a network.
  • a computer of a transmitting apparatus that transmits a moving image performs spatially scalable encoding on the moving image, and encoded pictures of each layer via a network.
  • the upper layer is encoded when performing transmission processing and when it is predicted that the possibility of underflow occurring in the reception buffer is high, or when feedback indicating that underflow has occurred in the reception buffer is received. And performing control to limit the reference layer to be referred to at that time to the intermediate layer generated from the lower layer.
  • spatial scalable encoding is performed on a moving image, and a process of transmitting the encoded picture for each layer through the network is performed. Then, when it is predicted that the underflow is likely to occur in the reception buffer, or when feedback indicating that the underflow has occurred in the reception buffer is received, the reference layer to be referred to when encoding the upper layer is selected. Control is performed to limit to the intermediate layer generated from the lower layer.
  • a moving image can be transmitted to be reproduced with lower delay.
  • FIG. 1 is a block diagram illustrating a configuration example of an embodiment of a network camera system to which the present technology is applied. It is a figure explaining the general transmission of a moving image. It is a figure explaining the state which an underflow generate
  • Fig. 21 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of a network camera system to which the present technology is applied.
  • the network camera system 11 is configured by connecting an imaging device 21, a transmitting device 22, a receiving device 23, and a display device 24 via a network 25.
  • the transmission device 22 further includes an image processing unit 31, an encoding unit 32, a transmission processing unit 33, and a transmission control unit 34.
  • the transmission control unit 34 includes a transmission path selection processing unit 35 and a reference layer control processing unit 36.
  • the reception device 23 further includes a reception processing unit 41, a decoding unit 42, and a display processing unit 43.
  • the reception processing unit 41 includes a reception buffer 44.
  • the imaging device 21 includes an imaging device such as a complementary metal oxide semiconductor (CMOS) image sensor, for example, and supplies a moving image obtained by imaging with the imaging device to the image processing unit 31 of the transmission device 22. .
  • CMOS complementary metal oxide semiconductor
  • the image processing unit 31 performs various types of image processing on the moving image captured by the imaging device 21. For example, the image processing unit 31 performs image processing for adjusting the bit rate, resolution, frame rate, etc. of the moving image. Supply.
  • the encoding unit 32 can perform space-scalable encoding on the moving image supplied from the image processing unit 31, and can encode a stream of pictures (such as I picture and P picture) obtained by encoding the moving image.
  • the data is supplied to the transmission processing unit 33.
  • the encoding unit 32 can limit the reference layer to the inter-layer IL (see FIG. 7) according to the transmission control by the transmission control unit 34.
  • the transmission processing unit 33 performs transmission processing for transmitting the stream of pictures supplied from the encoding unit 32 to the receiving device 23 via the network 25. At this time, the transmission processing unit 33 can transmit the picture through the transmission path according to the transmission control by the transmission control unit 34.
  • the transmission control unit 34 performs transmission control by the transmission path selection processing unit 35 and the reference layer control processing unit 36 such that transmission of a moving image in the network camera system 11 has a low delay.
  • the transmission path selection processing unit 35 constantly monitors the transmission of each picture by the transmission processing unit 33, acquires the delay amount until the start of transmission, and the rate after the start of transmission, and calculates their statistical values. Then, as will be described with reference to FIG. 6 described later, the transmission path selection processing unit 35 estimates that transmission will be completed sooner, based on the calculated statistic and the code amount of the picture. Are selected, and the transmission processing unit 33 is controlled to transmit a picture through the transmission path.
  • the reference layer control processing unit 36 refers to, for example, FIG. 7 described later when it is predicted that the possibility of underflow occurring in the reception buffer 44 is high based on the statistical value calculated by the transmission path selection processing unit 35.
  • the encoding unit 32 controls the encoding unit 32 to limit the reference layer to the inter-layer IL.
  • the reference layer control processing unit 36 may perform the same control on the encoding unit 32 when receiving feedback from the receiving device 23 that the underflow has occurred in the reception buffer 44.
  • the reception processing unit 41 receives pictures transmitted via the network 25 and sequentially stores them in the reception buffer 44 temporarily. Then, the reception processing unit 41 sequentially reads from the reception buffer 44 the pictures that have become the display timing according to the frame interval, and supplies the pictures to the decoding unit 42. In addition, when a delay occurs in the transmission of a moving image through the network 25 and reception of a picture at display timing is not completed, the reception processing unit 41 transmits a notification to that effect when an underflow occurs in the reception buffer 44. Feedback is given to the device 22 side.
  • the decoding unit 42 supplies, to the display processing unit 43, a moving image obtained by decoding the pictures sequentially supplied from the reception processing unit 41 according to the frame interval.
  • the display processing unit 43 performs display processing on the moving image supplied from the decoding unit 42, and causes the display device 24 to display the reproduced moving image.
  • the display device 24 includes, for example, a display device such as a liquid crystal panel or an organic EL (Electro Luminescence) panel, and displays a moving image on which display processing has been performed by the display processing unit 43.
  • a display device such as a liquid crystal panel or an organic EL (Electro Luminescence) panel
  • the network camera system 11 configured as described above, it is possible to reduce the delay until the moving image transmitted from the transmitting device 22 is reproduced by the receiving device 23 according to the transmission control by the transmission control unit 34.
  • the encoding unit 32 encodes a moving image to generate a picture (I picture or P picture) at each frame interval Tfr, and sequentially transmits those pictures to the network 25. Transmit through. Then, the reception processing unit 41 sequentially accumulates the pictures received via the network 25 in the reception buffer 44, but depending on the transmission path through which each picture is transmitted, a transmission delay Tfrn may occur on the network 25. is there.
  • the reception processing unit 41 when transmitting a moving image via the network 25, it is usually necessary to provide the reception processing unit 41 with a sufficient capacity of the reception buffer 44 so that the moving image can be reproduced without interruption. Then, by delaying the timing at which the decoding unit 42 decodes and the timing at which the display device 24 displays a moving image so that an underflow does not occur in the reception buffer 44, the fluctuation of the transmission delay Tfrn occurring on the network 25. Can be absorbed. As described above, by temporarily storing the picture in the reception buffer 44, a delay occurs from the encoding of the moving image to the decoding and display thereof.
  • the delay can be reduced by advancing the timing at which the decoding unit 42 decodes and the timing at which the display device 24 displays a moving image.
  • the decoding result of the picture in which the underflow has occurred becomes incorrect, and as a result of displaying the incorrect image, the display of the display device 24 is disturbed. Furthermore, if the subsequent picture is a P picture using inter-frame (Inter) prediction, an illegal image will be propagated. In this case, what returns to normal is an I picture using the next intra-frame (Intra) prediction. Therefore, depending on the interval of the I picture, the disturbance of the display of the display device 24 will last for a long time.
  • Inter inter-frame
  • Intra intra-frame
  • the transmission control unit 34 can perform such transmission control so as to suppress the disturbance of the display of the display device 24 and to reduce the transmission delay of the moving image.
  • the transmission path selection processing unit 35 controls the transmission processing unit 33 so as to transmit the code of each layer in which the spatial scalable encoding has been performed by the encoding unit 32 through the same or individual transmission path. At this time, the transmission path selection processing unit 35 selects a path predicted to have a small transmission delay according to the code amount as a transmission path for transmitting the code of each layer. In addition, the transmission path selection processing unit 35 selects the transmission path by selecting the statistical value of the delay amount up to the start of transmission and the statistical value of the rate after the start of transmission. Can be improved.
  • the reference layer control processing unit 36 determines that the delay fluctuation of the transmission path of the code of the upper layer is large based on, for example, the statistical value of the delay amount until the start of transmission and the statistical value of the rate after the start of transmission. If possible, it can be determined that the possibility of underflow occurring in the reception buffer 44 is high. Therefore, in this case, the reference layer control processing unit 36 controls the encoding unit 32 so as to refer to only the magnified image from the lower layer. Thereby, even if the underflow of the upper layer occurs, propagation of the illegitimate image can be suppressed.
  • the network camera system 11 can suppress the transmission delay, and reduce the risk that the quality of the displayed image is degraded as the decoding time is advanced. Can. Thereby, in the network camera system 11, it is possible to suppress a delay until the moving image captured by the imaging device 21 is displayed on the display device 24.
  • a plurality of transmitting devices 22 are connected to the network 25, and a plurality of receiving devices 22 are received.
  • a device 23 (in the example of FIG. 4, two receiving devices 23-1 and 23-2) is connected.
  • the network 25 includes a slice distribution processing unit 51 and a plurality of slices 52 forming a logical network.
  • the network function can be flexibly provided according to the request of the service provider.
  • the slice distribution processing unit 51 cooperates with the virtualization of the network 25 to distribute the communication to a plurality of slices 52 in accordance with the traffic amount and the communication content.
  • the plurality of slices 52 are virtual networks obtained by virtually dividing the network 25 into a plurality of sections, and various functions can be added to each slice 52.
  • a function for performing best effort transmission is added to the slice 52-1
  • a function for performing high-speed transmission is added to the slice 52-2 and the slice 52-3.
  • the transmission path selection processing unit 35 selects an optimal transmission path for the purpose, for example, a moving image with lower delay. Transmission control can be performed to transmit an image.
  • a delay model of the transmission path is shown in FIG.
  • the transmission path selection processing unit 35 can calculate the boundary code amount M th at which the early arrival path switches by grasping the transmission start waiting time d and the transmission rate r in each transmission path. Then, the transmission path selection processing unit 35 can select the early arrival path by comparing the code amount of the encoding result with the boundary code amount M th .
  • the transmission path selection processing unit 35 stores the actual values as the transmission start waiting time d and the transmission rate r, calculates the statistical value of the average value and the standard deviation, and determines the early arrival path based on those statistical values. Can be predicted. That is, the transmission path selection processing unit 35 uses the average value rM of the rates, the average value dM of the delays, the standard deviation s (r) of the rates, the standard deviation s (d) of the delays, and the prediction parameter n to use the prediction rate rP and the predicted delay dP can be obtained by operating the following equation (2).
  • the transmission start waiting time d and the actual value of the transmission rate r used by the transmission path selection processing unit 35 to obtain the statistical value may be accumulated in the transmission device 22 or the accumulated information of the plurality of transmission devices 22 You may acquire via the network 25 from the server to collect.
  • actual values of transmission start waiting time d and transmission rate r are considered to depend on time zone and place, it is possible to improve prediction accuracy by generating maps from actual values for each time and location information. it can.
  • the transmission path selection processing unit 35 calculates the prediction rate rP and the prediction delay dP thus obtained for each of a plurality of transmission paths, and calculates the boundary code amount M th shown in FIG. 6 based on them. You can then choose your early arrival route.
  • the boundary code amount M th and the time T th to be the boundary code amount M th shown in FIG. 6 are the prediction rate rPA and the prediction delay dPA of the transmission path A, and the prediction rate rPB and the prediction delay dPB of the transmission path B Is calculated as shown in the following equation (3).
  • the transmission path selection processing unit 35 uses the boundary code amount M th to make the prediction rate rPB of the transmission path B larger than the prediction rate rPA of the transmission path A (rPB> rPA), and the code amount M is the boundary code amount When it is larger than M th (M> M th ), the transmission path B is selected.
  • the transmission path selection processing unit 35 determines that the prediction rate rPB of the transmission path B is larger than the prediction rate rPA of the transmission path A (rPB> rPA) and the code amount M is less than or equal to the boundary code amount M th (M ⁇ M).
  • select transmission path A That is, in the illustrated example, it is predicted that the transmission completion via the transmission path A is early until the time T th when the boundary code amount M th is reached, and the transmission completion via the transmission path B is early after the time T th It is predicted.
  • the transmission path can be selected in consideration of the cost.
  • the encoding unit 32 can perform space scalable encoding for coding of a moving image. That is, the encoding unit 32 performs encoding to generate a stream having a hierarchical structure including the low resolution base layer BL and the high resolution enhancement layer EL from the moving image captured by the imaging device 21.
  • the encoding unit 32 performs encoding of a P picture by referring to only the decoded image of the base layer BL itself for the base layer BL, but in the enhancement layer EL, the base layer BL together with the decoded image of the enhancement layer EL itself
  • the inter-layer IL which is an enlarged image of the BL decoded image, can be referenced. Therefore, due to such dependency, the encoding of the base layer BL precedes the enhancement layer EL in time series.
  • the stream generated by the encoding unit 32 can transmit the base layer BL and the enhancement layer EL independently. Therefore, the transmission processing unit 33 can transmit the base layer BL ahead of the enhancement layer EL.
  • the transmission path selection processing unit 35 separates the transmission path by performing comparison with the above-described boundary code amount M th with respect to the transmission of the base layer BL and the enhancement layer EL based on the code amount of each stream. Can be selected. For example, due to the magnitude relationship between resolutions, a base layer BL with a low code amount is more likely to select a low delay transmission path (for example, slice 52-3 in FIG. 4) than an enhancement layer EL with a high code amount. The risk of underflow can be reduced. On the other hand, the enhancement layer EL has a high possibility of passing through a transmission path with large delay fluctuation.
  • the reference layer control processing unit 36 underflows in the reception buffer 44 when the absolute value of the delay becomes large or when the fluctuation becomes large based on the statistical value calculated by the transmission path selection processing unit 35. It can be predicted that the possibility of occurrence is high. Based on this, the reference layer control processing unit 36 controls the encoding unit 32 so as to limit the reference layer to the inter layer IL. Also, when the reference layer control processing unit 36 receives feedback from the receiving apparatus 23 that the underflow has occurred in the reception buffer 44, the reference layer control processing unit 36 similarly instructs the encoding unit 32 to limit the reference layer to the inter layer IL. Take control.
  • the encoding unit 32 encodes the enhancement layer EL with reference to only the inter layer IL.
  • the decoding unit 42 performs decoding without referring to the illegal image, it is possible to stop decoding by referring to the illegal image generated due to the underflow.
  • the receiving device 23 when the decoding unit 42 performs decoding and the display processing unit 43 performs processing to display on the display device 24, propagation of an incorrect image can be suppressed and the normal image can be restored. .
  • FIG. 8 is a flowchart for explaining transmission processing in which the transmission device 22 transmits a moving image.
  • step S11 the encoding unit 32 performs space scalable encoding on the moving image subjected to the image processing in the image processing unit 31.
  • the encoding unit 32 generates a stream having a hierarchical structure including the low resolution base layer BL and the high resolution enhancement layer EL, and supplies the stream to the transmission processing unit 33.
  • step S12 the encoding unit 32 notifies the transmission path selection processing unit 35 of the transmission control unit 34 of the code amounts of the base layer BL and the enhancement layer EL encoded in step S11.
  • step S13 the transmission path selection processing unit 35 compares the code amount of the base layer BL and the enhancement layer EL with the boundary code amount M th (see FIG. 6), and the transmission is completed based on the comparison result. Select a transmission path that is predicted to be early. Then, the transmission path selection processing unit 35 controls the transmission processing unit 33 to transmit on the selected transmission path.
  • step S14 the transmission processing unit 33 transmits the base layer BL and the enhancement layer EL supplied from the encoding unit 32 in step S11 through the transmission path selected by the transmission path selection processing unit 35 in step S13.
  • step S15 the reference layer control processing unit 36 predicts that the possibility of underflow occurring in the reception buffer 44 is high, or feedback that the underflow has occurred in the reception buffer 44 from the receiving apparatus 23 side. Determine if you have received
  • step S15 when it is not predicted that the possibility of underflow occurring in the reception buffer 44 is high, and when it is determined that the feedback indicating that the underflow has occurred in the reception buffer 44 has not been received from the receiving device 23 side.
  • the process returns to step S11, and the same process is repeated thereafter.
  • step S15 if it is predicted that the possibility of underflow occurring in the reception buffer 44 is high, or if feedback is received from the receiving device 23 that the underflow has occurred in the reception buffer 44, the process The process proceeds to step S16.
  • step S16 after the reference layer control processing unit 36 controls the encoding unit 32 to limit the reference layer to the inter layer IL, the process returns to step S11.
  • the encoding unit 32 encodes the enhancement layer EL with reference to only the inter layer IL only at the next step S11.
  • the transmission control unit 34 can adaptively select the transmission path based on the transmission delay statistics. As a result, since the transmission delay can be suppressed low, the risk of underflow occurring in the reception buffer 44 in the reception device 23 can be reduced.
  • the encoding unit 32 performs space scalable encoding. Then, in the network camera system 11, for example, even when an underflow occurs in the reception buffer 44 by adaptively selecting the reference layer of the upper layer according to the delay fluctuation of the transmission path of the code of the upper layer. It is possible to prevent the unauthorized image from being propagated, and to suppress the deterioration of the quality of the image displayed on the display device 24.
  • the network camera system 11 can transmit a moving image via the network 25 so that the moving image captured by the imaging device 21 can be reproduced by the display device 24 with lower delay.
  • the network camera system 11 can improve the convenience of applications that require a response or a response to an image of a remote location received through the network 25 such as a television call or a surveillance camera, for example.
  • the series of processes (transmission method) described above can be performed by hardware or software.
  • the various functions are executed by installing a computer in which a program constituting the software is incorporated in dedicated hardware or various programs.
  • the program can be installed, for example, on a general-purpose personal computer from a program recording medium on which the program is recorded.
  • FIG. 9 is a block diagram showing an example of a hardware configuration of a computer that executes the above-described series of processes by a program.
  • a central processing unit (CPU) 101 a read only memory (ROM) 102, and a random access memory (RAM) 103 are mutually connected by a bus 104.
  • CPU central processing unit
  • ROM read only memory
  • RAM random access memory
  • the input / output interface 105 is connected to the bus 104.
  • the input / output interface 105 includes an input unit 106 including a keyboard, a mouse and a microphone, an output unit 107 including a display and a speaker, a storage unit 108 including a hard disk and a non-volatile memory, and a communication unit 109 including a network interface.
  • a drive 110 for driving a removable medium 111 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is connected.
  • the CPU 101 loads the program stored in the storage unit 108 into the RAM 103 via the input / output interface 105 and the bus 104 and executes the program. Processing is performed.
  • the program executed by the computer (CPU 101) is, for example, a magnetic disk (including a flexible disk), an optical disk (CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc), etc.), a magneto-optical disk, or a semiconductor It is recorded on a removable medium 111 which is a package medium including a memory or the like, or is provided via a wired or wireless transmission medium such as a local area network, the Internet, and digital satellite broadcasting.
  • the program can be installed in the storage unit 108 via the input / output interface 105 by mounting the removable media 111 in the drive 110.
  • the program can be received by the communication unit 109 via a wired or wireless transmission medium and installed in the storage unit 108.
  • the program can be installed in advance in the ROM 102 or the storage unit 108.
  • An encoding unit that performs spatially scalable encoding on a moving image
  • a transmission processing unit that performs processing of transmitting, via a network, the picture for each layer encoded by the encoding unit; If it is predicted that underflow is likely to occur in the reception buffer, or if feedback is received that the underflow has occurred in the reception buffer, the reference layer to be referred to when encoding the upper layer is subordinated
  • a reference layer control processing unit configured to control the encoding unit so as to limit to an intermediate layer generated from a layer.
  • the transmission processing unit is selected so as to select a transmission path predicted to be completed soon, and perform transmission on the selected transmission path.
  • the transmission apparatus according to (1) further comprising: a transmission path selection processing unit that performs control on (3)
  • the transmission path selection processing unit is calculated using the code amount of the picture, the statistical value of the delay amount until transmission start in the transmission processing unit, and the statistical amount of the rate after the transmission processing unit starts transmission.
  • the transmission apparatus according to (2) wherein the transmission path is selected based on a comparison with the amount of boundary code to be transmitted.
  • the reference layer control processing unit predicts on the basis of the statistic of the delay amount and the statistic of the rate whether or not the possibility of an underflow in the reception buffer is high.
  • the transmitter as described.
  • the transmission device according to any one of (1) to (4), wherein the network is virtually divided across the entire network, and includes a plurality of virtual networks to which each function is added.
  • the transmitting device that transmits the moving image Performing spatially scalable encoding on the moving image; Performing a process of transmitting the encoded picture for each layer through the network; If it is predicted that underflow is likely to occur in the reception buffer, or if feedback is received that the underflow has occurred in the reception buffer, the reference layer to be referred to when encoding the upper layer is subordinated Controlling to be limited to the intermediate layer generated from the layer.
  • Performing spatially scalable encoding on the moving image Performing a process of transmitting the encoded picture for each layer through the network; If it is predicted that underflow is likely to occur in the reception buffer, or if feedback is received that the underflow has occurred in the reception buffer, the reference layer to be referred to when encoding the upper layer is subordinated
  • a program for executing processing including performing control to limit to an intermediate layer generated from a layer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本開示は、より低遅延で再生されるように動画像を送信することができるようにする送信装置および送信方法、並びにプログラムに関する。 エンコード部は、動画像に対して、空間スケーラブルなエンコードを実施し、送信処理部は、エンコード部によりエンコードされたレイヤごとのピクチャを、ネットワークを介して送信する。そして、参照レイヤ制御処理部は、受信バッファにアンダーフローが発生する可能性が高いと予測されるか、または、受信バッファにアンダーフローが発生した旨のフィードバックを受けた場合、参照レイヤをインターレイヤに限定するようにエンコード部に対する制御を行う。本技術は、例えば、動画像を符号化して送信する送信装置に適用できる。

Description

送信装置および送信方法、並びにプログラム
　本開示は、送信装置および送信方法、並びにプログラムに関し、特に、より低遅延で再生されるように動画像を送信することができるようにした送信装置および送信方法、並びにプログラムに関する。
　従来、動画像を符号化してネットワーク経由で送信し、遠隔地で再生して表示するようなネットワークカメラシステムにおいて、例えば、途切れなく動画像が再生されるようにするためには、ある程度の遅延が必要となる。しかしながら、この遅延を大きくした場合には、ネットワークカメラシステムが提供する機能に悪影響を及ぼすことがある。
　例えば、ネットワークカメラシステムを、遠隔地間で双方向の会話を行うようなコミュニケーションシステムで利用する場合、遅延によって、発話から相手の応答までの時間が増大することになり、円滑な会話が困難となることが想定される。また、ネットワークカメラシステムを、例えば、遠隔地の動画像を監視して、遠隔地の状況に応じた対処が必要となる監視カメラシステムで利用する場合、遅延によって、遠隔地の状況に応じた対処に遅れが生じることが想定される。
　ここで、特許文献１には、スケーラブルビデオコーディングを使用するビデオ通信システムにおいて、例えば、エラー耐性を高めることができる技術が開示されている。
特許第５７５３３４１号
　上述したように、ネットワークカメラシステムにおいて動画像を送信し、その動画像が再生されるまでの遅延を大きくした場合には、様々な悪影響があるため、できるだけ遅延を抑制しつつ、途切れなく再生されるように動画像を送信することが求められている。
　本開示は、このような状況に鑑みてなされたものであり、より低遅延で再生されるように動画像を送信することができるようにするものである。
　本開示の一側面の送信装置は、動画像に対して、空間スケーラブルなエンコードを実施するエンコード部と、前記エンコード部によりエンコードされたレイヤごとのピクチャを、ネットワークを介して送信する処理を行う送信処理部と、受信バッファにアンダーフローが発生する可能性が高いと予測されるか、または、前記受信バッファにアンダーフローが発生した旨のフィードバックを受けた場合、上位レイヤをエンコードする際に参照する参照レイヤを下位レイヤから生成した中間レイヤに限定するように前記エンコード部に対する制御を行う参照レイヤ制御処理部とを備える。
　本開示の一側面の送信方法は、動画像を送信する送信装置が、前記動画像に対して、空間スケーラブルなエンコードを実施することと、エンコードされたレイヤごとのピクチャを、ネットワークを介して送信する処理を行うことと、受信バッファにアンダーフローが発生する可能性が高いと予測されるか、または、前記受信バッファにアンダーフローが発生した旨のフィードバックを受けた場合、上位レイヤをエンコードする際に参照する参照レイヤを下位レイヤから生成した中間レイヤに限定するように制御を行うこととを含む。
　本開示の一側面またはプログラムは、動画像を送信する送信装置のコンピュータに、前記動画像に対して、空間スケーラブルなエンコードを実施することと、エンコードされたレイヤごとのピクチャを、ネットワークを介して送信する処理を行うことと、受信バッファにアンダーフローが発生する可能性が高いと予測されるか、または、前記受信バッファにアンダーフローが発生した旨のフィードバックを受けた場合、上位レイヤをエンコードする際に参照する参照レイヤを下位レイヤから生成した中間レイヤに限定するように制御を行うこととを含む処理を実行させる。
　本開示の一側面においては、動画像に対して、空間スケーラブルなエンコードが実施され、エンコードされたレイヤごとのピクチャを、ネットワークを介して送信する処理が行われる。そして、受信バッファにアンダーフローが発生する可能性が高いと予測されるか、または、受信バッファにアンダーフローが発生した旨のフィードバックを受けた場合、上位レイヤをエンコードする際に参照する参照レイヤを下位レイヤから生成した中間レイヤに限定するように制御が行われる。
　本開示の一側面によれば、より低遅延で再生されるように動画像を送信することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用したネットワークカメラシステムの一実施の形態の構成例を示すブロック図である。 動画像の一般的な伝送について説明する図である。 アンダーフローが発生し、不正画像が伝播する状態について説明する図である。 ネットワークの構成例を説明するブロック図である。 伝送経路の遅延モデルを示す図である。 ２種類の伝送経路から早着経路を選択する処理について説明する図である。 参照レイヤを制御する処理について説明する図である。 動画像を送信する送信処理について説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
　＜ネットワークカメラシステムの構成例＞
　図１は、本技術を適用したネットワークカメラシステムの一実施の形態の構成例を示すブロック図である。
　図１に示すように、ネットワークカメラシステム１１は、撮像装置２１、送信装置２２、受信装置２３、および表示装置２４が、ネットワーク２５を介して接続されて構成される。また、送信装置２２は、画像処理部３１、エンコード部３２、送信処理部３３、および伝送制御部３４を備えており、伝送制御部３４は伝送経路選択処理部３５および参照レイヤ制御処理部３６を有している。また、受信装置２３は、受信処理部４１、デコード部４２、および表示処理部４３を備えており、受信処理部４１は受信バッファ４４を有している。
　撮像装置２１は、例えば、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子を有しており、その撮像素子によって撮像して得られる動画像を、送信装置２２の画像処理部３１に供給する。
　画像処理部３１は、撮像装置２１が撮像した動画像に対して各種の画像処理を施し、例えば、動画像のビットレートや解像度、フレームレートなどを調整する画像処理を施して、エンコード部３２に供給する。
　エンコード部３２は、画像処理部３１から供給される動画像に対して、空間スケーラブルなエンコードを実施することができ、動画像をエンコードして得られるピクチャ（ＩピクチャやＰピクチャなど）のストリームを送信処理部３３に供給する。また、エンコード部３２は、動画像をエンコードする際に、伝送制御部３４による伝送制御に従って、参照レイヤをインターレイヤＩＬ（図７参照）に限定することができる。
　送信処理部３３は、エンコード部３２から供給されるピクチャのストリームを、ネットワーク２５を介して受信装置２３に送信する送信処理を行う。このとき、送信処理部３３は、伝送制御部３４による伝送制御に従った伝送経路でピクチャを送信することができる。
　伝送制御部３４は、ネットワークカメラシステム１１における動画像の伝送が低遅延となるように、伝送経路選択処理部３５および参照レイヤ制御処理部３６による伝送制御を行う。
　伝送経路選択処理部３５は、送信処理部３３によるピクチャごとの送出を常に監視し、伝送開始までの遅延量、および、伝送開始後のレートを取得して、それらの統計値を算出する。そして、伝送経路選択処理部３５は、後述の図６を参照して説明するように、算出した統計量とピクチャの符号量とに基づいて、伝送が完了するのが早いと予測される伝送経路を選択し、その伝送経路でピクチャを送信するように送信処理部３３に対する制御を行う。
　参照レイヤ制御処理部３６は、例えば、伝送経路選択処理部３５が算出した統計値に基づいて、受信バッファ４４にアンダーフローが発生する可能性が高いと予測する場合、後述の図７を参照して説明するように、参照レイヤをインターレイヤＩＬに限定するようにエンコード部３２に対する制御を行う。また、参照レイヤ制御処理部３６は、受信装置２３側から、受信バッファ４４にアンダーフローが発生した旨のフィードバックを受けた場合、エンコード部３２に対して同様の制御を行ってもよい。
　受信処理部４１は、ネットワーク２５を介して伝送されてくるピクチャを受信して、順次、受信バッファ４４に一時的に蓄積させる。そして、受信処理部４１は、フレーム間隔に従って順次、表示のタイミングとなったピクチャを受信バッファ４４から読み出してデコード部４２に供給する。また、受信処理部４１は、ネットワーク２５を介した動画像の伝送に遅延が発生して表示タイミングのピクチャの受信が完了せずに、受信バッファ４４にアンダーフローが発生した場合、その旨を送信装置２２側に通知するフィードバックを行う。
　デコード部４２は、受信処理部４１からフレーム間隔に従って順次供給されるピクチャをデコードして得られる動画像を、表示処理部４３に供給する。
　表示処理部４３は、デコード部４２から供給される動画像に対して表示処理を行って、再生される動画像を表示装置２４に表示させる。
　表示装置２４は、例えば、液晶パネルや有機ＥＬ（Electro Luminescence）パネルなどの表示デバイスを有しており、表示処理部４３により表示処理が施された動画像を表示する。
　このように構成されるネットワークカメラシステム１１では、伝送制御部３４による伝送制御に従って、送信装置２２から送信される動画像が受信装置２３で再生されるまでの遅延を低減することができる。
　ここで、伝送制御部３４による伝送制御について説明する前に、図２および図２を参照して、伝送制御部３４による伝送制御が行われないような、動画像の一般的な伝送について説明する。
　図２に示すように、ネットワークカメラシステム１１では、エンコード部３２が動画像をエンコードして、フレーム間隔Ｔｆｒごとのピクチャ（ＩピクチャまたはＰピクチャ）を生成し、それらのピクチャを順次、ネットワーク２５を介して伝送する。そして、受信処理部４１は、ネットワーク２５を介して受信したピクチャを順次、受信バッファ４４に蓄積するが、それぞれのピクチャが伝送される伝送経路によってはネットワーク２５上で伝送遅延Ｔｆｒｎが発生することがある。
　そこで、通常、ネットワーク２５を介して動画像を伝送する際には、途切れなく動画像が再生されるように、十分な容量の受信バッファ４４を受信処理部４１に備える必要がある。そして、受信バッファ４４にアンダーフローが発生しないように、デコード部４２がデコードするタイミング、および、表示装置２４が動画像を表示するタイミングを遅らせることで、ネットワーク２５上で発生する伝送遅延Ｔｆｒｎの揺らぎを吸収することができる。このように、受信バッファ４４に一時的にピクチャを蓄積させることによって、動画像がエンコードされてから、デコードされて表示されるまでに遅延が生じることになる。
　ここで、デコード部４２がデコードするタイミング、および、表示装置２４が動画像を表示するタイミングを早めることで、低遅延化を図ることができる。
　しかしながら、低遅延化を図ることによって、ネットワーク２５上で発生する伝送遅延Ｔｆｒｎの最大のものをカバーすることができなくなると、図３に示すように、受信バッファ４４にアンダーフローが発生してしまう。
　その結果、アンダーフローが発生したピクチャのデコード結果が不正となり、不正画像が表示される結果、表示装置２４の表示が乱れることになる。さらに、後続のピクチャがフレーム間（Inter）予測を用いているＰピクチャである場合には、不正画像が伝搬してしまう。この場合、正常に復帰するのは、次のフレーム内（Intra）予測を用いたＩピクチャとなる。そのため、Ｉピクチャの間隔次第では、表示装置２４の表示の乱れが長期間続くこととなってしまう。
　そこで、ネットワークカメラシステム１１では、伝送制御部３４が、このような表示装置２４の表示の乱れを抑制して、かつ、動画像の伝送が低遅延となるような伝送制御を行うことができる。
　例えば、伝送経路選択処理部３５は、エンコード部３２により空間スケーラブルなエンコードが実施された各レイヤの符号を、同一または個別の伝送経路で送出するように送信処理部３３に対する制御を行う。このとき、伝送経路選択処理部３５は、各レイヤの符号を送出する伝送経路として、符号量に応じて伝送遅延が小さいと予測される経路を選択する。また、伝送経路選択処理部３５は、このような伝送経路の選択に、伝送開始までの遅延量の統計値、および、伝送開始後のレートの統計値を取得することによって、伝送経路の選択精度を向上させることができる。
　また、参照レイヤ制御処理部３６は、例えば、伝送開始までの遅延量の統計値、および、伝送開始後のレートの統計値に基づいて、上位レイヤの符号の伝送経路の遅延揺らぎが大きいと判断できる場合、受信バッファ４４にアンダーフローが発生する可能性が高いと判定することができる。従って、参照レイヤ制御処理部３６は、この場合、下位のレイヤからの拡大像のみを参照するように、エンコード部３２に対する制御を行う。これにより、上位レイヤのアンダーフローが発生したとしても、不正画像が伝播することを抑制することができる。
　従って、ネットワークカメラシステム１１は、伝送経路を適切に選択することにより、伝送遅延を抑制することができ、デコード時刻を早めるのに伴って、表示される画像の品質が低下するリスクを低減することができる。これにより、ネットワークカメラシステム１１では、撮像装置２１により撮像された動画像が、表示装置２４で表示されるまでの遅延を抑制することができる。
　ここで、図４を参照して、ネットワーク２５の構成と、伝送経路選択処理部３５による伝送経路の選択について説明する。
　例えば、図４に示すように、ネットワーク２５には、複数台の送信装置２２（図４の例では、２台の送信装置２２－１および２２－２）が接続されるとともに、複数台の受信装置２３（図４の例では、２台の受信装置２３－１および２３－２）が接続される。
　ネットワーク２５は、スライス振り分け処理部５１と、論理ネットワークを構成する複数のスライス５２とにより構成され、例えば、サービス事業者の要望に応じて柔軟にネットワーク機能を提供することができる。
　スライス振り分け処理部５１は、ネットワーク２５の仮想化と連携し、トラフィック量や通信内容に応じて、複数のスライス５２に通信を振り分ける処理を行う。
　複数のスライス５２は、ネットワーク２５を仮想的に複数に分割した仮想ネットワークであり、それぞれのスライス５２には、様々な機能を付加することができる。図４に示す例では、スライス５２－１にはベストエフォートな伝送を実行する機能が付加されており、スライス５２－２には高速な伝送を実行する機能が付加されており、スライス５２－３には低遅延な伝送を実行する機能が付加されている。これらのスライス５２は、それぞれ必要な物理リソースを自由に組み合わせて論理ネットワークを構成することができる。
　このように構成されるネットワーク２５のように、複数の伝送経路を選択することができる場合、伝送経路選択処理部３５は、目的に最適な伝送経路を選ぶことで、例えば、より低遅延で動画像を送信するような伝送制御を行うことができる。
　図５および図６を参照して、伝送経路選択処理部３５による伝送経路の選択について説明する。
　図５には、伝送経路の遅延モデルが示されている。
　例えば、図５に示すように、伝送経路での遅延が、伝送開始待ち時間ｄと伝送レートｒとによる１次式で表されるとき、符号量Ｍの伝送には、次の式（１）に示すような時間Ｔを要することになる。
Figure JPOXMLDOC01-appb-M000001
　そして、図６に示すように、伝送開始待ち時間ｄおよび伝送レートｒの異なる２種類の伝送経路が存在する場合、伝送が完了するのが早いと予測される伝送経路（早着経路）は、符号量Ｍにより異なるものとなる。従って、伝送経路選択処理部３５は、それぞれの伝送経路における伝送開始待ち時間ｄおよび伝送レートｒを把握して、早着経路が切り替わる境界符号量Ｍthを演算により求めることができる。そして、伝送経路選択処理部３５は、エンコード結果の符号量と、境界符号量Ｍthとを比較することにより、早着経路を選択することが可能となる。
　例えば、伝送経路選択処理部３５は、伝送開始待ち時間ｄおよび伝送レートｒとして、それぞれ実績値を保存し、平均値および標準偏差の統計値を算出し、それらの統計値に基づいて早着経路を予測することができる。即ち、伝送経路選択処理部３５は、レートの平均値ｒＭ、遅延の平均値ｄＭ、レートの標準偏差ｓ（ｒ）、遅延の標準偏差ｓ（ｄ）、および予測パラメータｎを用いて、予測レートｒＰおよび予測遅延ｄＰを、次の式（２）を演算することにより求めることができる。
Figure JPOXMLDOC01-appb-M000002
　ここで、式（２）で用いられる予測パラメータｎが大きいほど、レートが低く、かつ、遅延が大きくなる悲観的な予測となる。
　なお、伝送経路選択処理部３５が統計値を求めるのに用いる伝送開始待ち時間ｄおよび伝送レートｒの実績値は、送信装置２２において蓄積してもよいし、複数の送信装置２２の蓄積情報を収集するサーバからネットワーク２５を介して取得してもよい。また、伝送開始待ち時間ｄおよび伝送レートｒの実績値は、時間帯および場所にも依存すると考えられるので、時刻および位置情報ごとの実績値からマップを生成することで、予測精度を高めることができる。
　伝送経路選択処理部３５は、このように求められる予測レートｒＰおよび予測遅延ｄＰを、複数の伝送経路ごとに計算しておき、それらに基づいて、図６に示した境界符号量Ｍthを計算して、早着経路を選択することができる。
　例えば、図６に示す境界符号量Ｍthと、境界符号量Ｍthとなる時間Ｔthは、伝送経路Ａの予測レートｒＰＡおよび予測遅延ｄＰＡ、並びに、伝送経路Ｂの予測レートｒＰＢおよび予測遅延ｄＰＢを用いて、次の式（３）に示すように求められる。
Figure JPOXMLDOC01-appb-M000003
　そして、伝送経路選択処理部３５は、境界符号量Ｍthを使用して、伝送経路Ｂの予測レートｒＰＢが伝送経路Ａの予測レートｒＰＡより大きく（ｒＰＢ＞ｒＰＡ）、符号量Ｍが境界符号量Ｍthより大きい場合（Ｍ＞Ｍth）、伝送経路Ｂを選択する。一方、伝送経路選択処理部３５は、伝送経路Ｂの予測レートｒＰＢが伝送経路Ａの予測レートｒＰＡより大きく（ｒＰＢ＞ｒＰＡ）、符号量Ｍが境界符号量Ｍth以下である場合（Ｍ≦Ｍth）、伝送経路Ａを選択する。つまり、図示する例では、境界符号量Ｍthとなる時間Ｔthまでは、伝送経路Ａを介した伝送完了が早いと予測され、時間Ｔth以降は、伝送経路Ｂを介した伝送完了が早いと予測される。
　なお、境界符号量Ｍthには、伝送コストの要素を入れることもできる。例えば、伝送経路Ａのビット単価ｃＡが、伝送経路Ｂのビット単価ｃＢよりも大きい場合（ｃＡ＞ｃＢ）、境界符号量Ｍthに係数（＝ｃＢ／ｃＡ）を乗算することにより、遅延および伝送コストを考慮して伝送経路を選択することができる。
　このように、ネットワークカメラシステム１１では、伝送が完了するのが早いと予測される伝送経路を選択することにより、より低遅延で動画像を送信することができる。
　図７を参照して、参照レイヤ制御処理部３６が参照レイヤを制御する処理について説明する。
　送信装置２２では、エンコード部３２が動画像の符号化に空間スケーラブルなエンコードを実施することができる。即ち、エンコード部３２は、撮像装置２１により撮像された動画像から、低解像度のベースレイヤＢＬおよび高解像度のエンハンスメントレイヤＥＬからなる階層構造を持つストリームを生成するエンコードを実施する。
　例えば、エンコード部３２は、Ｐピクチャの符号化において、ベースレイヤＢＬについてはベースレイヤＢＬ自身のデコード画像のみを参照して行うが、エンハンスメントレイヤＥＬでは、エンハンスメントレイヤＥＬ自身のデコード画像とともに、ベースレイヤＢＬのデコード画像を拡大した画像であるインターレイヤＩＬを参照することができる。従って、このような依存関係により、時系列において、ベースレイヤＢＬのエンコードがエンハンスメントレイヤＥＬに先行することになる。
　また、エンコード部３２により生成されるストリームは、ベースレイヤＢＬとエンハンスメントレイヤＥＬとを独立に送信することができる。このため、送信処理部３３は、ベースレイヤＢＬの送出を、エンハンスメントレイヤＥＬに先んじて行うことができる。
　そして、伝送経路選択処理部３５は、ベースレイヤＢＬおよびエンハンスメントレイヤＥＬの送出について、それぞれのストリームの符号量に基づいて、上述した境界符号量Ｍthとの比較を行うことにより、伝送経路を個別に選択することができる。例えば、解像度の大小関係から、符号量が低いベースレイヤＢＬは、低遅延な伝送経路（例えば、図４のスライス５２－３）が選択される可能性が高く、符号量が高いエンハンスメントレイヤＥＬよりアンダーフローが発生するリスクを低減することができる。一方、エンハンスメントレイヤＥＬは、遅延揺らぎが大きな伝送経路を通る可能性が高くなる。
　従って、参照レイヤ制御処理部３６は、伝送経路選択処理部３５が算出した統計値に基づいて、遅延の絶対値が大きくなったとき、または、揺らぎが大きくなったときには、受信バッファ４４にアンダーフローが発生する可能性が高いと予測することができる。これに基づき、参照レイヤ制御処理部３６は、参照レイヤをインターレイヤＩＬに限定するようにエンコード部３２に対する制御を行う。また、参照レイヤ制御処理部３６は、受信装置２３側から受信バッファ４４にアンダーフローが発生した旨のフィードバックを受けた場合、同様に、参照レイヤをインターレイヤＩＬに限定するようにエンコード部３２に対する制御を行う。
　この場合、エンコード部３２は、インターレイヤＩＬのみを参照して、エンハンスメントレイヤＥＬをエンコードする。これにより、デコード部４２は、不正画像を参照せずにデコードを行うことになるため、アンダーフローにより発生した不正画像を参照してデコードすることを断ち切ることができる。その結果、受信装置２３では、デコード部４２におけるデコード、および、表示処理部４３が表示装置２４に表示させる処理を行う際に、不正画像の伝播を抑止して、正常画像に復帰させることができる。
　このように、ネットワークカメラシステム１１では、伝送経路で遅延が発生することによって受信バッファ４４でアンダーフローが発生しても、不正画像が伝播することを防止することができる。
　図８は、送信装置２２が動画像を送信する送信処理について説明するフローチャートである。
　例えば、撮像装置２１により撮像された動画像が送信装置２２に供給されると処理が開始される。ステップＳ１１において、エンコード部３２は、画像処理部３１において画像処理が施された動画像に対して空間スケーラブルなエンコードを実施する。これにより、エンコード部３２は、低解像度のベースレイヤＢＬおよび高解像度のエンハンスメントレイヤＥＬからなる階層構造を持つストリームを生成して、送信処理部３３に供給する。
　ステップＳ１２において、エンコード部３２は、ステップＳ１１で符号化したベースレイヤＢＬおよびエンハンスメントレイヤＥＬの符号量を、伝送制御部３４の伝送経路選択処理部３５に通知する。
　ステップＳ１３において、伝送経路選択処理部３５は、ベースレイヤＢＬおよびエンハンスメントレイヤＥＬの符号量と、境界符号量Ｍth（図６参照）との比較を行い、その比較結果に基づいて、伝送が完了するのが早いと予測される伝送経路を選択する。そして、伝送経路選択処理部３５は、その選択した伝送経路で送信するように送信処理部３３に対する制御を行う。
　ステップＳ１４において、送信処理部３３は、ステップＳ１１でエンコード部３２から供給されたベースレイヤＢＬおよびエンハンスメントレイヤＥＬを、ステップＳ１３で伝送経路選択処理部３５により選択された伝送経路で送信する。
　ステップＳ１５において、参照レイヤ制御処理部３６は、受信バッファ４４にアンダーフローが発生する可能性が高いと予測されるか、または、受信装置２３側から受信バッファ４４にアンダーフローが発生した旨のフィードバックを受けたかを判定する。
　ステップＳ１５において、受信バッファ４４にアンダーフローが発生する可能性が高いと予測されない場合、および、受信装置２３側から受信バッファ４４にアンダーフローが発生した旨のフィードバックを受けていないと判定された場合、処理はステップＳ１１に戻り、以下、同様の処理が繰り返される。
　一方、ステップＳ１５において、受信バッファ４４にアンダーフローが発生する可能性が高いと予測された場合、または、受信装置２３側から受信バッファ４４にアンダーフローが発生した旨のフィードバックを受けた場合、処理はステップＳ１６に進む。
　ステップＳ１６において、参照レイヤ制御処理部３６は、参照レイヤをインターレイヤＩＬに限定するようにエンコード部３２に対する制御を行った後、処理はステップＳ１１に戻る。この場合、次のステップＳ１１でのみ、エンコード部３２は、インターレイヤＩＬのみを参照して、エンハンスメントレイヤＥＬをエンコードする。
　その後、撮像装置２１により撮像された動画像の供給が停止されるまで、以下、同様の処理が繰り返される。
　以上のように、ネットワークカメラシステム１１では、送信装置２２において、伝送制御部３４が伝送遅延の統計量に基づいて、伝送経路を適応的に選択することができる。これにより、伝送遅延を低く抑えることができる結果、受信装置２３において受信バッファ４４にアンダーフローが発生するリスクを低下させることができる。
　また、ネットワークカメラシステム１１では、送信装置２２において、エンコード部３２が空間スケーラブルなエンコードを実施する。そして、ネットワークカメラシステム１１では、例えば、上位レイヤの符号の伝送経路の遅延揺らぎに応じて、上位レイヤの参照レイヤを適応的に選択することによって、受信バッファ４４にアンダーフローが発生したときでも、不正画像が伝播することを防止することができ、表示装置２４に表示される画像の品質の低下を抑制することができる。
　このように、ネットワークカメラシステム１１では、受信バッファ４４にアンダーフローが発生するリスクを低下させるとともに、不正な画像の伝播を防止することができるので、デコード部４２がデコードを開始するタイミングを早めることができる。従って、ネットワークカメラシステム１１は、撮像装置２１において撮像された動画像が、より低遅延で表示装置２４において再生されるように、ネットワーク２５を介して動画像を送信することができる。
　その結果、ネットワークカメラシステム１１は、例えば、テレビ通話や監視カメラなどのようにネットワーク２５を通じて受信した遠隔地の画像に反応または応答が必要な用途の利便性を向上させることができる。
　＜コンピュータの構成例＞
　なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
　また、上述した一連の処理（送信方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
　図９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
　バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
　以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
　そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
　＜構成の組み合わせ例＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　動画像に対して、空間スケーラブルなエンコードを実施するエンコード部と、
　前記エンコード部によりエンコードされたレイヤごとのピクチャを、ネットワークを介して送信する処理を行う送信処理部と、
　受信バッファにアンダーフローが発生する可能性が高いと予測されるか、または、前記受信バッファにアンダーフローが発生した旨のフィードバックを受けた場合、上位レイヤをエンコードする際に参照する参照レイヤを下位レイヤから生成した中間レイヤに限定するように前記エンコード部に対する制御を行う参照レイヤ制御処理部と
　を備える送信装置。
（２）
　前記エンコード部によりエンコードされたレイヤごとのピクチャの符号量に応じて、伝送が完了するのが早いと予測される伝送経路を選択し、その選択した伝送経路で送信を行うように前記送信処理部に対する制御を行う伝送経路選択処理部
　をさらに備える上記（１）に記載の送信装置。
（３）
　前記伝送経路選択処理部は、前記ピクチャの符号量と、前記送信処理部における伝送開始までの遅延量の統計値、および、前記送信処理部が伝送開始した後のレートの統計量を用いて求められる境界符号量との比較に基づいて、前記伝送経路を選択する
　上記（２）に記載の送信装置。
（４）
　前記参照レイヤ制御処理部は、前記遅延量の統計値、および、前記レートの統計量に基づいて、前記受信バッファにアンダーフローが発生する可能性が高いか否かを予測する
　上記（３）に記載の送信装置。
（５）
　前記ネットワークは、そのネットワーク全体を仮想的に分割し、各機能を付加された複数の仮想ネットワークにより構成される
　上記（１）から（４）までのいずれかに記載の送信装置。
（６）
　動画像を送信する送信装置が、
　前記動画像に対して、空間スケーラブルなエンコードを実施することと、
　エンコードされたレイヤごとのピクチャを、ネットワークを介して送信する処理を行うことと、
　受信バッファにアンダーフローが発生する可能性が高いと予測されるか、または、前記受信バッファにアンダーフローが発生した旨のフィードバックを受けた場合、上位レイヤをエンコードする際に参照する参照レイヤを下位レイヤから生成した中間レイヤに限定するように制御を行うことと
　を含む送信方法。
（７）
　動画像を送信する送信装置のコンピュータに、
　前記動画像に対して、空間スケーラブルなエンコードを実施することと、
　エンコードされたレイヤごとのピクチャを、ネットワークを介して送信する処理を行うことと、
　受信バッファにアンダーフローが発生する可能性が高いと予測されるか、または、前記受信バッファにアンダーフローが発生した旨のフィードバックを受けた場合、上位レイヤをエンコードする際に参照する参照レイヤを下位レイヤから生成した中間レイヤに限定するように制御を行うことと
　を含む処理を実行させるためのプログラム。
　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１１　ネットワークカメラシステム，　２１　撮像装置，　２２　送信装置，　２３　受信装置，　２４　表示装置，　２５　ネットワーク，　３１　画像処理部，　３２　エンコード部，　３３　送信処理部，　３４　伝送制御部，　３５　伝送経路選択処理部，　３６　参照レイヤ制御処理部，　４１　受信処理部，　４２　デコード部，　４３　表示処理部，　４４　受信バッファ，　５１　スライス振り分け処理部，　５２－１乃至５２－３　スライス

Claims (7)

  1. 　動画像に対して、空間スケーラブルなエンコードを実施するエンコード部と、
    　前記エンコード部によりエンコードされたレイヤごとのピクチャを、ネットワークを介して送信する処理を行う送信処理部と、
    　受信バッファにアンダーフローが発生する可能性が高いと予測されるか、または、前記受信バッファにアンダーフローが発生した旨のフィードバックを受けた場合、上位レイヤをエンコードする際に参照する参照レイヤを下位レイヤから生成した中間レイヤに限定するように前記エンコード部に対する制御を行う参照レイヤ制御処理部と
    　を備える送信装置。
  2. 　前記エンコード部によりエンコードされたレイヤごとのピクチャの符号量に応じて、伝送が完了するのが早いと予測される伝送経路を選択し、その選択した伝送経路で送信を行うように前記送信処理部に対する制御を行う伝送経路選択処理部
    　をさらに備える請求項１に記載の送信装置。
  3. 　前記伝送経路選択処理部は、前記ピクチャの符号量と、前記送信処理部における伝送開始までの遅延量の統計値、および、前記送信処理部が伝送開始した後のレートの統計量を用いて求められる境界符号量との比較に基づいて、前記伝送経路を選択する
    　請求項２に記載の送信装置。
  4. 　前記参照レイヤ制御処理部は、前記遅延量の統計値、および、前記レートの統計量に基づいて、前記受信バッファにアンダーフローが発生する可能性が高いか否かを予測する
    　請求項３に記載の送信装置。
  5. 　前記ネットワークは、そのネットワーク全体を仮想的に分割し、各機能を付加された複数の仮想ネットワークにより構成される
    　請求項１に記載の送信装置。
  6. 　動画像を送信する送信装置が、
    　前記動画像に対して、空間スケーラブルなエンコードを実施することと、
    　エンコードされたレイヤごとのピクチャを、ネットワークを介して送信する処理を行うことと、
    　受信バッファにアンダーフローが発生する可能性が高いと予測されるか、または、前記受信バッファにアンダーフローが発生した旨のフィードバックを受けた場合、上位レイヤをエンコードする際に参照する参照レイヤを下位レイヤから生成した中間レイヤに限定するように制御を行うことと
    　を含む送信方法。
  7. 　動画像を送信する送信装置のコンピュータに、
    　前記動画像に対して、空間スケーラブルなエンコードを実施することと、
    　エンコードされたレイヤごとのピクチャを、ネットワークを介して送信する処理を行うことと、
    　受信バッファにアンダーフローが発生する可能性が高いと予測されるか、または、前記受信バッファにアンダーフローが発生した旨のフィードバックを受けた場合、上位レイヤをエンコードする際に参照する参照レイヤを下位レイヤから生成した中間レイヤに限定するように制御を行うことと
    　を含む処理を実行させるためのプログラム。
PCT/JP2018/035841 2017-10-11 2018-09-27 送信装置および送信方法、並びにプログラム WO2019073802A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
EP18866425.4A EP3678372A4 (en) 2017-10-11 2018-09-27 SEND DEVICE, SEND METHOD AND PROGRAM
RU2020112245A RU2020112245A (ru) 2017-10-11 2018-09-27 Передающее устройство, способ передачи и программа
KR1020207009290A KR20200058431A (ko) 2017-10-11 2018-09-27 송신 장치 및 송신 방법, 그리고 프로그램
CN201880065114.0A CN111183640A (zh) 2017-10-11 2018-09-27 发送装置、发送方法和程序
BR112020006752-0A BR112020006752A2 (pt) 2017-10-11 2018-09-27 aparelho de envio, método de envio, e meio de armazenamento legível por computador
US16/753,409 US11070827B2 (en) 2017-10-11 2018-09-27 Transmission apparatus, transmission method, and program
JP2019548108A JP7173028B2 (ja) 2017-10-11 2018-09-27 送信装置および送信方法、並びにプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017197723 2017-10-11
JP2017-197723 2017-10-11

Publications (1)

Publication Number Publication Date
WO2019073802A1 true WO2019073802A1 (ja) 2019-04-18

Family

ID=66100712

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/035841 WO2019073802A1 (ja) 2017-10-11 2018-09-27 送信装置および送信方法、並びにプログラム

Country Status (9)

Country Link
US (1) US11070827B2 (ja)
EP (1) EP3678372A4 (ja)
JP (1) JP7173028B2 (ja)
KR (1) KR20200058431A (ja)
CN (1) CN111183640A (ja)
BR (1) BR112020006752A2 (ja)
RU (1) RU2020112245A (ja)
TW (1) TW201933867A (ja)
WO (1) WO2019073802A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021199131A1 (ja) * 2020-03-30 2021-10-07 ソニーグループ株式会社 情報処理装置及び情報処理システム
WO2021200410A1 (ja) * 2020-03-31 2021-10-07 ソニーグループ株式会社 情報処理装置、及び情報処理方法
WO2022185795A1 (ja) * 2021-03-05 2022-09-09 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116033147A (zh) * 2021-10-27 2023-04-28 华为技术有限公司 图像编解码方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5753341B2 (ja) 1971-10-14 1982-11-12
JP2000236547A (ja) * 1998-12-15 2000-08-29 Sony Corp 画像情報変換装置及び画像情報変換方法
JP2014135741A (ja) * 2010-05-06 2014-07-24 Nippon Telegr & Teleph Corp <Ntt> 映像符号化制御方法および装置
JP2015019319A (ja) * 2013-07-12 2015-01-29 キヤノン株式会社 符号化装置、符号化方法及びプログラム
JP2016184844A (ja) * 2015-03-26 2016-10-20 ソニー株式会社 画像処理装置および方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101421936B (zh) 2006-03-03 2016-09-21 维德约股份有限公司 用于在可缩放视频通信中提供差错弹性、随机接入和率控制的系统和方法
EP3387835A1 (en) * 2015-12-11 2018-10-17 VID SCALE, Inc. Scheduling multiple-layer video segments

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5753341B2 (ja) 1971-10-14 1982-11-12
JP2000236547A (ja) * 1998-12-15 2000-08-29 Sony Corp 画像情報変換装置及び画像情報変換方法
JP2014135741A (ja) * 2010-05-06 2014-07-24 Nippon Telegr & Teleph Corp <Ntt> 映像符号化制御方法および装置
JP2015019319A (ja) * 2013-07-12 2015-01-29 キヤノン株式会社 符号化装置、符号化方法及びプログラム
JP2016184844A (ja) * 2015-03-26 2016-10-20 ソニー株式会社 画像処理装置および方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KAZUI, KIMIHIKO ET AL.: "AHG9: Improvement of HRD for sub-picture based operation", JCTVC-J0136, 3 July 2012 (2012-07-03), pages 1 - 10, XP030112498, Retrieved from the Internet <URL:http://phenix.it-sudparis.eu/jet/doc_end_user/documents/10_Stockholm/wg11/JCTVC-J0136-v3.zip> *
NARASIMHAN, SAM ET AL.: "Consideration of buffer management issues HEVC scalability", JCTVC-N0049, 11 July 2013 (2013-07-11), pages 1 - 6, XP030114477, Retrieved from the Internet <URL:http://phenix.it-sudparis.eu/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N0049-v2.zip> *
See also references of EP3678372A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021199131A1 (ja) * 2020-03-30 2021-10-07 ソニーグループ株式会社 情報処理装置及び情報処理システム
WO2021200410A1 (ja) * 2020-03-31 2021-10-07 ソニーグループ株式会社 情報処理装置、及び情報処理方法
WO2022185795A1 (ja) * 2021-03-05 2022-09-09 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
KR20200058431A (ko) 2020-05-27
RU2020112245A (ru) 2021-09-27
US20200314439A1 (en) 2020-10-01
CN111183640A (zh) 2020-05-19
EP3678372A4 (en) 2020-09-09
JP7173028B2 (ja) 2022-11-16
BR112020006752A2 (pt) 2020-10-06
RU2020112245A3 (ja) 2022-01-21
JPWO2019073802A1 (ja) 2020-11-12
EP3678372A1 (en) 2020-07-08
US11070827B2 (en) 2021-07-20
TW201933867A (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
JP4309098B2 (ja) 階層型ビデオ符号化情報の伝送方法
WO2019073802A1 (ja) 送信装置および送信方法、並びにプログラム
US9038121B2 (en) Bit-rate constrained trick play through stream switching and adaptive streaming
US8176199B2 (en) Content delivery system, communicating apparatus, communicating method, and program
US7668170B2 (en) Adaptive packet transmission with explicit deadline adjustment
JP5161130B2 (ja) 固定帯域幅ネットワークにおける複数の圧縮ビデオストリームのための適応帯域幅フットプリントマッチング
JP6588987B2 (ja) ライブビデオエンコーディングおよびストリーミングにおけるフレーム複写およびフレーム拡張のためのシステムおよび方法
JP2006087125A (ja) ビデオフレームシーケンスを符号化する方法、符号化ビットストリーム、画像又は画像シーケンスを復号する方法、データの送信又は受信を含む使用、データを送信する方法、符号化及び／又は復号装置、コンピュータプログラム、システム、並びにコンピュータ読み取り可能な記憶媒体
KR20180031547A (ko) 서버에서 멀티 비트 레이트 스트림 미디어를 적응적으로 제공하기 위한 방법 및 장치
US10177899B2 (en) Adapting a jitter buffer
US8675728B2 (en) Transmitting apparatus and method, and receiving apparatus and method
WO2017066346A1 (en) Method and apparatus for optimizing video streaming for virtual reality
JP2015536594A (ja) 積極的なビデオフレームドロップ
US9661351B2 (en) Client side frame prediction for video streams with skipped frames
US9306987B2 (en) Content message for video conferencing
JP2002077260A (ja) 画像伝送のためのシステムおよび方法
TW512635B (en) System for controlling data output to a network
US11409415B1 (en) Frame interpolation for media streaming
CN115297343A (zh) 视频数据发送方法、装置及电子设备
EP3123730B1 (en) Enhanced distortion signaling for mmt assets and isobmff with improved mmt qos descriptor having multiple qoe operating points
JP2007288761A (ja) 画像配信システム、画像処理装置および方法、配信装置および方法、並びにプログラム
US10135896B1 (en) Systems and methods providing metadata for media streaming
Nightingale et al. Evaluation of in-network adaptation of scalable high efficiency video coding (SHVC) in mobile environments
JP2016192658A (ja) 通信システム、通信装置、通信方法および通信制御方法
Prasad et al. Congestion controlling for streaming media through buffer management and jitter control

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18866425

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019548108

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20207009290

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2018866425

Country of ref document: EP

Effective date: 20200331

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112020006752

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112020006752

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20200403