KR20200058431A - 송신 장치 및 송신 방법, 그리고 프로그램 - Google Patents

송신 장치 및 송신 방법, 그리고 프로그램 Download PDF

Info

Publication number
KR20200058431A
KR20200058431A KR1020207009290A KR20207009290A KR20200058431A KR 20200058431 A KR20200058431 A KR 20200058431A KR 1020207009290 A KR1020207009290 A KR 1020207009290A KR 20207009290 A KR20207009290 A KR 20207009290A KR 20200058431 A KR20200058431 A KR 20200058431A
Authority
KR
South Korea
Prior art keywords
transmission
processing unit
layer
encoding
picture
Prior art date
Application number
KR1020207009290A
Other languages
English (en)
Inventor
히데토모 히라오
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20200058431A publication Critical patent/KR20200058431A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401—Monitoring of the client buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 개시는, 보다 저 지연으로 재생되도록 동화상을 송신할 수 있도록 하는 송신 장치 및 송신 방법, 그리고 프로그램에 관한 것이다. 인코딩부는, 동화상에 대해, 공간 스케일 가능한 인코딩을 실시하고, 송신 처리부는, 인코딩부에 의해 인코딩된 레이어별 픽처를, 네트워크를 통하여 송신한다. 그리고, 참조 레이어 제어 처리부는, 수신 버퍼에 언더플로우가 발생될 가능성이 높을 것으로 예측되거나 또는 수신 버퍼에 언더플로우가 발생했다는 취지의 피드백을 받은 경우, 참조 레이어를 인터 레이어에 한정하도록 인코딩부에 대한 제어를 행한다. 본 기술은, 예를 들어 동화상을 부호화하여 송신하는 송신 장치에 적용할 수 있다.

Description

송신 장치 및 송신 방법, 그리고 프로그램
본 개시는, 송신 장치 및 송신 방법, 그리고 프로그램에 관한 것으로, 특히, 보다 저 지연으로 재생되도록 동화상을 송신할 수 있게 한 송신 장치 및 송신 방법, 그리고 프로그램에 관한 것이다.
종래, 동화상을 부호화하여 네트워크 경유로 송신하고, 원격지에서 재생하여 표시하는 네트워크 카메라 시스템에 있어서, 예를 들어 도중 끊김없이 동화상이 재생되도록 하기 위해서는, 어느 정도의 지연이 필요하게 된다. 그러나, 이 지연을 크게 한 경우에는, 네트워크 카메라 시스템이 제공하는 기능에 악영향을 미치는 경우가 있다.
예를 들어, 네트워크 카메라 시스템을, 원격지간에서 쌍방향의 회화를 행하는 커뮤니케이션 시스템에서 이용하는 경우, 지연에 의해, 발화로부터 상대의 응답까지의 시간이 증대한 것으로 되어, 원활한 회화가 곤란해지는 것이 상정된다. 또한, 네트워크 카메라 시스템을, 예를 들어 원격지의 동화상을 감시하여, 원격지의 상황에 따른 대처가 필요해지는 감시 카메라 시스템에서 이용하는 경우, 지연에 의해, 원격지의 상황에 따른 대처에 지연이 생기는 것이 상정된다.
여기서, 특허문헌 1에는, 스케일러블 비디오 코딩을 사용하는 비디오 통신 시스템에 있어서, 예를 들어 에러 내성을 높일 수 있는 기술이 개시되어 있다.
일본 특허 제5753341호 공보
상술한 바와 같이, 네트워크 카메라 시스템에 있어서 동화상을 송신하고, 그 동화상이 재생될 때까지의 지연을 크게 한 경우에는, 다양한 악영향이 있으므로, 가능한 한 지연을 억제하면서, 도중 끊김없이 재생되도록 동화상을 송신할 것이 요구되고 있다.
본 개시는, 이러한 상황을 감안하여 이루어진 것이며, 보다 저 지연으로 재생되도록 동화상을 송신할 수 있도록 하는 것이다.
본 개시의 일 측면의 송신 장치는, 동화상에 대해, 공간 스케일 가능한 인코딩을 실시하는 인코딩부와, 상기 인코딩부에 의해 인코딩된 레이어별 픽처를, 네트워크를 통하여 송신하는 처리를 행하는 송신 처리부와, 수신 버퍼에 언더플로우가 발생될 가능성이 높을 것으로 예측되거나 또는 상기 수신 버퍼에 언더플로우가 발생했다는 취지의 피드백을 받은 경우, 상위 레이어를 인코딩할 때 참조할 참조 레이어를 하위 레이어로부터 생성된 중간 레이어에 한정하도록 상기 인코딩부에 대한 제어를 행하는 참조 레이어 제어 처리부를 구비한다.
본 개시의 일 측면의 송신 방법은, 동화상을 송신하는 송신 장치가, 상기 동화상에 대해, 공간 스케일 가능한 인코딩을 실시하는 것과, 인코딩된 레이어별 픽처를, 네트워크를 통하여 송신하는 처리를 행하는 것과, 수신 버퍼에 언더플로우가 발생될 가능성이 높을 것으로 예측되거나 또는 상기 수신 버퍼에 언더플로우가 발생했다는 취지의 피드백을 받은 경우, 상위 레이어를 인코딩할 때 참조할 참조 레이어를 하위 레이어로부터 생성된 중간 레이어에 한정하도록 제어를 행하는 것을 포함한다.
본 개시의 일 측면 또는 프로그램은, 동화상을 송신하는 송신 장치의 컴퓨터에, 상기 동화상에 대해, 공간 스케일 가능한 인코딩을 실시하는 것과, 인코딩된 레이어별 픽처를, 네트워크를 통하여 송신하는 처리를 행하는 것과, 수신 버퍼에 언더플로우가 발생될 가능성이 높을 것으로 예측되거나 또는 상기 수신 버퍼에 언더플로우가 발생했다는 취지의 피드백을 받은 경우, 상위 레이어를 인코딩할 때 참조할 참조 레이어를 하위 레이어로부터 생성된 중간 레이어에 한정하도록 제어를 행하는 것을 포함하는 처리를 실행시킨다.
본 개시의 일 측면에 있어서는, 동화상에 대해, 공간 스케일 가능한 인코딩이 실시되고, 인코딩된 레이어별 픽처를, 네트워크를 통하여 송신하는 처리가 행해진다. 그리고, 수신 버퍼에 언더플로우가 발생될 가능성이 높을 것으로 예측되거나 또는 수신 버퍼에 언더플로우가 발생했다는 취지의 피드백을 받은 경우, 상위 레이어를 인코딩할 때 참조할 참조 레이어를 하위 레이어로부터 생성된 중간 레이어에 한정하도록 제어가 행해진다.
본 개시의 일 측면에 의하면, 보다 저 지연으로 재생되도록 동화상을 송신할 수 있다.
또한, 여기에 기재된 효과는 반드시 한정되는 것만은 아니며, 본 개시 중에 기재된 어떤 효과여도 된다.
도 1은 본 기술을 적용한 네트워크 카메라 시스템의 일 실시 형태의 구성예를 도시하는 블록도이다.
도 2는 동화상의 일반적인 전송에 대해 설명하는 도면이다.
도 3은 언더플로우가 발생되고, 부정 화상이 전파되는 상태에 대해 설명하는 도면이다.
도 4는 네트워크의 구성예를 설명하는 블록도이다.
도 5는 전송 경로의 지연 모델을 도시하는 도면이다.
도 6은 2종류의 전송 경로로부터 조착(早着) 경로를 선택하는 처리에 대해 설명하는 도면이다.
도 7은 참조 레이어를 제어하는 처리에 대해 설명하는 도면이다.
도 8은 동화상을 송신하는 송신 처리에 대해 설명하는 흐름도이다.
도 9는 본 기술을 적용한 컴퓨터의 일 실시 형태의 구성예를 도시하는 블록도이다.
이하, 본 기술을 적용한 구체적인 실시 형태에 대해, 도면을 참조하면서 상세하게 설명한다.
<네트워크 카메라 시스템의 구성예>
도 1은, 본 기술을 적용한 네트워크 카메라 시스템의 일 실시 형태의 구성예를 도시하는 블록도이다.
도 1에 도시하는 바와 같이, 네트워크 카메라 시스템(11)은, 촬상 장치(21), 송신 장치(22), 수신 장치(23) 및 표시 장치(24)가, 네트워크(25)를 통하여 접속되어 구성된다. 또한, 송신 장치(22)는, 화상 처리부(31), 인코딩부(32), 송신 처리부(33) 및 전송 제어부(34)를 구비하고 있고, 전송 제어부(34)는 전송 경로 선택 처리부(35) 및 참조 레이어 제어 처리부(36)를 갖고 있다. 또한, 수신 장치(23)는, 수신 처리부(41), 디코딩부(42) 및 표시 처리부(43)를 구비하고 있고, 수신 처리부(41)는 수신 버퍼(44)를 갖고 있다.
촬상 장치(21)는, 예를 들어 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서 등의 촬상 소자를 가지고 있고, 그 촬상 소자에 의해 촬상하여 얻어지는 동화상을, 송신 장치(22)의 화상 처리부(31)에 공급한다.
화상 처리부(31)는, 촬상 장치(21)가 촬상된 동화상에 대해 각종 화상 처리를 실시하고, 예를 들어 동화상의 비트 레이트나 해상도, 프레임 레이트 등을 조정하는 화상 처리를 실시하여, 인코딩부(32)에 공급한다.
인코딩부(32)는, 화상 처리부(31)로부터 공급되는 동화상에 대해, 공간 스케일 가능한 인코딩을 실시할 수 있고, 동화상을 인코딩하여 얻어지는 픽처(I 픽처나 P 픽처 등)의 스트림을 송신 처리부(33)에 공급한다. 또한, 인코딩부(32)는, 동화상을 인코딩할 때 전송 제어부(34)에 의한 전송 제어에 따라, 참조 레이어를 인터 레이어 IL(도 7 참조)에 한정할 수 있다.
송신 처리부(33)는, 인코딩부(32)로부터 공급되는 픽처의 스트림을, 네트워크(25)를 통하여 수신 장치(23)에 송신하는 송신 처리를 행한다. 이 때, 송신 처리부(33)는, 전송 제어부(34)에 의한 전송 제어에 따른 전송 경로로 픽처를 송신할 수 있다.
전송 제어부(34)는, 네트워크 카메라 시스템(11)에 있어서의 동화상의 전송이 저 지연이 되도록, 전송 경로 선택 처리부(35) 및 참조 레이어 제어 처리부(36)에 의한 전송 제어를 행한다.
전송 경로 선택 처리부(35)는, 송신 처리부(33)에 의한 픽처마다의 송출을 항상 감시하고, 전송 개시까지의 지연량 및 전송 개시 후의 레이트를 취득하여, 그것들의 통계값을 산출한다. 그리고, 전송 경로 선택 처리부(35)는, 후술하는 도 6을 참조하여 설명한 바와 같이, 산출한 통계량과 픽처의 부호량에 기초하여, 전송이 완료되는 것이 빠를 것으로 예측되는 전송 경로를 선택하고, 그 전송 경로로 픽처를 송신하도록 송신 처리부(33)에 대한 제어를 행한다.
참조 레이어 제어 처리부(36)는, 예를 들어 전송 경로 선택 처리부(35)가 산출한 통계값에 기초하여, 수신 버퍼(44)에 언더플로우가 발생될 가능성이 높을 것으로 예측하는 경우, 후술하는 도 7을 참조하여 설명하는 바와 같이, 참조 레이어를 인터 레이어 IL에 한정하도록 인코딩부(32)에 대한 제어를 행한다. 또한, 참조 레이어 제어 처리부(36)는, 수신 장치(23)측으로부터, 수신 버퍼(44)에 언더플로우가 발생했다는 취지의 피드백을 받은 경우, 인코딩부(32)에 대해 마찬가지의 제어를 행해도 된다.
수신 처리부(41)는, 네트워크(25)를 통하여 전송되어 오는 픽처를 수신하여, 순차, 수신 버퍼(44)에 일시적으로 축적시킨다. 그리고, 수신 처리부(41)는, 프레임 간격에 따라 순차, 표시의 타이밍이 된 픽처를 수신 버퍼(44)로부터 판독하여 디코딩부(42)에 공급한다. 또한, 수신 처리부(41)는, 네트워크(25)를 통한 동화상의 전송에 지연이 발생하여 표시 타이밍의 픽처 수신이 완료되지 않고, 수신 버퍼(44)에 언더플로우가 발생한 경우, 그 취지를 송신 장치(22)측에 통지하는 피드백을 행한다.
디코딩부(42)는, 수신 처리부(41)로부터 프레임 간격에 따라 순차 공급되는 픽처를 디코딩하여 얻어지는 동화상을, 표시 처리부(43)에 공급한다.
표시 처리부(43)는, 디코딩부(42)로부터 공급되는 동화상에 대해 표시 처리를 행하고, 재생되는 동화상을 표시 장치(24)에 표시시킨다.
표시 장치(24)는, 예를 들어 액정 패널이나 유기 EL(Electro Luminescence) 패널 등의 표시 디바이스를 가지고 있고, 표시 처리부(43)에 의해 표시 처리가 실시된 동화상을 표시한다.
이와 같이 구성되는 네트워크 카메라 시스템(11)에서는, 전송 제어부(34)에 의한 전송 제어에 따라, 송신 장치(22)로부터 송신되는 동화상이 수신 장치(23)에서 재생될 때까지의 지연을 저감할 수 있다.
여기서, 전송 제어부(34)에 의한 전송 제어에 대해 설명하기 전에, 도 2 및 도 2를 참조하여, 전송 제어부(34)에 의한 전송 제어가 행해지지 않는 동화상의 일반적인 전송에 대해 설명한다.
도 2에 도시하는 바와 같이, 네트워크 카메라 시스템(11)에서는, 인코딩부(32)가 동화상을 인코딩하고, 프레임 간격 Tfr별 픽처(I 픽처 또는 P 픽처)를 생성하고, 그것들의 픽처를 순차, 네트워크(25)를 통하여 전송한다. 그리고, 수신 처리부(41)는, 네트워크(25)를 통하여 수신한 픽처를 순차, 수신 버퍼(44)에 축적하지만, 각각의 픽처가 전송되는 전송 경로에 따라서는 네트워크(25) 상에서 전송 지연 Tfrn이 발생되는 경우가 있다.
그래서, 통상 네트워크(25)를 통하여 동화상을 전송할 때에는, 도중 끊김없이 동화상이 재생되도록, 충분한 용량의 수신 버퍼(44)를 수신 처리부(41)에 구비할 필요가 있다. 그리고, 수신 버퍼(44)에 언더플로우가 발생되지 않도록, 디코딩부(42)가 디코딩하는 타이밍 및 표시 장치(24)가 동화상을 표시하는 타이밍을 늦춤으로써, 네트워크(25) 상에서 발생되는 전송 지연 Tfrn의 요동을 흡수할 수 있다. 이와 같이, 수신 버퍼(44)에 일시적으로 픽처를 축적시킴으로써 동화상이 인코딩되고 나서, 디코딩되어 표시될 때까지 지연이 생기게 된다.
여기서, 디코딩부(42)가 디코딩하는 타이밍 및 표시 장치(24)가 동화상을 표시하는 타이밍을 빠르게 함으로써, 저 지연화를 도모할 수 있다.
그러나, 저 지연화를 도모함으로써, 네트워크(25) 상에서 발생되는 전송 지연 Tfrn의 최대의 것을 커버할 수 없게 되면, 도 3에 도시하는 바와 같이, 수신 버퍼(44)에 언더플로우가 발생되어 버린다.
그 결과, 언더플로우가 발생한 픽처의 디코딩 결과가 부정이 되어, 부정 화상이 표시되는 결과, 표시 장치(24)의 표시가 흐트러지게 된다. 또한, 후속의 픽처가 프레임간(Inter) 예측을 이용하고 있는 P 픽처인 경우에는, 부정 화상이 전파되어 버린다. 이 경우, 정상으로 복귀하는 것은, 다음의 프레임 내(Intra) 예측을 이용한 I 픽처가 된다. 그 때문에, I 픽처의 간격에 따라서는, 표시 장치(24)의 표시의 흐트러짐이 장기간 계속되게 되어 버린다.
그래서, 네트워크 카메라 시스템(11)에서는, 전송 제어부(34)가, 이와 같은 표시 장치(24)의 표시의 흐트러짐을 억제하고, 또한, 동화상의 전송이 저 지연이 되는 전송 제어를 행할 수 있다.
예를 들어, 전송 경로 선택 처리부(35)는, 인코딩부(32)에 의해 공간 스케일 가능한 인코딩이 실시된 각 레이어의 부호를, 동일 또는 개별의 전송 경로로 송출하도록 송신 처리부(33)에 대한 제어를 행한다. 이 때, 전송 경로 선택 처리부(35)는, 각 레이어의 부호를 송출하는 전송 경로로서, 부호량에 따라 전송 지연이 작을 것으로 예측되는 경로를 선택한다. 또한, 전송 경로 선택 처리부(35)는, 이와 같은 전송 경로의 선택에, 전송 개시까지의 지연량의 통계값 및 전송 개시 후의 레이트 통계값을 취득함으로써, 전송 경로의 선택 정밀도를 향상시킬 수 있다.
또한, 참조 레이어 제어 처리부(36)는, 예를 들어 전송 개시까지의 지연량의 통계값 및 전송 개시 후의 레이트 통계값에 기초하여, 상위 레이어의 부호 전송 경로의 지연 요동이 큰 것으로 판단되는 경우, 수신 버퍼(44)에 언더플로우가 발생될 가능성이 높다고 판정할 수 있다. 따라서, 참조 레이어 제어 처리부(36)는, 이 경우, 하위의 레이어로부터의 확대 상만을 참조하도록, 인코딩부(32)에 대한 제어를 행한다. 이에 의해, 상위 레이어의 언더플로우가 발생하였다고 해도, 부정 화상이 전파되는 것을 억제할 수 있다.
따라서, 네트워크 카메라 시스템(11)은, 전송 경로를 적절하게 선택함으로써, 전송 지연을 억제할 수 있고, 디코딩 시각을 빠르게 하는 것에 수반하여, 표시될 화상의 품질이 저하되는 리스크를 저감할 수 있다. 이에 의해, 네트워크 카메라 시스템(11)에서는, 촬상 장치(21)에 의해 촬상된 동화상이, 표시 장치(24)에서 표시될 때까지의 지연을 억제할 수 있다.
여기서, 도 4를 참조하여, 네트워크(25)의 구성과, 전송 경로 선택 처리부(35)에 의한 전송 경로의 선택에 대해 설명한다.
예를 들어, 도 4에 도시하는 바와 같이, 네트워크(25)에는, 복수대의 송신 장치(22)(도 4의 예에서는, 2대의 송신 장치(22-1 및 22-2)가 접속됨과 함께, 복수대의 수신 장치(23)(도 4의 예에서는, 2대의 수신 장치(23-1 및 23-2))가 접속된다.
네트워크(25)는, 슬라이스 배분 처리부(51)와, 논리 네트워크를 구성하는 복수의 슬라이스(52)에 의해 구성되고, 예를 들어 서비스 사업자의 요망에 따라 유연하게 네트워크 기능을 제공할 수 있다.
슬라이스 배분 처리부(51)는, 네트워크(25)의 가상화와 연계하여, 트래픽양이나 통신 내용에 따라, 복수의 슬라이스(52)에 통신을 배분하는 처리를 행한다.
복수의 슬라이스(52)는, 네트워크(25)를 가상적으로 복수로 분할한 가상 네트워크이며, 각각의 슬라이스(52)에는, 다양한 기능을 부가할 수 있다. 도 4에 도시하는 예에서는, 슬라이스(52-1)에는 베스트 에포트인 전송을 실행하는 기능이 부가되어 있고, 슬라이스(52-2)에는 고속 전송을 실행하는 기능이 부가되어 있고, 슬라이스(52-3)에는 저 지연인 전송을 실행하는 기능이 부가되어 있다. 이들 슬라이스(52)는, 각각 필요한 물리 리소스를 자유롭게 조합하여 논리 네트워크를 구성할 수 있다.
이와 같이 구성되는 네트워크(25)와 같이, 복수의 전송 경로를 선택할 수 있는 경우, 전송 경로 선택 처리부(35)는, 목적에 최적인 전송 경로를 선택함으로써, 예를 들어 보다 저 지연으로 동화상을 송신하는 전송 제어를 행할 수 있다.
도 5 및 도 6을 참조하여, 전송 경로 선택 처리부(35)에 의한 전송 경로의 선택에 대해 설명한다.
도 5에는, 전송 경로의 지연 모델이 도시되어 있다.
예를 들어, 도 5에 도시하는 바와 같이, 전송 경로에서의 지연이, 전송 개시 대기 시간 d와 전송 레이트 r에 의한 1차식으로 표시될 때, 부호량 M의 전송에는, 다음 식 (1)에 나타내는 바와 같은 시간 T를 요하게 된다.
Figure pct00001
그리고, 도 6에 도시하는 바와 같이, 전송 개시 대기 시간 d 및 전송 레이트 r의 다른 2종류의 전송 경로가 존재하는 경우, 전송이 완료되는 것이 빠를 것으로 예측되는 전송 경로(조착 경로)는, 부호량 M에 의해 다른 것이 된다. 따라서, 전송 경로 선택 처리부(35)는, 각각의 전송 경로에 있어서의 전송 개시 대기 시간 d 및 전송 레이트 r을 파악하여, 조착 경로가 전환되는 경계 부호량 Mth를 연산에 의해 구할 수 있다. 그리고, 전송 경로 선택 처리부(35)는, 인코딩 결과의 부호량과, 경계 부호량 Mth를 비교함으로써, 조착 경로를 선택하는 것이 가능하게 된다.
예를 들어, 전송 경로 선택 처리부(35)는, 전송 개시 대기 시간 d 및 전송 레이트 r로서, 각각 실적값을 보존하고, 평균값 및 표준 편차의 통계값을 산출하고, 그것들의 통계값에 기초하여 조착 경로를 예측할 수 있다. 즉, 전송 경로 선택 처리부(35)는, 레이트의 평균값 rM, 지연의 평균값 dM, 레이트의 표준 편차 s(r), 지연의 표준 편차 s(d) 및 예측 파라미터 n을 사용하여, 예측 레이트 rP 및 예측 지연 dP를, 다음 식(2)를 연산함으로써 구할 수 있다.
Figure pct00002
여기서, 식 (2)에서 사용되는 예측 파라미터 n이 클수록, 레이트가 낮고, 또한, 지연이 커지는 비관적인 예측이 된다.
여기서, 전송 경로 선택 처리부(35)가 통계값을 구하는 데 사용되는 전송 개시 대기 시간 d 및 전송 레이트 r의 실적값은, 송신 장치(22)에 있어서 축적해도 되고, 복수의 송신 장치(22)의 축적 정보를 수집하는 서버로부터 네트워크(25)를 통하여 취득해도 된다. 또한, 전송 개시 대기 시간 d 및 전송 레이트 r의 실적값은, 시간대 및 장소에도 의존하는 것으로 생각되므로, 시각 및 위치 정보별 실적값으로부터 맵을 생성함으로써, 예측 정밀도를 높일 수 있다.
전송 경로 선택 처리부(35)는, 이와 같이 구해지는 예측 레이트 rP 및 예측 지연 dP를, 복수의 전송 경로마다 계산해 두고, 그들에 기초하여, 도 6에 도시한 경계 부호량 Mth를 계산하여, 조착 경로를 선택할 수 있다.
예를 들어, 도 6에 도시하는 경계 부호량 Mth와, 경계 부호량 Mth가 되는 시간 Tth는, 전송 경로 A의 예측 레이트 rPA 및 예측 지연 dPA, 그리고, 전송 경로 B의 예측 레이트 rPB 및 예측 지연 dPB를 사용하여, 다음의 식 (3)에 나타내는 바와 같이 구할 수 있다.
Figure pct00003
그리고, 전송 경로 선택 처리부(35)는, 경계 부호량 Mth를 사용하여, 전송 경로 B의 예측 레이트 rPB가 전송 경로 A의 예측 레이트 rPA보다 크고(rPB>rPA), 부호량 M이 경계 부호량 Mth보다 큰 경우(M>Mth), 전송 경로 B를 선택한다. 한편, 전송 경로 선택 처리부(35)는, 전송 경로 B의 예측 레이트 rPB가 전송 경로 A의 예측 레이트 rPA보다 크고(rPB>rPA), 부호량 M이 경계 부호량 Mth 이하인 경우(M≤Mth), 전송 경로 A를 선택한다. 즉, 도시하는 예에서는, 경계 부호량 Mth가 되는 시간 Tth까지는, 전송 경로 A를 통한 전송 완료가 빠를 것으로 예측되고, 시간 Tth 이후는, 전송 경로 B를 통한 전송 완료가 빠를 것으로 예측된다.
여기서, 경계 부호량 Mth에는, 전송 비용의 요소를 넣을 수도 있다. 예를 들어, 전송 경로 A의 비트 단가 cA가, 전송 경로 B의 비트 단가 cB보다 큰 경우(cA>cB), 경계 부호량 Mth에 계수(=cB/cA)를 승산함으로써, 지연 및 전송 비용을 고려하여 전송 경로를 선택할 수 있다.
이와 같이, 네트워크 카메라 시스템(11)에서는, 전송이 완료되는 것이 빠를 것으로 예측되는 전송 경로를 선택함으로써, 보다 저 지연으로 동화상을 송신할 수 있다.
도 7을 참조하여, 참조 레이어 제어 처리부(36)가 참조 레이어를 제어하는 처리에 대해 설명한다.
송신 장치(22)에서는, 인코딩부(32)가 동화상의 부호화에 공간 스케일 가능한 인코딩을 실시할 수 있다. 즉, 인코딩부(32)는, 촬상 장치(21)에 의해 촬상된 동화상으로부터, 저해상도의 베이스 레이어 BL 및 고해상도의 인핸스먼트 레이어 EL을 포함하는 계층 구조를 갖는 스트림을 생성하는 인코딩을 실시한다.
예를 들어, 인코딩부(32)는, P 픽처의 부호화에 있어서, 베이스 레이어 BL에 대해서는 베이스 레이어 BL 자신의 디코딩 화상만을 참조하여 행하지만, 인핸스먼트 레이어 EL에서는, 인핸스먼트 레이어 EL 자신의 디코딩 화상과 함께, 베이스 레이어 BL의 디코딩 화상을 확대한 화상인 인터 레이어 IL을 참조할 수 있다. 따라서, 이와 같은 의존 관계에 의해, 시계열에 있어서, 베이스 레이어 BL의 인코딩이 인핸스먼트 레이어 EL에 선행하게 된다.
또한, 인코딩부(32)에 의해 생성되는 스트림은, 베이스 레이어 BL과 인핸스먼트 레이어 EL을 독립적으로 송신할 수 있다. 이 때문에, 송신 처리부(33)는, 베이스 레이어 BL의 송출을, 인핸스먼트 레이어 EL에 앞질러서 행할 수 있다.
그리고, 전송 경로 선택 처리부(35)는, 베이스 레이어 BL 및 인핸스먼트 레이어 EL의 송출에 대해, 각각의 스트림의 부호량에 기초하여, 상술한 경계 부호량 Mth와의 비교를 행함으로써, 전송 경로를 개별적으로 선택할 수 있다. 예를 들어, 해상도의 대소 관계로부터, 부호량이 낮은 베이스 레이어 BL은, 저 지연인 전송 경로(예를 들어, 도 4의 슬라이스(52-3))가 선택될 가능성이 높고, 부호량이 높은 인핸스먼트 레이어 EL보다 언더플로우가 발생되는 리스크를 저감할 수 있다. 한편, 인핸스먼트 레이어 EL은, 지연 요동이 큰 전송 경로를 통과할 가능성이 높아진다.
따라서, 참조 레이어 제어 처리부(36)는, 전송 경로 선택 처리부(35)가 산출한 통계값에 기초하여, 지연의 절댓값이 커졌을 때 또는 요동이 커졌을 때에는, 수신 버퍼(44)에 언더플로우가 발생될 가능성이 높을 것으로 예측할 수 있다. 이것에 기초하여, 참조 레이어 제어 처리부(36)는, 참조 레이어를 인터 레이어 IL에 한정하도록 코딩부(32)에 대한 제어를 행한다. 또한, 참조 레이어 제어 처리부(36)는, 수신 장치(23)측으로부터 수신 버퍼(44)에 언더플로우가 발생했다는 취지의 피드백을 받은 경우, 마찬가지로, 참조 레이어를 인터 레이어 IL에 한정하도록 인코딩부(32)에 대한 제어를 행한다.
이 경우, 인코딩부(32)는, 인터 레이어 IL만을 참조하여, 인핸스먼트 레이어 EL을 인코딩한다. 이에 의해, 디코딩부(42)는, 부정 화상을 참조하지 않고 디코딩을 행하는 것이기 때문에, 언더플로우에 의해 발생된 부정 화상을 참조하여 디코딩하는 것을 차단할 수 있다. 그 결과, 수신 장치(23)에서는, 디코딩부(42)에 있어서의 디코딩 및 표시 처리부(43)가 표시 장치(24)에 표시시키는 처리를 행할 때, 부정 화상의 전파를 억제하고, 정상 화상으로 복귀시킬 수 있다.
이와 같이, 네트워크 카메라 시스템(11)에서는, 전송 경로에서 지연이 발생됨으로써 수신 버퍼(44)에서 언더플로우가 발생해도, 부정 화상이 전파되는 것을 방지할 수 있다.
도 8은, 송신 장치(22)가 동화상을 송신하는 송신 처리에 대해 설명하는 흐름도이다.
예를 들어, 촬상 장치(21)에 의해 촬상된 동화상이 송신 장치(22)에 공급되면 처리가 개시된다. 스텝 S11에서, 인코딩부(32)는, 화상 처리부(31)에 있어서 화상 처리가 실시된 동화상에 대해 공간 스케일 가능한 인코딩을 실시한다. 이에 의해, 인코딩부(32)는, 저해상도의 베이스 레이어 BL 및 고해상도의 인핸스먼트 레이어 EL을 포함하는 계층 구조를 갖는 스트림을 생성하고, 송신 처리부(33)에 공급한다.
스텝 S12에서, 인코딩부(32)는, 스텝 S11에서 부호화된 베이스 레이어 BL 및 인핸스먼트 레이어 EL의 부호량을, 전송 제어부(34)의 전송 경로 선택 처리부(35)에 통지한다.
스텝 S13에서, 전송 경로 선택 처리부(35)는, 베이스 레이어 BL 및 인핸스먼트 레이어 EL의 부호량과, 경계 부호량 Mth(도 6 참조)의 비교를 행하고, 그 비교 결과에 기초하여, 전송이 완료되는 것이 빠를 것으로 예측되는 전송 경로를 선택한다. 그리고, 전송 경로 선택 처리부(35)는, 그 선택한 전송 경로로 송신하도록 송신 처리부(33)에 대한 제어를 행한다.
스텝 S14에서, 송신 처리부(33)는, 스텝 S11에서 인코딩부(32)로부터 공급된 베이스 레이어 BL 및 인핸스먼트 레이어 EL을, 스텝 S13에서 전송 경로 선택 처리부(35)에 의해 선택된 전송 경로로 송신한다.
스텝 S15에서, 참조 레이어 제어 처리부(36)는, 수신 버퍼(44)에 언더플로우가 발생될 가능성이 높을 것으로 예측되거나 또는 수신 장치(23)측으로부터 수신 버퍼(44)에 언더플로우가 발생했다는 취지의 피드백을 받았는지를 판정한다.
스텝 S15에서, 수신 버퍼(44)에 언더플로우가 발생될 가능성이 높을 것으로 예측되지 않는 경우 및 수신 장치(23)측으로부터 수신 버퍼(44)에 언더플로우가 발생했다는 취지의 피드백을 받지 않고 있다고 판정된 경우, 처리는 스텝 S11로 되돌아가, 이하, 마찬가지의 처리가 반복된다.
한편, 스텝 S15에서, 수신 버퍼(44)에 언더플로우가 발생될 가능성이 높을 것으로 예측된 경우 또는 수신 장치(23)측으로부터 수신 버퍼(44)에 언더플로우가 발생했다는 취지의 피드백을 받은 경우, 처리는 스텝 S16으로 진행한다.
스텝 S16에서, 참조 레이어 제어 처리부(36)는, 참조 레이어를 인터 레이어 IL에 한정하도록 인코딩부(32)에 대한 제어를 행한 후, 처리는 스텝 S11로 되돌아간다. 이 경우, 다음의 스텝 S11에서만, 인코딩부(32)는, 인터 레이어 IL만을 참조하여, 인핸스먼트 레이어 EL을 인코딩한다.
그 후, 촬상 장치(21)에 의해 촬상된 동화상의 공급이 정지될 때까지, 이하, 마찬가지의 처리가 반복된다.
이상과 같이, 네트워크 카메라 시스템(11)에서는, 송신 장치(22)에 있어서, 전송 제어부(34)가 전송 지연의 통계량에 기초하여, 전송 경로를 적응적으로 선택할 수 있다. 이에 의해, 전송 지연을 낮게 억제할 수 있는 결과, 수신 장치(23)에 있어서 수신 버퍼(44)에 언더플로우가 발생할 리스크를 저하시킬 수 있다.
또한, 네트워크 카메라 시스템(11)에서는, 송신 장치(22)에 있어서, 인코딩부(32)가 공간 스케일 가능한 인코딩을 실시한다. 그리고, 네트워크 카메라 시스템(11)에서는, 예를 들어 상위 레이어의 부호 전송 경로의 지연 요동에 따라, 상위 레이어의 참조 레이어를 적응적으로 선택함으로써, 수신 버퍼(44)에 언더플로우가 발생했을 때라도, 부정 화상이 전파되는 것을 방지할 수 있어, 표시 장치(24)에 표시되는 화상의 품질 저하를 억제할 수 있다.
이와 같이, 네트워크 카메라 시스템(11)에서는, 수신 버퍼(44)에 언더플로우가 발생할 리스크를 저하시킴과 함께, 부정한 화상의 전파를 방지할 수 있으므로, 디코딩부(42)가 디코딩을 개시하는 타이밍을 빠르게 할 수 있다. 따라서, 네트워크 카메라 시스템(11)은, 촬상 장치(21)에 있어서 촬상된 동화상이, 보다 저 지연으로 표시 장치(24)에 있어서 재생되도록, 네트워크(25)를 통하여 동화상을 송신할 수 있다.
그 결과, 네트워크 카메라 시스템(11)은, 예를 들어 텔레비전 통화나 감시 카메라 등과 같이 네트워크(25)를 통하여 수신한 원격지의 화상에 반응 또는 응답이 필요한 용도의 편리성을 향상시킬 수 있다.
<컴퓨터의 구성예>
여기서, 상술한 흐름도를 참조하여 설명한 각 처리는, 반드시 흐름도로서 기재된 순서를 따라 시계열로 처리할 필요는 없으며, 병렬적 혹은 개별로 실행되는 처리(예를 들어, 병렬 처리 혹은 오브젝트에 의한 처리)도 포함하는 것이다. 또한, 프로그램은, 하나의 CPU에 의해 처리되는 것이어도 되고, 복수의 CPU에 의해 분산 처리되는 것이어도 된다.
또한, 상술한 일련의 처리(송신 방법)는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용 하드웨어에 내장되어 있는 컴퓨터 또는 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용 퍼스널 컴퓨터 등에, 프로그램이 기록된 프로그램 기록 매체로부터 인스톨된다.
도 9는, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.
컴퓨터에 있어서, CPU(Central Processing Unit)(101), ROM(Read Only Memory)(102), RAM(Random Access Memory)(103)은, 버스(104)에 의해 서로 접속되어 있다.
버스(104)에는, 또한, 입출력 인터페이스(105)가 접속되어 있다. 입출력 인터페이스(105)에는, 키보드, 마우스, 마이크로 폰 등을 포함하는 입력부(106), 디스플레이, 스피커 등을 포함하는 출력부(107), 하드 디스크나 불휘발성이 메모리 등을 포함하는 기억부(108), 네트워크 인터페이스 등을 포함하는 통신부(109), 자기 디스크, 광 디스크, 광자기 디스크, 혹은 반도체 메모리 등의 리무버블 미디어(111)를 구동하는 드라이브(110)가 접속되어 있다.
이상과 같이 구성되는 컴퓨터에서는, CPU(101)가, 예를 들어 기억부(108)에 기억되어 있는 프로그램을, 입출력 인터페이스(105) 및 버스(104)를 통하여, RAM(103)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다.
컴퓨터(CPU(101))가 실행하는 프로그램은, 예를 들어 자기 디스크(플렉시블 디스크를 포함함), 광 디스크(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc) 등), 광자기 디스크, 혹은 반도체 메모리 등을 포함하는 패키지 미디어인 리무버블 미디어(111)에 기록하거나, 혹은 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통해 제공된다.
그리고, 프로그램은, 리무버블 미디어(111)를 드라이브(110)에 장착함으로써, 입출력 인터페이스(105)를 통하여, 기억부(108)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통해, 통신부(109)에서 수신하고, 기억부(108)에 인스톨할 수 있다. 그 밖에, 프로그램은, ROM(102)이나 기억부(108)에, 미리 인스톨해 둘 수 있다.
<구성의 조합예>
또한, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1)
동화상에 대해, 공간 스케일 가능한 인코딩을 실시하는 인코딩부와,
상기 인코딩부에 의해 인코딩된 레이어별 픽처를, 네트워크를 통하여 송신하는 처리를 행하는 송신 처리부와,
수신 버퍼에 언더플로우가 발생될 가능성이 높을 것으로 예측되거나 또는 상기 수신 버퍼에 언더플로우가 발생했다는 취지의 피드백을 받은 경우, 상위 레이어를 인코딩할 때 참조할 참조 레이어를 하위 레이어로부터 생성된 중간 레이어에 한정하도록 상기 인코딩부에 대한 제어를 행하는 참조 레이어 제어 처리부
를 구비하는 송신 장치.
(2)
상기 인코딩부에 의해 인코딩된 레이어별 픽처의 부호량에 따라, 전송이 완료되는 것이 빠를 것으로 예측되는 전송 경로를 선택하고, 그 선택한 전송 경로로 송신을 행하도록 상기 송신 처리부에 대한 제어를 행하는 전송 경로 선택 처리부
를 더 구비하는 상기 (1)에 기재된 송신 장치.
(3)
상기 전송 경로 선택 처리부는, 상기 픽처의 부호량과, 상기 송신 처리부에 있어서의 전송 개시까지의 지연량의 통계값 및 상기 송신 처리부가 전송 개시한 후의 레이트의 통계량을 사용하여 구해지는 경계 부호량의 비교에 기초하여, 상기 전송 경로를 선택하는
상기 (2)에 기재된 송신 장치.
(4)
상기 참조 레이어 제어 처리부는, 상기 지연량의 통계값 및 상기 레이트의 통계량에 기초하여, 상기 수신 버퍼에 언더플로우가 발생될 가능성이 높은지 여부를 예측하는
상기 (3)에 기재된 송신 장치.
(5)
상기 네트워크는, 그 네트워크 전체를 가상적으로 분할하고, 각 기능이 부가된 복수의 가상 네트워크에 의해 구성되는
상기 (1) 내지 (4)의 어느 것에 기재된 송신 장치.
(6)
동화상을 송신하는 송신 장치가,
상기 동화상에 대해, 공간 스케일 가능한 인코딩을 실시하는 것과,
인코딩된 레이어별 픽처를, 네트워크를 통하여 송신하는 처리를 행하는 것과,
수신 버퍼에 언더플로우가 발생될 가능성이 높을 것으로 예측되거나 또는 상기 수신 버퍼에 언더플로우가 발생했다는 취지의 피드백을 받은 경우, 상위 레이어를 인코딩할 때 참조할 참조 레이어를 하위 레이어로부터 생성된 중간 레이어에 한정하도록 제어를 행하는 것
을 포함하는 송신 방법.
(7)
동화상을 송신하는 송신 장치의 컴퓨터에,
상기 동화상에 대해, 공간 스케일 가능한 인코딩을 실시하는 것과,
인코딩된 레이어별 픽처를, 네트워크를 통하여 송신하는 처리를 행하는 것과,
수신 버퍼에 언더플로우가 발생될 가능성이 높을 것으로 예측되거나 또는 상기 수신 버퍼에 언더플로우가 발생했다는 취지의 피드백을 받은 경우, 상위 레이어를 인코딩할 때 참조할 참조 레이어를 하위 레이어로부터 생성된 중간 레이어에 한정하도록 제어를 행하는 것
을 포함하는 처리를 실행시키기 위한 프로그램.
또한, 본 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니고, 본 개시의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다. 또한, 본 명세서에 기재된 효과는 어디까지나 예시로서 한정되는 것은 아니며, 다른 효과가 있어도 된다.
11: 네트워크 카메라 시스템
21: 촬상 장치
22: 송신 장치
23: 수신 장치
24: 표시 장치
25: 네트워크
31: 화상 처리부
32: 인코딩부
33: 송신 처리부
34: 전송 제어부
35: 전송 경로 선택 처리부
36: 참조 레이어 제어 처리부
41: 수신 처리부
42: 디코딩부
43: 표시 처리부
44: 수신 버퍼
51: 슬라이스 배분 처리부
52-1 내지 52-3: 슬라이스

Claims (7)

  1. 동화상에 대해, 공간 스케일 가능한 인코딩을 실시하는 인코딩부와,
    상기 인코딩부에 의해 인코딩된 레이어별 픽처를, 네트워크를 통하여 송신하는 처리를 행하는 송신 처리부와,
    수신 버퍼에 언더플로우가 발생될 가능성이 높을 것으로 예측되거나 또는 상기 수신 버퍼에 언더플로우가 발생했다는 취지의 피드백을 받은 경우, 상위 레이어를 인코딩할 때 참조할 참조 레이어를 하위 레이어로부터 생성된 중간 레이어에 한정하도록 상기 인코딩부에 대한 제어를 행하는 참조 레이어 제어 처리부
    를 구비하는, 송신 장치.
  2. 제1항에 있어서, 상기 인코딩부에 의해 인코딩된 레이어별 픽처의 부호량에 따라, 전송이 완료되는 것이 빠를 것으로 예측되는 전송 경로를 선택하고, 그 선택한 전송 경로로 송신을 행하도록 상기 송신 처리부에 대한 제어를 행하는 전송 경로 선택 처리부
    를 더 구비하는, 송신 장치.
  3. 제2항에 있어서, 상기 전송 경로 선택 처리부는, 상기 픽처의 부호량과, 상기 송신 처리부에 있어서의 전송 개시까지의 지연량의 통계값 및 상기 송신 처리부가 전송 개시한 후의 레이트의 통계량을 사용하여 구해지는 경계 부호량의 비교에 기초하여, 상기 전송 경로를 선택하는,
    송신 장치.
  4. 제3항에 있어서, 상기 참조 레이어 제어 처리부는, 상기 지연량의 통계값 및 상기 레이트의 통계량에 기초하여, 상기 수신 버퍼에 언더플로우가 발생될 가능성이 높은지 여부를 예측하는,
    송신 장치.
  5. 제1항에 있어서, 상기 네트워크는, 그 네트워크 전체를 가상적으로 분할하고, 각 기능이 부가된 복수의 가상 네트워크에 의해 구성되는,
    송신 장치.
  6. 동화상을 송신하는 송신 장치가,
    상기 동화상에 대해, 공간 스케일 가능한 인코딩을 실시하는 것과,
    인코딩된 레이어별 픽처를, 네트워크를 통하여 송신하는 처리를 행하는 것과,
    수신 버퍼에 언더플로우가 발생될 가능성이 높을 것으로 예측되거나 또는 상기 수신 버퍼에 언더플로우가 발생했다는 취지의 피드백을 받은 경우, 상위 레이어를 인코딩할 때 참조할 참조 레이어를 하위 레이어로부터 생성된 중간 레이어에 한정하도록 제어를 행하는 것
    을 포함하는, 송신 방법.
  7. 동화상을 송신하는 송신 장치의 컴퓨터에,
    상기 동화상에 대해, 공간 스케일 가능한 인코딩을 실시하는 것과,
    인코딩된 레이어별 픽처를, 네트워크를 통하여 송신하는 처리를 행하는 것과,
    수신 버퍼에 언더플로우가 발생될 가능성이 높을 것으로 예측되거나 또는 상기 수신 버퍼에 언더플로우가 발생했다는 취지의 피드백을 받은 경우, 상위 레이어를 인코딩할 때 참조할 참조 레이어를 하위 레이어로부터 생성된 중간 레이어에 한정하도록 제어를 행하는 것
    을 포함하는 처리를 실행시키기 위한 프로그램.
KR1020207009290A 2017-10-11 2018-09-27 송신 장치 및 송신 방법, 그리고 프로그램 KR20200058431A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017197723 2017-10-11
JPJP-P-2017-197723 2017-10-11
PCT/JP2018/035841 WO2019073802A1 (ja) 2017-10-11 2018-09-27 送信装置および送信方法、並びにプログラム

Publications (1)

Publication Number Publication Date
KR20200058431A true KR20200058431A (ko) 2020-05-27

Family

ID=66100712

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207009290A KR20200058431A (ko) 2017-10-11 2018-09-27 송신 장치 및 송신 방법, 그리고 프로그램

Country Status (9)

Country Link
US (1) US11070827B2 (ko)
EP (1) EP3678372A4 (ko)
JP (1) JP7173028B2 (ko)
KR (1) KR20200058431A (ko)
CN (1) CN111183640A (ko)
BR (1) BR112020006752A2 (ko)
RU (1) RU2020112245A (ko)
TW (1) TW201933867A (ko)
WO (1) WO2019073802A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115315674A (zh) * 2020-03-30 2022-11-08 索尼集团公司 信息处理设备和信息处理系统
US20230136388A1 (en) * 2020-03-31 2023-05-04 Sony Group Corporation Information processing apparatus and information processing method
WO2022185795A1 (ja) * 2021-03-05 2022-09-09 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
CN116033147A (zh) * 2021-10-27 2023-04-28 华为技术有限公司 图像编解码方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5753341B2 (ja) 2006-03-03 2015-07-22 ヴィドヨ，インコーポレーテッド スケーラブルビデオ通信でエラー耐性、ランダムアクセス、およびレート制御を提供するシステムおよび方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BE790089A (fr) 1971-10-14 1973-04-13 Ici Ltd Derives de l'imidazole
JP2000236547A (ja) 1998-12-15 2000-08-29 Sony Corp 画像情報変換装置及び画像情報変換方法
JP5584757B2 (ja) 2010-05-06 2014-09-03 日本電信電話株式会社 映像符号化制御方法および装置
JP2015019319A (ja) 2013-07-12 2015-01-29 キヤノン株式会社 符号化装置、符号化方法及びプログラム
JP2016184844A (ja) 2015-03-26 2016-10-20 ソニー株式会社 画像処理装置および方法
EP3387835A1 (en) 2015-12-11 2018-10-17 VID SCALE, Inc. Scheduling multiple-layer video segments

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5753341B2 (ja) 2006-03-03 2015-07-22 ヴィドヨ，インコーポレーテッド スケーラブルビデオ通信でエラー耐性、ランダムアクセス、およびレート制御を提供するシステムおよび方法

Also Published As

Publication number Publication date
WO2019073802A1 (ja) 2019-04-18
CN111183640A (zh) 2020-05-19
US20200314439A1 (en) 2020-10-01
RU2020112245A (ru) 2021-09-27
US11070827B2 (en) 2021-07-20
EP3678372A1 (en) 2020-07-08
BR112020006752A2 (pt) 2020-10-06
JPWO2019073802A1 (ja) 2020-11-12
JP7173028B2 (ja) 2022-11-16
TW201933867A (zh) 2019-08-16
EP3678372A4 (en) 2020-09-09
RU2020112245A3 (ko) 2022-01-21

Similar Documents

Publication Publication Date Title
US7577980B2 (en) Bit-rate constrained trick play through stream switching and adaptive streaming
KR20200058431A (ko) 송신 장치 및 송신 방법, 그리고 프로그램
US20160249048A1 (en) Media coding for loss recovery with remotely predicted data units
US20140376640A1 (en) Low Latency Rate Control System and Method
JP2006087125A (ja) ビデオフレームシーケンスを符号化する方法、符号化ビットストリーム、画像又は画像シーケンスを復号する方法、データの送信又は受信を含む使用、データを送信する方法、符号化及び／又は復号装置、コンピュータプログラム、システム、並びにコンピュータ読み取り可能な記憶媒体
JP4358215B2 (ja) 動画像符号化装置及びその方法
JPWO2006082690A1 (ja) 画像符号化方法および画像符号化装置
JP6463041B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20110096833A1 (en) Software video decoder display buffer underflow prediction and recovery
US8750373B2 (en) Delay aware rate control in the context of hierarchical P picture coding
EP2798845B1 (en) Dynamic insertion of synchronization predicted video frames
JP2013232801A (ja) 動画像符号化装置、動画像符号化方法、動画像復号装置及び動画像復号方法
KR20090125150A (ko) 획득 및 기본 계층과 확장 계층 밸런싱을 위해 ｉ 프레임을 적응적으로 결정하는 시스템 및 방법
JP2005520417A (ja) Ｆｇｓ符号化構成間の円滑な遷移を実行するための方法及び装置
JP6234660B2 (ja) 動画像復号装置
US20170078355A1 (en) Encoding device, decoding device, computer program product, and streaming system
US20170041645A1 (en) Method for transmitting digital images from a series of images
JP2007288761A (ja) 画像配信システム、画像処理装置および方法、配信装置および方法、並びにプログラム
US6990144B2 (en) System and method for overrun catch-up in a real-time software
JP6911922B2 (ja) データ配信装置、システム、方法およびプログラム
JP6394766B2 (ja) 動画像符号化装置及び動画像符号化方法
US20130287100A1 (en) Mechanism for facilitating cost-efficient and low-latency encoding of video streams
JP2016129419A (ja) 動画像復号装置及び動画像復号方法
JP2016192658A (ja) 通信システム、通信装置、通信方法および通信制御方法
JP6146502B2 (ja) 動画像符号化復号システム及び動画像符号化復号方法

Legal Events

Date Code Title Description
A201 Request for examination
WITB Written withdrawal of application