KR20050085391A - 부호화 전송 장치 및 부호화 전송 방법 - Google Patents

부호화 전송 장치 및 부호화 전송 방법 Download PDF

Info

Publication number
KR20050085391A
KR20050085391A KR1020057010214A KR20057010214A KR20050085391A KR 20050085391 A KR20050085391 A KR 20050085391A KR 1020057010214 A KR1020057010214 A KR 1020057010214A KR 20057010214 A KR20057010214 A KR 20057010214A KR 20050085391 A KR20050085391 A KR 20050085391A
Authority
KR
South Korea
Prior art keywords
data
encoding
multiplexing
image
encoded
Prior art date
Application number
KR1020057010214A
Other languages
English (en)
Other versions
KR101013421B1 (ko
Inventor
히데키 나베사코
게이스케 아오키
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20050085391A publication Critical patent/KR20050085391A/ko
Application granted granted Critical
Publication of KR101013421B1 publication Critical patent/KR101013421B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23106—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608—Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64746—Control signals issued by the network directed to the server or the client
    • H04N21/64761—Control signals issued by the network directed to the server or the client directed to the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Television Systems (AREA)

Abstract

본 발명은 전송로를 거쳐서 송신 측으로부터 수신 측에 동화상 데이터를 전송하고, 전송한 동화상 데이터를 수신 측에서 스트리밍하는 경우에 이용하는 부호화 전송 장치이며, 네트워크의 상태를 감시하는 외부 출력 요구 판정부(16)를 구비한다. 외부 출력 요구 판정부(16)는, 네트워크 상태가 악화되며 다중화 출력부(5)의 다중화 처리를 정지하고, 네트워크의 상태가 양호하면, 다중화 처리를 재개한다. 화상 부호화부(11) 및 음성 부호화부(12)는, 다중화 출력부(15)의 동작에 관련하지 않고 부호화 처리를 계속하고, 화상 부호화 데이터 기억부(13) 및 음성 부호화 데이터 기억부(14)의 부호화 데이터 점유량이 소정의 값을 넘으면 부호화 처리를 정지하고, 부호화 데이터 점유량이 충분히 낮아질 때까지 대기한다.

Description

부호화 전송 장치 및 부호화 전송 방법{Encoding/transmission device and encoding/transmission method}
본 발명은, 부호화 전송 장치 및 부호화 전송 방법에 관하여, 특히, 텔레비젼 회의 시스템, 텔레비젼 전화 시스템, 방송 시스템, 멀티미디어 데이터 베이스 시스템 등과 같이 전송로를 거쳐서 송신 측에서 수신 측으로 동화상 데이터를 전송하고, 전송한 동화상 데이터를 수신 측에서 실시간 재생(스트리밍)하는 경우에 매우 적합한 부호화 전송 장치 및 부호화 전송 방법에 관한 것이다.
본 출원은, 일본에 있어서 2002년 12월 11일에 출원된 일본 특허 출원 번호 2002－359726을 기초하여 우선권을 주장하는 것이며, 이 출원은 참조하는 것으로, 본 출원에 원용된다.
최근, 화상 정보를 디지털 데이터로서 취급할 때에, 화상 정보 특유의 용장성(冗長性)을 이용하고, 효율의 높은 정보의 전송 및 축적을 실현한 화상 정보 변환 방법이 방송국과 일반 가정과의 사이의 정보 전달에 있어서 보급되어 있다.
이러한 화상 정보 변환 방법에는, 예를 들면, MPEG－4(Moving Picture Expert Grope)에 의해 표준화되고 있는 화상 부호화 방식이 있다. 이 화상 부호화 방식은, 범용 화상 부호화 방식으로서 ISO／IEC　14496에 정의되어 있고, 프로패셔널 용도에서 컨슈머 용도까지 광범위한 어플리케이션에 이용되고 있다.
MPEG－4는, 동화상 데이터를 압축하는 방식이다. MPEG－4 규격은, 특히, 텔레비젼 회의 시스템, 텔레비젼 전화 시스템, 방송 시스템, 멀티미디어 데이터 베이스 시스템과 같이, 동화상 데이터를 실시간 재생(이하, 스트리밍이라고 적는다.)하기 위한 방식을 제공하고 있다. MPEG－4에 준거하여 부호화 및 전송 처리를 한 경우, 수신 측의 시스템은, 오류 정정 처리나 인터리브 처리 등을 행하고 있지만, 전송로의 트래픽 상태에 의해서는, 패킷 상실이나 데이터 에러는 피할 수 없다. 그 때문에, 네트워크상에서 스트리밍을 행할 때, 출력하는 데이터의 비트 레이트를 제어하고, 전송로를 통과하는 데이터의 전송량을 제어할 필요가 있다.
도 1은, 종래의 부호화 전송 장치(100)의 구성을 나타내고 있다. 이 부호화 전송 장치(100)는, 도 1에 나타낸 바와 같이, 입력한 화상 데이터를 부호화하는 화상 부호화부(101)와, 입력한 음성 데이터를 부호화하는 음성 부호화부(102)와, 부호화 한 화상 데이터를 기억하는 화상 부호화 데이터 기억부(103)와, 부호화 한 음성 데이터를 기억하는 음성 부호화 데이터 기억부(104)와, 부호화 된 화상 데이터 및 음성 데이터를 다중화하여 출력하는 다중화 출력부(106)를 구비한다. 화상 정보 출력장치(100)는, 또한 네트워크의 상황을 판정하는 네트워크 상황 판정부(105)를 구비한다. 네트워크 상황 판정부(105)는, 통신하고 있는 상대로부터의 버킷 로스 등의 정보를 수신하고, 네트워크의 부하가 가중으로 판정한 경우에는, 화상 부호화부(101) 및 음성 부호화부(102)를 제어하고, 부호화 비트 레이트를 내리는 처리를 행하고 있다.
또한, 도 1중 파선은, 데이터의 흐름을 나타고, 실선은, 제어 신호의 흐름을 나타내고 있다.
또, 부호화 비트 레이트를 제어하는 다른 방법으로서, 부호화 데이터를 격납하는 부호화 데이터 기억부의 버퍼 점유량을 기본으로, 화상 부호화부 및 음성 부호화부의 부호화 비트 레이트를 내리는 처리를 행하는 부호화 전송 장치도 있다(특개 평11－41608호 공보 참조).
그러나, 통신 상대로부터의 응답을 기초로 부호화 비트 레이트를 제어하는 경우, 네트워크의 폭주가 일어나는 상태에서는, 통신하고 있는 상대로부터의 응답을 받는 것도 곤란하게 되어, 네트워크 상황 판정부가 네트워크의 상황을 판정하지 못하고, 적절한 레이트 제어를 할 수 없게 될 염려가 있다. 또, 버퍼 점유량을 감시하는 것 만으로는, 네트워크의 상태에 따른 레이트 제어를 행할 수 없다.
도 1은, 종래의 부호화 전송 장치를 나타내는 블럭도이다.
도 2는, 본 발명과 관련되는 부호화 전송 장치를 나타내는 블럭도이다.
도 3은, 화상 부호화 데이터 기억부의 부호화 데이터 점유량이 작은 상태를 나타내는 도면이다.
도 4는, 화상 부호화 데이터 기억부의 부호화 데이터 점유량이 큰 상태를 나타내는 도면이다.
도 5a ∼ 도 5c는, 부호화 전송 장치의 동작을 나타내는 도면이다.
도 6은, 본 발명과 관련되는 부호화 전송 장치의 다른 예를 나타내는 블럭도이다.
도 7은, 본 발명과 관련되는 부호화 전송 장치의 한층 더 다른 예를 나타내는 블럭도이다.
도 8a ∼ 도 8c는, 도 7에 나타내는 부호화 전송 장치의 동작을 나타내는 도면이다.
도 9는, 본 발명과 관련되는 부호화 전송 장치의 또 다른 예를 나타내는 블럭도이다.
본 발명의 목적은, 상술한 바와 같은 종래의 기술이 가지는 문제점을 해결할 수 있는 신규 부호화 전송 장치 및 부호화 전송 방법을 제공하는 것에 있다.
본 발명의 다른 목적은, 전송로의 부하가 증대했을 경우에서도 적절한 레이트 제어를 행하는 부호화 전송 장치 및 부호화 전송 방법을 제공하는 것을 목적으로 한다.
본 발명과 관련되는 부호화 전송 장치는, 데이터를 입력하는 입력 수단과, 입력한 데이터를 부호화하는 부호화 수단과, 부호화 수단에 의해서 생성된 부호화 데이터를 기억하는 기억 수단과, 기억 수단에 기억하고 있는 부호화 데이터를 다중화하고, 네트워크를 거쳐서 접속된 소정의 수신장치에 다중화한 데이터를 전송하는 다중화 수단과, 네트워크의 상태를 감시하는 감시 수단을 구비하고, 다중화 수단이, 감시 수단이 검출한 네트워크 상태에 따라서, 다중화하는 레이트를 제어한다.
본 발명과 관련되는 부호화 전송 방법은, 데이터를 입력하는 입력 공정과, 입력한 데이터를 부호화하는 부호화 공정과, 부호화 공정에 의해서 생성된 부호화 데이터를 기억 수단에 기억시키는 기억 공정과, 기억 수단에 기억하고 있는 부호화 데이터를 다중화하고, 네트워크를 거쳐서 접속된 소정의 수신장치에 다중화한 데이터를 전송하는 다중화 공정을 가지고, 다중화 공정에서, 네트워크의 상태를 입력하고, 입력한 네트워크의 상태에 따라서, 다중화하는 레이트를 제어한다.
본 발명의 또 다른 목적, 본 발명에 의해서 얻을 수 있는 구체적인 이점은, 이하에 있어서 도면을 참조하여 설명되는 실시의 형태의 설명으로부터 한층 밝혀질 것이다.
이하, 본 발명과 관련되는 부호화 전송 장치를 도면을 참조하여 설명한다. 본 발명과 관련되는 부호화 전송 장치는, 스트리밍 데이터를 부호화하고, 외부에 출력하는 부호화 전송 장치이며, 차례 차례로 입력되는 화상이나 음성을 복호화하여 외부에 출력한다.
부호화 전송 장치(1)는, 도 2에 나타낸 바와 같이, 입력한 화상 데이터를 부호화하는 화상 부호화부(11)와, 입력한 음성 데이터를 부호화하는 음성 부호화부(12)와, 부호화한 화상 데이터를 기억하는 화상 부호화 데이터 기억부(13)와, 부호화한 음성 데이터를 기억하는 음성 부호화 데이터 기억부(14)와, 부호화된 화상 데이터 및 음성 데이터를 다중화하여 출력하는 다중화 출력부(15)와, 네트워크를 감시하고, 출력 요구를 판정하는 외부 출력 요구 판정부(16)를 구비한다.
또한, 도 2에 있어서, 도 2중 파선은, 데이터의 흐름을 나타내고, 실선은, 제어 신호의 흐름을 나타내고 있다.
화상 부호화부(11)에는, 스트림 분배되는 화상 데이터가 차례 차례로 입력되어 있다. 화상 부호화부(11)는, 입력한 화상 데이터를 MPEG－4(Moving Picture Expert Groupe) 등의 부호화 규칙에 따라서 부호화한다. 화상 부호화부(11)에 의해 부호화 된 화상 부호화 데이터는, 화상 부호화 데이터 기억부(13)에 기억된다.
화상 부호화부(11)는, 화상 데이터를 부호화하는 것과 동시에, 다중화 출력부(15)로부터의 다중화 완료 신호를 수신한다. 다중화 완료 신호는, 다중화 출력부(15)가 다중화를 완료했을 때에 출력하는 신호이며, 다중화한 부호화 데이터를 식별하기 위한 정보가 격납되어 있다. 화상 부호화부(11)는, 다중화 완료 정보의 기재를 기초로, 화상 부호화 데이터 기억부(13)에 기억된 화상 부호화 데이터를 해방시킨다. 또한, 해방이란, 어느 부호화 데이터가 점유하고 있던 기억 영역을 다른 부호화 데이터에서도 사용하도록 하는 처리이다.
또, 화상 부호화부(11)는, 다중화 완료 신호에 기술되어 있는 정보에 근거하여, 화상 부호화 데이터 기억부(13)로부터 다중화 출력부(15)에 의해 독출된 부호화 데이터를 판단한다.
화상 부호화부(11)는, 그 판단 결과에 근거하여, 현재 화상 부호화 데이터 기억부(13)에 기억되어 있는 데이터를 관리하고, 화상 부호화 데이터 기억부(13)의 데이터 점유량을 판단한다.
즉, 화상 부호화부(11)는, 부호화한 화상 데이터의 용량과 다중화한 부호화 화상 데이터의 용량과의 차이로부터, 화상 부호화 데이터 기억부(13)의 부호화 데이터 점유량을 계산한다. 그리고, 화상 부호화부(11)는, 부호화 데이터 점유량에 따라서, 부호화 처리를 중단 혹은 속행한다.
음성 부호화부(12)에는, 차례 차례로 음성 데이터가 입력되어 있다. 음성 부호화부(12)는, 입력된 음성 데이터를 MPEG 등의 부호화 규칙에 따라서 부호화하는, 음성 부호화부(12)에 의해 부호화된 음성 부호화 데이터는, 음성 부호화 데이터 기억부(14)에 기억된다. 음성 부호화부(12)는, 다중화 출력부(15)로부터의 다중화 완료 신호를 입력하고, 이 신호에 따라, 다중화된 음성 부호화 데이터를 음성 부호화 데이터 기억부(14)로부터 해방한다.
또, 음성 부호화부(12)는, 음성 데이터를 부호화하는 것과 동시에, 부호화한 음성 데이터의 용량과 다중화한 부호화 데이터의 용량과의 차이로부터 음성 부호화 데이터 기억부(14)의 부호화 데이터 점유량을 계산하고, 음성 부호화 데이터 기억부(14)의 부호화 데이터 점유량에 따라서, 부호화 처리를 중단 혹은 속행한다.
다중화 출력부(15)는, 화상 부호화 데이터 기억부(13) 및 음성 부호화 데이터 기억부(14)에 기억된 데이터를 독출하고, 화상 부호화 데이터 및 음성 부호화 데이터를 다중화하여, 네트워크에 출력한다. 다중화 출력부(15)는, 화상 부호화 데이터 및 음성 부호화 데이터를 다중화하면, 다중화 완료 신호를 생성한다.
다중화 완료 신호는, 다중화한 화상 부호화 데이터를 식별하기 위한 신호이다. 화상 부호화부(11)나 음성 부호화부(12)는, 다중화 완료 신호에 따라, 다중화가 완료한 부호화 데이터를 화상 부호화 데이터 기억부(13)나 음성 부호화 데이터 기억부(14) 등의 메모리로부터 해방시킨다.
외부 출력 요구 판정부(16)는, 네트워크 상태를 감시하고, 네트워크 상태가 악화되었을 경우에는, 다중화 출력부(15)의 다중화 처리를 정지시키는 다중화 정지 명령을 출력한다.
다음에, 도 3 ~ 도 5를 참조하여, 상술과 같은 구성을 가지는 부호화 전송 장치(1)가, 화상 데이터를 네트워크에 출력할 때의 동작을 설명한다. 또한, 이하의 설명에서는, 우선, 화상 데이터의 전송 처리에 대해서만 설명하고, 음성 데이터의 전송 처리에 대해서는 후술한다.
전송 처리에 있어서, 화상 부호화부(11)의 동작과, 다중화 출력부(15)의 동작과, 다중 출력 요구 판정부의 동작은 병행하여 행해진다.
우선, 화상 부호화부(11)의 동작에 대해 설명한다. 화상 부호화부(11)는, 화상 데이터가 입력되면, 입력된 화상 데이터를 부호화하고, 화상 부호화 데이터를 생성한다. 화상 부호화부(11)는, 화상 부호화 데이터를 화상 부호화 데이터 기억부(13)에 출력하고, 화상 부호화 데이터 기억부(13)는, 입력한 화상 부호화 데이터를 차례 차례로 기억하여 간다.
화상 부호화부(11)는, 화상 데이터를 부호화할 때마다 화상 부호화 데이터 기억부(13)의 부호화 데이터 점유량을 체크한다. 부호화 데이터 점유량의 체크 방법은, 여러가지 있지만, 예를 들면, 부호화한 데이터 용량과 다중화한 데이터의 차이를 기초로 산출된다.
그리고, 도 3에 나타낸 바와 같이, 화상 부호화 데이터 기억부(13)의 빈 공간 용량이 충분히 남아있는 경우, 화상 부호화부(11)는, 입력되는 화상 데이터를 부호화하고, 화상 부호화 데이터 기억부(13)에 축적하여 간다.
또, 도 4에 나타낸 바와 같이, 화상 부호화 데이터 기억부(13)의 빈 공간 용량이 충분히 남아있지 않은 경우, 화상 부호화부(11)는, 입력되는 화상 데이터의 부호화 처리를 정지한다. 이때, 입력되는 화상 데이터는 부호화되지 않기 때문에, 화상 데이터의 코마 누락이 발생한다.
다음에, 다중화 출력부(15)의 동작에 대해서 설명한다. 다중화 출력부(15)는, 화상 부호화부(11)의 부호화 처리와 병행하여, 화상 부호화 데이터 기억부(13)에 기억된 데이터를 다중화하고, 네트워크에 출력한다. 다중화 출력부(15)는, 부호화 데이터를 다중화하면, 화상 부호화부(11)에 다중화 완료 신호를 출력한다. 화상 부호화부(11)는, 다중화 완료 신호를 수신하면, 다중화된 화상 부호화 데이터의 기억 영역을 해방한다.
이와 같이, 화상 부호화부(11)는, 입력된 화상 데이터를 부호화하고, 다중화 출력부(15)는, 화상 부호화 데이터를 다중화하여 네트워크에 출력한다. 화상 부호화 데이터 기억부(13)의 부호화 데이터 점유량은, 화상 부호화 데이터를 기억할 때마다 증가하고, 화상 부호화 데이터를 해방할 때마다 감소한다.
다음에, 외부 출력 요구 판정부(16)의 동작에 대해서 설명한다. 외부 출력 요구 판정부(16)는, 화상 부호화부(11) 및 다중화 출력부(15)의 처리와 병행하고, 네트워크 상태를 항상 감시하고, 네트워크 상태가 악화되면 다중화 출력부(15)에 대해서, 다중화 정지 명령을 출력한다.
다중화 출력부(15)는, 다중화 정지 명령을 입력하면, 이 명령에 따라, 다중화 처리를 정지한다. 화상 부호화부(11)는, 다중화 처리가 정지해도, 입력된 화상 데이터를 부호화하여 가기 때문에, 화상 부호화 데이터 기억부(13)에는, 부호화 데이터가 축적되어 간다. 화상 부호화부(11)의 부호화 처리는, 기억 가능 용량이 충분히 적게 될 때까지 계속하고, 기억 가능 용량이 부족한 시점에서 완료한다.
다음에, 도 5를 참조하여, 부호화 전송 장치(1)의 동작을 구체적으로 설명한다. 도 5는, 부호화 전송 장치(1)의 동작을 나타내는 모식도이다. 도 5a는, 입력되는 화상 데이터, 화상 부호화 데이터 기억부(13)에 기억된 화상 부호화 데이터, 네트워크에 출력된 화상 부호화 데이터의 관계를 나타내는 도면이다. 도 5a에 있어서, In(i)는 입력된 화상 데이터를 나타내고, ES(i)는 부호화 화상 데이터를 나타내고, Out(i)는 출력된 부호화 화상 데이터(이하, 출력 데이터를 적는다.)를 나타낸다. 여기서, In(i), Es(i), Out(i)에 붙일 수 있었던 첨자　「i」는, 각각의 데이터가 관련하는 것을 나타낸다.
도 5a에 있어서, 화상 데이터 In(i)에서 부호화 데이터 Es(i)로의 화살표는 화상 데이터 In(i)가 부호화된 것을 나타내고, 부호화 데이터 Es(i)에서 출력 데이터 Out(i)로의 화살표는 부호화 데이터 Es(i)가 다중화된 것을 나타내고, 출력 데이터 Out(i)로부터 부호화 데이터 Es(i)는 부호화 데이터 Es(i)를 기억한 영역에 대해서, 해방 요구가 출력된 것을 나타내고 있다.
또, 도 5b는, 부호화 전송 장치(1)의 상태가 변화하는 시점을 나타내는 도면이다. 도 5b에 있어서, 시점 A는 네트워크 상태의 악화에 의해 다중화 정지 명령이 출력된 시점을 나타내고, 시점 B는 화상 부호화 데이터 기억부(13)의 부호화 데이터 점유량이 소정의 값을 넘은 시점을 나타내고, 시점 C는 네트워크 상태가 회복하여 다중화 개시 명령이 출력된 시점을 나타내고, 시점 D는 다중화에 의해, 부호화 데이터가 해방되어, 부호화 데이터 점유량이 소정의 값보다 낮아진 시점을 나타내고 있다.
또한, 도 5c는, 화상 부호화 데이터 기억부(13)의 부호화 데이터 점유량의 추이(推移)를 나타내는 도면이다. 이 도에서는, 가로축을 시간으로 하고, 세로축을 화상 부호화 데이터 기억부(13)의 부호화 데이터 점유량으로 하고 있다.
우선, 입력되는 화상 데이터 In(i)에 대해서 설명한다. 본 실시의 형태에 있어서의 부호화 전송 장치(1)는, 스트림 데이터를 전송하기 위한 장치이기 때문에, 부호화 전송 장치(1)에는, 일정한 속도로 차례 차례로 화상 데이터 In(0), In(1),‥ㆍ, In(n＋4)가 입력된다.
화상 부호화부(11)는, 입력된 화상 데이터 In(0), In(1), In(2), In(3)을 차례 차례로 부호화하여 가고, 화상 부호화 데이터 Es(0), Es(1), Es(2), Es(3)를 생성하고, 생성한 화상 부호화 데이터를 화상 부호화 데이터 기억부(13)에 격납한다. 다중화 출력부(15)는, 화상 부호화 데이터 Es(0), Es(1), Es(2), Es(3)를 다중화하고, 출력 데이터 Out(0), Out(1), Out(2), Out(3)을 네트워크에 출력한다.
다중화 출력부(15)는, 화상 부호화 데이터 Es(0), Es(1), Es(2), Es(3)를 다중화할 때마다 다중화 완료 신호를 화상 부호화부(11)에 출력한다. 화상 부호화부(11)는, 입력한 다중화 완료 신호를 기초로, 다중화된 화상 부호화 데이터를 해방한다.
이러한 동작 동안, 화상 부호화 데이터 기억부(13)의 기억 가능 용량은, 도 5c에 나타낸 바와 같이, 화상 데이터가 부호화될 때마다 감소하고, 화상 부호화 데이터가 다중화될 때마다 증가한다. 이전, 부호화와 다중화의 밸런스를 취하고 있으므로, 기억 가능 용량은 안정되어 있다.
다음에, 시점 A에 있어서, 네트워크 상태가 악화된다. 외부 출력 요구 판정부(16)는, 네트워크 상태의 악화를 검출하면, 다중화 출력부(15)에 다중화 정지 명령을 출력한다. 다중화 출력부(15)는, 다중화 정지 명령에 따라서 다중화 처리를 정지한다.
다중화 처리를 정지한 후에도, 화상 부호화부(11)에는, 화상 데이터 In(5), In(6),‥ㆍ, In(n－1)가 차례 차례로 입력된다. 화상 부호화부(11)는, 다중화 처리를 정지한 후에도, 입력되는 화상 데이터 In(5), In(6),‥ㆍ, In(n－1)를 부호화하고, 화상 부호화 데이터 Es(5), Es(6),‥ㆍ, ES(n－1)를 생성한다.
화상 부호화부(11)는, 화상 부호화 데이터를 기억시키기 전에, 화상 부호화 데이터 기억부(13)의 부호화 데이터 점유량을 계산하고, 부호화 데이터 점유량이 소정의 값에 적합할 때까지는 입력된 화상 데이터를 부호화한다. 여기서, 다중화 출력부(15)의 동작은 정지하고 있고, 화상 부호화 데이터 기억부(13)의 부호화 데이터 점유량은 증가하는 것만으로 된다.
그리고, 시점 B에서 부호화 데이터 점유량이 소정의 양을 넘는다. 화상 부호화부(11)는, 화상 부호화 데이터 기억부(13)의 부호화 데이터 점유량이 소정의 양을 넘으면, 부호화 처리를 정지한다.
여기서, 소정의 양이란, 어느 화상을 부호화할 경우에 필요로 하는 용량이다. 이것은, 예를 들면, 복잡한 화상 데이터를 I 픽쳐로 부호화했을 때의 용량이나 저비트 레이트에서 부호화한 화상 데이터의 용량 등이 있다.
또, 부호화의 비트 레이트를 변경하는 경우에는, 화상 부호화부(11)는, 화상 부호화 데이터 기억부(13)의 빈 공간 용량에 따라서, 레이트 제어를 행하고, 빈 공간 용량이 커지는 것에 따라서, 화상의 피트 레이트를 올리는 제어를 행할 수 있다. 이러한 제어에 의해, 화질이 다소 떨어졌다고 하여도, 프레임 빠짐이 적은 화상을 분배할 수 있다.
화상 부호화부(11)가 화상 부호화 처리를 정지하여도, 화상 부호화부(11)에는, 화상 데이터 In(n), In(n＋1), In(n＋2)가 입력되지만, 화상 부호화부(11)는, 부호화 처리를 행하지 않는다. 따라서, 입력된 화상 데이터 In(n), In(n＋1), In(n＋2)는 파기된다.
그 다음에, 시점 C에 있어서, 네트워크 상태가 회복하면, 외부 출력 요구 판정부(16)는, 다중화 출력부(15)에 다중화 개시 명령을 출력한다. 다중화 출력부(15)는, 다중화 개시 명령을 입력하면, 화상 부호화 데이터 기억부(13)에 기억된 화상 부호화 데이터 가운데, 최초로 부호화된 화상 부호화 데이터 Es(4)를 독출하여 다중화하고, 네트워크에 출력한다. 이때, 네트워크의 상태는, 회복하고 있으므로, 출력 데이터 Out(4)은 부드럽게 전송된다.
또, 다중화 출력부(15)는, 화상 부호화 데이터 Es(4)를 다중화하면, 화상 부호화부(11)에 다중화 완료 신호를 출력한다. 화상 부호화부(11)는, 다중화 완료 신호에 따라, 화상 부호화 데이터 Es(4)가 기억되고 있던 영역을 해방한다.
화상 부호화 데이터가 해방하면, 화상 부호화 데이터 기억부(13)의 부호화 데이터 점유량이 감소한다. 부호화 데이터 점유량이 감소하면, 화상 부호화부(11)는, 부호화 처리를 재개하고, 다음에 입력된 화상 데이터 In(n＋4)를 부호화하고, 화상 부호화 데이터 Es(n＋4)를 생성한다.
다중화 출력부(15)는, 화상 부호화 데이터 Es(4), Es(5),‥ㆍ, Es(n－1)를 부호화된 순서로 다중화하고, 네트워크에 출력한다. 화상 부호화 데이터 기억부(13)의 부호화 데이터 점유량은, 화상 부호화 데이터가 다중화될 때마다 감소하고, 화상 데이터가 부호화될 때마다 증가한다. 이전, 부호화와 다중화의 밸런스가 취하고 있으므로, 기억 가능 용량은, 안정되어 있다.
상술한 바와 같이, 본 발명과 관련되는 부호화 전송 장치(1)는, 외부 출력 요구 판정부(16)에 항상 네트워크 상태를 감시시키고, 외부 출력 요구 판정부(16)의 판정 결과에 의해서, 데이터의 전송 처리를 정지할지, 재개할지를 판단한다.
본 발명과 관련되는 부호화 전송 장치(1)에 있어서, 네트워크의 상태를 감시하는 외부 출력 요구 판정부(16)는, 네트워크상에 없고, 통신 상대로부터의 응답이 없어도, 외부 출력 판정부로부터의 출력을 기초로, 네트워크 상태를 확보할 수 있다.
또, 상술의 동작 설명에서는, 화상 데이터에만 대해서 설명했지만, 음성 데이터를 처리하는 동작도 화상 데이터와 대략 동일하며, 화상 데이터 부호화부(11)를 음성 데이터 부호화부(12), 화상 부호화 데이터 기억부(13)를 음성 부호화 데이터 기억부(14)로 치환하면 좋다. 그 때문에, 음성 데이터를 처리하는 동작에 대해서는, 설명을 생략한다.
다음에, 본 발명과 관련되는 부호화 전송 장치(2)의 다른 예를 설명한다. 이 부호화 전송 장치(2)는, 도 6에 나타낸 바와 같이, 음성 부호화부(22)의 전단에 필터(27)를 구비하는 점에 특징을 가진다.
이 필터(27)는, 음성의 페이드인 및 페이드아웃을 행하는 필터(27)이다.
필터(27)는, 예를 들면, 음성 부호화부(22)에 의해서 제어된다. 음성 부호화부(22)의 필터(27)를 제어하는 예에 대해 설명한다. 상술한 바와 같이, 음성 부호화부(22)는, 음성 데이터의 부호화를 개시할 때마다, 음성 부호화 데이터 기억부(24)의 부호화 데이터 점유량을 체크한다. 이때, 부호화 데이터 점유량이 크고, 음성 데이터가 부호화할 수 없게 될 것 같은 경우에는, 필터(27)를 제어하고, 다음에 부호화하는 음성 데이터를 페이드아웃 시킨다. 또, 화상 부호화 데이터 기억부(24)의 부호화 데이터 점유량이 작아지고, 음성 데이터의 부호화를 재개하는 경우에는, 음성 부호화부(22)는, 필터(27)를 가동하고, 다음에 부호화하는 음성 데이터를 페이드인 시킨다.
도 6에 있어서도, 파선은, 데이터의 흐름을 나타내고, 실선은, 제어 신호의 흐름을 나타내고 있다.
도 6에 나타내는 부호화 전송 장치는, 음성 데이터의 프레임 빠짐에 의한 위화감을 해소하기 위해서 필터(27)를 설치하고 있다. 즉, 음성 데이터의 부호화를 정지하면, 음성 데이터의 프레임 빠짐이 생기고, 음성이 불연속이 된다. 그 때문에, 필터(27)를 거쳐서 음성의 페이드인(fade in), 페이드아웃(fade out)을 행하는 것에 의해, 유음 부분부터 무음 부분에 순조롭게 이행시키고, 또한 무음 부분부터 유음 부분에 순조롭게 복귀시킬 수 있다.
다음에, 본 발명을 적용한 부호화 전송 장치(3)의 또 다른 예를 설명한다. 도 7에 나타내는 부호화 전송 장치(3)는, 다중화 출력부(35)가 셰이핑 기능을 구비하고 있는 것을 특징으로 한다.
또한, 도 7에 있어서도, 파선은, 데이터의 흐름을 나타내고, 실선은, 제어 신호의 흐름을 나타내고 있다.
화상 데이터는, 그 화상의 복잡함이나 움직임의 심함 및 부호화 데이터의 종류에 따라서 정보의 발생량이 변동한다. 셰이핑 기능(shaping function)은, 부호화 데이터 기억부에 축적된 부호화 데이터를 일정한 전송 속도로 네트워크에 출력하는 기능이다.
예를 들면, 화상 데이터를 MPEG의 부호화 규칙에 따라 부호화하면, 화상은, I 픽쳐, B 픽쳐, P 픽쳐 등으로 변환된다. I 픽쳐는, B 픽쳐 및 P 픽쳐의 기본이 되는 화상이며, B 픽쳐 및 P 픽쳐보다 데이터량이 크다. 또, P 픽쳐는, B 픽쳐의 기본이 되는 화상이며, B 픽쳐 보다 데이터량이 크다. 그 때문에, 화상 데이터를 어느 픽쳐 타입으로 부호화하는지에 의해서, 부호화 데이터의 데이터량을 변화하여 간다. 셰이핑 기능은, 이러한 데이터량의 변화에 의한, 데이터 전송량의 변화를 억제한다.
도 8은, 도 7에 나타내는 부호화 전송 장치(3)의 전송 동작을 나타내는 도면이다. 도 8a는, 도 5a와 동일하게, 입력되는 화상 데이터를 In(i), 부호화된 화상 데이터를 Es(i), 네트워크에 출력되는 화상 데이터를 Out(i)로 나타낸다.
또, 도 8b는, 부호화 전송 장치(3)의 상태가 변화하는 시점을 나타내는 도면이다. 도 8b에 있어서, 시점(0)은 화상 부호화 데이터 기억부(33)의 부호화 데이터 점유량이 소정의 값을 넘는 시점을 나타내고, 시점(P)은 다중화에 의해, 부호화 데이터가 해방되어, 부호화 데이터 점유량이 소정의 값보다 낮아진 시점을 나타내고 있다.
또한, 도 8c는, 화상 부호화 데이터 기억부(33)의 부호화 데이터 점유량의 추이(推移)를 나타내는 도면이다. 이 도면은, 가로축을 시간으로 하고, 세로축을 화상 부호화 데이터 기억부(33)의 부호화 데이터 점유량으로 하고 있다.
여기서, 도 8을 참조하여, 부호화 전송 장치(3)의 전송 동작에 대해 설명한다. 부호화 전송 장치(3)는, 스트리밍 데이터를 부호화 및 전송하는 장치이기 때문에, 부호화 전송 장치(3)에는, 화상 데이터 In(0), In(1), In(2),‥ㆍ가 차례 차례로 입력되어 있다.
화상 부호화부(31)는, 입력된 화상 데이터(In(0), In(1), In(2),‥ㆍ)를 차례 차례로 부호화하여 간다. 처음에 입력된 화상 데이터(In(0))는, 화상 부호화 데이터(Es(0))로 변환된다. 이 화상 부호화 데이터(Es(0))는 I 픽쳐이며, 데이터량이 커진다.
그리고, 화상 부호화부(31)은, 다음에 입력된 화상 데이터(In(1))를 화상 부호화 데이터(Es(1))로 변환한다. 이 화상 부호화 데이터(Es(1))는 P 픽쳐 또는 B 픽쳐이며, 처음에 부호화한 화상 부호화 데이터(Es(0))보다는 작은 데이터량이 된다.
다중화 출력부(35)는, 미리 최대 데이터 전송량을 기억하고 있고, 최대 데이터 전송량을 넘지 않도록, 화상 부호화 데이터 기억부(33)로부터 화상 부호화 데이터를 독출한다. 그리고, 다중화 출력부(35)는, 독출한 화상 부호화 데이터를 적당한 블록에 분할하여 다중화하고, 네트워크로 출력한다.
상술한 바와 같이, 화상 부호화 데이터(Es(0), Es(1), Es(2),‥ㆍ)의 데이터량은 다르다. 다중화 출력부(35)는, 화상 부호화 데이터를 적당한 블록에 분할한다. 여기에서는, Es(0)를 4개의 블록, Es(1), Es(2)를 2개의 블록에 분할하고, 분할한 블록을 다중화하여 네트워크로 출력한다.
이와 같이, E(0)을 복수의 블록에 분할하고, 서서히 전송하기 때문에, 화상 데이터의 부호화의 타이밍과 화상 부호화 데이터의 전송의 타이밍에는 차이가 생긴다.
도 8의 예에서는, Es(0)를 모두 전송한 시점에서는, Es(1), Es(2), Es(3)가 부호화되고, 화상 부호화 데이터 기억부(33)에 기억된다. 이와 같이, 부화화 데이터가 일정한 비율로 전송되므로, 부호화 화상 데이터의 데이터량이 크면, 데이터량의 화상 데이터를 전송하기까지, 다음의 부호화 화상 데이터가 화상 부호화 데이터 기억부(33)에 축적되어 간다. 그리고, 시점(0)에서 화상 부호화 데이터 기억부(33)의 부호화 데이터 점유량이 소정의 값을 넘어 버린다.
화상 부호화부(31)는, 부호화 데이터 점유량이 소정의 값을 넘으면, 부호화 처리를 정지한다. 그 때문에, 시점(0) 이후에 입력된 화상 데이터(In(4), In(5))는, 부호화되지 않게 파기된다.
다중화 출력부(35)는, 화상 부호화부(31)가 부호화 처리를 정지하고 있는 사이에도 화상 부호화 데이터를 다중화하고, 네트워크로 출력하고 있다. 다중화 출력부(31)는, 부호화 화상 데이터를 블록에 분할하고, 분할한 블록마다 네트워크에 출력한다. 그리고, 다중화 출력부(35)는, 각 블록을 출력할 때마다, 화상 부호화부(31)에 대해서, 다중화 완료 신호를 출력한다.
화상 부호화부(31)는, 다중화 완료 신호를 수신하면, 화상 부호화 데이터의 기억 영역을 해방한다. 그리고, 화상 부호화부(31)는, 화상 데이터가 입력될 때마다 부호화 데이터 점유량을 체크한다. 도 8의 예에서는, 시점(P)에서 부호화 데이터 점유량이 소정의 값보다 낮아져서, 부호화 처리를 재개한다.
화상 부호화부(31)는 , 화상 데이터(In(7), In(8),‥ㆍ)와 차례 차례로 부호화하고, 화상 부호화 데이터(Es(7), Es(8),‥ㆍ)를 화상 부호화 데이터 기억부(33)에 기억한다. 다중화 출력부(35)는, 화상 부호화 데이터(Es(7), Es(8), ‥ㆍ)를 블록에 분할하면서 다중화하고, 네트워크에 출력한다. 다중화 출력부(35)는, 블록을 다중화할 때마다, 화상 부호화부(31)에 다중화 완료 신호를 출력한다. 또, 네트워크 상태가 악화 되었을 경우에는, 외부 출력 요구 판정부(36)는, 다중화 정지 명령을 다중화 출력부(35)에 출력하여, 다중화 처리를 정지시킨다.
이와 같이, 셰이핑 기능을 구비한 부호화 전송 장치(3)는, 부호화 처리를 제어한다. 부호화 전송 장치(3)는, 셰이핑 기능을 구비하였기 때문에, 데이터의 전송량을 제어할 수 있는 것과 동시에, 네트워크 상태가 악화 되었을 경우에는, 프레임 레이트를 제어할 수 있다.
또한, 도 7에 나타내는 장치의 설명에서는, 화상 데이터에 대해서만 설명했지만, 음성 데이터를 부호화하는 경우도 화상 데이터와 같다. 즉, 다중화 출력부는, 최고 전송 데이터량을 넘지 않게, 음성 데이터를 분할하는 셰이핑 처리와, 다중화 출력 요구 판정부로부터 다중화 정지 명령이 출력되면, 다중화 처리를 정지하는 제어와, 음성 부호화 데이터 기억부의 빈 공간 용량이 작아지면, 부호화 처리를 정지하는 제어를 병행하여 실행하면 좋다.
다음에, 본 발명과 관련되는 부호화 전송 장치(4)의 또 다른 예를 설명한다. 이 부호화 전송 장치(4)는, 도 9에 나타낸 바와 같이, 복수의 프로그램을 포함한 스트림 데이터를 출력한다. 부호화 전송 장치(4)는, 프로그램의 개수와 같은 개수의 화상 부호화부(41), 음성 부호화부(42), 화상 부호화 데이터 기억부(43), 음성 부호화 데이터 기억부(44)를 구비하고 있다.
또한, 도 9에 있어서도, 파선은, 데이터의 흐름을 나타내고, 실선은, 제어 신호의 흐름을 나타내고 있다.
어느 프로그램의 화상 데이터와 음성 데이터는, 프로그램에 대응하는 화상 부호화부(41) 및 음성 부호화부(42)에 출력된다. 다중화 출력부(45)는, 모든 화상 부호화부(41) 및 음성 부호화부(42)와 접속되어 있다. 다중화 출력부(45)는, 각 화상 부호화부(41) 및 음성 부호화부(42)로부터 독출한 화상 부호화 데이터 및 음성 부호화 데이터를 1개의 스트림 데이터에 다중화한다.
도 9에 나타내는 부호화 전송 장치(4)에서는, 화상 부호화부(41), 음성 부호화부(42), 화상 부호화 데이터 기억부(43), 음성 부호화 데이터 기억부(44)는, 제 1의 실시의 형태에 있어서의 부호화 전송 장치(4)로 대략 같은 동작을 행하지만, 다중화 출력부(45)는, 제 1의 실시의 형태에 있어서의 부호화 전송 장치(4)와는, 다른 동작을 행한다.
즉, 다중화 출력부(45)는, 복수의 화상 부호화 데이터 기억부(43) 및 음성 부호화 데이터로부터 독출한 데이터를 다중화할 때, 어느 화상 부호화 데이터 기억부(43) 및 음성 부호화 데이터 기억부(44)로부터 데이터를 기억하고, 데이터를 독출한 프로그램의 화상 부호화부(41) 및 음성 부호화부(42)에 다중화 완료 신호를 출력한다.
또, 다중화 출력부(45)는, 제 2의 실시의 형태에 있어서의 부호화 전송 장치(4)와 같게 셰이핑 기능을 가지고, 화상 부호화 데이터 기억부(43) 및 음성 부호화 데이터 기억부(44)에 기억한 데이터를 블록에 분할하여, 소정의 데이터 전송량을 넘지 않는 범위에서 데이터를 출력하도록 해도 좋다.
이와 같이, 도 9에 나타내는 부호화 전송 장치(4)는, 어느 프로그램에 어느 데이터를 다중화했는지를 다중화 출력이 기억하고, 그 프로그램의 화상 부호화부(41) 및 음성 부호화부(42)에 대해서 다중화 완료 신호를 출력하는 구성으로 되어 있다. 이러한 구성으로 함으로써, 복수의 프로그램을 포함한 스트림 데이터를 분배하는 부호화 전송 장치(4)에도, 본 발명을 적용할 수 있다.
상술한 바와 같이, 본 발명을 적용한 부호화 전송 장치는, 네트워크 상태를 판정하는 외부 출력 요구 판정부를 설치한 것에 의해, 통신하고 있는 상대로부터의 응답이 답신 되지 않는 경우에서도, 네트워크 상태를 파악하고, 적당한 레이트 제어를 실행할 수 있다.
또, 본 발명은, 셰이핑 기능을 가지는 부호화 전송 장치나 복수의 프로그램을 가지는 부호화 전송 장치에도 적용할 수 있다.
또한, 본 발명은, 상술의 예로 한정되는 것이 아니고, 본 발명의 요지를 포함한 변형 및 개량은 본 발명에 포함되는 것으로 한다. 예를 들면, 상술한 부호화 전송 장치는, 스트림 데이터를 출력하는 것으로 했지만, 출력하는 데이터는 스트림 데이터로 한정하지 않고, 일시적으로 부호화 데이터 기억부에 기억되는 화상으로부터 구성되는 데이터를 출력하는 부호화 전송 장치는, 본 발명에 포함되는 것으로 한다.
또, 다중화 출력부는, 네트워크 상태가 악화되면 다중화 처리를 정지한다고 했지만, 네트워크 상태에 따라서, 다중화의 피트 레이트를 저하(低下) 및 고상(高上) 하도록 제어를 행하여도 좋다.
또한, 화상 부호화부 및 음성 부호화부는, 부호화 데이터 점유량이 커지면, 부호화 처리를 정지한다고 했지만, 부호화의 피트 레이트를 저하 및 고상하도록 제어를 행하여도 좋다.
상술한 바와 같이, 본 발명에 있어서, 네트워크의 상태를 감시하는 감시 수단은, 부호화 전송 장치에 짜넣어져 있고, 통신 상대로부터의 수신 정보를 받아들일 수 없는 상태에서도 전송 제어를 행할 수 있고, 게다가, 통신 상대로부터의 수신 정보를 대기하지 않아도 리얼타임으로 전송 제어를 행할 수 있다. 또한, 본 발명에서는, 네트워크를 거쳐서 정보를 받아들이지 않고 전송 제어를 행하기 때문에, 네트워크의 부하를 저감 시킬 수 있다. 또, 부호화 수단이 다중화 수단으로부터의 전송 신호를 직접 받기 때문에, 부호화 수단은, 기억 수단의 상태를 파악할 수 있다.

Claims (9)

  1. 데이터를 입력하는 입력 수단과,
    입력된 데이터를 부호화하는 부호화 수단과,
    상기 부호화 수단에 의해서 생성된 부호화 데이터를 기억하는 기억 수단과,
    상기 기억 수단에 기억되어 있는 부호화 데이터를 다중화하고, 네트워크를 거쳐서 접속된 소정의 수신 장치에 다중화된 데이터를 전송하는 다중화 수단과,
    네트워크의 상태를 감시하는 감시 수단을 구비하며,
    상기 다중화 수단은, 상기 감시 수단이 검출한 네트워크의 상태에 따라서, 다중화하는 레이트를 제어하도록 구성된 것을 특징으로 하는 부호화 전송 장치.
  2. 제 1항에 있어서,
    상기 부호화 수단은, 상기 다중화 수단이 전송한 부호화 데이터를 나타내는 전송 정보를 입력하고, 상기 전송 정보에 기초하여 상기 기억 수단의 데이터 점유량을 산출하고, 상기 기억 수단의 데이터 점유량이 소정의 값보다 큰 경우에는 부호화 처리를 정지하고, 상기 기억 수단의 데이터 점유량이 소정의 값보다 작은 경우에는 부호화 처리를 행하도록 구성된 것을 특징으로 하는 부호화 전송 장치.
  3. 제 1항에 있어서,
    상기 데이터에는 음성 데이터가 포함되며, 상기 부호화 수단을 정지하는 바로 앞에 부호화하는 음성 데이터를 페이드아웃하고, 상기 부호화 수단을 재개했을 때에 부호화하는 음성 데이터를 페이드인하는 음성 출력 제어 수단을 가지도록 구성된 것을 특징으로 하는 부호화 전송 장치.
  4. 제 1항에 있어서,
    상기 전송 수단이 전송할 수 있는 데이터량의 범위를 기억하고, 상기 전송 수단의 데이터 전송량을 제어하는 데이터 전송량 제어 수단을 가지도록 구성된 것을 특징으로 하는 부호화 전송 장치.
  5. 제 1항에 있어서,
    상기 데이터는, 복수의 프로그램 데이터를 포함하고, 상기 부호화 수단은, 상기 복수의 프로그램 데이터를 독립으로 부호화하고, 상기 기억 수단은, 상기 복수의 프로그램 데이터의 부호화 데이터를 독립으로 기억하고, 상기 다중화 수단은, 상기 복수의 프로그램 데이터의 부호화 데이터를 다중화하고, 1개의 출력 데이터를 생성하도록 구성된 것을 특징으로 하는 부호화 전송 장치.
  6. 데이터를 입력하는 입력 공정과,
    입력한 데이터를 부호화하는 부호화 공정과,
    상기 부호화 공정에 의해서 생성된 부호화 데이터를 기억 수단에 기억시키는 기억 공정과,
    상기 기억 수단에 기억되어 있는 부호화 데이터를 다중화하고, 네트워크를 거쳐서 접속된 소정의 수신 장치에 다중화한 데이터를 전송하는 다중화 공정을 가지고,
    상기 다중화 공정에서는, 네트워크의 상태를 입력하고, 입력한 네트워크의 상태에 따라서 다중화하는 레이트를 제어하도록 구성된 것을 특징으로 하는 부호화 전송 방법.
  7. 제 6항에 있어서,
    상기 부호화 공정에서는, 상기 다중화 공정에 있어서 전송된 부호화 데이터를 나타내는 전송 정보를 입력하고, 상기 전송 정보에 근거하여, 상기 기억 수단의 데이터 점유량을 산출하고, 상기 기억 수단의 데이터 점유량이 소정의 값보다 큰 경우에는, 부호화 처리를 정지하고, 상기 기억 수단의 데이터 점유량이 소정의 값보다 작은 경우에는 부호화 처리를 행하도록 구성된 것을 특징으로 하는 부호화 전송 방법.
  8. 제 6항에 있어서,
    상기 데이터에는, 음성 데이터가 포함되어 상기 부호화 수단을 정지하는 바로 앞에 부호화하는 음성 데이터를 페이드아웃하고, 상기 부호화 수단을 재개했을 때에 부호화하는 음성 데이터를 페이드인하는 음성 출력 제어 수단을 가지도록 구성된 것을 특징으로 하는 부호화 전송 방법.
  9. 제 6항에 있어서,
    상기 데이터는 복수의 프로그램 데이터를 포함하고, 상기 부호화 공정에서는, 상기 복수의 프로그램 데이터를 독립으로 부호화하고, 상기 기억 공정에서는, 상기 복수의 프로그램 데이터의 부호화 데이터를 독립한 기억 수단에 기억하고, 상기 다중화 공정에서는, 상기 기억 수단에 기억된 복수의 프로그램 데이터의 부호화 데이터를 다중화하고, 1개의 출력 데이터를 생성하도록 구성된 것을 특징으로 하는 부호화 전송 방법.
KR20057010214A 2002-12-11 2003-12-05 부호화 전송 장치 및 부호화 전송 방법 KR101013421B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002359726A JP3800170B2 (ja) 2002-12-11 2002-12-11 符号化伝送装置及び符号化伝送方法
JPJP-P-2002-00359726 2002-12-11

Publications (2)

Publication Number Publication Date
KR20050085391A true KR20050085391A (ko) 2005-08-29
KR101013421B1 KR101013421B1 (ko) 2011-02-14

Family

ID=32500950

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20057010214A KR101013421B1 (ko) 2002-12-11 2003-12-05 부호화 전송 장치 및 부호화 전송 방법

Country Status (6)

Country Link
US (5) US7940810B2 (ko)
EP (1) EP1571769B1 (ko)
JP (1) JP3800170B2 (ko)
KR (1) KR101013421B1 (ko)
DE (1) DE60325270D1 (ko)
WO (1) WO2004054148A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100917456B1 (ko) * 2006-06-26 2009-09-14 후지쯔 마이크로일렉트로닉스 가부시키가이샤 부호화 데이터 전송 장치 및 부호화 데이터 전송 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5254122B2 (ja) * 2009-04-24 2013-08-07 パナソニック株式会社 カメラ、映像送信装置、映像受信装置及び映像通信システム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01200886A (ja) * 1988-02-05 1989-08-14 Fujitsu Ltd 符号化停止信号発生方式
JP3194317B2 (ja) * 1993-06-10 2001-07-30 日本電信電話株式会社 画像信号用可変レート符号化装置
US5566208A (en) * 1994-03-17 1996-10-15 Philips Electronics North America Corp. Encoder buffer having an effective size which varies automatically with the channel bit-rate
KR0150367B1 (ko) * 1995-12-19 1998-11-02 양승택 완결 결합형 에이티엠 스위칭 장치
EP0841820A3 (en) * 1996-11-08 2005-11-09 Matsushita Electric Industrial Co., Ltd. Method and apparatus for encoding, multiplexing and transmitting a video signal
JPH1141608A (ja) * 1997-07-23 1999-02-12 Matsushita Electric Ind Co Ltd 画像伝送装置および画像符号化方法および画像符号化装置
JPH11205265A (ja) * 1998-01-19 1999-07-30 Sony Corp データ多重化装置
JPH11205152A (ja) * 1998-01-19 1999-07-30 Sony Corp データ符号化装置、データ多重化装置及びデータ符号化多重化装置
US6094089A (en) 1998-03-06 2000-07-25 Hewlett-Packard Company Current limiting receiver with impedance/load matching for a powered down receiver chip
JPH11308612A (ja) * 1998-04-17 1999-11-05 Canon Inc 復号方法、復号装置、情報処理システム、及び記憶媒体
JPH11308373A (ja) * 1998-04-23 1999-11-05 Sony Corp 情報通信装置
FI106758B (fi) * 1999-04-16 2001-03-30 Nokia Networks Oy Segmentointimekanismi lohkoenkooderia varten
JP3916029B2 (ja) * 1999-07-30 2007-05-16 パイオニア株式会社 情報記録装置
US7911960B1 (en) * 1999-08-13 2011-03-22 International Business Machines Corporation Delayed-start method for minimizing internal switch congestion
JP2001148159A (ja) * 1999-11-19 2001-05-29 Mitsubishi Electric Corp オーディオ処理装置および方法、ならびにオーディオ処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取可能な記録媒体
US6594241B1 (en) * 1999-12-08 2003-07-15 Telefonaktiebolaget Lm Ericsson (Publ) Channel-type switching control
JP3699910B2 (ja) 2000-10-31 2005-09-28 株式会社東芝 データ伝送装置、データ伝送方法及びプログラム
JP2002315004A (ja) * 2001-04-09 2002-10-25 Ntt Docomo Inc 画像符号化方法及び装置、画像復号方法及び装置、並びに画像処理システム
WO2002085016A1 (en) 2001-04-11 2002-10-24 Cyber Operations, Llc System and method for network delivery of low bit rate multimedia content
JP2003179889A (ja) * 2001-12-10 2003-06-27 Toshiba Corp デジタル放送信号多重送出装置及びデジタル放送信号多重送出方法
US7190669B2 (en) * 2002-07-09 2007-03-13 Hewlett-Packard Development Company, L.P. System, method and computer readable medium for flow control of data traffic

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100917456B1 (ko) * 2006-06-26 2009-09-14 후지쯔 마이크로일렉트로닉스 가부시키가이샤 부호화 데이터 전송 장치 및 부호화 데이터 전송 방법

Also Published As

Publication number Publication date
US20190222831A1 (en) 2019-07-18
US20140169482A1 (en) 2014-06-19
US10812789B2 (en) 2020-10-20
EP1571769A4 (en) 2006-02-08
EP1571769B1 (en) 2008-12-10
US9843798B2 (en) 2017-12-12
EP1571769A1 (en) 2005-09-07
KR101013421B1 (ko) 2011-02-14
WO2004054148A1 (ja) 2004-06-24
JP2004193989A (ja) 2004-07-08
JP3800170B2 (ja) 2006-07-26
US8699527B2 (en) 2014-04-15
DE60325270D1 (de) 2009-01-22
US20060023753A1 (en) 2006-02-02
US7940810B2 (en) 2011-05-10
US20110185255A1 (en) 2011-07-28
US10264251B2 (en) 2019-04-16
US20170332081A1 (en) 2017-11-16

Similar Documents

Publication Publication Date Title
US7317837B2 (en) Encoding apparatus, video camera
EP1113614A2 (en) Apparatus and method for data transmission
US6985866B2 (en) Signaling communication method of mobile communications system
WO1996026596A1 (en) Method, rate controller, and system for preventing overflow and underflow of a decoder buffer
JPH06253277A (ja) 可変ビット・レート・チャネルに対するバッファを制御する方法および装置
JPH11177623A (ja) データ送出装置、データ受信装置及びデータ伝送装置
US20040005002A1 (en) Mobile terminal with camera
US20060206314A1 (en) Adaptive variable bit rate audio compression encoding
US10812789B2 (en) Encoding/transmitting apparatus and encoding/transmitting method
JP2939933B2 (ja) 時系列情報の通信システム
JP3147859B2 (ja) 映像信号の多チャネル符号化装置
JP2003249977A (ja) データ送出装置、データ受信装置及びデータ伝送装置
JP3191856B2 (ja) 情報蓄積出力装置
JP2001502125A (ja) データ伝送における又はデータ伝送に関する改良
JP3807193B2 (ja) 多重化方法及び多重化装置
AU678927C (en) Method, rate controller, and system for preventing overflow and underflow of a decoder buffer
JP3024380B2 (ja) 画像符号化制御方式
JP2001292448A (ja) 映像エンコーダ装置、映像データ変換装置及び映像データ変換システム
JPH0865646A (ja) 動画像音声伝送装置
JP2000350199A (ja) 映像符号化装置
KR20000003717A (ko) 음성 인식/합성을 이용한 음성 통신 방법 및 그 장치
JP2001136520A (ja) 動画像符号化装置および動画像復号化システム
JP2001333401A (ja) テレビ会議端末装置
JP2002084536A (ja) 圧縮符号化ストリーム伝送装置におけるデータフロー制御方法および圧縮符号化ストリーム伝送装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140124

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150123

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170120

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180119

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20200128

Year of fee payment: 10