KR100557103B1 - 데이터 처리방법 및 데이터 처리장치 - Google Patents

데이터 처리방법 및 데이터 처리장치 Download PDF

Info

Publication number
KR100557103B1
KR100557103B1 KR1020057003554A KR20057003554A KR100557103B1 KR 100557103 B1 KR100557103 B1 KR 100557103B1 KR 1020057003554 A KR1020057003554 A KR 1020057003554A KR 20057003554 A KR20057003554 A KR 20057003554A KR 100557103 B1 KR100557103 B1 KR 100557103B1
Authority
KR
South Korea
Prior art keywords
priority
series data
time series
information
processing
Prior art date
Application number
KR1020057003554A
Other languages
English (en)
Other versions
KR20050052483A (ko
Inventor
다카오 야마구치
미노루 에토
히로시 아라카와
Original Assignee
마츠시타 덴끼 산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마츠시타 덴끼 산교 가부시키가이샤 filed Critical 마츠시타 덴끼 산교 가부시키가이샤
Priority claimed from KR1019980709277A external-priority patent/KR100530919B1/ko
Publication of KR20050052483A publication Critical patent/KR20050052483A/ko
Application granted granted Critical
Publication of KR100557103B1 publication Critical patent/KR100557103B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1829—Arrangements specially adapted for the receiver end
    • H04L1/1854—Scheduling and prioritising arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1867—Arrangements specially adapted for the transmitter end
    • H04L1/1887—Scheduling and prioritising arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4381—Recovering the multiplex stream from a specific network, e.g. recovering MPEG packets from ATM cells
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6137—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a telephone network, e.g. POTS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6543—Transmission by server directed to the client for forcing some client operations, e.g. recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6547—Transmission by server directed to the client comprising parameters, e.g. for client setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Circuits Of Receivers In General (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Abstract

기억장치나 통신로로부터 데이터와 그 전송 포맷정보를 포함하는 정보를 수신하는 수신관리부(11)와, 수신정보를 해석하여 분리하는 분리부(12)와, 기억장치나 통신로로 정보를 송신하는 전송부(13)와, 화상을 신장하는 화상신장부(14)와, 화상신장 관리부(15)는 적어도 하나 이상의 화상을 신장하는 상기 화상신장부(14)의 처리상태를 관리하고, 신장된 정보를 기초로 화상 합성을 행하는 화상합성부(16)와, 합성결과를 출력하는 출력부(17)와, 이들 각 수단을 제어, 관리하는 단말제어부(18)로 구성되는 화상 합성장치에 의해 동시에 복수의 화상의 합성이 행해지고, 또 전송 포맷정보의 동적인 변화에 대응할 수 있다.

Description

데이터 처리방법 및 데이터 처리장치{DATA PROCESSING METHOD AND DATA PROCESSING APPARATUS}
도 1은 본 발명의 실시예에서의 화상음성 송수신장치의 개략 구성도이다.
도 2는 수신관리부와 분리부를 도시한 도면이다.
도 3은 복수의 논리적인 전송로를 이용하여 화상이나 음성의 전송, 제어하는 방법을 도시한 도면이다.
도 4는 송신할 화상이나 음성의 데이터에 부가하는 헤더정보의 동적인 변경방법을 도시한 도면이다.
도 5a∼도 5b는 AL 정보의 부가방법을 도시한 도면이다.
도 6a∼도 6d는 AL 정보의 부가방법의 예를 도시한 도면이다.
도 7은 복수의 논리적인 전송로를 동적으로 다중화, 분리하여 정보를 전송하는 방법을 도시한 도면이다.
도 8은 방송 프로그램의 전송순서를 도시한 도면이다.
도 9a는 프로그램, 데이터가 수신 단말에 있는 경우의 프로그램이나 데이터의 판독, 상승시간을 고려한 화상이나 음성의 전송방법을 도시한 도면이다.
도 9b는 프로그램, 데이터가 송신되는 경우의 프로그램이나 데이터의 판독, 상승시간을 고려한 화상이나 음성의 전송방법을 도시한 도면이다.
도 10a는 소거에 대한 대응방법을 도시한 도면이다.
도 10b는 소거에 대한 대응방법을 도시한 도면이다.
도 11a는 실제로 단말간에서 송신되는 프로토콜의 구체예를 도시한 도면이다.
도 11b는 실제로 단말간에서 송신되는 프로토콜의 구체예를 도시한 도면이다.
도 12는 실제로 단말간에서 송수신되는 프로토콜의 구체예를 도시한 도면이다.
도 13a는 실제로 단말간에서 송수신되는 프로토콜의 구체예를 도시한 도면이다.
도 13b는 실제로 단말간에서 송수신되는 프로토콜의 구체예를 도시한 도면이다.
도 13c는 실제로 단말간에서 송수신되는 프로토콜의 구체예를 도시한 도면이다.
도 14는 실제로 단말간에서 송수신되는 프로토콜의 구체예를 도시한 도면이다.
도 15는 실제로 단말간에서 송수신되는 프로토콜의 구체예를 도시한 도면이다.
도 16a는 실제로 단말간에서 송수신되는 프로토콜의 구체예를 도시한 도면이다.
도 16b는 실제로 단말간에서 송수신되는 프로토콜의 구체예를 도시한 도면이다.
도 17은 실제로 단말간에서 송수신되는 프로토콜의 구체예를 도시한 도면이다.
도 18은 실제로 단말간에서 송수신되는 프로토콜의 구체예를 도시한 도면이다.
도 19a는 실제로 단말간에서 송수신되는 프로토콜의 구체예를 도시한 도면이다.
도 19b는 실제로 단말간에서 송수신되는 프로토콜의 구체예를 도시한 도면이다.
도 20a∼도 20c는 본 발명의 CGD의 데모 시스템 구성도이다.
도 21은 인코더에서의 과부하시의 우선도 부가방법을 도시한 도면이다.
도 22는 과부하시의 수신단말에서의 우선도 결정방법에 대하여 기록한 도면이다.
도 23은 우선도의 시간변화를 도시한 도면이다.
도 24는 스트림 우선도와 오브젝트 우선도를 도시한 도면이다.
도 25는 본 발명의 실시예에서의 화상 부호화, 화상 복호화 장치의 개략 구성도이다.
도 26은 본 발명의 실시예에서의 음성 부호화, 음성 복호화 장치의 개략 구성도이다.
도 27a∼도 27b는 과부하시의 처리 우선도를 관리하는 우선도 부가부, 우선도 결정부를 도시한 도면이다.
도 28a∼도 28c는 우선도를 부가하는 그레이딩을 도시한 도면이다.
도 29는 다중 해상도의 화상 데이터로의 우선도 할당방법을 도시한 도면이다.
도 30은 통신 페이로드의 구성방법을 도시한 도면이다.
도 31은 데이터를 통신 페이로드로 대응짓는 방법을 도시한 도면이다.
도 32는 오브젝트 우선도, 스트림 우선도와 통신 패킷 우선도의 대응을 도시한 도면이다.
도 33은 본 발명의 제 1 실시예인 송신장치의 구성도이다.
도 34는 제 1 실시예의 설명도이다.
도 35는 본 발명의 제 3 실시예인 수신장치의 구성도이다.
도 36은 본 발명의 제 5 실시예인 수신장치의 구성도이다.
도 37은 제 5 실시예의 설명도이다.
도 38은 본 발명의 제 6 실시예인 송신장치의 구성도이다.
도 39는 본 발명의 제 8 실시예인 송신장치의 구성도이다.
도 40은 본 발명의 제 2 실시예인 송신방법의 흐름도이다.
도 41은 본 발명의 제 4 실시예인 수신방법의 흐름도이다.
도 42는 본 발명의 제 7 실시예인 송신방법의 흐름도이다.
도 43은 본 발명의 제 9 실시예인 송신방법의 흐름도이다.
도 44는 본 발명의 화상·음성 송신장치의 일례를 도시한 구성도이다.
도 45는 본 발명의 화상·음성 수신장치의 일례를 도시한 구성도이다.
도 46은 본 발명의 화상·음성 송신장치의 영상과 음성에 우선도를 부가하는 우선도 부가수단에 대하여 설명한 도면이다.
도 47은 본 발명의 화상·음성 수신장치의 영상과 음성에 부가된 우선도를 해석하여 복호처리의 가부를 결정하는 우선도 결정수단에 대하여 설명한 도면이다.
* 도면의 주요 부분에 대한 부호의 설명 *
11 : 수신관리부 12 : 분리부
13 : 전송부 14 : 화상신장부
15 : 화상신장 관리부 16 : 화상합성부
17 : 출력부 18 : 단말제어부
4011 : 송신관리부 4012 : 화상부호부
4013 : 수신관리부 4014 : 화상복호부
4015 : 화상합성부 4016 : 출력부
4101 : 화상 부호화장치 4102 : 화상 복호화장치
301 : 수신수단 302 : 추정수단
303 : 동화상의 복호화장치 304 : 횟수 삭감수단
306 : 출력단자 307 : 입력단자
3031 : 가변길이 부호화수단 3032 : 역직교 변환수단
3033 : 전환기 3034 : 모션 보상수단
3035 : 실행시간 계측수단
본 발명은 데이터 처리방법 및 데이터 처리장치에 관한 것이다.
종래부터 자신이 있는 공간의 풍경의 화상 중으로부터, 예를 들면 인물화상을 추출하여 그 화상과 상대측에서 보내온 인물화상과 미리 기억되어 있는 상대측과 공통적으로 표시하는 가상적인 공간의 화상과 중첩하여 표시함으로써, 상대가 자신의 앞에 있다는 실재감을 충족하고, 현장감이 있는 영상 통신을 목표로 한 것이 있다(일본국 특공평 4-24914호 공보).
특히 종래의 기술에서는 화상을 합성하기 위한 고속화, 메모리를 저감하는 방법에 관한 발명이 행해지고 있다(예를 들면 일본국 특공평 5-46592호 공보 : 화상 합성장치).
이와 같은 종래의 기술에서는 2차원의 정지화상이나 3차원의 CG 데이터를 합성하는 화상합성을 이용한 통신 시스템이 제안되어 있었으나, 복수의 동화상이나 음성을 동시에 합성하여 표시시키는 시스템의 실현방법에 대하여 하기의 관점에서의 구체적인 의논이 행해지고 있지 않았다.
즉 (A1) 1개 혹은 2개 이상의 현실의 전송로 상에서 소프트웨어적으로 구축되는 복수의 논리적인 전송로를 이용하여 데이터와 제어정보(데이터와는 다른 패킷으로 전송되는, 단말측의 처리를 제어하기 위한 정보)가 독립되어 전송되는 환경 하에서의 화상이나 음성의 전송(통신과 방송) 및 그 제어방법, (A2) 전송해야 할 화상이나 음성의 데이터에 부가되는 헤더정보(본 발명의 데이터 관리정보에 대응)의 동적인 변경방법, (A3) 송신을 위해 부가하는 헤더정보(본 발명의 전송 관리정보에 대응)의 동적인 변경방법, (A4) 복수의 논리적인 전송로를 동적으로 다중화, 분리하여 정보를 전송하는 방법, (A5) 프로그램이나 데이터의 판독, 상승시간을 고려한 화상이나 음성의 전송방법 및 (A6) 소거(zapping)를 고려한 화상이나 음성의 전송방법 등의 관점에서의 구체적인 의논이 행해지지 않았다는 문제점이 있었다.
한편 종래부터 네트워크로의 전송량을 동적으로 조정하는 방법으로서는 인코드 방식을 변경하는 방식이나 영상의 프레임 타입에 따라 프레임 단위로 데이터를 폐기하는 방법이 제안되어 있다(진천사 호사(秦泉寺 浩史), 전고 철남(田尻 哲男), 분산적응형 VOD 시스템의 - 검토, D-81, 전자정보 통신학회 시스템 협회(1995)).
인코더측에서 처리량을 조정하는 방식으로서는 처리시간 구속 하에서 화질이 높은 영상을 제공할 수 있는 동적 연산량 스케일러블 알고리즘이 제안되어 있다(대박 사전(大迫 史典), 시도 유행(矢島 由幸), 소사 박(小寺 博), 도변 유(渡邊 裕), 도촌 화전(島村 和典) : 동적 연산량 스케일러블 알고리즘에 의한 소프트웨어 화상부호화, 전자정보 통신학회 논문지 D-2, Vol.80-D-2, No.2, pp.444-458(1997).).
또 동화상과 음성의 동기 재생을 실현한 예로서는 MPEG1/MPEG2의 시스템이 있다.
이와 같은 종래의 기술에서, (B1) 종래 방식의 영상의 프레임 타입에 따라 영상을 폐기하는 방법에서는 취급할 수 있는 정보의 그레이딩(grading)이 단일 스 트림 내이므로 복수의 비디오 스트림이나 복수의 오디오 스트림의 취급이나 편집자의 의도를 반영시켜 중요한 장면 컷(scene cut)을 중점적으로 오디오와 함께 동기 재생시키는 것은 곤란하다는 문제점이 있었다. (B2) 또 MPEG1/MPEG2에서는 하드웨어에서의 실현이 전제되므로 디코더는 주어진 비트스트림을 모두 디코드할 수 있는 것이 전제가 된다. 따라서 디코더의 처리능력을 초과한 경우의 대응방법이 정해지지 않게 되는 문제점이 있다.
또 한편 종래 동화상의 전송에서는 H. 261(ITU-T Recommendation H. 261-Video codec for audiovisual services at px64) 등의 방식을 이용한 것이 있고, 지금까지 하드웨어에 의해 실장되어 있었다. 이 때문에 하드웨어 설계시에 필요한 성능의 상한을 고려하고 있기 때문에 지정시간 이내에 복호화 처리를 완료할 수 없다는 경우는 발생되지 않았다.
또 여기에서 지정시간이란 1장의 화상을 부호화한 비트스트림의 전송에 소요되는 시간이다. 이 시간 내에 복호화되지 않으면 초과된 시간이 지연으로 되고, 이것이 축적되어 커지면 송신측으로부터 수신측까지의 지연이 커져서 텔레비전 전화로서의 사용에 부적합하게 된다. 이와 같은 상황은 피해야만 한다.
또 통신 상대가 규격 외의 비트스트림을 생성하고 있기 때문에 복호화 처리를 지정시간 내에 완료할 수 없는 경우에는 동화상이 전송되지 않는다는 문제점이 있었다.
상기 문제점은 동화상뿐만 아니라 음성 데이터에서도 발생되는 문제점이다.
그런데 최근 인터넷이나 ISDN의 보급이라는 형태로 퍼스널 컴퓨터(PC)에서의 네트워크 환경이 정비된 결과, 전송속도가 빨라져서 PC와 네트워크를 이용한 동화상의 전송이 가능하게 되었다. 사용자로부터의 동화상 전송에 대한 요구도 갑자기 높아지고 있다. 또 CPU 성능의 향상에 의해 소프트웨어에 의한 동화상의 부호화가 충분히 가능하게 되고 있다.
그러나 퍼스널 컴퓨터에서는 같은 소프트웨어를 CPU, 버스폭, 가속기의 유무 등, 장치 구성이 다른 컴퓨터에서 실행 가능하기 때문에 필요한 성능의 상한을 미리 고려하기가 곤란하여 지정 시간 내에 화상을 복호화할 수 없는 경우가 생긴다.
또 수신장치의 처리능력을 넘는 길이의 동화상의 부호화 데이터가 전송된 경우에는 지정 시간 내의 부호화가 불가능하게 된다.
과제(C1) : 지정 시간 내에 화상을 복호화하고, 지연을 작게 억제한다.
또 이 과제 1의 해결수단으로서, 예를 들면 본 발명의 파형 데이터로서 동화상을 입력하는 경우 또는 본 발명의 파형 데이터로서 동화상을 출력하는 경우라면, 전송된 비트스트림 중 일부를 사용하지 않기 때문에 전송로의 실질적인 사용효율이 나쁘다는 문제점이 남는 경우도 있다. 또 부호화 방식에 따라서는 전회의 복호화상을 기초로 금회의 복호화상을 생성하는 것이 있는데(P픽처 등), 상기와 같은 과제 1의 해결수단에서는 전회의 복호화상을 완전히 복원하지 않는 경우가 있기 때문에 화질의 열화가 시간과 함께 파급적으로 커진다는 문제점도 있다.
과제(C2) : 과제 1 해결수단에서는 전송로의 실질적인 사용 효율이 나쁘다. 또 화질열화가 파급된다.
또 소프트웨어에 의한 실장에서는 1회의 부호화 처리에 소요되는 시간으로 화상의 프레임 레이트가 결정되므로, 사용자가 지정한 프레임 레이트가 계산기의 처리한계를 넘은 경우에는 지정에 응할 수 없었다.
과제(C3) : 사용자가 지시한 프레임 레이트가 계산기의 처리한계를 넘으면 지정에 응할 수 없다.
본 발명은 상기 제 1 종래 기술의 (A1)∼(A6)의 과제를 고려하여, 그들 과제중 적어도 어느 하나를 해결하는 화상·음성 송신장치, 화상·음성 수신장치, 데이터 처리장치 및 데이터 처리방법을 제공하는 것을 목적으로 한다.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
본원의 제 1 발명은, 부호화 된 동화상 또는 음성의 시계열 데이터의 정보를 전송하는 실제의 전송 레이트가 목표 전송 레이트를 초과하는 경우, 상기 부호화된 정보에 부가되어 있는, 상기 시계열 데이터 간의 처리의 우선도를 나타내는 시계열 데이터 간 우선도와 상기 동화상의 시계열 데이터를 구성하는 프레임 간의 처리의 우선도를 나타내는 시계열 데이터 내 우선도를 이용하여, 실제의 전송 레이트가 목표 전송 레이트 이하가 되도록, 시계열 데이터를 전송하는 전송수단에 송신하는 상기 정보 중 우선도가 낮은 정보를 파기하는 단계와, 상기 파기에 의해서 정선된 정보를 송신하는 단계를 포함하는 것을 특징으로 하는 데이터 처리방법이다.
본원의 제 2 발명은, 부호화 된 동화상 또는 음성의 시계열 데이터의 정보를 전송하는 실제의 전송 레이트가 목표 전송 레이트를 초과하는 경우, 상기 부호화된 정보에 부가되어 있는, 상기 시계열 데이터 간의 처리의 우선도를 나타내는 시계열 데이터 간 우선도와 상기 동화상의 시계열 데이터를 구성하는 프레임 간의 처리의 우선도를 나타내는 시계열 데이터 내 우선도를 이용하여, 실제의 전송 레이트가 목표 전송 레이트 이하가 되도록, 시계열 데이터를 전송하는 전송수단에 송신하는 상기 정보 중 우선도가 낮은 정보를 파기하는 수단과, 상기 파기에 의해서 정선된 정보를 송신하는 수단을 갖는 것을 특징으로 하는 데이터 처리장치이다.
본원의 제 3 발명은, 동화상 또는 음성의 시계열 데이터와, 상기 시계열 데이터 간의 처리의 우선도를 나타내는 시계열 데이터 간 우선도와 상기 동화상의 시계열 데이터를 구성하는 프레임 간의 처리의 우선도를 나타내는 시계열 데이터 내 우선도를 쌍으로 하여 입력하는 단계와, (1) 상기 시계열 데이터의 정보가 손상된 경우는, 상기 시계열 데이터 내 우선도와 상기 시계열 데이터 간 우선도를 이용하여, 그 손상된 데이터의 재송을 요구하기 위해 재송요구 처리를 행하고, 또, (2) 상기 시계열 데이터가 연속적으로 또는 높은 빈도로 상실된 경우는, 상기 시계열 데이터 내 우선도와 상기 시계열 데이터 간 우선도를 이용하여, 처리 우선도가 높은 데이터에 대해서만 상기 재송요구 처리를 행하는 단계를 포함하는 것을 특징으로 하는 데이터 처리방법이다.
본원의 제 4 발명은, 동화상 또는 음성의 시계열 데이터와, 상기 시계열 데이터 간의 처리의 우선도를 나타내는 시계열 데이터 간 우선도와 상기 동화상의 시계열 데이터를 구성하는 프레임 간의 처리의 우선도를 나타내는 시계열 데이터 내 우선도를 쌍으로 하여 입력하는 수단과, (1) 상기 시계열 데이터의 정보가 손상된 경우는, 상기 시계열 데이터 내 우선도와 상기 시계열 데이터 간 우선도를 이용하여, 그 손상된 데이터의 재송을 요구하기 위해 재송요구 처리를 행하고, 또, (2) 상기 시계열 데이터가 연속적으로 또는 높은 빈도로 상실된 경우는, 상기 시계열 데이터 내 우선도와 상기 시계열 데이터 간 우선도를 이용하여, 처리 우선도가 높은 데이터에 대해서만 상기 재송요구 처리를 행하는 수단을 갖는 것을 특징으로 하는 데이터 처리장치이다.
본원의 제 5 발명은, 동화상 또는 음성의 시계열 데이터와, 상기 시계열 데이터 간의 처리의 우선도를 나타내는 시계열 데이터 간 우선도와 상기 동화상의 시계열 데이터를 구성하는 프레임 간의 처리의 우선도를 나타내는 시계열 데이터 내 우선도를 합하여 출력하는 단계와, 상기 시계열 데이터의 전송량에 따라서, 상기 시계열 데이터 내 우선도와 상기 시계열 데이터 간 우선도에 기초하여 구한 처리 우선도가 높은 데이터를 우선하여 전송하는 단계를 포함하는 것을 특징으로 하는 데이터 처리방법이다.
본원의 제 6 발명은, 동화상 또는 음성의 시계열 데이터와, 상기 시계열 데이터 간의 처리의 우선도를 나타내는 시계열 데이터 간 우선도와 상기 동화상의 시계열 데이터를 구성하는 프레임 간의 처리의 우선도를 나타내는 시계열 데이터 내 우선도를 합하여 출력하는 수단과, 상기 시계열 데이터의 전송량에 따라서, 상기 시계열 데이터 내 우선도와 상기 시계열 데이터 간 우선도에 기초하여 구한 처리 우선도가 높은 데이터를 우선하여 전송하는 수단을 갖는 것을 특징으로 하는 데이터 처리장치이다.
본원의 제 7 발명은, 동화상 또는 음성의 시계열 데이터의 부호화 처리를 행하는 부호화 처리수단에 설치된 우선도 부가부에 의해 상기 시계열 데이터의 처리 우선도를 부가함과 동시에, 부호화 된 동화상 또는 음성의 시계열 데이터의 정보에 부가되어 있는 복호화 되어야 할 혹은 출력되어야 할 시기와 전송처리 개시로부터의 경과시간을 비교한 결과, 송신 버퍼로의 부호화 된 정보의 기입이 지연되고 있다고 판정한 경우, 상기 부호화 된 정보에 부가되어야 할, 상기 시계열 데이터 간의 처리의 우선도를 나타내는 시계열 데이터 간 우선도와 상기 동화상의 시계열 데이터를 구성하는 프레임 간의 처리의 우선도를 나타내는 시계열 데이터 내 우선도를 이용하여, 상기 부호화 처리수단에 송신하는 정보 중 우선도가 낮은 정보를 파기하는 단계와, 상기 파기에 의해서 정선된 정보를 송신하는 단계를 포함하는 것을 특징으로 하는 데이터 처리방법이다.
본원의 제 8 발명은, 동화상 또는 음성의 시계열 데이터의 부호화 처리를 행하는 부호화 처리수단에 설치된 우선도 부가부에 의해 상기 시계열 데이터의 처리 우선도를 부가함과 동시에, 부호화 된 동화상 또는 음성의 시계열 데이터의 정보에 부가되어 있는 복호화 되어야 할 혹은 출력되어야 할 시기와 전송처리 개시로부터의 경과시간을 비교한 결과, 송신 버퍼로의 부호화 된 정보의 기입이 지연되고 있다고 판정한 경우, 상기 부호화 된 정보에 부가되어야 할, 상기 시계열 데이터 간의 처리의 우선도를 나타내는 시계열 데이터 간 우선도와 상기 동화상의 시계열 데이터를 구성하는 프레임 간의 처리의 우선도를 나타내는 시계열 데이터 내 우선도를 이용하여, 상기 부호화 처리수단에 송신하는 정보 중 우선도가 낮은 정보를 파기하는 수단과, 상기 파기에 의해서 정선된 정보를 송신하는 수단을 갖는 것을 특징으로 하는 데이터 처리장치이다.
본원의 제 9 발명은, 부호화 된 음성 또는 I 프레임을 포함하는 동화상의 시계열 데이터의 정보를 전송하는 실제의 전송 레이트가 목표 전송 레이트를 초과하는 경우, 상기 부호화된 정보에 부가되어 있는, 상기 시계열 데이터 간의 처리의 우선도를 나타내는 시계열 데이터 간 우선도와 상기 동화상의 시계열 데이터를 구성하는 I 프레임 간의 처리의 우선도를 나타내는 시계열 데이터 내 우선도를 이용하여, 실제의 전송 레이트가 목표 전송 레이트 이하가 되도록, 시계열 데이터를 전송하는 전송수단에 송신하는 상기 정보 중 우선도가 낮은 정보를 파기하는 단계와, 상기 파기에 의해서 정선된 정보를 송신하는 단계를 포함하는 것을 특징으로 하는 데이터 처리방법이다.
본원의 제 10 발명은, 동화상 또는 음성의 시계열 데이터의 부호화 처리를 행하는 부호화 처리수단에 설치된 우선도 부가부에 의해 상기 시계열 데이터의 처리 우선도를 부가함과 동시에, 부호화 된 동화상 또는 음성의 시계열 데이터의 정보에 부가되어 있는 복호화 되어야 할 혹은 출력되어야 할 시기와 전송처리 개시로부터의 경과시간을 비교한 결과, 송신 버퍼로의 부호화 된 정보의 기입이 지연되고 있다고 판정한 경우, 상기 부호화 된 정보에 부가되어야 할, 상기 시계열 데이터 간의 처리의 우선도를 나타내는 시계열 데이터 간 우선도와 상기 동화상의 시계열 데이터를 구성하는 I 프레임 간의 처리의 우선도를 나타내는 시계열 데이터 내 우선도를 이용하여, 상기 부호화 처리수단에 송신하는 정보 중 우선도가 낮은 정보를 파기하는 단계와, 상기 파기에 의해서 정선된 정보를 송신하는 단계를 포함하는 것을 특징으로 하는 데이터 처리방법이다.
본원의 제 11 발명은, 음성 또는 I 프레임을 포함하는 동화상의 시계열 데이터와, 상기 시계열 데이터 간의 처리의 우선도를 나타내는 시계열 데이터 간 우선도와 상기 동화상의 시게열 데이터를 구성하는 I 프레임 간의 처리의 우선도를 나타내는 시계열 데이터 내 우선도를 쌍으로 하여 입력하는 단계와, (1) 상기 시계열 데이터의 정보가 손상된 경우는, 상기 시계열 데이터 내 우선도와 상기 시계열 데이터 간 우선도를 이용하여, 그 손상된 데이터의 재송을 요구하기 위해 재송요구 처리를 행하고, 또, (2) 상기 시계열 데이터가 연속적으로 또는 높은 빈도로 상실된 경우는, 상기 시계열 데이터 내 우선도와 상기 시계열 데이터 간 우선도를 이용하여, 처리 우선도가 높은 데이터에 대해서만 상기 재송요구 처리를 행하는 단계를 포함하는 것을 특징으로 하는 데이터 처리방법이다.
본원의 제 12 발명은, 음성 또는 I 프레임을 포함하는 동화상의 시계열 데이터와, 상기 시계열 데이터 간의 처리의 우선도를 나타내는 시계열 데이터 간 우선도와 상기 동화상의 시계열 데이터를 구성하는 I 프레임 간의 처리의 우선도를 나타내는 시계열 데이터 내 우선도를 합하여 출력하는 단계와, 상기 시계열 데이터의 전송량에 따라서, 상기 시계열 데이터 내 우선도와 상기 시계열 데이터 간 우선도에 기초하여 구한 처리 우선도가 높은 데이터를 우선하여 전송하는 단계를 포함하는 것을 특징으로 하는 데이터 처리방법이다.
(실시예)
이하 본 발명의 실시예에 대하여 도면을 참조하여 설명하기로 한다.
또 여기에서 설명하는 실시예는 주로 상술한 과제 (A1)∼(A6) 중 어느 것을 해결하는 것이다.
본 발명에서 사용하는 「화상」으로서는 정지화상과 동화상의 양쪽을 포함한다. 또 대상으로 하는 화상은 컴퓨터 그래픽스(CG)와 같은 2차원 화상과 와이어 프레임 모델로 구성되는 3차원 화상 데이터라도 된다.
도 1은 본 발명의 실시예에서의 화상음성 송수신장치의 개략 구성도이다.
도 1에서 정보를 수신하는 수신관리부(11)와 정보를 송신하는 전송부(13)는 동축 케이블, CATV, LAN, 모뎀 등의 정보를 전송하는 수단이다. 통신환경으로서는 인터넷과 같이 다중화수단을 의식하지 않고 복수의 논리적인 전송로를 이용할 수 있는 통신환경이라도 되고, 아날로그 전화나 위성방송과 같이 다중화수단을 의식해야하는 통신환경이라도 된다.
또 단말의 접속형태로서는 TV 전화나 TV 회의 시스템과 같이 단말간에서 쌍방향으로 영상이나 음성을 송수신하는 형태나, 위성방송이나 CATV, 인터넷 상에서의 방송형 영상이나 음성방송의 형태를 들 수 있다. 본 발명에서는 이러한 단말의 접속형태에 대하여 고려하고 있다.
도 1에 도시된 분리부(12)는 수신정보를 해석하여 데이터와 제어정보를 분리하는 수단이다. 구체적으로는 송신을 위해 데이터에 부가된 송신용 헤더정보와 데이터를 분해하거나, 데이터 자신에게 부가된 데이터 제어용 헤더와 데이터의 내용을 분해하기 위한 수단이다. 화상신장부(14)는 수신한 화상을 신장하는 수단이다. 예를 들면 H. 261, H. 263, MPEG1/2, JPEG라는 표준화된 동화상이나 정지화상의 압축화상이라도 되고, 그렇지 않아도 된다.
도 1에 도시된 화상신장 관리부(15)는 화상의 신장 상태를 감시하는 수단이다. 예를 들면 화상의 신장상태를 감시함으로써 수신 버퍼가 오버플로우를 일으킬 듯이 된 경우에 화상의 신장을 행하지 않고 수신버퍼를 공백 판독하여 화상을 신장할 수 있는 상태가 된 시점으로부터 화상의 신장을 재개시킬 수 있다.
또 도 1에서 화상합성부(16)는 신장된 화상을 합성하는 수단이다. 합성방법에 관해서는 JAVA, VRML, MHEG라는 스크립트 언어로, 화상과 화상의 구조정보(표시 위치와 표시시간(표시기간을 포함해도 됨)), 화상끼리의 그룹핑 방법, 화상 표시의 레이어(깊이), 그리고, 오브젝트 ID(후술하는 SSRC)와 이들 속성의 관계를 기술함으로써 화상의 합성방법을 정의할 수 있다. 합성방법을 기술한 스크립트는 네트워크나 로컬의 기억장치로부터 입출력된다.
또 출력부(17)는 화상의 합성결과를 출력하는 디스플레이나 프린터 등이다. 단말제어부(18)는 이들 각부를 제어하는 수단이다. 또 화상 대신에 음성을 신장하는 구성이라도(화상신장부를 음성신장부로, 화상신장 관리부를 음성신장 관리부로, 화상합성부를 음성합성부로 변경함으로써 대응됨), 화상과 음성의 양쪽을 신장하여 시간적으로 동기를 유지하면서 합성, 표시하는 구성이라도 된다.
또한 화상을 압축하는 화상압축부, 화상압축부를 관리하는 화상압축 관리부, 음성을 압축하는 음성압축부, 음성압축부를 관리하는 음성압축 관리부를 구비함으로써 화상이나 음성의 전송도 가능하게 된다.
도 2는 수신관리부와 분리부를 도시한 도면이다.
도 1에 도시된 수신관리부(11)에 데이터를 수신하는 데이터 수신부(101)와 데이터를 제어하기 위한 제어정보를 수신하는 제어정보 수신부(102)와, 분리부(12)에 전송내용을 해석하기 위한 전송구조(상세한 내용은 후술)에 대하여 기억하는 전송포맷 기억부(103)와, 전송포맷 기억부(103)에 기억된 전송구조에 기초하여 전송내용을 해석하는 전송정보 해석부(104)로 각부를 구성함으로써 데이터와 제어정보를 독립하여 수신하는 것이 가능하게 되므로, 예를 들면 수신하면서 수신화상이나 음성의 삭제, 이동이 용이하게 된다.
상술한 바와 같이 수신관리부(11)가 대상으로 하는 통신환경으로서는, 인터넷과 같이 다중화 수단을 의식하지 않고 복수의 논리적인 전송로를 이용할 수 있는 통신환경(인터넷·프로파일)이라도 되고, 아날로그 전화나 위성방송과 같이 다중화 수단을 의식해야 하는 통신환경(Raw 프로파일)이라도 된다. 그러나 이용자측에서 보면 논리적인 전송로(논리 채널)가 복수개 준비되어 있는 통신환경을 전제로 하고 있다(예를 들면 TCP/IP가 사용되는 통신환경에서는「통신 포트」라 불리우는 표현이 일반적으로 사용됨).
또 도 2에 도시된 바와 같이 수신관리부(11)가 수신하는 정보로서는 1종류 이상의 데이터용 전송로와, 전송하는 데이터를 제어하기 위한 제어용의 논리적인 전송로를 1종류 이상 상정하고 있다. 데이터 전송용 전송로를 복수 준비하고, 데이터 제어용 전송로를 1개만 준비해도 된다. 또한 H. 323에서도 이용되고 있는 RTP/RTCP와 같이 데이터 전송마다 데이터 제어용 전송로를 준비해도 된다. 또한 UDP를 사용한 방송을 고려한 경우, 단일 통신 포트(멀티캐스트 어드레스)를 사용한 통신형태라도 된다.
도 3은 복수의 논리적인 전송로를 이용하여 화상이나 음성을 전송, 제어하는 방법에 대하여 설명한 도면이다. 전송하는 데이터 자신을 ES(엘리먼터리 스트림)라 하고, ES로서는 화상이라면 1프레임분의 화상정보나 1프레임보다 작은 GOB 단위나 매크로 블록 단위의 화상정보라도 된다.
음성이라면 이용자가 정한 고정길이의 길이라도 된다. 또 전송하는 데이터에 부가하는 데이터 제어용 헤더정보를 AL(어댑테이션 레이어 정보)이라 한다. AL 정보로서는 데이터의 처리 가능한 개시 위치인지의 여부를 나타내는 정보, 데이터의 재생시각을 나타내는 정보, 데이터의 처리 우선도를 나타내는 정보 등을 들 수 있다. 본 발명의 데이터 관리정보는 AL 정보에 대응한다. 또 본 발명에서 이용되는 ES와 AL은 MPEG1/2에서 정의되어 있는 내용과 반드시 합치하지 않아도 된다.
데이터 처리 가능한 개시 위치인지의 여부를 나타내는 정보는 구체적으로는 2종류의 정보를 들 수 있다. 하나는 랜덤 액세스를 위한 플래그이며, 예를 들어 화상이라면 인트라 프레임(I픽처)이라는 것과 같이 전후의 데이터에 관계없이 단독으로 판독하여 재생되는 것을 나타내기 위한 정보이다. 두 번째로서는 단순히 단독으로 판독이 가능한 것을 나타내기 위한 플래그로서, 액세스 플래그를 정의할 수 있다. 예를 들어 화상이라면 GOB 단위나 매크로블록 단위의 화상의 선두인 것을 나타내는 정보이다. 따라서 액세스 플래그가 없으면 데이터의 도중이다. 반드시 데이터 처리 가능한 개시 위치인지의 여부를 나타내는 정보로서 랜덤 액세스의 플래그와 액세스 플래그가 모두 필요하지는 않다.
TV 회의 시스템과 같은 리얼타임 통신에서는 양쪽의 플래그를 부가하지 않아도 문제가 발생되지 않는 경우도 있고, 편집을 간단히 할 수 있도록 하기 위해서는 랜덤 액세스 플래그는 필요하다. 플래그가 필요하지만, 필요한 경우라도 어떤 플래그가 필요한지를 통신로를 통해 데이터 전송 전에 결정해두어도 된다.
데이터의 재생시각을 나타내는 정보는 화상과 음성이 재생될 때의 시간동기 정보를 나타내며, MEPG1/2에서는 PTS(프레젠테이션·타임 스탬프)라 불리운다. TV 회의 시스템과 같은 리얼타임 통신에서는 통상, 시간동기에 관해서는 고려되어 있 지 않기 때문에 반드시 재생시각을 의미하는 정보는 필요없다. 필요한 정보로서는 인코드된 프레임의 시간간격이 될지도 모른다.
시간 간격을 수신측에서 조정시킴으로써 프레임 간격의 큰 변동은 막을 수 있지만, 재생간격을 조정시킴으로써 지연이 될 가능성도 있다. 따라서 인코드의 프레임 간격을 나타내는 시간정보도 필요없다고 판단되는 경우도 있다.
데이터의 재생시각을 나타내는 정보는 PTS를 의미하는 것이나, 프레임 간격을 의미하는 것이나, 데이터의 재생시각을 데이터 자신에게는 부가하지 않는다는 것을 통신로를 통해 데이터 전송 전에 결정하여 수신단말에 통지하고, 결정된 데이터 관리정보와 함께 데이터를 전송해도 된다.
데이터 처리의 우선도를 나타내는 정보는 수신단말의 부하나 네트워크의 부하에 의해 처리 또는 전송할 수 없는 경우에 데이터의 처리를 중지시키거나 전송을 취소함으로써 수신단말의 부하나 네트워크의 부하를 저감시킬 수 있다.
수신단말에서는 화상신장 관리부(15)에서 네트워크에서는 중계의 단말이나 라우터 등에서 처리할 수 있다. 우선도의 표현방법으로서는 수치에 의한 표현이나 플래그라도 된다. 또 데이터의 처리 우선도를 나타내는 정보의 오프셋값을 제어정보, 혹은 데이터와 함께 데이터 관리정보(AL의 정보)로 하여 전송함으로써 수신단말의 부하나 네트워크 부하의 급격한 변동에 대하여 미리 화상이나 음성에 할당되어 있는 우선도에 오프셋값을 가함으로써 시스템의 동작상황에 따른 동적인 우선도의 설정이 가능하게 된다.
또한 스크램블의 유무, 저작권의 유무, 오리지널인지 복사본인지를 식별하기 위한 정보를 데이터와는 별도로, 데이터의 식별자(SSRC)와 함께 제어정보로서 송신함으로써 중계 노드에서의 스크램블의 해제 등이 용이하게 된다.
또 데이터의 처리 우선도를 나타내는 정보는 복수의 비디오나 오디오의 프레임 집합으로 구성되는 스트림 단위로 부가해도 되고, 비디오나 오디오의 프레임 단위로 부가해도 된다.
H. 263이나 G. 723 등의 부호화방법으로, 부호화된 정보의 과부하시의 처리 우선도를 미리 정해진 기준으로 결정하고, 부호화된 정보와 결정된 우선도를 대응짓는 우선도 부가수단을 송신 단말장치에 구비한다(도 46 참조).
도 46은 영상과 음성에 우선도를 부가하는 우선도 부가수단(5201)에 대하여 설명하는 도면이다.
즉 도 46에 도시된 바와 같이, 부호화된 영상과 음성의 각 데이터(각각 영상 부호화수단(5202)과 음성 부호화수단(5203)이 처리함)에 대하여 미리 정해진 규칙에 기초하여 우선도를 부가한다. 우선도를 부가하는 규칙은 우선도 부가규칙(5204)에 규칙이 저장되어 있다. 규칙이란 I프레임(프레임내 부호화된 영상 프레임)은 P프레임(프레임간 부호화된 영상 프레임)보다 높은 우선도를 부가한다는 규칙이나, 영상은 음성보다 낮은 우선도를 부가한다는 규칙이다. 또 이 규칙은 이용자의 지시에 따라 동적으로 변경해도 된다.
우선도를 부가하는 대상이 되는 것은, 예를 들어 화상이라면 화면 교체, 편집자나 이용자가 지시한 화상 프레임이나 스트림, 음성이라면 유성음 구간과 무성음 구간이다.
과부하시의 처리 우선도를 정의하는 화상이나 음성프레임 단위의 우선도의 부가방법은 통신 헤더에 부가하는 방법과 부호화시에 비디오나 오디오의 부호화된 비트스트림의 헤더에 매립하는 방법이 고려된다. 전자는 복호하지 않고 우선도에 관한 정보를 얻을 수 있으며, 후자는 시스템에 의존하지 않고 비트스트림 단체(單體)로 독립적으로 취급할 수 있다.
통신 헤더에 우선도 정보를 부가하는 경우, 하나의 화상프레임(예를 들면 프레임내 부호화된 I프레임, 프레임간 부호화된 P, B 프레임)이 복수개의 송신 패킷으로 분할되는 경우, 화상이라면 단독의 정보로서 액세스 가능한 화상프레임의 선두부분을 전송하는 통신 헤더에만 우선도를 부가한다(동일한 화상프레임 내에서 우선도가 같은 경우, 다음 액세스 가능한 화상프레임의 선두가 나타날 때까지 우선도는 변하지 않는 것으로 하면 됨).
또 용도에 맞추어 우선도를 표현할 수 있는 값의 범위(예를 들면 시간정보를 16비트로 표현하거나, 32비트로 표현함)를 가변으로 하여 제어정보로 구성할 수 있도록 해도 된다.
또한 복호화장치에서는 수신된 각종 부호화된 정보의 과부하시의 우선도에 따라 처리방법을 결정하는 우선도 결정수단을 수신 단말장치에 구비한다(도 47 참조).
도 47은 영상과 음성에 부가된 우선도를 해석하고, 복호처리의 가부를 결정하는 우선도 결정수단(5301)에 대하여 설명하는 도면이다.
즉 도 47에 도시된 바와 같이 우선도는 영상, 음성마다의 스트림별로 부가되 는 우선도, 영상 또는 음성의 프레임별로 부가되는 우선도이다. 이들 우선도는 각각 독립적으로 이용해도 되고, 프레임 우선도와 스트림 우선도를 대응지어 이용해도 된다. 우선도 결정수단(5301)은 이들 우선도에 따라 복호해야 할 스트림이나 프레임을 결정한다.
단말에서의 과부하시의 처리 우선도를 결정하는 2종류의 우선도를 이용하여 디코드 처리를 행한다.
즉 영상, 음성이라는 비트스트림간의 상대적 우선도를 정의하는 스트림 우선도(Stream Priority ; 시계열간 우선도)와, 동일 스트림 내의 영상 프레임이라는 복호처리 단위간의 상대적 우선도를 정의하는 프레임 우선도(Frame Priority ; 시계열내 우선도)를 정의한다(도 24).
전자의 스트림 우선도에 의해 복수의 비디오나 오디오의 취급이 가능하게 된다. 후자의 프레임 우선도에 의해 영상의 화면 교체나 편집자의 의도에 따라 동일한 프레임내 부호화된 영상프레임(I프레임)이라도 다른 우선도의 부가가 가능하게 된다.
또 스트림 우선도를 화상이나 음성의 부호화 혹은 복호화 처리의 오퍼레이팅 시스템(OS)에서의 할당시간 혹은 처리의 우선도에 대응지어 관리함으로써, 0S 레벨에서의 처리시간의 관리가 가능해진다. 예를 들면 마이크로소프트사의 윈도우즈 95/NT에서는 5단계의 OS 레벨에서의 우선도를 정의할 수 있다. 부호화, 복호화의 수단을 소프트웨어에서 스레드의 단위로 실현한 경우, 처리대상이 되는 스트림의 스트림 우선도로부터 각 스레드에 할당하는 OS 레벨에서의 우선도를 결정할 수 있 다.
여기에서 설명한 프레임 우선도와 스트림 우선도는 전송매체나 기록매체로 적용할 수 있다. 예를 들면 전송하는 패킷의 우선도를 액세스 유니트 우선도(Access Unit Priority)라 정의하면,
액세스 유니트 우선도 = 스트림 우선도 - 프레임 우선도
라는 프레임 우선도와 스트림 우선도의 관계식으로부터 패킷의 전송에 관한 우선도 혹은 단말에 의한 과부하시의 처리 우선도를 결정할 수 있다.
또 데이터 기록매체로서 플로피 디스크, 광디스크 등을 이용하여 행할 수 있다. 또 기록매체는 이것에 한정되지 않고 IC 카드, ROM 카세트 등, 프로그램을 기록할 수 있는 것이면 마찬가지로 실시할 수 있다. 또한 데이터를 중계하는 라우터나 게이트웨이라는 화상이나 음성의 중계장치를 대상으로 해도 된다.
구체적인 우선도에 관한 이용방법으로서는 수신단말이 과부하인 경우에 처리해야 할 부호화된 정보의 우선도의 임계값을 결정하는 우선도 결정수단을 화상신장 관리부나 음성신장 관리부에 구비하고, 표시되어야 할 시각(PTS)과 현재까지의 처리개시로부터의 경과시각 혹은 복호되어야 할 시각(DTS)과 현재까지의 처리개시로부터의 경과시각을 비교하여, 비교결과에 의해 처리해야 할 부호화된 정보의 우선도의 임계값을 변화시킨다(임계값을 변화시키기 위한 정보로서는 I프레임의 삽입간격, 우선도의 그레이딩을 참고로 해도 됨).
도 20a에 도시된 예에서는 인코드시에는 도입된 QCIF, CIF 사이즈의 화상을 인코더(H. 263)에 의해 인코드하고, 인코드된 정보와 함께 복호하는 시각(DTS), 화 상을 표시하는 시각을 나타내는 타임 스탬프(PTS), 과부하시의 처리 순서를 나타내는 우선도 정보(CGD, Computational Graceful Degradation), 프레임 타입(SN), 시퀀스번호를 출력한다.
또한 도 20b에 도시된 예에서는, 음성도 또한 마이크를 통해 녹음되고 인코더(G. 721)에 의해 인코드되며, 인코드된 정보와 함께 복호하는 시각(DTS), 음성을 재생하는 시각을 나타내는 타임 스탬프(PTS), 우선도 정보(CGD), 시퀀스 번호(SN)를 출력한다.
디코드시에는 도 20c에 도시된 바와 같이 화상과 음성은 각각 별개의 버퍼로 건네지고, 화상과 음성은 각각의 DTS(복호시각)와 현재의 처리개시로부터의 경과시각을 비교하여, DTS 쪽이 지연되어 있지 않으면 화상과 음성은 각각의 디코더(H. 263, G. 721)로 건네진다.
도 21의 예에서는 인코더에서의 과부하시의 우선도 부가방법에 대하여 기록하고 있다. 화상은 I프레임(프레임내 부호화된 화상프레임)은 우선도가 「O」과 「1」로, 높은 우선도를 할당하고 있다(숫자가 클수록 우선도가 낮다). P프레임은 우선도가「2」로, I프레임보다도 낮은 우선도를 할당하고 있다. I프레임은 2단계의 우선도를 할당하고 있기 때문에 디코드하는 단말의 부하가 높은 경우, 우선도가 「0」인 I프레임만을 재생한다고 할 수 있다. 또 우선도의 부가방법에 따라 I프레임의 삽입간격을 조정할 필요가 있다.
도 22의 예는 과부하시의 수신단말에서의 우선도의 결정방법에 대하여 기록한 도면이다. 폐기하는 프레임의 우선도를 컷 오프 우선도(cut Off Priority)보다 크다고 설정한다. 즉, 모든 화상프레임을 처리의 대상으로 한다. 화상프레임에 부가되는 우선도의 최대값은 단말접속시에 송신측으로부터 수신측으로 통지함으로써 미리 알 수 있다(단계 101).
DTS와 현재의 처리 개시로부터의 경과시간을 비교하여 경과시간쪽이 큰 경우(복호처리가 충분하지 않은 경우), 처리대상으로 해야 할 화상, 음성의 우선도의 임계값을 내려 처리를 정선하고(단계 102), 반대로 처리 개시로부터의 경과시간쪽이 작은 경우(복호처리가 충분한 경우)는 처리되는 대상의 화상이나 음성을 늘리기 위해 우선도의 임계값을 올린다(단계 103).
1개 앞의 화상프레임이 P프레임으로 스킵되어 있으면 처리는 행하지 않는다. 그렇지 않으면 화상프레임(혹은 음성 프레임)의 우선도에 우선도의 오프셋값을 부가하고, 우선도의 임계값과 비교하여, 임계값을 넘지 않았으면 디코더에 복호해야 할 데이터를 건네준다(단계 104).
또 우선도의 오프셋은 머신의 성능을 미리 조사하여, 수신단말에 오프셋을 통지해 두는 사용방법(이용자가 수신단말에서 지시해도 됨), 복수의 비디오와 사운드스트림의 스트림 단위의 우선도를 변경하는 사용방법(예를 들면 가장 뒤의 배경은 오프셋값을 올려 처리를 정선하도록 하는)이 가능하다.
멀티스트림을 대상으로 하는 경우, 스트림마다 우선도를 부가하여, 화상이나 음성 디코드의 스킵 판정을 해도 된다. 덧붙여서 리얼타임 통신에서도 H. 263의 TR(임시 리퍼런스)을 DTS와 마찬가지로 하여 취급 이용함으로써, 단말에서의 디코드 처리가 진행되고 있는지 지연되고 있는지를 판정할 수 있고, 상기 설명한 것과 같은 스킵처리를 실현할 수 있다.
도 23은 앞에서의 알고리즘을 실장하여, 우선도의 시간변화를 조사한 것이다.
도 23에서는 영상프레임에 부가되는 우선도의 변화를 도시한다. 이 우선도는 단말이 과부하일때 복호의 가부를 결정하기 위한 우선도이고, 각 프레임마다 부가된다. 우선도는 값이 작을수록 우선도가 높다. 도 23의 예에서는 0이 가장 우선도가 높다. 우선도의 임계값이 3일때, 3보다 큰 값이 부가되어 있는 우선도의 프레임은 복호되지 않고 폐기되며, 3 이하의 값의 우선도가 부가되어 있는 프레임은 복호된다. 우선도에 의한 선택적인 프레임을 폐기함으로써 단말의 부하를 억제할 수 있다. 이 우선도의 임계값은 현재의 처리시각과 각 프레임에 부가되는 복호처리시간(DTS)의 관계로부터 동적으로 결정해도 된다. 이 방법은 영상프레임뿐만 아니라 음성에 대해서도 같은 요령으로 적용할 수 있다.
인터넷과 같은 전송로를 고려한 경우, 전송 도중에 분실한 부호화된 정보의 재송이 필요한 경우, 재송해야 할 부호화된 정보의 우선도의 임계값을 결정하는 재송요구 우선도 결정부를 수신관리부에 구비하고, 우선도 결정부가 관리하는 우선도나, 재송횟수, 정보의 손실률, 프레임내 부호화된 프레임의 삽입간격, 우선도의 그레이딩(예를 들면 5단계의 우선도 등)의 정보를 바탕으로 재송 요구해야 할 부호화된 정보에 부가된 우선도의 임계값을 결정함으로써, 수신단말에서 필요로 하는 화상이나 음성만을 재송 요구할 수 있다. 재송횟수나 정보의 손실률이 크면 재송해야 할 대상으로 하는 정보의 우선도를 올려 재송이나 손실률을 저하시킬 필요가 있 다. 또한 우선도 결정부에서 사용되고 있는 우선도를 인지함으로써 처리대상 외의 정보의 전송을 없앨 수 있다.
송신측 단말에 관해서는 송신단말 정보의 목표 전송레이트보다 실제의 전송레이트가 초과되는 경우나, 송신버퍼로의 부호화된 정보의 기입이 현재까지의 전송처리 개시로부터의 경과시각과 부호화된 정보에 부가되어 있는 복호 혹은 표시되는 시각을 비교하여 송신 버퍼로의 정보 기입이 지연되고 있는 경우, 부호화된 정보에 부가되고 수신단말의 우선도 결정부에서 이용되는 단말이 과부하시의 우선도를 이용하여 정보 송신을 정선함으로써 목표레이트에 맞는 화상이나 음성의 전송이 가능해진다. 또한 송신측 단말에서도 수신측단말에서 행하고 있는 것 같은 과부하시의 처리 스킵기능을 도입함으로써 송신측 단말의 과부하에 의한 파탄을 억제할 수 있다.
상기에서 설명한 AL의 정보를 필요에 따라 필요한 정보만을 전송할 수 있도록 함으로써 아날로그 전화회선과 같은 좁은 지역의 통신로에는 전송 정보량을 조절할 수 있으므로 유효하다. 실현방법으로서는 송신측 단말에서 데이터 자신에게 부가하는 데이터 관리정보를 미리 데이터 송신 전에 결정하여 수신단말에 사용하는 데이터 관리정보를 제어정보(예를 들면, 랜덤 액세스 플래그만을 사용한다거나)로서 통지하는 것과 함께, 수신측 단말에서는 얻어진 제어정보를 바탕으로 상기 전송포맷 기억부(103)에서 기억하는 전송 구조에 관한 정보(어떤 AL의 정보를 사용하는지 나타내고 있음)를 다시 기입함으로써 송신측에서 사용하는 AL의 정보(데이터 관리정보)의 재조합이 가능하게 된다(도 16 참조).
도 4는 송신해야 할 화상이나 음성 데이터에 부가하는 헤더정보의 동적인 변경방법에 대하여 설명하는 도면이다. 도면의 예에서는 전송해야 할 데이터(ES)를 데이터 조각으로 분해하여, 얻어진 데이터 조각에 데이터의 순서관계를 나타내기 위한 식별정보(시퀀스 번호)와, 데이터 조각을 처리할 수 있는 개시 위치인지의 여부를 나타내는 정보(마커 비트)와, 데이터 조각의 전송에 관한 시간정보(타임 스탬프)를 본 발명의 전송 관리정보에 대응하는 것으로 하여 통신 헤더의 형태로 데이터조각에 부가하고 있다.
구체적인 예로서는 RTP(Realtime Transfer Protocol, RFC1889)에서는 상기의 시퀀스 번호, 마커 비트, 타임 스탬프, 오브젝트 ID(SSRC라 함), 버전 번호 등의 정보를 통신 헤더로서 사용하고 있다. 헤더 정보 항목의 확장은 가능하지만 상기 항목은 고정 항목으로서 반드시 부가된다. 그러나 복수의 다른 부호화 화상이나 음성을 복수, 동시에 전송하는 통신환경에서, TV 전화와 같이 리얼타임 통신과 비디오 온 디맨드와 같이 축적 미디어의 전송이 혼재하는 경우, 통신 헤더가 갖는 이유가 달라 식별하는 수단이 필요하다.
예를 들면 타임 스탬프의 정보는 MPEG1/2의 경우는 상술한 바와 같이 재생시각인 PTS를 나타내지만 H. 261이나 H. 263에서는 인코드된 시간 간격을 나타낸다. 그러나 H. 263을 음성과 동기를 취하여 처리하고 싶은 경우, 타임 스탬프가 PTS의 정보인 것을 나타낼 필요가 있다. 왜냐하면 H. 263의 경우, 타임 스탬프의 정보는 인코드된 프레임간의 시간 간격을 나타내는 것으로서, 1장째의 프레임의 타임 스탬프는 랜덤하다고 RTP로 정의되어 있기 때문이다.
따라서 (a) 타임 스탬프가 PTS 인지의 여부를 나타내는 플래그를 통신 헤더정보(통신 헤더의 확장이 필요하게 됨) 혹은 (b) H. 263나 H. 261의 페이로드의 헤더정보(요컨대, AL 정보)로서 부가할 필요가 있다(이 경우, 페이로드 정보의 확장이 필요하게 됨).
RTP의 헤더정보로서, 데이터 조각을 처리할 수 있는 개시 위치인지의 여부를 나타내는 정보인 마커 비트가 부가되어 있지만, AL 정보로서도 상술한 바와 같이 데이터에 대하여 액세스할 수 있는 개시 시점인 것을 나타내는 액세스 플래그, 랜덤하게 데이터에 대하여 액세스할 수 있는 것을 나타내는 랜덤 액세스 플래그를 갖게 하고 싶은 경우가 있다. 중복하여, 통신 헤더에 갖게 하는 것은 비효율적이므로 AL의 플래그를 통신 헤더로 준비하고 있는 플래그로 대용시키는 방법도 고려된다.
(c) AL에 플래그를 부가하지 않고 통신 헤더에 부가하고 있는 헤더로 AL의 플래그를 대용시키는 것을 나타내는 플래그를 통신 헤더에 새로 설치하거나, 통신 헤더의 마커 비트는 AL의 것과 같다고 정의함으로써 문제는 해결된다(AL에 갖게 하는 것보다 해석이 빨리 되는 것을 기대할 수 있다). 요컨대 마커 비트가 AL의 플래그와 같은 의미를 갖는지의 여부를 나타내는 플래그이다. 이 경우, 통신 헤더의 개량 혹은 확장영역에 기술하는 것이 고려된다.
반대로, (d) 통신 헤더의 마커 비트의 의미를 AL에 적어도 랜덤 액세스 플래그 혹은 액세스 플래그 중 어느 것이 존재하는지를 의미하도록 해석하도록 해도 된다. 이 경우 종래와는 해석의 의미가 변한 것을 알려면 통신 헤더의 버전 번호로 대응할 수 있다. 이 이외에 단순한 방법으로서는 통신 헤더 혹은 AL의 헤더에만 액세스 플래그나 랜덤 액세스 플래그를 설치하면 처리는 간단하다(전자의 경우, 플래그를 양쪽 모두 설치하는 경우도 고려할 수 있지만, 통신 헤더의 새로운 확장이 필요하게 된다).
데이터 처리의 우선도를 나타내는 정보를 AL의 정보로서 부가하는 것은 설명하였지만, 통신 헤더에 데이터의 처리 우선도를 부가함으로써 데이터 처리의 우선도 처리의 판정이 네트워크 상에 있어도 데이터의 내용을 해석하지 않고 행하는 것이 가능해진다. 또 IPv6의 경우, RTP의 레벨보다 하위의 레이어로 부가하는 것이 가능하다.
RTP의 통신 헤더에 데이터 처리의 유효기간을 나타내기 위한 타이머 혹은 카운터를 부가함으로써, 전송되는 패킷의 어느 상태 변화가 어떻게 변화하고 있는지를 판단할 수 있다. 예를 들면 필요하게 되는 디코더 소프트웨어가 액세스 속도가 느린 기억장치에 기억되어 있는 경우, 디코더가 필요하게 된다는 정보와, 타이머나 카운터에 의해 어느 시점에서 필요하게 되는지 판단하는 것이 가능하게 된다. 이 경우, 용도에 따라서는 AL 정보에 타이머나 카운터, 데이터 처리의 우선도의 정보는 불필요하다.
도 5a∼도 5b, 도 6a∼도 6d는 AL 정보의 부가방법에 대하여 설명하는 도면이다.
도 5a에 도시된 바와 같이 AL을 전송해야 할 데이터의 선두에만 부가할 것인지 혹은 도 5b에 도시된 바와 같이 전송해야 할 데이터(ES)를 1개 이상의 데이터 조각으로 분해한 후 데이터 조각의 각각에 부가할 것인지를 통지하는 제어정보를 수신단말로 송부함으로써, 전송정보의 취급 그레이딩을 선택할 수 있도록 하는 것이 가능하게 된다. AL을 세분화된 데이터에 대하여 붙임으로써 액세스 지연이 문제가 되는 경우에는 유효하다.
상술한 바와 같이 수신측에서의 데이터 관리정보의 재편성이나 데이터 관리정보를 데이터로 배치하는 방법이 변경되는 것을 미리 수신측 단말에 통지하기 위해 플래그, 카운터, 타이머와 같은 표현방법을 이용하여 AL 정보로서 준비하거나, 통신 헤더로서 준비하여 수신단말에 통지함으로써 수신단말이 원활하게 대응된다.
지금까지의 예에서는 RTP의 헤더(또는 통신 헤더)와 AL 정보의 중복을 피하는 방법이나, RTP의 통신 헤더나 AL 정보를 확장하는 방법에 대하여 설명하였다. 그러나 본 발명은 반드시 RTP일 필요는 없다. 예를 들면 UDP나 TCP를 사용하여 독자적인 통신 헤더나 AL 정보를 새롭게 정의해도 된다. 인터넷 프로파일에서는 RTP를 사용하는 일은 있지만, Raw 프로파일에서는 RTP와 같은 다기능 헤더는 정의되어 있지 않다. AL 정보와 통신 헤더에 관한 관점으로는 다음 4가지가 있다.(도 6a∼도 6d 참조).
(1) RTP와 AL에서, 이미 할당되어 있는 헤더정보가 중복되지 않도록 RTP의 헤더정보 혹은 AL 정보를 수정, 확장한다(특히 타임 스탬프의 정보가 중복, 타이머나 카운터, 데이터의 처리 우선도 정보가 확장정보가 된다). 혹은 RTP의 헤더도 확장하지 않고, AL 정보도 RTP의 것과 중복되어 있어도 고려하지 않는 방법이라도 된다. 이들에 관해서는 지금까지 나타낸 내용에 상당한다. RTP는 이미 일부의 H. 323에서 실용화되고 있으므로 호환성을 유지한 RTP의 확장은 유효하다(도 6a 참조).
(2) RTP에 구애받지 않고 통신 헤더를 간략하게 하고(예를 들면, 시퀀스 번호만으로 한다거나), 나머지를 AL 정보에 다기능 제어정보로서 갖게 한다. 또한 AL 정보로 사용하는 항목을 통신 전에 가변으로 설정할 수 있도록 함으로써 유연한 전송 포맷이 규정된다.(도 6b 참조)
(3) RTP에 구애받지 않고 AL 정보를 간략하게 하여(극단적인 예로는, AL에는 정보를 부가하지 않음) 통신 헤더에 모든 제어정보를 갖게 한다. 통신 헤더로서 빈번히 자주 참조될 수 있는 시퀀스 번호, 타임 스탬프, 마커 비트, 페이로드 타입, 오브젝트 ID에 관해서는 고정의 헤더 정보로서 두고, 데이터 처리의 우선도 정보, 타이머 정보에 관해서는 확장정보로서 확장정보가 존재하는지의 여부를 나타내는 식별자를 설치해 두고, 확장정보가 정의되어 있으면 참조하도록 해도 된다. (도 6c 참조)
(4) RTP에 구애받지 않고 통신 헤더, AL 정보를 간략하게 하여 이들 통신 헤더나 AL 정보와는 다른 패킷으로서 포맷을 정의하여 전송한다. 예를 들면 AL 정보는 마커 비트, 타임 스탬프, 오브젝트 ID만 정의하고, 통신 헤더도 시퀀스 번호만을 정의하여 이들의 정보와는 다른 전송 패킷(제 2 패킷)으로서 페이로드 정보, 데이터 처리의 우선도 정보, 타이머 정보 등을 정의하여 전송하는 방법도 고려된다(도 6d 참조).
상기 나타낸 바와 같이, 용도나 이미 화상이나 음성에 부가되어 있는 헤더 정보를 고려하면 용도에 맞추어 통신 헤더, AL 정보, 데이터와는 별도로 전송하는 패킷(제 2 패킷)을 자유롭게 정의할 수 있도록(커스터마이즈되도록) 하는 것이 바람직하다.
도 7은 복수의 논리적인 전송로를 동적으로 다중화, 분리하여 정보를 전송하는 방법에 대하여 설명하는 도면이다. 논리적인 전송로의 수를 절약하기 위해 이용자의 지시 혹은 논리적인 전송로의 수에 따라 복수의 데이터 혹은 제어정보를 전송하기 위한 논리적인 전송로의 정보 다중화를 개시하거나, 종료시키는 것이 가능한 정보 다중부를 전송부에, 다중화된 정보를 분리하는 정보 분리부를 수신관리부에 설치함으로써 실현된다.
또 도 7에서는 정보 다중부를 “그룹 MUX”라 부르고 있고, 구체적으로는 H. 223과 같은 다중화방식을 이용하면 된다. 이 그룹 MUX는 송수신 단말에 설치해도 되고, 중계의 라우터나 단말에 설치함으로써 좁은 지역으로의 통신로에 대한 대응이나 그룹 MUX를 H. 223으로 실현하면 H. 324와 상호 접속된다.
정보 다중부에 관한 제어정보(다중화 제어정보)를 민첩하게 인출하기 위해 정보 다중부의 제어정보를 정보 다중부에서 데이터와 다중화하여 송신하는 것은 아니고, 다중화하지 않고 다른 논리적인 전송로로 전송함으로써 다중화에 의한 지연을 저감할 수 있다. 이에 따라 정보 다중부에 관한 제어정보를 데이터와 다중화하여 전송할 것인지, 데이터와 다중화하여 송신하는 것은 아니고 다중화하지 않고 다른 논리적인 전송로로 전송할 것인지를 통지하여 전송함으로써 종래의 다중화와 정합성을 유지시키거나, 다중화에 의한 지연을 저감시킬 것인지를 이용자가 선택할 수 있게 된다. 여기에서 정보다중부에 관한 다중화 제어정보란, 예를 들면 정보다중부가 각 데이터에 대하여 어떠한 다중화를 행하고 있는가라는 다중화의 내용을 나타내는 정보이다.
상술한 바와 같이, 적어도 다중화의 개시와 종료를 통지하는 정보, 다중화해야 할 논리적인 전송로의 조합을 통지하기 위한 정보, 다중화에 관한 제어정보(다중화 제어정보)의 전송방법의 통지를 플래그, 카운터, 타이머와 같은 표현방법으로, 제어정보로서 전송 혹은 데이터 관리정보로서 데이터와 함께 수신측 단말에 전송함으로써 수신측에서의 셋업시간을 단축할 수 있다. 또 상술한 바와 같이 플래그, 카운터, 타이머를 표현하는 항목은 RTP의 송신 헤더에 설치해도 된다.
복수개의 정보 다중부나 정보 분리부가 존재하는 경우, 정보 다중부나 정보 분리부를 식별하기 위한 식별자와 함께 제어정보(다중화 제어정보)를 전송하면 어떤 정보다중부에 관한 제어정보(다중화 제어정보)인지를 식별할 수 있다. 제어정보(다중화 제어정보)로서는 다중화의 패턴 등을 들 수 있다. 또한 정보다중부나 정보분리부의 식별자를 난수를 이용하여 단말간에서 결정함으로써 정보다중부의 식별자를 생성할 수 있다. 예를 들면 송수신 단말간에서 정해진 범위에서의 난수를 발생시키고 큰 쪽의 값을 정보다중부의 식별자(식별번호)로 하면 된다.
정보다중부에서 다중화된 데이터는 종래 RTP에서 정의되어 있는 미디어 타입과는 다르기 때문에, RTP의 페이로드 타입에 정보다중부에서 다중화된 정보인 것을 나타내는 정보(새로운 미디어 타입, H. 223을 정의)를 정의하면 된다.
다중화된 데이터에 대한 액세스 속도를 향상시키는 방법으로서, 정보다중부 에서 전송 또는 기록하는 정보를 제어정보, 데이터 정보의 순으로 배치함으로써 다중화된 정보가 빨리 해석되는 것을 기대할 수 있다. 또한 제어정보에 부가하는 데이터 관리정보로 기술하는 항목은 고정으로 하고, 데이터와는 다른 식별자(유니크한 패턴)를 부가하여 다중화함으로써 헤더정보를 빠르게 해석할 수 있다.
도 8은 방송 프로그램의 전송순서에 대하여 설명하기 위한 도면이다. 논리적인 전송로의 식별자와 방송 프로그램 식별자의 대응관계를 방송 프로그램의 정보로서 제어정보를 전송하는지, 방송 프로그램의 식별자를 데이터 관리정보(AL 정보)로서 데이터에 부가하여 전송함으로써 복수의 전송로에서 전송되는 데이터가 어떤 프로그램을 위해 방송되고 있는지를 식별할 수 있게 된다. 또한 데이터의 식별자(RTP에서는 SSRC)와 논리적인 전송로의 식별자(예를 들면 LAN의 포트 번호)와의 관계를 제어정보로서 수신측단말에 전송하고, 수신측 단말에서는 수신 가능한 것을 확인한 후(확인/거부), 대응하는 데이터를 전송함으로써 제어정보와 데이터를 독립된 전송로로 전송하더라도 데이터간의 대응관계가 유지된다.
방송 프로그램이나 데이터에 대하여 전송의 순서 관계를 나타내는 식별자와, 방송 프로그램이나 데이터가 정보로서 이용되는 유효기한을 나타내기 위한 카운터 혹은 타이머의 정보를 조합시켜 방송 프로그램이나 데이터에 부가하여 전송함으로써 복귀채널 없이 방송이 실현된다(유효기한이 경과할 듯이 되면 부족한 정보가 있어도 방송 프로그램 정보나 데이터의 재생을 개시함). 단일 통신 포트의 어드레스(멀티캐스트 어드레스)를 사용하여 제어정보와 데이터로 분리하지 않고 방송하는 방법도 고려된다.
또 백 채널을 갖지 않는 통신의 경우, 데이터의 구조정보를 수신단말을 알 수 있도록 제어정보는 데이터보다도 충분히 미리 전송해 둘 필요가 있다. 또한 제어정보는 일반적으로는 패킷 손실이 없는 신뢰성이 높은 전송 채널로 전송해야 하지만, 신뢰성이 낮은 전송 채널을 이용하는 경우는 주기적으로 같은 전송 시퀀스 번호를 가진 제어정보를 반복 전송할 필요가 있다. 이것은 셋업시간에 관한 제어정보를 보내는 경우에 한정된 이야기는 아니다.
또 데이터 관리정보로서 부가 가능한 항목(예를 들면, 액세스 플래그, 랜덤 액세스 플래그, 데이터의 재생시각(PTS), 데이터 처리의 우선도 정보 등)을 선택하여, 제어정보로서 데이터의 식별자(SSRC)와 함께 데이터와는 다른 논리적인 전송로로 전송할 것인지, 데이터와 함께 데이터 관리정보(AL 정보)로서 전송할 것인지를 데이터 송신전에 송신측에서 결정하여 수신측에 제어정보로서 통지하여 전송함으로써 유연한 데이터 관리와 전송이 가능해진다.
이에 따라 AL에는 정보를 부가하지 않고 데이터 정보를 전송할 수 있으므로, RTP를 이용하여 화상이나 음성 데이터를 전송할 때 종래부터 정의되어 있는 페이로드의 정의를 확장할 필요가 없어진다.
도 9a∼도 9b는 프로그램이나 데이터의 판독, 상승시간을 고려한 화상이나 음성의 전송방법을 도시한 도면이다. 특히 위성방송이나 휴대단말과 같이 복귀채널이 없이 한방향으로, 단말의 자원이 한정되어 있는 경우에 프로그램이나 데이터가 수신측 단말에 존재하여 이용하는 경우, 필요하게 되는 프로그램(예를 들면 H. 263, MPEG1/2, 음성 디코더의 소프트웨어 등)이나 데이터(예를 들면, 화상 데이터 나 음성 데이터)가 판독에 시간이 걸리는 기억장치(예를 들면, DVD, 하드디스크, 네트워크 상의 파일 서버 등)에 존재하는 경우에 미리 필요하게 되는 프로그램이나 데이터를 식별하는 식별자와, 전송되는 스트림의 식별자(예를 들면 SSRC나, Logica1 Channel Number), 수신단말에서 필요하게 되는 시점을 추정하기 위한 플래그, 카운터(카운트 업, 다운), 타이머와 같은 표현방법으로 제어정보로서 수신, 혹은 데이터 관리정보로서 데이터와 함께 수신함으로써 필요하게 되는 프로그램이나 데이터의 셋업시간을 단축할 수 있게 된다(도 18).
한편 프로그램이나 데이터가 송신되는 경우, 프로그램이나 데이터의 수신단말에서의 기억장소(예를 들면, 하드디스크, 메모리), 기동이나 판독에 걸리는 시간, 단말의 종류나 기억장소와 기동이나 판독에 걸리는 시간의 대응관계(예를 들면, CPU 파워, 기억 디바이스와 평균적인 응답시간의 관계), 이용순서를 나타내는 정보와 함께 프로그램이나 데이터를 송신측으로부터 전송함으로써 수신측 단말에서 필요하게 되는 프로그램이나 데이터를 실제로 필요로 하게 되는 경우, 프로그램이나 데이터의 기억장소나 판독시간에 관하여 스케쥴링이 가능해진다.
도 1Oa∼제 10b는 소거(TV의 채널 전환)에 대한 대응방법에 대하여 설명하는 도면이다.
종래부터 있는 영상을 수신할 뿐인 위성방송과 달리 프로그램을 수신단말에서 실행해야 할 때 프로그램의 판독이나 상승까지의 셋업시간이 큰 문제점이 된다. 이것은 휴대단말과 같이 이용 자원이 한정되는 경우라도 같다고 할 수 있다.
해결책의 하나로서 a 이용자가 시청하기 위한 주시청부와, 이용자가 시청하 고 있는 이외의 프로그램에서, 필요하게 되는 프로그램이나 데이터가 판독에 시간이 걸리는 기억장치에 존재하는 경우에, 이용자가 시청하고 있는 프로그램 이외의 프로그램을 수신단말이 주기적으로 시청하는 부시청부를 구비하여 미리 필요하게 되는 프로그램이나 데이터를 식별하는 식별자와, 수신단말에서 필요하게 되는 시점을 추정하기 위한 플래그, 카운터, 타이머라는 정보와, 프로그램과의 대응관계를 제어정보(데이터와는 다른 패킷으로 전송되는, 단말처리를 제어하기 위한 정보)로서 수신 혹은 데이터 관리정보(AL 정보)로서 데이터와 함께 수신하여 프로그램이나 데이터의 판독을 준비해 둠으로써 수신측 단말에서의 셋업시간이 단축되는 것을 기대할 수 있다.
두 번째 해결책으로서는, 복수개의 채널로 방송되는 화상의 표제 화상만을 방송하는 방송 채널을 설치하고, 시청자가 시청 프로그램을 전환함으로써 필요하게 되는 프로그램이나 데이터가 판독에 시간이 걸리는 기억장치에 존재한 경우, 일단 시청하고 싶은 프로그램의 표제 화상을 선택하여 시청자에게 제시하거나, 판독중인 것을 제시하는 것과 함께, 기억장치로부터 필요하게 되는 프로그램이나 데이터를 판독하여, 판독 종료후 시청자가 시청하고 싶은 프로그램을 재개함으로써 셋업시에 발생하는 화면의 정지를 방지할 수 있다. 여기에서 말하는 표제 화상은 주기적으로 복수개의 채널로 방송되는 프로그램을 샘플링한 방송화상을 가리킨다.
또한 타이머는 시간표현으로, 예를 들면 송신측으로부터 보내오는 데이터 스트림을 디코드하는 데 필요한 프로그램은 현재로부터 어느 시점에서 필요하게 되는지를 나타낸다. 카운터는 송신단말간에서 정한 기본 시간단위로, 몇회째인지를 나 타내는 정보면 된다. 플래그는 셋업에 필요한 시간 전에 송출하는 데이터 혹은 제어정보(데이터와는 다른 패킷으로 전송되는, 단말처리를 제어하는 정보)와 함께 전송하여 통지한다. 타이머, 카운터 모두 데이터 내에 매립하여 전송해도 되고 제어정보로서 전송해도 된다.
또한 셋업시간의 결정방법으로서는, 예를 들면 클록 베이스로 동작하고 있는 ISDN과 같은 전송로를 이용한 경우, 송신측 단말로부터 수신단말에서 프로그램이나 데이터가 필요하게 되는 시점을 통지하기 위해 전송 관리정보로서 전송의 순서관계를 식별하기 위한 송신 시리얼 번호를 이용하여 데이터 관리정보로서 데이터와 함께 혹은 제어정보로서 수신단말에 통지함으로써 셋업이 행해지는 시각을 예측할 수 있게 된다. 또한 인터넷과 같이 지터나 지연에 의해 전송시간이 변동하는 경우는 RTCP(인터넷의 미디어 전송 프로토콜)에서 이미 실현되고 있는 수단으로, 지터(jitter)나 지연시간으로부터 전송의 전파(傳播) 지연을 가미하여 셋업시간에 부가해 두면 된다.
도 11a부터 도 19b는 실제로 단말간에서 송수신되는 프로토콜의 구체예를 도시한 도면이다.
전송 포맷이나 전송수속은 ASN.1로 기술하였다. 또 본 전송 포맷은 ITU의 H. 245를 베이스로 확장하였다. 도 11a에도 도시되어 있는 바와 같이 화상이나 음성의 오브젝트는 계층구조를 이루고 있어도 되고, 여기의 예에서는 각 오브젝트 ID는 방송프로그램의 식별자(Program ID)와 오브젝트 ID(S SRC)의 속성을 갖고, 화상간의 구조정보, 합성방법은 Java, VRML이라는 스크립트 언어로 기술한다.
도 11a는 오브젝트간의 관계에 대한 예를 도시한 도면이다.
도 11a에서 오브젝트는 영상, 음성, CG, 텍스트 등의 미디어이다. 도 11a의 예에서는 오브젝트는 계층구조를 이루고 있다. 각 오브젝트는 프로그램 번호(TV의 채널에 상당, “Program ID”)와 오브젝트를 식별하는 오브젝트 식별자“Object ID”를 갖는다. RTP(인터넷에서 이용되는 미디어 전송의 프로토콜, Realtime Transfer Protocol)로 각 오브젝트를 전송하는 경우는 오브젝트 식별자는 SSRC(동기 소스 식별자)에 대응시킴으로써 용이하게 오브젝트를 식별할 수 있다. 또 오브젝트간의 구조기술은 JAVA, VRML이라는 기술언어로 기술하는 것이 가능하다.
이들 오브젝트의 전송방법은 2가지가 고려된다. 하나는 방송형으로, 송신측 단말로부터 일방적으로 전송하는 형태이다. 다른 하나는 송수신 단말간(단말 A, 단말 B)에서 오브젝트를 전송하는 형태(통신형)도 고려된다.
예를 들면 전송방법으로서는 인터넷의 경우는 RTP을 이용할 수 있다. 제어정보는 TV 전화의 규격에는 LCNO라 불리우는 전송 채널을 이용하여 전송한다. 도 11a의 예에서는 전송에 복수의 전송 채널을 이용하고 있지만, 이들 채널은 동일한 프로그램 채널(Program ID)이 할당되어 있다.
도 11b는 본 발명에서 설명한 기능을 실현하기 위한 프로토콜의 실현방법에 대하여 설명한 도면이다. 여기에서는 TV 전화의 규격(H. 324, H. 323)에서 이용되는 전송 프로토콜(H. 245)을 이용하여 설명하기로 한다. H. 245를 확장함으로써 본 발명에서 설명한 기능을 실현한다.
도 11b의 예에서 나타낸 기술 방법은 ASN.1이라고 불리우는 프로토콜 기술방 식이다. “Terminal Capability Set”는 단말의 성능을 표현한다. 도 11b의 예에서는 “mpeg4 Capability”라고 기재한 기능을 종래부터 있는 H. 245에 대하여 확장하고 있다.
도 12에서는 “mpeg4 Capability”는 단말에서 동시에 처리할 수 있는 최대 영상의 수(“Max Number Of Video”), 최대 음성의 수(Max Number Of Sounds”), 단말에서 실현할 수 있는 최대 다중화 기능의 수(“Max Number Of Mux”)를 기록하고 있다.
도 12에서는 이들을 정리하여, 처리할 수 있는 최대의 오브젝트수(“Number Of Process Object”)로서 표현하고 있다. 또한 통신 헤더(도 12에서는 AL이라 표현)의 변경이 가능한지를 기록하는 플래그가 기록되어 있다. 이 값이 참(True)일 때 통신 헤더의 변경이 가능하다. “MPEG4 Capability”를 이용하여 단말간에서 처리할 수 있는 오브젝트수를 서로 통지하는 경우에, 통지받은 쪽이 수리(처리) 가능하다면 “MEPG4 Capability Ack”를, 그렇지 않다면 “MEPG4 Capability Reject”를, “MEPG4 Capability”를 송신한 단말로 되돌린다.
도 13a에서는 하나의 전송 채널(이 예에서는 LAN의 전송 채널)을 복수의 논리적인 채널에서 공유하여 사용하기 위해 복수의 논리적인 채널을 하나의 전송 채널에 다중화하는 상술한 그룹 MUX를 사용하기 위한 프로토콜의 기술방법에 대하여 도시하고 있다. 도 13a의 예에서는 LAN(Local Area Network ; 근거리 통신망)의 전송채널(“LAN Port Number”)에 다중화 수단(Group MUX)을 대응짓고 있다. “Group Mux ID”는 다중화수단을 식별하기 위한 식별자이다. “Create Group Mux” 를 이용하여 단말간에서 다중화 수단을 사용하는 경우에 서로 통지하는 경우, 통지받은 쪽이 수리(사용) 가능하다면 “Create Group Mux Ack”를, 그렇지 않으면 “Create Group Mux Reject”를, “Create Group Mux”를 송신한 단말로 되돌린다. 다중화 수단의 반대 동작을 행하는 수단인 분리수단은 같은 방법으로 실현할 수 있다.
도 13b에서는 이미 생성한 다중화 수단을 소거하는 경우에 대하여 기술하고 있다.
도 13c에서는 LAN의 전송 채널과 복수의 논리적인 채널의 관계에 대하여 기술하고 있다.
LAN의 전송채널은 “LAN Port Number”로, 복수의 논리적인 채널은 “Logical Port Number”로 기술한다.
도 13c의 예에서는 하나의 LAN의 전송 채널에 대하여 최대 15개의 논리적인 채널을 대응짓는 것이 가능하다.
또 도 13c에서 사용할 수 있는 MUX의 수가 하나뿐인 경우는 Group Mux ID는 불필요하다. 또 Mux를 복수 사용하는 경우는 H. 223의 각 커맨드에 대하여 Group Mux ID가 필요하다. 또 다중화와 분리수단 사이에서 이용되는 포트의 대응관계를 통지하기 위한 플래그를 설치해도 된다. 또 제어정보도 다중화할 것인지, 다른 논리적인 전송로를 통해 전송할 것인지를 선택할 수 있도록 하기 위한 커맨드를 설치해도 된다.
도 13a∼도 13c의 설명에서는 전송 채널은 LAN이지만, H. 223, MPEG2와 같이 인터넷 프로토콜을 사용하지 않는 방식이라도 된다.
도 14에서는 “Open Logical Channel”은 전송 채널의 속성을 정의하기 위한 프로토콜 기술을 도시한다. 도 14의 예에서는 H. 245의 프로토콜에 대하여 “MPEG4 Logical Channel Parameters”를 확장 정의하고 있다.
도 15에서는 LAN의 전송 채널에 대하여 프로그램 번호(TV의 채널에 상당)와, 프로그램의 이름을 대응짓고 있는(“MPEG4 Logical Channel Parameters”) 것을 도시한다.
또 도 15에서“Broadcast Channel Program”은 LAN의 전송 채널과 프로그램 번호의 대응지음을 방송형으로 송신하는 경우의 기술방법이다. 도 15의 예에서는 최대 1023개의 전송 채널과 프로그램 번호의 대응관계를 송부할 수 있다. 방송의 경우는 송신측으로부터 수신측으로 일방적으로 송신할 뿐이므로 이들 정보를 전송중의 손실을 고려하여 주기적으로 전송할 필요가 있다.
도 16a에서는 프로그램으로서 전송되는 오브젝트(예를 들면, 영상, 음성 등)의 속성에 대하여 기술하고 있다(“MPEG4 Object Classdefinition”). 프로그램의 식별자(“Program ID”)에 대하여 오브젝트 정보(“Object Structure Element”)를 대응짓고 있다. 최대 1023개의 오브젝트를 대응지을 수 있다. 오브젝트 정보로서는 LAN의 전송 채널(“LAN Port Number”), 스크램블이 사용되고 있는지의 여부의 플래그(“Scramble Flag”), 단말이 과부하인 경우의 처리 우선도를 변경하기 위한 오프셋값을 정의하는 필드(“CGD Offset”), 그리고 전송하는 미디어(영상, 음성 등)의 타입을 식별하기 위한 식별자(Media Type)를 기술한다.
도 16b의 예에서는 ES(여기에서는 1프레임분의 영상에 상당하는 데이터열이라 정의함)의 복호처리를 관리하기 위해 AL(여기에서는 1프레임분의 영상을 복호하기 위해 필요한 부가정보라 정의함)이 부가되어 있다. AL의 정보로서는,
(1) Random Access Flag (단독으로 재생가능한지의 여부를 나타내는 플래그, 프레임내 부호화된 영상 프레임이면 참이다),
(2) Presentation Time Stamp(프레임의 표시시각),
(3) CGD Priority(단말이 과부하시에 처리 우선도를 결정하기 위한 우선도의 값)가 정의되어 있다. 이들 1프레임분의 데이터열을 RTP(인터넷으로 연속미디어를 전송하기 위한 프로토콜, Realtime Transfer Protocol)를 이용하여 전송하는 경우의 예를 나타내고 있다. “AL Reconfiguration”은 상기 AL로 표현할 수 있는 최대값을 변경하기 위한 전송 표현이다.
도 16b의 예에서는 “Random Access Flag Max Bit”로서, 최대 2비트의 표현이 가능하다. 예를 들어 0이면 Random Access Flag는 사용하지 않는다. 2이면 최대값은 3이다.
또 실수부와 가수부에 의한 표현을 행해도 된다(예를 들면 3＾6). 또 비설정시는 디폴트로 정해진 상태에서 동작하는 것으로 해도 된다.
도 17에서는,“Setup Request”는 셋업시간을 송신하기 위한 전송 표현을 도시한다. 프로그램을 송신하기 전에“Setup Request”는 송신되고, 전송되는 전송 채널번호(“Logical Channel Number”)와, 실행하는 프로그램 ID(“excute Program Number”), 사용하는 데이터 ID(“data Number”), 실행하는 커맨드의 ID(“ execute Command Number”)를 대응지어 수신단말로 송부한다. 또한 다른 표현방법으로서, 전송채널 번호와 대응지어 실행 허가 플래그(“flag”), 이후 몇번 Setup Request를 수신하면 실행하는지를 기록한 카운터(“counter”), 이후 어느 정도의 시간에서 실행하는지를 나타내는 타이머값(“timer”)이라도 된다.
또 요구 예정의 리퀘스트의 예로서는 AL 정보의 고쳐쓰기, 그룹 Mux의 상승 시간의 확보 등을 들 수 있다.
도 18은 도 16b에서 설명한 AL의 사용 유무를 송신단말로부터 수신단말로 통지하기 위한 전송 표현에 대하여 설명하는 도면이다(“Control AL definition”).
도 18에서 “Random Access Flag Use”가 참이면 Random Access Flag는 사용된다. 그렇지 않으면 사용하지 않는다. 이 AL의 변경 통지는 제어정보로서 데이터와는 다른 전송 채널로 전송해도 되고, 데이터와 함께 동일한 전송 채널로 전송해도 된다.
또 실행하는 프로그램으로서는 디코더 프로그램 등을 들 수 있다. 또 셋업의 리퀘스트는 방송, 통신 모두에 이용할 수 있다. 또 제어정보로서의 항목을 AL 정보로서의 어느 항목을 사용할 것인지를 상기 리퀘스트로 수신단말에 지시한다. 또 마찬가지로 통신 헤더에 어떤 항목을, AL 정보로서 어떤 항목을, 제어정보로서 이 항목을 사용할 것인지를 수신단말에 지시할 수 있다.
도 19a에서는 정보구조 식별자(“header ID”)를 이용하여 전송하는 헤더정보(데이터 관리정보, 전송 관리정보, 제어정보)의 구조를 송수신 단말간에서 용도 에 따라 변경하기 위한 전송표현의 예를 도시한다.
도 19a에서“class ES header”는 데이터와 같은 전송 채널로 전송되는 데이터 관리정보나, 전송 관리정보가 전송되는 정보의 구조를 정보 구조 식별자에 의해 송수신 단말간에서 구별하고 있다.
예를 들면 “header ID”의 값이 O이면, buffer Size ES의 항목만 이용하고, “header ID”의 값이 1이면 “reserved”의 항목을 덧붙여 이용한다.
또 디폴트 식별자(“use Header Extension”)를 이용함으로써 디폴트 형식의 정보 구조를 이용할 것인지의 여부를 판정한다. “use Header Extension”이 참이면 if문의 내부 항목이 이용된다. 이들 구조정보에 관해서는 미리 송수신 단말간에서 정해져 있는 것으로 한다. 또 정보 구조 식별자와 디폴트 식별자는 어느 한쪽을 사용하는 구성이어도 된다.
도 19b에서는 “AL configuration”은 데이터와는 다른 전송 채널로 전송되는 제어정보의 구조를 송수신 단말간에서 용도에 따라 변경하는 경우의 예를 도시한다. 정보구조 식별자와 디폴트 식별자의 사용방법은 도 19a의 경우와 같다.
본 발명에서는 복수의 동화상이나 음성을 동시에 합성하여 표시시키는 시스템의 실현방법에 대하여 하기의 관점에서 구체적으로 서술하였다.
(1) 복수의 논리적인 전송로를 이용하여 화상이나 음성의 전송(통신과 방송) 및 그들을 제어하는 방법. 특히 제어정보와 데이터를 각각 전송하는 논리적인 전송로를 독립시켜 전송하는 방법에 대하여 설명하였다.
(2) 송신해야 할 화상이나 음성 데이터에 부가하는 헤더정보(AL 정보)의 동 적인 변경방법.
(3) 송신을 위해 부가하는 통신용 헤더정보의 동적인 변경방법.
구체적으로는 (2)와 (3)에 관해서는 AL 정보와 통신용 헤더에서 중복하고 있는 정보에 대하여 통합하여 관리하는 방법이나, AL 정보를 제어정보로서 전송하는 방법에 대하여 서술하였다.
(4) 복수의 논리적인 전송로를 동적으로 다중화, 분리하여 정보를 전송하는 방법.
전송로의 채널수를 절약하는 방법, 효율적인 다중화를 실현하는 방법에 대하여 설명하였다.
(5) 프로그램이나 데이터의 판독, 상승시간을 고려한 화상이나 음성의 전송방법. 여러 가지 기능, 용도로 외관 상의 셋업시간의 단축방법에 대하여 설명하였다.
(6) 소거에 대한 화상이나 음성의 전송방법.
또 본 발명은 2차원의 화상합성만으로 한정되지 않는다. 2차원 화상과 3차원 화상을 조합시킨 표현형식이라도 되고, 광시야 화상(파노라마 화상)과 같이 복수의 화상을 인접하도록 화상 합성하는 화상 합성방법을 포함해도 된다.
또 본 발명에서 대상으로 하고 있는 통신형태는 유선의 쌍방향 CATV나 B-ISDN뿐만은 아니다. 예를 들면, 센터측 단말로부터 가정측 단말로의 영상이나 음성의 전송은 전파(예를 들면 VHF대, UHF대), 위성방송이고, 가정측 단말로부터 센터측 단말로의 정보 발신은 아날로그 전화회선이나 N-ISDN이라도 된다(영상, 음성, 데이터도 반드시 다중화되어 있을 필요는 없다).
또 IrDA, PHS(퍼스널 핸디 폰)나 무선 LAN과 같은 무선을 이용한 통신형태라도 된다. 또 대상으로 하는 단말은 휴대정보단말과 같이 휴대형 단말이라도 되며, 셋 톱 박스, 퍼스널 컴퓨터와 같이 탁상형 단말이라도 된다. 또 응용분야로서는 TV 전화, 다지점의 감시 시스템, 멀티미디어의 데이터베이스 검색 시스템, 게임 등을 들 수 있고, 본 발명은 수신단말뿐만 아니라 수신단말에 접속되는 서버나 중계 기기 등도 포함된다.
또한 지금까지의 예에서는 RTP의 (통신) 헤더와 AL 정보의 중복을 피하는 방법이나, RTP의 통신 헤더나 AL 정보를 확장하는 방법에 대하여 서술하였다. 그러나 본 발명은 반드시 RTP일 필요는 없다. 예를 들면 UDP나 TCP를 사용하여 독자적인 통신 헤더나 AL 정보를 새롭게 정의해도 된다. 인터넷 프로파일에서는 RTP를 을 사용하는 일은 있지만, Raw 프로파일에서는 RTP와 같은 다기능 헤더는 정의되어 있지 않다. AL 정보와 통신 헤더에 관한 관점에는 상술한 바와 같이 4가지 관점이 가능하다.
이와 같이 송신단말과 수신단말에서 사용하는 데이터 관리정보, 전송 관리정보, 제어정보의 각 정보의 구조(예를 들면, 첫 번째는 랜덤 액세스의 플래그로 1비트의 플래그 정보로서 할당하고, 두 번째는 시퀀스 번호로 16비트 할당한다는, 부가하는 정보의 순서와 비트수를 수반한 정보의 구조)를 동적으로 결정함으로써, 상황에 따른 정보의 구조 변경이 가능하게 되어 용도나 전송로에 따라 변경할 수 있다.
또 각 정보의 구조로서는 도 6a∼도 6d에서 이미 도시된 것이라도 되고, RTP이면 데이터 관리정보(AL)는 미디어마다의 헤더정보(예를 들면 H. 263이면 H. 263 고유의 비디오 헤더정보나 페이로드의 헤더 정보), 전송 관리정보는 RTP의 헤더정보이며, 제어정보는 RTCP와 같은 RTP을 제어하는 정보라도 된다.
또 송수신 단말간에서 미리 설정되어 있는 공지의 정보 구조로, 정보를 송수신하여 처리할 것인지의 여부를 나타내기 위한 디폴트 식별자를 데이터 관리정보, 전송 관리정보, 제어정보(데이터와는 다른 패킷으로 전송되는, 단말처리를 제어하는 정보)에 각각 설치함으로써 정보 구조의 변경이 행해지고 있는지의 여부를 알 수 있고, 변경이 행해지고 있을 때만 디폴트 식별자를 세트하고, 상술한 도 16에 도시된 바와 같은 방법으로 변경내용(예를 들면 타임 스탬프 정보를 32비트로부터 16비트로 변경함)을 통지함으로써 정보의 구조 정보를 변경하지 않는 경우라도 불필요하게 구성 정보를 송신하지 않아도 된다.
예를 들면 데이터 관리정보의 정보 구조를 변경하고 싶을 때에는 다음 2가지 방법이 고려된다. 우선 데이터 자신에게 데이터 관리정보의 정보 구조의 변경방법을 기술하는 경우, 데이터 관리정보의 정보 구조에 관해서 기술된 데이터 내에 존재하는 정보의 디폴트 식별자(고정 영역, 위치에 기입할 필요가 있음)를 세트하고, 그 후에 정보 구조의 변경 내용에 관해서 기술한다.
다른 한가지 방법으로서 제어정보(정보구조 제어정보)에 데이터의 정보구조의 변경방법을 기술하여 데이터 관리정보에서의 정보 구조를 변경하는 경우, 제어정보에 설치된 디폴트 식별자를 세트하고, 변경하는 데이터 관리정보의 정보구조의 내용을 기술하고, ACK/Reject로 수신단말에 데이터 관리정보의 정보 구조가 변경된 것을 통지, 확인하고 나서 정보구조가 변경된 데이터를 전송한다. 전송 관리정보, 제어정보 자신의 정보 구조를 변경하는 경우도 마찬가지로 상기 2가지 방법으로 실현할 수 있다(도 19).
보다 구체적인 예로서는, 예를 들면 MPEG2의 헤더 정보는 고정이지만, MPEG2-TS(트랜스포트 스트림)의 비디오 스트림, 오디오 스트림을 관계짓는 프로그램·맵 테이블(PSI로 정의됨)에 디폴트 식별자를 설치하고, 비디오 스트림, 오디오 스트림의 정보구조의 변경방법을 기술한 구성 스트림을 정의해 둠으로써 디폴트 식별자가 세트되어 있으면, 우선 구성 스트림을 해석하고 나서 구성 스트림의 내용에 따라 비디오와 오디오 스트림의 헤더를 해석할 수 있다. 구성 스트림은 도 19에서 도시한 내용이면 된다.
또 본 발명의 전송방법에 관한 및/또는 전송하는 데이터의 구조에 관한 내용(전송 포맷정보)는 상기 실시예에서는, 예를 들면 정보구조에 대응하고 있다.
또 상기 실시예에서는 변경하고자 하는 전송방법에 관한 및/또는 전송하는 데이터의 구조에 관한 내용을 전송하는 경우를 중심으로 설명하였지만, 이것에 한정되는 것은 아니고, 예를 들어 그 내용의 식별자만을 전송하는 구성이라도 물론 좋다. 이 경우 송신장치로서는 예를 들면 도 44에 도시된 바와 같이, (1) 전송방법에 관한 및/또는 전송하는 데이터의 구조에 관한 내용 또는 그 내용을 나타내는 식별자를 전송 포맷정보로서, 상기 전송하는 데이터의 전송로와 동일한 전송로 또는 상기 전송로와는 다른 전송로를 이용하여 전송하는 전송수단(5001)과, (2) 상기 전 송방법에 관한 및/또는 전송하는 데이터의 구조에 관한 내용과, 그 식별자를 복수종류 저장하는 저장수단(5002)을 구비하고, 상기 식별자가 데이터 관리정보, 전송 관리정보 또는 단말측의 처리를 제어하기 위한 정보 중 적어도 하나의 정보 내에 포함되어 있는 화상·음성 송신장치라도 된다. 또 수신장치로서는, 예를 들면 도 45에 도시된 바와 같이, 상기 화상·음성 송신장치로부터 송신되는 상기 전송 포맷정보를 수신하는 수신수단(5101)과, 상기 수신한 전송 포맷정보를 해석하는 전송정보 해석수단(5102)을 구비한 화상·음성 수신장치라도 된다. 더구나 이 화상·음성 수신장치는 상기 전송방법에 관한 및/또는 전송하는 데이터의 구조에 관한 내용과, 그 식별자를 복수종류 저장하는 저장수단(5103)을 구비하며, 상기 전송 포맷정보로서 상기 식별자를 수신한 경우에는 상기 식별자의 내용을 해석할 때 상기 저장수단에 저장되어 있는 내용을 이용하는 구성이라도 된다.
또한 구체적으로는, 미리 정보 구조를 복수, 송수신 단말에서 정하여 준비해 두고, 그들 복수 종류의 정보구조의 식별과 복수 종류의 데이터 관리정보, 전송관리정보, 제어정보(정보구조 제어정보)를 식별하기 위한 정보구조 식별자를 데이터와 함께 혹은 제어정보로서 전송함으로써 복수 종류의 데이터 관리정보, 전송 관리정보, 제어정보의 각 정보를 식별하는 것이 가능해지고, 전송해야 할 미디어 형식이나 전송로의 굵기에 따라 각 정보의 정보구조를 자유롭게 선택할 수 있다. 또 본 발명의 식별자는 상기 정보구조 식별자에 대응한다.
이들 정보 구조 식별자, 디폴트 식별자는 전송되는 정보의 미리 정해진 고정길이의 영역 혹은 위치에 부가함으로써 수신측 단말에서 정보구조가 변경되어 있어 도 판독, 해석할 수 있다.
또 상술한 실시예에서 설명한 구성 이외에 복수개의 채널로 방송되는 화상의 표제 화상만을 방송하는 방송 채널을 설치하여 시청자가 시청 프로그램을 전환함으로써 필요하게 되는 프로그램이나 데이터의 셋업에 시간이 걸리는 경우, 일단 시청하고 싶은 프로그램의 표제 화상을 선택하여 시청자에게 제시하는 구성으로 해도 된다.
이상과 같이 본 발명에 의하면 송신단말과 수신단말에서 사용하는 데이터 관리정보, 전송 관리정보, 제어정보의 각 정보 구조를 동적으로 결정함으로써 상황에 따른 정보구조의 변경이 가능하게 되어 용도나 전송로에 따른 변경을 할 수 있다.
또한 송수신 단말간에서 미리 설정되어 있는 공지의 정보 구조로 정보를 송수신하여 처리할 것인지의 여부를 나타내기 위한 디폴트 식별자를 데이터 관리정보, 전송 관리정보, 제어정보에 각각 설치함으로써 정보 구조의 변경이 행해지고 있는지의 여부를 알 수 있고, 변경이 행해지고 있을 때만 디폴트 식별자를 세트하여 변경내용을 통지함으로써 정보의 구조 정보를 변경하지 않는 경우라도 불필요하게 구성 정보를 송신하지 않아도 된다.
또 미리 정보 구조를 복수, 송수신 단말에서 정하여 준비해 두고, 복수 종류의 데이터 관리정보, 전송 관리정보, 제어정보를 식별하기 위한 정보 구조 식별자를 데이터와 함께 혹은 제어정보로서 전송함으로써 복수 종류의 데이터 관리정보, 전송 관리정보, 제어정보의 각 정보를 식별하는 것이 가능하게 되어, 전송해야 할 미디어형식이나 전송로의 굵기에 따라 각 정보의 정보구조를 자유롭게 선택할 수 있다.
이들 정보구조 식별자, 디폴트 식별자는 전송되는 정보의 미리 정해진 고정길이의 영역 혹은 위치에 부가함으로써 수신측 단말에서 정보 구조가 변경되어 있어도 판독, 해석할 수 있다.
이하 본 발명의 실시예에 대하여 도면을 참조하여 설명하기로 한다.
또 여기에서는 주로 상술한 과제 (B1)∼(B3) 중 어느 하나를 해결하는 것이다.
본 발명에서 사용하는 「화상」의 의미는 정지화상과 동화상의 양쪽을 포함한다. 또한 대상으로 하는 화상은 컴퓨터 그래픽스(CG)와 같은 2차원 화상과 와이어 프레임 모델로 구성되는 3차원 화상 데이터이라도 된다.
도 25는 본 발명의 실시예에서의 화상 부호화, 화상 복호화장치의 개략 구성도이다.
부호화된 각종 정보를 송신 혹은 기록하는 송신관리부(4011)는 동축 케이블, CATV, LAN, 모뎀 등의 정보를 전송하는 수단이다. 화상 부호화장치(4101)는 H. 263, MPEG1/2, JPEC 혹은 허프만 부호화라는 화상정보를 부호화하는 화상부호부(4012)와, 상기 송신관리부(4011)를 구비하는 구성이다. 또 화상 복호화장치(4102)는 부호화된 각종 정보를 수신하는 수신관리부(4013)와, 그 수신된 각종 화상정보를 복호하는 화상복호부(4014)와, 복호된 하나 이상의 화상을 합성하는 화상합성부(4015)와, 화상을 출력하는 디스플레이나 프린터 등으로 구성되는 출력부(4016)를 구비한 구성이다.
도 26은 본 발명의 실시예에서의 음성부호화, 음성 복호화장치의 개략 구성도이다.
음성 부호화장치(4201)는 부호화된 각종 정보를 송신 또는 기록하는 송신관리부(4021)와 G. 721, MPEG1 오디오라는 음성정보를 부호화하는 음성부호부(4022)를 구비하는 구성이다. 또 음성 복호화장치(4202)는 부호화된 각종 정보를 수신하는 수신관리부(4023), 상기 각종 음성정보를 복호하는 음성복호부(4024), 복호된 1개 이상의 음성을 합성하는 음성합성부(4025), 음성을 출력하는 출력수단(4026)을 구비한 구성이다.
음성이나 동화상의 시계열 데이터에는 상기 각 장치에서 부호화 또는 복호화된다.
도 25, 도 26 모두 통신환경으로서는 인터넷과 같이 다중화 수단을 의식하지 않고 복수의 논리적인 전송로를 이용할 수 있는 통신환경이라도 되고, 아날로그 전화나 위성방송과 같이 다중화수단을 의식해야 하는 통신환경이라도 된다. 또 단말의 접속형태로서는 TV 전화나 TV 회의 시스템과 같이 단말간에서 쌍방향으로 영상이나 음성을 송수신하는 형태나, 위성방송이나 CATV, 인터넷 상에서의 방송형 영상이나 음성방송의 형태를 들 수 있다.
마찬가지로 화상이나 음성의 합성방법에 관해서는 JAVA, VRML, MHEG라는 스크립트 언어로 화상·음성과 화상·음성의 구조정보(표시위치나 표시시간), 화상·음성끼리의 그룹핑방법, 화상의 표시 레이어(깊이), 그리고 오브젝트 ID(화상, 음성이라는 개개의 오브젝트를 식별하기 위한 ID)와, 이들의 속성 관계를 기술함으로 써 화상이나 음성의 합성방법을 정의할 수 있다. 합성방법을 기술한 스크립트는 네트워크나 로컬의 기억장치로부터 얻어진다.
또 화상 부호화장치, 화상 복호화장치, 음성 부호화장치, 음성 복호화장치를 각각 임의의 개수로, 임의의 조합으로 송수신 단말을 구성해도 된다.
도 27a는 과부하시의 처리 우선도를 관리하는 우선도 부가부, 우선도 결정부에 대하여 설명하는 도면이다. H. 263이나 G. 723 등의 부호화방법으로, 부호화된 정보의 과부하시의 처리 우선도를 미리 정해진 기준으로 결정하여 부호화된 정보와 결정된 우선도를 대응짓는 우선도 부가부(31)를 화상 부호화장치(4101)나 음성 부호화장치(4201)에 구비한다.
우선도의 부가 기준은, 예를 들어 화상이라면 장면 교체, 편집자나 이용자가 지시한 화상 프레임이나 스트림, 음성이라면 유성음 구간과 무성음 구간이다.
과부하시의 처리 우선도를 정의하는 우선도의 부가방법은 통신 헤더로 부가하는 방법과 부호화시에 비디오나 오디오가 부호화되는 비트스트림의 헤더에 매립하는 방법이 고려된다. 전자는 복호하지 않고 우선도에 관한 정보를 얻는 것이 가능하며, 후자는 시스템에 의존하지 않고 비트스트림 단체로 독립적으로 취급하는 것이 가능하다.
도 27b도에 도시된 바와 같이 통신 헤더에 우선도 정보를 부가하는 경우, 1개의 화상 프레임(예를 들면 프레임내 부호화된 I프레임, 프레임간 부호화된 P, B 프레임)이 복수개의 송신 패킷으로 분할되는 경우, 화상이라면 단독 정보로서 액세스 가능한 화상 프레임의 선두부분을 전송하는 통신 헤더에만 우선도를 부가한다( 동일한 화상 프레임 내에서 우선도가 같은 경우, 다음 액세스 가능한 화상 프레임의 선두가 나타날 때까지 우선도는 변하지 않는 것으로 하면 됨).
또한 복호화장치에서는 수신된 각종 부호화된 정보의 과부하시의 우선도에 따라 처리 방법을 결정하는 우선도 결정부(32)를 화상 복호화장치(4102)나 음성 복호화장치(4202)에 구비한다.
도 28a∼도 28c는 우선도를 부가하는 그레이딩에 대하여 설명한 도면이다. 단말에서의 과부하시의 처리 우선도를 결정하는 2종류의 우선도를 이용하여 디코드 처리를 행한다.
즉 영상, 음성이라는 비트스트림 단위에서의 과부하시의 처리 우선도를 정의하는 스트림 우선도(Stream Priority ; 시계열 데이터간 우선도)와 동일 스트림 내의 영상 프레임이라는 프레임 단위에서의 과부하시의 처리 우선도를 정의하는 프레임 우선도(Frame Priority ; 시계열 데이터내 우선도)를 정의한다(도 28a 참조).
전자의 스트림 우선도에 의해 복수의 비디오나 오디오의 취급이 가능하게 된다. 후자의 프레임 우선도에 의해 영상의 화면 교체나 편집자의 의도에 따라 동일한 프레임내의 부호화된 영상 프레임(I프레임)이라도 다른 우선도의 부가가 가능하게 된다.
스트림 우선도가 표현하는 값의 의미로서는 상대적인 값으로서 취급하는 경우와 절대적인 값으로서 취급하는 경우를 고려할 수 있다(도 28b, 도 28c 참조).
스트림 우선도와 프레임 우선도가 취급되는 것은 네트워크 상이라면 라우터나 게이트웨이라는 중계단말, 단말이라면 송신단말과 수신단말을 들 수 있다.
절대적인 값과 상대적인 값의 표현방법은 2가지를 고려할 수 있다. 하나는 도 28b에서 도시한 방법이고, 다른 하나는 도 28c에서 도시한 방법이다.
도 28b에서는 절대적인 값의 우선도란 편집자나 기계적으로 부가된 화상 스트림이나 음성 스트림이 과부하시에 처리되는 (또는 처리되어야 할) 순서를 나타내는 값이다(실제의 네트워크나 단말의 부하변동을 고려한 값은 아님). 상대적인 값의 우선도는 단말이나 네트워크의 부하에 따라 절대적인 우선도의 값을 변경하기 위한 값이다.
우선도를 상대적인 값과 절대적인 값으로 분리하여 관리함으로써 네트워크의 부하 변동 등에 따라, 송신측이나 중계장치로 상대적인 값만을 변경함으로써 원래의 화상이나 음성 스트림에 부가되어 있던 절대적인 우선도를 남긴 채로 하드디스크나 VTR로 기록할 수 있게 된다. 이와 같이 절대적인 우선도의 값이 기록되어 있으면 네트워크의 부하 변동 등의 영향을 받지 않은 형태로 영상이나 음성의 재생이 가능하게 된다. 또 상대적인 우선도나 절대적인 우선도는 데이터와는 독립적으로 제어채널을 통해 전송해도 된다.
마찬가지로 도 28b에서는 스트림 우선도보다 그레이딩을 세밀하게 하여 과부하시의 프레임의 처리 우선도를 정의하는 프레임 우선도를 상대적인 우선도의 값으로서 취급하거나 절대적인 우선도의 값으로서 취급하는 것도 가능하다. 예를 들면 절대적인 프레임 우선도를 부호화된 화상의 정보 내에 기술하여 네트워크나 단말의 부하로 변동을 반영시키기 위해, 앞에서의 영상 프레임에 부가된 절대적인 우선도에 대한 상대적인 프레임 우선도를 부호화된 정보를 전송하기 위한 통신 패킷의 통 신 헤더에 기술함으로써 프레임 레벨이라도 종래의 우선도를 남기면서도 네트워크나 단말 부하에 따른 우선도의 부가가 가능하다.
또 상대적인 우선도는 통신 헤더는 아니고 데이터와는 독립하여 제어 채널로 프레임과의 대응관계를 기술하여 전송해도 된다. 이에 따라 원래의 화상이나 음성 스트림에 부가되어 있던 절대적인 우선도를 남긴 채로 하드디스크나 VTR로의 기록이 가능해진다.
한편 도 28b에서 수신단말로 기록을 행하지 않고 네트워크를 통해 전송하면서 수신단말로 재생을 행하는 경우, 수신단말로 절대적인 값과 상대적인 값을 분리하여 관리할 필요가 없기 때문에, 송신측에서 미리 프레임, 스트림의 양쪽 레벨의 경우에서도 절대적인 우선도의 값과 상대적인 우선도의 값을 송신 전에 계산하여 절대값만을 보내도 된다.
도 28c에서 절대적인 값의 우선도란 스트림 우선도와, 프레임 우선도의 관계로부터 구해지는 프레임간에서 일의적으로 결정되는 값이다. 상대적인 값의 우선도는 편집자나 기계적으로 부가된 화상 스트림이나 음성 스트림이 과부하시에 처리되는 (또는 처리되어야 할) 순서를 나타내는 값이다. 도 28c의 예에서는 영상, 음성의 각 스트림의 프레임 우선도(relative ; 상대값)와 스트림마다 스트림 우선도가 부가되어 있다.
절대적인 프레임 우선도(absolute ; 절대값)는 상대적인 프레임 우선도와, 스트림 우선도의 합으로부터 구해진다(즉 절대적인 프레임 우선도 = 상대적인 프레임 우선도 + 스트림 우선도). 또 이 산출방법은 감산하거나, 정수를 곱셈하는 방 법이라도 된다.
절대적인 프레임 우선도는 주로 네트워크에서 이용된다. 이것은 라우터나 게이트웨이라는 중계장치로, 스트림 우선도와 프레임 우선도를 가미하여 프레임마다의 우선도를 결정하는 필요가 절대값에 의한 표현에서는 불필요하게 되기 때문이다. 이 절대적인 프레임 우선도를 이용함으로써 중계장치에서의 프레임 폐기 등의 처리가 용이하게 된다.
한편 상대적인 프레임 우선도는 주로 기록, 편집을 행하는 축적계로의 응용이 기대된다. 편집작업에서는 복수의 영상, 음성 스트림을 동시에 취급하는 일이 있다. 그와 같은 경우에, 단말이나 네트워크의 부하에 의해 재생할 수 있는 영상스트림이나 프레임 수에는 한계가 생길 가능성이 있다.
그와 같은 경우에 스트림 우선도와, 프레임 우선도를 분리하여 관리해 두는 것 만으로, 예를 들면 편집자가 우선적으로 표시시키고 싶은, 혹은 사용자가 보고 싶은 스트림의 스트림 우선도를 변경하는 것 만으로 절대값을 표현하고 있을 때와는 달리, 프레임 우선도를 전부 다시 계산할 필요가 없다. 이와 같이 용도에 따라 절대적인 표현, 상대적인 표현을 적절히 사용할 필요가 있다.
또한 스트림 우선도의 값을 상대적인 값으로서 이용할 것인지, 절대적인 값으로서 이용할 것인지를 기술함으로써, 전송시에도 유효하며 축적하는 경우에도 유효한 우선도의 표현이 가능해진다.
도 28b의 예에서는 스트림 우선도에 부수하여 스트림 우선도가 표현하는 값이 절대값인지, 상대값인지를 표현하는 플래그나 식별자를 설치하여 구별한다. 프 레임 우선도의 경우는 통신 헤더에 상대적인 값이 기술되어 부호화된 프레임 내에 절대적인 값이 기술되기 때문에 플래그나 식별자는 불필요하다.
도 28c의 예에서는 프레임 우선도가 절대값인지 상대값인지를 식별하기 위한 플래그 혹은 식별자를 설치하고 있다. 절대값이라면 스트림 우선도와 상대적인 프레임 우선도로부터 산출되어 있는 우선도이므로 산출 처리를 중계장치나 단말에서 행하지 않는다. 또한 수신단말에서는 산출식이 단말간에서 이미 알고 있는 경우, 절대적인 프레임 우선도와 스트림 우선도로부터 상대적인 프레임 우선도를 역산하는 것이 가능하다. 예를 들면 전송하는 패킷의 절대적인 우선도(Access Unit Priority)를,
전송 패킷의 절대적 우선도 = 스트림 우선도 - 프레임 우선도,
라는 관계식으로부터 구해도 된다. 여기에서 프레임 우선도는 스트림 우선도를 감산하기 때문에 열후(degradation) 우선도라고 표현해도 된다.
또 1개 이상의 스트림 우선도를 TCP/IP의 논리채널(LAN의 포트번호)을 통과하는 데이터의 처리 우선도에 대응지어 데이터의 처리를 관리해도 된다.
덧붙여 화상이나 음성은 문자 또는 제어정보보다 낮은 스트림 우선도나 프레임 우선도를 할당함으로써 재송처리의 필요가 저감되는 것을 기대할 수 있다. 이것은 화상이나 음성은 일부분이 손실되어도 문제가 발생하지 않는 경우도 많기 때문이다.
도 29는 다중 해상도의 화상 데이터로 우선도를 할당하는 방법에 대하여 설명하는 도면이다.
1개의 스트림이 2개 이상의 복수의 서브스트림으로 구성되는 경우, 서브스트림에 스트림 우선도를 부가하고, 축적시 혹은 전송시에 논리합 혹은 논리곱을 기술함으로써 서브스트림의 처리방법을 정의하는 것이 가능하다.
웨이브릿(wavelet)의 경우, 1개의 영상 프레임을 복수의 다른 해상도의 영상 프레임으로 분해하는 것이 가능하다. 또한 DCT 베이스의 부호화방식으로도 고주파 성분과 저주파 성분으로 분할하여 부호화함으로써 다른 해상도의 영상 프레임으로의 분해는 가능하다.
분해된 일련의 영상 프레임으로 구성되는 복수개의 영상 스트림에 부가되는 스트림 우선도 외에 영상 스트림간의 관계를 기술하기 위해 AND(논리곱)와 OR(논리합)로 관계를 정의한다. 구체적인 사용방법은 스트림 A의 스트림 우선도가 5이고, 스트림 B의 스트림 우선도가 10인 경우(숫자가 적은 쪽이 우선도가 높음), 우선도에 의해 스트림 데이터의 폐기라면 스트림 B쪽은 폐기되지만 스트림간의 관계기술을 행함으로써, AND의 경우에는 스트림 B의 우선도가 임계값의 우선도보다 낮아도 폐기하지 않고 전송, 처리하도록 정의해 둔다.
이에 따라 관련이 있는 스트림은 폐기되지 않고 처리할 수 있게 된다. OR의 경우에는 반대로 폐기 가능하다고 정의한다. 지금까지와 마찬가지로 폐기처리는 송수신단말에서 행해도 되며, 중계단말에서 행해도 된다.
또 관계 기술을 위한 연산자로서, 같은 비디오 클립을 24Kbps와 48Kbps의 별개의 스트림으로 부호화한 경우, 어느쪽인지를 재생하면 좋다는 경우가 있다(관계 기술로서 배타적 논리합 EX-OR).
전자의 우선도를 10, 후자를 5로 하고 있는 경우, 사용자는 우선도에 기초하여 후자를 재생해도 되고, 우선도에 따르지 않고 사용자는 후자를 선택해도 된다.
도 30은 통신 페이로드의 구성방법에 대하여 설명하는 도면이다.
복수의 서브스트림으로 구성되는 경우, 서브스트림에 부가된 스트림 우선도에 따라, 예를 들면 우선도가 높은 순서로 송신패킷을 구성함으로써 송신 패킷 레벨에서의 폐기가 용이하게 된다. 또한 그레이딩을 세밀하게 하여 프레임 우선도가 높은 오브젝트끼리의 정보를 하나로 정리하여 통신 패킷을 구성해도 통신 패킷 레벨에서의 폐기가 용이하게 된다.
또 화상의 슬라이스 구조를 통신 패킷에 대응지음으로써 패킷이 누락되었을 때의 복귀가 용이하다. 요컨대, 동화상의 슬라이스 구조를 패킷의 구조에 대응지음으로써 재동기를 위한 리싱크 마커(re-sync marker)가 불필요하게 된다. 슬라이스 구조와 통신 패킷의 구조가 일치되어 있지 않으면 패킷 누락 등으로 정보가 손실된 경우, 재동기할 수 있도록 리싱크 마커(복귀하는 위치를 알리기 위한 표시)를 부가할 필요가 있다.
이것에 맞추어 우선도가 높은 통신 패킷에는 높은 에러 프로텍션을 거는 것이 고려된다. 또 화상의 슬라이스 구조란 GOB나 MB라는 종합된 화상정보의 단위를 가리킨다.
도 31은 데이터를 통신 페이로드로 대응짓는 방법에 대하여 설명하는 도면이다. 스트림이나 오브젝트를 통신 패킷으로 대응짓는 방법을 제어정보 혹은 데이터와 함께 전송함으로써 통신상황이나 용도에 따라 임의의 데이터 포맷이 생성된다. 예를 들면 RTP(Real time Transfer Protoco1)에서는 취급하는 부호화마다 RTP 의 페이로드가 정의되어 있다. 현행의 RTP 형식은 고정이다. H. 263의 경우, 도 31에 도시된 바와 같이, 모드 A로부터 모드 C의 3개의 데이터 형식이 정의되어 있다. H. 263에서는 다중해상도의 영상 포맷을 대상으로 한 통신 페이로드는 정의되어 있지 않다.
도 31의 예에서는 레이어 No.와 상술한 관계기술(AND, OR)을 모드 A의 데이터 포맷에 추가하여 정의하고 있다.
도 32는 프레임 우선도, 스트림 우선도와 통신 패킷 우선도와의 대응에 대하여 설명한 도면이다.
또 도 32는 전송로에서 통신 패킷에 부가되는 우선도를 통신 패킷 우선도로 하여 스트림 우선도나 프레임 우선도를 통신 패킷 우선도에 대응시키는 예이다.
통상 IP를 이용한 통신에서는 화상이나 음성 데이터에 부가된 프레임 우선도나 스트림 우선도를 하위의 IP 패킷의 우선도 패킷에 대응지어 데이터를 전송할 필요가 있다. 화상이나 음성 데이터는 분할되어 IP의 패킷으로 전송되기 때문에 우선도를 서로 대응지을 필요가 있다. 도면의 예에서는 스트림 우선도는 0부터 3까지의 값을 취하고, 프레임 우선도는 0부터 5까지의 값을 취하기 때문에 상위의 데이터에서는 0부터 15까지의 우선도를 취할 수 있다.
IPv6에서는 우선도(4비트) 중 0부터 7까지는 폭주 제어된(congestion- contro11ed) 트래픽을 위해 예약되어 있는, 우선도 중 8부터 15까지는 실시간 통신 트래픽 또는 폭주 제어되지 않은 트래픽을 위해 예약되어 있다. 우선도 15는 가장 우선도가 높고, 우선도 8이 가장 우선도가 낮다. 이것은 IP의 패킷 레벨에서의 우선도가 된다.
IP를 사용한 데이터의 전송에서는 상위의 0부터 15까지의 우선도를 하위의 IP의 우선도인 8부터 15까지의 우선도에 대응지을 필요가 있다. 대응지음은 상위 우선도의 일부를 클리핑하는 방식이라도 되고, 평가함수를 붙여 대응지어도 된다. 상위 데이터와 하위 IP의 우선도의 대응지음은 중계노드(라우터나 게이트웨이 등), 송수신 단말에서 관리를 행한다.
또 전송수단은 IP만으로 한정되는 것은 아니고, ATM이나 MPEG2의 TS(트랜스포트 스트림)과 같이 폐기가능한지 그렇지 않은지의 플래그를 가진 전송 패킷을 대상으로 해도 된다.
지금까지 설명한 프레임 우선도와 스트림 우선도는 전송 매체나 데이터 기록매체로 적용이 가능하다. 데이터 기록매체로서 플로피 디스크, 광디스크 등을 이용하여 행할 수 있다.
또 기록매체는 이것에 한정되지 않고, IC 카드, ROM 카세트 등, 프로그램을 기록할 수 있는 것이면 마찬가지로 실시할 수 있다. 또 데이터를 중계하는 라우터나 게이트웨이라는 화상 음성 중계장치를 대상으로 해도 된다.
덧붙여서 스트림 우선도(시계열 데이터간 우선도)나, 프레임 우선도(시계열 데이터내 우선도)의 정보에 기초하여 재송해야 할 시계열 데이터를 결정함으로써 우선적인 재송처리가 가능해진다. 예를 들면 우선도 정보에 기초하여 수신단말에서 디코드를 행하고 있는 경우, 처리의 대상외인 스트림이나 프레임의 재송을 방지 할 수 있다.
또한 현재의 처리대상으로 되어 있는 우선도와는 별도로 재송횟수와 송신 성공횟수의 관계로부터 재송해야 할 우선도의 스트림이나 프레임을 결정해도 된다.
한편 송신측 단말에서도 스트림 우선도(시계열 데이터간 우선도)나 프레임 우선도(시계열 데이터내 우선도)의 정보에 기초하여 송신해야 할 시계열 데이터를 결정함으로써 우선적인 송신처리가 가능해진다. 예를 들면, 평균 전송률이나, 재송횟수에 기초하여 송신해야 할 스트림이나 프레임 우선도를 결정함으로써 네트워크가 과부하일 때에도 적응적인 영상이나 음성의 전송이 가능하게 된다.
또 상기 실시예는 2차원의 화상합성만으로 한정된 것은 아니다. 2차원 화상과 3차원 화상을 조합시킨 표현형식이라도 되고, 광시야화상(파노라마 화상)과 같이 복수의 화상을 인접하도록 화상 합성하는 화상 합성방법을 포함해도 된다. 또 본 발명에서 대상으로 하고 있는 통신형태는 유선의 쌍방향 CATV나 B-ISDN뿐만은 아니다. 예를 들면 센터측 단말로부터 가정측 단말로의 영상이나 음성의 전송은 전파(예를 들면, VHF대, UHF대), 위성방송이고, 가정측 단말로부터 센터측 단말로의 정보 발신은 아날로그 전화회선이나 N-ISDN이라도 된다(영상, 음성, 데이터도 반드시 다중화되어 있을 필요는 없다). 또한 IrDA, PHS(personal handy phone)나 무선 LAN과 같은 무선을 이용한 통신형태라도 된다.
또한 대상으로 하는 단말은 휴대정보단말과 같이 휴대형 단말이라도 되고, 셋 톱 박스, 퍼스널 컴퓨터와 같이 탁상형 단말이라도 된다.
이상과 같이 본 발명에 의하면, 복수의 비디오 스트림이나 복수의 오디오 스 트림의 취급이나, 편집자의 의도를 반영시켜 중요한 장면을 중점적으로 오디오와 함께 동기 재생시키는 것이 용이하게 된다.
이하에 본 발명의 실시예를 도면을 참조하여 설명하기로 한다.
또 여기에서 설명하는 실시예는 주로 상술한 과제 (C1)∼(C3) 중 어느 것을 해결하는 것이다.
도 33은 제 1 실시예인 송신장치의 구성을 도시한 것이다.
2101은 화상 입력단자로서, 1장의 화상 사이즈는 예를 들면 세로 144화소, 가로 176화소이다. 2102는 동화상 부호화장치로서 4개의 구성요소(1021, 1022, 1023, 1024)로 이루어진다(Recommendation H. 261 참조).
1021은 입력된 화상을 매크로 블록(세로 16 화소, 가로 16 화소의 정방형 영역)으로 분할하여, 이 블록의 부호화를 인트라/인터 어느쪽으로 부호화할 것인지를 결정하는 전환기, 1022는 전회의 부호화 결과로부터 계산할 수 있는 로컬 디코드 화상을 기초로 모션 보상화상을 작성하고, 이것과 입력화상의 차분을 계산하여 결과를 매크로 블록단위로 출력하는 모션 보상수단으로서, 모션 보상에는 처리시간이 긴 하프 픽셀 모션 보상과 처리시간이 짧은 풀 픽셀 모션 보상이 있다. 1023은 각각의 매크로 블록에 대하여 DCT 변환을 실시하는 직교 변환수단, 1024는 이 DCT 변환결과 및 다른 부호화 정보에 대하여 엔트로피 부호화를 실시하기 위한 가변길이 부호화수단이다.
2103은 계수수단으로서, 동화상 부호화장치(2102)의 4개의 구성요소의 실행횟수를 계수하고, 입력화상마다 결과를 변환수단으로 출력한다. 이 때 모션 보상 수단(1022)으로부터는 하프 픽셀과 풀 픽셀의 2가지에 대하여 각각의 실행횟수를 계수한다.
2104는 변환수단으로서, 도 34에 도시된 바와 같은 데이터열을 출력한다. 2105는 송신수단으로서 동화상 부호화장치(2102)로부터의 가변길이 부호와, 변환수단(2104)으로부터의 데이터열을 다중화하여 1개의 데이터열로 하고, 데이터 출력단자(2109)에 출력하는 것이다.
이상의 구성에 의해 수신장치에 필수처리(전환기(1021), 직교 변환수단(1023), 가변길이 부호화수단(1024))와 비필수처리(모션 보상수단(1022))의 각 실행횟수를 전달할 수 있다.
다음으로 도 40은 제 2 실시예인 송신방법의 흐름도이다.
본 실시예에서의 동작이 제 1 실시예와 비슷하므로 대응하는 요소를 부기해 둔다. 801에서 화상을 입력하고 (화상 입력단자(2101), 802에서 화상을 매크로 블록으로 분할한다. 이후 807의 조건분기에 의해 모든 매크로 블록에 대한 처리를 완료할 때까지 803부터 806까지의 처리를 반복한다. 또 803부터 806까지의 처리 횟수를 특정한 변수에 기록할 수 있도록 각각의 처리를 실행한 경우에는 대응하는 변수를 1만큼 증분한다.
우선 803에서 처리대상의 매크로 블록을 인트라/인터 어느쪽으로 부호화할 것인지를 판정한다(전환기(1021)). 인터의 경우는 804에서 모션 보상을 행한다 (모션 보상수단(1022)). 그 후 805, 806에서 DCT 변환, 가변길이 부호화를 행한다(직교 변환수단(1023), 가변길이 부호화수단(1024)). 모든 매크로 블록에 대한 처 리를 완료하면(807에서 예(Yes)일 때), 808에서 각각의 처리에 대응하는 실행횟수를 나타내는 변수를 판독하여 도 2에 도시된 바와 같은 데이터열을 생성하고 이 데이터열과 부호를 다중화하여 출력한다. 이상의 801부터 808까지의 처리를 입력화상이 계속되는 한 반복 실행한다.
이상의 구성에 의해 각 처리의 실행횟수를 송신할 수 있다.
다음으로 도 35는 제 3 실시예인 수신장치의 구성을 도시한 것이다.
도 35에서 307은 제 1 실시예의 송신장치의 출력을 입력하기 위한 입력단자, 301은 제 1 실시예의 송신장치의 출력을 기초로 가변길이부호와 데이터열을 역다중화에 의해 인출하여 출력하는 수신수단으로서, 이 때 1장분의 데이터를 수신하는 데 소요되는 시간을 계측해 두고, 이것도 출력하는 것으로 한다.
303은 가변길이부호를 입력으로 하는 동화상의 복호화장치로서, 5개의 구성요소로 이루어진다. 3031은 가변길이부호로부터 DCT 계수 및 다른 부호화정보를 인출하기 위한 가변길이 복호화수단, 3032는 DCT 계수에 대하여 역DCT 변환처리를 실시하는 역직교 변환수단, 3033은 전환기로서 매크로 블록마다 인트라/인터 어느쪽으로 부호화되어 있는지의 부호화정보에 기초하여, 출력을 상하로 분류하는 동작을 한다. 3034는 모션 보상수단으로서 전회의 복호화상과 모션의 부호화정보를 이용하여 모션 보상화상을 작성하고, 이 화상에 역직교 변환수단(3032)의 출력을 가산하여 출력한다. 3035는 실행시간 계측수단으로서, 복호화장치(303)에 가변길이부호가 입력되고 나서 화상의 복호화 및 출력을 완료할 때까지의 실행시간을 계측하여 이것을 출력한다.
302는 수신수단(301)으로부터의 데이터열로부터 각 요소(가변길이 복호화수단(3031), 역직교 변환수단(3032), 전환기(3033), 모션 보상수단(3034))의 실행횟수와, 실행시간 계측수단(3035)으로부터 실행시간을 수취하여 각 요소의 실행시간을 추정하는 추정수단이다.
추정방법은, 예를 들면 선형회귀를 이용하면 추정 실행시간을 목적변수 y, 각 요소의 실행횟수를 설명변수 x_i로 하면 된다. 이 경우, 회귀 파라미터 a_i는 각 요소의 실행시간으로 간주될 것이다. 또 선형회귀의 경우, 과거의 데이터를 충분히 많이 축적해 둘 필요가 있어 메모리를 많이 소비하게 되지만, 이것을 싫어하는 경우에는 칼만 필터에 의한 내부상태 변수의 추정을 이용해도 된다. 이 경우, 관측값이 실행시간, 각 요소의 실행시간을 내부상태 변수로 하고, 관측행렬 C가 각 요소의 실행횟수로 단계별로 변화하는 경우라고 생각하면 된다. 304는 풀 픽셀 모션 보상의 실행횟수를 줄이고, 상당수만 하프 픽셀 모션 보상의 실행횟수를 늘리도록 각 요소의 실행횟수를 변경하는 횟수 삭감수단이다. 이 상당수의 계산방법은 다음과 같다.
우선 추정수단(302)으로부터 각 요소의 실행횟수와 추정 실행시간을 수취하여 실행시간을 예상한다. 이 시간이 수신수단(301)으로부터의 데이터를 수신하는 데 소요된 시간을 초과하는 경우에, 초과되지 않게 될 때까지 풀 픽셀 모션 보상의 실행횟수를 늘리고, 하프 픽셀 모션 보상의 실행횟수를 줄인다. 306은 복호화 화상의 출력단자이다.
또 모션 보상수단(3034)은 부호화정보로부터 하프 픽셀 모션 보상을 행하도 록 지시되어 있는 경우지만, 하프 픽셀 모션 보상의 소정 실행횟수를 초과한 경우에는 하프 픽셀의 모션을 라운딩하여 풀 픽셀의 모션으로서 풀 픽셀의 모션 보상을 실행한다.
이상에서 설명한 제 1 실시예, 제 3 실시예에 의하면, 추정된 각 요소의 실행시간으로부터 복호화처리의 실행시간을 예측하여 이것이 1장분의 데이터를 수신하는 데 소요되는 시간(지정시간)을 초과한다면 실행시간이 긴 하프 픽셀의 모션 보상을 풀 픽셀의 모션 보상으로 치환한다. 이에 따라 실행시간이 지정시간을 초과하지 않도록 할 수 있어 과제(C1)를 해결할 수 있다.
또 수신장치에서의 IDCT 계산에 있어서 고주파 성분을 사용하지 않도록 함으로써 IDCT 계산의 처리시간을 줄일 수 있다. 요컨대, IDCT 계산 중 저주파성분의 계산을 필수처리, 고주파성분의 계산을 비필수처리로 간주하고, IDCT 계산의 고주파성분의 계산횟수를 삭감하도록 해도 된다.
다음으로 도 41은 제 4 실시예인 수신방법의 흐름도이다.
본 실시예에서의 동작이 제 3 실시예와 비슷하므로 대응하는 요소를 부기해 둔다. 단계 901에서 각 요소의 실행시간을 표현하는 변수 a_i를 초기화한다(추정수단(302)). 902에서 다중화 데이터의 입력과, 이것에 소요되는 시간을 계측한다 (수신수단(301)). 903에서 이 다중화 데이터를 가변길이부호와 데이터열로 분리하여 출력한다(수신수단(301)). 904에서 데이터열(도 2)로부터 각 실행횟수를 인출하고, 이들을 x_i에 설정한다. 905에서 각 요소의 실행시간 a_i와 각 실행횟수 x_i로부터 실제의 실행횟수를 산출한다(횟수 삭감수단(304)). 906에서 복호화처리 의 실행시간의 계측을 개시하고, 907에서 후술하는 복호화처리 루틴을 기동하고, 그 후 908에서 복호화처리의 실행시간의 계측을 종료한다(동화상의 복호화장치(303), 실행시간 계측수단(3035)). 908에서는 908에서의 복호화처리의 실행시간과 905에서의 각 요소의 실제의 실행횟수로부터 각 요소의 실행시간을 추정하여 a_i를 갱신한다(추정수단(302)). 이상의 처리를 입력되는 다중화 데이터마다 실행한다.
또한 복호화처리 루틴(907)에서는 910에서 가변길이 복호화를 행하고(가변길이 복호화수단(3031)), 911에서 역직교변환을 행하고(역직교 변환수단(3032)), 912에서 910에서의 처리로 인출된 인트라/인터의 정보로 분기한다(전환기(3033)). 인터의 경우는 913에서 모션 보상을 실시한다(모션 보상수단(3034)). 이 913에서 하프 픽셀 모션 보상의 실행횟수를 계수해 두고, 이것이 905에서 구한 실제의 실행횟수를 초과한 경우에는 하프 픽셀 모션 보상을 풀 픽셀 모션 보상으로 치환하여 실행한다. 이상의 처리를 모든 매크로 블록에 대하여 완료한 후(단계 914), 이 루틴을 종료한다.
이상에서 설명한 제 2 실시예, 제 4 실시예에 의하면, 추정된 각 요소의 실행시간으로부터 복호화처리의 실행시간을 예측하고, 이것이 1장분의 데이터를 수신하는 데 소요되는 시간(지정시간)을 초과할 것 같으면 실행시간이 긴 하프 픽셀의 모션 보상을 풀 픽셀의 모션 보상으로 치환한다. 이에 따라 실행시간이 지정시간을 초과하지 않도록 할 수 있어 과제 (C1)을 해결할 수 있다.
다음으로 도 36은 제 5 실시예인 수신장치의 구성을 도시한 것이다.
본 실시예의 구성요소는 대부분 제 2 실시예에서 설명한 것과 동일하며, 2개 의 구성요소의 추가와, 1개의 구성요소의 수정뿐이므로 그 점을 설명하기로 한다.
402는 제 2 실시예에서 설명한 추정수단(302)에 추정의 결과 얻은 각 요소의 실행시간을 횟수 제한수단(304)으로 출력과는 별도로 출력하도록 수정한 것이다. 408은 송신수단으로서, 각 요소의 실행시간으로부터 도 37에 도시된 바와 같은 데이터열을 생성하여 이것을 출력하는 것이다. 실행시간은 마이크로초를 단위로 하여 16비트로 표현하면 최대 약 65밀리초를 표현할 수 있으므로 충분할 것이다. 409는 이 데이터열을 송신수단에 보내기 위한 출력단자이다.
또한 이 제 5 실시예에 대응하는 수신방법은 도 37에 도시된 바와 같은 데이터열을 생성하는 단계를 도 40의 808 직후에 추가한 것이면 된다.
다음으로 도 38은 제 6 실시예인 송신장치의 구성을 도시한 것이다.
본 실시예의 구성요소는 대부분 제 1 실시예에서 설명한 것과 동일하며, 2개의 구성요소를 추가했을 뿐이므로 그 점을 설명하기로 한다. 606은 제 3 실시예의 수신장치가 출력하는 데이터열을 수신하기 위한 입력단자, 607은 이 데이터열을 수신하여 각 요소의 실행시간을 출력하는 수신수단이다. 608은 각 요소의 실행횟수를 구하는 결정수단으로서 그 순서는 다음과 같다. 우선 화상 중의 모든 매크로 블록에 대하여 전환기(1021)에서의 처리를 행하고, 이 시점에서의 전환기(1021)의 실행횟수를 구한다. 또한 이 후의 모션 보상수단(1022), 직교 변환수단(1023), 가변길이 부호화수단(1024)에서의 실행횟수는 이 시점까지의 처리결과에 따라 일의적으로 결정할 수 있다. 따라서 이들 실행횟수와, 수신수단(607)으로부터의 실행시간을 이용하여 수신장치측에서의 복호화에 소요되는 실행시간을 예측한다. 이 예 측 복호화 시간은 각 요소의 실행시간과 실행횟수의 곱의, 요소마다의 총합으로서 구해진다. 그리고 예측 복호와 시간이 미분 제어기 등이 지정한 금회의 화상에서 발생해야 할 부호량(예를 들면 16kbits)의 전송에 소요되는 시간(예를 들면, 전송속도가 64kbit/sec라면 25Omsec) 이상이면 복호화시간이 전송에 소요되는 시간을 초과하지 않도록 풀 픽셀 모션 보상의 실행횟수를 늘리고, 하프 픽셀 모션 보상의 실행횟수를 줄인다(풀 픽셀 모션 보상 쪽이 실행시간이 짧으므로 이 횟수를 줄임으로써 실행시간을 작게 할 수 있음).
또 동화상의 부호화장치(2102)는 결정수단(608)이 지정한 실행횟수에 기초하여 각 처리를 행한다. 예를 들면 모션 보상기(1022)는 지정된 하프 픽셀의 모션 보상 실행횟수만큼 하프 픽셀 모션 보상을 실행 완료되면, 그 후는 풀 픽셀의 모션 보상만을 실행하게 된다.
또한 하프 픽셀의 모션 보상이, 화상 중에 일정하게 흩어지도록 선택방법을 연구해도 된다. 예를 들면 우선 하프 픽셀의 모션 보상을 필요로 하는 매크로블록을 전부 구하여 이 수(예를 들면 12)를 하프 픽셀의 모션 보상 실행횟수(예를 들면 4)로 나눈 몫(3)을 구하고, 하프 픽셀의 모션 보상을 필요로 하는 매크로블록의 처음부터의 순서가 이 몫으로 나누어 떨어지는 것(0, 3, 6, 9)만으로 하프 픽셀의 모션 보상을 실시하는 방법이라도 된다.
이상에서 설명한 제 5 실시예, 제 6 실시예에 의하면 추정된 각 요소의 실행시간을 송신측에 전송하고, 송신측에서 복호화처리의 실행시간을 예측하여 이것이 1장분의 데이터를 수신하는 데 소요될 듯한 시간(지정시간)을 초과하지 않도록 실 행시간이 긴 하프 픽셀의 모션 보상을 풀 픽셀의 모션 보상으로 치환한다. 이에 따라 보내진 부호화 정보 중 하프 픽셀 모션 보상의 정보가 버려지는 일 없이, 실행시간이 지정시간을 초과하지 않도록 할 수 있어 과제(C2)를 해결할 수 있다.
또 비필수처리에서 인터 매크로블록 부호화를 보통의 모션 보상, 8 ㅧ 8모션 보상, 오버랩 모션 보상의 3가지로 분할해도 된다.
다음으로 도 42는 제 7 실시예인 송신방법의 흐름도이다.
본 실시예에서의 동작이 제 6 실시예와 비슷하므로 대응하는 요소를 부기해 둔다. 1001에서 각 처리의 실행시간의 초기값을 설정한다. 801에서 화상을 입력하고(입력단자(2101)), 화상을 매크로블록으로 분할한다. 1002에서 모든 매크로블록에 대하여 인트라/인터 어느쪽으로 부호화할 것인지를 판정한다(전환기(1021)). 이 결과, 1005부터 806까지의 각 처리의 실행횟수를 알 수 있으므로, 1003에서는 이 실행횟수와 각 처리의 실행시간으로부터 실제의 실행횟수를 산출한다(결정수단(608)).
이후 807의 조건분기에 의해 모든 매크로블록에 대한 처리를 완료할 때까지 1005부터 806까지의 처리를 반복한다.
또 1005부터 806까지의 처리횟수를 특정한 변수로 기록할 수 있도록 각각의 처리를 실행한 경우에는 대응하는 변수를 1만큼 증분한다. 우선 1005에서, 1002에서의 판정결과에 기초하여 분기한다(전환기(1021). 인터의 경우는 804에서 모션 보상을 행한다(모션 보상수단(1022)). 여기에서 하프 픽셀 모션 보상의 횟수를 계수해 두고, 이것이 1003에서 구한 실제의 실행횟수를 초과한 경우에는 하프 픽셀 모션 보상을 실행하지 않고 대신에 풀 픽셀 모션 보상을 실행한다. 그 후 805, 806에서 DCT 변환, 가변길이 부호화를 행한다(직교 변환수단(1023), 가변길이 부호화수단(1024). 모든 매크로블록에 대한 처리를 완료하면(807에서 예일 때), 808에서 각각의 처리에 대응하는 실행횟수를 나타내는 변수를 판독하여 도 2에 도시된 바와 같은 데이터열을 생성하고, 이 데이터열과 부호를 다중화하여 출력한다. 1004에서는 데이터열을 수신하고, 앞으로의 각 처리의 실행시간을 인출하여 설정한다.
이상 801부터 1004까지의 처리를 입력화상이 계속되는 한 반복 실행한다.
이상에서 설명한 제 5 실시예의 설명부분의 마지막의 「또한」으로 시작되는 패러그래프와, 제 7 실시예에 의하면, 추정된 각 요소의 실행시간을 송신측으로 전송하고, 송신측에서 복호화처리의 실행시간을 예측하여 이것이 1매분의 데이터를 수신하는 데 소요될 것 같은 시간(지정시간)을 초과하지 않도록 실행시간이 긴 하프 픽셀의 모션 보상을 풀 픽셀의 모션 보상으로 치환한다. 이에 따라 보내진 부호화정보 중 하프 픽셀 모션 보상의 정보가 버려지는 일 없이 실행시간이 지정시간을 초과하지 않도록 할 수 있어 과제 (C2)를 해결할 수 있다.
다음으로 도 39는 제 8 실시예인 송신장치의 구성을 도시한 것이다.
본 실시예의 구성요소는 대부분 제 1 실시예에서 설명한 것과 동일하며, 4개의 구성요소를 추가했을 뿐이므로 그 점을 설명하기로 한다.
7010은 실행시간 계측수단으로서, 부호화장치(2102)에 화상이 입력되고 나서 화상의 부호화 및 부호의 출력을 완료하기까지의 실행시간을 계측하여 이것을 출력 한다. 706은 계수수단(2103)으로부터의 데이터열로부터의 각 요소(전환기(1021), 모션 보상수단(1022), 직교 변환수단(1023), 가변길이 복호화수단(1024))의 실행횟수와, 실행시간 계측수단(7010)으로부터의 실행시간을 수취하여 각 요소의 실행시간을 추정하는 추정수단이다. 추정방법은 제 2 실시예의 추정수단(302)에서 설명한 것과 같으면 된다. 707은 사용자로부터의 프레임 레이트값을 입력하기 위한 입력단자, 708은 각 요소의 실행횟수를 구하는 결정수단으로서, 그 순서는 다음과 같다.
우선 화상 중의 모든 매크로블록에 대하여 전환기(1021)에서의 처리를 행하고, 이 시점에서의 전환기(1021)의 실행횟수를 구한다. 또한 이 후의 모션 보상수단(1022), 직교 변환수단(1023), 가변길이 부호화수단(1024)에서의 실행횟수는 이 시점까지의 처리결과에 따라 일의적으로 결정할 수 있다. 다음으로 이 실행횟수와 추정수단(706)으로부터의 각 요소의 추정 실행시간과의 곱의, 요소마다의 총합을 구하여 예측부호화 시간을 산출한다. 그리고 예측부호화 시간이 707로부터의 프레임 레이트의 역수로부터 구해지는 1장의 화상의 부호화에 사용가능한 시간 이상이라면 풀 픽셀 모션 보상의 실행횟수를 늘리고, 하프 픽셀 모션 보상의 실행횟수를 줄인다.
이 증감처리와 예측부호화 시간의 산출을 예측부호화 시간이 사용가능한 시간 이하가 될 때까지 반복함으로써 각각의 실행횟수를 결정한다.
또 동화상의 부호화장치(2102)는 결정수단(608)이 지정한 실행횟수에 기초하여 각 처리를 행한다. 예를 들면 모션 보상기(1022)는 지정된 하프 픽셀의 모션 보상 실행횟수분만 실행하고, 하프 픽셀 모션 보상을 실행완료하면 그 후에는 풀 픽셀의 모션 보상만을 실행하게 된다.
또한 하프 픽셀의 모션 보상이 화상 중에 일정하게 흩어지도록 선택방법을 연구해도 된다. 예를 들면 우선 하프 픽셀의 모션 보상을 필요로 하는 매크로블록을 전부 구하여, 이 수(예를 들면 12)를 하프 픽셀의 모션 보상 실행횟수(예를 들면 4)로 나눈 몫(3)을 구하고, 하프 픽셀의 모션 보상을 필요로 하는 매크로블록의 처음부터의 순서가 이 몫으로 나누어 떨어지는 것(0, 3, 6, 9)만으로 하프 픽셀의 모션 보상을 실시하는 방법이라도 된다.
이상 나타낸 제 8 실시예에 의하면, 각 처리의 실행시간을 추정하여 이 추정 실행시간에 기초하여 부호화에 소요되는 실행시간을 미리 예측하고, 이 예측부호화 시간이 프레임 레이트로부터 결정되는 화상의 부호화에 사용가능한 시간 이하가 되도록 실행횟수를 결정함으로써 과제 (C3)을 해결할 수 있다.
또 모션 보상수단(1022)에서는 모션 벡터를 검출하기 위해 좌우상하 15화소 범위의 벡터 중 가장 SAD (화소별 차의 절대값의 합)를 작게 하는 것을 검출하는 풀 서치 모션 벡터 검출방법이 존재하지만, 이외에 3단계 모션 벡터 검출방법이라는 것도 있다(H. 261의 annex.에 기술되어 있다). 이것은 상기 탐색범위에서 균등한 배치관계의 9점을 선택하고 이것의 SAD 최소의 점을 선택한다. 다음으로 이 점 근방의 좁힌 범위에서 다시 9점을 선택하고 SAD 최소의 점을 선택한다. 이러한 처리를 또 한번 실행하는 것이 3단계 모션 벡터 검출방법이다.
이들 2가지 방법을 비필수 처리방법으로 간주하고, 실행시간을 각각 추정하 고, 추정 실행시간에 기초하여 부호화에 소요되는 실행시간을 예측하고, 이 예측 실행 시간이 사용자 지정시간 이하가 되도록 적절히 풀 서치 모션 벡터 검출방법의 실행횟수를 줄이고, 대신에 3단계 모션벡터 검출방법의 실행횟수를 늘리도록 해도 된다.
또 3단계 모션 벡터 검출방법 이외에 더욱 처리를 간략화한 고정탐색 횟수에 의한 모션 벡터 검출방법이나, (0. 0) 모션 벡터만을 결과로서 되돌리는 모션 벡터 검출방법을 병용해도 된다.
다음으로 도 43은 제 9 실시예인 송신방법의 흐름도이다.
본 실시예에서의 동작이 제 8 실시예와 비슷하므로 대응하는 요소를 부기해 둔다. 각 흐름도에서의 상세한 동작은 대응하는 요소의 설명을 참조할 것. 또 제 2 실시예와 거의 동일하므로 다른 점만을 설명한다.
1101에서 각 처리의 실행시간의 초기값을 변수 a_i에 설정한다. 또한 1102에서 프레임 레이트를 입력한다(입력단자(707)). 1103은 1102에서의 프레임 레이트, 각 처리의 실행시간 a_i, 1002에서의 인트라/인터 판정결과로부터 구해지는 각 처리의 실행횟수로부터 실제의 실행횟수를 결정한다(결정수단(708)). 1105, 1106은 부호화처리의 실행시간을 계측하기 위한 것이다. 1104는 1106에서의 실행시간과 각 처리의 실제 실행횟수로부터 각 처리의 실행시간을 추정하여 변수 a_i를 갱신한다(추정수단(706)).
이상 나타낸 제 9 실시예에 의하면, 각 처리의 실행시간을 추정하고, 이 추정실행 시간에 기초하여 부호화에 소요되는 실행시간을 미리 예측하고, 이 예측부 호화 시간이 프레임 레이트로부터 결정되는 화상의 부호화에 사용 가능한 시간 이하가 되도록 실행횟수를 결정함으로써 과제 (C3)을 해결할 수 있다.
또 제 2 실시예에서 808에서의 데이터열 생성시에 도 2에 도시된 스타트 코드의 직후에 2바이트의 영역을 추가하고, 여기에 부호의 길이의 2진표현을 추가해도 된다.
또 제 4 실시예에서 902에서의 다중화 데이터의 입력시에 이 2바이트의 영역으로부터 부호의 길이를 추출하고, 이 부호길이와 부호의 전송속도로부터 구해지는 부호의 전송시간을 905에서의 실행횟수 계산에 이용하도록 해도 된다(부호의 전송 시간을 넘지 않도록 하프 픽셀 모션 보상의 실행횟수를 줄임).
또 제 1 실시예에서 2104에서의 데이터열 생성시에 도 2에 도시된 스타트 코드의 직후에 2바이트의 영역을 추가하고, 여기에 부호 길이의 2진표현을 추가해도 된다.
또 제 3 실시예에서 301에서의 다중화 데이터의 입력시에 이 2바이트의 영역으로부터 부호의 길이를 추출하고, 이 부호길이와 부호의 전송속도로부터 구해지는 부호의 전송 시간을 304에서의 실행횟수 계산에 이용하도록 해도 된다(부호의 전송 시간을 초과하지 않도록 하프 픽셀 모션 보상의 실행횟수를 줄임).
또 제 4 실시예에서 909 직후에 하프 픽셀 모션 보상의 실제 실행횟수를 기록하여 이것의 최대값을 산출한다. 그리고 이 최대값이 충분히 작은 값(예를 들면, 2나 3) 이하인 경우에는 하프 픽셀 모션 보상을 사용하지 않는 것을 나타내는 데이터열(특정한 비트 패턴으로 이루어지는 데이터열)을 생성하여 이것을 송신해도 된다. 또한 제 2 실시예에서 808 직후에서 이 데이터열의 수신유무를 확인하고, 하프 픽셀 모션 보상을 사용하지 않는 것을 나타내는 데이터열을 수신한 경우에는 808에서 모션 보상의 처리를 항상 풀 픽셀 모션 보상으로 하도록 해도 된다.
또한 모션 보상 이외에도 이 생각을 적용할 수 있다. 예를 들면 DCT 계산에서 고주파성분을 사용하지 않도록 함으로써 DCT 계산의 처리시간을 줄일 수 있다. 요컨대, 수신방법에서 IDCT 계산의 실행시간의 전체 실행시간에 차지하는 비율이 일정값을 초과하는 경우에는 그 취지를 나타내는 데이터열을 송신측으로 전송한다. 송신측에서는 이 데이터열을 수신한 경우에는 DCT 계산에서 저주파 성분만을 계산하고, 고주파성분은 전부 0으로 해도 된다.
또한 여기에서는 화상을 이용하여 실시예를 설명하였지만, 화상 이외의 음성 등에 상기의 각 방법을 적용해도 된다.
또한 제 3 실시예에서, 3034에서 하프 픽셀 모션 보상의 실제 실행횟수를 기록하고, 이것의 최대값을 산출한다. 그리고 이 최대값이 충분히 작은 값(예를 들면, 2나 3) 이하인 경우에는 하프 픽셀 모션 보상을 사용하지 않은 것을 나타내는 데이터열(특정의 비트 패턴으로 이루어지는 데이터열)을 생성하여 이것을 송신해도 된다. 또한 제 1 실시예에서 하프 픽셀 모션 보상을 사용하지 않는 것을 나타내는 데이터열을 수신한 경우에는 1022에서의 모션 보상의 처리를 항상 풀 픽셀 모션 보상으로 하도록 해도 된다.
또한 모션 보상 이외에도 이 생각을 적용할 수 있다. 예를 들면 DCT 계산에서 고주파성분을 사용하지 않도록 함으로써 DCT 계산의 처리시간을 줄일 수 있다. 요컨대 수신방법으로써 IDCT 계산의 실행시간의 전체 실행시간에 차지하는 비율이 일정값을 초과하는 경우에는 그 취지를 나타내는 데이터열을 송신측으로 전송한다.
송신측에서는 이 데이터열을 수신한 경우에는 DCT 계산에서 저주파 성분만을 계산하고, 고주파성분은 전부 0으로 해도 된다.
또한 여기에서는 화상을 이용하여 실시예를 설명하였지만, 화상 이외의 음성 등에 상기 방법을 적용해도 된다.
이상 설명한 것에서 명백한 바와 같이, 예를 들면 제 1 실시예, 제 3 실시예에 의하면 추정된 각 요소의 실행시간으로부터 복호화처리의 실행시간을 예측하고, 이것이 1장분의 데이터를 수신하는 데 소요된 시간(지정시간)을 초과할 것 같으면 실행시간이 긴 하프 픽셀의 모션 보상을 풀 픽셀의 모션 보상으로 치환한다. 이에 따라 실행시간이 지정시간을 초과하지 않도록 할 수 있어 과제 (C1)을 해결할 수 있다.
또한 예를 들면 제 5 실시예, 제 7 실시예에 의하면, 추정된 각 요소의 실행시간을 송신측으로 전송하고, 송신측에서 복호화처리의 실행시간을 예측하여 이것이 1장분의 데이터를 수신하는 데 소요될 것 같은 시간(지정시간)을 초과하지 않도록 실행시간이 긴 하프 픽셀의 모션 보상을 풀 픽셀의 모션 보상으로 치환한다. 이에 따라 보내진 부호화 정보 중 하프 픽셀 모션 보상의 정보가 버려지는 일이 없고, 실행시간이 지정시간을 초과하지 않도록 할 수 있어 과제 (C2)를 해결할 수 있다.
또한 예를 들면 제 9 실시예에 의하면, 각 처리의 실행시간을 추정하고, 이 추정 실행시간에 기초하여 부호화에 소요되는 실행시간을 미리 예측하여 이 예측부호화 시간이 프레임 레이트로부터 결정되는 화상의 부호화에 사용 가능한 시간 이하가 되도록 실행횟수를 결정함으로써 과제 (C3)을 해결할 수 있다.
이와 같이 본 발명에 의해 계산부하가 증대해도 유연하게 품질을 떨어뜨리는 기능(CGD : Computational Graceful Degradation)을 실현할 수 있어 실시에 따르는 이익은 대단히 크다.
또 이상 설명한 실시예의 어느 하나에 기재된 각 단계(또는 각 수단)의 전부 또는 일부의 단계(또는 각 수단의 동작)를 컴퓨터에 실행시키기 위한 프로그램을 기록한 자기기록 매체나, 광기록 매체 등의 기록 매체를 작성하여 그 기록 매체를 이용하여 컴퓨터에 의해 상기와 같은 동작을 행해도 된다.
이상 설명한 바와 같이, 본 발명에 의하면 예를 들어 송신단말과 수신단말에서 사용하는 데이터 관리정보, 전송 관리정보, 제어정보의 각 정보의 구조를 동적으로 결정함으로써 상황에 따른 정보 구조의 변경이 가능하게 되어, 용도나 전송로에 따른 변경을 할 수 있다. 또 복수의 비디오 스트림이나 복수의 오디오 스트림의 취급이나, 편집자의 의도를 반영시켜 중요한 장면 컷을 중점적으로 오디오와 함께 동기 재생시키는 것이 용이하게 된다. 또 추정된 각 요소의 실행시간으로부터 복호화처리의 실행시간을 예측하고, 이것이 1장분의 데이터를 수신하는 데 소요된 시간(지정시간)을 초과할 것 같으면 실행시간이 긴 하프 픽셀의 모션 보상을 풀 픽셀의 모션 보상으로 치환함으로써 실행시간이 지정시간을 초과하지 않도록 할 수 있다.

Claims (18)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 부호화 된 동화상 또는 음성의 시계열 데이터의 정보를 전송하는 실제의 전송 레이트가 목표 전송 레이트를 초과하는 경우,
    상기 부호화된 정보에 부가되어 있는, 상기 시계열 데이터 간의 처리의 우선도를 나타내는 시계열 데이터 간 우선도와 상기 동화상의 시계열 데이터를 구성하는 프레임 간의 처리의 우선도를 나타내는 시계열 데이터 내 우선도를 이용하여, 실제의 전송 레이트가 목표 전송 레이트 이하가 되도록, 시계열 데이터를 전송하는 전송수단에 송신하는 상기 정보 중 우선도가 낮은 정보를 파기하는 단계와,
    상기 파기에 의해서 정선된 정보를 송신하는 단계를 포함하는 것을 특징으로 하는 데이터 처리방법.
  8. 부호화 된 동화상 또는 음성의 시계열 데이터의 정보를 전송하는 실제의 전송 레이트가 목표 전송 레이트를 초과하는 경우,
    상기 부호화된 정보에 부가되어 있는, 상기 시계열 데이터 간의 처리의 우선도를 나타내는 시계열 데이터 간 우선도와 상기 동화상의 시계열 데이터를 구성하는 프레임 간의 처리의 우선도를 나타내는 시계열 데이터 내 우선도를 이용하여, 실제의 전송 레이트가 목표 전송 레이트 이하가 되도록, 시계열 데이터를 전송하는 전송수단에 송신하는 상기 정보 중 우선도가 낮은 정보를 파기하는 수단과,
    상기 파기에 의해서 정선된 정보를 송신하는 수단을 갖는 것을 특징으로 하는 데이터 처리장치.
  9. 동화상 또는 음성의 시계열 데이터와, 상기 시계열 데이터 간의 처리의 우선도를 나타내는 시계열 데이터 간 우선도와 상기 동화상의 시계열 데이터를 구성하는 프레임 간의 처리의 우선도를 나타내는 시계열 데이터 내 우선도를 쌍으로 하여 입력하는 단계와,
    (1) 상기 시계열 데이터의 정보가 손상된 경우는, 상기 시계열 데이터 내 우선도와 상기 시계열 데이터 간 우선도를 이용하여, 그 손상된 데이터의 재송을 요구하기 위해 재송요구 처리를 행하고, 또, (2) 상기 시계열 데이터가 연속적으로 또는 높은 빈도로 상실된 경우는, 상기 시계열 데이터 내 우선도와 상기 시계열 데이터 간 우선도를 이용하여, 처리 우선도가 높은 데이터에 대해서만 상기 재송요구 처리를 행하는 단계를 포함하는 것을 특징으로 하는 데이터 처리방법.
  10. 동화상 또는 음성의 시계열 데이터와, 상기 시계열 데이터 간의 처리의 우선도를 나타내는 시계열 데이터 간 우선도와 상기 동화상의 시계열 데이터를 구성하는 프레임 간의 처리의 우선도를 나타내는 시계열 데이터 내 우선도를 쌍으로 하여 입력하는 수단과,
    (1) 상기 시계열 데이터의 정보가 손상된 경우는, 상기 시계열 데이터 내 우선도와 상기 시계열 데이터 간 우선도를 이용하여, 그 손상된 데이터의 재송을 요구하기 위해 재송요구 처리를 행하고, 또, (2) 상기 시계열 데이터가 연속적으로 또는 높은 빈도로 상실된 경우는, 상기 시계열 데이터 내 우선도와 상기 시계열 데이터 간 우선도를 이용하여, 처리 우선도가 높은 데이터에 대해서만 상기 재송요구 처리를 행하는 수단을 갖는 것을 특징으로 하는 데이터 처리장치.
  11. 동화상 또는 음성의 시계열 데이터와, 상기 시계열 데이터 간의 처리의 우선도를 나타내는 시계열 데이터 간 우선도와 상기 동화상의 시계열 데이터를 구성하는 프레임 간의 처리의 우선도를 나타내는 시계열 데이터 내 우선도를 합하여 출력하는 단계와,
    상기 시계열 데이터의 전송량에 따라서, 상기 시계열 데이터 내 우선도와 상기 시계열 데이터 간 우선도에 기초하여 구한 처리 우선도가 높은 데이터를 우선하여 전송하는 단계를 포함하는 것을 특징으로 하는 데이터 처리방법.
  12. 동화상 또는 음성의 시계열 데이터와, 상기 시계열 데이터 간의 처리의 우선도를 나타내는 시계열 데이터 간 우선도와 상기 동화상의 시계열 데이터를 구성하는 프레임 간의 처리의 우선도를 나타내는 시계열 데이터 내 우선도를 합하여 출력하는 수단과,
    상기 시계열 데이터의 전송량에 따라서, 상기 시계열 데이터 내 우선도와 상기 시계열 데이터 간 우선도에 기초하여 구한 처리 우선도가 높은 데이터를 우선하여 전송하는 수단을 갖는 것을 특징으로 하는 데이터 처리장치.
  13. 동화상 또는 음성의 시계열 데이터의 부호화 처리를 행하는 부호화 처리수단에 설치된 우선도 부가부에 의해 상기 시계열 데이터의 처리 우선도를 부가함과 동시에, 부호화 된 동화상 또는 음성의 시계열 데이터의 정보에 부가되어 있는 복호화 되어야 할 혹은 출력되어야 할 시기와 전송처리 개시로부터의 경과시간을 비교한 결과, 송신 버퍼로의 부호화 된 정보의 기입이 지연되고 있다고 판정한 경우,
    상기 부호화 된 정보에 부가되어야 할, 상기 시계열 데이터 간의 처리의 우선도를 나타내는 시계열 데이터 간 우선도와 상기 동화상의 시계열 데이터를 구성하는 프레임 간의 처리의 우선도를 나타내는 시계열 데이터 내 우선도를 이용하여, 상기 부호화 처리수단에 송신하는 정보 중 우선도가 낮은 정보를 파기하는 단계와,
    상기 상기 파기에 의해서 정선된 정보를 송신하는 단계를 포함하는 것을 특징으로 하는 데이터 처리방법.
  14. 동화상 또는 음성의 시계열 데이터의 부호화 처리를 행하는 부호화 처리수단에 설치된 우선도 부가부에 의해 상기 시계열 데이터의 처리 우선도를 부가함과 동시에, 부호화 된 동화상 또는 음성의 시계열 데이터의 정보에 부가되어 있는 복호화 되어야 할 혹은 출력되어야 할 시기와 전송처리 개시로부터의 경과시간을 비교한 결과, 송신 버퍼로의 부호화 된 정보의 기입이 지연되고 있다고 판정한 경우,
    상기 부호화 된 정보에 부가되어야 할, 상기 시계열 데이터 간의 처리의 우선도를 나타내는 시계열 데이터 간 우선도와 상기 동화상의 시계열 데이터를 구성하는 프레임 간의 처리의 우선도를 나타내는 시계열 데이터 내 우선도를 이용하여, 상기 부호화 처리수단에 송신하는 정보 중 우선도가 낮은 정보를 파기하는 수단과,
    상기 파기에 의해서 정선된 정보를 송신하는 수단을 갖는 것을 특징으로 하는 데이터 처리장치.
  15. 부호화 된 음성 또는 I 프레임을 포함하는 동화상의 시계열 데이터의 정보를 전송하는 실제의 전송 레이트가 목표 전송 레이트를 초과하는 경우,
    상기 부호화된 정보에 부가되어 있는, 상기 시계열 데이터 간의 처리의 우선도를 나타내는 시계열 데이터 간 우선도와 상기 동화상의 시계열 데이터를 구성하는 I 프레임 간의 처리의 우선도를 나타내는 시계열 데이터 내 우선도를 이용하여, 실제의 전송 레이트가 목표 전송 레이트 이하가 되도록, 시계열 데이터를 전송하는 전송수단에 송신하는 상기 정보 중 우선도가 낮은 정보를 파기하는 단계와,
    상기 파기에 의해서 정선된 정보를 송신하는 단계를 포함하는 것을 특징으로 하는 데이터 처리방법.
  16. 동화상 또는 음성의 시계열 데이터의 부호화 처리를 행하는 부호화 처리수단에 설치된 우선도 부가부에 의해 상기 시계열 데이터의 처리 우선도를 부가함과 동시에, 부호화 된 동화상 또는 음성의 시계열 데이터의 정보에 부가되어 있는 복호화 되어야 할 혹은 출력되어야 할 시기와 전송처리 개시로부터의 경과시간을 비교한 결과, 송신 버퍼로의 부호화 된 정보의 기입이 지연되고 있다고 판정한 경우,
    상기 부호화 된 정보에 부가되어야 할, 상기 시계열 데이터 간의 처리의 우선도를 나타내는 시계열 데이터 간 우선도와 상기 동화상의 시계열 데이터를 구성하는 I 프레임 간의 처리의 우선도를 나타내는 시계열 데이터 내 우선도를 이용하여, 상기 부호화 처리수단에 송신하는 정보 중 우선도가 낮은 정보를 파기하는 단계와,
    상기 파기에 의해서 정선된 정보를 송신하는 단계를 포함하는 것을 특징으로 하는 데이터 처리방법.
  17. 음성 또는 I 프레임을 포함하는 동화상의 시계열 데이터와, 상기 시계열 데이터 간의 처리의 우선도를 나타내는 시계열 데이터 간 우선도와 상기 동화상의 시게열 데이터를 구성하는 I 프레임 간의 처리의 우선도를 나타내는 시계열 데이터 내 우선도를 쌍으로 하여 입력하는 단계와,
    (1) 상기 시계열 데이터의 정보가 손상된 경우는, 상기 시계열 데이터 내 우선도와 상기 시계열 데이터 간 우선도를 이용하여, 그 손상된 데이터의 재송을 요구하기 위해 재송요구 처리를 행하고, 또, (2) 상기 시계열 데이터가 연속적으로 또는 높은 빈도로 상실된 경우는, 상기 시계열 데이터 내 우선도와 상기 시계열 데이터 간 우선도를 이용하여, 처리 우선도가 높은 데이터에 대해서만 상기 재송요구 처리를 행하는 단계를 포함하는 것을 특징으로 하는 데이터 처리방법.
  18. 음성 또는 I 프레임을 포함하는 동화상의 시계열 데이터와, 상기 시계열 데이터 간의 처리의 우선도를 나타내는 시계열 데이터 간 우선도와 상기 동화상의 시계열 데이터를 구성하는 I 프레임 간의 처리의 우선도를 나타내는 시계열 데이터 내 우선도를 합하여 출력하는 단계와,
    상기 시계열 데이터의 전송량에 따라서, 상기 시계열 데이터 내 우선도와 상기 시계열 데이터 간 우선도에 기초하여 구한 처리 우선도가 높은 데이터를 우선하여 전송하는 단계를 포함하는 것을 특징으로 하는 데이터 처리방법.
KR1020057003554A 1997-03-17 1998-03-13 데이터 처리방법 및 데이터 처리장치 KR100557103B1 (ko)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
JPJP-P-1997-00062667 1997-03-17
JP6266797 1997-03-17
JP9064097 1997-04-09
JPJP-P-1997-00090640 1997-04-09
JPJP-P-1997-00179342 1997-07-04
JP17934297 1997-07-04
JPJP-P-1997-00226027 1997-08-22
JP22602797 1997-08-22
JP22604597 1997-08-22
JPJP-P-1997-00226045 1997-08-22
JPJP-P-1997-00332101 1997-12-02
JP33210197 1997-12-02
KR1019980709277A KR100530919B1 (ko) 1997-03-17 1998-03-13 동화상 데이터의 처리 및 송수신 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1019980709277A Division KR100530919B1 (ko) 1997-03-17 1998-03-13 동화상 데이터의 처리 및 송수신 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20050052483A KR20050052483A (ko) 2005-06-02
KR100557103B1 true KR100557103B1 (ko) 2006-03-03

Family

ID=27550897

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020057003555A KR20050052484A (ko) 1997-03-17 1998-03-13 데이터 처리방법
KR1020057003554A KR100557103B1 (ko) 1997-03-17 1998-03-13 데이터 처리방법 및 데이터 처리장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020057003555A KR20050052484A (ko) 1997-03-17 1998-03-13 데이터 처리방법

Country Status (5)

Country Link
US (5) US6674477B1 (ko)
EP (4) EP1439705A3 (ko)
KR (2) KR20050052484A (ko)
CN (3) CN100525443C (ko)
WO (1) WO1998042132A1 (ko)

Families Citing this family (148)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100513907B1 (ko) * 1997-06-13 2005-09-13 코닌클리케 필립스 일렉트로닉스 엔.브이. 복수의 상호 관련된 오브젝트들의 주기적 전송방법
EP0986267A3 (de) * 1998-09-07 2003-11-19 Robert Bosch Gmbh Verfahren zur Einbindung von audiovisueller codierter Information in einen vorgegebenen Übertragungsstandard sowie Endgeräte hierzu
DE69938094T2 (de) 1998-11-30 2009-02-05 Matsushita Electric Industries Co. Ltd., Kadoma Paketwiederübertragungskontrolle mit Prioritätsinformationen
US11109114B2 (en) * 2001-04-18 2021-08-31 Grass Valley Canada Advertisement management method, system, and computer program product
US9123380B2 (en) 1998-12-18 2015-09-01 Gvbb Holdings S.A.R.L. Systems, methods, and computer program products for automated real-time execution of live inserts of repurposed stored content distribution, and multiple aspect ratio automated simulcast production
US20030001880A1 (en) * 2001-04-18 2003-01-02 Parkervision, Inc. Method, system, and computer program product for producing and distributing enhanced media
CN1153427C (zh) 1999-01-26 2004-06-09 松下电器产业株式会社 数据中继处理方法和装置
US7120167B1 (en) * 1999-06-03 2006-10-10 Matsushita Electric Industrial Co., Ltd. Broadcasting system and its method
US7869462B2 (en) * 1999-06-03 2011-01-11 Panasonic Corporation Broadcast system and method therefor
JP3938824B2 (ja) * 1999-10-29 2007-06-27 松下電器産業株式会社 通信装置および通信方法
EP1361690B1 (en) 2000-03-02 2006-01-11 Matsushita Electric Industrial Co., Ltd. Method and apparatus for retransmitting data packets based on channel conditions
IT1319973B1 (it) * 2000-03-17 2003-11-12 Cselt Centro Studi Lab Telecom Procedimento e sistema per temporizzare la trasmissione di flussiinformativi, ad esempio flussi audiovisivi o multimediali, relativi
JP2001292164A (ja) * 2000-04-06 2001-10-19 Nec Corp パケット・スイッチおよびその切替方法
US6823324B2 (en) * 2000-04-21 2004-11-23 Matsushita Electric Industrial Co., Ltd. Data broadcast program producing apparatus, a computer program for producing data broadcast programs, and a computer-readable recording medium storing the computer program
US7191242B1 (en) * 2000-06-22 2007-03-13 Apple, Inc. Methods and apparatuses for transferring data
US7111163B1 (en) 2000-07-10 2006-09-19 Alterwan, Inc. Wide area network using internet with quality of service
US7062557B1 (en) * 2000-07-10 2006-06-13 Hewlett-Packard Development Company, L.P. Web server request classification system that classifies requests based on user's behaviors and expectations
JP3590949B2 (ja) * 2000-08-17 2004-11-17 松下電器産業株式会社 データ伝送装置およびデータ伝送方法
JP2002074853A (ja) * 2000-08-31 2002-03-15 Toshiba Corp 情報記録装置、情報記録方法、情報再生装置、情報再生方法、情報記録媒体、及び電子配信システム
EP1246409A4 (en) * 2000-10-05 2007-04-25 Mitsubishi Electric Corp PACKET RETRANSMISSION SYSTEM, PACKET TRANSMISSION DEVICE, PACKET RECEIVING DEVICE, PACKET RETRANSMISSION METHOD, PACKET TRANSMITTING METHOD, AND PACKET RECEIVING METHOD
JP2002141945A (ja) * 2000-11-06 2002-05-17 Sony Corp データ送信装置、およびデータ送信方法、並びにプログラム記憶媒体
EP1374429A4 (en) * 2001-03-05 2009-11-11 Intervideo Inc SYSTEMS AND METHOD FOR CODING AND DECODING REDUNDANT MOTION VECTORS IN COMPRESSED VIDEO BITSTRAMS
US8107524B2 (en) * 2001-03-30 2012-01-31 Vixs Systems, Inc. Adaptive bandwidth footprint matching for multiple compressed video streams in a fixed bandwidth network
US20070053428A1 (en) * 2001-03-30 2007-03-08 Vixs Systems, Inc. Managed degradation of a video stream
JP3516929B2 (ja) * 2001-04-11 2004-04-05 シャープ株式会社 送信装置、受信装置、およびこれらを備えた通信システム
US7958532B2 (en) * 2001-06-18 2011-06-07 At&T Intellectual Property Ii, L.P. Method of transmitting layered video-coded information
JP2003152544A (ja) * 2001-11-12 2003-05-23 Sony Corp データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
GB2384932B (en) * 2002-01-30 2004-02-25 Motorola Inc Video conferencing system and method of operation
DE60334780D1 (de) * 2002-03-08 2010-12-16 France Telecom Verfahren zum übertragen von abhängigen datenströmen
US7404001B2 (en) * 2002-03-27 2008-07-22 Ericsson Ab Videophone and method for a video call
JP4000904B2 (ja) 2002-05-21 2007-10-31 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
US20030233464A1 (en) * 2002-06-10 2003-12-18 Jonathan Walpole Priority progress streaming for quality-adaptive transmission of data
JP2004021996A (ja) 2002-06-12 2004-01-22 Sony Corp 記録装置、サーバ装置、記録方法、プログラム、記憶媒体
US7533398B2 (en) * 2002-07-26 2009-05-12 The Associated Press Automatic selection of encoding parameters for transmission of media objects
JP3971984B2 (ja) * 2002-10-15 2007-09-05 松下電器産業株式会社 通信装置および通信方法
FR2846179B1 (fr) 2002-10-21 2005-02-04 Medialive Embrouillage adaptatif et progressif de flux audio
DE60330992D1 (de) * 2002-11-27 2010-03-04 Rgb Networks Inc Ildung und optimierten einteilung von datenpaketen
EP1432196A1 (en) * 2002-12-20 2004-06-23 Matsushita Electric Industrial Co., Ltd. Control traffic compression method in media data transmission
FR2849980B1 (fr) * 2003-01-15 2005-04-08 Medialive Procede pour la distribution de sequences video, decodeur et systeme pour la mise en oeuvre de ce prodede
JP3888307B2 (ja) * 2003-01-15 2007-02-28 船井電機株式会社 光ディスク再生装置
FR2853786B1 (fr) * 2003-04-11 2005-08-05 Medialive Procede et equipement de distribution de produits videos numeriques avec une restriction de certains au moins des droits de representation et de reproduction
KR100586101B1 (ko) * 2003-05-12 2006-06-07 엘지전자 주식회사 동영상 코딩 방법
US7374079B2 (en) * 2003-06-24 2008-05-20 Lg Telecom, Ltd. Method for providing banking services by use of mobile communication system
US20070110105A1 (en) * 2003-10-30 2007-05-17 Matsushita Electric Industrial Co., Ltd. Apparatus and a method for receiving a multiplexed broadcast signal carrying a plurality of services
CN1830164A (zh) * 2003-10-30 2006-09-06 松下电器产业株式会社 面向携带终端的传输方法以及装置
US7379608B2 (en) * 2003-12-04 2008-05-27 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. Arithmetic coding for transforming video and picture data units
JP3891174B2 (ja) * 2003-12-08 2007-03-14 株式会社日立製作所 制御方法
US7599435B2 (en) 2004-01-30 2009-10-06 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Video frame encoding and decoding
US7675939B2 (en) * 2004-01-30 2010-03-09 Sony Corporation Transmission apparatus and method, reception apparatus and method, communication system, recording medium, and program
US7586924B2 (en) 2004-02-27 2009-09-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for coding an information signal into a data stream, converting the data stream and decoding the data stream
CN1564595A (zh) * 2004-04-14 2005-01-12 冯彦 一种电话显示屏接收图像的动态显示方法
CN100345164C (zh) 2004-05-14 2007-10-24 腾讯科技（深圳）有限公司 一种动态虚拟形象的合成方法
US8819140B2 (en) 2004-07-09 2014-08-26 Qualcomm Incorporated System and method for enabling the establishment and use of a personal network
US9077766B2 (en) 2004-07-09 2015-07-07 Qualcomm Incorporated System and method for combining memory resources for use on a personal network
US8738693B2 (en) 2004-07-09 2014-05-27 Qualcomm Incorporated System and method for managing distribution of media files
US7937484B2 (en) 2004-07-09 2011-05-03 Orb Networks, Inc. System and method for remotely controlling network resources
US8195744B2 (en) 2004-07-09 2012-06-05 Orb Networks, Inc. File sharing system for use with a network
JP2006025281A (ja) * 2004-07-09 2006-01-26 Hitachi Ltd 情報源選択システム、および方法
US8787164B2 (en) 2004-07-09 2014-07-22 Qualcomm Incorporated Media delivery system and method for transporting media to desired target devices
US7620068B2 (en) * 2004-11-08 2009-11-17 Harris Corporation Adaptive bandwidth utilization for telemetered data
WO2006067731A1 (en) * 2004-12-22 2006-06-29 Koninklijke Philips Electronics N.V. Video stream modifier
US7706262B2 (en) * 2005-09-30 2010-04-27 Alcatel-Lucent Usa Inc. Identifying data and/or control packets in wireless communication
JP3928807B2 (ja) * 2005-01-14 2007-06-13 船井電機株式会社 光ディスク再生装置
WO2006075302A1 (en) * 2005-01-17 2006-07-20 Koninklijke Philips Electronics N.V. System, transmitter, receiver, method and software for transmitting and receiving ordered sets of video frames
DE102005012668B4 (de) * 2005-03-17 2012-02-16 Bernhard Blöchl Rahmenfehlererkennungs- und -korrekturverfahren für digitales Video
JP5105458B2 (ja) * 2005-10-04 2012-12-26 任天堂株式会社 ゲームシステムおよびゲームプログラム
JP4479650B2 (ja) * 2005-11-29 2010-06-09 ソニー株式会社 コミュニケーションシステム、端末装置及びコンピュータプログラム
GB2432985A (en) * 2005-12-05 2007-06-06 Univ Robert Gordon Encoder control system based on a target encoding value
US7852853B1 (en) * 2006-02-07 2010-12-14 Nextel Communications Inc. System and method for transmitting video information
US20080019398A1 (en) * 2006-07-20 2008-01-24 Adimos Systems Ltd. Clock recovery in wireless media streaming
JP4707623B2 (ja) * 2006-07-21 2011-06-22 富士通東芝モバイルコミュニケーションズ株式会社 情報処理装置
WO2008026896A1 (en) * 2006-08-31 2008-03-06 Samsung Electronics Co., Ltd. Video encoding apparatus and method and video decoding apparatus and method
US8973072B2 (en) 2006-10-19 2015-03-03 Qualcomm Connected Experiences, Inc. System and method for programmatic link generation with media delivery
EP1936908A1 (en) * 2006-12-19 2008-06-25 Deutsche Thomson OHG Method, apparatus and data container for transferring high resolution audio/video data in a high speed IP network
JP5746811B2 (ja) * 2006-12-21 2015-07-08 味の素株式会社 大腸癌の評価方法、ならびに大腸癌評価装置、大腸癌評価方法、大腸癌評価システム、大腸癌評価プログラムおよび記録媒体
EP2506530B1 (en) * 2007-01-15 2018-09-05 BlackBerry Limited Fragmenting large packets in the presence of high priority packets
US20080187291A1 (en) * 2007-02-05 2008-08-07 Microsoft Corporation Prioritization for video acquisition
US8176386B1 (en) 2007-04-10 2012-05-08 Marvell International Ltd. Systems and methods for processing streaming data
JP2009021837A (ja) * 2007-07-12 2009-01-29 Panasonic Corp 復号化システム
WO2009016723A1 (ja) * 2007-07-30 2009-02-05 Fujitsu Limited 電子機器、情報処理システム、電子機器の障害通知方法、および障害通知プログラム
US9203445B2 (en) 2007-08-31 2015-12-01 Iheartmedia Management Services, Inc. Mitigating media station interruptions
US8260230B2 (en) * 2007-08-31 2012-09-04 Clear Channel Management Services, Inc. Radio receiver and method for receiving and playing signals from multiple broadcast channels
MY162861A (en) * 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
JP2009124510A (ja) * 2007-11-15 2009-06-04 Canon Inc 表示制御装置及びその方法、プログラム、記録媒体
JP5092897B2 (ja) * 2008-05-26 2012-12-05 富士通株式会社 データ移行処理プログラム、データ移行処理装置およびデータ移行処理方法
KR101066830B1 (ko) * 2008-08-20 2011-09-26 삼성전자주식회사 통화 송수신 방법 및 이를 이용하는 통화 장치
JP2010056964A (ja) * 2008-08-28 2010-03-11 Canon Inc 受信装置及びその制御方法、プログラム、記録媒体
JP2010103969A (ja) * 2008-09-25 2010-05-06 Renesas Technology Corp 画像復号方法、画像復号装置、画像符号化方法及び画像符号化装置
US9154942B2 (en) * 2008-11-26 2015-10-06 Free Stream Media Corp. Zero configuration communication between a browser and a networked media device
JP5004309B2 (ja) * 2009-02-18 2012-08-22 ソニーモバイルコミュニケーションズ， エービー 動画出力方法および動画出力装置
CN101510299B (zh) * 2009-03-04 2011-07-20 上海大学 基于视觉显著性的图像自适应方法
JP5340296B2 (ja) * 2009-03-26 2013-11-13 パナソニック株式会社 復号化装置、符号化復号化装置および復号化方法
US8271106B2 (en) 2009-04-17 2012-09-18 Hospira, Inc. System and method for configuring a rule set for medical event management and responses
JP5332854B2 (ja) * 2009-04-20 2013-11-06 ソニー株式会社 無線送信機、無線送信方法、無線受信機および無線受信方法
JP5141633B2 (ja) * 2009-04-24 2013-02-13 ソニー株式会社 画像処理方法及びそれを用いた画像情報符号化装置
US8582033B2 (en) * 2009-05-22 2013-11-12 Megachips Corporation Movie reproduction system and movie reproduction method for reducing delay time of reproduced movie
US8837453B2 (en) * 2009-05-28 2014-09-16 Symbol Technologies, Inc. Methods and apparatus for transmitting data based on interframe dependencies
BR112012014237A2 (pt) 2009-12-16 2016-06-14 Dow Global Technologies Llc processo melhorado para produzir uma resina epóxi líquida
WO2011099273A1 (ja) * 2010-02-15 2011-08-18 パナソニック株式会社 コンテンツ通信装置及びコンテンツ加工装置並びにコンテンツ通信システム
US20110255631A1 (en) * 2010-04-20 2011-10-20 Samsung Electronics Co., Ltd. Methods and apparatus for fast synchronization using tail biting convolutional codes
JP2011254442A (ja) 2010-05-06 2011-12-15 Ricoh Co Ltd 遠隔通信端末、遠隔通信方法、及び遠隔通信用プログラム
US8356109B2 (en) * 2010-05-13 2013-01-15 Canon Kabushiki Kaisha Network streaming of a video stream over multiple communication channels
US9538128B2 (en) * 2011-02-28 2017-01-03 Cisco Technology, Inc. System and method for managing video processing in a network environment
US8843804B2 (en) * 2011-04-01 2014-09-23 Cleversafe, Inc. Adjusting a dispersal parameter of dispersedly stored data
JP5801614B2 (ja) * 2011-06-09 2015-10-28 キヤノン株式会社 画像処理装置、画像処理方法
JP5839848B2 (ja) 2011-06-13 2016-01-06 キヤノン株式会社 画像処理装置、画像処理方法
EP2547062B1 (en) 2011-07-14 2016-03-16 Nxp B.V. Media streaming with adaptation
US9131245B2 (en) 2011-09-23 2015-09-08 Qualcomm Incorporated Reference picture list construction for video coding
US20130094518A1 (en) * 2011-10-13 2013-04-18 Electronics And Telecommunications Research Institute Method for configuring and transmitting mmt payload
ES2959510T3 (es) 2011-10-21 2024-02-26 Icu Medical Inc Sistema de actualización de dispositivos médicos
GB2496414A (en) * 2011-11-10 2013-05-15 Sony Corp Prioritising audio and/or video content for transmission over an IP network
US9467695B2 (en) 2012-01-19 2016-10-11 Vid Scale, Inc. Method and apparatus for signaling and construction of video coding reference picture lists
US9848217B2 (en) * 2012-01-20 2017-12-19 Korea Electronics Technology Institute Method for transmitting and receiving program configuration information for scalable ultra high definition video service in hybrid transmission environment, and method and apparatus for effectively transmitting scalar layer information
US9979958B2 (en) 2012-04-20 2018-05-22 Qualcomm Incorporated Decoded picture buffer processing for random access point pictures in video sequences
CN103379360B (zh) * 2012-04-23 2015-05-27 华为技术有限公司 一种视频质量评估方法和装置
JP5963540B2 (ja) * 2012-05-30 2016-08-03 キヤノン株式会社 情報処理装置、プログラム及び制御方法
KR20140002447A (ko) * 2012-06-29 2014-01-08 삼성전자주식회사 멀티미디어 시스템에서 적응적 미디어 구조 송수신 방법 및 장치
US9479776B2 (en) 2012-07-02 2016-10-25 Qualcomm Incorporated Signaling of long-term reference pictures for video coding
US9794143B1 (en) * 2012-09-14 2017-10-17 Arris Enterprises Llc Video delivery over IP packet networks
US10341047B2 (en) 2013-10-31 2019-07-02 Hewlett Packard Enterprise Development Lp Method and system for controlling the forwarding of error correction data
US9571404B2 (en) * 2012-11-09 2017-02-14 Aruba Networks, Inc. Method and system for prioritizing network packets
US9515941B2 (en) 2012-11-09 2016-12-06 Aruba Networks, Inc. Dynamic determination of transmission parameters based on packet priority and network conditions
US9641432B2 (en) 2013-03-06 2017-05-02 Icu Medical, Inc. Medical device communication method
CN103338103A (zh) * 2013-06-04 2013-10-02 中联重科股份有限公司 一种数据的加密方法、系统以及手持设备
AU2014312122A1 (en) 2013-08-30 2016-04-07 Icu Medical, Inc. System and method of monitoring and managing a remote infusion regimen
US9662436B2 (en) 2013-09-20 2017-05-30 Icu Medical, Inc. Fail-safe drug infusion therapy system
EP3703379B1 (en) * 2013-12-16 2022-06-22 Panasonic Intellectual Property Corporation of America Transmission method, reception method, transmitting device, and receiving device
US9722808B2 (en) 2014-01-22 2017-08-01 Ricoh Company, Limited Data transmission system, a terminal device, and a recording medium
CN106031187B (zh) * 2014-03-03 2019-12-24 索尼公司 发射设备、发射方法、接收设备与接收方法
JP6853669B2 (ja) 2014-04-30 2021-03-31 アイシーユー・メディカル・インコーポレーテッド 条件付きの警報転送を用いた患者治療システム
US9724470B2 (en) 2014-06-16 2017-08-08 Icu Medical, Inc. System for monitoring and delivering medication to a patient and method of using the same to minimize the risks associated with automated therapy
CN106664445B (zh) * 2014-08-07 2020-04-21 索尼公司 发送设备、发送方法和接收设备
US9539383B2 (en) 2014-09-15 2017-01-10 Hospira, Inc. System and method that matches delayed infusion auto-programs with manually entered infusion programs and analyzes differences therein
US9774650B2 (en) * 2014-09-23 2017-09-26 Cisco Technology, Inc. Frame priority system
US9838571B2 (en) 2015-04-10 2017-12-05 Gvbb Holdings S.A.R.L. Precision timing for broadcast network
EP3310063A4 (en) * 2015-06-12 2018-12-05 Nec Corporation Relay device, terminal device, communication system, pdu relay method, pdu reception method, and program
WO2017164595A1 (ko) * 2016-03-21 2017-09-28 엘지전자(주) 방송 신호 송수신 장치 및 방법
US20180109469A1 (en) * 2016-10-17 2018-04-19 International Business Machines Corporation Systems and methods for controlling process priority for efficient resource allocation
FR3070566B1 (fr) * 2017-08-30 2020-09-04 Sagemcom Broadband Sas Procede de recuperation d'un fichier cible d'un logiciel d'exploitation et dispositif d'utilisation
US11606528B2 (en) * 2018-01-03 2023-03-14 Saturn Licensing Llc Advanced television systems committee (ATSC) 3.0 latency-free display of content attribute
CA3106519A1 (en) 2018-07-17 2020-01-23 Icu Medical, Inc. Systems and methods for facilitating clinical messaging in a network environment
NZ771914A (en) 2018-07-17 2023-04-28 Icu Medical Inc Updating infusion pump drug libraries and operational software in a networked environment
CN109089067A (zh) * 2018-09-12 2018-12-25 深圳市沃特沃德股份有限公司 可视电话及其摄像方法、装置和计算机可读存储介质
US20220393806A1 (en) * 2019-11-07 2022-12-08 Telefonaktiebolaget Lm Ericsson (Publ) Method and device for determining transmission priority
JP7440065B2 (ja) * 2020-04-03 2024-02-28 国立大学法人京都大学 ブロックチェーンネットワークシステム
GB2598701B (en) * 2020-05-25 2023-01-25 V Nova Int Ltd Wireless data communication system and method
CN112233606B (zh) * 2020-12-15 2021-06-01 武汉华星光电技术有限公司 显示装置、显示系统及分布式功能系统
CN113709510A (zh) * 2021-08-06 2021-11-26 联想(北京)有限公司 高速率数据实时传输方法及装置、设备、存储介质

Family Cites Families (113)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6036145B2 (ja) 1978-06-23 1985-08-19 株式会社東芝 信号伝送方式
US5659653A (en) * 1978-09-11 1997-08-19 Thomson Consumer Electronics, S.A. Method for programming a recording device and programming device
US4593194A (en) * 1983-10-05 1986-06-03 Quantum Corporation Optical encoder with digital gain compensation controlling source intensity
NL8402364A (nl) * 1984-07-27 1986-02-17 Philips Nv Werkwijze, station en systeem voor de overdracht van uit datapakketten bestaande berichten.
US4706121B1 (en) * 1985-07-12 1993-12-14 Insight Telecast, Inc. Tv schedule system and process
CA1256984A (en) * 1985-12-28 1989-07-04 Kunio Hakamada Television receiver
JPS62159582A (ja) * 1986-01-06 1987-07-15 Sony Corp テレビジヨン受像機
ES2055694T3 (es) * 1986-08-01 1994-09-01 Sanyo Electric Co Un aparato regulador de modo de grabacion.
JPH088685B2 (ja) * 1986-09-16 1996-01-29 日本電信電話株式会社 階層化バ−スト通信方式
JP2545851B2 (ja) * 1987-04-16 1996-10-23 ソニー株式会社 Ｖｔｒ一体型のテレビ受像機
DE3856057T2 (de) * 1987-07-20 1998-10-29 Philips Electronics Nv Fernseh-Übertragungssystem
JPH01101718A (ja) * 1987-10-14 1989-04-19 Clarion Co Ltd 弾性表面波装置
JPH0286241A (ja) 1988-09-21 1990-03-27 Nippon Telegr & Teleph Corp <Ntt> 可変レート画像階層符号化伝送方式
US4918531A (en) * 1988-10-25 1990-04-17 Thomson Consumer Electronics, Inc. Commercial message timer
US4959719A (en) * 1988-12-21 1990-09-25 North American Philips Corporation Picture-in-picture television receiver control
JP2736092B2 (ja) * 1989-01-10 1998-04-02 株式会社東芝 バッファ装置
DE69032361T2 (de) * 1989-03-16 1998-10-29 Fujitsu Ltd Video/audiomultiplexübertragungssystem
US4903129A (en) * 1989-04-06 1990-02-20 Thomson Consumer Electronics, Inc. Audio signal section apparatus
US5047867A (en) * 1989-06-08 1991-09-10 North American Philips Corporation Interface for a TV-VCR system
US5038211A (en) * 1989-07-05 1991-08-06 The Superguide Corporation Method and apparatus for transmitting and receiving television program information
US5353121A (en) * 1989-10-30 1994-10-04 Starsight Telecast, Inc. Television schedule system
WO1991007050A1 (en) * 1989-10-30 1991-05-16 Insight Telecast, Inc. Cable television decoder to television accessory interfacing
JPH03234139A (ja) 1990-02-08 1991-10-18 Oki Electric Ind Co Ltd 画像パケット多重化システム
JPH03276941A (ja) 1990-03-27 1991-12-09 Mitsubishi Electric Corp パケット通信端末装置
JPH043684A (ja) 1990-04-20 1992-01-08 Matsushita Electric Ind Co Ltd 可変レート動画像符号化装置
JPH0424914A (ja) 1990-05-16 1992-01-28 Kawasaki Steel Corp レジスト膜中の光強度分布の評価方法
JP2690180B2 (ja) 1990-08-08 1997-12-10 沖電気工業株式会社 パケット補間方式
US5111292A (en) * 1991-02-27 1992-05-05 General Electric Company Priority selection apparatus as for a video signal processor
JPH04314278A (ja) * 1991-04-12 1992-11-05 Sony Corp 映像信号受信装置
JPH04320174A (ja) * 1991-04-19 1992-11-10 Sony Corp 映像信号処理装置
JPH0530138A (ja) * 1991-07-25 1993-02-05 Nippon Telegr & Teleph Corp <Ntt> マルチメデイア転送方式
DE69225034T2 (de) * 1991-08-13 1998-08-13 Canon Kk Einrichtung zur Bildübertragung
JP2515643B2 (ja) 1991-08-15 1996-07-10 新日本製鐵株式会社 帯状体の蛇行挙動解析方法
JP2960803B2 (ja) 1991-08-28 1999-10-12 株式会社日立製作所 デジタル放送信号受信装置およびデジタル放送信号受信テレビジョン受信機
JPH05122692A (ja) * 1991-10-28 1993-05-18 Pioneer Electron Corp Ｃａｔｖ端末装置およびｃａｔｖシステム
US5404505A (en) * 1991-11-01 1995-04-04 Finisar Corporation System for scheduling transmission of indexed and requested database tiers on demand at varying repetition rates
JPH05137125A (ja) * 1991-11-13 1993-06-01 Victor Co Of Japan Ltd 文字多重放送受信装置
JPH05244435A (ja) * 1992-02-28 1993-09-21 Fujitsu Ltd 画像の階層符号化方法および画像符号化装置
JPH0614049A (ja) 1992-03-19 1994-01-21 Fujitsu Ltd Ａｔｍにおけるセル廃棄制御装置及びその方法
US5432561A (en) * 1992-03-27 1995-07-11 North American Philips Corporation System for automatically activating picture-in-picture when an auxiliary signal is detected
JP3110137B2 (ja) 1992-04-03 2000-11-20 積水化学工業株式会社 家庭内ワイヤレス通信ネットワークにおける通信方法
JPH05327758A (ja) * 1992-05-25 1993-12-10 Fujitsu Ltd 画像符号化データのパケット化方式
US5223924A (en) * 1992-05-27 1993-06-29 North American Philips Corporation System and method for automatically correlating user preferences with a T.V. program information database
US5289276A (en) * 1992-06-19 1994-02-22 General Electric Company Method and apparatus for conveying compressed video data over a noisy communication channel
US5287178A (en) * 1992-07-06 1994-02-15 General Electric Company Reset control network for a video signal encoder
US5412416A (en) * 1992-08-07 1995-05-02 Nbl Communications, Inc. Video media distribution network apparatus and method
JP2943516B2 (ja) * 1992-08-17 1999-08-30 日本電気株式会社 動画像符号化復号化装置
US5420801A (en) * 1992-11-13 1995-05-30 International Business Machines Corporation System and method for synchronization of multimedia streams
US5657414A (en) * 1992-12-01 1997-08-12 Scientific-Atlanta, Inc. Auxiliary device control for a subscriber terminal
DE69320458D1 (de) * 1992-12-17 1998-09-24 Samsung Electronics Co Ltd Plattenaufzeichnungsmedium und verfahren und gerät zur wiedergabe dafür
JP3240017B2 (ja) * 1993-01-11 2001-12-17 ソニー株式会社 Ｍｐｅｇ信号記録方法およびｍｐｅｇ信号再生方法
JP3521436B2 (ja) * 1993-03-18 2004-04-19 日本電気株式会社 画像圧縮装置及び画像再生装置
US5524195A (en) * 1993-05-24 1996-06-04 Sun Microsystems, Inc. Graphical user interface for interactive television with an animated agent
JPH06339137A (ja) 1993-05-31 1994-12-06 Nippon Telegr & Teleph Corp <Ntt> 映像パケット通信方式
JP3438259B2 (ja) * 1993-06-02 2003-08-18 ソニー株式会社 ブロックデータ伝送方法及びブロックデータ伝送装置
US5594509A (en) * 1993-06-22 1997-01-14 Apple Computer, Inc. Method and apparatus for audio-visual interface for the display of multiple levels of information on a display
US5699474A (en) * 1993-07-12 1997-12-16 Sony Corporation Method and apparatus for decoding MPEG-type data reproduced from a recording medium during a high-speed reproduction operation
US5610841A (en) * 1993-09-30 1997-03-11 Matsushita Electric Industrial Co., Ltd. Video server
US5703908A (en) * 1993-10-08 1997-12-30 Rutgers University Fixed reference shift keying modulation for mobile radio telecommunications
JPH07202820A (ja) * 1993-12-28 1995-08-04 Matsushita Electric Ind Co Ltd ビットレート制御システム
CA2135681C (en) * 1993-12-30 2000-01-18 Srinivas V. Makam System and method for directly accessing long-term memory devices
US5461415A (en) 1994-03-15 1995-10-24 International Business Machines Corporation Look-ahead scheduling to support video-on-demand applications
JP3244399B2 (ja) * 1994-03-25 2002-01-07 三洋電機株式会社 圧縮動画像符号信号の情報量変換回路、及び方法
US5512939A (en) * 1994-04-06 1996-04-30 At&T Corp. Low bit rate audio-visual communication system having integrated perceptual speech and video coding
JP4204067B2 (ja) * 1994-04-15 2009-01-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ信号の送信及び受信用の回路装置及び方法
JPH07322248A (ja) * 1994-05-30 1995-12-08 Matsushita Electric Ind Co Ltd 動画像データの伝送方法および伝送装置
JPH0818524A (ja) 1994-06-28 1996-01-19 Sofuitsuku:Kk データのスクランブル装置
US5487072A (en) * 1994-06-30 1996-01-23 Bell Communications Research Inc. Error monitoring algorithm for broadband signaling
US6004028A (en) * 1994-08-18 1999-12-21 Ericsson Ge Mobile Communications Inc. Device and method for receiving and reconstructing signals with improved perceived signal quality
JP3644455B2 (ja) * 1994-09-29 2005-04-27 ソニー株式会社 番組情報放送方式、番組情報表示方法および受信装置
US6021432A (en) * 1994-10-31 2000-02-01 Lucent Technologies Inc. System for processing broadcast stream comprises a human-perceptible broadcast program embedded with a plurality of human-imperceptible sets of information
JP3603364B2 (ja) * 1994-11-14 2004-12-22 ソニー株式会社 ディジタルデータ記録／再生装置及び方法
US5510844A (en) * 1994-11-18 1996-04-23 At&T Corp. Video bitstream regeneration using previously agreed to high priority segments
US5535216A (en) * 1995-01-17 1996-07-09 Digital Equipment Corporation Multiplexed gapped constant bit rate data transmission
DE19501517C1 (de) * 1995-01-19 1996-05-02 Siemens Ag Verfahren, Sendegerät und Empfangsgerät zur Übertragung von Sprachinformation
US5689439A (en) * 1995-03-31 1997-11-18 Lucent Technologies, Inc. Switched antenna diversity transmission method and system
JPH08279923A (ja) * 1995-04-07 1996-10-22 Sony Corp 情報信号伝送方式
JPH08294123A (ja) * 1995-04-24 1996-11-05 Kokusai Electric Co Ltd 動画像データ伝送装置
US5959980A (en) * 1995-06-05 1999-09-28 Omnipoint Corporation Timing adjustment control for efficient time division duplex communication
WO1997002683A1 (de) * 1995-07-05 1997-01-23 Siemens Aktiengesellschaft Einrichtung (iwf) zum bidirektionalen verbinden eines elan und eines cls-weitverkehrsnetzes
JP3597267B2 (ja) * 1995-09-26 2004-12-02 富士通株式会社 冗長性を有する光中継器
JP3330797B2 (ja) 1995-10-02 2002-09-30 富士通株式会社 動画像データ格納方式および動画像データ復号方式
US6002394A (en) * 1995-10-02 1999-12-14 Starsight Telecast, Inc. Systems and methods for linking television viewers with advertisers and broadcasters
JPH09191453A (ja) 1995-11-07 1997-07-22 Sony Corp データ送受信、データ記録再生のための装置及びその方法並びに記録媒体
JPH09139937A (ja) * 1995-11-14 1997-05-27 Fujitsu Ltd 動画ストリーム変換装置
FI956360A (fi) * 1995-12-29 1997-06-30 Nokia Telecommunications Oy Menetelmä yhteydenmuodostuspurskeen havaitsemiseksi ja vastaanotin
JP3165635B2 (ja) 1996-02-07 2001-05-14 三洋電機株式会社 多重放送受信装置
US6025837A (en) * 1996-03-29 2000-02-15 Micrsoft Corporation Electronic program guide with hyperlinks to target resources
DE19614737A1 (de) * 1996-04-15 1997-10-16 Bosch Gmbh Robert Fehlerrobustes Multiplexverfahren mit möglicher Retransmission
US5940073A (en) * 1996-05-03 1999-08-17 Starsight Telecast Inc. Method and system for displaying other information in a TV program guide
US6088360A (en) * 1996-05-31 2000-07-11 Broadband Networks Corporation Dynamic rate control technique for video multiplexer
US5752166A (en) * 1996-09-04 1998-05-12 Motorola, Inc. Method and apparatus for controlling how a receiver responds to a message
US6324694B1 (en) * 1996-09-06 2001-11-27 Intel Corporation Method and apparatus for providing subsidiary data synchronous to primary content data
US5928330A (en) * 1996-09-06 1999-07-27 Motorola, Inc. System, device, and method for streaming a multimedia file
JP3431465B2 (ja) 1996-09-11 2003-07-28 松下電器産業株式会社 データの提示を制御するデータ提示制御装置、データの提示を制御するために用いる情報を送信するデータ送信装置
US6674958B2 (en) * 1996-12-16 2004-01-06 Thomson Licensing S.A. Television apparatus control system
US6088064A (en) * 1996-12-19 2000-07-11 Thomson Licensing S.A. Method and apparatus for positioning auxiliary information proximate an auxiliary image in a multi-image display
JPH10232658A (ja) 1996-12-20 1998-09-02 Fujitsu Ltd 表示切替システムおよび記録媒体
US5931908A (en) * 1996-12-23 1999-08-03 The Walt Disney Corporation Visual object present within live programming as an actionable event for user selection of alternate programming wherein the actionable event is selected by human operator at a head end for distributed data and programming
US6038256A (en) * 1996-12-31 2000-03-14 C-Cube Microsystems Inc. Statistical multiplexed video encoding using pre-encoding a priori statistics and a priori and a posteriori statistics
US5850304A (en) * 1997-01-08 1998-12-15 Scottsdale Technologies, Inc. Optically programmable controller
US6097878A (en) * 1997-02-25 2000-08-01 Sony Corporation Automatic timer event entry
JPH10243374A (ja) 1997-02-27 1998-09-11 Hitachi Ltd 画像音声情報配信システム
US5918002A (en) * 1997-03-14 1999-06-29 Microsoft Corporation Selective retransmission for efficient and reliable streaming of multimedia packets in a computer network
US6292834B1 (en) * 1997-03-14 2001-09-18 Microsoft Corporation Dynamic bandwidth selection for efficient transmission of multimedia streams in a computer network
US6038545A (en) * 1997-03-17 2000-03-14 Frankel & Company Systems, methods and computer program products for generating digital multimedia store displays and menu boards
US6208799B1 (en) * 1997-04-29 2001-03-27 Time Warner Entertainment Company L.P. VCR recording timeslot adjustment
US6108706A (en) * 1997-06-09 2000-08-22 Microsoft Corporation Transmission announcement system and method for announcing upcoming data transmissions over a broadcast network
US6215762B1 (en) * 1997-07-22 2001-04-10 Ericsson Inc. Communication system and method with orthogonal block encoding
US6351467B1 (en) * 1997-10-27 2002-02-26 Hughes Electronics Corporation System and method for multicasting multimedia content
US6990680B1 (en) * 1998-01-05 2006-01-24 Gateway Inc. System for scheduled caching of in-band data services
US6008802A (en) * 1998-01-05 1999-12-28 Intel Corporation Method and apparatus for automatically performing a function based on the reception of information corresponding to broadcast data
JP3276941B2 (ja) 1999-06-30 2002-04-22 三洋電機株式会社 空気調和装置

Also Published As

Publication number Publication date
CN1545322A (zh) 2004-11-10
CN100334880C (zh) 2007-08-29
EP0905976A1 (en) 1999-03-31
EP1835745A2 (en) 2007-09-19
KR20050052484A (ko) 2005-06-02
KR20050052483A (ko) 2005-06-02
US20040120345A1 (en) 2004-06-24
EP1835745A3 (en) 2010-09-29
US7436454B2 (en) 2008-10-14
EP0905976A4 (en) 2010-09-29
CN100525443C (zh) 2009-08-05
US20070201563A1 (en) 2007-08-30
US20040237122A1 (en) 2004-11-25
EP1439704A2 (en) 2004-07-21
EP1439704A3 (en) 2011-08-10
EP1439705A3 (en) 2011-09-14
WO1998042132A1 (en) 1998-09-24
US20040212729A1 (en) 2004-10-28
US7502070B2 (en) 2009-03-10
CN1533176A (zh) 2004-09-29
CN1190081C (zh) 2005-02-16
EP1439705A2 (en) 2004-07-21
US6674477B1 (en) 2004-01-06
CN1227031A (zh) 1999-08-25

Similar Documents

Publication Publication Date Title
KR100557103B1 (ko) 데이터 처리방법 및 데이터 처리장치
JP3516585B2 (ja) データ処理装置及びデータ処理方法
US7010032B1 (en) Moving image coding apparatus and decoding apparatus
JP3709721B2 (ja) 符号化ストリームスプライシング装置及び符号化ストリームスプライシング方法、符号化ストリーム生成装置及び符号化ストリーム生成方法、並びに情報処理装置及び方法
KR100711635B1 (ko) 화상 부호화 방법
US6324217B1 (en) Method and apparatus for producing an information stream having still images
US8238438B2 (en) Image data transmitting apparatus and method and image data reproducing apparatus and method
JP2004507178A (ja) ビデオ信号符号化方法
WO2008060732A2 (en) Techniques for variable resolution encoding and decoding of digital video
CN102598688A (zh) 流式传输经编码视频数据
EP1230802B1 (en) Mpeg-4 video specific control packet for providing a customized set of coding tools
KR100530919B1 (ko) 동화상 데이터의 처리 및 송수신 방법 및 장치
JP4102223B2 (ja) データ処理装置及びデータ処理方法
JP3448047B2 (ja) 送信装置及び受信装置
KR100530920B1 (ko) 화상 · 음성 송신장치 및 수신장치
JP2007221826A (ja) 受信端末および受信方法
JP3519722B2 (ja) データ処理方法及びデータ処理装置
JP2006304309A (ja) 送信装置、受信装置および通信システム
JP2004048657A (ja) 画像・音声受信装置
Murugan Multiplexing H. 264/AVC Video with MPEG-AAC Audio
Angelides et al. Capabilities and Limitations of PC’s in the Networked Multimedia Environment

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130130

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140204

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150120

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160119

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20170119

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20180119

Year of fee payment: 13

EXPY Expiration of term