KR100530919B1 - 동화상 데이터의 처리 및 송수신 방법 및 장치 - Google Patents

동화상 데이터의 처리 및 송수신 방법 및 장치 Download PDF

Info

Publication number
KR100530919B1
KR100530919B1 KR1019980709277A KR19980709277A KR100530919B1 KR 100530919 B1 KR100530919 B1 KR 100530919B1 KR 1019980709277 A KR1019980709277 A KR 1019980709277A KR 19980709277 A KR19980709277 A KR 19980709277A KR 100530919 B1 KR100530919 B1 KR 100530919B1
Authority
KR
South Korea
Prior art keywords
priority
information
data
image
time
Prior art date
Application number
KR1019980709277A
Other languages
English (en)
Other versions
KR20000011118A (ko
Inventor
다카오 야마구치
미노루 에토
히로시 아라카와
Original Assignee
마츠시타 덴끼 산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마츠시타 덴끼 산교 가부시키가이샤 filed Critical 마츠시타 덴끼 산교 가부시키가이샤
Priority to KR1019980709277A priority Critical patent/KR100530919B1/ko
Priority to KR1020057003554A priority patent/KR100557103B1/ko
Publication of KR20000011118A publication Critical patent/KR20000011118A/ko
Application granted granted Critical
Publication of KR100530919B1 publication Critical patent/KR100530919B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1829—Arrangements specially adapted for the receiver end
    • H04L1/1854—Scheduling and prioritising arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1867—Arrangements specially adapted for the transmitter end
    • H04L1/1887—Scheduling and prioritising arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4381—Recovering the multiplex stream from a specific network, e.g. recovering MPEG packets from ATM cells
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6137—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a telephone network, e.g. POTS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6543—Transmission by server directed to the client for forcing some client operations, e.g. recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6547—Transmission by server directed to the client comprising parameters, e.g. for client setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

기억장치나 통신로로부터 데이터와 그 전송 포맷정보를 포함하는 정보를 수신하는 수신관리부(11)와, 수신정보를 해석하여 분리하는 분리부(12)와, 기억장치나 통신로로 정보를 송신하는 전송부(13)와, 화상을 신장하는 화상신장부(14)와, 화상신장 관리부(15)는 적어도 하나 이상의 화상을 신장하는 상기 화상신장부(14)의 처리상태를 관리하고, 신장된 정보를 기초로 화상 합성을 행하는 화상합성부(16)와, 합성결과를 출력하는 출력부(17)와, 이들 각 수단을 제어, 관리하는 단말제어부(18)로 구성되는 화상 합성장치에 의해 동시에 복수의 화상의 합성이 행해지고, 또 전송 포맷정보의 동적인 변화에 대응할 수 있다.

Description

데이터 처리방법 및 데이터 처리장치{DATA PROCESSING METHOD AND DATA PROCESSING APPARATUS}
본 발명은 데이터 처리장치 및 데이터 처리방법에 관한 것이다.
종래부터 자신이 있는 공간의 풍경의 화상 중에서, 예를 들면 인물화상을 추출하여, 그 화상과 상대측에서 보내온 인물화상과 미리 기억되어 있는 상대측과 공통적으로 표시하는 가상적인 공간의 화상과 중첩하여 표시함으로써, 상대가 자신의 앞에 있다는 실재감을 충족하고, 현장감이 있는 영상 통신을 목표로 한 것이 있다(일본국 특공평 4-24914호 공보).
특히 종래의 기술에서는 화상을 합성하기 위한 고속화, 메모리를 저감하는 방법에 관한 발명이 행해지고 있다(예를 들면 일본국 특공평 5-46592호 공보 : 화상 합성장치).
이와 같은 종래의 기술에서는 2차원의 정지화상이나 3차원의 CG 데이터를 합성하는 화상합성을 이용한 통신 시스템이 제안되어 있었으나, 복수의 동화상이나 음성을 동시에 합성하여 표시시키는 시스템의 실현방법에 대하여 하기의 관점에서의 구체적인 의논이 행해지고 있지 않았다.
즉, (A1) 1개 혹은 2개 이상의 현실의 전송로 상에서 소프트웨어적으로 구축되는 복수의 논리적인 전송로를 이용하여 데이터와 제어정보(데이터와는 별도의 패킷으로 전송되는, 단말측의 처리를 제어하기 위한 정보)가 독립되어 전송되는 환경 하에서의 화상이나 음성의 전송(통신과 방송) 및 그 제어방법, (A2) 전송해야 할 화상이나 음성의 데이터에 부가되는 헤더정보(본 발명의 데이터 관리정보에 대응)의 동적인 변경방법, (A3) 송신을 위해 부가하는 헤더정보(본 발명의 전송 관리정보에 대응)의 동적인 변경방법, (A4) 복수의 논리적인 전송로를 동적으로 다중화, 분리하여 정보를 전송하는 방법, (A5) 프로그램이나 데이터의 판독, 활성화시간을 고려한 화상이나 음성의 전송방법 및 (A6) 소거(zapping)를 고려한 화상이나 음성의 전송방법 등의 관점에서의 구체적인 의논이 행해지지 않았다는 문제점이 있었다.
한편 종래부터 네트워크로의 전송량을 동적으로 조정하는 방법으로서는, 인코드 방식을 변경하는 방식이나, 영상의 프레임 타입에 따라 프레임 단위로 데이터를 폐기하는 방법이 제안되어 있다(진천사 호사(秦泉寺 浩史), 전고 철남(田尻 哲男), 분산적응형 VOD 시스템의 - 검토, D-81, 전자정보 통신학회 시스템 협회(1995)).
인코더측에서 처리량을 조정하는 방식으로서는 처리시간 구속 하에서 화질이 높은 영상을 제공할 수 있는 동적 연산량 스케일러블 알고리즘이 제안되어 있다(대박 사전(大迫 史典), 시도 유행(矢島 由幸), 소사 박(小寺 博), 도변 유(渡邊 裕), 도촌 화전(島村 和典) : 동적 연산량 스케일러블 알고리즘에 의한 소프트웨어 화상부호화, 전자정보 통신학회 논문지 D-2, Vol.80-D-2, No.2, pp.444-458(1997).).
또 동화상과 음성의 동기 재생을 실현한 예로서는 MPEG1/MPEG2의 시스템이 있다.
이와 같은 종래의 기술에서, (B1) 종래 방식의 영상의 프레임 타입에 따라 영상을 폐기하는 방법에서는, 취급할 수 있는 정보의 그레이딩(grading)이 단일 스트림 내이므로, 복수의 비디오 스트림이나 복수의 오디오 스트림의 취급이나 편집자의 의도를 반영시켜 중요한 장면 컷(scene cut)을 중점적으로 오디오와 함께 동기 재생시키기가 곤란하다는 문제점이 있었다. (B2) 또 MPEG1/MPEG2에서는 하드웨어에서의 실현이 전제이므로, 디코더는 주어진 비트스트림을 모두 디코드 할 수 있을 것이 전제가 된다. 따라서 디코더의 처리능력을 초과한 경우의 대응방법이 정해지지 않게 되는 문제점이 있다.
또 한편 종래 동화상의 전송에서는 H. 261(ITU-T Recommendation H. 261-Video codec for audiovisual services at px64) 등의 방식을 이용한 것이 있고, 지금까지 하드웨어에 의해 실장되어 있었다. 이 때문에 하드웨어 설계시에 필요한 성능의 상한을 고려하고 있기 때문에 지정시간 이내에 복호화 처리를 완료할 수 없다고 하는 경우는 발생되지 않았다.
또, 여기에서, 지정시간이란 1장의 화상을 부호화한 비트스트림의 전송에 소요되는 시간이다. 이 시간 내에 복호화 할 수 없으면 초과된 시간이 지연으로 되고, 이것이 축적되어 커지면 송신측으로부터 수신측까지의 지연이 커져서 텔레비전 전화로서의 사용에 부적합하게 된다. 이와 같은 상황은 피해야만 한다.
또 통신 상대가 규격 외의 비트스트림을 생성하고 있기 때문에 복호화 처리를 지정시간 내에 완료할 수 없는 경우에는 동화상이 전송되지 않는다는 문제점이 있었다.
상기 문제점은 동화상뿐만 아니라 음성 데이터에서도 발생되는 문제점이다.
그런데 최근 인터넷이나 ISDN의 보급이라는 형태로 퍼스널 컴퓨터(PC)에서의 네트워크 환경이 정비된 결과, 전송속도가 빨라져서 PC와 네트워크를 이용한 동화상의 전송이 가능하게 되었다. 사용자로부터의 동화상 전송에 대한 요구도 갑자기 높아지고 있다. 또 CPU 성능의 향상에 의해 소프트웨어에 의한 동화상의 부호화가 충분히 가능하게 되고 있다.
그러나 퍼스널 컴퓨터에서는 동일한 소프트웨어를, CPU, 버스 폭, 가속기의 유무 등, 장치 구성이 다른 컴퓨터에서 실행 가능하기 때문에, 필요한 성능의 상한을 미리 고려하기가 곤란하며, 지정 시간 내에 화상을 복호화 할 수 없는 경우가 생긴다.
또 수신장치의 처리능력을 넘는 길이의 동화상의 부호화 데이터가 전송된 경우에는 지정 시간 내의 부호화가 불가능하게 된다.
과제(C1) : 지정 시간 내에 화상을 복호화 하여, 지연을 작게 억제한다.
또 이 과제 C1의 해결수단으로서, 예를 들어, 파형 데이터로서 동화상을 입력하는 경우라면, 전송된 비트스트림 중 일부를 사용하지 않기 때문에, 전송로의 실질적인 사용효율이 나쁘다는 문제점이 남는 경우도 있다. 또 부호화 방식에 따라서는 전회의 복호 화상을 기초로 금회의 복호 화상을 생성하는 것이 있으나(P픽처 등), 상기와 같은 해결수단에서는 전회의 복호 화상을 완전히 복원하지 않는 경우가 있기 때문에 화질의 열화가 시간과 함께 파급적으로 커진다는 문제점도 있다.
과제(C2) : 전송로의 실질적인 사용 효율이 나쁘다. 또 화질열화가 파급된다.
또 소프트웨어에 의한 실장에서는 1회의 부호화 처리에 소요되는 시간으로 화상의 프레임 레이트가 결정되므로, 사용자가 지정한 프레임 레이트가 계산기의 처리한계를 넘은 경우에는 지정에 응할 수 없었다.
과제(C3) : 사용자가 지시한 프레임 레이트가 계산기의 처리한계를 넘으면 지정에 응할 수 없다.
도 1은 본 발명의 실시예에서의 화상음성 송수신장치의 개략 구성도이다.
도 2는 수신관리부와 분리부를 도시한 도면이다.
도 3은 복수의 논리적인 전송로를 이용하여 화상이나 음성의 전송, 제어하는 방법을 도시한 도면이다.
도 4는 송신할 화상이나 음성의 데이터에 부가하는 헤더정보의 동적인 변경방법을 도시한 도면이다.
도 5a∼도 5b는 AL 정보의 부가방법을 도시한 도면이다.
도 6a∼도 6d는 AL 정보의 부가방법의 예를 도시한 도면이다.
도 7은 복수의 논리적인 전송로를 동적으로 다중화, 분리하여 정보를 전송하는 방법을 도시한 도면이다.
도 8은 방송 프로그램의 전송순서를 도시한 도면이다.
도 9a는 프로그램, 데이터가 수신 단말에 있는 경우의 프로그램이나 데이터의 판독, 상승시간을 고려한 화상이나 음성의 전송방법을 도시한 도면이다.
도 9b는 프로그램, 데이터가 송신되는 경우의 프로그램이나 데이터의 판독, 상승시간을 고려한 화상이나 음성의 전송방법을 도시한 도면이다.
도 10a는 소거에 대한 대응방법을 도시한 도면이다.
도 10b는 소거에 대한 대응방법을 도시한 도면이다.
도 11a는 실제로 단말간에서 송신되는 프로토콜의 구체예를 도시한 도면이다.
도 11b는 실제로 단말간에서 송신되는 프로토콜의 구체예를 도시한 도면이다.
도 12는 실제로 단말간에서 송수신되는 프로토콜의 구체예를 도시한 도면이다.
도 13a는 실제로 단말간에서 송수신되는 프로토콜의 구체예를 도시한 도면이다.
도 13b는 실제로 단말간에서 송수신되는 프로토콜의 구체예를 도시한 도면이다.
도 13c는 실제로 단말간에서 송수신되는 프로토콜의 구체예를 도시한 도면이다.
도 14는 실제로 단말간에서 송수신되는 프로토콜의 구체예를 도시한 도면이다.
도 15는 실제로 단말간에서 송수신되는 프로토콜의 구체예를 도시한 도면이다.
도 16a는 실제로 단말간에서 송수신되는 프로토콜의 구체예를 도시한 도면이다.
도 16b는 실제로 단말간에서 송수신되는 프로토콜의 구체예를 도시한 도면이다.
도 17은 실제로 단말간에서 송수신되는 프로토콜의 구체예를 도시한 도면이다.
도 18은 실제로 단말간에서 송수신되는 프로토콜의 구체예를 도시한 도면이다.
도 19a는 실제로 단말간에서 송수신되는 프로토콜의 구체예를 도시한 도면이다.
도 19b는 실제로 단말간에서 송수신되는 프로토콜의 구체예를 도시한 도면이다.
도 20a∼도 20c는 본 발명의 CGD의 데모 시스템 구성도이다.
도 21은 인코더에서의 과부하시의 우선도 부가방법을 도시한 도면이다.
도 22는 과부하시의 수신단말에서의 우선도 결정방법에 대하여 기록한 도면이다.
도 23은 우선도의 시간변화를 도시한 도면이다.
도 24는 스트림 우선도와 오브젝트 우선도를 도시한 도면이다.
도 25는 본 발명의 실시예에서의 화상 부호화, 화상 복호화 장치의 개략 구성도이다.
도 26은 본 발명의 실시예에서의 음성 부호화, 음성 복호화 장치의 개략 구성도이다.
도 27a∼도 27b는 과부하시의 처리 우선도를 관리하는 우선도 부가부, 우선도 결정부를 도시한 도면이다.
도 28a∼도 28c는 우선도를 부가하는 그레이딩을 도시한 도면이다.
도 29는 다중 해상도의 화상 데이터로의 우선도 할당방법을 도시한 도면이다.
도 30은 통신 페이로드의 구성방법을 도시한 도면이다.
도 31은 데이터를 통신 페이로드로 대응짓는 방법을 도시한 도면이다.
도 32는 오브젝트 우선도, 스트림 우선도와 통신 패킷 우선도의 대응을 도시한 도면이다.
도 33은 본 발명의 제 1 실시예인 송신장치의 구성도이다.
도 34는 제 1 실시예의 설명도이다.
도 35는 본 발명의 제 3 실시예인 수신장치의 구성도이다.
도 36은 본 발명의 제 5 실시예인 수신장치의 구성도이다.
도 37은 제 5 실시예의 설명도이다.
도 38은 본 발명의 제 6 실시예인 송신장치의 구성도이다.
도 39는 본 발명의 제 8 실시예인 송신장치의 구성도이다.
도 40은 본 발명의 제 2 실시예인 송신방법의 흐름도이다.
도 41은 본 발명의 제 4 실시예인 수신방법의 흐름도이다.
도 42는 본 발명의 제 7 실시예인 송신방법의 흐름도이다.
도 43은 본 발명의 제 9 실시예인 송신방법의 흐름도이다.
도 44는 본 발명의 화상·음성 송신장치의 일례를 도시한 구성도이다.
도 45는 본 발명의 화상·음성 수신장치의 일례를 도시한 구성도이다.
도 46은 본 발명의 화상·음성 송신장치의 영상과 음성에 우선도를 부가하는 우선도 부가수단에 대하여 설명한 도면이다.
도 47은 본 발명의 화상·음성 수신장치의 영상과 음성에 부가된 우선도를 해석하여 복호처리의 가부를 결정하는 우선도 결정수단에 대하여 설명한 도면이다.
* 도면의 주요 부분에 대한 부호의 설명 *
11 : 수신관리부 12 : 분리부
13 : 전송부 14 : 화상신장부
15 : 화상신장 관리부 16 : 화상합성부
17 : 출력부 18 : 단말제어부
4011 : 송신관리부 4012 : 화상부호부
4013 : 수신관리부 4014 : 화상복호부
4015 : 화상합성부 4016 : 출력부
4101 : 화상 부호화장치 4102 : 화상 복호화장치
301 : 수신수단 302 : 추정수단
303 : 동화상의 복호화장치 304 : 횟수 삭감수단
306 : 출력단자 307 : 입력단자
3031 : 가변길이 부호화수단 3032 : 역직교 변환수단
3033 : 전환기 3034 : 모션 보상수단
3035 : 실행시간 계측수단
본 발명은 상기 제 2 종래 기술의 (B1)∼(B2)의 과제를 고려하여 그들 과제중 적어도 어느 하나를 해결하는 데이터 처리장치 및 데이터 처리방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 제 1 발명은, (1) 음성 또는 I 프레임을 포함하는 동화상의 시계열 데이터와, (2) 상기 시계열 데이터간의 처리의 우선도를 나타내는 시계열 데이터 간 우선도와, (3) 상기 I 프레임간의 처리의 우선도를 나타내는 시계열 데이터 내 우선도를 포함하는 데이터 계열을 접수하는 접수수단과, 상기 동화상의 시계열 데이터가 복수 동시에 존재하는 경우는, 상기 접수수단에 의해 접수한 상기 시계열 데이터 간 우선도와 상기 시계열 데이터 내 우선도를 병용하여 상기 시계열 데이터의 처리를 행하는 데이터 처리수단을 구비하는 것을 특징으로 하는 데이터 처리장치이다.
본 발명의 제 2 발명은, (l) 음성 또는 I 프레임을 포함하는 동화상의 시계열 데이터와, (2) 상기 시계열 데이터간의 처리의 우선도를 나타내는 시계열 데이터 간 우선도와, (3) 상기 I 프레임간의 처리의 우선도를 나타내는 시계열 데이터 내 우선도를 포함하는 데이터 계열을 입력하는 단계와, 상기 동화상의 시계열 데이터가 복수 동시에 존재하는 경우는 상기 시계열 데이터 간 우선도와 상기 시계열 데이터 내 우선도를 병용하여 상기 시계열 데이터의 처리를 행하는 단계를 포함하는 것을 특징으로 하는 데이터 처리방법이다.
본 발명의 제 3 발명은, 상기 시계열 데이터 간 우선도와 상기 시계열 데이터 내 우선도를 병용하여 단말에 의한 과부하시의 복호화 처리를 행하는 것을 특징으로 하는 데이터 처리방법이다.
본 발명의 제 3 발명은, (l) 음성 또는 I 프레임을 포함하는 동화상의 시계열 데이터와, (2) 상기 시계열 데이터간의 처리의 우선도를 나타내는 시계열 데이터 간 우선도와, (3) 상기 I 프레임간의 처리의 우선도를 나타내는 시계열 데이터 내 우선도를 포함하는 데이터 계열을 입력하는 단계와, 상기 시계열 데이터를 패킷통신 하는 경우, 상기 시계열 데이터 내 우선도와 상기 시계열 데이터 간 우선도를 대응시킨 패킷 우선도를 이용하여 상기 시계열 데이터의 처리를 행하는 단계를 포함하는 것을 특징으로 하는 데이터 처리방법이다.
본 발명의 제 4 발명은, (l) 음성 또는 I 프레임을 포함하는 동화상의 시계열 데이터와, (2) 상기 시계열 데이터간의 처리의 우선도를 나타내는 시계열 데이터 간 우선도와, (3) 상기 I 프레임간의 처리의 우선도를 나타내는 시계열 데이터 내 우선도를 포함하는 데이터 계열을 입력하는 단계와, 상기 시계열 데이터를 패킷통신 하는 경우, 상기 패킷의 통신헤더에 상기 시계열 데이터 내 우선도에 대한 상대적인 처리 우선도를 부여하는 정보를 기술하여, 상기 통신헤더를 이용하여 상기 시계열 데이터의 처리를 행하는 단계를 포함하는 것을 특징으로 하는 데이터 처리방법이다.
본 발명의 제 5 발명은, 상기 시계열 데이터 내 우선도가 높은 정보를 포함하는 패킷에 대해서는 높은 에러 프로텍션을 실시하는 것을 특징으로 하는 데이터 처리방법이다.
이하 본 발명의 실시예에 대하여 도면을 참조하여 설명하기로 한다.
또 여기에서 설명하는 실시예는 주로 상술한 과제 (A1)∼(A6) 중 어느 하나를 해결하는 것이다.
본 발명에서 사용하는 「화상」으로서는 정지화상과 동화상의 양쪽을 포함한다. 또 대상으로 하는 화상은 컴퓨터 그래픽스(CG)와 같은 2차원 화상과 와이어 프레임 모델로 구성되는 3차원 화상 데이터라도 된다.
도 1은 본 발명의 실시예에서의 화상음성 송수신장치의 개략 구성도이다.
도 1에서 정보를 수신하는 수신관리부(1l)와 정보를 송신하는 전송부(l3)는 동축 케이블, CATV, LAN, 모뎀 등의 정보를 전송하는 수단이다. 통신환경으로서는 인터넷과 같이 다중화수단을 의식하지 않고 복수의 논리적인 전송로를 이용할 수 있는 통신환경이라도 되고, 아날로그 전화나 위성방송과 같이 다중화수단을 의식해야하는 통신환경이라도 된다.
또 단말의 접속형태로서는 TV 전화나 TV 회의 시스템과 같이 단말간에서 쌍방향으로 영상이나 음성을 송수신하는 형태나, 위성방송이나 CATV, 인터넷 상에서의 방송형 영상이나 음성방송의 형태를 들 수 있다. 본 발명에서는 이러한 단말의 접속형태에 대하여 고려하고 있다.
도 1에 도시된 분리부(12)는 수신정보를 해석하여 데이터와 제어정보를 분리하는 수단이다. 구체적으로는 송신을 위해 데이터에 부가된 송신용 헤더정보와 데이터를 분해하거나, 데이터 자신에게 부가된 데이터 제어용 헤더와 데이터의 내용을 분해하기 위한 수단이다. 화상신장부(14)는 수신한 화상을 신장하는 수단이다. 예를 들면 H. 261, H. 263, MPEGl/2, JPEG라는 표준화된 동화상이나 정지화상의 압축화상이라도 되고, 그렇지 않아도 된다.
도 1에 도시된 화상신장 관리부(15)는 화상의 신장 상태를 감시하는 수단이다. 예를 들면 화상의 신장상태를 감시함으로써 수신 버퍼가 오버플로우를 일으킬 듯이 된 경우에 화상의 신장을 행하지 않고 수신버퍼를 공백 판독하여 화상을 신장할 수 있는 상태가 된 시점으로부터 화상의 신장을 재개시킬 수 있다.
또 도 1에서 화상합성부(16)는 신장된 화상을 합성하는 수단이다. 합성방법에 관해서는 JAVA, VRML, MHEG라는 스크립트 언어로, 화상과 화상의 구조정보(표시위치와 표시시간(표시기간을 포함해도 됨)), 화상끼리의 그룹핑 방법, 화상 표시의 레이어(깊이), 그리고, 오브젝트 ID(후술하는 SSRC)와 이들 속성의 관계를 기술함으로써 화상의 합성방법을 정의할 수 있다. 합성방법을 기술한 스크립트는 네트워크나 로컬의 기억장치로부터 입출력된다.
또 출력부(17)는 화상의 합성결과를 출력하는 디스플레이나 프린터 등이다. 단말제어부(l8)는 이들 각부를 제어하는 수단이다. 또 화상 대신에 음성을 신장하는 구성이라도(화상신장부를 음성신장부로, 화상신장 관리부를 음성신장 관리부로, 화상합성부를 음성합성부로 변경함으로써 대응됨), 화상과 음성의 양쪽을 신장하여 시간적으로 동기를 유지하면서 합성, 표시하는 구성이라도 된다.
또한 화상을 압축하는 화상압축부, 화상압축부를 관리하는 화상압축 관리부, 음성을 압축하는 음성압축부, 음성압축부를 관리하는 음성압축 관리부를 구비함으로써 화상이나 음성의 전송도 가능하게 된다.
도 2는 수신관리부와 분리부를 도시한 도면이다.
도 1에 도시된 수신관리부(11)에 데이터를 수신하는 데이터 수신부(101)와 데이터를 제어하기 위한 제어정보를 수신하는 제어정보 수신부(102)와, 분리부(12)에 전송내용을 해석하기 위한 전송구조(상세한 내용은 후술)에 대하여 기억하는 전송포맷 기억부(103)와, 전송포맷 기억부(103)에 기억된 전송구조에 기초하여 전송내용을 해석하는 전송정보 해석부(104)로 각부를 구성함으로써 데이터와 제어정보를 독립하여 수신하는 것이 가능하게 되므로, 예를 들면 수신하면서 수신화상이나 음성의 삭제, 이동이 용이하게 된다.
상술한 바와 같이 수신관리부(ll)가 대상으로 하는 통신환경으로서는, 인터넷과 같이 다중화 수단을 의식하지 않고 복수의 논리적인 전송로를 이용할 수 있는 통신환경(인터넷·프로파일)이라도 되고, 아날로그 전화나 위성방송과 같이 다중화 수단을 의식해야 하는 통신환경(Raw 프로파일)이라도 된다. 그러나 이용자측에서 보면 논리적인 전송로(논리 채널)가 복수개 준비되어 있는 통신환경을 전제로 하고 있다(예를 들면 TCP/IP가 사용되는 통신환경에서는「통신 포트」라 불리우는 표현이 일반적으로 사용됨).
또 도 2에 도시된 바와 같이 수신관리부(11)가 수신하는 정보로서는 1종류 이상의 데이터용 전송로와, 전송하는 데이터를 제어하기 위한 제어용의 논리적인 전송로를 1종류 이상 상정하고 있다. 데이터 전송용 전송로를 복수 준비하고, 데이터 제어용 전송로를 l개만 준비해도 된다. 또한 H. 323에서도 이용되고 있는 RTP/RTCP와 같이 데이터 전송마다 데이터 제어용 전송로를 준비해도 된다. 또한 UDP를 사용한 방송을 고려한 경우, 단일 통신 포트(멀티캐스트 어드레스)를 사용한 통신형태라도 된다.
도 3은 복수의 논리적인 전송로를 이용하여 화상이나 음성을 전송, 제어하는 방법에 대하여 설명한 도면이다. 전송하는 데이터 자신을 ES(엘리먼터리 스트림)라 하고, ES로서는 화상이라면 1프레임분의 화상정보나 l프레임보다 작은 GOB 단위나 매크로 블록 단위의 화상정보라도 된다.
음성이라면 이용자가 정한 고정길이의 길이라도 된다. 또 전송하는 데이터에 부가하는 데이터 제어용 헤더정보를 AL(어댑테이션 레이어 정보)이라 한다. AL 정보로서는 데이터의 처리 가능한 개시 위치인지의 여부를 나타내는 정보, 데이터의 재생시각을 나타내는 정보, 데이터의 처리 우선도를 나타내는 정보 등을 들 수 있다. 본 발명의 데이터 관리정보는 AL 정보에 대응한다. 또 본 발명에서 이용되는 ES와 AL은 MPEGl/2에서 정의되어 있는 내용과 반드시 합치하지 않아도 된다.
데이터 처리 가능한 개시 위치인지의 여부를 나타내는 정보는 구체적으로는 2종류의 정보를 들 수 있다. 하나는 랜덤 액세스를 위한 플래그이며, 예를 들어 화상이라면 인트라 프레임(I픽처)이라는 것과 같이 전후의 데이터에 관계없이 단독으로 판독하여 재생되는 것을 나타내기 위한 정보이다. 두 번째로서는 단순히 단독으로 판독이 가능한 것을 나타내기 위한 플래그로서, 액세스 플래그를 정의할 수 있다. 예를 들어 화상이라면 GOB 단위나 매크로블록 단위의 화상의 선두인 것을 나타내는 정보이다. 따라서 액세스 플래그가 없으면 데이터의 도중이다. 반드시 데이터 처리 가능한 개시 위치인지의 여부를 나타내는 정보로서 랜덤 액세스의 플래그와 액세스 플래그가 모두 필요하지는 않다.
TV 회의 시스템과 같은 리얼타임 통신에서는 양쪽의 플래그를 부가하지 않아도 문제가 발생되지 않는 경우도 있고, 편집을 간단히 할 수 있도록 하기 위해서는 랜덤 액세스 플래그는 필요하다. 플래그가 필요하지만, 필요한 경우라도 어떤 플래그가 필요한지를 통신로를 통해 데이터 전송 전에 결정해두어도 된다.
데이터의 재생시각을 나타내는 정보는 화상과 음성이 재생될 때의 시간동기 정보를 나타내며, MEPGl/2에서는 PTS(프레젠테이션·타임 스탬프)라 불리운다. TV 회의 시스템과 같은 리얼타임 통신에서는 통상, 시간동기에 관해서는 고려되어 있지 않기 때문에 반드시 재생시각을 의미하는 정보는 필요없다. 필요한 정보로서는 인코드된 프레임의 시간간격이 될지도 모른다.
시간 간격을 수신측에서 조정시킴으로써 프레임 간격의 큰 변동은 막을 수 있지만, 재생간격을 조정시킴으로써 지연이 될 가능성도 있다. 따라서 인코드의 프레임 간격을 나타내는 시간정보도 필요없다고 판단되는 경우도 있다.
데이터의 재생시각을 나타내는 정보는 PTS를 의미하는 것인가, 프레임 간격을 의미하는 것인가를, 데이터의 재생시각을 데이터 자신에게는 부가하지 않는다는 것을 통신로를 통해 데이터 전송 전에 결정하여 수신단말에 통지하고, 결정된 데이터 관리정보와 함께 데이터를 전송해도 된다.
데이터 처리의 우선도를 나타내는 정보는 수신단말의 부하나 네트워크의 부하에 따라서 처리 또는 전송할 수 없는 경우에 데이터의 처리를 중지시키거나 전송을 취소함으로써 수신단말의 부하나 네트워크의 부하를 저감시킬 수 있다.
수신단말에서는 화상신장 관리부(15)에서, 네트워크에서는 중계의 단말이나 라우터 등에서 처리할 수 있다. 우선도의 표현방법으로서는 수치에 의한 표현이나 플래그라도 된다. 또 데이터의 처리 우선도를 나타내는 정보의 오프셋 값을 제어정보, 혹은 데이터와 함께 데이터 관리정보(AL의 정보)로 하여 전송함으로써 수신단말의 부하나 네트워크 부하의 급격한 변동에 대하여 미리 화상이나 음성에 할당되어 있는 우선도에 오프셋 값을 부가함으로써 시스템의 동작상황에 따른 동적인 우선도의 설정이 가능하게 된다.
또한 스크램블의 유무, 저작권의 유무, 오리지널인지 복사본인지를 식별하기 위한 정보를 데이터와는 별도로, 데이터의 식별자(SSRC)와 함께 제어정보로서 송신함으로써 중계 노드에서의 스크램블의 해제 등이 용이하게 된다.
또 데이터의 처리 우선도를 나타내는 정보는 복수의 비디오나 오디오의 프레임 집합으로 구성되는 스트림 단위로 부가해도 되고, 비디오나 오디오의 프레임 단위로 부가해도 된다.
H. 263이나 G. 723 등의 부호화방법에서, 부호화된 정보의 과부하시의 처리 우선도를 미리 정해진 기준으로 결정하고, 부호화된 정보와 결정된 우선도를 대응짓는 우선도 부가수단을 송신 단말장치에 구비한다(도 46 참조).
도 46은 영상과 음성에 우선도를 부가하는 우선도 부가수단(5201)에 대하여 설명하는 도면이다.
즉 도 46에 도시된 바와 같이, 부호화된 영상과 음성의 각 데이터(각각 영상 부호화수단(5202)과 음성 부호화수단(5203)이 처리함)에 대하여 미리 정해진 규칙에 기초하여 우선도를 부가한다. 우선도를 부가하는 규칙은 우선도 부가규칙(5204)에 규칙이 저장되어 있다. 규칙이란 I프레임(프레임내 부호화된 영상 프레임)은 P프레임(프레임간 부호화된 영상 프레임)보다 높은 우선도를 부가한다는 규칙이나, 영상은 음성보다 낮은 우선도를 부가한다는 규칙이다. 또 이 규칙은 이용자의 지시에 따라 동적으로 변경해도 된다.
우선도를 부가하는 대상이 되는 것은, 예를 들어 화상이라면 화면 교체, 편집자나 이용자가 지시한 화상 프레임이나 스트림, 음성이라면 유성음 구간과 무성음 구간이다.
과부하시의 처리 우선도를 정의하는, 화상이나 음성프레임 단위의 우선도의 부가방법은 통신 헤더에 부가하는 방법과 부호화시에 비디오나 오디오의 부호화된 비트스트림의 헤더에 매립하는 방법이 고려된다. 전자는 복호하지 않고 우선도에 관한 정보를 얻을 수 있으며, 후자는 시스템에 의존하지 않고 비트스트림 단체(單體)로 독립적으로 취급할 수 있다.
통신 헤더에 우선도 정보를 부가하는 경우, 하나의 화상프레임(예를 들면 프레임내 부호화된 I프레임, 프레임간 부호화된 P, B 프레임)이 복수개의 송신 패킷으로 분할되는 경우, 화상이라면 단독의 정보로서 액세스 가능한 화상프레임의 선두부분을 전송하는 통신 헤더에만 우선도를 부가한다(동일한 화상프레임 내에서 우선도가 같은 경우, 다음 액세스 가능한 화상프레임의 선두가 나타날 때까지 우선도는 변하지 않는 것으로 하면 됨).
또 용도에 맞추어 우선도를 표현할 수 있는 값의 범위(예를 들면 시간정보를 16비트로 표현하거나, 32비트로 표현함)를 가변으로 하여 제어정보로 구성할 수 있도록 해도 된다.
또한 복호화장치에서는 수신된 각종 부호화된 정보의 과부하시의 우선도에 따라 처리방법을 결정하는 우선도 결정수단을 수신 단말장치에 구비한다(도 47 참조).
도 47은 영상과 음성에 부가된 우선도를 해석하고, 복호처리의 가부를 결정하는 우선도 결정수단(5301)에 대하여 설명하는 도면이다.
즉 도 47에 도시된 바와 같이 우선도는 영상, 음성마다의 스트림별로 부가되는 우선도, 영상 또는 음성의 프레임별로 부가되는 우선도이다. 이들 우선도는 각각 독립적으로 이용해도 되고, 프레임 우선도와 스트림 우선도를 대응지어 이용해도 된다. 우선도 결정수단(5301)은 이들 우선도에 따라 복호해야 할 스트림이나 프레임을 결정한다.
단말에서의 과부하시의 처리 우선도를 결정하는 2종류의 우선도를 이용하여 디코드 처리를 행한다.
즉 영상, 음성이라는 비트스트림간의 상대적 우선도를 정의하는 스트림 우선도(Stream Priority ; 시계열간 우선도)와, 동일 스트림 내의 영상 프레임이라는 복호처리 단위간의 상대적 우선도를 정의하는 프레임 우선도(Frame Priority ; 시계열내 우선도)를 정의한다(도 24).
전자의 스트림 우선도에 의해 복수의 비디오나 오디오의 취급이 가능하게 된다. 후자의 프레임 우선도에 의해 영상의 화면 교체나 편집자의 의도에 따라 동일한 프레임 내 부호화된 영상프레임(I프레임)이라도 다른 우선도의 부가가 가능하게 된다.
또 스트림 우선도를 화상이나 음성의 부호화 혹은 복호화 처리의 오퍼레이팅 시스템(OS)에서의 할당시간 혹은 처리의 우선도에 대응지어 관리함으로써, 0S 레벨에서의 처리시간의 관리가 가능해진다. 예를 들면 마이크로소프트사의 윈도우즈 95/NT에서는 5단계의 OS 레벨에서의 우선도를 정의할 수 있다. 부호화, 복호화의 수단을 소프트웨어에서 스레드의 단위로 실현한 경우, 처리대상이 되는 스트림의 스트림 우선도로부터 각 스레드에 할당하는 OS 레벨에서의 우선도를 결정할 수 있다.
여기에서 설명한 프레임 우선도와 스트림 우선도는 전송매체나 기록매체에 적용할 수 있다. 예를 들면 전송하는 패킷의 우선도를 액세스 유니트 우선도(Access Unit Priority)라 정의하면,
액세스 유니트 우선도 = 스트림 우선도 - 프레임 우선도
라는 프레임 우선도와 스트림 우선도의 관계식으로부터 패킷의 전송에 관한 우선도 혹은 단말에 의한 과부하시의 처리 우선도를 결정할 수 있다.
또 데이터 기록매체로서 플로피 디스크, 광디스크 등을 이용하여 행할 수 있다. 또 기록매체는 이것에 한정되지 않고 IC 카드, ROM 카세트 등, 프로그램을 기록할 수 있는 것이면 마찬가지로 실시할 수 있다. 또한 데이터를 중계하는 라우터나 게이트웨이라는 화상이나 음성의 중계장치를 대상으로 해도 된다.
구체적인 우선도에 관한 이용방법으로서는 수신단말이 과부하인 경우에 처리해야 할 부호화된 정보의 우선도의 임계값을 결정하는 우선도 결정수단을 화상신장 관리부나 음성신장 관리부에 구비하고, 표시되어야 할 시각(PTS)과 현재까지의 처리개시로부터의 경과시각 혹은 복호되어야 할 시각(DTS)과 현재까지의 처리개시로부터의 경과시각을 비교하여, 비교결과에 의해 처리해야 할 부호화된 정보의 우선도의 임계값을 변화시킨다(임계값을 변화시키기 위한 정보로서는 I프레임의 삽입간격, 우선도의 그레이딩을 참고로 해도 됨).
도 20a에 도시된 예에서는 인코드 시에는 도입된 QCIF, CIF 사이즈의 화상을 인코더(H. 263)에 의해 인코드 하고, 인코드 된 정보와 함께 복호하는 시각(DTS), 화상을 표시하는 시각을 나타내는 타임스탬프(PTS), 과부하시의 처리 순서를 나타내는 우선도 정보(CGD, Computational Graceful Degradation), 프레임 타입(SN), 시퀀스번호를 출력한다.
또한 도 20b에 도시된 예에서는, 음성도 또한 마이크를 통해 녹음되고 인코더(G. 721)에 의해 인코드 되며, 인코드 된 정보와 함께 복호하는 시각(DTS), 음성을 재생하는 시각을 나타내는 타임스탬프(PTS), 우선도 정보(CGD), 시퀀스 번호(SN)를 출력한다.
디코드 시에는 도 20c에 도시된 바와 같이 화상과 음성은 각각 별개의 버퍼로 건네지고, 화상과 음성은 각각의 DTS(복호시각)와 현재의 처리개시로부터의 경과시각을 비교하여, DTS 쪽이 지연되어 있지 않으면 화상과 음성은 각각의 디코더(H. 263, G. 721)로 건네진다.
도 21의 예에서는 인코더에서의 과부하시의 우선도 부가방법에 대하여 기록하고 있다. 화상은 I프레임(프레임 내 부호화된 화상프레임)은 우선도가 「O」과 「1」로, 높은 우선도를 할당하고 있다(숫자가 클수록 우선도가 낮다). P프레임은 우선도가「2」로, I프레임보다도 낮은 우선도를 할당하고 있다. I프레임은 2단계의 우선도를 할당하고 있기 때문에 디코드하는 단말의 부하가 높은 경우, 우선도가 「0」인 I프레임만을 재생한다고 할 수 있다. 또 우선도의 부가방법에 따라 I프레임의 삽입간격을 조정할 필요가 있다.
도 22의 예는 과부하시의 수신단말에서의 우선도의 결정방법에 대하여 기록한 도면이다. 폐기하는 프레임의 우선도를 컷 오프 우선도(cut Off Priority)보다 크다고 설정한다. 즉, 모든 화상프레임을 처리의 대상으로 한다. 화상프레임에 부가되는 우선도의 최대값은 단말접속시에 송신측으로부터 수신측으로 통지함으로써 미리 알 수 있다(단계 101).
DTS와 현재의 처리 개시로부터의 경과시간을 비교하여 경과시간 쪽이 큰 경우(복호처리가 충분하지 않은 경우), 처리대상으로 해야 할 화상, 음성의 우선도의 임계값 컷 오프 우선도를 내려 처리를 정선하고(단계 102), 반대로 처리 개시로부터의 경과시간 쪽이 작은 경우(복호처리가 충분한 경우)는 처리되는 대상의 화상이나 음성을 늘리기 위해 우선도의 임계값 컷 오프 우선도를 올린다(단계 103).
1개 앞의 화상프레임이 P프레임으로 스킵되어 있으면 처리는 행하지 않는다. 그렇지 않으면 화상프레임(혹은 음성 프레임)의 우선도에 우선도의 오프셋값을 부가하고, 우선도의 임계값과 비교하여, 임계값을 넘지 않았으면 디코더에 복호해야 할 데이터를 건네준다(단계 104).
또 우선도의 오프셋은 머신의 성능을 미리 조사하여 수신단말에 오프셋을 통지해 두는 사용방법(이용자가 수신단말로 지시해도 됨), 복수의 비디오와 사운드스트림의 스트림 단위의 우선도를 변경하는 사용방법(예를 들면 가장 뒤의 배경은 오프셋 값을 올려 처리를 정선하도록 함)이 가능하다.
멀티스트림을 대상으로 하는 경우, 스트림마다 우선도를 부가하고 화상이나 음성 디코드의 스킵을 판정해도 된다. 덧붙여서 리얼타임 통신에서도 H. 263의 TR(임시 리퍼런스)을 DTS와 마찬가지로 취급 이용함으로써 단말에서의 디코드 처리가 진행되고 있는지 지연되고 있는지를 판정할 수 있고, 상기 설명한 스킵처리를 실현할 수 있다.
도 23은 앞에서의 알고리즘을 실장하여, 우선도의 시간변화를 조사한 것이다.
도 23에서는 영상프레임에 부가되는 우선도의 변화를 도시한다. 이 우선도는 단말이 과부하일 때 복호의 가부를 결정하기 위한 우선도이고, 각 프레임마다 부가된다. 우선도는 값이 작을수록 우선도가 높다. 도 23의 예에서는 0이 가장 우선도가 높다. 우선도의 임계값이 3일 때, 3보다 큰 값의 우선도의 프레임은 복호되지 않고 폐기되며, 3 이하의 값이 부가되어 있는 우선도가 부가되어 있는 프레임은 복호된다. 우선도에 의한 선택적인 프레임을 폐기함으로써 단말의 부하를 억제할 수 있다. 이 우선도의 임계값은 현재의 처리시각과 각 프레임에 부가되는 복호처리시간(DTS)의 관계로부터 동적으로 결정해도 된다. 이 방법은 영상프레임뿐만 아니라 음성에 대해서도 같은 요령으로 적용할 수 있다.
인터넷과 같은 전송로를 고려한 경우, 전송 도중에 분실한 부호화된 정보의 재송이 필요한 경우, 재송해야 할 부호화된 정보의 우선도의 임계값을 결정하는 재송요구 우선도 결정부를 수신관리부에 구비하고, 우선도 결정부가 관리하는 우선도나, 재송횟수, 정보의 손실률, 프레임내 부호화된 프레임의 삽입간격, 우선도의 그레이딩(예를 들면 5단계의 우선도 등)의 정보를 바탕으로 재송 요구해야 할 부호화된 정보에 부가된 우선도의 임계값을 결정함으로써, 수신단말에서 필요로 하는 화상이나 음성만을 재송 요구할 수 있다. 재송횟수나 정보의 손실률이 크면 재송해야 할 대상으로 하는 정보의 우선도를 올려 재송이나 손실률을 저하시킬 필요가 있다. 또한 우선도 결정부에서 사용되고 있는 우선도를 인지함으로써 처리대상 외의 정보의 전송을 없앨 수 있다.
송신측 단말에 관해서는 송신단말의 정보의 목표 전송 레이트보다 실제의 전송레이트가 초과되는 경우나, 송신버퍼로의 부호화된 정보의 기입이 현재까지의 전송처리 개시로부터의 경과시간과 부호화된 정보에 부가되어 있는 복호 혹은 표시되는 시각을 비교하여, 송신 버퍼로의 정보 기입이 지연되고 있는 경우, 부호화된 정보에 부가되고, 수신단말의 우선도 결정부에서 이용되는 단말이 과부하시의 우선도를 이용하여, 정보 송신을 정선함으로써 목표 레이트에 맞는 화상이나 음성의 전송이 가능해진다. 또한, 송신측 단말에서도, 수신측단말에서 행하고 있는 것과 같은 과부하시의 처리 스킵기능을 도입함으로써 송신측 단말의 과부하에 의한 파탄을 억제할 수 있다.
상기에서 설명한 AL의 정보를 필요에 따라 필요한 정보만을 전송할 수 있도록 함으로써 아날로그 전화회선과 같은 협대역의 통신로에는 전송 정보량을 조절할 수 있으므로 유효하다. 실현방법으로서는 송신측 단말에서 데이터 자신에 부가하는 데이터 관리정보를 미리 데이터 송신 전에 결정하고, 수신단말에 사용하는 데이터 관리정보를 제어정보(예를 들면, 랜덤 액세스 플래그만을 사용한다거나)로서 통지함과 동시에, 수신측 단말에서는 얻어진 제어정보를 바탕으로, 상기 전송포맷 기억부(103)에서 기억하는 전송 구조에 관한 정보(어느 AL의 정보를 사용하는지 나타내고 있음)를 다시 기입함으로써 송신측에서 사용하는 AL의 정보(데이터 관리정보)의 재조합이 가능하게 된다(도 16 참조).
도 4는 송신해야 할 화상이나 음성 데이터에 부가하는 헤더정보의 동적인 변경방법에 대하여 설명하는 도면이다. 도면의 예에서는 전송해야 할 데이터(ES)를 데이터 조각으로 분해하여, 얻어진 데이터 조각에 데이터의 순서관계를 나타내기 위한 식별정보(시퀀스 번호)와, 데이터 조각을 처리할 수 있는 개시 위치인지의 여부를 나타내는 정보(마커 비트)와, 데이터 조각의 전송에 관한 시간정보(타임 스탬프)를 본 발명의 전송 관리정보에 대응하는 것으로 하여 통신 헤더의 형태로 데이터조각에 부가하고 있다.
구체적인 예로서는 RTP(Realtime Transfer Protocol, RFC1889)에서는 상기의 시퀀스 번호, 마커 비트, 타임스탬프, 오브젝트 ID(SSRC라 함), 버전 번호 등의 정보를 통신 헤더로서 사용하고 있다. 헤더 정보 항목의 확장은 가능하지만 상기 항목은 고정 항목으로서 반드시 부가된다. 그러나 복수의 다른 부호화 화상이나 음성을 복수, 동시에 전송하는 통신환경에서, TV 전화와 같이 리얼타임 통신과 비디오 온 디맨드와 같이 축적 미디어의 전송이 혼재하는 경우, 통신 헤더가 갖는 이유가 달라 식별하는 수단이 필요하다.
예를 들면 타임스탬프의 정보는 MPEGl/2의 경우는 상술한 바와 같이 재생시각인 PTS를 나타내지만, H. 261이나 H. 263에서는 인코드 된 시간 간격을 나타낸다. 그러나 H. 263을 음성과 동기를 취하여 처리하고 싶은 경우, 타임스탬프가 PTS의 정보인 것을 나타낼 필요가 있다. 왜냐하면 H. 263의 경우, 타임스탬프의 정보는 인코드 된 프레임간의 시간 간격을 나타내는 것으로서, 1매 째의 프레임의 타임스탬프는 랜덤하다고 RTP에서 정의되어 있기 때문이다.
따라서 (a) 타임스탬프가 PTS 인지의 여부를 나타내는 플래그를 통신 헤더정보(통신 헤더의 확장이 필요하게 됨) 혹은 (b) H. 263나 H. 261의 페이로드의 헤더정보(요컨대, AL 정보)로서 부가할 필요가 있다(이 경우, 페이로드 정보의 확장이 필요하게 됨).
RTP의 헤더정보로서, 데이터 조각을 처리할 수 있는 개시 위치인지의 여부를 나타내는 정보인 마커 비트가 부가되어 있지만, AL 정보로서도 상술한 바와 같이 데이터에 대하여 액세스할 수 있는 개시 시점인 것을 나타내는 액세스 플래그, 랜덤하게 데이터에 대하여 액세스할 수 있는 것을 나타내는 랜덤 액세스 플래그를 갖게 하고 싶은 경우가 있다. 중복하여, 통신 헤더에 갖게 하는 것은 비효율적이므로 AL의 플래그를 통신 헤더에서 준비하고 있는 플래그로 대용시키는 방법도 고려된다.
(c) AL에 플래그를 부가하지 않고 통신 헤더에 부가하고 있는 헤더에서 AL의 플래그를 대용시키는 것을 나타내는 플래그를 통신 헤더에 새로 설치하거나, 통신 헤더의 마커 비트는 AL의 것과 같다고 정의함으로써 문제는 해결된다(AL에 갖게 하는 것보다 해석이 빨리 되는 것을 기대할 수 있다). 요컨대 마커 비트가 AL의 플래그와 같은 의미를 갖는지의 여부를 나타내는 플래그이다. 이 경우, 통신 헤더의 개량 혹은 확장영역에 기술하는 것이 고려된다.
반대로, (d) 통신 헤더의 마커 비트의 의미를 AL에 적어도 랜덤 액세스 플래그 혹은 액세스 플래그 중 어느 것이 존재하는지를 의미하도록 해석하도록 해도 된다. 이 경우 종래와는 해석의 의미가 변한 것을 알려면 통신 헤더의 버전 번호로 대응할 수 있다. 이 이외에 단순한 방법으로서는 통신 헤더 혹은 AL의 헤더에만 액세스 플래그나 랜덤 액세스 플래그를 설치하면 처리는 간단하다(전자의 경우, 플래그를 양쪽 모두 설치하는 경우도 고려할 수 있지만, 통신 헤더의 새로운 확장이 필요하게 된다).
데이터 처리의 우선도를 나타내는 정보를 AL의 정보로서 부가하는 것은 설명하였지만, 통신 헤더에 데이터의 처리 우선도를 부가함으로써 데이터 처리의 우선도 처리의 판정이 네트워크상에 있어도 데이터의 내용을 해석하지 않고 행하는 것이 가능해진다. 또 IPv6의 경우, RTP의 레벨보다 하위의 레이어로 부가하는 것이 가능하다.
RTP의 통신 헤더에 데이터 처리의 유효기간을 나타내기 위한 타이머 혹은 카운터를 부가함으로써, 전송되어 오는 패킷의 어느 상태 변화가 어떻게 변화하고 있는지를 판단할 수 있다. 예를 들면, 필요하게 되는 디코더 소프트웨어가 액세스 속도가 느린 기억장치에 기억되어 있는 경우, 디코더가 필요로 하게 되는 정보와, 타이머나 카운터에 의해 어느 시점에서 필요하게 되는지를 판단하는 것이 가능하게 된다. 이 경우, 용도에 따라서는 AL 정보에 타이머나 카운터, 데이터 처리의 우선도의 정보는 불필요하다.
도 5a∼도 5b, 도 6a∼도 6d는 AL 정보의 부가방법에 대하여 설명하는 도면이다.
도 5a에 도시된 바와 같이 AL을 전송해야 할 데이터의 선두에만 부가할 것인지 혹은 도 5b에 도시된 바와 같이 전송해야 할 데이터(ES)를 1개 이상의 데이터 조각으로 분해한 후 데이터 조각의 각각에 부가할 것인지를 통지하는 제어정보를 수신단말로 송부함으로써, 전송정보의 취급 그레이딩을 선택할 수 있도록 하는 것이 가능하게 된다. AL을 세분화된 데이터에 대하여 붙임으로써 액세스 지연이 문제가 되는 경우에는 유효하다.
상술한 바와 같이, 수신측에서의 데이터 관리정보의 재편성이나 데이터 관리정보를 데이터에 배치하는 방법의 변경이 행해지는 것을 미리 수신측 단말에 통지하기 위해, 플래그, 카운터, 타이머와 같은 표현방법을 이용하여 AL 정보로서 준비하거나, 통신 헤더로서 준비하여 수신단말에 통지함으로써, 수신단말이 원활하게 대응할 수 있게 된다.
지금까지의 예에서는 RTP의 헤더(또는 통신 헤더)와 AL 정보의 중복을 피하는 방법이나, RTP의 통신 헤더나 AL 정보를 확장하는 방법에 대하여 설명하였다. 그러나 본 발명은 반드시 RTP일 필요는 없다. 예를 들면 UDP나 TCP를 사용하여 독자적인 통신 헤더나 AL 정보를 새롭게 정의해도 된다. 인터넷 프로파일에서는 RTP를 사용하는 일은 있지만, Raw 프로파일에서는 RTP와 같은 다기능 헤더는 정의되어 있지 않다. AL 정보와 통신 헤더에 관한 관점으로는 다음 4가지가 있을 수 있다.(도 6a∼도 6d 참조).
(1) RTP와 AL에서, 이미 할당되어 있는 헤더정보가 중복되지 않도록 RTP의 헤더정보 혹은 AL 정보를 수정, 확장한다(특히 타임 스탬프의 정보가 중복, 타이머나 카운터, 데이터의 처리 우선도 정보가 확장정보가 된다). 혹은 RTP의 헤더도 확장하지 않고, AL 정보도 RTP의 것과 중복되어 있어도 고려하지 않는 방법이라도 된다. 이들에 관해서는 지금까지 나타낸 내용에 상당한다. RTP는 이미 일부의 H. 323에서 실용화되고 있으므로 호환성을 유지한 RTP의 확장은 유효하다(도 6a 참조).
(2) RTP에 구애받지 않고 통신 헤더를 간략하게 하며(예를 들면, 시퀀스 번호만으로 한다거나), 나머지를 AL 정보에 다기능의 제어정보로서 갖게 한다. 또한 AL 정보로 사용하는 항목을 통신전에 가변으로 설정할 수 있도록 함으로써, 유연한 전송 포맷이 규정된다.(도 6b 참조)
(3) RTP에 구애받지 않고 AL 정보를 간략하게 하여(극단적인 예로는, AL에는 정보를 부가하지 않음) 통신 헤더에 모든 제어정보를 갖게 한다. 통신 헤더로서 빈번히 자주 참조될 수 있는 시퀀스 번호, 타임스탬프, 마커 비트, 페이로드 타입, 오브젝트 ID에 관해서는 고정의 헤더 정보로 하여 두고, 데이터 처리의 우선도 정보, 타이머 정보에 관해서는 확장정보로 하여 확장정보가 존재하는지의 여부를 나타내는 식별자를 설치해 두고, 확장정보가 정의되어 있으면 참조하도록 해도 된다. (도 6c 참조)
(4) RTP에 구애받지 않고 통신 헤더, AL 정보를 간략하게 하여 이들 통신 헤더나 AL 정보와는 다른 패킷으로서 포맷을 정의하여 전송한다. 예를 들면 AL 정보는 마커 비트, 타임스탬프, 오브젝트 lD만 정의하고, 통신 헤더도 시퀀스 번호만을 정의하여 이들의 정보와는 다른 전송 패킷(제 2 패킷)으로서 페이로드 정보, 데이터 처리의 우선도 정보, 타이머 정보 등을 정의하여 전송하는 방법도 고려된다(도 6d 참조).
상기에 나타낸 바와 같이, 용도나, 이미 화상이나 음성에 부가되어 있는 헤더 정보를 고려하면, 용도에 맞추어, 통신 헤더, AL 정보, 데이터와는 별도로 전송하는 패킷(제 2 패킷)을 자유롭게 정의할 수 있도록(커스터마이즈되도록) 하는 것이 바람직하다.
도 7은 복수의 논리적인 전송로를 동적으로 다중화, 분리하여 정보를 전송하는 방법에 대하여 설명하는 도면이다. 논리적인 전송로의 수를 절약하기 위해, 이용자의 지시 혹은 논리적인 전송로의 수에 따라서 복수의 데이터 혹은 제어정보를 전송하기 위한 논리적인 전송로의 정보 다중화를 개시하거나, 종료시키는 것이 가능한 정보 다중부를 전송부에, 다중화된 정보를 분리하는 정보 분리부를 수신관리부에 설치함으로써 실현된다.
또 도 7에서는 정보 다중부를 "그룹 MUX"라 부르고 있고, 구체적으로는 H. 223과 같은 다중화방식을 이용하면 된다. 이 그룹 MUX는 송수신 단말에 설치해도 되고, 중계의 라우터나 단말에 설치함으로써 협대역으로의 통신로에 대한 대응이나 그룹 MUX를 H. 223으로 실현하면 H. 324와 상호 접속된다.
정보 다중부에 관한 제어정보(다중화 제어정보)를 민첩하게 인출하기 위해 정보 다중부의 제어정보를 정보 다중부에서 데이터와 다중화 하여 송신하는 것은 아니고, 다중화하지 않고 다른 논리적인 전송로로 전송함으로써 다중화에 의한 지연을 저감할 수 있다. 이에 따라 정보 다중부에 관한 제어정보를 데이터와 다중화 하여 전송할 것인지, 데이터와 다중화 하여 송신하는 것은 아니라, 다중화하지 않고 다른 논리적인 전송로로 전송할 것인지를 통지하여 전송함으로써, 종래의 다중화와 정합성을 유지시키거나, 다중화에 의한 지연을 저감시킬 것인지를 이용자가 선택할 수 있게 된다. 여기에서 정보다중부에 관한 다중화 제어정보란, 예를 들면 정보다중부가 각 데이터에 대하여 어떠한 다중화를 행하고 있는가라는 다중화의 내용을 나타내는 정보이다.
상술한 바와 같이, 적어도 다중화의 개시와 종료를 통지하는 정보, 다중화해야 할 논리적인 전송로의 조합을 통지하기 위한 정보, 다중화에 관한 제어정보(다중화 제어정보)의 전송방법의 통지를 플래그, 카운터, 타이머와 같은 표현방법으로, 제어정보로서 전송 혹은 데이터 관리정보로서 데이터와 함께 수신측 단말에 전송함으로써 수신측에서의 셋업시간을 단축할 수 있다. 또 상술한 바와 같이 플래그, 카운터, 타이머를 표현하는 항목은 RTP의 송신 헤더에 설치해도 된다.
복수개의 정보 다중부나 정보 분리부가 존재하는 경우, 정보 다중부나 정보 분리부를 식별하기 위한 식별자와 함께 제어정보(다중화 제어정보)를 전송하면 어떤 정보다중부에 관한 제어정보(다중화 제어정보)인지를 식별할 수 있다. 제어정보(다중화 제어정보)로서는 다중화의 패턴 등을 들 수 있다. 또한 정보다중부나 정보분리부의 식별자를 난수를 이용하여 단말 간에서 결정함으로써 정보다중부의 식별자를 생성할 수 있다. 예를 들면 송수신 단말 간에서 정해진 범위에서의 난수를 발생시키고 큰 쪽의 값을 정보다중부의 식별자(식별번호)로 하면 된다.
정보다중부에서 다중화 된 데이터는 종래 RTP에서 정의되어 있는 미디어 타입과는 다르기 때문에, RTP의 페이로드 타입에 정보다중부에서 다중화 된 정보인 것을 나타내는 정보(새로운 미디어 타입, H. 223을 정의)를 정의하면 된다.
다중화 된 데이터에 대한 액세스 속도를 향상시키는 방법으로서, 정보다중부에서 전송 또는 기록하는 정보를 제어정보, 데이터 정보의 순으로 배치함으로써 다중화 된 정보가 빨리 해석되는 것을 기대할 수 있다. 또한 제어정보에 부가하는 데이터 관리정보로 기술하는 항목은 고정으로 하고, 데이터와는 다른 식별자(유니크한 패턴)를 부가하여 다중화 함으로써 헤더정보를 빠르게 해석할 수 있다.
도 8은 방송 프로그램의 전송순서에 대하여 설명하기 위한 도면이다. 논리적인 전송로의 식별자와 방송 프로그램 식별자의 대응관계를 방송 프로그램의 정보로서 제어정보를 전송하는지, 방송 프로그램의 식별자를 데이터 관리정보(AL 정보)로서 데이터에 부가하여 전송함으로써 복수의 전송로에서 전송되는 데이터가 어떤 프로그램을 위해 방송되고 있는지를 식별할 수 있게 된다. 또한 데이터의 식별자(RTP에서는 SSRC)와 논리적인 전송로의 식별자(예를 들면 LAN의 포트 번호)와의 관계를 제어정보로서 수신측단말에 전송하고, 수신측 단말에서는 수신 가능한 것을 확인한 후(확인/거부), 대응하는 데이터를 전송함으로써 제어정보와 데이터를 독립된 전송로로 전송하더라도 데이터간의 대응관계가 유지된다.
방송 프로그램이나 데이터에 대하여 전송의 순서 관계를 나타내는 식별자와, 방송 프로그램이나 데이터가 정보로서 이용되는 유효기한을 나타내기 위한 카운터 혹은 타이머의 정보를 조합시켜 방송 프로그램이나 데이터에 부가하여 전송함으로써 복귀채널 없이 방송이 실현된다(유효기한이 경과할 듯이 되면 부족한 정보가 있어도 방송 프로그램 정보나 데이터의 재생을 개시함). 단일 통신 포트의 어드레스(멀티캐스트 어드레스)를 사용하여 제어정보와 데이터로 분리하지 않고 방송하는 방법도 고려된다.
또 백 채널을 갖지 않는 통신의 경우, 데이터의 구조정보를 수신단말을 알 수 있도록 제어정보는 데이터보다도 충분히 미리 전송해 둘 필요가 있다. 또한 제어정보는 일반적으로는 패킷 손실이 없는 신뢰성이 높은 전송 채널로 전송해야 하지만, 신뢰성이 낮은 전송 채널을 이용하는 경우는 주기적으로 같은 전송 시퀀스 번호를 가진 제어정보를 반복 전송할 필요가 있다. 이것은 셋업시간에 관한 제어정보를 보내는 경우에 한정된 이야기는 아니다.
또 데이터 관리정보로서 부가 가능한 항목(예를 들면, 액세스 플래그, 랜덤 액세스 플래그, 데이터의 재생시각(PTS), 데이터 처리의 우선도 정보 등)을 선택하여, 제어정보로서 데이터의 식별자(SSRC)와 함께 데이터와는 다른 논리적인 전송로로 전송할 것인지, 데이터와 함께 데이터 관리정보(AL 정보)로서 전송할 것인지를 데이터 송신 전에 송신측에서 결정하여 수신측에 제어정보로서 통지하여 전송함으로써 유연한 데이터 관리와 전송이 가능해진다.
이에 따라 AL에는 정보를 부가하지 않고 데이터 정보를 전송할 수 있으므로, RTP를 이용하여 화상이나 음성 데이터를 전송할 때 종래부터 정의되어 있는 페이로드의 정의를 확장할 필요가 없어진다.
도 9a∼도 9b는 프로그램이나 데이터의 판독, 활성화시간을 고려한 화상이나 음성의 전송방법을 도시한 도면이다. 특히 위성방송이나 휴대단말과 같이 복귀채널이 없이 한 방향으로, 단말의 자원이 한정되어 있는 경우에 프로그램이나 데이터가 수신측 단말에 존재하여 이용하는 경우, 필요하게 되는 프로그램(예를 들면 H. 263, MPEGl/2, 음성 디코더의 소프트웨어 등)이나 데이터(예를 들면, 화상 데이터나 음성 데이터)가 판독에 시간이 걸리는 기억장치(예를 들면, DVD, 하드디스크, 네트워크상의 파일 서버 등)에 존재하는 경우에 미리 필요하게 되는 프로그램이나 데이터를 식별하는 식별자와, 전송되는 스트림의 식별자(예를 들면 SSRC나, Logica1 Channel Number), 수신단말에서 필요하게 되는 시점을 추정하기 위한 플래그, 카운터(카운트 업, 다운), 타이머와 같은 표현방법으로 제어정보로서 수신, 혹은 데이터 관리정보로서 데이터와 함께 수신함으로써 필요하게 되는 프로그램이나 데이터의 셋업시간을 단축할 수 있게 된다(도 18).
한편 프로그램이나 데이터가 송신되는 경우, 프로그램이나 데이터의 수신단말에서의 기억장소(예를 들면, 하드디스크, 메모리), 기동이나 판독에 걸리는 시간, 단말의 종류나 기억장소와 기동이나 판독에 걸리는 시간의 대응관계(예를 들면, CPU 파워, 기억 디바이스와 평균적인 응답시간의 관계), 이용순서를 나타내는 정보와 함께 프로그램이나 데이터를 송신측으로부터 전송함으로써 수신측 단말에서 필요하게 되는 프로그램이나 데이터를 실제로 필요로 하게 되는 경우, 프로그램이나 데이터의 기억장소나 판독시간에 관하여 스케줄링이 가능해진다.
도 1Oa∼제 1Ob는 소거(TV의 채널 전환)에 대한 대응방법에 대하여 설명하는 도면이다.
종래부터 있는 영상을 수신할 뿐인 위성방송과 달리 프로그램을 수신단말에서 실행해야 할 때 프로그램의 판독이나 상승까지의 셋업시간이 큰 문제점이 된다. 이것은 휴대단말과 같이 이용 자원이 한정되는 경우라도 같다고 할 수 있다.
해결책의 하나로서 a 이용자가 시청하기 위한 주시청부와, 이용자가 시청하고 있는 이외의 프로그램에서, 필요하게 되는 프로그램이나 데이터가 판독에 시간이 걸리는 기억장치에 존재하는 경우에, 이용자가 시청하고 있는 프로그램 이외의 프로그램을 수신단말이 주기적으로 시청하는 부시청부를 구비하여 미리 필요하게 되는 프로그램이나 데이터를 식별하는 식별자와, 수신단말에서 필요하게 되는 시점을 추정하기 위한 플래그, 카운터, 타이머라는 정보와, 프로그램과의 대응관계를 제어정보(데이터와는 다른 패킷으로 전송되는, 단말처리를 제어하기 위한 정보)로서 수신 혹은 데이터 관리정보(AL 정보)로서 데이터와 함께 수신하여 프로그램이나 데이터의 판독을 준비해 둠으로써 수신측 단말에서의 셋업시간이 단축되는 것을 기대할 수 있다.
두 번째 해결책으로서는, 복수개의 채널로 방송되는 화상의 표제 화상만을 방송하는 방송 채널을 설치하고, 시청자가 시청 프로그램을 전환함으로써 필요하게 되는 프로그램이나 데이터가 판독에 시간이 걸리는 기억장치에 존재한 경우, 일단 시청하고 싶은 프로그램의 표제 화상을 선택하여 시청자에게 제시하거나, 판독중인 것을 제시하는 것과 함께, 기억장치로부터 필요하게 되는 프로그램이나 데이터를 판독하여, 판독 종료 후 시청자가 시청하고 싶은 프로그램을 재개함으로써 셋업 시에 발생하는 화면의 정지를 방지할 수 있다. 여기에서 말하는 표제 화상은 주기적으로 복수개의 채널로 방송되는 프로그램을 샘플링 한 방송화상을 가리킨다.
또한 타이머는 시간표현으로, 예를 들면 송신측으로부터 보내오는 데이터 스트림을 디코드 하는 데 필요한 프로그램은 현재로부터 어느 시점에서 필요하게 되는지를 나타낸다. 카운터는 송신단말 간에서 정한 기본 시간단위로, 몇 회째인지를 나타내는 정보면 된다. 플래그는 셋업에 필요한 시간 전에 송출하는 데이터 혹은 제어정보(데이터와는 다른 패킷으로 전송되는, 단말처리를 제어하는 정보)와 함께 전송하여 통지한다. 타이머, 카운터 모두 데이터 내에 매립하여 전송해도 되고 제어정보로서 전송해도 된다.
또한 셋업시간의 결정방법으로서는, 예를 들면 클록 베이스로 동작하고 있는 ISDN과 같은 전송로를 이용한 경우, 송신측 단말로부터 수신단말에서 프로그램이나 데이터가 필요하게 되는 시점을 통지하기 위해 전송 관리정보로서 전송의 순서관계를 식별하기 위한 송신 시리얼 번호를 이용하여 데이터 관리정보로서 데이터와 함께 혹은 제어정보로서 수신단말에 통지함으로써 셋업이 행해지는 시각을 예측할 수 있게 된다. 또한 인터넷과 같이 지터나 지연에 의해 전송시간이 변동하는 경우는 RTCP(인터넷의 미디어 전송 프로토콜)에서 이미 실현되고 있는 수단으로, 지터(jitter)나 지연시간으로부터 전송의 전파(傳播) 지연을 가미하여 셋업시간에 부가해 두면 된다.
도 11a부터 도 19b는 실제로 단말 간에서 송수신되는 프로토콜의 구체 예를 도시한 도면이다.
전송 포맷이나 전송수속은 ASN.1로 기술하였다. 또 본 전송 포맷은 ITU의 H. 245를 베이스로 확장하였다. 도 11a에도 도시되어 있는 바와 같이 화상이나 음성의 오브젝트는 계층구조를 이루고 있어도 되고, 여기의 예에서는 각 오브젝트 ID는 방송프로그램의 식별자(Program ID)와 오브젝트 ID(S SRC)의 속성을 갖고, 화상간의 구조정보, 합성방법은 Java, VRML이라는 스크립트 언어로 기술한다.
도 1la는 오브젝트간의 관계에 대한 예를 도시한 도면이다.
도 11a에서 오브젝트는 영상, 음성, CG, 텍스트 등의 미디어이다. 도 11a의 예에서는 오브젝트는 계층구조를 이루고 있다. 각 오브젝트는 프로그램 번호(TV의 채널에 상당, "Program ID")와 오브젝트를 식별하는 오브젝트 식별자"Object ID"를 갖는다. RTP(인터넷에서 이용되는 미디어 전송의 프로토콜, Realtime Transfer Protocol)로 각 오브젝트를 전송하는 경우는 오브젝트 식별자는 SSRC(동기 소스 식별자)에 대응시킴으로써 용이하게 오브젝트를 식별할 수 있다. 또 오브젝트간의 구조기술은 JAVA, VRML이라는 기술언어로 기술하는 것이 가능하다.
이들 오브젝트의 전송방법은 2가지가 고려된다. 하나는 방송형으로, 송신측 단말로부터 일방적으로 전송하는 형태이다. 다른 하나는 송수신 단말 간(단말 A, 단말 B)에서 오브젝트를 전송하는 형태(통신형)도 고려된다.
예를 들면 전송방법으로서는 인터넷의 경우는 RTP을 이용할 수 있다. 제어정보는 TV 전화의 규격에는 LCNO라 불리는 전송 채널을 이용하여 전송한다. 도 11a의 예에서는 전송에 복수의 전송 채널을 이용하고 있지만, 이들 채널은 동일한 프로그램 채널(Program ID)이 할당되어 있다.
도 11b는 본 발명에서 설명한 기능을 실현하기 위한 프로토콜의 실현방법에 대하여 설명한 도면이다. 여기에서는 TV 전화의 규격(H. 324, H. 323)에서 이용되는 전송 프로토콜(H. 245)을 이용하여 설명하기로 한다. H. 245를 확장함으로써 본 발명에서 설명한 기능을 실현한다.
도 11b의 예에서 나타낸 기술 방법은 ASN.1이라고 불리는 프로토콜 기술방식이다. "Terminal Capability Set"는 단말의 성능을 표현한다. 도 11b의 예에서는 "mpeg4 Capability"라고 기재한 기능을 종래부터 있는 H. 245에 대하여 확장하고 있다.
도 12에서는 "mpeg4 Capability"는 단말에서 동시에 처리할 수 있는 최대 영상의 수("Max Number Of Video"), 최대 음성의 수("Max Number Of Sounds"), 단말에서 실현할 수 있는 최대 다중화 기능의 수("Max Number Of Mux")를 기록하고 있다.
도 12에서는 이들을 정리하여, 처리할 수 있는 최대의 오브젝트 수("Number Of Process Object")로서 표현하고 있다. 또한 통신 헤더(도 12에서는 AL이라 표현)의 변경이 가능한지를 기록하는 플래그가 기록되어 있다. 이 값이 참(True)일 때 통신 헤더의 변경이 가능하다. "MPEG4 Capability"를 이용하여 단말 간에서 처리할 수 있는 오브젝트수를 서로 통지하는 경우에, 통지받은 쪽이 수리(처리) 가능하다면 "MEPG4 Capability Ack"를, 그렇지 않다면 "MEPG4 Capability Reject"를, "MEPG4 Capability"를 송신한 단말로 되돌린다.
도 l3a에서는 하나의 전송 채널(이 예에서는 LAN의 전송 채널)을 복수의 논리적인 채널에서 공유하여 사용하기 위해 복수의 논리적인 채널을 하나의 전송 채널에 다중화 하는 상술한 그룹 MUX를 사용하기 위한 프로토콜의 기술방법에 대하여 도시하고 있다. 도 13a의 예에서는 LAN(Local Area Network ; 근거리 통신망)의 전송채널("LAN Port Number")에 다중화 수단(Group MUX)을 대응시키고 있다. "Group Mux ID"는 다중화수단을 식별하기 위한 식별자이다. "Create Group Mux"를 이용하여 단말 간에서 다중화 수단을 사용하는 경우에 서로 통지하는 경우, 통지받은 쪽이 수리(사용) 가능하다면 "Create Group Mux Ack"를, 그렇지 않으면 "Create Group Mux Reject"를, "Create Group Mux"를 송신한 단말로 되돌린다. 다중화 수단의 반대 동작을 행하는 수단인 분리수단은 같은 방법으로 실현할 수 있다.
도 13b에서는 이미 생성한 다중화 수단을 소거하는 경우에 대하여 기술하고 있다.
도 13c에서는 LAN의 전송 채널과 복수의 논리적인 채널의 관계에 대하여 기술하고 있다.
LAN의 전송채널은 "LAN Port Number"로, 복수의 논리적인 채널은 "Logical Port Number"로 기술한다.
도 13c의 예에서는 하나의 LAN의 전송 채널에 대하여 최대 15개의 논리적인 채널을 대응시키는 것이 가능하다.
또 도 13c에서 사용할 수 있는 MUX의 수가 하나뿐인 경우는 Group Mux ID는 불필요하다. 또 Mux를 복수 사용하는 경우는 H. 223의 각 커맨드에 대하여 Group Mux ID가 필요하다. 또 다중화와 분리수단 사이에서 이용되는 포트의 대응관계를 통지하기 위한 플래그를 설치해도 된다. 또 제어정보도 다중화 할 것인지, 다른 논리적인 전송로를 통해 전송할 것인지를 선택할 수 있도록 하기 위한 커맨드를 설치해도 된다.
도 13a∼도 13c의 설명에서는 전송 채널은 LAN이지만, H. 223, MPEG2와 같이 인터넷 프로토콜을 사용하지 않는 방식이라도 된다.
도 14에서는 "Open Logical Channel"은 전송 채널의 속성을 정의하기 위한 프로토콜 기술을 도시한다. 도 14의 예에서는 H. 245의 프로토콜에 대하여 "MPEG4 Logical Channel Parameters"를 확장 정의하고 있다.
도 15에서는 LAN의 전송 채널에 대하여 프로그램 번호(TV의 채널에 상당)와, 프로그램의 이름을 대응시키고 있는("MPEG4 Logical Channel Parameters") 것을 도시한다.
또 도 15에서"Broadcast Channel Program"은 LAN의 전송 채널과 프로그램 번호의 대응지음을 방송형으로 송신하는 경우의 기술방법이다. 도 15의 예에서는 최대 1023개의 전송 채널과 프로그램 번호의 대응관계를 송부할 수 있다. 방송의 경우는 송신측으로부터 수신측으로 일방적으로 송신할 뿐이므로 이들 정보를 전송중의 손실을 고려하여 주기적으로 전송할 필요가 있다.
도 16a에서는 프로그램으로서 전송되는 오브젝트(예를 들면, 영상, 음성 등)의 속성에 대하여 기술하고 있다("MPEG4 Object Class definition"). 프로그램의 식별자("Program ID")에 대하여 오브젝트 정보("Object Structure Element")를 대응시키고 있다. 최대 1023개의 오브젝트를 대응시킬 수 있다. 오브젝트 정보로서는 LAN의 전송 채널("LAN Port Number"), 스크램블이 사용되고 있는지의 여부의 플래그("Scramble Flag"), 단말이 과부하인 경우의 처리 우선도를 변경하기 위한 오프셋 값을 정의하는 필드("CGD Offset"), 그리고 전송하는 미디어(영상, 음성 등)의 타입을 식별하기 위한 식별자(Media Type)를 기술한다.
도 16b의 예에서는 ES(여기에서는 1프레임분의 영상에 상당하는 데이터 열이라 정의함)의 복호처리를 관리하기 위해 AL(여기에서는 l프레임분의 영상을 복호하기 위해 필요한 부가정보라 정의함)이 부가되어 있다. AL의 정보로서는,
(1) Random Access Flag (단독으로 재생가능한지의 여부를 나타내는 플래그, 프레임 내 부호화된 영상 프레임이면 참이다),
(2) Presentation Time Stamp(프레임의 표시시각),
(3) CGD Priority(단말이 과부하시에 처리 우선도를 결정하기 위한 우선도의 값)가 정의되어 있다. 이들 1프레임분의 데이터 열을 RTP(인터넷으로 연속미디어를 전송하기 위한 프로토콜, Realtime Transfer Protocol)를 이용하여 전송하는 경우의 예를 나타내고 있다. "AL Reconfiguration"은 상기 AL로 표현할 수 있는 최대 값을 변경하기 위한 전송 표현이다.
도 16b의 예에서는 "Random Access Flag Max Bit"로서, 최대 2비트의 표현이 가능하다. 예를 들어 0이면 Random Access Flag는 사용하지 않는다. 2이면 최대 값은 3이다.
또 실수부와 가수부에 의한 표현을 행해도 된다(예를 들면 3＾6). 또 비설정시는 디폴트로 정해진 상태에서 동작하는 것으로 해도 된다.
도 17에서는,"Setup Request"는 셋업시간을 송신하기 위한 전송 표현을 도시한다. 프로그램을 송신하기 전에"Setup Request"는 송신되고, 전송되는 전송 채널번호("Logical Channel Number")와, 실행하는 프로그램 ID("execute Program Number"), 사용하는 데이터 ID("data Number"), 실행하는 커맨드의 ID("execute Command Number")를 대응지어 수신단말로 송부한다. 또한 다른 표현방법으로서, 전송채널 번호와 대응지어 실행 허가 플래그("flag"), 이후 몇 번 Setup Request를 수신하면 실행하는지를 기록한 카운터("counter"), 이후 어느 정도의 시간에서 실행하는지를 나타내는 타이머 값("timer")이라도 된다.
또 요구 예정의 리퀘스트의 예로서는 AL 정보의 고쳐 쓰기, 그룹 Mux의 상승 시간의 확보 등을 들 수 있다.
도 18은 도 16b에서 설명한 AL의 사용 유무를 송신단말로부터 수신단말로 통지하기 위한 전송 표현에 대하여 설명하는 도면이다("Control AL definition").
도 18에서 "Random Access Flag Use"가 참이면 Random Access Flag는 사용된다. 그렇지 않으면 사용하지 않는다. 이 AL의 변경 통지는 제어정보로서 데이터와는 다른 전송 채널로 전송해도 되고, 데이터와 함께 동일한 전송 채널로 전송해도 된다.
또 실행하는 프로그램으로서는 디코더 프로그램 등을 들 수 있다. 또 셋업의 리퀘스트는 방송, 통신 모두에 이용할 수 있다. 또 제어정보로서의 항목을 AL 정보로서의 어느 항목을 사용할 것인지를 상기 리퀘스트로 수신단말에 지시한다. 또 마찬가지로 통신 헤더에 어떤 항목을, AL 정보로서 어떤 항목을, 제어정보로서 이 항목을 사용할 것인지를 수신단말에 지시할 수 있다.
도 19a에서는 정보구조 식별자("header ID")를 이용하여 전송하는 헤더정보(데이터 관리정보, 전송 관리정보, 제어정보)의 구조를 송수신 단말 간에서 용도에 따라 변경하기 위한 전송표현의 예를 도시한다.
도 19a에서"class ES header"는 데이터와 같은 전송 채널로 전송되는 데이터 관리정보나, 전송 관리정보가 전송되는 정보의 구조를 정보 구조 식별자에 의해 송수신 단말 간에서 구별하고 있다.
예를 들면 "header ID"의 값이 O이면, buffer Size ES의 항목만 이용하고, "header ID"의 값이 1이면 "reserved"의 항목을 덧붙여 이용한다.
또 디폴트 식별자("use Header Extension")를 이용함으로써 디폴트 형식의 정보 구조를 이용할 것인지의 여부를 판정한다. "use Header Extension"이 참이면 if문의 내부 항목이 이용된다. 이들 구조정보에 관해서는 미리 송수신 단말간에서 정해져 있는 것으로 한다. 또 정보 구조 식별자와 디폴트 식별자는 어느 한쪽을 사용하는 구성이어도 된다.
도 19b에서는 "AL configuration"은 데이터와는 다른 전송 채널로 전송되는 제어정보의 구조를 송수신 단말 간에서 용도에 따라 변경하는 경우의 예를 도시한다. 정보구조 식별자와 디폴트 식별자의 사용방법은 도 19a의 경우와 같다.
본 발명에서는 복수의 동화상이나 음성을 동시에 합성하여 표시시키는 시스템의 실현방법에 대하여 하기의 관점에서 구체적으로 서술하였다.
(l) 복수의 논리적인 전송로를 이용하여 화상이나 음성의 전송(통신과 방송) 및 그들을 제어하는 방법. 특히 제어정보와 데이터를 각각 전송하는 논리적인 전송로를 독립시켜 전송하는 방법에 대하여 설명하였다.
(2) 송신해야 할 화상이나 음성 데이터에 부가하는 헤더정보(AL 정보)의 동적인 변경방법.
(3) 송신을 위해 부가하는 통신용 헤더정보의 동적인 변경방법.
구체적으로는 (2)와 (3)에 관해서는 AL 정보와 통신용 헤더에서 중복하고 있는 정보에 대하여 통합하여 관리하는 방법이나, AL 정보를 제어정보로서 전송하는 방법에 대하여 서술하였다.
(4) 복수의 논리적인 전송로를 동적으로 다중화, 분리하여 정보를 전송하는 방법.
전송로의 채널수를 절약하는 방법, 효율적인 다중화를 실현하는 방법에 대하여 설명하였다.
(5) 프로그램이나 데이터의 판독, 상승시간을 고려한 화상이나 음성의 전송방법. 여러 가지 기능, 용도로 외관상의 셋업시간의 단축방법에 대하여 설명하였다.
(6) 소거에 대한 화상이나 음성의 전송방법.
또 본 발명은 2차원의 화상합성만으로 한정되지 않는다. 2차원 화상과 3차원 화상을 조합시킨 표현형식이라도 되고, 광시야 화상(파노라마 화상)과 같이 복수의 화상을 인접하도록 화상 합성하는 화상 합성방법을 포함해도 된다.
또 본 발명에서 대상으로 하고 있는 통신형태는 유선의 쌍방향 CATV나 B-ISDN뿐만은 아니다. 예를 들면, 센터 측 단말로부터 가정 측 단말로의 영상이나 음성의 전송은 전파(예를 들면 VHF대, UHF대), 위성방송이고, 가정 측 단말로부터 센터 측 단말로의 정보 발신은 아날로그 전화회선이나 N-ISDN이라도 된다(영상, 음성, 데이터도 반드시 다중화 되어 있을 필요는 없다).
또 IrDA, PHS(퍼스널 핸디 폰)나 무선 LAN과 같은 무선을 이용한 통신형태라도 된다. 또 대상으로 하는 단말은 휴대정보단말과 같이 휴대형 단말이라도 되며, 셋 톱 박스, 퍼스널 컴퓨터와 같이 탁상형 단말이라도 된다. 또 응용분야로서는 TV 전화, 다 지점의 감시 시스템, 멀티미디어의 데이터베이스 검색 시스템, 게임 등을 들 수 있고, 본 발명은 수신단말뿐만 아니라 수신단말에 접속되는 서버나 중계기기 등도 포함된다.
또한 지금까지의 예에서는 RTP의 (통신) 헤더와 AL 정보의 중복을 피하는 방법이나, RTP의 통신 헤더나 AL 정보를 확장하는 방법에 대하여 서술하였다. 그러나 본 발명은 반드시 RTP일 필요는 없다. 예를 들면 UDP나 TCP를 사용하여 독자적인 통신 헤더나 AL 정보를 새롭게 정의해도 된다. 인터넷 프로파일에서는 RTP를 을 사용하는 일은 있지만, Raw 프로파일에서는 RTP와 같은 다기능 헤더는 정의되어 있지 않다. AL 정보와 통신 헤더에 관한 관점에는 상술한 바와 같이 4가지 관점이 가능하다.
이와 같이 송신단말과 수신단말에서 사용하는 데이터 관리정보, 전송 관리정보, 제어정보의 각 정보의 구조(예를 들면, 첫 번째는 랜덤 액세스의 플래그로 1비트의 플래그 정보로서 할당하고, 두 번째는 시퀀스 번호로 l6비트 할당한다는, 부가하는 정보의 순서와 비트수를 수반한 정보의 구조)를 동적으로 결정함으로써, 상황에 따른 정보의 구조 변경이 가능하게 되어 용도나 전송로에 따라 변경할 수 있다.
또 각 정보의 구조로서는 도 6a∼도 6d에서 이미 도시된 것이라도 되고, RTP이면 데이터 관리정보(AL)는 미디어마다의 헤더정보(예를 들면 H. 263이면 H. 263 고유의 비디오 헤더정보나 페이로드의 헤더 정보), 전송 관리정보는 RTP의 헤더정보이며, 제어정보는 RTCP와 같은 RTP을 제어하는 정보라도 된다.
또 송수신 단말간에서 미리 설정되어 있는 공지의 정보 구조로, 정보를 송수신하여 처리할 것인지의 여부를 나타내기 위한 디폴트 식별자를 데이터 관리정보, 전송 관리정보, 제어정보(데이터와는 다른 패킷으로 전송되는, 단말처리를 제어하는 정보)에 각각 설치함으로써 정보 구조의 변경이 행해지고 있는지의 여부를 알 수 있고, 변경이 행해지고 있을 때만 디폴트 식별자를 세트하고, 상술한 도 l6에 도시된 바와 같은 방법으로 변경내용(예를 들면 타임스탬프 정보를 32비트로부터 16비트로 변경함)을 통지함으로써 정보의 구조 정보를 변경하지 않는 경우라도 불필요하게 구성 정보를 송신하지 않아도 된다.
예를 들면 데이터 관리정보의 정보 구조를 변경하고 싶을 때에는 다음 2가지 방법이 고려된다. 우선 데이터 자신에게 데이터 관리정보의 정보 구조의 변경방법을 기술하는 경우, 데이터 관리정보의 정보 구조에 관해서 기술된 데이터 내에 존재하는 정보의 디폴트 식별자(고정 영역, 위치에 기입할 필요가 있음)를 세트하고, 그 후에 정보 구조의 변경 내용에 관해서 기술한다.
다른 한 가지 방법으로서 제어정보(정보구조 제어정보)에 데이터의 정보구조의 변경방법을 기술하여 데이터 관리정보에서의 정보 구조를 변경하는 경우, 제어정보에 설치된 디폴트 식별자를 세트하고, 변경하는 데이터 관리정보의 정보구조의 내용을 기술하고, ACK/Reject로 수신단말에 데이터 관리정보의 정보 구조가 변경된 것을 통지, 확인하고 나서 정보구조가 변경된 데이터를 전송한다. 전송 관리정보, 제어정보 자신의 정보 구조를 변경하는 경우도 마찬가지로 상기 2가지 방법으로 실현할 수 있다(도 19).
보다 구체적인 예로서는, 예를 들면 MPEG2의 헤더 정보는 고정이지만, MPEG2-TS(트랜스포트 스트림)의 비디오 스트림, 오디오 스트림을 관련시키는 프로그램·맵 테이블(PSI로 정의됨)에 디폴트 식별자를 설치하고, 비디오 스트림, 오디오 스트림의 정보구조의 변경방법을 기술한 구성 스트림을 정의해 둠으로써 디폴트 식별자가 세트되어 있으면, 우선 구성 스트림을 해석하고 나서 구성 스트림의 내용에 따라 비디오와 오디오 스트림의 헤더를 해석할 수 있다. 구성 스트림은 도 l9에서 도시한 내용이면 된다.
또 본 발명의 전송방법에 관한 및/또는 전송하는 데이터의 구조에 관한 내용(전송 포맷정보)은 상기 실시 예에서는, 예를 들면 정보구조에 대응하고 있다.
또 상기 실시 예에서는 변경하고자 하는 전송방법에 관한 및/또는 전송하는 데이터의 구조에 관한 내용을 전송하는 경우를 중심으로 설명하였지만, 이것에 한정되는 것은 아니고, 예를 들어 그 내용의 식별자만을 전송하는 구성이라도 물론 좋다. 이 경우 송신장치로서는 예를 들면 도 44에 도시된 바와 같이, (l) 전송방법에 관한 및/또는 전송하는 데이터의 구조에 관한 내용 또는 그 내용을 나타내는 식별자를 전송 포맷정보로서, 상기 전송하는 데이터의 전송로와 동일한 전송로 또는 상기 전송로와는 다른 전송로를 이용하여 전송하는 전송수단(5001)과, (2) 상기 전송방법에 관한 및/또는 전송하는 데이터의 구조에 관한 내용과, 그 식별자를 복수종류 저장하는 저장수단(5002)을 구비하고, 상기 식별자가 데이터 관리정보, 전송 관리정보 또는 단말 측의 처리를 제어하기 위한 정보 중 적어도 하나의 정보 내에 포함되어 있는 화상·음성 송신장치라도 된다. 또 수신장치로서는, 예를 들면 도 45에 도시된 바와 같이, 상기 화상·음성 송신장치로부터 송신되는 상기 전송 포맷정보를 수신하는 수신수단(5101)과, 상기 수신한 전송 포맷정보를 해석하는 전송정보 해석수단(5102)을 구비한 화상·음성 수신장치라도 된다. 더구나 이 화상·음성 수신장치는 상기 전송방법에 관한 및/또는 전송하는 데이터의 구조에 관한 내용과, 그 식별자를 복수종류 저장하는 저장수단(5103)을 구비하며, 상기 전송 포맷정보로서 상기 식별자를 수신한 경우에는 상기 식별자의 내용을 해석할 때 상기 저장수단에 저장되어 있는 내용을 이용하는 구성이라도 된다.
또한 구체적으로는, 미리 정보 구조를 복수, 송수신 단말에서 정하여 준비해 두고, 그들 복수 종류의 정보구조의 식별과 복수 종류의 데이터 관리정보, 전송관리정보, 제어정보(정보구조 제어정보)를 식별하기 위한 정보구조 식별자를 데이터와 함께 혹은 제어정보로서 전송함으로써 복수 종류의 데이터 관리정보, 전송 관리정보, 제어정보의 각 정보를 식별하는 것이 가능해지고, 전송해야 할 미디어 형식이나 전송로의 굵기에 따라 각 정보의 정보구조를 자유롭게 선택할 수 있다. 또 본 발명의 식별자는 상기 정보구조 식별자에 대응한다.
이들 정보 구조 식별자, 디폴트 식별자는 전송되는 정보의 미리 정해진 고정길이의 영역 혹은 위치에 부가함으로써 수신측 단말에서 정보구조가 변경되어 있어도 판독, 해석할 수 있다.
또 상술한 실시예에서 설명한 구성 이외에 복수개의 채널로 방송되는 화상의 표제 화상만을 방송하는 방송 채널을 설치하여 시청자가 시청 프로그램을 전환함으로써 필요하게 되는 프로그램이나 데이터의 셋업에 시간이 걸리는 경우, 일단 시청하고 싶은 프로그램의 표제 화상을 선택하여 시청자에게 제시하는 구성으로 해도 된다.
이상과 같이 본 발명에 의하면 송신단말과 수신단말에서 사용하는 데이터 관리정보, 전송 관리정보, 제어정보의 각 정보 구조를 동적으로 결정함으로써 상황에 따른 정보구조의 변경이 가능하게 되어 용도나 전송로에 따른 변경을 할 수 있다.
또한 송수신 단말간에서 미리 설정되어 있는 공지의 정보 구조로 정보를 송수신하여 처리할 것인지의 여부를 나타내기 위한 디폴트 식별자를 데이터 관리정보, 전송 관리정보, 제어정보에 각각 설치함으로써 정보 구조의 변경이 행해지고 있는지의 여부를 알 수 있고, 변경이 행해지고 있을 때만 디폴트 식별자를 세트하여 변경내용을 통지함으로써 정보의 구조 정보를 변경하지 않는 경우라도 불필요하게 구성 정보를 송신하지 않아도 된다.
또 미리 정보 구조를 복수, 송수신 단말에서 정하여 준비해 두고, 복수 종류의 데이터 관리정보, 전송 관리정보, 제어정보를 식별하기 위한 정보 구조 식별자를 데이터와 함께 혹은 제어정보로서 전송함으로써 복수 종류의 데이터 관리정보, 전송 관리정보, 제어정보의 각 정보를 식별하는 것이 가능하게 되어, 전송해야 할 미디어형식이나 전송로의 굵기에 따라 각 정보의 정보구조를 자유롭게 선택할 수 있다.
이들 정보구조 식별자, 디폴트 식별자는 전송되는 정보의 미리 정해진 고정길이의 영역 혹은 위치에 부가함으로써 수신측 단말에서 정보 구조가 변경되어 있어도 판독, 해석할 수 있다.
이하 본 발명의 다른 실시예에 대하여 도면을 참조하여 설명하기로 한다.
또 여기에서는 주로 상술한 과제 (B1)∼(B2) 중 어느 하나를 해결하는 것이다.
본 발명에서 사용하는 「화상」의 의미는 정지화상과 동화상의 양쪽을 포함한다. 또한 대상으로 하는 화상은 컴퓨터 그래픽스(CG)와 같은 2차원 화상과 와이어 프레임 모델로 구성되는 3차원 화상 데이터라도 된다.
도 25는 본 발명의 다른 실시예에서의 화상 부호화, 화상 복호화장치의 개략 구성도이다.
부호화된 각종 정보를 송신 혹은 기록하는 송신관리부(4011)는 동축 케이블, CATV, LAN, 모뎀 등의 정보를 전송하는 수단이다. 화상 부호화장치(4101)는 H. 263, MPEGl/2, JPEC 혹은 허프만 부호화라는 화상정보를 부호화하는 화상부호부(4012)와, 상기 송신관리부(401l)를 구비하는 구성이다. 또 화상 복호화장치(4102)는 부호화된 각종 정보를 수신하는 수신관리부(4013)와, 그 수신된 각종 화상정보를 복호하는 화상복호부(4014)와, 복호된 하나 이상의 화상을 합성하는 화상합성부(4015)와, 화상을 출력하는 디스플레이나 프린터 등으로 구성되는 출력부(4016)를 구비한 구성이다.
도 26은 본 발명의 실시예에서의 음성부호화, 음성 복호화장치의 개략 구성도이다.
음성 부호화장치(4201)는 부호화된 각종 정보를 송신 또는 기록하는 송신관리부(4021)와 G. 72l, MPEG1 오디오라는 음성정보를 부호화하는 음성부호부(4022)를 구비하는 구성이다. 또 음성 복호화장치(4202)는 부호화된 각종 정보를 수신하는 수신관리부(4023), 상기 각종 음성정보를 복호하는 음성복호부(4024), 복호된 1개 이상의 음성을 합성하는 음성합성부(4025), 음성을 출력하는 출력수단(4026)을 구비한 구성이다.
음성이나 동화상의 시계열 데이터는 상기 각 장치에서 부호화 또는 복호화 된다.
도 25, 도 26 모두 통신환경으로서는 인터넷과 같이 다중화 수단을 의식하지 않고 복수의 논리적인 전송로를 이용할 수 있는 통신환경이라도 되고, 아날로그 전화나 위성방송과 같이 다중화수단을 의식해야 하는 통신환경이라도 된다. 또 단말의 접속 형태로는 TV 전화나 TV 회의 시스템과 같이 단말간에서 쌍방향으로 영상이나 음성을 송수신하는 형태나, 위성방송이나 CATV, 인터넷 상에서의 방송형의 영상이나 음성방송의 형태를 들 수 있다.
마찬가지로 화상이나 음성의 합성방법에 관해서는 JAVA, VRML, MPEG라는 스크립트 언어로 화상·음성과 화상·음성의 구조정보(표시위치나 표시시간), 화상·음성끼리의 그룹핑 방법, 화상의 표시 레이어(깊이), 그리고 오브젝트 ID(화상, 음성이라는 개개의 오브젝트를 식별하기 위한 ID)와, 이들의 속성 관계를 기술함으로써 화상이나 음성의 합성방법을 정의할 수 있다. 합성방법을 기술한 스크립트는 네트워크나 로컬의 기억장치로부터 얻어진다.
또 화상 부호화장치, 화상 복호화장치, 음성 부호화장치, 음성 복호화장치를 각각 임의의 개수로, 임의의 조합으로 송수신 단말을 구성해도 된다.
도 27a는 과부하시의 처리 우선도를 관리하는 우선도 부가부, 우선도 결정부에 대하여 설명하는 도면이다. H. 263이나 G. 723 등의 부호화방법으로, 부호화된 정보의 과부하시의 처리 우선도를 미리 정해진 기준으로 결정하여 부호화된 정보와 결정된 우선도를 대응시키는 우선도 부가부(4301)를 화상 부호화장치(4101)나 음성 부호화장치(4201)에 구비한다.
우선도의 부가 기준은, 예를 들어 화상이라면 장면 교체, 편집자나 이용자가 지시한 화상 프레임이나 스트림, 음성이라면 유성음 구간과 무성음 구간이다.
과부하시의 처리 우선도를 정의하는 우선도의 부가방법은 통신 헤더에 부가하는 방법과 부호화시에 비디오나 오디오가 부호화되는 비트스트림의 헤더에 매립하는 방법이 고려된다. 전자는 복호하지 않고 우선도에 관한 정보를 얻는 것이 가능하며, 후자는 시스템에 의존하지 않고 비트스트림 단체로 독립적으로 취급하는 것이 가능하다.
도 27b도에 도시된 바와 같이 통신 헤더에 우선도 정보를 부가하는 경우, 1개의 화상 프레임(예를 들면 프레임 내 부호화된 I프레임, 프레임 간 부호화된 P, B 프레임)이 복수개의 송신 패킷으로 분할되는 경우, 화상이라면 단독 정보로서 액세스 가능한 화상 프레임의 선두부분을 전송하는 통신 헤더에만 우선도를 부가한다(동일한 화상 프레임 내에서 우선도가 같은 경우, 다음 액세스 가능한 화상 프레임의 선두가 나타날 때까지 우선도는 변하지 않는 것으로 하면 됨).
또한 복호화장치에서는 수신된 각종 부호화된 정보의 과부하시의 우선도에 따라 처리 방법을 결정하는 우선도 결정부(32)를 화상 복호화장치(4102)나 음성 복호화장치(4202)에 구비한다.
도 28a∼도 28c는 우선도를 부가하는 그레이딩에 대하여 설명한 도면이다. 단말에서의 과부하시의 처리 우선도를 결정하는 2종류의 우선도를 이용하여 디코드 처리를 행한다.
즉 영상, 음성이라는 비트스트림 단위에서의 과부하시의 처리 우선도를 정의하는 스트림 우선도(Stream Priority ; 시계열 데이터 간 우선도)와 동일 스트림 내의 영상 프레임이라는 프레임 단위에서의 과부하시의 처리 우선도를 정의하는 프레임 우선도(Frame Priority ; 시계열 데이터 내 우선도)를 정의한다(도 28a 참조).
전자의 스트림 우선도에 의해 복수의 비디오나 오디오의 취급이 가능하게 된다. 후자의 프레임 우선도에 의해 영상의 화면 교체나 편집자의 의도에 따라 동일한 프레임내의 부호화된 영상 프레임(I프레임)에서도 다른 우선도의 부가가 가능하게 된다.
스트림 우선도가 표현하는 값의 의미로서는 상대적인 값으로서 취급하는 경우와 절대적인 값으로서 취급하는 경우를 고려할 수 있다(도 28b, 도 28c 참조).
스트림 우선도와 프레임 우선도의 취급이 행해지는 것은 네트워크상이라면 라우터나 게이트웨이와 같은 중계단말, 단말이라면 송신단말과 수신단말을 들 수 있다.
절대적인 값과 상대적인 값의 표현방법은 2가지를 고려할 수 있다. 하나는 도 28b에서 도시한 방법이고, 다른 하나는 도 28c에서 도시한 방법이다.
도 28b에서는, 절대적인 값의 우선도란, 편집자나 기계적으로 부가된 화상 스트림이나 음성 스트림이 과부하시에 처리되는 (또는 처리되어야 할) 순서를 나타내는 값이다(실제의 네트워크나 단말의 부하변동을 고려한 값은 아님). 상대적인 값의 우선도는, 단말이나 네트워크의 부하에 따라서, 절대적인 우선도의 값을 변경하기 위한 값이다.
우선도를 상대적인 값과 절대적인 값으로 분리하여 관리함으로써, 네트워크의 부하 변동 등에 따라, 송신측이나 중계장치에서 상대적인 값만을 변경함으로써, 원래의 화상이나 음성 스트림에 부가되어 있던 절대적인 우선도를 남긴 채로, 하드디스크나 VTR에 기록할 수 있게 된다. 이와 같이 절대적인 우선도의 값이 기록되어 있으면 네트워크의 부하 변동 등의 영향을 받지 않은 형태로 영상이나 음성의 재생이 가능하게 된다. 또 상대적인 우선도나 절대적인 우선도는 데이터와는 독립적으로 제어채널을 통해 전송해도 된다.
마찬가지로 도 28b에서는 스트림 우선도보다 그레이딩을 세밀하게 하여 과부하시의 프레임의 처리 우선도를 정의하는 프레임 우선도를 상대적인 우선도의 값으로서 취급하거나 절대적인 우선도의 값으로서 취급하는 것도 가능하다. 예를 들면 절대적인 프레임 우선도를 부호화된 화상의 정보 내에 기술하여, 네트워크나 단말의 부하에서 변동을 반영시키기 위해, 앞의 영상 프레임에 부가한 절대적인 우선도에 대한 상대적인 프레임 우선도를 부호화된 정보를 전송하기 위한 통신 패킷의 통신 헤더에 기술함으로써, 프레임 레벨이라도, 원(original) 우선도를 남기면서도 네트워크나 단말 부하에 따른 우선도의 부가가 가능하다.
또 상대적인 우선도란, 통신 헤더에서가 아니라, 데이터와는 독립하여 제어 채널로 프레임과의 대응관계를 기술하여 전송해도 된다. 이에 따라 원래의 화상이나 음성 스트림에 부가되어 있던 절대적인 우선도를 남긴 채로 하드디스크나 VTR로의 기록이 가능해진다.
한편 도 28b에서, 수신단말에서 기록을 행하지 않고, 네트워크를 통해 전송하면서 수신단말에서 재생을 행하는 경우, 수신단말에서 절대적인 값과 상대적인 값을 분리하여 관리할 필요가 없기 때문에, 송신측에서 미리 프레임, 스트림의 양쪽 레벨의 경우에서도, 절대 값인 우선도의 값과 상대 값인 우선도의 값을 송신 전에 계산하여 절대 값만을 보내도 된다.
도 28c에서 절대적인 값의 우선도란, 스트림 우선도와, 프레임 우선도의 관계로부터 구해지는 프레임 간에서 일의적으로 결정되는 값이다. 상대적인 값의 우선도는 편집자나 기계적으로 부가된 화상 스트림이나 음성 스트림이 과부하시에 처리되는 (또는 처리되어야 할) 순서를 나타내는 값이다. 도 28c의 예에서는, 영상, 음성의 각 스트림의 프레임 우선도(relative ; 상대 값)와 스트림별로 스트림 우선도가 부가되어 있다.
절대적인 프레임 우선도(absolute ; 절대 값)는 상대적인 프레임 우선도와, 스트림 우선도의 합으로부터 구해진다(즉 절대적인 프레임 우선도 = 상대적인 프레임 우선도 + 스트림 우선도). 또 이 산출방법은 감산하거나, 정수를 곱셈하는 방법이라도 된다.
절대적인 프레임 우선도는 주로 네트워크에서 이용된다. 이것은 라우터나 게이트웨이라는 중계장치에서, 스트림 우선도와 프레임 우선도를 가미하여 프레임별로 우선도를 결정할 필요가 절대 값에 의한 표현에서는 불필요하게 되기 때문이다. 이 절대적인 프레임 우선도를 이용함으로써 중계장치에서의 프레임의 폐기 등의 처리가 용이하게 된다.
한편 상대적인 프레임 우선도는 주로 기록, 편집을 행하는 축적계로의 응용이 기대된다. 편집작업에서는 복수의 영상, 음성 스트림을 동시에 취급하는 일이 있다. 그와 같은 경우에, 단말이나 네트워크의 부하에 의해 재생할 수 있는 영상스트림이나 프레임 수에는 한계가 생길 가능성이 있다.
그와 같은 경우에 스트림 우선도와, 프레임 우선도를 분리하여 관리해 두는 것만으로, 예를 들면 편집자가 우선적으로 표시시키고 싶은, 혹은 사용자가 보고 싶은 스트림의 스트림 우선도를 변경하는 것만으로, 절대 값을 표현하고 있을 때와는 달리, 프레임 우선도를 전부 다시 계산할 필요가 없다. 이와 같이 용도에 따라 절대적인 표현, 상대적인 표현을 구분하여 사용할 필요가 있다.
또한 스트림 우선도의 값을 상대적인 값으로서 이용할 것인지, 절대적인 값으로서 이용할 것인지를 기술함으로써, 전송 시에도 유효하며 축적하는 경우에도 유효한 우선도의 표현이 가능해진다.
도 28b의 예에서는 스트림 우선도에 부수하여, 스트림 우선도가 표현하는 값이 절대 값인지, 상대 값인지를 표현하는 플래그나 식별자를 설치하여 구별한다. 프레임 우선도의 경우는, 통신 헤더에 상대적인 값이 기술되어 부호화된 프레임 내에 절대적인 값이 기술되기 때문에 플래그나 식별자는 불필요하다.
도 28c의 예에서는 프레임 우선도가 절대 값인지 상대 값인지를 식별하기 위한 플래그 혹은 식별자를 설치하고 있다. 절대 값이라면, 스트림 우선도와 상대적인 프레임 우선도로부터 산출되어 있는 우선도이므로, 산출 처리를 중계장치나 단말에서 행하지 않는다. 또한 수신단말에서는 산출식이 단말 간에서 이미 알고 있는 경우, 절대적인 프레임 우선도와 스트림 우선도로부터 상대적인 프레임 우선도를 역산하는 것이 가능하다. 예를 들면 전송하는 패킷의 절대적인 우선도(Access Unit Priority)를,
전송 패킷의 절대적 우선도 = 스트림 우선도 - 프레임 우선도,
라는 관계식으로부터 구해도 된다. 여기에서 프레임 우선도는 스트림 우선도를 감산하기 때문에 열후(degradation) 우선도라고 표현해도 된다.
또 1개 이상의 스트림 우선도를 TCP/IP의 논리채널(LAN의 포트번호)을 통과하는 데이터의 처리 우선도에 대응지어 데이터의 처리를 관리해도 된다.
덧붙여 화상이나 음성은 문자 또는 제어정보보다 낮은 스트림 우선도나 프레임 우선도를 할당함으로써 재송처리의 필요가 저감되는 것을 기대할 수 있다. 이것은 화상이나 음성은 일부분이 손실되어도 문제가 발생하지 않는 경우도 많기 때문이다.
도 29는 다중 해상도의 화상 데이터에 우선도를 할당하는 방법에 대하여 설명하는 도면이다.
1개의 스트림이 2개 이상의 복수의 서브스트림으로 구성되는 경우, 서브스트림에 스트림 우선도를 부가하고, 축적 시 혹은 전송 시에 논리합 혹은 논리곱을 기술함으로써 서브스트림의 처리방법을 정의하는 것이 가능하다.
웨이브릿(wavelet)의 경우, 1개의 영상 프레임을 복수의 다른 해상도의 영상 프레임으로 분해하는 것이 가능하다. 또한 DCT 베이스의 부호화방식으로도 고주파 성분과 저주파 성분으로 분할하여 부호화함으로써 다른 해상도의 영상 프레임으로의 분해는 가능하다.
분해된 일련의 영상 프레임으로 구성되는 복수개의 영상 스트림에 부가되는 스트림 우선도 외에, 영상 스트림간의 관계를 기술하기 위해 AND(논리곱)와 OR(논리합)로 관계를 정의한다. 구체적인 사용방법은, 스트림 A의 스트림 우선도가 5이고, 스트림 B의 스트림 우선도가 10인 경우(숫자가 적은 쪽이 우선도가 높음), 우선도에 의한 스트림 데이터의 폐기라면 스트림 B쪽은 폐기되지만, 스트림간의 관계기술을 행함으로써, AND의 경우에는 스트림 B의 우선도가 임계값의 우선도보다 낮아도 폐기하지 않고 전송, 처리하도록 정의해 둔다.
이에 따라 관련이 있는 스트림은 폐기되지 않고 처리할 수 있게 된다. OR의 경우에는 반대로 폐기 가능하다고 정의한다. 지금까지와 마찬가지로 폐기처리는 송수신단말에서 행해도 되며, 중계단말에서 행해도 된다.
또 관계 기술을 위한 연산자로서, 동일한 비디오 클립을 24Kbps와 48Kbps의 별개의 스트림으로 부호화한 경우, 어느 하나를 재생하면 되는 경우가 있다(관계 기술로서 배타적 논리합 EX-OR).
전자의 우선도를 10, 후자를 5로 하고 있는 경우, 사용자는 우선도에 기초하여 후자를 재생해도 되고, 우선도에 따르지 않고 사용자는 후자를 선택해도 된다.
도 30은 통신 페이로드의 구성방법에 대하여 설명하는 도면이다.
복수의 서브스트림으로 구성되는 경우, 서브스트림에 부가된 스트림 우선도에 따라, 예를 들면 우선도가 높은 순서로 송신패킷을 구성함으로써 송신 패킷 레벨에서의 폐기가 용이하게 된다. 또한 그레이딩을 세밀하게 하여 프레임 우선도가 높은 오브젝트끼리의 정보를 하나로 정리하여 통신 패킷을 구성해도 통신 패킷 레벨에서의 폐기가 용이하게 된다.
또 화상의 슬라이스 구조를 통신 패킷에 대응지음으로써 패킷이 누락되었을 때의 복귀가 용이하다. 요컨대, 동화상의 슬라이스 구조를 패킷의 구조에 대응지음으로써 재동기를 위한 리싱크 마커(re-sync marker)가 불필요하게 된다. 슬라이스 구조와 통신 패킷의 구조가 일치되어 있지 않으면 패킷 누락 등으로 정보가 손실된 경우, 재동기할 수 있도록 리싱크 마커(복귀하는 위치를 알리기 위한 표시)를 부가할 필요가 있다.
이것에 맞추어 우선도가 높은 통신 패킷에는 높은 에러 프로텍션을 거는 것이 고려된다. 또 화상의 슬라이스 구조란 GOB나 MB라는 종합된 화상정보의 단위를 가리킨다.
도 31은 데이터를 통신 페이로드에 대응시키는 방법에 대하여 설명하는 도면이다. 스트림이나 오브젝트를 통신 패킷으로 대응시키는 방법을 제어정보 혹은 데이터와 함께 전송함으로써 통신상황이나 용도에 따라 임의의 데이터 포맷이 생성된다. 예를 들면 RTP(Real time Transfer Protoco1)에서는 취급하는 부호화마다 RTP 의 페이로드가 정의되어 있다. 현행의 RTP 형식은 고정이다. H. 263의 경우, 도 31에 도시된 바와 같이, 모드 A로부터 모드 C의 3개의 데이터 형식이 정의되어 있다. H. 263에서는 다중해상도의 영상 포맷을 대상으로 한 통신 페이로드는 정의되어 있지 않다.
도 31의 예에서는 레이어 No.와 상술한 관계기술(AND, OR)을 모드 A의 데이터 포맷에 추가하여 정의하고 있다.
도 32는 프레임 우선도, 스트림 우선도와 통신 패킷 우선도와의 대응에 대하여 설명한 도면이다.
또 도 32는 전송로에서 통신 패킷에 부가되는 우선도를 통신 패킷 우선도로 하여, 스트림 우선도나 프레임 우선도를 통신 패킷 우선도에 대응시키는 예이다.
통상 IP를 이용한 통신에서는 화상이나 음성 데이터에 부가된 프레임 우선도나 스트림 우선도를 하위의 IP 패킷의 우선도 패킷에 대응시켜서 데이터를 전송할 필요가 있다. 화상이나 음성 데이터는 분할되어 IP의 패킷으로 전송되기 때문에 우선도를 서로 대응시킬 필요가 있다. 도면의 예에서는 스트림 우선도는 0부터 3까지의 값을 취하고, 프레임 우선도는 0부터 5까지의 값을 취하기 때문에 상위의 데이터에서는 0부터 15까지의 우선도를 취할 수 있다.
IPv6에서는 우선도(4비트) 중 0부터 7까지는 폭주 제어된(congestion- controlled) 트래픽을 위해 예약되어 있고, 우선도 중 8부터 15까지는 실시간 통신 트래픽 또는 폭주 제어되지 않은 트래픽을 위해 예약되어 있다. 우선도 l5는 가장 우선도가 높고, 우선도 8이 가장 우선도가 낮다. 이것은 IP의 패킷 레벨에서의 우선도가 된다.
IP를 사용한 데이터의 전송에서는 상위의 0부터 15까지의 우선도를 하위의 IP의 우선도인 8부터 15까지의 우선도에 대응시킬 필요가 있다. 대응지음은 상위 우선도의 일부를 클리핑하는 방식이라도 되고, 평가함수를 붙여 대응지어도 된다. 상위 데이터와 하위 IP의 우선도의 대응지음은 중계노드(라우터나 게이트웨이 등), 송수신 단말에서 관리를 행한다.
또 전송수단은 IP만으로 한정되는 것은 아니고, ATM이나 MPEG2의 TS(트랜스포트 스트림)과 같이 폐기가능한지 그렇지 않은지의 플래그를 가진 전송 패킷을 대상으로 해도 된다.
지금까지 설명한 프레임 우선도와 스트림 우선도는 전송 매체나 데이터 기록매체에 적용이 가능하다. 데이터 기록매체로서 플로피 디스크, 광디스크 등을 이용하여 행할 수 있다.
또 기록매체는 이것에 한정되지 않고, IC 카드, ROM 카세트 등, 프로그램을 기록할 수 있는 것이면 마찬가지로 실시할 수 있다. 또 데이터를 중계하는 라우터나 게이트웨이라는 화상 음성 중계장치를 대상으로 해도 된다.
덧붙여서 스트림 우선도(시계열 데이터 간 우선도)나, 프레임 우선도(시계열 데이터 내 우선도)의 정보에 기초하여 재송해야 할 시계열 데이터를 결정함으로써 우선적인 재송처리가 가능해진다. 예를 들면 우선도 정보에 기초하여 수신단말에서 디코드를 행하고 있는 경우, 처리의 대상외인 스트림이나 프레임의 재송을 방지할 수 있다.
또한 현재의 처리대상으로 되어 있는 우선도와는 별도로 재송횟수와 송신 성공 횟수의 관계로부터 재송해야 할 우선도의 스트림이나 프레임을 결정해도 된다.
한편 송신측 단말에서도 스트림 우선도(시계열 데이터 간 우선도)나 프레임 우선도(시계열 데이터 내 우선도)의 정보에 기초하여 송신해야 할 시계열 데이터를 결정함으로써 우선적인 송신처리가 가능해진다. 예를 들면, 평균 전송률이나, 재송횟수에 기초하여 송신해야 할 스트림이나 프레임 우선도를 결정함으로써 네트워크가 과부하일 때에도 적응적인 영상이나 음성의 전송이 가능하게 된다.
또 상기 실시예는 2차원의 화상합성 만에 한정된 것은 아니다. 2차원 화상과 3차원 화상을 조합시킨 표현형식이라도 되고, 광시야 화상(파노라마 화상)과 같이 복수의 화상을 인접하도록 화상 합성하는 화상 합성방법을 포함해도 된다. 또 본 발명에서 대상으로 하고 있는 통신형태는 유선의 쌍방향 CATV나 B-ISDN뿐만은 아니다. 예를 들면 센터 측 단말로부터 가정 측 단말로의 영상이나 음성의 전송은 전파(예를 들면, VHF대, UHF대), 위성방송이고, 가정 측 단말로부터 센터 측 단말로의 정보 발신은 아날로그 전화회선이나 N-ISDN이라도 된다(영상, 음성, 데이터도 반드시 다중화되어 있을 필요는 없다). 또한 IrDA, PHS(personal handy phone)나 무선 LAN과 같은 무선을 이용한 통신형태라도 된다.
또한 대상으로 하는 단말은 휴대정보단말과 같이 휴대형 단말이라도 되고, 셋 톱 박스, 퍼스널 컴퓨터와 같이 탁상형 단말이라도 된다.
이상과 같이 본 발명에 의하면, 복수의 비디오 스트림이나 복수의 오디오 스트림의 취급이나, 편집자의 의도를 반영시켜 중요한 장면을 중점적으로 오디오와 함께 동기 재생시키는 것이 용이하게 된다.
이하에 본 발명의 또 다른 실시예를 도면을 참조하여 설명하기로 한다.
또 여기에서 설명하는 실시예는 주로 상술한 과제 (C1)∼(C3) 중 어느 것을 해결하는 것이다.
도 33은 제 1 실시예인 송신장치의 구성을 도시한 것이다.
2101은 화상 입력단자로서, 1장의 화상 사이즈는 예를 들면 세로 144화소, 가로 176화소이다. 2102는 동화상 부호화장치로서 4개의 구성요소(1021, 1022, 1023, 1024)로 이루어진다(Recommendation H. 261 참조).
102l은 입력된 화상을 매크로 블록(세로 16 화소, 가로 l6 화소의 정방형 영역)으로 분할하여, 이 블록의 부호화를 인트라/인터 어느 쪽으로 부호화할 것인지를 결정하는 전환기, 1022는 전회의 부호화 결과로부터 계산할 수 있는 로컬 디코드 화상을 기초로 모션 보상화상을 작성하고, 이것과 입력화상의 차분을 계산하여 결과를 매크로 블록단위로 출력하는 모션 보상수단으로서, 모션 보상에는 처리시간이 긴 하프 픽셀 모션 보상과 처리시간이 짧은 풀 픽셀 모션 보상이 있다. 1023은 각각의 매크로 블록에 대하여 DCT 변환을 실시하는 직교 변환수단, 1024는 이 DCT 변환결과 및 다른 부호화 정보에 대하여 엔트로피 부호화를 실시하기 위한 가변길이 부호화수단이다.
2103은 계수수단으로서, 동화상 부호화장치(2102)의 4개의 구성요소의 실행횟수를 계수하고, 입력화상마다 결과를 변환수단으로 출력한다. 이 때 모션 보상수단(1022)으로부터는 하프 픽셀과 풀 픽셀의 2가지에 대하여 각각의 실행횟수를 계수한다.
2104는 변환수단으로서, 도 34에 도시된 바와 같은 데이터 열을 출력한다. 2105는 송신수단으로서 동화상 부호화장치(2102)로부터의 가변길이 부호와, 변환수단(2104)으로부터의 데이터 열을 다중화 하여 1개의 데이터 열로 하고, 데이터 출력단자(2109)에 출력하는 것이다.
이상의 구성에 의해 수신장치에 필수처리(전환기(102l), 직교 변환수단(1023), 가변길이 부호화수단(1024))와 비 필수처리(모션 보상수단(1022))의 각 실행횟수를 전달할 수 있다.
다음으로 도 40은 제 2 실시예인 송신방법의 흐름도이다.
본 실시예에서의 동작이 제 1 실시예와 비슷하므로 대응하는 요소를 부기해 둔다. 801에서 화상을 입력하고 (화상 입력단자(2101), 802에서 화상을 매크로 블록으로 분할한다. 이후 807의 조건 분기에 의해 모든 매크로 블록에 대한 처리를 완료할 때까지 803부터 806까지의 처리를 반복한다. 또 803부터 806까지의 처리 횟수를 특정한 변수에 기록할 수 있도록 각각의 처리를 실행한 경우에는 대응하는 변수를 l만큼 증분한다.
우선 803에서 처리대상의 매크로 블록을 인트라/인터 어느 쪽으로 부호화할 것인지를 판정한다(전환기(1021)). 인터의 경우는 804에서 모션 보상을 행한다 (모션 보상수단(1022)). 그 후 805, 806에서 DCT 변환, 가변길이 부호화를 행한다(직교 변환수단(1023), 가변길이 부호화수단(1024)). 모든 매크로 블록에 대한 처리를 완료하면(807에서 예(Yes)일 때), 808에서 각각의 처리에 대응하는 실행횟수를 나타내는 변수를 판독하여 도 2에 도시된 바와 같은 데이터 열을 생성하고 이 데이터 열과 부호를 다중화 하여 출력한다. 이상의 801부터 808까지의 처리를 입력화상이 계속되는 한 반복 실행한다.
이상의 구성에 의해 각 처리의 실행횟수를 송신할 수 있다.
다음으로 도 35는 제 3 실시예인 수신장치의 구성을 도시한 것이다.
도 35에서 307은 제 1 실시예의 송신장치의 출력을 입력하기 위한 입력단자, 301은 제 1 실시예의 송신장치의 출력을 기초로 가변길이부호와 데이터 열을 역 다중화에 의해 인출하여 출력하는 수신수단으로서, 이 때 1장분의 데이터를 수신하는 데 소요되는 시간을 계측해 두고, 이것도 출력하는 것으로 한다.
303은 가변길이부호를 입력으로 하는 동화상의 복호화장치로서, 5개의 구성요소로 이루어진다. 3031은 가변길이부호로부터 DCT 계수 및 다른 부호화정보를 인출하기 위한 가변길이 복호화수단, 3032는 DCT 계수에 대하여 역DCT 변환처리를 실시하는 역직교 변환수단, 3033은 전환기로서 매크로 블록마다 인트라/인터 어느 쪽으로 부호화되어 있는지의 부호화정보에 기초하여, 출력을 상하로 분류하는 동작을 한다. 3034는 모션 보상수단으로서 전회의 복호화상과 모션의 부호화정보를 이용하여 모션 보상화상을 작성하고, 이 화상에 역 직교변환수단(3032)의 출력을 가산하여 출력한다. 3035는 실행시간 계측수단으로서, 복호화장치(303)에 가변길이부호가 입력되고 나서 화상의 복호화 및 출력을 완료할 때까지의 실행시간을 계측하여 이것을 출력한다.
302는 수신수단(301)으로부터의 데이터 열로부터 각 요소(가변길이 복호화수단(3031), 역 직교변환수단(3032), 전환기(3033), 모션 보상수단(3034))의 실행횟수와, 실행시간 계측수단(3035)으로부터 실행시간을 수취하여 각 요소의 실행시간을 추정하는 추정수단이다.
추정방법은, 예를 들면 선형회귀를 이용하면 추정 실행시간을 목적변수 y, 각 요소의 실행횟수를 설명변수 x_i로 하면 된다. 이 경우, 회귀 파라미터 a_i는 각 요소의 실행시간으로 간주될 것이다. 또 선형회귀의 경우, 과거의 데이터를 충분히 많이 축적해 둘 필요가 있어 메모리를 많이 소비하게 되지만, 이것을 싫어하는 경우에는 칼만 필터에 의한 내부 상태 변수의 추정을 이용해도 된다. 이 경우, 관측 값이 실행시간, 각 요소의 실행시간을 내부 상태 변수로 하고, 관측행렬 C가 각 요소의 실행횟수로 단계별로 변화하는 경우라고 생각하면 된다. 304는 풀 픽셀 모션 보상의 실행횟수를 줄이고, 상당수만 하프 픽셀 모션 보상의 실행횟수를 늘리도록 각 요소의 실행횟수를 변경하는 횟수 삭감수단이다. 이 상당수의 계산방법은 다음과 같다.
우선 추정수단(302)으로부터 각 요소의 실행횟수와 추정 실행시간을 수취하여 실행시간을 예상한다. 이 시간이 수신수단(301)으로부터의 데이터를 수신하는 데 소요된 시간을 초과하는 경우에, 초과되지 않게 될 때까지 풀 픽셀 모션 보상의 실행횟수를 늘리고, 하프 픽셀 모션 보상의 실행횟수를 줄인다. 306은 복호화 화상의 출력단자이다.
또 모션 보상수단(3034)은 부호화정보로부터 하프 픽셀 모션 보상을 행하도록 지시되어 있는 경우지만, 하프 픽셀 모션 보상의 소정 실행횟수를 초과한 경우에는 하프 픽셀의 모션을 라운딩하여 풀 픽셀의 모션으로서 풀 픽셀의 모션 보상을 실행한다.
이상에서 설명한 제 1 실시예, 제 3 실시예에 의하면, 추정된 각 요소의 실행시간으로부터 복호화처리의 실행시간을 예측하여 이것이 1장분의 데이터를 수신하는 데 소요되는 시간(지정시간)을 초과한다면 실행시간이 긴 하프 픽셀의 모션 보상을 풀 픽셀의 모션 보상으로 치환한다. 이에 따라 실행시간이 지정시간을 초과하지 않도록 할 수 있어 과제(C1)를 해결할 수 있다.
또 수신장치에서의 IDCT 계산에 있어서 고주파 성분을 사용하지 않도록 함으로써 IDCT 계산의 처리시간을 줄일 수 있다. 요컨대, IDCT 계산 중 저주파성분의 계산을 필수처리, 고주파성분의 계산을 비 필수처리로 간주하고, IDCT 계산의 고주파성분의 계산횟수를 삭감하도록 해도 된다.
다음으로 도 41은 제 4 실시예인 수신방법의 흐름도이다.
본 실시예에서의 동작이 제 3 실시예와 비슷하므로 대응하는 요소를 부기해 둔다. 단계 901에서 각 요소의 실행시간을 표현하는 변수 a_i를 초기화한다(추정수단(302)). 902에서 다중화 데이터의 입력과, 이것에 소요되는 시간을 계측한다 (수신수단(301)). 903에서 이 다중화 데이터를 가변길이부호와 데이터 열로 분리하여 출력한다(수신수단(301)). 904에서 데이터 열(도 2)로부터 각 실행횟수를 인출하고, 이들을 x_i에 설정한다. 905에서 각 요소의 실행시간 a_i와 각 실행횟수 x_i로부터 실제의 실행횟수를 산출한다(횟수 삭감수단(304)). 906에서 복호화처리의 실행시간의 계측을 개시하고, 907에서 후술하는 복호화처리 루틴을 기동하고, 그 후 908에서 복호화처리의 실행시간의 계측을 종료한다(동화상의 복호화장치(303), 실행시간 계측수단(3035)). 908에서는 908에서의 복호화처리의 실행시간과 905에서의 각 요소의 실제의 실행횟수로부터 각 요소의 실행시간을 추정하여 a_i를 갱신한다(추정수단(302)). 이상의 처리를 입력되는 다중화 데이터마다 실행한다.
또한 복호화처리 루틴(907)에서는 910에서 가변길이 복호화를 행하고(가변길이 복호화수단(303l)), 911에서 역 직교변환을 행하고(역 직교변환수단(3032)), 912에서 910에서의 처리로 인출된 인트라/인터의 정보로 분기한다(전환기(3033)). 인터의 경우는 913에서 모션 보상을 실시한다(모션 보상수단(3034)). 이 9l3에서 하프 픽셀 모션 보상의 실행횟수를 계수해 두고, 이것이 905에서 구한 실제의 실행횟수를 초과한 경우에는 하프 픽셀 모션 보상을 풀 픽셀 모션 보상으로 치환하여 실행한다. 이상의 처리를 모든 매크로 블록에 대하여 완료한 후(단계 914), 이 루틴을 종료한다.
이상에서 설명한 제 2 실시예, 제 4 실시예에 의하면, 추정된 각 요소의 실행시간으로부터 복호화처리의 실행시간을 예측하고, 이것이 1장분의 데이터를 수신하는 데 소요되는 시간(지정시간)을 초과할 것 같으면 실행시간이 긴 하프 픽셀의 모션 보상을 풀 픽셀의 모션 보상으로 치환한다. 이에 따라 실행시간이 지정시간을 초과하지 않도록 할 수 있어 과제 (C1)을 해결할 수 있다.
다음으로 도 36은 제 5 실시예인 수신장치의 구성을 도시한 것이다.
본 실시예의 구성요소는 대부분 제 2 실시예에서 설명한 것과 동일하며, 2개의 구성요소의 추가와, 1개의 구성요소의 수정뿐이므로 그 점을 설명하기로 한다.
402는 제 2 실시예에서 설명한 추정수단(302)에 추정의 결과 얻은 각 요소의 실행시간을 횟수 제한수단(304)으로 출력과는 별도로 출력하도록 수정한 것이다. 408은 송신수단으로서, 각 요소의 실행시간으로부터 도 37에 도시된 바와 같은 데이터 열을 생성하여 이것을 출력하는 것이다. 실행시간은 마이크로초를 단위로 하여 16비트로 표현하면 최대 약 65밀리 초를 표현할 수 있으므로 충분할 것이다. 409는 이 데이터 열을 송신수단에 보내기 위한 출력단자이다.
또한 이 제 5 실시예에 대응하는 수신방법은 도 37에 도시된 바와 같은 데이터 열을 생성하는 단계를 도 40의 808 직후에 추가한 것이면 된다.
다음으로 도 38은 제 6 실시예인 송신장치의 구성을 도시한 것이다.
본 실시예의 구성요소는 대부분 제 1 실시예에서 설명한 것과 동일하며, 2개의 구성요소를 추가했을 뿐이므로 그 점을 설명하기로 한다. 606은 제 3 실시예의 수신장치가 출력하는 데이터 열을 수신하기 위한 입력단자, 607은 이 데이터 열을 수신하여 각 요소의 실행시간을 출력하는 수신수단이다. 608은 각 요소의 실행횟수를 구하는 결정수단으로서 그 순서는 다음과 같다. 우선 화상 중의 모든 매크로 블록에 대하여 전환기(1021)에서의 처리를 행하고, 이 시점에서의 전환기(1021)의 실행횟수를 구한다. 또한 이 후의 모션 보상수단(1022), 직교 변환수단(1023), 가변길이 부호화수단(1024)에서의 실행횟수는 이 시점까지의 처리결과에 따라 일의적으로 결정할 수 있다. 따라서 이들 실행횟수와, 수신수단(607)으로부터의 실행시간을 이용하여 수신장치측에서의 복호화에 소요되는 실행시간을 예측한다. 이 예측 복호화 시간은 각 요소의 실행시간과 실행횟수의 곱의, 요소마다의 총합으로서 구해진다. 그리고 예측 복호와 시간이 미분 제어기 등이 지정한 금회의 화상에서 발생해야 할 부호량(예를 들면 16kbits)의 전송에 소요되는 시간(예를 들면, 전송속도가 64kbit/sec라면 25Omsec) 이상이면 복호화시간이 전송에 소요되는 시간을 초과하지 않도록 풀 픽셀 모션 보상의 실행횟수를 늘리고, 하프 픽셀 모션 보상의 실행횟수를 줄인다(풀 픽셀 모션 보상 쪽이 실행시간이 짧으므로 이 횟수를 줄임으로써 실행시간을 작게 할 수 있음).
또 동화상의 부호화장치(2102)는 결정수단(608)이 지정한 실행횟수에 기초하여 각 처리를 행한다. 예를 들면 모션 보상기(1022)는 지정된 하프 픽셀의 모션 보상 실행횟수만큼 하프 픽셀 모션 보상을 실행 완료되면, 그 후는 풀 픽셀의 모션 보상만을 실행하게 된다.
또한 하프 픽셀의 모션 보상이, 화상 중에 일정하게 흩어지도록 선택방법을 연구해도 된다. 예를 들면 우선 하프 픽셀의 모션 보상을 필요로 하는 매크로블록을 전부 구하여 이 수(예를 들면 12)를 하프 픽셀의 모션 보상 실행횟수(예를 들면 4)로 나눈 몫(3)을 구하고, 하프 픽셀의 모션 보상을 필요로 하는 매크로블록의 처음부터의 순서가 이 몫으로 나누어 떨어지는 것(0, 3, 6, 9)만으로 하프 픽셀의 모션 보상을 실시하는 방법이라도 된다.
이상에서 설명한 제 5 실시예, 제 6 실시예에 의하면 추정된 각 요소의 실행시간을 송신측에 전송하고, 송신측에서 복호화처리의 실행시간을 예측하여 이것이 1장분의 데이터를 수신하는 데 소요될 만한 시간(지정시간)을 초과하지 않도록 실행시간이 긴 하프 픽셀의 모션 보상을 풀 픽셀의 모션 보상으로 치환한다. 이에 따라 보내진 부호화 정보 중 하프 픽셀 모션 보상의 정보가 버려지는 일 없이, 실행시간이 지정시간을 초과하지 않도록 할 수 있어 과제(C2)를 해결할 수 있다.
또 비 필수처리에서 인터 매크로블록 부호화를 보통의 모션 보상, 8×8모션 보상, 오버랩 모션 보상의 3가지로 분할해도 된다.
다음으로 도 42는 제 7 실시예인 송신방법의 흐름도이다.
본 실시예에서의 동작이 제 6 실시예와 비슷하므로 대응하는 요소를 부기해 둔다. 1001에서 각 처리의 실행시간의 초기 값을 설정한다. 801에서 화상을 입력하고(입력단자(2101)), 화상을 매크로블록으로 분할한다. 1002에서 모든 매크로블록에 대하여 인트라/인터 어느 쪽으로 부호화할 것인지를 판정한다(전환기(1021)). 이 결과, 1005부터 806까지의 각 처리의 실행횟수를 알 수 있으므로, 1003에서는 이 실행횟수와 각 처리의 실행시간으로부터 실제의 실행횟수를 산출한다(결정수단(608)).
이후 807의 조건분기에 의해 모든 매크로블록에 대한 처리를 완료할 때까지 1005부터 806까지의 처리를 반복한다.
또 1005부터 806까지의 처리횟수를 특정한 변수로 기록할 수 있도록 각각의 처리를 실행한 경우에는 대응하는 변수를 1만큼 증분한다. 우선 1005에서, 1002에서의 판정결과에 기초하여 분기한다(전환기(1021). 인터의 경우는 804에서 모션 보상을 행한다(모션 보상수단(1022)). 여기에서 하프 픽셀 모션 보상의 횟수를 계수해 두고, 이것이 1003에서 구한 실제의 실행횟수를 초과한 경우에는 하프 픽셀 모션 보상을 실행하지 않고 대신에 풀 픽셀 모션 보상을 실행한다. 그 후 805, 806에서 DCT 변환, 가변길이 부호화를 행한다(직교 변환수단(1023), 가변길이 부호화수단(1024). 모든 매크로블록에 대한 처리를 완료하면(807에서 예일 때), 808에서 각각의 처리에 대응하는 실행횟수를 나타내는 변수를 판독하여 도 2에 도시된 바와 같은 데이터 열을 생성하고, 이 데이터 열과 부호를 다중화 하여 출력한다. 1004에서는 데이터 열을 수신하고, 앞으로의 각 처리의 실행시간을 인출하여 설정한다.
이상 801부터 1004까지의 처리를 입력화상이 계속되는 한 반복 실행한다.
이상에서 설명한 제 5 실시예의 설명부분의 마지막의 「또한」으로 시작되는 패러그래프와, 제 7 실시예에 의하면, 추정된 각 요소의 실행시간을 송신측으로 전송하고, 송신측에서 복호화처리의 실행시간을 예측하여 이것이 1매분의 데이터를 수신하는 데 소요될 것 같은 시간(지정시간)을 초과하지 않도록 실행시간이 긴 하프 픽셀의 모션 보상을 풀 픽셀의 모션 보상으로 치환한다. 이에 따라 보내진 부호화정보 중 하프 픽셀 모션 보상의 정보가 버려지는 일 없이 실행시간이 지정시간을 초과하지 않도록 할 수 있어 과제 (C2)를 해결할 수 있다.
다음으로 도 39는 제 8 실시예인 송신장치의 구성을 도시한 것이다.
본 실시예의 구성요소는 대부분 제 1 실시예에서 설명한 것과 동일하며, 4개의 구성요소를 추가했을 뿐이므로 그 점을 설명하기로 한다.
7010은 실행시간 계측수단으로서, 부호화장치(2102)에 화상이 입력되고 나서 화상의 부호화 및 부호의 출력을 완료하기까지의 실행시간을 계측하여 이것을 출력한다. 706은 계수수단(2103)으로부터의 데이터 열로부터의 각 요소(전환기(1021), 모션 보상수단(1022), 직교 변환수단(1023), 가변길이 복호화수단(1024))의 실행횟수와, 실행시간 계측수단(7010)으로부터의 실행시간을 수취하여 각 요소의 실행시간을 추정하는 추정수단이다. 추정방법은 제 2 실시예의 추정수단(302)에서 설명한 것과 같으면 된다. 707은 사용자로부터의 프레임 레이트 값을 입력하기 위한 입력단자, 708은 각 요소의 실행횟수를 구하는 결정수단으로서, 그 순서는 다음과 같다.
우선 화상 중의 모든 매크로블록에 대하여 전환기(1021)에서의 처리를 행하고, 이 시점에서의 전환기(1021)의 실행횟수를 구한다. 또한 이 후의 모션 보상수단(1022), 직교 변환수단(1023), 가변길이 부호화수단(1024)에서의 실행횟수는 이 시점까지의 처리결과에 따라 일의적으로 결정할 수 있다. 다음으로 이 실행횟수와 추정수단(706)으로부터의 각 요소의 추정 실행시간과의 곱의, 요소마다의 총합을 구하여 예측부호화 시간을 산출한다. 그리고 예측부호화 시간이 707로부터의 프레임 레이트의 역수로부터 구해지는 1장의 화상의 부호화에 사용가능한 시간 이상이라면 풀 픽셀 모션 보상의 실행횟수를 늘리고, 하프 픽셀 모션 보상의 실행횟수를 줄인다.
이 증감처리와 예측부호화 시간의 산출을 예측부호화 시간이 사용가능한 시간 이하가 될 때까지 반복함으로써 각각의 실행횟수를 결정한다.
또 동화상의 부호화장치(2102)는 결정수단(608)이 지정한 실행횟수에 기초하여 각 처리를 행한다. 예를 들면 모션 보상기(1022)는 지정된 하프 픽셀의 모션 보상 실행횟수분만 실행하고, 하프 픽셀 모션 보상을 실행완료하면 그 후에는 풀 픽셀의 모션 보상만을 실행하게 된다.
또한 하프 픽셀의 모션 보상이 화상 중에 일정하게 흩어지도록 선택방법을 연구해도 된다. 예를 들면 우선 하프 픽셀의 모션 보상을 필요로 하는 매크로블록을 전부 구하여, 이 수(예를 들면 l2)를 하프 픽셀의 모션 보상 실행횟수(예를 들면 4)로 나눈 몫(3)을 구하고, 하프 픽셀의 모션 보상을 필요로 하는 매크로블록의 처음부터의 순서가 이 몫으로 나누어 떨어지는 것(0, 3, 6, 9)만으로 하프 픽셀의 모션 보상을 실시하는 방법이라도 된다.
이상 나타낸 제 8 실시예에 의하면, 각 처리의 실행시간을 추정하여 이 추정 실행시간에 기초하여 부호화에 소요되는 실행시간을 미리 예측하고, 이 예측부호화 시간이 프레임 레이트로부터 결정되는 화상의 부호화에 사용가능한 시간 이하가 되도록 실행횟수를 결정함으로써 과제 (C3)을 해결할 수 있다.
또 모션 보상수단(1022)에서는 모션 벡터를 검출하기 위해 좌우상하 15화소 범위의 벡터 중 가장 SAD (화소별 차의 절대 값의 합)를 작게 하는 것을 검출하는 풀 서치 모션 벡터 검출방법이 존재하지만, 이외에 3단계 모션 벡터 검출방법이라는 것도 있다(H. 26l의 annex.에 기술되어 있다). 이것은 상기 탐색범위에서 균등한 배치관계의 9점을 선택하고 이것의 SAD 최소의 점을 선택한다. 다음으로 이 점 근방의 좁힌 범위에서 다시 9점을 선택하고 SAD 최소의 점을 선택한다. 이러한 처리를 한번 더 실행하는 것이 3단계 모션 벡터 검출방법이다.
이들 2가지 방법을 비 필수처리방법으로 간주하고, 실행시간을 각각 추정하고, 추정 실행시간에 기초하여 부호화에 소요되는 실행시간을 예측하고, 이 예측 실행 시간이 사용자 지정시간 이하가 되도록 적절히 풀 서치 모션 벡터 검출방법의 실행횟수를 줄이고, 대신에 3단계 모션벡터 검출방법의 실행횟수를 늘리도록 해도 된다.
또 3단계 모션 벡터 검출방법 이외에 더욱 처리를 간략화한 고정탐색 횟수에 의한 모션 벡터 검출방법이나, (0. 0) 모션 벡터만을 결과로서 되돌리는 모션 벡터 검출방법을 병용해도 된다.
다음으로 도 43은 제 9 실시예인 송신방법의 흐름도이다.
본 실시예에서의 동작이 제 8 실시예와 비슷하므로 대응하는 요소를 부기해 둔다. 각 흐름도에서의 상세한 동작은 대응하는 요소의 설명을 참조할 것. 또 제 2 실시예와 거의 동일하므로 다른 점만을 설명한다.
1101에서 각 처리의 실행시간의 초기 값을 변수 a_i에 설정한다. 또한 1102에서 프레임 레이트를 입력한다(입력단자(707)). 1103은 1102에서의 프레임 레이트, 각 처리의 실행시간 a_i, 1002에서의 인트라/인터 판정결과로부터 구해지는 각 처리의 실행횟수로부터 실제의 실행횟수를 결정한다(결정수단(708)). 1105, 1106은 부호화처리의 실행시간을 계측하기 위한 것이다. 1104는 1106에서의 실행시간과 각 처리의 실제 실행횟수로부터 각 처리의 실행시간을 추정하여 변수 a_i를 갱신한다(추정수단(706)).
이상 나타낸 제 9 실시예에 의하면, 각 처리의 실행시간을 추정하고, 이 추정실행 시간에 기초하여 부호화에 소요되는 실행시간을 미리 예측하고, 이 예측부호화 시간이 프레임 레이트로부터 결정되는 화상의 부호화에 사용 가능한 시간 이하가 되도록 실행횟수를 결정함으로써 과제 (C3)을 해결할 수 있다.
또 제 2 실시예에서 808에서의 데이터 열 생성시에 도 2에 도시된 스타트 코드의 직후에 2바이트의 영역을 추가하고, 여기에 부호의 길이의 2진 표현을 추가해도 된다.
또 제 4 실시예에서 902에서의 다중화 데이터의 입력시에 이 2바이트의 영역으로부터 부호의 길이를 추출하고, 이 부호 길이와 부호의 전송속도로부터 구해지는 부호의 전송시간을 905에서의 실행횟수 계산에 이용하도록 해도 된다(부호의 전송 시간을 넘지 않도록 하프 픽셀 모션 보상의 실행횟수를 줄임).
또 제 1 실시예에서 2104에서의 데이터 열 생성시에 도 2에 도시된 스타트 코드의 직후에 2바이트의 영역을 추가하고, 여기에 부호 길이의 2진 표현을 추가해도 된다.
또 제 3 실시예에서 301에서의 다중화 데이터의 입력시에 이 2바이트의 영역으로부터 부호의 길이를 추출하고, 이 부호길이와 부호의 전송속도로부터 구해지는 부호의 전송 시간을 304에서의 실행횟수 계산에 이용하도록 해도 된다(부호의 전송 시간을 초과하지 않도록 하프 픽셀 모션 보상의 실행횟수를 줄임).
또 제 4 실시예에서 909 직후에 하프 픽셀 모션 보상의 실제 실행횟수를 기록하여 이것의 최대 값을 산출한다. 그리고 이 최대 값이 충분히 작은 값(예를 들면, 2나 3) 이하인 경우에는 하프 픽셀 모션 보상을 사용하지 않는 것을 나타내는 데이터 열(특정한 비트 패턴으로 이루어지는 데이터 열)을 생성하여 이것을 송신해도 된다. 또한 제 2 실시예에서 808 직후에서 이 데이터열의 수신유무를 확인하고, 하프 픽셀 모션 보상을 사용하지 않는 것을 나타내는 데이터 열을 수신한 경우에는 808에서 모션 보상의 처리를 항상 풀 픽셀 모션 보상으로 하도록 해도 된다.
또한 모션 보상 이외에도 이 생각을 적용할 수 있다. 예를 들면 DCT 계산에서 고주파성분을 사용하지 않도록 함으로써 DCT 계산의 처리시간을 줄일 수 있다. 요컨대, 수신방법에서 IDCT 계산의 실행시간의 전체 실행시간에 차지하는 비율이 일정 값을 초과하는 경우에는 그 취지를 나타내는 데이터 열을 송신측으로 전송한다. 송신측에서는 이 데이터 열을 수신한 경우에는 DCT 계산에서 저주파 성분만을 계산하고, 고주파성분은 전부 0으로 해도 된다.
또한 여기에서는 화상을 이용하여 실시예를 설명하였지만, 화상 이외의 음성 등에 상기의 각 방법을 적용해도 된다.
또한 제 3 실시예에서, 3034에서 하프 픽셀 모션 보상의 실제 실행횟수를 기록하고, 이것의 최대값을 산출한다. 그리고 이 최대값이 충분히 작은 값(예를 들면, 2나 3) 이하인 경우에는 하프 픽셀 모션 보상을 사용하지 않은 것을 나타내는 데이터 열(특정의 비트 패턴으로 이루어지는 데이터 열)을 생성하여 이것을 송신해도 된다. 또한 제 1 실시예에서 하프 픽셀 모션 보상을 사용하지 않는 것을 나타내는 데이터 열을 수신한 경우에는 1022에서의 모션 보상의 처리를 항상 풀 픽셀 모션 보상으로 하도록 해도 된다.
또한 모션 보상 이외에도 이 생각을 적용할 수 있다. 예를 들면 DCT 계산에서 고주파성분을 사용하지 않도록 함으로써 DCT 계산의 처리시간을 줄일 수 있다. 요컨대 수신방법으로써 IDCT 계산의 실행시간의 전체 실행시간에 차지하는 비율이 일정값을 초과하는 경우에는 그 취지를 나타내는 데이터 열을 송신측으로 전송한다.
송신측에서는 이 데이터 열을 수신한 경우에는 DCT 계산에서 저주파 성분만을 계산하고, 고주파성분은 전부 0으로 해도 된다.
또한 여기에서는 화상을 이용하여 실시예를 설명하였지만, 화상 이외의 음성 등에 상기 방법을 적용해도 된다.
이상 설명한 곳에서 명백한 바와 같이, 제 1 실시예, 제 3 실시예에 의하면 추정된 각 요소의 실행시간으로부터 복호화처리의 실행시간을 예측하고, 이것이 1장분의 데이터를 수신하는 데 소요된 시간(지정시간)을 초과할 것 같으면 실행시간이 긴 하프 픽셀의 모션 보상을 풀 픽셀의 모션 보상으로 치환한다. 이에 따라 실행시간이 지정시간을 초과하지 않도록 할 수 있어 과제 (C1)를 해결할 수 있다.
또한, 제 5 실시예, 제 7 실시예에 의하면, 추정된 각 요소의 실행시간을 송신측으로 전송하고, 송신측에서 복호화처리의 실행시간을 예측하여 이것이 1장분의 데이터를 수신하는 데 소요될 것 같은 시간(지정시간)을 초과하지 않도록 실행시간이 긴 하프 픽셀의 모션 보상을 풀 픽셀의 모션 보상으로 치환한다. 이에 따라 보내진 부호화 정보 중 하프 픽셀 모션 보상의 정보가 버려지는 일이 없고, 실행시간이 지정시간을 초과하지 않도록 할 수 있어 과제 (C2)를 해결할 수 있다.
또한, 제 9 실시예에 의하면, 각 처리의 실행시간을 추정하고, 이 추정 실행시간에 기초하여 부호화에 소요되는 실행시간을 미리 예측하여 이 예측부호화 시간이 프레임 레이트로부터 결정되는 화상의 부호화에 사용 가능한 시간 이하가 되도록 실행횟수를 결정함으로써 과제 (C3)를 해결할 수 있다.
이와 같이 본 발명에 의해 계산부하가 증대해도 유연하게 품질을 떨어뜨리는 기능(CGD : Computational Graceful Degradation)을 실현할 수 있어 실시에 따르는 이익은 대단히 크다.
또 이상 설명한 실시예의 어느 하나에 기재된 각 단계(또는 각 수단)의 전부 또는 일부의 단계(또는 각 수단의 동작)를 컴퓨터에 실행시키기 위한 프로그램을 기록한 자기기록 매체나, 광 기록매체 등의 기록 매체를 작성하여 그 기록 매체를 이용하여 컴퓨터에 의해 상기와 같은 동작을 행해도 된다.
이상 설명한 바와 같이, 본 발명에 의하면 예를 들어 송신단말과 수신단말에서 사용하는 데이터 관리정보, 전송 관리정보, 제어정보의 각 정보의 구조를 동적으로 결정함으로써 상황에 따른 정보 구조의 변경이 가능하게 되어, 용도나 전송로에 따른 변경을 할 수 있다. 또 복수의 비디오 스트림이나 복수의 오디오 스트림의 취급이나, 편집자의 의도를 반영시켜 중요한 장면 컷을 중점적으로 오디오와 함께 동기 재생시키는 것이 용이하게 된다. 또 추정된 각 요소의 실행시간으로부터 복호화처리의 실행시간을 예측하고, 이것이 1장분의 데이터를 수신하는 데 소요된 시간(지정시간)을 초과할 것 같으면 실행시간이 긴 하프 픽셀의 모션 보상을 풀 픽셀의 모션 보상으로 치환함으로써 실행시간이 지정시간을 초과하지 않도록 할 수 있다.

Claims (6)

  1. (1) 음성 또는 I 프레임을 포함하는 동화상의 시계열 데이터와, (2) 상기 시계열 데이터간의 처리의 우선도를 나타내는 시계열 데이터 간 우선도와, (3) 상기 I 프레임간의 처리의 우선도를 나타내는 시계열 데이터 내 우선도를 포함하는 데이터 계열을 접수하는 접수수단과,
    상기 동화상의 시계열 데이터가 복수 동시에 존재하는 경우는, 상기 접수수단에 의해 접수한 상기 시계열 데이터 간 우선도와 상기 시계열 데이터 내 우선도를 병용하여 상기 시계열 데이터의 처리를 행하는 데이터 처리수단을 구비하는 것을 특징으로 하는 데이터 처리장치.
  2. (l) 음성 또는 I 프레임을 포함하는 동화상의 시계열 데이터와, (2) 상기 시계열 데이터간의 처리의 우선도를 나타내는 시계열 데이터 간 우선도와, (3) 상기 I 프레임간의 처리의 우선도를 나타내는 시계열 데이터 내 우선도를 포함하는 데이터 계열을 입력하는 단계와,
    상기 동화상의 시계열 데이터가 복수 동시에 존재하는 경우는 상기 시계열 데이터 간 우선도와 상기 시계열 데이터 내 우선도를 병용하여 상기 시계열 데이터의 처리를 행하는 단계를 포함하는 것을 특징으로 하는 데이터 처리방법.
  3. 제 2 항에 있어서,
    상기 시계열 데이터 간 우선도와 상기 시계열 데이터 내 우선도를 병용하여 단말에 의한 과부하시의 복호화 처리를 행하는 것을 특징으로 하는 데이터 처리방법.
  4. (l) 음성 또는 I 프레임을 포함하는 동화상의 시계열 데이터와, (2) 상기 시계열 데이터간의 처리의 우선도를 나타내는 시계열 데이터 간 우선도와, (3) 상기 I 프레임간의 처리의 우선도를 나타내는 시계열 데이터 내 우선도를 포함하는 데이터 계열을 입력하는 단계와,
    상기 시계열 데이터를 패킷통신 하는 경우, 상기 시계열 데이터 내 우선도와 상기 시계열 데이터 간 우선도를 대응시킨 패킷 우선도를 이용하여 상기 시계열 데이터의 처리를 행하는 단계를 포함하는 것을 특징으로 하는 데이터 처리방법.
  5. (l) 음성 또는 I 프레임을 포함하는 동화상의 시계열 데이터와, (2) 상기 시계열 데이터간의 처리의 우선도를 나타내는 시계열 데이터 간 우선도와, (3) 상기 I 프레임간의 처리의 우선도를 나타내는 시계열 데이터 내 우선도를 포함하는 데이터 계열을 입력하는 단계와,
    상기 시계열 데이터를 패킷통신 하는 경우, 상기 패킷의 통신헤더에 상기 시계열 데이터 내 우선도에 대한 상대적인 처리 우선도를 부여하는 정보를 기술하여, 상기 통신헤더를 이용하여 상기 시계열 데이터의 처리를 행하는 단계를 포함하는 것을 특징으로 하는 데이터 처리방법.
  6. 제 5 항에 있어서,
    상기 시계열 데이터 내 우선도가 높은 정보를 포함하는 패킷에 대해서는 높은 에러 프로텍션을 실시하는 것을 특징으로 하는 데이터 처리방법.
KR1019980709277A 1997-03-17 1998-03-13 동화상 데이터의 처리 및 송수신 방법 및 장치 KR100530919B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1019980709277A KR100530919B1 (ko) 1997-03-17 1998-03-13 동화상 데이터의 처리 및 송수신 방법 및 장치
KR1020057003554A KR100557103B1 (ko) 1997-03-17 1998-03-13 데이터 처리방법 및 데이터 처리장치

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP9-62667 1997-03-17
JP9-90640 1997-04-09
JP9-179342 1997-07-04
JP9-226027 1997-08-22
JP9-226045 1997-08-22
JP9-332101 1997-12-02
KR1019980709277A KR100530919B1 (ko) 1997-03-17 1998-03-13 동화상 데이터의 처리 및 송수신 방법 및 장치

Related Child Applications (3)

Application Number Title Priority Date Filing Date
KR10-2005-7003547A Division KR100530920B1 (ko) 2005-02-28 1998-03-13 화상 · 음성 송신장치 및 수신장치
KR1020057003555A Division KR20050052484A (ko) 1997-03-17 1998-03-13 데이터 처리방법
KR1020057003554A Division KR100557103B1 (ko) 1997-03-17 1998-03-13 데이터 처리방법 및 데이터 처리장치

Publications (2)

Publication Number Publication Date
KR20000011118A KR20000011118A (ko) 2000-02-25
KR100530919B1 true KR100530919B1 (ko) 2006-02-28

Family

ID=41740113

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980709277A KR100530919B1 (ko) 1997-03-17 1998-03-13 동화상 데이터의 처리 및 송수신 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100530919B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2840424B1 (fr) * 2002-05-30 2004-09-03 Thomson Licensing Sa Procede et dispositif de fragmentation de donnees multimedia
KR100739676B1 (ko) 2003-07-31 2007-07-13 삼성전자주식회사 그래픽 데이터를 포함하는 정보저장매체, 그 처리장치 및처리방법
MXPA05010586A (es) * 2003-07-31 2005-11-23 Samsung Electronics Co Ltd Medio de almacenamiento de informacion que guarda datos graficos y aparato y metodo de procesamiento de los mismos.

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6373786A (ja) * 1986-09-16 1988-04-04 Nippon Telegr & Teleph Corp <Ntt> 階層化バ−スト通信方式
JPH0530138A (ja) * 1991-07-25 1993-02-05 Nippon Telegr & Teleph Corp <Ntt> マルチメデイア転送方式

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6373786A (ja) * 1986-09-16 1988-04-04 Nippon Telegr & Teleph Corp <Ntt> 階層化バ−スト通信方式
JPH0530138A (ja) * 1991-07-25 1993-02-05 Nippon Telegr & Teleph Corp <Ntt> マルチメデイア転送方式

Also Published As

Publication number Publication date
KR20000011118A (ko) 2000-02-25

Similar Documents

Publication Publication Date Title
KR100557103B1 (ko) 데이터 처리방법 및 데이터 처리장치
JP3516585B2 (ja) データ処理装置及びデータ処理方法
JP3709721B2 (ja) 符号化ストリームスプライシング装置及び符号化ストリームスプライシング方法、符号化ストリーム生成装置及び符号化ストリーム生成方法、並びに情報処理装置及び方法
US7010032B1 (en) Moving image coding apparatus and decoding apparatus
US8238438B2 (en) Image data transmitting apparatus and method and image data reproducing apparatus and method
KR20050099999A (ko) 화상 부호화 방법
CN102598688A (zh) 流式传输经编码视频数据
EP1230802B1 (en) Mpeg-4 video specific control packet for providing a customized set of coding tools
KR100530919B1 (ko) 동화상 데이터의 처리 및 송수신 방법 및 장치
JP4102223B2 (ja) データ処理装置及びデータ処理方法
JP3448047B2 (ja) 送信装置及び受信装置
JP2007221826A (ja) 受信端末および受信方法
KR100530920B1 (ko) 화상 · 음성 송신장치 및 수신장치
JP3519722B2 (ja) データ処理方法及びデータ処理装置
JP2006304309A (ja) 送信装置、受信装置および通信システム
CN100473158C (zh) 发送和接收动态图像数据的方法
JP2004048657A (ja) 画像・音声受信装置
US9219930B1 (en) Method and system for timing media stream modifications
Murugan Multiplexing H. 264/AVC Video with MPEG-AAC Audio
Angelides et al. Capabilities and Limitations of PC’s in the Networked Multimedia Environment
Roy Implementation of a Personal Digital Radio Recorder for Digital Multimedia Broadcasting by Adapting the Open-Source Personal Digital Video Recorder Software MythTV

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121019

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20131018

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20141022

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20151016

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20161020

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20171018

Year of fee payment: 13

EXPY Expiration of term