KR20000064301A - 정보전송방법 및 그 방법이 적용되는 정보전송시스템에 있어서의 부호화장치/복호화장치 및 부호화·다중화장치/복호화·역다중화장치 - Google Patents

정보전송방법 및 그 방법이 적용되는 정보전송시스템에 있어서의 부호화장치/복호화장치 및 부호화·다중화장치/복호화·역다중화장치 Download PDF

Info

Publication number
KR20000064301A
KR20000064301A KR1019980703147A KR19980703147A KR20000064301A KR 20000064301 A KR20000064301 A KR 20000064301A KR 1019980703147 A KR1019980703147 A KR 1019980703147A KR 19980703147 A KR19980703147 A KR 19980703147A KR 20000064301 A KR20000064301 A KR 20000064301A
Authority
KR
South Korea
Prior art keywords
information
header
decoding
code
code string
Prior art date
Application number
KR1019980703147A
Other languages
English (en)
Other versions
KR100309174B1 (ko
Inventor
도시아키 와타나베
요시히로 기쿠치
다케시 추조
다케시 나가이
Original Assignee
니시무로 타이죠
가부시끼가이샤 도시바
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 니시무로 타이죠, 가부시끼가이샤 도시바 filed Critical 니시무로 타이죠
Publication of KR20000064301A publication Critical patent/KR20000064301A/ko
Application granted granted Critical
Publication of KR100309174B1 publication Critical patent/KR100309174B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0041—Arrangements at the transmitter end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0072—Error control for data other than payload data, e.g. control data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0075—Transmission of coding parameters to receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/66—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/68—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving the insertion of resynchronisation markers into the bitstream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/69—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving reversible variable length codes [RVLC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4425—Monitoring of client processing errors or hardware failure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal

Abstract

본 발명은 정보전송방법 및 그 방법이 적용되는 정보전송시스템에 있어서의 부호화장치/복호화장치 및 부호화·다중화장치/복호화·역다중화장치에 관한 것으로서,
비트열 자체에 에러내성능력을 지니게 하고 헤더정보와 같은 중요정보에 에러가 발생해도 정상적으로 그 복호처리를 실시할 수 있도록 한 정보전송방법이며, 부호화장치의 비트열재구성회로(107)는 부호화회로(103)에서 부호화된 어떤 일정한 비트열단위로 부호화데이터열의 선두에 동기신호를 부가하고, 그 후 지시정보삽입회로(106)를 이용하여 그 비트열에 지시정보를 삽입하며, 이 지시정보는 중요헤더정보를 복원하기 위한 정보의 추가를 나타내고, 이 지시정보를 비트열에 삽입함으로써 그 비트열의 복원용 정보를 부호화데이열에 추가할 수 있고, 이에 따라 비록 헤더정보에 에러가 혼입되어 그것을 복호처리에 이용할 수 없게 되었다고 해도 지시정보가 나타내는 새로운 복원용 정보를 대용하여 복호처리를 올바로 계속하는 것이 가능하게 되는 것을 특징으로 한다.

Description

정보전송방법 및 그 방법이 적용되는 정보전송시스템에 있어서의 부호화장치/복호화장치 및 부호화·다중화장치/복호화·역다중화장치
근래 화상을 비롯한 각종 정보를 디지털부호화(digital encoding)하는 기술 및 광대역네트워크기술의 진전에 의해 이들 기술을 이용한 어플리케이션(applicat ion)의 개발이 활발해지고 있으며, 압축부호화한 화상(compress-encoded picture) 등을 통신망을 이용하여 전송하는 시스템이 개발되고 있다.
예를 들면 T.V전화(videophone), T.V회의시스템(teleconference system), 디지털T.V방송(digital television broadcast)에 있어서는 동화상(video)이나 음성(speech)을 각각 적은 정보량으로 압축부호화하고, 그들 압축된 동화상부호열(video code stream), 음성부호열(voice code stream)이나 다른 데이터부호열(data code stream)을 다중화하여 하나의 부호열로 정리해서 전소/축적하는 기술이 이용되고 있다.
동화상신호의 압축부호화기술로서는 움직임보상(motion compensation), 이산코사인변환(DCT), 서브밴드부호화(sub-band encoding), 피라미드부호화(pyramid en coding), 가변길이부호화(variable word-length encoding) 등의 기술이나 이들을 조합한 방식이 개발되고 있다. 동화상부호화의 국제표준방식(national standards cheme)으로서는 ISOMPEG1, MPEG2, ITU-T H.261, H.262, H.263이 존재하고, 또 동화상, 음성·오디오신호(speech/audio signal)를 압축한 부호열이나 다른 데이터를 다중화하는 국제표준방식으로서는 ISO MPEG시스템, ITU-TH. 221, H.223가 존재한다.
상기한 동화상부호화국제표준방식과 같은 종래의 동화상부호화방식에 있어서는 동화상신호를 프레임마다 분할하고, 또한 프레임을 세세한 영역으로 분할한 GOB, 매크로블록 등의 단위마다 부호화가 실시되고, 이 프레임, GOB, 매크로블록마다 부호화의 모드 등을 나타내는 헤더정보가 부가된다. 이들 헤더정보는 그 프레임, GOB 등 전체의 복호에 반드시 필요한 정보이다. 이 때문에 만일 헤더정보에 전송로/축적매체에 의한 에러가 혼입되어 동화상복호화장치(video decoder)에서 올바로 복호할 수 없으면 그 헤더정보가 있는 프레임, GOB 등 전체를 올바로 복호할 수 없고 동화상복호화장치에 있어서의 재생동화상(reconstructed picture)의 품질이 크게 악화되어 버리게 된다.
즉 통신망을 이용하여 압축부호화된 화상을 전송하는 경우에는 수신측에서는 전송되어 온 0/1의 비트열로부터 의미가 있는 정보를 재생하는 복호처리가 필요해진다. 그를 위해서는 일정한 비트열(bit stream)의 정리가 어떠한 규칙하에 부호화되어 온 것인가를 가리키는 정보로서 상기한 헤더정보(header information)가 매우 중요해진다. 이 헤더정보란 예를 들면 현재 복호하고 있는 프레임의 예측타입(프레임내의 부호화(intraframe encoding)이거나 프레임간의 부호화(interframe en coding)이거나 등), 그 프레임을 표시하는 타이밍을 나타내는 정보(타임·레퍼런스), 또는 양자화를 실시할 때의 스텝사이즈정보 등이다. 이들 헤더정보가 분실되어 버리면 그 이후에 전송되어 온 정보를 올바로 복호할 수 없게 된다.
예를 들면 프레임의 예측타입이 본래는 프레임간의 부호화인 것을 나타내고 있었음에도 불구하고 어떠한 원인으로 비트열에 에러가 혼입되어 프레임내를 나타내는 비트패턴으로 변화했다고 하자. 이 경우 그 후의 실제의 정보가 올바로 전송되어 왔다고 해도 복호측에서는 그 신호를 프레임내부호화의 결과로 판단해 버리기 때문에 최종적으로는 올바로 복호되지 않게 된다. 따라서 동화상복호화장치에 있어서의 재생동화상의 품질이 크게 악화해 버리게 된다.
종래의 화상전송은 유선통신망을 이용한 시스템이 주류이며, 만일 무선통신망을 이용하는 경우에도 에러율이 매우 적은 위성통신을 상정하고 있었다. 따라서 전송하는 부호화열의 구조 자체에 대해서의 에러내성(error robust)에 대해서는 충분한 고려가 이루어져 있지 않아서 헤더정보 등의 중요정보에 대한 전송로에러보호가 충분하지는 않았다.
앞으로 이동체통신의 주류의 하나가 되는 PHS에서는 에러율(error ratio)이 위성통신의 십만배 내지 백만배 정도가 되기 때문에 종래와 같이 부호화된 비트열에 에러정정을 실시한 것만으로는 충분한 정정이 불가능한 상태가 된다. 또 PHS와 똑같이 앞으로의 통신의 주류가 된다고 예상되는 인터넷에서는 언제 어떠한 에러가 데이터에 혼입되는가가 통계적으로 명백해져 있지 않아서 적절한 에러정정을 실시할 수 없는 경우도 있다. 또한 이들 PHS나 인터넷의 경우는 부호열 속의 일부의 정보가 소실되어 버리는 경우도 있으며, 이론적으로 에러정정으로는 대처할 수 없는 사태도 발생하게 된다. 그 때문에 부호열 자체의 구조에 에러내성능력을 지니게 하는 것이 필요해져 온다.
이와 같이 종래는 전송하는 부호화열의 구조 자체의 에러내성(error robust)에 대하여 충분한 고려가 이루어져 있지 않고, 특히 전송로에러(transmission line error)가 들어가면 커다란 화질악화를 유발하는 헤더정보 등의 중요정보에 대해서는 전송로에러에 대한 고려가 충분하지는 않았다.
본 발명은 부호화열의 구조 자체에 에러내성능력을 지니게 함으로써 전송로에러에 의하여 헤더정보와 같은 중요정보에 에러가 발생해도 고품위로 화상신호를 복호하는 것이 가능한 정보전송방법 및 그 방법이 적용되는 정보전송시스템에 있어서의 부호화/복호화장치를 제공하는 것을 목적으로 한다.
본 발명은 ISDN이나 인터넷 등의 유선통신망(wire communication network) 또는 PHS나 위성통신(satellite communication) 등의 무선통신망(radio communica tion network)을 이용하여 부호화된 동화상(video picture)/정지화상(still pic ture)을 전송하는 정보전송방법(data transmission method) 및 그 방법이 적용되는 정보전송시스템(data transmission system)에 있어서의 부호화/복호화장치(encodi ng/decoding apparatus)에 관한 것이다.
도 1은 본 발명의 제 1 실시예에 관련되는 정보전송시스템에서 사용되는 부호화장치의 구성을 나타내는 블록도.
도 2는 동 제 1 실시예의 정보전송시스템에서 사용되는 복호화장치의 구성을 나타내는 블록도.
도 3A 및 3B는 동 제 1 실시예의 정보전송시스템에 있어서 화면을 복수의 레이어로 분할하는 형태를 나타내는 도면.
도 4A 내지 4C는 도 3A 및 도 3B에서 나타낸 각 레이어의 비트열의 한 예를 나타내는 도면.
도 5A 내지 5E는 도 4A 내지 도 4C에 대신하는 다른 비트열의 구성을 나타내는 도면.
도 6A 및 6B는 동 제 1 실시예의 정보전송시스템에 있어서 화면을 단일한 레이어로 구성하는 경우의 예를 나타내는 도면.
도 7은 동 제 1 실시예의 정보전송시스템에서 사용되는 부호화장치의 다른 구성예를 나타내는 블록도.
도 8은 도 7의 부호화장치에 대응하는 복호장치의 구성을 나타내는 블록도.
도 9A 및 9B는 동 제 1 실시예의 정보전송시스템에 있어서 리플래쉬를 실시하는 경우의 프레임내의 형태와, 그에 대응하는 비트열의 예를 나타내는 도면.
도 10A 및 10B는 동 제 1 실시예의 정보전송시스템에서 전송되는 중요정보의 내용에 관한 다른 예를 나타내는 도면.
도 11은 도 10A 및 도 10B에 대응하는 복호처리회로의 구성을 나타내는 도면.
도 12는 동 제 1 실시예에 있어서 사용되는 지시정보가 다른 헤더정보테이블의 일부를 이루고 있는 경우의 예를 나타내는 도면.
도 13은 본 발명의 제 2 실시예의 정보전송시스템에서 사용되는 프레임내의 부호화영역을 설명하는 도면.
도 14A 내지 14D는 동 제 2 실시예에서 이용되는 화상부호화열의 예를 나타내는 도면.
도 15는 도 14A 내지 14D의 화상부호화열에 포함되는 시각을 나타내는 정보를 설명하는 도면.
도 16은 본 제 2 실시예에서 사용되는 복호화장치의 구성을 나타내는 블록도.
도 17A 내지 17C는 본 제 2 실시예에서 사용되는 VOP헤더 및 비디오패킷헤더의 예를 나타내는 도면.
도 18은 본 제 2 실시예에서 사용되는 복호화장치의 다른 구성을 나타내는 블록도.
도 19는 본 발명의 제 3 실시예에 관련되는 정보전송시스템에서 사용되는 화상·음성부호화장치의 전체구성을 나타내는 블록도.
도 20은 동 제 3 실시예에서 사용되는 화상·음성복호화장치의 전체구성을 나타내는 블록도.
도 21A 및 21B는 동 제 3 실시예에서 사용되는 동화상부호열의 한 예를 나타내는 도면.
도 22는 동 제 3 실시예에서 사용되는 다중화부호열의 한 예를 나타내는 도면.
도 23A 및 23B는 동 제 3 실시예에서 사용되는 다중화헤더의 제 1 예를 나타내는 도면.
도 24A 및 24B는 동 제 3 실시예에서 사용되는 다중화헤더의 제 2 예를 나타내는 도면.
도 25는 동 제 3 실시예에서 사용되는 다중화부호열의 제 2 예를 나타내는 도면.
도 26은 동 제 3 실시예에서 사용되는 다중화부호열의 제 3 예를 나타내는 도면.
도 27A 및 27B는 본 발명에서 이용되는 비디오패킷헤더(video packet header)의 제 3 예를 나타내는 도면.
도 28A 및 28B는 본 발명에서 이용되는 비디오패킷헤더의 제 4 예를 나타내는 도면.
도 29는 본 발명에 의한 정보를 기록하는 매체와 그 복호장치를 나타내는 블록도.
도 30은 도 29의 매체에 기록된 정보를 복호하는 순서를 나타내는 흐름도.
도 31A 내지 도 31D는 본 발명에 있어서의 부호열에 의사동기부호를 방지하기 위한 비트를 부가한 예를 나타내는 도면.
도 32A 내지 32C는 본 발명에서 부호열에 사용되는 마커비트를 설명하기 위한 도면.
도 33은 본 발명에 있어서 슬라이스레이어를 이용한 경우의 비트열의 예를 나타내는 도면.
도 34A 내지 34C는 본 발명의 제 4 실시예에서 사용되는 동화상부호열의 예를 나타내는 도면.
도 35A 및 35B는 동 제 4 실시예에 있어서의 동기부호의 배치방법과 스터핑비트의 예를 나타내는 도면.
도 36은 동 제 4 실시예에 있어서의 다중화기의 구성의 예를 나타내는 도면.
도 37은 동 제 4 실시예에 있어서의 어댑테이션층으로부터의 출력의 예를 나타내는 도면.
도 38A 내지 38C는 동 제 4 실시예에 있어서의 다중화층으로부터의 출력의 예를 나타내는 도면.
도 39A 내지 39C는 동 제 4 실시예에 있어서의 어댑테이션층에서의 동화상부호열의 구획방식의 제 1 예를 나타내는 도면.
도 40A 내지 40C는 동 제 4 실시예에 있어서의 어댑테이션층에서의 동화상부호열의 구획방식의 제 2 예를 나타내는 도면.
도 41A 및 41B는 동 제 4 실시예에 있어서의 어댑테이션층에서의 동화상부호열의 구획방식의 제 3 예를 나타내는 도면.
도 42A 내지 42C는 동 제 4 실시예에 있어서의 어댑테이션층에서의 동화상부호열의 구획방식의 제 4 예를 나타내는 도면.
도 43A 내지 43C는 동 제 4 실시예에 있어서의 어댑테이션층에서의 동화상부호열의 구획방식의 제 5 예를 나타내는 도면.
도 44A 및 44B는 동 제 4 실시예에 있어서의 어댑테이션층에서의 동화상부호열의 구획방식의 제 6 예를 나타내는 도면.
도 45A 및 45B는 동 제 4 실시예에 있어서의 어댑테이션층에서의 동화상부호열의 구획방식의 제 7 예를 나타내는 도면.
도 46A 내지 46D는 동 제 4 실시예에 있어서의 어댑테이션층에서의 동화상부호열의 구획방식의 제 8 예를 나타내는 도면.
도 47은 동 제 4 실시예에 있어서의 어댑테이션층에서의 스터핑의 예를 설명하기 위한 도면.
도 48은 동 제 4 실시예에 있어서의 다중화기의 구성의 제 2 예를 나타내는 도면.
도 49는 동 제 4 실시예에 있어서의 도 48의 구성의 다중화기의 FlexMux층에서 생성된 부호열의 예를 나타내는 도면.
도 50은 동 제 4 실시예에 있어서의 액세스유닛의 경계 및 재동기마커(resync marker)의 프레임내의 배치의 다른 예를 설명하기 위한 도면.
도 51은 동 제 4 실시예에 있어서 프레임내의 영역의 중요도에 따라서 에러보호를 전환하는 예를 설명하기 위한 도면.
도 52A 내지 52C는 동 제 4 실시예에 있어서의 액세스유닛의 다른 구성예를 나타내는 도면.
도 53은 도 1에 나타내어지는 부호화장치의 부호화회로의 회로구성을 나타내는 도면.
도 54는 도 2에 나타내어지는 복호화장치의 복호회로의 회로구성을 나타내는 도면이다.
※도면의 주요부분에 대한 부호의 설명
101, 301: 카메라 102, 302: A/D변환기
103, 303: 부호화회로 104: 중요헤더정보재구축회로
105, 304: 동기신호회로 106, 305: 지시정보삽입회로
107, 307: 비트열재구성회로 108, 308: 다중화회로
110, 310: 전송로 121, 320: 분리회로
122, 321: 동기검출회로 123, 322: 지시정보판정회로
124, 323: 복호회로 125, 402: 에러체크회로
127: D/A회로 200, 351: 프레임
201: 슬라이스 203: 매크로블록
601: VOP헤더복호회로 602: 비디오패킷헤더복호회로
603: 시각복호회로 621: 일시기억회로
본 발명은 송신측에서 헤더정보 또는 그 헤더정보의 일부의 정보의 내용을 복원 가능하게 하기 위해 필요한 복원용 정보를 부호화정보에 부가하여 전송하고, 수신측에서 상기 헤더정보 또는 그 일부의 정보에 대하여 에러체크를 실시하며, 이 에러체크에서 에러가 검출되었을 때 상기 복원용 정보를 대용하여 상기 부호화정보를 복호하는 정보전송방법을 제공한다.
본 발명은 부호화정보를 복호할 때에 필요한 헤더정보 또는 이 헤더정보의 일부의 정보의 내용을 복원 가능하게 하기 위한 복원용 정보를 데이터스트림에 부가하여 전송하고, 수신측에서 상기 헤더정보 또는 그 일부의 정보에 대해서의 에러가 검출되었을 때 상기 복원용 정보를 대용하여 상기 데이터스트림을 복호할 수 있도록 한 정보전송방법을 제공한다.
이 정보전송방법에 따르면, 비록 헤더정보에 에러가 혼입되어 이 헤더정보를 복호처리에 이용할 수 없게 되었다고 해도 지시정보가 나타내는 새로운 정보를 대용하여 복호처리를 올바로 계속하는 것이 가능하게 된다. 복원용 정보로서는 헤더정보 또는 그 헤더정보의 일부를 그대로 사용하거나 이전에 전송한 헤더정보 또는 그 일부와 현재 전송하려 하고 있는 중요정보의 차분정보 등을 이용할 수 있다.
또 본 발명은 정보를 2개 이상의 레이어(예를 들면 픽처층, GOB층, 매크로블록층, 블록층)로 나누고 각 레이어에 동기신호와 복호에 필요한 헤더정보를 부가하여 전송하는 정보전송시스템에 있어서, 해당 헤더정보내에 미리 정해진 패턴을 갖는 지시정보를 삽입하는 수단 및 상위레이어에서 이미 전송한 정보 또는 그 일부의 정보 또는 동일레이어내에서 이미 전송한 정보 또는 그 일부의 정보 또는 상기 상위레이어 또는 동일레이어내에서 이미 전송한 정보 또는 그 일부의 정보의 내용(화상의 내용, 예를 들면 인물화상, 얼굴화상 등)을 복원할 수 있는 정보를 전송하는 것이 가능한 수단을 갖는 부호화장치 및 그 복호장치를 제공한다.
또 본 발명은 동기신호와 복호에 필요한 헤더정보를 부가하여 전송하는 정보전송시스템에 있어서, 해당 헤더정보내에 미리 정해진 패턴을 갖는 지시정보를 삽입하는 삽입부 및 이미 전송한 정보 또는 이 정보의 일부의 정보 또는 해당 정보 또는 해당 정보의 일부의 정보의 내용을 복원할 수 있는 정보를 전송할 수 있는 전송부를 갖는 정보전송시스템부호화장치 및 그 복호장치를 제공한다.
또 본 발명은 동기신호와 복호에 필요한 헤더정보를 부가하여 전송하는 정보전송시스템에 있어서, 해당 헤더정보내에 미리 정해진 패턴을 갖는 지시정보를 삽입하는 삽입부 및 상기 헤더정보가 관련되어 있는 부분의 부호화처리를 해당 헤더정보가 관련되어 있는 부분 이전의 부호화처리로부터 변경하기 위한 정보를 전송하는 것이 가능한 전송부를 갖고, 부호열의 구조 자체에 에러내성능력을 지니게 하며, 이에 따라서 헤더정보에 에러가 발생해도 정상적으로 복호처리를 실시하는 것을 가능하게 하고 있는 부호화장치 및 그 복호장치를 제공한다.
상기 장치에 있어서, 지시정보에 의해 전송되어 온 것이 나타내어지는 복원용 정보로서는 전체의 레이어의 복호처리에 있어서 필요한 정보인 것이 바람직하다. 또 지시정보에 의해 전송되어 온 것이 나타내어져 있는 복원용 정보와 다른 부분에서 복호된 정보를 조합하는 것으로 전체의 레이어의 복호처리에 있어서 필요한 정보로 되도록 해도 좋다. 또한 지시정보의 비트패턴으로서는 해당 지시정보 이외의 헤더정보로서 정의되어 있는 비트패턴 중에서 미사용의 패턴을 사용할 수 있다. 또 화상정보의 전송시에는 지시정보에 의해 전송하는 것이 가능하게 된 정보는 프레임을 표시하는 타이밍을 나타내는 정보, 그 화면의 예측의 종류를 나타내는 정보, 양자화스텝사이즈정보, 화상프레임의 시각을 나타내는 정보인 것이 바람직하다.
또 본 발명은 화상신호를 입력하여 압축부호화하는 1 이상의 화상부호화기와, 각 화상부호화기로부터 출력된 화상부호열 및 다른 데이터정보부호열 등을 다중화하고, 다중화헤더 및 다중화페이로드(multiplexed payload)를 포함하는 다중화부호열을 출력하는 다중화기를 갖는 부호화장치에 있어서, 상기 화상부호열 속의 헤더정보 또는 그 일부를 상기 다중화헤더 속에 삽입하는 삽입부와, 상기 다중화헤더 속의 정보로부터 생성된 에러정정/검출부호를 상기 다중화헤더에 부가하고, 상기 화상부호열 속의 헤더정보를 상기 다중화헤더 속의 다중화에 관련되는 다른 정보와 함께 에러정정/검출부호에서 에러보호하여 전송하는 전송부로 이루어지는 정보전송장치를 제공한다.
이 부호화장치에서는 에러가 들어가면 복호화상에 커다란 악화를 발생하는 화상부호열 속의 헤더정보가 다중화헤더와 함께 에러정정/검출부호를 이용하여 강하게 에러보호되기 때문에 에러가 있는 전송로/축적매체 등을 통하여 압축화상을 전송해도 높은 재생화상품질이 얻어진다.
또 상기 다중화헤더에 포함되는 화상부호열 속의 헤더정보는 부호화한 화상프레임의 시각을 나타내는 정보로 해도 좋다. 이에 따라 화상부호열 속의 헤더정보에 포함되는 화상프레임의 시각을 나타내는 정보가 결핍되어도 다중화헤더로부터 화상프레임의 시각을 복호할 수 있기 때문에 복호한 화상을 올바른 시각에 표시재생할 수 있는 동시에 화상부호열 속의 화상프레임의 경계를 올바로 알 수 있다.
또한 본 발명은 입력신호를 압축부호화하여 얻어진 복수종류의 압축부호열을 부호화의 단위마다 구획하는 구획부(segmentation section)와, 상기 구획된 압축부호열(compressed code string)에 각 구획단위마다 스터핑비트(staffing bit)를 부가하여 다중화단위부호열(multiplexed unit code string)을 생성하는 제 1 다중화부와, 상기 다중화단위부호열을 다중화하여 다중화부호열을 생성하는 제 2 다중화부에 의해 구성되고, 상기 다중화단위부호열은 미리 정해진 길이의 정수배의 길이를 갖는 부호화·다중화장치를 제공한다.
이와 같이 각 구획단위마다 스터핑비트를 부가하여 미리 정해진 길이의 정수배의 길이를 갖는 다중화단위부호열을 생성함으로써 복호화·역다중화장치측에서는 다중화단위부호열마다 압축부호열의 종료위치와 스터핑비트의 개시위치를 비교하는 것으로 에러의 혼입을 용이하게 검출하는 것이 가능해진다. 또 에러가 혼입되어도 의사동기부호(pseudo-sync code)가 발생하기 어려워지기 때문에 강한 에러내성을 지니게 할 수 있다.
또 본 발명의 부호화·다중화장치는 입력신호를 어떤 부호화단위로 구획하여 부호화해서 압축부호열을 생성하는 압축부호화기와, 상기 구획된 압축부호열로부터 중요도가 동일한 부호어를 각각 모아서 다중화부호열을 생성하는 다중화부를 갖고, 상기 각 중요도에 따라서 모여진 다중화부호열에 상기 부호화단위의 구획을 나타내는 부호를 삽입하고, 이에 따라 부호어의 중요도에 따른 에러보호를 실사하는 것이 가능하게 되어 전송로에러가 들어간 경우의 복호화상의 품질이 향상한다.
이하 도면을 참조하여 본 발명의 실시예를 설명한다.
도 1은 본 발명의 한 실시예에 관련되는 부호화장치의 구성을 나타내고 있다. 카메라(101)에서 입력된 동화상은 A/D변환기(A/D converter)(102)에서 디지털신호로 변환되어 부호화회로(encoder)(103)에 입력된다. 부호화회로(103)에서는 DCT변환(DCT transformation), 양자화(quantization), 가변길이부호화(variable l ength encoding), 역양자화(dequantization), 역DCT변환(inverse DCT transformat ion), 움직임보상(motion compensation) 등에 의하여 동화상신호의 고능률압축부호화(high-efficiency compress-encoding)가 실시되고 부호화된 데이터열이 생성된다. 이 부호화에 있어서는 복호에 필요한 중요정보가 데이터열에 삽입된다. 부호화된 데이터열 중의 중요헤더정보는 중요헤더정보재구축회로(important header information reconstruction circuit)(104)에 입력되고, 여기에 일단 유지된다. 부호화회로(103)의 후에는 비트열재구성회로(bit string reconstruction circuit) (107)가 있으며, 여기에서 전송로에 보내어지는 최종적인 부호열, 즉 MPEG2 둥에 준거한 데이터스트림이 결정된다.
비트열재구성회로(107)에 있어서는, 우선 어떤 일정한 비트열단위로 데이터열의 선두에 동기신호회로(sync signal circuit)(105)에서 결정되어 있는 동기신호가 부가되고, 그 후 지시정보삽입회로(106)에 의해 그 비트열에 지시정보가 삽입된다. 이 지시정보는 중요헤더정보의 추가의 유무를 나타내는 정보이며, 이 지시정보를 비트열에 삽입함으로써 그 비트열에 중요헤더정보를 추가하는 것이 가능하게 된다. 예를 들면 이 지시정보의 직후에 중요헤더정보를 삽입하는 것으로 한다. 다음으로 중요정보재구축회로(important information reconstruction circuit)(10 4)로부터 필요한 중요헤더정보가 꺼내어지고, 그것이 비트열에 부가된다. 또한 여기에서의 비트열구성의 상세함은 도 4A 내지 4C 및 도 5A 내지 5E를 참조하여 후술한다.
비트열재구성회로(107)에서 최종적으로 결정한 비트열은 부호화된 다른 음성정보(speech information), 문자정보(character information) 등과 다중화회로(mul tiplexer)(108)에서 다중화되어 전송로(transmission path)(110)에 송출된다. 또한 헤더정보내의 무엇을 중요헤더정보로 하는가에 대해서는 부호화회로(103)의 밖으로부터 사용자가 자유롭게 지정하는 것도 가능하다.
도 2는 본 발명에 관련되는 복호부의 구성이다.
전송되어 온 비트열은 분리회로(demultiplexer)(121)에 있어서, 화상정보, 음성정보, 문자정보 등으로 분리(demultiplex)된다. 화상정보의 비트열은 우선 동기검출회로(synchronization detector)(122)에서 동기를 검출함으로써 비트열내의 복호개시위치를 검출한다. 그 정보가 복호회로(124)에 보내어지고, 여기에서 복호처리가 개시, 또는 재개된다. 우선 가장 상위의 레이어의 헤더정보로부터 복호가 개시되는데, 이들 복호된 신호는 에러체크회로(125)에 의해 에러가 혼입되어 있는지 아닌지가 체크된다. 만일 에러의 혼입이 확인된 경우는 그 부분을 사용할 수 없기 때문에 그 취지를 중요정보회로(126)에 전해 둔다. 다음의 레이어의 헤더정보를 복호할 때에 동기검출회로(122)에 있어서 동기를 검출한 후 이번에는 같은 비트열이 지시정보판정회로(123)에도 전송되고, 여기에서 지시정보의 내용이 조사된다. 이에 따라 중요헤더정보가 추가되어 있는지 아닌지 및 추가되어 있는 경우에는 그 중요헤더정보의 종류 및 추가위치 등이 검출된다. 이 검출결과에 의거하여 지시정보판정회로(123)로부터 복호회로(124)에 동작지시가 주어진다. 복호회로(124)에서는 현레이어의 헤더정보와, 그 곳에 부가되어 있는 중요헤더정보의 복호가 실시된다. 중요헤더정보의 복호결과는 중요정보유지회로(126)에 전송되고, 여기에서 일단 유지된다. 만일 에러체크회로(125)로부터 에러혼입확인신호가 오고 있는 경우는 상위레이어에서의 중요헤더정보를 사용할 수 없는 것을 알 수 있기 때문에 복호회로(124)는 현레이어에서 보내어져 온 중요헤더정보를 대용함으로써 현레이어에 후속하는 부호열에 대한 복호처리를 계속한다. 복호된 화상 등의 정보는 D/A회로(127)에서 아날로그신호로 되돌려지고 모니터(128)상에 표시된다.
다음으로 본 실시예에서 이용되는 화상부호열의 구조에 대하여 설명한다.
도 3A 및 3B는 화면을 복수의 레이어로 분할하는 경우의 개념도이다.
하나의 프레임(200)은 예를 들면 16화소×16화소의 매크로블록을 모은 다수의 슬라이스(매크로블록라인)(201)로 분할된다(도 3A). 한편 각 슬라이스(201)는 그 안이 몇 개인가의 매크로블록(203)의 집합으로서 구축되어 있다(도 3B). 프레임(200)으로서 화면 전체를 고정한 경우가 최상위레이어로 되고, 그 안의 201마다 고정한 경우가 다음의 레이어, 203레벨이 또한 그 다음의 레이어라는 식으로 된다.
도 4A, 4B, 4C는 도 3A, 3B에서 나타낸 각 레이어의 데이터구조의 한 예를 나타낸 도면이다.
도 4A는 도 3A에 대응하는 최상위의 프레임레이어의 비트열이며, 도 4B는 도 3B의 슬라이스에 대응하는 슬라이스레이어의 비트열의 종래예이다. 한편 도 4C는 도 3B의 슬라이스에 대응하는 슬라이스레이어에 대해서의 여기에서 제안하는 새로운 비트열의 예이다.
도 4A에 나타내어져 있는 바와 같이 프레임레이어, 즉 1프레임의 화상부호열은 픽처의 스타트위치를 나타내는 동기신호(픽처스타트코드; PSC)로부터 시작된다. PSC의 후에는 프레임을 재생하는 타이밍을 나타내는 타임레퍼런스(TR), 프레임내/프레임간 등의 예측부호화의 타입정보(PT)가 이어지고, 그 후에는 양자화스텝사이즈정보(PQ)가 이어진다. 이들 TR, PT, PQ는 화면 전체의 복호처리 또는 표시시에 필요한 정보이며, 이들 정보가 에러 등에 의하여 파괴된 경우, 만일 그 후의 레이어에서 다시 동기를 취할 수 있었다고 해도 복호 또는 표시가 올바르게는 실시되지 않게 된다. PQ 후의 데이터에는 하위의 레이어정보가 격납되어 있으며, 그 전형적인 비트열이 도 4B로 된다.
도 4B에 나타내어져 있는 바와 같이 슬라이스레이어에 있어서는, 각 슬라이스(201)의 화상부호열은 그 개시를 나타내는 동기신호(SSC)로부터 시작되고, 그 후에 예측타입정보(SPT), 계속해서 그 슬라이스번호(SN), 최후에는 양자화스텝사이즈정보(SQ)로 된다. 그 후의 데이터는 또한 하위의 매크로블록레이어의 정보이다.
다음으로 본 제 1 실시예에서 사용되는 슬라이스레이어의 구조를 도 4C를 이용하여 설명한다.
상기한 바와 같이 도 4A의 정보는 중요정보이며, 이 부분을 사용할 수 없는 경우는 만일 그 하층의 슬라이스레이어의 정보가 파괴되어 있지 않아도 올바로 화면을 복호할 수 없다. 도 4A의 정보를 사용할 수 없는 경우에도 그 하층의 슬라이스레이어의 정보를 올바로 복호할 수 있게 하기 위해서는 도 4A의 헤더정보의 내용을 슬라이스레이어에서 알 수 있는 것이 필요해진다. 그래서 본 제 1 실시예에서는 SPT내에 지시정보를 나타내는 미리 정해진 비트패턴의 부호를 준비하고, 그 부호가 나타난 경우는 도 4A에서 전송한 헤더정보를 다시 슬라이스레이어에서 전송하도록 하고 있다. 이 예에서는 TR과 PT를 전송하고 있다(이 경우는 SPT를 지시정보로서 사용하고 있으며, SPT가 본래의 예측타입을 나타내고 있지 않은 것에서 PT가 필요하게 되어 있다). 도 4A의 프레임레이어에 에러가 혼입되지 않은 경우는 이 정보(TR, PT)는 사용되지 않게 되는데, 만일 프레임레이어의 정보가 에러 등으로 파괴된 경우에는 도 4C에 있어서의 이들 정보(TR, PT)를 대용하여 복호처리를 계속하는 것이 가능하게 된다.
도 5A 내지 5E는 도 4A 내지 4C를 대신하는 다른 예이다.
도 5A에 나타내는 프레임레이어는 도 4A와 똑같은데, 도 5B, 5C의 슬라이스레이어에 대해서는 그 헤더정보에 삽입되는 지시정보가 도 4A 내지 4C와 달라 있다. 도 4A 내지 4C에서는 SPT내에 지시정보를 준비했는데, 여기에서는 새로운 비트(IS)를 삽입하고 있다. 이 IS는 1비트에서 2종류의 식별정보로 할 수 있는데, 2비트로서 4종류의 식별을 실시할 수도 있다.
IS가 다음으로 프레임레이어의 중요정보가 계속되는 것을 나타내고 있는 경우는 도 5C에 나타내어져 있는 바와 같이 IS의 다음에 TR을 전송하고, 복호측은 프레임레이어의 정보가 에러 등으로 파괴된 경우에는 슬라이스레이어의 TR을 이용한다. 이 경우는 SPT가 순수히 예측타입만을 나타내게 되어 있기 때문에 도 4A 내지 4C의 경우와 같이 PT를 다시 슬라이스레이어에서 전송할 필요는 없다.
도 5D는 도 5B의 변형예이며, 슬라이스레이어에 있어서, SPT를 전송하지 않는 경우의 예이다. 이 때는 IS의 지시에 의하여 프레임레이어의 중요정보를 재송할 때에 슬라이스레이어에서는 도 5E와 같이 TR과 PT가 필요해진다.
도 6A, 6B는 화면이 단일한 레이어로 구성되는 경우의 개념도 및 그 때의 비트열의 예이다.
이 경우는 도 6A와 같이 화면내가 단순히 블록(매크로블록)만으로 분할된다. 이 경우의 1프레임의 화상부호열은 도 6B와 같이 하나의 동기신호(PSC)만에 의하여 화면 전체의 동기를 취하는 구조가 된다. 이 때도 TR이나 PT가 중요한 것에 변함 없기 때문에, 만일 이들 정보가 파괴된 경우에는 그 후의 정보가 올바로 전송되어도 복호를 실시할 수 없다. 따라서 어떠한 방법으로 이들 중요정보를 다시 전송하는 구조가 유효하다. 특히 랜덤에러가 발생하는 경우 TR과 PT의 어느쪽의 정보도 파괴될 확률은 한 번밖에 정보를 전송하지 않는 경우에 비하여 훨씬 감소한다. 또 버스트에러가 발생하는 경우도 이들 재송정보를 첫 번째의 정보로부터 어느 정도 떼어 놓는 것에 의하여 양쪽 모두 파괴될 확률을 감소시킬 수 있다. 도 6B의 예에서는 중요정보(TR, PT, PQ) 등의 뒤에 IS를 삽입하고, 이 신호의 지시에 의하여 이 후에 TR, PT 등을 삽입하는 것이 가능한 구성으로 되어 있다. 지시정보(IS)의 위치는 상기한 이유에 의해 예를 들면 버스트에러의 통계적인 계속기간 이상 중요정보로부터 떼어 놓는 것이 유효하게 된다.
도 7은 본 발명에 관련되는 부호화부의 다른 구성예이다.
카메라(301)에서 입력된 화상은 A/D변환기(302)에서 디지털신호로 변환되어 부호화회로(303)에 입력된다. 부호화회로(303)의 뒤에는 비트열재구성회로(307)가 있으며, 여기에서 전송로에 보내어지는 최종적인 비트열이 결정된다. 특히 에러가 발생하기 쉬운 네트워크를 사용하는 경우는 회복할 수 없었던 에러의 전파(Propagate)를 적극 피하기 위해 예측을 실시하지 않는 리플래쉬라는 조작을 어떤 일정기간마다 실시하는 것이 보통이다. 이와 같은 리플래쉬는 화면 전체에 대하여 실시하는 것도 가능한데(이 경우는 그 프레임의 예측타입이 프레임내가 된다) 리플래쉬(프레임내부호화)는 프레임간부호화에 비하여 발생정보량이 훨씬 많기 때문에 특히 저비트레이트의 부호화전송에 사용하는 것은 어렵다. 그 때문에 연속하는 복수의 프레임에 대하여 각각 1프레임내의 일부분만에 리플래쉬를 실시함으로써 복수의 프레임분의 시간을 벌어서 1프레임분의 리플래쉬를 종료하는 수법을 이용하는 것이 바람직하다. 또 에러가 복호측에서 검지된 경우는 재송요구를 내고 에러에 상당하는 부분만을 재송해 받도록 하는 것도 중요하다.
이들 처리를 실현하기 위해서는 부호화회로(303)에서 부호화하고 있는 도중에서 프레임내/프레임간의 예측전환을 실시할 수 있는 것이 필요하다. 만일 어떤 일정한 부분(여기에서는 한 예로서 도 3A 및 3B에 나타낸 특정한 슬라이스로 한다)만의 리플래쉬를 실시하는 경우 이 슬라이스의 예측타입은 그 전까지의 슬라이스의 예측타입과 다르기 때문에 매우 중요한 정보로 된다. 또 리플래쉬의 경우는 양자화스텝사이즈도 프레임간예측의 경우와는 크게 다르기 때문에 이 정보도 중요하다.
도 7의 부호화장치에 있어서는, 부호화회로(303)에서 리플래쉬를 위한 부호화를 실시한 경우 부호화를 위한 정보가 지시정보삽입회로(305)에 보내어진다. 한편 상기 리플래쉬를 위한 중요정보는 부호화처리변경정보회로(306)에 미리 격납되어 있다. 비트열재구성회로(307)에서는 리플래쉬를 위한 부호화가 실시된 슬라이스의 비트열의 선두에 동기신호회로(304)에서 결정되어 있는 동기신호가 부가되고, 그 후 지시정보삽입회로(305)에 의해 리플래쉬를 실시한 것을 나타내는 지시정보가 삽입된다. 이 상태에서 리플래쉬된 화상을 복호하기 위해 필요한 상기한 중요정보가 추가 가능하게 되기 때문에 부호화처리변경정보회로(306)로부터 필요한 중요정보가 꺼내어져서 슬라이스의 비트열에 부가된다. 또한 여기에서의 비트열구성예의 상세함은 도 9A 및 9B에서 설명한다.
비트열재구성회로(307)에서 최종적으로 결정한 비트열은 다른 부호화된 음성정보, 문자정보 등과 다중화회로(308)의 외부로부터 사용자가 자유롭게 지정하는 것도 가능하다.
도 8은 도 7의 부호화부에 대응하는 복호장치의 구성예이다. 전송되어 온 부호열은 분리회로(320)에 있어서, 화상정보, 음성정보, 문자정보 등으로 분리된다. 화상정보의 비트열은 우선 동기검출회로(321)에서 동기를 검출함으로써 비트열내의 복호개시위치가 검출된다. 그 정보가 복호회로(323)에 보내어지고, 여기에서 복호처리가 개시, 또는 재개된다. 또한 비트열은 지시정보판정회로(322)에도 전송되고, 여기에서 지시정보의 내용이 판정된다. 리플래쉬가 실현 가능한 구성인 경우 이 지시정보에 의하여 복호처리의 종류를 프레임내/프레임간예측부호화타입에 맞추어서 변경할 수 있으면 좋기 때문에 복호회로(323)내의 프레임내복호기(324), 프레임간복호기(325)를 전환하는 스위치를 지시정보판정회로(322)로부터의 신호에 의해 전환한다. 리플래쉬를 위한 슬라이스에 대해서는 프레임내복호기(intraframe decoder)(324)에 의하여 복호처리가 실행된다. 이 프레임내복호처리는 상기한 양자화스텝사이즈 등의 중요정보에 따라서 제어된다. 복호회로(323)의 프레임내복호기(324) 또는 프레임간복호기(interframe decoder)(325)에서 복호된 화상정보는 D/A회로(326)에서 아날로그신호로 되돌려진 후 모니터(327)상에 표시된다.
도 9A, 9B는 리플래쉬를 실시하는 경우의 프레임내의 형태와, 그에 대응하는 화상부호열의 구조를 나타낸 도면이다.
프레임(351)은 복수의 슬라이스로 분할되는데, 여기에서는 예를 들면 프레임간부호화를 실시하는 슬라이스(352)의 다음에 리플래쉬를 위한 슬라이스(353)가 전송되는 경우를 생각한다(도 9A). 그 다음의 슬라이스(354)는 다시 프레임간부호화로 된다. 이 때에 전송되는 비트열의 형태를 도 9B에 나타낸다. 이 비트열내의 각 부분(361, 362) 및 (363)은 각각 도 9A의 슬라이스(352, 353) 및 (354)에 상당한다. 리플래쉬를 위한 슬라이스의 비트열에 포함되어 있는 SPT(2)내에는 프레임내부호화를 사용한 리플래쉬인 것을 나타내는 지시정보가 삽입된다. 그 후의 SQ2는 리플래쉬용으로 준비된 양자화스텝사이즈를 나타내고 있다. 또 데이터(2)는 모두 프레임내부호화의 결과로서 복호된다.
도 10A, 10B는 중요정보의 내용에 관한 다른 예를 나타낸 도면이며, 도 10A는 프레임, 도 10B는 슬라이스레이어의 비트열이다.
슬라이스레이어에 있어서, 지시정보로 되는 SPT 뒤에 오는 정보는 도 4A 내지 4C에서는 TR이었다. 이는 표시의 타이밍을 그대로 표현해도 좋지만, 경우에 따라서는 그 표현에 관련되는 비트수가 다대해지는 일도 있다. 이를 피하기 위해 도 10A, 10B에서는 압축부호화에서 일반적으로 실시되는 처리이며, 어떤 정보와 이 정보에 대응하는 이전에 전송한 정보의 차분을 부호화하는 수법이 채용되고 있다.
즉 TR로서 0에서 255까지를 생각한 경우 이들을 그대로 표현하는 데에는 8비트를 요한다. 그러나 이것을 예를 들면 3프레임 이상의 코마떨어뜨림(low speed shot)이 없다는 구속조건이 성립하는 경우를 생각하면, 이 때 표시할 때에 서로 이웃하는 프레임은 최대 3프레임 이상은 떨어지지 않게 되기 때문에 상대적인 타임레퍼런스로서는 4가지의 상태(코마떨어뜨림의 수가 0, 1, 2, 3)를 표현할 수 있으면 충분하다. 이 때는 TR로서 2비트 있으면 좋은 것이 되어 비트수의 삭감이 가능해진다. 다만 이 경우는 이미 복호된 직전의 정보가 필요하게 되기 때문에 이 부분의 TR만으로는 표시타이밍이 확정되지 않는다.
도 10B는 위에서 설명한 차분의 TR(도면에서는 DTR)을 중요헤더정보로서 슬라이스레이어로 전송하는 경우의 비트열의 예이다. DTR이 복호된 후 이미 복호되어 있는 전프레임의 도 10A에 상당하는 프레임레이어의 비트열의 TR정보에 DTR을 첨가함으로써 현프레임의 완전한 TR을 산출할 수 있다.
도 11은 도 10A, 10B와 같은 경우의 복호처리를 실시하는 회로를 나타낸 도면이다. 이 도면은 도 2의 복호부분과 바꾸어 넣음으로써 동작한다. 우선 분리회로(121)로부터 보내어져 온 비트열은 동기검출호로(122)에 의해 복호개시위치를알 수 있고 프레임레이어의 TR, PT 등이 복호기(401)에서 복호된다. 동시에 이 복호된 TR정보는 메모리(2)(404)에 격납된다. 또 이들 헤더정보는 에러체크회로(402)에서 에러가 체크되고, 그 결과가 메모리(1)(403)에 전송된다(이상 도 10A)에 대해서의 처리). 한편 도 10B의 슬라이스레이어에 대해서는 우선 지시정보판정회로(123)에 의하여 SPT가 판정되고, 그 후의 DTR, PT가 복호회로(401)에서 복호된다. 만일 에러체크회로(402)로부터의 정보에 의해 그 상위의 프레임레이어의 헤더정보(TR)를 에러 등에 의해 사용할 수 없는 것을 안 경우는 메모리(403)로부터 메모리(404)에 리퀘스트신호를 내고, 여기에 이미 격납되어 있는 앞프레임의 TR정보를 메모리(403)에 전송한다. 메모리(403)내에서는 이 TR과 현프레임에 있어서의 상기 DTR을 가산하여 현프레임의 TR을 작성하고, 이를 복호회로(401)로 되돌려서 복호처리를 계속하는 동시에, 이 TR정보를 메모리(404)에도 전송하여 다음의 프레임에서의 똑같은 처리에 사용할 수 있도록 해 둔다.
도 12는 다른 헤더정보를 위한 준비되어 있는 비트패턴 중에서 미사용의 패턴을 지시정보로서 사용하는 경우의 예이다.
여기에서는 SPT로서 2비트의 비트패턴이 미리 할당되어 있는 경우를 상정한다. 예측타입은 I(프레임내부호화(intraframe encoding)), P(차례방향예측부호화(forward predictive encoding)), B(양방향예측부호화(bidirectionally predictive encoding))의 3종류이며, 각각 00, 01, 10의 비트패턴이 할당되어 있다. 따라서 “11”에 대한 정보가 미사용이기 때문에 이 부호를 지시정보로서 사용한다. 즉 SPT가 “11”인 경우는 예측타입은 아니고, 그 후에 중요정보가 이어지는 것을 나타내고 있다. 또한 지시정보가 나타내는 중요정보는 헤더정보(TR, PT, PQ) 또는 그 일부이어도 좋고, 또는 그 후의 데이터(예를 들면 도 4A의 Data)를 포함해도 좋다. 이들은 시스템의 요구나 네트워크의 에러발생빈도, 필요한 부호화레이트 등에 의하여 변경하는 것이 가능하다.
이상과 같이 본 제 1 실시예에서는 헤더정보와 같은 중요정보가 소실되어도 그것을 복원하기 위한 정보가 어떤 일정한 지시정보의 지시에 따라서 추가전송되기 때문에 중요헤더정보를 에러 등이 발생하여 그것을 복호할 수 없는 경우에도 그 후에 전송되는 지시정보와 그 지시정보에서 지정되는 복원용 정보를 이용하여 복호처리를 올바로 계속하는 것이 가능하게 된다.
다음으로 본 발명의 제 2 실시예에 대하여 설명한다.
본 제 2 실시예에 관련되는 부호화장치의 전체구성은 도 1의 부호화장치와 동일하다. 본 제 2 실시예에 있어서는 화상신호는 도 13과 같이 각 프레임(픽처 또는 VOP라고도 부른다)은 매크로블록이라 불리우는 소영역(도면 중 점선의 영역)으로 분할되어 부호화가 실시된다. 또한 화상신호를 부호화한 화상부호열에 에러가 혼입되었을 때에 그 프레임내의 개개의 부호열에서도 동기를 회복할 수 있도록 프레임을 1 내지는 복수매크로블록으로 이루어지는 비디오패킷(도면 중 실선의 영역)이라 불리우는 단위로 구획하여 부호화가 실시된다.
도 14A 내지 14D는 부호화장치로부터 출력되는 화상부호열의 한 예를 나타낸 것이다. 도 14A는 하나의 프레임(VOP) 전체의 화상부호열이다. VOP의 선두에는 한결같이 복호 가능한 동기부호인 VOP start code(도면 중 VSC)와, 그 VOP에 관한 헤더정보를 포함하는 VOP헤더(도면 중 VOP header)가 첨가된다.
VOP의 부호열은 또한 매크로블록데이터(도면 중 MB data)를 포함하는 비디오패킷마다의 부호열로 구획되어 있다. 각 비디오패킷의 화상부호열의 선두에는 resync marker(도면 중 RM)라 불리우는 한결같이 복호 가능한 동기부호와, 그에 계속되는 비디오패킷헤더(도면 중 Video packet header)가 첨가된다. 다만 VOP의 최초의 비디오패킷에는 VOP start code와 VOP header가 첨가되어 있기 때문에 여기에는 resync marker(RM)와 비디오패킷헤더(Video packet header)는 첨가하지 않는다.
도 14B는 VOP헤더에 포함되는 헤더정보의 예를 나타내고 있다. 도면 중 modulo time base(MTB)와 VOP time increment(VTI)는 그 VOP의 시각을 나타내는 정보이다. 이 시각정보는 그 VOP의 프레임을 복호 및 표시하는 타이밍을 규정하기 위해 사용된다.
여기에서 도 15를 이용하여 VOP의 시각과 modulo time base(MTB), VOP time increment(VTI)의 관계를 설명한다. VOP time increment는 시각을 밀리초정밀도로 나타내는 정보이고, VOP의 시각을 1000밀리초(1초)에서 여분을 취한 값이 들어간다. modulo time base는 시각을 초정밀로 나타내는 정보이며, 직전에 부호화한 VOP와 같은 초라면 “0”이 되고 다른 초라면 그 차분값이 된다.
예를 들면 도 15와 같이 VOP의 시각(밀리초)이 0, 33, 700, 1000, 1300, 1833, 2067인 경우 VOP time increment는 각각 1000의 여분, 즉 0, 33, 700, 0, 300, 833, 67이다. 또 modulo time base가 1로 되는 것은 시각을 1000으로 나누어서 소수점 이하를 잘라 버린 값(도면의 예에서는 0, 0, 0, 1, 1, 1, 2로 된다)이직전의 VOP와 다른 경우, 즉 시각＝0, 1000, 2067에 상당하는 VOP에서 “1”이 되고, 그 이외의 VOP에서는 “0”이 된다. 또 modulo time base는 가변길이부호를 이용한 부호화를 실시해도 좋다. 예를 들면 modulo time base가 0, 1, 2…인 때에 가변길이부호를 각각 “1”, “01”, “001”…과 같이 대응지워서 이용하는 것도 가능하다.
또 도 14B의 VOP예측모드(도면 중 VPT)는 그 VOP 전체의 예측부호화모드(I, B, P)를 나타내는 정보이다. VOP양자화패러미터(도면 중 PQ)는 그 VOP의 부호화에 이용된 양자화스텝폭을 나타내는 정보이다. 다만 VOP를 복수의 비디오패킷으로 분할하여 부호화하는 경우는 비디오패킷마다 양자화스텝폭을 변경 가능하기 때문에 최초의 비디오패킷의 양자화스텝폭을 나타내는 정보로 해도 좋다.
도 14C 및 14D는 비디오패킷에 부가되는 헤더정보인 비디오패킷헤더에 포함되는 정보의 예를 나타낸 것이다. 매크로블록번호(도면 중 MBA)는 그 비디오패킷의 최초의 매크로블록의 번호를 나타내는 정보이다. 비디오패킷양자화패러미터(도면 중 SQ)는 그 비디오패킷의 양자화스텝폭을 나타내는 정보이다. 헤더확장코드(header expansion code)(도면 중 HEC, 이것은 도 5B 내지 5E의 IS에 상당한다)는 비디오패킷헤더에 이중화(다중화)하는 중요정보가 추가되어 있는지 아닌지를 나타내는 플래그이다. HEC가 “0”인 때는 도 14C와 같이 중요정보는 추가되어 있지 않고, 또 HEC가 “1”인 때는 도 14D와 같이 중요정보가 추가되어 있다. 도 14D의 예에서는 화상프레임의 시각정보를 복원할 수 있도록 하기 위해 중요정보로서 VOP의 시각을 나타내는 modulo time base(도면 중 MTB)와 VOP time increment(도면 중 VTI)가 그대로 부가되어 있다.
도 16은 도 14A 내지 14D의 화상부호화열에 대응한 복호화장치의 구성을 나타내는 블록도이다. 여기에서는 도 2의 복호화장치와 상대응하는 부분에 동일한 부호를 붙이고 그 차이만을 설명한다. 도 16의 복호화장치에 있어서는 도 2의 복호화장치의 구성에 덧붙여서 VOP헤더복호회로(VOP header decoder)(601), 비디오패킷헤더복호회로(video packet header decoder)(602), 시각복호회로(time decoder) (603), 일시기억회로(buffer memory)(621)가 설치되어 있다.
동기검출회로(122)에서 VOP start code가 검출되면 복호회로(124)에 이것이 검출된 것을 나타내는 신호가 통지된다. 복호회로(124)는 그 통지에 응답하여 VOP start code에 계속해서 VOP헤더가 포함되는 부호열, 즉 최초의 비디오패킷을 VOP헤더복호회로(601)에 보내고, 그 곳에서 VOP헤더의 복호를 실행시킨다. VOP헤더복호회로(601)에서는 VOP헤더에 포함되는 시각, VOP부호화모드, VOP양자화패러미터가 복호된다. 이 중 시각에 대해서는 modulo time base 및 VOP time increment가 시각복호회로(603)에 보내어지고, 그 곳에서 시각이 복호된다.
시각복호회로(603)에서는 우선 보내어져 온 modulo time base 및 VOP time increment가 복호되는 동시에 에러가 없는지의 체크가 실시된다. 에러의 체크는 modulo time base 및 VOP time increment로부터 복호된 시각이 실제로 존재할 수 있는 시각인지를 검증함으로써 실시한다. 예를 들면 부호화한 화상신호가 NTSC신호인 경우에는 프레임레이트는 30Hz이기 때문에 시각은 1/30초(＝33밀리초)의 배수의 값을 취할 것이다. 따라서 복호된 시각이 1/30초의 배수가 아니었던 경우에는 modulo time base 및 VOP time increment에 전송로에러가 있다고 판정한다. 동시에 PAL신호인 경우에는 1/25초의 배수가 되어 있는지로 체크 가능하다.
이와 같은 에러체크를 위한 기준값은 화상신호의 종류(PAL, NTSC, CIF 등)마다 부호화장치, 복호화장치에서 미리 정해진 값을 준비해 두어도 좋고, (도시하지 않음)시스템정보의 부호열에 이것을 나타내는 정보를 넣어서 나타내도 좋으며, 화상부호열의 일부에 넣어도 좋다.
시각복호회로(603)에서의 시각의 복호 및 에러체크가 끝나면 VOP헤더복호회로(601)에는 에러가 있다고 판정되었을 때는 그것을 나타내는 신호가, 에러가 없다고 판정되었을 때는 복호된 시각을 나타내는 신호가 보내어진다. VOP헤더복호화회로(601)는 시각에 에러가 없었던 경우에는 일시기억회로(621)에 이 시각을 나타내는 정보를 격납한 후 그 정보와 다른 정보를 합쳐서 복호회로(124)에 보낸다. 한편 시각에 에러가 있었을 때에는 그 VOP헤더가 포함되는 최초의 비디오패킷의 부호열은 파기되고 다음의 비디오패킷의 복호가 개시된다.
동기검출회로(122)에서 resync marker(RM)가 검출되면 복호회로(124)에 그들이 검출된 것을 나타내는 신호가 전해진다. 복호회로(124)는 그에 따라서 resync marker(RM)에 계속해서 비디오패킷헤더가 포함되는 부호열, 즉 2번째 이후의 어떤 비디오패킷을 비디오패킷헤더복호회로(601)에 보내고, 그 곳에서 비디오패킷헤더의 복호를 실행시킨다. 비디오패킷헤더복호회로(602)에서는 비디오패킷헤더에 포함되는 매크로블록번호(MBA), 비디오패킷양자화패러미터(SQ), 헤더확장코드(HEC)의 복호가 실시된다.
만일 헤더확장코드(HEC)＝“1”이었던 경우에는 그에 계속되는 modulo time base 및 VOP time increment를 시각복호회로(603)에 보내고, 여기에서 시각의 복호를 실시한다. 시각복호회로(603)에서는 앞서의 VOP헤더의 복호의 경우와 똑같이 보내어져 온 modulo time base 및 VOP time increment를 복호하는 동시에 에러가 없는지 체크를 실시한다. 시각복호회로(603)에서의 시각의 복호 및 에러체크가 끝나면 비디오패킷헤더복호회로(602)에는 에러가 있다고 판정되었을 때는 그것을 나타내는 신호가, 에러가 없다고 판정되었을 때는 복호된 시각을 나타내는 신호가 보내어진다. 비디오헤더복호화회로(602)에서는 시각에 에러가 있었을 때에는 그 VOP헤더가 포함되는 비디오패킷의 부호열은 파기하고 다음의 비디오패킷의 복호를 실시한다.
한편 시각에 에러가 없었던 경우에는 제 1 일시기억회로(621)에 격납되어 있는 시각, 즉 직전에 복호된 비디오패킷에서 얻은 시각과의 비교를 실시하고 현재의 비디오패킷이 포함되는 VOP의 판정을 실시한다. 만일 동일한 시각이면, 그 비디오패킷은 직전에 복호된 비디오패킷과 동일한 VOP에 포함되어 있다고 판정하고 복호회로(124)에 복호된 비디오패킷헤더의 정보를 나타내는 신호를 보내어 복호를 실시한다. 한편 복호된 시각과 일시기억회로(621)에 격납되어 있는 시각이 다른 경우에는 지금부터 복호하려 하는 비디오패킷은 직전에 복호된 비디오패킷과는 다른 VOP에 포함되어 있다고 판정한다. 이 경우는 일시기억회로(621)에 복호된 시각을 기록하는 동시에 복호회로(124)에 대하여 직전의 비디오패킷과, 이 비디오패킷과의 사이에 VOP영역이 있으며, 이 비디오패킷으로부터 새로운 VOP로서 복호하는 것을 나타내는 VOP분할신호, 복호된 시각 및 복호된 비디오패킷헤더의 정보를 나타내는 신호를 보낸다. 복호회로(124)에서는 VOP분할신호를 받아서 직전에 복호된 비디오패킷에서 VOP가 종료되었다고 간주하여 VOP복호종료처리를 실시하고, 지금부터 복호하려 하는 비디오패킷이 다음의 VOP의 최초의 비디오패킷으로 간주하여 VOP복호개시처리를 실시하며, 계속해서 비디오패킷의 복호를 실시한다.
이와 같은 처리를 실시함으로써 비록 VOP start code 및 VOP헤더가 에러에 의하여 분실되어 버려도 비디오패킷헤더의 시각정보에 의하여 VOP경계를 판정할 수 있는 동시에 올바른 복호시각을 얻을 수 있기 때문에 복호화상의 품질이 향상한다.
도 17A 내지 17C는 VOP헤더 및 비디오패킷헤더의 제 2 예를 나타낸 것이다. 도 14A 내지 14D의 예와 비교하면, 헤더에 포함되는 정보에 에러가 들어갔는지 아닌지를 체크하는 CRC검사비트가 부가되어 있는 점이 다르다.
도 17A는 VOP헤더이다. 도면 중 “CW1”은 VOP헤더에 포함되는 modulo time base, VOP time increment, VOP부호화모드, VOP양자화패러미터에 대한 CRC체크를 실시하기 위한 검사비트이다.
도 17B 및 17C는 비디오패킷헤더이다. 도면 중 “CW2”는 매크로블록번호, 비디오패킷양자화패러미터 및 헤더확장코드에 대한 CRC체크를 실시하기 위한 검사비트이다. 또 CW3는 HEC＝“1”, 즉 중요정보가 부가된 비디오패킷헤더만에 존재하고, 중요정보, 즉 modulo time base 및 VOP time increment에 대한 CRC체크를 실시하기 위한 검사비트이다.
도 18은 도 17A 내지 17C의 화상부호열에 대응하는 복호화장치의 구성이다. 도 16의 복호화장치에 상대하는 부분에 동일한 부호를 붙여서 그 차이만을 설명하면, CRC판정회로(605)가 첨가되어 있는 점이 다르다.
VOP헤더복호회로(601)에서는 VOP헤더에 포함되는 정보의 복호를 실시하는 동시에 CRC검사비트(CW1)를 이용하여 VOP헤더의 CRC체크를 실시한다. 만일 CRC체크에서 에러 있음이라고 판정된 경우는 그 VOP헤더 및 그것이 포함되는 비디오패킷을 파기하고 다음의 비디오패킷의 복호로 옮긴다.
비디오패킷헤더복호회로(602)에서는 비디오패킷헤더에 포함되는 정보의 복호를 실시하는 동시에 CRC검사비트(CW2)를 이용하여 비디오패킷헤더의 CRC체크를 실시한다. 만일 CRC체크에서 에러 있음이라고 판정된 경우는 그 비디오패킷헤더 및 그것이 포함되는 비디오패킷을 파기하고 다음의 비디오패킷의 복호로 옮긴다. 만일 에러 없음이라고 판정된 경우에는 복호된 헤더확장코드(HEC)가 “1”이었던 경우에는 그에 계속해서 추가된 중요정보(MTB 및 VTI)를 복호한다. CRC검사비트(CW3)를 이용하여 중요정보에 에러가 들어가 있는지 아닌지가 체크된다. 만일 에러가 없으면 상기한 도 16의 복호화장치의 경우와 똑같이 VOP헤더나 다른 비디오패킷헤더 속의 시각정보와의 비교, VOP분할처리 등을 실시한다.
이상 설명한 바와 같이 제 2 실시예에 있어서는 화상프레임의 시각을 나타내는 정보를 그 프레임내의 비디오패킷에 부가하고 있기 때문에 VOP헤더에 포함되는 시각정보가 에러에 의하여 분실되어도 비디오패킷헤더 속의 중요정보에 의해 올바른 시각을 복호할 수 있기 때문에 복호장치에서 올바른 시각에 화상을 재생표시할 수 있다.
또 비디오패킷헤더의 시각정보와 VOP헤더 또는 다른 비디오패킷헤더의 시각정보를 비교하여 VOP경계판정을 실시함으로써 VOP start code가 에러에 의하여 분실되어도 VOP의 경계를 올바로 복호할 수 있어서 복호화상의 품질이 향상한다.
상기한 예에 있어서, 중요정보가 포함되는지 아닌지는 각 비디오패킷마다 헤더확장코드(HEC)에 의하여 나타내어진다. 예를 들면 모든 비디오패킷헤더에서 HEC＝“1”로서 중요정보를 넣도록 해도 좋고, 일부의 비디오패킷만 HEC＝“1”로 해도 좋다. 전송로에러의 상태에 따라서 중요정보를 넣는 비디오패킷의 수를 제어함으로써 적은 오버헤드로 효율적으로 중요정보를 보호할 수 있다.
예를 들면 상기한 예와 같이 modulo time base(MTB)와 VOP time increment( VTI)를 이용하여 복호시각을 나타내는 경우에는, MTB＝0인 경우에는 시각정보를 올바로 복호할 수 없어도 복호시각의 오차는 1초 이하인데, MTB가 0 이외의 VOP에서 MTB가 올바로 복호되지 않으면 그 이후의 VOP에서 복호시각에 초단위의 커다란 오차가 발생해 버린다. 이 때문에 MTB가 0인 VOP에서는 전체의 비디오패킷에서 HEC＝“0”으로 하거나 소수의 비디오패킷에서만 HEC＝“1”로 하고, MTB가 1 이외인 VOP에서는 전체 내지는 대부분의 비디오패킷에서 HEC＝“1”로 하여 MTB가 올바로 복호되도록 해도 좋다.
제 2 실시예에서는 이중화하는 중요정보로서 시각을 나타내는 정보(modulo t ime base, VOP time inerement)를 이용하는 예를 나타냈지만, 이 정보 이외에도 예를 들면 부호화모드를 나타내는 정보, 양자화패러미터를 나타내는 정보, 움직임보상에 관한 정보, 움직임벡터정보 등을 합쳐서 이중화해도 좋다.
복수의 VOP예측모드(예를 들면 프레임내예측(intraframe predictive )VOP(I -VOP), 전방예측(forward predictive)VOP(P-VOP), 전방후방예측(bidirectional predictive)VOP(B-VOP) 등)을 VOP마다 전환하여 부호화하는 경우에는 이 VOP예측모드에 관한 정보를 올바로 복호할 수 없으면 그 VOP를 복호할 수 없다. VOP예측모드도 비디오패킷헤더에 이중화정보로서 포함시킴으로써 VOP헤더의 VOP예측모드가 에러에 의하여 분실되어도 비디오패킷헤더 속의 이중화정보에 포함되어 있는 VOP예측모드정보를 토대로 그 VOP를 복호하는 것이 가능하다. 이하 그와 같은 예에 대하여 설명한다.
도 27A 및 27B는 제 2 실시예에 있어서의 비디오패킷헤더의 제 3 예를 나타낸 것이다. 하나의 프레임(VOP) 전체의 화상부호열 및 VOP헤더는 각각 도 14A 및 14B와 동일하다. 도 27A 및 27B는 각각 헤더확장코드(HEC)＝“0” 및 (HEC)＝“1”인 때의 비디오패킷헤더이다. 도 14A 내지 14D의 비디오패킷헤더에 비하여 HEC＝“1”인 때에 시각을 나타내는 정보(도면 중 MTB, VTI)에 덧붙여서 VOP예측모드(도면 중 VPT)가 포함되어 있는 점이 다르다.
도 27A 및 27B의 화상부호열에 대응하는 복호화장치는 그 전체구성은 도 16과 같다. 다만 비디오패킷헤더복호회로(602)의 동작이 다르다. 또 일시기억회로(621)에 시각정보(modulo time base, VOP time increment)만이 아니라 VOP예측모드정보(VPT)도 기록하는 점이 다르다. 이하 이 상이점을 중심으로 복호화회로의 동작을 설명한다.
동기검출회로(122)에서 VOP start code가 검출되면 복호회로(124)에 이것이 검출된 것을 나타내는 신호가 전해진다. 복호회로(124)는 그에 따라서 VOP start code에 계속되는 VOP헤더가 포함되는 부호열을 VOP헤더복호회로(601)에 보내고 VOP헤더의 복호가 실시된다. VOP헤더복호회로(601)에서는 VOP헤더에 포함되는 시각정보(MTB, VTI), VOP부호화모드정보(VPT), VOP양자화패러미터(PQ)의 복호가 실시된다. 이 중 시각에 대해서는 modulo time base(MTB) 및 VOP time increment(VTI)를 시각복호회로(603)에 보내고 여기에서 시각의 복호가 실시된다.
시각복호회로(603)에서는 우선 보내어져 온 modulo time base 및 VOP time increment를 복호하는 동시에 에러가 없는지 체크를 실시한다. 에러의 체크는 modulo time base 및 VOP time increment로부터 복호된 시각이 실제로 존재할 수 있는 시각인지를 검증함으로써 실시한다. 예를 들면 부호화한 화상신호가 NTSC신호인 경우에는 프레임레이트는 30Hz이기 때문에 시각은 1/30초(＝30밀리초)의 배수의 값을 취할 것이다. 따라서 복호된 시각이 1/30초의 배수가 아니었던 경우에는 modulo time base 및 VOP time increment에 전송에러가 있다고 판정한다. 마찬가지로 PAL신호인 경우에는 1/25초의 배수가 되어 있는지로 체크 가능하다.
화상신호의 종류(PAL, NTSC, CIF 등)는 부호화장치, 복호화장치에서 미리 정해진 값을 이용해도 좋고, (도시하지 않음)시스템정보의 부호열에 이것을 나타내는 정보를 넣어서 나타내도 좋으며, 화상부호열의 일부에 넣어져 있어도 좋다.
시각복호회로(603)에서의 시각의 복호 및 에러체크가 끝나면, VOP헤더복호회로(601)에 에러가 있다고 판정되었을 때는 그것을 나타내는 신호가, 에러가 없다고 판정되었을 때는 복호된 시각을 나타내는 신호가 보내어진다. VOP헤더복호화회로(601)에서는 시각에 에러가 없었던 경우에는 또한 VOP예측모드정보(VPT)를 복호한다. 만일 VOP예측모드정보에도 에러가 없었던 경우는 시각정보와 VOP예측모드정보를 일시기억회로(621)에 격납하고 다른 정보와 합쳐서 복호회로(124)에 보낸다. 한편 VOP헤더에 포함되는 시각정보나 VOP예측모드정보에 에러가 있었을 때에는 그 VOP헤더가 포함되는 비디오패킷의 부호열은 파기하고 다음의 비디오패킷의 복호를 실시한다.
동기검출회로(122)에서 resync marker가 검출되면 복호회로(124)에 그들이 검출된 것을 나타내는 신호가 전해진다. 복호회로(124)는 그에 따라서 resync marker에 계속되는 비디오패킷헤더가 포함되는 부호열을 비디오패킷헤더복호회로(601)에 보내고 비디오패킷헤더의 복호가 실시된다. 비디오패킷헤더복호회로(601)에서는 비디오패킷헤더에 포함되는 매크로블록번호, 비디오패킷양자화패러미터, 헤더확장코드의 복호를 실시한다.
만일 헤더확장코드(HEC)＝“1”이었던 경우에는 그에 계속되는 modulo time base 및 VOP time increment를 시각복호회로(603)에 보내고, 여기에서 시각의 복호를 실시한다. 시각복호회로(603)에서는 앞서의 VOP헤더의 복호의 경우와 똑같이 보내어져 온 modulo time base 및 VOP time increment를 복호하는 동시에 에러가 없는지 체크를 실시한다. 시각복호회로(603)에서의 시각의 복호 및 에러체크가 끝나면, 비디오패킷헤더복호회로(602)에 에러가 있다고 판정되었을 때에는 그것을 나타내는 신호가, 에러가 없다고 판정되었을 때는 복호된 시각을 나타내는 신호가 보내어진다. 비디오패킷헤더복호화회로(602)에서는 시각에 에러가 있었을 때에는 그 비디오패킷헤더가 포함되는 비디오패킷의 부호열은 파기하고 다음의 비디오패킷의 복호를 실시한다.
한편 시각에 에러가 없었던 경우에는 또한 시각정보에 계속되는 VOP예측모드정보의 복호를 실시한다. 만일 VOP예측모드정보에도 복호에러가 없었던 경우에는 복호된 시각정보와 일시기억회로(621)에 격납되어 있는 시각의 비교를 실시하고, 그 비디오패킷이 포함되는 VOP의 판정을 실시한다. 만일 동일한 시각이면 그 비디오패킷은 직전에 복호된 비디오패킷과 동일한 VOP에 포함되어 있다고 판정하고 복호회로(124)에 복호된 비디오패킷헤더의 정보를 나타내는 신호를 보내어 복호를 실시한다. 한편 복호된 시각과 일시기억회로(621)에 격납되어 있는 시각이 다른 경우에는, 지금부터 복호하려 하는 비디오패킷은 직전에 복호된 비디오패킷과는 다른 VOP에 포함되어 있다고 판정한다. 이 경우는 일시기억회로(621)에 복호된 시각정보 및 VOP예측모드정보를 기록하는 동시에 복호회로(124)에 이 비디오패킷이 VOP의 최초인 것을 나타내는 VOP분할신호, 복호된 시각 및 복호된 비디오패킷헤더의 정보를 나타내는 신호를 보낸다. 복호회로(124)에서는 VOP분할신호를 받아서 직전에 복호된 비디오패킷에서 VOP가 종료되었다고 간주하여 VOP복호종료처리를 실시하고, 지금부터 복호하려 하는 비디오패킷이 다음의 VOP의 최초의 비디오패킷으로 간주하여 VOP복호개시처리를 실시하고, 계속해서 비디오패킷의 복호를 실시한다.
또한 비디오패킷헤더에 포함되어 있는 VOP예측모드정보와 일시기억회로(621)에 기록되어 있는 VOP예측모드정보가 다른 경우에는 그 비디오패킷은 비디오패킷헤더에 포함되어 있는 VOP예측모드를 이용하여 복호처리를 실시해도 좋다. 이에 따라 VOP헤더에 포함되어 있는 VOP예측모드정보를 올바로 복호할 수 없었던 경우에도 그 비디오패킷을 복호하는 것이 가능하다.
이와 같은 처리를 실시함으로써 VOP start code 및 VOP헤더가 에러에 의하여 분실되어 버려도 비디오패킷헤더의 시각정보 및 VOP예측모드정보에 의하여 VOP경계와 VOP예측모드를 올바로 식별할 수 있기 때문에 복호화상의 품질이 향상한다.
또한 VOP헤더나 비디오패킷헤더를 복호할 때에 화상부호열 속에 (도시하지 않음)에러검사정보(CRC, 스터핑비트 등)가 있는 경우나 전송로/축적매체로부터의 부호열을 수신하는 회로, 또는 수신한 부호열을 화상부호열, 음성부호열 등으로 분리하는 역다중화회로(demultiplexer)에 있어서 부호열 속에 에러가 있는 것을 판정하는 기능이 있는 경우에는 이들에 의하여 에러판정된 결과를 이용해서 복호된 VOP헤더나 비디오패킷헤더에 에러가 있는지를 판정하도록 해도 좋다. 만일 이에 따라서 복호된 정보에 에러가 있다고 판정된 경우에는 그들 정보는 화상복호에는 이용하지 않도록 한다. 또 에러가 있다고 판정된 정보가 포함되는 비디오패킷은 복호하지 않고 파기하도록 해도 좋다.
도 28A 및 28B는 제 2 실시예에 있어서의 비디오패킷헤더의 제 4 예를 나타내고 있다. 하나의 프레임(VOP) 전체의 화상부호열 및 VOP헤더는 각각 도 14A 및 도 17A와 동일하다. 도 28A 및 28B는 각각 HEC＝“0” 및 HEC＝“1”인 때의 비디오패킷헤더이다. 도 17B 및 17C의 비디오패킷헤더에 비하여 HEC＝“1”인 때에 시각을 나타내는 정보(도면 중 MTB, VTI)에 덧붙여서 VOP예측모드(도면 중 VPT)가 포함되어 있는 점이 다르다.
도 28A 및 28B의 화상부호열에 대응하는 복호화장치는 그 전체구성은 도 18과 같다. 다만 비디오패킷헤더복호회로(602)의 동작이 다르다. 또 일시기억회로(621)에 시각정보(modulo time base, VOP time increment)만이 아니라 VOP예측모드정보(VPT)도 기록하는 점이 다르다. 이하 이 상이점을 중심으로 복호화회로의 동작을 설명한다.
VOP헤더복호회로(601)에서는 VOP헤더에 포함되는 정보의 복호를 실시하는 동시에 CRC검사비트(CW1)를 이용하여 VOP헤더의 CRC체크를 실시한다. 만일 CRC체크에서 에러 있음이라고 판정된 경우는 그 VOP헤더 및 그것이 포함되는 비디오패킷을 파기하고 다음의 비디오패킷의 복호로 옮긴다.
비디오패킷헤더복호회로(602)에서는 비디오패킷헤더에 포함되는 정보의 복호를 실시하는 동시에 CRC검사비트(CW2)를 이용하여 비디오패킷헤더의 CRC체크를 실시한다. 만일 CRC체크에서 에러 있음이라고 판정된 경우는 그 비디오패킷헤더 및 그것이 포함되는 비디오패킷을 파기하고 다음의 비디오패킷의 복호로 옮긴다. 만일 에러 없음이라고 판정된 경우에는 복호된 헤더확장코드(HEC)가 1이었던 경우에는 그에 계속되는 이중화된 중요정보(도면 중 MTB, VTI 및 VPT)를 복호한다. CRC검사비트(CW3)를 이용하여 이중화중요정보에 에러가 들어가 있는지 체크한다. 만일 에러가 없으면 상기한 도 116의 복호화장치와 똑같이 VOP헤더나 다른 비디오패킷헤더 속의 시각정보의 비교, VOP분할처리 등을 실시한다.
이상 설명한 바와 같이 시각을 나타내는 정보를 중요정보에 포함시키고 있기 때문에 VOP헤더에 포함되는 시각정보가 에러에 의하여 분실되어도 비디오패킷헤더 속의 중요정보에 의해 올바른 시각을 복호할 수 있기 때문에 복호장치에 있어서 올바른 시각에 화상을 재생표시할 수 있다. 또 비디오패킷헤더의 시각정보와 VOP헤더 또는 다른 비디오패킷헤더의 시각정보를 비교하여 VOP경계판정을 실시함으로써 VOP start code가 에러에 의하여 분실되어도 VOP의 경계를 올바로 복호할 수 있어서 복호화상의 품질이 향상한다.
또 VOP예측모드도 비디오패킷헤더에 이중화정보로서 포함시킴으로써 VOP헤더의 VOP예측모드정보가 에러에 의하여 분실되어도 비디오패킷헤더 속의 이중화정보에 포함되어 있는 VOP예측모드정보를 토대로 그 VOP를 복호하는 것이 가능하다.
또 제 2 실시예에 있어서, VOP헤더, 비디오패킷헤더에 동기부호(Picture start code, VOP start code, Resync marker 등)와 동일한 패턴이 발생하지 않도록 마커비트라 불리우는 비트를 부가해도 좋다.
도 31A 및 31D는 도 14A 내지 14D의 부호열에 마커비트를 부가한 예이다. 도 31A 내지 31D 중 VOP time increment(VTI)의 뒤에 있는 “marker”가 마커비트이며, 미리 정해진 비트값(예를 들면 “1”)을 갖는다.
도 32A 내지 32C는 마커비트가 없는 비디오패킷헤더와 마커비트가 있는 비디오패킷헤더를 비교하여 나타낸 것이다. 도 32A와 같이 동기부호의 하나인 resync marker를 “00000000000000001”이라는 비트패턴을 갖는 17비트의 부호어로 한다. 또 VOP time increment(VTI)는 10비트의 임의의 값을 갖는 부호어이며, MTB는 마지막의 비트가 0인 가변길이부호이다.
도 32B와 같이 마커비트가 없는 경우에는 VTI가 0이 연속하는 패턴이 된 경우에는 resync marker와 동일한 비트패턴이 발생해 버린다. 도 32B의 예에서는 MTB의 “0”과 VTI의 “0000000000”과 그에 계속되는 “000001”이라는 비트열로 resync marker과 동일한 패턴이 발생해 버리고 있다.
이에 대하여 도 32C와 같이 VT1의 뒤에 마커비트“1”을 부가함으로써 비디오패킷헤더 속의 연속하는 0비트의 수가 최대 11비트(MTB의 최후의 1비트의 0과 VTI의 “0000000000”)로 억제되기 때문에 resync marker와 동일한 비트패턴을 발생하는 일은 없다.
또한 마커비트는 미리 정해진 비트값(도 32A 내지 32C의 예에서는 “1”)을 갖기 때문에 복호화장치에 있어서 마커비트가 이 미리 정해진 값이 어떤지를 판정함으로써 VOP헤더, 비디오패킷헤더에 전송로에러가 있는지 없는지를 판정하도록 해도 좋다.
제 2 실시예에서 나타낸 도 17A 내지 도 17C, 도 27A, 27B, 도 28A 및 28B 등의 다른 부호열에도 똑같이 마커비트를 부가하여 이용할 수 있다.
또 이와 같은 부호열의 구조는 슬라이스레이어를 이용한 경우에도 적용할 수 있다. 도 33은 제 1실시예에 있어서의 슬라이스구조를 이용한 부호열의 다른 예를 나타낸 것이다.
도 33 중 SSC는 슬라이스동기부호, EPB는 동기부호(예를 들면 SSC) 이외의 부분이 동기부호와 동일한 비트패턴이 되지 않도록 부가되는 비트값“1”을 갖는 비트, MBA는 그 슬라이스의 최초의 매크로블록의 번호를 나타내는 정보, SQUATNT는 그 슬라이스에서 이용되는 양자화패러미터, GFID는 픽처헤더에 포함되는 정보 또는 그 일부를 나타내기 위한 정보이다. 또 동기부호(SSC)를 부호열 속의 바이트위치에 구비하는 경우에는 스터핑비트(SSTUF)가 SSC의 앞에 부가된다. Macroblock Data는 각 매크로블록의 정보이다.
TR이 이중화된 중요정보이며, 시각정보(Temporal Reference)를 나타내고 있다. TRI는 TR이 부가되었는지 아닌지를 나타내는 1비트의 플래그이고 TRI＝1인 때에 TR이 부가된다.
다음으로 본 발명의 제 3 실시예에 대하여 설명한다.
도 19는 본 제 3 실시예에 관련되는 동화상·음성부호화장치의 전체구성을 나타낸다. 압축부호화하는 동화상신호(101A) 및 음성신호(102A)는 각각 동화상부호화장치(111A) 및 음성부호화장치(112A)에 입력되고, 각각 압축되어 동화상부호열(121A) 및 음성부호열(122A)이 출력된다. 동화상부호화장치 및 음성부호화장치의 구성에 대해서는 문헌(야스다 히로시 편저, “멀티미디어부호화의 국제표준”, 마루젠(1994년)) 등이 상세하기 때문에 여기에서는 생략한다.
동화상부호열(121A) 및 음성부호열(122A)은 데이터부호열(103A)과 함께 다중화장치(130A)에서 다중화되고 다중화부호열(135A)이 출력된다.
도 20은 도 19의 동화상·음성부호화장치(video/speech encoder)에 대응하는 동화상·음성부호화장치(video/speech decoder)의 전체구성을 나타내는 도면이다. 동화상·음성부호화장치로부터의 다중화부호열(185A)은 다중분리장치(demultiplexe r)(180A)에서 분리되고(demultiplex), 동화상부호열(171A), 음성부호열(172A) 및 데이터부호열(173A)이 출력된다. 동화상부호열(171A), 음성부호열(172A)은 각각 동화상복호화장치(video decoder)(161A) 및 음성복호화장치(speech decoder)(162A)에 입력되고, 그 곳에서 각각 복호됨으로써 재생동화상신호(reconstructed video s ignal)(151A) 및 재생음성신호(152A)가 출력된다.
도 21A 및 21B는 동화상부호열(121A)의 2가지의 예를 나타낸 것이다. 동화상부호화장치(111A)에 있어서의 부호화는 픽처(프레임, VOP)단위로 실시되어 동화상부호열(121A)이 작성된다. 픽처의 안은 또한 매크로블록이라 불리우는 소영역으로 분할되어 부호화가 실시된다.
1픽처의 동화상부호열은 픽처의 스타트위치를 나타내는 한결같이 복호 가능한 부호인 픽처스타트코드(PSC)(201A)(VOP스타트코드라고도 한다)로부터 시작된다.
픽처스타트코드(201A)의 뒤에는 픽처헤더(PH)(202A)(VOP헤더라고도 한다)가 이어진다. 픽처헤더(202A)에는 픽처의 시간적 위치를 나타내는 PTR(Picture Tempo ral Reference)(221A), 픽처 전체의 부호화모드를 나타내는 픽처부호화모드(PCM)(2 22A), 픽처양자화스텝사이즈(PQ)(223A)가 포함되어 있다. 픽처헤더(202A)의 뒤에는 각 매크로블록의 부호화데어터(203A)가 이어진다.
도 21B는 복수의 매크로블록을 정리한 슬라이스마다 부호화를 실시한 예를 나타낸 것이다.
각 슬라이스의 부호열에 있어서는, 슬라이스의 스타트위치를 나타내는 한결같이 복호 가능한 부호인 재동기마커(recync marker)(RM)(210A), 슬라이스헤더(SH)(211A)가 이어지고, 또한 각 매크로블록의 매크로블록데이터(MB)(203A)가 이어진다. 슬라이스헤더(211A)에는 슬라이스의 최초의 매크로블록의 번호를 나타내는 SMBN(Slice Macroblock Number)(231A), 양자화스텝사이즈(SQ)(232A)가 포함되어 있다.
재동기마커(210A) 및 슬라이스헤더(211A)는 미리 정해진 일정 비트마다 부가해도 좋고, 화상프레임 속의 특정한 위치에 부가하도록 해도 좋다. 이와 같이 슬라이스구조를 갖는 부호화를 실시한 경우에는 동화상부호열 속에 에러가 혼입되어도 한결같이 복호 가능한 재동기마커(210A)에서 재동기를 취할 수 있고, 에러가 전파하는 범위를 그 슬라이스의 안에 수납할 수 있기 때문에 전송로에러가 있었을 때의 재생화상의 품질이 향상한다.
도 22는 다중화기에서 다중화된 다중화부호열(135A)의 한 예를 나타내는 도면이다. 다중화부호열(135A)은 동화상부호열(VIDEO), 음성(오디오)부호열(SPEECH) , 데이터, 제어정보부호열(DATA)이 소정의 사이즈마다 각각 다중화되어 있는 복수의 다중패킷으로 구성되어 있다. 도 22 중 301A, 302A, 303A로 나타내는 구간이 각각 하나의 다중화패킷이다. 이는 전체의 다중화패킷이 같은 길이(비트수)의 고정길이패킷이어도 좋고 다중화패킷마다 길이가 다른 가변길이패킷이어도 좋다.
각 다중화패킷은 최초에 다중화패킷의 스타트위치를 나타내는 다중화스타트코드(MSC)(310A)가 첨가되고, 그 뒤에 다중화헤더(MH)(311A, 312A, 313A)가 이어진다. 그 뒤에 도 19의 동화상부호열(121A), 음성부호열(122A), 데이터부호열(103A)을 패킷단위 등으로 다중화한 다중화페이로드(도면 중 321A, 322A, 323A)가 이어진다.
도 23A 및 도 23B는 다중화헤더(MH)(311A) 속에 포함되는 정보의 제 1 예를 나타내는 도면이다. 도면 중 다중화코드(MC)(351A)는 다중화페이로드(321A) 중에 종화상부호열(Video), 음성부호열(Speech), 데이터부호열(Data)이 어떻게 다중화되어 있는가를 나타내고 있는 정보이다. 이 다중화코드정보(MC)에 전송에러가 발생하면 다중화가 어떻게 실시되어 있는지를 알 수 없게 되기 때문에 다중분리장치(180A)에서 동화상부호열, 음성부호열, 데이터부호열을 올바로 분리할 수 없게 된다. 이 때문에 동화상복호화장치(161A), 음성복호화장치(162A)에서도 올바른 복호를 실시할 수 없어서 재생동화상신호, 음성신호의 품질이 악화해 버린다.
이를 피하기 위해 다중화헤더(MH)는 어느쪽이나 에러검사부호 및 에러정정부호에 의해 강한 에러보호를 실시한다. 도 23A 및 23B 중 353A(CRC)가 CRC에러검사비트, 354A(FEC)가 에러정정부호의 검사비트이다.
본 제 3 실시예에서는 동화상부호열(Video)을 포함하는 다중화패킷의 다중화헤더(MH)에는 동화상부호열(Video)의 비디오헤더정보(VHD)(352A)도 다중화코드정보(MC)와 함께 포함시켜져 있다. 도 23A 및 23B의 예에서는 비디오헤더정보(VHD)(35 2A)가 포함되는 다중화헤더(MH)는 MH1(311A) 및 MH2(312A)이다. 비디오헤더정보(VHD)(352A)는 동화상부호화에 있어서의 픽처(프레임) 전체의 부호화모드 등의 에러가 혼입되면 재생화상에 커다란 악화가 발생해 버리는 중요한 정보이다. 예를 들면 동화상부호화열이 도 21A 및 21B에 나타내는 포맷인 경우는 픽처헤더(202A)나 슬라이스헤더(211A) 내지는 그 안의 일부의 정보를 비디오헤더정보(VHD)(352A)로서 다중화헤더 속에 넣는다.
이와 같이 동화상부호화에 있어서의 픽처헤더 등의 중요정보를 다중화헤더에 삽입하고 다중화코드(MC)와 합쳐서 에러정정부호 및 에러검출부호를 생성하고 그들에 의하여 강한 에러보호를 실시하는 것이 본 제 3 실시예의 특징이다. 이에 따라 중요정보에 대하여 에러보호를 실시하지 않는 종래의 동화상부호화장치에 비하여 전송로에러에 대한 내성이 향상한다.
도 24A 및 도 24B는 다중화헤더(MH)의 제 2 예를 나타내는 도면이다. 도 23A 및 23B에 나타낸 제 1 예에 상대응하는 정보에 동일한 부호를 붙여서 상이점만을 설명하면, 동화상부호열(Video)을 포함하는 다중화패킷에는 다중화헤더 속에 비디오헤더정보(VHD)(352A)에 덧붙여서 동화상부호열의 픽처나 슬라이스의 경계의 위치를 나타내는 픽처포인터(ALP)(451A)가 포함되어 있는 것이 제 1 예와 다르다.
픽처포인터(ALP)(451A)가 없는 경우에는 다중분리장치(180A)에서 동화상부호열을 분리한 후 동화상복호화장치(161A)에서 픽처스타트코드나 재동기마커에 의해 픽처나 슬라이스경계를 검출할 필요가 있다. 이에 대하여 픽처포인터(ALP)(451A)를 다중화헤더에 포함시킨 경우에는 픽처나 슬라이스경계를 이 픽처포인터에 의해서도 검출할 수 있다. 픽처포인터는 다중화헤더 속에서 강하게 에러보호가 실시되고 있기 때문에 픽처경계나 슬라이스경계가 올바로 검출될 확률이 향상하여 재생화상의 품질이 향상한다.
또 비디오헤더정보(VHD)(352A)에는 픽처헤더, 슬라이스헤더에 포함되는 전체의 정보를 포함시켜도 좋고 일부의 정보만을 포함시키도록 해도 좋다.
도 25는 동화상부호열(Video)을 포함하는 다중화패킷(601A, 601B) 각각의 다중화헤더 속에 각각 대응하는 다중화코드((MC1)(611A), (MC2)(621A))에 덧붙여서 비디오헤더정보로서 Picture Time Reference((PTR1)(612A), (PTR2)(622A))만을 포함시킨 예이다.
도면 중 다중화패킷(601A)의 다중화페이로드 속에는 PTR＝1의 픽처의 부호열의 최후의 슬라이스(Slice N)(613A)와, 그에 계속되는 PTR＝2의 픽처의 픽처스타트코드(PSC)(614A)와, PTR＝2의 Picture Time Reference(PTR2)(615A)와, 픽처부호화모드(PCM2)(616A)와, PTR＝2의 픽처의 부호열의 최초의 슬라이스의 전반부분(Slice 1)(617A)이 포함되어 있다. 또 다중화패킷(602A)의 페이로드에는 PTR＝2의 픽처의 부호열의 최초의 슬라이스의 후반부분(Slice 1)(623A), 제 2 슬라이스의 재동기마커(RM)(624A), 슬라이스헤더(SH2)(625A), PTR＝2의 픽처의 부호열의 제 2 슬라이스(Slice 2)(626A)가 포함되어 있다.
다중화패킷(601A)의 다중화헤더(MH1)에는 그 다중화패킷(601A) 속에 최후의 부분의 부호열이 있는 PTR＝1의 픽처의 PTR(612A)이 포함되고 다중화코드(MC1)(611A)와 함께 에러 정정, 검출부호(CRC, FEC)에서 에러보호된다. 따라서 다중화페이로드의 동화상부호화열 속에 포함되는 PTR(615A)을 에러에 의하여 올바로 복호할 수 없어도 다중화헤더 속의 PTR(612A)이 올바로 복호되어 올바른 PTR을 얻을 수 있기 때문에 복호한 픽처를 올바른 시간에 표시할 수 있다.
또한 슬라이스구조를 이용한 동화상부호화방식에 있어서는, 슬라이스스타트코드(재동기마커), 슬라이스헤더가 포함되는 다중화패킷의 비디오헤더정보(352A)에 PTR을 넣으면 픽처스타트코드를 에러에 의하여 올바로 복호할 수 없어도 이 PTR에 의하여 픽처경계를 판정할 수 있다. 예를 들면 픽처스타트코드(PSC)(614A)나 PTR(615A)이 결핍되어도 다음의 다중화패킷의 다중화헤더 속에 PTR(622A)이 포함되어 있기 때문에 이것과 그보다 전의 다중화패킷의 다중화헤더에 포함되는 PTR(예를 들면 PTR(612A))을 비교하고, 이것이 동등하지 않으면 다중화패킷(601A)에 픽처경계가 있다고 판정한다. 이 경우 다중화패킷(602A) 속에 재동기마커가 있는 최초의 슬라이스(도면의 예에서는 624A의 slice2에서) 올바로 복호를 실시할 수 있다.
픽처부호화모드가 빈번히 바뀌는 부호화방식(예를 들면 B픽처를 이용한 부호화방식 등)을 이용하는 경우에는 다중화헤더에 픽처부호화모드를 포함시키도록 해도 좋다.
도 26은 다중화부호열의 제 3 예이다. 이 다중화부호열에서는 각 다중화패킷(701A, 702A, 703A) 속에 하나의 픽처 내지는 슬라이스가 들어가고, 각 픽처헤더(PH1)(712A), 슬라이스헤더(SH2)(722A)가 다중화헤더(751A, 752A) 안에서 다중화코드((MC1)(711A), (MC2)(721A))와 함께 에러보호되어 있다. 이와 같이 동화상부호화의 픽처 내지 슬라이스와 다중화패킷을 구비해 두면 각 다중화패킷은 반드시 픽처 내지는 슬라이스의 스타트위치인 것을 한결같이 알 수 있기 때문에 다중분리된 화상부호열 안에서 다시 픽처스타트코드나 재동기마커를 검출할 필요가 없어서 처리량이 삭감된다. 나아가서는 다중화스타트코드를 전송로에러에 대하여 강한 내성을 갖는 부호로 해 두면 픽처나 슬라이스의 스타트위치를 올바로 특정할 수 없어서 그 픽처나 슬라이스를 복호할 수 없을 확률이 적어진다.
또한 본 제 3 실시예에서는 하나의 화상/음성신호를 부호화, 복호화하는 예를 나타냈지만, 복수의 화상/음성신호부호화장치를 이용하여 복수의 화상/음성신호를 부호화 및 다중화하고, 또 복수의 화상/음성신호복호화장치를 이용하여 복수의 화상/음성신호를 분리/복호화하는 경우에도 똑같이 응용할 수 있다. 이 경우 다중화헤더정보에 포함시키는 비디오헤더정보에는 복수의 화상신호를 식별하는 정보를 포함시키도록 해도 좋다.
또 본 제 3 실시예와 상기한 제 1 및 제 2 실시예를 적절히 조합하여 전송용 부호열을 생성함으로써 더욱 신뢰성이 높은 부호화정보의 전송이 가능하게 된다. 제 3 실시예에 있어서, 시각을 나타내는 PTR(Picture Time Reference)을 제 2 실시예와 똑같은 modulo time base, VOP time increment로서 취급하는 것도 가능하다. 이와 같이 이용함으로써 제 2 실시예에서 설명한 것과 똑같이 modulo time base, VOP time increment의 규칙성을 이용한 체크를 실시해도 좋다.
다음으로 본 발명에 의한 정보를 축적하는 매체에 관한 구체예에 대하여 설명한다.
도 29는 본 발명에 의한 부호화장치로부터 출력된 화상부호열이 축적되는 기록매체(810)를 이용하여 화상신호를 재생하는 시스템을 나타내는 도면이다. 기록매체(810)에는 본 발명에 의한 화상부호화장치에서 부호화된 화상부호열을 포함하는 부호열이 축적되어 있다. 복호장치(820)는 이 축적매체(810)에 축적되어 있는 부호열로부터 화상신호를 재생하고 화상정보출력장치(830)는 재생화상을 출력한다. 예를 들면 컴퓨터에서 판독 가능한 기록매체에 기록된 화상정보를 퍼스널컴퓨터 등으로 재생하는 경우에는 그 기록매체로부터 화상정보의 비트스트림을 판독하고 화상재생프로그램을 이용하여 비트스트림을 소프트웨어처리할 수 있다. 여기에서 화상정보출력장치(830)란 예를 들면 디스플레이 등을 나타낸다. 또는 재생된 화상신호를 (도시하지 않는) 축적매체에 기록해도 좋고 도시하지 않는 전송로를 통하여 다른 장치 또는 시스템에 전송해도 좋다.
이와 같은 구성의 본 시스템은 축적매체(810)에 상기한 각 실시예에서 설명한 바와 같이 포맷의 부호열을 축적하고 있다. 이 부호열은 VOP(픽처, 프레임이라고도 한다)헤더정보의 일부가 비디오패킷(또는 슬라이스, GOB 등)헤더의 일부에 이중화정보로서 기록되어 있는 것이 특징이다. 복호화장치(820)는 이 축적매체(810)에 축적되어 있는 부호열로부터 화상신호를 재생한다. 즉 복호화장치(820)는 축적매체(810)로부터 신호선(801)을 통하여 부호열을 입력하고 도 30에 나타내는 순서에 의해 재생화상을 생성한다.
이하 도 30에 따라서 복호화장치(820)에서의 처리의 내용을 설명한다.
축적매체(810)로부터 화상부호열을 차례로 입력하고, 우선 동기부호를 검출한다(스텝S11). 만일 검출된 동기부호가 VOP start code이었다면(스텝S12의 YES) 직전에 복호된 VOP(프레임)를 화상정보출력장치(830)에 출력하는 처리를 실시한다(스텝S13). 화상부호열 중 VOP start code에 이어지는 VOP헤더(도 29 중 VOP head er)의 복호를 실시한다(스텝S14). 만일 VOP헤더를 올바로 복호할 수 있었다면(스텝S15의 YES) 복호화장치 속의 일시기억회로에 기록되어 있는 정보를 복호된 VOP헤더정보(시각정보, VOP예측모드 등)로 치환한다(스텝S16). VOP헤더에 계속되는 매크로블록데이터(도 29 중 MB data)를 복호하고, 그 비디오패킷의 복호를 실시한다(스텝S17).
만일 검출된 동기부호가 resync marker이었다면(스텝S18의 YES) resync marker(RM)에 이어지는 비디오패킷헤더(매크로블록번호(MBA), 비디오패킷양자화패러미터(SQ), 헤더확장코드(HEC))의 복호를 실시한다(스텝S19). 만일 비디오패킷헤더 속의 헤더확장코드(HEC)＝“0”이었던 경우에는(스텝S20의 NO), 그 비디오패킷의 복호를 실시한다(스텝S17). 만일 헤더확장코드(HEC)＝“1”이었던 경우에는(스텝S20)의 YES), 그에 계속되는 이중화정보(도 29 중 DUPH)의 복호를 실시한다(스텝S21). 만일 이중화정보를 올바로 복호할 수 있었다면(스텝S22의 YES), 이 이중화정보와 일시기억회로에 보존되어 있던 정보를 비교한다(스텝S23). 만일 비교결과가 동등하면(스텝S23의 NO), 비디오패킷헤더에 계속되는 매크로블록데이터(도 29 중 MB data)를 복호하고, 그 비디오패킷을 복호한다(스텝S17). 만일 비교결과가 동등하지 않으면(스텝S23의 YES), 이 비디오패킷은 직전에 복호된 VOP와는 다른 VOP에 속한다고 판정하고, 직전에 복호한 VOP를 화상정보출력장치(830)에 출력하는 처리를 실시하며(스텝S24), 일시기억장치에 기록되어 있는 정보를 복호한 이중화정보에서 치환한다(스텝S25). 또한 그 비디오패킷의 복호를 실시한다(스텝S17).
이상 도 30에 나타낸 동기부호검출로부터 시작되는 일련의 처리를 축적매체(810)에 기록되어 있는 화상부호열을 차례로 입력하면서 반복해 가서 동화상신호를 재생한다.
또한 화상부호열을 그대로 축적매체에 기록하는 것은 아니고 음성신호나 오디오신호를 부호화한 부호열, 데이터, 제어정보 등과의 다중화를 실시한 부호열을 축적매체에 기록하도록 해도 좋다. 이 경우 축적매체에 기록한 정보를 화상복호화장치(820)에서 복호하기 전에 역다중화장치에서 화상부호열과 음성·오디오부호열, 데이터, 제어정보를 역다중화하는 처리를 실시하고, 역다중화된 화상부호열을 복호화장치(820)에서 복호한다.
또 도 29에서는 축적매체(810)에 기록되어 있는 정보가 복호화장치(820)에 신호선(801)을 통하여 전달되는 예를 나타냈지만, 신호선 이외에 유선/무선/적외선 등의 전송로를 통하여 정보를 전달해도 상관 없다.
이상과 같이 본 발명에 따르면, 축적매체에 기록되어 있는 부호열은 중요한 정보가 이중화하여 기록되어 있기 때문에 축적매체에 기록된 정보에 에러가 있는 경우나 축적매체에 기록된 정보를 재생화상에 보내는 신호선이나 전송로에 있어서 에러가 발생하는 경우에 있어서도 악화가 적은 재생화상을 재생할 수 있다.
다음으로 본 발명의 제 4 실시예에 대하여 설명한다.
본 실시예에 관련되는 동화상·음성부호화장치 및 동화상·음성복호화장치의 전체구성은 각각 도 19 및 도 20과 동일하다. 다만 각 부의 동작은 제 3 실시예와 다르다. 이하 이 상이점을 중심으로 설명한다.
도 34A 내지 도 34C는 동화상부호열(121A)의 세가지 예를 나타낸 것이다. 동화상부호화장치(111A)에 있어서의 부호화는 VOP(픽처, 프레임, 필드라고도 한다)단위로 실시되어 동화상부호열(121A)이 작성된다. 픽처 안은 또한 매크로블록이라 불리우는 소영역으로 분할되어 부호화가 실시된다.
하나의 VOP의 동화상부호열은 한결같이 복호 가능한 동기부호인 VOP스타트코드(도면 중 VSC)(픽처스타트코드라고도 한다)로부터 시작된다. VOP스타트코드위 뒤에는 VOP헤더(도면 중 VH)(픽처헤더라고도 한다)가 이어진다. VOP헤더에는 VOP의 시각을 나타내는 정보, VOP부호화모드, VOP양자화스텝사이즈 등이 포함되어 있다. VOP헤더의 뒤에는 각 매크로블록의 부호화데이터가 이어진다.
도 34A는 VOP내를 비디오패킷(슬라이스, GOB라고도 한다)이라 불리우는 부호화단위로 구획하여 부호화를 실시하는 예를 나타낸 것이다. 비디오패킷은 1 내지는 복수의 매크로블록(도면 중 MB data)으로 이루어진다. 예를 들면 움직임벡터의 인접매크로블록의 움직임벡터로부터의 예측과 같이 복수매크로블록에 걸친 예측을 이용한 동화상부호화를 실시하는 경우에는 전송로에러의 영향이 다른 비디오패킷에 미치지 않도록 하기 위해 동일한 비디오패킷에 포함되는 매크로블록만으로부터 예측을 실시하도록 해도 좋다.
VOP의 최초의 비디오패킷 이외의 각 비디오패킷의 부호열은 한결같이 복호 가능한 동기부호인 재동기마커(RM)(슬라이스스타트코드, GOB스타트코드라고도 한다)와 비디오패킷헤더(VPH)(슬라이스헤더, GOB헤더라고도 한다)로부터 시작되고, 또한 각 매크로블록의 데이터(MB data)가 이어진다. 비디오패킷헤더에는 비디오패킷의 최초의 매크로블록의 위치를 나타내는 매크로블록번호(또는 슬라이스번호나 GOB번호), 비디오패킷의 양자화스텝사이즈 등이 포함되어 있다. 또한 제 1 및 제 2 실시예에서 설명한 바와 같이 VOP헤더정보 등의 중요정보를 포함시키도록 해도 좋다.
도 34B는 동화상부호열을 예측모드나 움직임벡터에 관한 정보와 움직임보상적응예측(motion compensation adaptive prediction)의 잔차신호(residual error signal) 또는 그것을 직교변환(orthogonal transform)(DCT 등)한 직교변환계수에 관한 정보의 두가지로 나누어서 부호화한 부호열의 예를 나타낸 것이다. 각 비디오패킷의 부호열 중에서 예측모드나 움직임벡터에 관한 정보(도면 중 Motion)는 전방(도면의 예에서는 비디오패킷헤더 내지는 VOP헤더의 바로 뒤)에 있으며, 예측잔사DCT계수에 관한 정보(도면 중 Texture)는 후방에 있다. 2종류의 정보의 사이는 모션마커(도면 중 MM)로 구획되어 있다.
도 34C는 부호화하는 화상의 형상에 관한 정보를 합쳐서 부호화하는 동화상부호화방식의 부호열의 예를 나타내고 있다. 도면 중 Shape가 형상정보에 관한 정보이며, 각 비디오패킷 중에서 예측모드나 움직임벡터에 관한 정보(Motion)보다도 전방(도면의 예에서는 비디오패킷헤더 내지는 VOP헤더의 바로 뒤)에 있다. 형상정보(Shape)와 예측모드나 움직임벡터에 관한 정보(Motion)의 사이는 쉐프마커(도면 중 SM)로 구획되어 있다.
도 34A 내지 도 34C의 동화상부호화열에 있어서, 스타트코드나 재동기마커 등의 동기부호는 어떤 비트수의 정수배의 비트위치에 구비하도록 하는 것이 바람직하다. 도 35A 및 35B는 각 비디오패킷의 최초에 있는 VOP스타트코드(VSC) 및 재동기마커(RM)의 위치를 N비트의 정수배의 위치에 구비한 예이다. 이와 같은 처리를 실시함으로써 동기부호를 임의의 비트위치에 배치하는 부호화방식에 비하여 복호화장치에서 동기부호를 검출하는 위치의 수를 1/N으로 삭감할 수 있다. 이에 따라 복호화장치에 있어서의 동기검출처리가 간략화되는 동시에 전송로에러에 의하여 동기부호와 동일한 비트패턴(의사동기부호)이 발생하여 동기부호가 잘못해서 검출되어 버리는 유사동기라 불리우는 현상의 확률을 1/N으로 억제할 수 있어서 전송로에러가 들어갔을 때의 복호화상의 품질이 향상한다.
이와 같이 동기부호의 위치를 구비하기 위해 동기부호의 직전의 정보와 동기부호의 사이에는 스터핑비트(도 35 중 stuffing bits)를 넣는다. 도 35B는 N＝8인 때의 스터핑비트의 부호표의 예를 나타낸 도면이다. 이 스터핑비트는 종래 많이이용되어 온 전체의 비트가 “0”인 스터핑비트 등과 달리 부호열의 역방향으로부터 한결같이 복호할 수 있고 스터핑비트의 길이를 복호장치에서 특정할 수 있는 것이 특징이다. 도 35B의 예에서는 스터핑비트의 최초의 1비트가 “0”이고 다른 비트는 “1”이다. 따라서 스터핑비트의 최후의 비트, 즉 동기부호의 직전의 비트로부터 차례로 역방향으로 보아 최초인 “0”의 비트가 스터핑비트의 최초의 비트라고 판정하는 것이 가능하다.
이와 같이 스터핑비트의 최초의 비트의 위치를 특정할 수 있기 때문에 복호장치에 있어서 부호열 속에 전송로에러가 혼입한 것을 용이하게 검출하는 것이 가능하다. 부호열의 복호가 올바로 실시된 경우에는 스터핑비트의 직전의 데이터의 복호종료위치와 스터핑비트의 개시위치가 일치해 있을 것이다. 만일 복호종료위치와 스터핑비트의 개시위치가 어긋나 있던 경우에는 부호열에 전송로에러가 들어갔다고 판정하고, 그 부호열을 복호에 이용하지 않도록 해도 좋다.
또 부호열의 역방향으로부터도 복호 가능한 가변길이부호를 이용하여 역방향의 복호를 실시하는 경우에는 복호화장치에 있어서 역방향복호의 개시위치를 특정할 필요가 있다. 스터핑비트는 복호개시위치는 스터핑비트의 직전의 비트인데, 종래의 예를 들면 전체의 비트가 동일한 비트값을 갖는 스터핑비트는 그 길이를 특정할 수 없기 때문에 복호장치에서 역방향복호의 개시위치를 알 수 없다. 이에 대하여 도 35A 및 35B의 스터핑비트는 최초의 비트의 위치를 특정할 수 있기 때문에 역방향복호의 개시위치를 특정하는 것이 가능하다.
또 동기부호가 “00000000000000001”과 같이 “0”이 많이 포함되는 부호어인 경우 종래의 전체 “0”의 스터핑비트는 에러가 혼입됨으로써 동기부호와 동일한 비트패턴이 되어 버릴 확률이 높고, 유사동기를 발생하기 쉬운 문제가 있었다. 이에 대하여 도 35A 및 35B의 스터핑비트는 최초의 비트 이외 전체 “1”이기 때문에 “0”이 많이 포함되는 동기부호와 해밍거리가 떨어져 있으며, 유사동기가 발생할 가능성이 낮다.
이상과 같이 스터핑비트를 미리 정해진 규칙에 따라서 생성함으로써 복호화역다중화장치(decoder/demultiplexer apparatus)에 있어서, 다중화부호열 속의 스터핑비트를 그 생성규칙과 조합하고, 만일 그 생성규칙에 반한다고 판정된 경우에는 다중화부호열 속에 에러가 혼입되었다고 판정하는 것이 가능하다. 이에 따라 복호화역다중화장치에 있어서, 역다중화하고 복호화한 신호에 커다란 악화가 발생하지 않는 처리를 실시함으로써 다중화부호열 속에 에러가 혼입되었을 때의 복호화신호의 품질을 향상시킬 수 있다.
또한 VOP스타트코드나 재동기마커 이외에 모션마커(MM)나 쉐프마커(SM)도 어떤 비트수의 정수배의 비트위치에 구비하고, 그 전에 도 35B와 같은 스터핑비트를 넣어도 좋다. 이에 따라 형상정보, 예측모드나 움직임벡터정보 등도 검출이나 역방향복호를 실시할 수 있다.
도 36은 다중화기(130A)의 구성의 예를 나타낸 도면이다. 도 36의 예에서는 다중화처리를 어댑테이션층(1031A)(Adaptation Layer)과 다중화층(1032A)(Multiple x Layer)이라 불리우는 2단계로 실시한다. 어댑테이션층(1031A)에 대한 입력은 동화상부호열(121A), 음성부호열(122A), 데이터부호열(103A)이다. 어댑테이션층에서 처리를 실시한 출력(1041A, 1042A, 1043A)은 다중화층(1032A)에 입력된다. 다중화층으로부터의 출력이 다중화부호열(135A)이 된다.
도 37은 동화상부호열(121A)에 대하여 어댑테이션층에서의 처리를 실시한 출력부호열(1041A)의 예를 나타낸 것이다. 어댑테이션층에서의 처리는 동화상부호열(121A)을 어떤 단위로 구획한 AL-SDU(액세스유닛(Access Unit)라고도 한다)라는 단위마다 처리가 실시된다. 하나의 AL-SDU를 어댑테이션층에서 처리한 출력은 AL-PDU라 불리운다. 도 37은 하나의 AL-PDU의 구성을 나타낸 것이다. 각 AL-PDU의 번호, 속성, 동화상부호화나 다중화의 모드 등을 나타내는 정보를 넣어도 좋다. AL헤더의 뒤에는 AL페이로드(AL payload)로서 AL-SDU가 이어진다. 또한 그 뒤에 CRC검사비트 등 AL-PDU에 전송로에러가 들어갔는지 아닌지를 검출하기 위한 검사비트를 첨가해도 좋다.
어댑테이션층에서는 음성부호열(121A)이나 데이터부호열(103A)에 대해서도 똑같은 처리를 실시하고, 음성부호열 및 데이터부호열에 대한 AL-PDU(1042A) 및 (1043A)를 출력한다. 다만 AL헤더에 넣는 정보나 CRC검사비트의 길이나 유무 등은 동화상부호열에 대한 AL-PDU(1041A)와 다르도록 해도 좋다.
어댑테이션층에서 작성된 AL-PDU(1041A, 1042A, 1043A)는 다중화층에서 다중화된다. 다중화는 MUX-PDU라 불리우는 단위마다 실시한다. 도 38A 내지 38C는 다중화를 실시한 MUX-PDU의 예를 나타낸 것이다. MUX-PDU에는 다중화동기부호(MUX flag), 다중화헤더(MUX header)가 첨가된다. 다중화헤더에는 MUX-PDU에 다중화되어 있는 어댑테이션층으로부터의 출력의 종류나 다중화의 방식, MUX-PDU의 길이 등의 정보를 넣어도 좋다.
도 38A는 하나의 MUX-PDU 속에 하나의 AL-PDU를 넣는 예를 나타내고 있다.
도 38B는 하나의 AL-PDU를 복수(도면의 예에서는 두가지)의 MUX-PDU로 분할하는 예를 나타내고 있다. 이 경우 다중화헤더에는 MUX-PDU에 포함되는 분할된 AL -PDU가 하나의 AL-PDU 전체의 몇 번째에 해당하는가를 나타내는 정보나 하나의 AL-PDU의 최초 또는 최후의 분할AL-PDU인 것을 나타내는 정보를 넣어도 좋다.
도 38C는 하나의 MUX-PDU에 복수의 AL-PDU를 넣는 예를 나타내고 있다. 동일도면의 예에서는 동화상부호열의 AL-PDU(Video AL-PDU)와 음성부호열의 AL-PDU(A udio AL-PDU)를 합쳐서 다중화하고 있다. 이 경우 다중화헤더에는 MUX-PDU 속에 포함되는 복수의 AL-PDU의 경계를 나타내는 정보를 넣어도 좋다. 또는 AL-PDU의 경계에 경계를 나타내는 식별자를 첨가해도 좋다.
상기한 바와 같이 어댑테이션층에서는 부호열을 AL-SDU 또는 액세스유닛(access unit)이라 불리우는 단위로 구획하여 처리를 실시한다. 도 39A 내지 39C는 동화상부호열의 어댑테이션층에서의 구획방식의 예를 나타낸 도면이다.
도 39A 내지 39C는 하나의 VOP를 하나의 액세스유닛으로 하는 예이다. 도 39A 내지 39C가 각각 도 34A 내지 도 34C의 동화상부호열에 대응한다.
도 40A 내지 40C는 하나의 비디오패킷을 하나의 액세스유닛으로 하는 예이다. 도 40A 내지 40C가 각각 도 34A 내지 도 34C의 동화상부호열에 대응한다.
도 34B 및 도 34C와 같이 비디오패킷내를 또한 형상정보, 움직임벡터정보, DCT계수정보와 같이 구획하여 부호화하는 경우에는 액세스유닛도 이에 맞추어서 구획해도 좋다. 도 41A 및 41B은 이와 같은 예를 나타내고 있다. 도 41A 및 41B가 각각 도 34B 및 도 34C의 동화상부호열에 대응하고 있다. 형상정보(Shape), 예측모드나 움직임벡터에 관한 정보(Motion), 잔차신호나 그 DCT계수에 관한 정보(Texture)마다 그 경계를 나타내는 모션마커(MM), 쉐프마커(SM)를 경계로 하여 액세스유닛을 구성한다.
상기한 바와 같이 다중화층에 있어서 MUX-PDU나 AL-PDU의 경계를 나타내는 다중화동기부호, AL경계식별자(AL boundary identifier) 등이 부가되어 있는 경우에는 각 액세스유닛의 스타트위치는 이들 부호, 식별자로부터 판별할 수 있다. 이 경우는 동화상부호열로부터 액세스유닛의 선두에 있는 동기부호를 제거해도 상관 없다. 도 42A 내지 도 42C는 하나의 VOP를 하나의 액세스유닛으로 하는 예이고, 이 경우는 VOP의 선두에 있는 VOP스타트코드를 제거해도 상관 없다. 도 43A 내지 43C는 하나의 비디오패킷을 하나의 액세스유닛으로 하는 예이고, 이 경우는 비디오패킷의 선두에 있는 VOP스타트코드, 재동기마커를 제거해도 상관 없다. 도 44A 및 도 44B는 형상정보(Shape), 예측모드나 움직임벡터에 관한 정보(Motion), 잔차신호나 그 DCT계수에 관한 정보(Texture)마다 액세스유닛을 구성하는 예이고, 이 경우 비디오패킷의 선두에 있는 VOP스타트코드, 재동기마커와 Shape, Motion, Texture의 경계를 나타내는 모션마커(MM), 쉐프마커(SM)를 제거해도 상관 없다.
도 45A 및 도 45B와 같이 하나의 액세스유닛에 1 내지는 복수의 비디오패킷을 넣어도 좋다. 이 경우 도 45B와 같이 액세스유닛의 최초에 있는 VOP스타트코드 내지는 재동기마커만을 제거해도 상관 없다. 도 34B 및 도 34C의 동화상부호열에 대해서도 똑같이 복수의 비디오패킷으로 액세스유닛을 구성해도 좋다.
도 34B 및 도 34C와 같이 비디오패킷을 Shape, Motion, Texture와 같이 분할하여 부호화하는 경우는 복수의 비디오패킷의 Shape, Motion, Texture를 각각 모아서 액세스유닛을 구성해도 좋다. 도 46A 내지 도 46D는 도 34B의 부호열에 대하여 이와 같은 처리를 실시한 것으로, Motion, Texture를 각각 모아서 액세스유닛을 구성하고 있다. VOP헤더 및 비디오패킷헤더는 각 비디오패킷마다 Motion의 앞에 첨가한다.
Motion, Texture를 모아서 액세스유닛을 구성하는 단위는 VOP단위이어도 상관 없고 임의의 복수개의 비디오패킷이어도 상관 없다.
이와 같은 액세스유닛구성에 있어서, 각 비디오패킷의 Motion, Texture의 경계에 동기부호를 첨가해도 좋다. 도 46B는 Motion의 경계에, 도 46C 및 46D는 Motion 및 Texture의 경계에 동기부호(RM)를 넣은 것이다. 또한 도 46D의 예에서는 각 액세스유닛의 선두에도 동기부호(VSC)를 넣고 있다. Motion과 Texture에서 다른 동기부호를 이용해도 좋다. 예를 들면 Motion에서는 모션마커를, Texture에서는 재동기마커를 이용해도 좋다.
또한 도 34C의 동화상부호열에 대해서도 Shape, Motion, Texture데이터를 각각 모아서 액세스유닛을 구성하는 것이 가능하다.
이상과 같이 Shape, Motion, Texture와 같은 중요도가 다른 부호열 중에서 동일중요도의 것끼리를 각각 모아서 액세스유닛을 구성하고, 각 액세스유닛마다 다른 에러보호(예를 들면 에러정정부호, 에러검출부호, 재송 등)를 실시함으로써 각각의 부호열의 중요도에 따른 에러보호를 실시할 수 있으며, 전송로에러가 들어갔을 때의 복호화상의 품질이 향상한다. 일반적으로 형상정보(Shape), 모드정보나 움직임벡터정보(Motion)는 전송로에러가 들어가면 복호화상에 커다란 품질악화를 발생해 버린다. 이 때문에 Shape, Motion에 대하여 강한 에러정정부호를 이용하는 식의 강한 에러보호를 실시해도 좋다. 반대로 예측잔사신호(Texture)는 전송로에러가 들어가도 그다지 큰 화질악화를 발생하지 않기 때문에 그다지 강하게 에러보호를 실시하지 않아도 좋아서 에러정정부호, 에러검출부호 등에 의한 용장도를 적게 할 수 있다.
이상의 동화상부호열의 동기부호를 제거하는 예에서는 다중화기(130A)에서 동화상부호열(121A)에 포함되어 있는 동기부호를 제거해도 좋고, 화상부호화기(111A)에서 미리 동기부호를 제거한 동화상부호열(121A)을 다중화기에 건네도록 해도 좋다.
도 39A 내지 도 46D의 어느쪽의 예에 있어서도, 각 액세스유닛의 길이가 미리 결정된 길이의 정수배(예를 들면 바이트단위)가 되도록 해도 좋다. 도 35A 및 35B의 예에서 나타낸 바와 같이 동화상부호열이 재동기마커나 스타트코드의 앞에 스터핑비트를 넣어서 각 비디오패킷이나 각 VOP가 N비트(예를 들면 바이트)단위가 되어 있는 경우에는 이 스터핑비트를 포함하여 액세스유닛으로 하면 액세스유닛의 길이를 결정된 길이의 정수배(바이트단위 등)로 하는 것이 가능하다.
만일 동화상부호열에서 이와 같은 처리를 실시하고 있지 않은 경우에는 도 47과 같이 각 앳세스유닛의 최후에 스터핑비트를 넣어서 액세스유닛의 길이를 결정된 길이의 정수배(바이트단위 등)로 해도 좋다. 스터핑비트에는 예를 들면 도 35B의 스터핑비트를 이용하면 좋다. 이 경우 동화상부호열에 스터핑비트를 넣은 경우와 똑같이 스터핑비트를 이용하여 부호열에 혼입된 에러를 검출하는 것도 가능하다. 또 동화상부호열 이외에 음성이나 데이터의 부호열에 대해서도 스터핑비트를 부가하여 액세스유닛의 길이를 결정된 길이의 정수배(바이트단위 등)로 해도 좋다.
다중화층에서는 다중화페이로드 속에 다중화동기부호와 동일한 비트패턴이 있는 경우 역다중화기에서 이 비트패턴을 잘못하여 다중화동기부호라고 판정하고, MUX-PDU의 경계가 잘못하여 검출되어 버리는 의사동기(에뮬레이션(emulation)이라고도 한다)가 발생하는 일이 있다. 동화상부호화기에 있어서 동화상부호열 속의 동기부호(VOP스타트코드, 재동기마커 등) 이외의 부분에 이것과 동일한 비트패턴이 없는 동화상부호열을 생성한 경우에는 동화상동기부호를 이용하여 다중화층에서의 의사동기가 발생했는지 아닌지를 검출할 수 있다.
MUX-PDU페이로드의 선두위치와 AL-PDU의 선두위치를 합쳐서 MUX-PDU를 구성한다. 도 38A 내지 38C에 나타낸 예는 어느쪽이나 이와 같은 구성으로 되어 있다. AL-SDU(액세스유닛)의 선두에 동화상동기부호를 넣는다. 이와 같이 하면 다중화동기부호와 동화상동기부호는 다중화헤더나 AL헤더를 끼워서 인접하여 배치된다. 만일 역다중화장치에서 잘못하여 다중화동기부호가 검출된 경우, 이에 인접하는 다중화헤더, AL헤더 및 동화상동기부호를 검출하려 하는데, 검출한 다중화동기부호는 의사동기이기 때문에 본래 다중화헤더, AL헤더 및 동화상동기부호가 있다고 하여 이들의 복호를 실시한 장소에는 전혀 다른 정보가 들어가 있다. 따라서 역다중화기에 있어서 복호한 다중화헤더, AL헤더 및 동화상동기부호가 올바른 정보인지 아닌지를 판정하고, 올바르지 않다고 판정된 경우에는 검출한 다중화동기부호를 의사동기라고 판정한다.
도 48은 다중화기의 구성의 제 2 예이다. 이 예에서는 다중화기는 FlexMux층과 TransMux층의 2가지의 계층으로 나뉘어져 있다. 또한 FlexMux층은 어댑테이션서브레이어(adaptation sub-layer)(AL)와 다중화서브레이어(Mux sub-layer)에, TransMux층은 프로텍션서브레이어(Protection sub-layer)와 트랜스먹스서브레이어(TransMux sub-layer)로 나뉘어져 있다.
도 49는 FlexMux층에서 생성된 부호열의 예를 나타낸 것이다. 1061A가 어댑테이션서브레이어로, 1062A가 다중화서브레이어로 구성된 부호열이다. 어댑테이션레이어에는 다중화하는 정보의 종류나 시각을 나타내는 정보 등의 정보가 들어간 AL헤더(Header)(1065A)가 첨가되고, 또한 다중화하는 동화상부호열, 음성부호열, 데이터부호열 등의 페이로드(Payload)(1066A)가 다중화되어 AL-PDU가 생성된다. 다중화서브레이어에서는 필요에 따라서, 또한 AL-PDU의 종류나 채널번호 등을 나타내는 인덱스(index)(1068A)와, AL-PDU의 길이를 나타내는 정보(length)(1069A)가 첨가되어 FlexMux-PDU가 생성된다.
FlexMux층에서 생성된 FlexMux-PDU는 TransMux층에 입력된다. TransMux층에는 도 36의 다중화기의 구성을 이용해도 상관 없다. 이 경우 프로텍션레이어(prot ection sub-layer)가 도 36의 어댑테이션층(1031A)에, 트랜스먹스레이어(transmux sub-layer)가 도 36의 다중화층(1032A)에 상당한다. 또는 트랜스먹스서브레이어에 도 36의 구성을 이용하고, 프로텍션서브레이어는 이용하지 않도록 해도 좋다.
또한 스터핑비트에 의하여 미리 정해진 길이의 정수배의 길이로 설정된 단위부호열을 다중화하는 구성 및 동일중요도의 부호어끼리를 각각 정리하여 그것을 액세스단위로 하는 구성은 상기한 제 1 내지 제 3 실시예에서 설명한 다중화부호화열의 구조 각각에 적절히 적용할 수 있다.
또 도 45A 및 도 45B와 같이 하나의 액세스유닛에 복수의 비디오패킷을 넣는 경우 액세스유닛의 경계 및 재동기마커의 프레임내의 배치를 도 50과 같이 해도 좋다. 도 50 중 흰색동그라미가 재동기마커가 있는 매크로블록(즉 비디오패킷의 최초의 매크로블록)을, 회색동그라미가 액세스유닛내의 최초의 매크로블록의 위치를 나타내고 있다. 이와 같은 화상에서는 배경부분보다도 인물 쪽이 보다 중요한 정보이기 때문에 전송로에러에 대하여 높은 내성을 갖는 편이 바람직하다. 이 때문에 인물부분에 재동기마커를 많이 배치하여 비디오패킷의 간격을 미세하게 하고 전송로에러로부터 회복을 조기에 꾀할 수 있도록 하여 에러에 내성을 강하게 한다. 반대로 배경부분은 중요도가 그다지 높지 않기 때문에 재동기마커는 적게 하고 비디오패킷의 간격을 넓게 해도 상관 없다.
또한 프레임내를 래스터스캔의 차례로 왼쪽 위에서 오른쪽 아래의 매크로블록으로 부호화하는 부호화방식에 있어서는, 어떤 매크로블록에 혼입된 에러가 보다 오른쪽 아래의 매크로블록에 파급하는 일이 있다. 특히 중요영역내에 에러가 파급되면 커다란 화질악화를 발생하기 때문에 중요영역이 스타트하는 매크로블록은 액세스유닛내의 최초의 매크로블록으로 하고, 다른 액세스유닛에 혼입된 에러의 영향이 미치지 않도록 해도 좋다. 도 50의 예에서는 중요영역인 인물의 좌단매크로블록을 액세스유닛의 최초의 매크로블록으로 하고 있다.
하나의 액세스유닛 속에서 에러보호의 세기를 전환할 수 있는 경우에는 프레임내의 영역의 중요도에 따라서 에러보호를 전환해도 좋다. 도 51은 이와 같은 전환을 실시하는 예이다. 도 51 중 엷은 회색(해칭)의 영역이 강한 에러보호를 실시하는 영역(High QoS)이고, 보다 중요한 정보인 인물부분에 이것을 할당하고 있다. 도 52A 내지 52C는 이에 대응하는 액세스유닛의 구성의 예를 나타낸 것이다. 도면 중 엷은 회색(해칭)부분이 도 51의 엷은 회색의 매크로블록에 상당하는 것으로, 이 부분은 강하게 에러보호를 실시한다.
비디오패킷을 Motion, Texture와 같이 분할하여 부호화하는 경우는 도52A 내지 52C와 같이 액세스유닛내의 전반에 Motion을, 후반에 Texture를 넣고, 또한 도 51 중 엷은 회색으로 나타낸 중요영역을 각각의 전반에 오도록 해도 좋다. 또는 도 52C와 같이 Motion과 Texture를 다른 액세스유닛으로 하고, 각각의 전반을 보다 강하게 에러보호해도 좋다. 이들에 의해 중요영역의 부호열의 더욱 중요한 Motion부분을 보다 강하게 에러보호할 수 있다.
이상 설명한 바와 같이 본 발명에 따르면, 재동기마커의 배치나 액세스유닛내의 구성을 사용함으로써 적은 오버헤드(용장도)로 보다 강한 에러내성을 지니게 하는 것이 가능하다. 일반적으로 재동기마커나 강한 에러보호를 이용함으로써 오버헤드가 증가해 버리는데, 중요한 정보인 인물 등에 재동기마커를 많이 할당하여 에러보호를 강하게 하고, 배경과 같은 별로 중요하지 않은 영역에는 재동기마커를 적게 하여 에러보호를 약하게 함으로써 전체적으로 균일하게 재동기마커의 할당과 에러보호를 실시하는 경우에 비하여 같은 평균오버헤드로 중요정보에 대하여 보다 강한 에러내성을 지니게 할 수 있다.
또한 도 51의 인물부분과 같이 많은 재동기마커를 할당한 경우 비디오패킷의 길이가 이에 대응하여 매우 짧아지기 때문에 각 비디오패킷을 각각 하나의 액세스유닛에 할당해 버리면 AL헤더, 다중화헤더, 다중화동기부호 등에 의한 오버헤드가 매우 커져 버린다. 이 경우는 도 45A 및 도 45B와 같이 하나의 액세스유닛에 복수의 비디오패킷을 넣는 편이 오버헤드는 적어진다.
도 53은 예를 들면 도 1에 나타내어지는 부호화장치의 부호화회로(103)의 회로구성을 나타내고 있다. 이에 따르면, 부호화회로(103)에 입력되는 화상정보는 우선 움직임보상회로(1036)에 보내어진다. 여기에서 이 움직임보상회로(1036)는 입력화상정보와 프레임메모리(1035)에 격납되어 있는 앞프레임정보와의 사이에서 움직임보상을 실시한다. 움직임보상 후의 앞프레임정보와 현프레임정보의 차가 감산기(1030)에 의해 계산되고, 차분정보만이 이산코사인변환회로(DCT)(1031)에 의해 이산코사인변환되며, 양자화기(1032)에 의해 양자화되어 가변길이부호화회로(1038)에 보내어진다.
한편 양자화기(1032)의 출력은 역양자화기(IQ)(1033)에 의해 역양자화되고, 그 후 역이산코사인변환회로(IDCT)(1034)에 의해 역이산코사인변환된다. 이 역이산코사인변환회로(1034)의 출력과 움직임보상회로(1036)의 움직임보상정보가 가산기(1037)에 의해 가산되고, 이 가산기(1037)의 출력이 현프레임의 복호화상정보, 즉 국부복호화상정보로 된다. 이 국부복호화상정보는 프레임메모리(1035)에 격납되고, 다음 프레임의 부호화시에 움직임보상을 위한 데이터로서 사용된다.
가변길이부호화회로(1038)에 보내어진 양자화정보는 가변길이부호화되고, 다음의 중요정보지정회로(1039)에 보내어진다. 이 중요정보지정회로(1039)는 외부로부터 지정되는 중요정보부분만을 가변길이부호화정보로부터 꺼내고 중요정보재구성회로(104)에 보낸다. 또한 전체의 정보는 중요정보지정회로(1039)에서의 중요정보지정에 불구하고 그대로 비트열재구성회로(107)에 보내어진다.
도 54는 예를 들면 도 2에 나타내어지는 복호화장치의 복호회로(124)의 회로구성을 나타내고 있다. 이에 따르면, 분리회로(121)로부터 보내어져 온 화상정보는 우선 수신버퍼(1241)에 일단 저장된다. 그 후 동기검출회로(122)로부터의 복호개시위치정보에 의해 그 후에 이어지는 헤더정보가 헤더복호회로(1242)에 보내어지고, 여기에서 헤더정보가 복호된다. 이 때 우선 가장 상위의 레이어의 헤더정보가 복호되고, 그 복호정보가 에러체크회로(125)에 보내어지며, 에러혼입의 유무가 체크된다. 이 이후의 레이어의 헤더정보는 지시정보판정회로(123)로부터의 동작지시에 따라서 복호된다. 즉 중요헤더정보가 존재한다고 지시된 경우에는 소정 위치의 정보는 중요헤더정보로서 복호된다. 이 중요정보는 중요정보회로(126)에 전송되고, 그 곳에서 일단 격납된다. 중요정보회로(126)에 있어서, 최상위레이어의 헤더정보에 에러가 혼입된 것이 발견되면, 중요정보회로(126)로부터의 중요헤더정보가 헤더복호회로(1242)로 되돌아가게 되어 있기 때문에 헤더복호회로(1242)는 중요정보회로(126)로부터의 중요헤더정보를 이용하여 그 후의 복호처리를 계속한다.
헤더정보는 이후에 이어지는 정보(실제의 화상정보)는 역양자화회로(1243)에서 역양자화되고 역DCT회로(1244)에 보내어진다. 이 역DCT회로(1244)는 역양자화정보를 역이산코사인변환하고 앞프레임과의 차분신호를 복호한다. 이 복호차분신호는 가산기(1245)에 의하여 프레임메모리(1246)에 격납되어 있는 앞프레임정보(움직임벡터정보를 이용하여 움직임보상을 실시한 후의 앞프레임정보)에 가산된다. 이 가산결과신호가 현프레임의 재생화상정보로 된다. 이 정보는 D/A변환회로(127)에 보내어지는 동시에 프레임메모리(1246)에도 격납된다.
이상 설명한 각 실시예의 부호화/복호화장치의 구성 및 스트림구조는 적절히 조합하여 사용할 수 있다. 또 각 부호화/복호화장치의 동작은 각각 소프트웨어제어에 의한 처리순서로 치환하여 실행할 수 있고, 그 소프트웨어 및 부호화스트림은 각각 기록매체로서 제공할 수 있다.
이상과 같이 본 발명에 따르면, 부호화열 자체의 구조에 에러내성능력을 지니게 함으로써 만일 헤더정보 등의 중요정보에 에러가 혼입되고, 그것을 복호처리에 이용할 수 없게 되었다고 해도 지시정보가 나타내는 새로운 정보를 대용하여 복호처리를 올바로 계속하는 것이 가능하게 된다. 또 동화상부호열 속의 픽처헤더, 슬라이스헤더 등의 중요정보가 다중화헤더 속에서 에러 정정, 검출부호에 의하여 강하게 에러보호되기 때문에 중요정보에 대한 에러보호가 충분하지 않은 종래의 동화상부호화장치 및 다중화장치에 비하여 전송로에러가 있었을 때에도 고품질의 동화상신호를 복호할 수 있다. 또한 스터핑비트를 부가하여 미리 정해진 길이의 정수배의 길이를 갖는 다중화단위부호열을 생성함으로써 에러의 혼입을 용이하게 검출할 수 있다. 또 동일중요도의 부호어끼리를 각각 모아서 그것을 액세스단위로 하는 구성에 의해 부호어의 중요도에 따른 에러보호를 실시하는 것이 가능하게 되고 전송로에러가 들어간 경우의 복호화상의 품질이 향상한다.

Claims (30)

  1. 송신측에서 헤더정보 또는 그 헤더정보의 일부의 정보 내용을 복원 가능하게 하기 위해 필요한 복원용 정보를 부호화정보에 부가하여 전송하고, 수신측에서 상기 헤더정보 또는 그 일부의 정보에 대하여 에러체크를 실시하고, 이 에러체크에서 에러가 검출되었을 때 상기 복원용 정보를 대용하여 상기 부호화정보를 복호하는 것을 특징으로 하는 정보전송방법.
  2. 제 1 항에 있어서,
    상기 헤더정보내에는 상기 복원용 정보를 부가한 것을 나타내는 지시정보를 또한 부가하는 것을 특징으로 하는 정보전송방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 부호화정보는 화상신호를 압축부호화함으로써 얻어진 화상부호열을 포함하고, 상기 복원용 정보는 상기 화상부호화열의 각 화상프레임의 표시시각을 나타내는 정보를 포함하는 것을 특징으로 하는 정보전송방법.
  4. 제 1 항 또는 제 2 항에 있어서,
    상기 부호화정보는 화상신호를 압축부호화함으로써 얻어진 화상부호열을 포함하고, 상기 복원용 정보는 상기 화상부호열의 각 화상프레임의 예측모드를 나타내는 정보를 포함하는 것을 특징으로 하는 정보전송방법.
  5. 부호화정보를 2가지 이상의 레이어로 나누고 각 레이어에 동기신호 및 복호에 필요한 헤더정보를 부가하는 수단과,
    상기 부호화정보를 복원하기 위한 복원용 정보로서 상위레이어에서 이미 전송한 정보 또는 그 일부의 정보, 동일레이어내에 있어서 이미 전송한 정보 또는 그 일부의 정보, 또는 상기 상위레이어 또는 동일레이어내에 있어서 이미 전송한 정보의 내용 또는 그 일부의 정보의 내용을 복원하기 위한 정보를 상기 부호화정보에 부가하여 전송하는 수단과,
    상기 헤더정보내에 상기 복원용 정보를 부가한 것을 나타내는 소정 비트패턴의 지시정보를 삽입하는 수단으로 구성되는 것을 특징으로 하는 부호화장치.
  6. 동기신호와 복호에 필요한 헤더정보를 부가하여 정보를 부호화하는 수단과,
    상기 부호화된 정보를 복원하기 위한 복원용 정보로서 이미 전송한 정보 또는 그 일부의 정보 또는 해당 정보의 내용 또는 그 정보의 일부의 내용을 나타내는 정보를 상기 부호화된 정보에 부가하여 전송하는 수단과,
    상기 헤더정보내에 상기 복원용 정보를 부가한 것을 나타내는 소정 비트패턴의 지시정보를 삽입하는 수단을 구비하는 것을 특징으로 하는 부호화장치.
  7. 제 5 항 또는 제 6 항에 있어서,
    상기 헤더정보내에 해당 헤더정보가 관련되어 있는 부분의 부호화처리를 해당 헤더정보가 관련되어 있는 부분 이전의 부호화처리에서 그 이외의 다른 부호화처리로 변경하기 위한 정보를 삽입하여 전송하는 것을 특징으로 하는 부호화장치.
  8. 제 7 항에 있어서,
    상기 복원용 정보는 상기 부호화처리를 변경하기 위한 정보 또는 그 일부를 복원하기 위한 정보인 것을 특징으로 하는 부호화장치.
  9. 제 5 항 또는 제 6 항에 있어서,
    상기 부호화된 정보는 화상신호를 압축부호화함으로써 얻어진 화상부호열을 포함하고, 상기 복원용 정보는 상기 화상부호열의 각 화상프레임의 표시시각을 나타내는 정보를 포함하는 것을 특징으로 하는 부호화장치.
  10. 제 5 항 또는 제 6 항에 있어서,
    상기 부호화된 정보는 화상신호를 압축부호화함으로써 얻어진 화상부호열을 포함하고, 상기 복원용 정보는 상기 화상부호열의 각 화상프레임의 예측모드를 나타내는 정보를 포함하는 것을 특징으로 하는 부호화장치.
  11. 부호화정보를 2가지 이상의 레이어로 나누고, 각 레이어에 동기신호와 복호에 필요한 헤더정보를 부가하는 수단과,
    상기 헤더정보내로부터 소정 비트패턴의 지시정보를 검출하는 수단과,
    검출된 지시정보에 의해 전송되어 온 것을 나타내는 정보를 상위레이어에서 이미 전송한 정보 또는 그 일부의 정보로서, 동일레이어내에 있어서 이미 전송한 정보 또는 그 일부의 정보로서, 또는 상기 상위레이어 또는 동일레이어내에 있어서 이미 전송한 정보의 내용 또는 그 일부의 정보의 내용을 복원하기 위한 정보로서 대용하여 상기 부호화정보를 복호하는 수단을 구비하는 것을 특징으로 하는 복호화장치.
  12. 동기신호와 복호에 필요한 헤더정보를 부가하여 전송된 부호화정보를 입력으로 하는 수단과,
    상기 헤더정보내로부터 소정 비트패턴의 지시정보를 검출하는 수단과,
    상기 패턴이 검출되었을 때에 상기 지시정보에 의해 전송되어 온 것이 나타내어져 있는 정보를 이미 전송된 정보 또는 그 일부의 정보로서, 또는 해당 정보 또는 해당 일부의 정보의 내용을 복원 가능한 정보로서 대용함으로써 상기 부호화정보를 복호하는 수단을 구비하는 것을 특징으로 하는 복호화장치.
  13. 제 11 항 또는 제 12 항에 있어서,
    상기 헤더정보내로부터 소정 비트패턴의 변경지시정보를 검출하고, 그 정보에 따라서 상기 헤더정보가 관련되어 있는 부분의 복호처리를 상기 헤더정보가 관련되어 있는 부분 이전의 복호처리에서 그 이외의 다른 복호처리로 변경하는 수단을 또한 구비하는 것을 특징으로 하는 복호화장치.
  14. 제 11 항 또는 제 12 항에 있어서,
    상기 부호화된 정보는 화상신호를 압축부호화함으로써 얻어진 화상부호열을 포함하고, 상기 복원용 정보는 상기 화상부호열의 각 화상프레임의 예측모드를 나타내는 정보를 포함하는 것을 특징으로 하는 복호화장치.
  15. 제 13 항에 있어서,
    상기 복원용 정보는 상기 부호화처리를 변경하기 위한 정보 또는 그 일부를 복원하기 위한 정보인 것을 특징으로 하는 복호화장치.
  16. 제 11 항 또는 제 12 항에 있어서,
    상기 부호화된 정보는 화상신호를 압축부호화함으로써 얻어진 화상부호열을 포함하고, 상기 복원용 정보는 상기 화상부호열의 각 화상프레임의 표시시각을 나타내는 정보를 포함하는 것을 특징으로 하는 복호화장치.
  17. 제 16 항에 있어서,
    상기 복원용 정보로서 전송된 화상프레임의 표시시각을 나타내는 정보를 복호하는 수단과,
    복호된 표시시각이 미리 정해진 규칙, 또는 별도 전송되는 정보로 나타내어지는 규칙에 합치하는지 아닌지를 검증함으로써 해당 시각정보에 전송로에러가 혼입되었는지 아닌지를 판정하는 수단을 또한 구비하는 것을 특징으로 하는 복호화장치.
  18. 화상신호를 입력하여 압축부호화하는 1 이상의 화상부호화수단과,
    각 화상부호화수단으로부터 출력된 화상부호열 및 다른 데이터정보부호열 등을 다중화하고, 다중화헤더 및 다중화페이로드를 포함하는 다중화부호열을 출력하는 다중화수단과,
    상기 화상부호열 속의 헤더정보 또는 그 일부를 상기 다중화헤더 속에 삽입하는 수단과,
    상기 다중화헤더 속의 정보로부터 생성된 에러정정/검출부호를 상기 다중화헤더에 부가하고, 상기 화상부호열 속의 헤더정보를 상기 다중화헤더 속의 다중화에 관련되는 다른 정보와 함께 에러정정/검출부호에서 에러보호하여 전송하는 수단을 구비하는 것을 특징으로 하는 부호화장치.
  19. 제 18 항에 있어서,
    상기 다중화헤더 속에 포함시켜지는 상기 화상부호열 속의 헤더정보는 상기 화상부호열 속의 화상프레임의 표시시각을 나타내는 정보가 포함되는 것을 특징으로 하는 부호화장치.
  20. 화상부호열 등을 다중화하여 생성되고, 다중화헤더 및 다중화페이로드를 포함하며, 상기 화상부호열 속의 헤더정보 또는 그 일부는 상기 다중화헤더 속에서 다른 다중화에 관련되는 정보와 함께 에러정정/검출부호에서 에러보호되어 있는 다중화부호열을 입력으로 하고, 그것을 1 내지는 복수의 화상부호열 및 다른 데이터정보부호열 등으로 분리하는 다중분리수단과,
    다중분리된 화상부호열을 복호화하는 화상복호화수단과,
    상기 화상부호열 속의 헤더정보에 대해서의 에러가 검출되었을 때 상기 다중화헤더 속에 포함되는 상기 화상부호열 속의 헤더정보를 이용하여 상기 화상부호열을 복호하는 수단을 구비하는 것을 특징으로 하는 복호화장치.
  21. 제 20 항에 있어서,
    상기 다중화헤더 속에 포함시켜지는 상기 화상부호열 속의 헤더정보는 상기 화상부호열 속의 화상프레임의 표시시각을 나타내는 정보를 포함하는 것을 특징으로 하는 복호화장치.
  22. 복호에 필요한 헤더정보 및 상기 헤더정보 또는 그 헤더정보의 일부의 정보의 내용을 복원 가능하게 하기 위한 복원용 정보가 부가되고, 복호화장치에서 상기 헤더정보 또는 그 일부의 정보에 대해서의 에러가 검출되었을 때 상기 복원용 정보를 대용하여 복호되는 부호열을 기록한 것을 특징으로 하는 기록매체.
  23. 입력신호를 압축부호화하여 얻어진 복수종류의 압축부호열을 부호화의 단위마다 구획하는 수단과,
    상기 구획된 압축부호열에 각 구획단위마다 스터핑비트를 부가하여 형성되고, 미리 정해진 길이의 정수배의 길이를 갖는 다중화단위부호열을 생성하는 수단과,
    상기 다중화단위부호열을 다중화하여 다중화부호열을 생성하는 수단에 의해 구성되는 것을 특징으로 하는 부호화·다중화장치.
  24. 다중화부호열을 입력하여 다중화단위부호열을 역다중화하는 수단과,
    상기 다중화단위부호열 속의 압축부호열과 부가된 스터핑비트를 분리하는 수단과,
    상기 분리된 압축부호열을 복호화하는 수단과,
    상기 복호화수단에 있어서의 압축부호열의 복호화의 종료위치와, 상기 스터핑비트의 개시위치를 비교함으로써 상기 다중화된 부호열 속의 에러를 검출하는 수단에 의해 구성되는 것을 특징으로 하는 복호화·역다중화장치.
  25. 제 23 항에 있어서,
    상기 스터핑비트는 역방향으로부터 한결같이 복호 가능한 것을 특징으로 하는 부호화·다중화장치.
  26. 제 24 항에 있어서,
    상기 분리수단은 상기 스터핑비트를 역방향으로부터 복호함으로써 압축부호열의 역방향으로부터의 복호를 개시하는 위치를 판정하고, 상기 복호화수단은 상기 판정된 개시위치로부터 역방향의 복호를 개시하는 것을 특징으로 하는 복호화·역다중화장치.
  27. 입력신호를 어떤 부호화단위로 구획하여 부호화해서 압축부호열을 생성하는 압축부호화수단과,
    상기 구획된 압축부호열로부터 중요도가 동일한 부호어를 각각 모아서 다중화부호열을 생성하는 수단과,
    상기 각 중요도에 따라서 모아진 다중화부호열에 상기 부호화단위의 구획을 나타내는 부호를 삽입하는 수단에 의해 구성되는 것을 특징으로 하는 부호화·다중화장치.
  28. 압축부호열을 부호어의 중요도에 따라서 모아서 다중화한 다중화부호열을 입력하여 역다중화하는 수단과,
    상기 다중화부호열 속의 부호화의 구획을 나타내는 부호를 검출하여 각 구획된 부호열에 대응하는 부호화단위를 특정하는 수단과,
    상기 중요도에 따라서 다중화된 다중화부호열로부터 동일한 부호화구획에 대응하는 부호열을 모아서 압축부호열을 생성하는 수단과,
    상기 압축부호열을 복호하는 수단에 의해 구성되는 것을 특징으로 하는 복호화·역다중화장치.
  29. 동화상신호를 부호화하여 부호화데이터열을 생성하고,
    부호화데이터를 복수의 레이어로 나누어서 상위레이어 및 하위레이어의 적어도 몇 가지인가에 복호에 필요한 중요헤더정보를 부가하여 전송하는 것을 특징으로 하는 정보전송방법.
  30. 제 29 항에 있어서,
    상기 부호화데이터열을 복수의 레이어로 나누고 상위레이어로부터 복호하며,
    복호데이터를 에러체크하고,
    복호데이터로부터 중요헤더정보를 추출하고 에러체크의 결과에 따라서 하위레이어의 중요헤더정보를 대용하여 복호를 게속하는 것을 특징으로 하는 정보전송방법.
KR1019980703147A 1996-09-02 1998-04-29 정보전송방법및그방법이적용되는정보전송장치 KR100309174B1 (ko)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JP96-232081 1996-09-02
JP23208196 1996-09-02
JP97-061306 1997-03-14
JP6130697 1997-03-14
JP16892997 1997-06-25
JP97-168929 1997-06-25
JP97-188750 1997-07-14
JP9188750A JPH1174868A (ja) 1996-09-02 1997-07-14 情報伝送方法およびその方法が適用される情報伝送システムにおける符号化装置／復号化装置、並びに符号化・多重化装置／復号化・逆多重化装置
PCT/JP1997/003054 WO1998010591A1 (en) 1996-09-02 1997-09-02 Information transmitting method, encoder/decoder of information transmitting system using the method, and encoding multiplexer/decoding inverse multiplexer

Publications (2)

Publication Number Publication Date
KR20000064301A true KR20000064301A (ko) 2000-11-06
KR100309174B1 KR100309174B1 (ko) 2001-12-17

Family

ID=27464029

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980703147A KR100309174B1 (ko) 1996-09-02 1998-04-29 정보전송방법및그방법이적용되는정보전송장치

Country Status (11)

Country Link
US (12) US6310897B1 (ko)
EP (1) EP0860999A4 (ko)
JP (1) JPH1174868A (ko)
KR (1) KR100309174B1 (ko)
CN (2) CN1172531C (ko)
AU (1) AU711467B2 (ko)
BR (1) BR9706703A (ko)
CA (1) CA2236411C (ko)
MX (1) MX9803377A (ko)
NO (1) NO981976L (ko)
WO (1) WO1998010591A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100927353B1 (ko) * 2001-08-07 2009-11-19 코닌클리케 필립스 일렉트로닉스 엔.브이. 채널을 통해 전송되는 부호화된 비디오 신호에서 데이터손실들을 완화하는 비디오 부호화 및 복호 방법

Families Citing this family (125)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1174868A (ja) * 1996-09-02 1999-03-16 Toshiba Corp 情報伝送方法およびその方法が適用される情報伝送システムにおける符号化装置／復号化装置、並びに符号化・多重化装置／復号化・逆多重化装置
US6529528B1 (en) * 1997-06-27 2003-03-04 Samsung Electronics Co., Ltd. Multimedia multiplexing method
US6034968A (en) * 1997-09-22 2000-03-07 Samsung Electronics Co., Ltd. Adaptive multiplexing/demultiplexing method and multiplexer/demultiplexer therefor
FI105962B (fi) * 1998-06-30 2000-10-31 Nokia Mobile Phones Ltd Virheiden ilmaisu multipleksattuja signaaleja vastaanotettaessa
US6526175B2 (en) 1998-06-30 2003-02-25 Sarnoff Corporation Apparatus and method for packetizing significance-based information
CN1147079C (zh) * 1998-07-17 2004-04-21 皇家菲利浦电子有限公司 用于将编码数据解复用的设备
JP3870573B2 (ja) * 1998-08-24 2007-01-17 ソニー株式会社 変調装置および方法、記録媒体、並びに復調装置および方法
JP2002527960A (ja) * 1998-10-05 2002-08-27 サーノフ コーポレイション エラーレジリエンスを改善するためのデータ区分装置と方法
US6553147B2 (en) 1998-10-05 2003-04-22 Sarnoff Corporation Apparatus and method for data partitioning to improving error resilience
US6754277B1 (en) * 1998-10-06 2004-06-22 Texas Instruments Incorporated Error protection for compressed video
KR100354745B1 (ko) * 1998-11-02 2002-12-18 삼성전자 주식회사 비디오코딩및디코딩방법
US6816491B1 (en) * 1998-11-04 2004-11-09 Hitachi, Ltd. Multiplexed audio data decoding apparatus and receiver apparatus
US6738072B1 (en) * 1998-11-09 2004-05-18 Broadcom Corporation Graphics display system with anti-flutter filtering and vertical scaling feature
US6853385B1 (en) * 1999-11-09 2005-02-08 Broadcom Corporation Video, audio and graphics decode, composite and display system
US6636222B1 (en) * 1999-11-09 2003-10-21 Broadcom Corporation Video and graphics system with an MPEG video decoder for concurrent multi-row decoding
US6661422B1 (en) * 1998-11-09 2003-12-09 Broadcom Corporation Video and graphics system with MPEG specific data transfer commands
US6629318B1 (en) * 1998-11-18 2003-09-30 Koninklijke Philips Electronics N.V. Decoder buffer for streaming video receiver and method of operation
JP3402581B2 (ja) * 1998-11-30 2003-05-06 日本ビクター株式会社 データ復元装置
JP3976942B2 (ja) 1998-12-18 2007-09-19 キヤノン株式会社 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体
WO2000054512A1 (en) * 1999-03-05 2000-09-14 Kabushiki Kaisha Toshiba Method and apparatus for coding moving picture image
US7124429B2 (en) * 1999-03-05 2006-10-17 Kabushiki Kaisha Toshiba Video coding apparatus and video decoding apparatus
KR100601609B1 (ko) * 1999-06-04 2006-07-14 삼성전자주식회사 동화상 복호화 장치 및 그 방법
GB2352350B (en) * 1999-07-19 2003-11-05 Nokia Mobile Phones Ltd Video coding
FI107680B (fi) * 1999-12-22 2001-09-14 Nokia Oyj Menetelmä videokuvien lähettämiseksi, tiedonsiirtojärjestelmä, lähettävä videopäätelaite ja vastaanottava videopäätelaite
US6379213B2 (en) * 2000-02-28 2002-04-30 Michael W. Whitworth Inverted pivot
PL220816B1 (pl) * 2000-03-07 2016-01-29 Koninkl Philips Electronics Nv Sposób generowania skompresowanego sygnału danych wideo oraz sposób ponownego zsynchronizowania skompresowanego sygnału danych wideo
KR100667738B1 (ko) * 2000-03-29 2007-01-11 삼성전자주식회사 무선 패킷 송수신 장치 및 그 방법
KR100657253B1 (ko) * 2000-03-29 2006-12-14 삼성전자주식회사 무선 패킷 송수신 장치 및 그 방법
US7388853B2 (en) * 2000-04-07 2008-06-17 Broadcom Corporation Method for providing dynamic adjustment of frame encoding parameters in a frame-based communications network
US6845104B2 (en) * 2000-06-14 2005-01-18 Ipr Licensing, Inc. Receiver for time division multiplex system without explicit time slot assignment
JP4168582B2 (ja) * 2000-08-31 2008-10-22 沖電気工業株式会社 通信接続装置およびデータ出力制御方法
SG95685A1 (en) * 2001-01-10 2003-04-23 Samsung Electronics Co Ltd Recording medium with content stream data recorded thereon, recording apparatus, and reproducing apparatus therefor
US7003033B2 (en) * 2001-03-05 2006-02-21 Intervideo, Inc. Systems and methods for encoding redundant motion vectors in compressed video bitstreams
EP1246385B1 (en) 2001-03-26 2014-04-30 LG Electronics Inc. Method of transmitting or receiving data packet in packet data communication system using hybrid automatic repeat request
US6898758B2 (en) * 2001-06-20 2005-05-24 Koninklijke Philips Electronics N.V. Cross media error protection method and system
US20030012286A1 (en) * 2001-07-10 2003-01-16 Motorola, Inc. Method and device for suspecting errors and recovering macroblock data in video coding
FR2828055B1 (fr) * 2001-07-27 2003-11-28 Thomson Licensing Sa Procede et dispositif de codage d'une mosaique d'images
JP3469567B2 (ja) * 2001-09-03 2003-11-25 三菱電機株式会社 音響符号化装置、音響復号化装置、音響符号化方法及び音響復号化方法
KR100454501B1 (ko) * 2001-12-26 2004-10-28 브이케이 주식회사 영상신호를 부호화 또는 복호화하기 위한 예측 장치 및 방법
FI114527B (fi) * 2002-01-23 2004-10-29 Nokia Corp Kuvakehysten ryhmittely videokoodauksessa
BR0302822A (pt) * 2002-01-24 2004-04-27 Koninkl Philips Electronics Nv Método de criar um fluxo de áudio/vìdeo, aparelhos para transmitir e receber um fluxo de áudio/vìdeo, e, fluxo de áudio/vìdeo
EP1341160A1 (en) * 2002-03-01 2003-09-03 Deutsche Thomson-Brandt Gmbh Method and apparatus for encoding and for decoding a digital information signal
EP1345451A1 (en) * 2002-03-15 2003-09-17 BRITISH TELECOMMUNICATIONS public limited company Video processing
CN101483773B (zh) * 2002-04-12 2010-12-08 松下电器产业株式会社 图像编码方法及图像编码装置
JP4745352B2 (ja) * 2002-04-12 2011-08-10 パナソニック株式会社 画像符号化方法および画像符号化装置
KR100701810B1 (ko) * 2002-04-26 2007-04-02 가부시키가이샤 엔티티 도코모 신호 부호화 방법, 신호 복호 방법, 신호 부호화 장치, 신호 복호 장치, 및 컴퓨터로 판독가능한 기록매체
KR100486524B1 (ko) 2002-07-04 2005-05-03 엘지전자 주식회사 비디오 코덱의 지연시간 단축 장치
US7769084B1 (en) * 2002-07-15 2010-08-03 Apple Inc. Method for implementing a quantizer in a multimedia compression and encoding system
US7251241B1 (en) * 2002-08-21 2007-07-31 Cisco Technology, Inc. Devices, softwares and methods for predicting reconstruction of encoded frames and for adjusting playout delay of jitter buffer
US7460563B1 (en) * 2002-08-31 2008-12-02 Cisco Technology, Inc. Determination of interleaving channels in a serial interleaver
US7804897B1 (en) 2002-12-16 2010-09-28 Apple Inc. Method for implementing an improved quantizer in a multimedia compression and encoding system
US7940843B1 (en) 2002-12-16 2011-05-10 Apple Inc. Method of implementing improved rate control for a multimedia compression and encoding system
FI114071B (fi) * 2003-01-13 2004-07-30 Nokia Corp Kuvien käsitteleminen rajoitetulla bittimäärällä
FR2852180B1 (fr) * 2003-03-07 2005-08-26 Thales Sa Procede et systeme de protection de donnees avec en-tete dans un systeme de transmission
EP1656793B1 (en) * 2003-09-07 2019-11-27 Microsoft Technology Licensing, LLC Slice layer in video codec
US9226308B2 (en) 2003-10-15 2015-12-29 Qualcomm Incorporated Method, apparatus, and system for medium access control
US8462817B2 (en) 2003-10-15 2013-06-11 Qualcomm Incorporated Method, apparatus, and system for multiplexing protocol data units
US8483105B2 (en) 2003-10-15 2013-07-09 Qualcomm Incorporated High speed media access control
US8233462B2 (en) 2003-10-15 2012-07-31 Qualcomm Incorporated High speed media access control and direct link protocol
US8472473B2 (en) 2003-10-15 2013-06-25 Qualcomm Incorporated Wireless LAN protocol stack
US7426187B2 (en) * 2003-10-21 2008-09-16 Nokia Corporation False sync code protection (FSP) decoding by software
US8063916B2 (en) 2003-10-22 2011-11-22 Broadcom Corporation Graphics layer reduction for video composition
US8572289B1 (en) * 2003-12-19 2013-10-29 Nvidia Corporation System, method and computer program product for stateless offloading of upper level network protocol operations
US7672222B2 (en) * 2004-01-12 2010-03-02 Hewlett-Packard Development Company, L.P. Link failures
US20050160328A1 (en) * 2004-01-12 2005-07-21 Lesartre Gregg B. Corrupt data
US7613958B2 (en) * 2004-01-12 2009-11-03 Hewlett-Packard Development Company, L.P. Error detection in a system having coupled channels
US7606253B2 (en) * 2004-01-12 2009-10-20 Hewlett-Packard Development Company, L.P. Successful transactions
US7436777B2 (en) * 2004-01-12 2008-10-14 Hewlett-Packard Development Company, L.P. Failed link training
US8903440B2 (en) 2004-01-29 2014-12-02 Qualcomm Incorporated Distributed hierarchical scheduling in an ad hoc network
US7624213B2 (en) * 2005-02-11 2009-11-24 Hewlett-Packard Development Company, L.P. Passing identification information
US7721159B2 (en) * 2005-02-11 2010-05-18 Hewlett-Packard Development Company, L.P. Passing debug information
US8401018B2 (en) 2004-06-02 2013-03-19 Qualcomm Incorporated Method and apparatus for scheduling in a wireless network
KR100678035B1 (ko) * 2004-06-05 2007-02-02 삼성전자주식회사 휴대단말기의 촬영자 식별장치 및 방법
US20060018314A1 (en) * 2004-07-20 2006-01-26 Inventec Appliances Corporation Method of downloading data from PC to PHS or vice versa
US7764673B1 (en) * 2004-08-04 2010-07-27 Cisco Technology, Inc. System and method for implementing a variable size codebook for compression in a communications environment
JP4444762B2 (ja) * 2004-08-25 2010-03-31 パナソニック株式会社 デマルチプレクサ
US8223845B1 (en) * 2005-03-16 2012-07-17 Apple Inc. Multithread processing of video frames
EP1878229A4 (en) * 2005-04-28 2011-07-27 Apple Inc VIDEO PROCESSING IN MULTIPLE PARTICIPANT VIDEO CONFERENCE
JP4768324B2 (ja) * 2005-06-07 2011-09-07 株式会社東芝 無線通信機器
US7965736B2 (en) * 2005-08-24 2011-06-21 Qualcomm Incorporated Transmission of multiplex protocol data units in physical layer packets
US8600336B2 (en) 2005-09-12 2013-12-03 Qualcomm Incorporated Scheduling with reverse direction grant in wireless communication systems
US7809018B2 (en) * 2005-12-16 2010-10-05 Coding Technologies Ab Apparatus for generating and interpreting a data stream with segments having specified entry points
WO2007068296A1 (en) * 2005-12-16 2007-06-21 Dolby Sweden Ab Apparatuses, methods and computer program for generating and interpreting a data stream with a series of segments having specified entry points
US7450032B1 (en) 2005-12-27 2008-11-11 At & T Intellectual Property Ii, L.P. System and method for encoding a signal using compressed sensor measurements
US7584396B1 (en) 2005-12-27 2009-09-01 At&T Corp. System and method for decoding a signal using compressed sensor measurements
WO2007091779A1 (en) 2006-02-10 2007-08-16 Lg Electronics Inc. Digital broadcasting receiver and method of processing data
WO2007126196A1 (en) 2006-04-29 2007-11-08 Lg Electronics Inc. Digital broadcasting system and method of processing data
WO2007136166A1 (en) 2006-05-23 2007-11-29 Lg Electronics Inc. Digital broadcasting system and method of processing data
US9685190B1 (en) * 2006-06-15 2017-06-20 Google Inc. Content sharing
CN101485204A (zh) * 2006-06-29 2009-07-15 皇家飞利浦电子股份有限公司 一种对数据进行纠错编码和纠错解码的方法及装置
US7916641B2 (en) * 2006-06-29 2011-03-29 Wi-Lan, Inc. System and process for packet delineation
JP4622950B2 (ja) * 2006-07-26 2011-02-02 ソニー株式会社 記録装置、記録方法および記録プログラム、ならびに、撮像装置、撮像方法および撮像プログラム
US7873104B2 (en) * 2006-10-12 2011-01-18 Lg Electronics Inc. Digital television transmitting system and receiving system and method of processing broadcasting data
ES2545775T3 (es) 2007-02-05 2015-09-15 Apellis Pharmaceuticals, Inc. Análogos de compstatina para uso en el tratamiento de afecciones inflamatorias del sistema respiratorio
KR101253185B1 (ko) 2007-03-26 2013-04-10 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
KR101285887B1 (ko) 2007-03-26 2013-07-11 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
KR101285888B1 (ko) 2007-03-30 2013-07-11 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
US8433973B2 (en) * 2007-07-04 2013-04-30 Lg Electronics Inc. Digital broadcasting system and method of processing data
WO2009005326A2 (en) 2007-07-04 2009-01-08 Lg Electronics Inc. Digital broadcasting system and method of processing data
KR20090012180A (ko) * 2007-07-28 2009-02-02 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
CA2697468C (en) 2007-08-24 2012-08-21 Lg Electronics Inc. Digital broadcasting system and method of processing data in digital broadcasting system
JP4835651B2 (ja) * 2008-06-09 2011-12-14 日本ビクター株式会社 多重化制御装置および多重化制御方法
US8369344B1 (en) * 2009-03-18 2013-02-05 Extreme Networks, Inc. Customer isolation using a common forwarding database with hardware learning support
JP2012147127A (ja) 2011-01-07 2012-08-02 Sony Corp 画像処理装置および方法
US8896610B2 (en) * 2011-02-18 2014-11-25 Texas Instruments Incorporated Error recovery operations for a hardware accelerator
KR102649023B1 (ko) * 2011-06-15 2024-03-18 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 복호 방법 및 장치와, 부호화 방법 및 장치
EP2723072A4 (en) * 2011-06-17 2014-09-24 Panasonic Ip Corp America VIDEO DECODING DEVICE AND VIDEO DECODING METHOD
GB2492337B (en) * 2011-06-27 2018-05-09 British Broadcasting Corp Video encoding and decoding using reference pictures
KR20130058584A (ko) 2011-11-25 2013-06-04 삼성전자주식회사 복호화기의 버퍼 관리를 위한 영상 부호화 방법 및 장치, 그 영상 복호화 방법 및 장치
WO2014002385A1 (ja) 2012-06-25 2014-01-03 日本電気株式会社 映像符号化／復号装置、方法、プログラム
JP2015525981A (ja) 2012-06-26 2015-09-07 日本電気株式会社 通信方法、情報処理装置、通信システム、プログラム、ノードおよび通信端末
US9491487B2 (en) * 2012-09-25 2016-11-08 Apple Inc. Error resilient management of picture order count in predictive coding systems
US8875202B2 (en) * 2013-03-14 2014-10-28 General Instrument Corporation Processing path signatures for processing elements in encoded video
EP3036835B1 (en) 2013-08-23 2021-06-16 Myriota Pty Ltd Enhanced automatic identification system
EP3057254B1 (en) * 2013-10-11 2020-03-25 FUJI Corporation Multiplexing communication system and substrate processing machine
JP6798312B2 (ja) * 2014-09-08 2020-12-09 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
US10462491B2 (en) 2015-11-02 2019-10-29 Dolby Laboratories Licensing Corporation Layered representation and delivery of high dynamic range video
TWI657687B (zh) * 2018-01-02 2019-04-21 凌群電腦股份有限公司 高效能資料長度可變之訊息組成方法及其系統
JPWO2020235659A1 (ko) * 2019-05-21 2020-11-26
CN111010575B (zh) * 2019-12-17 2022-08-02 北京数码视讯科技股份有限公司 一种码流容错的方法及装置、可读存储介质
CN113127398A (zh) * 2019-12-31 2021-07-16 华为技术有限公司 一种数据处理方法及装置
CN113573104B (zh) * 2021-07-15 2023-05-23 北京数字电视国家工程实验室有限公司 一种传输码流分路和合路方法、码流分路器、合路器及系统
CN113741471B (zh) * 2021-09-10 2023-08-25 南京苏美达智能技术有限公司 一种自动行走设备、基站及其数据交互方法
JP2023044846A (ja) * 2021-09-21 2023-04-03 キオクシア株式会社 データ伸長装置、データ圧縮装置、及びメモリシステム
CN114666030B (zh) * 2022-05-25 2022-08-26 华中科技大学 一种混合井下信号编码与解码方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57115043A (en) * 1981-01-07 1982-07-17 Matsushita Electric Ind Co Ltd Transmission device for converting orthogonal code
JP2622140B2 (ja) * 1988-02-22 1997-06-18 キヤノン株式会社 画像伝送方法
US5162923A (en) * 1988-02-22 1992-11-10 Canon Kabushiki Kaisha Method and apparatus for encoding frequency components of image information
JPH0262176A (ja) * 1988-08-26 1990-03-02 Fujitsu Ltd 画像符号化伝送装置
JPH02206292A (ja) * 1989-02-06 1990-08-16 Nippon Telegr & Teleph Corp <Ntt> 可変長符号の符号変換回路
JPH02272851A (ja) 1989-04-14 1990-11-07 Oki Electric Ind Co Ltd 画像パケット組立方式及び分解方式
CA2037527C (en) 1990-03-05 1999-05-25 Hideki Okuyama Error correction system capable of correcting an error in a packet header by the use of a reed-solomon code
JPH04239839A (ja) * 1991-01-23 1992-08-27 Oki Electric Ind Co Ltd 画像情報パケット化方法
US5712949A (en) 1991-01-29 1998-01-27 Sony Corporation Disc reproduction system with sequential reproduction of audio and image data
US5430738A (en) 1991-01-31 1995-07-04 Pioneer Electronic Corporation Information transmission system for transmitting a digital information signal divided into packets with an information signal error diagnosis and correction function
JPH04245833A (ja) * 1991-01-31 1992-09-02 Pioneer Electron Corp 情報信号伝送システム
US5168356A (en) * 1991-02-27 1992-12-01 General Electric Company Apparatus for segmenting encoded video signal for transmission
US5289276A (en) 1992-06-19 1994-02-22 General Electric Company Method and apparatus for conveying compressed video data over a noisy communication channel
JPH0686251A (ja) * 1992-09-02 1994-03-25 Sony Corp 可変長符号化装置
JP3341781B2 (ja) 1992-12-15 2002-11-05 ソニー株式会社 画像復号化装置および画像符号化装置
JP2833950B2 (ja) * 1992-12-28 1998-12-09 日本電気株式会社 動画像符号伝送方式
JPH06215492A (ja) * 1993-01-14 1994-08-05 Canon Inc 符号化データ処理装置
JPH06253282A (ja) 1993-03-01 1994-09-09 Hitachi Ltd 画像信号の符号化・復号化装置
JPH07143480A (ja) * 1993-11-17 1995-06-02 Nippon Telegr & Teleph Corp <Ntt> 画像送受信装置および画像送受信システム
JPH07162801A (ja) * 1993-12-09 1995-06-23 Matsushita Electric Ind Co Ltd 映像信号処理装置
JP2822905B2 (ja) * 1994-12-08 1998-11-11 日本電気株式会社 符号化復号化装置
JP3149328B2 (ja) * 1995-01-09 2001-03-26 松下電器産業株式会社 送信装置と受信装置
JP3597647B2 (ja) 1995-09-29 2004-12-08 株式会社東芝 符号化方法及び装置
JPH1174868A (ja) * 1996-09-02 1999-03-16 Toshiba Corp 情報伝送方法およびその方法が適用される情報伝送システムにおける符号化装置／復号化装置、並びに符号化・多重化装置／復号化・逆多重化装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100927353B1 (ko) * 2001-08-07 2009-11-19 코닌클리케 필립스 일렉트로닉스 엔.브이. 채널을 통해 전송되는 부호화된 비디오 신호에서 데이터손실들을 완화하는 비디오 부호화 및 복호 방법

Also Published As

Publication number Publication date
US6310897B1 (en) 2001-10-30
US20030133441A1 (en) 2003-07-17
US7269170B2 (en) 2007-09-11
US20030086440A1 (en) 2003-05-08
US20030086416A1 (en) 2003-05-08
US6959018B2 (en) 2005-10-25
US20030086441A1 (en) 2003-05-08
KR100309174B1 (ko) 2001-12-17
EP0860999A1 (en) 1998-08-26
US7002999B2 (en) 2006-02-21
AU4033197A (en) 1998-03-26
EP0860999A4 (en) 1998-12-02
US6876676B2 (en) 2005-04-05
CN1172531C (zh) 2004-10-20
US7002998B2 (en) 2006-02-21
CN1543224A (zh) 2004-11-03
US20060062256A1 (en) 2006-03-23
US7010003B2 (en) 2006-03-07
JPH1174868A (ja) 1999-03-16
US20060062257A1 (en) 2006-03-23
CA2236411A1 (en) 1998-03-12
MX9803377A (es) 1998-11-30
CA2236411C (en) 2003-01-07
US20030086417A1 (en) 2003-05-08
BR9706703A (pt) 1999-07-20
AU711467B2 (en) 1999-10-14
CN1200223A (zh) 1998-11-25
NO981976L (no) 1998-07-02
US20060078003A1 (en) 2006-04-13
WO1998010591A1 (en) 1998-03-12
US6952432B2 (en) 2005-10-04
NO981976D0 (no) 1998-04-30
US20030072309A1 (en) 2003-04-17
US20020031123A1 (en) 2002-03-14
US20030123444A1 (en) 2003-07-03
US6961354B2 (en) 2005-11-01

Similar Documents

Publication Publication Date Title
KR20000064301A (ko) 정보전송방법 및 그 방법이 적용되는 정보전송시스템에 있어서의 부호화장치/복호화장치 및 부호화·다중화장치/복호화·역다중화장치
US20060008012A1 (en) Video coding apparatus and video decoding apparatus
JP4189430B2 (ja) 情報伝送システムにおける復号化・逆多重化装置
JP4000131B2 (ja) 符号化・多重化装置及び方法
JP4000132B2 (ja) 復号化・逆多重化装置及び方法
JP4189429B2 (ja) 情報伝送システムにおける符号化・多重化装置
JP4113165B2 (ja) 符号化プログラムを記録した記録媒体及び復号化プログラムを記録した記録媒体
JP2007312415A (ja) 情報伝送システムにおける復号化装置及び方法
JP2004304851A (ja) 情報伝送システムにおける復号化装置
JP2004312782A (ja) 情報伝送方法
JP2004357321A (ja) 情報伝送システムにおける符号化装置
JP2004357318A (ja) 情報伝送システムにおける符号化装置
JP2004304849A (ja) 情報伝送システムにおける復号化装置
JP2004357319A (ja) 情報伝送システムにおける復号化装置
JP2004312781A (ja) 情報伝送システムにおける符号化装置
JP2004357320A (ja) 情報伝送方法およびその方法が適用される情報伝送システムにおける復号化装置
JP2004304850A (ja) 情報伝送システムにおける符号化装置
JP2007306612A (ja) 情報伝送システムにおける符号化装置及び方法
CA2402878C (en) An encoder/decoder system using redundant header data placed in more than one data layer

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080813

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee