KR20030051659A - 부호화 비트 스트림 변환 장치 - Google Patents

부호화 비트 스트림 변환 장치 Download PDF

Info

Publication number
KR20030051659A
KR20030051659A KR10-2003-7003943A KR20037003943A KR20030051659A KR 20030051659 A KR20030051659 A KR 20030051659A KR 20037003943 A KR20037003943 A KR 20037003943A KR 20030051659 A KR20030051659 A KR 20030051659A
Authority
KR
South Korea
Prior art keywords
bit stream
header information
decoding
mpeg
information
Prior art date
Application number
KR10-2003-7003943A
Other languages
English (en)
Other versions
KR100487986B1 (ko
Inventor
이스요시미
세키구치슈니치
아사이고타로
니시카와히로후미
구로다시니치
하세가와유리
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20030051659A publication Critical patent/KR20030051659A/ko
Application granted granted Critical
Publication of KR100487986B1 publication Critical patent/KR100487986B1/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation
    • H04N7/52Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

본 발명은 부호화 방식이 다른 부호화 비트 스트림이라도 복호 가능한 화상 복호화 장치이며, 부호화 비트 스트림에 다중화된 부호화 방식 식별정보에 의해 부호화 방식을 판정하는 부호화 방식 판정부와, 제 1 부호화 방식의 헤더 정보에 의해 제 2 부호화 방식의 헤더 정보를 설정하는 설정 수단과, 설정된 제 2 부호화 방식의 헤더 정보에 기초하여, 제 1 부호화 방식의 화상 부호화 데이터를 복호하는 복호 수단을 구비한 화상 복호화 장치에 관한 것이다.

Description

부호화 비트 스트림 변환 장치{Coded bit stream converting apparatus}
본 발명은 다른 부호화 방식의 부호화 비트 스트림을 취급하는 화상 복호화 장치, 화상 부호화 장치, 화상 통신 시스템 및 부호화 비트 스트림 변환 장치에 관한 것이다.
현재, ISO/IEC JTC11/SC29/WG11으로 표준화 작업 중인 MPEG-4(Moving Picture Experts Group Phase-4) 방식과, ITU-T 권고 H.263의 규격에 기초하는 방식에서는 전송신호인 부호화 비트 스트림에 부가되는 헤더 정보(복호를 위한 정보신호)가 서로 다르게 되어 있다.
도 1의 (a)는 H.263의 규격에 기초하는 H.263 부호화 비트 스트림(201)의 구조를 도시된 도면이고, 헤더 정보(211)와 H.263 부호화 방식으로 부호화된 화상 부호화 데이터인 매크로 블록 데이터(225)가 다중화되어 있다. 도 1의 (b)는 MPEG-4 부호화 비트 스트림(202)의 구조를 도시된 도면이고, 헤더 정보(212)와 MPEG-4 부호화 방식으로 부호화된 화상 부호화 데이터인 매크로 블록 데이터(239)가 다중화되어 있다. 도면에 도시된 것과 같이, 부호화 비트 스트림의 구조는 서로 다르게 되어 있고, 특히 H.263에서는, MPEG-4의 복호에 필요한 VO(Video 0bject), VOL(Video 0bject Layer), VOP(Video Object Plane) 등에 관한 헤더 정보가 포함되어 있지 않다. 그 때문에 양 방식에 의한 화상의 통신을 행하기 위해서는, 각각 별개의 화상 복호화 장치 및 화상 부호화 장치가 필요하다.
또 H.263 부호화 비트 스트림(201)의 GOB 스타트 코드(223), GOB 헤더 정보(224) 및 MPEG-4 부호화 비트 스트림(202)의 재동기 지시 코드(237), 재동기 정보(238)는 항상 삽입되어 있는 것은 아니며, 필요에 따라서 삽입된다.
이와 같이 종래의 부호화 비트 스트림은 이상과 같이 구성되어 있기 때문에, 예를 들어 MPEG-4 대응의 화상 복호화 장치에서는 H.263의 규격에 기초하여 생성된 H.263 부호화 비트 스트림(201)을 복호할 수 없다는 과제가 있었다.
또한 MPEG-4 대응과 H.263의 규격에 기초하는 양쪽의 부호화 비트 스트림을 복호하기 위해서는, 화상 복호화 장치는 양 방식의 복호회로를 구비할 필요가 있어, 장치가 복잡하게 된다는 과제가 있었다.
본 발명은 상기와 같은 과제를 해결하기 위해서 이루어진 것으로, 간단한 구성에 의해, H.263 부호화 비트 스트림(201)을 복호 가능한 화상 복호화 장치, 그 화상 복호화 장치에서 복호 가능한 부호화 비트 스트림을 생성하는 화상 부호화 장치, H.263 부호화 비트 스트림을 MPEG-4 부호화 비트 스트림으로 변환하여 통신하는 화상 통신 시스템 및 부호화 비트 스트림 변환 장치를 얻는 것을 목적으로 한다.
도 1은 종래의 H.263 부호화 비트 스트림과 MPEG-4 부호화 비트 스트림의 구조를 도시된 도면.
도 2는 본 발명의 실시예 1에 의한 화상 복호화 장치가 수신하는 부호화 비트 스트림의 구조를 도시된 도면.
도 3은 본 발명의 실시예 1에 의한 화상 복호화 장치의 구성을 도시된 블록도.
도 4는 본 발명의 실시예 1에 의한 신택스 해석·가변 길이 복호부의 구성을 도시된 블록도.
도 5는 본 발명의 실시예 1에 의한 헤더 정보 해석부의 구성을 도시된 블록도.
도 6은 본 발명의 실시예 1에 의한 H.263 픽처 헤더 정보 해석부의 구성을 도시된 블록도.
도 7은 본 발명의 실시예 1에 의한 H.263 픽처 헤더 정보 복호부의 구성을 도시된 블록도.
도 8은 본 발명의 실시예 1에 의한 H.263 GOB 헤더 정보 해석부의 구성을 도시된 블록도.
도 9는 GOB를 설명하는 도면.
도 10은 본 발명의 실시예 1에 의한 GOB 헤더 정보 복호부의 구성을 도시된 블록도.
도 11은 H.263 매크로 블록 데이터의 레이어(layer) 구조를 도시된 도면.
도 12는 본 발명의 실시예 1에 의한 매크로 블록 레이어 신택스 해석부의 구성을 도시된 블록도.
도 13은 본 발명의 실시예 1에 의한 블록 데이터 복호부의 구성을 도시된 블록도.
도 14는 예측 벡터의 산출을 설명하는 도면.
도 15는 본 발명의 실시예 1에 의한 텍스처 복호부의 구성을 도시된 블록도.
도 16은 본 발명의 실시예 1에 의한 역 양자화부의 구성을 도시된 블록도
도 17은 본 발명의 실시예 2 및 4에 의한 화상 부호화 장치의 구성을 도시된 블록도.
도 18은 본 발명의 실시예 2 및 4에 의한 H.263 부호화 장치와 MPEG-4 복호화 장치의 관련을 설명하는 도면.
도 19는 본 발명의 실시예 3에 의한 MPEG-4 호환 H.263 부호화 비트 스트림의 내용을 도시된 도면.
도 20은 본 발명의 실시예 3에 의한 헤더 정보 해석부의 구성을 도시된 블록도.
도 21은 본 발명의 실시예 5에 의한 화상 통신 시스템을 도시된 도면.
도 22는 본 발명의 실시예 6에 의한 화상 통신 시스템을 도시된 도면.
도 23은 본 발명의 실시예 7에 의한 헤더 정보 해석부의 구성을 도시된 블록도.
도 24는 본 발명의 실시예 7에 의한 부호화 비트 스트림의 시작과 끝을 설명하는 도면.
도 25는 본 발명의 실시예 8에 의한 부호화 비트 스트림 변환 장치를 도시된 블록도.
도 26은 GOB 헤더 정보 및 재(再)동기 정보의 구조를 도시된 도면.
(발명의 개시)
본 발명에 관한 화상 복호화 장치는, 제 1 헤더 정보와 제 1 부호화 방식으로 부호화된 화상 부호화 데이터가 다중화된 제 1 부호화 비트 스트림, 또는 제 2 헤더 정보와 제 2 부호화 방식으로 부호화된 화상 부호화 데이터가 다중화된 제 2 부호화 비트 스트림을 복호함에 있어서, 상기 제 1 헤더 정보 또는 상기 제 2 헤더 정보에 기초하여, 수신한 부호화 비트 스트림이, 상기 제 1 부호화 비트 스트림, 또는 상기 제 2 부호화 비트 스트림인지를 판정하는 부호화 방식 판정수단과, 상기 제 2 부호화 비트 스트림을 수신하고, 상기 제 2 헤더 정보에 포함되어 있는 상기 제 2 부호화 방식의 화상 부호화 정보를 복호하는 복호 수단과, 상기 제 1 부호화 비트 스트림을 수신하고, 상기 제 1 헤더 정보에 포함되어 있는 상기 제 1 부호화 방식의 화상 부호화 정보에 기초하여, 상기 제 2 부호화 방식의 화상 부호화 정보를 설정하는 설정 수단을 구비하며, 상기 설정 수단에 의해 설정된 화상 부호화 정보, 또는 상기 복호 수단에 의해 복호된 화상 부호화 정보에 기초하여, 상기 제 1 부호화 비트 스트림, 또는 상기 제 2 부호화 비트 스트림에 포함되는 화상 부호화 데이터를 복호하는 것이다.
이것에 의해, 부호화 방식이 다른 부호화 비트 스트림이라도 복호할 수 있다는 효과를 얻는다.
본 발명에 관한 화상 복호화 장치는, 부호화 방식 판정수단이, 제 1 헤더 정보 또는 제 2 헤더 정보에 포함되는 제 1 또는 제 2 부호화 방식을 식별하는 부호화 방식 식별정보에 기초하여 판정하는 것이다.
이것에 의해, 부호화 방식이 다른 부호화 비트 스트림이라도, 부호화 방식을 용이하게 식별하여 복호할 수 있다는 효과를 얻는다.
본 발명에 관한 화상 복호화 장치는 부호화 방식 판정수단이, 제 1 헤더 정보 또는 제 2 헤더 정보에 포함되는 스타트 코드에 기초하여 판정하는 것이다.
이것에 의해, 부호화 방식이 다른 부호화 비트 스트림이라도, 부호화 방식을 용이하게 식별하여 복호할 수 있다는 효과를 얻는다.
본 발명에 관한 화상 복호화 장치는, 부호화 방식 판정수단이, 제 1 헤더 정보에 포함되는 H.263 스타트 코드 또는 제 2 헤더 정보에 포함되는 VOL(Video 0bject Layer) 스타트 코드에 기초하여 판정하는 것이다.
이것에 의해, 부호화 방식이 다른 H.263과 MPEG-4의 부호화 비트 스트림이라도, 부호화 방식을 용이하게 식별하여 복호할 수 있다는 효과를 얻는다.
본 발명에 관한 화상 복호화 장치는, 부호화 방식 판정수단이, 제 1 헤더 정보에 포함되는 픽처 스타트 코드 또는 제 2 헤더 정보에 포함되는 V0(Video Object) 스타트 코드에 기초하여 판정하는 것이다.
이것에 의해, 부호화 방식이 다른 H.263과 MPEG-4의 부호화 비트 스트림이라도, 새로운 헤더 정보를 부가하지 않더라도 부호화 방식을 용이하게 식별하여 복호할 수 있다는 효과를 얻는다.
본 발명에 관한 화상 부호화 장치는, 화상신호를 제 1 부호화 방식으로 부호화하여 제 1 부호화 비트 스트림을 생성하는 부호화 수단과, 상기 제 1 부호화 비트 스트림에, 제 2 부호화 방식으로 부호화된 제 2 부호화 비트 스트림과 호환성을 확보하기 위한 헤더 정보를 다중화하여 송신하는 헤더 정보 다중화 수단을 구비한 것이다.
이것에 의해, 제 2 부호화 비트 스트림을 복호하는 복호화 수단이 복호 가능한 제 1 부호화 비트 스트림을 생성할 수 있다는 효과를 얻는다.
본 발명에 관한 화상 부호화 장치는, 헤더 정보 다중화 수단이, 호환성을 확보하기 위한 헤더 정보로서, 제 2 부호화 방식의 스타트 코드와 제 1 부호화 방식인 것을 나타내는 부호화 방식 식별정보를 다중화하는 것이다.
이것에 의해, 제 2 부호화 비트 스트림을 복호하는 복호화 수단이 용이하게 부호화 방식을 식별하여 복호 가능한 제 1 부호화 비트 스트림을 생성할 수 있다는 효과를 얻는다.
본 발명에 관한 화상 통신 시스템은, 화상신호를 제 1 부호화 방식으로 부호화하여 제 1 부호화 비트 스트림을 생성하는 부호화 수단과, 제 2 부호화 방식으로 부호화된 제 2 부호화 비트 스트림을 복호하는 복호화 수단과, 상기 부호화 수단으로부터 수신한 상기 제 1 부호화 비트 스트림에, 상기 복호화 수단으로부터 수신한 호환성을 확보하기 위한 헤더 정보를 다중화하여, 상기 복호화 수단에 송신하는 부호화 비트 스트림 변환수단을 구비한 것이다.
이것에 의해, 제 2 부호화 비트 스트림을 복호하는 복호화 수단이 복호 가능한 제 1 부호화 비트 스트림을 생성할 수 있다는 효과를 얻는다.
본 발명에 관한 부호화 비트 스트림 변환 장치는, 제 1 부호화 방식으로 생성된 제 1 부호화 비트 스트림을 입력하고, 상기 제 1 부호화 방식의 제 1 헤더 정보와, 화상 부호화 데이터를 분리하는 해석 수단과, 분리된 상기 제 1 헤더 정보를 복호하는 복호 수단과, 상기 복호 수단에 의해 복호된 제 1 헤더 정보에 기초하여, 제 2 부호화 방식의 제 2 헤더 정보를 설정하여 부호화하는 헤더 정보 설정 수단과, 상기 신택스 해석 수단이 분리한 상기 화상 부호화 데이터와, 상기 헤더 정보 설정 수단이 부호화한 상기 제 2 헤더 정보를 다중화하고, 제 2 부호화 비트 스트림을 생성하는 다중화 수단을 구비한 것이다.
이것에 의해, 제 1 부호화 비트 스트림을 용이하게 제 2 부호화 비트 스트림을 변환할 수 있다는 효과를 얻는다.
본 발명에 관한 화상 복호화 장치는, 제 1 헤더 정보와 제 1 부호화 방식으로 부호화된 화상 부호화 데이터가 다중화된 제 1 부호화 비트 스트림, 또는 제 2 부호화 방식으로 부호화된 화상 부호화 데이터와 제 2 헤더 정보가 다중화된 제 2부호화 비트 스트림을 복호함에 있어서, 상기 제 1 헤더 정보 또는 상기 제 2 헤더 정보에 기초하여, 수신한 부호화 비트 스트림이, 상기 제 1 부호화 비트 스트림, 또는 상기 제 2 부호화 비트 스트림인지를 판단하는 부호화 방식 판정수단과, 상기 제 1 부호화 비트 스트림을 수신하여, 상기 제 1 헤더 정보를 복호하는 제 1 복호 수단과, 상기 제 2 부호화 비트 스트림을 수신하여, 상기 제 2 헤더 정보에 포함되어 있는 상기 제 2 부호화 방식의 화상 부호화 정보를 복호하는 제 2 복호 수단과, 수신한 부호화 비트 스트림이 제 1 부호화 비트 스트림인 경우, 제 1 부호화 비트 스트림에 포함되는 화상 부호화 데이터를 상기 제 1 복호 수단에 의해 복호된 제 1 헤더 정보에 기초하여 복호하고, 수신한 부호화 비트 스트림이 제 2 부호화 비트 스트림인 경우, 제 2 부호화 비트 스트림에 포함되는 화상 부호화 데이터를 상기 제 2 복호 수단에 의해 복호된 화상 부호화 정보에 기초하여 복호하는 것이다.
이것에 의해, 부호화 방식이 다른 부호화 비트 스트림이라도, 새로운 헤더 정보를 부가하지 않더라도 부호화 방식을 용이하게 식별하고, 제 1 부호화 비트 스트림이라도 제 2 부호화 방식의 화상 부호화 정보를 설정하지 않고서 복호할 수 있다는 효과를 얻는다.
(본 발명을 실시하기 위한 최선의 형태)
이하, 본 발명을 보다 상세히 설명하기 위해서, 본 발명을 실시하기 위한 최선의 예에 관해서, 첨부된 도면에 따라서 설명한다.
실시예 1
도 2는 실시예 1에 있어서의 화상 복호화 장치가 수신하는 부호화 비트 스트림의 구조를 도시된 도면이고, 도 2의 (a)는 MPEG-4 호환 H.263 부호화 비트 스트림(203), 또한 도 2의 (b)는 MPEG-4 부호화 비트 스트림(204)이다. 도 2의 (a)의 MPEG-4 호환 H.263 부호화 비트 스트림(203)은, 종래의 도 1의 (a)에서 도시한 H.263 부호화 비트 스트림(201)에, VO 스타트 코드(231), VO 식별번호(232), VOL 스타트 코드(233) 및 H.263 호환 식별정보(226)가 추가되어 있다. 또한 도 2의 (b)의 MPEC-4 부호화 비트 스트림(204)은, 종래의 도 1의 (b)에 도시한 MPEG-4 부호화 비트 스트림(202)에, H.263호환 식별정보(226)가 추가되어 있다. 또 MPEG-4 호환 H.263 부호화 비트 스트림(203)과 MPEG-4 부호화 비트 스트림(204)에 추가되어 있는 H.263 호환 식별정보(226)는, 양쪽을 구별할 수 있는 정보로 하고, 예를 들면 한쪽의 H.263 호환 식별정보를 "0"의 비트로 하면, 다른 쪽을 "1"의 비트로 한다.
도 3은 실시예 1에 있어서의 VO(Video Object)를 복호하는 화상 복호화 장치의 구성을 도시한 블록도이다. 도면에 있어서, 1은 수신한 부호화 비트 스트림, 2는 신택스 해석·가변 길이 복호부이고, 부호화 비트 스트림(1)으로부터, 신택스(다중화한 비디오 신호)를 해석하는 동시에, 형상 부호화 데이터(3), 텍스처 부호화 데이터(6), 텍스처 움직임 데이터(7; motion data)를 출력한다. 4는 화상 부호화 데이터(3)를 복호하여 복호 형상 데이터(5)를 구하는 형상 복호부, 8은 텍스처 움직임 데이터(7)에 기초하여 움직임 보상을 행하여 예측 텍스처 데이터(9)를 구하는 움직임 보상부, 10은 텍스처 부호화 데이터(6)와 예측 텍스처 데이터(9)에 기초하여 복호를 행하여 복호 텍스처 데이터(11)를 구하는 텍스처 복호부이다.
다음에 동작에 대해서 설명한다.
여기서는, 본 발명의 주안점인 도 2의 (a)의 MPEG-4 호환 H.263 부호화 비트 스트림(203)의 복호 동작에 관해서 주로 설명한다. 따라서 각 VOP의 형상이 직사각형인 경우, 즉 비트 스트림중에 형상 부호화 데이터가 포함되지 않는 경우에, 텍스처 데이터나 움직임에 관한 정보가, 매크로 블록마다 부호화되어 있는 경우에 관해서 설명한다.
또한, 도 2의 (b)의 MPEG-4 부호화 비트 스트림(204)의 복호 동작에 대해서는, 기본적으로는 종래와 같다.
우선, 신택스 해석·가변 길이 복호부(2)는, 입력한 부호화 비트 스트림(1)을, 2치의 비트 스트림으로부터 의미를 갖는 데이터로 분리한다. 그리고 이 신택스 해석·가변 길이 복호부(2)가, MPEG-4 호환 H.263 부호화 비트 스트림(203)의 복호를 가능하게 하고 있다. 움직임 보상부(8)는, 신택스 해석·가변 길이 복호부(2)로부터 출력된 텍스처 움직임 데이터(7)에 기초하여 움직임 보상을 행하고, 예측 텍스처 데이터(9)를 출력한다. 텍스처 복호부(10)는, 신택스 해석·가변 길이 복호부(2)로부터 출력된 텍스처 부호화 데이터(6)와 움직임 보상부(8)로부터 출력된 예측 텍스처 데이터(9)를 입력하여, 복호 텍스처 데이터(11)를 얻는다.
다음에 신택스 해석·가변 길이 복호부(2)의 동작에 대해서 설명한다.
도 4는 신택스 해석·가변 길이 복호부(2)의 구성을 도시된 블록도이다. 도면에 있어서, 21은 부호화 비트 스트림(1)에 부가된 헤더 정보를 추출하여 이후의복호 제어에 필요한 각종의 헤더 정보를 설정하는 헤더 정보 해석부, 22는 부호화 비트 스트림(1)으로부터 텍스처 부호화 데이터(6) 및 텍스처 움직임 데이터(7)를 구하는 매크로 블록 레이어 신택스 해석부이다.
도 5는 헤더 정보 해석부(21)의 구성을 도시된 블록도이다. 도면에 있어서, 30은 부호화 비트 스트림(1)에 있어서의 VO 스타트 코드(231)를 검출하는 VO 스타트 코드 검출부, 31은 부호화 비트 스트림(1)으로부터 VOL 스타트 코드(233)를 검출하는 VOL 스타트 코드 검출부, 32는 부호화 방식 판정부이고, 부호화 비트 스트림(1)이 MPEG-4 호환 H.263 부호화 비트 스트림(203)인지 MPEG-4 부호화 비트 스트림(204)인지를 판정하고, H.263 호환 식별정보(33)를 출력한다. 34는 판정된 부호화 방식에 의해 바뀌어지는 전환부, 35는 MPEG-4 호환 H.263 부호화 비트 스트림(203)의 경우, H.263 방식에 특유한 화상 부호화 정보인 픽처 헤더 정보(222)를 복호하고, MPEG-4 방식에 특유한 화상 부호화 정보인 VOL 헤더 정보(234)와 VOP 헤더 정보(236)를 설정하는 H.263 픽처 헤더 정보 해석부, 36은 MPEG-4 호환 H.263 부호화 비트 스트림(203)의 경우, H.263 GOB(Group Of Block) 헤더 정보(224)를 복호하고, 복호된 GOB 헤더 정보(224)에 기초하여, H.263 픽처 헤더 해석부(35)에 의해 설정된 VOP 헤더 정보(236)의 변경을 행하는 H.263 GOB 헤더 정보 해석부, 37은 MPEG-4 부호화 비트 스트림(204)의 경우, VOL 헤더 정보(234)를 복호하는 VOL 헤더 정보 복호부, 38은 MPEG-4 부호화 비트 스트림(204)의 경우, VOP 헤더 정보(236)를 복호하는 VOP 헤더 정보 해석부이다.
다음에 헤더 정보 해석부(21)의 동작에 대해서 설명한다.
VO 스타트 코드 검출부(30)가 도 2에 도시한 MPEG-4 호환 H.263 부호화 비트 스트림(203) 또는 MPEG-4 부호화 비트 스트림(204)에 있어서의 VO 스타트 코드(231)를 검출하면 이하의 복호 동작을 개시한다. VOL 스타트 코드 검출부(31)는, 부호화 비트 스트림(1)으로부터 VOL 스타트 코드(233)를 검출한다. 그리고 부호화 방식 판정부(32)는, 부호화 비트 스트림(1)으로부터 H.263 호환 식별정보(226)를 복호하고, H.263 호환 식별정보(226)에 의해 부호화 비트 스트림(1)이 MPEG-4 호환 H.263 부호화 비트 스트림(203)인지, MPEG-4 부호화 비트 스트림(204)인지를 판정하고, H.263 호환 식별정보(33)를 출력한다.
부호화 비트 스트림(1)이 MPEG-4 호환 H.263 부호화 비트 스트림(203)인 경우에는, 전환부(34)에 의해 부호화 비트 스트림(1)이 H.263 픽처 헤더 정보 해석부(35)에 입력된다.
도 6은 H.263 픽처 헤더 정보 해석부(35)의 구성을 도시된 블록도이다. H.263 픽처 스타트 코드 검출부(41)가, 부호화 비트 스트림(1)으로부터 픽처 스타트 코드(221)를 검출하면, 다음에 H.263 픽처 헤더 정보 복호부(42)는, 부호화 비트 스트림(1)으로부터 픽처 헤더 정보(222)를 복호한다. 그리고 MPEG-4 헤더 정보 설정부(43)는, 복호된 픽처 헤더 정보(222)에 기초하여 VOL 헤더 정보(234)와 VOP 헤더 정보(236)를 설정한다.
도 7은 H.263 픽처 헤더 정보 복호부(42)의 구성을 도시된 블록도이다. temporal reference(TR) 복호부(51)는, H.263 픽처 스타트 코드 검출부(41)로부터의 비트 스트림(1)을 입력하고, 전송된 픽처간에서 스킵되거나 또는 참조되지 않은픽처수(TR)를 복호한다. 이 정보는 표시 시에 필요에 따라서 사용된다.
다음에, 픽처 타입(PTYPE) 복호부(52)는, 픽처 타입(PTYRE)의 복호를 행한다. 픽처 타입에는, 픽처 포맷(301), 픽처 부호화 타입(302), 선택(optional) 모드 지시 플래그(303) 등의 정보가 포함되어 있다. 복호된 픽처 포맷(301), 픽처 부호화 타입(302)은, 도 6의 MPEG-4 헤더 정보 설정부(43)로 출력된다.
또한 픽처 타입(PTYPE) 복호부(52)는, 선택 모드 지시 플래그(303)가 ON 인지의 여부를 판정한다. H.263에서는 선택 모드가 몇 개 준비되어 있지만, 이 실시예에서 설명하는 화상 복호화 장치에 있어서는, 이들 선택 모드가 포함되는 비트 스트림에 대해서는 호환성을 인정하지 않는 것으로 하여, 이들 선택 모드가 ON(유효)으로 되어 있는 부호화 비트 스트림은, 전환부(53)에 의해 복호 동작 종료부(54)에 입력된다. 그리고 복호 동작 종료부(54)는 그 부호화 비트 스트림에 대한 복호 동작을 종료시킨다. 픽처 타입에는, 그 외 표시 등에 대해서 규정한 정보가 포함되어 있지만, 그것들에 대해서는 필요에 따라서 사용하는 것도 가능하다.
한편, 선택 모드가 OFF(무효)로 되어 있는 비트 스트림은, 전환부(53)에 의해 픽처 양자화 스텝 사이즈(PQUANT) 복호부(55)에 입력된다. 픽처 양자화 스텝 사이즈(PQUANT) 복호부(55)는, 픽처 양자화 스텝 사이즈(PQUANT; 304)의 복호를 행한다. 복호된 픽처 양자화 스텝 사이즈(304)는, 도 6의 MPEG-4 헤더 정보 설정부(43)로 출력된다. 픽처 양자화 스텝 사이즈(304) 이후의 픽처 헤더 정보는, 이후의 복호에서 필요가 없기 때문에 스킵된다.
다음에 도 6의 MPEG-4 헤더 정보 설정부(43)의 동작에 대해서 설명한다.
MPEG-4 헤더 정보 설정부(43)는, 복호된 픽처 헤더정보(222)에 기초하여, VOL 헤더 정보(234)로서, VOL의 형상 정보와 오브젝트 사이즈를 설정한다. 또한 MPEG-4 호환 H.263 부호화 비트 스트림인 경우에는, 각 비트 스트림은 프레임에 대응하기 때문에, MPEG-4 헤더 정보 설정부(43)는, 형상 정보가 직사각형인 취지를 설정한다. 더욱이 오브젝트 사이즈는 프레임 사이즈에 대응하기 때문에, MPEG-4 헤더 정보 설정부(43)는, 픽처 헤더 정보(222)의 하나인 픽처 포맷(301)으로부터 프레임 사이즈를 구하여, 오브젝트 사이즈에 설정한다. 또한 1화소당의 계조(gray scale)가 8 비트인지의 여부의 설정을 행한다. H.263에서는 1화소당의 계조가 8 비트 이외를 상정하고 있지 않기 때문에, 1화소당의 계조를 8.비트에 설정한다.
다음에 MPEG-4 헤더 정보 설정부(43)는, MPEG-4 베이스의 부호화 조건이다, 스프라이트(sprite) 부호화, 에러 내성(error resistant) 부호화, 인트러(intra) AC/DC 예측, 스케일어빌리티 부호화를 무효로 설정한다. 또 MPEG-4에서는, 양자화 수법을 H.263, MPEG-1/2의 2종류의 수법으로부터 선택할 수 있기 때문에, MPEG-4 호환 H.263 부호화 비트 스트림(203)의 경우에는 양자화 수법을 H.263에 설정해 둔다.
또한 MPEG-4 헤더 정보 설정부(43)는, VOP 헤더 정보(236)를 설정한다. VOP 헤더 정보(236)로서는, VOP의 예측 타입 정보, 양자화 스텝 사이즈를 설정한다. VOP의 예측 타입에는, VOP 내의 데이터만으로 부호화되는 인트러의 경우와, 전후의 VOP의 데이터를 사용하여 부호화되는 인트러의 경우가 있다. VOP의 예측 타입 정보는, 픽처 헤더 정보(222)의 하나인 픽처 부호화 타입(302)에 기초하여 설정한다.또한 VOP의 양자화 스텝 사이즈도, 마찬가지로 픽처 헤더 정보(222)인 픽처 양자화 스텝 사이즈(304)로부터 설정한다.
더욱이 MPEG-4에서는, 움직임 벡터의 탐색 범위를 7종류 중에서 선택 가능하기 때문에, 움직임 벡터의 탐색 범위를 지정하는 코드가 준비되어 있다. 이것에 대하여, H.263에서는 이 중 1종류의 탐색 범위에만 대응하고 있기 때문에, MPEG-4 헤더 정보 설정부(43)는, 움직임 벡터 탐색 범위 지정 코드를 H.263에서 사용되고 있는 움직임 벡터의 탐색 범위에 대응하는 코드로 설정해 둘 필요가 있다. 또한 MPEG-4에서는 인터레이스 화상 대응으로 되어 있지만, H.263에서는 인터레이스 대응으로 되어 있지 않기 때문에, 인터레이스 모드 지시정보는 항상 무효로 설정한다.
도 5에 있어서의 H.263 픽처 헤더 정보 해석부(35)에 의한 픽처 헤더 정보의 해석이 종료하면, 부호화 비트 스트림중에 GOB 스타트 코드(223)와 GOB 헤더 정보(224)가 삽입되어 있는 경우, 다음에 H.263 GOB 헤더 정보 해석부(36)에 의한 GOB 헤더 정보(224)의 해석이 행해진다. 부호화 비트 스트림중에 GOB 스타트 코드(223)와 GOB 헤더 정보(224)가 삽입되어 있지 않는 경우, H.263 GOB 헤더 정보 해석부(36)는 동작하지 않는다.
도 8은 도 5에 있어서의 H.263 GOB 헤더 정보 해석부(36)의 구성을 도시된 블록도이다. GOB 스타트 코드 검출부(61)가, 부호화 비트 스트림(1)에 부가되어 있는 GOB 스타트 코드(223)를 검출하면, GOB 헤더 정보 복호부(62)는 GOB 헤더 정보(224)를 복호한다.
도 9는 GOB를 설명하는 도면이다. 도면에 도시된 것과 같이, GOB는 화상을 몇 개의 매크로 블록의 열로 나눈 것으로, GOB 헤더 정보(224)에는, 복호측에서 재동기를 취하는 데에 필요한 정보가 포함된다. 부호화 비트 스트림이 있는 비트에서 에러가 발생한 경우, 가변 길이 부호화 및 예측 부호화가 행해지고 있을 때에는, 이후의 매크로 블록 데이터를 정확하게 복호할 수 없으며 오류가 전파된다. GOB 헤더 정보가 검출되면, GOB의 선두의 매크로 블록을 복호하기 전에, 부호화 비트 스트림의 재동기가 취해지고, 이후의 매크로 블록을 복호하는 데 필요한 정보가 재설정되기 때문에, 에러의 전파를 막을 수 있다. 각 매크로 블록의 양자화 스텝 사이즈나 움직임 벡터는, 이미 부호화된 매크로 블록의 양자화 스텝 사이즈나 움직임 벡터와의 차분을 부호화하는 예측 부호화가 행해지고 있기 때문에, 재동기가 취해진 경우에는, 이들 정보를 재설정할 필요가 있다.
도 10은 GOB 헤더 정보 복호부(62)의 구성을 도시된 블록도이다. GOB 번호 복호부(71)는, 부호화 비트 스트림(1)으로부터 GOB 번호(GN)를 복호한다. 그리고 GOB 프레임 식별 번호 복호부(72)는, GOB가 속해 있는 픽처의 식별번호(GFID)를 복호한다. 또한 GOB 양자화 스텝 사이즈 복호부(73)는, GOB 양자화 스텝 사이즈(GQUANT; 305)를 복호하고, 도 8에 있어서의 MPEG-4 헤더 정보 변경부(63)에 출력한다.
MPEG-4 헤더 정보 변경부(63)는, 복호된 GOB 헤더 정보(224)에 기초하여, MPEG-4 헤더 정보 설정부(43)에 의해 설정된 VOP 헤더 정보(236)의 변경을 행한다. GOB 헤더 정보(224)에 의해 변경되는 정보는 양자화 스텝 사이즈로, GOB의 양자화스텝 사이즈를 VOP의 양자화 스텝 사이즈에 설정한다. 이상의 설정된 각 정보는, 도 4의 매크로 블록 레이어 신택스 해석부(22)로 출력된다.
도 5에 있어서의 부호화 방식 판정부(32)는, H.263 호환 식별정보(226)가 MPEG-4를 나타내는 경우에는, 부호화 비트 스트림(1)이 MPEG-4 부호화 비트 스트림(204)이라고 판정하고, H.263 호환 식별정보(33)를 출력한다. 그리고 MPEG-4 부호화 비트 스트림(204)은, 전환부(34)에 의해 VOL 헤더 정보 복호부(37)에 입력된다. VOL 헤더 정보 복호부(37)는 부호화 비트 스트림으로부터 VOL헤더 정보(234)를 복호하고, VOP 헤더 정보 해석부(38)는 VOP 헤더 정보(236)를 복호하며, 도 4의 매크로 블록 레이어 신택스 해석부(22)에 출력한다.
이상의 정보가 설정되면, 매크로 블록 레이어 신택스 해석부(22)는, MPEG-4의 신택스에 기초하는 해석이며, 매크로 블록 데이터(225, 239)를 복호한다. 단, 블록 데이터의 부호화 방법이 MPEG-4와 H.263에서는 약간 다르기 때문에, 복호측에서도 동작을 바꿀 필요가 있다.
도 11은 실시예 1에 있어서의 MPEG-4 호환 H.263 비트 스트림(203)에 있어서의 매크로 블록 데이터(225)의 레이어 구조를 도시된 도면이다. 매크로 블록은, 4개의 휘도 블록과 2개의 색차 블록으로 구성된다. 도면에 도시된 바는 같이, 매크로 블록마다, 매크로 블록 스킵 판정정보(251), 매크로 블록 타입·유효 색차 블록 식별정보(252), 유효 블록 식별정보(253), 차분 양자화 스텝 사이즈(254) 및 움직임 데이터(255)의 각 속성정보가 다중화되어 있다.
여기서 매크로 블록 스킵 판정정보(251)는, 인터 VOP에 있어서, 움직임 벡터가 0이고 또한 매크로 블록내의 모든 계수 데이터(입력 화상 신호(인트러(intra)의 경우에는 원(原)신호, 인터(inter)의 경우에는 참조 VOP와의 차분신호)를 DCT 후, 양자화 한 데이터)가 0인지의 여부를 나타내는 정보이고, 움직임 벡터가 0이고 계수 데이터가 모두 0인 경우에는, 그 매크로 블록에 관한 이후의 정보는 비트 스트림중에 포함되어 있지 않다. 따라서 다음의 매크로 블록에 스킵된다.
또한 매크로 블록 타입·유효 색차 블록 식별정보(252)의 매크로 블록 타입은, 매크로 블록 데이터를 부호화 할 때에, 매크로 블록의 원신호를 사용하여 부호화한 경우(인트러), 또는, 움직임 보상 예측을 행하여 참조 매크로 블록과의 차분신호를 부호화한 경우(인터), 1개 앞의 매크로 블록의 양자화 스텝 사이즈와 다른 양자화 스텝 사이즈로 부호화한 경우 등, 매크로 블록의 부호화 타입을 나타내는 정보이다.
더욱이 유효 블록 식별정보(253)는, 각 블록의 계수 데이터가 모두 0인지의 여부를 나타내는 정보이다. 상기 속성정보의 뒤에 블록마다 계수 데이터가 다중화되어 있지만(블록 데이터(256)에 상당), 이 유효 블록 식별정보(253)가 무효 블록인 것을 나타내는 경우에는, 그 블록의 계수 데이터는 존재하지 않는다.
그리고 차분 양자화 스텝 사이즈(254)는, 매크로 블록 타입에서 1개 앞의 매크로 블록의 양자화 스텝 사이즈와 다른 것이 나타나고 있는 경우에 다중화되는 정보이고, 1개 앞의 매크로 블록의 양자화 스텝 사이즈와의 차분치를 나타낸다.
도 12는 매크로 블록 레이어 신택스 해석부(22)의 구성을 도시된 블록도이다. 도면에 있어서, 81은 MPEG-4 헤더 정보 설정부(43)에서 설정된 형상정보(311)에 의해 바뀌어지는 전환부, 82는 부호화 비트 스트림중의 형상 부호화 데이터를 복호하는 형상 부호화 데이터 복호부, 83은 MPEG-4 헤더 정보 설정부(43)에서 설정된 VOP 예측 타입(312)에 의해 바뀌어지는 전환부, 84는 VOP 예측 타입이 이외의 경우에, 매크로 블록의 스킵 판정정보(251)를 복호하는 스킵 판정 정보 복호부, 85는 스킵 판정정보(251)에 의해 바뀌어지는 전환부, 86은 스킵하는 경우에 그 매크로 블록의 움직임 벡터와 텍스처 데이터를 모두 영으로 하는 스킵 시 데이터 설정부, 87은 VOP 예측 타입(312)이 인트러인 경우나 스킵하지 않는 경우에 매크로 블록 타입(313) 및 유효 색차 블록 식별 정보를 복호하는 매크로 블록 타입·유효 색차 블록 식별정보 복호부이다.
또한 88은 MPEG-4 헤더 정보 설정부(43)에서 설정된 인트러 AC/DC 예측 모드 지시 정보(315)에 의해 바뀌어지는 전환부, 89는 AC 예측 지시 정보를 복호하는 AC 예측 지시 정보 복호부, 90은 유효 블록 식별정보(253)를 복호하는 유효 블록 식별정보 복호부, 91은 매크로 블록 타입·유효 색차 블록 식별정보 복호부(87)로부터 출력된 매크로 블록 타입(313)에 의해 바뀌어지는 전환부이다.
더욱이 92는 차분 양자화 스텝 사이즈를 영으로 설정하는 차분 양자화 스텝 사이즈 영 설정부, 93은 차분 양자화 스텝 사이즈(317)를 복호하는 차분 양자화 스텝 사이즈 복호부, 94는 복호된 차분 양자화 스텝 사이즈(317)와 앞의 블록의 VOP 양자화 스텝 사이즈(318)를 가산하여 양자화 스텝 사이즈(319)를 도 3의 텍스처 복호부(10)에 출력하는 가산부, 95는 MPEG-4 헤더 정보 설정부(43)로부터의 인터레이스 모드 지시정보(316)에 의해 바뀌어지는 전환부, 96은 인터레이스 정보를 복호하는 인터레이스 정보 복호부, 97은 매크로 블록 타입·유효 색차 블록 식별정보 복호부(87)로부터 출력된 매크로 블록 타입(313) 및 MPEG-4 헤더 정보 설정부(43)로부터 출력된 VOP 예측 타입(312)과 움직임 벡터 탐색 범위 지정정보(320)에 기초하여 움직임 벡터(텍스처 움직임 데이터(7))를 복호하는 움직임 벡터 복호부, 98은 부호화 블록 데이터를 복호하여 텍스처 부호화 데이터(6)를 텍스처 복호부(10)로 출력하는 블록 데이터 복호부이다.
다음에 매크로 블록 레이어 신택스 해석부(22)의 동작에 대해서 설명한다.
여기서는 부호화 비트 스트림(1)이 MPEG-4 호환 H.263 부호화 비트 스트림(203)의 경우를 설명한다. MPEG-4 부호화 비트 스트림(204)의 경우에 대해서는, IS0/IEC JTC1/SC29/WG11 MPEG-4 Video VM8.0에 기재되어 있기 때문에 생략한다.
부호화 비트 스트림(1)은, MPEG-4 헤더 정보 설정부(43)에서 설정된 형상 정보(311)에 의해, 전환부(81)에서 출력이 전환된다. 부호화 비트 스트림(1)이 MPEG-4 호환 H.263 부호화 비트 스트림(203)의 경우에는, 형상 정보(311)는 직사각형으로 설정되어 있기 때문에, 비트 스트림(1)은, 형상 부호화 데이터 복호부(82)를 통하지 않고서, 전환부(83)에 입력된다.
다음에 전환부(83)는, MPEG-4 헤더 정보 설정부(43)에서 설정된 VOP 예측 타입(312)에 의해 전환된다. VOP 예측 타입(312)이 인트러의 경우에는, 매크로 블록 타입·유효 색차 블록 식별정보 복호부(87)는, 매크로 블록 타입(313)과 유효 색차 블록 식별정보를 복호한다. VOP 예측 타입이 인트러 이외의 경우에는, 스킵 판정정보 복호부(84)는, 매크로 블록의 스킵 판정정보(251)를 복호한다. 복호된 스킵 판정정보(251)에 기초하여, 전환부(85)가 전환되고, 그 매크로 블록이 스킵되는 것을 나타내는 경우에는, 스킵 시 데이터 설정부(86)는, 그 매크로 블록의 움직임 벡터와 매크로 블록내의 텍스처 데이터를 모두 영으로 설정하고, 그 매크로 블록에 관한 복호를 종료한다. 스킵 판정정보(251)에 의해 그 매크로 블록이 스킵되지 않는 것을 나타내는 경우에는, 매크로 블록 타입·유효 색차 블록 식별정보 복호부(87)는, 매크로 블록 타입(313)과 유효 색차 블록 식별정보를 복호한다.
다음에 전환부(88)는, MPEG-4 헤더 정보 설정부(43)에서 설정된 인트러 AC/DC 예측 모드 지시정보(315)에 의해 전환된다. MPEG-4 호환 H.263 부호화 비트 스트림(203)의 경우에는, 인트러 AC/DC 예측을 행한다는 기능은 없기 때문에, VOL 헤더 정보(234)를 설정할 때에, 인트러 AC/DC 예측은 무효로 설정되어 있고, AC 예측 지시 정보 복호부(89)를 통하지 않고서 유효 블록 식별정보 복호부(90)에 입력된다.
다음에 유효 블록 식별정보 복호부(90)는, 매크로 블록내의 휘도 블록에 대하여 유효 블록 식별정보(253)를 복호한다. 전환부(91)는, 매크로 블록 타입·유효 색차 블록 식별정보 복호부(87)에 의해 복호된 매크로 블록 타입(313)에 의해 전환되고, 그 매크로 블록의 양자화 스텝 사이즈가 1개 앞에 복호된 매크로 블록의 양자화 스텝과 다른 경우에는, 차분 양자화 스텝 사이즈 복호부(93)는, 1개 앞에 부호화된 매크로 블록의 양자화 스텝 사이즈와의 차분 양자화 스텝 사이즈(317)를 복호한다. 복호된 차분 양자화 스텝 사이즈(317)는, 가산기(94)에 의해 1개 앞의매크로 블록의 VOP 양자화 스텝 사이즈(318)와 가산되고, 양자화 스텝 사이즈(319)로서 도 3의 텍스처 복호부(10)로 출력된다.
한편, 매크로 블록의 양자화 스텝 사이즈가 1개 앞에 복호된 매크로 블록의 양자화 스텝 사이즈와 동일한 것을 나타내는 경우에는, 차분 양자화 스텝 사이즈 영 설정부(92)가, 차분 양자화 스텝 사이즈를 영으로 설정한다.
다음에 전환부(95)는, MPEG-4 헤더 정보 설정부(43)로부터의 인터레이스 모드 지시정보(316)에 의해 전환된다. MPEG-4 호환 H.263 부호화 비트 스트림 (203)의 경우에는, 인터레이스 화상에는 대응하고 있기 않기 때문에, 인터레이스 모드는 무효로 설정되어 있고, 인터레이스 정보 복호부(96)를 통하지 않고서 움직임 벡터 복호부(97)에 입력된다. 그리고 움직임 벡터 복호부(97)는, MPEG-4 헤더 정보 설정부(43)에서 설정된 VOP 예측 타입(312)이 인터의 경우에는, 매크로 블록 타입·유효 색차 블록 식별정보 복호부(87)에 의해 복호된 매크로 블록 타입(313)과 MPEG-4 헤더 정보 설정부(43)에서 설정된 움직임 벡터 탐색 범위 지정정보(320)에 기초하여, 움직임 벡터(텍스처 움직임 데이터(7))를 복호하여, 도 3의 움직임 보상부(8)에 출력한다.
다음에 블록 데이터 복호부(98)는, 부호화 비트 스트림에 있어서의 부호화 블록 데이터를 복호한다. 도 13은 블록 데이터 복호부(98)의 구성을 도시된 블록도이다. 도면에 있어서, 101은 부호화 블록 데이터를 입력하는 동시에 매크로 블록 타입·유효 색차 블록 식별정보 복호부(87)로부터 출력된 매크로 블록 타입(313)에 의해 바뀌어지는 전환부, 102는 MPEG-4 헤더 정보 설정부(43)에서 설정된 인트러 AC/DC 예측 모드 지시정보(315)에 의해 바뀌어지는 전환부, 103은 인트러 AC/DC 예측이 OFF일 때에 MPEG-4 헤더 정보 설정부(43)로부터의 1화소당의 계조(321)에 기초하여 DC 계수 고정 길이의 복호를 행하여 복호 인트러 DC 계수(111)를 출력하는 DC 계수 고정 길이 복호부, 104는 인트러 AC/DC 예측이 ON일 때에 DC 계수를 복호하여 복호 인트러 DC 계수(111)를 출력하는 DC 계수 복호부이다.
105는 유효 블록 식별정보 복호부(90)로부터 출력된 유효 블록 식별정보(253)에 의해 바뀌어지는 전환부, 106은 매크로 블록 타입·유효 색차 블록 식별정보 복호부(87)로부터 출력된 매크로 블록 타입(313)과 부호화 방식 판정부(32)로부터 출력된 H.263 호환 식별정보(33)에 기초하여 AC 계수 VLD(Variable Length Decoding) 테이블을 바꾸는 AC 계수 VLD 테이블 전환부이다.
107은 AC 계수 데이터를 가변 길이 복호하여 복호 AC 계수 데이터(112)를 출력하는 AC 계수 데이터 가변 길이 복호부, 108은 부호화 방식 판정부(32)로부터 출력된 H.263 호환 식별정보(33)에 의해 바뀌어지는 전환부, 109는 복호 AC 계수 데이터(112)를 출력하는 AC 계수 데이터 고정 길이 복호부, 110은 복호 AC 계수 데이터(112)를 출력하는 AC 계수 데이터 Esc coding 복호부, 113은 AC 계수를 영으로 설정하는 AC 계수 영 설정부이다.
다음에 블록 데이터 복호부(98)의 동작에 대해서 설명한다.
먼저 부호화 블록 데이터는, 매크로 블록 타입·유효 색차 블록 식별정보 복호부(87)로부터 출력된 매크로 블록 타입(313)에 의해, 전환부(101)로 전환되고, 매크로 블록 타입(313)이 인트러 이외의 경우에는, 전환부(105)로 출력된다. 매크로 블록 타입(313)이 인트러의 경우에는, 부호화 블록 데이터는 전환부(102)에 입력되고, MPEG-4 헤더 정보 설정부(43)에서 설정된 인트러 AC/DC 예측 모드 지시정보(315)에 의해 전환된다.
MPEG-4 호환 H.263 부호화 비트 스트림(203)의 경우에는, 인트러 AC/DC 예측 모드(315)는 무효로 설정되어 있기 때문에, DC 계수 복호부(104)는 통과하지 않고, DC 계수 고정 길이 복호부(103)에 입력된다. DC 계수 고정 길이 복호부(103)는 고정 길이 복호를 행하고, 복호 인트러 DC 계수(111)를 텍스처 복호부(10)에 출력하는 동시에, 부호화 블록 데이터를 전환부(105)에 출력한다. 이 때 고정 길이 복호된 부호 길이는 MPEG-4 헤더 정보 설정부(43)에서 설정된 1화소당의 계조(디폴트치의 8 비트; 321)와 같고, 1화소당의 계조(321)는, 디폴트치의 8 비트로 설정되어 있기 때문에, H.263 대응의 복호화 장치의 경우와 같다.
전환부(105)는, 유효 블록 식별정보 복호부(90)에서 복호된 유효 블록 식별정보(253)에 의해 전환되고, 그 블록이 무효 블록인 경우에는, AC 계수 영 설정부(113)는 블록내의 복호 AC 계수 데이터(112)를 영으로 설정하고, 텍스처 복호부(10)에 출력한다. 그 블록이 유효 블록인 경우에는, 부호화 블록 데이터는 AC 계수 VLD 테이블 전환부(106)에 입력된다.
블록내의 AC 계수는, 부호화 장치측에서, 계수를 블록내에서 정해진 순서로 스캔하여, 영이 아닌 계수가 블록내에서 마지막인지의 여부를 나타내는 플래그(LAST), 연속하는 영의 수(RUN)와 그것에 계속되는 영이 아닌 계수의 레벨(LEVEL)을 결합하여, 가변 길이 부호화되어 있다. 복호측에서는 부호화 데이터를 가변 길이 복호하는 것에 의해, (LAST, RUN, LEVEL)의 조합이 얻어지고, 이것에 기초하여 블록내의 AC 계수를 재현할 수 있다. 또 (LAST, RUN, LEVEL)의 조합을 가변 길이 부호화 할 때에, MPEG-4에서는 매크로 블록 타입에 의해, 다른 VLC(Variable Length Coding) 테이블에 의해 가변 길이 부호화하는 것에 대하여, H.263에서는 매크로 블록 타입에 의하지 않고, 동일한 VLC 테이블에 의해 가변 길이 부호화를 행한다.
따라서 이 실시예에 있어서의 화상 복호화 장치에 있어서, AC 계수 VLD 테이블 전환부(106)는, 매크로 블록 타입·유효 색차 블록 식별정보 복호부(87)로부터 출력된 매크로 블록 타입(313) 및 부호화 방식 판정부(32)로부터 출력된 H.263 호환 식별정보(33)에 기초하여 AC 계수 VLD 테이블을 바꾼다. 그리고 H.263 호환 식별정보(33)가 H.263으로 설정되어 있는 경우에는, 매크로 블록 타입(인트러, 인터; 313)에 관계없이 AC 계수 데이터 가변 길이 복호부(107)는, 하나의 VLD 테이블에 의해 가변 길이 복호를 행하고, 복호 AC 계수 데이터(112)를, 부호화 텍스처 데이터(6)로서 텍스처 복호부(10)에 출력한다.
또한 (LAST, RUN, LEVEL)의 조합이 VLC 테이블에 없었던 경우의 부호화 방법도 MPEG-4와 H.263에서는 다르다. MPEG-4에서는 VLC 테이블에(LAST, RUN, LEVEL)의 조합이 없었던 경우에는, 익스케이프 코드를 부호화한 후에, RUN 또는 LEVEL의 값을 보정하고, 가변 길이 부호화를 행하거나 고정 길이 부호화를 행한다. 한편 H.263에서는, 익스케이프 코드를 부호화한 후에, LAST, RUN, LEVEL의 값 각각을 고정 길이 부호화한다.
따라서 이 실시예에 있어서의 화상 복호화 장치에 있어서, AC 계수 데이터 가변 길이 복호부(107)에 의해 AC 계수 부호화 데이터로부터 익스케이프 코드가 검출되었을 때 부호화 비트 스트림은 전환부(108)에 입력된다. 그리고 H.263 호환 식별정보(33)가 H.263에 설정되어 있는 경우, 부호화 비트 스트림은, AC 계수 데이터 Esc coding 복호부(110)를 통하지 않고서, AC 계수 데이터 고정 길이 복호부(109)에 의해, 다음에 계속되는 LAST, RUN, LEVEL에 관한 코드를 각각 정해진 부호 길이로 고정 길이 복호를 행하며, 복호 AC 계수 데이터(112)를, 텍스처 부호화 데이터(6)로서 텍스처 복호부(10)에 출력한다.
이상의 동작에 의해, 매크로 블록 레이어 신택스 해석부(22)에서 출력된 텍스처 부호화 데이터(6), 움직임 벡터(텍스처 움직임 데이터(7))는, 각각 텍스처 복호부(10), 움직임 보상부(8)에 분배된다.
상기한 바와 같이 하여, 도 3의 신택스 해석·가변 길이 복호부(2)에 있어서, VOP의 예측 모드가 복호되어 설정된다. VOP의 예측 모드가 인터의 경우에는, 텍스처 움직임 벡터의 차분 벡터가 복호된다. 복호된 텍스처 움직임 벡터의 차분 벡터는, 근방의 3개의 매크로 블록의 움직임 벡터로부터 구한 예측 벡터와 실제의 움직임 벡터와의 차분 벡터이고, 따라서, 움직임 벡터의 차분 벡터에 예측 벡터를 가산한 벡터를 움직임 벡터(텍스처 움직임 데이터(8))로서 산출한다.
예측 벡터의 산출은, 도 14의 (a)에 도시한 바와 같이 이미 복호된 3개의 근방의 매크로 블록(MV1, MV2, MV3)이 움직임 벡터로부터 산출한다. 단 근방의 3개의 매크로 블록중, 어느 하나가 VOP의 외부에 위치하는 경우에는, VOP의 외부에 위치하는 매크로 블록의 움직임 벡터의 값을, 도 14의 (b), 도 14의 (d)에 도시한 바와 같이 영 벡터에 설정하거나, 도 14의 (c)에 도시한 바와 같이, VOP 내의 매크로 블록의 움직임 벡터를 사용하여 설정한다. 그러나 부호화 방식이 H.263의 경우에, GOB 헤더가 정의되어 있는 경우에는, GOB의 경계내에서 예측 벡터의 설정을 행할 필요가 있다. 예측 벡터의 설정에 대해서는, VOP의 경우와 같다. 복호된 벡터에 기초하여, 예측 벡터를 예측 텍스처 데이터(9)로서 추출하고, 텍스처 복호부(10)에 출력한다.
한편 VOP의 예측 모드가 인트러의 경우에는, 움직임 보상 예측은 행해지지 않는다.
텍스처 복호부(10)는, 텍스처 부호화 데이터(6)를 받아들이고, 텍스처 데이터(11)를 복원한다.
도 15는 텍스처 복호부(10)의 구성을 도시된 블록도이다. 역양자화부(114)는 텍스처 부호화 데이터(6)를 역양자화한다.
도 16은 역양자화부(114)의 구성을 도시된 블록도이다.
전환부(117)는 텍스처 부호화 데이터(6)에 포함되는 매크로 블록 타입(313)에 의해 전환된다. 복호 대상 블록의 매크로 블록 타입(313)이 인터 부호화 모드의 경우에는, 텍스처 부호화 데이터(6)에 DC 계수 데이터가 포함되어 있지 않기 때문에, 텍스처 부호화 데이터(6)는 AC 계수 역양자화부(120)에 입력된다. 복호 대상 블록의 매크로 블록 타입(313)이 인트러 부호화 모드의 경우에는, 텍스처 부호화 데이터(6)는 전환부(118)에 입력된다.
전환부(118)는 H.263 호환 식별정보(33)에 의해 전환된다. H.263 호환 식별정보(33)가, MPEG-4 호환 H.263 부호화 비트 스트림(203)을 나타내고 있는 경우에는, DC 계수 선형 역양자화부(119B)가 텍스처 부호화 데이터(6)에 포함되는 DC 계수 데이터의 역양자화를 행한다. 한편, H.263 호환 식별정보(33)가, MPEG-4 부호화 비트 스트림(204)을 나타내고 있는 경우에는, DC 계수 비선형 역양자화부(119A)가 DC 계수 데이터의 역양자화를 행하고, DC 계수(306)를 출력한다. DC 계수의 양자화는 어떤 정해진 값(양자화 스케일이라고 부른다)으로 DC 계수를 나누고, 끝수(端數)를 버리는 것에 의해 행해진다. 따라 복호측에서는 양자화 DC 계수에 양자화 스케일을 곱하는 것에 의해, DC 계수(306)를 복원할 수 있다. DC 계수 선형 역양자화부(119B)와 DC 계수 비선형 역양자화부(119A)에서는, 이 양자화 스케일의 값의 설정이 다르다. DC 계수 선형 역양자화부(119B)에서는, 양자화 스케일을 고정치(8)로 역양자화한다. 한편 DC 계수 비선형 역양자화부(119A)에서는, 양자화 스텝 사이즈(319)의 범위에 따라서, 비선형으로 양자화 스케일의 값이 설정되고, 이 양자화 스케일에 의해 역양자화를 행하며, DC 계수(306)를 출력한다.
다음에 AC 계수 역양자화부(120)는, AC 계수 데이터의 역양자화를 행하고, AC 계수(307)를 출력한다. 역양자화된 DC 계수(인트러 부호화 모드일 때만 존재; 306)와 AC 계수(307)는 DCT 계수(308)로서 역 DCT 부(115)에 건네 주고, 역 DCT가 실시된 후, 복호 예측 오차 신호(309)로서 출력된다. 가산부(116)는 복호 예측 오차 신호(309)와 움직임 보상부(8)로부터 얻어지는 예측 텍스처 데이터(9)를 가산후, 복호 텍스처 데이터(11)로서 출력한다. 단, 인트러 부호화 모드의 경우에는,예측 텍스처 데이터(9)의 가산은 행해지지 않는다.
부호화 비트 스트림(1)에 H.263 호환 식별정보(33)가 다중화되어 있는 경우, 도 2의 (a)에 도시된 것과 같이, 시퀀스의 종료를 나타내는 시퀀스 종료 코드(EOS; 227)가 다중화되어 있는 경우도 있다. 시퀀스 종료 코드(227)의 검출은 픽처 스타트 코드 검출부(41)에서 행해지고, 시퀀스 종료 코드(227)를 검출하면 복호 동작을 종료한다.
이상과 같이, 이 실시예 1에 의하면, H.263 부호화 비트 스트림(201)에, VO 스타트 코드(231), VOL 스타트 코드, VO 식별번호(232) 및 H.263 호환 식별정보(226)가 다중화된 MPEG-4 호환 H.263 부호화 비트 스트림(203)을 수신하고, 이들 각 정보를 복호하도록 하였기 때문에, H.263과, MPEG-4에서 호환성을 갖는 화상 복호화 장치를 얻을 수 있다는 효과가 얻어진다.
실시예 2
도 17은 실시예 2에 있어서의 화상 부호화 장치의 구성을 도시된 블록도이고, 실시예 1에서 설명한 화상 복호화 장치에서 복호 가능한 부호화 비트 스트림을 생성하는 것이다. 도면에 있어서, 121은 입력 화상 신호, 122는 H.263 방식 부호화부, 123은 H.263 부호화 비트 스트림, 124는 MPEG-4 호환 플래그, 125는 헤더 정보 다중화부, 126은 MPEG-4 호환 H.263 부호화 비트 스트림이다.
다음에 동작에 대해서 설명한다.
먼저, H.263 방식 부호화부(122)는, 입력 화상 신호(121)를 H.263의 신택스에 기초하여 부호화하고, H.263 부호화 비트 스트림(123)을 생성한다. 다음에 헤더 정보 다중화부(125)는, MPEG-4 베이스의 복호화 장치에서 복호 가능한 비트 스트림을 생성하는 것을 나타내는 MPEG-4 호환 플래그(124)를 받아들이고, H.263 비트 스트림의 픽처 헤더의 앞에 실시예 1에서 설명한 화상 복호화 장치에서 복호하기 위해서 필요한 VO 스타트 코드(231), VO 식별번호(232), VOL 스타트 코드(233)및 H.263 호환 식별정보(H.263 베이스의 비트 스트림인 것을 나타내는 0 또는 1의 플래그; 226)를 다중화한다. 이렇게 하여 다중화된 MPEG-4 호환 H.263 부호화 비트 스트림(126)의 내용은, 실시예 1의 도 2의 (a)에 도시한 바와 같이 된다.
또한 도 18에 도시된 바와 같이 H.263 부호화 장치(127)와 MPEG-4 복호화 장치(128)간에서 실시간 통신이 행해지고 있는 경우에는, MPEG-4 복호화 장치(128)측으로부터 H.263 부호화 장치(127)에 MPEG-4 호환 플래그(124)를 송신하고, H.263 부호화 장치(127)는, MPEG-4 호환 플래그(124)를 받아들이면, 실시예 1에서 설명한 화상 복호화 장치에서 복호하기 위해서 필요한 VO 스타트 코드(213), VO 식별번호 (232), VOL 스타트 코드(233) 및 H.263 호환 식별정보(226)를 H.263 방식 비트 스트림(123)에 다중화하는 것도 가능하다.
이상과 같이, 이 실시예 2에 의하면, VO 스타트 코드(231), VO 식별번호(232), VOL 스타트 코드(233) 및 H.263 호환 식별정보(226)를 H.263 부호화 비트 스트림(123)에 다중화하기 때문에, MPEC-4 대응의 화상 복호 장치에서 복호 가능한 부호화 비트 스트림을 생성하는 화상 부호화 장치를 얻을 수 있다는 효과가 얻어진다.
실시예 3
도 19는 실시예 3에 있어서의 MPEG-4 호환 H.263 부호화 비트 스트림(205)의 구조를 도시된 도면이고, 종래의 도 1의 (a)에서 도시한 H.263 부호화 비트 스트림(201)에, VO 스타트 코드(231), VO 식별번호(232) 및 H.263 스타트 코드(228)가 추가되어 있다. 그리고 H.263 스타트 코드(228)는, 실시예 1에 있어서 다중화되어 있는 VOL 스타트 코드(233)와. H.263 호환 식별정보(226)의 양쪽의 기능을 달성하는 것이다.
또 MPEG-4 부호화 비트 스트림(202)은, 종래의 도 1의 (b)에서 도시한 것과 같다.
이 실시예에 있어서의 화상 복호화 장치는, 실시예 1에서 설명한 화상 복호화 장치에 있어서 헤더 정보 해석부(21)만이 다르다. 도 20은 실시예 3에 있어서의 헤더 정보 해석부(21)의 구성을 도시된 블록도이다. 도면에 있어서, 131은 H.263 스타트 코드/VOL 스타트 코드 검출부, 132는 부호화 방식 판정부이고, VO 스타트 코드 검출부(30), H.263 호환 식별정보(33), 전환부(34), H.263 픽처 헤더 정보 해석부(35), H.263 GOB 헤더 정보 해석부(36), VOL 헤더 정보 복호부(37), VOP헤더 정보 해석부(38)는, 실시예 1의 도 5와 동등한 것이다.
다음에 동작에 대해서 설명한다.
VO 스타트 코드 검출부(30)가 VO 스타트 코드(231)를 검출하면 이하의 복호 동작을 개시한다. 먼저, H.263 스타트 코드/V0L 스타트 코드 검출부(131)가, MPEG-4 호환 H.263 부호화 비트 스트림(205)의 경우는 H.263 스타트 코드를 검출하고, MPEC-4 부호화 비트 스트림(202)의 경우는 VOL 스타트 코드(233)를 검출한다.
MPEG-4에서는, 각 레이어의 스타트 코드는 모든 스타트 코드에 공통의 코드(0000 0000 0000 0000 0000 0001)의 뒤에 각 레이어에 고유의 스타트 코드가 고정 길이(5 비트)로 계속된다. 공통의 스타트 코드는, 비트 스트림중에 스타트 코드 이외에서 검출되는 일은 없다. 따라서, H.263 스타트 코드(228)도 공통의 스타트 코드의 뒤에 H.263 부호화 비트 스트림인 것을 식별할 수 있는 고정 길이(5비트)의 코드를 붙인 것으로 한다.
다음에, 검출된 스타트 코드가, H.263 스타트 코드(228)의 경우에는, 부호화 방식 판정부(132)는, H.263 호환 식별정보(33)를 H.263에 설정한다. 또한 VOL 스타트 코드(233)의 경우는, H.263 호환 식별정보(33)를 MPEG-4에 설정한다. 그 이후의 동작은 실시예 1과 같다.
이상과 같이, 이 실시예 3에 의하면, H.263 부호화 비트 스트림(201)에, VO 스타트 코드(231), VO 식별번호(232) 및 H.263 스타트 코드(228)가 다중화된 MPEG-4 호환 H.263 부호화 비트 스트림(205)을 수신하여, 이들 각 정보를 복호하도록 하였기 때문에, H.263과, MPEG-4로 호환성을 갖는 화상 복호화 장치를 얻을 수 있다는 효과가 얻어진다.
실시예 4
이 실시예는, 실시예 3에서 설명한 화상 복호화 장치로 복호 가능한 비트 스트림을 생성하는 화상 부호화 장치이며, 그 구성은 실시예 2의 도 17과 같다.
다음에 동작에 대해서 설명한다.
먼저, H.263 방식 부호화부(122)는, 입력 화상 신호(121)를 H.263의 신택스에 기초하여 부호화하고, H.263 부호화 비트 스트림(123)을 생성한다. 다음에 헤더 정보 다중화부(125)는, MPEG-4 호환 플래그(124)를 받아들이고, H.263 부호화 비트 스트림(123)의 픽처 헤더의 앞에, 실시예 3에서 설명한 화상 복호화 장치로 복호하기 위해서 필요한 VO 스타트 코드(231), VO 식별번호(232) 및 H.263 스타트 코드(228)를 다중화한다. 이렇게 하여 다중화된 MPEG-4 호환 H.263 부호화 비트 스트림(126)의 내용은, 실시예 3의 도 19에 도시한 바와 같이 된다.
또 MPEG-4 호환 플래그(124)는 실시예 2의 도 18에서 설명한 바와 같이, MPEC-4 복호화 장치(128)로부터 건네 주는 것도 가능하다.
이상과 같이, 이 실시예 4에 의하면, VO 스타트 코드(231), VO 식별번호(232) 및 H.263 스타트 코드(228)를 H.263 비트 스트림(201)에 다중화하기 때문에, MPEG-4 대응의 화상 복호화 장치에서 복호 가능한 부호화 비트 스트림을 생성하는 화상 부호화 장치를 얻을 수 있다는 효과가 얻어진다.
실시예 5
이 실시예는, MPEG-4 호환을 위한 헤더 정보를 다중화하는 다중화부를 부호화 장치와는 독립하여 예를 들면 네트워크상에 가지는 것이다. 도 21은 실시예 5에 있어서의 화상 통신 시스템을 도시된 도면이다. 도면에 있어서, 141은 H.263 부호화 장치, 142는 MPEG-4 복호화 장치, 143은 부호화 비트 스트림 변환 장치이며, H.263 부호화 장치(141), MPEG-4 복호화 장치(142) 및 부호화 비트·스트림 변환 장치(143)는, 네트워크에 접속되어 있다.
다음에 동작에 대해서 설명한다.
부호화 비트 스트림 변환 장치(143)가 MPEG-4 복호화 장치(142) 또는 사용자로부터 MPEG-4 호환 H.263 부호화 비트 스트림(148)을 요구하는 MPEG-4 호환 플래그(147)를 받아들이면, 부호화 비트 스트림 변환 장치(143)는, H.263 부호화 장치(141)로부터, H.263 부호화 비트 스트림(146)을 받아들이고, 실시예 2 또는 실시예 4에서 설명한 바와 같이, MPEG-4 복호화 장치에서 복호하는 데 필요한 헤더 정보를 H.263 부호화 비트 스트림(146)에 다중화하여, MPEG-4 복호화 장치(142)에 송신한다.
이상과 같이, 이 실시예 5에 의하면, 네트워크상에 부호화 비트 스트림 변환 장치(143)를 구비하였기 때문에, H.263과, MPEG-4에서 호환성을 갖는 화상 통신 시스템을 얻을 수 있다는 효과가 얻어진다.
실시예 6
도 22는 실시예 6에 있어서의 화상 통신 시스템을 도시된 도면이다. 도면에 있어서, 141은 H.263 부호화 장치, 143은 부호화 비트 스트림 변환 장치, 144는 서버, 145는 MPEG-4 복호화 장치 내장 브라우저이고, 이들은 네트워크상에서 접속되어 있다.
다음에 동작에 대해서 설명한다.
MPEG-4 복호화 장치 내장 브라우저(145)가, 네트워크상에서 전송되는 H.263 부호화 비트 스트림(146)에 대하여 액세스하는 경우, MPEG-4 복호화 장치 내장 브라우저(145)는, 서버(144)에 MPEG-4 복호화 장치에서 복호하는 것을 나타내는 MPEG-4 호환 플래그(147)를 전송한다. 서버(144)가 MPEG-4 호환 플래그(147)를 받아들이면, H.263 부호화 비트 스트림(146)을 부호화 비트 스트림 변환 장치(143)에 전송한다.
부호화 비트 스트림 변환 장치(143)는 받아들인 H.263 비트 스트림(146)에 대하여, 실시예 2 또는 4에서 설명한 바와 같이, MPEG-4 복호화 장치에서 복호 가능하게 되도록 헤더 정보를 추가한 MPEG-4 호환 H.263 부호화 비트 스트림(148)을 생성하고, MPEG-4 복호화 장치 내장 브라우저(145)에 전송한다. MPEG-4 복호화 장치내장 브라우저(145)에서는, MPEG-4 호환 H.263 부호화 비트 스트림(148)을 받아들이는 것에 의해, H.263 부호화 비트 스트림(146)을 복호하고, 화상을 표시하는 것이 가능하다.
또한 MPEG-4 복호화 장치 내장 브라우저(145) 자체가 부호화 비트 스트림 변환 장치(143)를 내장하는 것도 가능하다. 이 경우, MPEG-4 복호화 장치 내장 브라우저(145)가 H.263 부호화 비트 스트림(146)을 서버(144)로부터 받아들이고, MPEG-4 호환 H.263 부호화 비트 스트림(148)으로 변환 후, 내장의 MPEG-4 복호화 장치에서 복호하여, 화상을 표시할 수 있다.
이상과 같이, 이 실시예 6에 의하면, 네트워크상에 부호화 비트 스트림 변환 장치와 서버를 구비하였기 때문에, H.263과, MPEG-4에서 호환성을 갖는 화상 통신시스템을 얻을 수 있다는 효과가 얻어진다.
실시예 7
실시예 1 및 실시예 3에서 설명한 화상 복호화 장치에 있어서는, H.263 비트 스트림이, 또는 MPEG-4 비트 스트림인지를 식별할 수 있다. 그러나, H.263 부호화장치에 의해서 생성되는 H.263 비트 스트림의 선두에 MPEG-4 호환을 위한 헤더 정보를 다중화할 필요가 있고, H.263 비트 스트림을 그대로 받아들일 수 없다. 실시예 7은, H.263 비트 스트림을 그대로 받아들여 복호할 수 있는 화상 복호화 장치 이다.
도 23은 실시예 7에 있어서의 헤더 정보 해석부(21)의 구성을 도시된 블록도이다. 도면에 있어서, 151은 H.263 부호화 비트 스트림에 다중화되어 있는 H.263의 픽처 스타트 코드(221)를 검출하는 H.263 픽처 스타트 코드 검출부, 152는 부호화 방식 판정부, 153은 H.263 부호화 비트 스트림에 다중화되어 있는 픽처 헤더 정보(222)에 기초하여 VOL 헤더 정보, V0P 헤더 정보를 설정하는 H.263 픽처 헤더 정보 해석부이다. 그 밖의 VO 스타트 코드 검출부(30), H.263 호환 식별정보(33), 전환부(34), H.263 GOB 헤더 정보 해석부(36), VOL 헤더 정보 복호부(37) 및 VOP 헤더 정보 해석부(38)는 실시예 1과 동등한 것이다. 또한 헤더 정보 해석부(21) 이외의 부분의 구성은, 실시예 1의 화상 복호화 장치와 동등하다.
다음에 동작에 대해서 설명한다.
H.263 픽처 스타트 코드 검출부(151)는, 도 24의 (a), 도 24의 (b)에서 도시한 부호화 비트 스트림의 시작과 끝을 항상 감시하고 있다. H.263 부호화 비트 스트림(201)의 경우는, 픽처 스타트 코드(221)로부터 매크로 블록 데이터(225)까지를, MPEG-4 부호화 비트 스트림(202)의 경우는, VO 스타트 코드(231)로부터 매크로 블록 데이터(239)까지를, 각각 1개의 부호화 비트 스트림으로서 감시한다.
H.263 부호화 비트 스트림(201)을 수신한 경우, H.263 픽처 스타트 코드 검출부(151)는, 픽처 스타트 코드(221)를 검출하고, 이 결과를 부호화 방식 판정부(152)에 출력한다. 부호화 방식 판정부(152)는, 검출된 픽처 스타트 코드(221)에 의해, 수신한 부호화 비트 스트림이 H.263 부호화 비트 스트림(201)이라고 판정하고, H.263 호환 식별정보(33)를 H.263으로 설정한다. 한편, VO 스타트 코드 검출부(30)에 의해 VO 스타트 코드(231)가 검출되면, 부호화 방식 판정부(152)는, 수신한 부호화 비트 스트림이 MPEG-4 부호화 비트 스트림(202)이라고 판정하고, H.263 호환 식별정보(33)를 MPEG-4로 설정한다.
H.263 부호화 비트 스트림(201)의 경우, 전환부(34)는, H.263 부호화 비트 스트림(201)을 H.263 픽처 헤더 정보 해석부(153)에 입력한다. H.263 픽처 헤더 정보 해석부(153)는, H.263 부호화 비트 스트림(201)에 다중화되어 있는 픽처 헤더 정보(222)를 복호하고, 실시예 1과 마찬가지로 VOL 헤더 정보, VOP 헤더 정보의 설정을 행한다. 이후의 동작에 대해서는, 실시예 1과 같다.
한편 MPEG-4 부호화 비트 스트림(202)의 경우, 전환부(34)는, MPEG-4 부호화 비트 스트림(202)을 VOL 헤더 정보 복호부(37)에 입력한다. 이후의 동작에 대해서도, 실시예 1과 같다.
이상과 같이, 이 실시예 7에 의하면, 픽처 스타트 코드(221)를 검출한 경우, H.263 부호화 비트 스트림(201)이라고 판정하고, VOL 헤더 정보와 VOP 헤더 정보를 설정하도록 하였기 때문에, H.263과, MPEG-4에서 호환성을 갖는 화상 복호화 장치를 얻을 수 있다는 효과가 얻어진다.
실시예 8
이 실시예는, 도 1의 (a)에 도시된 H.263 부호화 비트 스트림(201)을 도 1의 (b)에 도시된 MPEC-4 부호화 비트 스트림(202)으로 변환하는 부호화 비트 스트림 변환 장치에 관한 것이다.
도 25는 실시예 8에 있어서의 부호화 비트 스트림 변환 장치를 도시된 블록도이고, 도면에 있어서, 161은 H.263 부호화 비트 스트림(201)을 픽처 헤더 정보부호어(401), GOB 헤더 정보 부호어(402) 및 매크로 블록 데이터 부호어(403)로 분리하는 신택스 해석부, 162는 픽처 헤더 정보 부호어(401)를 복호하는 픽처 헤더 정보 복호부, 163은 GOB 헤더 정보 부호어(402)를 복호하는 GOB 헤더 정보 해석·변환부, 164는 VOL 헤더 정보(234) 및 VOP 헤더 정보(236)의 설정을 행하는 MPEG-4 헤더 정보 설정부, 165는 MPEG-4 부호화 비트 스트림(202)을 출력하는 다중화부이다.
다음에 동작에 대해서 설명한다.
신택스 해석부(161)는, H.263 부호화 비트 스트림(201)으로부터, 픽처 스타트 코드(221)를 검출하면, 이후에 계속되는 부호화 비트 스트림을 픽처 헤더 정보부호어(401), GOB 헤더 정보 부호어(402) 및 매크로 블록 데이터 부호어(403)로 분리하고, 픽처 헤더 정보 복호부(162), GOB 헤더 정보 해석·변환부(163) 및 다중화부(165)에 출력한다. 단 GOB 헤더 정보 부호어(402)는, 반드시 H.263 부호화 비트 스트림(201)에 다중화되어 있다고는 할 수 없으며, GOB 스타트 코드(223)가 검출된 경우에 한하여 다중화되어 있다. COB 스타트 코드(223)가 검출된 경우에는, GOB 헤더 검출정보(404)를 MPEG-4 헤더 정보 설정부(164)에 출력한다. 픽처 헤더 정보 복호부(162)는, 픽처 헤더 정보 부호어(401)를 실시예 1과 마찬가지로 복호하고, 복호한 픽처 헤더 정보(405)를 MPEG-4 헤더 정보 설정부(164)에 출력한다.
MPEG-4 헤더 정보 설정부(164)는, 복호된 픽처 헤더 정보(405)에 기초하여, 실시예 1과 마찬가지로 VOL 헤더 정보(234) 및 VOP 헤더 정보(236)의 설정을 행한다. 실시예 1에서 언급하지 않은 헤더 정보에 대해서는, IS0/IEC JTC1/SC29/WG11 MPEG-4 Video VM8.0에 개시되는 어떠한 값으로 설정하여도 좋다. 또한 GOB 헤더 검출 정보(405)를 받아들인 경우에는, 에러 내성 부호화 지시 모드를 유효로 설정한다.
실시예 1에서 언급한 바와 같이, H.263과 MPEG-4에서는 매크로 블록 데이터의 복호 처리 순서가 일부 다르다. 따라서 복호측에서는, 전환정보에 기초하여, 복호 방법을 전환할 필요가 있다. 그 때문에 이하의 전환 정보를 VOL 헤더에 설정해 둘 필요가 있다.
(1) AC 계수 VLC 테이블 전환정보
실시예 1에서 언급한 바와 같이, 부호화측에서 AC 계수 데이터를 가변 길이 부호화 할 때에 사용하는 VLC 테이블이 다른 경우에, 복호측에서 AC 계수 데이터를 가변 길이 복호하는 데 사용하는 VLD 테이블을 전환하기 위한 정보.
(2) Esc Coding 전환정보
실시예 1에서 언급한 바와 같이, 부호화측에서 AC 계수 데이터를 가변 길이 부호화 할 때에, 부호화하고자 하는 AC 계수 데이터가 VLC 테이블에 없었을 때의 부호화 방법이 다른 경우에, 복호측에서 복호방법을 전환하기 위한 정보.
(3) 인트러 DC 계수 역양자화 전환정보
실시예 1에서 언급한 바와 같이, 부호화측에서 인트러 DC 계수의 양자화 방법이 다른 경우에, DC 계수의 역양자화 방법을 전환하기 위한 정보.
또 (1) 내지 (3)의 전환정보를 종합하여, H.263에서 채용되어 있는 수법과 그 이외에서 바꾸는 정보로서, 설정하여 두는 것도 가능하다.
MPEG-4 헤더 정보 설정부(164)에 의해 설정된 MPEG-4 헤더 정보는 가변 길이 부호화되고, MPEG-4 헤더 정보 부호어(406)로서 다중화부(165)로 출력된다.
GOB 헤더 정보 해석·변환부(163)는, 실시예 1과 마찬가지로, GOB 헤더 정보부호어(402)를 복호하여, GOB 헤더 정보(224)를 MPEG-4의 표현형식인 재동기 정보(238)로 변환한다.
MPEG-4의 재동기 정보(238)는 에러 내성 강화를 위해 사용되는 정보로, VOL 헤더 정보(236)의 에러 내성 부호화 지시정보가 유효한 경우에 다중화되는 정보이다. 복호측에서는 재동기 정보(238)가 복호되면, 부호화 비트 스트림으로의 재동기가 취해지고, 매크로 블록 복호 시에 사용되는 예측 벡터 양자화 스텝 사이즈의 재설정을 행한다. 또 H.263에는, GOB 헤더 정보(224)가 복호되면 예측 벡터와 양자화 스텝 사이즈의 재설정을 행하고 있다. 그래서 GOB 헤더 정보(224)를 재동기 보(238)에 의해 변환하는 것에 의해, GOB 헤더 정보(224)를 MPEG-4의 표현형식으로 변환할 수 있다.
도 26은 GOB 헤더 정보(224) 및 재동기 정보(238)의 구조를 도시된 도면이다. 재동기 정보(238)에 있어서의 매크로 블록번호(271)는, VOP 내에서의 매크로 블록의 위치를 나타내는 번호이다. 따라서 받아들인 H.263 매크로 블록 데이터에 대응하는 매크로 블록의 픽처내에서의 위치를 산출하면 좋다. 이것은 GOB 내에서 선두의 매크로 블록이 되기 때문에, GOB 번호로부터 산출할 수 있다. 양자화 스케일(272)은, COB 양자화 스텝 사이즈를 설정하면 좋다. 헤더 확장 지시 코드(273)는 "1"의 경우에 시간 기준점(274) 및 VOP 경과시간(275)이 다중화된다. 이들 정보는 각 VOP를 표시할 때에 사용되는 것으로, 필요에 따라서 헤더 확장지시 코드(273)를 "1"에 설정하고, 시간 기준점(274), VOP 경과시간(275)의 설정을 행하면 좋다. 재동기 정보(238)는 가변 길이 부호화되고, 재동기 정보(238)가 다중화되어 있는 것을 나타내기 위한 고정 길이의 독특한 코드인 재동기 지시 코드를 부가한 재동기 정보 부호어(407)를 다중화부(165)에 출력한다.
다중화부(165)는, MPEG-4 헤더 정보 부호어(406), 재동기 정보 부호어(407), 매크로 블록 데이터 부호어(403)를 부호화 비트 스트림에 다중화하여, MPEG-4 부호화 비트 스트림(202)을 출력한다.
이 실시예에서는, 재동기 정보는, VOL헤더 정보(234)의 에러 내성 부호화 지시 정보가 유효한 경우에 다중화되는 정보라고 하였지만, 에러 내성 부호화 지시 정보의 유효, 무효에 관계없이 다중화할 수도 있다.
또 H.263 부호화 비트 스트림(201)에 있어서, 매크로 블록 데이터(225)의 뒤에 시퀀스 종료 코드(227)가 부가되어 있는 경우, 신택스 해석부(161)는, 시퀀스 종료 코드(227)를 검출하면 해석을 종료한다.
이상과 같이, 이 실시예에 의하면, H.263 부호화 비트 스트림(201)을 MPEG-4 부호화 비트 스트림(202)으로 변환하기 때문에, MPEG-4의 화상 복호화 장치에서 H.263 부호화 비트 스트림을 복호할 수 있다는 효과가 얻어진다.
실시예 9
실시예 7에서는, 도 23에 있어서, H.263 픽처 스타트 코드 검출부(151)가 픽처 스타트 코드(221)를 검출한 경우, 부호화 방식 판정부(152)가 H.263 부호화 비트 스트림(201)이라고 판정하고, H.263 픽처 헤더 정보 해석부(153)가 VOL 헤더 정보와 VOP 헤더 정보를 설정하도록 하였지만, 본 실시예에서는, H.263 픽처 헤더 정보 해석부(153)에 포함되어 있는 도 6에 있어서의 H.263 픽처 헤더 정보 복호부(42)에서 복호된 픽처 헤더 정보(222)에 기초하여, 매크로 블록 레이어 신택스 해석부(22)의 동작을 바꾼다. 이 때, MPEG-4 헤더 정보 설정부(43)는 불필요하다. 또한, 실시예 7에서는, 도 8에 있어서의 GOB 스타트 코드 검출부(61)가, H.263 부호화 비트 스트림(201)중에 GOB 스타트 코드(223)를 검출한 경우, C0B 헤더 정보 복호부(62)가 GOB 헤더 정보(224)를 복호하고, MPEG-4 헤더 정보 변경부(63)에서, VOP 헤더 정보(236)에 포함되는 VOP 양자화 스텝 사이즈의 재설정을 행하였다. 본 실시예에서는, H.263 부호화 비트 스트림(201)을 복호하는 경우, 픽처 헤더 정보(222)를 사용하여, 매크로 블록 데이터의 복호를 행하기 위해서, 픽처 헤더 정보(222)에 포함되는 픽처 양자화 스텝 사이즈(304)의 재설정을 행하면 좋다.
다음에 H.263 픽처 헤더 정보 복호부(42)에서 복호된 픽처 헤더 정보(222)에 기초하여, 매크로 블록 데이터의 복호를 행할 때의 매크로 블록 레이어 신택스 해석부(22)의 동작에 대해서 설명한다.
본 실시예에서는, 도 12의 매크로 블록 레이어 신택스 해석부의 전환부(81, 83, 88, 95)의 동작과, 가산부(94)의 동작과, 움직임 벡터 복호부(97)의 동작과, 도 13의 블록 데이터 복호부(98)의 전환부(102)의 동작만이 다르기 때문에, 이 부분에 대해서만 설명한다.
전환부(81)는, MPEG-4 부호화 비트 스트림(202)을 복호하고 있는 경우, 즉, 도 23에 있어서의 부호화 방식 판정부(152)에서 설정된 H.263 호환 식별정보(33)가 MPEG-4를 나타내고 있는 경우에는, VOL 헤더 정보 복호부(37)에서 복호된 형상 정보에 의해, 전환된다. H.263 부호화 비트 스트림(201)을 복호하고 있는 경우, 즉, H.263 호환 식별정보(33)가 H.263을 나타내고 있는 경우에는, 무조건적으로 비트 스트림(1)은 형상 부호화 데이터 복호부(82)를 통하지 않고서, 전환부(83)에 입력된다.
전환부(83)는, MPEG-4 부호화 비트 스트림(202)을 복호하고 있는 경우에는, VOP 헤더 정보 해석부(38)에서 복호된 VOP 예측 타입에 의해, 전환된다. H.263 부호화 비트 스트림(201)을 복호하고 있는 경우에는, H.263 픽처 헤더 정보 복호부(42)에서 복호된 픽처 부호화 타입(302)에 의해 전환된다. 전환의 동작에 대해서는, 실시예 1과 같고, 픽처 부호화 타입(302)을 인트러나, 그 이외로 전환해도 된다.
전환부(88)는, MPEG-4 부호화 비트 스트림(202)을 복호하고 있는 경우에는, VOL 헤더 정보 복호부(37)에서 복호된 인트러 AC/DC 예측 지시 정보에 의해, 전환된다. H.263 부호화 비트 스트림(201)을 복호하고 있는 경우, 즉, H.263 호환 식별정보(33)가 H.263을 나타내고 있는 경우에는, 무조건으로 비트 스트림(1)은 AC 예측 지시 정보 복호부(89)를 통하지 않고서, 유효 블록 식별정보 복호부(9O)에 입력된다.
가산부(94)는, MPEG-4 부호화 비트 스트림(202)을 복호하고 있는 경우에는, 복호된 차분 양자화 스텝 사이즈(254)에, 1개 앞에 복호된 매크로 블록의 VOP 양자화 스텝 사이즈를 가산하여, 양자화 스텝 사이즈로서 출력한다. H.263 부호화 비트 스트림(201)을 복호하고 있는 경우에는, 복호된 차분 양자화 스텝 사이즈(254)에, 1개 앞에 복호된 매크로 블록의 픽처 양자화 스텝 사이즈를 가산하여, 양자화 스텝 사이즈로서 출력한다.
전환부(95)는, MPEG-4 부호화 비트 스트림(202)을 복호하고 있는 경우에는, VOP 헤더 정보 해석부(38)에서 복호된 인터레이스 모드 지시정보에 의해, 전환된다. H.263 부호화 비트 스트림(201)을 복호하고 있는 경우, 즉, H.263 호환 식별정보(33)가 H.263을 나타내고 있는 경우에는, 무조건으로 비트 스트림(1)은 인터레이스 정보 복호부(96)를 통하지 않고서, 움직임 벡터 복호부(97)에 입력된다.
움직임 벡터복호부(97)는, MPEG-4 부호화 비트 스트림(202)을 복호하고 있는 경우에는, VOP 헤더 정보 해석부(38)에서 복호된 움직임 벡터 탐색 범위 지정정보에 기초하여, 움직임 벡터(텍스처 움직임 데이터(7))를 복호한다. H.263 비트 스트림을 복호하고 있는 경우에는, H.263에서 정해져 있는 움직임 벡터 탐색 범위에 기초하여, 움직임 벡터(텍스처 움직임 데이터(7))를 복호한다.
블록 데이터 복호부(98)의 전환부(102)는, MPEG-4 부호화 비트 스트림(202)을 복호하고 있는 경우에는, VOL 헤더 정보 복호부(37)에서 복호된 인트러 AC/DC 예측·모드 지시정보에 의해 전환된다. H.263 부호화 비트 스트림(201)을 복호하고 있는 경우, 즉, H.263 호환 식별정보(33)가 H.263을 나타내고 있는 경우에는, 무조건으로 비트 스트림(1)은 DC 계수 고정 길이 복호부(103)에 입력된다. 이것 이후의 동작은, 실시예 1과 같다.
이상과 같이, 이 실시예 9에 의하면, 픽처 스타트 코드(221)를 검출한 경우, H.263 부호화 비트 스트림(201)이라고 판정하여, 픽처 헤더 정보(222)를 복호하고, 복호한 픽처 헤더 정보(222)에 의해, 매크로 블록 데이터의 복호를 행하도록 하였기 때문에, VOL 헤더 정보와 VOP 헤더 정보를 설정하지 않고서, H.263과, MPEG-4로 호환성을 갖는 화상 부호화 장치를 얻을 수 있다는 효과가 얻어진다.
이상과 같이, 본 발명에 관한 화상 복호화 장치, 화상 부호화 장치, 화상 통신 시스템 및 부호화 비트 스트림 변환 장치는, 부호화 방식이 다른 부호화 비트 스트림이라도, 간단한 구성으로 송수신을 행할 수 있다.

Claims (1)

  1. 제 1 부호화 방식으로 생성된 제 1 부호화 비트 스트림을 입력하고, 상기 제 1 부호화 방식의 제 1 헤더 정보와, 화상 부호화 데이터를 분리하는 신택스 해석 수단과, 분리된 상기 제 1 헤더 정보를 복호하는 복호 수단과, 상기 복호 수단에 의해 복호된 제 1 헤더 정보에 기초하여, 제 2 부호화 방식의 제 2 헤더 정보를 설정하여 부호화하는 헤더 정보 설정 수단과, 상기 신택스 해석 수단이 분리한 상기 화상 부호화 데이터와, 상기 헤더 정보 설정 수단이 부호화한 상기 제 2 헤더 정보를 다중화하여, 제 2 부호화 비트 스트림을 생성하는 다중화 수단을 구비하는 것을 특징으로 하는 부호화 비트 스트림 변환 장치.
KR10-2003-7003943A 1997-10-23 1997-10-23 화상 복호화 장치 KR100487986B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP1997/003846 WO1999022524A1 (en) 1997-10-23 1997-10-23 Image decoder, image encoder, image communication system, and encoded bit stream converter

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020007004314A Division KR20010031320A (ko) 1997-10-23 1997-10-23 화상 복호화 장치, 화상 부호화 장치, 화상 통신 시스템및 부호화 비트 스트림 변환장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR10-2004-7005173A Division KR100487988B1 (ko) 1997-10-23 1997-10-23 부호화 비트 스트림 변환 장치

Publications (2)

Publication Number Publication Date
KR20030051659A true KR20030051659A (ko) 2003-06-25
KR100487986B1 KR100487986B1 (ko) 2005-05-09

Family

ID=14181361

Family Applications (7)

Application Number Title Priority Date Filing Date
KR10-2004-7005173A KR100487988B1 (ko) 1997-10-23 1997-10-23 부호화 비트 스트림 변환 장치
KR10-2004-7017024A KR100511693B1 (ko) 1997-10-23 1997-10-23 화상 복호화 장치
KR10-2004-7008424A KR100487989B1 (ko) 1997-10-23 1997-10-23 화상 복호화 장치 및 화상 부호화 장치
KR10-2004-7017022A KR100533443B1 (ko) 1997-10-23 1997-10-23 화상 부호화 장치
KR10-2004-7017023A KR100531566B1 (ko) 1997-10-23 1997-10-23 화상 복호화 장치
KR1020007004314A KR20010031320A (ko) 1997-10-23 1997-10-23 화상 복호화 장치, 화상 부호화 장치, 화상 통신 시스템및 부호화 비트 스트림 변환장치
KR10-2003-7003943A KR100487986B1 (ko) 1997-10-23 1997-10-23 화상 복호화 장치

Family Applications Before (6)

Application Number Title Priority Date Filing Date
KR10-2004-7005173A KR100487988B1 (ko) 1997-10-23 1997-10-23 부호화 비트 스트림 변환 장치
KR10-2004-7017024A KR100511693B1 (ko) 1997-10-23 1997-10-23 화상 복호화 장치
KR10-2004-7008424A KR100487989B1 (ko) 1997-10-23 1997-10-23 화상 복호화 장치 및 화상 부호화 장치
KR10-2004-7017022A KR100533443B1 (ko) 1997-10-23 1997-10-23 화상 부호화 장치
KR10-2004-7017023A KR100531566B1 (ko) 1997-10-23 1997-10-23 화상 복호화 장치
KR1020007004314A KR20010031320A (ko) 1997-10-23 1997-10-23 화상 복호화 장치, 화상 부호화 장치, 화상 통신 시스템및 부호화 비트 스트림 변환장치

Country Status (7)

Country Link
US (16) US6862320B1 (ko)
EP (1) EP1032219B1 (ko)
JP (1) JP3573759B2 (ko)
KR (7) KR100487988B1 (ko)
DE (1) DE69721847T2 (ko)
HK (1) HK1030705A1 (ko)
WO (1) WO1999022524A1 (ko)

Families Citing this family (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100487988B1 (ko) * 1997-10-23 2005-05-09 미쓰비시덴키 가부시키가이샤 부호화 비트 스트림 변환 장치
JP3860323B2 (ja) * 1997-10-27 2006-12-20 三菱電機株式会社 画像復号化装置、画像復号化方法
US6636222B1 (en) * 1999-11-09 2003-10-21 Broadcom Corporation Video and graphics system with an MPEG video decoder for concurrent multi-row decoding
GB2362533A (en) * 2000-05-15 2001-11-21 Nokia Mobile Phones Ltd Encoding a video signal with an indicator of the type of error concealment used
JP2002034021A (ja) * 2000-07-14 2002-01-31 Mitsubishi Electric Corp 画像信号蓄積再生装置および画像信号送信装置
FR2828614A1 (fr) * 2001-08-07 2003-02-14 Koninkl Philips Electronics Nv Methode de codage et de decodage video pour pallier les pertes de donnees dans un signal video code transmis sur un canal
US8275047B2 (en) * 2001-09-20 2012-09-25 Xilinx, Inc. Method and device for block-based conditional motion compensation
FR2831016A1 (fr) * 2001-10-11 2003-04-18 Thomson Licensing Sa Procede et dispositif de decodage de donnees video codees selon la norme mpeg
JP4130783B2 (ja) 2002-04-23 2008-08-06 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
WO2003098939A1 (en) * 2002-05-22 2003-11-27 Matsushita Electric Industrial Co., Ltd. Moving image encoding method, moving image decoding method, and data recording medium
CN101141651B (zh) * 2002-11-25 2010-11-10 松下电器产业株式会社 动态补偿方法、图像编码方法及图像解码方法
KR100522595B1 (ko) * 2002-11-29 2005-10-19 삼성전자주식회사 엠펙 비디오 복호화방법 및 엠펙 비디오 복호화기
KR100604032B1 (ko) * 2003-01-08 2006-07-24 엘지전자 주식회사 복수 코덱을 지원하는 장치와 방법
DE20301518U1 (de) * 2003-01-31 2003-06-18 Trw Repa Gmbh Gurtspule für einen Sicherheitsgurtaufroller
US20060251168A1 (en) * 2003-04-04 2006-11-09 Koninklijke Philips Electronics N.V. Video encoding and decoding methods and corresponding devices
JP2006525722A (ja) * 2003-05-06 2006-11-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ符号化及び復号化方法、並びに対応する符号化及び復号化装置
KR100566191B1 (ko) * 2003-07-30 2006-03-29 삼성전자주식회사 H.263 멀티미디어 칩을 이용한 엠펙-4 부호화기
US20050100098A1 (en) * 2003-10-23 2005-05-12 Gong-Sheng Lin Highly integrated mpeg-4 video decoding unit
JP4238720B2 (ja) * 2003-12-19 2009-03-18 ソニー株式会社 画像信号の処理装置および処理方法、画像信号の処理基板、画像信号処理システム、並びにプログラムおよびそれを記録した媒体
KR100619822B1 (ko) 2003-12-24 2006-09-13 엘지전자 주식회사 영상처리 장치 및 방법
KR20050078099A (ko) * 2004-01-30 2005-08-04 삼성전자주식회사 적응적으로 키 프레임을 삽입하는 비디오 코딩 장치 및 방법
CN101023637B (zh) * 2004-07-22 2010-12-29 韩国电子通信研究院 简单聚合格式同步层分组结构及其服务器系统
US8149922B2 (en) 2004-10-22 2012-04-03 Humax Co., Ltd. Device and method for merging different video codec
US8422546B2 (en) 2005-05-25 2013-04-16 Microsoft Corporation Adaptive video encoding using a perceptual model
WO2007011116A1 (en) * 2005-07-20 2007-01-25 Humax Co., Ltd. Encoder and decoder
JP4542107B2 (ja) * 2005-07-22 2010-09-08 三菱電機株式会社 画像復号装置及び画像復号方法
US8509551B2 (en) * 2005-07-22 2013-08-13 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recording with image encoding program and computer readable recording medium recorded with image decoding program
US8488889B2 (en) * 2005-07-22 2013-07-16 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US7822278B1 (en) * 2005-09-20 2010-10-26 Teradici Corporation Methods and apparatus for encoding a digital video signal
KR100723411B1 (ko) * 2005-09-08 2007-05-30 삼성전자주식회사 멀티 코덱용 변환 장치 및 방법과 멀티 코덱용 역변환 장치및 방법
KR100654601B1 (ko) * 2005-10-06 2006-12-08 주식회사 휴맥스 통합 코덱 장치 및 방법
ZA200805337B (en) 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
KR101232780B1 (ko) * 2006-01-12 2013-09-03 (주)휴맥스 통합 코덱 장치 및 방법
CN101336454B (zh) * 2006-03-06 2011-04-13 三菱电机株式会社 压缩编码数据重放装置和该装置的压缩编码数据的解码/重放方法
DE102006012449A1 (de) * 2006-03-17 2007-09-20 Benq Mobile Gmbh & Co. Ohg Verfahren zum Dekodieren eines Datenstroms und Empfänger
KR100767606B1 (ko) * 2006-03-31 2007-10-18 주식회사 휴맥스 통합 코덱 장치 및 방법
WO2007114586A1 (en) * 2006-03-31 2007-10-11 Humax Co., Ltd. Device and method for unified codecs
US8130828B2 (en) * 2006-04-07 2012-03-06 Microsoft Corporation Adjusting quantization to preserve non-zero AC coefficients
US8059721B2 (en) 2006-04-07 2011-11-15 Microsoft Corporation Estimating sample-domain distortion in the transform domain with rounding compensation
US7974340B2 (en) * 2006-04-07 2011-07-05 Microsoft Corporation Adaptive B-picture quantization control
US7995649B2 (en) * 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
US8503536B2 (en) * 2006-04-07 2013-08-06 Microsoft Corporation Quantization adjustments for DC shift artifacts
US20070237237A1 (en) * 2006-04-07 2007-10-11 Microsoft Corporation Gradient slope detection for video compression
US8711925B2 (en) * 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
JP2007306317A (ja) * 2006-05-11 2007-11-22 Nec Corp メディアモニタシステムおよびメディアモニタ方法
KR100841558B1 (ko) * 2006-10-18 2008-06-26 주식회사 휴맥스 계층 구조를 이용한 디코딩 방법 및 장치
US8315466B2 (en) * 2006-12-22 2012-11-20 Qualcomm Incorporated Decoder-side region of interest video processing
US8238424B2 (en) * 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
KR100902007B1 (ko) * 2007-02-28 2009-06-11 삼성전자주식회사 비디오 스트림 처리 장치
US8498335B2 (en) * 2007-03-26 2013-07-30 Microsoft Corporation Adaptive deadzone size adjustment in quantization
US20080240257A1 (en) * 2007-03-26 2008-10-02 Microsoft Corporation Using quantization bias that accounts for relations between transform bins and quantization bins
US8243797B2 (en) * 2007-03-30 2012-08-14 Microsoft Corporation Regions of interest for quality adjustments
KR101305491B1 (ko) * 2007-04-17 2013-09-17 (주)휴맥스 비트스트림 디코딩 장치 및 방법
US8442337B2 (en) * 2007-04-18 2013-05-14 Microsoft Corporation Encoding adjustments for animation content
EP2073556A4 (en) * 2007-04-23 2012-01-25 Panasonic Corp DECODING CIRCUIT, DECODING METHOD AND IMAGE PLAYING DEVICE
US8331438B2 (en) * 2007-06-05 2012-12-11 Microsoft Corporation Adaptive selection of picture-level quantization parameters for predicted video pictures
US8422803B2 (en) * 2007-06-28 2013-04-16 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
US8189933B2 (en) * 2008-03-31 2012-05-29 Microsoft Corporation Classifying and controlling encoding quality for textured, dark smooth and smooth video content
US8005152B2 (en) 2008-05-21 2011-08-23 Samplify Systems, Inc. Compression of baseband signals in base transceiver systems
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
JP2010033125A (ja) * 2008-07-25 2010-02-12 Hitachi Ltd ストレージ装置及びデータ転送方法
KR20110091000A (ko) * 2008-11-07 2011-08-10 미쓰비시덴키 가부시키가이샤 화상 부호화 장치 및 화상 복호 장치
CN101742324A (zh) * 2008-11-14 2010-06-16 北京中星微电子有限公司 视频编解码方法、视频编解码系统及编解码器
KR100968374B1 (ko) 2008-11-14 2010-07-09 주식회사 코아로직 헤더 정보 정렬에 의한 데이터의 처리방법, 데이터 자료의 처리장치, 및 그 처리장치를 포함한 데이터 처리장비
US8588295B2 (en) * 2009-03-09 2013-11-19 Mediatek Inc. Methods and electronic devices for quantization and de-quantization
US9774875B2 (en) * 2009-03-10 2017-09-26 Avago Technologies General Ip (Singapore) Pte. Ltd. Lossless and near-lossless image compression
CN102055966B (zh) * 2009-11-04 2013-03-20 腾讯科技(深圳)有限公司 一种媒体文件的压缩方法和系统
US8407557B2 (en) * 2009-12-03 2013-03-26 Osocad Remote Limited Liability Company System, method and computer readable medium for communication of encoded messages
US8649388B2 (en) 2010-09-02 2014-02-11 Integrated Device Technology, Inc. Transmission of multiprotocol data in a distributed antenna system
US9020033B2 (en) * 2010-11-04 2015-04-28 Nice-Systems Ltd. System and method for enhancing compression using skip macro block on a compressed video
JP2012124653A (ja) * 2010-12-07 2012-06-28 Canon Inc 符号化装置、符号化方法およびプログラム
MX2013008691A (es) 2011-02-10 2013-08-21 Panasonic Corp Metodo de codificacion de imagenes en movimiento, aparato de codificacion de imagenes en movimiento, metodo de decodificacion de imagenes en movimiento, aparato de decodificacion de imagenes en movimiento y aparato de codificacion y decodificacion de imagenes en movimiento.
JP5982806B2 (ja) * 2011-12-13 2016-08-31 富士通株式会社 電子透かし埋め込み装置、電子透かし埋め込み方法及び電子透かし検出装置
US20130170543A1 (en) * 2011-12-30 2013-07-04 Ning Lu Systems, methods, and computer program products for streaming out of data for video transcoding and other applications
US9369149B1 (en) 2012-05-03 2016-06-14 Integrated Device Technology, Inc. Method and apparatus for efficient baseband unit processing in a communication system
US9203933B1 (en) 2013-08-28 2015-12-01 Integrated Device Technology, Inc. Method and apparatus for efficient data compression in a communication system
US9553954B1 (en) 2013-10-01 2017-01-24 Integrated Device Technology, Inc. Method and apparatus utilizing packet segment compression parameters for compression in a communication system
US8989257B1 (en) 2013-10-09 2015-03-24 Integrated Device Technology Inc. Method and apparatus for providing near-zero jitter real-time compression in a communication system
US9398489B1 (en) 2013-10-09 2016-07-19 Integrated Device Technology Method and apparatus for context based data compression in a communication system
US9485688B1 (en) 2013-10-09 2016-11-01 Integrated Device Technology, Inc. Method and apparatus for controlling error and identifying bursts in a data compression system
US10116943B2 (en) * 2013-10-16 2018-10-30 Nvidia Corporation Adaptive video compression for latency control
US9313300B2 (en) 2013-11-07 2016-04-12 Integrated Device Technology, Inc. Methods and apparatuses for a unified compression framework of baseband signals
JP6052319B2 (ja) * 2015-03-25 2016-12-27 Nttエレクトロニクス株式会社 動画像符号化装置
WO2019017362A1 (ja) * 2017-07-20 2019-01-24 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN116158079A (zh) * 2020-07-27 2023-05-23 北京达佳互联信息技术有限公司 用于视频编解码的加权ac预测

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3070110B2 (ja) * 1991-02-27 2000-07-24 日本電気株式会社 動画像信号の伝送システム
JPH06125539A (ja) 1992-10-14 1994-05-06 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置
JPH0730763A (ja) * 1993-07-07 1995-01-31 Hitachi Ltd ストレージメディアの画像符号化装置並びに復号化装置
NL9301358A (nl) 1993-08-04 1995-03-01 Nederland Ptt Transcodeerinrichting.
US5452006A (en) * 1993-10-25 1995-09-19 Lsi Logic Corporation Two-part synchronization scheme for digital video decoders
JP2862064B2 (ja) * 1993-10-29 1999-02-24 三菱電機株式会社 データ復号装置及びデータ受信装置及びデータ受信方法
JPH07143475A (ja) * 1993-11-12 1995-06-02 Hitachi Ltd 画像データ変換システム
JP3164971B2 (ja) * 1994-07-15 2001-05-14 日本電気株式会社 画像再生装置
JPH0879758A (ja) * 1994-08-31 1996-03-22 Fujitsu Ltd 動き補償予測器
US5566089A (en) 1994-10-26 1996-10-15 General Instrument Corporation Of Delaware Syntax parser for a video decompression processor
US5629736A (en) 1994-11-01 1997-05-13 Lucent Technologies Inc. Coded domain picture composition for multimedia communications systems
US5473376A (en) * 1994-12-01 1995-12-05 Motorola, Inc. Method and apparatus for adaptive entropy encoding/decoding of quantized transform coefficients in a video compression system
DE69631393T2 (de) * 1995-03-29 2004-10-21 Hitachi Ltd Dekoder für komprimierte und multiplexierte Bild- und Audiodaten
JPH08268655A (ja) 1995-03-31 1996-10-15 Mitsubishi Electric Corp リニアモータエレベータの制御装置
JPH08298655A (ja) 1995-04-27 1996-11-12 Fujitsu Ltd Tv会議/ビデオ・オン・デマンド自動切替方法及び装置
TW303570B (ko) * 1995-09-29 1997-04-21 Matsushita Electric Ind Co Ltd
JP3258217B2 (ja) 1995-10-25 2002-02-18 シャープ株式会社 符号化/復号化の方法及びその装置
KR100211916B1 (ko) * 1995-10-26 1999-08-02 김영환 물체 모양정보 부호화에서의 부호화타입과 모드의 결정방법
JPH09139937A (ja) * 1995-11-14 1997-05-27 Fujitsu Ltd 動画ストリーム変換装置
KR0157570B1 (ko) * 1995-11-24 1999-02-18 김광호 복수경로를 통해 mpeg2 비트열을 복호하는 복호화장치
DE19547707A1 (de) * 1995-12-20 1997-07-03 Thomson Brandt Gmbh Verfahren, Encoder und Decoder zur Übertragung von hierarchisch in mehrere Teile gegliederten digitalen Signalen
DE69606441T2 (de) * 1996-04-18 2000-06-15 Nokia Mobile Phones Ltd Videodatenkodierer und -dekodierer
US5793314A (en) * 1996-07-03 1998-08-11 Motorola, Inc. Method and apparatus for bound-based adaptive entropy encoding/decoding
US5790706A (en) * 1996-07-03 1998-08-04 Motorola, Inc. Method and apparatus for scanning of transform coefficients
US6055330A (en) * 1996-10-09 2000-04-25 The Trustees Of Columbia University In The City Of New York Methods and apparatus for performing digital image and video segmentation and compression using 3-D depth information
US6614845B1 (en) * 1996-12-24 2003-09-02 Verizon Laboratories Inc. Method and apparatus for differential macroblock coding for intra-frame data in video conferencing systems
JP2933133B2 (ja) * 1997-01-28 1999-08-09 日本電気株式会社 ディジタル映像信号多重方式および分離方式
US6002803A (en) * 1997-03-11 1999-12-14 Sharp Laboratories Of America, Inc. Methods of coding the order information for multiple-layer vertices
JP3191922B2 (ja) * 1997-07-10 2001-07-23 松下電器産業株式会社 画像復号化方法
US6400400B1 (en) * 1997-07-30 2002-06-04 Sarnoff Corporation Method and apparatus for automated testing of a video decoder
KR100487988B1 (ko) * 1997-10-23 2005-05-09 미쓰비시덴키 가부시키가이샤 부호화 비트 스트림 변환 장치
US6768775B1 (en) * 1997-12-01 2004-07-27 Samsung Electronics Co., Ltd. Video CODEC method in error resilient mode and apparatus therefor
US6028639A (en) * 1997-12-19 2000-02-22 Thomson Consumer Electronics, Inc. Process and apparatus for converting an MPEG-2 bitstream into SMPTE-259 compatible bitstream
US6611624B1 (en) * 1998-03-13 2003-08-26 Cisco Systems, Inc. System and method for frame accurate splicing of compressed bitstreams
US6104757A (en) * 1998-05-15 2000-08-15 North Carolina State University System and method of error control for interactive low-bit rate video transmission
US6775325B1 (en) * 1998-10-07 2004-08-10 Sarnoff Corporation Method and apparatus for converting the bitrate of an encoded bitstream without full re-encoding
GB9908809D0 (en) * 1999-04-16 1999-06-09 Sony Uk Ltd Signal processor
JP2001148858A (ja) * 1999-11-18 2001-05-29 Sony Corp 画像情報変換装置及び画像情報変換方法
KR20010092795A (ko) * 1999-11-23 2001-10-26 요트.게.아. 롤페즈 엠피이지 비디오 스트림의 시임리스 스위칭
US6925097B2 (en) * 2000-03-29 2005-08-02 Matsushita Electric Industrial Co., Ltd. Decoder, decoding method, multiplexer, and multiplexing method
KR100433516B1 (ko) * 2000-12-08 2004-05-31 삼성전자주식회사 트랜스코딩 방법
US6765966B2 (en) * 2000-12-19 2004-07-20 General Instrument Corporation Methods and apparatus for re-encoding a high definition television signal to create a standard definition television signal
GB2372657B (en) * 2001-02-21 2005-09-21 Sony Uk Ltd Signal processing
US6925501B2 (en) * 2001-04-17 2005-08-02 General Instrument Corporation Multi-rate transcoder for digital streams
US7123655B2 (en) * 2001-08-09 2006-10-17 Sharp Laboratories Of America, Inc. Method for reduced bit-depth quantization
US6629736B2 (en) * 2001-10-30 2003-10-07 Hayes Lemmerz International, Inc. Fabricated vehicle wheel
US6763068B2 (en) * 2001-12-28 2004-07-13 Nokia Corporation Method and apparatus for selecting macroblock quantization parameters in a video encoder
US7092448B2 (en) * 2002-05-24 2006-08-15 Koninklijke Philips Electronics N.V. Method and system for estimating no-reference objective quality of video data
KR100604032B1 (ko) * 2003-01-08 2006-07-24 엘지전자 주식회사 복수 코덱을 지원하는 장치와 방법

Also Published As

Publication number Publication date
US8031781B2 (en) 2011-10-04
DE69721847D1 (de) 2003-06-12
KR20040106373A (ko) 2004-12-17
KR100487988B1 (ko) 2005-05-09
KR20040099465A (ko) 2004-11-26
US8045623B2 (en) 2011-10-25
US20050141610A1 (en) 2005-06-30
KR100533443B1 (ko) 2005-12-06
EP1032219B1 (en) 2003-05-07
US8054889B2 (en) 2011-11-08
US20080056385A1 (en) 2008-03-06
KR100511693B1 (ko) 2005-09-02
US6862320B1 (en) 2005-03-01
US7469009B2 (en) 2008-12-23
US20080063057A1 (en) 2008-03-13
US7469008B2 (en) 2008-12-23
US20080063086A1 (en) 2008-03-13
US20080056359A1 (en) 2008-03-06
KR20040054816A (ko) 2004-06-25
KR100487986B1 (ko) 2005-05-09
US20080063088A1 (en) 2008-03-13
US8036278B2 (en) 2011-10-11
HK1030705A1 (en) 2001-05-11
US8045617B2 (en) 2011-10-25
WO1999022524A1 (en) 1999-05-06
US20080056360A1 (en) 2008-03-06
KR20010031320A (ko) 2001-04-16
US8040955B2 (en) 2011-10-18
KR20050010766A (ko) 2005-01-28
US8036277B2 (en) 2011-10-11
EP1032219A1 (en) 2000-08-30
US20100118976A1 (en) 2010-05-13
US20080056590A1 (en) 2008-03-06
US8036279B2 (en) 2011-10-11
US20080101475A1 (en) 2008-05-01
DE69721847T2 (de) 2004-03-11
EP1032219A4 (en) 2001-08-16
US20060013301A1 (en) 2006-01-19
US8155187B2 (en) 2012-04-10
US20080063053A1 (en) 2008-03-13
US20100118975A1 (en) 2010-05-13
US8040956B2 (en) 2011-10-18
KR100531566B1 (ko) 2005-11-29
KR100487989B1 (ko) 2005-05-09
US20060013494A1 (en) 2006-01-19
US8005143B2 (en) 2011-08-23
US7720149B2 (en) 2010-05-18
KR20040049319A (ko) 2004-06-11
US20100118936A1 (en) 2010-05-13
JP3573759B2 (ja) 2004-10-06
US8045624B2 (en) 2011-10-25

Similar Documents

Publication Publication Date Title
KR100487988B1 (ko) 부호화 비트 스트림 변환 장치
EP1565004A1 (en) Video bit stream decoder
JP3910594B2 (ja) 画像符号化装置
JP4350796B2 (ja) 画像符号化装置およびビットストリーム生成装置
JP3993212B2 (ja) 画像復号化装置
JP3993213B2 (ja) 画像復号化装置
JP4260193B2 (ja) 画像復号化装置
JP4350761B2 (ja) 画像復号化装置
JP4260194B2 (ja) 画像復号化装置
JP4260191B2 (ja) 画像復号化装置
JP4350760B2 (ja) 画像復号化装置
JP4260195B2 (ja) 画像復号化装置
JP4260192B2 (ja) 画像復号化装置
JP4350759B2 (ja) 画像復号化装置
EP1988716A2 (en) Image decoding apparatus

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130404

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20140401

Year of fee payment: 10

EXPY Expiration of term