KR100312791B1 - 화상부호화장치및방법,화상복호화장치및방법과화상전송방법 - Google Patents

화상부호화장치및방법,화상복호화장치및방법과화상전송방법 Download PDF

Info

Publication number
KR100312791B1
KR100312791B1 KR1019980027767A KR19980027767A KR100312791B1 KR 100312791 B1 KR100312791 B1 KR 100312791B1 KR 1019980027767 A KR1019980027767 A KR 1019980027767A KR 19980027767 A KR19980027767 A KR 19980027767A KR 100312791 B1 KR100312791 B1 KR 100312791B1
Authority
KR
South Korea
Prior art keywords
signal
coded
image
shape
decoding
Prior art date
Application number
KR1019980027767A
Other languages
English (en)
Other versions
KR19990013748A (ko
Inventor
충 셍 분
Original Assignee
모리시타 요이찌
마쯔시다덴기산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모리시타 요이찌, 마쯔시다덴기산교 가부시키가이샤 filed Critical 모리시타 요이찌
Publication of KR19990013748A publication Critical patent/KR19990013748A/ko
Application granted granted Critical
Publication of KR100312791B1 publication Critical patent/KR100312791B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/507—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction using conditional replenishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

본 발명에 따르면, 형상 신호 및 텍스쳐 신호를 화상 정보로서 포함하는 임의 형상 화상 신호의 부호화 신호(Ep)를 복호화하는 화상 복호화 장치(100b)에 있어서, 형상 신호만을 화상 정보로서 포함하는 2치 화상 신호의 부호화 신호(E2)를 복호화할 수 있도록 하고, 또한 2치 화상 신호의 부호화시에 그 형상 부호화 비트열에 의사적인 텍스쳐 부호화 비트열을 부가할 필요가 없도록 함으로써, 부호량을 억제할 수 있다.
그 데이터 구조에 따른 화상 식별자를 갖는 화상 부호화 신호를 상기 화상 식별자를 참조하여 해석하는 데이터 해석기(160)를 구비하여, 형상 부호화 비트열과 화소값 부호화 비트열을 표시용 데이터로서 포함하는 임의 형상 부호화 신호에 대한 복호화 처리가 형상 복호화부(170) 및 텍스쳐 복호화부(180)에 의해 실행되고, 형상 부호화 비트열만을 표시용 데이터로서 포함하는 2치 부호화 신호의 복호화 처리가 형상 복호화부(170)에 의해 실행되도록 구성하였다.

Description

화상 부호화 장치 및 방법, 화상 복호화 장치 및 방법과 화상 전송 방법{DATA STRUCTURE FOR IMAGE TRANSMISSION, IMAGE CODING METHOD, AND IMAGE DECODING METHOD}
본 발명은 화상 부호화 방법, 화상 복호화 방법, 화상 부호화 장치 및 화상 복호화 장치, 화상 전송 방법에 관한 것이다.
특히, 본 발명은 여러가지 규격 등에 대응한 디지탈 화상 신호를 부호화하여 얻어지는, 서로 다른 데이터 구조를 갖는 화상 부호화 신호를 단일 부호화 방식에 대응한 복호화 처리에 의해 복호화할 수 있도록 하는 화상 전송용 데이터 구조와, 이러한 화상 전송용 데이터 구조를 갖는 화상 부호화 신호를 생성하는 화상 부호화 방법 및 화상 부호화 장치와, 상기 화상 전송용 데이터 구조를 갖는 화상 부호화 신호를 복호화하는 화상 복호화 방법 및 화상 복호화 장치에 관한 것이다.
또한, 본 발명은 상기 화상 복호화 방법에 의한 복호화 처리를 실현하기 위한 프로그램을 저장한 데이터 기억 매체, 및 상기 화상 전송용 데이터 구조를 갖는 화상 부호화 신호를 저장한 데이터 기억 매체에 관한 것이다.
디지탈 화상 정보를 효율적으로 축적 또는 전송하기 위해서는, 디지탈 화상 정보를 압축 부호화할 필요가 있으며, 현재 상태로서는 디지탈 화상 정보를 압축 부호화하기 위한 방법으로서, JPEG(Joint Photographic Coding Experts Group)이나 MPEG(Moving Picture Experts Group)으로 대표되는 이산 코사인 변환(DCT) 이외에, 서브밴드, 웨이블릿, 프랙탈 등의 파형 부호화 방법이 있다.
또한, 인접하는 프레임 등의 표시 화면 사이에 있어서의 용장의 화상 정보를 제거하는 방법으로는, 움직임 보상을 이용한 화면간 예측을 행하여, 즉 현재 화면의 화소의 화소값을, 이것과 이전 화면의 화소의 화소값의 차분을 이용하여 나타내고, 이 차분 신호를 파형 부호화하는 방법이 있다.
구체적으로는, 팩시밀리 장치의 스캐너 등으로부터 얻어지는, 표시 화상을 2치 정보에 의해 나타내는 2치 화상 신호 S2의 부호화에는, 도 22의 (a)에 도시하는 바와 같이 산술 부호화 장치(10a)를 이용하고, 그 복호화에는 도 22의 (b)에 도시하는 바와 같이 산술 복호화 장치(10b)를 이용한다. 상기 산술 부호화 장치(10a)는, MMR(Modified Modified Reed)이나 JBIG(Joint Bi-level Image Coding Experts Group) 등 팩시밀리 신호를 전송할 때 이용되는 산술 부호화 처리에 의해, 상기 2치 화상 신호 S2의 부호화를 행하여 2치 부호화 신호 E2를 생성하는 구성으로 되어 있다. 또한, 상기 산술 복호화 장치(10b)는 상기 2치 부호화 신호 E2를 상기 산술 부호화 처리에 대응한 산술 복호화 처리에 의해 복호화하여 2치 복호화 신호 D2를 재생하는 구성으로 되어 있다.
여기서, 1 표시 화면에 대응하는 2치 부호화 신호(600a)(E2)는, 도 22의 (c)에 도시하는 바와 같이 선두(先頭)의 동기 신호(601)와, 그 다음 헤더(603)와, 이것에 이어지는 형상 데이터(604)를 포함하고 있다.
또한, 종래의 MPEG2에 있어서 취급하는 디지탈 화상 신호 St의 부호화에는, 도 23의 (a)에 도시하는 구성의 화상 부호화 장치(20)를 이용하고, 그 복호화에는 도 23의 (b)에 도시하는 구성의 화상 복호화 장치(25)를 이용한다. MPEG2에서 취급하는 디지탈 화상 신호 St는 컬러 표시(계조 표시)를 하기 위한 휘도 신호 및 색차 신호를 포함하고, 1 표시 화면(1 프레임)상의 화상의 세로, 가로 사이즈를 나타내는 정보를 포함하는 구형(矩形) 화상 신호이며, 상기 화상 부호화 장치(20)는 상기 디지탈 화상 신호(구형 화상 신호) St에 대하여 정보원(情報原) 부호화 처리를 실시하는 정보원 부호화기(20a)와, 그 출력을 가변 길이 부호화하여 화상 부호화 신호(화소값 부호화 신호) Et를 생성하는 가변 길이 부호화기(20b)로 구성되어 있고, 상기 화상 복호화 장치(25)는 상기 화상 부호화 신호 Et를 가변 길이 복호화하는 가변 길이 복호화기(25b)와, 그 출력에 대하여 정보원 복호화 처리를 실시해 화상 복호화 신호(화소값 복호화 신호) Dt를 생성하는 정보원 복호화기(25a)로 구성되어 있다.
여기서, 상기 정보원 부호화기(20a)는, 상기 디지탈 화상 신호 St에 대하여 표시 화면을 분할하는 각 블럭마다 코사인 변환 처리를 실시하는 DCT 처리기(21)와, 해당 DCT 처리기(21)의 출력을 양자화하는 양자화기(22)로 이루어진다. 상기 정보원 복호화기(25a)는, 상기 가변 길이 복호화기(25b)의 출력을 역양자화하는 역양자화기(26)와, 그 출력에 대하여 역코사인 변환 처리를 실시하는 IDCT 처리기(27)로 이루어진다. 또한, 1 표시 화면에 대응하는 화상 부호화 신호(700a(Et))는, 도 23의 (c)에 도시하는 바와 같이 선두의 32 비트 동기 신호(701)와, 그 다음 헤더(703)와, 이것에 이어지는, 표시 화면을 분할하는 각 블럭 C1, C2, C3, …에 대응하는 화소값 부호화 비트열(텍스쳐 부호화 비트열)(71C1, 71C2, 71C3, …)을 포함하고 있다. 여기서 해당 텍스쳐 부호화 비트열(71C1, 71C2, 71C3)은 각각, 5 비트의 양자화폭(704, 707, 710), 가변 길이의 텍스쳐 MV(움직임 벡터)(705, 708, 711) 및 가변 길이의 텍스쳐 DCT 계수(706, 709, 712)를 포함하고 있다.
또한, 특히 최근에는, 압축 효율을 향상시킴과 동시에, 1 표시 화면의 화상을 구성하는 각 물체마다 화상을 재생할 수 있도록, 각각의 물체에 대응하는 화상 신호를 물체마다 따로따로 압축 부호화하여 전송하는 방식이 실용화되어 있다. 이 방식에서는, 재생측에서 각각의 물체에 대응하는 부호화된 화상 신호를 복호화하고, 이 복호화에 의해 재생한 화상 신호를 합성하여 1 표시 화면에 상당하는 화상의 표시를 행하고 있다. 이와 같이 물체 단위로 각각의 물체에 대응하는 화상 신호를 부호화함으로써, 표시해야 할 물체의 화상을 자유롭게 조합하여 합성하는 것이 가능해지고, 이에 따라 동화상을 간단히 재편집할 수 있게 된다. 또한, 이 방식에서는, 통신로의 혼잡 상태나 재생 장치의 성능, 또한 시청자의 기호에 따라서, 비교적 중요하지 않은 물체의 화상에 대해서는 재생하지 않고서, 동화상을 표시할 수 있다. 바꿔 말하면, 물체 단위의 스케일러빌리티(scalability), 즉 물체 단위로 화상 표시의 축척을 변경 가능하도록 실현할 수 있다.
그런데, 물체 단위로 그 화상 신호의 압축 부호화를 실행하는 경우, 각각의 물체는 그 형상이 서로 다르기 때문에, 압축 부호화 처리는 임의 형상 화상의 화상 신호에 대하여 실행되게 된다. 여기서, 임의 형상 화상의 화상 신호(이하, 임의 형상 화상 신호라고 함)에는, 휘도 신호와 색차 신호로 이루어지는, 물체의 컬러 표시(계조 표시)를 하기 위한 텍스쳐 신호(화소값 신호)와, 화상의 형상을 나타내는 형상 신호가 포함된다. 이 형상 신호는, 표시 영역을 구성하는 각 화소가 물체의 외부에 위치하는지 내부에 위치하는지를 나타내는 것으로서, 2치로 표현된다.
또한, 상기 임의 형상 화상 신호에는, 상기 텍스쳐 신호 및 형상 신호 이외에, 배경 화상위에 전경(前景) 화소로서 물체를 합성한 경우의, 물체의 투과도를 나타내는 투과도 정보가 포함되는 경우가 있다. 이 투과도 정보는 통상 3 비트 이상의 다치(多値) 투과도 신호에 의해 표현되며, 상기 2치 형상 신호(2치 투과도 신호)와 해당 다치 투과도 신호를 합쳐 투과도 신호라고 부른다. 또, 이 투과도 신호에 있어서의 다치 투과도 신호는 이하의 부호화 처리에 있어서 텍스쳐 신호와 마찬가지로 취급된다.
그리고, 상기한 바와 같은 텍스쳐 신호와 2치 형상 신호의 양쪽을 포함하는 임의 형상 화상 신호를 부호화하는 경우, 우선 형상 신호의 부호화를 한 다음,그 후 텍스쳐 신호를 부호화한다. MPEG4에서는 이러한 임의 형상 화상 신호의 부호화, 전송, 복호화를 실행하는 구성에 대한 표준화 작업이 행해져 있으며, 도 24의 (a)는 MPEG4로서 현재 표준화되고 있는 부호화 처리를 설명하기 위한 블럭도로서, 해당 부호화 처리를 실행하는 장치의 구성을 나타내고 있다.
도면에 있어서, (200a)는 카메라나 화상 기록 재생 장치(VTR)로부터 출력되는 비디오 신호 Sv에 근거하여, 표시 화상을 구성하는 각각의 물체에 대응하는 임의 형상 화상 신호 Sp를 추출하고, 해당 임의 형상 화상 신호에 대하여 부호화 처리를 실시하는 화상 부호화 장치이다.
이 화상 부호화 장치(200a)는, 상기 비디오 신호 Sv에 대한 크로마키(chromakey) 처리에 의해, 배경 화상 신호로부터 각각의 물체에 대응하는 임의 형상 화상 신호로서, 물체의 형상을 2치 정보에 의해 나타내는 형상 신호 Spk와, 물체를 컬러 표시하기 위한 휘도 신호 및 색차 신호로 이루어지는 텍스쳐신호(화소값 신호) Spt를 분리하고, 또한 해당 양 신호 Spk 및 Spt를, 표시 화면상의 각 물체에 대응하는 표시 영역을 분할하는 복수의 블럭마다 일괄적으로 순차 출력함과 동시에, 이 때 해당 양 형상 신호 Spk와 텍스쳐 신호 Spt의 전환 타이밍을 나타내는 전환 타이밍 신호 Ts를 출력하는 크로마키 처리기(201)를 갖고 있다. 또한 상기 화상 부호화 장치(200a)는, 상기 형상 신호 Spk를 산술 부호화 처리(JBIG 참조)에 의해 상기 블럭마다 부호화하는 산술 부호화부(120a)와, 상기 텍스쳐 신호 Spt에 대한 DCT 처리 및 양자화 처리를 상기 블럭마다 실행하는 정보원 부호화부(130a)와, 해당 정보원 부호화부(130a)의 출력을 가변 길이 부호화하는 가변 길이 부호화기(139)를 갖고 있다.
또한, 상기 화상 부호화 장치(200a)는, 상기 전환 타이밍 신호 Ts에 의해 크로마키 처리기(201)의 출력을 상기 산술 부호화부(120a)의 입력과 상기 정보원 부호화부(130a)의 입력 사이에서 전환하여 접속하는 전환 스위치(202)와, 상기 산술 부호화부(120a)의 출력인 형상 부호화 비트열 Epk와 상기 가변 길이 부호화기(139)의 출력인 텍스쳐 부호화 비트열 Ept를 그 밖의 필요한 신호와 함께 다중화하는 다중기(150)를 갖고 있다. 이 다중기(150)로부터는 도 24의 (c)에 도시하는 바와 같이 형상 부호화 비트 Epk(51A1, 51A2, 51A3)와 텍스쳐 비트열 Ept(52A1, 52A2, 52A3)를 그 밖의 필요한 신호와 함께 소정의 순서로 배열하여 이루어지는 임의 형상 부호화 신호 Ep(500a)가 출력된다.
여기서, 상기 산술 부호화 처리는 2치 형상 신호를 MMR이나 JBIG 등 팩시밀리 신호를 전송할 때에 이용되는 방식에서 채용되는 것이며, 또한 상기 DCT 처리는MPEG 규격에서 채용되는 것이다. 각 블럭 A1, A2, A3의 부호화 데이터는 도 24의 (c)에 도시하는 바와 같이 형상 부호화 비트열 Epk와 텍스쳐 부호화 비트열 Ept로 구성된다.
이러한 구성의 부호화 장치(200a)에 있어서, 비디오 신호 Sv는 크로마키 처리기(201)에 의해 처리되며, 크로마키 처리기(201)로부터는 각 물체에 대응한 임의 형상 화상 신호 Sp가 출력된다. 이 임의 형상 화상 신호 Sp에 포함되는 형상 신호 Spk는, 상기 전환 타이밍 신호 Ts에 의해 전환 스위치(202)가 제어되어 산술 부호화부(120a)로 공급되고, 해당 산술 부호화부(120a)에서 부호화된 형상 부호화 비트열 Epk가 다중기(150)에 출력된다. 또한, 상기 임의 형상 화상 신호 Sp에 포함되는 텍스쳐 신호 Spt는, 상기 전환 타이밍 신호 Ts에 의해 전환 스위치(202)가 제어되어 정보원 부호화부(130a)로 공급되고, 해당 정보원 처리부(130a)에서 DCT 처리 및 양자화 처리가 실시된 텍스쳐 부호화 비트열 Ept가 다중기(150)에 출력된다. 여기서, 상기 형상 신호 Spk 및 텍스쳐 신호 Spt의 부호화 처리는 각각의 블럭마다 실행된다.
그리고 다중기(150)에서는 상기 형상 부호화 비트열 Epk 및 텍스쳐 부호화 비트열 Ept가 다른 필요한 신호와 함께 소정의 순서로 배열되어 임의 형상 부호화 신호 Ep로서 출력된다.
또한, 상기 화상 부호화 장치(200a)에 의해 부호화된 임의 형상 부호화 신호 Ep의 복호화에는, 도 24의 (b)에 도시한 화상 복호화 장치(200b)를 이용한다.
이 화상 복호화 장치(200b)는, 임의 형상 부호화 신호 Ep를 해석하여 제어신호 SWb를 출력하는 데이터 해석기(160)와, 상기 임의 형상 부호화 신호 Ep에 포함되는 형상 부호화 비트열 Epk에 대하여 1 블럭마다 산술 복호화 처리를 실시함과 동시에, 1 블럭분의 산술 복호화 처리가 종료된 시작점에서 종료 타이밍 신호 Te를 발생시키는 산술 복호화부(170a)와, 상기 임의 형상 부호화 신호 Ep에 포함되는 텍스쳐 부호화 비트열 Ept에 대하여, 정보원 복호화 처리, 즉 역DCT 처리 및 역양자화 처리를 실시하는 정보원 복호화부(180a)와, 상기 데이터 해석기(160)를 통해 출력되는 임의 형상 부호화 신호 Ep를, 상기 제어 신호 SWb 및 상기 종료 타이밍 신호 Te에 의해, 각각 상기 산술 복호화부(170a) 및 정보원 복호화부(180a) 사이에서 전환하여 그 한쪽에 공급하는 전환 스위치(101b)와, 상기 양 복호화부의 출력 Dpk 및 Dpt를 합성하여, 이것을 임의 형상 복호화 신호 Dp로서 출력하는 합성기(190)를 갖고 있다.
이 화상 복호화 장치(200b)에서는, 입력된 임의 형상 부호화 신호 Ep를 데이터 해석기(160)가 수신할 경우, 데이터 해석기(160)에서는 이 신호에 포함되는 정보의 해석이 이루어지고, 텍스쳐 부호화 비트열 Ept의 최종 비트를 검출한 시작점에서 상기 제어 신호 SWb가 전환 스위치(101b)로 출력된다. 그렇게 하면, 상기 전환 스위치(101b)는 상기 제어 신호 SWb에 의해 데이터 해석기(160)의 출력이 산술 복호화부(170a)로 공급되도록 전환된다. 그리고, 해당 산술 복호화부(170a)에 의해 형상 부호화 비트열 Epk의 복호화가 실행됨과 동시에, 1개의 블럭에 대응하는 형상 부호화 비트열 Epk의 처리가 종료한 시작점에서 종료 타이밍 신호 Te가 상기 산술 복호화부(170a)로부터 출력된다. 그리고, 이것이 상기 데이터 해석기(160)에공급되면, 데이터 해석기(160)로부터 제어 신호 SWb가 상기 전환 스위치(101b)에 출력되어, 상기 전환 스위치(101b)가 데이터 해석기(160)의 출력이 정보원 복호화부(180a)에 공급되도록 전환된다. 그렇게 하면, 정보원 복호화부(180a)에서는 임의 형상 화상 신호 Ep에 포함되는 텍스쳐 부호화 신호 Ept의 복호화 처리가 1 블럭분 실행된다. 그리고 합성기(190)에서는, 상기 산술 복호화부(170a)의 출력과 정보원 복호화부(180a)의 출력을 합성하여 임의 형상 복호화 신호 Dp를 재생 신호로서 출력한다. 상기한 바와 같은 복호화 처리가 1개의 물체에 대응하는 임의 형상 부호화 신호 Ep에 대하여 실행되어 1개의 물체에 대응하는 임의 형상 복호화 신호 Dp가 생성되면, 물체의 화상 표시가 가능해진다.
또, 도 24에 도시하는 화상 부호화 장치(200a) 및 화상 복호화 장치(200b)의 설명에 있어서는, 다치 투과도 신호를 포함하는 임의 형상 화상 신호(투과도 정보가 부가된 임의 형상 화상 신호)의 처리에 대해서는 기술되어 있지 않지만, 임의 형상 화상 신호가 투과도 신호를 포함하는 경우, 다치 투과도 신호에 대해서는 텍스쳐 신호(화소값 신호)와 마찬가지로 처리되게 된다.
상술한 바와 같이 종래의 화상 신호의 부호화 방법에서는, 2치 화상 신호의 부호화 처리, 즉 2치의 형상 신호만을 부호화하는 처리에는 JBIG 등에서 채용되어 있는 산술 부호화 방법을 이용하고, 화상의 컬러 표시를 하기 위한 디지탈 화상 신호의 부호화 처리, 즉 텍스쳐 신호만을 부호화하는 처리에는 MPEG2 등에 있어서의 정보원 부호화 방법을 이용하며, 또한 각각의 물체에 대응한 임의 형상 화상 신호의 부호화 처리, 즉 2치의 형상 신호 및 텍스쳐 신호를 포함하는 화상 신호를 부호화하는 처리에는, MPEG4에 있어서의 부호화 방법, 즉 산술 부호화 처리와 정보원 부호화 처리를 조합한 방법을 이용하게 된다.
그리고, 당연한 일이지만, 서로 다른 부호화 방식에 의해 부호화한 신호의 복호화 처리에는, 각각의 부호화 방식에 대응한 복호화 방법을 이용할 필요가 있다. 바꿔 말하면, 종래의 부호화 처리에서는, 화상 신호의 종류에 따라 서로 다른 부호화 방식을 이용하기 때문에, 부호화 방식이 상이한 부호화 신호의 복호화 처리에서는 서로 다른 데이터 해석 방법을 이용하지 않으면 안된다.
또한, 특히 MPEG4에 준거한 화상 복호화 장치에 의해, 상기 2치 화상 신호(JBIG), 디지탈 화상 신호(MPEG2) 및 임의 형상 화상 신호(MPEG4)의 부호화 신호 중 어느 것에 대해서도 복호화할 수 있도록 하는 것은 가능하지만, 이 경우 다음과 같은 문제가 생긴다.
자세히 설명하면, 임의 형상 화상 신호를 블럭 단위로 부호화하여 얻어지는 임의 형상 부호화 신호에서는, 각 블럭마다 대응하는 형상 부호화 비트열과 텍스쳐 부호화 비트열이 교대로 배열되어 있는 데 반하여, 2치 화상 신호를 블럭 단위로 부호화하여 얻어지는 2치 부호화 신호에서는, 각 블럭에 대응하는 형상 부호화 비트열이 순차적으로 배열되어 있다. 이 때문에, MPEG4에 대응하는 데이터 해석 방법(데이터 해석기)에서는, 텍스쳐 부호화 비트열을 포함하지 않은 2치 부호화 신호의 해석에 의해서도 상기 제어 신호 SWb를 발생할 수 없어, 2치 부호화 신호에 있어서의 각 블럭의 형상 부호화 비트열을 산술 복호화기(170a)로 순차 출력할 수가 없다. 구체적으로 설명하면, 화상 복호화 장치(200b)에서는, 어느 임의의 블럭에대응하는 형상 부호화 비트열의 처리가 종료된 시작점에서, 산술 복호화기(170a)로부터 종료 타이밍 신호 Te가 전환 스위치(101b)로 출력되고, 이에 따라 전환 스위치(101b)에서는 데이터 해석기(160)로부터의 비트열이 정보원 복호화기(180a)로 공급되는 상태가 되지만, 2치 부호화 신호에는 텍스쳐 부호화 비트열이 포함되어 있지 않기 때문에, 데이터 해석기(160)에서는 전환 스위치(101b)의 상태를 비트열이 산술 복호화부(170a)에 공급되는 상태로 하기 위한 제어 신호 SWb를 발생할 수 없어서, 상기 임의의 블럭의 다음 블럭에 대응하는 형상 부호화 비트열이 정보원 복호화기(180a)로 공급되게 된다.
그래서, 2치 화상 신호의 부호화 처리시에, 각 블럭의 형상 부호화 비트열 다음에 대응하는 블럭의 의사(擬似) 텍스쳐 부호화 비트열을 부가하여 2치 부호화 신호를 의사적으로 임의 형상 부호화 신호와 동일한 데이터 구조로 함으로써, 2치 부호화 신호를 MPEG4의 데이터 해석 방법에 의해 해석할 수 있게 되고, 2치 부호화 신호를 MPEG4에 준거한 화상 복호화 처리에 의해 복호화할 수 있게 된다.
그런데, 2치 화상 신호의 부호화시에, 의사 텍스쳐 부호화 비트열을 형상 부호화 비트열에 부가하여 2치 부호화 신호를 송출하기 때문에, 부호화시의 비트수가 낭비되어 부호화 효율의 저하를 초래한다고 하는 문제가 있다.
또, MPEG4에 준거한 복호화 처리에 있어서, 텍스쳐 신호만으로 이루어지는 MPEG2에 대응한 디지탈 화상 신호(구형 화상 신호)를 부호화하여 얻어지는 화상 부호화 신호(화소값 부호화 신호)에 대해서는, 임의 형상 화상 신호를 부호화하여 얻어지는 임의 형상 부호화 신호와 마찬가지로 복호화할 수 있다. 이것은, 텍스쳐부호화 비트열을 포함하는 화상 부호화 신호에서는, 각 블럭에 대응하는 텍스쳐 부호화 비트열의 시작점과 종료점을 검출할 수 있어서, 제어 신호 SWb에 의해 상기 전환 스위치(101b)를 텍스쳐 부호화 비트열이 항상 정보원 복호화부(180a)에 공급되도록 제어할 수 있게 되기 때문이다.
또한, 종래의 MPEG4에 대응한 복호화 처리에서는, 임의 형상 화상 신호를 부호화하여 얻어지는 임의 형상 부호화 신호를 복호화할 때에, 프로세서의 부하로 인하여 각 블럭에 대응하는 형상 부호화 비트열과 텍스쳐 부호화 비트열의 양쪽을 미리 설정된 표시 시간내에 복호화할 수 없기 때문에, 표시 화면상에 있어서의 화상의 움직임이 매끄럽게 되지 않거나, 정지되어 버리는 경우가 있다고 하는 문제도 있다.
본 발명의 목적은 상기한 바와 같은 과제를 해결하기 위하여 이루어진 것으로, 여러가지의 규격 등에 대응한 디지탈 화상 신호를 부호화하여 얻어지는, 서로 다른 데이터 구조를 갖는 화상 부호화 신호를 단일 부호화 방식에 대응한 복호화 처리에 의해 복호화할 수 있도록 하는, 예를 들면 부호화시의 비트수 증대를 거의 초래하는 일 없이, 1개의 부호화 방식에 의해 2치 화상 신호와 임의 형상 화상 신호의 양쪽에 대한 복호화 처리를 가능하게 하는 화상 전송용 데이터 구조, 화상 복호화 방법 및 화상 복호화 장치를 얻는 것이다.
또한, 본 발명의 목적은 상기 화상 복호화 방법에 의한 복호화 처리를 실현하기 위한 프로그램을 저장한 데이터 기억 매체와, 상기 화상 전송용 데이터 구조를 갖는 화상 부호화 신호를 저장한 데이터 기억 매체를 얻는 것이다.
또한, 본 발명의 목적은, 여러가지의 규격 등에 대응한 디지탈 화상 신호를 부호화하여 얻어지는, 서로 다른 데이터 구조를 갖는 화상 부호화 신호를 단일 부호화 방식에 대응한 복호화 처리에 의해 복호화할 수 있도록 하는, 예를 들면 부호화시의 비트수 증대를 거의 초래하는 일 없이, 1개의 부호화 방식에 의해 2치 화상 신호와 임의 형상 화상 신호의 양쪽에 대한 복호화 처리를 가능하게 하는 화상 전송용 데이터 구조를 갖는 화상 부호화 신호를 작성할 수 있는 화상 부호화 방법 및 화상 부호화 장치를 얻는 것이다.
또한, 본 발명의 목적은, 부호화시의 비트수 증대를 거의 초래하는 일 없이, 1개의 부호화 방식에 의해 2치 화상 신호와 임의 형상 화상 신호의 양쪽에 대한 복호화 처리를 가능하게 할 뿐만 아니라, 복호화 처리를 행하는 연산 프로세서의 부하가 커졌을 때에도 표시 화면상에 있어서의 매끄러운 화상 움직임을 유지하면서 화상 부호화 신호의 복호화 처리에 의한 재생이 가능한 화상 복호화 장치를 얻는 것이다.
도 1은 본 발명의 실시예 1에 의한 화상 전송용 데이터 구조로서 임의 형상 부호화 신호(도 1의 (a))와, 2치 부호화 신호(도 1의 (b))의 데이터 구조를 도시한 도면,
도 2는 상기 실시예 1의 변형예에 의한 화상 전송용 데이터 구조로서 임의 형상 부호화 신호(도 2의 (a))와, 2치 부호화 신호(도 2의 (b))의 데이터 구조를 도시한 도면,
도 3은 본 발명의 실시예 2에 의한 화상 부호화 장치의 구성을 설명하기 위한 블럭도,
도 4는 상기 실시예 2의 화상 부호화 장치에 의한 부호화 처리를 플로우차트로 도시한 도면,
도 5는 본 발명의 실시예 3에 의한 화상 복호화 장치의 구성을 설명하기 위한 블럭도,
도 6은 상기 실시예 3의 화상 복호화 장치에 의한 복호화 처리를 플로우차트로 도시한 도면,
도 7은 상기 실시예 2의 화상 부호화 장치에 있어서의 화상 입력 장치의 상세한 구성(도 7의 (a))과, 상기 실시예 3의 화상 복호화 장치에 있어서의 데이터 해석기의 상세한 구성(도 7의 (b))을 나타내는 블럭도,
도 8은 본 발명의 실시예 4에 의한 화상 복호화 장치의 구성을 설명하기 위한 블럭도,
도 9는 본 발명의 실시예 5에 의한 화상 복호화 장치의 구성을 설명하기 위한 블럭도,
도 10은 본 발명의 실시예 6에 의한 화상 전송용 데이터 구조로서, 임의 형상 부호화 신호(도 10의 (a))와, 2치 부호화 신호(도 10의 (b)) 및 구형(矩形) 부호화 신호(도 10의 (c))의 데이터 구조를 도시한 도면,
도 11은 본 발명의 실시예 7에 의한 화상 복호화 장치의 구성을 설명하기 위한 블럭도,
도 12는 상기 실시예 7의 화상 복호화 장치에 의한 복호화 처리를 플로우차트로 도시한 도면,
도 13은 본 발명의 실시예 8에 의한 화상 전송용 데이터 구조로서, 임의 형상 부호화 신호(도 13의 (a)), 및 2치 부호화 신호(도 13의 (b))의 데이터 구조를 도시한 도면,
도 14는 상기 실시예 8에 의한 화상 전송용 데이터 구조로서, 구형 부호화 신호(도 14의 (a)) 및 투과도 정보가 부가된 임의 형상 부호화 신호(도 14의 (b))의 데이터 구조를 도시한 도면,
도 15는 본 발명의 실시예 9에 의한 화상 복호화 장치의 구성을 설명하기 위한 블럭도,
도 16은 상기 실시예 9의 화상 복호화 장치에 의한 복호화 처리를 플로우차트로 도시한 도면,
도 17은 본 발명의 실시예 10에 의한 화상 전송용 데이터 구조로서, 임의 형상 부호화 신호(도 17의 (a)), 2치 부호화 신호(도 17의 (b)) 및 구형 부호화 신호(도 17의 (c))의 데이터 구조를 도시한 도면,
도 18은 상기 실시예 10에 의한 화상 전송용 데이터 구조로서, 투과도 정보가 부가된 임의 형상 부호화 신호(도 18의 (a)) 및 투과도 부호화 신호(도 18의 (b))의 데이터 구조를 도시한 도면,
도 19는 본 발명의 실시예 11에 의한 화상 복호화 장치의 구성을 설명하기 위한 블럭도,
도 20은 상기 실시예 11의 화상 복호화 장치에 의한 복호화 처리를 플로우차트로 도시한 도면,
도 21은 상기 각 실시예의 화상 부호화 장치 혹은 화상 복호화 장치에 의한 처리를 컴퓨터 시스템(도 21의 (c))에 의해 실현하기 위한 프로그램을 저장하기 위한 데이터 기억 매체(도 21의 (a) 및 (b))에 대하여 설명하기 위한 도면,
도 22는 종래의 JBIG 방식의 데이터 압축 부호화 처리를 이용한 통신 시스템을 설명하기 위한 도면으로서, 도 22의 (a) 및 (b)는 시스템을 구성하는 화상 부호화 장치 및 화상 복호화 장치의 구성을 나타내는 도면, 도 22의 (c)는 해당 시스템에 있어서 채용되어 있는 화상 부호화 신호의 데이터 구조를 나타내는 도면,
도 23은 종래의 MPEG2 방식의 데이터 압축 부호화 처리를 이용한 통신 시스템을 설명하기 위한 도면으로서, 도 23의 (a) 및 (b)는 시스템을 구성하는 화상 부호화 장치 및 화상 복호화 장치의 구성을 나타내는 도면, 도 23의 (c)는 해당 시스템에 있어서 채용되어 있는 화상 부호화 신호의 데이터 구조를 나타내는 도면,
도 24는 종래의 MPEG4 방식의 데이터 압축 부호화 처리를 이용한 통신 시스템을 설명하기 위한 도면으로서, 도 24의 (a) 및 (b)는 시스템을 구성하는 화상 부호화 장치 및 화상 복호화 장치의 구성을 나타내는 도면, 도 24의 (c)는 해당 시스템에 있어서 채용되어 있는 화상 부호화 신호의 데이터 구조를 나타내는 도면.
도면의 주요 부분에 대한 부호의 설명
100a : 화상 부호화 장치
100b, 100c, 100d, 100e, 100f, 100g : 화상 복호화 장치
101a, 101b, 101c, 101e, 101f : 전환 스위치
102a, 102b, 102e, 102f : 프레임 메모리 뱅크
104 : 표시기 105 : 제어기
106 : 입력 단말 110 : 화상 입력 장치
111 : 식별 수단 112 : 임계값 처리기
113 : 크로마키 처리기 114, 163 : 스위치 제어 회로
120 : 형상 부호화부(제 1 부호화 수단)
130 : 텍스쳐 부호화부(제 2 부호화 수단)
150 : 다중기
160, 165, 160e, 160f, 160g : 데이터 해석기
161 : 비교기 162 : 복호화 참조 테이블
170 : 형상 복호화부(제 1 복호화 수단)
180, 180e, 180f : 텍스쳐 복호화부(제 2 복호화 수단)
190, 190f, 190g : 합성기
500, 500b, 1500, 2500, 3500 : 임의 형상 부호화 신호(제 1 임의 형상 부호화 신호)
502, 602 : 화상 식별자(SID)
600, 600b, 1600, 2600, 3600 : 2치 부호화 신호
2700, 3700 : 구형 부호화 신호(화소값 부호화 신호)
2800, 3800 : 투과도 정보가 부가된 임의 형상 부호화 신호(제 2 임의 형상 부호화 신호)
3900 : 투과도 부호화 신호 Cs : 컴퓨터·시스템
FD : 플로피 디스크 FDD : 플로피 디스크 드라이브
본 발명(청구항 1)에 관한 화상 전송용 데이터 구조는, 디지탈 화상 신호를 부호화하여 얻어지는 화상 부호화 신호를 전송하기 위한 화상 전송용 데이터 구조에 있어서, 표시 화상을 2치 정보에 의해 나타내거나, 혹은 표시 화상을 구성하는각 물체의 형상을 2치 정보에 의해 나타내는 형상 신호를 부호화하여 얻어지는 형상 부호화 비트열과, 표시 화상을 구성하는 물체를 계조 표시하기 위한 화소값 신호를 부호화하여 얻어지는 화소값 부호화 비트열의 양 부호화 비트열 중 적어도 형상 부호화 비트열을 포함함과 동시에, 상기 화상 부호화 신호가, 상기 부호화 비트열로서 상기 형상 부호화 비트열 및 화소값 부호화 비트열의 양쪽을 포함하는지, 혹은 상기 부호화 비트열로서 상기 형상 부호화 비트열만을 포함하는지를 적어도 식별하기 위한 화상 식별자를 포함하며, 상기 화상 식별자 및 부호화 비트열이, 해당 화상 식별자에 이어서 해당 부호화 비트열이 전송되도록 배열되어 있는 것이다.
본 발명(청구항 2)은 청구항 1에 기재된 화상 전송용 데이터 구조에 있어서, 상기 화상 식별자를 2 비트의 부호로 구성한 것이다.
본 발명(청구항 3)에 관한 화상 부호화 방법은, 디지탈 화상 신호를 수신하여, 해당 디지탈 화상 신호에 대해 그 데이터 구조에 따른 부호화 처리를 실시하는 화상 부호화 방법에 있어서, 상기 디지탈 화상 신호가, 표시 화상을 2치 정보에 의해 나타내는 형상 신호만을 표시용 데이터로서 포함하는 2치 화상 신호인지, 표시 화상을 구성하는 각 물체의 형상을 2치 정보에 의해 나타내는 형상 신호와, 표시 화상을 구성하는 각 물체를 계조 표시하기 위한 화소값 신호의 양쪽을 표시용 데이터로서 포함하는 임의 형상 화상 신호인지를 적어도 식별하고, 상기 2치 화상 신호에 대해서는 그 형상 신호에 제 1 부호화 처리를 실시함과 동시에, 그 때 제 1 값을 갖는 화상 식별자를 발생시켜 해당 화상 식별자를 포함하는 2치 부호화 신호를 생성하고, 상기 임의 형상 화상 신호에 대해서는 그 형상 신호에 제 1 부호화 처리를 실시함과 동시에, 그 화소값 신호에 제 1 부호화 처리와는 부호화 방식이 상이한 제 2 부호화 처리를 실시하고, 또한 그 때 제 2 값을 갖는 화상 식별자를 발생시켜 해당 화상 식별자를 포함하는 임의 형상 부호화 신호를 생성하며, 입력된 디지탈 화상 신호에 대응하여 상기 2치 부호화 신호 및 임의 형상 부호화 신호 중 어느 하나를 출력하는 것이다.
본 발명(청구항 4)은 청구항 3에 기재된 화상 부호화 방법에 있어서, 상기 화상 식별자를 2 비트의 부호로 구성한 것이다.
본 발명(청구항 5)에 관한 화상 부호화 장치는, 디지탈 화상 신호를 수신하여, 해당 디지탈 화상 신호에 대해 그 데이터 구조에 따른 부호화 처리를 실시하는 화상 부호화 장치에 있어서, 상기 디지탈 화상 신호를 수신하여, 이것이 표시 화상을 2치 정보에 의해 나타내는 형상 신호만을 표시용 데이터로서 포함하는 2치 화상 신호인지, 표시 화상을 구성하는 각 물체의 형상을 2치 정보에 의해 나타내는 형상 신호와, 표시 화상을 구성하는 각 물체를 계조 표시하기 위한 화소값 신호의 양쪽을 표시용 데이터로서 포함하는 임의 형상 화상 신호인지를 적어도 식별하고, 이 식별 결과에 따른 식별 신호를 발생하는 신호 식별 수단과, 상기 2치 화상 신호로부터는 그 형상 신호를 추출하고, 상기 임의 형상 화상 신호로부터는 그 형상 신호 및 화소값 신호를 추출하는 신호 추출 수단과, 상기 형상 신호를 제 1 부호화 처리에 의해 부호화하여 형상 부호화 비트열을 생성하는 제 1 부호화 수단과, 상기 화소값 신호를 상기 제 1 부호화 처리와는 부호화 방식이 상이한 제 2 부호화 처리에 의해 부호화하여 화소값 부호화 비트열을 생성하는 제 2 부호화 수단과, 상기 2치화상 신호의 형상 신호를 상기 제 1 부호화 수단에 공급하는 동작과, 상기 임의 형상 화상 신호의 형상 신호를 상기 제 1 부호화 수단에 공급하고, 또한 그 화소값 신호를 상기 제 2 부호화 수단에 공급하는 동작을 상기 식별 신호에 근거하여 전환하는 신호 공급 수단과, 상기 신호 식별 수단으로부터의 식별 신호와, 상기 제 1 부호화 수단의 출력인 형상 부호화 비트열과, 상기 제 2 부호화 수단의 출력인 화소값 부호화 비트열을 다중화하는 다중화 수단을 구비하며, 상기 디지탈 화상 신호로서 2치 화상 신호가 입력되었을 때, 상기 식별 신호 및 형상 부호화 비트열을 포함하는 2치 부호화 신호를 출력하고, 상기 디지탈 화상 신호로서 임의 형상 화상 신호가 입력되었을 때, 상기 식별 신호, 형상 부호화 비트열 및 화소값 부호화 비트열을 포함하는 임의 형상 부호화 신호를 출력하는 것이다.
본 발명(청구항 6)에 관한 화상 복호화 방법은, 디지탈 화상 신호를 부호화하여 얻어지는 부호화 신호로서, 그 데이터 구조에 따른 화상 식별자를 갖는 화상 부호화 신호를 수신하여, 해당 화상 부호화 신호에 그 데이터 구조에 따른 복호화 처리를 실시하는 화상 복호화 방법에 있어서, 상기 화상 식별자를 참조하여 상기 화상 부호화 신호를 해석하여, 해당 화상 부호화 신호가, 표시 화상을 구성하는 각각의 물체의 형상을 나타내는 형상 신호의 부호화에 의해 얻어지는 형상 부호화 비트열과, 해당 물체를 계조 표시하기 위한 화소값 신호의 부호화에 의해 얻어지는 화소값 부호화 비트열을 표시용 데이터로서 포함하는 임의 형상 부호화 신호인지, 혹은 표시 화상을 2치 정보에 의해 나타내는 형상 신호의 부호화에 의해 얻어지는 형상 부호화 비트열만을 표시용 데이터로서 포함하는 2치 부호화 신호인지를 적어도 판정하고, 입력되는 화상 부호화 신호가 임의 형상 부호화 신호일 때, 그 형상 부호화 비트열을 제 1 복호화 방법에 의해 복호화하는 처리와, 그 화소값 부호화 비트열을 제 2 복호화 방법에 의해 복호화하는 처리를 상기 양 비트열의 배열에 따라 실행하며, 상기 입력되는 화상 부호화 신호가 2치 부호화 신호일 때, 그 형상 부호화 비트열을 제 1 복호화 방법에 의해 복호화하는 처리만을 하는 것이다.
본 발명(청구항 7)은 청구항 6에 기재된 화상 복호화 방법에 있어서, 상기 화상 식별자를 2 비트의 부호로 구성한 것이다.
본 발명(청구항 8)에 관한 화상 복호화 장치는, 디지탈 화상 신호를 부호화하여 얻어지는 부호화 신호로서, 그 데이터 구조에 따른 화상 식별자를 갖는 화상 부호화 신호를 수신하여, 해당 화상 부호화 신호에 그 데이터 구조에 따른 복호화 처리를 실시하는 화상 복호화 장치에 있어서, 상기 화상 부호화 신호를, 이것에 포함되는 화상 식별자에 근거하여 해석하여, 해당 화상 부호화 신호가, 표시 화상을 구성하는 각각의 물체의 형상을 나타내는 형상 신호의 부호화에 의해 얻어지는 형상 부호화 비트열과, 해당 물체를 계조 표시하기 위한 화소값 신호의 부호화에 의해 얻어지는 화소값 부호화 비트열을 표시용 데이터로서 포함하는 임의 형상 부호화 신호인지, 혹은 표시 화상을 2치 정보에 의해 나타내는 형상 신호의 부호화에 의해 얻어지는 형상 부호화 비트열만을 표시용 데이터로서 포함하는 2치 부호화 신호인지를 적어도 판정하는 데이터 해석 수단과, 상기 형상 부호화 비트열을 제 1 복호화 처리에 의해 복호화하여 형상 복호화 신호를 생성하는 제 1 복호화 수단과, 상기 화소값 부호화 비트열을 상기 제 1 복호화 처리와는 복호화 방식이 상이한 제2 복호화 처리에 의해 복호화하여 화소값 복호화 신호를 생성하는 제 2 복호화 수단과, 상기 화상 부호화 신호를 전환 제어 신호에 근거하여 상기 제 1 및 제 2 복호화 수단 중 어느 하나에 공급하는 신호 전환 수단을 구비하며, 상기 데이터 해석 수단을, 상기 화상 부호화 신호가 2치 부호화 신호일 때, 제 1 전환 제어 신호를 상기 신호 전환 수단에 공급하고, 상기 화상 부호화 신호가 임의 형상 부호화 신호일 때, 해당 제 2 전환 제어 신호를 상기 신호 전환 수단에 공급하도록 구성하고, 상기 신호 전환 수단을, 상기 제 1 전환 제어 신호의 입력에 의해, 2치 부호화 신호의 형상 부호화 비트열을 제 1 복호화 수단에만 공급하는 전환 고정 상태로 되고, 상기 제 2 전환 제어 신호에 의해, 임의 형상 부호화 신호의 형상 부호화 비트열 및 화소값 부호화 비트열의 배열에 따라서 해당 형상 복호화 비트열을 제 1 복호화 수단에 공급하고, 그 화소값 부호화 비트열을 제 2 복호화 수단에 공급하는 전환 동작 상태로 되도록 구성한 것이다.
본 발명(청구항 9)은 청구항 8에 기재된 화상 복호화 장치에 있어서, 상기 제 1 및 제 2 복호화 수단 중 어느 하나에 있어서의 복호화 처리에 부가되는 부하의 크기가 미리 설정되어 있는 임계값을 초과한 것을 검지하여 과부하 검지 신호를 상기 데이터 해석 수단에 공급하는 과부하 검지 수단을 구비하고, 상기 데이터 해석 수단을, 상기 과부하 검지 신호를 받았을 때 제 3 전환 제어 신호를 상기 신호 전환 수단에 출력하도록 구성하고, 상기 신호 전환 수단을, 해당 제 3 전환 제어 신호에 의해, 상기 임의 형상 부호화 신호에 대해서는 형상 부호화 비트열 및 화소값 부호화 비트열의 한쪽만을 상기 양 복호화 수단 중 대응하는 것에 공급하는 과부하시 동작을 행하도록 구성한 것이다.
본 발명(청구항 10)은 청구항 8에 기재된 화상 복호화 장치에 있어서, 상기 데이터 해석 수단에 외부로부터 수동 제어 신호를 입력하기 위한 제어 신호 입력 수단을 구비하고, 상기 데이터 해석 수단을, 상기 수동 제어 신호를 받았을 때 제 3 전환 제어 신호를 상기 신호 전환 수단에 출력하도록 구성하며, 상기 신호 전환 수단을, 해당 제 3 전환 제어 신호에 의해, 상기 임의 형상 부호화 신호에 대해서는 그 형상 부호화 비트열의 상기 제 1 복호화 수단에의 공급만 실행하고, 그 화소값 부호화 비트열의 제 2 복호화 수단으로의 공급을 행하지 않는 동작 상태로 되도록 구성한 것이다.
본 발명(청구항 11)에 관한 화상 전송용 데이터 구조는, 디지탈 화상 신호를 부호화하여 얻어지는 화상 부호화 신호를 전송하기 위한 화상 전송용 데이터 구조에 있어서, 표시 화상을 2치 정보에 의해 나타내거나, 혹은 표시 화상을 구성하는 각 물체의 형상을 2치 정보에 의해 나타내는 형상 신호를 부호화하여 얻어지는 형상 부호화 비트열과, 표시 화상을 계조 표시하거나, 혹은 표시 화상을 구성하는 물체를 계조 표시하기 위한 화소값 신호를 부호화하여 얻어지는 화소값 부호화 비트열의 양 부호화 비트열 중 적어도 한쪽의 부호화 비트열을 포함함과 동시에, 상기 화상 부호화 신호가, 상기 부호화 비트열로서 적어도 상기 형상 부호화 비트열을 포함하는지, 혹은 상기 부호화 비트열로서 상기 화소값 부호화 비트열만을 포함하는지를 식별하기 위한 다(多)비트의 부호로 이루어지는 화상 식별자를 포함하며, 상기 화상 식별자 및 부호화 비트열이, 해당 화상 식별자에 이어서 해당 부호화 비트열이 전송되도록 배열되어 있는 것이다.
본 발명(청구항 12)에 관한 화상 복호화 방법은, 디지탈 화상 신호를 부호화하여 얻어지는 부호화 신호로서, 그 데이터 구조에 따른 화상 식별자를 갖는 화상 부호화 신호를 수신하여, 해당 화상 부호화 신호에 그 데이터 구조에 따른 복호화 처리를 실시하는 화상 복호화 방법에 있어서, 상기 화상 식별자를 참조하여 상기 화상 부호화 신호를 해석해서, 해당 화상 부호화 신호가, 표시 화상을 구성하는 각각의 물체의 형상을 나타내는 형상 신호의 부호화에 의해 얻어지는 형상 부호화 비트열과, 상기 물체를 계조 표시하기 위한 화소값 신호의 부호화에 의해 얻어지는 화소값 부호화 비트열을 표시용 데이터로서 포함하는 임의 형상 부호화 신호인지, 표시 화상을 계조 표시하기 위한 화소값 신호의 부호화에 의해 얻어지는 화소값 부호화 비트열만을 표시용 데이터로서 포함하는 화소값 부호화 신호인지, 혹은 표시 화상을 2치 정보에 의해 나타내는 형상 신호의 부호화에 의해 얻어지는 형상 부호화 비트열만을 표시용 데이터로서 포함하는 2치 부호화 신호인지를 판정하여, 입력되는 화상 부호화 신호가 화소값 부호화 신호일 때, 그 화소값 부호화 비트열을 복호화하는 복호화 처리를 행하고, 입력되는 화상 부호화 신호가 2치 부호화 신호 혹은 임의 형상 부호화 신호일 때, 이들 신호에 포함되는 부호화 비트열에 대한 복호화 처리를 정지시키는 것이다.
본 발명(청구항 13)에 관한 화상 복호화 장치는, 디지탈 화상 신호를 부호화하여 얻어지는 부호화 신호로서, 그 데이터 구조에 따른 화상 식별자를 갖는 화상 부호화 신호를 수신하여, 상기 화상 부호화 신호에 그 데이터 구조에 따른 복호화처리를 실시하는 화상 복호화 장치에 있어서, 상기 화상 부호화 신호를, 이것에 포함되는 화상 식별자에 근거하여 해석해서, 해당 화상 부호화 신호가, 표시 화상을 구성하는 각각의 물체의 형상을 나타내는 형상 신호의 부호화에 의해 얻어지는 형상 부호화 비트열과, 해당 물체를 계조 표시하기 위한 화소값 신호의 부호화에 의해 얻어지는 화소값 부호화 비트열을 표시용 데이터로서 포함하는 임의 형상 부호화 신호인지, 표시 화상을 계조 표시하기 위한 화소값 신호의 부호화에 의해 얻어지는 화소값 부호화 비트열만을 표시용 데이터로서 포함하는 화소값 부호화 신호인지, 혹은 표시 화상을 2치 정보에 의해 나타내는 형상 신호의 부호화에 의해 얻어지는 형상 부호화 비트열만을 표시용 데이터로서 포함하는 2치 부호화 신호인지를 판정하는 데이터 해석 수단과, 상기 화소값 부호화 비트열을 복호화하여 화소값 복호화 신호를 생성하는 복호화 수단과, 상기 화상 부호화 신호를 폐기하는 신호 폐기 수단과, 상기 화상 부호화 신호를 전환 제어 신호에 근거하여 상기 복호화 수단 및 신호 폐기 수단 중 어느 하나에 공급하는 신호 전환 수단을 포함하되, 상기 데이터 해석 수단은, 상기 화상 부호화 신호가 화소값 부호화 신호일 때 제 1 전환 제어 신호를 상기 신호 전환 수단에 공급하고, 상기 화상 부호화 신호가 임의 형상 부호화 신호 혹은 2치 형상 신호일 때 상기 제 2 전환 제어 신호를 상기 신호 전환 수단에 공급하도록 구성한 것이며, 상기 신호 전환 수단은, 상기 제 1 전환 제어 신호의 입력에 의해 상기 화소값 부호화 신호의 화소값 부호화 비트열을 상기 복호화 수단에 공급하는 상태로 되고, 상기 제 2 전환 제어 신호에 의해 임의 형상 부호화 신호 및 2치 형상 신호를 구성하는 부호화 비트열을 신호 폐기 수단에 공급하는 상태로 되도록 구성한 것이다.
본 발명(청구항 14)에 관한 화상 전송용 데이터 구조는, 디지탈 화상 신호를 부호화하여 얻어지는 화상 부호화 신호를 전송하기 위한 화상 전송용 데이터 구조에 있어서, 표시 화상을 2치 정보에 의해 나타내거나, 혹은 표시 화상을 구성하는 각 물체의 형상을 2치 정보에 의해 나타내는 형상 신호를 부호화하여 얻어지는 형상 부호화 비트열과, 표시 화상을 계조 표시하거나, 혹은 표시 화상을 구성하는 물체를 계조 표시하기 위한 화소값 신호를 부호화하여 얻어지는 화소값 부호화 비트열과, 표시 화상을 구성하는 물체의 투과도를 나타내는 다치 투과도 신호를 부호화하여 얻어지는 투과도 부호화 비트열의 3개 부호화 비트열 중 적어도 하나의 부호화 비트열을 포함함과 동시에, 상기 화상 부호화 신호가, 상기 부호화 비트열로서 화소값 부호화 비트열만을 포함하는 화소값 부호화 신호인지, 상기 부호화 비트열로서 상기 형상 부호화 비트열 및 화소값 부호화 비트열만을 포함하는 제 1 임의 형상 부호화 신호인지, 상기 부호화 비트열로서 형상 부호화 비트열만을 포함하는 2치 부호화 신호인지, 상기 부호화 비트열로서 상기 형상 부호화 비트열, 화소값 부호화 비트열 및 투과도 부호화 비트열을 포함하는 제 2 임의 형상 부호화 신호인지를 식별하기 위한 다비트의 부호로 이루어지는 화상 식별자를 포함하며, 상기 화상 식별자 및 부호화 비트열이, 상기 화상 식별자에 이어서 상기 부호화 비트열이 전송되도록 배열되어 있는 것이다.
본 발명(청구항 15)에 관한 화상 복호화 방법은, 디지탈 화상 신호를 부호화하여 얻어지는 부호화 신호로서, 그 데이터 구조에 따른 화상 식별자를 갖는 화상부호화 신호를 수신하여, 해당 화상 부호화 신호에 그 데이터 구조에 따른 복호화 처리를 실시하는 화상 복호화 방법에 있어서, 상기 화상 식별자를 참조하여 상기 화상 부호화 신호를 해석해서, 해당 화상 부호화 신호가, 표시 화상을 구성하는 각각의 물체의 형상을 나타내는 형상 신호의 부호화에 의해 얻어지는 형상 부호화 비트열과, 상기 물체를 계조 표시하기 위한 화소값 신호의 부호화에 의해 얻어지는 화소값 부호화 비트열만을 표시용 데이터로서 포함하는 제 1 임의 형상 부호화 신호인지, 상기 형상 부호화 비트열 및 상기 화소값 부호화 비트열에 덧붙여, 상기 물체의 투과도를 나타내는 다치 투과도 신호의 부호화에 의해 얻어지는 투과도 부호화 비트열을 표시용 데이터로서 포함하는 제 2 임의 형상 부호화 신호인지, 표시 화상을 계조 표시하기 위한 화소값 신호의 부호화에 의해 얻어지는 화소값 부호화 비트열만을 표시용 데이터로서 포함하는 화소값 부호화 신호인지, 혹은 표시 화상을 2치 정보에 의해 나타내는 형상 신호의 부호화에 의해 얻어지는 형상 부호화 비트열만을 표시용 데이터로서 포함하는 2치 부호화 신호인지를 판정하며, 입력되는 화상 부호화 신호가 제 1 임의 형상 부호화 신호일 때, 그 형상 부호화 비트열을 제 1 복호화 방법에 의해 복호화하는 처리와, 그 화소값 부호화 비트열을 제 2 복호화 방법에 의해 복호화하는 처리를 상기 양 비트열의 배열에 따라 실행하고, 입력되는 화상 부호화 신호가 제 2 임의 형상 부호화 신호일 때, 그 형상 부호화 비트열을 제 1 복호화 방법에 의해 복호화하는 처리와, 그 화소값 부호화 비트열을 제 2 복호화 방법에 의해 복호화하는 처리와, 그 투과도 부호화 비트열을 제 3 복호화 방법에 의해 복호화하는 처리를 이들 비트열의 배열에 따라 실행하며, 입력되는 화상 부호화 신호가 화소값 부호화 신호일 때, 그 화소값 부호화 비트열을 제 2 복호화 방법에 의해 복호화하는 처리만을 실행하고, 입력되는 화상 부호화 신호가 2치 부호화 신호일 때, 그 형상 부호화 비트열을 제 1 복호화 방법에 의해 복호화하는 처리만을 실행하는 것이다.
본 발명(청구항 16)에 관한 화상 전송용 데이터 구조는, 디지탈 화상 신호를 부호화하여 얻어지는 화상 부호화 신호를 전송하기 위한 화상 전송용 데이터 구조에 있어서, 표시 화상을 2치 정보에 의해 나타내거나, 혹은 표시 화상을 구성하는 각 물체의 형상을 2치 정보에 의해 나타내는 형상 신호를 부호화하여 얻어지는 형상 부호화 비트열과, 표시 화상을 계조 표시하거나, 혹은 표시 화상을 구성하는 물체를 계조 표시하기 위한 화소값 신호를 부호화하여 얻어지는 화소값 부호화 비트열과, 표시 화상을 구성하는 물체의 투과도를 나타내는 다치 투과도 신호를 부호화하여 얻어지는 투과도 부호화 비트열의 3개 부호화 비트열 중 적어도 하나의 부호화 비트열을 포함함과 동시에, 상기 화상 부호화 신호가, 상기 부호화 비트열로서 화소값 부호화 비트열만을 포함하는 화소값 부호화 신호인지, 상기 부호화 비트열로서 상기 형상 부호화 비트열 및 화소값 부호화 비트열만을 포함하는 제 1 임의 형상 부호화 신호인지, 상기 부호화 비트열로서 형상 부호화 비트열만을 포함하는 2치 부호화 신호인지, 상기 부호화 비트열로서 상기 형상 부호화 비트열, 화소값 부호화 비트열 및 투과도 부호화 비트열을 포함하는 제 2 임의 형상 부호화 신호인지, 상기 부호화 비트열로서 형상 부호화 비트열 및 투과도 부호화 비트열만을 포함하는 투과도 부호화 신호인지를 식별하기 위한 다비트의 부호로 이루어지는 화상식별자를 포함하며, 상기 화상 식별자 및 부호화 비트열이, 상기 화상 식별자에 계속해서 상기 부호화 비트열이 전송되도록 배열되어 있는 것이다.
본 발명(청구항 17)에 관한 화상 복호화 방법은, 디지탈 화상 신호를 부호화하여 얻어지는 부호화 신호로서, 그 데이터 구조에 따른 화상 식별자를 갖는 화상 부호화 신호를 수신하여, 해당 화상 부호화 신호에 그 데이터 구조에 따른 복호화 처리를 실시하는 화상 복호화 방법에 있어서, 상기 화상 식별자를 참조하여 상기 화상 부호화 신호를 해석해서, 해당 화상 부호화 신호가, 표시 화상을 구성하는 각각의 물체의 형상을 나타내는 형상 신호의 부호화에 의해 얻어지는 형상 부호화 비트열과, 상기 물체를 계조 표시하기 위한 화소값 신호의 부호화에 의해 얻어지는 화소값 부호화 비트열만을 표시용 데이터로서 포함하는 제 1 임의 형상 부호화 신호인지, 상기 형상 부호화 비트열과 상기 화소값 부호화 비트열에 덧붙여, 상기 물체의 투과도를 나타내는 다치 투과도 신호의 부호화에 의해 얻어지는 투과도 부호화 비트열을 표시용 데이터로서 포함하는 제 2 임의 형상 부호화 신호인지, 표시 화상을 구성하는 각각의 물체의 형상을 나타내는 형상 신호의 부호화에 의해 얻어지는 형상 부호화 비트열과, 해당 물체의 투과도를 나타내는 다치 투과도 신호의 부호화에 의해 얻어지는 투과도 부호화 비트열만을 표시용 데이터로서 포함하는 투과도 부호화 신호인지, 표시 화상을 2치 정보에 의해 나타내는 형상 신호의 부호화에 의해 얻어지는 형상 부호화 비트열만을 표시용 데이터로서 포함하는 2치 부호화 신호인지, 표시 화상을 계조 표시하기 위한 화소값 신호의 부호화에 의해 얻어지는 화소값 부호화 비트열만을 표시용 데이터로서 포함하는 화소값 부호화 신호인지를판정하며, 입력되는 화상 부호화 신호가 제 1 임의 형상 부호화 신호일 때, 그 형상 부호화 비트열을 제 1 복호화 방법에 의해 복호화하는 처리와, 그 화소값 부호화 비트열을 제 2 복호화 방법에 의해 복호화하는 처리를 이들 비트열의 배열에 따라 실행하고, 입력되는 화상 부호화 신호가 제 2 임의 형상 부호화 신호일 때, 그 형상 부호화 비트열을 제 1 복호화 방법에 의해 복호화하는 처리와, 그 화소값 부호화 비트열을 제 2 복호화 방법에 의해 복호화하는 처리와, 그 투과도 부호화 비트열을 제 3 복호화 방법에 의해 복호화하는 처리를 이들 비트열의 배열에 따라 실행하며, 입력되는 화상 부호화 신호가 투과도 부호화 신호일 때, 그 형상 부호화 비트열을 제 1 복호화 방법에 의해 복호화하는 처리와, 그 투과도 부호화 비트열을 제 3 복호화 방법에 의해 복호화하는 처리를 상기 양 비트열의 배열에 따라 실행하고, 입력되는 화상 부호화 신호가 2치 부호화 신호일 때, 그 형상 부호화 비트열을 제 1 복호화 방법에 의해 복호화하는 처리만을 실행하며, 입력되는 화상 부호화 신호가 화소값 부호화 신호일 때, 그 화소값 부호화 비트열을 제 2 복호화 방법에 의해 복호화하는 처리만을 실행하는 것이다.
본 발명(청구항 18)에 관한 데이터 기억 매체는, 컴퓨터에 의해, 화상 부호화 신호의 복호화 처리를 실행하기 위한 프로그램을 저장한 데이터 기억 매체에 있어서, 상기 프로그램을 컴퓨터에, 청구항 6, 12, 15, 17 중 어느 한 항에 기재된 화상 복호화 방법에 의한 복호화 처리를 행하도록 구성한 것이다.
본 발명(청구항 19)에 관한 데이터 기억 매체는, 디지탈 화상 신호를 부호화하여 얻어지는 화상 부호화 신호를 저장한 데이터 기억 매체에 있어서, 해당 화상부호화 신호를 청구항 1, 11, 14, 16 중 어느 한 항에 기재된 화상 전송용 데이터 구조를 갖는 것으로 한 것이다.
본 발명의 상기 및 그 밖의 목적, 특징, 국면 및 이익 등은 첨부 도면을 참조로 하여 설명하는 이하의 상세한 실시예로부터 더욱 명백해질 것이다.
발명의 실시예
이하, 본 발명의 실시예에 대하여 설명한다.
(실시예 1)
도 1은 본 발명의 실시예 1에 의한 화상 전송용 데이터 구조를 설명하기 위한 도면이다. 도 1의 (a)는 표시 화상을 구성하는 각각의 물체에 대응하는 임의 형상 화상 신호를 부호화하여 얻어지는 임의 형상 부호화 신호의 데이터 구조를 나타내고 있다. 또한, 본 실시예의 화상 전송용 데이터 구조는, 임의 형상 화상 신호를 압축 부호화하여 전송하고, 또한 부호화된 임의 형상 부호화 신호를 복호화하여 표시하는 시스템을 대상으로 하고 있다. 즉, 이 시스템에 있어서, 화상 부호화 방법 및 장치는 기본적으로 상기 임의 형상 화상 신호에 대응한 부호화 처리를 실행하는 구성으로 되어 있고, 또한 화상 복호화 방법 및 장치는 기본적으로 상기 임의 형상 부호화 신호에 대응한 복호화 처리를 실행하는 구성으로 되어 있다.
도면에 있어서, (500)은 1 표시 화면의 화상을 구성하는 각각의 물체에 대응하는 임의 형상 화상 신호의 부호화에 의해 얻어지는 임의 형상 부호화 신호이다.이 임의 형상 부호화 신호(500)는 그 선두(先頭)에 위치하는 32 비트의 동기 신호(501)와, 해당 동기 신호(501)에 이어지는 1 비트의 형상 식별자(화상 식별자)(502)와, 해당 형상 식별자(502)에 이어지는 그 밖의 헤더(503)를 포함하고 있다. 또, 도 1의 (a)에서는 형상 식별자는 SID로서 나타내고 있다.
또한, 상기 임의 형상 부호화 신호(500)는, 상기 임의 형상 화상 신호를 구성하는, 각각의 물체의 형상을 나타내는 형상 신호를 부호화하여 얻어지는 형상 부호화 비트열(51A)와, 상기 임의 형상 화상 신호를 구성하는, 각각의 물체를 컬러 표시하기 위한 휘도 신호 및 색차 신호로 이루어지는 텍스쳐 신호(화소값 신호)를 부호화하여 얻어지는 텍스쳐 부호화 비트열(화소값 부호화 비트열)(52A)를 포함하고 있다. 구체적으로, 상기 임의 형상 부호화 신호(500)에서는, 1 표시 화면상의 물체를 포함하는 오브젝트 영역을 분할하는 각 블럭마다 형상 부호화 비트열(51A)과 텍스쳐 부호화 비트열(52A)이 배열되어 있다.
즉, 여기서는 상기 그 밖의 헤더(503)에 이어서, 블럭 A1에 대응하는 형상 부호화 비트열(51A1) 및 텍스쳐 부호화 비트열(52A1), 블럭 A2에 대응하는 형상 부호화 비트열(51A2) 및 텍스쳐 부호화 비트열(52A2), 블럭 A3에 대응하는 형상 부호화 비트열(51A3) 및 텍스쳐 부호화 비트열(52A3)이 이 순서로 배열되어 있다.
또한, 상기 형상 부호화 비트열(51A1, 51A2, 51A3)은, 도 1의 (a)에 도시하는 바와 같이 각각, 형상 움직임 벡터에 대응하는 가변 길이의 부호화 데이터(도면에서는 "형상 MV"라고 기재함)(504, 509, 514)와, 블럭내의 화소가 물체 내부와 물체 외부 중 어느 곳에 위치하는지를 나타내는 2치의 형상 신호에 대응하는 가변 길이의 부호화 데이터(도면에서는 "형상 데이터"라고 기재함)(505, 510, 515)로 구성되어 있다.
상기 텍스쳐 부호화 비트열(52A1, 52A2, 52A3)은, 도 1의 (a)에 도시하는 바와 같이 각각 양자화폭에 대응하는 5 비트의 부호화 데이터(도면에서는 간단히 "양자화폭"이라고 기재함)(506, 511, 516)와, 텍스쳐 움직임 벡터에 대응하는 가변 길이의 부호화 데이터(도면에서는 "텍스쳐 MV"라고 기재함)(507, 512, 517)와, 텍스쳐 신호에 DCT 처리 및 양자화 처리를 실시하여 얻어지는 양자화 신호에 대응하는 가변 길이의 부호화 데이터(도면에서는 간단히 "텍스쳐 DCT 계수"라고 기재함)(508, 513, 518)로 구성되어 있다.
여기서, 상기 동기 신호(501)는 1개의 물체에 대응하는 임의 형상 부호화 신호의 시작을 나타내는 신호로서, 일의적(一意的)인 부호화 신호이다. 또한, 상기 형상 식별자(SID)(502)는 화상 신호의 부호화 신호에 형상 부호화 비트열과 텍스쳐 부호화 비트열의 양쪽이 포함되어 있는지 여부를 나타내는 신호로서, 그 값(SID)이 「SID=0」일 때에는, 형상 부호화 비트열과 텍스쳐 부호화 비트열의 양쪽이 존재하고, 그 값(SID)이 「SID=1」일 때에는 형상 부호화 비트열만이 존재하는 것을 나타낸다. 따라서, 여기서는 형상 식별자(502)의 값(SID)이 「SID=0」으로 되어 있다. 또한, 그 밖의 헤더(503)에는, 해당하는 물체의 화상의 표시 시간, 화상의 속성, 부호화시의 예측 모드 등의 정보가 포함되는데, 그 상세한 것에 대해서는 본 발명과 무관하기 때문에 생략하기로 한다.
상기 형상 MV는, 현재 화면의 소정 블럭의 형상 신호를 이전 화면이 대응하는 블럭의 형상 신호로부터 예측할 때 이용하는, 상기 현재 화면과 이전 화면 사이의 블럭내의 화상의 움직임량을 나타내는 움직임 벡터의 부호화 데이터이다. 또한, 상기 형상 데이터는 형상 신호를 산술 부호화하여 얻어진 것이며, 상기 양자화폭은 텍스쳐 신호에 DCT 처리 및 양자화 처리를 실시하여 얻어지는 DCT 계수를 역양자화하기 위한 파라미터이다. 또한, 상기 텍스쳐 MV는, 현재 화면의 텍스쳐 신호를 이전 화면의 텍스쳐 신호로부터 예측할 때 이용하는, 현재 화면과 이전 화면 사이의 블럭내의 화상의 움직임량을 나타내는 텍스쳐 움직임 벡터의 부호화 신호이다. 또한, 여기서 상기 텍스쳐 DCT 계수는 상기 텍스쳐 신호에 대한 양자화 신호에 가변 길이 부호화 처리를 실시하여 얻어지는 것이다.
또한, 실제의 임의 형상 부호화 신호(500)에서는, 상기 텍스쳐 DCT 계수의 앞에, 도면에 나타낸 데이터 이외에도 많은 사이드 정보가 배열되어 있다. 여기서는 이들 사이드 정보에 대해서는 도시하지 않지만, 이들 사이드 정보는 경우에 따라서는 부호화시에 많은 비트수를 필요로 한다.
도 1의 (b)는 2치 화상 신호를 부호화하여 얻어지는 2치 부호화 신호의 데이터 구조를 나타내고 있다.
도면에 있어서, (600)은 1 표시 화면상의 화상 정보를 2치의 신호에 의해 나타내는 2치 화상 신호 S2를 부호화하여 얻어지는 2치 부호화 신호이다. 이 2치 부호화 신호(600)는, 그 선두에 위치하는 32 비트의 동기 신호(601)와, 해당 동기 신호(601)에 이어지는 1 비트의 형상 식별자(화상 식별자)(602)와, 해당 형상 식별자(602)에 이어지는 그 밖의 헤더(603)를 포함하고 있다. 또한, 상기 2치 부호화 신호(600)는 상기 2치 화상 신호 S2를 구성하는 형상 신호를 부호화하여 얻어지는 형상 부호화 비트열(61B)을 포함하고 있다. 또, 도 1의 (b)에서는, 형상 식별자를 SID로서 나타낸다.
구체적으로, 상기 2치 형상 부호화 신호(600)에서는, 형상 부호화 비트열 (61B)이 표시 화면을 분할하는 각각의 블럭마다 순차적으로 배열되어 있고, 여기서는 상기 그 밖의 헤더(603)에 이어서, 각 블럭 B1, B2, B3, B4, B5, …에 대응하는 형상 부호화 비트열(61B1, 61B2, 61B3, 61B4, 61B5, …)이 이 순서로 배열되어 있다.
또한, 상기 형상 부호화 비트열(61B1∼61B5)은, 도 1의 (b)에 도시하는 바와 같이 각각, 형상 움직임 벡터에 대응하는 가변 길이의 부호화 데이터(도면에서는 "형상 MV"라고 기재함)(604, 606, 608, 610, 612)와, 표시 화면의 화상을 2치의 신호로 나타내는 형상 신호에 대응하는 가변 길이의 부호화 데이터(605, 607, 609, 611, 613)로 구성되어 있다.
여기서, 상기 동기 신호(601), 형상 식별자(SID)(602), 그 밖의 헤더(603)는, 상기 임의 형상 부호화 신호(500)에 있어서의 동기 신호(501), 형상 식별자(SID)(502), 그 밖의 헤더(503)와 동일한 것이며, 상기 2치 부호화 신호(600)에 있어서의 블럭 B1 이후의 데이터는, 형상 부호화 비트열만으로 이루어져 있다. 단, 상기 2치 부호화 신호(600)에는 텍스쳐 부호화 비트열이 포함되어 있지 않기 때문에, 상기 형상 식별자(602)의 값(SID)은 「SID=1」로 되어 있다.
그리고, 본 실시예 1에 있어서, 임의 형상 부호화 신호(500)에 있어서의 형상 식별자(SID)(502)와, 2치 부호화 신호(600)에 있어서의 형상 식별자(602)는, 각각 1 프레임마다 각 부호화 신호(500, 600)내에 배치되어 있다.
도 1에 도시하는 바와 같이, 형상 신호나 텍스쳐 신호의 부호화 데이터의 비트수는 가변 길이이다. 이것은 표시 화면내 혹은 표시 화면의 블럭내에 포함되는 화상에 따라서 부호화에 필요로 하는 비트수가 상이하기 때문이다. 이 때문에, 예를 들면 양자화폭(506)이, 형상 데이터(505)의 시작으로부터 몇 비트뒤에 위치하는지를 예측할 수 없다. 또한, 형상 부호화 비트열(51A)의 뒤에 텍스쳐 부호화 비트열(52A)이 위치하는지 여부에 대해서는, 형상 식별자(502)가 없으면 구별할 수 없다. 이 때문에, 형상 식별자 없이 형상 신호만을 부호화하여 전송할 때에는, 연속하는 각 블럭의 형상 부호화 비트열 사이에, 의사적인 텍스쳐 부호화 비트열을 삽입할 필요가 있고, 이 의사적인 텍스쳐 부호화 비트열의 삽입은 부호화시의 비트수 증대를 초래하게 되었다. 또, 형상 식별자는 각 화상의 헤더부 대신에, 화상 전체 순서(sequence)의 선두에 두어도 무방하며, 또는 여러장의 화상마다 형상 식별자를 배치하더라도 무방하다.
또한, MPEG4에서는, 상기 임의 형상 화상 신호 및 2치 화상 신호 이외에, 각 화소의 투과도를 나타내는 투과도 정보에 대해서도 처리할 수 있게 되어 있다. 즉, 이러한 투과도 정보는 보통 3 비트 이상의 신호로 나타내며, 상기 임의 형상 화상 신호와 동일하게 형상 정보로서의 2치 신호(2치 투과도 신호)와, 투과도 정보로부터 형상 정보를 제외한 정보를 나타내는 다치 투과도 신호로 분리하여 처리할 수 있다. 이 경우, 상기 다치 투과도 신호는 텍스쳐 신호와 마찬가지로 취급할 수있다.
이하, MPEG4에 있어서의, 임의 형상 화상 신호를 구성하는 형상 신호 및 텍스쳐 신호의 부호화 처리에 대하여 간단히 설명한다.
우선, 형상 신호에 대해서는, 표시 화면상의 물체를 포함하는 오브젝트 영역에, 이것을 분할하는 복수의 블럭(형상 블럭)을 할당하여 각 블럭마다 형상 신호의 부호화 처리를 실행한다. 본 실시예에 있어서, 상기 형상 블럭은 16×16의 샘플(화소)로 구성되는 표시 영역이며, 또한 각 형상 블럭에 대응하는 형상 신호는 JBIG에 있어서의 산술 부호화 방식에 의해 부호화하도록 하고 있다.
또한, 텍스쳐 신호에 대해서도, 상기와 마찬가지로 표시 화면상의 물체를 포함하는 오브젝트 영역에 이것을 분할하는 복수의 블럭(텍스쳐 블럭)을 할당하고, 각 블럭마다 텍스쳐 신호의 압축 부호화 처리를 실행한다. 본 실시예에 있어서, 상기 텍스쳐 블럭은 16×16의 샘플(화소)로 구성되는 표시 영역이며, 상기 압축 부호화 처리에 있어서의 DCT 처리 및 양자화 처리는 상기 텍스쳐 블럭을 8×8의 샘플(화소)로 이루어지는 4개의 표시 영역(서브블럭)으로 분할하여, 각 서브블럭마다 텍스쳐 신호에 DCT 처리 및 양자화 처리를 실시하고, 이들 처리에 의해 얻어진 양자화 신호를 가변 길이 부호화하여 텍스쳐 부호화 비트열을 생성하도록 하고 있다.
이렇게 하여 얻어진 형상 부호화 비트열과 텍스쳐 부호화 비트열을 그 밖의 필요 신호로 다중화하여, 상기 도 1의 (a)에 도시하는 데이터 구조의 임의 형상 부호화 신호(500)를 작성한다.
또한, JBIG에 있어서의 2치 화상 신호를 구성하는 형상 신호의 부호화 처리에 대해서는, 상기 MPEG4에 있어서의 형상 신호의 부호화 처리와 거의 마찬가지로 실행된다.
즉, 표시 화면에 이것을 분할하는 복수의 블럭(형상 블럭)을 할당하고, 각 블럭마다 형상 신호의 부호화 처리를 실행한다. 이에 따라 상기 도 1의 (b)에 도시하는 데이터 구조의 2치 부호화 신호(600)를 작성한다. 본 실시예에 있어서, 상기 형상 블럭은 16×16의 샘플(화소)로 구성되는 표시 영역이다. 그리고, 각 블럭에 대응하는 형상 신호는 JBIG에 있어서의 산술 부호화 방식을 이용하여 부호화하도록 하고 있다.
이와 같이 본 실시예 1에서는, 2치 화상 신호에 대응하는 2치 부호화 신호를, 표시 화상을 2치 정보에 의해 나타내는 형상 신호를 부호화하여 얻어지는 형상 부호화 비트열(61B)과, 표시 데이터로서 형상 부호화 비트열만을 포함하는 것을 나타내는 형상 식별자(602)를 포함하는 구조로 하였기 때문에, 해당 화상 식별자를 참조함으로써, 텍스쳐 부호화 비트열을 포함하는 부호화 신호에 대응한 데이터 해석 방법을 이용하여 텍스쳐 부호화 비트열을 포함하지 않은 2치 부호화 신호의 해석을 할 수 있다.
구체적으로는, 형상 신호 및 화소값 신호의 양쪽을 포함하는 임의 형상 화상 신호의 부호화 신호(임의 형상 부호화 신호)를 해석하는 데이터 해석 방법을 이용하여, 표시 정보로서 형상 신호만을 포함하는 2치 화상 신호의 부호화 신호(2치 부호화 신호)를 해석할 수 있다. 이 결과, 2치 화상 신호의 부호화시에, 형상 부호화 비트열에 의사적인 화소값 부호화 비트열을 부가하지 않더라도, MPEG4에 준거한 복호화 처리에 의해 2치 신호의 형상 부호화 비트열의 복호화를 실행할 수 있다. 즉, 부호화시의 비트수 증대를 거의 초래하는 일 없이, 1개의 부호화 방식에 의해 2치 화상 신호와 임의 형상 화상 신호의 양쪽에 대한 복호화 처리를 실행할 수 있다. 또, 상기 실시예 1에서는, 임의 형상 부호화 신호로서 프레임간 예측 부호화 처리하여 얻어지는 데이터 구조의 임의 형상 부호화 신호(500)를 나타내고, 2치 부호화 신호 비트열로서 프레임간 예측 부호화 처리하여 얻어지는 데이터 구조의 2치 부호화 신호(600)를 나타내었지만, 프레임내 부호화 처리한 임의 형상 부호화 신호는 상기 임의 형상 부호화 신호(500)에 있어서의 형상 MV 및 텍스쳐 MV를 제외한 데이터 구조로 되고, 또한 프레임내 부호화 처리한 2치 부호화 신호는 상기 2치 부호화 신호(600)에 있어서의 형상 MV를 제외한 데이터 구조로 되는 것은 물론이다.
또한, 상기 실시예 1에 있어서, 임의 형상 부호화 신호로서는 각 블럭마다, 대응하는 형상 부호화 비트열 및 텍스쳐 부호화 비트열을 배열한 데이터 구조의 임의 형상 부호화 신호(500)를 나타내고, 2치 부호화 신호로서 각 블럭마다, 대응하는 형상 부호화 비트열을 배열한 데이터 구조의 2치 부호화 신호를 나타내었지만, 본 발명의 화상 전송용 데이터 구조를 갖는 부호화 신호는 도 1에 도시하는 상기 실시예 1의 데이터 구조에 한정되는 것이 아니다.
예를 들면, 임의 형상 부호화 신호는, 도 2의 (a)에 도시하는 임의 형상 부호화 신호(500b)와 같이, 동기 신호(501), 형상 식별자(SID)(502) 및 그 밖의 헤더(503)에 이어서, 형상 데이터부(51) 및 텍스쳐 데이터부(52)를 1 프레임마다배열한 데이터 구조로 하여도 무방하며, 또한 2치 부호화 신호는, 도 2의 (b)에 도시하는 2치 부호화 신호(600b)와 같이, 동기 신호(601), 형상 식별자(SID)(6020 및 그 밖의 헤더(603)에 이어서, 형상 데이터부(61)를 1 프레임마다 배열한 데이터 구조로 하여도 무방하다.
여기서, 상기 형상 데이터부(51)는 상기 도 1의 (a)에 도시하는 각 블럭에 대응하는, 임의 형상 부호화 신호의 형상 부호화 비트열을 1 프레임분 정리하여 이루어지는 것이며, 상기 텍스쳐 데이터부(52)는 상기 도 1의 (a)에 도시하는 각 블럭에 대응하는 임의 형상 부호화 신호의 텍스쳐 부호화 비트열을 1 프레임분 정리하여 이루어지는 것이다. 또한, 상기 형상 데이터부(61)는 상기 도 1의 (b)에 도시하는 각 블럭에 대응하는, 2치 부호화 신호의 형상 부호화 비트열을 1 프레임분 정리하여 이루어지는 것이다.
(실시예 2)
도 3은 본 발명의 실시예 2에 의한 화상 부호화 장치의 구성을 나타내는 블럭도이다. 도면에 있어서, (100a)는 상기 실시예 1의 화상 전송용 데이터 구조를 갖는 화상 부호화 신호를 생성하는 화상 부호화 장치이며, 화상 입력 신호 Sin으로서 팩시밀리 장치의 스캐너 등으로부터 2치 화상을 표시하기 위한 2치 화상 신호 S2를 수신했을 때, 부호화 화상 출력 Eo로서 도 1의 (b)에 나타내는 2치 부호화 신호(E2)(600)를 출력하는 한편, 화상 입력 신호 Sin으로서 비디오 카메라나 화상 재생 장치로부터의 디지탈 화상 신호 Sp를 수신했을 때, 부호화 화상 출력 Eo로서 도1의 (a)에 나타내는 임의 형상 부호화 신호(Ep)(500)를 각 물체마다 출력하는 구성으로 되어 있다.
즉, 이 화상 부호화 장치(100a)는, 상기 화상 입력 신호 Sin에 부호화전(前) 처리를 실시하여 2치의 형상 신호와 텍스쳐 신호를 생성함과 동시에, 스위치 제어 신호 SWa를 출력하는 화상 입력 장치(110)와, 상기 형상 신호에 대하여 산술 부호화 처리를 실시하는 형상 부호화부(제 1 부호화 수단)(120)와, 상기 텍스쳐 신호에 대하여 DCT 처리를 포함하는 부호화 처리를 실시하는 텍스쳐 부호화부(제 2 부호화 수단)(130)와, 상기 스위치 제어 신호 SWa에 의해 상기 화상 입력 장치(110)의 출력을 상기 양 부호화부 중 한쪽에 공급하는 전환 스위치(101a)와, 예측 형상 신호 및 예측 텍스쳐 신호를 기억하는 프레임 메모리 뱅크(102a)를 갖고 있다.
여기서, 상기 화상 입력 장치(110)는, 스캐너 등으로부터의 2치 화상 신호와, 카메라나 화상 기록 재생기(VTR) 등으로부터의 디지탈 비디오 신호를 구별하여, 2치 화상 신호에 대해서는 임계값 처리에 의해 형상 신호를 생성하고, 디지탈 비디오 신호에 대해서는 크로마키 처리에 의해 표시 화면상의 각 물체에 대응하는 임의 형상 화상 신호와 배경 화면의 화상 신호를 분리하며, 또한 해당 임의 형상 화상 신호로부터 물체의 형상을 나타내는 형상 신호와, 물체의 계조 컬러 표시를 하기 위한 휘도 신호 및 색차 신호로 이루어지는 텍스쳐 신호를 생성하고, 이 때 2치 화상 신호와 임의 형상 화상 신호 중 어느쪽의 신호에 대한 처리를 실행했는지를 나타내는 식별 신호(화상 식별자) Sdis를 출력하는 구성으로 되어 있다.
즉, 상기 화상 입력 장치(110)는 도 7의 (a)에 도시하는 바와 같이 디지탈화상 입력 Sin이 2치 화상 신호인지 임의 형상 화상 신호인지를 식별하여 분리하는 식별 수단(111)과, 2치 화상 신호에 대하여 표시 화면을 분할하는 각각의 블럭마다 임계값 처리를 실시하여 2치의 형상 신호를 작성하는 임계값 처리기(112)와, 임의 형상 화상 신호에 대하여 표시 화면상의 각각의 물체에 대응하는 오브젝트 영역마다 크로마키 처리를 실시해서 2치의 형상 신호와 다치의 텍스쳐 신호를 작성함과 동시에, 텍스쳐 신호의 처리 종료시에 타이밍 신호 T를 출력하는 크로마키 처리기(113)와, 상기 식별 수단(111)으로부터의 식별 신호 Sdis와 크로마키 처리기(113)로부터의 타이밍 신호 T에 근거하여 상기 전환 스위치(101a)를 스위치 제어 신호 SWa에 의해 제어하는 스위치 제어 회로(114)로 구성되어 있다.
상기 형상 부호화부(120)는, 상기 2치 화상에 대응하는 형상 신호 S2k 혹은 임의 형상 화상에 대응하는 형상 신호 Spk를 수신하여, 처리 대상으로 되어 있는 현재 화면보다 이전 화면의 형상 신호를 참조하여, 각 블럭마다 블럭 매칭 등의 방법에 의해 형상 움직임 벡터 Skv를 생성하는 형상 움직임 검출기(121)와, 해당 형상 움직임 벡터 Skv를 프레임 메모리 뱅크(102a)의 어드레스로 변환하고, 이 어드레스에 근거하여 상기 프레임 메모리 뱅크(102a)로부터 예측 형상 신호 Ekm을 취득하는 형상 움직임 보상기(123)를 갖고 있다. 또한, 상기 형상 부호화부(120)는, 각 블럭마다 상기 전환 스위치(101a)로부터의 형상 신호 Sk에 해당 예측 형상 신호 Ekm을 이용한 산술 부호화 처리를 실시하여 형상 부호화 비트열 Ek를 생성하는 산술 부호화기(122)와, 상기 형상 부호화 비트열 Ek를 상기 예측 형상 신호 Ekm을 이용한 산술 복호화 처리에 의해 복호화하는 산술 복호화기(124)를 갖고 있으며, 이산술 복호화기(124)의 출력 Ekd가 상기 프레임 메모리 뱅크(102a)에 저장되도록 되어 있다.
상기 텍스쳐 부호화부(130)는 상기 텍스쳐 신호 Spt를 수신하여, 처리 대상으로 되어 있는 현재 화면보다 이전 화면의 텍스쳐 신호를 참조해 각 블럭마다 블럭 매칭 등의 방법에 의해 텍스쳐 움직임 벡터 Stv를 생성하는 텍스쳐 움직임 검출기(131)와, 해당 텍스쳐 움직임 벡터 Stv를 프레임 메모리 뱅크(102a)의 어드레스로 변환하고, 이 어드레스에 근거하여 상기 프레임 메모리 뱅크(102a)로부터 예측 텍스쳐 신호 Epm을 취득하는 텍스쳐 움직임 보상기(132)를 갖고 있다. 또한, 상기 텍스쳐 부호화부(130)는 상기 텍스쳐 신호 Spt와 예측 텍스쳐 신호 Epm을 가산하는 제 1 가산기(133)와, 이 가산 출력 Sad1에 대하여 각 블럭마다 DCT 처리를 실시해 DCT 계수 Edct를 생성하는 코사인 변환기(134)와, 해당 DCT 계수 Edct에 대하여 각 블럭마다 양자화 처리를 실시하는 양자화기(135)를 갖고 있다.
또한, 상기 텍스쳐 부호화부(130)는, 해당 양자화기(135)의 출력 Eq에 각 블럭마다 가변 길이 부호화 처리를 실시하여 텍스쳐 부호화 비트열 Ept를 생성하는 가변 길이 부호화기(139)와, 상기 양자화기(135)의 출력 Eq에 역양자화 처리를 실시하는 역양자화기(136)와, 그 출력 Eiq에 대하여 역DCT 처리를 실시하는 역코사인 변환기(137)와, 해당 역코사인 변환기(137)의 출력 Eidct와 상기 예측 텍스쳐 신호 Epm을 가산하는 제 2 가산기(138)를 갖고 있고, 해당 제 2 가산기(138)의 출력 Spd2가 예측 텍스쳐 신호로서 상기 프레임 메모리 뱅크(102a)에 저장되도록 되어 있다.
그리고, 상기 화상 부호화 장치(100a)는, 상기 화상 입력 장치(110)로부터의 형상 식별자 Sdis, 형상 부호화부(120)로부터의 형상 움직임 벡터 Skv 및 형상 부호화 비트열 Ek와, 상기 텍스쳐 부호화부(130)로부터의 텍스쳐 움직임 벡터 Stv 및 텍스쳐 부호화 비트열 Ept를 다른 필요한 데이터와 더불어 다중화하는 다중기(150)를 갖고 있다. 이 다중기(150)는 2치 화상 신호 S2가 입력되었을 때, 상기 형상 식별자 Sdis 및 형상 부호화부(120)로부터의 형상 부호화 비트열을 그 밖의 필요한 데이터와 함께 다중화하여, 도 1의 (b)에 나타내는 2치 부호화 신호(E2)(600)를 출력하고, 임의 형상 화상 신호 Sp가 입력되었을 때, 상기 형상 식별자 Sdis, 상기 형상 부호화부(120)로부터의 형상 부호화 비트열과, 텍스쳐 부호화부(130)로부터의 텍스쳐 부호화 비트열을 그 밖의 필요한 데이터와 함께 다중화하여, 도 1의 (a)에 나타내는 임의 형상 부호화 신호(Ep)(500)를 출력하도록 구성되어 있다.
다음에 동작에 대하여 설명한다.
도 4는 상기 실시예 2에 의한 화상 부호화 장치에 의한 부호화 처리의 흐름을 나타내고 있다.
본 화상 부호화 장치(100a)에 디지탈 화상 입력 Sin이 공급되면(단계 Sa1), 화상 입력 장치(110)에 의해 해당 디지탈 화상 입력 Sin이 스캐너 등으로부터의, 형상 신호만을 포함하는 2치 화상 신호인지, 혹은 카메라나 화상 기록 재생 장치(VTR) 등으로부터의, 형상 신호와 더불어 텍스쳐 신호를 포함하는 디지탈 비디오 신호인지가 식별된다(단계 Sa2).
여기서, 디지탈 화상 입력 Sin이 2치 화상 신호인 경우, 상기 화상 입력 장치(110)에서는, 형상 식별자(SID)로서 그 값이 「1」인 1 비트 식별 신호가 발생되고(단계 Sa3), 또한 해당 디지탈 화상 입력 Sin의 임계값 처리 등에 의해서 2치의 형상 신호 S2k가 추출된다. 이 때, 상기 전환 스위치(101a)는 상기 화상 입력 장치(110)로부터 출력되는 스위치 제어 신호 SWa에 의해 상기 형상 신호 S2k가 상기 형상 부호화부(120)로 공급되도록 전환되고, 이에 따라 해당 형상 부호화부(120)에 의해 해당 형상 신호 S2k의 산술 부호화 처리가 실행된다(단계 Sa4).
즉, 상기 형상 부호화부(120)에서는 형상 움직임 검출기(121)에 의해 상기 형상 신호 S2k로부터 형상 움직임 벡터 Skv가 각 블럭마다 생성된다. 구체적으로는, 처리 대상으로 되어 있는 현재 화면의 형상 신호가 현 화면 이전의 이전 화면의 형상 신호와 블럭 매칭 등의 방법에 의해 비교되어, 현재 화면과 이전 화면 사이에서의 화상 움직임이 검출되고, 그 움직임 정보가 움직임 벡터 Skv로서 구해진다. 또한, 이 움직임 검출의 상세한 설명에 대해서는, 예를 들면 USP(미국 특허 공보) 제 4897720 호에 개시되어 있다. 이 형상 움직임 벡터 Skv가 형상 움직임 보상기(123)에 입력되면, 해당 보상기(123)에서는 형상 움직임 벡터 Skv가 프레임 메모리 뱅크(102a)의 어드레스로 변환되고, 해당 보상기(123)에 의해 그 어드레스에 근거하여 프레임 메모리 뱅크(102a)로부터 예측 형상 신호 Ekm이 출력된다. 그리고, 출력된 예측 형상 신호 Ekm과 화상 입력 장치(110)로부터의 형상 신호 S2k가 상기 산술 부호화기(122)에 입력되면, 산술 부호화기(122)에 의해 상기 형상 신호 S2k에 상기 예측 형상 신호 Ekm에 기초한 산술 부호화 처리가 실시되고, 해당 부호화기(122)로부터는 형상 신호 S2k의 부호화에 의해 얻어지는 형상 데이터(형상 부호화 비트열(61B)) E2k가 출력된다. 또한, 산술 부호화 방법의 상세한 설명에 대해서는 JBIG 규격의 사양서(specification)에 개시되어 있다. 이 때, 상기 산술 복호화기(124)에 있어서, 상기 형상 데이터 E2k는 예측 형상 신호 Ekm을 이용한 산술 복호화 처리에 의해 복호화 형상 데이터 Ekd로서 재생되어, 프레임 메모리 뱅크(102a)에 저장된다.
그리고, 상기 형상 식별자 Sdis, 형상 움직임 벡터 Skv 및 형상 데이터 E2k가 상기 다중기(150)에 의해 출력되고, 또한 그 출력 단자(150a)로부터 데이터 전송부로 출력된다(단계 Sa5).
이 화상 부호화 장치(100a)에서는, 그 제어부(도시하지 않음)에 의해, 상기 단계 Sa2 내지 단계 Sa5에서 처리한 데이터(피처리 데이터)가 최종 화면(프레임)의 최종 블럭의 데이터인지 여부의 판정이 행해져서(단계 Sa1O), 상기 피처리 데이터가 최종 화면의 최종 블럭의 데이터가 아니면, 이 화상 부호화 장치(100a)에 의한 처리는 상기 단계 Sa2의 처리로 되돌아가고, 상기 피처리 데이터가 최종 화면의 최종 블럭의 데이터이면, 본 장치에 의한 처리는 종료된다.
한편, 단계 Sa2에서의 식별 결과, 디지탈 화상 입력 Sin이 형상 신호와 텍스쳐 신호를 포함하는 임의 형상 화상 신호 Sp인 경우, 상기 화상 입력 장치(110)에서는, 형상 식별자(SID)로서 그 값이 「0」인 1 비트의 식별 신호(형상 식별자) Sdis가 발생되고(단계 Sa6), 또한 해당 디지탈 화상 입력 Sin의 크로마키 처리에 의해서 형상 신호 Spk 및 텍스쳐 신호 Spt가 생성된다. 이 때, 상기 전환 스위치(101a)는, 상기 화상 입력 장치(110)로부터 출력되는 스위치 제어 신호 SWa에 의해 상기 형상 신호 Spk가 상기 형상 부호화부(120)로 공급되고, 상기 텍스쳐 신호 Spt가 상기 텍스쳐 부호화부(130)로 공급되도록 전환된다.
이에 따라 상기 형상 부호화부(120)에서는, 해당 임의 형상 화상 신호 Sp의 형상 신호 Spk에 대한 산술 부호화 처리가 상술한 2치 화상 신호 S2의 형상 신호 S2k에 대한 산술 부호화 처리와 완전히 동일하게 실행된 후(단계 Sa7), 텍스쳐 부호화부(130)에 의해 해당 텍스쳐 신호 Spt의 부호화 처리가 실행된다(단계 Sa8).
즉, 텍스쳐 부호화부(130)에서는, 텍스쳐 움직임 검출기(131)에 의해 텍스쳐 신호 Spt로부터 텍스쳐 움직임 벡터 Stv를 추출하고, 텍스쳐 움직임 보상기(132)에서는 해당 움직임 벡터 Stv에 근거하여 예측 텍스쳐 신호 Epm을 프레임 메모리 뱅크(102a)로부터 취득한다. 그리고, 제 1 가산기(133)에서는 예측 텍스쳐 신호 Epm과 입력된 임의 형상 화상 신호의 텍스쳐 신호 Spt와의 차분 데이터 Sad1이 구해지고, 이 차분 데이터가 코사인 변환기(134)에 의해 주파수 영역의 DCT 계수 Edct로 변환되어, 해당 DCT 계수가 양자화기(135)에 의해 양자화된다. 또한, 이와 같이 양자화된 양자화 DCT 계수 Eq는 가변 길이 부호화기(139)에 의해 가변 길이 부호화 처리가 실시되어 다중기(150)로 전송된다. 이 때 다중기(150)에는, 해당하는 블럭의 텍스쳐 움직임 벡터 Stv도 공급되어 있다.
또한, 상기 양자화된 양자화 DCT 계수 Eq는 역양자화기(136)에 의해 역양자화되고, 해당 역양자화기(136)의 출력 Eiq는 역코사인 변환기(137)에 의해 역코사인 변환이 실시되어 재생 텍스쳐 신호 Eidct로서 제 2 가산기(138)에 출력된다. 이 제 2 가산기(138)에서는 재생 텍스쳐 신호 Eidct와 상기 예측 텍스쳐 신호 Epm이 가산되어, 이 가산치 Sad2가 프레임 메모리 뱅크(102a)에 저장된다.
그리고, 상기 디지탈 화상 입력이 임의 형상 화상 신호인 경우, 다중기(150)에는, 화상 입력 장치(110)로부터는 형상 식별자 Sdis가, 형상 부호화부(120)로부터는 형상 움직임 벡터 Skv 및 형상 데이터 Epk가, 또한 텍스쳐 부호화부(130)로부터는 텍스쳐 움직임 벡터 Stv 및 텍스쳐 DCT 계수 Ept가 그 밖의 필요한 신호와 함께 공급되게 된다. 이에 따라, 다중기(150)로부터는 상기 각 데이터가 소정의 순서로 배열되어 도 1의 (a)에 나타내는 임의 형상 부호화 신호(Ep)(500)가 출력된다(단계 Sa9).
또한, 상기 2치 화상 신호의 경우와 마찬가지로, 이 화상 부호화 장치(100a)에서는, 그 제어부(도시하지 않음)에 의해, 상기 단계 Sa6 내지 단계 Sa9에서 처리한 데이터(피처리 데이터)가 최종 화상의 최종 블럭의 데이터인지 여부의 판정이 행해져서(단계 Sa1O), 해당 피처리 데이터가 최종 화면의 최종 블럭의 데이터가 아니면, 다음 블럭에 대응하는 형상 신호 및 텍스쳐 신호에 대하여 상기 단계 Sa6 내지 단계 Sa9의 처리를 행하고, 상기 단계에서 처리된 피처리 데이터(형상 신호 및 텍스쳐 신호)가 최종 화면의 최종 블럭의 데이터이면, 본 화상 부호화 장치(100a)에 의한 부호화 처리는 종료된다.
도시되어 있지 않지만, 상기 다중기(150)의 출력 단자(150a)는 부호화 데이터를 전송하는 전송부나 부호화 데이터를 기억하는 기록부에 접속되어 있다.
이와 같이 본 실시예 2에서는, 디지탈 화상 입력의 부호화 처리를 실행하는 화상 부호화 장치(100a)를, 디지탈 화상 입력이 2치 화상 신호인지 임의 형상 화상신호인지를 판정하여, 판정 결과에 따른 식별 신호(형상 식별자) Sids를 상기 각 화상 신호의 부호화 신호에 포함시켜 출력하도록 구성하였기 때문에, 2치 화상 신호 혹은 임의 형상 화상 신호의 부호화 신호를 복호화하는 복호화 장치에 있어서, 입력되는 부호화 신호가 텍스쳐 부호화 비트열을 포함하지 않은 2치 부호화 신호인 경우에는, 이것을 상기 형상 식별자에 의해 검출하여, 그 복호화 처리의 내용을 형상 부호화 비트열과 텍스쳐 부호화 비트열의 양쪽을 포함하는 임의 형상 부호화 신호에 대응한 처리 내용으로부터 2치 부호화 신호에 대응한 처리 내용으로 변경할 수 있다.
이 때문에, 형상 신호만을 포함하는 2치 화상 신호의 부호화 처리를 실행할 때에, 복호화측에서의 임의 형상 부호화 신호에 대응한 복호화 방식에 의해 2치 형상 신호를 복호화할 수 있도록, 형상 부호화 비트열에 의사 텍스쳐 부호화 비트열을 부가할 필요가 없어진다. 이 결과, 1개의 부호화 방식을 채용한 화상 복호화 장치에 의해, 서로 다른 부호화 방식에 의해 부호화한 부호화 신호를 복호화할 수 있도록 한 데이터 구조의 화상 부호화 신호를 부호화 처리에 필요로 되는 부호량의 증대를 거의 초래하는 일 없이 작성할 수 있다.
(실시예 3)
도 5는 본 발명의 실시예 3에 의한 화상 복호화 장치의 구성을 나타내는 블럭도이다. 도면에 있어서, (100b)는 상기 실시예 1의 화상 전송용 데이터 구조를 갖는 부호화 데이터에 대한 복호화 처리를 행하는 화상 복호화 장치이며, 부호화데이터 Eo로서 도 1의 (b)에 나타내는 2치 부호화 신호(E2)(600)를 수신했을 때, 복호화 화상 데이터 Dsyn으로서 2치 복호화 신호 D2를 출력하는 한편, 부호화 데이터 Eo로서 도 1의 (a)에 나타내는 임의 형상 부호화 신호(Ep)(500)를 수신했을 때, 복호화 화상 데이터 Dsyn으로서 임의 형상 복호화 신호 Dp를 각 물체마다 출력하는 구성으로 되어 있다.
즉, 이 화상 복호화 장치(100b)는, 입력 단자(160a)에 입력되는 부호화 데이터 Eo를 해석하여, 해당 해석 결과에 따른 스위치 제어 신호 SWb를 출력하는 데이터 해석기(160)와, 상기 형상 데이터(형상 신호의 부호화에 의해 얻어지는 형상 부호화 비트열)에 대하여 산술 복호화 처리를 실시하는 형상 복호화부(제 1 복호화 수단)(170)와, 상기 텍스쳐 DCT 계수 Ept에 대하여 역DCT 처리를 포함하는 복호화 처리를 실시하는 텍스쳐 복호화부(제 2 복호화 수단)(180)와, 상기 스위치 제어 신호 SWb에 의해, 상기 데이터 해석기(160)로부터 출력되는 해석 대상으로 된 부호화 신호를 상기 양 복호화부(170, 180) 중 한쪽에 공급하는 전환 스위치(101b)와, 예측 형상 신호 및 예측 텍스쳐 신호를 저장하는 프레임 메모리 뱅크(102b)를 갖고 있다.
여기서, 상기 형상 복호화부(170)는, 1개의 블럭에 대응하는 형상 부호화 비트열의 복호화 처리가 종료된 시점에서, 해당 블럭에 대응하는 형상 부호화 비트열 Ek(E2k 또는 Epk)의 종료점을 검출하여 해당 블럭에 대응하는 종료점 검출 신호 Te를 상기 데이터 해석기(160)에 출력하는 구성으로 되어 있다.
또한, 상기 데이터 해석기(160)는, 입력되는 부호화 신호에 있어서의 선두32 비트 동기 신호에 이어지는 1 비트 형상 식별자(도 1의 (a)의 임의 형상 부호화 신호(500)에 있어서의 형상 식별자(502), 도 1의 (b)에 나타내는 2치 부호화 신호에 있어서의 형상 식별자(602))를 조사하여, 형상 식별자의 설정값(SID)이 「SID=0」일 때에는, 입력된 부호화 신호에 있어서의 형상 부호화 비트열이 형상 복호화부(170)에 공급되고, 해당 부호화 신호에 있어서의 텍스쳐 부호화 비트열이 텍스쳐 복호화부(180)에 공급되도록, 스위치 제어 신호 SWb에 의해 전환 스위치(101b)를 제어하고, 형상 식별자의 설정값(SID)이 「SID=1」일 때에는, 입력된 부호화 데이터가 형상 복호화부(170)에만 공급되도록, 스위치 제어 신호 SWb에 의해 전환 스위치(101b)를 제어하는 구성으로 되어 있다.
구체적으로, 상기 데이터 해석기(160)는, 도 7의 (b)에 도시하는 바와 같이 복호화 참조 테이블이 저장된 테이블 저장부(162)와, 입력된 부호화 신호의 비트열을 복호화 참조 테이블의 비트열과 비교하여, 부호화 데이터에 포함되어 있는 형상 식별자, 형상 부호화 비트열, 텍스쳐 부호화 비트열을 식별하는 비교기(161)와, 해당 비교기(161)에서의 비교 결과 및 상기 종료점 검출 신호 Te에 근거하여 상기 전환 스위치(101b)를 스위치 제어 신호 SWb에 의해 제어하는 스위치 제어 회로(163)로 구성되어 있다.
상기 형상 복호화부(제 1 복호화 수단)(170)는, 상기 2치 화상에 대응하는 형상 움직임 벡터 혹은 임의 형상 화상에 대응하는 임의 형상 움직임 벡터를 수신하여, 해당 움직임 벡터에 근거해 프레임 메모리 뱅크(102b)에 저장되어 있는 예측 형상 신호의 어드레스를 생성하고, 프레임 메모리 뱅크(102b)로부터 예측 형상 신호 Emk를 취득하는 형상 움직임 보상기(172)와, 해당 예측 형상 신호 Emk를 참조하여, 입력된 형상 데이터 Ek를 복호화해 재생 형상 신호(형상 복호화 신호) Dk를 생성하는 산술 복호화기(171)를 가지며, 재생 형상 신호 Dk가 프레임 메모리 뱅크(102b)에 저장되도록 되어 있다. 여기서, 상기 산술 복호화기(171)는, 1개의 블럭에 대응하는 형상 부호화 비트열의 복호화 처리가 종료된 시점에서, 해당 블럭에 대응하는 형상 부호화 비트열 Ek(E2k 또는 Epk)의 종료점을 검출해 종료점 검출 신호 Te를 출력하는 구성으로 되어 있다. 또, 상기 움직임 보상의 상세한 설명에 대해서는, 예를 들면 USP(미국 특허 공보) 제 5157742 호에, 산술 복호화의 상세한 설명에 대해서는, 예를 들면 JBIG의 사양서에 개시되어 있다.
또한, 상기 텍스쳐 복호화부(제 2 복호화 수단)(180)는, 상기 텍스쳐 움직임 벡터를 수신하여, 해당 움직임 벡터에 근거해 예측 텍스쳐 신호를 취득하기 위한 어드레스를 생성하고, 이 어드레스를 이용하여 프레임 메모리 뱅크(102b)로부터 예측 텍스쳐 신호 Emp를 취득하는 텍스쳐 움직임 보상기(184)와, 텍스쳐 부호화 비트열에 있어서의 양자화폭 및 DCT 계수를 수신하여, 해당 DCT 계수에 대해 역양자화 처리를 실시하는 역양자화기(181)와, 역양자화된 역양자화 DCT 계수 Diq에 대하여 역코사인 변환을 실시하는 역코사인 변환기(182)와, 예측 텍스쳐 신호 Emp와 역코사인 변환 출력 Didct를 가산하여 재생 텍스쳐 신호(텍스쳐 복호화 신호) Dpt를 출력하는 가산기(183)를 갖고 있으며, 해당 가산기(183)로부터의 재생 텍스쳐 신호 Dpt가 상기 프레임 메모리 뱅크(102b)에 저장되도록 되어 있다.
그리고, 이 화상 복호화 장치(100b)는, 재생한 텍스쳐 신호 Dpt와, 대응하는재생 형상 신호 Dk를 필요로 하는 화상 데이터와 합성하여, 임의 형상 부호화 신호 Ep에 대응하는 임의 형상 재생 신호 Dp를 포함하는 합성 화상 데이터 Dsyn을 표시기(104)에 출력함과 동시에, 상기 2치 부호화 신호 E2에 대응하는 2치 재생 신호 D2를 출력하는 합성기(190)를 갖고 있다. 또, 합성기(190)로부터 출력되는 신호는 표시기(104)가 아닌 프린터(도시하지 않음)에 출력하도록 하여도 무방하다. 또한, 상기 합성기(190)에서는 2치 재생 신호 D2를 다른 임의 형상 화상 신호와 합성하는 것도 가능하다.
또한, 본 실시예에서의 임의 형상 화상 신호의 복호화 처리시에 있어서는, 재생 형상 신호가 0(zero)인 화소에 대해서는 재생 텍스쳐 신호에 있어서의 화소값을 소정 화상의 화소값으로 치환하도록 하고 있다. 이 소정의 화상은, 수신측에서 미리 준비한 화상이어도 무방하고, 별도의 화상 복호화 장치에 의해 재생된 화상이어도 무방하다.
다음에 동작에 대하여 설명한다.
도 6은 본 발명의 실시예 3에 의한 화상 복호화 장치에 의한 복호화 처리의 흐름을 나타내고 있다. 도 1의 (a) 혹은 도 1의 (b)에 나타내는 데이터 구조의 화상 부호화 신호가 이 화상 복호화 장치(100b)에 입력되면, 데이터 해석기(160)에 의해 해당 화상 부호화 신호에 있어서의 32 비트의 동기 신호 뒤에 이어지는 1 비트의 형상 식별자의 해석이 행하여져서, 그 값(SID)이 「SID=1」인지 여부가 판정된다(단계 Sb1).
이 판정 결과, 「SID=1」인 경우, 입력되는 화상 부호화 신호 Eo가 화상 정보로서 형상 부호화 비트열만을 포함하는 2치 부호화 신호 E2이기 때문에, 데이터 해석기(160)는, 2치 부호화 신호의 각 블럭에 대응하는 형상 부호화 비트열이 항상 형상 복호화부(170)에 전송되도록, 전환 스위치(101b)를 스위치 제어 신호 SWb에 의해 전환 제어한다. 이에 따라, 상기 형상 복호화부(170)에 의해 2치 부호화 신호에 있어서의 형상 부호화 비트열의 복호화 처리가 실행된다(단계 Sb2).
즉, 형상 움직임 벡터 MV가 형상 움직임 보상기 (172) 및 산술 복호화기(171)에 입력된다. 그렇게 하면, 형상 움직임 보상기(172)는, 형상 움직임 벡터 MV에 근거하여 프레임 메모리 뱅크(102b)에 있는 예측 형상 신호의 어드레스를 생성하고, 해당 프레임 메모리 뱅크(102b)로부터 예측 형상 신호 Emk를 취득한다. 이 예측 형상 신호 Emk가 산술 복호화기(171)에 송신되면, 산술 복호화기(171)에서는 예측 형상 신호 Emk를 참조하여 형상 부호화 비트열 E2k에 대한 산술 복호화 처리가 행해져서 2치 복호화 신호 D2k가 생성된다. 그리고, 이 2치 복호화 신호 D2k는 상기 프레임 메모리 뱅크(102b) 및 합성기(190)로 송신된 다음, 다시 합성기(190)로부터 표시기(104)로 송출되어 화상 표시된다(단계 Sb6). 또한, 복호화된 2치 복호화 신호는 다른 임의 형상 화상 신호와 합성하여 표시하도록 하여도 무방하다.
그 후, 상기 2치 부호화 신호가 최종 화면의 최종 블럭의 데이터인지 여부의 판정이 행해져서(단계 Sb7), 상기 2치 부호화 신호가 최종 화면의 최종 블럭의 데이터가 아니면, 상기 단계 Sb1, Sb2, Sb6에서의 처리를 다음 블럭에 대한 2치 부호화 신호에 대하여 실행하고, 반대로 상기 2치 부호화 신호가 최종 화면의 최종 블럭의 데이터이면, 2치 부호화 신호의 복호화 처리가 종료된다.
한편, 상기 판정 결과, 「SID=0」인 경우, 입력된 화상 부호화 신호에는 화상 정보로서 형상 부호화 비트열과 텍스쳐 부호화 비트열이 포함되기 때문에, 데이터 해석기(160)는 전환 스위치(101b)를 스위치 제어 신호 SWb에 의해 제어하여, 임의 형상 부호화 신호의 각 블럭에 대응하는 형상 부호화 비트열이 형상 복호화부(170)에 공급되고, 각 블럭에 대응하는 텍스쳐 부호화 비트열이 텍스쳐 복호화부(180)에 공급되도록 한다. 이에 따라, 임의 형상 부호화 신호에 있어서의 형상 부호화 비트열과 텍스쳐 부호화 비트열이 분리되어(단계 Sb3), 분리된 형상 부호화 비트열이 상기 형상 복호화부(170)에 의해 복호화되고, 분리된 텍스쳐 부호화 비트열이 상기 텍스쳐 복호화부(180)에 의해 복호화된다(단계 Sb4, Sb5).
즉, 형상 부호화 비트열 Epk가, 상기 2치 화상 신호의 형상 부호화 비트열 E2k와 마찬가지로 상기 형상 복호화부(170)에 의해 복호화된다. 1개의 블럭에 대응하는 형상 부호화 비트열 Epk의 복호화 처리가 종료된 시점에서, 산술 복호화기(171)에서는, 이 블럭에 대응하는 형상 부호화 비트열 Epk의 종료점이 검출되어, 이 종료점 검출 신호 Te가 상기 데이터 해석기(160)에 출력된다. 그렇게 하면, 데이터 해석기(160)는 스위치 제어 신호 SWb에 의해 전환 스위치(101b)를 제어하여, 입력되는 화상 부호화 신호가 상기 텍스쳐 복호화부(180)에 공급되도록 한다.
이에 따라, 텍스쳐 부호화 비트열 Ept는 데이터 해석기(160)로부터 텍스쳐 복호화부(180)에 전송된다. 해당 복호화부(180)에서는, 상기 비트열에 있어서의양자화폭과 DCT 계수가 역양자화기(181)에 공급되어 DCT 계수의 역양자화 처리가 행해진다. 역양자화 출력 Diq는 역코사인 변환기(182)에 의해 역코사인 변환된다.
또한, 이 때 텍스쳐 움직임 벡터 MV는 텍스쳐 움직임 보상기(184)에 공급되어 있으며, 해당 보상기(184)는 해당 텍스쳐 움직임 벡터 MV에 근거하여 예측 텍스쳐 신호를 취득하기 위한 어드레스를 생성하여 이 어드레스를 이용해 프레임 메모리 뱅크(102b)로부터 예측 텍스쳐 신호 Emp를 취득한다.
그리고, 가산기(183)에서는 상기 역코사인 변환기(182)의 출력 Didct와 예측 텍스쳐 신호 Emp의 가산 처리가 행해지고, 해당 가산기(183)로부터는 텍스쳐 복호화 신호 Dpt가 출력된다. 이 텍스쳐 복호화 신호 Dpt는 프레임 메모리 뱅크(102b) 및 합성기(190)에 공급된다. 해당 합성기(190)에서는, 재생한 상기 텍스쳐 복호화 신호 Dpt와, 대응하는 재생한 형상 복호화 신호 Dk를, 필요로 하는 화상과 합성하여 합성 화상 데이터 Dsyn을 생성한다. 또, 상기 텍스쳐 부호화 비트열의 부호화 처리가 종료된 시점에서, 데이터 해석기(160)는 해당 텍스쳐 부호화 비트열의 종료점을 검출해 스위치 제어 신호 SWb에 의해 전환 스위치(101b)를 전환하여, 입력되는 화상 부호화 신호가 상기 형상 복호화부(170)에 공급되도록 한다.
또한, 합성된 재생 데이터가 합성기(190)로부터 표시기(104)에 송출되어 화상 표시된다(단계 Sb6).
그 후, 상기 임의 형상 부호화 신호가 최종 화면의 최종 블럭의 데이터인지 여부의 판정이 행해져서(단계 Sb7), 상기 임의 형상 부호화 신호가 최종 화면의 최종 블럭의 데이터가 아니면, 상기 단계 Sb3 내지 Sb7에서의 처리를 다음 블럭의 임의 형상 부호화 신호에 대하여 실행하고, 상기 임의 형상 부호화 신호가 최종 화면의 최종 블럭의 데이터이면, 임의 형상 부호화 신호의 복호화 처리를 종료한다.
또, 본 실시예 3에 있어서, 재생한 형상 복호화 신호가 0인 화소에 대해서는, 재생한 텍스쳐 복호화 신호의 화소값을 소정 화상의 화소로 치환한다. 이 소정의 화상은 수신측에서 미리 준비한 화상이어도 무방하고, 별도의 복호화기에 의해 재생된 화상이어도 무방하다.
이와 같이 본 실시예 3의 화상 복호화 장치(100b)에서는, 입력되는 부호화 데이터를 해석하는 데이터 해석기(160)를, 입력되는 화상 부호화 신호가, 형상 부호화 비트열만을 화상 정보로서 포함하는 2치 부호화 신호인지, 형상 부호화 비트열 이외에 텍스쳐 부호화 비트열을 포함하는 임의 형상 부호화 신호인지를 나타내는 형상 식별자를 검출하여, 해당 형상 식별자의 값에 따라 입력 부호화 신호에 있어서의 비트열을 형상 복호화부(170)와 텍스쳐 복호화부(180) 사이에서 전환해 이들 중 한쪽에 공급하도록 구성하였기 때문에, 2치 부호화 신호를 작성할 때, 형상 부호화 비트열에 의사 텍스쳐 부호화 비트열을 부가하지 않더라도, 임의 형상 부호화 신호에 대응하는 복호화 방식에 의해 2치 부호화 신호의 복호화를 실행하는 것이 가능하게 된다. 이 때문에, 1개의 부호화 방식에 의해, 데이터 구조가 서로 다른 2치 화상 신호와 임의 형상 화상 신호의 양쪽을 부호화하고, 또한 1개의 복호화 방식에 의해 해당 양 화상 신호의 복호화 처리를 실행하도록 할 때에도, 2치 화상 신호의 부호화, 전송, 복호화를 처리 비트수를 적게 억제하여 효율적으로 실행할 수 있다.
(실시예 4)
도 8은 본 발명의 실시예 4에 의한 화상 복호화 장치의 구성을 나타내는 블럭도이다. 도면에 있어서, (100c)는 본 실시예 4의 화상 복호화 장치로서, 이 화상 복호화 장치(100c)는 상기 실시예 3에 있어서의 화상 복호화 장치(100b)의 구성에 덧붙여, 텍스쳐 복호화부(180)에서의 복호화 처리에 부가하는 부하를 합성기(190c)의 동작 상태에 근거해 모니터하여, 이 부하가 소정값 이상으로 되었을 때, 과부하 검출 신호 Lov를 출력하는 제어기(105)를 구비하고 있다.
또한, 본 장치(100c)는 실시예 3에 있어서의 데이터 해석기(160) 대신에, 상기 종료점 검출 신호 Te 및 과부하 검출 신호 Lov에 근거하여 스위치 제어 신호 SWc를 발생하는 기능을 갖는 데이터 해석기(166)를 구비하고 있다. 이 데이터 해석기(166)는, 그 밖의 구성은 상기 데이터 해석기(160)와 동일하게 되어 있다.
또한, 본 장치(100c)는 실시예 3에 있어서의 전환 스위치(101b) 대신에, 데이터 해석기(166)로부터의 화상 부호화 신호를 수신하는 입력단 Cin과, 3개의 출력 접점 Co1, Co2, Co3을 갖고, 상기 스위치 제어 신호 SWc에 의해 전환 동작을 하는 전환 스위치(101c)를 구비하고 있다. 여기서, 상기 출력 접점 Co1은 산술 복호화기(171)의 입력에 접속되고, 상기 출력 접점 Co2는 접지되며, 상기 출력 접점 Co3은 텍스쳐 복호화부(180)에 있어서의 역양자화기(181)의 입력 및 움직임 보상기 (184)의 입력에 접속되어 있다.
또한, 상기 제어기(105)는, 복호화 장치 전체를 관리하기 위한 복수의 기능을 갖는 것으로, 그 복수의 기능 중 한 기능으로서, 미리 설정된 1 화면의 화상 표시를 하는 시간 간격 동안에 해당하는 1 화면의 화상 합성 처리가 완료되지 않은 경우에는, 텍스쳐 복호화부(180)에서의 복호화 처리에 부가되는 부하 Lde가 큰 것을 검지하여 스위치 제어 신호 SWc를 출력하는 기능을 갖고 있다.
또한, 상기 데이터 해석기(166)는, 상기 과부하 검출 신호 Lov를 수신했을 때, 상기 스위치 제어 신호 SWc에 의해 입력단 Cin이 제 1 출력 접점 Co1과 제 2 출력 접점 Co2 사이에서 전환하여 접속되도록 전환 스위치(101c)를 제어한다. 이 때의 전환 스위치(101c)의 전환 제어는, 임의 형상 부호화 신호 Ep의 텍스쳐 부호화 비트열 Ept가 접지측에 공급되고, 임의 형상 부호화 신호 Ep의 형상 부호화 비트열 Ekt가 상기 산술 복호화기(171)에 공급되도록 실행된다.
또한, 본 실시예 4에 있어서, 상기 합성기(190c)는 실시예 3의 합성기(190) 기능에 덧붙여, 상기한 바와 같이 텍스쳐 부호화 신호의 복호화 처리에 큰 부하가 부가되어 있을 때에, 텍스쳐 복호화 신호로서는 피처리 대상으로 되어 있는 현재 화면에 대응하는 대신, 해당 현재 화면 이전의 이전 화면 텍스쳐 복호화 신호를 현재 화면에 대응하는 형상 복호화 신호와 합성하는 기능을 갖고 있다.
또, 상기 데이터 해석기(166)는 상기 부하 검출 신호 Lov를 수신하고 있지 않은 상태, 즉 화상 복호화 처리에 큰 부하가 부가되어 있지 않은 상태에서는, 상기 스위치 제어 신호 SWc에 의해 입력단 Cin이 제 1 출력 접점 Co1과 제 3 출력 접점 Co3 사이에서 전환하여 접속되도록 전환 스위치(101c)를 제어한다. 이에 따라, 본 실시예 4의 화상 복호화 장치(100c)에서는, 상기 실시예 3의 화상 복호화 장치(100b)에 있어서의 화상 복호화 처리와 동일한 화상 복호화 처리가 실행되게된다.
다음에 작용 효과에 대하여 설명한다.
본 실시예 4의 화상 복호화 장치(100c)에 있어서의 기본적인 동작, 즉 화상 부호 신호에 대한 화상 복호화 처리는 상기 실시예 3의 화상 복호화 장치(100b)와 완전히 동일하며, 여기서는 제어기(105)에 관련된 동작에 대해서만 설명한다.
예를 들면, 임의 형상 부호화 신호 Ep의 복호화 처리가 상기 텍스쳐 복호화부(180)에 의해 실행되고 있는 상태에서, 처리 대상 화면의 화상이 표시되는 시각으로 되어도 해당 화면에 대응하는 화상 복호화 신호의 합성 처리가 완료되지 않을 때, 상기 제어기(105)는 화상 복호화 처리에 큰 부하가 부가되어 있는 것을 검지하여 과부하 검출 신호 Lov를 데이터 해석기(166)에 출력한다. 그렇게 하면, 상기 전환 스위치(101c)는 상기 데이터 해석기(166)로부터의 스위치 제어 신호 SWc에 의해 그 전환 동작이 제어되게 되고, 이에 따라 상기 데이터 해석기(166)로부터의 임의 형상 부호화 신호 Ep에 대해서는 그 형상 부호화 비트열 Epk가 상기 전환 스위치(101c)의 제 1 출력 접점 Co1을 거쳐 형상 복호화부(170)에 공급되고, 그 텍스쳐 부호화 비트열 Ept가 상기 전환 스위치(101c)의 제 2 출력 접점 Co2를 거쳐 접지측으로 배출되게 된다.
또한, 이 때에는, 처리 대상으로 되어 있는 현재 화면에 대응하는 텍스쳐 복호화 신호 대신에, 해당 현 화면 이전의 이전 화면에 대응하는 텍스쳐 복호화 신호를 현재 화면에 대응하는 형상 복호화 신호와 합성한다.
이와 같이 본 실시예 4에서는, 화상 복호화 장치에 있어서의 연산 프로세서의 부하를 모니터하여, 각 화면에 대응하는 임의 형상 화상 신호의 복호화 처리가 각 화면에 대응하는 화상의 표시 타이밍에 부합하지 않을 때, 임의 형상 부호화 신호에 있어서의 형상 부호화 비트열만을 재생하고, 텍스쳐 부호화 비트열에 대해서는 이전에 재생된 것을 이용하여 화상 표시를 하도록 하였기 때문에, 복호화 처리에 큰 부하가 부가되어 있는 상태에서도, 표시 화상이 도중에 끊기는 일 없이 화상의 흐름을 매끄럽게 표시할 수 있다.
또, 상기 실시예 4에서는, 복호화 처리에 있어서의 부하의 크기를 검지하는 방법으로서, 각 화면에 대응하는 복호화 화상 신호가 각 화면의 화상의 표시 타이밍에 부합하지 않은 경우, 부하가 큰 것으로 판단하는 방법을 이용하였지만, 부하의 검지 방법은 이것에 한정되는 것이 아니다.
또한, 상기 실시예 4에서는, 복호화 처리에 있어서의 부하가 큰 경우, 임의 형상 부호화 신호에 있어서의 형상 부호화 비트열의 복호화 처리만을 실행하고, 임의 형상 부호화 신호에 있어서의 텍스쳐 부호화 비트열의 복호화 처리를 실행하지 않도록 하였지만, 이것은 텍스쳐 부호화 비트열의 복호화 처리만을 실행하고, 형상 부호화 비트열의 복호화 처리를 실행하지 않도록 하여도 무방하다.
이 경우, 피처리 대상으로 되어 있는 현재 화면에 대응하는 형상 복호화 신호 대신에, 해당 현 화면 이전의 이전 화면에 대응하는 형상 복호화 신호를 현재 화면에 대응하는 텍스쳐 복호화 신호와 합성하도록 한다.
(실시예 5)
도 9는 본 발명의 실시예 5에 의한 화상 복호화 장치의 구성을 나타내는 블럭도이다. 도면에 있어서, (100d)는 본 실시예 5의 화상 복호화 장치로서, 이 화상 복호화 장치(100d)는 상기 실시예 4에 있어서의 화상 복호화 장치(100c)의, 복호화 처리에 있어서의 부하의 크기를 검지하는 제어기(105) 기능 대신에, 해당 화상 복호화 장치(100d)에 외부로부터 수동 제어 신호 Min을 입력하기 위한, 마우스나 리모트 콘트롤러 등의 입력 단말(106)을 구비하고, 해당 입력 단말(106)로부터의 수동 제어 신호 Min을 상기 과부하 검지 신호 Lov 대신에 상기 데이터 해석기(165)에 공급하도록 하고 있다. 그 밖의 구성은 상기 실시예 4와 동일하다.
즉, 상기 데이터 해석기(165)는, 상기 수동 제어 신호 Min을 수신했을 때에는, 상기 스위치 제어 신호 SWc에 의해 그 입력단 Cin이 제 1 출력 접점 Co1과 제 2 출력 접점 Co2 사이에서 전환하여 접속되도록 전환 스위치(101c)를 제어한다. 이 때의 전환 스위치(101c)의 전환 제어는, 임의 형상 부호화 신호 Ep의 텍스쳐 부호화 비트열 Ept가 접지측으로 배출되고, 임의 형상 부호화 신호 Ep의 형상 부호화 비트열 Epk가 상기 산술 복호화기(171)에 공급되도록 실행된다.
또한, 본 실시예 5에 있어서도 상기 실시예 4와 마찬가지로, 합성기(190c)는, 상기한 바와 같이 수동 제어 신호 Min이 데이터 해석기(165)에 출력되고 있을 때에는, 피처리 대상으로 되어 있는 현재 화면에 대응하는 텍스쳐 복호화 신호 대신에 해당 현 화면 이전의 이전 화면에 대응하는 텍스쳐 복호화 신호를 현재 화면에 대응하는 형상 복호화 신호와 합성하는 구성으로 되어 있다.
또, 상기 데이터 해석기(165)는 상기 수동 제어 신호 Min을 수신하지 않은 상태에서는, 상기 스위치 제어 신호 SWc에 의해 입력단 Cin이 제 1 출력 접점 Co1과 제 3 출력 접점 Co3 사이에서 전환하여 접속되도록 전환 스위치(101c)를 제어한다. 이에 따라, 본 실시예 5의 화상 복호화 장치(100d)에서는, 상기 실시예 3의 화상 복호화 장치(100b)에 있어서의 화상 복호화 처리와 동일한 화상 복호화 처리가 실행되게 된다.
이러한 구성의 실시예 5에 의한 화상 복호화 장치(100d)에서는, 화상 복호화 장치(100d)에 외부로부터 수동 제어 신호 Min을 입력하기 위한, 마우스나 리모트 콘트롤러 등의 입력 단말(106)을 구비하여, 해당 입력 단말(106)로부터의 수동 제어 신호 Min에 의해 데이터 해석기(165)에 의한 상기 전환 스위치(101c)의 제어를 변경하도록 하였기 때문에, 사용자의 조작에 의해서, 사용자가 목적으로 하는 재생 화상을 얻을 수 있을 때까지는 텍스쳐 부호화 비트열의 복호화 처리를 행하지 않고서, 형상 부호화 비트열의 복호화 처리만을 실행하도록 할 수 있으며, 이에 따라 기록 매체에 기록되어 있는 부호화 신호를 재생하는 경우, 목적으로 하는 화상의 헤드 정보 추출을 신속하게 실행할 수 있다.
또, 상기 실시예 2 내지 실시예 5에서는, 부호화 처리 혹은 복호화 처리로서, 프레임간 예측 부호화 방식에 대응하는 임의 형상 부호화 신호(500)(도 1의 (a)) 및 2치 부호화 신호(도 1의 (b))를 대상으로 하는 것에 대하여 설명하였지만, 프레임내 부호화 방식에 대응한 부호화 처리 및 복호화 처리에 있어서도, 식별 신호(형상 식별자)의 발생 및 검출은 상기 실시예 2 내지 실시예 5의 경우와 마찬가지로 실행됨은 물론이다.
또한, 상기 각 실시예 2 내지 실시예 5에서는, 부호화 처리 혹은 복호화 처리로서, 도 1의 (a)에 나타내는 데이터 구조의 임의 형상 부호화 신호(500)와, 도 1의 (b)에 나타내는 데이터 구조의 2치 부호화 신호의 처리에 대하여 설명하였지만, 본 발명의 기본 원리, 즉 임의 형상 화상 신호나 2치 화상 신호 등의 데이터 구조가 상이한 화상 신호를 식별하는 화상 식별자를, 각각의 화상 신호의 부호화시에 부가하여 전송하고, 이들 부호화 신호의 복호화시에, 상기 화상 식별자를 검출하여 복호화 처리를 임의 형상 부호화 신호나 2치 부호화 신호 등의 각각의 부호화 신호에 대응한 것으로 한다고 하는 기본 원리는, 도 2의 (a)에 나타내는 데이터 구조의 임의 형상 부호화 신호(500b)와, 도 2의 (b)에 나타내는 데이터 구조의 2치 부호화 신호(600b)를 대상으로 하는 처리에 대해서도 적용할 수 있다.
또한, 상기 실시예 1 내지 실시예 5에서는, 데이터 구조가 서로 다른 화상 부호화 신호를 식별하기 위한 화상 식별자로서는, 임의 형상 부호화 신호와 2치 부호화 신호를 식별하기 위한 1 비트의 부호로 이루어지는 형상 식별자(SID=0 또는 1)를 이용하고 있지만, 상기 화상 식별자는 2 비트의 부호로 이루어지는 것(SID=00, 01, 10 또는 11)이어도 무방하고, 3 비트 이상의 부호로 이루어지는 것이어도 무방하다. 이 경우에는 더 많은 화상 부호화 신호를 화상 식별자에 의해 식별하는 것이 가능해진다.
또한, 다수의 화상 부호화 신호를 화상 식별자에 의해 식별하는 경우, 소정의 화상 부호화 신호에 대해서는 다른 화상 부호화 신호와는 비트수가 상이한 화상식별자를 이용하여도 좋다. 예를 들면, 2 비트의 부호로 이루어지는 화상 식별자를 포함하는 화상 부호화 신호와, 3 비트의 부호로 이루어지는 화상 식별자를 포함하는 화상 부호화 신호를 1개의 부호화 방식에 대응한 시스템으로 취급하도록 하여도 좋다. 이 경우, 각 화상 식별자에는 효율적으로 부호를 할당할 수 있다.
이하, 본 발명의 그 밖의 실시예로서, 상기 화상 식별자로서 2 비트 이상의 부호로 이루어지는 화상 식별자를 이용하는 화상 전송용 데이터 구조 및 화상 복호화 방법 등에 대하여 설명한다.
(실시예 6)
도 10은 본 발명의 실시예 6에 의한 화상 전송용 데이터 구조를 설명하기 위한 도면이다. 도 10의 (a)는 표시 화상을 구성하는 각각의 물체에 대응하는 임의 형상 화상 신호를 부호화하여 얻어지는 임의 형상 부호화 신호의 데이터 구조를 나타내고, 도 10의 (b)는 2치 화상 신호를 부호화하여 얻어지는 2치 부호화 신호의 데이터 구조를 나타내며, 또한 도 10의 (c)는 화상을 컬러 표시하기 위한 텍스쳐 신호(화소값 신호)만을 표시용 데이터로서 포함하는 구형 화상 신호를 부호화하여 얻어지는 구형 부호화 신호(화소값 부호화 신호)의 데이터 구조를 나타내고 있다.
그리고, 본 실시예의 화상 전송용 데이터 구조는, 상기 텍스쳐 신호, 즉 휘도 신호 및 색차 신호만을 표시용 데이터로서 포함하는 구형 화상 신호를 압축 부호화하여 전송하고, 또한 부호화된 구형 화상 신호인 구형 부호화 신호를 복호화하여 표시하는 시스템을 대상으로 하고 있다. 즉, 이 시스템에 있어서, 화상 부호화방법 및 장치는 상기 구형 화상 신호에 대응한 부호화 처리를 실행하는 구성으로 되어 있고, 또한 화상 복호화 방법 및 장치는 상기 구형 부호화 신호(화소값 부호화 신호)에 대응한 복호화 처리를 실행하는 구성으로 되어 있다.
도면에 있어서, (1500)은 본 실시예 6의 화상 전송용 데이터 구조를 갖는 임의 형상 부호화 신호(도 10의 (a) 참조)로서, 이 임의 형상 부호화 신호(1500)는 1 표시 화면의 화상을 구성하는 각각의 물체에 대응하는 임의 형상 화상 신호의 부호화에 의해 얻어지는 것이다. 그리고, 이 임의 형상 부호화 신호(1500)는 상기 실시예 1의 임의 형상 부호화 신호(500)에 있어서의 1 비트의 형상 식별자(502)를 2 비트의 화상 식별자(1502)로 치환한 것이다.
또한, (1600)은 본 실시예 6의 화상 전송용 데이터 구조를 갖는 2치 형상 부호화 신호(도 10의 (b) 참조)로서, 이 2치 부호화 신호(1600)는 1 표시 화면상의 화상 정보를 2치의 신호에 의해 나타내는 2치 화상 신호를 부호화하여 얻어지는 것이다. 그리고, 이 2치 부호화 신호(1600)는 상기 실시예 1의 2치 형상 부호화 신호(600)에 있어서의 1 비트의 형상 식별자(602)를 2 비트의 화상 식별자(1602)로 치환한 것이다.
또한, (1700)은 본 실시예 6의 화상 전송용 데이터 구조를 갖는 화소값 부호화 신호(도 10의 (c) 참조)로서, 이 화소값 부호화 신호(1700)는 1 표시 화면에 대응하는, 1 표시 화면(1 프레임)의 세로, 가로의 사이즈의 정보를 포함하는 구형 화상 신호를 부호화하여 얻어지는 구형 부호화 신호이다. 그리고, 이 화소값 부호화 신호(구형 부호화 신호)(1700)는, 도 23의 (c)에 나타내는 화소값 부호화신호(700a)에 있어서의 동기 신호(701)와 헤더(703) 사이에 2 비트의 화상 식별자(1702)를 삽입하여 이루어지는 것이다.
여기서 상기 2 비트의 화상 식별자(SID)(1502, 1602, 1702)는, 각각 그 값으로 01, 10, 00을 갖고 있으며, 이들 화상 식별자의 값에 따라서 각 부호화 신호(1500, 1600, 1700)의 식별이 가능하게 되어 있다.
다음에 작용 효과에 대하여 설명한다.
이러한 구성의 본 실시예 6에서는, 구형 화상 신호에 대응하는 화소값 부호화 신호(1700)를, 텍스쳐 신호를 부호화하여 얻어지는 텍스쳐 부호화 비트열(71C)과, 표시 데이터로서 텍스쳐 부호화 비트열만을 포함하는 것을 나타내는 2 비트의 화상 식별자(1702)를 포함하는 구조로 하였기 때문에, 해당 화상 식별자(1702)를 참조함으로써, 예를 들면 임의 형상 부호화 신호(1500), 2치 부호화 신호(1600), 및 화소값 부호화 신호(1700)의 3개의 부호화 신호에 대하여, 화소값 부호화 신호(1700)와 그 밖의 임의 형상 부호화 신호(1500) 및 2치 부호화 신호(1600)를 식별하는 처리가 가능해진다.
구체적으로는, 상기 화소값 부호화 신호의 복호화 처리를 하도록 구성되어 있는 MPEG2에 대응한 화상 복호화 장치에서는, 상기 화상 식별자에 의해서, 상기 임의 형상 부호화 신호 및 2치 부호화 신호가 입력되더라도, 이들 부호화 신호를 상기 화소값 부호화 신호와는 상이한 것으로서 인식할 수 있다. 이 때문에, 상기 임의 형상 부호화 신호 및 2치 부호화 신호에 대하여 MPEG2에 대응한 복호화 처리를 실시해 버려, 복호 동작이 파탄을 초래한다고 하는 불량을 피할 수 있고, 또한이들 부호화 신호가 입력된 경우에는 복호화 처리를 실행할 수 없는 것을 표시 화면상에 표시하는 것도 가능하게 된다.
또, 상기 실시예 6에서는, 임의 형상 부호화 신호, 2치 부호화 신호 및 구형 부호화 신호(화소값 부호화 신호)로서, 각각 임의 형상 화상 신호, 2치 화상 신호 및 구형 화상 신호를 프레임간 예측 부호화 처리하여 얻어지는 데이터 구조를 갖는 것을 나타내었지만, 상기 각 부호화 신호는 상기 각 화상 신호를 프레임내 부호화 처리하여 얻어지는 데이터 구조를 겆는 것이어도 무방하다.
또한, 상기 실시예 6에서는, 상기 각 부호화 신호로서, 각 블럭마다 형상 부호화 비트열과 텍스쳐 부호화 비트열의 양쪽 혹은 한쪽을 배열한 것을 나타내었지만, 상기 각 부호화 신호는 프레임마다 형상 부호화 비트열과 텍스쳐 부호화 비트열을 배열한 것이어도 무방하다.
(실시예 7)
도 11은 본 발명의 실시예 7에 의한 화상 복호화 장치의 구성을 나타내는 블럭도이다. 도면에 있어서, (100e)는 상기 실시예 6의 화상 전송용 데이터 구조를 갖는 부호화 데이터에 대한 복호화 처리를 실행하는 화상 복호화 장치이다. 이 화상 복호화 장치(100e)는, 부호화 데이터 Eo로서 도 10의 (a)에 나타내는 임의 형상 부호화 신호(Ep)(1500) 및 도 10의 (b)에 나타내는 2치 부호화 신호(E2)(1600)를 수신했을 때, 이들 부호화 신호에 대한 복호화 처리는 실행하지 않고서, 현재 입력되어 있는 데이터 구조의 부호화 신호에 대해서는 복호화 처리가 불가능한 것을 표시하고, 부호화 데이터 Eo로서 도 10의 (c)에 나타내는 구형 부호화 신호(Et)(1700)를 수신했을 때, 복호화 화상 데이터로서 구형 복호화 신호 Dt를 출력하는 구성으로 되어 있다.
즉, 이 화상 복호화 장치(100e)는, 입력 단자(160a)에 입력되는 부호화 데이터 Eo를 해석하여, 해당 해석 결과에 따른 스위치 제어 신호 SWe를 출력하는 데이터 해석기(160e)와, 상기 구형 부호화 신호(화소값 부호화 신호) Et에 대하여 역DCT 처리를 포함하는 복호화 처리를 실시하는 텍스쳐 복호화부(180e)와, 상기 스위치 제어 신호 SWe에 의해, 상기 데이터 해석기(160e)로부터 출력되는 해석 대상으로 된 부호화 신호를 상기 복호화부(180)측과 접지측 중 한쪽에 공급하는 전환 스위치(101e)와, 예측 텍스쳐 신호를 저장하는 프레임 메모리 뱅크(102e)를 갖고 있다.
여기서, 상기 데이터 해석기(160e)는, 입력되는 부호화 신호에 있어서의 선두 32 비트 동기 신호에 이어지는 2 비트의 화상 식별자(도 10의 (a)의 임의 형상 부호화 신호(1500)에 있어서의 화상 식별자(SID=01)(1502), 도 10의 (b)에 나타내는 2치 부호화 신호에 있어서의 화상 식별자(SID=10)(1602), 도 10의 (c)에 나타내는 구형 부호화 신호에 있어서의 화상 식별자(SID=00)(1702))를 조사하여, 화상 식별자의 설정치(SID)가 「SID=01 혹은 10」일 때에는, 입력된 부호화 신호가 접지측에 공급되도록 스위치 제어 신호 SWe에 의해 전환 스위치(101e)를 제어하고, 화상 식별자의 설정치(SID)가 「SID=00」일 때에는, 입력된 부호화 데이터가 상기 복호화부(180e)로 공급되도록 스위치 제어 신호 SWe에 의해 전환 스위치(101e)를 제어하는 구성으로 되어 있다.
또한, 상기 데이터 해석기(160e)는 도 7의 (b)에 나타내는 실시예 3의 데이터 해석기(160)와 동일한 구성으로 되어 있고, 또한 상기 복호화부(180e)도 상기 실시예 3의 텍스쳐 복호화부(180)와 동일한 구성으로 되어 있다.
그리고, 이 화상 복호화 장치(100e)에서는, 재생한 텍스쳐 복호화 신호 Dt, 즉 복호화부(180e)의 출력이 직접 프레임 메모리 뱅크(102e) 및 표시기(104)에 출력되도록 되어 있다. 단, 상기 표시기(104)의 전단(前段)에, 실시예 3에 있어서의 합성기(190)(도 5 참조)를 마련하여, 상기 재생한 텍스쳐 복호화 신호를 다른 임의 형상 복호화 신호와 합성하도록 하여도 좋다.
다음에 동작에 대하여 설명한다.
도 12는 본 발명의 실시예 7에 의한 화상 복호화 장치에 의한 복호화 처리의 흐름을 나타내고 있다.
도 10의 (a), 도 10의 (b), 혹은 도 10의 (c)에 나타내는 데이터 구조의 화상 부호화 신호가 이 화상 복호화 장치(100e)에 입력되면, 데이터 해석기(160e)에 의해 해당 화상 부호화 신호에 있어서의 32 비트의 동기 신호의 뒤에 이어지는 2 비트의 화상 식별자의 해석이 실행되고, 그 값(SID)이 「SID=00」인지 여부가 판정된다(단계 Se1).
이 판정 결과, 「SID=00」이 아니라 「SID=01」 혹은 「SID=10」인 경우, 입력되는 화상 부호화 신호 Eo가 임의 형상 부호화 신호 Ep 혹은 2치 부호화 신호 E2이기 때문에, 데이터 해석기(160e)는, 상기 부호화 신호가 접지측에 공급되도록,스위치 제어 신호 SWe에 의해 전환 스위치(101e)를 전환 제어한다. 이에 따라, 상기 임의 형상 부호화 신호 Ep 혹은 2치 부호화 신호 E2는 폐기된다(단계 Se3). 따라서, 형상 부호화 비트열을 포함하는 상기 각 화상 부호화 신호 E2, Ep가 복호화부(180e)에 의해 처리되는 일은 없다.
그리고, 이 화상 복호화 장치(100e)에서는, 임의 형상 부호화 신호 Ep 혹은 2치 부호화 신호 E2가 입력되어 있는 동안에는, 현재 입력중인 부호화 신호를 이 복호화 장치에서는 처리할 수 없다는 것을 메세지로서 표시한다(단계 Se4).
그 후, 상기 입력된 부호화 신호가 최종 화면의 최종 블럭의 데이터인지 여부의 판정이 행해져서(단계 Se6), 상기 입력 부호화 신호가 최종 화면의 최종 블럭의 데이터가 아니면, 상기 단계 Se1, Se3, Se4 및 Se6에의 처리를 다음 블럭에 대한 입력 부호화 신호에 대하여 실행하고, 반대로 상기 입력 부호화 신호가 최종 화면의 최종 블럭의 데이터이면, 이 입력 부호화 신호의 복호화 처리가 종료된다.
한편, 상기 판정 결과, 화상 식별자가 「SID=00」인 경우에는, 입력되는 부호화 데이터 Eo가 구형 부호화 신호 Et이기 때문에, 데이터 해석기(160e)는, 이 부호화 신호가 상기 복호화부(180e)에 공급되도록, 전환 스위치(101e)를 스위치 제어 신호 SWe에 의해 전환 제어한다. 이에 따라, 상기 텍스쳐 복호화부(180e)에 의해 구형 부호화 신호에 있어서의 텍스쳐 부호화 비트열의 복호화 처리가 실행된다(단계 Se2).
즉, 해당 복호화부(180e)에서는, 상기 비트열에서의 양자화폭과 DCT 계수가 역양자화기(181)에 공급되어 DCT 계수의 역양자화 처리가 행해진다.
역양자화 출력 Diq는 역코사인 변환기(182)에 의해 역코사인 변환된다.
또한, 이 때 텍스쳐 움직임 벡터 MV는 텍스쳐 움직임 보상기(184)에 공급되어 있고, 해당 보상기(184)는 해당 텍스쳐 움직임 벡터 MV에 근거하여 예측 텍스쳐 신호를 취득하기 위한 어드레스를 생성하여, 이 어드레스를 이용해 프레임 메모리 뱅크(102e)로부터 예측 텍스쳐 신호 Emp를 취득한다.
그리고, 가산기(183)에서는 상기 역코사인 변환기(182)의 출력 Didct와 예측 텍스쳐 신호 Emp의 가산 처리가 실행되고, 해당 가산기(183)로부터는 텍스쳐 복호화 신호 Dt가 구형 복호화 신호로서 표시기(104)에 송출되어 화상 표시된다(단계 Se5). 이 때, 상기 텍스쳐 복호화 신호 Dt는 프레임 메모리 뱅크(102e)에 공급된다. 또, 복호화부의 후단(後段)에 합성기를 마련하여, 상기 구형 복호화 신호를 다른 임의 형상 화상 신호와 합성하여 표시하도록 하는 것도 가능하다.
그 후, 상기 구형 부호화 신호 Et가 최종 화면의 최종 블럭의 데이터인지 여부의 판정이 행해져서(단계 Se6), 상기 구형 부호화 신호 Et가 최종 화면의 최종 블럭의 데이터가 아니면, 상기 단계 Se1, Se2, Se5 및 Se6에서의 처리를 다음 블럭의 구형 부호화 신호에 대하여 실행하고, 상기 구형 부호화 신호가 최종 화면의 최종 블럭의 데이터이면, 구형 부호화 신호에 대한 복호화 처리를 종료한다.
이와 같이 본 실시예 7의 화상 복호화 장치(100e)에서는, 입력되는 부호화 데이터를 해석하는 데이터 해석기(160e)를, 입력되는 화상 부호화 신호가, 형상 부호화 비트열을 화상 정보로서 포함하는 부호화 신호, 즉 2치 부호화 신호 E2 혹은 임의 형상 부호화 신호 Ep인지, 형상 부호화 비트열을 포함하지 않은 구형 부호화신호 Et인지를 2 비트의 화상 식별자에 의해 검출하여, 그 검출 결과에 따라 입력 부호화 신호를 접지측과 복호화부(180e) 사이에서 전환하여 이들에게 공급하도록 구성하였기 때문에, 구형 부호화 신호 Et에 대응한 화상 복호화 장치(100e)에 의해 입력 부호화 데이터로서 임의 형상 부호화 신호 Ep 혹은 2치 부호화 신호 E2를 수신한 경우에도, 이들 부호화 신호에 대한 복호화 처리가 실행되어 복호 동작이 파탄을 초래하는 것을 피할 수 있다.
또, 상기 실시예 7에서는, 실시예 6에서 예시한 데이터 구조의 부호화 신호, 즉 임의 형상 부호화 신호, 2치 부호화 신호 및 구형 부호화 신호로부터 형상 부호화 비트열을 포함하는 부호화 신호를 화상 식별자에 의해 선별하는 구성의 화상 복호화 장치(100e)를 나타내었지만, 실시예 2의 화상 부호화 장치(100a)(도 3 참조)에 있어서의 화상 입력 장치(110)를, 임의 형상 화상 신호, 2치 화상 신호, 구형 화상 신호를 식별할 수 있는 구성으로 함으로써, 이들 화상 신호의 부호화 처리를, 각 화상 신호에 대응하는 부호화 신호에 이들 부호화 신호를 식별하기 위한 화상 식별자를 부가하여 실행하는 구성의 화상 부호화 장치를 실현할 수 있다.
(실시예 8)
도 13 및 도 14는 본 발명의 실시예 8에 의한 화상 전송용 데이터 구조를 설명하기 위한 도면이다. 도 13의 (a)는 형상 부호화 비트열과 텍스쳐 부호화 비트열을 포함하는 임의 형상 화상 신호를 부호화하여 얻어지는 임의 형상 부호화 신호(제 1 임의 형상 부호화 신호)의 데이터 구조를 나타내며, 도 13의 (b)는 2치화상 신호를 부호화하여 얻어지는 2치 부호화 신호의 데이터 구조를 나타내고 있다. 또한, 도 14의 (a)는 구형 화상 신호를 부호화하여 얻어지는 구형 부호화 신호(화소값 부호화 신호)의 데이터 구조를 나타내며, 도 14의 (b)는 투과도 정보를 포함하는 임의 형상 화상 신호를 부호화하여 얻어지는 투과도 정보가 부가된 임의 형상 부호화 신호(제 2 임의 형상 부호화 신호)의 데이터 구조를 나타내고 있다.
그리고, 본 실시예의 화상 전송용 데이터 구조는, 상기 투과도 정보를 포함하는 임의 형상 화상 신호를 압축 부호화하여 전송하고, 또한 그 부호화에 의해 얻어지는 제 2 임의 형상 부호화 신호를 복호화하여 표시하는 시스템을 대상으로 하는 것이다. 즉, 이 시스템에 있어서, 화상 부호화 방법 및 장치는 상기 제 2 임의 형상 화상 신호에 대한 부호화 처리를 실행하는 구성으로 되어 있고, 또한 화상 복호화 방법 및 장치는 상기 제 2 임의 형상 부호화 신호에 대한 복호화 처리를 실행하는 구성으로 되어 있다.
도면에 있어서, (2500)은 본 실시예 8의 화상 전송용 데이터 구조를 갖는 제 1 임의 형상 부호화 신호(도 13의 (a) 참조)로서, 이 제 1 임의 형상 부호화 신호(2500)는, 도 10의 (a)에 나타내는 실시예 6의 임의 형상 부호화 신호(1500)와 마찬가지로, 상기 실시예 1의 임의 형상 부호화 신호(500)에 있어서의 1 비트의 형상 식별자(502)를 2 비트의 화상 식별자(2502)로 치환한 것이다.
또한, (2600)은 본 실시예 8의 화상 전송용 데이터 구조를 갖는 2치 형상 부호화 신호(도 13의 (b)참조)로서, 이 2치 형상 부호화 신호(2600)는 도 10의 (b)에 나타내는 실시예 6의 2치 형상 신호(1600)와 마찬가지로, 상기 실시예 1의 2치 형상 부호화 신호(600)에 있어서의 1 비트의 형상 식별자(602)를 2 비트의 화상 식별자(2602)로 치환한 것이다.
또한, (2700)은 본 실시예 8의 화상 전송용 데이터 구조를 갖는 화소값 부호화 신호(도 14의 (a) 참조)로서, 이 화소값 부호화 신호(구형 부호화 신호)(2700)는, 도 10의 (c)에 나타내는 실시예 6의 화소값 부호화 신호(1700)와 마찬가지로, 도 23의 (c)에 나타내는 화소값 부호화 신호(700a)에 있어서의 동기 신호(701)와 헤더(703) 사이에 2 비트의 화상 식별자(2702)를 삽입하여 이루어지는 것이다.
또한, (2800)은 본 실시예 8의 화상 전송용 데이터 구조를 갖는 제 2 임의 형상 부호화 신호(도 14의 (b) 참조)로서, 이 제 2 임의 형상 부호화 신호(2800)는, 그 선두에 위치하는 32 비트의 동기 신호(801)와, 해당 동기 신호(801)에 이어지는 2 비트의 화상 식별자(SID)(2802)와, 해당 화상 식별자(2802)에 이어지는 그 밖의 헤더(803)를 포함하고 있다.
또한, 상기 제 2 임의 형상 부호화 신호(2800)는, 상기 투과도 정보를 포함하는 임의 형상 화상 신호를 구성하는, 각각의 물체의 형상을 나타내는 형상 신호(2치 투과도 신호)를 부호화하여 얻어지는 형상 부호화 비트열(81D)과, 상기 투과도 정보를 포함하는 임의 형상 화상 신호를 구성하는, 각각의 물체를 컬러 표시하기 위한 휘도 신호 및 색차 신호로 이루어지는 텍스쳐 신호(화소값 신호)를 부호화하여 얻어지는 텍스쳐 부호화 비트열(화소값 부호화 비트열)(82D)과, 상기 투과도 정보를 포함하는 임의 형상 화상 신호를 구성하는, 각각의 물체의 투과도를 나타내는 다치 투과도 신호를 부호화하여 얻어지는 투과도 부호화 비트열(83D)을포함하고 있다.
구체적으로, 상기 임의 형상 부호화 신호(2800)에서는, 1 표시 화면상의 물체를 포함하는 오브젝트 영역을 분할하는 각 블럭마다, 형상 부호화 비트열(81D)과, 텍스쳐 부호화 비트열(82D)과, 투과도 부호화 비트열(83D)이 배열되어 있다.
즉, 여기서는, 상기 그 밖의 헤더(803)에 이어서, 블럭 D1에 대응하는 형상 부호화 비트열(81D1), 텍스쳐 부호화 비트열(82D1) 및 투과도 부호화 비트열(83D1)과, 블럭 D2에 대응하는 형상 부호화 비트열(81D2), 텍스쳐 부호화 비트열(82D2) 및 투과도 부호화 비트열(83D2)과, 블럭 D3에 대응하는 형상 부호화 비트열(81D3), 텍스쳐 부호화 비트열(82D3) 및 투과도 부호화 비트열(83D3)이 이 순서로 배열되어 있다.
또한, 상기 형상 부호화 비트열(81D1, 81D2, 81D3)은, 도 14의 (b)에 도시하는 바와 같이 각각, 형상 움직임 벡터에 대응하는 가변 길이의 부호화 데이터(도면에서는 "형상 MV"라고 기재함)(804, 812, 820)와, 블럭내의 화소가 물체 내부와 물체외부 중 어디에 위치하는지를 나타내는 2치의 형상 신호(2치 투과도 신호)에 대응하는 가변 길이의 부호화 데이터(도면에서는 "형상 데이터"라고 기재함)(805, 813, 821)로 구성되어 있다.
상기 텍스쳐 부호화 비트열(82D1, 82D2, 82D3)은, 도 14의 (b)에 도시하는 바와 같이 각각 양자화폭에 대응하는 5 비트의 부호화 데이터(도면에서는 간단히 "양자화폭"이라고 기재함)(806, 814, 822)와, 텍스쳐 움직임 벡터에 대응하는 가변 길이의 부호화 데이터(도면에서는 "텍스쳐 MV"라고 기재함)(807, 815, 823)와, 텍스쳐 신호에 DCT 처리 및 양자화 처리를 실시하여 얻어지는 양자화 신호에 대응하는 가변 길이의 부호화 데이터(도면에서는 간단히 "텍스쳐 DCT 계수"라고 기재함)(808, 816, 824)로 구성되어 있다.
상기 투과도 부호화 비트열(83D1, 83D2, 83D3)은, 도 14의 (b)에 도시하는 바와 같이, 각각 양자화폭에 대응하는 5 비트의 부호화 데이터(도면에서는 "양자화폭"이라고 기재함)(809, 817, 825)와, 투과도 움직임 벡터에 대응하는 가변 길이의 부호화 데이터(도면에서는 "투과도 MV"라고 기재함)(810, 818, 826)와, 다치 투과도 신호에 DCT 처리 및 양자화 처리를 실시하여 얻어지는 양자화 신호에 대응하는 가변 길이의 부호화 데이터(도면에서는 간단히 "투과도 DCT 계수"라고 기재함)(811, 819, 827)로 구성되어 있다.
여기서, 상기 동기 신호(801)는 1개의 물체에 대응하는 임의 형상 부호화 신호의 시작을 나타내는 신호로서, 일의적인 부호화 신호이다. 또한, 상기 형상 식별자(SID)(2802)는 화상 부호화 신호가 상기 4개의 유형의 화상 부호화 신호 중 어느 것인지를 나타내는, 즉 상기 화상 부호화 신호에 포함되는 비트열의 종류를 나타내는 신호로서, 그 값(SID)이 「SID=01」일 때에는 형상 부호화 비트열과 텍스쳐 부호화 비트열의 양쪽이 존재하고, 그 값(SID)이 「SID=10」일 때에는 형상 부호화 비트열만이 존재하며, 그 값(SID)이 「SID=00」일 때에는 텍스쳐 부호화 비트열만이 존재하고, 그 값(SID)이 「SID=11」일 때에는 형상 부호화 비트열, 텍스쳐 부호화 비트열 및 투과도 부호화 비트열이 존재하는 것을 나타낸다.
또한, 그 밖의 헤더(803)에는, 해당하는 물체의 화상의 표시 시간, 화상의속성, 부호화시의 예측 모드 등의 정보가 포함되지만, 그 상세한 설명에 대해서는 본 발명과 무관하기 때문에 생략한다.
또한, 상기 형상 MV는, 현재 화면의 소정 블럭의 형상 신호를 이전 화면이 대응하는 블럭의 형상 신호로부터 예측할 때 이용하는, 상기 현재 화면 및 이전 화면 사이에서의 블럭내 화상의 움직임량을 나타내는 움직임 벡터의 부호화 데이터이며, 또한 상기 형상 데이터는 형상 신호를 산술 부호화하여 얻어진 것이다. 상기 양자화폭(텍스쳐 부호화 비트열에 있어서의 양자화폭)은 텍스쳐 신호에 DCT 처리 및 양자화 처리를 실시하여 얻어지는 텍스쳐 DCT 계수를 역양자화하기 위한 파라미터이다. 또한, 상기 텍스쳐 MV는, 현재 화면의 텍스쳐 신호를 이전 화면의 텍스쳐 신호로부터 예측할 때 이용하는, 현재 화면 및 이전 화면 사이에서의 블럭내 화상의 움직임량을 나타내는 텍스쳐 움직임 벡터의 부호화 신호이다. 또한, 상기 텍스쳐 DCT 계수는 상기 텍스쳐 신호에 대한 양자화 신호에 가변 길이 부호화 처리를 실시하여 얻어지는 것이다. 또, 상기 투과도 MV는, 현재 화면의 다치 투과도 신호를 이전 화면의 다치 투과도 신호로부터 예측할 때 이용하는, 현재 화면 및 이전 화면 사이에서의 블럭내 화상의 움직임량을 나타내는 투과도 움직임 벡터의 부호화 신호이다. 또한 여기서, 상기 양자화폭(투과도 부호화 비트열에 있어서의 양자화폭)은, 다치 투과도 신호에 DCT 처리 및 양자화 처리를 실시하여 얻어지는 투과도 DCT 계수를 역양자화하기 위한 파라미터이다. 상기 투과도 DCT 계수는, 상기 투과도 신호에 대한 양자화 신호에 가변 길이 부호화 처리를 실시하여 얻어지는 것이다.
또, 실제의 임의 형상 부호화 신호(2800)에서는, 상기 텍스쳐 DCT 계수 앞에, 도면에 나타낸 데이터 이외에도 많은 사이드 정보가 배열되어 있다. 여기서는 이들의 사이드 정보에 대해서는 도시하고 있지 않지만, 이들 사이드 정보는 경우에 따라서는 부호화시에 많은 비트수를 필요로 한다.
다음에 작용 효과에 대하여 설명한다.
이러한 구성의 본 실시예 8에서는, 데이터 구조가 상이한 4개의 화상 부호화 신호, 즉 임의 형상 화상 신호에 대응하는 제 1 임의 형상 부호화 신호(2500), 2치 화상 신호에 대응하는 2치 부호화 신호(2600), 구형 화상 신호에 대응하는 화소값 부호화 신호(구형 부호화 신호)(2700), 투과도 정보가 부가된 임의 형상 화상 신호에 대응하는 제 2 임의 형상 부호화 신호(2800)를, 각각 이들을 특정하기 위한 2 비트의 화상 식별자(2502, 2602, 2702, 2802)를 포함하는 구조로 하였기 때문에, 해당 화상 식별자를 참조함으로써, 예를 들면 제 1 임의 형상 부호화 신호, 2치 부호화 신호, 구형 부호화 신호(화소값 부호화 신호) 및 제 2 임의 형상 부호화 신호의 4개 부호화 신호를 복호화측에서 식별할 수 있게 된다.
구체적으로, 상기 임의 형상 부호화 신호의 복호화 처리를 실행하도록 구성되어 있는 MPEG4에 대응한 화상 복호화 장치에서는, 상기 화상 식별자에 의해서, 상기 제 1, 제 2 임의 형상 부호화 신호 이외에 2치 부호화 신호 및 구형 부호화 신호가 입력되더라도, 이들 2치 부호화 신호 및 구형 부호화 신호에 대하여 적절한 복호화 처리를 실행하는 것이 가능해진다. 이 때문에, 상기 구형 부호화 신호 및 2치 부호화 신호에 대하여, MPEG4에 대응한 복호화 처리를 실시해 버려, 복호 동작이 파탄을 초래한다고 하는 불량을 피할 수 있다.
또, 상기 실시예 8에서는, 제 1, 제 2 임의 형상 부호화 신호, 2치 부호화 신호 및 구형 부호화 신호로서, 임의 형상 화상 신호, 투과도 정보가 부가된 임의 형상 화상 신호, 2치 화상 신호 및 구형 화상 신호에 프레임간 예측 부호화 처리하여 얻어지는 데이터 구조를 나타내었지만, 상기 각 부호화 신호는 상기 각 화상 신호에 프레임내 부호화 처리하여 얻어지는 것이어도 무방하다.
또한, 상기 실시예 8에서는, 상기 각 부호화 신호로서, 각 블럭마다 형상 부호화 비트열, 텍스쳐 부호화 비트열, 투과도 부호화 비트열의 소정의 비트열을 배열한 것을 나타내었지만, 상기 각 부호화 신호는 프레임마다 소정의 부호화 비트열을 배열한 것(도 2의 (a) 및 (b) 참조)이어도 무방하다.
또한, 상기 실시예 8에서는, 제 2 임의 형상 부호화 신호(투과도 정보가 부가된 임의 형상 화상 신호의 부호화 신호)의 데이터 구조로서, 투과도 부호화 비트열(83D)에도 텍스쳐 부호화 비트열(82D)과 마찬가지로, 대응하는 투과도 MV와 양자화폭이 포함되어 있는 것을 나타내었지만(도 14의 (b) 참조), 제 2 임의 형상 부호화 신호(2800)의 투과도 부호화 비트열(83D)에는 반드시 투과도 MV와 양자화폭을 포함시킬 필요는 없다.
예를 들면, 투과도 정보가 부가된 임의 형상 화상 신호의 부호화 신호가, 투과도 부호화 비트열(83D)에 투과도 MV와 양자화폭이 포함되어 있지 않은 데이터 구조로 되어 있는 경우, 그 투과도 DCT 계수의 복호화 처리는 그 텍스쳐 부호화 비트열에 있어서의 텍스쳐 MV와 양자화폭을 이용하여 실행된다.
(실시예 9)
도 15는 본 발명의 실시예 9에 의한 화상 복호화 장치의 구성을 나타내는 블럭도이다. 도면에 있어서, (100f)는 상기 실시예 8의 화상 전송용 데이터 구조를 갖는 부호화 데이터에 대한 복호화 처리를 실행하는 화상 복호화 장치이다. 이 화상 복호화 장치(100f)는, 부호화 데이터로서 입력되는 부호화 신호의 데이터 구조에 따른 복호화 처리를 행하도록 구성되어 있다.
즉, 상기 화상 복호화 장치(100f)에서는, 부호화 데이터 Eo로서 도 13의 (b)에 나타내는 2치 부호화 신호(E2)(2600)를 수신했을 때, 복호화 화상 데이터 Dsyn으로서 2치 복호화 신호 D2가 출력되고, 부호화 데이터 Eo로서 도 13의 (a)에 나타내는 제 1 임의 형상 부호화 신호(Ep)(2500)를 수신했을 때, 복호화 화상 데이터 Dsyn으로서 임의 형상 복호화 신호 Dp가 각 물체마다 출력되도록 되어 있다. 또한, 도 14의 (a)에 나타내는 구형 부호화 신호(Et)(2700)를 수신했을 때, 복호화 화상 데이터 Dsyn으로서 구형 복호화 신호 Dt가 출력되고, 부호화 데이터 Eo로서 도 14의 (b)에 나타내는 제 2 임의 형상 부호화 신호(Ex)(2800)를 수신했을 때, 복호화 화상 데이터 Dsyn으로서 투과도 정보가 부가된 임의 형상 복호화 신호 Dx가 각 물체마다 출력되는 구성으로 되어 있다.
이하 자세히 설명하면, 이 화상 복호화 장치(100f)는 도 5에 나타내는 실시예 3의 화상 복호화 장치(100b)와 마찬가지로, 입력 단자(160a)에 입력되는 부호화 데이터 Eo를 해석하여, 해당 해석 결과에 따른 스위치 제어 신호 SWf를 출력하는 데이터 해석기(160f)와, 상기 형상 데이터(형상 신호를 부호화한 것)에 대하여 산술 복호화 처리를 실시하는 형상 복호화부(제 1 복호화 수단)(170)와, 상기 텍스쳐 DCT 계수 Ept 및 투과도 DCT 계수 Egt에 대하여 역DCT 처리를 포함하는 복호화 처리를 실시하는 텍스쳐 복호화부(제 2 복호화 수단)(180f)와, 상기 스위치 제어 신호 SWf에 의해, 상기 데이터 해석기(160f)로부터 출력되는 해석 대상으로 된 부호화 신호를 상기 양 복호화부(170, 180f) 중 한쪽에 공급하는 전환 스위치(101f)와, 예측 형상 신호, 예측 텍스쳐 신호 및 예측 투과도 신호를 저장하는 프레임 메모리 뱅크(102f)를 갖고 있다.
여기서, 상기 데이터 해석기(160f)는, 입력되는 부호화 신호에 있어서의 선두 32 비트 동기 신호에 이어지는 2 비트 화상 식별자(도 13의 (a), 도 13의 (b), 도 14의 (a), 도 14의 (b))에 나타내는 부호화 신호에 있어서의 화상 식별자(2502, 2602, 2702, 2802)를 조사하여, 화상 식별자의 설정치(SID)에 따라 전환 스위치(101f)를 제어하는 구성으로 되어 있다.
구체적으로, 전환 스위치(101f)는, 화상 식별자의 설정치(SID)가 「SID=01」일 경우, 입력된 부호화 신호에 있어서의 형상 부호화 비트열이 형상 복호화부(170)로 공급되고, 해당 부호화 신호에 있어서의 텍스쳐 부호화 비트열이 텍스쳐 복호화부(180f)로 공급되도록, 스위치 제어 신호 SWf에 의해 전환 제어된다. 또한, 전환 스위치(101f)는, 형상 식별자의 설정치(SID)가 「SID=10」일 경우, 입력된 부호화 데이터가 형상 복호화부(170)에만 공급되도록, 스위치 제어 신호 SWf에 의해 전환 제어된다. 또한, 상기 전환 스위치(101f)는, 화상 식별자의 설정치(SID)가 「SID=00」일 경우, 입력된 부호화 신호에 있어서의 텍스쳐 부호화비트열이 텍스쳐 복호화부(180f)에만 공급되도록, 스위치 제어 신호 SWf에 의해 전환 제어된다. 또, 상기 전환 스위치(101f)는, 화상 식별자의 설정치(SID)가 「SID=11」일 경우, 입력된 부호화 신호에 있어서의 형상 부호화 비트열이 형상 복호화부(170)로 공급되고, 해당 부호화 신호에 있어서의 텍스쳐 부호화 비트열 및 투과도 부호화 비트열이 텍스쳐 복호화부(180f)로 공급되도록, 스위치 제어 신호 SWf에 의해 전환 제어된다.
이러한 데이터 해석기(160f)는, 도 7의 (b)에 나타내는 실시예 3의 데이터 해석기(160)와 마찬가지로, 테이블 저장부(162), 비교기(161) 및 스위치 제어 회로(163)로 구성되어 있지만, 여기서 비교기(161)는 입력된 부호화 신호의 비트열을 테이블 저장부(162)에 저장되어 있는 복호화 참조 테이블의 비트열과 비교하여, 부호화 데이터에 포함되어 있는 화상 식별자, 형상 부호화 비트열, 텍스쳐 부호화 비트열 및 투과도 부호화 비트열을 식별해서, 식별 결과에 근거하여 상기 전환 스위치(101f)에 스위치 제어 신호 SWf를 출력하는 구성으로 되어 있다.
상기 텍스쳐 복호화부(제 2 복호화 수단)(180f)는, 상기 텍스쳐 움직임 벡터 혹은 투과도 움직임 벡터에 근거하여 예측 텍스쳐 신호 혹은 예측 투과도 신호를 취득하기 위한 어드레스를 생성하고, 이 어드레스를 이용하여 프레임 메모리 뱅크(102f)로부터 예측 텍스쳐 신호 Emp 혹은 예측 투과도 신호 Emg를 취득하는 텍스쳐 움직임 보상기(184f)를 갖고 있다.
또한 상기 텍스쳐 복호화부(180f)는, 텍스쳐 부호화 비트열 혹은 투과도 부호화 비트열에 있어서의 양자화폭 및 DCT 계수를 수신하여, 해당 DCT 계수에 대해역양자화 처리를 실시하는 역양자화기(181f)와, 역양자화된 역양자화 DCT 계수 Diq에 대하여 역코사인 변환을 실시하는 역코사인 변환기(182f)를 갖고 있다. 또한, 상기 텍스쳐 복호화부(180f)는 예측 텍스쳐 신호 Emp 혹은 예측 투과도 신호 Emg와 역코사인 변환 출력 Didct를 가산하여 재생 텍스쳐 신호(텍스쳐 복호화 신호) Dpt 혹은 재생 투과도 신호(투과도 복호화 신호) Dpg를 출력하는 가산기(183)를 갖고 있으며, 해당 가산기(183f)로부터의 재생 텍스쳐 신호 Dpt 혹은 재생 투과도 신호 Dpg가 상기 프레임 메모리 뱅크(102f)에 저장되도록 되어 있다.
그리고 또한, 이 화상 복호화 장치(100f)는, 복호화부(180f)의 출력(재생 텍스쳐 신호 Dpt 및 재생 투과도 신호 Dpg의 양쪽, 혹은 재생 텍스쳐 신호 Dpt만)과, 복호화부(170)의 출력(복호화부(180f)의 출력에 대응하는 재생 형상 신호 Dk)을 필요로 하는 화상 데이터와 합성하여, 투과도 정보가 부가된 임의 형상 재생 신호 Dx 혹은 임의 형상 재생 신호 Dp를 포함하는 합성 화상 데이터 Dsyn을 표시기(104)에 출력하는 합성기(190f)를 갖고 있다. 또한 여기서, 이 합성기(190f)는, 복호화부(170)로부터의 2치 재생 신호 D2 혹은 복호화부(180f)로부터의 구형 화상 신호 Dt는 그대로 표시기(104)에 출력하는 구성으로 되어 있지만, 경우에 따라서는 상기 합성기(190f)에 의해 2치 재생 신호 D2나 구형 화상 신호 Dt를 다른 임의 형상 화상 신호와 합성하도록 하여도 무방하다. 또, 이 합성기(190f)로부터 출력되는 신호는 표시기(104)가 아닌 프린터(도시하지 않음) 등의 정보 출력 장치에 출력하도록 하여도 무방하다.
또, 본 실시예 9에서는, 재생 형상 신호가 0인 화소에 대해서는, 재생 텍스쳐 신호 및 재생 투과도 신호에 있어서의 화소값을 소정 화상의 화소값으로 치환하도록 하고 있다. 이 소정의 화상은, 수신측에서 미리 준비한 화상이어도 좋고, 별도의 화상 복호화 장치에 의해 재생된 화상이어도 좋다.
다음에 동작에 대하여 설명한다.
도 16은 본 발명의 실시예 9에 의한 화상 복호화 장치에 의한 복호화 처리의 흐름을 나타내고 있다. 도 13의 (a), 도 13의 (b), 도 14의 (a) 혹은 도 14의 (b)에 나타내는 데이터 구조의 화상 부호화 신호가 이 화상 복호화 장치(100f)에 입력되면, 데이터 해석기(160f)에 의해 해당 화상 부호화 신호에 있어서의 32 비트의 동기 신호 뒤에 이어지는 2 비트의 화상 식별자의 해석이 실행되고, 그 값(SID)이 「SID=0O 또는 11」인지 여부가 판정된다(단계 Sf1).
이 판정 결과, 「SID=00 또는 11」이면, 단계 Sf2에서 「SID=00」인지 여부의 판정이 실행된다. 이 단계 Sf2에서의 판정 결과, 화상 식별자가 「SID=00」인 경우에는, 입력되는 화상 부호화 신호 Eo가 구형 부호화 신호 Et이기 때문에, 데이터 해석기(160f)는 이 부호화 신호가 항상 상기 복호화부(180f)에 공급되도록, 전환 스위치(101f)를 스위치 제어 신호 SWf에 의해 전환 제어한다. 이에 따라, 상기 텍스쳐 복호화부(180f)에 의해 구형 부호화 신호에 있어서의 텍스쳐 부호화 비트열의 복호화 처리가 실행된다(단계 Sf3). 이 단계 Sf3에서의 복호화 처리는 상기 실시예 7의 단계 Se2의 복호화 처리와 완전히 동일하다. 그리고, 복호화된 구형 복호화 신호가 합성기(190f)를 거쳐 표시기(104)에 공급되어 표시된다(단계 Sf13). 이 때 합성기(190f)에서는, 구형 복호화 신호 Dt에 다른 임의 형상 화상 신호를 합성하도록 하여도 좋다.
그 후, 상기 구형 부호화 신호 Et가 최종 화면의 최종 블럭의 데이터인지 여부의 판정이 실행되어(단계 Sf14), 상기 구형 부호화 신호가 최종 화면의 최종 블럭의 데이터가 아니면, 상기 단계 Sf1 내지 Sf3, Sf13, Sf14에서의 처리를 다음 블럭에 대한 구형 부호화 신호에 대하여 실행하고, 반대로 상기 구형 부호화 신호가 최종 화면의 최종 블럭의 데이터이면, 이 구형 부호화 신호의 복호화 처리가 종료된다.
또한, 상기 단계 Sf2에서의 판정 결과, 화상 식별자가 「SID=11」인 경우, 입력된 화상 부호화 신호는 화상 정보로서 형상 부호화 비트열, 텍스쳐 부호화 비트열 및 투과도 부호화 비트열이 포함되는 제 2 임의 형상 부호화 신호 Ex이기 때문에, 데이터 해석기(160f)는 전환 스위치(101f)를 스위치 제어 신호 SWf에 의해 제어하여, 투과도 정보가 부가된 임의 형상 부호화 신호 Ex의 각 블럭에 대응하는 형상 부호화 비트열이 형상 복호화부(170)에 공급되고, 그 각 블럭에 대응하는 텍스쳐 부호화 비트열 및 투과도 부호화 비트열이 텍스쳐 복호화부(180f)에 공급되도록 한다. 이에 따라, 제 2 임의 형상 부호화 신호 Ex에 있어서의 형상 부호화 비트열과, 텍스쳐 부호화 비트열 및 투과도 부호화 비트열이 분리되어(단계 Sf4), 분리된 형상 부호화 비트열이 상기 형상 복호화부(170)에 의해 복호화되고(단계 Sf5), 분리된 텍스쳐 부호화 비트열 및 투과도 부호화 비트열이 상기 텍스쳐 복호화부(180f)에 의해 복호화된다(단계 Sf6, Sf7).
즉, 형상 부호화 비트열 Epk가 상기 2치 화상 신호의 형상 부호화 비트열E2k와 마찬가지로 상기 형상 복호화부(170)에 의해 복호화된다. 1개의 블럭에 대응하는 형상 부호화 비트열의 복호화 처리가 종료한 시점에서, 산술 복호화기(171)에서는 이 블럭에 대응하는 형상 부호화 비트열 Epk의 종료점이 검출되어, 이 종료점 검출 신호 Te가 상기 데이터 해석기(160f)에 출력된다. 그렇게 하면, 데이터 해석기(160f)는 스위치 제어 신호 SWf에 의해 전환 스위치(101f)를 제어하여, 입력되는 화상 부호화 신호가 상기 텍스쳐 복호화부(180f)에 공급되도록 한다.
이에 따라, 텍스쳐 부호화 비트열 Ept 및 투과도 부호화 비트열 Egt는 데이터 해석기(160f)로부터 텍스쳐 복호화부(180f)로 전송된다. 해당 복호화부(180f)에서는, 상기 각 비트열에 있어서의 양자화폭과 DCT 계수가 역양자화기(181f)에 공급되어, DCT 계수의 역양자화 처리가 행해진다. 역양자화 출력 Diq는 역코사인 변환기(182f)에 의해 역코사인 변환된다.
또한, 이 때 텍스쳐 움직임 벡터 MV 및 투과도 움직임 벡터 MV는 텍스쳐 움직임 보상기(184f)에 공급되어 있고, 해당 보상기(184f)는 이들 움직임 벡터 MV에 근거해 예측 텍스쳐 신호 및 예측 투과도 신호를 취득하기 위한 어드레스를 생성하여, 이 어드레스를 이용해 프레임 메모리 뱅크(102f)로부터 예측 텍스쳐 신호 Emp 및 예측 투과도 신호 Emg를 취득한다. 그리고, 가산기(183)에서는 상기 역코사인 변환기(182f)의 출력 Didct와 예측 텍스쳐 신호 Emp 혹은 예측 투과도 신호 Emg의 가산 처리가 행해져서, 해당 가산기(183)로부터는 텍스쳐 복호화 신호 Dpt 혹은 투과도 복호화 신호 Dpg가 출력된다. 이들의 복호화 신호 Dpt, Dpg는 프레임 메모리 뱅크(102f) 및 합성기(190f)에 공급된다. 해당 합성기(190f)에서는, 재생한 상기텍스쳐 복호화 신호 Dpt 및 투과도 복호화 신호 Dpg와, 대응하는 재생한 형상 복호화 신호 Dk를, 필요로 하는 화상과 합성하여 합성 화상 데이터 Dsyn을 생성한다. 또, 상기 투과도 부호화 비트열의 부호화 처리가 종료된 시점에서, 데이터 해석기(160f)는 해당 투과도 부호화 비트열의 종료점을 검출하고, 스위치 제어 신호 SWf에 의해 전환 스위치(101f)를 전환해, 입력되는 화상 부호화 신호가 상기 형상 복호화부(170)에 공급되도록 한다.
또한, 합성된 재생 데이터(투과도 정보가 부가된 임의 형상 복호화 신호) Dx가 합성기(190f)로부터 표시기(104)에 송출되어 화상 표시된다(단계 Sb13).
그 후, 상기 제 2 임의 형상 부호화 신호가 최종 화면의 최종 블럭의 데이터인지 여부의 판정이 행해져서(단계 Sf14), 상기 제 2 임의 형상 부호화 신호가 최종 화면의 최종 블럭의 데이터가 아니면, 상기 단계 Sf1, Sf2, Sf4 내지 Sf7, Sf13, Sf14에서의 처리를 다음 블럭에 대한 제 2 임의 형상 부호화 신호에 대하여 실행하고, 반대로 상기 제 2 임의 형상 부호화 신호가 최종 화면의 최종 블럭의 데이터이면, 이 제 2 임의 형상 부호화 신호의 복호화 처리가 종료된다.
또한, 상기 단계 Sf1에서의 판정 결과, 화상 식별자의 값 SID가 「SID=00 또는 11」이 아니면, 단계 Sf8에 의해 상기 화상 식별자의 값 SID가 「SID=10」인지 여부의 판정이 행해지고, 이 판정 결과 상기 화상 식별자가 「SID=10」인 경우에는, 입력되는 화상 부호화 신호 Eo가 화상 정보로서 형상 부호화 비트열만을 포함하는 2치 부호화 신호 E2이기 때문에, 데이터 해석기(160f)는 2치 부호화 신호의 각 블럭에 대응하는 형상 부호화 비트열이 항상 형상 복호화부(170)에 전송되도록,전환 스위치(101f)를 스위치 제어 신호 SWf에 의해 전환 제어한다. 이에 따라, 상기 형상 복호화부(170)에 의해 2치 부호화 신호에 있어서의 형상 부호화 비트열의 복호화 처리가 실행된다(단계 Sf9). 이 단계 Sf9에서의 복호화 처리는, 실시예 3의 단계 Sb2의 복호화 처리와 완전히 동일하다. 그리고, 복호화된 2치 복호화 신호 D2가 합성기(190f)를 거쳐 표시기(104)에 공급되어 표시된다(단계 Sf13). 이 때, 합성기(190f)에서는 2치 복호화 신호 D2를 다른 임의 형상 복호화 신호와 합성하도록 하여도 좋다.
그 후, 상기 2치 부호화 신호가 최종 화면의 최종 블럭의 데이터인지 여부의 판정이 행해져서(단계 Sf14), 상기 2치 부호화 신호가 최종 화면의 최종 블럭의 데이터가 아니면, 상기 단계 Sf1, Sf8, Sf9, Sf13, Sf14에 있어서의 처리를 다음 블럭에 대한 2치 부호화 신호에 대하여 실행하고, 반대로 상기 2치 부호화 신호가 최종 화면의 최종 블럭의 데이터이면, 2치 부호화 신호의 복호화 처리가 종료된다.
한편, 상기 단계 Sf8에서의 판정 결과, 화상 식별자의 값 SID가 「SID=01」인 경우, 입력된 화상 부호화 신호는 화상 정보로서 형상 부호화 비트열과 텍스쳐 부호화 비트열이 포함되는 제 1 임의 형상 부호화 신호이기 때문에, 데이터 해석기(160f)는 전환 스위치(101f)를 스위치 제어 신호 SWf에 의해 제어하여, 해당 임의 형상 부호화 신호의 각 블럭에 대응하는 형상 부호화 비트열이 형상 복호화부(170)에 공급되고, 각 블럭에 대응하는 텍스쳐 부호화 비트열이 텍스쳐 복호화부(180f)에 공급되도록 한다. 이에 따라, 임의 형상 부호화 신호에 있어서의 형상 부호화 비트열과 텍스쳐 부호화 비트열이 분리되고(단계 Sf10), 분리된 형상부호화 비트열이 상기 형상 복호화부(170)에 의해, 분리된 텍스쳐 부호화 비트열이 상기 텍스쳐 복호화부(180)에 의해 복호화되어(단계 Sf11, Sf12) 표시된다(단계 Sf13). 이 단계 Sf11 및 Sf12에 있어서의 복호화 처리는, 상기 실시예 3에 있어서의 단계 Sb4, Sb5의 복호화 처리와 완전히 동일하며, 단계 Sf13에 있어서의 화상 표시는 실시예 3에 있어서의 단계 Sb6과 마찬가지로 실행된다.
그 후, 상기 제 1 임의 형상 부호화 신호 Ep가 최종 화면의 최종 블럭의 데이터인지 여부의 판정이 행해져서(단계 Sf14), 이 부호화 신호 Ep가 최종 화면의 최종 블럭의 데이터가 아니면, 상기 단계 Sf1, Sf8, Sf10 내지 Sf14에 있어서의 처리를 다음 블럭에 대한 제 1 임의 형상 부호화 신호 Ep에 대하여 실행하고, 반대로 이 부호화 신호 Ep가 최종 화면의 최종 블럭의 데이터이면, 이 임의 형상 부호화 신호 Ep의 복호화 처리가 종료된다.
또, 본 실시예 9의 복호화 처리에서는, 제 1 혹은 제 2 임의 형상 부호화 신호의 복호화를 실행하는 경우, 재생한 형상 복호화 신호가 0인 화소에 대해서는 재생한 텍스쳐 복호화 신호, 투과도 복호화 신호의 화소값을 소정 화상의 화소값으로 치환한다. 이 소정의 화상은 수신측에서 미리 준비한 화상이어도 좋고, 별도의 복호화기에 의해 재생된 화상이어도 좋다.
이와 같이 본 실시예 9의 화상 복호화 장치(100f)에서는, 입력되는 부호화 데이터를 해석하는 데이터 해석기(160f)를, 입력되는 화상 부호화 신호가, 2치 부호화 신호 E2, 제 1 임의 형상 부호화 신호 Ep, 제 2 임의 형상 부호화 신호 Ex 및 구형 부호화 신호 Eg 중 어느 것인지를 나타내는 화상 식별자를 검출하여, 해당 화상 식별자의 값에 따라 입력 부호화 신호에 있어서의 비트열을 형상 복호화부(170)와 텍스쳐 복호화부(180f) 사이에서 전환하여 어느 한쪽으로 공급하도록 구성하였기 때문에, 각각 데이터 구조가 상이한 4개의 화상 부호화 신호를 1개의 부호화 방식에 대응한 복호화 처리에 의해 복호화할 수 있게 된다.
또, 상기 실시예 9에서는, 형상 부호화 비트열을 형상 복호화부(170)에 의해 산술 복호화 방법(제 1 복호화 방법)에 의해 복호화하여, 텍스쳐 부호화 비트열과 투과도 부호화 비트열을 함께 텍스쳐 복호화부(180f)에 의해 DCT 처리를 포함하는 동일한 복호화 방식으로 복호화하는 경우, 즉 텍스쳐 부호화 비트열에 대한 복호화 방법(제 2 복호화 방법)과 투과도 부호화 비트열에 대한 복호화 방법(제 3 복호화 방법)이 동일한 경우를 나타내었지만, 투과도 부호화 비트열은 상기 텍스쳐 부호화 비트열에 대한 DCT 처리를 포함하는 복호화 방법(제 2 복호화 방법)과는 상이한, 웨이블릿 처리 등을 포함하는 복호화 방법(제 3 복호화 방법)에 의해 복호화하도록 하여도 좋다.
또한, 상기 실시예 9에서는, 실시예 8에서 예시한 데이터 구조의 부호화 신호, 즉 제 1, 제 2 임의 형상 부호화 신호, 2치 부호화 신호 및 구형 부호화 신호를 각각의 화상 식별자에 의해 식별하여, 각각의 데이터 구조에 따른 복호화 처리의 제어를 실행하는 화상 복호화 장치를 나타내었지만, 도 3에 나타내는 실시예 2의 화상 부호화 장치(100a)에 있어서의 화상 입력 장치(110)를, 임의 형상 화상 신호, 2치 화상 신호, 구형 화상 신호 및 투과도 정보가 부가된 임의 형상 화상 신호를 식별할 수 있는 구성으로 함으로써, 이들 화상 신호의 부호화 처리를 각 화상신호에 대응하는 부호화 신호에 이들 부호화 신호를 식별하기 위한 화상 식별자를 부가하여 실행하는 화상 부호화 장치를 실현할 수 있다.
(실시예 10)
도 17 및 도 18은 본 발명의 실시예 10에 의한 화상 전송용 데이터 구조를 설명하기 위한 도면이다. 도 17의 (a)는 형상 부호화 비트열과 텍스쳐 부호화 비트열을 포함하는 임의 형상 화상 신호를 부호화하여 얻어지는 임의 형상 부호화 신호(제 1 임의 형상 부호화 신호)의 데이터 구조를 나타내고, 도 17의 (b)는 2치 화상 신호를 부호화하여 얻어지는 2치 부호화 신호의 데이터 구조를 나타내며, 도 17의 (c)는 화상을 컬러 표시하기 위한 텍스쳐 신호(화소값 신호)만을 표시용 데이터로서 포함하는 구형 화상 신호를 부호화하여 얻어지는 구형 부호화 신호(화소값 부호화 신호)의 데이터 구조를 나타내고 있다. 또한, 도 18의 (a)는 투과도 정보를 포함하는 임의 형상 화상 신호를 부호화하여 얻어지는 투과도 정보가 부가된 임의 형상 부호화 신호(제 2 임의 형상 부호화 신호)의 데이터 구조를 나타내고, 도 18의 (b)는 형상 부호화 비트열과 투과도 부호화 비트열을 포함하는 임의 형상 투과도 신호를 부호화하여 얻어지는 투과도 부호화 신호 구조를 나타내고 있다.
그리고, 본 실시예의 화상 전송용 데이터 구조는, 상기 실시예 8와 마찬가지로 상기 투과도 정보를 포함하는 임의 형상 화상 신호를 압축 부호화하여 전송하고, 또한 부호화된 제 2 임의 형상 부호화 신호를 복호화하여 표시하는 시스템을 대상으로 하는 것이다. 즉, 이 시스템에 있어서, 화상 부호화 방법 및 장치는 상기 투과도 정보를 포함하는 임의 형상 화상 신호에 대한 부호화 처리를 실행하는 구성으로 되어 있고, 또한 화상 복호화 방법 및 장치는 상기 제 2 임의 형상 부호화 신호에 대한 복호화 처리를 실행하는 구성으로 되어 있다.
도면에 있어서, (3500)은 본 실시예 10의 화상 전송용 데이터 구조를 갖는 임의 형상 부호화 신호(도 17의 (a) 참조)로서, 이 임의 형상 부호화 신호(3500)는 도 13의 (a)에 나타내는 실시예 8의 임의 형상 부호화 신호(2500)와 마찬가지로, 상기 실시예 1의 임의 형상 부호화 신호(500)에 있어서의 1 비트의 형상 식별자(502)를 2 비트의 화상 식별자(3502)로 치환한 것이다.
또한, (3600)은 본 실시예 10의 화상 전송용 데이터 구조를 갖는 2치 형상 부호화 신호(도 17의 (b)참조)로서, 이 2치 형상 부호화 신호(3600)는 상기 실시예 1의 2치 형상 부호화 신호(600)에 있어서의 1 비트의 형상 식별자(602)를 3 비트의 화상 식별자(3602)로 치환한 것이다.
또한, (3700)은 본 실시예 10의 화상 전송용 데이터 구조를 갖는 구형 부호화 신호(도 17의 (c) 참조)로서, 이 구형 부호화 신호(화소값 부호화 신호)(3700)는 도 14의 (a)에 나타내는 실시예 8의 구형 부호화 신호(화소값 부호화 신호)(2700)와 마찬가지로, 도 23의 (c)에 나타내는 화소값 부호화 신호(700a)에 있어서의 동기 신호(701)와 헤더(703) 사이에 2 비트의 화상 식별자(3702)를 삽입하여 이루어지는 것이다.
또한, (3800)은 본 실시예 10의 제 2 임의 형상 부호화 신호(도 18의 (a) 참조)로서, 이 제 2 임의 형상 부호화 신호(3800)는 도 14의 (b)에 나타내는 실시예8의 제 2 임의 형상 부호화 신호(2800)와 완전히 동일한 데이터 구조로 되어 있으며, 2 비트의 화상 식별자(3802)를 갖고 있다.
또한, (3900)은 본 실시예 10의 투과도 부호화 신호(도 18의 (b) 참조)로서, 이 투과도 부호화 신호(3900)는 그 선두에 위치하는 32 비트의 동기 신호(901)와, 해당 동기 신호(901)에 이어지는 3 비트의 화상 식별자(SID)(3902)와, 해당 화상 식별자(3902)에 이어지는 그 밖의 헤더(903)를 포함하고 있다. 또한, 상기 투과도 부호화 신호(3900)는, 상기 임의 형상 투과도 신호를 구성하는, 각각의 물체의 형상을 나타내는 형상 신호(2치 투과도 신호)를 부호화하여 얻어지는 형상 부호화 비트열(91E)과, 상기 임의 형상 투과도 신호를 구성하는, 각각의 물체의 투과도를 계조 표시하기 위한 다치 투과도 신호를 부호화하여 얻어지는 투과도 부호화 비트열(92E)을 포함하고 있다. 구체적으로, 상기 투과도 부호화 신호(3900)에서는, 1 표시 화면상의 물체를 포함하는 오브젝트 영역을 분할하는 각 블럭마다, 형상 부호화 비트열(91E)과 투과도 부호화 비트열(92E)이 배열되어 있다.
즉, 여기서는, 상기 그 밖의 헤더(903)에 계속해서, 블럭 E1에 대응하는 형상 부호화 비트열(91E1) 및 투과도 부호화 비트열(92E1), 블럭 E2에 대응하는 형상 부호화 비트열(91E2) 및 투과도 부호화 비트열(92E2), 블럭 E3에 대응하는 형상 부호화 비트열 (91E3) 및 투과도 부호화 비트열(92E3)이 이 순서로 배열되어 있다.
또한, 상기 형상 부호화 비트열(91E1, 91E2, 91E3)은, 도 18의 (b)에 도시하는 바와 같이 각각, 형상 움직임 벡터에 대응하는 가변 길이의 부호화 데이터(도면에서는 "형상 MV"라고 기재함)(904, 909, 914)와, 블럭내의 화소가 물체 내부와 물체 외부 중 어느 곳에 위치하는지를 나타내는 2치의 형상 신호(2치 투과도 신호)에 대응하는 가변 길이의 부호화 데이터(도면에서는 "형상 데이터"라고 기재함)(905, 910, 915)로 구성되어 있다.
상기 투과도 부호화 비트열(92E1, 92E2, 92E3)은, 도 18의 (b)에 도시하는 바와 같이, 각각 양자화폭에 대응하는 5 비트의 부호화 데이터(도면에서는 간단히 "양자화폭"이라고 기재함)(906, 911, 916)와, 투과도 움직임 벡터에 대응하는 가변 길이의 부호화 데이터(도면에서는 "투과도 MV"라고 기재함)(907, 912, 917)와, 다치 투과도 신호에 DCT 처리 및 양자화 처리를 실시하여 얻어지는 양자화 신호에 대응하는 가변 길이의 부호화 데이터(도면에서는 간단히 "투과도 DCT 계수"라고 기재함)(908, 913, 918)로 구성되어 있다.
여기서, 상기 동기 신호(901)는 1개의 물체에 대응하는 투과도 부호화 신호의 시작을 나타내는 신호로서, 일의적인 부호화 신호이다. 또한, 상기 화상 식별자(SID)(3902)는 화상 부호화 신호가 상기 5개 유형의 화상 부호화 신호 중 어느 것인지를, 즉 상기 화상 부호화 신호에 포함되는 비트열의 종류를 식별하기 위한 신호이다. 상기 화상 식별자는 그 값(SID)이 「SID=10」일 때에는, 부호화 신호내에 표시용 데이터로서 형상 부호화 비트열과 텍스쳐 부호화 비트열의 양쪽이 존재하는 것을 나타낸다. 또한, 화상 식별자는 그 값(SID)이 「SID=010」일 때에는, 부호화 신호내에 표시용 데이터로서 형상 부호화 비트열만이 존재하는 것을 나타낸다. 또한, 화상 식별자는 그 값(SID)이 「SID=00」일 때에는, 부호화 신호내에 표시용 데이터로서 텍스쳐 부호화 비트열만이 존재하는 것을 나타낸다. 또한, 화상식별자는 그 값(SID)이 「SID=11」일 때에는, 부호화 신호내에 표시용 데이터로서 형상 부호화 비트열, 텍스쳐 부호화 비트열 및 투과도 부호화 비트열이 존재하는 것을 나타낸다. 또한, 화상 식별자는 그 값(SID)이 「SID=011」일 때에는, 부호화 신호내에 표시용 데이터로서 형상 부호화 비트열 및 투과도 부호화 비트열이 존재하는 것을 나타낸다.
또한, 그 밖의 헤더(903)에는, 해당하는 물체의 화상의 표시 시간, 화상의 속성, 부호화시의 예측 모드 등의 정보가 포함되지만, 그 상세한 설명에 대해서는 본 발명과 무관하므로 생략한다.
상기 형상 MV는, 현재 화면의 소정 블럭의 형상 신호를 이전 화면이 대응하는 블럭의 형상 신호로부터 예측할 때 이용하는, 상기 현재 화면 및 이전 화면 사이에서의 블럭내 화상의 움직임량을 나타내는 움직임 벡터의 부호화 데이터이다. 또한, 상기 형상 데이터는 형상 신호(2치 투과도 신호)를 산술 부호화하여 얻어진 것이며, 상기 양자화폭은 다치 투과도 신호에 DCT 처리 및 양자화 처리를 실시하여 얻어지는 DCT 계수를 역양자화하기 위한 파라미터이다. 또한, 상기 투과도 MV는 현재 화면의 다치 투과도 신호를 이전 화면의 다치 투과도 신호로부터 예측할 때이용한다, 현재 화면 및 이전 화면 사이에서의 블럭내 화상의 움직임량을 나타내는 투과도 움직임 벡터의 부호화 신호이다. 또한 여기서, 상기 투과도 DCT 계수는 상기 다치 투과도 신호에 대응하는 양자화 신호에 가변 길이 부호화 처리를 실시하여 얻어지는 것이다.
또한, 실제의 투과도 부호화 신호(3900)에 있어서는, 상기 투과도 DCT 계수앞에, 도면에 나타낸 데이터 이외에도 많은 사이드 정보가 배열되어 있다. 여기서는 이들 사이드 정보에 대해서는 도시하고 있지 않지만, 이들 사이드 정보는 경우에 따라서는 부호화시에 많은 비트수를 필요로 한다.
다음에 작용 효과에 대하여 설명한다.
이러한 구성의 본 실시예 10에서는, 데이터 구조가 상이한 5개의 화상 부호화 신호, 즉 제 1 임의 형상 부호화 신호(3500), 2치 부호화 신호(3600), 구형 부호화 신호(3700), 제 2 임의 형상 부호화 신호(3800) 및 투과도 부호화 신호(3900)를, 각각 이들을 특정하기 위한 화상 식별자(3502, 3602, 3702, 3802, 3902)를 포함하는 구조로 하였기 때문에, 해당 화상 식별자를 참조함으로써, 예를 들면 제 1, 제 2 임의 형상 부호화 신호, 2치 부호화 신호, 구형 부호화 신호 및 임의 형상 투과도 신호의 5개 부호화 신호를 복호화측에서 식별할 수 있게 된다.
구체적으로는, 상기 임의 형상 부호화 신호의 복호화 처리를 행하도록 구성되어 있는 MPEG4에 대응한 화상 복호화 장치에서는, 상기 화상 식별자에 의해서, 상기 제 1, 제 2 임의 형상 부호화 신호나 임의 형상 투과도 신호 이외에, 2치 부호화 신호 및 구형 부호화 신호가 입력되더라도, 이들 2치 부호화 신호 및 구형 부호화 신호에 대하여 적절한 복호화 처리를 실행하는 것이 가능해진다. 이 때문에, 상기 구형 부호화 신호 및 2치 부호화 신호에 대하여, MPEG4에 대응한 복호화 처리를 실시해 버려 복호 동작이 파탄을 초래한다고 하는 불량을 피할 수 있다.
또, 상기 실시예 10에서는, 각각 상이한 데이터 구조를 갖는 부호화 신호로서, 프레임간 예측 부호화 처리하여 얻어지는 것을 나타내었지만, 이들 부호화 신호는 프레임내 부호화 처리한 것이어도 무방하다.
또한, 상기 실시예 10에서는, 상기 각 부호화 신호로서, 각 블럭마다 형상 부호화 비트열, 텍스쳐 부호화 비트열 및 투과도 부호화 비트열 중 필요로 되는 것을 배열한 것을 나타내었지만, 상기 각 부호화 신호는 필요로 되는 비트열을 프레임마다 배열한 것이어도 무방하다.
또한, 상기 실시예 10에서는, 실시예 8와 마찬가지로 제 2 임의 형상 부호화 신호(투과도 정보가 부가된 임의 형상 화상 신호의 부호화 신호)의 데이터 구조로서, 투과도 부호화 비트열(83D)에도, 대응하는 투과도 MV와 양자화폭이 포함되어 있는 것을 나타내었지만(도 18의 (a) 참조), 상기 제 2 임의 형상 부호화 신호(3800)의 투과도 부호화 비트열(83D)에는 반드시 투과도 MV와 양자화폭을 포함시킬 필요는 없으며, 투과도 DCT 계수의 복호화 처리를 텍스쳐 부호화 비트열에 있어서의 텍스쳐 MV와 양자화폭을 이용하여 실행하도록 하여도 좋다.
(실시예 11)
도 19는 본 발명의 실시예 11에 의한 화상 복호화 장치의 구성을 나타내는 블럭도이다. 도면에 있어서, (100g)는 상기 실시예 10의 화상 전송용 데이터 구조를 갖는 부호화 데이터에 대한 복호화 처리를 실행하는 화상 복호화 장치이다. 이 화상 복호화 장치(100g)는 부호화 데이터로서 입력되는 부호화 신호의 데이터 구조에 따른 복호화 처리를 행하도록 구성되어 있다.
즉, 상기 화상 복호화 장치(100g)에서는, 부호화 데이터 Eo로서 도 17의 (b)에 나타내는 2치 부호화 신호(E2)(3600)를 수신했을 때, 복호화 화상 데이터 Dsyn으로서 2치 복호화 신호 D2가 출력되도록 되어 있다. 또한, 부호화 데이터 Eo로서 도 17의 (a)에 나타내는 제 1 임의 형상 부호화 신호(Ep)(3500)를 수신했을 때, 복호화 화상 데이터 Dsyn으로서 임의 형상 복호화 신호 Dp가 각 물체마다 출력되도록 되어 있다. 또한, 부호화 데이터로서 도 17의 (c)에 나타내는 구형 부호화 신호(Et)(3700)를 수신했을 때, 복호화 화상 데이터 Dsyn으로서 구형 복호화 신호 Dt가 출력되도록 되어 있다. 또한, 부호화 데이터 Eo로서 도 18의 (a)에 나타내는 제 2 임의 형상 부호화 신호(Ex)(3800)를 수신했을 때, 복호화 화상 데이터 Dsyn으로서 투과도 정보가 부가된 임의 형상 복호화 신호 Dx가 각 물체마다 출력되고, 부호화 데이터 Eo로서 도 18의 (b)에 나타내는 투과도 부호화 신호(Eg)(3900)를 수신했을 때, 복호화 화상 데이터 Dsyn으로서 투과도 복호화 신호 Dg가 각 물체마다 출력되도록 되어 있다.
이하 자세히 설명하면, 이 화상 복호화 장치(100g)는 실시예 9의 화상 복호화 장치(100f)와 마찬가지로, 입력 단자(160a)에 입력되는 부호화 데이터 Eo를 해석하여, 해당 해석 결과에 따른 스위치 제어 신호 SWg를 출력하는 데이터 해석기(160g)와, 상기 형상 데이터(형상 신호를 부호화한 것)에 대하여 산술 복호화 처리를 실시하는 형상 복호화부(제 1 복호화 수단)(170)와, 상기 텍스쳐 DCT 계수 Ept 및 투과도 DCT 계수 Egt에 대하여 역DCT 처리를 포함하는 복호화 처리를 실시하는 텍스쳐 복호화부(제 2 복호화 수단)(180f)와, 상기 스위치 제어 신호 SWg에 의해, 상기 데이터 해석기(160g)로부터 출력되는 해석 대상으로 된 부호화 신호를상기 양 복호화부(170, 180f) 중 한쪽에 공급하는 전환 스위치(101g)와, 예측 형상 신호, 예측 텍스쳐 신호 및 예측 투과도 신호를 저장하는 프레임 메모리 뱅크(102f)를 갖고 있다.
여기서, 상기 데이터 해석기(160g)는 입력되는 부호화 신호에 있어서의 선두 32 비트 동기 신호에 이어지는 2 비트 화상 식별자(도 17의 (a), 도 17의 (c), 도 18의 (a))에 나타내는 부호화 신호에 있어서의 화상 식별자(3502, 3702, 3802)) 및 3 비트 화상 식별자(도 17의 (b), 도 18(b)에 나타내는 부호화 신호에 있어서의 화상 식별자(3602, 3902))를 조사하여, 화상 식별자의 설정치(SID)에 따라 전환 스위치(101f)를 제어하는 구성으로 되어 있다.
구체적으로, 상기 전환 스위치(101g)는 화상 식별자의 설정치(SID)가 「SID=10」일 때에는, 입력된 부호화 신호에 있어서의 형상 부호화 비트열이 형상 복호화부(170)로 공급되고, 해당 부호화 신호에 있어서의 텍스쳐 부호화 비트열이 텍스쳐 복호화부(180f)로 공급되도록, 스위치 제어 신호 SWg에 의해 전환 제어된다. 또한, 상기 전환 스위치(101g)는 화상 식별자의 설정치(SID)가 「SID=010」일 때에는, 입력된 부호화 데이터가 형상 복호화부(170)에만 공급되도록, 스위치 제어 신호 SWg에 의해 전환 제어된다. 또한, 상기 전환 스위치(101g)는 화상 식별자의 설정치(SID)가 「SID=00」일 때에는, 입력된 부호화 신호에 있어서의 텍스쳐 부호화 비트열이 텍스쳐 복호화부(180f)에만 공급되도록, 스위치 제어 신호 SWg에 의해 전환 제어된다. 또한, 상기 전환 스위치(101g)는 화상 식별자의 설정치(SID)가 「SID=11」일 때에는, 입력된 부호화 신호에 있어서의 형상 부호화 비트열이 형상복호화부(170)로 공급되고, 해당 부호화 신호에 있어서의 텍스쳐 부호화 비트열 및 투과도 부호화 비트열이 텍스쳐 복호화부(180f)로 공급되도록, 스위치 제어 신호 SWf에 의해 전환 제어된다. 또한, 상기 전환 스위치(101g)는 화상 식별자의 설정치(SID)가 「SID=011」일 때에는, 입력된 부호화 신호에 있어서의 형상 부호화 비트열이 형상 복호화부(170)로 공급되고, 해당 부호화 신호에 있어서의 투과도 부호화 비트열이 텍스쳐 복호화부(180f)로 공급되도록, 스위치 제어 신호 SWf에 의해 전환 제어된다.
이러한 데이터 해석기(160g)는, 도 7의 (b)에 나타내는 실시예 3의 데이터 해석기(160)와 마찬가지로, 테이블 저장부(162), 비교기(161) 및 스위치 제어 회로(163)로 구성되어 있지만, 여기서 비교기(161)는 입력된 부호화 신호의 비트열을 상기 테이블 저장부(162)에 있어서의 복호화 참조 테이블의 비트열과 비교하여, 부호화 데이터에 포함되어 있는 화상 식별자, 형상 부호화 비트열, 텍스쳐 부호화 비트열 및 투과도 부호화 비트열을 식별하고, 식별 결과에 근거하여 상기 전환 스위치(101g)를 스위치 제어 신호 SWg에 의해 제어하는 구성으로 되어 있다.
그리고 또한, 이 화상 복호화 장치(100g)는 복호화부(180f)의 출력(재생 텍스쳐 신호 Dpt 및 재생 투과도 신호 Dpt, 혹은 재생 텍스쳐 신호 Dpt 또는 재생 투과도 신호 Dgt만)과, 복호화부(170)의 출력(복호화부(180f)의 출력에 대응하는 재생 형상 신호 Dk)을 필요로 하는 화상 데이터와 합성하여, 투과도 정보가 부가된 임의 형상 재생 신호 Dx, 임의 형상 재생 신호 Dp, 혹은 투과도 재생 신호 Dg를 포함하는 합성 화상 데이터 Dsyn을 표시기(104)에 출력하는 합성기(190g)를 갖고 있다. 이 합성기(190g)는, 복호화부(170)로부터의 2치 재생 신호 D2 혹은 복호화부(180f)로부터의 구형 재생 신호 Dt를 그대로 표시기(104)에 출력하는 구성으로 되어 있다. 또, 상기 2치 재생 신호 D2 혹은 구형 재생 신호 Dt는 그 밖의 임의 형상 화상 신호와 합성하여 출력하도록 하여도 좋다. 또한, 합성기(190g)로부터 출력되는 신호는 표시기(104)가 아니라 프린터(도시하지 않음)에 출력하도록 하여도 좋다. 그리고, 그 밖의 구성은 실시예 9의 화상 복호화 장치와 동일하다.
또, 본 실시예 11에 있어서 재생 형상 신호가 0인 화소에 대해서는, 재생 텍스쳐 신호에 있어서의 화소값을 소정 화상의 화소값으로 치환하도록 하고 있다. 이 소정의 화상은, 수신측에서 미리 준비한 화상이어도 좋고, 별도의 화상 복호화 장치에 의해 재생된 화상이어도 좋다.
다음에 동작에 대하여 설명한다.
도 20은 본 발명의 실시예 11의 화상 복호화 장치에 의한 복호화 처리의 흐름을 나타내고 있다. 도 17의 (a), 도 17의 (b), 도 17의 (c), 도 18의 (a) 혹은 도 18의 (b)에 나타내는 데이터 구조의 화상 부호화 신호가 이 화상 복호화 장치(100g)에 입력되면, 데이터 해석기(160g)에 의해 해당 화상 부호화 신호에 있어서의 32 비트 동기 신호의 최종 비트에 이어지는 2 비트 부호의 해석이 실행되고, 이 2 비트의 부호가 「01」인지 여부의 판정이 행해진다(단계 Sg1). 이 판정 결과, 상기 2 비트의 부호가 「01」이 아니면, 다시 이 2 비트의 부호가 화상 식별자의 값(SID)으로서의 「SID=00 또는 11」인지 여부가 판정된다(단계 Sg2).
이 판정 결과 「SID=00 또는 11」이면, 단계 Sfg3에서 「SID=00」인지 여부의 판정이 행해진다. 이 단계 Sg3에서의 판정 결과, 화상 식별자가 「SID=00」인 경우에는, 입력되는 화상 부호화 신호 Eo가 구형 부호화 신호(화소값 부호화 신호) Et이기 때문에, 데이터 해석기(160g)는 이 부호화 신호가 항상 상기 복호화부(180f)에 공급되도록, 전환 스위치(101g)를 스위치 제어 신호 SWg에 의해 전환 제어한다. 이에 따라, 상기 형상 복호화부(180f)에 의해 구형 부호화 신호에 있어서의 텍스쳐 부호화 비트열(화소값 부호화 비트열)의 복호화 처리가 실행된다(단계 Sg4). 이 단계 Sg4에서의 복호화 처리는, 상기 실시예 7의 단계 Se2에서의 복호화 처리와 완전히 동일하다. 그 후, 복호화된 구형 복호화 신호 Dt가 합성기(190g)를 거쳐 표시기(104)에 공급되어 화상 표시된다(단계 Sg18). 이 때, 구형 복호화 신호를 상기 합성기(190g)에 의해 다른 임의 형상 화상 신호와 합성하도록 하여도 무방하다.
그리고, 상기 구형 부호화 신호 Et가 최종 화면의 최종 블럭의 데이터인지 여부의 판정이 행해져서(단계 Sg19), 이 부호화 신호가 최종 화면의 최종 블럭의 데이터가 아니면, 상기 단계 Sg1 내지 Sg4, Sg18, Sg19에 있어서의 처리를 다음 블럭에 대한 구형 부호화 신호 Et에 대해 실행하고, 반대로 상기 구형 부호화 신호가 최종 화면의 최종 블럭의 데이터이면, 이 부호화 신호의 복호화 처리가 종료된다.
또한, 상기 단계 Sg3에서의 판정 결과, 화상 식별자가 「SID=11」인 경우, 입력된 화상 부호화 신호는 화상 정보로서 형상 부호화 비트열, 텍스쳐 부호화 비트열 및 투과도 부호화 비트열이 포함되는 제 2 임의 형상 부호화 신호이기 때문에, 데이터 해석기(160g)는 전환 스위치(101g)를 스위치 제어 신호 SWg에 의해 제어하여, 상기 제 2 임의 형상 부호화 신호의 각 블럭에 대응하는 형상 부호화 비트열이 형상 복호화부(170)에 공급되고, 그 각 블럭에 대응하는 텍스쳐 부호화 비트열 및 투과도 부호화 비트열이 텍스쳐 복호화부(180f)에 공급되도록 한다. 이에 따라, 제 2 임의 형상 부호화 신호에 있어서의 형상 부호화 비트열, 텍스쳐 부호화 비트열 및 투과도 부호화 비트열이 분리되고(단계 Sg5), 분리된 형상 부호화 비트열이 상기 형상 복호화부(170)에 의해 복호화되고(단계 Sg6), 분리된 텍스쳐 부호화 비트열 및 투과도 부호화 비트열이 상기 텍스쳐 복호화부(180f)에 의해 복호화된다(단계 Sg7, Sg8). 상기 단계 Sg5 내지 Sg8의 처리는, 상기 실시예 9에 있어서의 단계 Sf4 내지 Sf7의 처리와 완전히 동일하다. 그리고, 복호화된 형상 복호화 신호 Dxk, 텍스쳐 복호화 신호 Dxt 및 투과도 복호화 신호 Dgt가 합성기(190g)에 의해 합성되고, 합성 신호 Dsyn으로서 제 2 임의 형상 복호화 신호 Dx가 표시기(104)에 공급되어 화상 표시된다(단계 Sg18).
그 후, 상기 제 2 임의 형상 부호화 신호 Ex가 최종 화면의 최종 블럭의 데이터인지 여부의 판정이 행해져서(단계 Sg19), 이 부호화 신호가 최종 화면의 최종 블럭의 데이터가 아니면, 상기 단계 Sg1 내지 Sg3, Sg5 내지 Sg8, Sg18, Sg19에 있어서의 처리를 다음 블럭에 대한 제 2 임의 형상 부호화 신호 Ex에 대하여 실행하고, 반대로 이 임의 형상 부호화 신호가 최종 화면의 최종 블럭의 데이터이면, 이 임의 형상 부호화 신호의 복호화 처리가 종료된다.
또한, 상기 단계 Sg2에서의 판정 결과 화상 식별자가 「SID=10」인 경우, 입력된 화상 부호화 신호는 화상 정보로서 형상 부호화 비트열 및 텍스쳐 부호화 비트열이 포함되는 제 1 임의 형상 부호화 신호 Ep이기 때문에, 데이터 해석기(160g)는 전환 스위치(101f)를 스위치 제어 신호 SWg에 의해 제어하여, 상기 임의 형상 부호화 신호의 각 블럭에 대응하는 형상 부호화 비트열이 형상 복호화부(170)에 공급되고, 그 각 블럭에 대응하는 텍스쳐 부호화 비트열이 텍스쳐 복호화부(180f)에 공급되도록 한다.
이에 따라, 임의 형상 부호화 신호에 있어서의 형상 부호화 비트열과 텍스쳐 부호화 비트열이 분리되어(단계 Sg9), 분리된 형상 부호화 비트열이 상기 형상 복호화부(170)에 의해 복호화되고(단계 Sg10), 분리된 텍스쳐 부호화 비트열이 상기 텍스쳐 복호화부(180f)에 의해 복호화된다(단계 Sg11). 또, 상기 단계 Sg9 내지 Sg11에 있어서의 복호화 처리는 상기 실시예 9에 있어서의 단계 Sf10 내지 Sf12의 복호화 처리와 완전히 동일하다.
그리고, 복호화된 형상 복호화 신호 Dpk 및 텍스쳐 복호화 신호 Dpt가 합성기(190g)에 의해 합성되고, 합성 신호 Dsyn으로서 제 1 임의 형상 복호화 신호 Dp가 표시기(104)에 공급되어 화상 표시된다(단계 Sg18).
그 후, 상기 제 1 임의 형상 부호화 신호 Ep가 최종 화면의 최종 블럭의 데이터인지 여부의 판정이 행해져서(단계 Sg19), 이 임의 형상 부호화 신호가 최종 화면의 최종 블럭의 데이터가 아니면, 상기 단계 Sg1, Sg2, Sg9 내지 Sg11, Sg18, Sg19에 있어서의 처리를 다음 블럭에 대한 제 1 임의 형상 부호화 신호 Ep에 대하여 실행하고, 반대로 이 임의 형상 부호화 신호가 최종 화면의 최종 블럭의 데이터이면, 이 임의 형상 부호화 신호의 복호화 처리가 종료된다.
또한, 상기 단계 Sg1에서의 판정 결과 동기 신호에 이어지는 최초의 2 비트 부호가 「01」인 경우에는, 단계 Sg12에서 화상 식별자의 값 SID가 「SID=010」인지 여부의 판정이 실행된다. 이 단계 Sg12에서의 판정 결과 상기 화상 식별자가 「SID=010」인 경우에는, 입력되는 화상 부호화 신호 Eo가 화상 정보로서 형상 부호화 비트열만을 포함하는 2치 부호화 신호 E2이기 때문에, 데이터 해석기(160g)는 2치 부호화 신호의 각 블럭에 대응하는 형상 부호화 비트열이 항상 형상 복호화부(170)에 전송되도록, 전환 스위치(101g)를 스위치 제어 신호 SWg에 의해 전환 제어한다. 이에 따라, 상기 형상 복호화부(170)에 의해 2치 부호화 신호 E2에 있어서의 형상 부호화 비트열의 복호화 처리가 실행된다(단계 Sg13). 이 단계 Sg13에서의 복호화 처리는, 실시예 3의 단계 Sb2의 복호화 처리와 완전히 동일하다. 그 후, 복호화된 2치 복호화 신호 D2가 합성기(190g)를 거쳐 표시기(104)에 공급되어 화상 표시된다(단계 Sg18). 이 때, 2치 복호화 신호 D2를 상기 합성기(190g)에 의해 다른 임의 형상 화상 신호와 합성하도록 하여도 좋다.
그 후, 상기 2치 부호화 신호 E2가 최종 화면의 최종 블럭의 데이터인지 여부의 판정이 행해져서(단계 Sg19), 상기 2치 부호화 신호가 최종 화면의 최종 블럭의 데이터가 아니면, 상기 단계 Sg1, Sg12, Sg13, Sg18, Sg19에 있어서의 처리를 다음 블럭에 대한 2치 부호화 신호에 대하여 실행하고, 반대로 상기 2치 부호화 신호가 최종 화면의 최종 블럭의 데이터이면, 2치 부호화 신호의 복호화 처리가 종료된다.
한편, 상기 단계 Sg12에서의 판정 결과 「SID=010」이 아닌 경우에는, 단계Sg14에서 「SID=011」인지 여부의 판정이 행해지고, 이 단계 Sg14에서의 판정 결과 「SID=011」이 아니면, 본 화상 복호화 장치(100g)에 의한 복호화 처리는 단계 Sg1로 되돌아간다.
또한, 상기 단계 Sg14에서의 판정 결과 「SID=011」인 경우, 입력된 화상 부호화 신호에는 화상 정보로서 형상 부호화 비트열 Egk와 투과도 부호화 비트열 Egt가 포함되기 때문에, 데이터 해석기(160g)는 전환 스위치(101f)를 스위치 제어 신호 SWg에 의해 제어하여, 임의 형상 부호화 신호의 각 블럭에 대응하는 형상 부호화 비트열 Egk가 형상 복호화부(170)에 공급되고, 각 블럭에 대응하는 투과도 부호화 비트열 Egt가 텍스쳐 복호화부(180f)에 공급되도록 한다. 이에 따라, 투과도 부호화 신호에 있어서의 형상 부호화 비트열 Egk와 투과도 부호화 비트열 Egt가 분리되어(단계 Sg15), 분리된 형상 부호화 비트열 Egk가 상기 형상 복호화부(170)에 의해 복호화되고, 분리된 투과도 부호화 비트열 Egt가 상기 텍스쳐 복호화부(180f)에 의해 복호화된다(단계 Sg16, Sg17).
즉, 형상 부호화 비트열 Egk가 상기 2치 화상 신호의 형상 부호화 비트열 E2k와 마찬가지로 상기 형상 복호화부(170)에 의해 복호화된다. 1개의 블럭에 대응하는 형상 부호화 비트열 Egk의 복호화 처리가 종료된 시점에서, 산술 복호화기(171)에서는 이 블럭에 대응하는 형상 부호화 비트열 Egk의 종료점이 검출되고, 이 종료점 검출 신호 Te가 상기 데이터 해석기(160g)에 출력된다. 그렇게 하면, 데이터 해석기(160g)는 스위치 제어 신호 SWg에 의해 전환 스위치(101g)를 제어하여, 입력되는 화상 부호화 신호가 상기 텍스쳐 복호화부(180f)에 공급되도록한다.
이에 따라, 투과도 부호화 비트열 Egt는 데이터 해석기(160g)로부터 텍스쳐 복호화부(180f)로 전송된다. 해당 복호화부(180f)에서는, 상기 각 비트열에 있어서의 양자화폭과 DCT 계수가 역양자화기(181f)에 공급되어 DCT 계수의 역양자화 처리가 행해진다. 역양자화 출력 Diq는 역코사인 변환기(182f)에 의해 역코사인 변환된다.
또한, 이 때 투과도 움직임 벡터 MV는 텍스쳐 움직임 보상기(184f)에 공급되어 있으며, 해당 보상기(184f)는 투과도 움직임 벡터 MV에 근거하여 예측 투과도 신호를 취득하기 위한 어드레스를 생성하고, 이 어드레스를 이용하여 프레임 메모리 뱅크(102f)로부터 예측 투과도 신호 Emg를 취득한다.
그리고, 가산기(183)에서는 상기 역코사인 변환기(182f)의 출력 Didct와 예측 투과도 신호 Emg의 가산 처리가 실행되어, 해당 가산기(183)로부터는 투과도 복호화 신호 Dgt가 출력된다. 이 투과도 복호화 신호 Dgt는 프레임 메모리 뱅크(102f) 및 합성기(190g)에 공급된다. 해당 합성기(190g)에서는 재생한 투과도 복호화 신호 Dgt와, 대응하는 재생한 형상 복호화 신호 Dgk를, 필요로 하는 화상과 합성하여 합성 화상 데이터 Dsyn을 생성한다. 그리고, 이 합성 화상 데이터 Dsyn이 표시기(104)에 공급되어, 다른 화상 등과 합성되어 표시된다(단계 Sg18). 또, 상기 투과도 부호화 비트열의 복호화 처리가 종료된 시점에서, 데이터 해석기(160g)는 해당 투과도 부호화 비트열의 종료점을 검출하고, 스위치 제어 신호 SWg에 의해 전환 스위치(101f)를 전환하여, 입력되는 화상 부호화 신호가 상기형상 복호화부(170)에 공급되도록 한다.
그 후, 상기 입력되는 부호화 신호가 최종 화면의 최종 블럭의 데이터인지 여부의 판정이 행해져서(단계 Sg19), 상기 입력 부호화 신호가 최종 화면의 최종 블럭의 데이터가 아니면, 상기 단계 Sg1, Sg12, Sg14 내지 Sg19에 있어서의, 입력 부호화 신호의 데이터 구조에 대응한 처리가 다음 블럭의 입력 부호화 신호에 대하여 실행되고, 상기 입력 부호화 신호가 최종 화면의 최종 블럭의 데이터이면, 대응하는 입력 부호화 신호의 복호화 처리가 종료된다.
또, 본 실시예 11에서는, 재생한 형상 복호화 신호가 0인 화소에 대해서는, 재생한 제 1, 제 2 임의 형상 복호화 신호, 혹은 투과도 복호화 신호의 화소값을 소정 화상의 화소값으로 치환한다. 이 소정의 화상은 수신측에서 미리 준비한 화상이어도 좋고, 별도의 복호화기에 의해 재생된 화상이어도 좋다.
이와 같이 본 실시예 11의 화상 복호화 장치(100g)에서는, 입력되는 부호화 데이터를 해석하는 데이터 해석기(160g)를, 입력되는 화상 부호화 신호가, 2치 부호화 신호 E2, 제 1, 제 2 임의 형상 부호화 신호 Ep, Ex, 구형 부호화 신호 Et 및 투과도 부호화 신호 Eg 중 어느 것인지를 나타내는 화상 식별자를 검출하여, 해당 화상 식별자의 값에 따라서 입력 부호화 신호를 형상 복호화부(170)와 텍스쳐 복호화부(180f) 사이에서 전환하여 공급하도록 구성하였기 때문에, 각각 데이터 구조가 상이한 상기 5개의 화상 부호화 신호를 1개의 부호화 방식에 대응한 복호화 처리에 의해 복호화할 수 있다.
또, 상기 실시예 11에서는, 텍스쳐 부호화 비트열과 투과도 부호화 비트열을텍스쳐 복호화부(180f)에 의해 동일한 복호화 방식으로 복호화하는 경우를 나타내었지만, 상기 실시예 9에서도 설명한 바와 같이, 투과도 부호화 비트열은 텍스쳐 부호화 비트열에 대한 복호화 방법과는 상이한 복호화 방법에 의해 복호화하도록 하여도 좋다.
또한, 상기 실시예 11에서는, 실시예 10에서 예시한 데이터 구조의 부호화 신호, 즉 제 1, 제 2 임의 형상 부호화 신호, 2치 부호화 신호, 투과도 부호화 신호 및 구형 부호화 신호를 각각의 화상 식별자에 의해 식별하여, 각각의 데이터 구조에 따른 복호화 처리의 제어를 실행하는 화상 복호화 장치를 나타내었지만, 도 3에 나타내는 실시예 2의 화상 부호화 장치(100a)에 있어서의 화상 입력 장치(110)를, 임의 형상 화상 신호, 2치 화상 신호, 구형 화상 신호, 임의 형상 투과도 신호 및 투과도 정보가 부가된 임의 형상 화상 신호를 식별할 수 있는 구성으로 함으로써, 이들 화상 신호의 부호화 처리를 각 화상 신호에 대응하는 부호화 신호에 이들 부호화 신호를 식별하기 위한 화상 식별자를 부가하여 실행하는 화상 부호화 장치를 실현할 수 있다.
또한, 상기 각 실시예에서 나타낸 화상 부호화 장치 및 화상 복호화 장치 혹은 화상 부호화 방법 및 화상 복호화 방법의 구성을 실현하기 위한 부호화 혹은 복호화 프로그램을 플로피 디스크 등의 데이터 기억 매체에 기록하도록 함으로써, 상기 각 실시예에서 나타낸 화상 처리를 독립된 컴퓨터 시스템에 있어서 간단히 실시하는 것이 가능해진다.
도 21은 상기 실시예 2의 화상 부호화 처리, 실시예 3 내지 5, 실시예 7, 9,11의 화상 복호화 처리를, 상기 부호화 혹은 복호화 프로그램을 저장한 플로피 디스크를 이용하여 컴퓨터 시스템에 의해 실시하는 경우의 설명도이다.
도 21의 (a)는 플로피 디스크의 정면에서 본 외관, 단면 구조 및 플로피 디스크 본체를 나타내며, 도 21의 (b)는 해당 플로피 디스크 본체의 물리 포맷의 예를 나타내고 있다.
상기 플로피 디스크 FD는 상기 플로피 디스크 본체 D를 플로피 디스크 케이스 FC내에 수용한 구조로 되어 있으며, 해당 플로피 디스크 본체 D의 표면에는 동심원상으로 외주로부터 내주를 향하여 복수의 트랙 Tr이 형성되고, 각 트랙 Tr은 각도 방향으로 16개의 섹터 Se로 분할되어 있다. 따라서, 상기 프로그램을 저장한 플로피 디스크 FD에 있어서, 상기 플로피 디스크 본체 D는 그 위에 할당된 영역(섹터) Se에 상기 프로그램으로서의 데이터가 기록된 것으로 되어 있다.
또한, 도 21의 (c)는, 플로피 디스크 FD에 대한 상기 프로그램의 기록과, 플로피 디스크 FD에 저장한 프로그램을 이용한 화상 처리를 실행하기 위한 구성을 나타내고 있다.
상기 프로그램을 플로피 디스크 FD에 기록하는 경우에는, 컴퓨터 시스템 Cs로부터 상기 프로그램으로서의 데이터를 플로피 디스크 드라이브 FDD를 거쳐 플로피 디스크 FD에 기입한다. 또한, 플로피 디스크 FD에 기록된 프로그램에 의해 상기 화상 부호화 장치 혹은 화상 복호화 장치를 컴퓨터 시스템 Cs 중에 구축하는 경우에는, 플로피 디스크 드라이브 FDD에 의해 프로그램을 플로피 디스크 FD로부터 판독하여 컴퓨터 시스템 Cs으로 로드한다.
또한 상기 설명에서는, 데이터 기록 매체로서 플로피 디스크를 이용하여 설명하였지만, 광디스크를 이용하여도 상기 플로피 디스크의 경우와 마찬가지로 소프트웨어에 의한 화상 부호화 처리 혹은 화상 복호화 처리를 실행할 수 있다. 또한, 기록 매체는 상기 광디스크나 플로피 디스크에 한정되는 것이 아니라, IC 카드, ROM 카셋트 등, 프로그램을 기록할 수 있는 것이면 어떠한 것이어도 무방하며, 이들 기록 매체를 이용한 경우에도 상기 플로피 디스크 등을 이용하는 경우와 마찬가지로 소프트웨어에 의한 화상 부호화 처리 혹은 화상 복호화 처리를 실시할 수 있다.
또한, 2치 부호화 신호, 구형 부호화 신호, 제 1, 제 2 임의 형상 부호화 신호 및 투과도 부호화 신호 등의 데이터 구조가 상이한 화상 부호화 신호는 광디스크 등의 데이터 기억 매체에 저장하여 이용하는 경우가 있다.
그래서, 상기 광디스크 등의 데이터 기억 매체에 저장되는 데이터 구조가 상이한 복수의 화상 부호화 신호를, 본 실시예 1, 6, 8, 혹은 실시예 10의 화상 식별자를 갖는 화상 전송용 데이터 구조로 함으로써, 해당 광디스크 등으로부터의 복수의 화상 부호화 신호를 판독하여 복호화하는 경우, 1개의 부호화 방식에 대응한 화상 복호화 방법 혹은 화상 복호화 장치에 의해 각 부호화 신호를 식별하여, 각각의 부호화 신호의 데이터 구조에 적합한 복호화 처리를 실시할 수 있다. 예를 들면, 2치 부호화 신호 및 임의 형상 부호화 신호라고 하는 데이터 구조가 상이한 화상 부호화 신호 중 어느 것에 대해서도 복호화 처리가 가능해진다. 이 경우, 특히 상기 2치 부호화 신호에 대해서는 그 작성시에 의사 텍스쳐 부호화 신호를 부가하는것이 불필요하게 되어, 부호화 비트수의 증대를 거의 방지할 수 있다.
이상과 같이 본 발명(청구항 1)에 관한 화상 전송용 데이터 구조에 따르면, 표시 화상을 2치 정보에 의해 나타내거나, 혹은 표시 화상을 구성하는 각 물체의 형상을 2치 정보에 의해 나타내는 형상 신호를 부호화하여 얻어지는 형상 부호화 비트열과, 표시 화상을 구성하는 물체를 계조 표시하기 위한 화소값 신호를 부호화하여 얻어지는 화소값 부호화 비트열 중 적어도 형상 부호화 비트열을 포함함과 동시에, 부호화 신호로서, 형상 부호화 비트열 및 화소값 부호화 비트열의 양쪽을 포함하는지, 혹은 해당 형상 부호화 비트열만을 포함하는지를 식별하기 위한 화상 식별자를 포함하기 때문에, 해당 화상 식별자를 참조함으로써, 화소값 부호화 비트열을 포함하는 부호화 신호에 대응한 데이터 해석 방법을 이용하여 화소값 부호화 비트열을 포함하지 않은 부호화 신호를 해석할 수 있다.
구체적으로는, 형상 신호 및 화소값 신호의 양쪽을 포함하는 임의 형상 화상 신호의 부호화 신호(임의 형상 부호화 신호)를 해석하는 데이터 해석 방법을 이용하여, 표시 정보로서 형상 신호만을 포함하는 2치 화상 신호의 부호화 신호(2치 부호화 신호)를 해석할 수 있고, 이에 따라 2치 화상 신호의 부호화시에, 형상 부호화 비트열에 의사적인 화소값 부호화 비트열을 부가하지 않더라도, MPEG4에 준거한 복호화 처리에 의해 형상 부호화 비트열의 복호화를 실행할 수 있다. 즉, 부호화시의 비트수 증대를 거의 초래하는 일 없이, 1개의 부호화 방식에 의해 2치 화상신호와 임의 형상 화상 신호의 양쪽에 대한 복호화 처리를 실행할 수 있다고 하는 효과가 있다.
본 발명(청구항 2)은, 청구항 1에 기재된 화상 전송용 데이터 구조에 있어서, 상기 화상 식별자를 2 비트의 부호로 구성하였기 때문에, 1개의 부호화 방식에 의해 2치 부호화 신호 및 임의 형상 부호화 신호를 포함하는 4종류의 화상 부호화 신호에 대한 복호화 처리가 가능해진다.
본 발명(청구항 3, 5)에 따르면, 입력되는 디지탈 화상 신호가, 표시 화상을 2치 정보에 의해 나타내는 형상 신호만을 표시용 데이터로서 포함하는 2치 화상 신호인지, 표시 화상을 구성하는 각 물체의 형상을 2치 정보에 의해 나타내는 형상 신호와, 표시 화상을 구성하는 각 물체를 계조 표시하기 위한 화소값 신호의 양쪽을 표시용 데이터로서 포함하는 임의 형상 화상 신호인지를 식별하여, 각각의 화상 신호의 부호화시에, 신호의 종별을 나타내는 화상 식별자를 각 화상 신호의 부호화 신호에 포함시키도록 하였기 때문에, 상기와 마찬가지로 해당 화상 식별자를 참조함으로써, 화소값 부호화 비트열을 포함하는 부호화 신호에 대응한 데이터 해석 방법을 이용하여 화소값 부호화 비트열을 포함하지 않은 부호화 신호를 해석할 수 있다. 이에 따라, 1개의 부호화 방식에 대응한 복호화 처리에 의해서, 서로 다른 부호화 방식에 의해 부호화된 데이터 구조가 상이한 화상 부호화 신호를 복호화할 수 있게 하며, 또한 이 경우에 부호화시의 비트수 증대를 거의 초래하지 않는다고 하는 효과를 얻을 수 있다.
본 발명(청구항 4)은, 청구항 3에 기재된 화상 부호화 방법에 있어서, 상기화상 식별자를 2 비트의 부호로 구성하였기 때문에, 2치 화상 신호 및 임의 형상 화상 신호를 포함하는 4종류의 화상 신호의 부호화 처리를, 각각의 화상 신호에 대응하는 화상 부호화 신호를 복호화측에서 식별할 수 있게 되도록 실행하는 것이 가능하다.
본 발명(청구항 6, 8)에 따르면, 그 데이터 구조에 따른 화상 식별자를 갖는 화상 부호화 신호를, 상기 화상 식별자를 참조하여 해석해서, 해당 화상 부호화 신호가, 표시 화상을 구성하는 각각의 물체의 형상을 나타내는 형상 신호의 부호화에 의해 얻어지는 형상 부호화 비트열과, 해당 물체를 계조 표시하기 위한 화소값 신호의 부호화에 의해 얻어지는 화소값 부호화 비트열을 표시용 데이터로서 포함하는 임의 형상 부호화 신호인지, 혹은 표시 화상을 2치 정보에 의해 나타내는 형상 신호의 부호화에 의해 얻어지는 형상 부호화 비트열만을 표시용 데이터로서 포함하는 2치 부호화 신호인지를 판정하여, 형상 부호화 비트열에 대응하는 복호화 처리와 화소값 부호화 비트열에 대응하는 복호화 처리를 각 화상 부호화 신호에 따라 구분하여 실행하도록 하였기 때문에, 1개의 부호화 방식에 대응한 복호화 처리에 의해서 서로 다른 부호화 방식에 의해 부호화된 데이터 구조가 상이한 화상 부호화 신호를 복호화할 수 있다.
따라서, 예를 들면 2치 화상 신호의 부호화에 의해 얻어지는 2치 부호화 신호에 의사적인 화소값 부호화 비트열을 부가하여, 해당 2치 부호화 신호가 임의 형상 화상 신호의 부호화에 의해 얻어지는 임의 형상 부호화 신호와 동일한 데이터 구조로 되도록 하지 않더라도, 임의 형상 부호화 신호의 부호화 방식에 대응한 복호화 처리에 의해 2치 부호화 신호를 복호화할 수 있으며, 또한 이 경우 부호화시의 비트수 증대를 거의 초래하지 않는다고 하는 효과를 얻을 수 있다.
본 발명(청구항 7)은, 청구항 6에 기재된 화상 복호화 방법에 있어서, 상기 화상 식별자를 2 비트의 부호로 구성하였기 때문에, 1개의 부호화 방식에 대응한 복호화 처리에 의해 2치 부호화 신호 및 임의 형상 부호화 신호를 포함하는 4종류의 화상 부호화 신호를 복호화할 수 있게 된다.
본 발명(청구항 9)에 관한 화상 복호화 장치에 따르면, 청구항 8에 기재된 화상 복호화 장치에 있어서, 형상 부호화 비트열을 복호화하는 제 1 복호화 수단과, 화소값 부호화 비트열을 복호화하는 제 2 복호화 수단 중 어느 하나에 있어서의 복호화 처리에 부가되는 부하의 크기가, 미리 설정되어 있는 임계값을 초과한 것을 검지하여 과부하 검지 신호를 출력하는 과부하 검지 수단을 구비하고, 상기 과부하 검지 신호가 출력되었을 때, 상기 임의 형상 부호화 신호에 대해서는 형상 부호화 비트열 및 화소값 부호화 비트열 중 한쪽에 대해서만 복호화 처리를 실행하도록 하였기 때문에, 상기 1개의 부호화 방식에 대응한 복호화 처리에 의해서 데이터 구조가 상이한 화상 부호화 신호를 복호화할 수 있으며, 또한 이 경우 부호화시의 비트수 증대를 거의 초래하지 않는다고 하는 효과에 덧붙여, 복호화 처리를 실행하는 프로세서의 부하가 커졌을 때에도 표시 화면상에 있어서의 화상의 매끄러운 움직임을 유지하면서, 화상 부호화 신호의 복호화 처리에 의한 재생을 실행할 수 있는 효과가 있다.
본 발명(청구항 10)에 관한 화상 복호화 장치에 따르면, 청구항 8에 기재된화상 복호화 장치에 있어서, 외부로부터 수동 제어 신호를 입력하기 위한 제어 신호 입력 수단을 구비하고, 상기 수동 제어 신호가 입력되었을 때, 상기 임의 형상 부호화 신호에 대해서는 형상 부호화 비트열 및 화소값 부호화 비트열 중 한쪽에 대해서만 복호화 처리를 하도록 하였기 때문에, 1개의 부호화 방식에 대응한 복호화 처리에 의해서 데이터 구조가 상이한 화상 부호화 신호를 복호화할 수 있으며, 또한 이 경우 부호화시의 비트수 증대를 거의 초래하지 않는다고 하는 효과에 덧붙여, 기록 매체에 저장되어 있는 화상 데이터의 검색을 실행하는 경우 등, 목적으로 하는 화상이 발견될 때까지는 형상 부호화 비트열의 복호화 처리만을 실행하도록 함으로써 데이터 검색을 신속하게 실행할 수 있다고 하는 효과도 있다.
본 발명(청구항 11)에 관한 화상 전송용 데이터 구조에 따르면, 형상 부호화 비트열 및 화소값 부호화 비트열의 양 부호화 비트열 중 적어도 한쪽의 부호화 비트열을 포함함과 동시에, 화상 부호화 신호가, 상기 부호화 비트열로서 적어도 상기 형상 부호화 비트열을 포함하는지, 혹은 상기 부호화 비트열로서 상기 화소값 부호화 비트열만을 포함하는지를 식별하기 위한 다(多)비트의 부호로 이루어지는 화상 식별자를 포함하기 때문에, 해당 화상 식별자를 참조함으로써 다른 종류의 화상 부호화 신호로부터 적어도 형상 부호화 비트열을 포함하는 화상 부호화 신호와 형상 부호화 비트열을 포함하지 않은 화상 부호화 신호를 식별할 수 있게 된다.
본 발명(청구항 12, 13)에 따르면, 그 데이터 구조에 따른 화상 식별자를 갖는 화상 부호화 신호를, 상기 화상 식별자를 참조하여 해석해서, 해당 화상 부호화 신호가, 임의 형상 부호화 신호, 구형 부호화 신호(화소값 부호화 신호) 및 2치 부호화 신호 중 어느 것인지를 판정하여, 입력되는 화상 부호화 신호가 구형 부호화 신호일 때, 그 화상값 부호화 비트열을 복호화하는 복호화 처리를 실행하고, 입력되는 화상 부호화 신호가 2치 부호화 신호 혹은 임의 형상 부호화 신호일 때, 이들 신호에 포함되는 부호화 비트열에 대한 복호화 처리를 정지시키기 때문에, 화상을 컬러 표시하기 위한 화소값 신호를 부호화하여 얻어지는 구형 부호화 신호만을 복호화하는 복호화 장치에 의해, 2치 부호화 신호, 임의 형상 부호화 신호 및 구형 부호화 신호 중 구형 부호화 신호만을 선택하여 복호화하는 것이 가능해진다.
본 발명(청구항 14)에 관한 화상 전송용 데이터 구조에 따르면, 형상 부호화 비트열, 화소값 부호화 비트열 및 투과도 부호화 비트열의 3개 부호화 비트열 중 적어도 하나의 부호화 비트열을 포함함과 동시에, 화상 부호화 신호가, 구형 부호화 신호(화소값 부호화 신호), 임의 형상 부호화 신호, 2치 부호화 신호, 투과도 정보가 부가된 임의 형상 부호화 신호 중 어느 것인지를 식별하기 위한 다비트의 부호로 이루어지는 화상 식별자를 포함하기 때문에, 해당 화상 식별자를 참조함으로써, 여러종류의 화상 부호화 신호로부터 형상 부호화 비트열, 화소값 부호화 비트열 및 투과도 부호화 비트열 중 필요로 하는 비트열을 포함하는 화상 부호화 신호를 식별할 수 있게 된다.
본 발명(청구항 15)에 관한 화상 복호화 방법에 따르면, 그 데이터 구조에 따른 화상 식별자를 갖는 화상 부호화 신호를 상기 화상 식별자를 참조하여 해석해서, 해당 화상 부호화 신호가, 형상 부호화 비트열 및 화소값 부호화 비트열만을 표시용 데이터로서 포함하는 제 1 임의 형상 부호화 신호인지, 상기 형상 부호화비트열 및 상기 화소값 부호화 비트열에 덧붙여 투과도 부호화 비트열을 표시용 데이터로서 포함하는 제 2 임의 형상 부호화 신호인지, 화소값 부호화 비트열만을 표시용 데이터로서 포함하는 구형 부호화 신호(화소값 부호화 신호)인지, 혹은 형상 부호화 비트열만을 표시용 데이터로서 포함하는 2치 부호화 신호인지를 판정하여, 각 부호화 신호에 따른 복호화 처리를 실행하기 때문에, 예를 들면 제 2 임의 형상 부호화 신호에 포함되는 3개의 부호화 비트열에 대응한 제 1 내지 제 3 복호화 방법에 의해 상기 제 1, 제 2 임의 형상 부호화 신호, 구형 부호화 신호, 2치 부호화 신호의 복호화 처리가 가능해진다.
본 발명(청구항 16)에 관한 화상 전송용 데이터 구조에 따르면, 형상 부호화 비트열, 화소값 부호화 비트열 및 투과도 부호화 비트열의 3개 부호화 비트열 중 적어도 하나의 부호화 비트열을 포함함과 동시에, 화상 부호화 신호가, 구형 부호화 신호(화소값 부호화 신호), 임의 형상 부호화 신호, 2치 부호화 신호, 투과도 정보가 부가된 임의 형상 부호화 신호 및 투과도 부호화 신호 중 어느 것인지를 식별하기 위한 다비트의 부호로 이루어지는 화상 식별자를 포함하기 때문에, 해당 화상 식별자를 참조함으로써, 여러종류의 화상 부호화 신호로부터 형상 부호화 비트열, 화소값 부호화 비트열 및 투과도 부호화 비트열 중 필요로 되는 비트열을 포함하는 화상 부호화 신호를 식별할 수 있게 된다.
본 발명(청구항 17)에 관한 화상 복호화 방법에 따르면, 그 데이터 구조에 따른 화상 식별자를 갖는 화상 부호화 신호를, 상기 화상 식별자를 참조하여 상기 화상 부호화 신호를 해석해서, 해당 화상 부호화 신호가, 임의 형상 부호화 신호,투과도 정보가 부가된 임의 형상 부호화 신호, 투과도 부호화 신호, 2치 부호화 신호 및 구형 부호화 신호(화소값 부호화 신호) 중 어느 것인지를 판정하여, 입력되는 화상 부호화 신호의 데이터 구조에 따른 복호화 처리를 실행하기 때문에, 예를 들면 투과도 정보가 부가된 임의 형상 부호화 신호에 포함되는 3개의 부호화 비트열에 대응한 제 1 내지 제 3 복호화 방법에 의해 상기 임의 형상 부호화 신호, 구형 부호화 신호, 2치 부호화 신호 및 투과도 부호화 신호의 복호화 처리가 가능해진다.
본 발명(청구항 18)에 관한 데이터 기억 매체에 따르면, 컴퓨터에 의해 화상 부호화 신호의 복호화 처리를 실행하기 위한 프로그램을 저장한 데이터 기억 매체에 있어서, 상기 프로그램을 컴퓨터에, 청구항 6, 12, 15, 17 중 어느 한 항에 기재된 화상 복호화 방법에 의한 복호화 처리를 실행하게 하도록 구성하였기 때문에, 상기 프로그램을 컴퓨터에 로드함으로써, 상기 청구항 6, 12, 15, 17의 복호화 방법에 의한 복호화 처리를 소프트웨어에 의해 실현할 수 있다.
예를 들면, 상기 프로그램을 컴퓨터에 로드함으로써, 1개의 부호화 방식에 대응한 복호화 처리에 의해서, 데이터 구조가 상이한 화상 부호화 신호를 복호화할 수 있으며, 또한 부호화시의 비트수 증대를 거의 초래하지 않는 화상 복호화 방법 및 화상 복호화 장치를 실현할 수 있다.
본 발명(청구항 19)에 관한 데이터 기억 매체에 따르면, 청구항 1, 11, 14, 16 중 어느 한 항에 기재된 화상 전송용 데이터 구조를 갖는 화상 부호화 신호를 저장하였기 때문에, 이러한 데이터 기억 매체로부터 판독되는 화상 부호화 신호에대한 복호화 처리에 있어서는 데이터 구조가 상이한 복수의 화상 부호화 신호를 식별하는 것이 가능해진다.
이상 본 발명자에 의해서 이루어진 발명을 상기 실시예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시예에 한정되는 것이 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

Claims (11)

  1. 화상 신호를 수신하여, 상기 화상 신호에 대해 그 데이터 구조에 따른 부호화 처리를 실시하는 화상 부호화 방법에 있어서,
    상기 화상 신호가, 표시 화상을 2치 정보에 의해 나타내는 형상 신호만을 표시용 데이터로서 포함하는 2치 화상 신호인지, 또는 표시 화상을 구성하는 각 물체의 형상을 2치 정보에 의해 나타내는 형상 신호와, 표시 화상을 구성하는 각 물체를 계조 표시하기 위한 화소값 신호의 양쪽을 표시용 데이터로서 포함하는 임의 형상 화상 신호인지를 적어도 식별하는 식별 단계와,
    상기 식별 결과에 따라서 상기 화상 신호에 대해서, 부호화 방식이 다른 제 1 및 제 2 부호화 처리를 실시하는 부호화 단계를 포함하되,
    상기 부호화 단계는,
    상기 식별 결과, 상기 화상 신호가 2치 화상 신호일 때, 상기 2치 화상 신호에 포함된 형상 신호에 대해서 제 1 부호화 처리를 실시하여 형상 부호화 비트열을 생성함과 동시에, 제 1 값을 갖는 화상 식별자를 발생시켜 상기 형상 부호화 비트열 및 상기 제 1 값을 갖는 화상 식별자를 포함하는 2치 부호화 신호를 생성하고,
    상기 식별 결과, 상기 화상 신호가 상기 임의 형상 화상 신호일 때, 상기 임의 형상 화상 신호에 포함된 형상 신호에 대해서 상기 제 1 부호화 처리를 실시하여 형상 부호화 비트열을 생성함과 동시에, 상기 임의 형상 화상 신호에 포함되는 화소값 신호에 대해서 상기 제 2 부호화 처리를 실시하여 화소값 부호화 비트열을생성하고, 또한 제 2 값을 갖는 화상 식별자를 발생시켜 상기 형상 부호화 비트열, 화소값 부호화 비트열 및 상기 제 2 값을 갖는 화상 식별자를 포함하는 임의 형상 부호화 신호를 생성하여,
    상기 화상 신호에 대응한 부호화 신호로서, 상기 2치 부호화 신호 및 임의 형상 부호화 신호 중 어느 것을 생성하는 것을 특징으로 하는 화상 부호화 방법.
  2. 제 1 항에 있어서,
    상기 화상 식별자는 2 비트의 부호로 이루어지는 것을 특징으로 하는 화상 부호화 방법.
  3. 화상 신호를 수신하여, 상기 화상 신호에 대해 그 데이터 구조에 따른 부호화 처리를 실시하는 화상 부호화 장치에 있어서,
    상기 화상 신호를 수신하여, 이것이 표시 화상을 2치 정보에 의해 나타내는 형상 신호만을 표시용 데이터로서 포함하는 2치 화상 신호인지, 또는 표시 화상을 구성하는 각 물체의 형상을 2치 정보에 의해 나타내는 형상 신호와, 표시 화상을 구성하는 각 물체를 계조 표시하기 위한 화소값 신호의 양쪽을 표시용 데이터로서 포함하는 임의 형상 화상 신호인지를 적어도 식별하고, 이 식별 결과에 따른 식별 신호를 발생하는 신호 식별 수단과,
    상기 2치 화상 신호로부터 상기 형상 신호를 추출하고, 상기 임의 형상 화상 신호로부터는 상기 형상 신호 및 화소값 신호를 추출하는 신호 추출 수단과,
    상기 형상 신호를 제 1 부호화 처리에 의해 부호화하여 형상 부호화 비트열을 생성하는 제 1 부호화 수단과,
    상기 화소값 신호를 상기 제 1 부호화 처리와는 부호화 방식이 상이한 제 2 부호화 처리에 의해 부호화하여 화소값 부호화 비트열을 생성하는 제 2 부호화 수단과,
    상기 2치 화상 신호의 형상 신호를 상기 제 1 부호화 수단에 공급하는 동작과, 상기 임의 형상 화상 신호의 형상 신호를 상기 제 1 부호화 수단에 공급하고, 또한 상기 임의 형상 화상 신호의 화소값 신호를 상기 제 2 부호화 수단에 공급하는 동작을 상기 식별 신호에 근거하여 전환하는 신호 공급 수단과,
    상기 신호 식별 수단으로부터의 식별 신호, 상기 제 1 부호화 수단의 출력인 형상 부호화 비트열, 그리고 상기 제 2 부호화 수단의 출력인 화소값 부호화 비트열을 다중화하는 다중화 수단을 포함하며,
    상기 화상 신호가 2치 화상 신호라고 식별된 경우, 상기 식별 신호 및 형상 부호화 비트열을 포함하는 2치 부호화 신호를 출력하고, 상기 화상 신호가 임의 형상 화상 신호라고 식별된 경우, 상기 식별 신호, 형상 부호화 비트열 및 화소값 부호화 비트열을 포함하는 임의 형상 부호화 신호를 출력하는 것을 특징으로 하는 화상 부호화 장치.
  4. 화상 신호를 부호화하여 얻어지는, 그 데이터 구조에 따른 화상 식별자를 포함하는 화상 부호화 신호를 수신하여, 상기 화상 부호화 신호에 대응한 복호화 처리를 실시하는 화상 복호화 방법에 있어서,
    상기 화상 부호화 신호가, 각 화소가 물체의 외측 및 내측의 어느 곳에 위치하는지를 나타내는 형상 신호를 부호화하여 얻어지는 형상 부호화 신호만을 포함하는지, 또는 물체를 계조 표시하기 위한 화소값 신호를 부호화하여 얻어지는 화소값 부호화 신호를 상기 형상 부호화 신호와 함께 포함하는지를, 상기 화상 식별자에 근거하여 판정하는 판정 단계와,
    상기 판정 결과, 상기 화상 부호화 신호가 형상 부호화 신호만을 포함하는 경우에는 상기 형상 부호화 신호에 대해서 산술 복호화 처리인 제 1 복호화 처리를 실시하고, 상기 판정 결과, 상기 화상 부호화 신호가 형상 부호화 신호와 상기 화소값 부호화 신호를 포함하는 경우에는 상기 형상 부호화 신호에 대해서 상기 산술 복호화 처리인 제 1 복호화 처리를 실시하며, 또한, 상기 화소값 부호화 신호에 대해서, 상기 산술 복호화 처리와는 다른 제 2 복호화 처리를 실시하는 복호화 단계
    를 포함하는 것을 특징으로 하는 화상 복호화 방법.
  5. 제 4 항에 있어서,
    상기 화상 식별자는 2 비트의 부호로 이루어지는 것을 특징으로 하는 화상복호화 방법.
  6. 화상 신호를 부호화하여 얻어지는 부호화 신호로서, 그 데이터 구조에 따른 화상 식별자를 갖는 화상 부호화 신호를 수신하여, 상기 화상 부호화 신호에 그 데이터 구조에 따른 복호화 처리를 실시하는 화상 복호화 방법에 있어서,
    상기 화상 식별자를 참조하여 상기 화상 부호화 신호를 해석하는 해석 단계와,
    상기 해석 결과에 따른 복호화 처리를 상기 화상 부호화 신호에 대해 실시하는 복호화 단계를 포함하되,
    상기 해석 단계는,
    상기 화상 부호화 신호가, 표시 화상을 구성하는 각각의 물체의 형상을 나타내는 형상 신호의 부호화에 의해 얻어지는 형상 부호화 비트열과, 상기 물체를 계조 표시하기 위한 화소값 신호의 부호화에 의해 얻어지는 화소값 부호화 비트열을 표시용 데이터로서 포함하는 임의 형상 부호화 신호인지, 표시 화상을 계조 표시하기 위한 화소값 신호의 부호화에 의해 얻어지는 화소값 부호화 비트열만을 표시용 데이터로서 포함하는 화소값 부호화 신호인지, 혹은 표시 화상을 2치 정보에 의해 나타내는 형상 신호의 부호화에 의해 얻어지는 형상 부호화 비트열만을 표시용 데이터로서 포함하는 2치 부호화 신호인지를 판정하는 것이고,
    상기 복호화 단계는,
    상기 판정 결과, 상기 화상 부호화 신호가 화소값 부호화 신호일 때, 그 화소값 부호화 비트열을 복호화하는 복호화 처리를 행하고, 상기 판정 결과, 상기 화상 부호화 신호가 2치 부호화 신호 혹은 임의 형상 부호화 신호일 때, 이들 신호에 포함되는 부호화 비트열에 대한 복호화 처리를 정지시키는 것인
    것을 특징으로 하는 화상 복호화 방법.
  7. 화상 신호를 부호화하여 얻어지는 부호화 신호로서, 그 데이터 구조에 따른 화상 식별자를 갖는 화상 부호화 신호를 수신하여, 상기 화상 부호화 신호에 그 데이터 구조에 따른 복호화 처리를 실시하는 화상 복호화 장치에 있어서,
    상기 화상 부호화 신호를, 이것에 포함되는 화상 식별자에 근거하여 해석해서, 상기 화상 부호화 신호가, 표시 화상을 구성하는 각각의 물체의 형상을 나타내는 형상 신호의 부호화에 의해 얻어지는 형상 부호화 비트열과, 상기 물체를 계조 표시하기 위한 화소값 신호의 부호화에 의해 얻어지는 화소값 부호화 비트열을 표시용 데이터로서 포함하는 임의 형상 부호화 신호인지, 표시 화상을 계조 표시하기 위한 화소값 신호의 부호화에 의해 얻어지는 화소값 부호화 비트열만을 표시용 데이터로서 포함하는 화소값 부호화 신호인지, 혹은 표시 화상을 2치 정보에 의해 나타내는 형상 신호의 부호화에 의해 얻어지는 형상 부호화 비트열만을 표시용 데이터로서 포함하는 2치 부호화 신호인지를 판정하는 데이터 해석 수단과,
    상기 화소값 부호화 비트열을 복호화하여 화소값 복호화 신호를 생성하는 복호화 수단과,
    상기 화상 부호화 신호를 폐기하는 신호 폐기 수단과,
    상기 화상 부호화 신호를 전환 제어 신호에 근거하여 상기 복호화 수단 및 신호 폐기 수단 중 어느 쪽에 공급하는 신호 전환 수단을 포함하되,
    상기 데이터 해석 수단은,
    상기 해석 결과, 상기 화상 부호화 신호가 화소값 부호화 신호일 때 제 1 전환 제어 신호를 상기 신호 전환 수단에 공급하고, 상기 해석 결과, 상기 화상 부호화 신호가 임의 형상 부호화 신호 혹은 2치 형상 신호일 때 상기 제 2 전환 제어 신호를 상기 신호 전환 수단에 공급하는 것이며,
    상기 신호 전환 수단은,
    상기 제 1 전환 제어 신호가 입력된 때, 상기 화소값 부호화 신호의 화소값 부호화 비트열을 상기 복호화 수단에 공급하는 상태로 되고, 상기 제 2 전환 제어 신호가 입력된 때, 임의 형상 부호화 신호 및 2치 형상 신호를 구성하는 부호화 비트열을 신호 폐기 수단에 공급하는 상태로 되는 것인
    것을 특징으로 하는 화상 복호화 장치.
  8. 화상 신호를 부호화하여 얻어지는 부호화 신호로서, 그 데이터 구조에 따른 화상 식별자를 갖는 화상 부호화 신호를 수신하여, 상기 화상 부호화 신호에 그 데이터 구조에 따른 복호화 처리를 실시하는 화상 복호화 방법에 있어서,
    상기 화상 식별자를 참조하여 상기 화상 부호화 신호를 해석하는 해석 단계와,
    상기 해석 결과에 따라서 제 1 및 제 2 복호화 처리 중 어느 쪽을 상기 화상 부호화 신호에 대하여 실시하는 복호화 단계를 포함하되,
    상기 해석 단계는,
    상기 화상 부호화 신호가, 표시 화상을 구성하는 각각의 물체의 형상을 나타내는 형상 신호의 부호화에 의해 얻어지는 형상 부호화 비트열과, 상기 물체를 계조 표시하기 위한 화소값 신호의 부호화에 의해 얻어지는 화소값 부호화 비트열만을 표시용 데이터로서 포함하는 제 1 임의 형상 부호화 신호인지, 상기 형상 부호화 비트열 및 상기 화소값 부호화 비트열에 덧붙여, 상기 물체의 투과도를 나타내는 다치 투과도 신호의 부호화에 의해 얻어지는 투과도 부호화 비트열을 표시용 데이터로서 포함하는 제 2 임의 형상 부호화 신호인지, 표시 화상을 계조 표시하기 위한 화소값 신호의 부호화에 의해 얻어지는 화소값 부호화 비트열만을 표시용 데이터로서 포함하는 화소값 부호화 신호인지, 혹은 표시 화상을 2치 정보에 의해 나타내는 형상 신호의 부호화에 의해 얻어지는 형상 부호화 비트열만을 표시용 데이터로서 포함하는 2치 부호화 신호인지를 판정하는 것이고,
    상기 복호화 단계는,
    상기 판정 결과, 상기 화상 부호화 신호가 제 1 임의 형상 부호화 신호일 때, 그 형상 부호화 비트열을 제 1 복호화 방법에 의해 복호화하는 처리와, 그 화소값 부호화 비트열을 제 2 복호화 방법에 의해 복호화하는 처리를 상기 양 비트열의 배열에 따라 실행하고,
    상기 판정 결과, 상기 화상 부호화 신호가 제 2 임의 형상 부호화 신호일 때, 그 형상 부호화 비트열을 제 1 복호화 방법에 의해 복호화하는 처리와, 그 화소값 부호화 비트열을 제 2 복호화 방법에 의해 복호화하는 처리와, 그 투과도 부호화 비트열을 제 3 복호화 방법에 의해 복호화하는 처리를 이들 비트열의 배열에 따라 실행하며,
    상기 판정 결과, 상기 화상 부호화 신호가 화소값 부호화 신호일 때, 그 화소값 부호화 비트열을 제 2 복호화 방법에 의해 복호화하는 처리만을 실행하고,
    상기 판정 결과, 상기 화상 부호화 신호가 2치 부호화 신호일 때, 그 형상 부호화 비트열을 제 1 복호화 방법에 의해 복호화하는 처리만을 실행하는
    것을 특징으로 하는 화상 복호화 방법.
  9. 화상 신호를 부호화하여 얻어지는 부호화 신호로서, 그 데이터 구조에 따른 화상 식별자를 갖는 화상 부호화 신호를 수신하여, 상기 화상 부호화 신호에 그 데이터 구조에 따른 복호화 처리를 실시하는 화상 복호화 방법에 있어서,
    상기 화상 식별자를 참조하여 상기 화상 부호화 신호를 해석하는 해석 단계와,
    상기 해석 결과에 따라서 제 1, 제 2, 제 3의 복호화 처리 중 어느 쪽을 상기 화상 부호화 신호에 대하여 실시하는 복호화 단계를 포함하되,
    상기 해석 단계는,
    상기 화상 부호화 신호가, 표시 화상을 구성하는 각각의 물체의 형상을 나타내는 형상 신호의 부호화에 의해 얻어지는 형상 부호화 비트열과, 상기 물체를 계조 표시하기 위한 화소값 신호의 부호화에 의해 얻어지는 화소값 부호화 비트열만을 표시용 데이터로서 포함하는 제 1 임의 형상 부호화 신호인지,
    상기 화상 부호화 신호가, 상기 형상 부호화 비트열과 상기 화소값 부호화 비트열에 덧붙여, 상기 물체의 투과도를 나타내는 다치 투과도 신호의 부호화에 의해 얻어지는 투과도 부호화 비트열을 표시용 데이터로서 포함하는 제 2 임의 형상 부호화 신호인지,
    상기 화상 부호화 신호가, 표시 화상을 구성하는 각각의 물체의 형상을 나타내는 형상 신호의 부호화에 의해 얻어지는 형상 부호화 비트열과, 상기 물체의 투과도를 나타내는 다치 투과도 신호의 부호화에 의해 얻어지는 투과도 부호화 비트열만을 표시용 데이터로서 포함하는 투과도 부호화 신호인지,
    상기 화상 부호화 신호가, 표시 화상을 2치 정보에 의해 나타내는 형상 신호의 부호화에 의해 얻어지는 형상 부호화 비트열만을 표시용 데이터로서 포함하는 2치 부호화 신호인지, 혹은,
    상기 화상 부호화 신호가, 표시 화상을 계조 표시하기 위한 화소값 신호의 부호화에 의해 얻어지는 화소값 부호화 비트열만을 표시용 데이터로서 포함하는 화소값 부호화 신호인지를 판정하는 것이며,
    상기 복호화 단계는,
    상기 판정 결과, 상기 화상 부호화 신호가 제 1 임의 형상 부호화 신호일 때, 그 형상 부호화 비트열을 제 1 복호화 방법에 의해 복호화하는 처리와, 그 화소값 부호화 비트열을 제 2 복호화 방법에 의해 복호화하는 처리를 이들 비트열의 배열에 따라 실행하고,
    상기 판정 결과, 상기 화상 부호화 신호가 제 2 임의 형상 부호화 신호일 때, 그 형상 부호화 비트열을 제 1 복호화 방법에 의해 복호화하는 처리와, 그 화소값 부호화 비트열을 제 2 복호화 방법에 의해 복호화하는 처리와, 그 투과도 부호화 비트열을 제 3 복호화 방법에 의해 복호화하는 처리를 이들 비트열의 배열에 따라 실행하고,
    상기 판정 결과, 상기 화상 부호화 신호가 투과도 부호화 신호일 때, 그 형상 부호화 비트열을 제 1 복호화 방법에 의해 복호화하는 처리와, 그 투과도 부호화 비트열을 제 3 복호화 방법에 의해 복호화하는 처리를 상기 양 비트열의 배열에 따라 실행하고,
    상기 판정 결과, 상기 화상 부호화 신호가 2치 부호화 신호일 때, 그 형상 부호화 비트열을 제 1 복호화 방법에 의해 복호화하는 처리만을 실행하며,
    상기 판정 결과, 상기 화상 부호화 신호가 화소값 부호화 신호일 때, 그 화소값 부호화 비트열을 제 2 복호화 방법에 의해 복호화하는 처리만을 실행하는
    것을 특징으로 하는 화상 복호화 방법.
  10. 각각의 화소가 물체의 외측 혹은 내측에 위치하는지를 나타내는 형상 신호와, 물체를 계조 표시하기 위한 화소값 신호 중에서 적어도 상기 형상 신호를 포함하는 화상 신호를 부호화해서 얻어지는 화상 부호화 신호를 전송하는 화상 전송 방법에 있어서,
    상기 화상 부호화 신호가, 상기 형상 신호를 부호화하여 얻어지는 형상 부호화 신호만을 포함하는지, 혹은, 상기 화소값 신호를 부호화하여 얻어지는 화소값 부호화 신호와 상기 형상 부호화 신호를 포함하는지를 판별하기 위한 화상 식별자를 전송하는 식별자 전송 단계와,
    상기 형상 부호화 신호를 전송하는 부호화 신호 전송 단계를 포함하되,
    상기 부호화 신호 전송 단계는,
    상기 화상 식별자에 의해서, 상기 화상 부호화 신호가 상기 형상 부호화 신호와 상기 화소값 부호화 신호를 포함하는 것이 표시되는 경우에는 상기 형상 부호화 신호와 함께 상기 화소값 부호화 신호를 전송하는 것
    인 것을 특징으로 하는 화상 전송 방법.
  11. 제 10 항에 있어서,
    상기 화상 식별자는 2비트의 부호인 것을 특징으로 하는 화상 전송 방법.
KR1019980027767A 1997-07-10 1998-07-10 화상부호화장치및방법,화상복호화장치및방법과화상전송방법 KR100312791B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP18554897 1997-07-10
JP97-185548 1997-07-10
JP11552198A JP3191922B2 (ja) 1997-07-10 1998-04-24 画像復号化方法
JP98-115521 1998-04-24

Publications (2)

Publication Number Publication Date
KR19990013748A KR19990013748A (ko) 1999-02-25
KR100312791B1 true KR100312791B1 (ko) 2001-12-12

Family

ID=26454016

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980027767A KR100312791B1 (ko) 1997-07-10 1998-07-10 화상부호화장치및방법,화상복호화장치및방법과화상전송방법

Country Status (9)

Country Link
US (4) US6466697B1 (ko)
EP (4) EP1087623B1 (ko)
JP (1) JP3191922B2 (ko)
KR (1) KR100312791B1 (ko)
CN (3) CN1161967C (ko)
DE (4) DE69808188T2 (ko)
ES (4) ES2207455T3 (ko)
MY (1) MY121290A (ko)
TW (1) TW417388B (ko)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE47908E1 (en) 1991-12-23 2020-03-17 Blanding Hovenweep, Llc Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US10361802B1 (en) 1999-02-01 2019-07-23 Blanding Hovenweep, Llc Adaptive pattern recognition based control system and method
US6850252B1 (en) 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
USRE46310E1 (en) 1991-12-23 2017-02-14 Blanding Hovenweep, Llc Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
USRE48056E1 (en) 1991-12-23 2020-06-16 Blanding Hovenweep, Llc Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US5903454A (en) 1991-12-23 1999-05-11 Hoffberg; Linda Irene Human-factored interface corporating adaptive pattern recognition based controller apparatus
CN1243635A (zh) * 1997-01-10 2000-02-02 松下电器产业株式会社 图像处理方法、图像处理装置及数据记录媒体
JP3573759B2 (ja) * 1997-10-23 2004-10-06 三菱電機株式会社 画像復号化装置、画像符号化装置、画像通信システム、符号化ビットストリーム変換装置及び画像復号化方法
US6603883B1 (en) * 1998-09-08 2003-08-05 Canon Kabushiki Kaisha Image processing apparatus including an image data encoder having at least two scalability modes and method therefor
WO2000054512A1 (en) * 1999-03-05 2000-09-14 Kabushiki Kaisha Toshiba Method and apparatus for coding moving picture image
US7885340B2 (en) * 1999-04-27 2011-02-08 Realnetworks, Inc. System and method for generating multiple synchronized encoded representations of media data
US6766098B1 (en) * 1999-12-30 2004-07-20 Koninklijke Philip Electronics N.V. Method and apparatus for detecting fast motion scenes
FR2819604B3 (fr) * 2001-01-15 2003-03-14 Get Int Procede et equipement pour la gestion des interactions multimedias mono-ou multi-uitilisateurs entre des peripheriques de commande et des applications multimedias exploitant la norme mpeg-4
US7154906B2 (en) * 2001-01-30 2006-12-26 Canon Kabushiki Kaisha Image processing apparatus, image processing method, image processing program, and computer-readable storage medium storing image processing program code
US6662371B2 (en) 2001-03-07 2003-12-16 Jae Hoon Shin Reconfigurable eyewear apparatus for headwear visor
US7266150B2 (en) * 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
US20030151753A1 (en) * 2002-02-08 2003-08-14 Shipeng Li Methods and apparatuses for use in switching between streaming video bitstreams
US20030174142A1 (en) * 2002-03-13 2003-09-18 Lund Jon C. Method to produce textural gradations in vector and pixel based computer graphics applications using font based gradient characters
KR20040099371A (ko) * 2002-03-29 2004-11-26 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 부호화 방법 및 대응하는 장치와 신호
US7120786B2 (en) * 2002-06-17 2006-10-10 Microsoft Corporation Booting from a compressed image
US20040034849A1 (en) * 2002-06-17 2004-02-19 Microsoft Corporation Volume image views and methods of creating volume images in which a file similar to a base file is stored as a patch of the base file
US7464176B2 (en) * 2002-06-17 2008-12-09 Microsoft Corporation Multicast system and method for deploying multiple images simultaneously
US7017144B2 (en) * 2002-06-17 2006-03-21 Microsoft Corporation Combined image views and method of creating images
KR100604032B1 (ko) * 2003-01-08 2006-07-24 엘지전자 주식회사 복수 코덱을 지원하는 장치와 방법
DE20301518U1 (de) * 2003-01-31 2003-06-18 TRW Occupant Restraint Systems GmbH & Co. KG, 73553 Alfdorf Gurtspule für einen Sicherheitsgurtaufroller
JP2006525722A (ja) * 2003-05-06 2006-11-09 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ビデオ符号化及び復号化方法、並びに対応する符号化及び復号化装置
CA2557533A1 (en) * 2004-02-27 2005-09-09 Td Vision Corporation S.A. De C.V. Method and system for digital coding 3d stereoscopic video images
WO2005083637A1 (es) * 2004-02-27 2005-09-09 Td Vision Corporation, S.A. De C.V. Método y sistema de decodificación digital de imágenes de video 3d estereoscópicas
US20060026181A1 (en) * 2004-05-28 2006-02-02 Jeff Glickman Image processing systems and methods with tag-based communications protocol
KR20050117826A (ko) * 2004-06-11 2005-12-15 삼성전자주식회사 디지털 오디오 방송에서 인터랙티브 정보를 포함하는슬라이드 쇼 제공방법, 처리장치 및 ｄａｂ 수신장치
JP2007195117A (ja) * 2006-01-23 2007-08-02 Toshiba Corp 動画像復号装置
AU2007244443A1 (en) * 2006-04-28 2007-11-08 Ntt Docomo, Inc. Image predictive coding device, image predictive coding method, image predictive coding program, image predictive decoding device, image predictive decoding method and image predictive decoding program
US8102913B2 (en) * 2006-12-22 2012-01-24 Sony Corporation DCT/Q/IQ/IDCT bypass algorithm in MPEG to AVC/H.264 transcoding
TWI349884B (en) 2007-11-14 2011-10-01 Pixart Imaging Inc Data encryption method implemented on a pattern displaying medium with at least two types of ink
CN102595107A (zh) * 2012-02-22 2012-07-18 南京迪威视讯技术有限公司 一种流媒体数据结构、解码方法及设备
JPWO2013129585A1 (ja) * 2012-02-29 2015-07-30 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP6191160B2 (ja) * 2012-07-12 2017-09-06 ノーリツプレシジョン株式会社 画像処理プログラムおよび画像処理装置
US9582513B2 (en) 2013-12-08 2017-02-28 Microsoft Technology Licensing, Llc Accessing data in a compressed container through dynamic redirection
US9813620B2 (en) * 2014-03-31 2017-11-07 JVC Kenwood Corporation Image processing apparatus, image processing method, program, and camera
US10924784B2 (en) * 2016-08-30 2021-02-16 Sony Corporation Transmitting device, transmitting method, receiving device, and receiving method
CN107071514B (zh) * 2017-04-08 2018-11-06 腾讯科技（深圳）有限公司 一种图片文件处理方法及智能终端

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2109681C (en) * 1993-03-10 1998-08-25 Donald Edgar Blahut Method and apparatus for the coding and display of overlapping windows with transparency
US5608458A (en) 1994-10-13 1997-03-04 Lucent Technologies Inc. Method and apparatus for a region-based approach to coding a sequence of video images
KR100365555B1 (ko) * 1994-10-19 2003-08-27 마츠시타 덴끼 산교 가부시키가이샤 화상부호화/복호화장치
US6023301A (en) * 1995-07-14 2000-02-08 Sharp Kabushiki Kaisha Video coding device and video decoding device
US6148030A (en) * 1996-02-07 2000-11-14 Sharp Kabushiki Kaisha Motion picture coding and decoding apparatus
EP1120971B1 (en) * 1996-05-17 2003-09-03 Matsushita Electric Industrial Co., Ltd. Video coding method for coding shape and texture signals using different modes
KR100371130B1 (ko) * 1996-05-28 2003-02-07 마쯔시다덴기산교 가부시키가이샤 화상예측 복호화 장치 및 그 방법과 화상예측 부호화 장치및 그 방법
EP0831658A3 (en) * 1996-09-24 1999-09-15 Hyundai Electronics Industries Co., Ltd. Encoder/decoder for coding/decoding gray scale shape data and method thereof
US5748789A (en) * 1996-10-31 1998-05-05 Microsoft Corporation Transparent block skipping in object-based video coding systems
TW358296B (en) * 1996-11-12 1999-05-11 Matsushita Electric Ind Co Ltd Digital picture encoding method and digital picture encoding apparatus, digital picture decoding method and digital picture decoding apparatus, and data storage medium
JP3223962B2 (ja) * 1997-01-24 2001-10-29 松下電器産業株式会社 画像復号化方法
US6208693B1 (en) * 1997-02-14 2001-03-27 At&T Corp Chroma-key for efficient and low complexity shape representation of coded arbitrary video objects
US6078695A (en) * 1997-06-13 2000-06-20 Matsushita Electric Industrial Co., Ltd. Shape coding method and shape decoding method
JPH1169356A (ja) * 1997-08-25 1999-03-09 Mitsubishi Electric Corp 動画像符号化方式及び動画像復号方式
GB2333412B (en) * 1998-01-20 2002-05-15 Daewoo Electronics Co Ltd Context-based arithmetic encoding/decoding apparatus

Also Published As

Publication number Publication date
US20020054640A1 (en) 2002-05-09
EP1229739A3 (en) 2002-08-14
US6665445B1 (en) 2003-12-16
US6751357B2 (en) 2004-06-15
TW417388B (en) 2001-01-01
EP0891093B1 (en) 2002-09-25
DE69818523D1 (de) 2003-10-30
CN1312638A (zh) 2001-09-12
US6735344B2 (en) 2004-05-11
EP1087623B1 (en) 2004-02-25
CN1174629C (zh) 2004-11-03
ES2214213T3 (es) 2004-09-16
DE69822002T2 (de) 2004-12-23
KR19990013748A (ko) 1999-02-25
CN1213246A (zh) 1999-04-07
MY121290A (en) 2006-01-28
EP1087623A1 (en) 2001-03-28
CN1312639A (zh) 2001-09-12
JPH1188881A (ja) 1999-03-30
DE69808188T2 (de) 2003-04-30
ES2184177T3 (es) 2003-04-01
EP1087624A1 (en) 2001-03-28
ES2229000T3 (es) 2005-04-16
JP3191922B2 (ja) 2001-07-23
DE69808188D1 (de) 2002-10-31
DE69822002D1 (de) 2004-04-01
EP0891093A2 (en) 1999-01-13
CN1161967C (zh) 2004-08-11
US6466697B1 (en) 2002-10-15
US20010013952A1 (en) 2001-08-16
DE69827173T2 (de) 2005-10-20
EP1229739A2 (en) 2002-08-07
EP0891093A3 (en) 2000-10-04
CN1196318C (zh) 2005-04-06
EP1087624B1 (en) 2003-09-24
DE69818523T2 (de) 2004-08-05
EP1229739B1 (en) 2004-10-20
DE69827173D1 (de) 2004-11-25
ES2207455T3 (es) 2004-06-01

Similar Documents

Publication Publication Date Title
KR100312791B1 (ko) 화상부호화장치및방법,화상복호화장치및방법과화상전송방법
EP1528813B1 (en) Improved video coding using adaptive coding of block parameters for coded/uncoded blocks
KR100451326B1 (ko) 화상 예측 복호화 방법 및 화상 예측 부호화 방법
JP4077135B2 (ja) コンテクストベースでフレーム内コーディングモードとフレーム間コーディングモードとの間の選択を行なうための方法および装置
JP2004007788A (ja) 動画像符号化装置、動画像符号化方法、動画像復号装置、および動画像復号方法
JP3776735B2 (ja) 画像予測復号化方法，画像予測復号化装置，画像予測符号化方法，画像予測符号化装置，及びデータ記憶媒体
JP3191925B2 (ja) 画像伝送方法
JP2001186522A (ja) 画像符号化方法及び画像復号化方法
KR100269882B1 (ko) 영화부호화 및 복호화방법 및 그 장치(image coding and decoding method and related apparatus)
JPH104549A (ja) 画像符号化装置および画像復号化装置
JP2005328457A (ja) 動画像符号化装置、動画像復号化装置、コーデック装置、および、プログラム
JP3387820B2 (ja) 画像予測復号化装置及び画像予測復号化方法
JPH06303609A (ja) スクランブル信号再生装置
JP2007235991A (ja) 動画像復号化装置
JP2004201345A (ja) 画像符号化方法、画像符号化装置、画像復号化方法及び画像復号化装置
JP2001231050A (ja) 画像予測復号化方法および装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20060925

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee