KR100736503B1 - 화상 복호화 방법 및 그 장치 - Google Patents

화상 복호화 방법 및 그 장치 Download PDF

Info

Publication number
KR100736503B1
KR100736503B1 KR1020057025019A KR20057025019A KR100736503B1 KR 100736503 B1 KR100736503 B1 KR 100736503B1 KR 1020057025019 A KR1020057025019 A KR 1020057025019A KR 20057025019 A KR20057025019 A KR 20057025019A KR 100736503 B1 KR100736503 B1 KR 100736503B1
Authority
KR
South Korea
Prior art keywords
decoding
information
image
common
header
Prior art date
Application number
KR1020057025019A
Other languages
English (en)
Other versions
KR20060004707A (ko
Inventor
신야 가도노
마코토 하가이
Original Assignee
마쯔시다덴기산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=19090032&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR100736503(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 마쯔시다덴기산교 가부시키가이샤 filed Critical 마쯔시다덴기산교 가부시키가이샤
Publication of KR20060004707A publication Critical patent/KR20060004707A/ko
Application granted granted Critical
Publication of KR100736503B1 publication Critical patent/KR100736503B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/03—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words
    • H03M13/05—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words using block codes, i.e. a predetermined number of check bits joined to a predetermined number of information bits
    • H03M13/07—Arithmetic codes
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/35—Unequal or adaptive error protection, e.g. by providing a different level of protection according to significance of source information or by adapting the coding according to the change of transmission channel characteristics
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
    • H03M7/4006—Conversion to or from arithmetic code
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
    • H03M7/42—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code using table look-up for the coding or decoding process, e.g. using read-only memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)

Abstract

프레임 부호화부(13)는 동화상 신호(Vin)로부터 개별 화상 신호 정보를 작성하고, 각 프레임의 화상 신호 정보를 부호화한 결과 얻어지는 수치인 프레임 부호 값(InfVal_F)을 출력한다. 가변 길이 부호화부(16)는 프레임 부호 값(InfVal_F)을 부호화의 기본 단위인 단위 프레임 부호 값(Val_F)으로 분해하고, 단일의 부호표(16a)만을 사용하여 단위 프레임 부호 값(Val_F)을 프레임 부호어(Code_F)로 변환하고, 변환한 프레임 부호어(Code_F)를 조합하여 프레임 스트림을 구성한다. 다중화부(17)는 종래의 방법과 동일하게 구성한 헤더 스트림과 상기 프레임 스트림을 다중화 하여, 화상 부호화 신호(Str)를 구성한다.

Description

화상 복호화 방법 및 그 장치{IMAGE DECODING METHOD AND APPARATUS THEREOF}
도 1은 종래의 화상 부호화 장치(500)에서의 부호화 기능에 관한 부분의 기능 블록도,
도 2는 종래의 화상 부호화 신호의 스트림 구성을 나타내는 도면,
도 3은 종래의 화상 복호화 장치(600)에서의 복호화 기능에 관한 부분의 기능 블록도,
도 4는 실시형태 1의 화상 부호화 장치에서의 부호화 기능에 관한 부분의 기능 블록도,
도 5는 도 4에 도시한 화상 부호화 장치에서의 기능 블록도에서 부호화된 화상 부호화 신호의 스트림 구성도,
도 6(a)은 일반적인 프레임 데이터의 데이터 구성도, (b)는 상기의 슬라이스 구조의 프레임 데이터의 데이터 구성도,
도 7(a)은 화상 부호화 장치에서 가변 길이 부호화를 행할 때에 사용하는 부호표의 일례, (b)는 화상 부호화 장치에서 고정 길이 부호화를 행할 때에 사용하는 부호표의 일례,
도 8은 실시형태 1의 화상 복호화 장치에서의 복호화 기능에 관한 부분의 기 능 블록도,
도 9는 실시형태 1에서의 화상 부호화 장치의 부호화 처리의 흐름을 나타내는 흐름도,
도 10은 실시형태 2의 화상 부호화 장치에서의 부호화 기능에 관한 기능 블록도,
도 11은 실시형태 2의 화상 복호화 장치에서의 복호화 기능에 관한 기능 블록도,
도 12는 헤더부의 정보와 개별 화상 신호 정보를 나누고, 각각의 정보의 부호화를 행하는 화상 부호화 장치의 부호화 기능에 관한 부분의 기능 블록도,
도 13은 도 12의 화상 부호화 장치에 대응하는 화상 복호화 장치의 복호화 기능에 관한 부분의 기능 블록도,
도 14는 실시형태 1 및 실시형태 2에서의 부호화 방법을 정리한 표를 나타낸 도면,
도 15(a)는 실시형태 3에서의 기록 매체인 플렉시블(flexible) 디스크의 물리 포맷의 예를 나타내는 도면, (b)는 플렉시블 디스크를 정면에서 본 외관도, 단면 구조도 및 플렉시블 디스크를 나타내는 도면, (c)는 플렉시블 디스크에 프로그램의 기록 재생을 행하기 위한 시스템 구성의 일례를 나타내는 도면,
도 16은 실시형태 4에서의 콘텐츠 배포 서비스를 행하기 위한 콘텐츠 공급 시스템의 전체를 나타내는 블록도,
도 17은 휴대 전화의 외관도의 일례,
도 18은 휴대 전화의 기능 구성도의 일례,
도 19는 디지털 방송용 시스템의 시스템 구성의 일례이다.
본 발명은, 화상 부호화 방법 및 화상 복호화 방법에 관한 것으로, 특히 화상신호를 효율적으로 기록 ·전송하기 위한 데이터 압축에 관한 부호화 기술, 복호화 기술 및 이들 장치에 관한 것이다.
최근, 음성, 화상, 그 밖의 콘텐츠를 통합적으로 취급하는 멀티미디어 시대를 맞이하여, 종래부터 정보 미디어, 요컨대 신문, 잡지, 텔레비전, 라디오, 전화 등의 정보를 사람에게 전달하는 수단이 멀티미디어의 대상으로 취급되어져 왔다. 일반적으로, 멀티미디어란, 문자뿐만 아니라, 도형, 음성, 특히 화상 등을 동시에 관련시켜 나타내는 것을 말하지만, 상기 종래의 정보 미디어를 멀티미디어의 대상으로 하기 위해서는, 그 정보를 디지털 형식으로 나타내는 것이 필수 조건이 된다.
그런데, 상기의 각 정보 미디어가 갖는 정보량을 디지털 정보량으로서 어림잡아 보면, 문자의 경우 1문자당 정보량은 1∼2바이트인데 반하여, 음성의 경우는 1초당 64Kbits(전화 품질), 또한 동화상에 관해서는 1초당 100Mbits(현행 텔레비전수신 품질) 이상의 정보량이 필요하게 되고, 상기 정보 미디어로 그 방대한 정보를 디지털 형식으로 그대로 취급하는 것은 현실적이지 않다. 예를 들면, 텔레비전 전화는, 64Kbps∼1.5Mbps의 전송속도를 갖는 서비스 종합 디지털망(ISDN : Integrated Services Digital Network)에 의해서 이미 실용화되어 있지만, 텔레비전이나 카메라의 영상을 그대로 ISDN으로 보내는 것은 실용적이라고는 말할 수 없다.
그래서, 필요하게 되는 것이 정보의 압축 기술이고, 예를 들면, 텔레비전 전화의 경우, ITU-T(국제 전기 통신 연합 전기 통신 표준화 부문)에서 권고된 H.261이나 H.263 규격의 동화상 압축 기술이 이용되고 있다. 또, MPEG-1 규격의 정보 압축 기술에 의하면, 통상의 음악용 CD(콤팩트 디스크)에 음성 정보와 함께 화상 정보를 넣는 것도 가능해진다.
여기서, MPEG(Moving Picture Experts Group)이란, 동화상 신호의 디지털 압축의 국제 규격이고, MPEG-1은 동화상 신호를 1.5Mbps의 속도로 전송할 수 있도록, 결국 텔레비전 신호의 정보를 약 100분의 1까지로 압축하는 규격이다. 또, MPEG-1 규격을 대상으로 하는 전송 속도가 주로 약 1.5Mbps로 제한되어 있기 때문에, 한층 더 고화질화의 요구를 만족시키도록 규격화된 MPEG-2에서는, 동화상 신호를 2∼15Mbps의 속도로 TV 방송 품질의 데이터 전송을 가능하게 한다.
또한 현 상황에서는, MPEG-1, MPEG-2와 표준화를 진행시켜 온 작업 그룹(ISO/IEC JTC1/SC29/WG11)에 의해서, 보다 압축률이 높은 MPEG-4가 규격화되었다. MPEG-4에는, 당초, 낮은 비트 레이트로 효율이 높은 부호화가 가능해질 뿐만 아니라, 전송로 오류가 발생하더라도 주관적인 화질 열화를 작게 할 수 있는 강력한 오류 내성 기술도 도입되어 있다.
그런데, H.263이나 MPEG-4 등, 종래의 화상 부호화에서는, 화상 신호에 여러 가지 신호 변환 ·압축 처리를 행하여 화상 신호를 여러 가지 종류의 수치로 변환하여, 변환된 각 수치의 의미에 따라서 적절히 선택한 부호표에 기초한 고정 길이 부호화 또는 가변 길이 부호화를 행하고 있다. 일반적으로, 부호화에서는 야기 빈도가 높은 부호에는 짧은 부호 길이의 부호어를 할당하고, 야기 빈도가 낮은 부호에는 긴 부호 길이의 부호어를 할당함으로써 압축률을 향상시키고 있다. 신호 변환 ·압축 처리에 의해서 변환된 수치는, 그 수치가 나타내는 의미에 따라서 수치의 발생 빈도가 다른 것이므로, 그것들의 수치에 대응하는 부호어가 기재된 부호표를 적절히 선택함으로써, 화상 부호화의 압축률이 향상된다. 종래의 화상 부호화에 대응하는 종래의 화상 복호화에서는 화상 부호화에서 사용한 부호표와 동일 부호표를 사용하여, 올바른 부호화를 행하고 있다.
도 1은 종래의 화상 부호화 장치(500)에서의 부호화 기능에 관한 부분의 기능 블록도이다. 도 1에 나타낸 바와 같이, 화상 부호화 장치(500)는 헤더 ·프레임 부호화부(501), 신택스 해석부(502), 고정 길이 ·가변 길이 부호화부(503) 및 부호표 선택부(504)를 구비한다.
헤더 ·프레임 부호화부(501)는 동화상 신호(Vin)를 입력하여, 이 동화상 신호(Vin)에서 화상 전체에 공통하는 정보인 헤더부의 정보 및 프레임마다의 화상 신호 정보를 작성한다.
구체적으로는, 헤더 ·프레임 부호화부(501)는 헤더부의 정보로서, 그 공통 정보인 헤더 파라미터(Inf_H, 도시하지 않음)와 이를 수치로 변환한 헤더 부호 값(InfVa1_H) 및 헤더 부호 값의 수치의 의미를 나타내는 헤더 신택스 구조 신호 (Stx_H)를 생성하고, 이 헤더 신택스 구조 신호(Stx_H)를 신택스 해석부(502)에 출력하고, 헤더 부호 값(InfVal_H)을 고정 길이 ·가변 길이 부호화부(503)에 출력한다. 또한, 헤더 ·프레임 부호화부(501)는 프레임마다의 화상 신호 정보로서, 각 프레임의 화상 신호를 부호화한 결과 얻어지는 수치인 프레임 부호 값(InfVal_F) 및 프레임 부호 값의 수치의 의미를 나타내는 프레임 신택스 구조 신호(Stx_F)를 생성하여, 이 프레임 신택스 구조 신호(Stx_F)를 신택스 해석부(502)에 출력하고, 프레임 부호 값(InfVal_F)을 고정 길이 ·가변 길이 부호화부(503)에 출력한다. 또, 도 1에서는, 헤더 부호 값(InfVal_H)과 프레임 부호 값(InfVal_F)을 일괄하여 "InfVal_X"로 기재하고, 헤더 신택스 구조 신호(Stx_H)와 프레임 신택스 구조 신호(Stx_F)를 일괄하여 "Stx_X"로 기재하고 있다.
신택스 해석부(502)는 헤더 신택스 구조 신호(Stx_H) 또는 프레임 신택스 구조 신호(Stx_F)에 기초하여, 부호표 선택 신호(Se1_H 또는 Sel_F)를 생성하고, 부호표 선택부(504)에 출력한다. 즉, 신택스 해석부(502)는 헤더 신택스 구조 신호 또는 프레임 신택스 구조 신호가 나타내는 값에 기초하여, 다수의 부호표로부터 적절한 부호표를 선택하기 위한 부호표 선택 신호(예를 들면, Se1_H1∼Sel_H3 또는 Sel_F1∼Sel_F3)를 생성한다. 또, 도 1에서는 부호표 선택 신호(Sel_H 및 Sel_F)를 일괄하여 "Sel_X"로 기재하고 있다.
고정 길이 ·가변 길이 부호화부(503)는 상기의 헤더 부호 값(InfVal_H) 및 프레임 부호 값(InfVal_F)에 기초하여, 화상 부호화 신호(Str)를 구성한다. 구체적으로는, 헤더 부호 값(InfVal_H)을 부호화의 기본 단위인 단위 헤더 부호 값 (Val_H : 예를 들면, Val_H1∼Val_H3)으로 분해하고, 이들의 단위 헤더 부호 값에 기초하여 부호표 선택부(504)에서 부호표를 선택하여 헤더 부호어(Code_H)를 얻는 동시에, 헤더 부호 값(InfVal_H)과 헤더 부호어(Code_H)를 조합하여 헤더 스트림(Str_H)을 구성한다. 또한, 고정 길이 ·가변 길이 부호화부(503)는 상기 프레임 부호 값(InfVal_F)을 부호화의 기본 단위인 단위 프레임 부호 값(Val_F : 예를 들면, Val_F1∼Val_F3)으로 분해하고, 이들의 단위 프레임 부호어에 기초하여 부호표 선택부(504)에서 부호표를 선택하여 프레임 부호어(Code_F)를 얻는 동시에, 프레임 부호 값(InfVa1_F)과 프레임 부호어(Code_F)를 조합하여 프레임 스트림(Str_F)을 구성한다. 또한, 고정 길이 ·가변 길이 부호화부(503)는 헤더 스트림(Str_H)과 프레임 스트림(Str_F)을 다중화 하여, 화상 부호화 신호(Str)를 구성한다. 또한, 도 1에서는, 단위 헤더 부호 값(Va1_H) 및 단위 프레임 부호 값(Val_F)을 일괄하여 "Va1_X"로 기재하고, 헤더 부호어(Code_H) 및 프레임 부호어(Code_F)를 일괄하여 "Code_X"로 기재하고 있다.
부호표 선택부(504)는 상기와 같이, 부호표 선택 신호(Sel_X) 및 단위 헤더 부호 값 또는 단위 프레임 부호 값에 기초하여 부호표를 선택하고, 그 선택된 부호표에 따라서 헤더 부호어 또는 프레임 부호어를 생성하여 고정 길이 ·가변 길이 부호화부(503)에 출력한다.
도 2는 종래의 화상 부호화 신호의 스트림 구성을 나타내는 도면이다. 화상 부호화 신호(Str)는 화상을 구성하는 각 프레임의 화상 신호 정보가 저장되는 프레임 데이터(FrmData)와 각 프레임에 공통의 정보인 시퀀스 헤더(SeqHdr)로 구성된 다. 시퀀스 헤더(SeqHdr)는 송수신 사이에서 동기를 취하기 위한 동기 신호(SeqSync), 각 프레임의 화상 사이즈(Size) 및 프레임 레이트(FrmRate)의 각 정보로 구성된다. 한편, 프레임 데이터(FrmData)는 프레임을 구성하는 매크로 블록 고유의 데이터인 매크로 블록 데이터(MB)와 각 매크로 블록에서 공통의 데이터인 프레임 헤더(FrmHdr)로 구성된다. 프레임 헤더(FrmHdr)는 프레임의 동기를 취하기 위한 동기 신호(FrmSync)와 프레임을 표시하는 시각을 나타내는 프레임 번호(FrmNo)로 구성된다. 또, 매크로 블록 데이터(MB)는, 해당 매크로 블록이 부호화되어 있는지 여부를 나타내는 부호화 플래그(Cod), 각 매크로 블록의 부호화 방법을 나타내는 매크로 블록 부호화 모드(Mode), 움직임 보상을 부가하여 부호화되어 있는 경우에는, 그 움직임 양을 나타내는 움직임 정보(MV) 및 각 화소의 부호화 데이터인 화소 값 데이터(Coef)로 구성된다.
도 3은 종래의 화상 복호화 장치(600)에서의 복호화 기능에 관한 부분의 기능 블록도이다. 이 도면에서, 상기 도 1의 종래의 화상 부호화 장치(500)에서의 기능 블록도와 동일 기능을 갖는 구성 및 동일 의미의 신호에는 동일 번호를 붙이고, 그 설명은 생략한다.
고정 길이 ·가변 길이 복호화부(601)는 화상 부호화 신호(Str)를 헤더 스트림(Str_H)과 프레임 스트림(Str_F)으로 분리한다. 또한, 고정 길이 ·가변 길이 복호화부(601)는, 헤더 스트림(Str_H)을 복호화의 기본 단위인 헤더 부호어(Code_H)(예를 들면, Code_H1∼Code_H3)로 분해하고, 부호표 선택부(602)에서 헤더 부호어(Code_H)에 대응하는 단위 헤더 부호 값(Val_H)을 얻고, 이들을 조합하여 헤 더 부호 값(InfVal_H)을 구성한다. 또한, 고정 길이 ·가변 길이 복호화부(601)는, 상기 헤더 스트림(Str_H)의 경우와 마찬가지로, 프레임 스트림(Str_F)에 대해서도 복호화의 기본 단위인 프레임 부호어(Code_F)(예를 들면, Code_F1∼Code_F3)로 분해하고, 부호표 선택부(602)에서 프레임 부호어(Code_F)에 대응하는 단위 프레임 부호 값(Val_F)을 얻고, 이를 조합하여 프레임 부호 값(InfVal_F)을 구성한다.
헤더 ·프레임 복호화부(603)는, 헤더 부호 값(InfVal_H)을 복호하여 헤더부의 정보를 복원하고, 그 공통 정보인 헤더 파라미터(Inf_H, 도시하지 않음)와 후속의 헤더 부호 값의 특징을 나타내는 헤더 신택스 구조 신호(Stx_H)를 출력한다. 여기서, 헤더 신택스 구조 신호(Stx_H)는, 헤더부의 다음 부호어를 복호화 하기 위해 필요한 다음 부호어의 의미를 나타내는 정보이다. 또한, 헤더 ·프레임 복호화부 (603)는, 상기 헤더 부호 값(InfVal_H)의 경우와 마찬가지로, 각 프레임의 프레임 부호 값(InfVa1_F)을 복원하고, 그 부호 값의 의미를 나타내는 프레임 신택스 구조 신호(Stx_F)와 복호 동화상 신호(Vout)를 출력한다.
신택스 해석부(604)는 헤더 신택스 구조 신호(Stx_H)에 의해서 헤더부의 다음 부호어를 복호화하기 위해 부호표 선택부(602)의 출력을 전환하기 위한 부호표 선택 신호(Sel_H)를 출력한다. 즉, 신택스 해석부(604)는, 헤더 신택스 구조 신호(Stx_H)가 나타내는 값에 의해, 다수의 부호표에서 적절한 부호표를 바꾸기 위한 부호표 선택 신호(Sel_H)를 생성한다. 또한, 신택스 해석부(604)는 상기 헤더 신택스 구조 신호(Str_H)의 경우와 마찬가지로, 프레임 신택스 구조 신호(Stx_F)에 의해서 부호표 선택 신호(Sel_F)를 출력한다.
여기서, 프레임 신택스 구조 신호(Stx_F)는 다음 부호어를 복호화 하기 위해 필요한 다음 부호어의 특징을 나타내는 정보이다. 신택스 해석부(604)는 프레임 신택스 구조 신호(Stx_F)에 의해 다음 부호어를 복호화 하기 위해서 부호표 선택부의 출력을 전환하기 위한 부호표 선택 신호(Sel_F)를 출력한다. 즉, 신택스 해석부(604)는 프레임 신택스 구조 신호(Stx_F)가 나타내는 값에 기초하여, 다수의 부호표로부터 적절한 부호표를 바꾸기 위한 부호표 선택 신호(Sel_F)를 생성한다. 또, 도 3에서도 상기 도 1과 마찬가지로, 헤더부의 정보와 프레임마다의 화상 신호 정보에 관한 신호의 공통의 총칭으로서 "InfVal_X", "Stx_X", "Sel_X", "Val_X", "Code_X"를 사용하고 있다.
또, 상기 도 1 및 도 3의 헤더 스트림(Str_H)은 도 2의 종래의 화상 부호화 신호의 스트림 구성의 시퀀스 헤더(SeqHdr) 또는 시퀀스 헤더(SeqHdr)와 프레임 헤더(FrmHdr)를 합친 것에 대응하고, 프레임 스트림(Str_F)은 각각 프레임 데이터(FrmData) 또는 매크로 블록 데이터(MB)에 대응한다.
그런데, 이러한 종래의 화상 부호화 장치 및 종래의 화상 복호화 장치에는 압축률을 높이기 위해서는 다수의 부호표가 필요하고,
(1) 부호표를 전환하기 위한 처리가 복잡해진다.
라는 과제가 있다. 고성능 ·대용량의 컴퓨터로 부호화 ·복호화를 행할 때에는 이들 과제는 특별히 문제가 되지 않지만, 휴대 단말 등의 소 메모리 ·저 연산 능력에서의 실현이 곤란해져 문제가 된다. 특히, 종래의 화상 부호화 장치 및 종래 의 화상 복호화 장치에서는 신택스 구조 신호(Stx_X)에 의해 부호표 선택부(504, 602)에서 빈번하게 부호표가 전환되기 때문에, 부호표의 전환 처리가 복잡해질 우려가 있었다.
또한, 가변 길이 부호화에는, 복호가 비교적 용이한 부호표를 이용하여 부호화하는 허프만 부호화, 및 부호화 ·복호화 처리가 복잡하지만 압축 효율이 높은 산술 부호화인 2가지가 있다. 산술 부호화도 일종의 가변 길이 부호화이고, 산술 부호화의 부호화 ·복호화로 사용할 확률이 부호표에 상당한다. 그러나, 양자가 동일 스트림 중에 복잡하게 혼재하는 경우에는, 부호화 및 복호화의 과정에서 허프만 부호화와 산술 부호화 부호표를 전환하기 위한 처리가 대단히 복잡하기 때문에, 상기의 휴대 단말 등에서는 실현이 곤란하다는 문제가 있다.
그래서, 본 발명은 상기 과제를 감안하여 이루어진 것으로, 휴대 단말 등과 같이 소 메모리 ·저 연산 능력에서도, 종래와 동등한 데이터 압축을 가능하게 하는 화상 부호화 방법 및 화상 복호화 방법을 제공하는 것을 목적으로 한다.
본 발명은, 프레임 단위의 화상 신호를 포함하는 정보를 부호화하기 위한 화상 부호화 방법으로서, 상기 부호화의 대상이 되는 정보에는, 상기 화상 신호 전체의 특징에 관한 정보와 상기 프레임 단위의 화상 신호에 관한 정보가 포함되고, 상기 화상 신호 전체의 특징에 관한 정보에 대해서는, 다수의 부호화 방식을 이용하여 부호화를 행하는 다수 부호화 단계와, 상기 프레임 단위의 화상 신호에 관한 정 보에 대해서는, 각 프레임 공통의 부호화 방식을 이용하여 부호화를 행하는 공통 부호화 단계와, 상기 부호화된 화상 신호 전체의 특징에 관한 정보와 상기 부호화된 프레임 단위의 화상 신호에 관한 정보를 다중화 하여 부호화를 행하는 다중 부호화 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명은, 프레임 단위의 화상 신호를 포함하는 다중화 된 정보를 복호화하기 위한 화상 복호화 방법으로서, 상기 복호화의 대상이 되는 정보에는 상기 화상 신호 전체의 특징에 관한 정보와 상기 프레임 단위의 화상 신호에 관한 정보가 포함되고, 상기 다중화 되어 있는 정보로부터 상기 화상 신호 전체의 특징에 관한 정보와 상기 프레임 단위의 화상 신호에 관한 정보를 분리하는 분리 복호화 단계와, 분리된 상기 화상 신호 전체의 특징에 관한 정보에 대해서는 다수의 복호화 방식을 이용하여 복호화를 행하는 다수 복호화 단계와, 분리된 상기 프레임 단위의 화상 신호에 관한 정보에 대해서는 각 프레임 공통의 복호화 방식을 이용하여 복호화를 행하는 공통 복호화 단계를 포함하는 것을 특징으로 한다.
( 발명을 실시하기 위한 최선의 형태)
이하, 본 발명에 관한 실시형태에 대해서, 도 4 내지 도 19를 이용하여 설명한다.
(실시형태 1)
도 4는 본 실시형태의 화상 부호화 장치(10)에서의 부호화 기능에 관한 부분의 기능 블록도이다. 도 4에서 상기 도 1에 도시한 종래의 화상 부호화 장치(500) 에서의 신호와 동일 동작에 관한 신호에 관해서는 동일 기호를 붙이고, 그 설명은 생략한다.
본 실시형태에 관한 화상 부호화 장치(10)는, 화상 신호 전체에 공통되는 정보인 헤더부에는 다수의 부호화 방식이 적용되고, 프레임 단위의 화상 신호에 관한 정보에는 단일의 부호화 방식이 적용되는 것을 특징으로 하고 있다.
여기서, 본 명세서에서는 프레임으로 설명하고 있지만, 인터레이스 화상 신호의 경우에는 프레임 대신에 필드로 해도 좋다.
또, 화상 신호 전체에 공통되는 정보인 헤더부의 정보를 작성하여 부호화하기 위한 구성 및 그 동작은, 상기 도 1의 종래의 화상 부호화 장치(500)의 경우와 완전히 동일하다.
도 4에 나타낸 바와 같이, 화상 부호화 장치(10)는 상기 종래의 화상 부호화 장치(500)에 비해서, 새롭게 프레임 부호화부(13) 및 가변 길이 부호화부(16)를 구비한다. 또, 다중화부(17)는 상기 종래의 화상 부호화 장치(500)의 고정 길이 ·가변 길이 부호화부(503)에서의 기능 중 일부의 기능을 취한 것이다.
프레임 부호화부(13)는, 동화상 신호(Vin)로부터 개별 화상 신호 정보를 작성하는 부분이고, 헤더 파라미터(Inf_H)를 참조하여 각 프레임의 화상 신호 정보를 부호화한 결과 얻어지는 수치인 프레임 부호 값(InfVal_F)을 가변 길이 부호화부(16)에 출력한다.
가변 길이 부호화부(16)는 프레임 부호 값(InfVal_F)을 부호화의 기본 단위인 단위 프레임 부호 값(Val_F)으로 분해하고, 부호표(16a)만을 사용하여 단위 프 레임 부호 값(Val_F)을 프레임 부호어(Code_F)로 변환하고, 변환된 프레임 부호어를 조합하여 프레임 스트림(Str_F)을 구성한다. 이것에 의해, 프레임 단위의 화상 신호에 관한 정보는, 종래와 같이 신택스에 따라서 부호화 방식을 전환하지 않고, 전체 프레임에 있어서 공통으로 단일의 부호화 방식이 적용된다.
다중화부(17)는 헤더 스트림(Str_H)과 프레임 스트림(Str_F)을 다중화 하여, 화상 부호화 신호(Str)를 구성한다.
도 5는 상기 도 4에 도시한 화상 부호화 장치(10)에서의 기능 블록도에서 부호화된 화상 부호화 신호(Str)의 스트림 구성도이다. 도 5에 나타낸 바와 같이, 본 스트림은 시퀀스 헤더(SeqHdr)와 다수의 프레임 데이터(FrmData)로 구성되어 있다. 이 경우, 시퀀스 헤더(SeqHdr)는 화상 신호 전체에 공통되는 정보이고, 프레임 데이터(FrmData)는 부호표(16a)만을 이용하여 부호화된 데이터이다.
또, 시퀀스 헤더(SeqHdr)와 프레임 데이터(FrmData)란 동일 스트림 내에서 반드시 연속하여 송신할 필요는 없고, 복호화 장치 측에서 먼저 시퀀스 헤더(SeqHdr)를 인식할 수 있도록 제어하면, 각각 다른 스트림에 송신해도 좋다.
도 6은 상기 도 5에서의 프레임 데이터의 데이터 구성도이다.
도 6(a)은 일반적인 프레임 데이터(FrmData)의 데이터 구성도이다. 이 경우, 프레임 데이터(FrmData)의 프레임 헤더(FrmHdr)를 화상 신호 전체에 공통되는 정보로서 다수의 부호화 방식(부호표)으로 부호화를 행하고, 매크로 블록 데이터(MB)를 단일의 부호화 방식(예를 들면, 부호표(16a)만)으로 부호화를 행하는 경우의 예이다. 이 경우, 부호화 ·복호화에서 스트림의 대부분을 차지하는 매크로 블 록 데이터(MB)를 단일의 부호화 방식(부호표(16a)만)으로 부호화를 행하기 때문에, 종래는 필요했던 부호화 방식(부호표)을 빈번하게 전환하는 처리가 불필요하게 되어, 종래와 동등한 기능을 갖는 화상 부호화 장치를 간소화하여 실현하는 것이 가능해진다.
또, 프레임 헤더(FrmHdr)와 매크로 블록 데이터(MB)는 동일 스트림 내에서 반드시 연속하여 송신할 필요는 없다. 복호화 장치 측에서 먼저 프레임 헤더(FrmHdr)를 인식할 수 있도록 제어하면, 동일 스트림 내에서 불연속인 상태로 송신해도 좋고, 각각 다른 스트림에 송신해도 좋다.
또, 도 6(a)에 나타낸 스트림 구성에서는, 프레임 데이터(FrmData)의 프레임 헤더(FrmHdr)를 화상 신호 전체에 공통되는 정보로 하였지만, MPEG-1이나 MPEG-2의 슬라이스 구조, MPEG-4의 비디오 패킷 구조와 같이, 매크로 블록을 여러 개 모아 1개의 프레임을 구성하고, 그 매크로 블록의 집합체의 선두에, 또한 동기 신호 등의 공통인 정보(헤더)를 배치한 경우에는, 그 매크로 블록의 집합체의 헤더를 화상 신호 전체에 공통되는 정보로 하여, 그 헤더 이외의 화상 데이터를 단일의 부호표(16a)로 부호화하는 것으로 해도 좋다. 이 매크로 블록의 집합체로 구성되는 프레임은 슬라이스(Slice)라고 칭해진다.
도 6(b)은 상기의 슬라이스 구조의 프레임 데이터의 데이터 구성도이다. 슬라이스 헤더(SliceHdr)를 화상 신호 전체에 공통되는 정보로 하여, 다수의 부호표로 부호화를 행하고, 각 슬라이스(Slice)의 매크로 블록 데이터(MB)를 단일의 부호표(16a)로 부호화를 행한다. 또, 슬라이스 헤더(SliceHdr)와 매크로 블록 데이터 (MB)는 동일 스트림 내에서 반드시 연속하여 송신할 필요는 없다. 복호화 장치 측에서 먼저 슬라이스 헤더(SliceHdr)를 인식할 수 있도록 제어하면, 동일 스트림 내에서 불연속인 상태로 송신해도 좋고, 각각 다른 스트림으로 송신해도 좋다.
도 7은 본 실시형태에서 사용하는 부호표의 일례이다. 도 7(a)은 화상 부호화 장치(10)에서 가변 길이 부호화를 행할 때에 사용하는 부호표의 일례이다. 도 7(a)에 나타낸 바와 같이, 발생 빈도가 높은 데이터 「0」∼「2」에 관해서는 대응하는 부호어의 부호 길이가 짧고, 발생 빈도가 낮은 「3」∼「6」에 관해서는 대응하는 부호어의 부호 길이가 길게 되어 있다.
또한, 도 7(b)은 화상 부호화 장치(10)에서 고정 길이 부호화를 행할 때에 사용하는 부호표의 일례이다. 도 7(b)에 나타낸 바와 같이, 각 데이터에 대응하는 부호어의 단어 길이는 일정하지만, 화상 부호화 장치(10) 내의 최대 프레임 메모리수가 커짐에 따라서 부호어의 부호 길이가 길게 되어 있다.
도 8은 본 실시형태의 화상 복호화 장치(20)에서의 복호화 기능에 관한 부분의 기능 블록도이다. 화상 복호화 장치(20)는 상기의 화상 부호화 장치(10)에 의해서 부호화된 화상 부호화 신호(Str)를 복호화하여 복호 동화상 신호(Vout)를 출력한다. 도 8에서 상기 도 3의 종래의 화상 복호화 장치(600)에서의 신호와 동일 동작에 관한 신호는 동일 부호를 붙이고, 그 설명은 생략한다.
또, 화상 신호 전체에 공통되는 정보인 헤더부의 정보를 복호화하기 위한 구성 및 그 동작은 상기 도 3의 종래의 화상 복호화 장치(600)의 경우와 동일하다.
분리부(21)는 화상 부호화 신호(Str)를 입력하여, 헤더 스트림(Str_H)과 프 레임 스트림(Str_F)으로 분리한다. 가변 길이 복호화부(23)는 프레임 스트림(Str_F)을 구성하는 프레임 부호어(Code_F)를 부호표(16a)만을 사용하여 프레임 부호 값(Val_F)으로 변환하고, 단위 프레임 부호 값(Val_F)에서 부호화된 신호의 수치인 프레임 부호 값(InfVal_F)을 구성한다. 프레임 복호화부(27)는 화상 신호 전체에 공통되는 정보인 헤더 파라미터(Inf_H)를 참조하여, 프레임 부호 값(InfVal_F)을 복호화하고, 복호 후의 동화상 신호(Vout)를 출력한다.
이상과 같이 하여, 화상 신호 전체에 공통되는 정보인 헤더부의 정보 이외의 정보에 관해서는, 단일 부호표(16a)만으로 복호화를 가능하게 하고 있기 때문에, 종래에는 필요했던 복호화 방식(부호표)을 빈번하게 전환하는 처리가 불필요하게 되어, 동등한 기능을 갖는 화상 복호화 장치를 간소화하여 실현하는 것이 가능해진다.
또, 화상 신호 전체에 공통되는 정보인 헤더부의 정보란, 상기 도 5의 화상 부호화 신호의 스트림 구성에 있어서의 시퀀스 헤더(SeqHdr)나 도 6(a)의 프레임 데이터(FrmData)의 프레임 헤더(FrmHdr)이다. 상기의 화상 부호화 장치(10)의 경우와 동일하게, 매크로 블록 데이터(MB)를 단일의 부호표(23a)로 복호화해도 좋다. 또한, 상기의 화상 부호화 장치(10)의 경우와 동일하게, 화상 부호화 신호의 스트림 구성이 슬라이스 구조를 갖는 경우에는, 슬라이스 헤더(SliceHdr)를 화상 신호 전체에 공통되는 정보로 하여, 슬라이스 헤더 이외의 정보를 단일의 부호표(23a)로 복호화해도 좋다.
다음에, 상기한 바와 같이 구성된 화상 부호화 장치(10)의 동작에 관해서 설 명한다.
도 9는 화상 부호화 장치(10)의 부호화 처리의 흐름을 나타내는 흐름도이다.
처음에, 헤더 정보 작성부(11)에 동화상 신호(Vin)가 입력되면(S61), 헤더 신택스 구조 신호(Stx_H)에 기초하여 헤더 부호 값(InfoVal_H)을 부호화하는 부호표가 선택된다(S63). 헤더 정보 작성부(11) 및 고정 길이 ·가변 길이 부호화부(15)는 종래와 동일한 방법으로, 동화상 신호(Vin)에 기초하여 헤더부의 정보를 작성하고, 분해된 단위 헤더 부호 값(Va1_H)에 따라 부호표를 선택하여 그 부호화를 행하여(S64∼S66), 헤더 스트림을 구성한다(S67).
한편, 프레임 부호화부(13)는 동화상 신호(Vin)를 취득하면(S61), 헤더부의 정보 이외의 정보에 관해 부호표(16a)만을 이용하여 부호화를 행하고(S68), 프레임 스트림을 구성한다(S69).
다중화부(17)는 헤더 스트림과 프레임 스트림을 다중화 하여 화상 부호화 신호를 구성한다(S70).
이상과 같이, 본 실시형태에 있어서의 화상 부호화 장치 및 화상 복호화 장치에 의하면, 부호화 처리나 복호화 처리의 대부분을 차지하는 매크로 블록 데이터를 단일의 부호표를 이용하여 부호화 및 복호화를 행하기 때문에, 종래에는 필요했던 부호표를 빈번하게 전환하는 처리가 불필요하게 되고, 종래와 동등한 기능을 갖는 화상 부호화 장치를 간소화하여 실현하는 것이 가능해진다.
(실시형태 2)
도 10은 본 실시형태의 화상 부호화 장치(30)에서의 부호화 기능에 관한 기 능 블록도이다. 도 10에서 상기 도 4의 화상 부호화 장치(10)에서의 기능 블록도와 동일 기능의 구성 및 동일 동작에 관한 신호는 동일 기호를 붙이고, 그 설명은 생략한다.
도 10의 화상 부호화 장치(30)와 상기 도 4의 화상 부호화 장치(10)의 차이에 대해서 서술한다. 상기 화상 부호화 장치(10)가 화상 신호 전체에 공통되는 정보인 헤더부의 정보를 작성하는 부분은, 다수의 부호표 중에서 적절한 부호표를 선택하여 부호화를 행하고, 그 밖의 개별 화상 신호 정보에 관해서는 1개의 부호표를 이용하여 부호화를 행하였다. 한편, 본 화상 부호화 장치(30)는 화상 신호 전체에 공통되는 정보인 헤더부의 정보의 부호화를 고정 길이 부호화 방식 또는 부호표를 이용하는 통상의 가변 길이 부호화(허프만 부호화) 방식으로 부호화를 행하고, 그 밖의 개별 화상 신호 정보는 산술 부호화만으로 부호화한다.
산술 부호화는 부호화 ·복호화의 처리는 허프만 부호화 등의 부호표를 이용하는 통상의 가변 길이 부호화에 비해 약간 복잡하지만, 압축률이 향상하는 것으로 알려져 있다. 따라서, 복호 과정에서 특히 중요하고 다종 다양한 헤더 정보를 통상의 가변 길이 부호화함으로써, 프레임 데이터가 어떤 복호화를 해야 하는지 신속하게 판단할 수 있다. 산술 부호화는 전송 오류 등에 약하기 때문에, 중요한 데이터인 헤더 정보를 통상의 가변 길이 부호화로 부호화하는 것은 오류 내성 향상에도 큰 효과가 있다.
또한, 산술 부호화와 통상의 가변 길이 부호화를 전환할 때에는, 특히 처리가 복잡하고, 또 산술 부호화로부터 통상의 가변 길이 부호화로 전환하기 위해서는 장황한 비트수가 필요하므로, 빈번하게 산술 부호화와 통상의 가변 길이 부호화를 전환하는 것은 상책이 아니다.
신택스 해석부(12)는 헤더 신택스 구조 신호(Stx_H)에 의해서 부호화 선택부(31)의 출력을 전환하는 부호화 선택 신호(SelEnc)를 부호화 선택부(31)에 출력한다.
부호화 선택부(31)는 고정 길이 부호화 방식 또는 가변 길이 부호화 방식의 한쪽을 부호화 선택 신호(SelEnc)에 의해 선택하고, 선택된 부호화 방식에 따라서 고정 길이 부호화부(32) 또는 가변 길이 부호화부(33)로 부호화를 행하여 헤더 스트림(Str_H)을 구성하여 다중화부(17)에 출력한다.
산술 부호화부(34)는 프레임 부호 값(InfVal_F)을 헤더 파라미터(Inf_H)를 참조하여 산술 부호화를 행하고, 산술 부호화한 프레임 스트림(Str_F)을 구성하여, 다중화부(17)에 출력한다.
다중화부(17)는 헤더 스트림(Str_H)과 프레임 스트림(Str_F)을 다중화 하여, 화상 부호화 신호(Str)를 구성한다.
이상과 같이, 본 실시형태에 관한 화상 부호화 장치(30)에 의해, 화상 신호 전체에 공통되는 정보인 헤더부의 정보에 관해서는 신택스에 따라 부호화 방식을 전환한다고 하는 부호화를 행하고, 개별 화상 신호 정보의 부호화는 산술 부호화만으로 부호화를 행함으로써, 부호화 효율을 열화시키지 않고, 부호화 방식의 전환 처리의 간소화를 가능하게 하는 화상 부호화 장치를 실현할 수 있다.
도 11은 본 실시형태의 화상 복호화 장치(40)에서의 복호화 기능에 관한 기 능 블록도이다. 또, 도 11에서 상기 실시형태 1의 화상 복호화 장치(20)에서의 기능 블록도와 동일 기능의 구성 및 동일 동작에 관한 신호는 동일 기호를 붙이고, 그 설명은 생략한다.
도 11의 화상 복호화 장치(40)와 상기 실시형태 1의 화상 복호화 장치(20)의 차이에 관해서 서술한다. 상기 화상 복호화 장치(20)는 화상 신호 전체에 공통되는 정보인 헤더부의 정보를 복호화하는 경우에는, 다수의 부호표 중에서 적절한 부호표를 선택하여 복호화를 행하였다. 한편, 그 밖의 개별 화상 신호 정보는 1개의 부호표를 이용하여 복호화를 행하는 것에 반해, 본 화상 복호화 장치(40)는 화상 신호 전체에 공통되는 정보인 헤더부의 정보를 복호화하는 경우에는, 고정 길이 복호화 방식 또는 부호표를 이용하는 통상의 가변 길이 부호화(허프만 부호화)의 역처리로서 복호화하고, 그 밖의 개별 화상 신호 정보는 산술 부호화만으로 복호화한다. 또, 도 11의 화상 복호화 장치(40)는, 상기 도 10의 화상 부호화 장치(30)에 의해서 부호화된 화상 부호화 신호(Str)를 복호화하는 장치이다.
신택스 해석부(26)는 헤더 신택스 구조 신호(Stx_H)에 의해서 복호화 선택부 (41)의 출력을 전환하는 복호화 선택 신호(SelDec)를 출력한다. 복호화 선택부(41)는 고정 길이 복호화 방식 또는 가변 길이 복호화 방식의 한쪽을 복호화 선택 신호(SelDec)에 의해서 선택하고, 선택된 복호화 방식에 따라서 고정 길이 복호화부(42) 또는 가변 길이 복호화부(43)에서 복호화한 헤더 부호 값(InfVal_H)을 헤더 정보 복호부(25)에 출력한다.
산술 복호화부(44)는 헤더 파라미터(Inf_H)를 참조하여 프레임 스트림 (Str_F)을 산술 복호화하고, 산술 복호화된 프레임 부호 값(InfVa1_F)을 구성한다. 프레임 복호화부(27)는 화상 신호 전체에 공통되는 정보인 헤더 파라미터(Inf_H)를 참조하여 프레임 부호 값(InfVal_F)을 복호화하여, 복호 동화상 신호(Vout)를 출력한다.
이상과 같이, 화상 신호 전체에 공통되는 정보인 헤더부의 정보는 신택스에 따라서 전환하는 효율적인 부호화를 행하고, 개별 화상 신호 정보는 산술 부호화만으로 부호화함으로써, 부호화 효율을 열화시키지 않고 전환 처리를 간소화한 화상복호화 장치를 실현하는 것이 가능해진다.
또, 상기의 화상 부호화 장치(10, 30)나 화상 복호화 장치(20, 40) 이외에도 헤더부의 정보와 개별 화상 신호 정보를 분리시켜서, 각각의 정보의 부호화나 복호화를 다수의 부호표를 이용함으로써 실현하는 것도 가능하다.
도 12는 상기한 바와 같이, 헤더부의 정보와 개별 화상 신호 정보를 나누고, 각각의 정보의 부호화를 행하는 화상 부호화 장치(50)의 부호화 기능에 관한 부분의 기능 블록도이다.
또한, 도 13은 상기 도 12의 화상 부호화 장치(50)에 대응하는 화상 복호화 장치(60)의 복호화 기능에 관한 부분의 기능 블록도이다.
상기 실시형태 1 및 실시형태 2에서의 부호화 방법 또는 복호화 방법을 정리한 표를 도 14에 도시한다. 도 14(a)에 나타낸 바와 같이, 예를 들면 방식 1과 같이, 헤더부의 정보(도면에서는 「헤더 정보」)와 프레임마다의 화상 신호에 관한 화상 신호 정보(도면에서는 「프레임 정보」)의 부호화를 행하는 경우에는, 종래의 부호표를 이용하는 부호화 방식(이하, 「부호표 부호화」라고 한다)과, 산술 부호화 방식에 의한 부호화(이하, 「산술 부호화」라고 한다)를 생각할 수 있다. 또한, 헤더 정보, 프레임 정보 각각을 산술 부호화(방식 2) 또는 부호표 부호화(방식 3)해도 좋다.
또한, 도 14(b)에 나타낸 바와 같이, 헤더 정보, 프레임 정보 모두 부호표 부호화를 이용하는 경우에는, 「단일」의 부호표를 이용하는 경우와, 「다수」의 부호표를 이용하는 부호화 방식을 생각할 수 있다. 구체적으로는, 헤더 정보, 프레임 정보 쌍방에 대해서 단일(방식 3-1) 또는 다수의 부호표(방식 3-3)를 이용한 부호표를 적용해도 좋다. 또한, 헤더 정보에는 다수의 부호표, 프레임 정보에는 단일의 부호표(방식 3-2), 또는 헤더 정보에는 단일의 부호표, 프레임 정보에는 다수의 부호표(방식 3-4)의 부호표를 적용해도 좋다.
또, 방식 1에서도, 헤더 정보에 단일의 부호표, 또는 다수의 부호표를 적용할 수 있는 것은 말할 필요도 없다. 여기서, 다수의 부호표란, 화상 신호 전체에 공통되는 정보인 헤더부, 프레임 단위의 화상 신호에 관한 정보로 각각 독자적으로 부호화 방법이 결정되기 때문에, 미리 적용되는 부호표의 개수가 한정되어 있고, 이것에 의해 부호표의 전환이 최저한으로 억제된다.
실시형태 1 및 실시형태 2에서의 부호화 방법 또는 복호화 방법에서는, 화상 전체에 관한 정보에 대해서는 종래와 동일하게 다수의 부호화 ·복호화 방법(부호표)을 구비하지만, 프레임마다의 화상 신호에 관한 개별 정보에 관해서는 공통의 부호화 ·복호화 방법을 이용하는 것에 특징이 있다. 일반적으로, 화상 전체에 관 한 정보에서는 그 정보를 구성하는 각 부호의 부호어의 발생 빈도가 크게 다르기 때문에 다수의 부호화 ·복호화 방법을 준비하지 않으면 압축률이 크게 저하한다. 한편, 개별 정보에 관해서는 화상 전체에 관한 정보만큼 부호어의 발생 빈도가 그 정도로 변화하지 않기 때문에, 공통의 부호화 ·복호화 방법을 이용해도 압축률이 그 정도로 저하하지 않는다. 또, 부호화 ·복호화에서 대부분의 처리 시간이 화상 전체에 관한 정보가 아닌 개별 정보의 처리에 필요한 것이므로, 개별 정보의 부호화 ·복호화를, 바람직하게는, 단일의 부호화 방법으로 간단히 실현할 수 있으면, 장치의 실현상 큰 이점이 있다. 특히, 고정 길이 부호화 쪽이 가변 길이 부호화보다 동기를 취하기 위한 동기 신호 검출이 용이하고, 고압축의 관점에서는 다수의 부호화 방법이 적합하다고 하는 고정 길이 부호화와 가변 길이 부호화의 전환도 포함시킨 다수 부호화 방법의 전환의 이점과, 부호화 ·복호화를 단일의 부호화 방법으로 간단히 실현할 수 있다고 하는 단일 부호화 방법의 이점을 비교하여, 후자의 이점이 큰 이용 분야에서 유효하다고 생각된다.
또한, 산술 부호화도 가변 길이 부호화의 일종이고, 산술 부호화는 압축 효율이 높은 반면, 특히 고정 길이 부호화나 일반 가변 길이 부호화(허프만 부호화)와 전환하여 사용하면 복잡한 처리가 필요하므로, 개별 정보에 관해서는 단일 부호화 방법으로서 산술 부호화만을 사용하고, 화상 전체에 관한 정보에는 산술 부호 이외를 사용하는 것이 바람직하다.
(실시형태 3)
상기 실시형태 1 또는 실시형태 2에서 나타낸 화상 부호화 방법 또는 화상 복호화 방법을 실현하기 위한 프로그램을 플렉시블 디스크 등의 컴퓨터가 판독 가능한 기억 매체에 기록하고, 상기 각 실시형태에서 나타낸 처리를 퍼스널 컴퓨터 등의 컴퓨터 시스템에서 실현하는 것도 가능하다.
도 15는 상기 실시형태 1 및 실시형태 2에서 설명한 화상 부호화 방법 또는 화상 복호화 방법을 저장한 플렉시블 디스크(1201)를 이용하여, 컴퓨터 시스템에 의해 실시하는 경우의 설명도이다.
도 15(a)는 기록 매체인 플렉시블 디스크(1201)의 물리 포맷의 예를 나타내고 있다. 도 15(b)는 플렉시블 디스크를 정면에서 본 외관도, 단면 구조도 및 플렉시블 디스크를 나타내고, 플렉시블 디스크(1201)는 케이스(1202) 내에 내장되며, 해당 디스크의 표면에는 동심원 형상으로 외주에서 내주를 향해서 다수의 트랙이 형성되고, 각 트랙은 각도 방향으로 16개의 섹터로 분할되어 있다. 따라서, 상기 프로그램을 저장한 플렉시블 디스크(1201)에는, 디스크 상에 할당된 영역에, 상기 화상 부호화 방법 또는 화상 복호화 방법을 실현하는 프로그램이 기록되게 된다.
또한, 도 15(c)는 플렉시블 디스크(1201)에 상기 프로그램의 기록 재생을 행하기 위한 구성을 나타낸다. 상기 프로그램을 플렉시블 디스크(1201)에 기록하는 경우에는, 컴퓨터 시스템(1204)을 이용함으로써, 상기 화상 부호화 방법 또는 화상 복호화 방법을 실현하는 프로그램을 플렉시블 디스크 드라이브(1203)를 통해서 기입한다. 또, 플렉시블 디스크 내의 프로그램에 의해 상기 화상 부호화 방법을 컴퓨터 시스템(1204) 내에 구축하는 경우에는, 플렉시블 디스크 드라이브(1203)를 통해서 플렉시블 디스크(1201)로부터 상기 프로그램을 독출하여 컴퓨터 시스템에 전 송한다.
또, 본 실시형태에서는, 기록 매체로서 플렉시블 디스크를 이용하는 경우에 관해서 설명하였지만, 광 디스크를 이용하여 실현해도 좋다. 또, 기록 매체는 이것에 한정되지 않고, IC 카드, ROM 카세트 등, 그 외의 프로그램을 기록할 수 있는 것이면 동일하게 실시할 수 있다.
(실시형태 4)
이하에서는, 상기의 실시형태에서 나타낸 화상 부호화 장치 및 화상 복호화 장치를 이용한 시스템으로의 응용예에 관해서 설명한다.
도 16은 콘텐츠 배포 서비스를 행하기 위한 콘텐츠 공급 시스템(100)의 전체를 나타내는 블록도이다. 이 콘텐츠 공급 시스템(100)은 예를 들면, 휴대 전화의 전화망(104)으로 구성되고, 기지국(107∼110)을 통해서 컴퓨터(111), PDA(Personal Digital Assistants)(112), 카메라(113), 휴대 전화(114) 등이 접속되어 있다. 또, 이 전화망(104)은 인터넷 서비스 프로바이더(102)를 통해 인터넷(101)에 접속되어 있다.
카메라(113)는 예를 들면, 디지털 비디오 카메라 등이고, 동화상의 촬영이 가능하다. 휴대 전화(115)는, PDC(Personal Digital Communications) 방식, CDMA(Code Division Multiple Access) 방식, W-CDMA(Wideband-Code Division Multiple Access) 방식, 또는 GSM(Global System for Mobile Communications) 방식 등의 휴대 전화기, 또는 PHS(Personal Handyphone System)의 단말 장치 등이다.
또한, 스트리밍 서버(103)는 서버 접속 전용 네트워크(105) 또는 인터넷 (101) 등을 통해 전화망(104)에 접속되어 있고, 카메라(113)에 의해서 촬영된 화상의 부호화 데이터의 라이브 배송 등을 가능하게 한다. 이 경우, 화상의 부호화 처리는, 카메라(113)에서 행해도 좋고, 이 카메라에 접속되어 있는 서버(113a)에서 행해도 좋다. 또, 카메라(116)에서 촬영된 화상의 화상 데이터를 컴퓨터(111)를 통해서 스트리밍 서버(103)에 송신하는 것으로 해도 좋다. 여기서 카메라(116)는 예를 들면 디지털 카메라이고, 정지화상의 촬영이 가능하다. 이 경우, 화상 데이터의 부호화는 카메라로 행해도, 컴퓨터(111)로 행해도 좋다. 또, 상기의 부호화 처리는 카메라(116)나 컴퓨터(111)에 내장되어 있는 LSI(117)에서 실행된다. 또한, 카메라가 부착된 휴대 전화(115)에서 촬영한 화상 데이터를 송신해도 좋다. 이 때의 화상 데이터는 휴대 전화에 내장되어 있는 LSI에 의해 부호화된 데이터이다.
또, 화상 부호화/복호화용 소프트웨어를 컴퓨터(111) 등에서 판독 가능한 기록 매체(예를 들면, CD-ROM, 플렉시블 디스크 또는 하드디스크 등의 축적 미디어)에 저장해도 좋다.
도 17은 휴대 전화(114)의 외관의 일례를 나타내는 도면이다. 도 17에 나타낸 바와 같이, 휴대 전화(114)는 안테나(201), 동화상이나 정지화상의 촬영이 가능한 CCD 방식 등을 채용한 카메라부(203), 카메라부(203)에서 촬영한 영상이나 안테나(201)를 통해서 수신한 영상 등을 표시하기 위한 액정 디스플레이 등의 표시부(202), 조작 키군을 갖는 본체부(204), 음성을 출력하기 위한 스피커 등을 구비하는 음성 출력부(208), 음성을 입력하기 위한 마이크 등을 구비하는 음성 입력부 (205), 촬영/수신한 동화상이나 정지화상의 데이터 또는 수신한 메일의 데이터 등을 보존하기 위한 기억 미디어(207), 기억 미디어(207)를 장착시키기 위한 슬롯부(206) 등을 갖고 있다. 기억 미디어(207)는 예를 들면 SD 카드이고, 플라스틱 케이스 내에 전기적으로 고쳐쓰기나 삭제 가능한 불휘발성 메모리인 EEPROM(Electrically Erasable and Programmable Read Only Memory)의 일종인 플래시 메모리를 구비한 것이다.
본 콘텐츠 공급 시스템(100)에서는, 사용자가 카메라(113), 카메라(116) 등으로 촬영한 콘텐츠(예를 들면, 음악 라이브를 촬영한 영상 등)를 상기의 실시형태와 동일하게 부호화 처리하여 스트리밍 서버(103)에 송신하는 한편, 스트리밍 서버(103)는 요구가 있었던 클라이언트에 대해서 상기 콘텐츠 데이터를 스트림 배송한다. 클라이언트로서는, 상기 부호화 처리된 데이터의 복호화를 가능하게 하는 컴퓨터(111), PDA(112), 카메라(113), 휴대 전화(114) 등이 있다.
이상의 구성으로 함으로써, 콘텐츠 공급 시스템(100)은 부호화된 데이터를 클라이언트에서 수신하여 재생할 수 있고, 또한 클라이언트에서 실시간으로 수신하여 복호화하여 재생함으로써, 개인 방송도 실현 가능하게 한다.
또한, 휴대 전화(114)에 관해서 도 18을 이용하여 설명한다. 휴대 전화(114)는 표시부(202) 및 본체부(204)의 각 부를 총괄적으로 제어하는 주 제어부(311), 전원 회로부(310), 조작 입력 제어부(304), 화상 부호화부(312), 카메라 제어부(303), LCD(Liquid Crystal Display) 제어부(302), 화상 복호화부(309), 다중 분리부(308), 기록 재생부(307), 변복조 회로부 (306) 및 음성 처리부(305)가 버스 (313)를 통해서 서로 접속되어 있다. 전원 회로부(310)는 사용자의 조작에 의해, 통화 또는 전원 키가 온 상태가 되면, 배터리팩으로부터 각 부에 대해서 전력이 공급되고, 카메라가 부착된 휴대 전화(114)를 동작 가능한 상태로 기동한다. 휴대 전화(114)는 CPU, ROM 및 RAM 등으로 이루어지는 주 제어부(311)의 제어에 기초하여, 음성 통화 모드 시에 음성 입력부(205)에서 수집한 음성 신호를 음성 처리부(305)에서 디지털 음성 데이터로 변환하고, 이것을 변복조 회로부(306)에서 스펙트럼 확산 처리하여, 송수신 회로부(301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 행한 후에 안테나(201)를 통해서 송신한다. 또, 휴대 전화(114)는 음성 통화 모드 시에 안테나(201)에서 수신한 신호를 증폭하여 주파수 변환 처리 및 아날로그 디지털 변환 처리를 실시하고, 변복조 회로부(306)에서 스펙트럼 역확산 처리를 행하여, 음성 처리부(305)에서 아날로그 음성 신호로 변환한 뒤, 이것을 음성 출력부(208)를 통해서 출력한다. 또한, 데이터 통신 모드 시에 전자 메일을 송신하는 경우, 본체부(204)의 조작 입력 제어부(304)를 통해서 입력된 텍스트 데이터는 주 제어부(311)에 송출된다. 주 제어부(311)는 텍스트 데이터를 변복조 회로부(306)에서 스펙트럼 확산 처리하여, 송수신 회로부(301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 행한 뒤에 안테나(201)를 통해서 기지국(110)으로 송신한다.
데이터 통신 모드 시에 화상 데이터를 송신하는 경우, 주 제어부(311)는 카메라부(203)에서 촬영된 화상 데이터를 카메라 제어부(303)를 통해서 화상 부호화부(312)에 공급한다. 또, 화상 데이터를 송신하지 않은 경우에는, 카메라부(203) 에서 촬영 화상 데이터를 카메라 제어부(303) 및 LCD 제어부(302)를 통해서 표시부(202)에 직접 표시시키는 것도 가능하다.
화상 부호화부(312)는 카메라부(203)로부터 공급된 화상 데이터를 상기 실시형태에서 나타낸 부호화 방법에 의해서 압축 부호화함으로써, 부호화 화상 데이터로 변환하고, 이것을 다중 분리부(308)에 송출한다. 또, 이 때, 동시에, 휴대 전화(114)는 카메라부(203)에서 촬영 중에 음성 입력부(205)에서 수집한 음성을 음성 처리부(305)를 통해서 디지털 음성 데이터로서 다중 분리부(308)에 송출한다.
다중 분리부(308)는 화상 부호화부(312)에서 공급된 부호화된 화상 데이터와 음성 처리부(305)에서 공급된 음성 데이터를 소정의 방식으로 다중화하고, 그 결과 얻어지는 다중화 데이터를 변복조 회로부(306)에서 스펙트럼 확산 처리하여, 송수신 회로부(301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 행한 뒤에 안테나(201)를 통해서 송신한다.
데이터 통신 모드 시에 홈페이지 등에 링크된 동화상 파일의 데이터를 수신하는 경우, 안테나(201)를 통해서 기지국(110)으로부터 수신한 신호를 변복조 회로부 (306)에서 스펙트럼 역확산 처리하고, 그 결과 얻어지는 다중화 데이터를 다중 분리부(308)에 송출한다.
또, 안테나(201)를 통해서 수신된 다중화 데이터를 복호화하기 위해서는, 다중 분리부(308)는 다중화 데이터를 분리함으로써, 부호화된 화상 데이터와 음성 데이터로 나누고, 버스(313)를 통해서 해당 부호화된 화상 데이터를 화상 복호화부 (309)에 공급하는 동시에 해당 음성 데이터를 음성 처리부(305)에 공급한다.
다음에, 화상 복호화부(309)는 부호화된 화상 데이터를 상기의 실시형태에서 나타낸 부호화 방법에 대응한 복호화 방법으로 복호함으로써 재생 동화상 데이터를 생성하고, 이것을 LCD 제어부(302)를 통해서 표시부(202)에 공급하고, 이것에 의해, 예를 들면, 홈페이지에 링크된 동화상 파일에 포함되는 화상 데이터가 표시된다. 이 때, 동시에 음성 처리부(305)는 음성 데이터를 아날로그 음성 신호로 변환한 뒤, 이것을 음성 출력부(208)에 공급하고, 이것에 의해, 예를 들면 홈페이지에 링크된 동화상 파일에 포함되는 음성 데이터가 재생된다.
또, 상기 시스템의 예에 한정되지 않고, 최근에는 위성파나 지상파에 의한 디지털 방송이 화제가 되고 있고, 도 19에 나타낸 바와 같이, 디지털 방송용 시스템에도 상기 실시형태의 적어도 부호화 방법 또는 복호 방법 중 어느 하나를 조립할 수 있다. 구체적으로는, 방송국(409)에서는 영상 정보의 부호화 비트 스트림이 전파를 통해서 통신 또는 방송용 등의 위성(410)에 전송된다. 이것을 수신한 위성(410)은 방송용의 전파를 수신하고, 이 전파를 위성 방송 수신 설비를 갖는 가정의 안테나(406)에서 수신하여, 텔레비전 수상기(401) 또는 셋톱박스(407) 등의 장치에 의해 부호화 비트 스트림을 복호화하여 이것을 재생한다. 또, 기록 매체인 축적 미디어(402)에 기록한 부호화 비트 스트림을 판독하고, 복호화하는 재생 장치(403)에도 상기 실시형태에서 나타낸 복호화 방법을 설치하는 것이 가능하다. 이 경우, 재생된 영상 신호는 모니터(404)에 표시된다. 또, 케이블 텔레비전용의 케이블(405) 또는 위성/지상파 방송의 안테나(406)에 접속된 셋톱박스(407) 내에 복호화 장치를 설치하고, 이것을 텔레비전 모니터(408)에서 재생하는 구성도 생각할 수 있 다. 이 때, 셋톱박스가 아니라, 텔레비전 내에 부호화 장치를 장착해도 좋다. 또, 안테나(411)를 갖는 차(412)에서 위성(410)으로부터 또는 기지국(107) 등으로부터 신호를 수신하여, 차(412)가 갖는 카-네비게이션(413) 등의 표시 장치에 동화상을 재생시키는 것도 가능하다.
또, 카-네비게이션(413)의 구성은, 예를 들면 상기 도 18에 나타낸 구성 중 카메라부(203)와 카메라 제어부(303)를 제외한 구성을 생각할 수 있고, 동일한 것을 컴퓨터(111)나 텔레비전 수상기(401) 등에서도 생각할 수 있다. 또, 상기 휴대 전화(114) 등의 단말은, 부호화기/복호화기 양쪽을 구비하는 송수신형 단말 외에, 부호화기만의 송신 단말, 복호화기만의 수신 단말의 3가지의 설치 형식을 생각할 수 있다.
이와 같이, 상기의 부호화 방법, 복호화 방법을 설치함으로써, 상기 실시형태에서 나타낸 어느 장치, 시스템에서도 실현이 가능하게 된다.
이상과 같이, 본 발명에 관한 화상 부호화 방법 및 화상 복호화 방법은, 종래와 동등한 데이터 압축이 가능한 부호화 처리 및 복호화 처리를 실현하면서, 부호표의 선택 등에 요하는 처리 부하를 경감시킬 수 있기 때문에, 처리 능력이나 기억 용량을 충분히 확보할 수 없는 휴대 전화나 휴대 정보 단말 등에 있어서의 화상 부호화 방법 또는 화상 복호화 방법으로서 적합하다.

Claims (10)

  1. 소정 단위의 화상 신호를 포함하는 다중화 된 정보를 복호화하기 위한 화상 복호화 방법에 있어서, 상기 복호화의 대상이 되는 정보에는 상기 화상 신호 전체에 공통하는 정보와 상기 소정 단위의 화상 신호에 관한 정보가 포함되고,
    상기 다중화 되어 있는 정보로부터 상기 화상 신호 전체에 공통하는 정보와 상기 소정 단위의 화상 신호에 관한 정보를 분리하는 분리화 단계와,
    분리된 상기 화상 신호 전체에 공통하는 정보에 대해서는, 다수의 복호화 방법을 이용하여 복호화를 행하는 다수 복호화 단계와,
    분리된 상기 소정 단위의 화상 신호에 관한 정보에 대해서는, 각 소정단위에 공통하는, 단일의 가변 길이 복호화 방법 또는 산술 복호화 방법을 이용하여 복호화를 행하는 공통 복호화 단계를 포함하는 것을 특징으로 하는 화상 복호화 방법.
  2. 제1항에 있어서,
    상기 다수 복호화 단계는, 다수의 가변 길이 부호표를 이용하는 복호화 방식이고,
    상기 공통 복호화 단계는 단일의 가변 길이 부호표를 이용하는 복호화 방식인 것을 특징으로 하는 화상 복호화 방법.
  3. 제1항에 있어서,
    상기 다수 복호화 단계는, 다수의 가변 길이 부호표를 이용하는 복호화 방식이고,
    상기 공통 복호화 단계는, 산술 복호화 방식을 이용하는 복호화 방식인 것을 특징으로 하는 화상 복호화 방법.
  4. 제1항에 있어서,
    상기 다수 복호화 단계는, 다수의 고정 길이 부호표 또는 다수의 가변 길이 부호표를 이용하여 복호화를 행하고,
    상기 공통 복호화 단계는, 미리 한정한 개수의 고정 길이 부호표 또는 가변 길이 부호표를 이용하여 복호화를 행하는 것을 특징으로 하는 화상 복호화 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 화상 신호 전체에 공통하는 정보는 헤더 정보이고,
    상기 소정 단위의 화상 신호에 관한 정보는 슬라이스 데이터인 것을 특징으로 하는 화상 복호화 방법.
  6. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 화상 신호 전체에 공통하는 정보는, 슬라이스 헤더 정보를 포함하는 헤더 정보이고,
    상기 소정 단위의 화상 신호에 관한 정보는, 각 슬라이스의 매크로 블록 데 이터인 것을 특징으로 하는 화상 복호화 방법.
  7. 소정 단위의 화상 신호를 포함하는 다중화 된 정보를 복호화하는 화상 복호화 장치에 있어서, 상기 복호화의 대상이 되는 정보에는 상기 화상 신호 전체에 공통하는 정보와 상기 소정 단위의 화상 신호에 관한 정보가 포함되고,
    상기 다중화 되어 있는 정보로부터 상기 화상 신호 전체에 공통하는 정보와 상기 소정 단위의 화상 신호에 관한 정보를 분리하는 분리화 수단과,
    분리된 상기 화상 신호 전체에 공통하는 정보에 대해서는, 다수의 복호화 방법을 이용하여 복호화를 행하는 다수 복호화 수단과,
    분리된 상기 소정 단위의 화상 신호에 관한 정보에 대해서는, 각 소정 단위에 공통하는, 단일의 가변 길이 부호화 방법 또는 산술부호화 방법을 이용하여 복호화를 행하는 공통 복호화 수단을 구비하는 것을 특징으로 하는 화상 복호화 장치.
  8. 제7항에 있어서,
    상기 다수 복호화 수단은, 다수의 가변 길이 부호표를 이용하는 복호화 방식이고,
    상기 공통 복호화 수단은, 단일의 가변 길이 부호표를 이용하는 복호화 방식인 것을 특징으로 하는 화상 복호화 장치.
  9. 제7항에 있어서,
    상기 다수 복호화 수단은, 다수의 가변 길이 부호표를 이용하는 복호화 방식이고,
    상기 공통 복호화 수단은, 산술 복호화 방식을 이용하는 복호화 방식인 것을 특징으로 하는 화상 복호화 장치.
  10. 소정 단위의 화상 신호를 포함하는 다중화된 정보를 복호화하는 화상 복호화 장치에 이용되는 화상 복호화 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체에 있어서,
    제1항 내지 제4항 중 어느 한 항에 기재된 방법을 컴퓨터에 실행시키는 화상 복호화 프로그램이 기록된 것을 특징으로 하는 기록 매체.
KR1020057025019A 2001-08-31 2002-08-13 화상 복호화 방법 및 그 장치 KR100736503B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2001263248 2001-08-31
JPJP-P-2001-00263248 2001-08-31

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020037006019A Division KR100588105B1 (ko) 2001-08-31 2002-08-13 화상 부호화 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20060004707A KR20060004707A (ko) 2006-01-12
KR100736503B1 true KR100736503B1 (ko) 2007-07-06

Family

ID=19090032

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020057025019A KR100736503B1 (ko) 2001-08-31 2002-08-13 화상 복호화 방법 및 그 장치
KR1020037006019A KR100588105B1 (ko) 2001-08-31 2002-08-13 화상 부호화 방법 및 그 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020037006019A KR100588105B1 (ko) 2001-08-31 2002-08-13 화상 부호화 방법 및 그 장치

Country Status (13)

Country Link
US (12) US7664182B2 (ko)
EP (7) EP1422944B8 (ko)
KR (2) KR100736503B1 (ko)
CN (2) CN1777284B (ko)
AT (1) ATE447294T1 (ko)
AU (1) AU2005204229B2 (ko)
BR (2) BR0205954A (ko)
CA (1) CA2426780C (ko)
DE (1) DE60234196D1 (ko)
ES (6) ES2334894T4 (ko)
MX (1) MXPA03003512A (ko)
TR (1) TR201909206T4 (ko)
WO (1) WO2003021964A1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4520229B2 (ja) * 2003-07-01 2010-08-04 株式会社エヌ・ティ・ティ・ドコモ 通信装置およびプログラム
KR100807100B1 (ko) * 2006-07-11 2008-03-03 주식회사 휴맥스 통합 코덱 장치 및 방법
US7626518B2 (en) * 2006-06-08 2009-12-01 Via Technologies, Inc. Decoding systems and methods in computational core of programmable graphics processing unit
US7656326B2 (en) * 2006-06-08 2010-02-02 Via Technologies, Inc. Decoding of context adaptive binary arithmetic codes in computational core of programmable graphics processing unit
US7626521B2 (en) * 2006-06-08 2009-12-01 Via Technologies, Inc. Decoding control of computational core of programmable graphics processing unit
US7623049B2 (en) * 2006-06-08 2009-11-24 Via Technologies, Inc. Decoding of context adaptive variable length codes in computational core of programmable graphics processing unit
JP4825644B2 (ja) * 2006-11-14 2011-11-30 ルネサスエレクトロニクス株式会社 画像復号装置、画像符号化装置、およびシステムｌｓｉ
KR100902007B1 (ko) 2007-02-28 2009-06-11 삼성전자주식회사 비디오 스트림 처리 장치
BRPI0818444A2 (pt) * 2007-10-12 2016-10-11 Qualcomm Inc codificação adaptativa de informação de cabeçalho de bloco de vídeo
US8938009B2 (en) * 2007-10-12 2015-01-20 Qualcomm Incorporated Layered encoded bitstream structure
TWI378654B (en) * 2009-02-04 2012-12-01 Novatek Microelectronics Corp Adaptive canonical huffman decoder and method thereof and video decoder
JP2011193335A (ja) * 2010-03-16 2011-09-29 Sony Corp 画像符号化装置および方法、画像復号化装置および方法、並びにプログラム
US20110310976A1 (en) * 2010-06-17 2011-12-22 Qualcomm Incorporated Joint Coding of Partition Information in Video Coding
EP2664070B1 (en) 2011-01-14 2016-11-02 GE Video Compression, LLC Entropy encoding and decoding scheme
JP5979406B2 (ja) * 2012-02-22 2016-08-24 ソニー株式会社 画像処理装置、画像処理方法、および画像処理システム
EP3051824B1 (en) * 2012-04-12 2020-02-05 Velos Media International Limited Extension data handling
US9712848B2 (en) * 2014-11-10 2017-07-18 Vixs Systems Inc. Frame buffer compression using separate aggregation of fixed-length and variable-length components of codewords
JP6868802B2 (ja) * 2015-08-03 2021-05-12 パナソニックＩｐマネジメント株式会社 送信方法、受信方法、送信装置及び受信装置
KR101743454B1 (ko) * 2015-11-19 2017-06-07 (주)인텍이엔에스 사물인터넷 기능이 부가된 학습용 휴대형 피코 프로젝터
US11025925B2 (en) 2017-03-15 2021-06-01 Realnetworks, Inc. Condensed coding block headers in video coding systems and methods
TWI741919B (zh) * 2020-01-15 2021-10-01 瑞鼎科技股份有限公司 串流解壓縮電路

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970078649A (ko) * 1996-05-16 1997-12-12 배순훈 적응적 부호화기능을 갖는 영상 부호화기
KR19980018127A (ko) * 1996-06-06 1998-06-05 모리시타 요우이치 화상 부호화 방법, 화상 복호화 방법, 그 방법을 이용한 화상 부호화 장치, 화상 복호화 장치 및 그 방법을 기록하는 기록매체
KR19980080089A (ko) * 1997-03-18 1998-11-25 사와무라 시코우 동화상 압축부호의 복호방법 및 복호장치

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0460928A3 (en) * 1990-06-07 1993-09-01 Matsushita Electric Industrial Co., Ltd. Video signal converting apparatus
EP0469835B1 (en) * 1990-07-31 1998-09-30 Canon Kabushiki Kaisha Image processing apparatus and method
US5168356A (en) * 1991-02-27 1992-12-01 General Electric Company Apparatus for segmenting encoded video signal for transmission
TW237589B (ko) * 1991-02-27 1995-01-01 Gen Electric
JPH05207286A (ja) * 1991-05-28 1993-08-13 Matsushita Electric Works Ltd 画像符号化方式
JP3348310B2 (ja) * 1992-09-28 2002-11-20 ソニー株式会社 動画像符号化方法および動画像符号化装置
KR0129558B1 (ko) * 1992-10-26 1998-04-10 배순훈 적응적 가변길이 부호화 방법 및 장치
US5400075A (en) * 1993-01-13 1995-03-21 Thomson Consumer Electronics, Inc. Adaptive variable length encoder/decoder
US5376969A (en) * 1993-11-15 1994-12-27 Rca Thomson Licensing Corporation Method and apparatus for conveying compressed video data over a noisy communication channel
US5852669A (en) 1994-04-06 1998-12-22 Lucent Technologies Inc. Automatic face and facial feature location detection for low bit rate model-assisted H.261 compatible coding of video
US5883976A (en) * 1994-12-28 1999-03-16 Canon Kabushiki Kaisha Selectively utilizing multiple encoding methods
JPH1023425A (ja) * 1996-07-01 1998-01-23 Sony Corp 画像符号化装置および方法、画像復号化装置および方法、並びに画像記録媒体
US5748789A (en) * 1996-10-31 1998-05-05 Microsoft Corporation Transparent block skipping in object-based video coding systems
JPH10145789A (ja) 1996-11-15 1998-05-29 Oki Electric Ind Co Ltd 動画像符号化方法及び動画像復号方法
JP3407588B2 (ja) 1997-03-19 2003-05-19 株式会社日立製作所 符号化復号化装置
WO1999022525A1 (en) * 1997-10-23 1999-05-06 Mitsubishi Denki Kabushiki Kaisha Image encoding method, image encoder, image decoding method, and image decoder
TW395118B (en) 1997-10-23 2000-06-21 Mitsubishi Electric Corp Image encoding method, image encoding device, image decoding method and image decoding device
US6118822A (en) * 1997-12-01 2000-09-12 Conexant Systems, Inc. Adaptive entropy coding in adaptive quantization framework for video signal coding systems and processes
US8050329B2 (en) 1998-06-26 2011-11-01 Mediatek Inc. Method and apparatus for generic scalable shape coding
JP2000032467A (ja) 1998-07-09 2000-01-28 Sony Corp 画像処理装置および方法、並びに提供媒体
JP3976942B2 (ja) 1998-12-18 2007-09-19 キヤノン株式会社 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体
JP2000358243A (ja) 1999-04-12 2000-12-26 Matsushita Electric Ind Co Ltd 画像処理方法，画像処理装置，及びデータ記憶媒体
KR100390115B1 (ko) * 1999-04-12 2003-07-04 마츠시타 덴끼 산교 가부시키가이샤 화상 처리 방법, 화상 처리 장치 및 데이터 기억 매체
JP2001218208A (ja) 2000-01-28 2001-08-10 Canon Inc 画像復号装置及びその方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970078649A (ko) * 1996-05-16 1997-12-12 배순훈 적응적 부호화기능을 갖는 영상 부호화기
KR19980018127A (ko) * 1996-06-06 1998-06-05 모리시타 요우이치 화상 부호화 방법, 화상 복호화 방법, 그 방법을 이용한 화상 부호화 장치, 화상 복호화 장치 및 그 방법을 기록하는 기록매체
KR19980080089A (ko) * 1997-03-18 1998-11-25 사와무라 시코우 동화상 압축부호의 복호방법 및 복호장치

Also Published As

Publication number Publication date
BRPI0205954B1 (pt) 2018-03-20
EP2131591A1 (en) 2009-12-09
CN1777284B (zh) 2011-02-09
CN1223200C (zh) 2005-10-12
EP3490156A1 (en) 2019-05-29
US9602844B2 (en) 2017-03-21
KR20060004707A (ko) 2006-01-12
US20180027261A1 (en) 2018-01-25
US10595051B2 (en) 2020-03-17
EP1422944A4 (en) 2006-05-03
AU2005204229A1 (en) 2005-09-15
CA2426780A1 (en) 2003-04-23
CN1479999A (zh) 2004-03-03
WO2003021964A1 (en) 2003-03-13
EP3240196A1 (en) 2017-11-01
US9325988B2 (en) 2016-04-26
US9986264B2 (en) 2018-05-29
US7664182B2 (en) 2010-02-16
EP3490154A1 (en) 2019-05-29
CN1777284A (zh) 2006-05-24
US20180041780A1 (en) 2018-02-08
KR100588105B1 (ko) 2006-06-08
ES2655065T3 (es) 2018-02-16
US10405006B2 (en) 2019-09-03
US10015524B2 (en) 2018-07-03
US20170150184A1 (en) 2017-05-25
EP3490156B1 (en) 2020-09-30
ES2334894T4 (es) 2010-06-21
MXPA03003512A (es) 2003-10-07
EP2804325A1 (en) 2014-11-19
EP1422944A1 (en) 2004-05-26
US20180288445A1 (en) 2018-10-04
ES2829622T3 (es) 2021-06-01
ES2733117T3 (es) 2019-11-27
CA2426780C (en) 2007-11-27
US8040954B2 (en) 2011-10-18
US20180041781A1 (en) 2018-02-08
US20190313127A1 (en) 2019-10-10
EP3490155A1 (en) 2019-05-29
TR201909206T4 (tr) 2019-07-22
US20100111191A1 (en) 2010-05-06
US9986265B2 (en) 2018-05-29
EP1422944B1 (en) 2009-10-28
ES2834473T3 (es) 2021-06-17
US20040081241A1 (en) 2004-04-29
BR0205954A (pt) 2004-02-03
DE60234196D1 (de) 2009-12-10
EP2804325B1 (en) 2017-10-04
EP1422944B8 (en) 2010-02-17
US10602194B2 (en) 2020-03-24
ES2334894T3 (es) 2010-03-17
US8699579B2 (en) 2014-04-15
EP3490155B1 (en) 2020-09-30
US20080069241A1 (en) 2008-03-20
US9826255B2 (en) 2017-11-21
AU2005204229B2 (en) 2007-06-14
KR20030062323A (ko) 2003-07-23
US20160198196A1 (en) 2016-07-07
US20140177705A1 (en) 2014-06-26
ES2870967T3 (es) 2021-10-28
ATE447294T1 (de) 2009-11-15
US20190313128A1 (en) 2019-10-10
EP3490154B1 (en) 2021-03-17
EP3240196B1 (en) 2019-04-03

Similar Documents

Publication Publication Date Title
US10595051B2 (en) Picture coding apparatus that codes on a macroblock basis by performing a signal conversion process
JP4125565B2 (ja) 画像符号化方法、画像復号化方法及びその装置
US20140133549A1 (en) Picture coding method, picture decoding method, picture coding apparatus, picture decoding apparatus, and program thereof
JP4125739B2 (ja) 画像符号化方法、画像復号化方法及びその装置
US20040090554A1 (en) Picture coding method

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130603

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140603

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150529

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160517

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170522

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20180518

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20190516

Year of fee payment: 13