KR100545065B1 - 화상 복호화장치 - Google Patents

화상 복호화장치 Download PDF

Info

Publication number
KR100545065B1
KR100545065B1 KR1019980010440A KR19980010440A KR100545065B1 KR 100545065 B1 KR100545065 B1 KR 100545065B1 KR 1019980010440 A KR1019980010440 A KR 1019980010440A KR 19980010440 A KR19980010440 A KR 19980010440A KR 100545065 B1 KR100545065 B1 KR 100545065B1
Authority
KR
South Korea
Prior art keywords
image
unit
error
original
block
Prior art date
Application number
KR1019980010440A
Other languages
English (en)
Other versions
KR19980080690A (ko
Inventor
히데시 니시다
고조 기무라
마코토 히라이
토쿠조 기요하라
Original Assignee
마츠시타 덴끼 산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=13535759&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR100545065(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 마츠시타 덴끼 산교 가부시키가이샤 filed Critical 마츠시타 덴끼 산교 가부시키가이샤
Publication of KR19980080690A publication Critical patent/KR19980080690A/ko
Application granted granted Critical
Publication of KR100545065B1 publication Critical patent/KR100545065B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/507—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction using conditional replenishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 MPEG 등에 기초하여 능률이 높고 부호화된 동화상을 복호화하는 화상 복호화 장치에 관한 것이다.
비트 스트림 분해부(111)는 비트 스트림으로부터 블록마다 부호화 블록 패턴, 부호화 양자화 DCT 계수를 인출한다. 복호부(112)는 부호화 블록 패턴을 블록 패턴으로 복호하고, 부호화 양자화 DCT계수를 실행길이와 유효 계수값으로 복호한다. 역양자화 부(115)는, 실행길이와 유효 계수값으로부터 직교변환 계수를 생성한다. 역이산 코사인 변환부(116)는, 직교변환 계수로부터 차분 화상을 생성한다. 복호제어부(110)는 스킵하는 블록일 때는, 제 1 선택부(118)에 대하여, 제 1 정수 발생부(117)가 출력하는 「정수 0」을 요소로 하는 블록을 선택하도록 제어한다. 제 1 정수 발생부(117)는 「정수 0」을 각 요소로 하는 블록을 발생한다. 제 1 선택부(118)는 복호제어부(110)의 제어에 의해, 제 1 정수 발생부(117)가 출력하는 「정수 0」을 선택한다. 화상기억부(120)는 이미 복원된 복수의 참조 프레임 화상을 기억한다. 화상복원부(119)는 화상기억부(120) 내의 참조 프레임 화상 내에서 판독한 참조 단위화상과 복호한 차분 화상을 가산하여, 새롭게 단위화상을 생성한다.

Description

화상 복호화장치{IMAGE DECODING APPARATUS}
본 발명은, MPEG(Moving Picture Experts Group) 등에 기초하여 고능률 부호화된 동화상을 복호화하는 화상 복호화장치에 관한 것이다.
최근, MPEG을 비롯한 동화상을 고능률 부호화하여 압축하는 기술이 활발히 연구되어, 컴퓨터, 통신, 방송 등의 분야에서 사용되고 있다.
이 기술에 의하면, 동화상은 복수의 프레임 화상으로부터 구성되고, 각 프레임 화상은 복수의 블록으로 분할된다. 분할된 각 블록은, 통상 64개의 화소(8화소ㅧ 8화소)를 포함한다. 동화상은 각 프레임 화상 중의 각 블록마다, 예측 부호화되어, 직교변환의 일종인 이산 코사인 변환(DCT), 양자화, 가변길이 부호화 등의 처리를 거쳐 압축되어, 압축부호 열이 생성된다. 압축부호 열(비트 스트림)은, 가변길이 부호화의 역 처리(비트 스트림의 분해처리 및 복호처리), 역양자화 , 역DCT, 예측 부호화의 역 처리(화상의 복원처리)를 거쳐, 프레임 화상으로 복원된다.
다음으로, 예측부호화의 원리에 대하여, 「화상 데이터 압축의 기초지식」(인터페이스 1991년 12월 발행, CQ 출판사)에서 인용하여 설명한다. 예측부호화는, 전송을 마친 화소 값으로부터 현재의 화소 값을 예측하기 위하여, 실제 값과 예측 값의 차(예측 오차라 함)를 부호화하는 방법이다. 인접한 화소의 휘도 사이에는 강한 상관관계가 있다고 하는 화상신호 특유의 성질을 이용하고 있다.
도 1에 도시한 바와 같이, 화면의 왼쪽에서 오른쪽에 걸쳐, 점차 밝아지는 원 신호 Xi(1102)의 계열 「0 0 0 1 0 3 1 0 1 1 ···」(1112)을 생각하여 보자. 여기에서, 화소번호 i(ll01)는, 원 신호 Xi(1102)가 출현하는 순서로 흔들린 번호를 나타내고, 원 신호Xi(1102)는, 0∼15의 16값의 휘도 값을 가지는 화소이다. 이 원 신호 Xi(1102)의 계열(1112)을 보면, 서로 이웃하는 화소 값은 그다지 크게 변화하지 않는 것을 알 수 있다. 따라서, 이 성질을 이용하면, 원 신호Xi(1102)의 계열(1112)의 수신자는, 어떤 원 신호Xi(1102)를 수취했을 때, 다음 값이 어떤 값인가를 대충 예상할 수 있다. 그러므로, 송신자는 수신자의 입장에서, 최초의 원 신호X1을 수신측에 송신하면, 수신자는 다음의 원 신호 X2에 대하여, 원 신호 X1과 같은 값이 올 것이라는 예측을 하고 있다고 생각하여, 예측 값(이 경우 Yl)과 실제 값 X2의 차 D2=X2-Y1을 전송하게 한다. 수신자는, 먼저 송신되어 온 신호 X1에, 이번에 송신된 신호 D2를 가산함으로써, X2의 실제 값을 알 수 있다.
송신자는, 원 신호 Xi(1102)의 1개전에 출현하는 원 신호 Xi-i를 예측 값 Yi(1103)으로 하고(Yi=Xi-i), 예측 값 Yi(1103)과 실제 값 Xi(1102)의 차 Di(1104)를 산출하여(Di=Xi-Yi), 차 Di(1104)를 송신 값 Ti(1105)으로 하고, 송신 값 Ti(1105)을 수신자에게 전송로(1106)를 경유하여 송신한다. 수신자는, 송신 값 Ti(1105)을 수신 값 Ri(1107)로서 수신하고(Ri=Ti), 수신 값 Ri(1107)에 1개전의 복호 값 Zi-1을 가산하여 현재의 복호 값 Zi(1108)를 생성하는 (Zi=Zi-1+Ri). 이렇게 해서, 복호값 열「0 0 0 1 0 3 1···」(1118)이 복원된다.
또, 현재의 원 신호 Xi의 1개전에 출현하는 원 신호 Xi-1을 참조 화소라 한다.
이 방법은, 직전의 1화소를 그대로 예측 값으로 하는 가장 간단한 방식이다. 이와 같은 직전의 화소를 이용한 예측부호화를 순방향 예측부호화라 한다. 또한, 직후의 화소를 이용한 예측부호화를 역방향 예측부호화라고 하고, 직전 및 직후의 화소를 이용한 예측부호화를 쌍방향 예측부호화라고 한다.
또, 1개의 프레임 화상 내에서 인접한 복수의 화소에 대하여, 상기의 예측부호화를 적용하는 경우를 프레임 화상 내 예측부호화라고 하고, 동화상을 구성하는 복수의 프레임 화상 사이에서, 상기의 예측부호화를 적용하는 경우를 프레임 화상 간 예측부호화라고 한다.
상기의 원리 설명에서는, 1화소마다 예측부호화를 행하고 있지만, 보통 8화소ㅧ 8화소로 구성되는 블록마다 예측부호화를 행한다. 이 경우, 1 개의 블록과 비교되는 1개 앞의 블록(참조블록이라 함)이 완전히 같은 경우는, 64개의 화소 값 0을 송신하지 않고, 앞의 블록과 같은 것을 나타내는 정보를 송신하면, 송신하는 정보의 양을 적게 할 수 있다.
도 2는, 동화상 압축기술을 이용하여 동화상을 압축부호화하여 생성된 압축부호 열의 계층구성을 도시하고 있다. 1개의 동화상 데이터에 대응하는 압축부호 열(1211)은, 이 도면의 시퀀스층(1201)에 도시한 바와 같이, 복수의 GOP(Group of Picture)(1212)로 분할되어, 각각의 GOP(1212)에 시퀀스층의 개시를 나타내는 시퀀스 헤더 코드(Sequence Header Code, SHC) 등의 정보를 부가하여 전송된다. 각 GOP(1212)는, GOP층(1202)에 도시한 바와 같이, GOP의 개시 코드를 나타내는 그룹 개시 코드(Group Start Code, GSC) 등의 정보와, 복수의 I픽처(1221), B픽처(1222), P픽처(1223)로 이루어진다.
I픽처(1221), B픽처(1222), P픽처(1223)는, 각각 1개의 프레임 화상에 해당한다.
I픽처는 프레임 화상 내 부호화 화상이라 하고, 다른 프레임 화상과의 차분을 취하지 않고, 그 프레임 화상만을 이용하여 부호화되어 있다. P픽처는 프레임 화상간 순방향 예측부호화 화상이라 하고, 순방향 예측 부호화에 의해, 프레임 화상이 예측 부호화되어, 어떤 화소의 화소 값을 앞(과거)의 프레임 화상 내의 대응하는 화소의 화소 값과의 차분을 이용하여 나타내고 있다. B픽처는 프레임 화상간 쌍방향 예측 부호화 화상이라 하고, 쌍방향 예측부호화에 의해, 프레임 화상이 예측 부호화되어, 어떤 화소의 화소 값을 과거의 프레임과 미래의 프레임 화상의 쌍방의 프레임 화상 내의 대응하는 화소의 화소 값과의 차분을 이용하여 나타내고 있다. 이 때문에, B픽처의 복호화에는, 그 전후의 프레임 화상을 복호변환 후에 행하게 된다. 마찬가지로 P픽처를 복호화하기 위해서는 그 전의 I픽처, P픽처가 복호화되어 있을 필요가 있다.
각 픽처는, 픽처층(1203)에 도시한 바와 같이, 픽처층의 개시를 나타내는 픽처 개시 코드(Picture Start Code, PSC)(1233), I픽처, B픽처, P픽처 등의 픽처타입을 나타내는 픽처 코딩 타입(Picture Coding Type, PCT)(1232) 등의 정보와, 복수의 슬라이스(1231)로 이루어진다.
슬라이스(1231)는 프레임 화상 내의 가로 1열의 화상에 해당한다.
각 슬라이스(1231)는, 슬라이스층(1204)에 도시한 바와 같이, 슬라이스층의 개시를 나타내는 슬라이스 개시 코드(Slice Start Code, SSC) 등의 정보와, 복수의 매크로 블록(Macro Block, MB)(1241)으로 이루어진다.
각 매크로 블록(1241)은, 매크로 블록층(1205)에 도시한 바와 같이, 내측, 순방향 예측, 역방향 예측, 쌍방향 예측 등의 매크로 블록의 타입을 나타내는 부호화된 매크로 블록 타입(Macro Block Type, MTB)(1615), 매크로 블록(1241)의 순방향 움직임벡터(Motion Vector)의 수평성분과 수직성분을 각각 나타내는 MHF(Motion Horizontal Forward Code)(1252), MVF(Motion Vertical Forward Code)(1253), 매크로 블록(1241)의 역방향 움직임벡터의 수평성분과 수직성분을 각각 나타내는 MHB(Motion Horizontal Backward Code)(1254), MVB(Motion Vertical Backward Code)(1255), 매크로 블록(1241) 내의 6개의 블록의 패턴을 나타내는 코드 블록 패턴(CBP)(1256) 등의 정보와, 복수의 블록(Block, B)(1251)으로 이루어진다.
상기 복수의 블록(1251)은, 통상 6개의 블록(1261, 1262, 1263, 1264, 1265, 1266)으로 이루어진다. 블록(1261, 1262,1263, 1264)은, 휘도를 나타내는 성분으로 이루어지고, 블록(1265, 1266)은 색차를 나타내는 성분으로 이루어진다.
각 블록(1271)은, 통상 화소(1272)를 세로방향으로 8개, 가로방향으로 8개씩 나열하여 구성되고, 합계 64개의 화소(1272)로 구성된다.
CBP(Coded Block Pattern)(1256)(이하, 종래의 기술에서는, 블록 패턴이라 함)는, B픽처, P픽처 내의 매크로 블록에 관하여, 매크로 블록을 구성하는 6개의 블록 중 어느 1개가 앞의 프레임 또는 전후 2프레임이 대응하는 매크로 블록에 대하여 차분을 발생시키는가를 패턴별로 나타낸 것이다.
각 블록의 화소 값은, I픽처의 매크로 블록의 경우, 매크로 블록을 구성하는 6 블록 분을 포함하고 있지만, P픽처, B픽처의 매크로 블록의 경우에는, 상기 블록 패턴에 의해 다른 프레임이 대응하는 매크로 블록의 화상에 대하여 차분을 발생시키는 표시되는 블록만의 화소 값으로 된다. 또한, 당연하지만 P픽처, B픽처의 매크로 블록에서 다른 프레임이 대응하는 매크로 블록과의 사이에서 6 블록의 어느 하나도 차분이 없는 경우는, 그 매크로 블록에 대해서는 화소 값은 포함되지 않는다.
이와 같이, 화소 값이 포함되지 않은 블록을 스킵하는 블록(스킵 블록)이라 한다.
I픽처는 스킵되지 않은 블록으로 구성되고, P픽처 또는 B픽처는 스킵하는 블록과 스킵하지 않는 블록으로 구성된다. 매크로 블록에 관해서도 마찬가지이다.
종래의 화상 복호화장치에서는, 부호화된 화소를 복호하는 복호부와, P픽처, B픽처의 매크로 블록의 경우 화소성분을 포함하지 않은 경우 화소 값 0을 요소로 하는 블록을 발생하는 상수발생부가 병렬로 설정되어, 화소를 포함하는 정보를 복호하는 경우는 상기 복호부에 의해 부호를 복호화하여 양자화 직교변환 계수를 생성하고, P픽처 또는 B픽처로 화소를 포함하지 않은 정보를 복호하는 경우는, 상기 상수발생부에서 화소 값 0을 요소로 하는 블록을 생성한다. 계속해서, 생성된 양자화 직교변환 계수 및 화소 값 0을 요소로 하는 블록을, 역양자화 부에 의해 역양자화 하여, 직교변환 계수를 생성하고, 생성된 직교변환 계수를 역이산 코사인변환부에 의해 역이산 코사인 변환하여 화상을 생성한다.
또한, 부호화된 데이터가 전송되는 경우 등에, 데이터의 결락이나 문제가 발생한 경우에 이러한 데이터를 복호하면, 가변길이 부호가 복호표에 존재하지 않는 부호화의 오류가 발생하거나, 움직임벡터의 값이 미리 정해진 규정범위 외의 값이거나, 움직임벡터의 값이 참조 화상 외를 가리키지 않는다.
이러한 에러가 발생하는 경우도, 상기 상수발생으로부터 화소 값 0을 요소로 하는 블록을 생성한다. 계속해서, 생성된 화소 값 0을 요소로 하는 블록을 역양자화부에 의해 역양자화 하여, 얻어진 계수를 역이산 코사인 변환부에 의해 역이산 코사인 변환하여 화상을 생성하여, 에러가 발생한 화상을 대신한다.
도 4에는, 종래의 화상 복호화장치의 블록마다의 시간경과에 따른 처리의 추이를 타이밍도로 나타낸다. 세로방향으로 비트 스트림 분해처리(C401), 복호처리 (C402), 상수발생처리(C403), 역양자화 처리 및 역이산 코사인 변환처리(C404), 화상 복원처리(C405)의 각 처리를 열거하고, 가로방향으로 시간을 취한다. 화소를 포함하는 블록(Bl0), 스킵하는 블록(Bl1), 화소를 포함하는 블록(B12), 에러 블록(B13), 화소를 포함하는 블록(B14)이 이 순서로 종래의 화상 복호화장치를 흐르는 것으로 하여, C30∼C33, C34∼C37, C38∼C41, C42∼C45, C46∼C49는, 각각 블록(Bl0, B11, B12, B13, B14)의 상기 각 처리부마다의 처리를 나타낸다.
각 블록마다의 처리는, C30, C31, C32, C33, C34, C35, C36, C37, C38, C39, C40, C41, C42, C43, C44, C45, C46, C47, C48, C49의 순서로 동작한다.
이와 같이 종래의 화상 복호화장치에서는, 부호화된 화소를 복호하는 경우와, P픽처, B픽처의 매크로 블록의 경우 화소성분을 포함하지 않은 경우에 있어서, 역양자화 부와 역이산 코사인변환부를 공통으로 이용할 수 있다. 또한, 에러가 발생한 경우도, 역양자화 부와 역이산 코사인 변환부를 공통으로 이용할 수 있다.
그러나, 상기 종래의 화상 복호화장치는, 복호 중인 블록이 P픽처 또는 B픽처에 포함되어, 스킵하는 블록인 경우, 또는 복호 중의 블록에 있어서 에러가 발생한 경우, 장치의 공통화를 행할 수 있지만, 한편으로 화소 값 0을 화소로 하는 블록을, 역양자화 프로세스 및 역이산 코사인변환 프로세스에 통과시키기 때문에, 본래 필요하지 않은 처리가 행해져, 처리속도가 저하되는 문제점이 있다.
또한, 움직임벡터의 에러가 발생한 경우는, 에러 발생시의 화상 복호처리가 종료한 후에, 당해 복호 중의 에러가 포함되는 블록을 포함하는 슬라이스를 스킵하고, 다음 슬라이스의 선두를 검출하는 처리를 행해야 한다. 이것은, 에러가 발생하지 않으면, 원래 필요하지 않은 처리이고, 처리속도가 저하되는 문제점이 있다.
또, 상기 종래 기술에 있어서는, 블록 단위로 처리를 행하는 경우의 문제점을 지적하였지만, 처리의 단위 화상을 매크로 블록으로 한 경우에도, 동일한 문제점이 존재한다. 여기에서 단위 화상은, 본 명세서에서는, 비트 스트림의 분해처리에 의해 부호 열이 분해되는 최소의 단위 화상과, 화상 복원처리에 의해 예측부호화의 역 처리를 행하는 경우의 최소의 단위 화상의 2개를 나타낸다. 단, 양자를 구별하기 위해서, 단지 「단위화상」이라고 하는 경우는 전자의 분해 최소단위 화상이고, 후자의 단위 화상은「복원 단위화상」이라 한다. 이와 관련하여, 상기 종래 기술에 있어서, 「단위화상」, 「복원 단위화상」도 모두 블록이다.
본 발명은, 종래의 화상 복호화장치의 불필요한 처리를 회피하고, 고속처리가 가능하며, 또한 고기능을 갖는 화상 복호화장치를 제공하는 것을 목적으로 한다.
구체적으로는, 본 발명은 스킵하는 단위화상이 존재할 경우 화상복호처리의 고속화를 도모하는 것을 제 1 목적으로 한다.
또한, 본 발명은 복호하는 단위화상에 에러가 발생할 경우, 화상복호의 처리속도의 저하를 회피하는 것을 제 2 목적으로 한다.
또, 본 발명은 복호하는 단위화상에 에러가 발생할 경우, 바람직한 대체화상을 생성하는 것을 제 3 목적으로 한다.
상기 제 1의 목적을 달성하는 화상 복호화장치는, 청구항 1에 기재된 바와 같다.
이 구성에 의하면, 복호 중인 단위화상이 P픽처 또는 B픽처의 일부분이고, 스킵할 단위화상인 경우, 제 1 상수 발생수단에 의해 발생된 화소 값 0을 화소로 하는 단위화상을 선택하고, I픽처의 단위화상과 같이 스킵하지 않은 단위화상인 경우, 화상 복호수단에 의해 복호된 단위화상을 선택하여, 선택된 단위화상과 이미 복호된 참조 단위화상을 가산하여, 단위화상을 복원한다. 이렇게 하여, 원래 불필요한 화소 값 0을 요소로 하는 단위화상을 화상복호하는 처리가 적어지고, 단위화상이 복원된다. 이에 따라 단위화상의 복원시간의 단축을 도모할 수 있다.
여기에서, 상기 화상 복호화장치는, 청구항 16에 기재된 바와 같이 구성할 수 있다.
이 구성에 의하면, 복호 중의 단위화상이 P픽처 또는 B픽처의 일부분이고, 스킵할 단위화상인 경우, 매크로 블록에 포함되는 적어도 1개의 블록이 화소를 포함할 때, 화소를 포함하지 않은 블록에서는, 제 2 선택수단이 제 2 상수 발생수단이 발생하는 제 4 상수를 선택하고, 매크로 블록에 포함되는 모든 블록이 스킵하는 블록일 때, 제 1 화상 선택수단은, 제 1 상수 발생수단이 발생하는 제 3 상수를 선택하기 때문에, 모든 블록이 스킵하는 블록인 매크로 블록과 적어도 1개의 스킵하지 않은 블록을 포함하는 매크로 블록을 복호화하는 경우 대하여, 종래와 비교하여 단위화상의 복원시간의 단축을 도모할 수 있다.
여기에서, 상기 화상 복호화장치는, 청구항 8 또는 청구항 9에 기재된 바와 같이 구성할 수 있고, 상기 제 2 목적을 달성할 수 있다.
이 구성에 의하면, 단위화상의 복호화시에 에러가 발생한 경우, 또는 선택된 단위화상과 화상 기억수단으로부터 판독한 참조 단위화상을 가산하여, 단위화상을 복원할 때 에러가 발생한 경우, 에러가 발생한 단위화상의 복호를 중지하고, 에러가 발생한 단위화상 대신에, 화상기억부에 기억되어 있는 단위화상을 이용하여, 단위화상을 복원하는 동시에, 분해수단에 다음 단위화상에 대응하는 동이정보의 취득을 개시하므로, 단위화상의 복원시간의 단축을 도모할 수 있다.
예를 들면, 움직임벡터가 참조 프레임 화상의 영역 외를 지시하는 움직임벡터 에러가 발생한 경우는, 화상 기억수단에 기억된 참조 프레임 화상을 기초로 복원 단위화상을 복원하는 보상처리를 실행하는 동시에, 당해 복호 중의 단위화상이 포함되는 슬라이스를 스킵하고, 다음 슬라이스의 검출을 개시한다. 이 병행처리에 의해 처리시간을 단축할 수 있다.
즉, 단위화상에 에러가 발생하여, 에러의 보상처리를 하는 경우, 「에러보상 개시」부터 「다음 슬라이스의 검출처리완료」까지의 시간은, 종래는 「에러보상 처리시간」과 「다음 슬라이스 검출시간」을 가산한 시간이지만, 본 발명에 의한 화상 복호화장치에서는, 「에러보상 처리시간」 또는「다음 슬라이스 검출시간」의 느린 쪽의 시간이 된다. 이와 같이, 에러가 발생한 경우의 처리시간을 단축할 수 있다.
여기에서, 상기 화상 복호화장치는, 청구항 10에 기재된 바와 같이 구성할 수 있고, 상기 제 3 목적을 달성할 수 있다.
이 구성에 의하면, 프레임 화상의 복원을 개시하기 전, 참조 프레임 화상을 판독하고, 판독한 참조 프레임 화상을 장래에 복원하는 프레임 화상으로서 화상기억부에 기입하고, 단위화상이 복원된 경우에는 복호된 단위화상을 기입하고, 에러가 발생한 경우는, 에러가 발생한 단위화상 대신의 대체 단위화상의 기입을 억제하므로, 적극적으로 에러 보상처리를 하지 않고, 에러가 발생한 단위화상 대신에, 참조 프레임 화상을 이용하여 단위화상을 복원시킬 수 있다.
여기에서, 상기 화상 복호화장치는, 청구항 11에 기재된 바와 같이 구성할 수 있고, 상기 제 3 목적을 달성할 수 있다.
이 구성에 의하면, 에러가 발생한 경우는, 1개 앞에 복원된 프레임 화상을 이용하여, 단위화상을 복원시킬 수 있다.
또한, 상기 화상 복호화장치는, 청구항 17에 기재된 바와 같이 구성할 수 있다.
이 구성에 의하면, 분해수단과 부호 열 복호수단과 제 2 상수 발생수단 및 제 2 선택수단을 정리하여 제 1 처리수단, 역양자화 수단과 역이산 코사인변환수단을 제 2 처리수단, 제 1 상수 발생수단과 제 1 화상 선택수단과 화상 기억수단과 화상 복원수단을 정리하여 제 3 처리수단으로 하고, 제 1 처리수단과 제 2 처리수단의 사이에 제 1 기억수단이, 제 2 처리수단과 제 3 처리수단의 사이에 제 2 기억수단이 설정되고, 제 1 처리수단과 제 2 처리수단과 제 3 처리수단을 파이프라인 제어하기 때문에, 다른 단위화상에 대하여, 제 1 처리수단, 제 2 처리수단, 제 3 처리수단을 병행하여 동작시킬 수 있고, 또한 처리시간을 단축할 수 있게 된다.
이상과 같이, 본 발명에 의한 화상 복호화장치에서는, 스킵하는 블록, 에러가 포함되는 블록이 발생하는 경우 처리의 고속화를 실현할 수 있고, 그 실용적 효과는 크다.
상술한 목적 및 기타의 목적과 본 발명의 특징 및 이점은 첨부도면과 관련한 다음의 상세한 설명을 통해 보다 분명해질 것이다.
( 실시예 )
1. 제 1 실시예
이하, 본 발명에 관한 제 1 실시예로서의 화상 복호화장치에 대하여 설명하기로 한다.
1. 1 화상 복호화장치의 개략구성
도 5는, 본 발명의 제 1 실시예로서의 화상 복호화장치의 개략구성을 도시한 블록도이다.
이 화상 복호화장치는, 복호제어부(110), 비트 스트림 분해부(111), 복호부(112), 제 2 상수발생부(113), 제 2 선택부(114), 역양자화 부(115), 역이산 코사인변환부(116), 제 1 상수발생부(117), 제 1 선택부(118), 화상복원부(119) 및 화상기억부(120)로 구성된다.
또, 이 도면의 화상 복호화장치의 처리의 단위화상은 블록이다.
이하에, 이 화상 복호화장치의 각 구성부에 대하여 설명한다.
(1) 비트 스트림분해부(111)
비트 스트림분해부(111)는 시리얼에 입력된 비트 스트림(1601)을 해석하여, GOP의 선두, 픽처의 선두, 슬라이스의 선두, 매크로 블록(MB)의 선두, 블록의 선두를 검출한다. 또한, 비트 스트림 분해부(111)는, 비트 스트림(1601)으로부터, 부호화 픽처타입(1611)(I픽처, P픽처, B픽처별을 나타냄), 부호화 매크로 블록 타입(1615), 부호화 블록 패턴(1614), 부호화 움직임벡터(1612), 부호화 양자화 DCT 계수(1613)를 인출하고, 인출한 부호화 픽처타입(1611), 부호화 매크로 블록 타입(1615), 부호화 블록 패턴(1614), 부호화 움직임벡터(1612), 부호화 양자화 DCT 계수(1613)를 복호부(112)로 출력한다.
또한, 비트 스트림 분해부(111)는, 복호제어부(110)로부터, 부호화의 오류(1602), 규정범위 외(1603) 또는 움직임벡터 에러(1604)를 수취한다. 비트 스트림 분해부(111)는 복호제어부(110)로부터 부호화의 오류(1602), 규정범위 외(1603) 또는 움직임벡터 에러(1604)를 수취하면, 현재 분해 중인 슬라이스를 스킵하고, 다음 슬라이스의 검출을 개시한다.
비트 스트림 분해부(111)는, 비트 스트림(1601)으로부터, 종료코드를 검출하면, 비트 스트림 분해부(111)는 비트 스트림(1601)의 분해처리를 종료한다.
(2) 복호부(112)
복호부(112)는 부호화 픽처타입(1611), 부호화 매크로 블록 타입(1615), 부호화 블록 패턴(1614), 부호화 움직임벡터(1612), 부호화 양자화 DCT 계수(1613)를 비트 스트림 분해부(111)로부터 수취한다.
복호부(112)는, 부호화 픽처타입(1611), 부호화 매크로 블록 타입(1615), 부호화 블록 패턴(1614), 부호화 움직임벡터(1612), 부호화 양자화 DCT 계수(1613)를 복호하기 위한 복호표를 갖고 있다.
복호부(112)는 수취한 부호화 픽처타입(1611), 부호화 매크로 블록 타입(1615), 부호화 블록 패턴(1614), 부호화 움직임벡터(1612)를 상기 복호표를 이용하여 복호하고, 각각 픽처타입(1623), 매크로 블록 타입(1628), 블록 패턴(1624), 움직임벡터(1625)를 생성하여, 생성된 픽처타입(1623), 매크로 블록 타입(1628), 블록 패턴(1624), 움직임벡터(1625)를 복호제어부(110)로 통지한다.
복호부(112)는, 수취한 부호화 양자화 DCT 계수(1613)로부터 실행길이(1621)와 유효 계수값(1631)으로 이루어지는 적어도 1 쌍을 상기 복호표를 이용하여 복호하고, 복호된 실행길이(1621)를 복호제어부(110)로 송신하며, 복호된 유효 계수값(1631)을 제 2 선택부(114)로 출력한다.
수취한 부호화 픽처 타입(1611), 부호화 매크로 블록 타입(1615), 부호화 블록 패턴(1614), 부호화 움직임벡터(1612), 부호화 양자화 DCT 계수(1613)의 복호 중에, 복호부(112)는, 수취한 부호화 픽처 타입(1611), 부호화 매크로 블록 타입(1615), 부호화 블록 패턴(1614), 부호화 움직임벡터(1612), 부호화 양자화 DCT 계수(1613)가 상기 복호표에 존재하지 않는 것을 검출하였을 때는, 복호부(112)는 부호화의 오류(1602)로 판단하여, 부호화의 오류(1602)를 복호제어부(110)에 통지한다.
(3) 제 2 상수발생부(113)
제 2 상수발생부(113)는, 「상수 0」(1632)을 발생한다.
(4) 복호제어부(110)
복호제어부(110)는, 복호부(112)로부터 부호화의 오류(1602), 실행길이(1621), 픽처타입(1623), 매크로 블록 타입(1628), 블록 패턴(1624), 움직임벡터(1625)를 수취, 화상복원부(119)로부터 움직임벡터 에러(1604)를 수취한다.
복호제어부(110)는 복호부(112)로부터 통지된 움직임벡터(1625)가 미리 정해진 규정범위 외의 값이면, 규정범위 외의 에러로 판단한다.
또, 부호화의 오류와 규정범위 외는, 압축부호 열이 규정 외인 것을 나타내는 에러이다.
복호제어부(110)가 복호부(112)로부터 부호화의 오류(1602)를 수취한 경우, 또는 복호제어부(110)가 규정범위 외(1603)의 에러를 인식한 경우, 복호제어부(110)는 비트 스트림 분해부(111) 및 화상복원부(119)에, 각각 부호화의 오류(1602) 또는 규정범위 외(1603)를 통지한다.
또한, 복호제어부(110)가 움직임벡터 에러(1604)를 화상복원부(119)로부터 통지받으면, 움직임벡터 에러(1604)를 비트 스트림 분해부(111)에 통지한다.
복호제어부(110)는 복호부(112)로부터 수신한 움직임벡터(1625)를 화상복원부(119)에 통지한다.
또한, 부호화 양자화 DCT 계수(1613)가 양자화 DCT 계수(1641)로 변환될 때, 복호제어부(110)는 제 2 선택부(114)를 다음과 같이 제어한다.
도 3은 블록 패턴의 패턴예를 게시하고 있다. 도면 중 사선을 이룬 부분이 앞의 프레임 또는 전후 2프레임의 대응하는 매크로 블록에 대하여 차분을 발생시키고 있는 블록이다. 상기 도 3에 도시한 바와 같이, 블록 패턴(327)은, 매크로 블록에 포함되는 각 블록이 앞의 프레임 또는 전후 2프레임에 대하여 차분을 발생시키는지의 여부를 패턴(326)별로 표현하고 있으므로, 패턴(326)을 참조하면, 각 블록이 차분을 포함하는지의 여부를 알 수 있다. 복호제어부(110)는, 블록 패턴(324)과, 패턴(326)을 대응시켜 패턴대응 정보표(327)로서 기억하고 있다. 복호 제어부(110)는, 패턴대응 정보표(327)로부터 블록 패턴(1624)을 이용하여, 패턴(1626) 중의 1개의 패턴을 특정한다. 다음으로, 복호제어부(110)는, 특정된 패턴을 이용하여, 당해 복호 중의 블록이 차분이 있는 블록인지의 여부를 판단하고, 복호제어부(110)는, 블록 차분 플래그라는 플래그를 설치하여, 차분이 있는 블록일 때는 블록 차분 플래그에 1의 값을 세트하고, 차분이 없는 블록일 때는 블록 차분 플래그에 O의 값을 세트한다.
복호제어부(110)는, 블록 차분 플래그가 1일 때는, 제 2 선택부(114)에 대하여, 상기 수취한 실행길이(1621)의 수만을 제 2 상수발생부(113)가 출력하는 「상수 0」(1632)을 선택하도록 선택지시(1633)를 출력하여, 그 후, 복호부(112)가 출력하는 유효 계수값(1631)을 선택하도록 제어한다.
복호제어부(110)는, 블록 차분 플래그가 O일 때는, 즉 스킵하는 블록일 때는, 제 1 선택부(118)에 대하여 제 1 상수발생부(117)의 출력인 「상수 0」(1632)을 64개분 선택하도록 선택지시(1712)를 출력한다.
이렇게 하여, 선택된 유효 계수값(1631)과 「상수 0」(1632)을 합한 양자화 DCT 계수(1641)가 생성된다.
또, 복호제어부(110)는, 수취한 매크로 블록(1628)을 이용하여, 복호 중의 매크로 블록의 프레임 화상의 예측부호화 처리방법을 특정한다. 매크로 블록 타입(1628)에는, 예측부호화 처리방법으로서, 순방향 예측부호화, 역방향 예측부호화, 쌍방향 예측부호화 또는 프레임 내 부호화의 각 타입이 포함된다. 복호제어부(110)는, 매크로 블록 타입(1628)이 순방향 예측부호화, 역방향 예측부호화 또는 쌍방향 예측부호화의 경우, 적어도 1개의 각 블록이 차분을 포함하는 것으로 인식하여, 상기의 제 2 선택부(114)에 대한 제어를 행한다.
(5) 제 2 선택부(114)
제 2 선택부(114)는, 복호제어부(110)로부터 선택지시(1633)를 받아, 복호부(112)가 출력하는 유효 계수값(1631) 또는 제 2 상수발생부(113)가 출력하는 「상수 0」(1632)을 선택한다. 이렇게 하여, 선택된 유효 계수값(1631)과 「상수 0」(1632)이 합쳐져, 양자화 DCT 계수(1641)가 생성된다. 생성된 양자화 DCT 계수(1641)는 역양자화부(115)로 출력된다.
또, 제 2 선택부(114)는, 제 2 상수발생부(113)가 출력하는 「상수 0」(1632)을 선택할 때, 복호제어부(110)로부터 출력하는 「상수 0」(1632)의 수의 지정과 선택지시(1633)를 받아, 지정된 수만큼의「상수 0」(1632)을 선택한다.
(6) 역양자화 부(115)
역양자화부(115)는, 제 2 선택부(114)로부터 출력된 양자화 DCT 계수(1641)를 역양자화하여 DCT 계수(1651)를 생성하고, 생성된 DCT 계수(1651)를 역이산 코사인변환부(116)로 출력한다.
(7) 역이산 코사인변환부(116)
역이산 코사인변환부(116)는, 역양자화 부(115)로부터 출력된 DCT 계수(1651)를 역이산 코사인 변환하여, 복원 단위화상(1661)을 생성하여, 생성된 복원 단위화상(1661)을 제 1 선택부(118)로 출력한다.
(8) 제 1 상수발생부(117)
제 1 상수발생부(117)는, 스킵하는 블록이 존재할 때, 화소 데이터 대신에「상수 0」(1662)을 각 요소로 하는 블록을 제 1 선택부(118)의 선택에 의해 화상복원부(119)로 출력한다.
(9) 제 1 선택부(118)
제 1 선택부(118)는, 복호제어부(110)로부터 선택지시(1712)를 받아, 역이산 코사인변환부(116)가 출력하는 복원 단위화상(1661), 또는 제 1 상수발생부(117)가 출력하는 「상수 0」(1662)을 선택한다. 다음으로, 제 1 선택부(118)는, 선택된 「상수 0」(1662) 및 선택된 복원 단위화상(1661)을 화상복원부(119)로 출력한다.
복원 단위화상(1661)과 「상수 0」(1662)을 합해서, 통합 단위화상(1663)이라 한다.
또, 제 1 선택부(118)는, 제 1 상수발생부(117)가 출력하는 「상수 0」(1662)을 선택할 때, 복호제어부(110)로부터 출력되는 선택지시(1712)와 함께 「상수 0」(1662)의 수로서 「64」의 값의 지정을 받아, 지정된 64개만큼의 「상수 0」(1662)을 선택한다.
(10) 화상기억부(120)
화상기억부(120)는, 복호 중의 프레임 화상(1692) 및 이미 복원된 복수의 참조 프레임 화상(1691)을 기억한다.
(11) 화상복원부(119)
화상복원부(119)는, 복호제어부(110)로부터 움직임벡터(1625), 픽처타입(1623), 매크로 블록 타입(1628), 부호화의 오류(1602) 및 규정범위 외(1603)를 통지받고, 또한 제 1 선택부(118)로부터 「상수 0」(1662) 및 복원 단위화상(1661)을 수취한다.
화상복원부(119)는, 통지된 매크로 블록 타입(1628)을 이용하여, 복호 중의 블록이 내측 매크로 블록, 순방향, 역방향 예측 매크로 블록 중 어느 1개의 매크로 블록에 포함되는 블록으로 판단한다.
화상복원부(119)는, 당해 복호 중의 블록으로 이루어지는 통합 단위화상(1663)이 I픽처의 일부분인 경우는, 당해 복호 중의 블록으로 이루어지는 복원 단위화상(1661)을 화상기억부(120) 내의 복호 중의 프레임 화상(1692)에 그대로 기입한다. 당해 복호 중의 블록으로 이루어지는 통합 단위화상(1663)이 P픽처 또는 B픽처의 일부분인 경우는, 화상기억부(120) 내의 참조 프레임 화상(1691)으로부터, 당해 복호 중의 블록으로 이루어지는 통합 단위화상(1663)에 당해하는 블록인 참조 단위화상(1686)을 판독하여, 당해 복호 중의 블록으로 이루어지는 통합 단위화상(1663)과 상기 판독한 참조 단위화상(1686)을 가산하여 새롭게 블록으로 이루어지는 합성 단위화상(1687)을 생성하여, 생성된 합성 단위화상(1687)을 화상기억부(120) 내의 복호 중의 프레임 화상(1692)에 기입한다.
또, 화상복원부(119)는, 참조 프레임 화상(1691) 중에서, 움직임벡터(1625)가 지시하는 위치의 복원 단위화상을 참조 단위화상(1686)으로 한다. 움직임벡터에 의해, 참조 프레임 화상 중의 단위화상을 결정하여, 차분 화상으로 가산함으로써, 복원 단위화상을 생성하는 처리는 작동 보상처리라고 한다.
당해 복호 중의 블록으로 이루어지는 통합 단위화상(1663)이 P픽처 또는 B픽처인 경우, 상기 통지된 당해 복호 중의 통합 단위화상(1663)의 움직임벡터(1625)가 화상기억부(120) 내의 참조 프레임 화상(1691)의 외를 가리키는 값일 때는, 화상복원부(119)는 움직임벡터 에러(1604)로 판단한다.
화상복원부(119)가 움직임벡터 에러(1604)가 존재한다고 판단한 경우, 움직임벡터(1625)는 앞의 매크로 블록의 움직임벡터와의 차분으로 표현되어 있으므로, 화상복원부(119)는, 당해 슬라이스 중의 이 블록 이후의 움직임벡터를 정확하게 복원할 수 없다. 이 때문에, 화상복원부(119)는, 당해 복호 중의 블록이 포함되는 슬라이스 중, 당해 복호 중의 블록 이후의 화상의 복호화를 중지한다. 그 대신, 화상복원부(119)는, 당해 복호 중의 프레임 화상(1692) 내의 제 1 슬라이스에 포함되는 제 1 블록과 같은 위치에 있는 참조 프레임 화상(1691) 내의 제 2 슬라이스에 포함되는 제 2 블록 이후의 화상을 판독하고, 판독한 상기 제 2 블록 이후의 화상을 화상기억부(120) 내의 복호 중의 프레임 화상(1692)에 기입한다. 이 처리를, 에러 발생시의 화상보상처리라 한다. 또, 에러 발생시의 화상보상처리의 상세한 사항은 후술하기로 한다.
화상복원부(119)가 부호화의 오류(1602) 및 규정범위 외(1603)를 통지받은 경우, 이들 에러가 발생한 블록의 화상은 복호화할 수 없다. 그 대신, 움직임벡터 에러(1604)의 경우와 같이, 화상복원부(1191), 당해 복호 중의 프레임 화상(1692) 내의 제 1 슬라이스에 포함되는 제 1 블록과 같은 위치에 있는 참조 프레임 화상 내의 제 2 슬라이스에 포함되는 제 2 블록 이후의 화상을 판독하고, 판독한 상기 제 2 블록 이후의 화상을 화상기억부(120) 내의 복호 중의 프레임 화상(1692)에 기입한다.
또, 에러가 발생한 블록 대신에, 참조 프레임 화상(1691) 내에서 판독하고, 복호 중의 프레임 화상(1692)에 기입한 단위화상을 대체 단위화상이라 한다.
화상복원부(119)는, 움직임벡터 에러(1604)를 복호제어부(110)로 통지한다.
1. 2 화상 복호화장치의 데이터의 흐름
다음으로, 도 5에 나타내는 화상 복호화장치의 데이터의 흐름에 대하여, 도 6 및 도 7을 참조하면서 설명한다. 또, 도 6 및 도 7에 있어서, 한 겹으로 둘러싸인 상자는, 도 5에 도시한 화상 복호화장치의 구성요소를 나타내고, 이중으로 둘러싸인 상자는, 각 구성요소 사이에서 주고받는 데이터를 나타내고 있다.
비트 스트림(1601)은, 외부로부터 비트 스트림 분해부(111)로 출력된다.
부호화의 오류(1602), 규정범위 외(1603), 움직임벡터 에러(1604)는, 복호제어부(110)로부터 비트 스트림 분해부(111)로 출력된다.
부호화 픽처타입(1611), 부호화 매크로 블록 타입(1615), 부호화 움직임벡터(1612), 부호화 양자화 DCT 계수(1613), 부호화 블록 패턴(1614)은, 비트 스트림 분해부(111)로부터 복호부(112)로 출력된다.
실행길이(1621), 부호화의 오류(1602), 픽처타입(1623), 매크로 블록 타입(1628), 블록 패턴(1624), 움직임벡터(1625)는, 복호부(112)로부터 복호제어부(110)로 출력된다.
유효 계수값(1631)은, 복호부(112)로부터 제 2 선택부(114)로 출력된다.
「상수 0」(1632)은, 제 2 상수발생부(113)로부터, 제 2 선택부(114)로 출력된다.
실행길이(1621), 선택지시(1633)는, 복호제어부(110)로부터 제 2 선택부(114)로 출력된다.
양자화 DCT 계수(1641)는, 제 2 선택부(114)로부터 역양자화 부(115)로 출력된다.
DCT 계수(1651)는, 역양자화 부(115)로부터 역이산 코사인변환부(116)로 출력된다.
복원 단위화상(1661)은, 역이산 코사인변환부(116)로부터 제 1 선택부(118)로 출력된다.
「상수 0」(1662)은, 제 1 상수발생부(117)로부터 제 1 선택부(118)로 출력된다.
선택지시(1712)는, 복호제어부(110)로부터 제 1 선택부(118)로 출력되는 복원 단위화상(1661)과 「상수 0」(1662)으로 이루어지는 통합 단위화상(1663)은, 제 1 선택부(118)로부터 화상복원부(119)로 출력된다.
움직임벡터 에러(1604)는, 화상복원부(119)로부터 복호제어부(110)로 출력된다.
움직임벡터(1625), 픽처타입(1623), 매크로 블록 타입(1628), 부호화의 오류(1602), 규정범위 외(1603)는, 복호제어부(110)로부터 화상복원부(119)로 출력된다.
참조 단위화상(1686)은, 화상기억부(120)로부터 화상복원부(119)로 출력된다.
합성 단위화상(1687)은, 화상복원부(119)로부터 화상기억부(120)로 출력된다.
1. 3 화상 복호화장치의 동작
다음으로, 도 5에 도시한 화상 복호화장치의 동작에 대하여, 도 8의 흐름도를 참조하면서, P픽처 또는 B픽처의 일부분인 경우 스킵하는 블록의 처리동작에 대하여 간단히 설명하기로 한다.
비트 스트림 분해부(111)는, 비트 스트림(1601)을 해석하고, 부호화 픽처타입(1611), 부호화 매크로 블록 타입(1615), 부호화 블록 패턴(1614), 부호화 움직임벡터(1612), 부호화 양자화 DCT 계수(1613)를 인출하여, 인출한 부호화 픽처타입(1611), 부호화 매크로 블록 타입(1615), 부호화 블록 패턴(1614), 부호화 움직임벡터(1612), 부호화 양자화 DCT 계수(1613)를 복호부(112)로 출력한다(단계 S20).
비트 스트림 분해부(111)는, 비트 스트림(1601)으로부터 데이터의 종료를 나타내는 종료코드를 검출하면, 화상 복호화장치는, 처리를 종료한다(단계 S21).
복호부(112)는, 부호화 픽처타입(1611), 부호화 매크로 블록 타입(1615), 부호화 블록 패턴(1614), 부호화 움직임벡터(1612), 부호화 양자화 DCT 계수(1613)를 비트 스트림 분해부(111)로부터 수취하고, 수취한 부호화 픽처타입(1611), 부호화 매크로 블록 타입(1615), 부호화 블록 패턴(1614), 부호화 움직임벡터(1612)를 복호하여, 픽처타입(1623), 매크로 블록 타입(1628), 블록 패턴(1624), 움직임벡터(1625)를 생성하여, 생성된 픽처타입(1623), 매크로 블록 타입(1628), 블록 패턴(1624), 움직임벡터(1625)를 복호제어부(110)로 통지하고, 또한, 복호부(112)는 수취한 부호화 양자화 DCT 계수(1613)로부터 실행길이(1621)와 유효 계수값(1631)을 복호하고, 또한, 복호부(112)는 수취한 부호화 픽처타입(1611), 부호화 매크로 블록 타입(1615), 부호화 블록 패턴(1614), 부호화 움직임벡터(1612), 부호화 양자화 DCT 계수(1613)의 복호 중에, 수취한 부호화 픽처타입(1611), 부호화 매크로 블록 타입(1615), 부호화 블록 패턴(1614), 부호화 움직임벡터(1612), 부호화 양자화 DCT 계수(1613)가 상기 복호표에 존재하지 않은 것을 검출하였을 때는, 복호부(112)는, 부호화의 오류(1602)로 판단하여, 부호화의 오류(1602)를 복호제어부(110)에 통지한다(단계 S29).
복호제어부(110)는, 복호부(112)로부터 움직임벡터(1625)를 수취하고, 수취한 움직임벡터(1625)가, 미리 정해진 규정범위 외의 값이기 때문에, 규정범위 외(1603)의 에러로 판단할 경우(단계 S22), 또한, 복호제어부(110)가 복호부(112)로부터 부호화의 오류(1602)를 수취한 경우(단계 S23), 복호제어부(110)는, 비트 스트림 분해부(111) 및 화상복원부(119)에, 각각 부호화의 오류(1602) 또는 규정범위 외(1603)를 통지하여, 후술하는 움직임벡터 에러(1604) 발생시와 같은 동작을 행한다.
복호제어부(110)는, 복호부(112)로부터, 블록 패턴(1624)을 수취하고, 블록 패턴(1624)을 기초로, 블록 차분 플래그에 0 또는 1의 값을 세트하여, 블록 차분 플래그가 1일 때, 즉, 스킵하는 블록이 아닐 때는(단계 S24), 복호제어부(110)는 제 2 선택부(114)에 대하여, 상기 수취한 실행길이(1621)의 수만큼 제 2 상수발생부(113)가 출력하는 「상수 0」(1632)을 선택하고, 그 후, 복호부(112)가 출력하는 유효 계수값(1631)을 선택하도록 제어하고(단계 S25), 제 2 선택부(114)는 복호제어부(110)의 제어에 의해, 유효 계수값(1631) 또는「상수 0」(1632)을 선택하여, 양자화 DCT 계수(1641)를 생성하고, 역양자화 부(115)는 양자화 DCT 계수(1641)를 역양자화 하여 DCT 계수(1651)를 생성하고, 역이산 코사인변환부(116)는, DCT 계수(1651)를 역이산 코사인 변환하여, 복원 단위화상(1661)을 생성하고, 생성된 복원 단위화상(1661)을 제 1 선택부(118)로 출력한다(단계 S26).
화상복원부(119)는, 당해 복호 중의 블록으로 이루어지는 통합 단위화상(1663)이 내측 매크로 블록의 일부분인 경우는, 당해 복호 중의 블록으로 이루어지는 복원 단위화상(1661)을 화상기억부(120) 내의 복호 중의 프레임 화상(1692)에 그대로 기입한다. 당해 복호 중의 블록으로 이루어지는 통합 단위화상(1663)이 순방향 예측 매크로 블록 또는 역방향, 쌍방향 예측 매크로 블록의 일부분인 경우는, 화상기억부(120) 내의 참조 프레임 화상(1691)으로부터, 당해 복호 중의 블록으로 이루어지는 통합 단위화상(1663)에 당해하는 블록인 참조 단위화상(1686)을 판독하고, 당해 복호 중의 블록으로 이루어지는 통합 단위화상(1663)과 상기 판독한 참조 단위화상(1686)을 가산하여 새롭게 블록으로 이루어지는 합성 단위화상(1687)을 생성하고, 생성된 합성 단위화상(1687)을 화상기억부(120) 내의 복호 중의 프레임 화상(1692)에 기입한다(단계 S27).
복호제어부(110)는, 블록 차분 플래그가 O일 때는, 즉 스킵하는 블록일 때는 (단계 S24), 제 1 선택부(118)에 대하여, 제 1 상수발생부(117)의 출력인 「상수 0」(1662)을 64개 만큼 선택하도록 제어하여, 제 1 상수발생부(117)는 「상수 0」(1662)으로 이루어지는 블록을, 제 1 선택부(118)의 선택에 의해 화상복원부(119)로 출력한다(단계 S28). 그 후, 단계 S27에서 당해 복호 중의 통합 단위화상(1663)과 화상기억부(120) 내의 참조 단위화상(1686)을 가산하여 합성 단위화상(1687)을 생성하여, 합성 단위화상(1687)을 화상기억부(120) 내의 복호 중의 프레임 화상(1692)에 기입한다.
단계 S27이 종료하면, 단계 S20으로 복귀한다.
다음으로, 도 9의 흐름도를 참조하면서, 부호화의 오류(1602), 규정범위 외(1603) 또는 움직임벡터 에러(1604)가 발생한 경우의 처리동작에 대하여 간단히 설명하기로 한다.
또한, 도 9에 도시하는 흐름도는, 화상 복원부(119), 복호부(112), 복호 제어부(110), 비트 스트림 분해부(111)에 있어서, 부호화의 오류(1602), 규정범위 외(1603) 또는 움직임벡터 오류(1604)가 발생한 경우에 관련하는 처리동작만을 나타내며, 모든 처리동작을 나타내지 않기 때문에 주의를 필요로 한다. 또, 도 9의 흐름도에 있어서, 점선으로 나타낸 부분은, 도면에 도시되지 않은 처리가 동작하는 것을 나타낸다.
화상복원부(119)가 움직임벡터 에러(1604)를 검출하면(단계 S201), 화상복원부(119)는, 움직임벡터 에러(1604)를 복호제어부(110)에 통지하고(단계 S202), 그 후 에러 발생시의 화상보상처리를 행한다(단계 S204). 한편, 복호제어부(110)는, 화상복원부(119)로부터 움직임벡터 에러(1604)를 수취하면, 비트 스트림 분해부(111)에 통지한다(단계 S211). 비트 스트림 분해부(111)가, 움직임벡터 에러(1604)를 수취하면(단계 S221), 현재 분해 중인 슬라이스를 스킵하고(단계 S222), 다음 슬라이스의 판독을 개시한다(단계 S223). 이렇게 하여, 에러 발생시의 화상보상처리와 현재 분해 중인 슬라이스의 스킵처리가 병행하여 행하여진다.
다음으로, 복호부(112)가, 부호화의 오류(1602)를 검출하면(단계 S205), 복호부(112)는, 부호화의 오류(1602)를 복호제어부(110) 및 화상복원부(119)에 통지한다(단계 S206). 복호제어부(110)는, 부호화의 오류(1602)를 수취하고, 부호화의 오류(1602)를 비트 스트림 분해부(111)에 통지한다(단계 S212). 상기 움직임벡터 에러(1604)를 검출한 경우와 마찬가지로, 비트 스트림 분해부(111)는, 현재 분해 중인 슬라이스를 스킵하여(단계 S222), 다음 슬라이스의 판독을 개시한다(단계 S223). 또한, 화상복원부(119)는 에러 발생시의 화상보상처리를 행한다(단계 S204).
또, 복호제어부(110)가 규정범위 외(1603)를 검출하면, 복호제어부(110)는 규정범위 외(1603)를 비트 스트림 분해부(111) 및 화상복원부(119)에 통지한다(단계 S210). 상기 움직임벡터 에러(1604)를 검출한 경우와 같이, 비트 스트림 분해부(111)는, 현재 분해 중인 슬라이스를 스킵하여(단계 S222), 다음 슬라이스의 판독을 개시한다(단계 S223). 또한, 화상복원부(119)는, 에러 발생시의 화상보상처리를 행한다(단계 S204).
1.4 화상 복호화장치의 시간경과에 따른 처리의 추이
도 10에는, 도 5에 도시한 화상 복호화장치의 블록마다의 시간경과에 따른 처리의 추이를, 타임 차트로 도시한다. 세로방향으로, 비트 스트림 분해부(111), 복호부(112), 제 1 상수발생부(117), 역양자화 부(115) 및 역이산 코사인변환부(116), 화상복원부(119)의 각 처리부를 열거하고, 가로방향으로 시간을 취한다. 화소를 포함하는 블록(B1), 스킵하는 블록(B2), 화소를 포함하는 블록(B3), 에러를 포함하는 블록(B4), 화소를 포함하는 블록(B5)이 이 순서로 도 5에 도시한 화상 복호화장치를 흐르는 것으로 하고, C1∼C4, C5∼C7, C8∼C11, C12∼C13, C15∼C18은, 각각 블록(B1, B2, B3, B4, B5)의 상기 각 처리부마다의 처리를 나타낸다.
각 블록마다의 처리는, C1, C2, C3, C4, C5, C6, C7, C8, C9, C10, C11, C12의 순서로 동작한다. 그 후, C13 및 C14는 동시에 처리가 개시되어, C14의 완료 후, C15, C16, C17의 순서로 동작한다.
이와 같이, 스킵하는 블록에서는 C5로부터 C7에 도시한 바와 같이, 또한, 에러를 포함하는 블록에서는 C12부터 C13에 도시한 바와 같이, 역양자화 처리 및 역이산 코사인변환처리가 생략된다.
1.5 실시예의 변형예
또, 본 발명을 상기 실시예에 기초하여 설명하였지만, 본 발명은 상기 실시예에 한정되지 않는 것은 물론이다. 즉, 이하 같은 경우도 본 발명에 포함된다.
(1) 화상 복호화장치의 단위화상이 매크로 블록인 실시예
도 5에 도시한 화상 복호화장치에서는, 단위화상을 블록으로 했지만, 매크로 블록으로 할 수도 있다. 이하에 단위화상을 매크로 블록으로 한 경우 대하여, 그 동작을 간단히 설명한다.
이미 설명한 바와 같이, 매크로 블록을 구성하는 블록이 스킵하지 않는 블록인 경우와, 스킵하는 블록인 경우가 있다.
매크로 블록에 포함되는 모든 블록이 스킵하는 블록인 경우에는, 제 1 상수 발생부(117)는, 상수 0의 매크로 블록을 발생하고, 복호제어부(110)는, 제 1 선택부(118)에 대하여 제 1 상수발생부(117)에 의해 생성된 화소 값 0을 요소로 하는 매크로 블록을 선택하여, 화상복원부(119)에 출력하도록 제어한다.
또한, 매크로 블록에 포함되는 적어도 1개의 블록이 스킵하지 않는 블록인 경우에는, 제 2 상수 발생부(113)는 상수 0의 블록을 발생하고, 복호제어부(110)는, 스킵하는 블록에 대해서는, 제 2 선택부(114)에 대하여 제 2 상수발생부(113)에 의해 생성된 상수 0을 요소로 하는 블록을 선택하도록 제어하고, 스킵하지 않는 데이터를 가지는 블록에 대해서는, 복호제어부(110)는 제 2 선택부(114)에 대하여, 복호부(112)에 의해 복호된 유효 계수값(1631)과, 복호부(112)에 의해 실행길이(1632) 만큼의 상수 0을 선택하도록 제어한다. 그 후, 상수로 이루어지는 블록 및 유효 계수값(1631)과 실행길이(1632)의 값 만큼의 상수 0은 제 2 선택부(114)로부터 역양자화 부(115)로 출력된다.
이와 같이 구성하면, 매크로 블록이 스킵하는 블록으로 이루어지는 경우에, 매크로 블록을 역양자화 하여 역이산 코사인 변환하는 프로세스를 통과시키지 않고, 처리속도의 저하를 회피할 수 있다.
예를 들면, 모든 블록이 스킵하는 블록인 매크로 블록(M1)과 적어도 1개의 스킵하지 않는 블록을 포함하는 매크로 블록(M2)을 순차로 복호화하는 경우에 대하여, 종래의 화상 복호화장치에 의한 처리시간은, 다음의 수학식 1로 표현할 수 있고, 도 5에 도시한 화상 복호화장치에 의한 처리시간은, 다음의 수학식 2로 표현할 수 있다. 즉, 도 5에 도시한 화상 복호화장치에서는, 종래의 화상 복호화장치와 비교하여 매크로 블록(M1)의 화상변환시간 만큼 처리시간을 단축할 수 있다. 이와 같이, 매크로 블록에 포함되는 모든 블록이 화소성분을 포함하지 않는 경우는, 원래 필요없는 화상 변환수단을 통과시키지 않고, 처리속도의 저하를 회피할 수 있다.
종래의 화상 복호화장치에 의한 처리시간
= (매크로 블록(M1)의 화상복호시간)
+ (매크로 블록(M1)의 화상변환시간)
+ (매크로 블록(M1)의 화상복원시간)
+ (매크로 블록(M2)의 화상복호시간)
+ (매크로 블록(M2)의 화상변환시간)
+ (매크로 블록(M2)의 화상복원시간)
도 5에 도시한 화상 복호화장치에 의한 처리시간
= (매크로 블록(M1)의 화상복호시간)
+ (매크로 블록(M1)의 화상복원시간)
+ (매크로 블록(M2)의 화상복호시간)
+ (매크로 블록(M2)의 화상변환시간)
+ (매크로 블록(M2)의 화상복원시간)
(2) 화상 복호화장치의 단위화상과 복원 단위화상이 다른 실시예
상기의 실시예에서는, 단위화상과 복원 단위화상은, 모두 블록인 것으로 했지만, 단위화상이 블록이고, 복원 단위화상이 매크로 블록인 것으로 해도 된다.
화상복원부(119)는, 통합 단위화상을 6개분 기억하는 통합 단위화상기억부를 구비하고, 제 1 선택부(118)로부터 출력되는 블록을 단위로 하는 통합 단위화상을 수취할 때마다, 차례로, 상기 통합 단위화상 기억부에 기억한다.
화상복원부(119)는, 6개분의 통합 단위화상의 상기 통합 단위화상 기억부로의 기억을 완료하면, 6개분의 통합 단위화상으로부터 순서대로, 6개분의 복원 단위화상을 생성하여, 생성된 6개분의 복원 단위화상을 화상기억부(120)의 복원 중인 프레임 화상(1692)에 기입한다.
(3) 에러 발생시, 제 1 상수발생부에서 상수를 발생시키는 실시예
부호화의 오류(1602) 또는 규정범위 외(1603)의 에러가 발생한 경우, 스킵하는 블록의 경우와 같은 처리를 해도 된다. 즉, 복호제어부(110)는, 부호화의 오류(1602) 또는 규정범위 외(1603)를 비트 스트림 분해부(111) 및 화상복원부(119)에 통지하지 않고, 복호제어부(110)는 제 1 상수발생부(117)의 출력인 상수 0을 64개분 선택하도록 제 1 선택부(118)를 제어해도 된다.
이와 같이 하면, 에러가 발생한 블록 대신에, 64개분의 상수 0로 이루어지는 블록이 제 1 선택부(118)로부터 화상복원부(119)에 출력되므로, 화상복원부(119)는 특별한 에러화상의 보상처리를 행하지 않아도, 에러가 발생한 블록의 에러화상의 보상을 할 수 있다.
이 경우, 에러가 발생한 블록 대신에, 1개 앞의 참조 화상이 복원된다.
(4) 블록, 매크로 블록에 포함되는 화소수가 다른 실시예
상기 실시예에서는, 블록은 64개의 화소로 구성된다고 했지만, 64개로 한정되지 않는 것은 물론이다. 1블록은, 세로로 16개, 가로로 16개의 화소를 나열하여, 256개의 화소가 구성되는 등으로도 된다.
또한, 매크로 블록은, 6개의 블록으로 구성된다고 하였지만, 16개의 휘도를 나타내는 블록과, 2개의 색차를 나타내는 블록으로 구성되어도 된다.
이와 같이, 블록, 매크로 블록에 포함되는 화소수에 한정은 없다.
(5) 제 1 상수발생부의 별도의 실시예
제 1 상수발생부(117)는, 예를 들면, 화소 값 0으로 이루어지는 4개의 요소를 출력하고, 제 1 선택부(118)는, 화소 값 0으로 이루어지는 4개의 요소를 16회 선택해도 된다. 이에 따라, 합계 64개의 화소 값 0으로 이루어지는 요소가 선택되게 된다. 즉, 제 1 상수발생부(117)는 화소 값 0으로 이루어지는 복수개의 요소를 출력하고, 제 1 선택부(118)는, 합계로 64개가 되도록 출력된 복수개의 요소를 복수회 선택해도 된다.
또한, 제 1 상수발생부(117)는, 1개의 화소 값 0을 생성하는 상수 생성부와, 상기 상수 생성부에 대하여, 블록에 포함되는 화소수만큼, 즉 64개분의 화소 값 0을 반복 생성하도록 제어하여, 생성된 64개분의 화소 값 0을 출력하는 상수 제어부로 구성되어도 된다.
또, 제 1 상수발생부(117)는 1개의 화소 값 0을 생성하고, 제 1 선택부는 상기 제 1 상수 발생수단에 의해 발생된 1개의 화소 값 0을, 블록에 포함되는 화소수만큼, 즉 64개분 선택해도 된다. 또한, 이 때, 화상복원부(119)는, 64개의 화소 값 0과, 화상기억부(120)로부터 판독한 참조 단위화상(1686)을 가산한다.
(6) 프레임 화상 내 예측인 경우의 실시예
상기의 실시예에서는, 프레임 화상사이에서 예측부호화된 압축부호 열을 복호하는 경우 대하여 설명하였지만, 1프레임 화상 내의 단위화상을, 같은 프레임 화상 내의 다른 단위화상과의 차분을 이용하여 부호화된 압축부호 열을 복호하는 경우도, 상기의 실시예를 똑같이 적용할 수 있다.
(7) 에러 발생시의 처리단위
상기 실시예에서는, 부호화의 오류(1602), 움직임벡터 에러(1504), 규정범위 외(1603)가 검출된 경우에, 비트 스트림 분해부(111)는 현재 분해 중인 슬라이스를 스킵하고, 다음의 슬라이스의 판독을 개시한다고 하였지만, 비트 스트림 분해부(111)는 현재 분해 중인 블록을 스킵하고, 다음의 블록을 판독하는 것도 된다. 또한, 비트 스트림 분해부(111)는 현재 분해 중인 매크로 블록을 스킵하고, 다음의 매크로 블록의 판독을 개시하여도 된다. 또한, 비트 스트림 분해부(111)는 현재 분해 중인 매크로 블록을 포함하는 복수개의 매크로 블록을 스킵하고, 다음의 복수개의 매크로 블록의 판독을 개시하여도 된다.
2. 제 2 실시예
다음으로, 본 발명에 의한 제 2 실시예로서의 화상 복호화장치에 대하여 설명하기로 한다.
2.1 화상 복호화장치의 개략구성
도 11은, 본 발명의 별도의 한 실시예로서의 화상 복호화장치의 개략구성을 도시한 블록도이다.
동 도면의 화상 복호화장치는, 순차 제어부(1O), 정보기억부(1Oa), 복호제어부(11), 비트 스트림 분해부(11a), 복호부(11b), 제 2 상수발생부(11c), 제 2 선택부(11d), 변환제어부(12), 역양자화 부(12a), 역이산 코사인변환부(12b), 복원제어부(13), 제 1 상수발생부(13a), 제 1 선택부(13b), 화상복원부(13c), 제 1 화상기억부(14), 제 2 화상기억부(15), 제 3 화상기억부(16)로 구성된다.
복호제어부(11), 비트 스트림 분해부(11a), 복호부(11b), 제 2 상수발생부(11c), 제 2 선택부(11d), 역양자화 부(12a), 역이산 코사인변환부(12b), 제 1 상수발생부(13a), 제 1 선택부(13b), 화상복원부(13c), 제 1 화상기억부(14)는, 각각, 도 5에 도시한 제 1 실시예의 복호제어부(110), 비트 스트림 분해부(111), 복호부(112), 제 2 상수발생부(113), 제 2 선택부(114), 역양자화 부(115), 역이산 코사인변환부(116), 제 1 상수발생부(117), 제 1 선택부(118), 화상복원부(119), 화상기억부(120)에 대응한다.
다음으로, 동 도면의 화상 복호화장치의 구성을 설명하지만, 제 2 상수발생부(11c), 제 1 화상기억부(14)에 대해서는, 각각 도 5에 도시한 제 1 실시예의 제 2 상수발생부(113), 화상기억부(120)와 동일하기 때문에 설명은 생략하고, 새롭게 추가한 구성 및 변경한 구성에 대하여, 신규부분, 추가부분, 변경부분을 중심으로 하여 이하에 설명한다. 또, 이 도면의 화상 복호화장치의 단위화상은 블록이다.
복호제어부(11), 비트 스트림 분해부(11a), 복호부(11b), 제 2 상수발생부(11c), 제 2 선택부(11d)에 의해 실현되는 처리를 부호 복호처리와, 변환제어부(12), 역양자화 부(12a), 역이산 코사인변환부(12b)에 의해 실현되는 처리를 화상변환처리 및, 복원제어부(13), 제 1 상수발생부(13a), 제 1 선택부(13b), 화상복원부(13c)에 의해 실현되는 처리를 화상 복원처리라 한다.
(1) 변환제어부(12)
변환제어부(12)는, 역양자화 부(12a) 및 역이산 코사인변환부(12b)를 통합하여 제어하기 위해서 설치된다. 변환제어부(12)는, 순차 제어부(10)로부터 화상변환개시(1703)의 지시를 수취하면, 역양자화 부(12a)에, 역양자화 처리를 개시하도록 화상변환개시(1703)를 지시한다. 또한, 역이산 코사인변환부(12b)로부터 화상변환완료(1704)의 정보를 수취하면, 화상변환완료(1704)의 정보를 순서대로 제어부(10)에 통지한다.
(2) 제 2 화상기억부(15)
제 2 화상기억부15는, 부호 복호처리의 출력을 일단 축적한 뒤, 화상변환처리의 입력으로 함으로써, 부호 복호처리와 화상변환처리를 동시에 동작시키기 위해서 설치된다.
구체적으로는, 제 2 화상기억부(15)는, 제 2 선택부(11d)가 선택한 복호부(11b)로부터의 출력 및 제 2 상수발생부(11c)로부터의 출력을 기억한다.
(3) 제 3 화상기억부(16)
제 3 화상기억부(16)는, 화상변환처리의 출력을 일단 축적한 후, 화상 복원처리의 입력으로 함으로써, 화상변환처리와 화상 복원처리를 동시에 동작시키기 위해서 설치된다.
구체적으로는, 제 3 화상기억부(16)는, 역이산 코사인변환부(12b)의 출력을 기억한다.
(4) 제 1 상수발생부(13a)
제 1 상수발생부(13a)는, 스킵하는 블록이 존재할 때, 화소 대신에 상수 0로 이루어지는 블록을 제 1 선택부(13b)를 경유하여 화상복원부(13c)로 출력한다.
(5) 제 1 선택부(13b)
제 1 선택부(13b)는, 제 3 화상기억부(16)에 축적된 데이터 또는 제 1 상수발생부(13a)의 출력을 선택한다.
(6) 복원제어부(13)
복원제어부(13)는, 제 1 상수발생부(13a), 제 1 선택부(13b), 화상복원부(13c)의 통합제어 및 순차 제어부(10)와 화상복원부(13c) 사이의 정보전달을 하기 위해서 설치된다.
구체적으로는, 복원제어부(13)는 순차 제어부(10)로부터 화상복원개시(1705)의 지시를 수취하면, 제 1 선택부(13b)에 대하여 제 3 화상기억부(16)에 축적된 데이터 또는 제 1 상수발생부(13a)의 출력을 선택하도록 선택지시(1712)를 출력하고, 화상복원부(13c)로부터 화상복원완료(1706)의 통지를 수취하면, 순차 제어부(10)에 화상복원완료(1706)의 정보를 통지한다.
또한, 복원제어부(13)는, 화상복원부(13c)로부터 움직임벡터 에러(1604)를 수취하면, 순차 제어부(10)에 움직임벡터 에러(1604)를 통지하여, 순차 제어부(10)로부터 움직임벡터(1625), 픽처타입(1623) 및 매크로 블록 타입(1628)을 수취하면, 화상복원부(13c)로 움직임벡터(1625), 픽처타입(1623) 및 매크로 블록 타입(1628)을 통지한다.
또, 복원제어부(13)는, 순차 제어부(10)로부터 부호화의 오류(1602), 규정범위 외(1603)의 에러를 수취하면, 화상복원부(13c)로 부호화의 오류(1602), 규정범위 외(1603)의 에러를 통지한다. 또한, 복원제어부(13)는, 순차 제어부(10)로부터 블록 패턴(1624)을 수취하고, 스킵하는 블록인 경우는, 제 1 상수발생부(13a)의 출력하는 상수 0을 64개분 선택하도록 제 1 선택부(13b)를 제어한다.
(7) 순차 제어부(10)
순차 제어부(10)는, 부호 복호처리의 실행조건이 정리된 때, 부호 복호처리를 기동하고, 실행조건이 정리되지 않은 때는, 이중으로 부호 복호처리가 동작하지 않도록 제어한다. 순차 제어부(10)는, 화상변환처리, 화상 복원처리에 대하여도 같은 제어를 행한다. 순차 제어부(10)는, 이 제어를 행하기 위해서, 복호제어부(11)에 대하여 부호복호개시(1701)를, 변환제어부(12)에 대하여 화상변환개시(1703)를, 복원제어부(13)에 대하여 화상복원개시(1705)를 지시한다. 또한, 순차 제어부(10)는, 복호제어부(11)로부터 부호복호완료(1702)의 통지를, 변환제어부(12)로부터 화상변환완료(1704)의 통지를, 복원제어부(13)로부터 화상복원완료(1706)의 통지를 수취한다. 또, 제어동작의 상세한 사항에 있어서는 후술하기로 한다. 또한, 순차 제어부(10)는, 부호 복호처리, 화상변환처리, 화상 복원처리 사이에서의 정보전달의 중개를 행한다. 구체적으로는, 순차 제어부(10)가 복원제어부(13)로부터 움직임벡터 에러(1604)의 통지를 수취하면, 복호제어부(11)에 움직임벡터 에러(1604)를 통지한다. 순차 제어부(10)는, 복호제어부(11)로부터 부호화의 오류(1602), 규정범위 외(1603), 블록 패턴(1624), 움직임벡터(1625), 픽처타입(1623) 또는 매크록 블록 패턴(1628)의 통지를 수취하면, 부호화의 오류(1602), 규정범위 외(1603), 블록 패턴(1624), 움직임벡터(1625), 픽처타입(1623) 또는 매크로 블록 타입(1628)을 복원제어부(13)에 통지한다. 정보전달은, 각 정보와 당해 정보에 대응하는 블록이 일치하도록 동기를 취하여 행해진다.
(8) 정보기억부(10a)
정보기억부(10a)는, 처리되는 블록마다 움직임벡터(1625), 픽처타입(1623), 매크로 블록 타입(1628), 블록 패턴(1624), 부호화의 오류(1602), 규정범위 외(1603), 움직임벡터 에러(1604)를 기억한다.
(9) 비트 스트림 분해부(11a)
비트 스트림 분해부(11a)는, 복호제어부(11)로부터 비트 스트림 분해개시(1711)의 지시를 받으면, 비트 스트림의 분해처리를 개시한다.
(10) 복호부(11b)
복호부(11b)는, 1 블록의 복호가 완료되면, 복호제어부(11)에 부호복호 완료(1702)를 통지한다.
(11) 복호제어부(11)
복호제어부(11)는, 비트 스트림 분해부(11a), 복호부(11b), 제 2 상수발생부(11c), 제 2 선택부(11d)를 통합제어하고, 또한, 순차 제어부(10)와 비트 스트림 분해부(11a), 복호부(11b), 제 2 상수발생부(11c) 및 제 2 선택부(11d)의 사이의 정보전달을 행한다. 구체적으로는, 복호제어부(11)는, 순차 제어부(10)로부터 부호복호 개시(1701)의 지시를 받으면, 비트 스트림 분해부(11a)에 비트 스트림 분해 개시(1711)를 지시하고, 복호부(11b)로부터 부호복호 완료(1702)의 정보를 수취하면, 부호복호 완료(1702)의 정보를 순차 제어부(10)에 통지한다. 또한, 복호제어부(11)는, 부호화의 오류(1602), 규정범위 외(1603)의 에러, 움직임벡터(1625) 픽처타입(1623), 매크로 블록 타입(1628) 및 블록 패턴(1624)을 순차 제어부(10)에 통지한다. 또, 복호제어부(11)는, 순차 제어부(10)로부터 움직임벡터 에러(1604)를 수취하면, 비트 스트림 분해부(11a)로 움직임벡터 에러(1604)의 에러를 통지한다.
(12) 제 2 선택부(11d)
제 2 선택부(11d)는, 선택한 복호부(11b)로부터의 출력 및 제 2 상수발생부(11c)로부터의 출력을 제 2 화상기억부(15)로 출력한다.
(13) 역양자화 부(12a)
역양자화 부(12a)는, 변환제어부(12)로부터 역양자화 처리를 개시하도록, 화상변환 개시(1703)를 출력받으면, 제 2 화상기억부(15)에 축적된 데이터의 역양자화를 개시한다.
(14) 역이산 코사인변환부(12b)
역이산 코사인변환부(12b)는, 역양자화 부(12a)의 출력을 역이산 코사인 변환하여 단위화상을 생성하고, 생성한 단위화상을 제 3 화상기억부(16)로 출력한다. 역이산 코사인변환부(12b)는, 제 3 화상기억부(16)로의 출력을 완료하면, 변환제어부(12)로 화상변환 완료(1704)의 정보를 통지한다.
(15) 화상복원부(13c)
화상복원부(13c)는 움직임벡터 에러(1604)를 검출하였을 때는, 움직임벡터 에러(1604)를 복원제어부(13)로 통지한다.
2.2 화상 복호화장치의 데이터의 흐름
다음으로, 도 11에 도시한 화상 복호화장치의 데이터의 흐름에 대하여, 도 12, 도 13, 도 14 및 도 15를 참조하면서 설명하기로 한다.
움직임벡터 에러(1604) 및 부호복호 개시(1701)는, 순차 제어부(10)로부터 복호제어부(11)로 출력된다.
부호화의 오류(1602), 규정범위 외(1603), 움직임벡터(1625), 픽처타입(1623), 매크로 블록 타입(1628), 블록 패턴(1624) 및 부호복호 완료(1702)는, 복호제어부(11)로부터 순차 제어부(10)로 출력된다.
화상변환 개시(1703)는 순차 제어부(10)로부터 변환제어부(12)로 출력된다.
화상변환 완료(1704)는 변환제어부(12)로부터 순차 제어부(10)로 출력된다.
화상복원 개시(1705), 움직임벡터(1625), 픽처타입(1623), 매크로 블록 타입(1628), 부호화의 오류(1602), 규정범위 외(1603) 및 블록 패턴(1624)은, 순차 제어부(10)로부터 복원제어부(13)로 출력된다.
화상복원 완료(1706) 및 움직임벡터 에러(1604)는, 복원제어부(13)로부터 순차 제어부(10)로 출력된다.
부호화의 오류(1602), 규정범위 외(1603), 움직임벡터 에러(1604) 및 비트 스트림 분해 개시(1711)는, 복호제어부(11)로부터 비트 스트림 분해부(11a)로 출력된다.
부호복호 완료(1702), 실행길이(1621), 부호화의 오류(1602), 픽처타입(1623), 매크로 블록 타입(1628), 블록 패턴(1624) 및 움직임벡터(1625)는, 복호부(11b)로부터 복호제어부(11)로 출력된다.
부호화 픽처타입(1611), 부호화 매크로 블록 타입(1615), 부호화 움직임벡터(1612), 부호화 양자화 DCT 계수(1613) 및 부호화 블록 패턴(1614)은, 비트 스트림 분해부(11a)로부터 복호부(11b)로 출력된다.
유효 계수값(1631)은, 복호부(11b)로부터 제 2 선택부(11d)로 출력된다.
실행길이(1621) 및 유효 계수값(1631)은, 복호제어부(11)로부터 제 2 선택부(11d)로 출력된다.
양자화 DCT 계수(1641)는, 제 2 선택부(11d)로부터 제 2 화상기억부(15)로 출력된다.
양자화 DCT 계수(1641)는, 제 2 화상기억부(15)로부터 역양자화 부(12a)로 출력된다.
화상변환개시(1703)는, 변환제어부(12)로부터 역양자화 부(12a)로 출력된다.
화상변환 완료(1704)는, 역이산 코사인변환부(12b)로부터 변환제어부(12)로 출력된다.
복원 단위화상(1661)은 역이산 코사인변환부(12b)로부터 제 3 화상기억부(16)로 출력된다.
복원 단위화상(1661)은 제 3 화상기억부(16)로부터 제 1 선택부(13b)로 출력된다.
「상수 0」(1662)은 제 1 상수발생부(13a)로부터 제 1 선택부(13b)로 출력된다.
선택지시(1712)는 복원제어부(13)로부터 제 1 선택부(13b)로 출력된다.
「상수 0」(1662) 및 복원 단위화상(1661)으로 이루어지는 통합 단위화상(1663)은, 제 1 선택부(13b)로부터 화상복원부(13c)로 출력된다.
화상복원완료(1706) 및 움직임벡터 에러(1604)는, 화상복원부(13c)로부터 복원제어부(13)로 출력된다.
움직임벡터(1625), 픽처타입(1623), 매크로 블록 타입(1628), 부호화의 오류(1602) 및 규정범위 외(1603)는, 복원제어부(13)로부터, 화상복원부(13c)로 출력된다.
참조 단위화상(1686)은, 제 1 화상기억부(14)로부터 화상복원부(13c)로 출력된다. 합성 단위화상(1687)은, 화상복원부(13c)로부터 제 1 화상기억부(14)로 출력된다.
2.3 부호 복호처리, 화상변환처리, 화상 복원처리 상태의 천이
다음으로, 도 11에 도시한 화상 복호화장치의 부호 복호처리, 화상변환처리 및 화상 복원처리의 상태의 천이에 대하여 도 16을 이용하여 설명하기로 한다.
부호 복호처리는, 미실행(42) 또는 실행 중(43)의 두 가지의 상태를 갖고 있다.
부호 복호처리의 상태가 미실행(42)이고 또한 부호 복호처리 대기의 비트 스트림(41)이 존재하는 경우, 부호 복호처리는 실행할 수 있게 된다. 부호 복호처리의 상태가 실행 중(43)이고, 그 후 부호 복호처리가 완료하였을 때, 부호 복호처리는 미실행(42) 상태가 된다.
또한, 화상변환처리는, 미실행(44) 또는 실행 중(45)의 두 가지의 상태를 갖는 화상변환처리의 상태가 미실행(44)이고 또한 화상변환처리 대기의 데이터(48)가 존재하는 경우, 화상변환처리는 실행할 수 있게 된다. 화상변환처리의 상태가 실행 중(45)이고, 그 후 화상변환처리가 완료하였을 때, 화상변환처리는 미실행(44) 상태가 된다.
또한 화상 복원처리는, 미실행(46) 또는 실행 중(47)의 두 가지의 상태를 갖는다.
화상 복원처리의 상태가 미실행(46)이고 또한 화상 복원처리 대기의 데이터(49)가 존재하는 경우, 화상 복원처리는 실행할 수 있게 된다. 화상 복원처리의 상태가 실행 중(47)이고 그 후 화상 복원처리가 완료하였을 때, 화상 복원처리는 미실행(46) 상태가 된다.
2.4 순차 제어부의 동작
다음으로, 도 11에 도시한 화상 복호화장치의 순차 제어부(10)의 동작을 도 17, 도 18, 도 19의 흐름도를 이용하여 설명하기로 한다.
도 17에서, 우선, 순차 제어부(10)는, 순차 제어부(10)에서 사용하는 플래그의 초기화를 행한다. 플래그는, 온(ON)과 오프(OFF)의 상태를 갖는다. 순차 제어부(10)에서 사용하는 플래그에는, 부호 복호처리 중 플래그, 부호 복호처리 완료 플래그, 화상변환처리 중 플래그, 화상변환처리 완료 플래그, 복원처리 중 플래그, 복원처리 완료 플래그가 있다. 순차 제어부(10)는, 이것들의 부호 복호처리 중 플래그, 부호 복호처리 완료 플래그, 화상변환처리 중 플래그, 화상변환처리 완료 플래그, 복원처리 중 플래그, 복원처리 완료 플래그에 각각, 초기값을 설정한다(단계 S501).
비트 스트림 분해부(11a)가 비트 스트림의 종료코드를 검출하고, 순차제어부(10)가 복원제어부(13)로부터 최후의 화상복원 완료(1706)를 수취하면, 순차제어부(10)는 복호제어부(11), 변환제어부(12), 복원제어부(13)에 대한 제어를 종료한다(단계 S502).
순차 제어부(10)는, 부호 복호처리 중 플래그가 온인가 오프인가를 판단하여, 부호 복호처리 중 플래그가 오프, 즉 부호 복호처리가「미실행」인 경우 (단계 S503), 부호 복호처리를 행하는 비트 스트림이 존재할 때(단계 S504), 순차 제어부(10)는, 부호 복호처리를 개시하도록 복호제어부(11)에 대하여 지시를 하고(단계 S505), 부호 복호처리 중 플래그를 온으로 하며(단계 S506), 처리를 계속 행한다. 복호제어부(11)는, 부호 복호처리를 개시하며(단계 S507), 부호 복호처리가 완료되고, 복호제어부(11)로부터 부호 복호처리가 통지되면, 순차 제어부(10)는, 부호 복호처리 완료 플래그를 온으로 한다(단계 S508).
순차 제어부(10)는, 부호 복호처리 중 플래그가 오프 즉 부호 복호처리가「미실행」인 경우(단계 S503), 부호 복호처리를 하는 비트 스트림이 존재하지 않으면(단계 S504), 처리를 계속 행한다.
순차 제어부(10)는, 부호 복호처리 중 플래그가 온 즉 부호 복호처리가「실행 중」인 경우(단계 S503), 순차 제어부(10)는, 부호 복호처리 완료 플래그가 온인가 오프인가를 판단하고, 부호 복호처리 완료 플래그가 온, 즉 부호 복호처리가 완료되었을 때는(단계 S509), 순차 제어부(10)는 부호 복호처리 완료 플래그를 오프로 하여(단계 S510), 부호 복호처리 중 플래그를 오프로 하고(단계 S511), 순차 제어부(10)는 처리를 계속 행한다.
순차 제어부(10)는, 부호 복호처리 중 플래그가 온, 즉 부호 복호처리가「실행 중 」인 경우(단계 S503), 부호 복호처리 완료 플래그가 오프, 즉 부호 복호처리가 완료되지 않을 때는(단계 S509), 순차 제어부(10)는 처리를 계속 행한다.
다음으로, 도 18에서 순차 제어부(10)는, 화상변환처리 중 플래그가 온인가 오프인가를 판단하여, 화상변환처리 중 플래그가 오프, 즉 화상변환처리가「미실행」인 경우(단계 S515), 제 2 화상기억부(15)에 화상변환처리를 행하는 데이터가 존재하면(단계 S516), 순차 제어부(10)는, 화상변환처리를 개시하도록 변환제어부(12)에 지시하고(단계 S517), 화상변환처리 중 플래그를 온으로 하고(단계 S518), 순차 제어부(10)는 처리를 계속 행한다. 변환제어부(12)가 화상변환처리를 개시하여(단계 S519), 화상변환처리가 완료하고, 변환제어부(12)로부터 화상변환처리완료의 통지가 있으면, 순차 제어부(10)는 화상변환처리 완료 플래그를 온으로 한다(단계 S520).
순차 제어부(10)는, 화상변환처리 중 플래그가 오프, 즉 화상변환처리가「미실행」인 경우(단계 S515), 제 2 화상기억부(15)에 화상변환처리를 하는 데이터가 존재하지 않으면(단계 S516), 순차 제어부(10)는 처리를 계속 행한다.
순차 제어부(10)는, 화상변환처리 중 플래그가 온, 즉 화상변환처리가「실행 중」인 경우(단계 S515), 순차 제어부(10)는 화상변환처리 완료 플래그가 온인가 오프인가를 판단하여, 화상변환처리 완료 플래그가 온, 즉 화상변환처리가 완료한 경우(단계 S521), 순차 제어부(10)는 화상변환처리 완료 플래그를 오프로 하고(단계 S522), 화상변환처리 중 플래그를 오프로 하여(단계 S523), 순차 제어부(10)는 처리를 계속 행한다.
순차 제어부(10)는, 화상변환처리 중 플래그가 온, 즉 화상변환처리가「실행 중」인 경우(단계 S515), 화상변환처리 완료 플래그가 오프, 즉 화상변환처리가 완료하지 않은 경우(단계 S521), 순차 제어부(10)는 처리를 계속 행한다.
계속해서, 도 19에서 순차 제어부(10)는, 복원처리 중 플래그가 온인가 오프인가를 판단하여, 복원처리 중 플래그가 오프 즉 화상 복원처리가「미실행」인 경우는(단계 S525), 제 3 화상기억부(16)에 화상 복원처리를 하는 데이터가 존재하면, (단계 S526), 순차 제어부(10)는 화상 복원처리를 개시하도록 복원제어부(13)에 지시하여(단계 S527), 복원처리 중 플래그를 온으로 하고(단계 S528), 순차 제어부(10)는 처리를 계속 행한다. 복원제어부(13)는, 화상 복원처리를 개시하여 화상 복원처리가 완료하면, 순차 제어부(10)는 복원제어부(13)로부터 화상 복원처리 완료의 통지를 받아, 복원처리 완료 플래그를 온으로 하고(단계 S530), 순차 제어부(10)는 처리를 계속 행한다.
순차 제어부(10)는, 복원처리 중 플래그가 오프, 즉 화상 복원처리가「미실행」인 경우는(단계 S525), 제 3 화상기억부(16)에 화상 복원처리를 하는 데이터가 존재하지 않으면(단계 S526), 순차 제어부(10)는 처리를 계속 행한다.
순차 제어부(10)는, 복원처리 중 플래그가 온, 즉 화상 복원처리가「실행 중」인 경우는(단계 S525), 복원처리 완료 플래그가 온, 즉 화상 복원처리가 완료한 때에는(단계 S531), 순차 제어부(10)가 복사처리 완료 플래그를 오프로 하고(단계 S532), 복사처리 중 플래그를 오프로 하여(단계 S533), 순차 제어부(10)는 처리를 계속 행한다.
순차 제어부(10)는, 복원처리 중 플래그가 온, 즉 화상 복원처리가 「실행 중」인 경우는 (단계 S525), 복원처리 완료 플래그가 온, 즉 화상 복원처리가 완료하지 않을 때에는(단계 S531), 순차 제어부(10)는 처리를 계속 행한다.
다음으로, 단계 S502로 복귀하여, 순차 제어부(10)는 처리를 계속 행한다.
이렇게 하여, 순차 제어부(10)는 부호 복호처리의 실행조건이 정리된 때, 부호 복호처리를 기동하여, 실행조건이 정리된 때는, 이중으로 부호 복호처리가 동작하지 않도록 제어하기 때문에, 1개의 블록의 처리가 끝날 때까지, 다음 블록의 실행을 회피할 수 있다. 화상변환처리, 화상 복원처리에 대해서도 같은 제어를 행한다.
2.5 화상 복호화장치의 시간경과에 따른 처리의 추이
도 20에는, 도 11에 도시한 화상 복호화장치의 블록마다의 시간경과에 따른 처리의 추이를, 타임 챠트로 나타낸다. 세로방향으로 비트 스트림 분해부(11a), 복호부(11b), 제 1 상수발생부(13a), 역양자화 부(12a) 및 역이산 코사인변환부(12b), 화상복원부(13c)의 각 처리부를 열거하고, 가로방향으로 시간을 취한다. 화소를 포함하는 블록(B21, B22, B23, B24), 스킵하는 블록(B25, B26, B27, B28)이 이 순서로 도 11도에 도시한 화상 복호화장치에서 처리되는 것으로 하고, C61∼C64, C65∼C68, C69∼C72, C73∼C76, C77∼C79, C80∼C82, C83∼C85, C86∼C88은, 각각 블록(B21, B22, B23, B24, B25, B26, B27, B28)의 상기 각 처리부마다의 처리를 나타낸다.
C61, C62, C63, C64는 이 순서로 동작하여, C65, C66, C67, C68은 이 순서로 동작한다. 또한, C65는, C62의 종료 후, 처리가 개시된다. 요컨대, C63 및 C65는 동 시간에 처리가 개시된다.
이와 같이, 동 시간에 다른 블록에 대하여 처리할 수 있으므로, 도 10과 비교하면, 처리시간이 단축되는 것을 알 수 있다.
3. 제 3 실시예
여기에서는, 본 발명에 의한 제 3 실시예로서, 상기 제 1 실시예의 화상복원부(119)의 에러 발생시의 화상보상처리의 상세한 사항에 대하여 설명하기로 한다.
또, 다음에 도시한 실시예는, 상기 제 2 실시예에 도시한 화상복원부(13c)에서도 마찬가지로 실시할 수 있다.
3.1 화상 복호화장치의 구성
여기에서는, 본 발명에 의한 제 3 실시예로서의 화상 복호화장치의 구성에 대하여 설명하기로 한다.
제 3 실시예로서의 화상 복호화장치는, 상기 제 1 실시예의 화상 복호화장치와 같은 구성이기 때문에, 이하에서는 다른 부분에 대해서만 설명하기로 한다.
화상기억부(120)는, 도 21에 도시한 바와 같이 화상에 복호된 하나의 프레임을 기억하는 제 1 기억영역(X101)과 화상에 복호된 1개의 프레임을 기억하는 제 2 기억영역(X121)을 갖는다. 제 1 기억영역(X101)은 현재복호 중인 프레임의 1개 앞의 프레임을 기억하고, 또한 제 2 기억영역(X121)은 현재 복호 중인 프레임을 기억한다. 또는, 제 1 기억영역(X101)은 현재 복호 중인 프레임을 기억하고, 또한 제 2 기억영역(X121)은 현재 복원 중인 프레임의 1개 앞의 프레임을 기억한다.
즉, 제 1 기억영역(X101) 및 제 2 기억영역(X121)은, 복호 중인 프레임 화상(1692)과, 이미 복원된 참조프레임 화상(1691) 중의 1개를, 각각 교대로 기억한다.
도 21은, 제 1 기억영역(X101)은 현재복호 중인 프레임의 1개 앞의 프레임을 기억하고, 또한 제 2 기억영역(X121)은 현재복호 중인 프레임을 기억하는 상태를 나타내고 있다.
제 2 기억영역(X121)은 복수의 슬라이스(X151)로서 구성된다. 제 2 기억영역(X121)은, 이미 복호를 마친 슬라이스(X131)(1 또는 복수)와, 복호 중에 에러가 발생한 슬라이스(X132)(단수)와, 아직 복호되지 않은 슬라이스(X133)(1 또는 복수)로 구성된다.
제 1 기억영역(X101)은 복수의 슬라이스(X141)로부터 구성된다. 제 1 기억영역(X101)의 슬라이스(X111)(단수)는, 슬라이스(X132)에 대응한다. 슬라이스(X132)가, 제 2 기억영역(X121) 내에서 n번째의 슬라이스일 때, 제 1 기억영역(X1O1)의 슬라이스(X111)는, 제 1 기억영역(X1O1) 내에서 n번째의 슬라이스이다. 여기서, n은 1 이상의 상수이다.
복호제어부(110)는, 도 22도에 도시한 바와 같이, 기억영역 플래그(X161)를 갖는다. 기억영역 플래그(X161)는, 「제 1 기억영역(X101)은 현재 복호 중인 프레임의 1개 앞의 프레임을 기억하고, 또한 제 2 기억영역(X121)은 현재 복호 중인 프레임을 기억하고 있다」 또는, 「제 1 기억영역(X101)은 현재 복호 중인 프레임을 기억하고, 또한 제 2 기억영역(X121)은 현재 복호 중인 프레임의 1개 앞의 프레임을 기억하고 있다」 중 어느 한 상태를 나타내기 때문에, 각의 상태의 경우, 「1」 또는 「O」의 값을 취한다.
복호제어부(110)는, 화상 복호화장치의 기동 직후부터 비트 스트림의 분해처리를 개시하기 전에, 초기화처리로서, 기억영역 플래그(X161)에 「1」을 세트한다.
또한, 복호제어부(110)는, 프레임의 선두의 화상을 복호를 개시할 때, 기억영역 플래그(X161)에 의해, 현재 복호 중인 프레임을 기억하는 것을 표시한 제 1 기억영역(X101) 또는 제 2 기억영역(X121)에 공백을 기입하도록, 화상복원부(119)에 지시한다.
또, 복호제어부(110)는, 프레임의 최후의 화상의 복호가 종료한 후, 기억영역 플래그(X161)의 값을 반전한다. 즉, 기억영역 플래그(X161)의 값이「1」이면, 기억영역 플래그(X161)에 「0」의 값을 세트하고, 기억영역 플래그(X161)의 값이「0」이면, 기억영역 플래그(X161)에「1」의 값을 세트한다.
화상복원부(119)는, 복호 중에 에러가 발생한 경우는, 에러가 발생한 슬라이스(X132)에 당해하는 제 1 기억영역(X101)내의 슬라이스(X111)로부터, 1슬라이스 분의 화상을 판독하고, 1슬라이스 분이 판독한 화상을 제 2 기억영역(X121) 내의 슬라이스(X132)에 기입한다.
또한, 화상복원부(119)는, 복호제어부(110)로부터, 기억영역 플래그(X161)에 의해, 현재 복호 중인 프레임을 기억하는 것을 표시하는 제 1 기억영역(X101) 또는 제 2 기억영역(X121)에 공백을 기입하도록 지시받으면, 기억영역 플래그(X161)에 의해, 현재 복호 중인 프레임을 기억하는 것으로 표시되는 제 1 기억영역(X101) 또는 제 2 기억영역(X121)에 공백을 기입한다.
3.2 화상 복호화장치의 동작
여기에서는, 제 3 실시예로서의 화상 복호화장치의 동작에 대하여 도 23에 도시한 흐름도를 이용하여, 도 8에 도시한 흐름도와의 차이를 중심으로 설명하기로 한다.
도 8에 도시한 흐름도에, 단계(S31, S32, S33, S34)를 추가하여, 도 23에 도시한 흐름도로 하였다.
도 23도에 도시한 흐름도에서, 단계 S31에서는, 복호제어부(110)는, 화상 복호화장치의 기동 직후부터 비트 스트림의 분해처리를 개시하기 전에, 초기화처리로서 기억영역 플래그(X161)에 「1」을 세트한다.
단계 S32에서는, 기억영역의 초기화처리로서, 복호제어부(110)는 기억영역 플래그(X161)에 의해, 현재 복호 중인 프레임을 기억하는 것을 표시한 제 1 기억영역(X101) 또는 제 2 기억영역(X121)에 공백을 기입하도록, 화상복원부(119)에 지시하여, 화상복원부(119)는 이 지시를 받아, 기억영역 플래그(X161)에 의해 현재 복호 중인 프레임을 기억하는 것으로 표시되는 제 1 기억영역(X101) 또는 제 2 기억영역(X121)에 공백을 기입한다.
단계 S33에서는, 복호제어부(110)는 프레임의 최후의 화상의 복호가 종료한 후인가의 여부를 판단하여, 종료한 후라고 판단한 경우 단계 S34에서는, 기억영역 플래그(X161)의 값을 반전한다. 즉, 기억영역 플래그(X161)의 값이 「1」이면, 기억영역 플래그(X161)에 「0」의 값을 세트하여, 기억영역 플래그(X161)의 값이 「0」이면, 기억영역 플래그(X161)에 「1」의 값을 세트한다. 다음으로, 단계 S32로 제어를 복귀한다.
도 24에, 에러 발생시의 화상보상처리의 상세의 동작을 도시한 흐름도를 도시한다.
화상복원부(119)는, 복호 중에 에러가 발생한 경우는, 에러가 발생한 슬라이스(X132)에 당해하는 제 1 기억영역(X101) 내의 슬라이스(X111)로부터 1슬라이스 분의 화상을 판독하여(단계 SX401), 판독한 1슬라이스 분의 화상을 제 2 기억영역(X121) 내의 슬라이스(X132)에 기입한다(단계 SX402).
4. 제 4 실시예
여기에서는, 본 발명에 의한 제 4 실시예로서, 상기 제 1 실시예의 화상복원부(119)의 에러 발생시의 화상보상처리의 별도의 상세에 대하여 설명한다.
또, 다음에 도시한 실시예는, 상기 제 2 실시예에 게시한 화상복원부(13c)에서도, 똑같이 실시할 수 있다.
4.1 화상 복호화장치의 구성
여기에서는, 본 발명에 의한 제 4 실시예로서의 화상 복호화장치의 구성에 대하여 설명하기로 한다.
제 4 실시예로서의 화상 복호화장치는, 상기 제 1 실시예의 화상 복호화장치와 같은 구성이기 때문에, 이하에서는 다른 부분에 대하여만 설명하기로 한다.
화상기억부(120)는, 도 25에 도시한 바와 같이 복호 중인 프레임 화상(1692)을 기억하는 제 3 기억영역(X501)을 갖는다. 제 3 기억영역(X501)은 복수의 슬라이스(X521)로서 구성된다.
다음으로, 화상복원부(119)의 제 3 기억영역(X501)으로 프레임 화상의 기입의 상세한 사항에 대하여 설명하기로 한다.
지금, 1개의 프레임 화상의 복호가 종료하여, 계속되는 프레임 화상의 복호가 개시되기 직전의 시점으로 한다.
화상복원부(119)는, 당해 복호의 종료한 프레임 화상을 화상기억부(120)로부터 판독하여, 제 3 기억영역(X501)으로 기입한다.
다음으로, 계속되는 프레임 화상의 복호가 개시되면, 화상복원부(119)는 상기 계속되는 프레임 화상의 첫 번째의 슬라이스를 제 3 기억영역(X501)의 첫 번째 슬라이스에 기입한다. 이 때, 화상복원부(119)는 제 3 기억영역(X501)에 기억되어 있는 두 번째 이후의 슬라이스에 대해서는, 어떤 기입도 행하지 않는다.
또, 계속되는 프레임 화상의 두 번째의 슬라이스의 복호가 개시되면, 화상복원부(119)는, 상기 두 번째의 슬라이스를 제 3 기억영역(X501)의 두 번째 슬라이스에 기입한다. 이 때, 화상복원부(119)는 제 3 기억영역(X501)에 기억되는 세 번째 이후의 슬라이스에 대해서는, 어떤 기입도 행하지 않는다.
이하, 화상복원부(119)는 마찬가지로 하여, 세 번째 이후의 슬라이스의 기입을 행하여, 상기 계속되는 프레임 화상을 제 3 기억영역(X501)에 복호한다.
상기한 바와 같이 하여 프레임 화상을 복호 중에, 프레임 화상의 n 번째의 슬라이스를 복호 중에 에러가 발생하였다고 하자. 도 25도에 있어서, 슬라이스(X511)는 현재 복호 중인 프레임 화상에서 이미 복호를 마친 슬라이스를 나타내고, 슬라이스(X512)는 현재 복호 중인 프레임 화상에서 복호 중에 에러가 발생한 슬라이스를 나타내며, 슬라이스(X513)는 1개 전에 복호한 프레임의 복호를 마친 슬라이스를 나타낸다. 제 3 기억영역(X501)에서, 슬라이스(X511)에는 현재 복호 중인 프레임 화상의 n-1번째의 슬라이스까지의 화상이 기입되고, 슬라이스(X512)에는, 1개 앞의 프레임 화상의 n 번째의 슬라이스의 화상이 기입되며, 슬라이스(X513)에는, 1개 앞의 프레임 화상의 n+1번째 이후의 슬라이스의 화상이 기입된다.
이 경우, 화상복원부(119)는 에러가 발생한 n 번째 슬라이스의 화상의 슬라이스(X512)에 대한 기입은 행하지 않는다.
다음으로, 화상복원부(119)는 n+1번째 슬라이스가 복호되면, n+1번째 슬라이스의 화상을 제 3 기억영역(X501)의 n+1번째 슬라이스에 기입한다.
이후, 화상복원부(119)는, 마찬가지로 하여, 계속되는 슬라이스가 복호되면, 복호된 슬라이스를 제 3 기억영역(X501)이 계속되는 슬라이스에 기입한다.
이와 같이 함으로써, 프레임 화상의 n번째 슬라이스에서 에러가 발생한 경우는, 에러가 발생한 슬라이스의 화상의 대신에, 1개 앞의 프레임 화상의 n 번째 슬라이스의 화상이 채용된다.
4.2 화상 복호화장치의 동작
여기에서는, 제 4 실시예로서의 화상 복호화장치의 동작에 대하여 설명하기로 한다. 화상 복호화장치의 개요동작은, 도 8의 흐름도로 도시된 동작과 동일하다.
화상복사부의 처리동작에 대하여 도 26에 도시한 흐름도를 이용하여, 도 9에 도시한 흐름도와의 차이를 중심으로 설명하기로 한다.
도 9에 도시한 흐름도로부터, 단계 S204를 삭제하여 도 26에 도시한 흐름도로 하였다.
즉, 화상복원부(119)는, 슬라이스(X512)의 화상을 복원 중에 슬라이스(X512)에 에러가 발생한 경우는, 에러가 발생한 시점로부터 제 3 기억영역(X501)의 슬라이스(X512)로의 기입을 행하지 않는다.
이와 같이 함으로써, 에러가 발생한 슬라이스의 화상으로서, 1개 앞의 프레임이 대응하는 슬라이스의 화상이 채용된다.
상술한 바와 같은 본 발명의 구성에 의하면, 화상 복호화장치의 불필요한 처리를 회피하고, 고속처리가 가능하며, 또한 고기능을 갖는 화상 복호화 장치를 얻을 수 있게 된다.
본 발명의 바람직한 실시예들은 예시의 목적을 위해 개시된 것이며, 당업자라면 청부된 특허청구범위에 개시된 본 발명의 사상과 범위를 통해 각종 수정, 변경, 대체 및 부가가 가능할 것이다.
도 1은 예측 부호화의 원리를 설명하기 위한 도면.
도 2는 동화상을 압축한 압축부호 열의 계층 구성을 도시한 도면.
도 3은 블록 패턴의 패턴 예를 도시한 도면.
도 4는 종래의 화상 복호화장치의 시간경과에 따른 처리의 추이를 도시한 타이밍도.
도 5는 본 발명의 제 1 실시예로서의 화상 복호화장치의 개략적인 구성을 도시한 블록도.
도 6은 도 5에 도시한 화상 복호화장치의 데이터의 흐름을 도시한 도면.
도 7은 도 5에 도시한 화상 복호화장치의 데이터의 흐름을 도시한 도 6에서 이어진 도면.
도 8은 도 5에 도시한 화상 복호화장치의 동작을 도시한 흐름도.
도 9는 도 5에 도시한 화상 복호화장치의 에러 발생시의 동작을 도시한 흐름도.
도 10은 도 5에 도시한 화상 복호화장치의 시간경과에 따른 처리의 추이를 도시한 타이밍도.
도 11은 본 발명의 제 2 실시예로서의 화상 복호화장치의 개략적인 구성을 도시한 블록도.
도 12는 도 11에 도시한 화상 복호화장치의 데이터의 흐름을 도시한 도면.
도 13은 도 11에 도시한 화상 복호화장치의 데이터의 흐름을 도시한 도 12에서 이어진 도면.
도 14는 도 11에 도시한 화상 복호화장치의 데이터의 흐름을 도시한 도 13에서 이어진 도면.
도 15는 도 11에 도시한 화상 복호화장치의 데이터의 흐름을 도시한 도 14에서 이어진 도면.
도 16은 도 11에 도시한 화상 복호화장치의 부호 복호처리, 화상변환처리, 화상 복원처리의 상태의 천이를 도시한 도면.
도 17은 도 11에 도시한 화상 복호화장치의 순차 제어부의 동작을 도시한 흐름도.
도 18은 도 11에 도시한 화상 복호화장치의 순차 제어부의 동작을 도시한 흐름도로서 도 17에 계속되는 흐름도.
도 19는 도 11에 도시한 화상 복호화장치의 순차 제어부의 동작을 도시한 흐름도로서 도 18에 계속되는 흐름도.
도 20은 도 11에 도시한 화상 복호화장치의 시간경과에 따른 처리의 추이를 도시한 타이밍도.
도 21은 본 발명의 제 3 실시예로서의 화상 복호화장치의 화상 기억부의 구성을 도시한 도면.
도 22는 본 발명의 제 3 실시예로서의 화상 복호화장치의 복호제어부가 구비하는 기억영역 플래그를 도시한 도면.
도 23은 본 발명의 제 3 실시예로서의 화상 복호화장치의 동작을 도시한 흐름도.
도 24는 본 발명의 제 3 실시예로서의 화상 복호화장치의 에러 발생시의 화상보상 처리동작을 도시한 흐름도.
도 25는 본 발명의 제 4 실시예로서의 화상 복호화장치의 화상기억부의 구성을 도시한 도면.
도 26은 본 발명의 제 4 실시예로서의 화상 복호화장치의 에러 발생시의 처리동작 도시한 흐름도.
* 도면의 주요부분에 대한 부호의 설명 *
110 : 복호 제어부 111 : 비트 스트림 분해부
112 : 복호부 113 : 제 2 상수 발생기
114 : 제 2 선택부 115 : 역 영자화부
116 : 역이산 코사인 변환부 117 : 제 1 상수 발생부
118 ; 제 1 선택부 109 : 화상 복원부
120 : 화상 기억부

Claims (41)

  1. 압축부호 열을 복호하여 동화상을 생성하는 화상 복호화장치로서,
    상기 화상 복호화장치는, 압축부호 열을 분해하여 부호화된 원래의 단위화상을 추출하는 분해수단을 포함하고,
    상기 부호화된 원래의 단위화상은, 부호화되지 않은 원래의 단위화상과 이미 복호된 프레임 화상 중의 참조 단위화상이 동일한지의 여부를 나타내는 동이(同異) 정보를 포함하고, 상기 동이 정보가 상기 원래의 단위화상과 상기 참조 단위화상이 다른 것을 나타내는 경우에는 부호화 차분 단위화상을 더 포함하며,
    상기 차분 단위화상은, 상기 원래의 단위화상과, 상기 원래의 단위화상이 예측 부호화될 때 참조되는 다른 프레임 화상의 참조 단위화상이 다른 경우, 상기 원래의 단위화상을 구성하는 화소 값과 상기 참조 단위화상을 구성하는 화소 값의 차분 값으로 구성되고,
    상기 원래의 단위화상 및 상기 참조 단위화상은, 소정 수의 화소로 이루어지며;
    상기 화상 복호화장치는,
    추출된 상기 부호화 차분 단위화상을 차례차례 순서대로 복호하고, 차분 단위화상을 생성하는 화상 복호수단과;
    화소 값 O을 요소로 하는 단위화상으로 이루어지는 제 1 상수화상(常數畵像)을 발생하는 제 1 상수 발생수단과;
    상기 추출된 동이정보가, 원래의 단위화상과 참조 단위화상이 동일한 것을 나타내는 경우, 상기 제 1 상수 발생수단에 의해 발생된 상기 제 1 상수화상을 선택하고, 상기 추출된 동이정보가, 원래의 단위화상과 참조 단위화상이 다른 것을 나타내는 경우, 상기 화상 복호수단에 의해 복호된 상기 차분 단위화상을 선택하는 제 1 화상 선택수단과;
    상기 제 1 화상 선택수단에 의한 선택결과와 상기 참조 단위화상을 가산함으로써 원래의 단위화상을 생성하는 화상 복원수단을 더 포함하는 것을 특징으로 하는 화상 복호화장치.
  2. 제 1항에 있어서,
    상기 제 1 상수 발생수단은,
    1개의 화소 값 0을 생성하는 제 1 상수 생성부와;
    상기 제 1 상수 생성부에 대하여 상기 단위화상에 포함되는 화소 수만큼의 화소 값 0을 생성하도록 제어하고, 상기 단위화상에 포함되는 화소 수만큼의 화소 값 0을 요소로 하는 제 1 상수화상을 발생하는 제 1 상수 제어부를 포함하는 것을 특징으로 하는 화상 복호화장치.
  3. 제 1항에 있어서,
    상기 제 1 상수 발생수단은, 1개의 화소 값 0을 제 1 상수화상으로서 발생하고,
    상기 제 1 화상 선택수단은, 상기 참조 단위화상과 상기 원래의 단위화상이 동일한 경우, 상기 제 1 상수 발생수단에 의해 발생된 1개의 화소 값 0을, 상기 단위화상에 포함되는 화소 수만큼 선택하며,
    상기 화상 복원수단은, 상기 참조 단위화상과 상기 원래의 단위화상이 동일한 경우, 상기 제 1 화상 선택수단에 의해 선택된 상기 단위화상에 포함되는 화소 수만큼의 화소 값 0과, 이미 복호된 프레임 화상 중의 참조 단위화상을 가산함으로써 원래의 단위화상을 생성하는 것을 특징으로 하는 화상 복호화장치.
  4. 제 1항에 있어서,
    상기 제 1 상수 발생수단은 복수개의 화소 값 0을 제 1 상수화상으로서 발생하고,
    상기 제 1 화상 선택수단은 상기 참조 단위화상과 상기 원래의 단위화상이 동일한 경우, 상기 제 1 상수 발생수단에 의해 발생된 복수개의 화소 값 0으로 이루어지는 제 1 상수화상을 복수 개 선택하고, 합계하여 상기 단위화상에 포함되는 화소 수만큼의 화소 값 0을 선택하며,
    상기 화상 복원수단은, 상기 참조 단위화상과 상기 원래의 단위화상이 동일한 경우, 상기 제 1 화상 선택수단에 의해 선택된 상기 단위화상에 포함되는 화소 수만큼의 화소 값 0과, 이미 복호된 프레임 화상 중의 참조 단위화상을 가산함으로써 원래의 단위화상을 생성하는 것을 특징으로 하는 화상 복호화장치.
  5. 제 1항에 있어서,
    상기 화상 복호수단은,
    추출된 상기 부호화 차분 단위화상을 차례차례 순서대로 복호하여, 적어도 한 쌍의 유효 계수 값과 실행 길이를 생성하는 부호 열 복호수단과;
    화소 값 0으로 이루어지는 제 2 상수를 발생하는 제 2 상수 발생수단과;
    상기 부호 열 복호수단에 의해 생성된 상기 적어도 1개의 실행 길이를 취득하고, 취득한 실행 길이만큼의 상기 제 2 상수를 선택하며, 상기 생성된 적어도 1개의 유효 계수 값을 선택하고, 선택한 상기 실행 길이만큼의 제 2 상수와 상기 유효계수를 결합하여, 계수행렬을 생성하는 제 2 선택수단과;
    상기 제 2 선택수단에 의해 생성된 상기 계수행렬에, 역양자화 처리를 실시하여 직교 변환계수를 생성하는 역양자화 수단과;
    상기 생성된 직교 변환계수에 직교변환의 역변환 처리를 실시하여 상기 차분 단위화상을 생성하는 역 직교변환수단을 포함하는 것을 특징으로 하는 화상 복호화장치.
  6. 제 5항에 있어서,
    상기 역 직교변환수단에서, 상기 직교변환의 역변환 처리는, 역 이산코사인 변환인 것을 특징으로 하는 화상 복호화장치.
  7. 제 6항에 있어서,
    상기 화상 복원수단은,
    1 또는 복수의 참조 프레임 화상과 장래에 복원하는 제 1 프레임 화상을 기억하는 화상 기억수단과;
    상기 화상 기억수단에 기억되는 참조 프레임 화상으로부터 참조 단위화상을 판독하며, 판독한 참조 단위화상과, 상기 제 1 화상 선택수단에 의해 선택된 상기 제 1 상수화상 또는 상기 차분 단위화상을 가산하여 원래의 단위화상을 생성하고, 생성된 원래의 단위화상을 상기 화상 기억수단에 제 1 프레임 화상으로서 기입하는 부 화상 복원수단을 포함하는 것을 특징으로 하는 화상 복호화장치.
  8. 제 7항에 있어서,
    상기 화상 복호수단은,
    상기 원래의 단위화상마다 상기 부호화 차분 단위화상에서 상기 차분 단위화상이 생성될 때, 상기 부호화 차분 단위화상이 규정 외의 값을 포함하는 것을 나타내는 에러를 검출하는 제 1 에러검출수단을 더 포함하고,
    상기 화상 복호화장치는,
    상기 제 1 에러검출수단이 에러를 검출한 경우, 상기 화상 복호수단에 대하여 에러가 발생한 부호화 차분 단위화상의 복호를 중지하도록 제어하는 제 1 에러 제어수단을 더 포함하며,
    상기 화상 복원수단은,
    에러가 검출된 경우, 에러가 발생한 부호화 차분 단위화상 대신에, 상기 화상 기억수단에 기억되어 있는 상기 참조 프레임 화상을 이용하여, 대체 단위화상을 생성하고, 생성한 상기 대체 단위화상을 상기 화상 기억수단에 제 1 프레임 화상으로서 기입하는 에러화상 복원수단을 더 포함하는 것을 특징으로 하는 화상 복호화장치.
  9. 제 8항에 있어서,
    상기 화상 복원수단은,
    원래의 단위화상이 생성되는 경우, 움직임 보상처리에 따라 발생하는 에러를 검출하는 제 2 에러검출수단을 더 포함하고,
    상기 제 1 에러제어수단은, 또한, 상기 제 2 에러검출수단이 에러를 검출한 경우, 상기 화상 복호수단에 대하여 에러가 발생한 부호화 차분 단위화상의 복호를 중지하도록 제어하는 것을 특징으로 하는 화상 복호화장치.
  10. 제 9항에 있어서,
    상기 화상 복원수단은,
    프레임 화상의 복원을 개시하기 전에, 상기 화상 기억수단에 기억되는 상기 참조 프레임 화상을 판독하고, 판독한 상기 참조 프레임 화상을 상기 화상 기억수단에 제 1 프레임 화상으로서 기입하는 프레임 화상 복사수단을 더 포함하며,
    상기 부 화상 복원수단은,
    상기 제 1 에러검출수단 및 상기 제 2 에러검출수단에 의해, 에러가 검출되지 않은 경우, 생성된 상기 원래의 단위화상을 상기 화상 기억수단에 제 1 프레임 화상으로서 기입하는 단위화상 기입수단을 포함하고,
    상기 화상 복원수단은,
    상기 제 1 에러검출수단 또는 상기 제 2 에러검출수단에 의해, 에러가 검출된 경우, 상기 에러화상 복원수단에 대하여, 상기 대체 단위화상의 화상 기억수단으로의 기입을 억제하는 화상기입 억제수단을 더 포함하는 것을 특징으로 하는 화상 복호화장치.
  11. 제 9항에 있어서,
    상기 에러화상 복원수단은,
    상기 제 1 에러검출수단 또는 상기 제 2 에러검출수단에 의해 에러가 검출된 경우, 상기 화상 기억수단으로부터 상기 에러가 검출된 부호화 차분 단위화상과 상기 참조 프레임 화상 중의 같은 위치의 단위화상을 판독하는 화상 판독수단과;
    판독한 상기 단위화상을 대체 단위화상으로 하여, 상기 대체 단위화상을 상기 화상 기억수단에 제 1 프레임 화상으로서 기입하는 대체화상 기입수단을 포함하는 것을 특징으로 하는 화상 복호화장치.
  12. 제 7항에 있어서,
    상기 화상 복원수단은,
    원래의 단위화상이 생성되는 경우, 움직임 보상처리에 따라 발생하는 에러를 검출하는 제 2 에러검출수단과;
    에러가 검출된 경우, 에러가 발생한 부호화 차분 단위화상 대신에, 상기 화상 기억수단에 기억되어 있는 상기 참조 프레임 화상을 이용하여, 대체 단위화상을 생성하고, 생성한 상기 대체 단위화상을 상기 화상 기억수단에 제 1 프레임 화상으로서 기입하는 에러화상 복원수단을 더 포함하고,
    상기 화상 복호화장치는,
    제 2 에러검출수단이 에러를 검출한 경우, 상기 화상 복호수단에 대하여 에러가 발생한 부호화 차분 단위화상의 복호를 중지하도록 제어하는 제 1 에러제어수단을 더 포함하는 것을 특징으로 하는 화상 복호화장치.
  13. 제 12항에 있어서,
    상기 화상 복원수단은,
    프레임 화상의 복원을 개시하기 전에, 상기 화상 기억수단에 기억되는 상기 참조 프레임 화상을 판독하고, 판독한 상기 참조 프레임 화상을 상기 화상 기억수단에 제 1 프레임 화상으로서 기입하는 프레임 화상 복사수단을 포함하며,
    상기 부 화상 복원수단은,
    상기 제 2 에러검출수단에 의해, 에러가 검출되지 않은 경우, 생성된 상기 원래의 단위화상을 상기 화상 기억수단에 제 1 프레임 화상으로서 기입하는 단위화상 기입수단을 더 포함하고,
    상기 화상 복원수단은,
    상기 제 2 에러검출수단에 의해, 에러가 검출된 경우 상기 에러 화상 복원수단에 대하여, 상기 대체 단위화상의 상기 화상 기억수단으로의 기입을 억제하는 화상기입 억제수단을 포함하는 것을 특징으로 하는 화상 복호화장치.
  14. 제 12항에 있어서,
    상기 에러화상 복원수단은,
    상기 제 2 에러검출수단에 의해 에러가 검출된 경우, 상기 화상 기억수단으로부터 상기 에러가 검출된 부호화 차분 단위화상과 상기 참조 프레임 화상 중의 같은 위치의 단위화상을 판독하는 화상판독수단과;
    판독한 상기 단위화상을 대체 단위화상으로 하여, 상기 대체 단위화상을 상기 화상 기억수단에 제 1 프레임 화상으로서 기입하는 대체화상 기입수단을 더 포함하는 것을 특징으로 하는 화상 복호화장치.
  15. 압축부호 열을 복호하여 동화상을 생성하는 화상 복호화장치로서,
    상기 화상 복호화장치는,
    압축부호 열을 분해하여 부호화된 소정 수의 원래의 단위화상을 추출하는 분해수단을 포함하며,
    상기 부호화된 소정 수의 원래의 단위화상은, 상기 소정 수의 원래의 단위화상 중, 어떤 부호화되지 않은 원래의 단위화상이 이미 복호화 된 프레임 화상 중의 참조 단위화상과 동일하고, 어떤 부호화되지 않은 원래의 단위화상이 참조 단위화상과 다른가를 나타내는 동이(同異) 패턴을 식별하는 패턴 식별자를 포함하고,
    상기 부호화된 소정 수의 원래의 단위화상은, 상기 소정 수의 원래의 단위화상 중, 상기 패턴식별자에 의해 식별되는 동이패턴에 의해 참조 단위화상과 다른 것이 나타나 있는 원래의 단위화상에 대하여, 부호화 차분 단위화상을 더 포함하며,
    상기 차분 단위화상은, 상기 원래의 단위화상과 상기 원래의 단위화상이 예측 부호화될 때 참조되는 다른 프레임 화상의 참조 단위화상이 다른 경우, 상기 원래의 단위화상을 구성하는 화소 값과 상기 참조 단위화상을 구성하는 화소 값의 차분 값으로 구성되고,
    상기 원래의 단위화상 및 상기 참조 단위화상은 소정 수의 화소로 이루어지며;
    상기 화상 복호화장치는,
    추출된 상기 부호화 차분 단위화상을 차례차례 순서대로 복호하고, 차분 단위화상을 생성하는 화상 복호수단과;
    화소 값 0을 요소로 하는 단위화상으로 이루어지는 제 1 상수화상을 발생하는 제 1 상수발생수단과;
    동이 패턴과, 각 동이 패턴을 식별하는 패턴 식별자를 기억하는 패턴표와, 상기 추출된 패턴 식별자가 나타내는 동이 패턴을 패턴표로부터 특정하여, 소정 수의 원래의 단위화상의 각각마다 부호화되지 않은 원래의 단위화상이 참조 단위화상과 동일한지의 여부를 판정하는 판상수단과, 소정 수의 원래의 단위화상의 각각마다 부호화되지 않은 원래의 단위화상과 참조 단위화상이 동일하다고 판정된 경우, 상기 제 1 상수발생수단에 의해 발생된 상기 제 1 상수화상을 선택하고, 부호화되지 않은 원래의 단위화상과 참조 단위화상이 다르다고 판정된 경우, 상기 화상 복호수단에 의해 복호된 상기 차분 단위화상을 선택하는 선택수단을 구비하는 제 1 화상 선택수단과;
    상기 제 1 화상 선택수단에 의한 선택결과와 상기 참조 단위화상을 가산함으로써, 원래의 단위화상을 생성하는 화상 복원수단을 더 포함하는 것을 특징으로 하는 화상 복호화장치.
  16. 제 15항에 있어서,
    상기 제 1 상수 발생수단은 상기 소정 수의 원래의 단위화상에 포함되는 화소 수만큼의 화소 값 0을 포함하는 제 3 상수화상을 더 발생하고,
    상기 판상수단은 또한 상기 추출된 패턴 식별자를 이용하여, 상기 소정 수의 원래의 단위화상마다, 당해 소정 수의 원래의 단위화상의 전부가 상기 참조 단위화상과 동일한가, 또는 당해 소정 수의 원래의 단위화상의 적어도 1개가 상기 참조 단위화상과 다른가를 판정하며,
    상기 선택수단은, 상기 판상수단에 의해, 상기 소정 수의 원래의 단위화상의 전부가 상기 참조 단위화상과 동일하다고 판정되는 경우, 상기 제 1 상수 발생수단에 의해 발생된 상기 제 3 상수화상을 선택하고,
    상기 화상 복호수단은,
    추출된 상기 부호화 차분 단위화상을 차례차례 순서대로 복호하여, 적어도 1 쌍의 유효 계수 값과 실행 길이를 생성하는 부호 열 복호수단과;
    화소 값 0으로 이루어지는 제 2 상수와, 상기 원래의 단위화상에 포함되는 화소 수만큼의 화소 값 0을 포함하는 제 4 상수를 발생하는 제 2 상수 발생수단과;
    상기 소정 수의 원래의 단위화상의 적어도 1개가 상기 참조 단위화상과 다르다고 판정된 경우,
    상기 소정 수의 원래의 단위화상의 각각의 원래의 단위화상마다, 상기 원래의 단위화상과 상기 참조 단위화상이 동일한 원래의 단위화상에 대해서는, 상기 제 2 상수 발생수단에 의해 발생되는 상기 제 4 상수를 선택하여 계수행렬을 생성하고,
    상기 소정 수의 원래의 단위화상의 각각의 원래의 단위화상마다, 상기 원래의 단위화상과 상기 참조 단위화상이 다른 원래의 단위화상에 대해서는, 상기 부호 열 복호수단에 의해 생성된 상기 적어도 1개의 실행 길이를 취득하고, 취득한 실행 길이만큼의 상기 제 2 상수를 선택하여, 상기 생성된 적어도 1개의 유효 계수 값을 선택하고, 선택한 상기 실행 길이만큼의 제 2 상수와 상기 유효 계수 값을 결합하여, 계수행렬을 생성하는 제 2 선택수단과;
    상기 제 2 선택수단에 의해 생성된 상기 계수행렬에, 역양자화 처리를 실시하여, 직교 변환계수를 생성하는 역 양자화 수단과;
    상기 생성된 직교 변환계수에 직교 변환의 역변환처리를 실시하여, 상기 차분 단위화상을 생성하는 역 직교변환수단을 포함하는 것을 특징으로 하는 화상 복호화장치.
  17. 압축부호 열을 복호하여 동화상을 생성하는 화상 복호화장치로서,
    상기 화상 복호화 장치는 제 1 처리수단과, 제 1 기억수단과, 제 2 처리수단과, 제 2 기억수단과, 제 3처리수단과, 순차제어수단을 포함하고,
    상기 제 1 처리수단은,
    압축부호 열을 분해하여 부호화된 원래의 단위화상을 추출하는 분해수단을 포함하고,
    상기 부호화된 원래의 단위화상은, 부호화되지 않은 원래의 단위화상과 이미 복호된 프레임 화상중의 참조 단위화상이 동일한지의 여부를 나타내는 동이 정보를 포함하고, 상기 동이 정보가 상기 원래의 단위화상과 상기 참조 단위화상이 다른 것을 나타내는 경우에는 부호화 차분 단위화상을 더 포함하며,
    상기 차분 단위화상은, 상기 원래의 단위화상과 상기 원래의 단위화상이 예측부호화 될 때 참조되는 다른 프레임 화상의 참조 단위화상이 다른 경우, 상기 원래의 단위화상을 구성하는 화소 값과 상기 참조 단위화상을 구성하는 화소 값의 차분 값으로 구성되며,
    상기 원래의 단위화상 및 상기 참조 단위화상은 소정 수의 화소로 이루어지고;
    또한, 상기 제 1 처리수단은,
    추출된 상기 부호화 차분 단위화상을 차례차례 순서대로 복호하여, 적어도 1 쌍의 유효 계수 값과 실행 길이를 생성하는 부호 열 복호수단과,
    화소 값 0으로 이루어지는 제 2 상수를 발생하는 제 2 상수 발생수단과,
    상기 부호 열 복호수단에 의해 생성된 상기 적어도 1개의 실행 길이를 취득하고, 취득한 실행 길이만큼의 상기 제 2 상수를 선택하며, 상기 생성된 적어도 1개의 유효 계수 값을 선택하고, 선택한 상기 실행 길이만큼의 제 2 상수와 상기 유효계수를 결합하여, 계수행렬을 생성하는 제 2 선택수단을 포함하고;
    상기 제 1 기억수단은 상기 생성된 계수행렬을 기억하며;
    상기 제 2 처리수단은,
    상기 제 1 기억수단으로부터, 상기 계수행렬을 판독하고, 판독한 계수행렬에, 역양자화 처리를 실시하여 직교 변환계수를 생성하는 역양자화 수단과,
    상기 생성된 직교 변환계수에 직교변환의 역변환 처리를 실시하여 차분 단위화상을 생성하는 역 직교변환수단을 포함하고;
    상기 제 2 기억수단은 생성된 상기 차분 단위화상을 기억하며;
    상기 제 3 처리수단은,
    화소 값 0을 요소로 하는 단위화상으로 이루어지는 제 1 상수화상을 발생하는 제 1 상수 발생수단과,
    상기 추출된 동이정보가, 원래의 단위화상과 참조 단위화상이 동일함을 나타내는 경우, 상기 제 1 상수 발생수단에 의해 발생된 상기 제 1 상수화상을 선택하고, 상기 추출된 동이정보가, 상기 참조 단위화상과 원래의 단위화상이 다른 것을 나타내는 경우, 상기 제 2 기억수단으로부터 상기 차분 단위 화상을 판독하여, 판독한 상기 차분 단위화상을 선택하는 제 1 화상 선택수단과;
    1 또는 복수의 참조 프레임 화상과 장래에 복원하는 제 1 프레임 화상을 기억하는 화상 기억수단과,
    상기 화상 기억수단에 기억되는 참조 프레임 화상으로부터 참조 단위화상을 판독하고,
    판독한 참조 단위화상과, 상기 제 1 화상 선택수단에 의해 선택된 상기 제 1 상수화상 또는 상기 차분 단위화상을 가산하여 원래의 단위화상을 생성하고, 생성된 원래의 단위화상을 상기 화상 기억수단에 제 1 프레임 화상으로서 기입하는 화상 복원수단을 포함하고;
    상기 순차 제어수단은, 상기 제 1 처리수단과 상기 제 2 처리수단 및 상기 제 3 처리수단을 파이프라인 제어하는 것을 특징으로 하는 화상 복호화장치.
  18. 제 17항에 있어서,
    상기 제 1 처리수단은,
    상기 원래의 단위화상마다 상기 부호화 차분 단위화상에서 상기 차분 단위화상이 생성될 때, 상기 부호화 차분 단위화상이 규정 외의 값을 포함하는 것을 나타내는 에러를 검출하는 제 1 에러검출수단과,
    상기 제 1 에러검출수단이 에러를 검출한 경우, 상기 부호 열 복호수단에 대하여 에러가 발생한 부호화 차분 단위화상의 복호를 중지하도록 제어하는 제 1 에러제어수단을 더 포함하며,
    상기 제 3 처리수단은,
    에러가 검출된 경우, 에러가 발생한 부호화 차분 단위화상 대신에, 상기 화상 기억수단에 기억되어 있는 상기 참조 프레임 화상을 이용하여, 대체 단위화상을 생성하고, 생성한 상기 대체 단위화상을 상기 화상 기억수단에 제 1 프레임 화상으로서 기입하는 에러화상 복원수단을 더 포함하는 것을 특징으로 하는 화상 복호화장치.
  19. 제 18항에 있어서,
    상기 제 3 처리수단은,
    원래의 단위화상이 생성되는 경우, 움직임 보상처리에 따라 발생하는 에러를 검출하는 제 2 에러검출수단을 포함하며,
    상기 제 1 에러제어수단은, 또한 제 2 에러검출수단이 에러를 검출한 경우, 상기 화상 복호수단에 대하여 에러가 발생한 부호화 차분 단위화상의 복호를 중지하도록 제어하는 것을 특징으로 하는 화상 복호화장치.
  20. 제 19항에 있어서,
    상기 제 3 처리수단은,
    프레임 화상의 복원을 개시하기 전에, 상기 화상 기억수단에 기억되는 상기 참조 프레임 화상을 판독하고, 판독한 상기 참조 프레임 화상을 상기 화상 기억수단에 제 1 프레임 화상으로서 기입하는 프레임 화상 복사수단을 포함하며,
    상기 화상 복원수단은,
    상기 제 1 에러검출수단 및 상기 제 2 에러검출수단에 의해, 에러가 검출되지 않은 경우, 생성된 상기 원래의 단위화상을 상기 화상 기억수단에 제 1 프레임 화상으로서 기입하는 단위화상 기입수단을 포함하고,
    상기 화상 복원수단은,
    상기 제 1 에러검출수단 또는 상기 제 2 에러검출수단에 의해, 에러가 검출된 경우, 상기 에러화상 복원수단에 대하여 상기 대체 단위화상의 상기 화상 기억수단으로의 기입을 억제하는 화상기입 억제수단을 포함하는 것을 특징으로 하는 화상 복호화장치.
  21. 제 19항에 있어서,
    상기 에러화상 복원수단은,
    상기 제 1 에러검출수단 또는 상기 제 2 에러검출수단에 의해 에러가 검출된 경우, 상기 화상 기억수단으로부터 상기 에러가 검출된 부호화 차분 단위화상과 상기 참조 프레임 화상 중의 같은 위치의 단위화상을 판독하는 화상판독수단과;
    판독한 상기 단위화상을 대체 단위화상으로 하여, 상기 대체 단위화상을 상기 화상 기억수단에 제 1 프레임 화상으로서 기입하는 대체화상 기입수단을 더 포함하는 것을 특징으로 하는 화상 복호화장치.
  22. 압축부호 열을 복호하여 동화상을 생성하는 화상 복호화장치로서,
    상기 화상 복호화 장치는, 압축부호 열을 분해하여 부호화된 원래의 블록을 추출하는 분해수단을 포함하고,
    상기 부호화된 원래의 블록은, 부호화되지 않은 원래의 블록과 이미 복호된 프레임 화상중의 참조블록이 동일한지의 여부를 나타내는 동이 정보를 포함하고, 상기 동이 정보가 상기 원래의 블록과 상기 참조블록이 다른 것을 나타내는 경우에는 부호화 차분 블록을 더 포함하며,
    상기 차분 블록은, 상기 원래의 블록과, 상기 원래의 블록이 예측 부호화될 때 참조되는 다른 프레임 화상의 참조블록이 다른 경우, 상기 원래의 블록을 구성하는 화소 값과 상기 참조블록을 구성하는 화소 값의 차분 값으로 구성되며,
    상기 원래의 블록 및 상기 참조블록은, 소정 수의 화소로 이루어지고;
    또한, 상기 화상 복호화장치는,
    추출된 상기 부호화 차분 블록을 차례차례 순서대로 복호하고, 차분 블록을 생성하는 화상 복호수단과;
    화소 값 0을 요소로 하는 블록으로 이루어지는 제 1 상수화상을 발생하는 제 1 상수 발생수단과;
    상기 추출된 동이 정보가, 상기 참조블록과 상기 원래의 블록이 동일한 것을 나타내는 경우, 상기 제 1 상수 발생수단에 의해 발생된 상기 제 1 상수화상을 선택하고, 상기 추출된 동이 정보가, 상기 참조블록과 상기 원래의 블록이 다른 것을 나타내는 경우, 상기 화상 복호수단에 의해 복호된 상기 차분 블록을 선택하는 제 1 화상 선택수단과;
    상기 제 1 화상 선택수단에 의한 선택결과와 상기 참조블록을 가산함으로써 원래의 블록을 생성하는 화상 복원수단을 포함하는 것을 특징으로 하는 화상복호화 장치.
  23. 제 22항에 있어서,
    상기 제 1 상수 발생수단은,
    1개의 화소 값 0을 생성하는 제 1 상수 생성부와;
    상기 제 1 상수 생성부에 대하여, 상기 블록에 포함되는 화소 수만큼의 화소 값 0을 생성하도록 제어하고, 상기 블록에 포함되는 화소 수만큼의 화소 값 0을 요소로 하는 제 1 상수화상을 발생하는 제 1 상수 제어부를 포함하는 것을 특징으로 하는 화상 복호화장치.
  24. 제 22항에 있어서,
    상기 제 1 상수 발생수단은 1개의 화소 값 0을 제 1 상수화상으로서 발생하고,
    상기 제 1 화상 선택수단은 상기 참조블록과 상기 원래의 블록이 동일한 경우, 상기 제 1 상수 발생수단에 의해 발생된 1개의 화소 값 0을, 상기 블록에 포함되는 화소 수만큼 선택하며,
    상기 화상 복원수단은, 상기 참조블록과 상기 원래의 블록이 동일한 경우, 상기 제 1 화상 선택수단에 의해 선택된 상기 블록에 포함되는 화소 수만큼의 화소 값 0과, 이미 복호된 프레임 화상 중의 참조블록을 가산함으로써 원래의 블록을 생성하는 것을 특징으로 하는 화상 복호화장치.
  25. 제 22항에 있어서,
    상기 제 1 상수 발생수단은, 복수개의 화소 값 0을 제 1 상수화상으로서 발생하고,
    상기 제 1 화상 선택수단은, 상기 참조블록과 상기 원래의 블록이 동일한 경우, 상기 제 1 상수 발생수단에 의해 발생된 복수개의 화소 값 0으로 이루어지는 제 1 상수화상을 복수개 선택하고 합계하여 상기 블록에 포함되는 화소 수만큼의 화소 값 0을 선택하며,
    상기 화상 복원수단은, 상기 참조블록과 상기 원래의 블록이 동일한 경우, 상기 제 1 화상 선택수단에 의해 선택된 상기 블록에 포함되는 화소 수만큼의 화소 값 0과, 이미 복호된 프레임 화상 중의 참조블록을 가산함으로써 원래의 블록을 생성하는 것을 특징으로 하는 화상 복호화장치.
  26. 제 22항에 있어서,
    상기 화상 복호수단은,
    추출된 상기 부호화 차분 블록을 차례차례 순서대로 복호하여, 적어도 한 쌍의 유효 계수 값과 실행 길이를 생성하는 부호 열 복호수단과;
    화소 값 0으로 이루어지는 제 2 상수를 발생하는 제 2 상수 발생수단과;
    상기 부호 열 복호수단에 의해 생성된 상기 적어도 1개의 실행 길이를 취득하고, 취득한 실행 길이만큼의 상기 제 2 상수를 선택하며, 상기 생성된 적어도 1개의 유효 계수 값을 선택하고, 선택한 상기 실행 길이만큼의 제 2 상수와 상기 유효 계수를 결합하여, 계수행렬을 생성하는 제 2 선택수단과;
    상기 제 2 선택수단에 의해 생성된 상기 계수행렬에, 역양자화 처리를 실시하여 직교변환 계수를 생성하는 역양자화 수단과;
    상기 생성된 직교변환 계수에 직교변환의 역변환 처리를 실시하여 상기 차분 블록을 생성하는 역 직교변환수단을 포함하는 것을 특징으로 하는 화상 복호화장치.
  27. 제 26항에 있어서,
    화상 복호화장치의 상기 역 직교변환수단에서,
    상기 직교변환의 역변환처리는 역 이산코사인 변환인 것을 특징으로 하는 화상 복호화장치.
  28. 제 27항에 있어서,
    상기 화상 복원수단은,
    1 또는 복수의 참조 프레임 화상과 장래에 복원하는 제 1 프레임 화상을 기억하는 화상 기억수단과;
    상기 화상 기억수단에 기억되는 참조 프레임 화상으로부터 참조블록을 판독하며, 판독한 참조블록과, 상기 제 1 화상 선택수단에 의해 선택된 상기 제 1 상수화상 또는 상기 차분블록을 가산하여 원래의 블록을 생성하고, 생성된 원래의 블록을 상기 화상 기억수단에 제 1 프레임 화상으로서 기입하는 부 화상 복원수단을 포함하는 것을 특징으로 하는 화상 복호화장치.
  29. 제 28항에 있어서,
    상기 화상 복호수단은,
    상기 원래의 블록마다 상기 부호화 차분 블록에서 상기 차분 블록이 생성될 때, 상기 부호화 차분 블록이 규정 외의 값을 포함하는 것을 나타내는 에러를 검출하는 제 1 에러검출수단을 더 포함하고,
    상기 화상 복호화장치는,
    상기 제 1 에러검출수단이 에러를 검출한 경우, 상기 화상 복호수단에 대하여 에러가 발생한 부호화 차분 블록의 복호를 중지하도록 제어하는 제 1 에러제어수단을 더 포함하며,
    상기 화상 복원수단은,
    에러가 검출된 경우, 에러가 발생한 부호화 차분 블록 대신에, 상기 화상 기억수단에 기억되어 있는 상기 참조 프레임 화상을 이용하여, 대체 블록을 생성하고, 생성한 상기 대체 블록을 상기 화상 기억수단에 제 1 프레임 화상으로서 기입하는 에러화상 복원수단을 더 포함하는 것을 특징으로 하는 화상 복호화장치.
  30. 제 29항에 있어서,
    상기 화상 복원수단은,
    원래의 블록이 생성되는 경우, 움직임 보상처리에 따라 발생하는 에러를 검출하는 제 2 에러검출수단을 더 포함하고,
    상기 제 1 에러제어수단은, 또한, 상기 제 2 에러검출수단이 에러를 검출한 경우, 상기 화상 복호수단에 대하여 에러가 발생한 부호화 차분 블록의 복호를 중지하도록 제어하는 것을 특징으로 하는 화상 복호화장치.
  31. 제 30항에 있어서,
    상기 화상 복원수단은,
    프레임 화상의 복원을 개시하기 전에, 상기 화상 기억수단에 기억되는 상기 참조 프레임 화상을 판독하고, 판독한 상기 참조 프레임 화상을 상기 화상 기억수단에 제 1 프레임 화상으로서 기입하는 프레임 화상 복사수단을 포함하며,
    상기 부 화상 복원수단은,
    상기 제 1 에러검출수단 및 상기 제 2 에러검출수단에 의해, 에러가 검출되지 않은 경우, 생성된 상기 원래의 블록을 상기 화상 기억수단에 제 1 프레임 화상으로서 기입하는 블록 기입수단을 포함하고,
    상기 화상 복원수단은,
    상기 제 1 에러검출수단 또는 상기 제 2 에러검출수단에 의해, 에러가 검출된 경우, 상기 에러화상 복원수단에 대하여, 상기 대체 블록의 상기 화상 기억수단으로의 기입을 억제하는 화상기입 억제수단을 포함하는 것을 특징으로 하는 화상 복호화장치.
  32. 제 30항에 있어서,
    상기 에러화상 복원수단은,
    상기 제 1 에러검출수단 또는 상기 제 2 에러검출수단에 의해 에러가 검출된 경우, 상기 화상 기억수단으로부터 상기 에러가 검출된 부호화 차분블록과 상기 참조 프레임 화상 중의 같은 위치의 블록을 판독하는 화상 판독수단과;
    판독한 상기 블록을 대체 블록으로 하여, 상기 대체 블록을 상기 화상 기억수단에 제 1 프레임 화상으로서 기입하는 대체화상 기입수단을 더 포함하는 것을 특징으로 하는 화상 복호화장치.
  33. 압축부호 열을 복호하여, 동화상을 생성하는 화상 복호화장치로서,
    상기 화상 복호화장치는,
    압축부호 열을 분해하여 부호화된 소정 수의 원래의 블록을 추출하는 분해수단을 포함하며,
    상기 부호화된 소정 수의 원래의 블록은, 상기 소정 수의 원래의 블록 중, 어떤 부호화되지 않은 원래의 블록이 이미 복호화 된 프레임 화상 중의 참조블록과 동일하고, 어떤 부호화되지 않은 원래의 블록이 참조블록과 다른가를 나타내는 동이 패턴을 식별하는 패턴 식별자를 포함하고,
    상기 부호화된 소정 수의 원래의 블록은, 상기 소정 수의 원래의 블록 중, 상기 패턴 식별자에 의해 식별되는 동이 패턴에 의해 참조블록과 다른 것이 나타나 있는 원래의 블록에 대하여, 부호화 차분 블록을 더 포함하며,
    상기 차분블록은, 상기 원래의 블록과 상기 원래의 블록이 예측 부호화될 때 참조되는 다른 프레임 화상의 참조블록이 다른 경우, 상기 원래의 블록을 구성하는 화소 값과 상기 참조블록을 구성하는 화소 값의 차분 값으로 구성되고,
    상기 원래의 블록 및 상기 참조블록은 소정 수의 화소로 이루어지며;
    또한, 상기 화상 복호화장치는,
    추출된 상기 부호화 차분블록을 차례차례 순서대로 복호하고, 차분블록을 생성하는 화상 복호수단과;
    화소 값 0을 요소로 하는 블록으로 이루어지는 제 1 상수화상을 발생하는 제 1 상수 발생수단과;
    동이 패턴과, 각 동이 패턴을 식별하는 패턴 식별자를 기억하는 패턴표와, 상기 추출된 패턴 식별자가 나타내는 동이 패턴을 패턴표로부터 특정하여, 소정 수의 원래의 블록의 각각마다 부호화되지 않은 원래의 블록이 참조블록과 동일한지의 여부를 판정하는 판상수단과, 소정 수의 원래의 블록의 각각마다 부호화되지 않은 원래의 블록과 참조블록이 동일하다고 판정된 경우, 상기 제 1 상수 발생수단에 의해 발생된 상기 제 1 상수화상을 선택하여, 부호화되지 않은 원래의 블록과 참조블록이 다르다고 판정된 경우, 상기 화상 복호수단에 의해 복호된 상기 차분블록을 선택하는 선택수단을 포함하는 제 1 화상 선택수단과;
    상기 제 1 화상 선택수단에 의한 선택결과와 상기 참조블록을 가산함으로써, 원래의 블록을 생성하는 화상 복원수단을 포함하는 것을 특징으로 하는 화상 복호화장치.
  34. 제 33항에 있어서,
    상기 제 1 상수 발생수단은, 또한 상기 소정 수의 원래의 블록에 포함되는 화소 수만큼의 화소 값 0을 포함하는 제 3 상수화상을 발생하고,
    상기 판상수단은, 또한 추출된 패턴 식별자를 이용하여, 상기 소정 수의 원래의 블록마다, 당해 소정 수의 원래의 블록의 전부가 상기 참조블록과 동일한가, 또는 당해 소정 수의 원래의 블록의 적어도 1개가 상기 참조블록과 다른가를 판정하고,
    상기 선택수단은 상기 판상수단에 의해 상기 소정 수의 원래의 블록의 전부가 상기 참조블록과 동일하다고 판정되는 경우, 상기 제 1 상수 발생수단에 의해 발생된 상기 제 3 상수화상을 선택하고,
    상기 화상 복호수단은,
    추출된 상기 부호화 차분 블록을 차례차례 순서대로 복호하여, 적어도 1 쌍의 유효 계수 값과 실행 길이를 생성하는 부호 열 복호수단과;
    화소 값 0으로 이루어지는 제 2상수와, 상기 원래의 블록에 포함되는 화소 수만큼의 화소 값 0을 포함하는 제 4 상수를 발생하는 제 2 상수 발생수단과;
    상기 소정 수의 원래의 블록의 적어도 1개가 상기 참조블록과 다르다고 판정된 경우,
    상기 소정 수의 원래의 블록의 각각의 원래의 블록마다, 상기 원래의 블록과 상기 참조블록이 동일한 원래의 블록에 대해서는, 상기 제 2 상수 발생수단에 의해 발생되는 상기 제 4 상수를 선택하여, 계수행렬을 생성하고,
    상기 소정 수의 원래의 블록의 각각의 원래의 블록마다. 상기 원래의 블록과 상기 참조블록이 다른 원래의 블록에 대해서는, 상기 부호 열 복호수단에 의해 생성된 상기 적어도 1개의 실행 길이를 취득하고, 취득한 실행 길이만큼의 상기 제 2 상수를 선택하여, 상기 생성된 적어도 1개의 유효 계수 값을 선택하고, 선택한 상기 실행 길이만큼의 제 2 상수와 상기 유효 계수 값을 결합하여, 계수행렬을 생성하는 제 2 선택수단과;
    상기 제 2 선택수단에 의해 생성된 상기 계수행렬에, 역양자화 처리를 실시하고, 직교 변환계수를 생성하는 역양자화 수단과;
    상기 생성된 직교 변환계수에 직교 변환의 역변환처리를 실시하고, 상기 차분 블록을 생성하는 역 직교변환수단을 포함하는 것을 특징으로 하는 화상 복호화장치.
  35. 압축부호 열을 복호하여, 동화상을 생성하는 화상 복호화장치로서,
    상기 화상 복호화장치는,
    압축부호 열로부터 부호화 단위화상을 인출하여, 인출한 부호화 단위화상을 차례차례 순서대로 복호하고, 적어도 1 쌍의 유효 계수 값과 실행 길이를 생성하는 부호 열 복호수단을 포함하며,
    상기 부호화 단위화상은, 동화상을 구성하는 프레임 화상에 대하여, 단위화상마다 당해 단위화상을 부호화하여 얻어지고,
    상기 단위화상은 소정 수의 화소로 이루어지며;
    또한, 상기 화상 복호화장치는,
    상기 단위화상마다, 상기 부호화 단위화상이 복호될 때, 부호화 단위화상이 규정 외의 값을 포함하는 것을 나타내는 에러를 검출하는 제 1 에러검출수단과;
    에러가 검출되지 않는 경우, 화소 값 0으로 이루어지는 제 2 상수를 발생하는 제 2 상수 발생수단과;
    에러가 검출되지 않는 경우, 상기 부호 열 복호수단에 의해 생성된 상기 적어도 1개의 실행 길이를 취득하고, 취득한 실행 길이만큼의 상기 제 2 상수를 선택하며, 상기 생성된 적어도 1개의 유효 계수 값을 선택하고, 선택한 상기 실행 길이만큼의 제 2 상수와 상기 유효계수를 결합하여 계수행렬을 생성하는 제 2 선택수단과;
    상기 제 2 선택수단에 의해 생성된 상기 계수행렬에, 역양자화 처리를 실시하여 직교변환 계수를 생성하는 역양자화 수단과;
    상기 생성된 직교변환 계수에 직교변환의 역변환 처리를 실시하여, 단위화상을 생성하는 역 직교변환수단과;
    1 또는 복수의 참조 프레임 화상과 장래에 복원하는 제 1 프레임 화상을 기억하는 화상 기억수단과;
    에러가 검출되지 않는 경우, 상기 화상 기억수단에 기억되는 참조 프레임 화상으로부터 참조 단위화상을 판독하고, 판독한 참조 단위화상과 상기 생성된 단위화상을 가산하여 단위화상을 생성하고, 생성된 단위화상을 상기 화상 기억수단에 제 1 프레임 화상으로서 기입하는 화상 복원수단과;
    상기 제 1 에러검출수단이 에러를 검출한 경우, 상기 부호 열 복호수단에 대하여 에러가 발생한 부호화 단위화상의 복호를 중지하도록 제어하는 제 1 에러제어수단과;
    에러가 검출된 경우, 에러가 발생한 부호화 단위화상 대신에, 상기 화상 기억수단에 기억되어 있는 상기 참조 프레임 화상을 이용하여, 대체 단위화상을 생성하고, 생성한 상기 대체 단위화상을 상기 화상 기억수단에 제 1 프레임 화상으로서 기입하는 에러화상 복원수단을 더 포함하는 것을 특징으로 하는 화상 복호화장치.
  36. 제 35항에 있어서,
    상기 화상 복원수단에 의해 단위화상이 생성되는 경우, 움직임 보상처리에 따라 발생하는 에러를 검출하는 제 2 에러검출수단과,
    상기 제 1 에러제어수단은, 상기 제 2 에러검출수단이 에러를 검출한 경우, 상기 부호 열 복호수단에 대하여 에러가 발생한 단위화상 부호화 단위화상의 복호를 중지하도록 제어하는 것을 포함하는 것을 특징으로 하는 화상 복호화장치.
  37. 제 36항에 있어서,
    화상 복호화장치는,
    상기 프레임 화상의 복원을 개시하기 전에, 상기 화상 기억수단에 기억되는 상기 참조 프레임 화상을 판독하고, 판독한 상기 참조 프레임 화상을 상기 화상 기억수단에 제 1 프레임 화상으로서 기입하는 프레임 화상 복사수단을 더 포함하며;
    상기 화상 복원수단은,
    상기 제 1 에러검출수단 및 상기 제 2 에러검출수단에 의해, 에러가 검출되지 않은 경우, 새롭게 생성된 상기 단위화상을 상기 화상 기억수단에 제 1 프레임 화상으로서 기입하는 단위화상 기입수단을 포함하고,
    상기 화상 복원수단은,
    상기 제 1 에러검출수단 또는 상기 제 2 에러검출수단에 의해, 에러가 검출된 경우, 상기 에러화상 복원수단에 대하여, 상기 대체 단위화상의 상기 화상 기억수단으로의 기입을 억제하는 화상기입 억제수단을 더 포함하는 것을 특징으로 하는 화상 복호화장치.
  38. 제 36항에 있어서,
    상기 에러화상 복원수단은,
    상기 제 1 에러검출수단 또는 상기 제 2 에러검출수단에 의해 에러가 검출된 경우, 상기 화상 기억수단으로부터 상기 에러가 검출된 부호화 단위화상과 상기 참조 프레임 화상 중의 같은 위치의 단위화상을 판독하는 화상 검출수단과,
    판독한 상기 단위화상을 대체 단위화상으로 하여, 상기 대체 단위화상을 상기 화상 기억수단에 제 1 프레임 화상으로서 기입하는 대체화상 기입수단을 포함하는 것을 특징으로 하는 화상 복호화장치.
  39. 압축부호 열을 동화상으로 복호하는 화상 복호화장치로서,
    상기 화상 복호화장치는,
    압축부호 열에서 부호화 단위화상을 인출하고, 인출한 부호화 단위화상을 차례차례 순서대로 복호하여, 적어도 한 쌍의 유효 계수 값과 실행 길이를 생성하는 부호 열 복호수단을 포함하고;
    상기 부호화 단위화상은, 동화상을 구성하는 프레임 화상에 대하여, 소정 수의 화소로 이루어지는 단위화상마다, 당해 단위화상을 복호화 하여 얻어지며,
    또한, 상기 화상 복호화장치는,
    화소 값 0으로 이루어지는 제 2 상수를 발생하는 제 2 상수 발생수단과;
    상기 부호 열 복호수단에 의해 생성된 상기 적어도 1개의 실행 길이를 취득하고, 취득한 실행 길이만큼의 상기 제 2 상수를 선택하며, 상기 생성된 적어도 1개의 유효 계수 값을 선택하고, 선택한 상기 실행 길이만큼의 제 2 상수와 상기 유효계수를 결합하여, 계수행렬을 생성하는 제 2 선택수단과;
    상기 제 2 선택수단에 의해 생성된 상기 계수행렬에, 역양자화 처리를 실시하여 직교변환 계수를 생성하는 역양자화 수단과;
    상기 생성된 직교변환 계수에 직교변환의 역변환 처리를 실시하여, 단위화상을 생성하는 역 직교변환수단과;
    1 또는 복수의 참조 프레임 화상과 장래에 복원하는 제 1 프레임 화상을 기억하는 화상 기억수단과;
    상기 화상 기억수단에 기억되어 있는 참조 프레임 화상으로부터 참조 단위화상을 판독하고, 판독한 참조 단위화상과 상기 생성된 단위화상을 가산하여 단위화상을 생성하고, 생성된 단위화상을 상기 화상 기억수단에 제 1 프레임 화상으로서 기입하는 화상 복원수단과;
    상기 화상 복원수단에 의해 단위화상이 생성되는 경우, 움직임 보상처리에 따라 발생하는 에러를 검출하는 제 2 에러검출수단과;
    에러가 검출된 경우, 에러가 발생한 부호화 단위화상 대신에, 상기 화상 기억수단에 기억되어 있는 상기 참조 프레임 화상을 이용하여, 대체 단위화상을 생성하고, 생성한 상기 대체 단위화상을 상기 화상 기억수단에 제 1 프레임 화상으로서 기입하는 에러화상 복원수단과;
    상기 제 2 에러검출수단이 에러를 검출한 경우, 상기 부호 열 복호수단에 대하여 에러가 발생한 부호화 단위화상의 복호를 중지하도록 제어하는 제 1 에러제어수단을 포함하는 것을 특징으로 하는 화상 복호화장치.
  40. 제 39항에 있어서,
    상기 화상 복호화 장치는,
    프레임 화상의 복원을 개시하기 전에, 상기 화상 기억수단에 기억되는 상기 참조 프레임 화상을 판독하고, 판독한 상기 참조 프레임 화상을 상기 화상 기억수단에 제 1 프레임 화상으로서 기입하는 프레임 화상 복사수단을 더 포함하며,
    상기 화상 복원수단은,
    상기 제 2 에러검출수단에 의해, 에러가 검출되지 않은 경우, 새롭게 생성된 상기 단위화상을 상기 화상 기억수단에 제 1 프레임 화상으로서 기입하는 단위화상 기입수단과;
    상기 제 2 에러화상 복원수단에 의해, 에러가 검출된 경우, 상기 에러화상 복원수단에 대하여, 상기 대체 단위화상의 상기 화상 기억수단으로의 기입을 억제하는 화상기입 억제수단을 더 포함하는 것을 특징으로 하는 화상 복호화장치.
  41. 제 39항에 있어서,
    상기 에러화상 복원수단은,
    상기 제 2 에러검출수단에 의해 에러가 검출된 경우, 상기 화상 기억수단으로부터 상기 에러가 검출된 부호화 단위화상과 상기 참조 프레임 화상 중의 같은 위치의 단위화상을 판독하는 화상 판독수단과;
    판독한 상기 단위화상을 대체 단위화상으로 하여, 상기 대체 단위화상을 상기 화상 기억수단에 제 1 프레임 화상으로서 기입하는 대체화상 기입수단을 포함하는 것을 특징으로 하는 화상 복호화장치.
KR1019980010440A 1997-03-26 1998-03-26 화상 복호화장치 KR100545065B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP???9-074043 1997-03-26
JP7404397 1997-03-26

Publications (2)

Publication Number Publication Date
KR19980080690A KR19980080690A (ko) 1998-11-25
KR100545065B1 true KR100545065B1 (ko) 2006-04-21

Family

ID=13535759

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980010440A KR100545065B1 (ko) 1997-03-26 1998-03-26 화상 복호화장치

Country Status (5)

Country Link
US (1) US6212236B1 (ko)
EP (1) EP0868085B2 (ko)
KR (1) KR100545065B1 (ko)
CN (1) CN1110963C (ko)
DE (1) DE69806297T3 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3171243B2 (ja) * 1998-05-22 2001-05-28 日本電気株式会社 画像合成システム及びその画像合成方法
US6499060B1 (en) 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
US6459738B1 (en) * 2000-01-28 2002-10-01 Njr Corporation Method and apparatus for bitstream decoding
US20030012286A1 (en) * 2001-07-10 2003-01-16 Motorola, Inc. Method and device for suspecting errors and recovering macroblock data in video coding
US7123655B2 (en) 2001-08-09 2006-10-17 Sharp Laboratories Of America, Inc. Method for reduced bit-depth quantization
BRPI0205988B1 (pt) * 2001-09-12 2017-01-17 Matsushita Electric Ind Co Ltd aparelho de codificação de imagem que codifica imagens que são introduzidas em sequência e aparelho de decodificação de imagem que decodifica imagens que são introduzidas em sequência
JP2003198864A (ja) 2001-12-25 2003-07-11 Ricoh Co Ltd カラープリンタ、カラープリント方法およびその方法をコンピュータに実行させるためのプログラム
JP4130780B2 (ja) * 2002-04-15 2008-08-06 松下電器産業株式会社 画像符号化方法および画像復号化方法
KR20040031948A (ko) * 2002-10-08 2004-04-14 엘지전자 주식회사 동영상 디코딩 방법
KR20040039808A (ko) * 2002-11-05 2004-05-12 엘지전자 주식회사 움직임 벡터 예측 방법
JP2005184626A (ja) * 2003-12-22 2005-07-07 Canon Inc 画像処理装置
JP4668914B2 (ja) * 2004-08-04 2011-04-13 パナソニック株式会社 画像復号装置
JP4515870B2 (ja) * 2004-09-24 2010-08-04 パナソニック株式会社 信号処理装置及び映像システム
KR20060043115A (ko) * 2004-10-26 2006-05-15 엘지전자 주식회사 베이스 레이어를 이용하는 영상신호의 엔코딩/디코딩 방법및 장치
KR100681242B1 (ko) * 2004-12-16 2007-02-09 삼성전자주식회사 동영상 복호화 방법, 동영상 복호화 장치 및 이를 가지는시스템 온 칩 시스템
US8634413B2 (en) 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
JP4427086B2 (ja) * 2006-12-27 2010-03-03 パナソニック株式会社 動画像復号化装置
CN101335819B (zh) * 2008-08-06 2010-06-16 中兴通讯股份有限公司 连拍照片的处理装置、方法及图象处理设备
US8331446B2 (en) * 2008-08-31 2012-12-11 Netlogic Microsystems, Inc. Method and device for reordering video information
WO2011004027A2 (en) * 2009-07-10 2011-01-13 British Broadcasting Corporation Compression of pictures
KR101474756B1 (ko) 2009-08-13 2014-12-19 삼성전자주식회사 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0514188A2 (en) * 1991-05-17 1992-11-19 Canon Kabushiki Kaisha Encoding/decoding apparatus
JPH0556270A (ja) * 1991-07-25 1993-03-05 Fujitsu Ltd 逆量子化方法および画像データ復元装置
KR940017884A (ko) * 1992-12-15 1994-07-27 오오가 노리오 화상 복호화 장치, 화상 부호화 장치 및 화상 부호화 방식
JPH07255055A (ja) * 1994-01-28 1995-10-03 Matsushita Electric Ind Co Ltd 可変長符号復号回路及び復号方法
KR960020540A (ko) * 1994-11-29 1996-06-17 다까노 야스아끼 인코드된 비디오 데이타의 에러 검출 및 처리 기능을 구비한 비디오 디코더

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4028731A (en) * 1975-09-29 1977-06-07 International Business Machines Corporation Apparatus for compression coding using cross-array correlation between two-dimensional matrices derived from two-valued digital images
US4302775A (en) * 1978-12-15 1981-11-24 Compression Labs, Inc. Digital video compression system and methods utilizing scene adaptive coding with rate buffer feedback
DE69427685T2 (de) * 1993-09-29 2002-04-25 Sony Corp Verfahren und vorrichtung zur datenwiedergabe
US5537440A (en) 1994-01-07 1996-07-16 Motorola, Inc. Efficient transcoding device and method
JPH08154247A (ja) * 1994-09-29 1996-06-11 Sanyo Electric Co Ltd 圧縮画像データ処理装置及び方法
US5703697A (en) * 1996-03-20 1997-12-30 Lg Electronics, Inc. Method of lossy decoding of bitstream data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0514188A2 (en) * 1991-05-17 1992-11-19 Canon Kabushiki Kaisha Encoding/decoding apparatus
JPH0556270A (ja) * 1991-07-25 1993-03-05 Fujitsu Ltd 逆量子化方法および画像データ復元装置
KR940017884A (ko) * 1992-12-15 1994-07-27 오오가 노리오 화상 복호화 장치, 화상 부호화 장치 및 화상 부호화 방식
JPH07255055A (ja) * 1994-01-28 1995-10-03 Matsushita Electric Ind Co Ltd 可変長符号復号回路及び復号方法
KR960020540A (ko) * 1994-11-29 1996-06-17 다까노 야스아끼 인코드된 비디오 데이타의 에러 검출 및 처리 기능을 구비한 비디오 디코더

Also Published As

Publication number Publication date
EP0868085A3 (en) 1998-11-04
DE69806297D1 (de) 2002-08-08
DE69806297T2 (de) 2002-11-28
US6212236B1 (en) 2001-04-03
EP0868085A2 (en) 1998-09-30
CN1202675A (zh) 1998-12-23
CN1110963C (zh) 2003-06-04
EP0868085B1 (en) 2002-07-03
DE69806297T3 (de) 2007-03-29
EP0868085B2 (en) 2006-09-27
KR19980080690A (ko) 1998-11-25

Similar Documents

Publication Publication Date Title
KR100545065B1 (ko) 화상 복호화장치
CN100380973C (zh) 视频图片全局运动补偿的方法和装置
CN101305615B (zh) 用于视频编码的多维毗邻块预测
JP3474005B2 (ja) 動画像符号化方法及び動画像復号方法
EP0920214B1 (en) Apparatus and method of coding/decoding moving picture
US20050238100A1 (en) Video encoding method for encoding P frame and B frame using I frames
US7840083B2 (en) Method of encoding flag, method of decoding flag, and apparatus thereof
JP2006217560A (ja) 参考フレームバッファメモリのサイズとアクセス量を減らす方法
US20130128973A1 (en) Method and apparatus for encoding and decoding an image using a reference picture
US20050265444A1 (en) Moving image encoding/decoding apparatus and method
JPH08111870A (ja) 画像情報の再符号化方法及び装置
US5991445A (en) Image processing apparatus
JP2007507128A (ja) 参照ピクチャのリフレッシュを遅延させて行うビデオ画像の符号化および復号化
JP3918263B2 (ja) 圧縮符号化装置および符号化方法
US6804299B2 (en) Methods and systems for reducing requantization-originated generational error in predictive video streams using motion compensation
EP1083752A1 (en) Video decoder with reduced memory
US6097843A (en) Compression encoding apparatus, encoding method, decoding apparatus, and decoding method
JP2898413B2 (ja) 所要メモリ容量の低減化を伴う圧縮ビデオデータ流の復号化及び符号化のための方法
US5889560A (en) MPEG video decoder
WO2009122925A1 (ja) 動画像変換装置、動画像配信システム、動画像変換方法及びプログラム
JPH10145789A (ja) 動画像符号化方法及び動画像復号方法
EP1298937A1 (en) Video encoding or decoding using recompression of reference frames
JP3804796B2 (ja) 動画像符号化方法及び動画像復号方法
JPH10327412A (ja) 画像復号化装置
JP2887177B2 (ja) 動画像圧縮符号の復号方法及び復号装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20090109

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee