KR100960821B1 - 복호화 장치 및 복호화 방법 - Google Patents

복호화 장치 및 복호화 방법 Download PDF

Info

Publication number
KR100960821B1
KR100960821B1 KR20057000542A KR20057000542A KR100960821B1 KR 100960821 B1 KR100960821 B1 KR 100960821B1 KR 20057000542 A KR20057000542 A KR 20057000542A KR 20057000542 A KR20057000542 A KR 20057000542A KR 100960821 B1 KR100960821 B1 KR 100960821B1
Authority
KR
South Korea
Prior art keywords
decoding
information
encoding
image information
output
Prior art date
Application number
KR20057000542A
Other languages
English (en)
Other versions
KR20050028017A (ko
Inventor
벨트만헨드릭스마르쿠스
야가사키요이치
스즈키데루히코
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20050028017A publication Critical patent/KR20050028017A/ko
Application granted granted Critical
Publication of KR100960821B1 publication Critical patent/KR100960821B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

연속 재생할 수 있도록 한다. 적어도 B 픽처를 예측 부호화 대상으로서 사용할 수 있도록 규정된 부호화 방식에 따라 부호화 처리를 실행하는 부호화 장치에 있어서, 부호화 처리를 실행한 결과 생성되는 복수 개의 부호화 정보가 복호화측에서 순차 복호화되는 것을 예측하여, 상기 부호화 정보의 복호 결과에 대한 출력 시기를 산출하는 시기 산출 수단과, 시기 산출 수단에 의해 산출된 출력 시기를, 대응하는 부호화 정보의 복호 결과가 얻어지기 전에 복호화측에 통지하는 시기 통지 수단을 설치하도록 했다.
연속 재생, B 픽처, 부호화 처리, 출력 시기, 통지.

Description

복호화 장치 및 복호화 방법 {DECODING DEVICE, AND DECODING METHOD}
본 발명은 부호화 장치, 부호화 방법, 복호화 장치 및 복호화 방법에 관한 것이며, 예를 들면 복수 개의 단위 화상 정보가 연속하여 이루어지는 화상 정보(이하, 이것을 연속 화상 정보라고 함)를 위성 방송, 케이블 TV 또는 인터넷 등의 네트워크 미디어를 통해 전송할 때, 또는 광디스크, 자기 디스크 또는 플래시 메모리 등의 기억 미디어상에서 처리할 때 바람직한 것이다.
최근, 연속 화상을 디지털 정보로서 취급하며, 그 때, 효율이 높은 정보의 전송 또는 축적 등을 목적으로 하여, 당해 연속 화상 정보 특유의 용장성(冗長性)을 이용하고 이산(離散) 코사인 변환 등의 직교 변환이나 모션 보상을 이용하여 부호화(압축)하는 MPEG(Moving Picture Experts Group) 등의 부호화 방식에 따른 장치가 방송국이나 일반 가정 등에서 보급되어 있다.
특히, MPEG2(ISO/IEC 13818-2) 부호화 방식은 범용 화상 부호화 방식으로서 정의되어 있고, 비월 주사 화상 및 순차 주사 화상의 쌍방, 및 표준 해상도 화상 및 고정밀 화상을 망라하도록 되어 있으며, 프로패셔널용 및 컨슈머(consumer) 용도의 광범위한 애플리케이션으로서 현재 널리 이용되고 있다. 이 MPEG2 부호화 방 식에서는, 예를 들면 720×480화소를 가지는 표준 해상도의 비월 주사 화상이면 4∼8〔Mbps〕, 1920×1088화소를 가지는 고해상도의 비월 주사 화상이면 18∼22〔Mbps〕의 부호량(비트 레이트)을 할당함으로써, 높은 부호화 효율(압축률)과 양호한 화질의 실현이 가능하다.
이러한 MPEG2 부호화 방식은 주로 방송용에 적합한 고화질 부호화를 대상으로 하여 이용되고 있지만, MPEG1 부호화 방식보다 낮은 부호량(비트 레이트), 즉 보다 높은 부호화 효율의 부호화 방식에는 대응하고 있지 못했다. 향후 이와 같은 부호화 방식의 요구는, 예를 들면 휴대 단말기의 보급 등에 따라 높아진다고 생각되며, 이에 대응하여 MPEG4 부호화 방식의 표준화가 실행되었다. 그리고 화상에 관한 MPEG4 부호화 방식에 대해서는, 1998년 12월에 ISO/IEC 14496-2로서 그 규격이 국제 표준으로 승인되었다.
또한, 최근, VCEG 단체와 MPEG 단체의 조인트 비디오 팀에 의해 MPEG4AVC 또는 H.264라고 하는 부호화 방식(이하, 이것을 JVT 부호화 방식이라고 함)이 규격화되었다. 이 JVT 부호화 방식에서는, MPEG2나 MPEG4 등이라고 하는 종래의 부호화 방식에 비해, 그 부호화 또는 복호화에 의해 많은 연산량이 요구되지만, 보다 높은 부호화 효율이 실현되는 것이 알려져 있다.
여기에서, 전술한 각종 부호화 방식의 어느 하나에 따라 부호화 처리를 실행하는 부호화 장치의 개략 구성을 도 8에 나타낸다. 도 8에서, 부호화 장치(100)는 화상 정렬 버퍼(102)와, 가산기(103)와, 직교 변환부(104)와, 양자화부(105)와, 가역 부호화부(106)와, 축적 버퍼(107)와, 역양자화부(108)와, 역직교 변환부(109) 와, 프레임 메모리(110)와, 모션 예측·보상부(111)와, 레이트 제어부(112)에 의해 구성된다.
이 경우, 부호화 장치(100)는 연속 화상 정보를 화상 정렬 버퍼(102)에 축적하고, 당해 연속 화상 정보를 GOP(Group of Pictures) 구조에 따라 단위 화상 정보(프레임 또는 필드의 데이터)마다 정렬을 행한다.
여기에서, 화상 정렬 버퍼(102)는 연속 화상 정보 중 인트라 예측 부호화를 실행해야 하는 단위 화상 정보에 대해서는, 직교 변환부(104)에 공급한다. 직교 변환부(104)는 이 단위 화상 정보에 대해서 이산 코사인 변환 또는 카루넨·뢰브 변환 등의 직교 변환 처리를 행하여, 얻어진 직교 변환 계수를 양자화부(105)에 공급한다.
양자화부(105)는 직교 변환부(104)로부터 공급된 직교 변환 계수에 대해서, 레이트 제어부(112)의 제어에 따른 양자화 처리를 행하여, 얻어진 양자화 정보(양자화된 직교 변환 계수)를 가역 부호화부(106) 및 역양자화부(108)에 공급한다. 가역 부호화부(106)는 양자화 정보에 대해서 가변 길이 부호화 또는 산술 부호화 등의 가역(可逆) 부호화 처리를 행하여, 얻어진 부호화 정보(부호화된 양자화 정보)를 축적 버퍼(107)에 축적한다.
역양자화부(108)는 양자화 정보에 대하여 역양자화 처리를 행하여, 얻어진 직교 변환 계수를 역직교 변환부(109)에 공급한다. 역직교 변환부(109)는 직교 변환 계수에 대하여 역직교 변환 처리를 행하여, 얻어진 단위 화상 정보를 참조 화상 정보로서 필요에 따라 프레임 메모리(110)에 축적한다.
한편, 화상 정렬 버퍼(102)는 연속 화상 정보 중 인터 예측 부호화를 실행해야 할 단위 화상 정보에 대해서는, 모션 예측·보상부(111)에 공급한다. 모션 예측·보상부(111)는 이 단위 화상 정보와, 프레임 메모리(110)로부터 꺼낸 참조 화상 정보를 사용해서 모션 예측·보상 처리를 행하여, 얻어진 예측 화상 정보를 가산기(103)에 공급한다. 가산기(103)는 예측 화상 정보와 대응하는 단위 화상 정보와의 차분(差分)을 차분 정보로서 직교 변환부(104)에 공급한다.
이 차분 정보는 인트라 부호화의 경우와 동일하게 하여 각종 처리가 행해지며, 이 결과, 부호화 정보로서 축적 버퍼(107)에 축적되는 동시에, 참조 화상 정보로서 프레임 메모리(110)에 필요에 따라 축적된다.
또, 모션 보상·예측부(111)는 모션 예측·보상 처리를 실행함으로써 예측 화상 정보와 함께 얻어지는 모션 벡터 정보를 가역 부호화부(106)에 공급한다. 가역 부호화부(106)는 모션 벡터 정보에 대해서 가역 부호화 처리를 행하여, 얻어진 부호화 모션 벡터 정보를 대응하는 부호화 정보의 헤더부로서 생성한다.
이와 같이 하여 부호화 장치(100)는 연속 화상 정보에 대하여 부호화 처리를 실행함으로써 단위 화상 정보마다 부호화 정보를 순차 생성하고, 이 후, 당해 부호화 정보를 축적 버퍼(107)를 통해 순차 출력하도록 되어 있다.
다음에, 관한 부호화 장치(100)에 대응하는 부호화 방식에 따라 복호화 처리를 실행하는 복호화 장치의 개략 구성을 도 9에 나타낸다. 도 9에서, 복호화 장치(120)는 축적 버퍼(121)와, 가역 복호부(122)와, 역양자화부(123)와, 역직교 변환부(124)와, 가산기(125)와, 화상 정렬 버퍼(126)와, 모션 예측·보상부(127)와, 프 레임 메모리(128)에 의해 구성된다.
이 경우, 복호화 장치(120)는 순차 입력되는 부호화 정보를 축적 버퍼(121)에 일시적으로 저장한 후에 가역 복호부(122)에 공급한다. 가역 복호부(122)는 인트라 예측 부호화가 행해진 부호화 정보인 경우에는, 당해 부호화 정보에 대해서 가변 길이 복호 또는 산술 복호 등의 복호화 처리를 행하여, 얻어진 양자화 정보를 역양자화부(123)에 공급한다.
역양자화부(123)는 가역 복호부(122)로부터 공급된 양자화 정보에 대해서 역양자화 처리를 행하여, 얻어진 직교 변환 계수를 역직교 변환부(124)에 공급한다. 역직교 변환부(124)는 직교 변환 계수에 대하여 역직교 변환 처리를 행하고, 부호화 처리 전의 원래의 화상 정보(이하, 이것을 복원 화상 정보라고 함)를 생성하여, 이것을 화상 정렬 버퍼(126)에 저장한다.
한편, 가역 복호부(122)는 인터 예측 부호화가 행해진 부호화 정보인 경우에는, 이 부호화 정보 및 당해 부호화 정보의 헤더부에 삽입된 부호화 모션 벡터 정보에 대해서 각각 복호화 처리를 행하여, 얻어진 양자화 정보를 역양자화부(123)에 공급하는 동시에, 모션 벡터 정보를 모션 예측·보상부(127)에 공급한다. 이 양자화 정보는 인트라 부호화된 부호화 정보를 복호화하는 경우와 동일하게 하여 각종 처리가 행해지고, 이 결과, 차분 정보로서 가산기(125)에 공급된다.
또, 모션 예측·보상부(127)는 모션 벡터 정보와 프레임 메모리(128)에 저장된 참조 화상 정보에 따라 예측 화상 정보를 생성하고, 이것을 가산기(125)에 공급한다. 가산기(125)는 이 참조 화상 정보와 차분 정보를 합성하여, 얻어진 복원 화 상 정보를 화상 정렬 버퍼(126)에 저장한다.
이와 같이 하여 복호화 장치(120)는 순차 입력되는 부호화 정보에 대하여 복호화 처리를 실행함으로써 복원 화상 정보를 순차 생성하고, 이 후, 당해 복원 화상 정보를 화상 정렬 버퍼(126)을 통해, 예를 들면 표시부(도시하지 않음)에 순차 출력하도록 하여 연속 재생한다.
그런데 MPEG2 부호화 방식에서는, 인터 예측 부호화 대상으로서, I(Intra) 픽처 및 P(Predictive) 픽처만을 사용하도록 규정되어 있기 때문에, 복호화 처리시에서의 복호화 순서가 일의적(一義的)으로 정해져 온다.
따라서, 복호화 장치(120)에서는, 이러한 MPEG2 부호화 방식에 따른 각 부호화 정보에 대해서 복호화 처리를 실행하여 생성한 복원 화상 정보를 연속 재생하는 경우에는, 당해 복원 화상 정보의 출력 시기를 화상 정렬 버퍼(126)를 통해 굳이 조정하지 않아도, 당해 각 복원 화상 정보에 따른 화상을 적절히 표시부에 표시할 수 있다.
이에 대하여 JVT 부호화 방식에서는, 인터 예측 부호화 대상으로서, I 및 P 픽처에 더하여 B(Bidirectional) 픽처도 사용할 수 있는 등 MPEG2 부호화 방식에 비해 예측 부호화 대상으로서 선택할 수 있는 픽처의 선택 자유도가 많이 규정되어 있다.
그러나 JVT 부호화 방식에서는, 이와 같은 규정에 따라 복호화 처리시에서의 복호화 순서가 일의적으로 정해지지 않음에도 불구하고, 복원 화상 정보의 출력 시기에 대해서는, 명확하게 규정하고 있지 않다.
따라서, 복호화 장치(120)는 이러한 JVT 부호화 방식에 따른 각 부호화 정보에 대해서 복호화 처리를 실행하여 생성한 복원 화상 정보를 연속 재생하면, 화상 정렬 버퍼(126)의 자원에 제한이 있으므로, 어느 부호화 정보에 대응하는 복원 화상 정보의 출력 시기임에도 불구하고 당해 부호화 정보를 아직 복호화 중이라고 하는 사태가 발생하고, 이 결과, 당해 연속성이 중단되어 버린다고 하는 문제가 있었다.
본 발명은 이와 같은 실상을 감안하여 이루어진 것이며, 복호화 장치에 연속 재생시킬 수 있는 부호화 장치 및 부호화 방법과, 연속 재생할 수 있는 복호화 장치 및 복호화 방법을 제공하는 것을 목적으로 한다.
이러한 과제를 해결하기 위해 본 발명에서는, 적어도 B 픽처를 예측 부호화 대상으로서 사용할 수 있도록 규정된 부호화 방식에 따라 부호화 처리를 실행하는 부호화 장치에 있어서, 부호화 처리를 실행한 결과 생성되는 복수 개의 부호화 정보가 복호화측에서 순차 복호화되는 것을 예측하여, 당해 부호화 정보의 복호 결과에 대한 출력 시기를 산출하는 시기 산출 수단과, 시기 산출 수단에 의해 산출된 출력 시기를, 대응하는 부호화 정보의 복호 결과가 얻어지기 전에 복호화측에 통지하는 시기 통지 수단을 설치하도록 했다.
따라서, 본 발명에 의한 부호화 장치에서는, 부호화 정보가 복호측에서 복호화된 것을 상정한 출력 시기를 사전에 복호화측에 인식시켜, 복호화 순서가 일의적으로 정해지지 않은 부호화 방식에 따라 부호화된 부호화 정보라도 복원 화상 정보 에 있어서의 출력의 연속성을 확보할 수 있고, 이렇게 하여, 복호화측에 대하여 연속 재생시킬 수 있다.
또 본 발명에서는, 적어도 B 픽처를 예측 부호화 대상으로서 사용할 수 있도록 규정된 부호화 방식에 따라 부호화 처리를 실행하는 부호화 방법에 있어서, 부호화 처리를 실행한 결과 생성되는 복수 개의 부호화 정보가 복호화측에서 순차 복호화되는 것을 예측하여, 당해 부호화 정보의 복호 결과에 대한 출력 시기를 산출하고, 당해 산출한 출력 시기를 대응하는 부호화 정보의 복호 결과가 얻어지기 전에 복호화측에 통지하도록 했다.
따라서, 본 발명에 의한 부호화 방법에서는, 부호화 정보가 복호측에서 복호화된 것을 상정한 출력 시기를 사전에 복호화측에 인식시켜, 복호화 순서가 일의적으로 정해지지 않은 부호화 방식에 따라 부호화된 부호화 정보라도 복원 화상 정보에 있어서의 출력의 연속성을 확보할 수 있고, 이렇게 하여, 복호화측에 대하여 연속 재생시킬 수 있다.
또 본 발명에서는, 적어도 B 픽처를 예측 부호화 대상으로서 사용할 수 있도록 규정된 부호화 방식에 따라 부호화된 복수 개의 부호화 정보에 대하여, 복호화 처리를 실행하는 복호화 장치에 있어서, 복호화 처리의 결과 순차 생성되는 복원 화상 정보를 일시적으로 축적하는 축적 수단과, 축적 수단에 축적되는 복원 화상 정보의 출력을 제어하는 출력 제어 수단을 설치하고, 출력 제어 수단은 축적 수단에 축적되는 복원 화상 정보가 파탄된 경우에, 당해 파탄 직전에 출력한 복원 화상 정보를 재출력하도록 했다.
따라서, 본 발명에 의한 복호화 장치에서는, 복호화 순서가 일의적으로 정해지지 않은 부호화 방식에 따라 부호화된 부호화 정보라도 복원 화상 정보에 있어서의 출력의 연속성을 확보할 수 있고, 이렇게 하여, 연속 재생할 수 있다.
또 본 발명에서는, 적어도 B 픽처를 예측 부호화 대상으로서 사용할 수 있도록 규정된 부호화 방식에 따라 부호화된 복수 개의 부호화 정보에 대하여, 복호화 처리를 실행하는 복호화 방법에 있어서, 복호화 처리의 결과 순차 생성되는 복원 화상 정보를 일시적으로 축적하는 제1 스텝과, 축적되는 복원 화상 정보를 출력하는 제2 스텝과, 축적되는 복원 화상 정보가 파탄된 경우에, 당해 파탄 직전에 출력한 복원 화상 정보를 재출력하는 제3 스텝을 형성하도록 했다.
따라서, 본 발명에 의한 복호화 방법에서는, 복호화 순서가 일의적으로 정해지지 않은 부호화 방식에 따라 부호화된 부호화 정보라도 복원 화상 정보에 있어서의 출력의 연속성을 확보할 수 있고, 이렇게 하여, 연속 재생할 수 있다.
도 1은 제1 실시예에 의한 화상 재생 시스템을 나타낸 블록도이다.
도 2는 부호 제어부의 처리 내용을 나타낸 기능 블록도이다.
도 3은 출력 시기의 산출 설명에 제공하는 도표이다.
도 4는 출력 시기 통지 처리 순서를 나타낸 플로 차트이다.
도 5는 제2 실시예에 의한 화상 재생 시스템을 나타낸 블록도이다.
도 6은 재출력 제어의 설명에 제공하는 도표이다.
도 7은 재출력 제어 처리 순서를 나타낸 플로 차트이다.
도 8은 부호화 장치의 구성을 나타낸 블록도이다.
도 9는 복호화 장치의 구성을 나타낸 블록도이다.
실시예 1
(1) 화상 재생 시스템(1)의 구성
도 1에서, (1)은 전체적으로 제1 실시예에 의한 화상 재생 시스템을 나타내며, JVT 부호화 방식에 따른 부호화 장치(2) 및 복호화 장치(3)를 소정 전송로를 통해 서로 접속함으로써 구성된다.
부호화 장치(2)는 도 8에서 전술한 부호화 장치(100)와 동일 구성으로 이루어지는 부호화부(10)와, 이 부호화부(10)의 제어를 담당하는 부호 제어부(11)를 가지고 있으며, 외부로부터 공급된 또는 내부의 HDD(Hard Disk Drive) 등의 기록 매체(도시하지 않음)로부터 판독한 연속 화상 정보 D1에 대하여, 당해 부호 제어부(11)에 제어되는 부호화부(10)를 통해, 도 8에서 전술한 경우와 동일하게 하여 부호화 처리를 실행함으로써 단위 화상 정보(프레임 또는 필드의 데이터) D1a∼D1n마다 부호화 정보 D2(D2a, D2b, …… 또는 D2n)를 순차 생성하고, 이 후, 당해 부호화 정보 D2를 순차 출력한다.
한편, 복호화 장치(3)는 도 9에서 전술한 복호화 장치(120)와 동일 구성으로 이루어지는 복호화부(20)와, 이 복호화부(20)의 제어를 담당하는 복호 제어부(21)를 가지고 있으며, 전송로를 통해 순차 입력되는 부호화 정보 D2에 대하여, 당해 복호 제어부(21)에 제어되는 복호화부(20)를 통해, 도 9에서 전술한 경우와 동일하 게 하여 복호화 처리를 실행함으로써 복원 화상 정보 D3(D3a, D3b, …… 또는 D3n)을 순차 생성하고, 이 후, 당해 복원 화상 정보 D3을 표시부(도시하지 않음)에 순차 출력하도록 하여 연속 재생한다.
(2) 부호 제어부(11)의 구성
이 부호화 장치(2)의 부호 제어부(11)는 미리 내부에 저장된 JVT 부호화 방식에 따른 프로그램이나 테이블 정보 등에 따라, 부호화부(10)에 입력된 연속 화상 정보 D1에 대한 GOP 구조나, 부호화 순서 등의 부호화 처리에 관한 조건(이하, 이것을 부호화 조건이라고 함)을 결정하고, 이 부호화 조건에 따라 부호화부(10)를 제어한다.
이러한 구성에 더하여, 이 부호 제어부(11)에서는, 부호화 정보 D2가 복호화측[복호화 장치(3)]에서 순차 복호화되는 것을 예측하여, 당해 부호화 정보 D2의 복호 결과인 복원 화상 정보 D3의 출력 시기를 산출하고, 이 출력 시기를, 당해 복원 화상 정보 D3을 생성하기 전의 복호화 장치(3)에 통지하는 출력 시기 통지 처리를 실행하도록 되어 있다.
여기에서, 부호 제어부(11)에 있어서의 출력 시기 통지 처리의 처리 내용을 기능적으로 분류하면, 예를 들면 도 2에 나타낸 바와 같이, 부호화 정보 D2에 대한 복호화 처리를 실행하기 시작한 다음, 당해 처리에 의해 생성된 복호 화상 정보 D3을 출력하기까지의 기간(이하, 이것을 디코드 지연이라고 함)을 산출하는 지연 산출부(11a)와, 당해 디코드 지연을 대응하는 부호화 정보 D2의 헤더로서 부가하는 헤더 부가부(11b)로 분류할 수 있다. 이들 지연 산출부(11a) 및 헤더 부가부의 처 리에 대하여, 도 3에 나타낸 예를 사용하여 구체적으로 설명한다.
이 도 3에서, 「EI(Encoder Input)」의 란은 부호화부(10)에 입력되는 각 단위 화상 정보 D1a∼D1n을 GOP 구조에 따라 할당된 픽처 타입으로 나타내고 있으며, 즉 부호화 처리 전의 픽처 타입의 순서를 나타내고 있다. 「EO(Encoder Output)」의 란은 부호화부(10)에 입력된 각 단위 화상 정보 D1a∼D1n에 대하여 소정 부호화 순에 따라 부호화 처리를 실행한 결과 생성되는 부호화 정보 D2a∼D2n의 픽처 타입을 나타내고 있으며, 즉 부호화 처리 후의 픽처 타입의 순서를 나타내고 있다.
「Ed(Encoder Delay)」의 란은 단위 화상 정보 D1a, D1b, …… 또는 D1n에 대하여 부호화 처리를 실행하기 시작한 다음, 당해 처리에 의해 생성된 부호화 정보 D2를 출력하기까지의 기간(이하, 이것을 인코드 지연이라고 함)을 각각 나타내고 있으며, 부호화 조건에 따라 산출된다. 이 인코드 지연(「Ed」의 란)에 따라, 부호화 정보 D2a∼D2n(「E O」의 란)의 출력 시기가 필요에 따라 조정된다. 구체적으로, 예를 들면, I 픽처 타입인 최초의 단위 화상 정보 D1a(「EI」란에서의 「I00」)에 대해서는, 입력된 때(t=0)부터, 부호화 정보 D2a(「EO」란에서의 「I00」)로서 생성된 때까지의 기간이 대응하는 인코드 지연(「Ed」란에서의 「6」[초])에 미달된 경우에는, 부호화부(10)의 축적 버퍼(107)(도 8)에의 축적에 의해 조정되어, 당해 인코드 지연의 경과(t=6)와 동(同)시기에 출력된다.
지연 산출부(11a)는 이러한 인코드 지연에 따라, 각 부호화 정보 D2에 대한 디코드 지연[「Dd(Decoder Delay)」의 란]을 산출하도록 되어 있고, 당해 인코드 지연(「Ed」의 란) 중, 최대의 인코드 지연(10)[초])이 되는 부호화 정보 D2(「B13 」)에 대한 디코드 지연이 최소(0[초])가 되도록, 각 부호화 정보 D2a∼D2n의 디코드 지연을 산출한다.
구체적으로는, 지연 산출부(11a)는 인코드 지연의 최대값이 10[초]이기 때문에, 이 10[초]부터 각각의 부호화 정보 D2a∼D2n에 대응하는 인코드 지연의 값을 감산함으로써, 당해 부호화 정보 D2a∼D2n에 대한 디코드 지연의 값(「Dd」의 란의 각 항의 값)을 산출한다.
그리고 지연 산출부(11a)는 이와 같이 하여 산출한 각 디코드 지연을 디코드 지연 정보 D10으로서 생성하고, 이것을 헤더 부가부(11b)에 송출하도록 되어 있다.
헤더 부가부(11b)는 지연 산출부(11a)로부터 공급되는 디코드 지연 정보 D10에 따라, 부호화부(10)에서 순차 부호화 정보 D2가 생성될 때마다, 대응하는 디코드 지연을 헤더로서 치환함으로써 당해 부호화 정보 D2에 부가한다.
이 경우, 이러한 디코드 지연이 헤더로서 부가된, 예를 들면 부호화 정보 D2a(「EO」란에서의 「I00」)는 인코드 지연의 경과와 동시기에 출력되어, 전송로를 통해 복호화 장치(3)에 입력된다. 그리고, 도 3에서는, 설명의 편의상, 부호화 장치(2)와 복호화 장치(3) 사이에 있어서의 전송로의 전송 시간 등에 대해서는 고려하지 않고, 복호화 장치(3)에 있어서의 부호화 정보 D2의 입력 시기는 부호화부(10)로부터의 부호화 정보 D2의 출력 시기(「EO」의 란)와 동등하다고 간주하고 있다.
그리고 복호화 장치(3)에서는, 이 부호화 정보 D2의 디코드 지연에 따라, 당해 부호화 정보 D2의 복호 결과인 복원 화상 정보 D3의 출력 시기가 조정된다. 즉 , 예를 들면 최초의 부호화 정보 D2a의 디코드 지연(「Dd」란에서의 4[초])은 복호화 장치(3)에서, 당해 부호화 정보 D2a에 부가된 헤더에 따라 당해 부호화 정보 D2a의 복호화 처리 전에 복호 제어부(21)에 의해 인식된다. 이 후, 부호화 정보 D2a는 복호화부(20)에서 복원 화상 정보 D3a로서 생성되며, 이 때 입력시(t=6)부터의 경과 기간이 대응하는 인코드 지연(4[초])에 미달된 경우에는, 화상 정렬 버퍼(126)(도 9)에의 축적에 의해 필요에 따라 조정되며, 당해 디코드 지연의 경과[4[초](t=(10)]와 동시기에 출력하도록 하여 표시부에 표시된다.
또 나머지의 부호화 정보 D2b∼D2n 대해서도, 부호화 정보 D2a와 동일하게 하여, 복호화부(20)에서 복원 화상 정보 D3b∼D3n으로서 생성되며, 이들 복원 화상 정보 D3b∼D3n는 필요에 따라, 화상 정렬 버퍼(126)(도 9)에서 부호화 처리 전과 동일 픽처 타입의 순서[「DO(Decoder Output)」의 란]로 정렬되는 동시에, 대응하는 인코드 지연에 따라 출력 시기가 조정된 후에 출력되며, 이 결과, 연속 재생되게 된다.
이와 같이 하여 부호 제어부(11)는 출력 시기 통지 처리를 실행함으로써, 부호화 정보 D2가 복호화 장치(3)에서 복호화된 것을 상정한 디코드 지연을 헤더를 통해 복호화 장치(3)에 사전에 인식시킬 수 있도록 되어 있다.
여기에서, 전술한 바와 같은 출력 시기 통지 처리는 도 4에 나타낸 출력 시기 통지 처리 순서 RT1에 따라 순차 실행된다.
즉, 부호 제어부(11)는, 예를 들면 부호화 처리를 실행하기 위한 소정 조작이 입력부(도시하지 않음)를 통해 행해지면, 이 출력 시기 통지 처리 순서 RT1을 스텝 SP0으로부터 개시하고, 계속되는 스텝 SP1에서 부호화 조건에 따라 산출된 인코드 지연 중에서 최대의 인코드 지연을 인식한다(도 3에서 「Ed」란의 10[초]에 상당).
그리고 부호 제어부(11)는 스텝 SP2에서 부호화부(10) 내의 가역 부호화부(106)(도 8)에 존재하는, 예를 들면 부호화 정보 D2a를 축적 버퍼(107)(도 8)에 수용하고, 스텝 SP3에서 당해 수용이 성공했는지 여부를 판정하고, 부정 결과가 얻어진 경우에는, 스텝 SP2로 되돌아가 재차 부호화 정보 D2a를 수용한다.
이에 대하여 부호 제어부(11)는 스텝 SP2에서 긍정 결과가 얻어진 경우에는, 계속되는 스텝 SP3에서, 스텝 SP1에서 인식한 인코드 지연으로부터, 스텝 SP2에서 수용한 부호화 정보 D2a에 대한 인코드 지연(도 3에서 「Ed」란의 6[초]에 상당)을 감산함으로써, 당해 부호화 정보 D2a에 대한 디코드 지연(「Dd」란의 4[초]에 상당)을 산출하고, 스텝 SP4에서 당해 산출한 디코드 지연을 당해 부호화 정보 D2a에 헤더로서 부가한다.
그리고 부호 제어부(11)는 스텝 SP5에서 모든 부호화 정보 D2를 축적 버퍼(107)(도 8)에 수용했는지 여부를 판정하고, 부정 결과가 얻어진 경우에는, 스텝 SP2로 되돌아가 전술한 처리를 반복하고, 이에 대하여 긍정 결과가 얻어진 경우에는, 계속되는 스텝 SP6으로 옮겨, 이 출력 시기 통지 처리 순서 RT1를 종료한다.
이와 같이 하여 부호 제어부(11)는 출력 시기 통지 처리 순서 RT1에 따라 출력 시기 통지 처리를 실행할 수 있도록 되어 있다.
이상의 구성에서, 이 부호화 장치(2)에서는 JVT 부호화 방식에 따라 부호화 처리된 결과 얻어지는 부호화 정보 D2가 복호화 장치(3)측에서 복호화되는 것을 예측하여, 당해 부호화 정보 D2의 복호 결과(각 복원 화상 정보 D3)에 대한 출력 시기(디코드 지연)를 산출하고, 당해 산출한 출력 시기를 헤더로서 부가하도록 했다.
따라서, 이 부호화 장치(2)에서는, 부호화 정보 D2가 복호화 장치(3)에서 복호화된 것을 상정한 디코드 지연을 헤더를 통해 복호화 처리 전의 복호화 장치(3)에 인식시킬 수 있기 때문에, 복호화 순서가 일의적으로 정해지지 않은 JVT 부호화 방식에 따라 부호화된 부호화 정보 D2라도, 복원 화상 정보 D3에 있어서의 출력의 연속성을 확보할 수 있다.
이 경우, 부호화 장치(2)에서는 부호화 처리를 실행하기 시작한 다음, 부호화 정보 D2를 출력하기까지의 기간(인코드 지연) 중, 최대의 기간이 되는 부호화 정보 D2(도 3 중 「B13」)의 복호 결과가 즉시 출력되도록, 각 복원 화상 정보 D3에 대한 출력 시기(디코드 지연)를 산출하도록 했다.
따라서, 이 부호화 장치(2)에서는, 복호화측에서의 복호화 처리에 가장 시간을 소비하는 부호화 정보 D2에 대한 복호화측에서의 출력 시기(인코드 지연)를 기준으로, 각 부호화 정보 D2의 복호 결과(각 복원 화상 정보 D3)에 대한 출력 시기(디코드 지연)를 산출할 수 있기 때문에, 복호화 장치(3)에서의 복호화 중의 출력 시기를 분배(상쇄)하도록 하여 거의 확실하게 언더플로(underflow)를 발생하지 않게 조정할 수 있다.
이상의 구성에 의하면, JVT 부호화 방식에 따라 부호화 처리된 결과 얻어지는 부호화 정보 D2가 복호화 장치(3)측에서 복호화되는 것을 예측하여, 당해 부호 화 정보 D2가 복호화되었을 때의 각 복원 화상 정보 D3에 대한 출력 시기(디코드 지연)를 산출하고, 당해 산출한 출력 시기를 헤더로서 부가하도록 함으로써, 복호화 순서가 일의적으로 정해지지 않은 JVT 부호화 방식에 따라 부호화된 부호화 정보 D2라도 복원 화상 정보 D3에 있어서의 출력의 연속성을 확보할 수 있고, 이렇게 하여, 복호화 장치(3)에 연속 재생시킬 수 있다.
(3) 다른 실시예
또한 전술한 제1 실시예에서는, JVT 부호화 방식을 적용하도록 한 경우에 대하여 설명했지만, 본 발명은 이것에 한정되지 않고, 적어도 B 픽처를 예측 부호화 대상으로서 사용할 수 있도록 규정된 이 밖에 여러 가지의 부호화 방식을 적용할 수 있다.
또 전술한 제1 실시예에서는, 부호화 처리를 실행한 결과 생성되는 복수 개의 부호화 정보 D2가 복호화측에서 순차 복호화되는 것을 예측하여, 당해 부호화 정보의 복호 결과에 대한 출력 시기를 산출하는 시기 산출 수단으로서, 인코드 지연 중, 최대의 인코드 지연이 되는 부호화 정보 D2의 복호 결과가 즉시 출력되도록, 부호화 정보의 복호 결과에 대한 디코드 지연을 산출하도록 한 경우에 대하여 설명했지만, 본 발명은 이것에 한정되지 않고, 당해 디코드 지연에 대신하여 당해 부호화 정보의 복호 결과를 생성한 다음 출력 시기까지의 기간을 산출하거나, 또는 복호화측의 버퍼에 축적되는 정보량의 점유율을 상정한 계산 결과에 따라 당해 부호화 정보의 복호 결과에 대한 디코드 지연을 산출하도록 해도 된다. 이러한 계산 결과에 따라 출력 시기를 산출하면, 복호화측에 연속 재생을 확실하게 시키는 출력 시기를 산출할 수 있다.
또한 전술한 제1 실시예에서는, 대응하는 부호화 정보의 복호 결과가 얻어지기 전에 복호화측에 출력 시기를 통지하는 시기 통지 수단으로서, 지연 산출부(11a)로부터 공급되는 디코드 지연 정보 D10에 따라, 당해 출력 시기(디코드 지연)를 헤더로서 대응하는 부호화 정보 D2에 부가하도록 한 경우에 대하여 설명했지만, 본 발명은 이것에 한정되지 않고, 예를 들면 헤더로서 부가하지 않고 디코드 지연 정보 D10을 부호화 처리 전에 직접 복호화측에 출력하도록 해도 된다.
실시예 2
(1) 화상 재생 시스템(51)의 구성
도 1과의 대응 부분에 동일 부호를 붙여 나타낸 도 5에서서, (51)은 전체적으로 제2 실시예에 의한 화상 재생 시스템을 나타내고, JVT 부호화 방식에 따른 부호화 장치(52) 및 복호화 장치(53)를 소정 전송로를 통해 서로 접속함으로써 구성된다.
부호화 장치(52)는 부호화부(10)와, 이 부호화부(10)의 제어를 담당하는 부호 제어부(61)을 가지고 있으며, 당해 부호 제어부(61)는 전술한 출력 시기 통지 처리를 실행하지 않지만, 그 밖에 대해서는 전술한 제1 실시예의 경우와 동일하다. 이 경우, 부호화 장치(52)는 연속 화상 정보 D1에 대하여, 부호 제어부(61)에 제어되는 부호화부(10)를 통해 부호화 처리를 실행함으로써, 디코드 지연이 헤더로서 부가되어 있지 않은 부호화 정보 D2를 순차 생성하고, 이 후, 당해 부호화 정보 D2를 순차 출력한다.
한편, 복호화 장치(53)는 복호화부(20)와, 이 복호화부(20)의 제어를 담당하는 복호 제어부(71)를 가지고 있으며, 전송로를 통해 순차 입력되는 부호화 정보 D2에 대하여, 당해 복호 제어부(71)에 제어되는 복호화부(20)을 통해 복호화 처리를 실행함으로써 복원 화상 정보 D3를 순차 생성하고, 이 후, 당해 복원 화상 정보 D3을 표시부(도시하지 않음)에 순차 출력하도록 하여 연속 재생한다.
(2) 복호 제어부(71)의 구성
실제상, 이 복호화 장치(53)의 복호 제어부(71)는 순차 입력되는 부호화 정보 D2를 복호화부(20) 내의 축적 버퍼(121)(도 9)에 일시적으로 축적하고, 당해 부호화 정보 D2에 포함되는 헤더 등에 따라, 당해 부호화 정보 D2의 복호화 처리 순서나, 복호화 처리의 개시 시기 또는 복호화에 관한 조건(이하, 이것을 복호화 조건이라고 함)을 파악하고, 이 복호화 조건에 따라 복호화부(20)를 제어한다.
이러한 구성에 더하여 복호 제어부(71)는 복호화 처리된 후에 화상 정렬 버퍼(126)(도 9)에 축적되는 복원 화상 정보 D3의 축적 상태를 감시하고, 당해 축적 상태로서 파탄(언더플로)을 검출했을 때, 당해 검출(파탄)시 직전에 출력한 복원 화상 정보 D3을 재출력하는 재출력 제어 처리를 실행하도록 되어 있다. 이 재출력 제어 처리에 대하여, 도 6에 나타낸 예를 사용하여 구체적으로 설명한다.
이 도 6에서는, 도 3과 동일하게, 「EI」의 란은 부호화 처리 전의 픽처 타입의 순서, 「EO」의 란은 부호화 처리 후의 픽처 타입의 순서, 「DO」는 복호화 후의 픽처 타입의 순서, 「Ed」의 란은 인코드 지연, 「Dd」의 란은 디코드 지연을 각각 나타내고 있다. 또 이 도 6에서는, 도 3과 동일하게, 부호화 장치(52)와 복 호화 장치(53) 사이에 있어서의 전송로의 전송 시간 등에 대해서는 고려하지 않고, 복호화 장치(53)에 있어서의 부호화 정보 D2의 입력 시기는 부호화부(10)로부터의 부호화 정보 D2의 출력 시기(「EO」의 란)와 동등하다고 간주하고 있다.
그리고 「Sud(Start-up delay)」의 란은 각 부호화 정보 D2를 입력한 다음 복호화 처리를 개시하기 시작할 때까지의 기간(이하, 이것을 스타트업 지연이라고 함)을 나타내고 있으며, 이 스타트업 지연은 부호화 장치(52)에서, 부호화 조건에 따라 부호 제어부(61)에 의해 산출되어, 헤더로서 부가되도록 되어 있다.
복호 제어부(71)는 먼저 최초의 부호화 정보 D2a를 입력하면(「EO」의 란에서의 「I00」), 당해 부호화 정보 D2a에 대한 스타트업 지연(「Sud」의 란에서의 「6」[초])에 따르지 않고, 당해 부호화 정보 D2a를 즉시 가역 부호화부(122)에 송출하여 복호화 처리를 개시하도록 제어한다(「Dd」의 란에서의 「0」[초]). 이 결과, 복호 제어부(71)는 연속 재생할 때의 준비 기간(기동 시간)을 단축할 수 있도록 되어 있다.
이 경우, 복호 제어부(71)에서는, 이러한 제어에 의해 생긴 본래 개시해야 할 복호 처리 개시 시기 사이의 어긋남 기간(조정하지 않으면 안되는 지연량이며, 구체적으로 도 6에서는 6[초]이다. 이하, 당해 기간을 조정분 지연량이라고 함)이 발생하므로, 이 조정분 지연량에 대하여, 부호화 정보 D2a의 복호화 처리 결과인 복원 화상 정보 D3a를 화상 정렬 버퍼(126)를 통해 출력한 후에 재출력(「DO」란에서의 「t=8」의 항에 상당)함으로써, 당해 조정분 지연량의 일부(「Dd」란에서의 「t=8」의 「2」[초」에 상당)를 상쇄한다.
그리고 복호 제어부(71)는 부호화 정보 D2a에 계속해서 순차 입력되는 부호화 정보 D2b, D2c……(「EO」란에서의 「P01」, 「P02」……)를 스타트업 지연에 따라 복호화 처리를 실행시켜, 당해 복호화 처리 후에 화상 정렬 버퍼(126)(도 9)에 축적되는 복원 화상 정보 D3b, D3c……(「DO」란에서의 「P01」, 「P02」……)의 축적 상태를 감시한다.
이 상태에서 복호 제어부(71)는 화상 정렬 버퍼(126)에 축적되는 복원 화상 정보 D3이 파탄(언더플로)할 때마다(도 6에서는, 「t=18」 및 「t=30」), 당해 파탄 직전에 출력한 복원 화상 정보 D3(「DO」란에서의 「P05」 및 「P10」)을 재출력함으로써, 나머지의 조정분 지연량을 정기적으로 상쇄한다.
이와 같이 하여 복호 제어부(71)는 재출력 제어 처리를 실행함으로써, 복원 화상 정보 D3에 있어서의 출력의 연속성을 확보할 수 있도록 되어 있다.
여기에서, 전술한 바와 같은 출력 시기 통지 처리는 도 7에 나타낸 재출력 제어 처리 순서 RT2에 따라 순차 실행된다.
즉, 복호 제어부(71)는, 예를 들면 복호화 처리를 실행하기 위한 소정 조작이 입력부(도시하지 않음)를 통해 행해지면, 이 재출력 제어 처리 순서 RT2를 스텝 SP10으로부터 개시하고, 계속되는 스텝 SP11에서 최초의 부호화 정보 D2a의 입력을 기다려, 당해 부호화 정보 D2a가 입력된 경우에는, 스텝 SP12로 옮긴다.
그리고 복호 제어부(71)는 이 스텝 SP12에서 부호화 정보 D2a에 대한 스타트업 지연에 따르지 않고 즉시 복호화 처리를 개시시켜, 계속되는 스텝 SP13에서 당해 복호화 처리 결과인 복원 화상 정보 D3a를 출력시킨 후에, 스텝 SP14에서 당해 복원 화상 정보 D3a를 재출력시켜 조정분 지연량의 일부를 상쇄한다.
계속해서 복호 제어부(71)는 스텝 SP15에서 다음의 복원 화상 정보 D2(D2b, D2c, ……D2n)의 복호화 처리를 개시시켜 당해 처리에 의해 얻어지는 복원 화상 정보 D3(D3b, D3c, ……D3n)를 출력시키고, 계속되는 스텝 SP16에서 화상 정렬 버퍼(126)(도 9)에 축적되는 복원 화상 정보 D3가 파탄했는지 여부를 판정하고, 부정 결과가 얻어진 경우, 스텝 SP15로 되돌아가 전술한 처리를 반복한다.
이에 대하여 긍정 결과가 얻어진 경우, 복호 제어부(71)는 계속되는 스텝 SP17에서, 스텝 SP15에서 출력한 복원 화상 정보 D3(「DO」란에서의 「P05」 및 「P10」)을 재출력함으로써, 나머지의 조정분 지연량의 일부(또는 전부)를 상쇄하고, 계속되는 스텝 SP18로 옮긴다.
그리고 복호 제어부(71)는 이 스텝 SP18에서 조정분 지연량이 모두 상쇄되었는지 여부를 판정하고, 부정 결과가 얻어진 경우에는, 스텝 SP15로 되돌아가 전술한 처리를 반복하고, 이에 대하여 긍정 결과가 얻어진 경우에는, 계속되는 스텝 SP19로 옮겨, 이 재출력 제어 처리 순서 RT2를 종료한다.
이와 같이 하여 부호 제어부(11)는 재출력 제어 처리 순서 RT2에 따라 재출력 제어 처리를 실행할 수 있도록 되어 있다.
이상의 구성에서, 이 복호화 장치(53)는 JVT 부호화 방식에 따라 부호화된 부호화 정보 D2에 대하여 복호화 처리를 실행한 결과 순차 생성되는 복원 화상 정보 D3을 화상 정렬 버퍼(126)(도 9)에 일시적으로 축적하고, 당해 화상 정렬 버퍼(126)(도 9)에 축적되는 복원 화상 정보 D3이 파탄된 경우에, 당해 파탄 직전에 출 력한 복원 화상 정보 D3을 재출력하도록 했다.
따라서, 이 복호화 장치(53)에서는, 복호화 순서가 일의적으로 정해지지 않은 JVT 부호화 방식에 따라 부호화된 부호화 정보 D2라도, 복원 화상 정보 D3에 있어서의 출력의 연속성을 확보할 수 있다.
이 경우, 복호화 장치(53)는 축적 버퍼(121)(도 9)에 축적한 최초의 부호화 정보 D2a에 정해진 복호화 개시 시기(스타트업 지연)에 따르지 않고, 당해 부호화 정보 D2a를 즉시 복호화를 개시시키고, 이에 따라 생긴 복호화 개시 시기와의 어긋남 기간(조정분 지연량)을, 화상 정렬 버퍼(126)(도 9)에 축적되는 복원 화상 정보 D3이 파탄된 경우에, 당해 파탄 직전에 출력한 복원 화상 정보를 재출력함으로써 상쇄하도록 했다.
따라서, 이 복호화 장치(53)에서는, 연속 재생할 때의 준비 기간(기동 시간)을 단축할 수 있는 동시에, 당해 단축에 의해 생긴 어긋남 기간(조정분 지연량)을 정기적으로 분산하도록 하여 완화하면서 복원 화상 정보에 있어서의 출력의 연속성을 확보할 수 있다.
이상의 구성에 의하면, JVT 부호화 방식에 따라 부호화된 부호화 정보 D2에 대하여 복호화 처리를 실행한 결과 순차 생성되는 복원 화상 정보 D3을 화상 정렬 버퍼(126)(도 9)에 일시적으로 축적하고, 당해 화상 정렬 버퍼(126)(도 9)에 축적되는 복원 화상 정보 D3이 파탄된 경우에, 당해 파탄 직전에 출력한 복원 화상 정보 D3을 재출력하도록 함으로써, 복호화 순서가 일의적으로 정해지지 않은 JVT 부호화 방식에 따라 부호화된 부호화 정보 D2라도, 복원 화상 정보 D3에 있어서의 출 력의 연속성을 확보할 수 있고, 이렇게 하여, 연속 재생할 수 있다.
(3) 다른 실시예
또한 전술한 제2 실시예에서는, JVT 부호화 방식을 적용하도록 한 경우에 대하여 설명했지만, 본 발명은 이것에 한정되지 않고, 적어도 B 픽처를 예측 부호화 대상으로서 사용할 수 있도록 규정된 이 밖에 여러 가지의 부호화 방식을 적용할 수 있다.
또 전술한 제2 실시예에서는, 각 부호화 정보와, 당해 부호화 정보에 대한 복호화 처리의 결과 순차 생성되는 복원 화상 정보를 일시적으로 축적하는 축적 수단으로서, 축적 버퍼(121)와 정렬 버퍼(126)를 별개로 사용하도록 한 경우에 대하여 설명했지만, 본 발명은 이것에 한정되지 않고, 당해 축적 버퍼(121) 및 정렬 버퍼(126)에 공용하도록 해도 된다. 이 경우, 버퍼의 수나 축적의 양태에 대해서는, 적당히 변경할 수 있다.
또 전술한 제2 실시예에서는, 출력 제어 수단으로서의 복호 제어부(71)에 의해, 축적 버퍼(121)(도 9)에 축적한 최초의 상기 부호화 정보 D2a에 정해진 복호화 개시 시기(스타트업 지연)에 따르지 않고, 당해 부호화 정보 D2a를 즉시 복호화를 개시시키고, 이에 따라 생긴 상기 복호화 개시 시기의 어긋남 기간(조정분 지연량)을 화상 정렬 버퍼(126)(도 9)에 축적되는 복원 화상 정보 D3이 파탄된 경우에, 당해 파탄 직전에 출력한 상기 복원 화상 정보를 재출력함으로써 상쇄하도록 한 경우에 대하여 설명했지만, 이에 더하여, 당해 축적 버퍼(121)에 축적된 각 부호화 정보 D2a∼D2b의 축적 순서(즉 「EO」의 란에 상당)가 당해 부호화되기 전의 순서(즉 「EI」의 란에 상당히)와 상이한 경우(예를 들면 도 6중 「t=32」의 항에 상당)에는, 그 상이한 부호화 정보 D2에 대응하는 복원 화상 정보 D3을 재출력하도록 해도 된다. 이와 같이하면, 이러한 순서가 상이한 경우에 가장 증대하는 디코드 지연을 재출력에 의해 보완할 수 있어, 복원 화상 정보 D3에 있어서의 출력의 연속성을 한층 확보할 수 있다.
본 발명은 연속 화상 정보를 위성 방송, 케이블 TV 또는 인터넷 등의 네트워크 미디어를 통해 전송할 때, 또는 광 디스크, 자기 디스크 또는 플래시 메모리 등의 기억 미디어상에서 처리할 때 이용 가능하다.

Claims (10)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 적어도 B 픽처를 예측 부호화 대상으로서 사용할 수 있도록 규정된 부호화 방식에 따라 부호화된 복수 개의 부호화 정보에 대하여, 복호화 처리를 실행하는 복호화 장치에 있어서,
    상기 복호화 처리의 결과 순차 생성되는 복원 화상 정보를 일시적으로 축적하는 축적 수단과,
    상기 축적 수단에 축적되는 상기 복원 화상 정보의 출력을 제어하는 출력 제어 수단
    을 구비하고,
    상기 축적 수단은 각각의 상기 부호화 정보도 일시적으로 축적하고,
    상기 출력 제어 수단은 상기 축적 수단에 축적되는 상기 복원 화상 정보가 파탄된 경우에, 상기 파탄 직전에 출력한 상기 복원 화상 정보를 재출력하고, 또한, 상기 축적 수단에 축적된 최초의 상기 부호화 정보에 정해진 복호화 개시 시기에 따르지 않고, 상기 부호화 정보에 대해 즉시 복호화를 개시시키고, 이에 따라 생긴 상기 복호화 개시 시기와의 어긋남 기간을, 상기 파탄된 경우에 상기 파탄 직전에 출력한 상기 복원 화상 정보를 재출력함으로써 상쇄하는,
    복호화 장치.
  6. 삭제
  7. 제5항에 있어서,
    상기 출력 제어 수단은 상기 축적 수단에 축적된 각각의 상기 부호화 정보의 축적 순서가 부호화되기 전의 순서와 상이한 경우에는, 그 상이한 상기 부호화 정보에 대응하는 상기 복원 화상 정보를 재출력하는, 복호화 장치.
  8. 적어도 B 픽처를 예측 부호화 대상으로서 사용할 수 있도록 규정된 부호화 방식에 따라 부호화된 복수 개의 부호화 정보에 대하여, 복호화 처리를 실행하는 복호화 방법에 있어서,
    상기 복호화 처리의 결과 순차 생성되는 복원 화상 정보를 일시적으로 축적하는 제1 스텝과,
    상기 축적되는 상기 복원 화상 정보를 출력하는 제2 스텝과,
    상기 축적되는 상기 복원 화상 정보가 파탄된 경우에, 상기 파탄 직전에 출력한 상기 복원 화상 정보를 재출력하는 제3 스텝
    을 포함하고,
    상기 제1 스텝에서는, 상기 복호화 처리 전에 각각의 상기 부호화 정보를 일시적으로 축적하고, 상기 축적한 최초의 상기 부호화 정보에 대해서는, 상기 부호화 정보에 정해진 복호화 개시 시기에 따르지 않고, 상기 부호화 정보에 대해 즉시 복호화를 개시시키는 복호 개시 스텝을 포함하고,
    상기 제3 스텝에서는, 상기 복호화 개시 스텝에서 상기 복호화 개시 시기에 따르지 않고 복호화를 개시시킴으로써 생긴 상기 복호화 개시 시기와의 어긋남 기간을, 상기 파탄된 경우에 상기 파탄 직전에 출력한 상기 복원 화상 정보를 재출력함으로써 상쇄하는,
    복호화 방법.
  9. 삭제
  10. 제8항에 있어서,
    상기 제1 스텝에서는, 상기 축적된 각각의 상기 부호화 정보의 축적 순서가 부호화 되기 전의 순서와 상이한지 여부를 판정하는 판정 스텝을 더 포함하고,
    상기 제3 스텝에서는, 상기 판정 스텝에서 상이한 판정 결과가 얻어진 경우에는, 그 상이한 상기 부호화 정보에 대응하는 상기 복원 화상 정보를 재출력하는, 복호화 방법.
KR20057000542A 2002-07-19 2003-07-18 복호화 장치 및 복호화 방법 KR100960821B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2002211829 2002-07-19
JPJP-P-2002-00211829 2002-07-19
JP2003276326A JP4806888B2 (ja) 2002-07-19 2003-07-17 復号化装置及び復号化方法
JPJP-P-2003-00276326 2003-07-17

Publications (2)

Publication Number Publication Date
KR20050028017A KR20050028017A (ko) 2005-03-21
KR100960821B1 true KR100960821B1 (ko) 2010-06-07

Family

ID=30772222

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20057000542A KR100960821B1 (ko) 2002-07-19 2003-07-18 복호화 장치 및 복호화 방법

Country Status (6)

Country Link
US (2) US8259799B2 (ko)
EP (1) EP1536651A4 (ko)
JP (1) JP4806888B2 (ko)
KR (1) KR100960821B1 (ko)
CN (1) CN1669331A (ko)
WO (1) WO2004010707A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8369402B2 (en) 2004-06-17 2013-02-05 Canon Kabushiki Kaisha Apparatus and method for prediction modes selection based on image formation
JP4247680B2 (ja) * 2004-07-07 2009-04-02 ソニー株式会社 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
US8483289B2 (en) 2008-04-17 2013-07-09 Broadcom Corporation Method and system for fast channel change
JP2006157481A (ja) 2004-11-30 2006-06-15 Canon Inc 画像符号化装置及びその方法
CN101888550A (zh) * 2010-06-28 2010-11-17 中兴通讯股份有限公司 一种slice头信息中量化参数编码方法和装置
MY186854A (en) * 2011-03-11 2021-08-26 Sony Corp Image processing apparatus and method
US10817224B2 (en) 2016-06-23 2020-10-27 Qualcomm Incorporated Preemptive decompression scheduling for a NAND storage device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08149464A (ja) * 1994-11-25 1996-06-07 Graphics Commun Lab:Kk フレームレート変換機能付き画像復号装置
JPH0937249A (ja) * 1995-07-20 1997-02-07 Hitachi Ltd 符号化映像信号の復号化処理方法及びそれを用いた復号化装置
JPH09247670A (ja) * 1996-03-13 1997-09-19 Toshiba Corp 情報多重化装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1991002419A1 (en) * 1989-08-09 1991-02-21 Alcatel N.V. Resequencing system for a switching node
US5481543A (en) * 1993-03-16 1996-01-02 Sony Corporation Rational input buffer arrangements for auxiliary information in video and audio signal processing systems
JPH0818953A (ja) * 1994-07-01 1996-01-19 Hitachi Ltd 動画像復号表示装置
JP3644995B2 (ja) 1995-01-25 2005-05-11 株式会社日立国際電気 符号化伝送方式におけるタイムスタンプ値演算方法
JP3824678B2 (ja) * 1995-05-09 2006-09-20 株式会社ルネサステクノロジ 画像復号表示装置
JP3301274B2 (ja) * 1995-06-20 2002-07-15 株式会社日立製作所 符号化映像データの復号装置
US6167083A (en) * 1997-04-04 2000-12-26 Avid Technology, Inc. Computer system and process for capture editing and playback of motion video compressed using interframe and intraframe techniques
JPH1118083A (ja) * 1997-06-25 1999-01-22 Sony Corp ディジタル信号符号化方法及び装置、信号記録媒体並びに信号伝送方法
KR100750520B1 (ko) * 1997-09-25 2007-08-21 소니 가부시끼 가이샤 부호화 스트림 생성 장치 및 방법, 데이터 전송 시스템 및 방법, 편집 시스템 및 방법
JPH11122113A (ja) * 1997-10-09 1999-04-30 Sony Corp データ復号化装置及び方法
JP3232052B2 (ja) * 1997-10-31 2001-11-26 松下電器産業株式会社 画像復号化方法
US6963608B1 (en) * 1998-10-02 2005-11-08 General Instrument Corporation Method and apparatus for providing rate control in a video encoder
US6285405B1 (en) * 1998-10-14 2001-09-04 Vtel Corporation System and method for synchronizing data signals
JP2000228768A (ja) * 1999-02-05 2000-08-15 Sony Corp デジタル信号伝送装置および方法、並びに提供媒体
JP2000333163A (ja) * 1999-05-24 2000-11-30 Sony Corp 復号装置及び方法、符号化装置及び方法、画像処理システム、画像処理方法
JP2000350183A (ja) * 1999-06-03 2000-12-15 Canon Inc 撮像装置遠隔制御システム
JP2001238110A (ja) * 2000-02-24 2001-08-31 Sony Corp 撮像装置および方法、並びに記録媒体
JP2001251616A (ja) * 2000-03-02 2001-09-14 Media Glue Corp 多重化音響・動画圧縮符号化信号変換方法、装置および変換プログラムを記録した媒体
GB2362531A (en) * 2000-05-15 2001-11-21 Nokia Mobile Phones Ltd Indicating the temporal order of reference frames in a video sequence
JP2002091424A (ja) * 2000-09-20 2002-03-27 Matsushita Electric Ind Co Ltd 画像表示装置及び画像表示方法
JP4208398B2 (ja) * 2000-10-05 2009-01-14 株式会社東芝 動画像復号再生装置、動画像復号再生方法及びマルチメディア情報受信装置
US7706445B2 (en) * 2001-05-31 2010-04-27 Sanyo Electric Co., Ltd. Image processing employing picture type conversion
JP3866628B2 (ja) 2002-07-16 2007-01-10 日本電信電話株式会社 動画像符号化方法，動画像復号方法，画像符号化装置，画像復号装置，動画像符号化プログラム，動画像復号プログラムおよびそれらのプログラムの記録媒体
JP3534742B1 (ja) 2002-10-03 2004-06-07 株式会社エヌ・ティ・ティ・ドコモ 動画像復号方法、動画像復号装置、及び動画像復号プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08149464A (ja) * 1994-11-25 1996-06-07 Graphics Commun Lab:Kk フレームレート変換機能付き画像復号装置
JPH0937249A (ja) * 1995-07-20 1997-02-07 Hitachi Ltd 符号化映像信号の復号化処理方法及びそれを用いた復号化装置
JPH09247670A (ja) * 1996-03-13 1997-09-19 Toshiba Corp 情報多重化装置

Also Published As

Publication number Publication date
US8259799B2 (en) 2012-09-04
WO2004010707A1 (ja) 2004-01-29
EP1536651A1 (en) 2005-06-01
JP4806888B2 (ja) 2011-11-02
EP1536651A4 (en) 2010-12-29
JP2004056827A (ja) 2004-02-19
US20110158318A1 (en) 2011-06-30
US20050238099A1 (en) 2005-10-27
KR20050028017A (ko) 2005-03-21
CN1669331A (zh) 2005-09-14
US8228988B2 (en) 2012-07-24

Similar Documents

Publication Publication Date Title
US5386234A (en) Interframe motion predicting method and picture signal coding/decoding apparatus
JP4014263B2 (ja) 映像信号変換装置及び映像信号変換方法
KR101747195B1 (ko) 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법, 및 동화상 예측 복호 프로그램
US8228988B2 (en) Encoding device, encoding method, decoding device, and decoding method
JP2003284071A (ja) 人間の視覚特性を考慮した映像の符号化方法及び復号化方法並びにその装置
JPH05153577A (ja) 動画像復号化装置
JP4620586B2 (ja) デジタルビデオ符号化処理における可変精度ピクチャ間タイミング指定方法及び装置
JP3976942B2 (ja) 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体
US6271774B1 (en) Picture data processor, picture data decoder and picture data encoder, and methods thereof
JP3508916B2 (ja) 動画像可変ビットレート符号化方法および装置
JP4708821B2 (ja) 動画像符号化装置及びその制御方法、コンピュータプログラム及び記憶媒体
JPH07203456A (ja) 符号化装置と復号化装置と映像記録装置
US8306110B2 (en) Moving image coding apparatus and method using copy pictures depending on virtual buffer verifier occupancy
JPH08251582A (ja) 符号化データ編集装置
JP3483806B2 (ja) 動画像信号の符号化装置及び符号化方法
JP5007759B2 (ja) 符号化装置、符号化方法、復号化装置及び復号化方法
JPH10271498A (ja) 圧縮データ変換方法、画像圧縮データの情報量変換方法およびその方法を適用した画像記録装置
JP6874844B2 (ja) 動画像符号化装置、動画像符号化方法、及び、動画像符号化プログラム
JPH08265776A (ja) 映像データ合成装置およびその方法
JP2005080004A (ja) 動画像符号化装置
JP2002218470A (ja) 画像符号化データのレート変換方法、及び画像符号化レート変換装置
JP6229023B2 (ja) 動画像予測復号方法及び動画像予測復号装置
JP5977852B2 (ja) 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
JPH11234675A (ja) 動画像符号化装置及び方法、動画像復号装置及び方法並びに記録媒体
JPH06276504A (ja) 画像信号符号化方法、装置、復号化方法及び装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130521

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140516

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150519

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160513

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170512

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180523

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee