KR20070090174A - 부호화 장치 및 방법, 및 프로그램 - Google Patents

부호화 장치 및 방법, 및 프로그램 Download PDF

Info

Publication number
KR20070090174A
KR20070090174A KR20077012405A KR20077012405A KR20070090174A KR 20070090174 A KR20070090174 A KR 20070090174A KR 20077012405 A KR20077012405 A KR 20077012405A KR 20077012405 A KR20077012405 A KR 20077012405A KR 20070090174 A KR20070090174 A KR 20070090174A
Authority
KR
South Korea
Prior art keywords
picture
encoding
time
decoding
decoded
Prior art date
Application number
KR20077012405A
Other languages
English (en)
Inventor
구니아끼 다까하시
쯔요시 기무라
야스시 후지나미
Original Assignee
소니 가부시끼 가이샤
가부시키가이샤 소니 컴퓨터 엔터테인먼트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤, 가부시키가이샤 소니 컴퓨터 엔터테인먼트 filed Critical 소니 가부시끼 가이샤
Publication of KR20070090174A publication Critical patent/KR20070090174A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

디코드측에서 표시 대기가 생기지 않도록 픽쳐를 부호화할 수 있다． 부호화순이 교체된 재부호화가 행해진다. 그 결과, 픽쳐 B3이, 픽쳐 I1(픽쳐 Nd)로부터 제2 번째로 디코드되는 픽쳐 Na+1(도 11의 (A))로서 검출되므로，{I1, P2, B3}의 픽쳐 열에, 픽쳐 P3(픽쳐 Na+2)(픽쳐 I1로부터 제2 번째로 표시되는 픽쳐)이 포함되어 있도록 되고, 도 11의 (C) 및 도 11의 (D)에 도시한 바와 같이, 픽쳐 B3의 디코드가, 픽쳐 B3의 표시 시각에 대응하는 시각에 행하여져, 픽쳐 B3을 그 표시 시각에 표시할 수 있도록 된다.
디코드, 픽쳐, 부호화, 재부호화

Description

부호화 장치 및 방법, 및 프로그램{ENCODING DEVICE, METHOD, AND PROGRAM}
본 발명은, 부호화 장치 및 방법, 및 프로그램에 관한 것으로, 디코드측에서 표시 대기가 생기지 않도록 픽쳐를 부호화할 수 있는 부호화 장치 및 방법, 및 프로그램에 관한 것이다．
도 1을 참조하여, 동화상 압축 기술 부호화 표준인 AVC(Advanced Video Coding) 규격에서의, 인코드 및 디코드의 관계를 간단히 설명한다.
인코더(2)는, 비디오　카메라(1) 등에 의해 취득된 비디오 신호를, 쌍방향 움직임 보상 프레임간 예측의 원리에 기초하여 부호화하여, 비트 스트림을 생성한다.
디코드측의 버퍼(5)가 오버플로우하거나 언더플로우하여 파탄되면, 비트 스트림을 올바르게 복호할 수 없게 되므로, 인코더(2)는, 이 버퍼(5)를 파탄시키지 않도록, 비트 스트림을 생성할 필요가 있다．
따라서 이것을 실현하기 위해, 부호화에서, 가상의 버퍼를 포함하는 디코더(6)의 행동을 가상적으로 모델화한 가상 디코더라고 하는 개념이 도입되어 있다.
가상 디코더에는, 디코드되기 전의 비트 스트림을 보존하는 버퍼(CPB : Coded Picture Buffer)와, 디코드된 픽쳐를 보존하는 버퍼(DPB : Decoded Picture Buffer)의 2개의 버퍼가 규정되어 있다. CPB와 DPB의 버퍼 사이즈는, 레벨에 따라 규정되어 있다.
예를 들면, 비디오 데이터의 1프레임 또는 1필드의 픽쳐를 디코드 처리 단위인 액세스 유닛으로 하면, 액세스 유닛은, 미리 정해진 도착 시각에 CPB에 입력된다. 도 2의 (A)는, CPB의 디코드 시각에 대응하는 시각인, CPB 리무버블 타임을 도시하고 있다. 액세스 유닛은, CPB 리무버블 타임에서 정의된 시각에 CPB로부터 순시로 취출되어, 가상 디코더에 의해 순시로 디코드된다. 디코드된 픽쳐는, CPB 리무버블 타임의 시각에 DPB에 입력된다.
디코드되어 DPB에 입력된 픽쳐는, 표시 시각순으로 교체되어 DPB에 보존된다. 도 2의 (B)는, DPB의 표시 시각에 대응하는 시각인 DPB 아웃풋을 도시하고 있다. 액세스 유닛은, DPB 아웃풋 타임에서 정의된 시각에 DPB로부터 출력되어, 표시된다.
또한 CPB 리무버블 타임 및 DPB 아웃풋 타임은, 예를 들면 16msec(tc) 간격으로 정의되어 있다.
인코더(2)는, 예를 들면 액세스 유닛을 페이로드로 하여, 도 3에 도시한 바와 같이, PES(Packetized Elementary Stream) 패킷을 생성한다. AVC의 비트 스트림에서는，CPB 리무버블 타임이나 DPB 아웃풋 타임은, 각 픽쳐의 헤더 정보로서 저장되어 있기 때문에, 이 경우에는 페이로드 내에 저장된다.
PES 패킷의 헤더 정보에는, 해당 PES 패킷에 랜덤 액세스했을 때에 비디오 데이터, 오디오 데이터, 자막 데이터의 동기를 취하기 위해 이용되는 표시 시각 정 보(PTS : Presentation Time Stamp) 등이 저장된다.
인코더(2)는, 도 2의 (A)나 도 2의 (B)에 도시한 바와 같은, 픽쳐마다의 CPB 리무버블 타임이나 DPB 아웃풋 타임 등의 규칙에 따라, 이들 버퍼가 파탄되지 않도록 인코드를 행한다. 실제의 디코드 처리 시에 따라야 할 규칙으로 되는 픽쳐마다의 CPB 리무버블 타임이나 DPB 아웃풋 타임의 값은, 도 3의 페이로드에 저장되는 AVC 액세스 유닛 내에 포함된다.
인코드된 비트 스트림은, 실제의 플레이어에서, 도 2의 (C)에 도시하는 시각에 디코드 처리가 행해지고, 도 2의 (D)에 도시하는 시각에 표시된다. 실제의 디코드 처리 시에는, 도 3의 페이로드에 저장되는 AVC 액세스 유닛 내에 포함되는 DPB 아웃풋 타임에 기초하여, 예를 들면 매초 30프레임과 같이, 지정된 시간에 픽쳐를 표시해 간다. AVC 규격에서는, 픽쳐의 헤더 정보에 가상 디코더의 CPB 리무버블 타임 및 DPB 아웃풋 타임이 기술되어 있다.
또한, 도 2의 (C) 및 도 2의 (D)에 도시된, 실제의 디코드 처리에서의 디코드 시각 및 표시 시각은, 도 2의 (A) 및 도 2의 (B)에 도시하는 가상 디코더의 CPB 리무버블 타임 및 DPB 아웃풋 타임과 마찬가지로，tc 간격으로 도시되어 있다.
인코더(2)에 의해 생성된 비트 스트림은, 전송 버퍼(3)에 입력되어 축적되고, 예를 들면 트랜스포트 스트림이나 프로그램 스트림으로서 전송로(4)에 출력되거나, 도시하지 않은 기록 매체에 기록되거나 한다.
전송로(4) 또는 도시하지 않은 기록 매체를 통해 전송된 트랜스포트 스트림 또는 프로그램 스트림은, 디코더측의 버퍼(5)에 입력된다. 디코더(6)는, 이 버 퍼(5)로부터 비트 스트림을 취출하여, 각 픽쳐에 대해서, 도 2의 (C)에 도시한 바와 같이, 가상 디코더에 의한 CPB 리무버블 타임이 나타내는 디코드 순서(도 2의 (A))와 동일한 순서(도 2의 (A))로, DPB 아웃풋 타임(도 2의 (B))에 대응하는 시각에 맞게 디코드 처리를 행한다(비특허문헌1 「H.264/AVC(IS0/IEC 14496-10), Annex C」 참조).
디코더(6)는, 디코드 처리의 결과 얻어진 화상을, DPB 아웃풋 타임(도 2의 B)에 따른 시각에, 표시부(7)에 표시한다.
그러나, 실제의 디코드 처리는, 전술한 바와 같이, 가상 디코더에 의해 정해져 있는 CPB 리무버블 타임이 나타내는 시각이 아니라, DPB 아웃풋 타임이 나타내는 시각에 대응하는 시각(도 2의 (B))에, 가상 디코더에 의한 디코드와 동일한 순서(도 2의 (A))로 행해지고, 그 때문에, 디코드순과 표시순이 서로 다른 픽쳐의 복호가, 그 픽쳐의 표시 시각까지 행해지지 않는 경우가 있다.
예를 들면, 도 2의 (B)에서 제3 번째로 표시되는 픽쳐 B3은, 도 2의 (A)에 도시한 바와 같이, 제4 번째로 디코드된다. 한편, 실제의 디코드측의 픽쳐 B3의 디코드 시각은, 도 2의 (C)에 도시한 바와 같이, 픽쳐 B3의 표시 시각(도 2의 (D)) 후의, 원래 제4 번째로 표시되는 픽쳐 P4의 표시 시각(도 2의 (B))에 대응하는 시각으로 된다. 그 때문에, 도 2의 (D)에 도시한 바와 같이, 픽쳐 B3을, 본래의 표시 시각(도 2의 (B))으로 표시할 수 없게 된다. 도 2의 (D) 중, 도 2의 (B)의 DPB 아웃 풋 타임에 따라 "B3"이 표시될 시각에 ×가 붙어 있는 것은, 표시되지 않은 것을 의미하고 있다. 이 경우, 실제의 디코드 처리에서는, 도 2의 (D)와 같이, 픽쳐 B3의 표시 대기가 생긴다.
<발명의 개시>
본 발명은 이러한 상황을 감안하여 이루어진 것으로, 디코드측에서 표시 대기가 생기지 않도록 픽쳐를 부호화할 수 있도록 하는 것이다.
본 발명의 부호화 장치는, 랜덤 액세스를 가능하게 하는 픽쳐군마다, 픽쳐군을 구성하는 픽쳐 각각의 복호가, 그 픽쳐의 표시 시각까지 행해지도록, 픽쳐의 부호화를 행하도록 구성된 부호화부를 구비하는 것을 특징으로 한다.
부호화부는, 픽쳐군 중에서 최초로 표시되는 픽쳐의 표시 시각 이후에 최초로 복호되는 픽쳐를 검출하도록 구성된 제1 검출부와, 픽쳐군 중에서, 제m 번째로 표시되는 픽쳐를 검출하도록 구성된 제2 검출부와, 픽쳐군 중에서, 제1 검출부에 의해 검출된 픽쳐로부터 제m 번째로 복호되는 픽쳐를 검출하도록 구성된 제3 검출부와, 제3 검출부에 의해 검출된 픽쳐가 복호될 때까지, 제2 검출부에 의해 검출된 픽쳐가 복호되는 부호화 처리를 실행하도록 구성된 실행부를 구비할 수 있다.
본 발명의 부호화 방법은, 랜덤 액세스를 가능하게 하는 픽쳐군마다, 픽쳐군을 구성하는 픽쳐 각각의 복호가, 그 픽쳐의 표시 시각까지 행해지도록, 픽쳐의 부호화를 행하는 부호화 스텝을 포함하는 것을 특징으로 한다.
본 발명의 프로그램은, 랜덤 액세스를 가능하게 하는 픽쳐군마다, 픽쳐군을 구성하는 픽쳐 각각의 복호가, 그 픽쳐의 표시 시각까지 행해지도록, 픽쳐의 부호화를 행하는 부호화 스텝을 포함하는 것을 특징으로 한다.
본 발명의 장치 및 방법, 및 프로그램에서는, 랜덤 액세스를 가능하게 하는 픽쳐군마다, 픽쳐군을 구성하는 픽쳐 각각의 복호가, 그 픽쳐의 표시 시각까지 행해지도록, 픽쳐의 부호화가 행해진다.
본 발명에 따르면, 디코드측에서 표시 대기가 생기지 않도록 동화상을 부호화할 수 있다．
도 1은 인코드와 디코드의 일례의 관계를 도시하는 도면.
도 2의 (A), 도 2의 (B), 도 2의 (C) 및 도 2의 (D)는, 가상 디코더 모델에 기초하는 부호화 장치의 동작과, 실제의 플레이어에서의 동작을 설명하는 일례의 타이밍차트.
도 3은, PES 패킷의 데이터 구조를 도시하는 도면.
도 4는, 본 발명을 적용한 부호화 장치의 구성예를 도시하는 블록도.
도 5의 (A) 및 도 5의 (B)는, RIP 단위마다의 디코드와 표시의 순번을 설명하는 도면.
도 6은, 도 4의 비디오 인코더(26)의 구성예를 도시하는 블록도.
도 7은, 도 4의 부호화 장치의 기능적 구성예를 도시하는 블록도.
도 8은, 도 4의 부호화 장치의 동작을 설명하는 플로우차트.
도 9의 (A) 및 도 9의 (B)는, 도 4의 부호화 장치에 의해 부호화된 픽쳐군의 실제의 플레이어에서의 디코드 및 표시의 타이밍차트.
도 10의 (A) 및 도 10의 (B)는, 도 4의 부호화 장치에 의해 부호화된 픽쳐군의 실제의 플레이어에서의 디코드 및 표시의 타이밍차트.
도 11의 (A), 도 11의 (B), 도 11의 (C) 및 도 11의 (D)는, 도 4의 부호화 장치에 의해 부호화된 픽쳐군의 실제의 플레이어에서의 디코드 및 표시의 타이밍차트.
도 12의 (A), 도 12의 (B), 도 12의 (C) 및 도 12의 (D)는, 도 4의 부호화 장치에 의해 부호화된 픽쳐군의 실제의 플레이어에서의 디코드 및 표시의 타이밍차트.
도 13의 (A), 도 13의 (B), 도 13의 (C) 및 도 13의 (D)는, 도 4의 부호화 장치에 의해 부호화된 픽쳐군의 실제의 플레이어에서의 디코드 및 표시의 타이밍차트.
도 14의 (A), 도 14의 (B), 도 14의 (C) 및 도 14의 (D)는, 도 4의 부호화 장치에 의해 부호화된 픽쳐군의 실제의 플레이어에서의 디코드 및 표시의 타이밍차트.
도 15의 (A), 도 15의 (B), 도 15의 (C) 및 도 15의 (D)는, 도 4의 부호화 장치에 의해 부호화된 픽쳐군의 실제의 플레이어에서의 디코드 및 표시의 타이밍차트.
도 16의 (A), 도 16의 (B), 도 16의 (C) 및 도 16의 (D)는, 도 4의 부호화 장치에 의해 부호화된 픽쳐군의 실제의 플레이어에서의 디코드 및 표시의 타이밍차 트.
<도면 부호의 설명>
11: 부호화 장치
21: 버스
22: CPU
23: 메모리
24: 비디오 신호 입력 인터페이스
25: 제어 신호 입력 인터페이스
26: 비디오 인코더
27: 비디오 데이터 출력 인터페이스
51: 제어 신호 입력 제어부
52: 비디오 신호 입력 제어부
53: 인코드 제어부
54: 비디오 인코더 제어부
55: 비디오 데이터 출력 제어부
S1: 픽쳐 표시 시각을 취득함
S2: 소정 부호화 순으로, 픽쳐를 부호화함(디코드 시각의 결정)
S3: RIP 를 선택함 {No,...,Ne}
S4: RIP 를 구성하는 픽쳐의 표시 시각을 판독
S5: RIP 를 구성하는 픽쳐의 디코드 시각을 판독
S6: 최초로 표시되는 픽쳐 Na의 표시 시각 이후에 디코드되는 RIP의 픽쳐 중에서, 최초로 디코드되는 픽쳐 Nd를 검출함
S7: m=1
S8: 픽쳐 Na + m과 픽쳐 Nd + m을 검출함
S9: 픽쳐 Nd + m은 픽쳐 Ne보다 전의 프레임?
S10: {N0,...,Nd+m}에 픽쳐 Na+m이 포함되었는가?
S11: m ←m + 1
S12: 재부호화를 행함
S13: {픽쳐 No,...,Ne}에 픽쳐 Na+m이 포함되었는가?
S14: 재부호화를 행함
S15: 모든 RIP를 선택했는가?
S16: 표시 대기가 해소되었는가?
<발명을 실시하기 위한 최량의 형태>
이하에 본 발명의 실시 형태를 설명하지만, 본 명세서에 기재된 발명과, 발명의 실시 형태와의 대응 관계를 예시하면, 다음과 같이 된다. 이 기재는, 본 명세서에 기재되어 있는 발명을 서포트하는 실시 형태가 본 명세서에 기재되어 있는 것을 확인하기 위한 것이다. 따라서, 발명의 실시 형태 중에는 기재되어 있지만, 발명에 대응하는 것으로서, 여기에는 기재되지 않은 실시 형태가 있었다고 해도, 그것은, 그 실시 형태가, 그 발명에 대응하는 것은 아님을 의미하는 것은 아니다. 반대로, 실시 형태가 발명에 대응하는 것으로서 여기에 기재되어 있었다고 해도, 그것은, 그 실시 형태가, 그 발명 이외의 발명에는 대응하지 않음을 의미하는 것은 아니다.
또한, 이 기재는, 본 명세서에 기재되어 있는 발명의 모두를 의미하는 것은 아니다. 바꾸어 말하면, 이 기재는, 본 명세서에 기재되어 있는 발명으로서, 본 출원에서는 청구되어 있지 않은 발명의 존재, 즉, 장래, 분할 출원되거나, 보정에 의해 출현, 추가되는 발명의 존재를 부정하는 것은 아니다.
청구의 범위1에 기재된 부호화 장치는,
랜덤 액세스를 가능하게 하는 픽쳐군마다, 상기 픽쳐군을 구성하는 픽쳐 각각의 복호가, 그 픽쳐의 표시 시각까지 행해지도록, 상기 픽쳐의 부호화를 행하도록 구성된 부호화부(예를 들면, 도 7의 인코드 제어부(53))를 구비하는 것을 특징으로 한다.
청구의 범위4에 기재된 부호화 장치는,
상기 부호화부는,
상기 픽쳐군 중에서 최초로 표시되는 픽쳐의 표시 시각 이후에 최초로 복호되는 픽쳐를 검출하도록 구성된 제1 검출부(예를 들면, 도 8의 스텝 S6의 처리를 행하는 도 7의 인코드 제어부(53))와,
상기 픽쳐군 중에서, 제m 번째로 표시되는 픽쳐를 검출하도록 구성된 제2 검출부(예를 들면, 도 8의 스텝 S8의 처리를 행하는 도 7의 인코드 제어부(53))와,
상기 픽쳐군 중에서, 상기 제1 검출부에 의해 검출된 상기 픽쳐로부터 제m 번째로 복호되는 픽쳐를 검출하도록 구성된 제3 검출부(예를 들면, 도 8의 스텝 S8 의 처리를 행하는 도 7의 인코드 제어부(53))와,
상기 제3 검출부에 의해 검출된 상기 픽쳐가 복호될 때까지, 상기 제2 검출부에 의해 검출된 픽쳐가 복호되는 부호화 처리를 실행하도록 구성된 실행부(예를 들면, 도 8의 스텝 S10 내지 S12의 처리를 행하는 도 7의 인코드 제어부(53))를 구비하는 것을 특징으로 한다.
본 발명의 부호화 방법 및 프로그램은,
랜덤 액세스를 가능하게 하는 픽쳐군마다, 상기 픽쳐군을 구성하는 픽쳐 각각의 복호가, 그 픽쳐의 표시 시각까지 행해지도록, 상기 픽쳐의 부호화를 행하는 부호화 스텝(예를 들면, 도 8의 처리를 행하는 도 7의 인코드 제어부(53))을 포함하는 것을 특징으로 한다.
이하에, 도면을 참조하여, 본 발명의 실시 형태에 대하여 설명한다.
도 4는, 본 발명을 적용한 부호화 장치(11)의 구성예를 도시하고 있다.
이 부호화 장치(11)는, H.264/AVC의 규격에 준거하여 동화상 압축 부호화를 행하지만, 랜덤 액세스를 가능하게 하기 위해, 도 5의 (A) 및 도 5의 (B)에 도시한 바와 같은 소정 매수의 픽쳐로 이루어지는 조(이하, RIP : Recovery Point Interval Pictures라고 칭함) 내의 픽쳐의 정보만으로 디코드가 완결되는 부호화를 행한다. 도 5의 (A)는, 디코드의 순번을, 도 5의 (B)는, 표시의 순번을 각각 나타낸다.
버스(21)에는, CPU(Central Processing Unit)(22), 메모리(23), 비디오 신호 입력 인터페이스(24), 제어 신호 입력 인터페이스(25), 비디오 인코더(26), 및 비 디오 데이터 출력 인터페이스(27) 등이 접속되어 있다.
CPU(22) 및 메모리(23)는, 컴퓨터 시스템을 형성하고 있다． 즉, CPU(22)는, 메모리(23)에 기억된 프로그램을 실행하고, 장치 전체를 제어함과 함께, 후술하는 처리를 행한다. 메모리(23)는, CPU(22)가 실행하는 프로그램을 기억하고 있다． 또한, 메모리(23)는, CPU(22)의 동작상 필요한 데이터를 일시적으로 기억한다. 또한, 메모리(23)는, 불휘발성 메모리만, 또는 휘발성 메모리와 불휘발성 메모리의 조합으로 구성하는 것이 가능하다. 또한, 도 4의 장치에, 하드디스크를 설치하고, 그 하드디스크에, CPU(22)가 실행하는 프로그램을 저장해 두는 경우에는, 메모리(23)는, 휘발성 메모리만으로 구성하는 것이 가능하다.
여기에서, CPU(22)가 실행하는 프로그램은, 디스크, 또한, 디스크 이외의 플렉시블 디스크, CD-ROM(Compact Disc Read Only Memory), M0(Magneto Optical) 디스크, 자기 디스크, 메모리 카드 등의 리무버블 기록 매체에, 일시적 혹은 영속적으로 저장해 둘 수 있다. 이러한 리무버블 기록 매체는, 소위 팩키지 소프트 웨어로서 제공할 수 있다．
또한, 프로그램은, 메모리(23)에 미리 기억시켜 두는 것, 혹은, 전술한 바와 같은 리무버블 기록 매체로부터 장치에 인스톨할 수 있다． 또한, 프로그램은, 다운로드 사이트로부터, 디지털 위성 방송용의 인공위성을 통하여, 디스크 장치에 무선으로 전송하거나, LAN(Local Area Network), 인터넷이라고 하는 네트워크를 통하여, 디스크 장치에 유선으로 전송하고, 디스크 장치에서는, 그와 같이 하여 전송되어 오는 프로그램을 수신하여, 내장한 메모리(23)에 인스톨할 수 있다．
또한, 프로그램은, 하나의 CPU에 의해 처리되는 것이어도 되고, 복수의 CPU에 의해 분산 처리되는 것이어도 된다.
비디오 신호 입력 인터페이스(24)는, CPU(22)의 제어 하에서, 비디오　카메라 등으로부터 공급된 비디오 신호를 입력받고, 버스(21)를 통하여, CPU(22)나, 메모리(23), 비디오 인코더(26) 등에 공급한다.
제어 신호 입력 인터페이스(25)는, 도시하지 않는 키(버튼)나, 리모콘(리모트 컨트롤 커맨더)이 유저에게 조작됨으로써 공급되는 제어 신호를 입력받고, 버스(21)를 통하여, CPU(22)에 공급한다. 또한, 제어 신호 입력 인터페이스(25)는, 기타, 예를 들면, 모뎀(ADSL(Asymmetric Digital Subscriber Line) 모뎀을 포함함)이나, NIC(Network Interface Card) 등의 통신 인터페이스로서도 기능한다.
비디오 인코더(26)는, 비디오 신호 입력 인터페이스(24)를 통하여 입력된 비디오 신호를 부호화하고, 그 결과 얻어진 비디오 데이터를, 버스(21)를 통하여, CPU(22)에 공급한다.
비디오 데이터 출력 인터페이스(27)는, CPU(22)에 의해 비디오 데이터가 패킷화되어 얻어진 비디오 트랜스포트 스트림을 출력한다.
도 6은, 비디오 인코더(26)의 구성예를 도시하고 있다.
A/D 변환부(31)는, 거기에 공급되는 픽쳐를 A/D(Analog/Digital) 변환함으로써, 디지털 신호로 변환하고, 2-3 검출부(32)에 공급한다. 또한 여기에서는 A/D 변환부(31)에는, 2-3 풀다운에 의해 얻어진 NTSC 방식의 픽쳐의 화상 신호가, 필드 단위로 공급되는 것으로 한다.
2-3 검출부(32)는, A/D 변환부(31)로부터의 픽쳐의, 2개의 필드끼리의 차분인 필드간 차분 정보 등을 이용하여, 2-3 운률의 검출을 행한다.
즉, 2-3 풀다운에서는, 영화 필름의 각 프레임이, NTSC 방식의 2필드와 3필드로 교대로 변환되므로，NTSC 방식의 픽쳐의 시퀀스는, 영화 필름의 순차 주사의 1프레임으로부터 얻어지는 2필드의 조와, 영화 필름의 순차 주사의 1프레임으로부터 얻어지는 3필드의 조가 교대로 반복되는, 말하자면 2-3 운률을 갖는다. 2-3 검출부(32)에서는, 이 2필드의 조와 3필드의 조의 검출이 행해진다.
2-3 검출부(32)는, 검출한 2 필드의 픽쳐의 조 또는 3필드의 픽쳐의 조로부터, 1프레임의 순차 주사의 픽쳐를 구성하고, 화면 재배열 버퍼(3)에 공급한다. 또한 도 2의 (A), 도 2의 (B), 도 2의 (C) 및 도 2의 (D)는, 2-3 풀다운되어 있는 경우의 픽쳐의 예를 나타내고 있다. 즉 표시 시각의 간격이, 3tc인 경우와 2tc인 경우가 존재한다.
화면 재배열 버퍼(33)는, 픽쳐를 일시적으로 기억하고, 그 기억한 픽쳐를, 미리 결정되어 있는 부호화순에 따라 재배열하고, 부호화 대상의 주목 픽쳐(이하, 간단히 「주목 픽쳐」라고 기술함)로서, 매크로 블록 단위로, 가산기(34)에 공급한다.
주목 픽쳐가, 인트라 부호화되는 인트라 부호화 픽쳐인 경우에는, 가산기(34)는, 그 주목 픽쳐를, 그대로, 직교 변환부(35)에 공급한다.
또한, 주목 픽쳐가, 인터 부호화되는 인터 부호화 픽쳐인 경우에는, 가산기(34)는, 주목 픽쳐로부터, 움직임 예측/보상부(42)로부터 공급되는 예측 화상을 감산하여, 직교 변환부(35)에 공급한다.
즉, 움직임 예측/보상부(42)는, 화면 재배열 버퍼(33)에 기억된 픽쳐의 움직임 벡터를 검출함과 함께, 프레임 메모리(41)로부터, 이미 부호화되어 복호된, 주목 픽쳐의 참조 화상으로 되는 픽쳐를 읽어내고, 그 참조 화상에 대하여, 움직임 벡터에 기초하는 움직임 보상을 실시함으로써, 최적의 예측 모드에 의한, 주목 픽쳐의 예측 화상을 생성한다. 그리고, 움직임 예측/보상부(42)는, 그 예측 화상을, 가산기(34)에 공급하고, 가산기(34)는, 이와 같이 하여 움직임 예측/보상부(42)로부터 공급되는 예측 화상을, 주목 픽쳐로부터 감산하여, 직교 변환부(35)에 공급한다.
직교 변환부(35)는, 가산기(34)로부터 공급되는 주목 픽쳐, 또는 주목 픽쳐로부터 예측 화상을 감산한 감산 결과인 차분 화상에 대하여, 예를 들면, 이산 코사인 변환 등의 직교 변환을 실시하고, 그 결과 얻어지는 변환 계수를, 양자화부(36)에 공급한다.
양자화부(36)는, 후술하는 레이트 제어부(43)로부터의 제어에 따른 양자화 스텝에서, 직교 변환부(35)로부터의 변환 계수를 양자화하고, 그 결과 얻어지는 양자화 계수를, 가역 부호화부(37)와 역양자화부(39)에 공급한다.
가역 부호화부(37)는, 양자화부(36)로부터의 양자화 계수, 또한, 움직임 예측/보상부(42)에서 검출된 움직임 벡터 등에 대하여, 예를 들면, 가변 길이 부호화나 산술 부호화 등의 가역 부호화를 실시하여 다중화하고, 그 결과 얻어지는 부호화 데이터를, 축적 버퍼(38)에 공급한다.
또한, 가역 부호화부(37)에서, 움직임 벡터 등은, 부호화 데이터의, 소위 헤더 부분에 삽입된다.
축적 버퍼(38)는, 가역 부호화부(37)로부터의 부호화 데이터를 일시 기억하고, 소정의 레이트로 출력한다.
또한, 축적 버퍼(38)의 부호화 데이터의 기억량은, 레이트 제어부(43)에 공급되도록 되어 있고, 레이트 제어부(43)는, 축적 버퍼(38)의 기억량에 기초하여, 축적 버퍼(38)가 오버플로우 또는 언더플로우하지 않도록, 양자화부(36)의 양자화 스텝을 피드백 제어한다.
한편, 역양자화부(39)는, 양자화부(36)로부터 공급되는 변환 계수를, 양자화부(36)에서의 양자화 스텝과 동일한 양자화 스텝에서 역양자화하고, 그 결과 얻어지는 변환 계수를, 역직교 변환부(4O)에 공급한다. 역직교 변환부(40)는, 역양자화부(39)로부터의 변환 계수에 역직교 변환 처리를 실시하고, 이에 의해，원래의 인트라 부호화 픽쳐를 복호, 또는 원래의 인터 부호화 픽쳐로부터 예측 화상을 감산한 차분 화상을 복호하여, 프레임 메모리(41)에 공급한다.
프레임 메모리(41)는, 부호화 픽쳐를 복호한 것을 기억한다. 또한, 프레임 메모리(41)에서는, 차분 화상을 복호한 것에 대하여, 그 차분 화상을 얻는 데에 인터 부호화 픽쳐로부터 감산한 예측 화상을, 움직임 예측/보상부(42)로부터 얻어 가산함으로써, 인터 부호화 픽쳐를 복호하여 기억한다.
움직임 예측/보상부(42)에서는，이상과 같이 하여 프레임 메모리(41)에 기억된 픽쳐를 참조 화상으로 하여, 예측 화상이 생성된다.
도 7은, 도 4에 도시하는 CPU(22)가 실행하는 부호화 처리에 관한 기능적 구성예를 도시하고 있다.
제어 신호 입력 제어부(51)는, 제어 신호 입력 인터페이스(25)(도 4)를 통하여 입력된 지시를, 인코드 제어부(53)에 통지한다.
비디오 신호 입력 제어부(52)는, 비디오 신호 입력 인터페이스(24)(도 4)를 통하여 입력된 비디오 신호를, 비디오 인코더(26)(도 4)에 공급한다.
인코드 제어부(53)는, 제어 신호 입력 제어부(51)로부터 공급된 명령에 따라, 각 부를 제어하여, 후술하는 바와 같이, 비디오 신호 입력 인터페이스(24)(도 4)를 통하여 입력된 비디오 신호를 부호화시킨다.
비디오 인코더 제어부(54)는, 인코드 제어부(53)의 제어 하에서, 비디오 인코더(26)(도 4)를 제어하여, 비디오 신호 인터페이스(24)(도 4)를 통하여 입력된 비디오 신호를 부호화시킨다.
비디오 데이터 출력 제어부(55)는, 인코드 제어부(53)의 제어 하에서, 비디오 데이터 출력 인터페이스(27)(도 4)를 제어하여, 비디오 인코더(26)에 의해 생성된 비트 스트림을 패킷화하고, 그 결과 얻어진 트랜스포트 스트림을 출력한다.
다음으로, 부호화 장치(11)에서의 부호화 처리의 동작을, 도 8의 플로우차트를 참조하여 설명한다. 또한 처음에 부호화 처리의 개략을 설명하고, 그 후 구체예에 기초하여 상세하게 설명한다.
스텝 S1에서, 인코드 제어부(53)는, 비디오 신호 입력 인터페이스(24)에 의해 입력된 순번에 따라, 부호화하는 픽쳐의 표시 시각을 취득한다.
다음에 스텝 S2에서, 인코드 제어부(53)는, 표시 시각에 따른 소정의 부호화순을, 비디오 인코더 제어부(54)에 통지한다. 비디오 인코더 제어부(54)는, 비디오 인코더(26)를 제어하여, 그 부호화순으로, 비디오 신호 입력 인터페이스(24)에 의해 입력된 비디오 신호를 부호화시킨다.
스텝 S3에서, 인코드 제어부(53)는, 비디오 인코더(26)에 의해 부호화된 각픽쳐 열로부터, 1개의 RIP를 선택한다. 또한 이하에서，RIP에서 디코드순으로 배열하는 픽쳐의 최초의 픽쳐를, 픽쳐 N0라고 칭하고, 최후의 픽쳐를, 픽쳐 Ne라고 칭한다.
스텝 S4에서, 인코드 제어부(53)는, 스텝 S3에서 선택한 RIP를 구성하는 픽쳐의 DPB 아웃풋 타임을 판독함과 함께, 스텝 S5에서，CPB 리무버블 타임을 판독한다.
다음에 스텝 S6에서, 인코드 제어부(53)는, 스텝 S3에서 선택한 RIP의 픽쳐 중에서 최초로 표시되는 픽쳐(이하, 적절하게, 픽쳐 Na라고 칭함)의 표시 시각 이후에 디코드되는, RIP의 픽쳐 중에서 최초로 디코드되는 픽쳐(이하, 적절하게, 이 픽쳐 Nd라고 칭함)를 검출한다.
그리고 스텝 S7에서, 인코드 제어부(53)는, 후처리에서 이용하는 계수 m을 값 1로 초기화한다.
스텝 S8에서, 인코드 제어부(53)는, 스텝 S6에서 검출한, 픽쳐 Na부터 m 번째로 표시되는 픽쳐(이하, 적절하게, 픽쳐 Na+m이라고 칭함)와, 픽쳐 Nd부터 m 번 째로 디코드되는 픽쳐(이하, 적절하게, 픽쳐 Nd+m이라고 칭함)를 검출한다.
다음에 스텝 S9에서, 인코드 제어부(53)는, 스텝 S8에서 검출한 픽쳐 Nd+m은, RIP의 최후의 픽쳐 Ne보다 전의 픽쳐인지의 여부를 판정하고, 전의 픽쳐라고 판정한 경우, 스텝 S10으로 진행한다.
스텝 S10에서, 인코드 제어부(53)는, 디코드순에서의 {N0, …, Nd+m}의 픽쳐 열에, 픽쳐 Na+m이 포함되어 있는지의 여부를 판정하고, 포함되어 있다고 판정한 경우, 스텝 S11로 진행하여, 계수 m의 값을 1만큼 인크리먼트하고, 스텝 S8로 되돌아간다.
한편 스텝 S10에서, 픽쳐 Na+m이 포함되지 않는다고 판정된 경우, 스텝 S12로 진행하여, 인코드 제어부(53)는, 예를 들면 스텝 S3에서 선택한 RIP 내에서의 부호화의 순번을 변경하여, 비디오 인코더 제어부(54)를 제어하여, 재부호화시킨다.
스텝 S12에서의 재부호화의 하나의 수단으로서는, 리오더에 의해 표시 대기가 발생한 경우, 표시순과 디코드순으로 픽쳐의 배열이 가능한 한 동등한 배열로 되도록, RIP 내에서의 픽쳐의 디코드순의 배열을 변경하는 것이 가능하다. 예를 들면, Na+m이 표시되는 타이밍에서，{N0, …, Nd+m}에 포함되는 픽쳐에서 표시 타이밍이 Na+m 이후의 표시 타이밍을 갖는 픽쳐와 디코드순의 배열을 교체함으로써, Na+m에 해당하는 픽쳐가 {N0, …, Nd+m}에 포함되도록 변경한다. 또한, 디코드순의 배열을 변경함으로써, 전후의 움직임 보상의 참조 관계가 변경되기 때문에, 부호화 효율 향상을 위하여 할당하는 픽쳐 타입을 적응적으로 변경하는 것도 가능하다.
스텝 S12에서 재부호화가 이루어지면, 다음의 스텝 S16에서, 표시 대기가 해소되어 있는지의 여부를 판정하여, 해소되어 있다고 판정된 경우에는, 순번을 교체함으로써 픽쳐 배열이 변경된 개소로부터 스텝 S4로 되돌아가, 재귀적으로 그 이후의 처리가 마찬가지로 행해진다.
또한, 스텝 S12에서의 재부호화의 또 하나의 수단으로서, RIP 내의 픽쳐의 배열을 변경하지 않고, RIP 내의 픽쳐의 모든 디코드 시각을 표시 시각에 대하여 상대적으로 빠르게 하는 것도 가능하다. 예를 들면, 픽쳐 헤더 내에 저장되어 있는 픽쳐의 표시 시각인 DPB 아웃풋 타임에 대하여, 상대적으로, 디코드 시각인 CPB 리무버블 타임을 빠르게 함으로써, Nd로 되는 픽쳐를 RIP 내의 디코드 배열로 수 픽쳐 앞으로 진행한 픽쳐로 변경한다. 예를 들면, 변경 전에 Nd+m에 상당하는 픽쳐가, 변경 후에는 Nd로 된다. 여기에서, 해당 RIP의 선두 디코드 시각은, 스트림에서의 직전의 RIP의 최종 디코드 시각(직전의 RIP의 Ne로 되는 픽쳐)보다 큰 시각이어야 하므로, 디코드 시각을 표시 시각에 대하여 상대적으로 빠르게 할 경우의 제약으로 된다.
다음에 스텝 S16에서, 표시 대기가 해소되어 있는지의 여부를 판정하여, 해소되었다고 판정된 경우에는, 스텝 S4로 되돌아가, 그 이후의 처리가 마찬가지로 행해진다.
스텝 S16에서, 직전의 RIP와의 디코드 간격이, 디코드 시각을 상대적으로 빠르게 하여, 표시 대기를 발생시키지 않기 때문에 충분하지 않다는 등의 이유에 의 해, 표시 대기가 해소되지 않았다고 판정된 경우도 생각되어진다. 이러한 경우, 스텝 S3으로 되돌아가, 스트림 선두의 RIP를 선택하여, 스트림 선두로부터 디코드 시각을 표시 시각에 대하여 상대적으로 빠르게 함으로써, 표시 대기 발생을 회피하는 방법이 있다.
계수 m의 값이 스텝 S11에서 반복하여 인크리먼트되고, 스텝 S9에서 픽쳐Nd+m이, 픽쳐 Ne보다 전의 프레임이 아니라고 판정되었을 때, 스텝 S13으로 진행한다.
스텝 S13에서, 인코드 제어부(53)는, {N0, …, Ne}의 픽쳐 열(RIP)에 픽쳐 Na+m이 포함되어 있는지의 여부를 판정하여, 포함되어 있지 않다고 판정한 경우, 스텝 S14로 진행한다.
스텝 S14에서, 인코드 제어부(53)는, 예를 들면 스텝 S3에서 선택하고 있는 RIP 내에서의 부호화의 순번을 변경하여, 비디오 인코더 제어부(54)를 제어하여, 재부호화시킨다.
그 후, 스텝 S13으로 되돌아간다.
스텝 S13에서, {N0, …, Ne}의 픽쳐 열에 픽쳐 Na+m이 포함되어 있다고 판정된 경우, 스텝 S15로 진행하여, 인코드 제어부(53)는, 스텝 S3에서 모든 RIP가 선택되었는지의 여부를 판정하여, 모든 RIP가 선택되지 않았다고 판정한 경우, 스텝 S3으로 되돌아가, 다음 RIP를 선택하고, 스텝 S4 이후의 처리를 마찬가지로 실행한다.
스텝 S15에서, 모든 RIP가 선택되었다고 판정된 경우, 처리는 종료한다.
다음에 전술한 부호화 처리를, 도 9의 (A) 및 도 9의 (B), 도 10의 (A) 및 도 10의 (B), 및, 도 11의 (A), 도 11의 (B), 도 11의 (C) 및 도 11의 (D)의 예를 참조하여 상세하게 설명한다. 이 예에서는, 도 9의 (B), 도 10의 (B) 및 도 11의 (B)와 같이 가상 디코더에서의 DPB 아웃풋 타임이 나타내는 순번으로 표시되는 RIP의 처음부터 4매분의 픽쳐가(스텝 S1), 도 9의 (A), 도 10의 (A) 및 도 11의 (A)와 같이 가상 디코더에서의 CPB 리무버블 타임이 나타내는 순번으로 디코드되도록 부호화되어 있다(스텝 S2).
또한 도 9의 (A)는, 도 2의 (A)가 도시하는 동일한 픽쳐의 CPB 리무버블 타임을 나타내고, 도 9의 (B)는, 도 2의 (B)가 도시하는 동일한 픽쳐의 DPB 아웃풋 타임을 나타내고 있다(m=1). 도 10의 (A), 도 11의 (A), 도 10의 (B) 및 도 11의 (B)도 마찬가지이다(m=2).
즉 이 RIP 중에서 최초로 표시되는 픽쳐 I1(픽쳐 Na)의 표시 시각 이후에 디코드되는 RIP의 픽쳐 중에서 최초로 디코드되는 픽쳐 I1(픽쳐 Nd)이 검출된다(스텝 S4, S5, S6).
다음에 m=1로 되고(스텝 S7), 픽쳐 I1(픽쳐Na)로부터 제1 번째로 표시되는 픽쳐 P2(픽쳐 Na+1)(도 9의 (B))과, 픽쳐 I1로부터 제1 번째로 디코드되는 픽쳐 P2(픽쳐 Nd+1)(도 9의 (A))가 검출된다(스텝 S8).
픽쳐 P2(픽쳐 Nd+1)는, 이 RIP의 디코드순에서의 최후의 픽쳐인 픽쳐 Ne보다 전의 픽쳐이므로(스텝 S9), 디코드순에서의 픽쳐 N0부터 픽쳐 Nd+1까지의 픽쳐 열, 즉 {I1, P2}의 픽쳐 열에, 표시순에서의 픽쳐 Na+1의 픽쳐 P2가 포함되어 있는지의 여부가 판정되며(스텝 S10), 이 경우, 포함되어 있으므로, 계수 m=2로 된다(스텝 S11).
그리고 이번에는, m=2이므로, 픽쳐 I1(픽쳐 Nd)로부터 제2 번째로 디코드되는 픽쳐 P4(픽쳐 Nd+2)(도 10의 (A))와, 픽쳐 I1(픽쳐 Na)로부터 제2 번째로 표시되는 픽쳐 B3(픽쳐 Na+2)(도 10의 (B))가 검출된다(스텝 S8).
픽쳐 P4(픽쳐 Nd+2)는, 이 RIP의 디코드순에서의 최후의 픽쳐인 픽쳐 Ne보다 전의 픽쳐이므로(스텝 S9), 디코드순에서의 픽쳐 N0부터 픽쳐 Nd+m까지의 픽쳐 열, 즉 {I1, P2, P4}의 픽쳐 열에, 표시순에서의 픽쳐 Na+2의 픽쳐 B3이 포함되어 있지 않다고 판정된다(스텝 S10).
이와 같이, 표시순에서의 픽쳐 Na+m의 픽쳐(m=2의 경우, 픽쳐 B3)가, 디코드순에서의 픽쳐 N0부터 픽쳐 Nd+m까지의 픽쳐 열(m=2의 경우, {I1, P2, P4}의 픽쳐 열)에 포함되어 있지 않은 경우, 이 예에서는, 픽쳐 B3의 디코드 시각은, 도 2의 (C)에 도시한 바와 같이，픽쳐 B3의 표시 시각(도 2의 (D)) 후의, 원래 제4 번째로 표시되는 픽쳐 P4의 표시 시각(도 2의 (B))에 대응하는 시각으로 된다. 그 때문에, 도 2의 (D)에 도시한 바와 같이, 픽쳐 B3은, 본래의 표시 시각에 표시되지 않는다.
따라서 이 경우, 예를 들면, 도 11의 (A)에 도시한 바와 같이, 도 9의 (A) 및 도 10의 (A)의 경우에 대하여 픽쳐 B3과 픽쳐 P4의 가상 디코더에서의 CPB 리무버블 타임이 교체된 재부호화가 행해진다(스텝 S12).
그 결과, m=2의 경우에도, 픽쳐 B3이, RIP 중에서 최초로 디코드되는 픽쳐 Nd(픽쳐 I1)부터 제2 번째로 디코드되는 픽쳐 Nd+2(도 11의 (A))로서 검출되므로(스텝 S8), 디코드순에서의 픽쳐 N0부터 픽쳐 Nd+2까지의 픽쳐 열{I1, P2, B3}에, 표시순에서의 Na+2번째의 픽쳐(재부호화 전과 마찬가지로 픽쳐 B3)가 포함되어 있도록 된다(스텝 S10). 이에 의해, 실제의 플레이어에서는, 도 2의 (C) 및 도 2의 (D)에 도시한 바와 같이, 디코더측에서 표시 대기가 일어나지 않는다. 도 11의 (C) 및 도 11의 (D)에 도시한 바와 같이, 픽쳐 B3의 디코드가, 픽쳐 B3의 표시 시각에 대응하는 시각에 행해져, 픽쳐 B3을 그 표시 시각에 표시할 수 있도록 된다.
이러한 처리가 픽쳐 Na+m이 RIP의 최후의 픽쳐 Ne로 될 때까지 반복하여 행해진다.
또한 이상에서는, 부호화순을 변경하여 재부호화하는 경우를 예로서 설명했지만(스텝 S12), 다른 부호화 조건을 변경하도록 하여도 된다．
예를 들면, 도 12의 (A) 및 도 12의 (B)에 도시하는 가상 디코더 모델에서의 규칙에 따라 부호화된 경우, 제2번째로 표시되는 픽쳐 B2(도 12의 (B))는, 제3 번째로 디코드된다(도 12의 (A)). 한편, 디코드측의 픽쳐 B2의 디코드 시각은, 도 12의 (C)에 도시한 바와 같이, 픽쳐 B2의 표시 시각(도 12의 (D)) 후의, 원래 제3 번째로 표시되는 픽쳐 P3의 표시 시각(도 12의 (B))에 대응하는 시각으로 된다. 그 때문에, 픽쳐 B2를, 본래의 표시 시각(도 12의 (B))에 표시할 수 없다.
즉 m=1일 때, 픽쳐 Nd+1은, 픽쳐 P3이며(도 12의 (A)), 픽쳐 Na+1은, 픽쳐 B2로 되어(도 12의 (B)), 표시순에서의 Na+1번째의 픽쳐인 픽쳐 B2는, 디코드순에서의 픽쳐 N0부터 픽쳐 Nd+1까지의 픽쳐 열인 {I1, P3}의 픽쳐 열에 포함되지 않는다.
따라서 이 경우, 도 13의 (B)에 도시한 바와 같이, DPB 아웃풋 타이밍을 1tc만큼 늦추도록 하여 재부호화함으로써(스텝 S12), 도 13의 (A)에 도시한 바와 같이m=1일 때, 픽쳐 Nd+1은, 픽쳐 B2로 되므로, 표시순에서의 Na+1번째의 픽쳐인 픽쳐 B2는, 디코드순에서의 픽쳐 N0부터 픽쳐 Nd+1까지의 픽쳐 열인 {I1, P3, B2}의 픽쳐 열에 포함되도록 된다. 즉, 실제의 디코드 처리에서, 도 13의 (C) 및 도 13의 (D)에 도시한 바와 같이, 픽쳐 B2의 디코드가, 픽쳐 B2의 표시 시각에 맞추어 행해지므로, 픽쳐 B3을, 본래의 표시 시각에 표시할 수 있도록 된다.
또한, 마찬가지로, 예를 들면, 도 14의 (A) 및 도 14의 (B)에 도시하는, 가상 디코더 모델에서의 규칙에 따라 부호화된 경우, 제3 번째로 표시되는 픽쳐 B3(도 14의 (B))는, 제4 번째로 디코드된다(도 14의 (A)). 한편, 실제의 디코드측의 픽쳐 B3의 디코드 시각은, 도 14의 (C)에 도시한 바와 같이, 픽쳐 B3의 표시 시각(도 14의 (D)) 후의, 원래 제4 번째로 표시되는 픽쳐 P4의 표시 시각(도 14의 (B))에 대응하는 시각으로 된다. 그 때문에, 도 14의 (D)에 도시한 바와 같이, 픽쳐 B3을, 본래의 표시 시각(도 14의 (B))에 표시할 수 없다.
즉 m=2일 때, 디코드순에서의 픽쳐 Nd+2는, 픽쳐 P4이며(도 14의 (A)), 표시순에서의 픽쳐 Na+2는, 픽쳐 B3으로 되기 때문에(도 14의 (B)), 표시순에서의 픽쳐 Na+2인 픽쳐 B3은, 디코드순에서의 픽쳐 N0부터 픽쳐 Nd+2까지의 픽쳐 열인 {I1, P2, P4}의 픽쳐 열에 포함되지 않는다.
따라서 이 경우, 도 15의 (B)에 도시한 바와 같은 DPB 아웃풋 타이밍을 1tc만 늦추도록 하여 재부호화함으로써(스텝 S12), 도 15의 (A)에 도시한 바와 같이 m=2일 때, 디코드순에서의 픽쳐 Nd+2는, 픽쳐 B3으로 되므로, 표시순에서의 픽쳐 Na+1인 픽쳐 B3(픽쳐 Na+1)은, 디코드순에서의 픽쳐 N0부터 픽쳐 Nd+2까지의 픽쳐 열인 {I1, P2, P4, B3}의 픽쳐 열에 포함되도록 된다. 즉 도 15의 (C) 및 도 15의 (D)에 도시한 바와 같이, 실제의 디코드 처리에서, 픽쳐 B3의 디코드가, 픽쳐 B3의 표시 시각에 맞추어 행해지므로, 픽쳐 B3은, 본래의 표시 시각에 표시되도록 된다.
이상과 같이, 표시 시각에 동기하여 디코드된 경우에서, 랜덤 액세스를 가능하게 하기 위해, 소정 매수의 픽쳐로 이루어지는 조인 RIP를 정의하고, 가상 디코더에서 그 RIP마다, 최초로 표시되는 픽쳐 Na의 표시 시각 이후에 최초로 디코드되는 픽쳐 Nd부터 제m번째까지, 제m 번째로 표시되는 픽쳐 Na+m이 디코드되도록 픽쳐를 부호화하도록 했으므로, 실제의 디코드측에서의 픽쳐의 표시 대기를 방지할 수 있다．
또한, 톱 필드의 픽쳐(예를 들면, 도 16의 (A), 도 16의 (B), 도 16의 (C) 및 도 16의 (D)에서의 P2t)와, 보텀 필드의 픽쳐(예를 들면, 도 16의 (A), 도 16의 (B), 도 16의 (C) 및 도 16의 (D)에서의 P2b)가 존재하는 경우가 있다. 이 경우, 픽쳐 Nd의 검출에서는, 제1 필드의 픽쳐(예를 들면, 도 16의 (A), 도 16의 (B), 도 16의 (C) 및 도 16의 (D)의 경우에는 P2t)의 (C) PB 리무버블 타임이 참조된다. 한편，픽쳐 Nd+m 및 픽쳐 Na+m의 검출 등에서는, 픽쳐 P2t 및 픽쳐 P2b는, 합하여 1개의 픽쳐로서 취급된다. 즉, 픽쳐 Nd+m 및 픽쳐 Na+m의 검출을 행할 때에는, 디코드순에서의 픽쳐 Nd+1은, P3이며, 표시순에서의 픽쳐 Na+1은, P2t와 P2b이다.
또한, 이 예에서는, 실제의 디코드 처리는 프레임 단위 또는 페어로 된 필드 단위로 행해지기 때문에, 도 16의 (C) 및 도 16의 (D)에서는，P2t와 P2b는, 합하여 P2 (t+b)로서 나타내져 있다.
또한, 본 명세서에서, 기록 매체에 의해 제공되는 프로그램을 기술하는 스텝은, 기재된 순서를 따라 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 혹은 개별로 실행되는 처리도 포함하는 것이다.

Claims (6)

  1. 복호 장치가 표시 시각에 대응하는 시각에 복호하는 픽쳐를 부호화하는 부호화 장치로서,
    랜덤 액세스를 가능하게 하는 픽쳐군마다, 상기 픽쳐군을 구성하는 픽쳐 각각의 복호가, 그 픽쳐의 표시 시각까지 행해지도록, 상기 픽쳐의 부호화를 행하도록 구성된 부호화부를 구비하는 것을 특징으로 하는 부호화 장치.
  2. 제1항에 있어서,
    상기 부호화부는,
    상기 픽쳐군을 구성하는 픽쳐의 부호화순을 변경하여 상기 부호화하도록 한 것을 특징으로 하는 부호화 장치.
  3. 제1항에 있어서,
    상기 부호화부는,
    상기 픽쳐군을 구성하는 픽쳐 각각의 상기 표시 시각을 일정값만큼 늦춰서 상기 부호화하도록 한 것을 특징으로 하는 부호화 장치.
  4. 제1항에 있어서,
    상기 부호화부는,
    상기 픽쳐군 중에서 최초로 표시되는 픽쳐의 표시 시각 이후로 최초로 복호되는 픽쳐를 검출하도록 구성된 제1 검출부와,
    상기 픽쳐군 중에서, 제m 번째로 표시되는 픽쳐를 검출하도록 구성된 제2 검출부와,
    상기 픽쳐군 중에서, 상기 제1 검출부에 의해 검출된 상기 픽쳐로부터 제m 번째로 복호되는 픽쳐를 검출하도록 구성된 제3 검출부와,
    상기 제3 검출부에 의해 검출된 상기 픽쳐가 복호될 때까지, 상기 제2 검출 수단에 의해 검출된 픽쳐가 복호되는 부호화 처리를 실행하도록 구성된 실행부인 것을 특징으로 하는 부호화 장치.
  5. 복호 장치가 표시 시각에 대응하는 시각에 복호하는 픽쳐를 부호화하는 부호화 방법으로서,
    랜덤 액세스를 가능하게 하는 픽쳐군마다, 상기 픽쳐군을 구성하는 픽쳐 각각의 복호가, 그 픽쳐의 표시 시각까지 행해지도록, 상기 픽쳐의 부호화를 행하는 부호화 스텝을 포함하는 것을 특징으로 하는 부호화 방법.
  6. 복호 장치가 표시 시각에 대응하는 시각에 복호하는 픽쳐를 부호화하는 부호화 장치를 제어하는 프로세서에 실행시키는 프로그램으로서,
    랜덤 액세스를 가능하게 하는 픽쳐군마다, 상기 픽쳐군을 구성하는 픽쳐 각각의 복호가, 그 픽쳐의 표시 시각까지 행해지도록, 상기 픽쳐의 부호화를 행하는 부호화 스텝을 포함하는 것을 특징으로 하는 프로그램.
KR20077012405A 2004-12-02 2005-12-01 부호화 장치 및 방법, 및 프로그램 KR20070090174A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004349817 2004-12-02
JPJP-P-2004-00349817 2004-12-02

Publications (1)

Publication Number Publication Date
KR20070090174A true KR20070090174A (ko) 2007-09-05

Family

ID=36565214

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20077012405A KR20070090174A (ko) 2004-12-02 2005-12-01 부호화 장치 및 방법, 및 프로그램

Country Status (7)

Country Link
US (1) US20090168866A1 (ko)
EP (1) EP1819170A4 (ko)
JP (1) JP4902358B2 (ko)
KR (1) KR20070090174A (ko)
CN (1) CN100579223C (ko)
TW (1) TWI289997B (ko)
WO (1) WO2006059796A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4947389B2 (ja) * 2009-04-03 2012-06-06 ソニー株式会社 画像信号復号装置、画像信号復号方法、および画像信号符号化方法
ES2703005T3 (es) 2010-05-07 2019-03-06 Nippon Telegraph & Telephone Método de control de codificación de imágenes animadas, aparato de codificación de imágenes animadas y programa de codificación de imágenes animadas
WO2011142291A1 (ja) * 2010-05-12 2011-11-17 日本電信電話株式会社 動画像符号化制御方法，動画像符号化装置および動画像符号化プログラム
US9565431B2 (en) 2012-04-04 2017-02-07 Qualcomm Incorporated Low-delay video buffering in video coding

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5563624A (en) * 1990-06-18 1996-10-08 Seiko Epson Corporation Flat display device and display body driving device
JP2550856B2 (ja) * 1993-05-17 1996-11-06 日本電気株式会社 動画像符号化前処理装置
KR100396971B1 (ko) * 1994-11-29 2003-11-03 산요덴키가부시키가이샤 인코드된비디오데이터의에러검출및처리기능을구비한비디오디코더
JP3556381B2 (ja) * 1996-03-13 2004-08-18 株式会社東芝 情報多重化装置
JP3556380B2 (ja) * 1996-03-13 2004-08-18 株式会社東芝 動画像符号タイミング推定方法、動画像復号化装置およびｍｐｅｇシステム多重化装置
US6065050A (en) * 1996-06-05 2000-05-16 Sun Microsystems, Inc. System and method for indexing between trick play and normal play video streams in a video delivery system
CA2260961C (en) * 1996-07-15 2009-04-28 Snell & Wilcox Limited Video signal compression process augmented with information signal
US5838876A (en) * 1996-09-24 1998-11-17 Sony Corporation Frame-accurate edit and playback in digital stream recording
US6546189B1 (en) * 1996-11-15 2003-04-08 Hitachi, Ltd. Method and apparatus for editing compressed moving pictures and storage medium
JPH1169301A (ja) * 1997-08-08 1999-03-09 Sony Corp 復号方法及び復号再生装置、並びに記録媒体
JP3529599B2 (ja) * 1997-09-02 2004-05-24 株式会社東芝 符号化装置における編集可能点挿入方法および符号化装置
KR100554432B1 (ko) * 1997-09-17 2006-11-17 마츠시타 덴끼 산교 가부시키가이샤 광디스크용 재생장치 및 재생방법
EP0903742B1 (en) * 1997-09-17 2003-03-19 Matsushita Electric Industrial Co., Ltd Video data editing apparatus, optical disc for use as a recording medium of a video data editing apparatus, and computer-readable recording medium
JPH11252058A (ja) * 1998-02-27 1999-09-17 Sony Corp 多重化装置及び方法
JP4005691B2 (ja) * 1998-03-19 2007-11-07 株式会社東芝 動画像符号化方法および動画像符号化装置
JPH11275580A (ja) * 1998-03-24 1999-10-08 Sony Corp 画像データ処理装置、画像データ復号装置及び画像データ符号化装置並びにそれらの方法
EP0994627B1 (en) * 1998-10-13 2006-03-08 Matsushita Electric Industrial Co., Ltd. Regulation of the computational and memory requirements of a compressed bitstream in a video decoder
JP2000232649A (ja) * 1998-12-10 2000-08-22 Fujitsu Ltd Ｍｐｅｇビデオ復号器及びｍｐｅｇビデオ復号方法
US6658056B1 (en) * 1999-03-30 2003-12-02 Sony Corporation Digital video decoding, buffering and frame-rate converting method and apparatus
US7149247B2 (en) * 2002-01-22 2006-12-12 Microsoft Corporation Methods and systems for encoding and decoding video data to enable random access and splicing
ES2299171T3 (es) * 2002-02-01 2008-05-16 Matsushita Electric Industrial Co., Ltd Procedimiento de codificacion de imagenes en movimiento y aparato de codificacion de imagenes en movimiento.
PT2278816E (pt) * 2002-07-11 2013-05-10 Panasonic Corp Gestão de memória tampão pós-descodificador para um fluxo de bits de mpeg de h.264-svc
US7787539B2 (en) 2002-07-17 2010-08-31 Broadcom Corporation Decoding and presentation time stamps for MPEG-4 advanced video coding
US20040252758A1 (en) * 2002-08-14 2004-12-16 Ioannis Katsavounidis Systems and methods for adaptively filtering discrete cosine transform (DCT) coefficients in a video encoder
US7802002B2 (en) * 2002-08-23 2010-09-21 Hewlett-Packard Development Company, L.P. Media data streaming considering performance characteristics of the streaming path
JP3534742B1 (ja) * 2002-10-03 2004-06-07 株式会社エヌ・ティ・ティ・ドコモ 動画像復号方法、動画像復号装置、及び動画像復号プログラム
TWI249356B (en) * 2002-11-06 2006-02-11 Nokia Corp Picture buffering for prediction references and display
JP2004193687A (ja) * 2002-12-06 2004-07-08 Sony Corp 非初期化バッファモデルを用いた方法
US7920630B2 (en) * 2003-01-21 2011-04-05 Broadcom Corporation Buffer descriptor data structure for communication link between decode and display processes in MPEG decoders

Also Published As

Publication number Publication date
CN101112102A (zh) 2008-01-23
TW200637374A (en) 2006-10-16
CN100579223C (zh) 2010-01-06
US20090168866A1 (en) 2009-07-02
TWI289997B (en) 2007-11-11
JPWO2006059796A1 (ja) 2008-06-05
JP4902358B2 (ja) 2012-03-21
WO2006059796A1 (ja) 2006-06-08
EP1819170A1 (en) 2007-08-15
EP1819170A4 (en) 2010-04-14

Similar Documents

Publication Publication Date Title
US8374243B2 (en) Method and apparatus for encoding and decoding based on intra prediction
KR101985004B1 (ko) 부호화 장치, 복호화 장치, 부호화 방법, 복호화 방법, 및 컴퓨터 판독가능 기억 매체
US20060222066A1 (en) Intra prediction method and apparatus
KR20010031222A (ko) 트랜스코딩 방법 및 장치
TW202335504A (zh) 視訊編碼器、視訊解碼器、用於編碼與解碼之方法及用以實現進階視訊寫碼概念之視訊資料串流
JP4310195B2 (ja) エンコードされたオーディオ／ビデオシーケンスの編集
US20030016745A1 (en) Multi-channel image encoding apparatus and encoding method thereof
NL1004743C2 (nl) Videodatadecoderingswerkwijze en inrichting voor zeer snelle weergave.
KR20070090174A (ko) 부호화 장치 및 방법, 및 프로그램
US8155186B2 (en) Bit stream recording medium, video encoder, and video decoder
JP4875008B2 (ja) 動画像符号化方法、動画像復号化方法、動画像符号化装置及び動画像復号化装置
JP2002199392A (ja) 映像符号化方法および装置
JP4806888B2 (ja) 復号化装置及び復号化方法
JP4906197B2 (ja) 復号装置および方法、並びに記録媒体
JP6874844B2 (ja) 動画像符号化装置、動画像符号化方法、及び、動画像符号化プログラム
JP3657855B2 (ja) 画像復号装置及び画像復号方法
JP4193224B2 (ja) 動画像符号化装置及び方法並びに動画像復号装置及び方法
US20070071098A1 (en) Image storage device for motion estimation and method of storing image data
JP2010206463A (ja) 動画像符号化方法、動画像符号化装置及び動画像符号化プログラム
JPH11177992A (ja) 画像復号装置
JPH08163575A (ja) 画像復号方法および装置
JPWO2005101829A1 (ja) 符号化データ復号再生装置
JP2010206464A (ja) 動画像符号化方法、動画像符号化装置及び動画像符号化プログラム
JP2000236539A (ja) 画像圧縮符号化装置
JP5007759B2 (ja) 符号化装置、符号化方法、復号化装置及び復号化方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right