KR101612236B1 - 동화상 복호 방법 - Google Patents

동화상 복호 방법 Download PDF

Info

Publication number
KR101612236B1
KR101612236B1 KR1020150149700A KR20150149700A KR101612236B1 KR 101612236 B1 KR101612236 B1 KR 101612236B1 KR 1020150149700 A KR1020150149700 A KR 1020150149700A KR 20150149700 A KR20150149700 A KR 20150149700A KR 101612236 B1 KR101612236 B1 KR 101612236B1
Authority
KR
South Korea
Prior art keywords
picture
decoding
encoded
data
moving
Prior art date
Application number
KR1020150149700A
Other languages
English (en)
Other versions
KR20150124439A (ko
Inventor
기미히꼬 가즈이
준페이 고야마
사또시 시마다
Original Assignee
후지쯔 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지쯔 가부시끼가이샤 filed Critical 후지쯔 가부시끼가이샤
Publication of KR20150124439A publication Critical patent/KR20150124439A/ko
Application granted granted Critical
Publication of KR101612236B1 publication Critical patent/KR101612236B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 프레임간 예측 부호화된 2개의 동화상 데이터를 결합할 때에, 원래의 부호화 동화상 데이터의 헤더 내 파라미터를 변경하지 않아도, 연속된 복호 처리 및 표시 처리를 가능하게 하는 동화상 부호화 장치 및 동화상 복호 장치를 제공하는 것이다. 동화상 부호화 장치(1)는, 동화상 데이터에 포함되는 각 픽쳐 중, 다른 부호화된 동화상 데이터 이후에 결합되는 선두의 부호화 픽쳐에 대해서, 그 선두의 부호화 픽쳐보다도 부호화 순서가 이후인 1 이상의 픽쳐가 제거된 경우에도, 동화상 복호 장치가 그 선두의 부호화 픽쳐 이후의 픽쳐를 연속해서 복호 및 표시할 수 있기 위한 복호 지연 및 표시 지연의 보정 정보를 부호화 동화상 데이터에 부가한다. 보정 정보는, 제거된 각 픽쳐 직전의 픽쳐와의 복호 간격에 기초하여 산출된다. 동화상 복호 장치(2)는, 그 보정 정보를 이용해서, 선두의 부호화 픽쳐 이후의 픽쳐의 복호 지연 및 표시 지연을 보정한다.

Description

동화상 복호 방법{VIDEO DECODING METHOD}
본 발명은, 예를 들어, 부호화된 동화상 데이터를 복호하지 않고 편집하는 것이 가능한 동화상 부호화 장치 및 동화상 부호화 방법 및 그와 같은 동화상 부호화 장치에 의해 부호화된 동화상 데이터를 복호하는 동화상 복호 장치 및 동화상 복호 방법에 관한 것이다.
동화상 데이터는, 일반적으로 매우 큰 데이터량을 갖는다. 그 때문에, 동화상 데이터를 취급하는 장치는, 동화상 데이터를 다른 장치에 송신하고자 하는 경우, 혹은, 동화상 데이터를 기억 장치에 기억하고자 하는 경우, 동화상 데이터를 부호화함으로써 압축한다. 대표적인 동화상의 부호화 표준으로서, International Standardization Organization/International Electrotechnical Commission(ISO/IEC)에서 책정된 Moving Picture Experts Group phase 2(MPEG-2), MPEG-4, 혹은 H.264 MPEG-4 Advanced Video Coding(MPEG-4 AVC/H.264)이 널리 이용되고 있다.
이와 같은 부호화 표준에서는, 부호화 대상의 픽쳐와, 그 전후의 픽쳐 정보를 사용해서, 부호화 대상의 픽쳐를 부호화하는 인터 부호화 방법 및 부호화 대상 픽쳐가 갖는 정보만을 사용해서 부호화하는 인트라 부호화 방법이 채용되어 있다. 또한, 인터 부호화 방법에는 인트라 부호화 픽쳐(I 픽쳐), 일반적으로 과거의 픽쳐를 예측 픽쳐로 하는 전방향 예측 픽쳐(P 픽쳐) 및 일반적으로 과거의 픽쳐 및 미래의 픽쳐의 양쪽을 예측 픽쳐로 하는 쌍방향 예측 픽쳐(B 픽쳐)의 3개의 픽쳐 종별이 존재한다.
일반적으로, 인터 부호화 방법에 의해 부호화된 픽쳐 혹은 블록의 부호량은, 인트라 부호화 방법에 의해 부호화된 픽쳐 혹은 블록의 부호량에 비해 작다. 이와 같이, 선택된 부호화 모드에 의해, 시퀀스 내에서 픽쳐 부호량의 치우침이 생긴다. 마찬가지로, 선택된 부호화 모드에 의해, 픽쳐 내에서 블록 부호량의 치우침이 생긴다.
따라서, 부호량이 시간적으로 변동되어도, 일정한 전송 레이트로 부호화된 동화상을 포함하는 데이터 스트림을 전송할 수 있도록, 전송원의 장치에 데이터 스트림용의 송신 버퍼가 준비되고, 또한 전송처의 장치에 데이터 스트림용의 수신 버퍼가 준비된다.
MPEG-2 및 MPEG-4 AVC/H.264에서는, 각각 Video Buffering Verifier(VBV)와 Coded Picture Buffer(CPB)라고 불리는, 이상적인 동화상 복호 장치에 있어서의 수신 버퍼의 동작이 규정되어 있다. 또한, 편의상, 이하에서는, 이상적인 동화상 복호 장치를 간단히 이상 복호 장치라고 칭한다. 이상 복호 장치는, 복호 처리에 필요로 하는 시간이 0인 순시 복호를 행한다고 규정되어 있다. 예를 들어, 특허문헌 1에 VBV에 관한 동화상 부호화 장치의 제어 방법이 개시되어 있다.
동화상 부호화 장치는, 이상 복호 장치의 수신 버퍼가 오버플로우 및 언더플로우하지 않도록, 이상 복호 장치가 어떤 픽쳐를 복호할 때 시각에 그 픽쳐의 데이터가 수신 버퍼에 저장되어 있는 것을 보증하도록 부호량을 제어한다.
수신 버퍼의 언더플로우는, 동화상 부호화 장치가 일정한 전송 레이트로 부호화된 동화상의 데이터 스트림을 송신한 경우에, 동화상 복호 장치가 복호 및 표시해야 할 시각까지 픽쳐를 복호하는 데 필요한 데이터의 전송이 완료되지 않은 경우에 생긴다. 즉, 수신 버퍼의 언더플로우는, 동화상 복호 장치의 수신 버퍼 내에 픽쳐를 복호하기 위해 필요 데이터가 존재하고 있지 않은 것이다. 이 경우, 동화상 복호 장치는 복호 처리를 행할 수 없으므로, 프레임 스킵이 발생한다.
동화상 복호 장치는, 수신 버퍼의 언더플로우를 일으키지 않고 복호 처리할 수 있도록, 스트림을 수신 시각으로부터 소정의 시간만큼 지연시키고 나서 픽쳐를 표시한다.
상술한 바와 같이, 이상 복호 장치에서는, 처리 시간 0이고, 순간적으로 복호 처리가 완료된다고 규정된다. 그 때문에, 동화상 부호화 장치에의 i번째 픽쳐의 입력 시각을 t(i), 이상 복호 장치에 있어서의, i번째 픽쳐의 복호 시각을 tr(i)로 하면, 그 픽쳐가 표시 가능하게 되는 가장 빠른 시각은, tr(i)와 동등하다. 모든 픽쳐에 있어서 픽쳐의 표시 기간 {t(i+1)-t(i)}와 {tr(i+1)-tr(i)}가 동등하게 되므로, 복호 시각 tr(i)는 입력 시각 t(i)로부터 고정 시간 dly분만큼 지연시킨 시각 {tr(i)=t(i)+dly}가 된다. 따라서, 동화상 부호화 장치는, 시각 tr(i)까지 복호에 필요한 데이터를 동화상 복호 장치의 수신 버퍼에 전송 완료시키지 않으면 안 된다.
도 1을 참조하면서, 수신 버퍼의 모습을 설명한다. 도 1에 있어서 횡축은 시각을 나타내고, 종축은 수신 버퍼의 버퍼 점유량을 나타낸다. 그리고 실선의 그래프(100)는, 각 시각에 있어서의 버퍼 점유량을 나타낸다.
수신 버퍼에서는, 소정의 전송 레이트로 버퍼 점유량이 회복하고, 각 픽쳐의 복호 시각에 그 픽쳐를 복호하기 위해 사용되는 만큼의 데이터가 버퍼로부터 취출된다. i번째 픽쳐의 데이터가, 시각 at(i)로부터 수신 버퍼에 입력 개시되고, i번째 픽쳐의 마지막 데이터가 시각 ft(i)에 입력된다. 이상 복호 장치는 시각 tr(i)에서 i번째 픽쳐의 복호를 완료하고, 그 시각 tr(i)에 있어서 i번째 픽쳐가 표시 가능하게 된다. 단, B 픽쳐가 포함되는 경우, 픽쳐 리오더(부호화 순서의 교체)가 발생하고 있으므로, i번째 픽쳐에 대한 실제의 표시 시각은 tr(i)보다 지연되는 경우도 있다.
MPEG-4 AVC/H.264에 있어서의, 각 픽쳐의 복호 시각 및 표시 시각의 기술 방법의 상세를 이하에 설명한다.
MPEG-4 AVC/H.264에서는, 화소의 복호 처리에 직접 관계되지 않는 보충 정보는, SEI(Supplemental enhancement information) 메시지에 의해 기술된다. SEI는, 수십 종류가 규정되고, 그 종별은 payloadType 파라미터에 의해 식별된다. 이 SEI는 픽쳐마다 부가된다.
재인입이 가능한 픽쳐, 즉, 과거의 픽쳐가 없어도 복호 가능한 픽쳐(일반적으로는 I 픽쳐)에는, SEI의 하나인 BPSEI(Buffering Period SEI)가 부가된다. BPSEI에는, 파라미터 InitialCpbRemovalDelay가 기술된다. 파라미터 InitialCpbRemovalDelay는, BPSEI가 부가된 픽쳐 선두 비트의 수신 버퍼에의 도달 시각과, BPSEI가 부가된 픽쳐의 복호 시각과의 차분값을 나타낸다. 이 차분값의 정밀도는 90㎑이다.
선두 픽쳐의 복호 시각 tr(0)은, 부호화 동화상 데이터의 선두 비트가 동화상 복호 장치에 도달한 시각(0으로 함), 즉 at(0)으로부터 InitialCpbRemovalDelay÷90,000[sec]만큼 지연된 시각으로 된다.
또한, 각 픽쳐에는, 일반적으로, SEI의 하나인 PTSEI(Picture Timing SEI)가 부가된다. PTSEI에는, 파라미터 CpbRemovalDelay 및 DpbOutputDelay가 기술된다. 파라미터 CpbRemovalDelay는, 직전의 BPSEI 부가 픽쳐의 복호 시각과 PTSEI가 부가된 픽쳐의 복호 시각과의 차분값을 나타낸다. 또한 파라미터 DpbOutputDelay는, PTSEI가 부가된 픽쳐의 복호 시각과 그 픽쳐의 표시 시각과의 차분값을 나타낸다. 이들 차분값의 정밀도는, 1필드 픽쳐 간격이다. 따라서, 픽쳐가 프레임인 경우에는, 파라미터 CpbRemovalDelay 및 DpbOutputDelay는 2의 배수가 된다.
2번째 이후의 픽쳐의 복호 시각 tr(i)는, 선두 픽쳐의 복호 시각 tr(0)으로부터, tc＊CpbRemovalDelay(i)[sec]만큼 지연된 시각으로 된다. CpbRemovalDelay(i)는 i번째의 픽쳐에 부가되는 CpbRemovalDelay이다. tc는 픽쳐간의 시간 간격[sec]이고, 예를 들어 29.97㎐의 프로그레시브 화상인 경우, tc는 1001/60000이다.
BPSEI가 부가된 픽쳐를 포함하는, 각 픽쳐의 표시 시각은, tr(i)로부터 tc＊DpbOutputDelay(i)만큼 지연된 시각으로 된다. DpbOutputDelay(i)는 i번째의 픽쳐에 부가되는 DpbOutputDelay이다. 즉, 시각 tr(0) 이후는, tc의 정수배의 시각 단위로, 픽쳐의 복호 및 표시가 행해진다.
동화상 데이터의 용도에 따라서는, 부호화 동화상이 편집되는 경우가 있다. 부호화 동화상의 편집 조작은, 부호화 동화상 데이터를 세분화하고, 그들을 서로 연결시켜 다른 부호화 동화상 데이터를 생성하는 것이다. 예를 들어, 방송 중 부호화 동화상의 도중에 다른 프로그램(예를 들어 CM)을 삽입하는 처리(스플라이싱)는 편집 조작의 하나이다.
프레임간 예측 부호화된 동화상의 편집에 있어서, 특히 인터 부호화된 픽쳐는, 그 부호화 픽쳐 단독으로는 정상 복호할 수 없다. 그 때문에, 임의의 픽쳐 위치에서 2개의 부호화 동화상 데이터를 결합하기 위해서는, 부호화 동화상 데이터를 편집하는 장치는, 일단 결합하는 2개의 부호화 동화상 데이터를 복호하여, 복호된 픽쳐 단위로 결합한 후, 그 결합된 동화상 데이터를 다시 부호화한다.
그러나 재부호화 처리는 번잡하기 때문에, 특히 스플라이싱 등의 리얼타임 처리에서는, 결합 위치를 한정함으로써, 재부호화 처리를 행하지 않고 부호화 동화상 데이터를 직접 편집하는 것이 일반적이다. 재부호화 처리를 행하지 않고 부호화 동화상 데이터를 편집하는 경우, 결합하는 2개의 부호화 동화상 데이터 중, 시간적으로 후방측에 결합되는 부호화 동화상 데이터의 선두 픽쳐는 I 픽쳐로 한다. 또한, 시간적으로 후방측에 결합되는 부호화 동화상 데이터에서는, 소위 클로즈드 GOP 구조, 즉 선두 I 픽쳐에 이어지는 모든 픽쳐가, 선두 I 픽쳐보다도 시간적으로 과거의 픽쳐를 참조하지 않도록 제한된다. 이에 의해, 편집에 의해 소정의 결합점에서 결합된 2개의 부호화 동화상 데이터 중 후방측의 부호화 동화상 데이터의 선두 I 픽쳐 이후의 모든 픽쳐가 정상 복호 가능해진다.
또한, 클로즈드 GOP 구조는, 비클로즈드 GOP 구조에 비해 부호화 효율이 저하되므로, 비클로즈드 GOP 구조가 채용되는 경우도 있다. 이 경우, 결합점 이후의 선두 I 픽쳐 직후의 몇 개의 픽쳐는 정상적으로 복호되지 않지만, 그들의 픽쳐는 표시 시간적으로 선두 I 픽쳐보다 먼저 표시되는 픽쳐이므로, 표시할 수 없어도 좋다. 따라서, 동화상 복호 장치는, 일반적으로, 결합된 2개의 부호화 동화상 데이터 중, 시간적으로 전방측의 부호화 동화상 데이터의 최종 픽쳐를 표시 이후, 표시를 프리징하는 등으로 하여 정상 복호할 수 없었던 픽쳐의 표시를 마스킹한다.
종래 기술에서는, 프레임간 예측 부호화된 동화상 데이터가 재부호화 처리되지 않고 편집된 경우라도, 결합한 2개의 부호화 동화상 데이터의 사이에서 어긋남이 생기지 않도록, 헤더 정보도 수정된다.
예를 들어, MPEG-4 AVC/H.264에 있어서, 픽쳐간의 시간적인 관계 및 참조 픽쳐의 특정을 위해, 슬라이스 헤더에 POC(Picture Order Count) 및 FrameNum이 부가된다. POC는, 상대적인 픽쳐의 표시 순서를 나타낸다. FrameNum은, 부호화 동화상 중에 참조 픽쳐가 출현할 때마다 1만큼 증가하는 값이다. 결합한 2개의 부호화 동화상 데이터의 사이에서 POC 및 FrameNum이 연속될 필요가 있으므로, 결합하는 2개의 부호화 동화상 데이터 내, 후방측의 부호화 동화상 데이터의 모든 POC 및 FrameNum을 재기입할 필요가 생긴다.
한편, 비특허 문헌 1에 개시된 방식에서는, 새로운 참조 픽쳐의 특정 방법이 도입되었으므로, FrameNum이 폐지되어 있다. 또한 결합하는 2개의 부호화 동화상 데이터 중, 후방측의 부호화 동화상 데이터의 선두 픽쳐의 POC값은, 전방측의 부호화 동화상 데이터와의 연속성을 갖지 않아도 되므로, 슬라이스 헤더의 변경은 불필요해진다. 비특허 문헌 1에 개시된 방식에서는, 픽쳐의 종별로서, MPEG-4 AVC/H.264가 규정하는 IDR(Instantaneous Decoding Refresh) 픽쳐 외에, CRA(Clean Random Access) 픽쳐, BLA(Broken Link Access) 픽쳐, TFD(Tagged For Discard) 픽쳐, DLP(Decodable Leading Picture) 픽쳐, TP(Trailing Picture) 픽쳐가 새롭게 도입되어 있다.
이 중, CRA 픽쳐 및 BLA 픽쳐는, 모두, 재인입 포인트가 되는 픽쳐이다. 재인입 포인트가 되는 픽쳐는, 그 픽쳐의 복호에 있어서 다른 픽쳐를 참조하지 않는 픽쳐이다. 동화상 복호 장치가 CRA 픽쳐 및 BLA 픽쳐로부터 복호 동작을 개시한 경우, 이 CRA 픽쳐 혹은 BLA 픽쳐 직후에 이어지는 TFD 픽쳐 이외는 정상적으로 복호 가능하다.
TFD 픽쳐는, CRA 픽쳐 또는 BLA 픽쳐 직후에 출현하는, CRA 픽쳐 또는 BLA 픽쳐보다도 시간적 및 복호 순서적으로 이전의 픽쳐를 참조하는 픽쳐이다. MPEG-2에 준거하는 비클로즈드 GOP 구조의 경우, GOP 선두 I 픽쳐 직후의 복수의 B 픽쳐가 TFD 픽쳐에 상당한다.
BLA 픽쳐는, 부호화 동화상 데이터의 편집 조작에 의해 발생한다. 결합하는 2개의 부호화 동화상 데이터 중, 후방측의 부호화 동화상 데이터의 선두 픽쳐는 일반적으로는 CRA 픽쳐이지만, 이 CRA 픽쳐가, 결합된 부호화 동화상 데이터의 도중에 위치하는 경우에는, CRA 픽쳐로부터 BLA 픽쳐에 종별 변경된다. 비특허 문헌 1에 개시된 방식에서는, BLA 픽쳐가 출현하는 경우, POC값이 불연속으로 되는 것이 허용된다. 또한, 이 BLA 픽쳐 직후의 TFD 픽쳐는, 결합한 부호화 동화상 데이터에서는, 참조되어야 할 픽쳐가 상실되어 있으므로, 그 부호화 동화상 데이터의 어디서부터 복호해도 정상적으로 복호할 수 없다. 그 때문에, 동화상 부호화 장치는, 결합하는 2개의 부호화 동화상 데이터 중, 후방측의 부호화 동화상 데이터의 선두 BLA 픽쳐에 후속하는 TFD 픽쳐를 부호화 동화상 데이터로부터 삭제해도 좋다.
DLP 픽쳐는 TFD 픽쳐와 마찬가지로, CRA 픽쳐 또는 BLA 픽쳐 직후에 출현하는 픽쳐이다. DLP 픽쳐는 TDF 픽쳐와 서로 다르고, CRA 픽쳐 또는 BLA 픽쳐보다도 시간적 및 복호 순서적으로 이전의 픽쳐를 참조하지 않는다. 이로 인해, DLP 픽쳐는 CRA 픽쳐 또는 BLA 픽쳐로부터 복호가 개시된 경우에도, 정상적으로 복호할 수 있다.
TP 픽쳐는 CRA 픽쳐 또는 BLA 픽쳐, TFD 픽쳐, DLP 픽쳐보다도 복호 순서적으로 이후에 출현하고, 또한 CRA 픽쳐 또는 BLA 픽쳐보다도 시간적으로 이후의 픽쳐이다. 따라서, TP 픽쳐는 CRA 픽쳐 또는 BLA 픽쳐로부터 복호가 개시된 경우에도, 정상적으로 복호할 수 있다.
일본 특허 출원 공개 제2003-179938호 공보
JCTVC-J1003, "High-Efficiency Video Coding(HEVC) text specification Draft 8", Joint Collaborative Team on Video Coding of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, July 2012
비특허 문헌 1에 개시된 방식에서는, MPEG-4 AVC/H.264와 마찬가지로, 각 부호화 픽쳐의 복호 시각 및 표시 시각은, 파라미터 InitialCpbRemovalDelay, CpbRemovalDelay, DpbOutputDelay를 사용해서 결정된다. 2개의 부호화 동화상 데이터를 결합하는 경우에, 결합점에서 동화상 복호 처리 및 표시가 연속해서 행해지기 위해서는, 결합점보다 이후의 픽쳐의 CpbRemovalDelay, DpbOutputDelay를 적절한 값으로 수정하는 것이 요구된다.
구체적으로는, 동화상 부호화 장치 또는 동화상 복호 장치는, 결합하는 2개의 부호화 동화상 데이터 중, 후방측의 부호화 동화상 데이터의 선두 CRA 픽쳐의 CpbRemovalDelay를, 전방측의 부호화 동화상 데이터에 있어서의 최종 BPSEI 부가 픽쳐에 후속하는 픽쳐수에 기초하여 수정할 필요가 있다. 또한 CPB 버퍼의 연속성을 보증하기 위해서는, 동화상 부호화 장치 또는 동화상 복호 장치는, CpbRemovalDelay의 값을 증가한다. 또한, 후방측의 부호화 동화상 데이터로부터 TFD 픽쳐를 제거하는 경우, 동화상 부호화 장치 또는 동화상 복호 장치는, 제거한 TFD 픽쳐 이후에 복호하는 픽쳐의 CpbRemovalDelay 및 결합점에서의 선두 CRA 픽쳐 배열에 제거한 TFD 픽쳐 이전에 복호하는 픽쳐의 DpbOutputDelay를 변경할 필요가 있다.
이와 같이, 비특허 문헌 1에 개시된 방식에서는, 2개의 부호화 동화상 데이터를 결합하는 편집 조작에 있어서 PTSEI의 내용을 변경할 필요가 여전히 남아 있다.
따라서 본 명세서는, 프레임간 예측 부호화된 2개의 동화상 데이터를 결합할 때에, 원래의 부호화 동화상 데이터의 헤더 내 파라미터를 변경하지 않아도, 연속된 복호 처리 및 표시 처리를 가능하게 하는 동화상 부호화 장치 및 동화상 복호 장치를 제공하는 것을 목적으로 한다.
하나의 실시 형태에 따르면, 프레임간 예측 방식에 의해 부호화된 제1 동화상 데이터와 제2 동화상 데이터를 결합함으로써 부호화된 결합 동화상 데이터를 생성하는 동화상 부호화 장치가 제공된다. 이 동화상 부호화 장치는, 제2 동화상 데이터에 포함되는 각 픽쳐 중, 제1 동화상 데이터 이후에 결합되는 선두의 부호화 픽쳐에 대해서, 그 선두의 부호화 픽쳐보다도 부호화 순서가 이후인 1 이상의 픽쳐가 제거된 경우에도, 동화상 복호 장치가 부호화된 제2 부호화 동화상 데이터 중 그 선두의 부호화 픽쳐 이후의 픽쳐를 연속해서 복호 및 표시할 수 있게 하기 위한 복호 지연 및 표시 지연의 보정 정보를 요구하고, 결합 동화상 데이터에 그 보정 정보를 부가하는 결합점 식별 정보 처리부와, 결합 동화상 데이터로부터, 그 선두의 부호화 픽쳐보다 부호화 순서가 이후이고, 또한, 선두의 부호화 픽쳐보다 복호를 개시하였을 때에 정상 복호가 보증되지 않는 픽쳐를 제거하는 데이터 결합부를 갖는다. 그리고 보정 정보는, 제거된 픽쳐의 각각에 대한 그 제거된 픽쳐와 복호 순서가 직전의 픽쳐와의 복호 간격에 기초하여 산출된다.
다른 실시 형태에 따르면, 프레임간 예측 방식에 의해 부호화된 동화상 데이터를 복호하는 동화상 복호 장치가 제공된다. 이 동화상 복호 장치는, 부호화된 동화상 데이터가, 제1 부호화 동화상 데이터 이후에 제2 부호화 동화상 데이터가 결합됨으로써 생성된 것을 나타내는 정보와, 제1 부호화 동화상 데이터와 제2 부호화 동화상 데이터가 결합된 결합점보다 이후의 제2 부호화 동화상 데이터의 선두의 부호화 픽쳐보다도 부호화 순서가 이후인 1 이상의 부호화 픽쳐가 제거된 것을 나타내는 정보를 사용해서, 그 선두의 부호화 픽쳐에 후속하는 픽쳐의 복호 지연을 보정 정보에 기초하여 보정하는 동시에, 그 선두의 부호화 픽쳐 및 그 선두의 부호화 픽쳐에 후속하는 픽쳐의 표시 지연을 보정 정보에 기초하여 보정하는 픽쳐 복호ㆍ표시 시각 결정부를 갖는다. 그리고 보정 정보는, 선두의 부호화 픽쳐보다도 복호 순서에서 이후이고 또한 제2 부호화 동화상 데이터로부터 제거된 픽쳐의 각각에 대한, 그 제거된 픽쳐와 복호 순서에서 직전의 픽쳐와의 복호 간격에 기초하여 산출된 값을 갖는다.
본 발명의 목적 및 이점은, 청구항에 있어서 특히 지적된 엘리먼트 및 조합에 의해 실현되고, 또한 달성된다.
상기의 일반적인 기술 및 하기의 상세한 기술의 어느 것도, 예시적 또한 설명적인 것이고, 청구항과 같이, 본 발명을 한정하는 것은 아닌 것을 이해받고자 한다.
본 명세서에 개시된 동화상 부호화 장치 및 동화상 복호 장치는, 프레임간 예측 부호화된 2개의 동화상 데이터를 결합할 때에, 원래의 부호화 동화상 데이터의 헤더 내 파라미터를 변경하지 않아도, 연속된 복호 처리 및 표시 처리를 가능하게 한다.
도 1은 수신 버퍼의 버퍼 점유량의 천이와 표시 시각과의 관계를 나타내는 도면이다.
도 2는 동화상 데이터에 포함되는 각 픽쳐의 표시 순서 및 복호 순서와, 복호 지연 및 표시 지연과의 관계를 나타내는 도면이다.
도 3은 2개의 부호화 동화상 데이터가 결합된 경우의 결합점 이후의 픽쳐의 복호 지연 및 표시 지연의 설명도이다.
도 4는 제1 실시 형태에 따른 부호화 동화상의 하나의 픽쳐의 데이터 구조의 설명도이다.
도 5는 제1 실시 형태에 따른 동화상 부호화 장치의 개략 구성도이다.
도 6은 제1 실시 형태에 따른 동화상 부호화 처리의 동작 플로우차트이다.
도 7은 제1 실시 형태에 따른 동화상 편집 처리의 동작 플로우차트이다.
도 8은 제1 실시 형태에 따른 동화상 복호 장치의 개략 구성도이다.
도 9는 제1 실시 형태에 따른 동화상 복호 처리의 동작 플로우차트이다.
도 10은 제2 실시 형태에 따른, 2개의 부호화 동화상 데이터가 결합된 경우의 결합점 이후의 픽쳐의 복호 지연 및 표시 지연의 설명도이다.
도 11은 제2 실시 형태에 따른 부호화 동화상의 하나의 픽쳐의 데이터 구조의 설명도이다.
도 12는 각 실시 형태 또는 그 변형예에 의한 동화상 부호화 장치 또는 동화상 복호 장치의 각 부의 기능을 실현하는 컴퓨터 프로그램이 동작함으로써, 동화상 부호화 장치 또는 동화상 복호 장치로서 동작하는 컴퓨터의 구성도이다.
이하, 도면을 참조하면서, 다양한 실시 형태에 따른, 동화상 부호화 장치 및 동화상 복호 장치에 대해서 설명한다. 이 동화상 부호화 장치는, 2개의 부호화 동화상 데이터를, 복호하지 않고 결합할 때에, 결합점 이후의 픽쳐에 대한 복호 시각 및 표시 시각을 나타내는 파라미터를 수정하기 위해 이용되는 값을 산출하고, 그 값을 결합점 이후의 픽쳐의 헤더 정보에 부가한다. 이에 의해, 이 동화상 부호화 장치는 2개의 부호화 동화상 데이터를 결합하는 경우라도, 원래의 부호화 동화상 데이터의 헤더 내 파라미터의 재기입을 불필요로 한다.
본 실시 형태에서는, 픽쳐는, 프레임이다. 단, 픽쳐는 프레임에 한정되지 않고, 필드이어도 좋다. 프레임은 동화상 데이터 중 하나의 정지 화상이며, 한편, 필드는 프레임으로부터 홀수행의 데이터 혹은 짝수행의 데이터만을 취출함으로써 얻어지는 정지 화상이다. 또한, 부호화된 동화상은 컬러 동화상이어도 좋고, 혹은, 모노크롬 동화상이어도 좋다.
도 2를 참조하면서, 최초로, 제1 실시 형태에 있어서의, 픽쳐의 복호 지연 CpbRemovalDelay 및 표시 지연 DpbOutputDelay의 값에 대해서, 하나의 픽쳐 부호화 구조를 예로서 설명한다.
도 2에 있어서, 픽쳐 부호화 구조의 일례인 픽쳐 부호화 구조(201)는, 복수의 픽쳐를 포함한다. 픽쳐 부호화 구조(201) 내의 하나의 블록이 하나의 픽쳐를 나타낸다. 각 픽쳐에 상당하는 블록 내부에 나타내어진 2개의 문자 중, 좌측의 하나의 문자 알파벳은, 그 픽쳐에 대하여 적용되는 부호화 모드를 나타낸다. I, P, B는, 각각, I 픽쳐, P 픽쳐, B 픽쳐를 의미한다. 또한, 블록 내부에 나타내어진 2개의 문자 중 우측의 숫자는, 동화상 부호화 장치에 입력되는 순서이다. 또한, 입력 순서는 동화상 복호 장치로부터 출력되는 순서과 일치한다. 픽쳐 부호화 구조(201)의 상측에 나타내어진 화살표는, 전방향 프레임 예측에서 부호화되는 픽쳐가 참조하는 참조 픽쳐를 나타낸다. 예를 들어, 픽쳐 P4는 픽쳐 P4보다도 전에 위치하는 픽쳐 I0을 참조한다. 마찬가지로, 픽쳐 부호화 구조(201)의 하측에 나타내어진 화살표는, 후방향 프레임 예측에서 부호화되는 픽쳐가 참조하는 참조 픽쳐를 나타낸다. 예를 들어, 픽쳐 B2는 픽쳐 B2보다도 이후에 위치하는 픽쳐 P4를 참조한다.
픽쳐 부호화 구조(201)의 하측에는, 동화상 복호 장치에 있어서의, 픽쳐 부호화 구조(201)에 포함되는 각 픽쳐의 복호 순서(202)가 나타내어진다. 복호 순서(202)에 나타내어진 각 블록은, 각각, 하나의 픽쳐를 나타내고, 또한, 각 블록 내의 문자는 픽쳐 부호화 구조(201)와 마찬가지로, 부호화 모드 및 동화상 부호화 장치에의 입력 순서를 나타낸다. 또한, 이 복호 순서(202)는 동화상 부호화 장치에 의한 부호화의 순서와 일치한다. 각 픽쳐의 복호 순서(202)의 상측 및 하측에 나타내어진 화살표는, 각각, 전방향 프레임 예측에서 부호화되는 픽쳐가 참조하는 참조 픽쳐, 후방향 프레임 예측에서 부호화되는 픽쳐가 참조하는 참조 픽쳐를 나타낸다.
복호 순서(202)에 있어서, 하측에 "BPSEI"라고 하는 문자가 쓰여진 픽쳐에는, BPSEI가 부가된다. 이 예에서는, 모든 I 픽쳐에 BPSEI가 부가된다. 즉, 모든 I 픽쳐에, I 픽쳐 선두 비트의 수신 버퍼에의 도달 시각과, I 픽쳐의 복호 시각과의 차분값을 나타내는 파라미터 InitialCpbRemovalDelay가 기술된다.
복호 순서(202)의 하측에 나타내어진 블록 열(203)은, 각 픽쳐에 부가되는 PTSEI에 포함되는 CpbRemovalDelay 및 DpbOutputDelay의 값을 나타낸다. 블록 열(203) 중 상측의 각 블록에는, 각각, 그 블록 상에 위치하는 복호 순서(202)의 픽쳐의 CpbRemovalDelay의 값이 나타내어진다. 한편, 블록 열(203) 중 하측의 각 블록에는, 각각, 그 블록 상에 위치하는 복호 순서(202)의 픽쳐의 DpbOutputDelay의 값이 나타내어진다. CpbRemovalDelay는, BPSEI가 부가된 픽쳐 중, 부호화순으로 직전의 픽쳐로부터의 부호화의 순서대로 상당한다. 예를 들어, 픽쳐 P8은, 픽쳐 I0으로부터 부호화순으로 5번째이다. 그리고 본 실시 형태에서는, 각 픽쳐는 프레임이고, 픽쳐간의 시간 간격 tc가 필드 단위의 값이므로, 픽쳐 P8의 CpbRemovalDelay는 10(=5＊2)가 된다.
한편, DpbOutputDelay는, 동화상 복호 장치에 있어서, 각 픽쳐를 연속해서 정확한 순서로 출력하기 위한, 표시 지연이다. 예를 들어 픽쳐 P4는, DpbOutputDelay가 10으로 되어 있다. 이것은 동화상 부호화 장치에 있어서, 입력 순서과 부호화 순서과의 차가 가장 큰 픽쳐 B1을 올바르게 표시하기 위해 필요한 지연이다. 즉, 픽쳐 B1은 픽쳐 P4의 복호 시각으로부터 2픽쳐 시간 이후에 복호되기 위해, 픽쳐 P4의 표시 시각은 픽쳐 B1이 표시 가능하게 되는 가장 빠른 시각, 즉 픽쳐 B1의 복호 시각으로부터, 또한 3픽쳐 시간 이후에 표시하도록 하지 않으면 안 된다. 픽쳐 P4의 복호 시각과 표시 시각과의 차는 5픽쳐 시간으로 되고, DpbOutputDelay는 tc가 필드 단위이므로 10이 된다.
다음에, 도 3을 참조하면서, 2개의 부호화 동화상 데이터를 결합한 경우에, 그 2개의 부호화 동화상 데이터의 결합점 전후로 복호 지연 및 표시 지연에 모순이 없도록 하기 위해, 결합점보다 후방측의 부호화 동화상 데이터의 픽쳐에서의 복호 지연 CpbRemovalDelay 및 표시 지연 DpbOutputDelay가 취해야 할 값에 대해서 설명한다.
결합점보다도 전방측에 결합되는 제1 동화상 부호화 데이터(301)에 나타내어진 각 블록은, 각각, 하나의 픽쳐를 나타내고, 또한, 각 블록 내의 문자는, 도 2와 마찬가지로, 부호화 모드 및 동화상 부호화 장치에의 입력 순서를 나타낸다. 이 예에서는, 제1 동화상 부호화 데이터(301)의 부호화 구조는, 도 2에 도시된 부호화 구조(201)와 동일하다.
이 예에서는, 제1 동화상 부호화 데이터의 마지막 픽쳐 B15 직후에, 제2 동화상 부호화 데이터(302)를 결합한다. 제2 동화상 부호화 데이터(302)에 대해서도, 각 블록은, 각각, 하나의 픽쳐를 나타내고, 또한, 각 블록 내의 문자는, 부호화 모드 및 동화상 부호화 장치에의 입력 순서를 나타낸다. 제2 동화상 부호화 데이터(302)의 상측에 나타내어진 화살표는, 각각, 부호화되는 픽쳐 B70, B69, B71이 전방향 프레임 예측에서 참조하는 참조 픽쳐를 나타낸다. 또한, 제2 동화상 부호화 데이터(302)의 하측에 나타내어진 화살표는, 각각, 부호화되는 픽쳐 B70, B69, B71이 후방향 프레임 예측에서 참조하는 참조 픽쳐를 나타낸다. 제2 동화상 부호화 데이터(302)의 부호화 구조는, 픽쳐 B70, B69, B71을 제외하고 도 2에 도시된 부호화 구조(201)와 동일하다. 픽쳐 B70, B69, B71의 부호화 순서는 도 2에 도시된 부호화 구조(201)에 포함되는 쌍방향 예측 픽쳐의 부호화 순서와 동일하다. 그러나, 픽쳐 B70, B69, B71의 참조 픽쳐는, 부호화 구조(201)에 포함되는 쌍방향 예측 픽쳐의 참조 픽쳐와 서로 다르다. 픽쳐 B70, B71은 표시 시각이 이후인 픽쳐, 즉 픽쳐 I72만을 참조한다. 한편, 픽쳐 B69는 표시 시각이 이전인 픽쳐, 즉 I68만을 참조한다. 이와 같은 상황은, 예를 들어, 픽쳐 B69와 픽쳐 B70 사이에 씬 체인지가 있는 경우에 생긴다. 씬 체인지 경계에서, 화상이 크게 변화되므로, 씬 체인지 경계의 근방에 위치하는 쌍방향 예측 픽쳐는, 보다 예측 효율이 좋고, 씬 체인지 경계에 비해 동일한 측에 있는 픽쳐만을 참조하게 된다. 이 예에서는, B69가 TFD 픽쳐이고, B70 및 B71이 DLP 픽쳐이다. 이 예에서는, 제2 동화상 부호화 데이터(302) 중, 픽쳐 I72 이후의 픽쳐가, 제1 동화상 부호화 데이터의 픽쳐 B15 이후에 결합된다. 또한, 비특허 문헌 1의 방식에서는, TFD 픽쳐의 표시 시각은 DLP 픽쳐의 표시 시각보다도 빠른 것 및 DLP 픽쳐는 TP 픽쳐로부터 참조되지 않는 것이라고 하는 제약이 설정되어 있다.
제2 동화상 부호화 데이터(302)의 하측에 나타내어진 블록 열(303)은, 제2 동화상 부호화 데이터(302)의 각 픽쳐에 부가되는 PTSEI에 포함되는 복호 지연 CpbRemovalDelay 및 표시 지연 DpbOutputDelay의 값을 나타낸다. 블록 열(303) 중 상측의 각 블록에는, 각각, 그 블록 상에 위치하는 제2 동화상 부호화 데이터(302)의 픽쳐의 복호 지연 CpbRemovalDelay의 값이 나타내어진다. 한편, 블록 열(303) 중 하측의 각 블록에는, 각각, 그 블록 상에 위치하는 제2 동화상 부호화 데이터(302)의 픽쳐의 표시 지연 DpbOutputDelay의 값이 나타내어진다.
블록 열(303)의 하측에는, 제1 동화상 부호화 데이터(301)와 제2 동화상 부호화 데이터(302)가 결합된 결합 동화상 부호화 데이터(304)가 나타내어져 있다. 이 예에서는, 결합 동화상 부호화 데이터(304)에 있어서, 제2 동화상 부호화 데이터(302) 중 픽쳐 B67 및 부호화 순서에서 픽쳐 B67보다도 이전의 부호화 픽쳐는 포함되지 않는다. 또한, 픽쳐 B69는, 부호화 순서에서 픽쳐 I72보다도 이전의 부호화 픽쳐인 픽쳐 I68을 참조하는 TFD 픽쳐이다. 그 때문에, 픽쳐 I72에서 결합되면, 픽쳐 B69는 정상 재생할 수 없게 된다. 따라서, 픽쳐 B69는 결합시에 제거된다. 단, 픽쳐 B69는 제거되지 않고, 결합 동화상 부호화 데이터 내에 남겨져도 좋다. 픽쳐 B70, B71은, 부호화 순서에서 픽쳐 I72보다도 이전의 부호화 픽쳐를 참조하지 않는 DLP 픽쳐이고, 정상 재생이 가능하다. 또한 픽쳐 B70, B71은, P76 이후의 픽쳐로부터 참조되지 않으므로, 픽쳐 B70, B71을 TFD 픽쳐(69)와 동시에 제거해도, P76 이후의 픽쳐의 재생에 영향을 미치지 않는다.
블록 열(305)은 결합 동화상 부호화 데이터(304)에 있어서의, 픽쳐 I72, B70, B71, P76, B74, B73, B75가 가져야 할 복호 지연 CpbRemovalDelay 및 표시 지연 DpbOutputDelay의 값을 나타낸다. 블록 열(305) 중 상측의 각 블록에는, 각각, 그 블록 상에 위치하는 결합 동화상 부호화 데이터(304)의 픽쳐의 복호 지연 CpbRemovalDelay의 값이 나타내어진다. 한편, 블록 열(305) 중 하측의 각 블록에는, 각각, 그 블록 상에 위치하는 결합 동화상 부호화 데이터(304)의 픽쳐의 표시 지연 DpbOutputDelay의 값이 나타내어진다.
픽쳐 I72의 복호 지연 CpbRemovalDelay는, 결합 후에, 직전의 BPSEI를 갖는 픽쳐인 픽쳐 I12와의 부호화 픽쳐 간격에 맞출 필요가 있다. 이 예에서는, 픽쳐 I72는, 부호화 순서에 따르면 픽쳐 I12로부터 8번째이므로, 복호 지연 CpbRemovalDelay는 16(=8＊2)가 된다. 또한 픽쳐 I72의 표시 지연 DpbOutputDelay도, 픽쳐 I72보다도 이후에 복호되는 픽쳐 B73을 올바르게 표시하기 위해 수정될 필요가 있다. 픽쳐 I72의 표시 지연 DpbOutputDelay의 값은, 픽쳐 B69를 제거하기 전과 제거한 후로 상이하다. 픽쳐 B69를 제거한 후의 표시 지연 DpbOutputDelay의 값은, 복호 순서에서 I72보다 이후의 제거 픽쳐에 대한, 그 제거 픽쳐와 복호 순서에서 직전의 픽쳐와의 복호 시간의 차인 복호 간격분만큼 감소한다. 이 예에서는 픽쳐 B69가 제거되는 픽쳐에 해당하고, B69의 복호 간격(B69의 복호 시각과, 복호 순서에서 직전의 픽쳐인 B70의 복호 시각과의 차분)은 2이므로, 픽쳐 I72의 표시 지연 DpbOutputDelay의 값은 2가 된다. 마찬가지로, 픽쳐 B70의 표시 지연 DpbOutputDelay도, 복호 순서에서 B70보다 이후의 제거 픽쳐의 복호 간격만큼, 즉 2만 감소하고, 2가 된다.
또한, 픽쳐 B71, P76, B74, B73, B75의 복호 지연 CpbRemovalDelay는, 픽쳐 B69를 제거하기 전과 제거한 후로 상이하다. 픽쳐 B69를 제거한 후의 픽쳐 B71, P76, B74, B73, B75의 복호 지연 CpbRemovalDelay의 값은, 각각, 제거하기 전의 복호 지연 CpbRemovalDelay의 값으로부터, 복호 순서에서 각각의 픽쳐 I72보다 이전의 제거 픽쳐의 복호 간격분만큼 감소한다. 이 예에서는, 픽쳐 B71, P76, B74, B73, B75의 복호 지연 CpbRemovalDelay의 값은, 각각, 원래의 복호 지연 CpbRemovalDelay의 값으로부터, TFD 픽쳐 B69의 복호 간격 2를 뺀, 4, 6, 8, 10, 12가 된다. 또한, DLP 픽쳐 B70에 대해서는, 복호 순서에서 B70보다도 이전의 제거 픽쳐가 없으므로, 픽쳐 B69가 제거되어도 CpbRemovalDelay의 값은 불변하다. 또한, 픽쳐 P76, B74, B73, B75에 대해서는, 표시 지연 DpbOutputDelay의 값은 불변하다. 또한, 결합 후의 최초 CRA가 되는 픽쳐보다도 입력 순서에서 이후로 되는 픽쳐에 대해서는, 복호 지연 CpbRemovalDelay 및 표시 지연 DpbOutputDelay 모두 수정할 필요는 없다.
상기와 같이, 2개의 부호화 동화상 데이터를 결합함으로써, 그 결합점보다도 이후의 부호화 동화상 데이터에 포함되는 몇 개인가의 픽쳐에 대해서는, 복호시에, 복호 지연 CpbRemovalDelay 및 표시 지연 DpbOutputDelay를 수정할 필요가 있다. 따라서, 본 실시 형태에서는, 동화상 부호화 장치가, 결합 전의 원래의 동화상 부호화 데이터에 포함되는 픽쳐의 복호 지연 CpbRemovalDelay 및 표시 지연 DpbOutputDelay의 값을 수정하지 않아도, 동화상 복호 장치가, 결합 동화상 부호화 데이터를 복호할 때에, 복호 지연 CpbRemovalDelay 및 표시 지연 DpbOutputDelay의 값을 적절한 값으로 재기입하기 위해 이용 가능한 파라미터가, 동화상 부호화 데이터의 헤더에 추가된다.
도 4를 참조하면서, 제1 실시 형태에 있어서의, 복호 지연 CpbRemovalDelay 및 표시 지연 DpbOutputDelay의 값을 적절한 값으로 재기입하기 위해 이용 가능한 파라미터를 포함하는, 부호화 동화상 데이터의 구조를 설명한다.
도 4에 도시된 바와 같이, 하나의 픽쳐의 데이터 구조(400)는, 6종류의 Network Abstraction Layer(NAL) unit(410 내지 415)를 포함한다. 이들의 NAL unit(410 내지 415)는, 모두, 비특허 문헌 1의 방식 및 MPEG-4 AVC/H.264의 NAL unit에 준거한다. 각 NAL unit에는 헤더 NUH(420)가 부가된다. 헤더 NUH(420)는, 각 NAL unit의 타입을 나타내는 NalUnitType 필드를 포함한다. NalUnitType이 '1' 혹은 '2'인 경우에는, TP 픽쳐인 것을 나타낸다. NalUnitType이 '7'인 경우에는, TFD 픽쳐 및 DLP 픽쳐가 직후에 출현할 가능성이 있는, 재인입 가능한 BLA 픽쳐인 것을 나타낸다. NalUnitType이 '8'인 경우에는, DLP 픽쳐가 직후에 출현할 가능성이 있는, 재인입 가능한 BLA 픽쳐인 것을 나타낸다. NalUnitType이 '9'인 경우에는, TFD 픽쳐 및 DLP 픽쳐가 직후에 출현하지 않는, 재인입 가능한 BLA 픽쳐인 것을 나타낸다. NalUnitType이 '12'인 경우에는, 재인입 가능한 CRA 픽쳐인 것을 나타낸다. NalUnitType이 '13'인 경우에는, DLP 픽쳐인 것을 나타낸다. NalUnitType이 '14'인 경우에는, TFD 픽쳐인 것을 나타낸다. 또한, 각 픽쳐의 NalUnitType의 값은, 상기의 값 이외에 설정되어도 좋다.
이하, 각 NAL unit에 대해서 설명한다.
NAL unit(410)은, 델리미터(DELIM) NAL unit이고, 픽쳐의 경계인 것을 나타낸다.
NAL unit(411)은, 시퀀스 파라미터 세트(SPS) NAL unit이고, SPS NAL unit(411)에는, 부호화 동화상의 시퀀스 전체에 걸쳐서 공통인 파라미터가 기술된다. SPS NAL unit(411)은, 재인입이 가능한 픽쳐에 부가된다.
NAL unit(412)는, 픽쳐 파라미터 세트(PPS) NAL unit이고, PPS NAL unit(412)에는, 복수의 부호화 픽쳐로 공통인 파라미터가 기술된다. PPS NAL unit(412)은, 재인입이 가능한 픽쳐에 부가되는 것 외에, 다른 픽쳐에도 부가되는 경우가 있다.
NAL unit(413)은, BPSEI NAL unit이고, BPSEI NAL unit(413)은 재인입이 가능한 픽쳐에만 부가된다. 본 실시 형태에서는, 이 BPSEI NAL unit(413)에, 동화상 복호 장치에서 결합점 이후의 픽쳐의 복호 지연과 표시 지연을 수정하기 위해 이용되는 파라미터가 추가된다.
NAL unit(414)은, PTSEI NAL unit이고, PTSEI NAL unit(414)은 각 픽쳐에 부가된다.
NAL unit(415)은, 슬라이스(SLICE) NAL unit이고, 부호화된 픽쳐의 실체이다.
본 실시 형태에 따른, BPSEI NAL unit(413)은, (N+1)개(단, N은 0 이상의 정수)의 InitialCpbRemovalDelay 필드와 InitialCpbRemovalDelayOffset 필드의 조(組)를 포함한다. 이들 필드의 정의는 비특허 문헌 1의 방식 및 MPEG-4 AVC/H.264와 동등해도 좋다.
또한, InitialCpbRemovalDelay 필드 및 InitialCpbRemovalDelayOffset 필드가 복수 존재하는 것은, 부호화 비트 스트림을 (N+1)의 종류의 비트 레이트로 전송한 경우에 적합한 InitialCpbRemovalDelay 및 InitialCpbRemovalDelayOffset을 기술하기 위해서이다. 또한 InitialCpbRemovalDelayOffset은, 동화상 부호화 장치에 있어서의 최초 픽쳐의 부호화 완료 시각과, 동화상 복호 장치에 대하여 부호화 picturedata의 전송을 개시하는 시각과의 차분을 나타낸다.
PTSEI NAL unit(414)은, 복호 지연 CpbRemovalDelay 필드와, 표시 지연 DpbOutputDelay 필드와, NumRemovedTfds 필드를 포함한다. NumRemovedTfds 필드는, 복호 지연과 표시 지연의 보정에 이용되는 보정 정보의 일례이다. NumRemovedTfds 필드에는 PTSEI가 부가된 픽쳐로부터, 복호 순번에서 다음의 BPSEI 부가 픽쳐까지의 사이에서, 제거된 픽쳐의 복호 간격의 총합이 기술된다. 픽쳐의 복호 간격이란, 이 픽쳐에 부가된 PTSEI의 CpbRemovalDelay 필드값으로부터, 복호 순서에서 직전의 픽쳐에 부가된 PTSEI의 CpbRemovalDelay 필드값을 뺀 값으로 정의된다. 또한, 복호 순서에서 직전의 픽쳐가 BLA 픽쳐인 경우에는, BLA 픽쳐에 부가된 PTSEI의 CpbRemovalDelay 필드값을 0으로서 취급한다. 부호화 비트 스트림을 생성한 단계에서는, NumRemovedTfds 필드값은 0으로 한다.
도 5는, 제1 실시 형태에 따른, 동화상 부호화 장치의 개략 구성도이다. 동화상 부호화 장치(1)는 제어부(11)와, 부호화 제어부(12)와, 픽쳐 부호화부(13)와, 결합점 식별 정보 처리부(14)와, 데이터 결합부(15)를 갖는다. 동화상 부호화 장치(1)가 갖는 이들의 각 부는, 각각, 별개의 회로로서 동화상 부호화 장치(1)에 실장된다. 혹은, 동화상 부호화 장치(1)가 갖는 이들의 각 부는, 그 각 부의 기능을 실현하는 회로가 집적된 하나의 집적 회로로서 동화상 부호화 장치(1)에 실장되어도 좋다. 혹은 또한, 동화상 부호화 장치(1)가 갖는 이들의 각 부는, 동화상 부호화 장치(1)가 갖는 프로세서상에서 실행되는 컴퓨터 프로그램에 의해 실현되는 기능 모듈이어도 좋다.
제어부(11)는 동화상 데이터를 부호화할 때, 또는 부호화 동화상 데이터의 편집 조작을 실행할 때, 동화상 부호화 장치(1)의 각 부의 처리를 제어한다. 예를 들어, 제어부(11)는 씬 체인지의 위치 등의 동화상 데이터의 성질, 요구되는 부호화 동화상 데이터의 재생 화질, 압축률 등에 기초하여, 부호화하고자 하는 동화상 데이터에 대하여 적용하는 GOP 구조 등을 결정한다. 그리고 제어부(11)는 GOP 구조 등을 부호화 제어부(12)에 통지한다.
우선, 동화상 데이터를 부호화하는 동화상 부호화 처리에 대해서 설명한다. 동화상 부호화 처리에서는, 부호화 제어부(12) 및 픽쳐 부호화부(13)가 사용된다.
부호화 제어부(12)는 제어부(11)로부터 통지된 GOP 구조에 따라서, 각 픽쳐의 부호화 순서, 부호화 모드(예를 들어, 인트라 부호화 모드, 전방향 예측 모드 및 쌍방향 예측 모드 중 어느 하나) 등을 결정한다. 그리고 부호화 제어부(12)는, 각 픽쳐의 부호화 모드, GOP 구조 중 위치 등에 따라서, CRA 픽쳐의 삽입 간격, 부호화시의 리오더링 픽쳐수 및 최대 표시 지연을 결정한다. 도 2에 도시된 예에서는, CRA 픽쳐의 삽입 간격은 12, 리오더링 픽쳐수는 2, 최대 표시 지연은 5이다. 또한 부호화 제어부(12)는, 이들의 값에 따라서, 각 픽쳐의 헤더 정보를 생성한다.
예를 들어, 픽쳐의 종별이 I 픽쳐(CRA 픽쳐), 즉, 다른 픽쳐를 참조하지 않고 부호화되는 픽쳐로, 그 픽쳐가 부호화 동화상 데이터의 선두 픽쳐가 아닌 경우에는, 부호화 제어부(12)는 픽쳐 내의 각 슬라이스의 NUH(720)의 NalUnitType을 '12'로 설정한다. 부호화 동화상 데이터의 선두 픽쳐 내의 각 슬라이스의 NUH(720)의 NalUnitType은, 10(IDR 픽쳐)으로 설정된다. 또한 리오더링 픽쳐수가 1 이상인 경우, CRA 픽쳐 직후의, CRA 픽쳐보다도 복호 순번 및 표시 순번이 빠른 픽쳐를 참조하는 픽쳐에 대해서, 부호화 제어부(12)는 NalUnitType을 '14'(TFD 픽쳐)로 한다. 또한 CRA 픽쳐 직후의, 표시 시각이 CRA 픽쳐보다 이전이고, 또한 CRA 픽쳐보다도 복호 순번 및 표시 순번이 빠른 픽쳐를 참조하지 않는 픽쳐에 대해서, 부호화 제어부(12)는 NalUnitType을 '13'(DLP 픽쳐)으로 한다. 그 이외의 픽쳐에 대해서는, 부호화 제어부(12)는 NalUnitType을 '1' 혹은 '2'(TP 픽쳐)로 한다.
부호화 제어부(12)는 픽쳐 부호화부(13)에 대해, 부호화하는 픽쳐 내의 각 슬라이스 헤더의 NUH(720)의 NalUnitType을 통지한다. 또한, 부호화 제어부(12)는, 각 픽쳐의 PTSEI 내의 복호 지연 CpbRemovalDelay 및 표시 지연 DpbOutputDelay를, 도 2와 같이, 픽쳐의 예측 구조로부터 요구하고, 통지한다.
또한, 픽쳐 내의 각 슬라이스의 NUH(720)의 NalUnitType이 '10' 혹은 '12'인 경우, 부호화 제어부(12)는, 그 픽쳐에 BPSEI를 부가한다.
부호화 제어부(12)는, 픽쳐마다, 픽쳐 부호화부(13)에, 그 부호화 모드 및 헤더 정보를 통지하는 동시에, 픽쳐의 부호화를 지시한다.
픽쳐 부호화부(13)는 부호화 제어부(12)로부터의 지시에 따라, 프레임간 예측 부호화가 가능한 동화상 부호화 방식 중 어느 하나에 준거하여, 해당 픽쳐를 지정받은 부호화 모드로 부호화한다. 픽쳐 부호화부(13)가 준거하는 동화상 부호화 방식은, 예를 들어, MPEG-4 AVC/H.264 또는 MPEG-2로 할 수 있다. 그리고 픽쳐 부호화부(13)는 부호화된 각 픽쳐를 포함하는, 부호화 동화상 데이터를 기억부(도시하지 않음)에 기억한다.
다음으로, 2개의 부호화 동화상 데이터를 결합할 때의 편집 처리에 대해서 설명한다. 결합점 식별 정보 처리부(14) 및 데이터 결합부(15)는, 이 편집 처리에 있어서 사용된다.
결합점 식별 정보 처리부(14)는, 예를 들어, 도시하지 않은 유저 인터페이스부를 통해서 선택된 2개의 부호화 동화상 데이터를 기억부(도시하지 않음)로부터 읽어낸다. 그리고 결합점 식별 정보 처리부(14)는, 도시하지 않은 외부로부터의 제어 신호에 따라, 그 2개의 부호화 동화상 데이터 중, 시간적으로 후방측에 결합되는 제2 부호화 동화상 데이터 내의 결합점 선두 픽쳐를 특정한다. 외부로부터의 제어 신호는, 예를 들어, 제2 부호화 동화상 데이터 내의, 선두로부터의 부호화 픽쳐수이고, 결합점 식별 정보 처리부(14)는, 예를 들어, 이 부호화 픽쳐수 이전으로 가장 느린 CRA 픽쳐를 결합점으로 한다.
결합점 식별 정보 처리부(14)는 결합점의 CRA 픽쳐에 대해서, 리오더링수가 1 이상인 경우, 그 픽쳐의 슬라이스의 NalUnitType을 '12'로부터 TFD 픽쳐가 출현할 가능성이 있는 BLA 픽쳐인 것을 나타내는 '7'로 재기입한다. 즉, 이 NalUnitType의 값이, 2개의 부호화 동화상 데이터가 그 결합점에 있어서 결합된 것 및 결합점의 BLA 픽쳐보다도 부호화 순서 및 복호 순서가 이후인 1 이상의 부호화 픽쳐가 제거된 것을 나타낸다. 또한 결합점 식별 정보 처리부(14)는 데이터 결합부(15)에 대하여, 제2 부호화 동화상 데이터 내의 결합점의 CRA 픽쳐 이후의 전체 픽쳐를 출력하는 동시에, 결합점 CRA 픽쳐 직후의 TFD 픽쳐를 제거하는 지시를 낸다. 한편, 리오더링수가 0인 경우, 결합점 식별 정보 처리부(14)는 결합점의 CRA 픽쳐에 대해서, 그 픽쳐의 슬라이스의 NalUnitType을 '12'로부터 TFD 픽쳐 및 DLP 픽쳐가 직후에 출현하지 않는 BLA 픽쳐인 것을 나타내는 '9'로 재기입한다.
다음에, 결합점 식별 정보 처리부(14)는 제거해야 할 TFD 픽쳐의 복호 간격을 산출하고, 제거해야 할 TFD 픽쳐 직전의 비TFD 픽쳐의 NumRemovedTfds 필드의 값을, 이 비TFD 픽쳐에 후속하는, 제거한 TFD 픽쳐의 복호 간격만큼 가산한다. 각 픽쳐의 복호 간격이 동등한 경우에는, 최종적으로, 비TFD 픽쳐의 NumRemovedTfds 필드의 값은, 그 픽쳐보다도 복호 순서가 이후이고, 또한, 삭제된 픽쳐의 필드 단위의 매수가 된다. 그리고 결합점 식별 정보 처리부(14)는, 제2 부호화 동화상 데이터 중, 제거되는 TFD 픽쳐보다도 복호 순번이 빠른 픽쳐에 대해서, 부가된 PTSEI의 NumRemovedTfds 필드의 값을 변경한다.
데이터 결합부(15)는 결합점보다도 시간적으로 이전에 결합되는 제1 부호화 동화상 데이터 이후에, 결합점 식별 정보 처리부(14)로부터 출력된 제2 부호화 동화상 데이터를 결합한다. 이 때, 데이터 결합부(15)는, 제2 부호화 동화상 데이터 중, 선두 픽쳐 직후의, 정상 복호가 보증되지 않는 TFD 픽쳐를 제거한다. 또한, 이 경우, 데이터 결합부(15)는 DLP 픽쳐도 TFD 픽쳐와 간주하여 제거해도 좋다.
그리고 데이터 결합부(15)는, 제1 부호화 동화상 데이터와 제2 부호화 동화상 데이터를 결합함으로써 얻어진 결합 부호화 동화상 데이터를 기억부(도시하지 않음)에 기억한다.
도 6은, 제1 실시예에 의한 동화상 부호화 장치에 의해 실행되는 동화상 부호화 처리의 동작 플로우차트이다. 또한, 도 6에 도시되는 동작 플로우차트에 따라서, 동화상 부호화 장치(1)는 부호화 대상의 동화상 시퀀스 전체를 부호화한다.
시퀀스 전체의 부호화 처리 개시에 앞서서, 예를 들어, 제어부(11)에 의해, GOP 구조 등, 픽쳐 예측 구조가 결정된다(스텝 S101). 그리고 그 픽쳐 예측 구조가 부호화 제어부(12)에 통지된다.
부호화 제어부(12)는 통지된 픽쳐 예측 구조 및 동화상 데이터의 선두로부터의 부호화 대상 픽쳐의 위치 등에 기초하여 부호화 대상 픽쳐에 적용되는 부호화 모드를 결정하고, 또한, 그 부호화 대상 픽쳐의 헤더 정보를 생성한다(스텝 S102).
스텝 S102 이후, 부호화 제어부(12)는 부호화 대상 픽쳐의 데이터, 그 픽쳐의 부호화 모드 및 헤더 정보를 부호화부(13)에 통지한다. 그리고 부호화부(13)는 통지된 부호화 모드 및 헤더 정보에 따라서, 부호화 대상 픽쳐를 부호화하고, 그 부호화된 픽쳐의 데이터에 헤더 정보를 부가한다(스텝 S103).
그 후, 제어부(11)는 동화상 시퀀스 내에 미부호화 픽쳐가 있는지 여부를 판정한다(스텝 S104). 미부호화 픽쳐가 있는 경우(스텝 S104-"예"), 제어부(11)는, 다음 미부호화 픽쳐를 부호화 대상 픽쳐로서, 스텝 S102 이후의 처리를 실행한다.
한편, 미부호화 픽쳐가 없는 경우(스텝 S104-"아니오"), 제어부(11)는 부호화 처리를 종료한다.
도 7은, 제1 실시예에 의한 동화상 부호화 장치에 의해 실행되는 동화상 편집 처리의 동작 플로우차트이다. 이 예에서는, DLP 픽쳐는 삭제되지 않고, TFD 픽쳐만이 삭제되는 것으로 한다.
결합점 식별 정보 처리부(14)는 TFD 픽쳐 및 DLP 픽쳐 중, 삭제되지 않았던 픽쳐의 리스트 L[]을 초기화하고, 그 삭제되지 않았던 픽쳐의 수에 2를 가산한 값을 나타내는 변수 m을 2로 초기화한다(스텝 S201). 또한, 변수 m은, 복호 순서에서 마지막 DLP 픽쳐 이후에 TFD 픽쳐가 출현하지 않으면, TFD 픽쳐 및 DLP 픽쳐 중, 삭제되지 않았던 픽쳐의 수로 해도 좋다.
다음에, 결합점보다도 이전에 결합되는 제1 부호화 동화상 데이터 중, 결합점까지의 부호화 픽쳐를 순차 기억부(도시하지 않음)로부터 읽어낸다(스텝 S202).
또한 결합점 식별 정보 처리부(14)는 결합점보다도 이후에 결합되는 제2 부호화 동화상 데이터 중, 결합점 이후의 부호화 픽쳐를 순차 기억부(도시하지 않음)로부터 읽어낸다(스텝 S203). 다음에, 결합점 식별 정보 처리부(14)는, 제2 부호화 동화상 데이터 중, 읽어내어진 선두 CRA 픽쳐에 대해, 각 슬라이스의 NUH의 NalUnitType의 값을, BLA 픽쳐인 것을 나타내는 값으로 재기입한다(스텝 S204).
다음에, 결합점 식별 정보 처리부(14)는 복호 순번에서 다음 픽쳐의 NalUnitType이 '14'인지 여부, 즉, TFD 픽쳐인지 여부를 판정한다(스텝 S205). TFD 픽쳐의 경우(스텝 S205-"예"), 결합점 식별 정보 처리부(14)는 TFD 픽쳐를 삭제하는 지시를 결합부(15)에 출력하고, 또한, 그 TFD 픽쳐의 복호 간격, 즉 복호 순번에서 그 TFD 픽쳐와 직전의 픽쳐와의, PTSEI의 CpbRemovalDelay값의 차분을 리스트 []의 0번째로부터 m번째의 엔트리에 각각 가산한다(스텝 S206). 그 후, 결합점 식별 정보 처리부(14)는, 스텝 S205로 복귀되고, 다음 픽쳐의 NalUnitType을 평가한다.
한편, TFD 픽쳐가 아닌 경우(스텝 S205-"아니오"), 결합점 식별 정보 처리부(14)는 복호 순번에서 다음 픽쳐의 NalUnitType이 '13'인지 여부, 즉, DLP 픽쳐인지 여부를 판정한다(스텝 S207). 다음 픽쳐가 DLP 픽쳐인 경우(스텝 S207-"예"), 결합점 식별 정보 처리부(14)는 변수 m을 1 증가한다(스텝 S208). 그 후, 결합점 식별 정보 처리부(14)는, 다시 스텝 S205 이후의 처리를 실행한다. 한편, 복호 순번에서 다음 픽쳐가 DLP 픽쳐가 아닌 경우(스텝 S207-"아니오"), 다음 픽쳐는 TFD 픽쳐도 DLP 픽쳐도 아니므로, TP 픽쳐이다. TP 픽쳐보다도 복호 순서가 이후인 픽쳐에는, TFD 픽쳐는 존재하지 않는다. 따라서, 결합점 식별 정보 처리부(14)는 리스트 L[]에 기초하여, BLA 픽쳐 및 DLP 픽쳐의 PTSEI의 NumRemovedTfds 필드를 갱신한다(스텝 S209). 구체적으로는, 결합점 식별 정보 처리부(14)는 복호 순번에서 BLA 픽쳐로부터 세어서 m번째까지의 비TFD 픽쳐에 대해서, k번째의 픽쳐의 PTSEI의 NumRemovedTfds 필드의 값을 L[k]로 설정한다. 그 후, 결합점 식별 정보 처리부(14)는 BLA 픽쳐 및 전체 후속 픽쳐를 데이터 결합부(15)에 출력한다. 결합부(15)는 결합점보다도 이전의 제1 부호화 동화상 데이터의 마지막 픽쳐에 후속하고, 제2 부호화 동화상 데이터의 BLA 픽쳐 이후의 각 픽쳐를 결합한다. 그 때, 결합부(15)는 결합점 식별 정보 처리부(14)로부터 제거하는 것을 통지된 TFD 픽쳐를 제거한다.
다음에, 제1 실시 형태에 따른 동화상 부호화 장치(1)에 의해 부호화되고, 또는 편집된 부호화 동화상 데이터를 복호하는 동화상 복호 장치에 대해서 설명한다.
도 8은, 제1 실시 형태에 따른, 동화상 복호 장치의 개략 구성도이다. 동화상 복호 장치(2)는 제어부(21)와, 헤더 정보 해석부(22)와, 픽쳐 복호ㆍ표시 시각 결정부(23)와, 픽쳐 복호부(24)와, 프레임 메모리(25)를 갖는다. 동화상 복호 장치(2)가 갖는 이들의 각 부는, 각각, 별개의 회로로서 동화상 복호 장치(2)에 실장된다. 혹은, 동화상 복호 장치(2)가 갖는 이들의 각 부는, 그 각 부의 기능을 실현하는 회로가 집적된 하나의 집적 회로로서 동화상 복호 장치(2)에 실장되어도 좋다. 혹은 또한, 동화상 복호 장치(2)가 갖는 이들의 각 부는, 동화상 복호 장치(2)가 갖는 프로세서상에서 실행되는 컴퓨터 프로그램에 의해 실현되는 기능 모듈이어도 좋다.
제어부(21)는 부호화 동화상 데이터를 복호할 때, 동화상 복호 장치(2)의 각 부의 처리를 제어한다.
헤더 정보 해석부(22)는 부호화 동화상 데이터의 헤더 정보를 해석하고, 픽쳐 복호ㆍ표시 시각의 결정에 필요한 파라미터, 예를 들어, 각 픽쳐의 NalUnitType 및 PTSEI에 포함되는 CpbRemovalDelay, DpbOutputDelay 및 NumRemovedTfds를, 픽쳐 복호ㆍ표시 시각 결정부(23)에 출력한다.
픽쳐 복호ㆍ표시 시각 결정부(23)는 헤더 정보 해석부(22)로부터 전달되는, 복호 대상 픽쳐의 슬라이스의 NUH를 체크한다. NUH의 NalUnitType이 '7', '8' 혹은 '9'인 경우, 픽쳐 복호ㆍ표시 시각 결정부(23)는 복호 대상 픽쳐는 BLA 픽쳐라고 판단한다.
복호 대상 픽쳐가 BLA 픽쳐인 경우, 픽쳐 복호ㆍ표시 시각 결정부(23)는 BLA 픽쳐의 복호 지연 CpbRemovalDelay로서, BLA 픽쳐에 부가된 PTSEI의 CpbRemovalDelay 대신에, 이하와 같이 하여 구한 값을 사용한다.
픽쳐 복호ㆍ표시 시각 결정부(23)는 BLA 픽쳐 직전의 BPSEI가 부가된 픽쳐의 다음 픽쳐로부터, BLA 픽쳐까지의 각 픽쳐의 복호 간격의 총합 A를 구한다. 그리고 픽쳐 복호ㆍ표시 시각 결정부(23)는 BLA 픽쳐의 복호 지연 CpbRemovalDelay를 A로 한다. 또한, 각 픽쳐의 복호 간격이 동등한 경우에는, 픽쳐 복호ㆍ표시 시각 결정부(23)는 BLA 픽쳐 직전의 BPSEI가 부가된 픽쳐의 다음 픽쳐로부터, BLA 픽쳐까지의 필드 단위의 픽쳐수를, BLA 픽쳐의 복호 지연 CpbRemovalDelay로 해도 좋다.
픽쳐 복호ㆍ표시 시각 결정부(23)는, 또한 BLA 픽쳐의 PTSEI의 NumRemovedTfds 필드를 체크한다. NumRemovedTfds의 값이 제로가 아닌 경우에는, 픽쳐 복호ㆍ표시 시각 결정부(23)는 BLA 픽쳐 직후의 TFD 픽쳐가 제거되어 있다고 판단하고, BLA 픽쳐의 표시 지연 DpbOutputDelay로부터 NumRemovedTfds를 감산한 값을, BLA 픽쳐의 수정 후의 표시 지연 DpbOutputDelay로 한다.
픽쳐 복호ㆍ표시 시각 결정부(23)는, 또한, 복호 순번에서 BLA 픽쳐 이후의 픽쳐에 대해서도, 다음 BPSEI 부가 픽쳐까지, 이하의 처리를 행한다.
처리 대상의 픽쳐의 복호 지연 CpbRemovalDelay에 대해서, 픽쳐 복호ㆍ표시 시각 결정부(23)는 CpbRemovalDelay의 원래의 값으로부터, BLA 픽쳐에 부가된 PTSEI의 NumRemovedTfds와, 그 처리 대상 픽쳐에 부가된 PTSEI의 NumRemovedTfds와의 차분값(처리 대상 픽쳐 이후에 있었던 제거 완료 TFD 픽쳐의 복호 간격의 총합에 상당)을 감산한 값을, 수정 후의 복호 지연 CpbRemovalDelay로 한다. 또한, 처리 대상의 픽쳐의 표시 지연 DpbOutputDelay에 대해서, 픽쳐 복호ㆍ표시 시각 결정부(23)는 DpbOutputDelay의 원래의 값으로부터 그 처리 대상 픽쳐에 부가된 PTSEI의 NumRemovedTfds를 감산한 값을, 수정 후의 표시 지연 DpbOutputDelay로 한다.
또한, 픽쳐 복호ㆍ표시 시각 결정부(23)는 TP 픽쳐에 대해서는, 그 픽쳐의 복호 지연 CpbRemovalDelay의 원래의 값으로부터, BLA 픽쳐에 부가된 PTSEI의 NumRemovedTfds를 감산한 값을 수정 후의 CpbRemovalDelay의 값으로 한다.
상기 이외의 픽쳐에 대해서는, 픽쳐 복호ㆍ표시 시각 결정부(23)는 픽쳐의 복호 지연 CpbRemovalDelay 및 표시 지연 DpbOutputDelay를, 각각, 그 픽쳐에 부가된 PTSEI의 CpbRemovalDelay 및 DpbOutputDelay로 한다.
픽쳐 복호ㆍ표시 시각 결정부(23)는, 상기의 복호 지연 CpbRemovalDelay에 기초하여, 각 픽쳐의 복호 시각을 결정하고, 그 복호 시각에, 픽쳐 복호부(24)에 대해 복호 지시를 낸다. 또한, 픽쳐 복호ㆍ표시 시각 결정부(23)는, 상기의 표시 지연 DpbOutputDelay에 기초하여, 각 픽쳐의 표시 시각을 결정하고, 그 표시 시각에, 프레임 메모리(25)에 대해, 표시 지시를 낸다.
픽쳐 복호부(24)는 복호 대상 픽쳐에 대해서 복호 지시를 수취하면, 프레임 메모리(25)에 저장된 참조 픽쳐를 사용해서 그 복호 대상 픽쳐를 복호한다. 그리고 픽쳐 복호부(24)는 복호한 픽쳐를 프레임 메모리(25)에 저장시킨다. 또한, 픽쳐 복호부(24)는 동화상 부호화 장치(1)의 부호화부가 준거하는 부호화 방식과 마찬가지의 부호화 방식에 준거하여, 복호 처리를 실행한다.
프레임 메모리(25)는 복호된 픽쳐를 저장한다. 또한 프레임 메모리(25)는 복호된 픽쳐를, 그 픽쳐보다도 이후에 복호되는 픽쳐의 참조 픽쳐로서 픽쳐 복호부(24)에 출력한다. 또한, 프레임 메모리(25)는 픽쳐 복호ㆍ표시 시각 결정부(23)로부터 수취한 표시 지시에 따라, 표시부(도시하지 않음)에 픽쳐를 출력한다.
도 9는, 제1 실시예에 의한 동화상 복호 장치에 의해 실행되는 동화상 복호 처리의 동작 플로우차트이다. 또한, 도 9에 도시되는 동작 플로우차트에 따라서, 동화상 복호 장치(2)는 복호 대상의 동화상 시퀀스 전체를 복호한다.
제어부(21)는 시퀀스 전체의 복호 처리 개시에 앞서서, 변수 flag를 초기화하고, 0으로 설정한다(스텝 S301). 변수 flag는 CpbRemovalDelay 및 DpbOutputDelay의 수정이 필요한 비BLA 픽쳐인지 여부를 나타내는 변수이다. 변수 flag가 '1'이면, CpbRemovalDelay 및 DpbOutputDelay의 수정이 필요하고, 변수 flag가 '0'이면, CpbRemovalDelay 및 DpbOutputDelay의 수정은 필요 없다.
다음에, 헤더 정보 해석부(22)는 복호 대상 픽쳐의 헤더 정보를 해석하고, 픽쳐 복호ㆍ표시 시각의 결정에 필요한 파라미터를, 픽쳐 복호ㆍ표시 시각 결정부(23)에 출력한다. 복호 대상의 픽쳐의 헤더 정보를 해석한다(스텝 S302).
픽쳐 복호ㆍ표시 시각 결정부(23)는 변수 flag가 '1'인지를 판정한다(스텝 S303).
변수 flag가 '1'인 경우(스텝 S303-"예"), 픽쳐 복호ㆍ표시 시각 결정부(23)는 비BLA 픽쳐인 복호 대상 픽쳐의 복호 지연 CpbRemovalDelay를, 복호 대상 픽쳐의 NumRemovedTfds 및 직전의 BLA 픽쳐의 NumRemovedTfds를 사용해서 수정한다(스텝 S304). 또한, 복호 대상 픽쳐의 표시 지연 DpbOutputDelay를, 복호 대상 픽쳐의 NumRemovedTfds를 사용해서 수정한다.
스텝 S304 이후, 혹은, 스텝 S303에서 변수 flag가 '0'인 경우(스텝 S303-"아니오"), 픽쳐 복호ㆍ표시 시각 결정부(23)는 복호 대상 픽쳐에 BPSEI가 부가되어 있는지 판정한다(스텝 S305).
복호 대상 픽쳐에 BPSEI가 부가되어 있는 경우(스텝 S305-"예"), 픽쳐 복호ㆍ표시 시각 결정부(23)는 복호 대상 픽쳐가 BLA 픽쳐인지 여부를 판정한다(스텝 S306). 복호 대상 픽쳐가 BLA 픽쳐가 아니면(스텝 S306-"아니오"), 픽쳐 복호ㆍ표시 시각 결정부(23)는 변수 flag를 0으로 리셋한다(스텝 S307).
한편, 복호 대상 픽쳐가 BLA 픽쳐이면(스텝 S306-"예"), 픽쳐 복호ㆍ표시 시각 결정부(23)는, 그 픽쳐의 복호 지연 CpbRemovalDelay 및 표시 지연 DpbOutputDelay를 수정하는 동시에, 변수 flag를 1로 설정한다(스텝 S308). 이 경우, 상기한 바와 같이, 픽쳐 복호ㆍ표시 시각 결정부(23)는 BLA 픽쳐의 복호 지연 CpbRemovalDelay를, 직전의 BPSEI가 부가된 픽쳐의 다음 픽쳐로부터 BLA 픽쳐까지의 각 픽쳐의 복호 간격의 총합으로 한다. 또한, 픽쳐 복호ㆍ표시 시각 결정부(23)는 BLA 픽쳐의 표시 지연 DpbOutputDelay를, 그 원래의 값으로부터 NumRemovedTfds를 감산한 값으로 한다.
스텝 S307 또는 S308 이후, 혹은, 스텝 S305에서, 복호 대상 픽쳐에 BPSEI가 부가되어 있지 않은 경우(스텝 S305-"아니오"), 제어부(21)는 부호화 동화상 데이터 내에 미복호의 픽쳐가 있는지 여부를 판정한다(스텝 S309). 미복호의 픽쳐가 있으면(스텝 S309-"예"), 제어부(21)는 처리를 스텝 S302로 이행시킨다. 그리고 복호 순번에서 다음 픽쳐를 복호 대상 픽쳐로서, 스텝 S302 이후의 처리가 반복된다.
한편, 미복호의 픽쳐가 없으면(스텝 S309-"아니오"), 제어부(21)는 동화상 복호 처리를 종료한다.
이상 설명해 온, NumRemovedTfds의 도출 방법, CpbRemovalDelay 및 DpbOutputDelay의 수정 방법의 구체예를, 도 10을 이용해서 설명한다.
결합점보다도 전방측에 결합되는 제1 동화상 부호화 데이터(1001)에 나타내어진 각 블록은, 각각, 하나의 픽쳐를 나타내고, 또한, 각 블록 내의 문자는, 도 2와 마찬가지로, 부호화 모드 및 동화상 부호화 장치에의 입력 순서를 나타낸다.
이 예에서는, 제1 동화상 부호화 데이터의 마지막 픽쳐 B11 직후에, 제2 동화상 부호화 데이터(1002)를 결합한다. 제2 동화상 부호화 데이터(1002)에 대해서도, 각 블록은, 각각, 하나의 픽쳐를 나타내고, 또한, 각 블록 내의 문자는 부호화 모드 및 동화상 부호화 장치에의 입력 순서를 나타낸다. 제2 동화상 부호화 데이터(1002)의 상측에 나타내어진 화살표는, 각각, 부호화되는 픽쳐 B4 내지 B7이 전방향 프레임 예측에서 참조하는 참조 픽쳐를 나타낸다. 또한, 제2 동화상 부호화 데이터(1002)의 하측에 나타내어진 화살표는, 각각, 부호화되는 픽쳐 B4 내지 B7이 후방향 프레임 예측에서 참조하는 참조 픽쳐를 나타낸다.
제2 동화상 부호화 데이터(1002)에 있어서, 픽쳐 B4, B2, B1, B3, B7은, 제2 동화상 부호화 데이터(1002)의 하측에 표기하도록, TFD 픽쳐이다. 픽쳐 B5 및 B7은 DLP 픽쳐이다.
제2 동화상 부호화 데이터(1002)의 하측에 나타내어진 블록 열(1003)은, 제2 동화상 부호화 데이터(1002)의 각 픽쳐에 부가되는 PTSEI에 포함되는 복호 지연 CpbRemovalDelay 및 표시 지연 DpbOutputDelay의 값을 나타낸다. 블록 열(1003) 중 상측의 각 블록에는, 각각, 그 블록 상에 위치하는 제2 동화상 부호화 데이터(1002)의 픽쳐의 복호 지연 CpbRemovalDelay의 값이 나타내어진다. 한편, 블록 열(1003) 중 하측의 각 블록에는, 각각, 그 블록 상에 위치하는 제2 동화상 부호화 데이터(1002)의 픽쳐의 표시 지연 DpbOutputDelay의 값이 나타내어진다.
블록 열(1003)의 하측에는, 제1 동화상 부호화 데이터(1001)와 제2 동화상 부호화 데이터(1002)가 결합된 결합 동화상 부호화 데이터(1004)가 나타내어져 있다. 이 예에서는, 결합 동화상 부호화 데이터(1004)에 있어서, 제2 동화상 부호화 데이터(1002) 중 TFD 픽쳐 B4, B2, B1, B3, B7은 삭제되어 있다.
블록 열(1004)의 하측에는, 결합 동화상 부호화 데이터(1004)의 NumRemovedfds(1005)가 나타내어진다. BLA 픽쳐인 I8의 NumRemovedfds에는, 복호 순서에서 I8 이후로 되는, 제거한 TFD 픽쳐(B4, B2, B1, B3, B5)의 복호 간격의 총합, 이 예에서는, I8 이후이고 또한 제거된 픽쳐의 필드 단위의 매수인 10이 저장된다. DLP 픽쳐인 B6의 NumRemovedfds에는, 복호 순서에서 B6 이후로 되는, 제거한 TFD 픽쳐(B5)의 복호 간격의 총합, 이 예에서는, B6 이후이고 또한 제거된 픽쳐의 필드 단위의 매수인 2가 저장된다. 픽쳐 B7 이후는, 복호 순서에서 이후로 되는, 제거한 TFD 픽쳐는 없으므로, NumRemovedfds는 0인 상태이다.
결합 동화상 부호화 데이터(1004)의 NumRemovedfds(1005)의 하측의 블록 열(1006)은 NumRemovedfds에 기초하여 수정한, 결합 동화상 부호화 데이터(1004)의 복호 지연 CpbRemovalDelay 및 표시 지연 DpbOutputDelay의 값을 나타낸다. 블록 열(1006)의 상측의 각 블록은, 그 위에 나타내어진 픽쳐에 대한 수정 후의 복호 지연 CpbRemovalDelay를 나타내고, 블록 열(1006)의 하측의 각 블록은, 그 위에 나타내어진 픽쳐에 대한 수정 후의 표시 지연 DpbOutputDelay를 나타낸다.
BLA 픽쳐 I8에 대해서는, 표시 지연 DpbOutputDelay의 원래의 값 20으로부터, NumRemovedfds의 값 10을 감산한 10이, 수정 후의 표시 지연 DpbOutputDelay가 된다. 이에 의해, 수정 후의 픽쳐 I8의 표시 지연 DpbOutputDelay도, 수정 전의 그 값과 마찬가지로, 픽쳐 I8 이후로 가장 리오더링수가 많은 픽쳐 B9의 표시 시각을 기준으로 하였을 때의, 픽쳐 I8의 복호 시각으로부터 표시 시각까지의 차로 나타낼 수 있다.
또한, DLP 픽쳐 B6에 대해서는, 복호 지연 CpbRemovalDelay의 원래의 값 10으로부터 픽쳐 I8의 NumRemovedfds(=10)과 픽쳐 B6의 NumRemovedfds(=2)와의 차분 8을 뺀 2가 수정 후의 복호 지연 CpbRemovalDelay가 된다. 또한, 픽쳐 B6의 표시 지연 DpbOutputDelay의 원래의 값 6으로부터 픽쳐 B6의 NumRemovedfds(2)를 뺀 4가, 수정 후의 표시 지연 DpbOutputDelay가 된다. 픽쳐 B7 이후의 픽쳐에 대해서는, 각각, NumRemovedfds의 값이 0이므로, 복호 지연 CpbRemovalDelay의 원래의 값으로부터 픽쳐 I8의 NumRemovedfds를 뺀 값이, 수정 후의 복호 지연 CpbRemovalDelay가 된다. 한편, 픽쳐 B7 이후의 픽쳐에 대한 표시 지연 DpbOutputDelay는 변화하지 않는다.
이상으로 설명해 온 바와 같이, 이 실시 형태에 따른 동화상 부호화 장치는, 2개 이상의 부호화 동화상 데이터를 복호하지 않고 결합한 경우에, 그 결합에 의해 삭제된 픽쳐의 매수에 의해 결정되는 복호 지연 및 표시 지연의 수정용의 파라미터를 부호화 동화상 데이터 내에 기록해 두는 것만으로, 부호화시에 결정한 복호 지연 및 표시 지연의 파라미터값을 수정하지 않아도 좋다. 그리고 이 실시 형태에 따른 동화상 복호 장치는, 부호화 동화상 데이터가 결합된 경우의 복호 지연 및 표시 지연의 수정용의 파라미터를 이용해서, 각 픽쳐의 복호 지연 및 표시 지연을 수정할 수 있으므로, 적절한 타이밍에서 각 픽쳐를 복호 및 표시할 수 있다.
다음으로, 제2 실시 형태에 대해서 설명한다. 제2 실시 형태에서는, 제1 실시 형태와 비교하여, 부호화 동화상 데이터의 구조가 상이하다.
도 11을 참조하면서, 제2 실시 형태에 있어서의, 부호화 동화상 데이터의 구조를 설명한다. 도 4에 도시된 제1 실시 형태에 따른 부호화된 픽쳐의 구조와 마찬가지로, 하나의 픽쳐의 데이터 구조(1100)는 6종류의 NAL unit(1110 내지 1115)를 포함한다. 이 중, BPSEI(1113) 및 PTSEI(1114)가, 도 4에 도시된 BPSEI(413) 및 PTSEI(414)와 서로 다르다. 한편, DELIM(1110), SPS(1111), PPS(1112), SLICE(1115) 및 NUH(1120)는, 각각, 도 4에 도시된 DELIM(410), SPS(411), PPS(412), SLICE(415) 및 NUH(420)와 동등하다.
BPSEI(1113)는, 결합시에 있어서, BLA 픽쳐로부터 다음 CRA 픽쳐까지의 사이에 위치하는 TFD 픽쳐 및 DLP 픽쳐 중, 삭제되지 않은 픽쳐의 매수에 2를 가산한 수인 변수 m에 1을 가한 수를 나타내는 NumEntries 필드를 포함한다. 또한, BPSEI(1113)은, NumEntries개의 AltCpbRemovalDelayOffset 필드 및 AltDpbOutputDelayOffset 필드를 포함한다. 또한, NumEntries 필드, AltCpbRemovalDelayOffset 필드 및 AltDpbOutputDelayOffset 필드가, 복호 지연 및 표시 지연을 보정하기 위한 보정 정보의 다른 일례이다.
한편, PTSEI(1140)는 PTSEI(440)와 서로 다르고, NumRemovedTfds 필드를 포함하지 않는다.
NumEntries 필드가 0인 경우, BPSEI가 부가된 픽쳐 및 이후의 픽쳐(다음의 BPSEI 부가 픽쳐까지)에 있어서, CpbRemovalDelay 및 DpbOutputDelay의 값을 동화상 복호 장치는 변경하지 않아도 좋다. 한편, NumEntries가 제로가 아닌 경우, 동화상 복호 장치는 BPSEI가 부가된 픽쳐로부터 세어서 복호 순서에서 k번째의 픽쳐의 복호 지연 CpbRemovalDelay의 수정값을, 복호 지연 CpbRemovalDelay의 원래의 값으로부터 AltCpbRemovalDelayOffset[k]를 감산함으로써 계산한다. 마찬가지로, 동화상 복호 장치는 표시 지연 DpbOutputDelay의 수정값을, 표시 지연 DpbOutputDelay의 원래의 값으로부터 AltDpbOutputDelayOffset[k]를 감산함으로써 계산한다.
상기와 같이, 제1 실시 형태와 비교하여, CpbRemovalDelay 필드 및 DpbOutputDelay 필드의 보정값을 저장하는 SEI가 상이하다. 그 때문에, 제2 실시 형태에 따른 동화상 부호화 장치는, 제1 실시 형태에 따른 동화상 부호화 장치와 비교하여, 결합점 식별 정보 처리부(14)의 처리가 상이하다. 따라서 이하에서는, 결합점 식별 정보 처리부(14)의 처리에 대해서 설명한다.
결합점 식별 정보 처리부(14)는, 도 7의 동화상 편집 처리의 동작 플로우차트에 기초하여 계산되는 변수 m에 1을 가산한 값을, NumEntries 필드에 저장한다. 또한, 결합점 식별 정보 처리부(14)는, k번째 (k= [0, m-1])번째의 AltCpbRemovalDelayOffset 필드에, L[0]-L[k]의 값을 넣는다. 또한 k번째의 AltDpbOutputDelayOffset 필드에, L[k]의 값을 넣는다.
다음으로, 제2 실시 형태에 따른 동화상 복호 장치의 동작에 대해서 설명한다. 제2 실시 형태에 따른 동화상 복호 장치도, 제1 실시 형태에 따른 동화상 복호 장치와 마찬가지의 구성을 갖는다. 단, 제1 실시 형태와 비교하여, 제2 실시 형태에 따른 동화상 복호 장치에서는, 픽쳐 복호ㆍ표시 시각 결정부(23)의 처리가 상이하다. 따라서 이하에서는, 픽쳐 복호ㆍ표시 시각 결정부(23)의 처리에 대해서 설명한다.
복호 대상 픽쳐 직전의 BPSEI 부가 픽쳐에 있어서, BPSEI의 NumEntries 필드가 제로가 아닌 경우에만, 픽쳐 복호ㆍ표시 시각 결정부(23)는 복호 대상 픽쳐의 PTSEI의 복호 지연 CpbRemovalDelay 및 표시 지연 DpbOutputDelay의 값을 이하와 같이 보정한다.
직전의 BPSEI 부가 픽쳐(이 경우는 BLA 픽쳐)로부터, 복호 순서를 k(k=0, 1, 2, …)로 한다. k가 NumEntries와 동일하거나 큰 경우, 픽쳐 복호ㆍ표시 시각 결정부(23)는, 그 k번째의 픽쳐의 복호 지연 CpbRemovalDelay의 원래의 값으로부터, AltCpbRemovalDelayOffset[NumEntries-1]의 값을 뺀 값을, 수정 후의 CpbRemovalDelay의 값으로 한다. 한편, k가 NumEntries보다도 작은 경우, 픽쳐 복호ㆍ표시 시각 결정부(23)는 복호 지연 CpbRemovalDelay의 원래의 값으로부터, AltCpbRemovalDelayOffset[k]의 값을 뺀 값을, k번째의 픽쳐에 대한 수정 후의 CpbRemovalDelay값으로 하고, 표시 지연 DpbRemovalDelay의 원래의 값으로부터 AltDpbRemovalDelayOffset값을 뺀 값을, 수정 후의 DpbOutputDelay의 값으로 한다.
도 12는, 상기의 어느 하나의 실시 형태 또는 그 변형예에 의한 동화상 부호화 장치 또는 동화상 복호 장치의 각 부의 기능을 실현하는 컴퓨터 프로그램이 동작함으로써, 동화상 부호화 장치 또는 동화상 복호 장치로서 동작하는 컴퓨터의 구성도이다.
컴퓨터(100)는 유저 인터페이스부(101)와, 통신 인터페이스부(102)와, 기억부(103)와, 기억 매체 액세스 장치(104)와, 프로세서(105)를 갖는다. 프로세서(105)는 유저 인터페이스부(101), 통신 인터페이스부(102), 기억부(103) 및 기억 매체 액세스 장치(104)와, 예를 들어, 버스를 통해서 접속된다.
유저 인터페이스부(101)는, 예를 들어, 키보드와 마우스 등의 입력 장치와, 액정 디스플레이 등의 표시 장치를 갖는다. 또는, 유저 인터페이스부(101)는 터치 패널 디스플레이 등의, 입력 장치와 표시 장치가 일체화된 장치를 가져도 좋다. 그리고 유저 인터페이스부(101)는, 예를 들어, 유저의 조작에 따라서, 부호화하는 동화상 데이터, 편집하는 부호화 동화상 데이터 혹은 복호하는 부호화 동화상 데이터를 선택하는 조작 신호를 프로세서(105)에 출력한다. 또한 유저 인터페이스부(101)는 프로세서(105)로부터 수취한, 복호된 동화상 데이터를 표시해도 좋다.
통신 인터페이스부(102)는 컴퓨터(100)를, 동화상 데이터를 생성하는 장치, 예를 들어, 비디오 카메라와 접속하기 위한 통신 인터페이스 및 그 제어 회로를 가져도 좋다. 그와 같은 통신 인터페이스는, 예를 들어, Universal Serial Bus(유니버설·시리얼ㆍ버스, USB)로 할 수 있다.
또한, 통신 인터페이스부(102)는 이더넷(등록 상표) 등의 통신 규격에 따른 통신 네트워크에 접속하기 위한 통신 인터페이스 및 그 제어 회로를 가져도 좋다.
이 경우에는, 통신 인터페이스부(102)는 통신 네트워크에 접속된 다른 기기로부터, 부호화하는 동화상 데이터, 편집하는 부호화 동화상 데이터 또는 복호하는 부호화 동화상 데이터를 취득하고, 그들의 데이터를 프로세서(105)에 전달한다. 또한 통신 인터페이스부(102)는 프로세서(105)로부터 수취한, 부호화 동화상 데이터, 결합 부호화 동화상 데이터 또는 복호된 동화상 데이터를 통신 네트워크를 통해서 다른 기기에 출력해도 좋다.
기억부(103)는, 예를 들어, 읽기쓰기 가능한 반도체 메모리와 판독 전용의 반도체 메모리를 갖는다. 그리고 기억부(103)는 프로세서(105)상에서 실행되는, 동화상 부호화 처리 또는 동화상 복호 처리를 실행하기 위한 컴퓨터 프로그램 및 이들 처리의 도중 또는 결과적으로 생성되는 데이터를 기억한다.
기억 매체 액세스 장치(104)는, 예를 들어, 자기 디스크, 반도체 메모리 카드 및 광 기억 매체 등의 기억 매체(106)에 액세스하는 장치이다. 기억 매체 액세스 장치(104)는, 예를 들어, 기억 매체(106)에 기억된 프로세서(105)상에서 실행되는, 동화상 부호화 처리 또는 동화상 복호 처리용의 컴퓨터 프로그램을 읽어들이고, 프로세서(105)에 전달한다.
프로세서(105)는, 상기의 각 실시 형태 중 어느 하나 또는 변형예에 의한 동화상 부호화 처리용 컴퓨터 프로그램을 실행함으로써, 동화상 데이터를 부호화한다. 혹은, 프로세서(105)는 2개의 부호화 동화상 데이터를 결합한 결합 부호화 동화상 데이터를 생성한다. 그리고 프로세서(105)는 생성된 결합 부호화 동화상 데이터를 기억부(103)에 보존하고, 또는 통신 인터페이스부(102)를 통해서 다른 기기에 출력한다. 또한 프로세서(105)는, 상기의 각 실시 형태 중 어느 하나 또는 변형예에 의한 동화상 복호 처리용 컴퓨터 프로그램을 실행함으로써, 부호화 동화상 데이터를 복호한다. 그리고 프로세서(105)는 복호된 동화상 데이터를 기억부(103)에 보존하고, 유저 인터페이스부(101)에 표시하고, 또는 통신 인터페이스부(102)를 통해서 다른 기기에 출력한다.
컴퓨터상에서 실행됨으로써, 상술한 실시 형태 또는 그 변형예에 의한 동화상 부호화 장치 및 동화상 복호 장치의 각 부의 기능을 실현하는 컴퓨터 프로그램은, 반도체 메모리 또는 광 기록 매체 등의 기록 매체에 기록되어 배포되어도 좋다. 단, 그와 같은 기록 매체에는, 반송파는 포함되지 않는다.
상술한 실시 형태 또는 그 변형예에 의한, 동화상 부호화 장치 및 동화상 복호 장치는, 다양한 용도로 이용된다. 예를 들어, 이 동화상 부호화 장치 및 동화상 복호 장치는 비디오 카메라, 영상 송신 장치, 영상 수신 장치, 영상 전화 시스템, 컴퓨터 혹은 휴대 전화기에 내장된다.
여기에 예를 든 모든 예 및 특정한 용어는, 독자가, 본 발명 및 상기 기술의 촉진에 대한 본 발명자에 의해 기여된 개념을 이해하는 것을 돕는, 교시적인 목적에서 의도된 것이고, 본 발명의 우위성 및 열등성을 나타내는 것에 관한, 본 명세서의 어떠한 예의 구성, 그와 같은 특정한 예 및 조건에 한정되지 않도록 해석되어야 할 것이다. 본 발명의 실시 형태는 상세하게 설명되어 있지만, 본 발명의 정신 및 범위로부터 벗어나는 일 없이, 다양한 변경, 치환 및 수정을 이에 추가하는 것이 가능한 것을 이해받고자 한다.
1 : 동화상 부호화 장치
11 : 제어부
12 : 부호화 제어부
13 : 픽쳐 부호화부
14 : 결합점 식별 정보 처리부
15 : 데이터 결합부
2 : 동화상 복호 장치
21 : 제어부
22 : 헤더 정보 해석부
23 : 픽쳐 복호ㆍ표시 시각 결정부
24 : 픽쳐 복호부
25 : 프레임 메모리

Claims (4)

  1. 프레임간 예측 방식에 의해 부호화된 동화상 데이터를 복호하는 동화상 복호 방법으로서,
    부호화된 동화상 데이터가, 제1 부호화 동화상 데이터 이후에 제2 부호화 동화상 데이터가 결합됨으로써 생성된 것을 나타내는 정보와, 그 제1 부호화 동화상 데이터와 그 제2 부호화 동화상 데이터가 결합된 결합점보다 이후의 그 제2 부호화 동화상 데이터의 선두의 부호화 픽쳐보다도 부호화 순서가 이후인 1 이상의 부호화 픽쳐가 제거된 것을 나타내는 정보를 사용해서, 상기 선두의 부호화 픽쳐에 후속하는 픽쳐의 복호 지연을 보정 정보에 기초하여 보정함과 함께, 상기 선두의 부호화 픽쳐 및 상기 선두의 부호화 픽쳐에 후속하는 픽쳐의 표시 지연을 상기 보정 정보에 기초하여 보정하는 것을 포함하고,
    상기 보정 정보는, 상기 선두의 부호화 픽쳐보다도 복호 순서에서 이후이고 또한 상기 제2 부호화 동화상 데이터로부터 제거된 픽쳐의 각각에 대한, 그 제거된 픽쳐와 복호 순서에서 직전인 픽쳐와의 복호 간격에 기초하여 산출된 값을 갖는 동화상 복호 방법.
  2. 제1항에 있어서,
    상기 보정 정보는, 상기 선두의 부호화 픽쳐와, 상기 선두의 부호화 픽쳐보다도 복호 시각이 늦고, 또한 표시 시각이 빠른 제1 부호화 픽쳐에 대해서 요구되고, 상기 보정 정보의 값은, 상기 부호화된 동화상 데이터에 있어서, 그 보정 정보가 요구되는 픽쳐보다도 복호 순서가 이후이고, 또한 상기 제2 부호화 동화상 데이터로부터 제거된 픽쳐의 각각에 대한, 그 제거된 픽쳐와 복호 순서가 직전인 픽쳐와의 복호 간격의 합계에 상당하는 값인 동화상 복호 방법.
  3. 제2항에 있어서,
    상기 선두의 부호화 픽쳐 및 상기 선두의 부호화 픽쳐에 후속하는 픽쳐의 표시 지연을 보정하는 것은, 상기 제2 부호화 동화상 데이터가 상기 제1 부호화 동화상 데이터와 결합되기 전에 설정되는 상기 선두의 부호화 픽쳐의 표시 지연의 값으로부터, 그 선두의 부호화 픽쳐에 대한 상기 보정 정보의 값을 감함으로써, 상기 선두의 부호화 픽쳐의 표시 지연의 보정값을 구하는 것, 및 상기 제2 부호화 동화상 데이터가 상기 제1 부호화 동화상 데이터와 결합되기 전에 설정되는 상기 제1 부호화 픽쳐의 표시 지연의 값으로부터, 그 제1 부호화 픽쳐에 대한 상기 보정 정보의 값을 감함으로써, 상기 제1 부호화 픽쳐의 표시 지연의 보정값을 구하는 것을 포함하는 동화상 복호 방법.
  4. 제3항에 있어서,
    상기 선두의 부호화 픽쳐에 후속하는 픽쳐의 복호 지연을 보정하는 것은, 상기 제2 부호화 동화상 데이터가 상기 제1 부호화 동화상 데이터와 결합되기 전에 설정되는 상기 제1 부호화 픽쳐의 복호 지연의 값으로부터, 상기 선두의 부호화 픽쳐에 대한 상기 보정 정보의 값과 상기 제1 부호화 픽쳐의 상기 보정 정보의 값과의 차를 감함으로써, 상기 제1 부호화 픽쳐의 복호 지연의 보정값을 구하는 것, 및
    상기 선두의 부호화 픽쳐의 다음에 다른 픽쳐를 참조하지 않고 부호화된 픽쳐보다도 복호 순서가 이전이고, 또한, 상기 제1 부호화 픽쳐에 후속하는, 상기 선두의 부호화 픽쳐보다도 이후인 픽쳐만을 참조하는 제2 부호화 픽쳐에 대해서 상기 제2 부호화 동화상 데이터가 상기 제1 부호화 동화상 데이터와 결합되기 전에 설정되는 복호 지연의 값으로부터, 상기 선두의 부호화 픽쳐에 대한 상기 보정 정보의 값을 감함으로써, 상기 제2 부호화 픽쳐의 복호 지연의 보정값을 구하는 것을 포함하는 동화상 복호 방법.
KR1020150149700A 2012-10-01 2015-10-27 동화상 복호 방법 KR101612236B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012219663A JP6094126B2 (ja) 2012-10-01 2012-10-01 動画像復号装置
JPJP-P-2012-219663 2012-10-01

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020130115612A Division KR101612162B1 (ko) 2012-10-01 2013-09-27 동화상 부호화 장치 및 기록 매체

Publications (2)

Publication Number Publication Date
KR20150124439A KR20150124439A (ko) 2015-11-05
KR101612236B1 true KR101612236B1 (ko) 2016-04-26

Family

ID=49212655

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020130115612A KR101612162B1 (ko) 2012-10-01 2013-09-27 동화상 부호화 장치 및 기록 매체
KR1020150149695A KR101612234B1 (ko) 2012-10-01 2015-10-27 동화상 복호 장치 및 기록 매체
KR1020150149700A KR101612236B1 (ko) 2012-10-01 2015-10-27 동화상 복호 방법
KR1020150149699A KR101612235B1 (ko) 2012-10-01 2015-10-27 동화상 부호화 방법
KR1020150149706A KR101612237B1 (ko) 2012-10-01 2015-10-27 동화상 데이터를 부호화 및 복호하는 시스템

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020130115612A KR101612162B1 (ko) 2012-10-01 2013-09-27 동화상 부호화 장치 및 기록 매체
KR1020150149695A KR101612234B1 (ko) 2012-10-01 2015-10-27 동화상 복호 장치 및 기록 매체

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020150149699A KR101612235B1 (ko) 2012-10-01 2015-10-27 동화상 부호화 방법
KR1020150149706A KR101612237B1 (ko) 2012-10-01 2015-10-27 동화상 데이터를 부호화 및 복호하는 시스템

Country Status (9)

Country Link
US (6) US20140092966A1 (ko)
EP (1) EP2713620B1 (ko)
JP (1) JP6094126B2 (ko)
KR (5) KR101612162B1 (ko)
CN (5) CN106851266B (ko)
BR (4) BR122020018232B1 (ko)
CA (5) CA2910306C (ko)
MX (5) MX344755B (ko)
TW (1) TWI488471B (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9911460B2 (en) * 2014-03-24 2018-03-06 Microsoft Technology Licensing, Llc Fast and smart video trimming at frame accuracy on generic platform
CN113038188B (zh) * 2015-03-31 2023-06-06 松下电器（美国）知识产权公司 发送方法、接收方法、发送装置以及接收装置
CN106331835B (zh) * 2015-06-26 2019-06-07 成都鼎桥通信技术有限公司 一种动态调整数据接收缓存的方法及视频解码设备
KR102477964B1 (ko) * 2015-10-12 2022-12-16 삼성전자주식회사 미디어 전송 시스템에서 비디오 비트스트림의 임의 접근 및 재생을 가능하게 하는 기법
CN110636306B (zh) * 2018-06-22 2021-07-20 杭州海康威视数字技术股份有限公司 一种图像显示方法、解码设备及电视墙系统
JP7210944B2 (ja) * 2018-09-05 2023-01-24 富士通株式会社 映像符号化装置、映像符号化方法および映像符号化プログラム
CN111479111B (zh) * 2019-01-23 2024-04-09 华为技术有限公司 图像显示顺序的确定方法、装置和视频编解码设备
WO2020252270A1 (en) * 2019-06-13 2020-12-17 Beijing Dajia Internet Information Technology Co., Ltd. Methods and system of subblock transform for video coding
CN114302173B (zh) * 2021-12-31 2022-07-15 广东工业大学 一种平面编码靶标的二维图像拼接系统及其拼接方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004505513A (ja) 2000-07-25 2004-02-19 エイジルビジョン・エル・エル・シー ネットワークフィードの固定タイムスロットに圧縮されたローカルビデオセグメントをスプライシングすること

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5917830A (en) * 1996-10-18 1999-06-29 General Instrument Corporation Splicing compressed packetized digital video streams
US6154496A (en) * 1997-11-25 2000-11-28 Philips Electronics N.A. Corp. Video buffer for seamless splicing of MPEG streams
JPH11261958A (ja) * 1998-03-09 1999-09-24 Sony Corp 映像編集装置及び映像編集方法
US7031348B1 (en) * 1998-04-04 2006-04-18 Optibase, Ltd. Apparatus and method of splicing digital video streams
US6380991B1 (en) * 1998-11-19 2002-04-30 Tektronix, Inc. Method for splicing MPEG-2 transport streams
US20060093045A1 (en) 1999-06-29 2006-05-04 Roger Anderson Method and apparatus for splicing
FI114527B (fi) * 2002-01-23 2004-10-29 Nokia Corp Kuvakehysten ryhmittely videokoodauksessa
CN100401782C (zh) * 2002-09-05 2008-07-09 新加坡科技研究局 控制视频序列速率的方法和装置及视频编码装置
JP4276420B2 (ja) 2002-11-05 2009-06-10 三菱電機株式会社 動き補償方法
US7266147B2 (en) * 2003-03-31 2007-09-04 Sharp Laboratories Of America, Inc. Hypothetical reference decoder
CN101835046B (zh) * 2004-08-31 2013-01-23 松下电器产业株式会社 运动图像编码方法及装置
TWI285055B (en) * 2004-09-30 2007-08-01 Nippon Telegraph & Telephone Method for progressive lossless video coding, method for progressive lossless video decoding, progressive lossless video coding apparatus, progressive lossless video decoding apparatus, and recording media of progressive lossless video coding program...
US7447978B2 (en) * 2004-11-16 2008-11-04 Nokia Corporation Buffering packets of a media stream
US20060215755A1 (en) * 2005-03-24 2006-09-28 Mediatek Incorporation Video encoding methods and systems for battery-powered apparatus
US7724305B2 (en) * 2006-03-21 2010-05-25 Mediatek Inc. Video data conversion method and system for multiple receivers
JP2008109637A (ja) * 2006-09-25 2008-05-08 Toshiba Corp 動画像符号化装置及びその方法
TWI339073B (en) * 2006-11-13 2011-03-11 Univ Nat Chiao Tung Video coding method using image data skipping
AR064274A1 (es) * 2006-12-14 2009-03-25 Panasonic Corp Metodo de codificacion de imagenes en movimiento, dispositivo de codificacion de imagenes en movimiento, metodo de grabacion de imagenes en movimiento, medio de grabacion, metodo de reproduccion de imagenes en movimiento, dispositivo de reproduccion de imagenes en movimiento, y sistema de reproducci
CN101606389B (zh) * 2007-01-08 2013-06-12 汤姆森特许公司 用于视频流拼接的方法及装置
EP2213097A2 (en) 2007-10-16 2010-08-04 Cisco Technology, Inc. Conveyance of concatenation properties and picture orderness in a video stream
US8904426B2 (en) * 2008-06-30 2014-12-02 Rgb Networks, Inc. Preconditioning ad content for digital program insertion
US8781003B2 (en) * 2008-07-17 2014-07-15 Cisco Technology, Inc. Splicing of encrypted video/audio content
US8170401B2 (en) * 2008-11-25 2012-05-01 Cisco Technology, Inc. Optimizing ad insertion by removing low information frames
KR101280700B1 (ko) * 2009-02-27 2013-07-01 후지쯔 가부시끼가이샤 동화상 부호화 장치, 동화상 부호화 방법 및 동화상 부호화용 컴퓨터 프로그램
JP5072893B2 (ja) * 2009-03-25 2012-11-14 株式会社東芝 画像符号化方法および画像復号化方法
JP5227875B2 (ja) * 2009-04-06 2013-07-03 株式会社日立製作所 動画像符号化装置
CN101742321B (zh) * 2010-01-12 2011-07-27 浙江大学 基于图层分解的视频编、解码方法及装置
US8918533B2 (en) * 2010-07-13 2014-12-23 Qualcomm Incorporated Video switching for streaming video data
US20130170561A1 (en) * 2011-07-05 2013-07-04 Nokia Corporation Method and apparatus for video coding and decoding
US9532055B2 (en) * 2012-04-16 2016-12-27 Microsoft Technology Licensing, Llc Constraints and unit types to simplify video random access
US9979959B2 (en) * 2012-04-20 2018-05-22 Qualcomm Incorporated Video coding with enhanced support for stream adaptation and splicing
US9516308B2 (en) * 2012-04-27 2016-12-06 Qualcomm Incorporated Parameter set updates in video coding
JP5891975B2 (ja) * 2012-07-02 2016-03-23 富士通株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004505513A (ja) 2000-07-25 2004-02-19 エイジルビジョン・エル・エル・シー ネットワークフィードの固定タイムスロットに圧縮されたローカルビデオセグメントをスプライシングすること

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
K. Kazui, et al. AHG9: New high-level syntax for simple HEVC stream editing. JCT-VC 10th Meeting. JCTVC-J0137. 11-20 Jul. 2012, pp.1-11
K. Kazui, et al. AHG9: Simple HEVC stream editing. JCT-VC of ITU-T and ISO/IEC. 11th Meeting. JCTVC-K0140 Ver.1 Oct. 2, 2012, pp.1-13

Also Published As

Publication number Publication date
BR122020018231B1 (pt) 2023-01-10
MX344754B (es) 2017-01-05
EP2713620A2 (en) 2014-04-02
JP6094126B2 (ja) 2017-03-15
CA2910309A1 (en) 2014-04-01
CA2910306A1 (en) 2014-04-01
BR102013025344A2 (pt) 2014-10-14
CN103716621B (zh) 2017-11-21
CA2910306C (en) 2018-01-16
MX344446B (es) 2016-12-15
CN106878708A (zh) 2017-06-20
KR20150126337A (ko) 2015-11-11
TWI488471B (zh) 2015-06-11
CN103716621A (zh) 2014-04-09
JP2014072854A (ja) 2014-04-21
KR101612237B1 (ko) 2016-04-12
US20160219296A1 (en) 2016-07-28
BR102013025344B1 (pt) 2023-01-10
CA2910488A1 (en) 2014-04-01
KR101612234B1 (ko) 2016-04-26
KR101612162B1 (ko) 2016-04-12
EP2713620B1 (en) 2019-07-03
KR20140043681A (ko) 2014-04-10
KR20150124439A (ko) 2015-11-05
CA2910432A1 (en) 2014-04-01
MX2013011346A (es) 2014-04-28
MX344753B (es) 2017-01-05
KR20150124438A (ko) 2015-11-05
US20160156920A1 (en) 2016-06-02
US20140092966A1 (en) 2014-04-03
US20200177907A1 (en) 2020-06-04
KR101612235B1 (ko) 2016-04-12
US20160156921A1 (en) 2016-06-02
CN107071402A (zh) 2017-08-18
BR122020018232B1 (pt) 2023-01-10
US20160156922A1 (en) 2016-06-02
CA2828843C (en) 2017-10-03
KR20150124440A (ko) 2015-11-05
CA2828843A1 (en) 2014-04-01
CN106878708B (zh) 2019-10-18
CN106851266A (zh) 2017-06-13
CN107105277B (zh) 2020-03-06
TW201415900A (zh) 2014-04-16
US10582208B2 (en) 2020-03-03
MX344749B (es) 2017-01-05
CN107105277A (zh) 2017-08-29
CA2910488C (en) 2018-05-01
MX344755B (es) 2017-01-05
CN106851266B (zh) 2019-06-28
EP2713620A3 (en) 2014-09-03
BR122020018234B1 (pt) 2023-01-17

Similar Documents

Publication Publication Date Title
KR101612236B1 (ko) 동화상 복호 방법
KR101878537B1 (ko) 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 방법 및 동화상 복호 방법
JP6399189B2 (ja) 動画像符号化方法
JP2014011745A (ja) 動画像符号化装置及び動画像符号化方法ならびに動画像符号化用コンピュータプログラム
JP6237831B2 (ja) 動画像復号用コンピュータプログラム
JP6237830B2 (ja) 動画像復号方法
JP6229759B2 (ja) 動画像復号方法
JP6202141B2 (ja) 動画像符号化復号システム
JP6229758B2 (ja) 動画像符号化方法
JP6202140B2 (ja) 動画像符号化装置
JP6237829B2 (ja) 動画像符号化用コンピュータプログラム
JP6119891B2 (ja) 動画像符号化方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant