KR100583552B1 - 비디오 인코딩 방법, 비디오 디코딩 방법, 비디오 인코딩장치, 비디오 디코딩 장치, 비디오 인코딩 프로그램, 및비디오 디코딩 프로그램 - Google Patents

비디오 인코딩 방법, 비디오 디코딩 방법, 비디오 인코딩장치, 비디오 디코딩 장치, 비디오 인코딩 프로그램, 및비디오 디코딩 프로그램 Download PDF

Info

Publication number
KR100583552B1
KR100583552B1 KR20030070853A KR20030070853A KR100583552B1 KR 100583552 B1 KR100583552 B1 KR 100583552B1 KR 20030070853 A KR20030070853 A KR 20030070853A KR 20030070853 A KR20030070853 A KR 20030070853A KR 100583552 B1 KR100583552 B1 KR 100583552B1
Authority
KR
South Korea
Prior art keywords
image
frame
encoding
video
storage means
Prior art date
Application number
KR20030070853A
Other languages
English (en)
Other versions
KR20040033275A (ko
Inventor
아다치사토루
분초옹셍
카토사다아쯔
에토흐미노루
탄티오우켕
Original Assignee
가부시키가이샤 엔티티 도코모
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 엔티티 도코모 filed Critical 가부시키가이샤 엔티티 도코모
Publication of KR20040033275A publication Critical patent/KR20040033275A/ko
Application granted granted Critical
Publication of KR100583552B1 publication Critical patent/KR100583552B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Processing Or Creating Images (AREA)

Abstract

비디오 처리 시스템(100)에는 비디오 인코딩 장치(10) 및 비디오 디코딩 장치(20)가 제공된다. 비디오 인코딩 장치(10)는 시간적으로 다음의 프레임으로부터 역방향 프레임간 예측을 구현하고 상기 시간적으로 다음의 프레임의 디코딩된 이미지의 사용을 제거하도록 하는 옵션이 선택되었음을 나타내는 정보를 출력한다. 비디오 디코딩 장치(20)는 상기 시간적으로 다음의 프레임의 디코딩된 이미지의 사용을 제거하는 정보의 입력과 함께, 상기 정보에 기초하여 프레임의 디코딩된 이미지의 사용을 제거한다.
역방향 프레임간 예측, 플래그, 디코딩, 인코딩, 이미지

Description

비디오 인코딩 방법, 비디오 디코딩 방법, 비디오 인코딩 장치, 비디오 디코딩 장치, 비디오 인코딩 프로그램, 및 비디오 디코딩 프로그램{Video encoding method, video decoding method, video encoding apparatus, video decoding apparatus, video encoding program, and video decoding program}
도 1은 프레임간 예측에서 순방향 예측과 역방향 예측을 설명한 도면.
도 2a는 현재 프레임이 두 개의 프레임들을 사용하는 쌍방향 예측에 의해 디코딩되는 예를 도시한 도면.
도 2b는 시간적으로 다음의 참조 프레임 및 현재 프레임의 디코딩 시간들의 순서가 그것들 각각의 디코딩된 이미지들의 출력 시간들의 순서와 반대인 예를 도시한 도면.
도 3은 복수의 참조 프레임들을 사용하여 순방향 예측과 역방향 예측을 설명한 도면.
도 4a는 미리 결정된 참조 프레임들의 최대 수까지의 범위에서 복수의 참조 프레임들의 프레임간 예측이 실행되는 예를 도시한 도면.
도 4b는 복수의 시간적으로 다음의 참조 프레임들 및 현재 프레임의 디코딩 시간들의 순서가 그것들 각각의 디코딩된 이미지들의 출력 시간들의 순서와 반대인 예를 도시한 도면.
도 5는 프레임 버퍼에서 유지되는 프레임들이 현재 프레임 후 역방향 예측에 사용되지 않는 경우에 예측 구조를 도시한 도면.
도 6a는 비디오 디코딩 장치의 구성을 개략적으로 도시한 도면.
도 6b는 프레임 버퍼의 구성을 개략적으로 도시한 도면.
도 7a는 인코딩된 데이터로 구성되는 전환 전의 동화상의 예를 도시하는 도면.
도 7b는 인코딩된 데이터로 구성되는 전환 후의 동화상을 도시한 도면.
도 8은 본 발명에 따른 비디오 처리 시스템의 기능적 구성을 도시한 블록도.
도 9는 본 발명에 따른 비디오 처리 프로그램의 구성을 도시한 도면.
도 10은 본 발명에 따른 비디오 인코딩 장치의 구성을 도시한 블록도.
도 11은 제어기가 no_output_of_prior_pics_flag를 결정하는 처리를 설명한 흐름도.
도 12는 본 발명에 따른 비디오 디코딩 장치의 구성을 도시한 블록도.
*도면의 주요부분에 대한 부호의 설명*
100 : 비디오 처리 시스템 10 : 비디오 인코딩 장치
20 : 비디오 디코딩 장치 41 : 입력 단자
42 : 프레임 메모리 43 : 인코더
44 : 버퍼 46 : 출력 단자
(발명의 배경)
발명의 분야
본 발명은 비디오 인코딩 방법, 비디오 디코딩 방법, 비디오 인코딩 장치, 비디오 디코딩 장치, 비디오 처리 시스템, 비디오 인코딩 프로그램, 비디오 디코딩 프로그램에 관한 것이다.
배경 기술
통상적으로, 비디오 신호 인코딩 기술들은 비디오 신호들의 전송, 저장, 및 재생을 위해 사용된다. 공지된 기술들은 예컨대, ITU-T Recommendation H.263(이하, "H.263"이라 함), ISO/IEC International Standard 14496-2(MPEG-4 Visual, 이하 "MPEG-4"라 함) 등과 같은 국제 표준 비디오 코딩 방법들을 포함한다.
또 다른 공지된 보다 새로운 인코딩 시스템은 ITU-T와 ISO/IEC; 즉 ITU-T Recommendation H.264와 ISO/IEC International Standard 14496-10(Joint Final Committee Draft of Joint Video Specification, 이하 "H.26L"이라 함)에 의한 합동 국제 표준화를 위해 계획된 비디오 코딩 방법이다. 이들 비디오 코딩 방법들에 사용되는 일반적인 코딩 기술들과 관련하여, 예컨대 아래에 소개된 비특허 문서 1가 참조된다.
[비특허 문서 1]
국제 이미지 코딩 표준들에 대한 기본적인 기술들
(후미타카 오노(Fumitaka Ono)와 히로시 와타나베(Hiroshi Watanabe)에 의해 공동-저술되고, CORONA PUBLISHING CO., LTD에 의해 1998년 3월 20일에 공개됨)
동영상 신호는 시간적으로 조금씩 변하는 일련의 이미지들(프레임들)로 구성된다. 이 때문에, 이 비디오 코딩 방법에서는 인코딩을 위한 대상(target)으로서 검색된 프레임(현재 프레임) 및 또 다른 프레임(참조 프레임)간에서 프레임간(interframe) 예측을 구현하여 비디오 신호의 시간적인 용장도(redundancy)를 줄이는 것이 일반적으로 행해진다.
이 경우, 프레임간 예측이 현재 프레임 및 현재 프레임과 약간 다른 참조 프레임간에서 실행되는 경우에, 그 용장도는 더 줄어들 수 있고, 인코딩 효율은 향상될 수 있다. 이 때문에, 참조 프레임은 현재 프레임에 대해 시간적으로 이전 프레임 또는 시간적으로 다음의 프레임일 수 있다. 이전 프레임을 참조하는 예측은 순방향 예측으로서 언급되고, 반면에 다음 프레임을 참조하는 예측은 역방향 예측으로서 언급된다(도 1 참조). 쌍방향 예측은 두 개의 예측 방법들 중에서 임의로 하나가 선택되거나, 또는 그 두 개의 방법들 모두가 동시에 사용되는 예측으로서 정의된다.
일반적으로, 이러한 쌍방향 예측을 사용하여, 순방향 예측에 대한 참조 프레임으로서 시간적으로 이전 프레임과, 역방향 예측에 대한 참조 프레임으로서 시간적으로 다음의 프레임이, 현재 프레임에 앞서, 프레임 버퍼에 각각 저장된다.
예를 들면, MPEG-4의 디코딩시, 현재 프레임은 쌍방향 프레임간 예측에 의해 디코딩되고, 현재 프레임에 대해 시간적으로 이전 프레임과 시간적으로 다음의 프레임은 현재 프레임의 디코딩에 앞서, 프레임간 예측을 사용하지 않고, 프레임내(intraframe) 예측에 의해 디코딩된 프레임들로서 또는 순방향 프레임간 예측에 의해 디코딩된 프레임들로서 우선 디코딩되며, 이는 참조 프레임으로서 프레임 버퍼에 저장된다. 그 후에, 현재 프레임은 이들 두 개의 프레임을 사용하는 쌍방향 예측에 의해 디코딩되어 저장된다(도 2(a) 참조).
그러므로, 이 경우에, 시간적으로 다음의 참조 프레임과 현재 프레임의 디코딩 시간들의 순서는 그것들 각각의 디코딩된 이미지들의 출력 시간들의 순서와 반대이다. 이들 프레임들 각각에는 출력 시간을 나타내는 정보가 첨부되어 있어, 프레임들의 시간적인 순서가 이 정보에 따라 공지될 수 있다. 이 때문에, 디코딩된 이미지들은 정확한 순서로 출력된다(도 2(b) 참조). MPEG-4에서, 출력 시간들은 절대값들로서 설명된다.
최근의 비디오 코딩 방법들 중 일부는, 상기 프레임간 예측이, 현재 프레임에서 변화가 작은 프레임으로부터 예측할 수 있도록, 순방향의 1 참조 프레임 및 역방향의 1 참조 프레임 대신, 복수의 참조 프레임들을 사용하여 실행될 수 있게 한다(도 3 참조).
예를 들면, H.26L의 디코딩시, 미리 결정된 참조 프레임들의 최대 수까지의 범위에서 복수의 참조 프레임들이 프레임 버퍼에 보유되고, 최적 참조 프레임이 프레임간 예측을 구현하는 경우에 그들 중에서 임의로 지정된다. 이 경우에, 현재 프레임은 쌍방향으로 예측된 프레임으로서 디코딩되고, 참조 프레임들은 현재 프레임의 디코딩에 앞서 우선 디코딩되고, 현재 프레임에 대해 복수의 시간적으로 이전 프레임들 및 복수의 시간적으로 다음의 프레임들은 참조 프레임들로서 각각 디코딩되고, 프레임 버퍼에서 참조 프레임으로서 보유된다. 현재 프레임은 이 프레임들에서 예측에 사용된 프레임으로서 임의로 지정된 프레임으로부터 예측될 수 있다(도 4(a) 참조).
그러므로, 이 경우, 현재 프레임과 시간적으로 다음의 참조 프레임들의 디코딩 시간들의 순서는 이들의 출력 시간들의 순서와 반대가 된다. 이들 프레임들 각각에는 그 출력 시간을 나타내는 정보 또는 그 출력 순서를 나타내는 정보가 첨부되어 있고, 프레임들의 시간 순서가 이 정보에 의해 알려질 수 있다. 이 때문에, 디코딩된 이미지들이 정확한 순서로 출력된다(도 4(b) 참고). 출력 시간들은 절대 값들로서 종종 설명된다. 출력 순서는 프레임 간격들이 일정한 경우 사용된다.
또한 복수의 참조 프레임들이 역방향 예측에 사용되는 경우에, 위에서 설명된 바와 같이, 프레임 버퍼에 보유된 프레임들이 항상 현재 프레임 후의 프레임들에 대한 역방향 예측에 사용되는 것은 아니다. 이 경우의 예는 도 5에 도시된 예측 구조를 참조하여 설명될 것이다. 현재 프레임(F1)은 시간적으로 다음의 참조 프레임(F2)으로부터, F2는 F3으로부터, F3은 F4로부터 역방향 예측되고, F4는 시간적으로 이전 참조 프레임 F0으로부터 순방향 예측된다. 이러한 예측들은 예컨대, 시간적으로 이전 참조 프레임(F0)과 현재 프레임(F1)간의 변경이 큰 반면, F1과 시간적으로 다음의 참조 프레임들(F2,F3,F4)간의 변경은 작으며, 또한 F0과 F3 사이에서는 변경이 상대적으로 작은 경우에, 유효한 예측 동작으로서 실행된다.
이 경우에, 현재 프레임(F1)은 단지 시간적으로 다음의 참조 프레임(F2)으로부터 예측되며, F3과 F4는 현재 프레임(F1)의 디코딩시 프레임간 예측을 위해 사용되지 않는 프레임이다. 하지만, F3과 F4는 현재 프레임(F1) 후의 시간적으로 다음의 프레임이므로, 이 F3과 F4는 각 출력 시간들에서 디코딩된 이미지들로서 출력되기 전에 계속 보유될 필요가 있다.
시간적으로 다음의 프레임들이 이런 식으로 프레임 버퍼에서 역방향 예측을 위해 보유될 때, 이러한 프레임들은 2가지 유형, 즉 현재 프레임 후에 프레임간 예측에서 참조 프레임들로서 사용되는 유형 및 참조 프레임으로서 사용되지 않는 유형으로 분류된다. 이하의 설명에서, 참조 프레임으로서 사용되지 않고 출력 시간이 되기 전에 프레임 버퍼에 보유되는 프레임들은 "출력 대기 프레임들(output queueing frames)"로 불릴 것이다.
프레임들의 차를 설명하기 위해서, 비디오 디코딩 장치의 구성의 개략적인 설명들은 도 6(a) 및 도 6(b)에 제공된다. 도 6(a)에 도시된 바와 같이, 디코딩 장치(1)에는 참조 프레임들을 보유하기 위한 프레임 버퍼(3)가 제공되고, 프레임 버퍼(3)는 프레임간 예측의 실행 시에, 디코딩 프로세서(2)에 참조 프레임을 출력한다. 이 경우에, 복수의 참조 프레임들은 위에서 설명된 바와 같이 역방향 예측에 사용되고, 프레임 버퍼는 참조 프레임들 및 출력 대기 프레임들 둘 다를 보유하며, 도 6(b)에 도시된 바와 같이, 논리적인 양상으로부터, 고정된 시간 동안 참조 프레임들로서 계속 보유되고 또한 디코딩 프로세서(2)에 출력되는 프레임들을 저장하기 위한 영역, 및 디코딩 프로세서(2)에 출력되지 않고 각 프레임들의 출력 시간들에서 디코딩된 이미지로서 출력되기 전에 계속 보유되는 프레임들을 저장하기 위한 영역이 존재한다.
우연히, 복수의 참조 프레임들이 사용되는 경우에, 예컨대, 어떤 동화상(picture) 중에서 특별한 특징을 갖는 프레임 및 다른 프레임들로부터 커다란 변화들을 갖는 프레임이 존재하면, 그 프레임이 참조 프레임으로서 보유된다 할지라도 효과적인 예측은 기대할 수 없다. 그러므로, 프레임간 예측은 참조 프레임들과 같은 프레임들을 유지하는 것을 중단함으로써 그리고 프레임 버퍼가 훨씬 많이 다른 프레임들을 보유하는 것을 허용함으로써 어떤 경우들에서 더 효과적으로 실행될 수 있다. 역으로, 프레임이 어떤 동화상 중에서 대표적인 특징 및 다른 프레임들로부터 작은 변화들을 갖는 경우에, 프레임간 예측은 현재 프레임으로부터의 시간적인 거리와 무관하게, 이러한 프레임이 긴 기간동안 프레임 버퍼에 참조 프레임으로서 보유된다면 많은 프레임들에 대해 효과적으로 실행될 것으로 기대될 수 있다.
참조 프레임들의 이러한 취사 선택 동작을 실현시키기 위해서, 인코딩된 데이터에 의해 참조 프레임들의 취사 선택 정보를 알리는 것을 생각할 수 있다. 예를 들면, H.26L에서, 메모리 관리 제어 동작(Memory Management Control Operation: MMCO) 명령들이 정의된다. MMCO 명령들은 예컨대, 프레임 버퍼에서 보유되는 모든 참조 프레임들의 사용을 제거하라는 명령을 제공할 수 있는 리셋(Reset) 명령과 다른 명령들의 정의들을 포함하며, 요구에 따라 프레임 버퍼에서 참조 프레임으로서 유지될 임의의 프레임을 선택하라는 명령을 임의로 제공할 수 있다.
동화상 상에서 랜덤 액세스를 행하기 위해서, 데이터가 인코딩되는 도중에 디코딩을 시작하는 경우에는, 디코딩될 시작 프레임은 또 다른 프레임으로부터 프레임간 예측을 사용하지 않고 프레임내 예측에 의해 인코딩된 프레임이며, 시작 프레임 이후의 프레임들은 디코딩 시작 프레임 전의 임의의 이전 프레임을 참조 프레임으로서 사용하지 않으며, 즉 디코딩 시작 프레임의 디코딩 전에 프레임 버퍼에서 보유되는 모든 참조 프레임들의 사용을 제거하라는 명령이 제공될 필요가 있다.
예를 들면, H.26L에서, IDR(Instantaneous Decoder Refresh) 화상은 이러한 상태를 명확하게 설명하기 위해서 정의된다. IDR 화상에서는, IDR 화상의 디코딩 전의 모든 이전 참조 프레임들의 사용이 제거되고, 그 후에 프레임들에 대한 프레임간 예측들은 IDR 화상 전의 프레임들을 참조하지 않는다. 이것은 IDR 화상으로부터 디코딩을 시작할 때 참조 프레임의 존재/부재의 문제에 직면하지 않고, 랜덤 액세스에서와 같이, 데이터를 인코딩하는 도중에 디코딩이 실행될 수 있게 한다.
발명의 요약
복수의 참조 프레임들이 역방향 프레임간 예측에 사용되는 경우에, 상술한 바와 같이, 프레임 버퍼에서의 참조 프레임들의 보유를 제어하는 수단을 제공함으로써 복수의 참조 프레임들이 효과적으로 처리될 수 있다. 달리 말해서, 이 프레임 버퍼는 프레임간 예측을 위해 사용되는 참조 프레임과 그들의 출력 시간들이 되기 전에 보유된 출력 대기 프레임들 둘 다를 보유하지만, 참조 프레임들의 보유를 제어하는 종래의 수단에서는 이러한 출력 대기 프레임들의 제어는 고려하지 않았다. 이것은 출력 동안 계획되지 않은 출력 대기 프레임들이 긴 기간 동안 프레임 버퍼를 차지한다는 문제를 지니고 있었다.
이 때문에, 출력 대기 프레임들의 제어가 적절히 실행되지 않는다면, 디코딩된 이미지들의 출력이 균일하게 처리될 수 없는 등의 문제가 발생할 것이다.
예를 들면, 도 7(a)의 인코딩된 데이터 F00-F04로 구성되는 동화상으로부터 도 7(b)의 인코딩된 데이터 F10-F13으로 구성되는 동화상으로, F03의 시점에서 비디오의 전환이 이루어졌다고 가정하자. 이것은 예컨대 동영상의 편집(editing)을 위해 저장되는 인코딩된 데이터가 프레임 단위들로 전환되는 경우에, 또는 방송형(broadcast type) 비디오 통신에서 하나의 채널에 대응하는 어떤 인코딩된 데이터가 또 다른 채널에 대응하는 또 다른 인코딩된 데이터로 전환되는 경우에 발생할 수 있다.
이 경우에, F10은 IDR 화상일 필요가 있으며, F10의 디코딩 전에, 프레임 버퍼에서 보유되는 모든 참조 프레임들의 사용을 제거하고, F10 후에 프레임들의 디코딩이 어떠한 문제없이 실행될 수 있게 한다. 하지만, 이 경우에 사용이 제거된 프레임들은 참조 프레임들이고, 그러므로 F03 및 F04가 참조 프레임이 아닌 출력 대기 프레임들이라면 균일한 처리는 허용되지 않는다. 즉, F10으로 전환되는 경우에는, F03 및 F04가 프레임 버퍼에서 계속 보유되고 출력되는 프레임들인지 또는 F10의 디코딩 이전에 사용이 제거된 프레임들로서 처리되는 프레임들 인지의 여부가 명확하지 않다. 따라서, 프레임은 이 경우에 디코딩된 이미지로서 출력되어야 하며, 균일하게 판정되지 않는다.
그러므로, 본 발명의 목적은 역방향 프레임간 예측에서 복수의 참조 프레임을 사용할 때 복수의 참조 프레임들의 사용에 있어 프레임 버퍼에서 보유되는 프레임들의 처리를 명확하게 정의하는 것이다.
상기의 문제를 해소하기 위해서, 본 발명에 따른 비디오 인코딩 방법은 시간적으로 다음의 프레임으로부터 역방향 프레임간 예측을 구현하는 비디오 인코딩 장치를 위한 비디오 인코딩 방법이며, 비디오 인코딩 방법은 시간적으로 다음의 프레임의 디코딩된 이미지의 사용을 제거하기 위한 옵션(option)이 선택되었음을 나타내는 정보를 출력하는 단계를 포함한다.
본 발명에 따른 비디오 인코딩 방법에서, 바람직하게, 이 정보는 시간적으로 다음의 프레임의 디코딩된 이미지에 관한, 모든 프레임의 사용을 제거하라는 명령을 제공하는 정보이다.
본 발명에 따른 비디오 인코딩 방법에서, 바람직하게, 이 정보는 시간적으로 다음의 프레임의 디코딩된 이미지에 관한, 역방향 예측에 대해 참조 프레임으로서 사용되지 않는 모든 프레임의 사용을 제거하라는 명령을 제공하는 정보이다.
본 발명에 따른 비디오 인코딩 방법에서, 바람직하게, 이 정보는 그 사용이 제거된 프레임의 디코딩된 이미지에 관한 출력 시간을 나타내는 정보를 포함한다.
본 발명에 따른 비디오 디코딩 방법은 시간적으로 다음의 프레임으로부터 역방향 프레임간 예측을 구현하는 비디오 디코딩 장치를 위한 비디오 디코딩 방법이며, 상기 비디오 디코딩 방법은, 시간적으로 다음의 프레임의 디코딩된 이미지의 사용을 제거하기 위한 정보의 입력과 함께, 상기 정보에 기초하여 상기 프레임의 디코딩된 이미지를 출력하는 것을 회피하는 단계를 포함한다.
본 발명에 따른 비디오 디코딩 방법에서, 바람직하게, 이 정보는 시간적으로 다음의 프레임의 상기 디코딩된 이미지에 관한, 모든 프레임의 사용을 제거하라는 명령을 제공하는 정보이다.
본 발명에 따른 비디오 디코딩 방법에서, 바람직하게, 이 정보는 시간적으로 다음의 프레임의 상기 디코딩된 이미지에 관한, 역방향 예측에 대해 참조 프레임으로서 사용되지 않는 모든 프레임의 사용을 제거하라는 명령을 제공하는 정보이다.
본 발명에 따른 비디오 디코딩 방법에서, 바람직하게, 이 정보는 그 사용이 제거된 프레임의 디코딩된 이미지에 관한 출력 시간을 나타내는 정보를 포함한다.
본 발명에 따른 비디오 인코딩 장치는 시간적으로 다음의 프레임으로부터 역방향 프레임간 예측을 구현하는 비디오 인코딩 장치이며, 상기 비디오 인코딩 장치는 상기 시간적으로 다음의 프레임의 디코딩된 이미지의 사용을 제거하기 위한 옵션이 선택되었음을 나타내는 정보를 출력하도록 구성된다.
본 발명에 따른 비디오 인코딩 장치에서, 바람직하게, 상기 정보는 상기 시간적으로 다음의 프레임의 상기 디코딩된 이미지에 관한, 모든 프레임의 사용을 제거하라는 명령을 제공하는 정보이다.
본 발명에 따른 비디오 인코딩 장치에서, 바람직하게, 상기 정보는 상기 시간적으로 다음의 프레임의 상기 디코딩된 이미지에 관한, 역방향 예측에 대해 참조 프레임으로서 사용되지 않는 모든 프레임의 사용을 제거하라는 명령을 제공하는 정보이다.
본 발명에 따른 비디오 인코딩 장치에서, 바람직하게, 상기 정보는 그 사용이 제거된 프레임의 디코딩된 이미지에 관한 출력 시간을 나타내는 정보를 포함한다.
본 발명에 따른 비디오 디코딩 장치는 시간적으로 다음의 프레임으로부터 역방향 프레임간 예측을 구현하는 비디오 디코딩 장치이며, 상기 비디오 디코딩 장치는 상기 시간적으로 다음의 프레임의 디코딩된 이미지의 사용을 제거하기 위한 정보의 입력과 함께, 상기 정보에 기초하여 상기 프레임의 디코딩된 이미지를 출력하는 것을 회피하도록 구성된다.
본 발명에 따른 비디오 디코딩 장치에서, 바람직하게, 상기 정보는 상기 시간적으로 다음의 프레임의 상기 디코딩된 이미지에 관한, 모든 프레임의 사용을 제거하라는 명령을 제공하는 정보이다.
본 발명에 따른 비디오 디코딩 장치에서, 바람직하게, 상기 정보는 상기 시간적으로 다음의 프레임의 상기 디코딩된 이미지에 관한, 역방향 예측에 대해 참조 프레임으로서 사용되지 않는 모든 프레임의 사용을 제거하라는 명령을 제공하는 정보이다.
본 발명에 따른 비디오 디코딩 장치에서, 바람직하게, 상기 정보는 그 사용이 제거된 프레임의 디코딩된 이미지에 관한 출력 시간을 나타내는 정보를 포함한다.
본 발명에 따른 비디오 인코딩 프로그램은 시간적으로 다음의 프레임으로부터 역방향 프레임간 예측을 구현하는 컴퓨터와 같은 비디오 인코딩 장치를 위한 비디오 인코딩 프로그램이며, 상기 비디오 인코딩 프로그램은 상기 비디오 인코딩 장치가 상기 시간적으로 다음의 프레임의 디코딩된 이미지의 사용을 제거하기 위한 옵션이 선택되었음을 나타내는 정보를 출력하는 기능을 실현하도록 한다.
본 발명에 따른 비디오 인코딩 프로그램에서, 양호하게, 상기 정보는 상기 시간적으로 다음의 프레임의 상기 디코딩된 이미지에 관한, 모든 프레임의 사용을 제거하라는 명령을 제공하는 정보이다.
본 발명에 따른 비디오 인코딩 프로그램에서, 양호하게, 상기 정보는 상기 시간적으로 다음의 프레임의 상기 디코딩된 이미지에 관한, 역방향 예측에 대해 참조 프레임으로서 사용되지 않는 모든 프레임의 사용을 제거하라는 명령을 제공하는 정보이다.
본 발명에 따른 비디오 인코딩 프로그램에서, 양호하게, 상기 정보는 그 사용이 제거된 프레임의 디코딩된 이미지에 관한 출력 시간을 나타내는 정보를 포함한다.
본 발명에 따른 비디오 디코딩 프로그램은 시간적으로 다음의 프레임으로부터 역방향 프레임간 예측을 구현하는 컴퓨터와 같은 비디오 디코딩 장치를 위한 비디오 디코딩 프로그램이며, 상기 비디오 디코딩 프로그램은 상기 비디오 디코딩 장치가 상기 시간적으로 다음의 프레임의 디코딩된 이미지의 사용을 제거하기 위한 정보의 입력과 함께, 상기 정보에 기초하여 상기 프레임의 디코딩된 이미지를 출력하는 것을 회피하는 기능을 실현하도록 한다.
본 발명에 따른 비디오 디코딩 프로그램에서, 양호하게, 상기 정보는 상기 시간적으로 다음의 프레임의 상기 디코딩된 이미지에 관한, 모든 프레임의 사용을 제거하라는 명령을 제공하는 정보이다.
본 발명에 따른 비디오 디코딩 프로그램에서, 양호하게, 상기 정보는 상기 시간적으로 다음의 프레임의 상기 디코딩된 이미지에 관한, 역방향 예측에 대해 참조 프레임으로서 사용되지 않는 모든 프레임의 사용을 제거하라는 명령을 제공하는 정보이다.
본 발명에 따른 비디오 디코딩 프로그램에서, 양호하게, 상기 정보는 그 사용이 제거된 프레임의 디코딩된 이미지에 관한 출력 시간을 나타내는 정보를 포함한다.
본 발명의 이들 양상에 따르면, 인코딩 동작이, 디코딩된 이미지들로서 출력되도록 출력 대기 프레임들의 사용을 제거하라는 명령을 제공하는 정보를 출력하도록 구성되고, 디코딩 동작은 이 정보를 검색하고, 출력 대기 프레임들 중 어떤 것도 출력하지 않도록 구성된다. 이것은 편집 후 인코딩된 데이터의 디코딩시 또는 인코딩된 데이터 상에서의 랜덤 액세스 후의 디코딩시 불필요한 디코딩된 이미지가 출력되는 것을 방지하고, 또한, 역으로, 필요한 디코딩된 이미지 출력이 삭제되는 것을 방지한다. 그 결과, 적절하게 디코딩된 이미지 출력이 얻어질 수 있다.
상기 비디오 인코딩 장치와 상기 비디오 디코딩 장치를 포함하는 비디오 처리 시스템의 구성으로 유사한 효과가 성취될 수 있으며, 여기서 비디오 디코딩 장치는 비디오 인코딩 장치에 의해 인코딩된 데이터를 디코딩한다.
본 발명에 따른 비디오 인코딩 장치는, 인코딩을 위한 대상으로서 이미지의 입력을 수행하는 입력 수단과; 인코딩된 데이터를 생성하기 위해 상기 이미지를 인코딩하는 인코딩 수단과; 상기 인코딩 수단에 의해 인코딩된 후 재생된 이미지를 저장하는 이미지 저장 수단; 및 상기 이미지 저장 수단에 저장된 모든 이미지를 관리하는 버퍼 관리 수단을 포함하고, 여기서 임의의 다른 이미지를 참조하지 않고 인코딩된 이미지(IDR 이미지)를 인코딩하는 경우에, 상기 버퍼 관리 수단은 상기 이미지 저장 수단에 이미 저장된 모든 이미지의 사용이 제거되었는지 여부를 나타내는 플래그(no_output_of_prior_pics_flag)를 상기 인코딩된 데이터와 함께 출력하는 비디오 인코딩 장치이다. 예를 들어, 인코딩된 데이터에 함께, 모든 이미지의 사용을 제거하는 경우에는 비디오 인코딩 장치는 플래그 "1"을 출력하고 그 외의 경우에는 플래그 "0"을 출력한다.
본 발명에 따른 비디오 인코딩 장치에서, 양호하게, 상기 인코딩 수단은 시간적으로 다음의 프레임으로부터 역방향 프레임간 예측을 구현하고, 임의의 다른 이미지를 참조하지 않고 인코딩된 이미지(IDR 이미지)를 인코딩하는 경우에, 상기 버퍼 관리 수단은 상기 이미지 저장 수단에 이미 저장된 모든 시간적으로 다음의 프레임의 디코딩된 이미지를 삭제한다.
본 발명에 따른 비디오 디코딩 장치는, 인코딩된 이미지의 인코딩된 데이터를 포함하는 이미지 데이터, 및 상기 인코딩된 데이터에 부가되는 이미지 출력 명령 플래그의 입력을 수행하는 입력 수단; 재생되는 이미지를 생성하기 위해 상기 인코딩된 데이터를 디코딩하는 디코딩 수단; 상기 재생된 이미지를 저장하는 이미지 저장 수단; 및 상기 이미지 저장 수단에 저장된 모든 재생된 이미지를 관리하는 버퍼 관리 수단을 포함하고, 상기 버퍼 관리 수단은 상기 이미지 저장 수단에 저장된 임의의 이미지를 참조하지 않고 인코딩된 이미지(IDR 이미지)에 대응하는 이미지 출력 명령 플래그에 따라, 상기 이미지 저장 수단에 저장된 모든 이미지를 삭제하는 비디오 디코딩 장치이다.
본 발명에 따른 비디오 디코딩 장치에서, 양호하게, 상기 이미지 출력 명령 플래그가 "0"인 경우에는, 버퍼에서 모든 참조 이미지의 사용이 제거되고, 상기 플래그가 "1"인 경우에는, 버퍼에서 모든 참조 이미지 및 모든 출력 대기 이미지들이 삭제된다.
본 발명에 따른 비디오 인코딩 방법은, 비디오 인코딩 장치가 인코딩을 위한 대상으로서 이미지를 입력하는 입력 단계; 상기 비디오 인코딩 장치가 인코딩된 데이터를 생성하기 위해 상기 이미지를 인코딩하는 인코딩 단계; 상기 비디오 인코딩 장치가 상기 인코딩 단계에서 인코딩된 후 재생된 이미지를 이미지 저장 수단에 저장하는 이미지 저장 단계; 및 상기 비디오 인코딩 장치가 상기 이미지 저장 수단에 저장된 모든 이미지를 관리하는 버퍼 관리 단계를 포함하고, 상기 버퍼 관리 단계에서, 어떠한 다른 이미지를 참조하지 않고 인코딩된 이미지를 인코딩하는 경우에, 상기 비디오 인코딩 장치는 상기 이미지 저장 수단에 이미 저장된 모든 이미지의 사용이 제거되었는지 여부를 나타내는 플래그를, 상기 인코딩된 데이터와 함께 출력하는 비디오 인코딩 방법이다.
본 발명에 따른 비디오 인코딩 방법에서, 양호하게, 인코딩 단계는 비디오 인코딩 장치가 시간적으로 다음의 프레임으로부터 역방향 프레임간 예측을 수행하도록 구성되고, 버퍼 관리 단계는 어떠한 다른 이미지를 참조하지 않고 인코딩된 이미지를 인코딩하는 경우에, 비디오 인코딩 장치는 이미지 저장 수단에 이미 저장된 모든 시간적으로 다음의 프레임의 디코딩된 이미지를 삭제하도록 구성된다.
본 발명에 따른 비디오 디코딩 방법은, 비디오 디코딩 장치가 인코딩된 이미지의 인코딩된 데이터를 포함하는 이미지 데이터, 및 상기 인코딩된 데이터에 부가되는 이미지 출력 명령 플래그의 입력을 수행하는 입력 단계; 상기 비디오 디코딩 장치가 재생되는 이미지를 생성하기 위해 상기 인코딩된 데이터를 디코딩하는 디코딩 단계; 상기 비디오 디코딩 장치가 상기 재생된 이미지를 이미지 저장 수단에 저장하는 이미지 저장 단계; 및 상기 비디오 디코딩 장치가 상기 이미지 저장 수단에 저장된 모든 재생된 이미지를 관리하는 버퍼 관리 단계를 포함하고, 상기 버퍼 관리 단계에서, 상기 비디오 디코딩 장치는 상기 이미지 저장 수단에 저장된 어떠한 이미지를 참조하지 않고 인코딩된 이미지에 대응하는 이미지 출력 명령 플래그에 따라, 상기 이미지 저장 수단에 저장된 모든 이미지를 삭제하는 비디오 디코딩 방법이다.
본 발명에 따른 비디오 디코딩 방법에서, 양호하게, 비디오 디코딩 장치는 이미지 출력 명령 플래그가 "0"일 때 버퍼에서 모든 참조 이미지의 사용을 제거하고, 플래그가 "1"일 때 버퍼에서 모든 출력 대기 이미지와 모든 참조 이미지를 삭제한다.
본 발명에 따른 비디오 인코딩 프로그램은, 비디오 인코딩 장치가, 인코딩을 위한 대상으로서 이미지의 입력을 수행하는 기능; 인코딩된 데이터를 생성하기 위해 상기 이미지를 인코딩하는 기능; 인코딩 후 재생된 이미지를 이미지 저장 수단에 저장하는 기능; 상기 이미지 저장 수단에 저장된 모든 이미지를 관리하는 기능; 및 어떠한 다른 이미지를 참조하지 않고 인코딩된 이미지를 인코딩하는 경우에, 상기 이미지 저장 수단에 이미 저장된 모든 이미지의 사용이 제거되었는지 여부를 나타내는 플래그를 상기 인코딩된 데이터와 함께 출력하는 기능을 실현하도록 하는 비디오 인코딩 프로그램이다.
비디오 인코딩 프로그램에서, 양호하게, 비디오 인코딩 장치는 시간적으로 다음의 프레임으로부터 역방향 프레임간 예측을 구현하는 기능과, 어떠한 다른 이미지를 참조하지 않고 인코딩된 이미지를 인코딩하는 경우에, 이미지 저장 수단에 이미 저장된 모든 시간적으로 다음의 프레임의 디코딩된 이미지를 삭제하는 기능을 더 실현하도록 만들어진다.
본 발명에 따른 비디오 디코딩 프로그램은 비디오 디코딩 장치가, 인코딩된 이미지의 인코딩된 데이터를 포함하는 이미지 데이터, 및 상기 인코딩된 데이터에 부가되는 이미지 출력 명령 플래그의 입력을 수행하는 기능; 재생되는 이미지를 생성하기 위해 상기 인코딩된 데이터를 디코딩하는 기능; 상기 재생된 이미지를 이미지 저장 수단에 저장하는 기능; 상기 이미지 저장 수단에 저장된 모든 재생된 이미 지를 관리하는 기능; 및 상기 이미지 저장 수단에 저장된 어떠한 이미지를 참조하지 않고 인코딩된 이미지에 대응하는 이미지 출력 명령 플래그에 따라, 상기 이미지 저장 수단에 저장된 모든 이미지를 삭제하는 기능을 실현하도록 하는 비디오 디코딩 프로그램이다.
본 발명에 따른 비디오 디코딩 프로그램에서, 양호하게, 비디오 인코딩 장치는 이미지 출력 명령 플래그가 "0"일 때는 버퍼에서 모든 참조 이미지의 사용을 제거하고 또는 플래그가 "1"일 때는 버퍼에서 모든 출력 대기 이미지와 모든 참조 이미지를 삭제하는 기능을 더 실현하도록 만들어진다.
본 발명은 첨부된 도면들과 이하에 주어지는 상세한 설명으로부터 더욱 완전히 이해될 것이며, 이들은 예시적인 방식으로만 주어지며 따라서 본 발명을 제한하는 것으로 생각해서는 안된다.
또한 본 발명의 응용 가능한 범위는 하기에 기술된 상세한 설명으로부터 명백해질 것이다. 그러나, 본 발명의 양호한 실시예들을 나타내는 상세한 설명과 특정 예들은, 본 발명의 의도와 범위 내에서 각종 변형예들과 변경예들이 이 상세한 설명으로부터 당업자들에게 명백해질 것이므로, 단지 실례로서 제공되어 있다는 것이 이해되어져야 한다.
양호한 실시예들의 상세한 설명
본 발명의 실시예들은 도면들을 참조하여 아래에서 상세하게 설명될 것이다.
인코딩 및 디코딩 동작들이 H.26L에 기초하여 실행되고 비디오 코딩의 동작에 있어서 구체적인 설명이 없는 부분들은 H.26L에서의 동작에 준한다는 가정하에 설명될 것이다.
먼저, 본 발명에 따른 비디오 처리 시스템의 구성이 설명될 것이다. 도 8은 비디오 처리 시스템(100)의 기능적 구성을 도시한 블록도이다. 도 8에 도시된 바와 같이, 비디오 처리 시스템(100)은 비디오 인코딩 장치(10)와 비디오 디코딩 장치(20)로 구성되어 있다. 비디오 인코딩 장치(10)와 비디오 디코딩 장치(20)는 시간적으로 다음의 프레임으로부터 역방향 프레임간 예측을 수행하도록 구성되어 있다.
세부적인 처리는 나중에 설명될 것이지만, 비디오 인코딩 장치(10)에는 선택된 정보 출력부(11)가 제공되며, 선택된 정보 출력부(11)는 시간적으로 다음의 프레임의 디코딩된 이미지의 사용을 제거할 옵션이 선택되었음을 나타내는 정보를 비디오 디코딩 장치(20)에 출력한다.
비디오 디코딩 장치(20)에는 디코딩된 이미지 사용 제거부(21)가 제공되며, 디코딩된 이미지 사용 제거부(21)는, 비디오 인코딩 장치(10)로부터 시간적으로 다음의 프레임의 디코딩된 이미지의 사용을 제거하는 정보의 입력과 함께, 디코딩된 이미지 사용 제거부(21)가 상기 정보에 기초하여 프레임의 디코딩된 이미지를 출력하는 것을 방지하도록 구성된다.
상기의 정보는, 예를 들어, 시간적으로 다음의 프레임의 각각의 디코딩된 이미지에 대해, 모든 프레임의 사용을 제거하는 명령을 제공하는 정보이다. 예를 들 어, 이 정보는 시간적으로 다음의 프레임의 각각의 디코딩된 이미지에 대해, 역방향 예측에 대한 참조 프레임으로서 사용되지 않는 모든 프레임의 사용을 제거하는 명령을 제공하는 정보이다. 또한, 예를 들어, 이 정보는 사용이 제거된 프레임의 디코딩된 이미지에 대하여 출력 시간을 나타내는 정보를 포함한다.
이어서, 본 발명에 따른 비디오 인코딩 방법 및 비디오 디코딩 방법이 설명될 것이다. 본 실시예에서는, 프레임 버퍼에 보유된 프레임의 사용을 제거하라는 명령을 제공할 수 있는 정보가 규정되며, 그것은 참조 프레임들 및 출력 대기 프레임들의 각각에 대해 명확히 규정되어 있다.
본 실시예에서 정보는 H.26L에서 인코딩된 데이터를 전송하는 단위인 NAL(Network Abstraction Layer; 네트워크 추상화 계층)에 대한 정보를 운반하는 NAL 유닛 신택스에서 규정된다. 구체적으로, 그것은 NAL 유닛 신택스에 포함된 NAL 유닛 유형에 의해 알려지는 유형으로서 규정된다.
본 실시예에서, 각각의 종래의 IDR 화상과 함께, 명령은 프레임 버퍼에서 보유된 모든 참조 프레임만의 사용을 제거하는 것으로서 제공된다는 점이 먼저 고려된다. 즉, 여기서 규정은, 프레임 버퍼에 보유된 임의의 출력 대기 프레임의 사용이 IDR 화상과 함께 제거되지 않는다는 것이다.
그 다음으로, IBR 화상(Instant Buffer Refresh picture)(이하 "IBR 화상"이라 칭함)은 IDR 화상과 다른 신규한 화상으로 규정된다. IBR 화상은 프레임 버퍼에서 보유된 모든 참조 프레임만의 사용을 제거하는 명령을 제공하는 IDR 화상의 규정 이외에, 모든 출력 대기 프레임의 사용을 제거하는 명령을 제공하는 화상으로서 규정된다. 즉, 현재 프레임이 IBR 화상인 것으로 결정되면, 프레임 버퍼에서 보유된 모든 참조 프레임 및 모든 출력 대기 프레임의 사용은 현재 프레임의 디코딩 전에 제거된다.
인코딩에 있어서는, 비디오 인코딩 장치(10)는 아래 설명되는 경우에 그러한 IBR 화상의 명령을 제공한다. 예를 들어, IDR 화상이 랜덤 액세스 포인트로서 지정되도록 사용된 경우와 그 전에 출력 대기 프레임들이 보유되도록 요구되지 않는 경우에, 역방향 예측에 의한 지연과 상관없이, 적절한 프레임이 IBR 화상으로서 지정될 수 있다.
디코딩에 있어서는 현재 프레임이 IBR 화상인 경우, 비디오 디코딩 장치(20)는 현재 프레임의 디코딩 전에, 프레임 버퍼에서 모든 참조 프레임과 모든 출력 대기 프레임의 사용을 제거하고, 그것들이 프레임간 예측 및 현재 프레임 후의 그것들의 디코딩된 이미지들의 출력에 사용되지 않을 것이라고 간주한다.
IBR 화상은 또한 모든 출력 대기 프레임들의 사용을 제거하는 대신에, 사용되지 않을 제한된 출력 대기 프레임들만의 사용을 제거하도록 구성될 수 있다.
그 다음 상기 장치는 IBR 화상에 첨부된 디코딩된 이미지 출력 시간을 사용하여, 각각의 프레임의 사용이 제거될지의 여부를 결정하고, 첨부된 출력 시간보다 더 큰 그들의 각각의 출력 시간들을 갖는 출력 대기 프레임들만의 사용을 제거하도록 배열될 수 있다.
또 다른 예로서, 상기 시스템은 또한 해당 프레임과 상관된 디코딩된 이미지 출력 시간에 기초하여, 출력 시간을 별개로 운반하고, 그 운반된 출력 시간보다 큰 출력 시간들을 갖는 출력 대기 프레임들만의 사용을 제거하고, 각각의 불필요한 출력 대기 프레임을 지정하도록 구성될 수 있다.
이 경우에, 출력 시간을 운반하는 신택스에 대한 수요가 발생하고, 그것은 예를 들어, 단지 NAL 유닛 신택스에서 IBR 화상을 나타내는 NAL 유닛 유형으로만 존재하고, IBR 화상과 함께 시간을 운반하는 신택스와 같이 구성될 수 있다. 예를 들어, NAL 유닛 유형이 IBR 화상을 나타내는 경우에 NAL 유닛 유형에 후속하여 운반되는 "최종_출력_시간(latest_output_time)"을 규정할 수 있다. 여기서, 최종_출력_시간은 H.26L에서 시간을 나타내는 다른 신택스들에 사용된 동일한 시간 유닛을 사용하고, 90kHz의 시간 유닛에 의해 최대 지연 시간을 나타낸다고 가정된다. 또한, 시간 유닛으로 나타내어진 수는 32 비트 무부호 고정 길이 코드들에 의해 인코딩되고, 인코딩된 데이터는 그 다음 전송된다고 간주된다.
디코딩에 있어서, latest_output_time을 수신하면, 비디오 디코딩 장치(20)는 프레임 버퍼에서 보유된 출력 대기 프레임들 중에서, 디코딩된 이미지 출력 시간들이 latest_output_time보다 큰 프레임들만의 사용을 제거한다.
latest_output_time이 이런 방식으로 사용되는 경우에, 상기 시스템은 또한, 플래그가 그것보다 먼저 더 멀리 운반되고 최종 출력 시간을 갖는 신택스가 플래그에 의한 표시가 있을 때만 사용되도록 구성될 수 있다. 이 경우, latest_output_time이 생략될 때 모든 출력 대기 프레임들의 사용을 제거하는 옵션을 규정하는 것이 가능하다.
본 실시예에서, IBR 화상은, IDR 화상과 다른 화상으로 규정되지만, IBR 화상과 같은 신규한 화상을 규정하는 대신, IDR 화상에 첨부되어 출력 대기 프레임들의 처리 방식을 나타내는 플래그(no_output_of_prior_pics_flag)를 규정하고, IDR 화상과 IBR 화상간의 차이가 프레임 버퍼에서 보유된 출력 대기 프레임들의 처리 방식의 차이이기 때문에 IBR 화상과 동일한 규정을 갖는 IDR 화상을 제공하는 것이 가능하다.
즉, 전술한 규정과 같이, IDR 화상은 프레임 버퍼에서 보유된 모든 참조 프레임들만의 사용을 제거하지만 출력 대기 프레임들의 사용을 제거하지 않도록 하는 명령을 제공하는 화상으로서 규정된다. 이 경우에, IDR 화상에 첨부된 플래그는 IDR 화상에 대해 별도로 운반되고, 플래그(no_output_of_prior_pics_flag=1)에 의한 표시로, 전술한 IBR 화상과 유사한 IDR 화상은 프레임 버퍼에서 보유된 모든 참조 프레임들 이외에 모든 출력 대기 프레임들의 사용을 제거하는 명령을 제공하는 것으로서 처리된다. 이러한 고지는 임의의 신규한 화상의 규정 없이도, 출력 대기 프레임들의 사용 또한 제거하는 명령을 제공하는 것을 가능하게 한다.
본 실시예는 도 10 내지 도 12를 참조하여 더 설명될 것이다.
도 10은 본 실시예에서 비디오 인코딩 장치(10)의 구성을 도시한 블록도이다. 비디오 코딩의 조건들은 입력 단자(47)를 통해 입력된다. 일반적으로, 인코딩 조건들은 키보드를 통해 선택되거나 입력된다. 인코딩 조건들은, 예를 들어, 인코딩을 위한 대상으로서의 이미지 크기, 프레임 레이트 및 비트 레이트이다. 또한 인코딩 조건들은 비디오의 예측 참조 구조 및 버퍼(44)의 용량을 포함한다.
비디오의 예측 참조 구조는, 예를 들어, IDR 이미지로서의 입력 이미지, 예 측 인코딩된 이미지에 의해 참조된 이미지 또는 기타 등등의 인코딩의 타이밍이다. 버퍼(44)의 용량은, 예를 들어, 참조 이미지들로서 임시적으로 저장된 이미지들의 수이다. 이 인코딩 조건들은 시간에 따라 변하도록 설정될 수 있다. 따라서 입력된 인코딩 조건들은 제어기(48)에 저장된다.
인코딩 동작의 개시와 함께, 제어기(48)는 인코딩 조건들이 설정되는 인코더(43)에 인코딩 조건들을 출력한다. 반면, 인코딩을 위한 대상으로서의 이미지는 입력 단자(41)를 통해 입력되고, 이어서 프레임 메모리(42)를 통해 인코더(43)에 공급되고, 그 후 인코딩된다. 이미지들의 순서는 역방향 예측의 경우에 전환되므로, 입력 이미지는 프레임 메모리(42)에 임시적으로 저장된다.
인코더(43)는 H.26L의 알고리즘에 기초하여 이미지를 인코딩한다. 인코딩된 이미지는 다른 관련된 정보로 멀티플렉스되도록 멀티플렉서(45)에 전송되고, 그 후, 멀티플렉스된 데이터는 출력 단자(46)를 통해 출력된다. 예측에 사용된 이미지는 인코더(43)에 의해 재생되고 이어서 다음 이미지의 인코딩을 위한 참조 이미지로서, 버퍼(44) 내에 저장된다.
도 11은 제어기(48)가 no_output_of_prior_pics_flag를 결정하는 처리를 설명하는 흐름도이다. 이 처리는 인코딩을 위한 대상으로서 비디오를 구성하는 각각의 이미지들에 대해 실행된다. 제 1 단계(S1)는 (이미지가 IDR 이미지로서 인코딩되든 안되든) 인코딩을 위한 대상으로서 이미지에 대한 인코딩 조건들의 입력과, 버퍼(44)에 미리 저장된 재생된 이미지가 참조 이미지 또는 디스플레이된 이미지로서 사용되는지의 여부에 관한 정보의 입력을 실행하는 단계이다. 그러한 정보는 제어기(48)에 의해 별도로 관리된다.
S2는 인코딩을 위한 대상으로서의 이미지가 IDR 이미지인지의 여부를 결정하는 단계이다. 결정의 결과가 상기 이미지가 IDR 이미지가 아닌 경우(S2; NO), 이 처리는 종료된다(S3). 이미지가 IDR 이미지인 경우(S2; YES), 흐름은 S4로 이동한다. S4는 버퍼(44)에 미리 저장된 이미지가 참조 이미지들 또는 디스플레이된 이미지들로서 사용되는지의 여부를 결정한다.
상기 결정의 결과가 버퍼(44)에 미리 저장된 이미지들이 참조 이미지 또는 디스플레이된 이미지로서 사용되는 경우(S4; YES)에, no_output_of_prior_ pics_flag는 "0"으로 설정된다(S5). 반면, 결정의 결과가 참조 이미지 또는 디스플레이된 이미지 어느 것으로도 사용되지 않는 경우(S4; NO)에는, no_output_of_ prior_pics_flag는 "1"로 설정된다(S6). 따라서 설정된 no_output_of_prior_ pics_flag의 플래그는 버스(L8)를 통해 멀티플렉서(45)에 공급되고, 그 후, 대응하는 이미지의 인코딩된 데이터에 부가되며, 상기 데이터는 출력 단자(46)를 통해 전송 출력된다(S7). S6에서 no_output_of_prior_pics_flag가 "1"로 설정되면, 제어기 (48)는 L7을 통해, 버퍼(44)에 저장된 모든 이미지들을 삭제하는 명령을 출력한다.
도 12는 본 실시예에서 비디오 디코딩 장치(20)의 구성을 도시한 블록도이다. 디코딩될 데이터가 입력 단자(51)를 통해 입력된다. 이 데이터는 비디오 인코딩 장치(10)에 의해 인코딩된 각각의 프레임의 이미지 데이터이다. 이 데이터가 IDR 이미지일 때, no_output_of_prior_pics_flag는 그것으로 멀티플렉스된다. 입력된 데이터는 입력 버퍼(52)에 저장된다. 예정된 시간에, 하나의 프레임의 데이터는 제어기(56)로부터의 명령에 응답하여 입력 버퍼(52)에서 디코더(53)로 공급되고, 그것의 디코딩이 H.26L의 알고리즘에 따라 시작된다.
디코딩된 이미지는 일단 출력 버퍼(54)에 저장된다. 출력 버퍼(54)에 저장된 이미지는 버스(M5)를 통해 디코더(53)에 다시 공급되고, 그 후, 다음 이미지의 디코딩을 위해 참조 이미지로서 사용된다. 한편, 디코더(53)에 의해 디코딩된 IDR 이미지에 부가된 no_output_of_prior_pics_flag의 데이터는 제어기(56)에 공급된다.
제어기(56)는 no_output_of_prior_pics_flag의 값("0" 또는 "1")을 참조하고, 그것에 기초하여, 출력 버퍼(54)를 제어한다. 구체적으로, no_output_of_ prior_pics_flag가 "1"인 경우에, 참조 이미지들과 디스플레이 대기 이미지들 모두 불필요하게 되고, 따라서 제어기(56)는 버스(M8)를 통해서, 출력 버퍼(54)에 저장된 모든 이미지들을 삭제하는 명령을 출력한다. 한편, no_output_of_ prior_pics_flag가 "0"인 경우에는, 그것에 대응하는 이미지는 IDR 이미지이고 제어기(56)는 참조를 위해 사용된 모든 이미지들(참조 이미지들)의 사용을 제거하고 출력 버퍼(54)로부터 그것들을 삭제한다. 그러나, 디스플레이 대기 이미지들은 삭제되지 않는다. 각각의 디스플레이 대기 이미지는 그것의 시간에 디스플레이 장치상에 디스플레이된다.
본 실시예는 본 발명이 H.26L에 기초하여 실현된 예를 설명했지만, 본 발명이 적용될 수 있는 비디오 인코딩 방법들은 H.26L에 제한되지 않고 역방향 프레임간 예측을 사용하는 각종 비디오 인코딩 방법들을 포함한다.
또한, 본 실시예는 출력 대기 프레임들의 비사용을 운반하는 신택스가 NAL 유닛 신택스에 고지된 NAL 유닛 유형의 부가적인 규정으로서 규정되고 고정 길이 코드들에 의한 신택스가 출력 시간을 운반하는 데 부가되도록 구성되었지만, 그것의 운반을 위한 규정들과 신택스들은 이것들에 제한되지 않는 것은 당연한 것이다. 가변 길이 코드들은 또한 출력 시간의 고지를 위해 고정 길이 코드들 대신에 사용될 수 있고, 출력 시간의 유닛은 90kHz 이외의 어떤 다른 유닛도 될 수 있다; 예를 들어, 출력 시간의 유닛은 H.26L에서의 비디오 유용성 정보(Vedio Usability Information; VUI)로서 보조적으로 고지된 num_units_in_tick와 time_scale에 규정된 시간 유닛에 기초할 수 있다.
그것은 또한 NAL 유닛 신택스뿐만 아니라 프레임 유닛들에서의 적용을 위해 정보를 운반할 수 있는 각종 신택스들 중 하나에 의해 운반될 수 있다. 예를 들어, H.26L에서, 신택스는 보충 향상 정보 메시지(Supplemental Enhancement Information Message) 신택스 내에 부가될 수 있다.
또 다른 수단으로서, H.26L에서 참조 프레임들의 제어를 위해 규정된 메모리 관리 제어 동작(MMCO) 명령들을 확장하는 것이 또한 가능하다. 이 경우에, MMCO 명령으로서 규정된 리셋(Reset) 명령은 상술한 NAL 유닛 유형에서의 IDR 화상과 동일한 동작을 규정하기 때문에, 예를 들어, NAL 유닛 유형에서의 규정의 경우와 같이, 출력 대기 프레임 리셋(리오더링 버퍼 리셋) 명령을 규정하는 것이 또한 가능하다. 이 명령에 의한 동작의 규정은 NAL 유닛 유형에서의 IBR 화상을 갖는 동작의 규정과 유사하게 결정될 수 있다.
또 다른 비디오 코딩 방법이 적용되는 경우, 그 코딩 방법에서 프레임 유닛 들에 적용된 정보를 운반하는 신택스를 사용하는 것이 가능하다. 그것은 또한, H.263을 사용한 통신에서 제어 정보의 고지를 위해 이용된 ITU-T Recommendation H.245의 경우와 같이, 비디오 코딩 방법에서 인코딩된 데이터는 외부로 고지될 수 있다.
마지막으로, 본 발명에 따른 비디오 인코딩 프로그램 및 비디오 디코딩 프로그램은 도 9를 참조하여 설명될 것이다.
도 9에 도시된 바와 같이, 비디오 처리 프로그램(310)은 기록 매체(30)에 형성된 프로그램 저장 영역(30a)에 저장된다. 비디오 처리 프로그램(310)은 도 8에 도시된 비디오 처리 시스템(100)에 의해 실행될 수 있고, 비디오 처리를 담당하는 메인 모듈(311), 후기형(after-stated) 비디오 인코딩 프로그램(312) 및 후기형 비디오 디코딩 프로그램(313)을 갖는다.
비디오 인코딩 프로그램(312)은 선택된 정보 출력 모듈(312a)을 구비하고 있다. 선택된 정보 출력 모듈(312a)의 동작에 의해 실현된 기능은 비디오 인코딩 장치(10)의 선택된 정보 출력부(11)의 기능과 매우 동일하다.
비디오 디코딩 프로그램(313)은 디코딩된 이미지 사용 제거 모듈(313a)을 구비하고 있다. 디코딩된 이미지 사용 제거 모듈(313a)의 동작에 의해 실현된 기능은 비디오 디코딩 장치(20)의 디코딩된 이미지 사용 제거부(21)의 기능과 매우 동일하다.
비디오 처리 프로그램(310)은 그것의 일부분 또는 전부가, 기록되도록 또 다른 장치에 의해 통신 라인과 같은 전송 매체를 통해 수신된다. 반대로, 비디오 처 리 프로그램(310)은 또한 또 다른 장치에 설치되기 위해 통신 매체를 통해 전송되도록 구성될 수 있다.
따라서 상술된 발명으로부터, 본 발명의 실시예들은 여러 방법들로 변경될 수 있다는 것이 명백해질 것이다. 그러한 변경들은 본 발명의 의도 및 범위로부터의 이탈로 간주되지 않고, 당업자에게 명백한 모든 그러한 변경들은 하기의 청구 범위의 범위 내에 포함하고자 한다.
본 발명은 역방향 프레임간 예측에서 복수의 참조 프레임을 사용할 때 복수의 참조 프레임들의 사용에 있어 프레임 버퍼에서 보유되는 프레임들의 처리를 명확하게 정의할 수 있다.

Claims (20)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 비디오 인코딩 장치에 있어서,
    인코딩을 위한 대상으로서 이미지의 입력을 수행하는 입력 수단과,
    인코딩된 데이터를 생성하기 위해 상기 이미지를 인코딩하는 인코딩 수단과,
    상기 인코딩 수단에 의해 인코딩된 후 재생된 이미지들 중에서 그 출력 시간이 되기 전에 보유된 대기 프레임 및 다음 이미지의 인코딩을 위한 참조 프레임을 저장하는 이미지 저장 수단과,
    상기 이미지 저장 수단에 저장된 상기 참조 프레임 및 상기 대기 프레임을 관리하는 버퍼 관리 수단을 포함하며,
    상기 이미지 저장 수단에 저장된 어떠한 다른 이미지를 참조하지 않고 인코딩된 IDR 이미지를 인코딩하는 경우에, 상기 버퍼 관리 수단은, 상기 이미지 저장 수단에 저장된 상기 참조 프레임이 제거됨을 나타내는 플래그 0 또는 상기 이미지 저장 수단에 저장된 상기 참조 프레임 및 상기 대기 프레임이 제거됨을 나타내는 플래그 1을, 상기 인코딩된 데이터와 함께 출력하는, 비디오 인코딩 장치.
  14. 제 13 항에 있어서,
    상기 인코딩 수단은 시간적으로 다음의 프레임으로부터 역방향 프레임간 예측을 구현하고,
    IDR 이미지를 인코딩하는 경우에, 상기 버퍼 관리 수단은 상기 플래그에 기초하여 상기 이미지 저장 수단에 이미 저장된 상기 IDR 이미지에 대해 시간적으로 다음의 프레임들 중에서 역방향 예측에 대한 참조 프레임으로서 사용되지 않는 프레임을 삭제하는, 비디오 인코딩 장치.
  15. 비디오 디코딩 장치에 있어서,
    인코딩된 이미지의 인코딩된 데이터를 포함하는 이미지 데이터, 및 상기 인코딩된 데이터에 부가되는 이미지 출력 명령 플래그의 입력을 수행하는 입력 수단과,
    재생되는 이미지를 생성하기 위해 상기 인코딩된 데이터를 디코딩하는 디코딩 수단과,
    상기 재생된 이미지들 중에서 그 출력 시간이 되기 전에 보유된 대기 프레임 및 다음 이미지의 디코딩을 위한 참조 프레임을 저장하는 이미지 저장 수단과,
    상기 이미지 저장 수단에 저장된 상기 참조 프레임 및 상기 대기 프레임을 관리하는 버퍼 관리 수단을 포함하며,
    상기 이미지 저장 수단에 저장된 어떠한 이미지를 참조하지 않고 인코딩된 IDR 이미지에 대응하는 상기 이미지 출력 명령 플래그가 "1"인 경우, 상기 버퍼 관리 수단은 상기 이미지 저장 수단에 저장된 상기 참조 프레임 및 상기 대기 프레임을 삭제하고,
    상기 이미지 출력 명령 플래그가 "0"인 경우, 상기 버퍼 관리 수단은 상기 이미지 저장 수단에 저장된 상기 참조 플래그를 삭제하는, 비디오 디코딩 장치.
  16. 제 15 항에 있어서,
    상기 디코딩 수단은 시간적으로 다음의 프레임으로부터 역방향 프레임간 예측을 구현하는, 비디오 디코딩 장치.
  17. 비디오 인코딩 방법에 있어서,
    비디오 인코딩 장치가 인코딩을 위한 대상으로서 이미지의 입력을 수행하는 입력 단계와,
    상기 비디오 인코딩 장치가 인코딩된 데이터를 생성하기 위해 상기 이미지를 인코딩하는 인코딩 단계와,
    상기 비디오 인코딩 장치가 상기 인코딩 단계에서 인코딩된 후 재생된 이미지들 중에서 그 출력 시간이 되기 전에 보유된 대기 프레임 및 다음 이미지의 인코딩을 위한 참조 프레임을 이미지 저장 수단에 저장하는 이미지 저장 단계와,
    상기 비디오 인코딩 장치가 상기 이미지 저장 수단에 저장된 상기 참조 프레임 및 상기 대기 프레임을 관리하는 버퍼 관리 단계를 포함하며,
    상기 버퍼 관리 단계에서, 상기 이미지 저장 수단에 저장된 어떠한 다른 이미지를 참조하지 않고 인코딩된 IDR 이미지를 인코딩하는 경우에, 상기 비디오 인코딩 장치는, 상기 이미지 저장 수단에 저장된 상기 참조 프레임이 삭제됨을 나타내는 플래그 0 또는 상기 이미지 저장 수단에 저장된 상기 참조 프레임 및 상기 대기 프레임이 삭제됨을 나타내는 플래그 1을 상기 인코딩된 데이터와 함께 출력하는, 비디오 인코딩 방법.
  18. 비디오 디코딩 방법에 있어서,
    비디오 디코딩 장치가 인코딩된 이미지의 인코딩된 데이터를 포함하는 이미지 데이터, 및 상기 인코딩된 데이터에 부가되는 이미지 출력 명령 플래그의 입력을 수행하는 입력 단계와,
    상기 비디오 디코딩 장치가 재생되는 이미지를 생성하기 위해 상기 인코딩된 데이터를 디코딩하는 디코딩 단계와,
    상기 비디오 디코딩 장치가 상기 재생된 이미지들 중에서 그 출력 시간이 되기 전에 보유된 대기 프레임 및 다음 이미지의 디코딩을 위한 참조 프레임을 이미지 저장 수단에 저장하는 이미지 저장 단계와,
    상기 비디오 디코딩 장치가 상기 이미지 저장 수단에 저장된 상기 참조 프레임 및 상기 대기 프레임을 관리하는 버퍼 관리 단계를 포함하며,
    상기 버퍼 관리 단계에서, 상기 이미지 저장 수단에 저장된 어떠한 이미지를 참조하지 않고 인코딩된 IDR 이미지에 대응하는 상기 이미지 출력 명령 플래그가 "1"인 경우, 상기 비디오 디코딩 장치는 상기 이미지 저장 수단에 저장된 상기 참조 프레임 및 상기 대기 프레임을 삭제하고,
    상기 이미지 출력 명령 플래그가 "0"인 경우, 상기 비디오 디코딩 장치는 상기 이미지 저장 수단에 저장된 상기 참조 프레임을 삭제하는, 비디오 디코딩 방법.
  19. 컴퓨터 판독 가능 기록 매체에 있어서,
    비디오 인코딩 장치가,
    인코딩을 위한 대상으로서 이미지의 입력을 수행하는 기능과,
    인코딩된 데이터를 생성하기 위해 상기 이미지를 인코딩하는 기능과,
    인코딩된 후 재생된 이미지들 중에서 그 출력 시간이 되기 전에 보유된 대기 프레임 및 다음 이미지의 인코딩을 위한 참조 프레임을 이미지 저장 수단에 저장하는 기능과,
    상기 이미지 저장 수단에 저장된 상기 참조 프레임 및 상기 대기 프레임을 관리하는 기능과,
    상기 이미지 저장 수단에 저장된 어떠한 다른 이미지를 참조하지 않고 인코딩된 IDR 이미지를 인코딩하는 경우에, 상기 이미지 저장 수단에 저장된 상기 참조 프레임이 삭제됨을 나타내는 플래그 0 또는 상기 이미지 저장 수단에 저장된 상기 참조 프레임 및 상기 대기 프레임이 삭제됨을 나타내는 플래그 1을 상기 인코딩된 데이터와 함께 출력하는 기능을 실현하도록 하는 비디오 인코딩 프로그램을 저장하는 컴퓨터 판독 가능 기록 매체.
  20. 컴퓨터 판독 가능 기록 매체에 있어서,
    비디오 디코딩 장치가,
    인코딩된 이미지의 인코딩된 데이터를 포함하는 이미지 데이터, 및 상기 인코딩된 데이터에 부가되는 이미지 출력 명령 플래그의 입력을 수행하는 기능과,
    재생되는 이미지를 생성하기 위해 상기 인코딩된 데이터를 디코딩하는 기능과,
    상기 재생된 이미지들 중에서 그 출력 시간이 되기 전에 보유된 대기 프레임 및 다음 이미지의 디코딩을 위한 참조 프레임을 이미지 저장 수단에 저장하는 기능과,
    상기 이미지 저장 수단에 저장된 상기 참조 프레임 및 상기 대기 프레임을 관리하는 기능과,
    상기 이미지 저장 수단에 저장된 어떠한 이미지를 참조하지 않고 인코딩된 IDR 이미지에 대응하는 상기 이미지 출력 명령 플래그가 "1"인 경우, 상기 이미지 저장 수단에 저장된 상기 참조 프레임 및 상기 대기 프레임을 삭제하는 기능과,
    상기 이미지 출력 명령 플래그가 "0"인 경우, 상기 이미지 저장 수단에 저장된 상기 참조 프레임을 삭제하는 기능을 실현하도록 하는 비디오 디코딩 프로그램을 저장하는 컴퓨터 판독 가능 기록 매체.
KR20030070853A 2002-10-11 2003-10-11 비디오 인코딩 방법, 비디오 디코딩 방법, 비디오 인코딩장치, 비디오 디코딩 장치, 비디오 인코딩 프로그램, 및비디오 디코딩 프로그램 KR100583552B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2002299512 2002-10-11
JPJP-P-2002-00299512 2002-10-11
JP2003190567A JP3513148B1 (ja) 2002-10-11 2003-07-02 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
JPJP-P-2003-00190567 2003-07-02

Publications (2)

Publication Number Publication Date
KR20040033275A KR20040033275A (ko) 2004-04-21
KR100583552B1 true KR100583552B1 (ko) 2006-05-26

Family

ID=32032966

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20030070853A KR100583552B1 (ko) 2002-10-11 2003-10-11 비디오 인코딩 방법, 비디오 디코딩 방법, 비디오 인코딩장치, 비디오 디코딩 장치, 비디오 인코딩 프로그램, 및비디오 디코딩 프로그램

Country Status (10)

Country Link
US (4) US7346216B2 (ko)
EP (4) EP3355583A1 (ko)
JP (1) JP3513148B1 (ko)
KR (1) KR100583552B1 (ko)
CN (3) CN1819656A (ko)
DK (1) DK2271114T3 (ko)
ES (3) ES2674902T3 (ko)
PT (3) PT2268037T (ko)
TR (1) TR201808745T4 (ko)
TW (1) TWI244856B (ko)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2271110B1 (en) * 2001-11-06 2016-09-21 Panasonic Intellectual Property Corporation of America Moving picture coding method and moving picture decoding method
JP3513148B1 (ja) 2002-10-11 2004-03-31 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
AU2003249052A1 (en) * 2003-07-14 2005-03-07 Thomson Licensing Technique for video broadcasting in a wireless lan
US8391672B2 (en) * 2004-02-06 2013-03-05 Panasonic Corporation Recording medium, reproduction device, program, and reproduction method
US20080002947A1 (en) * 2004-02-06 2008-01-03 Wataru Ikeda Recording medium, reproduction device, program and reproduction method
US8000392B1 (en) 2004-02-27 2011-08-16 Vbrick Systems, Inc. Phase correlation based motion estimation in hybrid video compression
TWI401955B (zh) * 2004-04-16 2013-07-11 Panasonic Corp A reproducing apparatus, a recording medium reproducing program, a reproducing method, and a reproducing system
WO2005101828A1 (ja) * 2004-04-16 2005-10-27 Matsushita Electric Industrial Co., Ltd. 記録媒体、再生装置、プログラム
EP1858015B1 (en) * 2004-06-02 2015-10-14 Panasonic Corporation Recording medium, reproduction device, program, and reproduction method
EP2348720B1 (en) * 2004-07-01 2015-04-01 Mitsubishi Electric Corporation Randomly accessible visual information recording medium and recording method, and reproducing device and reproducing method
US8693540B2 (en) * 2005-03-10 2014-04-08 Qualcomm Incorporated Method and apparatus of temporal error concealment for P-frame
US7886201B2 (en) * 2005-03-10 2011-02-08 Qualcomm Incorporated Decoder architecture for optimized error management in streaming multimedia
US7925955B2 (en) * 2005-03-10 2011-04-12 Qualcomm Incorporated Transmit driver in communication system
US8155185B2 (en) * 2005-12-05 2012-04-10 Canon Kabushiki Kaisha Image coding apparatus and method
EP1964124A4 (en) * 2005-12-08 2010-08-04 Vidyo Inc SYSTEMS AND METHODS FOR ERROR ACCURACY AND DIRECT ACCESS IN VIDEO COMMUNICATION SYSTEMS
US8265145B1 (en) * 2006-01-13 2012-09-11 Vbrick Systems, Inc. Management and selection of reference frames for long term prediction in motion estimation
US8107537B2 (en) * 2006-02-02 2012-01-31 Sharp Laboratories Of America, Inc. Picture layer rate control for video encoding
US8693538B2 (en) 2006-03-03 2014-04-08 Vidyo, Inc. System and method for providing error resilience, random access and rate control in scalable video communications
US8279928B2 (en) * 2006-05-09 2012-10-02 Canon Kabushiki Kaisha Image encoding apparatus and encoding method, image decoding apparatus and decoding method
CA2660278C (en) * 2006-08-17 2016-03-29 Telefonaktiebolaget L M Ericsson (Publ) Error recovery for rich media
EP2077037A2 (en) * 2006-10-16 2009-07-08 Thomson Licensing Method for using a network abstract layer unit to signal an instantaneous decoding refresh during a video operation
US8155207B2 (en) 2008-01-09 2012-04-10 Cisco Technology, Inc. Processing and managing pictures at the concatenation of two video streams
US8873932B2 (en) * 2007-12-11 2014-10-28 Cisco Technology, Inc. Inferential processing to ascertain plural levels of picture interdependencies
JP4227643B2 (ja) * 2006-12-20 2009-02-18 パナソニック株式会社 動画像符号化装置およびその方法
US8462856B2 (en) 2007-01-09 2013-06-11 Vidyo, Inc. Systems and methods for error resilience in video communication systems
WO2008104127A1 (en) * 2007-02-27 2008-09-04 Huawei Technologies Co., Ltd. Method for realizing random access in compressed code stream using multi-reference images and decoder
CN101257624B (zh) * 2007-02-27 2011-08-24 华为技术有限公司 实现随机访问的方法及解码器
JP5023739B2 (ja) 2007-02-28 2012-09-12 ソニー株式会社 画像情報符号化装置及び符号化方法
WO2008151137A2 (en) * 2007-06-01 2008-12-11 The Trustees Of Columbia University In The City Of New York Real-time time encoding and decoding machines
CN101321284B (zh) * 2007-06-10 2012-01-04 华为技术有限公司 一种编解码方法、设备及系统
US8477852B2 (en) * 2007-06-20 2013-07-02 Nvidia Corporation Uniform video decoding and display
WO2009006405A1 (en) 2007-06-28 2009-01-08 The Trustees Of Columbia University In The City Of New York Multi-input multi-output time encoding and decoding machines
US8958486B2 (en) * 2007-07-31 2015-02-17 Cisco Technology, Inc. Simultaneous processing of media and redundancy streams for mitigating impairments
EP2213097A2 (en) * 2007-10-16 2010-08-04 Cisco Technology, Inc. Conveyance of concatenation properties and picture orderness in a video stream
CN101287114B (zh) * 2008-05-27 2010-12-08 中兴通讯股份有限公司 一种动态切入视频码流的方法
WO2009152450A1 (en) 2008-06-12 2009-12-17 Cisco Technology, Inc. Picture interdependencies signals in context of mmco to assist stream manipulation
US8971402B2 (en) 2008-06-17 2015-03-03 Cisco Technology, Inc. Processing of impaired and incomplete multi-latticed video streams
US8699578B2 (en) 2008-06-17 2014-04-15 Cisco Technology, Inc. Methods and systems for processing multi-latticed video streams
WO2010124136A1 (en) 2009-04-24 2010-10-28 Delta Vidyo, Inc. An efficient video skimmer
JP2010258738A (ja) * 2009-04-24 2010-11-11 Sony Corp 画像処理装置および方法、並びにプログラム
US8949883B2 (en) 2009-05-12 2015-02-03 Cisco Technology, Inc. Signalling buffer characteristics for splicing operations of video streams
US8279926B2 (en) 2009-06-18 2012-10-02 Cisco Technology, Inc. Dynamic streaming with latticed representations of video
JP2012531816A (ja) * 2009-06-24 2012-12-10 デルタ・ヴィディオ・インコーポレイテッド アクティブビデオ電子番組ガイドのためのシステムおよび方法
US20110173300A1 (en) * 2009-11-25 2011-07-14 Isaac Levy IPTV Presence And Interaction Protocol
US8934530B2 (en) 2011-02-01 2015-01-13 Vidyo, Inc. Spatial scalability using redundant pictures and slice groups
WO2012109407A1 (en) 2011-02-09 2012-08-16 The Trustees Of Columbia University In The City Of New York Encoding and decoding machine with recurrent neural networks
US9706227B2 (en) 2011-03-10 2017-07-11 Qualcomm Incorporated Video coding techniques for coding dependent pictures after random access
ES2595732T3 (es) 2011-06-30 2017-01-03 Telefonaktiebolaget Lm Ericsson (Publ) Señalización de imágenes de referencia
US9131245B2 (en) 2011-09-23 2015-09-08 Qualcomm Incorporated Reference picture list construction for video coding
JP5698644B2 (ja) * 2011-10-18 2015-04-08 株式会社Ｎｔｔドコモ 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
JP5727398B2 (ja) 2012-01-26 2015-06-03 日本電信電話株式会社 動画像符号化方法，動画像符号化装置および動画像符号化プログラム
US9532055B2 (en) 2012-04-16 2016-12-27 Microsoft Technology Licensing, Llc Constraints and unit types to simplify video random access
US9979959B2 (en) * 2012-04-20 2018-05-22 Qualcomm Incorporated Video coding with enhanced support for stream adaptation and splicing
US9992490B2 (en) * 2012-09-26 2018-06-05 Sony Corporation Video parameter set (VPS) syntax re-ordering for easy access of extension parameters
JP2014150384A (ja) * 2013-01-31 2014-08-21 Toshiba Corp 動画像符号化装置及び動画像符号化方法
CN103345371B (zh) * 2013-05-31 2016-06-01 沈阳东软熙康医疗系统有限公司 一种通过显示屏平滑显示大数据量的方法
EP3058734B1 (en) 2013-10-15 2020-06-24 Nokia Technologies Oy Buffering parameters in scalable video coding and decoding
US10057590B2 (en) * 2014-01-13 2018-08-21 Mediatek Inc. Method and apparatus using software engine and hardware engine collaborated with each other to achieve hybrid video encoding
US10623755B2 (en) * 2016-05-23 2020-04-14 Qualcomm Incorporated End of sequence and end of bitstream NAL units in separate file tracks
CN107623849B (zh) * 2016-07-13 2019-06-18 北京大学 视频解码方法和装置
KR101852859B1 (ko) * 2016-11-07 2018-04-27 이노뎁 주식회사 랜덤액세서블 p-프레임에 기초한 동영상 랜덤액세스 처리 방법
US10805615B2 (en) * 2016-12-14 2020-10-13 LogMeln, Inc. Synchronizing video signals using cached key frames
JP7213262B2 (ja) 2018-04-05 2023-01-26 テレフオンアクチーボラゲット エルエム エリクソン（パブル） 多段サイドリンク制御情報
US10769915B2 (en) * 2018-12-31 2020-09-08 TCL Research America Inc. Privacy preserving camera

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4190594B2 (ja) 1995-12-28 2008-12-03 ソニー株式会社 電子機器及び信号処理方法
US5899578A (en) * 1995-12-25 1999-05-04 Sony Corporation Digital signal processor, processing method, digital signal recording/playback device and digital signal playback method
JP3073948B2 (ja) 1996-10-31 2000-08-07 松下電器産業株式会社 ディジタル動画像復号化装置、及びディジタル動画像復号化方法
TW361046B (en) * 1996-10-31 1999-06-11 Matsushita Electric Ind Co Ltd Dynamic picture image decoding apparatus and method of decoding dynamic picture image
JPH10191356A (ja) * 1996-12-27 1998-07-21 Oki Electric Ind Co Ltd 画像符号化装置
GB2328099B (en) * 1997-08-08 2002-07-03 British Broadcasting Corp Processing coded video
US6104441A (en) * 1998-04-29 2000-08-15 Hewlett Packard Company System for editing compressed image sequences
US8050329B2 (en) * 1998-06-26 2011-11-01 Mediatek Inc. Method and apparatus for generic scalable shape coding
US6570926B1 (en) * 1999-02-25 2003-05-27 Telcordia Technologies, Inc. Active techniques for video transmission and playback
US6993251B1 (en) * 2000-03-31 2006-01-31 Matsushita Electric Industrial Co., Ltd. Method and apparatus for concealing disk soft errors in recorded digital television signals
US20020122656A1 (en) * 2001-03-05 2002-09-05 Gates Matthijs A. Method and apparatus for recording broadcast data
JP4355156B2 (ja) * 2002-04-16 2009-10-28 パナソニック株式会社 画像復号化方法及び画像復号化装置
SI1406451T1 (sl) * 2002-07-11 2007-04-30 Matsushita Electric Ind Co Ltd Postopek za kodiranje in dekodiranje slike za H.264, ki uporablja virtualni prikazovalni vmesni spomin
JP3513148B1 (ja) 2002-10-11 2004-03-31 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム

Also Published As

Publication number Publication date
PT2271114T (pt) 2017-03-23
PT2268037T (pt) 2018-06-28
US9686563B2 (en) 2017-06-20
EP1408698B1 (en) 2016-08-24
US20080112485A1 (en) 2008-05-15
CN1512753A (zh) 2004-07-14
EP2271114B1 (en) 2017-01-25
PT1408698T (pt) 2016-11-02
TWI244856B (en) 2005-12-01
EP2271114A3 (en) 2012-07-18
US20170251223A1 (en) 2017-08-31
JP3513148B1 (ja) 2004-03-31
DK2271114T3 (en) 2017-03-20
EP2271114A2 (en) 2011-01-05
ES2674902T3 (es) 2018-07-04
ES2621175T3 (es) 2017-07-03
US20040071354A1 (en) 2004-04-15
EP3355583A1 (en) 2018-08-01
US10009627B2 (en) 2018-06-26
EP2268037B1 (en) 2018-05-23
EP1408698A3 (en) 2004-12-15
JP2004187264A (ja) 2004-07-02
EP2268037A2 (en) 2010-12-29
TR201808745T4 (tr) 2018-07-23
ES2599322T3 (es) 2017-02-01
US20100098174A1 (en) 2010-04-22
TW200406115A (en) 2004-04-16
EP1408698A2 (en) 2004-04-14
KR20040033275A (ko) 2004-04-21
EP2268037A3 (en) 2012-07-18
CN1250011C (zh) 2006-04-05
US7346216B2 (en) 2008-03-18
CN1897699A (zh) 2007-01-17
CN1819656A (zh) 2006-08-16

Similar Documents

Publication Publication Date Title
KR100583552B1 (ko) 비디오 인코딩 방법, 비디오 디코딩 방법, 비디오 인코딩장치, 비디오 디코딩 장치, 비디오 인코딩 프로그램, 및비디오 디코딩 프로그램
US10158871B2 (en) Video encoding method, video decoding method, video encoding apparatus, video decoding apparatus, video encoding program, and video decoding program
JP5116175B2 (ja) 多視点ビデオ符号化を含む参照ピクチャの管理方法
KR100959969B1 (ko) 화상 부호화 방법 및 화상 복호화 방법
JPH08154247A (ja) 圧縮画像データ処理装置及び方法
JP2007507128A (ja) 参照ピクチャのリフレッシュを遅延させて行うビデオ画像の符号化および復号化
US20100111166A1 (en) Device for decoding a video stream and method thereof
JP4010617B2 (ja) 画像復号化装置及び画像復号化方法
JPH11308617A (ja) ディジタル画像符号化装置とこれに用いる動きベクトル検出装置
JP3939273B2 (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
JP2007068218A (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
JP2004228617A (ja) 動画像符号化装置および動画像復号化装置
KR0123093B1 (ko) 동영상 복호화 시스템에 있어서 픽쳐 시작 위치 코드 디코딩 장치 및 방법
JP2003339049A (ja) 画像復号装置及び画像復号方法
JPH04280190A (ja) 画像復号化方法、及びこの画像復号化方法を用いた画像復号化装置
JPH11112993A (ja) 動画像符号化装置及びその方法
JP2005175821A (ja) 画像符号化装置、画像符号化方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
J202 Request for trial for correction [limitation]
J301 Trial decision

Free format text: TRIAL DECISION FOR CORRECTION REQUESTED 20060728

Effective date: 20061130

FPAY Annual fee payment

Payment date: 20130502

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140418

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150416

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160418

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20170421

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20180503

Year of fee payment: 13