KR100969224B1 - 미싱 또는 무효 포워드 레퍼런스 픽쳐들을 갖는 ｂ 픽쳐들의 처리 방법 및 시스템 - Google Patents

미싱 또는 무효 포워드 레퍼런스 픽쳐들을 갖는 ｂ 픽쳐들의 처리 방법 및 시스템 Download PDF

Info

Publication number
KR100969224B1
KR100969224B1 KR1020080100081A KR20080100081A KR100969224B1 KR 100969224 B1 KR100969224 B1 KR 100969224B1 KR 1020080100081 A KR1020080100081 A KR 1020080100081A KR 20080100081 A KR20080100081 A KR 20080100081A KR 100969224 B1 KR100969224 B1 KR 100969224B1
Authority
KR
South Korea
Prior art keywords
picture
pictures
sequence
state
video
Prior art date
Application number
KR1020080100081A
Other languages
English (en)
Other versions
KR20090037838A (ko
Inventor
미첼(지지에) 양
셔먼 첸 (쒸에민)
Original Assignee
브로드콤 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 브로드콤 코포레이션 filed Critical 브로드콤 코포레이션
Publication of KR20090037838A publication Critical patent/KR20090037838A/ko
Application granted granted Critical
Publication of KR100969224B1 publication Critical patent/KR100969224B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Abstract

미싱(missing) 또는 무효(invalid) 포워드 레퍼런스 픽쳐들(forward reference pictures)을 갖는 B 픽쳐들의 처리 방법 및 시스템이 개시된다. 방법의 일 측면은 시퀀스 헤더(sequence header) 이후에 제1 I 픽쳐를 바로(immediately) 따르는 인접한 B 픽쳐들의 시퀀스의 디코딩을 포함할 수 있다. B 픽쳐들의 디코딩은 AVS1-P2 포맷 및/또는 랜덤 억세스 포인트들에서 비디오 편집 코드들을 핸들링할 수 있다. 본 발명의 몇몇 실시예들은 무효 또는 미싱 포워드 레퍼런스 픽쳐들을 참조하는 B 픽쳐들을 폐기(discard)할 수 있고, 한편 본 발명의 다른 실시예들은 B 픽쳐들을 보간(interpolation)할 수 있다. 무효 포워드 레퍼런스 픽쳐에 있어서, 픽쳐들을 생성하기 위한 보간 알고리즘은 무효 포워드 레퍼런스 픽쳐 및 백워드 레퍼런스 픽쳐를 사용할 수 있다. 미싱 디코딩된 포워드 레퍼런스 픽쳐에 있어서는, 랜덤 억세스에서와 같이, 픽쳐들을 생성하기 위한 보간 알고리즘은 백워드 레퍼런스 픽쳐를 사용할 수 있다.

Description

미싱 또는 무효 포워드 레퍼런스 픽쳐들을 갖는 Ｂ 픽쳐들의 처리 방법 및 시스템{METHOD AND SYSTEM FOR PROCESSING B PICTURES WITH MISSING OR INVALID FORWARD REFERENCE PICTURES}
본 발명의 어떤 실시예들은 비디오 데이터를 처리하는 것과 관련된다. 더 상세하게는, 본 발명의 어떤 실시예들은 미싱(missing) 또는 무효(invalid) 포워드 레퍼런스 픽쳐들(forward reference pictures)을 갖는 B 픽쳐들(B pictures)의 처리 방법 및 시스템과 관련된다.
AVS1-P2를 포함한 다양한 비디오 압축 방법들은 현재의 비디오 픽쳐와 레퍼런스 비디오 픽쳐 간의 차이점을 나타낼 수 있는 현재의 비디오 픽쳐용 데이터를 생성할 수 있다. AVS1-P2는 중국의 오디오 및 비디오 코딩 표준(Audio and Video Coding Standard, AVS) 워크그룹이 개발한 비디오 표준이다. AVS 워크그룹은 2002년 6월, 국가정보산업부 하의 중국의 과학기술부에 의해 허가되어 설립되었다. 그룹의 역할은 압축, 디코딩, 처리, 및 디지털 오디오-비디오 데이터의 표현에 대한 그러한 일반적인 기술 표준들을 수립(또는 수정)하는 것이다. 이러한 표준은 고해상 디지털 방송, 고밀도 레이저-디지털 저장 매체, 무선 광대역 다중매체 통신, 및 인터넷 광대역 스트림 매체에 적용된다.
AVS1-P2 표준에서는, 다음의 세 가지 기본 픽쳐 유형이 있다. 즉, 인트라(intra)(I), 예측(predictive)(P), 및 양방향-예측(Bi-predictive)(B) 픽쳐가 그것이다. 이는 기본적으로 초기 표준들의 I, P, 및 B 픽쳐 개념의 기능성 확장 뿐만 아니라 명명법(nomenclature)이다. P 픽쳐 코딩은 예측을 위해 포워드 픽쳐(forward picture)를 사용하며, 반면에 B 픽쳐 코딩은 포워드(forward) 또는 백워드(backward) 또는 양방향 예측을 사용할 수 있다.
초기 표준들과 유사하게, AVS1-P2는 채널 변화와 같은 특징들에 대한 랜덤 억세스 포인트(random access point, RAP)로서 시퀀스 헤더(sequence header)를 사용한다. 시퀀스 헤더 이후, P 픽쳐는 그러한 시퀀스 헤더 이후에 픽쳐를 단지 참조할 수 있는 반면, B 픽쳐는 시퀀스 헤더 이전에 픽쳐를 참조할 수 있다. 레퍼런스 비디오 픽쳐는 일시적으로 현재의 픽쳐에 대한 이전 및/또는 장래의 비디오 픽쳐일 수 있다. 그러나, 만약 레퍼런스 픽쳐로서 사용되는 이전의 비디오 픽쳐가 오류가 있다면, 현재의 비디오 픽쳐는 디코딩될 수 없다.
나아가 종래의 전통적인 접근방식의 한계 및 단점은, 도면들을 참조하여 본 명세서의 나머지 부분에서 제시되는 바와 같이 본 발명의 몇몇 측면들과 그러한 종래의 실시들과의 비교를 통해, 당해 기술 분야에서 숙련된 자에게 분명해질 것이다.
미싱(missing) 또는 무효(invalid) 포워드 레퍼런스 픽쳐들을 갖는 B 픽쳐들을 처리하기 위한 시스템 및/또는 방법은, 청구항들에서 더 완전히 제시되는 바와 같이, 도면들의 적어도 하나와 관련하여 실질적으로 보여지고 및/또는 설명된다.
일 측면에 따른 비디오 신호 처리 방법은,
압축된 비디오 데이터 내의 시퀀스 헤더(sequence header)를 수신한 이후에, 인접한 B 픽쳐들의 시퀀스가 상기 압축된 비디오 데이터 내의 제1 I 픽쳐를 바로(immediately) 따르는지를 결정하는 단계; 및
상기 결정에 근거하여 상기 인접한 B 픽쳐들의 시퀀스를 디코딩하는 단계를 포함하며, 여기서 상기 디코딩은 비디오 편집 코드들(video edit codes) 및/또는 랜덤 억세스 포인트들(random access points) 중의 하나 또는 둘 다를 핸들링하는 것을 포함한다.
바람직하게는, 상기 방법은 상기 제1 I 픽쳐를 바로 따르는 것으로 결정되는 상기 인접한 B 픽쳐들의 시퀀스에서 각각의 B 픽쳐를 폐기(discard)하는 단계를 더 포함한다.
바람직하게는, 상기 방법은, 상기 인접한 B 픽쳐들의 시퀀스에서 상기 각각의 B 픽쳐가 무효(invalid) 또는 미싱(missing) 중의 하나인 포워드 레퍼런스 픽쳐(forward reference picture)에 대한 레퍼런스를 나타낼 때, 상기 인접한 B 픽쳐 들의 시퀀스에서 각각의 B 픽쳐를 폐기하는 단계를 더 포함한다.
바람직하게는, 상기 방법은, 상기 인접한 B 픽쳐들의 시퀀스에서 상기 각각의 B 픽쳐가 무효(invalid) 또는 미싱(missing) 중의 하나인 포워드 레퍼런스 픽쳐(forward reference picture)에 대한 레퍼런스를 나타낼 때, 상기 인접한 B 픽쳐들의 시퀀스에서 각각의 B 픽쳐에 상응하는 디코딩된 픽쳐들을 보간(interpolate)하는 단계를 더 포함한다.
바람직하게는, 상기 보간은, 상기 포워드 레퍼런스 픽쳐가 무효이고 이용가능할 때 다음의 알고리즘을 사용하되, 상기 다음의 알고리즘은,
((m+1-n)/(m+1))*(디코딩된 포워드 레퍼런스 픽쳐) +
(n/(m+1))*(디코딩된 백워드(backward) 레퍼런스 픽쳐)이고,
여기서 파라미터 'm'은 상기 인접한 B 픽쳐들의 시퀀스에서 B 픽쳐의 개수이고, 파라미터 'n'은 상기 B 픽쳐의 1 기반의 인덱스(one-based index)이다.
바람직하게는, 상기 보간은 상기 포워드 레퍼런스 픽쳐가 미싱일 때 다음의 알고리즘을 사용하되, 상기 다음의 알고리즘은,
(n/(m+1))*(디코딩된 백워드 레퍼런스 픽쳐)이고,
여기서 파라미터 'm'은 상기 인접한 B 픽쳐들의 시퀀스에서 B 픽쳐들의 개수이고, 파라미터 'n'은 상기 B 픽쳐의 1 기반의 인덱스(one-based index)이다.
일측면에 따른 비디오 신호 처리 방법은, 제1 상태에서 랜덤 억세스의 표시(indication) 또는 AVS1-P2 포맷의 비디오 편집 코드 중의 하나를 검출한 이후에 상기 제1 상태로부터 제2 상태로 전환(transition)하는 단계;
상기 제2 상태에서 I 픽쳐, P 픽쳐, B 픽쳐 또는 비디오 편집 코드 중의 하나를 검출한 이후에 에러 상태로 전환하는 단계;
상기 제1 상태에서 랜덤 억세스의 표시 또는 AVS1-P2 포맷의 비디오 편집 코드 중의 하나의 상기 검출 이후에 바로(immediately) 상기 제2 상태에서 시퀀스 헤더(sequence header)를 검출한 이후에 제3 상태로 전환하는 단계;
상기 제3 상태에서 P 픽쳐, B 픽쳐, 비디오 편집 코드, 또는 시퀀스 헤더 중의 하나를 검출한 이후에 상기 에러 상태로 전환하는 단계;
상기 제3 상태에서 I 픽쳐를 검출한 이후에 제4 상태로 전환하는 단계;
상기 제4 상태에서 I 픽쳐 또는 P 픽쳐 중의 하나를 검출한 이후에 상기 제1 상태로 전환하는 단계;
상기 B 픽쳐가 포워드 레퍼런스 픽쳐를 참조할 때, 상기 제4 상태에서 B 픽쳐를 검출한 이후에 제5 상태로 전환하는 단계;
상기 제5 상태에서 I 픽쳐 또는 P 픽쳐 중의 하나를 검출한 이후에 상기 제1 상태로 전환하는 단계; 및
상기 B 픽쳐가 포워드 레퍼런스 픽쳐를 참조하지 않을 때, 상기 제5 상태에서 B 픽쳐를 검출한 이후에 상기 제4 상태로 전환하는 단계를 포함한다.
바람직하게는, 상기 방법은 상기 제4 상태 및 상기 제5 상태에서 검출된 각각의 상기 B 픽쳐를 폐기하는 단계를 더 포함한다.
바람직하게는, 상기 방법은 상기 포워드 레퍼런스 픽쳐를 참조하는 상기 제5 상태에서 검출된 각각의 상기 B 픽쳐를 폐기하는 단계를 더 포함한다.
바람직하게는, 상기 방법은, 상기 포워드 레퍼런스 픽쳐가 무효 또는 미싱 중의 하나일 때, 상기 제4 상태 또는 제5 상태 중의 하나에서 검출된 상기 B 픽쳐에 상응하는 디코딩된 픽쳐를 보간하는 단계를 더 포함한다.
바람직하게는, 상기 보간은, 만약 디코딩된 상기 포워드 레퍼런스 픽쳐가 무효이지만 이용가능하다면 다음의 알고리즘을 사용하되, 상기 다음의 알고리즘은,
((m+1-n)/(m+1))*(디코딩된 포워드 레퍼런스 픽쳐) +
(n/(m+1))*(디코딩된 백워드 레퍼런스 픽쳐)이고,
여기서 파라미터 'm'은 시퀀스 헤더 이후의 제1 I 픽쳐 이후에 인접한 B 픽쳐들의 시퀀스에서 B 픽쳐의 개수이고, 파라미터 'n'은 상기 B 픽쳐의 1 기반의 인덱스(one-based index)이다.
바람직하게는, 상기 보간은 상기 포워드 레퍼런스 픽쳐가 미싱일 때 다음의 알고리즘을 사용하되, 상기 다음의 알고리즘은,
(n/(m+1))*(디코딩된 백워드 레퍼런스 픽쳐)이고,
여기서 파라미터 'm'은 상기 인접한 B 픽쳐들의 시퀀스에서 B 픽쳐의 개수이고, 파라미터 'n'은 상기 B 픽쳐의 1 기반의 인덱스(one-based index)이다.
일측면에 따른 비디오 신호 처리 시스템은,
인접한 B 픽쳐들의 시퀀스가, 압축된 비디오 데이터 내에서 시퀀스 헤더(sequence header) 이후에 제1 I 픽쳐를 바로 따르는지의 결정을 가능하게 하며, 상기 결정에 근거하여 상기 인접한 B 픽쳐들의 시퀀스를 디코딩하는 것을 가능하게 하는 하나 또는 그 이상의 회로들을 포함하며, 여기서 상기 디코딩은 비디오 편집 코드들 및/또는 랜덤 억세스 포인트들 중의 하나 또는 둘 다를 핸들링한다.
바람직하게는, 상기 하나 또는 그 이상의 회로들은 상기 제1 I 픽쳐를 바로 따르는 것으로 결정되는 상기 인접한 B 픽쳐들의 시퀀스에서 각각의 B 픽쳐의 폐기(discard)를 가능하게 한다.
바람직하게는, 상기 하나 또는 그 이상의 회로들은, 상기 인접한 B 픽쳐들의 시퀀스에서 각각의 B 픽쳐가 무효(invalid) 또는 미싱(missing) 중의 하나인 포워드 레퍼런스 픽쳐에 대한 레퍼런스를 나타낼 때, 상기 인접한 B 픽쳐들의 시퀀스에서 상기 각각의 B 픽쳐의 폐기(discard)를 가능하게 한다.
바람직하게는, 상기 하나 또는 그 이상의 회로들은, 상기 인접한 B 픽쳐들의 시퀀스에서 각각의 B 픽쳐가 무효 또는 미싱 중의 하나인 포워드 레퍼런스 픽쳐에 대한 레퍼런스를 나타낼 때, 상기 인접한 B 픽쳐들의 시퀀스에서 상기 각각의 B 픽쳐에 상응하는 디코딩된 픽쳐들의 보간을 가능하게 한다.
바람직하게는, 상기 하나 또는 그 이상의 회로들은 디코딩된 픽쳐의 보간을 가능하게 하는 하나 또는 그 이상의 프로세서들을 포함하며, 여기서 상기 보간은, 상기 포워드 레퍼런스 픽쳐가 무효이고 이용가능할 때 다음의 알고리즘을 사용하되, 상기 다음의 알고리즘은,
((m+1-n)/(m+1))*(디코딩된 포워드 레퍼런스 픽쳐) +
(n/(m+1))*(디코딩된 백워드 레퍼런스 픽쳐)이고,
여기서 파라미터 'm'은 상기 인접한 B 픽쳐들의 시퀀스에서 B 픽쳐의 개수이고, 파라미터 'n'은 상기 B 픽쳐의 1 기반의 인덱스(one-based index)이다.
바람직하게는, 상기 하나 또는 그 이상의 회로들은 디코딩된 픽쳐의 보간을 가능하게 하는 하나 또는 그 이상의 프로세서들을 포함하며, 여기서 상기 보간은 상기 포워드 레퍼런스 픽쳐가 미싱일 때 다음의 알고리즘을 사용하되, 상기 다음의 알고리즘은,
(n/(m+1))*(디코딩된 백워드 레퍼런스 픽쳐)이고,
여기서 파라미터 'm'은 상기 인접한 B 픽쳐들의 시퀀스에서 B 픽쳐의 개수이고, 파라미터 'n'은 상기 B 픽쳐의 1 기반의 인덱스(one-based index)이다.
일 측면에 따른 비디오 신호 처리 방법은,
인접한 B 픽쳐들의 시퀀스에서 특정 B 픽쳐가 그것이 포워드 레퍼런스 픽쳐를 참조하지 않는다는 것을 나타내도록 생성될 때, 상기 특정 B 픽쳐 이후 상기 인접한 B 픽쳐들의 시퀀스의 일부로서 생성된 임의의 B 픽쳐가 또한 그것이 상기 포워드 레퍼런스 픽쳐를 참조하지 않는다는 것을 나타내도록 상기 인접한 B 픽쳐들의 시퀀스를 생성하는 단계를 포함하되, 여기서 상기 인접한 B 픽쳐들의 시퀀스는 시퀀스 헤더(sequence header) 이후 제1 I 픽쳐 이후에 생성된다.
일 측면에 따른 비디오 신호 처리 시스템은,
인접한 B 픽쳐들의 시퀀스에서 특정 B 픽쳐가 그것이 포워드 레퍼런스 픽쳐 를 참조하지 않는다는 것을 나타내기 위해 생성될 때, 상기 특정 B 픽쳐 이후에 상기 인접한 B 픽쳐들의 시퀀스의 일부로서 생성된 B 픽쳐가 또한 그것이 상기 포워드 레퍼런스 픽쳐를 참조하지 않는다는 것을 나타내도록 상기 인접한 B 픽쳐들의 시퀀스의 생성을 가능하게 하는 하나 또는 그 이상의 회로들을 포함하되, 여기서 상기 인접한 B 픽쳐들의 시퀀스는 시퀀스 헤더(sequence header) 이후 제1 I 픽쳐 이후에 생성된다.
예시된 실시예들의 상세부분들 뿐만 아니라 본 발명의 다양한 이점들, 측면들 및 새로운 특징들은 본 발명의 설명 및 도면들로부터 더 충분히 이해될 것이다.
본 발명의 어떤 실시예들은 미싱(missing) 또는 무효(invalid) 포워드 레퍼런스 픽쳐들(foward reference pictures)을 갖는 B 픽쳐들을 처리하기 위한 방법 및 시스템에서 발견될 수 있다. 본 발명의 측면들은 인접한 B 픽쳐들의 시퀀스의 디코딩을 포함할 수 있고, 여기서 B 픽쳐들은 시퀀스 헤더(sequence header) 이후에 제1 I 픽쳐를 바로(immediately) 따를 수 있다. B 픽쳐들의 디코딩은, 예를 들면, AVS1-P2 포맷의 비디오 데이터, 및/또는 랜덤 억세스 포인트들에 대해 비디오 편집 코드들을 핸들링할 수 있다. 비디오 편집 코드는, 예를 들면, 후속 B 픽쳐들이 무효 포워드 레퍼런스 픽쳐들을 가질 수 있는지에 관한 정보를 포함할 수 있다. 랜덤 억세스 포인트에서 비디오 디코딩은, 예를 들면, 포워드 레퍼런스 픽쳐가 디 코딩되지 않을 수 있는 시퀀스 헤더에서 시작할 수 있다. 따라서, 포워드 레퍼런스 픽쳐는 미싱일 수 있다.
본 발명의 다양한 실시예들은 시퀀스 헤더를 따르는 제1 I 픽쳐 바로 이후에 인접한 B 픽쳐들의 시퀀스 각각의 폐기(discard)를 가능하게 할 수 있다. 본 발명의 다른 실시예들은, 인접한 B 픽쳐들의 시퀀스 각각에 대한 포워드 레퍼런스 픽쳐가 무효 또는 미싱인지를 결정하는 것을 가능하게 할 수 있다. 만약 그래서, B 픽쳐가 그것이 무효 또는 미싱 포워드 레퍼런스 픽쳐를 참조한다는 것을 나타내면 인접한 시퀀스에서의 B 픽쳐들이 폐기될 수 있다. 본 발명의 다른 실시예들은 포워드 및 백워드 레퍼런스 픽쳐들로부터 B 픽쳐들을 보간할 수 있다.
무효 포워드 레퍼런스 픽쳐에 있어서, 인접한 두 개의 B 픽쳐들의 시퀀스에서 제1 B 픽쳐에 대해 보간된 디코딩된 픽쳐는 (2/3)*(디코딩된 포워드 레퍼런스 픽쳐) + (1/3)*(디코딩된 백워드 레퍼런스 픽쳐)로서 설명될 수 있다. 이와 유사하게, 무효 포워드 레퍼런스 픽쳐에 있어서, 인접한 B 픽쳐들의 시퀀스에서 제2 B 픽쳐에 대해 보간된 디코딩된 픽쳐는 (1/3)*(디코딩된 포워드 레퍼런스 픽쳐) + (2/3)*(디코딩된 백워드 레퍼런스 픽쳐)로서 설명될 수 있다. 만약 디코딩된 포워드 레퍼런스 픽쳐가 미싱이라면, 예를 들어, 랜덤 억세스가 발생할 때, 제1 B 픽쳐는 (1/3)*(디코딩된 백워드 레퍼런스 픽쳐)로 보간될 수 있고, 제2 B 픽쳐는 (2/3)*(디코딩된 백워드 레퍼런스 픽쳐)로서 보간될 수 있다.
이는 무효 포워드 레퍼런스 픽쳐를 참조할 수 있는 각각의 B 픽쳐에 대해서 (m+1-n)/(m+1)*(디코딩된 포워드 레퍼런스 픽쳐) + n/(m+1)*(디코딩된 백워드 레퍼 런스 픽쳐)로, 그리고 미싱 포워드 레퍼런스 픽쳐를 참조할 수 있는 각각의 B 픽쳐에 대해서 n/(m+1)*(디코딩된 백워드 레퍼런스 픽쳐)로 일반화될 수 있다. 파라미터 'm'은 인접한 B 픽쳐들의 시퀀스에서 B 픽쳐의 개수일 수 있고, 파라미터 'n'은 인접한 시퀀스에서 B 픽쳐의 위치를 나타낼 수 있다. 예를 들면, 제1 B 픽쳐는 n=1을 가질 수 있고, 제2 B 픽쳐는 n=2를 가질 수 있다.
도 1은 모바일 단말기의 일부분의 예시적인 다이어그램으로서, 이는 본 발명의 일 실시예와 관련하여 이용될 수 있다. 도 1을 참조하면, 모바일 단말기(100)가 보여진다. 모바일 단말기(100)는 이미지 센서(110), 이미지 프로세서(112), 프로세서(114), 및 메모리 블록(116)을 포함할 수 있다. 이미지 센서(110)는 예를 들면, 적색, 녹색, 및 청색과 같은 복수의 컬러들에서 광 강도(light intensity)의 캡쳐를 가능하게 할 수 있는 적절한 회로 및/또는 로직을 포함할 수 있다. 캡쳐된 광 강도 레벨들은 비디오 및/또는 정지 사진 출력으로 더 처리될 수 있다. 이러한 컬러 레벨들은, 예를 들면, YUV 컬러 스페이스로 변환될 수 있으며, 결과적인 이미지 정보는, 예를 들면, 추가 처리를 위해 이미지 프로세서(112)로 통신될 수 있다.
이미지 프로세서(112)는 비디오 정보의 처리를 가능하게 할 수 있는 적절한 회로 및/또는 로직을 포함할 수 있다. 이미지 프로세서(112)는 비디오 코더 블록(112a) 및 비디오 디코더 블록(112b)을 포함할 수 있다. 비디오 코더 블록(112a)은 비디오 데이터를 압축하는 것을 가능하게 할 수 있는 적절한 로직, 회로, 및/또는 코드를 포함할 수 있다. 비디오 디코더 블록(112b)은 디스플레이를 위해 비디오 데이터를 압축해제(decompressing)하는 것을 가능하게 할 수 있는 적절한 로직, 회 로, 및/또는 코드를 포함할 수 있다. 프로세서(114)는 모바일 단말기(100)의 다양한 부분들의 동작의 모드를 결정할 수 있다. 예를 들면, 프로세서(114)는 메모리 블록(116)에 대해 비디오 데이터의 직접 메모리 억세스(direct memory access, DMA) 전송을 허용하기 위해, 이미지 프로세서 블록(112)에서 데이터 레지스터들을 셋업할 수 있다. 프로세서는 또한 이미지들의 캡쳐를 개시하기 위해 이미지 센서(110)로 명령들을 전달할 수 있다. 메모리 블록(116)은 이미지 프로세서(112)에 의해 처리되고 전달될 수 있는 이미지 데이터를 저장하기 위해 사용될 수 있다. 또한 메모리 블록(116)은 프로세서(114)에 의해 사용될 수 있는 코드 및/또는 데이터를 저장하기 위해 사용될 수 있다. 메모리 블록(116)은 또한 모바일 단말기(100)의 다른 기능성들을 위해 데이터를 저장하도록 사용될 수 있다. 예를 들면, 메모리 블록(114)은 음성 통신에 상응하는 데이터를 저장할 수 있다.
작동시, 프로세서(114)는 이미지 센서(110)에 의해 이미지 캡처를 개시할 수 있다. 이미지 센서(110)는 이미지 프로세서(112)로 캡쳐된 이미지들에 상응하는 비디오 데이터를 통신할 수 있다. 이미지 프로세서(112)에서 비디오 코더 블록(112a)은, 예를 들면, 스토리지 및/또는 또 다른 장치로의 통신을 위해 비디오 데이터를 압축할 수 있다. 이미지 프로세서(112)는 또한 모바일 단말기(100)로 통신될 수 있는 비디오 데이터를 디코딩할 수 있다. 디코딩은 비디오 디코더 블록(112b)을 통해 달성될 수 있고, 비디오 디코딩 블록(112b)은 무효 또는 미싱 포워드 레퍼런스 픽쳐들일 수 있는 B 픽쳐들을 처리하기 위한 방법을 포함할 수 있다. 이미지 프로세서(112)에 의해 무효 또는 미싱 포워드 레퍼런스 픽쳐를 갖는 B 픽쳐의 처리는 도 2a-6을 참조하여 설명된다. 메모리 블록(116)에서 비디오 데이터는, 예를 들면, 프로세서(114)에 의해 더 처리될 수 있다.
도 2a는 비디오 픽쳐들의 랜덤 억세스를 도해하는 다이어그램으로서, 이는 본 발명의 일 실시예와 관련하여 이용될 수 있다. 도 2a를 참조하면, 시퀀스 헤더(210)를 포함하는 랜덤 억세스 포인트를 가지며 디스플레이를 위해 디코딩될 수 있는 예시적인 비디오 정보(200)의 시퀀스가 보여진다. MPEG1, MPEG2, 및 AVS1-P2를 포함하여, 많은 비디오 코딩 표준들이 픽쳐 프레임들을 생성하기 위해 포워드 및 백워드 레퍼런스들을 사용하므로, 비디오 디코딩은 비디오의 디코딩이 시작될 수 있는 특정 포인트들에 대해 제어될 수 있다. 예를 들면, 비디오 코딩에 의해 생성될 수 있는 비디오 픽쳐들의 몇가지 유형들은, 인트라(intra, I) 픽쳐, 양방향-예측(bi-predictive)(B) 픽쳐, 및 예측(predictive)(P) 픽쳐를 포함할 수 있다.
I 픽쳐들은 픽쳐를 디스플레이하기 위한 완전한 정보를 포함할 수 있다. P 픽쳐는 선행 I 또는 P 레퍼런스 픽쳐와 현재의 P 픽쳐 사이의 차이점을 나타내는 정보를 포함할 수 있다. B 픽쳐는 장래의 I 또는 P 레퍼런스 픽쳐와 현재의 P 픽쳐 뿐만 아니라, 선행 I 또는 P 레퍼런스 픽쳐와 현재의 P 픽쳐 사이의 차이점을 나타내는 정보를 포함할 수 있다. P 픽쳐 또는 B 픽쳐가 P 또는 B 픽쳐 이후에 디스플레이될 수 있는 픽쳐를 참조하는 것이 필요할 수 있으므로, 코딩된 비디오 파일은 현재의 픽쳐가 이미 디코딩된 장래의 픽쳐를 참조할 수 있도록 시퀀스의 밖에 있을 수 있는 픽쳐들을 포함할 수 있다.
도 2a를 참조하면, 압축된 비디오 데이터를 디코딩하기 위한 정보를 포함할 수 있는 시퀀스 헤더(210)는, 비디오 정보(200)의 시작일 수 있다. 시퀀스 헤더(210)는, 예를 들면, 압축해제된 비디오 픽쳐의 폭과 높이를 포함할 수 있다. 시퀀스 헤더(210)를 따르는 비디오 픽쳐들은, 예를 들면, I 픽쳐(212), B 픽쳐들(214, 216), P 픽쳐(218), 및 B 픽쳐들(220, 222)일 수 있다. 또한, 예를 들어, B 픽쳐들(214 및 216)에 대한 레퍼런스로서 제공될 수 있는 이전 비디오 시퀀스로부터의 레퍼런스 픽쳐(205)가 보여진다.
픽쳐는 디스플레이될 때 그 자신에 대한 장래의 하나 또는 그 이상의 픽쳐들을 참조하는 것이 필요할 수 있으므로, 압축 방법들은 장래의 픽쳐를 압축할 수 있고 그것을 참조하는 P/B 픽쳐 이전의 파일에 그 픽쳐를 배치할 수 있다. 예를 들면, 비디오 정보(200)의 시퀀스에서의 픽쳐들이 I 픽쳐(212), B 픽쳐(214), B 픽쳐(216), P 픽쳐(218), B 픽쳐(220), 및 B 픽쳐(222)로서 전달될 때, 이러한 픽쳐들이 디스플레이될 수 있는 순서는 다를 수 있다. 그러한 픽쳐들은, 예를 들면, 먼저 B 픽쳐(214), 그 후 B 픽쳐(216), I 픽쳐(212), B 픽쳐(220), B 픽쳐(222), 및 P 픽쳐(224)로 디스플레이될 수 있다.
몇몇 경우들에서, 모바일 단말기(100)의 사용자는, 비디오가 비디오 파일의 시작이 아닐 수 있는 비디오에서의 랜덤 억세스 포인트로부터 디스플레이되어야 한다는 것을 나타낼 수 있다. 예를 들면, 사용자는 비디오의 시작시 어떤 타임 오프셋으로부터 비디오를 보기를 원할 수 있다. 이러한 경우에, 비디오 디스플레이는 사용자에 의해 선택된 시간에 가까울 수 있는 시퀀스 헤더, 예를 들면, 시퀀스 헤더(210)에서 시작하는 데이터를 처리하는 것과 관련될 수 있다. 랜덤 억세스 포인 트로서 선택된 특정 시퀀스 헤더는 독립적인 디자인일 수 있다. 시퀀스 헤더는 비디오 디코더 블록(112b)에 의해 정확한 압축해제를 위해 유용한 정보를 포함할 수 있다. P 픽쳐(218)는 시퀀스 헤더(210) 이후에 비디오 시퀀스(200)에서의 다른 픽쳐들을 참조할 수 있다. 그러나, B 픽쳐들(214 및 216)은 시퀀스 헤더(210) 이전에 이전 비디오 시퀀스에서의 포워드 레퍼런스 픽쳐(205), 그리고 백워드 레퍼런스 픽쳐(212)를 또한 참조할 수 있다.
따라서, 압축해제될 비디오의 일부분이 레퍼런스 픽쳐(205)를 참조할 필요가 있을 수 있으므로, B 픽쳐들(214, 216)은 정확하게 압축해제되지 않을 수 있다. 그러나, B 픽쳐는 I 픽쳐들과 B 픽쳐들 어디에도 레퍼런스로서 제공되지 않을 수 있으므로, 압축해제된 B 픽쳐들(214, 216)에서의 어떤 아티팩트들(artifacts)은 그러한 픽쳐들(214, 216)로 국한되지 않을 수 있다.
도 2b는 본 발명에 따른 비디오 픽쳐들의 편집의 영향을 도해하는 다이어그램이다. 도 2b를 참조하면, 디스플레이를 위해 압축해제될 수 있는 예시적인 비디오 정보(250)가 보여진다. 예를 들면, 비디오 정보(250)는 제1 시퀀스 헤더(260), I 픽쳐(262), B 픽쳐들(264, 266), P 픽쳐(268), B 픽쳐들(270, 272), 비디오 편집 코드(VEC)(274), 제2 시퀀스 헤더(276), I 픽쳐(278), 및 B 픽쳐들(280, 282)을 포함할 수 있다. 비디오 정보(250)에 대한 압축해제된 픽쳐들은, 먼저 B 픽쳐(266)에 선행하여 B 픽쳐(264), I 픽쳐(262), B 픽쳐(270), B 픽쳐(272), P 픽쳐(268), B 픽쳐(280), B 픽쳐(282), 및 I 픽쳐(278)로써 디스플레이될 수 있다.
시퀀스 헤더들(260, 276) 및 픽쳐들(262 ... 272, 278 ... 282)은 도 2a를 참조하여 설명된 상응하는 구성요소들과 유사할 수 있다. VEC(274)는, 예를 들면, 중국의 오디오 및 비디오 코딩 표준 워크그룹에 의해 개발된 AVS1-P2 비디오 표준과 같은 몇몇 표준들에 의해 사용될 수 있다. 옵션일 수 있는 VEC는, I 픽쳐를 바로 따르는 연속적인 B 픽쳐들에 대해 무효 또는 미싱 포워드 레퍼런스 픽쳐들이 있을 수 있다는 것을 나타낼 수 있다. 예를 들면, VEC(274)는 B 픽쳐들(280, 282)이 정확하게 디코딩되지 않을 수 있다는 것을 나타낼 수 있다. 예를 들어, 만약 픽쳐들(262 ... 272)을 포함하는 비디오 파일의 일부분이, 사용된 압축이 따르는 비디오 픽쳐들에 대한 압축에 비해 다르도록 편집되거나, 만약 그러한 부분이 삭제된다면, 이러한 것이 발생할 수 있다. 따라서, B 픽쳐들(280, 282)은, 비록 포워드 레퍼런스 픽쳐(268)가 픽쳐 버퍼에서 디코딩 및 저장될 수 있지만, 더이상 포워드 레퍼런스 픽쳐(268)에 의존하지 않을 수 있다.
AVS1-P2 비디오 표준은 B 픽쳐들에게 노_포워드_레퍼런스 플래그(no_forward_reference flag)를 사용하도록 허용할 수 있다. 만약 B 픽쳐가 포워드 레퍼런스 픽쳐를 참조하지 않는다면, 노_포워드_레퍼런스 플래그가 표명(assert)될 수 있다. 만약 노_포워드_레퍼런스 플래그가 표명되지 않는다면, B 픽쳐는 포워드 레퍼런스 픽쳐를 참조할 수 있다. 따라서, 노_포워드_레퍼런스 플래그가 표명되는지를 검출함으로써, 비디오 디코더 블록(112b)은 포워드 레퍼런스 픽쳐가 무효 또는 미싱인 경우에 대해 적절한 액션들을 취할 수 있다. 취해진 액션들은 도 3-6을 참조하여 개시된다.
도 3은 본 발명의 일 실시예에 따른 미싱 또는 무효 포워드 레퍼런스 픽쳐들 을 갖는 B 픽쳐들의 디코딩을 도해하는 플로우 다이어그램이다. 도 3을 참조하면, 단계 300 내지 310이 보여진다. 단계 300에서, 랜덤 억세스는 비디오 디코더 블록(112b)에 대해 나타낼 수 있고, 또는 VEC(274)와 같은 VEC가 검출될 수 있다. 단계 300은 또한 I 및/또는 P 픽쳐들이 디코딩될 수 있는 단계일 수 있다. 단계 302에서, 비디오 디코더 블록(112b)은 무효 또는 미싱 포워드 레퍼런스 픽쳐들을 갖는 B 픽쳐들을 디코딩할 수 있고, 후속 시작 코드가 시퀀스 헤더에 상응하는지를 결정할 수 있다. 만약 후속 시작 코드가 시퀀스 헤더에 상응하지 않으면, 그 다음 단계는 단계 304일 수 있다. 만약 후속 시작 코드가 시퀀스 헤더, 예를 들면 시퀀스 헤더(276)에 상응한다면, 그 다음 단계는 단계 306일 수 있다.
단계 304는 예상치 않은 시작 코드를 만날 경우 에러 핸들링을 용이하게 할 수 있는 에러 상태일 수 있다. 에러 처리는 독립적인 디자인일 수 있다. 따라서, 단계 304에서, 에러 핸들링 과정은 시퀀스 헤더에 대한 예상되는 시작 코드가 검출되지 않는 경우에 실행될 수 있다. 단계 306에서, 비디오 디코더 블록(112b)은 다음의 시작 코드가 I 픽쳐에 상응하는지를 결정할 수 있다. 만약 그렇다면, I 픽쳐는 디코딩될 수 있고 그 다음 단계는 308일 수 있다. 만약 그렇지 않다면, 그 다음 단계는 단계 304일 수 있다. 단계 304에서, 에러 핸들링 과정은 예상되는 I 픽쳐가 무효 또는 미싱일 수 있는 경우에 실행될 수 있다.
단계 308에서, 만약 B 픽쳐가 검출되고, 노_포워드_레퍼런스 플래그가 표명되지 않는다면, 그 다음 단계는 단계 310일 수 있다. 만약 노_포워드_레퍼런스 플래그가 표명된다면, B 픽쳐는 처리될 수 있다. B 픽쳐들의 처리는 도 4-6을 참조하 여 개시된다. 만약 그렇지 않고, I 픽쳐 및/또는 P 픽쳐가 검출된다면, I 및/또는 P 픽쳐들을 처리하고 랜덤 억세스 포인트 표시(indication) 또는 VEC의 검출을 대기하기 위해, 그 다음 단계는 단계 300일 수 있다.
단계 310에서, 만약 B 픽쳐가 검출되고, 노_포워드_레퍼런스 플래그가 표명된다면, 그 다음 단계는 단계 308일 수 있다. 만약 노_포워드_레퍼런스 플래그가 표명되지 않는다면, B 픽쳐가 처리될 수 있다. 유효 포워드 레퍼런스 픽쳐가 없을 수 있는 B 픽쳐들의 처리는 도 4-6을 참조하여 개시된다. 그렇지 않고, 만약 I 픽쳐 또는 P 픽쳐가 검출된다면, I 및/또는 P 픽쳐들을 처리하고, 랜덤 억세스 포인트 표시 또는 VEC의 검출을 대기하기 위해, 그 다음 단계는 단계 300일 수 있다.
도 4는 본 발명의 일 실시예에 따른 복수의 B 픽쳐들의 디스플레이 방법들 중의 하나를 도해하는 플로우 다이어그램이다. 도 4를 참조하면, 단계 400 내지 406이 보여지고, 이들은 단계 308 및/또는 310의 일부일 수 있다. 단계 400에서, 현재의 픽쳐가 B 픽쳐인지에 대한 결정이 이뤄질 수 있다. 만약 B 픽쳐가 검출된다면, 그 다음 단계는 단계 402일 수 있다. 그렇지 않다면, 그 다음 단계는 단계 300일 수 있다. 단계 402에서, B 픽쳐가 포워드 레퍼런스 픽쳐를 참조할 수 있는지에 대한 결정이 이뤄질 수 있다. 만약 포워드 레퍼런스 픽쳐를 참조한다면, 그 다음 단계는 단계 404일 수 있다. 그렇지 않다면, 그 다음 단계는 단계 406일 수 있다. 단계 404에서, B 픽쳐는 폐기(discard)될 수 있다. 그 다음 단계는 단계 310일 수 있다. 단계 406에서, B 픽쳐가 또한 폐기될 수 있지만, 그 다음 단계는 단계 308일 수 있다. 따라서, 예를 들면, B 픽쳐들(280, 282)과 같이, 시퀀스 헤더를 따르는 I 프레임 이후에 바로 인접한 B 픽쳐들의 시퀀스가 폐기될 수 있다.
비록 두 개의 분리된 상태들(308, 310)이 이 방법에서 사용될 수 있지만, 본 발명의 다양한 실시예들은 B 픽쳐가 포워드 레퍼런스 픽쳐를 참조하는가의 여부에 관계없이 폐기될 수 있으므로 상태들(308, 310)을 포함하는 단일 상태를 또한 사용할 수 있다.
도 5a는 본 발명의 일 실시예에 따른 미싱 또는 무효 포워드 레퍼런스 픽쳐들인 B 픽쳐들에 대한 복수의 디스플레이 방법들 중의 하나를 도해하는 플로우 다이어그램이다. 도 5a를 참조하면, 단계들 500 내지 504가 보여지고, 이들은 단계 310의 일부분일 수 있다. 단계 500에서, 현재의 픽쳐가 B 픽쳐인지에 관한 결정이 이뤄질 수 있다. 만약 B 픽쳐라면, 그 다음 단계는 단계 502일 수 있다. 그렇지 않다면, 그 다음 단계는 단계 300일 수 있다. 단계 502에서, B 픽쳐가 포워드 레퍼런스 픽쳐를 참조할 수 있는지의 결정이 이뤄질 수 있다. 만약 포워드 레퍼런스 픽쳐를 참조하면, 그 다음 단계는 단계 504일 수 있다. 그렇지 않다면, 그 다음 단계는 단계 308일 수 있다. 단계 504에서, B 픽쳐는 폐기될 수 있다. 단계 310에서 B 픽쳐들이 포워드 레퍼런스 픽쳐를 참조하는 B 픽쳐들일 수 있으므로, 이러한 방법은 무효 또는 미싱 포워드 레퍼런스 픽쳐들을 참조할 수 있는 그러한 B 픽쳐들을 선택적으로 폐기할 수 있다. 예를 들면, 시퀀스 헤더 이후에 바로 인접한 B 픽쳐들의 시퀀스, 예를 들면, B 픽쳐들(280, 282)과 같은 것은, 만약 그들이 무효 또는 미싱 포워드 레퍼런스 픽쳐를 참조한다는 것을 나타낸다면 폐기될 수 있다. 예를 들면, 단계 308에서 처리된 B 픽쳐들과 같이, 포워드 레퍼런스 픽쳐들을 참조하지 않는 그러한 B 픽쳐들은 압축해제되거나 디스플레이될 수 있다.
도 5b는 본 발명의 일 실시예에 따른 미싱 또는 무효 포워드 레퍼런스 픽쳐들인 B 픽쳐들에 대한 복수의 디스플레이 방법들 중의 하나에 상응하는 예시적인 코딩 방법을 도해하는 플로우 다이어그램이다. 도 5b를 참조하면, B 픽쳐들에 대한 비-강하(non-descending) 노_포워드_레퍼런스 플래그의 생성을 개시할 수 있는 단계들(510 내지 524)이 보여진다. B 픽쳐에서 노_포워드_레퍼런스 플래그를 표명하는 것은, 예를 들면, B 픽쳐가 포워드 레퍼런스 픽쳐를 참조하지 않을 수 있다는 것을 나타낼 수 있다. 예를 들면, 만약 B 픽쳐(280)가 표명된 노_포워드_레퍼런스 플래그를 포함함다면, B 픽쳐(280)는 P 픽쳐(268)를 참조함이 없이 디코딩될 수 있다. 이와 유사하게, 만약 B 픽쳐(280)가 표명되지 않은 노_포워드_레퍼런스 플래그를 포함한다면, B 픽쳐(280)는 적절한 디코딩을 위해 P 픽쳐(268)를 참조할 필요가 있을 수 있다. 이는, 예를 들면, 저더(judder)를 경감 또는 제거할 수 있다. 저더는 B 픽쳐들에서 노_포워드_레퍼런스 플래그의 랜덤 설정에 기인하여 디코딩된 비디오 픽쳐들의 디스플레이 동안 발생할 수 있다. 따라서, 만약 인접한 B 픽쳐들의 시퀀스에서의 B 픽쳐가 노_포워드_레퍼런스 플래그를 표명했다면, 인접한 B 픽쳐들의 시퀀스에서의 B 픽쳐들의 나머지는 또한 표명된 노_포워드_레퍼런스 플래그를 가질 수 있다.
단계 510에서, 비디오 시퀀스에 대한 시퀀스 헤더가 생성될 수 있다. 단계 512에서, 마스터(master) 노_포워드_레퍼런스 플래그는 비디오 코더 블록(112a)에서 표명해제(deassert)될 수 있다. 이러한 마스터 플래그의 상태는 또한 각각의 B 픽쳐 헤더에 있을 수 있는 노_포워드_레퍼런스 플래그에 대해 복사될 수 있다. 단계 514에서, 만약 I 픽쳐 또는 P 픽쳐가 생성될 것이라면, 그 다음 단계는 단계 516일 수 있다. 그렇지 않다면, 그 다음 단계는 단계 518일 수 있다. 단계 516에서, I 픽쳐 또는 P 픽쳐는 비디오 시퀀스에 대해 적절하게 생성될 수 있다. 그 다음 단계는 단계 514일 수 있다. 단계 518에서, 예를 들면, 비디오 코더 블록(112a)은 B 픽쳐, 예를 들면 B 픽쳐(280)이, 예를 들면, P 픽쳐(268)와 같은 포워드 레퍼런스 픽쳐를 참조할 수 있는지를 결정할 수 있다. 만약 포워드 레퍼런스 픽쳐를 참조한다면, 그 다음 단계는 단계 520일 수 있다. 그렇지 않다면, 그 다음 단계는 단계 522일 수 있다.
단계 520에서, 예를 들면, 비디오 코더 블록(112a)은 비디오 코더 블록(112a)에서의 마스터 노_포워드_레퍼런스 플래그가 표명될 수 있는지를 결정할 수 있다. 만약 마스터 노_포워드_레퍼런스 플래그가 표명된다면, 그 다음 단계는 단계 522일 수 있다. 그렇지 않다면, 그 다음 단계는 단계 524일 수 있다. 단계 522에서, B 픽쳐 헤더에서의 노_포워드_레퍼런스 플래그는 표명된 상태로 세팅될 수 있다. 따라서, B 픽쳐 헤더들에서의 노_포워드_레퍼런스 플래그는, 일단 마스터 노_포워드 레퍼런스 플래그가 표명된 경우, B 픽쳐가 포워드 레퍼런스 픽쳐를 참조하는지 아닌지에 관계없이 표명된 상태로 세팅될 수 있다. 단계 524에서, 만약 비디오 코더 블록(112a)이 생성할 그 다음 데이터 블록이 시퀀스 헤더라면, 그 다음 단계는 단계 510일 수 있다. 그렇지 않다면, 그 다음 단계는 514일 수 있다.
도 6은 본 발명의 일 실시예에 따른 무효 또는 미싱 포워드 레퍼런스 픽쳐들 인 B 픽쳐들에 대한 복수의 디스플레이 방법들 중의 하나를 도해하는 플로우 다이어그램이다. 도 6을 참조하면, 단계들 600 내지 610이 보여지며, 이들은 예를 들면 단계 310의 일부분일 수 있다. 단계들 600 내지 610은, 예를 들면, 도 2a 및/또는 도 2b를 참조하여 보여진 것과 같은 비디오 시퀀스를 처리하기 위해 사용될 수 있는 예시적인 단계들일 수 있다.
단계 600에서, B 픽쳐들의 카운트를 유지하는 카운터는 그 카운트가 0인지를 보기 위해 체크될 수 있다. 만약 0이라면, 제1 B 픽쳐가 단계 602에서 처리될 수 있다. 그렇지 않다면, 제2 B 픽쳐가 단계 608에서 처리될 수 있다. 단계 602에서, 무효 포워드 레퍼런스 픽쳐를 참조할 수 있는 제1 B 픽쳐는 제1 B 픽쳐에 적합한 보간된 픽쳐로 대체될 수 있다. 보간은 독립적인 디자인일 수 있다. B 픽쳐들을 대신하기 위한 예시적인 알고리즘은 단계 610 이후에 설명된다. 만약 무효 포워드 레퍼런스 픽쳐가 사용된다면, 아티팩트들(artifacts)은, B 픽쳐들이 예를 들어 모바일 단말기(100)의 디스플레이(미도시) 상에 보여질 때, 보여질 수 있다. 단계 604에서, B 픽쳐들의 카운트를 유지하는 카운터는 증가될 수 있다. 단계 606에서, B 픽쳐일 수 있는 다음 픽쳐는 노_포워드_레퍼런스 플래그가 표명될 수 있는지의 여부를 결정하기 위해 파싱(parsing)된 그 자신의 헤더를 가질 수 있다. 만약 그렇다면, 그 다음 단계는 단계 308일 수 있다. 그렇지 않다면, 그 다음 단계는 단계 600일 수 있다.
단계 608에서, 무효 포워드 레퍼런스 픽쳐를 참조할 수 있는 제2 B 픽쳐는 제2 B 픽쳐에 적합하게 보간된 픽처로 대체될 수 있다. 단계 610에서, B 픽쳐들의 카운트를 유지하는 카운터는 소거(clear)될 수 있다. 그 다음 단계는 단계 300이다.
어떤 경우에는, I 픽쳐(278) 이후에 제1 B 픽쳐(280) 및/또는 제2 B 픽쳐(282)가 보간된 픽쳐로 대체될 수 있다. 다양한 보간 방법들이 사용될 수 있지만, 예시적인 보간은, 새로운 B 픽쳐들을 보간하기 위해, 디코딩된 백워드 레퍼런스 픽쳐(I2')(이는 I 픽쳐(278)에 상응할 수 있음)에 웨이트(weight)를 줄 수 있고, 디코딩된 포워드 레퍼런스 픽쳐(P5')(이는 P 픽쳐(268)에 상응할 수 있음)에 웨이트를 줄 수 있다. 예를 들면, 비디오 편집 코드(274)에 의해 나타낸 바와 같이, 예를 들면 포워드 레퍼런스 픽쳐가 무효일 때, B0 픽쳐(280) 및 B1 픽쳐(282)에 상응할 수 있는 디코딩된 픽쳐들을 생성하기 위한 예시적인 웨이팅(weighting)은 다음의 수학식으로 표현될 수 있다.
B0 = (2/3)*(P5') + (1/3)*(I2')
B1 = (1/3)*(P5') + (2/3)*(I2')
디코딩된 포워드 레퍼런스 픽쳐가 이용가능하지 않을 때, 예를 들어, 랜덤 억세스가 발생할 때, B0 픽쳐(280) 및 B1 픽쳐(282)에 상응할 수 있는 디코딩된 픽쳐들을 생성하기 위한 예시적인 웨이팅(weighting)은 다음의 수학식으로 표현될 수 있다.
B0 = (1/3)*(I2')
B1 = (2/3)*(I2')
따라서, B 픽쳐들은 이전의 비디오 시퀀스로부터 현재의 비디오 시퀀스까지 페이드 인(fade in)/페이드 아웃(fade out)하는 것으로 설명될 수 있다. 보간은, 예를 들면, 프로세서(114) 및/또는 이미지 프로세서(112)와 같은 프로세서를 통할 수 있다.
선형 보간(linear interpolation)은, 무효 포워드 레퍼런스 픽쳐를 참조할 수 있는 각각의 B 픽쳐에 대해서 (m+1-n)/(m+1)*(디코딩된 포워드 레퍼런스 픽쳐) + n/(m+1)*(디코딩된 백워드 레퍼런스 픽쳐)로 일반화될 수 있고, 미싱 포워드 레퍼런스 픽쳐를 참조할 수 있는 각각의 B 픽쳐에 대해서 n/(m+1)*(디코딩된 백워드 레퍼런스 픽쳐)로 일반화될 수 있다. 파라미터 'm'은 인접한 B 픽쳐들의 시퀀스에서 B 픽쳐의 개수를 나타낼 수 있고, 파라미터 'n'은 인접한 시퀀스에서 B 픽쳐의 위치를 나타낼 수 있다. 예를 들면, 도 2b에서 인접한 B 픽쳐들의 시퀀스(280, 282)를 참조하면, 파라미터 m은 2일 수 있고, B 픽쳐(280)는 n=1을 가질 수 있고, B 픽쳐(282)는 n=2를 가질 수 있다.
따라서, 시퀀스 헤더들을 포함하는 비디오 파일들, 및/또는 비디오 편집 코드들을 포함하는 비디오 파일들을 적절하게 핸들링함으로써, 본 발명의 다양한 실시예들은 B 픽쳐들이 유효 포워드 레퍼런스 픽쳐들을 갖지 않을 수 있는 경우에 아티팩트들(artifacts)을 생성하지 않고 비디오 정보를 디스플레이할 수 있다.
본 발명의 일 실시예에 따라, 예시적인 시스템의 측면들은, 예를 들면, 비디오 코더 블록(112a) 및 비디오 디코더 블록(112b)을 포함하는 이미지 프로세서(112)를 포함할 수 있다. 비디오 디코더 블록(112b)은, 압축된 비디오 데이터에서, 시퀀스 헤더, 예를 들면, 시퀀스 헤더(276) 이후에, 제1 I 픽쳐, 예를 들면, I 픽쳐(278)를 바로 따르는 인접한 B 픽쳐들의 시퀀스, 예를 들면 B 픽쳐들(280, 282)의 시퀀스의 디코딩을 가능하게 할 수 있다. 비디오 디코더 블록(112b)은, 예를 들면 랜덤 억세스 포인트들 및/또는 AVS1-P2 포맷에서의 비디오 데이터에서의 비디오 편집 코드들을 핸들링할 수 있다. 본 발명의 몇몇 예시적인 실시예들에 있어서, 비디오 디코더 블록(112b)은, 예를 들면, 인접한 B 픽쳐들(280, 282)의 시퀀스를 폐기할 수 있다.
본 발명의 다른 실시예들에서는, 비디오 디코더 블록(112b)은 B 픽쳐들(280, 282)에 대해 포워드 레퍼런스 픽쳐, 예를 들면, P 블록(268)이 무효 또는 미싱일 수 있는지를 결정할 수 있다. 이는, 예를 들면, 노_포워드_레퍼런스 플래그가 표명될 수 있는지를 결정함으로써 결정될 수 있다. 노_포워드_레퍼런스 플래그는 표명될 때, 그러한 B 픽쳐에 대한 포워드 레퍼런스는 없다는 것을 나타낼 수 있다. 노_포워드_레퍼런스 플래그는, 예를 들면, AVS1-P2 표준과 같은 표준을 사용하여 압축된 각각의 픽쳐의 일부일 수 있다. 예를 들면, 비디오 디코더 블록(112b)은, 만약 B 픽쳐가 무효 또는 미싱 포워드 레퍼런스 픽쳐를 나타낸다면 인접한 B 픽쳐들의 시퀀스에서 각각의 B 픽쳐를 폐기할 수 있다.
본 발명의 다양한 실시예들은, 예를 들면, 비디오 코더 블록(112a)을 통해 B 픽쳐들(280, 282)을 생성할 수 있다. 본 발명의 일 실시예는, 예를 들면, 만약 B 픽쳐(280)가 표명된 노_포워드_레퍼런스 플래그를 가지고 생성된다면, B 픽쳐(282)는 또한 표명된 노_포워드_레퍼런스 플래그를 가질 수 있는 것과 같이 비디오 코더 블록(112a)을 가능하게 할 수 있다. 이는, 예를 들면, 압축된 픽쳐들의 디코딩동 안, 아티팩트들을 감소시킬 수 있다. B 픽쳐들(280, 282)이 한 예로서 사용될 수 있지만, 이러한 알고리즘은 두 개의 인접한 B 픽쳐들 이상으로 생성할 수 있는 다른 비디오 시퀀스들에 대해 사용될 수 있다. 따라서, 노_포워드_레퍼런스 플래그가 인접한 B 픽쳐들의 시퀀스에서의 B 픽쳐에 대해 표명될 때, 여기서 인접한 B 픽쳐들의 시퀀스는 시퀀스 헤더 이후 제1 I 픽쳐가 생성된 이후에 생성될 수 있고, 인접한 B 픽쳐들의 시퀀스에서의 B 픽쳐들의 나머지 각각에 대한 노_포워드_레퍼런스 플래그가 표명될 수 있다.
예를 들어, B 픽쳐(280)가, 예를 들어 표명된 노_포워드_레퍼런스 플래그를 통해 포워드 레퍼런스 픽쳐, 예를 들면, P 픽쳐(268)에 대한 참조가 이뤄진다는 것을 나타내는 경우에, 예를 들면, VEC(274)가 P 픽쳐(268)가 B 픽쳐들(280, 282)에 대한 유효 포워드 레퍼런스 픽쳐가 아닐 수 있다는 것을 나타낼 수 있으므로, B 픽쳐(280)는 정확하게 디코딩되지 않을 수 있다. 따라서, P 픽쳐(268)에 대해 참조를 하는 것, 또는 B 픽쳐들 280 및/또는 282를 누락(drop)하는 것보다 오히려, 보간되고, 디코딩된 픽쳐가 생성될 수 있고, 여기서 보간은 선형 또는 비선형일 수 있다. 보간은, 예를 들면, 이미지 프로세서(112)의 비디오 코더 블록(112a), 및/또는 프로세서(114)을 통해 이뤄질 수 있다.
본 발명의 몇몇 실시예들은 B 픽쳐들(280, 282)에 대한 다음의 예들에 의해 설명될 수 있는 선형 보간을 사용할 수 있다. 예를 들면, 디코딩된 포워드 레퍼런스 픽쳐가 이용가능하지만 무효일 때, B 픽쳐(280)의 선형 보간은 (2/3)*(디코딩된 포워드 레퍼런스 픽쳐) + (1/3)*(디코딩된 백워드 레퍼런스 픽쳐)로서 설명될 수 있다. 이와 유사하게, B 픽쳐(282)의 선형 보간은 (1/3)*(디코딩된 포워드 레퍼런스 픽쳐) + (2/3)*(디코딩된 백워드 레퍼런스 픽쳐)로서 설명될 수 있다.
디코딩된 포워드 레퍼런스 픽쳐가 이용가능하지 않을 때, 예를 들어, 랜덤 억세스가 일어날 때, B 픽쳐(280)의 선형 보간은 (1/3)*(디코딩된 백워드 레퍼런스 픽쳐)로서 설명될 수 있고, B 픽쳐(282)의 선형 보간은 (2/3)*(디코딩된 백워드 레퍼런스 픽쳐)로서 설명될 수 있다. 따라서, B 픽쳐들(280, 282)의 이러한 보간들은 페이드 인/페이드 아웃 과정과 유사할 수 있다.
선형 보간은 무효 포워드 레퍼런스 픽쳐를 참조할 수 있는 각각의 B 픽쳐에 대해서 (m+1-n)/(m+1)*(디코딩된 포워드 레퍼런스 픽쳐) + n/(m+1)*(디코딩된 백워드 레퍼런스 픽쳐)로 일반화될 수 있고, 미싱 포워드 레퍼런스 픽쳐일 수 있는 각각의 B 픽쳐에 대해서 n/(m+1)*(디코딩된 백워드 레퍼런스 픽쳐)로 일반화될 수 있다. 파라미터 'm'은 인접한 B 픽쳐들의 시퀀스에서 B 픽쳐의 개수를 나타낼 수 있고, 파라미터 'n'은 인접한 시퀀스에서 B 픽쳐의 위치를 나타낼 수 있다. 예를 들면, 도 2b에서 인접한 B 픽쳐들(280, 282)의 시퀀스를 참조하여, 파라미터 m은 2일 수 있고, B 픽쳐(280)는 n=1을 가질 수 있고, B 픽쳐(282)는 n=2를 가질 수 있다.
본 발명의 다양한 실시예들은, 예를 들면, 비디오 디코더 블록(112b)을 통해 압축된 비디오를 디코딩하는 것을 포함하며, 여기서, 비디오 디코더 블록(112b)은 도 3을 참조하여 개시된 플로우 다이어그램에 의해 설명될 수 있다. 따라서, 랜덤 억세스 또는 비디오 편집 코드가 검출될 때, 제1 상태 또는 단계 300으로부터 제2 상태 또는 단계 302로의 전환(transition)가 있을 수 있다. 시퀀스 헤더가 검출될 때, 제2 상태로부터 제3 상태로의 전환, 또는 단계 306이 있을 수 있다. 제2 상태에서 몇몇의 다른 데이터 블록, 예를 들면, I 픽쳐, P 픽쳐, B 픽쳐, 또는 비디오 편집 코드와 같은 것이 검출될 때, 에러 상태로의 전환, 또는 단계 304로가 있을 수 있다.
I 픽쳐가 검출될 때, 제3 상태로부터 제4 상태로의 전환, 또는 단계 308이 있을 수 있다. 몇몇 다른 데이터 블록이 제3 상태, 예를 들면, P 픽쳐, B 픽쳐, 비디오 편집 코드, 또는 시퀀스 헤드와 같은 것이 검출될 때, 에러 상태로의 전환이 있을 수 있다. 포워드 레퍼런스 픽쳐에 대한 레퍼런스를 갖는 B 픽쳐가 검출될 때, 제4 상태로부터 제5 상태로의 전환, 또는 단계 310이 있을 수 있다. I 픽쳐 또는 P 픽쳐가 검출될 때, 제4 상태로부터 제1 상태로의 전환이 있을 수 있다. 포워드 레퍼런스 픽쳐를 참조하지 않는 B 픽쳐가 검출될 때, 제5 상태로부터 제4 상태로의 전환이 있을 수 있다. I 픽쳐 또는 P 픽쳐가 검출될 때, 제5 상태로부터 제1 상태로의 전환이 있을 수 있다.
본 발명의 다양한 실시예들은 비디오 디코더 블록(112b)에 대해 제4 및 제5 상태들에서의 B 픽쳐들을 폐기하는 것을 가능하게 할 수 있다. 따라서, 이러한 방법은 시퀀스 헤더를 따르는 제1 I 픽쳐 이후에 바로 인접한 B 픽쳐들의 시퀀스를 폐기할 수 있다. 본 발명의 다른 실시예들은 비디오 디코더 블록(112b)에 대해 제5 상태의 B 픽쳐들을 폐기하는 것을 가능하게 할 수 있다. 따라서, 이러한 방법은 B 픽쳐들이 포워드 레퍼런스 픽쳐에 대해 참조할 때 시퀀스 헤더를 따르는 제1 I 픽쳐 이후에 바로, 인접한 B 픽쳐들의 시퀀스에서의 B 픽쳐들을 폐기할 수 있다.
본 발명의 다른 실시예들은 시퀀스 헤더를 따르는 제1 I 픽쳐 이후에 바로, 인접한 B 픽쳐들의 시퀀스에 상응할 수 있는 디코딩된 픽쳐들을 보간할 수 있다. 예시적인 인접한 B 픽쳐들의 시퀀스는, 두 개의 B 픽쳐들, 예를 들면, B 픽쳐들(280, 282)과 같은 것을 포함할 수 있고, 이들은 포워드 레퍼런스 픽쳐, 예를 들면, P 픽쳐(268)를 참조할 수 있고, 백워드 레퍼런스 픽쳐, 예를 들면, I 픽쳐(278)를 참조할 수 있다. 디코딩된 포워드 레퍼런스 픽쳐가 이용가능하지만 무효일 때, B 픽쳐(280)에 상응할 수 있는 보간된 픽쳐는, 예를 들면, 다음의 알고리즘을 사용하여 생성될 수 있다.
(2/3)*(디코딩된 포워드 레퍼런스 픽쳐) + (1/3)*(디코딩된 백워드 레퍼런스 픽쳐).
이와 유사하게, B 픽쳐(282)에 상응할 수 있는 전환된 픽쳐는, 예를 들면, 다음의 알고리즘을 사용하여 생성될 수 있다.
(1/3)*(디코딩된 포워드 레퍼런스 픽쳐) + (2/3)*(디코딩된 백워드 레퍼런스 픽쳐).
디코딩된 포워드 레퍼런스 픽쳐가 이용가능하지 않을 때, 예를 들면, 랜덤 억세스가 발생할 때, B 픽쳐(280)의 선형 보간은 (1/3)*(디코딩된 백워드 레퍼런스 픽쳐)로서 설명될 수 있고 B 픽쳐(282)의 선형 보간은 (2/3)*(디코딩된 백워드 레퍼런스 픽쳐)로서 설명될 수 있다. 따라서, B 픽쳐들(280, 282)의 이러한 보간들은 페이드 인/페이드 아웃 과정과 유사할 수 있다.
선형 보간은 무효 포워드 레퍼런스 픽쳐를 참조할 수 있는 각각의 B 픽쳐에 대해서 (m+1-n)/(m+1)*(디코딩된 포워드 레퍼런스 픽쳐) + n/(m+1)*(디코딩된 백워드 레퍼런스 픽쳐)로 일반화될 수 있고, 미싱 포워드 레퍼런스 픽쳐를 참조할 수 있는 각각의 B 픽쳐에 대해서 n/(m+1)*(디코딩된 백워드 레퍼런스 픽쳐)로 일반화될 수 있다. 파라미터 'm'은 인접한 B 픽쳐들의 시퀀스에서 B 픽쳐의 개수를 나타낼 수 있고, 파라미터 'n'은 인접한 시퀀스에서의 B 픽쳐의 위치를 나타낼 수 있다. 예를 들면, 도 2b에서의 인접한 B 픽쳐들(280, 282)의 시퀀스를 참조하면, 파라미터 m은 2일 수 있고, B 픽쳐(280)는 n=1을 가질 수 있고, B 픽쳐(282)는 n=2를 가질 수 있다.
본 발명의 또 다른 실시예는 기계 가독 스토리지(machine-readable storage)를 제공할 수 있고, 이러한 기계 가독 스토리지는, 그 상에 저장되며, 기계(machine)에 의해 실행가능한 적어도 하나의 코드부(code section)를 갖는 컴퓨터 프로그램을 가질 수 있으며, 그에 따라 미싱 또는 무효 포워드 레퍼런스 픽쳐들을 갖는 B 픽쳐들을 처리하기 위해 그러한 기계에게 위에서 설명된 바와 같은 단계들을 수행하도록 한다.
따라서, 본 발명은 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어의 조합에서 구현될 수 있다. 본 발명은 적어도 하나의 컴퓨터 시스템에서 중앙집중식으로 구현될 수 있으며, 또는 상이한 구성요소들이 몇 개의 상호연결된 컴퓨터 시스템들에 걸쳐 분포된 분산식으로 구현될 수 있다. 여기에 설명된 방법들을 수행하기 위해 적응된 어떤 종류의 컴퓨터 시스템 또는 기타 장치가 적합하다. 하드웨어와 소프트웨어의 전형적인 조합은 컴퓨터 프로그램을 갖는 범용 컴퓨터 시스템일 수 있으며, 이는 로딩되어 실행될 때, 여기에 설명된 방법들을 수행하도록 컴퓨터 시스템을 제어한다.
본 발명은 또한 컴퓨터 프로그램 제품 내에 내장될 수 있으며, 이러한 컴퓨터 프로그램은 여기에 설명된 방법들의 구현을 가능하게 하는 모든 특징들을 포함하며, 컴퓨터 시스템에 로딩될 때 이러한 방법들을 수행할 수 있다. 본 문맥에서의 컴퓨터 프로그램은, 정보 처리 기능을 갖는 시스템에게 특정 기능을 직접적으로 또는 다음의 a) 내지 b) 중의 어느 하나 또는 둘 이후에 수행하도록 의도된 일단의 명령, 임의의 언어, 코드 또는 표기법으로의 임의의 표현을 의미한다.
a) 또 다른 언어, 코드 또는 표기법으로의 변환,
b) 상이한 유형적 형태로의 재현.
본 발명이 특정 실시예들을 참조하여 설명되었지만, 다양한 변경들이 본 발명의 범위를 벗어남이 없이 대체될 수 있음은 당해 기술 분야에서 숙련된 자에 의해 이해될 것이다. 또한, 본 발명의 범위를 벗어남이 없이 본 발명의 시사에 특정 상황 또는 요소를 적응시키도록 많은 개조들이 수행될 수 있다. 그러므로, 본 발명은 개시된 특정 실시예들로 한정되는 것으로 의도되지 않고, 첨부된 청구항들의 범위 내에 들어오는 모든 실시예들을 포함하는 것으로 의도된다.
도 1은 본 발명의 일 실시예에 따른 모바일 단말기의 일부분의 예시적인 블록 다이어그램이다.
도 2a는 본 발명의 일 실시예와 관련하여 이용될 수 있는 비디오 픽쳐들의 랜덤 억세스를 도해하는 다이어그램이다.
도 2b는 본 발명의 일 실시예에 따른 비디오 픽쳐들의 편집의 영향을 도해하는 다이어그램이다.
도 3은 본 발명의 일 실시예에 따른 미싱 또는 무효 포워드 레퍼런스 픽쳐들을 갖는 B 픽쳐들의 디코딩을 도해하는 플로우 다이어그램이다.
도 4는 본 발명의 일 실시예에 따른 미싱 또는 무효 포워드 레퍼런스 픽쳐들인 복수의 B 픽쳐들의 디스플레이 방법들 중의 하나를 도해하는 플로우 다이어그램이다.
도 5a는 본 발명의 일 실시예에 따른 미싱 또는 무효 포워드 레퍼런스 픽쳐들인 B 픽쳐들에 대한 복수의 디스플레이 방법들 중의 하나를 도해하는 플로우 다이어그램이다.
도 5b는 본 발명의 일 실시예에 따른 미싱 또는 무효 포워드 레퍼런스 픽쳐들인 B 픽쳐들에 대한 복수의 디스플레이 방법들 중의 하나에 상응하는 예시적인 코딩 방법을 도해하는 플로우 다이어그램이다.
도 6은 본 발명의 일 실시예에 따른 미싱 또는 무효 포워드 레퍼런스 픽쳐들인 B 픽쳐들에 대한 복수의 디스플레이 방법들 중의 하나를 도해하는 플로우 다이 어그램이다.

Claims (10)

  1. 압축된 비디오 데이터 내의 시퀀스 헤더(sequence header)를 수신한 이후에, 인접한 B 픽쳐들의 시퀀스가 상기 압축된 비디오 데이터 내의 제1 I 픽쳐를 바로 따르는지를 판단하는 단계; 및
    상기 판단에 근거하여 상기 인접한 B 픽쳐들의 시퀀스를 디코딩하는 단계를 포함하며, 여기서 상기 디코딩은 비디오 편집 코드들(video edit codes) 및 랜덤 억세스 포인트들(random access points) 중의 적어도 하나를 핸들링하는 것을 포함하는, 비디오 신호 처리 방법.
  2. 청구항 1에 있어서,
    상기 제1 I 픽쳐를 바로 따르는 것으로 판단되는 상기 인접한 B 픽쳐들의 시퀀스에서의 각각의 B 픽처를 폐기(discard)하는 단계를 포함하는 비디오 신호 처리 방법.
  3. 청구항 1에 있어서,
    상기 인접한 B 픽쳐들의 시퀀스에서의 상기 각각의 B 픽쳐가 무효(invalid) 또는 미싱(missing) 중의 하나인 포워드 레퍼런스 픽쳐(forward reference picture)에 대한 레퍼런스를 나타낼 때, 상기 인접한 B 픽쳐들의 시퀀스에서의 각각의 B 픽쳐를 폐기(discard)하는 단계를 포함하는 비디오 신호 처리 방법.
  4. 청구항 1에 있어서,
    상기 인접한 B 픽쳐들에서의 상기 각각의 B 픽쳐가 무효(invalid) 또는 미싱(missing) 중의 하나인 포워드 레퍼런스 픽쳐(forward reference picture)에 대한 레퍼런스를 나타낼 때, 상기 인접한 B 픽쳐들의 시퀀스에서의 각각의 B 픽쳐에 상응하는 디코딩된 픽쳐들을 보간(interpolate)하는 단계를 포함하는 비디오 신호 처리 방법.
  5. 제1 상태에서 랜덤 억세스의 표시(indication) 또는 AVS1-P2 포맷의 비디오 편집 코드(video edit code) 중의 하나를 검출한 이후에 상기 제1 상태로부터 제2 상태로 전환(transition)하는 단계;
    상기 제2 상태에서 I 픽쳐, P 픽쳐, B 픽쳐 또는 비디오 편집 코드 중의 하나를 검출한 이후에 에러 상태로 전환하는 단계;
    상기 제1 상태에서 랜덤 억세스의 표시 또는 AVS1-P2 포맷의 비디오 편집 코드 중의 하나의 상기 검출 이후에 바로 상기 제2 상태에서 시퀀스 헤더(sequence header)를 검출한 이후에 제3 상태로 전환하는 단계;
    상기 제3 상태에서 P 픽쳐, B 픽쳐, 비디오 편집 코드, 또는 시퀀스 헤더 중의 하나를 검출한 이후에 상기 에러 상태로 전환하는 단계;
    상기 제3 상태에서 I 픽쳐를 검출한 이후에 제4 상태로 전환하는 단계;
    상기 제4 상태에서 I 픽쳐 또는 P 픽쳐 중의 하나를 검출한 이후에 상기 제1 상태로 전환하는 단계;
    상기 B 픽쳐가 포워드 레퍼런스 픽쳐를 참조할 때, 상기 제4 상태에서 B 픽쳐를 검출한 이후에 제5 상태로 전환하는 단계;
    상기 제5 상태에서 I 픽쳐 또는 P 픽쳐 중의 하나를 검출한 이후에 상기 제1 상태로 전환하는 단계; 및
    상기 B 픽쳐가 포워드 레퍼런스 픽쳐를 참조(reference)하지 않을 때, 상기 제5 상태에서 B 픽쳐를 검출한 이후에 상기 제4 상태로 전환하는 단계를 포함하는, 비디오 신호 처리 방법.
  6. 인접한 B 픽쳐들의 시퀀스가 압축된 비디오 데이터 내에서 시퀀스 헤더(sequence header) 이후에 제1 I 픽쳐를 바로 따르는지의 판단을 가능하게 하며, 상기 판단에 근거하여 상기 인접한 B 픽쳐들의 시퀀스를 디코딩며, 여기서 상기 디코딩은 비디오 편집 코드들(video edit codes) 및 랜덤 억세스 포인트들(random access points) 중의 적어도 하나를 핸들링하는 하나 또는 그 이상의 회로들을 포함하는 비디오 신호 처리 시스템.
  7. 청구항 6에 있어서,
    상기 하나 또는 그 이상의 회로들은 상기 제1 I 픽쳐를 바로 따르는 것으로 판단되는 상기 인접한 B 픽쳐들의 시퀀스에서의 각각의 B 픽쳐의 폐기(discard)를 가능하게 하는 비디오 신호 처리 시스템.
  8. 청구항 6에 있어서,
    상기 하나 또는 그 이상의 회로들은, 상기 인접한 B 픽쳐들의 시퀀스에서의 상기 각각의 B 픽쳐가 무효(invalid) 또는 미싱(missing) 중의 하나인 포워드 레퍼런스 픽쳐에 대한 레퍼런스를 나타낼 때, 상기 인접한 B 픽쳐들의 시퀀스에서 각각의 B 픽쳐의 폐기(discard)를 가능하게 하는 비디오 신호 처리 시스템.
  9. 인접한 B 픽쳐들의 시퀀스에서 특정 B 픽쳐가 그것이 포워드 레퍼런스 픽쳐를 참조하지 않는다는 것을 나타내도록 생성될 때, 상기 특정 B 픽쳐 이후에 상기 인접한 B 픽쳐들의 시퀀스의 일부로서 생성된 임의의 B 픽쳐가 또한 그것이 상기 포워드 레퍼런스 픽쳐를 참조하지 않는다는 것을 나타내도록 상기 인접한 B 픽쳐들의 시퀀스를 생성하는 단계를 포함하되, 여기서 상기 인접한 B 픽쳐들의 시퀀스는 시퀀스 헤더(sequence header) 이후 제1 I 픽쳐 이후에 생성되는, 비디오 신호 처리 방법.
  10. 인접한 B 픽쳐들의 시퀀스에서 특정 B 픽쳐가 그것이 포워드 레퍼런스 픽쳐를 참조하지 않는다는 것을 나타내도록 생성될 때, 상기 특정 B 픽쳐 이후에 상기 인접한 B 픽쳐들의 시퀀스의 일부로서 생성된 임의의 B 픽쳐가 또한 그것이 상기 포워드 레퍼런스 픽쳐를 참조하지 않는다는 것을 나타내도록 상기 인접한 B 픽쳐들의 시퀀스의 생성을 가능하게 하는 하나 또는 그 이상의 회로들을 포함하되, 여기 서 상기 인접한 B 픽쳐들의 시퀀스는 시퀀스 헤더(sequence header) 이후의 제1 I 픽쳐 이후에 생성되는, 비디오 신호 처리 시스템.
KR1020080100081A 2007-10-12 2008-10-13 미싱 또는 무효 포워드 레퍼런스 픽쳐들을 갖는 ｂ 픽쳐들의 처리 방법 및 시스템 KR100969224B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/871,385 2007-10-12
US11/871,385 US8194741B2 (en) 2007-10-12 2007-10-12 Method and system for processing B pictures with missing or invalid forward reference pictures

Publications (2)

Publication Number Publication Date
KR20090037838A KR20090037838A (ko) 2009-04-16
KR100969224B1 true KR100969224B1 (ko) 2010-07-09

Family

ID=40254492

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080100081A KR100969224B1 (ko) 2007-10-12 2008-10-13 미싱 또는 무효 포워드 레퍼런스 픽쳐들을 갖는 ｂ 픽쳐들의 처리 방법 및 시스템

Country Status (6)

Country Link
US (3) US8194741B2 (ko)
EP (1) EP2048889A3 (ko)
KR (1) KR100969224B1 (ko)
CN (1) CN101409844B (ko)
HK (1) HK1131298A1 (ko)
TW (1) TWI493976B (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8194741B2 (en) 2007-10-12 2012-06-05 Broadcom Corporation Method and system for processing B pictures with missing or invalid forward reference pictures
US9420307B2 (en) 2011-09-23 2016-08-16 Qualcomm Incorporated Coding reference pictures for a reference picture set
US9264717B2 (en) 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
CN103888781B (zh) * 2012-12-21 2017-04-12 宏碁股份有限公司 视频编修方法与视频编修装置
KR102191878B1 (ko) * 2014-07-04 2020-12-16 삼성전자주식회사 멀티미디어 시스템에서 미디어 패킷을 수신하는 방법 및 장치
US10805611B2 (en) * 2016-10-18 2020-10-13 Mediatek Inc. Method and apparatus of constrained sequence header

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08154247A (ja) * 1994-09-29 1996-06-11 Sanyo Electric Co Ltd 圧縮画像データ処理装置及び方法
JPH08205147A (ja) * 1995-01-26 1996-08-09 Graphics Commun Lab:Kk 画像復号化方法及び画像復号化装置
KR20020080703A (ko) * 2001-04-17 2002-10-26 엘지전자 주식회사 디지털 비디오 코딩시 ｂ프레임 코딩 방법
KR20040009928A (ko) * 2002-07-26 2004-01-31 삼성전자주식회사 전송제어 파라미터 생성방법 및 프레임 특성에 따른선택적 자동 재전송 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08149474A (ja) * 1994-11-17 1996-06-07 Hitachi Ltd 動画像復号化装置
JPH11341435A (ja) * 1998-05-22 1999-12-10 Sony Corp 編集方法および編集装置
GB2364459B (en) * 2000-06-30 2004-03-31 Nokia Mobile Phones Ltd Video error resilience
US6816552B2 (en) * 2001-07-11 2004-11-09 Dolby Laboratories Licensing Corporation Interpolation of video compression frames
US7149247B2 (en) * 2002-01-22 2006-12-12 Microsoft Corporation Methods and systems for encoding and decoding video data to enable random access and splicing
US7933329B2 (en) * 2005-08-24 2011-04-26 Exfo Service Assurance Inc. System and method for monitoring video packets for quantifying video quality
US20070058730A1 (en) * 2005-09-09 2007-03-15 Microsoft Corporation Media stream error correction
US8194741B2 (en) * 2007-10-12 2012-06-05 Broadcom Corporation Method and system for processing B pictures with missing or invalid forward reference pictures

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08154247A (ja) * 1994-09-29 1996-06-11 Sanyo Electric Co Ltd 圧縮画像データ処理装置及び方法
JPH08205147A (ja) * 1995-01-26 1996-08-09 Graphics Commun Lab:Kk 画像復号化方法及び画像復号化装置
KR20020080703A (ko) * 2001-04-17 2002-10-26 엘지전자 주식회사 디지털 비디오 코딩시 ｂ프레임 코딩 방법
KR20040009928A (ko) * 2002-07-26 2004-01-31 삼성전자주식회사 전송제어 파라미터 생성방법 및 프레임 특성에 따른선택적 자동 재전송 방법

Also Published As

Publication number Publication date
KR20090037838A (ko) 2009-04-16
CN101409844B (zh) 2011-03-16
TW200939790A (en) 2009-09-16
US20140112390A1 (en) 2014-04-24
US8879630B2 (en) 2014-11-04
US8665954B2 (en) 2014-03-04
US8194741B2 (en) 2012-06-05
EP2048889A2 (en) 2009-04-15
EP2048889A3 (en) 2016-12-28
US20120236947A1 (en) 2012-09-20
HK1131298A1 (en) 2010-01-15
CN101409844A (zh) 2009-04-15
US20090097559A1 (en) 2009-04-16
TWI493976B (zh) 2015-07-21

Similar Documents

Publication Publication Date Title
TWI603609B (zh) 簡化視訊隨機存取之限制及單元類型
KR100969224B1 (ko) 미싱 또는 무효 포워드 레퍼런스 픽쳐들을 갖는 ｂ 픽쳐들의 처리 방법 및 시스템
JP6087940B2 (ja) 復号化ピクチャ・バッファおよび参照ピクチャ・リストのための状態情報のシグナリング
RU2659748C2 (ru) Синтаксис и семантика для буферизации информации с целью упрощения конкатенации видеоданных
JP3244629B2 (ja) シーン変化点検出方法
US7231091B2 (en) Simplified predictive video encoder
CN107770550B (zh) 用于发送消息和缓冲比特流的电子设备
JP2015501098A5 (ko)
US20100153687A1 (en) Streaming processor, operation method of streaming processor and processor system
JPWO2006114954A1 (ja) 映像情報記録装置、映像情報記録方法、映像情報記録プログラム、及び映像情報記録プログラムを記録した記録媒体
JP2001326940A (ja) 符号化動画像ビットストリーム処理方法、及び装置、並びに符号化動画像ビットストリーム処理プログラムを格納した記録媒体
JP2006295569A (ja) 動画像復号装置
WO2020255771A1 (ja) 画像処理装置および方法
JPH10174094A (ja) 映像復号化装置
JP4154799B2 (ja) 圧縮動画像編集装置および記憶媒体
JP3822821B2 (ja) 画像再生表示装置
WO2004004357A1 (ja) 動画像の符号化方法、復号化方法、データストリーム、データ記録媒体およびプログラム
TWI495299B (zh) 利用音視頻橋接管理節能網路的方法和系統
JPH0984023A (ja) フレーム内符号化挿入方法および映像符号化装置
US11197014B2 (en) Encoding apparatus, decoding apparatus, and image processing system
JP2004040512A (ja) 画像符号化方法および画像復号方法
KR100205019B1 (ko) 엠이피지 부호화 시스템에서의 폐 영상그룹 구현 방법
JP3454304B2 (ja) 符号化復号化装置
JP2000295567A (ja) 符号化データ編集装置
JPH10285617A (ja) 映像特性測定装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130624

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee