KR20050098292A - 코딩된 잔류 모션 벡터 데이터의 존재를 통지하는 플래그를포함한 모션 벡터들의 예측 인코딩 - Google Patents

Abstract

본 발명은 비디오 프레임들의 시퀀스에 적용되어 코딩된 비트스트림을 발생시키는 비디오 인코딩 방법으로서, 코딩된 비트스트림의 각 데이터 아이템은, 임의의 디코더가 비트스트림의 콘텐트의 모든 세그먼트들을 인식 및 디코딩하게 하는 비트스트림 신텍스(syntax)에 의해 기술되는, 상기 비디오 인코딩 방법에 관한 것이다. 상기 방법은 이전 프레임과 현재 프레임 사이의 모션 보상 연산을 사용하는 예측 기술에 기초하는 예측 단계와, 예측된 프레임을 현재 프레임으로부터 차감하는 것에 기초하는 차감 단계를 포함하고, 모션 보상 연산은 수직 및 수평 성분들(MVx, MVy)로 모션 벡터들을 초래한다. 이들 성분들은 상기 성분들의 예측들(Px, Py)을 사용하여 차등 인코딩되어야 하며, 따라서, 사실, 모션 벡터 성분들과 그 예측들(Px, Py) 사이의 편차들(dx, dy)만이 인코딩된다. 본 발명에 따라서, 상기 신텍스는 상기 생성된 코딩된 비트스트림 내에 상기 편차들(dx, dy)이 존재하는지의 여부, 따라서, 디코딩 측에서 디코딩되어야하는지의 여부를 나타내는 부가적인 플래그를 포함한다.

Description

코딩된 잔류 모션 벡터 데이터의 존재를 통지하는 플래그를 포함한 모션 벡터들의 예측 인코딩{PREDICTIVE ENCODING OF MOTION VECTORS INCLUDING A FLAG NOTIFYING THE PRESENCE OF CODED RESIDUAL MOTION VECTOR DATA}

본 발명은 일반적으로 비디오 압축 분야에 관련하며, 예들 들어, 보다 구체적으로는 MPEG 계열(MPEG-1, MPEG-2, MPEG-4)의 비디오 표준들 및 ITU H26X 계열(H.261, H.263 및 확장들)의 비디오 코딩 권장안들에 관한 것이다. 보다 구체적으로, 본 발명은 비디오 프레임들의 시퀀스에 적용되어 코딩된 비트스트림을 발생시키는 비디오 인코딩 방법으로서, 코딩된 비트스트림의 각 데이터 아이템은, 임의의 디코더가 비트스트림의 콘텐트의 모든 세그먼트들을 인식 및 디코딩하게 하는 비트스트림 신텍스(syntax)에 의해 기술되며, 이전 프레임과 현재 프레임 사이의 모션 보상 연산을 사용하는 예측 기술에 기초하여, 예측된 프레임을 발생시키기 위해 제공되는 예측 단계와, 예측된 프레임을 상기 현재 프레임으로부터 차감하는 것에 기초하여, 인코딩될 신호를 발생시키기 위해 제공되는 차감 단계를 포함하고, 모션 보상 연산 자체는, 모션 벡터들의 수직 및 수평 성분들(MVx, MVy)이 성분들의 예측들(Px, Py)을 사용하고, 모션 벡터 성분들과 그 예측들(Px, Py) 사이의 편차들(dx, dy)만을 인코딩하여, 차등 인코딩되어야 하는 모션 벡터들의 발생을 초래하는, 상기 비디오 인코딩 방법에 관한 것이다.

또한, 본 발명은 상기 인코딩 방법을 수행하기 위한 인코딩 장치, 이런 인코딩 장치에 의해 발생된 코딩된 비트스트림으로 구성되는 전송가능한 비디오 신호 및 대응 디코딩 방법 및 장치에 관련한다.

현 비디오 표준들에서(비디오 코딩 MPEG-4 표준 및 H.264 권장안까지), 휘도 채널 및 두 개의 색차 채널들에 관하여 기술되는 비디오는 각 채널에 적용되는 두 가지 코딩 모드들의 도움으로 압축될 수 있다 : 각 이미지(또는 프레임이나 화상)내의 화상 요소들(화소들)의 공간적 러던던시를 주어진 채널 내에서 활용하는 "인트라" 모드 및 별개의 이미지들(또는 프레임들이나 화상들) 사이의 시간적 러던던시를 활용하는 "인터" 모드. 모션 보상 연산에 의존하는 인터 모드는 하나의 이미지로부터 다른 이미지로 화소들의 모션을 인코딩함으로써 하나(또는 그 이상)의 이미 디코딩된 이미지(들)로부터 이미지를 기술할 수 있게 한다.

일반적으로, 코딩되는 현 화상은 독립 블록으로 나뉘어지고, 이들 각각이 모션 벡터를 할당받는다. 화상들-기준으로서 사용되는 이전 화상 및 현 화상- 사이의 가장 유사한 블록들을 발견하기 위해 제공되는 모션 추정은 상기 기준들과 현 화상들내의 이들 가장 유사한 블록들 사이의 모션 정도를 나타내는 변위로 각 블록에 대응하는 이들 모션 벡터들을 결정할 수 있게 한다. 상기 이미지의 예측은 그후 블록들에 연계된 모션 벡터들의 집합에 따라 기준 이미지로부터 화소 블록들을 변위시킴으로써 구성될 수 있다. 마지막으로, 인코딩될 현 이미지와 그 모션 보상된 예측 사이의 편차(잔류 신호라 지칭됨)가 인트라 모드로 인코딩될 수 있다. 세 개의 채널들 모두는 이런 모션 설명을 공유한다.

본 발명은 보다 구체적으로, 움직임 벡터들의 인코딩에 관한 것이다. MPEG-4 표준에서, 그리고, UK 특허 출원 GB2329295에서 예로서 설명된 바와 같이, 이들 모션 벡터들은 각 블록을 위해 수평 및 수직 성분들(MVx 및 MVy)을 각각 가지며, 이들 모션 벡터 성분들은 차등 인코딩된다 : 사실 예측(각각 Px 및 Py)이 사용되며, 단지 각 모션 벡터 성분(MVx, MVy)과 그 예측(Px, Py) 사이의 편차들(dx 및 dy)(잔류치들이라고도 지칭됨)이 인코딩된다. 이들 예측들은 8x8 화소 모드 매크로블록에 대해 도 1에 도시된 서로 다른 실시예들에 의해 예시된 바와 같이, 공간적 이웃 매크로블록들 또는 이미 디코딩된 블록들로부터의 3개 벡터 후보 예측자들(MV1, MV2, MV3)의 메디안 필터링에 의해 형성된다:

Px = Median(MV1x, MV2x, MV3x) (1)

Py = Median(MV1y, MV2y, MV3y) (2)

여기서, MV1x, MV2x, MV3x는 예측자들의 수평 성분들을 나타내고, MV1y, MV2y, MV3y는 그 수직 성분들을 나타낸다. 인코딩될 각 모션 벡터(MVx, MVy)가 예측(Px, Py)과 성분들(dx, dy)의 합으로서 기술되지만, 상술된 바와 같이, 단지 예측불가한 편차 성분들(dx, dy) 각 모션 보상된 블록을 위한 비디오 비트스트림으로 실제 인코딩된다 : 사실, (dx, dy)가 (MVx, MVy) 보다 양호한 통계적 특성들을 가지기 때문에, 따라서, 압축 이득이 얻어진다.

이 방법은 MPEG-4에 한정되지 않는다는 것을 주의하여야 하며, 유사한 모션 벡터 코딩 방법이 여전히 공간적 및 시간적 이웃 모션 벡터로부터 이루어진 모션 벡터 예측들에 추가된 모션 벡터 잔류치의 인코딩에 의존하여, 비디오 코딩 권장안 H.264에서 발견된다는 것을 주의하여야 한다. 그러나, 이런 인코딩 체계들에서 나타날 수 있는 단점들 중 하나는 모션 벡터 잔류치가 심지어 0인 경우에도(측, 인코딩된/디코딩된 모션 벡터가 예측된 것인 경우) 비트스트림 신텍스를 충족시키기 위해 항상 인코딩될 필요가 있다는 것이다.

도 1은 매크로블록내의 휘도 블록들 각각을 위한 후보 예측자들(MV1, MV2, MV3)의 정의의 4개 경우들을 예시하는 도면.

도 2는 모션 보상된 인터프레임 예측을 갖는 MPEG 인코더의 예를 도시하는 도면.

따라서, 본 발명의 제1 목적은 이 단점을 피할 수 있는 비디오 코딩 방법을 제안하는 것이다.

이러한 목적을 위해 본 발명은, 본 명세서의 서두에서 규정한 바와 같은 코딩 방법에 관련하며, 이는 무엇보다 상기 신텍스가 상기 발생된 코딩된 비트스트림내에 상기 편차들(dx, dy)이 존재하는지의 여부를 나타내는 부가적인 플래그를 포함하는 것을 특징으로 한다. 또한, 이는 대응 비디오 인코딩 장치 및 이런 인코딩 장치에 의해 코딩된 비트스트림으로 구성된 전송가능한 비디오 신호에 관련한다.

코딩된 비트스트림에 통합된 이 부가적인 신텍스 엘리먼트로 인해, 이 엘리먼트를 포함하는 코딩된 비트스트림을 수신하는 디코더는 그 값을 고려할 수 있으며, 따라서, 잔류치(dx, dy)가 디코딩될 상기 코딩된 비트스트림내에 존재하는지를 알 수 있다.

본 발명의 다른 목적은 상기 전송가능한 비디오 신호를 디코딩하기 위한 비디오 디코딩 방법 및 대응 비디오 디코딩 장치를 제안하는 것이다.

이제, 본 발명을 첨부 도면을 참조로 보다 상세히 설명한다.

제안된 해법은 비디오 관련 표준 또는 권장안의 신텍스에 부가적인 엘리먼트를 규정하는 것으로 구성되며, 이 부가적인 엘리먼트는 예로서, MV_RESIDUE라 지칭되는 신텍스 플래그이며, 0 또는 1의 값을 취할 수 있다. 따라서, 인코더는 잔류치(dx, dy)를 인코딩할 필요가 있는지의 여부를 비트스트림내에 두 값들 중 하나, 예를 들어, 1로 MV_RESIDUE를 설정하거나, 반대로, 다른 값, 예를 들어, 0으로 MV_RESIDUE을 설정함으로써 판정할 수 있다. 잔류치가 존재하는지의 여부를 나타내는 이 부가적인 신텍스상의 엘리먼트로 인해, 디코딩측에서, 디코더는 예측된 모션 벡터를 사용하여, 그리고, 비트스트림내에 존재하는 경우에는 잔류치(dx, dy)를 추가함으로써, 어떤 모션 벡터가 인코딩되는지를 판정할 수 있다.

상술된 비디오 코딩 방법은 예로서, 모션 보상된 인터프레임 예측을 갖는 MPEG 인코더의 예를 도시하는 도 2에 도시된 것 같은 인코딩 장치로 구현될 수 있다. 이 인코더는 코딩 및 예측 스테이지들을 포함한다. 코딩 스테이지 자체는 직렬로, 모드 판정 회로(11)(MPEG에 규정된 바와 같은 코딩 모드 I, P 또는 B의 선택을 결정하기 위해), DCT 회로(12), 양자화 회로(13), 가변 길이 코딩 회로(14), 버퍼(15) 및 레이트 제어 회로(16)를 포함하며, 레이트 제어 회로는 양자화 회로(13)의 양자화 단차 크기를 제어할 수 있게 한다. 예측 스테이지는 모션 보상 회로(22)가 이어지는 모션 추정 회로(21)를 포함하고, 또한, 직렬로, 양자화 회로(13)의 출력과, 모션 보상 회로(22)의 입력 사이에, 역 양자화 회로(23), 역 DCT 회로(24) 및 가산기(25)와 감산기(26)를 포함하며, 이는 예측 스테이지의 출력(즉, 모션 보상 회로(22)의 출력)에서 가용한 예측된 신호와 코딩 장치의 입력 신호(IS) 사이의 편차를 코딩 스테이지를 향해 전송할 수 있게 한다. 이 편차 또는 잔류치는 코딩되는 비트스트림이다. 모션 추정 회로(21)에 의해 결정된 모션 벡터들은 상기 멀티플렉서(31)의 출력에서 입수할 수 있는 출력 코딩된 비트스트림(CB)의 형태로 멀티플렉싱되도록 버퍼(15)의 출력 신호와 함께 멀티플렉서(31)를 향해 전송된다. 상기 비트스트림(CB)은 본 발명에 따른, 코딩되어야하는 편차들(dx, dy)이 존재하는지의 여부를 나타내는 부가적인 신텍스 엘리먼트를 포함하는 코딩된 비트스트림이다.

본 발명은 또한 이런 비디오 인코딩 장치에 의해 발생된 코딩된 비트스트림으로 구성되는 전송가능한 비디오 신호에 관련한다.

역으로, 대응 디코딩 방법에 따라서, 코딩된 비트스트림내의 디코딩 측으로 전송된 부가적인 신텍스 엘리먼트는 이를 수신하고 상기 디코딩 방법을 수행하는 비디오 디코더내의 적절한 수단에 의해 판독된다. 코딩된 비트스트림의 콘텐트의 모든 세그먼트들을 인식 및 디코딩할 수 있는 디코더는 상기 부가적인 신텍스 엘리먼트를 판독하고, 인코딩된 잔류 신호가 존재하는지의 여부를 알게 된다. 이런 디코더는 인코딩 장치로서 임의의 MPEG 유형으로 이루어질 수 있으며, 그 주 요소들은 예로서, 직렬로, 코딩된 비트스트림을 수신하는 입력 버퍼, VLC 디코더, 역 양자화 회로 및 역 DCT 회로이다. 코딩 및 디코딩 장치 양자 모두에서, 코딩 및 디코딩 연산들의 단계들을 관리하기 위해 콘트롤러가 제공될 수 있다.

본 발명의 양호한 실시예들의 상기 설명은 예시 및 설명의 목적으로 제공된 것이다. 설명된 정확한 형태들에 본 발명을 한정하거나, 그 이외의 것을 배제하려는 의도는 아니며, 본 기술의 숙련자에게 명백한, 본 발명의 범주내에 포함되는 변경 및 변용들이 상술한 교지들의 견지에서 가능하다는 것은 명백하다.

예를 들어, 여기에 설명된 코딩 및 디코딩 장치들은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있으며, 하드웨어 또는 소프트웨어의 단일 아이템이 다수의 기능들을 수행하거나, 하드웨어 또는 소프트웨어 또는 양자 모두의 아이템들의 조합체가 단일 기능을 수행할 수 있다는 것을 배제하지 않는다. 설명된 방법들 및 장치들은 임의 종류의 컴퓨터 시스템 또는 다른 적응된 장치에 의해 구현될 수 있다. 하드웨어와 소프트웨어의 전형적인 조합은 로딩 및 실행되었을 때, 여기에 설명된 방법을 수행하도록 컴퓨터 시스템을 제어하는 컴퓨터 프로그램을 갖는 범용 컴퓨터 시스템일 수 있다. 대안적으로, 본 발명의 기능적 테스크들 중 하나 이상을 수행하기 위한 특수화된 하드웨어를 포함하는 특정 용도 컴퓨터가 사용될 수 있다.

또한, 본 발명은 컴퓨터 프로그램 제품으로 구현될 수도 있으며, 이는 여기에 설명된 방법 및 기능들을 이행할 수 있게 하는 모든 특징들을 포함하고, -컴퓨터 시스템내에 로딩되었을 때- 이들 방법 및 기능들을 수행할 수 있다. 본 내용에서, 컴퓨터 프로그램, 소프트웨어 프로그램, 프로그램, 프로그램 제품, 또는 소프트웨어는 직접적으로 또는 (a) 다른 언어, 코드 또는 표기법으로의 변환 및/또는 (b) 다른 자료 형태의 재현 중 어느 하나 또는 양자 모두 이후에, 시스템이 특정 기능을 수행하기 위한 정보 처리 기능을 갖게 하게 하도록 의도된 명령들의 집합의 임의의 언어, 코드 또는 표기법의, 임의의 표현을 의미한다.

Claims (5)

1. 비디오 프레임들의 시퀀스에 적용되어 코딩된 비트스트림을 발생시키는 비디오 인코딩 방법으로서,

   상기 코딩된 비트스트림의 각 데이터 아이템은, 임의의 디코더가 상기 비트스트림의 콘텐트의 모든 세그먼트들을 인식 및 디코딩하게 하는 비트스트림 신텍스(syntax)에 의해 기술되며,

   이전 프레임과 현재 프레임 사이의 모션 보상 연산을 사용하는 예측 기술에 기초하여, 예측된 프레임을 발생시키기 위해 제공되는 예측 단계와; 상기 예측된 프레임을 상기 현재 프레임으로부터 차감하는 것에 기초하여, 인코딩될 신호를 발생시키기 위해 제공되는 차감 단계를 포함하고,

   상기 모션 보상 연산 자체는, 모션 벡터들의 수직 및 수평 성분들(MVx, MVy)이 상기 성분들의 예측들(Px, Py)을 사용하고, 상기 모션 벡터 성분들과 그 예측들(Px, Py) 사이의 편차들(dx, dy)만을 인코딩하여, 차등 인코딩되어야 하는 상기 모션 벡터들의 발생을 초래하는, 상기 비디오 인코딩 방법에 있어서,

   상기 신텍스가 상기 생성된 코딩된 비트스트림 내에 상기 편차들(dx, dy)이 존재하는지의 여부를 나타내는 부가적인 플래그를 포함하는 것을 특징으로 하는, 비디오 인코딩 방법.
2. 비디오 프레임들의 시퀀스에 적용되어 코딩된 비트스트림을 발생시키는 비디오 인코딩 방법을 수행하기 위한 비디오 인코딩 장치로서,

   상기 비디오 인코딩 방법은:

   상기 코딩된 비트스트림의 각 데이터 아이템은, 임의의 디코더가 상기 비트스트림의 콘텐트의 모든 세그먼트들을 인식 및 디코딩하게 하는 비트스트림 신텍스에 의해 기술되며;

   이전 프레임과 현재 프레임 사이의 모션 보상 연산을 사용하는 예측 기술에 기초하여, 예측된 프레임을 발생시키기 위해 제공되는 예측 단계와; 상기 예측된 프레임을 상기 현재 프레임으로부터 차감하는 것에 기초하여, 인코딩될 신호를 발생시키기 위해 제공되는 차감 단계를 포함하고;

   상기 모션 보상 연산 자체는, 모션 벡터들의 수직 및 수평 성분들(MVx, MVy)이 상기 성분들의 예측들(Px, Py)을 사용하고, 상기 모션 벡터 성분들과 그 예측들(Px, Py) 사이의 편차들(dx, dy)만을 인코딩하여, 차등 인코딩되어야 하는 상기 모션 벡터들의 발생을 초래하는, 상기 비디오 인코딩 장치에 있어서,

   상기 신텍스가 상기 인코딩 장치에 의해 생성된 코딩된 비트스트림 내에 상기 편차들(dx, dy)이 존재하는지의 여부를 나타내는 부가적인 플래그를 포함하는 것을 특징으로 하는, 비디오 인코딩 장치.
3. 비디오 프레임들의 시퀀스에 적용되어 코딩된 비트스트림을 발생시키는 비디오 인코딩 방법을 수행하기 위한 비디오 인코딩 장치에 의해 발생된 코딩된 비트스트림으로 구성되는 전송가능한 비디오 신호로서,

   상기 비디오 인코딩 방법은:

   상기 코딩된 비트스트림의 각 데이터 아이템은, 임의의 디코더가 상기 비트스트림의 콘텐트의 모든 세그먼트들을 인식 및 디코딩하게 하는 비트스트림 신텍스에 의해 기술되며;

   이전 프레임과 현재 프레임 사이의 모션 보상 연산을 사용하는 예측 기술에 기초하여, 예측된 프레임을 발생시키기 위해 제공되는 예측 단계와; 상기 예측된 프레임을 상기 현재 프레임으로부터 차감하는 것에 기초하여, 인코딩될 신호를 발생시키기 위해 제공되는 차감 단계를 포함하고;

   상기 모션 보상 연산 자체는, 모션 벡터들의 수직 및 수평 성분들(MVx, MVy)이 상기 성분들의 예측들(Px, Py)을 사용하고, 상기 모션 벡터 성분들과 그 예측들(Px, Py) 사이의 편차들(dx, dy)만을 인코딩하여, 차등 인코딩되어야 하는 상기 모션 벡터들의 발생을 초래하는, 상기 전송가능한 비디오 신호에 있어서,

   상기 코딩된 비트스트림이 상기 생성된 코딩된 비트스트림 내에 상기 편차들(dx, dy)이 존재하는지의 여부를 나타내는 부가적인 플래그 형태의 신텍스 엘리먼트를 포함하는 것을 특징으로 하는, 전송가능한 비디오 신호.
4. 비디오 프레임들의 시퀀스에 적용되어 코딩된 비트스트림을 발생시키는 비디오 인코딩 방법의 구현에 의해 발생된 코딩된 비트스트림으로 구성되는 전송가능한 비디오 신호를 디코딩하기 위한 비디오 디코딩 방법으로서,

   상기 비디오 인코딩 방법은:

   상기 코딩된 비트스트림의 각 데이터 아이템은, 임의의 디코더가 상기 비트스트림의 콘텐트의 모든 세그먼트들을 인식 및 디코딩하게 하는 비트스트림 신텍스에 의해 기술되며;

   이전 프레임과 현재 프레임 사이의 모션 보상 연산을 사용하는 예측 기술에 기초하여, 예측된 프레임을 발생시키기 위해 제공되는 예측 단계와; 상기 예측된 프레임을 상기 현재 프레임으로부터 차감하는 것에 기초하여, 인코딩될 신호를 발생시키기 위해 제공되는 차감 단계를 포함하고;

   상기 모션 보상 연산 자체는, 모션 벡터들의 수직 및 수평 성분들(MVx, MVy)이 상기 성분들의 예측들(Px, Py)을 사용하고, 상기 모션 벡터 성분들과 그 예측들(Px, Py) 사이의 편차들(dx, dy)만을 인코딩하여, 차등 인코딩되어야 하는 상기 모션 벡터들의 발생을 초래하는, 상기 비디오 디코딩 방법에 있어서,

   상기 코딩된 비트스트림 내에서, 상기 코딩된 비트스트림 내에 상기 편차들(dx, dy)이 존재하는지의 여부, 따라서, 디코딩되어야하는지의 여부를 나타내는 부가적인 플래그를 판독하는 단계를 포함하는 것을 특징으로 하는, 비디오 디코딩 방법.
5. 비디오 프레임들의 시퀀스에 적용되어 코딩된 비트스트림을 발생시키는 비디오 인코딩 방법의 구현에 의해 발생된 코딩된 비트스트림으로 구성되는 전송가능한 비디오 신호를 디코딩하기 위해 비디오 디코딩 방법을 수행하기 위한 비디오 디코딩 장치로서,

   상기 비디오 인코딩 방법은:

   상기 코딩된 비트스트림의 각 데이터 아이템은, 임의의 디코더가 상기 비트스트림의 콘텐트의 모든 세그먼트들을 인식 및 디코딩할 수 있게 하는 비트스트림 신텍스에 의해 기술되며;

   이전 프레임과 현재 프레임 사이의 모션 보상 연산을 사용하는 예측 기술에 기초하여, 예측된 프레임을 발생시키기 위해 제공되는 예측 단계와; 상기 예측된 프레임을 상기 현재 프레임으로부터 차감하는 것에 기초하여, 인코딩될 신호를 발생시키기 위해 제공되는 차감 단계를 포함하고;

   상기 모션 보상 연산 자체는, 모션 벡터들의 수직 및 수평 성분들(MVx, MVy)이 상기 성분들의 예측들(Px, Py)을 사용하고, 상기 모션 벡터 성분들과 그 예측들(Px, Py) 사이의 편차들(dx, dy)만을 인코딩하여, 차등 인코딩되어야 하는 모션 벡터들의 발생을 초래하는, 상기 비디오 디코딩 장치에 있어서,

   상기 코딩된 비트스트림 내에서, 상기 코딩된 비트스트림 내에 상기 편차들(dx, dy)이 존재하는지의 여부, 따라서, 디코딩되어야하는지의 여부를 나타내는 부가적인 플래그를 판독하기 위한 수단을 포함하는 것을 특징으로 하는, 비디오 디코딩 장치.