KR20070051294A - 움직임 추정을 위한 방법 및 장치 - Google Patents

움직임 추정을 위한 방법 및 장치 Download PDF

Info

Publication number
KR20070051294A
KR20070051294A KR1020077004940A KR20077004940A KR20070051294A KR 20070051294 A KR20070051294 A KR 20070051294A KR 1020077004940 A KR1020077004940 A KR 1020077004940A KR 20077004940 A KR20077004940 A KR 20077004940A KR 20070051294 A KR20070051294 A KR 20070051294A
Authority
KR
South Korea
Prior art keywords
motion vector
video stream
base layer
frame
image
Prior art date
Application number
KR1020077004940A
Other languages
English (en)
Inventor
진 왕
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20070051294A publication Critical patent/KR20070051294A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

비디오 스트림의 공간 계층화 압축을 위한 방법 및 장치가 개시된다. 참조 움직임 벡터가 본 발명의 압축 기술에 도입되고, 이 참조 움직임 벡터에 따라, 베이스 층 및 인핸스먼트 층은 비디오 스트림의 이미지의 대응하는 프레임의 움직임 벡터를 각각 획득할 수 있고, 이에 의해 각각 베이스 층 및 인핸스먼트 층을 생성한다. 도입된 참조 움직임 벡터는 베이스 층에 관한 움직임 추정을 인핸스먼트 층에 관한 움직임 추정과 연관되도록 하고, 이에 의해 베이스 층 및 인핸스먼트 층에 관한 움직임 추정의 전체 계산량을 감소시킨다. 또한, 참조 움직임 벡터를 얻기 위한 참조 프레임이 원본 비디오 시퀀스로부터 얻어질 수 있고, 원본 비디오 시퀀스에 어떠한 부가적인 유해한 동작도 가해지지 않으며, 참조 움직임 벡터는 비디오 시퀀스 내에서의 실제 움직임을 더 잘 반영할 수 있다.
움직임 추정, 공간 계층화 압축 방법, 참조 움직임 벡터, 베이스 층, 인핸스먼트 층

Description

움직임 추정을 위한 방법 및 장치{A method and apparatus for motion estimation}
본 발명은 비디오 스트림 압축을 위한 방법 및 장치에 관한 것으로서, 특히, 공간 계층화 압축 방식(spatial layered compressing scheme)을 이용하여 비디오 스트림을 압축하는 방법 및 장치에 관한 것이다.
디지털 비디오에 포함된 매우 많은 데이터로 인해, 고해상도 텔레비전 프로그램들을 제작할 때, 고 해상도 비디오 신호들을 전송하는 것은 큰 문제이다. 특히, 디지털 이미지의 프레임 각각은 픽셀-점들(또는 픽셀들이라 함)의 그룹으로 구성되는 정지 화상(still picture)(또한 이미지라 함)이다. 픽셀들의 양은 특정 시스템의 디스플레이 해상도에 좌우된다. 따라서, 고 해상도 비디오의 본래의 디지털 정보의 양은 매우 많다. 많은 비디오 압축 표준들, 예컨대 MPEG-2, MPEG-4 및 H.263 등이 전송될 필수 데이터의 양을 줄이기 위해 개발되어 왔다.
상기 표준들 모두는 공간적 계층화(spatial layering), 시간적 계층화(temporal layering), SNR 계층화 등을 포함하는 계층화 기술을 지원한다. 계층화 인코딩에서, 비트 스트림은 인코딩을 위한 2종 이상의 비트 스트림들 또는 계층들로 나누어진다. 다음, 디코딩하는 동안, 각각의 층들은 희망하는 대로 결합되어, 고해상도 신호를 형성한다. 예를 들어, 베이스 층들은 저해상도 비디오 스트림을 제공할 수 있고, 인핸스먼트 층들은 베이스 층 이미지를 향상시키기 위한 부가적인 정보를 제공할 수 있다.
기존의 공간 계층화 압축 기술들 중에서, 상기 계층화 압축 기술을 채용하는 것에 부가하여, 움직임 추정이 이전 및 이후 프레임 사이의 관련성에 따라 예측 이미지(predictive image)를 구하는데 이용되어 왔다. 압축되기 전에, 입력 비디오 스트림은 I, P 및 B 프레임들을 형성하고, 파라미터 설정에 따라 시퀀스를 형성하도록 처리된다. I 프레임은 그 자체만의 정보에 따라 인코딩을 하는 것이고, P 프레임은 앞서 그것에 가장 인접한 I 또는 P 프레임들에 따라 예측하여 인코딩하는 것이고, B 프레임은 그 전후의 프레임들 또는 자신에 따라 예측적으로 인코딩하는 것이다.
도 1은 MPEG-2/MPEG-4의 공간 계층화된 압축을 지원하는 비디오 코더(100)의 블록도이다. 비디오 인코더(100)는 베이스-인코더(112) 및 인핸스먼트 인코더(114)를 포함한다. 베이스-인코더는 다운샘플러(120), 움직임 추정(ME) 수단(122), 움직임 보상기(MC)(124), 직각 변환(예를 들어, 이산 코사인 변환(DCT)) 회로(135), 양자화기(Q)(132), 가변 길이 인코더(VLC)(134), 비트레이트 제어 회로(135), 역양자화기(IQ)(138), 역변환 회로(IDCT)(140), 스위치들(128, 144), 및 업샘플러(150)를 포함한다. 인핸스먼트 인코더(114)는 움직임 추정 수단(154), 움직임 보상기(155), 직각 변환(예컨대, DCT 변환) 회로(158), 양자화기(160), 가변 길이 인코더(162), 비트레이트 제어 회로(164), 역양자화기(166), 역변환 회로(IDCT)(168), 및 스위치 들(170, 172)을 포함한다. 상기 수단들의 모든 기능들은 기술분야에서 주지의 것들이며, 따라서 여기에서는 자세히 설명하지 않도록 한다.
움직임 추정은 비디오 압축 시스템에서 가장 많은 시간을 소비하는 부분 중 하나라는 것이 잘 알려져 있다. 즉, 움직임 추정의 계산 시간이 증가할수록 비디오 압축 시스템의 인코딩 효율은 저하된다. 전술한 계층화 인코딩 압축 기술에서, 동일한 프레임의 비디오 이미지들을 예측하는 동안, 움직임 추정이 베이스 층 및 인핸스먼트 층 각각을 위해 수행될 수 있고, 그들 사이에는 어떠한 연관성도 없다. 그러나, 움직임 추정이 베이스 층 및 인핸스먼트 층 각각을 위해 수행될 때, 동일한 이미지 프레임에 대해 예측되기 때문에, 상대적으로 큰 부분의 탐색 프로세스가 반복되며, 이는 움직임 추정 계산량을 증가시키고 압축 기술의 인코딩 효율을 낮춘다. 따라서, 더 좋은 인코딩 효율을 갖는 공간 계층화 비디오 압축 기술의 필요가 있다.
본 발명은 참조 움직임 벡터(reference motion vector)를 도입함으로써, 전술한 공간 계층화 압축 기술의 단점들을 극복하는 더 높은 효율의 공간 계층화 압축 방법에 관한 것이며, 본 발명은 베이스 층의 움직임 추정이 인핸스먼트 층의 움직임 추정과 상관되도록 하여 근본적으로 반복적인 탐색 프로세스들이 한번에 종료될 수 있도록 하며, 적은 양의 탐색이 수행된다; 이에 의해, 이를 기초로, 움직임 추정의 계산 복잡도가 감소되고, 압축된 인코딩의 효율이 향상된다.
본 발명에 따른 실시예는 비디오 스트림의 공간 계층화 압축을 위한 방법 및 그 장치를 개시한다. 우선, 비디오 스트림의 이미지의 프레임 각각에 대한 참조 움직임 벡터를 얻기 위하여 원본 비디오 스트림을 처리하고; 다음, 참조 움직임 벡터를 다운-샘플링하고, 비디오 스트림을 다운-샘플링하고; 두번째로, 다운-샘플링된 참조 움직임 벡터에 따라 다운-샘플링된 비디오 스트림의 이미지의 대응하는 프레임의 움직임 벡터를 획득하고; 다음, 움직임 벡터를 이용하여 다운-샘플링된 비디오 스트림의 이미지의 대응하는 프레임을 처리하고, 이에 의해 베이스 층을 생성하고; 마지막으로, 참조 움직임 벡터에 따라, 인핸스먼트 층을 생성하는 동안 비디오 스트림의 이미지의 대응하는 프레임의 움직임 벡터를 획득하고, 움직임 벡터 및 베이스 층을 이용하여 비디오 스트림을 처리하고, 이에 의해 인핸스먼트 층을 생성한다.
본 발명에 따른 대안적인 실시예는 비디오 스트림의 공간 계층화 압축을 위한 또 다른 방법 및 그 장치를 도시한다. 우선, 비디오 스트림을 다운-샘플링하여 다운-샘플링된 비디오 스트림의 이미지의 각각의 프레임에 대한 참조 움직임 벡터를 획득하고; 두번째로, 참조 움직임 벡터에 따라, 다운-샘플링된 비디오 스트림의 이미지의 대응하는 프레임의 움직임 벡터를 획득하고; 다음, 움직임 벡터를 이용하여 다운-샘플링된 비디오 스트림을 처리하고 이에 의해 베이스 층을 생성하고; 마지막으로, 인핸스먼트 층을 생성하는 동안 참조 움직임 벡터를 업-샘플링하고, 업-샘플링된 움직임 벡터에 따라, 비디오 스트림의 이미지의 대응하는 프레임의 움직임 벡터를 획득하고, 움직임 벡터 및 베이스 층을 이용하여 비디오 스트림을 처리하고 이에 의해 인핸스먼트 층을 생성한다.
본 발명에 따른 다른 실시예는 비디오 스트림의 공간 계층화 압축을 위한 다른 방법 및 그 장치를 개시한다. 우선, 비디오 스트림을 처리하여 베이스 층을 생성하고; 다음, 베이스 층의 이미지의 각각의 프레임에 대한 움직임 벡터를 업-샘플링하여, 이미지의 대응하는 프레임의 참조 움직임 벡터를 획득하고; 마지막으로, 참조 움직임 벡터에 따라 비디오 스트림의 이미지의 대응하는 프레임의 움직임 벡터를 획득하고, 이에 의해 움직임 벡터와 베이스 층을 이용하여 비디오 스트림을 처리하여 인핸스먼트 층을 생성한다.
본 발명의 다른 목적들 및 효과들이 첨부된 도면들 및 청구항들을 연관하여 기재된 다음의 설명을 참조하여 용이하게 이해할 수 있을 것이다.
본 발명은 다음의 도면들을 참조하여 실시예들에 의해 상세히 설명된다:
도 1은 종래 기술에 따른 공간 계층화 압축 비디오 인코더의 블록도.
도 2는 본 발명의 실시예에 따라 참조 움직임 벡터를 이용하는 인코딩 시스템의 개략도.
도 3은 본 발명의 일 실시예에 따라 참조 움직임 벡터를 이용하는 인코딩의 순서도.
도 4는 본 발명의 다른 실시예에 따라 참조 움직임 벡터를 이용하는 인코딩 시스템의 개략도.
도 5는 본 발명의 다른 실시예에 따라 참조 움직임 벡터를 이용하는 인코딩 시스템의 개략도.
상기 도면들에 걸쳐, 동일한 참조 번호들이 유사한 또는 대응하는 특징들 또는 기능들을 가리킨다.
도 2는 본 발명의 일 실시예에 따라 참조 움직임 벡터를 이용하는 인코딩 시스템의 개략도이다. 인코딩 시스템(200)은 계층화 압축에 이용되고, 여기에서 베이스 층 부분은 비디오 스트림의 저해상도 베이스 정보를 제공하는데 이용되고, 인핸스먼트 층은 에지 개선 정보를 전달하는데 이용되며, 이들 두 가지 정보는 수신 단말에서 재결합되어 고해상도 화상 정보를 형성한다.
인코딩 시스템(200)은 획득 수단(216), 베이스 층 획득 수단(212), 및 인핸스먼트 층 획득 수단(214)을 포함한다.
여기에서, 획득 수단(216)은 원본 비디오 스트림을 처리하는데 이용되고, 이에 의해 비디오 스트림의 이미지 각각의 프레임에 대한 참조 움직임 벡터를 얻는다. 획득 수단(216)은 움직임 추정 수단(276) 및 프레임 메모리(282)를 포함한다. 프레임 메모리(282)는 원본 비디오 시퀀스를 저장하는데 이용된다. 움직임 추정 수단(276)은 프레임 메모리(282)로부터 참조 프레임들(예컨대: I 또는 P 프레임들)을 얻고, 참조 프레임들에 따라 현재 프레임(예컨대 P 프레임들)에 대한 움직임 추정을 행하고, 이에 의해 계산으로 현재 프레임의 참조 움직임 벡터를 유도하는데 이용된다.
베이스 층 획득 수단(212)은 참조 움직임 벡터를 이용하여 비디오 스트림을 처리하며, 이에 의해 베이스 층을 생성한다. 수단(212)은 다운-샘플러들(120, 286) 을 포함한다. 다운-샘플러(120)는 원본 비디오 스트림을 다운-샘플링하는데 이용된다. 다운 샘플러(286)는 참조 움직임 벡터를 다운-샘플링하는데 이용된다. 물론, 당업자는 원본 비디오 스트림 및 참조 움직임 벡터에 대해 하나의 다운-샘플러로 다운 샘플링을 수행하는 것이 가능하다는 것을 또한 이해할 수 있을 것이다.
베이스 층 획득 수단(212)은 또한 움직임 벡터 획득 수단(222)을 포함한다. 움직임 벡터 획득 수단(222)은 다운-샘플링된 참조 움직임 벡터에 기초하여 다운-샘플링된 비디오 스트림의 이미지의 대응하는 프레임의 움직임 벡터를 얻는데 이용된다. 움직임 벡터 획득 수단(222)이 움직임 벡터를 획득하는 프로세스가 이하에서 설명될 것이다.
베이스 층 획득 수단(212)은 베이스 층 생성 수단(213)을 더 포함하며, 이는 움직임 벡터를 이용하여 다운-샘플링된 비디오 스트림을 처리하며 이에 의해 베이스 층을 생성한다. 다운-샘플러들(120, 286) 및 움직임 벡터 획득 수단(222)을 제외하고, 베이스 층 획득 수단(212) 내의 다른 모든 수단들은 기본적으로 도 1의 베이스 층 인코더와 동일하고, 움직임 보상기(124), DCT 변환 회로(130), 양자화기(132), 가변 길이 인코더(134), 비트레이트 제어 회로(135), 역양자화기(138), 역변환 회로(140), 산술 유닛들(125,148), 스위치들(128, 144), 및 업-샘플러(150)를 포함하여 베이스 층 생성 수단(213)에 속한다. 베이스 층 생성 수단(213)이 움직임 벡터 획득 수단(222)으로부터 출력된 움직임 벡터에 기초하여 베이스 층을 생성하는 프로세스는 실질적으로 종래 기술의 것과 동일하며, 이하에서 상세히 설명될 것이다.
도 1과 비교하여, 전술된 베이스 층 획득 수단(212) 내에서, 동일한 참조 번호가 동일한 또는 유사한 특징들 및 기능들을 갖는 구성요소들을 가리킨다. 움직임 추정 수단(122)과 움직임 벡터 획득 수단(222) 사이의 유일한 차이점은 그들이 움직임 벡터들을 얻는 방법들이다. 도 1의 움직임 추정 수단(122)은 직접 프레임 메모리(미도시)의 참조 프레임들을 이용하여, 비디오 스트림의 이미지의 대응하는 프레임의 움직임 벡터를 획득하기 위해 더 큰 탐색 창 내에서 탐색하는 반면, 도 2의 움직임 벡터 획득 수단(222)은 또한 비디오 스트림의 이미지의 대응하는 프레임의 움직임 벡터를 얻기 위하여 참조 움직임 벡터에 기초하여 더 작은 탐색 창 내에서 탐색한다.
인핸스먼트 층 획득 수단(214)은 참조 움직임 벡터 및 베이스 층을 이용하여 비디오 스트림을 처리하며, 이에 의해 인핸스먼트 층을 생성한다. 수단(214)은 움직임 벡터 획득 수단(254) 및 인핸스먼트 층 생성 수단(215)을 포함한다.
움직임 벡터 획득 수단(254)은 참조 움직임 벡터에 기초하여 비디오 스트림의 이미지의 대응하는 프레임의 움직임 벡터를 획득하는데 이용된다.
인핸스먼트 층 생성 수단(215)은 움직임 벡터 및 베이스 층을 이용하여 비디오 스트림을 처리하며, 이에 의해 인핸스먼트 층을 생성한다. 인핸스먼트 층 획득 수단(214)에서, 움직임 벡터 획득 수단(254)을 제외하고, 구성요소들은 실질적으로 도 1의 인핸스먼트 층 인코더(114)의 것들과 동일하며, 그들 모두는 움직임 보상기(155), DCT 회로(158), 양자화기(160), 가변 길이 인코더(162), 비트레이트 제어 회로(164), 역양자화기(166), 역 DCT 회로(168), 및 스위치들(170, 172)을 포함하 는 인핸스먼트 층 생성 수단(215)에 속한다. 이들 구성요소들은 기능상 베이스 층 획득 수단(212)의 대응하는 구성요소들과 유사하다. 인핸스먼트 층 생성 수단(215)이 움직임 벡터 획득 수단(254)으로부터 출력되는 움직임 벡터를 이용하여 인핸스먼트 층을 생성하는 프로세스는 근본적으로 종래 기술의 것과 동일하며 이하에서 자세히 설명하도록 한다.
도 1과 비교하여, 전술된 베이스 층 획득 수단(214) 내에서, 동일한 참조 번호가 동일한 또는 유사한 특징들 및 기능들을 갖는 구성요소들을 가리킨다. 움직임 추정 수단(154)과 움직임 벡터 획득 수단(254) 사이의 유일한 차이점은 그들이 움직임 벡터들을 얻는 방법들이다. 도 1의 움직임 추정 수단(154)은 프레임 메모리(미도시)의 참조 프레임들을 직접 이용하여, 비디오 스트림의 이미지의 대응하는 프레임의 움직임 벡터를 획득하기 위해 더 큰 탐색 창 내에서 탐색하는 반면, 도 2의 움직임 벡터 획득 수단(254)은 또한 비디오 스트림의 이미지의 대응하는 프레임의 움직임 벡터를 얻기 위하여 상기 참조 움직임 벡터에 기초하여 더 작은 탐색 창 내에서 탐색한다.
도 2와 관련하여, 베이스 층 획득 수단(212) 및 인핸스먼트 층 획득 수단(214)이 획득 수단(216)에 의해 출력되는 참조 움직임 벡터를 이용하여 각각의 움직임 벡터들을 얻고, 이에 의해 베이스 층 및 인핸스먼트 층을 생성하는 프로세스가 이하에서 상세히 설명될 것이다.
원본 비디오 스트림이 획득 수단(216)에 입력되고, 다음 움직임 추정 수단(276) 및 프레임 메모리(282)에 각각 입력된다. 획득 수단(216)에 공급되기 전 에, 비디오 스트림은 I,P,B 프레임들을 형성하고, 파라미터 설정에 따라 I,B,P,B,P,...,B,P와 같은 시퀀스를 형성하도록 처리되었다. 입력 비디오 시퀀스는 프레임 메모리(282)에 저장된다. 움직임 추정 수단(276)은 프레임 메모리(282)로부터 참조 프레임들(예컨대: I 프레임들)을 얻고, 참조 프레임에 따라 현재 프레임(예컨대 P 프레임들)에 대한 움직임 추정을 수행하고, 이에 의해 현재 프레임의 매크로 블록의 참조 움직임 벡터를 계산하는데 이용된다. 매크로 블록은 현재 인코딩된 프레임 내의 16*16 픽셀을 갖는 서브-블록이며, 현재 매크로 블록의 참조 움직임 벡터를 산출하고, 이에 의해 현재 프레임의 참조 움직임 벡터를 얻기 위하여, 현재의 매크로 블록과 참조 프레임 사이의 블록들을 매칭하는 데 이용된다.
MPEG에서 이미지 예측에 이용되는 4가지 방법 즉, 인트라-프레임 인코딩, 전방향 예측 인코딩, 후방향 예측 인코딩, 및 양방향 예측 인코딩이 있다. I 프레임은 인트라-프레임 인코딩 이미지이고, P 프레임은 인트라-프레임 인코딩 또는 전방향 예측 인코딩 또는 후방향 예측 인코딩 이미지이고, B 프레임은 인트라-프레임 인코딩 또는 전방향 예측 인코딩 또는 양방향 예측 인코딩 이미지이다.
움직임 추정 수단(276)은 P 프레임에 전방향 예측을 수행하고, 그것의 참조 움직임 벡터를 산출한다. 덧붙여, 움직임 추정 수단은 또한 전방향 또는 양방향 예측을 B 프레임에 수행하고, 그것의 참조 움직임 벡터를 산출한다. 인트라-프레임 인코딩에 대해서는 어떠한 움직임 예측도 필요로 하지 않는다.
예로서 P 프레임에 전방향 예측을 할 때, 참조 움직임 벡터의 산출 프로세스가 이하에서 설명된다. 움직임 추정 수단(276)은 프레임 메모리(282)로부터 이전 참조 프레임을 판독하고, 이전 참조 프레임의 탐색 창 내에서 현재 프레임의 픽셀 블록에 가장 잘 일치하는 매크로 블록을 탐색한다. 종래 기술로서 매칭 탐색을 위한 수 개의 알고리즘들이 있고, 일반적으로, 매칭 상태는 현재 입력 블록의 픽셀과 참조 프레임의 대응하는 블록의 픽셀 사이의 자승 평균 에러(MAD) 또는 절대값 에러(MSE)에 의해 판단된다. 최소 MAD 또는 MSE를 갖는 참조 프레임의 대응하는 블록은 최적의 매칭 블록이고, 현재 블록의 위치에 대한 상기 최적 매칭 블록의 상대적인 위치가 참조 움직임 벡터이다.
전술한 프로세스에 의해, 획득 수단(216) 내의 움직임 추정 수단(276)은 비디오 스트림의 이미지의 프레임의 참조 움직임 벡터를 획득할 수 있다. 다운-샘플러(286)에 의해 다운-샘플링된 후, 참조 움직임 벡터는 베이스 층 획득 수단(212)의 움직임 추정 수단(222)으로 입력되어, 움직임 추정 수단(222)은 베이스 층에서 이미지의 동일한 프레임에 대해 움직임 추정을 수행한다. 덧붙여, 참조 움직임 벡터는 또한 인핸스먼트 층 획득 수단(214)의 움직임 추정 수단(254)에 입력되어, 움직임 추정 수단(254)은 인핸스먼트 층에서 이미지의 동일한 프레임에 움직임 추정을 수행할 수 있다.
획득 수단(216)이 입력 비디오 스트림에 움직임-추정을 하는 동안, 베이스 층 획득 수단(212) 및 인핸스먼트 층 획득 수단(214)은 또한 예측적으로(predicitively) 입력 비디오 스트림을 인코딩하나, 상기 예측 인코딩은 베이스 층 및 인핸스먼트 층이 참조 움직임 벡터에 기초하여 움직임 추정을 수행해야만 하기 때문에 시간적으로 약간 지연된다.
베이스 층이 상기 참조 움직임에 기초하여 움직임 추정을 수행하는 프로세스는 이하에서 설명된다.
원본 입력 비디오 스트림은 분리기에 의해 나누어지고, 베이스 층 획득 수단(212) 및 인핸스먼트 층 획득 수단에 각각 공급된다. 베이스 층 획득 수단에서, 입력 비디오 스트림은 다운-샘플러(120)에 입력된다. 다운-샘플러는 입력 비디오 스트림의 해상도를 감소시키는데 이용되는 저대역 통과 필터일 수 있다. 다음, 다운-샘플링된 비디오 스트림은 움직임 벡터 획득 수단(222)으로 입력된다. 움직임 벡터 획득 수단(222)은 프레임 메모리에 저장된 비디오 시퀀스의 이전 참조 프레임의 이미지를 얻고, 상기 다운-샘플러(286)로부터 출력된 현재 프레임의 다운-샘플링된 참조 움직임 벡터에 기초하여 이전 참조 프레임의 더 작은 탐색 창 내에서 현재 프레임을 가장 잘 일치하는 매크로 블록을 탐색하고, 이에 의해 다운-샘플링된 비디오 스트림의 이미지의 대응하는 프레임의 비디오 움직임 벡터를 얻는다.
움직임 벡터 획득 수단(222)으로부터의 전술한 예측 모드, 참조 움직임 벡터 및 움직임 벡터를 수신한 후, 움직임 보상기(124)는 상기 예측 모드, 참조 움직임 벡터 및 움직임 벡터에 기초하여 인코딩되고 부분적으로 디코딩된 프레임 메모리(미도시)에 저장된 이전 참조 프레임의 이미지 데이터를 판독하고, 참조 움직임 벡터에 따라 이전 이미지 프레임을 이동시키고, 다음 움직임 벡터에 따라 한번 더 동일하게 이동하고, 이에 의해 현재 이미지 프레임을 예측한다. 물론, 이전의 이미지 프레임은 참조 움직임 벡터 및 움직임 벡터의 합에 해당하는 크기만큼 오직 한번만 이동될 수도 있고, 이 경우, 참조 움직임 벡터 및 움직임 벡터의 합은 이미지 프레 임의 움직임 벡터로서 이용될 수 있다.
다음, 움직임 보상기(124)는 산술 유닛(125) 및 스위치(144)에 예측된 이미지를 제공한다. 산술 유닛(125)은 또한 입력 비디오 스트림을 수신하고, 입력 비디오 스트림의 이미지와 움직임 보상기(124)로부터 입력된 예측된 이미지 사이의 차를 산출한다. 이 차는 DCT 회로(130)에 제공된다.
움직임 추정 수단(122)으로부터 수신된 예측 모드가 인트라-프레임 예측인 경우, 움직임 보상기(124)는 어떠한 예측된 이미지도 출력하지 않는다. 이 경우, 산술 유닛(125)은 상기 프로세스를 수행하지 않으며, 직접 비디오 스트림을 DCT 회로(130)로 입력한다.
DCT 회로(130)는 산술 유닛으로부터 출력된 신호에 DCT 프로세스를 수행하여 DCT 계수를 얻으며, 이는 양자화기(132)로 제공된다. 양자화기(132)는 버퍼에 저장되는 데이터의 양에 기초하여 양자화 크기(양자화 레벨)를 설정하고, 양자화 레벨을 이용하여 DCT 회로(130)로부터 공급된 DCT 계수를 양자화한다. 양자화된 DCT 계수 및 설정된 양자화 크기가 VLC 회로(134)에 함께 제공된다.
양자화기(132)로부터 공급된 양자화 크기에 따라, VLC 유닛(134)은 양자화기로부터의 공급된 양자화 계수들을 가변 길이 코드, 예컨대 허프만 코드(Huffman code)로 변환하고, 이에 의해 베이스 층을 생성한다.
또한, 변환된 양자화 계수들은 버퍼(미도시)로 출력된다. 양자화 계수 및 양자화 크기는 또한 역양자화기(138)로 제공되고, 이는 양자화 크기에 따라 양자화 계수들을 역으로 양자화하여 양자화 계수를 DCT 계수로 변환한다. DCT 계수들은 역 DCT 유닛(140)에 제공되고, 이는 DCT 계수들에 역 DCT 변환을 수행한다. 획득된 역 DCT 계수들은 산술 유닛(148)에 제공된다.
산술 유닛(148)은 역 DCT 유닛(140)으로부터 역 DCT 계수들을 수신하고, 스위치(144)의 위치에 따라 움직임 보상기(124)로부터 데이터를 수신한다. 산술 유닛(148)은 역 DCT 유닛(140)에 의해 제공된 신호와 움직임 보상기(124)에 의해 제공된 예측성 이미지의 합을 산출하여, 부분적으로 원본 이미지를 디코딩한다. 그러나, 예측 모드가 인트라-프레임 인코딩이라면, 역 DCT 유닛(140)의 출력은 직접 프레임 메모리로 전달될 수 있다. 산술 유닛(148)에 의해 구해진, 디코딩된 이미지는 프레임 메모리에 입력 및 저장되고, 후에 인트라-프레임 인코딩, 전방향 인코딩, 후방향 인코딩, 또는 양방향 인코딩에 대한 참조 프레임으로서 이용된다.
산술 유닛(140)의 출력은 또한 업-샘플러(150)에 공급되어 재구성된 스트림을 생성하며, 이는 고해상도 입력 비디오 스트림의 것과 실질적으로 동일한 해상도를 갖는다. 그러나, 압축 및 압축해제에 의해 야기되는 손상 및 필터에 기인하여, 재구성된 스트림은 어느 정도 에러를 갖는다. 상기 차는 원본의 변화되지 않은 고해상도 비디오 스트림에서 재구성된 고해상도 비디오 스트림을 뺌으로써 결정되고, 인핸스먼트 층에 입력되어 인코딩된다. 따라서, 인핸스먼트 층은 상기 차 정보를 갖는 프레임들을 인코딩하고 압축한다.
인핸스먼트 층에 대한 예측 인코딩의 프로세스는 베이스 층에 대한 것과 매우 유사하다. 획득 수단(216)이 참조 움직임 벡터를 획득한 후, 참조 움직임 벡터가 인핸스먼트 층 획득 수단(214)의 움직임 추정 수단(254)에 입력된다. 이러한 방 식으로, 움직임 추정 수단(254)은 참조 움직임 벡터에 기초하여 인핸스먼트 층에서 동일한 프레임 이미지에 대한 움직임 추정을 수행하고, 이에 의해 비디오 스트림의 이미지의 대응하는 프레임의 움직임 벡터를 획득한다. 다음, 예측 모드, 참조 움직임 벡터 및 상기 움직임 벡터에 따라, 움직임 보상기(155)는 대응하도록 참조 프레임들을 이동시키고, 이에 의해 현재 프레임을 예측한다. 움직임 예측의 이 프로세스는 베이스 층에 대한 것과 유사하기 때문에, 여기에서 상세히 논의하지는 않는다.
도 3은 본 발명의 일 실시예에 따라 참조 움직임 벡터를 이용하여 인코딩하는 순서도이다. 이 순서는 수단(200)의 기능적인 순서이다.
우선, 특정 고해상도 비디오 스트림, 예컨대 1920*1080i의 해상도를 갖는 비디오 스트림을 수신한다(S305).
다음, 비디오 스트림의 이미지 프레임 각각에 대한 참조 움직임 벡터를 획득한다(S310). 현재 프레임이 P 프레임이라면, 현재 프레임에 가장 잘 매칭하는 매크로 블록이 참조 프레임 I의 탐색 창 내에서 탐색되고, 예를 들어, 탐색은 움직임 추정에 의해 추천되는 값인 ±15 픽셀들의 크기를 갖는 탐색 창에서 수행된다. 최적의 매칭 블록을 찾은 후에, 현재 블록과 매칭 블록 사이의 이동은 참조 움직임 벡터이다. 이 참조 움직임 벡터는 에러가 없는 원본 비디오 스트림 내에서 참조 프레임을 예측하여 얻어지기 때문에, 실제 비디오 움직임을 더 잘 반영할 수 있다.
참조 움직임 벡터의 획득 프로세스는 다음 수식에 의해 표현되며, 여기에서 (Bx,By)는 움직임 벡터이다:
Figure 112007017388862-PCT00001
수식 (1)에서, arg는 SAD가 최소일 때 현재의 매크로 블록에 대응하는 움직임 벡터이다.
Figure 112007017388862-PCT00002
수식 (2)에서, 두 매크로 블록들의 닮은 정도를 나타내는 SAD는 각각의 픽셀들 사이의 차의 절대값이다; m과 n은 각각 수평 및 수직 방향으로의, 매칭 블록의 움직임 성분들이다; Pc(i,j) 및 Rp(i,j)는 각각 현재 프레임 및 이전 참조 프레임의 픽셀들이다. 아래첨자 "c" 및 "p"는 "현재 프레임" 및 "이전 프레임"을 각각 가리킨다.
참조 움직임 벡터는 비디오 스트림의 베이스 층 및 인핸스먼트 층에서 움직임을 재추정하는데 각각 이용될 수 있고, 따라서 베이스 층 및 인핸스먼트 층은 이 참조 움직임 벡터에 기초하여 작은 영역 내에서의 움직임 추정만을 필요로 하고, 이에 의해 계산 복잡도를 감소시키고 인코딩 시스템의 압축된 인코딩 효율을 증가시킬 수 있다.
다음, (Bx, By´)을 얻기 위하여 참조 움직임 벡터(Bx, By)를 다운-샘플링한다(S312).
그 해상도를 감소시키기 위하여, 예컨대 720*480i로 감소시키기 위해, 비디오 스트림을 다운-샘플링한다.
다운-샘플링된 참조 움직임 벡터(Bx′,By´)에 따라, 다운-샘플링된 비디오 스트림의 이미지의 대응하는 프레임의 움직임 벡터가 얻어진다(S322). 여기에서 언급되는 이미지의 대응하는 프레임은 참조 움직임 벡터가 얻어질 때 현재 프레임과 동일한 프레임이다는 것을 주의해야 한다. 이는 예측이 동일한 프레임에 수행되고, 움직임 벡터(Dx1;Dy1)가 참조 움직임 벡터(Bx′,By´)에 기초하여 참조 프레임의 더 작은 탐색 창 내에서 현재 블록을 최적으로 매칭하는 매크로 블록을 더 탐색함으로써 얻어질 수 있기 때문이다. 이것은 탐색 창이 ±2 픽셀들의 새로운 탐색 창인 실험에 의해 증명되었다. 수식 (3) 및 (4)를 참조하여, 탐색 프로세스는 더욱 분명하게 이해될 수 있을 것이다:
Figure 112007017388862-PCT00003
Figure 112007017388862-PCT00004
수식 (4)에 의해, 움직임 추정은 참조 움직임 벡터(Bx′,By´)에 기초하여 탐색한다는 것을 알 수 있다. 대부분의 탐색은 참조 움직임 벡터를 산출할 때 종료되었기 때문에, 오직 매우 한정된 탐색이 이 단계에서 최적의 매칭 블록을 찾는데 필요로 된다. ±2 픽셀들의 탐색 창에서의 탐색 양은 ±15 픽셀의 탐색 창의 것보다 분명 매우 적다.
다운-샘플링된 비디오 스트림은 움직임 벡터를 이용하여 처리되어 베이스 층을 생성한다(S326). 현재 프레임의 예측성 프레임은 전술한 참조 움직임 벡터 및 움직임 벡터에 따라 참조 프레임을 이동시킴으로써 얻어질 수 있고, 그 다음 베이스 층을 생성하는데 공지의 프로세스로도 충분하다.
참조 움직임 벡터(Bx,By)에 따라 비디오 스트림의 이미지의 대응하는 프레임의 움직임 벡터를 획득한다(S332). 여기에서 이미지의 대응하는 프레임은 참조 움직임 벡터가 얻어질 때 현재 프레임과 동일한 프레임이다는 것을 주의해야 한다. 이는 예측이 동일한 프레임에 수행되고, 움직임 벡터(Dx2;Dy2)가 참조 움직임 벡터(Bx,By)에 기초하여 참조 프레임의 상대적으로 작은 탐색 창 내에서 현재 블록을 최적으로 매칭하는 매크로 블록을 더 탐색함으로써 얻어질 수 있기 때문이다. 움직임 벡터를 구하는 방법은 베이스 층에 의해 움직임 벡터를 얻는 것과 유사하며, 따라서 상세한 설명은 생략한다.
다음, 움직임 벡터 및 베이스 층을 이용하여 비디오 스트림을 처리하고, 이에 의해 인핸스먼트 층을 생성한다(S336).
따라서, 본 실시예에서 참조 움직임 벡터는 움직임을 예측하는데 베이스 층 및 인핸스먼트 층에 의해 동시에 이용될 수 있고, 따라서 두 층들에서의 탐색을 위한 계산 복잡성을 감소시키고 압축된 인코딩 효율을 증가시킬 수 있다.
본 발명 및 종래 도 1에 관한 압축 기술의 계산 복잡도가 이하에서 분석되고 비교될 것이다.
고선명(HD) 프레임과 표준 선명(SD) 프레임에 대한 해상도들은 각각 1920×1088i 및 720×480i이고, 탐색 창은 ±15 픽셀들이라고 가정한다. Y 성분에 대한 두 매크로 블록들 사이의 에러 측정 SAD는 TSAD이다.
HD 프레임 및 SD 프레임에 대한 매크로 블록들의 전체 개수는 (오직 Y 성분만을 고려할 때) 각각 8160과 1350이다. ±15 픽셀들의 탐색 창 내에서 각각의 매크로 블록에 대한 움직임 추정을 수행한다면, 매크로 블록의 바람직한 움직임 벡터를 얻기 위한 계산의 최대 양은 (31*31*TSAD=961*TSAD)이다. HD 프레임에 대한 계산량은 (8160*961*TSAD=7,841,760*TSAD)이고; SD 프레임(베이스 층)에 대한 계산량은 (1350*961*TSAD= 1,297,350*TSAD)이다.
도 1에 도시된 인코딩 시스템에 대해, 각각의 프레임의 움직임 벡터에 대한 전체 최대 계산량은 HD 프레임에 대한 계산량과 SD 프레임에 대한 계산량의 합, 즉 (9,139,110*TSAD)이다.
도 2에 도시된 인코딩 시스템에 대해, 참조 움직임 벡터에 대한 계산량은 (7,841,760*TSAD)이다. 각각의 매크로 블록에 대한 움직임 추정이 상대적으로 작은 탐색 창(±2 픽셀) 내에서 수행될 때, 바람직한 움직임 벡터를 얻기 위한 최대 계산량은 (5*5*TSAD=25*TSAD)이다. SD 프레임(베이스 층)에 대한 계산량은 (1350*25*TSAD=33,750*TSAD)이다; HD 프레임(인핸스먼트 층)에 대한 계산량은 (8160*25*=204,000*TSAD)이다.
도 2에 개시된 인코딩 시스템에 대해, 각각의 프레임의 움직임 벡터에 대한 전체 최대 계산량은 참조 움직임 벡터의 계산량, 상대적으로 작은 탐색 창 내에서의 SD 프레임에 대한 탐색량, 및 상대적으로 작은 탐색 창 내에서의 HD 프레임에 대한 탐색량의 합, 즉 (7,875,510*TSAD)이다.
도 1에 도시된 인코딩 시스템과 비교하여, 도 2에 도시된 인코딩 시스템은 백분율로 계산량을 감소시켰다:
R=|7,875,510-9,139,110|/9,139,110=14%
도 4는 본 발명의 또다른 실시예에 따른 참조 움직임 벡터를 이용하는 인코딩 시스템의 개략도이다. 이 실시예의 인코딩 시스템(400)은 도 2에 도시된 것과 유사하고, 그들간의 차이점에 대해서 집중적으로 설명하며 나머지는 생략하도록 한다. 그들간의 차이점은 획득 수단(410)이 다운-샘플러(120) 및 참조 움직임 벡터 획득 수단(416)을 포함한다는 것이다. 원본 비디오 스트림은 우선 다운-샘플러(120)에 의해 다운-샘플링된다. 다음 다운-샘플링된 비디오 스트림은 참조 움직임 벡터 획득 수단(416), 즉 움직임 추정 수단(476) 및 프레임 메모리(282) 각각에 입력되고, 이에 의해 비디오 스트림의 이미지의 각각의 프레임의 참조 움직임 벡터를 얻는다. 다음, 참조 움직임 벡터는 베이스 층 획득 수단(412)의 움직임 추정 수단(422)에 직접 입력되고, 참조 움직임 벡터에 기초하여 수단(422)은 상대적으로 작은 탐색 창 내에서 움직임을 재추정하여 다운-샘플링된 비디오 스트림의 이미지의 대응하는 프레임의 움직임 벡터를 얻는다; 그 후, 베이스 층 생성 수단(413)은 움직임 벡터를 이용하여 다운-샘플링된 비디오 스트림을 처리하고, 이에 의해 베이 스 층을 생성한다.
또한, 인핸스먼트 층 획득 수단(414) 내에서, 전술한 참조 움직임 벡터는 먼저 업-샘플러(486)에 의해 업-샘플링되고, 다음 움직임 벡터 획득 수단 즉, 움직임 벡터 추정 수단(454)은 업-샘플링된 참조 움직임 벡터를 기초하여 움직임을 재추정하여 비디오 스트림의 이미지의 대응하는 프레임의 움직임 벡터를 구한다. 다음, 비디오 스트림은 참조 움직임 벡터 및 베이스 층과 함께 인핸스먼트 층 생성 수단(415)에 의해 처리되고, 이에 의해 인핸스먼트 층을 생성한다.
전술한 설명을 통해, 베이스 층 및 인핸스먼트 층에서의 움직임 추정들은 서로 연관되어 이미지의 동일한 프레임을 예측할 때 그들에 의해 수행되어야 하는 반복적인 탐색이 한번에 종료될 수 있다는 것을 이해할 수 있을 것이다; 그리고 베이스 층 및 인핸스먼트 층은 동일한 참조 움직임 벡터에 기초하여 상대적으로 작은 탐색 창 내에서 재추정한다. 탐색 프로세스가 매우 절감되기 때문에, 전체 인코딩 시스템의 계산량은 감소된다.
도 5는 본 발명의 다른 실시예에 따라 참조 움직임 벡터를 이용하는 인코딩 시스템의 개략도이다. 이 실시예의 인코딩 시스템(500)은 도 2에 도시된 것과 유사하고, 그들간의 차이점에 대해서 집중적으로 설명하며 나머지는 생략하도록 한다. 차이점은 베이스 층 획득 수단(512)의 움직임 추정 수단(522)이 베이스 층의 이미지의 각각의 프레임의 움직임 벡터를 출력하고, 상기 움직임 벡터는 업-샘플링되어 참조 움직임 벡터 획득 수단 즉 업-샘플러(586)에 의해 이미지의 대응하는 프레임의 참조 움직임 벡터로서 이용된다는 것이고, 참조 움직임 벡터는 인핸스먼트 층 획득 수단(514)의 움직임 추정 수단(554)에 입력된다. 참조 움직임 벡터를 기초하여, 움직임 추정은 상대적으로 작은 탐색 창 내에서 한번 이상 수행되고, 이에 의해 비디오 스트림의 이미지의 대응하는 프레임의 움직임 벡터를 얻는다. 다음, 베이스 층의 출력뿐만 아니라, 움직임 벡터, 참조 움직임 벡터를 따라, 인핸스먼트 층 생성 수단(515)은 도 2에 도시된 실시예의 것과 유사한 방식으로 인핸스먼트 층을 생성한다.
이 실시예에서 전술한 내용으로부터, 베이스 층에서 획득된 움직임 벡터에 기초하여, 인핸스먼트 층은 상대적으로 작은 범위 내에서 한번 이상 그 탐색을 수행하고, 따라서 인핸스먼트 층은 베이스 층의 것과 동일한 탐색 부분을 생략하며, 이에 따라 인코딩 시스템에서의 전체 계산량을 줄일 수 있다.
본 발명은 특정 실시예들과 연관하여 설명되었으나, 당업자는 전술한 내용의 많은 치환, 변형, 및 변화가 가능하다는 것을 이해할 수 있을 것이다. 따라서, 이러한 모든 치환, 변형, 및 변화가 첨부된 청구항들의 사상 및 범위 내에 있는 것으로 이해되어야 한다.

Claims (16)

  1. 비디오 스트림에 대한 공간 계층화 압축 방법에 있어서,
    a. 상기 비디오 스트림의 이미지의 각각의 프레임의 참조 움직임 벡터를 얻기 위해, 상기 비디오 스트림을 처리하는 단계;
    b. 베이스 층을 생성하기 위해, 상기 참조 움직임 벡터를 이용하여 상기 비디오 스트림을 처리하는 단계; 및
    c. 인핸스먼트 층을 생성하기 위해, 상기 참조 움직임 벡터 및 상기 베이스 층을 이용하여 상기 비디오 스트림을 처리하는 단계를 포함하는, 공간 계층화 압축 방법.
  2. 제 1 항에 있어서,
    상기 단계 a 는:
    상기 비디오 스트림을 다운-샘플링하고;
    상기 다운-샘플링된 비디오 스트림의 이미지의 각각의 프레임에 대한 상기 참조 움직임 벡터를 획득하는 단계를 포함하는, 공간 계층화 압축 방법.
  3. 제 2 항에 있어서,
    상기 단계 b는:
    상기 참조 움직임 벡터에 따라, 상기 다운-샘플링된 비디오 스트림의 이미지 의 대응하는 프레임의 상기 움직임 벡터를 획득하고;
    상기 인핸스먼트 층을 생성하기 위해 상기 움직임 벡터를 이용하여 상기 다운-샘플링된 비디오 스트림을 처리하는 단계를 포함하는, 공간 계층화 압축 방법.
  4. 제 2 항에 있어서,
    상기 단계 c는:
    상기 참조 움직임 벡터를 업-샘플링하고;
    상기 업-샘플링된 참조 움직임 벡터에 따라, 상기 비디오 스트림의 이미지의 대응하는 프레임의 상기 움직임 벡터를 획득하고;
    인핸스먼트 층을 생성하기 위해 상기 움직임 벡터 및 상기 베이스 층을 이용하여 상기 비디오 스트림을 처리하는 단계를 포함하는, 공간 계층화 압축 방법.
  5. 제 1 항에 있어서,
    상기 단계 b는:
    상기 참조 움직임 벡터를 다운-샘플링하고;
    상기 비디오 스트림을 다운-샘플링하고;
    상기 다운-샘플링된 참조 움직임 벡터에 따라, 상기 다운-샘플링된 비디오 스트림의 이미지의 대응하는 프레임의 상기 움직임 벡터를 획득하고;
    상기 베이스 층을 생성하기 위해, 상기 움직임 벡터를 이용하여 상기 다운-샘플링된 비디오 스트림을 처리하는 단계를 포함하는, 공간 계층화 압축 방법.
  6. 제 5 항에 있어서, 상기 단계 c는,
    상기 참조 움직임 벡터를 따라 상기 비디오 스트림의 이미지의 대응하는 프레임의 상기 움직임 벡터를 획득하고;
    상기 인핸스먼트 층을 생성하기 위해, 상기 움직임 벡터 및 상기 베이스 층을 이용하여 상기 비디오 스트림을 처리하는 단계를 포함하는, 공간 계층화 압축 방법.
  7. 비디오 스트림에 대한 공간 계층화 압축 방법에 있어서,
    a. 베이스 층을 생성하기 위해, 상기 비디오 스트림을 처리하는 단계;
    b. 이미지의 대응하는 프레임의 참조 움직임 벡터를 획득하기 위해, 상기 베이스 층의 이미지의 각각의 프레임의 움직임 벡터를 업-샘플링하는 단계; 및
    c. 인핸스먼트 층을 생성하기 위해, 상기 참조 움직임 벡터 및 상기 베이스 층을 이용하여 상기 비디오 스트림을 처리하는 단계를 포함하는, 공간 계층화 압축 방법.
  8. 제 7 항에 있어서,
    상기 단계 c는:
    상기 참조 움직임 벡터에 따라, 상기 비디오 스트림의 이미지의 대응하는 프레임의 상기 움직임 벡터를 획득하고;
    상기 인핸스먼트 층을 생성하기 위해, 상기 움직임 벡터 및 상기 베이스 층을 이용하여 상기 비디오 스트림을 처리하는 단계를 포함하는, 공간 계층화 압축 방법.
  9. 비디오 스트림에 대한 공간 계층화 압축 장치에 있어서:
    상기 비디오 스트림의 이미지의 각각의 프레임의 참조 움직임 벡터를 얻기 위해, 상기 비디오 스트림을 처리하는데 이용되는 획득 수단;
    베이스 층을 생성하기 위해, 상기 참조 움직임 벡터를 이용하여 상기 비디오 스트림을 처리하기 위한 베이스 층 획득 수단; 및
    인핸스먼트 층을 생성하기 위해, 상기 참조 움직임 벡터 및 상기 베이스 층을 이용하여 상기 비디오 스트림을 처리하기 위한 인핸스먼트 층 획득 수단을 포함하는, 공간 계층화 압축 장치.
  10. 제 9 항에 있어서,
    상기 획득 수단은:
    상기 비디오 스트림을 다운-샘플링하는데 이용되는 다운-샘플러, 및
    상기 다운-샘플링된 비디오 스트림의 이미지의 각각의 프레임의 참조 움직임 벡터를 획득하는데 이용되는 참조 움직임 벡터 획득 수단을 포함하는, 공간 계층화 압축 장치.
  11. 제 10 항에 있어서,
    상기 베이스 층 획득 수단은:
    상기 참조 움직임 벡터에 기초하여 상기 다운-샘플링된 비디오 스트림의 이미지의 대응하는 프레임의 움직임 벡터를 획득하는데 이용되는 움직임 벡터 획득 수단; 및
    상기 베이스 층을 생성하기 위해, 상기 움직임 벡터를 이용하여 상기 다운-샘플링된 비디오 스트림을 처리하기 위한 베이스 층 생성 수단을 포함하는, 공간 계층화 압축 장치.
  12. 제 10 항에 있어서,
    상기 인핸스먼트 층 획득 수단은:
    상기 참조 움직임 벡터를 업-샘플링하는데 이용되는 업-샘플러;
    상기 업-샘플링된 참조 움직임 벡터에 따라, 상기 비디오 스트림의 이미지의 대응하는 프레임의 상기 움직임 벡터를 획득하기 위한 움직임 벡터 획득 수단; 및
    상기 인핸스먼트 층을 생성하기 위해, 상기 움직임 벡터 및 상기 베이스 층을 이용하여 상기 비디오 스트림을 처리하기 위한 인핸스먼트 층 생성 수단을 포함하는, 공간 계층화 압축 장치.
  13. 제 9 항에 있어서,
    상기 베이스 층 획득 수단은:
    상기 참조 움직임 벡터 및 상기 비디오 스트림을 다운-샘플링하는데 이용되는 다운-샘플러;
    상기 다운-샘플링된 참조 움직임 벡터에 기초하여 상기 다운-샘플링된 비디오 스트림의 이미지의 상기 대응하는 프레임의 상기 움직임 벡터를 획득하는데 이용되는 움직임 벡터 획득 수단; 및
    상기 베이스 층을 생성하기 위해, 상기 움직임 벡터를 이용하여 상기 다운-샘플링된 비디오 스트림을 처리하기 위한 베이스 층 생성 수단을 포함하는, 공간 계층화 압축 장치.
  14. 제 13 항에 있어서,
    상기 인핸스먼트 층 획득 수단은:
    상기 참조 움직임 벡터에 따라, 상기 비디오 스트림의 이미지의 대응하는 프레임의 상기 움직임 벡터를 획득하는 움직임 벡터 획득 수단; 및
    상기 인핸스먼트 층을 생성하기 위해 상기 움직임 벡터 및 상기 베이스 층을 이용하여 상기 비디오 스트림을 처리하기 위한 인핸스먼트 층 생성 수단을 포함하는, 공간 계층화 압축 장치.
  15. 비디오 스트림에 대한 공간 계층화 압축 장치에 있어서,
    베이스 층을 생성하기 위해, 상기 비디오 스트림을 처리하는데 이용되는 베이스 층 획득 수단;
    이미지의 프레임에 대응하는 참조 움직임 벡터를 획득하기 위해, 상기 베이스 층의 이미지의 각각의 프레임에 대한 움직임 벡터를 업-샘플링하는데 이용되는 참조 움직임 벡터 획득 수단; 및
    인핸스먼트 층을 생성하기 위해, 상기 참조 움직임 벡터 및 상기 베이스 층을 이용하여 상기 비디오 스트림을 처리하는데 이용되는 인핸스먼트 층 획득 수단을 포함하는, 공간 계층화 압축 장치.
  16. 제 15 항에 있어서,
    상기 인핸스먼트 층 획득 수단은:
    상기 참조 움직임 벡터에 따라, 상기 비디오 스트림의 이미지의 상기 대응하는 프레임의 상기 움직임 벡터를 획득하는 움직임 벡터 획득 수단; 및
    상기 인핸스먼트 스트림을 생성하기 위해, 상기 움직임 벡터 및 상기 베이스 층을 이용하여 상기 비디오 스트림을 처리하기 위한 인핸스먼트 층 생성 수단을 포함하는, 공간 계층화 압축 장치.
KR1020077004940A 2004-08-31 2005-08-23 움직임 추정을 위한 방법 및 장치 KR20070051294A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN200410076990 2004-08-31
CN200410076990.3 2004-08-31

Publications (1)

Publication Number Publication Date
KR20070051294A true KR20070051294A (ko) 2007-05-17

Family

ID=35586994

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077004940A KR20070051294A (ko) 2004-08-31 2005-08-23 움직임 추정을 위한 방법 및 장치

Country Status (4)

Country Link
EP (1) EP1790166A2 (ko)
JP (1) JP2008512023A (ko)
KR (1) KR20070051294A (ko)
WO (1) WO2006024988A2 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120089561A (ko) * 2009-09-22 2012-08-13 파나소닉 주식회사 이미지 부호화 장치, 이미지 복호화 장치, 이미지 부호화 방법, 및 이미지 복호화 방법
US10764603B2 (en) * 2018-12-31 2020-09-01 Alibaba Group Holding Limited Resolution-adaptive video coding

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6510177B1 (en) * 2000-03-24 2003-01-21 Microsoft Corporation System and method for layered video coding enhancement
JP2005506815A (ja) * 2001-10-26 2005-03-03 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 空間拡張可能圧縮のための方法及び装置

Also Published As

Publication number Publication date
EP1790166A2 (en) 2007-05-30
JP2008512023A (ja) 2008-04-17
WO2006024988A3 (en) 2006-05-11
WO2006024988A2 (en) 2006-03-09

Similar Documents

Publication Publication Date Title
US7146056B2 (en) Efficient spatial scalable compression schemes
US9420279B2 (en) Rate control method for multi-layered video coding, and video encoding apparatus and video signal processing apparatus using the rate control method
US20070098067A1 (en) Method and apparatus for video encoding/decoding
WO2010137323A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、および映像復号方法
JP2005506815A5 (ko)
JP4226172B2 (ja) 適応的変換方法を用いる映像圧縮符号化装置および復号化装置ならびにその方法
JP2005507589A5 (ko)
JP2010233220A (ja) 第１の符号化フォーマットの入力ビデオを第２の符号化フォーマットの出力ビデオにトランスコードする方法、適応ビデオトランスコーダ、及び第１の符号化フォーマットの入力ビデオを第２の符号化フォーマットの出力ビデオに適応ビデオトランスコードする方法
JP2001204026A (ja) 画像情報変換装置及び方法
KR20030058873A (ko) 움직임 추정 및 모드 결정 장치 및 방법
US20080123748A1 (en) Compression circuitry for generating an encoded bitstream from a plurality of video frames
JP2006511164A (ja) 弾性記憶
AU2001293994A1 (en) Compression of motion vectors
WO2002032143A2 (en) Compression of motion vectors
KR20070051294A (ko) 움직임 추정을 위한 방법 및 장치
US20130170565A1 (en) Motion Estimation Complexity Reduction
KR0130167B1 (ko) 동영상 압축 부호화 장치
JP2002359852A (ja) 画像予測復号化装置及び方法
JP2002064826A (ja) 圧縮画像の解像度変換装置及び方法
JP2001268578A (ja) 符号化方式変換装置、画像通信システム、および符号化方式変換方法
JP2008252931A (ja) 復号装置及び方法、符号化装置及び方法、画像処理システム、画像処理方法
AU2007202001A1 (en) Compression of motion vectors
JP2010288096A (ja) 動画像符号化方法、動画像符号化装置及び動画像符号化プログラム
JPH06181570A (ja) 動きベクトルの変換方法、および動きベクトルの検出方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid