KR20130070574A

KR20130070574A - 메모리 요건을 완화한 영상 전송 시스템

Info

Publication number: KR20130070574A
Application number: KR1020127027958A
Authority: KR
Inventors: 빈첸초 리구오리
Original assignee: 빈첸초 리구오리
Priority date: 2010-04-07
Filing date: 2011-03-25
Publication date: 2013-06-27
Also published as: HK1179085A1; KR101828099B1; EP2556667A4; JP2013524652A; EP2556667A2; CN102823245A; WO2011123882A2; US20120134421A1; JP6049017B2; US9462285B2; CN102823245B; WO2011123882A3

Abstract

인코더 및 상기 인코더를 이용하여 영상 스트림을 인코딩하는 방법을 개시한다. 상기 인코더는 복수의 프레임을 포함하는 영상 스트림을 수신하는 입력포트를 갖는다. 제1 압축 서브 시스템은 비가역 압축 방법을 이용하여 복수의 압축 참조 프레임을 생성한다. 압축 참조 프레임은 원격 장치에 전달된다. 참조 프레임 저장 서브 시스템은 상기 영상 스트림 내의 후속 프레임을 비가역 압축 방법을 이용하여 압축하는 데 이용하기 위하여 상기 압축 참조 프레임 중의 하나를 압축된 형식으로 저장한다. 제2 압축 서브 시스템은 상기 참조 프레임 저장 서브 시스템에 저장된 압축 참조 프레임을 참조로서 이용하여 복수의 제2 프레임을 인코딩하며, 여기서 상기 제2 압축 서브 시스템은 압축 영상 프레임을 생성한다. 참조 프레임이 아닌 각 압축 영상 프레임은 상기 참조 프레임 중의 하나로부터 직접 부호화된다.

Description

메모리 요건을 완화한 영상 전송 시스템 {VIDEO TRANSMISSION SYSTEM HAVING REDUCED MEMORY REQUIREMENTS}

이 출원은, 2010년 4월 7일에 출원된 호주 가출원 제2010901452호에 기초한 우선권을 주장하며, 그 개시 내용은 전부 참조로서 포함된다.

통상, 영상물의 전송 및 저장 방식은 그 영상물에 관한 저장 및 대역폭 요건을 완화하기 위하여 압축 방식을 이용한다. 한 종류의 압축 방식에서는 영상 시퀀스(video sequence)의 연속한 프레임들 간의 중복성(redundancy)을 이용한다. 이들 방식에서는, 연속한 프레임을 참조 프레임의 변형으로서 표현한다. 예를 들어, 블록기반 움직임 예측 방식(block motion prediction schemes)에서는, 각 프레임을 복수의 고정 사이즈 블록으로 분할한다. 전송되는 프레임은 먼저 부호화되는 프레임 내의 대응하는 블록과 일치하는 참조 프레임 내의 블록을 찾는 것에 의해 참조 프레임의 블록단위로 부호화된다. 이 부호화된 프레임은 참조 프레임 내의 블록의 부호화되는 프레임의 대응하는 블록으로의 이동을 특정하는 일군의 벡터에 의해 최초로 근사된다. 이 근사 프레임과 실제 프레임간의 차이는 적절한 압축알고리즘을 이용하여 부호화된다. 근사 프레임과 실제 프레임간의 차이는 실제 프레임보다 훨씬 적은 정보를 포함하고 있으므로, 그 새로운 프레임을 표현하는 데 필요한 비트수가 대폭 절감된다.

참조 프레임을 저장하는 데 필요한 메모리 양은 특히 소형 휴대 단말에 있어서의 고해상(high-definition) 영상의 전송에 있어서는 큰 문제가 된다. 통상, 소형 휴대 단말은 HD 전송용 참조 프레임을 저장하기에는 충분하지 않은 시스템-온-칩(system-on-chip) 설계에 의존한다. 그 결과, 별도의 메모리 칩이 필요하다. 이러한 추가의 칩은 장치의 비용을 증대시키고, 나아가 상당한 양의 추가 전력을 소비한다. 이러한 추가 전력은 특히 배터리로 작동하는 장치에서 문제가 된다.

압축알고리즘을 이용하여 참조 프레임을 메모리에 저장하는 것이 메모리 문제의 한 해결책이 될 수 있다. 압축 엔진이 참조 프레임의 화소를 필요로 하는 경우, 압축 참조 프레임은 부분적으로 압축해제되어 그 화소가 압축 엔진에 제공된다. 참조 프레임의 저장에 가역 압축 방식(lossless compression scheme)을 이용하면, 전술한 바와 같은 휴대 단말에서의 추가 메모리의 필요성을 없애기에는 메모리 절감이 충분하지 않다.

참조 프레임의 저장에 비가역 압축 방식(lossy compression scheme)을 이용하면, 전송측에서 이용되는 참조 프레임과 수신측에서 이용되는 참조 프레임이 상이하게 된다. 그 결과, 수신측에서 생성된 영상 시퀀스에 결함(artifacts)이 생기게 된다. 이러한 결함은 각 프레임이 그 전 프레임을 "참조" 프레임으로서 이용하는 압축 방식에서 특히 문제가 된다. 이러한 방식에서는, 각 프레임마다 결함이 더욱 두드러진다.

따라서 본 발명의 목적은 상기 문제점을 해결할 수 있는 영상 전송 기술을 제공하는데 있다.

본 발명은 인코더 및 이 인코더를 이용하여 영상 스트림을 인코딩하는 방법을 제공한다. 인코더는 인코딩될 복수의 프레임을 포함하는 영상 스트림을 수신하는 입력포트를 포함한다. 제1 압축 서브 시스템은 제1 비가역 압축 방법을 이용하여 복수의 압축 참조 프레임을 생성한다. 출력단은 상기 인코더로부터 먼 곳에 있는 원격 장치에 상기 압축 참조 프레임을 전달한다. 참조 프레임 저장 서브 시스템은 상기 영상 스트림 내의 후속 프레임을 압축하는 데 이용하기 위하여 상기 압축 참조 프레임 중의 하나를 압축된 형식으로 저장하며, 여기서 상기 압축 참조 프레임은 제2 비가역 압축 방법을 이용하여 압축된다. 제2 압축 서브 시스템은 상기 참조 프레임 저장 서브 시스템에 저장된 압축 참조 프레임을 참조로서 이용하여 복수의 제2 프레임을 인코딩하며, 여기서 상기 제2 압축 서브 시스템은 압축 영상 프레임을 생성한다. 참조 프레임이 아닌 각 압축 영상 프레임은 상기 참조 프레임 중의 하나로부터 직접 부호화된다. 상기 복수의 제2 프레임은 상기 원격 장치에도 전달된다.

본 발명의 일양태에 따르면, 참조 프레임을 저장하는 데 이용되는 비가역 압축알고리즘은 인코더가 화상을 압축하는 데 이용되는 알고리즘과 동일하다. 원격 디코더도 참조 프레임을 이 알고리즘을 이용하여 재생성하므로, 인코더 시스템에서 참조 프레임을 압축하는 것에 의해 추가적인 열화는 생기지 않는다.

또한, 참조 프레임은 디코더측에 송신된 참조 프레임의 압축된 형태(compressed version)와 일치하는 압축된 프레임으로서 저장된다. 이러한 구성은 인코더와 디코더 측에서 완전히 동일한 참조 프레임을 이용하지 않는 경우에 생기는 결함을 없앨 수 있다. 특히 본 발명에서는 I-프레임으로부터 각 P-프레임을 생성하므로, 디코더측에서 재생성된 프레임들간에 오차가 누적되지 않고, 따라서 참조 프레임들간의 작은 불일치(discrepancy)는 용인될 수 있다.

그리고, 본 발명에 따르면, 디코더측에서 화상을 디코딩하는 데 이용된 것과 동일한 비가역알고리즘을 이용하여 인코더측에서 참조 프레임이 저장된다. 따라서, 인코더와 수신기간의 비가역인코딩알고리즘의 차이에 기인하는 오차를 배제할 수 있다. 특히, 저장된 참조 프레임들 간의 어느 정도의 차이는, I-프레임으로부터 각 P-프레임을 구성하는 전송방식에 있어서는 용인될 수 있다. 오차가 프레임간에 전파되지 않기 때문에, 이러한 차이로 인한 영향은, 이전에 수신한 P-프레임으로부터 P-프레임을 연산하는 방식에 비해 경감된다.

도 1은 복수의 P-프레임을 동일 I-프레임으로부터 직접 생성하도록 하는 프로토콜을 나타낸다.
도 2는 이전 프레임 인코딩(previous frame encoding)으로 지칭되는 제2 부호화 모드를 나타낸다.
도 3은 본 발명에 따른 인코더 시스템의 일실시예를 개략화한 블록도이다.
도 4는 본 발명의 일실시예에 따른 인코더의 보다 상세한 개략도이다.
도 5는 본 발명에 따른 인코더의 다른 실시예의 개략도이다.
도 6은 본 발명에 따른 인코더의 다른 실시예의 개략도이다.

하기의 설명의 간략화를 위해, 2가지 타입의 영상 프레임을 아래와 같이 정의한다. 제1 타입의 영상 프레임을 참조 프레임 또는 I-프레임이라고 기재한다. I-프레임은 어떠한 이전 또는 이후 프레임에 의존하지 않는다. 제2 타입의 영상 프레임을 P-프레임이라고 기재한다. P-프레임은 영상 시퀀스내의 다른 프레임을 참조하여 부호화된다. P-프레임은 I-프레임 또는 이전 P-프레임에 대하여 부호화될 수 있다. 이하, 복수의 P-프레임을 동일 I-프레임으로부터 직접 생성하도록 하는 프로토콜을 도시하는 도 1을 참조한다. 이 영상 전송 모드에서, I-프레임(101)이 인코더로부터 디코더에 송신된다. 스트림의 각 연속 프레임(102)은 이 I-프레임에 대하여 부호화된다. I-프레임이 더 이상 프레임 시퀀스에 대한 양호한 근사 프레임이 아닌 경우, 새로운 I-프레임(103)이 송신된 후, 이 I-프레임에 대하여 복수의 P-프레임(104)이 부호화된다. 아래의 설명에서는 이 모드를 직접 I-프레임 인코딩이라고 기재한다.

이하, 이전 프레임 인코딩으로 지칭되는 제2 부호화 모드를 도시하는 도 2를 참조한다. 이 모드에서, 우선 인코더는 I-프레임(111)을 송신한다. 그러면 각 후속 프레임은 앞서 수신된 프레임을 참조하여 디코딩된다. 프레임(112)은 이 I-프레임을 참조하여 인코딩되며, 프레임(113)은 프레임(112)을 참조하여 인코딩된다. 장면이 바뀌어 이전 프레임이 더 이상 다음 프레임의 양호한 근사 프레임이 아닌 경우에는, 새로운 I-프레임(114)이 송신된다. 후속한 프레임들은 다시 이전 프레임에 대하여 부호화된다. 즉, 프레임(115)은 프레임(114)을 자신의 참조 프레임으로서 이용하고 프레임(116)은 프레임(115)을 자신의 참조 프레임으로서 이용한다.

이하, 본 발명에 따른 인코더 시스템의 일실시예를 간략화한 블록도인 도 3을 참조한다. 인코더(120)는 전술한 제1 방식으로 동작한다. 즉, 각 P-프레임은 I-프레임으로부터 직접 생성된다. 인코더 시스템(120)은 일련의 프레임을 포함하는 입력 영상 스트림을 수신한다. 각 프레임은 원격 디코더에 전송될 압축된 영상 출력을 생성하는 비가역 압축알고리즘을 이용하여 인코더(121)에 의해 인코딩된다. 현재 인코딩되고 있는 프레임이 I-프레임이면, 인코더(121)는 참조 프레임을 참조하지 않고 프레임을 압축한다. 현재 인코딩되고 있는 프레임이 P-프레임이면, 인코더(121)는 참조 프레임 저장요소(124)의 일부인 메모리 내에 저장된 참조 프레임을 액세스한다. 현재 프레임이 하나 또는 그 이상의 후속 프레임에 대한 참조 프레임이 된다면, 인코더(121)로부터 인코딩된 영상은 참조 프레임 저장요소(124)에 저장된다.

상술한 바와 같이, 참조 프레임을 저장하는 데 필요한 상당한 양의 메모리는 특히 배터리로 작동하는 소형 휴대장치에서 문제를 야기한다. 따라서, 참조 프레임 저장요소(124)는 참조 프레임을 압축된 형식으로 저장한다. 요구되는 압축레벨을 제공하기 위해서는 비가역 압축시스템을 이용해야 한다. 손실의 결과로서 인코더 시스템에서 이용되는 참조 프레임이 원격 디코더에 의해 이용되는 참조 프레임과 다르게 되면, 원격 디코더에서 영상 결함이 발생된다. 인코딩 시스템과 원격 디코더에서 이용되는 참조 프레임들 간의 차이는 각 후속 P-프레임으로 갈수록 증대되므로, 이러한 결함은 특히 각 P-프레임이 그 이전 P-프레임을 자신의 참조 프레임으로서 이용하는 전술한 제2 전송모드에서 문제가 된다.

본 발명의 일태양에 따르면, 참조 프레임을 저장하는 데 이용되는 비가역 압축알고리즘은 인코더(121)가 화상을 압축하는 데 이용되는 알고리즘과 동일하다. 원격 디코더도 참조 프레임을 이 알고리즘을 이용하여 재생성하므로, 인코더 시스템에서 참조 프레임을 압축하는 것에 의해 추가적인 열화는 생기지 않는다. 참조 프레임 저장요소(124)는 참조 프레임을 디코딩하는 데 필요한 추가의 정보를 포함하여 모든 압축 참조 프레임을 저장한다.

이하, 각 P-프레임이 이전 P-프레임이 아니라 I-프레임에 대하여 압축되는 전술한 제1 모드로 동작하는, 본 발명의 일실시예에 따른 인코더(10)의 보다 상세한 개략도인 도 4를 참조한다. I-프레임과 P-프레임은 둘 다 구현된 특정 압축프로토콜에 따른 변환을 이용하여 압축된다. 압축알고리즘은 I-프레임에 대하여 보다 용이하게 이해될 수 있다. 하나의 예시적 방법에서는, I-프레임이 복수 블록의 화소로 분할된다. 각 블록은 참조번호 "21"로 나타난 배와 같은 이산코사인변환(DCT) 또는 웨이브릿 변환(wavelet transform)과 같은 이차원변환을 이용하여 변환된다. 변환계수는 양자화된다(참조번호 "22" 참조). 즉, 각 계수는 대상 계수값을 근사하는 복수의 값 중의 하나의 값으로 치환된다. 각 계수에 대해 이용 가능한 양자화된 값의 수는 요구되는 압축의 정도에 따라 결정된다. 원래의 계수값을 더 이상 회복(retrieve)할 수 없고, 따라서 양자화된 계수로부터 원래의 프레임을 완전히 정확하게 복원(recover)할 수 없다는 점에서 이 프로세스는 본래 "비가역적(lossy)"이다. 예를 들어, 변환계수값이 0에서 10까지 변화하고 단지 10개의 레벨이 이용된다면, 각 변환값은 반올림된다. 따라서, 변환값 6.3은 6으로 치환된다.

계수와 다른 정보의 집합은 통상 가역 압축 시스템(23)을 이용하여 추가로 압축되며, 이 가역 압축 시스템(23)은 압축된 화상내의 중복성(redundancy) 및 압축된 화상에서 각 값이 발생하는 빈도를 고려하여 압축을 실시한다. 이 프로세스는 완전히 가역적(reversible)이므로 화상의 추가 열화를 일으키지 않는다. 이 가역 압축은 통상 압축인자(compression factor)(=2)를 제공한다. 비가역 압축은 I-프레임에 대해 12:1 정도의 압축인자를 제공할 수 있다. 컨트롤러(25)가 새로운 I-프레임을 생성할 때, 컨트롤러(25)는 그 압축된 I-프레임의 사본(copy)을 참조 프레임 저장요소(24)의 메모리(27) 내에 저장한다.

P-프레임은 2-단계의 처리알고리즘을 이용하여 압축되며, 이 2-단계의 처리알고리즘에서는 P-프레임이 종속하는 I-프레임을 이용하여 움직임 보상 시스템(26)에 의해 근사프레임이 생성된다. 이 근사화상은 그 후 입력프레임으로부터 감산되어 차분화상을 제공한다. 근사프레임은 통상 움직임 예측 및 보상 알고리즘을 이용하여 구성되지만, 영상 스트림의 프레임들간의 시간적 중복성을 감소시키는 모든 알고리즘이 이용될 수 있다. 그 결과로서의 차분화상은 그 후 전술한 바와 같이 변환되고 양자화된다.

근사프레임의 생성 중에, I-프레임은 참조 프레임 저장요소(24)에 저장된다. 움직임 보상 시스템(26)이 저장된 I-프레임의 화소를 필요로 하는 경우, 압축된 화상내의 해당 블록은 대상 블록의 양자화된 계수를 복원하는 압축해제단(decompression stage)(28)을 이용하여 압축해제된다. 그 후, 양자화는 역양자화기(29)를 이용하여 반전된다. 마지막으로, 해당 블록의 화소가 역변환기(30)를 이용하여 생성된다.

본 발명은 전송에 앞서 I-프레임을 압축하는 데 이용된 것과 동일한 비가역 압축알고리즘을 이용하여 인코더측에서 필요로 하는 저장공간을 절감할 수 있으며, 그 결과로서의 재구성된 참조 프레임은 디코더측에서 이용된 것과 완전히 일치한다는 관찰에 기초한다. 후속 P-프레임 처리 중에 참조 프레임값이 필요한 경우, 메모리(27) 내에 저장된 압축 참조 프레임의 일부가 압축해제되어 움직임 예측시스템(26)에 제공된다. 이 압축해제에는 압축해제기(decompressor), 역양자화기(29), 및 역변환기(30)가 이용된다.

도 4에 도시한 실시예에서는 I-프레임을 디코더측에 전송하여 그 I-프레임을 메모리(27) 내에 저장하는 데 이용된 것과 동일한 가역 압축알고리즘이 이용된다. 그러나, 다른 가역 압축알고리즘이 이용될 수도 있고 가역 압축을 생략할 수도 있다. 이하, 본 발명에 따른 인코더의 다른 실시예의 개략도인 도 5를 참조한다. 인코더(40)에서는, I-프레임이 변환기(21) 및 양자화기(22)에 의해 압축된 후, 컨트롤러(25)가 그 I-프레임을 메모리(41)에 카피한다. 이 I-프레임을 메모리(27)에 저장하기에 앞서, 별도의 가역 압축기(42)가 메모리 시스템(41)에 의해 이용된다. 이 I-프레임의 일부를 움직임 예측시스템(26)에서의 이용을 위해 디코딩하기에 앞서, 대응하는 압축해제기(43)를 이용하여 가역 압축을 반전시킨다.

가역 압축기 및 압축해제기에 대한 최적의 가역 압축알고리즘은 이용되고 있는 특정 영상 압축 알고리즘에 기초하여 선택된다. 영상 압축 알고리즘에 의해 이미 제공되고 있는 것과는 별도의 가역 압축기 및 압축해제기를 이용하는 것의 복잡한 이유는, 인코더측에서의 복잡성을 완화하는 것과 필요 이상의 저장된 참조 프레임을 압축해제하지 않고 저장된 참조 프레임의 개별 화소에 액세스할 수 있어야 한다는 필요성 사이에 균형을 이뤄야 하기 때문이다.

여기서 주목할 점은 가역 압축기(42)와 대응하는 압축해제기(43)는 선택요소이다. 상기한 바와 같이, 가역 압축이 제공하는 압축량은 통상 2배 정도이다. 따라서, 대응하는 메모리 절감량은 비가역 압축에서 얻어지는 절감량에 비해 작다. 만약 비가역 압축이 I-프레임의 온-칩 저장을 가능하게 하는 충분한 압축을 제공한다면, 가역 압축 및 압축해제는 생략 가능하다.

이하, 움직임 보상 시스템이 I-프레임을 참조하여 근사화상을 생성하는 방식을 보다 상세하게 설명한다. 본 발명의 일태양에 따르면, 움직임 보상 시스템은 입력프레임을 복수의 블록으로 분할한다. 각 블록에 대해, 움직임 보상 시스템은 해당 블록과 가장 일치하는 참조 프레임 내의 동일한 크기의 블록을, 예컨대 블록 내의 대응 화소들간의 차분의 절대치의 합 또는 상호상관함수와 같은, 적절한 블록의 유사성 척도를 이용하여, 검색한다. 이 검색은 처리되고 있는 블록의 입력프레임에서의 위치에 대응하는 위치를 중심으로 한 참조 프레임의 영역에서 실시된다.

이하, 본 발명에 따른 인코더의 다른 실시예의 개략도인 도 6을 참조한다. 인코더(50)는 압축 참조 프레임 내의 블록으로부터의 화소값이 압축해제되어 입력되는 캐시 메모리(54)를 포함한다. 설명의 목적상, 가역 압축알고리즘은 하나의 블록을 압축해제할 수 있는 것으로 가정한다. 역양자화 단계에서는 변환된 블록의 계수의 크기(amplitude)를 재생성한다. 그 후, 역변환에 의해 화소 블록이 생성되고, 생성된 블록은 캐시(54)에 저장된다. 본 발명의 일태양에 따르면, 움직임 보상 시스템(26)은 입력 영상 프레임의 블록을 소정의 순서로 처리한다. 따라서, 대응 블록이 처리되기 이전에, 조사되어야 하는 참조 프레임 내의 영역을 잘 알고 있다. 그 결과, 컨트롤러(56)는 블록을 예비적으로 압축해제하여 움직임 보상 시스템이 참조 프레임을 필요로 할 때 화소가 준비되어 있도록 할 수 있다. 도면의 간략화를 위해, 컨트롤러(56)와 다른 요소들 사이의 연결은 도시하지 않았다.

참조 프레임 내의 검색영역이 입력프레임 내의 대응하는 위치를 중심으로 한 3x3 블록영역인 경우를 생각한다. 원칙적으로, 움직임보상을 실시하는 데에는 9개 블록이 필요하다. 그러나, 만약 블록이 래스터 스캔 패턴으로 처리되는 경우에는, 직선상의 각 신규 블록은 참조 프레임으로부터 단지 3개의 신규 블록을 필요로 하며, 이것은 입력 블록내의 이전 블록을 처리하는 데 이용된 블록 중의 6개의 블록이 해당 블록에 대해서도 이용되기 때문이다. 따라서, 검색영역이 NxN 블록영역인 경우에는, NxM개의 디코딩된 블록을 저장하는 캐시가 유리하다. 이 캐시의 최소 크기는 1개 블록의 크기이다. 블록을 프리페치(pre-fetch)하여 압축해야 하는 경우에는, 추가의 N 블록의 캐시공간이 필요하다. 그러나, 이러한 크기의 캐시공간이라도 전체 참조 프레임이 압축 없이 저장된 경우에 필요하게 되는 메모리에 비해서는 작다.

본 발명의 전술한 실시예에 있어서, 참조 프레임은 디코더측에 송신된 참조 프레임의 압축된 형태(compressed version)와 일치하는 압축된 프레임으로서 저장된다. 이러한 구성은 인코더와 디코더 측에서 완전히 동일한 참조 프레임을 이용하지 않는 경우에 생기는 결함을 없앨 수 있다. 그러나, 본 발명에서는 I-프레임으로부터 각 P-프레임을 생성하므로, 디코더측에서 재생성된 프레임들간에 오차가 누적되지 않고, 따라서 참조 프레임들간의 작은 불일치(discrepancy)는 용인될 수 있다.

본 발명의 전술한 실시예에 있어서는, 디코더측에서 화상을 디코딩하는 데 이용된 것과 동일한 비가역알고리즘을 이용하여 인코더측에서 참조 프레임이 저장된다. 따라서, 인코더와 수신기간의 비가역인코딩알고리즘의 차이에 기인하는 오차를 배제할 수 있다. 그러나, 여기서 주목할 점은, 저장된 참조 프레임들 간의 어느 정도의 차이는, I-프레임으로부터 각 P-프레임을 구성하는 전송방식에 있어서는 용인될 수 있다는 점이다. 오차가 프레임간에 전파되지 않기 때문에, 이러한 차이로 인한 영향은, 이전에 수신한 P-프레임으로부터 P-프레임을 연산하는 방식에 비해 경감된다. 이러한 추가적인 오차는 인코더측에서 상이한 참조 프레임 압축알고리즘을 이용하는 경우의 경제적 이점에 비추어 따져 봐야 한다. 예를 들어, 보다 비가역적인 알고리즘을 이용하는 경우에는, 참조 프레임의 압축정도를 증대시켜 인코더측에 포함되어야 하는 메모리의 크기 및 보다 큰 메모리를 동작하는 데 필요한 전력을 절감할 수 있다.

전술한 실시예에 있어서는, I-프레임에 대해 특정 압축 방식을 이용하고 있다. 즉, I-프레임을 블록으로 분할하고 각 블록을 다른 블록을 참조하지 않고 인코딩한다. 그러나, 본 발명은, 전체 I-프레임을 한번에 압축해제하지 않고, 압축된 I-프레임의 화소를 복원할 수 있다면, I-프레임을 압축하는 데에 어떠한 알고리즘도 이용할 수 있는 것으로 이해되어야 한다. 예를 들어, 압축 방식에 따라서는, I-프레임의 각 블록은 우선 해당 I-프레임 내에서 이전에 나타난 블록으로부터 추정된 예측블록과 비교된다. 그 후, 예측블록과 현재 블록과의 차이가 연산되고, 그 차이블록이 인코딩된다. 본 발명에 있어서는, 압축된 I-프레임을 디코딩하는 데 필요한 모든 정보가 참조 프레임 저장 서브 시스템에 저장된다.

본 발명의 전술한 실시예는 발명의 다양한 태양을 예시하기 위해 제공된 것이다. 그러나, 서로 다른 특정 실시예에 도시된 본 발명의 서로 다른 태양을 조합하는 것에 의해 본 발명의 다른 실시예를 제공할 수 있는 것으로 이해되어야 한다. 또한, 전술한 설명 및 첨부도면으로부터 본 발명의 다양한 변형예가 가능한 것은 명백해 질 것이다. 따라서, 본 발명은 이하의 청구의 범위에 의해서만 한정된다.

Claims

인코더이며,
인코딩될 복수의 프레임을 포함하는 영상 스트림을 수신하는 입력포트;
제1 비가역 압축 방법을 이용하여 복수의 압축 참조 프레임을 생성하는 제1 압축 서브 시스템;
상기 인코더로부터 원격지에 있는 원격 장치에 상기 압축 참조 프레임을 전달하는 출력단;
상기 영상 스트림 내의 후속 프레임을 압축하는 데 이용하기 위하여 상기 압축 참조 프레임 중의 하나를 압축된 형식으로 저장하는 참조 프레임 저장 서브 시스템이며, 상기 압축 참조 프레임은 제2 비가역 압축 방법을 이용하여 압축되는, 참조 프레임 저장 서브 시스템; 및
상기 참조 프레임 저장 서브 시스템에 저장된 상기 압축 참조 프레임을 참조로서 이용하여 복수의 제2 프레임을 인코딩하는 제2 압축 서브 시스템이며, 상기 제2 압축 서브 시스템은 압축 영상 프레임을 생성하되, 참조 프레임이 아닌 각 압축 영상 프레임은 상기 참조 프레임 중의 하나로부터 직접 부호화되며, 상기 복수의 제2 프레임은 상기 원격 장치에 전달되는, 제2 압축 서브 시스템
을 구비하는 인코더.
제1항에 있어서, 상기 제2 비가역 압축 방법은 상기 제1 비가역 압축 방법인, 인코더.
제1항에 있어서, 상기 제1 비가역 압축 방법은 상기 제1 비가역 압축의 출력을 압축하여 상기 원격 장치에 전달되는 상기 압축 참조 프레임을 생성하는 제1 가역 압축 방법을 포함하는, 인코더.
제3항에 있어서, 상기 저장된 압축 참조 프레임은 상기 제1 가역 압축 방법을 이용하여 압축된 압축 참조 프레임의 사본을 포함하는, 인코더.
제3항에 있어서, 상기 저장된 압축 참조 프레임은 상기 제1 가역 압축 방법과 다른 제2 가역 압축 방법을 이용하여 압축된 압축 참조 프레임의 사본을 포함하는, 인코더.
제1항에 있어서, 상기 참조 프레임 저장 서브 시스템은 상기 제2 압축 서브 시스템에서의 이용을 위해 상기 저장된 압축 참조 프레임으로부터 화소를, 상기 압축 참조 프레임 전부를 한번에 디코딩하지 않고, 복원하는 디코더를 포함하는, 인코더.
제6항에 있어서, 상기 참조 프레임은 복수의 화소 블록으로 분할되며, 상기 참조 프레임 저장 서브 시스템은 상기 블록 중에서 선택된 하나의 블록으로부터 디코딩된 화소를 저장하는 캐시 메모리를 포함하며, 상기 참조 프레임 저장 서브 시스템은 상기 블록 중의 하나의 블록 전부를 디코딩하는, 인코더.
제7항에 있어서, 상기 캐시 메모리는 복수의 블록을 추가로 저장하며, 상기 저장된 블록은 상기 제2 압축 서브 시스템에 의해 결정되며, 상기 참조 프레임은 N개의 블록을 포함하며, 상기 캐시 메모리는 N개보다 적은 블록을 저장하는, 인코더.
제8항에 있어서, 상기 제2 압축 서브 시스템은 영상 프레임의 각 블록을 소정의 순서로 따로따로 압축하며, 상기 저장된 블록은 상기 소정의 순서에 의해 결정되는, 인코더.
복수의 프레임을 포함하는 영상 스트림을 인코딩하는 방법이며,
인코딩장치에서 상기 영상 스트림을 수신하는 단계;
제1 비가역 압축 방법을 이용하여 복수의 프레임을 압축하여 압축 참조 프레임을 생성하는 단계;
상기 압축 참조 프레임을 상기 인코딩장치로부터 원격지의 장치에 전달하는 단계;
상기 압축 참조 프레임 중의 하나를 압축된 형식으로 저장하는 단계이며, 상기 저장된 압축 참조 프레임은 상기 영상 스트림 내의 후속 프레임을 압축하는 데 이용되며, 상기 압축 참조 프레임은 제2 비가역 압축 방법을 이용하여 압축되는, 단계;
제2 복수의 프레임을 상기 압축 참조 프레임을 상기 복수의 프레임 각각을 압축하는 데 참조로서 이용하여 인코딩하여 복수의 압축 영상 프레임을 생성하는 단계이며, 참조 프레임이 아닌 각 압축된 영상 프레임은 상기 참조 프레임 중의 하나로부터 직접 부호화되는, 단계; 및
상기 압축영상 프레임을 상기 원격 장치에 전달하는 단계
를 포함하는 방법.
제10항에 있어서, 상기 제2 비가역 압축 방법은 상기 제1 비가역 압축 방법인, 방법.
제10항에 있어서, 상기 제1 비가역 압축 방법은 상기 제1 비가역 압축의 출력을 압축하여 상기 원격 장치에 전달되는 상기 압축 참조 프레임을 생성하는 제1 가역 압축 방법을 포함하는, 방법.
제12항에 있어서, 상기 저장된 압축 참조 프레임은 상기 제1 가역 압축 방법을 이용하여 압축된 압축 참조 프레임의 사본을 포함하는, 방법.
제10항에 있어서, 상기 복수의 제2 프레임을 인코딩하는 단계는 상기 저장된 압축 참조 프레임을 부분적으로 디코딩하여 상기 저장된 압축 참조 프레임으로부터 화소를 복원하는 단계를 포함하는, 방법.
제14항에 있어서, 상기 참조 프레임은 복수의 화소 블록으로 분할되며, 상기 저장된 압축 참조 프레임을 부분적으로 디코딩하는 단계는 상기 블록 중의 선택된 하나의 블록으로부터의 화소를 캐시 메모리에 저장하는 단계를 포함하는, 방법.
제15항에 있어서, 상기 캐시 메모리는 복수의 블록을 추가로 저장하며, 상기 저장된 블록은 상기 압축 참조 프레임을 이용하여 인코딩되는 영상 프레임 내의 블록에 의해 결정되는, 방법.
제16항에 있어서, 상기 저장된 압축 참조 프레임을 이용하여 인코딩되는 상기 영상 프레임의 각 블록은 소정의 순서로 인코딩되며, 상기 저장된 블록은 상기 소정의 순서에 의해 결정되는, 방법.