KR100917933B1 - 이미지 프로세서 및 상기 이미지 프로세서를 구비한이미지 디스플레이 장치 - Google Patents
이미지 프로세서 및 상기 이미지 프로세서를 구비한이미지 디스플레이 장치 Download PDFInfo
- Publication number
- KR100917933B1 KR100917933B1 KR1020047003321A KR20047003321A KR100917933B1 KR 100917933 B1 KR100917933 B1 KR 100917933B1 KR 1020047003321 A KR1020047003321 A KR 1020047003321A KR 20047003321 A KR20047003321 A KR 20047003321A KR 100917933 B1 KR100917933 B1 KR 100917933B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- motion
- vector field
- motion vector
- input
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Digital Computer Display Output (AREA)
Abstract
움직임 보상된 이미지 처리를 위한 이미지 프로세서(101)는 특정 움직임 벡터 필드에 기초하고, 제 1 입력 이미지 및 제 2 입력 이미지에 기초하여 출력 이미지를 계산하기 위한 움직임 보상 유니트(106)를 포함한다. 특정 움직임 벡터 필드는 이미지 프로세서(101)의 일부인 움직임 추정기(104)에 의해, 또는, 외부 유니트(108)에 의해 계산될 수 있다. 이미지 프로세서(101)는 출력 이미지를 계산하기 위해 특정 움직임 벡터 필드가 취해지게 되는 소스, 즉, 움직임 추정기(104) 또는 외부 유니트(108)를 선택하도록 설계되어 있다. 외부 소스는 이미지 프로세서(101)의 움직임 추정기(104)에 의해 제공되는 움직임 벡터 필드에 기초하여 특정 움직임 벡터 필드를 계산하도록 설계된다.
이미지 프로세서, 움직임 보상된 이미지 처리, 또다른 움직임 벡터 필드, 움직임 추정기, 이미지 디스플레이 장치
Description
본 발명은 움직임 보상된 이미지 처리를 위한 이미지 프로세서에 관한 것으로, 이는,
- 제 1 입력 이미지 및 제 2 입력 이미지를 저장하기 위한 메모리 유니트;
- 제 1 입력 이미지와 제 2 입력 이미지에 기초하여 움직임 벡터 필드를 추정하기 위한 움직임 추정기; 및,
- 다른 움직임 벡터 필드에 기초하여, 그리고, 제 1 입력 이미지와 제 2 입력 이미지에 기초하여 출력 이미지를 계산하기 위한 움직임 보상 유니트를 포함한다.
또한, 본 발명은 이미지 디스플레이 장치에 관한 것으로, 이는,
- 제 1 입력 이미지와 제 2 출력 이미지를 포함하는 이미지의 시퀀스를 수신하기 위한 수신기;
- 제 1 입력 이미지 및 제 2 입력 이미지를 저장하기 위한 메모리 유니트, 제 1 입력 이미지와 제 2 입력 이미지에 기초하여 움직임 벡터 필드를 추정하기 위한 움직임 추정기, 및 다른 움직임 벡터 필드에 기초하고, 상기 제 1 입력 이미지와 상기 제 2 입력 이미지에 기초하여 출력 이미지를 계산하기 위한 움직임 보상 유니트를 포함하는, 움직임 보상된 이미지 처리를 위한 이미지 프로세서; 및
- 출력 이미지를 디스플레이하기 위한 디스플레이 디바이스를 포함한다.
서두에 설명된 종류의 이미지 프로세서의 구현예는 G. de Haan의 논문 "움직임 보상된 디인터레이싱(de-interlacing), 노이즈 감소 및 화상 레이트 변환을 위한 IC(1999년 8월, IEEE Transactions on Consumer Electronics, Vol. 45, No. 3에서)"로부터 알려져 있다.
이미지 시퀀스들은 다양한 이미지 레이트들로 도입하며, 필름 재료에서는 24, 25 및 30Hz이고, 비디오에서는 일반적으로 50Hz 및 60Hz이다. 한편, 텔레비전 디스플레이들은 50, 60 및 100Hz로 상업적으로 이용가능하며 순차(progressive) 주사, 또는 비월(interlaced) 주사 중 어느 한 쪽을 가진다. 단순 이미지 레이트 컨버터들은 다음 이미지가 도달할 때까지 이미지들을 반복하며, 이는 움직임 발생시, 흐림(blur) 및/또는 떨림(judder)을 초래한다. 유사하게, 반복 또는 이웃하는 선들의 평균화로부터 디인터레이싱이 종종 초래된다. 보다 진보된 디인터레이싱 개념들은 수직방향-시간적 처리를 적용하지만, 그러나, 이들조차 움직임 발생시 이미지들의 이들 부분들을 열화시킨다.
인용된 논문에서, 심지어 이동하는 시퀀스들에 대해서도 고성능 변환을 달성하기 위해 움직임 추정 및 움직임 보상을 사용하는 소비자 텔레비전 IC들이 19세기 중반에 출현하였다는 것을 기술하고 있다. 이 논문은 움직임 추정, 움직임 보상된 디인터레이싱, 움직임 보상된 이미지 보간 및 움직임 보상된 노이즈 저감을 위한 개선된 알고리즘들을 도시한다. 이들 알고리즘들을 이행하는 IC는 현재 및 이전 이미지를 캐시(cache)하기 위한 메모리 유니트, 움직임 추정기 및 움직임 보상 유니트를 포함한다. IC의 동작은 다음과 같다. 두 개의 연속하는 입력 이미지들이 수신되고, IC의 메모리 유니트에 캐시된다. 이들 입력 이미지들에 기초하여, 움직임 벡터들이 계산된다. 하나의 이미지 쌍, 즉, 현재 및 이전 이미지의 움직임 벡터들의 세트는 움직임 벡터 필드라 불려진다. 움직임 벡터들은 상술한 바와 같은 동작들을 수행하는 움직임 보상 유니트에 제공된다. 결과는 움직임 보상된 출력 이미지이다. IC는 실시간으로 동작들을 수행한다. 이는 비교적 낮은 동작 카운트를 가지는 움직임 추정 알고리즘이 이행된다는 것을 의미한다. 비록, 움직임 보상 유니트의 결과들이 비교적 양호하지만, 움직임 보상된 이미지들에서의 아티팩트들을 초래하는 잘못된 움직임 벡터들이 존재할 수 있다. 특히, 이미지들의 경계들에서 또는 이미지들에서의 교합 영역들에서 있을 수 있다. 이들 경우들에서 보다 진보된 움직임 추정이 필요하다.
본 발명의 제 1 목적은 보다 진보된 움직임 추정이 가능하도록 설계된 서두에 기술된 종류의 이미지 프로세서를 제공하는 것이다.
본 발명의 제 2 목적은 보다 진보된 움직임 추정을 가지는 서두에 기술된 종류의 이미지 디스플레이 장치를 제공하는 것이다.
본 발명의 제 1 목적은 이미지 프로세서가
- 움직임 추정기 또는
- 외부 유니트로부터
또다른 움직임 벡터 필드를 선택적으로 수신하도록 설계된다는 점에서 달성된다.
종래 기술의 이미지 프로세서와의 주된 차이점은 움직임 벡터들이 이미지 프로세서 자체의 움직임 추정기에 의해 계산될 수 있을 뿐만 아니라, 움직임 벡터들이 코프로세서(co-processor)로서 동작하도록 배열된 외부 유니트, 즉, 프로세서 자체의 일부가 아닌 소스에 의해 또한 계산될 수 있다는 것이다. 이 코프로세서는 움직임 추정기의 움직임 추정 보다 진보된 움직임 추정을 수행하도록 설계되는 것이 바람직하다. 또다른 움직임 벡터 필드는 움직임 추정기에 의해 계산된 움직임벡터 필드에 대응할 수 있을 뿐만 아니라, 외부 유니트에 의해 제공된 움직임 벡터 필드일 수도 있다는 것을 인지하여야 한다.
본 발명에 따른 이미지 프로세서의 실시예는 움직임 벡터 필드에 기초하여 또다른 움직임 벡터 필드를 계산하도록 배열된 외부 유니트에 움직임 벡터 필드를 제공하도록 설계된다. 이 실시예에서, 움직임 벡터는 이미지 프로세서의 움직임 추정기에 의해 계산된 움직임 벡터 필드를 향상시키기 위해 보조프로세서로서 동작하도록 배열된 외부 유니트에 교환될 수 있다. 장점은 이미지 프로세서의 가용한 움직임 추정기가 사용되고, 결과적인 움직임 벡터 필드가 외부 유니트에 의해 향상된다는 것이다. 이 이미지 프로세서는 두 동작 모드들을 가진다 :
- 1 패스 모드(One pass mode) : 제 1 입력 이미지 및 제 2 입력 이미지가 수신되고, 이미지 프로세서의 메모리 유니트에 저장된다. 이들 입력 이미지들에 기초하여 움직임 벡터들이 계산된다. 이들 움직임 벡터들은 움직임 보상된 출력 이미지를 계산하는 움직임 보상 유니트에 제공된다.
- 2 패스 모드(Two pass mode) : 2 패스들 중 제 1 패스에서, 제 1 입력 이미지와 제 2 입력 이미지가 수신되고 메모리 유니트에 저장된다. 움직임 벡터들이 이들 입력 이미지들에 기초하여 계산된다. 이들 움직임 벡터들은 외부 유니트에 제공된다. 외부적으로, 수신된 움직임 벡터 필드는 임시 저장될 수 있다. 그러나, 가장 중요하게, 외부 유니트는 움직임 벡터 필드를 향상시키기 위해 이에 대해 동작들을 수행하도록 배열된다. 그동안, 이미지 프로세서는 다른 이미지들의 처리를 지속할 수 있다. 예로서, 이미지 프로세서의 움직임 보상 유니트가 제 2 움직임 보상된 출력 이미지를 계산하거나, 이미지 프로세서의 움직임 추정기가 또 다른 이미지 쌍의 움직임 벡터 필드를 계산할 수 있다. 2 패스들 중 제 2 패스에서, 제 1 및 제 2 입력 이미지에 대응하는 또다른 움직임 벡터 필드가 제 1 및 제 2 입력 이미지와 함께 움직임 보상 유니트에 제공된다. 이 입력에 기초하여 출력 이미지가 계산된다.
2 패스 모드에서, 제 1 및 제 2 입력 이미지는 메모리 유니트로 2회, 즉, 제 1 패스 동안 1회 및 제 2 패스 동안 1회 판독되어야 한다. 결과는 메모리 버스의 부가적인 부하이다. 그러나, 1 패스 및 2 패스 모드 사이에서 교번하도록 설계된 본 발명에 따른 이미지 프로세서의 주된 장점은 확장성(scalability)이다. 이는 일부 부가 대역폭을 희생하여 증가된 이미지 품질 사이의 선택을 가능하게 한다.
움직임 벡터 필드가 외부 유니트에 제공되는 본 발명에 따른 이미지 프로세서의 또 다른 실시예에서, 외부 유니트는 움직임 벡터 필드의 특정 움직임 벡터를 재계산하도록 배열된다. 예로서, 적합한 움직임 벡터를 발견하기 위해, 후보 움직임 벡터들의 확장된 세트들을 사용함으로써, 움직임 벡터 필드의 한층 더 진보된 적응들이 적용될 수 있다. 2 이상의 연속 이미지들에 기초한 움직임 추정이 또한 가능성들에 속한다.
움직임 벡터 필드가 외부 유니트에 제공되는 본 발명에 따른 이미지 프로세서의 실시예는
- 움직임 추정기에 연결된 제 1 입력 커넥터,
- 외부 유니트에 연결된 제 2 입력 커넥터, 및
- 움직임 보상 유니트에 연결된 출력 커넥터를 가지는 스위치를 포함하고,
이 스위치는
- 제 1 입력 커넥터가 출력 커넥터에 연결되는 제 1 상태, 및
- 제 2 입력 커넥터가 출력 커넥터에 연결된 제 2 상태를 갖는다.
이 스위치의 장점은 움직임 보상 유니트의 설계를 비교적 쉽게 한다는 것이다. 움직임 보상 유니트는 잠재적으로 또다른 움직임 벡터 필드를 제공할 수 있는 두 인터페이스들 대신, 적절한 움직임 벡터 필드들이 제공되는 하나의 인터페이스를 포함한다.
움직임 벡터 필드가 외부 유니트에 제공되는 본 발명에 따른 이미지 프로세서의 실시예에서, 움직임 추정기는 움직임 추정기를 인에이블 및/또는 디스에이블하기 위해 제 1 제어 인터페이스를 포함한다. 제 1 제어 인터페이스의 장점은 움직임 추정기 유니트의 설계를 비교적 쉽게 한다는 것이다. 움직임 추정기의 타이밍 및 제어의 주된 부분은 움직임 추정기 외부적으로 실행된다.
움직임 벡터 필드가 외부 유니트에 제공되는 본 발명에 따른 이미지 프로세서의 실시예에서, 움직임 보상 유니트는 움직임 보상 유니트를 인에이블 및/또는 디스에이블하기 위해 제 2 제어 인터페이스를 포함한다. 제 2 제어 인터페이스의 장점은 움직임 보상 유니트의 설계를 비교적 쉽게 한다는 것이다. 움직임 보상 유니트의 타이밍 및 제어의 주된 부분은 움직임 보상 유니트 외부적으로 실행된다.
본 발명에 따른 이미지 프로세서의 실시예에서, 움직임 보상 유니트는 하기의 동작들 중 적어도 하나를 수행하도록 설계된다 :
- 디인터레이싱(De-interlacing) : 공용 비디오 방송 신호들은 비월되며, 이는 연속하는 이미지들이 단지 짝수 또는 단지 홀수 선들만을 교대로 가진다는 것을 의미한다. 디인터레이싱은 완전한 수직 해상도를 복구하기 위해 시도, 즉, 각 이미지를 위해 가용한 짝수 및 홀수 선들 양자 모두를 형성한다.
- 시간적 이미지 보간(Temporal image interpolation) : 일련의 원본 입력 이미지들로부터 보다 큰 일련의 출력 이미지들이 계산된다. 출력 이미지들은 시간적으로 두 원본 입력 이미지들 사이에 위치된다.
- 시간적 노이즈 저감(Temporal noise reduction) : 이는 또한 공간적 처리를 수반하며, 공간적-시간적 노이즈 저감을 초래한다.
본 발명의 제 2 목적은 이미지 디스플레이 장치의 이미지 프로세서가 움직임 보상 유니트에 또다른 움직임 벡터 필드를 제공하는 소스를 소스들의 세트로부터 선택하도록 설계되는 것에 의해 달성되며, 이 소스들의 세트는
- 움직임 추정기 및
- 움직임 벡터 필드가 제공되는 외부 유니트를 포함한다.
이미지 프로세서의 변형들 및 그 변용들은 설명된 이미지 디스플레이 장치의 그 변형들 및 변용들에 대응할 수 있다.
본 발명에 또 다른 이미지 디스플레이 장치 및 이미지 프로세서의 이들 및 다른 양태들은 첨부 도면들을 참조로 하기에 기술된 실시예들 및 구현들에 관련하여 보다 명백해지고, 그로부터 명료해질 것이다.
도 1a는 관련 이미지 프로세서의 실시예를 개략적으로 도시하는 도면.
도 1b는 움직임 추정기로부터 또는 외부 유니트로부터의 움직임 벡터들 사이에서 선택하기 위한 스위치를 포함하는 이미지 프로세서의 실시예를 개략적으로 도시하는 도면.
도 2는 1 패스 모드에서 동작하는 이미지 프로세서의 실시예의 움직임 벡터 필드의 데이터 흐름을 개략적으로 도시하는 도면.
도 3a는 2 패스 모드의 제 1 패스 동안 이미지 프로세서의 실시예의 움직임 벡터 필드의 데이터 흐름을 개략적으로 도시하는 도면.
도 3b는 2 패스 모드의 제 2 패스 동안 이미지 프로세서의 실시예의 또다른 움직임 벡터 필드의 데이터 흐름을 개략적으로 도시하는 도면.
도 4는 본 발명에 따른 이미지 디스플레이 장치를 개략적으로 도시하는 도면.
대응 참조 번호들은 모든 도면들에서 동일한 의미를 갖는다.
도 1a는 관련 이미지 프로세서(100)의 실시예를 개략적으로 도시한다. 이미지 프로세서(100)는
- 제 1 입력 이미지 및 제 2 입력 이미지를 저장하기 위한 메모리 유니트(102),
- 제 1 입력 이미지 및 제 2 입력 이미지에 기초하여 움직임 벡터 필드를 추정하기 위한 움직임 추정기(104), 및
- 제 1 입력 이미지 및 제 2 입력 이미지에 기초하여, 그리고 또 다른 움직임 벡터 필드에 기초하여 출력 이미지를 계산하기 위한 움직임 보상 유니트(106)를 포함한다.
이미지 프로세서(100)는 움직임 보상 유니트(106)에 또다른 움직임 벡터 필드를 제공하는 소스들의 세트로부터 소스를 선택하도록 설계되며, 이 소스들의 세트는
- 움직임 추정기(104), 및
- 외부 유니트(108)를 포함한다.
데이터 버스(112)는 예로서, 입력 및 출력 이미지들 및 움직임 벡터들의 데이터를 교환하도록 설계된다. 데이터 버스(112)에는
- 이미지 프로세서(100),
- 예로서, 입력 및 출력 이미지들 및 움직임 벡터들의 데이터를 저장하도록 배열된 외부 메모리 디바이스(110), 및
- 외부 유니트(108)가 연결된다.
이미지 프로세서의 동작은 하기와 같다. 제 1 및 제 2 입력 이미지가 데이터 버스(112)를 경유하여 외부 메모리 디바이스(110)로부터 검색되고, 메모리 유니트(102)에 저장된다. 제 1 및 제 2 입력 이미지의 모든 화소들이 메모리 유니트(102)에 동시에 저장되는 것이 가능하다. 그러나, 이들 화소들의 일부만이 동시에 메모리 유니트(102)에 저장되는 것이 적합하다. 제 1 및 제 2 입력 이미지는 각각 이미지 데이터 경로(116) 및 이미지 데이터 경로(118)를 통해 교환된다. 이 이미지 쌍의 어떠한 움직임 벡터 필드도 이전에 계산되어 있지 않은 경우에, 제 1 및 제 2 입력 이미지는 움직임 추정기(104)에 제공된다. 움직임 추정기(104)는 움직임 벡터 필드를 계산하고, 이를 움직임 벡터 경로(114)를 경유하여 움직임 보상 유니트(106)에 제공한다. 제 1 및 제 2 입력 이미지는 또한 이미지 데이터 경로들(126 및 128)을 경유하여 움직임 보상 유니트(106)에 제공되고, 이는 대응 출력 이미지를 계산한다. 이 이미지 쌍의 움직임 벡터 필드가 이전에 계산되어 있는 경우에, 외부 소스(108)로부터 또다른 움직임 벡터 필드가 검색되고, 움직임 벡터 경로(120)를 경유해 제 1 및 제 2 입력 이미지와 함께 움직임 보상 유니트(106)에 제공된다. 이 입력 기초하여, 움직임 보상 유니트(106)는 대응 출력 이미지를 계산한다. 출력 이미지는 이미지 데이터 경로(115)를 경유하여 교환된다. 이미지 데이터는 이미지 데이터 경로(125)를 경유하여 외부 유니트(108)에 제공되고, 움직임 벡터들은 움직임 벡터 경로(123)를 경유하여 외부 유니트(108)로부터 검색된다. 움직임 보상 유니트(106)는 하기의 동작들 중 적어도 하나를 수행하도록 설계된다 :
- 디인터레이싱,
- 시간적 이미지 보간, 또는
- 시간적 노이즈 저감.
움직임 추정기(104) 및 움직임 보상 유니트(106)는 G. de Haan의 논문 "움직임 보상된 디인터레이싱, 노이즈 저감 및 화상 레이트 변환을 위한 IC(IEEE Transactions on Consumer Electronics, Vol. 45, No. 3, 1999년 8월)"에 기술된 바와 같은 알고리즘들에 따라 동작하는 것이 바람직하다. 선택적으로, 디인터레이싱은 G. de Haan의 "디인터레이싱-개요(in preceedings of the IEEE, Vol. 86, No. 9, 1998년 9월)"에 기술된 바와 같은 또 다른 방법에 따라 수행된다.
이미지 프로세서는 하나의 IC상에서 구현되는 것이 적합하다. 대안적으로, 이미지 프로세서는 비교적 큰 대역폭을 가지는 접속부들과 상호연결되어 있는 다수의 IC들로 구현된다.
도 1b는 스위치(130)를 포함하는 이미지 프로세서(101)의 실시예를 개략적으로 도시하고 있으며, 이 스위치는
- 움직임 벡터 경로(114)를 경유하여 움직임 추정기(104)에 연결된 제 1 입력 커넥터,
- 움직임 벡터 경로(120)를 경유하여 외부 유니트(108)에 연결된 제 2 입력 커넥터, 및
- 움직임 보상 유니트(106)에 연결된 출력 커넥터를 구비하고,
이 스위치(130)는
- 제 1 입력 커넥터가 출력 커넥터에 연결되어 또다른 움직임 벡터 필드가 움직임 추정기(104)로부터 움직임 보상 유니트(106)로 직접적으로 제공될 수 있게 하는 제 1 상태, 및
- 제 2 입력 커넥터가 출력 커넥터에 연결되어 또다른 움직임 벡터 필드가 외부 유니트(108)로부터 움직임 보상 유니트(106)로 제공될 수 있게 하는 제 2 상태를 가진다.
움직임 추정기(104)는 움직임 추정기(104)를 인에이블 및/또는 디스에이블하기 위해 제 1 제어 인터페이스(134)를 포함하고, 움직임 보상 유니트(106)는 움직임 보상 유니트(106)를 인에이블 및/또는 디스에이블하기 위해 제 2 제어 인터페이스(132)를 포함한다. 움직임 추정기(104) 및 움직임 보상 유니트(106)의 타이밍 및 제어의 주된 부분은 이들 유니트들(104, 106)에 외부적으로 실행된다.
메모리 유니트(102)는 제 1 입력 이미지를 저장하기 위한 제 1 서브유니트(103)와, 제 2 입력 이미지를 저장하기 위한 제 2 서브유니트(105)를 포함한다.
이미지 프로세서(101)는 움직임 벡터 경로들(113, 124)을 각각 경유하여 움직임 추정기(104)로부터 외부 유니트(108)에 움직임 벡터 필드를 교환하도록 배열된다.
도 2, 도 3a 및 도 3b와 관련하여, 스위치가 제 1 또는 제 2 상태에 있는 조건들하에서 움직임 추정기(104) 및 움직임 보상 유니트(106)가 인에이블 또는 디스에이블 되는지 여부를 설명한다. 이는 표 1에 요약되어 있다.
| 1패스(도 2참조) | 2 패스들 중 제 1 패스(도 3a참조) | 2패스들 중 제 2 패스(도 3b참조) | |
| 움직임 추정기(104) | 인에이블 | 인에이블 | 디스에이블 |
| 움직임 보상 유니트(106) | 인에이블 | 디스에이블 | 인에이블 |
| 스위치(130) | 제 1 상태 | 제 2 상태 | 제 2 상태 |
도 2는 1 패스 모드에서 동작하는 이미지 프로세서(101)의 일 실시예의 움직임 벡터 필드의 데이터 흐름(202)을 개략적으로 도시한다. 움직임 추정기(104) 및 움직임 보상 유니트(106) 모두는 체크 표시들(204 및 206)로 표시된 바와 같이 인에이블된다. 스위치(130)는 제 1 상태에 있다. 처리 단계들의 시퀀스는 하기와 같다. 제 1 입력 이미지 및 제 2 입력 이미지가 외부 메모리 디바이스(110)로부터 수신되고, 이미지 프로세서(101)의 메모리 유니트(102)에 캐시된다. 제 1 이미지, 즉, 소위 이전 이미지는 서브 유니트(103)에 넣어지고, 제 2 입력 이미지, 즉, 소위 이전 이미지는 서브 유니트(105)에 넣어진다. 이미지들은 다수의 세그먼트들로 분할된다. 세그먼트들 각각에 대하여, 움직임 벡터가 계산된다. 일 이미지의 모든 벡터들은 함께 움직임 벡터 필드를 형성한다. 이들 움직임 벡터들은 직접적으로 움직임 보상 유니트(106)에 제공되고, 이는 움직임 보상된 출력 이미지를 계산한다. 원론적으로, 움직임 벡터들은 하나씩 또는 작은 집합들로 제공된다. 그러나, 결국 완전한 움직임 벡터 필드가 제공된다. 움직임 벡터들을 하나씩 제공하는 장점은 움직임 보상 유니트(106)가 최종 움직임 벡터가 계산된 이후 비교적 짧게 출력 이미지를 완성할 수 있다는 것이다. 또 다른 장점은 이미지 프로세서(101)에 완전한 움직임 벡터 필드를 저장하기 위한 어떠한 메모리 공간도 필요하지 않다는 것이다. 일반적으로, 움직임 벡터들은 또한 외부 메모리 디바이스(110)에 저장된다.
도 3a는 2 패스 모드의 제 1 패스 동안 이미지 프로세서(101)의 실시예의 움직임 벡터 필드의 데이터 흐름(302)을 개략적으로 도시한다. 참조 번호들 304 및 306으로 표시된 바와 같이, 움직임 추정기(104)는 인에이블되고, 움직임 보상 유니트는 디스에이블된다. 스위치(130)는 제 2 상태에 있다. 그러나, 스위치(130)의 상태는 움직임 보상 유니트(106)가 디스에이블되어 있기 때문에 무관하다. 처리 단계들의 시퀀스는 하기와 같다. 제 1 입력 이미지 및 제 2 입력 이미지가 외부 메모리 디바이스(110)로부터 수신되고, 이미지 프로세서(101)의 메모리 유니트(102)에 캐시된다. 이미지들은 다수의 세그먼트들로 분할된다. 세그먼트들 각각에 대하여, 움직임 벡터가 계산된다. 이들 움직임 벡터들은 외부 메모리 디바이스(110)에 임시 저장된다. 외부 유니트(108)는 이들 움직임 벡터들을 액세스할 수 있다. 외부 유니트(108)는 선택적으로, 움직임 추정기(104)에 의해 계산된 움직임 벡터들에 기초하여 또다른 움직임 벡터 필드를 계산하도록 설계되어 있다. 외부 유니트(108)에 의해 계산된 또다른 움직임 벡터 필드는 제 2 패스에서 이미지 프로세서(101)에 의해 사용된다. 선택적으로, 이 또다른 움직임 벡터 필드는 또한 외부 메모리 디바이스(110)에도 저장된다.
도 3b는 2 패스 모드의 제 2 패스 동안 이미지 프로세서(101)의 실시예의 또다른 움직임 벡터 필드의 데이터 흐름(312)을 개략적으로 도시한다. 참조 번호들 308 및 310으로 표시된 바와 같이, 움직임 추정기(104)는 디스에이블되어 있고 움직임 보상 유니트(106)는 인에이블되어 있다. 스위치(130)는 제 2 상태에 있다. 처리 단계들의 시퀀스는 하기와 같다. 제 1 입력 이미지 및 제 2 입력 이미지가 외부 메모리 디바이스(110)로부터 수신되고, 이미지 프로세서(101)의 메모리 유니트(102)에 캐시된다. 제 1 및 제 2 입력 이미지에 대응하는 특정 움직임 벡터들은 외부 소스(108)에 의해 제공되고, 외부 메모리(110)로부터 구해진다. 움직임 보상 유니트(106)는 출력 이미지를 계산한다. 제 2 패스 동안 주사 방향, 즉, 처리되는 세그먼트들의 시퀀스는 제 1 패스 동안의 주사 방향에 독립적이다. 달리 말해서, 제 1 움직임 벡터들이 이미지의 우하로부터 좌상으로 세그먼트들을 위해 계산될 수 있는 반면에, 제 2 패스 동안 움직임 보상된 출력 이미지들은 예로서, 좌상으로부터 우하로 세그먼트들을 처리함으로써 생성될 수 있다. 이는 움직임 추정기의 교번적인 주사 방향들을 허용하며, 이는 알고리즘들의 수렴 속도를 증가시키는 반면에, 움직임 보상은 항상 동일한 주사 방향을 이용한다.
외부 유니트(108) 및 이미지 프로세서(101)는 양자 모두 이미지들의 동일 시퀀스에 관련된 움직임 벡터들을 계산하도록 설계된다. 이 이미지 프로세서(101)는 제 1 시간 슬롯 동안 특정 이미지 쌍의 제 1 움직임 벡터 필드를 계산하도록 설계되어 있다. 외부 유니트(108)는 제 1 움직임 벡터 필드에 기초하여 제 2 시간 슬롯 동안 특정 이미지 쌍의 제 2 움직임 벡터 필드를 계산하도록 배열되어 있다. 제 3 시간 슬롯에서, 제 2 움직임 벡터 필드는 출력 이미지를 계산하기 위해 이미지 프로세서(101)의 움직임 보상 유니트(106)에 의해 사용된다. 그러나, 외부 유니트(108) 및 이미지 프로세서(101)는 병렬로 동작하는 프로세서들이다. 병렬 처리의 효과가 예와 함께 예시되어 있다. 이 예는 표 2에 요약되어 있다.
| 시간슬롯 | 외부유니트(108) | 이미지 프로세서(101) | |
| 움직임추정기(104) | 움직임보상유니트(106) | ||
| 1 | F2(N-1, N) | F1(N, N+1) | - |
| 2 | F2(N, N+1) | - | F2(N-1, N) |
| 3 | F1(N+1, N+2) | - | |
| 4 | F2(N+1, N+2) | - | F2(N, N+1) |
| 5 | F1(N+2, N+3) | - | |
| 6 | F2(N+2, N+3) | - | F2(N+1, N+2) |
시간 슬롯 1 동안 이미지 프로세서(101)의 움직임 추정기(104)는 이미지 쌍(N, N+1)의 움직임 벡터 필드(F1(N, N+1))를 계산하고, 외부 유니트(108)는 이미지 쌍(N-1, N)의 움직임 벡터 필드(F2(N-1, N))를 계산한다. 시간 슬롯 2 동안, 이미지 프로세서(101)의 움직임 보상 유니트(106)는 이미지 쌍(N-1, N)의 움직임 벡터 필드(F2(N-1, N))를 사용하고, 외부 유니트는 이미지 쌍(N, N+1)을 위한 움직임 벡터 필드(F2(N, N+1))를 계산한다. 이 예에서, 외부 유니트(108)는 이미지 프로세서가 소모하는 것 보다 많은 시간을 움직임 벡터 필드를 계산하기 위해 소모할 수 있다는 것을 인지하여야 한다. 또한, 움직임 벡터 필드의 단지 일부만이 개선을 필요로 하며, 이때 2 패스 모드가 개선된 이미지 품질을 초래한다는 것을 고려하여야 한다.
도 4는 본 발명에 따른 이미지 디스플레이 장치(400)를 개략적으로 도시하고 있으며, 이는
- 이미지들의 시퀀스를 수신하기 위한 수신기(402); 이미지들은 안테나 또는 케이블을 경유하여 방송 및 수신될 수 있지만, 또한, VCR(비디오 카세트 리코더) 또는 DVD(디지털 다용도 디스크)와 같은 저장 디바이스로부터 도입될 수도 있다. 이미지들의 시퀀스는 이미지 디스플레이 장치(400)의 입력 커넥터(406)에 제공된다. 이미지 시퀀스들은 다양한 이미지 레이트들, 즉, 막 재료에서는 24, 25 및 30Hz 및 비디오에서는 일반적으로 50Hz 및 60Hz로 도입한다;
- 도 1b와 관련하여 설명된 바와 같이 구현된 이미지 프로세서(101); 및
- 이미지들을 디스플레이하기 위한 디스플레이 디바이스(404)를 포함한다.
이 유형의 디스플레이 디바이스(404)는 예로서, CRT, LCD 또는 PDP일 수 있다. 디스플레이 디바이스(404)는 50, 60 또는 100Hz의 이미지 레이트들로 동작할 수 있으며, 누진 또는 비월 주사 중 어느 한쪽을 가질 수 있다.
상술된 실시예들은 본 발명을 제한하지 않고 예시하는 것이며, 본 기술 분야의 숙련자들은 첨부된 청구항들의 범위로부터 벗어나지 않고, 대안적 실시예들을 설계할 수 있다는 것을 주의하여야 한다. 청구항들에서, 괄호들 사이에 위치한 임의의 참조 부호들은 청구항을 한정하는 것으로 해석되어서는 안된다. 단어 "포함하는"은 청구항에 나열되지 않은 요소들 및 단계들의 존재를 배제하지 않는다. 단수로 표시된 구성 요소는 복수의 구성 요소들의 존재를 배제하는 것은 아니다. 본 발명은 몇몇 개별 요소들을 포함하는 하드웨어에 의해, 그리고, 적절히 프로그램된 컴퓨터에 의해 이행될 수 있다. 몇몇 수단들을 열거하는 장치 청구항들에서, 이들 수단들 중 몇몇은 하나의, 그리고 동일한 제품의 하드웨어에 의해 구현될 수 있다.
본 발명은 보다 진보된 움직임 추정이 가능하도록 설계된 서두에 기술된 종류의 이미지 프로세서를 제공하고, 또한, 보다 진보된 움직임 추정을 가지는 서두에 기술된 종류의 이미지 디스플레이 장치를 제공한다.
Claims (10)
- 움직임 보상된 이미지 처리를 위한 이미지 프로세서(100, 101)로서,제 1 입력 이미지 및 제 2 입력 이미지를 저장하는 메모리 유니트(102)와,상기 제 1 입력 이미지 및 상기 제 2 입력 이미지에 기초하여 움직임 벡터 필드를 추정하는 움직임 추정기(104)와,상기 제 1 입력 이미지 및 상기 제 2 입력 이미지에 기초하고, 또다른 움직임 벡터 필드에 기초하여 출력 이미지를 계산하는 움직임 보상 유니트(106)를 포함하며,상기 움직임 보상 유니트는상기 움직임 추정기(104)로부터, 또는외부 유니트(108)로부터 상기 또다른 움직임 벡터 필드를 선택적으로 수신하는 것을 특징으로 하는 움직임 보상된 이미지 처리를 위한 이미지 프로세서.
- 제 1 항에 있어서,상기 이미지 프로세서(100, 101)는 상기 움직임 벡터 필드에 기초하여 상기 또다른 움직임 벡터 필드를 계산하는 상기 외부 유니트(108)에 상기 움직임 추정기(104)에 의해 추정된 상기 움직임 벡터 필드를 제공하도록 설계된 것을 특징으로 하는 움직임 보상된 이미지 처리를 위한 이미지 프로세서.
- 제 2 항에 있어서,상기 외부 유니트(108)는 상기 움직임 벡터 필드의 특정 움직임 벡터를 재계산하도록 구성되는 것을 특징으로 하는 움직임 보상된 이미지 처리를 위한 이미지 프로세서.
- 제 2 항에 있어서,상기 움직임 추정기(104)에 연결된 제 1 입력 커넥터와,상기 외부 유니트(108)에 연결된 제 2 입력 커넥터와,상기 움직임 보상 유니트(106)에 연결된 출력 커넥터를 구비하는 스위치(103)를 포함하고,상기 스위치(130)는,상기 제 1 입력 커넥터가 상기 출력 커넥터에 접속된 제 1 상태와,상기 제 2 입력 커넥터가 상기 출력 커넥터에 접속된 제 2 상태를 갖는 것을 특징으로 하는 움직임 보상된 이미지 처리를 위한 이미지 프로세서.
- 제 2 항에 있어서,상기 움직임 추정기(104)는 상기 움직임 추정기(104)를 인에이블 또는 디스에이블시키기 위해 제 1 제어 인터페이스(134)를 포함하는 것을 특징으로 하는 움직임 보상된 이미지 처리를 위한 이미지 프로세서.
- 제 2 항에 있어서,상기 움직임 보상 유니트(106)는 상기 움직임 보상 유니트(106)를 인에이블 또는 디스에이블시키기 위해 제 2 제어 인터페이스(132)를 포함하는 것을 특징으로 하는 움직임 보상된 이미지 처리를 위한 이미지 프로세서.
- 제 1 항에 있어서,상기 움직임 보상 유니트(106)는디인터레이싱(de-interlacing),시간적 이미지 보간, 또는시간적 노이즈 저감의 동작들 중 적어도 하나를 수행하도록 설계된 것을 특징으로 하는 움직임 보상된 이미지 처리를 위한 이미지 프로세서.
- 이미지 디스플레이 장치(400)로서,제 1 입력 이미지 및 제 2 입력 이미지를 포함하는 이미지들의 시퀀스를 수신하는 수신기(402)와,움직임 보상된 이미지 처리를 위한 이미지 프로세서(100, 101)로서,- 상기 제 1 입력 이미지 및 상기 제 2 입력 이미지를 저장하기 위한 메모리 유니트(102)와,- 상기 제 1 입력 이미지 및 상기 제 2 입력 이미지에 기초하여 움직임 벡터 필드를 추정하는 움직임 추정기(104)와,- 상기 제 1 입력 이미지 및 상기 제 2 입력 이미지에 기초하고, 또다른 움직임 벡터 필드에 기초하여 출력 이미지를 계산하는 움직임 보상 유니트(106)를 포함하는, 상기 이미지 프로세서(100, 101)와,상기 출력 이미지를 디스플레이하는 디스플레이 디바이스(404)를 포함하며,상기 움직임 보상 유니트는,상기 움직임 추정기(104)로부터, 또는외부 유니트(108)로부터 상기 또다른 움직임 벡터 필드를 선택적으로 수신하는 것을 특징으로 하는 이미지 디스플레이 장치.
- 제 8 항에 있어서,상기 이미지 프로세서(100, 101)는 상기 움직임 벡터 필드에 기초하여 상기 또다른 움직임 벡터 필드를 계산하도록 구성되는 외부 유니트(108)에 상기 움직임 추정기(104)에 의해 추정된 상기 움직임 벡터 필드를 제공하도록 설계된 것을 특징으로 하, 이미지 디스플레이 장치.
- 제 8 항에 있어서,상기 움직임 보상 유니트(106)는,디인터레이싱,시간적 이미지 보간, 또는시간적 노이즈 저감의 동작들 중 적어도 하나를 수행하도록 설계된 것을 특징으로 하는 이미지 디스플레이 장치.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP01203383.3 | 2001-09-07 | ||
| EP01203383 | 2001-09-07 | ||
| PCT/IB2002/003582 WO2003024117A1 (en) | 2001-09-07 | 2002-09-02 | Image processor and image display apparatus provided with such image processor |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20040029161A KR20040029161A (ko) | 2004-04-03 |
| KR100917933B1 true KR100917933B1 (ko) | 2009-09-21 |
Family
ID=8180900
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020047003321A KR100917933B1 (ko) | 2001-09-07 | 2002-09-02 | 이미지 프로세서 및 상기 이미지 프로세서를 구비한이미지 디스플레이 장치 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US7010042B2 (ko) |
| EP (1) | EP1430725B1 (ko) |
| JP (1) | JP4322114B2 (ko) |
| KR (1) | KR100917933B1 (ko) |
| CN (1) | CN1266944C (ko) |
| AT (1) | ATE330429T1 (ko) |
| DE (1) | DE60212417T2 (ko) |
| WO (1) | WO2003024117A1 (ko) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100924906B1 (ko) * | 2001-11-07 | 2009-11-03 | 엔엑스피 비 브이 | 폐쇄 영역들을 검출하기 위한 폐쇄 검출기 및 방법, 모션 추정기 및 이미지 처리 장치 |
| US8094723B2 (en) | 2003-12-31 | 2012-01-10 | Intel Corporation | Motion estimation sum of all differences (SAD) array having reduced semiconductor die area consumption |
| JP4572606B2 (ja) * | 2004-07-06 | 2010-11-04 | パナソニック株式会社 | 画像処理装置 |
| US20090079874A1 (en) * | 2004-11-22 | 2009-03-26 | Koninklijke Philips Electronics, N.V. | Display device with time-multiplexed led light source |
| JP4181592B2 (ja) * | 2006-09-20 | 2008-11-19 | シャープ株式会社 | 画像表示装置及び方法、画像処理装置及び方法 |
| JP5702063B2 (ja) * | 2009-12-14 | 2015-04-15 | ソニー株式会社 | 表示装置、表示方法及びコンピュータプログラム |
| KR20120055102A (ko) * | 2010-11-23 | 2012-05-31 | 삼성전자주식회사 | 영상처리장치 및 영상처리방법 |
| GB201113527D0 (en) * | 2011-08-04 | 2011-09-21 | Imagination Tech Ltd | External vectors in a motion estimation system |
| US10715818B2 (en) * | 2016-08-04 | 2020-07-14 | Intel Corporation | Techniques for hardware video encoding |
| US10602174B2 (en) | 2016-08-04 | 2020-03-24 | Intel Corporation | Lossless pixel compression for random video memory access |
| US11025913B2 (en) | 2019-03-01 | 2021-06-01 | Intel Corporation | Encoding video using palette prediction and intra-block copy |
| US10855983B2 (en) | 2019-06-13 | 2020-12-01 | Intel Corporation | Encoding video using two-stage intra search |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6091460A (en) * | 1994-03-31 | 2000-07-18 | Mitsubishi Denki Kabushiki Kaisha | Video signal encoding method and system |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3854171T2 (de) * | 1987-06-09 | 1995-12-21 | Sony Corp | Bewertung von Bewegungsvektoren in Fernsehbildern. |
| JPH0865681A (ja) * | 1994-08-25 | 1996-03-08 | Sony Corp | 動きベクトル検出装置およびそれを使用した動き補償予測符号化システム |
| US5687097A (en) * | 1995-07-13 | 1997-11-11 | Zapex Technologies, Inc. | Method and apparatus for efficiently determining a frame motion vector in a video encoder |
| US6738423B1 (en) * | 2000-01-21 | 2004-05-18 | Nokia Mobile Phones Ltd. | Method for encoding and decoding video information, a motion compensated video encoder and a corresponding decoder |
| EP1152621A1 (en) * | 2000-05-05 | 2001-11-07 | STMicroelectronics S.r.l. | Motion estimation process and system. |
-
2002
- 2002-09-02 JP JP2003528029A patent/JP4322114B2/ja not_active Expired - Fee Related
- 2002-09-02 EP EP02762673A patent/EP1430725B1/en not_active Expired - Lifetime
- 2002-09-02 WO PCT/IB2002/003582 patent/WO2003024117A1/en active IP Right Grant
- 2002-09-02 DE DE60212417T patent/DE60212417T2/de not_active Expired - Lifetime
- 2002-09-02 KR KR1020047003321A patent/KR100917933B1/ko not_active IP Right Cessation
- 2002-09-02 AT AT02762673T patent/ATE330429T1/de not_active IP Right Cessation
- 2002-09-02 CN CNB028174585A patent/CN1266944C/zh not_active Expired - Fee Related
- 2002-09-04 US US10/234,784 patent/US7010042B2/en not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6091460A (en) * | 1994-03-31 | 2000-07-18 | Mitsubishi Denki Kabushiki Kaisha | Video signal encoding method and system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005512356A (ja) | 2005-04-28 |
| US7010042B2 (en) | 2006-03-07 |
| DE60212417T2 (de) | 2007-02-01 |
| KR20040029161A (ko) | 2004-04-03 |
| JP4322114B2 (ja) | 2009-08-26 |
| EP1430725B1 (en) | 2006-06-14 |
| DE60212417D1 (de) | 2006-07-27 |
| CN1552160A (zh) | 2004-12-01 |
| US20030091114A1 (en) | 2003-05-15 |
| CN1266944C (zh) | 2006-07-26 |
| ATE330429T1 (de) | 2006-07-15 |
| WO2003024117A1 (en) | 2003-03-20 |
| EP1430725A1 (en) | 2004-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hilman et al. | Using motion-compensated frame-rate conversion for the correction of 3: 2 pulldown artifacts in video sequences | |
| De Haan | IC for motion-compensated de-interlacing, noise reduction, and picture-rate conversion | |
| JP5008826B2 (ja) | 高精細度デインタレース／フレーム倍増回路およびその方法 | |
| EP1143712A2 (en) | Method and apparatus for calculating motion vectors | |
| CN101283598B (zh) | 用于产生内插帧的设备 | |
| KR20060047630A (ko) | 움직임 보상된 출력 이미지 데이터를 생성하는 방법 및움직임 보상기 | |
| KR100917933B1 (ko) | 이미지 프로세서 및 상기 이미지 프로세서를 구비한이미지 디스플레이 장치 | |
| US7321396B2 (en) | Deinterlacing apparatus and method | |
| US20100177239A1 (en) | Method of and apparatus for frame rate conversion | |
| CN100385914C (zh) | 具有噪音降低/消除装置的解隔行设备 | |
| US5386248A (en) | Method and apparatus for reducing motion estimator hardware and data transmission capacity requirements in video systems | |
| EP1511311A1 (en) | Method and system for de-interlacing digital images, and computer program product therefor | |
| JP4563030B2 (ja) | ワンパスで複数の出力画像を提供するための信号処理装置 | |
| EP1424851B1 (en) | Motion detection apparatus and method | |
| KR20040078690A (ko) | 오클루전을 고려하여 일군의 화소들의 움직임 벡터를 추정 | |
| JP2008509576A (ja) | 走査レート変換を利用した画像プロセッサ及び画像処理方法。 | |
| US7113222B2 (en) | Method and apparatus for converting an interlace image to a progressive image | |
| US20060176394A1 (en) | De-interlacing of video data | |
| Chang et al. | Four field local motion compensated de-interlacing | |
| JP3576618B2 (ja) | 動きベクトル検出方法および装置 | |
| KR100616164B1 (ko) | 메디안 필터를 이용한 적응적인 영상 디인터레이스 장치및 그 방법 | |
| EP0474272B1 (en) | Method and apparatus for reducing motion estimator hardware and data transmission capacity requirements in video systems | |
| KR100588901B1 (ko) | 움직임 보상 기법을 이용한 적응적인 영상 디인터레이스장치 및 그 방법 | |
| Han et al. | Motion-compensated frame rate up-conversion for reduction of blocking artifacts | |
| Guo et al. | A co-processor architecture for video scan-rate-conversion and spatial/temporal noise reduction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| N231 | Notification of change of applicant | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20120824 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20130826 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20140822 Year of fee payment: 6 |
|
| LAPS | Lapse due to unpaid annual fee |