KR20050119689A - 공간 이미지 변환 - Google Patents
공간 이미지 변환 Download PDFInfo
- Publication number
- KR20050119689A KR20050119689A KR1020057019227A KR20057019227A KR20050119689A KR 20050119689 A KR20050119689 A KR 20050119689A KR 1020057019227 A KR1020057019227 A KR 1020057019227A KR 20057019227 A KR20057019227 A KR 20057019227A KR 20050119689 A KR20050119689 A KR 20050119689A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- conversion unit
- unit
- filter
- low pass
- Prior art date
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 74
- 238000001914 filtration Methods 0.000 claims abstract description 30
- 230000003044 adaptive effect Effects 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 21
- 230000002123 temporal effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 6
- 238000002156 mixing Methods 0.000 description 8
- 238000001228 spectrum Methods 0.000 description 8
- 230000006978 adaptation Effects 0.000 description 5
- 125000004122 cyclic group Chemical group 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/403—Edge-driven scaling; Edge-based scaling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
Abstract
본 발명은, 제 1 해상도의 입력 이미지를 제 1 해상도보다 높은 제 2 해상도의 출력 이미지로 변환하기 위한 이미지 변환 유닛(100)에 관한 것이다. 상기 이미지 변환 유닛(100)은: 상기 제 1 이미지의 화소값들에 기초하여 제 1 필터 계수를 결정하기 위한 계수-결정 수단(108); 및 상기 제 1 이미지의 화소값들 중 제 1 화소값 및 상기 제 1 필터 계수에 기초하여 상기 제 2 이미지의 제 2 화소값을 계산하기 위한 적응 필터링 수단(106); 및 중간 이미지를 저역 통과 필터링하여 출력 이미지를 발생시키는 저역 통과 필터를 포함한다.
Description
본 발명은, 제 1 해상도의 제 1 이미지를 제 1 해상도보다 높은 제 2 해상도의 제 2 이미지로 변환하기 위한 이미지 변환 유닛으로서:
상기 제 1 이미지의 화소값들에 기초하여 제 1 필터 계수를 결정하기 위한 계수-결정 수단; 및
상기 제 1 이미지의 화소값들 중 제 1 화소값 및 상기 제 1 필터 계수에 기초하여 상기 제 2 이미지의 제 2 화소값을 계산하기 위한 적응 필터링 수단을 포함하는, 이미지 변환 유닛에 관한 것이다.
본 발명은, 이미지 처리 장치로서:
제 1 이미지에 대응하는 신호를 수신하기 위한 수신 수단; 및
상기 제 1 이미지를 제 2 이미지로 변환하기 위한 제 1항에 청구된 이미지 변환 유닛을 포함하는, 이미지 처리 장치에 관한 것이다.
본 발명은, 제 1 해상도의 제 1 이미지를 상기 제 1 해상도보다 높은 제 2 해상도의 제 2 이미지로 변환하는 방법으로서:
상기 제 1 이미지의 화소값들에 기초하여 제 1 필터 계수를 결정하는 단계; 및
상기 제 1 이미지의 화소값들 중 제 1 화소값 및 상기 제 1 필터 계수에 기초하여 상기 제 2 이미지의 제 2 화소값을 계산하는 단계를 포함하는, 이미지 변환 방법에 관한 것이다.
본 발명은, 제 1 해상도의 제 1 이미지를 제 1 해상도보다 높은 제 2 해상도의 제 2 이미지로 변환하기 위한 명령들을 포함하는, 컴퓨터 장치에 의하여 로드되는 컴퓨터 프로그램 제품에 관한 것이다.
HDTV의 출현은, 표준 선명(SD) 비디오 자료가 고선명(HD) 텔레비전(TV) 디스플레이 상에서 보여지도록 하는 공간-업 변환 기술들에 대한 필요성을 강조한다. 종래의 기술들은 쌍선형(bi-linear) 보간법과 같은 선형 보간법들 및 다상 저역 통과 보간 필터들을 사용하는 방법들이다. 선형 보간법은 낮은 품질로 인하여 텔레비전 애플리케이션들에 널리 사용되지 않지만 다상 저역 통과 보간 필터를 사용하는 방법은 상업적으로 이용 가능한 IC들에서 이용 가능하다. 선형 방법들에 있어서, 프레임 내의 화소들의 수가 증가되지만, 이미지의 인식 선명도는 증가되지 않는다. 다시 말해서, 디스플레이의 능력은 완전히 이용되지 않는다.
종래의 선형 기술들과 더불어, 업-변환을 수행하기 위하여 다수의 비선형 알고리즘이 제안되었다. 때때로, 이들 기술들은 콘텐츠 기반 또는 에지 종속 공간 업-변환으로 언급된다. 다수의 이들 업-변환 기술들은 "Towards an overview of spatial up-conversion techniques", by Meng Zhao et al., in the proceedings of the ISCE 2002, Erfurt, Germany, 23-26 September 2002에 개시되어 있다.
양호한 기술들은 비선형 방식인데, 이러한 비선형 방식은 부가적으로 이용 가능한 스펙트럼에서 정보를 생성할 수 있기 때문이다. 이러한 부가 정보가 결코 카메라에 의하여 등록되지 않지만 자연 이미지들에 대한 가정들을 적용하여 추정되기 때문에, 부가 정보는 본래 시간에 대하여 일치하지 않는다. 실제로, "에지-비지니스"로서 나타나는 아티팩트(artifact)들이 발생한다.
도 1은 본 발명에 따른 이미지 변환 유닛의 실시예를 도시한 개략도.
도 2는 저역 통과 필터를 제어하는 특징 추출 유닛을 포함하는 본 발명에 따른 이미지 변환 유닛의 실시예를 도시한 개략도.
도 3은 1차 시간-순환 필터를 포함하는 본 발명에 따른 이미지 변환 유닛의 실시예를 도시한 개략도.
도 4는 이전에 필터링된 이미지의 움직임 보상을 포함하는 1차 시간-순환 필터를 포함하는 본 발명에 따른 이미지 변환 유닛의 실시예를 도시한 개략도.
도 5는 적응 필터링 수단에 접속되고, 미리 결정된 공간 주파수 범위 내의 제 2 이미지 성분들을 저역 통과 필터에 제공하도록 배열되는 대역-분할 유닛을 포함하는 본 발명에 따른 이미지 변환 유닛의 실시예를 도시한 개략도.
도 6은 선형 변환 유닛 및 비선형 변환 유닛을 포함하는 본 발명에 따른 이미지 변환 유닛의 실시예를 도시한 개략도.
도 7은 본 발명에 따른 이미지 처리 장치의 실시예를 도시한 개략도.
본 발명의 목적은, 개선된 인식 결과를 이미지에 제공하도록 배열된, 서두에 기술된 종류의 이미지 변환 유닛을 제공하는데 있다.
본 발명의 목적은, 이미지 변환 유닛이 제 2 이미지를 필터링하기 위한 저역 통과 필터를 더 포함함으로써 달성된다. 저역 통과 필터링에 의하여 잡음이 감소되고 시간-일관성(time-consistency)이 달성된다. 저역 통과 필터링은 비선형 공간 업-변환에 의하여 도입된 공간 스펙트럼의 부분에 집중되는 것이 바람직하다. 현재의 이미지 처리 구조들에서는 잡음 감소가, 이용 가능한 경우에 공간 업-변환 전에 수행된다는 점에 유의해야 한다. 이에 대한 이유는, 공간 업-변환 후에 저역 통과 필터링을 수행하면, 중간 결과들의 저장 요구들로 인하여 비용이 상대적으로 비싸기 때문이다. 다른 이유는 계산량이 상대적으로 많다는 것이다.
저역 통과 필터는 시간 필터, 공간 필터 또는 공간-시간 필터이다.
본 발명에 따른 이미지 변환 유닛의 실시예는, 제 1 이미지 또는 제 2 이미지로부터 특징들(features)을 추출하는 특징 추출 유닛을 포함한다. 이러한 특징 추출 유닛은 저역 통과 필터를 제어하도록 배열된다. 특징 추출 유닛은 제 1 이미지로부터 특징들을 추출하도록 배열되는 것이 바람직하다. 제 2 이미지의 저역 통과 필터링을 제어하기 위하여, 제 2 이미지 대신에 업-변환되지 않은 원래 이미지인 제 1 이미지를 적용하는 장점은, 업-변환에 의하여 유발된 아티팩트들에 의하여 제어가 교란되지 않는다는 점이다.
본 발명에 따른 이미지 변환 유닛의 실시예에서, 특징 추출 유닛은 제 1 이미지 내의 에지들을 검출하는 에지 검출기 유닛이다. 이러한 실시예는 에지들을 따라 제 2 이미지를 필터링하도록 설계된 에지-적응 저역 통과 필터를 포함하는 것이 바람직하다. 또한, K-최근접 또는 시그마-최근접 공간 필터가 적용된다. 또한, 특징 추출 유닛은 제 2 이미지 내의 에지들을 검출하는 에지 검출기이다.
본 발명에 따른 이미지 변환 유닛의 다른 실시예에서, 특징 추출 유닛은, 제 1 이미지 및 제 3 이미지 모두가 속하는 일련의 이미지들 중 제 3 이미지에 관하여 제 1 이미지의 움직임량을 나타내는 값을 계산하는 움직임 검출기 유닛이다. 본 발명에 따른 이러한 실시예는 순환 시간(recursive temporal) 저역 통과 필터를 포함하는 것이 바람직하다. 이 경우에, 움직임량을 나타내는 값은, 제 2 이미지 및 이전 필터링된 이미지 간의 혼합비를 제어하는데 적용된다. 순환 시간 저역 통과 필터는 상대적으로 저가이면서 강인하다. 또한, 특징 추출 유닛은, 제 2 이미지 및 제 4 이미지 모두가 속하는 일련의 추가 이미지들 중 제 4 이미지에 관하여 제 2 이미지의 움직임량을 나타내는 값을 계산하는 움직임 검출기 유닛이다.
본 발명에 따른 이미지 변환 유닛의 다른 실시예에서, 특징 추출 유닛은, 제 1 이미지 및 제 3 이미지 모두가 속하는 일련의 이미지들 중 제 3 이미지의 추가 화소들의 그룹들에 관하여 제 1 이미지의 화소들의 그룹들 각각에 대한 움직임 벡터를 계산하는 움직임 추정 유닛이다. 본 발명에 따른 이러한 실시예는, 이전에 필터링된 이미지의 움직임 보상을 위해 움직임 보상 유닛을 포함하는 순환 시간 저역 통과 필터를 포함하는 것이 바람직하다. 움직임 보상을 적용하는 장점은, 움직임의 경우에서조차 이미지 변환 유닛은 고품질 출력 이미지들을 제공한다는 점이다. 또한, 특징 추출 유닛은, 제 2 이미지 및 제 4 이미지 모두가 속하는 일련의 추가 이미지들 중 제 4 이미지의 추가 화소들의 그룹들에 관하여 제 2 이미지의 화소들의 그룹들 각각에 대한 움직임 벡터들을 계산하는 움직임 추정 유닛이다.
본 발명에 따른 이미지 변환 유닛의 실시예는, 제 2 이미지의 미리 결정된 공간 주파수 범위 내의 성분들을 시간 필터에 또한 제공하도록 배열되며, 미리 결정된 주파수 범위는 제 1 이미지의 나이키스트 주파수 이상인 주파수들에 대응한다. 본 발명에 따른 이러한 실시예에서, 저역 통과 필터링은, 비선형 공간 업-변환에 의하여 도입된 공간 스펙트럼의 부분에 집중된다. 공간 스펙트럼의 다른 부분들은 거의 일정하게 유지된다.
본 발명에 따른 이미지 변환 유닛의 실시예는, 적응 필터링 수단에 접속되고 시간 필터에 성분들을 제공하도록 배열된 대역-분할 유닛을 포함한다. 또한, 이미지 변환 유닛은, 콘텐츠-적응성 업-변환된 제 2 이미지에서, 제 1 이미지로부터 유도된 선형 업-변환된 이미지를 감산하도록 설계되며, 중간 감산 이미지에 대한 저역 통과 필터링 후에 선형 업-변환된 이미지에 대한 가산을 수행하도록 배열된다.
본 발명의 다른 목적은, 개선된 인식 결과들을 갖는 이미지를 제공하도록 배열된, 서두에 기술된 종류의 이미지 처리 장치를 제공하는데 있다.
본 발명의 목적은, 이미지 변환 유닛이 제 2 이미지를 필터링하는 저역 통과 필터를 더 포함함으로써 달성된다. 이미지 처리 장치는 필터링된 이미지를 디스플레이하는 디스플레이 장치를 또한 포함한다. 이미지 처리 장치는, 예를 들면, TV, 셋톱 박스, 위성 튜너, VCR(비디오 카세트 레코더) 플레이어 또는 DVD(디지털 비디오 디스크) 플레이어일 수 있다.
본 발명의 또 다른 목적은 개선된 인식 결과를 갖는 이미지들을 제공하는, 서두에 기술된 종류의 방법을 제공하는데 있다.
본 발명의 목적은, 본 발명의 방법이 제 2 이미지의 저역 통과 필터링 단계를 포함함으로써 달성된다.
본 발명의 또 다른 목적은 개선된 인식 결과를 갖는 이미지들을 제공하는, 서두에 기술된 종류의 컴퓨터 프로그램 제품을 제공하는데 있다.
본 발명의 목적은, 로드 후 컴퓨터 프로그램 제품이:
상기 제 1 이미지의 화소값들에 기초하여 제 1 필터 계수를 결정하는 단계;
상기 제 1 이미지의 화소값들 중 제 1 화소값 및 상기 제 1 필터 계수에 기초하여 상기 제 2 이미지의 제 2 화소값을 계산하는 단계; 및
상기 제 2 이미지를 저역 통과 필터링하는 단계를 수행하기 위한 능력을 상기 처리 수단에 제공하는데 있다.
이미지 변환 유닛의 수정들 및 그의 변형들은 이미지 처리 장치, 기술된 방법 및 컴퓨터 프로그램 제품의 수정들 및 변형들에 대응한다.
본 발명에 따른 이미지 변환 유닛, 이미지 처리 장치, 이미지 변환 방법 및 컴퓨터 프로그램 제품의 이들 및 다른 특징들은 첨부한 도면들을 참조하여 이하에 기술된 구현들 및 실시예들로부터 명백해질 것이다.
도 1은 본 발명에 따른 이미지 변환 유닛(100)의 실시예를 개략적으로 도시한다. 이미지 변환 유닛(100)은, 제 1 해상도의 입력 이미지를 제 1 해상도보다 높은 제 2 해상도의 출력 이미지를 변환하도록 배열된다. 통상적으로, 입력 이미지는, 이미지 변환 유닛(100)의 입력 커넥터(110)에서 제공된 SD(표준 선명) 이미지들의 입력 시퀀스 비디오의 부분이며, 제 2 이미지는 출력 HD(고선명) 이미지들의 시퀀스의 부분이다. 이미지 변환 유닛(100)은 출력 커넥터(112)에서 출력 HD 이미지들의 시퀀스를 제공한다. 이미지 변환 유닛은:
- 입력 이미지를 입력 이미지보다 높은 고해상도의 중간 이미지로 변환하는 콘텐츠 적응 업-변환 유닛(102); 및
- 중간 이미지를 필터링하여 출력 이미지를 출력하는 저역 통과 필터(104)를 포함한다.
콘텐츠 적응 업-변환 유닛(102)은:
- 입력 이미지의 화소값들에 기초하여 필터 계수들을 결정하기 위한 계수-결정 유닛(108); 및
- 입력 이미지의 화소값들 및 입력 이미지로부터 유도된 필터 계수들에 기초하여 중간 이미지의 화소값들을 계산하는 적응 필터링 유닛(106)을 포함한다.
콘텐츠 적응 업-변환 유닛(102)은 "Towards an overview of spatial up-conversion techniques", by Meng Zhao et al., in the proceedings of the ISCE 2002, Erfurt, Germany, 23-26 September 2002에 개시된 업-변환 알고리즘들 중 하나에 기초한다.
필터 계수-결정 유닛(108), 적응 필터링 유닛(106) 및 저역 통과 필터(104)는 하나의 프로세스를 사용하여 구현될 수 있다. 보통, 이들 기능들은 소프트웨어 프로그램 제품의 제어 하에서 수행된다. 실행 중에, 소프트웨어 프로그램 제품은 RAM과 같은 메모리에 로드되어 실행된다. 프로그램은 ROM, 하드 디스크, 또는 자기 및/또는 광학 저장 장치와 같은 배경 메모리로부터 로드될 수 있거나, 인터넷과 같은 네트워크를 통해 로드될 수 있다. 또한, 주문형 집적 회로는 기술된 기술을 제공한다.
도 2는 저역 통과 필터(104)를 제어하는 특징 추출 유닛(202)을 포함하는 본 발명에 따른 이미지 변환 유닛(200)의 실시예를 개략적으로 도시한다. 특징 추출 유닛(202)은 입력 이미지의 에지들을 검출하는 에지 검출기 유닛일 수 있다. 이 경우에, 저역 통과 필터는 "Edge adaptive filtering: how much and which direction?", by R.Jha and M.E.Jernigan, in the proceedings of IEEE International Conference on Man and Cybernetics, 1989, 14-17 November page 364-366 vol. 1에 설명된 에지 적응 필터링을 수행한다. 또한, 특징 추출 유닛(202)은, 다른 입력 이미지에 관하여 입력 이미지 내의 움직임량을 나타내는 값을 계산하도록 배열된다. 또한 움직임의 방향이 추정되는 것이 바람직하다. 이 경우에, 특징 추출 유닛(202)은, 다른 입력 이미지의 추가 화소들의 그룹들에 관하여 입력 이미지의 화소들의 그룹들 각각에 대한 움직임 벡터들을 계산하는 움직임 추정 유닛이다. 움직임 추정기는 "True-Motion Estimation with 3-D Recursive Search Block Matching" by G.de Haan et.al. in IEEE Transactions on circuits and systems for video technology, vol.3, no.5, October 1993, pages 368-379에 특정되어 있다. 저역 통과 필터링은 "Noise reduction in image sequences using motion compensated temporal filtering", by E. Dubois and S.Sabri, in IEEE, Transactions on Communication, no. 7, 1984, pp. 826-831에 개시된 알고리즘에 기초할 수 있다.
도 3은 1차 시간-순환 필터(104)를 포함하는 본 발명에 따른 이미지 변환 유닛(300)의 실시예를 개략적으로 도시한다. 1차 시간-순환 필터(104)는, 최근에 필터링된 이미지를 일시적으로 저장하는 메모리 디바이스(302)를 포함한다. 필터링된 이미지는 콘텐츠 적응 업-변환 유닛(102)에 의하여 제공된 중간 이미지와 혼합된다. 이러한 혼합 동작은, 특징 추출 유닛(202)에 의하여 하나 이상의 입력 이미지들로부터 유도된 파라미터 k에 기초하여 제어되는 혼합 유닛(304)에 의하여 수행된다. 1차 시간-순환 필터(104)의 출력은 다음과 같은 수학시 1로 주어진다:
여기서, 는 화소 위치이며,는 입력 휘도값이며, 는 출력 휘도값이다.
도 4는 이전에 필터링된 이미지의 움직임 보상을 포함하는 1차 시간-순환 필터(104)를 포함하는 본 발명에 따른 이미지 변환 유닛(400)의 실시예를 개략적으로 도시한다. 본 발명에 따른 이러한 실시예는 움직임 추정 유닛(404), 및 움직임 추정 유닛(404)에 의하여 추정된 움직임 벡터들이 제공되는 움직임 보상 유닛(402)을 포함한다. 이전에 필터링된 이미지는, 혼합 유닛(304)에 의한 혼합이 수행되기 전에 최근에 필터링된 이미지와 관련하여 움직임 보상된다. 또한, 최근에 필터링된 이미지는, 혼합 유닛(304)에 의한 혼합이 수행되기 전에 이전에 필터링된 이미지와 관련하여 움직임 보상된다(도시되지 않음). 혼합비를 제어하는데 사용되는 파라미터 k는 개별 특징 추출 유닛(202)에 의하여 계산될 수 있다. 그러나, 이러한 파라미터 k는 추정된 움직임 벡터들에 기초하며, 또한 움직임 추정 유닛(404)에 의하여 계산되는 것이 바람직하다. 이는, 특징 추출 유닛(202)이 움직임 추정 유닛(404)의 부분 또는 선택 사항이라는 것을 의미한다.
도 5는, 적응 필터링 유닛(106)에 접속되고 미리 결정된 공간 주파수 범위 내의 제 2 이미지의 성분들을 저역 통과 필터(104)에 제공하도록 배열된 대역 분할 유닛(502)을 포함하는 본 발명에 따른 이미지 변환 유닛(500)의 실시예를 개략적으로 도시한다. 미리 결정된 공간 주파수 범위는, 입력 이미지의 나이키스트 주파수 이상인 주파수들에 실질적으로 대응한다. 본 발명에 따른 이러한 실시예에서, 시간 저역 통과 필터링은, 비선형 공간 업-변환에 의하여 도입된 공간 주파수 스펙트럼의 부분에 집중된다. 공간 주파수 스펙트럼의 다른 부분은 시간적으로 저역 통과된 데이터가 제공되는 대역 분할 유닛(502)에 의하여 가산 유닛(504)에 제공된다. 이러한 이미지 변환 유닛(500)의 작용이 이하에서 설명된다. 입력 이미지는 콘텐츠 적응 업 변환 유닛(102)에 의하여 중간 이미지로 업 변환된다. 중간 이미지의 주파수 성분들은, 입력 이미지의 나이키스트 주파수 이하인 제 1 공간 주파수 성분들 및 입력 이미지의 나이키스트 주파수 이상인 제 2 주파수 성분들로 대역-분할 유닛(502)에 의하여 분할된다. 제 2 주파수 성분들은 시간 순환 필터(104)에 제공된다. 시간 순환 필터(104)의 출력은 가산 유닛(504)에 의하여 제 1공간 주파수 성분들과 혼합된다.
도 6은 선형 변환 유닛(602) 및 비선형 변환 유닛(102) 모두를 포함하는 본 발명에 따른 이미지 변환 유닛(600)의 실시예를 개략적으로 도시한다. 본 발명에 따른 이러한 실시예에서, 저역 통과 필터링은, 비선형 공간 업-변환에 의하여 도입된 공간 주파수 스펙트럼의 부분에 집중된다. 공간 주파수 스펙트럼의 다른 부분들은 실질적으로 일정하게 유지된다. 이미지 변환 유닛(600)은:
- 제 1 해상도의 입력 이미지를 제 1 해상도보다 높은 제 2 해상도의 제 1 중간 이미지로 변환하는 콘텐츠 적응 업-변환 유닛(102);
- 입력 이미지를, 제 2 해상도의 제 2 중간 이미지로 변환하는 선형 업-변환 유닛(602);
- 제 1 중간 이미지에서 제 2 중간 이미지를 감산하는 감산 유닛(604);
- 감산 이미지를 필터링하는 저역 통과 필터(104); 및
- 필터링된 감산 이미지를 제 2 중간 이미지와 결합하는 결합 유닛(504)을 포함한다.
이미지 변환 유닛(600)은 도 1-5중 어느 하나와 관련하여 설명된 바와 같이 저역 통과 필터(104)를 제어하는 특징 추출 유닛(202)을 더 포함하는 것이 바람직하다. 이미지 변환 유닛(600)의 작용은 다음과 같다. 제 2 중간 이미지, 즉, 선형적 업-변환된 이미지는, 입력 이미지의 나이키스트 주파수 이하의 범위 내의 주파수 성분들을 포함한다. 그러나, 제 1 중간 이미지, 즉 비선형적 업-변환된 이미지는 입력 이미지의 나이키스트 주파수 이상의 범위 내의 주파수 성분들을 포함한다. 제 1 중간 이미지에서 제 2 중간 이미지를 감산함으로써, 입력 이미지의 나이키스트 주파수 이상의 범위 내의 주파수 성분들이 선택된다. 감산 이미지, 즉 상대적으로 높은 공간 주파수들을 갖는 이미지는 시간 필터, 바람직하게 움직임 보상된 1차 시간 순환 필터에 의하여 후속으로 저역 통과 필터링된다. 최종적으로, 필터링된 감산 이미지는 제 2 중간 이미지, 즉 선형 업-변환된 이미지와 결합된다.
도 7은 본 발명에 따른 이미지 처리 장치(700)의 실시예를 개략적으로 도시하며, 이미지 처리 장치(700)는:
- SD 이미지들을 나타내는 신호를 수신하는 수신 수단(702);
- 도 1-6 중 어느 하나와 관련하여 기술된 이미지 변환 유닛(704); 및
- 이미지 변환 유닛(704)의 HD 출력 이미지들을 디스플레이하는 디스플레이 장치(706)를 포함한다. 이러한 디스플레이 장치(706)는 선택 사항이다.
신호는 안테나 또는 케이블을 통해 수신된 방송 신호일 수 있으나, VCR(비디오 카세트 레코더) 또는 디지털 비디오 디스크(DVD)와 같은 저장 장치로부터의 신호일 수 있다. 신호는 입력 커넥터(708)에서 제공된다. 이미지 처리 장치(700)는, 예를 들면, TV일 수 있다. 또한, 이미지 처리 장치(700)는 선택적 디스플레이 장치를 포함하지 않지만, 디스플레이 장치(706)를 포함하는 장치에 HD 이미지들을 제공한다. 그 다음에, 이미지 처리 장치(700)는, 예를 들면, 셋톱 박스, 위성-튜너, VCR 플레이어 또는 DVD 플레이어일 수 있다. 그러나, 이미지 처리 장치는 또한 영화 촬영소 또는 방송국에 의하여 적용된 시스템일 수 있다.
상술된 실시예들은 본 발명을 제한하는 것보다 오히려 예시적으로 기술되며, 당업자는 첨부된 청구항들의 범위로부터 벗어나지 않고 다른 실시예들을 설계할 수 있다는 것을 유의해야 한다. 청구 범위에서, 괄호 내에 있는 임의의 참조 부호들은 청구 범위를 제한하는 것으로 구성되지 않아야 한다. 용어 "포함한다"는 청구항에 리스트되지 않은 구성요소들 또는 단계들의 존재를 배제하지 않는다. 구성요소 앞에 있는 단수는 복수의 구성요소들의 존재를 배제하지 않는다. 본 발명은 여러 개별 구성요소들을 포함하는 하드웨어 및 적절하게 프로그래밍된 컴퓨터에 의하여 구현될 수 있다. 여러 수단을 열거한 유닛 청구항들은 하나 및 동일한 하드웨어 아이템에 의하여 구현될 수 있다.
Claims (15)
- 제 1 해상도의 제 1 이미지를 상기 제 1 해상도보다 높은 제 2 해상도의 제 2 이미지로 변환하기 위한 이미지 변환 유닛(100, 200, 300, 400, 500, 600)으로서:상기 제 1 이미지의 화소값들에 기초하여 제 1 필터 계수를 결정하기 위한 계수-결정 수단(108); 및상기 제 1 이미지의 화소값들 중 제 1 화소값 및 상기 제 1 필터 계수에 기초하여 상기 제 2 이미지의 제 2 화소값을 계산하기 위한 적응 필터링 수단(106)을 포함하는, 상기 이미지 변환 유닛에 있어서,상기 변환 유닛(100, 200, 300, 400, 500, 600)은 상기 제 2 이미지를 필터링하기 위한 저역 통과 필터(104)를 더 포함하는 것을 특징으로 하는, 이미지 변환 유닛(100, 200, 300, 400, 500, 600).
- 제 1 항에 있어서, 상기 이미지 변환 유닛(100, 200, 300, 400, 500, 600)은 상기 제 1 이미지 또는 상기 제 2 이미지로부터 특징들(features)을 추출하기 위한 특징 추출 유닛(202)을 포함하고, 상기 특징 추출 유닛(202)은 상기 저역 통과 필터(104)를 제어하도록 배열되는 것을 특징으로 하는, 이미지 변환 유닛(200, 300, 400, 500, 600).
- 제 2 항에 있어서, 상기 특징 추출 유닛(202)은 상기 제 1 이미지 내의 에지들을 검출하기 위한 에지 검출기 유닛인 것을 특징으로 하는, 이미지 변환 유닛(200, 300, 400, 500, 600).
- 제 2 항에 있어서, 상기 특징 추출 유닛(202)은, 상기 제 1 이미지 및 제 3 이미지 모두가 속하는 일련의 이미지들 중 상기 제 3 이미지에 관하여 상기 제 1 이미지 내의 움직임량을 나타내는 값을 계산하기 위한 움직임 검출기 유닛인 것을 특징으로 하는, 이미지 변환 유닛(200, 300, 400, 500, 600).
- 제 2 항에 있어서, 상기 특징 추출 유닛(202)은, 상기 제 1 이미지 및 제 3 이미지 모두가 속하는 일련의 이미지들 중 상기 제 3 이미지의 추가 화소들의 그룹들에 관하여 상기 제 1 이미지의 화소들의 그룹들 각각에 대한 움직임 벡터들을 계산하기 위한 움직인 추정 유닛인 것을 특징으로 하는, 이미지 변환 유닛(200, 300, 400, 500, 600).
- 제 1 항에 있어서, 상기 저역 통과 필터(104)는 시간 필터인 것을 특징으로 하는, 이미지 변환 유닛(100, 200, 300, 400, 500, 600).
- 제 6 항에 있어서, 상기 저역 통과 필터(104)는 이전에 필터링된 이미지의 움직임 보상을 위한 움직임 보상 유닛(402)을 포함하는 시간 순환 필터(temporal recursive filter)인 것을 특징으로 하는, 이미지 변환 유닛(400, 500).
- 제 6 항에 있어서, 상기 제 2 이미지의 미리 결정된 공간 주파수 범위 내의 성분들을 상기 시간 필터에 또한 제공하도록 배열되며, 상기 미리 결정된 주파수 범위는 상기 제 1 이미지의 나이키스트 주파수(Nyquist frequency) 이상인 주파수들에 대응하는 것을 특징으로 하는, 이미지 변환 유닛(500, 600).
- 제 8 항에 있어서, 상기 적응 필터링 수단에 접속되며, 상기 성분들을 상기 시간 필터에 제공하도록 배열된 대역-분할 유닛을 포함하는 것을 특징으로 하는, 이미지 변환 유닛(500).
- 제 3 항에 있어서, 상기 저역 통과 필터(104)는 에지-적응 공간 저역 통과 필터인 것을 특징으로 하는, 이미지 변환 유닛(100, 200).
- 이미지 처리 장치(700)로서:제 1 이미지에 대응하는 신호를 수신하기 위한 수신 수단; 및상기 제 1 이미지를 제 2 이미지로 변환하기 위한 제 1항에 청구된 이미지 변환 유닛(100, 200, 300, 400, 500, 600)을 포함하는, 이미지 처리 장치(700).
- 제 11 항에 있어서, 상기 저역 통과 필터링된 제 2 이미지를 디스플레이하기 위한 디스플레이 디바이스(706)를 더 포함하는 것을 특징으로 하는, 이미지 처리 장치(700).
- 제 11 항에 있어서, 상기 이미지 처리 장치(700)는 TV인 것을 특징으로 하는, 이미지 처리 장치(700).
- 제 1 해상도의 제 1 이미지를 상기 제 1 해상도보다 높은 제 2 해상도의 제 2 이미지로 변환하는 방법으로서:상기 제 1 이미지의 화소값들에 기초하여 제 1 필터 계수를 결정하는 단계; 및상기 제 1 이미지의 화소값들 중 제 1 화소값 및 상기 제 1 필터 계수에 기초하여 상기 제 2 이미지의 제 2 화소값을 계산하는 단계를 포함하는, 상기 이미지 변환 방법에 있어서,상기 제 2 이미지를 저역 통과 필터링하는 단계를 포함하는 것을 특징으로 하는, 이미지 변환 방법.
- 제 1 해상도의 제 1 이미지를 상기 제 1 해상도보다 높은 제 2 해상도의 제 2 이미지로 변환하도록 하는 명령들을 포함하고, 컴퓨터 장치에 의해 로드되는 컴퓨터 프로그램 제품으로서, 상기 컴퓨터 장치는 처리 수단 및 메모리를 포함하고, 로드된 후에, 상기 컴퓨터 프로그램 제품은:상기 제 1 이미지의 화소값들에 기초하여 제 1 필터 계수를 결정하는 단계;상기 제 1 이미지의 화소값들 중 제 1 화소값 및 상기 제 1 필터 계수에 기초하여 상기 제 2 이미지의 제 2 화소값을 계산하는 단계; 및상기 제 2 이미지를 저역 통과 필터링하는 단계를 수행하기 위한 능력을 상기 처리 수단에 제공하는, 컴퓨터 프로그램 제품.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP03100977.2 | 2003-04-10 | ||
| EP03100977 | 2003-04-10 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20050119689A true KR20050119689A (ko) | 2005-12-21 |
Family
ID=33155234
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020057019227A KR20050119689A (ko) | 2003-04-10 | 2004-03-31 | 공간 이미지 변환 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20060181643A1 (ko) |
| EP (1) | EP1616300A1 (ko) |
| JP (1) | JP2006523409A (ko) |
| KR (1) | KR20050119689A (ko) |
| CN (1) | CN1771516A (ko) |
| WO (1) | WO2004090812A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100952667B1 (ko) * | 2008-03-20 | 2010-04-13 | 중앙대학교 산학협력단 | 저역 통과 필터링을 기반으로 한 영상 보간 장치 및 방법 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7777790B2 (en) * | 2005-01-27 | 2010-08-17 | Technion Research & Development Foundation Ltd. | Acquisition of image sequences with enhanced resolution |
| WO2008028334A1 (en) | 2006-09-01 | 2008-03-13 | Thomson Licensing | Method and device for adaptive video presentation |
| TWI362629B (en) * | 2008-06-26 | 2012-04-21 | Chunghwa Picture Tubes Ltd | Image process method and apparatus |
| KR101634562B1 (ko) * | 2009-09-22 | 2016-06-30 | 삼성전자주식회사 | 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법 |
| US8755625B2 (en) | 2010-11-19 | 2014-06-17 | Analog Devices, Inc. | Component filtering for low-light noise reduction |
| US20120128244A1 (en) * | 2010-11-19 | 2012-05-24 | Raka Singh | Divide-and-conquer filter for low-light noise reduction |
| US9258517B2 (en) * | 2012-12-31 | 2016-02-09 | Magnum Semiconductor, Inc. | Methods and apparatuses for adaptively filtering video signals |
| CN108282664B (zh) | 2018-01-30 | 2020-12-29 | 深圳创维－Rgb电子有限公司 | 图像处理方法、装置、系统及计算机可读存储介质 |
| KR102192392B1 (ko) * | 2018-03-26 | 2020-12-17 | 아주대학교산학협력단 | 저 해상도 이미지 보정을 위한 잔차 네트워크 시스템 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1994015435A1 (en) * | 1992-12-18 | 1994-07-07 | Sid Ahmed Maher A | Real-time television image pixel multiplication methods and apparatus |
| US5715335A (en) * | 1993-12-02 | 1998-02-03 | U.S. Philips Corporation | Noise reduction |
| US5684544A (en) * | 1995-05-12 | 1997-11-04 | Intel Corporation | Apparatus and method for upsampling chroma pixels |
| US6339479B1 (en) * | 1996-11-22 | 2002-01-15 | Sony Corporation | Video processing apparatus for processing pixel for generating high-picture-quality image, method thereof, and video printer to which they are applied |
| US6108047A (en) * | 1997-10-28 | 2000-08-22 | Stream Machine Company | Variable-size spatial and temporal video scaler |
| US6987539B2 (en) * | 2000-02-24 | 2006-01-17 | Sony Corporation | Image signal conversion apparatus, method and display for image signal conversion based on selected pixel data |
| KR20050059251A (ko) * | 2002-10-11 | 2005-06-17 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 이미지 변환을 위한 유닛 및 방법 |
| JP2006522977A (ja) * | 2003-04-10 | 2006-10-05 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 空間画像変換装置及び方法 |
| US7409372B2 (en) * | 2003-06-20 | 2008-08-05 | Hewlett-Packard Development Company, L.P. | Neural network trained with spatial errors |
| US7679676B2 (en) * | 2004-06-03 | 2010-03-16 | Koninklijke Philips Electronics N.V. | Spatial signal conversion |
-
2004
- 2004-03-31 WO PCT/IB2004/050371 patent/WO2004090812A1/en not_active Application Discontinuation
- 2004-03-31 KR KR1020057019227A patent/KR20050119689A/ko not_active Application Discontinuation
- 2004-03-31 EP EP04724684A patent/EP1616300A1/en not_active Withdrawn
- 2004-03-31 JP JP2006506800A patent/JP2006523409A/ja active Pending
- 2004-03-31 US US10/552,053 patent/US20060181643A1/en not_active Abandoned
- 2004-03-31 CN CNA2004800095491A patent/CN1771516A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100952667B1 (ko) * | 2008-03-20 | 2010-04-13 | 중앙대학교 산학협력단 | 저역 통과 필터링을 기반으로 한 영상 보간 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006523409A (ja) | 2006-10-12 |
| EP1616300A1 (en) | 2006-01-18 |
| WO2004090812A1 (en) | 2004-10-21 |
| US20060181643A1 (en) | 2006-08-17 |
| CN1771516A (zh) | 2006-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6181382B1 (en) | HDTV up converter | |
| KR100424600B1 (ko) | 방향성에지보간을사용한모션적응스캔-율변환 | |
| US8218083B2 (en) | Noise reducer, noise reducing method, and video signal display apparatus that distinguishes between motion and noise | |
| EP1924097A1 (en) | Motion and scene change detection using color components | |
| US7489350B2 (en) | Unit for and method of sharpness enhancement | |
| US8086067B2 (en) | Noise cancellation | |
| KR20050119689A (ko) | 공간 이미지 변환 | |
| US7679676B2 (en) | Spatial signal conversion | |
| US7136107B2 (en) | Post-processing of interpolated images | |
| KR101098300B1 (ko) | 공간 신호 변환 | |
| US20070258653A1 (en) | Unit for and Method of Image Conversion | |
| JP3018377B2 (ja) | 動きベクトルを用いた動き内挿方法及び装置 | |
| US10264212B1 (en) | Low-complexity deinterlacing with motion detection and overlay compensation | |
| JP2523373B2 (ja) | 動き適応型輝度信号色信号分離装置 | |
| US20060038918A1 (en) | Unit for and method of image conversion | |
| JP3777831B2 (ja) | 画像情報変換装置および変換方法 | |
| KR20060012328A (ko) | 휘도 및 컬러 분리 | |
| WO2004073313A1 (en) | Spatio-temporal up-conversion | |
| JPH08102871A (ja) | 雑音低減装置 | |
| JPH03101389A (ja) | 動画像処理方法 | |
| JPH0646457A (ja) | Ｍｕｓｅ信号の折り返し除去装置 | |
| JPH04183178A (ja) | 垂直輪郭強調回路 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |