KR20050109625A - 공간 이미지 변환 - Google Patents

공간 이미지 변환 Download PDF

Info

Publication number
KR20050109625A
KR20050109625A KR1020057019220A KR20057019220A KR20050109625A KR 20050109625 A KR20050109625 A KR 20050109625A KR 1020057019220 A KR1020057019220 A KR 1020057019220A KR 20057019220 A KR20057019220 A KR 20057019220A KR 20050109625 A KR20050109625 A KR 20050109625A
Authority
KR
South Korea
Prior art keywords
image
filter coefficient
conversion unit
resolution
calculating
Prior art date
Application number
KR1020057019220A
Other languages
English (en)
Inventor
제라드 드 한
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20050109625A publication Critical patent/KR20050109625A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration by non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/403—Edge-driven scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images

Abstract

본 발명은 제1 해상도의 입력 이미지를 이 제1 해상도와는 다른 제2 해상도의 출력 이미지로 변환하는 이미지 변환 유닛(200)에 관한 것이다. 이미지 변환 유닛(200)은, 제1 이미지의 화소들의 그룹의 화소값들에 기초하여 제1 필터계수를 결정하는 계수 결정수단(106); 및 제1 필터계수를 미리 결정된 필터계수와 결합하여 최종의 필터계수가 되게 하는 결합수단(204-210); 및 제1 이미지의 화소값들 중 제1 화소값과 최종의 필터계수에 기초하여 제2 이미지의 제2 화소값을 계산하는 적응형 필터링 수단(104)을 포함한다.

Description

공간 이미지 변환{Spatial image conversion}
본 발명은 제1 해상도의 제1 이미지를, 상기 제1 해상도와는 다른 제2 해상도의 제2 이미지로 변환하는 이미지 변환 유닛에 관한 것으로서, 상기 이미지 변환 유닛은,
제1 이미지의 화소들의 그룹의 화소값들에 기초하여 제1 필터계수를 결정하는 계수 결정수단; 및
제1 이미지의 화소값들 중 제1 값과 상기 제1 필터계수에 기초하여 제2 이미지의 제2 화소값을 계산하는 적응형 필터링 수단을 포함한다.
또한, 본 발명은 이미지 처리장치에 관한 것으로서, 상기 이미지 처리 장치는,
제1 이미지에 대응하는 신호를 수신하는 수신수단; 및
전술한 바와 같은, 제1 이미지를 제2 이미지로 변환하는 이미지 변환 유닛을 포함한다.
또한, 본 발명은 제1 해상도를 가진 제1 이미지를 상기 제1 해상도와는 다른 제2 해상도를 가진 제2 이미지로 변환하는 방법에 관한 것으로서, 상기 방법은,
제1 이미지의 화소들의 그룹의 화소값들에 기초하여 제1 필터계수를 결정하는 단계; 및
제1 이미지의 화소값들 중 제1 화소값과 제1 필터계수에 기초하여 제2 이미지의 제2 화소값을 계산하는 단계를 포함한다.
또한, 본 발명은 제1 해상도를 가진 제1 이미지를 상기 제1 해상도와는 다른 제2 해상도를 가진 제2 이미지로 변환하는 명령을 포함하고, 컴퓨터 장치에 의해 로딩되는 컴퓨터 프로그램 제품에 관한 것이다.
HDTV의 출현으로 표준 화질(SD)의 비디오물을 고화질(HD) 텔레비전(TV) 디스플레이들에서 볼 수 있게 하는 공간적인 업-변환 기술들에 대한 필요성이 강조되고 있다. 종래의 기술들은 쌍선형 보간과 같은 선형 보간 방법들 및 다상(poly-phase) 저역통과 보간 필터들을 사용하는 방법들이다. 선형 보간 방법들은 열등한 품질 때문에 텔레비전 애플리케이션들에서 대중적이지 않지만, 다상 저역통과 보간 필터를 사용하는 방법은 시판되는 IC들로 이용가능하다. 선형 방법들에 있어서, 프레임 내 화소들의 수는 증가되나, 이미지의 인지되는 선명도는 증가하지 않는다. 즉,디스플레이의 능력이 완전히 활용되지 않는다.
종래의 선형기술에 외에, 이러한 업-변환을 달성하기 위해 다수의 비선형 알고리즘들이 제안되어 있다. 때때로 이들 기술들은 컨텐츠 기반, 혹은 컨텐츠 적응형 혹은 에지 의존성 공간 업-변환이라고 한다. 다수의 이들 업-변환 기술들은 "Towards an overview of spatial up-conversion techniques", by Meng Zhao et al., in the proceedings of the ISCE 2002, Erfurt, Germany, 23-26 September 2002의 개괄 논문에 기재되어 있다.
이들 문헌들에 기재된 컨텐츠 적응형 이미지 업 스케일링은 샘플링 이론이 근거하는 선형 업-변환 방법들에 비해 선명도를 크게 향상시키는 것으로 입증되었다. 그러나, 이들 방법들의 결점은, 이 방법들이 주관적인 면에서 반드시 최적이 아니고, 이 방법들의 성능 특징을 어떻게 개선할지에 대한 단서를 제공하지 않는다는 점이다.
도 1a는 종래 기술에 따른 이미지 변환 유닛의 실시예를 개략적으로 도시한 것이다.
도 1b는 종래 기술에 따른 방법을 설명하기 위해 다수의 화소들을 개략적으로 도시한 것이다.
도 1c는 종래 기술에 따른 이미지 변환 유닛의 다른 실시예를 개략적으로 도시한 것이다.
도 2a는 본 발명에 따른 이미지 변환 유닛의 실시예를 개략적으로 도시한 것이다.
도 2b는 본 발명에 따른 이미지 변환 유닛의 다른 실시예를 개략적으로 도시한 것이다.
도 3a는 SD 입력 이미지를 개략적으로 도시한 것이다.
도 3b는 해상도를 증가시키기 위해 화소들을 추가한 도 3a의 SD 입력 이미지를 개략적으로 도시한 것이다.
도 3c는 45도로 회전한 후에 도 3b의 이미지를 개략적으로 도시한 것이다.
도 3d는 도 3a의 SD 입력 이미지로부터 도출한 HD 출력 이미지를 개략적으로 도시한 것이다.
도 4는 본 발명에 따른 이미지 처리 장치의 실시예를 개략적으로 도시한 것이다.
본 발명의 목적은 주관적인 면에서 최적인 이미지들을 제공하게 구성되는, 서두에 기술된 종류의 이미지 변환 유닛을 제공하는 것이다.
본 발명의 이 목적은 이미지 변환 유닛이 제1 필터계수의 결정을 제어하는 제어수단을 포함하는 것에 의해 달성된다. 계수 결정수단에 대한 인터페이스를 제공함으로써, 적응형 필터링은 외부에서 제어될 수 있고, 따라서 필터링은 실제 이미지 컨텐츠만이 아니라 추가의 제어 데이터에도 좌우된다. 이 제어 데이터는 제2 이미지 혹은 제2 이미지로부터 도출한 이미지를 시청중에 있는 사용자에 의해 직접 제공될 수도 있을 것이다. 바람직하게, 제어 데이터는 각각의 미리 결정된 기호들에 대응하는 다수 세트의 제어 데이터로부터의 선택에 의해 제공된다. 대안으로, 변환은 이미지의 메타 데이터, 예를 들면 이미지의 유형 혹은 장르에 기초하여 제어된다. 예를 들면, 선명도 증대량은 축구경기를 나타내는 이미지들에서보다 만화영화를 나타내는 이미지들의 경우에 더 높다.
본 발명에 따른 이미지 변환 유닛의 실시예는 상기 화소들의 그룹의 화소값에 기초한 제2 필터계수를 미리 결정된 필터 계수와 결합함으로써 상기 제1 필터계수를 계산하게 구성되고, 상기 결합은 상기 제어수단(210)에 의해 제어되는 것을 특징으로 한다. 이것은 제1 필터계수가 두 개의 구성성분들, 즉 제2 필터계수 및 미리 결정된 필터계수에 기초함을 의미한다. 즉, 제1 필터계수는 실제 이미지 컨텐츠 및 화소값에 각각 기초한다. 이들 구성성분들간의 비는 필터링 및 예를 들면 선명도 증대를 결정한다.
이들 두 구성성분의 결합 혹은 믹싱을 달성하기 위해서, 본 발명에 따른 이미지 변환 유닛은 바람직하게는 다음을 포함한다.
상기 제2 필터계수와 상기 미리 결정된 필터계수간의 차이를 계산하는 제1 계산수단;
상기 차이를 이득율로 곱함으로써 가중화된 차이를 계산하는 제2 계산수단; 및
상기 가중화된 차이에 기초하여 상기 제1 필터계수를 계산하는 제3 계산수단.
제3 계산수단은 상기 가중화된 차이를 상기 미리 결정된 필터계수에 가산함으로써 상기 제1 필터계수를 계산하게 구성되거나, 상기 제3 계산수단은 상기 가중화된 차이를 상기 제2 필터계수에 가산함으로써 상기 제1 필터계수를 계산하게 구성된다.
본 발명에 따른 이들 후자의 실시예들의 잇점은 과장된 적응성이 달성될 수 있다는 것이다. 이득율이 단위이득보다 높기 때문에, 적응형 필터링과 선형 필터링간의 차이가 증폭된다.
본 발명에 따른 이미지 변환 유닛의 실시예에서, 상기 계수 결정수단은 상기 일 그룹의 화소들의 상기 화소값들로부터 도출한 데이터를 상기 제2 필터계수로 바꾸기 위해 미리 결정된 룩업 테이블을 포함하고, 상기 미리 결정된 룩업 테이블은 훈련 프로세스에 의해 얻어진다. 이 실시예의 잇점은 제2 필터계수의 결정에 있어 비교적 낮은 계산 자원 사용이 요구된다는 것이다. 업-변환 유닛의 경우에 필터 계수들을 결정하기 위해 LUT를 적용하는 방식이 상기 인용된 문헌에 개시되어 있다.
본 발명에 따른 이미지 변환 유닛의 실시예에서, 계수 계산수단은 최적화 알고리즘에 의해 상기 제2 필터계수를 계산하게 구성된다. 바람직하게, 최적화 알고리즘은 최소 평균 제곱 알고리즘이다. LMS 알고리즘은 비교적 간단하고 확실하다. 업-변환 유닛의 경우에 필터계수들을 결정함에 있어 최적화 알고리즘을 적용하는 방법은 인용문헌에 개시되어 있다.
본 발명에 따른 이미지 변환 유닛의 실시예에서, 이미지 변환 유닛은 상기 제1 이미지의 상기 화소값들 중 상기 제1 화소값의 이웃에서 발견된 최소와 최대 화소값 내로 상기 제2 화소값을 제한시키는 클리핑 유닛을 포함한다. 특히 위에서 언급한 과장한 경우에, 변환은 오버슈트로 이어질 수도 있을 것이다. 인지적으로, 이것은 증대된 선명도 인상을 주게 되나, 이들 오버슈트들은 너무 강하지 않게 주의하여야 한다. 그러므로, "과장된 출력신호"는 공간상의 이웃에서 발견된 최소와 초대 화소값들 내에서 (소프트-) 클립된다. 다양한 옵션들이 여기서 존재한다. 최소값과 최대값은 입력 이미지, 즉 제1 이미지로부터, 혹은 출력 이미지, 즉 제2 이미지로부터 도출될 수 있다.
본 발명의 다른 목적은 주관적인 면에서 최적인 이미지들을 제공하게 구성되는 서두에 기술한 종류의 이미지 처리 장치를 제공하는 것이다.
발명의 이 목적은 이미지 변환 유닛이 계수 결정수단을 제어하는 제어수단을 또한 포함하는 것에 의해 달성된다. 이미지 처리장치는 선택적으로, 제2 이미지를 표시하는 디스플레이 디바이스를 포함한다. 이미지 처리장치는 예를 들면 TV, 셋탑 박스, 위상-튜너, VCR(비디오 카세트 레코더) 플레이어 혹은 DVD(디지털 다기능 디스크) 플레이어일 수도 있을 것이다.
본 발명의 따른 목적은 주관적인 면에서 최적인 이미지들을 제공하는, 서두에 기술한 종류의 방법을 제공하는 것이다.
발명의 이 목적은 방법이 제1 필터계수의 결정의 제어를 또한 포함하는 것에 의해 달성된다.
발명의 다른 목적은 주관적인 면에서 최적인 이미지들을 제공하는, 서두에 기술한 종류의 컴퓨터 프로그램 제품을 제공하는 것이다.
발명의 이 목적은 컴퓨터 프로그램 제품이, 로딩된 후에, 다음을 수행하는 능력을 처리수단에 제공하는 것에 의해 달성된다.
상기 제1 이미지의 일 그룹의 화소들의 화소값들에 기초하여 제1 필터계수를 결정하는 단계;
상기 제1 이미지의 상기 화소값들 중 제1 화소값과 상기 제1 필터계수에 기초하여 상기 제2 이미지의 제2 화소값을 계산하는 단계;
상기 제1 필터계수의 결정의 제어.
이미지 변환 유닛의 수정 및 이들의 변형들은 기술된 이미지 처리장치, 방법 및 컴퓨터 프로그램 제품의 수정 및 이들의 변형에 대응할 수 있다.
본 발명에 따른, 이미지 변환 유닛, 이미지 처리장치, 방법 및 컴퓨터 프로그램 제품의 이들 및 그 외 다른 면들은 이하 기술하는 구현 및 실시예들로부터 명백하게 될 것이며 첨부한 도면을 참조로 설명한다.
동일 참조부호는 도면에서 동일 구성요소를 지칭하는데 사용한다.
도 1a는 종래 기술에 따른 이미지 변환 유닛(100)의 실시예를 개략적으로 도시한 것이다. 이미지 변환 유닛(100)에는 입력 연결기(108)에 표준 화질(SD) 이미지들이 제공되고, 이 입력 연결기(108)는 출력 연결기(110)에서 고화질(HD) 이미지들을 제공한다. 이미지 변환 유닛(100)은 다음을 포함한다.
- HD 출력 화소의 위치에 상응하는 SD 입력 이미지들 중 제1 이미지 내 특정의 한 위치의 제1 이웃에 있는 화소들(1-4)(도 1b 참조)의 제1 세트의 화소값들을 획득하도록 구성되고 SD 입력 이미지들 중 제1 이미지 내의 그 특정 위치의 제2 이웃 내 화소들(1-16)의 제2 세트의 화소값들을 획득하도록 구성되는 화소 획득유닛(102);
- 상기 제1 세트의 화소값들 및 상기 제2 세트의 화소값들에 기초하여 필터 계수들을 계산하게 구성되는 필터 계수 결정유닛(106). 즉, 필터 계수들은 로컬 윈도우 내의 SD 입력 이미지로부터 근사화된다. 이것은 도 1b에 관련하여 설명하는 최소 평균 제곱(LMS) 방법을 사용함으로써 행해진다.
- 식(1)에 표시한 바와 같이 제1 세트의 화소값과 필터계수들에 기초하여 HD 출력화소의 화소값을 계산하는 적응형 필터링 유닛(104). 따라서, 필터 계수 결정유닛(106)은 적응형 필터링 유닛(104)을 제어하게 구성된다.
적응형 필터링 유닛(104)은 식(1)에 표시한 4차 보간 알고리즘을 사용한다.
여기서 FHD(i,j)는 HD 출력화소들의 휘도값들을 나타내며, FSD(i,j)는 입력화소들의 휘도값들을 나타내고 we(i)는 필터계수들을 나타낸다.
도 1b는 종래 기술에 따른 방법을 설명하기 위해서, SD 입력 이미지의 다수의 화소들(1-16)과 HD 출력 이미지의 하나의 HD 화소를 개략적으로 도시한 것이다. HD 출력화소는 화소들(1-4)의 4개의 화소값들의 가중치 부여된 평균으로서 보간된다. 이것은 HD 출력화소의 휘도값 FHD이 이의 4개의 SD 이웃 화소들의 휘도값들의 가중화한 합으로서 됨을 의미한다.
여기서 FSD(1) 내지 FSD(4)는 4개의 SD 입력화소들(1-4)의 화소값들이고 we(1) 내지 we(4)는 LMS 방법에 의해 계산될 필터계수들이다. 종래 기술 방법을 기술한 인용한 논문의 저자들은 에지 방위가 스케일링에 따라 변하지 않는다는 적합한 가정을 하고 있다. 이러한 가정의 결론은 표준 해상도 격자 상에서 최적 필터 계수들이, 보간한 것들과 동일하다는 것이다.
- 5, 7, 11, 4로부터의 화소 1(이것은 화소 1이 이의 4개의 이웃들로부터 도출될 수 있음을 의미한다).
- 6, 8, 3, 12로부터의 화소 2
- 9, 2, 13, 15로부터의 화소 3
- 1, 10,14, 16로부터의 화소 4
이것은 한 세트의 4개의 선형 방정식을 제공하는데, 이로부터, LSM-최적화에 의해, HD 출력화소를 보간하기 위한 최적 4개 필터 계수들이 발견된다.
4개의 가중치들을 계산하는데 사용되는 것인, SD-격자 상의 화소 집합을 M으로 표기하면, 최적화에서 집합 M에 대한 평균 제곱 에러(MSE)는 원 SD-화소들(FSD)과 보간된 SD-화소들(FSl) 간의 제곱을 취한 차이들의 합으로서 나타낼 수 있다.
이것은 행렬 형태로 다음과 같이 된다.
여기서, 는 M 내의 SD-화소들을 포함하며(화소 FSD(1,1) 내지 FSD(1,4), FSD(2,1) 내지 FSD(2,4), FSD(3,1) 내지 FSD(3,4), FSD(4,1) 내지 FSD(4,4)), C는 k번째 행이 에 k번째 SD-화소들의 4개의 대각 SD-이웃들을 포함하는 4 x M2 행렬이다. 최소 MSE, 즉 LMS를 발견하기 위해서, 에 대한 MSE의 도출이 계산된다.
식(7)의 해를 구함으로써, 필터 계수들이 발견되고, 식(2)를 사용함으로써 HD 출력화소들의 화소값들이 계산될 수 있다.
이 예에서, 필터 계수들의 계산을 위해 4x4 화소들로 된 윈도우가 사용된다. 4x4 대신 큰 윈도우, 예를 들면 8x8에 대한 LSM 최적화는 더 나은 결과들을 제공한다.
도 1c는 종래 기술에 따른 이미지 변환 유닛(101)의 다른 실시예를 개략적으로 도시한 것이다. 필터 계수 결정유닛(106)은 압축유닛(107) 및 훈련 프로세스 동안 도출되는 데이터를 갖는 LUT(109)를 포함한다. 압축방식은 슬라이딩 윈도우 내 화소들 중 어느 것이 윈도우 내 화소들의 평균 휘도 값 이상인지와 윈도우 내 화소들 중 어느 것이 그 평균값 미만인지를 검출하는 것에 근거한다. 이것은 슬라이딩 윈도우의 매 위치마다 0들 및(평균 휘도값 미만의 화소값들) 및 1들(평균 휘도값 이상의 화소값들)로 된 패턴의 결과가 된다. 이 패턴은 LUT(109)의 엔트리에 대응한다. LUT(109)의 각각의 출력에서, 주어진 입력에 대해 적합한 필터 계수들이 제공된다. "Towards an overview of spatial up-conversion techniques", by Meng Zhao et al., in the Proceedings of the ISCE 2002, Erfurt, Germany, 23-26 September 2002의 논문에서, 종래 기술에 따른 이미지 변환 유닛(101)의 이 실시예를 더 설명한다.
도 2a는 본 발명에 따른 이미지 변환 유닛(200)의 실시예를 개략적으로 도시한 것이다. 이 이미지 변환 유닛(200)은 기본적으로, 각각 도 1a 및 도 1c에 관련하여 기술한 이미지 변환 유닛들(100, 101)과 동일한 유형의 구성요소들을 포함한다.
이들 구성요소들은 다음과 같다.
- 입력 이미지의 화소값들을 획득하게 구성된 화소 획득유닛(102).
- 획득된 화소값들에 기초하여 필터계수들을 계산하게 구성된 필터 계수결정 유닛(106); 및
- 획득된 화소값들에 기초하여 HD 출력화소들의 화소값들을 계산하기 위한 적응형 필터링 유닛(104).
종래 기술에 따른 이미지 변환 유닛(100-101)과 본 발명에 따른 이미지 변환 유닛(200) 간의 차이는 본 발명에 따른 이미지 변환 유닛(200)이 적용형 필터링 유닛(104)에 제공되는 필터계수들의 결정을 제어하는 제어수단(204-210)을 포함한다는 사실이다. 즉, 본 발명에 따른 이미지 변환 유닛(200)은 기지의 계수 결정유닛(106)을 포함하는 필터 계수 계산유닛(202)을 포함한다. 필터 계수 계산유닛(202)은 또한 다음을 포함한다.
- 계수 결정유닛(106)에 의해 계산되는 이미지 컨텐츠 의존성 필터 계수 we와 제어유닛(210)에 의해 제공되는 미리 결정된 필터 계수 wp 간에 차이 d를 계산하는 감산유닛(206)
- 제어유닛(210)에 의해 제공되는 이득율(g)로 상기 차이(d)를 곱함으로써 가중화된 차이(D)를 계산하는 곱셈기 유닛(208); 및
- 가중화된 차이(D)를 이미지 컨텐츠 의존성 필터계수(we)에 가산함으로써, 적응형 필터링 유닛(104)에 제공할, 최종의 필터계수(we)를 계산하는 가산유닛(204).
감산유닛(206)에 의해 수행되는 연산은 식(8)에 주어진다.
곱셈기 유닛(208)에 의해 수행되는 연산은 식(9)로 주어진다.
가산유닛(204)에 의해 수행되는 연산은 식(10)에 주어진다.
식들(8-10)을 결합함으로써, 최종의 필터계수(we)의 계산은 식(11)로 주어질 수 있다.
이것은 본 발명에 따른 실시예가 일 그룹의 화소들의 컨텐츠 적응형 업-변환을 위한 제1 파라미터들과 일 그룹의 화소들의 컨텐츠 적응형이 아닌 업-변환(선형)을 위한 제2 파라미터들간의 차이를 계산하게 구성됨을 의미한다. 일반적으로, 컨텐츠 적응형 업-변환에 의해서는 선명도가 증대되나 선형 업-변환에 의해서는 화소들의 추가될 뿐이다. 계산된 차이는 선명도 증대량을 제어하는데 적용된다. 차이 신호는 이득율로 곱해지고 제1 파라미터들에 가산된다. 이득에 따라, 미리 결정된 최적화 기준에 근거하여 컨텐츠 적응형 업-변환의 경우에 달성되는 것보다 낮은 혹은 높은 선명도 증대를 달성하는 것이 가능하다.
이미지 변환 유닛(200), 특히 필터 계수 계산유닛(202)의 영향을 다수의 예로서 설명한다. 정사각형 내에 4개의 SD 화소들이 배열되어 있다고 가정한다. 정사각형 중앙에 한 HD 화소의 값은 4개의 SD 화소들의 보간에 기초하여 계산되어야 한다. 선형 보간의 경우에 다음의 미리 결정된 필터계수들, 즉 wp(1)=¼; wp(2) = ¼; wp(3) = ¼; wp(4) = ¼이 적용될 수도 있을 것이다. 4개의 SD 화소들에 대해 필터 계수 결정유닛(106)이 다음의 이미지 컨텐츠 의존성 필터계수들을 결정한다고 가정한다. wc(1) =½; wc(2) = 0; wc(3) = ½; wc(4) = 0. 식(8)에 의해서, 다음의 차이들이 계산된다. d(i) = (½; 0; ½; 0)-(¼;¼;¼;¼)=(¼;-¼;¼;-¼). 식(10)에 의해서 그리고 단위 이득의 경우 다음의 필터계수들이 계산된다. we(i) = (¼;-¼;¼;-¼) + (½; 0; ½; 0) = (3/4; -¼;3/4; -¼). 이들 4개의 필터계수들은 적응형 필터링 유닛(104)에 제공되고, 이 유닛(104)에서는 식(2)에 표시된 바와 같이 HD 화소의 값을 계산한다.
이득(g) 및 미리 결정된 필터계수들(wp(i))은 제어유닛(210)에 의해 제공된다. 이 제어유닛(210)은 외부 인터페이스(212)를 구비하는데 이를 통해 사용자 입력 데이터가 받아들여진다. 이 제어유닛(210)은 사용자 입력 데이터를 이득(g)와 미리 결정된 필터계수들(wp(i))을 위한 적합한 한 세트의 값들로 바꾸도록 구성된다.
화소 획득유닛(102), 필터 계수 계산유닛(202), 제어유닛(210) 및 적응형 필터링 유닛(104)은 하나의 프로세서를 사용하여 구현될 수도 있다. 통상적으로, 이들 기능들은 소프트웨어 프로그램 제품의 제어 하에 수행된다. 실행시, 통상적으로 소프트웨어 프로그램 제품은 RAM과 같은 이 메모리에 로딩되어 이로부터 실행된다. 프로그램은 ROM, 하드 디스크 혹은 자기적 및/또는 광학 저장장치와 같은 백그라운드 메모리로부터 로딩될 수도 있고, 인터넷과 같은 네트워크를 통해 로딩될 수도 있다. 선택적으로, ASIC(application specific integrated circuit)는 개시된 기능을 제공한다.
도 2b는 본 발명에 따른 이미지 변환 유닛(201)의 대안적 실시예를 개략적으로 도시한 것이다. 이 실시예(201)와 도 2에 관련하여 기술된 실시예(200) 간의 차이는 가산유닛(204)이 가중화한 차이(D)를 미리 결정된 필터계수(wp)에 가산함으로써, 적응형 필터링 유닛(104)에 제공할 최종의 필터계수(we)를 계산하게 구성된다는 것이다. 이것은 가산유닛(204)에 의해 수행되는 연산이 식(12)에 의해 주어짐을 의미한다.
식들(8, 9, 12)을 결합함으로써, 이미지 변환 유닛(201)의 최종의 필터계수(we)의 계산은 식(13)에 의해 주어질 수 있다.
다른 대안적 실시예들이 가능함이 명백할 것이다. 예를 들면, 계수 결정유닛(106)에 의해 계산되는 이미지 컨텐츠 의존성 필터계수(we)와 제어유닛(210)에 의해 제공되는 미리 결정된 필터계수(wp) 간의 차이를 계산하는 감산유닛(206)은 식(8)에 표시된 것과는 반대로 연산할 수도 있을 것이다. 이것은 감산유닛(206)에 의해 수행되는 연산이 식(14)에 의해 주어짐을 의미한다.
이 경우 최종의 필터계수(we)에 대한 다음의 계산들이 적용가능하다.
혹은
SD 입력 이미지를 HD 출력 이미지로 변환하기 위해서 다수의 처리 단계들이 필요하다. 도 3a-3d로, 이들 처리단계들을 설명한다. 도 3a는 SD 입력 이미지를 개략적으로 도시한 것이고, 도 3d는 도 3a의 SD 입력 이미지로부터 도출된 HD 출력 이미지를 개략적으로 도시한 것이고 도 3b 및 도 3c는 중간 결과들을 개략적으로 도시한 것이다.
- 도 3a는 SD 입력 이미지를 개략적으로 도시한 것이다. 각각의 X-기호는 각각의 화소에 대응한다.
- 도 3b는 해상도를 늘리기 위해서 화소들을 추가한 도 3a의 SD 입력 이미지를 개략적으로 도시한 것이다. 추가된 화소들은 +- 기호로 표시하였다. 이들 추가한 화소들은 각각의 대각 이웃들의 보간에 의해 계산된다. 보간을 위한 필터계수들은 도 2a 혹은 도 2b에 관련하여 기술한 바와 같이 하여 결정된다.
- 도 3c는 45도 회전한 후에 도 3b의 이미지를 개략적으로 도시한 것이다. 도 3a에 기초하여 도 3b에 도시된 바와 같이 이미지를 계산하기 위해 적용되는 것과 동일한 이미지 변환 유닛(200)은 도 3b에 도시된 이미지에 기초하여 도 3d에 도시된 이미지를 계산하는데 사용될 수 있다. 이것은 새로운 화소값들이 각각의 대각 이웃들의 보간에 의해 계산됨을 의미한다. 이들 대각 이웃들의 제1 부분(X-기호들로 표시된)은 SD 입력 이미지의 원 화소값들에 대응하고 이들 대각 이웃들의 제2 부분(+- 기호들로 표시된)은 보간에 의해 SD 입력 이미지의 원 화소값들로부터 도출된 화소값들에 대응하는 것에 유의한다.
- 도 3d는 최종의 HD 출력 이미지를 개략적으로 도시한 것이다. 마지막 변환단계에서 추가된 화소들은 o-기호들로 표시하였다.
도 4는 본 발명에 따른 이미지 처리장치(400)의 실시예를 개략적으로 도시한 것으로, 다음을 포함한다.
- SD 이미지들을 나타내는 신호를 수신하는 수신수단(402);
- 도 2a-도 2b 중 어느 것에 관련하여 기술된 이미지 변환 유닛(404);
- 이미지 변환 유닛(404)의 HD 출력 이미지들을 표시하는 디시플레이 디바이스(406). 이 디스플레이 디바이스(406)는 선택적이다.
신호는 안테나 혹은 케이블을 통해 수신되는 방송신호일 수도 있으나 VCR(비디오 카세트 레코더) 혹은 디지털 다기능 디스크(DVD)같은 저장 디바이스로부터의 신호일 수도 있다. 신호는 입력 연결기(408)에 제공된다. 이미지 처리장치(400)는 예를 들면 TV일 수도 있을 것이다. 아니면, 이미지 처리장치(400)는 선택적인 디스플레이 디바이스를 포함하지 않고, 디스플레이 디바이스(406)을 포함하는 장치에 HD 이미지들을 제공한다. 그러면, 이미지 처리장치(400)는 예를 들면 셋탑 박스, 위상-튜너, VCR 플레이어 혹은 DVD 플레이어일 수도 있을 것이다. 그러나, 영화 스튜디오 혹은 방송국에 의해 적용되는 시스템일 수도 있을 것이다.
전술한 실시예들은 본 발명을 한정하기보다는 예시하는 것이고, 당업자들은 첨부한 청구항들의 범위 내에서 다른 실시예들을 설계할 수 있는 것에 유의한다. 청구항들에서, 괄호 내의 참조부호는 청구범위를 한정하는 것으로서 해석되지 않을 것이다. '포함하다'라는 용어는 청구항에 나열되지 않은 구성요소들 혹은 단계들의 존재를 배제하지 않는다. 단수표시의 용어는 복수의 이러한 구성요소들의 존재를 배제하지 않는다. 본 발명은 몇몇의 구별되는 구성요소들을 포함하는 하드웨어 및 적합하게 프로그램된 컴퓨터에 의해 구현될 수 있다. 몇몇의 수단을 나열한 유닛에서, 이들 수단의 몇몇은 하나의 동일 하드웨어에 의해 실현될 수 있다.

Claims (13)

  1. 제1 해상도의 제1 이미지를, 상기 제1 해상도와는 다른 제2 해상도의 제2 이미지로 변환하는 이미지 변환 유닛(200)으로서,
    상기 제1 이미지의 화소들의 그룹의 화소값들에 기초하여 제1 필터계수를 결정하는 계수 결정수단(202); 및
    상기 제1 이미지의 상기 화소값들 중 제 1 화소값과 상기 제1 필터계수에 기초하여 상기 제2 이미지의 제2 화소값을 계산하는 적응형 필터링 수단(104)을 포함하는, 상기 이미지 변환 유닛(200)에 있어서,
    상기 이미지 변환 유닛(200)은 상기 제1 필터계수의 상기 결정을 제어하는 제어수단(204-210)을 포함하는 것을 특징으로 하는, 이미지 변환 유닛(200).
  2. 제1항에 있어서, 화소들의 상기 그룹의 상기 화소값에 기초한 제2 필터계수를 미리 결정된 필터 계수와 결합함으로써 상기 제1 필터계수를 계산하도록 배열되고, 상기 결합은 상기 제어수단(210)에 의해 제어되는 것을 특징으로 하는, 이미지 변환 유닛(200).
  3. 제2항에 있어서,
    상기 제2 필터계수와 상기 미리 결정된 필터계수간의 차이를 계산하는 제1 계산수단(206);
    상기 차이와 이득율을 곱함으로써 가중화된 차이(weighted difference)를 계산하는 제2 계산수단(208); 및
    상기 가중화된 차이에 기초하여 상기 제1 필터계수를 계산하는 제3 계산수단(204)을 포함하는 것을 특징으로 하는, 이미지 변환 유닛(200).
  4. 제3항에 있어서, 상기 제3 계산수단(204)은 상기 가중화된 차이를 상기 미리 결정된 필터계수에 가산함으로써 상기 제1 필터계수를 계산하도록 배열되는 것을 특징으로 하는, 이미지 변환 유닛(200).
  5. 제3항에 있어서, 상기 제3 계산수단(204)은 상기 가중화된 차이를 상기 제2 필터계수에 가산함으로써 상기 제1 필터계수를 계산하도록 배열되는 것을 특징으로 하는, 이미지 변환 유닛(200).
  6. 제1항에 있어서, 상기 계수 결정수단(202)은 화소들의 상기 그룹의 상기 화소값들로부터 도출한 데이터를 상기 제2 필터계수로 바꾸기 위해 미리 결정된 룩업 테이블(Look-Up-Table)을 포함하고, 상기 미리 결정된 룩업 테이블은 훈련 프로세스(training process)에 의해 얻어지는 것을 특징으로 하는, 이미지 변환 유닛(200).
  7. 제1항에 있어서, 상기 계수 결정수단(202)은 최적화 알고리즘에 의해 상기 제2 필터계수를 계산하도록 배열되는 것을 특징으로 하는, 이미지 변환 유닛(200).
  8. 제1항에 있어서, 상기 이미지 변환 유닛(200)은 상기 제1 이미지의 상기 화소값들 중 상기 제1 화소값의 이웃에서 발견된 최소 및 최대 화소값 사이로 상기 제2 화소값을 제한시키는 클리핑 유닛(clipping unit)을 포함하는 것을 특징으로 하는, 이미지 변환 유닛(200).
  9. 이미지 처리장치(400)에 있어서,
    제1 이미지에 대응하는 신호를 수신하는 수신수단(402); 및
    상기 제1 이미지를 제2 이미지로 변환하는 이미지 변환수단(200)으로서, 상기 이미지 변환수단(200)은 제1항에 청구된, 상기 이미지 변환수단(200)을 포함하는, 이미지 처리장치(400).
  10. 제9항에 있어서, 상기 제2 이미지를 디스플레이하는 디스플레이 디바이스(406)을 더 포함하는 것을 특징으로 하는, 이미지 처리장치(400).
  11. 제10항에 있어서, 상기 디스플레이 디바이스는 TV인 것을 특징으로 하는, 이미지 처리장치(400).
  12. 제1 해상도의 제1 이미지를, 상기 제1 해상도와는 다른 제2 해상도의 제2 이미지로 변환하는 방법으로서,
    상기 제1 이미지의 그룹의 화소값들에 기초하여 제1 필터계수를 결정하는 단계; 및
    상기 제1 이미지의 상기 화소값들 중 제1 화소값과 상기 제1 필터계수에 기초하여 상기 제2 이미지의 제2 화소값을 계산하는 단계를 포함하는, 이미지 변환 방법에 있어서, 상기 이미지 변환방법은 상기 제1 필터계수의 상기 결정의 제어를 포함하는 것을 특징으로 하는, 이미지 변환방법.
  13. 제1 해상도의 제1 이미지를, 상기 제1 해상도와는 다른 제2 해상도의 제2 이미지로 변환하는 명령을 포함하고, 처리 수단 및 메모리를 포함하는 컴퓨터 장치에 의해 로딩되는 컴퓨터 프로그램 제품에 있어서,
    로딩된 후에, 상기 처리수단에,
    상기 제1 이미지의 화소들의 그룹의 화소값들에 기초하여 제1 필터계수를 결정하고;
    상기 제1 이미지의 상기 화소값들 중 제1 화소값과 상기 제1 필터계수에 기초하여 상기 제2 이미지의 제2 화소값을 계산하고,
    상기 제1 필터계수의 상기 결정의 제어를 수행하는 능력을 제공하는, 컴퓨터 프로그램 제품.
KR1020057019220A 2003-04-10 2004-03-31 공간 이미지 변환 KR20050109625A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP03100978.0 2003-04-10
EP03100978 2003-04-10

Publications (1)

Publication Number Publication Date
KR20050109625A true KR20050109625A (ko) 2005-11-21

Family

ID=33155235

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057019220A KR20050109625A (ko) 2003-04-10 2004-03-31 공간 이미지 변환

Country Status (6)

Country Link
US (1) US20060181644A1 (ko)
EP (1) EP1616301A2 (ko)
JP (1) JP2006522977A (ko)
KR (1) KR20050109625A (ko)
CN (1) CN1771515A (ko)
WO (1) WO2004090813A2 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1771516A (zh) * 2003-04-10 2006-05-10 皇家飞利浦电子股份有限公司 空间图像变换
US8111791B2 (en) * 2005-12-20 2012-02-07 Sirf Technology, Inc. Differential evolution design of polyphase IIR decimation filters
WO2009147795A1 (ja) * 2008-06-05 2009-12-10 パナソニック株式会社 映像処理システム
US8885967B2 (en) * 2009-01-19 2014-11-11 Csr Technology Inc. Method and apparatus for content adaptive sharpness enhancement
US8503814B2 (en) * 2009-01-19 2013-08-06 Csr Technology Inc. Method and apparatus for spectrum estimation
US8542313B2 (en) * 2010-01-27 2013-09-24 Csr Technology Inc. Depth from defocus calibration
US8644697B1 (en) 2010-08-13 2014-02-04 Csr Technology Inc. Method for progressively determining depth from defocused images
CN103703771B (zh) * 2011-07-25 2017-05-10 索尼公司 用于生成3d立体视图的着色方法
US9501834B2 (en) 2011-08-18 2016-11-22 Qualcomm Technologies, Inc. Image capture for later refocusing or focus-manipulation
CN102270109B (zh) * 2011-08-23 2014-04-02 上海网达软件股份有限公司 不同分辨率的用户界面的自转换方法及自转换系统
CN104011668B (zh) * 2011-12-22 2017-03-22 英特尔公司 用于将源操作数映射到不同范围的系统、装置和方法
US8896747B2 (en) 2012-11-13 2014-11-25 Qualcomm Technologies, Inc. Depth estimation based on interpolation of inverse focus statistics
US10237528B2 (en) 2013-03-14 2019-03-19 Qualcomm Incorporated System and method for real time 2D to 3D conversion of a video in a digital camera
CN104574343B (zh) 2013-10-16 2017-11-17 华为技术有限公司 一种视频中提取图像的方法及设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5019904A (en) * 1989-12-04 1991-05-28 Campbell Jack J Scan converter with adaptive vertical filter for single bit computer graphics systems
JP3106749B2 (ja) * 1992-12-10 2000-11-06 ソニー株式会社 適応型ダイナミックレンジ符号化装置
US5363209A (en) * 1993-11-05 1994-11-08 Xerox Corporation Image-dependent sharpness enhancement
JP4093621B2 (ja) * 1997-12-25 2008-06-04 ソニー株式会社 画像変換装置および画像変換方法、並びに学習装置および学習方法
US6369787B1 (en) * 2000-01-27 2002-04-09 Myson Technology, Inc. Method and apparatus for interpolating a digital image

Also Published As

Publication number Publication date
JP2006522977A (ja) 2006-10-05
WO2004090813A2 (en) 2004-10-21
WO2004090813A3 (en) 2005-01-20
EP1616301A2 (en) 2006-01-18
CN1771515A (zh) 2006-05-10
US20060181644A1 (en) 2006-08-17

Similar Documents

Publication Publication Date Title
US7483040B2 (en) Information processing apparatus, information processing method, recording medium, and program
JP5243833B2 (ja) 画像信号処理回路、画像表示装置、および画像信号処理方法
US20100278423A1 (en) Methods and systems for contrast enhancement
US8625893B2 (en) Image processing device and image processing method
KR20050109625A (ko) 공간 이미지 변환
KR20050059251A (ko) 이미지 변환을 위한 유닛 및 방법
US7623738B2 (en) Method, apparatus and a unit for image conversion
US20070116383A1 (en) Spatial signal conversion
EP1540593B1 (en) Method for image scaling
US10771755B2 (en) Image processing apparatus, image processing method, and program
US20070258653A1 (en) Unit for and Method of Image Conversion
Hentschel et al. Scalable algorithms for media processing
KR101098300B1 (ko) 공간 신호 변환
JP2006523409A (ja) 空間画像変換装置及び方法
JP5603414B2 (ja) ファロー構造に基づくコンテンツ適応スケーラ
EP1547378A1 (en) A unit for and method of image conversion

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid