KR20050085728A - 이미지 스케일링 - Google Patents

이미지 스케일링 Download PDF

Info

Publication number
KR20050085728A
KR20050085728A KR1020057011241A KR20057011241A KR20050085728A KR 20050085728 A KR20050085728 A KR 20050085728A KR 1020057011241 A KR1020057011241 A KR 1020057011241A KR 20057011241 A KR20057011241 A KR 20057011241A KR 20050085728 A KR20050085728 A KR 20050085728A
Authority
KR
South Korea
Prior art keywords
image
coefficients
resolution
kernel
convolution
Prior art date
Application number
KR1020057011241A
Other languages
English (en)
Inventor
크리스챤 헨츠첼
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20050085728A publication Critical patent/KR20050085728A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403—Edge-driven scaling; Edge-based scaling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

제 1 해상도를 갖는 제 1 이미지(102)를 제 2 해상도를 갖는 제 2 이미지(106)로 변환하기 위한 방법으로서, 상기 제 1 해상도는 상기 제 2 해상도와 다른, 상기 방법은, 픽셀값 삽입, 및 0 이 아닌 복수의 계수들을 포함하는 분리 불가능 다차원 커널에 기초한 컨볼루션으로서, 상기 복수의 계수들의 제 1 부분은 상기 분리 불가능 다차원 커널을 통해 제 1 대각선 상에 배열되며, 상기 복수의 계수들의 제 2 부분은 상기 분리 불가능 다차원 커널을 통해 제 2 대각선 상에 배열되며, 상기 제 2 대각선은 상기 제 1 대각선에 수직인, 상기 컨볼루션을 포함한다. 상기 제 1 이미지 내의 45 도의 대각 에지는 동위 원소 스케일의 경우에 보존된다. 즉, 제 1 이미지 내 에지 상의 픽셀값이 서로 동일하면, 그때 제 2 이미지 내 에지 상의 픽셀값들 또한 서로 동일하다. 선택적으로, 상기 방법은 서브-샘플링을 포함한다.

Description

이미지 스케일링{Image scaling}
본 발명은 제 1 해상도를 갖는 제 1 이미지를 제 2 해상도를 갖는 제 2 이미지로 변환하는 방법에 관한 것이며, 제 1 해상도는 제 2 해상도와 다르다.
본 발명은 또한 제 1 해상도를 갖는 제 1 이미지를 제 2 해상도를 갖는 제 2 이미지로 변환하기 위한 이미지 변환 유닛에 관한 것이며, 제 1 해상도는 제 2 해상도와 다르다.
본 발명은 또한, 제 1 해상도를 갖는 제 1 이미지를 제 2 해상도를 갖는 제 2 이미지로 변환하는 명령들을 포함하고 컴퓨터 장치에 의해 로딩되는 컴퓨터 프로그램 제품에 관한 것이며, 제 1 해상도는 제 2 해상도와 다르다.
많은 비디오 및 멀티미디어 애플리케이션들에서, 출력 이미지들의 품질을 보존하면서, 이미지 크기들을 적응시키는 것이 필요하다. 적응은 해상도의 증가 또는 감소를 의미할 수 있다. 예를 들면, 낮은 해상도 화상이 높은 해상도 디스플레이 디바이스 상에 디스플레이되어야 하는 경우에 해상도를 증가시키는 것이 요구된다. 출력 이미지에 적용되는 픽셀의 단순한 업-변환(up-conversion) 방법 및 라인 반복은 보기 좋지 않는데, 즉, 들쭉날쭉한 라인들 및 블록-구조들이 관찰될 수 있다. 선택적으로, 들쭉날쭉 및 블록-구조들의 가시도(visibility)를 감소시키기 위해 저대역 통과 필터가 사전 프로세싱 기능으로서 적용된다. 이러한 저대역 통과 필터링의 단점은 이미지 세부 항목들이 흐리다는 것이다.
서두에 설명된 종류의 방법의 실시예는 특허 출원 제 WO 99/56247 호에 공지되어 있다. 이러한 특허 출원은, 삽입된 라인들이 원래 픽셀들 내의 라인들 자체를 가로지르는 그리드를 획득하도록 수평 및 수직 방향들을 따라 픽셀들의 삽입을 포함하는 이미지 삽입 방법을 개시한다. 제 2 단계에서, 삽입되 이미지들을 획득하기 위해 그리드에 의해 스퀘어들(squares)을 채우도록 그리드에 의해 행들 및 열들 간에 픽셀들이 삽입된다. 이러한 방법의 단점은 상대적으로 복잡하다는 것이다.
도 1은 2 의 인수를 갖는 수평 및 수직 해상도의 증가를 위한 본 발명에 따른 방법의 제 1 실시예를 개략적으로 도시한 도면.
도 2은 2 의 인수를 갖는 수평 및 수직 해상도의 증가를 위한 본 발명에 따른 방법의 제 2 실시예를 개략적으로 도시한 도면.
도 3은 본 발명에 따른 이미지 변환 유닛의 실시예를 개략적으로 도시한 도면.
도 4는 1 및 1/2의 인수를 갖는 수평 및 수직 해상도의 증가를 위한 본 발명에 따른 방법을 개략적으로 도시한 도면.
도 5는 본 발명에 따른 이미지 프로세싱 장치의 실시예를 개략적으로 도시한 도면.
본 발명의 목적은 상대적으로 쉬운 서두에 설명된 종류의 방법을 제공하는 것이다.
본 발명의 목적은,
픽셀값 삽입, 및
0 인 복수의 계수들을 포함하는 분리 불가능 다차원 커널(non-separable multi-dimensional kernel)에 기초한 컨볼루션(convolution)으로서, 상기 복수의 계수들의 제 1 부분은 상기 분리 불가능 다차원 커널을 통해 제 1 대각선 상에 배열되며, 상기 복수의 계수들의 제 2 부분은 상기 분리 불가능 다차원 커널을 통해 제 2 대각선 상에 배열되며, 상기 제 2 대각선은 상기 제 1 대각선에 수직인, 상기 컨볼루션을 포함하는, 이미지 변환 방법으로 성취된다. 본 발명의 중요한 특징은 컨볼루션 커널의 계수들의 선택이다. 분리 불가능 다차원 커널의 계수들의 선택은 픽셀 삽입에 관련된다. 분리 불가능 다차원 커널은 수평 및 수직 방향 모두에서 대칭이다.
본 발명에 다른 방법은, 제 1 이미지 내의 45 도의 대각 에지가 동위 원소 스케일링(iso-trope scaling)의 경우에 보존된다. 도 1 을 보라. 제 1 이미지는 제 1 및 제 2 영역을 포함하는 것으로 가정한다. 제 1 및 제 2 영역 간의 보더(border)는 제 1 이미지의 행들 및 열들에 대하여 45 도의 각도를 갖는다. 제 1 영역의 픽셀값들은 서로 동일하며 제 2 영역의 픽셀값들은 서로 동일하다. 즉, 제 1 및 제 2 영역들 간의 에지 상에 픽셀값들은 서로 동일하다. 이러한 제 1 이미지가 제 2 이미지로 변환되면, 2의 인수의 수평 및 수직 해상도의 증가로, 본 발명에 따른 방법에 기초하여, 그때, 제 1 및 제 2 영역 간의 에지 상의 픽셀값들은 또한 서로 동일하다.
본 발명에 따른 방법의 실시예에서, 픽셀값 삽입은 제 1 이미지의 픽셀값들의 복제를 포함한다. 제 1 이미지의 픽셀값들의 복제는 수평 방향, 수직 방향 또는 수직 및 수평 방향 모두일 수 있다. 픽셀값의 복제는 방향들 중 한 방향으로 한번 또는 방향들 중 한 방향으로 여러번일 수 있다.
예를 들면, 2 의 인수의 수평 및 수직 해상도 모두의 증가가 요구되는 경우에, 입력 픽셀마다 수직 방향의 픽셀 복제가 수행되고, 중간 이미지의 라인 마다 라인 반복이 수행된다. 이후, 계수들에 의해 표시된 분리 불가능 다차원 커널로 컨볼루션이 수행된다.
, c 는 0 이 아니며, 예를 들면, c=1.
픽셀 복제 및 라인 반복의 순서는 다를 수 있다는 것은 분명할 것이다.
예를 들면, 3 의 인수의 수평 및 수직 해상도 모두의 증가가 요구되는 경우에, 입력 픽셀마다 수평 방향의 픽셀 복제가 두번 및 중간 이미지의 라인 마다 라인 반복이 두번 수행된다. 이후, 계수들에 의해 표시된 분리 불가능 다차원 커널로 컨볼루션이 수행된다.
, c는 0 이 아니며, 예를 들면, c=1.
본 발명에 따른 방법의 다른 실시예에서, 픽셀값 삽입은 0 값을 갖는 픽셀들의 삽입을 포함하며, 제 3 커널을 갖는 분리 불가능 다차원 커널의 컨볼루션에 기초한 제 2 커널로 컨볼루션이 수행된다. 예를 들면, 2 의 인수의 수평 및 수직 해상도 모두의 증가가 요구되는 경우에, 입력 픽셀들 각각에 대하여 0 인 세 개의 픽셀값이 삽입된다. 이후, 계수들에 의해 표시된 분리 불가능 다차원 커널로 컨볼루션이 수행된다.
, e=2d, 예를 들면, d=1 및 c=2.
본 발명에 따른 이러한 실시예의 결과는 픽셀 복제를 포함하는 실시예의 결과와 동일하다는 것은 분명해질 것이다.
본 발명에 따른 방법의 다른 실시예는 서브-샘플링을 포함한다. 이러한 실시예에서, 스케일링은 정수가 아닌 인수, 예를 들면, 1.5 또는 0.25 또는 0.66으로 성취될 수 있다.
본 발명의 다른 목적은 상대적으로 쉬운 서두에 설명된 종류의 이미지 변환 유닛을 제공하는 것이다.
본 발명의 목적은,
픽셀값들을 삽입하기 위한 픽셀값 삽입 유닛, 및
0 인 복수의 계수들을 포함하는 분리 불가능 다차원 커널에 기초한 컨볼루션을 위한 컨볼루션 유닛으로서, 상기 복수의 계수들의 제 1 부분은 상기 분리 불가능 다차원 커널을 통해 제 1 대각선 상에 배열되며, 상기 복수의 계수들의 제 2 부분은 상기 분리 불가능 다차원 커널을 통해 제 2 대각선 상에 배열되며, 상기 제 2 대각선은 상기 제 1 대각선에 수직인, 상기 컨볼루션 유닛을 포함하는, 이미지 변환 유닛으로 성취된다.
본 발명의 다른 목적은 상대적으로 쉬운 서두에 설명된 종류의 이미지 변환 유닛을 포함하는 이미지 프로세싱 장치를 제공하는 것이다.
본 발명의 목적은,
픽셀값들을 삽입하기 위한 픽셀값 삽입 유닛, 및
0 인 복수의 계수들을 포함하는 분리 불가능 다차원 커널에 기초한 컨볼루션을 위한 컨볼루션 유닛으로서, 상기 복수의 계수들의 제 1 부분은 상기 분리 불가능 다차원 커널을 통해 제 1 대각선 상에 배열되며, 상기 복수의 계수들의 제 2 부분은 상기 분리 불가능 다차원 커널을 통해 제 2 대각선 상에 배열되며, 상기 제 2 대각선은 상기 제 1 대각선에 수직인, 상기 컨볼루션 유닛을 포함하는, 이미지 변환 유닛으로 성취된다. 이미지 프로세싱 장치는 제 2 이미지를 디스플레이하기 위한 디스플레이 디바이스를 선택적으로 포함한다. 이미지 프로세싱 장치는, 예를 들면, TV, 셋탑 박스, VCR(Video Cassette Recorder) 플레이어, 위성 동조기, DVD(Digital Versatile Disk) 플레이어 또는 레코더일 수 있다.
본 발명의 다른 목적은 상대적으로 쉬운 서두에 설명된 종류의 컴퓨터 프로그램 제품을 제공하는 것이다.
이러한 목적은,
픽셀값 삽입, 및
0 이 아닌 복수의 계수들을 포함하는 분리 불가능 다차원 커널에 기초한 컨볼루션으로서, 상기 복수의 계수들의 제 1 부분은 상기 분리 불가능 다차원 커널을 통해 제 1 대각선 상에 배열되며, 상기 복수의 계수들의 제 2 부분은 상기 분리 불가능 다차원 커널을 통해 제 2 대각선 상에 배열되며, 상기 제 2 대각선은 상기 제 1 대각선에 수직인, 로딩된 후에, 상기 컨볼루션을 수행하는 능력을 상기 프로세싱 수단에 제공하는, 컴퓨터 프로그램 제품으로 성취된다. 방법의 수정들 및 그의 변경들은 설명된 이미지 변환 유닛의 수정들 및 그의 변동들에 대응할 수 있다.
본 발명에 따른 방법, 이미지 변환 유닛, 이미지 프로세싱 장치 및 컴퓨터 프로그램 제품의 이들 및 다른 특징들은 첨부한 도면들을 참조하여 이후에 설명되는 구현들 및 실시예들로부터 명백해질 것이며, 명료해질 것이다.
동일한 참조 번호들은 도면 전체에서 동일한 부분들을 표시하는데 사용된다.
도 1은 2 의 인수를 갖는 수평 및 수직 해상도의 증가를 위한 본 발명에 따른 방법의 제 1 실시예를 개략적으로 도시한다. 본 발명에 따른 방법은, 입력 이미지(102)의 45 도의 대각 에지(113)가 보존되는 것이다. 입력 이미지는 제 1 영역(108) 및 제 2 영역(110)을 포함한다. 정사각 픽셀들을 가정할 때, 그때 제 1 영역(108) 및 제 2 영역(110) 간의 보더는 제 1 이미지의 행들 및 열들에 대하여 45 도의 각도를 갖는다. 제 1 영역의 픽셀값들은 서로 동일하다. 그들의 값은 100이다. 제 2 영역(110)의 픽셀 값들은 또한 서로 동일하다. 그들의 값은 0이다. 즉, 제 1 영역(108) 및 제 2 영역(110) 간의 에지(112)를 따른 픽셀값들은 서로 동일하며, 즉, 이들 값은 모두 100이며, 제 1 영역(108) 및 제 2 영역(110) 간의 에지(114)를 따른 픽셀값들은 서로 동일하며, 즉, 이들 값들은 모두 0이다. 변환은 두 단계들을 포함한다.
첫번째, 입력 이미지(102)는 수학식 1에 표시된 바와 같이 샘플-및-홀드 필터에 의해 확장된다.
R(2,2) 샘플-및-홀드 필터는, 복제 및 반복에 의해, 2 의 인수에 의해 수평 및 수직 해상도를 증가시키도록 배열된다. 결과적인 중간 이미지(104)는 블록-구조들을 포함한다. 중간 이미지(104) 내의 제 1 및 제 2 영역(116) 간의 에지(118)의 픽셀값들은 서로 동일하지 않다. 이들 값들은 교대로 100 및 0 이다.
두번째, 중간 이미지(104)는, 수학식 2에 표시된 바와 같이 분리 불가능 다차원 커널 로 컨볼루션된다.
이러한 분리 불가능 다차원 커널 은 0 및 0이 아닌 계수들의 체커-보드 패턴(checker-board pattern)을 갖는다. 분리 불가능 다차원 커널 이 샘플-및-홀드 필터 I(2,2)의 동일한 계수들을 포함하는 것을 볼 수 있지만, 45 도 회전된다.
출력 이미지(106) 내의 제 1 영역(120) 및 제 2 영역(122) 간의 에지(128) 상의 픽셀값들은 50 으로 서로 동일한다. 또한 에지(128)와 평행인, 라인들(124-126) 및 (130-132) 각각의 픽셀값은 각각 100,75,25 및 0 으로 서로 동일한다.
도 2는 2 의 인수를 갖는 수평 및 수직 해상도의 증가를 위해 본 발명에 따른 방법의 제 2 실시예를 간략하게 도시한다. 다시 변환은 두 단계들을 포함한다.
첫번째, 입력 이미지(102)는, 수학식 3에 표시된 바와 같이 0 값을 갖는 픽셀들의 삽입에 의해 확장된다.
수학식 3은 I(2,2) 삽입 동작을 갖는다. 결과적인 중간 이미지(133)는 블록-구조들을 포함한다. 영역(138)의 픽셀값들은 서로 동일하지 않다. 이들 값은 교대로 100 및 0 이다.
두번째, 중간 이미지(133)는 수학식 4에 표시된 커널 로 컨볼루션된다.
출력 이미지(106) 내의 제 1 영역(120) 및 제 2 영역(122) 간의 에지(128) 상의 픽셀값들은 50 으로 서로 동일하다. 또한 에지(128)와 평행인, 라인들(124-126) 및 (130-132) 각각의 픽셀값은 각각 100,75,25 및 0 으로 서로 동일한다.
도 1에 관하여 예시된 방법 및 도 2에 관하여 예시된 방법은 동일한 결과를 제공한다. 이것은 또한 수학식 5 및 6으로 증명된다.
다른 스케일링 인수들에서 등식이 성립한다는 것이 분명해질 것이다.
도 3은 본 발명에 따른 이미지 변환 유닛(300)의 실시예를 개략적으로 도시하며, 상기 변환 유닛은, 픽셀값들의 삽입에 의해, 입력 이미지, 즉, 픽셀 행렬을 확장하도록 배열된 픽셀 삽입 유닛(302)을 포함한다. 확장의 결과는 중간 이미지이다. 삽입된 픽셀값들은 도 1에 관하여 설명된 바와 같이 픽셀 행렬의 픽셀값들에 기초할 수 있다. 이러한 경우, 픽셀 삽입 유닛(302)은 샘플-및-홀드 필터이다. 또한 삽입된 픽셀값은 도 2에 관하여 설명된 바와 같이 0 이다. 또한, 픽셀 삽입 유닛(302)은 수평 방향의 입력 이미지의 원래 픽셀마다 다수의 제 1 픽셀값들을 삽입하고, 수직 방향의 입력 이미지의 원래 픽셀마다 다수의 제 2 픽셀값들을 삽입하며, 상기 제 2 픽셀값은 제 2 픽셀값과 다르다. 이것은, 예를 들면, 수평 방향의 2 의 인수 및 수직 방향의 4 의 인수를 갖는 것과 같이, 선택적으로 수평 방향 및 수직 방향의 확장이 서로 다르다는 것을 의미한다. 또한, 두 개의 방향들 중 한 방향으로만 확장될 수 있다. 예를 들면, 수직 방향만의 확장에 의해, 단순한 타입의 디-인터레이싱(de-interlacing)이 성취될 수 있다. 순수 데시메이션(pure decimation)의 경우, 픽셀 삽입 유닛(302)은 쓸모없을 수 있으며 스킵될 수 있다.
0 인 복수의 계수들을 포함하는 분리 불가능 다차원 커널에 기초한 컨볼루션을 위한 컨볼루션 필터(304)로서, 상기 복수의 계수들의 제 1 부분은 상기 분리 불가능 다차원 커널을 통해 제 1 대각선 상에 배열되며, 상기 복수의 계수들의 제 2 부분은 상기 분리 불가능 다차원 커널을 통해 제 2 대각선 상에 배열되며, 상기 제 2 대각선은 상기 제 1 대각선에 수직인, 상기 컨볼루션 필터. 컨볼루션은, 예를 들면, 수학식 2 또는 수학식 4에 표시된 것과 같다.
컨볼루션 필터(304)의 출력의 픽셀들의 일부를 선택하기 위한 서브-샘플링 유닛(306). 이러한 서브-샘플링 유닛(306)은 선택적이다. 서브-샘플링 유닛(306)은, 예를 들면, 2 의 인수로 서브-샘플링하기 위한 모든 제 2 픽셀 또는 3 의 인수로 서브-샘플링하기 위한 모든 제 3 픽셀들과 같은 등거리로 배열된 픽셀들을 선택하도록 배열된다. 이미지 변환 유닛(300)에 입력 커넥터(308)에서 입력 이미지가 제공되며, 출력 커넥터(310)에서 출력 이미지를 제공한다.
픽셀 삽입 유닛(302), 컨볼루션 필터(304) 및 서브-샘플링 유닛(306)은 하나의 프로세서를 사용하여 구현될 수 있다. 일반적으로, 이들 기능들은 소프트웨어 프로그램 제품의 제어 하에서 수행된다. 실행 동안, 일반적으로 소프트웨어 프로그램 제품은 RAM과 같은 메모리에서 로딩되며, 그로부터 실행된다. 프로그램은 ROM, 하드 디스크 또는 자기적 및/또는 광학 저장과 같은 배경 메모리로부터 로딩될 수 있거나, 인터넷과 같은 네트워크를 통해 로딩될 수 있다. 선택적으로 특별 용도 집적 회로는 개시된 기능성을 제공한다.
입력 이미지의 해상도는 출력 이미지의 해상도보다 낮아질 수 있다. 이러한 경우, 스케일링 인수는 1 이상이다. 또한 입력 이미지의 해상도는 출력 이미지의 해상도보다 높을 수 있다. 이러한 경우, 스케일링 인수는 1 이하이다. 해상도는 수직 성분 및 수평 성분을 포함한다. 상기와 같이, 수직 성분의 적응은 수평 성분의 적응과 다를 수 있다.
상술된 바와 같이, 픽셀 삽입 유닛(302), 컨볼루션 필터(304) 및 서브 샘플링 유닛(306)은 고정되지 않지만 제어 가능하다. 그러나 픽셀 삽입 유닛(302), 컨볼루션 필터(304) 및 서브 샘플링 유닛(306)의 파라미터들은 상호 의존한다. 즉, 예를 들면, 삽입된 픽셀들의 수는 적용된 분리 불가능 다차원 커널에 관련된다. 선택된 픽셀들의 수는 또한 분리 불가능 다차원 커널과의 컨볼루션에 관련된다.
이하의 일부 예들은 삽입된 픽셀들의 수, 즉, 업-스케일링 인수와의 관련을 예시하기 위해 컨볼루션 커널들이 주어진다.
2 의 인수를 갖는 스케일링에서, 분리 불가능 다차원 커널 은 수학식 2에 표시된다.
또한, 적용된 분리 불가능 다차원 커널 은 수학식 7에 표시된다.
3 의 인수를 갖는 스케일링에서, 샘플-및-홀드 필터는 수학식 8에 표시된다.
분리 불가능 다차원 커널 은 수학식 9에 표시된다.
또한, 픽셀 삽입 유닛(302) 및 컨볼루션 필터 유닛(304)을 결합하여, (중간) 이미지는 수학식 10에 표시된 커널 로 컨볼루션된다.
4 의 인수를 갖는 스케일링에서, 적용된 분리 불가능 다차원 커널 은 수학식 11에 표시된다.
서브 샘플링하기 위해 선택된 픽셀들의 수는 또한 분리 불가능 다차원 커널을 갖는 컨볼루션에 관련된다. 표 1에서, 선택된 픽셀들의 수, 즉, 서브-샘플링 인수 N와의 관계를 예시하기 위해 적용된 컨볼루션 커널들의 일부 예들이 주어진다. 제 1 열에서, 업-스케일링 인수 M의 값들이 리스팅된다. 적용된 컨볼루션 커널 Ki이 제 2 열에 리스팅된다. 제 3 열에서, 서브-샘플링 인수 N의 값들이 리스팅된다. 제 4 열에서, 결과적인 스케일링 인수 가 리스팅된다.
컨볼루션 커널의 선택
표 1에서 볼 수 있듯이, 적용된 커널 Ki은 업-스케일링 인수 M 및 서브-샘플링 인수 N 모두에 의존한다. 이러한 관계는 수학식 12에 표시된다.
도 4는 1 및 1/2의 인수를 갖는 수평 및 수직 해상도의 증가를 위한 본 발명에 따른 방법을 개략적으로 도시한다. 입력 이미지(402)는 다수의 픽셀들(408-424)을 포함한다. 픽셀값들의 삽입에 의해, 이미지(403)가 성취된다. 이러한 경우, 픽셀들(408a-408h)의 값들은 픽셀(408)의 값과 동일하며, 픽셀들(410a-410h)의 값들은 픽셀(410)의 값과 동일하다. 컨볼루션 후에, 서브-샘플링이 수행되어 출력 이미지(404)를 초래한다. 도시된 바와 같이, 출력 이미지(404)는 픽셀들 중 일부 선택에 기초한다. 이것은 컨볼루션된 이미지의 다수의 픽셀들이 스킵된다는 것을 의미한다.
도 5는 본 발명에 따른 이미지 프로세싱 장치(500)의 실시예를 개략적으로 도시하며, 이미지 프로세싱 장치는,
입력 이미지들을 나타내는 신호를 수신하기 위한 수신 수단(502)으로서, 상기 신호는 안테나 또는 케이블을 통해 수신된 방송 신호일 수 있지만, 또한 VCR(비디오 카세트 기록기) 또는 디지털 비디오 디스크(DVD)와 같은 저장 디바이스로부터의 신호일 수 있으며, 상기 신호는 입력 커넥터(510)에서 제공되는, 상기 수신 수단,
도 3에 관하여 설명된 이미지 변환 유닛(300)으로서, 상기 이미지 변환 유닛(300)은 입력 이미지들을 출력 이미지들로 스케일링하도록 배열될 수 있으며, 또한 이미지 변환 유닛(300)은 수직 반복에 의해, 이미지들을 디-인터레이싱하도록 배열되는, 상기 이미지 변환 유닛, 및
이미지 프로세싱 유닛(504)의 출력 이미지들을 디스플레이하기 위한 디스플레이 디바이스(56)로서, 상기 디스플레이 디바이스는 선택적인, 상기 디스플레이 디바이스를 포함한다.
이미지 프로세싱 장치(500)는, 예를 들면, TV일 수 있다. 또한 이미지 프로세싱 장치는 선택적 디스플레이 디바이스(506)를 포함하지 않지만, 출력 이미지들을 디스플레이 디바이스(506)를 포함하는 장치에 제공한다. 그때 이미지 프로세싱 장치(500)는, 예를 들면, 셋탑 박스, 위성-동조기, VCR 플레이어, DVD 플레이어 또는 DVD 기록기일 수 있다. 선택적으로 이미지 프로세싱 장치(500)는, 하드 디스크와 같은 저장 수단 또는 예를 들면, 광학 디스크들과 같은 착탈 가능한 매체에 저장하기 위한 수단을 을 포함한다. 이미지 프로세싱 장치(500)는 또한 필름-스튜디오 또는 방송사에 의해 응용되는 시스템일 수 있다.
상술된 실시예들은 본 발명을 제한하기 보다 예시하며, 당업자는 첨부된 청구 범위를 벗어나지 않고 다른 실시예들을 설계할 수 있다는 것은 주의되어야 한다. 청구 범위에서, 괄호들 내의 임의의 참조 부호들은 청구항을 제한하는 것으로서 구성되어서는 안된다. '포함하다'라는 단어는 청구항에 리스팅되지 않은 요소들 또는 단계들의 존재를 배제하지 않는다. '하나' 또는 '한'이라는 단어는 복수의 그러한 요소들의 존재를 배제하지 않는다. 본 발명은 몇몇 개별 요소들을 포함하는 하드웨어 및 적절히 프로그래밍된 컴퓨터에 의해 구현될 수 있다. 몇몇 수단을 열거한 유닛 청구항들에서, 이들 수단 중 몇몇은 한 수단 및 하드웨어의 동일한 항목에 의해 구현될 수 있다.

Claims (13)

  1. 제 1 해상도를 갖는 제 1 이미지를 제 2 해상도를 갖는 제 2 이미지로 변환하기 위한 방법으로서, 상기 제 1 해상도는 상기 제 2 해상도와 다르고, 상기 방법은,
    픽셀값 삽입, 및
    0 인 복수의 계수들을 포함하는 분리 불가능 다차원 커널(non-separable multi-dimensional kernel)에 기초한 컨볼루션(convolution)으로서, 상기 복수의 계수들의 제 1 부분은 상기 분리 불가능 다차원 커널을 통해 제 1 대각선 상에 배열되며, 상기 복수의 계수들의 제 2 부분은 상기 분리 불가능 다차원 커널을 통해 제 2 대각선 상에 배열되며, 상기 제 2 대각선은 상기 제 1 대각선에 수직인, 상기 컨볼루션을 포함하는, 이미지 변환 방법.
  2. 제 1 항에 있어서, 상기 픽셀값 삽입은 상기 제 1 이미지의 픽셀값들의 복제를 포함하는, 이미지 변환 방법.
  3. 제 1 항에 있어서, 상기 픽셀값 삽입은 0 과 동일한 값들을 갖는 픽셀들의 삽입을 포함하고, 상기 컨볼루션은 제 3 커널을 갖는 상기 분리 불가능 다차원 커널의 컨볼루션에 기초한 제 2 커널로 수행되는, 이미지 변환 방법.
  4. 제 2 항에 있어서, 상기 분리 불가능 커널은 0 인 상기 복수의 계수들 및 0 이 아닌 복수의 계수들을 포함하며, 다음과 같이 배열되는, 이미지 변환 방법.
    , c 는 0 이 아님.
  5. 제 2 항에 있어서, 상기 분리 불가능 다차원 커널은 0 인 상기 복수의 계수들 및 0 이 아닌 복수의 계수들을 포함하며, 다음과 같이 배열되는, 이미지 변환 방법.
    , c 는 0 이 아님.
  6. 제 2 항에 있어서, 상기 분리 불가능 다차원 커널은 0 인 상기 복수의 계수들 및 0 이 아닌 복수의 계수들을 포함하며, 다음과 같이 배열되는, 이미지 변환 방법.
    , c 는 0 이 아님.
  7. 제 3 항에 있어서, 상기 제 2 커널의 계수들은 다음과 같이 배열되는, 이미지 변환 방법.
    , e=2d.
  8. 제 1 항에 있어서, 서브-샘플링을 더 포함하는, 이미지 변환 방법.
  9. 제 1 해상도를 갖는 제 1 이미지를 제 2 해상도를 갖는 제 2 이미지로 변환하기 위한 이미지 변환 유닛으로서, 상기 제 1 해상도는 상기 제 2 해상도와 다르고, 상기 이미지 변환 유닛은,
    픽셀값들을 삽입하기 위한 픽셀값 삽입 유닛, 및
    0 인 복수의 계수들을 포함하는 분리 불가능 다차원 커널에 기초한 컨볼루션을 위한 컨볼루션 유닛으로서, 상기 복수의 계수들의 제 1 부분은 상기 분리 불가능 다차원 커널을 통해 제 1 대각선 상에 배열되며, 상기 복수의 계수들의 제 2 부분은 상기 분리 불가능 다차원 커널을 통해 제 2 대각선 상에 배열되며, 상기 제 2 대각선은 상기 제 1 대각선에 수직인, 상기 컨볼루션 유닛을 포함하는, 이미지 변환 유닛.
  10. 이미지 프로세싱 장치로서,
    제 1 이미지에 대응하는 신호를 수신하기 위한 수신 수단, 및
    제 1 항에 청구된, 제 1 해상도를 갖는 상기 제 1 이미지를 제 2 해상도를 갖는 제 2 이미지로 변환하는 이미지 변환 유닛을 포함하는, 이미지 프로세싱 장치.
  11. 제 9 항에 있어서, 상기 제 2 이미지를 디스플레이하기 위한 디스플레이 디바이스를 더 포함하는, 이미지 프로세싱 장치.
  12. 제 10 항에 있어서, 상기 디스플레이 디바이스는 TV인, 이미지 프로세싱 장치.
  13. 컴퓨터 장치에 의해 로딩되는 컴퓨터 프로그램 제품으로서, 제 1 해상도를 갖는 제 1 이미지를 제 2 해상도를 갖는 제 2 이미지로 변환하는 명령들을 포함하고, 상기 제 1 해상도는 상기 제 2 해상도와 다르며, 상기 컴퓨터 장치는 프로세싱 수단 및 메모리를 포함하고, 상기 컴퓨터 프로그램 제품은, 로딩된 후,
    픽셀값 삽입, 및
    0 인 복수의 계수들을 포함하는 분리 불가능 다차원 커널에 기초한 컨볼루션으로서, 상기 복수의 계수들의 제 1 부분은 상기 분리 불가능 다차원 커널을 통해 제 1 대각선 상에 배열되며, 상기 복수의 계수들의 제 2 부분은 상기 분리 불가능 다차원 커널을 통해 제 2 대각선 상에 배열되며, 상기 제 2 대각선은 상기 제 1 대각선에 수직인, 상기 컨볼루션을 수행하는 능력을 상기 프로세싱 수단에 제공하는, 컴퓨터 프로그램 제품.
KR1020057011241A 2002-12-19 2003-11-18 이미지 스케일링 KR20050085728A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP02080380.5 2002-12-19
EP02080380 2002-12-19

Publications (1)

Publication Number Publication Date
KR20050085728A true KR20050085728A (ko) 2005-08-29

Family

ID=32668765

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057011241A KR20050085728A (ko) 2002-12-19 2003-11-18 이미지 스케일링

Country Status (7)

Country Link
US (1) US20060274976A1 (ko)
EP (1) EP1576540A1 (ko)
JP (1) JP2006510977A (ko)
KR (1) KR20050085728A (ko)
CN (1) CN1729480A (ko)
AU (1) AU2003276640A1 (ko)
WO (1) WO2004057532A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI262725B (en) 2005-06-30 2006-09-21 Cheertek Inc Video decoding apparatus and digital audio and video display system capable of controlling presentation of subtitles and method thereof
US8374234B2 (en) * 2006-09-29 2013-02-12 Francis S. J. Munoz Digital scaling
FR2926918B1 (fr) 2008-01-30 2010-11-12 Open Plug Procede et systeme de redimensionnement d'images numeriques
CN101562006B (zh) * 2008-04-14 2011-03-23 安凯(广州)微电子技术有限公司 一种图像缩放的方法及装置
JP5703769B2 (ja) * 2011-01-19 2015-04-22 ソニー株式会社 画像変換装置、画像変換方法、プログラム、および電子機器
CN103152540B (zh) * 2013-03-11 2016-01-20 深圳创维－Rgb电子有限公司 分辨率转换方法及装置、超高清电视机
CN109996023B (zh) * 2017-12-29 2021-06-29 华为技术有限公司 图像处理方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3794505B2 (ja) * 1995-03-22 2006-07-05 ソニー株式会社 信号変換装置及び信号変換方法
JP2002232861A (ja) * 2001-01-30 2002-08-16 Hitachi Ltd 映像情報配信装置および操作装置

Also Published As

Publication number Publication date
JP2006510977A (ja) 2006-03-30
AU2003276640A1 (en) 2004-07-14
US20060274976A1 (en) 2006-12-07
CN1729480A (zh) 2006-02-01
WO2004057532A1 (en) 2004-07-08
EP1576540A1 (en) 2005-09-21

Similar Documents

Publication Publication Date Title
US6327000B1 (en) Efficient image scaling for scan rate conversion
US6411333B1 (en) Format conversion using patch-based filtering
US6556193B1 (en) De-interlacing video images using patch-based processing
US20020140854A1 (en) Scalable resolution enhancement of a video image
US8855195B1 (en) Image processing system and method
AU675387B2 (en) Method and apparatus for graphic processing
EP1554874A1 (en) A unit for and method of image conversion
US7623738B2 (en) Method, apparatus and a unit for image conversion
US20060181644A1 (en) Spatial image conversion
DE60303614T2 (de) Verfahren zur bildskalierung
US20230060736A1 (en) Single image deraining method and system thereof
KR20050085728A (ko) 이미지 스케일링
US6281938B1 (en) Signal processing system
US5483474A (en) D-dimensional, fractional bandwidth signal processing apparatus
US5668602A (en) Real-time television image pixel multiplication methods and apparatus
US20060262989A1 (en) Image enhacement
EP2239704B1 (en) Method for resizing images using the inverse discrete cosine transform
US20060038918A1 (en) Unit for and method of image conversion
JP2005136891A (ja) 画像符号化方法、装置、プログラム、及びこれを記憶した記憶媒体
Frad et al. Software application for interactive video multi-screen
Zhu et al. A Universal Format Conversion Architecture for Simultaneous Video and Computer Generated Imagery Scaling
WO2006085263A1 (en) Content-specific image processing

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid