KR20110139519A - Ｄｃｔ 처리를 이용한 이미지 스케일링 처리 장치 및 이미지 스케일링 처리 방법 - Google Patents

Ｄｃｔ 처리를 이용한 이미지 스케일링 처리 장치 및 이미지 스케일링 처리 방법 Download PDF

Info

Publication number
KR20110139519A
KR20110139519A KR1020100059648A KR20100059648A KR20110139519A KR 20110139519 A KR20110139519 A KR 20110139519A KR 1020100059648 A KR1020100059648 A KR 1020100059648A KR 20100059648 A KR20100059648 A KR 20100059648A KR 20110139519 A KR20110139519 A KR 20110139519A
Authority
KR
South Korea
Prior art keywords
image
dct
scaling
component
block
Prior art date
Application number
KR1020100059648A
Other languages
English (en)
Inventor
이성용
Original Assignee
주식회사 하이닉스반도체
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 하이닉스반도체 filed Critical 주식회사 하이닉스반도체
Priority to KR1020100059648A priority Critical patent/KR20110139519A/ko
Publication of KR20110139519A publication Critical patent/KR20110139519A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20052—Discrete cosine transform [DCT]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 실시예에 따른 스케일링 처리 장치는, 이미지 신호 처리부에 의해 얻어지는 원영상을 DCT 처리하여 DCT 계수의 DC 성분과 AC 성분을 얻는 DCT 처리부; 및 상기 DCT 처리부에 의해 얻은 DC 성분을 이용하여 이미지의 스케일링 처리를 수행하는 스케일링부를 포함한다.

Description

ＤＣＴ 처리를 이용한 이미지 스케일링 처리 장치 및 이미지 스케일링 처리 방법{Image scaling processing apparatus and method using DCT processing}
본 발명은 영상 처리 장치와 영상 처리 방법에 관한 것으로, 특히 이미지 스케일링 처리 장치와 이미지 스케일링 처리 방법에 관한 것이다.
디지털 카메라 등의 디지털 영상 처리 장치는 통상적으로 이미지 센서로부터 취득된 입력 영상 신호를 이미지 신호 처리기(image signal processor: ISP)에서 신호 처리하여 RGB 또는 YCbCr 등의 영상으로 변환한다. 이 변환된 영상은 원 영상으로서 코덱의 DCT(discrete cosine transform: 이산 코산인 변환) 처리에 의해 압축된 데이터 형태로 부호화되고 저장될 수 있다. 이러한 일반적인 영상 처리 과정에서, 필요에 따라 이미지의 크기를 줄이거나 늘리는 스케일링 기능을 부가할 수 있는데, 이러한 이미지 스케일링은 이미지 표시에서 픽셀수의 증감을 가져온다. 예를 들어, JPEG 표준으로 부호화되는 정지 영상을 원 영상의 크기보다 작은 크기의 썸네일(thumnail) 이미지로 표시하고자 할 경우, 픽셀 데이터의 샘플링을 통해 다운 스케일링 처리를 할 수 있다.
이러한 이미지 스케일링 처리는, DCT 처리 이전 단에서 이미지 신호 처리기에 하나의 블록에서 수행되고 있다. 도 1은 종래의 이미지 스케일링 기능을 갖는 영상 처리 장치의 주요부를 나타내는 블록도이다. 도 1을 참조하면, 스케일러(5)가 이미지 신호 처리부(11) 내에 하나의 기능 블록으로 자리잡고 있다. 원영상(부호화 또는 DCT 처리 전의 원래 영상) 데이터 또는 스케일러(5)에 의해 스케일링 처리된 영상 데이터는 코덱의 DCT 처리부(12)에 의해 변환됨으로써 부호화 과정이 수행된다. 이미지 신호 처리부(11) 내의 스케일러(5)는 RGB 또는 YCbCr 등의 원영상의 전체 픽셀(예컨대, 2048×1024 픽셀)에 대해 샘플링이나 보간 처리를 하여 스케일링 작업을 수행한다. 따라서, 스케일러(5)의 로직 부피나 크기가 상대적으로 크고 스케일러(5)에 의한 추가적인 데이터 경로 플로우(data path flow)로 인해 이미지 신호 처리의 지연 문제가 발생한다.
본 발명의 실시예는 영상 데이터의 부호화를 수반하는 영상 처리에 있어서 이미지의 스케일링 과정에 필요한 로직의 크기를 줄이고 이미지 신호 처리부의 지연을 줄일 수 있는 이미지 스케일링 처리 장치를 제공한다.
또한, 본 발명의 실시예는 영상 데이터의 부호화를 수반하는 영상 처리에 있어서 이미지의 스케일링 과정에 필요한 로직의 크기를 줄이고 이미지 신호 처리부의 지연을 줄일 수 있는 이미지 스케일링 처리 방법을 제공한다.
본 발명의 실시예에 따른 이미지 스케일링 처리 장치는, 이미지 신호 처리부에 의해 얻어지는 원영상을 DCT 처리하여 DCT 계수의 DC 성분과 AC 성분을 얻는 DCT 처리부; 및 상기 DCT 처리부에 의해 얻은 DC 성분을 이용하여 이미지의 스케일링 처리를 수행하는 스케일링부를 포함한다.
상기 DCT 처리부는 원영상을 나타내는 전체 픽셀을 n×n 픽셀의 정방형 블록으로 분할하고, 상기 분할된 각 정방형 블록에 대해 DCT 연산을 수행하여 DC 성분을 나타내는 DC 블록과 AC 성분을 나타내는 AC 블록을 얻을 수 있다. 상기 스케일링부는 상기 DC 블록만을 수집하여 형성한 픽쳐(picture)를 대상으로 다운 스케일링 또는 업스케일링 처리를 수행할 수 있다.
본 발명의 실시예에 따른 이미지 스케일링 처리 방법은, 이미지 신호 처리부에 의해 얻어지는 원영상을 DCT 처리하여 DCT 계수의 DC 성분과 AC 성분을 얻는 단계; 및 상기 DCT 처리에 의해 얻은 DC 성분을 이용하여 이미지의 스케일링 처리를 수행하는 단계를 포함한다.
상기 DCT 계수의 DC 성분과 AC 성분을 얻는 단계는, 상기 원영상을 나타내는 전체 픽셀을 n×n 픽셀의 정방형 블록으로 분할하는 단계와 상기 분할된 각 정방형 블록에 대해 DCT 연산을 수행하여 DC 성분을 나타내는 DC 블록과 AC 성분을 나타내는 AC 블록을 얻는 단계를 포함할 수 있다. 상기 스케일링 처리를 수행하는 단계는, 상기 DC 블록만을 수집하여 형성한 픽쳐를 대상으로 다운 스케일링 또는 업스케일링 처리를 수행하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면, 이미지 신호 처리부에서 스케일링 작업을 실시할 필요가 없어 이미지 신호 처리의 지연을 감소시킬 수 있다. 또한, 이미지 스케일링을 위해 원영상의 전체 픽셀에 대해 샘플링하거나 보간할 필요가 없고 DCT 처리에 의해 얻은 DC 성분들에 대해서만 샘플링 또는 보간을 수행하므로, 스케일링에 필요한 로직의 크기를 줄일 수 있다. 특히, 이미지 스케일링 기능을 갖는 영상 처리용 반도체 칩을 제조함에 있어서, 블록 설계시 게이트 카운트(gate count)와 칩 사이즈를 줄일 수 있고 이에 따라 웨이퍼 당 얻을 수 있는 칩의 수를 증대시킬 수 있다.
도 1은 종래의 이미지 스케일링 기능을 갖는 영상 처리 장치의 주요부를 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 이미지 스케일링 처리 장치를 설명하기 위한 블록도이다.
도 3은 본 발명의 실시예에 따른 이미지 스케일링 처리 방법을 설명하기 위한 개념도이다.
도 4는 본 발명의 실시예에 따른 이미지 스케일링 처리 방법을 나타내는 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시형태를 설명한다. 그러나, 본 발명의 실시형태는 여러 가지의 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시형태로만 한정되는 것은 아니다. 도면상의 동일한 부호로 표시되는 요소는 동일한 요소이다.
도 2는 본 발명의 실시예에 따른 이미지 스케일링 처리 장치를 설명하기 위한 블록도이다. 이미지 스케일링 처리 장치는, 이미지 신호 처리부(101)에 의해 얻어지는 원영상을 DCT 처리하는 DCT 처리부(102)와, DCT 처리부(102)에 의해 얻어지는 DC 성분을 이용하여 스케일링 처리를 수행하는 스케일링부(103)를 포함한다. 이미지 신호 처리부(101)는 예를 들어 이미지 센서(도시 안함)을 통해 얻어지는 입력 영상 신호를 처리하여 RGB 또는 YCbCr 등의 영상으로 변환한다. DCT 처리부(102)는 이미지 신호 처리부(101)에 의해 얻어진 영상 신호 정보를 압축 또는 부호화하기 위해, 원영상(부호화 과정 이전의 RGB 또는 YCbCr 등의 원래 영상) 데이터를 DCT 처리하여 공간 도메인(spatial domain)에서 주파수 도메인(frequency domain)으로 변환한다. 특히, DCT 처리부(102)는 DCT 처리부(102)에 입력되는 영상 데이터를 분할하여 DCT에 의한 직교 변환을 수행한다. 즉, DCT 처리부(102)는 원영상을 나타내는 전체 픽셀을 예를 들어 8×8 픽셀의 정방형 블록으로 분할하고, 이 분할된 정방형 블록마다 DCT 연산을 수행하여 각 정방형 블록에 대해 DC 성분을 나타내는 DC 블록과 AC 성분을 나타내는 AC 블록을 얻는다.
스케일링부(103)는 DCT 처리부(102)로부터 나온 DC 성분과 AC 성분 중 DC 성분만을 대상으로 샘플링하거나 보간(interpolation)하여 다운 스케일링 또는 업 스케일링 등의 이미지 스케일링 작업을 수행한다. 구체적으로는, 스케일링부(103)는 DC 성분을 나타내는 DC 블록만을 수집하여 형성된 I-픽쳐와 같은 픽쳐를 대상으로 데이터를 샘플링하여 다운 스케일링하거나, 이러한 픽쳐를 대상으로 데이터를 보간하여 업 스케일링을 할 수 있다. 따라서, 스케일링부(103)는 기존의 이미지 스케일링 과정과 달리, 원영상의 전체 픽셀(예컨대, 2048×1024)에 대해 샘플링 또는 보간 처리를 수행하지 않고, 단지 원영상 픽셀 수의 1/(8×8)에 해당하는 픽셀들에 대해서만 샘플링 또는 보간 처리를 수행할 수 있다.
이와 같이 원영상의 전체 정보(원영상 전체 픽셀수)가 아닌 압축된 영상 정보(원영상 전체 픽셀수의 1/(8×8))에 대해서만 스케일링 작업을 수행하므로 이미지 스케일링에 필요한 로직의 부피나 크기가 줄어들고, 스케일링 작업이 효율적으로 이루어진다. 또한, 기존과 달리 이미지 처리 신호부(101)에서 스케일링 작업이 이루어지지 않으므로 이미지 신호 처리의 데이터 경로 플로우를 더 단순화시킬 수 있고 이미지 신호 처리의 지연을 줄일 수 있다. 뿐만 아니라, 본 실시예에 따른 스케일링 처리 장치를 구현하는 영상 처리용 반도체 칩의 설계와 제조에 있어서, 스케일링 기능을 포함하는 블록 설계시 게이트 카운트(gate count)를 줄일 수 있고, 로직 크기의 감소에 의해 칩 사이즈를 줄일 수 있다. 따라서, 영상 처리용 반도체 칩 제조시 웨이퍼 당 얻을 수 있는 칩(net dies)의 수를 증대시킬 수 있다.
도 3은 본 발명의 실시예에 따른 이미지 스케일링 방법을 설명하기 위한 개념도이고, 도 4는 이미지 스케일링 방법을 나타내는 흐름도이다. 실시예에 따르면, 원영상을 DCT 처리하여 얻은 DCT 계수 중 DC 성분만을 이용하여 샘플링(sampling) 혹은 보간(intepolation)함으로써 이미지 스케일링을 수행한다.
도 3 및 4를 참조하면, 이미지 신호 처리부(도 1의 도면부호 101 참조)에 의해 얻어진 RGB 또는 YCbCr 영상과 같은 원영상 데이터를 DCT 처리에 의해 공간 도메인(spatial domain)에서 주파수 도메인(frequency domain)으로 변환함으로써 DCT 계수인 DC 성분과 AC 성분을 얻는다. 구체적으로는, 원영상 데이터가 DCT 단으로 들어오면, 원영상을 나타내는 전체 픽셀(예컨대, 2048×1024 픽셀 등)을 n×n 픽셀, 예를 들어 8×8 픽셀의 정방형 블록으로 분할한다(S41). 그리고 나서, 분할된 각 정방형 블록에 대해 DCT 연산을 수행하여 DCT 계수 중 DC 성분을 나타내는 DC 블록과 AC 성분을 나타내는 AC 블록을 얻는다(S42). 도 3에 도시된 바와 같이, DCT 처리를 통하여, 예컨대 각각의 8×8 픽셀의 정방형 블록에 대해 좌측 상단의 DC 블록과 AC 블록을 얻을 수 있다.
상술한 DC 블록만을 수집하면, 예컨대 I-픽쳐를 만들 수 있게 된다(S43). I-픽쳐와 같이 DC 블록만을 수집해서 만든 픽쳐를 원하는 비율 x:y로 샘플링하여 샘플링된 데이터를 저장함으로써, 원영상의 다운 스케일링이 가능하게 된다(S44). 또한, 상술한 바와 같이 DC 블록만을 수집하여 형성된 픽쳐를 대상으로, 별도의 메모리를 이용하여 보간(interpolation)을 거침으로써, 양호한 화질의 업 스케일링을 수행할 수 있게 된다(S44).
예를 들어, JPEG 압축 표준으로 영상 파일을 생성하고 재생하는 경우에, JPEG의 코덱 단계에서 8×8 픽셀로 분할된 각 정방형 블록마다 DCT 변환을 행하여 휘도 정보(Y) 또는 색차 신호 정보(Cb, Cr)의 DC 블록을 얻을 수 있다. 이 DC 블록만을 수집하여 I-픽쳐를 만들수 있는데, I-픽쳐를 대상으로 한 샘플링 혹은 2차원 선형 보간(bilinear interpolation)을 통해 이미지의 다운 스케일링 또는 업 스케일링을 수행할 수 있다.
상술한 이미지 스케일링 방법에 따르면, n×n 픽셀의 정방형 블록마다 1개씩 얻어지는 DC 블록을 수집하여 만든 픽쳐를 대상으로 스케일링 작업을 수행하므로 샘플링 또는 보간 작업이 단순화된다. 예를 들어, 8×8 픽셀의 정방형 블록으로 분할하여 DCT 변환을 수행하는 경우, 상술한 이미지 스케일링 방법에 따르면, 원영상의 전체 픽셀수의 단지 1/(8×8) (일반적으로는 1/(n×n))에 해당하는 픽셀수의 픽쳐를 대상으로 스케일링 작업을 수행할 수 있다. 따라서, 스케일링에 필요한 로직의 크기가 줄어들고 데이터 처리의 단순화가 실현된다.
101: 이미지 신호 처리부 102: DCT 처리부
103: 스케일링부

Claims (4)

  1. 이미지 신호 처리부에 의해 얻어지는 원영상을 DCT 처리하여 DCT 계수의 DC 성분과 AC 성분을 얻는 DCT 처리부; 및
    상기 DCT 처리부에 의해 얻은 DC 성분을 이용하여 이미지의 스케일링 처리를 수행하는 스케일링부를 포함하는 이미지 스케일링 처리 장치.
  2. 제1항에 있어서,
    상기 DCT 처리부는 원영상을 나타내는 전체 픽셀을 n×n 픽셀의 정방형 블록으로 분할하고 상기 분할된 각 정방형 블록에 대해 DCT 연산을 수행함으로써, DC 성분을 나타내는 DC 블록과 AC 성분을 나타내는 AC 블록을 얻고,
    상기 스케일링부는 상기 DC 블록만을 수집하여 형성한 픽쳐를 대상으로 다운 스케일링 또는 업스케일링 처리를 수행하는 것을 특징으로 하는 이미지 스케일링 처리 장치.
  3. 이미지 신호 처리부에 의해 얻어지는 원영상을 DCT 처리하여 DCT 계수의 DC 성분과 AC 성분을 얻는 단계; 및
    상기 DCT 처리에 의해 얻은 DC 성분을 이용하여 이미지의 스케일링 처리를 수행하는 단계를 포함하는 이미지 스케일링 처리 방법.
  4. 제3항에 있어서,
    상기 DCT 계수의 DC 성분과 AC 성분을 얻는 단계는, 상기 원영상을 나타내는 전체 픽셀을 n×n 픽셀의 정방형 블록으로 분할하는 단계와, 상기 분할된 각 정방형 블록에 대해 DCT 연산을 수행하여 DC 성분을 나타내는 DC 블록과 AC 성분을 나타내는 AC 블록을 얻는 단계를 포함하고,
    상기 스케일링 처리를 수행하는 단계는, 상기 DC 블록만을 수집하여 형성한 픽쳐를 대상으로 다운 스케일링 또는 업스케일링 처리를 수행하는 단계를 포함하는 것을 특징으로 하는 이미지 스케일링 처리 방법.
KR1020100059648A 2010-06-23 2010-06-23 Ｄｃｔ 처리를 이용한 이미지 스케일링 처리 장치 및 이미지 스케일링 처리 방법 KR20110139519A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100059648A KR20110139519A (ko) 2010-06-23 2010-06-23 Ｄｃｔ 처리를 이용한 이미지 스케일링 처리 장치 및 이미지 스케일링 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100059648A KR20110139519A (ko) 2010-06-23 2010-06-23 Ｄｃｔ 처리를 이용한 이미지 스케일링 처리 장치 및 이미지 스케일링 처리 방법

Publications (1)

Publication Number Publication Date
KR20110139519A true KR20110139519A (ko) 2011-12-29

Family

ID=45504991

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100059648A KR20110139519A (ko) 2010-06-23 2010-06-23 Ｄｃｔ 처리를 이용한 이미지 스케일링 처리 장치 및 이미지 스케일링 처리 방법

Country Status (1)

Country Link
KR (1) KR20110139519A (ko)

Similar Documents

Publication Publication Date Title
TWI399703B (zh) 往返縮放之影像放大方法
JP4267848B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法、及び、画像復号方法
US20130321423A1 (en) Motion compensation and motion estimation leveraging a continuous coordinate system
JP2007067917A (ja) 画像データ処理装置
WO2018205627A1 (zh) 一种图像处理系统、方法及显示装置
JP6038234B2 (ja) ビデオ処理、高速静止画処理、及び高品質静止画処理のためのアーキテクチャ
Suzuki Wavelet-based spectral–spatial transforms for CFA-sampled raw camera image compression
US8958642B2 (en) Method and device for image processing by image division
US10593019B2 (en) Method and apparatus for storing, processing and reconstructing full resolution image out of sub band encoded images
JP2005295510A (ja) 解像度変換方法及び装置
RU2518932C2 (ru) Уменьшенное рассогласование коэффициентов усиления постоянной состовляющей (dc) и dc-утечки при обработке преобразования с перекрытием
JP5901362B2 (ja) 色変換装置、カラーサブサンプリング装置およびこれらのプログラム
JP6471022B2 (ja) 画像処理システムおよび画像処理方法
JP4958832B2 (ja) 画像符号化装置及びその制御方法
Lee et al. Lossless compression of HDR color filter array image for the digital camera pipeline
US8045824B2 (en) Wavelet transformation-based image encoder, decoder and method for generating thumbnail image
JP2013048307A (ja) 動画像復号化装置および動画像復号化方法
KR20110139519A (ko) Ｄｃｔ 처리를 이용한 이미지 스케일링 처리 장치 및 이미지 스케일링 처리 방법
JP5410232B2 (ja) 画像復元装置、そのプログラム、及び、多次元画像復元装置
Chen et al. A progressive architecture for learned fractional downsampling
JP2006340300A (ja) 信号処理方法及び信号処理装置、並びに信号処理プログラム及び情報記録媒体
JP4344391B2 (ja) 画像処理装置
JP2008124530A (ja) Ｒａｗデータ圧縮方法
JP5945816B2 (ja) 映像処理システム
JP4274187B2 (ja) 表示データ伸張方法、表示データ圧縮伸張方法、表示データ伸張装置および表示データ圧縮伸張装置

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination