KR101217919B1 - 영상 리사이징 방법 및 영상 리사이징 장치 - Google Patents

영상 리사이징 방법 및 영상 리사이징 장치 Download PDF

Info

Publication number
KR101217919B1
KR101217919B1 KR1020110022089A KR20110022089A KR101217919B1 KR 101217919 B1 KR101217919 B1 KR 101217919B1 KR 1020110022089 A KR1020110022089 A KR 1020110022089A KR 20110022089 A KR20110022089 A KR 20110022089A KR 101217919 B1 KR101217919 B1 KR 101217919B1
Authority
KR
South Korea
Prior art keywords
block
image
row
column
resizing
Prior art date
Application number
KR1020110022089A
Other languages
English (en)
Other versions
KR20120104033A (ko
Inventor
정제창
박상준
홍성민
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020110022089A priority Critical patent/KR101217919B1/ko
Publication of KR20120104033A publication Critical patent/KR20120104033A/ko
Application granted granted Critical
Publication of KR101217919B1 publication Critical patent/KR101217919B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20052—Discrete cosine transform [DCT]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

영상 리사이징 방법 및 영상 리사이징 장치가 개시되어 있다. 영상의 리사이징 방법은 제1 블록에 대응되는 원본 블록의 제1 행과 제1 열의 DCT(Discrete Cosine Transform) 계수 정보를 제공받는 단계와 상기 원본 블록의 제1 행과 제1 열의 DCT 계수 정보를 기초로 상기 제1 블록을 업샘플링한 제2 블록의 픽셀값을 추정하는 단계를 포함할 수 있다. 따라서, 기존의 영상 리사이징 방법에서 발생할 수 있었던 링잉 효과와 같은 영상 왜곡을 줄일 수 있을 뿐만 아니라 기존의 영상 리사이징 방법에 비해 처리 속도가 향상되어 기존의 영상 리사이징 방법에 비해 PSNR(Peak Signal to Noise Ratio) 및 영상 처리 속도가 향상된다.

Description

영상 리사이징 방법 및 영상 리사이징 장치{METHODS OF RESIZING IMAGE AND APPARATUSES FOR RESIZING IMAGE}
본 발명은 영상의 크기를 변화시키는 방법 및 장치에 관한 것이다.
현대인들은 정보의 대부분을 미디어 매체를 통해서 제공받고 이 중에서 70% 이상의 정보가 시각을 통해 얻어지는 정보이다. 따라서 영상은 미디어 정보의 핵심이라고 볼 수 있으며 이를 전달하기 위한 PDA, 핸드폰, TV, 노트북 등 다양한 디스플레이 장비들이 등장하였다.
현재의 통신환경은 유무선 연동, 방송망과 통신망의 융합 등, 비균일 통신망이 서로 융합되고 있으며, 앞으로도 이러한 추세는 더욱 가세화될 것이다. 이와 같은 통신 환경에서는 영상과 동영상의 전송이 다양한 단말기에 적응적인 해상도 변환이 제공되어야 한다. 하지만, 다양한 디스플레이 장비들은 용도에 따라 각기 다른 종횡비와 해상도를 가지고 있으며, 이러한 장비의 다양성에 맞추기 위하여 영상을 리사이징하는 방법들이 연구되고 있다.
기존의 영상 리사이징 방법으로 DCT(Discrete Cosine Transform) 도메인의 고주파 영역의 DCT 계수를 0으로 가정하는 제로 패딩(Zero Padding) 방법을 사용했다. 제로 패딩 방법을 사용하여 영상을 확대하면 확대된 영상에 물결 효과(Ringing Effect)와 같은 영상의 결함이 발생할 수 있다. 또한, 제로 패딩(Zero Padding) 방법은 수신된 DCT 블록에 IDCT(Inverse Discrete Cosine Transform)를 수행한 후 제로 패딩을 수행하기 위해 DCT를 수행하고 제로 패딩한 후 다시 IDCT를 수행하는 방법을 사용하기 때문에 영상을 리사이징 하기 위한 계산 복잡도가 높아 영상의 처리 시간이 길어진다.
따라서, 본 발명의 제1 목적은 DCT 도메인에서 영상을 리사이징 하는 방법을 제공하는 것이다.
또한, 본 발명의 제2 목적은 DCT 도메인에서 영상을 리사이징 하는 방법을 수행하는 장치를 제공하는 것이다.
상술한 본 발명의 제1 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상의 리사이징 방법은 제1 블록에 대응되는 원본 블록의 제1 행과 제1 열의 DCT(Discrete Cosine Transform) 계수 정보를 제공받는 단계와 상기 원본 블록의 제1 행과 제1 열의 DCT 계수 정보를 기초로 상기 제1 블록을 업샘플링한 제2 블록의 픽셀값을 추정하는 단계를 포함할 수 있다. 상기 영상의 리사이징 방법은 상기 제1 블록 및 상기 원본 블록 중 적어도 하나의 블록의 제1 행과 제1 열의 DCT 계수 정보를 기초로 상기 제1 블록의 에지 방향을 판단할 수 있다. 상기 제1 블록 및 상기 원본 블록 중 적어도 하나의 블록의 제1 행과 제1 열의 DCT 계수 정보를 기초로 상기 제1 블록의 에지 방향을 판단하는 단계는 상기 제1 행에 포함된 DCT 계수의 합과 상기 제1 행에 포함된 DC 계수의 차의 절대값이 소정의 에지 방향 판단 계수값보다 작으면 상기 제1 블록의 에지 방향을 수평 방향으로 판단하고, 상기 제1 열에 포함된 DCT 계수의 합과 상기 제1 열에 포함된 DC 계수의 차의 절대값이 소정의 에지 방향 판단 계수값보다 작으면 상기 제1 블록의 에지 방향을 수직 방향으로 판단할 수 있다. 상기 에지 방향 판단 계수값은 고정된 값 및 영상에 따라 적응적으로 변화되는 값 중 적어도 하나일 수 있다. 상기 원본 블록의 제1 행과 제1 열의 DCT 계수 정보를 기초로 상기 제1 블록을 업샘플링한 제2 블록의 픽셀값을 추정하는 단계는 상기 제1 블록 중 수직 방향 에지 또는 수평 방향 에지를 가진 블록에 대해서만 상기 제2 블록의 픽셀값을 추정할 수 있다. 상기 영상의 리사이징 방법은 상기 제1 블록 중 에지의 방향이 수평 방향 에지 또는 수직 방향 에지가 아닌 블록은 제로 패딩 방법을 사용하여 영상을 업샘플링하는 단계와 상기 제1 블록을 기초로 업샘플링된 제2 블록을 출력하는 단계를 포함할 수 있다. 상기 원본 블록의 제1 행과 제1 열의 DCT 계수 정보를 기초로 상기 제1 블록을 업샘플링한 제2 블록의 픽셀값을 추정하는 단계는 상기 원본 블록의 제1 행과 제1 열의 DCT 계수 정보를 기초로 상기 원본 블록의 각 행들에 포함되는 픽셀값들의 합 및 상기 원본 블록의 각 열들에 포함되는 픽셀값들의 합을 산출하는 단계와 상기 원본 블록의 각 행들에 포함되는 픽셀값들의 합, 상기 원본 블록의 각 열들에 포함되는 픽셀값들의 합 및 상기 원본 블록에 포함되는 모든 픽셀값들의 합을 기초로 상기 제2 블록의 픽셀값을 추정하는 단계를 포함할 수 있다. 상기 원본 블록의 각 행들에 포함되는 픽셀값들의 합, 상기 원본 블록의 각 열들에 포함되는 픽셀값들의 합 및 상기 원본 블록에 포함되는 모든 픽셀값들의 합을 기초로 상기 제2 블록의 픽셀값을 추정하는 단계는 라그랑즈 곱셉자(Lagrange Multiplier)를 사용하여 상기 제2 블록의 픽셀값을 추정할 수 있다.
또한 상술한 본 발명의 제2 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상의 리사이징 장치는 제1 블록에 대응되는 원본 블록의 제1 행과 제1 열의 DCT 계수 정보를 제공받는 입력부와 상기 입력부로부터 제공받은 상기 제1 블록에 대응되는 원본 블록의 제1 행과 제1 열의 DCT 계수 정보를 기초로 상기 제1 블록을 업샘플링한 제2 블록의 픽셀값을 추정하는 리사이징 영상 픽셀 추정부를 포함할 수 있다. 상기 영상의 리사이징 장치는 상기 제1 블록 또는 상기 원본 블록의 블록 에지 방향을 판단하는 블록 에지 판별부를 더 포함할 수 있다. 상기 블록 에지 판별부는 상기 제1 블록 및 상기 원본 블록 중 적어도 하나의 블록의 제1 행과 제1 열의 DCT 계수 정보를 기초로 상기 제1 블록의 에지 방향을 판단할 수 있다. 상기 블록 에지 판별부는 상기 제1 행의 DCT 계수의 합과 상기 제1 행에 포함된 DC 계수의 차의 절대값이 소정의 에지 방향 판단 계수값보다 작으면, 상기 제1 블록의 에지 방향을 수평 방향으로 판단하고, 상기 제1 열의 DCT 계수의 합과 상기 제1 열에 포함된 DC 계수의 차의 절대값이 소정의 에지 방향 판단 계수값보다 작으면, 상기 제1 블록의 에지 방향을 수직 방향으로 판단할 수 있다. 상기 리사이징 영상 픽셀 추정부는 상기 제1 블록 중 수직 방향 에지 또는 수평 방향 에지를 가진 블록에 대해서만 상기 제2 블록의 픽셀값을 추정할 수 있다. 상기 리사이징 영상 픽셀 추정부는 상기 제1 블록 중 에지의 방향이 수평 방향 에지 또는 수직 방향 에지가 아닌 블록은 제로 패딩 방법을 사용하여 영상을 업샘플링할 수 있다. 상기 리사이징 영상 픽셀 추정부는 상기 원본 블록의 제1 행과 제1 열의 DCT 계수 정보를 기초로 상기 원본 블록의 각 행들에 포함되는 픽셀값들의 합 및 상기 원본 블록의 각 열들에 포함되는 픽셀값들의 합을 산출하고, 상기 원본 블록의 각 행들에 포함되는 픽셀값들의 합, 상기 원본 블록의 각 열들에 포함되는 픽셀값들의 합 및 상기 원본 블록에 포함되는 모든 픽셀값들의 합을 기초로 상기 제2 블록의 픽셀값을 추정할 수 있다. 상기 영상의 리사이징 장치는 상기 리사이징 영상 픽셀 추정부로부터 추정된 상기 제2 블록을 출력하는 출력부를 더 포함할 수 있다.
상술한 바와 같이 본 발명의 실시예에 따른 영상 리사이징 방법 및 영상 리사이징 장치에 따르면, 원본 블록의 DCT 도메인에서 첫 번째 행 및 첫 번째 열의 DCT 계수 정보를 기초로 DCT 도메인에서 바로 영상을 업샘플링하는 방법을 사용한다.
따라서, 기존의 영상 리사이징 방법에서 발생할 수 있었던 링잉 효과와 같은 영상 왜곡을 줄일 수 있을 뿐만 아니라 기존의 영상 리사이징 방법에 비해 처리 속도가 향상되어 기존의 영상 리사이징 방법에 비해 PSNR(Peak Signal to Noise Ratio) 및 영상 처리 속도가 향상된다.
도 1은 기존의 영상 리사이징 방법 중 제로 패딩 방법을 나타낸 개념도이다.
도 2는 본 발명의 일실시예에 따른 영상 리사이징 방법을 수행하기 위한 순서도이다.
도 3는 본 발명의 다른 실시예에 따른 영상을 리사이징하는 방법을 수행하는 방법을 나타낸 순서도이다.
도 4는 본 발명의 일실시예에 따른 영상 리사이징 장치를 나타낸 개념도이다.
도 5는 본 발명의 일실시예에 따른 영상 리사이징 장치를 나타낸 개념도이다.
도 6은 본 발명의 일실시예에 따른 영상 리사이징 방법의 성능을 테스트한 표이다.
도 7은 본 발명의 일실시예에 따른 영상 리사이징 방법을 테스트하는데 사용된 이미지들로 이미지의 명칭은 순서대로 House1, House2, Airplane, Boat, Peppers, Toys이다.
도 8 내지 도 9는 본 발명의 일실시예에 따른 영상 리사이징 방법을 사용하여 영상을 리사이징한 이미지 및 기존의 영상 리사이징 방법을 사용하여 영상을 리사이징한 이미지들이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 기존의 영상 리사이징 방법 중 제로-패딩 방법을 나타낸 개념도이다.
도 1의 상단은 영상의 크기를 줄이는 방법을 나타낸다.
도 1의 상단을 참조하면, DCT 도메인에 존재하는 네 개의
Figure 112011018024281-pat00001
사이즈의 DCT 블록(100, 110, 120, 130)에 대해 4-point IDCT를 수행한다. 4-point IDCT는
Figure 112011018024281-pat00002
사이즈의 DCT 블록(100, 110, 120, 130)에 존재하는 저주파수 부분의 계수만(
Figure 112011018024281-pat00003
, 여기서
Figure 112011018024281-pat00004
는 0부터 3까지 정수값)을 선택하여 IDCT를 수행하는 것으로 이러한 방법을 사용하여 원본 영상의 사이즈를 줄일 수 있다.
즉, 각각의
Figure 112011018024281-pat00005
사이즈의 DCT 블록(100, 110, 120, 130)의 저주파수 계수 부분만을 IDCT하는 방법을 통해
Figure 112011018024281-pat00006
사이즈의 블록을
Figure 112011018024281-pat00007
사이즈의 블록 으로 줄일 수 있다.
도 1의 하단은 영상의 사이즈를 키우는 방법을 나타낸 개념도이다.
도 1의 하단을 참조하면,
Figure 112011018024281-pat00008
사이즈의 DCT 블록(140)은 8-point IDCT를 통해서
Figure 112011018024281-pat00009
사이즈의 픽셀 도메인 블록(150)으로 변경될 수 있다. 픽셀 도메인으로 변경된
Figure 112011018024281-pat00010
사이즈의 픽셀 도메인 블록(150)에 포함되는 각각의
Figure 112011018024281-pat00011
사이즈의 블록(153, 155, 157, 159)은 4-point DCT를 통해서 DCT 도메인으로 변경될 수 있다.
Figure 112011018024281-pat00012
사이즈의 DCT 블록에 포함되는 DCT 계수는
Figure 112011018024281-pat00013
사이즈의 DCT 블록(160)에 포함되는 네 개의
Figure 112011018024281-pat00014
사이즈 DCT 블록(163, 165, 167, 169)의 저주파수 계수 부분에 각각 포함될 수 있다. 네 개의
Figure 112011018024281-pat00015
사이즈 DCT 블록에서 저주파수 계수 부분을 제외한 고주파수 부분의 DCT 계수값은 0으로 채워질 수 있고 이러한 방법을 제로-패딩(Zero Padding)이라고 한다.
제로-패딩(Zero Padding)이 된 각각의 네 개의
Figure 112011018024281-pat00016
사이즈 DCT 블록은 8-point IDCT를 수행하여 픽셀 도메인으로 변경될 수 있다.
전술한 바와 같이 영상을 리사이징 하기 위한 제로 패딩 방법은 영상의 크기를 키우는 업샘플링을 위해서 IDCT를 두 번, DCT를 한번 수행해야 한다.
IDCT 및 DCT를 수행하는 절차는 계산 복잡도가 크기 때문에 영상을 업샘플링 함에 있어 처리속도가 늦어진다.
이뿐만 아니라, 제로 패딩(Zero Padding) 방법을 사용할 경우, 고주파수 영역을 0으로 채워서 영상의 사이즈를 키우는 방법으로 인해, 확대된 영상에 블록킹 현상(Blocking Artifact) 또는 물결 효과(Ringing Effect)가 발생할 수 있다.
본 발명의 일실시예에 따른 영상 리사이징 방법은 영상에 포함된 블록 중 수직 방향 에지 성분 또는 수평 방향 에지 성분을 가진 블록이 있으면, 원본 영상(축소된 영상 전의 영상)에서 전달된 소정의 값에 기초해 확대된 영상의 픽셀값을 예측한다. 본 발명에서 개시된 영상 리사이징 방법을 사용하면 제로 패딩 방법과 같은 기존의 영상 확대 방법을 사용할 때 영상에 발생할 수 있었던 블록킹 현상(Blocking Artifact) 또는 링잉 효과(Ringing Effect)를 줄일 수 있을 뿐만 아니라, DCT 도메인에서 바로 영상의 확대를 수행하기 때문에 기존의 영상 업샘플링 방법과 같이 IDCT를 여러번 수행하지 않아 영상의 업샘플링에 걸리는 처리 시간이 감소할 수 있다.
이하, 본 발명의 실시예에서는, 원본 블록의 크기를 축소한 블록을 제1 블록, 제1 블록의 크기를 확대한 블록을 제2 블록, 제1 블록으로 축소되기 전의 블록을 원본 블록이라고 한다.
이하, 본 발명의 실시예에서는 원본 영상에 포함된 원본 블록을
Figure 112011018024281-pat00017
사이즈의 블록으로 가정하고,
Figure 112011018024281-pat00018
사이즈의 원본 블록에서 영상 사이즈의 축소 단계를 거친
Figure 112011018024281-pat00019
블록(즉, 제1 블록)을 다시
Figure 112011018024281-pat00020
사이즈의 블록(즉, 제2 블록)으로 확대하는 방법을 개시한다. 하지만, 이러한 블록의 사이즈는 하나의 예로써 본 발명의 권리 범위는 위의 블록 사이즈 범위 내에서 영상을 확대 또는 축소하는 것에 한정되지 않고 본 발명의 본질에서 벋어나지 않는 한 다른 사이즈로 영상을 확대 또는 축소하는 것도 또한 포함된다.
소정 블록의 DCT 계수는 픽셀의 값과 행렬의 곱으로 표현될 수 있다.
예를 들어,
Figure 112011018024281-pat00021
사이즈의 블록에서 (0,2) 부분의 DCT 계수는 아래와 같이 수학식 1로 표현될 수 있다.
Figure 112011018024281-pat00022
수학식 1을 참조하면, DCT 계수는 소정의 가중치와 행들의 합으로 표현될 수 있음을 알 수 있다.
동일한 방법으로
Figure 112011018024281-pat00023
사이즈의 블록에서 (2,0) 부분의 DCT 계수는 소정의 가중치 행렬과 열들의 합을 나타낸 행렬값의 곱으로 나타낼 수 있다.
즉, 일정한 행렬값를 가진
Figure 112011018024281-pat00024
사이즈의 가중치 행렬
Figure 112011018024281-pat00025
을 구할 수 있다(예를 들어,
Figure 112011018024281-pat00026
값은 가중치 행렬
Figure 112011018024281-pat00027
에서 3행 1열의 위치한다). 물론, 행렬의 사이즈는 블록의 사이즈에 따라 변할 수 있다.
아래의 수학식 2는 가중치 행렬과 행과 열 값의 합을 이용해 블록의 DCT 계수를 표현한 것이다.
Figure 112011018024281-pat00028
위의 수학식에서
Figure 112011018024281-pat00029
은
Figure 112011018024281-pat00030
크기의 벡터로써 소정의 열에 포함된 픽셀값들의 합을 나타내고,
Figure 112011018024281-pat00031
은
Figure 112011018024281-pat00032
크기의 벡터로써 소정의 행에 포함된 픽셀값들의 합을 나타낸다.
Figure 112011018024281-pat00033
는 소정의 블록에 포함된 DCT 계수 중 첫 번째 열에 포함된 값들을 나열한 행렬이고
Figure 112011018024281-pat00034
은 소정의 블록에 포함된 DCT 계수 중 첫 번째 행에 포함된 값들을 나열한 행렬이다.
Figure 112011018024281-pat00035
은 DCT 계수를 생성하기 위한
Figure 112011018024281-pat00036
사이즈의 가중치 행렬이다.
아래의 수학식 3은 소정의 블록에 대해 DCT 값을 구하기 위한 가중치 행렬
Figure 112011018024281-pat00037
을 나타낸다.
Figure 112011018024281-pat00038
아래의 수학식 4는
Figure 112011018024281-pat00039
행렬 및
Figure 112011018024281-pat00040
행렬을 나타낸다.
Figure 112011018024281-pat00041
즉,
Figure 112011018024281-pat00042
행렬의 값 및
Figure 112011018024281-pat00043
행렬의 값을 안다면, 아래의 수학식 5를 이용해
Figure 112011018024281-pat00044
및
Figure 112011018024281-pat00045
의 값을 구할 수 있다.
Figure 112011018024281-pat00046
본 발명의 일실시예에 따른 영상의 리사이징 방법을 사용하기 위해서는
Figure 112011018024281-pat00047
및
Figure 112011018024281-pat00048
의 값 및 모든 픽셀 값의 합을 나타내는
Figure 112011018024281-pat00049
을 이용하기 때문에 이러한 값을 알기 위해서는 원본 블록의 DCT 값 중
Figure 112011018024281-pat00050
행렬의 값 및
Figure 112011018024281-pat00051
행렬의 값 즉, DCT 도메인으로 표현한 블록의 첫 번째 열의 DCT 계수값 및 첫 번째 행의 DCT 계수값을 알고 있어야 한다. 즉, 본 발명의 실시예에 따른 영상의 리사이징 방법에서는 원본 블록의
Figure 112011018024281-pat00052
행렬의 값 및
Figure 112011018024281-pat00053
행렬의 값을 기초로 원본 블록의
Figure 112011018024281-pat00054
및
Figure 112011018024281-pat00055
의 값 및 모든 픽셀 값의 합을 나타내는
Figure 112011018024281-pat00056
을 산출하고, 산출된
Figure 112011018024281-pat00057
,
Figure 112011018024281-pat00058
및
Figure 112011018024281-pat00059
의 값을 이용해서 제2 블록(제1블록에서 업샘플링된 블록)의 픽셀값을 추정하는 방법을 사용한다.
이하, 본 발명의 실시예에서는 원본 블록에서 전달된 정보인
Figure 112011018024281-pat00060
행렬의 값 및
Figure 112011018024281-pat00061
행렬의 값을 통해 제1 블록의 사이즈를 업샘플링 시키는 방법에 대해 개시한다.
Figure 112011018024281-pat00062
행렬의 값 및
Figure 112011018024281-pat00063
행렬의 값을 알 경우, 수학식 5를 사용하여
Figure 112011018024281-pat00064
행렬의 값 및
Figure 112011018024281-pat00065
행렬의 값에
Figure 112011018024281-pat00066
을 곱해
Figure 112011018024281-pat00067
및
Figure 112011018024281-pat00068
의 값을 구한다.
산출된
Figure 112011018024281-pat00069
및
Figure 112011018024281-pat00070
의 값을 기초로 블록에 포함된 모든 픽셀값의 합인
Figure 112011018024281-pat00071
을 구할 수 있다. 원본 블록이
Figure 112011018024281-pat00072
사이즈의 블록일 경우, 각 열에 포함된 값들의 픽셀값들의 합인 8 개의
Figure 112011018024281-pat00073
값, 각 행에 포함된 값들의 합인 8 개의 픽셀값들의 합인 8개의
Figure 112011018024281-pat00074
값, 그리고 모든 픽셀 값들의 합인 1개의
Figure 112011018024281-pat00075
값을 산출할 수 있다.
즉, 산출된
Figure 112011018024281-pat00076
,
Figure 112011018024281-pat00077
,
Figure 112011018024281-pat00078
값은
Figure 112011018024281-pat00079
사이즈의 행렬인 아래의 수학식 6과 같은 행렬
Figure 112011018024281-pat00080
로 표현될 수 있다.
Figure 112011018024281-pat00081
행렬
Figure 112011018024281-pat00082
는
Figure 112011018024281-pat00083
의 크기를 가진 가중치 행렬
Figure 112011018024281-pat00084
와 2차원 행렬 값으로 표현된
Figure 112011018024281-pat00085
사이즈 블록의 픽셀값을
Figure 112011018024281-pat00086
사이즈를 가진 1차원 행렬로 변환한 행렬
Figure 112011018024281-pat00087
의 곱으로 표현될 수 있다.
아래의 수학식 7은 이러한 행렬
Figure 112011018024281-pat00088
, 행렬
Figure 112011018024281-pat00089
, 행렬
Figure 112011018024281-pat00090
의 관계를 나타낸 것이다.
Figure 112011018024281-pat00091
아래의 수학식 8은 가중치 행렬
Figure 112011018024281-pat00092
를 나타낸다.
Figure 112011018024281-pat00093
예를 들어, 가중치 행렬
Figure 112011018024281-pat00094
의 1행을 참조하면, 1행은 행렬
Figure 112011018024281-pat00095
의 모든 값에 1을 곱하여 행렬
Figure 112011018024281-pat00096
의 1행 1열 값을 산출하고 산출된 값은 블록에 포함된 모든 행렬값의 합이 된다.
또 다른 예로, 가중치 행렬
Figure 112011018024281-pat00097
의 2행을 참조하면, 2행은 행렬
Figure 112011018024281-pat00098
의 값에서 주기 8로 해당하는 값을 더하는 것으로 이러한 방식으로 1열에 포함되는 모든 값의 합을 구할 수 있다.
본 발명의 실시예에 따르면 구해야 하는 픽셀값은 64 개인 반면에 현재 알고 있는 값은 16 개이므로 미지수의 개수가 더 많기 때문에 수학식 7을 만족하는 행렬
Figure 112011018024281-pat00099
는 복수개가 존재한다. 본 발명의 일실시예에서는 설명의 편의상 라그랑즈 곱셉자(Lagrange Multiplier)를 사용하여 복수의 행렬 중 하나의 행렬
Figure 112011018024281-pat00100
를 추정하는 방법을 개시한다.
하지만, 본 발명의 일실시예에 따르면, 행렬
Figure 112011018024281-pat00101
는 라그랑즈 곱셈자가 아닌 다른 수학적 방법을 사용하여 추정할 수 있고, 이러한 방법을 사용하여 행렬
Figure 112011018024281-pat00102
를 구하는 것도 본 발명의 권리범위에 포함된다.
아래의 수학식 9는 본 발명의 일실시예에 따른 라그랑즈 곱셉자(Lagrange Multiplier)를 이용하여 행렬
Figure 112011018024281-pat00103
를 추정하는 단계를 나타낸 것이다.
Figure 112011018024281-pat00104
전술한 수학식 9의 과정을 통해 원본 블록보다 작아진 제1 블록의 사이즈를 원본 블록과 동일한 사이즈인 제2 블록으로 추정하여 복원할 수 있다.
본 발명의 일실시예에 따른 영상 업샘플링 방법은 수직 방향 또는 수평 방향의 에지를 가진 블록에 적용되고 그 외의 에지 방향을 가진 블록에는 기존의 영상 업샘플링 방법 중 하나가 선택적으로 사용될 수 있다. 따라서, 본 발명의 일실시예에 따른 영상 업샘플링 방법을 적용하기 위해서는 블록이 수직 방향 에지 또는 수평 방향 에지를 가지고 있는지 여부를 판단해야 한다.
이하, 본 발명의 실시예에서는 설명의 편의상 블록의 DCT 계수를 이용하여 블록의 에지 방향이 수평 방향 에지인지 수직 방향 에지인지를 판단하고 수직 에지 방향 또는 수평 에지 방향이 아닌 블록은 DA 방법을 사용하여 업샘플링을 수행하는 방법을 예시한다. 하지만, 본 발명의 권리 범위는 본 발명의 본질에서 벋어나지 않는 한 블록의 에지 방향을 판별하기 위해 DCT 계수를 사용하는 방법이 아닌 다른 방법을 사용할 수 있고, 판별된 결과를 기초로 블록의 에지 방향이 수평 방향 에지 또는 수직 방향 에지가 아닌 경우, DA 방법이 아닌 기존의 다른 영상의 리사이징 방법을 사용할 수 있다.
본 발명의 일실시예에 따른 제1 블록의 에지 방향이 수평 에지 방향 또는 수직 에지 방향 인지 여부를 판단하기 위해 아래의 수학식 10을 사용할 수 있다.
Figure 112011018024281-pat00105
위의 수학식 10에서는
Figure 112011018024281-pat00106
는 제1 블록의 1 열에 포함된 DCT 계수들의 합을 나타내고,
Figure 112011018024281-pat00107
는 제1 블록의 1행에 포함된 DCT 계수들의 합을 나타내고
Figure 112011018024281-pat00108
는 제1 블록의 DCT 도메인 상의 DC 성분을 나타낸다.
원본 블록의 값을 기초로 제1 블록의 에지 방향을 판단할 경우,
Figure 112011018024281-pat00109
는 원본 블록의 1 열에 포함된 DCT 계수들의 합을 나타내고,
Figure 112011018024281-pat00110
는 원본 블록의 1 행에 포함된 DCT 계수들의 합을 나타내고
Figure 112011018024281-pat00111
는 원본 블록의 DCT 도메인 상의 DC 성분을 나타낼 수 있다.
에지 방향 판단 계수
Figure 112011018024281-pat00112
는 에지의 방향을 판단하는 기준이 되는 계수로써 영상에 따라 최대 PSNR(Peak Signal to Noise Ratio)을 가지는 최적의 값이 변할 수 있다. 따라서,
Figure 112011018024281-pat00113
를 영상에 따라 최대 PSNR 값을 가질 수 있는 최적의 값으로 적응적으로 변경하여 블록 에지 방향을 판별하거나, 복수의 영상에 산출한 영상의 최적값
Figure 112011018024281-pat00114
의 평균값과 같은 하나의 고정된 값을 사용하여 블록의 에지 방향을 판별할 수 있다.
도 2는 본 발명의 일실시예에 따른 영상 리사이징 방법을 수행하기 위한 순서도이다.
도 2를 참조하면, 원본 블록에서 첫 번째 행과 첫 번째 열의 DCT 계수 행렬을 제공받는다(단계 S200).
즉, 제1 블록에 대응되는 원본 블록의 제1 행과 제1 열의 DCT(Discrete Cosine Transform) 계수 정보를 제공받는다.
본 발명의 일실시예에 따른 영상 리사이징 방법은 영상이 축소되기 전의 원본 블록의 첫 번째 행과 첫 번째 열의 DCT 계수 행렬을 기초로 원본 블록의 각 열과 각 행에 포함된 픽셀값들의 합을 구하고 각 행들에 포함된 픽셀값들의 합과 각 열들에 포함된 픽셀값들의 합 및 원본 블록에 포함된 모든 픽셀들의 합을 기초로 업샘플링된 블록에 포함된 모든 화소값을 추정하는 방법을 사용한다.
따라서, 영상을 업샘플링하기 위해서는 영상이 축소되기 전의 원본 블록의 첫 번째 행들의 DCT 계수값과 첫 번째 열들의 DCT 계수값에 대한 정보를 제공받아야 한다.
영상을 업샘플링하기 위해서는 원본 블록의 첫 번째 행들의 DCT 계수와 첫 번째 열들의 DCT 계수에 대한 정보가 아닌 원본 블록의 첫 번째 행들의 DCT 계수와 첫 번째 열들의 DCT 계수를 기초로 수학식 5를 통해 산출된 원본 블록의 각 열과 각 행에 포함된 픽셀값들의 합에 대한 정보를 제공받는 것도 가능하다.
이하, 본 발명의 실시예에서는 설명의 편의상 원본 블록의 첫 번째 행들의 DCT 계수와 첫 번째 열들의 DCT 계수에 대한 정보를 제공받는 것으로 가정한다.
본 발명의 일실시예에 따른 영상의 리사이징 방법은 블록의 에지 방향이 수평 방향 또는 수직 방향인 블록에만 적용된다. 따라서, 해당 블록의 원본 영상의 DCT 블록의 첫 번째 행과 첫 번째 열의 DCT 계수에 대한 정보를 모든 블록에 대해 제공받을 수 있지만, 블록의 에지 방향이 수평 방향 또는 수직 방향인 블록들에 대해서만 제공받을 수도 있다.
영상의 리사이징을 수행하기 위해 영상이 축소되기 전의 원본 블록의 첫 번째 행의 DCT 계수와 첫 번째 열의 DCT 계수에 관련된 정보는 다양한 방법으로 전달될 수 있다.
각 블록의 데이터 패킷의 일부로 포함되어 전달되는 방법, 모든 블록에 대한 첫 번째 행과 첫 번째 열의 계수에 관련된 정보가 다른 하나의 패킷 정보로 전달되는 방법 등, 원본 블록의 첫 번째 행과 첫 번째 열의 계수에 관련된 정보는 다양한 방법으로 전달되어 영상을 업샘플링하기 위한 기초 정보로 제공될 수 있다.
DCT 도메인 블록의 첫 번째 행과 첫 번째 열의 계수에 관련된 정보는 원본 블록보다 작은 사이즈로 축소된 제1 블록에서 다시 확대된 크기의 제2 블록으로 업샘플링 하기 위해 이용되므로 축소된 제1 블록에 저장되어 있어야 한다. 즉, 원본 영상에서 영상의 크기를 축소시킬 때 원본 DCT 도메인 블록의 첫 번째 행과 첫 번째 열의 계수에 관련된 정보가 축소된 사이즈의 영상에 전달되어야 한다.
업샘플링을 하기 위한 블록(제1 블록)이 수평 방향 에지 또는 수직 방향 에지를 포함한 블록인지 여부를 판별한다(단계 S210).
본 발명의 일실시예에 따른 영상 리사이징 방법은 수평 방향 에지 또는 수직 방향 에지를 포함한 블록에 적용되고 그 외의 에지 방향을 가진 블록에는 기존의 영상 업샘플링 방법이 적용된다. 따라서, 업샘플링을 수행하기 위해 블록의 에지 방향을 우선 판단할 수 있다.
전술한 바와 같이, 에지 방향을 판단하기 위해 원본 블록의 첫 번째 행과 첫 번째 열에 포함된 DCT 계수를 비교하거나, 업샘플링을 하기 위한 대상 블록인 제1 블록의 첫 번째 행과 첫 번째 열에 포함된 DCT 계수를 비교할 수 있다. 즉, 제1 블록 및 원본 블록 중 적어도 하나의 블록의 제1 행과 제1 열의 DCT 계수 정보를 기초로 제1 블록의 에지 방향을 판단한다. 즉, 제1 행에 포함된 DCT 계수의 합과 제1 행에 포함된 DC 계수의 차의 절대값이 소정의 에지 방향 판단 계수값보다 작으면 제1 블록의 에지 방향을 수평 방향으로 판단하고, 제1 열에 포함된 DCT 계수의 합과 제1 열에 포함된 DC 계수의 차의 절대값이 소정의 에지 방향 판단 계수값보다 작으면 제1 블록의 에지 방향을 수직 방향으로 판단할 수 있다.
에지 방향 판단 계수값은 블록의 특성에 따라 고정된 값 및 영상에 따라 적응적으로 변화될 수 있다.
영상에 포함된 블록의 에지 방향을 판단하는 단계는 블록을 리사이징 할 때 마다 수행될 수도 있고, 블록을 리사이징할 때마다 수행되는 것이 아니라 블록의 에지 방향에 대한 정보가 블록의 데이터 패킷에 포함되어 영상을 업샘플링할 때마다 영상에 포함된 블록의 에지 방향을 판단하는 에지 방향 판단 단계가 추가적으로 수행되지 않을 수 있다.
영상에 포함된 블록의 에지 방향을 판단하기 위해서 전술한 수학식 10의 방법을 사용할 수 있으나, 본 발명의 본질에서 벋어나지 않는 한 영상의 에지 방향을 판단하기 위한 기존의 에지 판별 방법도 사용할 수 있다.
원본 블록에서 첫 번째 행과 첫 번째 열의 DCT 계수 행렬을 기초로 업샘플링된 블록(제2 블록)의 픽셀값을 추정한다(단계 S220).
즉, 원본 블록의 제1 행과 제1 열의 DCT 계수 정보를 기초로 제1 블록을 업샘플링한 제2 블록의 픽셀값을 추정한다. 제1 블록 중 수직 방향 에지 또는 수평 방향 에지를 가진 블록에 대해서만 제2 블록의 픽셀값을 추정하고, 제1 블록 중 에지의 방향이 수평 방향 에지 또는 수직 방향 에지가 아닌 블록은 제로 패딩 방법을 사용하여 영상을 업샘플링할 수 있다.
원본 블록의 첫 번째 행과 첫 번째 열의 DCT 계수 행렬을 기초로 수학식 5를 이용하여 원본 블록의 픽셀도메인에서의 각 행과 각 열의 픽셀 값들의 합을 구할 수 있다.
산출된 원본 블록의 픽셀 도메인에서의 각 행과 각 열에 포함된 픽셀값의 합 및 각 행과 각 열의 합을 이용해 산출된 블록에 포함된 전체 픽셀 값의 합을 기초로 업샘플링된 블록(제2 블록)의 픽셀값을 추정할 수 있다.
즉, 원본 블록의 제1 행과 제1 열의 DCT 계수 정보를 기초로 원본 블록의 각 행들에 포함되는 픽셀값들의 합 및 상기 원본 블록의 각 열들에 포함되는 픽셀값들의 합을 산출하고, 원본 블록의 각 행들에 포함되는 픽셀값들의 합, 원본 블록의 각 열들에 포함되는 픽셀값들의 합 및 원본 블록에 포함되는 모든 픽셀값들의 합을 기초로 상기 제2 블록의 픽셀값을 추정할 수 있다.
전체 픽셀 값의 합을 기초로 업샘플링된 블록(제2 블록)의 픽셀값은 수학식 9에서 설명한 바와 같이, 라그랑즈 곱셈자(Lagrange Multiplier)를 이용하여 행렬을 추정하는 방법을 이용할 수 있다. 라그랑즈 곱셈자(Lagrange Multiplier)를 이용하여 업샘플링된 블록(제2 블록)
Figure 112011018024281-pat00115
을 추정하는 방법은 원본 블록에 포함된 픽셀값을 추정하기 위한 하나의 예로써 본 발명의 본질에서 벋어나지 않는 한 업샘플링 블록을 추정하기 위한 다른 방법도 사용할 수 있다.
업샘플링된 블록(제 2블록)은 출력될 수 있다(단계 S230).
단계 S220을 통해 업샘플링된 블록은 디스플레이부와 같은 출력 장치에 의해 출력될 수 있다.
본 발명의 다른 실시예에 따른 영상을 리사이징 하는 방법에 따르면 업샘플링을 하기 위한 블록이 수평 방향 에지 또는 수직 방향 에지를 포함한 블록인지 여부를 원본 블록의 첫 번째 행 및 첫 번째 열의 DCT 계수값을 기초로 판별하고, 수평 방향 에지 또는 수직 방향 에지를 포함한 블록인 경우, 원본 영상의 DCT 블록에서 첫 번째 행과 첫 번째 열의 DCT 계수 행렬을 제공받고 원본 영상의 DCT 블록에서 첫 번째 행과 첫 번째 열의 DCT 계수 행렬을 기초로 업샘플링된 제2 블록의 픽셀값을 추정한다. 수평 방향 에지 또는 수직 방향 에지를 포함한 블록이 아닌 경우, 기존의 영상 업샘플링 방법을 사용할 수 있다. 즉, 도 2의 단계 S210과 단계 S200이 역으로 수행될 수 있다.
도 3는 본 발명의 또 다른 실시예에 따른 영상을 리사이징하는 방법을 나타낸 순서도이다.
도 3를 참조하면, 원본 블록에서 첫 번째 행과 첫 번째 열의 DCT 계수 행렬을 제공받고(단계 S300), 제공된 영상이 축소되기 전의 원본 블록의 각 행들에 포함된 픽셀값들의 합과 각 열들에 포함된 픽셀값들의 합 및 원본 블록에 포함된 모든 픽셀들의 합을 기초로 업샘플링된 블록(제2 블록)의 픽셀값을 추정한 후(단계 S310), 제2 블록의 에지 방향을 판단하는 단계(단계 S320)가 수행될 수 있다.
제2 블록의 에지를 판단하여 수평 방향 또는 수직 방향 에지를 가진 블록의 경우, 본 발명의 일실시예에 따른 영상의 업샘플링 방법을 적용하고 그 외의 경우, 기존의 영상 업샘플링 방법 중 하나를 선택하여 사용할 수 있다(단계 S330).
업샘플링된 영상을 출력한다(단계 S340).
본 발명의 일실시예에 따른 영상 업샘플링 방법 및 기존의 영상 업샘플링 방법을 사용하여 리사이징 된 영상을 출력할 수 있다.
즉, 도 3에 따른 영상 업샘플링 방법은 도 2와 달리 블록의 에지를 판단하는 단계가 영상의 업샘플링 후에 수행될 수 있다.
예를 들어, 모든 블록의 픽셀값을 본 발명의 일실시예에 따른 블록의 픽셀값 추정 방법을 사용하여 모든 블록을 업샘플링 시킨 후, 추정된 블록의 픽셀값을 기초로 픽셀값을 이용한 블록 에지 방향 판단 방법을 사용해 블록의 에지 방향을 판단한 후, 수평 및 수직 방향의 에지를 가진 블록에만, 본 발명의 일실시예에 따른 영상 업샘플링 방법을 적용하고, 그 외의 블록들은 기존의 영상 업샘플링 방법을 사용하여 영상을 리사이징하는 것도 가능하다.
도 4는 본 발명의 일실시예에 따른 영상 리사이징 장치를 나타낸 개념도이다.
도 4를 참조하면, 본 발명의 일실시예에 따른 영상 리사이징 장치(400)는 입력부(410), 블록 에지 판별부(420), 리사이징 영상 픽셀 추정부(430), 출력부(440)를 포함할 수 있다.
각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합 및 분리된 실시예의 경우도 본 발명의 본질에서 벋어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성부는 아니고 단지 성능을 향상 시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
입력부(410)는 업샘플링을 하기 위해 제1 블록의 DCT 계수 정보, 원본 블록의 첫 번째 행 및 열의 DCT 계수 정보 및 기타 영상 복원을 위한 제어 정보를 제공받을 수 있다.
블록 에지 판별부(420)는 제1 블록 또는 원본 블록의 에지 방향을 판단할 수 있다. 본 발명에 따른 영상 리사이징 방법은 제1 블록 중 수직 방향 또는 수평 방향 에지를 가진 블록에만 적용되기 때문에, 제1 블록 또는 원본 블록의 에지 방향을 판단하는 단계가 영상의 픽셀값을 추정하는 단계 전에 수행될 수 있다.
원본 블록에 미리 해당 블록의 에지 방향에 관련된 정보가 저장되어 해당 정보를 바로 활용하여 에지의 방향을 판단할 수 있는 경우, 블록 에지 판별부(420)는 영상 리사이징 장치(400)에 포함되지 않을 수 있다.
리사이징 영상 픽셀 추정부(430)는 업샘플링된 영상 블록의 픽셀값을 추정할 수 있다.
전술한 바와 같이, 본 발명의 일실시예에 따른 영상 리사이징 방법은 원본 블록의 첫 번째 행 및 첫 번째 열의 DCT 계수 정보를 기초로 원본 블록의 픽셀 도메인 블록의 각 열 또는 각 행에 포함된 픽셀값들의 합에 대한 정보를 산출하고, 산출된 원본 영상의 픽셀 도메인 블록의 각 열 또는 각 행에 포함된 픽셀값들의 합에 대한 정보를 이용하여 원본 블록에 포함된 전체 픽셀값 정보를 추정한다.
원본 블록 또는 제1 블록의 에지 방향이 수직 또는 수평 방향이 아닌 경우, 본 발명의 일실시예에 따른 영상 업샘플링 방법이 아닌 기존의 영상 리사이징 방법을 사용하여 영상을 추정할 수 있다.
출력부(440)는 리사이징 영상 픽셀 추정부(430)에서 제1 블록을 업샘플링한 제2 블록으로 이루어진 영상을 출력할 수 있다.
도 5는 본 발명의 일실시예에 따른 영상 리사이징 장치를 나타낸 개념도이다.
도 5를 참조하면, 본 발명의 일실시예에 따른 영상을 리사이징하는 방법을 수행하는 장치(500)는 입력부(510), 제1 리사이징 영상 픽셀 추정부(520), 블록 에지 판별부(530), 제2 리사이징 영상 픽셀 추정부(540), 출력부(550)를 포함할 수 있다.
도 5는 도 3에 개시된 영상 리사이징 방법을 구현한 장치를 나타낸 개념도이다. 도 4와 달리 블록 에지 판별부(530)가 제1 리사이징 영상 픽셀 추정부(520)의 후단 및 제2 리사이징 영상 픽셀 추정부(540)의 전단에 배치될 수 있다.
입력부(510)는 업샘플링을 하기 위해 현재 축소된 제1 블록에 포함된 블록의 DCT 계수 정보, 원본 블록의 DCT 도메인 블록의 첫 번째 행 및 열의 DCT 계수 정보 및 기타 영상 복원을 위한 제어 정보를 제공받을 수 있다.
제1 리사이징 영상 픽셀 추정부(520)는 입력부(510)에서 제공받은 정보를 기초로 본 발명의 일실시예에 따른 픽셀값 추정 방법에 의한 업샘플링을 수행할 수 있다.
블록 에지 판별부(530)은 제1 리사이징 영상 픽셀 추정부(520)에서 제공받은 제2 블록 정보를 기초로 블록의 에지 방향이 수직 방향 또는 수평 방향인지 여부를 판단할 수 있다. 블록 에지 판별부(530)에서 블록의 에지 방향이 수직 방향 또는 수평 방향을 판단된 경우, 해당 블록은 제1 리사이징 영상 픽셀 추정부(520)에서 추정된 픽셀값을 적용하고 그 외의 에지 방향을 가지고 있는 블록은 제2 리사이징 영상 픽셀 추정부에서 기존의 영상 업샘플링 방법을 이용하여 업샘플링된 픽셀값을 추정할 수 있다.
제2 리사이징 영상 픽셀 추정부(540)는 블록 에지 판별부에 의해 에지 방향이 수직 또는 수평이 아닌 것으로 판별된 블록에 대해 기존의 영상 업샘플링 방법을 적용하여 영상을 업샘플링 할 수 있다.
출력부(550)는 제1 리사이징 영상 픽셀 추정부(520) 및 제2 리사이징 영상 픽셀 추정부(540)에 의해 업샘플링된 영상 블록을 출력할 수 있다.
도 6은 본 발명의 일실시예에 따른 영상 리사이징 방법의 성능을 테스트한 표이다.
도 6을 참조하면, 본 발명의 일실시예에 따른 영상 리사이징 방법과 기존의 영상 리사이징 방법으로 영상을 업샘플링 한 경우의 업샘플링된 영상의 PSNR 값과 영상 업샘플링에 걸리는 처리 시간을 비교한 표이다.
도 7은 본 발명의 일실시예에 따른 영상 리사이징 방법을 테스트하는데 사용된 이미지들로 이미지의 명칭은 순서대로 House1, House2, Airplane, Boat, Peppers, Toys이다.
도 6을 참조하면, 표의 가로축에 쓰여진 House1, House2, Airplane, Boat, Peppers, Toys는 테스트에 사용된 영상의 종류를 나타내고 Average 값은 본 발명과 기존의 영상 리사이징 방법의 PSNR 및 처리 시간의 평균값을 나타낸다.
표의 세로축에 쓰여진 DA, MM_TR, MM_SB, ProposedBest, ProposedAvg는 기존의 영상 리사이징 방법과 본 발명의 일실시예에 따른 영상 리사이징 방법을 나타낸 것이다. DA, MM_TR, MM_SB는 기존의 영상 리상이징 방법을 나타낸 것으로써 DA는 Dugad and Ahuja가 그들의 논문에서 제안한 영상의 리사이징 방법(이하 DA 방법이라고 함.), MM_TR은 Mukherjee and Mitra가 그들의 논문에서 제안한 영상의 리사이징 방법 중 Low-Pass Truncated Approximation 방법을 사용한 영상의 리사이징 방법(이하, MM_TR 방법이라고 함.) MM_SB는 Mukherjee and Mitra가 그들의 논문에서 제안한 영상 리사이징 방법 중 Subband Approximation 방법을 사용한 영상의 리사이징 방법(이하, MM_SB 방법이라고 함), ProposedBest는 본 발명의 일실시예에 따른 영상의 리사이징 방법으로 해당 영상에서 최대의 PSNR값을 가지는 최적 에지 방향 판단 계수
Figure 112011018024281-pat00116
를 블록의 에지 방향 판단 시에 적용하여 영상을 리사이징시킨 영상의 리사이징 방법,
ProposedAvg는 본 발명의 일실시예에 따른 영상의 리사이징 방법으로 최대의 PSNR값을 가지는 최적 에지 방향 판단 계수
Figure 112011018024281-pat00117
를 여러 영상에 대하여 구한 후 각 영상에 대한 최적 에지 방향 판단 계수
Figure 112011018024281-pat00118
의 최적치의 평균값을 산출한 값을 적용한 영상의 리사이징 방법을 나타낸다.
표의 우측의 Average값을 기초로 기존의 영상 리사이징 방법들(DA, MM_TR, MM_SB)을 사용하여 복수의 영상을 리사이징한 후의 PSNR 값 및 리사이징 시간의 평균값과 본 발명의 일실시예에 따른 영상 리사이징 방법을 사용하여 복수의 영상을 리사이징한 후 PSNR 값 및 리사이징 시간의 평균값을 비교하면, 본 발명의 일실시예에 따른 영상 리사이징 방법들의 PSNR값이 기존의 방법들에 비해 3~4dB 정도 높고, 영상을 리사이징하는데 걸린 시간은 기존의 영상 리사이징시 소요된 시간보다 70% 정도 감소된 것을 알 수 있다.
도 8 및 도 9는 본 발명의 일실시예에 따른 영상 리사이징 방법을 사용하여 영상을 리사이징한 이미지 및 기존의 영상 리사이징 방법을 사용하여 영상을 리사이징한 이미지들이다.
도 8은 영상 리사이징을 적용한 House 1 이미지의 일부를 확대하여 나타낸 이미지들, 도 9는 영상 리사이징을 적용한 House 2 이미지의 일부를 확대하여 나타낸 이미지들이다.
도 8 및 9에서 상단 좌측은 원본 이미지, 상단 우측은 DA 방법을 사용하여 리사이징한 영상의 이미지, 중단 좌측은 MM 방법 중 TR 방법을 사용하여 영상을 리사이징한 이미지, 중단 우측은 MM 방법 중 SB 방법을 사용하여 영상을 리사이징한 이미지, 하단 좌측은 본 발명의 실시예에 따른 영상 리사이징 방법 중 블록의 에지를 판단하기 위한 에지 방향 판단 계수
Figure 112011018024281-pat00119
를 복수의 영상에서 구한 최적의 에지 방향 판단 계수
Figure 112011018024281-pat00120
의 평균값을 사용하여 영상을 리사이징한 이미지, 하단 우측은 본 발명의 실시예에 따른 영상 리사이징 방법 중 해당 영상(도 8의 경우, House 1, 도 9의 경우 House 2, 도 10의 경우, Toys)에서 구한 최적의 에지 방향 판단 계수
Figure 112011018024281-pat00121
를 사용하여 영상을 리사이징한 이미지를 나타낸다.
도 8 및 9를 참조하면, 본 발명의 일실시예에 따른 리사이징 방법을 제외한 경우, 각각의 영상 주변에 물결무늬와 같은 링잉 효과(Ringing Effect)가 발생한 것을 볼 수 있다. 하지만, 본 발명의 일실시예에 따른 영상 리사이징 방법을 사용한 경우, 링잉 효과가 발생하지 않은 것을 볼 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (16)

  1. 영상의 리사이징 방법에 있어서,
    제1 블록에 대응되는 원본 블록의 제1 행과 제1 열의 DCT(Discrete Cosine Transform) 계수 정보를 제공받는 단계; 및
    상기 원본 블록의 제1 행과 제1 열의 DCT 계수 정보를 기초로 상기 제1 블록 중 수직 방향 에지 또는 수평 방향 에지를 가진 블록에 대해서만 업샘플링을 수행하여 제2 블록의 픽셀값을 추정하는 단계를 포함하는 영상의 리사이징 방법.
  2. 제1항에 있어서, 상기 영상의 리사이징 방법은,
    상기 제1 블록 및 상기 원본 블록 중 적어도 하나의 블록의 제1 행과 제1 열의 DCT 계수 정보를 기초로 상기 제1 블록의 에지 방향을 판단하는 단계를 더 포함하는 영상의 리사이징 방법.
  3. 제2항에 있어서, 상기 제1 블록 및 상기 원본 블록 중 적어도 하나의 블록의 제1 행과 제1 열의 DCT 계수 정보를 기초로 상기 제1 블록의 에지 방향을 판단하는 단계는,
    상기 제1 행에 포함된 DCT 계수의 합과 상기 제1 행에 포함된 DC 계수의 차의 절대값이 소정의 에지 방향 판단 계수값보다 작으면 상기 제1 블록의 에지 방향을 수평 방향으로 판단하고, 상기 제1 열에 포함된 DCT 계수의 합과 상기 제1 열에 포함된 DC 계수의 차의 절대값이 소정의 에지 방향 판단 계수값보다 작으면 상기 제1 블록의 에지 방향을 수직 방향으로 판단하는 것을 특징으로 하는 영상의 리사이징 방법.
  4. 제3항에 있어서, 상기 에지 방향 판단 계수값은,
    고정된 값 및 영상에 따라 적응적으로 변화되는 값 중 적어도 하나인 것을 특징으로 하는 영상의 리사이징 방법.
  5. 삭제
  6. 제1항에 있어서, 상기 영상의 리사이징 방법은,
    상기 제1 블록 중 에지의 방향이 수평 방향 에지 또는 수직 방향 에지가 아닌 블록은 제로 패딩 방법을 사용하여 영상을 업샘플링하는 단계; 및
    상기 제1 블록을 기초로 업샘플링된 제2 블록을 출력하는 단계를 포함하는 영상의 리사이징 방법.
  7. 제1항에 있어서, 상기 원본 블록의 제1 행과 제1 열의 DCT 계수 정보를 기초로 상기 제1 블록 중 수직 방향 에지 또는 수평 방향 에지를 가진 블록에 대해서만 업샘플링을 수행하여 제2 블록의 픽셀값을 추정하는 단계는,
    상기 원본 블록의 제1 행과 제1 열의 DCT 계수 정보를 기초로 상기 원본 블록의 각 행들에 포함되는 픽셀값들의 합 및 상기 원본 블록의 각 열들에 포함되는 픽셀값들의 합을 산출하는 단계; 및
    상기 원본 블록의 각 행들에 포함되는 픽셀값들의 합, 상기 원본 블록의 각 열들에 포함되는 픽셀값들의 합 및 상기 원본 블록에 포함되는 모든 픽셀값들의 합을 기초로 상기 제2 블록의 픽셀값을 추정하는 단계를 포함하는 영상의 리사이징 방법.
  8. 제7항에 있어서, 상기 원본 블록의 각 행들에 포함되는 픽셀값들의 합, 상기 원본 블록의 각 열들에 포함되는 픽셀값들의 합 및 상기 원본 블록에 포함되는 모든 픽셀값들의 합을 기초로 상기 제2 블록의 픽셀값을 추정하는 단계는,
    라그랑즈 곱셉자(Lagrange Multiplier)를 사용하는 것을 특징으로 하는 영상의 리사이징 방법.
  9. 영상의 리사이징 장치에 있어서,
    제1 블록에 대응되는 원본 블록의 제1 행과 제1 열의 DCT 계수 정보를 제공받는 입력부; 및
    상기 입력부로부터 제공받은 상기 제1 블록에 대응되는 원본 블록의 제1 행과 제1 열의 DCT 계수 정보를 기초로 상기 제1 블록 중 수직 방향 에지 또는 수평 방향 에지를 가진 블록에 대해서만 업샘플링을 수행하여 제2 블록의 픽셀값을 추정하는 리사이징 영상 픽셀 추정부를 포함하는 영상의 리사이징 장치.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
KR1020110022089A 2011-03-11 2011-03-11 영상 리사이징 방법 및 영상 리사이징 장치 KR101217919B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110022089A KR101217919B1 (ko) 2011-03-11 2011-03-11 영상 리사이징 방법 및 영상 리사이징 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110022089A KR101217919B1 (ko) 2011-03-11 2011-03-11 영상 리사이징 방법 및 영상 리사이징 장치

Publications (2)

Publication Number Publication Date
KR20120104033A KR20120104033A (ko) 2012-09-20
KR101217919B1 true KR101217919B1 (ko) 2013-01-02

Family

ID=47111791

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110022089A KR101217919B1 (ko) 2011-03-11 2011-03-11 영상 리사이징 방법 및 영상 리사이징 장치

Country Status (1)

Country Link
KR (1) KR101217919B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7177715B2 (ja) * 2019-01-29 2022-11-24 キヤノンメディカルシステムズ株式会社 画像処理装置及び画像処理方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100190039B1 (ko) * 1996-05-15 1999-06-01 윤종용 고해상도 영상 확대방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100190039B1 (ko) * 1996-05-15 1999-06-01 윤종용 고해상도 영상 확대방법 및 장치

Also Published As

Publication number Publication date
KR20120104033A (ko) 2012-09-20

Similar Documents

Publication Publication Date Title
JP2015522988A (ja) 連続座標系を活用する動き補償および動き予測
EP3637363B1 (en) Image processing device, image processing method and image processing program
JP5015129B2 (ja) 実時間に適応した量子化制御方法および量子化制御システム
Pascual et al. Adjustable compression method for still JPEG images
US8687905B2 (en) Method and device for selecting optimal transform matrices for down-sampling DCT image
US8903168B2 (en) Method and device for selecting transform matrices for down-sampling DCT image using learning with forgetting algorithm
JP4780112B2 (ja) 画像処理装置、画像伝送装置及び方法並びにそのプログラム及び表示装置
KR101217919B1 (ko) 영상 리사이징 방법 및 영상 리사이징 장치
JP6202725B2 (ja) 画像差分量算出装置、画像符号化装置及びプログラム
JP5514132B2 (ja) 画像縮小装置、画像拡大装置、及びこれらのプログラム
JP6402088B2 (ja) 映像品質推定装置、映像品質推定方法、及びプログラム
EP2153403B1 (en) Method and device for down-sampling a dct image in the dct domain
Sinha et al. Performance analysis of high resolution images using interpolation techniques in multimedia communication system
JP5990126B2 (ja) 主観画質推定装置、主観画質推定方法、及びプログラム
WO2011160225A1 (en) A method for downsampling images
JP5331643B2 (ja) 動きベクトル検出装置及びプログラム
JP6555814B2 (ja) 直交変換処理装置、逆直交変換処理装置、符号化装置、復号装置、及びコンピュータプログラム
JP2016076758A (ja) 再生装置、符号化装置、および再生方法
KR102645739B1 (ko) 딥러닝을 이용한 임의배율 초해상도 시스템 및 이를 이용한 초해상화 방법
JP5087368B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP3835697B2 (ja) 伝送画質監視装置
KR20230023460A (ko) 어플리케이션에 따라 ai 기반으로 영상을 재생하는 전자 장치 및 이에 의한 영상 재생 방법
KR20160081652A (ko) 디인터레이싱 방법 및 장치
JP6071618B2 (ja) 画像処理装置及びプログラム
Park et al. On the Relationship of Color Image Compression and Gamut: JPEG and JPEG2000

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151012

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161004

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180516

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181010

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191224

Year of fee payment: 8