KR101845476B1 - 영상 변환 장치 및 그 영상 변환 방법 - Google Patents

영상 변환 장치 및 그 영상 변환 방법 Download PDF

Info

Publication number
KR101845476B1
KR101845476B1 KR1020160082526A KR20160082526A KR101845476B1 KR 101845476 B1 KR101845476 B1 KR 101845476B1 KR 1020160082526 A KR1020160082526 A KR 1020160082526A KR 20160082526 A KR20160082526 A KR 20160082526A KR 101845476 B1 KR101845476 B1 KR 101845476B1
Authority
KR
South Korea
Prior art keywords
resolution image
image
low
category
conversion
Prior art date
Application number
KR1020160082526A
Other languages
English (en)
Other versions
KR20170003476A (ko
Inventor
김문철
최재석
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to US15/741,098 priority Critical patent/US10839483B2/en
Priority to PCT/KR2016/007080 priority patent/WO2017003240A1/ko
Publication of KR20170003476A publication Critical patent/KR20170003476A/ko
Application granted granted Critical
Publication of KR101845476B1 publication Critical patent/KR101845476B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403—Edge-driven scaling; Edge-based scaling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상 변환 장치 및 그 영상 변환 방법에 관한 것이다. 개시된 영상 변환 방법은 저해상도 영상을 분할하여 N(단, N은 2이상의 자연수)개의 화소를 가지는 복수의 저해상도 영상 패치를 생성하는 단계와, 복수의 저해상도 영상 패치를 복수의 영상 카테고리로 분류하는 단계와, 복수의 저해상도 영상 패치를 기 저장된 복수의 변환 매트릭스 중에서 영상 카테고리별로 대응하는 변환 커널을 이용해 변환하여, N보다 적은 L(단, L은 자연수)개의 화소를 가지는 복수의 고해상도 영상 패치를 생성하는 단계와, 복수의 고해상도 영상 패치를 배열하여 상기 고해상도 영상을 생성하는 단계를 포함한다. 본 발명의 실시예에 의하면, 종래 기술과 비교할 때에 연산량이 줄어들며, 이 때문에 저복잡도 하드웨어로 구현할 수 있다. 그리고, 영상 신호의 특성 정보와 무관하게 고화질의 고해상도 영상을 생성할 수 있다.

Description

영상 변환 장치 및 그 영상 변환 방법{IMAGE CONVERSION APPARATUS AND IMAGE CONVERSION METHOD THEREOF}
본 발명은 영상 변환 장치 및 그 영상 변환 방법에 관한 것이다. 더욱 상세하게는 저해상도 영상을 상대적으로 해상도가 더 높은 고해상도 영상으로 변환하는 영상 변환 장치 및 그 영상 변환 방법에 관한 것이다.
주지하는 바와 같이, 저해상도 영상을 상대적으로 해상도가 더 높은 고해상도 영상으로 변환하는 것을 초해상화(super resolution) 또는 업스케일링(up-scaling)이라 한다.
종래 기술에 의하면, 저해상도 영상을 고해상도 영상으로 변환함에 있어서, 저해상도 영상을 바이큐빅(bi-cubic) 등의 보간과정을 통해 고해상도로 확장하여 고해상도 영상으로 변환한다. 그리고, 저 화질 수준에 머물러 있는 고해상도 영상에 대해 부동소수점 매트릭스(floating-point matrix) 등과 같은 실수 변환 커널(kernel)을 사용해 반복적으로 화질을 개선시켜서 최종적으로 고화질의 고해상도 영상을 생성한다.
그러나, 종래 기술은 저해상도 영상에 대한 보간과정이 필요하고, 실수 변환 커널을 사용하기 때문에 많은 연산이 요구되며, 이 때문에 저복잡도 하드웨어로는 구현하기 어렵다.
또한, 영상 신호의 에지나 텍스처 등과 같은 특성 정보를 이용하지 않거나 충분히 활용하지 않아서 특정한 영상 신호 특성을 가지는 저해상도 영상에 대해서는 만족스러운 고화질의 고해상도 영상을 생성할 수가 없는 문제점이 있었다.
한국 공개특허공보 제10-2015-0031448호, 공개일자 2015년 03월 24일.
본 발명의 실시예에 따르면, 저해상도 영상에 대한 보간과정과 반복적인 화질 개선 처리를 거치지 않고 저해상도 영상을 곧바로 고해상도 영상으로 변환하는 영상 변환 장치 및 그 영상 변환 방법을 제공한다.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 제 1 관점에 따르면, 저해상도 영상을 상대적으로 해상도가 더 높은 고해상도 영상으로 변환하는 영상 변환 장치에 의한 영상 변환 방법은, 상기 저해상도 영상을 분할하여 N(단, N은 2이상의 자연수)개의 화소를 가지는 복수의 저해상도 영상 패치를 생성하는 단계와, 상기 복수의 저해상도 영상 패치를 복수의 영상 카테고리로 분류하는 단계와, 상기 복수의 저해상도 영상 패치를 기 저장된 복수의 변환 매트릭스 중에서 상기 영상 카테고리별로 대응하는 변환 커널을 이용해 변환하여, 상기 N보다 적은 L(단, L은 자연수)개의 화소를 가지는 복수의 고해상도 영상 패치를 생성하는 단계와, 상기 복수의 고해상도 영상 패치를 배열하여 상기 고해상도 영상을 생성하는 단계를 포함할 수 있다.
상기 복수의 영상 카테고리로 분류하는 단계는, 상기 저해상도 영상 패치의 에지 방향, 에지 강도, 텍스처, 밝기, 1차 이상의 미분 신호, 컬러, 객체 또는 물체 종류, 주파수 중에서 적어도 하나 이상의 정보를 이용하여 분류할 수 있다.
상기 복수의 영상 카테고리로 분류하는 단계는, 상기 저해상도 영상 패치에 포함된 상기 N개의 화소를 복수의 화소 그룹으로 분류하는 단계와, 상기 화소 그룹을 대상으로 하여 상기 에지 방향이 기 설정된 복수의 방향 카테고리 중에서 어느 방향 카테고리에 해당하는지를 파악하는 단계와, 파악된 상기 화소 그룹의 방향 카테고리를 기초로 하여 상기 저해상도 영상 패치를 상기 복수의 영상 카테고리 중에서 어느 하나의 영상 카테고리로 분류하는 단계를 포함할 수 있다.
상기 N개의 화소 중에서 일부는 상기 복수의 화소 그룹 중에서 서로 다른 화소 그룹에 중복하여 분류될 수 있다.
상기 어느 방향 카테고리에 해당하는지를 파악하는 단계는, 에지 필터를 이용할 수 있다.
상기 에지 필터는, 수직 화소 변환 매트릭스와 수평 화소 변환 매트릭스를 포함할 수 있다.
상기 어느 방향 카테고리에 해당하는지를 파악하는 단계는, 상기 수직 화소 변환 매트릭스와 상기 수평 화소 변환 매트릭스를 이용하여, 수평방향 카테고리, 수직방향 카테고리, 수평방향과 수직방향이 직교하는 직교좌표평면 상에서 일사분면과 삼사분면을 가로지르는 제 1 사선방향 카테고리, 상기 직교좌표평면 상에서 이사분면과 사사분면을 가로지르는 제 2 사선방향 카테고리, 방향성을 가지지 않는 무방향 카테고리 중에서 어떤 방향 카테고리에 해당하는 것인지를 파악할 수 있다.
상기 어느 방향 카테고리에 해당하는지를 파악하는 단계는, 상기 에지 방향의 크기값과 각도값을 산출한 후, 상기 크기값이 기 설정된 임계값 미만이면 상기 무방향 카테고리로 결정하고, 상기 크기값이 상기 임계값 이상이면 상기 각도값에 따라 상기 수평방향 카테고리, 상기 수직방향 카테고리, 상기 제 1 사선방향 카테고리, 상기 제 2 사선방향 카테고리 중에서 어느 하나의 방향 카테고리로 결정할 수 있다.
상기 복수의 영상 카테고리로 분류하는 단계는, 상기 N개의 화소를 제 1 화소 그룹 내지 제 4 화소 그룹으로 분류하고, 상기 제 1 화소 그룹 내지 제 4 화소 그룹을 대상으로 하여 상기 방향 카테고리를 결정한 후, 5진수를 이용하여 상기 저해상도 영상 패치를 625개의 상기 영상 카테고리 중에서 어느 한 영상 카테고리로 분류할 수 있다.
상기 변환 커널을 이용해 변환하는 상기 저해상도 영상 패치는, 확대되지 않은 원본 크기일 수 있다.
상기 복수의 변환 커널은, 상기 저해상도 영상 패치에 대응하는 훈련용 영상 패치와 상기 고해상도 영상 패치에 대응하는 정답 영상 패치의 쌍을 이용하여 계산되고, 상기 훈련용 영상 패치는, 확대되지 않은 원본 크기일 수 있다.
상기 복수의 변환 커널은, 선형 변환 매트릭스 또는 비선형 변환 매트릭스일 수 있다.
상기 복수의 고해상도 영상 패치를 생성하는 단계는, 정수값으로 이루어진 상기 선형 변환 매트릭스를 상기 저해상도 영상 패치에 곱하고 비트 시프트 동작으로 상기 고해상도 영상 패치의 화소값을 구할 수 있다.
상기 고해상도 영상을 생성하는 단계는, 상기 저해상도 영상 패치에 포함된 상기 N개의 화소를 상기 고해상도 영상에 중첩시켜 볼 때에, 상기 N개의 화소 중에서 중앙에 있는 화소의 위치를 중심으로 하여 주변 위치에 상기 고해상도 영상 패치에 포함된 L개의 화소가 배치될 수 있다.
상기 고해상도 영상을 생성하는 단계는, 상기 N의 9이고 상기 L이 4일 때에, 상기 저해상도 영상 패치는 3×3 다각형이며, 상기 고해상도 영상 패치는 2×2 다각형일 수 있다.
상기 고해상도 영상을 생성하는 단계는, 상기 복수의 고해상도 영상 패치를 중첩되지 않게 배열하여 상기 고해상도 영상을 생성할 수 있다.
본 발명의 제 2 관점에 따르면, 상기의 영상 변환 방법을 프로세서가 수행하도록 하기 위하여 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램을 제공할 수 있다.
본 발명의 제 3 관점에 따르면, 상기의 영상 변환 방법을 프로세서가 수행하도록 하는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 기록매체를 제공할 수 있다.
본 발명의 제 4 관점에 따르면, 저해상도 영상을 상대적으로 해상도가 더 높은 고해상도 영상으로 변환하는 영상 변환 장치는, 상기 저해상도 영상을 입력받는 입력부와, 입력된 상기 저해상도 영상을 변환하여 상기 고해상도 영상으로 생성하는 처리부와, 생성된 상기 고해상도 영상을 출력하는 출력부를 포함하며, 상기 처리부는, 상기 저해상도 영상을 분할하여 N(단, N은 2이상의 자연수)개의 화소를 가지는 복수의 저해상도 영상 패치를 생성하고, 상기 복수의 저해상도 영상 패치를 복수의 영상 카테고리로 분류하며, 상기 복수의 저해상도 영상 패치를 기 저장된 복수의 변환 매트릭스 중에서 상기 영상 카테고리별로 대응하는 변환 커널을 이용해 변환하여, 상기 N보다 적은 L(단, L은 자연수)개의 화소를 가지는 복수의 고해상도 영상 패치를 생성하고, 상기 복수의 고해상도 영상 패치를 배열하여 상기 고해상도 영상을 생성할 수 있다.
상기 처리부는, 상기 복수의 고해상도 영상 패치를 중첩되지 않게 배열하여 상기 고해상도 영상을 생성할 수 있다.
본 발명의 실시예에 의하면, 저해상도 영상에 대한 보간과정과 반복적인 화질 개선 처리를 거치지 않고 저해상도 영상을 곧바로 고해상도 영상으로 변환한다. 그러므로, 보간과정이 필요한 종래 기술과 비교할 때에 연산량이 줄어들며, 이 때문에 저복잡도 하드웨어로 구현할 수 있다.
더욱이, 저해상도 영상을 특성 정보에 따라 복수의 영상 카테고리로 분류한 후에 카테고리별로 선정된 정수 변환 커널을 사용하여 고해상도 영상으로 변환할 수 있기 때문에, 연산량을 더욱 줄일 수 있다.
또한, 복수의 고해상도 영상 패치를 배열하여 고해상도 영상을 생성할 때에, 인접하는 고해상도 영상 패치들이 중첩되지 않게 배열함으로써, 중첩 영역에 대한 화소값 계산 등과 같은 추가 연산이 필요하지 않기 때문에, 연산량을 더욱 더 줄일 수 있다.
그리고, 저해상도 영상을 특성 정보에 따라 복수의 영상 카테고리로 분류한 후에 영상 카테고리별로 선정된 변환 커널을 사용하여 고해상도 영상으로 변환하기 때문에, 영상 신호의 특성 정보와 무관하게 고화질의 고해상도 영상을 생성할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 영상 변환 방법을 수행할 수 있는 영상 변환 장치의 블록 구성도이다.
도 2는 본 발명의 실시예에 따른 영상 변환 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 실시예에 따라 에지 방향 정보를 이용하여 영상 카테고리를 분류하는 과정을 설명하기 위한 흐름도이다.
도 4는 본 발명의 실시예에 따라 에지 방향 정보를 이용하여 방향 카테고리를 결정하는 과정을 설명하기 위한 흐름도이다.
도 5는 본 발명의 실시예에 따라 저해상도 영상에서 분할된 저해상도 영상 패치에 이에 적용하는 수직 화소 변환 매트릭스(V)와 수평 화소 변환 매트릭스(H)를 나타낸 도면이다.
도 6은 본 발명의 실시예에 따라 에지 방향 정보를 이용하여 분류하는 방향 카테고리를 나타낸 도면이다.
도 7은 본 발명의 실시예에 따라 저해상도 영상 패치에 변환 커널을 적용하여 고해상도 영상 패치로 변환하는 과정을 나타낸 도면이다.
도 8은 본 발명의 실시예에 따라 복수의 고해상도 영상 패치를 배열하여 고해상도 영상을 생성하는 과정을 나타낸 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 실시예에 따른 영상 변환 방법을 수행할 수 있는 영상 변환 장치의 블록 구성도이다.
이에 나타낸 바와 같이 실시예에 따른 영상 변환 장치(100)는 입력부(110), 처리부(120), 출력부(130)를 포함한다.
입력부(110)는 저해상도 영상을 입력받아 처리부(120)에게 제공한다. 예컨대, 입력부(110)는 직렬 포트(serial port), USB(Universal Serial Bus) 포트 등과 같은 각종 통신 인터페이스로 구현하거나 데이터 스트림을 수신할 수 있는 수신기 등으로 구현할 수 있다.
처리부(120)는 입력부(110)로부터 제공되는 저해상도 영상을 고해상도 영상으로 변환하는 처리를 수행한다. 이러한 처리부(120)는 중앙 처리 장치(central processing unit) 등과 같은 프로세서로 구현할 수 있다.
이러한 처리부(120)는 저해상도 영상을 분할하여 N(단, N은 2이상의 자연수)개의 화소를 가지는 복수의 저해상도 영상 패치를 생성한다. 이어서, 복수의 저해상도 영상 패치를 복수의 영상 카테고리로 분류한다. 그리고, 복수의 저해상도 영상 패치를 기 저장된 복수의 변환 매트릭스 중에서 영상 카테고리별로 대응하는 변환 커널을 이용해 변환하여, N보다 적은 L(단, L은 자연수)개의 화소를 가지는 복수의 고해상도 영상 패치를 생성한다. 또, 복수의 고해상도 영상 패치를 배열하여 고해상도 영상을 생성한다.
처리부(120)는 복수의 저해상도 영상 패치를 복수의 영상 카테고리로 분류할 때에, 저해상도 영상 패치의 에지 방향, 에지 강도, 텍스처, 밝기, 1차 이상의 미분 신호, 컬러, 객체 또는 물체 종류, 주파수 중에서 적어도 하나 이상의 정보를 이용하여 분류할 수 있다.
예컨대, 처리부(120)는 에지 방향 정보를 이용하여 영상 카테고리를 분류할 수 있다. 이 경우라면, 저해상도 영상 패치에 포함된 N개의 화소를 복수의 화소 그룹으로 분류한다. 이때, N개의 화소 중에서 일부는 복수의 화소 그룹 중에서 서로 다른 화소 그룹에 중복하여 분류될 수 있다. 이어서, 화소 그룹을 대상으로 하여 에지 방향이 기 설정된 복수의 방향 카테고리 중에서 어느 방향 카테고리에 해당하는지를 파악한다. 그리고, 파악된 화소 그룹의 방향 카테고리를 기초로 하여 저해상도 영상 패치를 복수의 영상 카테고리 중에서 어느 하나의 영상 카테고리로 분류한다.
여기서, 처리부(120)는 화소 그룹의 방향 카테고리를 파악하기 위해 수직 화소 변환 매트릭스와 수평 화소 변환 매트릭스를 포함하는 에지 필터를 이용할 수 있다.
예컨대, 처리부(120)는 방향 카테고리를 총 5가지로 설정한 상태에서 수직 화소 변환 매트릭스와 수평 화소 변환 매트릭스를 이용하여, 화소 그룹의 에지 방향 성분이 어느 방향 카테고리에 해당하는지를 파악할 수 있다. 5종의 방향 카테고리는 수평방향 카테고리와 수직방향 카테고리를 포함할 수 있다. 그리고, 수평방향과 수직방향이 직교하는 직교좌표평면 상에서 일사분면과 삼사분면을 가로지르는 제 1 사선방향 카테고리를 포함할 수 있다. 또, 직교좌표평면 상에서 이사분면과 사사분면을 가로지르는 제 2 사선방향 카테고리를 포함할 수 있다. 그리고, 방향성을 가지지 않는 무방향 카테고리를 포함할 수 있다.
예컨대, 처리부(120)는 화소 그룹의 방향 카테고리를 파악할 때에 기 설정된 임계값을 이용할 수 있다. 에지 방향의 크기값과 각도값을 산출한 후, 크기값이 기 설정된 임계값 미만이면 무방향 카테고리로 결정할 수 있다. 하지만, 크기값이 임계값 이상이면 각도값에 따라 수평방향 카테고리, 수직방향 카테고리, 제 1 사선방향 카테고리, 제 2 사선방향 카테고리 중에서 어느 하나의 방향 카테고리로 결정할 수 있다.
한편, 처리부(120)가 복수의 저해상도 영상 패치를 기 저장된 복수의 변환 매트릭스 중에서 영상 카테고리별로 대응하는 변환 커널을 이용해 변환할 때에 선형 변환 매트릭스 또는 비선형 변환 매트릭스가 변환 커널로서 이용될 수 있다. 여기서, 변환 커널에 의해 이용되는 저해상도 영상 패치는 확대되지 않은 원본 크기일 수 있다. 그리고, 처리부(120)에 의해 이용되는 복수의 변환 커널은 별도의 훈련과정을 통해 얻을 수 있다. 처리부(120)는 저해상도 영상 패치에 대응하는 훈련용 영상 패치와 고해상도 영상 패치에 대응하는 정답 영상 패치의 쌍을 이용한 훈련을 통해 복수의 변환 커널을 계산해 낼 수 있다. 여기서, 처리부(120)에 의해 이용되는 훈련용 영상 패치는 확대되지 않은 원본 크기일 수 있다. 확대되지 않은 원본 크기라 함은 보간과정을 거치지 않은 것을 의미할 수 있다.
또한, 처리부(120)는 복수의 고해상도 영상 패치를 중첩되지 않게 배열하여 고해상도 영상을 생성할 수 있다. 여기서, 저해상도 영상 패치에 포함된 N개의 화소를 고해상도 영상에 중첩시켜 볼 때에, N개의 화소 중에서 중앙에 있는 화소의 위치를 중심으로 하여 주변 위치에 고해상도 영상 패치에 포함된 L개의 화소가 배치될 수 있다.
본 발명의 실시예에 따른 영상 변환 장치(100)를 구성하는 출력부(130)는 처리부(120)에 의해 생성된 고해상도 영상을 출력한다. 예컨대, 출력부(130)는 직렬 포트, USB 포트 등과 같은 각종 통신 인터페이스로 구현하거나 고해상도 영상을 화면으로 표시할 수 있는 영상 표시 장치 등으로 구현할 수 있다.
이하, 도 1 내지 도 8를 참조하여 본 발명의 실시예에 따른 영상 변환 장치가 저해상도 영상을 상대적으로 해상도가 더 높은 고해상도 영상으로 변환하는 영상 변환 방법에 대해 살펴보기로 한다.
먼저, 영상 변환 장치(100)의 입력부(110)는 저해상도 영상을 입력받아 영상 변환 장치(100)의 처리부(120)에게 제공한다(S210).
그러면, 처리부(120)는 입력부(110)로부터 제공되는 저해상도 영상을 분할하여 N(단, N은 2이상의 자연수)개의 화소를 가지는 복수의 저해상도 영상 패치를 생성한다(S220). 예컨대, 처리부(120)는 9개의 화소를 가지는 복수의 저해상도 영상 패치를 생성할 수 있다. 즉, 저해상도 영상을 도 4에 나타낸 바와 같이 3×3 다각형 모양의 저해상도 영상 패치(301)로 분할할 수 있다.
이어서, 처리부(120)는 복수의 저해상도 영상 패치를 특성 정보를 이용하여 복수의 영상 카테고리로 분류한다(S230). 여기서, 영상 카테고리의 개수는 저해상도 영상 패치에 대응하는 훈련용 영상 패치와 고해상도 영상 패치에 대응하는 정답 영상 패치의 쌍을 이용한 훈련 과정을 통해 사전에 결정된다. 영상 카테고리의 분류 기준은 저해상도 영상 패치의 에지 방향, 에지 강도, 텍스처, 밝기, 1차 이상의 미분 신호, 컬러, 객체 또는 물체 종류, 주파수 중에서 적어도 하나 이상의 정보를 이용할 수 있다. 또는, 처리부(120)는 공지의 k-평균 군집(k-means clustering) 알고리즘을 이용하여 복수의 저해상도 영상 패치를 복수의 영상 카테고리로 분류할 수도 있다. 이때, PCA(Principal Component Analysis)를 이용한 30차원 특징 벡터를 가지고 k-평균 군집 알고리즘을 실행할 수 있다.
여기서, 처리부(120)는 에지 방향 정보를 이용하여 영상 카테고리를 분류할 수 있다. 이 경우라면, 처리부(120)는 저해상도 영상 패치에 포함된 N개의 화소를 L개씩 분할하여 복수의 화소 그룹으로 분류한다(S231). 이때, N개의 화소 중에서 일부는 복수의 화소 그룹 중에서 서로 다른 화소 그룹에 중복하여 분류될 수 있다. 도 4에 나타낸 바와 같이 3×3 다각형 모양의 저해상도 영상 패치(301)를 2×2 다각형 모양으로 분할하여 제 1 화소 그룹(311), 제 2 화소 그룹(312), 제 3 화소 그룹(313), 제 4 화소 그룹(314)으로 분류할 수 있다.
이어서, 처리부(120)는 화소 그룹들을 대상으로 하여 에지 방향이 기 설정된 복수의 방향 카테고리 중에서 어느 방향 카테고리에 해당하는지를 파악한다(S232).
이때, 처리부(120)는 화소 그룹의 방향 카테고리를 파악하기 위해, 도 5에 나타낸 바와 같이 수직 화소 변환 매트릭스(V)와 수평 화소 변환 매트릭스(H)를 포함하는 에지 필터를 이용할 수 있다.
또, 처리부(120)는 방향 카테고리를 도 6에 나타낸 바와 같이 총 5가지로 설정한 상태에서 수직 화소 변환 매트릭스(V)와 수평 화소 변환 매트릭스(H)를 이용하여, 화소 그룹들의 에지 방향 성분이 어느 방향 카테고리에 해당하는지를 파악할 수 있다.
5종의 방향 카테고리는 수평방향 카테고리(401)와 수직방향 카테고리(402)를 포함할 수 있다. 그리고, 수평방향과 수직방향이 직교하는 직교좌표평면 상에서 일사분면과 삼사분면을 가로지르는 제 1 사선방향 카테고리(403)를 포함할 수 있다. 또, 직교좌표평면 상에서 이사분면과 사사분면을 가로지르는 제 2 사선방향 카테고리(404)를 포함할 수 있다. 그리고, 방향성을 가지지 않는 무방향 카테고리(405)를 포함할 수 있다.
그리고, 처리부(120)는 화소 그룹의 방향 카테고리를 파악할 때에 기 설정된 임계값을 이용할 수 있다. 에지 방향의 크기값과 각도값을 산출한 후, 크기값이 기 설정된 임계값 미만이면 무방향 카테고리(405)로 결정할 수 있다. 하지만, 크기값이 임계값 이상이면 각도값에 따라 수평방향 카테고리(401), 수직방향 카테고리(402), 제 1 사선방향 카테고리(403), 제 2 사선방향 카테고리(404) 중에서 어느 하나의 방향 카테고리로 결정할 수 있다.
아래의 수학식 1은 처리부(120)가 제 1 화소 그룹(311)을 행렬(P11)로 나타내고, 에지 방향의 크기값(m11)과 각도값(d11)를 산출하는 과정을 예시적으로 나타낸 것이다.
Figure 112016063454227-pat00001
아래의 수학식 2는 처리부(120)가 제 2 화소 그룹(312)을 행렬(P12)로 나타내고, 에지 방향의 크기값(m12)과 각도값(d12)를 산출하는 과정을 예시적으로 나타낸 것이다.
Figure 112016063454227-pat00002
아래의 수학식 3은 처리부(120)가 제 3 화소 그룹(313)을 행렬(P21)로 나타내고, 에지 방향의 크기값(m21)과 각도값(d21)를 산출하는 과정을 예시적으로 나타낸 것이다.
Figure 112016063454227-pat00003
아래의 수학식 4는 처리부(120)가 제 4 화소 그룹(314)을 행렬(P22)로 나타내고, 에지 방향의 크기값(m22)과 각도값(d22)를 산출하는 과정을 예시적으로 나타낸 것이다.
Figure 112016063454227-pat00004
예컨대, 수학식 1 내지 수학식 4의 과정을 통해 에지 방향의 크기값과 각도값이 산출되면 처리부(120)는 크기값이 기 설정된 임계값과 비교하며, 크기값이 기 설정된 임계값 미만이면 무방향 카테고리(405)로 결정하고, 인덱스(index)를 『0』으로 지정한다.
하지만, 처리부(120)는 산출된 크기값이 기 설정된 임계값 이상이면 각도값에 따라 수평방향 카테고리(401), 수직방향 카테고리(402), 제 1 사선방향 카테고리(403), 제 2 사선방향 카테고리(404) 중에서 어느 하나의 방향 카테고리로 결정할 수 있다. 예컨대, 『-22.5 ≤ 각도값 < 22.5』이면 수평방향 카테고리(401)로 결정하고, 인덱스를 『1』로 지정한다. 『22.5 ≤ 각도값 < 67.5』이면 제 1 사전방향 카테고리(403)로 결정하고, 인덱스를 『2』로 지정한다. 『67.5 ≤ 각도값 < 112.5』이면 수직방향 카테고리(402)로 결정하고, 인덱스를 『3』으로 지정한다. 『112.5 ≤ 각도값 < 157.5』이면 제 2 사전방향 카테고리(404)로 결정하고, 인덱스를 『4』로 지정한다.
이어서, 처리부(120)는 앞서 파악된 화소 그룹의 방향 카테고리를 기초로 하여 저해상도 영상 패치를 복수의 영상 카테고리 중에서 어느 하나의 영상 카테고리로 분류한다(S233).
도 4는 제 1 화소 그룹(311)의 인덱스가 『3』으로 지정되고, 제 2 화소 그룹(312)의 인덱스가 『2』로 지정되며, 제 3 화소 그룹(313)의 인덱스가 『1』로 지정되고, 제 4 화소 그룹(314)의 인덱스가 『2』로 지정된 경우를 예시한 것이다. 그러면, 처리부(120)는 5진수를 이용하여 저해상도 영상 패치를 625개의 영상 카테고리 중에서 클래스 288에 대응하는 영상 카테고리로 분류하게 된다.
다음으로, 처리부(120)는 복수의 저해상도 영상 패치를 기 저장된 복수의 변환 매트릭스 중에서 영상 카테고리별로 대응하는 변환 커널을 이용해 변환하여, N보다 적은 L(단, L은 자연수)개의 화소를 가지는 복수의 고해상도 영상 패치를 생성한다(S240).
도 7은 3×3 다각형의 저해상도 영상 패치(501)를 k번째 영상 카테고리에 대응하는 k번째 변환 커널(Mk)을 이용해 변환하여 2×2 다각형의 고해상도 영상 패치(502)를 생성하는 경우를 나타낸 것이다.
한편, 처리부(120)가 복수의 저해상도 영상 패치를 기 저장된 복수의 변환 매트릭스 중에서 영상 카테고리별로 대응하는 변환 커널을 이용해 변환할 때에 선형 변환 매트릭스 또는 비선형 변환 매트릭스가 변환 커널로서 이용될 수 있다. 여기서, 변환 커널에 의해 이용되는 저해상도 영상 패치는 확대되지 않은 원본 크기일 수 있다. 그리고, 처리부(120)에 의해 이용되는 복수의 변환 커널은 별도의 훈련과정을 통해 얻을 수 있다.
처리부(120)는 저해상도 영상 패치에 대응하는 훈련용 영상 패치와 고해상도 영상 패치에 대응하는 정답 영상 패치의 쌍을 이용한 훈련을 통해 복수의 변환 커널을 계산해 낼 수 있다. 여기서, 처리부(120)에 의해 이용되는 훈련용 영상 패치는 확대되지 않은 원본 크기일 수 있다. 확대되지 않은 원본 크기라 함은 보간과정을 거치지 않은 것을 의미할 수 있다. 하지만, 어느 정도의 연산량 증가를 감수한다면 저해상도 영상 패치에 대한 보간과정을 수행할 수도 있다.
여기서, 처리부(120)는 정수값으로 이루어진 선형 변환 매트릭스를 저해상도 영상 패치에 곱하고 비트 시프트 동작으로 고해상도 영상 패치의 화소값을 구할 수 있다.
예컨대, 복수의 영상 카테고리에 변환 커널이 일대일 대응하도록 룩업테이블(look-up table) 형태로 별도의 외부 메모리에 미리 저장되며, 처리부(120)는 외부 메모리로부터 저해상도 영상 패치의 영상 카테고리별로 변환 커널을 읽어오고, 읽어온 변환 커널을 이용한 곱셈 연산 및 비트 시프트 동작을 통해 고해상도 영상 패치의 화소값을 구할 수 있다. 여기서, 비선형 변환 매트릭스가 이용되는 경우라면, 저해상도 영상 패치는 잡음 완화 과정이나 컬러 공간 변환 등의 전처리 과정을 거친 후에 MLP(Multi-layer Perceptron) 매핑을 통해 고해상도 영상 패치로 변환될 수 있다. 예컨대, 외부 메모리에는 비트 시프트 동작을 위한 시프트 비트수에 대한 정보가 저장될 수 있으며, 처리부(120)는 이를 참조하여 비트 시프트 동작을 처리할 수 있다.
이후, 처리부(120)는 복수의 고해상도 영상 패치를 중첩되지 않게 배열하여 고해상도 영상을 생성한다.
여기서, 저해상도 영상 패치에 포함된 N개의 화소를 고해상도 영상에 중첩시켜 볼 때에, N개의 화소 중에서 중앙에 있는 화소의 위치를 중심으로 하여 주변 위치에 고해상도 영상 패치에 포함된 L개의 화소가 배치될 수 있다.
도 8은 복수의 고해상도 영상 패치를 배열하여 고해상도 영상을 생성하는 과정을 나타낸 도면이다. (a)에서 제 1 저해상도 영상 패치(601)를 변환하여 제 1 고해상도 영상 패치(701)를 생성 및 배열하고, (b)에서 제 2 저해상도 영상 패치(602)를 변환하여 제 2 고해상도 영상 패치(702)를 생성 및 배열하며, (c)에서 제 3 저해상도 영상 패치(603)를 변환하여 제 3 고해상도 영상 패치(703)를 생성 및 배열한 예를 나타내었다. 도 8에 나타낸 바와 같이 제 1 고해상도 영상 패치(701), 제 2 고해상도 영상 패치(702) 및 제 3 고해상도 영상 패치(703)는 인접하는 고해상도 영상 패치간에 화소가 중첩되지 않는다. 마찬가지로, 이후에 추가로 배열되는 고해상도 영상 패치들 또한 인접하는 고해상도 영상 패치간에 화소가 중첩되지 않는다.
다음으로, 영상 변환 장치(100)의 출력부(130)는 처리부(120)에 의해 생성된 고해상도 영상을 출력한다(S250). 예컨대, 출력부(130)는 직렬 포트, USB 포트 등과 같은 각종 통신 인터페이스를 통해 고해상도 영상을 데이터 스트림 형태로 출력하거나 고해상도 영상을 화면으로 표시해 출력할 수 있다.
지금까지 설명한 바와 같이, 본 발명의 실시예에 의하면, 저해상도 영상에 대한 보간과정과 반복적인 화질 개선 처리를 거치지 않고 저해상도 영상을 곧바로 고해상도 영상으로 변환한다. 그러므로, 보간과정이 필요한 종래 기술과 비교할 때에 연산량이 줄어들며, 이 때문에 저복잡도 하드웨어로 구현할 수 있다.
더욱이, 저해상도 영상을 특성 정보에 따라 복수의 영상 카테고리로 분류한 후에 카테고리별로 선정된 정수 변환 커널을 사용하여 고해상도 영상으로 변환할 수 있기 때문에, 연산량을 더욱 줄일 수 있다.
또한, 복수의 고해상도 영상 패치를 배열하여 고해상도 영상을 생성할 때에, 인접하는 고해상도 영상 패치들이 중첩되지 않게 배열함으로써, 중첩 영역에 대한 화소값 계산 등과 같은 추가 연산이 필요하지 않기 때문에, 연산량을 더욱 더 줄일 수 있다.
그리고, 저해상도 영상을 특성 정보에 따라 복수의 영상 카테고리로 분류한 후에 영상 카테고리별로 선정된 변환 커널을 사용하여 고해상도 영상으로 변환하기 때문에, 영상 신호의 특성 정보와 무관하게 고화질의 고해상도 영상을 생성할 수 있다.
본 발명에 첨부된 각 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 영상 변환 장치
110 : 입력부
120 : 처리부
130 : 출력부

Claims (20)

  1. 저해상도 영상을 상대적으로 해상도가 더 높은 고해상도 영상으로 변환하는 영상 변환 장치에 의한 영상 변환 방법으로서,
    상기 저해상도 영상을 분할하여 N(단, N은 2이상의 자연수)개의 화소를 가지는 복수의 저해상도 영상 패치를 생성하는 단계와,
    상기 복수의 저해상도 영상 패치를 복수의 영상 카테고리로 분류하는 단계와,
    상기 복수의 저해상도 영상 패치를 기 저장된 복수의 변환 매트릭스 중에서 상기 영상 카테고리별로 대응하는 변환 커널을 이용해 변환하여, 상기 N보다 적은 L(단, L은 자연수)개의 화소를 가지는 복수의 고해상도 영상 패치를 생성하는 단계와,
    상기 복수의 고해상도 영상 패치를 배열하여 상기 고해상도 영상을 생성하는 단계
    를 포함하는 영상 변환 방법.
  2. 제 1 항에 있어서,
    상기 복수의 영상 카테고리로 분류하는 단계는,
    상기 저해상도 영상 패치의 에지 방향, 에지 강도, 텍스처, 밝기, 1차 이상의 미분 신호, 컬러, 객체 또는 물체 종류, 주파수 중에서 적어도 하나 이상의 정보를 이용하여 분류하는
    영상 변환 방법.
  3. 제 2 항에 있어서,
    상기 복수의 영상 카테고리로 분류하는 단계는,
    상기 저해상도 영상 패치에 포함된 상기 N개의 화소를 복수의 화소 그룹으로 분류하는 단계와,
    상기 화소 그룹을 대상으로 하여 상기 에지 방향이 기 설정된 복수의 방향 카테고리 중에서 어느 방향 카테고리에 해당하는지를 파악하는 단계와,
    파악된 상기 화소 그룹의 방향 카테고리를 기초로 하여 상기 저해상도 영상 패치를 상기 복수의 영상 카테고리 중에서 어느 하나의 영상 카테고리로 분류하는 단계
    를 포함하는 영상 변환 방법.
  4. 제 3 항에 있어서,
    상기 N개의 화소 중에서 일부는 상기 복수의 화소 그룹 중에서 서로 다른 화소 그룹에 중복하여 분류되는
    영상 변환 방법.
  5. 제 3 항에 있어서,
    상기 어느 방향 카테고리에 해당하는지를 파악하는 단계는,
    에지 필터를 이용하는
    영상 변환 방법.
  6. 제 5 항에 있어서,
    상기 에지 필터는, 수직 화소 변환 매트릭스와 수평 화소 변환 매트릭스를 포함하는
    영상 변환 방법.
  7. 제 6 항에 있어서,
    상기 어느 방향 카테고리에 해당하는지를 파악하는 단계는,
    상기 수직 화소 변환 매트릭스와 상기 수평 화소 변환 매트릭스를 이용하여, 수평방향 카테고리, 수직방향 카테고리, 수평방향과 수직방향이 직교하는 직교좌표평면 상에서 일사분면과 삼사분면을 가로지르는 제 1 사선방향 카테고리, 상기 직교좌표평면 상에서 이사분면과 사사분면을 가로지르는 제 2 사선방향 카테고리, 방향성을 가지지 않는 무방향 카테고리 중에서 어떤 방향 카테고리에 해당하는 것인지를 파악하는
    영상 변환 방법.
  8. 제 7 항에 있어서,
    상기 어느 방향 카테고리에 해당하는지를 파악하는 단계는,
    상기 에지 방향의 크기값과 각도값을 산출한 후, 상기 크기값이 기 설정된 임계값 미만이면 상기 무방향 카테고리로 결정하고, 상기 크기값이 상기 임계값 이상이면 상기 각도값에 따라 상기 수평방향 카테고리, 상기 수직방향 카테고리, 상기 제 1 사선방향 카테고리, 상기 제 2 사선방향 카테고리 중에서 어느 하나의 방향 카테고리로 결정하는
    영상 변환 방법.
  9. 제 8 항에 있어서,
    상기 복수의 영상 카테고리로 분류하는 단계는,
    상기 N개의 화소를 제 1 화소 그룹 내지 제 4 화소 그룹으로 분류하고, 상기 제 1 화소 그룹 내지 제 4 화소 그룹을 대상으로 하여 상기 방향 카테고리를 결정한 후, 5진수를 이용하여 상기 저해상도 영상 패치를 625개의 상기 영상 카테고리 중에서 어느 한 영상 카테고리로 분류하는
    영상 변환 방법.
  10. 제 1 항에 있어서,
    상기 변환 커널을 이용해 변환하는 상기 저해상도 영상 패치는, 확대되지 않은 원본 크기인
    영상 변환 방법.
  11. 제 1 항에 있어서,
    상기 복수의 변환 커널은, 상기 저해상도 영상 패치에 대응하는 훈련용 영상 패치와 상기 고해상도 영상 패치에 대응하는 정답 영상 패치의 쌍을 이용하여 계산되고,
    상기 훈련용 영상 패치는, 확대되지 않은 원본 크기인
    영상 변환 방법.
  12. 제 1 항에 있어서,
    상기 복수의 변환 커널은, 선형 변환 매트릭스 또는 비선형 변환 매트릭스인
    영상 변환 방법.
  13. 제 12 항에 있어서,
    상기 복수의 고해상도 영상 패치를 생성하는 단계는,
    정수값으로 이루어진 상기 선형 변환 매트릭스를 상기 저해상도 영상 패치에 곱하고 비트 시프트 동작으로 상기 고해상도 영상 패치의 화소값을 구하는
    영상 변환 방법.
  14. 제 1 항에 있어서,
    상기 고해상도 영상을 생성하는 단계는,
    상기 저해상도 영상 패치에 포함된 상기 N개의 화소를 상기 고해상도 영상에 중첩시켜 볼 때에, 상기 N개의 화소 중에서 중앙에 있는 화소의 위치를 중심으로 하여 주변 위치에 상기 고해상도 영상 패치에 포함된 L개의 화소가 배치되는
    영상 변환 방법.
  15. 제 14 항에 있어서,
    상기 고해상도 영상을 생성하는 단계는,
    상기 N의 9이고 상기 L이 4일 때에, 상기 저해상도 영상 패치는 3×3 다각형이며, 상기 고해상도 영상 패치는 2×2 다각형인
    영상 변환 방법.
  16. 제 1 항에 있어서,
    상기 고해상도 영상을 생성하는 단계는,
    상기 복수의 고해상도 영상 패치를 중첩되지 않게 배열하여 상기 고해상도 영상을 생성하는
    영상 변환 방법.
  17. 제 1 항 내지 제 16 항 중 어느 한 항의 영상 변환 방법을 프로세서가 수행하도록 하기 위하여 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
  18. 제 1 항 내지 제 16 항 중 어느 한 항의 영상 변환 방법을 프로세서가 수행하도록 하는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 기록매체.
  19. 저해상도 영상을 상대적으로 해상도가 더 높은 고해상도 영상으로 변환하는 영상 변환 장치로서,
    상기 저해상도 영상을 입력받는 입력부와,
    입력된 상기 저해상도 영상을 변환하여 상기 고해상도 영상으로 생성하는 처리부와,
    생성된 상기 고해상도 영상을 출력하는 출력부를 포함하며,
    상기 처리부는,
    상기 저해상도 영상을 분할하여 N(단, N은 2이상의 자연수)개의 화소를 가지는 복수의 저해상도 영상 패치를 생성하고,
    상기 복수의 저해상도 영상 패치를 복수의 영상 카테고리로 분류하며,
    상기 복수의 저해상도 영상 패치를 기 저장된 복수의 변환 매트릭스 중에서 상기 영상 카테고리별로 대응하는 변환 커널을 이용해 변환하여, 상기 N보다 적은 L(단, L은 자연수)개의 화소를 가지는 복수의 고해상도 영상 패치를 생성하고,
    상기 복수의 고해상도 영상 패치를 배열하여 상기 고해상도 영상을 생성하는
    영상 변환 장치.
  20. 제 19 항에 있어서,
    상기 처리부는,
    상기 복수의 고해상도 영상 패치를 중첩되지 않게 배열하여 상기 고해상도 영상을 생성하는
    영상 변환 장치.

KR1020160082526A 2015-06-30 2016-06-30 영상 변환 장치 및 그 영상 변환 방법 KR101845476B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/741,098 US10839483B2 (en) 2015-06-30 2016-06-30 Method of converting low-resolution image to high-resolution image and image conversion device performing method
PCT/KR2016/007080 WO2017003240A1 (ko) 2015-06-30 2016-06-30 영상 변환 장치 및 그 영상 변환 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20150093643 2015-06-30
KR1020150093643 2015-06-30

Publications (2)

Publication Number Publication Date
KR20170003476A KR20170003476A (ko) 2017-01-09
KR101845476B1 true KR101845476B1 (ko) 2018-04-05

Family

ID=57811308

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160082526A KR101845476B1 (ko) 2015-06-30 2016-06-30 영상 변환 장치 및 그 영상 변환 방법

Country Status (2)

Country Link
US (1) US10839483B2 (ko)
KR (1) KR101845476B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019231095A1 (en) * 2018-05-30 2019-12-05 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102580519B1 (ko) * 2016-09-07 2023-09-21 삼성전자주식회사 영상처리장치 및 기록매체
WO2018174457A1 (ko) * 2017-03-22 2018-09-27 엘지전자(주) 영상 처리 방법 및 이를 위한 장치
CN107967669B (zh) * 2017-11-24 2022-08-09 腾讯科技（深圳）有限公司 图片处理的方法、装置、计算机设备及存储介质
WO2019112084A1 (ko) * 2017-12-06 2019-06-13 한국과학기술원 Cnn을 이용한 압축 왜곡 제거 방법
KR101882704B1 (ko) * 2017-12-18 2018-07-27 삼성전자주식회사 전자 장치 및 그 제어 방법
US11074671B2 (en) 2017-12-18 2021-07-27 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
KR102516366B1 (ko) 2018-05-30 2023-03-31 삼성전자주식회사 특징 데이터 획득 방법 및 장치
KR20200080926A (ko) 2018-12-27 2020-07-07 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
CN110084752B (zh) * 2019-05-06 2023-04-21 电子科技大学 一种基于边缘方向和k均值聚类的图像超分辨重建方法
KR102715174B1 (ko) * 2019-08-13 2024-10-08 한국전자통신연구원 방향 적응형 병렬 신경망을 이용한 초해상도 영상 생성 장치 및 방법
WO2022108093A1 (ko) * 2020-11-17 2022-05-27 삼성전자 주식회사 전자 장치 및 그 제어 방법
EP4083874A4 (en) 2021-03-04 2023-03-22 Samsung Electronics Co., Ltd. Image processing device and operating method therefor
CN113763275B (zh) * 2021-09-09 2024-07-12 深圳市文立科技有限公司 一种自适应图像降噪方法、系统及可读存储介质
CN116416483A (zh) * 2021-12-31 2023-07-11 戴尔产品有限公司 计算机实现的方法、设备和计算机程序产品
KR20240048161A (ko) * 2022-10-06 2024-04-15 한국과학기술원 임상 ct 스캔 데이터에서의 심층 학습 기반 패치별 3차원 골 미세구조 재구성 방법 및 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3210248B2 (ja) 1996-04-25 2001-09-17 キヤノン株式会社 画像処理装置及びその方法
JP3419352B2 (ja) 1999-07-15 2003-06-23 松下電器産業株式会社 画像処理装置、画像処理方法、及び画像処理プログラム記録媒体
US6766067B2 (en) * 2001-04-20 2004-07-20 Mitsubishi Electric Research Laboratories, Inc. One-pass super-resolution images
KR100570630B1 (ko) 2004-03-10 2006-04-13 인벤텍 어플라이언시스 코퍼레이션 복수 개의 저해상도 영상을 이용하여 해상도 향상 영상을생성하는 방법
KR100963006B1 (ko) 2007-11-16 2010-06-09 경희대학교 산학협력단 변환 영역에서 영상 이미지의 크기를 변환하는 방법 및 그장치
KR100953328B1 (ko) 2008-08-28 2010-04-20 한양대학교 산학협력단 에지 가중치 영상 보간 장치 및 방법
US8249394B2 (en) * 2009-03-12 2012-08-21 Shmuel Peleg Method and system for shift-map image editing
TW201131511A (en) 2010-03-10 2011-09-16 Chunghwa Picture Tubes Ltd Super-resolution method for video display
EP2680221B1 (en) 2012-06-28 2016-05-11 Alcatel Lucent Method and system for generating a high-resolution video stream

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019231095A1 (en) * 2018-05-30 2019-12-05 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
US11941501B2 (en) 2018-05-30 2024-03-26 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof

Also Published As

Publication number Publication date
US20180232853A1 (en) 2018-08-16
KR20170003476A (ko) 2017-01-09
US10839483B2 (en) 2020-11-17

Similar Documents

Publication Publication Date Title
KR101845476B1 (ko) 영상 변환 장치 및 그 영상 변환 방법
US11409986B2 (en) Trainable vision scaler
JP2022501662A (ja) 敵対的生成ネットワークのトレーニング方法、画像処理方法、デバイスおよび記憶媒体
US9697583B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
US9947258B2 (en) Image processing method and image processing apparatus
CN112560980A (zh) 目标检测模型的训练方法、装置及终端设备
CN110675334A (zh) 一种图像增强方法及装置
CN112997479B (zh) 跨阶段跳跃连接处理图像的方法、系统和计算机可读介质
US9280811B2 (en) Multi-scale large radius edge-preserving low-pass filtering
Liu et al. Extended RGB2Gray conversion model for efficient contrast preserving decolorization
CN108447040A (zh) 直方图均衡化方法、装置及终端设备
CN104781847B (zh) 视错觉分析装置及方法、参考视错觉的图像生成装置及方法
WO2015198368A1 (ja) 画像処理装置及び画像処理方法
US10268881B2 (en) Pattern classifying apparatus, information processing apparatus, pattern classifying method, and non-transitory computer readable storage medium
US11580620B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable medium
JP6037790B2 (ja) 目標類識別装置及び目標類識別方法
CN109996085B (zh) 模型训练方法、图像处理方法、装置及电子设备
KR102077215B1 (ko) 국부 이진 패턴 분류 및 선형 매핑을 이용한 초해상화 방법
CN106548184A (zh) 一种调整光照平衡的方法和装置
JP5388780B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
US20150104112A1 (en) Large Radius Edge-Preserving Low-Pass Filtering
Kosesoy et al. A toolbox for teaching image fusion in matlab
CN110134813B (zh) 图像检索方法、图像检索装置及终端设备
CN109961083A (zh) 用于将卷积神经网络应用于图像的方法和图像处理实体
EP2979244B1 (en) Method and apparatus of creating a perceptual harmony map

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160630

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170614

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20180103

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20180329

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20180330

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20210302

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20220302

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20230420

Start annual number: 6

End annual number: 6