WO2015174715A1 - 이미지 패치를 이용한 해상도 스케일링 장치 및 그 방법 - Google Patents

이미지 패치를 이용한 해상도 스케일링 장치 및 그 방법 Download PDF

Info

Publication number
WO2015174715A1
WO2015174715A1 PCT/KR2015/004727 KR2015004727W WO2015174715A1 WO 2015174715 A1 WO2015174715 A1 WO 2015174715A1 KR 2015004727 W KR2015004727 W KR 2015004727W WO 2015174715 A1 WO2015174715 A1 WO 2015174715A1
Authority
WO
WIPO (PCT)
Prior art keywords
patch
image
unit
selecting
patches
Prior art date
Application number
PCT/KR2015/004727
Other languages
English (en)
French (fr)
Inventor
김진태
백준기
전재환
조창훈
Original Assignee
주식회사 칩스앤미디어
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 칩스앤미디어, 중앙대학교 산학협력단 filed Critical 주식회사 칩스앤미디어
Publication of WO2015174715A1 publication Critical patent/WO2015174715A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation

Abstract

본 발명의 실시 예에 따른 영상의 해상도 스케일링 장치는, 원본 영상을 수신하는 입력부; 상기 원본 영상에 대해, 해상도 스케일링 및 보간을 수행하여 보간된 단위 영상을 획득하는 보간부; 상기 원본 영상을 단계적으로 열화시키고, 상기 단계적으로 열화된 각각의 원본 영상들로부터 하나 이상의 이미지 패치를 추출하며, 상기 하나 이상의 이미지 패치 및 이에 대응되는 관련 정보를 분류화 하여 저장하는 패치 사전부; 상기 보간된 단위 영상으로부터 제1 이미지 패치를 획득하고, 상기 제1 이미지 패치에 대응하여, 상기 패치 사전부로부터 색인되는 제2 이미지 패치를 선택하는 패치 비교 선택부; 및 상기 보간된 단위 영상의 화질을 복원하기 위해, 상기 제1 이미지 패치 및 상기 제2 이미지 패치에 기초하여, 복원된 이미지 패치를 합성하는 복원부를 포함한다.

Description

이미지 패치를 이용한 해상도 스케일링 장치 및 그 방법
본 발명은 해상도 스케일링 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 이미지 패치의 단계적 열화를 이용하여 스케일링된 영상의 화질 및 선명도를 향상시킬 수 있는 해상도 스케일링 장치 및 그 방법에 관한 것이다.
고해상도 스케일링 기법은 영상정보와 디스플레이 형식의 폭발적인 증가로 인해 최근 부상하고 있는 중요한 이슈 중 하나이다. 차세대 UDTV와 멀티미디어 PC시스템은 4K이상의 해상도를 갖는 영상을 출력할 수 있으며, 이와 같은 해상도를 지원하기 위해 4K이하의 영상에 대한 스케일링을 수행할 필요성이 있다. 그러나, 스케일링 해상도가 증가할수록 보간에 의한 화질열화는 큰 폭으로 증가하게 된다.
특히, UDTV나 멀티미디어 환경에서 동영상을 재생할 경우 디스플레이 장치가 지원하는 높은 해상도로 상향 변환이 되면 보다 좋은 화질을 기대할 수 있어야 함에도 열화 현상으로 인해 화면 내 뭉개짐과 같은 화질열화가 유발됨으로써 사용자로 하여금 시각적 불편함을 가져오고 있다.
이와 같이 스케일링된 영상에서의 보간에 의해 block artifact 와 같은 화질열화를 유발하는 문제점을 해결하기 위해 여러 필터링 방식 및 복원 방식들이 제안되고는 있으나, 현재로서는 그 성능 개선의 폭이 미약하다.
본 발명의 실시 예는 상술한 바와 같은 문제점을 효과적으로 해결할 수 있는 이미지 패치를 이용한 해상도 스케일링 장치 및 그 방법을 제공하는데 그 목적이 있다.
특히, 본 발명에서는 입력 영상의 단계적 열화를 이용하여 데이터베이스화된 이미지 패치 사전을 생성하고, 원본 영상과 비교하여 적절한 이미지 패치를 선택하여 복원된 이미지 패치를 생성함으로써, 스케일링된 영상의 화질 및 선명도의 복원능력을 향상시킬 수 있는 해상도 스케일링 장치 및 그 방법을 제공하는데 그 목적이 있다.
다만, 본 발명의 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 장치는, 영상의 해상도 스케일링 장치에 있어서, 원본 영상을 수신하는 입력부; 상기 원본 영상에 대해, 해상도 스케일링 및 보간을 수행하여 보간된 단위 영상을 획득하는 보간부; 상기 원본 영상을 단계적으로 열화시키고, 상기 단계적으로 열화된 각각의 원본 영상들로부터 하나 이상의 이미지 패치를 추출하며, 상기 하나 이상의 이미지 패치 및 이에 대응되는 관련 정보를 분류화 하여 저장하는 패치 사전부; 상기 보간된 단위 영상으로부터 제1 이미지 패치를 획득하고, 상기 제1 이미지 패치에 대응하여, 상기 패치 사전부로부터 색인되는 제2 이미지 패치를 선택하는 패치 비교 선택부; 및 상기 보간된 단위 영상의 화질을 복원하기 위해, 상기 제1 이미지 패치 및 상기 제2 이미지 패치에 기초하여, 복원된 이미지 패치를 합성하는 복원부를 포함한다.
상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 영상의 해상도 스케일링 방법에 있어서, 원본 영상을 수신하는 단계; 상기 원본 영상에 대해, 해상도 스케일링 및 보간을 수행하여 보간된 단위 영상을 획득하는 단계; 상기 원본 영상을 단계적으로 열화시키고, 상기 단계적으로 열화된 각각의 원본 영상들로부터 하나 이상의 이미지 패치를 추출하며, 상기 하나 이상의 이미지 패치 및 이에 대응되는 관련 정보를 분류화 하여 저장하는 단계; 상기 보간된 단위 영상으로부터 제1 이미지 패치를 획득하고, 상기 제1 이미지 패치에 대응하여, 상기 패치 사전부로부터 색인되는 제2 이미지 패치를 선택하는 단계; 및 상기 보간된 단위 영상의 화질을 복원하기 위해, 상기 제1 이미지 패치 및 상기 제2 이미지 패치에 기초하여, 복원된 이미지를 합성하는 단계를 포함한다.
또한, 상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은 컴퓨터에서 실행시키기 위한 컴퓨터가 읽을 수 있는 프로그램이 기록된 기록 매체로 구현될 수 있다.
본 발명의 실시 예에 따르면, 원본 영상의 단계적 열화를 이용하여, 보간된 영상과 유사한 이미지 패치를 색인하고, 유사한 이미지 패치보다 낮은 열화 단계의 이미지 패치를 이용하여 원본 영상을 복원함으로써 스케일링 및 보간된 영상의 화질 및 선명도를 향상시킬 수 있으며, 시각적으로 자연스러운 복원 영상을 획득할 수 있다.
또한, 본 발명의 실시 예에 따르면, 단계적으로 열화된 원본 영상의 이미지 패치들과 연관 정보를 패치 사전부에 데이터베이스화 하여 미리 저장함으로써, 영상 복원시 소요되는 색인 시간 및 복잡도를 줄이면서도 화질 복원 성능을 향상시킬 수 있게 된다.
그리고, 본 발명의 실시 예에 따르면, 에지 강도에 따라 열화 강도를 선택하거나, 검색된 이미지 패치와의 유사도에 따라 다른 복원 필터로 복원된 패치와의 가중치 연산을 통해 패치 결합을 수행함으로써, 복원된 영상의 잡음 및 부자연스러운 부분들을 설정에 따라 적절히 조절하여, 감소시킬 수 있는 장점이 있다.
도 1은 본 발명의 실시 예에 따른 해상도 스케일링 장치의 구성을 설명하기 위한 블록도이다.
도 2는 본 발명의 실시 예에 따른 해상도 스케일링 장치의 패치 사전부의 동작을 설명하기 위한 흐름도이다.
도 3 내지 도 5는 본 발명의 실시 예에 따른 패치 사전부에 의해 생성되는 데이터를 보다 구체적으로 설명하기 위한 도면들이다.
도 6은 본 발명의 일 실시 예에 따른 해상도 스케일링 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 일 실시 예에 따른 해상도 스케일링 방법에 의해 영상이 복원되는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 다른 일 실시 예에 따른 해상도 스케일링 방법을 설명하기 위한 흐름도이다.
도 9는 본 발명의 다른 일 실시 예에 따른 해상도 스케일링 방법에 의해 영상이 복원되는 과정을 설명하기 위한 도면이다.
도 10 및 도 11은 본 발명의 실시 예에 따른 해상도 스케일링 방법과 종래 기술에 의한 결과 차이를 비교 설명하기 위한 도면들이다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.
프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.
또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.
본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 해상도 스케일링 장치의 구성을 설명하기 위한 블록도이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 해상도 스케일링 장치(100)는, 원본 영상의 스케일링 및 보간을 수행하는 보간부(110), 원본 영상을 이용하여 패치 사전을 생성하는 패치 사전부(120), 보간된 영상에서 제1 이미지 패치를 추출하는 소스 패치 추출부(130), 제1 이미지 패치를 이용하여 패치 사전부에서 제2 이미지 패치를 선택하는 패치 비교 선택부(140) 및 제1 이미지 패치와 제2 이미지 패치를 이용하여 보간된 영상에 대한 복원을 수행하는 복원부(150)를 포함한다.
보간부(110)는 원본 영상이 수신되면, 스케일링 및 보간을 수행한다.
원본 영상은 별도의 복호화기에서 복호화된 영상일 수 있으며, RGB의 색상 값을 갖는 신호의 집합일 수 있다. 또한, 원본 영상은 별도의 복호화기가 비트스트림을 입력 받아 인트라(Intra) 모드 또는 인터(Inter) 모드로 복호화를 수행하여 재구성한 영상일 수 있다.
또한, 원본 영상은 복수의 단위 영상의 집합으로 구성될 수 있다. 단위 영상은, 예를 들어 영상 프레임으로 구분될 수 있다. 따라서, 보간부(110)는 원본 영상을 프레임 단위로 수신하여 보간을 수행할 수 있다.
그리고, 보간부(110)는 원본 영상에 대한 보간에 따라 해상도 스케일링(또는 해상도 변환)을 수행할 수 있으며, 설정에 따라 해상도가 1차적으로 변경된 영상 신호를 획득할 수 있다. 해상도가 1차적으로 변경된 고해상도 영상은 미리 알려진 다양한 방법들로 보간(interpolation)되어 생성되는 영상일 수 있으며, 앞서 설명한 바와 같이, 이미지가 불분명하거나 깨진 부분들을 다수 포함할 수 있다.
그리고, 보간부(110)는 보간된 영상을 단위 영상으로(예를 들어 프레임 단위)로 출력할 수 있다. 보간된 영상은 프레임 단위로 소스 패치 추출부(130)로 전달될 수 있다.
소스 패치 추출부(130)는 보간된 영상 프레임을 수신하여, 프레임을 구성하는 복수의 이미지 패치들을 추출할 수 있다. 또한, 추출된 이미지 패치들은 후술할 1 이미지 패치에 대응될 수 있으며, 보간된 영상 프레임의 각 위치에 대응되는 일정 영역 이내의 이미지 성분을 각각 포함할 수 있다. 이와 같은 소스 패치 추출부(130)에서 추출된 이미지 패치를 이하에서는 제1 이미지 패치 또는 소스 패치라고 호칭할 수 있으며 편의에 따라 혼용될 수 있다.
한편, 패치 사전부(120)는 상기 원본 영상을 단계적으로 열화시키고, 상기 단계적으로 열화된 각각의 원본 영상들로부터 하나 이상의 이미지 패치를 추출하며, 상기 하나 이상의 이미지 패치 및 이에 대응되는 관련 정보를 분류화 할 수 있다. 분류화된 정보는 데이터베이스의 형태를 갖는 패치 사전으로 저장될 수 있다. 이를 위해, 패치 사전부(120)는 별도의 저장부를 포함하거나, 공유 스토리지를 갖는 서버 등과 통신할 수도 있다.
여기서, 원본 영상은 영상 프레임을 포함할 수 있으며, 패치 사전부(120)는 원본 영상의 영상 프레임별로 이미지 패치를 추출하여, 패치 사전을 생성할 수 있다. 여기서, 이미지 패치는 영상 프레임 내 각각의 특정 위치를 기준으로 하는 일정 영역 이내의 부분 영상 정보를 의미할 수 있다. 따라서, 하나의 영상 프레임으로부터 복수의 이미지 패치들이 추출될 수 있으며, 각 이미지 패치는 일정 크기 또는 형태의 이미지 데이터를 포함할 수 있다.
특히, 패치 사전부(120)는 원본 영상의 프레임마다 이를 복수의 단계별로 열화시킨 프레임들을 생성할 수 있다. 또한, 패치 사전부(120)는 단계별로 열화된 프레임들로부터 상술한 이미지 패치들을 추출하여, 관련 정보와 함께 저장할 수 있다.
여기서, 관련 정보는 패치 식별 정보, 열화 단계 정보, 방향성 정보, 프레임 내 위치 정보 중 적어도 하나를 포함할 수 있다. 예를 들어, 패치 사전부(120)는 상기 추출된 이미지 패치들로부터 방향성 정보를 획득하고, 상기 방향성 정보를 상기 추출된 이미지 패치와 대응시켜 상기 관련 정보에 삽입할 수 있다. 관련 정보는 패치 비교 선택부(140)가 패치 사전부(120)를 색인하는데 사용될 수 있다.
또한, 이와 같이 저장된 이미지 패치 및 관련 정보들은 후술할 패치 비교 선택부(140)와 복원부(150)에서 이용될 수 있으며, 앞서 보간된 영상과 함께 복원된 이미지 패치를 생성하는 데에도 사용될 수 있다.
한편, 패치 사전부(120)는 다양한 방식으로 단계적 열화를 수행할 수 있다. 일 실시 예에서, 패치 사전부(120)는 상기 원본 영상에 대해, 미리 정해진 강도에 따라 블러링(blurring)을 수행하여, 단계적으로 열화시킬 수 있다.
또한, 패치 사전부(120)는 상기 원본 영상에 대해, 미리 정해진 계수별 열화 커널을 통과시켜 단계적으로 열화시키며, 상기 단계적으로 열화된 단위 영상들로부터 추출된 이미지 패치들을 상기 열화 계수에 대응시켜 데이터베이스화 할 수 있다. 열화 계수는 상술한 관련 정보의 열화 단계 정보에 포함될 수 있다.
한편, 패치 비교 선택부(140)는 보간부(110)에서 보간된 영상 프레임으로부터 보간된 영상의 제1 이미지 패치를 획득하고, 상기 제1 이미지 패치에 대응하여, 상기 패치 사전부(120)로부터 색인되는 제2 이미지 패치를 선택한다.
패치 비교 선택부(140)는 상기 보간된 단위 영상의 화질을 복원하기 위해, 보간된 영상의 일부인 제1 이미지 패치에 대응하여, 제2 이미지 패치를 선택할 수 있다. 따라서, 선택된 제2 이미지 패치는 보간된 영상인 제1 이미지 패치의 화질 열화를 복원하는데 사용될 수 있다.
이를 위해, 패치 비교 선택부(140)는 패치 사전부(120)에 의해 분류된 이미지 패치들 중 보간된 영상의 상기 제1 이미지 패치와 유사도가 가장 높은 유사 패치를 선택할 수있다. 그리고, 패치 비교 선택부(140)는 상기 유사 패치보다 열화 단계는 낮고 위치는 동일한 이미지 패치를 상기 제2 이미지 패치로 선택할 수 있다.
특히, 본 발명의 실시 예에서, 패치 비교 선택부(140)는 복원에 이용되는 제2 이미지 패치를 선택함에 있어, 상술한 바와 같이 제1 이미지 패치와 유사도가 가장 높은 유사 패치보다 열화 단계가 낮은 이미지 패치를 선택함으로써, 보다 선명한 이미지 패치로 복원할 수 있다.
따라서, 앞서 패치 사전부(120)에서 단계별로 열화한 이미지 패치들 중 보간된 영상의 제1 이미지 패치(또는 소스 패치라 할 수 있음)와 유사 패치가 색인되면, 그보다 열화 단계가 낮은(유사 패치보다 선명한) 제2 이미지 패치를 패치 비교 선택부(140)가 선택함으로써 보간된 영상의 화질 열화를 개선할 이미지 패치를 적절하게 선택할 수 있는 것이다.
또한, 패치 비교 선택부(140)는 상기 열화 단계가 낮은 정도를 열화 강도에 따라 적절하게 선택함으로써 화질 열화의 개선을 더욱 자연스럽게 변경할 수 있다.
예를 들어, 패치 비교 선택부(140)는 상기 제1 이미지 패치의 에지 강도에 따라 열화 강도를 결정할 수 있다. 이 경우, 패치 비교 선택부(140)는 상기 패치 사전부에 의해 분류된 이미지 패치들 중 상기 제1 이미지 패치와 유사도가 가장 높은 유사 패치를 선택하고, 상기 유사 패치보다 열화 단계가 상기 열화 강도만큼 낮고 위치는 동일한 이미지 패치를 상기 제2 이미지 패치로 선택할 수 있다.
그리고, 패치 비교 선택부(140)는 제1 이미지 패치와 유사 패치간 유사도 연산에 있어 SAD를 이용할 수 있다. 패치 비교 선택부(140)는 상기 패치 사전부에 의해 분류된 각각의 이미지 패치들과 상기 제1 이미지 패치간의 SAD(sum of absolute differences)를 연산하여, 상기 SAD가 가장 낮은 이미지 패치를 색인하고, 상기 색인된 이미지 패치를 이용하여 상기 제2 이미지 패치를 선택할 수 있다.
그리고, 패치 비교 선택부(140) 상기 패치 사전부에 의해 분류된 이미지 패치들 중 상기 제1 이미지 패치와 방향성 정보가 일치하는 패치들을 우선 색인하여 상기 제2 이미지 패치를 선택함으로써 검색 속도 및 효율을 높일 수 있다.
한편, 복원부(150)는 상기 제2 이미지 패치와 상기 제1 이미지 패치를 결합하여, 복원된 이미지 패치를 합성할 수 있다.
복원부(150)는 제1 이미지 패치의 주파수 성분에 상기 제2 이미지 패치의 고주파 성분을 결합하거나, 더해줌으로써 복원된 이미지 패치를 합성할 수 있다.
특히, 앞서 패치 비교 선택부(140)는 제1 이미지 패치의 에지 강도에 따라 열화 단계가 낮은 정도를 결정할 수 있으므로, 복원부(150)는 자연스러운 복원된 이미지 패치를 생성할 수 있다. 그리고, 복원부(150)는 복원된 이미지 패치를 합성하여 합성된 영상 프레임을 생성하고, 외부 신호로 출력할 수 있다.
도 2는 본 발명의 실시 예에 따른 해상도 스케일링 장치의 패치 사전부의 동작을 설명하기 위한 흐름도이며, 도 3 내지 도 5는 본 발명의 실시 예에 따른 패치 사전부에 의해 생성되는 데이터를 보다 구체적으로 설명하기 위한 도면들이다.
도 2를 참조하면, 본 발명의 실시 예에 따른 패치 사전부(120)는 원본 영상 프레임을 수신한다(S101).
앞서 설명한 바와 같이, 패치 사전부(120)는 원본 영상을 프레임별로 수신하여 프레임별로 패치 사전을 생성하여 저장 또는 갱신할 수 있다.
그리고, 패치 사전부(120)는 수신된 원본 영상 프레임에 대응하여, 단계적 열화를 수행한다(S103).
전술한 바와 같이, 패치 사전부(120)는 다양한 방식으로 단계적 열화를 수행할 수 있다. 패치 사전부(120)는 상기 원본 영상에 대해, 미리 정해진 강도에 따라 블러링(blurring)을 수행하거나, 미리 정해진 계수별 열화 커널을 통과시켜 단계적으로 열화시킬 수 있다.
도 3에 도시된 바와 같이, 패치 사전부(120)는 입력 영상을 단계적으로 열화시킬 수 있다. 도 3에서와 같이, 원본 영상은 0단계에서 n단계까지 단계적으로 열화될 수 있다. 패치 사전부(120)는 열화 커널 또는 블러(blur) 커널의 시그마 값을 열화 단계에 따라 각각 증가시켜 단계가 커질수록 열화가 심한 영상 프레임을 획득할 수 있다.
이와 같이 단계적으로 열화된 프레임들을 패치 사전부(120)는 별도 저장 공간에 임시적으로 저장할 수 있다.
그리고, 패치 사전부(120)는 단계적으로 열화된 프레임 각각으로부터 이미지 패치를 추출한다(S105).
패치 사전부(120)는 단계적으로 열화된 프레임 각각으로부터 프레임 내 위치에 따른 이미지 패치들을 식별하고, 식별된 정보를 저장함으로써 이미지 패치를 추출할 수 있다. 이미지 패치는 예를 들어, 단계적으로 열화된 프레임 내 특정 위치를 기준으로 하는 일정 영역의 영상 정보를 포함할 수 있다. 또한, 이미지 패치는 이미지 패치 부분에 대응되는 영상의 고주파 성분 정보를 포함할 수 있다.
그리고, 패치 사전부(120)는 추출된 이미지 패치에 대한 관련 정보를 생성하여 데이터베이스에 저장한다(S107).
앞서 설명한 바와 같이, 패치 사전부(120)는 상기 단계적으로 열화된 단위 영상들로부터 추출된 이미지 패치들을 관련 정보에 대응시켜 데이터베이스화 할 수 있다. 특히, 패치 사전부(120)는 관련 정보와 이미지 패치의 식별 정보를 쌍으로 대응시켜 테이블로 저장함으로써, 빠른 색인을 유도할 수 있다.
도 4는 이와 같은 관련 정보 중 하나인 방향성 정보를 나타낸다. 패치 사전부(120)는 패치의 검색 속도를 향상시키기 위해 패치를 각도 별로 분류하여 방향성 정보로 저장할 수 있다. 도 4에 도시된 바와 같이, 이미지 패치는 Flat, 0도, 20도, 45도, 70도, 90도, 110도, 135도, 160도 등의 다양한 각도를 가질 수 있다. 따라서, 패치 사전부(120)는 각도에 따라 패치를 0~180도 내 일정 각도 단위(예를 들어, 5 내지 10도)로 분류하여 이미지 패치에 대응되는 관련 정보로 저장할 수 있다.
이에 따라, 패치 비교 선택부(140)는 패치 검색시 모든 패치를 검색하지 않고 보간된 영상의 제1 이미지 패치와 각도가 일치하는 패치들에서 가장 유사한 패치를 SAD (sum of absolute differences) 또는 다른 방법을 이용하여 색인함으로써, 패치 검색 속도를 향상시킬 수 있다.
도 5는 패치 사전부(120)에 의해 저장되는 테이블 형태의 패치 사전의 일 예를 도시하고 있다. 도 5에 도시된 바와 같이, 각 이미지 패치에 대응되는 관련 정보는 위치 정보, 방향성 정보, 열화 단계 정보 또는 패치 식별 정보 중 적어도 하나를 포함할 수 있다. 패치 비교 선택부(140)는 테이블로 저장된 패치 사전에서 상술한 방향성, 열화 단계 등을 이용하여 비교 연산을 수행함으로써, 영상 복원을 위한 제2 이미지 패치를 빠르게 선택할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 해상도 스케일링 방법을 전체적으로 설명하기 위한 흐름도이다.
도 6을 참조하면, 본 발명의 실시 예에 따른 해상도 스케일링 장치(100)는 먼저 원본 영상을 수신하여 보간한다(S201).
앞서 설명한 바와 같이, 보간부(110)는 원본 영상이 수신되면, 해상도 스케일링 및 보간을 수행할 수 있다.
그리고, 해상도 스케일링 장치(100)는 보간된 영상으로부터 소스 패치를 추출한다(S203).
앞서 설명한 바와 같이, 소스 패치는 소스 패치 추출부(130)에 의해 보간된 영상으로부터 추출되는 제1 이미지 패치에 대응될 수 있다.
그리고, 해상도 스케일링 장치(100)는 소스 패치의 특징정보를 획득하며(S205), 특징 정보를 이용하여 패치 사전부(120)에서 유사 패치를 색인한다(S207). 특징 정보는, 예를 들어, 소스 패치의 방향성 정보 또는 이미지 성분 정보를 포함할 수 있다. 패치 비교 선택부(140)는 소스 패치의 방향성 각도에 따라, 그리고 소스 패치와 패치 사전부(120)에 저장된 이미지 패치간 유사도 값에 따라 유사 패치를 색인할 수 있다.
이후, 해상도 스케일링 장치(100)는 패치 사전부(120)로부터, 상기 유사 패치와 위치는 동일하되, 열화 단계가 낮은 이미지 패치를 복원용 이미지 패치로 선택한다(S209). 여기서, 복원용 이미지 패치는 앞서 설명한 제2 이미지 패치에 대응될 수 있다. 패치 비교 선택부(140)는 앞서 설명한 바와 같이, 열화 단계가 낮아 보다 선명한 제2 이미지 패치를 복원용 이미지 패치로 선택할 수 있으며, 열화 단계의 낮은 정도는 소스 패치의 에지 강도에 따라 가변될 수 있다.
그리고, 해상도 스케일링 장치(100)는 복원용 이미지 패치의 고주파 성분을 상기 소스패치와 결합하여 복원된 이미지 패치를 생성한다(S211).
복원부(150)는 복원용 제2 이미지 패치의 고주파 성분을 추출하고, 소스 패치의 주파수 성분에 더해줌으로써, 영상을 선명하게 복원한 이미지 패치를 생성할 수 있다.
그리고, 해상도 스케일링 장치(100)는 복원된 패치를 합성하여 영상 프레임을 복원하고, 출력한다(S213).
도 7은 본 발명의 일 실시 예에 따른 해상도 스케일링 방법에 의해 영상이 복원되는 과정을 설명하기 위한 도면이다.
도 7에 도시된 바와 같이, 보간된 영상 프레임(Interpolation Image)의 박스 부분을 소스 패치(201)라고 가정할 수 있다.
이 경우, 해상도 스케일링 장치(100)는 패치 사전부(120)에 저장된 열화 단계별 원본 영상 프레임의 이미지 패치들 중 소스 패치(201)와 가장 유사한 이미지 패치를 유사 패치(202)로 검색할 수 있다.(1)
그리고, 해상도 스케일링 장치(100)는 검색된 유사 패치(202)보다 미리 결정된 열화 단계만큼 낮은 단계의 영상 프레임으로부터 동일 위치의 복원용 이미지 패치를 제2 이미지 패치(203)로 획득할 수 있다.(2)
제2 이미지 패치(203)가 획득되면, 해상도 스케일링 장치(100)는 해당 부분의 주파수 성분을 소스 패치(201)와 결합함으로써 복원된 이미지 패치를 생성할 수 있게 된다.(3) 이와 같이 복원된 이미지 패치들을 다시 합성하게 되면, 해상도 스케일링 장치(100)는 고해상도로 해상도 변환 및 보간되고, 화질 열화가 복원된 영상 프레임을 출력할 수 있다.
도 8은 본 발명의 다른 일 실시 예에 따른 해상도 스케일링 방법을 설명하기 위한 흐름도이다.
본 발명의 일 실시 예에 따르면, 패치 비교 선택부(140)는 이미지 패치를 비교 선택함에 있어, 경우에 따라 부적절한 이미지 패치를 선택할 수도 있다. 이에 따라, 패치 미스매칭(patch-mismatching) 에러가 발생할 가능성이 있다.
따라서, 본 발명의 다른 일 실시 예에 따르면, 해상도 스케일링 장치(100)는 복원부(150)에서 앞서 복원된 제1 복원 패치를, 다른 복원필터를 이용하여 복원된 제2 복원 패치와 결합할 수 있다. 또한, 복원 패치 결합에 있어서, 가중치를 부여할 수 있다. 예를 들어, 소스 패치와 유사 패치와의 유사도에 비례하여 제1 복원 패치와 제2 복원 패치를 결합할 수 있다.
예를 들어, 해상도 스케일링 장치(100)는 검색된 유사 패치와 소스 패치간 유사도가 높으면 제2 복원 패치의 성분을 낮추고, 검색된 유사 패치와 소스 패치간 유사도가 낮으면 제2 복원 패치의 성분을 높이도록 가중치 값을 조절하여 제1 복원 패치와 결합할 수 있다. 이러한 패치 결합을 통해 완성된 영상에서 잡음이나 부자연스러운 부분을 더욱 줄일 수 있게 된다.
이를 위해, 해상도 스케일링 장치(100)는 먼저 패치 사전을 이용하여 획득한 복원용 이미지 패치(제2 이미지 패치)와 소스 패치(제1 이미지 패치)를 결합하여 제1 복원 패치를 생성한다(S301). 제1 복원 패치의 생성 과정은 도 6에서 상술한 바와 동일하므로 생략하도록 한다.
그리고, 해상도 스케일링 장치(100)는 앞서 패치 사전부(120)에서 색인된 유사 패치와, 소스 패치간 유사도에 따라 가중치를 결정한다(S303). 복원부(150)는 패치 비교 선택부(140)에서 색인을 위해 연산된 유사도에 따라, 가중치를 결정할 수 있다. 가중치는 예를 들어, 유사 패치와 소스 패치간 SAD값에 따라 결정될 수 있다. 복원부(150)는 패치 사전부(120)에서 기 획득된 상기 제1 이미지 패치와 가장 유사한 유사 패치와의 유사도를 패치 비교 선택부(140)로부터 전달받을 수 있다.
그리고, 해상도 스케일링 장치(100)는 다른 필터로 복원한 영상으로부터 제2 복원 패치를 획득한다. 복원부(150)는 다른 필터로 영상을 복원하여 제2 복원 패치를 획득할 수 있으며, 다른 필터는 업 스케일링 및 보간된 영상을 복원하기 위한 다수의 다양한 필터들을 포함할 수 있다. 다른 필터들은 바이리니어(bilinear) 필터, 바이큐빅(bicubic) 필터 등이 예시될 수 있다.
그리고, 해상도 스케일링 장치(100)는 가중치를 이용하여 제1 복원 패치와 제2 복원 패치를 결합하고(S307), 결합된 패치를 이용하여 복원 영상을 합성 및 출력한다(S309).
복원부(150)는 상기 유사도에 따라 각각의 가중치를 부여하여 상기 제1 복원 패치와 상기 제2 복원 패치의 주파수 성분을 결합함으로써 상기 복원된 이미지 패치를 합성할수 있다.
도 9는 본 발명의 다른 일 실시 예에 따른 해상도 스케일링 방법에 의해 영상이 복원되는 과정을 설명하기 위한 도면이다.
도 9에 도시된 바와 같이, 앞서 도 7에서 설명한 방법에 따른 패치 사전부(120)와의 연동에 따라 복원된 제1 복원 패치는, 그 유사도에 따라 가중치가 부여되어 다른 필터로 복원된 동일 위치의 제2 복원 패치와 결합될 수 있다. 이에 따라, 복원 영상에서 이미지 패치의 미스 매칭으로 인한 잡음이나 부자연스러운 부분들을 더욱 감소시킬 수 있게 된다.
도 10 및 도 11은 본 발명의 실시 예에 따른 해상도 스케일링 방법과 종래 기술에 의한 결과 차이를 비교 설명하기 위한 도면들이다.
도 10 및 도 11의 (a)는 종래 복원 필터인 bicubic 필터에 의한 복원 영상을 나타내며, (b)는 본 발명의 실시 예에 따른 해상도 스케일링 장치(100)의 동작에 의한 복원 영상을 나타낸다. 또한, 각각의 복원 영상에서 일부를 4배씩 확대한 부분을 함께 도시하고 있다.
도 10 및 도 11에 도시된 바와 같이, 해상도 스케일링 장치(100)의 동작에 의한 복원 영상이 종래 기술인 bicubic의 경우보다 선명한 것을 확인할 수 있다. 이와 같이, 원본 영상의 정보를 이용하여 이미지 패치를 데이터베이스화 하고, 이를 이용하여 보간된 영상의 복원에 이용함으로써, 본 발명의 실시 예에 따른 해상도 스케일링 장치(100)는 화질 개선, 선명도 향상 및 열화 제거 효과를 적절하게 얻을 수 있다.
상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안될 것이다.
-부호의 설명
100: 해상도 스케일링 장치
110: 보간부
120: 패치 사전부
130: 소스 패치 추출부
140: 패치 비교 선택부
150: 복원부

Claims (20)

  1. 영상의 해상도 스케일링 장치에 있어서,
    원본 영상을 수신하는 입력부;
    상기 원본 영상에 대해, 해상도 스케일링 및 보간을 수행하여 보간된 단위 영상을 획득하는 보간부;
    상기 원본 영상을 단계적으로 열화시키고, 상기 단계적으로 열화된 각각의 원본 영상들로부터 하나 이상의 이미지 패치를 추출하며, 상기 하나 이상의 이미지 패치 및 이에 대응되는 관련 정보를 분류화 하여 저장하는 패치 사전부;
    상기 보간된 단위 영상으로부터 제1 이미지 패치를 획득하고, 상기 제1 이미지 패치에 대응하여, 상기 패치 사전부로부터 색인되는 제2 이미지 패치를 선택하는 패치 비교 선택부; 및
    상기 보간된 단위 영상의 화질을 복원하기 위해, 상기 제1 이미지 패치 및 상기 제2 이미지 패치에 기초하여, 복원된 이미지 패치를 합성하는 복원부를 포함하는 해상도 스케일링 장치.
  2. 제1항에 있어서,
    상기 패치 사전부는
    상기 원본 영상에 대해, 미리 정해진 강도에 따라 블러링(blurring)을 수행하여, 단계적으로 열화시키는 것을 특징으로 하는 해상도 스케일링 장치.
  3. 제1항에 있어서,
    상기 패치 사전부는
    상기 원본 영상에 대해, 미리 정해진 계수별 열화 커널을 통과시켜 단계적으로 열화시키며, 상기 단계적으로 열화된 단위 영상들로부터 추출된 이미지 패치들을 상기 열화 계수에 대응시켜 데이터베이스화하는 해상도 스케일링 장치.
  4. 제1항에 있어서,
    상기 패치 사전부는
    상기 추출된 이미지 패치들로부터 방향성 정보를 획득하고, 상기 방향성 정보를 상기 추출된 이미지 패치와 대응시켜 상기 관련 정보에 삽입하는 해상도 스케일링 장치.
  5. 제1항에 있어서,
    상기 패치 비교 선택부는
    상기 패치 사전부에 의해 분류된 이미지 패치들 중 상기 제1 이미지 패치와 방향성 정보가 일치하는 패치들을 우선 색인하여 상기 제2 이미지 패치를 선택하는 해상도 스케일링 장치.
  6. 제1항에 있어서,
    상기 패치 비교 선택부는
    상기 패치 사전부에 의해 분류된 이미지 패치들 중 상기 제1 이미지 패치와 유사도가 가장 높은 유사 패치를 선택하고, 상기 유사 패치보다 열화 단계는 낮고 위치는 동일한 이미지 패치를 상기 제2 이미지 패치로 선택하는 해상도 스케일링 장치.
  7. 제1항에 있어서,
    상기 패치 비교 선택부는
    상기 패치 사전부에 의해 분류된 각각의 이미지 패치들과 상기 제1 이미지 패치간의 SAD(sum of absolute differences)를 연산하여, 상기 SAD가 가장 낮은 이미지 패치를 색인하고, 상기 색인된 이미지 패치를 이용하여 상기 제2 이미지 패치를 선택하는 해상도 스케일링 장치.
  8. 제1항에 있어서,
    상기 복원부는
    상기 제2 이미지 패치로부터 추출되는 고주파 성분을 상기 제1 이미지 패치의 주파수 성분과 결합하여 상기 복원된 이미지 패치를 합성하는 해상도 스케일링 장치.
  9. 제8항에 있어서,
    상기 패치 비교 선택부는
    상기 제1 이미지 패치의 에지 강도에 따라 열화 강도를 결정하고,
    상기 패치 사전부에 의해 분류된 이미지 패치들 중 상기 제1 이미지 패치와 유사도가 가장 높은 유사 패치를 선택하고, 상기 유사 패치보다 열화 단계가 상기 열화 강도만큼 낮고 위치는 동일한 이미지 패치를 상기 제2 이미지 패치로 선택하는 해상도 스케일링 장치.
  10. 제1항에 있어서,
    상기 패치 비교 선택부는
    상기 패치 사전부에서 상기 제1 이미지 패치와 가장 유사한 유사 패치와의 유사도를 획득하고, 상기 유사 패치에 대응되는 상기 제2 이미지 패치를 선택하며,
    상기 복원부는
    상기 제1 이미지 패치와 상기 제2 이미지 패치를 결합하여 제1 복원 패치를 생성하고, 상기 보간된 단위 영상을 미리 결정된 다른 복원 필터로 복원하여 제2 복원 패치를 획득하며, 상기 유사도에 따른 각각의 가중치를 부여하여 상기 제1 복원 패치와 상기 제2 복원 패치를 결합하여 상기 복원된 이미지 패치를 합성하는 해상도 스케일링 장치.
  11. 영상의 해상도 스케일링 방법에 있어서,
    원본 영상을 수신하는 단계;
    상기 원본 영상에 대해, 해상도 스케일링 및 보간을 수행하여 보간된 단위 영상을 획득하는 단계;
    상기 원본 영상을 단계적으로 열화시키고, 상기 단계적으로 열화된 각각의 원본 영상들로부터 하나 이상의 이미지 패치를 추출하며, 상기 하나 이상의 이미지 패치 및 이에 대응되는 관련 정보를 분류화 하여 저장하는 단계;
    상기 보간된 단위 영상으로부터 제1 이미지 패치를 획득하고, 상기 제1 이미지 패치에 대응하여, 상기 패치 사전부로부터 색인되는 제2 이미지 패치를 선택하는 단계; 및
    상기 보간된 단위 영상의 화질을 복원하기 위해, 상기 제1 이미지 패치 및 상기 제2 이미지 패치에 기초하여, 복원된 이미지 패치를 합성하는 단계를 포함하는 해상도 스케일링 방법.
  12. 제11항에 있어서, 상기 저장하는 단계는,
    상기 원본 영상에 대해, 미리 정해진 강도에 따라 블러링(blurring)을 수행하여, 단계적으로 열화시키는 단계를 포함하는 해상도 스케일링 방법
  13. 제11항에 있어서, 상기 저장하는 단계는,
    상기 원본 영상에 대해, 미리 정해진 계수별 열화 커널을 통과시켜 단계적으로 열화시키며, 상기 단계적으로 열화된 단위 영상들로부터 추출된 이미지 패치들을 상기 열화 계수에 대응시켜 데이터베이스화하는 단계를 포함하는 해상도 스케일링 방법.
  14. 제11항에 있어서, 상기 저장하는 단계는,
    상기 추출된 이미지 패치들로부터 방향성 정보를 획득하고, 상기 방향성 정보를 상기 추출된 이미지 패치와 대응시켜 상기 관련 정보에 삽입하는 단계를 포함하는 해상도 스케일링 방법.
  15. 제11항에 있어서, 상기 선택하는 단계는,
    상기 패치 사전부에 의해 분류된 이미지 패치들 중 상기 제1 이미지 패치와 방향성 정보가 일치하는 패치들을 우선 색인하여 상기 제2 이미지 패치를 선택하는 단계를 포함하는 해상도 스케일링 방법.
  16. 제11항에 있어서, 상기 선택하는 단계는,
    상기 패치 사전부에 의해 분류된 이미지 패치들 중 상기 제1 이미지 패치와 유사도가 가장 높은 유사 패치를 선택하고, 상기 유사 패치보다 열화 단계는 낮고 위치는 동일한 이미지 패치를 상기 제2 이미지 패치로 선택하는 단계를 포함하는 해상도 스케일링 방법.
  17. 제11항에 있어서, 상기 복원하는 단계는,
    상기 제2 이미지 패치로부터 추출되는 고주파 성분을 상기 제1 이미지 패치의 주파수 성분과 결합하여 상기 복원된 이미지 패치를 합성하는 단계를 포함하는 해상도 스케일링 방법.
  18. 제11항에 있어서, 상기 선택하는 단계는,
    상기 제1 이미지 패치의 에지 강도에 따라 열화 강도를 결정하고,
    상기 패치 사전부에 의해 분류된 이미지 패치들 중 상기 제1 이미지 패치와 유사도가 가장 높은 유사 패치를 선택하고, 상기 유사 패치보다 열화 단계가 상기 열화 강도만큼 낮고 위치는 동일한 이미지 패치를 상기 제2 이미지 패치로 선택하는 단계를 포함하는 해상도 스케일링 방법.
  19. 제11항에 있어서, 상기 선택하는 단계는,
    상기 패치 사전부에서 상기 제1 이미지 패치와 가장 유사한 유사 패치와의 유사도를 획득하고, 상기 유사 패치에 대응되는 상기 제2 이미지 패치를 선택하는 단계를 포함하고,
    상기 복원하는 단계는,
    상기 제1 이미지 패치와 상기 제2 이미지 패치를 결합하여 제1 복원 패치를 생성하고, 상기 보간된 단위 영상을 미리 결정된 다른 복원 필터로 복원하여 제2 복원 패치를 획득하며, 상기 유사도에 따른 각각의 가중치를 부여하여 상기 제1 복원 패치와 상기 제2 복원 패치를 결합하여 상기 복원된 이미지 패치를 합성하는 단계를 포함하는 해상도 스케일링 방법.
  20. 제1항 내지 제19항 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위한 컴퓨터가 읽을 수 있는 프로그램이 기록된 기록 매체.
PCT/KR2015/004727 2014-05-12 2015-05-12 이미지 패치를 이용한 해상도 스케일링 장치 및 그 방법 WO2015174715A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0056415 2014-05-12
KR1020140056415A KR101653038B1 (ko) 2014-05-12 2014-05-12 이미지 패치를 이용한 해상도 스케일링 장치 및 그 방법

Publications (1)

Publication Number Publication Date
WO2015174715A1 true WO2015174715A1 (ko) 2015-11-19

Family

ID=54480201

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/004727 WO2015174715A1 (ko) 2014-05-12 2015-05-12 이미지 패치를 이용한 해상도 스케일링 장치 및 그 방법

Country Status (2)

Country Link
KR (1) KR101653038B1 (ko)
WO (1) WO2015174715A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102384234B1 (ko) 2016-10-26 2022-04-07 삼성전자주식회사 영상처리장치, 영상처리방법 및 컴퓨터 판독가능 기록 매체
KR102176787B1 (ko) * 2018-08-31 2020-11-10 한국항공대학교산학협력단 영상분류 방법 및 장치
KR102246110B1 (ko) * 2019-04-02 2021-04-29 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
US10909700B2 (en) 2019-04-02 2021-02-02 Samsung Electronics Co., Ltd. Display apparatus and image processing method thereof
KR102236582B1 (ko) 2019-05-14 2021-04-06 삼성전자주식회사 영상 처리 장치 및 그 동작방법
KR102364191B1 (ko) 2020-08-11 2022-02-17 단국대학교 천안캠퍼스 산학협력단 탈모치료 평가를 위한 헤어카운터 및 이의 동작 방법
WO2023149649A1 (ko) * 2022-02-07 2023-08-10 삼성전자 주식회사 전자 장치 및 이미지 화질 개선 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110037027A (ko) * 2009-10-05 2011-04-13 인하대학교 산학협력단 클러스터링 기반 고주파 합성을 이용한 고 해상도 보간 방법 및 장치
KR20110049570A (ko) * 2009-11-05 2011-05-12 홍익대학교 산학협력단 경계선 성분 분류 기반 신경회로망 모델을 이용한 영상 화질 개선방법
KR20110065997A (ko) * 2009-12-10 2011-06-16 삼성전자주식회사 영상처리장치 및 영상처리방법
KR20130131073A (ko) * 2012-05-23 2013-12-03 삼성전자주식회사 영상 복원 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110037027A (ko) * 2009-10-05 2011-04-13 인하대학교 산학협력단 클러스터링 기반 고주파 합성을 이용한 고 해상도 보간 방법 및 장치
KR20110049570A (ko) * 2009-11-05 2011-05-12 홍익대학교 산학협력단 경계선 성분 분류 기반 신경회로망 모델을 이용한 영상 화질 개선방법
KR20110065997A (ko) * 2009-12-10 2011-06-16 삼성전자주식회사 영상처리장치 및 영상처리방법
KR20130131073A (ko) * 2012-05-23 2013-12-03 삼성전자주식회사 영상 복원 장치 및 방법

Also Published As

Publication number Publication date
KR20150129897A (ko) 2015-11-23
KR101653038B1 (ko) 2016-09-12

Similar Documents

Publication Publication Date Title
WO2015174715A1 (ko) 이미지 패치를 이용한 해상도 스케일링 장치 및 그 방법
US7557815B2 (en) System and method for producing a video signal
US20150117540A1 (en) Coding apparatus, decoding apparatus, coding data, coding method, decoding method, and program
KR101702925B1 (ko) 복수의 영상 프레임의 이미지 패치를 이용한 해상도 스케일링 장치 및 그 방법
US20090115778A1 (en) Workstation for Processing and Producing a Video Signal
US20220261961A1 (en) Method and device, electronic equipment, and storage medium
WO2019017716A1 (en) ELECTRONIC DEVICE AND METHOD FOR ENCODING IMAGE DATA IN THE ELECTRONIC DEVICE
KR20110065997A (ko) 영상처리장치 및 영상처리방법
WO2021093499A1 (zh) 图像处理方法及装置、存储介质和电子设备
WO2022146509A1 (en) Method and apparatus for deep neural network based inter-frame prediction in video coding
WO2016114539A1 (ko) 영상의 부호화 및 복호화 방법 및 장치
WO2017057926A1 (ko) 디스플레이 장치 및 이의 제어 방법
JPS6248892A (ja) テレビジヨン信号の記憶装置
WO2016148516A1 (ko) 영상압축방법 및 영상압축장치
CN111988526B (zh) 移动终端及图像数据处理方法
CN112203086B (zh) 图像处理方法、装置、终端和存储介质
CN113781319A (zh) 一种hdr视频转换方法、装置、设备及计算机存储介质
WO2020055196A1 (en) Apparatus and methods for generating high dynamic range media, based on multi-stage compensation of motion
US20170169057A1 (en) Dictionary generation for example based image processing
WO2017200259A1 (ko) 비디오 부호화 방법 및 장치, 그 복호화 방법 및 장치
WO2001011460A1 (en) System and method for producing a video signal
CN113225488B (zh) 一种视频处理方法、装置、电子设备及存储介质
JP2007527139A (ja) 動き補償画像信号の補間
WO2023167514A1 (en) System and method for training artificial intelligence models for in-loop filters
WO2023059058A1 (en) Methods and systems for generating metadata pertaining to a raw frame

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15792873

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15792873

Country of ref document: EP

Kind code of ref document: A1