KR20210019835A - 방향 적응형 병렬 신경망을 이용한 초해상도 영상 생성 장치 및 방법 - Google Patents

방향 적응형 병렬 신경망을 이용한 초해상도 영상 생성 장치 및 방법 Download PDF

Info

Publication number
KR20210019835A
KR20210019835A KR1020190098952A KR20190098952A KR20210019835A KR 20210019835 A KR20210019835 A KR 20210019835A KR 1020190098952 A KR1020190098952 A KR 1020190098952A KR 20190098952 A KR20190098952 A KR 20190098952A KR 20210019835 A KR20210019835 A KR 20210019835A
Authority
KR
South Korea
Prior art keywords
patch
neural network
command
super
resolution image
Prior art date
Application number
KR1020190098952A
Other languages
English (en)
Inventor
유석봉
한미경
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020190098952A priority Critical patent/KR20210019835A/ko
Priority to US16/991,689 priority patent/US11727533B2/en
Publication of KR20210019835A publication Critical patent/KR20210019835A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T3/4076—Super resolution, i.e. output image resolution higher than sensor resolution by iteratively correcting the provisional high resolution image using the original low-resolution image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Abstract

본 발명의 일 실시예에 따른 초해상도 영상 생성 방법은, 입력되는 저해상도 영상을 업스케일링하는 단계; 상기 업스케일링된 영상에 포함된 각 패치에 대한 방향성을 결정하는 단계; 해당 패치의 방향성에 따라 방향 지정 신경망 또는 방향 비지정 신경망을 선택하는 단계; 상기 해당 패치에 대해 선택된 신경망을 적용하는 단계; 및 상기 방향 지정 신경망 및 방향 비지정 신경망으로부터 출력되는 하나 이상의 패치를 결합하여 초해상도 영상을 획득하는 단계를 포함할 수 있다.

Description

방향 적응형 병렬 신경망을 이용한 초해상도 영상 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING SUPER RESOLUTION INMAGE USING ORIENTATION ADAPTIVE PARALLEL NEURAL NETWORKS}
본 발명은 초해상도 영상 생성 장치 및 방법에 관한 것으로, 더욱 상세하게는 SVC(Scalable video coding)에서와 같이 화면 축소 및 압축되어 전송된 중/저화질 영상들을 수신단에서 초해상도 고화질 영상으로 변환하는 초해상도 영상 생성 장치 및 방법에 관한 것이다.
첨단 정보통신기술(ICT)의 발전과 함께 다양한 유형의 전자적 데이터 수집 센서를 사용해서 정보를 취득하고, 이를 자산과 리소스를 효율적으로 관리하는 데 사용하는 스마트시티가 주목받고 있다. 스마트시티를 구현하는 기술들 중 하나인 지능형 영상 분석 플랫폼에는 CCTV, 블랙박스 등 다양한 영상 기기의 사용이 필수적이다.
그런데, 이러한 CCTV, 블랙박스 등의 카메라로 촬영된 영상은 카메라 자체의 해상도가 낮거나 렌즈 왜곡 및 광학 블러 등으로 인해 저하된 화질을 갖는 것이 보통이다. 추가적으로 이러한 영상을 제한된 대역폭으로 전송하기 위해 송신단에서 다운스케일링 기반 압축을 적용하게 되면, 수신단에서는 선명도가 크게 떨어진 저화질/저해상도의 영상을 수신하게 된다.
따라서, 고화질 영상을 활용해 정확한 영상처리 및 분석을 수행해야 하는 스마트시티 지능형 영상 분석 플랫폼에서 저화질/저해상도 영상을 잘 활용될 수 있도록, 영상 획득, 송/수신 시스템에서의 광학 블러 및 영상 축소 압축 등으로 인해 발생할 수 있는 영상의 선명도 저하 문제를 수신 단에서 해결할 수 있는 방안이 필요하다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 방향 적응형 병렬 신경망을 이용하여 초해상도 영상을 생성하는 방법을 제공하는 데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 상기 방법을 이용하는 영상 생성 장치를 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 초해상도 영상 생성 방법은, 입력되는 저해상도 영상을 업스케일링하는 단계; 상기 업스케일링된 영상에 포함된 각 패치에 대한 방향성을 결정하는 단계; 해당 패치의 방향성에 따라 방향 지정 신경망 또는 방향 비지정 신경망을 선택하는 단계; 상기 해당 패치에 대해 선택된 신경망을 적용하는 단계; 및 상기 방향 지정 신경망 및 방향 비지정 신경망으로부터 출력되는 하나 이상의 패치를 결합하여 초해상도 영상을 획득하는 단계를 포함할 수 있다.
상기 해당 패치에 대해 선택된 신경망을 적용하는 단계는, 특정 방향성을 갖는 패치에 대해 방향 지정 신경망을 적용하는 단계를 포함할 수 있다.
상기 특정 방향성을 갖는 패치에 대해 방향 지정 신경망을 적용하는 단계는, 상기 패치의 방향이 상기 방향 지정 신경망에 의해 학습된 기 설정된 방향이 되도록 상기 패치를 회전시키는 단계; 상기 회전된 패치에 대해 반복 아키텍처를 적용하는 단계; 반복 아키텍처로부터 출력된 특징 맵에 대해 완전 연결 층을 적용하여, 상기 특징 맵의 크기와 모양을 상기 업스케일링된 영상과 동일하게 설정하는 단계; 및 상기 패치를 원래 방향으로 각도 재변환하는 단계를 포함할 수 있으며, 상기 패치를 회전시키기 전에 입력된 패치에 외곽 영역을 덧붙여 삽입하는 단계; 및 상기 원래 방향으로 각도 재변환된 패치에서 상기 외곽 영역을 제거하는 단계를 더 포함할 수 있다.
여기서, 상기 방향 지정 신경망은, 바이큐빅 보간을 이용해 변환된 훈련 영상 내 복수의 패치들 중 기 설정된 방향성을 갖는 고 지향성 패치를 이용해 학습된 신경망 파라미터를 포함할 수 있다.
상기 방향 비지정 신경망은, 바이큐빅 보간을 이용해 변환된 훈련 영상 내 복수의 패치들 중 저 지향성 패치를 이용해 학습된 신경망 파라미터를 포함할 수 있다.
상기 각 패치에 대한 방향성을 결정하는 단계는, 상기 패치 내 각 픽셀별 그래디언트의 크기 및 방향을 산출하는 단계; 산출된 그래디언트 크기가 기 설정된 크기 이상인 픽셀에 대해 그래디언트 방향에 대한 빈도 수를 계산하여 히스토그램을 도출하는 단계; 및 상기 히스토그램에서 빈도 수의 제1 최대 값 및 제2 최대 값의 비율이 기 설정된 비율 이상인지에 따라 상기 패치의 방향성을 고지향성 또는 저지향성으로 판단하는 단계를 포함할 수 있다.
상기 해당 패치의 방향성에 따라 방향 지정 신경망 또는 방향 비지정 신경망을 선택하는 단계는, 방향성이 고지향성인 패치에 대해 방향 지정 신경망을 선택하는 단계; 및 방향성이 저지향성인 패치에 대해 방향 비지정 신경망을 선택하는 단계를 포함할 수 있다.
상기 해당 패치에 대해 선택된 신경망을 적용하는 단계는, 특정 방향성을 갖지 않는 패치에 대해 방향 비지정 신경망을 적용하는 단계를 포함할 수 있다.
상기 특정 방향성을 갖지 않는 패치에 대해 방향 비지정 신경망을 적용하는 단계는, 입력되는 패치에 대해 반복 아키텍처를 적용하는 단계; 상기 반복 아키텍처로부터 출력된 특징 맵에 대해 완전 연결 층을 적용하는 단계를 포함할 수 있다.
상기 반복 아키텍처는 적어도 하나의 층 아키텍처를 포함할 수 있다.
또한, 하나의 층 아키텍처는, 합성곱(Convolution), 배치 정규화(BN; Batch Normalization), 정류된 선형 유닛(ReLU: Rectified Linear Unit)을 포함하여, 입력 패치에 대한 특징 맵을 생성할 수 있다.
상기 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 초해상도 영상 생성 장치는, 적어도 하나의 프로세서, 상기 프로세서를 통해 실행되는 적어도 하나의 명령을 저장하는 메모리를 포함할 수 있다.
여기서, 적어도 하나의 명령은, 상기 프로세서로 하여금, 입력되는 저해상도 영상을 업스케일링하도록 하는 명령; 상기 업스케일링된 영상에 포함된 각 패치에 대한 방향성을 결정도록 하는 명령; 해당 패치의 방향성에 따라 방향 지정 신경망 또는 방향 비지정 신경망을 선택하도록 하는 명령; 상기 해당 패치에 대해 선택된 신경망을 적용하도록 하는 명령; 및 상기 방향 지정 신경망 및 방향 비지정 신경망으로부터 출력되는 하나 이상의 패치를 결합하여 초해상도 영상을 획득하도록 하는 명령을 포함할 수 있다.
여기서, 상기 특정 방향성을 갖는 패치에 대해 방향 지정 신경망을 적용하도록 하는 명령은, 상기 패치를 회전시키기 전에 입력된 패치에 외곽 영역을 덧붙여 삽입하도록 하는 명령; 상기 패치의 방향이 상기 방향 지정 신경망에 의해 학습된 기 설정된 방향이 되도록 상기 패치를 회전시키도록 하는 명령; 상기 회전된 패치에 대해 반복 아키텍처를 적용하도록 하는 명령; 반복 아키텍처로부터 출력된 특징 맵에 대해 완전 연결 층을 적용하여, 상기 특징 맵의 크기와 모양을 상기 업스케일링된 영상과 동일하게 설정하도록 하는 명령; 상기 패치를 원래 방향으로 각도 재변환하도록 하는 명령; 및 상기 원래 방향으로 각도 재변환된 패치에서 상기 외곽 영역을 제거하도록 하는 명령을 포함할 수 있다.
상기 각 패치에 대한 방향성을 결정하도록 하는 명령은, 상기 패치 내 각 픽셀별 그래디언트의 크기 및 방향을 산출하도록 하는 명령; 산출된 그래디언트 크기가 기 설정된 크기 이상인 픽셀에 대해 그래디언트 방향에 대한 빈도 수를 계산하여 히스토그램을 도출하도록 하는 명령; 및 상기 히스토그램에서 빈도 수의 제1 최대 값 및 제2 최대 값의 비율이 기 설정된 비율 이상인지에 따라 상기 패치의 방향성을 고지향성 또는 저지향성으로 판단하도록 하는 명령을 포함할 수 있다.
상기 특정 방향성을 갖지 않는 패치에 대해 방향 비지정 신경망을 적용하도록 하는 명령은, 입력되는 패치에 대해 반복 아키텍처를 적용하도록 하는 명령; 상기 반복 아키텍처로부터 출력된 특징 맵에 대해 완전 연결 층을 적용하도록 하는 명령을 포함할 수 있다.
상기와 같은 본 발명의 실시예들에 따르면, 광학 블러 및 영상 축소 압축 등으로 발생할 수 있는 영상의 선명도 저하 문제를 수신 단에서 해결할 수 있다.
이러한 본 발명은 고화질 영상을 활용해 정확한 영상처리 및 분석을 수행해야 하는 스마트시티 지능형 영상 분석 플랫폼의 성능을 향상시킬 수 있다.
도 1은 방향 지정 신경망 및 방향 비지정 신경망을 이용한 초해상도 구현 결과를 비교한 도면이다.
도 2는 본 발명에 따른 패치 방향 적응형 병렬 신경망을 이용한 초해상도 영상 생성 장치의 블록 구성도이다.
도 3은 본 발명에 따른 신경망 학습 방법의 일 실시예에 따른 동작 순서를 도시한다.
도 4는 본 발명에 따른 패치 방향 적응형 병렬 신경망을 이용한 초해상도 영상 생성 방법의 동작 순서도이다.
도 5는 본 발명의 일 실시예에 따른 반복 아키텍처의 블록 구성도이다.
도 6a는 고해상도 원본 영상을 나타낸 도면이다.
도 6b는 저해상도 입력 영상으로부터 가로 및 세로 4배의 바이큐빅 보간된 영상을 나타낸 도면이다.
도 7a는 저해상도 입력 영상에 대해 VDSR을 활용한 경우의 초해상도 업스케일링 결과를, 도 7b는 저해상도 입력 영상에 대해 DnCNN을 활용한 경우의 초해상도 업스케일링 결과를, 도 7c는 저해상도 입력 영상에 대해 SRMD 을 활용한 경우의 초해상도 업스케일링 결과를 나타낸다.
도 8은 본 발명의 일 실시예에 따라 패치 방향 기반 적응적인 병렬 신경망을 활용하여 초해상도 업스케일링한 영상을 도시한다.
도 9는 본 발명의 다른 실시예에 따른 초해상도 영상 생성 장치의 블록 구성도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
일반적으로 기존의 심층 신경망 기반 초해상도 기법들 (예를 들어, VDSR (Very Deep Super Resolution), DnCNN(De-noising Convolutional Neural Network), SRMD(Super-Resolution Network for Multiple Degradations) 등)은 다양한 방향을 가진 이미지 패치로 구성된 공개 훈련 데이터 셋을 활용하여 입력 저해상도 패치의 임의 방향에 대한 초해상도 성능의 견고성을 유지하는 경향이 있다.
이러한 경향과는 대조적으로, 본 발명에서는 특정 방향을 가진 패치 데이터 셋을 기반으로 신경망 모델을 훈련시킬 경우, 해당 방향에 대한 입력 저해상도 패치의 선명도를 크게 개선할 수 있다는 점에 주목한다. 즉, 패치 방향은 이미지 다운스케일링 및 압축으로 인해 손실된 고주파 성분을 복구하는 중요한 단서가 될 수 있어, 정확한 초해상도 이미징에 유용하다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 방향 지정 신경망 및 방향 비지정 신경망을 이용한 초해상도 구현 결과를 비교한 도면이다.
도 1은 학습 데이터 셋의 패치 방향이 초해상도 성능에 미치는 영향을 확인하기 위해 단 방향 엣지(도 1의 예에서는 수직 방향의 엣지)를 포함하는 저해상도 이미지에 기존 초해상도 기법 중 하나인 DnCNN을 적용하여 실험을 수행한 결과를 도시한다.
실험에서는 다양한 방향의 일반 패치 데이터 셋을 학습 데이터셋으로 사용하여 신경망 파라미터를 학습시킴으로써 신경망A를 획득하였다. 또한, 수직 방향의 엣지를 포함하는 패치 데이터 셋을 학습 데이터셋으로 활용하여 신경망 파라미터를 학습시킴으로써 신경망 B를 획득하였다.
실험에서는 별개의 데이터셋을 이용해 각각 훈련된 신경망 A 및 신경망 B에 대해 수직 엣지를 주로 포함하는 저해상도 영상을 입력시켜, 입력된 영상에 대한 가로, 세로 3배 업스케일링을 수행하였다.
도 1의 우측에는 입력 영상을 3배 업스케일한 원본 영상(11) 및 바이큐빅 보간된 영상(12)을 신경망 A가 출력하는 영상 및 신경망 B가 출력하는 영상과 비교하여 도시하고 있다.
신경망 B가 출력한 결과 영상(22)은 원본 영상(11) 대비 화질 열화가 큰 반면, 신경망 A가 출력한 결과 영상(21)은 원본 영상 대비 화질 열화가 크지 않음을 확인할 수 있다. 또한, 신경망 A가 출력한 결과 영상(21)은 27.93dB의PSNR(Peak Signal-to-Noise Ratio)을 가지며 신경망 B가 출력한 결과 영상(22)은 24.16dB의 PSNR을 가진다.
이러한 업스케일링 결과는, 종래 방향 비지정 네트워크인 신경망 B 대비 패치 방향 지정 네트워크인 신경망 A가 출력하는 영상이 최대 신호 대 잡음 비율(PSNR) 값 면에서 3.77dB만큼 크게 개선되었음을 보여준다.
이러한 실험에 근거해, 입력 패치 방향에 특화된 네트워크의 활용을 통해 초해상도 성능 향상이 가능하다는 결론에 도달하였다.
한편, 모든 방향(0도~ 180도)에 대하여 각 방향 별로 합성 곱 신경망(CNN)에 기반한 기존 초해상도 기법의 모델 파라미터를 일일이 재학습시킴으로써, 우리가 기대하는 것과 견줄 만한 초해상도 성능 달성이 가능할 수는 있다. 하지만 쉽게 예상할 수 있듯이, 모든 패치 방향의 수많은 모델을 저장하려면 엄청난 양의 메모리를 요구할 뿐만 아니라 훈련 과정에서도 상당한 계산 복잡성을 필요로 한다.
이러한 문제를 해결하기 위해, 본 발명에서는 특정 방향을 갖는 데이터 셋을 구축하여 신경망을 학습하고, 입력 패치에 대하여 구축된 데이터 셋과 동일한 방향으로의 각도 변환을 적용한다. 또한, 이러한 각도 변환 기법을 초해상도 구현을 위해 설계된 본 발명에 따른 심층 신경망과 결합한다. 본 발명에서는 추가적으로 단 방향이 아닌 여러 방향을 갖는 패치에 대해서도 초해상도 성능을 유지하기 위한 패치 방향 비지정 신경망 장치를 동시에 제안하고, 제안된 2개의 신경망(방향 지정 및 방향 비지정)을 입력 패치 방향 정보에 따라 적응적으로 적용함으로써, 모든 입력 패치에 대한 정확한 초해상도를 구현하도록 한다.
도 2는 본 발명에 따른 패치 방향 적응형 병렬 신경망을 이용한 초해상도 영상 생성 장치의 블록 구성도이다.
본 발명에서는 단 방향을 갖는 입력과 다 방향을 갖는 입력 패치를 모두 고려하기 위해, 도2와 같이 패치 방향 지정 및 비지정 심층 신경망을 병렬 형태로 구성한다. 본 발명에 따른 병렬 형태의 네트워크, 즉, 신경망은 고지향성(HD; High Directivity)을 갖는 단방향 입력 패치의 초해상도를 위한 방향 지정 신경망(200)과 저지향성(LD: Low Directivity)을 갖는 다방향 입력 패치의 초해상도를 위한 방향 비지정 신경망(300)을 포함하여 구성된다.
본 발명에 따른 신경망 구조는, 기존의 초해상도 신경망과 달리, 입력 패치 방향에 따라 제안된 2개의 신경망을 패치 단위로 적응적으로 적용한다.
도 2를 참조하면, 본 발명에 따른 초해상도 영상 생성 장치는, 입력 영상에서의 패치 단위의 적응적인 신경망 적용을 위한 전처리 과정으로서, 패치 방향 계산부(Patch orientation computation)(110)와 신경망 선택부(Network selection)(120)를 더 포함할 수 있다.
패치 방향 계산부(110)는 입력된 영상 내 MХM 크기의 패치에 대해서 모든 픽셀 위치(m, n)에서의 그래디언트 크기(g)와 방향(θ)을 가로 및 세로 방향 그래디언트(g x , g y )를 이용하여 아래 수학식 1과 같이 계산한다.
Figure pat00001
이때, 패치 방향 계산부(110)로 입력되는 영상은, 바이큐빅 보간을 통해 저해상도 영상이 정해진 출력 크기로 업스케일링된 영상일 수 있다.
한편, 신경망 선택부(120)는 그래디언트 크기(g)가 임계치(G)보다 큰 픽셀을 대상으로 그래디언트 방향에 대한 빈도 수를 계산하여 아래 수학식 2와 같이 히스토그램(h)을 획득한다.
Figure pat00002
수학식 2에서 δ θ 는 히스토그램 빈 크기를 나타내고, R은 반올림 함수를 나타낸다.
신경망 선택부(120)는 이렇게 획득한 히스토그램에서 빈도 수의 최대값과 두 번째 최대값의 비율이 특정 임계치보다 크면 고 지향성(HD) 패치로 분류한다. 고지향성 패치는 방향 지정 신경망을 통과하여 고해상도 패치로 변환된다. 신경망 선택부(120)는 고 지향성 패치가 아닌 나머지는 패치를 저 지향성(LD) 패치로 분류하여 방향 비지정 신경망이 적용되도록 한다. 분류된 고 지향성(HD) 패치와 저 지향성(LD) 패치의 예시는 도 2에 도시된 바와 같다.
이처럼 입력되는 영상 패치의 성격에 따라 적용할 신경망이 선택되면, 해당 패치는 선택된 신경망으로 전달되고 해당 신경망에 의해 처리된다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 방향 지정 신경망(Specified HD network)(200)은 외곽 영역 삽입부(Outline zero-padding)(210), 각도 변환부(Rotation to zero angle)(220), 반복 아키텍처(Iterative architectures)(230), 완전 연결 층(Fully-connected layer)(240), 각도 재변환부(Rotation to original angle)(250), 외곽 영역 제거부(Outline deletion)(260)를 포함하여 구성될 수 있다.
외곽 영역 삽입부(210)는 MХM 크기의 고 지향성 패치에 대해서 패딩 후의 패치 크기가 (sqrt(2)* M)Х(sqrt(2)* M)이 되도록 패치 외곽 영역에 0 값을 채운다. 이러한 외곽 영역 삽입부(210)의 동작은 이후 이어질 각도 변환에 따른 회전으로 인한 반경 확대를 미리 고려한 것이다.
각도 변환부(220)는 임의의 방향을 갖는 제로 패딩된 패치에 대해서 그래디언트 방향이 사전에 학습한 특정 각도가 되도록 패치를 회전시킨다. 여기서, 특정 각도는 예를 들어 0도가 사용될 수 있다.
반복 아키텍처(230)는 층 아키텍처(layer architecture)의 반복으로 구성되어 입력된 영상에 대한 특징 맵을 출력한다. 하나의 층 아키텍처는 합성 곱(Convolution), 배치 정규화(BN), 정류된 선형 유닛(ReLU)를 포함하여 이루어질 수 있다.
완전 연결 층(240)은 앞 단에서 출력된 특징 맵의 크기와 모양을 업스케일링된 입력 영상과 같도록 되돌린다.
각도 재 변환부(250)는 각도 변환부(220)를 통해 특정 방향으로 회전시켰던 패치를 원래의 방향으로 재회전시킨다.
외곽 영역 제거부(260)는 원래 패치 크기(MХM)로 되돌리기 위해, 외곽 영역 삽입부에서 추가로 삽입했던 영역을 제거 시킴으로써, 고 지향성 패치에 대한 고해상도 결과를 획득한다.
한편, 방향 지정 신경망과 병렬로 배치된 방향 비지정 신경망(Non-specified LD network)(300)은 다(multiple) 방향을 갖는 저 지향성 패치에 대한 고해상도 결과를 생성하는 네트워크로서, 반복 아키텍처(310)와 완전 연결층(320)을 가질 수 있다.
여기서, 반복 아키텍처는 기본적으로 방향 지정 신경망과 같은 구조이다. 즉, 반복 아키텍처(310)는 합성 곱(Convolution), 배치 정규화(BN), 정류된 선형 유닛(ReLU)의 반복으로 구성된다. 이때, 방향 비지정 신경망 내 반복 아키텍처가 포함하는 합성곱은 사전에 지향성 저지향성 패치만을 가지고 따로 학습시킨 신경망 파라미터를 이용할 수 있다.
마지막으로, 본 발명에 따른 초해상도 영상 생성 장치는 앞서 설명한 방향 지정 신경망의 출력 및 방향 비지정 신경망의 출력을 영상 내 패치 위치에 따라 적응적으로 선택하여 결합함으로써, 최종 고해상도 전체 영상을 획득할 수 있다.
도 3은 본 발명에 따른 신경망 학습 방법의 일 실시예에 따른 동작 순서를 도시한다.
도 3은 앞서 실시예를 통해 설명한 바와 같은 패치 방향 지정 신경망 및 패치 방향 비지정 신경망을 동시에 학습시키는 방법의 동작 순서도이다. 즉, 본 발명에 따른 패치 방향 지정 신경망 및 패치 방향 비지정 신경망은 도 3에 도시된 동작에 따라 미리 학습된다.
학습용 영상 데이터 셋이 마련되면, 고해상도 원본 영상을 입력으로 하여 바이큐빅 보간을 이용한 다운스케일링(S311)과 업스케일링(S312)을 실시한다.
바이큐빅 보간을 이용해 변환된 영상 내 모든 패치들에 대해 패치 분류 작업이 수행된다(S320). 영상 내 각 패치는 고지향성 패치 또는 저지향성 패치로 분류될 수 있으며, 패치 분류는 구체적으로 앞서 살펴본 수학식 1 및 수학식 2를 통해 정의된 방법을 통해 이루어질 수 있다.
이후의 절차는 고지향성 패치들에 대한 절차 및 저지향성 패치들에 대한 절차가 별개로, 동시에 진행될 수 있다.
특정 각도를 가진 고 지향성 패치에 대해, 블러된 업스케일링된 패치에 대한 신경망 출력이 원본과 최대한 유사하도록, 방향 지정 신경망 파라미터를 학습시킨다(S331). 여기서, 특정 각도는 0도일 수 있다. 학습된 방향 지정 신경망 파라미터는 본 발명에 따른 영상 변환에 이용하기 위해 저장된다(S332).
유사하게, 저지향성 패치로 분류된 패치들에 대해, 블러된 업스케일링된 패치에 대한 신경망 출력이 원본과 최대한 유사하도록, 방향 비지정 신경망 파라미터를 학습시킨다(S341). 학습된 방향 비지정 신경망 파라미터 또한 본 발명에 따른 초해상도 영상 생성에 이용하기 위해 저장된다(S342).
이처럼 동시에 학습시킨 방향 지정 신경망 파라미터와 방향 비지정 신경망 파라미터를 개별 메모리에 저장하고, 이를 이용하여 실제 온라인 환경에서 주어진 저해상도 영상을 본 발명에 따른 적응적 심층 신경망을 통해 고해상도 영상으로 변환할 수 있다.
도 4는 본 발명에 따른 패치 방향 적응형 병렬 신경망을 이용한 초해상도 영상 생성 방법의 동작 순서도이다.
이하에서는, 편의상 도4에 도시된 초해상도 영상 생성 방법이 본 발명에 따른 초해상도 영상 생성 장치에 의해 수행되는 것으로 설명한다. 하지만, 초해상도 영상 생성 방법의 동작 주체가 이에 한정되는 것은 아니다.
본 발명에 따른 초해상도 영상 생성 장치는 바이큐빅 보간을 통해 입력되는 저해상도 영상을 업스케일링하고(S410), 업스케일링된 영상에 포함된 각 패치에 대한 방향성을 결정한다(S420).
여기서, 패치의 방향성을 결정하는 단계는, 패치 내 각 픽셀별 그래디언트의 크기 및 방향을 산출하는 단계, 산출된 그래디언트 크기가 기 설정된 크기 이상인 픽셀에 대해 그래디언트 방향에 대한 빈도 수를 계산하여 히스토그램을 도출하는 단계 및 상기 히스토그램에서 빈도 수의 제1 최대 값 및 제2 최대 값의 비율이 기 설정된 비율 이상인지에 따라 상기 패치의 방향성을 고지향성 또는 저지향성으로 판단하는 단계를 포함할 수 있다.
해당 패치가 고지향성 패치인지 저지향성 패치인지에 따라, 즉, 패치의 방향성에 따라 패치에 적용할 방향 지정 신경망 또는 방향 비지정 신경망을 선택한다(S430).
방향성이 고지향성인 패치에 대해서는 방향 지정 신경망을 선택하여 적용하고(S450), 방향성이 저지향성인 패치에 대해서는 방향 비지정 신경망을 선택하여 적용한다(S470).
특정 방향성을 갖는 패치, 즉 고지향성인 패치에 대해 방향 지정 신경망을 적용하는 단계에서는, 입력된 패치에 외곽 영역을 덧붙여 삽입하고(S451), 상기 패치의 방향이 상기 방향 지정 신경망에 의해 학습된 기 설정된 방향이 되도록 상기 패치를 회전시켜 패치의 각도를 변환한다(S452). 여기서, 상기 방향 지정 신경망은, 바이큐빅 보간을 이용해 변환된 훈련 영상 내 복수의 패치들 중 기 설정된 방향성을 갖는 고 지향성 패치를 이용해 학습된 신경망 파라미터를 포함한다.
초해상도 영상 생성 장치는 회전된 패치에 대해 반복 아키텍처를 적용하여 특징 맵을 도출한다(S453). 반복 아키텍처로부터 출력된 특징 맵에 대해 완전 연결 층을 적용하여, 상기 특징 맵의 크기와 모양을 상기 업스케일링된 영상과 동일하게 설정한다(S454).
이후 초해상도 영상 생성 장치는, 패치의 각도를 원래 방향으로 재변환하고(S455), S451 단계에서 삽입되었던 외곽 영역을 제거한다(S456).
한편, 특정 방향성을 갖지 않는, 즉 저지향성 패치에 대해 방향 비지정 신경망을 적용하는 단계(S470)에서는, 입력되는 저지향성 패치에 대해 반복 아키텍처를 적용하고(S471), 상기 반복 아키텍처로부터 출력된 특징 맵에 대해 완전 연결 층을 적용한다(S472). 여기서, 상기 방향 비지정 신경망은, 바이큐빅 보간을 이용해 변환된 훈련 영상 내 복수의 패치들 중 저지향성 패치를 이용해 학습된 신경망 파라미터를 포함할 수 있다.
방향 비지정 신경망에 포함된 반복 아키텍처는 방향 지정 신경망에 포함된 반복 아키텍처와 동일한 구조를 포함하고 동일하게 동작한다.
반복 아키텍처는 적어도 하나의 층 아키텍처를 포함하는데, 하나의 층 아키텍처는, 합성곱(Convolution), 배치 정규화(BN; Batch Normalization), 정류된 선형 유닛(ReLU: Rectified Linear Unit)을 포함하여, 입력 패치에 대한 특징 맵을 생성할 수 있다.
초해상도 영상 생성 장치는, 방향 지정 신경망 및 방향 비지정 신경망으로부터 출력되는 하나 이상의 패치를 결합하여 초해상도 영상을 획득할 수 있다(S490).
도 5는 본 발명의 일 실시예에 따른 반복 아키텍처의 블록 구성도이다.
도 5를 참조하면, 본 발명이 일 실시예에 따른 반복 아키텍처(Iterative architectures)는 층 아키텍처(Layer architecture)(500)의 반복으로 구성된다.
하나의 층 아키텍처는 합성곱(Convolution)(510), 배치 정규화(BN; Batch Normalization)(520), 정류된 선형 유닛(ReLU: Rectified Linear Unit)(530)으로 이루어질 수 있다.
각 층 아키텍처에서는, 특정 방향으로 회전된 패치에 대해서 사전에 특정 방향을 가지는 고지향성 패치들을 가지고 학습시킨 파라미터를 이용한 합성곱을 수행한다. 합성곱의 결과로 입력 패치에 대한 특징 맵이 생성되며, 생성된 특징 맵은 합성곱 이후에 학습 과정에서의 수렴 속도와 안정성을 높이기 위해, 배치 정규화(520) 및 정류된 선형 유닛(530)을 거친다.
본 발명에 따른 반복 아키텍처는, 상술한 합성곱(510), 배치 정규화(520), 정류된 선형 유닛(ReLU: Rectified Linear Unit)(530)을 포함하는 층 아키텍처를 여러 번 반복 수행하여 최종적인 특징 맵을 출력한다.
도 6 내지 도 8을 통해서는 본 발명에 따라 패치 방향 기반 적응적인 병렬 신경망을 활용한 초해상도 업스케일링(Х4)의 결과를 확인할 수 있다.
도 6a는 고해상도 원본 영상을, 도 6b는 저해상도 입력 영상으로부터 가로 및 세로 4배의 바이큐빅 보간된 영상을 나타낸다.
도 7a는 저해상도 입력 영상에 대해 VDSR을 활용한 경우의 초해상도 업스케일링 결과를, 도 7b는 저해상도 입력 영상에 대해 DnCNN을 활용한 경우의 초해상도 업스케일링 결과를, 도 7c는 저해상도 입력 영상에 대해 SRMD 을 활용한 경우의 초해상도 업스케일링 결과를 나타낸다.
도 7a 내지 도 7c를 통해 제시된 업스케일링된 영상들은 기존에 제시된 초해상도 신경망을 활용한 결과 영상들로서, 본 발명에 대한 비교예로서 제시된다.
도 8은 본 발명의 일 실시예에 따라 패치 방향 기반 적응적인 병렬 신경망을 활용하여 초해상도 업스케일링(Х4)한 영상을 도시한다. 도 8의 영상이 기존 초해상도 신경망에 따른 영상들(도 7a 내지 도 7c) 대비, 특히 화살표로 표시된 단 방향 에지 영역에서 도 6a에 도시된 고해상도 원본(ground-truth)에 보다 가까우면서, 더 높은 선명도 향상 효과를 가짐을 확인할 수 있다.
도 9는 본 발명의 다른 실시예에 따른 초해상도 영상 생성 장치의 블록 구성도이다.
본 발명의 일 실시예에 따른 초해상도 영상 생성 장치는, 적어도 하나의 프로세서(910), 상기 프로세서를 통해 실행되는 적어도 하나의 명령을 저장하는 메모리(920) 및 네트워크와 연결되어 통신을 수행하는 송수신 장치(930)를 포함할 수 있다.
초해상도 영상 생성 장치(900)는 또한, 입력 인터페이스 장치(940), 출력 인터페이스 장치(950), 저장 장치(960) 등을 더 포함할 수 있다. 초해상도 영상 생성 장치(900)에 포함된 각각의 구성 요소들은 버스(bus)(970)에 의해 연결되어 서로 통신을 수행할 수 있다.
프로세서(910)는 메모리(920) 및 저장 장치(960) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(910)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(920) 및 저장 장치(960) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(920)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중에서 적어도 하나로 구성될 수 있다.
저장 장치(960)는 또한, 특정 각도로 학습된 하나 이상의 방향 지정 신경 파라미터 및 학습된 하나 이상의 방향 비지정 신경망 파라미터를 저장할 수 있다.
여기서, 적어도 하나의 명령은, 상기 프로세서로 하여금, 입력되는 저해상도 영상을 업스케일링하도록 하는 명령; 상기 업스케일링된 영상에 포함된 각 패치에 대한 방향성을 결정도록 하는 명령; 해당 패치의 방향성에 따라 방향 지정 신경망 또는 방향 비지정 신경망을 선택하도록 하는 명령; 상기 해당 패치에 대해 선택된 신경망을 적용하도록 하는 명령; 및 상기 방향 지정 신경망 및 방향 비지정 신경망으로부터 출력되는 하나 이상의 패치를 결합하여 초해상도 영상을 획득하도록 하는 명령을 포함할 수 있다.
여기서, 상기 특정 방향성을 갖는 패치에 대해 방향 지정 신경망을 적용하도록 하는 명령은, 상기 패치를 회전시키기 전에 입력된 패치에 외곽 영역을 덧붙여 삽입하도록 하는 명령; 상기 패치의 방향이 상기 방향 지정 신경망에 의해 학습된 기 설정된 방향이 되도록 상기 패치를 회전시키도록 하는 명령; 상기 회전된 패치에 대해 반복 아키텍처를 적용하도록 하는 명령; 반복 아키텍처로부터 출력된 특징 맵에 대해 완전 연결 층을 적용하여, 상기 특징 맵의 크기와 모양을 상기 업스케일링된 영상과 동일하게 설정하도록 하는 명령; 상기 패치를 원래 방향으로 각도 재변환하도록 하는 명령; 및 상기 원래 방향으로 각도 재변환된 패치에서 상기 외곽 영역을 제거하도록 하는 명령을 포함할 수 있다.
상기 각 패치에 대한 방향성을 결정하도록 하는 명령은, 상기 패치 내 각 픽셀별 그래디언트의 크기 및 방향을 산출하도록 하는 명령; 산출된 그래디언트 크기가 기 설정된 크기 이상인 픽셀에 대해 그래디언트 방향에 대한 빈도 수를 계산하여 히스토그램을 도출하도록 하는 명령; 및 상기 히스토그램에서 빈도 수의 제1 최대 값 및 제2 최대 값의 비율이 기 설정된 비율 이상인지에 따라 상기 패치의 방향성을 고지향성 또는 저지향성으로 판단하도록 하는 명령을 포함할 수 있다.
상기 특정 방향성을 갖지 않는 패치에 대해 방향 비지정 신경망을 적용하도록 하는 명령은, 입력되는 패치에 대해 반복 아키텍처를 적용하도록 하는 명령; 상기 반복 아키텍처로부터 출력된 특징 맵에 대해 완전 연결 층을 적용하도록 하는 명령을 포함할 수 있다.
이상 실시예들을 통해 설명한 본 발명은 딥러닝 기반 종래 기술에서는 다루지 못한 초해상도 이미징을 위한 키 요소들을 포함하고 있다.
첫번째, 패치 방향 정보를 활용한 방향 지정 신경망과 방향 비지정 신경망을 제안하고, 이를 병렬로 배치하여 입력 패치 방향에 따라 적응적으로 적용한다. 이를 통해, 저 지향성 패치에 대한 초해상도 성능을 유지하면서, 고 지향성 패치에 대한 초해상도 성능을 크게 개선할 수 있다.
두번째, 방향 지정 신경망 내 외곽 영역 삽입 및 각도 변환부 등의 추가 구성요소를 포함하여, 여러 방향(0도 ~ 180도)을 가질 수 있는 고 지향성 패치에 대해서 특정 방향(0도)으로 지정된 신경망을 일괄적으로 적용할 수 있다.
세번째, 사전에 데이터 셋이 주어졌을 때, 패치 분류를 통해 방향 지정 신경망과 방향 비지정 신경망 파라미터들을 동시에 학습시키고 개별 저장하는 프레임워크를 통해, 학습된 신경망을 이용하여 저화질/저해상도 영상을 성공적으로 고화질/고해상도로 변환할 수 있다. 그에 따라, 수신단에서 블러된 영상의 선명도를 개선함으로써, CCTV/블랙박스 등 고화질 영상 정보 기반의 스마트시티 영상 분석 플랫폼의 성능을 향상시키는 효과를 가진다.
본 발명의 실시예에 따른 방법의 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.
실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.
이상 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
110: 패치방향 계산부 120: 신경망 선택부
200: 방향 지정 신경망 300: 방향 비지정 신경망
500: 층 아키텍처 900: 초해상도 영상 생성 장치
910: 프로세서 920: 메모리
960: 저장 장치

Claims (20)

  1. 입력되는 저해상도 영상을 업스케일링하는 단계;
    상기 업스케일링된 영상에 포함된 각 패치에 대한 방향성을 결정하는 단계;
    해당 패치의 방향성에 따라 방향 지정 신경망 또는 방향 비지정 신경망을 선택하는 단계;
    상기 해당 패치에 대해 선택된 신경망을 적용하는 단계; 및
    상기 방향 지정 신경망 및 방향 비지정 신경망으로부터 출력되는 하나 이상의 패치를 결합하여 초해상도 영상을 획득하는 단계를 포함하는, 초해상도 영상 생성 방법.
  2. 청구항 1에 있어서,
    상기 해당 패치에 대해 선택된 신경망을 적용하는 단계는,
    특정 방향성을 갖는 패치에 대해 방향 지정 신경망을 적용하는 단계를 포함하는, 초해상도 영상 생성 방법.
  3. 청구항 2에 있어서,
    상기 특정 방향성을 갖는 패치에 대해 방향 지정 신경망을 적용하는 단계는,
    상기 패치의 방향이 상기 방향 지정 신경망에 의해 학습된 기 설정된 방향이 되도록 상기 패치를 회전시키는 단계;
    상기 회전된 패치에 대해 반복 아키텍처를 적용하는 단계;
    반복 아키텍처로부터 출력된 특징 맵에 대해 완전 연결 층을 적용하여, 상기 특징 맵의 크기와 모양을 상기 업스케일링된 영상과 동일하게 설정하는 단계; 및
    상기 패치를 원래 방향으로 각도 재변환하는 단계를 포함하는, 초해상도 영상 생성 방법.
  4. 청구항 3에 있어서,
    상기 특정 방향성을 갖는 패치에 대해 방향 지정 신경망을 적용하는 단계는,
    상기 패치를 회전시키기 전에 입력된 패치에 외곽 영역을 덧붙여 삽입하는 단계; 및
    상기 원래 방향으로 각도 재변환된 패치에서 상기 외곽 영역을 제거하는 단계를 더 포함하는 초해상도 영상 생성 방법.
  5. 청구항 1에 있어서,
    상기 방향 지정 신경망은,
    바이큐빅 보간을 이용해 변환된 훈련 영상 내 복수의 패치들 중 기 설정된 방향성을 갖는 고 지향성 패치를 이용해 학습된 신경망 파라미터를 포함하는, 초해상도 영상 생성 방법.
  6. 청구항 1에 있어서,
    상기 방향 비지정 신경망은,
    바이큐빅 보간을 이용해 변환된 훈련 영상 내 복수의 패치들 중 저 지향성 패치를 이용해 학습된 신경망 파라미터를 포함하는, 초해상도 영상 생성 방법.
  7. 청구항 1에 있어서,
    상기 각 패치에 대한 방향성을 결정하는 단계는,
    상기 패치 내 각 픽셀별 그래디언트의 크기 및 방향을 산출하는 단계;
    산출된 그래디언트 크기가 기 설정된 크기 이상인 픽셀에 대해 그래디언트 방향에 대한 빈도 수를 계산하여 히스토그램을 도출하는 단계; 및
    상기 히스토그램에서 빈도 수의 제1 최대 값 및 제2 최대 값의 비율이 기 설정된 비율 이상인지에 따라 상기 패치의 방향성을 고지향성 또는 저지향성으로 판단하는 단계를 포함하는, 초해상도 영상 생성 방법.
  8. 청구항 7에 있어서,
    상기 해당 패치의 방향성에 따라 방향 지정 신경망 또는 방향 비지정 신경망을 선택하는 단계는,
    방향성이 고지향성인 패치에 대해 방향 지정 신경망을 선택하는 단계; 및
    방향성이 저지향성인 패치에 대해 방향 비지정 신경망을 선택하는 단계를 포함하는, 초해상도 영상 생성 방법.
  9. 청구항 1에 있어서,
    상기 해당 패치에 대해 선택된 신경망을 적용하는 단계는,
    특정 방향성을 갖지 않는 패치에 대해 방향 비지정 신경망을 적용하는 단계를 포함하는, 초해상도 영상 생성 방법.
  10. 청구항 9에 있어서,
    상기 특정 방향성을 갖지 않는 패치에 대해 방향 비지정 신경망을 적용하는 단계는,
    입력되는 패치에 대해 반복 아키텍처를 적용하는 단계; 및
    상기 반복 아키텍처로부터 출력된 특징 맵에 대해 완전 연결 층을 적용하는 단계를 포함하는, 초해상도 영상 생성 방법.
  11. 청구항 3 또는 청구항 10에 있어서,
    상기 반복 아키텍처는 적어도 하나의 층 아키텍처를 포함하고,
    하나의 층 아키텍처는,
    합성곱(Convolution), 배치 정규화(BN; Batch Normalization), 정류된 선형 유닛(ReLU: Rectified Linear Unit)을 포함하여, 입력 패치에 대한 특징 맵을 생성하는, 초해상도 영상 생성 방법.
  12. 프로세서; 및
    상기 프로세서를 통해 실행되는 적어도 하나의 명령을 저장하는 메모리를 포함하는
    상기 적어도 하나의 명령은,
    입력되는 저해상도 영상을 업스케일링하도록 하는 명령;
    상기 업스케일링된 영상에 포함된 각 패치에 대한 방향성을 결정도록 하는 명령;
    해당 패치의 방향성에 따라 방향 지정 신경망 또는 방향 비지정 신경망을 선택하도록 하는 명령;
    상기 해당 패치에 대해 선택된 신경망을 적용하도록 하는 명령; 및
    상기 방향 지정 신경망 및 방향 비지정 신경망으로부터 출력되는 하나 이상의 패치를 결합하여 초해상도 영상을 획득하도록 하는 명령을 포함하는, 초해상도 영상 생성 장치.
  13. 청구항 12에 있어서,
    상기 해당 패치에 대해 선택된 신경망을 적용하도록 하는 명령은,
    특정 방향성을 갖는 패치에 대해 방향 지정 신경망을 적용하도록 하는 명령을 포함하는, 초해상도 영상 생성 장치.
  14. 청구항 13에 있어서,
    상기 특정 방향성을 갖는 패치에 대해 방향 지정 신경망을 적용하도록 하는 명령은,
    상기 패치의 방향이 상기 방향 지정 신경망에 의해 학습된 기 설정된 방향이 되도록 상기 패치를 회전시키도록 하는 명령;
    상기 회전된 패치에 대해 반복 아키텍처를 적용하도록 하는 명령;
    반복 아키텍처로부터 출력된 특징 맵에 대해 완전 연결 층을 적용하여, 상기 특징 맵의 크기와 모양을 상기 업스케일링된 영상과 동일하게 설정하도록 하는 명령; 및
    상기 패치를 원래 방향으로 각도 재변환하도록 하는 명령을 포함하는, 초해상도 영상 생성 장치.
  15. 청구항 14에 있어서,
    상기 특정 방향성을 갖는 패치에 대해 방향 지정 신경망을 적용하도록 하는 명령은,
    상기 패치를 회전시키기 전에 입력된 패치에 외곽 영역을 덧붙여 삽입하도록 하는 명령; 및
    상기 원래 방향으로 각도 재변환된 패치에서 상기 외곽 영역을 제거하도록 하는 명령을 포함하는, 초해상도 영상 생성 장치.
  16. 청구항 12에 있어서,
    상기 방향 지정 신경망은,
    바이큐빅 보간을 이용해 변환된 훈련 영상 내 복수의 패치들 중 고 지향성 패치를 이용해 학습된 신경망 파라미터를 포함하는, 초해상도 영상 생성 장치.
  17. 청구항 12에 있어서,
    상기 방향 비지정 신경망은,
    바이큐빅 보간을 이용해 변환된 훈련 영상 내 복수의 패치들 중 저 지향성 패치를 이용해 학습된 신경망 파라미터를 포함하는, 초해상도 영상 생성 장치.
  18. 청구항 12에 있어서,
    상기 각 패치에 대한 방향성을 결정하도록 하는 명령은,
    상기 패치 내 각 픽셀별 그래디언트의 크기 및 방향을 산출하도록 하는 명령;
    산출된 그래디언트 크기가 기 설정된 크기 이상인 픽셀에 대해 그래디언트 방향에 대한 빈도 수를 계산하여 히스토그램을 도출하도록 하는 명령; 및
    상기 히스토그램에서 빈도 수의 제1 최대 값 및 제2 최대 값의 비율이 기 설정된 비율 이상인지에 따라 상기 패치의 방향성을 고지향성 또는 저지향성으로 판단하도록 하는 명령을 포함하는, 초해상도 영상 생성 장치.
  19. 청구항 12에 있어서,
    상기 해당 패치에 대해 선택된 신경망을 적용하도록 하는 명령은,
    특정 방향성을 갖지 않는 패치에 대해 방향 비지정 신경망을 적용하도록 하는 명령을 포함하는, 초해상도 영상 생성 장치.
  20. 청구항 19에 있어서,
    상기 특정 방향성을 갖지 않는 패치에 대해 방향 비지정 신경망을 적용하도록 하는 명령은,
    입력되는 패치에 대해 반복 아키텍처를 적용하도록 하는 명령; 및
    상기 반복 아키텍처로부터 출력된 특징 맵에 대해 완전 연결 층을 적용하도록 하는 명령을 포함하는, 초해상도 영상 생성 장치.
KR1020190098952A 2019-08-13 2019-08-13 방향 적응형 병렬 신경망을 이용한 초해상도 영상 생성 장치 및 방법 KR20210019835A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190098952A KR20210019835A (ko) 2019-08-13 2019-08-13 방향 적응형 병렬 신경망을 이용한 초해상도 영상 생성 장치 및 방법
US16/991,689 US11727533B2 (en) 2019-08-13 2020-08-12 Apparatus and method for generating super resolution image using orientation adaptive parallel neural networks

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190098952A KR20210019835A (ko) 2019-08-13 2019-08-13 방향 적응형 병렬 신경망을 이용한 초해상도 영상 생성 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20210019835A true KR20210019835A (ko) 2021-02-23

Family

ID=74567279

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190098952A KR20210019835A (ko) 2019-08-13 2019-08-13 방향 적응형 병렬 신경망을 이용한 초해상도 영상 생성 장치 및 방법

Country Status (2)

Country Link
US (1) US11727533B2 (ko)
KR (1) KR20210019835A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220067879A1 (en) 2020-09-03 2022-03-03 Nvidia Corporation Image enhancement using one or more neural networks
CN113487481B (zh) * 2021-07-02 2022-04-12 河北工业大学 基于信息构建和多密集残差块的循环视频超分辨率方法
KR20240035992A (ko) * 2021-07-15 2024-03-19 퀄컴 인코포레이티드 현저성에 기초한 초해상도

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101791573B1 (ko) 2016-10-21 2017-10-31 서강대학교산학협력단 컨볼루션 신경망을 이용한 비디오 스트림에 대한 수퍼 해상도 장치 및 방법
US10467458B2 (en) 2017-07-21 2019-11-05 Altumview Systems Inc. Joint face-detection and head-pose-angle-estimation using small-scale convolutional neural network (CNN) modules for embedded systems
KR20180105294A (ko) 2017-03-14 2018-09-28 한국전자통신연구원 이미지 압축 장치
US10489887B2 (en) 2017-04-10 2019-11-26 Samsung Electronics Co., Ltd. System and method for deep learning image super resolution
KR101996730B1 (ko) 2017-10-11 2019-07-04 인하대학교 산학협력단 인공신경망을 이용한 단일 영상 고해상도 복원 방법 및 시스템
KR102033078B1 (ko) 2017-10-30 2019-10-16 에스케이텔레콤 주식회사 화질 측정 기반 영상 처리방법 및 그 장치
KR102221225B1 (ko) 2017-11-22 2021-03-02 에스케이텔레콤 주식회사 영상 화질 개선방법 및 그 장치
US10789717B2 (en) 2017-11-24 2020-09-29 Electronics And Telecommunications Research Institute Apparatus and method of learning pose of moving object

Also Published As

Publication number Publication date
US11727533B2 (en) 2023-08-15
US20210049741A1 (en) 2021-02-18

Similar Documents

Publication Publication Date Title
Wang et al. Image inpainting via generative multi-column convolutional neural networks
Sun et al. Learned image downscaling for upscaling using content adaptive resampler
CN108122197B (zh) 一种基于深度学习的图像超分辨率重建方法
CN111028150B (zh) 一种快速时空残差注意力视频超分辨率重建方法
US10198801B2 (en) Image enhancement using self-examples and external examples
US11727533B2 (en) Apparatus and method for generating super resolution image using orientation adaptive parallel neural networks
CN102378978A (zh) 变换的快速和存储有效实现的方法
Dong et al. Joint demosaicing and denoising with perceptual optimization on a generative adversarial network
CN110517352B (zh) 一种物体的三维重建方法、存储介质、终端及系统
Upadhyay et al. Robust super-resolution GAN, with manifold-based and perception loss
Chen et al. Geoaug: Data augmentation for few-shot nerf with geometry constraints
WO2021115403A1 (zh) 一种图像的处理方法及装置
CN112771578A (zh) 使用细分缩放和深度上缩放的图像生成
KR102493492B1 (ko) 초해상도 모델의 메타 러닝을 통한 빠른 적응 방법 및 장치
Shi et al. (SARN) spatial-wise attention residual network for image super-resolution
Yao et al. Bidirectional translation between uhd-hdr and hd-sdr videos
US20220207790A1 (en) Image generation method and apparatus, and computer
Li et al. Dual-streams edge driven encoder-decoder network for image super-resolution
US20150324953A1 (en) Method and apparatus for performing single-image super-resolution
CN112200752B (zh) 一种基于er网络多帧图像去模糊系统及其方法
US20230298135A1 (en) Image super-resolution method using frequency domain features
CN110322548B (zh) 一种基于几何图像参数化的三维网格模型生成方法
Yin et al. Novel view synthesis for large-scale scene using adversarial loss
Purohit et al. Scale-recurrent multi-residual dense network for image super-resolution
JP2011070283A (ja) 顔画像高解像度化装置、及びプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal