KR20230157223A - 영상 처리 장치 및 그 동작 방법 - Google Patents

영상 처리 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20230157223A
KR20230157223A KR1020220127170A KR20220127170A KR20230157223A KR 20230157223 A KR20230157223 A KR 20230157223A KR 1020220127170 A KR1020220127170 A KR 1020220127170A KR 20220127170 A KR20220127170 A KR 20220127170A KR 20230157223 A KR20230157223 A KR 20230157223A
Authority
KR
South Korea
Prior art keywords
image
feature
information
image processing
feature information
Prior art date
Application number
KR1020220127170A
Other languages
English (en)
Inventor
안일준
박재연
신하늘
강수민
송영찬
이태미
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2023/004673 priority Critical patent/WO2023219277A1/ko
Priority to US18/141,142 priority patent/US20230360359A1/en
Publication of KR20230157223A publication Critical patent/KR20230157223A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

일 실시예에 따른 하나 이상의 뉴럴 네트워크들을 이용하여, 영상을 처리하는 영상 처리 장치는, 하나 이상의 인스트럭션들을 저장하는 메모리, 및 메모리에 저장된 하나 이상의 인스트럭션들을 실행함으로써, 제1 영상의 분류 정보 및 제1 특징 정보를 획득하고, 분류 정보 및 제1 특징 정보에 제1 영상 처리를 수행함으로써, 제1 영상에 대한 제1 특징 영상을 생성하고, 분류 정보 및 제1 특징 정보에 제2 영상 처리를 수행함으로써, 제2 특징 정보를 획득하고, 제1 영상 처리의 중간에서 추출되는 제3 특징 정보에 제3 영상 처리를 수행함으로써, 제4 특징 정보를 획득하고, 제2 특징 정보 및 제4 특징 정보에 기초하여, 제1 영상에 대한 제2 특징 영상을 생성하고, 제1 특징 영상 및 제2 특징 영상에 기초하여, 제2 영상을 생성하는 적어도 하나의 프로세서를 포함할 수 있다.

Description

영상 처리 장치 및 그 동작 방법{Image processing apparatus and operating method for the same}
다양한 실시예들은 뉴럴 네트워크를 이용하여, 영상을 처리하는 영상 처리 장치 및 그 동작 방법에 관한 것이다.
컴퓨터 기술의 발달과 함께 데이터 트래픽이 지수함수 형태로 증가하면서 인공지능은 미래 혁신을 주도하는 중요한 트렌드로 자리잡았다. 인공지능은 사람의 사고방식을 모방하는 방식이기 때문에 사실상 전 산업에 무한하게 응용이 가능하다. 인공지능의 대표적인 기술로는 패턴 인식, 기계 학습, 전문가 시스템, 뉴럴 네트워크, 자연어 처리 등이 있다.
뉴럴 네트워크는 인간의 생물학적 신경 세포의 특성을 수학적 표현에 의해 모델링한 것으로, 인간이 가지고 있는 학습이라는 능력을 모방한 알고리즘을 이용한다. 이 알고리즘을 통하여, 뉴럴 네트워크는 입력 데이터와 출력 데이터 사이의 사상(mapping)을 생성할 수 있고, 이러한 사상을 생성하는 능력은 뉴럴 네트워크의 학습 능력이라고 표현될 수 있다. 또한, 뉴럴 네트워크는 학습된 결과에 기초하여, 학습에 이용되지 않았던 입력 데이터에 대하여, 올바른 출력 데이터를 생성할 수 있는 일반화 능력을 가진다.
뉴럴 네트워크는 영상 처리에 이용될 수 있으며, 특히, 심층 신경망(DNN: Deep Neural Network)을 이용하여, 영상의 노이즈 또는 아티팩트를 제거하거나, 영상의 화질 또는 해상도를 증가시키는 영상 처리를 수행할 수 있다.
일 실시예에 따른 영상 처리 장치는 하나 이상의 뉴럴 네트워크들을 이용하여, 영상을 처리할 수 있다.
일 실시예에 따른 영상 처리 장치는 하나 이상의 인스트럭션들을 저장하는 메모리 및 상기 하나 이상의 인스트럭션들을 실행하는 적어도 하나의 프로세서를 포함할 수 있다.
일 실시예에 따른 적어도 하나의 프로세서는 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행함으로써, 제1 영상의 분류 정보 및 제1 특징 정보를 획득할 수 있다.
일 실시예에 따른 적어도 하나의 프로세서는 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 분류 정보 및 상기 제1 특징 정보에 제1 영상 처리를 수행하여, 상기 제1 영상에 대한 제1 특징 영상을 생성할 수 있다.
일 실시예에 따른 적어도 하나의 프로세서는 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 분류 정보 및 상기 제1 특징 정보에 제2 영상 처리를 수행하여, 제2 특징 정보를 획득할 수 있다.
일 실시예에 따른 적어도 하나의 프로세서는 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 제1 영상 처리의 중간에서 추출되는 제3 특징 정보에 제3 영상 처리를 수행하여, 제4 특징 정보를 획득할 수 있다.
일 실시예에 따른 적어도 하나의 프로세서는 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 제2 특징 정보 및 상기 제4 특징 정보에 기초하여, 상기 제1 영상에 대한 제2 특징 영상을 생성할 수 있다.
일 실시예에 따른 적어도 하나의 프로세서는 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 제1 특징 영상 및 상기 제2 특징 영상에 기초하여, 제2 영상을 생성할 수 있다.
일 실시예에 따른 하나 이상의 뉴럴 네트워크들을 이용하여, 영상을 처리하는 영상 처리 장치의 동작 방법은, 제1 영상의 분류 정보 및 제1 특징 정보를 획득하는 단계를 포함할 수 있다.
일 실시예에 따른 하나 이상의 뉴럴 네트워크들을 이용하여, 영상을 처리하는 영상 처리 장치의 동작 방법은, 상기 분류 정보 및 상기 제1 특징 정보에 제1 영상 처리를 수행함으로써, 상기 제1 영상에 대한 제1 특징 영상을 생성하는 단계를 포함할 수 있다.
일 실시예에 따른 하나 이상의 뉴럴 네트워크들을 이용하여, 영상을 처리하는 영상 처리 장치의 동작 방법은, 상기 분류 정보 및 상기 제1 특징 정보에 제2 영상 처리를 수행함으로써, 제2 특징 정보를 획득하는 단계를 포함할 수 있다.
일 실시예에 따른 하나 이상의 뉴럴 네트워크들을 이용하여, 영상을 처리하는 영상 처리 장치의 동작 방법은, 상기 제1 영상 처리의 중간에서 추출되는 제3 특징 정보에 제3 영상 처리를 수행함으로써, 제4 특징 정보를 획득하는 단계를 포함할 수 있다.
일 실시예에 따른 하나 이상의 뉴럴 네트워크들을 이용하여, 영상을 처리하는 영상 처리 장치의 동작 방법은, 상기 제2 특징 정보 및 상기 제4 특징 정보에 기초하여, 상기 제1 영상에 대한 제2 특징 영상을 생성하는 단계를 포함할 수 있다.
일 실시예에 따른 하나 이상의 뉴럴 네트워크들을 이용하여, 영상을 처리하는 영상 처리 장치의 동작 방법은, 상기 제1 특징 영상 및 상기 제2 특징 영상에 기초하여, 제2 영상을 생성하는 단계를 포함할 수 있다.
일 실시예에 따른 컴퓨터로 읽을 수 있는 기록매체는 일 실시예에 따른 하나 이상의 뉴럴 네트워크들을 이용하여, 영상을 처리하는 영상 처리 장치의 동작 방법을 컴퓨터에 의해 수행하기 위한 적어도 하나의 인스트럭션을 포함하는 프로그램을 저장할 수 있다.
도 1은 일 실시예에 따른 영상 처리 장치가 영상 처리 네트워크를 이용하여, 영상을 처리하는 동작을 나타내는 도면이다.
도 2는 일 실시예에 따른 영상 처리 네트워크를 나타내는 도면이다.
도 3은 일 실시예에 따른 제1 모듈을 나타내는 도면이다.
도 4는 일 실시예에 따른 제1 특징 추출부를 나타내는 도면이다.
도 5는 일 실시예에 따른 제1 특징 영상 생성부를 나타내는 도면이다.
도 6은 일 실시예에 따른 제3 모듈이 제1 영상의 분류 정보 및 제1 특징 정보를 처리하는 방법을 나타내는 도면이다.
도 7은 일 실시예에 따른 제3 모듈이 제3 특징 정보를 처리하는 방법을 나타내는 도면이다.
도 8은 일 실시예에 따른 제2 모듈을 나타내는 도면이다.
도 9는 일 실시예에 따른 영상 처리 장치의 동작 방법을 나타내는 흐름도이다.
도 10은 일 실시예에 따른 영상 처리 장치의 구성을 나타내는 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 일 실시예에 따른 영상 처리 장치가 영상 처리 네트워크를 이용하여, 영상을 처리하는 동작을 나타내는 도면이다.
도 1을 참조하면, 일 실시예에 따른 영상 처리 네트워크(103)는 제1 영상(101)을 입력 받아, 제1 영상(101)을 처리함으로써, 제2 영상(102)을 생성할 수 있다. 이때, 제1 영상(101)은 노이즈 또는 아티팩트를 포함하는 영상일 수 있으며, 저해상도 영상, 또는 저화질 영상일 수 있다. 영상 처리 장치(100)는 영상 처리 네트워크(103)를 이용하여, 제1 영상(101)의 세밀한 가장자리(edge)와 텍스쳐를 유지하면서 노이즈를 제거하는 디노이징(denoising)을 수행함으로써, 제2 영상(102)을 생성할 수 있다. 제2 영상(102)은 제1 영상(101)보다 화질이 개선된 영상일 수 있다. 또한, 제2 영상(102)은 제1 영상(101)보다 고해상도 영상일 수 있다. 다만, 이에 한정되지 않는다.
일 실시예에 따른 영상 처리 네트워크(103)는 하나 이상의 뉴럴 네트워크들을 포함할 수 있으며, 제1 내지 제3 모듈들 및 영상 합성부를 포함할 수 있다. 다만, 이에 한정되지 않는다.
이하, 도면을 참조하여 일 실시예에 따른 영상 처리 네트워크를 자세히 설명하기로 한다.
도 2는 일 실시예에 따른 영상 처리 네트워크를 나타내는 도면이다.
도 2를 참조하면, 일 실시예에 따른 영상 처리 네트워크(103)는 제1 모듈(210), 제2 모듈(220), 제3 모듈(230) 및 영상 합성부(240)를 포함할 수 있다.
일 실시예에 따른 제1 모듈(210)로 제1 영상(x)이 입력될 수 있다. 제1 모듈(210)은 제1 영상(x)의 제1 특징 정보 및 분류 정보를 획득할 수 있다.
제1 모듈(210)에서 획득된 제1 영상(x)의 제1 특징 정보 및 분류 정보는 제3 모듈(230)로 입력될 수 있다.
또한, 제1 모듈(210)은 제1 영상(x)의 제1 특징 정보 및 분류 정보에 기초하여, 제1 특징 영상(y1)을 생성할 수 있다. 예를 들어, 제1 모듈(210)은 제1 영상(x)의 제1 특징 정보 및 분류 정보에 제1 영상 처리를 수행함으로써, 제1 특징 영상(y1)을 생성할 수 있다. 제1 특징 영상(y1)은 제1 영상(x)에 포함되는 비-고주파 성분(예를 들어, 저주파 성분, 중저파 성분)의 특징을 포함하는 영상일 수 있다. 다만, 이에 한정되지 않는다.
또한, 제1 모듈(210)은 제1 영상 처리의 중간에서 추출되는 제3 특징 정보를 획득하고, 제3 특징 정보는 제3 모듈(230)로 입력될 수 있다.
제3 모듈(230)은 제1 영상의 제1 특징 정보 및 분류 정보에 기초하여, 제2 특징 정보를 획득할 수 있다. 제3 모듈(230)은 제1 영상의 제1 특징 정보 및 분류 정보에 제2 영상 처리를 수행함으로써, 제2 특징 정보를 생성할 수 있다. 제2 특징 정보는 제2 모듈(220)로 입력될 수 있다.
제3 모듈(230)은 제3 특징 정보에 기초하여, 제4 특징 정보를 획득할 수 있다. 제3 모듈(230)은 제3 특징 정보에 제3 영상 처리를 수행함으로써, 제4 특징 정보를 생성할 수 있다.
제2 특징 정보 및 제4 특징 정보는 제2 모듈(220)로 입력될 수 있다.
제2 모듈(220)은 제2 특징 정보 및 제4 특징 정보에 기초하여, 제1 영상에 대한 제2 특징 영상(y2)을 생성할 수 있다. 제2 특징 영상(y2)은 제1 영상(x)에 포함되는 고주파 성분의 특징을 포함하는 영상일 수 있다. 다만, 이에 한정되지 않는다.
영상 합성부(240)는 제1 특징 영상(y1)과 제2 특징 영상(y2)을 합성하여, 제2 영상(y)을 생성할 수 있다.
이하, 도면을 참조하여 일 실시예에 따른 제1 내지 제3 모듈들(210, 220, 230) 각각의 세부적인 구성을 자세히 설명하기로 한다.
도 3은 일 실시예에 따른 제1 모듈을 나타내는 도면이다.
도 3을 참조하면, 제1 모듈(210)은 제1 특징 추출부(310) 및 제1 특징 영상 생성부(320)를 포함할 수 있다.
일 실시예에 따른 제1 특징 추출부(310)는 특징 추출 네트워크를 포함할 수 있으며, 특징 추출 네트워크는 하나 이상의 컨볼루션 레이어들을 포함할 수 있다. 제1 영상(x)은 제1 특징 추출부(310)로 입력될 수 있으며, 제1 특징 추출부(310)는 특징 추출 네트워크를 이용하여, 제1 영상의 분류 정보(Fclass) 및 제1 특징 정보(Flatent)를 획득할 수 있다.
제1 특징 추출부(310)의 세부적인 구성에 대해서는 도 4를 참조하여 자세히 설명하기로 한다.
도 4는 일 실시예에 따른 제1 특징 추출부를 나타내는 도면이다.
도 4를 참조하면, 일 실시예에 따른 제1 특징 추출부(310)는 제1 영상(x)과 제1 컨볼루션 레이어(410)에 포함된 제1 가중치와의 컨볼루션 연산을 수행함으로써, 제1 특징 데이터를 획득할 수 있다. 제1 특징 추출부(310)는 제1 특징 데이터와 제2 컨볼루션 레이어(420)에 포함된 제2 가중치와의 컨볼루션 연산을 수행함으로써, 제2 특징 데이터를 획득할 수 있다.
또한, 제1 특징 추출부(310)는 제1 영상(x)과 제3 컨볼루션 레이어(430)에 포함된 제3 가중치와의 컨볼루션 연산을 수행함으로써, 제3 특징 데이터를 획득할 수 있다.
또한, 제1 특징 추출부(310)는 합산 레이어(440)에서 제2 특징 데이터와 제3 특징 데이터의 요소별 덧셈 연산이 수행할 수 있다.
일 실시예에 따른 제1 특징 추출부(310)는 제1 컨볼루션 레이어(410), 제2 컨볼루션 레이어(420), 제3 컨볼루션 레이어(430) 및 합산 레이어(440)를 포함하는 모듈(401)이 직렬로 반복적으로 배열되는 구조를 포함할 수 있다. 다만, 이에 한정되지 않는다.
이에 따라, 제1 특징 추출부(310)는 제1 영상의 분류 정보(Fclass) 및 제1 특징 정보(Flatent)를 획득할 수 있다. 이때, 제1 영상의 분류 정보(Fclass)는 제1 영상(x)이 기 설정된 복수의 카테고리들 각각에 포함될 확률을 나타내는 데이터를 포함할 수 있다. 또한, 제1 영상의 분류 정보(Fclass) 및 제1 특징 정보(Flatent)는 벡터 형태의 데이터일 수 있다. 다만, 이에 한정되지 않는다.
다시 도 3을 참조하면, 제1 영상의 분류 정보(Fclass) 및 제1 특징 정보(Flatent)는 제3 모듈(230)로 입력될 수 있다.
한편, 제1 특징 영상 생성부(320)는 제1 특징 추출부(310)에서 획득된 제1 영상의 분류 정보(Fclass) 및 제1 특징 정보(Flatent)에 기초하여, 제1 특징 영상(y1)을 생성할 수 있다. 제1 특징 영상 생성부(320)는 특징 영상 생성 네트워크를 이용하여, 제1 특징 영상(y1)을 생성할 수 있다. 특징 영상 생성 네트워크는 하나 이상의 컨볼루션 레이어들을 포함할 수 있다.
제1 특징 영상 생성부(320)의 세부적인 구성에 대해서는 도 5를 참조하여 자세히 설명하기로 한다.
도 5는 일 실시예에 따른 제1 특징 영상 생성부를 나타내는 도면이다.
도 5를 참조하면, 일 실시예에 따른 제1 특징 영상 생성부(320)는 제1 영상의 분류 정보(Fclass) 및 제1 특징 정보(Flatent)를 포함하는 입력 데이터와 제4 컨볼루션 레이어(510)에 포함된 제4 가중치와의 컨볼루션 연산을 수행함으로써, 제4 특징 데이터를 획득할 수 있다.
제1 특징 영상 생성부(320)는 제1 업샘플링 레이어(520)에서, 제4 특징 데이터의 업샘플링을 수행할 수 있다. 예를 들어, 제1 특징 영상 생성부(320)는 바이큐빅(bicubic), 바이리니어(bilinear) 등의 보간법을 이용하여, 업샘플링을 수행할 수 있다. 또는, 제1 특징 영상 생성부(320)는 컨볼루션 연산을 통한 업샘플링을 수행할 수 있다. 다만, 이에 한정되지 않는다.
제1 특징 영상 생성부(320)는 업샘플링된 데이터와 제5 컨볼루션 레이어(530)에 포함된 제5 가중치와의 컨볼루션 연산을 수행함으로써, 제5 특징 데이터를 획득할 수 있다.
제1 특징 영상 생성부(320)는 제2 업샘플링 레이어(540)에서, 제1 영상의 분류 정보(Fclass) 및 제1 특징 정보(Flatent)를 포함하는 입력 데이터의 업샘플링을 수행할 수 있다.
예를 들어, 제1 특징 영상 생성부(320)는 바이큐빅(bicubic), 바이리니어(bilinear) 등의 보간법을 이용하여, 업샘플링을 수행할 수 있다. 또는, 제1 특징 영상 생성부(320)는 컨볼루션 연산을 통한 업샘플링을 수행할 수 있다. 다만, 이에 한정되지 않는다.
제1 특징 영상 생성부(320)는 업샘플링된 데이터와 제6 컨볼루션 레이어(550)에 포함된 제6 가중치와의 컨볼루션 연산을 수행함으로써, 제6 특징 데이터를 획득할 수 있다.
제1 특징 영상 생성부(320)는 합산 레이어(560)에서, 제5 특징 데이터와 제6 특징 데이터의 요소별 덧셈 연산을 수행할 수 있다.
일 실시예에 다른 제1 특징 영상 생성부(320)는 제4 컨볼루션 레이어(510), 제1 업샘플링 레이어(520), 제5 컨볼루션 레이어(530), 제2 업샘플링 레이어(540), 제6 컨볼루션 레이어(550), 및 합산 레이어(560)를 포함하는 모듈(501)이 직렬로 반복적으로 배열되는 구조를 포함할 수 있다. 다만, 이에 한정되지 않는다.
제1 특징 영상 생성부(320)는 모듈(501)이 직렬로 반복적으로 배열되는 구조에 있어, 각 모듈(501)에서 출력되는 제3 특징 정보를 제3 모듈(230)로 입력할 수 있다.
도 6 및 도 7은 일 실시예에 따른 제3 모듈을 나타내는 도면들이다.
도 6은 일 실시예에 따른 제3 모듈이 제1 영상의 분류 정보(Fclass) 및 제1 특징 정보(Flatent)를 처리하는 방법을 나타내는 도면이다.
도 6을 참조하면, 제3 모듈(230)은 제1 모듈(210)로부터 입력된 제1 영상의 분류 정보(Fclass)에 소프트맥스(Softmax) 함수를 적용하여, 제1 입력 데이터를 획득할 수 있다. 예를 들어, 제1 입력 데이터는 다음과 같은 수학식 1에 의해 계산될 수 있다.
수학식 1에서 pi는 제1 입력 데이터에 포함되는 엘리먼트를 나타내며, zi는 제1 영상의 분류 정보(Fclass)에 포함되는 엘리먼트를 나타낸다. 또한, T는 소프트 맥스 연산에 적용되는 temperature 파라미터를 나타낸다. T가 클수록 제1 영상의 분류 정보(Fclass)를 hard label에서 soft label로 변환할 수 있다. 예를 들어, 제1 영상의 분류 정보(Fclass)를 hard label로 변환하는 경우, 제1 입력 데이터에 포함되는 엘리먼트들 중 어느 하나의 엘리먼트의 값은 1이고, 나머지는 0으로 나타날 수 있다. 이때, 엘리먼트의 값이 1이라는 것은 제1 영상이 해당 엘리먼트에 대응하는 카테고리에 포함될 확률이 1이라는 것을 나타내므로, hard label은 제1 영상이 기 설정된 복수의 카테고리들 중 어느 하나로 분류되는 것을 의미할 수 있다.
반면에 soft label은 복수의 엘리먼트들이 0이 아닌 값들을 가지며, 이때, 엘리먼트들 각각은 해당 엘리먼트에 대응하는 카테고리에 포함될 확률을 나타낸다. 따라서, soft label은 복수의 카테고리들 각각에 포함될 확률을 나타낼 수 있으며, 제1 영상에 복수의 객체들이 포함되는 경우에 1 영상의 분류 정보(Fclass)를 soft label로 변환하는 것이 영상 처리의 정확도를 더 높일 수 있다. 다만, 이에 한정되지 않는다.
제3 모듈(230)은 소프트 맥스 연산에 의해 변환된 제1 입력 데이터와 제1 리니어 레이어(610)에 포함된 제1 가중치 행렬과의 곱셈 연산을 수행하여, 제1 데이터를 획득할 수 있다.
제3 모듈(230)은 연결(concatenation) 레이어(620)에서, 제1 모듈(210)로부터 입력된 제1 영상의 제1 특징 정보(Flatent)와 제1 리니어 레이어(610)로부터 출력되는 제1 데이터를 연결시킬 수 있다. 예를 들어, 제1 특징 정보(Flatent)가 512 x 1 형태의 벡터이고, 제1 데이터가 512 x 1 형태의 벡터인 경우, 제3 모듈(230)은 제1 특징 정보(Flatent)와 제1 데이터를 연결시켜, 1024 x 1 형태의 제2 데이터를 획득할 수 있다.
제3 모듈(230)은 제2 데이터와 제2 리니어 레이어(630)에 포함된 제2 가중치 행렬과의 곱셈 연산을 수행하여, 제3 데이터를 획득할 수 있다.
제3 모듈(230)은 제2 리니어 레이어(630)로부터 출력된 제3 데이터를 정규화할 수 있으며, 예를 들어, 제3 모듈(230)은 제3 데이터의 합이 1이 되도록 제3 데이터를 정규화할 수 있다. 다만, 이에 한정되지 않으며, 다양한 정규화 방법을 이용하여, 제3 데이터를 정규화할 수 있다. 정규화된 제4 데이터는 다중 퍼셉트론(MLP: Multi-Layer Perceptron) 모듈로 입력될 수 있다.
일 실시예에 따른 제3 모듈(230)은 다중 퍼셉트론 모듈을 포함할 수 있으며, 다중 퍼셉트론 모듈은 n개의 완전 연결 레이어들을 포함할 수 있다. 제4 데이터는 제1 완전 연결 레이어(651)로 입력될 수 있다.
제3 모듈(230)은 제4 데이터와 제1 완전 연결 레이어(651)에 포함되는 제3 가중치 행렬과의 곱셈 연산 및 제1 완전 연결 레이어(651)에 포함되는 바이어스와의 덧셈 연산을 수행할 수 있다.
제3 모듈(230)은 제1 완전 연결 레이어(651)로부터 출력된 제5 데이터와 제2 완전 연결 레이어(652)에 포함되는 제4 가중치 행렬과의 곱셈 연산 및 제2 완전 연결 레이어(652)에 포함되는 바이어스와의 덧셈 연산을 수행할 수 있다.
또한, 제3 모듈(230)은 제 n-1 완전 연결 레이어로부터 출력된 제6 데이터와 제n 완전 연결 레이어(659)에 포함되는 제5 가중치 행렬과의 곱셈 연산 및 제n 완전 연결 레이어(659)에 포함되는 바이어스와의 덧셈 연산을 수행하여, 제2 특징 정보를 획득할 수 있다.
제n 완결 레이어(659)에서 출력되는 제2 특징 정보는 제2 모듈(220)로 입력될 수 있다.
도 7은 일 실시예에 따른 제3 모듈이 제3 특징 정보를 처리하는 방법을 나타내는 도면이다.
도 7을 참조하면, 제1 모듈(210)의 제1 특징 영상 생성부(320)로부터 출력된 제3 특징 정보는 제3 모듈(230)로 입력될 수 있다.
일 실시예에 따른 제3 특징 정보는 제1 영상의 분류 정보(Fclass) 및 제1 특징 정보(Flatent)를 포함하는 입력 데이터로부터 제1 특징 영상(y1)을 생성하는 과정의 중간에서 출력되는 복수의 중간 데이터들(제1 내지 제n 중간 데이터들)을 포함할 수 있다.
예를 들어, 도 5에서 설명한 바와 같이, 제1 특징 영상 생성부(320)에 포함된 복수의 모듈(501)들에서 제1 내지 제n 중간 데이터들이 출력될 수 있다.
일 실시예에 따른 제3 모듈(230)은 제3 특징 정보의 다운샘플링과 업샘플링(705)을 수행할 수 있다. 제3 모듈(230)은 제3 특징 정보의 다운샘플링과 업샘플링을 수행한 데이터와 제3 특징 정보의 요소별 뺄셈 연산(707)을 수행함으로써, 차이 정보를 획득할 수 있다.
예를 들어, 제3 모듈(230)은 제1 중간 데이터의 다운 샘플링과 업샘플링(705)을 수행함으로써, 제1 서브 데이터를 획득할 수 있으며, 제1 중간 데이터와 제1 서브 데이터의 차이를 제1 차이 정보로 획득할 수 있다.
또한, 제3 모듈(230)은 제2 중간 데이터의 다운 샘플링과 업샘플링(705)을 수행함으로써, 제2 서브 데이터를 획득할 수 있으며, 제2 중간 데이터와 제2 서브 데이터의 요소별 뺄셈 연산(707)을 수행함으로써 제2 차이 정보를 획득할 수 있다.
또한, 제3 모듈(230)은 제n 중간 데이터의 다운 샘플링과 업샘플링(705)을 수행함으로써, 제n 서브 데이터를 획득할 수 있으며, 제n 중간 데이터와 제n 서브 데이터의 요소별 뺄셈 연산(707)을 수행함으로써 제n 차이 정보를 획득할 수 있다.
제3 모듈(230)은 제1 내지 제n 차이 정보들 각각과 컨볼루션 레이어들(710, 720, 730) 각각에 포함되는 가중치의 컨볼루션 연산을 수행함으로써, 제4 특징 정보를 획득할 수 있다.
예를 들어, 제3 모듈(230)은 제1 차이 정보와 제1 컨볼루션 레이어(710)에 포함되는 제1 가중치와의 컨볼루션 연산을 수행함으로써, 제1 중간 출력 데이터를 획득할 수 있다.
제3 모듈(230)은 제2 차이 정보와 제2 컨볼루션 레이어(720)에 포함되는 제2 가중치와의 컨볼루션 연산을 수행함으로써, 제2 중간 출력 데이터를 획득할 수 있다.
또한, 제3 모듈(230)은 제n 차이 정보와 제n 컨볼루션 레이어(730)에 포함되는 제n 가중치와의 컨볼루션 연산을 수행함으로써, 제n 중간 출력 데이터를 획득할 수 있다. 일 실시예에 따른 제4 특징 정보는 제1 내지 제 n 중간 출력 데이터들을 포함할 수 있다.
제3 모듈(230)에서 출력된 제1 내지 제 n 중간 출력 데이터들(제4 특징 정보)은 제2 모듈(220)로 입력될 수 있다.
제2 모듈(220)의 세부적인 구성에 대해서는 도 8을 참조하여 자세히 설명하기로 한다.
도 8은 일 실시예에 따른 제2 모듈을 나타내는 도면이다.
도 8을 참조하면, 기 학습된 파라미터(810)가 제2 모듈(220)로 입력될 수 있다. 예를 들어, 기 학습된 파라미터(810)의 크기는 512 x 4 x 4일 수 있다. 일 실시예에 따른 파라미터(810)는 영상 처리 네트워크(103)가 학습될 때 함께 학습되는 파라미터일 수 있다. 다만, 이에 한정되지 않는다.
일 실시예에 따른 제2 모듈(810)은 업샘플링 레이어(820)에서, 입력된 파라미터(810)의 업샘플링을 수행하여, 제1 데이터를 획득할 수 있다.
제2 모듈(810)은 제1 데이터와 제3 모듈(230)로부터 입력된 제2 특징 정보에 기초하여, AdaIn(Adaptive Instance Normalization) 연산부(830)에서 AdaIn 연산을 수행할 수 있다. AdaIn 연산은 다음과 같은 수학식 2 와 같이 나타낼 수 있다.
수학식 2에서 μ(.)는 평균을 나타내고, σ(.)는 표준 편차를 나타낸다. AdaIn(x, y)는 x값을 x의 평균과 표준편차를 이용하여, 정규화한 후, y의 평균과 표준편차를 이용하여, x값을 y의 분포로 변화하는 것을 의미할 수 있다. 즉, 특징 x를 특징 y의 특성으로 변조(modulation)하는 것을 의미할 수 있다.
따라서, 제2 모듈(220)은 AdaIn 연산부(830)에서 AdaIn 연산을 통해 제1 데이터를 제2 특징 정보의 특성으로 변조함으로써, 제2 데이터를 획득할 수 있다.
제2 모듈(220)은 제2 데이터와 컨볼루션 레이어(840)에 포함된 가중치와의 컨볼루션 연산을 수행함으로써, 제3 데이터를 획득할 수 있다.
제2 모듈(220)은 제3 데이터와 제3 모듈(230)로부터 입력된 제2 특징 정보에 기초하여, AdaIn 연산부(850)에서 AdaIn 연산을 수행할 수 있다. 이에 따라, 제2 모듈(220)은 AdaIn 연산을 통해 제3 데이터를 제2 특징 정보의 특성으로 변조함으로써, 제4 데이터를 획득할 수 있다.
제2 모듈(220)은 제4 데이터와 제3 모듈(230)로부터 입력된 제4 특징 정보에 기초하여, SFT(Spatial Feature Transform) 연산부(860)에서 SFT 연산을 수행할 수 있다.
SFT 연산은 다음과 같은 수학식 3과 같이 나타낼 수 있다.
수학식 3에서 ⊙는 요소별 곱셈 연산을 나타낼 수 있다. 또한, F는 제4 데이터를 의미하고, γ, β는 제4 특징 정보에 기초한 데이터이다. 예를 들어, 제4 특징 정보를 제4 데이터 크기(dimension)의 2배가 되도록 조절한 후, 2로 나누어 각각 γ, β에 할당할 수 있다. 따라서, F, γ, β는 크기가 모두 동일할 수 있다.
SFT(F|γ, β)는 γ와 β를 이용하여, F를 어파인 변환(affine transform)시켜, F의 특성을 변조(modulation)시키는 것을 의미한다. 어파인 변환은 공간 리니어 매핑(spatial linear mapping) 방법 중 하나로 점들, 직선들, 면들이 보존될 수 있다.
제2 모듈(220)은 제4 특징 정보를 이용하여, 제4 데이터의 특성을 변조함으로써, 제5 데이터를 획득할 수 있다.
제2 모듈(220)은 업샘플링 레이어(820), 제1 AdaIn 연산부(830), 컨볼루션 레이어(840), 제2 AdaIn 연산부(850), 및 SFT 연산부(860)를 포함하는 모듈(801)이 직렬로 반복적으로 배열되는 구조를 포함할 수 있다. 다만, 이에 한정되지 않는다.
한편, 제3 모듈(801)로부터 출력된 제4 특징 정보에 포함되는 제1 내지 제 n 중간 출력 데이터들은 각각 각 모듈(801)에 포함된 SFT 연산부(860)로 입력될 수 있다. 예를 들어, 제3 모듈(230)은 모듈(801) n개가 직렬로 배열되는 구조를 포함할 수 있으며, 제1 내지 제n 중간 출력 데이터들이 각각 n개의 모듈들 각각에 포함되는 SFT 연산부로 입력될 수 있다.
제2 모듈(220)은 n개의 모듈들을 통해, 제2 특징 영상(y2)을 생성할 수 있다.
도 9는 일 실시예에 따른 영상 처리 장치의 동작 방법을 나타내는 흐름도이다.
일 실시예에 따른 영상 처리 장치(100)는 하나 이상의 뉴럴 네트워크들을 이용하여, 제1 영상의 분류 정보 및 제1 특징 정보를 획득할 수 있다(S910).
영상 처리 장치(100)는 하나 이상의 컨볼루션 레이어들을 포함하는 특징 추출 네트워크를 이용하여, 제1 영상의 분류 정보 및 제1 특징 정보를 획득할 수 있다.
예를 들어, 영상 처리 장치(100)는 제1 컨볼루션 레이어, 제2 컨볼루션 레이어, 제3 컨볼루션 레이어 및 합산 레이어를 이용하여, 제1 영상의 분류 정보 및 제1 특징 정보를 획득할 수 있다. 이에 대해서는 도 4에서 자세히 설명하였으므로 동일한 설명은 생략하기로 한다.
일 실시예에 따른 영상 처리 장치(100)는 제1 영상의 분류 정보 및 제1 특징 정보에 제1 영상 처리를 수행함으로써, 제1 특징 영상을 생성할 수 있다(S920).
영상 처리 장치(100)는 하나 이상의 컨볼루션 레이어들을 포함하는 특징 영상 생성 네트워크를 이용하여, 제1 특징 영상을 생성할 수 있다. 예를 들어, 영상 처리 장치(100)는 제1 특징 영상 생성부에 포함되는 제4 컨볼루션 레이어, 제1 업샘플링 레이어, 제5 컨볼루션 레이어, 제2 업샘플링 레이어, 제6 컨볼루션 레이어, 및 합산 레이어를 이용하여, 제1 특징 영상을 생성할 수 있다.
이에 대해서는 도 5에서 자세히 설명하였으므로 동일한 설명은 생략하기로 한다.
일 실시예에 따른 영상 처리 장치(100)는 제1 영상의 분류 정보 및 제1 특징 정보에 제2 영상 처리를 수행함으로써, 제2 특징 정보를 획득할 수 있다(S930).
예를 들어, 영상 처리 장치(100)는 하나 이상의 뉴럴 네트워크들을 이용하여, 제2 특징 정보를 생성할 수 있다. 영상 처리 장치(100)는 제1 리니어 레이어, 연결 레이어, 제2 리니어 레이어, 정규화 레이어, 제1 내지 제n 완전 연결 레이어들을 이용하여, 제2 특징 정보를 생성할 수 있다. 이에 대해서는 도 6에서 자세히 설명하였으므로, 동일한 설명은 생략하기로 한다.
일 실시예에 따른 영상 처리 장치(100)는 제1 영상 처리의 중간에서 추출되는 제3 특징 정보에 제3 영상 처리를 수행하여, 제4 특징 정보를 획득할 수 있다(S940).
예를 들어, 영상 처리 장치(100)는 제1 영상의 분류 정보 및 제1 특징 정보로부터 제1 특징 영상을 생성하는 과정의 중간에서 제3 특징 정보를 획득할 수 있다. 영상 처리 장치(100)는 제3 특징 정보에 다운 샘플링, 업 샘플링, 요소별 뺄셈 연산, 컨볼루션 연산을 수행함으로써, 제4 특징 정보를 획득할 수 있다. 이에 대해서는 도 7에서 자세히 설명하였으므로, 동일한 설명은 생략하기로 한다.
일 실시예에 따른 영상 처리 장치(100)는 930 단계(S930)에서 획득된 제2 특징 정보 및 940 단계 (S940)에서 획득된 제4 특징 정보에 기초하여, 제2 특징 영상을 생성할 수 있다(S950).
예를 들어, 영상 처리 장치(100)는 제2 특징 정보와 제4 특징 정보를 이용하여, 업 샘플링, AdaIn 연산, 컨볼루션 연산, SFT 연산 등을 수행함으로써, 제2 특징 영상을 생성할 수 있다. 이에 대해서는, 도 8에서 자세히 설명하였으므로, 동일한 설명은 생략하기로 한다.
일 실시예에 따른 영상 처리 장치(100)는 제1 특징 영상 및 제2 특징 영상에 기초하여, 제2 영상을 생성할 수 있다(S960).
예를 들어, 영상 처리 장치(100)는 제1 특징 영상 및 제2 특징 영상을 합성하여, 제2 영상을 생성할 수 있다.
일 실시예에 따른 제2 영상은 제1 영상보다 고해상도 영상일 수 있으며, 제1 영상에서 아티팩트, 노이즈 등이 제거됨으로써, 제1 영상보다 화질이 개선된 영상일 수 있다.
도 10은 일 실시예에 따른 영상 처리 장치의 구성을 나타내는 블록도이다.
도 10의 영상 처리 장치(100)는 영상 처리 네트워크(103)를 이용하여, 영상 처리를 수행하는 장치일 수 있다. 일 실시예에 따른 영상 처리 네트워크(103)는 하나 이상의 뉴럴 네트워크들을 포함할 수 있다. 예를 들어, 영상 처리 네트워크(103)는 제1 내지 제3 모듈들(210, 220, 230) 및 영상 합성부(240) 를 포함할 수 있다. 다만, 이에 한정되지 않는다.
도 10을 참조하면, 일 실시예에 따른 영상 처리 장치(100)는 프로세서(110), 메모리(120) 및 디스플레이(130)를 포함할 수 있다.
일 실시예에 따른 프로세서(110)는 영상 처리 장치(100)를 전반적으로 제어할 수 있다. 일 실시예에 따른 프로세서(110)는 메모리(120)에 저장되는 하나 이상의 프로그램들을 실행할 수 있다.
일 실시예에 따른 메모리(1220)는 영상 처리 장치(100)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 메모리(120)에 저장되는 프로그램은 하나 이상의 인스트럭션들을 포함할 수 있다. 메모리(120)에 저장된 프로그램(하나 이상의 인스트럭션들) 또는 어플리케이션은 프로세서(110)에 의해 실행될 수 있다.
일 실시예에 따른 프로세서(110)는 CPU(Cetral Processing Unit), GPU (Graphic Processing Unit) 및 VPU(Video Processing Unit) 중 적어도 하나를 포함할 수 있다. 또는, 실시예에 따라, CPU, GPU 및 VPU 중 적어도 하나를 통합한 SoC(System On Chip) 형태로 구현될 수 있다. 또는, 프로세서(1210)는 NPU(Neural Processing Unit)를 더 포함할 수 있다.
일 실시예에 따른 프로세서(110)는 하나 이상의 뉴럴 네트워크들을 이용하여, 제1 영상을 처리함으로써, 제2 영상을 생성할 수 있다. 예를 들어, 프로세서(110)는 영상 처리 네트워크(103)를 이용하여, 제1 영상의 노이즈를 제거하면서, 세밀한 가장자리 처리와 텍스쳐를 유지하는 디노이징을 수행한 제2 영상을 생성할 수 있다. 일 실시예에 따른 제2 영상은 제1 영상보다 고화질일 수 있다. 또는, 프로세서(110)는 영상 처리 네트워크(103)를 이용하여, 제1 영상보다 해상도가 높은 제2 영상을 생성할 수 있다.
일 실시예에 따른 프로세서(110)는 제1 모듈(210)을 이용하여, 제1 영상의 분류 정보 및 제1 특징 정보를 획득할 수 있다. 이때, 제1 영상의 분류 정보는 제1 영상이 기 설정된 복수의 카테고리들 각각에 포함될 확률을 나타내는 데이터를 포함할 수 있다. 제1 모듈(210)은 하나 이상의 컨볼루션 레이어들을 포함하는 특징 추출 네트워크를 포함할 수 있으며, 프로세서(110)는 특징 추출 네트워크를 이용하여, 제1 영상의 분류 정보 및 제1 특징 정보를 획득할 수 있다. 특징 추출 네트워크의 구성에 대해서는 도 4에서 자세히 설명하였으므로 구체적인 설명은 생략하기로 한다.
또한, 프로세서(110)는 제1 모듈(210)을 이용하여, 제1 영상의 분류 정보 및 제1 특징 정보에 제1 영상 처리를 수행함으로써, 제1 특징 영상을 생성할 수 있다. 일 실시예에 따른 제1 특징 영상은 제1 영상에 포함되는 비-고주파 성분(예를 들어, 저주파 성분, 중저파 성분)의 특징을 포함하는 영상일 수 있다. 다만, 이에 한정되지 않는다.
제1 모듈(210)은 하나 이상의 컨볼루션 레이어들을 포함하는 특징 영상 생성 네트워크를 포함할 수 있으며, 프로세서(110)는 특징 영상 생성 네트워크를 이용하여, 제1 특징 영상을 생성할 수 있다. 특징 영상 생성 네트워크는 도 5에서 자세히 설명하였으므로 구체적인 설명은 생략하기로 한다.
또한, 프로세서(110)는 특징 영상 네트워크를 이용하여, 제1 영상 처리를 수행하는 과정의 중간에서 제3 특징 정보를 추출할 수 있다.
예를 들어, 프로세서(110)는 제1 영상 처리를 수행하는 과정의 중간에서 제1 내지 제n 중간 데이터들을 포함하는 제3 특징 정보를 획득할 수 있다.
일 실시예에 따른 프로세서(110)는 제3 모듈(230)을 이용하여, 제1 영상의 분류 정보 및 제1 특징 정보에 제2 영상 처리를 수행함으로써, 제2 특징 정보를 획득할 수 있다. 이에 대해서는 도 6에서 자세히 설명하였으므로 동일한 설명은 생략하기로 한다.
일 실시예에 따른 프로세서(110)는 제3 모듈(230)을 이용하여, 제1 내지 제n 중간 데이터들을 포함하는 제3 특징 정보에 제3 영상 처리를 수행함으로써, 제4 특징 정보를 획득할 수 있다. 이에 대해서는 도 7에서 자세히 설명하였으므로 동일한 설명은 생략하기로 한다.
일 실시예에 따른 프로세서(110)는 제2 모듈(220)을 이용하여, 제2 특징 정보 및 제4 특징 정보에 기초한 제2 특징 영상을 생성할 수 있다.
예를 들어, 프로세서(110)는 제2 특징 정보와 제4 특징 정보를 이용하여, 업 샘플링, AdaIn 연산, 컨볼루션 연산, SFT 연산 등을 수행함으로써, 제2 특징 영상을 생성할 수 있다. 이에 대해서는, 도 8에서 자세히 설명하였으므로, 동일한 설명은 생략하기로 한다.
일 실시예에 따른 프로세서(110)는 제1 특징 영상과 제2 특징 영상을 합성하여, 제2 영상을 생성할 수 있다.
한편, 일 실시예에 따른 영상 처리 네트워크(103)는, 서버 또는 외부 장치에 의해 훈련된 네트워크일 수 있다. 외부 장치는 훈련 데이터에 기초하여, 영상 처리 네트워크(103)를 학습시킬 수 있다. 이때, 훈련 데이터는 노이즈가 포함된 영상 데이터와 노이즈는 제거되면서, 엣지 특성이나 텍스쳐 특성은 보존되는 영상 데이터를 포함하는 복수의 데이터 세트들을 포함할 수 있다.
서버 또는 외부 장치는 영상 처리 네트워크(103)에 포함된 복수의 컨볼루션 레이어들 각각에서 이용되는 커널들에 포함되는 파라미터 값들 및 리니어 레이어들 또는 완전 연결 레이어들 각각에서 이용되는 가중치 행렬들에 포함되는 파라미터 값들을 결정할 수 있다. 예를 들어, 서버 또는 외부 장치는 영상 처리 네트워크(103)에 의해 생성된 영상 데이터와 노이즈는 제거되면서, 엣지 특성은 보존되는 영상 데이터(훈련 데이터)의 차이(손실 정보)를 최소화하는 방향으로 파라미터 값들을 결정할 수 있다.
일 실시예에 따른 영상 처리 장치(100)는 서버 또는 외부 장치로부터 훈련이 완료된 영상 처리 네트워크(103)를 수신하여, 메모리(120)에 저장할 수 있다. 예를 들어, 메모리(120)는 일 실시예에 따른 영상 처리 네트워크(103)의 구조 및 파라미터 값들을 저장할 수 있으며, 프로세서(110)는 메모리(120)에 저장된 파라미터 값들을 이용하여, 일 실시예에 따른 제1 영상으로부터 노이즈는 제거되면서, 엣지 특성은 보존되는 제2 영상을 생성할 수 있다.
일 실시예에 따른 디스플레이(130)는, 프로세서(110)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 제어 신호 등을 변환하여 구동 신호를 생성한다. 디스플레이(130)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display)등으로 구현될 수 있으며, 또한, 3차원 디스플레이(3D display)로 구현될 수 있다. 또한, 디스플레이(130)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
일 실시예에 따른 디스플레이(130)는 영상 처리 네트워크(103)를 이용하여, 영상 처리된 제2 영상을 표시할 수 있다.
한편, 도 10에 도시된 영상 처리 장치(100)의 블록도는 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 영상 처리 장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
일 실시예에 따른 영상 처리 장치는 하나 이상의 뉴럴 네트워크들을 이용하여, 영상을 처리할 수 있다.
일 실시예에 따른 영상 처리 장치는 하나 이상의 인스트럭션들을 저장하는 메모리 및 상기 하나 이상의 인스트럭션들을 실행하는 적어도 하나의 프로세서를 포함할 수 있다.
일 실시예에 따른 적어도 하나의 프로세서는 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행함으로써, 제1 영상의 분류 정보 및 제1 특징 정보를 획득할 수 있다.
일 실시예에 따른 적어도 하나의 프로세서는 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 분류 정보 및 상기 제1 특징 정보에 제1 영상 처리를 수행하여, 상기 제1 영상에 대한 제1 특징 영상을 생성할 수 있다.
일 실시예에 따른 적어도 하나의 프로세서는 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 분류 정보 및 상기 제1 특징 정보에 제2 영상 처리를 수행하여, 제2 특징 정보를 획득할 수 있다.
일 실시예에 따른 적어도 하나의 프로세서는 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 제1 영상 처리의 중간에서 추출되는 제3 특징 정보에 제3 영상 처리를 수행하여, 제4 특징 정보를 획득할 수 있다.
일 실시예에 따른 적어도 하나의 프로세서는 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 제2 특징 정보 및 상기 제4 특징 정보에 기초하여, 상기 제1 영상에 대한 제2 특징 영상을 생성할 수 있다.
일 실시예에 따른 적어도 하나의 프로세서는 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 제1 특징 영상 및 상기 제2 특징 영상에 기초하여, 제2 영상을 생성할 수 있다.
상기 제1 특징 영상은 상기 제1 영상에 포함되는 비-고주파 성분의 특징을 포함할 수 있다.
상기 제2 특징 영상은 상기 제1 영상에 포함되는 고주파 성분의 특징을 포함할 수 있다.
상기 제2 영상은 상기 제1 영상보다 고화질일 수 있다.
상기 하나 이상의 뉴럴 네트워크들은 하나 이상의 컨볼루션 뉴럴 네트워크들을 포함할 수 있다.
상기 적어도 하나의 프로세서는, 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 하나 이상의 컨볼루션 뉴럴 네트워크들을 이용하여, 상기 제1 영상의 분류 정보 및 제1 특징 정보를 획득할 수 있다.
상기 제1 영상 처리는 상기 제1 특징 정보의 업 샘플링을 포함할 수 있다.
상기 제1 영상, 상기 제1 특징 영상 및 상기 제2 특징 영상은 크기가 동일할 수 있다.
상기 제2 영상 처리는 하나 이상의 완전 연결 레이어들(fully connected layers)을 포함하는 MLP 모듈에 의해 수행될 수 있다.
상기 적어도 하나의 프로세서는, 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행함으로써, 하나의 완전 연결 레이어에 입력되는 입력 데이터와 상기 완전 연결 레이어에 포함되는 가중치 행렬과의 곱셈 연산 및 상기 완전 연결 레이어에 포함되는 바이어스와의 덧셈 연산을 수행할 수 있다.
상기 적어도 하나의 프로세서는, 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 제3 특징 정보의 다운 스케일링 및 업 스케일링을 수행하여, 서브 특징 정보를 획득할 수 있다.
상기 적어도 하나의 프로세서는, 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 제3 특징 정보에서 상기 서브 특징 정보의 차이 정보를 획득할 수 있다.
상기 적어도 하나의 프로세서는, 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 차이 정보와 기 학습된 가중치와의 컨볼루션 연산을 수행하여, 상기 제4 특징 정보를 생성할 수 있다.
상기 적어도 하나의 프로세서는, 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 제2 특징 정보에 제1 연산을 수행하여, 제5 특징 정보를 획득할 수 있다.
상기 적어도 하나의 프로세서는, 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 제5 특징 정보 및 상기 제4 특징 정보에 제2 연산을 수행하여, 상기 제2 특징 영상을 생성할 수 있다.
상기 제1 연산은 AdaIn 연산을 포함할 수 있다.
상기 제2 연산은 SFT 연산을 포함할 수 있다.
일 실시예에 따른 하나 이상의 뉴럴 네트워크들을 이용하여, 영상을 처리하는 영상 처리 장치의 동작 방법은, 제1 영상의 분류 정보 및 제1 특징 정보를 획득하는 단계를 포함할 수 있다.
일 실시예에 따른 하나 이상의 뉴럴 네트워크들을 이용하여, 영상을 처리하는 영상 처리 장치의 동작 방법은, 상기 분류 정보 및 상기 제1 특징 정보에 제1 영상 처리를 수행함으로써, 상기 제1 영상에 대한 제1 특징 영상을 생성하는 단계를 포함할 수 있다.
일 실시예에 따른 하나 이상의 뉴럴 네트워크들을 이용하여, 영상을 처리하는 영상 처리 장치의 동작 방법은, 상기 분류 정보 및 상기 제1 특징 정보에 제2 영상 처리를 수행함으로써, 제2 특징 정보를 획득하는 단계를 포함할 수 있다.
일 실시예에 따른 하나 이상의 뉴럴 네트워크들을 이용하여, 영상을 처리하는 영상 처리 장치의 동작 방법은, 상기 제1 영상 처리의 중간에서 추출되는 제3 특징 정보에 제3 영상 처리를 수행함으로써, 제4 특징 정보를 획득하는 단계를 포함할 수 있다.
일 실시예에 따른 하나 이상의 뉴럴 네트워크들을 이용하여, 영상을 처리하는 영상 처리 장치의 동작 방법은, 상기 제2 특징 정보 및 상기 제4 특징 정보에 기초하여, 상기 제1 영상에 대한 제2 특징 영상을 생성하는 단계를 포함할 수 있다.
일 실시예에 따른 하나 이상의 뉴럴 네트워크들을 이용하여, 영상을 처리하는 영상 처리 장치의 동작 방법은, 상기 제1 특징 영상 및 상기 제2 특징 영상에 기초하여, 제2 영상을 생성하는 단계를 포함할 수 있다.
상기 제1 특징 영상은 상기 제1 영상에 포함되는 비-고주파 성분의 특징을 포함할 수 있다.
상기 제2 특징 영상은 상기 제1 영상에 포함되는 고주파 성분의 특징을 포함할 수 있다.
상기 제2 영상은 상기 제1 영상보다 고화질일 수 있다.
상기 하나 이상의 뉴럴 네트워크들은 하나 이상의 컨볼루션 뉴럴 네트워크들을 포함할 수 있다.
상기 제1 영상의 분류 정보 및 제1 특징 정보를 획득하는 단계는, 상기 하나 이상의 컨볼루션 뉴럴 네트워크들을 이용하여, 상기 제1 영상의 분류 정보 및 제1 특징 정보를 획득하는 단계를 포함할 수 있다.
상기 제1 영상 처리는 상기 제1 특징 정보의 업 샘플링을 포함할 수 있다.
상기 제1 영상, 상기 제1 특징 영상 및 상기 제2 특징 영상은 크기가 동일할 수 있다.
상기 제2 영상 처리는 하나 이상의 완전 연결 레이어들(fully connected layers)을 포함하는 MLP 모듈에 의해 수행될 수 있다.
상기 분류 정보 및 상기 제1 특징 정보에 제2 영상 처리를 수행함으로써, 제2 특징 정보를 획득하는 단계는, 하나의 완전 연결 레이어에 입력되는 입력 데이터와 상기 완전 연결 레이어에 포함되는 가중치 행렬과의 곱셈 연산 및 상기 완전 연결 레이어에 포함되는 바이어스와의 덧셈 연산을 수행하는 단계를 포함할 수 있다.
상기 제1 영상 처리의 중간에서 추출되는 제3 특징 정보에 제3 영상 처리를 수행함으로써, 제4 특징 정보를 획득하는 단계는, 상기 제3 특징 정보의 다운 스케일링 및 업 스케일링을 수행하여, 서브 특징 정보를 획득하는 단계를 포함할 수 있다.
상기 제1 영상 처리의 중간에서 추출되는 제3 특징 정보에 제3 영상 처리를 수행함으로써, 제4 특징 정보를 획득하는 단계는, 상기 제3 특징 정보와 상기 서브 특징 정보의 차이 정보를 획득하는 단계를 포함할 수 있다.
상기 제1 영상 처리의 중간에서 추출되는 제3 특징 정보에 제3 영상 처리를 수행함으로써, 제4 특징 정보를 획득하는 단계는, 상기 차이 정보와 기 학습된 가중치와의 컨볼루션 연산을 수행함으로써, 상기 제4 특징 정보를 생성하는 단계를 포함할 수 있다.
상기 제2 특징 정보 및 상기 제4 특징 정보에 기초하여, 상기 제1 영상에 대한 제2 특징 영상을 생성하는 단계는, 상기 제2 특징 정보에 제1 연산을 수행하여, 제5 특징 정보를 획득하는 단계를 포함할 수 있다.
상기 제2 특징 정보 및 상기 제4 특징 정보에 기초하여, 상기 제1 영상에 대한 제2 특징 영상을 생성하는 단계는, 상기 제5 특징 정보 및 상기 제4 특징 정보에 제2 연산을 수행함으로써, 상기 제2 특징 영상을 생성하는 단계를 포함할 수 있다.
상기 제1 연산은 AdaIn 연산을 포함할 수 있다.
상기 제2 연산은 SFT 연산을 포함할 수 있다.
일 실시예에 따른 영상 처리 장치는 제1 영상의 특징 정보뿐만 아니라 분류 정보도 함께 영상 처리에 이용함으로써, 다양한 카테고리들에 포함되는 제1 영상을 적응적으로 처리하여, 고화질의 제2 영상을 생성할 수 있다.
이에 따라, 일 실시예에 따른 영상 처리의 성능은 기존의 영상 처리 기술들에 비해 향상될 수 있다. 예를 들어, 생성된 제2 영상의 화질의 개선 정도나 노이즈의 제거 정도가 기존 영상 처리 기술에 의해 처리된 영상에 비해 증가할 수 있다.
일 실시예에 따른 영상 처리 장치의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
또한, 개시된 실시예들에 따른 영상 처리 장치 및 영상 처리 장치의 동작 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 전자 장치의 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 SW 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 클라이언트 장치로 구성되는 시스템에서, 서버의 저장매체 또는 클라이언트 장치의 저장매체를 포함할 수 있다. 또는, 서버 또는 클라이언트 장치와 통신 연결되는 제3 장치(예, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 클라이언트 장치 또는 제3 장치로 전송되거나, 제3 장치로부터 클라이언트 장치로 전송되는 S/W 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 클라이언트 장치 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 클라이언트 장치 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 클라이언트 장치가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (19)

  1. 하나 이상의 뉴럴 네트워크들을 이용하여, 영상을 처리하는 영상 처리 장치에 있어서,
    하나 이상의 인스트럭션들을 저장하는 메모리(120); 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행함으로써,
    제1 영상의 분류 정보 및 제1 특징 정보를 획득하고,
    상기 분류 정보 및 상기 제1 특징 정보에 제1 영상 처리를 수행함으로써, 상기 제1 영상에 대한 제1 특징 영상을 생성하고,
    상기 분류 정보 및 상기 제1 특징 정보에 제2 영상 처리를 수행함으로써, 제2 특징 정보를 획득하고,
    상기 제1 영상 처리의 중간에서 추출되는 제3 특징 정보에 제3 영상 처리를 수행함으로써, 제4 특징 정보를 획득하고,
    상기 제2 특징 정보 및 상기 제4 특징 정보에 기초하여, 상기 제1 영상에 대한 제2 특징 영상을 생성하고,
    상기 제1 특징 영상 및 상기 제2 특징 영상에 기초하여, 제2 영상을 생성하는 적어도 하나의 프로세서(110)를 포함하는, 영상 처리 장치.
  2. 제1항에 있어서,
    상기 제1 특징 영상은 상기 제1 영상에 포함되는 비-고주파 성분의 특징을 포함하고,
    상기 제2 특징 영상은 상기 제1 영상에 포함되는 고주파 성분의 특징을 포함하는, 영상 처리 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 제2 영상은 상기 제1 영상보다 고화질인, 영상 처리 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 하나 이상의 뉴럴 네트워크들은 하나 이상의 컨볼루션 뉴럴 네트워크들을 포함하고,
    상기 적어도 하나의 프로세서(110)는, 상기 메모리(120)에 저장된 상기 하나 이상의 인스트럭션들을 실행함으로써,
    상기 하나 이상의 컨볼루션 뉴럴 네트워크들을 이용하여, 상기 제1 영상의 분류 정보 및 제1 특징 정보를 획득하는, 영상 처리 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 제1 영상 처리는 상기 제1 특징 정보의 업 샘플링을 포함하고, 상기 제1 영상, 상기 제1 특징 영상 및 상기 제2 특징 영상은 크기가 동일한 영상 처리 장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 제2 영상 처리는 하나 이상의 완전 연결 레이어들(fully connected layers)을 포함하는 MLP 모듈에 의해 수행되며,
    상기 적어도 하나의 프로세서(110)는, 상기 메모리(120)에 저장된 상기 하나 이상의 인스트럭션들을 실행함으로써,
    하나의 완전 연결 레이어에 입력되는 입력 데이터와 상기 완전 연결 레이어에 포함되는 가중치 행렬과의 곱셈 연산 및 상기 완전 연결 레이어에 포함되는 바이어스와의 덧셈 연산을 수행하는, 영상 처리 장치.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서(110)는, 상기 메모리(120)에 저장된 상기 하나 이상의 인스트럭션들을 실행함으로써,
    상기 제3 특징 정보의 다운 스케일링 및 업 스케일링을 수행하여, 서브 특징 정보를 획득하고,
    상기 제3 특징 정보에서 상기 서브 특징 정보의 차이 정보를 획득하고,
    상기 차이 정보와 기 학습된 가중치와의 컨볼루션 연산을 수행함으로써, 상기 제4 특징 정보를 생성하는, 영상 처리 장치.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서(110)는, 상기 메모리(120)에 저장된 상기 하나 이상의 인스트럭션들을 실행함으로써,
    상기 제2 특징 정보에 제1 연산을 수행하여, 제5 특징 정보를 획득하고,
    상기 제5 특징 정보 및 상기 제4 특징 정보에 제2 연산을 수행함으로써, 상기 제2 특징 영상을 생성하는, 영상 처리 장치.
  9. 제8항에 있어서,
    상기 제1 연산은 AdaIn 연산을 포함하고,
    상기 제2 연산은 SFT 연산을 포함하는, 영상 처리 장치.
  10. 하나 이상의 뉴럴 네트워크들을 이용하여, 영상을 처리하는 영상 처리 장치의 동작 방법에 있어서,
    제1 영상의 분류 정보 및 제1 특징 정보를 획득하는 단계;
    상기 분류 정보 및 상기 제1 특징 정보에 제1 영상 처리를 수행함으로써, 상기 제1 영상에 대한 제1 특징 영상을 생성하는 단계;
    상기 분류 정보 및 상기 제1 특징 정보에 제2 영상 처리를 수행함으로써, 제2 특징 정보를 획득하는 단계;
    상기 제1 영상 처리의 중간에서 추출되는 제3 특징 정보에 제3 영상 처리를 수행함으로써, 제4 특징 정보를 획득하는 단계;
    상기 제2 특징 정보 및 상기 제4 특징 정보에 기초하여, 상기 제1 영상에 대한 제2 특징 영상을 생성하는 단계; 및
    상기 제1 특징 영상 및 상기 제2 특징 영상에 기초하여, 제2 영상을 생성하는 단계를 포함하는, 영상 처리 장치의 동작 방법.
  11. 제10항에 있어서,
    상기 제1 특징 영상은 상기 제1 영상에 포함되는 비-고주파 성분의 특징을 포함하고,
    상기 제2 특징 영상은 상기 제1 영상에 포함되는 고주파 성분의 특징을 포함하는, 영상 처리 장치의 동작 방법.
  12. 제10항 또는 제11항에 있어서,
    상기 제2 영상은 상기 제1 영상보다 고화질인, 영상 처리 장치의 동작 방법.
  13. 제10항 내지 제12항 중 어느 한 항에 있어서,
    상기 하나 이상의 뉴럴 네트워크들은 하나 이상의 컨볼루션 뉴럴 네트워크들을 포함하고,
    상기 제1 영상의 분류 정보 및 제1 특징 정보를 획득하는 단계는,
    상기 하나 이상의 컨볼루션 뉴럴 네트워크들을 이용하여, 상기 제1 영상의 분류 정보 및 제1 특징 정보를 획득하는 단계를 포함하는, 영상 처리 장치의 동작 방법.
  14. 제10항 내지 제13항 중 어느 한 항에 있어서,
    상기 제1 영상 처리는 상기 제1 특징 정보의 업 샘플링을 포함하고, 상기 제1 영상, 상기 제1 특징 영상 및 상기 제2 특징 영상은 크기가 동일한 영상 처리 장치의 동작 방법.
  15. 제10항 내지 제14항 중 어느 한 항에 있어서,
    상기 제2 영상 처리는 하나 이상의 완전 연결 레이어들(fully connected layers)을 포함하는 MLP 모듈에 의해 수행되며,
    상기 분류 정보 및 상기 제1 특징 정보에 제2 영상 처리를 수행함으로써, 제2 특징 정보를 획득하는 단계는
    하나의 완전 연결 레이어에 입력되는 입력 데이터와 상기 완전 연결 레이어에 포함되는 가중치 행렬과의 곱셈 연산 및 상기 완전 연결 레이어에 포함되는 바이어스와의 덧셈 연산을 수행하는 단계를 포함하는, 영상 처리 장치의 동작 방법.
  16. 제10항 내지 제15항 중 어느 한 항에 있어서,
    상기 제1 영상 처리의 중간에서 추출되는 제3 특징 정보에 제3 영상 처리를 수행함으로써, 제4 특징 정보를 획득하는 단계는,
    상기 제3 특징 정보의 다운 스케일링 및 업 스케일링을 수행하여, 서브 특징 정보를 획득하는 단계;
    상기 제3 특징 정보와 상기 서브 특징 정보의 차이 정보를 획득하는 단계; 및
    상기 차이 정보와 기 학습된 가중치와의 컨볼루션 연산을 수행함으로써, 상기 제4 특징 정보를 생성하는 단계를 포함하는, 영상 처리 장치의 동작 방법.
  17. 제10항 내지 제16항 중 어느 한 항에 있어서,
    상기 제2 특징 정보 및 상기 제4 특징 정보에 기초하여, 상기 제1 영상에 대한 제2 특징 영상을 생성하는 단계는,
    상기 제2 특징 정보에 제1 연산을 수행하여, 제5 특징 정보를 획득하는 단계; 및
    상기 제5 특징 정보 및 상기 제4 특징 정보에 제2 연산을 수행함으로써, 상기 제2 특징 영상을 생성하는 단계를 포함하는, 영상 처리 장치의 동작 방법.
  18. 제17항에 있어서,
    상기 제1 연산은 AdaIn 연산을 포함하고,
    상기 제2 연산은 SFT 연산을 포함하는, 영상 처리 장치의 동작 방법.
  19. 제10항 내지 제18항 중 어느 한 항의 방법을 수행하도록 하는 프로그램이 저장된 하나 이상의 컴퓨터로 읽을 수 있는 기록매체.
KR1020220127170A 2022-05-09 2022-10-05 영상 처리 장치 및 그 동작 방법 KR20230157223A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2023/004673 WO2023219277A1 (ko) 2022-05-09 2023-04-06 영상 처리 장치 및 그 동작 방법
US18/141,142 US20230360359A1 (en) 2022-05-09 2023-04-28 Image processing apparatus and operation method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220056890 2022-05-09
KR20220056890 2022-05-09

Publications (1)

Publication Number Publication Date
KR20230157223A true KR20230157223A (ko) 2023-11-16

Family

ID=88964888

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220127170A KR20230157223A (ko) 2022-05-09 2022-10-05 영상 처리 장치 및 그 동작 방법

Country Status (1)

Country Link
KR (1) KR20230157223A (ko)

Similar Documents

Publication Publication Date Title
US11200638B2 (en) Image style transform methods and apparatuses, devices and storage media
US11645835B2 (en) Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications
Kim et al. Iterative kernel principal component analysis for image modeling
US20230103638A1 (en) Image-to-Image Mapping by Iterative De-Noising
KR102570562B1 (ko) 영상 처리 장치 및 그 동작방법
Zuo et al. Convolutional neural networks for image denoising and restoration
Crockett et al. Bilevel methods for image reconstruction
KR20200067631A (ko) 영상 처리 장치 및 그 동작방법
US11954755B2 (en) Image processing device and operation method thereof
US20240161251A1 (en) Image denoising method and apparatus based on wavelet high-frequency channel synthesis
CN115280326A (zh) 用于改进基于卷积神经网络的机器学习模型的系统和方法
US20230360359A1 (en) Image processing apparatus and operation method thereof
CN116071279A (zh) 图像处理方法、装置、计算机设备和存储介质
KR102420104B1 (ko) 영상 처리 장치 및 그 동작방법
Dey Python image processing cookbook: over 60 recipes to help you perform complex image processing and computer vision tasks with ease
CN114037770A (zh) 一种基于离散傅里叶变换的注意力机制的图像生成方法
Bricman et al. CocoNet: A deep neural network for mapping pixel coordinates to color values
EP4083874A1 (en) Image processing device and operating method therefor
KR20230157223A (ko) 영상 처리 장치 및 그 동작 방법
US20220375093A1 (en) Image processing apparatus and operating method thereof
KR20230157224A (ko) 영상 처리 장치 및 그 동작 방법
US20230360169A1 (en) Image processing apparatus and operation method thereof
KR101866135B1 (ko) 2d 영상에 대한 깊이 정보 생성 장치 및 방법과 이에 관한 기록 매체
US20230360382A1 (en) Image processing apparatus and operating method thereof
EP4276744A1 (en) Image processing apparatus and operating method therefor