KR102479965B1 - 이미지 슈퍼 레졸루션을 딥 러닝하는 방법 및 시스템 - Google Patents

이미지 슈퍼 레졸루션을 딥 러닝하는 방법 및 시스템 Download PDF

Info

Publication number
KR102479965B1
KR102479965B1 KR1020170133302A KR20170133302A KR102479965B1 KR 102479965 B1 KR102479965 B1 KR 102479965B1 KR 1020170133302 A KR1020170133302 A KR 1020170133302A KR 20170133302 A KR20170133302 A KR 20170133302A KR 102479965 B1 KR102479965 B1 KR 102479965B1
Authority
KR
South Korea
Prior art keywords
resolution
resolution image
image
processor
super
Prior art date
Application number
KR1020170133302A
Other languages
English (en)
Other versions
KR20180114488A (ko
Inventor
모스타파 엘-카미
하오유 렌
이정원
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20180114488A publication Critical patent/KR20180114488A/ko
Application granted granted Critical
Publication of KR102479965B1 publication Critical patent/KR102479965B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

슈퍼 레졸루션 이미징(super resolution imaging)을 위한 방법은 저해상도 이미지(low resolution image)를 프로세서에 의해 수신하고, 상기 저해상도 이미지와 비교하여 개선된 해상도를 갖는 중간 고해상도 이미지(intermediate high resolution image)를 상기 프로세서에 의해 생성하고, 상기 저해상도 이미지 및 상기 중간 고해상도 이미지에 기초하여 최종 고해상도 이미지(final high resolution image)를 상기 프로세서에 의해 생성하고, 디스플레이 디바이스에 디스플레이하기 위해 상기 디스플레이 디바이스에 상기 최종 고해상도 이미지를 전송하는 것을 포함한다.

Description

이미지 슈퍼 레졸루션을 딥 러닝하는 방법 및 시스템{SYSTEM AND METHOD FOR DEEP LEARNING IMAGE SUPER RESOLUTION}
본 발명은 이미지 슈퍼 레졸루션을 딥 러닝하는 방법 및 시스템에 관한 것이다.
이미지 슈퍼 레졸루션(Image Super Resolution)은 단일 저해상도(Low Resolution; LR) 이미지에서 고해상도(High Resolution; HR) 이미지를 생성하거나 복구하는 프로세스이다. 상기 프로세스의 입력은 흐린 이미지 또는 저해상도 이미지일 수 있다. 상기 프로세스의 출력은 고해상도 이미지일 수 있다. 특정 애플리케이션들에서, 저해상도 입력 이미지에 기초하여 최고 품질의 슈퍼 레졸루션 이미지를 생성하는 것은 원하는 실시간에서 제공되기는 어려울 수 있다. 원하는 품질을 획득하기 위해 요구되는 시간 및 데이터 처리 능력 때문이다.
상술한 배경 기술은 본 발명의 내용을 이해하기 위한 것일 뿐이며 상술하지 않은 기술은 배경 기술에 포함되지 않는다.
본 발명이 해결하고자 하는 기술적 과제는 사용자가 성능이 향상된 슈퍼 레졸루션 이미징 시스템을 제공하는 것이다.
본 발명이 해결하고자 하는 기술적 과제는, 정확도와 효율성 사이의 절충점을 균형 잡기위한 메커니즘을 제공하는 슈퍼 레졸루션 이미징 시스템을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 슈퍼 레졸루션 이미징을 위한 방법은, 저해상도 이미지(low resolution image)를 프로세서에 의해 수신하고, 상기 저해상도 이미지와 비교하여 개선된 해상도를 갖는 중간 고해상도 이미지(intermediate high resolution image)를 상기 프로세서에 의해 생성하고, 상기 저해상도 이미지 및 상기 중간 고해상도 이미지에 기초하여 최종 고해상도 이미지(final high resolution image)를 상기 프로세서에 의해 생성하고, 디스플레이 디바이스에 디스플레이하기 위해 상기 디스플레이 디바이스에 상기 최종 고해상도 이미지를 전송하는 것을 포함한다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 슈퍼 레졸루션 이미징을 위한 시스템은 프로세서 및 프로세서에 연결된 메모리를 포함하고, 상기 메모리는, 상기 프로세서를 통해 실행될 때, 프로세서가 저해상도 이미지(low resolution image)를 수신하고, 상기 저해상도 이미지와 비교하여 개선된 해상도를 갖는 중간 고해상도 이미지(intermediate high resolution image)를 생성하고, 상기 저해상도 이미지 및 상기 중간 고해상도 이미지에 기초하여 최종 고해상도 이미지(final high resolution image)를 생성하고, 디스플레이 디바이스에 디스플레이하기 위해 상기 디스플레이 디바이스에 상기 최종 고해상도 이미지를 전송하도록 야기하는 명령들(instructions)을 저장한다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 슈퍼 레졸루션 이미징을 위한 시스템은 프로세서 및 프로세서에 연결된 메모리를 포함하고, 상기 메모리는, 상기 프로세서를 통해 실행될 때, 프로세서가 저해상도 이미지(low resolution image)를 수신하고, 상기 저해상도 이미지와 비교하여 개선된 해상도를 갖는 중간 고해상도 이미지(intermediate high resolution image)를 생성하고, 상기 저해상도 이미지 및 상기 중간 고해상도 이미지에 기초하여 최종 고해상도 이미지(final high resolution image)를 생성하고, 유저 디바이스로부터 상기 중간 고해상도 이미지의 캡쳐를 요청하는 신호를 수신하고, 상기 유저 디바이스로부터 상기 신호를 수신한 후 상기 최종 고해상도 이미지를 생성하고, 디스플레이 디바이스에 디스플레이하기 위해 상기 디스플레이 디바이스에 상기 최종 고해상도 이미지를 전송하도록 야기하는 명령들(instructions)을 저장한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
도 1은 몇몇 실시예에 따른 딥 러닝 이미지 슈퍼 레졸루션 시스템의 일례를 나타내는 블록도이다.
도 2는 몇몇 실시예에 따른 프로그래시브 퓨전 시스템의 일례를 나타내는 블록도이다.
도 3은 몇몇 실시예에 따른 프로그래시브 퓨전 슈퍼 레졸루션 이미징 시스템을 트레이닝하기 위한 프로세스를 나타내는 흐름도이다.
도 4는 몇몇 실시예에 따른 픽셀 와이즈 퓨전을 위한 다이어그램이다.
도 5는 몇몇 실시예에 따른 컨텍스트와 퓨전 아키텍쳐를 이용하는 슈퍼 레졸루션 이미징 시스템의 블록도이다.
도 6은 몇몇 실시예에 따라 듀얼 모드 슈퍼 레졸루션을 위해 병렬 컨텍스트와 퓨전 네트워크를 트레이닝하기 위한 프로세스를 나타내는 흐름도이다.
도 7a는 몇몇 실시예에 따른 컴퓨팅 장치의 블록도이다.
도 7b는 몇몇 실시예에 따른 컴퓨팅 장치의 블록도이다.
도 7c는 몇몇 실시예에 따른 컴퓨팅 장치의 블록도이다.
도 7d는 몇몇 실시예에 따른 컴퓨팅 장치의 블록도이다.
도 7e는 몇몇 실시예에 따른 컴퓨팅 장치를 포함하는 네트워크 환경의 블록도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다. 그러나 본 발명에 개시된 내용은 다양한 다른 형태로 구현될 수 있으며, 본 발명의 도면에 도시된 실시예들에만 한정되어 해석되지 않는다. 오히려, 실시예들은 본 발명에 개시된 내용이 완벽하게 이해될수 있도록 제공되는 것이며, 본 발명에 개시된 내용에 의해 본 발명의 특징 및 실시 형태가 당업자에게 완전히 전달될 것이다. 따라서, 본 발명에 대해 개시된 실시 형태 및 특징들의 완전한 이해를 위해 당업자에게 필요하지 않은 프로세스들, 요소들 및 기술들은 본 발명의 실시예들에 관하여 기술하지 않는다. 특별히 언급하지 않는 한, 첨부된 도면 및 상세한 설명 전반에 걸쳐 동일한 참조 번호는 동일한 구성 요소를 나타내며, 이에 대한 설명은 반복하지 않는다. 도면에서 구성 요소, 레이어 및 영역의 상대적인 크기는 명확성을 위해 과장될 수 있다.
"제1-", "제2-", "제3-" 등의 용어는 본 명세서에서 다양한 구성 요소(elements), 컴포넌트들(components), 영역들, 레이어들 및/또는 섹션들을 설명하기 위해 사용될 수 있지만, 이들 구성 요소, 컴포넌트들, 영역들, 레이어들 및/또는 섹션들은 이들 용어들에 의해 제한되어서는 안된다. 이들 용어는 하나의 구성 요소, 컴포넌트, 영역, 레이어 또는 섹션을 다른 구성 요소, 컴포넌트, 영역, 레이어 또는 섹션과 구별하기 위해서만 사용된다. 따라서, 이하에 설명되는 제1 구성 요소, 제1 컴포넌트, 제1 영역, 제1 레이어 또는 제1 섹션은 제2 구성 요소, 제2 컴포넌트, 제2 영역, 제2 레이어 또는 제2 섹션으로 지칭될 수도 있다.
"아래", "하부", "위", "상부" 등과 같은 상대적인 공간을 나타내는 용어는 본 명세서에서 도면에 의해 설명되는 하나의 구성요소 또는 특징을 다른 구성 요소 또는 특징과의 관계를 용이하게 설명하기 위해 사용되는 용어일 수 있다. 상대적인 공간을 나타내는 용어는 도면에 도시된 디바이스의 방위에 기초하여 사용 또는 작동 중인 디바이스의 방위를 나타내는 것이고 사용 또는 작동 중인 디바이스의 배향이 달라지는 경우 같이 변화할 수 있다. 예를 들어, 도면의 디바이스가 뒤집힌다면 "아래" 또는 "하부"로 기술된 구성요소는 "위" 또는 "상부"로 변경될 것이다. 따라서, "아래" 및 "하부"의 예시적인 용어는 위와 아래의 방향 모두를 포함할 수 있다. 디바이스는 다른 방향으로 배향될 수 있고(예를 들어, 90도 또는 다른 배향으로 회전될 수 있음), 본 명세서에서 사용된 상대적인 공간을 나타내는 용어는 디바이스의 배향에 따라 알맞게 해석되어야 한다. 또한, 하나의 구성 요소 또는 레이어는 2개의 구성요소 또는 레이어의 사이에 있는 것으로 언급될 때, 2개의 구성요소 또는 레이어 사이에 존재하는 유일한 구성 요소일 수도 있고, 구성 요소 또는 레이어 사이에 존재하는 하나 이상의 구성 요소 또는 레이어 중 하나의 구성 요소 또는 레이어일 수도 있다.
본 명세서에서 사용되는 용어는 특정 실시 형태만을 설명하기 위한 것이며, 본원 발명의 범위를 제한하려는 것은 아니다. 본 명세서에서 사용된 단수 표현은 문맥상 달리 명시하지 않는 한 복수 형태를 포함하는 것으로 해석될 수 있다. 본 명세서에서 사용되는 "포함한다", "포함하다"라는 용어는 명시된 특징, 정수, 단계, 동작, 구성 요소 및/또는 컴포넌트들이 존재하는 것을 특정할 뿐 다른 특징, 정수, 단계, 동작, 구성 요소 및/또는 컴포넌트들을 배제하는 것은 아니다. 본 명세서에서 사용되는 "및/또는"이라는 용어는 하나 이상의 관련 열거된 항목의 임의 및 모든 조합을 포함한다. "적어도 하나"와 같은 표현은 구성 요소 전체뿐만 아니라 개별 구성 요소를 포함하는 개념이다. 또한, 본 명세서에서 "할 수 있다"는 용어는 본 발명에 개시된 하나 이상의 실시예를 언급하기 위해 사용되는 용어이다. 또한, 예시적인이라는 용어는 일례 또는 설명을 위해 사용되는 용어이다.
구성 요소 또는 레이어가 다른 구성 요소 또는 레이어와 "접속", "접촉", 인접", "연결"되는 것은 구성 요소 또는 레이어가 다른 구성 요소 또는 레이어와 직접 "접속", "접촉", "인접", "연결"되어 있는 경우를 포함할 뿐만 아니라, 사이에 하나 이상의 구성 요소 또는 레이어가 존재하는 경우를 포함하는 넓은 개념의 의미이다. 다만, 하나의 구성 요소 또는 레이어가 다른 구성 요소 또는 레이어에 "직접적으로 접속", "직접적으로 접촉", "직접적으로 인접", "직접적으로 연결"되어 있다고 설명될 때, 하나의 구성 요소 또는 레이어와 다른 구성 요소 또는 레이어 사이에 별도의 구성 요소 또는 레이어가 존재하지 않는 것으로 볼 수 있다.
달리 정의되지 않는 한, 본 명세서에서 사용되는 모든 용어(기술 용어 및 과학 용어 포함)는 본 발명의 기술 분야의 당업자에 의해 일반적으로 이해되는 용어의 의미와 동일한 의미를 가질 수 있다. 또한, 일반적으로 사용되는 사전에서 정의된 용어와 같은 용어는 관련 기술 및/또는 본 명세서와 관련하여 그 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 이상적이거나 지나치게 형식적인 의미로 해석되면 안된다.
슈퍼 레졸루션 이미징 시스템(super resolution imaging system)은 단일 저해상도(Low Resolution; LR) 이미지에 기초하여 고해상도(High Resolution; HR) 이미지를 생성 또는 복구하도록 구성된 전자 시스템일 수 있다. 단일 이미지 슈퍼 레졸루션은 하나의 저해상도 이미지에서 단일 고해상도 이미지를 생성하는 것을 의미한다. 멀티 이미지 슈퍼 레졸루션은 서로 다른 시간적, 각도 또는 공간 차원에서 얻은 여러 이미지로부터 고해상도 이미지를 생성하는 것을 의미하며 서브 픽셀 정확도(subpixel accuracy)로 정렬되어야 한다.
슈퍼 레졸루션(super Resolution; SR) 이미징은 다양한 시나리오 및 애플리케이션에서 점차 중요해지고 있다. 예를 들어, 압축 또는 다운 샘플링된 포맷으로 존재하는 웹 이미지 및 비디오의 지각 품질(perceptual quality)을 개선하기 위해 슈퍼 레졸루션 이미징이 이용될 수 있다. 슈퍼 레졸루션 이미징은 독립형 카메라 또는 휴대 전화 카메라와 같은 디지털 카메라의 디지털 줌 프로세스에도 활용될 수 있다. 슈퍼 레졸루션 이미징은 이미지 수집 및 분석에 의존하는 다양한 기술 분야 및 애플리케이션에 추가적인 이점을 제공할 수 있다. 예를 들어, 슈퍼 레졸루션 이미징은 현미경 이미지의 품질을 향상시키기 위해 활용될 수 있다.
일부 애플리케이션들에서 슈퍼 레졸루션 이미징 시스템의 실시간 성능(예를 들어, 보다 높은 해상도의 이미지가 낮은 해상도의 이미지로부터 생성되는 속도 및 품질)은 시스템의 품질 및 유용성에 대한 중요한 요소가 될 수 있다. 예를 들어, 인터넷 또는 웹 브라우저 응용 프로그램의 컨텍스트(context) 에서 이미지의 높은 지각 품질을 보면서 빠른 인터넷 검색을 제공하는 것이 유용할 수 있다. 빠르고 고품질의 실시간 슈퍼 레졸루션 이미징은 뷰 파인더 또는 디지털 카메라의 디스플레이에서 디지털 줌 기능의 지각 품질을 향상시키는데 유용할 수 있다.
유사하게, 현미경 검사에서, 사용자는 실시간으로 고해상도 이미지를 관찰할 수 있다는 이점을 인식할 수 있다. 예를 들어, 광학 현미경 검사와 관련하여 특정 임계 값 크기(예를 들어, 250 나노 미터(nm) 미만)보다 작은 피사체는 흐리게 나타날 수 있어 사용자가 현미경 이미지에서 피사체를 분석하는 것을 제한하거나 방해할 수 있다. 따라서, 슈퍼 레졸루션 현미경(super-resolution microscopy)은 렌즈의 회절 한계로부터 영향을 최소화하면서 훨씬 작은 스케일의 대상물을 분석할 수 있게 한다. 다른 상황에서는 사용자가 분자 관측을 실시간으로 관찰할 수 있다는 이점을 발생시킨다. 따라서, 디지털 카메라의 디지털 줌 기능, 광학 현미경 및 웹 브라우징과 같은 다양한 응용 프로그램에서 슈퍼 레졸루션 이미징 시스템의 사용자는 고품질의 실시간 성능과 향상된 오프라인 성능의 이점을 누릴 수 있다.
또한, 상술한 애플리케이션들에 있어서, 획득한 시간의 이미지 처리를 위한 오프라인 성능 또한 중요할 수 있다. 이러한 응용 프로그램에서 오프라인 성능은 예를 들어, 브라우저에서 이미지를 클릭하거나 저장하거나 디지털 줌을 사용하여 카메라의 스냅 샷을 찍거나, 디지털 줌을 사용하여 비디오 또는 동영상을 녹화하거나 현미경 출력을 기록하여 트리거될 수 있다.
따라서, 본 발명의 예시적인 실시예는 2가지 모드로 동작 가능한 슈퍼 레졸루션 이미징을 위한 시스템 및 방법을 포함할 수 있다. 여기서, 2가지 모드는 저해상도 입력 이미지에 비해 양적 및 질적으로 향상된 지각 품질로 실시간(예를 들어, 지각할 수 있는 충분한 지연을 제외한)으로 고해상도 이미지를 생성하기에 충분히 빠른 프리뷰 모드와 미리보기 모드와 같이 빠르게 출력 고해상도 이미지를 생성하지 않지만 출력 이미지는 미리보기 모드에서 생성하는 이미지보다 높은 해상도를 갖는 획득 후 사후 처리를 위한 오프라인 모드일 수 있다.
본 발명의 일부 예시적인 실시예는 미리보기 모드 및 오프라인 모드로 딥 러닝(deep-learning) 기반의 슈퍼 레졸루션 이미징을 제공하는 시스템 및 방법을 포함한다. 몇몇 실시예에 따르면, 미리보기 모드에서 수행된 계산은 오프라인 모드에서 이용될 수 있다. 몇몇 실시예에 따르면, 시스템 및 방법은 고해상도(High Resolution; HR) 출력 이미지를 생성하거나 생성하기 위해 저해상도(Low Resolution; LR) 이미지로부터 정보를 검색하는 슈퍼 레졸루션 이미징 시스템을 포함할 수 있다. 본 시스템은 매우 깊은 컨벌루션 뉴럴 네트워크(very deep convolution neural networks)를 학습함으로써 달성될 수 있다.
따라서, 상술한 바와 같이, 본 발명의 몇몇 실시예는 듀얼 모드 슈퍼 레졸루션 시스템 및 방법을 포함할 수 있다. 몇몇 실시예에 따르면, 시스템 및 방법은 오프라인 모드 위해 미리보기 모드 동안 실시간 슈퍼 레졸루션에 대해 수행된 계산을 이용하는 딥 러닝 기반 슈퍼 레졸루션을 포함할 수 있다. 따라서, 본 시스템은 정확도와 효율성 사이의 절충점을 균형 잡기위한 메커니즘을 제공할 수 있다.
몇몇 실시예에 따른 시스템 및 방법은 프리뷰 네트워크 및 하나 이상의 리파인 네트워크(refine networks)를 포함할 수 있다. 아래에서 보다 상세히 설명되는 바와 같이 몇몇 실시예는 본 명세서에 설명된 2개의 딥 러닝 아키텍쳐 중 하나 즉, 프로그래시브 슈퍼 레졸루션 시스템(progressive super resolution system) 및 병렬 퓨즈된 슈퍼 레졸루션 시스템(parallel-fused super resolution system)을 포함할 수 있다.
아래 보다 상세히 설명되는 바와 같이 프로그래시브 슈퍼 레졸루션 시스템에서 "프리뷰" 네트워크 및 "리파인" 네트워크는 연속적으로 트레이닝될 수 있다. 대조적으로, 컨텍스트-와이즈 병렬 퓨즈된 슈퍼 레졸루션 시스템(context-wise parallel fused super resolution system)에서 다중 네트워크의 컨텍스트-와이즈 퓨전(context-wise fusion)을 위한 컨텍스트-와이즈 퓨전 레이어(context-wise fusion layer)가 병렬로 사용될 수 있다.
도 1은 몇몇 실시예에 따른 딥 러닝 이미지 슈퍼 레졸루션 시스템의 일례를 나타내는 블록도이다. 도 1을 참조하면, 몇몇 실시예에 따른 슈퍼 레졸루션 이미징 시스템(100)은 이미지 처리 시스템(102)을 포함할 수 있다. 이미지 처리 시스템(102)은 이미지 소스 디바이스(104) 및 이미지 출력 디바이스(106)와 전기적으로 통신할 수 있다. 이미지 소스 디바이스(104)는 디지털 현미경, 디지털 카메라, 인터넷 웹 사이트를 조작하는 컴퓨터 및 퍼스널 컴퓨터 시스템(personal computer system)과 같은 디지털 이미지를 캡쳐 및/또는 저장하도록 구성된 임의의 전자 디바이스일 수 있다. 이미지 출력 디바이스(106)는 저해상도 이미지에 기초하여 슈퍼 레졸루션 이미지를 수신하도록 구성된 임의의 적합한 전자 디바이스일 수 있다. 예를 들어, 이미지 출력 디바이스(106)는 고해상도 이미지를 디스플레이하기 위한 디스플레이 디바이스 또는 컴퓨터 시스템일 수 있다. 아래에서 보다 상세히 설명되겠지만, 슈퍼 레졸루션 이미징 시스템(100)은 이미지 소스 디바이스(104)로부터 저해상도 이미지를 수신하고 이미지 출력 디바이스(106)에 제공하기 위해 저해상도 이미지에 기초하여 슈퍼 레졸루션 이미지를 생성하도록 구성될 수 있다.
몇몇 실시예에 따른 시스템 및 방법은, 본 명세서에 개시된 2개의 딥 러닝 아키텍쳐인 프로그래시브 슈퍼 레졸루션 시스템 및 병렬 퓨즈된 슈퍼 레졸루션 시스템 중 하나를 이용할 수 있다. 도 2는 몇몇 실시예에 따른 프로그래시브 퓨전 시스템(progressive fusion system)의 일례를 나타내는 블록도이다.
도 2를 참조하면, 슈퍼 레졸루션 이미징 시스템(도 1의 100)은 프로그래시브 퓨전 슈퍼 레졸루션 이미징 시스템(200)을 포함할 수 있다. 프로그래시브 퓨전 슈퍼 레졸루션 이미징 시스템(200)은 프리뷰 모드에서 프리뷰 이미지로서 중간 고해상도 이미지(intermediate high resolution image)를 생성하고, 오프라인 모드 또는 프리뷰 모드가 아닌 모드에서 고해상도 이미지를 생성하도록 슈퍼 레졸루션 이미징을 허용하기 위해 프로그래시브 슈퍼 레졸루션을 프로그래시브 퓨전(progressive fusion)을 통해 제공하도록 구성될 수 있다.
도 2에 도시된 바와 같이, 프로그래시브 퓨전 슈퍼 레졸루션 이미징 시스템(200)은 제1 개별 슈퍼 레졸루션 네트워크(S1)를 포함할 수 있다. 제1 개별 슈퍼 레졸루션 네트워크(S1)는 이미지 소스 디바이스(104)로부터 저해상도 입력 이미지(202)를 수신하고, 디스플레이 디바이스 및/또는 이미지 착신 디바이스(106)에 제공하기 위한 중간 품질의 고해상도 이미지(예를 들어, 프리뷰 이미지로서)를 생성하도록 구성될 수 있다. 제1 개별 슈퍼 레졸루션 네트워크(S1)는 당업계에 공지된 임의의 적절한 슈퍼 레졸루션 이미징 알고리즘 또는 프로세스를 사용하여 중간 품질의 고해상도 이미지를 생성할 수 있다.
몇몇 실시예에 따르면, 제1 슈퍼 레졸루션 개별 네트워크(S1)는 임의의 적절한 컨벌루션 뉴럴 네트워크 아키텍처를 포함한다. 몇몇 실시예에 따르면, 제1 슈퍼 레졸루션 개별 네트워크(S1)는 비교적 낮은 복잡성을 가질 수 있다. 예를 들어, 출력 데이터를 생성하는데 비교적 낮은 계산 코스트를 가질 수 있다. 뉴럴 네트워크의 출력은 입력(예를 들어, 저해상도 입력 이미지) 및 가중치(예를 들어, 네트워크 파라미터들)의 곱셈 및 누적에 기반한 피드 포워드 프로세스(feed forward process)일 수 있다. 네트워크가 작으면(예를 들어, 비교적 적은 레이어들 및 필터들이 있기 때문에), 계산 코스트가 적게들 수 있다. 따라서, 네트워크는 실시간으로 입력 이미지에 기초하여 중간 고해상도 이미지(204)를 생성할 수 있다(예를 들어, 이미지 생성 및 디스플레이에서 인지된 지연이 거의 또는 전혀 없음). 몇몇 실시예에 따른 "실시간"의 기준선은 초당 15프레임일 수 있다. 따라서, 몇몇 실시예에 따르면, 제1 개별 슈퍼 레졸루션 네트워크(S1)에 의해 중간 출력 이미지를 생성하기 위한 처리 시간은 1/15초 미만일 수 있다. 이러한 조건 하에서, 인간의 눈은 딜레이를 인식하지 못한다.
몇몇 실시예에 따르면, 제1 개별 슈퍼 레졸루션 네트워크(S1)는 저해상도 입력 이미지(202)를 수신하거나 대안적으로 업 샘플링 비율이 타겟 업 샘플링 비율에 따르는 저해상도 입력 이미지(202)의 바이큐빅(bicubic) 업샘플링된 버전을 수신할 수 있다. 제1 개별 슈퍼 레졸루션 네트워크(S1)의 출력(y1)은 주어진 입력(x1)을 이용하여 수학식 1과 같이 나타낼 수 있다.
Figure 112017100996984-pat00001
제1 개별 슈퍼 레졸루션 네트워크(S1)는 개선된 사용자 경험 또는 사용자의 품질의 인식에 대한 충분한 슈퍼 레졸루션 지각을 갖는 출력(y1)을 제공하도록 트레이닝될 수 있다. 예를 들어, 카메라 애플리케이션의 경우, 중간 고해상도 이미지(204)는 광학 렌즈로부터 획득된 원시 이미지(raw image)의 관심 영역 주위를 저해상도 입력 이미지(202)와 동일하거나 더 높은 해상도를 갖도록 획대시킨 버전(예를 들어, 저해상도 입력 이미지(202)의 크기의 몇 배(예를 들어, 3배)인 스케일로)의 이미지일 수 있다. 이러한 증가된 스케일 및 이미지 해상도는, 예를 들어 사용자가 줌된 이미지에서 관심있는 대상을 스캔하고, 그 텍스트의 선명도를 증가시키며, 작은 텍스트를 판독하는 것을 가능하게 할 수 있다. 따라서, 중간 고해상도 이미지(204)는 슈퍼 레졸루션 이미징 시스템(100)의 일부로서 전자 통신 또는 사용자에 의해 동작되는 디바이스 상에 제공되어 디스플레이될 수 있다.
몇몇 실시예에 따르면, 사용자가 현재의 프레임에 만족하고 이미지를 캡쳐하기를 원하면, 사용자는 고해상도 이미지(206)를 생성하기 위해 프로그래시브 퓨전 슈퍼 레졸루션 이미징 시스템(200, progressive fussion super resolution imaging system)에 신호(예를 들어, 프로그래시브 퓨전 슈퍼 레졸루션 이미징 시스템(200)과 상호 작용하기 위해 사용자 인터페이스에서 버튼 또는 프롬프트를 선택함으로써)를 전송할 수 있다.
또한, 중간 고해상도 이미지(204)(예를 들어, 출력(y1))는 제1 개별 슈퍼 해상도 네트워크(S1)에 의해 생성될 때 템포랄 프레임 버퍼(208, temporal frame buffer)에 저장될 수 있다. 그 다음, 사용자(또는 사용자에 의해 조작되는 디바이스)가 이미지 캡쳐를 원한다는 것을 나타내는 신호를 수신한 것에 응답하여, 중간 고해상도 이미지(204)(예를 들어, 출력(y1))는 템포랄 프레임 버퍼(208)로부터 검색되고 제2 개별 슈퍼 레졸루션 네트워크(S2)에 제공되어 고해상도 이미지(206)를 생성할 수 있다.
특히, 프리뷰 네트워크(S1)로부터의 출력으로서 생성된 슈퍼 레졸루션 이미지는 중간 고해상도 이미저 미리보기(intermediate high resolution imager preview)로 사용될 수 있다. 그리고, 슈퍼 레졸루션 이미지는 원래의 저해상도 입력 이미지 및 중간 고해상도 이미지에 기초하여 최종 고해상도 이미지를 생성하기 위한 추가 슈퍼 레졸루션 이미징을 위해 프레임 버퍼에 버퍼링될 수 있다. 프레임이 캡쳐되면, 제1 개별 슈퍼 레졸루션 네트워크(S1)의 슈퍼 레졸루션 출력은 제2 개별 슈퍼 레졸루션 네트워크(S2)에 대한 입력으로서 제공되어 동일한 원하는 스케일로 향상된 슈퍼 레졸루션 품질을 제공할 수 있다. 제2 개별 슈퍼 레졸루션 네트워크(S2)의 입력 및 출력 해상도는 동일하지만 제2 개별 슈퍼 레졸루션 네트워크(S2)의 출력은 더 우수한 지각 품질을 가질 수 있다.
예를 들어, 몇몇 실시예에 따르면, 제2 개별 슈퍼 레졸루션 네트워크(S2)의 출력은 예를 들어 더 높은 피크 신호 대 잡음비(Peak Signal-to-Noise Ratio; PSNR) 또는 더 높은 구조 유사성 측정치(Structural Similarity Measure; SSIM)를 가질 수 있다.
PSNR은 이미지 픽셀의 최대 가능한 파워와 피델리티(fidelity)에 영향을 주는 변질된 노이지의 파워 사이의 비율일 수 있다. PSNR은 수학식 2에 따라 계산될 수 있다.
Figure 112017100996984-pat00002
수학식 2에서 MSE는 그라운드 트루스(ground truth)와 재구성된 이미지(저해상도 출력) 사이에서 계산될 수 있다. PSNR이 클수록 품질이 좋아질 수 있다. PSNR의 최대 값은 무한할 수 있다.
SSIM은 지각 기반 모델일 수 있다. 여기서, 지각 기반 모델은 이미지 저하를 구조적인 정보의 변화로 인식하고 루미넌스 마스킹(luminance masking) 및 콘트라스트 마스킹(contrast masking)을 통합할 수 있다. 이는 PSNR에 비해 인간의 시력에 더 나은 일관성을 보여주 수 있다. SSIM은 수학식 3에 따라 계산될 수 있다.
Figure 112017100996984-pat00003
여기서, x는 재구성된 이미지, y는 기준 이미지(그라운드 트루스), μ는 평균, σ는 분산(variance),
Figure 112017100996984-pat00004
는 x와 y의 공분산(covariance)일 수 있다.
Figure 112017100996984-pat00005
일 수 있다. SSIM은 [0,1] 사이에 배치될 수 있다. x가 y의 완벽한 복사본이면 SSIM은 1이 된다.
고해상도 이미지(206)는 임의의 적합한 슈퍼 레졸루션 이미징 알고리즘 또는 당업계에서 공지된 프로세스를 사용하여 중간 고해상도 이미지(204) 및 저해상도 입력 이미지(202)에 기초하여 제2 개별 슈퍼 레졸루션 네트워크(S2)에 의해 생성될 수 있다.
제2 스테이지(second stage)의 출력은 하기 수학식 4와 같이 나타낼 수 있다.
Figure 112017100996984-pat00006
몇몇 실시예에 따르면, 다수의 프로그래시브 슈퍼 레졸루션 스테이지(예를 들어, "a"가 2보다 큰 자연수인 추가 개별 슈퍼 레졸루션 네트워크들(Sa))는 제1 및 제2 개별 슈퍼 레졸루션 네트워크들(S1, S2)과 종속 접속될 수 있으며, 각 스테이지의 출력을 다음 스테이지의 입력으로 제공하여 점진적으로 우수한 초고해상도 품질을 획득할 수 있다. 예를 들어, 모바일 디바이스 상에서 제2 스테이지가 실행될 수 있는 반면, 제3 스테이지는 외부 컴퓨팅 머신 상에서 동작하는 오프라인 소프트웨어 또는 보다 높은 데이터 처리 능력 및 처리량을 갖는 클라우드 서버에 의해 실행될 수 있다. 각 스테이지의 각 출력은 슈퍼 레졸루션 출력 이미지로 간주할 수 있는 의미 있는 출력일 수 있다. 특정 스테이지의 출력이 만족스럽거나 원하는 출력인 경우, 후속 스테이지가 호출되지 않을 수 있다. 원하는 이미지는 슈퍼 레졸루션 이미징 시스템(100)의 설계 및 기능 및 개인의 욕구 및 욕망에 따라 지각 품질, 출력 생성 속도, 계산력 또는 저장 메모리 요구량과 같은 다수의 요인에 기초할 수 있다.
몇몇 실시예에 따른 슈퍼 레졸루션 이미징 시스템(100)의 일부로서 동작하는 프로그레시브 퓨전 슈퍼 레졸루션 이미징 시스템(200)을 트레이닝하기 위한 프로세스가 도 3에 도시된다. 단계(300)에서 슈퍼 레졸루션 이미징 시스템(100)은 목표 스케일로 다운 스케일된 입력 저해상도 이미지들 및 출력 그라운드 트루스 이미지들(ground truth images)로부터 패치 쌍들(pairs of patches)을 이용하여 제1 네트워크(예를 들어, 제1 개별 슈퍼 레졸루션 네트워크(S1))를 트레이닝할 수 있다. 둘째로, 단계(302)에서 슈퍼 레졸루션 이미징 시스템(100)은 제1 네트워크로부터의 중간 고해상도 출력 및 그라운드 트루스로부터의 패치들의 쌍들을 갖는 새로운 데이터 세트를 생성할 수 있다. 셋째로, 단계(304)에서 슈퍼 레졸루션 이미징 시스템(100)은 후속 스테이지 네트워크를 수정하여 각각의 컨벌루션 레이어의 출력에서 동일한 입출력 크기를 강화하도록 적절한 크기 변경(예를 들어, 스트레칭(stretching) 또는 패딩(padding)으로서)을 수행할 수 있다. 네번째로, 단계(306)에서 슈퍼 레졸루션 이미징 시스템(100)은 새로운 데이터 세트를 사용하여 후속 스테이지 네트워크를 트레이닝할 수 있다. 그 후 단계(308)에서, 슈퍼 레졸루션 이미징 시스템(100)은 원하는 해상도 및 인지된 품질(예를 들어, 소정의 임계 품질)을 갖는 출력 이미지가 생성되었는지 여부를 결정할 수 있다. 원하는 해상도 및 인지된 품질을 갖는 출력 이미지가 생성되지 않은 경우, 슈퍼 레졸루션 이미징 시스템(100)은 이미지가 고해상도 출력 이미지로서 제공되는 원하는 해상도 및 인지된 품질이 생성될 때까지 단계들(304 및 306)을 반복할 수 있다.
공통 네트워크 아키텍쳐를 갖는 다중 스테이지의 경우, 네트워크는 다음 스테이지 네트워크를 트레이닝할 때 이전 스테이지의 네트워크에 의해 초기화될 수 있으며, 이는 후속 스테이지 네트워크의 트레이닝의 수렴(convergence)을 가속화할 수 있다.
몇몇 실시예에 따르면, 프로그래시브 3-레이어 및 5-레이어 네트워크 구조를 갖는 슈퍼 레졸루션 이미징 시스템(100)은 비순차 3-레이어 및 5-레이어 네트워크 구조와 비교하여 상대적으로 더 우수한 PSNR(Peak Signal-to-Noise Ratio) 및 SSIM(Structure Similarity Measure)을 제공할 수 있다. 전술한 슈퍼 레졸루션 이미징 시스템(100)은 상황에 따라 퓨즈된 네트워크(context-wise fused network)에 더 적용될 수 있다.
몇몇 실시예에 따르면, 슈퍼 레졸루션 이미징 시스템(100)은 딥 러닝으로 듀얼 모드 슈퍼 레졸루션을 달성하기 위해 병렬 퓨전(parallel fusion)을 제공할 수 있다. 오프라인 단계가 프로그레시브 슈퍼 레졸루션 시스템에 여러 단계를 포함하면, 대기 시간(latency)이 발생할 수 있다. 몇몇 실시예에서, 상이한 스테이지의 네트워크가 함께 배치될 수 없기 때문에 이러한 대기 시간(latency)이 요구될 수 있다.
그러나 네트워크들이 함께 배치되는 경우, 슈퍼 레졸루션 이미징 시스템(100)은 캡쳐 모드의 다수 스테이지를 병렬로 호출할 수 있다. 몇몇 실시예에서, 슈퍼 레졸루션 이미징 시스템(100)은 프리뷰 스테이지의 출력과 병렬로 캡쳐 단계(예를 들어, 사용자가 프리뷰 이미지에 기초하여 고해상도 이미지를 캡쳐하도록 선택한 후에 제2 개별 슈퍼 레졸루션 네트워크(S2)를 사용하여 최종 고해상도 출력 이미지를 생성하는 단계)의 다중 스테이지를 퓨즈(fuse)할 수 있다. 충분한 병렬 처리 능력을 가정하면, 병렬 처리의 대기 시간은 캡쳐 단계에서 가장 느린 퓨즈된 네트워크(fused network)의 대기 시간으로 제한될 수 있다.
몇몇 실시예에 따르면, 슈퍼 레졸루션 이미징 시스템(100)은 캡쳐 단계에서 병렬 퓨전(parallel fusion)을 위한 픽셀 와이즈 퓨젼(pixel wise fusion)을 제공할 수 있다. 예를 들어, 모든 슈퍼 레졸루션 네트워크는 동일한 그라운드 트루스(ground truth)에 대해 트레인되고 출력시 동일한 이미지 크기를 가질 수 있다. 예를 들어,
Figure 112017100996984-pat00007
가 i번째 네트워크의 출력이라면, 픽셀 와이즈 퓨젼으로 병렬 퓨즈된 네트워크의 (u, v)번째 픽셀에서의 출력은 아래 수학식 5에 따라 계산될 수 있는 가중된 합이다.
Figure 112017100996984-pat00008
도 4는 몇몇 실시예에 따라 픽셀 와이즈 퓨전을 위한 예시적인 도면이다. 도 4에서 픽셀 와이즈의 가중된 합이 복수의 개별 슈퍼 레졸루션 네트워크의 출력 이미지에 적용되고, 각각의 합계가 출력 이미지로서 제공될 수 있다. 슈퍼 레졸루션과 같은 어플리케이션의 경우, 이웃 픽셀과 독립적으로 픽셀을 관찰하는 것은 그다지 유용하지 않을 수 있다. 따라서, 몇몇 실시예에 따르면, 본 시스템 및 방법은 퓨즈된 출력을 생성하기 전에 각 네트워크로부터 예측된 픽셀에 대한 콘텍스트 정보를 통합할 수 있다. 이것은 컨벌루션 레이어(convolution layer)를 이용한 퓨전에 의해 달성될 수 있다.
관련된 컨벌루션 레이어는 3차원(3D) 커널을 적용하는데 여기서 3차원의 크기는 각 레이어의 입력 채널들의 수일 수 있다. 픽셀 와이즈 퓨즈된 네트워크에서 주어진 픽셀에 대한 출력은 컨벌루티드 출력(convoluted output)을 가로지르는 가중된 합(weighted sum), 즉 커널의 크기에 따라 결정되는 모든 퓨즈된 네트워크에서 콘텍스쳐 정보를 주는 픽셀들의 주위의 가중 합일 수 있다. 또한, 추가 컨벌루션 레이어를 삽입하여 퓨전 후에 얻은 피쳐들의 가중 합을 얻을 수 있다.
도 5는 몇몇 실시예에 따른 컨텍스트와 퓨전 아키텍쳐(350)를 이용하는 슈퍼 레졸루션 이미징 시스템(100)의 블록도이다. 도 2와 관련하여 전술한 프로그레시브 슈퍼 레졸루션 이미징과 유사하게 버퍼(352)는 개별 프리뷰 네트워크(S1)의 중간 고해상도 출력을 버퍼링하는데 사용될 수 있다. 그러나, 또 다른 버퍼(354)는 캡쳐 또는 오프라인 모드에서 병렬로 다른 슈퍼 레졸루션 이미징 네트워크에 공급하기 위해 원래의 저해상도 프레임을 버퍼링하는데에도 이용될 수 있다.
도 5에 도시된 프리뷰 단계에서 네트워크로서 동작하는 제1 개별 슈퍼 레졸루션 네트워크(S1)는 도 2에서 도시된 바와 같이 저해상도 입력 이미지(202)를 수신할 수 있다. 또한, 저해상도 입력 이미지(202)는 저해상도 프레임 버퍼(354)에 저장될 수 있다. 제1 개별 슈퍼 레졸루션 네트워크(S1)의 출력 이미지(356)는 중간 고해상도 미리보기 이미지로서 고해상도 프레임 버퍼(352)에 저장될 수 있다. 사용자 디바이스로부터 사용자가 프리뷰 이미지의 최종 고해상도 이미지를 생성하기 원하는 것을 나타내는 캡쳐 신호를 수신하면 하나 이상의 캡쳐 단계 네트워크(예를 들어, 개별 슈퍼 레졸루션 네트워크(S2, S3))는 각각의 중간 고해상도 이미지(358, 360)를 생성하기 위해 저해상도 프레임 버퍼(354)로부터 저해상도 입력 이미지(202)를 검색할 수 있다. 중간 고해상도 이미지들(356, 358, 360)은 당업계에 공지된 임의의 적절한 슈퍼 레졸루션 이미징 알고리즘 또는 프로세스를 사용하여 생성될 수 있다. 이어서, 컨벌루션 커널을 갖는 대응하는 퓨전 레이어들이 중간 고해상도 이미지들(356, 358, 360)에 적용되고, 각각의 출력은 고해상도 이미지(206)로 병합되어 출력 디바이스(106)에 제공될 수 있다. 병합은, 컨텍스트 와이즈 퓨전(context-wise fusion)에 기반하여, 먼저 개별 퓨전 층(W1, b1)(W2, b2)(W3, b3)에 의해 고해상도 이미지들(356, 358, 360)를 컨벌루션한 후 이들을 합산하여 리파인된 고해상도 이미지(206, refined high resolution image)를 얻을 수 있다. 수학식 5와 유사하게
Figure 112017100996984-pat00009
가 i번째 네트워크의 출력이라면, 컨텍스트 퓨전에서 (u, v) 번째 픽셀에서의 출력은 수학식 5에 따라 계산될 수 있는 가중된 합일 수 있다. 가중된 합은 k x k x M 컨벌루션 커널을 갖는 컨텍스트 컨벌루션 레이어에서 암시적으로 구현될 수 있다. 여기서, M은 퓨전된 네트워크의 수일 수 있다(M=3). 이 예에서, k x k는 컨텍스트 퓨전 수용 필드이며, 출력 채널(
Figure 112017100996984-pat00010
)의 (y, x) 픽셀은 아래 수학식 6에 의해 주어질 수 있다.
Figure 112017100996984-pat00011
수용 필드가 픽셀 와이즈 퓨전에 비해 훨씬 크기 때문에, 출력 고해상도의 지각 품질이 더 우수할 수 있다.
도 6은 몇몇 실시예에 따라 듀얼 모드 슈퍼 레졸루션을 위해 병렬 컨텍스트 와이즈 퓨전 네트워크를 트레이닝하기 위한 프로세스를 도시한 도면이다.
첫째로, 단계(600)에서 슈퍼 레졸루션 이미징 시스템(100)은 타겟 스케일로 다운 스케일된 입력 저해상도 이미지 및 출력 그라운드 트루스 이미지로부터 패치의 쌍을 사용하여 모든 상이한 네트워크를 트레이닝할 수 있다. 둘째로, 단계(602)에서 슈퍼 레졸루션 이미징 시스템(100)은 가우시안 분포에 의해 초기화되고, 3개의 네트워크의 출력에 첨부된 3차원 컨벌루션 커널을 이용하여 하나 이상의 콘텍스트 퓨전 레이어로 도시된 바와 같이 새로운 네트워크를 구성할 수 있다.
그 후, 단계(604)에서 일부 실시예에 따라 슈퍼 레졸루션 이미징 시스템(100)은 모든 개별 슈퍼 레졸루션 네트워크의 가중치를 동결시키고, 상황에 따라 퓨전 레이어의 가중치를 변경하면서 동일한 입력 출력 쌍으로 리트레이닝할 수 있다. 대안적으로, 몇몇 실시예에 따르면, 슈퍼 레졸루션 이미징 시스템(100)은 동일한 입력 출력 쌍으로 리트레이닝하면서, 프리뷰 네트워크의 파라미터를 제외한 모든 레이어의 파리미터의 미세 조정을 허용할 수 있다.
트레이닝 절차는 프로그래시브 슈퍼 레졸루션 이미징보다 빠르다는 것을 알 수 있다. 슈퍼 레졸루션 이미징 시스템(100)이 동일한 입력 출력 쌍들로 리트레이닝하는 제2 시나리오에서, 프리뷰 네트워크의 가중치들은 프리뷰 모드 동안 수행된 계산들을 레버리지(leverage)하기 위해 동결될 수 있다. 프리뷰 스테이지로부터의 출력은 컨텍스트 와이즈 퓨전 스테이지로 직접 공급되고 프리뷰 네트워크는 다시 재실행할 필요가 없다.
프로그레시브 슈퍼 레졸루션 이미징 또는 병렬 컨텍스트 와이즈 퓨전의 적용은 사용자의 목적 및 슈퍼 레졸루션 이미징 시스템(100)의 설계 및 기능에 의존할 수 있다. 모든 네트워크가 배열된 경우, 병렬 컨텍스트 와이즈 퓨전을 통해 최상의 성능을 얻을 수 있다. 그렇지 않으면, 다음 단계의 적용을 지연시키기 위해 프로그레시브 슈퍼 레졸루션 퓨전 구조가 우수한 결과를 달성할 수 있다.
몇몇 실시예에 따르면, 슈퍼 레졸루션 이미징 시스템(100)은 프리뷰 네트워크 및 적어도 하나의 세분화 네트워크(refinement network)를 포함하는 캐스케이드 퓨전, 네트워크를 트레이닝하는 방법 및 프로그레시브 슈퍼 레졸루션 이미징의 동작 방법을 제공할 수 있다. 몇몇 실시예에 따르면, 슈퍼 레졸루션 이미징 시스템(100)은 프리뷰 네트워크, 적어도 하나의 세분화 네트워크(refinement network) 및 컨텍스트-와이즈 퓨전 레이어, 네트워크 및 그들의 퓨전 레이어를 트레이닝하기 위한 방법 및 프리뷰에서의 동작 방법을 포함하는 병렬 퓨전을 제공할 수 있다.
도 7a 및 도 7b는 몇몇 실시예에서 채용될 수 있는 컴퓨팅 디바이스(1500)의 블록도를 도시한 도면들이다. 예를 들어, 컴퓨팅 디바이스(1500)는 슈퍼 레졸루션 이미징 시스템(100)의 다양한 구성 요소에 이용될 수 있다.
각각의 컴퓨팅 디바이스(1500)는 중앙 처리 유닛(1521, central processing unit), 주 메모리 유닛(1522, main memory unit)을 포함할 수 있다. 또한, 도 7a에 도시된 바와 같이 컴퓨팅 디바이스(1500)는 저장 디바이스(1528), 착탈식 매체 인터페이스(1516, removable media interface), 네트워크 인터페이스(1518), 입/출력(Input/Output; I/O) 제어기(1523), 하나 이상의 디스플레이 디바이스(1530b), 키보드(1530a) 및 마우스와 같은 포인팅 디바이스(1530b)를 포함할 수 있다. 저장 디바이스(1528)는 운영 시스템 및 소프트웨어를 위한 저장 디바이스를 제한없이 포함할 수 있다. 도 7b에 도시된 바와 같이, 각 컴퓨팅 디바이스(1500)는 중앙 처리 유닛(1521)과 통신하는 메모리 포트(1503), 브리지(1570), 하나 이상의 추가 입/출력 디바이스(1530d, 1530e) 및 중앙 처리 유닛(1521)과 통신하는 캐시 메모리(1540)를 포함할 수 있다. 이하 입/출력 디바이스(1530a, 1530b, 1530d 및 1530e)는 총칭하여 참조 번호 1530을 사용하여 설명한다.
중앙 처리 유닛(1521)은 주 메모리 유닛(1522)으로부터 페치된 명령들에 응답하고 처리하는 임의의 논리 회로이다. 예를 들어, 중앙 처리 유닛(1521)은 마이크로 프로세서(microprocessor), 마이크로 제어기(microcontroller), GPU(Graphics Processing Unit), FPGA(Field-Programmable Gate Array) 또는 ASIC(Application-Specific Inegrated Circuit)의 형태로 집적 회로에서 구현될 수 있다. 메인 메모리 유닛(1522)은 데이터를 저장할 수 있고, 임의의 저장 위치가 중앙 처리 유닛(1521)에 의해 직접 액세스될 수 있는 하나 이상의 메모리 칩일 수 있다. 도 7a에 도시된 바와 같이, 중앙 처리 유닛(1521)은 시스템 버스(1550)를 통해 주 메모리 유닛(1522)과 통신할 수 있다. 도 7b에 도시된 바와 같이, 중앙 처리 유닛(1521)은 또한 메모리 포트(1503)를 통해 주 메모리 유닛(1522)과 직접 통신할 수 있다.
도 7b는 중앙 처리 유닛(1521)이 때때로 후면 버스라 불리는 제2 버스를 통해 캐시 메모리(1540)와 직접 통신하는 실시예를 도시한다. 다른 몇몇 실시예에서, 중앙 처리 유닛(1521)은 시스템 버스(1550)를 사용하여 캐시 메모리(1540)와 통신할 수 있다. 캐시 메모리(1540)는 전형적으로 주 메모리 유닛(1522)보다 빠른 응답 시간을 가질 수 있다. 도 7a에 도시된 바와 같이 중앙 처리 유닛(1521)은 로컬 시스템 버스(1550)를 통해 다양한 입/출력 디바이스(1530)와 통신할 수 있다. VESA(Video Electronics Standards Association), VLB(Video Local Bus), ISA(Industry Standard Architecture) 버스, EISA(Extended Industry Standard Architecture) 버스, MCA(MicroChannel Architecture) 버스, PCIe(PCI-Express) 버스, 또는 NuBus를 포함하는 다양한 버스들이 로컬 시스템 버스(1550)로 사용될 수 있다. 입/출력 디바이스가 디스플레이 디바이스(1530c)인 실시예에서 중앙 처리 유닛(1521)은 AGP(Advanced Graphics Port)를 통해 디스플레이 디바이스(1530c)와 통신할 수 있다. 도 7b는 중앙 처리 유닛(1521)이 입/출력 디바이스(1530e)와 직접 통신하는 컴퓨터(1500)의 일 실시예를 도시한 도면이다. 또한, 도 7b는 로컬 버스들과 직접 통신이 혼합된 실시예를 도시한다. 중앙 처리 유닛(1521)은 입/출력 디바이스(1530e)와 직접 통신하면서 로컬 시스템 버스(1550)를 사용하여 입/출력 디바이스(1530d)와 통신할 수 있다.
입력 디바이스는 키보드(1530a), 마우스, 트랙 패드(trackpads), 트랙볼(trackballs), 마이크로폰(microphones) 및 드로잉 테블릿(drawing tablets)을 하나 이상 포함할 수 있다. 출력 디바이스는 비디오 디스플레이 디바이스(1530c), 스피커 및 프린터를 포함할 수 있다. 입/출력 제어기(1523)는, 도 7a에 도시된 바와 같이 입/출력 디바이스를 제어할 수 있다. 입/출력 제어기는 예를 들어, 마우스 또는 광학 펜(optical pen)과 같은 하나 이상의 입/출력 디바이스를 제어할 수 있다.
도 7a를 다시 참조하면, 컴퓨팅 디바이스(1500)는 플로피 디스크 드라이브, CD-ROM 드라이브, DVD-ROM 드라이브, 다양한 포맷의 테이프 드라이브, USB 포트, 보안 디지털 또는 COMPACT FLASH TM 메모리 카드 포트 또는 읽기 전용 미디어에서 데이터를 읽거나 읽기/쓰기 미디어에서 데이터를 읽거나 데이터를 쓰는데 적합한 기타 디바이스와 같은 하나 이상의 제거 가능한 매체 인터페이스(1516)를 지원할 수 있다. 입/출력 디바이스(1530)는 시스템 버스(1550)와 탈착 가능한 매체 인터페이스(1516) 사이의 브리지(bridge)일 수 있다.
제거 가능한 매체 인터페이스(1516)는 예를 들어, 소프트웨어 및 프로그램을 설치하는데 사용될 수 있다. 컴퓨팅 디바이스(1500)는 운영 시스템 및 기타 관련 소프트웨어를 저장하고 애플리케이션 소프트웨어 프로그램을 저장하기 위한 하나 이상의 하드 디스크 드라이브 또는 하드 디스크 드라이브 어레이와 같은 저장 디바이스(1528)를 더 포함할 수 있다. 선택적으로, 제거 가능한 매체 인터페이스(1516)가 저장 디바이스로서 사용될 수 있다. 예를 들어, 운영 체제(operating system) 및 소프트웨어는 부팅 가능한 매체(예를 들어, 부팅 CD)에서 실행될 수 있다.
몇몇 실시예에서, 컴퓨팅 디바이스(1500)는 다수의 디스플레이 디바이스(1530c)를 포함할 수 있거나, 복수 개의 디스플레이 디바이스(1530c)에 연결될 수 있으며, 각각은 동일하거나 상이한 타입 및/또는 형태일 수 있다. 이와 같이 임의의 입/출력 디바이스(1530) 및/또는 입/출력 제어기(1523)는 임의의 유형 및/또는 형태의 적절한 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합을 포함할 수 있고, 컴퓨팅 디바이스(1500)에 의해 다수의 디스플레이 디바이스(1530c)에 대한 연결을 지원하거나 가능하게 하거나 제공하며, 복수의 디스플레이 디바이스(1530c)를 사용할 수 있다. 예를 들어, 컴퓨팅 디바이스(1500)는 디스플레이 디바이스(1530c)를 인터페이스, 통신, 접속 또는 사용하기 위한 비디오 어댑터, 비디오 카드, 드라이버 및/또는 라이브러리의 임의의 유형 및/또는 형태를 포함할 수 있다. 몇몇 실시예에서 비디오 어댑터는 다수의 디스플레이 디바이스들(1530c)에 인터페이스하기 위한 다수의 커넥터들을 포함할 수 있다. 다른 몇몇 실시예에서, 컴퓨팅 디바이스(1500)는 하나 이상의 디스플레이 디바이스(1530c)에 연결된 각각의 비디오 어댑터를 갖는 다수의 비디오 어댑터를 포함할 수 있다. 몇몇 실시예에서, 컴퓨팅 디바이스(1500)의 운영 체제(operating system)의 임의의 부분은 다중 디스플레이 디바이스(1530c)를 사용하도록 구성될 수 있다. 다른 몇몇 실시예에서, 하나 이상의 디스플레이 디바이스(1530c)는 예를 들어 네트워크를 통해 컴퓨팅 디바이스(1500)에 연결된 하나 이상의 다른 컴퓨팅 디바이스에 의해 제공될 수 있다. 이들 실시예는 컴퓨팅 디바이스(1500)에 대한 제2 디스플레이 디바이스(1530c)로서 다른 컴퓨팅 디바이스의 디스플레이 디바이스를 사용하도록 설계되고 구성된 소프트웨어의 임의의 유형을 포함할 수 있다. 당업자는 컴퓨팅 디바이스(1500)가 다수의 디스플레이 디바이스(1530c)를 갖도록 구성될 수 있는 다양한 방법 및 실시예를 인식할 수 있다.
도 7a 및 도 7b에 도시된 종류의 컴퓨팅 디바이스(1500)는 작업 스케줄링 및 시스템 자원에 대한 액세스를 제어하는 운영 체제의 제어 하에 작동할 수 있다. 컴퓨팅 디바이스(1500)는 임의의 운영 체제, 임의의 내장형 운영 체제, 임의의 실시간 운영 체제, 임의의 오픈 소스 운영 체제, 임의의 독점 운영 체제, 모바일 컴퓨팅 디바이스용 임의의 운영 체제 또는 컴퓨팅 디바이스에서 실행 가능하거나 상술한 실시예들의 동작들을 수행할 수 있는 다른 운영 체제를 실행할 수 있다.
컴퓨팅 디바이스(1500)는 임의의 워크 스테이션, 데스크탑 컴퓨터, 랩탑 또는 노트북 컴퓨터, 서버 머신, 핸드 헬드 컴퓨터(handheld computer), 이동전화 또는 다른 휴대용 전기 통신 디바이스, 미디어 재생 디바이스, 게임 시스템, 모바일 컴퓨팅 디바이스 또는 상술한 동작을 수행하기에 충분한 프로세서 전력 및 메모리 용량을 갖는 임의의 다른 유형 및/또는 형태의 컴퓨팅, 텔레커뮤니케이션 또는 미디어 디바이스일 수 있다. 몇몇 실시예에서 컴퓨팅 디바이스(1500)는 디바이스와 일관된 상이한 프로세서, 운영 체제 및 입력 디바이스를 가질 수 있다.
다른 몇몇 실시예에서, 컴퓨팅 디바이스(1500)는 Java-enabled 휴대 전화 또는 PDA(Personal Digital Assistant), 스마트 폰, 디지털 오디오 플레이어 또는 휴대용 미디어 플레이어와 같은 모바일 디바이스일 수 있다. 몇몇 실시예에서 컴퓨팅 디바이스(1500)는 디지털 오디오 플레이어 또는 휴대용 미디어 플레이어와 결합된 이동 전화와 같은 디바이스들의 조합을 포함한다.
도 7c에 도시된 바와 같이 중앙 처리 유닛(1521)은 다수의 프로세서(P1, P2, P3, P4)를 포함할 수 있고 명령의 동시 실행 또는 하나 이상의 명령을 동시에 하나 이상의 데이터 조각에 실행하는 기능을 제공할 수 있다. 몇몇 실시예에서, 컴퓨팅 디바이스(1500)는 하나 이상의 코어를 갖는 병렬 프로세서를 포함할 수 있다. 몇몇 실시예들 중 하나에서 컴퓨팅 디바이스(1500)는 다수의 프로세서 및/또는 다수의 프로세서 코어를 갖는 공유 메모리 병렬 디바이스이며, 단일 글로벌 어드레스 공간으로서 모든 이용 가능한 메모리를 엑세스할 수 있다. 몇몇 실시예들 중 다른 하나에서, 컴퓨팅 디바이스(1500)는 각각 로컬 메모리에만 액세스하는 다수의 프로세서를 갖는 분산 메모리 병렬 디바이스일 수 있다. 몇몇 실시예들 중 또 다른 실시예에서 컴퓨팅 디바이스(1500)는 공유되는 일부 메모리와 특정 프로세서 또는 프로세서의 서브 세트에 의해서만 액세스될 수 있는 일부 메모리를 모두 가질 수 있다. 몇몇 실시예들 중 또 다른 실시예에서 중앙 처리 유닛(1521)은 둘 이상의 독립 프로세서를 단일 패키지, 예를 들어 단일 직접 회로(IC)로 결합하는 멀티 코어 마이크로 프로세서를 포함할 수 있다. 도 7d에 도시된 바와 같이 컴퓨팅 디바이스(1500)는 적어도 하나의 중앙 처리 유닛(1521) 및 적어도 하나의 그래픽 처리 유닛(1521')을 포함할 수 있다.
몇몇 실시예에서, 중앙 처리 유닛(1521)은 SIMD(Single Instruction, Multiple Data) 기능 예를 들어, 다수의 데이터 조각들에 대해 단일 명령의 실행을 제공할 수 있다. 다른 몇몇 실시예에서, 중앙 처리 유닛(1521)의 몇몇 프로세서는 데이터의 다수의 부분들 상에서 동시에 다중 명령의 실행(MIMD)을 위한 기능을 제공할 수 있다. 몇몇 실시예에서, 중앙 처리 유닛(1521)은 단일 디바이스에서 SIMD 및 MIMD 코어의 임의의 조합을 사용할 수 있다.
컴퓨팅 디바이스는 네트워크에 의해 접속된 복수의 머신 중 하나일 수 있거나 또는 이와 같이 접속된 복수의 머신을 포함할 수 있다. 도 7e는 네트워크 환경의 일례를 도시한 도면이다. 네트워크 환경은 하나 이상의 원격 머신들(1506a, 1506b, 1506c)(일반적으로 서버 기계(들)(1506) 또는 원격 기계(들)(1506)로 지칭됨)와 통신하는 하나 이상의 로컬 머신들(1502a, 1502b)(또는 일반적으로 로컬 머신(들)(1502), 클라이언트(들)(1502), 클라이언트 노드(들)(1502), 클라이언트 머신(들)(1502), 클라이언트 컴퓨터(들)(1502), 클라이언트 디바이스(들)(1502), 앤드 포인트(들)(1502) 또는 엔드 노드들(1502)이라 함)을 포함할 수 있다. 몇몇 실시예에서, 로컬 머신(1502)은 서버 머신에 의해 제공되는 리소스에 대한 액세스를 찾는 클라이언트 노드 및 다른 클라이언트(1502a, 1502b)를 위한 호스트된 리소스에 대한 액세스를 제공하는 서버 머신으로서 기능할 수 있는 능력을 갖는다. 도 7e에는 단지 2개의 클라이언트(1502) 및 3개의 서버 머신(1506)이 도시되었지만 일반적으로 각각은 임의의 수일 수 있다. 네트워크(1504)는 예를 들어, 회사 인트라넷, MAN(Metropolitan Area Network), 또는 인터넷과 같은 WAN(Wide Area Network)와 같은 사설 네트워크 또는 다른 공공 네트워크 또는 이들의 조합을 포함할 수 있다.
컴퓨팅 디바이스(1500)는 다양한 접속을 통해 네트워크(1504)에 인터페이스하기 위한 네트워크 인터페이스(1518)를 포함할 수 있으며, 근거리 통신망, 광역 네트워크 연결, 광대역 연결, 무선 연결 또는 위의 일부 또는 전부의 조합을 포함하되 이에 국한되지는 않는다. 다양한 통신 프로토콜을 사용하여 연결을 설정할 수 있다. 몇몇 실시예에서 컴퓨팅 디바이스(1500)는 임의의 유형 및/또는 형태의 게이트 웨이 또는 SSL(secure Socket Layer) 또는 TLS(Transport Layer Security)와 같은 터널링 프로토콜을 통해 다른 컴퓨팅 디바이스(1500)와 통신할 수 있다. 네트워크 인터페이스(1518)는 컴퓨팅 디바이스(1500)를 여기에 기술된 동작 및 통신이 가능한 임의의 유형의 네트워크와 인터페이스하기에 적합한 네트워크 인터페이스 카드와 같은 내장형 네트워크 어댑터를 포함할 수 있다. 입/출력 디바이스(1530)는 시스템 버스(1550)와 외부 통신 버스 사이의 브리지일 수 있다.
몇몇 실시예에 따르면, 도 7e의 네트워크 환경은 네트워크의 다양한 컴포넌트가 가상화되는 가상 네트워크 환경일 수 있다. 예를 들어, 다양한 머신(1502)은 물리적 머신 상에서 실행되는 소프트웨어 기반 컴퓨터로서 구현된 가상 머신일 수 있다. 가상 컴퓨터는 동일한 운영 체제를 공유할 수 있다. 다른 몇몇 실시예에서 상이한 운영 체제가 각각의 가상 머신 인스턴스에서 실행될 수 있다. 몇몇 실시예에 따르면, "하이퍼 바이저(hypervisor)" 유형의 가상화는 다수의 가상 머신이 동일한 호스트 물리적 머신상에서 실행되고, 각각은 자신의 전용 박스를 갖는 것처럼 행동할 수 있다. 물론 가상 컴퓨터는 다른 호스트 실제 컴퓨터에서 실행될 수도 있다.
상술한 몇몇 실시예에서 설명되었지만, 당업자는 설명된 실시예에 대한 변형을 고안하는데 어려움이 없을 것이며, 이는 본 개시의 범위를 벗어나지 않는다. 또한, 다양한 기술 분야의 당업자에게 본 명세서의 개시 자체는 다른 애플리케이션에 대한 다른 태스크 및 적응에 대한 해결책을 제시할 것이다. 본 개시의 범위 내에서 벗어나지 않고 개시의 목적으로 선택된 본 개시의 실시예에 대해 행해질 수 있는 개시 및 그러한 변경 및 수정의 모든 용도를 청구 범위로 포함하는 것은 본 출원인의 의도이다. 따라서, 본 개의의 실시예는 모든 점에서 예시적인 것으로서 제한적이지 않은 것으로 간주되어야 하며, 개시의 범위는 첨부된 청구 범위 및 그 등가물에 의해 전술한 설명에 의해 지시될 수 있다.
100: 슈퍼 레졸루션 이미징 시스템
102: 이미지 처리 시스템
104: 이미지 소스 디바이스
106: 이미지 출력 디바이스

Claims (20)

  1. 저해상도 이미지(low resolution image)를 프로세서에 의해 수신하고,
    상기 저해상도 이미지와 비교하여 개선된 해상도를 갖는 하나 이상의 중간 고해상도 이미지들(intermediate high resolution images)을 상기 프로세서에 의해 생성하되, 각각의 상기 하나 이상의 중간 고해상도 이미지들은 개별 컨벌루션 뉴럴 네트워크(individual convolution neural network)에 의해 생성되고 중간 고해상도 이미지 미리보기(intermediate high resolution image preview)를 위해 사용되고,
    캐스케이드 컨벌루션 뉴럴 네트워크(cascaded convolution neural network)를 이용하여 상기 하나 이상의 중간 고해상도 이미지들에 기초하여 최종 고해상도 이미지들(final high resolution images)를 상기 프로세서에 의해 생성하고,
    디스플레이 디바이스에 디스플레이하기 위해 상기 디스플레이 디바이스에 상기 최종 고해상도 이미지를 전송하는 것을 포함하는, 슈퍼 레졸루션 이미징(super resolution imaging)을 위한 방법.
  2. 제 1 항에 있어서,
    유저 디바이스로부터 상기 하나 이상의 중간 고해상도 이미지들의 캡쳐를 요청하는 신호를 상기 프로세서에 의해 수신하고,
    상기 유저 디바이스로부터 상기 신호를 수신한 후 상기 최종 고해상도 이미지를 상기 프로세서에 의해 생성하는 것을 더 포함하는, 슈퍼 레졸루션 이미징을 위한 방법.
  3. 제 1 항에 있어서,
    상기 하나 이상의 중간 고해상도 이미지들을 상기 프로세서에 의해 버퍼에 저장하는 것을 더 포함하는, 슈퍼 레졸루션 이미징을 위한 방법.
  4. 제 3 항에 있어서,
    상기 하나 이상의 중간 고해상도 이미지들의 캡쳐를 요청하는 신호를 상기 프로세서에 의해 유저 디바이스로부터 수신하고,
    상기 버퍼로부터 상기 하나 이상의 중간 고해상도 이미지들을 상기 프로세서에 의해 검색하고,
    상기 캐스케이드 컨벌루션 뉴럴 네트워크에 포함된 추가 컨벌루션 뉴럴 네트워크와 함께 상기 버퍼로부터 상기 하나 이상의 중간 고해상도 이미지들을 프로세싱하는 것에 기초하여 상기 유저 디바이스로부터 신호를 수신한 후에 최종 고해상도 이미지를 프로세서에 의해 생성하는 것을 더 포함하는, 슈퍼 레졸루션 이미징을 위한 방법.
  5. 제 1 항에 있어서,
    상기 저해상도 이미지를 상기 프로세서에 의해 제1 버퍼에 저장하는 것을 더 포함하는, 슈퍼 레졸루션 이미징을 위한 방법.
  6. 제 5 항에 있어서,
    제1 개별 컨벌루션 뉴럴 네트워크를 이용하여 상기 하나 이상의 중간 고해상도 이미지들를 상기 프로세서에 의해 생성하고, 상기 하나 이상의 중간 고해상도 이미지들을 상기 프로세서에 의해 제2 버퍼에 저장하고, 유저 디바이스로부터 상기 하나 이상의 중간 고해상도 이미지들의 캡쳐를 요청하는 신호를 상기 프로세서에 의해 수신하고, 상기 제1 버퍼에서 상기 저해상도 이미지를 상기 프로세서에 의해 검색하고, 제2 개별 컨벌루션 뉴럴 네트워크에 의해 상기 생성된 중간 고해상도 이미지와 다른 제1 중간 고해상도 이미지를 생성하는 것을 더 포함하는, 슈퍼 레졸루션 이미징을 위한 방법.
  7. 제 6 항에 있어서,
    상기 프로세서에 의해 제1 컨벌루션 커널(convolution kernel)을 갖는 제1 퓨전 레이어(fusion layer)를 상기 제1 개별 컨벌루션 뉴럴 네트워크의 출력 이미지에 적용하여 제1 데이터 세트를 생성하고,
    상기 프로세서에 의해 제2 컨벌루션 커널을 갖는 제2 퓨전 레이어를 상기 제2 개별 컨벌루션 뉴럴 네트워크의 출력 이미지에 적용하여 제2 데이터 세트를 생성하고,
    프로세서에 의해 상기 제1 데이터 세트 및 상기 제2 데이터 세트를 병합하여 최종 고해상도 이미지를 생성하는 것을 더 포함하는, 슈퍼 레졸루션 이미징을 위한 방법.
  8. 프로세서; 및
    프로세서에 연결된 메모리를 포함하고,
    상기 메모리는,
    상기 프로세서를 통해 실행될 때, 프로세서가 저해상도 이미지(low resolution image)를 수신하고,
    컨벌루션 뉴럴 네트워크를 이용하여 상기 저해상도 이미지와 비교하여 개선된 해상도를 갖는 중간 고해상도 이미지(intermediate high resolution image)를 생성하고, 상기 중간 고해상도 이미지는 중간 고해상도 이미지 미리보기(intermediate high resolution image preview)를 위해 사용되고,
    상기 중간 고해상도 이미지와 상기 저해상도 이미지를 추가 컨벌루션 뉴럴 네트워크와 함께 프로세싱하여 상기 저해상도 이미지 및 상기 중간 고해상도 이미지에 기초하여 최종 고해상도 이미지(final high resolution image)를 생성하고,
    디스플레이 디바이스에 디스플레이하기 위해 상기 디스플레이 디바이스에 상기 최종 고해상도 이미지를 전송하도록 야기하는 명령들(instructions)을 저장하는, 슈퍼 레졸루션 이미징을 위한 시스템.
  9. 제 8 항에 있어서,
    상기 명령들은,
    상기 프로세서가 유저 디바이스로부터 상기 중간 고해상도 이미지의 캡쳐를 요청하는 신호를 수신하고, 상기 유저 디바이스로부터 상기 신호를 수신한 후 상기 최종 고해상도 이미지를 생성하도록 더 야기하는, 슈퍼 레졸루션 이미징을 위한 시스템.
  10. 제 8 항에 있어서,
    상기 명령들은,
    상기 프로세서가 개별 컨벌루션 뉴럴 네트워크(individual convolution neural network)를 각각 이용하는 하나 이상의 중간 고해상도 이미지들을 동시에 생성하고, 상기 하나 이상의 중간 고해상도 이미지들을 버퍼에 저장하도록 더 야기하는, 슈퍼 레졸루션 이미징을 위한 시스템.
  11. 제 10 항에 있어서,
    상기 명령들은,
    상기 프로세서가 상기 하나 이상의 중간 고해상도 이미지들의 캡쳐를 요청하는 유저 디바이스로부터 신호를 수신하고, 상기 버퍼로부터 상기 하나 이상의 중간 고해상도 이미지들을 검색하고, 상기 추가 컨벌루션 뉴럴 네트워크와 함께 상기 버퍼로부터 상기 하나 이상의 중간 고해상도 이미지들을 프로세싱하는 것에 기초하여 상기 유저 디바이스로부터 신호를 수신한 후에 최종 고해상도 이미지를 생성하도록 더 야기하는, 슈퍼 레졸루션 이미징을 위한 시스템.
  12. 제 8 항에 있어서,
    상기 명령들은,
    상기 프로세서가 상기 저해상도 이미지를 제1 버퍼에 저장하도록 더 야기하는, 슈퍼 레졸루션 이미징을 위한 시스템.
  13. 제 12 항에 있어서,
    상기 명령들은,
    상기 프로세서가, 제1 개별 컨벌루션 뉴럴 네트워크를 이용하여 상기 중간 고해상도 이미지를 생성하고, 상기 중간 고해상도 이미지를 제2 버퍼에 저장하고, 유저 디바이스로부터 상기 중간 고해상도 이미지의 캡쳐를 요청하는 신호를 수신하고, 상기 제1 버퍼에서 상기 저해상도 이미지를 검색하고, 제2 개별 컨벌루션 뉴럴 네트워크에 의해 상기 생성된 중간 고해상도 이미지와 다른 제1 중간 고해상도 이미지를 생성하도록 더 야기하는, 슈퍼 레졸루션 이미징을 위한 시스템.
  14. 제 13 항에 있어서,
    상기 명령들은,
    상기 프로세서가, 제1 컨벌루션 커널(convolution kernel)을 갖는 제1 퓨전 레이어(fusion layer)를 상기 제1 개별 컨벌루션 뉴럴 네트워크의 출력 이미지에 적용하여 제1 데이터 세트를 생성하고, 제2 컨벌루션 커널을 갖는 제2 퓨전 레이어를 상기 제2 개별 컨벌루션 뉴럴 네트워크의 출력 이미지에 적용하여 제2 데이터 세트를 생성하고, 상기 제1 데이터 세트 및 상기 제2 데이터 세트를 병합하여 최종 고해상도 이미지를 생성하도록 더 야기하는, 슈퍼 레졸루션 이미징을 위한 시스템.
  15. 프로세서; 및
    프로세서에 연결된 메모리를 포함하고,
    상기 메모리는,
    상기 프로세서를 통해 실행될 때, 프로세서가 저해상도 이미지(low resolution image)를 수신하고,
    상기 저해상도 이미지와 비교하여 개선된 해상도를 갖는 하나 이상의 중간 고해상도 이미지들(intermediate high resolution images)를 생성하되, 각각의 상기 중간 고해상도 이미지들은 개별 컨벌루션 뉴럴 네트워크(individual convolution neural network)에 의해 생성되고, 상기 중간 고해상도 이미지는 중간 고해상도 이미지 미리보기(intermediate high resolution image preview)를 위해 사용되고,
    추가 컨벌루션 뉴럴 네트워크를 이용하여 상기 저해상도 이미지 및 상기 하나 이상의 중간 고해상도 이미지들에 기초하여 최종 고해상도 이미지(final high resolution image)를 생성하고, 유저 디바이스로부터 상기 중간 고해상도 이미지의 캡쳐를 요청하는 신호를 수신하고, 상기 유저 디바이스로부터 상기 신호를 수신한 후 상기 최종 고해상도 이미지를 생성하고, 디스플레이 디바이스에 디스플레이하기 위해 상기 디스플레이 디바이스에 상기 최종 고해상도 이미지를 전송하도록 야기하는 명령들(instructions)을 저장하는, 슈퍼 레졸루션 이미징을 위한 시스템.
  16. 제 15 항에 있어서,
    상기 명령들은,
    상기 프로세서가 상기 개별 컨벌루션 뉴럴 네트워크를 각각 이용하는 하나 이상의 중간 고해상도 이미지를 동시에 생성하고, 상기 하나 이상의 중간 고해상도 이미지를 버퍼에 저장하도록 더 야기하는, 슈퍼 레졸루션 이미징을 위한 시스템.
  17. 제 16 항에 있어서,
    상기 명령들은,
    상기 프로세서가 상기 하나 이상의 중간 고해상도 이미지의 캡쳐를 요청하는 유저 디바이스로부터 신호를 수신하고, 상기 버퍼로부터 상기 하나 이상의 중간 고해상도 이미지를 검색하고, 상기 개별 컨벌루션 뉴럴 네트워크와 다른, 상기 추가 컨벌루션 뉴럴 네트워크에 포함된 제1 컨벌루션 뉴럴 네트워크와 함께 상기 버퍼로부터 상기 하나 이상의 중간 고해상도 이미지를 프로세싱하는 것에 기초하여 상기 유저 디바이스로부터 신호를 수신한 후에 최종 고해상도 이미지를 생성하도록 더 야기하는, 슈퍼 레졸루션 이미징을 위한 시스템.
  18. 제 15 항에 있어서,
    상기 명령들은,
    상기 프로세서가 상기 저해상도 이미지를 제1 버퍼에 저장하도록 더 야기하는, 슈퍼 레졸루션 이미징을 위한 시스템.
  19. 제 18 항에 있어서,
    상기 명령들은,
    상기 프로세서가, 제1 개별 컨벌루션 뉴럴 네트워크를 이용하여 상기 중간 고해상도 이미지를 생성하고, 상기 중간 고해상도 이미지를 제2 버퍼에 저장하고, 유저 디바이스로부터 상기 중간 고해상도 이미지의 캡쳐를 요청하는 신호를 수신하고, 상기 제1 버퍼에서 상기 저해상도 이미지를 검색하고, 제2 개별 컨벌루션 뉴럴 네트워크에 의해 상기 생성된 중간 고해상도 이미지와 다른 제1 중간 고해상도 이미지를 생성하도록 더 야기하는, 슈퍼 레졸루션 이미징을 위한 시스템.
  20. 제 19 항에 있어서,
    상기 명령들은,
    상기 프로세서가, 제1 컨벌루션 커널(convolution kernel)을 갖는 제1 퓨전 레이어(fusion layer)를 상기 제1 개별 컨벌루션 뉴럴 네트워크의 출력 이미지에 적용하여 제1 데이터 세트를 생성하고, 제2 컨벌루션 커널을 갖는 제2 퓨전 레이어를 상기 제2 개별 컨벌루션 뉴럴 네트워크의 출력 이미지에 적용하여 제2 데이터 세트를 생성하고, 상기 제1 데이터 세트 및 상기 제2 데이터 세트를 병합하여 최종 고해상도 이미지를 생성하도록 더 야기하는, 슈퍼 레졸루션 이미징을 위한 시스템.
KR1020170133302A 2017-04-10 2017-10-13 이미지 슈퍼 레졸루션을 딥 러닝하는 방법 및 시스템 KR102479965B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762483924P 2017-04-10 2017-04-10
US62/483,924 2017-04-10
US15/671,036 2017-08-07
US15/671,036 US10489887B2 (en) 2017-04-10 2017-08-07 System and method for deep learning image super resolution

Publications (2)

Publication Number Publication Date
KR20180114488A KR20180114488A (ko) 2018-10-18
KR102479965B1 true KR102479965B1 (ko) 2022-12-20

Family

ID=63711727

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170133302A KR102479965B1 (ko) 2017-04-10 2017-10-13 이미지 슈퍼 레졸루션을 딥 러닝하는 방법 및 시스템

Country Status (4)

Country Link
US (3) US10489887B2 (ko)
KR (1) KR102479965B1 (ko)
CN (1) CN108694700B (ko)
TW (1) TWI756378B (ko)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
US11308361B1 (en) * 2017-07-07 2022-04-19 Twitter, Inc. Checkerboard artifact free sub-pixel convolution
CN111052173B (zh) * 2017-07-31 2023-08-22 巴斯德研究所 用于改进从单分子定位显微术获取的衍射受限图像重构密集超分辨率图像的方法、设备和计算机程序
US10679129B2 (en) * 2017-09-28 2020-06-09 D5Ai Llc Stochastic categorical autoencoder network
JP7073715B2 (ja) * 2017-12-28 2022-05-24 富士フイルムビジネスイノベーション株式会社 画像処理装置及び画像処理プログラム
EP3514733A1 (en) * 2018-01-18 2019-07-24 Aptiv Technologies Limited A device and a method for image classification using a convolutional neural network
JP6978675B2 (ja) * 2018-01-25 2021-12-08 富士通株式会社 データ圧縮装置、データ圧縮方法およびデータ圧縮プログラム
CN108282664B (zh) * 2018-01-30 2020-12-29 深圳创维－Rgb电子有限公司 图像处理方法、装置、系统及计算机可读存储介质
DE102018214198A1 (de) * 2018-08-22 2020-02-27 Robert Bosch Gmbh System zum Bewerten eines Bildes, Betriebsassistenzverfahren und Steuereinheit für eine Arbeitsvorrichtung sowie Arbeitsvorrichtung
KR20200063289A (ko) * 2018-11-16 2020-06-05 삼성전자주식회사 영상 처리 장치 및 그 동작방법
CN110009093B (zh) * 2018-12-07 2020-08-07 阿里巴巴集团控股有限公司 用于分析关系网络图的神经网络系统和方法
CN109658352B (zh) * 2018-12-14 2021-09-14 深圳市商汤科技有限公司 图像信息的优化方法及装置、电子设备和存储介质
TWI694414B (zh) * 2018-12-18 2020-05-21 國立成功大學 卷積神經網路分析方法、電腦程式產品與電子裝置
CN109934773B (zh) * 2019-03-13 2023-08-25 北京旷视科技有限公司 一种图像处理方法、装置、电子设备和计算机可读介质
KR102167344B1 (ko) 2019-03-19 2020-10-19 중앙대학교 산학협력단 초고해상도 복원을 위한 깊이 조절 가능한 신경망 설계 방법 및 그 시스템
KR20200127766A (ko) * 2019-05-03 2020-11-11 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
CN110246083B (zh) * 2019-05-10 2023-02-24 杭州电子科技大学 一种荧光显微图像超分辨率成像方法
KR102410907B1 (ko) * 2019-05-22 2022-06-21 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
CN111986069A (zh) 2019-05-22 2020-11-24 三星电子株式会社 图像处理装置及其图像处理方法
CN112153465B (zh) * 2019-06-28 2024-01-16 北京京东尚科信息技术有限公司 图像加载方法及装置
CN112188237A (zh) * 2019-07-04 2021-01-05 国家广播电视总局广播电视科学研究院 节目分发方法和装置、接收方法、终端设备及介质
WO2021005621A2 (en) * 2019-07-05 2021-01-14 Infilect Technologies Private Limited System and method for extracting product information from low-resolution photos for updating product master
KR102147912B1 (ko) 2019-08-13 2020-08-25 삼성전자주식회사 프로세서 칩 및 그 제어 방법들
KR20210019835A (ko) 2019-08-13 2021-02-23 한국전자통신연구원 방향 적응형 병렬 신경망을 이용한 초해상도 영상 생성 장치 및 방법
KR20210020387A (ko) 2019-08-14 2021-02-24 삼성전자주식회사 전자 장치 및 그 제어 방법
EP4028984A4 (en) * 2019-09-11 2023-01-11 The State of Israel, Ministry of Agriculture & Rural Development, Agricultural Research Organization (ARO) (Volcani Center) SUPER-RESOLUTION METHODS AND SYSTEMS FOR INFRARED IMAGING
CN110689061B (zh) * 2019-09-19 2023-04-28 小米汽车科技有限公司 一种基于对齐特征金字塔网络的图像处理方法、装置及系统
US11588987B2 (en) * 2019-10-02 2023-02-21 Sensors Unlimited, Inc. Neuromorphic vision with frame-rate imaging for target detection and tracking
KR102624027B1 (ko) 2019-10-17 2024-01-11 삼성전자주식회사 영상 처리 장치 및 방법
CN112905132B (zh) * 2019-11-19 2023-07-18 华为技术有限公司 投屏方法及设备
CN111083359B (zh) * 2019-12-06 2021-06-25 Oppo广东移动通信有限公司 图像处理方法及其装置、电子设备和计算机可读存储介质
KR20210079956A (ko) * 2019-12-20 2021-06-30 삼성전자주식회사 네트워크를 통해 영상 처리 서비스를 제공하는 전자 장치
US11403734B2 (en) 2020-01-07 2022-08-02 Ademco Inc. Systems and methods for converting low resolution images into high resolution images
CN113160044B (zh) * 2020-01-23 2023-12-26 百度在线网络技术（北京）有限公司 深度图像超分辨率方法、训练方法及装置、设备、介质
TWI733341B (zh) 2020-02-20 2021-07-11 瑞昱半導體股份有限公司 用於圖像放大與增強的方法與裝置
CN111447359B (zh) * 2020-03-19 2021-07-02 展讯通信（上海）有限公司 数字变焦方法、系统、电子设备、介质及数字成像设备
WO2021196070A1 (en) 2020-04-01 2021-10-07 Boe Technology Group Co., Ltd. Computer-implemented method, apparatus, and computer-program product
US11790489B2 (en) * 2020-04-07 2023-10-17 Samsung Electronics Co., Ltd. Systems and method of training networks for real-world super resolution with unknown degradations
US11335112B2 (en) 2020-04-27 2022-05-17 Adernco Inc. Systems and methods for identifying a unified entity from a plurality of discrete parts
US11978328B2 (en) 2020-04-28 2024-05-07 Ademco Inc. Systems and methods for identifying user-customized relevant individuals in an ambient image at a doorbell device
CN111654621B (zh) * 2020-05-26 2021-04-16 浙江大学 一种基于卷积神经网络模型的双焦相机连续数字变焦方法
TWI768364B (zh) * 2020-06-01 2022-06-21 宏碁股份有限公司 處理可播放於一虛擬裝置的圖片的方法及電子裝置
KR102478813B1 (ko) * 2020-08-14 2022-12-19 주식회사 지디에프랩 검사용 이미지의 화질 개선 시스템
CN112084908A (zh) * 2020-08-28 2020-12-15 广州汽车集团股份有限公司 一种图像处理方法及其系统、存储介质
US11848015B2 (en) 2020-10-01 2023-12-19 Realwear, Inc. Voice command scrubbing
US20220130013A1 (en) * 2020-10-26 2022-04-28 Nvidia Corporation Training one or more neural networks using synthetic data
CN112435162B (zh) * 2020-11-13 2024-03-05 中国科学院沈阳自动化研究所 一种基于复数域神经网络的太赫兹图像超分辨重建方法
KR102339619B1 (ko) * 2020-11-19 2021-12-17 광주과학기술원 이미지 품질향상장치, 이미지 품질향상방법
KR20220071011A (ko) * 2020-11-23 2022-05-31 삼성전자주식회사 전자 장치 및 그 제어 방법
CN112565887B (zh) * 2020-11-27 2023-06-20 紫光展锐(重庆)科技有限公司 一种视频处理方法、装置、终端及存储介质
US11823350B2 (en) * 2021-01-25 2023-11-21 Lemon Inc. Image/video processing
CN112995504B (zh) * 2021-02-08 2023-04-07 北京小米移动软件有限公司 图像的显示方法及装置、存储介质
CN112999655A (zh) * 2021-03-05 2021-06-22 南京雷鲨信息科技有限公司 智能终端、应用于该智能终端的游戏实时ai超分方法、系统及计算机可读存储介质
WO2023063939A1 (en) * 2021-10-13 2023-04-20 Hewlett-Packard Development Company, L.P. Neural network image enhancement
KR102651559B1 (ko) * 2021-12-08 2024-03-26 주식회사 딥엑스 영상 융합을 위한 신경 프로세싱 유닛 및 인공신경망 시스템
US20230252603A1 (en) * 2022-02-08 2023-08-10 Kyocera Document Solutions, Inc. Mitigation of quantization-induced image artifacts
CN114549328B (zh) * 2022-04-24 2022-07-22 西南财经大学 Jpg图像超分辨率恢复方法、计算机可读存储介质及终端
TWI799265B (zh) * 2022-05-12 2023-04-11 瑞昱半導體股份有限公司 超解析度裝置及方法
KR102628166B1 (ko) 2022-09-05 2024-01-24 주식회사 에어스메디컬 인공 신경망 기반 해상도 향상 방법, 프로그램 및 장치
CN116483587B (zh) * 2023-06-21 2023-09-08 湖南马栏山视频先进技术研究院有限公司 一种基于图像分割的视频超分并行方法、服务器及介质

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5659666A (en) 1994-10-13 1997-08-19 Thaler; Stephen L. Device for the autonomous generation of useful information
US6324532B1 (en) * 1997-02-07 2001-11-27 Sarnoff Corporation Method and apparatus for training a neural network to detect objects in an image
US5933137A (en) * 1997-06-10 1999-08-03 Flashpoint Technology, Inc. Method and system for acclerating a user interface of an image capture unit during play mode
US7545965B2 (en) * 2003-11-10 2009-06-09 The University Of Chicago Image modification and detection using massive training artificial neural networks (MTANN)
US7809155B2 (en) * 2004-06-30 2010-10-05 Intel Corporation Computing a higher resolution image from multiple lower resolution images using model-base, robust Bayesian estimation
US7805386B2 (en) * 2006-05-16 2010-09-28 Greer Douglas S Method of generating an encoded output signal using a manifold association processor having a plurality of pairs of processing elements trained to store a plurality of reciprocal signal pairs
US7817857B2 (en) 2006-05-31 2010-10-19 Microsoft Corporation Combiner for improving handwriting recognition
US7916971B2 (en) * 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
JP5397250B2 (ja) * 2010-02-10 2014-01-22 三菱電機株式会社 画像処理装置および画像処理方法
JP5341010B2 (ja) * 2010-04-15 2013-11-13 オリンパス株式会社 画像処理装置、撮像装置、プログラム及び画像処理方法
US8705828B2 (en) * 2011-08-31 2014-04-22 Carestream Health, Inc. Methods and apparatus for super resolution scanning for CBCT system and cone-beam image reconstruction
US9602241B2 (en) * 2013-12-17 2017-03-21 Samsung Electronics Co., Ltd. Computing system with polar processing mechanism and method of operation thereof
JP6384065B2 (ja) 2014-03-04 2018-09-05 日本電気株式会社 情報処理装置、学習方法、及び、プログラム
US9251431B2 (en) * 2014-05-30 2016-02-02 Apple Inc. Object-of-interest detection and recognition with split, full-resolution image processing pipeline
WO2015192316A1 (en) * 2014-06-17 2015-12-23 Beijing Kuangshi Technology Co., Ltd. Face hallucination using convolutional neural networks
WO2016019484A1 (en) * 2014-08-08 2016-02-11 Xiaoou Tang An apparatus and a method for providing super-resolution of a low-resolution image
JP6513941B2 (ja) * 2014-12-04 2019-05-15 株式会社東芝 画像処理方法、画像処理装置及びプログラム
KR101988222B1 (ko) 2015-02-12 2019-06-13 한국전자통신연구원 대어휘 연속 음성 인식 장치 및 방법
EP3259920A1 (en) * 2015-02-19 2017-12-27 Magic Pony Technology Limited Visual processing using temporal and spatial interpolation
US9524450B2 (en) * 2015-03-04 2016-12-20 Accenture Global Services Limited Digital image processing using convolutional neural networks
GB201604672D0 (en) * 2016-03-18 2016-05-04 Magic Pony Technology Ltd Generative methods of super resolution
CN105120130B (zh) * 2015-09-17 2018-06-29 京东方科技集团股份有限公司 一种图像升频系统、其训练方法及图像升频方法
WO2017106998A1 (en) * 2015-12-21 2017-06-29 Sensetime Group Limited A method and a system for image processing
US9836820B2 (en) * 2016-03-03 2017-12-05 Mitsubishi Electric Research Laboratories, Inc. Image upsampling using global and local constraints
CN105847968B (zh) * 2016-03-21 2018-12-21 京东方科技集团股份有限公司 基于深度学习的解像方法和系统
CN106204449B (zh) * 2016-07-06 2019-09-10 安徽工业大学 一种基于对称深度网络的单幅图像超分辨率重建方法
CN106228512A (zh) * 2016-07-19 2016-12-14 北京工业大学 基于学习率自适应的卷积神经网络图像超分辨率重建方法
WO2018035805A1 (en) * 2016-08-25 2018-03-01 Intel Corporation Coupled multi-task fully convolutional networks using multi-scale contextual information and hierarchical hyper-features for semantic image segmentation
WO2018053340A1 (en) * 2016-09-15 2018-03-22 Twitter, Inc. Super resolution using a generative adversarial network
TWI624804B (zh) * 2016-11-07 2018-05-21 盾心科技股份有限公司 利用超解析重建法生成高解析度影像的方法與系統
US10701394B1 (en) * 2016-11-10 2020-06-30 Twitter, Inc. Real-time video super-resolution with spatio-temporal networks and motion compensation
JP6309070B2 (ja) * 2016-11-14 2018-04-11 シャープ株式会社 画像処理装置
CN106709875B (zh) * 2016-12-30 2020-02-18 北京工业大学 一种基于联合深度网络的压缩低分辨率图像复原方法
US10803378B2 (en) * 2017-03-15 2020-10-13 Samsung Electronics Co., Ltd System and method for designing efficient super resolution deep convolutional neural networks by cascade network training, cascade network trimming, and dilated convolutions
US20180342045A1 (en) * 2017-05-26 2018-11-29 Microsoft Technology Licensing, Llc Image resolution enhancement using machine learning
US10438322B2 (en) * 2017-05-26 2019-10-08 Microsoft Technology Licensing, Llc Image resolution enhancement
US10970819B2 (en) * 2017-05-26 2021-04-06 Rakuten, Inc. Image processing device, image processing method, and image processing program
CN111052173B (zh) * 2017-07-31 2023-08-22 巴斯德研究所 用于改进从单分子定位显微术获取的衍射受限图像重构密集超分辨率图像的方法、设备和计算机程序
US10664718B1 (en) * 2017-09-11 2020-05-26 Apple Inc. Real-time adjustment of hybrid DNN style transfer networks
CN109493347B (zh) * 2017-09-12 2021-03-23 深圳科亚医疗科技有限公司 在图像中对稀疏分布的对象进行分割的方法和系统
US10643306B2 (en) * 2017-10-11 2020-05-05 Qualcomm Incoporated Image signal processor for processing images
US11263782B2 (en) * 2017-10-11 2022-03-01 Qualcomm Incorporated Image signal processor for processing images
US10733714B2 (en) * 2017-11-09 2020-08-04 Samsung Electronics Co., Ltd Method and apparatus for video super resolution using convolutional neural network with two-stage motion compensation
US10922793B2 (en) * 2018-05-16 2021-02-16 Nvidia Corporation Guided hallucination for missing image content using a neural network
US10380753B1 (en) * 2018-05-30 2019-08-13 Aimotive Kft. Method and apparatus for generating a displacement map of an input dataset pair
US10547823B2 (en) * 2018-09-25 2020-01-28 Intel Corporation View interpolation of multi-camera array images with flow estimation and image super resolution using deep learning
US11010872B2 (en) * 2019-04-29 2021-05-18 Intel Corporation Method and apparatus for person super resolution from low resolution image
WO2020256704A1 (en) * 2019-06-18 2020-12-24 Huawei Technologies Co., Ltd. Real-time video ultra resolution

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Ding Liu 외 3인, "Learning a Mixture of Deep Networks for Single Image Super-Resolution", 2017.01.03.*
Jiwon Kim 외 2인, "Accurate Image Super-Resolution Using Very Deep Convolutional Networks", CVPR, 2016.*

Also Published As

Publication number Publication date
US10489887B2 (en) 2019-11-26
US11694305B2 (en) 2023-07-04
TW201837854A (zh) 2018-10-16
US20200090305A1 (en) 2020-03-19
CN108694700B (zh) 2023-12-01
US10970820B2 (en) 2021-04-06
CN108694700A (zh) 2018-10-23
KR20180114488A (ko) 2018-10-18
TWI756378B (zh) 2022-03-01
US20180293707A1 (en) 2018-10-11
US20210224953A1 (en) 2021-07-22

Similar Documents

Publication Publication Date Title
KR102479965B1 (ko) 이미지 슈퍼 레졸루션을 딥 러닝하는 방법 및 시스템
US11481869B2 (en) Cross-domain image translation
US11157764B2 (en) Semantic image segmentation using gated dense pyramid blocks
US20230206396A1 (en) Image super-resolution reconstructing
US11538244B2 (en) Extraction of spatial-temporal feature representation
US20120212573A1 (en) Method, terminal and computer-readable recording medium for generating panoramic images
MX2010012826A (es) Agregacion de contenido 3d construido en dispositivos.
US11810313B2 (en) Real-time stereo matching using a hierarchical iterative refinement network
CN113674146A (zh) 图像超分辨率
EP4181092A1 (en) Method and apparatus with face landmark coordinate prediction
Kumar et al. Low-light robust face super resolution via morphological transformation based locality-constrained representation
Han et al. VCNet: A generative model for volume completion
US9438795B1 (en) Real time feature extraction
AU2012268887A1 (en) Saliency prediction method
EP4207089A1 (en) Image processing method and apparatus
CN114170084A (zh) 一种图像超分辨率处理方法、装置及设备
CN111382696A (zh) 用于检测目标的边界点的方法和装置
CN117808857B (zh) 一种自监督360°深度估计方法、装置、设备及介质
Suo et al. Keep clear of the edges: an empirical study of artificial intelligence workload performance and resource footprint on edge devices
Liu et al. Light field reconstruction via attention maps of hybrid networks
CN117058380B (zh) 基于自注意力的多尺度轻量化三维点云分割方法及装置
US20230127476A1 (en) Method and apparatus with image processing
Le Novel View Synthesis-A Neural Network Approach
US20240161235A1 (en) System and method for self-calibrated convolution for real-time image super-resolution
CN117094896A (zh) 对双目图像进行任意尺度缩放的方法、模型训练方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant