KR20200143815A - 인공지능 카메라 시스템, 인공지능 카메라 시스템에서의 영상 변환 방법, 및 컴퓨터 판독 가능 매체 - Google Patents

인공지능 카메라 시스템, 인공지능 카메라 시스템에서의 영상 변환 방법, 및 컴퓨터 판독 가능 매체 Download PDF

Info

Publication number
KR20200143815A
KR20200143815A KR1020190071346A KR20190071346A KR20200143815A KR 20200143815 A KR20200143815 A KR 20200143815A KR 1020190071346 A KR1020190071346 A KR 1020190071346A KR 20190071346 A KR20190071346 A KR 20190071346A KR 20200143815 A KR20200143815 A KR 20200143815A
Authority
KR
South Korea
Prior art keywords
image
artificial intelligence
resolution
low
network
Prior art date
Application number
KR1020190071346A
Other languages
English (en)
Other versions
KR102630844B1 (ko
Inventor
조창호
정영호
이디모데
이사라
Original Assignee
주식회사 피앤오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피앤오 filed Critical 주식회사 피앤오
Priority to KR1020190071346A priority Critical patent/KR102630844B1/ko
Publication of KR20200143815A publication Critical patent/KR20200143815A/ko
Application granted granted Critical
Publication of KR102630844B1 publication Critical patent/KR102630844B1/ko

Links

Images

Classifications

    • H04N5/23232—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 피사체에 대하여 적어도 2개 이상의 이미지 데이터를 획득하기 위한 데이터 촬영부; 상기 획득된 이미지 데이터 및 인공지능 변수들을 저장하기 위한 데이터 저장부; 및 상기 저장된 이미지 데이터를 상기 저장된 인공지능 변수들을 이용하여 해상도를 높이는 처리를 하는 데이터 처리부를 포함하고, 상기 인공지능 변수들은 적어도 2개 이상의 이미지 데이터에 대해서, 판별자 네트워크를 인공지능 학습하는 과정과 생성자 네트워크를 인공지능 학습하는 과정을 반복하는 인공지능 네트워크로 학습한다.
본 발명에 따른 인공지능 카메라 시스템에 의하면, 저해상도 이미지 2개 이상으로 만들어진 저해상도 결합 이미지를 생성자 네트워크(230)를 통하여 변환된 생성이미지
Figure pat00074
는 샤프하면서도 고해상도를 갖는 이미지가 만들어질 수 있다. 따라서 저해상도 카메라 렌즈를 통하여 촬영하지만 고해상도 이미지를 획득할 수 있다.

Description

인공지능 카메라 시스템, 인공지능 카메라 시스템에서의 영상 변환 방법, 및 컴퓨터 판독 가능 매체{ARTIFICIAL INTELLIGENCE CAMERA SYSTEM, METHOD OF TRANSFORMING IMAGE THEREIN, AND COMPUTER-READABLE MEDIUM}
본 발명은 인공지능 카메라 시스템, 인공지능 카메라 시스템에서의 영상 변환 방법, 및 컴퓨터 판독 가능 매체에 관한 것으로, 보다 상세하게는, 인공지능 기능을 이용하여 저해상도 이미지 2개 이상으로 만들어진 저해상도 결합 이미지를 생성자 네트워크를 통하여 변환된 생성이미지
Figure pat00001
는 샤프하면서도 고해상도를 갖는 이미지가 만들어짐으로써, 저해상도 카메라 렌즈를 통하여 촬영하지만 고해상도 이미지를 획득할 수 있는, 인공지능 카메라 시스템, 인공지능 카메라 시스템에서의 영상 변환 방법, 및 컴퓨터 판독 가능 매체에 관한 것이다.
최근 스마트폰 카메라, 노트북 카메라 등 많은 영상 촬영 시스템이 있으며, 사용자들은 점점 더 고해상도의 영상을 원하고 있는 상황이다. 이러한 사용자들의 니즈를 해결하기 위하여, 다양한 소프트웨어적인 방법들을 이용되고 있다.
그 가운데 하나로서, 미국 공개특허공보 제2009-0274385호(발명의 명칭 : SUPER RESOLUTION USING GAUSSIAN REGRESSION, 공개일 : 2009.11.05)에서는, "저해상도의 이미지를 모서리 탐지(edge detection) 방법을 이용하여 패치(patch)들로 나누고, 이를 방사 기저 함수(Radial Basis Function) 및 가우스 프로세스 회귀(Gaussian process regression) 방법을 적용하여 학습된 모델을 이용하여 고해상도 이미지 패치를 얻은 후 다시 결합하여 전체적인 고해상도 이미지를 얻는 방법"을 개시하고 있다. 그러나 이와 같은 방법은, 이미지의 많은 영역에서 미세구조가 깨지는 단점이 있었다.
또한, 대한민국 특허공보 제10-1116800호(발명의 명칭 : 저해상도 이미지로부터 고해상도 이미지를 생성하는 해상도 변환 방법{RESOLUTION CONVERSION METHOD FOR MAKING A HIGH RESOLUTION IMAGE FROM A LOW RESOLUTION IMAGE}, 등록일 : 2012.02.08)에서는, "저해상도 이미지의 원본 픽셀 하나에 대응하는 레인지 블록을 생성하고, 상기 레인지 블록들의 집합이 상기 고해상도 이미지를 형성하고, 상기 레인지 블록은 다수의 블록 픽셀로 형성되며, 상기 레인지 블록의 블록 픽셀 데이터는 상기 원본 픽셀의 데이터와, 상기 고해상도 이미지상에서 상기 레인지 블록의 픽셀에 인접하는 적어도 하나의 인접 픽셀의 데이터에 기초하여 결정되어, 먼저 생성된 상기 레인지 블록의 픽셀 데이터는 상기 인접 픽셀의 데이터로서 나중에 생성되는 상기 레인지 블록의 픽셀 데이터 결정에 반영되는 기술"을 개시하고 있다. 그러나 이러한 방법도 불충분한 정보로 인하여 샤프한 에지들을 재현하는데 문제점이 있었다.
한편, 컨벌류션 신경망(Convolution Neural Network: CNN)를 이용하여 저해상도에서 고해상도 이미지를 얻는 방법이 있다. 저해상도 이미지 Xi 와 이에 대응되는 고해상도 이미지 Yi(i=1,2,..., N)에 대하여 저해상도 이미지 Xi를 컨벌류션 네트워크를 포함하는 변환함수 F와 인공 지능 변수 벡터 θ를 이용하여 변환한 F(Xi;θ)와 Yi의 평균자승에러(Mean square error), 즉 평균거리값을 최소화하는 t수학식1과 같은 비용 함수(cost function)를 사용하여 컨벌류션 네트워크 상에서 학습하여 인공지능 변수 벡터 θ를 최적화 할 수 있다. 인공지능 학습의 결과 최적화된 인공지능 변수 벡터 θ를 이용하여 저해상도 이미지를 고해상도로 변환할 수 있었다[C. Dong, et al, “Learning a deep convolutional network for image super-resolution”, In European Conference on Computer Vision (ECCV), pages 184-199. Springer, 2014. 3, 6, 8 ].
Figure pat00002
그러나 이러한 방법 역시 저해상도 이미지들에 대해서 고해상도 이미지를 얻을 수 있었으나, 샤프하지 않은 영역을 다수 포함하는 단점이 있었다.
미국 공개특허공보 제2009-0274385호(발명의 명칭 : SUPER RESOLUTION USING GAUSSIAN REGRESSION, 공개일 : 2009.11.05) 대한민국 특허공보 제10-1116800호(발명의 명칭 : 저해상도 이미지로부터 고해상도 이미지를 생성하는 해상도 변환 방법{RESOLUTION CONVERSION METHOD FOR MAKING A HIGH RESOLUTION IMAGE FROM A LOW RESOLUTION IMAGE}, 등록일 : 2012.02.08)
C. Dong, et al, "Learning a deep convolutional network for image super-resolution", In European Conference on Computer Vision (ECCV), pages 184-199. Springer, 2014. 3, 6, 8
본 발명은 상술한 문제점을 해결하기 위하여 창출된 것으로, 본 발명은 저해상도의 이미지를 흐릿한 영역을 최소화하고 샤프한 고해상도의 이미지로 변환하는, 인공지능 카메라 시스템을 제공하는 것을 목적으로 한다.
즉, 인공지능 기능을 이용하여 저해상도 이미지 2개 이상으로 만들어진 저해상도 결합 이미지를 생성자 네트워크를 통하여 변환된 생성이미지
Figure pat00003
는 샤프하면서도 고해상도를 갖는 이미지가 만들어짐으로써, 저해상도 카메라 렌즈를 통하여 촬영하지만 고해상도 이미지를 획득할 수 있는, 인공지능 카메라 시스템, 인공지능 카메라 시스템에서의 영상 변환 방법, 및 컴퓨터 판독 가능 매체를 제공하는 것을 목적으로 한다.
상기의 목적을 달성하기 위한 본 발명에 따른 인공지능 카메라 시스템은, 피사체에 대하여 적어도 2개 이상의 이미지 데이터를 획득하기 위한 데이터 촬영부; 상기 획득된 이미지 데이터 및 인공지능 변수들을 저장하기 위한 데이터 저장부; 및 상기 저장된 이미지 데이터를 상기 저장된 인공지능 변수들을 이용하여 해상도를 높이는 처리를 하는 데이터 처리부를 포함하고, 상기 인공지능 변수들은 적어도 2개 이상의 이미지 데이터에 대해서, 판별자 네트워크를 인공지능 학습하는 과정과 생성자 네트워크를 인공지능 학습하는 과정을 반복하는 인공지능 네트워크로 학습한다.
여기서, 상기 데이터 촬영부는, 상기 피사체에 대하여 적어도 2개 이상의 이미지 데이터를 획득하기 위한 적어도 2개 이상의 카메라 모듈;을 포함할 수 있다.
또한, 상기 데이터 처리부는, 상기 획득한 적어도 2개 이상의 이미지 데이터로부터 결합 이미지를 생성한다.
또한, 상기 적어도 2개 이상의 이미지 데이터 가운데 2개의 이미지 데이터를 이용하여, 아래 수학식 2에 의하여 저해상도 결합 이미지를 생성할 수 있다.
[수학식 2]
Figure pat00004
여기서, 저해상도 결합 이미지 z는 상기 데이터 촬영부에 의하여 촬영하여 획득한 저해상도 이미지 z1, z2를, 결합한 결합 이미지이며, 상기 저해상도 이미지 z1, z2 의 크기가 W(가로) x H(세로) x C(채널수)라 할 때, 이 두 이미지의 결합 이미지 z는 W × H × 2C 의 차원을 갖는 이미지이며, i=1,2, ..., W이고, j=1,2, ...., H이고, k는 1, 2, ..., 2C이고, W, H, 및 C는 자연수이다.
또한, 상기 적어도 2개 이상의 이미지 데이터 가운데 2개의 이미지 데이터를 이용하여, 아래 수학식 3에 의하여 저해상도 결합 이미지를 생성할 수 있다.
[수학식 3]
Figure pat00005
여기서, 저해상도 결합 이미지 z는 상기 데이터 촬영부에 의하여 촬영하여 획득한 저해상도 이미지 z1, z2를, 결합한 결합 이미지이며, 상기 저해상도 이미지 z1, z2 의 크기가 W(가로) x H(세로) x C(채널수)라 할 때, 이 두 이미지의 결합 이미지 z는 W × H × 2C 의 차원을 갖는 이미지이며, i=1,2, ..., W이고, j=1,2, ...., H이고, k는 1,2,..., C이고, W, H, 및 C는 자연수이다.
또한, 상기 적어도 2개 이상의 이미지 데이터 가운데 4개의 이미지 z1, z2, z3, 및 z4인 경우, z1의 이미지의 크기를 W × H × C 크기에서 rW × rH × C의 크기(여기서, r=2)의 이미지 z로, 아래의 수학식 4에 의하여 저해상도 결합 이미지를 생성할 수 있다.
[수학식 4]
Figure pat00006
여기서, i=1,2, ..., W이고, j=1,2, ...., H이고, k는 1,2,..., C이고, W, H, 및 C는 자연수이다.
한편, 상기 인공지능 네트워크는, N개의 고해상도 이미지 x를 포함하는 고해상도 이미지들의 집합을
Figure pat00007
라고 하고, N개의 저해상도 결합 이미지를 나타내는 데이터 z를 포함하는 상기 저해상도 결합 이미지들의 집합을
Figure pat00008
라고 할 때, 상기 생성자 네트워크의 인공지능 변수 벡터
Figure pat00009
는 고정시킨 상황에서, 상기 저해상도 결합 이미지를 나타내는 데이터 z에 대하여, 상기 생성자 네트워크를 거친 생성이미지
Figure pat00010
를 얻고, 이를 다시 판별자 네트워크로 거쳐 얻은 최종 변환된 값
Figure pat00011
을 0(거짓)으로 되게 하고, 동시에 고해상도 이미지 x들을 상기 판별자 네트워크로 입력하였을 때의 변환값
Figure pat00012
는 1(참)이 되게 하여, 아래의 수학식 5를 포함하는 비용함수(cost function)을 최소화 되도록, 상기 판별자 네트워크의 인공지능 변수 벡터(θ)를 학습시키는 과정을 거친다.
[수학식 5]
Figure pat00013
또한, 상기 판별자 네트워크의 인공지능 변수 벡터(θ)는 고정시키고, N개의 저해상도 결합 이미지 z들의 상기 생성자 네트워크를 거쳐 나온 생성이미지
Figure pat00014
를 상기 판별자 네트워크를 거치면서 참이 되게, 인공지능 학습 과정을 거치며, 상기 인공지능 변수 벡터
Figure pat00015
를 최적화되게 학습시키는, 아래의 수학식 6을 포함하는 비용함수가 최소화되도록 한다.
[수학식 6]
Figure pat00016
여기서,
Figure pat00017
는 상기 저해상도 결합 이미지를 나타내는 데이터 z들의 생성자 네트워크를 거친 생성이미지
Figure pat00018
를 다시 판별자 네트워크로 거쳐 얻은 최종 변환된 이미지이다.
또한, 상기 인공지능 학습과정 중에 상기 수학식 6을 포함하는 비용함수에 저해상도 이미지 z를 생성자 네트워크(260)를 통하여 학습된 이미지의 각 픽셀
Figure pat00019
이 해당 고해상도 이미지의 픽셀
Figure pat00020
와 같아지도록 제약하는 수학식 7로 표현되는 비용함수를 같이 추가로 포함시켜 학습시킬 수 있다.
[수학식 7]
Figure pat00021
여기서 W, H는 이미지의 가로와 세로를 각각 나타낸다.
또한, 상기 비용함수는 아래의 수학식 8을 더 포함할 수 있다.
[수학식 8]
Figure pat00022
여기서,
Figure pat00023
는 고해상도 이미지 x에 대한 VGG(Visual Geometry Group)의 네트워크의 레이어 l에서 i번째 특징지도(feature map)의 j번째 원소를 나타내며,
Figure pat00024
는 저해상도 결합 이미지 z를 생성자 네트워크를 통하여 변환되어 생성된
Figure pat00025
의 VGG의 네트워크의 레이어 l에서 i번째 특징지도의 j번째 원소를 나타낸다.
한편, 본 발명에 따른 인공지능 카메라 시스템에서 저해상도의 영상을 고해상도의 영상으로 변환하는 방법으로서, 저해상도 이미지를 2개 이상 획득하는 단계; 상기 획득된 적어도 2개 이상의 저해상도 이미지로부터 저해상도 결합 이미지를 만드는 단계; 및 판별자 네트워크를 인공지능 학습하는 과정과 생성자 네트워크를 인공지능 학습하는 과정을 반복하는 인공지능 네트워크를 이용하여, 상기 저해상도 결합 이미지로부터 고해상도 이미지로 만드는 단계;를 포함할 수 있다.
또한, 본 발명에 따른 컴퓨터 판독 가능 매체은, 컴퓨터를 이용하여 상술한 방법을 실행하기 위한 프로그램을 기록하고 있다. 여기서의 컴퓨터는 PC, 노트북, 스마트폰, 산업 장비나 장치 등 다양한 형태일 수 있다.
본 발명에 따른 인공지능 카메라 시스템, 인공지능 카메라 시스템에서의 영상 변환 방법, 및 컴퓨터 판독 가능 매체에 의하면,
저해상도 이미지 2개 이상으로 만들어진 저해상도 결합 이미지를 생성자 네트워크(230)를 통하여 변환된 생성이미지
Figure pat00026
는 샤프하면서도 고해상도를 갖는 이미지가 만들어질 수 있다. 따라서 저해상도 카메라 렌즈를 통하여 촬영하지만 고해상도 이미지를 획득할 수 있다.
도 1은 본 발명의 실시예에 따른 인공지능 카메라 시스템(100)의 구성도이다.
도 2는 본 발명의 실시예에 따른 인공지능 카메라 시스템에서의 인공지능 네트워크로 인공지능 학습하는 방법을 설명하는 도면이다.
이하 첨부된 도면을 참조하면서 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
(인공지능 카메라 시스템 구성)
도 1은 본 발명의 제 1 실시예에 따른 인공지능 카메라 시스템(100)의 구성도이다. 도 1에 도시된 바와 같이, 데이터 촬영부(110), 데이터 저장부(120) 및 데이터 처리부(130)를 포함한다.
여기서, 데이터 촬영부(110)는, 촬영을 하는 피사체에 대하여 이미지 데이터를 획득하기 위한 구성으로, 통상 카메라 등으로 구현된다. 여기서, 데이터 촬영부(110)는 피사체에 대하여 이미지 데이터를 획득하기 위하여 카메라 모듈(101)을 구비하며, 하나의 카메라 모듈(101)로 촬영시 피사체에 대하여 2개 이상의 이미지 데이터를 획득할 수도 있다. 여기서 2개 이상의 이미지 데이터들은 미소하게 다른 위치에서 촬영될 수 있다. 또는 2개 이상의 카메라 모듈을 이용하여 촬영하여 2개 이상의 이미지 데이터들을 획득할 수도 있다.
또한, 데이터 저장부(120)는 데이터 촬영부(100)에서 획득된 이미지 데이터 및 인공지능 변수들을 저장하기 위한 구성이다. 여기서 데이터 저장부(120)에서 저장되는 이미지 데이터나 인공지능 변수는 실시간으로 받아서 저장했다가 삭제하는 휘발성 메모리에 저장되는 경우도 포함한다.
또한, 데이터 처리부(130)는 저장된 이미지 데이터를 저장된 인공지능 변수들을 이용하여 해상도를 높이는 처리를 하는 구성이다. 여기서, 데이터 저장부(120)에 저장되고 데이터 처리부(130)에서 이미지의 해상도를 높이는 처리를 하는데 사용되는 인공지능 변수들은 적어도 2개 이상의 이미지 데이터에 대해서, 판별자 네트워크를 인공지능 학습하는 과정 및 생성자 네트워크를 인공지능 학습하는 과정을 반복하여, 생성자 네트워크(230)와 판별자 네트워크(260)의 두 네트워크를 상호 적대적으로 학습시키는 인공지능 네트워크(생성적 적대 네트워크(Generative Adversarial Network: GAN))로 인공지능 학습을 할 수 있다.
(결합 이미지 생성)
도 2는 본 발명의 실시예에 따른 인공지능 카메라 시스템에서의 인공지능 네트워크로 인공지능 학습하는 방법을 설명하는 도면이다.
도 2에 도시된 바와 같이, 저해상도의 이미지로부터 고해상도의 이미지를 생성할 때 샤프한 에지들을 구현하기 위하여 본 발명의 인공지능 네트워크는, 생성자 네트워크(230)와 판별자 네트워크(260)의 두 네트워크를 상호 적대적으로 학습시킬 수 있다.
또한, 데이터 촬영부(110)에 의하여 촬영하여 획득한 저해상도 이미지 z1, ..., zn (210) 를 다음과 같은 방법에 의하여 결합 이미지 z (220)를 획득한다. 저해상도 이미지 z1, z2 의 크기가 W(가로) x H(세로) x C(채널수) 라 할 때 이 두 이미지의 결합 이미지 z는 W × H × 2C 의 차원을 갖는 이미지로 정의할 수 있다.
즉, 다음 수학식 2와 같이 된다.
Figure pat00027
여기서, i=1,2, ..., W이고, j=1,2, ...., H이고, k=1,2,...,2C이고, W, H, 및 C는 자연수이다.
또는 다음과 같이 결합 이미지 z를 만들 수도 있다.
Figure pat00028
여기서, i=1,2, ..., W이고, j=1,2, ...., H이고, k=1,2,...,C이고, W, H, 및 C는 자연수이다.
이외에도 2개의 저해상도 이미지를 결합하는 방법은, 본 발명의 내용 내에서 다양하게 변형하여 구현할 수 있다. 상기의 결합 방법에 대해서는 편의상 n=2로 두었지만, 반드시 이에 한정하는 것은 아니다. 본 발명의 내용 내에서 얼마든지 n=3,4,... 등으로 확장할 수 있음은 물론이다.
예컨대 n=r×r과 같은 경우 (예: n=4=2×2)에는 상기와 같은 결합 방법은 채널수를 증가시키는 방법 외에도 픽셀셔플러(pixel shuffler)를 이용하여 이미지의 크기를 확장할 수도 있다. 픽셀셔플러는 W × H × C 크기의 이미지를 rW × rH × C의 크기 이미지로 확장하는 것으로, r=2인 경우, 예컨대 z1이미지에서 (i, j) 위치의 픽셀을 r × r (예:2×2)로 확장하되, z2, z3, z4에서 해당되는 각 픽셀을 다음의 수학식4처럼 결합하는 것이다. 즉, 4개의 이미지 z1, z2, z3, z4인 경우, 저해상도 결합이미지 z를 수학식4로 생성한다.
Figure pat00029
여기서, i=1,2, ..., W이고, j=1,2, ...., H이고, k=1,2,...,C이고, W, H, 및 C는 자연수이다.
(인공지능 학습)
상술한 바와 같이 저해상도 결합 이미지 z를 획득한 후, 다음과 같은 방법으로 인공지능 학습을 시킨다.
N개의 고해상도 이미지 x를 포함하는 고해상도 이미지들의 집합을
Figure pat00030
라고 하고, N개의 저해상도 결합 이미지를 나타내는 데이터 z를 포함하는 저해상도 결합 이미지들의 집합을
Figure pat00031
라고 할 때, 생성자 네트워크의 인공지능 변수 벡터
Figure pat00032
는 고정시킨 상황에서, 저해상도 결합 이미지를 나타내는 데이터 z에 대하여, 생성자 네트워크(230)를 거쳐 생성이미지
Figure pat00033
(240)를 얻고 이를 다시 판별자 네트워크(260)로 거치며 얻은 최종 변환된 값
Figure pat00034
을 0(거짓)(270)으로 되게 하고, 동시에 고해상도 이미지 x들을 판별자 네트워크(260)로 입력하였을 때의 변환값
Figure pat00035
는 1(참)(270)이 되도록, 즉 수학식 5를 포함하는 비용함수(cost function)을 최소화 되도록, 판별자 네트워크의 인공지능 변수 벡터(θ)를 학습시킨다.
다시 말해, 생성자 네트워크(230)의 인공지능 변수 벡터
Figure pat00036
는 고정시킨다. 이것은 판별자가 저해상도 결합 이미지로부터 생성된 이미지는 판별자 네트워크(260)를 거치면서 거짓으로 판명나게 하고 원래의 고해상도 이지미는 판별자 네트워크(260)를 거치면서 참으로 판명나게 학습시키는 과정이다.
다음으로, 수학식 6을 포함하는 비용함수가 최소화되도록, 즉 판별자 네트워크(260)의 인공지능 변수 벡터(θ)는 고정시키고, N개의 저해상도 결합 이미지 z들의 생성자 네트워크(230)를 거쳐 나온 생성이미지
Figure pat00037
(240)를 판별자 네트워크(260)를 거치면서 참이 되게 하는 인공지능 학습 과정이다. 즉 생성자 네트워크(230)는 판별자를 속이는 역할을 하게 하는 인공지능 학습 과정이다.
이와 같이, 인공지능 학습 네트워크를 통하여 저해상도 데이터 z로부터 생성자 네트워크(230)를 통하여 인공지능 변수 벡터
Figure pat00038
를 최적화되게 학습시킬 수 있다. 이로부터 변환된 생성이미지
Figure pat00039
는 고해상도 이미지를 샤프하게 복원할 수 있다.
Figure pat00040
Figure pat00041
여기서,
Figure pat00042
는 상기 저해상도 결합 이미지를 나타내는 데이터 z들의 생성자 네트워크를 거친 생성이미지
Figure pat00043
를 다시 판별자 네트워크로 거쳐 얻은 최종 변환된 이미지이다.
나아가, 상기 인공지능 학습과정 중에 수학식 6을 포함하는 비용함수에 저해상도 이미지 z를 생성자 네트워크(260)를 통하여 학습된 이미지의 각 픽셀
Figure pat00044
이 해당 고해상도 이미지의 픽셀
Figure pat00045
와 같아지도록 제약하는 수학식 7로 표현되는 비용함수를 같이 추가로 포함시켜 학습시킬 수도 있다.
Figure pat00046
여기서 W, H는 이미지의 가로와 세로를 각각 나타낸다.
나아가, 수학식 7 대신에 수학식 8로 표현되는 제약조건을 추가하여 학습시킬 수도 있다.
Figure pat00047
여기서,
Figure pat00048
는 고해상도 이미지 x에 대한 VGG(Visual Geometry Group)의 네트워크의 레이어 l에서 i번째 특징지도(feature map)의 j번째 원소를 나타낸다. 한편,
Figure pat00049
는 저해상도 결합 이미지 z를 생성자 네트워크(230)를 통하여 변환되어 생성된
Figure pat00050
의 VGG의 네트워크의 레이어 l에서 i번째 특징지도의 j번째 원소를 나타낸다. 즉, 수학식 8은 저해상도 결합 이미지로부터 변환된 이미지의 콘텐츠가 고해상도의 콘텐츠를 갖게 되도록 하는 제약조건일 수 있다.
참고로, VGG는 옥스퍼드 대학에서 제안한 컨벌류션 신경망(CNN) 모델로 이미지 분류에 매우 성공적인 모델이다. 본 발명의 VGG 네트워크는 VGG19 모델을 택할 수 있다. VGG19 모델은 16개의 컨벌류션(convolution)과 5개의 max pooling 및 3개의 FC(Fully Connected) 모델로 구성된다.
이와 같이 저해상도 이미지를 2개 이상 획득하고 이를 결합하여 만들어진 저해상도 결합 이미지로부터 인공지능 네트워크를 학습과정을 통하여 생성자 네트워크(230)를 학습하고, 이로부터 변환된 생성이미지
Figure pat00051
는 고해상도 이미지 x 들이 분포되어 있는 다양체(submanifold)에 속하게 할 수 있다. 즉 샤프하면서도 고해상도를 최대로 복원하는 이미지를 생성할 수 있다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술 사상과 아래에 기재될 청구범위의 균등 범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
(부호의 설명)
100...인공지능 카메라 시스템
101...카메라 모듈
110...데이터 촬영부
120...데이터 저장부
130...데이터 처리부

Claims (12)

  1. 피사체에 대하여 적어도 2개 이상의 이미지 데이터를 획득하기 위한 데이터 촬영부;
    상기 획득된 이미지 데이터 및 인공지능 변수들을 저장하기 위한 데이터 저장부; 및
    상기 저장된 이미지 데이터를 상기 저장된 인공지능 변수들을 이용하여 해상도를 높이는 처리를 하는 데이터 처리부를 포함하고,
    상기 인공지능 변수들은 적어도 2개 이상의 이미지 데이터에 대해서, 판별자 네트워크를 인공지능 학습하는 과정과 생성자 네트워크를 인공지능 학습하는 과정을 반복하는 인공지능 네트워크로 학습한 것을 특징으로 하는 인공지능 카메라 시스템.
  2. 제 1 항에 있어서,
    상기 데이터 촬영부는, 상기 피사체에 대하여 적어도 2개 이상의 이미지 데이터를 획득하기 위한 적어도 2개 이상의 카메라 모듈;을 포함하는,
    인공지능 카메라 시스템.
  3. 제 1 항에 있어서,
    상기 데이터 처리부는, 상기 획득한 적어도 2개 이상의 이미지 데이터로부터 결합 이미지를 생성하는 것을 특징으로 하는,
    인공지능 카메라 시스템.
  4. 제 3 항에 있어서,
    상기 적어도 2개 이상의 이미지 데이터 가운데 2개의 이미지 데이터를 이용하여, 아래 수학식 2에 의하여 저해상도 결합 이미지를 생성하는 것을 특징으로 하는,
    인공지능 카메라 시스템.
    [수학식 2]
    Figure pat00052

    여기서, 저해상도 결합 이미지 z는 상기 데이터 촬영부에 의하여 촬영하여 획득한 저해상도 이미지 z1, z2를, 결합한 결합 이미지이며, 상기 저해상도 이미지 z1, z2 의 크기가 W(가로) x H(세로) x C(채널수)라 할 때, 이 두 이미지의 결합 이미지 z는 W × H × 2C 의 차원을 갖는 이미지이며, i=1,2, ..., W이고, j=1,2, ...., H이고, k는 1, 2, ..., 2C이고, W, H, 및 C는 자연수이다.
  5. 제 3 항에 있어서,
    상기 적어도 2개 이상의 이미지 데이터 가운데 2개의 이미지 데이터를 이용하여, 아래 수학식 3에 의하여 저해상도 결합 이미지를 생성하는 것을 특징으로 하는,
    인공지능 카메라 시스템.
    [수학식 3]
    Figure pat00053

    여기서, 저해상도 결합 이미지 z는 상기 데이터 촬영부에 의하여 촬영하여 획득한 저해상도 이미지 z1, z2를, 결합한 결합 이미지이며, 상기 저해상도 이미지 z1, z2 의 크기가 W(가로) x H(세로) x C(채널수)라 할 때, 이 두 이미지의 결합 이미지 z는 W × H × 2C 의 차원을 갖는 이미지이며, i=1,2, ..., W이고, j=1,2, ...., H이고, k는 1,2,..., C이고, W, H, 및 C는 자연수이다.
  6. 제 3 항에 있어서,
    상기 적어도 2개 이상의 이미지 데이터 가운데 4개의 이미지 z1, z2, z3, 및 z4인 경우, z1의 이미지의 크기를 W × H × C 크기에서 rW × rH × C의 크기(여기서, r=2)의 이미지 z로, 아래의 수학식 4에 의하여 저해상도 결합 이미지를 생성하는 것을 특징으로 하는,
    인공지능 카메라 시스템.
    [수학식 4]
    Figure pat00054

    여기서, i=1,2, ..., W이고, j=1,2, ...., H이고, k는 1,2,..., C이고, W, H, 및 C는 자연수이다.
  7. 제 1 항에 있어서,
    상기 인공지능 네트워크는, N개의 고해상도 이미지 x를 포함하는 고해상도 이미지들의 집합을
    Figure pat00055
    라고 하고, N개의 저해상도 결합 이미지를 나타내는 데이터 z를 포함하는 상기 저해상도 결합 이미지들의 집합을
    Figure pat00056
    라고 할 때,
    상기 생성자 네트워크의 인공지능 변수 벡터
    Figure pat00057
    는 고정시킨 상황에서, 상기 저해상도 결합 이미지를 나타내는 데이터 z에 대하여, 상기 생성자 네트워크를 거친 생성이미지
    Figure pat00058
    를 얻고, 이를 다시 판별자 네트워크로 거쳐 얻은 최종 변환된 값
    Figure pat00059
    을 0(거짓)으로 되게 하고, 동시에 고해상도 이미지 x들을 상기 판별자 네트워크로 입력하였을 때의 변환값
    Figure pat00060
    는 1(참)이 되게 하여, 아래의 수학식 5를 포함하는 비용함수(cost function)을 최소화 되도록, 상기 판별자 네트워크의 인공지능 변수 벡터(θ)를 학습시키는 과정을 거치는,
    인공지능 카메라 시스템.
    [수학식 5]
    Figure pat00061

  8. 제 7 항에 있어서,
    상기 판별자 네트워크의 인공지능 변수 벡터(θ)는 고정시키고, N개의 저해상도 결합 이미지 z들의 상기 생성자 네트워크를 거쳐 나온 생성이미지
    Figure pat00062
    를 상기 판별자 네트워크를 거치면서 참이 되게, 인공지능 학습 과정을 거치며,
    상기 인공지능 변수 벡터
    Figure pat00063
    를 최적화되게 학습시키는, 아래의 수학식 6을 포함하는 비용함수가 최소화되도록 하는,
    인공지능 카메라 시스템.
    [수학식 6]
    Figure pat00064

    여기서,
    Figure pat00065
    는 상기 저해상도 결합 이미지를 나타내는 데이터 z들의 생성자 네트워크를 거친 생성이미지
    Figure pat00066
    를 다시 판별자 네트워크로 거쳐 얻은 최종 변환된 이미지이다.
  9. 제 8 항에 있어서,
    상기 인공지능 학습과정 중에 상기 수학식 6을 포함하는 비용함수에 저해상도 이미지 z를 생성자 네트워크(260)를 통하여 학습된 이미지의 각 픽셀
    Figure pat00067
    이 해당 고해상도 이미지의 픽셀
    Figure pat00068
    와 같아지도록 제약하는 아래의 수학식 7로 표현되는 비용함수를 같이 추가로 포함시켜 학습시키는,
    인공지능 카메라 시스템.
    [수학식 7]
    Figure pat00069

    여기서 W, H는 이미지의 가로와 세로를 각각 나타낸다.
  10. 제 8 항에 있어서,
    상기 비용함수는 아래의 수학식 8을 더 포함하는 것을 특징으로 하는,
    인공지능 카메라 시스템.
    [수학식 8]
    Figure pat00070

    여기서,
    Figure pat00071
    는 고해상도 이미지 x에 대한 VGG(Visual Geometry Group)의 네트워크의 레이어 l에서 i번째 특징지도(feature map)의 j번째 원소를 나타내며,
    Figure pat00072
    는 저해상도 결합 이미지 z를 생성자 네트워크를 통하여 변환되어 생성된
    Figure pat00073
    의 VGG의 네트워크의 레이어 l에서 i번째 특징지도의 j번째 원소를 나타낸다.
  11. 인공지능 카메라 시스템에서 저해상도의 영상을 고해상도의 영상으로 변환하는 방법으로서,
    저해상도 이미지를 2개 이상 획득하는 단계;
    상기 획득된 적어도 2개 이상의 저해상도 이미지로부터 저해상도 결합 이미지를 만드는 단계; 및
    판별자 네트워크를 인공지능 학습하는 과정과 생성자 네트워크를 인공지능 학습하는 과정을 반복하는 인공지능 네트워크를 이용하여, 상기 저해상도 결합 이미지로부터 고해상도 이미지로 만드는 단계;를 포함하는,
    인공지능 카메라 시스템에서의 영상 변환 방법.
  12. 컴퓨터를 이용하여 제11항의 방법을 실행하기 위한 프로그램을 기록한 컴퓨터 판독 가능 매체.
KR1020190071346A 2019-06-17 2019-06-17 인공지능 카메라 시스템, 인공지능 카메라 시스템에서의 영상 변환 방법, 및 컴퓨터 판독 가능 매체 KR102630844B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190071346A KR102630844B1 (ko) 2019-06-17 2019-06-17 인공지능 카메라 시스템, 인공지능 카메라 시스템에서의 영상 변환 방법, 및 컴퓨터 판독 가능 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190071346A KR102630844B1 (ko) 2019-06-17 2019-06-17 인공지능 카메라 시스템, 인공지능 카메라 시스템에서의 영상 변환 방법, 및 컴퓨터 판독 가능 매체

Publications (2)

Publication Number Publication Date
KR20200143815A true KR20200143815A (ko) 2020-12-28
KR102630844B1 KR102630844B1 (ko) 2024-01-29

Family

ID=74086882

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190071346A KR102630844B1 (ko) 2019-06-17 2019-06-17 인공지능 카메라 시스템, 인공지능 카메라 시스템에서의 영상 변환 방법, 및 컴퓨터 판독 가능 매체

Country Status (1)

Country Link
KR (1) KR102630844B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024076101A1 (ko) * 2022-10-04 2024-04-11 삼성전자 주식회사 인공지능 기반의 영상 처리 방법 및 이를 지원하는 전자 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160137289A (ko) * 2015-05-22 2016-11-30 삼성전자주식회사 촬영 장치 및 촬영 장치의 동작방법
KR20190062283A (ko) * 2017-11-28 2019-06-05 한국전자통신연구원 선택적 손실 함수를 이용한 생성적 적대 네트워크의 학습을 위한 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160137289A (ko) * 2015-05-22 2016-11-30 삼성전자주식회사 촬영 장치 및 촬영 장치의 동작방법
KR20190062283A (ko) * 2017-11-28 2019-06-05 한국전자통신연구원 선택적 손실 함수를 이용한 생성적 적대 네트워크의 학습을 위한 방법 및 장치

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
C. Dong, et al, "Learning a deep convolutional network for image super-resolution", In European Conference on Computer Vision (ECCV), pages 184-199. Springer, 2014. 3, 6, 8
대한민국 특허공보 제10-1116800호(발명의 명칭 : 저해상도 이미지로부터 고해상도 이미지를 생성하는 해상도 변환 방법{RESOLUTION CONVERSION METHOD FOR MAKING A HIGH RESOLUTION IMAGE FROM A LOW RESOLUTION IMAGE}, 등록일 : 2012.02.08)
미국 공개특허공보 제2009-0274385호(발명의 명칭 : SUPER RESOLUTION USING GAUSSIAN REGRESSION, 공개일 : 2009.11.05)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024076101A1 (ko) * 2022-10-04 2024-04-11 삼성전자 주식회사 인공지능 기반의 영상 처리 방법 및 이를 지원하는 전자 장치

Also Published As

Publication number Publication date
KR102630844B1 (ko) 2024-01-29

Similar Documents

Publication Publication Date Title
US10901740B2 (en) Synthetic depth image generation from cad data using generative adversarial neural networks for enhancement
US10740897B2 (en) Method and device for three-dimensional feature-embedded image object component-level semantic segmentation
Liao et al. DR-GAN: Automatic radial distortion rectification using conditional GAN in real-time
US20220222776A1 (en) Multi-Stage Multi-Reference Bootstrapping for Video Super-Resolution
KR102493492B1 (ko) 초해상도 모델의 메타 러닝을 통한 빠른 적응 방법 및 장치
JP2020038664A (ja) コンボリューションニューラルネットワークから複数の出力のアンサンブルを利用して統合された特徴マップを提供するための方法及び装置｛ｍｅｔｈｏｄ ａｎｄ ｄｅｖｉｃｅ ｆｏｒ ｐｒｏｖｉｄｉｎｇ ｉｎｔｅｇｒａｔｅｄ ｆｅａｔｕｒｅ ｍａｐ ｕｓｉｎｇ ｅｎｓｅｍｂｌｅ ｏｆ ｍｕｌｔｉｐｌｅ ｏｕｔｐｕｔｓ ｆｒｏｍ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ｝
CN110555527A (zh) 延时摄影视频的生成方法及设备
JP2024026745A (ja) 人工知能ニューラルネットワークの推論または訓練に対する、故意に歪みを制御する撮像装置の利用
CN112884648A (zh) 多类模糊图像超分辨率重建的方法和系统
CN111028302B (zh) 一种基于深度学习的压缩对象成像方法及系统
CN116612015A (zh) 模型训练方法、图像去摩尔纹方法、装置及电子设备
CN116157805A (zh) 利用神经嵌入的相机图像或视频处理流水线
CN113658091A (zh) 一种图像评价方法、存储介质及终端设备
KR102630844B1 (ko) 인공지능 카메라 시스템, 인공지능 카메라 시스템에서의 영상 변환 방법, 및 컴퓨터 판독 가능 매체
WO2023045627A1 (zh) 图像超分方法、装置、设备及存储介质
KR20210040702A (ko) 모자이크 생성 장치 및 방법
CN114119428B (zh) 一种图像去模糊方法和装置
CN112203023B (zh) 一种十亿像素视频生成方法及装置、设备、介质
BR et al. Machine Learning Application for Evidence Image Enhancement
CN111028290B (zh) 一种用于绘本阅读机器人的图形处理方法及装置
KR102101481B1 (ko) 인공지능 기반의 휴대용 보안영상 학습장치 및 방법
CN114640785A (zh) 站点模型更新方法及系统
JP2016085694A (ja) 画像処理装置及びその制御方法、プログラム
US20240193732A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
CN109389551B (zh) 中性表情正向人脸图片方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant