KR20200143815A - 인공지능 카메라 시스템, 인공지능 카메라 시스템에서의 영상 변환 방법, 및 컴퓨터 판독 가능 매체 - Google Patents
인공지능 카메라 시스템, 인공지능 카메라 시스템에서의 영상 변환 방법, 및 컴퓨터 판독 가능 매체 Download PDFInfo
- Publication number
- KR20200143815A KR20200143815A KR1020190071346A KR20190071346A KR20200143815A KR 20200143815 A KR20200143815 A KR 20200143815A KR 1020190071346 A KR1020190071346 A KR 1020190071346A KR 20190071346 A KR20190071346 A KR 20190071346A KR 20200143815 A KR20200143815 A KR 20200143815A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- artificial intelligence
- resolution
- low
- network
- Prior art date
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 96
- 238000000034 method Methods 0.000 title claims description 56
- 230000001131 transforming effect Effects 0.000 title claims description 4
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000013500 data storage Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000013481 data capture Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H04N5/23232—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 피사체에 대하여 적어도 2개 이상의 이미지 데이터를 획득하기 위한 데이터 촬영부; 상기 획득된 이미지 데이터 및 인공지능 변수들을 저장하기 위한 데이터 저장부; 및 상기 저장된 이미지 데이터를 상기 저장된 인공지능 변수들을 이용하여 해상도를 높이는 처리를 하는 데이터 처리부를 포함하고, 상기 인공지능 변수들은 적어도 2개 이상의 이미지 데이터에 대해서, 판별자 네트워크를 인공지능 학습하는 과정과 생성자 네트워크를 인공지능 학습하는 과정을 반복하는 인공지능 네트워크로 학습한다.
본 발명에 따른 인공지능 카메라 시스템에 의하면, 저해상도 이미지 2개 이상으로 만들어진 저해상도 결합 이미지를 생성자 네트워크(230)를 통하여 변환된 생성이미지 는 샤프하면서도 고해상도를 갖는 이미지가 만들어질 수 있다. 따라서 저해상도 카메라 렌즈를 통하여 촬영하지만 고해상도 이미지를 획득할 수 있다.
본 발명에 따른 인공지능 카메라 시스템에 의하면, 저해상도 이미지 2개 이상으로 만들어진 저해상도 결합 이미지를 생성자 네트워크(230)를 통하여 변환된 생성이미지 는 샤프하면서도 고해상도를 갖는 이미지가 만들어질 수 있다. 따라서 저해상도 카메라 렌즈를 통하여 촬영하지만 고해상도 이미지를 획득할 수 있다.
Description
본 발명은 인공지능 카메라 시스템, 인공지능 카메라 시스템에서의 영상 변환 방법, 및 컴퓨터 판독 가능 매체에 관한 것으로, 보다 상세하게는, 인공지능 기능을 이용하여 저해상도 이미지 2개 이상으로 만들어진 저해상도 결합 이미지를 생성자 네트워크를 통하여 변환된 생성이미지 는 샤프하면서도 고해상도를 갖는 이미지가 만들어짐으로써, 저해상도 카메라 렌즈를 통하여 촬영하지만 고해상도 이미지를 획득할 수 있는, 인공지능 카메라 시스템, 인공지능 카메라 시스템에서의 영상 변환 방법, 및 컴퓨터 판독 가능 매체에 관한 것이다.
최근 스마트폰 카메라, 노트북 카메라 등 많은 영상 촬영 시스템이 있으며, 사용자들은 점점 더 고해상도의 영상을 원하고 있는 상황이다. 이러한 사용자들의 니즈를 해결하기 위하여, 다양한 소프트웨어적인 방법들을 이용되고 있다.
그 가운데 하나로서, 미국 공개특허공보 제2009-0274385호(발명의 명칭 : SUPER RESOLUTION USING GAUSSIAN REGRESSION, 공개일 : 2009.11.05)에서는, "저해상도의 이미지를 모서리 탐지(edge detection) 방법을 이용하여 패치(patch)들로 나누고, 이를 방사 기저 함수(Radial Basis Function) 및 가우스 프로세스 회귀(Gaussian process regression) 방법을 적용하여 학습된 모델을 이용하여 고해상도 이미지 패치를 얻은 후 다시 결합하여 전체적인 고해상도 이미지를 얻는 방법"을 개시하고 있다. 그러나 이와 같은 방법은, 이미지의 많은 영역에서 미세구조가 깨지는 단점이 있었다.
또한, 대한민국 특허공보 제10-1116800호(발명의 명칭 : 저해상도 이미지로부터 고해상도 이미지를 생성하는 해상도 변환 방법{RESOLUTION CONVERSION METHOD FOR MAKING A HIGH RESOLUTION IMAGE FROM A LOW RESOLUTION IMAGE}, 등록일 : 2012.02.08)에서는, "저해상도 이미지의 원본 픽셀 하나에 대응하는 레인지 블록을 생성하고, 상기 레인지 블록들의 집합이 상기 고해상도 이미지를 형성하고, 상기 레인지 블록은 다수의 블록 픽셀로 형성되며, 상기 레인지 블록의 블록 픽셀 데이터는 상기 원본 픽셀의 데이터와, 상기 고해상도 이미지상에서 상기 레인지 블록의 픽셀에 인접하는 적어도 하나의 인접 픽셀의 데이터에 기초하여 결정되어, 먼저 생성된 상기 레인지 블록의 픽셀 데이터는 상기 인접 픽셀의 데이터로서 나중에 생성되는 상기 레인지 블록의 픽셀 데이터 결정에 반영되는 기술"을 개시하고 있다. 그러나 이러한 방법도 불충분한 정보로 인하여 샤프한 에지들을 재현하는데 문제점이 있었다.
한편, 컨벌류션 신경망(Convolution Neural Network: CNN)를 이용하여 저해상도에서 고해상도 이미지를 얻는 방법이 있다. 저해상도 이미지 Xi 와 이에 대응되는 고해상도 이미지 Yi(i=1,2,..., N)에 대하여 저해상도 이미지 Xi를 컨벌류션 네트워크를 포함하는 변환함수 F와 인공 지능 변수 벡터 θ를 이용하여 변환한 F(Xi;θ)와 Yi의 평균자승에러(Mean square error), 즉 평균거리값을 최소화하는 t수학식1과 같은 비용 함수(cost function)를 사용하여 컨벌류션 네트워크 상에서 학습하여 인공지능 변수 벡터 θ를 최적화 할 수 있다. 인공지능 학습의 결과 최적화된 인공지능 변수 벡터 θ를 이용하여 저해상도 이미지를 고해상도로 변환할 수 있었다[C. Dong, et al, “Learning a deep convolutional network for image super-resolution”, In European Conference on Computer Vision (ECCV), pages 184-199. Springer, 2014. 3, 6, 8 ].
그러나 이러한 방법 역시 저해상도 이미지들에 대해서 고해상도 이미지를 얻을 수 있었으나, 샤프하지 않은 영역을 다수 포함하는 단점이 있었다.
C. Dong, et al, "Learning a deep convolutional network for image super-resolution", In European Conference on Computer Vision (ECCV), pages 184-199. Springer, 2014. 3, 6, 8
본 발명은 상술한 문제점을 해결하기 위하여 창출된 것으로, 본 발명은 저해상도의 이미지를 흐릿한 영역을 최소화하고 샤프한 고해상도의 이미지로 변환하는, 인공지능 카메라 시스템을 제공하는 것을 목적으로 한다.
즉, 인공지능 기능을 이용하여 저해상도 이미지 2개 이상으로 만들어진 저해상도 결합 이미지를 생성자 네트워크를 통하여 변환된 생성이미지 는 샤프하면서도 고해상도를 갖는 이미지가 만들어짐으로써, 저해상도 카메라 렌즈를 통하여 촬영하지만 고해상도 이미지를 획득할 수 있는, 인공지능 카메라 시스템, 인공지능 카메라 시스템에서의 영상 변환 방법, 및 컴퓨터 판독 가능 매체를 제공하는 것을 목적으로 한다.
상기의 목적을 달성하기 위한 본 발명에 따른 인공지능 카메라 시스템은, 피사체에 대하여 적어도 2개 이상의 이미지 데이터를 획득하기 위한 데이터 촬영부; 상기 획득된 이미지 데이터 및 인공지능 변수들을 저장하기 위한 데이터 저장부; 및 상기 저장된 이미지 데이터를 상기 저장된 인공지능 변수들을 이용하여 해상도를 높이는 처리를 하는 데이터 처리부를 포함하고, 상기 인공지능 변수들은 적어도 2개 이상의 이미지 데이터에 대해서, 판별자 네트워크를 인공지능 학습하는 과정과 생성자 네트워크를 인공지능 학습하는 과정을 반복하는 인공지능 네트워크로 학습한다.
여기서, 상기 데이터 촬영부는, 상기 피사체에 대하여 적어도 2개 이상의 이미지 데이터를 획득하기 위한 적어도 2개 이상의 카메라 모듈;을 포함할 수 있다.
또한, 상기 데이터 처리부는, 상기 획득한 적어도 2개 이상의 이미지 데이터로부터 결합 이미지를 생성한다.
또한, 상기 적어도 2개 이상의 이미지 데이터 가운데 2개의 이미지 데이터를 이용하여, 아래 수학식 2에 의하여 저해상도 결합 이미지를 생성할 수 있다.
[수학식 2]
여기서, 저해상도 결합 이미지 z는 상기 데이터 촬영부에 의하여 촬영하여 획득한 저해상도 이미지 z1, z2를, 결합한 결합 이미지이며, 상기 저해상도 이미지 z1, z2 의 크기가 W(가로) x H(세로) x C(채널수)라 할 때, 이 두 이미지의 결합 이미지 z는 W × H × 2C 의 차원을 갖는 이미지이며, i=1,2, ..., W이고, j=1,2, ...., H이고, k는 1, 2, ..., 2C이고, W, H, 및 C는 자연수이다.
또한, 상기 적어도 2개 이상의 이미지 데이터 가운데 2개의 이미지 데이터를 이용하여, 아래 수학식 3에 의하여 저해상도 결합 이미지를 생성할 수 있다.
[수학식 3]
여기서, 저해상도 결합 이미지 z는 상기 데이터 촬영부에 의하여 촬영하여 획득한 저해상도 이미지 z1, z2를, 결합한 결합 이미지이며, 상기 저해상도 이미지 z1, z2 의 크기가 W(가로) x H(세로) x C(채널수)라 할 때, 이 두 이미지의 결합 이미지 z는 W × H × 2C 의 차원을 갖는 이미지이며, i=1,2, ..., W이고, j=1,2, ...., H이고, k는 1,2,..., C이고, W, H, 및 C는 자연수이다.
또한, 상기 적어도 2개 이상의 이미지 데이터 가운데 4개의 이미지 z1, z2, z3, 및 z4인 경우, z1의 이미지의 크기를 W × H × C 크기에서 rW × rH × C의 크기(여기서, r=2)의 이미지 z로, 아래의 수학식 4에 의하여 저해상도 결합 이미지를 생성할 수 있다.
[수학식 4]
여기서, i=1,2, ..., W이고, j=1,2, ...., H이고, k는 1,2,..., C이고, W, H, 및 C는 자연수이다.
한편, 상기 인공지능 네트워크는, N개의 고해상도 이미지 x를 포함하는 고해상도 이미지들의 집합을 라고 하고, N개의 저해상도 결합 이미지를 나타내는 데이터 z를 포함하는 상기 저해상도 결합 이미지들의 집합을 라고 할 때, 상기 생성자 네트워크의 인공지능 변수 벡터 는 고정시킨 상황에서, 상기 저해상도 결합 이미지를 나타내는 데이터 z에 대하여, 상기 생성자 네트워크를 거친 생성이미지 를 얻고, 이를 다시 판별자 네트워크로 거쳐 얻은 최종 변환된 값 을 0(거짓)으로 되게 하고, 동시에 고해상도 이미지 x들을 상기 판별자 네트워크로 입력하였을 때의 변환값 는 1(참)이 되게 하여, 아래의 수학식 5를 포함하는 비용함수(cost function)을 최소화 되도록, 상기 판별자 네트워크의 인공지능 변수 벡터(θ)를 학습시키는 과정을 거친다.
[수학식 5]
또한, 상기 판별자 네트워크의 인공지능 변수 벡터(θ)는 고정시키고, N개의 저해상도 결합 이미지 z들의 상기 생성자 네트워크를 거쳐 나온 생성이미지 를 상기 판별자 네트워크를 거치면서 참이 되게, 인공지능 학습 과정을 거치며, 상기 인공지능 변수 벡터 를 최적화되게 학습시키는, 아래의 수학식 6을 포함하는 비용함수가 최소화되도록 한다.
[수학식 6]
또한, 상기 인공지능 학습과정 중에 상기 수학식 6을 포함하는 비용함수에 저해상도 이미지 z를 생성자 네트워크(260)를 통하여 학습된 이미지의 각 픽셀 이 해당 고해상도 이미지의 픽셀 와 같아지도록 제약하는 수학식 7로 표현되는 비용함수를 같이 추가로 포함시켜 학습시킬 수 있다.
[수학식 7]
여기서 W, H는 이미지의 가로와 세로를 각각 나타낸다.
또한, 상기 비용함수는 아래의 수학식 8을 더 포함할 수 있다.
[수학식 8]
여기서, 는 고해상도 이미지 x에 대한 VGG(Visual Geometry Group)의 네트워크의 레이어 l에서 i번째 특징지도(feature map)의 j번째 원소를 나타내며, 는 저해상도 결합 이미지 z를 생성자 네트워크를 통하여 변환되어 생성된 의 VGG의 네트워크의 레이어 l에서 i번째 특징지도의 j번째 원소를 나타낸다.
한편, 본 발명에 따른 인공지능 카메라 시스템에서 저해상도의 영상을 고해상도의 영상으로 변환하는 방법으로서, 저해상도 이미지를 2개 이상 획득하는 단계; 상기 획득된 적어도 2개 이상의 저해상도 이미지로부터 저해상도 결합 이미지를 만드는 단계; 및 판별자 네트워크를 인공지능 학습하는 과정과 생성자 네트워크를 인공지능 학습하는 과정을 반복하는 인공지능 네트워크를 이용하여, 상기 저해상도 결합 이미지로부터 고해상도 이미지로 만드는 단계;를 포함할 수 있다.
또한, 본 발명에 따른 컴퓨터 판독 가능 매체은, 컴퓨터를 이용하여 상술한 방법을 실행하기 위한 프로그램을 기록하고 있다. 여기서의 컴퓨터는 PC, 노트북, 스마트폰, 산업 장비나 장치 등 다양한 형태일 수 있다.
본 발명에 따른 인공지능 카메라 시스템, 인공지능 카메라 시스템에서의 영상 변환 방법, 및 컴퓨터 판독 가능 매체에 의하면,
저해상도 이미지 2개 이상으로 만들어진 저해상도 결합 이미지를 생성자 네트워크(230)를 통하여 변환된 생성이미지 는 샤프하면서도 고해상도를 갖는 이미지가 만들어질 수 있다. 따라서 저해상도 카메라 렌즈를 통하여 촬영하지만 고해상도 이미지를 획득할 수 있다.
도 1은 본 발명의 실시예에 따른 인공지능 카메라 시스템(100)의 구성도이다.
도 2는 본 발명의 실시예에 따른 인공지능 카메라 시스템에서의 인공지능 네트워크로 인공지능 학습하는 방법을 설명하는 도면이다.
도 2는 본 발명의 실시예에 따른 인공지능 카메라 시스템에서의 인공지능 네트워크로 인공지능 학습하는 방법을 설명하는 도면이다.
이하 첨부된 도면을 참조하면서 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
(인공지능 카메라 시스템 구성)
도 1은 본 발명의 제 1 실시예에 따른 인공지능 카메라 시스템(100)의 구성도이다. 도 1에 도시된 바와 같이, 데이터 촬영부(110), 데이터 저장부(120) 및 데이터 처리부(130)를 포함한다.
여기서, 데이터 촬영부(110)는, 촬영을 하는 피사체에 대하여 이미지 데이터를 획득하기 위한 구성으로, 통상 카메라 등으로 구현된다. 여기서, 데이터 촬영부(110)는 피사체에 대하여 이미지 데이터를 획득하기 위하여 카메라 모듈(101)을 구비하며, 하나의 카메라 모듈(101)로 촬영시 피사체에 대하여 2개 이상의 이미지 데이터를 획득할 수도 있다. 여기서 2개 이상의 이미지 데이터들은 미소하게 다른 위치에서 촬영될 수 있다. 또는 2개 이상의 카메라 모듈을 이용하여 촬영하여 2개 이상의 이미지 데이터들을 획득할 수도 있다.
또한, 데이터 저장부(120)는 데이터 촬영부(100)에서 획득된 이미지 데이터 및 인공지능 변수들을 저장하기 위한 구성이다. 여기서 데이터 저장부(120)에서 저장되는 이미지 데이터나 인공지능 변수는 실시간으로 받아서 저장했다가 삭제하는 휘발성 메모리에 저장되는 경우도 포함한다.
또한, 데이터 처리부(130)는 저장된 이미지 데이터를 저장된 인공지능 변수들을 이용하여 해상도를 높이는 처리를 하는 구성이다. 여기서, 데이터 저장부(120)에 저장되고 데이터 처리부(130)에서 이미지의 해상도를 높이는 처리를 하는데 사용되는 인공지능 변수들은 적어도 2개 이상의 이미지 데이터에 대해서, 판별자 네트워크를 인공지능 학습하는 과정 및 생성자 네트워크를 인공지능 학습하는 과정을 반복하여, 생성자 네트워크(230)와 판별자 네트워크(260)의 두 네트워크를 상호 적대적으로 학습시키는 인공지능 네트워크(생성적 적대 네트워크(Generative Adversarial Network: GAN))로 인공지능 학습을 할 수 있다.
(결합 이미지 생성)
도 2는 본 발명의 실시예에 따른 인공지능 카메라 시스템에서의 인공지능 네트워크로 인공지능 학습하는 방법을 설명하는 도면이다.
도 2에 도시된 바와 같이, 저해상도의 이미지로부터 고해상도의 이미지를 생성할 때 샤프한 에지들을 구현하기 위하여 본 발명의 인공지능 네트워크는, 생성자 네트워크(230)와 판별자 네트워크(260)의 두 네트워크를 상호 적대적으로 학습시킬 수 있다.
또한, 데이터 촬영부(110)에 의하여 촬영하여 획득한 저해상도 이미지 z1, ..., zn (210) 를 다음과 같은 방법에 의하여 결합 이미지 z (220)를 획득한다. 저해상도 이미지 z1, z2 의 크기가 W(가로) x H(세로) x C(채널수) 라 할 때 이 두 이미지의 결합 이미지 z는 W × H × 2C 의 차원을 갖는 이미지로 정의할 수 있다.
즉, 다음 수학식 2와 같이 된다.
여기서, i=1,2, ..., W이고, j=1,2, ...., H이고, k=1,2,...,2C이고, W, H, 및 C는 자연수이다.
또는 다음과 같이 결합 이미지 z를 만들 수도 있다.
여기서, i=1,2, ..., W이고, j=1,2, ...., H이고, k=1,2,...,C이고, W, H, 및 C는 자연수이다.
이외에도 2개의 저해상도 이미지를 결합하는 방법은, 본 발명의 내용 내에서 다양하게 변형하여 구현할 수 있다. 상기의 결합 방법에 대해서는 편의상 n=2로 두었지만, 반드시 이에 한정하는 것은 아니다. 본 발명의 내용 내에서 얼마든지 n=3,4,... 등으로 확장할 수 있음은 물론이다.
예컨대 n=r×r과 같은 경우 (예: n=4=2×2)에는 상기와 같은 결합 방법은 채널수를 증가시키는 방법 외에도 픽셀셔플러(pixel shuffler)를 이용하여 이미지의 크기를 확장할 수도 있다. 픽셀셔플러는 W × H × C 크기의 이미지를 rW × rH × C의 크기 이미지로 확장하는 것으로, r=2인 경우, 예컨대 z1이미지에서 (i, j) 위치의 픽셀을 r × r (예:2×2)로 확장하되, z2, z3, z4에서 해당되는 각 픽셀을 다음의 수학식4처럼 결합하는 것이다. 즉, 4개의 이미지 z1, z2, z3, z4인 경우, 저해상도 결합이미지 z를 수학식4로 생성한다.
여기서, i=1,2, ..., W이고, j=1,2, ...., H이고, k=1,2,...,C이고, W, H, 및 C는 자연수이다.
(인공지능 학습)
상술한 바와 같이 저해상도 결합 이미지 z를 획득한 후, 다음과 같은 방법으로 인공지능 학습을 시킨다.
N개의 고해상도 이미지 x를 포함하는 고해상도 이미지들의 집합을 라고 하고, N개의 저해상도 결합 이미지를 나타내는 데이터 z를 포함하는 저해상도 결합 이미지들의 집합을 라고 할 때, 생성자 네트워크의 인공지능 변수 벡터 는 고정시킨 상황에서, 저해상도 결합 이미지를 나타내는 데이터 z에 대하여, 생성자 네트워크(230)를 거쳐 생성이미지 (240)를 얻고 이를 다시 판별자 네트워크(260)로 거치며 얻은 최종 변환된 값 을 0(거짓)(270)으로 되게 하고, 동시에 고해상도 이미지 x들을 판별자 네트워크(260)로 입력하였을 때의 변환값 는 1(참)(270)이 되도록, 즉 수학식 5를 포함하는 비용함수(cost function)을 최소화 되도록, 판별자 네트워크의 인공지능 변수 벡터(θ)를 학습시킨다.
다시 말해, 생성자 네트워크(230)의 인공지능 변수 벡터 는 고정시킨다. 이것은 판별자가 저해상도 결합 이미지로부터 생성된 이미지는 판별자 네트워크(260)를 거치면서 거짓으로 판명나게 하고 원래의 고해상도 이지미는 판별자 네트워크(260)를 거치면서 참으로 판명나게 학습시키는 과정이다.
다음으로, 수학식 6을 포함하는 비용함수가 최소화되도록, 즉 판별자 네트워크(260)의 인공지능 변수 벡터(θ)는 고정시키고, N개의 저해상도 결합 이미지 z들의 생성자 네트워크(230)를 거쳐 나온 생성이미지 (240)를 판별자 네트워크(260)를 거치면서 참이 되게 하는 인공지능 학습 과정이다. 즉 생성자 네트워크(230)는 판별자를 속이는 역할을 하게 하는 인공지능 학습 과정이다.
이와 같이, 인공지능 학습 네트워크를 통하여 저해상도 데이터 z로부터 생성자 네트워크(230)를 통하여 인공지능 변수 벡터 를 최적화되게 학습시킬 수 있다. 이로부터 변환된 생성이미지 는 고해상도 이미지를 샤프하게 복원할 수 있다.
나아가, 상기 인공지능 학습과정 중에 수학식 6을 포함하는 비용함수에 저해상도 이미지 z를 생성자 네트워크(260)를 통하여 학습된 이미지의 각 픽셀 이 해당 고해상도 이미지의 픽셀 와 같아지도록 제약하는 수학식 7로 표현되는 비용함수를 같이 추가로 포함시켜 학습시킬 수도 있다.
여기서 W, H는 이미지의 가로와 세로를 각각 나타낸다.
나아가, 수학식 7 대신에 수학식 8로 표현되는 제약조건을 추가하여 학습시킬 수도 있다.
여기서, 는 고해상도 이미지 x에 대한 VGG(Visual Geometry Group)의 네트워크의 레이어 l에서 i번째 특징지도(feature map)의 j번째 원소를 나타낸다. 한편, 는 저해상도 결합 이미지 z를 생성자 네트워크(230)를 통하여 변환되어 생성된 의 VGG의 네트워크의 레이어 l에서 i번째 특징지도의 j번째 원소를 나타낸다. 즉, 수학식 8은 저해상도 결합 이미지로부터 변환된 이미지의 콘텐츠가 고해상도의 콘텐츠를 갖게 되도록 하는 제약조건일 수 있다.
참고로, VGG는 옥스퍼드 대학에서 제안한 컨벌류션 신경망(CNN) 모델로 이미지 분류에 매우 성공적인 모델이다. 본 발명의 VGG 네트워크는 VGG19 모델을 택할 수 있다. VGG19 모델은 16개의 컨벌류션(convolution)과 5개의 max pooling 및 3개의 FC(Fully Connected) 모델로 구성된다.
이와 같이 저해상도 이미지를 2개 이상 획득하고 이를 결합하여 만들어진 저해상도 결합 이미지로부터 인공지능 네트워크를 학습과정을 통하여 생성자 네트워크(230)를 학습하고, 이로부터 변환된 생성이미지 는 고해상도 이미지 x 들이 분포되어 있는 다양체(submanifold)에 속하게 할 수 있다. 즉 샤프하면서도 고해상도를 최대로 복원하는 이미지를 생성할 수 있다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술 사상과 아래에 기재될 청구범위의 균등 범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
(부호의 설명)
100...인공지능 카메라 시스템
101...카메라 모듈
110...데이터 촬영부
120...데이터 저장부
130...데이터 처리부
Claims (12)
- 피사체에 대하여 적어도 2개 이상의 이미지 데이터를 획득하기 위한 데이터 촬영부;
상기 획득된 이미지 데이터 및 인공지능 변수들을 저장하기 위한 데이터 저장부; 및
상기 저장된 이미지 데이터를 상기 저장된 인공지능 변수들을 이용하여 해상도를 높이는 처리를 하는 데이터 처리부를 포함하고,
상기 인공지능 변수들은 적어도 2개 이상의 이미지 데이터에 대해서, 판별자 네트워크를 인공지능 학습하는 과정과 생성자 네트워크를 인공지능 학습하는 과정을 반복하는 인공지능 네트워크로 학습한 것을 특징으로 하는 인공지능 카메라 시스템.
- 제 1 항에 있어서,
상기 데이터 촬영부는, 상기 피사체에 대하여 적어도 2개 이상의 이미지 데이터를 획득하기 위한 적어도 2개 이상의 카메라 모듈;을 포함하는,
인공지능 카메라 시스템.
- 제 1 항에 있어서,
상기 데이터 처리부는, 상기 획득한 적어도 2개 이상의 이미지 데이터로부터 결합 이미지를 생성하는 것을 특징으로 하는,
인공지능 카메라 시스템.
- 제 3 항에 있어서,
상기 적어도 2개 이상의 이미지 데이터 가운데 2개의 이미지 데이터를 이용하여, 아래 수학식 2에 의하여 저해상도 결합 이미지를 생성하는 것을 특징으로 하는,
인공지능 카메라 시스템.
[수학식 2]
여기서, 저해상도 결합 이미지 z는 상기 데이터 촬영부에 의하여 촬영하여 획득한 저해상도 이미지 z1, z2를, 결합한 결합 이미지이며, 상기 저해상도 이미지 z1, z2 의 크기가 W(가로) x H(세로) x C(채널수)라 할 때, 이 두 이미지의 결합 이미지 z는 W × H × 2C 의 차원을 갖는 이미지이며, i=1,2, ..., W이고, j=1,2, ...., H이고, k는 1, 2, ..., 2C이고, W, H, 및 C는 자연수이다.
- 제 3 항에 있어서,
상기 적어도 2개 이상의 이미지 데이터 가운데 2개의 이미지 데이터를 이용하여, 아래 수학식 3에 의하여 저해상도 결합 이미지를 생성하는 것을 특징으로 하는,
인공지능 카메라 시스템.
[수학식 3]
여기서, 저해상도 결합 이미지 z는 상기 데이터 촬영부에 의하여 촬영하여 획득한 저해상도 이미지 z1, z2를, 결합한 결합 이미지이며, 상기 저해상도 이미지 z1, z2 의 크기가 W(가로) x H(세로) x C(채널수)라 할 때, 이 두 이미지의 결합 이미지 z는 W × H × 2C 의 차원을 갖는 이미지이며, i=1,2, ..., W이고, j=1,2, ...., H이고, k는 1,2,..., C이고, W, H, 및 C는 자연수이다.
- 제 1 항에 있어서,
상기 인공지능 네트워크는, N개의 고해상도 이미지 x를 포함하는 고해상도 이미지들의 집합을 라고 하고, N개의 저해상도 결합 이미지를 나타내는 데이터 z를 포함하는 상기 저해상도 결합 이미지들의 집합을 라고 할 때,
상기 생성자 네트워크의 인공지능 변수 벡터 는 고정시킨 상황에서, 상기 저해상도 결합 이미지를 나타내는 데이터 z에 대하여, 상기 생성자 네트워크를 거친 생성이미지 를 얻고, 이를 다시 판별자 네트워크로 거쳐 얻은 최종 변환된 값 을 0(거짓)으로 되게 하고, 동시에 고해상도 이미지 x들을 상기 판별자 네트워크로 입력하였을 때의 변환값 는 1(참)이 되게 하여, 아래의 수학식 5를 포함하는 비용함수(cost function)을 최소화 되도록, 상기 판별자 네트워크의 인공지능 변수 벡터(θ)를 학습시키는 과정을 거치는,
인공지능 카메라 시스템.
[수학식 5]
- 제 7 항에 있어서,
상기 판별자 네트워크의 인공지능 변수 벡터(θ)는 고정시키고, N개의 저해상도 결합 이미지 z들의 상기 생성자 네트워크를 거쳐 나온 생성이미지 를 상기 판별자 네트워크를 거치면서 참이 되게, 인공지능 학습 과정을 거치며,
상기 인공지능 변수 벡터 를 최적화되게 학습시키는, 아래의 수학식 6을 포함하는 비용함수가 최소화되도록 하는,
인공지능 카메라 시스템.
[수학식 6]
여기서, 는 상기 저해상도 결합 이미지를 나타내는 데이터 z들의 생성자 네트워크를 거친 생성이미지 를 다시 판별자 네트워크로 거쳐 얻은 최종 변환된 이미지이다.
- 인공지능 카메라 시스템에서 저해상도의 영상을 고해상도의 영상으로 변환하는 방법으로서,
저해상도 이미지를 2개 이상 획득하는 단계;
상기 획득된 적어도 2개 이상의 저해상도 이미지로부터 저해상도 결합 이미지를 만드는 단계; 및
판별자 네트워크를 인공지능 학습하는 과정과 생성자 네트워크를 인공지능 학습하는 과정을 반복하는 인공지능 네트워크를 이용하여, 상기 저해상도 결합 이미지로부터 고해상도 이미지로 만드는 단계;를 포함하는,
인공지능 카메라 시스템에서의 영상 변환 방법.
- 컴퓨터를 이용하여 제11항의 방법을 실행하기 위한 프로그램을 기록한 컴퓨터 판독 가능 매체.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190071346A KR102630844B1 (ko) | 2019-06-17 | 2019-06-17 | 인공지능 카메라 시스템, 인공지능 카메라 시스템에서의 영상 변환 방법, 및 컴퓨터 판독 가능 매체 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190071346A KR102630844B1 (ko) | 2019-06-17 | 2019-06-17 | 인공지능 카메라 시스템, 인공지능 카메라 시스템에서의 영상 변환 방법, 및 컴퓨터 판독 가능 매체 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200143815A true KR20200143815A (ko) | 2020-12-28 |
KR102630844B1 KR102630844B1 (ko) | 2024-01-29 |
Family
ID=74086882
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190071346A KR102630844B1 (ko) | 2019-06-17 | 2019-06-17 | 인공지능 카메라 시스템, 인공지능 카메라 시스템에서의 영상 변환 방법, 및 컴퓨터 판독 가능 매체 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102630844B1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024076101A1 (ko) * | 2022-10-04 | 2024-04-11 | 삼성전자 주식회사 | 인공지능 기반의 영상 처리 방법 및 이를 지원하는 전자 장치 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160137289A (ko) * | 2015-05-22 | 2016-11-30 | 삼성전자주식회사 | 촬영 장치 및 촬영 장치의 동작방법 |
KR20190062283A (ko) * | 2017-11-28 | 2019-06-05 | 한국전자통신연구원 | 선택적 손실 함수를 이용한 생성적 적대 네트워크의 학습을 위한 방법 및 장치 |
-
2019
- 2019-06-17 KR KR1020190071346A patent/KR102630844B1/ko active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160137289A (ko) * | 2015-05-22 | 2016-11-30 | 삼성전자주식회사 | 촬영 장치 및 촬영 장치의 동작방법 |
KR20190062283A (ko) * | 2017-11-28 | 2019-06-05 | 한국전자통신연구원 | 선택적 손실 함수를 이용한 생성적 적대 네트워크의 학습을 위한 방법 및 장치 |
Non-Patent Citations (3)
Title |
---|
C. Dong, et al, "Learning a deep convolutional network for image super-resolution", In European Conference on Computer Vision (ECCV), pages 184-199. Springer, 2014. 3, 6, 8 |
대한민국 특허공보 제10-1116800호(발명의 명칭 : 저해상도 이미지로부터 고해상도 이미지를 생성하는 해상도 변환 방법{RESOLUTION CONVERSION METHOD FOR MAKING A HIGH RESOLUTION IMAGE FROM A LOW RESOLUTION IMAGE}, 등록일 : 2012.02.08) |
미국 공개특허공보 제2009-0274385호(발명의 명칭 : SUPER RESOLUTION USING GAUSSIAN REGRESSION, 공개일 : 2009.11.05) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024076101A1 (ko) * | 2022-10-04 | 2024-04-11 | 삼성전자 주식회사 | 인공지능 기반의 영상 처리 방법 및 이를 지원하는 전자 장치 |
Also Published As
Publication number | Publication date |
---|---|
KR102630844B1 (ko) | 2024-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10901740B2 (en) | Synthetic depth image generation from cad data using generative adversarial neural networks for enhancement | |
US10740897B2 (en) | Method and device for three-dimensional feature-embedded image object component-level semantic segmentation | |
Liao et al. | DR-GAN: Automatic radial distortion rectification using conditional GAN in real-time | |
US20220222776A1 (en) | Multi-Stage Multi-Reference Bootstrapping for Video Super-Resolution | |
KR102493492B1 (ko) | 초해상도 모델의 메타 러닝을 통한 빠른 적응 방법 및 장치 | |
JP2020038664A (ja) | コンボリューションニューラルネットワークから複数の出力のアンサンブルを利用して統合された特徴マップを提供するための方法及び装置{method and device for providing integrated feature map using ensemble of multiple outputs from convolutional neural network} | |
CN110555527A (zh) | 延时摄影视频的生成方法及设备 | |
JP2024026745A (ja) | 人工知能ニューラルネットワークの推論または訓練に対する、故意に歪みを制御する撮像装置の利用 | |
CN111950419A (zh) | 图像信息预测方法、装置、计算机设备和存储介质 | |
CN111028302B (zh) | 一种基于深度学习的压缩对象成像方法及系统 | |
CN112884648A (zh) | 多类模糊图像超分辨率重建的方法和系统 | |
CN116612015A (zh) | 模型训练方法、图像去摩尔纹方法、装置及电子设备 | |
CN116157805A (zh) | 利用神经嵌入的相机图像或视频处理流水线 | |
CN113658091A (zh) | 一种图像评价方法、存储介质及终端设备 | |
KR102630844B1 (ko) | 인공지능 카메라 시스템, 인공지능 카메라 시스템에서의 영상 변환 방법, 및 컴퓨터 판독 가능 매체 | |
WO2023045627A1 (zh) | 图像超分方法、装置、设备及存储介质 | |
KR20210040702A (ko) | 모자이크 생성 장치 및 방법 | |
CN114119428B (zh) | 一种图像去模糊方法和装置 | |
CN116452418A (zh) | 低分辨率图像目标识别的方法、装置及系统 | |
CN112203023B (zh) | 一种十亿像素视频生成方法及装置、设备、介质 | |
BR et al. | Machine Learning Application for Evidence Image Enhancement | |
CN111028290B (zh) | 一种用于绘本阅读机器人的图形处理方法及装置 | |
CN114640785A (zh) | 站点模型更新方法及系统 | |
JP2016085694A (ja) | 画像処理装置及びその制御方法、プログラム | |
KR102358355B1 (ko) | 얼굴 영상의 점진적 디블러링 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |