KR20220039429A - 컬러 분해 방법 및 이를 이용한 심층 학습 기반의 디모자이킹 방법 - Google Patents
컬러 분해 방법 및 이를 이용한 심층 학습 기반의 디모자이킹 방법 Download PDFInfo
- Publication number
- KR20220039429A KR20220039429A KR1020200122511A KR20200122511A KR20220039429A KR 20220039429 A KR20220039429 A KR 20220039429A KR 1020200122511 A KR1020200122511 A KR 1020200122511A KR 20200122511 A KR20200122511 A KR 20200122511A KR 20220039429 A KR20220039429 A KR 20220039429A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- color
- green
- inter
- color images
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000013135 deep learning Methods 0.000 title claims abstract description 47
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 16
- 230000035945 sensitivity Effects 0.000 claims abstract description 76
- 238000013528 artificial neural network Methods 0.000 claims abstract description 60
- 238000006243 chemical reaction Methods 0.000 claims abstract description 26
- 238000000926 separation method Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 230000007423 decrease Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 28
- 238000012545 processing Methods 0.000 description 15
- 238000011176 pooling Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 102100026191 Class E basic helix-loop-helix protein 40 Human genes 0.000 description 4
- 101710130550 Class E basic helix-loop-helix protein 40 Proteins 0.000 description 4
- 102100035087 Ectoderm-neural cortex protein 1 Human genes 0.000 description 4
- 101000877456 Homo sapiens Ectoderm-neural cortex protein 1 Proteins 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 102100026190 Class E basic helix-loop-helix protein 41 Human genes 0.000 description 3
- 102100023882 Endoribonuclease ZC3H12A Human genes 0.000 description 3
- 101710112715 Endoribonuclease ZC3H12A Proteins 0.000 description 3
- 101000765033 Homo sapiens Class E basic helix-loop-helix protein 41 Proteins 0.000 description 3
- 101001006871 Homo sapiens Kelch-like protein 25 Proteins 0.000 description 3
- 102100027800 Kelch-like protein 25 Human genes 0.000 description 3
- 108700012361 REG2 Proteins 0.000 description 3
- 101150108637 REG2 gene Proteins 0.000 description 3
- 101100120298 Rattus norvegicus Flot1 gene Proteins 0.000 description 3
- 101100412403 Rattus norvegicus Reg3b gene Proteins 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- QGVYYLZOAMMKAH-UHFFFAOYSA-N pegnivacogin Chemical compound COCCOC(=O)NCCCCC(NC(=O)OCCOC)C(=O)NCCCCCCOP(=O)(O)O QGVYYLZOAMMKAH-UHFFFAOYSA-N 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000010977 unit operation Methods 0.000 description 3
- JCJMVSDVPRRNSU-UHFFFAOYSA-N 2-[2-(diaminomethylidenehydrazinylidene)ethylideneamino]guanidine Chemical compound NC(N)=NN=CC=NN=C(N)N JCJMVSDVPRRNSU-UHFFFAOYSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 102100040551 Protein odd-skipped-related 1 Human genes 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H04N9/04515—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
컬러 분해 방법은, 복수의 컬러 이미지들에 기초하여 컬러 감도들 사이의 유사도를 나타내는 하나 이상의 인터-컬러 이미지들을 발생하는 단계, 상기 컬러 이미지들 및 상기 인터-컬러 이미지들의 백색 이미지에 대한 변환 계수들을 결정하는 단계 및 상기 변환 계수들을 이용하여 상기 컬러 이미지들 및 상기 인터-컬러 이미지들에 상응하는 가상 백색 이미지를 발생하는 단계를 포함한다. 상기 인터-컬러 이미지를 이용하여 컬러 이미지들로부터 실제 백색 이미지와 유사한 가상 백색 이미지를 발생할 수 있다. 상기 컬러 이미지들 및 상기 가상 백색 이미지를 이용하여 효율적으로 인공 신경망의 심층 학습을 수행하고 학습된 인공 신경망을 이용하여 높은 이미지 품질을 갖는 디모자이크 이미지들을 발생할 수 있다.
Description
본 발명은 이미지 프로세싱에 관한 것으로서, 더욱 상세하게는 컬러 분해 방법 및 상기 컬러 분해 방법을 이용한 심층 학습 기반의 디모자이킹 방법에 관한 것이다.
심층 학습(deep learning) 기반의 이미지 프로세싱의 경우, 학습을 위하여 충분한 수량의 트레이닝 데이터 또는 학습 데이터가 필요하다. 심층 학습 기반의 알고리즘에 활용하기 위한 트레이닝 데이터의 경우 학습 시 과적합(over-fitting)을 방지하고 성능을 향상시키기 위해 다양한 종류의 데이터를 수십-수백만 개(또는 장) 이상 확보해야 하는데, 실제 이미지 센서를 활용해 학습에 필요한 충분한 수량의 데이터를 확보하기는 쉽지가 않다.
상기와 같은 문제점을 해결하기 위한 본 발명의 일 목적은, 컬러 이미지들로부터 효율적으로 가상 백색 이미지를 발생할 수 있는 컬러 분해 방법을 제공하는 것이다.
또한 본 발명의 일 목적은, 상기 컬러 분해 방법을 이용하여 효율적으로 디모자이크 이미지들을 발생할 수 있는 심층 학습 기반의 디모자이킹 방법을 제공하는 것이다.
상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 컬러 분해 방법은, 복수의 컬러 이미지들에 기초하여 컬러 감도들 사이의 유사도를 나타내는 하나 이상의 인터-컬러 이미지들을 발생하는 단계, 상기 컬러 이미지들 및 상기 인터-컬러 이미지들의 백색 이미지에 대한 변환 계수들을 결정하는 단계 및 상기 변환 계수들을 이용하여 상기 컬러 이미지들 및 상기 인터-컬러 이미지들에 상응하는 가상 백색 이미지를 발생하는 단계를 포함한다.
상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 심층 학습 기반의 디모자이킹 방법은, 복수의 컬러 이미지들에 기초하여 컬러 감도들 사이의 유사도를 나타내는 하나 이상의 인터-컬러 이미지들을 발생하는 단계, 상기 컬러 이미지들 및 상기 인터-컬러 이미지들의 백색 이미지에 대한 변환 계수들을 결정하는 단계, 상기 변환 계수들을 이용하여 상기 컬러 이미지들 및 상기 인터-컬러 이미지들에 상응하는 가상 백색 이미지를 발생하는 단계, 상기 컬러 이미지들 및 상기 가상 백색 이미지에 기초하여 학습 모자이크 이미지를 발생하는 단계, 상기 학습 모자이크 이미지에 기초하여 인공 신경망을 트레이닝하여 학습된 인공 신경망을 제공하는 단계, 상기 학습된 인공 신경망에 기초하여 입력 모자이크 이미지에 상응하는 디모자이크 컬러 이미지들을 발생하는 단계를 포함한다.
상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 심층 학습 기반의 디모자이킹 방법은, 적색 이미지, 녹색 이미지 및 청색 이미지에 기초하여 녹색 감도 및 청색 감도 사이의 유사도를 나타내는 녹색-청색 이미지 및 상기 녹색 감도 및 적색 감소 사이의 유사도를 나타내는 녹색-적색 이미지를 발생하는 단계, 상기 적색 이미지, 상기 녹색 이미지, 상기 청색 이미지, 상기 녹색-청색 이미지 및 상기 녹색-적색 이미지의 백색 이미지에 대한 변환 계수들을 결정하는 단계, 상기 변환 계수들을 이용하여 상기 적색 이미지, 상기 녹색 이미지, 상기 청색 이미지, 상기 녹색-청색 이미지 및 상기 녹색-적색 이미지의 백색 이미지에 상응하는 가상 백색 이미지를 발생하는 단계, 상기 적색 이미지, 상기 녹색 이미지, 상기 청색 이미지 및 상기 가상 백색 이미지에 기초하여 학습 모자이크 이미지를 발생하는 단계, 상기 학습 모자이크 이미지에 기초하여 인공 신경망을 트레이닝하여 학습된 인공 신경망을 제공하는 단계, 및 상기 학습된 인공 신경망에 기초하여 입력 RGBW 패턴의 입력 모자이크 이미지에 상응하는 디모자이크 적색 이미지, 디모자이크 녹색 이미지 및 디모자이크 청색 이미지를 발생하는 단계를 포함한다.
본 발명의 실시예들에 따른 컬러 분해 방법은 컬러 감도들 사이의 유사도를 나타내는 인터-컬러 이미지를 이용하여 컬러 이미지들로부터 실제 백색 이미지와 유사한 가상 백색 이미지를 발생할 수 있다.
본 발명의 실시예들에 따른 심층 학습 기반의 모자이킹 방법은 상기 컬러 이미지들 및 상기 가상 백색 이미지를 이용하여 효율적으로 인공 신경망의 심층 학습을 수행하고 학습된 인공 신경망을 이용하여 높은 이미지 품질을 갖는 디모자이크 이미지들을 발생할 수 있다.
도 1은 본 발명의 실시예들에 따른 컬러 분해 방법을 나타내는 순서도이다.
도 2는 본 발명의 실시예들에 따른 컬러 분해 장치를 나타내는 블록도이다.
도 3 및 4는 본 발명의 실시예들에 따른 컬러 분해 방법의 이미지들을 나타내는 도면들이다.
도 5는 본 발명의 실시예들에 따른 컬러 분해 방법을 위한 변환 계수 결정의 일 실시예를 설명하기 위한 도면이다.
도 6은 이미지 센서의 파장에 따른 컬러 감도들의 일 예를 나타내는 도면이다.
도 7은 본 발명의 실시예들에 따른 컬러 분해 방법에 의한 가상 백색 이미지의 파장에 따른 감도를 나타내는 도면이다.
도 8은 본 발명의 실시예들에 따른 컬러 분해 장치를 나타내는 블록도이다.
도 9 및 10은 본 발명의 실시예들에 따른 심층 학습을 수행하는 장치에 의해 구동되는 인공 신경망 구조의 예를 설명하기 위한 도면들이다.
도 11은 인공 신경망의 예시적인 노드를 나타내는 도면이다.
도 12는 본 발명의 실시예들에 따른 심층 학습 기반의 디모자이킹 방법을 나타내는 순서도이다.
도 13은 본 발명의 실시예들에 따른 심층 학습 기반의 디모자이킹 방법의 이미지들을 나타내는 도면이다.
도 14는 본 발명의 실시예들에 따른 심층 학습 기반의 디모자이킹 방법을 위한 인공 신경망의 일 실시예를 나타내는 블록도이다.
도 15는 본 발명의 실시예들에 따른 심층 학습 기반의 디모자이킹 방법을 위한 인공 신경망의 구조의 일 실시예를 나타내는 블록도이다.
도 16은 도 15의 인공 신경망의 패러미터들의 개수를 나타내는 도면이다.
도 17은 본 발명의 실시예들에 따른 심층 학습 기반의 디모자이킹 방법의 효과를 설명하기 위한 도면이다.
도 18은 본 발명의 실시예들에 따른 심층 학습 기반의 디모자이킹 방법을 나타내는 순서도이다.
도 19는 본 발명의 실시예들에 따른 심층 학습 기반의 디모자이킹 방법을 수행하는 시스템을 나타내는 블록도이다.
도 20은 도 19의 시스템에서 사용되는 인터페이스의 일 예를 나타내는 블록도이다.
도 2는 본 발명의 실시예들에 따른 컬러 분해 장치를 나타내는 블록도이다.
도 3 및 4는 본 발명의 실시예들에 따른 컬러 분해 방법의 이미지들을 나타내는 도면들이다.
도 5는 본 발명의 실시예들에 따른 컬러 분해 방법을 위한 변환 계수 결정의 일 실시예를 설명하기 위한 도면이다.
도 6은 이미지 센서의 파장에 따른 컬러 감도들의 일 예를 나타내는 도면이다.
도 7은 본 발명의 실시예들에 따른 컬러 분해 방법에 의한 가상 백색 이미지의 파장에 따른 감도를 나타내는 도면이다.
도 8은 본 발명의 실시예들에 따른 컬러 분해 장치를 나타내는 블록도이다.
도 9 및 10은 본 발명의 실시예들에 따른 심층 학습을 수행하는 장치에 의해 구동되는 인공 신경망 구조의 예를 설명하기 위한 도면들이다.
도 11은 인공 신경망의 예시적인 노드를 나타내는 도면이다.
도 12는 본 발명의 실시예들에 따른 심층 학습 기반의 디모자이킹 방법을 나타내는 순서도이다.
도 13은 본 발명의 실시예들에 따른 심층 학습 기반의 디모자이킹 방법의 이미지들을 나타내는 도면이다.
도 14는 본 발명의 실시예들에 따른 심층 학습 기반의 디모자이킹 방법을 위한 인공 신경망의 일 실시예를 나타내는 블록도이다.
도 15는 본 발명의 실시예들에 따른 심층 학습 기반의 디모자이킹 방법을 위한 인공 신경망의 구조의 일 실시예를 나타내는 블록도이다.
도 16은 도 15의 인공 신경망의 패러미터들의 개수를 나타내는 도면이다.
도 17은 본 발명의 실시예들에 따른 심층 학습 기반의 디모자이킹 방법의 효과를 설명하기 위한 도면이다.
도 18은 본 발명의 실시예들에 따른 심층 학습 기반의 디모자이킹 방법을 나타내는 순서도이다.
도 19는 본 발명의 실시예들에 따른 심층 학습 기반의 디모자이킹 방법을 수행하는 시스템을 나타내는 블록도이다.
도 20은 도 19의 시스템에서 사용되는 인터페이스의 일 예를 나타내는 블록도이다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예들에 따른 컬러 분해 방법을 나타내는 순서도이다.
도 1을 참조하면, 복수의 컬러 이미지들에 기초하여 컬러 감도들 사이의 유사도를 나타내는 하나 이상의 인터-컬러 이미지들을 발생한다(S100).
컬러 감도들 사이의 유사도는 이미지를 제공하는 이미지 센서에 입사되는 빛의 파장에 따라서 변화될 수 있다. 컬러 감도들 사이의 유사도는 도 6을 참조하여 후술하는 바와 같이, 휘도가 동일한 조건에서 컬러 픽셀 값들의 차가 작을수록 유사도가 클 수 있다.
상기 컬러 이미지들 및 상기 인터-컬러 이미지들의 백색 이미지에 대한 변환 계수들을 결정한다(S200).
일 실시예에서, 도 5를 참조하여 후술하는 바와 같이, 실제 RGBW 이미지 센서에서 획득한 실제 백색 이미지들의 복수의 백색 컬러 값들, 상기 복수의 컬러 이미지들의 복수의 컬러 픽셀 값들 및 상기 인터-컬러 이미지들의 복수의 인터-컬러 픽셀 값들을 성분으로 하는 행렬에 기초한 최소 자승법(least square method)을 이용하여 상기 변환 계수들을 결정할 수 있다.
일 실시예에서, 도 5를 참조하여 후술하는 바와 같이, 상기 인터-컬러 이미지의 인터-컬러 픽셀 값은 서로 다른 컬러 이미지들의 상기 인터-컬러 픽셀에 상응하는 컬러 픽셀 값들의 곱에 대한 제곱근일 수 있다.
상기 변환 계수들을 이용하여 상기 컬러 이미지들 및 상기 인터-컬러 이미지들에 상응하는 가상 백색 이미지를 발생한다(S300). 여기서 가상 백색 이미지(pseudo-white image)라 함은 백색 픽셀을 포함하는 이미지 센서에서 제공되는 실제의 백색 이미지와 구별됨을 나타낸다.
일 실시예에서, 가상 백색 이미지는 상기 복수의 컬러 이미지들에 더하여 이미지 프로세싱과 관련된 인공 신경망의 심층 학습을 위한 추가적인 정보로서 이용될 수 있다. 일 실시예에서, 이와 같이 발생된 가상 백색 이미지는 백색 픽셀을 포함하는 디스플레이 장치의 디스플레이 데이터로서 이용될 수 있다.
이와 같이, 본 발명의 실시예들에 따른 컬러 분해 방법은 컬러 감도들 사이의 유사도를 나타내는 인터-컬러 이미지를 이용하여 컬러 이미지들로부터 실제 백색 이미지와 유사한 가상 백색 이미지를 발생할 수 있다.
후술하는 바와 같이, 상기 가상 백색 이미지는 본 발명의 실시예들에 따른 심층 학습 기반의 모자이킹 방법에 이용될 수 있다. 상기 컬러 이미지들 및 상기 가상 백색 이미지를 이용하여 효율적으로 인공 신경망의 심층 학습을 수행하고 학습된 인공 신경망을 이용하여 높은 이미지 품질을 갖는 디모자이크 이미지들을 발생할 수 있다.
도 2는 본 발명의 실시예들에 따른 컬러 분해 장치를 나타내는 블록도이다.
도 2를 참조하면, 컬러 분해 장치(100)는 제1 인터-컬러 이미지 발생기(GBIG)(110), 제2 인터-컬러 이미지 발생기(GRIG)(120) 및 이미지 처리부(130)를 포함할 수 있다.
제1 인터-컬러 이미지 발생기(110) 및 제2 인터-컬러 이미지 발생기(120)는 복수의 컬러 이미지들에 기초하여 컬러 감도들 사이의 유사도를 나타내는 하나 이상의 인터-컬러 이미지들을 발생할 수 있다. 일 실시예에서, 상기 복수의 컬러 이미지들은 적색 이미지(Ir), 녹색 이미지(Ib) 및 청색 이미지(Ir)를 포함할 수 있다.
이하에서는, 상기 복수의 컬러 이미지들은 적색 이미지(Ir), 녹색 이미지(Ib) 및 청색 이미지(Ir)를 포함하는 경우를 중심으로 본 발명의 실시예들을 설명하지만, 본 발명의 실시예들이 이에 한정되는 것은 아니다.
상기 복수의 컬러 이미지들이 적색 이미지(Ir), 녹색 이미지(Ib) 및 청색 이미지(Ir)를 포함하는 경우, 상기 인터-컬러 이미지들은 녹색 감도 및 청색 감도 사이의 유사도를 나타내는 녹색-청색 이미지(Igb) 및 상기 녹색 감도 및 적색 감소 사이의 유사도를 나타내는 녹색-적색 이미지(Igr)를 포함할 수 있다.
제1 인터-컬러 이미지 발생기(110)는 녹색 이미지(Ig) 및 청색 이미지(Ib)에 기초하여 상기 녹색 감도 및 상기 청색 감도 사이의 유사도를 나타내는 녹색-청색 이미지(Igb)를 발생할 수 있다. 제2 인터-컬러 이미지 발생기(120)는 녹색 이미지(Ig) 및 적색 이미지(Ir)에 기초하여 상기 녹색 감도 및 상기 적색 감도 사이의 유사도를 나타내는 녹색-적색 이미지(Igr)를 발생할 수 있다. 컬러 감도들 사이의 유사도는 도 6을 참조하여 후술한다.
이미지 처리부(130)는 변환 계수 발생기(CCG)(131) 및 가상 백색 이미지 발생기(PWIG)(132)를 포함할 수 있다.
변환 계수 발생기(131)는 상기 복수의 컬러 이미지들 및 상기 인터-컬러 이미지들의 백색 이미지에 대한 변환 계수들을 결정할 수 있다. 가상 백색 이미지 발생기(132)는 상기 변환 계수들을 이용하여 상기 컬러 이미지들 및 상기 인터-컬러 이미지들에 상응하는 가상 백색 이미지를 발생할 수 있다.
상기 복수의 컬러 이미지들이 적색 이미지(Ir), 녹색 이미지(Ib) 및 청색 이미지(Ir)를 포함하는 경우, 변환 계수 발생기(131)는 적색 이미지(Ir)의 백색 이미지에 대한 적색 변환 계수(Cr), 녹색 이미지(Ig)의 백색 이미지에 대한 녹색 변환 계수(Cg), 청색 이미지(Ib)의 백색 이미지에 대한 청색 변환 계수(Cb), 녹색-청색 이미지(Igb)의 백색 이미지에 대한 녹색-청색 변환 계수(Cgb) 및 녹색-적색 이미지(Igr)의 백색 이미지에 대한 녹색-적색 변환 계수(Cgr)를 발생할 수 있다. 여기서, 녹색-청색 이미지(Igb) 및 녹색-적색 이미지(Igr)은 전술한 인터-컬러 이미지들에 상응한다.
이 경우, 가상 백색 이미지 발생기(132)는 적색 변환 계수(Cr), 녹색 변환 계수(Cg), 청색 변환 계수(Cb), 녹색-청색 변환 계수(Cgb) 및 녹색-적색 변환 계수(Cgr)에 기초하여 가상 백색 이미지(Iw)를 발생할 수 있다.
후술하는 바와 같이, 적색 이미지(Ir), 녹색 이미지(Ig), 청색 이미지(Ib) 및 가상 백색 이미지(Iw)는 디모자이킹과 같은 이미지 프로세싱을 위한 인공 신경망의 트레이닝 데이터 세트(IStr) 또는 학습 데이터 세트로 이용될 수 있다.
상기 인공 신경망이 모자이크 이미지에 기초하여 디모자이크 적색 이미지, 디모자이크 녹색 이미지 및 디모자이크 청색 이미지를 발생하도록 설계된 경우 적색 이미지(Ir), 녹색 이미지(Ig), 청색 이미지(Ib) 및 가상 백색 이미지(Iw)는 학습 결과를 검증하기 위한 그라운드 트루스(ground truth) 이미지 세트(ISgt)로 이용될 수 있다.
이와 같이, 본 발명의 실시예들에 따른 컬러 분해 방법 및 컬러 분해 장치는 컬러 감도들 사이의 유사도를 나타내는 인터-컬러 이미지를 이용하여 컬러 이미지들로부터 실제 백색 이미지와 유사한 가상 백색 이미지를 발생할 수 있다.
한편, 후술하는 바와 같이, 본 발명의 실시예들에 따른 심층 학습 기반의 모자이킹 방법은 상기 컬러 이미지들 및 상기 가상 백색 이미지를 이용하여 효율적으로 인공 신경망의 심층 학습을 수행하고 학습된 인공 신경망을 이용하여 높은 이미지 품질을 갖는 디모자이크 이미지들을 발생할 수 있다.
도 3 및 4는 본 발명의 실시예들에 따른 컬러 분해 방법의 이미지들을 나타내는 도면들이다.
도 3 및 4에는 n개의 픽셀 행들과 m개의 픽셀 열들로 이루어진 적색 이미지(Ir), 녹색 이미지(Ig), 청색 이미지(Ib), 녹색-적색 이미지(Igr), 녹색-청색 이미지(Igb) 및 가상 백색 이미지(Iw)가 도시되어 있다.
도 3 및 4를 참조하면, 적색 이미지(Ir)는 m*n개의 적색 픽셀 값들(R11~Rnm)을 포함하고, 녹색 이미지(Ig)는 m*n개의 녹색 픽셀 값들(G11~Gnm)을 포함하고, 청색 이미지(Ib)는 m*n개의 청색 픽셀 값들(B11~Bnm)을 포함한다. 적색 이미지(Ir), 녹색 이미지(Ig) 및 청색 이미지(Ib)는 모든 픽셀들에 대한 픽셀 값들을 가지는 디모자이크 이미지(demosaiced image) 또는 풀 컬러 이미지(full color image)에 해당한다.
녹색-적색 이미지(Igr)는 m*n개의 녹색-적색 픽셀 값들(GR11~GRnm)을 포함하고, 녹색-청색 이미지(Igb)는 m*n개의 적색 픽셀 값들(GB11~GBnm)을 포함하고 가상 백색 이미지(Iw)는 m*n개의 백색 픽셀 값들(W11~Wnm)을 포함한다.
도 3 및 4에 도시된 바와 같이, 적색 이미지(Ir), 녹색 이미지(Ig), 청색 이미지(Ib), 녹색-적색 이미지(Igr), 녹색-청색 이미지(Igb) 및 가상 백색 이미지(Iw)는 각각 n*m개의 픽셀 값들을 포함하고 서로 다른 이미지들의 픽셀 값들은 픽셀 위치에 따라서 일대일 대응한다.도 5는 본 발명의 실시예들에 따른 컬러 분해 방법을 위한 변환 계수 결정의 일 실시예를 설명하기 위한 도면이다.
가상 백색 이미지의 백색 픽셀 값은 하기의 수학식 1에 의해 발생될 수 있다.
[수학식 1]
상기 수학식 1에서, W는 실제 RGBW 이미지 센서에서 획득한 실제 백색 이미지 또는 전술한 컬러 분해 방법을 통하여 획득한 가상 백색 이미지의 백색 픽셀 값을 나타내고, R은 적색 이미지의 적색 픽셀 값을 나타내고, G는 녹색 이미지의 녹색 픽셀 값을 나타내고, B는 청색 이미지의 청색 픽셀 값을 나타낸다. GB는 인터-컬러 이미지들의 하나에 해당하는 녹색-청색 이미지의 녹색-청색 픽셀 값을 나타내고, GR은 인터-컬러 이미지들의 다른 하나에 해당하는 녹색-적색 이미지의 녹색-적색 픽셀 값을 나타낸다.
Cr은 상기 적색 이미지의 백색 이미지에 대한 적색 변환 계수를 나타내고, Cg는 상기 녹색 이미지의 백색 이미지에 대한 녹색 변환 계수를 나타내고, Cb는 상기 청색 이미지의 백색 이미지에 대한 청색 변환 계수를 나타내고, Cgb는 상기 녹색-청색 이미지의 백색 이미지에 대한 녹색-청색 변환 계수를 나타내고, Cgr은 상기 녹색-적색 이미지의 백색 이미지에 대한 녹색-적색 변환 계수를 나타낸다.
수학식 1의 관계를 이미지들의 서로 대응되는 복수의 픽셀 값들에 대해 정리한 행렬식이 도시되어 있으며, 수학식 2와 같이 표현될 수 있다.
[수학식 2]
수학식 2에서, W는 가상 백색 이미지의 복수의 백색 픽셀 값들(W1~Wn)을 포함하는 열 벡터를 나타내고, C는 적색 이미지(Ir)의 백색 이미지에 대한 적색 변환 계수(Cr), 녹색 이미지(Ig)의 백색 이미지에 대한 녹색 변환 계수(Cg), 청색 이미지(Ir)의 백색 이미지에 대한 청색 변환 계수(Cr), 녹색-청색 이미지(Igb)의 백색 이미지에 대한 녹색-청색 변환 계수(Cgb) 및 녹색-적색 이미지(Igr)의 백색 이미지에 대한 녹색-적색 변환 계수(Cgr)를 포함하는 열 벡터를 나타낸다.
또한, 수학식 2에서 A는 적색 이미지의 복수의 적색 픽셀 값들(R1~Rn), 녹색 이미지의 복수의 녹색 픽셀 값들(G1~Gn), 청색 이미지의 복수의 청색 픽셀 값들(B1~Bn), 인터-컬러 이미지들의 하나에 해당하는 녹색-청색 이미지의 복수의 녹색-청색 픽셀 값들(
) 및 인터-컬러 이미지들의 다른 하나에 해당하는 녹색-적색 이미지의 복수의 녹색-적색 픽셀 값들(
)을 성분으로 하는 행렬을 나타낸다.
이와 같이, 녹색-청색 픽셀 값(
, i는 1에서 n까지의 자연수)은 녹색 픽셀 값(Gi) 및 청색 픽셀 값(Bi)의 곱에 대한 제곱근이고, 녹색-적색 픽셀 값(
)은 녹색 픽셀 값(Gi) 및 적색 픽셀 값(Ri)의 곱에 대한 제곱근으로 설정될 수 있다.
실제 백색 이미지의 백색 픽셀 값들(W)을 이용하여 계수 열 행렬(C)을 결정할 수 있다. 수학식 2를 최소 자승법(least square method)을 활용해 수학식 3과 같이 풀어내면 열 행렬(C)의 성분들, 즉 적색 변환 계수(Cr), 녹색 변환 계수(Cg), 청색 변환 계수(Cb), 녹색-청색 변환 계수(Cgb) 및 녹색-적색 변환 계수(Cgr)를 구할 수 있다.
[수학식 3]
이러한 방식으로 구한 변환 계수들의 일 예가 수학식 4에 나타나 있고, 이러한 변환 계수들을 수학식 1 또는 2에 적용하여 가상 백색 이미지(Iw)의 백색 픽셀 값들을 계산할 수 있다.
[수학식 4]
Cr= 0.71
Cg= 1.4
Cb= 1.51
Cgb= -1.34
Cgr= -0.62
수학식 4에 나타낸 바와 같이, 컬러 이미지들의 백색 이미지에 대한 변환 계수들, 즉 적색 변환 계수(Cr), 녹색 변환 계수(Cg) 및 청색 변환 계수(Cb)는 양의 값들을 가질 수 있다. 반면에 녹색-청색 변환 계수(Cgb) 및 녹색-적색 변환 계수(Cgr)는 음의 값들을 가질 수 있다.
녹색 감도 및 청색 감도 사이의 유사도가 증가할수록 녹색-청색 이미지의 녹색-청색 픽셀 값(
)이 증가할 수 있다. 또한, 녹색 감도 및 적색 감도 사이의 유사도가 증가할수록 녹색-적색 이미지의 녹색-청색 픽셀 값(
)이 증가할 수 있다.
녹색-청색 변환 계수(Cgb)가 음의 값을 갖는 경우, 수학식 1에 따라서, 녹색-청색 이미지의 녹색-청색 픽셀 값(
)이 증가할수록 가상 백색 이미지의 녹색-청색 픽셀 값(
)에 상응하는 백색 픽셀 값(Wi)이 감소할 수 있다.
또한, 녹색-적색 변환 계수(Cgr)가 음의 값을 갖는 경우, 수학식 1에 따라서, 녹색-적색 이미지의 녹색-적색 픽셀 값(
)이 증가할수록 가상 백색 이미지의 녹색-적색 픽셀 값(
)에 상응하는 백색 픽셀 값(Wi)이 감소할 수 있다.
이상, 복수의 컬러 이미지들이 적색 이미지, 녹색 이미지 및 청색 이미지인 경우에 대하여 설명하였으나, 본 발명의 실시예들은 컬러 감도들 사이의 유사도가 고려될 수 있는 임의의 컬러 이미지들에 대해 적용될 수 있다.
임의의 컬러 이미지들에 대하여 상기 컬러 감도들 사이의 유사도가 증가할수록 상기 인터-컬러 이미지의 인터-컬러 픽셀 값이 증가할 수 있다. 상기 컬러 이미지들의 상기 백색 이미지에 대한 변환 계수들은 양의 값들을 갖고 상기 인터-컬러 이미지들의 상기 백색 이미지에 대한 변환 계수들은 음의 값들을 가질 수 있다. 이 경우, 상기 인터-컬러 이미지의 인터-컬러 픽셀 값이 증가할수록 상기 가상 백색 이미지의 상기 인터-컬러 픽셀 값에 상응하는 백색 픽셀 값이 감소할 수 있다.
도 6은 이미지 센서의 파장에 따른 컬러 감도들의 일 예를 나타내는 도면이고, 도 7은 본 발명의 실시예들에 따른 컬러 분해 방법에 의한 가상 백색 이미지의 파장에 따른 감도를 나타내는 도면이다.
도 6 및 7에서, 가로축은 빛의 파장을 nm(nano-meter) 단위로 나타내고, 세로축은 컬러 감도를 나타낸다.
도 6에는 실제 RGB sensor에서 획득한 적색 이미지(R), 녹색 이미지(G) 및 청색 이미지(B)가 각각 고유의 스펙트럼 컬러 감도를 갖는 것이 도시되어 있다.
도 7에는 실제 RGBW 이미지 센서로부터 획득한 백색 이미지의 백색 감도(W), 일반적인 RGB 이미지로부터 밝기(luminance)를 추출하는 방법으로 발생한 가상 백색 이미지의 백색 감도(LINEAR) 및 본 발명의 실시예들에 따른 컬러 분해 방법으로 발생한 가상 백색 이미지의 백색 감도(NON-LINEAR)가 도시되어 있다.
도 6에 도시된 바와 같이, 제1 중첩 영역(REG1)에서는 청색 감도 및 녹색 감도의 유사도가 증가하고, 제2 중첩 영역(REG2)에서는 적색 감도 및 녹색 감도의 유사도가 증가한다. 여기서 컬러 감도들 사이의 유사도가 증가한다는 것은 컬러 감도들의 차이가 감소한다는 것을 나타낸다.
도 7에 도시된 바와 같이, 적색 이미지(R), 녹색 이미지(G) 및 청색 이미지(B)를 활용해 가상 백색 이미지를 생성할 때 일반적으로 널리 사용하는 선형 기법을 사용할 경우 청색 감도와 녹색 감도의 유사도가 증가하는 제1 중첩 영역(REG1) 및 적색 감도와 녹색 감도의 유사도가 증가하는 제2 중첩 영역(REG2)에서 가상 백색 이미지가 과대 증폭되는 이상 현상이 현저해진다.
이러한 중첩 영역들(REG1, REG2)의 가상 백색 이미지의 백색 픽셀 값을 효율적으로 감소시키기 위해 본 발명의 실시예들에 따라서 인터-컬러 이미지의 인터-컬러 픽셀 값을 전술한 바와 같이 서로 다른 컬러 이미지들의 상기 인터-컬러 픽셀에 상응하는 컬러 픽셀 값들의 곱에 대한 제곱근으로 설정할 수 있다.
2개의 컬러 픽셀 값들을 A 및 B라 할 때, A 및 B의 산술 평균 (A+B)/2 및 기하 평균 (A*B)1/2은 다음과 같은 수학식 5의 관계를 만족한다.
[수학식 5]
(A+B)/2 ≥ (A*B)1/2
산술 평균인 (A+B)/2는 2개의 픽셀 값들에 상응하는 평균 휘도에 해당하고, 기하 평균인 (A*B)1/2는 인터-컬러 이미지의 픽셀 값, 즉 2개의 컬러 감도들 사이의 유사도에 해당한다.
2개의 컬러 픽셀 값들에 상응하는 휘도가 동일한 조건에서, 즉, (A+B)2가 고정된 상수 값인 조건에서, 2개의 컬러 픽셀 값들(A, B)의 차가 작을수록 유사도에 해당하는 A*B)1/2가 증가할 수 있다. 다시 말해, 2개의 컬러 값들(A, B)이 동일할 때, 유사도는 최대가 될 수 있다.
이와 같이, 상기 인터-컬러 이미지의 인터-컬러 픽셀 값을 서로 다른 컬러 이미지들의 상기 인터-컬러 픽셀에 상응하는 컬러 픽셀 값들의 곱에 대한 제곱근으로 설정함으로써, 인터-컬러 픽셀 값은 컬러 감도들 사이의 유사도를 효율적으로 표현할 수 있다.
상기 인터-컬러 픽셀 값을 수학식 1과 같이 가상 백색 이미지의 백색 필셀 값에 반영함으로써 도 7에 도시된 바와 같이 가상 백색 이미지의 감도를 실제 백색 이미지의 스펙트럼 감도에 유사하도록 모델링할 수 있다.
도 8은 본 발명의 실시예들에 따른 컬러 분해 장치를 나타내는 블록도이다. 이하 도 2와 중복되는 설명은 생략될 수 있다.
도 8을 참조하면, 컬러 분해 장치(200)는 제1 인터-컬러 이미지 발생기(GBIG)(210), 제2 인터-컬러 이미지 발생기(GRIG)(220), 변환 계수 발생기(CCG)(230), 제3 인터-컬러 이미지 발생기(240), 제4 인터-컬러 이미지 발생기(250) 및 가상 백색 이미지 발생기(PWIG)(260)을 포함할 수 있다.
제1 인터-컬러 이미지 발생기(210) 및 제2 인터-컬러 이미지 발생기(220)는 제1 컬러 이미지들(Ir', Ig', Ib')에 기초하여 컬러 감도들 사이의 유사도를 나타내는 제1 인터-컬러 이미지들(Igb', Igr')을 발생할 수 있다.
다시 말해, 제1 인터-컬러 이미지 발생기(210)는 제1 녹색 이미지(Ig') 및 제1 청색 이미지(Ib')에 기초하여 상기 녹색 감도 및 상기 청색 감도 사이의 유사도를 나타내는 제1 녹색-청색 이미지(Igb')를 발생할 수 있다. 제2 인터-컬러 이미지 발생기(220)는 제1 녹색 이미지(Ig') 및 제1 적색 이미지(Ir')에 기초하여 상기 녹색 감도 및 상기 적색 감도 사이의 유사도를 나타내는 제1 녹색-적색 이미지(Igr')를 발생할 수 있다.
변환 계수 발생기(230)는 제1 컬러 이미지들(Ir', Ig', Ib')및 제1 인터-컬러 이미지들(Igb', Igr')에 기초하여 변환 계수들(Cr, Cg, Cb, Cgb, Cgr)을 결정할 수 있다. 일 실시예에서, 변환 계수 발생기(230)는 도 5를 참조하여 설명한 바와 같은 최소 자승법을 이용하여 변환 계수들 Cr, Cg, Cb, Cgb, Cgr)을 결정할 수 있다.
제3 인터-컬러 이미지 발생기(240) 및 제4 인터-컬러 이미지 발생기(250)는 제2 컬러 이미지들(Ir, Ig, Ib)에 기초하여 컬러 감도들 사이의 유사도를 나타내는 제2 인터-컬러 이미지들(Igb, Igr)을 발생할 수 있다.
다시 말해, 제3 인터-컬러 이미지 발생기(240)는 제2 녹색 이미지(Ig) 및 제2 청색 이미지(Ib)에 기초하여 상기 녹색 감도 및 상기 청색 감도 사이의 유사도를 나타내는 제2 녹색-청색 이미지(Igb)를 발생할 수 있다. 제4 인터-컬러 이미지 발생기(250)는 제2 녹색 이미지(Ig) 및 제2 적색 이미지(Ir)에 기초하여 상기 녹색 감도 및 상기 적색 감도 사이의 유사도를 나타내는 제2 녹색-적색 이미지(Igr)를 발생할 수 있다.
가상 백색 이미지 발생기(260)는 변환 계수들(Cr, Cg, Cb, Cgb, Cgr)을 이용하여 제2 컬러 이미지들(Ir, Ig, Ib) 및 제2 인터-컬러 이미지들(Igb, Igr)에 상응하는 가상 백색 이미지(Iw)를 발생할 수 있다. 일 실시예에서, 가상 백색 이미지 발생기(260)는 전술한 바와 같은 수학식 1에 기초하여 가상 백색 이미지(Iw)의 백색 픽셀 값들을 결정할 수 있다.
도 2의 컬러 분해 장치(100)는 동일한 컬러 이미지들에 기초하여 변환 계수들 및 가상 백색 이미지를 발생한다. 반면에 도 8의 컬러 분해 장치(200)는 제1 컬러 이미지들(Ir', Ig', Ib')에 의해 변환 계수들(Cr, Cg, Cb, Cgb, Cgr)을 결정하고 제1 컬러 이미지들(Ir', Ig', Ib')와 다른 제2 컬러 이미지들(Ir, Ig, Ib)에 기초하여 가상 백색 이미지(Iw)를 발생한다.
이와 같이, 변환 계수들의 결정에 사용되는 제1 컬러 이미지들(Ir', Ig', Ib')은 가상 백색 이미지(Iw)의 발생에 사용되는 컬러 이미지들(Ir, Ig, Ib)과 독립적으로 제공될 수 있다.
이 경우, 제2 적색 이미지(Ir), 제2 녹색 이미지(Ig), 제2 청색 이미지(Ib) 및 가상 백색 이미지(Iw)는 인공 신경망에 입력되는 모자이크 이미지를 발생하기 위한 트레이닝 데이터 세트(IStr)에 해당하고, 제2 적색 이미지(Ir), 제2 녹색 이미지(Ig), 제2 청색 이미지(Ib) 및 가상 백색 이미지(Iw)는 상기 모자이크 이미지를 입력으로 한 학습의 결과를 검증하기 위한 그라운드 트루스(ground truth) 이미지 세트(ISgt)에 해당할 수 있다.
도 9 및 10은 본 발명의 실시예들에 따른 심층 학습을 수행하는 장치에 의해 구동되는 인공 신경망 구조의 예를 설명하기 위한 도면들이다.
도 9를 참조하면, 일반적인 신경망의 네트워크 구조는 입력 레이어(IL), 복수의 히든 레이어들(HL1, HL2, ..., HLn) 및 출력 레이어(OL)를 포함할 수 있다.
입력 레이어(IL)는 입력 데이터(IDAT)에 상응하는 i(i는 자연수)개의 입력 노드들(x1, x2, ..., xi)을 포함할 수 있고, 길이가 i인 벡터 입력 데이터(IDAT)가 각 입력 노드에 입력될 수 있다.
복수의 히든 레이어들(HL1, HL2, ..., HLn)은 n(n은 자연수)개의 히든 레이어들을 포함하며, 히든 노드들(h1 1, h1 2, h1 3, ..., h1 m, h2 1, h2 2, h2 3, ..., h2 m, hn 1, hn 2, hn 3, ..., hn m)을 포함할 수 있다. 예를 들어, 히든 레이어(HL1)는 m(m은 자연수)개의 히든 노드들(h1 1, h1 2, h1 3, ..., h1 m)을 포함할 수 있고, 히든 레이어(HL2)는 m개의 히든 노드들(h2 1, h2 2, h2 3, ..., h2 m)을 포함할 수 있으며, 히든 레이어(HLn)는 m개의 히든 노드들(hn 1, hn 2, hn 3, ..., hn m)을 포함할 수 있다.
출력 레이어(OL)는 출력 데이터(DOUT)에 대응하는 j(j는 자연수)개의 출력 노드들(y1, y2, ..., yj)을 포함할 수 있고, 입력 데이터(IDAT)에 상응하는 출력 데이터(DOUT)를 발생할 수 있다.
도 9에 도시된 네트워크 구조는, 두 개의 노드들 사이에 직선으로 도시된 노드들 간의 연결(branch)과, 도시되지는 않았지만 각 연결에서 사용되는 가중치(weight) 값들을 포함할 수 있다. 이 때, 하나의 레이어 내의 노드들 간에는 연결이 되지 않을 수 있고, 서로 다른 레이어들에 포함되는 노드들은 완전하게 혹은 부분적으로 연결될 수 있다.
도 9의 각 노드(예를 들어, h1 1)는 이전 노드(예를 들어, x1)의 출력을 입력 받아 연산할 수 있고, 연산 결과를 이후 노드(예를 들어, h2 1)에 출력할 수 있다. 이 때, 각 노드는 입력된 값을 특정 함수, 예를 들어 비선형 함수에 적용하여 출력할 값을 연산할 수 있다.
일반적으로 인공 신경망의 네트워크 구조는 미리 결정되어 있으며, 노드들 간의 연결에 따른 가중치들은 정답이 알려진 데이터를 이용하여 적절한 값을 산정할 수 있다.
이와 같이 이미 정답이 알려진 데이터들을 '학습 데이터'라고 하고, 가중치를 결정하는 과정을 '교사 학습(supervised learning)'이라고 할 수 있다. 또한, 독립적으로 학습이 가능한 구조와 가중치의 묶음을 '모델'이라고 가정하고, 가중치가 결정된 모델이 입력 데이터가 어느 클래스에 속할지를 예측하여 그 예측값을 출력하는 것을 '테스트' 과정이라고 한다.
한편, 도 9에 도시된 일반적인 신경망은 각 노드(예를 들어, h1 1)가 앞쪽 레이어(previous layer)(예를 들어, IL)의 모든 노드들(예를 들어, x1, x2, ..., xi)과 연결되어 있어, 입력 데이터(IDAT)가 영상(또는 음성)인 경우에 영상의 크기가 증가할수록 필요한 가중치의 개수가 기하급수적으로 증가하며, 따라서 영상을 다루기에 적절하지 않을 수 있다. 이에 따라, 신경망에 필터 기술을 병합하여, 신경망이 2차원 영상을 잘 습득할 수 있도록 구현된 컨볼루션(convolutional) 신경망이 연구되고 있다.
도 10을 참조하면, 컨볼루션 신경망의 네트워크 구조는 복수의 레이어들(CONV1, RELU1, CONV2, RELU2, POOL1, CONV3, RELU3, CONV4, RELU4, POOL2, CONV5, RELU5, CONV6, RELU6, POOL3, FC)을 포함할 수 있다.
일반적인 신경망과 다르게, 컨볼루션 신경망의 각 레이어는 가로(또는 폭, width), 세로(또는 높이, height), 깊이(depth)의 3개의 차원을 가질 수 있다. 이에 따라, 각 레이어에 입력되는 데이터 또한 가로, 세로, 깊이의 3개의 차원을 가지는 볼륨 데이터일 수 있다.
예를 들어, 도 10에서 입력 영상이 가로 32, 세로 32의 크기를 가지고 세 개의 컬러 채널(R, G, B)을 가지는 경우에, 상기 입력 영상에 대응하는 입력 데이터(IDAT)는 32*32*3의 크기를 가질 수 있다. 도 3의 입력 데이터(IDAT)는 입력 볼륨 데이터 또는 입력 액티베이션 볼륨(activation volume)이라 부를 수 있다.
컨볼루션 레이어들(CONV1, CONV2, CONV3, CONV4, CONV5, CONV6)은 입력에 대한 컨볼루션 연산을 수행할 수 있다. 영상 처리에서 컨볼루션이란 가중치를 갖는 마스크를 이용하여 데이터를 처리하는 것을 의미할 수 있으며, 입력 값과 마스크의 가중치를 곱한 후에 그 합을 출력 값으로 정하는 것을 나타낼 수 있다. 이 때, 마스크를 필터(filter), 윈도우(window) 또는 커널(kernel)이라고 부를 수 있다.
구체적으로, 각 컨볼루션 레이어의 파라미터들은 일련의 학습 가능한 필터들로 이루어져 있을 수 있다. 각 필터는 가로/세로 차원으로는 각 레이어의 전체 크기보다 작지만 깊이 차원으로는 각 레이어의 전체 깊이를 아우를 수 있다.
예를 들어, 각 필터를 입력 볼륨의 가로/세로 차원으로 슬라이딩(정확히는 convolve) 시키며 필터와 입력의 요소들 사이의 내적 연산(dot product)을 수행하여 2차원의 액티베이션 맵(activation map)을 생성할 수 있고, 이러한 액티베이션 맵을 깊이 차원을 따라 쌓아서 출력 볼륨을 생성할 수 있다.
예를 들어, 컨볼루션 레이어(CONV1)가 32*32*3의 크기의 입력 볼륨 데이터(IDAT)에 네 개의 필터들을 제로 패딩(zero-padding)과 함께 적용하면, 컨볼루션 레이어(CONV1)의 출력 볼륨은 32*32*12의 크기를 가질 수 있다 (즉, 깊이 증가).
RELU 레이어들(RELU1, RELU2, RELU3, RELU4, RELU5, RELU6)은 입력에 대한 정정 선형 유닛 연산을 수행할 수 있다. 예를 들어, 정정 선형 유닛 연산은 max(0, x)와 같이 음수에 대해서만 0으로 처리하는 함수를 나타낼 수 있다. 예를 들어, RELU 레이어(RELU1)가 컨볼루션 레이어(CONV1)로부터 제공된 32*32*12의 크기의 입력 볼륨에 정정 선형 유닛 연산을 수행하면, RELU 레이어(RELU1)의 출력 볼륨은 32*32*12의 크기를 가질 수 있다 (즉, 볼륨 유지).
풀링 레이어들(POOL1, POOL2, POOL3)은 입력 볼륨의 가로/세로 차원에 대해 다운 샘플링을 수행할 수 있다. 예를 들어, 2*2 필터를 적용하는 경우에 2*2 영역의 네 개의 입력들을 하나의 출력으로 변환할 수 있다. 구체적으로, 2*2 최대 값 풀링과 같이 2*2 영역의 네 개의 입력들 중 최대 값을 선택하거나, 2*2 평균 값 풀링과 같이 2*2 영역의 네 개의 입력들의 평균 값을 연산할 수 있다. 예를 들어, 풀링 레이어(POOL1)가 32*32*12의 크기의 입력 볼륨에 2*2 필터를 적용하면, 풀링 레이어(POOL1)의 출력 볼륨은 16*16*12의 크기를 가질 수 있다 (즉, 가로/세로 감소, 깊이 유지, 볼륨 감소).
일반적으로 컨볼루션 신경망에서는 하나의 컨볼루션 레이어(예를 들어, CONV1)와 하나의 RELU 레이어(예를 들어, RELU1)가 한 쌍을 형성할 수 있고, 컨볼루션/RELU 레이어들의 쌍이 반복 배치될 수 있으며, 컨볼루션/RELU 레이어들의 쌍이 반복 배치되는 중간 중간에 풀링 레이어를 삽입함으로써, 영상을 줄여나가면서 영상의 특징을 추출할 수 있다.
한편, 도시하지는 않았으나, 컨볼루션 신경망에 포함되는 레이어들의 종류 및 개수는 실시예에 따라서 다양하게 변경될 수 있다. 또한, 도시하지는 않았으나, 실시예에 따라서 컨볼루션 신경망은 예측된 결과인 점수(score) 값을 확률 값으로 변환하는 Softmax 레이어, 바이어스(bias)를 추가하는 Bias add 레이어 등을 더 포함할 수 있다.
도 11은 인공 신경망의 예시적인 노드를 나타내는 도면이다.
도 11에는 인공 신경망에 포함되는 하나의 노드(ND)에서 수행되는 연산의 일 예를 나타낸다.
하나의 노드(ND)에 N개의 입력들(a1, a2, a3, ..., aN)이 제공되는 경우에, 노드(ND)는 N개의 입력들(a1, a2, a3, ..., aN) 및 이에 대응하는 N개의 가중치들(w1, w2, w3, ..., wN)을 각각 곱하여 합산하고, 상기 합산된 입력 값에 오프셋(b)을 더하며, 상기 오프셋이 반영된 입력 값을 특정 함수(σ)에 적용하여 하나의 출력 신호를 발생할 수 있다. 트레이닝 데이터(TRD)에 기초하여 학습 동작을 수행하여 신경망에 포함된 모든 노드들을 갱신할 수 있다.
전술한 바와 같이, 심층 학습(deep learning) 기반의 이미지 프로세싱의 경우, 학습을 위하여 충분한 수량의 트레이닝 데이터 또는 학습 데이터가 필요하다. 심층 학습 기반의 알고리즘에 활용하기 위한 트레이닝 데이터의 경우 학습 시 과적합(over-fitting)을 방지하고 성능을 향상시키기 위해 다양한 종류의 데이터를 수십-수백만 개(또는 장) 이상 확보해야 하는데, 실제 이미지 센서를 활용해 학습에 필요한 충분한 수량의 데이터를 확보하기는 쉽지가 않다.
본 발명의 실시예들에 따른 컬러 분해 방법을 이용하여, 복수의 컬러 이미지들로부터 실제 백색 이미지와 유사한 가상 백색 이미지를 발생할 수 있다. 이러한 가상 백색 이미지를 이용함으로써 실제 RGBW 이미지 센서로부터 획득한 RGBW 이미지와 유사한 데이터를 생성할 수 있다.
디모자이킹(demosaicing)은 컬러 필터 어레이(CFA, color filter array)를 포함하는 이미지 센서로부터 획득된 불완전한 컬러 데이터 이미지(즉, 모자이크 이미지(mosaiced image) 또는 CFA 이미지)로부터 풀 컬러 이미지들(즉, 디모자이크 이미지(demosaiced image)들)을 발생하는 디지털 이미지 프로세싱이다. 서로 다른 컬러들에 상응하는 복수의 이미지 센서들을 이용하여 풀 컬러 이미지들을 획득할 수도 있지만, 이 접근 방식은 비용이 증가하고 빔 스플리터의 형태를 갖는 스펙트럴 밴드패스들을 필요로 한다.
좀 더 효율적인 해결 방법은 이미지 센서에 컬러 필터 어레이를 구비하고 픽셀마다 하나의 컬러 성분을 획득한 후 결여된 컬러 성분들(missing color components)을 보간(interpolation) 방식으로 구하는 것이다.
일반적으로 누락된 컬러 픽셀 값을 재구성만하는 디모자이킹 방법은 소위 지퍼 효과(zipper effect)와 랜덤 색점(random color dot)들과 같은 블록 노이즈를 초래할 것이다. 추가적으로, 노이즈에 대한 필터링과 샤프(sharp) 에지의 흐려짐(blurring) 간에는 트레이드 오프(trade off)가 존재한다. 주위의 픽셀 값들을 이용하여 누락된 픽셀 값을 보간하는 것은 에지에서의 픽셀들이 보간될 때 화상을 흐리게 하는 경향이 있다. 또한, 이것은 에지에서의 화상의 샤프니스 감소도 초래한다. 이것은 주로 화상 내에 포함된 에지에 교차되는 픽셀들의 평균화에 기인한다.
현재 컬러 필터 어레이(CFA, color filter array) 이미지 또는 모자이크 이미지의 디모자이킹은 대부분 선형 보간(linear interpolation)에 따른 복원으로 인해 이미지 디테일(image detail)이 감소하거나 컬러 오류(false color), 재깅(jagging) 등의 결함(artifact)이 발생하며 단계를 나누어 이전 단계에 복원된 컬러 채널(color channel_을 활용하여 현 단계의 컬러을 복원하여 오차가 누적될 수 있다.
도 12 내지 15를 참조하여 후술하는 바와 같이, 본 발명의 실시예들에 따른 심층 학습 기반의 디모자이킹 방법은, 비선형성이 향상된 인공 신경망을 이용하여 디모자이크 컬러 이미지들을 복원함으로써 이미지 품질을 향상시키고 이미지 결함을 감소할 수 있다.
도 12는 본 발명의 실시예들에 따른 심층 학습 기반의 디모자이킹 방법을 나타내는 순서도이다.
도 12를 참조하면, 복수의 컬러 이미지들에 기초하여 컬러 감도들 사이의 유사도를 나타내는 하나 이상의 인터-컬러 이미지들을 발생한다(S100).
컬러 감도들 사이의 유사도는 이미지를 제공하는 이미지 센서에 입사되는 빛의 파장에 따라서 변환한다. 컬러 감도들 사이의 유사도는 도 6을 참조하여 전술한 바와 같다. 전술한 바와 같이, 휘도가 동일한 조건에서 컬러 픽셀 값들의 차가 작을수록 유사도가 클 수 있다.
상기 컬러 이미지들 및 상기 인터-컬러 이미지들의 백색 이미지에 대한 변환 계수들을 결정한다(S200).
일 실시예에서, 도 5를 참조하여 전술한 바와 같이, 실제 RGBW 이미지 센서에서 획득한 실제 백색 이미지들의 복수의 백색 컬러 값들, 상기 복수의 컬러 이미지들의 복수의 컬러 픽셀 값들 및 상기 인터-컬러 이미지들의 복수의 인터-컬러 픽셀 값들을 성분으로 하는 행렬에 기초한 최소 자승법(least square method)을 이용하여 상기 변환 계수들을 결정할 수 있다.
일 실시예에서, 도 5를 참조하여 전술한 바와 같이, 상기 인터-컬러 이미지의 인터-컬러 픽셀 값은 서로 다른 컬러 이미지들의 상기 인터-컬러 픽셀에 상응하는 컬러 픽셀 값들의 곱에 대한 제곱근일 수 있다.
상기 변환 계수들을 이용하여 상기 컬러 이미지들 및 상기 인터-컬러 이미지들에 상응하는 가상 백색 이미지를 발생한다(S300). 여기서 가상 백색 이미지(pseudo-white image)라 함은 백색 픽셀을 포함하는 이미지 센서에서 제공되는 실제의 백색 이미지와 구별됨을 나타낸다.
일 실시예에서, 가상 백색 이미지는 상기 복수의 컬러 이미지들에 더하여 이미지 프로세싱과 관련된 인공 신경망의 심층 학습을 위한 추가적인 정보로서 이용될 수 있다.
상기 컬러 이미지들 및 상기 가상 백색 이미지에 기초하여 학습 모자이크 이미지를 발생한다(S400). 학습 모자이크 이미지의 발생에 대해서는 도 13을 참조하여 후술한다.
상기 학습 모자이크 이미지에 기초하여 인공 신경망을 트레이닝하여 학습된 인공 신경망을 제공한다(S500).
상기 학습된 인공 신경망에 기초하여 입력 모자이크 이미지에 상응하는 디모자이크 컬러 이미지들을 발생한다(S600). 인공 신경망의 학습 및 디모자이크 컬러 이미지들의 발생에 대해서는 도 14 및 15를 참조하여 후술한다.
도 13은 본 발명의 실시예들에 따른 심층 학습 기반의 디모자이킹 방법의 이미지들을 나타내는 도면이다.
도 13에는 4개의 픽셀 행들과 4개의 픽셀 열들로 이루어진 적색 이미지(Ir), 녹색 이미지(Ig), 청색 이미지(Ib), 가상 백색 이미지(Iw), 학습 모자이크 이미지(Itm), 제1 채널 이미지(Icw) 제2 채널 이미지(Icr), 제3 채널 이미지(Icb) 및 제4 채널 이미지(Icb)가 도시되어 있다.
도 13에는 도시 및 설명의 편의상 각 이미지가 16개의 픽셀들을 포함하는 예가 도시되어 있으나, 본 발명의 실시예들이 이에 한정되는 것은 아니다.
도 13에 도시된 바와 같이, 적색 이미지(Ir), 녹색 이미지(Ig), 청색 이미지(Ib), 가상 백색 이미지(Iw), 학습 모자이크 이미지(Itm), 제1 채널 이미지(Icw) 제2 채널 이미지(Icr), 제3 채널 이미지(Icg) 및 제4 채널 이미지(Icb)는 각각 4*4개의 픽셀 값들을 포함하고 서로 다른 이미지들의 픽셀 값들은 픽셀 위치에 따라서 일대일 대응한다. 제1 채널 이미지(Icw) 제2 채널 이미지(Icr), 제3 채널 이미지(Icg) 및 제4 채널 이미지(Icb)에서 값이 표시되지 않은 픽셀들은 0의 값을 가질 수 있다.
전술한 컬러 분해 방법을 이용하여 적색 이미지(Ir), 녹색 이미지(Ig) 및 청색 이미지(Ib)로부터 가상 백색 이미지(Iw)를 발생할 수 있다.
도 13에 도시된 바와 같이, 적색 이미지(Ir), 녹색 이미지(Ig), 청색 이미지(Ib) 및 가상 백색 이미지(Iw)의 상응하는 픽셀 값들을 추출하여 학습 모자이크 이미지(Itm)를 발생할 수 있다.
학습 모자이크 이미지(Itm)를 컬러별로 분리(split)하여 제1 채널 이미지(Icw) 제2 채널 이미지(Icr), 제3 채널 이미지(Icg) 및 제4 채널 이미지(Icb)를 발생할 수 있다.
도 15를 참조하여 후술하는 바와 같이, 제1 채널 이미지(Icw) 제2 채널 이미지(Icr), 제3 채널 이미지(Icg) 및 제4 채널 이미지(Icb)을 인공 신경망에 인가하여 디모자이크 컬러 이미지들(Idr, Idg, Idb)를 발생하고, 디모자이크 컬러 이미지들(Idr, Idg, Idb)과 그라운드 트루스 이미지들에 해당하는 적색 이미지(Ir), 녹색 이미지(Ig) 및 청색 이미지(Ib)의 비교 결과에 기초하여 '교사 학습(supervised learning)'을 수행할 수 있다.
도 14는 본 발명의 실시예들에 따른 심층 학습 기반의 디모자이킹 방법을 위한 인공 신경망의 일 실시예를 나타내는 블록도이고, 도 15는 본 발명의 실시예들에 따른 심층 학습 기반의 디모자이킹 방법을 위한 인공 신경망의 구조의 일 실시예를 나타내는 블록도이다.
도 14를 참조하면, 본 발명의 실시예들에 따른 디모자이킹 방법을 수행하기 위한 인공 신경망은 인코더-디코더 구조를 갖는 합성곱 신경망(CNN, convolutional neural network)으로 구현될 수 있다.
합성곱 신경망(300)은 캐스케이드 결합된 복수의 인코더들(ENC1~ENCk) 및 복수의 디코더들(DEC1~DECk)을 포함할 수 있다. 합성곱 신경망(300)은 모자이크 이미지에 기초하여 디모자이크 컬러 이미지들을 발생하도록 학습될 수 있다.
일 실시예에서, 도 15에 도시된 바와 같이, 인공 신경망은 입력 모자이크 이미지에 기초하여 순차적으로 다운샘플링을 수행하는 3개의 인코더들(ENC1, ENC2, ENC3) 및 순차적으로 업샘플링을 수행하는 3개의 디코더들(DEC1, DEC2, DEC3)을 포함할 수 있다.
인코더들(ENC1, ENC2, ENC3)은 일정한 커널 사이즈(예를 들어, 3X3 사이즈) 및 스트라이드 사이즈들(STRIDE1, STRIDE2)을 갖는 하나 이상의 컨볼류션 레이어들(CONV)을 포함할 수 있다.
디코더들(DEC1, DEC2, DEC3)은 디컨볼류션 레이어(CONVT) 및 컨볼류션 레이어(CONV)를 포함할 수 있다.
인코더들 및 디코더들의 일부는 요소 성분별 합산(elementary-wise sum)을 수행하는 합산 레이어(EWS)를 포함할 수 있다. 디컨볼류션 레이어(CONVT) 및 컨볼류션 레이어(CONV)는 Relu (rectified linear unit) 레이어를 포함할 수 있다.
인코더들(ENC1, ENC2, ENC3)은 입력 모자이크 신호 또는 학습 모자이크 신호(Itm)에 기초하여 순차적으로 다운샘플링을 수행하고 잔차 성분을 학습하여 인코딩된 맵들을 발생할 수 있다. 디코더들(DEC1, DEC2, DEC3)은 상기 인코딩된 맵들에 기초하여 순차적으로 업샘플링을 수행하고 해상도를 복원하여 디모자이크 컬러 이미지들(Idr, Idg, Idb)을 발생할 수 있다.
도 15의 인공 신경망은 전술한 컬러 분해 방법을 이용하여 획득한 RGBW 신호로부터 RGB 영상을 복원하는 심층 학습 기반 인공 신경망에 해당한다. 입력 영상의 RGBW 패턴에서 백색, 녹색, 적색 및 청색의 각 신호를 각각 다른 채널들로 분리하여 입력한 후 각 잔차 (residual) 성분을 주로 학습하는 인코더를 거치고 디코더를 통해 해상도가 복원된 후 원 입력 신호의 고주파 (high-frequency) 성분을 보존하기 위한 스킵 연결(skip-connection)을 거쳐 최종 복원된 3채널 디모자이크 이미지들(Idr, Idg, Idb)을 발생한다.
도 16은 도 15의 인공 신경망의 패러미터들의 개수를 나타내는 도면이고, 도 17은 본 발명의 실시예들에 따른 심층 학습 기반의 디모자이킹 방법의 효과를 설명하기 위한 도면이다.
도 16에서, INL 및 MPL은 도 15의 인공 신경망의 전단에 배치되는 입력 레이어 및 최대 값 풀링 레이어를 각각 나타낸다. WIDTH 및 HEIGHT는 각 레이어에 입력되는 이미지 또는 이미지 맵의 행 사이즈 및 열 사이즈를 나타낸다. NOF는 필터들 또는 채널들의 개수를 나타내고, NOP는 실제로 구현된 인공 신경망의 패러미터들의 개수를 나타낸다.
도 17에는 기존의 기술에 따른 제1 내지 제4 경우들(CS1~CS4) 및 본 발명의 실시예들에 따른 경우(CSp)에 해당하는 PSNR(peak signal-to-noise ratio) 및 복잡도(COMPLEXITY)가 도시되어 있다. PSNR은 데시벨(dB)로 표시되어 있고, 복잡도는 테라(tera) 단위의 연산량(TOPs)으로 표시되어 있다.
전술한 컬러 분해 방법에 의한 가상 백색 신호의 발생 및 심층 학습 기반의 디모자이킹 방법을 통해 기존의 RGBW 복원 기법 대비 화질, 즉 PSNR 면에서 더 우수한 성능을 보여주고 있다. 연산량(TOPs) 또한 기존의 심층 학습 기법 대비 월등하게 적기 때문에 모바일 기기 등에서 활용이 가능하다.
본 발명의 실시예들에 따른 심층 학습 기반의 디모자이킹 방법은 모바일 기기에서 동작 가능한 수준으로 기존의 방법과 비교하여 연산량을 1/30 ~ 1/100 수준으로 절감하면서 화질 성능은 향상시킬 수 있다.
도 18은 본 발명의 실시예들에 따른 심층 학습 기반의 디모자이킹 방법을 나타내는 순서도이다.
도 18에는 적색 이미지, 녹색 이미지 및 청색 이미지를 이용하여 가상 백색 이미지를 발생하고, 상기 가상 백색 이미지를 이용하여 디모자이크 적색 이미지, 디모자이크 녹색 이미지 및 디모자이크 청색 이미지를 발생하는 심층 학습 기반의 디모자이킹 방법이 도시되어 있다.
도 18을 참조하면, 적색 이미지, 녹색 이미지 및 청색 이미지에 기초하여 녹색 감도 및 청색 감도 사이의 유사도를 나타내는 녹색-청색 이미지 및 상기 녹색 감도 및 적색 감소 사이의 유사도를 나타내는 녹색-적색 이미지를 발생한다(S10),
상기 적색 감도, 상기 녹색 감도 및 상기 청색 감도 사이의 유사도는 이미지를 제공하는 이미지 센서에 입사되는 빛의 파장에 따라서 변환한다. 상기 적색 감도, 상기 녹색 감도 및 상기 청색 감도 사이의 유사도는 도 6을 참조하여 전술한 바와 같다.
전술한 바와 같이, 휘도가 동일한 조건에서 적색 픽셀 값 및 녹색 픽셀 값의 차가 작을수록 상기 적색 감도 및 상기 녹색 감도 사이의 유사도가 클 수 있다. 또한, 휘도가 동일한 조건에서 청색 픽셀 값 및 녹색 픽셀 값의 차가 작을수록 상기 청색 감도 및 상기 녹색 감도 사이의 유사도가 클 수 있다.
전술한 바와 같이, 상기 녹색-청색 픽셀 값은 상기 녹색 픽셀 값 및 상기 청색 픽셀 값의 곱에 대한 제곱근으로 설정될 수 있고, 상기 녹색-적색 픽셀 값은 상기 녹색 픽셀 값 및 상기 적색 픽셀 값의 곱에 대한 제곱근으로 설정될 수 있다.
상기 적색 이미지, 상기 녹색 이미지, 상기 청색 이미지, 상기 녹색-청색 이미지 및 상기 녹색-적색 이미지의 백색 이미지에 대한 변환 계수들을 결정한다(S20).
일 실시예에서, 도 5를 참조하여 전술한 바와 같이, 실제 RGBW 이미지 센서에서 획득한 실제 백색 이미지들의 복수의 백색 컬러 값들, 적색 이미지의 적색 픽셀 값들, 녹색 이미지의 녹색 픽셀 값들, 청색 이미지의 청색 픽셀 값들, 청색-녹색 이미지의 청색-녹색 픽셀 값들 및 적색-녹색 이미지의 적색-녹색 픽섹 값들을 성분으로 하는 행렬에 기초한 최소 자승법(least square method)을 이용하여 상기 변환 계수들을 결정할 수 있다.
상기 변환 계수들을 이용하여 상기 적색 이미지, 상기 녹색 이미지, 상기 청색 이미지, 상기 녹색-청색 이미지 및 상기 녹색-적색 이미지의 백색 이미지에 상응하는 가상 백색 이미지를 발생한다(S30).
상기 적색 이미지, 상기 녹색 이미지, 상기 청색 이미지 및 상기 가상 백색 이미지에 기초하여 학습 모자이크 이미지를 발생한다(S40). 학습 모자이크 이미지의 발생에 대해서는 도 13을 참조하여 전술한 바와 같다.
상기 학습 모자이크 이미지에 기초하여 인공 신경망을 트레이닝하여 학습된 인공 신경망을 제공한다(S50). 상기 학습된 인공 신경망에 기초하여 입력 RGBW 패턴의 입력 모자이크 이미지에 상응하는 디모자이크 적색 이미지, 디모자이크 녹색 이미지 및 디모자이크 청색 이미지를 발생한다(S60). 인공 신경망의 학습 및 디모자이크 컬러 이미지들의 발생에 대해서는 도 14 및 15를 참조하여 전술한 바와 같다.
도 19는 본 발명의 실시예들에 따른 심층 학습 기반의 디모자이킹 방법을 수행하는 시스템을 나타내는 블록도이다.
도 19를 참조하면, 시스템(1000)은 카메라부(CAM)(1114), 트랜시버(TRX)(1140), 제어 유닛(1160) 및 사용자 인터페이스(1150)를 포함할 수 있다.
카메라부(1114)는 이미지를 캡쳐하여 제공하는 적어도 하나의 이미지 센서 또는 적어도 하나의 카메라를 포함할 수 있다. 일 실시예에서, 카메라부(1114)는 복수의 카메라들을 포함할 수 있고, 상기 복수의 카메라들에 의해 각각 캡쳐된 이미지들을 병합 대상이 되는 복수의 입력 이미지들로서 제공할 수 있다. 다른 실시예에서, 카메라부(1114)는 1개의 카메라에 의해 순차적으로 캡쳐된 이미지들을 병합 대상이 되는 복수의 입력 이미지들로서 제공할 수 있다.
트랜시버(140)는 유선 또는 무선 통신 링크를 통해 또 다른 네트워크(예를 들어, 광역 네트워크, 이를테면, 인터넷 또는 셀룰러 네트워크)로의 연결성(connectivity)을 제공할 수 있다.
사용자 인터페이스(1150)는 키보드, 키패드와 같은 입력 수단(DSP)(1152) 및 이미지를 표시하는 디스플레이(DIS)(1112)를 포함할 수 있다. 터치 스크린/센서를 갖는 디스플레이(1112)로 가상 키패드를 통합시키는 경우 키보드 또는 키패드(1152)는 생략될 수 있다.
제어 유닛(1116)은 범용 프로세서(PRC)(1161), 하드웨어(HW)(1162), 펌웨어(FW)(1163), 저장부(MEM)(1164), 디지털 신호 프로세서(DSP)(1166), 그래픽 엔진(GENG)(1167) 및 버스(1177)을 포함할 수 있다.
제어 유닛(1160)은 본 발명의 실시예들에 따른 컬러 분해 방법 및 심층 학습 기반의 디모자이킹 방법을 구현하도록 구성될 수 있다. 예를 들어, 제어 유닛(1160)은 전술한 바와 같은 컬러 분해 장치 및 인공 신경망의 기능들을 구현하도록 구성될 수 있다.
본 발명의 실시예들은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합으로 구현될 수 있다.
일 실시예에서, 본 발명의 실시예들에 따른 컬러 분해 방법 및 심층 학습 기반의 디모자이킹 방법은 디지털 신호 프로세서(1166)에 의해 수행될 수 있다. 즉 전술한 컬러 분해 장치 및 인공 신경망은 이미지 신호 프로세서(1166)에 포함될 수 있다.
일 실시예에서, 컬러 분해 방법 및 심층 학습 기반의 디모자이킹 방법의 적어도 일부는 데이터 처리 장치로 하여금 이미지 프로세싱하게 하는 실행가능한 프로그램 명령들의 형태로 구현될 수 있다. 상기 프로그램 명령들은 소프트웨어(SW)(1165)의 형태로 저장부(1164)에 저장되고 프로세서(1161) 및/또는 디지털 신호 프로세서(1166)에 의해 상기 프로그램 명령들이 실행될 수 있다.
프로세서(1161)는, 컴퓨터 프로그램을 구성하는 명령들과 같은, 명령들을 실행하기 위한 하드웨어를 포함한다. 명령들을 실행하기 위해, 프로세서(1161)는 내부 레지스터, 내부 캐시(cache), 저장부(1164)로부터 상기 명령들을 검색(retrieve)(또는 페치(fetch))하고; 상기 명령들을 디코딩 및 실행하고; 그 다음에, 하나 이상의 결과들을 내부 레지스터, 내부 캐시 및/또는 저장부(1164)에 기입할 수 있다.
시스템(1000)은 어떤 적절한 물리적 형태를 취하는 컴퓨터 시스템일 수 있다. 시스템(1000)은 내장형(embedded) 컴퓨터 시스템, 시스템-온-칩(system-on-chip: SOC), 단일-보드 컴퓨터 시스템(single-board computer system: SBC)(예를 들면, 컴퓨터-온-모듈(computer-on-module: COM) 또는 시스템-온-모듈(system-on-module: SOM)과 같은 것), 데스크탑 컴퓨터 시스템, 랩탑 또는 노트북 컴퓨터 시스템, 대화형 키오스크(interactive kiosk), 메인프레임, 컴퓨터 시스템들의 메시(mesh), 모바일 전화, 개인 정보 단말기(personal digital assistant: PDA), 서버, 태블릿 컴퓨터 시스템, 또는 이들 중 둘 이상의 조합일 수 있다.
본 명세서에서, 컴퓨터-판독가능한 저장 매체 또는 매체들은, 적절한 경우, 하나 이상의 반도체-기반 또는 기타 집적 회로들(integrated circuits: ICs)(예를 들면, 필드 프로그램가능 게이트 어레이들(field-programmable gate arrays: FPGAs) 또는 애플리케이션 특정적 IC들(application-specific ICs: ASICs)), 하드디스크 드라이브들(HDDs), 하이브리드 하드 드라이브들(hybrid hard drives: HHDs), 광디스크들, 광디스크 드라이브들(optical disc drives: ODDs), 광자기 디스크들, 광자기 드라이브들, 플로피 디스켓들, 플로피 디스크 드라이브들(floppy disk drives: FDDs), 자기 테이프들, 고체 상태 드라이브들(SSDs), RAM 드라이브들, 시큐어 디지털(SECURE DIGITAL) 카드들 또는 드라이브들, 다른 어떤 적절한 컴퓨터-판독가능한 저장 매체들, 또는 이들 중 둘 이상의 어떤 적절한 조합을 포함할 수 있다. 적절한 경우, 컴퓨터-판독가능한 저장 매체는 휘발성, 비휘발성, 또는 휘발성 및 비휘발성의 조합일 수 있다.
도 20은 도 19의 시스템에서 사용되는 인터페이스의 일 예를 나타내는 블록도이다.
도 20을 참조하면, 컴퓨팅 시스템(2100)은 MIPI 인터페이스를 사용 또는 지원할 수 있는 데이터 처리 장치로 구현될 수 있고, 어플리케이션 프로세서(2110), 이미지 센서(2140) 및 디스플레이 장치(2150) 등을 포함할 수 있다.
어플리케이션 프로세서(2110)의 CSI 호스트(2112)는 카메라 시리얼 인터페이스(Camera Serial Interface; CSI)를 통하여 이미지 센서(2140)의 CSI 장치(2141)와 시리얼 통신을 수행할 수 있다.
일 실시예에서, CSI 호스트(2112)는 디시리얼라이저(DES)를 포함할 수 있고, CSI 장치(2141)는 시리얼라이저(SER)를 포함할 수 있다. 어플리케이션 프로세서(2110)의 DSI 호스트(2111)는 디스플레이 시리얼 인터페이스(Display Serial Interface; DSI)를 통하여 디스플레이 장치(2150)의 DSI 장치(2151)와 시리얼 통신을 수행할 수 있다.
일 실시예에서, DSI 호스트(2111)는 시리얼라이저(SER)를 포함할 수 있고, DSI 장치(2151)는 디시리얼라이저(DES)를 포함할 수 있다. 나아가, 컴퓨팅 시스템(2100)은 어플리케이션 프로세서(2110)와 통신을 수행할 수 있는 알에프(Radio Frequency; RF) 칩(2160)을 더 포함할 수 있다.
컴퓨팅 시스템(2100)의 PHY(2113)와 RF 칩(2160)의 PHY(2161)는 MIPI(Mobile Industry Processor Interface) DigRF에 따라 데이터 송수신을 수행할 수 있다. 또한, 어플리케이션 프로세서(2110)는 PHY(2161)의 MIPI DigRF에 따른 데이터 송수신을 제어하는 DigRF MASTER(1114)를 더 포함할 수 있다.
한편, 컴퓨팅 시스템(2100)은 지피에스(Global Positioning System; GPS)(2120), 스토리지(2170), 마이크(2180), 디램(Dynamic Random Access Memory; DRAM)(2185) 및 스피커(2190)를 포함할 수 있다. 또한, 컴퓨팅 시스템(2100)은 초광대역(Ultra WideBand; UWB)(2210), 무선 랜(Wireless Local Area Network; WLAN)(2220) 및 와이맥스(Worldwide Interoperability for Microwave Access; WIMAX)(2230) 등을 이용하여 통신을 수행할 수 있다. 다만, 컴퓨팅 시스템(2100)의 구조 및 인터페이스는 하나의 예시로서 이에 한정되는 것이 아니다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따른 컬러 분해 방법은 컬러 감도들 사이의 유사도를 나타내는 인터-컬러 이미지를 이용하여 컬러 이미지들로부터 실제 백색 이미지와 유사한 가상 백색 이미지를 발생할 수 있다. 또한, 본 발명의 실시예들에 따른 심층 학습 기반의 모자이킹 방법은 상기 컬러 이미지들 및 상기 가상 백색 이미지를 이용하여 효율적으로 인공 신경망의 심층 학습을 수행하고 학습된 인공 신경망을 이용하여 높은 이미지 품질을 갖는 디모자이크 이미지들을 발생할 수 있다.
해당 기술 분야의 숙련된 당업자는 본 발명의 실시예들이 시스템, 방법, 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터로 판독 가능한 프로그램 코드를 포함하는 제품 등의 형태로 구현될 수 있음을 이해할 것이다. 상기 컴퓨터로 판독 가능한 프로그램 코드는 다양한 컴퓨터 또는 다른 데이터 처리 장치의 프로세서로 제공될 수 있다. 상기 컴퓨터로 판독 가능한 매체는 컴퓨터로 판독 가능한 신호 매체 또는 컴퓨터로 판독 가능한 기록 매체일 수 있다. 상기 컴퓨터로 판독 가능한 기록 매체는 명령어 실행 시스템, 장비 또는 장치 내에 또는 이들과 접속되어 프로그램을 저장하거나 포함할 수 있는 임의의 유형적인 매체일 수 있다.
본 발명의 실시예들은 이미지 프로세싱이 요구되는 장치 및 시스템에 유용하게 이용될 수 있다. 예를 들어, 본 발명의 실시예들은 컴퓨터(computer), 노트북(laptop), 핸드폰(cellular phone), 스마트폰(smart phone), 피디에이(Personal Digital Assistants; PDA), 피엠피(Portable Multimedia Player; PMP), 디지털 TV, 디지털 카메라, 포터블 게임 콘솔(portable game console), 네비게이션(navigation) 기기, 웨어러블(wearable) 기기, IoT(internet of things;) 기기, IoE(internet of everything:) 기기, e-북(e-book), VR(virtual reality) 기기, AR(augmented reality) 기기, 차량용 네비게이션, 비디오 폰, 감시 시스템, 자동 포커스 시스템, 추적 시스템, 동작 감지 시스템 등과 같은 전자 기기에 더욱 유용하게 적용될 수 있다.
상기에서는 본 발명이 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.
Claims (10)
- 복수의 컬러 이미지들에 기초하여 컬러 감도들 사이의 유사도를 나타내는 하나 이상의 인터-컬러 이미지들을 발생하는 단계;
상기 컬러 이미지들 및 상기 인터-컬러 이미지들의 백색 이미지에 대한 변환 계수들을 결정하는 단계; 및
상기 변환 계수들을 이용하여 상기 컬러 이미지들 및 상기 인터-컬러 이미지들에 상응하는 가상 백색 이미지를 발생하는 단계를 포함하는 컬러 분해 방법. - 제1 항에 있어서,
상기 인터-컬러 이미지의 인터-컬러 픽셀 값은 서로 다른 컬러 이미지들의 상기 인터-컬러 픽셀에 상응하는 컬러 픽셀 값들의 곱에 대한 제곱근인 것을 특징으로 하는 컬러 분해 방법. - 제1 항에 있어서,
상기 컬러 감도들 사이의 유사도가 증가할수록 상기 인터-컬러 이미지의 인터-컬러 픽셀 값이 증가하는 것을 특징으로 하는 컬러 분해 방법. - 제1 항에 있어서,
상기 인터-컬러 이미지의 인터-컬러 픽셀 값이 증가할수록 상기 가상 백색 이미지의 상기 인터-컬러 픽셀 값에 상응하는 백색 픽셀 값이 감소하고,
상기 컬러 이미지들의 상기 백색 이미지에 대한 변환 계수들은 양의 값들을 갖고 상기 인터-컬러 이미지들의 상기 백색 이미지에 대한 변환 계수들은 음의 값들을 갖는 것을 특징으로 하는 컬러 분해 방법. - 제1 항에 있어서,
상기 복수의 컬러 이미지들의 복수의 컬러 픽셀 값들 및 상기 인터-컬러 이미지들의 복수의 인터-컬러 픽셀 값들을 성분으로 하는 행렬에 기초한 최소 자승법(least square method)을 이용하여 상기 변환 계수들을 결정하는 것을 특징으로 하는 컬러 분해 방법. - 제1 항에 있어서,
상기 복수의 컬러 이미지들은 적색 이미지, 녹색 이미지 및 청색 이미지를 포함하고,
상기 하나 이상의 인터-컬러 이미지들은 녹색 감도 및 청색 감도 사이의 유사도를 나타내는 녹색-청색 이미지 및 상기 녹색 감도 및 적색 감소 사이의 유사도를 나타내는 녹색-적색 이미지를 포함하는 것을 특징으로 하는 컬러 분해 방법. - 제8 항에 있어서,
상기 가상 백색 이미지의 백색 픽셀 값은 하기의 수학식에 의해 발생되는 것을 특징으로 하는 컬러 분해 방법.
(상기 수학식에서 W는 상기 가상 백색 이미지의 백색 픽셀 값을 나타내고, R은 상기 적색 이미지의 적색 픽셀 값을 나타내고, G는 상기 녹색 이미지의 녹색 픽셀 값을 나타내고, B는 상기 청색 이미지의 청색 픽셀 값을 나타내고, GB는 상기 녹색-청색 이미지의 녹색-청색 픽셀 값을 나타내고, GR은 상기 녹색-적색 이미지의 녹색-적색 픽셀 값을 나타내고, Cr은 상기 적색 이미지의 상기 백색 이미지에 대한 적색 변환 계수를 나타내고, Cg는 상기 녹색 이미지의 상기 백색 이미지에 대한 녹색 변환 계수를 나타내고, Cb는 상기 청색 이미지의 상기 백색 이미지에 대한 청색 변환 계수를 나타내고, Cgb는 상기 녹색-청색 이미지의 상기 백색 이미지에 대한 녹색-청색 변환 계수를 나타내고, Cgr은 상기 녹색-적색 이미지의 상기 백색 이미지에 대한 녹색-적색 변환 계수를 나타냄) - 복수의 컬러 이미지들에 기초하여 컬러 감도들 사이의 유사도를 나타내는 하나 이상의 인터-컬러 이미지들을 발생하는 단계;
상기 컬러 이미지들 및 상기 인터-컬러 이미지들의 백색 이미지에 대한 변환 계수들을 결정하는 단계;
상기 변환 계수들을 이용하여 상기 컬러 이미지들 및 상기 인터-컬러 이미지들에 상응하는 가상 백색 이미지를 발생하는 단계;
상기 컬러 이미지들 및 상기 가상 백색 이미지에 기초하여 학습 모자이크 이미지를 발생하는 단계;
상기 학습 모자이크 이미지에 기초하여 인공 신경망을 트레이닝하여 학습된 인공 신경망을 제공하는 단계; 및
학습된 상기 인공 신경망에 기초하여 입력 모자이크 이미지에 상응하는 디모자이크 컬러 이미지들을 발생하는 단계를 포함하는 심층 학습 기반의 디모자이킹 방법. - 제8 항에 있어서,
상기 인공 신경망은 인코더-디코더 구조를 갖는 합성곱 신경망(CNN, convolutional neural network)이고,
상기 인공 신경망은 상기 입력 모자이크 이미지에 기초하여 순차적으로 다운샘플링을 수행하고 잔차 성분을 학습하여 인코딩된 맵들을 발생하는 3개의 인코더들 및 상기 인코딩된 맵들에 기초하여 순차적으로 업샘플링을 수행하고 해상도를 복원하여 상기 디모자이크 컬러 이미지들을 발생하는 3개의 디코더들을 포함하는 것을 특징으로 하는 심층 학습 기반의 디모자이킹 방법. - 제8 항에 있어서,
상기 인터-컬러 이미지의 인터-컬러 픽셀 값은 서로 다른 컬러 이미지들의 상기 인터-컬러 픽셀에 상응하는 컬러 픽셀 값들의 곱에 대한 제곱근인 것을 특징으로 하는 심층 학습 기반의 디모자이킹 방법.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200122511A KR20220039429A (ko) | 2020-09-22 | 2020-09-22 | 컬러 분해 방법 및 이를 이용한 심층 학습 기반의 디모자이킹 방법 |
| US17/232,435 US11861807B2 (en) | 2020-09-22 | 2021-04-16 | Method of color decomposition and method of demosaicing images based on deep learning using the same |
| CN202111078900.4A CN114255165A (zh) | 2020-09-22 | 2021-09-15 | 颜色分解方法和用其基于深度学习对图像去马赛克的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200122511A KR20220039429A (ko) | 2020-09-22 | 2020-09-22 | 컬러 분해 방법 및 이를 이용한 심층 학습 기반의 디모자이킹 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220039429A true KR20220039429A (ko) | 2022-03-29 |
Family
ID=80740551
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200122511A KR20220039429A (ko) | 2020-09-22 | 2020-09-22 | 컬러 분해 방법 및 이를 이용한 심층 학습 기반의 디모자이킹 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11861807B2 (ko) |
| KR (1) | KR20220039429A (ko) |
| CN (1) | CN114255165A (ko) |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100440278C (zh) | 2003-10-30 | 2008-12-03 | 松下电器产业株式会社 | 彩色图像处理装置及彩色图像处理方法 |
| KR20070014862A (ko) | 2005-07-29 | 2007-02-01 | 삼성전자주식회사 | 영상신호 처리장치, 액정표시장치 및 그 구동방법 |
| KR101319321B1 (ko) | 2006-12-28 | 2013-10-16 | 엘지디스플레이 주식회사 | 액정 표시장치의 구동장치와 그 구동방법 |
| KR101329125B1 (ko) | 2007-08-13 | 2013-11-14 | 삼성전자주식회사 | ＲＧＢ－ｔｏ－ＲＧＢＷ 컬러 분해 방법 및 시스템 |
| JP5190731B2 (ja) | 2007-10-23 | 2013-04-24 | Ｎｌｔテクノロジー株式会社 | 画像表示装置、該画像表示装置に用いられる画像表示方法、及び液晶表示装置 |
| US8223180B2 (en) | 2009-08-24 | 2012-07-17 | Samsung Electronics Co., Ltd. | Gamut mapping which takes into account pixels in adjacent areas of a display unit |
| KR101587606B1 (ko) | 2009-09-07 | 2016-01-25 | 삼성디스플레이 주식회사 | 데이터 처리 장치, 이를 갖는 표시 시스템 및 데이터 처리 방법 |
| KR102090605B1 (ko) | 2013-08-27 | 2020-03-18 | 엘지디스플레이 주식회사 | 데이터 변환 회로 및 이를 이용한 디스플레이 장치 |
| US9344690B2 (en) | 2014-01-24 | 2016-05-17 | Microsoft Technology Licensing, Llc | Image demosaicing |
| JP6323152B2 (ja) | 2014-05-09 | 2018-05-16 | 三菱電機株式会社 | 画像処理装置、画像表示装置、画像処理方法及びコンピュータプログラム |
| JP2019004388A (ja) | 2017-06-16 | 2019-01-10 | 株式会社半導体エネルギー研究所 | 情報処理装置、及び表示方法 |
-
2020
- 2020-09-22 KR KR1020200122511A patent/KR20220039429A/ko not_active Application Discontinuation
-
2021
- 2021-04-16 US US17/232,435 patent/US11861807B2/en active Active
- 2021-09-15 CN CN202111078900.4A patent/CN114255165A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US11861807B2 (en) | 2024-01-02 |
| US20220092733A1 (en) | 2022-03-24 |
| CN114255165A (zh) | 2022-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10970600B2 (en) | Method and apparatus for training neural network model used for image processing, and storage medium | |
| CN111127336B (zh) | 一种基于自适应选择模块的图像信号处理方法 | |
| CN111898701B (zh) | 模型训练、帧图像生成、插帧方法、装置、设备及介质 | |
| US9344690B2 (en) | Image demosaicing | |
| WO2021147095A1 (en) | Deep residual network for color filter array image denoising | |
| US8290309B2 (en) | Super-resolution method for image display | |
| WO2022105638A1 (zh) | 图像退化处理方法、装置、存储介质及电子设备 | |
| WO2020152521A1 (en) | Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures | |
| KR20210004229A (ko) | 뉴럴 네트워크 프로세서를 구비하는 이미지 프로세싱 장치 및 이의 동작 방법 | |
| CN108492249B (zh) | 基于小卷积递归神经网络的单帧超分辨重建方法 | |
| US12086956B2 (en) | Device based on machine learning | |
| US11893710B2 (en) | Image reconstruction method, electronic device and computer-readable storage medium | |
| US8587705B2 (en) | Hardware and software partitioned image processing pipeline | |
| US20220321830A1 (en) | Optimization of adaptive convolutions for video frame interpolation | |
| JP2023501934A (ja) | ゲームのスーパーレゾリューション | |
| Ma et al. | Restoration and enhancement on low exposure raw images by joint demosaicing and denoising | |
| Pan et al. | Joint demosaicking and denoising for CFA and MSFA images using a mosaic-adaptive dense residual network | |
| US20220130012A1 (en) | Demosaicing method and demosaicing device | |
| KR20220039429A (ko) | 컬러 분해 방법 및 이를 이용한 심층 학습 기반의 디모자이킹 방법 | |
| TWI736112B (zh) | 像素值校正方法以及像素值校正裝置 | |
| US20240202867A1 (en) | Demosaicing method and demosaicing device | |
| US20240169497A1 (en) | Airy-Disk Correction for Deblurring an Image | |
| CN118279180B (zh) | 基于双通道网络的低照度图像增强方法及相关设备 | |
| US20240305901A1 (en) | Demosaicing quad bayer raw image using correlation of color channels | |
| US20240087087A1 (en) | Method and apparatus for super resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal |