KR102524671B1 - 전자 장치 및 그의 제어 방법 - Google Patents

전자 장치 및 그의 제어 방법 Download PDF

Info

Publication number
KR102524671B1
KR102524671B1 KR1020180008988A KR20180008988A KR102524671B1 KR 102524671 B1 KR102524671 B1 KR 102524671B1 KR 1020180008988 A KR1020180008988 A KR 1020180008988A KR 20180008988 A KR20180008988 A KR 20180008988A KR 102524671 B1 KR102524671 B1 KR 102524671B1
Authority
KR
South Korea
Prior art keywords
image
luminance
luminance value
cumulative distribution
distribution function
Prior art date
Application number
KR1020180008988A
Other languages
English (en)
Other versions
KR20190090288A (ko
Inventor
황도식
방기훈
장한별
장진성
천민수
박영오
전선영
Original Assignee
삼성전자주식회사
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 연세대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020180008988A priority Critical patent/KR102524671B1/ko
Priority to US16/002,232 priority patent/US10796419B2/en
Publication of KR20190090288A publication Critical patent/KR20190090288A/ko
Application granted granted Critical
Publication of KR102524671B1 publication Critical patent/KR102524671B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

전자 장치가 개시된다. 본 전자 장치는 기설정된 변환 관계식이 저장된 메모리 및 제1 이미지에 포함된 각 픽셀의 휘도 값을 나타내는 제1 휘도 정보와 각 픽셀의 색상 값을 나타내는 제1 색상 정보를 획득하고, 제1 휘도 정보에 기초하여 휘도 별 누적 픽셀 수의 관계를 나타내는 제1 누적분포함수를 획득하고, 제1 누적분포함수에 기설정된 변환 관계식을 적용하여 제2 누적분포함수를 획득하고, 제1 누적분포함수 및 제2 누적분포함수를 이용하여 각 픽셀의 변환된 휘도 값을 나타내는 제2 휘도 정보를 산출하고, 제1 색상 정보 및 제2 휘도 정보에 기초하여 제2 이미지를 생성하는 프로세서를 포함한다.

Description

전자 장치 및 그의 제어 방법{ELECTRONIC APPARATUS AND CONTROLLING METHOD OF THEREOF}
본 개시는 전자 장치 및 그의 제어방법에 관한 것으로, 더욱 상세하게는 이미지의 휘도 값을 변환하여 새로운 이미지를 생성하는 전자 장치 및 그의 제어방법에 대한 것이다.
인간의 눈이 인지하는 명암비는 약 10,000:1정도이다. 즉, 가장 어두운 부분에서 밝은 부분을 10,000개 단계로 구분할 수 있다는 뜻이다. 현재 카메라의 경우 보통 명암비가 300:1, 최신 HDR 모니터의 경우 1,000:1 정도이다. 명암비가 작을수록 휘도가 다름에도 같은 휘도로 판단하는 부분이 넓어지며 이미지의 품질이 떨어진다.
한편, 명암비가 작은 LDR image에서 명암비가 큰 HDR image로 변환하여 이미지의 품질을 높일 수 있다. 종래에는 휘도가 서로 다른 여러 장의 LDR 이미지를 합쳐 명암비가 큰 HDR 이미지로 바꿔주는 기술과 한장의 LDR 이미지의 휘도를 linear하게 확장시켜 HDR 이미지를 만들어주는 기술이 있다.
휘도가 서로 다른 여러 장의 LDR 이미지를 합쳐 명암비가 큰 HDR 이미지로 바꿔주는 기술은 한 장의 이미지를 가지고 만드는 것이 아니므로 피사체가 흔들리면 이를 결합하는 과정에서 ghost artifact가 발생하게 된다. 또한 여러 장의 움직이지 않는 이미지가 필요하므로 촬영에 걸리는 시간 및 비용이 많이 드는 단점도 있다.
한편, 한장의 LDR image 의 휘도를 linear하게 확장시켜 HDR image 를 만들어주는 기술은 noise, 왜곡현상 등이 나타나게 된다.
본 개시는 상술한 문제를 개선하기 위해 고안된 것으로, 본 개시의 목적은 Low Dynamic Range(LDR) 이미지에서 휘도 값에 따른 누적분포함수를 이용하여 새로운 휘도 값을 산출하고 새로운 휘도 값을 이용하여 새로운 이미지를 생성하는 전자 장치 및 그의 제어방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 실시예에 따른 전자 장치는 기설정된 변환 관계식이 저장된 메모리 및 제1 이미지에 포함된 각 픽셀의 휘도 값을 나타내는 제1 휘도 정보와 상기 각 픽셀의 색상 값을 나타내는 제1 색상 정보를 획득하고, 상기 제1 휘도 정보에 기초하여 휘도 별 누적 픽셀 수의 관계를 나타내는 제1 누적분포함수를 획득하고, 상기 제1 누적분포함수에 상기 기설정된 변환 관계식을 적용하여 제2 누적분포함수를 획득하고, 상기 제1 누적분포함수 및 상기 제2 누적분포함수를 이용하여 상기 각 픽셀의 변환된 휘도 값을 나타내는 제2 휘도 정보를 산출하고, 상기 제1 색상 정보 및 상기 제2 휘도 정보에 기초하여 제2 이미지를 생성하는 프로세서를 포함한다.
이 경우, 상기 제2 이미지의 다이내믹 레인지(dynamic range)는 상기 제1 이미지의 다이내믹 레인지보다 넓을 수 있다.
한편, 상기 프로세서는 상기 제1 및 제2 누적분포함수 간 히스토그램 매칭을 이용하여 상기 각 픽셀의 휘도 값에 기초하여 상기 각 픽셀에 대응되는 상기 변환된 휘도 값을 획득할 수 있다.
또한, 상기 제1 누적분포함수는 제1 휘도 값 이하의 휘도 값을 가지는 픽셀의 수를 누적하여 상기 제1 휘도 값에 대응되는 제1 누적 픽셀 수를 산출하고, 상기 제1 휘도 값보다 큰 제2 휘도 값 이하의 휘도 값을 가지는 픽셀의 수를 누적하여 상기 제2 휘도 값에 대응되는 제2 누적 픽셀 수를 산출하여 획득되는 전자 장치.
또한, 상기 프로세서는 상기 제1 누적분포함수에서 특정 휘도 값에 대응되는 누적 픽셀 수를 식별하고, 상기 식별된 누적 픽셀 수와 동일한 누적 픽셀 수에 대응되는 휘도 값을 상기 제2 누적분포함수에서 식별하고, 상기 식별된 휘도 값을 상기 특정 휘도 값을 가지는 픽셀의 변환된 휘도 값으로 획득할 수 있다.
또한, 상기 기설정된 변환 관계식은 LDR 트레이닝 이미지를 HDR 트레이닝 이미지로 변환하는 과정을 딥러닝을 통해 학습하여 획득된 관계식일 수 있다.
한편, 상기 제1 및 제2 이미지는 RGB 도메인 이미지이며, 상기 프로세서는 상기 제1 이미지를 Lab 도메인 이미지로 변환하여 상기 제1 휘도 정보 및 상기 제1 색상 정보를 획득하고, 상기 제1 색상 정보 및 제2 휘도 정보에 기초한 Lab 도메인 이미지를 RGB 도메인 이미지로 변환하여 상기 제2 이미지를 생성할 수 있다.
또한, 상기 프로세서는 상기 제1 이미지 및 상기 제2 이미지 각각을 복수의 픽셀 영역으로 식별하고, 상기 제1 이미지의 픽셀 영역 및 상기 제2 이미지의 픽셀 영역을 교번적으로 배치하여 제1 프레임을 생성하고, 상기 제1 프레임에서 상기 제1 이미지의 픽셀 영역 위치에 상기 제2 이미지의 픽셀 영역을 배치하고 상기 제2 이미지의 픽셀 영역 위치에 상기 제1 이미지의 픽셀 영역을 배치하여 제2 프레임을 생성할 수 있다.
한편, 전자 장치는 디스플레이를 더 포함하며, 상기 프로세서는 상기 제1 프레임과 상기 제2 프레임을 교번적으로 디스플레이하도록 상기 디스플레이를 제어할 수 있다.
한편, 본 개시의 일 실시 예에 따른 기설정된 변환 관계식이 저장된 전자 장치의 제어 방법에 있어서, 제1 이미지에 포함된 각 픽셀의 휘도 값을 나타내는 제1 휘도 정보와 상기 각 픽셀의 색상 값을 나타내는 제1 색상 정보를 획득하는 단계, 상기 제1 휘도 정보에 기초하여 휘도 별 누적 픽셀 수의 관계를 나타내는 제1 누적분포함수를 획득하는 단계, 상기 제1 누적분포함수에 상기 기설정된 변환 관계식을 적용하여 제2 누적분포함수를 획득하는 단계, 상기 제1 누적분포함수 및 상기 제2 누적분포함수를 이용하여 상기 각 픽셀의 변환된 휘도 값을 나타내는 제2 휘도 정보를 산출하는 단계 및 상기 제1 색상 정보 및 상기 제2 휘도 정보에 기초하여 제2 이미지를 생성하는 단계를 포함한다.
이 경우, 상기 제2 이미지의 다이내믹 레인지(dynamic range)는 상기 제1 이미지의 다이내믹 레인지보다 넓을 수 있다.
또한, 상기 제2 휘도 정보를 산출하는 단계는 상기 제1 및 제2 누적분포함수 간 히스토그램 매칭을 이용하여 상기 각 픽셀의 휘도 값에 기초하여 상기 각 픽셀에 대응되는 상기 변환된 휘도 값을 획득할 수 있다.
또한, 상기 제1 누적분포함수는 제1 휘도 값 이하의 휘도 값을 가지는 픽셀의 수를 누적하여 상기 제1 휘도 값에 대응되는 제1 누적 픽셀 수를 산출하고, 상기 제1휘도 값보다 큰 제2 휘도 값 이하의 휘도 값을 가지는 픽셀의 수를 누적하여 상기 제2 휘도 값에 대응되는 제2 누적 픽셀 수를 산출하여 획득될 수 있다.
또한, 상기 제2 휘도 정보를 산출하는 단계는 상기 제1 누적분포함수에서 특정 휘도 값에 대응되는 누적 픽셀 수를 식별하고, 상기 식별된 누적 픽셀 수와 동일한 누적 픽셀 수에 대응되는 휘도 값을 상기 제2 누적분포함수에서 식별하고, 상기 식별된 휘도 값을 상기 특정 휘도 값을 가지는 픽셀의 변환된 휘도 값으로 획득할 수 있다.
또한, 상기 기설정된 변환 관계식은 LDR 트레이닝 이미지를 HDR 트레이닝 이미지로 변환하는 과정을 딥러닝을 통해 학습하여 획득된 관계식일 수 있다.
또한, 상기 제1 및 제2 이미지는 RGB 도메인 이미지이며 상기 제2 이미지를 생성하는 단계는 상기 제1 이미지를 Lab 도메인 이미지로 변환하여 상기 제1 휘도 정보 및 상기 제1 색상 정보를 획득하고, 상기 제1 색상 정보 및 제2 휘도 정보에 기초한 Lab 도메인 이미지를 RGB 도메인 이미지로 변환하여 상기 제2 이미지를 생성할 수 있다.
또한, 상기 제1 이미지 및 상기 제2 이미지 각각을 복수의 픽셀 영역으로 식별하는 단계 및 상기 제1 이미지의 픽셀 영역 및 상기 제2 이미지의 픽셀 영역을 교번적으로 배치하여 제1 프레임을 생성하고, 상기 제1 프레임에서 상기 제1 이미지의 픽셀 영역 위치에 상기 제2 이미지의 픽셀 영역을 배치하고 상기 제2 이미지의 픽셀 영역 위치에 상기 제1 이미지의 픽셀 영역을 배치하여 제2 프레임을 생성하는 단계를 더 포함할 수 있다.
이 경우, 상기 제1 프레임과 상기 제2 프레임을 교번적으로 디스플레이하는 단계를 더 포함할 수 있다.
한편, 본 개시의 일 실시 예에 따른 기설정된 변환 관계식이 저장된 전자 장치 프로세서에 의해 실행되는 경우 상기 전자 장치가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서, 상기 동작은 제1 이미지에 포함된 각 픽셀의 휘도 값을 나타내는 제1 휘도 정보와 상기 각 픽셀의 색상 값을 나타내는 제1 색상 정보를 획득하는 단계, 상기 제1 휘도 정보에 기초하여 휘도 별 누적 픽셀 수의 관계를 나타내는 제1 누적분포함수를 획득하는 단계, 상기 제1 누적분포함수에 상기 기설정된 변환 관계식을 적용하여 제2 누적분포함수를 획득하는 단계, 상기 제1 누적분포함수 및 상기 제2 누적분포함수를 이용하여 상기 각 픽셀의 변환된 휘도 값을 나타내는 제2 휘도 정보를 산출하는 단계 및 상기 제1 색상 정보 및 상기 제2 휘도 정보에 기초하여 제2 이미지를 생성하는 단계를 포함한다.
도 1은 본 개시의 일 실시예에 따른 전자 장치의 블록도,
도 2는 LDR image와 HDR image를 비교하기 위한 도면,
도 3은 LDR image와 HDR image를 비교하기 위한 누적분포함수,
도 4는 LDR image에 적용될 관계식을 구하기 위한 과정을 설명하기 위한 도면,
도 5는 LDR image를 변환시키기 위한 과정을 설명하기 위한 도면,
도 6은 LDR image에 포함된 휘도 정보를 변경하는 방법을 설명하기 위한 도면,
도 7은 제1이미지, 제2 이미지, HDR image 를 비교하기 위한 누적분포함수,
도 8은 제1이미지, 제2 이미지, HDR image 를 비교하기 위한 도면,
도 9는 본 개시의 또 다른 실시 예에 따른 전자 장치의 동작을 설명하기 위한 도면, 및
도 10은 본 개시의 일 실시 예에 따른 전자 장치의 흐름도이다.
본 개시에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 개시의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다 하지만, 이러한 용어들은 당해 기술 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소를 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 "제1", "제2" 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성요소들을 서로 구별하기 위하여 사용하는 것이며 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안 된다. 일 예로, 이러한 서수와 결합된 구성요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한되어서는 안 된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다." 또는 "구성되다." 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 실시예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다." 또는 "구성되다." 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
또한, 본 개시의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 블록도이다.
도 1을 참조하면, 본 개시의 일 실시 예에 따른 전장 장치(100)는 메모리(101) 및 프로세서(102)로 구성될 수 있다.
여기서, 전자 장치(100)는 촬상 동작을 수행할 수 있는 전자 장치에 해당할 수 있으며, 예를들어, 카메라, 스마트폰, 태블릿 등에 해당할 수 있다. 하지만, 반드시 이에 한정되는 것은 아니며, 전자 장치는 이미지를 수신하여 변환 가능한 다양한 장치에 해당할 수 있다.
메모리(101)는 비휘발성 메모리, 휘발성 메모리, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다. 한편, 메모리는 전자 장치내의 저장 매체뿐만 아니라, 외부 저장 매체, 예를 들어, micro SD 카드, USB 메모리 또는 네트워크를 통한 웹 서버(Web server) 등으로 구현될 수 있다.
구체적으로, 메모리에는 기설정된 변환 관계식이 저장될 수 있다. 기설정된 변환 관계식이란 LDR image에서 HDR image로 변환하기 위한 관계식일 수 있다. 구체적으로 관계식은 기존의 LDR image와 종래기술을 통해 생성된 HDR image를 비교하여 획득될 수 있다. 자세한 설명은 도 4에서 후술한다.
프로세서(102)는 전자 장치(100)의 전반적인 제어 동작을 수행할 수 있다. 구체적으로, LDR image에서 특정 정보를 획득하고 특정 정보 중 일부를 변환하도록 제어할 수 있다.
구체적으로, 상술한 특정 정보는 휘도 정보와 색상 정보일 수 있으며, 프로세서(102)는 제1 이미지에 포함된 각 픽셀의 휘도 값을 나타내는 제1 휘도 정보와 각 픽셀의 색상 값을 나타내는 제1 색상 정보를 획득할 수 있다. 여기서, 제1이미지는 LDR image에 해당할 수 있다.
또한, 프로세서(102)는 제1 이미지에 포함된 제1 휘도 정보에 기초하여 휘도 별 누적 픽셀 수의 관계를 나타내는 제1 누적분포함수를 획득할 수 있다. 여기서, 누적분포함수는 밝기의 정도에 따른 누적 픽셀수의 분포를 나타내는 함수일 수 있으며, 휘도 값이 높아 질수록 누적 픽셀수는 증가하는 함수일 수 있다.
예를 들어, 제1 누적분포함수는 제1 휘도 값 이하의 휘도 값을 가지는 픽셀의 수를 누적하여 제1 휘도 값에 대응되는 제1 누적 픽셀 수가 설정되고, 제1 휘도 값보다 큰 제2 휘도 값 이하의 휘도 값을 가지는 픽셀의 수를 누적하여 제2 휘도 값에 대응되는 제2 누적 픽셀 수로 설정되는 함수를 의미할 수 있다. 즉, 누적분포함수에서는 누적 픽셀수가 계속 증가하는 형태에 해당할 수 있다. 구체적인 누적분포함수의 구체적인 설명은 도3에서 후술한다.
한편, 프로세서(102)는 제1 누적분포함수에 기설정된 변환 관계식을 적용하여 제2 누적분포함수를 획득할 수 있다. 기설정된 변환 관계식은 LDR 트레이닝 이미지를 HDR 트레이닝 이미지로 변환하는 과정을 딥러닝을 통해 학습하여 획득된 관계식일 수 있다. 예를 들어, 프로세서(102)는 LDR image 와 종래의 방식으로 생성된 HDR image를 트레이닝 이미지로 정할 수 있다. 이 경우, 복수의 LDR image 및 HDR image를 이용할 수 있다. 종래 방식으로 생성된 HDR image는 명암비가 큰 이미지이며 왜곡이나 ghost artifact의 문제가 발견되지 않은 이미지에 해당할 수 있다.
프로세서(102)는 LDR image 및 HDR image에 해당하는 트레이닝 이미지 세트를 분석하여 가장 오차가 적은 관계식을 딥러닝을 통해 획득할 수 있다. 이 경우, 딥러닝 방식으로 convolution neural network 방식을 이용할 수 있다.
그리고, 기설정된 변환 관계식은 메모리(101)에 미리 저장되어 있을 수 있고, 프로세서(102)는 기설정된 변환 관계식을 일괄적으로 LDR image의 제1 누적분포함수에 적용할 수 있다. 구체적인 설명은 도4에서 후술한다.
프로세서(102)는 기설정된 변환 관계식을 제1 누적분포함수에 적용하여 변환된 제2 누적분포함수를 획득할 수 있다. 제2 누적분포함수는 기설정된 변환 관계식을 통해 획득될 수 있으며, 제2 누적분포함수는 HDR image의 누적분포함수에 해당할 수 있다.
프로세서(102)는 제1 누적분포함수 및 제1 누적분포함수로부터 생성된 제2 누적분포함수를 이용하여 제2 휘도 정보를 산출할 수 있다. 제2 휘도 정보는 각 픽셀의 변환된 휘도 값을 의미할 수 있다.
구체적으로, 프로세서(102)는 제1 및 제2 누적분포함수 간 히스토그램 매칭을 이용하여 각 픽셀의 휘도 값에 기초하여 각 픽셀에 대응되는 변환된 휘도 값을 획득할 수 있다.
예를 들어, 프로세서(102)는 제1 누적분포함수에서 특정 휘도 값에 대응되는 누적 픽셀 수를 식별하고, 식별된 누적 픽셀 수와 동일한 누적 픽셀 수에 대응되는 휘도 값을 제2 누적분포함수에서 식별하고, 식별된 휘도 값을 특정 휘도 값을 가지는 픽셀의 변환된 휘도 값으로 획득할 수 있다.
즉, 프로세서(102)는 히스토그램 매칭을 이용하여 제1 이미지(LDR image)의 휘도 값을 변환할 수 있다. 그리고 프로세서(102)는 변환된 휘도 값을 모든 휘도에 대해서 획득할 수 있으며, 프로세서(102)는 제1 색상 정보 및 제2 휘도 정보에 기초하여 제2 이미지를 생성할 수 있다.
이 경우, 제1 및 제2 이미지는 RGB 도메인 이미지이며, 프로세서(102)는 제1 이미지를 Lab 도메인 이미지로 변환하여 제1 휘도 정보 및 제1 색상 정보를 획득하고, 제1 색상 정보 및 제2 휘도 정보에 기초한 Lab 도메인 이미지를 RGB 도메인 이미지로 변환하여 제2 이미지를 생성할 수 있다. 여기서, Lab 도메인은 휘도와 색상 정보를 모두 포함하는 도메인일 수 있다.
즉, 프로세서(102)는 제1 색상 정보 및 제2 휘도 정보에 기초하여 새로운 Lab 도메인 이미지를 생성할 수 있고, 새로 생성된 Lab 도메인 이미지를 RGB 도메인 이미지로 변환할 수 있다. 이 경우, 변환된 RGB 도메인 이미지는 제2 이미지로 표현될 수 있으며 HDR image로서 디스플레이에 출력될 수 있다.
이 경우, 제2 이미지의 다이내믹 레인지(dynamic range)는 제1 이미지의 다이내믹 레인지보다 넓을 수 있다. 구체적으로, 제1 이미지(LDR image)보다 제2 이미지(HDR image)가 명암비가 넓고 다이내믹 레인지가 넓을 수 있다. 따라서 제1 이미지로부터 변환된 제2 이미지는 HDR image에 해당할 수 있으며 제2이미지는 제1 이미지보다 명암비 또는 다이내믹 레인지가 넓을 수 있다.
결과적으로 제2이미지는 제1이미지보다 명암의 단계를 더 많이 구분할 수 있고, 피사체를 명확하게 구분할 수 있다.
한편, 프로세서(102)는 제1 이미지 및 제2 이미지와 동일한 크기의 프레임을 생성할 수 있다. 프레임에는 제1 이미지 및 제2 이미지가 격자 무늬 형태로 포함될 수 있다. 예를 들어, 프레임의 제1 영역에는 제1이미지의 일부가 포함되고, 제1 영역과 인접한 제2 영역에는 제2 이미지의 일부가 포함될 수 있다. 즉, 하나의 프레임은 제1 이미지의 일부 및 제2 이미지의 일부가 함께 포함될 수 있고, 프레임을 전체적으로 보면 하나의 완성된 이미지일 수 있다.
하나의 프레임에는 제1 이미지 및 제2 이미지가 모두 포함되어 있으면서 완성된 이미지를 나타내야 하므로 일부 영역에 따라 휘도 값이 다를 뿐 전체적인 이미지의 형태 및 내용은 유지될 수 있다.
프로세서(102)는 제1 이미지 및 제2 이미지 각각을 복수의 픽셀 영역으로 식별하고, 제1 이미지의 픽셀 영역 및 제2 이미지의 픽셀 영역을 교번적으로 배치하여 제1 프레임을 생성하고, 제1 프레임에서 제1 이미지의 픽셀 영역 위치에 제2 이미지의 픽셀 영역을 배치하고 제2 이미지의 픽셀 영역 위치에 제1 이미지의 픽셀 영역을 배치하여 제2 프레임을 생성할 수 있다.
이 경우, 전자 장치(100)는 디스플레이를 더 포함하며, 프로세서(102)는 제1 프레임과 제2 프레임을 교번적으로 디스플레이하도록 디스플레이를 제어할 수 있다.
프로세서(102)는 제1 프레임과 제2프레임을 짧은 시간에 번갈아가면서 표시될 수 있도록 설정할 수 있다.
여기서, 제1 이미지는 LDR image일 수 있고 제2 이미지는 HDR image일 수 있다. 기존의 제1 이미지를 변형하여 명암비가 높은 제2 이미지를 생성할 수 있다. 하지만 이 경우, 원본과의 차이점을 최소화 하면서 동시에 명암비를 높이기 위하여 이미지를 특정 영역으로 구분하여 제1 이미지와 제2 이미지 제2 이미지를 하나의 프레임에 디스플레이 할 수 있다. 구체적인 설명은 도 9에서 후술한다.
이상과 같이 본 개시의 일 실시 예에 따른 전자 장치(100)는, 명암비가 작은 LDR image에서 명암비가 높은 HDR image로 변환할 수 있는바, 사용자에게 쉽고 간단한 방법으로 HDR image를 제공할 수 있다.
기존에는 여러 장의 이미지를 합쳐야만 얻을 수 있던 HDR 이미지를 한 장의 LDR 이미지만으로 얻을 수 있다. 그로 인해 여러 장을 얻어야만 했던 시간과 비용의 문제를 해결할 수 있고 여러 장을 찍을 때 피사체가 움직여 발생했던 ghost artifact 문제도 해결 할 수 있다.
도 2는 LDR image와 HDR image를 비교하기 위한 도면이다.
도 2를 참조하면, LDR image의 휘도가 밝은 영역(211), 일반적인 영역(212), 어두운 영역(213)으로 구분될 수 있다. LDR image는 명암비가 작기 때문에 밝거나 어두운 영역에서는 휘도의 구분이 어렵고 피사체의 선명도가 떨어질 수 있다. 일반적인 영역(212)에서는 피사체가 쉽게 구분되지만 밝은 영역(211) 또는 어두운 영역(213)에서는 피사체의 구분이 어려울 수 있다.
하지만, HDR image에서는 피사체의 구분이 LDR image에서보다 쉬울 수 있다. 예를 들어 HDR image도 밝은 영역(221), 일반적인 영역(222), 어두운 영역(223)이 있을 수 있다. LDR image와 비교하면 밝은 영역(221)과 어두운 영역(223)에서도 피사체가 쉽게 구분될 수 있다. HDR image는 LDR image보다 명암비가 크기 때문에 휘도의 구분이 다양하고 이에 따라 피사체도 쉽게 구분할 수 있다.
하지만, 종래에 HDR image를 얻기 위해서는 노출값을 다르게 찍은 복수의 사진을 합성하는 방법이 있었다. 하지만 사진이 흔들리는 경우 피사체가 선명하게 나오지 않거나 왜곡되어 나오는 현상이 있어 문제가 되었다.
이를 해결하기 위해 전자 장치(100)는 복수의 사진을 결합하는 것이 아니라 한장의 LDR image를 이용하여 HDR image로 변환하는 방법에 해당한다.
도 3은 LDR image와 HDR image를 비교하기 위한 누적분포함수이다.
도 3을 참조하면, LDR image와 HDR image를 비교하기 위한 각각의 누적분포함수를 비교할 수 있다. 이 경우, 누적분포함수는 밝기 값을 기준으로 누적 픽셀 수의 분포를 나타낼 수 있다. 그리고, 도 3에서 도시하는 누적분포함수의 기울기는 해당 밝기 값을 갖는 픽셀 수를 의미할 수 있다. 예를 들어, 밝기 값 80을 갖는 누적 픽셀 수는 LDR image가 0.25, HDR image가 0.6에 해당할 수 있다. 여기서, LDR image에서 밝기 값 80을 갖는 누적 픽셀 수가 0.25라는 것은 밝기 값 80이상인 픽셀 수가 0.75라는 의미가 될 수 있다.
한편, 누적분포함수는 밝기 값 및 누적 픽셀 수 모두 정규화할 수 있다. 예를 들어, 모든 이미지가 밝기 값을 1부터 100까지의 값을 갖도록 정규화할 수 있다. 이 경우, 밝기 값의 범위가 다른 이미지들도 밝기 값을 1부터 100사이의 값만을 가질 수 있다.
마찬가지로, 누적 픽셀 수도 정규화 할 수 있다. 예를 들어, 모든 이미지가 누적 픽셀 수를 0부터 1까지의 값을 갖도록 정규화할 수 있다. 이 경우, 해당 이미지의 모든 픽셀이 누적되는 밝기 값 100에 대응되는 누적 픽셀 수는 1이 될 수 있다. 이 경우, 픽셀 수 가 다른 이미지들도 누적 픽셀 수를 0부터 1사이의 값만을 가질 수 있다.
또한, 해당 밝기 값의 픽셀 수는 도 3의 누적분포함수의 기울기로 판단할 수 있다. 누적분포함수의 기울기의 정도가 해당 밝기 값을 갖는 픽셀의 수를 의미할 수 있다. 예를 들어, 누적분포함수의 기울기가 크면 해당 밝기 값을 갖는 픽셀이 많다는 것을 판단할 수 있다. 반대로 누적분포함수의 기울기가 작으면 해당 밝기 값을 갖는 픽셀이 적다는 것을 판단할 수 있다.
그렇다면, 도 3의 LDR image 및 HDR image의 누적분포함수를 참고하면, 밝기 값이 큰 쪽에 누적분포함수의 기울기가 큰 것을 식별할 수 있고, 도 3의 누적분포함수는 전체적으로 밝은 이미지임을 추측할 수 있다.
한편, LDR image는 HDR image보다 다이나믹 레인지가 좁기 때문에 어둡거나 밝은 부분에서 왜곡이 일어날 수 있다. 따라서, LDR image는 HDR image보다 가장 밝거나 가장 어두운 색상 값을 갖는 픽셀의 수가 많을 수 있다. 그리고, 도 3의 누적분포함수에서 LDR image의 함수가 HDR image의 함수보다 더 우측 아래쪽으로 치우쳐져 있다는 점에서 왜곡이 더 심할 것이라고 판단할 수 있다.
도 4는 LDR image에 적용될 변환 관계식을 구하기 위한 과정을 설명하기 위한 도면이다.
도 4를 참조하면, 전자 장치(100)는 변환 관계식을 구하기 위하여 딥러닝 학습 동작을 수행할 수 있다. 구체적으로, LDR image와 HDR image 사이의 변환 관계식을 획득하기 위해 Convolution Neural Network를 방법을 이용할 수 있다. 전자 장치(100)는 LDR image의 누적분포함수 및 HDR image의 누적분포함수를 비교할 수 있다. 여기서 HDR image는 종래 기술에 의해 생성된 이미지를 의미하며, 명암비가 큰 이미지에 해당할 수 있다. 그리고 HDR image는 LDR image보다 명암비가 큰 피사체를 쉽게 구별할 수 있는 이미지에 해당할 수 있다. 전자 장치(100)는 LDR image와 명암비가 큰 HDR image의 관계를 누적분포함수를 통해 비교할 수 있다.
구체적으로, 전자 장치(100)는 LDR image의 누적분포함수와 HDR image의 누적분포함수의 관계식을 찾을 수 있다. 동일한 피사체를 대상으로 하는 LDR image(A_L)와 HDR image(A_H)를 하나의 이미지 세트로 표현한다. 전자 장치(100)는 복수의 이미지 세트를 분석하고 각각의 LDR image(AL,BL,CL..nL)의 누적분포함수에서 HDR image(AH,BH,CH,...,nH)의 누적분포함수로 변환하기 위한 관계식을 딥 러닝 기반의 기계학습 알고리즘을 이용하여 찾을 수 있다.
본 개시의 변환 관계식 계산은 머신 러닝 기반의 인식 시스템에 의해 수행될 수 있으며, 본 개시에서는 뉴럴 네트워크(Neural Networks)에 기반한 일련의 기계학습 알고리즘에 의한 분류 시스템으로서, 딥 러닝 기반의 인식 시스템을 예로서 설명한다.
딥 러닝 기반의 인식 시스템은 적어도 하나의 분류기를 포함할 수 있으며, 분류기는 하나 또는 복수 개의 프로세서에 해당할 수 있다. 프로세서는 다수의 논리 게이트들의 어레이(Array)로 구현될 수 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다.
분류기는 뉴럴 네트워크(Neural Network) 기반 분류기, SVM(Support Vector Machine), 에이다부스트 분류기(Adaboost Classifier), 베이지안 분류기(Bayesian Classifier) 및, 퍼셉트론 분류기(Perceptron Classifier) 등으로 구현될 수 있다. 이하, 본 개시의 분류기는 컨볼루션 뉴럴 네트워크(Convolutional Neural Network, CNN) 기반 분류기로 구현되는 실시 예에 대하여 설명한다. 뉴럴 네트워크 기반 분류기는, 연결선으로 연결된 많은 수의 인공 뉴런들을 이용하여 생물학적인 시스템의 계산 능력을 모방하도록 구현된 연산모델로서, 연결 강도(가중치)를 갖는 연결선을 통해 인간의 인지작용이나 학습과정을 수행하게 된다. 그러나, 본 개시의 분류기가 이에 한정되는 것은 아니며, 상술한 다양한 분류기로 구현될 수 있음은 물론이다.
일반적인 뉴럴 네트워크는 입력층(input layer), 은닉층(hidden layer) 및 출력층(output layer)을 포함하며, 은닉층은 필요에 따라서 1 이상의 층으로 구성될 수 있다. 이러한, 뉴럴 네트워크를 학습시키기 위한 알고리즘으로 역전파(Bak Propagation) 알고리즘을 이용할 수 있다.
분류기는 어떠한 데이터가 뉴럴 네트워크의 입력층에 입력되면, 입력된 학습 데이터에 대한 출력 데이터가 뉴럴 네트워크의 출력층으로 출력되도록 뉴럴 네트워크를 학습시킬 수 있다. 촬영 이미지로부터 획득된 특징 정보가 입력되면, 뉴럴 네트워크를 이용하여 특징 정보의 패턴을 여러 클래스 중에서 어느 하나의 클래스로 분류하고, 분류 결과를 출력할 수 있다.
프로세서(102)는 뉴럴 네트워크(Neural Networks)에 기반한 일련의 기계학습 알고리즘에 의한 분류 시스템으로서, 딥 러닝 기반의 인식 시스템을 이용할 수 있다.
구체적으로, 전자 장치(100)는 입력층에 LDR image에 대한 정보를 입력하고 출력층에 HDR image에 대한 정보를 설정할 수 있다. 그리고, 상기 입력층과 출력층에 설정된 정보들을 비교하여 관계식을 찾을 수 있다. 구체적으로 LDR image의 누적분포함수와 HDR image의 누적분포함수 사이의 관계식을 찾을 수 있다. 그리고, 전자 장치(100)는 LDR image의 누적분포함수와 HDR image의 누적분포함수 사이의 차이가 가장 적은 관계식이 도출될 때까지 스스로 학습하는 동작을 수행할 수 있다.
이러한 기계학습 알고리즘을 이용한 딥 러닝 기반의 인식 시스템을 이용하여 전자 장치(100)는 변환 관계식을 도출할 수 있다.
도 5는 LDR image를 변환시키기 위한 과정을 설명하기 위한 도면이다.
도 5를 참조하면, 전자 장치(100)는 제1 이미지를 제2이미지를 변환할 수 있다. 여기서 제1 이미지는 LDR image에 해당하며, 제2 이미지는 HDR image에 해당할 수 있다. 그리고, 제1이미지 및 제2이미지는 RGB 도메인에 해당할 수 있다.
전자 장치(100)는 RGB 도메인으로 이루어진 제1 이미지를 색공간변환(Color Space Converting or Color Space Conversion)을 통해 RGB 도메인을 Lab도메인으로 변환할 수 있다. 변환된 Lab도메인은 휘도를 나타내는 L값과 색상값을 나타내는 a 및 b값으로 이루어질 수 있다.
전자 장치(100)는 변환된 Lab도메인에서 휘도 값인 L값을 변환시킬 수 있다. 구체적으로, 제1 이미지에 포함된 휘도 값으로 누적분포함수를 산출할 수 있다. 여기서 전자 장치(100)는 제1 이미지에 대한 제1 누적분포함수를 산출할 수 있다.
전자 장치(100)는 기설정된 변환 관계식을 제1 누적분포함수에 적용하여 변환된 제2 누적분포함수를 획득할 수 있다. 제2 누적분포함수는 기설정된 변환 관계식을 통해 획득될 수 있으며, 제2 누적분포함수는 HDR image의 누적분포함수에 해당할 수 있다.
프로세서(102)는 제1 누적분포함수 및 제1 누적분포함수로부터 생성된 제2 누적분포함수를 이용하여 제2 휘도 정보를 산출할 수 있다. 제2 휘도 정보는 각 픽셀의 변환된 휘도 값을 의미할 수 있다.
구체적으로, 프로세서(102)는 제1 및 제2 누적분포함수 간 히스토그램 매칭을 이용하여 각 픽셀의 휘도 값에 기초하여 각 픽셀에 대응되는 변환된 휘도 값을 획득할 수 있다.
예를 들어, 프로세서(102)는 제1 누적분포함수에서 특정 휘도 값에 대응되는 누적 픽셀 수를 식별하고, 식별된 누적 픽셀 수와 동일한 누적 픽셀 수에 대응되는 휘도 값을 제2 누적분포함수에서 식별하고, 식별된 휘도 값을 특정 휘도 값을 가지는 픽셀의 변환된 휘도 값으로 획득할 수 있다.
즉, 프로세서(102)는 히스토그램 매칭을 이용하여 제1 이미지(LDR image)의 휘도 값을 변환할 수 있다. 그리고 프로세서(102)는 변환된 휘도 값을 모든 휘도에 대해서 획득할 수 있으며, 프로세서(102)는 제1 색상 정보 및 제2 휘도 정보를 결합하여 제2 이미지를 생성할 수 있다.
이 경우, 제1 및 제2 이미지는 RGB 도메인 이미지이며, 프로세서(102)는 제1 이미지를 Lab 도메인 이미지로 변환하여 제1 휘도 정보 및 제1 색상 정보를 획득하고, 제1 색상 정보 및 제2 휘도 정보에 기초한 Lab 도메인 이미지를 RGB 도메인 이미지로 변환하여 제2 이미지를 생성할 수 있다. 여기서, Lab 도메인은 휘도와 색상 정보를 모두 포함하는 도메인일 수 있다.
즉, 프로세서(102)는 제1 색상 정보 및 제2 휘도 정보에 기초하여 새로운 Lab 도메인 이미지를 생성할 수 있고, 새로 생성된 Lab 도메인 이미지를 RGB 도메인 이미지로 색공간변환할 수 있다. 이 경우, 변환된 RGB 도메인 이미지는 제2 이미지로 표현될 수 있으며 HDR image로서 디스플레이에 출력될 수 있다.
이 경우, 제2 이미지의 다이내믹 레인지(dynamic range)는 제1 이미지의 다이내믹 레인지보다 넓을 수 있다. 구체적으로, 제1 이미지(LDR image)보다 제2 이미지(HDR image)가 명암비가 넓고 다이내믹 레인지가 넓을 수 있다. 따라서 제1 이미지로부터 변환된 제2 이미지는 HDR image에 해당할 수 있으며 제2이미지는 제1 이미지보다 명암비 또는 다이내믹 레인지가 넓을 수 있다.
결과적으로 제2이미지는 제1이미지보다 명암의 단계를 더 많이 구분할 수 있고, 피사체를 명확하게 구분할 수 있다.
도 6은 LDR image에 포함된 휘도 정보를 변경하는 방법을 설명하기 위한 도면이다.
제1 이미지의 제1 누적분포함수와 제2 이미지의 제2 누적분포함수에 대한 차이는 휘도 값의 차이일 수 있다. 제1 누적분포함수를 이용하여 HDR image의 누적분포함수를 구할 수 있다. 그리고 HDR image의 누적분포함수는 제2 이미지의 누적분포함수에 해당할 수 있다.
도 6을 참고하면, 제1 이미지의 제1 누적분포함수와 제2 이미지의 제2 누적분포함수가 모두 도시되어 있다. 전자 장치(100)는 Lab 도메인을 갖는 제2 이미지를 생성하기 위해 제1 이미지의 휘도 값을 변환할 수 있다. 제2 이미지의 누적분포함수를 생성하였다고 하더라도 제2 이미지의 휘도 값이 정해져 있지 않기 때문에 전자 장치(100)는 제1 이미지의 휘도 값을 변환하기 위해 히스토그램 매칭 방법을 이용할 수 있다.
예를 들어, 전자 장치(100)는 제1 누적분포함수(제1 이미지)에서 휘도 값이 75에 해당하는 포인트(611)와 동일한 누적 픽셀 수를 갖는 포인트를 제2 누적분포함수(제2 이미지)에서 식별할 수 있다. 제2 누적분포함수에서 제1 이미지의 611 포인트와 동일한 누적 픽셀 수를 갖는 포인트는 621 포인트이다. 이 경우 621 포인트는 휘도 값이 20이 된다. 이 경우, 전자 장치(100)는 상술한 히스토그램 매칭 방법을 이용하여 휘도 값이 75인 제1 이미지의 픽셀들에 대하여 휘도 값을 40으로 변환할 수 있다.
또한, 전자 장치(100)는 제1 누적분포함수에서 휘도 값이 50에 해당하는 포인트(612)와 동일한 누적 픽셀 수를 갖는 포인트를 제2 누적분포함수(제2 이미지)에서 식별할 수 있다. 제2 누적분포함수에서 제1 이미지의 612 포인트와 동일한 누적 픽셀 수를 갖는 포인트는 622 포인트이다. 이 경우, 622 포인트는 휘도 값이 20이 된다. 이 경우, 전자 장치(100)는 상술한 히스토그램 매칭 방법을 이용하여 휘도 값이 50인 제1 이미지의 픽셀들에 대하여 휘도 값을 20으로 변환할 수 있다.
또한, 전자 장치(100)는 제1 누적분포함수에서 휘도 값이 25에 해당하는 포인트(613)와 동일한 누적 픽셀 수를 갖는 포인트를 제2 누적분포함수(제2 이미지)에서 식별할 수 있다. 제2 누적분포함수에서 제1 이미지의 613 포인트와 동일한 누적 픽셀 수를 갖는 포인트는 623 포인트이다. 이 경우, 623 포인트는 휘도 값이 10이 된다. 이 경우, 전자 장치(100)는 상술한 히스토그램 매칭 방법을 이용하여 휘도 값이 25인 제1 이미지의 픽셀들에 대하여 휘도 값을 10으로 변환할 수 있다.
도 6을 설명함에 있어 휘도 값이 75,50,25인 포인트 들에 대하여만 변환되는 것을 설명하였지만 이는 휘도 값 전체에 대하여 수행되는 동작일 수 있다. 따라서 전자 장치(100)는 히스토그램 매칭을 이용하여 휘도 값 0부터 100에 해당하는 모든 휘도 값들을 변환 시킬 수 있다.
도 7은 제1이미지, 제2 이미지, HDR image 를 비교하기 위한 누적분포함수이다.
도 7을 참조하면, LDR image에 해당하는 제1 이미지와 변환된 이미지인 제2 이미지 그리고 종래의 방법으로 생성된 HDR image를 비교할 수 있다.
상술한 설명에서 제1 이미지는 LDR image일 수 있고, 제2 이미지는 HDR image에 해당할 수 있다고 설명한 바 있다. HDR image는 명암비가 큰 이미지를 의미하는 단어에 해당할 수 있으며, 도 7에서 언급하는 HDR image는 종래의 방법(복수의 사진을 결합하여 HDR image를 생성하는 방법)에 의하여 생성된 이미지를 의미할 수 있다. 설명의 편의를 위해, 도 7에서 기재한 HDR image를 고품질의 HDR image로 설명하도록 한다.
따라서, 도 7에서 언급하는 HDR image는 종래의 방법으로 생성된 고품질의 HDR image에 해당할 수 있다.
고품질의 HDR image가 쉽게 생성되는 것은 아니다. 상술한 바와 같이 여러장의 이미지를 결합하려면 시간차이를 두고 이미지를 촬상해야 하는데, 피사체가 움직이거나 촬영자의 미세한 흔들림에 의해 여러장의 이미지를 동일하게 찍는 것이 매우 어려울 수 있다.
따라서, 본원은 고품질의 HDR image와 비슷한 HDR image를 생성하기 위한 방법을 제공한다. 제1 이미지는 LDR image에 해당하므로 명암비가 가장 작고 휘도를 세세하게 구분할 수 없기 때문에 가장 밝은 휘도 값 및 가장 어두운 휘도 값을 상대적으로 많이 포함할 수 있다. 따라서, 제1 이미지의 누적분포함수는 우측 아래 방향으로 치우칠 수 있다.
그리고, 명암비가 클수록 휘도 값이 고르게 존재할 수 있으며 고품질의 HDR image의 누적분포함수는 LDR image의 누적분포함수에 비해 우측 아래로 덜 치우칠 수 있다.
그리고 전자 장치(100)에서 생성한 제2 이미지의 누적분포함수는 기존 고품질 HDR image의 누적분포함수와 비슷할 수 있다.
전자 장치(100)는 변환된 관계식을 제1 이미지의 제1 누적분포함수에 적용하여 제2 이미지의 제2 누적분포함수를 생성할 수 있고, 생성된 제2 누적분포함수는 고품질 HDR image의 누적분포함수와 비슷한 값을 가질 수 있다.
도 8은 제1이미지, 제2 이미지, HDR image 를 비교하기 위한 도면이다.
도 8에서 도시하는 제2 이미지와 HDR image와의 혼동을 피하기 위하여 고품질 HDR image로 기술하도록 한다.
도 2를 참조하면, 제1 이미지(LDR image)의 휘도가 밝은 영역(211), 일반적인 영역(212), 어두운 영역(213)으로 구분될 수 있다. 제1 이미지(LDR image)는 명암비가 작기 때문에 밝거나 어두운 영역에서는 휘도의 구분이 어렵고 피사체의 선명도가 떨어질 수 있다. 일반적인 영역(212)에서는 피사체가 쉽게 구분되지만 밝은 영역(211) 또는 어두운 영역(213)에서는 피사체의 구분이 어려울 수 있다.
하지만, 고품질 HDR image에서는 피사체의 구분이 제1 이미지(LDR image)에서보다 쉬울 수 있다. 예를 들어 고품질HDR image도 밝은 영역(221), 일반적인 영역(222), 어두운 영역(223)이 있을 수 있다. 제1 이미지(LDR image)와 비교하면 밝은 영역(221)과 어두운 영역(223)에서도 피사체가 쉽게 구분될 수 있다. HDR image는 제1 이미지(LDR image)보다 명암비가 크기 때문에 휘도의 구분이 다양하고 이에 따라 피사체도 쉽게 구분할 수 있다.
그리고 전자 장치(100)는 고품질의 HDR image와 비슷한 값을 가질 수 있도록 제2 이미지를 생성할 수 있다. 제2 이미지도 휘도가 밝은 영역(231), 일반적인 영역(232), 어두운 영역(233)으로 구분될 수 있다.
LDR image인 제1 이미지에서는 밝은 영역(211) 및 어두운 영역(213)에서 피사체가 명확하게 표시되지 않는다. 하지만 고품질 HDR image에서는 밝은 영역(221) 및 어두운 영역(223)에서도 피사체가 비교적 명확하게 표시된다.
전자 장치(100)는 제1 이미지의 휘도 값을 변환하여 제2 이미지를 생성하였으므로 제2 이미지의 명암비는 제1 이미지의 명암비보다 클 수 있다. 그리고 제2 이미지는 밝은 영역(231) 및 어두운 영역(233)에서도 피사체를 비교적 명확하게 표시할 수 있다.
한편, 도 8을 설명함에 있어 제2 이미지와 고품질의 HDR image의 휘도가 구분되게 표시되었지만, 실제로 구현시에는 제2 이미지가 고품질의 HDR image와 비교하여 구분되지 못할 정도로 비슷하게 생성될 수 있다.
결국, 전자 장치(100)는 제1이미지를 개선하여 제2 이미지를 생성할 수 있고, 제2 이미지는 제1이미지보다 명암비가 커 밝은 영역 및 어두운 영역에서도 피사체를 명확하게 표시할 수 있다.
도 9는 본 개시의 또 다른 실시 예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.
도 9를 참고하면, 전자 장치(100)는 주사율 변화를 통해 HDR image를 표시하는 것과 유사한 동작을 수행할 수 있다.
본 개시의 또 다른 실시 예에 따른 전자 장치(100)는 LDR image를 변환하는 방법을 제공할 수 있다. 구체적으로, 전자 장치(100)는 LDR image이미지의 휘도 값을 전체적으로 변경할 수 있다. 전자 장치(100)는 모든 픽셀에 대하여 휘도 값 조절하여 밝은 LDR image 및 어두운 LDR image를 생성할 수 있다.
한편, 프로세서(102)는 제1 이미지 및 제2 이미지와 동일한 크기의 프레임을 생성할 수 있다. 프레임에는 제1 이미지 및 제2 이미지가 격자 무늬 형태로 포함될 수 있다. 예를 들어, 프레임의 제1 영역에는 제1이미지의 일부가 포함되고, 제1 영역과 인접한 제2 영역에는 제2 이미지의 일부가 포함될 수 있다. 즉, 하나의 프레임은 제1 이미지의 일부 및 제2 이미지의 일부가 함께 포함될 수 있고, 프레임을 전체적으로 보면 하나의 완성된 이미지일 수 있다.
예를 들어, 전자 장치(100)가 밝은 LDR image 및 어두운 LDR image를 생성한 이후, 밝은 LDR image를 복수의 영역(911,912,...)으로 분할 할 수 있다. 그리고 어두운 LDR image에서도 동일한 크기로 복수의 영역(921,922,...)으로 분할 할 수 있다.
전자 장치(100)는 하나의 프레임에 밝은 LDR image의 영역 중 일부와 어두운 LDR image의 영역 중 일부를 포함시킬 수 있다. 예를 들어, 프레임이 3X4의 배열로 이루어 졌다고 가정한다. 프레임은 (1,1),(1,2),(1,3),(1,4), (2,1),(2,2),(2,3),(2,4), (3,1),(3,2),(3,3),(3,4)의 배열값을 가질 수 있다.
전자 장치(100)는 밝은 LDR image 및 어두운 LDR image의 영역들이 서로 인접하지 않도록 격자무늬를 형성하도록 프레임을 생성할 수 있다.
예를 들어, 전자 장치(100)는 프레임의 (1,1), (1,3), (2,2), (2,4), (3,1), (3,3) 에는 어두운 LDR image 영역들을 배치하고, 프레임의 (1,2), (1,4), (2,1), (2,3), (3,2), (3,4)에는 밝은 LDR image 영역들을 배치할 수 있다. 이 경우를 도 9에서 제1 프레임으로 도시하였다.
또한, 전자 장치(100)는 프레임의 (1,1), (1,3), (2,2), (2,4), (3,1), (3,3) 에는 밝은 LDR image 영역들을 배치하고, 프레임의 (1,2), (1,4), (2,1), (2,3), (3,2), (3,4)에는 밝은 어두운 영역들을 배치할 수 있다. 이 경우를 도 9에서 제2 프레임으로 도시하였다.
하나의 프레임에는 제1 이미지 및 제2 이미지가 모두 포함되어 있으면서 완성된 이미지를 나타내야 하므로 일부 영역에 따라 휘도 값이 다를 뿐 전체적인 이미지의 형태 및 내용은 유지될 수 있다.
예를 들어, 어두운 LDR image가 911 및 912 영역을 포함하고, 밝은 LDR image가 921 및 922 영역을 포함한다고 가정한다. 제1 프레임에서는 (1,1)에 어두운 LDR image가 포함하는 911 영역을 할당하고, (1,2)에는 밝은 LDR image가 포함하는 922 영역을 할당할 수 있다.
또한, 제2 프레임에서는 (1,1)에 밝은 LDR image가 포함하는 921 영역을 할당하고, (1,2)에는 어두운 LDR image가 포함하는 912 영역을 할당할 수 있다.
이 경우, 전자 장치(100)는 제1 프레임과 제2 프레임을 교번적으로 디스플레이 할 수 있다. 전자 장치(100)는 제1 프레임과 제2프레임을 짧은 시간에 번갈아가면서 표시될 수 있도록 설정할 수 있다.
전자 장치(100)가 제1 프레임 및 제2 프레임을 짧은 시간에 번갈아가면서 표시하는 경우, 사용자는 어두운 이미지와 밝은 이미지를 번갈아가면서 보게되고 중간 정도의 휘도를 갖는 이미지로 인식할 수 있다.
따라서, 여러장의 이미지를 촬영하지 않더라도 하나의 이미지 만으로 명암비를 증가시키는 효과를 가져올 수 있다.
한편, 도 9를 설명함에 있어 전자 장치(100)는 밝은 LDR image와 어두운 LDR image를 이용하여 격자무늬 프레임을 생성하는 것을 설명하였다. 하지만 실제 구현시에는 LDR image 및HDR image를 이용할 수 있다.
구체적으로, 전자 장치(100)는 LDR image의 휘도 값을 변경하여 새로운 HDR image를 생성할 수 있고, 새롭게 생성된 HDR image와 기존의 LDR image를 결합하여 격자무늬 프레임을 생성할 수 있다.
전자 장치(100)는 새로 생성된 HDR image를 바로 표시하는 것이 아니라, 기존의 LDR image 와 새로 생성된 HDR image를 이용하여 격자 무늬 프레임을 생성할 수 있다.
예를 들어, 전자 장치(100)는 프레임의 (1,1), (1,3), (2,2), (2,4), (3,1), (3,3) 에는 LDR image 영역들을 배치하고, 프레임의 (1,2), (1,4), (2,1), (2,3), (3,2), (3,4)에는 HDR image 영역들을 배치할 수 있다. 그리고 이렇게 배치되는 프레임을 제3프레임으로 가정한다.
또한, 전자 장치(100)는 프레임의 (1,1), (1,3), (2,2), (2,4), (3,1), (3,3) 에는 HDR image 영역들을 배치하고, 프레임의 (1,2), (1,4), (2,1), (2,3), (3,2), (3,4)에는 LDR image 영역들을 배치할 수 있다. 그리고 이렇게 배치되는 프레임을 제4프레임으로 가정한다.
이 경우, 전자 장치(100)는 제3프레임과 제4프레임을 교번적으로 디스플레이 할 수 있다. 전자 장치(100)는 제3프레임과 제4프레임을 짧은 시간에 번갈아가면서 표시될 수 있도록 설정할 수 있다.
전자 장치(100)가 바로 HDR image를 표시하지 않고 LDR image 및 HDR image를 이용하여 격자 무늬 형태로 프레임을 형성하는 이유는 원본의 밝기를 최대한 유지하기 위해서이다. LDR image를 HDR image 변경하면 명암비가 커져 휘도의 구분이 명확해질 수 있다. 하지만, 하나의 변환 관계식을 통해 이미지를 변환하는 과정에서 예기치 못한 오류가 발생할 수 있다. 대부분의 이미지는 HDR image로 변환되지만, 사용자가 예기치 못한 상황이 발생할 수 있다.
이러한 경우를 대비하기 위해 전자 장치(100)는 원본 이미지인 LDR image와 HDR image를 2개의 격자 무늬 프레임으로 구성하여 디스플레이할 수 있다.
한편, 상술한 설명에서는 2가지의 프레임을 구성하는 것으로 설명하였지만, 실제 구현시에는 다양한 조합에 의하여 3개 이상의 프레임을 생성할 수 있다. 그리고 전자 장치(100)는 3개 이상의 프레임을 교번적으로 디스플레이 하는 형태로 구현될 수 있다.
도 10은 본 개시의 일 실시 예에 따른 전자 장치의 흐름도이다.
도 10을 참조하면, 전자 장치(100)는 제1 이미지에 포함된 각 픽셀의 휘도 값을 나타내는 제1 휘도 정보와 각 픽셀의 색상 값을 나타내는 제1 색상 정보를 획득한다(S1005). 또한, 제1 휘도 정보에 기초하여 휘도 별 누적 픽셀 수의 관계를 나타내는 제1 누적분포함수를 획득한다(S1010). 그리고, 제1 누적분포함수에 기설정된 변환 관계식을 적용하여 제2 누적분포함수를 획득한다(S1015). 또한, 제1 누적분포함수 및 제2 누적분포함수를 이용하여 각 픽셀의 변환된 휘도 값을 나타내는 제2 휘도 정보를 산출한다(S1020). 그리고 전자 장치(100)는 제1 색상 정보 및 제2 휘도 정보에 기초하여 제2 이미지를 생성한다(S1025).
이 경우, 제2 이미지의 다이내믹 레인지(dynamic range)는 제1 이미지의 다이내믹 레인지보다 넓을 수 있다. 또한, 또한, 제1 및 제2 이미지는 RGB 도메인 이미지일 수 있다.
이 경우, 제1 누적분포함수는 제1 휘도 값 이하의 휘도 값을 가지는 픽셀의 수를 누적하여 제1 휘도 값에 대응되는 제1 누적 픽셀 수를 산출하고, 제1휘도 값보다 큰 제2 휘도 값 이하의 휘도 값을 가지는 픽셀의 수를 누적하여 제2 휘도 값에 대응되는 제2 누적 픽셀 수를 산출하여 획득될 수 있다.
또한, 기설정된 변환 관계식은 LDR 트레이닝 이미지를 HDR 트레이닝 이미지로 변환하는 과정을 딥러닝을 통해 학습하여 획득된 관계식일 수 있다.
또한, 제2 휘도 정보를 산출하는 단계(S1020)는 제1 및 제2 누적분포함수 간 히스토그램 매칭을 이용하여 각 픽셀의 휘도 값에 기초하여 각 픽셀에 대응되는 변환된 휘도 값을 획득할 수 있다.
또한, 제2 휘도 정보를 산출하는 단계(S1020)는 제1 누적분포함수에서 특정 휘도 값에 대응되는 누적 픽셀 수를 식별하고, 식별된 누적 픽셀 수와 동일한 누적 픽셀 수에 대응되는 휘도 값을 제2 누적분포함수에서 식별하고, 식별된 휘도 값을 특정 휘도 값을 가지는 픽셀의 변환된 휘도 값으로 획득할 수 있다.
한편, 제2 이미지를 생성하는 단계(S1025)는 제1 이미지를 Lab 도메인 이미지로 변환하여 제1 휘도 정보 및 제1 색상 정보를 획득하고, 제1 색상 정보 및 제2 휘도 정보에 기초한 Lab 도메인 이미지를 RGB 도메인 이미지로 변환하여 제2 이미지를 생성할 수 있다.
또한, 제1 이미지 및 제2 이미지 각각을 복수의 픽셀 영역으로 식별하고 및 제1 이미지의 픽셀 영역 및 제2 이미지의 픽셀 영역을 교번적으로 배치하여 제1 프레임을 생성하고, 제1 프레임에서 제1 이미지의 픽셀 영역 위치에 제2 이미지의 픽셀 영역을 배치하고 제2 이미지의 픽셀 영역 위치에 제1 이미지의 픽셀 영역을 배치하여 제2 프레임을 생성할 수 있다.
이 경우, 제1 프레임과 제2 프레임을 교번적으로 디스플레이하는 할 수 있다.
한편, 도 10과 같은 전자 장치 제어 방법은 도 1의 구성을 가지는 전자 장치 상에서 실행될 수 있으며, 그 밖의 구성을 가지는 전자 장치 상에서도 실행될 수 있다.
한편, 상술한 실시 예에 따른 전자 장치 제어 방법은 프로그램으로 구현되어 전자 장치에 제공될 수 있다. 특히, 전자 장치 제어 방법을 포함하는 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
한편, 기설정된 변환 관계식이 저장된 전자 장치(100) 프로세서(102)에 의해 실행되는 경우 전자 장치(100)가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서, 동작은 제1 이미지에 포함된 각 픽셀의 휘도 값을 나타내는 제1 휘도 정보와 각 픽셀의 색상 값을 나타내는 제1 색상 정보를 획득 할 수 있다. 제1 휘도 정보에 기초하여 휘도 별 누적 픽셀 수의 관계를 나타내는 제1 누적분포함수를 획득 할 수 있다. 제1 누적분포함수에 기설정된 변환 관계식을 적용하여 제2 누적분포함수를 획득 할 수 있다. 제1 누적분포함수 및 제2 누적분포함수를 이용하여 각 픽셀의 변환된 휘도 값을 나타내는 제2 휘도 정보를 산출하는 단계 및 제1 색상 정보 및 제2 휘도 정보에 기초하여 제2 이미지를 생성하는 단계를 포함한다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치 에 설치 가능한 어플리케이션 형태로 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치 에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버, 또는 전자 장치의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 상술한 실시 예에 따른 전자 장치 제어 방법은 프로그램으로 구현되어 전자 장치에 제공될 수 있다. 특히, 전자 장치 제어 방법을 포함하는 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
또한, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시 예들이 프로세서(120) 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 전자 장치 에서의 처리동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 전자 에서의 처리 동작을 상기 특정 기기가 수행하도록 한다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
전자 장치: 100 메모리: 101
프로세서: 102

Claims (19)

  1. 전자 장치에 있어서,
    기설정된 변환 관계식이 저장된 메모리; 및
    제1 이미지에 포함된 각 픽셀의 휘도 값을 나타내는 제1 휘도 정보와 상기 각 픽셀의 색상 값을 나타내는 제1 색상 정보를 획득하고,
    상기 제1 휘도 정보에 기초하여 휘도 별 누적 픽셀 수의 관계를 나타내는 제1 누적분포함수를 획득하고,
    상기 제1 누적분포함수에 상기 기설정된 변환 관계식을 적용하여 제2 누적분포함수를 획득하고,
    상기 제1 누적분포함수에서 제1 휘도 값에 대응되는 누적 픽셀 수를 식별하고,
    상기 식별된 누적 픽셀 수와 동일한 누적 픽셀 수에 대응되는 제2 휘도 값을 상기 제2 누적분포함수에서 식별하고,
    상기 식별된 제2 휘도값에 기초하여 상기 각 픽셀의 변환된 휘도 값을 나타내는 제2 휘도 정보를 산출하고,
    상기 제1 색상 정보 및 상기 제2 휘도 정보에 기초하여 제2 이미지를 생성하는, 프로세서;를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 제2 이미지의 다이내믹 레인지(dynamic range)는 상기 제1 이미지의 다이내믹 레인지보다 넓은, 전자 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 및 제2 누적분포함수 간 히스토그램 매칭을 이용하여 상기 각 픽셀의 휘도 값에 기초하여 상기 각 픽셀에 대응되는 상기 변환된 휘도 값을 획득하는, 전자 장치.
  4. 제1항에 있어서,
    상기 제1 누적분포함수는,
    상기 제1 휘도 값 이하의 휘도 값을 가지는 픽셀의 수를 누적하여 상기 제1 휘도 값에 대응되는 제1 누적 픽셀 수를 산출하고, 상기 제1 휘도 값보다 큰 상기 제2 휘도 값 이하의 휘도 값을 가지는 픽셀의 수를 누적하여 상기 제2 휘도 값에 대응되는 제2 누적 픽셀 수를 산출하여 획득되는, 전자 장치.
  5. 삭제
  6. 제1항에 있어서,
    상기 기설정된 변환 관계식은,
    LDR 트레이닝 이미지를 HDR 트레이닝 이미지로 변환하는 과정을 딥러닝을 통해 학습하여 획득된 관계식인, 전자 장치.
  7. 제1항에 있어서,
    상기 제1 및 제2 이미지는 RGB 도메인 이미지이며,
    상기 프로세서는,
    상기 제1 이미지를 Lab 도메인 이미지로 변환하여 상기 제1 휘도 정보 및 상기 제1 색상 정보를 획득하고, 상기 제1 색상 정보 및 제2 휘도 정보에 기초한 Lab 도메인 이미지를 RGB 도메인 이미지로 변환하여 상기 제2 이미지를 생성하는, 전자 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 이미지 및 상기 제2 이미지 각각을 복수의 픽셀 영역으로 식별하고,
    상기 제1 이미지의 픽셀 영역 및 상기 제2 이미지의 픽셀 영역을 교번적으로 배치하여 제1 프레임을 생성하고, 상기 제1 프레임에서 상기 제1 이미지의 픽셀 영역 위치에 상기 제2 이미지의 픽셀 영역을 배치하고 상기 제2 이미지의 픽셀 영역 위치에 상기 제1 이미지의 픽셀 영역을 배치하여 제2 프레임을 생성하는, 전자 장치.
  9. 제8항에 있어서,
    디스플레이;를 더 포함하며,
    상기 프로세서는,
    상기 제1 프레임과 상기 제2 프레임을 교번적으로 디스플레이하도록 상기 디스플레이를 제어하는, 전자 장치.
  10. 기설정된 변환 관계식이 저장된 전자 장치의 제어 방법에 있어서,
    제1 이미지에 포함된 각 픽셀의 휘도 값을 나타내는 제1 휘도 정보와 상기 각 픽셀의 색상 값을 나타내는 제1 색상 정보를 획득하는 단계;
    상기 제1 휘도 정보에 기초하여 휘도 별 누적 픽셀 수의 관계를 나타내는 제1 누적분포함수를 획득하는 단계;
    상기 제1 누적분포함수에 상기 기설정된 변환 관계식을 적용하여 제2 누적분포함수를 획득하는 단계;
    상기 제1 누적분포함수에서 제1 휘도 값에 대응되는 누적 픽셀 수를 식별하는 단계;
    상기 식별된 누적 픽셀 수와 동일한 누적 픽셀 수에 대응되는 제2 휘도 값을 상기 제2 누적분포함수에서 식별하는 단계;
    상기 식별된 제2 휘도값에 기초하여 상기 각 픽셀의 변환된 휘도 값을 나타내는 제2 휘도 정보를 산출하는 단계; 및
    상기 제1 색상 정보 및 상기 제2 휘도 정보에 기초하여 제2 이미지를 생성하는 단계;를 포함하는, 제어 방법.
  11. ◈청구항 11은(는) 설정등록료 납부시 포기되었습니다.◈
    제10항에 있어서,
    상기 제2 이미지의 다이내믹 레인지(dynamic range)는 상기 제1 이미지의 다이내믹 레인지보다 넓은, 제어 방법.
  12. ◈청구항 12은(는) 설정등록료 납부시 포기되었습니다.◈
    제10항에 있어서,
    상기 제2 휘도 정보를 산출하는 단계;는,
    상기 제1 및 제2 누적분포함수 간 히스토그램 매칭을 이용하여 상기 각 픽셀의 휘도 값에 기초하여 상기 각 픽셀에 대응되는 상기 변환된 휘도 값을 획득하는, 제어 방법.
  13. ◈청구항 13은(는) 설정등록료 납부시 포기되었습니다.◈
    제10항에 있어서,
    상기 제1 누적분포함수는,
    상기 제1 휘도 값 이하의 휘도 값을 가지는 픽셀의 수를 누적하여 상기 제1 휘도 값에 대응되는 제1 누적 픽셀 수를 산출하고, 상기 제1휘도 값보다 큰 상기 제2 휘도 값 이하의 휘도 값을 가지는 픽셀의 수를 누적하여 상기 제2 휘도 값에 대응되는 제2 누적 픽셀 수를 산출하여 획득되는, 제어 방법.
  14. 삭제
  15. ◈청구항 15은(는) 설정등록료 납부시 포기되었습니다.◈
    제10항에 있어서,
    상기 기설정된 변환 관계식은,
    LDR 트레이닝 이미지를 HDR 트레이닝 이미지로 변환하는 과정을 딥러닝을 통해 학습하여 획득된 관계식인, 제어 방법.
  16. ◈청구항 16은(는) 설정등록료 납부시 포기되었습니다.◈
    제10항에 있어서,
    상기 제1 및 제2 이미지는 RGB 도메인 이미지이며,
    상기 제2 이미지를 생성하는 단계는,
    상기 제1 이미지를 Lab 도메인 이미지로 변환하여 상기 제1 휘도 정보 및 상기 제1 색상 정보를 획득하고, 상기 제1 색상 정보 및 제2 휘도 정보에 기초한 Lab 도메인 이미지를 RGB 도메인 이미지로 변환하여 상기 제2 이미지를 생성하는, 제어 방법.
  17. ◈청구항 17은(는) 설정등록료 납부시 포기되었습니다.◈
    제10항에 있어서,
    상기 제1 이미지 및 상기 제2 이미지 각각을 복수의 픽셀 영역으로 식별하는 단계; 및
    상기 제1 이미지의 픽셀 영역 및 상기 제2 이미지의 픽셀 영역을 교번적으로 배치하여 제1 프레임을 생성하고, 상기 제1 프레임에서 상기 제1 이미지의 픽셀 영역 위치에 상기 제2 이미지의 픽셀 영역을 배치하고 상기 제2 이미지의 픽셀 영역 위치에 상기 제1 이미지의 픽셀 영역을 배치하여 제2 프레임을 생성하는 단계;를 더 포함하는, 제어 방법.
  18. ◈청구항 18은(는) 설정등록료 납부시 포기되었습니다.◈
    제17항에 있어서,
    상기 제1 프레임과 상기 제2 프레임을 교번적으로 디스플레이하는 단계;를 더 포함하는, 제어 방법.
  19. 기설정된 변환 관계식이 저장된 전자 장치 프로세서에 의해 실행되는 경우 상기 전자 장치가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서, 상기 동작은,
    제1 이미지에 포함된 각 픽셀의 휘도 값을 나타내는 제1 휘도 정보와 상기 각 픽셀의 색상 값을 나타내는 제1 색상 정보를 획득하는 단계;
    상기 제1 휘도 정보에 기초하여 휘도 별 누적 픽셀 수의 관계를 나타내는 제1 누적분포함수를 획득하는 단계;
    상기 제1 누적분포함수에 상기 기설정된 변환 관계식을 적용하여 제2 누적분포함수를 획득하는 단계;
    상기 제1 누적분포함수 및 상기 제2 누적분포함수를 이용하여 상기 각 픽셀의 변환된 휘도 값을 나타내는 제2 휘도 정보를 산출하는 단계; 및
    상기 제1 색상 정보 및 상기 제2 휘도 정보에 기초하여 제2 이미지를 생성하는 단계;를 포함하는, 컴퓨터 판독가능 기록매체.

KR1020180008988A 2018-01-24 2018-01-24 전자 장치 및 그의 제어 방법 KR102524671B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180008988A KR102524671B1 (ko) 2018-01-24 2018-01-24 전자 장치 및 그의 제어 방법
US16/002,232 US10796419B2 (en) 2018-01-24 2018-06-07 Electronic apparatus and controlling method of thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180008988A KR102524671B1 (ko) 2018-01-24 2018-01-24 전자 장치 및 그의 제어 방법

Publications (2)

Publication Number Publication Date
KR20190090288A KR20190090288A (ko) 2019-08-01
KR102524671B1 true KR102524671B1 (ko) 2023-04-24

Family

ID=67300068

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180008988A KR102524671B1 (ko) 2018-01-24 2018-01-24 전자 장치 및 그의 제어 방법

Country Status (2)

Country Link
US (1) US10796419B2 (ko)
KR (1) KR102524671B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3631754B1 (en) * 2017-06-28 2021-03-31 Huawei Technologies Co., Ltd. Image processing apparatus and method
US11625816B2 (en) * 2018-06-11 2023-04-11 Sony Interactive Entertainment Inc. Learning device, image generation device, learning method, image generation method, and program
US20210217151A1 (en) * 2018-08-29 2021-07-15 Tonetech Inc. Neural network trained system for producing low dynamic range images from wide dynamic range images
US11010875B2 (en) 2019-05-29 2021-05-18 Datalogic Ip Tech S.R.L. Apparatus and method to compute a high dynamic range image from a single acquisition
US10957026B1 (en) * 2019-09-09 2021-03-23 Adobe Inc. Learning from estimated high-dynamic range all weather lighting parameters
EP3839876A1 (en) * 2019-12-20 2021-06-23 Fondation B-COM Method for converting an image and corresponding device
CN111372006B (zh) * 2020-03-03 2021-05-07 山东大学 一种面向移动端的高动态范围成像方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101113483B1 (ko) * 2010-04-09 2012-03-06 동아대학교 산학협력단 컬러 영상의 가시성 향상 장치 및 방법
KR101768857B1 (ko) * 2010-07-06 2017-08-17 코닌클리케 필립스 엔.브이. 다시야 비디오 코딩에서 로우 다이내믹 레인지 이미지들로부터 하이 다이내믹 레인지 이미지들의 생성

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5426517A (en) 1992-11-30 1995-06-20 Eastman Kodak Company Automated tone correction apparatus and method using filtered histogram equalization
KR20040040699A (ko) * 2002-11-07 2004-05-13 삼성전자주식회사 콘트라스트 보정 장치 및 방법
US6879731B2 (en) 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
JP2009514116A (ja) * 2005-11-02 2009-04-02 スイス リインシュランス カンパニー 仕組金融商品の価値を予測する方法及びコンピュータ・システム
KR101225058B1 (ko) * 2006-02-14 2013-01-23 삼성전자주식회사 콘트라스트 조절 방법 및 장치
JP5196731B2 (ja) * 2006-04-20 2013-05-15 キヤノン株式会社 画像処理装置及び画像処理方法
KR100849845B1 (ko) * 2006-09-05 2008-08-01 삼성전자주식회사 영상 보정 방법 및 장치
US20090110274A1 (en) * 2007-10-26 2009-04-30 Qualcomm Incorporated Image quality enhancement with histogram diffusion
TW201036453A (en) 2009-03-25 2010-10-01 Micro Star Int Co Ltd Method and electronic device to produce high dynamic range image
WO2011042229A1 (en) * 2009-10-08 2011-04-14 International Business Machines Corporation Method and system for transforming a digital image from a low dynamic range (ldr) image to a high dynamic range (hdr) image
JP5493717B2 (ja) * 2009-10-30 2014-05-14 大日本印刷株式会社 画像処理装置、画像処理方法、および、画像処理用プログラム
US8374428B2 (en) * 2010-12-05 2013-02-12 Microsoft Corporation Color balancing for partially overlapping images
US8675984B2 (en) 2011-03-03 2014-03-18 Dolby Laboratories Licensing Corporation Merging multiple exposed images in transform domain
US9076224B1 (en) 2012-08-08 2015-07-07 Dolby Laboratories Licensing Corporation Image processing for HDR images
KR101437898B1 (ko) 2012-12-05 2014-09-15 중앙대학교 산학협력단 단일 영상을 이용한 hdr 영상 생성 장치 및 방법
US9460499B2 (en) 2014-05-30 2016-10-04 Shenzhen Mindray Bio-Medical Electronics Co., Ltd. Systems and methods for selective enhancement of a region of interest in an image
EP3297515B1 (en) * 2015-05-17 2020-07-01 Endochoice, Inc. Endoscopic image enhancement using contrast limited adaptive histogram equalization (clahe) implemented in a processor
US9697592B1 (en) 2015-12-30 2017-07-04 TCL Research America Inc. Computational-complexity adaptive method and system for transferring low dynamic range image to high dynamic range image
WO2017132858A1 (en) * 2016-02-03 2017-08-10 Chongqing University Of Posts And Telecommunications Methods, systems, and media for image processing
US10750173B2 (en) * 2016-03-07 2020-08-18 Koninklijke Philips N.V. Encoding and decoding HDR videos
GB201611253D0 (en) * 2016-06-29 2016-08-10 Dolby Laboratories Licensing Corp Efficient Histogram-based luma look matching
US10614603B2 (en) * 2016-09-19 2020-04-07 Qualcomm Incorporated Color normalization for a multi-camera system
US10264287B2 (en) * 2016-10-05 2019-04-16 Dolby Laboratories Licensing Corporation Inverse luma/chroma mappings with histogram transfer and approximation
CN110178374B (zh) * 2017-01-18 2023-10-10 杜比实验室特许公司 用于对高动态范围视频进行编码的基于段的整形
US10402952B2 (en) * 2017-06-02 2019-09-03 Apple Inc. Perceptual tone mapping of SDR images for an HDR display
US20190080440A1 (en) * 2017-09-08 2019-03-14 Interdigital Vc Holdings, Inc. Apparatus and method to convert image data
US11328169B2 (en) * 2017-09-26 2022-05-10 Nvidia Corporation Switchable propagation neural network
US20190108447A1 (en) * 2017-11-30 2019-04-11 Intel Corporation Multifunction perceptrons in machine learning environments

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101113483B1 (ko) * 2010-04-09 2012-03-06 동아대학교 산학협력단 컬러 영상의 가시성 향상 장치 및 방법
KR101768857B1 (ko) * 2010-07-06 2017-08-17 코닌클리케 필립스 엔.브이. 다시야 비디오 코딩에서 로우 다이내믹 레인지 이미지들로부터 하이 다이내믹 레인지 이미지들의 생성

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
비특허문헌1*

Also Published As

Publication number Publication date
US20190228510A1 (en) 2019-07-25
KR20190090288A (ko) 2019-08-01
US10796419B2 (en) 2020-10-06

Similar Documents

Publication Publication Date Title
KR102524671B1 (ko) 전자 장치 및 그의 제어 방법
JP7443366B2 (ja) 画像強調のための人工知能技法
US11132771B2 (en) Bright spot removal using a neural network
CN108335279B (zh) 图像融合和hdr成像
JP7077395B2 (ja) 多重化高ダイナミックレンジ画像
US8947501B2 (en) Scene enhancements in off-center peripheral regions for nonlinear lens geometries
US10204432B2 (en) Methods and systems for color processing of digital images
US9569688B2 (en) Apparatus and method of detecting motion mask
KR102675806B1 (ko) 영상 처리 장치 및 그 영상 처리 방법
US20210097650A1 (en) Image processing method, storage medium, image processing apparatus, learned model manufacturing method, and image processing system
US10062154B1 (en) System and method for adaptive contrast enhancement
WO2019056549A1 (zh) 图像增强方法以及图像处理装置
US10469812B2 (en) Projection display system, information processing apparatus, information processing method, and storage medium therefor
Tao et al. Background modelling based on generative unet
JP6624061B2 (ja) 画像処理方法、画像処理装置、及び画像処理プログラムを記憶する記録媒体
JP6365355B2 (ja) 画像生成装置および画像生成方法
CN112819699A (zh) 视频处理方法、装置及电子设备
CN115937008A (zh) 图像增强方法和设备
CN116368814A (zh) 无fov损失的空间对准变换
US20170372495A1 (en) Methods and systems for color processing of digital images
WO2022042083A1 (zh) 视频处理装置及方法、监视器设备、计算机设备、介质
Mai et al. Patch-based HDR video processing for fast moving object reconstruction
JP2020027357A (ja) 画像処理装置およびその制御方法
Bengtsson Image Reconstruction and Optical Flow Estimation on Image Sequences with Differently Exposed Frames

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant