KR20110084025A - 다중노출 영상을 합성하는 영상합성장치 및 방법 - Google Patents

다중노출 영상을 합성하는 영상합성장치 및 방법 Download PDF

Info

Publication number
KR20110084025A
KR20110084025A KR1020100004053A KR20100004053A KR20110084025A KR 20110084025 A KR20110084025 A KR 20110084025A KR 1020100004053 A KR1020100004053 A KR 1020100004053A KR 20100004053 A KR20100004053 A KR 20100004053A KR 20110084025 A KR20110084025 A KR 20110084025A
Authority
KR
South Korea
Prior art keywords
image
luminance
luminance region
generated
region
Prior art date
Application number
KR1020100004053A
Other languages
English (en)
Other versions
KR101633893B1 (ko
Inventor
권재현
오현화
최원희
박성찬
이성덕
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100004053A priority Critical patent/KR101633893B1/ko
Priority to US13/006,683 priority patent/US8723978B2/en
Publication of KR20110084025A publication Critical patent/KR20110084025A/ko
Application granted granted Critical
Publication of KR101633893B1 publication Critical patent/KR101633893B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

이미지 센서를 이용하여 획득한 다중노출 영상을 합성하는 영상합성방식이 개시된다. 본 발명의 일 양상에 따라 콘트라스트(contrast) 저하없이 저휘도와 고휘도 영역의 디테일을 충분히 표현함과 동시에 선명한 고화질의 HDR(High Dynamic Range) 영상을 생성하는 영상합성장치 및 방법을 제공할 수 있다.

Description

다중노출 영상을 합성하는 영상합성장치 및 방법{Apparatus and Method for Image Fusion}
이미지 센서로부터 획득된 다중노출 영상을 합성하는 영상합성장치 및 방법에 관한 것으로, 보다 상세하게는 콘트라스트(contrast) 저하없이 저휘도와 고휘도 영역의 디테일을 충분히 표현함과 동시에 선명한 고화질의 HDR(High Dynamic Range) 영상을 생성하는 다중노출 영상합성장치 및 방법에 관한 것이다.
HDR 영상생성방식으로는 HDR 이미지 센서를 이용한 영상획득방법과 다중노출 영상합성방법이 있다. HDR 이미지 센서를 이용한 영상획득방법은 이미지 센서에서 직접 HDR 영상을 얻는 것으로 영상합성이 수행되지 않는다.
다중노출 영상합성방식은 노출이 상이한 다수 개의 영상을 촬영하여 HDR 데이터를 생성한 후 LDR(Low Dynamic Range)에 맞게 톤 매핑(tone mapping)으로 압축하여 출력영상을 생성하는 방식으로 글로벌(global)/로컬(local) 톤 매핑(tone mapping) 방법이 있다.
글로벌 톤 매핑(Global tone mapping) 방법은 글로벌 콘트라스트(global contrast)가 유지되고, 계산이 간단하나, 로컬 콘트라스트(local contrast)가 저하되고 선명하지 못한 영상을 만든다. 로컬 톤 매핑(Local tone mapping)은 로컬 콘트라스트(local contrast)를 유지할 수 있으나, 역전 현상, 후광 효과(Halo artifact)가 발생하고 계산량이 증가한다.
또한, 이러한 기술은 현재의 디스플레이 환경 및 인간 시각의 동시 대비(simultaneous contrast) 특성을 고려한 HDR 영상을 제공하기에는 부족하다.
즉, 다중노출 영상합성방식의 HDR 영상은 DR(dynamic range) 압축으로 인한 콘트라스트의 저하로 화질이 열화되고 역전 현상, 후광 효과(Halo artifact)가 발생하므로 글로벌(global) 또는 로컬(local) 콘트라스트가 저하되지 않는 새로운 방식의 HDR 영상생성방법이 필요하다.
콘트라스트의 저하없이 HDR 영상 생성이 가능한 영상합성장치 및 방법을 제공할 수 있다.
명암 레벨(intensity level)과 공간 포지션(spatial position)을 고려한 영상합성으로 글로벌/로컬 콘트라스트를 유지하고 역전 현상, 후광 효과가 발생하지 않는 선명한 영상을 간단한 계산만으로 생성할 수 있다.
본 발명의 일 양상에 따른 영상합성장치는 이미지 센서를 이용하여 획득한 다중노출 영상을 합성하는 영상합성장치에 있어서, 서로 다른 노출의 제1 입력영상과 제2 입력영상을 획득하여 움직임 정합 및 노출처리를 수행하는 영상 획득 및 처리부 및 제2 입력영상의 휘도 정보를 이용하여 제1 입력영상과 제2 입력영상의 휘도 영역을 구분하여 압축한 영상들을 생성하고, 생성된 휘도 영역별 영상들을 합성하는 영상 생성부를 포함할 수 있다.
또한, 영상 생성부는 제1 입력영상과 제2 입력영상의 노출값 차이에 따른 인덱스를 설정하여 제1 입력영상의 노출을 보상한 영상을 생성하는 노출보상부, 제2 입력영상의 휘도 정보를 이용하여 노출보상부에서 생성된 영상과 제2 입력영상을 휘도 영역별로 합성하고, 합성한 영상으로부터 휘도 영역을 구분하여 압축한 영상을 생성하는 제1 영상합성부 및 제2 입력영상의 휘도 정보를 이용하여 제1 영상합성부에서 생성된 휘도 영역별 영상을 합성한 영상을 생성하는 제2 영상합성부를 포함할 수 있다.
또한, 노출보상부는 제1 입력영상의 휘도 평균값과 휘도 최대값으로부터 저휘도 임계치와 고휘도 임계치를 산출하여 인덱스에 따라 제1 입력영상의 노출값을 재설정할 수 있다.
또한, 제1 영상합성부는 제2 입력영상의 휘도 정보로부터 노출보상부에서 생성된 영상과 상기 제2 입력영상에 대한 합성가중치 영상을 생성하고, 생성된 합성가중치 영상을 이용하여 각각의 영상의 고휘도 영역과 저휘도 영역을 합성한 영상을 생성하는 광대역 영상합성부 및 광대역 영상합성부에서 생성된 영상의 휘도 영역의 범위와 동일한 휘도 영역의 범위를 갖도록 압축하되, 생성된 영상의 고휘도 영역과 저휘도 영역을 구분하여 압축한 영상을 생성하는 압축영상생성부를 포함할 수 있다.
또한, 제2 영상합성부는 제2 입력영상의 휘도 정보로부터 고휘도 영역 및 저휘도 영역의 영역가중치 영상을 생성하여 제1 영상합성부에서 생성된 고휘도 영역 영상 및 저휘도 영역 영상을 합성할 수 있다.
본 발명의 일 양상에 따른 영상합성방법은 이미지 센서를 이용하여 획득한 다중노출 영상을 합성하는 영상합성방법에 있어서, 서로 다른 노출의 제1 입력영상과 제2 입력영상을 획득하여 움직임 정합 및 노출처리를 수행하는 단계, 제1 입력영상과 제2 입력영상의 노출값 차이에 따른 인덱스를 설정하여 제1 입력영상의 노출을 보상한 영상을 생성하는 단계, 제2 입력영상의 휘도 정보를 이용하여 생성된 영상과 제2 입력영상을 휘도 영역별로 합성하고, 합성한 영상으로부터 휘도 영역을 구분하여 압축한 영상을 생성하는 단계 및 제2 입력영상의 휘도 정보를 이용하여 생성된 휘도 영역별 영상을 합성한 영상을 생성하는 단계를 포함할 수 있다.
또한, 제1 입력영상과 제2 입력영상에서 각각의 노출값에 따른 소정의 휘도 영역을 추출하는 합성가중치 영상을 생성하는 단계, 압축한 영상을 생성하는 단계에서 생성된 고휘도 영역 영상과 저휘도 영역 영상에서 소정의 휘도 영역을 추출하는 영역가중치 영상을 생성하는 단계 및 압축한 영상을 생성하는 단계에서 생성된 고휘도 영역 영상과 저휘도 영역 영상에 대하여 콘트라스트(contrast) 향상, 저휘도 영역 휘도 향상, 후광 효과(halo artifact) 저감 처리를 수행하는 단계를 더 포함할 수 있다.
콘트라스트의 저하없이 HDR 영상 생성이 가능하므로 일반적인 디지털 카메라, 캠코더와 같은 영상 획득 장치에서 HDR 영상을 만드는데 적합하다.
가변적인 DR 표현이 가능하며, 최적의 DR을 표현하는 HDR 영상을 생성할 수 있다.
저휘도/고휘도 영역의 디테일 표현이 우수하고, 로컬 콘트라스트의 향상으로 자동노출(AE) 영상과 동일한 수준의 선명한 화질을 갖는 영상을 생성할 수 있다.
또한, 보안(security) 관련, 자동차(automotive) 관련 어플리케이션 등에 이용 가능하다.
도 1은 본 발명의 일 실시예에 따른 영상합성장치의 전체적인 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상생성부(140)의 기본적인 구성을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상생성부(140)의 세부적인 구성을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 노출보상부(300)의 노출차이 보상과정을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 제1 영상합성부(200)의 구체적인 구성을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 압축영상 생성부(510)에서 압축한 영상의 휘도 영역의 범위를 나타내는 도면이다.
도 7a 및 7b는 본 발명의 일 실시예에 따른 압축영상 생성부(510)에서 압축한 영상중 고휘도 영역(Highlight) 중심으로 압축된 영상과 저휘도 영역(Shadow) 중심으로 압축된 영상을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 영상합성방법을 나타낸 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 영상합성장치에서 출력영상을 생성하기 위하여 생성되는 전체 영상을 나타낸 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상합성장치의 전체적인 구성을 나타낸 도면이다.
도 1을 참조하면, 영상합성장치는 영상획득부(100), 움직임 정합부(110), 장면분석부(120), 노출처리부(130), 영상생성부(140), 영상출력부(150)를 포함할 수 있다.
영상획득부(100)는 이미지 센서 또는 카메라로부터 다수 개의 노출이 상이한 영상들 또는 HDR(High Dynamic Range) 영상을 입력받는다.
다중 노출로 획득된 영상들의 경우 프레임 간 글로벌 모션(global motion)과 오브젝트 모션(object motion)이 발생할 수 있으므로 움직임 정합부(110)를 통하여 움직임 정합과정을 거쳐 합성시 상겹침이 발생하지 않도록 처리한다.
장면분석부(120)에서 영상 획득시의 노출 정보와 영상데이터를 기반으로 장면을 분석하고, 필요시 노출처리부(130)는 적정 노출로 획득된 영상데이터와 동일한 노출의 영상이 생성되도록 노출 보상처리를 수행한다.
장면분석부(120)와 노출처리부(130)에서는 장면 분석결과, 포화된 휘도영역을 포함하는 등의 노출이 적절하지 못한 영상이 입력된 경우, 적절한 노출과의 노출 비율을 이용하여 노출 보상을 수행하는 것으로, 입출력이 선형관계인 이미지 센서 RAW 데이터를 이용할 경우 정확한 노출 보상이 가능하다.
노출 보상과 동시에 디테일 향상 처리 수행이 가능하며 하기 수학식1의 예와 같이 언샤프 마스킹(unsharp masking) 방법 등을 이용할 수 있다.
Figure pat00001
영상획득부(100), 움직임 정합부(110), 장면 분석부(120), 노출처리부(130)는 각각의 기능에 따라 도 1과 같이 별개의 구성으로 구성될 수도 있으나, 노출이 서로 다른 입력영상들을 획득하여 움직임 정합, 노출처리, 디테일 향상 처리 등의 영상처리를 수행하여 합성하고자 하는 영상을 생성하는 영상 획득 및 처리부(160)와 같이 하나의 구성으로 구현될 수도 있다.
영상생성부(140)는 상술된 처리과정을 거친 영상들을 합성하고 LDR(Low Dynamic Range) 영상을 압축하여 출력영상을 생성한다. 만약 영상생성부(140)에서 HDR 영상을 입력받는 경우, 움직임 정합부(110)의 움직임 정합과정과 영상생성부(140)에서 영상합성 과정은 생략될 수 있다.
또한, 상술된 영상생성부(140)에서의 처리과정은 카메라 출력 RGB 데이터 또는 이미지 센서 RAW데이터를 이용하여 수행할 수 있다.
이렇게 생성된 출력영상을 영상출력부(150)를 통하여 디스플레이한다.
도 2는 본 발명의 일 실시예에 따른 영상생성부(140)의 기본적인 구성을 나타낸 도면이다.
도 2를 참조하면, 영상생성부(140)는 제1 영상합성부(200), 제2 영상합성부(210)를 포함할 수 있다.
제1 영상합성부(200)는 노출이 상이한 입력영상(n 개)과 각각의 입력영상의 노출 정보를 이용하여 HDR 데이터를 생성한다. HDR 데이터를 이용하여 휘도 별로 다수 개의 LDR 영상(m 개)을 생성한다.
제2 영상합성부(210)는 다수 개의 LDR 영상을 공간적으로 합성하여 출력영상을 만든다.
제1 영상합성부(200) 및 제2 영상합성부(210)는 카메라 출력 RGB 데이터뿐만 아니라 이미지 센서 RAW 데이터 이용하여 처리 가능하다.
도 3은 본 발명의 일 실시예에 따른 영상생성부(140)의 세부적인 구성을 나타낸 도면이다.
도 3을 참조하면, 영상생성부(140)는 도 2의 제1 영상합성부(200) 및 제2 영상합성부(210)에 부가하여 노출보상부(300), 고휘도복원부(310), 합성가중치 계산부(320), 영상가중치 계산부(330), 후처리부(340)를 포함할 수 있다.
도 3에서는 노출이 상이한 두 영상인 제1 입력영상(Exposure 1 Image)과 제2 입력영상(Exposure 2 Image)이 처리되고 합성되는 과정을 설명한다.
노출보상부(300)는 제1 입력영상(Exposure 1 Image)과 제2 입력영상(Exposure 2 Image)의 노출값 차이에 따른 인덱스를 설정하여 제1 입력영상(Exposure 1 Image)의 노출을 보상한 영상을 생성한다.
도 4는 본 발명의 일 실시예에 따른 노출보상부(300)의 노출차이 보상과정을 나타낸 도면이다.
도 4를 참조하면, 제1 입력영상(Exposure 1 Image)에서 휘도 평균값과 최대값을 이용하여 저휘도 임계치(Lower TH)와 고휘도 임계치(Upper TH), 최대 휘도값(Max)를 도출하고, 두 입력영상의 노출 차이를 고려하여 인덱스(Index)를 설정하여 상대적으로 노출이 작은 제1 입력영상을 재설정(remapping)하여 노출 차이를 보상한다.
고휘도복원부(310)는 제2 입력영상(Exposure 2 Image)의 특정 휘도 이상의 영역에 대하여 제1 입력영상(Exposure 1 Image)의 칼라 비율을 참조하여 제2 입력영상(Exposure 2 Image)의 칼라 정보를 복원한다.
노출이 다른 두 입력영상에서 제1 입력영상의 고휘도 영역과 제2 입력영상의 고휘도 영역을 비교하여 제2 입력영상의 영역은 수광량의 증가로 포화가 발생했다고 가정하면, 제2 입력영상에서 특정 휘도값 이상의 고휘도 영역은 포화되지 않은 제1 입력영상의 동일한 영역의 칼라 비율을 참고하여 칼라 정보를 복원할 수 있다.
제1 영상합성부(200)는 상술된 바와 같이 처리된 제2 입력영상의 휘도 정보를 이용하여 노출보상부(300)에서 생성된 영상과 제2 입력영상을 휘도 영역별로 합성하고, 합성한 영상으로부터 휘도 영역을 구분하여 압축한 영상을 생성한다.
도 5는 본 발명의 일 실시예에 따른 제1 영상합성부(200)의 구체적인 구성을 나타낸 도면이다.
도 5를 참조하면, 제1 영상합성부(200)는 광대역 영상합성부(500)와 압축영상 생성부(510)를 포함할 수 있다.
광대역 영상합성부(500)는 제2 입력영상의 휘도 정보로부터 노출보상부(300)에서 생성된 영상과 제2 입력영상에 대한 합성가중치 영상을 생성하고, 생성된 합성가중치 영상을 이용하여 각각의 노출보상부(300)에서 생성된 영상과 제2 입력영상의 고휘도 영역(Highlight)과 저휘도 영역(Shadow)을 합성하여 HDR 데이터를 생성한다.
제2 입력영상의 휘도 정보로부터 노출보상부(300)에서 생성된 영상과 제2 입력영상에 대한 합성가중치 영상을 생성하고, 생성된 합성가중치 영상을 이용하여 각각의 영상의 고휘도 영역과 저휘도 영역을 합성한 영상을 생성한다.
합성가중치 영상은 제1 영상합성부(200)의 광대역 영상합성부(500)에서 직접 생성하는 경우도 가능하며, 도 3의 합성가중치 계산부(320)와 같이 별개의 구성을 두어 두 입력영상에 대한 정보로부터 직접 생성하는 경우도 생각해 볼 수 있다.
제1 영상합성부(200)는 제2 입력영상의 휘도 정보(luminance level)를 이용하여 픽셀(Pixel)별 가중 평균(Weighted Average)을 구하여 제1 입력영상, 제2 입력영상 각각에 대한 합성가중치 영상을 생성한다.
합성가중치 영상을 이용하여 각각의 입력영상을 합성하고, 이로부터 HDR 데이터를 생성한다.
상술한 가중 평균(Weighted Average)을 구하는 과정은 Contrast Blending 방법 등을 이용할 수 있다.
압축영상 생성부(510)는 광대역 영상합성부(500)에서 합성한 영상의 휘도 영역의 범위와 동일한 휘도 영역의 범위를 갖도록 압축하되, 합성한 영상의 고휘도 영역과 저휘도 영역을 구분하여 압축한 영상을 생성한다.
도 6은 본 발명의 일 실시예에 따른 압축영상 생성부(510)에서 압축한 영상의 휘도 영역의 범위를 나타내는 도면이다.
도 6과 같이, 압축영상 생성부(510)에서 광대역 영상합성부(500)에서 생성된 HDR 데이터를 압축할 때, HDR 데이터의 합성결과의 휘도 영역의 경계값(최대값)이 압축영상 생성부(510)에서 압축되어 생성된 영상(LDR Image1, LDR Image2)의 휘도 영역의 경계값(최대값)으로 매핑되도록 처리한다.
도 7a 및 7b는 본 발명의 일 실시예에 따른 압축영상 생성부(510)에서 압축한 영상중 고휘도 영역(Highlight) 중심으로 압축된 영상과 저휘도 영역(Shadow) 중심으로 압축된 영상을 나타낸 도면이다.
도 6의 LDR Image1과 LDR Image2의 예가 도 7과 같이 나타낼 수 있으며, 도7a는 고휘도 영역을 중심으로 압축한 영상(LDR Image1), 도 7b는 저휘도 영역을 중심으로 압축한 영상(LDR Image2)을 나타낸다.
도 7a의 고휘도 영역을 중심으로 압축한 영상의 표시된 영역(700)은 고휘도 영역에 해당하는 것으로, 표시된 영역(700)으로부터 도 7a의 고휘도 영역을 중심으로 압축한 영상은 고휘도 영역이 선명하게 나타나고 있음을 알 수 있다.
또한, 도 7b의 저휘도 영역을 중심으로 압축한 영상의 표시된 영역(701)은 저휘도 영역에 해당하는 것으로, 표시된 영역(701)으로부터 도 7b의 저휘도 영역을 중심으로 압축한 영상은 저휘도 영역이 선명하게 나타나고 있음을 알 수 있다.
상술한 바와 같이 제1 영상합성부(200)에서 합성된 영상은 후처리부(340)를 거치게 된다. 후처리부(340)는 제1 영상합성부(200)에서 생성된 고휘도 영역 영상(LDR Image1)과 저휘도 영역 영상(LDR Image2)에 대하여 출력영상의 화질 향상을 위한 여러가지 처리를 수행할 수 있다.
제1 영상합성부(200)에서 합성된 영상(LDR Image)은 다음과 같은 추가적인 후처리(Post-Processing) 과정들을 거칠 수 있으며, 이외에도 출력영상 화질 개선을 위한 다양한 방법들이 수행될 수 있다.
후처리(Post-Processing) 과정은 콘트라스트(contrast) 향상, 저휘도 영역 휘도 향상, 후광 효과(halo artifact) 저감 처리 등이 있다.
도 7a의 고휘도 영역 영상은 표시된 영역(700) 외에는 물체의 형태를 알아보기 힘든 저휘도 영역에 해당한다. 따라서 최종 출력영상의 화질을 개선하기 위해서는 이 영상을 합성하기 전에 저휘도 영역의 휘도를 향상시킬 필요가 발생한다.
그러므로, 도 7a의 고휘도 영역 영상에 대해 저휘도 영역의 휘도 향상을 위한 가중치 영상을 이용하여 저휘도 영역 휘도 향상 처리를 수행할 수 있다.
또한, 도 7b의 저휘도 영역 영상은 전반적으로 영상이 흐릿하여 물체의 윤곽이 선명하지 못하다. 따라서 최종 출력영상의 화질을 개선하기 위해서는 이 영상을 합성하기 전에 물체의 윤곽선의 선명도를 향상시킬 필요가 발생한다.
그러므로, 도 7b의 저휘도 영역 영상에 대해 윤곽선의 선명도 향상을 위한 가중치 영상을 이용하여 영상의 후광효과 저감 처리를 수행할 수 있다.
저휘도 영역의 휘도 향상을 위한 가중치 영상과 윤곽선의 선명도 향상을 위한 가중치 영상의 밝게 표현된 부분이 영상에서 가중치가 부가된 것으로, 밝게 표현된 부분에 대하여 원영상(LDR Image)에 가중치를 부가함으로써 화질을 개선할 수 있다.
상술된 후처리과정을 거친 후, LDR 영상(LDR Image)을 최종적으로 합성하여 최종적인 출력영상을 생성하는 과정을 수행하게 된다.
제2 영상합성부(210)는 고휘도 영역 영상(LDR Image1) 및 저휘도 영역 영상(LDR Image2)을 합성하여 출력영상을 생성한다.
제2 영상합성부(210)는 LDR 영상(LDR Image1, LDR Image2)들을 LDR 영상합성(LDR Image Fusion) 과정을 통해 최종 출력영상으로 생성한다. LDR 영상합성 과정에서 영역가중치 영상을 생성하게 되는데 이는 제2 영상합성부(210) 내부에서 직접 수행할 수 있으나, 도 3과 같이 별도의 영역가중치 계산부(330)에서 수행하도록 구현할 수 있다.
영역가중치 계산부(330)는 휘도 레벨에 따라 영역을 나누고, 각 영역 별로 콘트라스트(contrast)가 높고 디테일을 최대로 표현하는 것을 기준으로 영역가중치 영상을 생성한다.
영역가중치 계산부(330)는 제2 입력영상의 휘도 정보를 이용하여 고휘도 영역을 위한 영역가중치 영상과 저휘도 영역을 위한 영역가중치 영상을 생성한다.
제2 영상합성부는 도 7a의 고휘도 영역 영상과 도 7b의 저휘도 영역 영상을 전달받아, 영역가중치 계산부(330)에서 생성된 고휘도 영역 합성을 위한 영역가중치 영상과 저휘도 영역 합성을 위한 영역가중치 영상을 이용하여 도 7a의 고휘도 영역 영상과 도 7b의 저휘도 영역 영상을 합성하여 출력영상을 생성한다.
먼저, 도 7a의 고휘도 영역 영상은 고휘도 영역 합성을 위한 영역가중치 영상을 이용하여 영역가중치 영상의 밝게 표시된 부분으로부터 도 7a의 고휘도 영역 영상의 표시된 영역(700)을 중심으로 한 고휘도 영역이 선명하게 표시된 영상을 추출하게 된다.
다음으로, 도 7b의 저휘도 영역 영상은 저휘도 영역 합성을 위한 영역가중치 영상을 이용하여 영역가중치 영상의 밝게 표시된 부분으로부터 도 7b의 저휘도 영역 영상의 표시된 영역(701)을 중심으로 한 저휘도 영역이 선명하게 표시된 영상을 추출하게 된다.
이렇게 추출된 영상들을 합성하여 출력영상을 생성하게 된다. 둘 이상의 영역으로 나누어 합성하는 경우 가변적인 휘도 임계값(threshold)에 따라 영역을 분할하는 방식으로 처리할 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상합성방법을 나타낸 흐름도이다.
피사체에 대하여 서로 다른 노출의 제1 입력영상과 제2 입력영상을 획득하여 움직임정합, 노출보상 처리, 디테일 향상 처리 등을 수행하여 합성하기에 적절한 영상을 만든다(800).
제1 입력영상과 제2 입력영상의 노출값 차이에 따른 인덱스를 설정하여 상기 제1 입력영상의 노출을 보상한 영상을 생성한다(810).
제2 입력영상의 휘도 정보를 이용하여 생성된 영상과 제2 입력영상을 휘도 영역별로 합성하고, 합성한 영상으로부터 휘도 영역을 구분하여 압축한 영상을 생성한다(820).
제2 입력영상의 휘도 정보를 이용하여 생성된 휘도 영역별 영상을 합성한 영상을 생성한다(830). 이렇게 생성된 영상을 출력영상으로 디스플레이 하게 된다.
도 9는 본 발명의 일 실시예에 따른 영상합성장치에서 출력영상을 생성하기 위하여 생성되는 전체 영상을 나타낸 도면이다.
제1 입력영상(Exposure1 Image)과 제2 입력영상(Exposure2 Image)으로부터 상술한 노출보상부(300), 고휘도복원부(310), 제1 영상합성부(200)를 거쳐 HDR 데이터를 생성하고 HDR 데이터로부터 휘도별로 압축한 LDR 영상(LDR Image1, LDR Image2)을 생성하며, 생성된 LDR 영상(LDR Image1, LDR Image2)으로부터 후처리부(340), 제2 영상합성부(210)를 거쳐 최종적으로 출력영상(Output Image)을 생성할 수 있다.
한편, 본 발명의 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서 본 발명의 실시를 위한 구체적인 예를 살펴보았다. 전술한 실시 예들은 본 발명을 예시적으로 설명하기 위한 것으로 본 발명의 권리범위가 특정 실시 예에 한정되지 아니할 것이다.
100 영상획득부
110 움직임 정합부
120 장면 분석부
130 노출 처리부
140 영상 생성부
150 영상 출력부
200 제1 영상 합성부
210 제2 영상 합성부
300 노출 보상부
310 고휘도 복원부
320 합성 가중치 계산부
330 영역 가중치 계산부
340 후처리부
500 광대역 영상 합성부
510 압축 영상 생성부

Claims (13)

  1. 이미지 센서를 이용하여 획득한 다중노출 영상을 합성하는 영상합성장치에 있어서,
    서로 다른 노출의 제1 입력영상과 제2 입력영상을 획득하여 움직임 정합 및 노출처리를 수행하는 영상 획득 및 처리부; 및
    상기 제2 입력영상의 휘도 정보를 이용하여 상기 제1 입력영상과 제2 입력영상의 휘도 영역을 구분하여 압축한 영상들을 생성하고, 생성된 휘도 영역별 영상들을 합성하는 영상 생성부;를 포함하는 영상합성장치.
  2. 제 1 항에 있어서, 상기 영상 생성부는
    상기 제1 입력영상과 제2 입력영상의 노출값 차이에 따른 인덱스를 설정하여 상기 제1 입력영상의 노출을 보상한 영상을 생성하는 노출보상부;
    상기 제2 입력영상의 휘도 정보를 이용하여 상기 노출보상부에서 생성된 영상과 상기 제2 입력영상을 휘도 영역별로 합성하고, 합성한 영상으로부터 휘도 영역을 구분하여 압축한 영상을 생성하는 제1 영상합성부; 및
    상기 제2 입력영상의 휘도 정보를 이용하여 상기 제1 영상합성부에서 생성된 휘도 영역별 영상을 합성한 영상을 생성하는 제2 영상합성부;를 포함하는 영상합성장치.
  3. 제 2 항에 있어서, 상기 노출보상부는
    상기 제1 입력영상의 휘도 평균값과 휘도 최대값으로부터 저휘도 임계치와 고휘도 임계치를 산출하여 상기 인덱스에 따라 상기 제1 입력영상의 노출값을 재설정하는 영상합성장치.
  4. 제 2 항에 있어서, 상기 제1 영상합성부는
    상기 제2 입력영상의 휘도 정보로부터 상기 노출보상부에서 생성된 영상과 상기 제2 입력영상에 대한 합성가중치 영상을 생성하고, 생성된 합성가중치 영상을 이용하여 각각의 영상의 고휘도 영역과 저휘도 영역을 합성한 영상을 생성하는 광대역 영상합성부; 및
    상기 광대역 영상합성부에서 생성된 영상의 휘도 영역의 범위와 동일한 휘도 영역의 범위를 갖도록 압축하되, 상기 생성된 영상의 고휘도 영역과 저휘도 영역을 구분하여 압축한 영상을 생성하는 압축영상생성부;를 포함하는 영상합성장치.
  5. 제 2항에 있어서, 상기 제1 영상합성부는
    상기 제1 입력영상과 제2 입력영상에서 각각의 노출값에 따른 소정의 휘도 영역을 추출하기 위한 합성가중치 영상을 생성하는 합성가중치 계산부;를 포함하는 영상합성장치.
  6. 제 2 항에 있어서, 상기 제2 영상합성부는
    상기 제2 입력영상의 휘도 정보로부터 고휘도 영역 및 저휘도 영역의 영역가중치 영상을 생성하여 상기 제1 영상합성부에서 생성된 고휘도 영역 영상 및 저휘도 영역 영상을 합성하는 영상합성장치.
  7. 제 2 항에 있어서, 상기 제2 영상합성부는
    상기 제1 영상합성부에서 생성된 고휘도 영역 영상과 저휘도 영역 영상에서 소정의 휘도 영역을 추출하기 위한 영역가중치 영상을 생성하는 영역가중치 계산부;를 포함하는 영상합성장치.
  8. 제 2 항에 있어서,
    상기 제2 입력영상의 소정의 휘도 이상의 영역에 대하여 상기 제1 입력영상의 칼라 비율을 참조하여 상기 제2 입력영상의 휘도를 복원하는 고휘도복원부;를 더 포함하는 영상합성장치.
  9. 제 2 항에 있어서,
    상기 제1 영상합성부에서 생성된 고휘도 영역 영상과 저휘도 영역 영상에 대하여 콘트라스트(contrast) 향상, 저휘도 영역 휘도 향상, 후광 효과(halo artifact) 저감 처리를 수행하는 후처리부;를 더 포함하는 영상합성장치.
  10. 이미지 센서를 이용하여 획득한 다중노출 영상을 합성하는 영상합성방법에 있어서,
    서로 다른 노출의 제1 입력영상과 제2 입력영상을 획득하여 움직임 정합 및 노출처리를 수행하는 단계;
    상기 제1 입력영상과 제2 입력영상의 노출값 차이에 따른 인덱스를 설정하여 상기 제1 입력영상의 노출을 보상한 영상을 생성하는 단계;
    상기 제2 입력영상의 휘도 정보를 이용하여 상기 생성된 영상과 상기 제2 입력영상을 휘도 영역별로 합성하고, 합성한 영상으로부터 휘도 영역을 구분하여 압축한 영상을 생성하는 단계; 및
    상기 제2 입력영상의 휘도 정보를 이용하여 상기 생성된 휘도 영역별 영상을 합성한 영상을 생성하는 단계;를 포함하는 영상합성방법.
  11. 제 10 항에 있어서, 상기 압축한 영상을 생성하는 단계는
    상기 제2 입력영상의 휘도 정보로부터 상기 생성된 영상과 제2 입력영상에 대한 합성가중치 영상을 생성하고, 생성된 합성가중치 영상을 이용하여 각각의 영상의 고휘도 영역과 저휘도 영역을 합성한 영상을 생성하는 단계; 및
    상기 생성된 영상의 휘도 영역의 범위와 동일한 휘도 영역의 범위를 갖도록 압축하되, 상기 생성된 영상의 고휘도 영역과 저휘도 영역을 구분하여 압축한 영상을 생성하는 단계;를 포함하는 영상합성방법.
  12. 제 10 항에 있어서, 상기 합성한 영상을 생성하는 단계는
    상기 제2 입력영상의 휘도 정보로부터 고휘도 영역 및 저휘도 영역의 영역가중치 영상을 생성하여 상기 생성된 고휘도 영역 영상 및 저휘도 영역 영상을 합성하는 영상합성방법.
  13. 제 10 항에 있어서,
    상기 제1 입력영상과 제2 입력영상에서 각각의 노출값에 따른 소정의 휘도 영역을 추출하는 합성가중치 영상을 생성하는 단계;
    상기 압축한 영상을 생성하는 단계에서 생성된 고휘도 영역 영상과 저휘도 영역 영상에서 소정의 휘도 영역을 추출하는 영역가중치 영상을 생성하는 단계; 및
    상기 압축한 영상을 생성하는 단계에서 생성된 고휘도 영역 영상과 저휘도 영역 영상에 대하여 콘트라스트(contrast) 향상, 저휘도 영역 휘도 향상, 후광 효과(halo artifact) 저감 처리를 수행하는 단계;를 더 포함하는 영상합성방법.
KR1020100004053A 2010-01-15 2010-01-15 다중노출 영상을 합성하는 영상합성장치 및 방법 KR101633893B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100004053A KR101633893B1 (ko) 2010-01-15 2010-01-15 다중노출 영상을 합성하는 영상합성장치 및 방법
US13/006,683 US8723978B2 (en) 2010-01-15 2011-01-14 Image fusion apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100004053A KR101633893B1 (ko) 2010-01-15 2010-01-15 다중노출 영상을 합성하는 영상합성장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110084025A true KR20110084025A (ko) 2011-07-21
KR101633893B1 KR101633893B1 (ko) 2016-06-28

Family

ID=44277358

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100004053A KR101633893B1 (ko) 2010-01-15 2010-01-15 다중노출 영상을 합성하는 영상합성장치 및 방법

Country Status (2)

Country Link
US (1) US8723978B2 (ko)
KR (1) KR101633893B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609919A (zh) * 2012-02-16 2012-07-25 清华大学 一种基于区域的压缩感知图像融合方法
KR101341616B1 (ko) * 2012-05-10 2013-12-13 중앙대학교 산학협력단 세부정보 추정에 의한 영상 개선 장치 및 방법
KR20150145921A (ko) 2014-06-20 2015-12-31 경남정보대학교 산학협력단 Ｈｄｒ 동영상 제작 장치 및 방법
KR101629825B1 (ko) * 2014-12-04 2016-06-22 현대모비스 주식회사 Ｈｄｒ 기능을 이용한 차량용 디스플레이 장치 및 방법
US10306163B2 (en) 2015-03-09 2019-05-28 Samsung Electronics Co., Ltd. Electronic device having camera module, and image processing method for electronic device
KR102045538B1 (ko) * 2018-05-31 2019-11-15 한양대학교 산학협력단 패치 기반 다중 노출 영상 융합 방법 및 장치
KR20200065458A (ko) * 2018-11-30 2020-06-09 고려대학교 산학협력단 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 장치 및 방법, 상기 방법을 수행하기 위한 기록 매체

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130044237A1 (en) * 2011-08-15 2013-02-21 Broadcom Corporation High Dynamic Range Video
JP5860663B2 (ja) * 2011-10-18 2016-02-16 日立オートモティブシステムズ株式会社 ステレオ撮像装置
WO2013110022A1 (en) * 2012-01-20 2013-07-25 Rjs Technology, Inc. System and method for a high dynamic range array of sensitive image sensor blocks
CN103247036B (zh) * 2012-02-10 2016-05-18 株式会社理光 多曝光图像融合方法和装置
US20130301949A1 (en) * 2012-05-11 2013-11-14 Sony Corporation Image enhancement apparatus and method
US9349166B2 (en) * 2012-12-31 2016-05-24 Nokia Technologies Oy Method, apparatus and computer program product for generating images of scenes having high dynamic range
US10068120B2 (en) * 2013-03-15 2018-09-04 Apple Inc. High dynamic range fingerprint sensing
US9338349B2 (en) * 2013-04-15 2016-05-10 Qualcomm Incorporated Generation of ghost-free high dynamic range images
WO2015006787A2 (en) * 2013-07-12 2015-01-15 Mobii Systems (Pty) Ltd Method of generating and processing images
US9053558B2 (en) 2013-07-26 2015-06-09 Rui Shen Method and system for fusing multiple images
CN104639920B (zh) * 2013-11-13 2018-01-26 上海微锐智能科技有限公司 基于单帧双次曝光模式的宽动态融合方法
US9594488B2 (en) * 2013-12-12 2017-03-14 Google Inc. Interactive display of high dynamic range images
EP3007431A1 (en) * 2014-10-10 2016-04-13 Thomson Licensing Method for obtaining at least one high dynamic range image, and corresponding computer program product, and electronic device
FR3037756B1 (fr) * 2015-06-18 2020-06-19 Lens Correction Technologies Procede et dispositif de production d'une image numerique
CN106408518B (zh) * 2015-07-30 2019-09-06 展讯通信（上海）有限公司 图像融合方法、装置及终端设备
CN105187739B (zh) * 2015-09-18 2018-10-26 北京中科慧眼科技有限公司 基于hdr算法的相机传感器设计方法
EP3220349A1 (en) * 2016-03-16 2017-09-20 Thomson Licensing Methods, apparatus, and systems for extended high dynamic range ("hdr") hdr to hdr tone mapping
US10129485B2 (en) 2016-06-10 2018-11-13 Microsoft Technology Licensing, Llc Methods and systems for generating high dynamic range images
KR102603426B1 (ko) * 2016-06-27 2023-11-20 삼성전자주식회사 이미지 처리장치 및 방법
CN106294681B (zh) * 2016-08-05 2019-11-05 腾讯科技（深圳）有限公司 多重曝光的方法、装置和系统
EP3319013A1 (en) * 2016-11-03 2018-05-09 Thomson Licensing Method and device for estimating cast shadow regions and/or highlight regions in images
CN108124107B (zh) * 2016-11-30 2020-05-05 厦门星宸科技有限公司 用来控制影像撷取装置的电路及相关的方法
US10425599B2 (en) * 2017-02-01 2019-09-24 Omnivision Technologies, Inc. Exposure selector for high-dynamic range imaging and associated method
CN113570677A (zh) * 2017-05-03 2021-10-29 西安万像电子科技有限公司 图像压缩方法及装置
US10863105B1 (en) * 2017-06-27 2020-12-08 Amazon Technologies, Inc. High dynamic range imaging for event detection and inventory management
CN109035155B (zh) * 2018-06-15 2021-10-22 宁波大学 一种光晕去除的多曝光图像融合方法
CN111050143B (zh) 2018-10-11 2021-09-21 华为技术有限公司 一种图像拍摄方法和终端设备
KR102569375B1 (ko) 2018-10-24 2023-08-22 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
KR20200053125A (ko) 2018-11-08 2020-05-18 삼성전자주식회사 전자 장치 및 그 제어 방법
CN109636765B (zh) * 2018-11-09 2021-04-02 Tcl华星光电技术有限公司 基于图像多重曝光融合的高动态显示方法
US11128809B2 (en) 2019-02-15 2021-09-21 Samsung Electronics Co., Ltd. System and method for compositing high dynamic range images
JP7256663B2 (ja) * 2019-03-26 2023-04-12 キヤノン株式会社 画像出力装置およびその制御方法
WO2020206659A1 (en) * 2019-04-11 2020-10-15 Thunder Software Technology Co., Ltd. Method and apparatus for combining low-dynamic range images to a single image
KR102644946B1 (ko) 2019-05-02 2024-03-08 삼성전자주식회사 영상 처리 방법 및 장치
US11062436B2 (en) 2019-05-10 2021-07-13 Samsung Electronics Co., Ltd. Techniques for combining image frames captured using different exposure settings into blended images
CN110784645B (zh) * 2019-10-09 2021-01-01 中国航空工业集团公司洛阳电光设备研究所 基于单色双通道sCMOS摄像机的灰度调制图像融合方法
CN110717878B (zh) * 2019-10-12 2022-04-15 北京迈格威科技有限公司 图像融合方法、装置、计算机设备和存储介质
US10911691B1 (en) 2019-11-19 2021-02-02 Samsung Electronics Co., Ltd. System and method for dynamic selection of reference image frame
KR20210099865A (ko) 2020-02-05 2021-08-13 삼성전자주식회사 이미지 센서 모듈, 그것의 영상 압축 방법 및 전자 장치
CN111491110B (zh) * 2020-04-17 2021-09-17 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和存储介质
KR102697687B1 (ko) 2020-04-29 2024-08-23 삼성전자주식회사 이미지 병합 방법 및 이를 수행하는 데이터 처리 장치
KR20220004460A (ko) 2020-07-03 2022-01-11 삼성전자주식회사 이미지 병합을 위한 이미지 매칭 방법 및 이를 수행하는 데이터 처리 장치
US11430094B2 (en) 2020-07-20 2022-08-30 Samsung Electronics Co., Ltd. Guided multi-exposure image fusion
US11736804B2 (en) * 2020-09-07 2023-08-22 Mediatek Inc. Method and apparatus for generating high dynamic range frame through white balance compensation that uses white balance gain table generated from combining multiple sets of white balance gain settings
CN112288664A (zh) * 2020-09-25 2021-01-29 北京迈格威科技有限公司 高动态范围图像的融合方法、装置和电子设备
JP7271492B2 (ja) * 2020-12-11 2023-05-11 シャープ株式会社 画像処理装置、および画像処理方法
TWI751869B (zh) * 2020-12-30 2022-01-01 廣達電腦股份有限公司 運算裝置及用於近眼顯示裝置之缺陷偵測方法
CN112785504B (zh) * 2021-02-23 2022-12-23 深圳市来科计算机科技有限公司 一种昼夜图像融合的方法
KR20220156242A (ko) 2021-05-18 2022-11-25 에스케이하이닉스 주식회사 이미지 처리 장치
CN113092489B (zh) * 2021-05-20 2024-08-23 鲸朵(上海)智能科技有限公司 一种电池外观缺陷的检测系统及方法
US11595589B2 (en) 2021-07-22 2023-02-28 Arthrex, Inc. Surgical camera system with high dynamic range
US11425313B1 (en) 2021-11-29 2022-08-23 Unity Technologies Sf Increasing dynamic range of a virtual production display
US11924563B2 (en) 2021-12-22 2024-03-05 Qualcomm Incorporated High dynamic range (HDR) photography with in-sensor zoom
US11972525B2 (en) 2022-02-21 2024-04-30 International Business Machines Corporation Generating training data through image augmentation
CN117014729B (zh) * 2023-09-27 2023-12-05 合肥辉羲智能科技有限公司 一种二次曝光图像融合高动态范围图像的方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001008092A (ja) * 1999-06-22 2001-01-12 Fuji Photo Film Co Ltd 画像データ形成装置および画像データ処理方法
JP2002305685A (ja) * 2001-01-24 2002-10-18 Eastman Kodak Co 撮像装置の効果的ダイナミックレンジを拡張する方法及び装置並びに残存画像の使用
US20050104900A1 (en) * 2003-11-14 2005-05-19 Microsoft Corporation High dynamic range image viewing on low dynamic range displays
US20060177150A1 (en) * 2005-02-01 2006-08-10 Microsoft Corporation Method and system for combining multiple exposure images having scene and camera motion

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6204881B1 (en) * 1993-10-10 2001-03-20 Canon Kabushiki Kaisha Image data processing apparatus which can combine a plurality of images at different exposures into an image with a wider dynamic range
US5929908A (en) * 1995-02-03 1999-07-27 Canon Kabushiki Kaisha Image sensing apparatus which performs dynamic range expansion and image sensing method for dynamic range expansion
JPH1042182A (ja) * 1996-07-26 1998-02-13 Canon Inc 撮像装置
JP3458741B2 (ja) * 1998-12-21 2003-10-20 ソニー株式会社 撮像方法及び撮像装置、画像処理方法及び画像処理装置
KR100472359B1 (ko) 2001-11-28 2005-02-21 엘지전자 주식회사 평균 휘도 레벨 설정방법
AU2003201746A1 (en) * 2002-01-15 2003-07-30 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for compressing the dynamic range of an image
US7508421B2 (en) * 2002-06-24 2009-03-24 Fujifilm Corporation Image pickup apparatus and image processing method
KR101029071B1 (ko) 2004-09-09 2011-04-18 삼성전자주식회사 감지 휘도 범위를 넓히기 위한 디지털 촬영 장치의 제어방법, 및 이 방법을 채용한 디지털 촬영 장치
US20070024721A1 (en) 2005-07-29 2007-02-01 Rogers Sean S Compensating for improperly exposed areas in digital images
US7729535B2 (en) * 2005-09-23 2010-06-01 Canon Kabushiki Kaisha Color characterization of high dynamic range image capture devices
US8599282B2 (en) 2007-04-26 2013-12-03 Samsung Electronics Co., Ltd. Method and apparatus for generating image
KR100933556B1 (ko) 2007-11-09 2009-12-23 주식회사 쎄이미지 다이내믹 레인지를 확장하는 칼라 영상 처리장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001008092A (ja) * 1999-06-22 2001-01-12 Fuji Photo Film Co Ltd 画像データ形成装置および画像データ処理方法
JP2002305685A (ja) * 2001-01-24 2002-10-18 Eastman Kodak Co 撮像装置の効果的ダイナミックレンジを拡張する方法及び装置並びに残存画像の使用
US20050104900A1 (en) * 2003-11-14 2005-05-19 Microsoft Corporation High dynamic range image viewing on low dynamic range displays
US20060177150A1 (en) * 2005-02-01 2006-08-10 Microsoft Corporation Method and system for combining multiple exposure images having scene and camera motion

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609919A (zh) * 2012-02-16 2012-07-25 清华大学 一种基于区域的压缩感知图像融合方法
KR101341616B1 (ko) * 2012-05-10 2013-12-13 중앙대학교 산학협력단 세부정보 추정에 의한 영상 개선 장치 및 방법
KR20150145921A (ko) 2014-06-20 2015-12-31 경남정보대학교 산학협력단 Ｈｄｒ 동영상 제작 장치 및 방법
KR101629825B1 (ko) * 2014-12-04 2016-06-22 현대모비스 주식회사 Ｈｄｒ 기능을 이용한 차량용 디스플레이 장치 및 방법
US9641767B2 (en) 2014-12-04 2017-05-02 Hyundai Mobis Co., Ltd. Display apparatus and method using high dynamic range function for vehicle
US10306163B2 (en) 2015-03-09 2019-05-28 Samsung Electronics Co., Ltd. Electronic device having camera module, and image processing method for electronic device
KR102045538B1 (ko) * 2018-05-31 2019-11-15 한양대학교 산학협력단 패치 기반 다중 노출 영상 융합 방법 및 장치
KR20200065458A (ko) * 2018-11-30 2020-06-09 고려대학교 산학협력단 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 장치 및 방법, 상기 방법을 수행하기 위한 기록 매체

Also Published As

Publication number Publication date
KR101633893B1 (ko) 2016-06-28
US8723978B2 (en) 2014-05-13
US20110176024A1 (en) 2011-07-21

Similar Documents

Publication Publication Date Title
KR101633893B1 (ko) 다중노출 영상을 합성하는 영상합성장치 및 방법
KR101831551B1 (ko) 높은 동적 범위의 이미지 생성 및 렌더링
CN101394485B (zh) 图像生成方法、装置及图像合成设备
JP5713752B2 (ja) 画像処理装置、及びその制御方法
KR101442153B1 (ko) 저조도 영상 처리 방법 및 시스템
CN107045715A (zh) 一种单幅低动态范围图像生成高动态范围图像的方法
JP5762756B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、および撮影装置
US20150304538A1 (en) Device for synthesizing high dynamic range image based on per-pixel exposure mapping and method thereof
KR102106537B1 (ko) 하이 다이나믹 레인지 영상 생성 방법 및, 그에 따른 장치, 그에 따른 시스템
KR20130013288A (ko) 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 ｈｄｒ 영상 생성 장치 및 방법
CN104021532A (zh) 一种红外图像的图像细节增强方法
JP7253634B2 (ja) 結合前ノイズ除去による高ダイナミックレンジ画像生成
JP2011109638A (ja) 画像処理装置、画像処理方法
CN107392879B (zh) 一种基于参考帧的低照度监控图像增强方法
KR20120114899A (ko) 영상 처리 방법 및 영상 처리 장치
JP5765893B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2010278890A (ja) 画像形成装置、画像形成方法
CN111294522A (zh) Hdr图像成像方法、装置以及计算机存储介质
KR20130040321A (ko) 단일 프레임 기반의 높은 동적 대역 영상 생성장치 및 방법
KR101468433B1 (ko) 결합된 색상 채널 변환 맵을 이용한 다이나믹 레인지 확장 장치 및 방법
Lapray et al. Smart camera design for realtime high dynamic range imaging
JP2005182232A (ja) 輝度補正装置および輝度補正方法
US20240155248A1 (en) Method and apparatus for generating high-dynamic-range image, and electronic device
CN117710264B (zh) 图像的动态范围校准方法和电子设备
KR20150127524A (ko) 영상 처리 장치 및 영상 처리 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190520

Year of fee payment: 4