KR20110032344A - 고대비 영상 생성 장치 및 방법 - Google Patents

고대비 영상 생성 장치 및 방법 Download PDF

Info

Publication number
KR20110032344A
KR20110032344A KR1020090089779A KR20090089779A KR20110032344A KR 20110032344 A KR20110032344 A KR 20110032344A KR 1020090089779 A KR1020090089779 A KR 1020090089779A KR 20090089779 A KR20090089779 A KR 20090089779A KR 20110032344 A KR20110032344 A KR 20110032344A
Authority
KR
South Korea
Prior art keywords
image
exposure time
dynamic range
motion
high contrast
Prior art date
Application number
KR1020090089779A
Other languages
English (en)
Other versions
KR101604068B1 (ko
Inventor
오현화
박성찬
권재현
이성덕
최원희
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090089779A priority Critical patent/KR101604068B1/ko
Priority to US12/885,713 priority patent/US8508619B2/en
Publication of KR20110032344A publication Critical patent/KR20110032344A/ko
Application granted granted Critical
Publication of KR101604068B1 publication Critical patent/KR101604068B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Abstract

고대비(High Dynamic Range, HDR) 영상 생성 장치 및 방법이 개시된다. 본 발명의 일 양상에 따른 HDR 영상 생성 장치는, 자동 노출 시간 보다 긴 장 노출 시간, 자동 노출 시간 보다 짧은 단 노출 시간, 및 자동 노출 시간과 단 노출 시간 사이의 기준 노출 시간을 설정하고, 장 노출 시간에서 촬영된 제 1 영상과 기준 노출 시간에서 촬영된 제 2 영상을 획득한 후, 제 1 영상의 움직임을 보정하고 제 2 영상의 다이나믹 레인지를 조절하고 이들을 합성하여 고대비 영상을 생성한다.
고대비(High Dynamic Range, HDR), 영상 합성, 움직임 보정, 노출 시간(exposure time)

Description

고대비 영상 생성 장치 및 방법{High dynamic range imaging apparatus and method}
카메라의 다이나믹 레인지를 확장하기 위한 기술과 관련된다.
카메라의 다이나믹 레인지(dynamic range)란 영상에서 가장 밝은 부분과 가장 어두운 부분의 비례 관계를 말한다. 다이나믹 레인지가 넓을수록 표현할 수 있는 영상의 질이 좋아진다. 현재 상용 디지털 카메라의 다이나믹 레인지는 50~60dB 수준으로 사람 눈의 다이나믹 레인지인 100~120dB에 비해 매우 부족한 수준이다.
이러한 디지털 카메라의 다이나믹 레인지 한계를 극복하기 위한 방법 중 하나로 노출 시간이 상이한 두 장의 영상을 합성하는 방법이 있다. 상이한 노출 시간에서 얻어진 각각의 영상은 서로 다른 다이나믹 레인지를 가지기 때문에, 각각의 영상을 합성하면 다이나믹 레인지가 확장되는 효과가 있다.
그런데, 어떠한 피사체를 일정한 시간 간격을 두고 연속으로 촬영하게 되면, 카메라 또는 피사체의 움직임으로 인해 영상 간 불일치(예컨대, ghost image, artifact)가 발생할 수 있다. 이러한 영상 간 불일치를 제거하기 위한 방법으로는, 영상에서 발생한 움직임을 검출하여 검출된 움직임을 보정하는 방법, 검출된 움직임이 큰 경우 영상 합성 과정 없이 어느 하나의 영상만을 선택하는 방법 등이 있다.
움직임을 보정하는 방법의 경우 움직임 검출 및 보정에 따른 연산량이 증가하게 되고, 어느 하나의 영상만을 선택하는 방법의 경우 다이나믹 레인지 확장 효과가 없으므로, 동적 환경에서 다이나믹 레인지를 확장하기 위한 방법으로는 적절치 아니하다.
영상 간에 불일치 없이 고대비(High Dynamic Range, HDR)를 갖는 영상을 생성하는 장치 및 방법이 제공된다.
본 발명의 일 양상에 따른 고대비 영상 생성 장치는, 소정의 제 1 노출 시간 보다 긴 제 2 노출 시간, 제 1 노출 시간 보다 짧은 제 3 노출 시간, 및 제 1 노출 시간과 제 3 노출 시간 사이의 제 4 노출 시간을 설정하는 노출 시간 설정부, 제 2 노출 시간에 기초한 제 1 영상과 제 4 노출 시간에 기초한 제 2 영상을 획득하는 영상 획득부, 및 제 3 노출 시간과 제 4 노출 시간에 기초하여 제 2 영상의 다이나믹 레인지를 조절하는 다이나믹 레인지 조절부를 포함할 수 있다.
또한, 본 발명의 다른 양상에 따라, 고대비 영상 생성 장치는, 제 1 영상과 제 2 영상의 움직임 발생 영역을 검출하고, 검출된 움직임 발생 영역에 기초하여 제 1 영상의 움직임을 보정하는 영상 보정부, 및 다이나믹 레인지가 조절된 제 2 영상과 움직임이 보정된 제 1 영상을 합성하는 영상 합성부를 더 포함할 수 있다.
한편, 본 발명의 일 양상에 따른 고대비 영상 생성 방법은, 소정의 제 1 노출 시간 보다 긴 제 2 노출 시간, 제 1 노출 시간 보다 짧은 제 3 노출 시간, 및 제 1 노출 시간과 제 3 노출 시간 사이의 제 4 노출 시간을 설정하는 단계, 제 2 노출 시간에 기초한 제 1 영상과 제 4 노출 시간에 기초한 제 2 영상을 획득하는 단계, 및 제 3 노출 시간과 제 4 노출 시간에 기초하여 제 2 영상의 다이나믹 레인 지를 조절하는 단계를 포함할 수 있다.
또한, 본 발명의 다른 양상에 따라, 고대비 영상 생성 방법은, 제 1 영상과 제 2 영상의 움직임 발생 영역을 검출하고, 검출된 움직임 발생 영역에 기초하여 제 1 영상의 움직임을 보정하는 단계, 및 다이나믹 레인지가 조절된 제 2 영상과 움직임이 보정된 제 1 영상을 합성하는 단계를 더 포함할 수 있다.
또한, 본 발명의 일 양상에 따라, 제 1 노출 시간은, 촬영 환경에 따라 자동으로 설정된 자동 노출 시간(auto exposure time)에 기초하여 정의될 수 있다.
또한, 본 발명의 일 양상에 따라, 제 2 영상의 다이나믹 레인지는, 제 3 노출 시간과 제 4 노출 시간 간의 노출 시간 비율을 이용하여 제 3 노출 시간에 기초한 영상의 다이나믹 레인지와 실질적으로 동일하게 조절되는 것이 가능하다.
개시된 내용에 의하면, 중간 노출 시간에 대응되는 영상의 다이나믹 레인지가 상대적으로 짧은 노출 시간에 대응되는 영상의 다이나믹 레인지로 변환되고, 다이나믹 레인지가 변환되어 짧은 노출 시간에 대응되는 영상이 상대적으로 긴 노출 시간에 대응되는 영상과 합성되므로 고대비를 갖는 영상을 생성하는 것이 가능하다.
또한, 휘도 분포를 일치시키고 움직임 발생 영역을 교체하는 방식으로 움직임 보정이 이루어지기 때문에, 영상 합성 시 불일치를 간편하게 제거할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 예를 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 영상 획득 장치를 도시한다.
도 1에서, 영상 획득 장치(100)는 렌즈(101), 이미지 센서(102), 아날로그-디지털 컨버터(ADC)(103), ISP 모듈(104), 메모리(105), 및 디스플레이부(106)를 포함한다.
피사체로부터 반사된 빛은 렌즈(101)를 거쳐 이미지 센서(102)로 입사된다. 이미지 센서(102)는 입사된 빛을 감지하고 감지된 빛에 대응되는 영상 신호를 출력한다. 이미지 센서(102)는 Charge-Coupled Device(CCD) 또는 Complemetary Metal-Oxide Semiconductor(CMOS)와 같은 고체 촬상 소자가 될 수 있다. 이미지 센서(102)로부터 출력된 영상 신호는 ADC(104)를 통해 디지털 영상 신호로 변환된다. 변환된 디지털 영상 신호는 ISP 모듈(104)로 입력된다. ISP(image signal processing) 모듈(104)은 수신된 영상 신호에 대해 color interpolation, color correction, Gamma correction, auto white balancing 등의 영상 처리를 수행한다. IPS 모듈(104)을 거친 영상 신호는 메모리(105)에 저장되거나 디스플레이부(106)를 통해 사용자에게 표시된다.
이미지 센서(102)로부터 출력된 영상 신호는 10bits 이상의 high bit depth 데이터로서 그 신호의 크기가 노출 시간에 선형적으로 비례할 수 있다.
그런데, ISP 모듈(104)은 수신된 신호에 대해 color interpolation, color correction, Gamma correction, auto white balancing 등의 비-선형 처리를 하므로, 이미지 센서(102)로부터 출력된 영상 신호가 ISP 모듈(104)로 들어가면 원래의 선형 특성을 잃어버리고 비-선형 특성을 나타내게 된다.
또한, ISP 모듈(104)은 수신된 데이터를 저장 또는 표시에 적합한 8bit 데이터로 변환하여 출력하기 때문에, 10bits 이상의 high bit depth 데이터인 이미지 센서(102)의 영상 신호에서 데이터 손실이 발생할 수도 있다.
따라서, ISP 모듈(104)이 고대비 영상을 생성하기 위해, 노출 시간이 상이한 두 개의 영상을 합성하는 경우, 데이터 손실 및 비-선형 특성 증가로 인해 영상의 디테일(detail)이 줄어들 여지가 있다.
본 발명의 일 실시 예에 따른 고대비(HDR) 영상 생성 장치의 일부의 구성은 이러한 ISP 모듈(104)의 전단에서 이미지 센서(102)의 영상 신호를 전처리(pre-processing)하는 것이 가능하다.
또한, 본 발명의 일 실시 예에 따른 고대비(HDR) 영상 생성 장치의 또 다른 일부의 구성은 이미지 센서(102), 이미지 센서(102)를 제어하기 위한 모듈 또는 ISP 모듈(104)의 일부를 구성할 수도 있다.
도 2는 본 발명의 일 실시 예에 따른 고대비(HDR) 영상 생성 장치를 도시한다.
도 2에서, 고대비 영상 생성 장치(200)는 노출 시간 설정부(201), 영상 획득부(202), 다이나믹 레인지 조절부(203), 영상 보정부(204), 및 영상 합성부(205)를 포함할 수 있다.
노출 시간 설정부(201)는 카메라가 어떤 대상을 촬영할 때의 노출 시간을 설정한다. 노출 시간(exposure time, ET)이란 이미지 센서(102)가 빛에 노출되는 시 간이 될 수 있으며, 셔터 스피드, 조리개 수치, ISO 감도 등에 의존할 수 있다.
노출 시간 설정부(201)는 주변의 광량이 어떠한지 또는 촬영 모드는 무엇인지 등을 판단한 후, 최적의 사진이 촬영될 수 있도록 하는 노출 시간을 자동으로 설정한다. 본 실시 예에서, 주변의 환경 정보에 기초하여 자동으로 설정된 노출 시간을 자동 노출 시간(auto exposure time, AET)이라고 지칭한다.
자동 노출 시간(AET)을 설정하는 방법으로는 다양한 방법이 이용될 수 있다. 예컨대, 노출 시간 설정부(201)는 촬영 전 프리뷰 모드로 디스플레이부(106)에 표시되는 영상의 휘도 분포를 참조하여 자동 노출 시간(AET)을 결정하는 것이 가능하다.
노출 시간 설정부(201)는 자동 노출 시간(AET) 외에도 장 노출 시간(long exposure time, LET), 단 노출 시간(short exposure time, SET), 및 기준 노출 시간(reference exposure time, RET)을 설정한다. 장 노출 시간(LET)은 자동 노출 시간(AET)보다 상대적으로 긴 노출 시간이 될 수 있다. 단 노출 시간(SET)은 자동 노출 시간(AET)보다 상대적으로 짧은 노출 시간이 될 수 있다. 기준 노출 시간(RET)은 단 노출 시간(SET)과 자동 노출 시간(AET) 사이의 임의의 노출 시간이 될 수 있다.
노출 시간 설정부(201)에서 설정된 각각의 노출 시간은 촬영 제어부(206)로 전달되며, 촬영 제어부(206)는 촬영 시 설정된 노출 시간을 참조하여 셔터 스피드, 조리개 개방 정도를 제어한다.
영상 획득부(202)는 상이한 노출 시간에서 촬영된 2 이상의 영상을 획득한 다. 예컨대, 영상 획득부(202)는 도 1의 이미지 센서(102) 및/또는 이미지 센서(102)로부터 획득된 영상을 프레임 별로 저장하는 이미지 버퍼 등에 대응될 수 있다.
영상 획득부(202)는 장 노출 시간(LET)에서 촬영된 제 1 영상(이하, LET영상)과 기준 노출 시간(RET)에서 촬영된 제 2 영상(이하, RET 영상)을 획득한다. 예를 들어, 노출 시간 설정부(201)가 자동 노출 시간(AET), 장 노출 시간(LET), 단 노출 시간(SET), 및 기준 노출 시간(RET)을 설정하면, 촬영 제어부(206)가 설정된 노출 시간에 따라 촬영 환경을 제어하여 영상 획득부(202)가 LET 영상 및 RET 영상을 얻도록 하는 것이 가능하다.
다이나믹 레인지 조절부(203)는 RET 영상의 다이나믹 레인지를 조절한다. 다이나믹 레인지(dynamic range, DR)란 어떤 영상에서 가장 밝은 부분과 가장 어두운 부분의 밝기 비례를 말한다.
다이나믹 레인지 조절부(203)는 단 노출 시간(SET)과 기준 노출 시간(RET) 간의 노출 시간 비율(r)을 이용하여 RET 영상의 다이나믹 레인지가 SET 영상의 다이나믹 레인지와 동일해지도록 조절하는 것이 가능하다. 여기서 SET 영상이란 단 노출 시간(SET)에서 촬영되었다고 가정한 가상의 영상이 될 수 있다. 예컨대, 다이나믹 레인지 조절부(203)의 다이나믹 레인지 조절을 구체적인 수식으로 살펴보면 다음과 같다.
IRET`(p) = IRET(p) * 1/r
수학식 1에서, IRET(p)는 RET 영상의 각 픽셀에 관한 휘도 값이 될 수 있고, r은 단 노출 시간(SET)과 기준 노출 시간(RET) 간의 비율이 될 수 있고, IRET`(p)는 다이나믹 레인지가 조절된 RET 영상의 각 픽셀에 관한 휘도 값이 될 수 있다. 즉, RET 영상의 다이나믹 레인지가 SET 영상의 다이나믹 레인지와 동일한 레벨에 분포하도록 변환되는 것을 알 수 있다. 여기서 다이나믹 레인지가 변환된다 함은 어떤 영상의 표현 가능한 휘도 레벨의 최소 값과 최대 값 간의 차이는 유지한 채로 각각의 최소 값과 최대 값이 변환되는 것을 의미한다. 수학식 1을 참조하면, 다이나믹 레인지 조절부(203)는 RET 영상의 각 픽셀에 관한 휘도 레벨을 조절하여 다이나믹 레인지를 상위 레벨로 넓히는 것이 가능하다.
즉, SET 영상에 비해 상대적으로 노출시간이 긴 RET 영상에서 고휘도 영역에 해당하는 픽셀은 포화될 가능성이 높다. 이 경우 ISP 모듈(예컨대, 104)에 의한 데이터 변환 및 양자화 과정을 통해 데이터 손실이 발생하고 고휘도 영역에서 포화되는 픽셀의 수가 늘어나 전체 디테일이 감소될 수 있다. 픽셀이 포화되어 디테일이 감소되는 만큼 다이나믹 레인지가 줄어들게 되는데, 수학식 1과 같이, IPS 모듈(104)로 영상이 입력되기 전에, 영상의 휘도를 낮춰주게(1/r) 되면 포화될 가능성이 있는 픽셀의 휘도 값이 포화되지 않게 되므로 고휘도의 디테일을 더 많이 표현할 수 있어 다이나믹 레인지를 넓힐 수가 있다.
영상 보정부(204)는 LET 영상과 RET 영상 간의 움직임을 보정한다.
예컨대, 영상 보정부(204)는 LET 영상과 RET 영상의 휘도 분포를 일치시키고, 움직임 발생 영역을 검출한 후, LET 영상의 움직임 발생 영역을 RET 영상의 움직임 발생 영역으로 대체하는 것이 가능하다. 여기서 움직임 발생 영역이란 LET 영상 획득 시점과 RET 영상 획득 시점 사이에 피사체 또는 카메라가 움직여서 영상 간 불일치가 발생하는 영역이 될 수 있다. 즉, 영상 보정부(204)는 LET 영상에서 움직임이 발생한 부분을 RET 영상의 대응 부분으로 교체하여 보정된 LET 영상을 출력할 수 있다.
영상 합성부(205)는 다이나믹 레인지가 조절된 RET 영상(즉, RET` 영상)과 움직임이 보정된 LET 영상(즉, LET` 영상)을 합성한다. 영상 합성부(205)에 의해 합성된 영상은 high dynamic range(HDR) 영상으로 사용자에게 제공될 수 있다.
도 3은 본 실시 예에 따른 다이나믹 레인지를 도시한다.
도 3을 참조하여 본 실시 예에 따른 HDR 영상 생성 원리를 설명하면 다음과 같다.
도 3에서, 참조번호 301, 302, 및 303은 각 노출 시간 별 다이나믹 레인지를 나타낸다. 다이나믹 레인지는 표현 가능한 휘도 레벨의 최소 값과 최대 값을 이용하여 표현될 수 있다. 이 때, 다이나믹 레인지의 절대적인 크기는 각 노출 시간 별로 큰 차이가 없음을 알 수 있다. 그러나 노출 시간에 따라 표현 가능한 휘도 레벨의 최소 값과 최대 값은 달라지기 때문에, 단 노출 시간(SET)에서 얻어진 영상의 다이나믹 레인지(301)가 장 노출 시간(LET)에서 얻어진 영상의 다이나믹 레인지(303)보다 상위 레벨에 분포할 수 있다.
따라서, 단 노출 시간(SET)에서 얻어진 영상과 장 노출 시간(LET)에서 얻어진 영상을 합성하면, 참조번호 304와 같이 확장된 다이나믹 레인지를 갖는 영상을 얻는 것이 가능하다. 그렇지만, 노출 시간이 짧아질수록 영상 내의 잡음이 증가하기 때문에 짧은 노출 시간의 영상을 합성에 이용하는 경우 합성 영상의 화질이 떨어질 수가 있다. 또한, 단 노출 시간(SET)에서 얻어진 영상과 장 노출 시간(LET)에서 얻어진 영상 간의 다이나믹 레인지가 많은 부분에서 겹쳐지는 경우, 움직임 보정 성능이 떨어질 수가 있다.
앞서 살펴보았듯이, 본 실시 예에 따른 HDR 영상 생성 장치는, 상대적으로 노출시간이 긴 RET 영상을 이용함으로써 움직임 보정 성능을 높이고 화질 저하를 방지하는 것이 가능하다. 다시 말해, RET 영상의 다이나믹 레인지(즉, 302)의 분포 레벨을 SET 영상의 다이나믹 레인지(즉, 301)의 분포 레벨과 동일하게 조절하였기 때문에, 최종 합성 영상의 다이나믹 레인지를 참조번호 304와 같이 확장시키고 화질 저하 현상도 줄일 수가 있다.
도 4는 본 발명의 일 실시 예에 따른 노출 시간 별 영상을 도시한다.
도 4에서, 참조번호 401은 노출 시간을 설정하는 과정을 설명하는 부분이고, 참조번호 402는 영상이 생성되는 과정을 설명하는 부분이다.
먼저, 참조번호 401을 살펴보면, 자동 노출 시간(AET)은 최적의 영상이 얻어질 수 있도록 주변 환경 정보를 참조하여 자동으로 설정된다. 자동 노출 시간(AET)이 설정되면, 자동 노출 시간(AET)에 임의의 값(예컨대, m 또는 n)을 더하고 빼서 장 노출 시간(LET)과 단 노출 시간(SET)을 설정한다. 이 때, 더해지거나 빼지는 임의의 값은 같을 수도 있고 다를 수도 있다. 또한, 사용자가 직접 m 또는 n 값을 결정하거나 주변 환경 정보에 기초하여 결정되는 것도 가능하다. 장 노출 시간(LET)과 단 노출 시간(SET)이 설정되면, 기준 노출 시간(RET)을 설정한다. 기준 노출 시간(RET)은 단 노출 시간(SET)과 자동 노출 시간(AET) 사이의 중간 값 또는 그 사이의 임의의 값이 될 수 있다.
다음으로, 참조번호 402를 살펴보면, SET 영상, RET 영상, 및 LET 영상은 각각의 노출 시간에 따라 촬영된 영상이 될 수 있다. SET 영상의 경우, 실제 촬영된 영상은 아니고 단 노출 시간(SET)에서 촬영되었다고 가정한 가상의 영상이 될 수 있다.
노출 시간 설정부(201)가 참조번호 401과 같이 노출 시간을 설정하여 각각의 영상이 얻어지면, 다이나믹 레인지 조절부(203)는 단 노출 시간(SET)과 기준 노출 시간(RET) 간의 노출 시간 비율을 이용하여 RET 영상의 다이나믹 레인지를 조절하고 RET` 영상을 출력한다.
또한, 영상 보정부(204)는 RET 영상 및 LET 영상에서 움직임을 검출하고 검출된 움직임을 보정하여 LET` 영상을 출력한다.
이후 영상 합성부(205)에서 RET` 영상과 LET` 영상이 합성되는데, RET` 영상의 경우 그 다이나믹 레인지가 SET 영상 수준으로 변환되었고, LET` 영상의 경우 RET 영상과의 움직임 불일치 부분이 제거되었으므로 RET` 영상과 LET` 영상을 합성하면 확장된 다이나믹 레인지를 가지면서도 영상 간 불일치가 제거된 HDR 영상을 획득할 수 있음을 알 수 잇다.
도 5는 본 발명의 일 실시 예에 따른 영상 보정부를 도시한다.
도 5를 참조하면, 영상 보정부(500)는 밝기 보정부(501), 움직임 영역 검출부(502), 및 움직임 보정부(503)를 포함할 수 있다.
밝기 보정부(501)는 LET 영상과 RET 영상 간의 휘도 분포를 일치시킨다. 예컨대, 밝기 보정부(501)는 LET 영상을 기준으로, RET 영상의 휘도 분포를 LET 영상의 휘도 분포로 변환하는 것이 가능하다.
움직임 검출부(502)는 밝기가 일치된 LET 영상과 RET 영상 간의 움직임 발생 영역을 검출한다. 예컨대, 움직임 검출부(502)는 밝기가 일치된 LET 영상과 RET 영상의 차 영상(differential image)을 구한 후, 구해진 차 영상을 이용하여 움직임 발생 영역을 검출하는 것이 가능하다.
또한, 움직임 검출부(502)는 차 영상을 구하기 전에, 밝기가 일치된 LET 영상과 RET 영상 간의 글로벌 모션(즉, 프레임 전체가 이동함에 따라 발생한 inter-frame 모션)을 추정하고 영상의 위치를 정합시키는 것도 가능하다.
움직임 보정부(503)는 검출된 움직임 발생 영역을 이용하여 LET 영상의 움직임을 보정하고 움직임이 보정된 LET` 영상을 출력한다.
도 6은 본 발명의 일 실시 예에 따른 영상 보정부의 동작을 도시한다.
도 6에서, 참조번호 601 및 602는 각각 밝기 정합 및 글로벌 위치 정합이 이루어진 LET 영상과 RET 영상을 나타낸다. 그리고 참조번호 603 및 604는 움직임 발생 영역을 나타낸다.
예컨대, t0 시점에 영상 601을 획득하고 t1 시점에 영상 602를 획득한 경우, t0와 t1 사이에 피사체(605)가 움직였다고 가정하면, 피사체(605)의 부근의 영역이 움직임 발생 영역(603, 604)이 될 수 있다.
이러한 경우, 움직임 검출부(502)는 603 또는 604와 같은 움직임 발생 영역을 검출하고, 움직임 보정부(503)는 영상 601의 움직임 발생 영역 603에 대응되는 각 픽셀을 영상 602의 움직임 발생 영역 604의 각 픽셀로 교체하는 것이 가능하다.
도 7은 본 발명의 일 실시 예에 따른 고대비(HDR) 영상 생성 방법을 도시한다.
도 7을 참조하면, 먼저 노출 시간을 설정한다(701). 설정되는 노출 시간으로는, 자동 노출 시간(AET), 장 노출 시간(LET), 단 노출 시간(SET), 및 기준 노출 시간(RET)이 될 수 있다. 예컨대, 노출 시간 설정부(201)가 도 3과 같은 노출 시간을 설정하는 것이 가능하다.
그리고, 노출 시간이 상이한 두 개의 영상을 획득한다(702). 획득되는 영상으로는, 장 노출 시간(LET)에서 촬영된 LET 영상과 기준 노출 시간(RET)에서 촬영된 RET 영상이 될 수 있다. 예컨대, 촬영 제어부(206)가 설정된 노출 시간에 따라 영상 획득부(202) 또는 이미지 센서(102), 셔터 스피드, 조리개 수치 등을 제어하여 LET 영상과 RET 영상이 획득되도록 하는 것이 가능하다.
그리고, RET 영상의 다이나믹 레인지를 조절한다(703). 예를 들어, 다이나믹 레인지 조절부(203)가, 전술한 수학식 1과 같이, RET 영상의 다이나믹 레인지를 LET 영상의 다이나믹 레인지와 동일한 수준으로 변환하는 것이 가능하다.
그리고, LET 영상의 움직임을 보정한다(704). 예를 들어, 영상 보정부(204)가, 도 6과 같이, LET 영상의 움직임 발생 영역을 RET 영상의 움직임 발생 영역으로 대체하는 것이 가능하다.
그리고, 다이나믹 레인지가 조절된 RET 영상과 움직임이 보정된 LET 영상을 합성한다(705). 예컨대, 영상 합성부(205)가 RET` 영상과 LET` 영상을 합성하여 고대비 영상을 출력하는 것이 가능하다.
한편, 본 발명의 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서 본 발명의 실시를 위한 구체적인 예를 살펴보았다. 전술한 실시 예들은 본 발명을 예시적으로 설명하기 위한 것으로 본 발명의 권리범위가 특정 실시 예에 한정되지 아니할 것이다.
도 1은 본 발명의 일 실시 예에 따른 영상 획득 장치를 도시한다.
도 2는 본 발명의 일 실시 예에 따른 고대비 영상 생성 장치를 도시한다.
도 3은 본 발명의 일 실시 예에 따른 고대비 영상 생성 장치의 동작 원리를 도시한다.
도 4는 본 발명의 일 실시 예에 따른 노출 시간 및 생성 영상을 도시한다.
도 5는 본 발명의 일 실시 예에 따른 영상 보정부를 도시한다.
도 6은 본 발명의 일 실시 예에 따른 영상 보정부의 동작을 도시한다.
도 7은 본 발명의 일 실시 예에 따른 고대비 영상 생성 방법을 도시한다.

Claims (14)

  1. 소정의 제 1 노출 시간 보다 긴 제 2 노출 시간, 상기 제 1 노출 시간 보다 짧은 제 3 노출 시간, 및 상기 제 1 노출 시간과 상기 제 3 노출 시간 사이의 제 4 노출 시간을 설정하는 노출 시간 설정부;
    상기 제 2 노출 시간에 기초한 제 1 영상과 상기 제 4 노출 시간에 기초한 제 2 영상을 획득하는 영상 획득부; 및
    상기 제 3 노출 시간과 상기 제 4 노출 시간에 기초하여 상기 제 2 영상의 다이나믹 레인지를 조절하는 다이나믹 레인지 조절부; 를 포함하는 고대비 영상 생성 장치.
  2. 제 1 항에 있어서,
    상기 제 2 영상의 다이나믹 레인지는, 상기 제 3 노출 시간에 기초한 영상의 다이나믹 레인지와 실질적으로 동일하게 조절되는, 고대비 영상 생성 장치.
  3. 제 1 항에 있어서,
    상기 제 2 영상의 다이나믹 레인지는, 상기 제 3 노출 시간과 상기 제 4 노출 시간 간의 노출 시간 비율에 기초하여 조절되는, 고대비 영상 생성 장치.
  4. 제 3 항에 있어서,
    상기 제 2 영상의 다이나믹 레인지는, 상기 제 2 영상의 각 픽셀에 관한 휘도 값과 상기 노출 시간 비율의 곱에 기초하여 조절되는, 고대비 영상 생성 장치.
  5. 제 1 항에 있어서,
    상기 제 1 영상과 상기 제 2 영상의 움직임 발생 영역을 검출하고, 상기 검출된 움직임 발생 영역에 기초하여 상기 제 1 영상의 움직임을 보정하는 영상 보정부; 및
    상기 다이나믹 레인지가 조절된 제 2 영상과 상기 움직임이 보정된 제 1 영상을 합성하는 영상 합성부; 를 더 포함하는 고대비 영상 생성 장치.
  6. 제 5 항에 있어서,
    상기 영상 보정부는, 상기 제 1 영상과 상기 제 2 영상의 휘도 분포를 일치시키고, 상기 움직임 발생 영역을 검출하고, 상기 제 1 영상의 움직임 발생 영역에 대응되는 부분을 상기 제 2 영상의 움직임 발생 영역에 대응되는 부분으로 교체하는, 고대비 영상 생성 장치.
  7. 제 1 항에 있어서,
    상기 제 1 노출 시간은, 촬영 환경에 따라 자동으로 설정된 자동 노출 시간(auto exposure time)에 기초하여 정의되는, 고대비 영상 생성 장치.
  8. 소정의 제 1 노출 시간 보다 긴 제 2 노출 시간, 상기 제 1 노출 시간 보다 짧은 제 3 노출 시간, 및 상기 제 1 노출 시간과 상기 제 3 노출 시간 사이의 제 4 노출 시간을 설정하는 단계;
    상기 제 2 노출 시간에 기초한 제 1 영상과 상기 제 4 노출 시간에 기초한 제 2 영상을 획득하는 단계; 및
    상기 제 3 노출 시간과 상기 제 4 노출 시간에 기초하여 상기 제 2 영상의 다이나믹 레인지를 조절하는 단계; 를 포함하는 고대비 영상 생성 방법.
  9. 제 8 항에 있어서,
    상기 제 2 영상의 다이나믹 레인지는, 상기 제 3 노출 시간에 기초한 영상의 다이나믹 레인지와 실질적으로 동일하게 조절되는, 고대비 영상 생성 방법.
  10. 제 8 항에 있어서,
    상기 제 2 영상의 다이나믹 레인지는, 상기 제 3 노출 시간과 상기 제 4 노출 시간 간의 노출 시간 비율에 기초하여 조절되는, 고대비 영상 생성 방법.
  11. 제 10 항에 있어서,
    상기 제 2 영상의 다이나믹 레인지는, 상기 제 2 영상의 각 픽셀에 관한 휘도 값과 상기 노출 시간 비율의 곱에 기초하여 조절되는, 고대비 영상 생성 방법.
  12. 제 8 항에 있어서,
    상기 제 1 영상과 상기 제 2 영상의 움직임 발생 영역을 검출하고, 상기 검출된 움직임 발생 영역에 기초하여 상기 제 1 영상의 움직임을 보정하는 단계; 및
    상기 다이나믹 레인지가 조절된 제 2 영상과 상기 움직임이 보정된 제 1 영상을 합성하는 단계; 를 더 포함하는 고대비 영상 생성 방법.
  13. 제 12 항에 있어서,
    상기 움직임을 보정하는 단계는,
    상기 제 1 영상과 상기 제 2 영상의 휘도 분포를 일치시키는 단계;
    상기 제 1 영상과 상기 제 2 영상의 상기 움직임 발생 영역을 검출하는 단계; 및
    상기 제 1 영상의 움직임 발생 영역에 대응되는 부분을 상기 제 2 영상의 움직임 발생 영역에 대응되는 부분으로 교체하는 단계; 를 포함하는 고대비 영상 생성 방법.
  14. 제 8 항에 있어서,
    상기 제 1 노출 시간은, 촬영 환경에 따라 자동으로 설정된 자동 노출 시간(auto exposure time)에 기초하여 정의되는, 고대비 영상 생성 방법.
KR1020090089779A 2009-09-22 2009-09-22 고대비 영상 생성 장치 및 방법 KR101604068B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090089779A KR101604068B1 (ko) 2009-09-22 2009-09-22 고대비 영상 생성 장치 및 방법
US12/885,713 US8508619B2 (en) 2009-09-22 2010-09-20 High dynamic range image generating apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090089779A KR101604068B1 (ko) 2009-09-22 2009-09-22 고대비 영상 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110032344A true KR20110032344A (ko) 2011-03-30
KR101604068B1 KR101604068B1 (ko) 2016-03-17

Family

ID=43756322

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090089779A KR101604068B1 (ko) 2009-09-22 2009-09-22 고대비 영상 생성 장치 및 방법

Country Status (2)

Country Link
US (1) US8508619B2 (ko)
KR (1) KR101604068B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150035315A (ko) * 2013-09-27 2015-04-06 삼성전자주식회사 하이 다이나믹 레인지 영상 생성 방법 및, 그에 따른 장치, 그에 따른 시스템
US9460492B2 (en) 2013-05-10 2016-10-04 Hanwha Techwin Co., Ltd. Apparatus and method for image processing
KR20160143138A (ko) * 2015-06-04 2016-12-14 엘지전자 주식회사 카메라 및 그 제어 방법

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8760537B2 (en) * 2010-07-05 2014-06-24 Apple Inc. Capturing and rendering high dynamic range images
US8581995B2 (en) 2011-01-25 2013-11-12 Aptina Imaging Corporation Method and apparatus for parallax correction in fused array imaging systems
US8810663B2 (en) * 2011-01-27 2014-08-19 Aptina Imaging Corporation Methods for motion correction for high-dynamic-range imaging systems
US8817153B2 (en) 2011-07-25 2014-08-26 Aptina Imaging Corporation Column parallel readout image sensors with shared column analog-to-digital converter circuitry
US20130044237A1 (en) * 2011-08-15 2013-02-21 Broadcom Corporation High Dynamic Range Video
KR101843450B1 (ko) * 2011-08-23 2018-03-29 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
JP5797072B2 (ja) * 2011-09-22 2015-10-21 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム
JP5898466B2 (ja) * 2011-11-11 2016-04-06 キヤノン株式会社 撮像装置、その制御方法、及びプログラム
JP5981769B2 (ja) * 2012-05-18 2016-08-31 キヤノン株式会社 撮像装置及び露出制御方法
US9087391B2 (en) * 2012-12-13 2015-07-21 Google Inc. Determining an image capture payload burst structure
US8866927B2 (en) 2012-12-13 2014-10-21 Google Inc. Determining an image capture payload burst structure based on a metering image capture sweep
US8866928B2 (en) 2012-12-18 2014-10-21 Google Inc. Determining exposure times using split paxels
US9247152B2 (en) 2012-12-20 2016-01-26 Google Inc. Determining image alignment failure
US9686537B2 (en) 2013-02-05 2017-06-20 Google Inc. Noise models for image processing
US9117134B1 (en) 2013-03-19 2015-08-25 Google Inc. Image merging with blending
US9066017B2 (en) 2013-03-25 2015-06-23 Google Inc. Viewfinder display based on metering images
US9131201B1 (en) 2013-05-24 2015-09-08 Google Inc. Color correcting virtual long exposures with true long exposures
US9077913B2 (en) 2013-05-24 2015-07-07 Google Inc. Simulating high dynamic range imaging with virtual long-exposure images
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
JP6263623B2 (ja) 2013-12-06 2018-01-17 華為終端（東莞）有限公司 画像生成方法及びデュアルレンズ装置
US9380229B2 (en) 2014-02-28 2016-06-28 Samsung Electronics Co., Ltd. Digital imaging systems including image sensors having logarithmic response ranges and methods of determining motion
KR102277178B1 (ko) * 2015-03-09 2021-07-14 삼성전자 주식회사 카메라 모듈을 포함하는 전자 장치 및 전자 장치의 이미지 처리 방법
KR102368625B1 (ko) * 2015-07-23 2022-03-02 삼성전자주식회사 디지털 촬영 장치 및 그 방법
US9819889B2 (en) * 2015-08-07 2017-11-14 Omnivision Technologies, Inc. Method and system to implement a stacked chip high dynamic range image sensor
CN105611187A (zh) * 2015-12-22 2016-05-25 歌尔声学股份有限公司 一种基于双摄像头的图像宽动态补偿方法及系统
US10992876B2 (en) * 2016-10-18 2021-04-27 Texas Instruments Incorporated WDR imaging with LED flicker mitigation
KR102495754B1 (ko) * 2016-10-25 2023-02-02 한화테크윈 주식회사 광역 영상의 동적 범위를 압축하는 영상 처리 장치 및 방법
WO2018190649A1 (en) * 2017-04-12 2018-10-18 Samsung Electronics Co., Ltd. Method and apparatus for generating hdr images
CN110213484B (zh) * 2019-05-31 2021-03-12 维沃移动通信有限公司 一种拍照方法、终端设备及计算机可读存储介质
KR20210053377A (ko) 2019-11-01 2021-05-12 삼성전자주식회사 이미지 센서 및 이미지 신호 처리기를 포함하는 이미지 장치, 및 이미지 센서의 동작 방법
WO2021138869A1 (en) * 2020-01-09 2021-07-15 Huawei Technologies Co., Ltd. Image sensor and device comprising an image sensor
US20230269486A1 (en) * 2022-02-24 2023-08-24 Qualcomm Incorporated Multi-frame auto exposure control (aec)

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3630905B2 (ja) * 1997-02-28 2005-03-23 キヤノン株式会社 撮像方法及び撮像装置
JP4282113B2 (ja) * 1998-07-24 2009-06-17 オリンパス株式会社 撮像装置および撮像方法、並びに、撮像プログラムを記録した記録媒体
JP3731729B2 (ja) 2000-12-20 2006-01-05 松下電器産業株式会社 画像合成回路
JP4511066B2 (ja) 2001-03-12 2010-07-28 オリンパス株式会社 撮像装置
US7030997B2 (en) * 2001-09-11 2006-04-18 The Regents Of The University Of California Characterizing aberrations in an imaging lens and applications to visual testing and integrated circuit mask analysis
JP2003179819A (ja) 2001-12-12 2003-06-27 Matsushita Electric Ind Co Ltd 撮像装置
JP4105933B2 (ja) 2002-11-08 2008-06-25 ペンタックス株式会社 デジタルカメラおよび画像生成方法
EP1924966B1 (en) * 2005-08-08 2009-04-29 MEP Imaging Technologies Ltd. Adaptive exposure control
KR100810155B1 (ko) 2006-04-04 2008-03-06 엠텍비젼 주식회사 다이내믹 레인지 넓힌 후 베이어 이미지를 출력할 수 있는이미지 센서
KR100763656B1 (ko) 2006-06-02 2007-10-11 엠텍비젼 주식회사 이미지 센서 및 이미지 처리 방법
KR100827238B1 (ko) * 2006-08-21 2008-05-07 삼성전기주식회사 고화질 영상을 위한 영상 표시 방법 및 장치
KR100843087B1 (ko) * 2006-09-06 2008-07-02 삼성전자주식회사 영상 생성 장치 및 방법
US8599282B2 (en) 2007-04-26 2013-12-03 Samsung Electronics Co., Ltd. Method and apparatus for generating image
JP4438847B2 (ja) 2007-09-28 2010-03-24 ソニー株式会社 撮像装置、撮像制御方法及び撮像制御プログラム
US8724921B2 (en) * 2008-05-05 2014-05-13 Aptina Imaging Corporation Method of capturing high dynamic range images with objects in the scene
WO2010018677A1 (ja) * 2008-08-11 2010-02-18 本田技研工業株式会社 画素、画素の製造方法、撮像装置および画像形成方法
JP5458865B2 (ja) * 2009-09-18 2014-04-02 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2011097141A (ja) * 2009-10-27 2011-05-12 Renesas Electronics Corp 撮像装置、撮像装置の制御方法、及びプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9460492B2 (en) 2013-05-10 2016-10-04 Hanwha Techwin Co., Ltd. Apparatus and method for image processing
KR20150035315A (ko) * 2013-09-27 2015-04-06 삼성전자주식회사 하이 다이나믹 레인지 영상 생성 방법 및, 그에 따른 장치, 그에 따른 시스템
KR20160143138A (ko) * 2015-06-04 2016-12-14 엘지전자 주식회사 카메라 및 그 제어 방법

Also Published As

Publication number Publication date
US20110069200A1 (en) 2011-03-24
US8508619B2 (en) 2013-08-13
KR101604068B1 (ko) 2016-03-17

Similar Documents

Publication Publication Date Title
KR101604068B1 (ko) 고대비 영상 생성 장치 및 방법
US9699387B2 (en) Image processing device for processing pupil-divided images obtained through different pupil regions of an imaging optical system, control method thereof, and program
US20140198226A1 (en) Apparatus and method for processing image
WO2011151867A1 (ja) 撮像装置、撮像方法およびプログラム
JP2012235332A (ja) 撮像装置、および撮像装置制御方法、並びにプログラム
US9589339B2 (en) Image processing apparatus and control method therefor
KR20080076004A (ko) 촬상장치 및 그 다이나믹 레인지 확장방법
US9277135B2 (en) Image-pickup apparatus, control method for the same, and non-transitory computer-readable storage medium
CN104221364B (zh) 成像装置和图像处理方法
KR102127306B1 (ko) 움직임 검출 장치 및 움직임 검출 방법
US9892497B2 (en) Image processing apparatus, imaging apparatus, and image processing method
JP5358344B2 (ja) 撮像装置及び撮像方法
JP2015144475A (ja) 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体
JP2023106486A (ja) 撮像装置及びその制御方法並びにプログラム
KR20100040651A (ko) 높은 동적 대역(ｈｄｒ) 영상 생성방법 및 장치
JP7479831B2 (ja) 撮像装置およびその制御方法、プログラム
JP2012109849A (ja) 撮像装置
JP2014121079A (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP2001352552A (ja) 映像信号処理装置及び映像信号処理方法
JP5533752B2 (ja) 画像信号処理装置
JP6141129B2 (ja) 撮像装置、撮像装置の制御方法、及びコンピュータプログラム
US11270421B2 (en) Image processing apparatus and image processing method that reduce image noise, and storage medium
JP5754929B2 (ja) 画像処理装置及び画像処理方法
JP5721552B2 (ja) 撮像装置および画像合成方法
JP2007329621A (ja) 画像処理装置と画像処理方法、および画像信号処理プログラム。

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190221

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200225

Year of fee payment: 5