KR101551690B1 - 디지털 촬영장치, 그 제어방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체 - Google Patents

디지털 촬영장치, 그 제어방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체 Download PDF

Info

Publication number
KR101551690B1
KR101551690B1 KR1020090057723A KR20090057723A KR101551690B1 KR 101551690 B1 KR101551690 B1 KR 101551690B1 KR 1020090057723 A KR1020090057723 A KR 1020090057723A KR 20090057723 A KR20090057723 A KR 20090057723A KR 101551690 B1 KR101551690 B1 KR 101551690B1
Authority
KR
South Korea
Prior art keywords
data
image data
pixel
pixels
image
Prior art date
Application number
KR1020090057723A
Other languages
English (en)
Other versions
KR20110000293A (ko
Inventor
장순근
박래홍
민태홍
Original Assignee
삼성전자주식회사
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 서강대학교산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020090057723A priority Critical patent/KR101551690B1/ko
Priority to US12/823,386 priority patent/US8373767B2/en
Publication of KR20110000293A publication Critical patent/KR20110000293A/ko
Application granted granted Critical
Publication of KR101551690B1 publication Critical patent/KR101551690B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Abstract

본 발명은 다이나믹 레인지가 넓으면서도 계조가 우수한 이미지에 관한 데이터를 획득할 수 있는 디지털 촬영장치, 그 제어방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체를 위하여, (i) 노출이 상이하도록 노출을 증가시키며 제1이미지데이터 내지 제P이미지데이터를 획득하는 촬상소자와, (ii) 제j이미지데이터에 있어서, i번째 화소가 제1레벨 내지 제N레벨의 N개의 레벨 중 어느 한 레벨에 속하도록 휘도에 따라 분류하여 i번째 화소에 i번째 화소가 속하는 레벨인 레벨값 Li,j를 부여하되 각 레벨에 속하는 화소들의 개수가 균등하도록 모든 화소들을 분류하며, 제1이미지데이터 내지 제P이미지데이터 각각에 대해 분류하는 멀티레벨문턱맵 생성부와, (iii) 제1이미지데이터 내지 제P이미지데이터 중 적정 노출에서 획득한 이미지데이터를 제R이미지데이터라 할 시, 제j이미지데이터의 i번째 화소에 부과되는 움직임데이터 Mi,j를 획득하되, 제1이미지데이터 내지 제P이미지데이터 각각의 모든 화소에 부과되는 움직임데이터를 획득하는 움직임데이터 획득부와, (iv) 제j이미지데이터의 i번째 화소에 부과되는 제1가중치데이터 MEi,j를 획득하되, 제1이미지데이터 내지 제P이미지데이터 각각의 모든 화소에 부과되는 제1가중치데이터를 획득하는 제1가중치데이터 획득부와, (v) 제1가중치데이터 MEi,j를 부가하여 제1이미지데이터 내지 제P이미지데이터의 i번째 화소들의 데이터를 합성하여 최종이미지데이터의 i번째 화소의 데이터를 획득함으로써, 최종이미지데이터의 화소들의 데이 터를 획득하는 최종이미지데이터 획득부를 구비하는 것을 특징으로 하는 디지털 촬영장치를 제공한다.

Description

디지털 촬영장치, 그 제어방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체{Digital photographing apparatus, method for controlling digital photographing apparatus, and recording medium storing program to implement the method}
본 발명은 디지털 촬영장치, 그 제어방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체에 관한 것으로서, 더 상세하게는 다이나믹 레인지가 넓으면서도 계조가 우수한 이미지에 관한 데이터를 획득할 수 있는 디지털 촬영장치, 그 제어방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체에 관한 것이다.
일반적으로 디지털 촬영장치는 촬상소자에 입사한 광으로부터 데이터를 획득하여 이를 저장매체에 저장하거나 디스플레이부에 이미지를 디스플레이한다. 이러한 디지털 촬영장치는 통상적으로 촬영 당시의 광량조건 등에 따라 최적의 노출 정도를 자동으로 결정하여 적정 노출에서 촬상소자에 입사한 광으로부터 이미지데이터를 획득한다.
촬상소자가 생성한 이미지데이터로부터의 이미지의 품질은 다이나믹 레인지와 계조에 의해 결정된다. 이미지에서 가장 높은 휘도와 가장 낮은 휘도의 차이가 클수록 다이나믹 레인지가 넓다고 하며, 다이나믹 레인지가 넓을수록 다양한 휘도로 이미지를 표현할 수 있다. 그리고 이미지의 고휘도 영역과 저휘도 영역 사이에서 휘도가 급격하게 변하지 않고 부드럽게 변하여 다양한 휘도의 영역들이 존재할수록 계조가 우수하다고 한다.
그러나 디지털 촬영장치가 특정 노출에서 이미지데이터를 획득할 경우, 한정적인 범위 내에서 화소의 밝기 및 컬러를 나타낼 수밖에 없다는 문제점이 있었다. 예컨대 장노출의 경우 획득한 이미지데이터로부터의 이미지는 전체적으로 밝게 나타나 가장 낮은 휘도가 특정 휘도보다 크게 되며, 단노출의 경우 획득한 이미지데이터로부터의 이미지는 전체적으로 어둡게 나타나 가장 높은 휘도가 특정 휘도보다 낮게 되어 다이나믹 레인지가 좁아진다는 문제점이 있었다. 특히 어두운 실내의 일부분에 밝은 광원이 있는 상태 또는 역광의 상태 등에서는 매우 밝은 영역과 매우 어두운 영역이 동시에 존재하여, 이미지데이터를 획득할 시 피사체의 정보 및 계조가 손상된다는 문제점이 있었다.
본 발명은 상기와 같은 문제점을 포함하여 여러 문제점들을 해결하기 위한 것으로서, 다이나믹 레인지가 넓으면서도 계조가 우수한 이미지에 관한 데이터를 획득할 수 있는 디지털 촬영장치, 그 제어방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체를 제공하는 것을 목적으로 한다.
본 발명은, (i) 노출이 상이하도록 노출을 증가시키며 제1이미지데이터 내지 제P이미지데이터를 획득하는 촬상소자(P: 양의 정수)와, (ii) 제j이미지데이터에 있어서, i번째 화소가 제1레벨 내지 제N레벨의 N개의 레벨 중 어느 한 레벨에 속하도록 휘도에 따라 분류하여 i번째 화소에 i번째 화소가 속하는 레벨인 레벨값 Li,j를 부여하되 각 레벨에 속하는 화소들의 개수가 균등하도록 모든 화소들을 분류하며, 제1이미지데이터 내지 제P이미지데이터 각각에 대해 분류하는 멀티레벨문턱맵(multi-level threshold map) 생성부(N: 양의 정수)와, (iii) 제1이미지데이터 내지 제P이미지데이터 중 적정 노출에서 획득한 이미지데이터를 제R이미지데이터라 할 시, 제j이미지데이터의 i번째 화소에 부과되는 움직임데이터 Mi ,j를 하기 수학식 1에 따라 획득하되, 제1이미지데이터 내지 제P이미지데이터 각각의 모든 화소에 부과되는 움직임데이터를 획득하는 움직임데이터 획득부와, (iv) 제j이미지데이터의 i번째 화소에 부과되는 제1가중치데이터 MEi,j를 하기 수학식 2에 따라 획득하되, 제1이미지데이터 내지 제P이미지데이터 각각의 모든 화소에 부과되는 제1가중치데이터를 획득하는 제1가중치데이터 획득부와, (v) 제1가중치데이터 MEi,j를 부가하여 제1이미지데이터 내지 제P이미지데이터의 i번째 화소들의 데이터를 합성하여 최종이미지데이터의 i번째 화소의 데이터를 획득함으로써, 최종이미지데이터의 화소들의 데이터를 획득하는 최종이미지데이터 획득부를 구비하는 디지털 촬영장치를 제공한다.
Figure 112009039049772-pat00001
Figure 112009039049772-pat00002
이러한 본 발명의 다른 특징에 의하면, 상기 디지털 촬영장치의 응답함수를 f(x), 제j이미지데이터 획득시의 노출시간을 Δtj, 제j이미지데이터의 i번째 화소의 m채널 데이터를 zi,m,j, 제j이미지데이터에서 화소들의 m채널 데이터 중 최대값을 zmax,m,j, 최소값을 zmin,m,j라 할 시, 상기 최종이미지데이터 획득부는 하기 수학식 3에 따라 결정된 제2가중치 w(zi,m,j)를 이용하여 하기 수학식 4에 따라 i번째 화소의 m채널 데이터가 Ei,m인 최종이미지데이터를 획득하는 것으로 할 수 있다.
Figure 112009039049772-pat00003
Figure 112009039049772-pat00004
본 발명의 또 다른 특징에 의하면, 상기 멀티레벨문턱맵 생성부는 휘도가 가장 낮은 화소부터 제1레벨에 속하도록 하여 휘도가 가장 높은 화소가 제N레벨에 속하도록 분류하는 것으로 할 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 움직임데이터 획득부는, 제j이미지데이터의 i번째 화소에 부과되는 움직임데이터 Mi,j를 수학식 1에 따라 획득한 후, 제1이미지데이터 내지 제P이미지데이터 중 제R이미지데이터 외의 이미지데이터에 있어서, 0의 움직임데이터를 갖는 화소가 1의 움직임데이터를 갖는 화소들에 둘러싸여 있을 시 해당 0의 움직임데이터를 갖는 화소의 움직임데이터를 1로 수정하고, 1의 움직임데이터를 갖는 화소가 0의 움직임데이터를 갖는 화소들에 둘러싸여 있을 시 해당 1의 움직임데이터를 갖는 화소의 움직임데이터를 0으로 수정하여, 제j이미지데이터의 i번째 화소에 부과되는 움직임데이터 Mi,j를 획득하는 것으로 할 수 있다.
본 발명은 또한, (i) 노출이 상이하도록 노출을 증가시키며 제1이미지데이터 내지 제P이미지데이터를 획득하는 촬상소자(P: 양의 정수)와, (ii) 제j이미지데이터에 있어서, i번째 화소가 제1레벨 내지 제N레벨의 N개의 레벨 중 어느 한 레벨에 속하도록 휘도에 따라 분류하여 i번째 화소에 i번째 화소가 속하는 레벨인 레벨값 Li,j를 부여하되 각 레벨에 속하는 화소들의 개수가 균등하도록 모든 화소들을 분류하며, 제1이미지데이터 내지 제P이미지데이터 각각에 대해 분류하는 멀티레벨문턱맵(multi-level threshold map) 생성부(N: 양의 정수)와, (iii) 제1이미지데이터 내지 제P이미지데이터 중 적정 노출에서 획득한 이미지데이터를 제R이미지데이터라 할 시, 제j이미지데이터의 i번째 화소에 부과되는 움직임데이터 Mi,j를 수학식 1에 따라 획득하되, 제1이미지데이터 내지 제P이미지데이터 각각의 모든 화소에 부과되는 움직임데이터를 획득하는 움직임데이터 획득부와, (iv) 제j이미지데이터의 i번째 화소의 휘도데이터를 Ii,j, 제j이미지데이터에서 제k레벨과 제k+1레벨을 구분하게 되는 화소의 휘도데이터를 Tj,k라 할 시, 오류데이터 Ei,j를 하기 수학식 5에 따라 획득하되, 제1이미지데이터 내지 제P이미지데이터 각각의 모든 화소에 부과되는 오류데이터를 획득하는 오류데이터 획득부와, (v) 제j이미지데이터의 i번째 화소에 부과되는 제1가중치데이터 MEi,j를 하기 수학식 6에 따라 획득하되, 제1이미지데이터 내지 제P이미지데이터 각각의 모든 화소에 부과되는 제1가중치데이터를 획득하는 제1가중치데이터 획득부와, (vi) 제1가중치데이터 MEi,j를 부가하여 제1이미지데이터 내지 제P이미지데이터의 i번째 화소들의 데이터를 합성하여 최종이미지데이터 의 i번째 화소의 데이터를 획득함으로써, 최종이미지데이터의 화소들의 데이터를 획득하는 최종이미지데이터 획득부를 구비하는 것을 특징으로 하는 디지털 촬영장치를 제공한다.
Figure 112009039049772-pat00005
Figure 112009039049772-pat00006
Figure 112009039049772-pat00007
Figure 112009039049772-pat00008
이러한 본 발명의 다른 특징에 의하면, 상기 디지털 촬영장치의 응답함수를 f(x), 제j이미지데이터 획득시의 노출시간을 Δtj, 제j이미지데이터의 i번째 화소의 m채널 데이터를 zi,m,j, 제j이미지데이터에서 화소들의 m채널 데이터 중 최대값을 zmax,m,j, 최소값을 zmin,m,j라 할 시, 상기 최종이미지데이터 획득부는, 수학식 3에 따라 결정된 제2가중치 w(zi,m,j)를 이용하여 수학식 4에 따라 i번째 화소의 m채널 데이터가 Ei,m인 최종이미지데이터를 획득하는 것으로 할 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 멀티레벨문턱맵 생성부는 휘도가 가장 낮은 화소부터 제1레벨에 속하도록 하여 휘도가 가장 높은 화소가 제N레벨에 속하도록 분류하는 것으로 할 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 움직임데이터 획득부는, 제j이미지데이터의 i번째 화소에 부과되는 움직임데이터 Mi,j를 수학식 1에 따라 획득한 후, 제1이미지데이터 내지 제P이미지데이터 중 제R이미지데이터 외의 이미지데이터에 있어서, 0의 움직임데이터를 갖는 화소가 1의 움직임데이터를 갖는 화소들에 둘러싸여 있을 시 해당 0의 움직임데이터를 갖는 화소의 움직임데이터를 1로 수정하고, 1의 움직임데이터를 갖는 화소가 0의 움직임데이터를 갖는 화소들에 둘러싸여 있을 시 해당 1의 움직임데이터를 갖는 화소의 움직임데이터를 0으로 수정하여, 제j이미지데이터의 i번째 화소에 부과되는 움직임데이터 Mi,j를 획득하는 것으로 할 수 있다.
본 발명은 또한, (a) 노출이 상이하도록, 노출을 증가시키며 제1이미지데이터 내지 제P이미지데이터를 획득하는 단계(P: 양의 정수)와, (b) 제j이미지데이터에 있어서, i번째 화소가 제1레벨 내지 제N레벨의 N개의 레벨 중 어느 한 레벨에 속하도록 휘도에 따라 분류하여 i번째 화소에 i번째 화소가 속하는 레벨인 레벨값 Li,j를 부여하되 각 레벨에 속하는 화소들의 개수가 균등하도록 모든 화소들을 분류하며, 제1이미지데이터 내지 제P이미지데이터 각각에 대해 분류하는 단계(N: 양의 정수)와, (c) 제1이미지데이터 내지 제P이미지데이터 중 적정 노출에서 획득한 이미지데이터를 제R이미지데이터라 할 시, 제j이미지데이터의 i번째 화소에 부과되는 움직임데이터 Mi,j를 수학식 1에 따라 획득하되, 제1이미지데이터 내지 제P이미지데이터 각각의 모든 화소에 부과되는 움직임데이터를 획득하는 단계와, (d) 제j이미 지데이터의 i번째 화소에 부과되는 제1가중치데이터 MEi,j를 수학식 2에 따라 획득하되, 제1이미지데이터 내지 제P이미지데이터 각각의 모든 화소에 부과되는 제1가중치데이터를 획득하는 단계와, (e) 제1가중치데이터 MEi,j를 부가하여 제1이미지데이터 내지 제P이미지데이터의 i번째 화소들의 데이터를 합성하여 최종이미지데이터의 i번째 화소의 데이터를 획득함으로써, 최종이미지데이터의 화소들의 데이터를 획득하는 단계를 포함하는 것을 특징으로 하는 디지털 촬영장치의 제어방법을 제공한다.
이러한 본 발명의 다른 특징에 의하면, 상기 디지털 촬영장치의 응답함수를 f(x), 제j이미지데이터 획득시의 노출시간을 Δtj, 제j이미지데이터의 i번째 화소의 m채널 데이터를 zi,m,j, 제j이미지데이터에서 화소들의 m채널 데이터 중 최대값을 zmax,m,j, 최소값을 zmin,m,j라 할 시, 상기 (e) 단계는 수학식 3에 따라 결정된 제2가중치 w(zi,m,j)를 이용하여 수학식 4에 따라 i번째 화소의 m채널 데이터가 Ei,m인 최종이미지데이터를 획득하는 단계인 것으로 할 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 (b) 단계는 휘도가 가장 낮은 화소부터 제1레벨에 속하도록 하여 휘도가 가장 높은 화소가 제N레벨에 속하도록 분류하는 단계인 것으로 할 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 (c) 단계는, 제j이미지데이터의 i번째 화소에 부과되는 움직임데이터 Mi,j를 수학식 1에 따라 획득한 후, 제1이미지데 이터 내지 제P이미지데이터 중 제R이미지데이터 외의 이미지데이터에 있어서, 0의 움직임데이터를 갖는 화소가 1의 움직임데이터를 갖는 화소들에 둘러싸여 있을 시 해당 0의 움직임데이터를 갖는 화소의 움직임데이터를 1로 수정하고, 1의 움직임데이터를 갖는 화소가 0의 움직임데이터를 갖는 화소들에 둘러싸여 있을 시 해당 1의 움직임데이터를 갖는 화소의 움직임데이터를 0으로 수정하여, 제j이미지데이터의 i번째 화소에 부과되는 움직임데이터 Mi,j를 획득하는 단계인 것으로 할 수 있다.
본 발명은 또한, (a) 노출이 상이하도록, 노출을 증가시키며 제1이미지데이터 내지 제P이미지데이터를 획득하는 단계(P: 양의 정수)와, (b) 제j이미지데이터에 있어서, i번째 화소가 제1레벨 내지 제N레벨의 N개의 레벨 중 어느 한 레벨에 속하도록 휘도에 따라 분류하여 i번째 화소에 i번째 화소가 속하는 레벨인 레벨값 Li,j를 부여하되 각 레벨에 속하는 화소들의 개수가 균등하도록 모든 화소들을 분류하며, 제1이미지데이터 내지 제P이미지데이터 각각에 대해 분류하는 단계(N: 양의 정수)와, (c) 제1이미지데이터 내지 제P이미지데이터 중 적정 노출에서 획득한 이미지데이터를 제R이미지데이터라 할 시, 제j이미지데이터의 i번째 화소에 부과되는 움직임데이터 Mi,j를 수학식 1에 따라 획득하되, 제1이미지데이터 내지 제P이미지데이터 각각의 모든 화소에 부과되는 움직임데이터를 획득하는 단계와, (d) 제j이미지데이터의 i번째 화소의 휘도데이터를 Ii,j, 제j이미지데이터에서 제k레벨과 제k+1레벨을 구분하게 되는 화소의 휘도데이터를 Tj,k라 할 시, 오류데이터 Ei,j를 수학식 5에 따라 획득하되, 제1이미지데이터 내지 제P이미지데이터 각각의 모든 화소에 부과되는 오류데이터를 획득하는 단계와, (e) 제j이미지데이터의 i번째 화소에 부과되는 제1가중치데이터 MEi,j를 수학식 6에 따라 획득하되, 제1이미지데이터 내지 제P이미지데이터 각각의 모든 화소에 부과되는 제1가중치데이터를 획득하는 단계와, (f) 제1가중치데이터 MEi,j를 부가하여 제1이미지데이터 내지 제P이미지데이터의 i번째 화소들의 데이터를 합성하여 최종이미지데이터의 i번째 화소의 데이터를 획득함으로써, 최종이미지데이터의 화소들의 데이터를 획득하는 단계를 포함하는 것을 특징으로 하는 디지털 촬영장치의 제어방법을 제공한다.
이러한 본 발명의 다른 특징에 의하면, 상기 디지털 촬영장치의 응답함수를 f(x), 제j이미지데이터 획득시의 노출시간을 Δtj, 제j이미지데이터의 i번째 화소의 m채널 데이터를 zi,m,j, 제j이미지데이터에서 화소들의 m채널 데이터 중 최대값을 zmax,m,j, 최소값을 zmin,m,j라 할 시, 상기 (f) 단계는 수학식 3에 따라 결정된 제2가중치 w(zi,m,j)를 이용하여 수학식 4에 따라 i번째 화소의 m채널 데이터가 Ei,m인 최종이미지데이터를 획득하는 단계인 것으로 할 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 (b) 단계는 휘도가 가장 낮은 화소부터 제1레벨에 속하도록 하여 휘도가 가장 높은 화소가 제N레벨에 속하도록 분류하는 단계인 것으로 할 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 (c) 단계는, 제j이미지데이터의 i번 째 화소에 부과되는 움직임데이터 Mi,j를 수학식 1에 따라 획득한 후, 제1이미지데이터 내지 제P이미지데이터 중 제R이미지데이터 외의 이미지데이터에 있어서, 0의 움직임데이터를 갖는 화소가 1의 움직임데이터를 갖는 화소들에 둘러싸여 있을 시 해당 0의 움직임데이터를 갖는 화소의 움직임데이터를 1로 수정하고, 1의 움직임데이터를 갖는 화소가 0의 움직임데이터를 갖는 화소들에 둘러싸여 있을 시 해당 1의 움직임데이터를 갖는 화소의 움직임데이터를 0으로 수정하여, 제j이미지데이터의 i번째 화소에 부과되는 움직임데이터 Mi,j를 획득하는 단계인 것으로 할 수 있다.
본 발명은 또한, 상기와 같은 방법을 실행시키기 위한 프로그램을 저장한 기록매체를 제공한다.
상기한 바와 같이 이루어진 본 발명의 디지털 촬영장치, 그 제어방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체에 따르면, 다이나믹 레인지가 넓으면서도 계조가 우수한 이미지에 관한 데이터를 획득할 수 있는 디지털 촬영장치, 그 제어방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체를 구현할 수 있다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명하면 다음과 같다.
전술한 바와 같이 디지털 촬영장치가 특정 노출에서 이미지데이터를 획득할 경우, 한정적인 범위 내에서 화소의 밝기 및 컬러를 나타낼 수밖에 없다는 문제점이 있었다. 예컨대 장노출의 경우 획득한 이미지데이터로부터의 이미지는 전체적으로 밝게 나타나 가장 낮은 휘도가 특정 휘도보다 크게 되며, 단노출의 경우 획득한 이미지데이터로부터의 이미지는 전체적으로 어둡게 나타나 가장 높은 휘도가 특정 휘도보다 낮게 되어 다이나믹 레인지가 좁아진다는 문제점이 있었다. 특히 어두운 실내의 일부분에 밝은 광원이 있는 상태 또는 역광의 상태 등에서는 매우 밝은 영역과 매우 어두운 영역이 동시에 존재하여, 이미지데이터를 획득할 시 피사체의 정보 및 계조가 손상된다는 문제점이 있었다.
이러한 문제점을 해결하기 위하여, 서로 상이한 노출에서 획득한 복수개의 이미지데이터들을 획득하여 이들을 합성하는 것을 고려할 수 있다. 즉, 단노출에서 상대적으로 어두운 제1이미지데이터를 획득하고, 적정 노출에서 제2이미지데이터를 획득하며, 장노출에서 상대적으로 밝은 제3이미지데이터를 획득한 후, 제1이미지데이터 내지 제3이미지데이터를 합성하여 최종이미지데이터를 획득함으로써, 다이나믹레인지가 넓으며 계조가 우수한 최종이미지에 관한 최종이미지데이터를 획득하는 것을 고려할 수 있다. 그러나 제1이미지데이터 내지 제3이미지데이터를 획득할 시 시차가 있으므로 피사체 등이 움직일 수 있으며, 이에 따라 단순히 제1이미지데이터 내지 제3이미지데이터를 합성하면 이미지들 내에서 피사체의 위치가 정합되지 않아 블러(blur)가 발생하여 최종이미지의 품질이 저하될 수 있다. 따라서 제2이미지를 기준이미지로 삼을 시, 제1이미지에서 제2이미지와 비교할 시 움직임이 발생한 영역에서의 데이터와, 제3이미지에서 제2이미지와 비교할 시 움직임이 발생한 영역에서의 데이터를, 움직임이 발생하지 않은 영역에서의 데이터와 동일한 방식으로 제2이미지데이터와 합성하는 것은 바람직하지 않다. 그러므로 움직임영역을 정확하게 파악하고 이를 처리하는 것이 필요하다.
도 1은 본 발명의 제1실시예에 따른 디지털 촬영장치를 개략적으로 도시하는 블록도이고, 도 2는 도 1의 일부분을 개략적으로 도시하는 블록도이다.
디지털 촬영장치의 전체 동작은 CPU(100)에 의해 통괄된다. 그리고 디지털 촬영장치에는 사용자로부터의 전기적 신호를 발생시키는 키 등을 포함하는 조작부(200)가 구비된다. 이 조작부(200)로부터의 전기적 신호는 CPU(100)에 전달되어, CPU(100)가 전기적 신호에 따라 디지털 촬영장치를 제어할 수 있도록 한다.
촬영 모드일 경우, 사용자로부터의 전기적 신호가 CPU(100)에 인가됨에 따라 CPU(100)는 그 신호를 파악하여 렌즈 구동부(11), 조리개 구동부(21) 및 촬상소자 제어부(31)를 제어하며, 이에 따라 각각 렌즈(10)의 위치, 조리개(20)의 개방 정도 및 촬상소자(30)의 감도, 노출시간 등이 제어된다. 촬상소자(30)는 입력된 광으로부터 이미지데이터를 생성하며, 아날로그/디지털 변환부(40)는 촬상소자(30)에서 출력되는 아날로그 데이터를 디지털 데이터로 변환한다. 물론 촬상소자(30)의 특성에 따라 아날로그/디지털 변환부(40)가 필요 없는 경우도 있을 수 있다.
촬상소자(30)로부터의 데이터는 메모리(60)를 거쳐 디지털 신호 처리부(50)에 입력될 수도 있고, 메모리(60)를 거치지 않고 디지털 신호 처리부(50)에 입력될 수도 있으며, 필요에 따라 CPU(100)에도 입력될 수도 있다. 여기서 메모리(60)는 ROM 또는 RAM 등을 포함하는 개념이다. 디지털 신호 처리부(50)는 필요에 따라 감 마(gamma) 보정, 화이트 밸런스 조정 등의 디지털 신호 처리를 할 수 있다. 또한 후술하는 바와 같이 디지털 신호 처리부(50)는 멀티레벨문턱맵 생성부(51), 움직임데이터 획득부(53), 제1가중치데이터 획득부(57) 및 최종이미지데이터 획득부(59)를 구비함으로써, 다이나믹 레인지가 넓으면서도 계조가 우수한 최종이미지에 관한 최종이미지데이터를 획득할 수 있다. 물론 멀티레벨문턱맵 생성부(51), 움직임데이터 획득부(53), 제1가중치데이터 획득부(57) 및 최종이미지데이터 획득부(59)는 디지털 신호 처리부(50)의 일부가 아닌 별도의 구성요소일 수도 있으며, 나아가 다른 구성요소의 일부일 수도 있는 등 다양한 변형이 가능하다. 즉 본 실시예에 따른 디지털 촬영장치가 멀티레벨문턱맵 생성부(51), 움직임데이터 획득부(53), 제1가중치데이터 획득부(57) 및 최종이미지데이터 획득부(59)를 구비하고 있으면 족하다. 멀티레벨문턱맵 생성부(51), 움직임데이터 획득부(53), 제1가중치데이터 획득부(57) 및 최종이미지데이터 획득부(59)의 기능에 대해서는 후술한다.
디지털 신호 처리부(50)로부터 출력된 데이터는 메모리(60)를 통하여 또는 직접 디스플레이 제어부(81)에 전달된다. 디스플레이 제어부(81)는 디스플레이부(80)를 제어하여 디스플레이부(80)에 이미지를 디스플레이한다. 그리고 디지털 신호 처리부(50)로부터 출력된 데이터는 메모리(60)를 통하여 또는 직접 저장/판독 제어부(71)에 입력되는데, 이 저장/판독 제어부(71)는 사용자로부터의 신호에 따라 또는 자동으로 데이터를 저장매체(70)에 저장한다. 물론 저장/판독 제어부(71)는 저장매체(70)에 저장된 파일로부터 이미지데이터를 판독하고, 이를 메모리(60)를 통해 또는 다른 경로를 통해 디스플레이 제어부(81)에 입력하여 디스플레이부(80) 에 이미지가 디스플레이되도록 할 수도 있다. 저장매체(70)는 착탈가능한 것일 수도 있고 디지털 촬영장치에 영구장착된 것일 수 있다.
이와 같은 디지털 촬영장치에 있어서, 상술한 바와 같은 모든 구성요소들이 항상 필수적인 것은 아니다. 본 실시예에 다른 디지털 촬영장치는 촬상소자(30), 멀티레벨문턱맵 생성부(51), 움직임데이터 획득부(53), 제1가중치데이터 획득부(57) 및 최종이미지데이터 획득부(59)를 구비하면 족하다. 멀티레벨문턱맵 생성부(51), 움직임데이터 획득부(53), 제1가중치데이터 획득부(57) 및 최종이미지데이터 획득부(59)의 기능에 대해서는 도면들을 참조하여 설명한다.
본 실시예에 따른 디지털 촬영장치의 촬상소자(30)는, 노출이 상이하도록, 노출을 증가시키며 제1이미지데이터 내지 제P이미지데이터를 획득한다. 여기서 P는 양의 정수이다. 예컨대 촬상소자(30)는 제1이미지데이터 내지 제3이미지데이터를 획득하며, 이때 제1이미지데이터는 단노출로 획득하고, 제2이미지데이터는 적정 노출로 획득하며, 제3이미지데이터는 장노출로 획득할 수 있다. 이 경우는 P=3인 경우이다. 도 3a 내지 도 3c는 이와 같이 노출이 상이하도록 노출을 증가시키며 획득한 제1이미지데이터 내지 제3이미지데이터로부터의 제1이미지(I1) 내지 제3이미지(I3)를 개략적으로 도시하는 개념도들이다. 도 3a 내지 도 3c를 참조하면, 제1이미지데이터로부터의 제1이미지(I1)는 전체적으로 어둡게 나타나고, 제2이미지데이터로부터의 제2이미지(I2)는 중간 정도로 나타나며, 제3이미지데이터로부터의 제3이미 지(I3)는 전체적으로 밝게 나타난다. 이하에서는 편의상 촬상소자가 도 3a 내지 도 3c에 도시된 것과 같은 제1이미지(I1) 내지 제3이미지(I3)에 대응하는 제1이미지데이터 내지 제3이미지데이터를 획득하였으며(즉, P=3), 제2이미지데이터가 적정 노출 하에서 획득한 이미지데이터인 경우에 대해 설명한다.
멀티레벨문턱맵(multi-level threshold map) 생성부(51)는, 제j이미지데이터에 있어서, 제j이미지의 i번째 화소가 제1레벨 내지 제N레벨의 N개의 레벨 중 어느 한 레벨에 속하도록 휘도에 따라 분류하여 i번째 화소에 i번째 화소가 속하는 레벨인 레벨값 Li,j를 부여하되 각 레벨에 속하는 화소들의 개수가 균등하도록 모든 화소들을 분류하며, 제1이미지데이터 내지 제P이미지데이터 각각에 대해 분류한다. 여기서 N은 양의 정수이다. 이때 멀티레벨문턱맵 생성부(51)는 휘도가 가장 낮은 화소부터 제1레벨에 속하도록 하여 휘도가 가장 높은 화소가 제N레벨에 속하도록 분류할 수 있다.
예컨대 제j이미지데이터로부터의 이미지가 16만개의 화소들을 가질 시, 이 16만개의 화소들을 2만개씩 총 8레벨들로 분류할 수 있다. 이 경우는 N=8인 경우이다. 16만개의 화소들을 휘도가 가장 낮은 화소부터 휘도가 가장 높은 화소까지 휘도에 따라 순차로 나열할 수 있으며, 이때 휘도가 가장 낮은 화소부터 2만개의 화소들은 제1레벨, 그 다음 2만개의 화소들은 제2레벨, 그 다음 2만개의 화소들은 제3레벨 등과 같이 분류할 수 있다. 제j이미지데이터로부터의 이미지의 i번째 화소는 그 화소가 제3레벨에 속한다면 Li,j=3의 레벨값을 갖게 된다.
도 4a 내지 도 4c는 도 3a 내지 도 3c에 도시된 바와 같이 나타낼 수 있는 이미지들(I1, I2, I3)에 대응하는 제1이미지데이터 내지 제3이미지데이터에서, 멀티레벨문턱맵 생성부(51)가 분류한 레벨들에 따라 화소들을 개략적으로 표시한 제1멀티레벨문턱맵(LI1) 내지 제3멀티레벨문턱맵(LI3)이다. 도 4a에서는 제1레벨에 속하는 화소들끼리는 동일한 색으로 나타내었고, 제2레벨에 속하는 화소들끼리도 동일한 색으로 나타내었으며, 제3레벨에 속하는 화소들끼리도 동일한 색으로 나타내는 등, 동일한 레벨에 속하는 화소들끼리 동일한 색으로 나타내었다. 이는 도 4b 및 도 4c 각각에서도 마찬가지이다. 물론 도 4a에서 제1레벨에 속하는 화소들의 휘도는 도 4b 또는 도 4c에서 제1레벨에 속하는 화소들의 휘도와 상이할 수 있다. 제1레벨 외의 다른 레벨들에 있어서도 마찬가지이다. 도 4a에서는 전반적으로 화소들의 휘도가 낮고, 도 4c에서는 전반적으로 화소들의 휘도가 높으며, 도 4b에서는 화소들의 휘도가 그 중간이기 때문이다.
움직임데이터 획득부(53)는, 제1이미지데이터 내지 제P이미지데이터 중 적정 노출에서 획득한 이미지데이터를 제R이미지데이터라 할 시, 제j이미지의 i번째 화소에 부과되는 움직임데이터 Mi,j를 하기 수학식 1에 따라 획득하되, 제1이미지데이터 내지 제P이미지데이터로부터의 이미지들 각각의 모든 화소에 부과되는 움직임데이터를 획득한다.
[수학식 1]
Figure 112009039049772-pat00009
예컨대 α=0, β=1일 수 있다. 기준이 되는 적정 노출에서 획득한 제R이미지데이터로부터의 제R이미지의 화소들은 모두 α(예컨대 0)의 움직임데이터를 가져 움직이지 않은 영역에 속하는 것으로 간주한다. 제R이미지데이터 외의 이미지데이터들로부터의 이미지들에서 α(예컨대 0)의 움직임데이터를 갖는 화소는 제R이미지를 기준으로 움직이지 않은 영역에 속하고, 제R이미지데이터 외의 이미지데이터들로부터의 이미지들에서 β(예컨대 1)의 움직임데이터를 갖는 화소는 제R이미지를 기준으로 움직임 영역에 속한다.
제R이미지데이터 외의 이미지데이터들로부터의 이미지들에서 β(예컨대 1)의 움직임데이터를 갖는 화소는 |Li,R-Li,j| ≥ 1인 경우인데, 이는 제j이미지의 i번째 화소의 레벨값이 제R이미지의 i번째 화소의 레벨값과 다른 것을 의미한다.
피사체가 전혀 움직이지 않은 상태에서 도 3a 내지 도 3c에 도시된 것과 같은 제1이미지(I1) 내지 제3이미지(I3)에 관한 제1이미지데이터 내지 제3이미지데이터를 노출을 상이하게 하여 획득하였다고 가정하자. 노출이 상이하므로 제1이미지(I1) 내지 제3이미지(I3) 각각의 i번째 화소들의 휘도는 상호 상이할 수 있다. 그러나 제1이미지(I1)의 화소들을 휘도가 가장 낮은 화소부터 휘도가 가장 높은 화소까지 휘도에 따라 순차로 나열할 시의 i번째 화소의 위치는, 제2이미지(I2)의 화소 들을 휘도가 가장 낮은 화소부터 휘도가 가장 높은 화소까지 휘도에 따라 순차로 나열할 시의 i번째 화소의 위치와 유사하게 된다. 제1이미지데이터와 제2이미지데이터를 획득하는 시점이 유사하므로 피사체에의 조명 조건 등이 유사하기 때문이다. 따라서 노출이 상이하더라도 제1이미지(I1) 내지 제3이미지(I3) 각각의 i번째 화소들의 레벨값은 대부분 동일하게 된다.
그러나 제1이미지데이터를 획득한 후 제2이미지데이터를 획득하기 전 피사체의 일부가 움직일 경우, 제1이미지(I1)의 i번째 화소의 레벨값과 제2이미지(I2)의 i번째 화소의 레벨값이 상이하게 될 수 있다. 움직임이 발생한 영역에서는 휘도가 급격하게 변할 수 있기 때문에 레벨값이 상이하게 될 수 있는 것이다. 따라서 제j이미지의 i번째 화소의 레벨값이 제R이미지의 i번째 화소의 레벨값과 다르면, 제j이미지의 i번째 화소의 움직임데이터 Mi,j가 β(예컨대 1)의 값을 갖도록 한다.
도 5a 및 도 5b는 움직임데이터 획득부(53)가 획득한 움직임데이터에 따라 제1이미지 및 제3이미지에서 움직임영역으로 판단된 부분을 개략적으로 밝게 표시한 제1움직임이미지(MI1) 및 제3움직임이미지(MI3)이다. 도 3c에 도시된 것과 같은 제3이미지(I3)의 경우 장노출로 획득한 이미지이기에 제3이미지(I3) 내에서 상대적으로 밝게 나타나는 하늘의 일부분이 포화되어 모두 최고휘도의 화소들로 나타나게 되었는바, 하늘이 서로 상이한 휘도로 나타나는 기준이미지인 제2이미지(I2, 도 3b 참조)에서 대응하는 부분과 포화된 부분을 비교하면 포화된 부분이 움직임영역으로 판단되게 된다. 이에 따라 제3움직임이미지(MI3)에서 하늘 부분이 움직임영역으로 나타나는 부분이 증가하여 나타난다.
제1가중치데이터 획득부(57)는 제j이미지의 i번째 화소에 부과되는 제1가중치데이터 MEi,j를 하기 수학식 2에 따라 획득하되, 제1이미지데이터 내지 제P이미지데이터 각각의 모든 화소에 부과되는 제1가중치데이터를 획득한다.
[수학식 2]
Figure 112009039049772-pat00010
여기서 예컨대 γ=1, δ=0일 수 있다(α와 β는 전술한 바와 같이 예컨대 α=0, β=1일 수 있다). 제1가중치데이터 MEi,j의 의미를 설명하면 다음과 같다.
제1이미지데이터 내지 제P이미지데이터를 합성하여 최종이미지데이터를 획득함에 있어, 기준 이미지인 제R이미지의 각 화소(i번째 화소)의 경우 가중치를 크게 준다(MEi,R=γ>δ). 제1이미지 내지 제P이미지 중 제R이미지 외의 이미지들의 화소들의 경우, 움직임영역에 속하지 않는 각 화소(i번째 화소)의 경우에도 가중치를 크게 준다(MEi,j=γ>δ, Mi,j=α, j≠R). 제1이미지 내지 제P이미지 중 제R이미지 외의 이미지들의 화소들 중 움직임영역에 속하는 각 화소(i번째 화소)의 경우에는 가중치를 작게 준다(MEi,j=δ, Mi,j=β, j≠R).
이에 따라 최종이미지데이터 획득부(59)는 제1가중치데이터 MEi,j를 부가하여 제1이미지데이터 내지 제P이미지데이터의 i번째 화소들의 데이터를 합성하여 최종이미지데이터의 i번째 화소의 데이터를 획득함으로써, 최종이미지데이터의 화소들의 데이터를 획득한다.
이러한 본 실시예에 따른 디지털 촬영장치의 경우, 최종이미지데이터 획득부(59)가 최종이미지데이터를 획득하기 위하여 제1이미지데이터 내지 제P이미지데이터를 합성할 시, 제1이미지 내지 제P이미지 중 제R이미지 외의 이미지들의 화소들 중 움직임영역에 속하는 각 화소의 데이터의 영향을 효과적으로 줄임으로써, 다이나믹 레인지가 넓으면서도 계조가 우수한 이미지에 관한 데이터를 획득할 수 있도록 한다.
최종이미지데이터 획득부(59)가 제1이미지데이터 내지 제3이미지데이터를 합성하는 방식은 다양한 방식으로 이루어질 수 있다. 예컨대 P. Debevec and J. Malik, "Recovering high dynamic range radiance maps from photographs," in Proc. ACM SIGGRAPH, pp. 369378, Los Angeles, CA, Aug. 1997에 기재된 방식을 응용할 수 있다. 이 논문은 본원에 참조로서 포함된다.
상기 논문에서는 하기 수학식 3에 따라 결정된 가중치 w(zi ,m,j)를 이용하여 하기 수학식 7에 따라 i번째 화소의 m채널 데이터가 Ei ,m인 최종이미지데이터를 획득하는 것을 개시하고 있다.
[수학식 3]
Figure 112009039049772-pat00011
Figure 112009039049772-pat00012
수학식 3에서 zi,m,j는 제j이미지데이터의 i번째 화소의 m채널 데이터이고, zmax,m,j는 제j이미지데이터에서 화소들의 m채널 데이터 중 최대값이며, zmin,m,j는 최소값이다. 일반적으로 화소의 데이터는 YCbCr, YUV, RGB 등과 같은 형식으로서 세 개의 채널 데이터들을 가질 수 있다. 화소의 데이터가 YCbCr 형식일 경우, 해당 화소의 제1채널 데이터는 Y데이터이고, 제2채널 데이터는 Cb데이터이며, 제3채널 데이터는 Cr데이터이다. 즉, 화소의 데이터가 YCbCr 형식일 경우, w(zi,1,j)는 제j이미지의 i번째 화소의 Y데이터에 관한 가중치이고, w(zi,2,j)는 제j이미지의 i번째 화소의 Cb데이터에 관한 가중치이며, w(zi,3,j)는 제j이미지의 i번째 화소의 Cr데이터에 관한 가중치가 된다. 수학식 4에서 f(x)는 디지털 촬영장치의 응답함수이고, Δtj는 제j이미지데이터 획득시의 노출시간이다.
이와 같은 상기 논문의 경우에는 제1이미지데이터 내지 제P이미지데이터를 획득함에 있어서 피사체의 움직임이 없는 경우를 상정한 것으로, 피사체의 움직임 이 발생할 경우에는 최종이미지 내에 블러 등이 발생하여 저품질의 최종이미지를 획득할 수밖에 없다.
그러나 본 실시예에 따른 디지털 촬영장치가 상기 수학식 3 및 수학식 7을 이용할 경우, 수학식 7을 다음과 같이 수학식 4로 변형하여 이용하게 된다.
[수학식 4]
Figure 112009039049772-pat00013
즉, 본 실시예에 따른 디지털 촬영장치의 최종이미지데이터 획득부(59)는, 상기 수학식 3에 따라 결정된 제2가중치 w(zi,m,j)를 이용하여 제1가중치데이터 MEi,j를 포함하는 상기 수학식 4에 따라 i번째 화소의 m채널 데이터가 Ei,m인 최종이미지데이터를 획득함으로써, 다이나믹 레인지가 넓으면서도 계조가 우수하며 블러가 발생하지 않는 이미지에 관한 데이터를 획득할 수 있다.
물론 최종이미지데이터 획득부(59)가 최종이미지데이터를 획득할 시, 상기 수학식 3 및 수학식 7을 이용하지 않고 다른 방식을 이용할 수도 있음은 물론이다. 예컨대 J. Kuang, G. M. Johnson, and M. D. Fairchild, "iCAM06: A refined image appearance model for HDR image rendering," Vis . Commun . Image Representation, vol. 18, pp. 406414, Oct. 2007에 기재된 방식에 제1가중치데이터 MEi ,j를 결합함으로써, 다이나믹 레인지가 넓으면서도 계조가 우수하며 블러가 발생하지 않는 이미지에 관한 데이터를 획득할 수도 있다.
도 6은 본 발명의 제2실시예에 따른 디지털 촬영장치의 제어방법을 개략적으로 도시하는 플로우챠트이다.
도 6을 참조하면, 노출이 상이하도록, 노출을 증가시키며 제1이미지데이터 내지 제P이미지데이터를 획득하는 단계(P: 양의 정수)를 거친다(S10). 이에 관해서는 도 3a 내지 도 3c를 참조하여 전술한 바를 참고할 수 있다.
이어, 제j이미지데이터에 있어서, i번째 화소가 제1레벨 내지 제N레벨의 N개의 레벨 중 어느 한 레벨에 속하도록 휘도에 따라 분류하여 i번째 화소에 i번째 화소가 속하는 레벨인 레벨값 Li,j를 부여하되 각 레벨에 속하는 화소들의 개수가 균등하도록 모든 화소들을 분류하며, 제1이미지데이터 내지 제P이미지데이터 각각에 대해 분류하는 단계(N: 양의 정수)를 거친다(S20). 이때, 휘도가 가장 낮은 화소부터 제1레벨에 속하도록 하여 휘도가 가장 높은 화소가 제N레벨에 속하도록 분류할 수 있다. 이와 같이 분류한 후 동일레벨에 속하는 화소들을 동일한 색으로 표시한 멀티레벨문턱맵들에 관해서는 도 4a 내지 도 4c를 참조하여 전술한 바를 참고할 수 있다.
그 후, 제1이미지데이터 내지 제P이미지데이터 중 적정 노출에서 획득한 이미지데이터를 제R이미지데이터라 할 시, 제j이미지데이터의 i번째 화소에 부과되는 움직임데이터 Mi,j를 수학식 1에 따라 획득하되, 제1이미지데이터 내지 제P이미지데이터 각각의 모든 화소에 부과되는 움직임데이터를 획득하는 단계를 거친다(S30). 이와 같이 획득한 움직임데이터에 따라 도 3a의 제1이미지(I1) 및 도 3c의 제3이미 지(I3)에서 움직임영역으로 판단된 부분을 개략적으로 밝게 표시한 제1움직임이미지(MI1) 및 제3움직임이미지(MI3)는 도 5a 및 도 5b에 도시된 바와 같다. 제1움직임이미지(MI1) 및 제3움직임이미지(MI3)의 의미에 관해서는 도 5a 및 도 5b를 참조하여 전술한 바를 참조할 수 있다.
이어, 제j이미지데이터의 i번째 화소에 부과되는 제1가중치데이터 MEi,j를 수학식 2에 따라 획득하되, 제1이미지데이터 내지 제P이미지데이터 각각의 모든 화소에 부과되는 제1가중치데이터를 획득하는 단계를 거친다(S60). 제1가중치데이터의 의미에 관해서는 수학식 2를 참조하여 전술한 바를 참고할 수 있다.
이와 같은 과정을 거친 후, 제1가중치데이터 MEi,j를 부가하여 제1이미지데이터 내지 제P이미지데이터의 i번째 화소들의 데이터를 합성하여 최종이미지데이터의 i번째 화소의 데이터를 획득함으로써, 최종이미지데이터의 화소들의 데이터를 획득하는 단계를 거친다(S70).
이와 같은 본 실시예에 따른 디지털 촬영장치의 제어방법의 경우, 최종이미지데이터를 획득하기 위하여 제1이미지데이터 내지 제P이미지데이터를 합성할 시, 제1이미지 내지 제P이미지 중 제R이미지 외의 이미지들의 화소들 중 움직임영역에 속하는 각 화소의 데이터의 영향을 효과적으로 줄임으로써, 다이나믹 레인지가 넓으면서도 계조가 우수한 이미지에 관한 데이터를 획득할 수 있도록 한다.
최종이미지데이터를 획득하는 단계(S70)에서 제1이미지데이터 내지 제3이미 지데이터를 합성하는 방식은 다양한 방식으로 이루어질 수 있다. 예컨대 전술한 바와 같은 P. Debevec과 J. Malik의 논문에 기재된 방식을 응용할 수 있다. 즉, S70 단계는 전술한 수학식 3에 따라 결정된 제2가중치 w(zi,m,j)를 이용하여 제1가중치데이터 MEi,j를 포함하는 전술한 수학식 4에 따라 i번째 화소의 m채널 데이터가 Ei,m인 최종이미지데이터를 획득하는 단계가 되도록 함으로써, 다이나믹 레인지가 넓으면서도 계조가 우수하며 블러가 발생하지 않는 이미지에 관한 데이터를 획득할 수 있다.
이하에서는 본 발명의 제3실시예에 따른 디지털 촬영장치에 관해 설명한다.
본 실시예에 따른 디지털 촬영장치가 전술한 제1실시예에 따른 디지털 촬영장치와 상이한 점은 움직임데이터 획득부(53)가 움직임데이터 Mi,j를 클러스터링한다는 것이다. 즉, 본 실시예에 따른 디지털 촬영장치의 움직임데이터 획득부(53)는 제1실시예에 따른 디지털 촬영장치에서와 마찬가지로, 노출을 상이하게 하여 획득한 제1이미지데이터 내지 제P이미지데이터 중 적정 노출에서 획득한 이미지데이터를 제R이미지데이터라 할 시, 제j이미지데이터로부터의 제j이미지의 i번째 화소에 부과되는 움직임데이터 Mi,j를 전술한 수학식 1에 따라 획득하되, 제1이미지데이터 내지 제P이미지데이터 각각의 모든 화소에 부과되는 움직임데이터를 획득한다.
그 후, 본 실시예에 따른 디지털 촬영장치의 움직임데이터 획득부(53)는, 제1이미지데이터 내지 제P이미지데이터 중 제R이미지데이터 외의 이미지데이터에 있어서, 0의 움직임데이터를 갖는 화소가 1의 움직임데이터를 갖는 화소들에 둘러싸 여 있을 시 해당 0의 움직임데이터를 갖는 화소의 움직임데이터를 1로 수정하고, 1의 움직임데이터를 갖는 화소가 0의 움직임데이터를 갖는 화소들에 둘러싸여 있을 시 해당 1의 움직임데이터를 갖는 화소의 움직임데이터를 0으로 수정하여, 제j이미지데이터의 i번째 화소에 부과되는 움직임데이터 Mi,j를 최종적으로 획득한다.
디지털 촬영장치의 촬상소자(30)가 데이터를 획득함에 있어서 노이즈 등이 발생할 수도 있으며, 이 경우 노이즈가 발생한 화소는 이상적인 경우의 휘도가 아니라 잘못된 휘도를 가져, 노이즈가 발생한 화소에 이상적인 경우의 움직임데이터가 아닌 잘못된 움직임데이터가 부여될 수 있다. 이러한 노이즈가 발생하는 화소는 국부적으로 존재하므로, 상기와 같은 클러스터링을 통해 노이즈가 발생한 화소에 잘못된 움직임데이터가 부여되는 것을 효과적으로 방지할 수 있다.
도 7a 및 도 7b는 본 실시예에 따른 디지털 촬영장치의 움직임데이터 획득부(53)가 최종적으로 획득한 움직임데이터에 따라 도 3a의 제1이미지(I1) 및 도 3c의 제3이미지(I3)에서 움직임영역으로 판단된 부분을 개략적으로 밝게 표시한 제1움직임이미지(MI1') 및 제3움직임이미지(MI3')이다. 즉, 도 7a는 도 5a를 클러스터링한 것을 개념적으로 도시하는 제1움직임이미지(MI1')이고, 도 7b는 도 5b를 클러스터링한 것을 개념적으로 도시하는 제2움직임이미지(MI1')이다.
이러한 본 실시예에 따른 디지털 촬영장치의 경우, 최종이미지데이터 획득부(59)가 최종이미지데이터를 획득하기 위하여 제1이미지데이터 내지 제P이미지데 이터를 합성할 시, 제1이미지 내지 제P이미지 중 제R이미지 외의 이미지들의 화소들 중 움직임영역에 속하는 각 화소의 데이터의 영향을 효과적으로 줄임으로써, 다이나믹 레인지가 넓으면서도 계조가 우수한 이미지에 관한 데이터를 획득할 수 있도록 한다. 또한 노이즈에 의해 움직임데이터를 잘못 부여하는 것을 효과적으로 방지하여, 고품질의 최종이미지를 획득할 수 있도록 한다.
도 8은 본 발명의 제4실시예에 따른 디지털 촬영장치의 제어방법을 개략적으로 도시하는 플로우챠트이다.
본 실시예에 따른 디지털 촬영장치의 제어방법이 전술한 제2실시예에 따른 디지털 촬영장치의 제어방법과 상이한 것은, S30 단계에서 움직임데이터 Mi ,j를 수학식 1에 따라 획득한 후, 움직임데이터를 클러스터링한다는 것이다. 즉, 제j이미지데이터의 i번째 화소에 부과되는 움직임데이터 Mi,j를 수학식 1에 따라 획득하는 단계를 거친 후(S30), 제1이미지데이터 내지 제P이미지데이터 중 제R이미지데이터 외의 이미지데이터에 있어서, 0의 움직임데이터를 갖는 화소가 1의 움직임데이터를 갖는 화소들에 둘러싸여 있을 시 해당 0의 움직임데이터를 갖는 화소의 움직임데이터를 1로 수정하고, 1의 움직임데이터를 갖는 화소가 0의 움직임데이터를 갖는 화소들에 둘러싸여 있을 시 해당 1의 움직임데이터를 갖는 화소의 움직임데이터를 0으로 수정하여, 제j이미지데이터의 i번째 화소에 부과되는 움직임데이터 Mi,j를 획득하는 단계(S40)를 거친다.
이러한 본 실시예에 따른 디지털 촬영장치의 제어방법의 경우, 최종이미지데 이터를 획득하기 위하여 제1이미지데이터 내지 제P이미지데이터를 합성할 시, 제1이미지 내지 제P이미지 중 제R이미지 외의 이미지들의 화소들 중 움직임영역에 속하는 각 화소의 데이터의 영향을 효과적으로 줄임으로써, 다이나믹 레인지가 넓으면서도 계조가 우수한 이미지에 관한 데이터를 획득할 수 있도록 한다. 또한 노이즈에 의해 움직임데이터를 잘못 부여하는 것을 효과적으로 방지하여, 고품질의 최종이미지를 획득할 수 있도록 한다.
도 9는 본 발명의 제5실시예에 따른 디지털 촬영장치의 일부분을 개략적으로 도시하는 블록도이다.
본 실시예에 따른 디지털 촬영장치가 도 1을 참조하여 전술한 제1실시예에 따른 디지털 촬영장치와 상이한 점은, 오류데이터 획득부(55)를 더 구비하며, 제1가중치데이터 획득부(57)는 이 오류데이터 획득부(55)가 획득한 오류데이터를 고려하여 제1가중치데이터를 획득한다는 것이다. 물론 오류데이터 획득부(55)는 도 9에 도시된 것과 같이 디지털 신호 처리부(50)의 일부일 수도 있고, 이와 달리 별개의 독립된 구성요소일 수도 있으며, 다른 구성요소의 일부일 수도 있는 등 다양한 변형이 가능하다.
전술한 제1실시예에서 설명한 바와 같이, 본 실시예에 따른 디지털 촬영장치의 경우에도 촬상소자(30)가 노출이 상이하도록 노출을 증가시키며 제1이미지데이터 내지 제P이미지데이터를 획득한다. 그리고 멀티레벨문턱맵 생성부(51)가, 제j이미지데이터에 있어서, i번째 화소가 제1레벨 내지 제N레벨의 N개의 레벨 중 어느 한 레벨에 속하도록 휘도에 따라 분류하여 i번째 화소에 i번째 화소가 속하는 레벨 인 레벨값 Li,j를 부여하되 각 레벨에 속하는 화소들의 개수가 균등하도록 모든 화소들을 분류하며, 제1이미지데이터 내지 제P이미지데이터 각각에 대해 분류한다.
이때, 멀티레벨문턱맵 생성부(51)가 제j이미지의 화소들을 휘도에 따라 분류할 시, 동일한 휘도를 갖는 화소들임에도 불구하고 상이한 레벨로 분류될 수도 있다. 예컨대 제j이미지데이터로부터의 이미지가 16만개의 화소들을 가질 시, 이 16만개의 화소들을 2만개씩 총 8레벨들로 분류할 수 있다. 이 경우는 N=8인 경우이다. 16만개의 화소들을 휘도가 가장 낮은 화소부터 휘도가 가장 높은 화소까지 휘도에 따라 순차로 나열할 수 있으며, 이때 휘도가 가장 낮은 화소부터 2만개의 화소들은 제1레벨, 그 다음 2만개의 화소들은 제2레벨, 그 다음 2만개의 화소들은 제3레벨 등과 같이 분류할 수 있다. 이때 제j이미지의 p번째 화소와 q번째 화소가 동일한 휘도를 갖는다 하더라도, p번째 화소를 포함한 2만개의 화소들이 제ℓ레벨로 분류되어, q번째 화소는 p번째 화소와 동일한 휘도를 가짐에도 불구하고 제ℓ+1레벨로 분류될 수 있다. 이와 같은 분류로 인하여 제R이미지와 비교할 시 제j이미지에서(j≠R) i번째 화소가 움직임영역에 속하지 않음에도 불구하고 움직임영역에 속하는 것으로 판단될 수 있다.
따라서 본 실시예에 따른 디지털 촬영장치는 이와 같은 문제점이 발생하지 않도록 하기 위하여, 오류데이터 획득부(55)가 제j이미지데이터의 i번째 화소의 휘도데이터를 Ii,j, 제j이미지데이터에서 제k레벨과 제k+1레벨을 구분하게 되는 화소의 휘도데이터를 Tj,k라 할 시, 오류데이터 Ei,j를 하기 수학식 5에 따라 획득하되, 제1이미지데이터 내지 제P이미지데이터 각각의 모든 화소에 부과되는 오류데이터를 획득한다.
[수학식 5]
Figure 112009039049772-pat00014
Figure 112009039049772-pat00015
여기서 예컨대 ζ=1, η=0일 수 있다. 수학식 5의 의미는 제j이미지에서 i번째 화소의 휘도 Ii,j가 제j이미지에서 제k레벨과 제k+1레벨을 구분하게 되는 화소의 휘도데이터(상기 p번째 화소와 q번째 화소의 예의 경우 p번째 화소와 q번째 화소의 휘도데이터)인 Tj,k과 ±1 이내의 범위에 속할 경우, 이는 오류가 발생할 수 있는 화소라는 의미로 오류데이터 Ei,j가 ζ(예컨대 1)을 갖도록 하고, 그 외의 경우에는 오류가 발생할 확률이 낮은 화소라는 의미로 오류데이터 Ei,j가 η(예컨대 0)를 갖도록 한다는 것이다.
제1가중치데이터 획득부(57)는 제j이미지데이터의 i번째 화소에 부과되는 제1가중치데이터 MEi,j를 하기 수학식 6에 따라 획득하되, 제1이미지데이터 내지 제P이미지데이터 각각의 모든 화소에 부과되는 제1가중치데이터를 획득한다.
[수학식 6]
Figure 112009039049772-pat00016
Figure 112009039049772-pat00017
여기서 예컨대 γ=1, δ=0, ε=0.2일 수 있다(α, β, ζ 및 η는 전술한 바와 같이 예컨대 α=0, β=1, ζ=1, η=0일 수 있다). "Ei,j|Ei,R=ζ"는 "Ei,j=ζ이고 Ei,R≠ζ"이거나 "Ei,j≠ζ이고 Ei,R=ζ"이거나 "Ei,j=ζ이고 Ei,R=ζ"인 경우를 의미한다. 제1가중치데이터 MEi,j의 의미를 설명하면 다음과 같다.
제1이미지데이터 내지 제P이미지데이터를 합성하여 최종이미지데이터를 획득함에 있어, 기준 이미지인 제R이미지의 각 화소(i번째 화소)의 경우 가중치를 크게 준다(MEi,R=γ>ε>δ). 제1이미지 내지 제P이미지 중 제R이미지 외의 이미지들의 화소들의 경우, 움직임영역에 속하지 않는 각 화소(i번째 화소)의 경우에도 가중치를 크게 준다(MEi,j=γ>ε>δ, Mi,j=α, j≠R). 단, 제1이미지 내지 제P이미지 중 제R이미지 외의 이미지들의 경우, 해당 이미지의 i번째 화소 및 제R이미지의 i번째 화소에서의 오류데이터가 오류가 발생하지 않았다는 것을 의미하는 η일 경우에만(Ei,j=Ei,R=η), 해당이미지의 i번째 화소에 가중치를 크게 준다. 오류가 발생할 가능성이 있다면, 중간 가중치를 준다(MEi,j=ε).
제1이미지 내지 제P이미지 중 제R이미지 외의 이미지들의 화소들 중 움직임영역에 속하는 각 화소(i번째 화소)의 경우에는 가중치를 작게 준다(MEi,j=δ, Mi,j=β, j≠R). 단, 제1이미지 내지 제P이미지 중 제R이미지 외의 이미지들의 경우, 해당 이미지의 i번째 화소 및 제R이미지의 i번째 화소에서의 오류데이터가 오류가 발 생하지 않았다는 것을 의미하는 η일 경우에만(Ei,j=Ei,R=η), 해당이미지의 i번째 화소에 가중치를 작게 준다. 오류가 발생할 가능성이 있다면, 중간 가중치를 준다(MEi,j=ε).
이와 같이, 제1이미지 내지 제P이미지 중 제R이미지 외의 이미지들의 경우, 움직임영역에 속하는 화소들에는 가중치를 작게 주고 움직임영역에 속하지 않는 화소들에는 가중치를 크게 주며 오류가 발생할 수 있는 화소들에는 그 사이에 해당하는 가중치를 부여함으로써, 고품질의 최종이미지에 대응하는 최종이미지데이터를 획득할 수 있도록 한다. 최종이미지데이터 획득부(59)가 최종이미지데이터를 획득하기 위하여 제1가중치데이터 MEi,j를 이용하는 방식은 전술한 제1실시예에서 설명한 바와 같다.
도 10은 본 발명의 제6실시예에 따른 디지털 촬영장치의 제어방법을 개략적으로 도시하는 플로우챠트이다.
본 실시예에 따른 디지털 촬영장치의 제어방법이 도 6을 참조하여 전술한 제2실시예에 따른 디지털 촬영장치의 제어방법과 상이한 점은, S30 단계 이후 오류데이터를 획득하는 단계(S50)를 거치며, 제1가중치데이터를 획득하는 단계(S60')에서 오류데이터를 이용하는 수학식 6에 따라 제1가중치데이터를 획득한다는 것이다. 물론 S30 단계와 S50 단계의 순서가 바뀔 수도 있으며, 두 단계가 병렬적으로 이루어질 수도 있다.
S50 단계에서는 제j이미지데이터의 i번째 화소의 휘도데이터를 Ii,j, 제j이미 지데이터에서 제k레벨과 제k+1레벨을 구분하게 되는 화소의 휘도데이터를 Tj,k라 할 시, 오류데이터 Ei,j를 전술한 수학식 5에 따라 획득하되, 제1이미지데이터 내지 제P이미지데이터 각각의 모든 화소에 부과되는 오류데이터를 획득한다. S60' 단계에서는 이와 같은 오류데이터까지 고려하여 제j이미지데이터의 i번째 화소에 부과되는 제1가중치데이터 MEi,j를 전술한 수학식 6에 따라 획득하되, 제1이미지데이터 내지 제P이미지데이터 각각의 모든 화소에 부과되는 제1가중치데이터를 획득한다. 오류데이터를 획득하는 것과 오류데이터를 고려하여 제1가중치데이터를 획득하는 것은 전술한 제5실시예에서의 설명을 참조할 수 있다.
이와 같은 본 실시예에 따른 디지털 촬영장치의 제어방법에 따르면, 제1이미지 내지 제P이미지 중 제R이미지 외의 이미지들의 경우, 움직임영역에 속하는 화소들에는 가중치를 작게 주고 움직임영역에 속하지 않는 화소들에는 가중치를 크게 주며 오류가 발생할 수 있는 화소들에는 그 사이에 해당하는 가중치를 부여함으로써, 고품질의 최종이미지에 대응하는 최종이미지데이터를 획득할 수 있도록 한다. 최종이미지데이터를 획득하기 위하여 제1가중치데이터 MEi,j를 이용하는 단계(S70)는 전술한 제2실시예에서 설명한 바와 같다.
이하에서는 본 발명의 제7실시예에 따른 디지털 촬영장치에 대해 설명한다.
본 실시예에 따른 디지털 촬영장치가 전술한 제5실시예에 따른 디지털 촬영장치와 상이한 점은 움직임데이터 획득부(53)가 움직임데이터 Mi,j를 클러스터링한 다는 것이다. 즉, 본 실시예에 따른 디지털 촬영장치의 움직임데이터 획득부(53)는 제5실시예에 따른 디지털 촬영장치에서와 마찬가지로, 노출을 상이하게 하여 획득한 제1이미지데이터 내지 제P이미지데이터 중 적정 노출에서 획득한 이미지데이터를 제R이미지데이터라 할 시, 제j이미지데이터로부터의 제j이미지의 i번째 화소에 부과되는 움직임데이터 Mi,j를 전술한 수학식 1에 따라 획득하되, 제1이미지데이터 내지 제P이미지데이터 각각의 모든 화소에 부과되는 움직임데이터를 획득한다.
그 후, 본 실시예에 따른 디지털 촬영장치의 움직임데이터 획득부(53)는, 제1이미지데이터 내지 제P이미지데이터 중 제R이미지데이터 외의 이미지데이터에 있어서, 0의 움직임데이터를 갖는 화소가 1의 움직임데이터를 갖는 화소들에 둘러싸여 있을 시 해당 0의 움직임데이터를 갖는 화소의 움직임데이터를 1로 수정하고, 1의 움직임데이터를 갖는 화소가 0의 움직임데이터를 갖는 화소들에 둘러싸여 있을 시 해당 1의 움직임데이터를 갖는 화소의 움직임데이터를 0으로 수정하여, 제j이미지데이터의 i번째 화소에 부과되는 움직임데이터 Mi,j를 최종적으로 획득한다.
디지털 촬영장치의 촬상소자(30)가 데이터를 획득함에 있어서 노이즈 등이 발생할 수도 있으며, 이 경우 노이즈가 발생한 화소는 이상적인 경우의 휘도가 아니라 잘못된 휘도를 가져, 노이즈가 발생한 화소에 이상적인 경우의 움직임데이터가 아닌 잘못된 움직임데이터가 부여될 수 있다. 이러한 노이즈가 발생하는 화소는 국부적으로 존재하므로, 상기와 같은 클러스터링을 통해 노이즈가 발생한 화소에 잘못된 움직임데이터가 부여되는 것을 효과적으로 방지할 수 있다.
이러한 본 실시예에 따른 디지털 촬영장치의 경우, 최종이미지데이터 획득부(59)가 최종이미지데이터를 획득하기 위하여 제1이미지데이터 내지 제P이미지데이터를 합성할 시, 제1이미지 내지 제P이미지 중 제R이미지 외의 이미지들의 화소들 중 움직임영역에 속하는 각 화소의 데이터의 영향을 효과적으로 줄임으로써, 다이나믹 레인지가 넓으면서도 계조가 우수한 이미지에 관한 데이터를 획득할 수 있도록 한다. 또한 노이즈에 의해 움직임데이터를 잘못 부여하는 것을 효과적으로 방지하여, 고품질의 최종이미지를 획득할 수 있도록 한다.
도 11은 본 발명의 제8실시예에 따른 디지털 촬영장치의 제어방법을 개략적으로 도시하는 플로우챠트이다.
본 실시예에 따른 디지털 촬영장치의 제어방법이 도 10을 참조하여 설명한 전술한 제6실시예에 따른 디지털 촬영장치의 제어방법과 상이한 것은, S30 단계에서 움직임데이터 Mi ,j를 수학식 1에 따라 획득한 후, 움직임데이터를 클러스터링한다는 것이다. 즉, 제j이미지데이터의 i번째 화소에 부과되는 움직임데이터 Mi ,j를 수학식 1에 따라 획득하는 단계를 거친 후(S30), 제1이미지데이터 내지 제P이미지데이터 중 제R이미지데이터 외의 이미지데이터에 있어서, 0의 움직임데이터를 갖는 화소가 1의 움직임데이터를 갖는 화소들에 둘러싸여 있을 시 해당 0의 움직임데이터를 갖는 화소의 움직임데이터를 1로 수정하고, 1의 움직임데이터를 갖는 화소가 0의 움직임데이터를 갖는 화소들에 둘러싸여 있을 시 해당 1의 움직임데이터를 갖는 화소의 움직임데이터를 0으로 수정하여, 제j이미지데이터의 i번째 화소에 부과 되는 움직임데이터 Mi,j를 획득하는 단계(S40)를 거친다.
이러한 본 실시예에 따른 디지털 촬영장치의 제어방법의 경우, 최종이미지데이터를 획득하기 위하여 제1이미지데이터 내지 제P이미지데이터를 합성할 시, 제1이미지 내지 제P이미지 중 제R이미지 외의 이미지들의 화소들 중 움직임영역에 속하는 각 화소의 데이터의 영향을 효과적으로 줄임으로써, 다이나믹 레인지가 넓으면서도 계조가 우수한 이미지에 관한 데이터를 획득할 수 있도록 한다. 또한 노이즈에 의해 움직임데이터를 잘못 부여하는 것을 효과적으로 방지하여, 고품질의 최종이미지를 획득할 수 있도록 한다.
도 12a는 움직임영역의 고려 없이 단순히 복수개의 이미지데이터들을 합성하여 최종이미지를 획득하는 디지털 촬영장치로 획득한 최종이미지의 일부분을 개략적으로 확대하여 도시한 개념도이고, 도 12b는 본 발명의 제7실시예에 따른 디지털 촬영장치로 획득한 최종이미지의 일부분을 개략적으로 확대하여 도시한 개념도이다. 물론 도 12b는 도 11에 도시된 본 발명의 제8실시예에 따른 제어방법으로 획득한 최종이미지의 일부분을 개략적으로 도시하는 개념도일 수도 있다. 도 12b는 최종이미지의 일부분인 작은 부분을 의도적으로 확대한 것임을 고려해야 한다. 도 12a에서는 인물의 눈, 코 및 입 등이 명확하지 않게 나타나지만 도 12b에서는 상대적으로 선명하게 나타남을 알 수 있다.
전술한 바와 같은 실시예들 및 그 변형예들에 따른 제어방법을 디지털 촬영장치에서 실행시키기 위한 프로그램은 기록매체에 저장될 수 있다. 여기서 기록매 체라 함은 예컨대 도 1에 도시된 것과 같은 저장매체(70)일 수도 있고, 도 1에 도시된 것과 같은 메모리(60)일 수도 있으며, 이와 다른 별도의 기록매체일 수도 있다. 여기서 기록매체는 마그네틱 저장매체(예컨대, 롬(ROM), 플로피 디스크, 하드디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc))와 같은 저장매체를 포함한다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 디지털 촬영장치를 개략적으로 도시하는 블록도이다.
도 2는 도 1의 일부분을 개략적으로 도시하는 블록도이다.
도 3a 내지 도 3c는 노출이 상이하도록 노출을 증가시키며 획득한 제1이미지데이터 내지 제3이미지데이터로부터의 이미지들을 개략적으로 도시하는 개념도들이다.
도 4a 내지 도 4c는 제1이미지데이터 내지 제3이미지데이터에서 멀티레벨문턱맵 생성부가 분류한 레벨들에 따라 화소들을 개략적으로 표시한 제1멀티레벨문턱맵 내지 제3멀티레벨문턱맵이다.
도 5a 및 도 5b는 움직임데이터 획득부가 획득한 움직임데이터에 따라 제1이미지데이터로부터의 이미지 및 제3이미지데이터로부터의 이미지에서 움직임영역으로 판단된 부분을 개략적으로 밝게 표시한 제1움직임이미지 및 제3움직임이미지이다.
도 6은 본 발명의 다른 일 실시예에 따른 디지털 촬영장치의 제어방법을 개략적으로 도시하는 플로우챠트이다.
도 7a 및 도 7b는 본 발명의 또 다른 일 실시예에 따른 디지털 촬영장치의 움직임데이터 획득부가 획득한 움직임데이터에 따라 제1이미지데이터로부터의 이미지 및 제3이미지데이터로부터의 이미지에서 움직임영역으로 판단된 부분을 개략적으로 밝게 표시한 제1움직임이미지 및 제3움직임이미지이다.
도 8은 본 발명의 또 다른 일 실시예에 따른 디지털 촬영장치의 제어방법을 개략적으로 도시하는 플로우챠트이다.
도 9는 본 발명의 또 다른 일 실시예에 따른 디지털 촬영장치의 일부분을 개략적으로 도시하는 블록도이다.
도 10은 본 발명의 또 다른 일 실시예에 따른 디지털 촬영장치의 제어방법을 개략적으로 도시하는 플로우챠트이다.
도 11은 본 발명의 또 다른 일 실시예에 따른 디지털 촬영장치의 제어방법을 개략적으로 도시하는 플로우챠트이다.
도 12a는 통상적인 제어방법으로 획득한 최종이미지의 일부분을 개략적으로 도시하는 개념도이고, 도 12b는 도 11에 도시된 제어방법으로 획득한 최종이미지의 일부분을 개략적으로 도시하는 개념도이다.
<도면의 주요 부분에 대한 부호의 설명>
10: 렌즈 11: 렌즈 구동부
20: 조리개 21: 조리개 구동부
30: 촬상소자 31: 촬상소자 제어부
40: A/D 변환부 50: 디지털 신호 처리부
51: 멀티레벨문턱맵 생성부 53: 움직임데이터 획득부
55: 오류데이터 획득부 57: 제1가중치데이터 획득부
59: 최종이미지데이터 획득부 60: 메모리
71: 저장/판독 제어부 70: 저장매체
81: 디스플레이 제어부 80: 디스플레이부
100: CPU 200: 조작부

Claims (17)

  1. 노출이 상이하도록, 노출을 증가시키며 제1이미지데이터 내지 제P이미지데이터를 획득하는 촬상소자(P: 양의 정수);
    제j이미지데이터에 있어서, i번째 화소가 제1레벨 내지 제N레벨의 N개의 레벨 중 어느 한 레벨에 속하도록 휘도에 따라 분류하여 i번째 화소에 i번째 화소가 속하는 레벨인 레벨값 Li,j를 부여하되 각 레벨에 속하는 화소들의 개수가 균등하도록 모든 화소들을 분류하며, 제1이미지데이터 내지 제P이미지데이터 각각에 대해 분류하는 멀티레벨문턱맵(multi-level threshold map) 생성부(N: 양의 정수);
    제1이미지데이터 내지 제P이미지데이터 중 적정 노출에서 획득한 이미지데이터를 제R이미지데이터라 할 시, 제j이미지데이터의 i번째 화소에 부과되는 움직임데이터 Mi,j를 하기 수학식 1에 따라 획득하되, 제1이미지데이터 내지 제P이미지데이터 각각의 모든 화소에 부과되는 움직임데이터를 획득하는 움직임데이터 획득부;
    제j이미지데이터의 i번째 화소에 부과되는 제1가중치데이터 MEi,j를 하기 수학식 2에 따라 획득하되, 제1이미지데이터 내지 제P이미지데이터 각각의 모든 화소에 부과되는 제1가중치데이터를 획득하는 제1가중치데이터 획득부; 및
    제1가중치데이터 MEi,j를 부가하여 제1이미지데이터 내지 제P이미지데이터의 i번째 화소들의 데이터를 합성하여 최종이미지데이터의 i번째 화소의 데이터를 획득함으로써, 최종이미지데이터의 화소들의 데이터를 획득하는 최종이미지데이터 획 득부;를 구비하는 것을 특징으로 하는 디지털 촬영장치:
    [수학식 1]
    Figure 112009039049772-pat00018
    [수학식 2]
    Figure 112009039049772-pat00019
  2. 제1항에 있어서,
    상기 디지털 촬영장치의 응답함수를 f(x), 제j이미지데이터 획득시의 노출시간을 Δtj, 제j이미지데이터의 i번째 화소의 m채널 데이터를 zi,m,j, 제j이미지데이터에서 화소들의 m채널 데이터 중 최대값을 zmax,m,j, 최소값을 zmin,m,j라 할 시,
    상기 최종이미지데이터 획득부는, 하기 수학식 3에 따라 결정된 제2가중치 w(zi,m,j)를 이용하여 하기 수학식 4에 따라 i번째 화소의 m채널 데이터가 Ei,m인 최종이미지데이터를 획득하는 것을 특징으로 하는 디지털 촬영장치:
    [수학식 3]
    Figure 112009039049772-pat00020
    [수학식 4]
    Figure 112009039049772-pat00021
  3. 제1항에 있어서,
    상기 멀티레벨문턱맵 생성부는 휘도가 가장 낮은 화소부터 제1레벨에 속하도록 하여 휘도가 가장 높은 화소가 제N레벨에 속하도록 분류하는 것을 특징으로 하는 디지털 촬영장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 움직임데이터 획득부는, 제j이미지데이터의 i번째 화소에 부과되는 움직임데이터 Mi,j를 수학식 1에 따라 획득한 후,
    제1이미지데이터 내지 제P이미지데이터 중 제R이미지데이터 외의 이미지데이터에 있어서, 0의 움직임데이터를 갖는 화소가 1의 움직임데이터를 갖는 화소들에 둘러싸여 있을 시 해당 0의 움직임데이터를 갖는 화소의 움직임데이터를 1로 수정하고, 1의 움직임데이터를 갖는 화소가 0의 움직임데이터를 갖는 화소들에 둘러싸여 있을 시 해당 1의 움직임데이터를 갖는 화소의 움직임데이터를 0으로 수정하여, 제j이미지데이터의 i번째 화소에 부과되는 움직임데이터 Mi,j를 획득하는 것을 특징으로 하는 디지털 촬영장치.
  5. 노출이 상이하도록, 노출을 증가시키며 제1이미지데이터 내지 제P이미지데이터를 획득하는 촬상소자(P: 양의 정수);
    제j이미지데이터에 있어서, i번째 화소가 제1레벨 내지 제N레벨의 N개의 레벨 중 어느 한 레벨에 속하도록 휘도에 따라 분류하여 i번째 화소에 i번째 화소가 속하는 레벨인 레벨값 Li,j를 부여하되 각 레벨에 속하는 화소들의 개수가 균등하도록 모든 화소들을 분류하며, 제1이미지데이터 내지 제P이미지데이터 각각에 대해 분류하는 멀티레벨문턱맵(multi-level threshold map) 생성부(N: 양의 정수);
    제1이미지데이터 내지 제P이미지데이터 중 적정 노출에서 획득한 이미지데이터를 제R이미지데이터라 할 시, 제j이미지데이터의 i번째 화소에 부과되는 움직임데이터 Mi,j를 하기 수학식 1에 따라 획득하되, 제1이미지데이터 내지 제P이미지데이터 각각의 모든 화소에 부과되는 움직임데이터를 획득하는 움직임데이터 획득부;
    제j이미지데이터의 i번째 화소의 휘도데이터를 Ii,j, 제j이미지데이터에서 제k레벨과 제k+1레벨을 구분하게 되는 화소의 휘도데이터를 Tj,k라 할 시, 오류데이터 Ei,j를 하기 수학식 5에 따라 획득하되, 제1이미지데이터 내지 제P이미지데이터 각각의 모든 화소에 부과되는 오류데이터를 획득하는 오류데이터 획득부;
    제j이미지데이터의 i번째 화소에 부과되는 제1가중치데이터 MEi,j를 하기 수학식 6에 따라 획득하되, 제1이미지데이터 내지 제P이미지데이터 각각의 모든 화소 에 부과되는 제1가중치데이터를 획득하는 제1가중치데이터 획득부; 및
    제1가중치데이터 MEi,j를 부가하여 제1이미지데이터 내지 제P이미지데이터의 i번째 화소들의 데이터를 합성하여 최종이미지데이터의 i번째 화소의 데이터를 획득함으로써, 최종이미지데이터의 화소들의 데이터를 획득하는 최종이미지데이터 획득부;를 구비하는 것을 특징으로 하는 디지털 촬영장치:
    [수학식 1]
    Figure 112009039049772-pat00022
    [수학식 5]
    Figure 112009039049772-pat00023
    Figure 112009039049772-pat00024
    [수학식 6]
    Figure 112009039049772-pat00025
    Figure 112009039049772-pat00026
  6. 제5항에 있어서,
    상기 디지털 촬영장치의 응답함수를 f(x), 제j이미지데이터 획득시의 노출시간을 Δtj, 제j이미지데이터의 i번째 화소의 m채널 데이터를 zi,m,j, 제j이미지데이터에서 화소들의 m채널 데이터 중 최대값을 zmax,m,j, 최소값을 zmin,m,j라 할 시,
    상기 최종이미지데이터 획득부는, 하기 수학식 3에 따라 결정된 제2가중치 w(zi,m,j)를 이용하여 하기 수학식 4에 따라 i번째 화소의 m채널 데이터가 Ei,m인 최종이미지데이터를 획득하는 것을 특징으로 하는 디지털 촬영장치:
    [수학식 3]
    Figure 112009039049772-pat00027
    [수학식 4]
    Figure 112009039049772-pat00028
  7. 제5항에 있어서,
    상기 멀티레벨문턱맵 생성부는 휘도가 가장 낮은 화소부터 제1레벨에 속하도록 하여 휘도가 가장 높은 화소가 제N레벨에 속하도록 분류하는 것을 특징으로 하는 디지털 촬영장치.
  8. 제5항 내지 제7항 중 어느 한 항에 있어서,
    상기 움직임데이터 획득부는, 제j이미지데이터의 i번째 화소에 부과되는 움직임데이터 Mi,j를 수학식 1에 따라 획득한 후,
    제1이미지데이터 내지 제P이미지데이터 중 제R이미지데이터 외의 이미지데이 터에 있어서, 0의 움직임데이터를 갖는 화소가 1의 움직임데이터를 갖는 화소들에 둘러싸여 있을 시 해당 0의 움직임데이터를 갖는 화소의 움직임데이터를 1로 수정하고, 1의 움직임데이터를 갖는 화소가 0의 움직임데이터를 갖는 화소들에 둘러싸여 있을 시 해당 1의 움직임데이터를 갖는 화소의 움직임데이터를 0으로 수정하여, 제j이미지데이터의 i번째 화소에 부과되는 움직임데이터 Mi,j를 획득하는 것을 특징으로 하는 디지털 촬영장치.
  9. (a) 노출이 상이하도록, 노출을 증가시키며 제1이미지데이터 내지 제P이미지데이터를 획득하는 단계(P: 양의 정수);
    (b) 제j이미지데이터에 있어서, i번째 화소가 제1레벨 내지 제N레벨의 N개의 레벨 중 어느 한 레벨에 속하도록 휘도에 따라 분류하여 i번째 화소에 i번째 화소가 속하는 레벨인 레벨값 Li,j를 부여하되 각 레벨에 속하는 화소들의 개수가 균등하도록 모든 화소들을 분류하며, 제1이미지데이터 내지 제P이미지데이터 각각에 대해 분류하는 단계(N: 양의 정수);
    (c) 제1이미지데이터 내지 제P이미지데이터 중 적정 노출에서 획득한 이미지데이터를 제R이미지데이터라 할 시, 제j이미지데이터의 i번째 화소에 부과되는 움직임데이터 Mi,j를 하기 수학식 1에 따라 획득하되, 제1이미지데이터 내지 제P이미지데이터 각각의 모든 화소에 부과되는 움직임데이터를 획득하는 단계;
    (d) 제j이미지데이터의 i번째 화소에 부과되는 제1가중치데이터 MEi,j를 하기 수학식 2에 따라 획득하되, 제1이미지데이터 내지 제P이미지데이터 각각의 모든 화소에 부과되는 제1가중치데이터를 획득하는 단계; 및
    (e) 제1가중치데이터 MEi,j를 부가하여 제1이미지데이터 내지 제P이미지데이터의 i번째 화소들의 데이터를 합성하여 최종이미지데이터의 i번째 화소의 데이터를 획득함으로써, 최종이미지데이터의 화소들의 데이터를 획득하는 단계;를 포함하는 것을 특징으로 하는 디지털 촬영장치의 제어방법:
    [수학식 1]
    Figure 112009039049772-pat00029
    [수학식 2]
    Figure 112009039049772-pat00030
  10. 제9항에 있어서,
    상기 디지털 촬영장치의 응답함수를 f(x), 제j이미지데이터 획득시의 노출시간을 Δtj, 제j이미지데이터의 i번째 화소의 m채널 데이터를 zi,m,j, 제j이미지데이터에서 화소들의 m채널 데이터 중 최대값을 zmax,m,j, 최소값을 zmin,m,j라 할 시,
    상기 (e) 단계는, 하기 수학식 3에 따라 결정된 제2가중치 w(zi,m,j)를 이용하여 하기 수학식 4에 따라 i번째 화소의 m채널 데이터가 Ei,m인 최종이미지데이터를 획득하는 단계인 것을 특징으로 하는 디지털 촬영장치의 제어방법:
    [수학식 3]
    Figure 112009039049772-pat00031
    [수학식 4]
    Figure 112009039049772-pat00032
  11. 제9항에 있어서,
    상기 (b) 단계는 휘도가 가장 낮은 화소부터 제1레벨에 속하도록 하여 휘도가 가장 높은 화소가 제N레벨에 속하도록 분류하는 단계인 것을 특징으로 하는 디지털 촬영장치 제어방법.
  12. 제9항에 있어서,
    상기 (c) 단계는, 제j이미지데이터의 i번째 화소에 부과되는 움직임데이터 Mi,j를 수학식 1에 따라 획득한 후,
    제1이미지데이터 내지 제P이미지데이터 중 제R이미지데이터 외의 이미지데이터에 있어서, 0의 움직임데이터를 갖는 화소가 1의 움직임데이터를 갖는 화소들에 둘러싸여 있을 시 해당 0의 움직임데이터를 갖는 화소의 움직임데이터를 1로 수정 하고, 1의 움직임데이터를 갖는 화소가 0의 움직임데이터를 갖는 화소들에 둘러싸여 있을 시 해당 1의 움직임데이터를 갖는 화소의 움직임데이터를 0으로 수정하여, 제j이미지데이터의 i번째 화소에 부과되는 움직임데이터 Mi,j를 획득하는 단계인 것을 특징으로 하는 디지털 촬영장치의 제어방법.
  13. (a) 노출이 상이하도록, 노출을 증가시키며 제1이미지데이터 내지 제P이미지데이터를 획득하는 단계(P: 양의 정수);
    (b) 제j이미지데이터에 있어서, i번째 화소가 제1레벨 내지 제N레벨의 N개의 레벨 중 어느 한 레벨에 속하도록 휘도에 따라 분류하여 i번째 화소에 i번째 화소가 속하는 레벨인 레벨값 Li,j를 부여하되 각 레벨에 속하는 화소들의 개수가 균등하도록 모든 화소들을 분류하며, 제1이미지데이터 내지 제P이미지데이터 각각에 대해 분류하는 단계(N: 양의 정수);
    (c) 제1이미지데이터 내지 제P이미지데이터 중 적정 노출에서 획득한 이미지데이터를 제R이미지데이터라 할 시, 제j이미지데이터의 i번째 화소에 부과되는 움직임데이터 Mi,j를 하기 수학식 1에 따라 획득하되, 제1이미지데이터 내지 제P이미지데이터 각각의 모든 화소에 부과되는 움직임데이터를 획득하는 단계;
    (d) 제j이미지데이터의 i번째 화소의 휘도데이터를 Ii,j, 제j이미지데이터에서 제k레벨과 제k+1레벨을 구분하게 되는 화소의 휘도데이터를 Tj,k라 할 시, 오류 데이터 Ei,j를 하기 수학식 5에 따라 획득하되, 제1이미지데이터 내지 제P이미지데이터 각각의 모든 화소에 부과되는 오류데이터를 획득하는 단계;
    (e) 제j이미지데이터의 i번째 화소에 부과되는 제1가중치데이터 MEi,j를 하기 수학식 6에 따라 획득하되, 제1이미지데이터 내지 제P이미지데이터 각각의 모든 화소에 부과되는 제1가중치데이터를 획득하는 단계; 및
    (f) 제1가중치데이터 MEi,j를 부가하여 제1이미지데이터 내지 제P이미지데이터의 i번째 화소들의 데이터를 합성하여 최종이미지데이터의 i번째 화소의 데이터를 획득함으로써, 최종이미지데이터의 화소들의 데이터를 획득하는 단계;를 포함하는 것을 특징으로 하는 디지털 촬영장치의 제어방법:
    [수학식 1]
    Figure 112009039049772-pat00033
    [수학식 5]
    Figure 112009039049772-pat00034
    Figure 112009039049772-pat00035
    [수학식 6]
    Figure 112009039049772-pat00036
    Figure 112009039049772-pat00037
  14. 제13항에 있어서,
    상기 디지털 촬영장치의 응답함수를 f(x), 제j이미지데이터 획득시의 노출시간을 Δtj, 제j이미지데이터의 i번째 화소의 m채널 데이터를 zi,m,j, 제j이미지데이터에서 화소들의 m채널 데이터 중 최대값을 zmax,m,j, 최소값을 zmin,m,j라 할 시,
    상기 (f) 단계는, 하기 수학식 3에 따라 결정된 제2가중치 w(zi,m,j)를 이용하여 하기 수학식 4에 따라 i번째 화소의 m채널 데이터가 Ei,m인 최종이미지데이터를 획득하는 단계를 포함하는 것을 특징으로 하는 디지털 촬영장치의 제어방법:
    [수학식 3]
    Figure 112009039049772-pat00038
    [수학식 4]
    Figure 112009039049772-pat00039
  15. 제14항에 있어서,
    상기 (b) 단계는 휘도가 가장 낮은 화소부터 제1레벨에 속하도록 하여 휘도가 가장 높은 화소가 제N레벨에 속하도록 분류하는 단계인 것을 특징으로 하는 디지털 촬영장치 제어방법.
  16. 제14항에 있어서,
    상기 (c) 단계는, 제j이미지데이터의 i번째 화소에 부과되는 움직임데이터 Mi,j를 수학식 1에 따라 획득한 후,
    제1이미지데이터 내지 제P이미지데이터 중 제R이미지데이터 외의 이미지데이터에 있어서, 0의 움직임데이터를 갖는 화소가 1의 움직임데이터를 갖는 화소들에 둘러싸여 있을 시 해당 0의 움직임데이터를 갖는 화소의 움직임데이터를 1로 수정하고, 1의 움직임데이터를 갖는 화소가 0의 움직임데이터를 갖는 화소들에 둘러싸여 있을 시 해당 1의 움직임데이터를 갖는 화소의 움직임데이터를 0으로 수정하여, 제j이미지데이터의 i번째 화소에 부과되는 움직임데이터 Mi,j를 획득하는 단계인 것을 특징으로 하는 디지털 촬영장치의 제어방법.
  17. 제9항 내지 제16항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 저장한 기록매체.
KR1020090057723A 2009-06-26 2009-06-26 디지털 촬영장치, 그 제어방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체 KR101551690B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090057723A KR101551690B1 (ko) 2009-06-26 2009-06-26 디지털 촬영장치, 그 제어방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체
US12/823,386 US8373767B2 (en) 2009-06-26 2010-06-25 Digital photographing apparatus, method of controlling the digital photographing apparatus, and recording medium storing program to implement the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090057723A KR101551690B1 (ko) 2009-06-26 2009-06-26 디지털 촬영장치, 그 제어방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체

Publications (2)

Publication Number Publication Date
KR20110000293A KR20110000293A (ko) 2011-01-03
KR101551690B1 true KR101551690B1 (ko) 2015-09-09

Family

ID=43380285

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090057723A KR101551690B1 (ko) 2009-06-26 2009-06-26 디지털 촬영장치, 그 제어방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체

Country Status (2)

Country Link
US (1) US8373767B2 (ko)
KR (1) KR101551690B1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10721405B2 (en) 2004-03-25 2020-07-21 Clear Imaging Research, Llc Method and apparatus for implementing a digital graduated filter for an imaging apparatus
WO2005093654A2 (en) 2004-03-25 2005-10-06 Fatih Ozluturk Method and apparatus to correct digital image blur due to motion of subject or imaging device
US9826159B2 (en) * 2004-03-25 2017-11-21 Clear Imaging Research, Llc Method and apparatus for implementing a digital graduated filter for an imaging apparatus
US8873882B2 (en) * 2011-02-28 2014-10-28 Aptina Imaging Corporation Blooming filter for multiple exposure high dynamic range image sensors
JP5050256B1 (ja) * 2011-06-21 2012-10-17 オリンパス株式会社 撮像装置及び撮像方法
US20130044237A1 (en) * 2011-08-15 2013-02-21 Broadcom Corporation High Dynamic Range Video
KR20130031574A (ko) * 2011-09-21 2013-03-29 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
US9129414B2 (en) * 2011-10-14 2015-09-08 Morpho, Inc. Image compositing apparatus, image compositing method, image compositing program, and recording medium
KR101711370B1 (ko) 2012-10-29 2017-03-02 삼성전자주식회사 영상 처리 방법 및 장치
GB2510146B (en) * 2013-01-25 2017-11-15 Stephens Patricia Combined grooming and massage device
US10178329B2 (en) 2014-05-27 2019-01-08 Rambus Inc. Oversampled high dynamic-range image sensor
CN105991939A (zh) * 2015-06-19 2016-10-05 乐视移动智能信息技术（北京）有限公司 图像处理的方法和装置
CN108900783B (zh) * 2018-09-03 2020-11-10 北京控制工程研究所 一种适用于大温差工作场景的自动曝光方法
CN111950510B (zh) * 2020-08-26 2023-10-03 上海申瑞继保电气有限公司 高压开关分合指示牌图像识别方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5508751A (en) 1993-12-10 1996-04-16 Nikon Corporation Recursive noise reduction device for reducing noise of stationary regions in moving images

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS592227B2 (ja) * 1978-08-21 1984-01-17 株式会社日立製作所 雑音除去方式
US6429895B1 (en) * 1996-12-27 2002-08-06 Canon Kabushiki Kaisha Image sensing apparatus and method capable of merging function for obtaining high-precision image by synthesizing images and image stabilization function
JP4392584B2 (ja) * 2003-06-27 2010-01-06 ソニー株式会社 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体
KR20070053230A (ko) * 2004-08-23 2007-05-23 소니 가부시끼 가이샤 촬상 장치, 촬상 결과의 처리 방법 및 집적회로
JP2008042659A (ja) * 2006-08-08 2008-02-21 Sony Corp 画像処理装置および方法、プログラム、並びにプログラム格納媒体
EP1944732A3 (en) * 2007-01-12 2010-01-27 Sanyo Electric Co., Ltd. Apparatus and method for blur detection, and apparatus and method for blur correction
US8144214B2 (en) * 2007-04-18 2012-03-27 Panasonic Corporation Imaging apparatus, imaging method, integrated circuit, and storage medium
KR100936862B1 (ko) * 2007-12-31 2010-01-15 삼성에스디아이 주식회사 디스플레이 계조 표현 장치 및 계조 표현 방법
JP4483962B2 (ja) * 2008-03-25 2010-06-16 ソニー株式会社 撮像装置、撮像方法
US20100091119A1 (en) * 2008-10-10 2010-04-15 Lee Kang-Eui Method and apparatus for creating high dynamic range image

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5508751A (en) 1993-12-10 1996-04-16 Nikon Corporation Recursive noise reduction device for reducing noise of stationary regions in moving images

Also Published As

Publication number Publication date
US8373767B2 (en) 2013-02-12
KR20110000293A (ko) 2011-01-03
US20100328482A1 (en) 2010-12-30

Similar Documents

Publication Publication Date Title
KR101551690B1 (ko) 디지털 촬영장치, 그 제어방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체
US20200329187A1 (en) Method of Image Processing Based on Plurality of Frames of Images, Electronic Device, and Storage Medium
WO2020038069A1 (zh) 曝光控制方法、装置和电子设备
JP5898466B2 (ja) 撮像装置、その制御方法、及びプログラム
JP5791336B2 (ja) 画像処理装置及びその制御方法
WO2020038072A1 (zh) 曝光控制方法、装置和电子设备
Phillips et al. Camera image quality benchmarking
JP4293174B2 (ja) 撮像装置および画像処理装置
CN109005361A (zh) 控制方法、装置、成像设备、电子设备及可读存储介质
US9070044B2 (en) Image adjustment
CN106358030B (zh) 图像处理装置和图像处理方法
US11508038B2 (en) Image processing method, storage medium, image processing apparatus, learned model manufacturing method, and image processing system
CN103685968A (zh) 图像处理装置及图像处理方法
CN110166709A (zh) 夜景图像处理方法、装置、电子设备以及存储介质
US20150036017A1 (en) Imaging control unit, imaging apparatus, and method for controlling an imaging apparatus
US20120020550A1 (en) Image processing apparatus and method, and program
US9672650B2 (en) Image processing apparatus, image processing method, and storage medium
JP2013162347A (ja) 画像処理装置、画像処理方法、プログラム、および装置
CN113643214A (zh) 一种基于人工智能的图像曝光校正方法及系统
CN109478316A (zh) 实时自适应阴影和高光增强
WO2019124289A1 (ja) 装置、制御方法および記憶媒体
US20200389631A1 (en) Image processing apparatus and method
JP2009200743A (ja) 画像処理装置および画像処理方法および画像処理プログラムおよび撮像装置
CN111031256B (zh) 图像处理方法、装置、存储介质及电子设备
WO2022044367A1 (ja) 機械学習装置及び遠赤外線撮像装置

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180702

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180830

Year of fee payment: 5