KR20090089071A - 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체 - Google Patents

디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체 Download PDF

Info

Publication number
KR20090089071A
KR20090089071A KR1020080014419A KR20080014419A KR20090089071A KR 20090089071 A KR20090089071 A KR 20090089071A KR 1020080014419 A KR1020080014419 A KR 1020080014419A KR 20080014419 A KR20080014419 A KR 20080014419A KR 20090089071 A KR20090089071 A KR 20090089071A
Authority
KR
South Korea
Prior art keywords
image
data
subject
equation
motion vector
Prior art date
Application number
KR1020080014419A
Other languages
English (en)
Other versions
KR101442610B1 (ko
Inventor
장순근
곽진표
안은선
Original Assignee
삼성디지털이미징 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성디지털이미징 주식회사 filed Critical 삼성디지털이미징 주식회사
Priority to KR1020080014419A priority Critical patent/KR101442610B1/ko
Priority to US12/322,581 priority patent/US8350955B2/en
Priority to CN2009100075435A priority patent/CN101516001B/zh
Publication of KR20090089071A publication Critical patent/KR20090089071A/ko
Application granted granted Critical
Publication of KR101442610B1 publication Critical patent/KR101442610B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 촬영 중의 디지털 촬영장치의 흔들림에도 불구하고 선명한 이미지를 얻을 수 있는 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체를 위하여, (i) 긴 노출을 통한 피사체의 제1이미지에 대한 제1데이터와, 짧은 노출을 통한 피사체의 제2이미지에 대한 제2데이터를 획득하는 데이터 획득부와, (ii) 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치 사이의 모션 벡터(motion vector)를 추출하는 모션 벡터 추출부와, (iii) 제1이미지에서의 블러(blur) 존재여부를 판단하는 블러 판단부와, (iv) 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치가 동일한지 여부를 판단하는 피사체 위치 판단부와, (v) 제1데이터 중의 색상 데이터와 제2데이터 중의 색상 데이터를 합성한 색상 데이터와, 제2데이터 중의 휘도 데이터를 갖는 데이터를 최종 데이터로 생성하는 데이터 합성부를 구비하는 것을 특징으로 하는 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체를 제공한다.

Description

디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체{Digital photographing apparatus, method for controlling the same, and recording medium storing program to implement the method}
본 발명은 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체에 관한 것으로서, 더 상세하게는 촬영 중의 디지털 촬영장치의 흔들림에도 불구하고 선명한 이미지를 얻을 수 있는 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체에 관한 것이다.
일반적으로 디지털 촬영장치는 촬영모드에서 촬영동작에 의하여 얻어진 이미지에 대한 데이터를 저장매체에 저장하고, 이 저장매체에 저장되어 있는 데이터를 이용하여 이미지를 디스플레이부에 디스플레이하기도 한다.
이러한 디지털 촬영장치의 보급이 확대됨에 따라, 고품질의 이미지를 얻고자 하는 소비자들의 욕구가 증대되고 있다. 그러나 종래의 디지털 촬영장치의 경우, 외부의 진동이나 사용자의 손떨림 등으로부터 유발된 디지털 촬영장치의 흔들림이 있을 시, 촬영된 이미지의 선명도가 현저하게 저하된다는 문제점이 있었다. 특히, 낮은 주변 밝기 환경(low ambient light condition) 하에서는 셔터스피드가 느려짐에 따라 디지털 촬영장치의 촬상소자가 광에 노출되는 시간이 길어지고, 이에 따라 디지털 촬영장치의 촬상소자가 광에 노출되어 있는 동안 디지털 촬영장치가 흔들려, 촬영된 이미지의 선명도가 현저하게 저하된다는 문제점이 있었다.
본 발명은 상기와 같은 문제점을 포함하여 여러 문제점들을 해결하기 위한 것으로서, 촬영 중의 디지털 촬영장치의 흔들림에도 불구하고 선명한 이미지를 얻을 수 있는 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체를 제공하는 것을 목적으로 한다.
본 발명은 (i) 긴 노출을 통한 피사체의 제1이미지에 대한 제1데이터와, 짧은 노출을 통한 피사체의 제2이미지에 대한 제2데이터를 획득하는 데이터 획득부와, (ii) 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치 사이의 모션 벡터(motion vector)를 추출하는 모션 벡터 추출부와, (iii) 제1이미지에서의 블러(blur) 존재여부를 판단하는 블러 판단부와, (iv) 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치가 동일한지 여부를 판단하는 피사체 위치 판단부와, (v) 제1데이터 중의 색상 데이터와 제2데이터 중의 색상 데이터를 합성한 색상 데이터와, 제2데이터 중의 휘도 데이터를 갖는 데이터를 최종 데이터로 생성하는 데이터 합성부를 구비하는 것을 특징으로 하는 디지털 촬영장치를 제공한다.
이러한 본 발명의 다른 특징에 의하면, 상기 모션 벡터 추출부가 모션 벡터 추출에 실패할 경우 제2데이터를 최종 데이터로 간주하고, 상기 모션 벡터 추출부가 모션 벡터 추출에 성공할 경우 상기 블러 판단부는 제1이미지에서의 블러(blur) 존재여부를 판단하며, 상기 블러 판단부가 제1이미지에 블러가 존재한다고 판단할 경우 제2데이터를 최종 데이터로 간주하고, 상기 블러 판단부가 제1이미지에 블러가 존재하지 않는다고 판단할 경우 상기 피사체 위치 판단부는 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치가 동일한지 여부를 판단하며, 상기 피사체 위치 판단부가 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치가 동일하다고 판단할 경우 제1데이터를 최종 데이터로 간주하고, 상기 피사체 위치 판단부가 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치가 동일하지 않다고 판단할 경우 상기 데이터 합성부는 제1데이터 중의 색상 데이터와 제2데이터 중의 색상 데이터를 합성한 색상 데이터와, 제2데이터 중의 휘도 데이터를 갖는 최종 데이터를 생성하는 것으로 할 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 모션 벡터 추출부는 상기 데이터 획득부가 획득한 제1데이터 중의 휘도 데이터와 제2데이터 중의 휘도 데이터를 이용하여 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치 사이의 모션 벡터를 추출하는 것으로 할 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 블러 판단부는, 제1이미지의 (x,y) 픽셀에서의 휘도 데이터를 I1(x,y), 제2이미지의 (x,y) 픽셀에서의 휘도 데이터를 I2(x,y)라 하고, 제1이미지와 제2이미지가 상호 정합된 위치에서 일 방향으로 상호 부정합되도록 하는 양을 (dx1, dy1), 타 방향으로 상호 부정합되도록 하는 양을 (dx2, dy2)라 할 시, 제1이미지와 제2이미지를 정합시켜, 제1이미지와 제2이미지가 중첩된 부분인 영역 A 내에서 하기 수학식 1 내지 하기 수학식 3에 따른 R(0), R(-1) 및 R(1)을 계산하고, 하기 수학식 4에 따른 C값을 계산함으로써, C값이 사전설정된 값보다 작으면 제1이미지에 블러가 존재하는 것으로 판단하는 것으로 할 수 있다.
Figure 112008011874744-PAT00001
Figure 112008011874744-PAT00002
Figure 112008011874744-PAT00003
Figure 112008011874744-PAT00004
본 발명의 또 다른 특징에 의하면, 상기 사전설정된 값은, 제1이미지와 제2이미지가 중첩된 부분의 넓이를 Area, 튜닝(tunning) 파라미터를 κ라 할 시 하기 수학식 5에 의해 계산된 값인 것으로 할 수 있다.
Figure 112008011874744-PAT00005
본 발명의 또 다른 특징에 의하면, 상기 튜닝 파라미터 κ는 14인 것으로 할 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 블러 판단부는, 제1이미지의 (x,y) 픽셀에서의 휘도 데이터를 I1(x,y), 제2이미지의 (x,y) 픽셀에서의 휘도 데이터를 I2(x,y)라 할 시, 제1이미지와 제2이미지를 정합시켜, 제1이미지와 제2이미지가 중첩된 부분인 영역 A 내에서 하기 수학식 1에 따른 R(0)를 계산하고, 제1이미지의 상기 일부분의 넓이를 Area, 제1이미지의 노이즈 분산을 σ2, 튜닝(tunning) 파라미터를 κ라 할 시, R(0)가 하기 수학식 6에 따른 값보다 크면 제1이미지에 블러가 존재하는 것으로 판단하는 것으로 할 수 있다.
[수학식 1]
Figure 112008011874744-PAT00006
Figure 112008011874744-PAT00007
본 발명의 또 다른 특징에 의하면, 상기 피사체 위치 판단부는 상기 모션 벡터 추출부가 추출한 모션 벡터가 사전설정된 크기 이하이면 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치가 동일한 것으로 판단하는 것으로 할 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 피사체 위치 판단부는 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치 차이가 수평 방향으로 2 픽셀 이하이고 수직 방향으로 2 픽셀 이하이면, 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치가 동일한 것으로 판단하는 것으로 할 수 있다.
본 발명은 또한, (a) 긴 노출을 통한 피사체의 제1이미지에 대한 제1데이터와, 짧은 노출을 통한 피사체의 제2이미지에 대한 제2데이터를 획득하는 단계와, (b) 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치 사이의 모션 벡터(motion vector) 존재여부를 판단하는 단계와, (c) 상기 (b) 단계에서 모션 벡터가 존재하지 않는다고 판단할 경우, 제2데이터를 최종 데이터로 간주하는 단계와, (d) 상기 (b) 단계에서 모션 벡터가 존재한다고 판단할 경우, 제1이미지에서의 블러(blur) 존재여부를 판단하는 단계와, (e) 상기 (d) 단계에서 제1이미지에 블러가 존재한다고 판단할 경우, 제2데이터를 최종 데이터로 간주하는 단계와, (f) 상기 (d) 단계에서 제1이미지에 블러가 존재하지 않는다고 판단할 경우, 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치가 동일한지 여부를 판단하는 단계와, (g) 상기 (f) 단계에서 동일하다고 판단할 경우, 제1데이터를 최종 데이터로 간주하는 단계와, (h) 상기 (f) 단계에서 동일하지 않다고 판단할 경우, 제1데이터 중의 색상 데이터와 제2데이터 중의 색상 데이터를 합성한 색상 데이터와, 제2데이터 중의 휘도 데이터를 갖는 데이터를 최종 데이터로 간주하는 단계를 포함하는 것을 특징으로 하는 디지털 촬영장치의 제어방법을 제공한다.
이러한 본 발명의 다른 특징에 의하면, 상기 (b) 단계에서, 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치가 동일하여 모션 벡터가 0인 경우는 모션 벡터가 존재하는 것으로 할 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 (b) 단계는 제1데이터 중의 휘도 데이터와 제2데이터 중의 휘도 데이터를 이용하여 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치 사이의 모션 벡터(motion vector) 존재여부를 판단하는 단계인 것으로 할 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 (d) 단계는, 제1이미지의 (x,y) 픽셀에서의 휘도 데이터를 I1(x,y), 제2이미지의 (x,y) 픽셀에서의 휘도 데이터를 I2(x,y)라 하고, 제1이미지와 제2이미지가 상호 정합된 위치에서 일 방향으로 상호 부정합되도록 하는 양을 (dx1, dy1), 타 방향으로 상호 부정합되도록 하는 양을 (dx2, dy2)라 할 시, 제1이미지와 제2이미지를 정합시켜, 제1이미지와 제2이미지가 중첩된 부분인 영역 A 내에서 하기 수학식 1 내지 하기 수학식 3에 따른 R(0), R(-1) 및 R(1)을 계산하고, 하기 수학식 4에 따른 C값을 계산함으로써, C값이 사전설정된 값보다 작으면 제1이미지에 블러가 존재하는 것으로 판단하는 것으로 할 수 있다.
[수학식 1]
Figure 112008011874744-PAT00008
[수학식 2]
Figure 112008011874744-PAT00009
[수학식 3]
Figure 112008011874744-PAT00010
[수학식 4]
Figure 112008011874744-PAT00011
본 발명의 또 다른 특징에 의하면, 상기 사전설정된 값은, 제1이미지와 제2이미지가 중첩된 부분의 넓이를 Area, 튜닝(tunning) 파라미터를 κ라 할 시 하기 수학식 5에 의해 계산된 값인 것으로 할 수 있다.
[수학식 5]
Figure 112008011874744-PAT00012
본 발명의 또 다른 특징에 의하면, 상기 튜닝 파라미터 κ는 14인 것으로 할 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 (d) 단계는, 제1이미지의 (x,y) 픽셀에서의 휘도 데이터를 I1(x,y), 제2이미지의 (x,y) 픽셀에서의 휘도 데이터를 I2(x,y)라 할 시, 제1이미지와 제2이미지를 정합시켜, 제1이미지와 제2이미지가 중첩된 부분인 영역 A 내에서 하기 수학식 1에 따른 R(0)를 계산하고, 제1이미지와 제2이미지가 중첩된 부분의 넓이를 Area, 제1이미지의 노이즈 분산을 σ2, 튜닝(tunning) 파라미터를 κ라 할 시, R(0)가 하기 수학식 6에 따른 값보다 크면 제1이미지에 블러가 존재하는 것으로 판단하는 것으로 할 수 있다.
[수학식 1]
Figure 112008011874744-PAT00013
[수학식 6]
Figure 112008011874744-PAT00014
본 발명의 또 다른 특징에 의하면, 상기 (f) 단계에서, 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치 사이의 모션 벡터가 사전설정된 크기 이하이면, 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치가 동일한 것으로 판단하는 것으로 할 수 있다.
본 발명의 또 다른 특징에 의하면, 상기 (f) 단계에서, 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치 차이가 수평 방향으로 2 픽셀 이하이고 수직 방향으로 2 픽셀 이하이면, 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치가 동일한 것으로 판단하는 것으로 할 수 있다.
본 발명은 또한 상기와 같은 방법을 실행시키기 위한 프로그램을 저장한 기록매체를 제공한다.
상기한 바와 같이 이루어진 본 발명의 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체에 따르면, 촬영 중의 디지털 촬영장치의 흔들림에도 불구하고 선명한 이미지를 얻을 수 있다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명하면 다음과 같다.
도 1은 본 발명의 일 실시예에 따른 디지털 촬영장치를 개략적으로 도시하는 블록도이고, 도 2는 도 1의 디지털 촬영장치의 일부분을 개략적으로 도시하는 블록도이다.
디지털 촬영장치의 전체 동작은 CPU(100)에 의해 통괄된다. 그리고 디지털 촬영장치에는 사용자로부터의 전기적 신호를 발생시키는 키 등을 포함하는 조작부(200)가 구비된다. 이 조작부(200)로부터의 전기적 신호는 CPU(100)에 전달되어, CPU(100)가 전기적 신호에 따라 디지털 촬영장치를 제어할 수 있도록 한다.
촬영 모드일 경우, 사용자로부터의 전기적 신호가 CPU(100)에 인가됨에 따라 CPU(100)는 그 신호를 파악하여 렌즈 구동부(11), 조리개 구동부(21) 및 촬상소자 제어부(31)를 제어하며, 이에 따라 각각 렌즈(10)의 위치, 조리개(20)의 개방 정도 및 촬상소자(30)의 감도 등이 제어된다. 촬상소자(30)는 입력된 광으로부터 이미지에 관한 데이터를 생성하며, 데이터 획득부(40)는 촬상소자(30)에서 생성된 데이터를 획득한다. 구체적으로, 데이터 획득부(40)는 긴 노출을 통한 피사체의 제1이미지에 대한 제1데이터와, 짧은 노출을 통한 피사체의 제2이미지에 대한 제2데이터를 획득한다. 이에 대해서는 후술한다. 데이터 획득부(40)는 예컨대 아날로그/디지털 변환부일 수도 있고, 아날로그/디지털 변환부를 포함하는 것일 수도 있다. 물론 촬상소자(30)의 특성에 따라 아날로그/디지털 변환부가 필요 없는 경우도 있을 수 있다. 데이터 획득부(40)는 후술하는 디지털 신호 처리부(50)의 일부일 수도 있다. 한편, 렌즈(10), 조리개(20) 및 촬상소자(30)에서 이미지에 관한 데이터를 생성하므로, 데이터 획득부(40)는 도 1에 도시된 것과 같은 별도의 구성요소가 아니라, 렌즈(10), 조리개(20) 및 촬상소자(30) 중 적어도 어느 하나의 구성요소를 데이터 획득부라고 할 수도 있는 등 다양한 변형이 가능함은 물론이다. 이하에서는 데이터 획득부(40)를, 피사체를 촬영한 이미지에 관한 데이터를 생성 또는 획득하는 구성요소라는 의미로 사용한다.
데이터 획득부(40)에서 획득한 데이터는 메모리(60)를 거쳐 디지털 신호 처리부(50)에 입력될 수도 있고, 메모리(60)를 거치지 않고 디지털 신호 처리부(50)에 입력될 수도 있으며, 필요에 따라 CPU(100)에도 입력될 수도 있다. 여기서 메모리(60)는 ROM 또는 RAM 등을 포함하는 개념이다. 디지털 신호 처리부(50)는 필요에 따라 감마(gamma) 보정, 화이트 밸런스 조정 등의 디지털 신호 처리를 할 수 있다. 또한, 도 2에 도시된 것과 같이, 디지털 신호 처리부(50)는 모션 벡터 추출부(52), 블러 판단부(54), 피사체 위치 판단부(56) 및 데이터 합성부(58) 등과 같은 다른 구성요소들을 가질 수도 있다. 모션 벡터 추출부(52), 블러 판단부(54), 피사체 위치 판단부(56) 및 데이터 합성부(58) 등은 디지털 신호 처리부(50) 내의 구성요소가 아닌 별도의 구성요소일 수도 있는 등 다양한 변형이 가능하다. 즉, 본 실시예에 따른 디지털 촬영장치가 모션 벡터 추출부(52), 블러 판단부(54), 피사체 위치 판단부(56) 및 데이터 합성부(58)를 구비하면 족하다. 이하에서는 편의상 모션 벡터 추출부(52), 블러 판단부(54), 피사체 위치 판단부(56) 및 데이터 합성부(58) 등이 디지털 신호 처리부(50) 내의 구성요소인 것으로 설명한다. 모션 벡터 추출부(52), 블러 판단부(54), 피사체 위치 판단부(56) 및 데이터 합성부(58) 등의 작동에 대해서는 후술한다.
디지털 신호 처리부(50)로부터 출력된 이미지 데이터는 메모리(60)를 통하여 또는 직접 디스플레이 제어부(81)에 전달된다. 디스플레이 제어부(81)는 디스플레이부(80)를 제어하여 디스플레이부(80)에 이미지를 디스플레이한다. 그리고 디지털 신호 처리부(50)로부터 출력된 이미지 데이터는 메모리(60)를 통하여 또는 직접 저장/판독 제어부(71)에 입력되는데, 이 저장/판독 제어부(71)는 사용자로부터의 신호에 따라 또는 자동으로 이미지 데이터를 저장매체(70)에 저장한다. 물론 저장/판독 제어부(71)는 저장매체(70)에 저장된 이미지 파일로부터 이미지에 관한 데이터를 판독하고, 이를 메모리(60)를 통해 또는 다른 경로를 통해 디스플레이 제어부(81)에 입력하여 디스플레이부(80)에 이미지가 디스플레이되도록 할 수도 있다. 저장매체(70)는 착탈가능한 것일 수도 있고 디지털 촬영장치에 영구장착된 것일 수 있다.
도 3a는 도 1의 디지털 촬영장치에서 획득한 긴 노출을 통한 피사체의 제1이미지를 개념적으로 나타내는 개념도이고, 도 3b는 도 1의 디지털 촬영장치에서 획득한 짧은 노출을 통한 피사체의 제2이미지를 개념적으로 나타내는 개념도이며, 도 3c는 제1이미지에서의 피사체와 제2이미지에서의 피사체가 정합되도록 하는 것을 개념적으로 나타내는 개념도이고, 도 3d는 제1이미지와 제2이미지를 단순 합성하였을 시 나타날 수 있는 문제점을 갖는, 합성된 제3이미지를 개념적으로 나타내는 개념도이다. 그리고 도 4는 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치 사이의 모션 벡터를 추출하는 과정을 설명하기 위하여 개념적으로 나타내는 개념도이다. 이하에서는 도 3a 내지 도 3d 및 도 4를 참조하여, 도 1에 도시된 본 실시예에 따른 디지털 촬영장치의 작동을 설명한다.
촬영모드에서 사용자로부터 촬영신호를 수신하면, 데이터 획득부(40)는, 긴 노출을 통해 도 3a에 도시된 것과 같은 피사체의 제1이미지에 대한 제1데이터를 획득하고, 또한 짧은 노출을 통해 도 3b에 도시된 것과 같은 피사체의 제2이미지에 대한 제2데이터를 획득한다. 물론 짧은 노출을 통해 도 3b에 도시된 것과 같은 피사체의 제2이미지에 대한 제2데이터를 획득한 후, 긴 노출을 통해 도 3a에 도시된 것과 같은 피사체의 제1이미지에 대한 제1데이터를 획득할 수도 있는 등 그 순서는 다양한 변형이 가능함은 물론이다.
긴 노출을 통해 피사체의 제1이미지에 대한 제1데이터를 획득하게 되면, 셔터 스피드가 느리기 때문에 디지털 촬영장치의 촬상소자가 광에 노출되어 있는 동안 디지털 촬영장치가 흔들려, 도 3a에 도시된 것과 같이 제1이미지(Im1)의 선명도가 현저하게 저하될 수 있다. 특히 낮은 주변 밝기 환경(low ambient light condition) 하에서 적정한 밝기의 제1이미지(Im1)를 얻기 위해서는 셔터스피드가 느려질 수밖에 없기에, 제1이미지(Im1)의 선명도가 현저하게 저하될 수 있다.
짧은 노출을 통해 피사체의 제2이미지에 대한 제2데이터를 획득하게 되면, 셔터 스피드가 빠르기 때문에 디지털 촬영장치의 촬상소자가 광에 노출되는 시간이 짧아, 도 3b에 도시된 것과 같이 상대적으로 선명한 제2이미지(Im2)를 얻게 된다. 그러나 제2이미지(Im2)의 경우 셔터 스피드가 빠르기 때문에, 적정한 밝기의 제2이미지(Im2)를 얻기 위해서는 디지털 촬영장치의 촬상소자의 감도를 높여야 하므로, 제2이미지(Im2)는 상대적으로 많은 노이즈를 갖게 될 수 있다. 만일 제2이미지(Im2)에 관한 데이터를 획득할 시 노이즈를 방지하기 위하여 디지털 촬영장치의 촬상소자의 감도를 높이지 않는다면, 셔터 스피드가 빠르기 때문에 디지털 촬영장치의 촬상소자가 광에 노출되는 시간이 짧아, 선명하지만 상대적으로 어두운 제2이미지(Im2)를 얻게 될 수도 있다.
따라서 본 실시예에 따른 디지털 촬영장치는 긴 노출을 통해 획득한 피사체의 제1이미지에 대한 제1데이터와 짧은 노출을 통해 획득한 피사체의 제2이미지에 대한 제2데이터를 합성하여, 선명하면서도 노이즈가 적은 최종 이미지에 대한 데이터를 획득한다. 이에 대해서는 후술한다.
모션 벡터 추출부(52)는 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치 사이의 모션 벡터(motion vector)를 추출한다. 구체적으로, 도 3c에 도시된 것과 같이 데이터 획득부(40)에서 획득한 제1데이터에 따른 제1이미지(Im1)에서의 피사체와 데이터 획득부(40)에서 획득한 제2데이터에 따른 제2이미지(Im2)에서의 피사체가 정합되도록 하기 위해 제1이미지(Im1) 또는 제2이미지(Im2)를 이동시키는 크기와 방향의 벡터인 모션 벡터를 모션 벡터 추출부(52)가 추출한다.
도 4는 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치 사이의 모션 벡터를 추출하는 과정을 설명하기 위하여 개념적으로 나타내는 개념도이다. 도 4에 도시된 바와 같이 제2이미지(Im2) 중 제1이미지의 일부분(Im1')에 대응하는 부분을 찾는다. 개념적으로 설명하면, 제1이미지의 일부분(Im1')의 위치를 제2이미지(Im2) 내에서 이동시키면서 각 위치에서 하기 수학식 7에 따라 제1이미지의 일부분 내에서 SSD(sum of squared difference)를 계산한다. 여기서 I1(x,y)는 제1 이미지의 (x,y) 픽셀에서의 휘도 데이터이고, I2(x,y)는 제2이미지의 (x,y) 픽셀에서의 휘도 데이터이다. 계산된 SSD의 값이 가장 작을 때의 제1이미지의 일부분(Im1')의 위치에서, 제1이미지의 일부분(Im1')과 그에 대응하는 제2이미지(Im2)의 부분이 중첩된다.
Figure 112008011874744-PAT00015
제1이미지의 일부분(Im1')과 그에 대응하는 제2이미지(Im2)의 부분이 중첩될 시, 제1이미지(Im1) 전체와 제2이미지(Im2) 사이의 관계를 개념적으로 나타내면 이는 도 3c와 같이 나타난다. 이와 같은 방식을 통해, 데이터 획득부(40)에서 획득한 제1데이터에 따른 제1이미지(Im1)에서의 피사체와 데이터 획득부(40)에서 획득한 제2데이터에 따른 제2이미지(Im2)에서의 피사체가 정합되도록 하기 위해 제1이미지(Im1) 또는 제2이미지(Im2)를 이동시키는 크기와 방향의 벡터인 모션 벡터를 모션 벡터 추출부(52)가 추출한다.
그러나 제1이미지(Im1)와 제2이미지(Im2)를 정합시켰다고 하여 이 상태에서 다른 조건의 고려 없이 언제나 긴 노출을 통해 획득한 피사체의 제1이미지(Im1)에 대한 제1데이터와 짧은 노출을 통해 획득한 피사체의 제2이미지(Im2)에 대한 제2데이터를 합성한다면, 고품질의 최종 이미지에 대한 데이터 획득을 보장할 수 없다. 즉, 예컨대 도 3c에 도시된 것과 같이 제1이미지(Im1)와 제2이미지(Im2)를 정합시켜 최종 이미지(Im3)를 획득할 경우, A영역에서는 제1이미지(Im1)의 정보가 주가 되고 B영역에서는 제2이미지(Im2)의 정보가 주가 되어 A영역과 B영역 사이에 ℓ로 표시된 선과 같은 형상이 남게 될 수 있다. 따라서 본 실시예에 따른 디지털 촬영장치에서는 획득한 제1이미지(Im1)와 제2이미지(Im2)로부터의 조건에 따라 최종 이미지를 상황에 따라 상이한 방식으로 획득함으로써, 선명하면서도 노이즈가 적은 최종 이미지에 대한 데이터를 획득한다.
먼저 본 실시예에 따른 디지털 촬영장치는 도 3a 내지 도 3c 및 도 4를 참조하여 전술한 바와 같이 모션 벡터 추출부(52)가 제1이미지(Im1)에서의 피사체의 위치와 제2이미지(Im2)에서의 피사체의 위치 사이의 모션 벡터를 추출한다. 나아가 더욱 정확한 모션 벡터를 획득하기 위하여, 도 5에 도시된 바와 같은 방법을 이용할 수도 있다. 즉, 도 4를 참조하여 상술한 바와 같이 제1이미지의 일부분(Im1')의 위치를 제2이미지(Im2) 내에서 이동시키면서 각 위치에서 상기 수학식 7에 따라 제1이미지의 일부분인 A 부분 내에서 SSD를 계산하고, 가장 작은 SSD의 값을 R(0)라 한다. 그 후, 가장 작은 SSD의 값의 결과를 가져오는 위치에서 제1이미지의 일부분(Im1')의 위치를 일 방향으로 (dx1, dy1)만큼 이동시켜 SSD를 계산하여 그 값을 R(-1)이라 하고(하기 수학식 8 참조), 타 방향으로 (dx2, dy2)만큼 이동시켜 SSD를 계산하여 그 값을 R(1)이라 한다(하기 수학식 9 참조).
Figure 112008011874744-PAT00016
Figure 112008011874744-PAT00017
도 5는 R(-1), R(0) 및 R(1)의 세 값과 그에 대응하는 제1이미지의 일부분(Im1')의 위치인 PL, PM 및 PR을 좌표축 상에 나타내고, R(-1), R(0) 및 R(1)의 세 값에 대해 최소자승법 등을 이용하여 2차원 곡선을 피팅한 것을 나타낸다. 이와 같이 2차원 곡선을 피팅하면, R(0)의 값이 아닌 더 작은 최소값 P(M)이 존재하는 것을 알 수 있으며, 이때의 제1이미지의 일부분(Im1')의 위치 PM을 서브픽셀 오더의 정밀도로 찾아내어 더욱 정확한 모션 벡터를 알아낼 수 있다. 이에 대해서는 Qi Tian and Michael N. Huhns, " Algorithms for Subpixel Registration," Computer Vision, Graphics, and Image Processing, vol. 35, pp. 220-233, August 1986에 자세히 개시되어 있으며 이는 본원에 참조로서 포함된다.
상술한 바와 같은 모션 벡터 추출 시, 모션 벡터 추출부(52)는 데이터 획득부가 획득한 제1데이터 중의 휘도 데이터와 제2데이터 중의 휘도 데이터를 이용하여 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치 사이의 모션 벡터를 추출할 수 있다. 즉, 제1데이터와 제2데이터 각각은 휘도 데이터와 색상 데이터를 포함할 수 있는데, 제1이미지와 제2이미지 사이의 모션 벡터를 추출함에 있어서는 각 이미지에서의 피사체의 위치가 중요하므로, 색상 데이터가 아닌 휘도 데이터만을 이용하여 모션 벡터를 추출할 수도 있다. 이를 통해 계산할 데이터 양을 획기적으로 줄일 수 있다.
이와 같이 모션 벡터 추출부(52)는 제1이미지(Im1)와 제2이미지(Im2) 사이의 모션 벡터를 추출하는데, 경우에 따라 모션 벡터 추출에 실패할 수도 있다. 예컨대 긴 노출을 통해 획득한 제1이미지에 있어서 노출시간이 길어진 관계로 손떨림 등에 의해 제1이미지 내 피사체의 선명도가 극히 저하되었거나 피사체가 움직이는 등의 여러 이유로 모션 벡터 추출에 실패할 수도 있다. 이 경우, 본 실시예에 따른 디지털 촬영장치는 데이터 획득부(40)에서 짧은 노출을 통해 획득한 제2이미지에 대한 데이터를 최종 이미지에 대한 데이터로 간주한다. 물론 모션 벡터 추출부(52)가 추출한 모션 벡터가 0인 경우는 모션 벡터가 존재하는 것으로 판단한다. 이는 제1이미지(Im1)와 제2이미지(Im2)가 정확하게 일치한다는 것을 의미할 수 있기 때문이다.
모션 벡터 추출부(52)가 제1이미지(Im1)와 제2이미지(Im2) 사이의 모션 벡터 추출에 성공했다면, 블러 판단부(54)에서 제1이미지에서의 블러 존재여부를 판단한다. 블러 존재여부는 다양한 방법으로 판단할 수 있는데, 예컨대 다음과 같은 방법으로 판단할 수 있다.
먼저 제1이미지(Im1)와 제2이미지(Im2)를 정합시켜, 제1이미지와 제2이미지가 중첩된 부분인 영역 A 내에서 하기 수학식 1 내지 하기 수학식 3에 따른 R(0), R(-1) 및 R(1)을 계산한다. 하기 수학식 2에서의 (dx1, dy1)는 제1이미지와 제2이미지가 정합된 상태에서 제1이미지(Im1)의 위치를 일 방향으로 (dx1, dy1)만큼 이동시킨 효과를 주기 위함이고, 하기 수학식 3에서의 (dx2, dy2)는 제1이미지와 제2이미 지가 정합된 상태에서 제1이미지(Im1)의 위치를 타 방향으로 (dx2, dy2)만큼 이동시킨 효과를 주기 위함이다. 그 후, 하기 수학식 4에 따른 C값을 계산함으로써, C값이 사전설정된 값보다 작으면 제1이미지에 블러가 존재하는 것으로 판단한다.
[수학식 1]
Figure 112008011874744-PAT00018
[수학식 2]
Figure 112008011874744-PAT00019
[수학식 3]
Figure 112008011874744-PAT00020
[수학식 4]
Figure 112008011874744-PAT00021
상기 C값은 R(-1)과 R(1)에 비해 R(0)가 어떤 값을 갖느냐에 따라 달라지게 된다. 제1이미지에 블러가 존재하지 않는다면 R(0)는 0의 값을 갖게 된다. 즉, 제1이미지에 블러가 적을수록 R(0)는 R(-1) 및/또는 R(1)에 비해 작은 값이 되어 C값이 커지게 된다. 제1이미지에 블러가 많을수록 R(0)는 켜저, 결국 C값이 작아지게 된다. 따라서 C 값이 사전설정된 값보다 작다면 긴 노출을 통해 획득한 제1이미지에 블러가 더 많이 존재하거나 에지가 없다는 것을 의미한다. 이와 같은 방식으로 블러 판단부(54)가 제1이미지에 블러가 존재한다고 판단하면, 제1이미지에 대한 제 1데이터와 제2이미지에 대한 제2데이터를 합성하지 않고 블러가 존재하지 않는 제2데이터를 최종 데이터로 간주한다. 블러 판단부(54)가 제1이미지에 블러가 존재한다고 판단했음에도 불구하고 제1이미지에 대한 제1데이터와 제2이미지에 대한 제2데이터를 합성한다면, 그 최종 이미지의 품질이 낮기 때문이다.
블러 판단부(54)가 제1이미지(Im1)에 블러가 존재하는지 여부를 판단할 시 기준이 되는 상기 사전설정된 값은, 제1이미지와 제2이미지가 중첩된 부분의 넓이를 Area, 튜닝(tunning) 파라미터를 κ라 할 시 하기 수학식 5에 의해 계산된 값일 수 있다.
[수학식 5]
Figure 112008011874744-PAT00022
제1이미지에 블러가 존재한다고 판단하게 되는 것은 결국 C < κ×Area의 조건을 의미하는데, 이는 C/Area < κ로부터 유도된 식이다. C값을 Area로 나누는 것은, C를 계산하는데 사용되는 R(-1), R(1) 및/또는 R(0)가 화소간의 차이값을 제곱한 값이므로 그 크기가 매우 크기 때문에 이를 규준화(normalization)할 필요가 있기 때문이다. 튜닝 파라미터 κ는 반복 실험에 의해 결정되는 것으로서, 디지털 촬영장치의 촬상소자 및/또는 렌즈 등의 구성요소의 특성에 따라 가변할 수 있는 양으로, 바람직하게는 14일 수 있다.
물론 블러 판단부(54)는 다른 방식으로 제1이미지(Im1)에 블러가 존재하는지 여부를 판단할 수도 있는데, 예컨대 제1이미지(Im1)와 제2이미지(Im2)를 정합시켜, 제1이미지(Im1)와 제2이미지(Im2)가 중첩된 부분 내에서 상기 수학식 1에 따른 R(0)를 계산하고, 제1이미지(Im1)와 제2이미지(Im2)가 중첩된 부분의 넓이를 Area, 제1이미지(Im1)의 노이즈 분산을 σ2, 튜닝(tunning) 파라미터를 κ라 할 시, R(0)가 하기 수학식 6에 따른 값보다 크면 제1이미지(Im1)에 블러가 존재하는 것으로 판단할 수도 있다.
[수학식 6]
Figure 112008011874744-PAT00023
긴 노출을 통해 획득한 제1이미지(Im1)에 블러가 많을 수록 제1이미지와 제2이미지로부터 획득한 SSD값이 커지게 되며, 이때 SSD값이 커지는 정도는 이미지의 노이즈 레벨에 비례하게 된다.
블러 판단부(54)가 제1이미지(Im1)에 블러가 존재하지 않는다고 판단한다면, 피사체 위치 판단부(56)가 제1이미지(Im1)에서의 피사체의 위치와 제2이미지(Im2)에서의 피사체의 위치가 동일한지 여부를 판단한다. 이 피사체 위치 판단부(56)는 예컨대 모션 벡터 추출부(52)가 추출한 모션 벡터가 사전설정된 크기 이하이면 제1이미지(Im1)에서의 피사체의 위치와 제2이미지(Im2)에서의 피사체의 위치가 동일한 것으로 판단할 수 있다. 또한, 피사체 위치 판단부(56)는 제1이미지(Im1)에서의 피사체의 위치와 제2이미지(Im2)에서의 피사체의 위치 차이가 수평 방향으로 2 픽셀 이하이고 수직 방향으로 2 픽셀 이하이면, 제1이미지(Im1)에서의 피사체의 위치와 제2이미지(Im2)에서의 피사체의 위치가 동일한 것으로 판단할 수도 있다.
제1이미지(Im1)에 블러가 없다고 판단한 상태에서 제1이미지(Im1)에서의 피 사체의 위치와 제2이미지(Im2)에서의 피사체의 위치가 동일하다면, 이는 제1이미지(Im1) 자체만으로도 흔들림이 없는 선명한 사진이라는 것을 의미한다. 따라서 피사체 위치 판단부(56)가 제1이미지(Im1)에서의 피사체의 위치와 제2이미지(Im2)에서의 피사체의 위치가 동일하다고 판단할 경우 제1데이터를 최종 데이터로 간주한다. 피사체 위치 판단부(56)가 제1이미지(Im1)에서의 피사체의 위치와 제2이미지(Im2)에서의 피사체의 위치가 동일하지 않다고 판단할 경우에는, 데이터 합성부(58)에서 합성한 데이터를 최종 데이터로 간주한다. 데이터 합성부(58)는 제1데이터 중의 색상 데이터와 제2데이터 중의 색상 데이터를 합성한 색상 데이터와, 제2데이터 중의 휘도 데이터를 갖는 최종 데이터를 생성한다.
이와 같이 본 실시예에 따른 디지털 촬영장치는, 긴 노출을 통해 획득한 제1이미지에 대한 제1데이터와 짧은 노출을 통해 획득한 제2이미지에 대한 제2데이터를 다른 조건의 고려 없이 합성하는 종래의 디지털 촬영장치와 달리, 모션 벡터 추출부(52)가 모션 벡터를 추출했는지 여부와, 블러 판단부(54)가 제1이미지에 블러가 존재하는지 여부와, 피사체 위치 판단부(56)가 제1이미지(Im1)에서의 피사체 위치와 제2이미지(Im2)에서의 피사체 위치가 동일한지 여부 등을 각각 판단하며, 그 판단 결과에 따라 제1이미지(Im1)에 대한 제1데이터를 최종 데이터로 간주하거나 제2이미지(Im2)에 대한 제2데이터를 최종 데이터로 간주하거나 제1이미지(Im1)에 대한 제1데이터와 제2이미지(Im2)에 대한 제2데이터를 합성한 데이터를 최종 데이터로 간주한다. 따라서 이를 통해 상황에 따라 최적인 이미지를 최종 이미지로서 획득함으로써, 선명하면서도 노이즈가 저감된 최종 이미지를 획득할 수 있다.
도 6은 본 발명의 다른 일 실시예에 따른 디지털 촬영장치의 제어방법을 설명하기 위한 플로우챠트이다. 도 6을 참조하면, 긴 노출을 통한 피사체의 제1이미지에 대한 제1데이터와, 짧은 노출을 통한 피사체의 제2이미지에 대한 제2데이터를 획득하는 단계(S10)를 거친다. 그 후 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치 사이의 모션 벡터(motion vector) 존재여부를 판단하는 단계(S20)를 거쳐, 모션 벡터가 존재하지 않는다고 판단하면 제2데이터를 최종 데이터로 간주하는 단계(S51)를 거치게 된다. 모션 벡터가 ;존재한다고 판단하면, 제1이미지에서의 블러(blur) 존재여부를 판단하는 단계(S30)를 거치게 되고, 제1이미지에 블러가 존재한다면 역시 제2데이터를 최종 데이터로 간주하는 단계(S51)를 거치게 된다. 제1이미지에 블러가 존재하지 않는다고 판단할 경우, 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치가 동일한지 여부를 판단하는 단계(S40)를 거치게 되고, 동일하다면 제1데이터를 최종 데이터로 간주하는 단계(S53)를 거치게 되고, 동일하지 않다면 제1데이터 중의 색상 데이터와 제2데이터 중의 색상 데이터를 합성한 색상 데이터와, 제2데이터 중의 휘도 데이터를 갖는 데이터를 최종 데이터로 간주하는 단계(S55)를 거치게 된다.
이러한 다양한 조건을 고려하여 제1이미지를 최종 이미지로 간주할 것인가, 제2이미지를 최종 이미지로 간주할 것인가, 아니면 제1이미지와 제2이미지를 합성한 것을 최종 이미지로 간주할 것인가를 판단함으로써, 상황에 따라 최적인 최종 이미지를 획득하도록 할 수 있다.
상술한 각 판단 단계에서의 판단 기준 및 방법 등은 전술한 실시예에 따른 디지털 촬영장치의 작동 설명 부분에서와 같다. 예컨대 모션 벡터 존재여부 판단 단계(S20)는 제1데이터 중의 휘도 데이터와 제2데이터 중의 휘도 데이터를 이용하여 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치 사이의 모션 벡터(motion vector) 존재여부를 판단하는 것일 수 있다. 또한 제1이미지에 블러가 존재하는지 여부를 판단하는 단계(S30)에서도 수학식 1 내지 수학식 6을 참조하여 전술한 것과 같이 판단할 수도 있다. 그리고 제1이미지에서의 피사체 위치와 제2이미지에서의 피사체 위치 동일 여부 판단 단계(S40) 역시 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치 사이의 모션 벡터가 사전설정된 크기 이하이면, 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치가 동일한 것으로 판단하는 것일 수도 있고, 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치 차이가 수평 방향으로 2 픽셀 이하이고 수직 방향으로 2 픽셀 이하이면, 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치가 동일한 것으로 판단하는 것일 수도 있다.
이상에서 언급된 본 실시예들 및 그 변형예들에 따른 디지털 촬영장치의 제어방법을 디지털 촬영장치에서 실행시키기 위한 프로그램은 기록매체에 저장될 수 있다. 여기서 기록매체라 함은 예컨대 도 1에 도시된 것과 같은 저장매체(70)일 수도 있고, 도 1에 도시된 것과 같은 메모리(60)일 수도 있으며, 이와 다른 별도의 기록매체일 수도 있다. 여기서 기록매체는 마그네틱 저장매체(예컨대, 롬(ROM), 플로피 디스크, 하드디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc))와 같은 저장매체를 포함한다. 물론 예컨대 도 1에서의 CPU(100)일 수도 있고 그 일부일 수도 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 디지털 촬영장치를 개략적으로 도시하는 블록도이다.
도 2는 도 1의 디지털 촬영장치의 일부분을 개략적으로 도시하는 블록도이다.
도 3a는 도 1의 디지털 촬영장치에서 획득한 긴 노출을 통한 피사체의 제1이미지를 개념적으로 나타내는 개념도이고, 도 3b는 도 1의 디지털 촬영장치에서 획득한 짧은 노출을 통한 피사체의 제2이미지를 개념적으로 나타내는 개념도이며, 도 3c는 제1이미지에서의 피사체와 제2이미지에서의 피사체가 정합되도록 하는 것을 개념적으로 나타내는 개념도이고, 도 3d는 제1이미지와 제2이미지를 단순 합성하였을 시 나타날 수 있는 문제점을 갖는, 합성된 제3이미지를 개념적으로 나타내는 개념도이다.
도 4는 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치 사이의 모션 벡터를 추출하는 과정을 설명하기 위하여 개념적으로 나타내는 개념도이다.
도 5는 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치 사이의 모션 벡터를 정확하게 추출하는 과정을 설명하기 위하여 개념적으로 나타내는 그래프이다.
도 6은 본 발명의 다른 일 실시예에 따른 디지털 촬영장치의 제어방법을 설명하기 위한 플로우챠트이다.
<도면의 주요 부분에 대한 부호의 설명>
10: 렌즈 11: 렌즈 구동부
20: 조리개 21: 조리개 구동부
30: 촬상소자 31: 촬상소자 제어부
40: 데이터 획득부 50: 디지털 신호 처리부
60: 메모리 71: 저장/판독 제어부
70: 저장매체 81: 디스플레이 제어부
80: 디스플레이부 100: CPU
200: 조작부

Claims (19)

  1. 긴 노출을 통한 피사체의 제1이미지에 대한 제1데이터와, 짧은 노출을 통한 피사체의 제2이미지에 대한 제2데이터를 획득하는 데이터 획득부;
    제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치 사이의 모션 벡터(motion vector)를 추출하는 모션 벡터 추출부;
    제1이미지에서의 블러(blur) 존재여부를 판단하는 블러 판단부;
    제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치가 동일한지 여부를 판단하는 피사체 위치 판단부; 및
    제1데이터 중의 색상 데이터와 제2데이터 중의 색상 데이터를 합성한 색상 데이터와, 제2데이터 중의 휘도 데이터를 갖는 데이터를 최종 데이터로 생성하는 데이터 합성부;를 구비하는 것을 특징으로 하는 디지털 촬영장치.
  2. 제1항에 있어서,
    상기 모션 벡터 추출부가 모션 벡터 추출에 실패할 경우 제2데이터를 최종 데이터로 간주하고, 상기 모션 벡터 추출부가 모션 벡터 추출에 성공할 경우 상기 블러 판단부는 제1이미지에서의 블러(blur) 존재여부를 판단하며,
    상기 블러 판단부가 제1이미지에 블러가 존재한다고 판단할 경우 제2데이터를 최종 데이터로 간주하고, 상기 블러 판단부가 제1이미지에 블러가 존재하지 않는다고 판단할 경우 상기 피사체 위치 판단부는 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치가 동일한지 여부를 판단하며,
    상기 피사체 위치 판단부가 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치가 동일하다고 판단할 경우 제1데이터를 최종 데이터로 간주하고, 상기 피사체 위치 판단부가 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치가 동일하지 않다고 판단할 경우 상기 데이터 합성부는 제1데이터 중의 색상 데이터와 제2데이터 중의 색상 데이터를 합성한 색상 데이터와, 제2데이터 중의 휘도 데이터를 갖는 최종 데이터를 생성하는 것을 특징으로 하는 디지털 촬영장치.
  3. 제1항에 있어서,
    상기 모션 벡터 추출부는 상기 데이터 획득부가 획득한 제1데이터 중의 휘도 데이터와 제2데이터 중의 휘도 데이터를 이용하여 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치 사이의 모션 벡터를 추출하는 것을 특징으로 하는 디지털 촬영장치.
  4. 제1항에 있어서,
    상기 블러 판단부는, 제1이미지의 (x,y) 픽셀에서의 휘도 데이터를 I1(x,y), 제2이미지의 (x,y) 픽셀에서의 휘도 데이터를 I2(x,y)라 하고, 제1이미지와 제2이미지가 상호 정합된 위치에서 일 방향으로 상호 부정합되도록 하는 양을 (dx1, dy1), 타 방향으로 상호 부정합되도록 하는 양을 (dx2, dy2)라 할 시,
    제1이미지와 제2이미지를 정합시켜, 제1이미지와 제2이미지가 중첩된 부분인 영역 A 내에서 하기 수학식 1 내지 하기 수학식 3에 따른 R(0), R(-1) 및 R(1)을 계산하고, 하기 수학식 4에 따른 C값을 계산함으로써, C값이 사전설정된 값보다 작으면 제1이미지에 블러가 존재하는 것으로 판단하는 것을 특징으로 하는 디지털 촬영장치:
    [수학식 1]
    Figure 112008011874744-PAT00024
    [수학식 2]
    Figure 112008011874744-PAT00025
    [수학식 3]
    Figure 112008011874744-PAT00026
    [수학식 4]
    Figure 112008011874744-PAT00027
  5. 제4항에 있어서,
    상기 사전설정된 값은, 제1이미지와 제2이미지가 중첩된 부분의 넓이를 Area, 튜닝(tunning) 파라미터를 κ라 할 시 하기 수학식 5에 의해 계산된 값인 것 을 특징으로 하는 디지털 촬영장치:
    [수학식 5]
    Figure 112008011874744-PAT00028
  6. 제5항에 있어서,
    상기 튜닝 파라미터 κ는 14인 것을 특징으로 하는 디지털 촬영장치.
  7. 제1항에 있어서,
    상기 블러 판단부는, 제1이미지의 (x,y) 픽셀에서의 휘도 데이터를 I1(x,y), 제2이미지의 (x,y) 픽셀에서의 휘도 데이터를 I2(x,y)라 할 시,
    제1이미지와 제2이미지를 정합시켜, 제1이미지와 제2이미지가 중첩된 부분인 영역 A 내에서 하기 수학식 1에 따른 R(0)를 계산하고, 제1이미지와 제2이미지가 중첩된 부분의 넓이를 Area, 제1이미지의 노이즈 분산을 σ2, 튜닝(tunning) 파라미터를 κ라 할 시, R(0)가 하기 수학식 6에 따른 값보다 크면 제1이미지에 블러가 존재하는 것으로 판단하는 것을 특징으로 하는 디지털 촬영장치:
    [수학식 1]
    Figure 112008011874744-PAT00029
    [수학식 6]
    Figure 112008011874744-PAT00030
  8. 제1항에 있어서,
    상기 피사체 위치 판단부는 상기 모션 벡터 추출부가 추출한 모션 벡터가 사전설정된 크기 이하이면 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치가 동일한 것으로 판단하는 것을 특징으로 하는 디지털 촬영장치.
  9. 제1항에 있어서,
    상기 피사체 위치 판단부는 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치 차이가 수평 방향으로 2 픽셀 이하이고 수직 방향으로 2 픽셀 이하이면, 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치가 동일한 것으로 판단하는 것을 특징으로 하는 디지털 촬영장치.
  10. (a) 긴 노출을 통한 피사체의 제1이미지에 대한 제1데이터와, 짧은 노출을 통한 피사체의 제2이미지에 대한 제2데이터를 획득하는 단계;
    (b) 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치 사이의 모션 벡터(motion vector) 존재여부를 판단하는 단계;
    (c) 상기 (b) 단계에서 모션 벡터가 존재하지 않는다고 판단할 경우, 제2데이터를 최종 데이터로 간주하는 단계;
    (d) 상기 (b) 단계에서 모션 벡터가 존재한다고 판단할 경우, 제1이미지에서의 블러(blur) 존재여부를 판단하는 단계;
    (e) 상기 (d) 단계에서 제1이미지에 블러가 존재한다고 판단할 경우, 제2데이터를 최종 데이터로 간주하는 단계;
    (f) 상기 (d) 단계에서 제1이미지에 블러가 존재하지 않는다고 판단할 경우, 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치가 동일한지 여부를 판단하는 단계;
    (g) 상기 (f) 단계에서 동일하다고 판단할 경우, 제1데이터를 최종 데이터로 간주하는 단계; 및
    (h) 상기 (f) 단계에서 동일하지 않다고 판단할 경우, 제1데이터 중의 색상 데이터와 제2데이터 중의 색상 데이터를 합성한 색상 데이터와, 제2데이터 중의 휘도 데이터를 갖는 데이터를 최종 데이터로 간주하는 단계;를 포함하는 것을 특징으로 하는 디지털 촬영장치의 제어방법.
  11. 제10항에 있어서,
    상기 (b) 단계에서, 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치가 동일하여 모션 벡터가 0인 경우는 모션 벡터가 존재하는 것으로 판단하는 것을 특징으로 하는 디지털 촬영장치의 제어방법.
  12. 제10항에 있어서,
    상기 (b) 단계는 제1데이터 중의 휘도 데이터와 제2데이터 중의 휘도 데이터를 이용하여 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치 사 이의 모션 벡터(motion vector) 존재여부를 판단하는 단계인 것을 특징으로 하는 디지털 촬영장치의 제어방법.
  13. 제10항에 있어서,
    상기 (d) 단계는,
    제1이미지의 (x,y) 픽셀에서의 휘도 데이터를 I1(x,y), 제2이미지의 (x,y) 픽셀에서의 휘도 데이터를 I2(x,y)라 하고, 제1이미지와 제2이미지가 상호 정합된 위치에서 일 방향으로 상호 부정합되도록 하는 양을 (dx1, dy1), 타 방향으로 상호 부정합되도록 하는 양을 (dx2, dy2)라 할 시,
    제1이미지와 제2이미지를 정합시켜, 제1이미지와 제2이미지가 중첩된 부분인 영역 A 내에서 하기 수학식 1 내지 하기 수학식 3에 따른 R(0), R(-1) 및 R(1)을 계산하고, 하기 수학식 4에 따른 C값을 계산함으로써, C값이 사전설정된 값보다 작으면 제1이미지에 블러가 존재하는 것으로 판단하는 것을 특징으로 하는 디지털 촬영장치의 제어방법:
    [수학식 1]
    Figure 112008011874744-PAT00031
    [수학식 2]
    Figure 112008011874744-PAT00032
    [수학식 3]
    Figure 112008011874744-PAT00033
    [수학식 4]
    Figure 112008011874744-PAT00034
  14. 제13항에 있어서,
    상기 사전설정된 값은, 제1이미지와 제2이미지가 중첩된 부분의 넓이를 Area, 튜닝(tunning) 파라미터를 κ라 할 시 하기 수학식 5에 의해 계산된 값인 것을 특징으로 하는 디지털 촬영장치의 제어방법:
    [수학식 5]
    Figure 112008011874744-PAT00035
  15. 제14항에 있어서,
    상기 튜닝 파라미터 κ는 14인 것을 특징으로 하는 디지털 촬영장치의 제어방법.
  16. 제10항에 있어서,
    상기 (d) 단계는,
    제1이미지의 (x,y) 픽셀에서의 휘도 데이터를 I1(x,y), 제2이미지의 (x,y) 픽셀에서의 휘도 데이터를 I2(x,y)라 할 시,
    제1이미지와 제2이미지를 정합시켜, 제1이미지와 제2이미지가 중첩된 부분인 영역 A 내에서 하기 수학식 1에 따른 R(0)를 계산하고, 제1이미지와 제2이미지가 중첩된 부분의 넓이를 Area, 제1이미지의 노이즈 분산을 σ2, 튜닝(tunning) 파라미터를 κ라 할 시, R(0)가 하기 수학식 6에 따른 값보다 크면 제1이미지에 블러가 존재하는 것으로 판단하는 것을 특징으로 하는 디지털 촬영장치의 제어방법:
    [수학식 1]
    Figure 112008011874744-PAT00036
    [수학식 6]
    Figure 112008011874744-PAT00037
  17. 제10항에 있어서,
    상기 (f) 단계에서, 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치 사이의 모션 벡터가 사전설정된 크기 이하이면, 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치가 동일한 것으로 판단하는 것을 특징으로 하는 디지털 촬영장치의 제어방법.
  18. 제10항에 있어서,
    상기 (f) 단계에서, 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사 체의 위치 차이가 수평 방향으로 2 픽셀 이하이고 수직 방향으로 2 픽셀 이하이면, 제1이미지에서의 피사체의 위치와 제2이미지에서의 피사체의 위치가 동일한 것으로 판단하는 것을 특징으로 하는 디지털 촬영장치의 제어방법.
  19. 제10항 내지 제18항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 저장한 기록매체.
KR1020080014419A 2008-02-18 2008-02-18 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체 KR101442610B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020080014419A KR101442610B1 (ko) 2008-02-18 2008-02-18 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체
US12/322,581 US8350955B2 (en) 2008-02-18 2009-02-04 Digital photographing apparatus, method of controlling the digital photographing apparatus, and recording medium having recorded thereon a program for executing the method
CN2009100075435A CN101516001B (zh) 2008-02-18 2009-02-17 数字拍摄设备及其控制方法和记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080014419A KR101442610B1 (ko) 2008-02-18 2008-02-18 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체

Publications (2)

Publication Number Publication Date
KR20090089071A true KR20090089071A (ko) 2009-08-21
KR101442610B1 KR101442610B1 (ko) 2014-09-19

Family

ID=40954753

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080014419A KR101442610B1 (ko) 2008-02-18 2008-02-18 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체

Country Status (3)

Country Link
US (1) US8350955B2 (ko)
KR (1) KR101442610B1 (ko)
CN (1) CN101516001B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150132605A (ko) * 2013-04-15 2015-11-25 퀄컴 인코포레이티드 고스트-프리 높은 동적 레인지 이미지들의 생성

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4748230B2 (ja) * 2009-02-17 2011-08-17 カシオ計算機株式会社 撮像装置、撮像方法及び撮像プログラム
US20100295957A1 (en) * 2009-05-19 2010-11-25 Sony Ericsson Mobile Communications Ab Method of capturing digital images and image capturing apparatus
WO2013054446A1 (ja) 2011-10-14 2013-04-18 株式会社モルフォ 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
JP2013179565A (ja) * 2012-02-01 2013-09-09 Panasonic Corp 撮像装置
US8446481B1 (en) 2012-09-11 2013-05-21 Google Inc. Interleaved capture for high dynamic range image acquisition and synthesis
JP6152635B2 (ja) * 2012-11-08 2017-06-28 ソニー株式会社 画像処理装置および方法、並びに、プログラム
US9087391B2 (en) 2012-12-13 2015-07-21 Google Inc. Determining an image capture payload burst structure
US8866927B2 (en) 2012-12-13 2014-10-21 Google Inc. Determining an image capture payload burst structure based on a metering image capture sweep
US8866928B2 (en) 2012-12-18 2014-10-21 Google Inc. Determining exposure times using split paxels
US9247152B2 (en) 2012-12-20 2016-01-26 Google Inc. Determining image alignment failure
US8995784B2 (en) 2013-01-17 2015-03-31 Google Inc. Structure descriptors for image processing
US9686537B2 (en) 2013-02-05 2017-06-20 Google Inc. Noise models for image processing
US9117134B1 (en) 2013-03-19 2015-08-25 Google Inc. Image merging with blending
US9066017B2 (en) 2013-03-25 2015-06-23 Google Inc. Viewfinder display based on metering images
US9077913B2 (en) 2013-05-24 2015-07-07 Google Inc. Simulating high dynamic range imaging with virtual long-exposure images
US9131201B1 (en) 2013-05-24 2015-09-08 Google Inc. Color correcting virtual long exposures with true long exposures
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
JP6299544B2 (ja) * 2014-09-24 2018-03-28 株式会社Ｊｖｃケンウッド 固体撮像装置
EP3833004A1 (en) 2015-07-10 2021-06-09 Panasonic Intellectual Property Management Co., Ltd. Imaging device
KR20170029185A (ko) * 2015-09-07 2017-03-15 삼성전자주식회사 이미지 신호 프로세서의 작동 파라미터들에 대한 자동 튜닝 방법
CN105681645A (zh) * 2015-11-06 2016-06-15 乐视移动智能信息技术（北京）有限公司 防抖拍照方法、装置及移动终端
CN107615744B (zh) * 2016-04-27 2020-07-24 华为技术有限公司 一种图像拍摄参数的确定方法及摄像装置
CN108886585B (zh) 2017-01-25 2022-01-11 松下知识产权经营株式会社 驾驶控制系统以及驾驶控制方法
US11722771B2 (en) * 2018-12-28 2023-08-08 Canon Kabushiki Kaisha Information processing apparatus, imaging apparatus, and information processing method each of which issues a notification of blur of an object, and control method for the imaging apparatus

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001086398A (ja) 1999-07-15 2001-03-30 Olympus Optical Co Ltd 撮像装置
US7061524B2 (en) * 2001-11-13 2006-06-13 The Board Of Trustees Of The Leland Stanford Junior University Motion/saturation detection system and method for synthesizing high dynamic range motion blur free images from multiple captures
US7489829B2 (en) 2003-03-11 2009-02-10 Sightic Vista Ltd. Adaptive low-light image processing
WO2005055587A1 (en) * 2003-12-01 2005-06-16 Koninklijke Philips Electronics N.V. Motion-compensated inverse filtering with band-pass filters for motion blur reduction
JP2005236662A (ja) 2004-02-19 2005-09-02 Mitsubishi Electric Corp 撮像方法、撮像装置及び撮像システム
JP4755490B2 (ja) * 2005-01-13 2011-08-24 オリンパスイメージング株式会社 ブレ補正方法および撮像装置
JP2007257287A (ja) 2006-03-23 2007-10-04 Tokyo Institute Of Technology 画像レジストレーション方法
KR100843087B1 (ko) 2006-09-06 2008-07-02 삼성전자주식회사 영상 생성 장치 및 방법
KR101442153B1 (ko) * 2008-01-15 2014-09-25 삼성전자 주식회사 저조도 영상 처리 방법 및 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150132605A (ko) * 2013-04-15 2015-11-25 퀄컴 인코포레이티드 고스트-프리 높은 동적 레인지 이미지들의 생성
US10382674B2 (en) 2013-04-15 2019-08-13 Qualcomm Incorporated Reference image selection for motion ghost filtering

Also Published As

Publication number Publication date
CN101516001A (zh) 2009-08-26
US8350955B2 (en) 2013-01-08
KR101442610B1 (ko) 2014-09-19
CN101516001B (zh) 2013-02-27
US20090207258A1 (en) 2009-08-20

Similar Documents

Publication Publication Date Title
KR101442610B1 (ko) 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체
JP6157242B2 (ja) 画像処理装置及び画像処理方法
US9992478B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for synthesizing images
US9253388B2 (en) Image processing device and method, and program
US9712740B2 (en) Image processing apparatus, imaging apparatus, image processing method, and storage medium
KR101271098B1 (ko) 디지털 촬영장치, 추적방법 및 추적방법을 실행시키기 위한프로그램을 저장한 기록매체
US20160301868A1 (en) Automated generation of panning shots
JP2017138647A (ja) 画像処理装置、画像処理方法、映像撮影装置、映像記録再生装置、プログラム及び記録媒体
JP2013242658A (ja) 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム
KR101204888B1 (ko) 디지털 촬영장치, 그 제어방법 및 이를 실행시키기 위한프로그램을 저장한 기록매체
JP2018107526A (ja) 画像処理装置、撮像装置、画像処理方法およびコンピュータのプログラム
KR20130105534A (ko) 화상 합성 장치 및 화상 합성용 컴퓨터 프로그램
JP2010187348A (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP6261205B2 (ja) 画像処理装置
JP2010279054A (ja) 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP2019101996A (ja) 複数の撮像画像を合成することによりノイズを低減する画像処理装置及び画像処理方法
JP6541501B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
KR20100013856A (ko) 이미지 처리장치, 이미지 처리방법 및 처리방법을실행시키기 위한 프로그램을 저장한 기록매체
JP2019101997A (ja) 複数の撮像画像を合成することによりノイズを低減する画像処理装置及び画像処理方法
US10362213B2 (en) Imaging apparatus and imaging method
KR20100013858A (ko) 이미지 처리장치, 이미지 처리방법 및 처리방법을실행시키기 위한 프로그램을 저장한 기록매체
KR101396353B1 (ko) 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체
JP6687210B1 (ja) 撮像装置
US20230232102A1 (en) Image blur correction apparatus, control method therefor, imaging apparatus, and storage medium
US20230276127A1 (en) Image processing apparatus and image processing method

Legal Events

Date Code Title Description
N231 Notification of change of applicant
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170830

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180830

Year of fee payment: 5