KR20110056098A - Ｐ ｓ ｆ를 추정하기 위한 장치 및 방법 - Google Patents

Ｐ ｓ ｆ를 추정하기 위한 장치 및 방법 Download PDF

Info

Publication number
KR20110056098A
KR20110056098A KR1020090112785A KR20090112785A KR20110056098A KR 20110056098 A KR20110056098 A KR 20110056098A KR 1020090112785 A KR1020090112785 A KR 1020090112785A KR 20090112785 A KR20090112785 A KR 20090112785A KR 20110056098 A KR20110056098 A KR 20110056098A
Authority
KR
South Korea
Prior art keywords
image
result
level
result image
exposure image
Prior art date
Application number
KR1020090112785A
Other languages
English (en)
Other versions
KR101594300B1 (ko
Inventor
장순근
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090112785A priority Critical patent/KR101594300B1/ko
Priority to US12/947,984 priority patent/US8514289B2/en
Publication of KR20110056098A publication Critical patent/KR20110056098A/ko
Priority to US13/968,916 priority patent/US8830363B2/en
Application granted granted Critical
Publication of KR101594300B1 publication Critical patent/KR101594300B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 일 실시예에 따른 PSF 추정 방법은, 서로 다른 노출 시간으로 연속적으로 촬영된 짧은 노출 영상과 긴 노출 영상 사이의 글로벌 모션을 추정하여, 글로벌 모션을 보상하는 단계; 상기 짧은 노출 영상에 밴드 패스 필터를 적용하여 제1 결과 영상을 산출하는 단계; 상기 긴 노출 영상에 상기 밴드 패스 필터를 적용하여 제2 결과 영상을 산출하는 단계; 상기 제1 결과 영상 및 상기 제2 결과 영상을 n레벨(n은 3이상의 홀수인 자연수) 영상으로 변환하여, 제1 n레벨 결과 영상 및 제2 n레벨 결과 영상을 도출하는 단계; 상기 제1 n레벨 결과 영상과 상기 제2 n레벨 결과 영상을 코릴레이션(correlation)하여, 코릴레이션 맵을 산출하는 단계; 및 상기 코릴레이션 맵으로부터 PSF(point spread function)를 도출하는 단계를 포함한다.

Description

Ｐ Ｓ Ｆ를 추정하기 위한 장치 및 방법 {A apparatus and method for estimating PSF}
본 발명은 흔들림 보정을 위한 PSF(Point spread function)을 추정하기 위한 장치, 방법, 및 상기 PSF 추정 방법을 수행하기 위한 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 저장매체에 관한 것이다.
디지털 촬영 장치는 렌즈, 조리개 등 광학부를 통해 입사된 광학 신호를 촬상 소자에서 전기적인 신호로 변환하여 피사체를 촬영한다. 촬상 소자는 셔터가 열려서 노출되는 동안 피사체로부터의 광학 신호를 입력받는데, 셔터가 열려있는 동안, 사용자의 손떨림 등으로 인해서 디지털 촬영 장치가 흔들리면, 촬영된 영상에 흔들림이 발생한다. 디지털 촬영 장치는 사용자의 손떨림 등으로 인해 발생하는 흔들림을 보정하는 기능을 제공할 수 있다. 흔들림 보정은 흔들림의 경로를 나타내는 PSF(point spread function)를 이용하여 수행될 수 있다.
본 발명의 실시예들은 디지털 촬영 장치에서 촬영된 영상의 흔들림 보정을 위한 PSF를 추정하기 위한 장치, 방법, 및 컴퓨터 판독가능 저장매체를 제공하기 위한 것이다.
본 발명의 일 실시예에 따른 PSF 추정 방법은, 서로 다른 노출 시간으로 연속적으로 촬영된 짧은 노출 영상과 긴 노출 영상 사이의 글로벌 모션을 추정하여, 글로벌 모션을 보상하는 단계; 상기 짧은 노출 영상에 밴드 패스 필터를 적용하여 제1 결과 영상을 산출하는 단계; 상기 긴 노출 영상에 상기 밴드 패스 필터를 적용하여 제2 결과 영상을 산출하는 단계; 상기 제1 결과 영상 및 상기 제2 결과 영상을 n레벨(n은 3이상의 홀수인 자연수) 영상으로 변환하여, 제1 n레벨 결과 영상 및 제2 n레벨 결과 영상을 도출하는 단계; 상기 제1 n레벨 결과 영상과 상기 제2 n레벨 결과 영상을 코릴레이션(correlation)하여, 코릴레이션 맵을 산출하는 단계; 및 상기 코릴레이션 맵으로부터 PSF(point spread function)를 도출하는 단계를 포함한다.
상기 밴드 패스 필터는 DoG 필터로 구현될 수 있는데, 이를 위해, 상기 제1 결과 영상을 산출하는 단계는, 상기 짧은 노출 영상에 제1 표준편차를 갖는 제1 가우시안 필터를 적용하고, 상기 짧은 노출 영상에 제2 표준편차를 갖는 제2 가우시안 필터를 적용한 후, 상기 짧은 노출 영상에 상기 제1 가우시안 필터를 적용한 결 과 영상으로부터, 상기 짧은 노출 영상에 상기 제2 가우시안 필터를 적용한 결과 영상을 뺀 제1 결과 영상을 산출하고, 상기 제2 결과 영상을 산출하는 단계는, 상기 긴 노출 영상에 상기 제1 가우시안 필터를 적용하고, 상기 긴 노출 영상에 상기 제2 가우시안 필터를 적용한 후, 상기 긴 노출 영상에 상기 제1 가우시안 필터를 적용한 결과 영상으로부터, 상기 긴 노출 영상에 상기 제2 가우시안 필터를 적용한 결과 영상을 뺀 제2 결과 영상을 산출하고, 상기 제1 표준편차는 상기 제2 표준편차보다 작고, 상기 제1 표준편차 및 상기 제2 표준편차는 0보다 크고 0.5보다 작거나 같다.
본 발명의 다른 실시예에 따르면, 상기 제1 표준편차는 0보다 크고 0.1 이하이고, 상기 제2 표준편차는 0.2 이상 0.38이하일 수 있다.
본 발명의 또 다른 실시예에 따르면, 상기 PSF 추정 방법은, 상기 제1 결과 영상 및 상기 제2 결과 영상을 n레벨 영상으로 변환하기 전에, 상기 제1 결과 영상으로부터 상기 제1 결과 영상의 평균값을 빼고, 상기 제2 결과 영상으로부터 상기 제2 결과 영상의 평균값을 빼는 단계를 더 포함할 수 있다. 또한, 상기 제1 n레벨 결과 영상 및 상기 제2 n레벨 결과 영상을 도출하는 단계는, 0을 포함하고, 0을 중심으로 대칭인 n-2개의 문턱값을 이용하여 상기 제1 결과 영상 및 상기 제2 결과 영상을 상기 n레벨 영상으로 변환하고, 상기 n레벨 영상은 0을 포함하고 0에 대해 대칭인 홀수개의 레벨로 이루어질 수 있다.
상기 PSF를 도출하는 단계는, 상기 짧은 노출 영상과 상기 코릴레이션 맵을 컨벌루션한 제1 영상과, 상기 긴 노출 영상의 차이가 최소가 되는, 상기 코릴레이 션 맵의 결과값에 대한 경계값을 도출하는 단계; 및 상기 코릴레이션 맵에 상기 경계값을 적용하여 PSF를 도출하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따르면, 상기 코릴레이션 맵의 결과값에 대한 경계값을 도출하는 단계는, 구배법(Gradient descent method)을 이용하여 상기 경계값을 도출한다.
본 발명의 일 실시예에 따른 PSF 추정 장치는, 서로 다른 노출 시간으로 연속적으로 촬영된 짧은 노출 영상과 긴 노출 영상 사이의 글로벌 모션을 추정하여, 글로벌 모션을 보상하는 글로벌 모션 보상부; 상기 짧은 노출 영상에 밴드 패스 필터를 적용하여 제1 결과 영상을 산출하는 제1 결과 영상 산출부; 상기 긴 노출 영상에 상기 밴드 패스 필터를 적용하여 제2 결과 영상을 산출하는 제2 결과 영상 산출부; 상기 제1 결과 영상 및 상기 제2 결과 영상을 n레벨(n은 3이상의 홀수인 자연수) 영상으로 변환하여, 제1 n레벨 결과 영상 및 제2 n레벨 결과 영상을 도출하는 n레벨 영상 도출부; 상기 제1 n레벨 결과 영상과 상기 제2 n레벨 결과 영상을 코릴레이션(correlation)하여, 코릴레이션 맵을 산출하는 코릴레이션 맵 산출부; 및 상기 코릴레이션 맵으로부터 PSF(point spread function)를 도출하는 PSF 도출부를 포함한다.
상기 밴드 패스 필터는 DoG 필터로 구현될 수 있는데, 이를 위해, 상기 제1 결과 영상 산출부는, 상기 짧은 노출 영상에 제1 표준편차를 갖는 제1 가우시안 필터를 적용하고, 상기 짧은 노출 영상에 제2 표준편차를 갖는 제2 가우시안 필터를 적용한 후, 상기 짧은 노출 영상에 상기 제1 가우시안 필터를 적용한 결과 영상으 로부터, 상기 짧은 노출 영상에 상기 제2 가우시안 필터를 적용한 결과 영상을 뺀 제1 결과 영상을 산출하고, 상기 제2 결과 영상 산출부는, 상기 긴 노출 영상에 상기 제1 가우시안 필터를 적용하고, 상기 긴 노출 영상에 상기 제2 가우시안 필터를 적용한 후, 상기 긴 노출 영상에 상기 제1 가우시안 필터를 적용한 결과 영상으로부터, 상기 긴 노출 영상에 상기 제2 가우시안 필터를 적용한 결과 영상을 뺀 제2 결과 영상을 산출하고, 상기 제1 표준편차는 상기 제2 표준편차보다 작고, 상기 제1 표준편차 및 상기 제2 표준편차는 0보다 크고 0.5보다 작거나 같다.
본 발명의 다른 실시예에 따르면, 상기 제1 표준편차는 0보다 크고 0.1 이하이고, 상기 제2 표준편차는 0.2 이상 0.38이하이다.
본 발명의 또 다른 실시예에 따르면, 상기 n레벨 영상 도출부는, 상기 제1 결과 영상 및 상기 제2 결과 영상을 n레벨 영상으로 변환하기 전에, 상기 제1 결과 영상으로부터 상기 제1 결과 영상의 평균값을 빼고, 상기 제2 결과 영상으로부터 상기 제2 결과 영상의 평균값을 빼고, 평균값을 뺀 상기 제1 결과 영상 및 상기 제2 결과 영상으로부터 상기 n레벨 영상을 도출한다. 또한, 상기 n레벨 영상 도출부는, 0을 포함하고, 0을 중심으로 대칭인 n-2개의 문턱값을 이용하여 상기 제1 결과 영상 및 상기 제2 결과 영상을 상기 n레벨 영상으로 변환하고, 상기 n레벨 영상은 0을 포함하고 0에 대해 대칭인 홀수개의 레벨로 이루어진다.
상기 PSF 도출부는, 상기 짧은 노출 영상과 상기 코릴레이션 맵을 컨벌루션한 제1 영상과, 상기 긴 노출 영상의 차이가 최소가 되는, 상기 코릴레이션 맵의 결과값에 대한 경계값을 도출하는 경계값 도출부; 및 상기 코릴레이션 맵에 상기 경계값을 적용하여 PSF를 도출하는 PSF 결정부를 포함할 수 있다.
본 발명의 또 다른 실시예에 따르면, 상기 경계값 도출부는, 구배법(Gradient descent method)을 이용하여 상기 경계값을 도출할 수 있다.
본 발명의 일 실시예에 따른 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 저장매체에 있어서, 상기 컴퓨터 프로그램은, 서로 다른 노출 시간으로 연속적으로 촬영된 짧은 노출 영상과 긴 노출 영상 사이의 글로벌 모션을 추정하여, 글로벌 모션을 보상하는 코드 부분; 상기 짧은 노출 영상에 밴드 패스 필터를 적용하여 제1 결과 영상을 산출하는 코드 부분; 상기 긴 노출 영상에 상기 밴드 패스 필터를 적용하여 제2 결과 영상을 산출하는 코드 부분; 상기 제1 결과 영상 및 상기 제2 결과 영상을 n레벨(n은 3이상의 홀수인 자연수) 영상으로 변환하여, 제1 n레벨 결과 영상 및 제2 n레벨 결과 영상을 도출하는 코드 부분; 상기 제1 n레벨 결과 영상과 상기 제2 n레벨 결과 영상을 코릴레이션(correlation)하여, 코릴레이션 맵을 산출하는 코드 부분; 및 상기 코릴레이션 맵으로부터 PSF(point spread function)를 도출하는 코드 부분을 포함한다.
본 발명의 일 실시예에 따른 디지털 촬영 장치 제어 방법은, 한 번의 셔터-릴리즈 버튼 입력에 응답하여, 연속으로 서로 다른 노출 시간이 다른 짧은 노출 영상과 긴 노출 영상을 촬영하는 단계; 및 상기 짧은 노출 영상과 상기 긴 노출 영상으로부터 PSF를 추정하는 단계를 포함하고, 상기 짧은 노출 영상은 상기 긴 노출 영상보다 노출 시간이 짧고, 상기 짧은 노출 영상에 대한 상기 촬상 소자의 게인값은 상기 긴 노출 영상에 대한 상기 촬상 소자의 게인값보다 크며, 상기 짧은 노출 영상과 상기 긴 노출 영상의 노출 시간의 합은, 상기 셔터-릴리즈 버튼을 입력할 때의 설정된 노출 시간에 따라 결정된다.
상기 PSF를 추정하는 단계는, 상기 짧은 노출 영상과 상기 긴 노출 영상 사이의 글로벌 모션을 추정하여, 글로벌 모션을 보상하는 단계; 상기 짧은 노출 영상에 밴드 패스 필터를 적용하여 제1 결과 영상을 산출하는 단계; 상기 긴 노출 영상에 상기 밴드 패스 필터를 적용하여 제2 결과 영상을 산출하는 단계; 상기 제1 결과 영상 및 상기 제2 결과 영상을 n레벨(n은 3이상의 홀수인 자연수) 영상으로 변환하여, 제1 n레벨 결과 영상 및 제2 n레벨 결과 영상을 도출하는 단계; 상기 제1 n레벨 결과 영상과 상기 제2 n레벨 결과 영상을 코릴레이션(correlation)하여, 코릴레이션 맵을 산출하는 단계; 및 상기 코릴레이션 맵으로부터 PSF(point spread function)를 도출하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 디지털 촬영 장치는, 촬상 소자; 및 한 번의 셔터-릴리즈 버튼 입력에 응답하여, 연속으로 서로 노출 시간이 다른 짧은 노출 영상과 긴 노출 영상을 촬영하도록 상기 촬상 소자를 제어하는 촬상 소자 제어부를 포함하고, 상기 짧은 노출 영상과 상기 긴 노출 영상은 상기 한 번의 셔터-릴리즈 버튼 입력에 대한 촬영 영상의 PSF를 추정하기 위해 이용되고, 상기 짧은 노출 영상은 상기 긴 노출 영상보다 노출 시간이 짧고, 상기 짧은 노출 영상에 대한 상기 촬상 소자의 게인값은 상기 긴 노출 영상에 대한 상기 촬상 소자의 게인값보다 크며, 상기 짧은 노출 영상과 상기 긴 노출 영상의 노출 시간의 합은, 상기 디지털 촬영 장치의 설정된 노출 시간에 따라 결정된다.
상기 디지털 촬영 장치는, 상기 짧은 노출 영상과 상기 긴 노출 영상 사이의 글로벌 모션을 추정하여, 글로벌 모션을 보상하는 글로벌 모션 보상부; 상기 짧은 노출 영상에 밴드 패스 필터를 적용하여 제1 결과 영상을 산출하는 제1 결과 영상 산출부; 상기 긴 노출 영상에 상기 밴드 패스 필터를 적용하여 제2 결과 영상을 산출하는 제2 결과 영상 산출부; 상기 제1 결과 영상 및 상기 제2 결과 영상을 n레벨(n은 3이상의 홀수인 자연수) 영상으로 변환하여, 제1 n레벨 결과 영상 및 제2 n레벨 결과 영상을 도출하는 n레벨 영상 도출부; 상기 제1 n레벨 결과 영상과 상기 제2 n레벨 결과 영상을 코릴레이션(correlation)하여, 코릴레이션 맵을 산출하는 코릴레이션 맵 산출부; 및 상기 코릴레이션 맵으로부터 PSF(point spread function)를 도출하는 PSF 도출부를 포함할 수 있다.
본 발명의 실시예들에 따르면, 서로 노출시간이 다른 연속 촬영된 두 개의 영상을 이용하여 PSF를 추정함으로써, PSF를 추정할 때 반복 추정의 횟수를 감소시킬 수 있다.
또한, 본 발명의 실시예들은 촬영된 영상에서 에지가 있는 부분과 에지가 없는 부분에 대한 균형적인 처리를 가능하게 한다.
이하 첨부된 도면들을 참조하여 본 발명의 실시예들을 설명한다. 하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다.
또한 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
이하 첨부된 도면을 참조하여 본 발명의 실시예들을 설명한다.
도 1은 본 발명의 일 실시예에 따른 디지털 촬영 장치의 개략적인 구조를 도시한 도면이다.
본 발명의 일 실시예에 따른 디지털 촬영 장치(100)는 렌즈(110), 렌즈 구동부(111), 조리개(112), 조리개 구동부(113), 촬상 소자(115), 촬상 소자 제어부(116), 아날로그 신호 처리부(120), 프로그램 저장부(130), 버퍼 저장부(140), 데이터 저장부(150), 디스플레이 구동부(162), 디스플레이부(164), 디지털 신호 처리부(170), 및 조작부(180)를 포함할 수 있다.
렌즈(110)는 광학 신호를 집광한다. 렌즈(110)는 초점 거리(focal length)에 따라 화각이 좁아지거나 또는 넓어지도록 제어하는 줌 렌즈 및 피사체의 초점을 맞추는 포커스 렌즈 등을 포함하며, 이들 렌즈들은 각각 하나의 렌즈로 구성될 수도 있지만, 복수의 렌즈들의 군집으로 이루어질 수도 있다.
조리개(112)는 그 개폐 정도를 조절하여 입사광의 광량을 조절한다.
렌즈 구동부(111) 및 조리개 구동부(113)는 디지털 신호 처리부(170)로부터 제어 신호를 제공받아, 각각 렌즈(110) 및 조리개(112)를 구동한다. 렌즈 구동부(111)는 렌즈의 위치를 조절하여 초점 거리를 조절하고, 오토 포커싱, 줌 변경, 초점 변경들의 동작을 수행한다. 조리개 구동부(113)는 조리개의 개폐 정도를 조절하고, 특히 f 넘버를 조절하여 오토 포커스, 자동 노출 보정, 초점 변경, 피사계 심도 조절 등의 동작을 수행한다.
광학부(110)를 투과한 광학 신호는 촬상 소자(115)의 수광면에 이르러 피사체의 상을 결상한다. 상기 촬상 소자(115)는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device) 또는 CIS(Complementary Metal Oxide Semiconductor Image Sensor) 등을 사용할 수 있다. 이와 같은 촬상소자(115)는 촬상소자 제어부(116)에 의해 감도 등이 조절될 수 있다. 촬상소자 제어부(116)는 실시간으로 입력되는 영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 촬상 소자(115)를 제어할 수 있다.
촬상 소자(115)의 노광 시간은 셔터(미도시)로 조절된다. 셔터는 가리개의 이동하여 빛의 입사를 조절하는 기계식 셔터와, 촬상 소자(115)에 전기 신호를 공급하여 노광을 제어하는 전자식 셔터가 있다.
본 발명의 일 실시예에 따른 촬상 소자 제어부(116)는 한 번의 셔터-릴리즈 버튼 입력에 응답해서, 서로 노출 시간이 다른 짧은 노출 영상과 긴 노출 영상을 연속으로 촬영하도록 촬상 소자(115)를 제어할 수 있다. 상기 짧은 노출 영상은 상기 긴 노출 영상보다 노출 시간이 짧고, 상기 짧은 노출 영상에 대한 상기 촬상 소자의 게인값은 상기 긴 노출 영상에 대한 상기 촬상 소자의 게인값보다 크다. 또한 촬상 소자 제어부(116)는 짧은 노출 영상과 긴 노출 영상의 노출 시간에 따라 각각의 ISO 값을 조절할 수 있다.
짧은 노출 영상의 노출 시간과 긴 노출 영상의 노출 시간은 디지털 촬영 장치(100)에서 설정된 노출 시간에 따라 결정된다. 짧은 노출 영상과 긴 노출 영상의 노출 시간의 합은 디지털 촬영 장치(100)에 설정된 노출 시간과 같도록 설정될 수 있다. 예를 들면, 디지털 촬영 장치(100)에 설정된 노출 시간이 1초인 경우, 짧은 노출 영상의 노출 시간은 100msec이고 긴 노출 영상의 노출 시간은 900msec일 수 있다.
디지털 촬영 장치(100)가 기계식 셔터로 구현된 경우, 셔터 제어부(미도시)는 한 번의 셔터-릴리즈 버튼 입력에 응답해서, 기계식 셔터를 연속으로 두 번 움직이고, 노출 시간을 조절하여, 짧은 노출 영상과 긴 노출 영상을 촬영할 수 있다.
디지털 촬영 장치(100)가 전자식 셔터로 구현된 경우, 촬상 소자 제어부(116)가 짧은 노출 영상과 긴 노출 영상을 연속으로 촬영하도록 전자식 셔터를 제어할 수 있다.
아날로그 신호 처리부(120)는 촬상 소자(115)로부터 공급된 아날로그 신호에 대하여, 노이즈 저감 처리, 게인 조정, 파형 정형화, 아날로그-디지털 변환 처리 등을 수행한다.
조작부(180)는 사용자 등의 외부로부터의 제어 신호를 입력할 수 있는 곳이다. 상기 조작부(180)는 정해진 시간 동안 촬상 소자(115)를 빛에 노출하여 사진을 촬영하는 셔터-릴리즈 신호를 입력하는 셔터-릴리즈 버튼, 전원의 온-오프를 제어하기 위한 제어 신호를 입력하는 전원 버튼, 입력에 따라 화각을 넓어지게 하거나 화각을 좁아지게 하는 광각-줌 버튼 및 망원-줌 버튼과, 문자 입력 또는 촬영 모 드, 재생 모드 등의 모드 선택, 화이트 밸런스 설정 기능 선택, 노출 설정 기능 선택 등의 다양한 기능 버튼들을 포함할 수 있다. 조작부(180)는 상기와 같이 다양한 버튼의 형태를 가질 수도 있지만, 이에 한정되는 것은 아니며, 키보드, 터치 패드, 터치스크린, 원격 제어기 등과 같이 사용자가 입력할 수 있는 어떠한 형태로 구현되어도 무방하다.
또한, 상기 디지털 촬영 장치(100)는 상기 디지털 카메라를 구동하는 운영 시스템, 응용 시스템 등의 프로그램을 저장하는 프로그램 저장부(130), 연산 수행 중에 필요한 데이터 또는 결과 데이터들을 임시로 저장하는 버퍼 저장부(140), 영상 신호를 포함하는 이미지 파일을 비롯하여 상기 프로그램에 필요한 다양한 정보들을 저장하는 데이터 저장부(150)를 포함한다.
아울러, 상기 디지털 촬영 장치(100)는 이의 동작 상태 또는 상기 디지털 촬영 장치(100)에서 촬영한 이미지 정보를 표시하도록 디스플레이부(164)를 포함한다. 상기 디스플레이부(164)는 시각적인 정보 및/또는 청각적인 정보를 사용자에게 제공할 수 있다. 시각적인 정보를 제공하기 위해 디스플레이부(164)는 예를 들면, 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED) 등으로 이루어질 수 있다. 디스플레이 구동부(162)는 디스플레이부(164)에 구동 신호를 제공한다.
그리고 상기 디지털 촬영 장치(100)는 입력되는 영상 신호를 처리하고, 이에 따라 또는 외부 입력 신호에 따라 각 구성부들을 제어하는 디지털 신호 처리부(170)를 포함한다. 디지털 신호 처리부(170)는 입력된 영상 데이터에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 신호 처리를 수행할 수 있다. 또한, 화질 개선을 위한 영상 신호 처리를 하여 생성한 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식이어도 된다. 적절한 형식의 예로서, JPEG(Joint Photographic Experts Group)형식이나 JPEG 2000 형식 등으로 변환도 가능하다. 압축한 상기 데이터 저장부(150)에 저장될 수 있다. 또한, 디지털 신호 처리부(170)에서는 기능적으로 불선명 처리, 색체 처리, 블러 처리, 엣지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 행할 수 있다. 아울러, 디지털 신호 처리부(170)에서는 제1 표시부(164) 및 제2 표시부(168)에 디스플레이하기 위한 표시 영상 신호 처리를 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 행할 수 있다. 상기 디지털 신호 처리부(170)는 외부 모니터와 연결되어, 외부 모니터에 디스플레이 되도록 소정의 영상 신호 처리를 행할 수 있으며, 이렇게 처리된 영상 데이터를 전송하여 상기 외부 모니터에서 해당 영상이 디스플레이 되도록 할 수 있다.
또한 디지털 신호 처리부(170)는 프로그램 저장부(130)에 저장된 프로그램을 실행하거나, 별도의 모듈을 구비하여, 오토 포커싱, 줌 변경, 초점 변경, 자동 노출 보정 등을 제어하기 위한 제어 신호를 생성하여, 렌즈 구동부(111), 조리개 구 동부(113), 및 촬상 소자 제어부(116)에 제공하고, 셔터, 플래시 등 디지털 촬영 장치(100)에 구비된 구성 요소들의 동작을 총괄적으로 제어할 수 있다.
본 발명의 일 실시예에 따른 디지털 신호 처리부(170)는 촬상 소자(115)에서 촬영된 짧은 노출 영상 및 긴 노출 영상으로부터 흔들림 보정을 위한 PSF를 추정하는 PSF 추정 장치(172)를 포함할 수 있다.
도 2는 PSF의 개념을 설명하기 위한 도면이다.
디지털 촬영 장치(100)를 손에 들로 촬영하는 경우, 촬영된 영상에 촬상 소자(115)의 노출 중에 손의 흔들림으로 인한 블러(blur)가 발생한다. 이러한 블러를 움직임 블러라고 하며, 도 2와 같은 형태로 나타날 수 있다.
도 2는 점광원을 1초의 노출 시간으로 촬영한 영상이다. 점광원은, 촬상 소자(115)가 노출되는 동안 디지털 촬영 장치의 흔들림이 없다면 하나의 점으로 촬영된다. 그러나 도 2와 같이, 노출 시간 도중에 흔들림이 있는 경우, 영상의 화소들이 노출 시간 동안 흔들림에 따른 경로를 지나가게 된다.
PSF는 흔들림의 경로를 나타내는 함수로서, 수학식 1과 같은 관계를 갖는다.
Figure 112009071487202-PAT00001
여기서 B는 블러가 발생한 영상, L은 블러가 발생하지 않은 영상, N은 백색 가우시안 노이즈(white gaussian noise)를 나타낸다. 즉, PSF는 블러가 발생하지 않은 영상 L에 PSF를 컨벌루션하면, 블러된 영상이 나오는 함수를 의미한다. PSF는 도 2b에 도시된 바와 같이 흔들림 경로를 나타내는 영상으로 나타낼 수 있다.
PSF를 추정하기 위한 방식으로는 자이로 센서(Gyro sensor)를 이용한 방식과 영상을 이용한 방식이 있다. 자이로 센서를 이용한 방식은, 영상이 노출되고 있는 동안에 각속도를 측정하고, 측정된 각속도 값을 수평 방향 및 수직 방향의 이동량으로 변환하여 PSF를 추정한다.
도 3은 본 발명의 일 실시예에 따른 디지털 촬영 장치 제어 방법을 나타낸 흐름도이다.
본 실시예에 따른 디지털 촬영 장치 제어 방법은, 한 번의 셔터-릴리즈 버튼 입력에 응답하여 짧은 노출 영상과 긴 노출 영상을 연속적으로 촬영한다(S302). 셔터-릴리즈 버튼 입력은 조작부(180)를 통해 입력될 수 있다. 상기 짧은 노출 영상은 상기 긴 노출 영상보다 노출 시간이 짧고, 상기 짧은 노출 영상에 대한 상기 촬상 소자의 게인값은 상기 긴 노출 영상에 대한 상기 촬상 소자의 게인값보다 크다. 예를 들면 짧은 노출 영상에 대한 ISO 값은 긴 노출 영상에 대한 ISO 값보다 클 수 있다.
도 4a는 예시적인 짧은 노출 영상이고, 도 4b는 예시적인 긴 노출 영상이다.
도 4a에 도시된 바와 같이 짧은 노출 영상은 흔들림이 비교적 적고, 에지가 뚜렷하게 표현된다. 그러나 짧은 노출 영상은 ISO 값이 높기 때문에, 노이즈 레벨이 높은 편이다. 도 4b에 도시된 긴 노출 영상은 흔들림으로 인한 블러가 나타난다. 그러나 긴 노출 영상은 ISO 값이 낮기 때문에, 노이즈 레벨이 낮은 편이다.
다음으로, 상기 짧은 노출 영상과 상기 긴 노출 영상을 이용하여, PSF를 추 정한다(S304). PSF를 추정하는 과정은 도 4를 이용하여 설명한다.
도 5는 본 발명의 일 실시예에 따른 PSF 추정 방법을 나타낸 흐름도이다.
본 실시예에 따른 PSF 추정 방법은 우선, 짧은 노출 영상과 긴 노출 영상 간의 글로벌 모션을 보상한다(S502). 글로벌 모션은 짧은 노출 영상과 긴 노출 영상의 촬영 사이에 디지털 촬영 장치의 위치가 바뀜으로 인하여, 전체 화소가 쉬프트 된 것을 의미한다. 글로벌 모션 보상은 이러한 전체 화소의 쉬프트를 보상하여 짧은 노출 영상과 긴 노출 영상의 픽셀들이 서로 대응되도록 정렬(align)시키는 것을 말한다.
도 6a 및 도 6b는 짧은 노출 영상과 긴 노출 영상의 글로벌 모션을 보상하는 과정을 설명하기 위한 도면이다.
짧은 노출 영상과 긴 노출 영상은 연속적으로 촬영되지만, 서로 다른 시간에 촬영되기 때문에, 짧은 노출 영상과 긴 노출 영상 사이에 글로벌 모션이 발생할 수 있다. 예를 들면, 도 6a에 도시된 바와 같이, 짧은 노출 영상(602)과 긴 노출 영상(604)을 촬영하는 사이에 디지털 촬영 장치(100)가 살짝 회전하여, 직사각형 모양의 피사체가 짧은 노출 영상(602)에서는 수평으로 촬영되고, 긴 노출 영상(604)에서는 반시계 방향으로 회전하여 촬영될 수 있다. 이러한 경우, 짧은 노출 영상(602)과 긴 노출 영상(604) 사이의 글로벌 모션을 보상하기 위하여 하나의 영상을 중심으로 다른 영상을 정렬해야 한다. 예를 들어, 짧은 노출 영상(602)을 중심으로 긴 노출 영상(604)을 정렬하는 경우, 도 6a에 도시된 바와 같이, 긴 노출 영상(604)을 시계 방향으로 회전하여 글로벌 모션을 보상할 수 있다. 글로벌 모션을 보상하는 방법에는 다양한 방법이 있을 수 있으며, 예를 들면, 아핀 모션(Affine motion)의 파라미터를 추정하는 방법이 있다.
도 6b는 아핀 모션의 수식을 나타낸 도면이다.
아핀 모션은 도 6b에 도시된 바와 같이, 보상 전의 좌표값(x, y)을 글로벌 모션 추정 후의 좌표값(x', y')으로 변환한다. 이를 위해 아핀 변환을 위한 6개의 파라미터(a, b, c, d, e, 및 f)를 추정한다. 아핀 변환은 두 영상 사이의 평행 이동, 회전 이동, 크기 변화, 끊어짐(shear) 등을 보상할 수 있다. 본 실시예에서 아핀 변환된 긴 노출 영상의 좌표값은 수학식 2와 같이 나타낼 수 있다.
Figure 112009071487202-PAT00002
Figure 112009071487202-PAT00003
따라서 아핀 변환을 이용하여 짧은 노출 영상과 긴 노출 영상 중 어느 하나를 변환하면, 두 영상 사이의 글로벌 모션이 보상된다.
글로벌 모션이 보상되면, 짧은 노출 영상에 DoG(Difference of Gaussian) 필터를 적용하여 제1 결과 영상을 산출하고(S504), 긴 노출 영상에 DoG 필터를 적용하여 제2 결과 영상을 산출한다(S506). 제1 결과 영상을 산출하는 단계(S504)와 제2 결과 영상을 산출하는 단계(S506)는 순차적으로 수행될 필요는 없고, 동시에 진행하는 것도 가능하다.
본 실시예에 따르면, 짧은 노출 영상과 긴 노출 영상에 대해서 DoG 필터를 적용한다. DoG 필터는 밴드 패스 필터의 일종으로, 두 개의 가우시안 저역 통과 필터를 이용하여 구현된다.
도 7a 및 도 7b는 본 발명의 일 실시예에 따른 DoG 필터를 설명하기 위한 도면이다.
DoG 필터는 도 7a에 도시된 바와 같은, 두 개의 가우시안 저역 통과 필터를 이용하여 구현된다. 두 개의 가우시안 저역 통과 필터는 서로 표준편차가 다른 고주파 LPF(low pass filter)와 저주파 LPF일 수 있다. 고주파 LPF의 표준편차인 제1 표준편차(σ1)는 저주파 LPF의 표준편차인 제2 표준편차(σ2)보다 작다. 제1 표준편차(σ1) 및 제2 표준편차(σ2)는 PSF 추정 성능을 향상시키도록 선택될 수 있다. 본 실시예는 도 7a에 도시된 고주파 LPF에 영상을 컨벌루션한 결과 영상으로부터, 저주파 LPF에 영상을 컨벌루션한 결과 영상을 빼서, DoG 필터를 적용한 결과 영상을 얻는다.
DoG 필터를 적용한 결과 영상은, 영상에 밴드 패스 필터를 적용한 것과 같은 효과를 가져온다. 도 7b에 도시된 바와 같이, 입력 영상에 포함된 원주파수대가 (A)와 같다고 할 때, (B)와 같은 주파수대를 갖는 고주파 LPF의 결과 영상으로부터, (C)와 같은 주파수대를 갖는 저주파 LPF 결과 영상을 빼면, 도 7b에 도시된 DoG 필터 통과 대역의 주파수대를 갖는 DoG 필터의 결과 영상이 산출된다. 따라서 DoG 필터는 밴드 패스 필터로 작용한다.
본 발명의 다른 실시예에 따르면, 제1 표준편차(σ1) 및 제2 표준편차(σ2)는 0보다 크고 0.5보다 작거나 같은 값일 수 있다. 또한, 제1 표준편차(σ1)는 0보 다 크고 0.1 이하이고, 제2 표준편차(σ2)는 0.2 이상 0.38이하일 수 있다. 예를 들면, 제1 표준편차(σ1)는 0에 가까운 값이고, 제2 표준편차(σ2)는 0.38일 수 있다. 다른 예로서, 제1 표준편차(σ1)는 0.1이고, 제2 표준편차(σ2)는 0.2일 수 있다.
제1 결과 영상 및 제2 결과 영상이 산출되면, 상기 제1 결과 영상으로부터 제1 n레벨 결과 영상을 도출하고, 상기 제2 결과 영상으로부터 제2 n레벨 결과 영상을 도출한다(S508). 본 발명의 일 실시예는, DoG 필터를 적용한 제1 결과 영상 및 제2 결과 영상을 n레벨 영상으로 변환함으로써, 에지가 강한 부분과 에지가 약한 부분을 균형적으로 처리할 수 있다. 일반적으로 블러는 에지가 강한 부분에서 강하게 발생하고, 에지가 약한 부분에서는 흔들림이 발생하더라도, 영상이 블러된 것을 관찰하기 힘들다. 본 발명의 일 실시예는, DoG 필터를 적용한 영상을 n레벨 영상으로 변환함으로써, 강한 에지와 약한 에지를 동일하게 취급함으로써, 에지의 강약에 따른 움직임 보상 불균형이 발생하는 것을 방지한다.
본 발명의 또 다른 실시예에 따르면, 상기 제1 결과 영상 및 상기 제2 결과 영상을 n레벨 영상으로 변환하기 전에, 상기 제1 결과 영상으로부터 상기 제1 결과 영상의 평균값을 빼고, 상기 제2 결과 영상으로부터 상기 제2 결과 영상의 평균값을 빼는 단계를 더 포함한다. 또한, 평균값을 뺀 제1 결과 영상 및 제2 결과 영상으로부터, n레벨 영상을 구할 때, 0을 중심으로 대칭인 n-2개의 문턱값을 이용하여 n레벨 영상을 구한다. n레벨 영상은 0을 포함하고 0에 대해 대칭인 홀수개의 레벨로 이루어질 수 있다. 본 실시예는 제1 결과 영상 및 제2 결과 영상으로부터 각각 의 영상의 평균값을 뺌으로써, 평균이 0인 영상을 이용하여 이후의 처리들을 수행할 수 있다.
예를 들면, 평균값이 제거된 제1 결과 영상 및 제2 결과 영상은 α, 0, 또는 -α의 값을 갖는 3레벨 영상으로 변환될 수 있다. α는 적절한 자연수로서, 예를 들면 40이다. 제1-3레벨 결과 영상 및 제2-3레벨 결과 영상은 수학식 3을 이용하여 도출될 수 있다. 3레벨 영상에서 0의 값을 갖는 픽셀은 에지를 나타낸다.
Figure 112009071487202-PAT00004
도 8a 및 도 8b는 본 발명의 또 다른 실시예에 따른 3레벨 영상을 나타낸 도면이다.
앞서 설명된 바와 같이, 짧은 노출 영상 및 긴 노출 영상을 3레벨 영상으로 변환하고, 이를 영상으로 표현하기 위하여 128의 오프셋을 각 픽셀값에 더하여, 도 8a 및 도 8b와 같이 나타내었다. 도 8a 및 도 8b에서 나타난 바와 같이, 에지인 부분과 에지가 아닌 부분이, 에지의 강약에 상관없이 3레벨 영상에서 표현된다.
제1 n레벨 결과 영상과 제2 n레벨 결과 영상이 도출되면(S508), 상기 제1 n레벨 결과 영상과 상기 제2 n레벨 결과 영상을 코릴레이션하여, 코릴레이션 맵을 산출한다(S510). 코릴레이션 맵은 제1 n레벨 결과 영상과 제2 n레벨 결과 영상을 코릴레이션한 결과값을, 코릴레이션 위치에 따라 나타낸 것이다.
도 9는 제1 n레벨 결과 영상과 제2 n레벨 결과 영상의 코릴레이션 맵을 나타낸 도면이다.
코릴레이션 맵은 제1 n레벨 결과 영상과 제2 n레벨 결과 영상을 코릴레이션하여 구할 수 있고, 이러한 과정은 템플릿 매칭(template matching)으로 불릴 수 있다. 제1 n레벨 결과 영상과 제2 n레벨 결과 영상은 전 영역에 걸쳐서 코릴레이션되거나, 또는 일정 범위로 한정하여 코릴레이션될 수 있다. 일정 범위로 한정하여 코릴레이션되는 경우, 흔들림이 발생할 것으로 예상되는 범위로 한정하여 코릴레이션될 수 있다. 도 9는 도 8a 영상 및 도 8b 영상의 코릴레이션 맵을 나타낸 것인데, 가로와 세로 방향으로 각각 0~50 범위에서 템플릿 코릴레이션이 수행되었다.
도 9에 도시된 바와 같이, 코릴레이션 맵은 특정 위치에서 큰 값을 나타내는데, 코릴레이션 맵의 코릴레이션 값이 큰 위치들은 흔들림 경로를 나타낸다. 따라서 코릴레이션 맵은 PSF의 특성을 나타낸다.
본 발명의 또 다른 실시예에 따르면, 코릴레이션 맵을 구하기 위해서 수행되는 코릴레이션은 Normalized SSD(Sum of Squared Differences) 또는 ZNCC(Zero-Mean Normalized Cross Correlation)일 수 있다.
다음으로, 코릴레이션 맵으로부터 PSF를 도출한다(S512). 코릴레이션 맵은 위치에 따라 변하는 코릴레이션 값을 갖는데, PSF를 확정하기 위해서, 코릴레이션 맵에 경계값을 적용하여, 경계값 이상의 값을 갖는 코릴레이션 값만을 PSF로 취하고, 경계값보다 작은 값을 갖는 코릴레이션 값은 버린다.
도 10은 코릴레이션 맵에 적용되는 경계값을 나타낸 도면이다.
도 9에 도시된 코릴레이션 맵을 I방향으로 잘라서 보면, 도 10에 도시된 바와 같은 2차원 그래프로 나타낼 수 있다. PSF를 결정하기 위해서 경계값(Th)을 결정해야하는데, 경계값(Th)은 수학식 4와 같이 PSF와 흔들림이 없는 영상을 컨벌루션한 제1 영상과 블러된 영상의 차이가 가장 작은 PSF를 구하도록 결정될 수 있다.
Figure 112009071487202-PAT00005
본 발명의 일 실시예에서는, 블러된 영상(B)으로 긴 노출 영상을 이용하고, 흔들림이 없는 영상(L)으로 짧은 노출 영상을 이용하며, PSF의 초기값으로 코릴레이션 맵을 이용할 수 있다. 수학식 4에 나타난 코스트 함수값(cost function,
Figure 112009071487202-PAT00006
)이 최소가 되는 PSF를 구하기 위해서는, 반복처리를 통해서 PSF를 찾아야 한다. 예를 들면, 도 11에 도시된 바와 같이, 도 9의 코릴레이션 맵을 256계조의 영상으로 나타낸다. 다음으로 도 12에 도시된 바와 같이, 추정된 경계값(Th)을 변화시켜가면서, 추정된 PSF와 짧은 노출 영상을 컨벌루션하고, 이를 긴 노출 영상과 비교하여, 코스트 함수값이 최소가 되는 PSF를 구할 수 있는 경계값(Th)을 찾는다.
본 발명의 또 다른 실시예는, 구배법(Gradient descent method)을 이용하여 코스트 함수값이 최소가 되는 PSF를 찾는다. 도 13은 구배법을 이용하여 경계값(Th)을 찾는 과정을 설명하기 위한 도면이다.
도 13에 도시된 바와 같이, 구배법으로 Th를 찾기 위해서, 경계값(Th)에 따 른 코스트 함수값을 구하는 범위를 좁혀가면서, 코스트 함수값이 최소가 되는 경계값(Th)을 찾는다. 예를 들면, 처음에 k1 범위를 10등분하여, k1 범위를 10등분한 10개의 경계값(Th)에 대한 코스트 함수값을 구하고, 코스트 함수값이 최소가 되는 경계값(Th)을 찾는다. 다음으로, 코스트 함수값이 최소로 나온 경계값(Th) 주변의 k2 범위에 대해서, 다시 10등분하고, k2 범위를 10등분한 10개의 경계값(Th)에 대해서 코스트 함수값이 최소가 되는 경계값(Th)을 찾는다. 이러한 과정을 반복하면, 코스트 함수값이 최소가 되는 목표 경계값(목표 Th)을 찾을 수 있고, 목표 경계값(목표 Th)을 이용하여, PSF를 추정할 수 있다. 이러한 과정을 통해서, 도 14에 도시된 바와 같은 PSF를 도출할 수 있다.
도 15는 본 발명의 일 실시예에 따른 PSF 추정 장치의 구조를 나타낸 도면이다.
본 발명의 일 실시예에 따른 PSF 추정 장치(172)는, 짧은 노출 영상과 긴 노출 영상을 입력받아, 도출된 PSF를 출력한다. 본 실시예에 따른 PSF 추정 장치(172)는 글로벌 모션 보상부(1502), 제1 결과 영상 산출부(1504), 제2 결과 영상 산출부(1506), n 레벨 영상 도출부(1508), 코릴레이션 맵 산출부(1510), 및 PSF 도출부(1512)를 포함할 수 있다.
글로벌 모션 보상부(1502)는 짧은 노출 영상과 긴 노출 영상 간의 글로벌 모션을 보상한다. 글로벌 모션 보상부(1502)는 앞서 도 6a 및 도 6b를 이용해 설명한 바와 같이, 아핀 모션 파라미터를 이용하여 글로벌 모션을 보상할 수 있다.
제1 결과 영상 산출부(1504)는 글로벌 모션이 보상된 짧은 노출 영상에 DoG 필터를 적용하여 제1 결과 영상을 산출하고, 제2 결과 영상 산출부(1506)는 글로벌 모션이 보상된 짧은 노출 영상에 DoG 필터를 적용하여 제2 결과 영상을 산출한다. DoG 필터는 밴드 패스 필터의 일종으로, 앞서 도 7a 및 도 7b를 이용하여 설명한 바와 같이, 두 개의 가우시안 저역 통과 필터를 이용하여 구현된다.
본 발명의 다른 실시예에 따르면, 제1 표준편차(σ1) 및 제2 표준편차(σ2)는 0보다 크고 0.5보다 작거나 같은 값일 수 있다. 또한, 제1 표준편차(σ1)는 0보다 크고 0.1 이하이고, 제2 표준편차(σ2)는 0.2 이상 0.38이하일 수 있다. 예를 들면, 제1 표준편차(σ1)는 0에 가까운 값이고, 제2 표준편차(σ2)는 0.38일 수 있다. 다른 예로서, 제1 표준편차(σ1)는 0.1이고, 제2 표준편차(σ2)는 0.2일 수 있다.
n 레벨 영상 도출부(1508)는 제1 결과 영상으로부터 제1 n레벨 결과 영상을 도출하고, 상기 제2 결과 영상으로부터 제2 n레벨 결과 영상을 도출한다.
본 발명의 또 다른 실시예에 따르면, 상기 제1 결과 영상 및 상기 제2 결과 영상을 n레벨 영상으로 변환하기 전에, 상기 제1 결과 영상으로부터 상기 제1 결과 영상의 평균값을 빼고, 상기 제2 결과 영상으로부터 상기 제2 결과 영상의 평균값을 빼는 단계를 더 포함한다. 또한, 평균값을 뺀 제1 결과 영상 및 제2 결과 영상으로부터, n레벨 영상을 구할 때, 0을 중심으로 대칭인 n-2개의 문턱값을 이용하여 n레벨 영상을 구한다. n레벨 영상은 0을 포함하고 0에 대해 대칭인 홀수개의 레벨로 이루어질 수 있다. 본 실시예는 제1 결과 영상 및 제2 결과 영상으로부터 각각의 영상의 평균값을 뺌으로써, 평균이 0인 영상을 이용하여 이후의 처리들을 수행 할 수 있다.
코릴레이션 맵 산출부(1510)는 상기 제1 n레벨 결과 영상과 상기 제2 n레벨 결과 영상을 코릴레이션하여, 코릴레이션 맵을 산출한다.
본 발명의 또 다른 실시예에 따르면, 코릴레이션 맵을 구하기 위해서 수행되는 코릴레이션은 Normalized SSD(Sum of Squared Differences) 또는 ZNCC(Zero-Mean Normalized Cross Correlation)일 수 있다.
PSF 도출부(1512)는 코릴레이션 맵으로부터 PSF를 도출한다. 도 16은 본 발명의 일 실시예에 따른 PSF 도출부(1512)의 구조를 나타낸 도면이다. 본 실시예에 따른 PSF 도출부(1512)는 경계값 도출부(1602) 및 PSF 결정부(1604)를 포함한다. 코릴레이션 맵은 위치에 따라 변하는 코릴레이션 값을 갖는데, PSF를 확정하기 위해서, 코릴레이션 맵에 경계값을 적용하여, 경계값 이상의 값을 갖는 코릴레이션 값만을 PSF로 취하고, 경계값보다 작은 값을 갖는 코릴레이션 값은 버린다. 경계값 도출부(1602)는 경계값은 앞서 설명된 바와 같이, 수학식 4의 코스트 함수값이 최소가 되는 경계값을 구한다. PSF 결정부(1604)는 경계값 도출부(1602)에서 결정된 경계값을 코릴레이션 맵에 적용하여, PSF를 결정한다.
본 발명의 또 다른 실시예에 따른 경계값 도출부(1602)는 구배법(Gradient descent method)을 이용하여 코스트 함수값이 최소가 되는 PSF를 찾는다.
한편, 본 발명은 컴퓨터 판독가능 저장매체에 컴퓨터가 판독 가능한 코드를 저장하여 구현하는 것이 가능하다. 상기 컴퓨터 판독가능 저장매체는 컴퓨터 시스템에 의하여 판독될 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한 다.
상기 컴퓨터가 판독 가능한 코드는, 상기 컴퓨터 판독가능 저장매체로부터 디지털 신호 처리부(170)에 의하여 독출되어 실행될 때, 본 발명에 따른 디지털 촬영 장치 제어 방법을 구현하는 단계들을 수행하도록 구성된다. 상기 컴퓨터가 판독 가능한 코드는 다양한 프로그래밍 언어들로 구현될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 통상의 기술자들에 의하여 용이하게 프로그래밍될 수 있다.
컴퓨터 판독 가능 저장 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 반송파(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터 판독가능 저장매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.
도 1은 본 발명의 일 실시예에 따른 디지털 촬영 장치의 개략적인 구조를 도시한 도면이다.
도 2는 PSF의 개념을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 디지털 촬영 장치 제어 방법을 나타낸 흐름도이다.
도 4a는 예시적인 짧은 노출 영상이고, 도 4b는 예시적인 긴 노출 영상이다.
도 5는 본 발명의 일 실시예에 따른 PSF 추정 방법을 나타낸 흐름도이다.
도 6a 및 도 6b는 짧은 노출 영상과 긴 노출 영상의 글로벌 모션을 보상하는 과정을 설명하기 위한 도면이다.
도 7a 및 도 7b는 본 발명의 일 실시예에 따른 DoG 필터를 설명하기 위한 도면이다.
도 8a 및 도 8b는 본 발명의 또 다른 실시예에 따른 3레벨 영상을 나타낸 도면이다.
도 9는 제1 n레벨 결과 영상과 제2 n레벨 결과 영상의 코릴레이션 맵을 나타낸 도면이다.
도 10은 코릴레이션 맵에 적용되는 경계값을 나타낸 도면이다.
도 11은 256계조로 나타낸 코릴레이션 맵이다.
도 12는 PSF를 추정하는 과정을 나타낸 도면이다.
도 13은 구배법을 이용하여 경계값(Th)을 찾는 과정을 설명하기 위한 도면이 다.
도 14는 본 발명의 일 실시예에 따라 도출된 PSF를 나타낸 도면이다.
도 15는 본 발명의 일 실시예에 따른 PSF 추정 장치의 구조를 나타낸 도면이다.
도 16은 본 발명의 일 실시예에 따른 PSF 도출부(1512)의 구조를 나타낸 도면이다.

Claims (25)

  1. 서로 다른 노출 시간으로 연속적으로 촬영된 짧은 노출 영상과 긴 노출 영상 사이의 글로벌 모션을 추정하여, 글로벌 모션을 보상하는 단계;
    상기 짧은 노출 영상에 밴드 패스 필터를 적용하여 제1 결과 영상을 산출하는 단계;
    상기 긴 노출 영상에 상기 밴드 패스 필터를 적용하여 제2 결과 영상을 산출하는 단계;
    상기 제1 결과 영상 및 상기 제2 결과 영상을 n레벨(n은 3이상의 홀수인 자연수) 영상으로 변환하여, 제1 n레벨 결과 영상 및 제2 n레벨 결과 영상을 도출하는 단계;
    상기 제1 n레벨 결과 영상과 상기 제2 n레벨 결과 영상을 코릴레이션(correlation)하여, 코릴레이션 맵을 산출하는 단계; 및
    상기 코릴레이션 맵으로부터 PSF(point spread function)를 도출하는 단계를 포함하는, PSF 추정 방법.
  2. 제1항에 있어서,
    상기 제1 결과 영상을 산출하는 단계는, 상기 짧은 노출 영상에 제1 표준편차를 갖는 제1 가우시안 필터를 적용하고, 상기 짧은 노출 영상에 제2 표준편차를 갖는 제2 가우시안 필터를 적용한 후, 상기 짧은 노출 영상에 상기 제1 가우시안 필터를 적용한 결과 영상으로부터, 상기 짧은 노출 영상에 상기 제2 가우시안 필터를 적용한 결과 영상을 뺀 제1 결과 영상을 산출하고,
    상기 제2 결과 영상을 산출하는 단계는, 상기 긴 노출 영상에 상기 제1 가우시안 필터를 적용하고, 상기 긴 노출 영상에 상기 제2 가우시안 필터를 적용한 후, 상기 긴 노출 영상에 상기 제1 가우시안 필터를 적용한 결과 영상으로부터, 상기 긴 노출 영상에 상기 제2 가우시안 필터를 적용한 결과 영상을 뺀 제2 결과 영상을 산출하고,
    상기 제1 표준편차는 상기 제2 표준편차보다 작고, 상기 제1 표준편차 및 상기 제2 표준편차는 0보다 크고 0.5보다 작거나 같은, PSF 추정 방법.
  3. 제2항에 있어서,
    상기 제1 표준편차는 0보다 크고 0.1 이하이고, 상기 제2 표준편차는 0.2 이상 0.38이하인, PSF 추정 방법.
  4. 제1항에 있어서, 상기 제1 결과 영상 및 상기 제2 결과 영상을 n레벨 영상으로 변환하기 전에, 상기 제1 결과 영상으로부터 상기 제1 결과 영상의 평균값을 빼고, 상기 제2 결과 영상으로부터 상기 제2 결과 영상의 평균값을 빼는 단계를 더 포함하는, PSF 추정 방법.
  5. 제4항에 있어서,
    상기 제1 n레벨 결과 영상 및 상기 제2 n레벨 결과 영상을 도출하는 단계는, 0을 포함하고, 0을 중심으로 대칭인 n-2개의 문턱값을 이용하여 상기 제1 결과 영상 및 상기 제2 결과 영상을 상기 n레벨 영상으로 변환하고,
    상기 n레벨 영상은 0을 포함하고 0에 대해 대칭인 홀수개의 레벨로 이루어진, PSF 추정 방법.
  6. 제1항에 있어서, 상기 PSF를 도출하는 단계는,
    상기 짧은 노출 영상과 상기 코릴레이션 맵을 컨벌루션한 제1 영상과, 상기 긴 노출 영상의 차이가 최소가 되는, 상기 코릴레이션 맵의 결과값에 대한 경계값을 도출하는 단계; 및
    상기 코릴레이션 맵에 상기 경계값을 적용하여 PSF를 도출하는 단계를 포함하는, PSF 추정 방법.
  7. 제6항에 있어서,
    상기 코릴레이션 맵의 결과값에 대한 경계값을 도출하는 단계는, 구배법(Gradient descent method)을 이용하여 상기 경계값을 도출하는, PSF 추정 방법.
  8. 서로 다른 노출 시간으로 연속적으로 촬영된 짧은 노출 영상과 긴 노출 영상 사이의 글로벌 모션을 추정하여, 글로벌 모션을 보상하는 글로벌 모션 보상부;
    상기 짧은 노출 영상에 밴드 패스 필터를 적용하여 제1 결과 영상을 산출하 는 제1 결과 영상 산출부;
    상기 긴 노출 영상에 상기 밴드 패스 필터를 적용하여 제2 결과 영상을 산출하는 제2 결과 영상 산출부;
    상기 제1 결과 영상 및 상기 제2 결과 영상을 n레벨(n은 3이상의 홀수인 자연수) 영상으로 변환하여, 제1 n레벨 결과 영상 및 제2 n레벨 결과 영상을 도출하는 n레벨 영상 도출부;
    상기 제1 n레벨 결과 영상과 상기 제2 n레벨 결과 영상을 코릴레이션(correlation)하여, 코릴레이션 맵을 산출하는 코릴레이션 맵 산출부; 및
    상기 코릴레이션 맵으로부터 PSF(point spread function)를 도출하는 PSF 도출부를 포함하는, PSF 추정 장치.
  9. 제8항에 있어서,
    상기 제1 결과 영상 산출부는, 상기 짧은 노출 영상에 제1 표준편차를 갖는 제1 가우시안 필터를 적용하고, 상기 짧은 노출 영상에 제2 표준편차를 갖는 제2 가우시안 필터를 적용한 후, 상기 짧은 노출 영상에 상기 제1 가우시안 필터를 적용한 결과 영상으로부터, 상기 짧은 노출 영상에 상기 제2 가우시안 필터를 적용한 결과 영상을 뺀 제1 결과 영상을 산출하고,
    상기 제2 결과 영상 산출부는, 상기 긴 노출 영상에 상기 제1 가우시안 필터를 적용하고, 상기 긴 노출 영상에 상기 제2 가우시안 필터를 적용한 후, 상기 긴 노출 영상에 상기 제1 가우시안 필터를 적용한 결과 영상으로부터, 상기 긴 노출 영상에 상기 제2 가우시안 필터를 적용한 결과 영상을 뺀 제2 결과 영상을 산출하고,
    상기 제1 표준편차는 상기 제2 표준편차보다 작고, 상기 제1 표준편차 및 상기 제2 표준편차는 0보다 크고 0.5보다 작거나 같은, PSF 추정 장치.
  10. 제9항에 있어서,
    상기 제1 표준편차는 0보다 크고 0.1 이하이고, 상기 제2 표준편차는 0.2 이상 0.38이하인, PSF 추정 장치.
  11. 제8항에 있어서, 상기 n레벨 영상 도출부는, 상기 제1 결과 영상 및 상기 제2 결과 영상을 n레벨 영상으로 변환하기 전에, 상기 제1 결과 영상으로부터 상기 제1 결과 영상의 평균값을 빼고, 상기 제2 결과 영상으로부터 상기 제2 결과 영상의 평균값을 빼고, 평균값을 뺀 상기 제1 결과 영상 및 상기 제2 결과 영상으로부터 상기 n레벨 영상을 도출하는, PSF 추정 장치.
  12. 제11항에 있어서,
    상기 n레벨 영상 도출부는, 0을 포함하고, 0을 중심으로 대칭인 n-2개의 문턱값을 이용하여 상기 제1 결과 영상 및 상기 제2 결과 영상을 상기 n레벨 영상으로 변환하고,
    상기 n레벨 영상은 0을 포함하고 0에 대해 대칭인 홀수개의 레벨로 이루어 진, PSF 추정 장치.
  13. 제8항에 있어서, 상기 PSF 도출부는,
    상기 짧은 노출 영상과 상기 코릴레이션 맵을 컨벌루션한 제1 영상과, 상기 긴 노출 영상의 차이가 최소가 되는, 상기 코릴레이션 맵의 결과값에 대한 경계값을 도출하는 경계값 도출부; 및
    상기 코릴레이션 맵에 상기 경계값을 적용하여 PSF를 도출하는 PSF 결정부를 포함하는, PSF 추정 장치.
  14. 제13항에 있어서,
    상기 경계값 도출부는, 구배법(Gradient descent method)을 이용하여 상기 경계값을 도출하는, PSF 추정 장치.
  15. 서로 다른 노출 시간으로 연속적으로 촬영된 짧은 노출 영상과 긴 노출 영상 사이의 글로벌 모션을 추정하여, 글로벌 모션을 보상하는 코드 부분;
    상기 짧은 노출 영상에 밴드 패스 필터를 적용하여 제1 결과 영상을 산출하는 코드 부분;
    상기 긴 노출 영상에 상기 밴드 패스 필터를 적용하여 제2 결과 영상을 산출하는 코드 부분;
    상기 제1 결과 영상 및 상기 제2 결과 영상을 n레벨(n은 3이상의 홀수인 자 연수) 영상으로 변환하여, 제1 n레벨 결과 영상 및 제2 n레벨 결과 영상을 도출하는 코드 부분;
    상기 제1 n레벨 결과 영상과 상기 제2 n레벨 결과 영상을 코릴레이션(correlation)하여, 코릴레이션 맵을 산출하는 코드 부분; 및
    상기 코릴레이션 맵으로부터 PSF(point spread function)를 도출하는 코드 부분을 포함하는 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 저장매체.
  16. 제15항에 있어서,
    상기 제1 결과 영상을 산출하는 코드 부분은, 상기 짧은 노출 영상에 제1 표준편차를 갖는 제1 가우시안 필터를 적용하고, 상기 짧은 노출 영상에 제2 표준편차를 갖는 제2 가우시안 필터를 적용한 후, 상기 짧은 노출 영상에 상기 제1 가우시안 필터를 적용한 결과 영상으로부터, 상기 짧은 노출 영상에 상기 제2 가우시안 필터를 적용한 결과 영상을 뺀 제1 결과 영상을 산출하고,
    상기 제2 결과 영상을 산출하는 코드 부분은, 상기 긴 노출 영상에 상기 제1 가우시안 필터를 적용하고, 상기 긴 노출 영상에 상기 제2 가우시안 필터를 적용한 후, 상기 긴 노출 영상에 상기 제1 가우시안 필터를 적용한 결과 영상으로부터, 상기 긴 노출 영상에 상기 제2 가우시안 필터를 적용한 결과 영상을 뺀 제2 결과 영상을 산출하고,
    상기 제1 표준편차는 상기 제2 표준편차보다 작고, 상기 제1 표준편차 및 상기 제2 표준편차는 0보다 크고 0.5보다 작거나 같은, 컴퓨터 판독가능 저장매체.
  17. 제16항에 있어서,
    상기 제1 표준편차는 0보다 크고 0.1 이하이고, 상기 제2 표준편차는 0.2 이상 0.38이하인, 컴퓨터 판독가능 저장매체.
  18. 제15항에 있어서, 상기 제1 결과 영상 및 상기 제2 결과 영상을 n레벨 영상으로 변환하기 전에, 상기 제1 결과 영상으로부터 상기 제1 결과 영상의 평균값을 빼고, 상기 제2 결과 영상으로부터 상기 제2 결과 영상의 평균값을 빼는 코드 부분을 더 포함하는, 컴퓨터 판독가능 저장매체.
  19. 제18항에 있어서,
    상기 제1 n레벨 결과 영상 및 상기 제2 n레벨 결과 영상을 도출하는 코드 부분은, 0을 포함하고, 0을 중심으로 대칭인 n-2개의 문턱값을 이용하여 상기 제1 결과 영상 및 상기 제2 결과 영상을 상기 n레벨 영상으로 변환하고,
    상기 n레벨 영상은 0을 포함하고 0에 대해 대칭인 홀수개의 레벨로 이루어진, 컴퓨터 판독가능 저장매체.
  20. 제15항에 있어서, 상기 PSF를 도출하는 코드 부분은,
    상기 짧은 노출 영상과 상기 코릴레이션 맵을 컨벌루션한 제1 영상과, 상기 긴 노출 영상의 차이가 최소가 되는, 상기 코릴레이션 맵의 결과값에 대한 경계값 을 도출하는 코드 부분; 및
    상기 코릴레이션 맵에 상기 경계값을 적용하여 PSF를 도출하는 코드 부분을 포함하는, 컴퓨터 판독가능 저장매체.
  21. 제20항에 있어서,
    상기 코릴레이션 맵의 결과값에 대한 경계값을 도출하는 코드 부분은, 구배법(Gradient descent method)을 이용하여 상기 경계값을 도출하는, 컴퓨터 판독가능 저장매체.
  22. 한 번의 셔터-릴리즈 버튼 입력에 응답하여, 연속으로 서로 다른 노출 시간이 다른 짧은 노출 영상과 긴 노출 영상을 촬영하는 단계; 및
    상기 짧은 노출 영상과 상기 긴 노출 영상으로부터 PSF를 추정하는 단계를 포함하고,
    상기 짧은 노출 영상은 상기 긴 노출 영상보다 노출 시간이 짧고, 상기 짧은 노출 영상에 대한 상기 촬상 소자의 게인값은 상기 긴 노출 영상에 대한 상기 촬상 소자의 게인값보다 크며,
    상기 짧은 노출 영상과 상기 긴 노출 영상의 노출 시간의 합은, 상기 셔터-릴리즈 버튼을 입력할 때의 설정된 노출 시간에 따라 결정되는, 디지털 촬영 장치 제어 방법.
  23. 제22항에 있어서, 상기 PSF를 추정하는 단계는,
    상기 짧은 노출 영상과 상기 긴 노출 영상 사이의 글로벌 모션을 추정하여, 글로벌 모션을 보상하는 단계;
    상기 짧은 노출 영상에 밴드 패스 필터를 적용하여 제1 결과 영상을 산출하는 단계;
    상기 긴 노출 영상에 상기 밴드 패스 필터를 적용하여 제2 결과 영상을 산출하는 단계;
    상기 제1 결과 영상 및 상기 제2 결과 영상을 n레벨(n은 3이상의 홀수인 자연수) 영상으로 변환하여, 제1 n레벨 결과 영상 및 제2 n레벨 결과 영상을 도출하는 단계;
    상기 제1 n레벨 결과 영상과 상기 제2 n레벨 결과 영상을 코릴레이션(correlation)하여, 코릴레이션 맵을 산출하는 단계; 및
    상기 코릴레이션 맵으로부터 PSF(point spread function)를 도출하는 단계를 포함하는, 디지털 촬영 장치 제어 방법.
  24. 디지털 촬영 장치에 있어서,
    촬상 소자; 및
    한 번의 셔터-릴리즈 버튼 입력에 응답하여, 연속으로 서로 노출 시간이 다른 짧은 노출 영상과 긴 노출 영상을 촬영하도록 상기 촬상 소자를 제어하는 촬상 소자 제어부를 포함하고,
    상기 짧은 노출 영상과 상기 긴 노출 영상은 상기 한 번의 셔터-릴리즈 버튼 입력에 대한 촬영 영상의 PSF를 추정하기 위해 이용되고,
    상기 짧은 노출 영상은 상기 긴 노출 영상보다 노출 시간이 짧고, 상기 짧은 노출 영상에 대한 상기 촬상 소자의 게인값은 상기 긴 노출 영상에 대한 상기 촬상 소자의 게인값보다 크며,
    상기 짧은 노출 영상과 상기 긴 노출 영상의 노출 시간의 합은, 상기 디지털 촬영 장치의 설정된 노출 시간에 따라 결정되는, 디지털 촬영 장치.
  25. 제24항에 있어서, 상기 디지털 촬영 장치는,
    상기 짧은 노출 영상과 상기 긴 노출 영상 사이의 글로벌 모션을 추정하여, 글로벌 모션을 보상하는 글로벌 모션 보상부;
    상기 짧은 노출 영상에 밴드 패스 필터를 적용하여 제1 결과 영상을 산출하는 제1 결과 영상 산출부;
    상기 긴 노출 영상에 상기 밴드 패스 필터를 적용하여 제2 결과 영상을 산출하는 제2 결과 영상 산출부;
    상기 제1 결과 영상 및 상기 제2 결과 영상을 n레벨(n은 3이상의 홀수인 자연수) 영상으로 변환하여, 제1 n레벨 결과 영상 및 제2 n레벨 결과 영상을 도출하는 n레벨 영상 도출부;
    상기 제1 n레벨 결과 영상과 상기 제2 n레벨 결과 영상을 코릴레이션(correlation)하여, 코릴레이션 맵을 산출하는 코릴레이션 맵 산출부; 및
    상기 코릴레이션 맵으로부터 PSF(point spread function)를 도출하는 PSF 도출부를 더 포함하는, 디지털 촬영 장치.
KR1020090112785A 2009-11-20 2009-11-20 Ｐ ｓ ｆ를 추정하기 위한 장치 및 방법 KR101594300B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020090112785A KR101594300B1 (ko) 2009-11-20 2009-11-20 Ｐ ｓ ｆ를 추정하기 위한 장치 및 방법
US12/947,984 US8514289B2 (en) 2009-11-20 2010-11-17 Method and apparatus for estimating point spread function
US13/968,916 US8830363B2 (en) 2009-11-20 2013-08-16 Method and apparatus for estimating point spread function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090112785A KR101594300B1 (ko) 2009-11-20 2009-11-20 Ｐ ｓ ｆ를 추정하기 위한 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110056098A true KR20110056098A (ko) 2011-05-26
KR101594300B1 KR101594300B1 (ko) 2016-02-16

Family

ID=44061813

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090112785A KR101594300B1 (ko) 2009-11-20 2009-11-20 Ｐ ｓ ｆ를 추정하기 위한 장치 및 방법

Country Status (2)

Country Link
US (2) US8514289B2 (ko)
KR (1) KR101594300B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014065607A1 (ko) * 2012-10-26 2014-05-01 에스케이텔레콤 주식회사 영상보정의 가속화를 위한 영상보정 장치 및 그 방법
US9189835B2 (en) 2012-03-06 2015-11-17 Samsung Electronics Co., Ltd. Method and apparatus for robust estimation of non-uniform motion blur
KR102107014B1 (ko) * 2019-01-25 2020-05-06 케이맥(주) 초미세패턴 선폭 측정 방법

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101594300B1 (ko) * 2009-11-20 2016-02-16 삼성전자주식회사 Ｐ ｓ ｆ를 추정하기 위한 장치 및 방법
KR101229600B1 (ko) * 2010-05-14 2013-02-04 가시오게산키 가부시키가이샤 촬상 장치, 손떨림 보정 방법 및 기록 매체
KR101692401B1 (ko) * 2011-01-21 2017-01-03 삼성전자주식회사 영상 처리 방법 및 장치
TWI520602B (zh) * 2011-02-15 2016-02-01 佳能企業股份有限公司 曝光參數補正方法及成像裝置
KR101929494B1 (ko) 2012-07-10 2018-12-14 삼성전자주식회사 영상 처리 방법 및 장치
KR20140089672A (ko) * 2013-01-04 2014-07-16 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
US9692975B2 (en) * 2013-04-10 2017-06-27 Microsoft Technology Licensing, Llc Motion blur-free capture of low light high dynamic range images
JP2015097382A (ja) * 2013-10-08 2015-05-21 キヤノン株式会社 情報処理装置、撮像システム、情報処理方法、及びプログラム
CN103702025A (zh) * 2013-12-04 2014-04-02 宁波舜宇光电信息有限公司 基于反射型图像的防手抖补正效果判定方法
CN104506771B (zh) 2014-12-18 2018-04-27 北京智谷睿拓技术服务有限公司 图像处理方法及装置
US9754360B2 (en) * 2014-12-22 2017-09-05 The Research Foundation For The State University Of New York Determination of spatial distribution of charged particle beams
CN104574423B (zh) * 2015-02-03 2017-02-22 中国人民解放军国防科学技术大学 基于球面像差标定的单透镜成像psf估计方法
JP2016170522A (ja) * 2015-03-11 2016-09-23 株式会社東芝 移動体検出装置
WO2018018405A1 (en) 2016-07-26 2018-02-01 Microsoft Technology Licensing, Llc Real-time adaptive shadow and highlight enhancement
CN110708470B (zh) * 2019-09-27 2020-10-09 西安电子科技大学 一种自适应互补曝光数字图像处理方法、图像获取设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070092357A (ko) * 2006-03-09 2007-09-13 중앙대학교 산학협력단 Ｐｓｆ 선택 모듈, 디지털 자동 초점 조절 장치 및 ｐｓｆ선택 방법
JP2009111596A (ja) * 2007-10-29 2009-05-21 Sanyo Electric Co Ltd 撮像装置
JP2009135561A (ja) * 2007-01-12 2009-06-18 Sanyo Electric Co Ltd ぶれ検出装置、ぶれ補正装置及び方法
JP2009177332A (ja) * 2008-01-22 2009-08-06 Sanyo Electric Co Ltd ぶれ検出装置、ぶれ補正装置及び撮像装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020141002A1 (en) * 2001-03-28 2002-10-03 Minolta Co., Ltd. Image pickup apparatus
WO2004001667A2 (en) * 2002-06-21 2003-12-31 The Trustees Of Columbia University In The City Of New York Systems and methods for de-blurring motion blurred images
US8570389B2 (en) * 2004-07-22 2013-10-29 Broadcom Corporation Enhancing digital photography
TWI355190B (en) * 2007-11-09 2011-12-21 Altek Corp Image capturing apparatus with suppressing image b
US8390704B2 (en) * 2009-10-16 2013-03-05 Eastman Kodak Company Image deblurring using a spatial image prior
KR101594300B1 (ko) * 2009-11-20 2016-02-16 삼성전자주식회사 Ｐ ｓ ｆ를 추정하기 위한 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070092357A (ko) * 2006-03-09 2007-09-13 중앙대학교 산학협력단 Ｐｓｆ 선택 모듈, 디지털 자동 초점 조절 장치 및 ｐｓｆ선택 방법
JP2009135561A (ja) * 2007-01-12 2009-06-18 Sanyo Electric Co Ltd ぶれ検出装置、ぶれ補正装置及び方法
JP2009111596A (ja) * 2007-10-29 2009-05-21 Sanyo Electric Co Ltd 撮像装置
JP2009177332A (ja) * 2008-01-22 2009-08-06 Sanyo Electric Co Ltd ぶれ検出装置、ぶれ補正装置及び撮像装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9189835B2 (en) 2012-03-06 2015-11-17 Samsung Electronics Co., Ltd. Method and apparatus for robust estimation of non-uniform motion blur
WO2014065607A1 (ko) * 2012-10-26 2014-05-01 에스케이텔레콤 주식회사 영상보정의 가속화를 위한 영상보정 장치 및 그 방법
US9691141B2 (en) 2012-10-26 2017-06-27 Sk Telecom Co., Ltd. Image correction device for accelerating image correction and method for same
KR102107014B1 (ko) * 2019-01-25 2020-05-06 케이맥(주) 초미세패턴 선폭 측정 방법

Also Published As

Publication number Publication date
US8830363B2 (en) 2014-09-09
US20130335593A1 (en) 2013-12-19
KR101594300B1 (ko) 2016-02-16
US20110122266A1 (en) 2011-05-26
US8514289B2 (en) 2013-08-20

Similar Documents

Publication Publication Date Title
KR101594300B1 (ko) Ｐ ｓ ｆ를 추정하기 위한 장치 및 방법
US8767085B2 (en) Image processing methods and apparatuses to obtain a narrow depth-of-field image
US8023000B2 (en) Image pickup apparatus, image processing apparatus, image pickup method, and image processing method
US9076204B2 (en) Image capturing device, image capturing method, program, and integrated circuit
US8279291B2 (en) Image transforming apparatus using plural feature points and method of controlling operation of same
US8587671B2 (en) Digital image processing apparatus, an image processing method, and a recording medium storing the image processing method for obtaining an out-of-focus image by using a plurality of images
US9596400B2 (en) Image pickup apparatus that periodically changes exposure condition, a method of controlling image pickup apparatus, and storage medium
US10027909B2 (en) Imaging device, imaging method, and image processing device
US20140055638A1 (en) Photographing apparatus, method of controlling the same, and computer-readable recording medium
US20140192246A1 (en) Digital photographing apparatus, method of controlling the same, and computer-readable recording medium
KR101653272B1 (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체
JP2017175364A (ja) 画像処理装置、撮像装置および画像処理装置の制御方法
JP5843599B2 (ja) 画像処理装置および撮像装置並びにその方法
KR101630307B1 (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
JP2019016893A (ja) 画像処理装置およびその制御方法及びプログラム
JP2017212698A (ja) 撮像装置、撮像装置の制御方法およびプログラム
JP2011135379A (ja) 撮像装置、撮像方法及びプログラム
JP2020053960A (ja) 撮像装置、該撮像装置の制御方法、及びプログラム
JP2016032180A (ja) 撮像装置、制御方法およびプログラム
KR20180028962A (ko) 영상이동검출장치 및 방법
JP7409604B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
JP2023065229A (ja) 撮像装置及びその制御方法及びプログラム
KR101653270B1 (ko) 색수차를 보정하는 방법 및 장치
JP2018067846A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190130

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200130

Year of fee payment: 5