KR101653272B1 - 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체 - Google Patents

디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체 Download PDF

Info

Publication number
KR101653272B1
KR101653272B1 KR1020090131802A KR20090131802A KR101653272B1 KR 101653272 B1 KR101653272 B1 KR 101653272B1 KR 1020090131802 A KR1020090131802 A KR 1020090131802A KR 20090131802 A KR20090131802 A KR 20090131802A KR 101653272 B1 KR101653272 B1 KR 101653272B1
Authority
KR
South Korea
Prior art keywords
image
exposure
images
long
short
Prior art date
Application number
KR1020090131802A
Other languages
English (en)
Other versions
KR20110075366A (ko
Inventor
장순근
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090131802A priority Critical patent/KR101653272B1/ko
Priority to US12/977,019 priority patent/US9007471B2/en
Publication of KR20110075366A publication Critical patent/KR20110075366A/ko
Application granted granted Critical
Publication of KR101653272B1 publication Critical patent/KR101653272B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 일 실시예에 따른 디지털 촬영 장치 제어 방법은, 한 개의 짧은 노출 영상과 복수의 긴 노출 영상들을 연속 촬영하는 단계; 상기 한 개의 짧은 노출 영상을 기준으로 상기 복수의 긴 노출 영상들 각각의 글로벌 모션을 보상하는 단계; 상기 짧은 노출 영상과 상기 복수의 긴 노출 영상들 각각의 PSF(point spread function)를 산출하는 단계; 및 상기 한 개의 짧은 노출 영상과 상기 복수의 긴 노출 영상들에 기초하여 반복 추정의 초기값을 결정하고, 상기 각각의 PSF를 이용하여, 반복 추정을 통하여 흔들림 보정 영상을 도출하는 단계를 포함하고, 상기 한 개의 짧은 노출 영상과 상기 복수의 긴 노출 영상들은, 연속으로 촬영된 영상들이다.

Description

디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체{A digital photographing apparatus, a method for controlling the same, and a computer-readable medium}
본 발명은 흔들림을 보정하는 장치 및 방법에 관한 것으로서, 흔들림 보정을 구비하는 디지털 촬영 장치, 디지털 촬영 장치 제어 방법, 및 상기 방법을 수행하기 위한 컴퓨터 판독가능 저장매체에 관한 것이다.
디지털 촬영 장치는 렌즈, 조리개 등 광학부를 통해 입사된 광학 신호를 촬상 소자에서 전기적인 신호로 변환하여 피사체를 촬영한다. 촬상 소자는 셔터가 열려서 노출되는 동안 피사체로부터의 광학 신호를 입력받는데, 셔터가 열려있는 동안, 사용자의 손 떨림 등으로 인해서 디지털 촬영 장치가 흔들리면, 촬영된 영상에 흔들림이 발생한다. 디지털 촬영 장치는 사용자의 손 떨림 등으로 인해 발생하는 흔들림을 보정하는 기능을 제공할 수 있다.
본 발명의 실시예들은 흔들림 보정 기능을 제공하는 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체를 제공하기 위한 것이다.
본 발명의 일 실시예에 따른 디지털 촬영 장치 제어 방법은, 한 개의 짧은 노출 영상과 복수의 긴 노출 영상들을 연속 촬영하는 단계; 상기 한 개의 짧은 노출 영상을 기준으로 상기 복수의 긴 노출 영상들 각각의 글로벌 모션을 보상하는 단계; 상기 짧은 노출 영상과 상기 복수의 긴 노출 영상들 각각의 PSF(point spread function)를 산출하는 단계; 및 상기 한 개의 짧은 노출 영상과 상기 복수의 긴 노출 영상들에 기초하여 반복 추정의 초기값을 결정하고, 상기 각각의 PSF를 이용하여, 반복 추정을 통하여 흔들림 보정 영상을 도출하는 단계를 포함하고, 상기 한 개의 짧은 노출 영상과 상기 복수의 긴 노출 영상들은, 연속으로 촬영된 영상들이다.
본 발명의 실시예들은, MAP 추정을 이용하여 흔들림 보정 영상을 도출하는데, 이를 위해, 상기 흔들림 보정 영상을 도출하는 단계는, PSF와 추정 영상의 컨벌루션 영상인 제1 영상과 흔들림 영상의 차이를 나타내는 코스트 함수의 라플라시안(Laplacian)에 의해 결정되는 데이터 함수와, 상기 추정 영상의 사전 분포에 기초한 사전 분포 함수를 이용하여 상기 추정 영상을 반복 추정할 수 있다.
상기 사전 분포 함수는, 상기 추정 영상의 라플라시안에 의해 결정될 수 있 다. 그러나 본 발명의 범위가 라플라시안 prior를 이용하는 실시예로 한정되는 것은 아니다.
본 발명의 일 실시예는, 한 장의 짧은 노출 영상과 복수의 긴 노출 영상들을 이용하여, MAP 추정의 초기값을 결정한다. 따라서, 상기 추정 영상의 초기값은 상기 한 장의 짧은 노출 영상과 상기 복수의 긴 노출 영상들의 평균 영상으로 결정되고, 상기 데이터 함수의 초기값은, 상기 한 장의 짧은 노출 영상과 상기 복수의 긴 노출 영상들 각각에 대한 데이터 함수 값들의 평균을 구하여 결정되며, 상기 사전 분포 함수의 초기값은, 상기 한 장의 짧은 노출 영상과 상기 복수의 긴 노출 영상들의 평균 영상에 대한 사전 분포 함수값으로 결정될 있다.
상기 코스트 함수는 상기 제1 영상과 상기 흔들림 영상의 놈(norm)이고, 상기 데이터 함수는 상기 코스트 함수의 라플라시안일 수 있다.
본 발명의 일 실시예에 따른 디지털 촬영 장치는, 한 개의 짧은 노출 영상과 복수의 긴 노출 영상들을 연속 촬영하는 반복 촬영 제어부; 상기 한 개의 짧은 노출 영상을 기준으로 상기 복수의 긴 노출 영상들 각각의 글로벌 모션을 보상하는 글로벌 모션 보상부; 상기 짧은 노출 영상과 상기 복수의 긴 노출 영상들 각각의 PSF(point spread function)를 산출하는 PSF 산출부; 및 상기 한 개의 짧은 노출 영상과 상기 복수의 긴 노출 영상들에 기초하여 반복 추정의 초기값을 결정하고, 상기 각각의 PSF를 이용하여, 반복 추정을 통하여 흔들림 보정 영상을 도출하는 흔들림 보정 영상 도출부를 포함하고, 상기 한 개의 짧은 노출 영상과 상기 복수의 긴 노출 영상들은, 연속으로 촬영된 영상들일 수 있다.
본 발명의 일 실시예에 따른 컴퓨터 판독가능 매체는, 한 개의 짧은 노출 영상과 복수의 긴 노출 영상들을 연속 촬영하는 코드 부분; 상기 한 개의 짧은 노출 영상을 기준으로 상기 복수의 긴 노출 영상들 각각의 글로벌 모션을 보상하는 코드 부분; 상기 짧은 노출 영상과 상기 복수의 긴 노출 영상들 각각의 PSF(point spread function)를 산출하는 코드 부분; 및 상기 한 개의 짧은 노출 영상과 상기 복수의 긴 노출 영상들에 기초하여 반복 추정의 초기값을 결정하고, 상기 각각의 PSF를 이용하여, 반복 추정을 통하여 흔들림 보정 영상을 도출하는 코드 부분을 포함하는 컴퓨터 프로그램을 저장하고, 상기 한 개의 짧은 노출 영상과 상기 복수의 긴 노출 영상들은, 연속으로 촬영된 영상들이다.
본 발명의 다른 실시예에 따른 디지털 촬영 장치에서 영상을 촬영하기 위한 디지털 촬영 장치 제어 방법은, 한 번의 셔터-릴리즈 신호 입력에 응답하여, 제1 노출 시간으로 짧은 노출 영상을 촬영하는 제1 촬영 단계; 및 제2 노출 시간으로 긴 노출 영상을 촬영하는 제2 촬영 단계를 포함하고, 상기 제2 촬영 단계는 미리 정해진 횟수만큼 반복 수행되고, 상기 제1 촬영 단계와 반복 수행되는 상기 제2 촬영 단계의 총 노출 시간의 합은, 상기 디지털 촬영 장치에서 설정된 노출 시간에 따라 결정되며, 상기 제1 노출 시간은 상기 제2 노출 시간보다 짧고, 상기 디지털 촬영 장치는, 상기 셔터-릴리즈 신호 입력에 응답하여, 상기 짧은 노출 영상 및 반복 촬영된 상기 긴 노출 영상들로부터 흔들림 보정된 영상을 도출한다.
또한, 상기 디지털 촬영 장치 제어 방법은, 상기 제2 노출 시간으로 긴 노출 영상을 촬영하는 제3 촬영 단계를 더 포함하고, 제1 횟수만큼 상기 제2 촬영 단계 를 수행하고, 상기 제1 촬영 단계를 한 번 수행한 후, 제2 횟수만큼 상기 제3 촬영 단계를 수행하며, 상기 제1 촬영 단계 및 반복 수행된 상기 제2 촬영 단계와 상기 제3 촬영 단계의 총 노출 시간의 합은, 상기 디지털 촬영 장치에서 설정된 노출 시간에 따라 결정될 수 있다.
상기 짧은 노출 영상과 상기 긴 노출 영상들은 목표 밝기가 같아야 하며, 이를 위해, 상기 긴 노출 영상과 상기 짧은 노출 영상이 같은 밝기를 갖도록 상기 디지털 촬영 장치의 촬상 소자의 게인 값이 결정될 수 있다.
상기 제1 노출 시간은 상기 디지털 촬영 장치에서 지원되는 최단 노출 시간에 대응될 수 있다.
본 발명의 다른 실시예에 따른 디지털 촬영 장치는, 한 번의 셔터-릴리즈 신호 입력에 응답하여, 제1 노출 시간으로 짧은 노출 영상을 촬영하고, 제2 노출 시간으로 미리 정해진 횟수만큼 긴 노출 영상들을 반복 촬영하는 반복 촬영 제어부; 및 상기 짧은 노출 영상 및 반복 촬영된 상기 긴 노출 영상들로부터 흔들림 보정된 영상을 도출하는 흔들림 보정부를 포함하고, 상기 짧은 노출 영상과 상기 긴 노출 영상들의 총 노출 시간의 합은, 상기 디지털 촬영 장치에서 설정된 노출 시간에 따라 결정되며, 상기 제1 노출 시간은 상기 제2 노출 시간보다 짧다.
상기 반복 촬영 제어부는, 제1 횟수만큼 상기 제2 노출 시간으로 상기 긴 노출 영상을 반복 촬영하고, 상기 제1 노출 시간으로 상기 짧은 노출 영상을 한 번 촬영하고, 상기 제2 횟수만큼 상기 제2 노출 시간으로 상기 긴 노출 영상을 반복 촬영할 수 있다.
또한, 상기 반복 촬영 제어부는, 상기 긴 노출 영상과 상기 짧은 노출 영상이 같은 밝기를 갖도록 상기 디지털 촬영 장치의 촬상 소자의 게인 값을 결정하여, 상기 촬상 소자를 제어할 수 있다.
상기 제1 노출 시간은 상기 디지털 촬영 장치에서 지원되는 최단 노출 시간에 대응될 수 있다.
본 발명의 실시예들은, 링잉 현상이 현저하게 감소된 흔들림 보정 기능을 제공하는 디지털 촬영 장치, 디지털 촬영 장치 제어 방법, 및 컴퓨터 판독가능 매체를 제공하는 효과가 있다.
이하 첨부된 도면들을 참조하여 본 발명의 실시예들을 설명한다. 하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다.
또한 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
이하 첨부된 도면을 참조하여 본 발명의 실시예들을 설명한다.
도 1은 본 발명의 일 실시예에 따른 디지털 촬영 장치의 개략적인 구조를 도시한 도면이다.
본 발명의 일 실시예에 따른 디지털 촬영 장치(100)는 렌즈(110), 렌즈 구동부(111), 조리개(112), 조리개 구동부(113), 촬상 소자(115), 촬상 소자 제어부(116), 아날로그 신호 처리부(120), 프로그램 저장부(130), 버퍼 저장부(140), 데이터 저장부(150), 디스플레이 구동부(162), 디스플레이부(164), 디지털 신호 처리부(170), 및 조작부(180)를 포함할 수 있다.
렌즈(110)는 광학 신호를 집광한다. 렌즈(110)는 초점 거리(focal length)에 따라 화각이 좁아지거나 또는 넓어지도록 제어하는 줌 렌즈 및 피사체의 초점을 맞추는 포커스 렌즈 등을 포함하며, 이들 렌즈들은 각각 하나의 렌즈로 구성될 수도 있지만, 복수의 렌즈들의 군집으로 이루어질 수도 있다.
조리개(112)는 그 개폐 정도를 조절하여 입사광의 광량을 조절한다.
렌즈 구동부(111) 및 조리개 구동부(113)는 디지털 신호 처리부(170)로부터 제어 신호를 제공받아, 각각 렌즈(110) 및 조리개(112)를 구동한다. 렌즈 구동부(111)는 렌즈의 위치를 조절하여 초점 거리를 조절하고, 오토 포커싱, 줌 변경, 초점 변경들의 동작을 수행한다. 조리개 구동부(113)는 조리개의 개폐 정도를 조절하고, 특히 f 넘버를 조절하여 오토 포커스, 자동 노출 보정, 초점 변경, 피사계 심도 조절 등의 동작을 수행한다.
광학부(110)를 투과한 광학 신호는 촬상 소자(115)의 수광면에 이르러 피사체의 상을 결상한다. 상기 촬상 소자(115)는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device) 또는 CIS(Complementary Metal Oxide Semiconductor Image Sensor) 등을 사용할 수 있다. 이와 같은 촬상소자(115)는 촬상소자 제어 부(116)에 의해 감도 등이 조절될 수 있다. 촬상소자 제어부(116)는 실시간으로 입력되는 영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 촬상 소자(115)를 제어할 수 있다.
촬상 소자(115)의 노광 시간은 셔터(미도시)로 조절된다. 셔터는 가리개의 이동하여 빛의 입사를 조절하는 기계식 셔터와, 촬상 소자(115)에 전기 신호를 공급하여 노광을 제어하는 전자식 셔터가 있다.
아날로그 신호 처리부(120)는 촬상 소자(115)로부터 공급된 아날로그 신호에 대하여, 노이즈 저감 처리, 게인 조정, 파형 정형화, 아날로그-디지털 변환 처리 등을 수행한다.
조작부(180)는 사용자 등의 외부로부터의 제어 신호를 입력할 수 있는 곳이다. 상기 조작부(180)는 정해진 시간 동안 촬상 소자(115)를 빛에 노출하여 사진을 촬영하는 셔터-릴리즈 신호를 입력하는 셔터-릴리즈 버튼, 전원의 온-오프를 제어하기 위한 제어 신호를 입력하는 전원 버튼, 입력에 따라 화각을 넓어지게 하거나 화각을 좁아지게 하는 광각-줌 버튼 및 망원-줌 버튼과, 문자 입력 또는 촬영 모드, 재생 모드 등의 모드 선택, 화이트 밸런스 설정 기능 선택, 노출 설정 기능 선택 등의 다양한 기능 버튼들을 포함할 수 있다. 조작부(180)는 상기와 같이 다양한 버튼의 형태를 가질 수도 있지만, 이에 한정되는 것은 아니며, 키보드, 터치 패드, 터치스크린, 원격 제어기 등과 같이 사용자가 입력할 수 있는 어떠한 형태로 구현되어도 무방하다.
또한, 상기 디지털 촬영 장치(100)는 이를 구동하는 운영 시스템, 응용 시스 템 등의 프로그램을 저장하는 프로그램 저장부(130), 연산 수행 중에 필요한 데이터 또는 결과 데이터들을 임시로 저장하는 버퍼 저장부(140), 영상 신호를 포함하는 이미지 파일을 비롯하여 상기 프로그램에 필요한 다양한 정보들을 저장하는 데이터 저장부(150)를 포함한다.
아울러, 상기 디지털 촬영 장치(100)는 이의 동작 상태 또는 상기 디지털 촬영 장치(100)에서 촬영한 이미지 정보를 표시하도록 디스플레이부(164)를 포함한다. 상기 디스플레이부(164)는 시각적인 정보 및/또는 청각적인 정보를 사용자에게 제공할 수 있다. 시각적인 정보를 제공하기 위해 디스플레이부(164)는 예를 들면, 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED) 등으로 이루어질 수 있다. 디스플레이 구동부(162)는 디스플레이부(164)에 구동 신호를 제공한다.
그리고 상기 디지털 촬영 장치(100)는 입력되는 영상 신호를 처리하고, 이에 따라 또는 외부 입력 신호에 따라 각 구성부들을 제어하는 디지털 신호 처리부(170)를 포함한다. 디지털 신호 처리부(170)는 입력된 영상 데이터에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 신호 처리를 수행할 수 있다. 또한, 화질 개선을 위한 영상 신호 처리를 하여 생성한 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식이어도 된다. 적절한 형식의 예로서, JPEG(Joint Photographic Experts Group)형식이나 JPEG 2000 형 식 등으로 변환도 가능하다. 압축한 상기 데이터 저장부(150)에 저장될 수 있다. 또한, 디지털 신호 처리부(170)에서는 기능적으로 불선명 처리, 색체 처리, 블러 처리, 엣지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 행할 수 있다. 상기 디지털 신호 처리부(170)는 외부 모니터와 연결되어, 외부 모니터에 디스플레이 되도록 소정의 영상 신호 처리를 행할 수 있으며, 이렇게 처리된 영상 데이터를 전송하여 상기 외부 모니터에서 해당 영상이 디스플레이 되도록 할 수 있다.
또한 디지털 신호 처리부(170)는 프로그램 저장부(130)에 저장된 프로그램을 실행하거나, 별도의 모듈을 구비하여, 오토 포커싱, 줌 변경, 초점 변경, 자동 노출 보정 등을 제어하기 위한 제어 신호를 생성하여, 렌즈 구동부(111), 조리개 구동부(113), 및 촬상 소자 제어부(116)에 제공하고, 셔터, 플래시 등 디지털 촬영 장치(100)에 구비된 구성 요소들의 동작을 총괄적으로 제어할 수 있다.
도 2는 본 발명의 일 실시예에 따른 디지털 촬영 장치 제어 방법을 나타낸 흐름도이다.
본 발명의 일 실시예에 따른 디지털 촬영 장치 제어 방법은, 한 장의 짧은 노출 영상과 복수의 긴 노출 영상들로부터, 흔들림 보정 영상을 도출한다.
우선, 본 실시예에 따른 디지털 촬영 장치 제어 방법은, 한 장의 짧은 노출 영상과 복수의 긴 노출 영상들을 촬영한다(S202). 이때, 한 장의 짧은 노출 영상과 복수의 긴 노출 영상들은, 한 번의 셔터-릴리즈 버튼 입력에 응답하여 연속으로 촬영된다. 복수의 긴 노출 영상들의 개수는 설계자에 의하여, 사용자에 의하여, 또는 자동으로 다양하게 결정될 수 있다. 복수의 긴 노출 영상들의 개수는 디지털 촬영 장치의 성능에 따라 달리 결정될 수 있다. 예를 들면, 촬상소자(115)의 노이즈 레벨이 높은 디지털 촬영 장치(100)의 경우, 긴 노출 영상들의 개수는 2개로 결정될 수 있고, 촬상소자(115)의 노이즈 레벨이 낮은 디지털 촬영 장치(100)의 경우, 긴 노출 영상들의 개수는 4개 또는 8개로 결정될 수 있다. 또한, 저조도의 영상을 촬영하는 천문학용 디지털 촬영 장치의 경우, 촬상소자(115)의 노이즈 레벨이 매우 낮기 때문에, 더 많은 긴 노출 영상을 이용하는 것이 가능하다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 짧은 노출 영상과 복수의 긴 노출 영상을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따르면, 도 3a에 도시된 바와 같이, 한 장의 짧은 노출 영상(Y)과, 두 장의 긴 노출 영상들(X 및 Z)을 이용하여 흔들림 보정 영상을 도출할 수 있다. 짧은 노출 영상(Y)과 복수의 긴 노출 영상(X 및 Z)을 촬영하는 순서는 다양하게 결정될 수 있다. 도 3a는 짧은 노출 영상을 두 장의 긴 노출 영상 중간에 촬영하는 실시예를 도시한다.
셔터-릴리즈 신호가 입력되면, 제1 긴 노출 영상(X), 짧은 노출 영상(Y), 및 제2 긴 노출 영상(Z)이 연속해서 촬영된다. 이때 제1 긴 노출 영상(X), 짧은 노출 영상(Y), 및 제2 긴 노출 영상(Z)의 노출 시간은 디지털 촬영 장치(100)에서 설정된 노출시간에 따라 결정된다. 예를 들면, 제1 긴 노출 영상(X), 짧은 노출 영 상(Y), 및 제2 긴 노출 영상(Z)의 노출시간의 합이 디지털 촬영 장치(100)에서 설정된 노출시간과 같도록 설정될 수 있다. 영상이 촬영되는 중간에 셔터가 동작하는 시간이 있기 때문에, 셔터-릴리즈 신호가 입력된 시점부터 짧은 노출 영상(Y)과 복수의 긴 노출 영상들(X 및 Z)의 촬영이 완료되기까지 걸리는 시간과, 디지털 촬영 장치(100)에서 설정된 노출시간 사이에는 차이가 있을 수 있다. 예를 들어, 디지털 촬영 장치에서 설정된 노출시간이 100msec인 경우, 짧은 노출 영상(Y)의 노출시간은 20msec, 제1 긴 노출 영상(X)과 제2 긴 노출 영상(Z)의 노출 시간은 각각 40msec일 수 있다. 짧은 노출 영상(Y)은 디지털 촬영 장치(100)에서 지원되는 최단 노출 시간으로 설정될 수 있다.
또한, 짧은 노출 영상(Y)과 복수의 긴 노출 영상들(X 및 Z)은 목표 밝기가 동일하게 설정된다. 이를 위해 짧은 노출 영상(Y)과 복수의 긴 노출 영상들(X 및 Z)에 대한 촬상소자(115)의 게인은 노출시간에 따라 적절하게 결정된다. 예를 들면, 앞서 설명된 디지털 촬영 장치에서 설된 노출시간이 100msec인 예에서, 짧은 노출 영상(Y)에 대한 촬상소자(115)의 게인은 ISO 1600으로 설정되고, 제1 긴 노출 영상(X) 및 제2 긴 노출 영상(Z)에 대한 촬상소자(115)의 게인은 ISO 800으로 설정될 수 있다.
본 발명의 다른 실시예에 따르면, 짧은 노출 영상(Y)의 노출시간은 디지털 촬영 장치(100)에서 지원되는 최단 노출 시간으로 설정되고, 복수의 긴 노출 영상들(X 및 Z)의 노출시간은, 복수의 긴 노출 영상들(X 및 Z)의 노출시간의 합이 디지털 촬영 장치(100)에서 설정된 노출시간과 같도록 설정될 수 있다.
도 3b는 5개의 복수의 긴 노출 영상들을 이용하는 예를 도시한 도면이다. 디지털 촬영 장치(100)에 포함된 촬상소자(115)의 노이즈 레벨이 낮은 경우, 더 많은 개수의 복수의 긴 노출 영상들(X1, X2, Z1, 및 Z2)을 이용할 수 있다. 더 많은 개수의 복수의 긴 노출 영상들을 이용하면, 후술하는 바와 같이, 주파수 영역에서 위상 복합현상이 활발하게 발생하여, 흔들림 보정 영상에서 링잉 현상을 감소시킬 수 있다.
한 장의 짧은 노출 영상과 복수의 긴 노출 영상들이 촬영되면(S202), 짧은 노출 영상을 기준으로, 각각의 복수의 긴 노출 영상들의 글로벌 모션을 보상한다(S204).
도 4a 및 도 4b는 짧은 노출 영상과 복수의 긴 노출 영상들 사이의 글로벌 모션 보상을 설명하기 위한 도면이다.
본 발명의 실시예들은 도 4a에 도시된 바와 같이, 짧은 노출 영상(Y)을 기준으로 복수의 긴 노출 영상들(X 및 Z)의 글로벌 모션을 보상한다. 글로벌 모션은 짧은 노출 영상과 긴 노출 영상의 촬영 사이에 디지털 촬영 장치(100)의 위치가 바뀜으로 인하여, 전체 화소가 쉬프트 된 것을 의미한다. 글로벌 모션 보상은 이러한 전체 화소의 쉬프트를 보상하여 짧은 노출 영상과 긴 노출 영상의 픽셀들이 서로 대응되도록 정렬(align)시키는 것을 말한다.
한 장의 촬영 영상을 이용하여 흔들림 보정을 수행하는 경우, 영상 복원 시 일부 주파수대의 신호가 복원되지 않는 현상으로 인해 링잉 현상(ringing artifact)이 발생할 수 있다. 이는 PSF(point spread function)가 주파수 영역에서 0의 값을 갖는 제로-포인트를 갖기 때문이다. 이로 인해 제로-포인트를 갖는 지점의 주파수대는 흔들림 보정이 되지 않아, 흔들림 보정 영상에서 링잉 현상으로 나타나게 된다. PSF는 흔들림으로 인한 블러가 발생하지 않은 영상에 PSF를 컨벌루션하면, 블러된 영상이 나오는 함수를 의미한다.
본 발명의 실시예들은 한 장의 짧은 노출 영상(Y)과 복수의 긴 노출 영상들(X 및 Z)을 이용하여, PSF에서 제로-포인트를 갖는 주파수대를 거의 제거할 수 있다. 한 장의 짧은 노출 영상(Y)과 복수의 긴 노출 영상들(X 및 Z)에 대한 글로벌 모션 보상은 촬영 영상의 주파수 영역에서 위상 복합 현상을 증가시킨다.
도 4b는 짧은 노출 영상과 복수의 긴 노출 영상들에 대해 글로벌 모션 보상을 수행할 때 나타나는 위상 복합 현상을 나타낸다. 짧은 노출 영상(Y)과 복수의 긴 노출 영상들(X 및 Z)에 대한 PSF(t)의 에너지 함수는 시간 도메인에서 도 4b의 첫 번째 그래프와 같이 나타낼 수 있다. 이때 짧은 노출 영상(Y)에 대한 PSF(t)의 에너지 함수는 임펄스(impulse) 함수와 같이 나타나는 것을 알 수 있다. 시간 도메인의 PSF(t)를 주파수 도메인의 PSF(f)로 변환하면, 도 4b의 두 번째 그래프와 같이 나타낼 수 있다. 주파수 도메인에서 제1 긴 노출 영상(X)과 제2 긴 노출 영상(Z)에 대한 PSF(f) 함수(PSFX(f) 및 PSFZ(f))에 대한 에너지 함수는, 제로-포인트를 갖는다. 그러나 시간 도메인에서 임펄스 함수로 나타난 짧은 노출 영상(Y)에 대한 PSFY(f)의 에너지 함수는, 0이 아닌 상수값을 갖는 DC 성분으로 나타난다.
또한, 본 발명의 실시예들은 글로벌 모션 보상에 의해 짧은 노출 영상(Y)과 복수의 긴 노출 영상들(X 및 Z) 사이의 위상 복합을 높인다. 글로벌 모션이 보상된 짧은 노출 영상(Y) 및 복수의 긴 노출 영상들(X 및 Z)의 주파수 도메인에서 PSF(f)의 에너지 함수의 합은 도 4b의 세 번째 그래프에 나타난 바와 같이 나타낼 수 있다. 도 4b의 세 번째 그래프에 나타난 바와 같이, PSF(f)의 에너지 함수의 합에서, 제로-포인트가 현저하게 감소된다. 따라서 흔들림 보정 영상에서 링잉 현상이 현저하게 감소된다.
도 5a 및 도 5b는 짧은 노출 영상과 긴 노출 영상 사이의 글로벌 모션을 보상하는 과정을 설명하기 위한 도면이다.
짧은 노출 영상과 긴 노출 영상은 연속적으로 촬영되지만, 서로 다른 시간에 촬영되기 때문에, 짧은 노출 영상과 긴 노출 영상 사이에 글로벌 모션이 발생할 수 있다. 예를 들면, 도 5a에 도시된 바와 같이, 짧은 노출 영상(502)과 긴 노출 영상(504)을 촬영하는 사이에 디지털 촬영 장치(100)가 살짝 회전하여, 직사각형 모양의 피사체가 짧은 노출 영상(502)에서는 수평으로 촬영되고, 긴 노출 영상(504)에서는 반시계 방향으로 회전하여 촬영될 수 있다. 이러한 경우, 짧은 노출 영상(502)과 긴 노출 영상(504) 사이의 글로벌 모션을 보상하기 위하여 하나의 영상을 중심으로 다른 영상을 정렬해야 한다. 예를 들어, 짧은 노출 영상(502)을 중심으로 긴 노출 영상(504)을 정렬하는 경우, 도 5a에 도시된 바와 같이, 긴 노출 영상(504)을 시계 방향으로 회전하여 글로벌 모션을 보상할 수 있다. 글로벌 모션을 보상하는 방법에는 다양한 방법이 있을 수 있으며, 예를 들면, 아핀 모션(Affine motion)의 파라미터를 추정하는 방법이 있다.
도 5b는 아핀 모션의 수식을 나타낸 도면이다.
아핀 모션은 도 5b에 도시된 바와 같이, 보상 전의 좌표값(x, y)을 글로벌 모션 추정 후의 좌표값(x', y')으로 변환한다. 이를 위해 아핀 변환을 위한 6개의 파라미터(a, b, c, d, e, 및 f)를 추정한다. 아핀 변환은 두 영상 사이의 평행 이동, 회전 이동, 크기 변화, 끊어짐(shear) 등을 보상할 수 있다. 본 실시예에서 아핀 변환된 긴 노출 영상의 좌표값은 수학식 1과 같이 나타낼 수 있다.
Figure 112009080720145-pat00001
Figure 112009080720145-pat00002
따라서 아핀 변환을 이용하여 짧은 노출 영상과 긴 노출 영상 중 어느 하나를 변환하면, 두 영상 사이의 글로벌 모션이 보상된다.
짧은 노출 영상과 복수의 긴 노출 영상들 사이에 글로벌 모션이 보상되면(S204), 짧은 노출 영상과 복수의 긴 노출 영상들 각각의 PSF를 산출한다(S206). PSF 산출은 다양한 알고리즘을 이용하여 수행될 수 있다.
도 6은 예시적인 PSF를 도시한 도면이다.
도 6에 도시된 바와 같이, 글로벌 모션이 보상된 복수의 긴 노출 영상들(X' 및 Z')에 대한 PSF는 PSF1 및 PSF3과 같이 나타낼 수 있다. PSF는 흔들림의 경로를 나타낸다. 짧은 노출 영상(Y)에 대한 PSF는 도 6의 PSF2에 도시된 바와 같이, 임펄스 함수로 나타낼 수 있다.
짧은 노출 영상과 복수의 긴 노출 영상들에 대한 PSF가 산출되면(S206), 짧은 노출 영상과 복수의 긴 노출 영상들에 기초하여 반복 추정의 초기값을 결정하고(S208), 반복 추정을 통하여 흔들림 보정 영상을 도출한다(S210).
도 7은 ML 추정 및 MAP 추정의 개념을 설명하기 위한 도면이다.
본 발명의 실시예들은, MAP(Maximum a posteriori) 추정을 이용하여 흔들림 보정 영상을 도출한다. MAP 추정이란, 관측 데이터와 모델간의 분포(Likelihood distribution)를 정의하고, Prior라고 부르는 영상의 속성에 해당하는 사전 지식을 추가하여, 최적의 해를 추정하는 방식이다. 관측 데이터와 모델간의 분포는 ML(Maximum likelihood) 추정 방식과 유사하게 정의한다. 흔들림 보정에서 관측 데이터인 블러된 영상(B)과 최적의 해인 흔들림 보정 영상(L)의 관계는 수학식 2와 같이 나타낼 수 있다.
Figure 112009080720145-pat00003
ML 추정의 최적해는 수학식 3과 같이 나타낼 수 있다.
Figure 112009080720145-pat00004
ML 추정은 반복 추정을 통하여, Steepest Descent Method를 이용하여 L의 업데이트를 수렴할 때까지 반복 수행한다. Steepest Descent Method는 도 7의 왼쪽에 도시된 바와 같이, 초기값이 주어지면, 초기값의 Gradient는 주어진 파라미터 공간 의 등고선(contour) 면에 수직하다는 특징을 이용하여, 최적해에 도달할 때까지 값을 업데이트하면서 반복 수행을 한다. 그러나 링잉 현상은 파라미터 공간에 존재하는 일종의 지역적 최소값(local minima)으로 볼 수 있다. 즉, Steepest Descent Method를 이용하면, 지역적 최소값에 빠져서 최적의 해로 접근하지 못하고, 최적의 해가 아닌 지역적 최소값에서 수렴할 수 있고, 이는 링잉 현상으로 나타날 수 있다.
MAP 추정은 ML 추정에 Prior 함수를 추가하여, 반복 추정에서 지역적 최소값에 빠지는 것을 방지한다. 이를 위해 MAP 추정에서는, ML 추정의 코스트 함수에 Prior를 추가하고, 영상 속성에 위배되는 결과가 나올 경우에는 Prior의 에너지를 높이는 방식으로, 데이터 항목과 Prior 항목 간의 에너지 밸런스를 맞추어 줌으로써, 최적의 해를 얻는다. prior 함수는 다양한 방식을 이용하여 구할 수 있으며, 예를 들면, Laplacian prior, Total variation prior, 또는 Bilateral total variation prior 등이 있다. 본 명세서에서는 Laplacian prior를 이용한 실시예들을 중심으로 기술하지만, 본 발명의 범위는 Laplacian prior를 이용하는 실시예로 한정되지 않는다. MAP 추정의 최적해는 수학식 4와 같이 나타낼 수 있다.
Figure 112009080720145-pat00005
Figure 112009080720145-pat00006
Conjugate gradient descent method를 이용하여 최적의 해를 찾는 반복 추정 은 수학식 5와 같이 나타낼 수 있다.
Figure 112009080720145-pat00007
여기서 λ는 regulation factor를 나타내고, ▽L은 L의 라플라시안(Laplacian)을 나타낸다. 수학식 5에서 데이터 항목(▽f data )은
Figure 112009080720145-pat00008
이고, prior 항목(▽f prior )은
Figure 112009080720145-pat00009
이다. 반복 추정 과정에서 데이터 항목과 prior 항목의 에너지 밸런스를 맞추면서, 반복 추정이 수행된다.
본 발명의 실시예들에서는, MAP 추정을 이용하여 L의 최적해를 찾기 위해서 수정된 Conjugate gradient descent method를 이용한다. Conjugate gradient descent method에서는 파라미터 공간의 자기 상관성(우함수, 기함수의 특성을 가진다)을 이용하여, Steepest Descent Method와 같은 방식으로 2번의 수행을 통해 최적해의 방향을 나타내는 Conjugate direction을 찾아낸다. 그 결과, Steepest Descent Method와 달리 지역적 최소값에 잘 빠지지 않으며, 추정하고자 하는 파라미터의 개수만큼 반복하면 최적해에 도달한다는 것이 증명된 방식이다.
그런데 흔들림 보정에 있어서, 복수의 긴 노출 영상들만을 이용하여 Conjugate gradient descent method를 사용하면 파라미터 공간이 복수의 PSF들의 영향에 의해 자기 상관성을 유지하지 못하는 결과를 초래하며, 그 결과 정확한 컨쥬게이트(conjugate) 방향의 추정이 어렵게 된다. 이로 인해 많은 반복 횟수가 필 요하거나, 부정확한 해에 도달하게 되는 문제가 있다. 본 발명의 실시예들은 도 7의 오른쪽 파라미터 공간에 도시된 바와 같이, 흔들림 보정의 초기값 계산과 컨쥬게이트 방향 산출에서 짧은 노출을 이용하여, 컨쥬게이트 방향을 정확히 계산하고, 지역적 최소값에 빠지지 않는다.
도 8a 및 도 8b는 MAP 추정을 이용한 반복 추정 과정을 설명하기 위한 도면이다.
도 8a에 도시된 바와 같이, 반복 추정은 L0으로부터 시작된다. L0은 흔들림 보정 영상의 초기값이다. 본 발명의 일 실시예에 따르면, L0은 짧은 노출 영상과 복수의 긴 노출 영상들의 평균 영상이다. 다음으로 L1을 구하기 위하여 컨쥬게이트 방향의 초기값(m1)과 prior 함수의 초기값이 필요하다. prior 함수의 초기값은 L0의 라플라시안(||▽L||)에 의해 결정된다. 컨쥬게이트 방향의 초기값(m1)은 도 8b에 도시된 바와 같이 짧은 노출 영상과 복수의 긴 노출 영상들을 이용하여 결정된다.
컨쥬게이트 방향의 초기값(m1)은
Figure 112009080720145-pat00010
에 짧은 노출 영상(Y)과 긴 노출 영상들(X 및 Z)을 적용한 값들의 평균값으로 구할 수 있다. 우선 짧은 노출 영상(Y)과 글로벌 모션이 보상된 복수의 긴 노출 영상들(X' 및 Z')을 이용하여,
Figure 112009080720145-pat00011
의 평균값 Iavr를 구한다. 그리고 Iavr와 각 영상에 대한 PSF의 컨벌루션의 평균값을 산출하여, 컨쥬게이트 방향의 초기값(m1)을 구한다. 반복 추정의 이동량을 나타내는 스텝 사이즈(βi)에 대한 초기값(β1)은, 도 7에 도시된 바와 같이 초기값(L0)과 짧은 노출 영상(Y)을 이용하여 구할 수 있다. L1이 산출되면, 이후의 Li는, 도 8a에 도시된 바와 같이 이전 반복 추정에서 추정된 Li-2와 Li-1을 적용한 데이터 항목들(▽f data (L i-2 ) 및 ∇f data (L i-1 )) 간의 연산을 통하여 결정된다. 각 반복 추정의 스텝 사이즈(β i )는 이전 반복 추정에서 추정된 ▽f data (L i-1 )와 PSF의 Hessian 행렬
Figure 112009080720145-pat00012
과 짧은 노출 영상(Y)을 이용하여 결정된다.
반복 추정을 거쳐서, L 값이 수렴하면, 흔들림 보정 영상이 결정된다.
도 9는 본 발명의 일 실시예에 따른 디지털 신호 처리부의 구조를 나타낸 도면이다. 본 발명의 일 실시예에 따른 디지털 신호 처리부(170a)는 반복 촬영 제어부(910)와 흔들림 보정부(920)를 포함한다.
반복 촬영 제어부(910)는 한 번의 셔터-릴리즈 신호 입력에 응답하여 한 장의 짧은 노출 영상과 복수의 긴 노출 영상들을 연속 촬영한다. 이를 위해, 반복 촬영 제어부(910)는 촬상 소자 제어부(116) 및 셔터에 반복 촬영을 위한 제어 신호를 제공할 수 있다. 앞서 설명된 바와 같이, 짧은 노출 영상과 복수의 긴 노출 영상들의 노출 시간, 및 짧은 노출 영상과 복수의 긴 노출 영상들 사이의 순서는 다양하게 결정될 수 있다. 또한 복수의 긴 노출 영상들의 개수는 디지털 촬영 장치(100)의 촬상소자(115)의 노이즈 레벨에 따라 결정될 수 있다. 예를 들면, 짧은 노출 영상과 복수의 긴 노출 영상들의 노출시간의 합이 디지털 촬영 장치(100)에서 설정된 노출시간과 같도록 설정될 수 있다.
본 발명의 다른 실시예에 따르면, 짧은 노출 영상의 노출시간은 디지털 촬영 장치(100)에서 지원되는 최단 노출 시간으로 설정되고, 복수의 긴 노출 영상들의 노출시간은, 복수의 긴 노출 영상들의 노출시간의 합이 디지털 촬영 장치(100)에서 설정된 노출시간과 같도록 설정될 수 있다.
흔들림 보정부(920)는 반복 촬영 제어부(910)의 제어에 따라 촬영된 짧은 노출 영상과 복수의 긴 노출 영상들을 이용하여, 흔들림 보정 영상을 도출한다.
도 10은 본 발명의 일 실시예에 따른 흔들림 보정부(920)의 구조를 나타낸 도면이다. 본 발명의 일 실시예에 따른 흔들림 보정부(920)는 글로벌 모션 보상부(1010), PSF 산출부(1020), 및 흔들림 보정 영상 도출부(1030)를 포함할 수 있다.
글로벌 모션 보상부(1010)는 짧은 노출 영상을 기준으로, 각각의 복수의 긴 노출 영상들의 글로벌 모션을 보상한다. 글로벌 모션을 보상하는 과정은, 앞서 도 4a, 도 4b, 도 5a, 및 도 5b를 이용하여 설명한 바와 같다.
PSF 산출부(1020)는 짧은 노출 영상과 복수의 긴 노출 영상들 사이에 글로벌 모션이 보상되면, 짧은 노출 영상과 복수의 긴 노출 영상들 각각의 PSF를 산출한다. PSF 산출은 다양한 알고리즘을 이용하여 수행될 수 있다.
흔들림 보정 영상 도출부(1030)는, 짧은 노출 영상과 복수의 긴 노출 영상들에 대한 PSF가 산출되면, 짧은 노출 영상과 복수의 긴 노출 영상들에 기초하여 반복 추정의 초기값을 결정하고, 반복 추정을 통하여 흔들림 보정 영상을 도출한다. 본 발명의 일 실시예에 따른 흔들림 보정 영상 도출부(1030)는 MAP 추정과 Conjugate gradient descent method를 이용하여 흔들림 보정 영상을 이용한다. 또한, 짧은 노출 영상과 복수의 긴 노출 영상들을 이용하여, MAP 추정의 초기값을 결정한다. MAP 추정을 이용하여 흔들림 보정 영상을 도출하는 과정은, 도 7, 도 8a, 및 도 8b를 이용하여 앞서 설명된 바와 같다.
한편, 본 발명은 컴퓨터 판독가능 저장매체에 컴퓨터가 판독 가능한 코드를 저장하여 구현하는 것이 가능하다. 상기 컴퓨터 판독가능 저장매체는 컴퓨터 시스템에 의하여 판독될 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다.
상기 컴퓨터가 판독 가능한 코드는, 상기 컴퓨터 판독가능 저장매체로부터 디지털 신호 처리부(170)에 의하여 독출되어 실행될 때, 본 발명에 따른 디지털 촬영 장치 제어 방법을 구현하는 단계들을 수행하도록 구성된다. 상기 컴퓨터가 판독 가능한 코드는 다양한 프로그래밍 언어들로 구현될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 통상의 기술자들에 의하여 용이하게 프로그래밍될 수 있다.
컴퓨터 판독 가능 저장 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 반송파(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터 판독가능 저장매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.
도 1은 본 발명의 일 실시예에 따른 디지털 촬영 장치의 개략적인 구조를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 디지털 촬영 장치 제어 방법을 나타낸 흐름도이다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 짧은 노출 영상과 복수의 긴 노출 영상을 설명하기 위한 도면이다.
도 4a 및 도 4b는 짧은 노출 영상과 복수의 긴 노출 영상들 사이의 글로벌 모션 보상을 설명하기 위한 도면이다.
도 5a 및 도 5b는 짧은 노출 영상과 긴 노출 영상 사이의 글로벌 모션을 보상하는 과정을 설명하기 위한 도면이다.
도 6은 예시적인 PSF를 도시한 도면이다.
도 7은 ML 추정 및 MAP 추정의 개념을 설명하기 위한 도면이다.
도 8a 및 도 8b는 MAP 추정을 이용한 반복 추정 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 디지털 신호 처리부의 구조를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 흔들림 보정부(920)의 구조를 나타낸 도면이다.

Claims (23)

  1. 한 개의 짧은 노출 영상과 복수의 긴 노출 영상들을 연속 촬영하는 단계;
    상기 한 개의 짧은 노출 영상을 기준으로 상기 복수의 긴 노출 영상들 각각의 글로벌 모션을 보상하는 단계;
    상기 짧은 노출 영상과 상기 복수의 긴 노출 영상들 각각의 PSF(point spread function)를 산출하는 단계; 및
    상기 한 개의 짧은 노출 영상과 상기 복수의 긴 노출 영상들에 기초하여 반복 추정의 초기값을 결정하고, 상기 각각의 PSF를 이용하여, 반복 추정을 통하여 흔들림 보정 영상을 도출하는 단계를 포함하고,
    상기 한 개의 짧은 노출 영상과 상기 복수의 긴 노출 영상들은, 연속으로 촬영된 영상이고,
    상기 복수의 긴 노출 영상에 대한 노출 시간은 상기 짧은 노출 영상에 대한 노출 시간보다 길고,
    상기 연속 촬영하는 단계는,
    상기 복수의 긴 노출 영상을 연속으로 촬영하는 단계;
    상기 한 개의 짧은 노출 영상을 촬영하는 단계; 및
    상기 복수의 긴 노출 영상을 연속으로 촬영하는 단계를 포함하는, 디지털 촬영 장치 제어 방법.
  2. 제1항에 있어서,
    상기 흔들림 보정 영상을 도출하는 단계는, PSF와 추정 영상의 컨벌루션 영상인 제1 영상과 흔들림 영상의 차이를 나타내는 코스트 함수의 라플라시안(Laplacian)에 의해 결정되는 데이터 함수와, 상기 추정 영상의 사전 분포에 기초한 사전 분포 함수를 이용하여 상기 추정 영상을 반복 추정하는, 디지털 촬영 장치 제어 방법.
  3. 제2항에 있어서,
    상기 사전 분포 함수는, 상기 추정 영상의 라플라시안에 의해 결정되는, 디지털 촬영 장치 제어 방법.
  4. 제2항에 있어서,
    상기 추정 영상의 초기값은 상기 한 개의 짧은 노출 영상과 상기 복수의 긴 노출 영상들의 평균 영상으로 결정되고,
    상기 데이터 함수의 초기값은, 상기 한 개의 짧은 노출 영상과 상기 복수의 긴 노출 영상들 각각에 대한 데이터 함수 값들의 평균을 구하여 결정되며,
    상기 사전 분포 함수의 초기값은, 상기 한 개의 짧은 노출 영상과 상기 복수의 긴 노출 영상들의 평균 영상에 대한 사전 분포 함수값으로 결정되는, 디지털 촬영 장치 제어 방법.
  5. 제2항에 있어서, 상기 코스트 함수는 상기 제1 영상과 상기 흔들림 영상의 놈(norm)이고, 상기 데이터 함수는 상기 코스트 함수의 라플라시안인, 디지털 촬영 장치 제어 방법.
  6. 한 개의 짧은 노출 영상과 복수의 긴 노출 영상들을 연속 촬영하는 반복 촬영 제어부;
    상기 한 개의 짧은 노출 영상을 기준으로 상기 복수의 긴 노출 영상들 각각의 글로벌 모션을 보상하는 글로벌 모션 보상부;
    상기 짧은 노출 영상과 상기 복수의 긴 노출 영상들 각각의 PSF(point spread function)를 산출하는 PSF 산출부; 및
    상기 한 개의 짧은 노출 영상과 상기 복수의 긴 노출 영상들에 기초하여 반복 추정의 초기값을 결정하고, 상기 각각의 PSF를 이용하여, 반복 추정을 통하여 흔들림 보정 영상을 도출하는 흔들림 보정 영상 도출부를 포함하고,
    상기 한 개의 짧은 노출 영상과 상기 복수의 긴 노출 영상들은, 연속으로 촬영된 영상들이고,
    상기 복수의 긴 노출 영상에 대한 노출 시간은 상기 짧은 노출 영상에 대한 노출 시간보다 길고,
    상기 반복 촬영 제어부는, 상기 복수의 긴 노출 영상을 연속으로 촬영하고, 상기 한 개의 짧은 노출 영상을 촬영하고, 상기 복수의 긴 노출 영상을 연속으로 촬영하는, 디지털 촬영 장치.
  7. 제6항에 있어서,
    상기 흔들림 보정 영상 도출부는, PSF와 추정 영상의 컨벌루션 영상인 제1 영상과 흔들림 영상의 차이를 나타내는 코스트 함수의 라플라시안(Laplacian)에 의해 결정되는 데이터 함수와, 상기 추정 영상의 사전 분포에 기초한 사전 분포 함수를 이용하여 상기 추정 영상을 반복 추정하는, 디지털 촬영 장치.
  8. 제7항에 있어서,
    상기 사전 분포 함수는, 상기 추정 영상의 라플라시안에 의해 결정되는, 디지털 촬영 장치.
  9. 제7항에 있어서,
    상기 추정 영상의 초기값은 상기 한 개의 짧은 노출 영상과 상기 복수의 긴 노출 영상들의 평균 영상으로 결정되고,
    상기 데이터 함수의 초기값은, 상기 한 개의 짧은 노출 영상과 상기 복수의 긴 노출 영상들 각각에 대한 데이터 함수 값들의 평균을 구하여 결정되며,
    상기 사전 분포 함수의 초기값은, 상기 한 개의 짧은 노출 영상과 상기 복수의 긴 노출 영상들의 평균 영상에 대한 사전 분포 함수값으로 결정되는, 디지털 촬영 장치.
  10. 제7항에 있어서, 상기 코스트 함수는 상기 제1 영상과 상기 흔들림 영상의 놈(norm)이고, 상기 데이터 함수는 상기 코스트 함수의 라플라시안인, 디지털 촬영 장치.
  11. 한 개의 짧은 노출 영상과 복수의 긴 노출 영상들을 연속 촬영하는 코드 부분;
    상기 한 개의 짧은 노출 영상을 기준으로 상기 복수의 긴 노출 영상들 각각의 글로벌 모션을 보상하는 코드 부분;
    상기 짧은 노출 영상과 상기 복수의 긴 노출 영상들 각각의 PSF(point spread function)를 산출하는 코드 부분; 및
    상기 한 개의 짧은 노출 영상과 상기 복수의 긴 노출 영상들에 기초하여 반복 추정의 초기값을 결정하고, 상기 각각의 PSF를 이용하여, 반복 추정을 통하여 흔들림 보정 영상을 도출하는 코드 부분을 포함하는 컴퓨터 프로그램을 저장하고,
    상기 한 개의 짧은 노출 영상과 상기 복수의 긴 노출 영상들은, 연속으로 촬영된 영상들이고,
    상기 복수의 긴 노출 영상에 대한 노출 시간은 상기 짧은 노출 영상에 대한 노출 시간보다 길고,
    상기 연속 촬영하는 코드 부분은,
    상기 복수의 긴 노출 영상을 연속으로 촬영하는 코드 부분;
    상기 한 개의 짧은 노출 영상을 촬영하는 코드 부분; 및
    상기 복수의 긴 노출 영상을 연속으로 촬영하는 코드 부분을 포함하는, 컴퓨터 판독가능 매체.
  12. 제11항에 있어서,
    상기 흔들림 보정 영상을 도출하는 코드 부분은, PSF와 추정 영상의 컨벌루션 영상인 제1 영상과 흔들림 영상의 차이를 나타내는 코스트 함수의 라플라시안(Laplacian)에 의해 결정되는 데이터 함수와, 상기 추정 영상의 사전 분포에 기초한 사전 분포 함수를 이용하여 상기 추정 영상을 반복 추정하는, 컴퓨터 판독가능 매체.
  13. 제12항에 있어서,
    상기 사전 분포 함수는, 상기 추정 영상의 라플라시안에 의해 결정되는, 컴퓨터 판독가능 매체.
  14. 제12항에 있어서,
    상기 추정 영상의 초기값은 상기 한 개의 짧은 노출 영상과 상기 복수의 긴 노출 영상들의 평균 영상으로 결정되고,
    상기 데이터 함수의 초기값은, 상기 한 개의 짧은 노출 영상과 상기 복수의 긴 노출 영상들 각각에 대한 데이터 함수 값들의 평균을 구하여 결정되며,
    상기 사전 분포 함수의 초기값은, 상기 한 개의 짧은 노출 영상과 상기 복수의 긴 노출 영상들의 평균 영상에 대한 사전 분포 함수값으로 결정되는, 컴퓨터 판독가능 매체.
  15. 제12항에 있어서, 상기 코스트 함수는 상기 제1 영상과 상기 흔들림 영상의 놈(norm)이고, 상기 데이터 함수는 상기 코스트 함수의 라플라시안인, 컴퓨터 판독가능 매체.
  16. 디지털 촬영 장치에서 영상을 촬영하기 위한 디지털 촬영 장치 제어 방법에 있어서, 한 번의 셔터-릴리즈 신호 입력에 응답하여,
    제2 노출 시간으로 복수의 긴 노출 영상들을 촬영하는 제1 촬영 단계;
    제1 노출 시간으로 한 개의 짧은 노출 영상을 촬영하는 제2 촬영 단계; 및
    상기 제2 노출 시간으로 복수의 긴 노출 영상들을 촬영하는 제3 촬영 단계를 포함하고,
    상기 한 개의 짧은 노출 영상 및 상기 복수의 긴 노출 영상들 각각의 PSF를 추출하는 단계; 및
    상기 한 개의 짧은 노출 영상 및 상기 복수의 긴 노출 영상들로부터 흔들림 보정 영상을 추출하는 단계를 포함하고,
    상기 흔들림 보정 영상을 추출하는 단계는, 상기 한 개의 짧은 노출 영상, 상기 복수의 긴 노출 영상들, 및 각각의 PSF에 기초하여 반복 추정의 초기값을 결정함에 의해 반복 추정을 통해 수행되고,
    상기 제1 촬영 단계, 상기 제2 촬영 단계, 상기 제3 촬영 단계, 및 상기 흔들림 보정 영상을 추출하는 단계는 하나의 셔터 릴리즈 신호의 입력에 대응하여 수행되고,
    상기 제1 촬영 단계, 상기 제2 촬영 단계, 및 상기 제3 촬영 단계의 총 노출 시간의 합은 상기 디지털 촬영 장치에 설정된 설정 노출 시간에 따라 결정되고,
    상기 제1 노출 시간은 상기 제2 노출 시간보다 짧은, 디지털 촬영 장치 제어 방법.
  17. 삭제
  18. 제16항에 있어서,
    상기 긴 노출 영상과 상기 짧은 노출 영상이 같은 밝기를 갖도록 상기 디지털 촬영 장치의 촬상 소자의 게인 값이 결정되는, 디지털 촬영 장치 제어 방법.
  19. 제16항에 있어서,
    상기 제1 노출 시간은 상기 디지털 촬영 장치에서 지원되는 최단 노출 시간에 대응되는, 디지털 촬영 장치 제어 방법.
  20. 디지털 촬영 장치에 있어서,
    한 번의 셔터-릴리즈 신호 입력에 응답하여, 제2 노출 시간으로 복수의 긴 노출 영상들을 촬영하고, 제1 노출 시간으로 한 개의 짧은 노출 영상을 촬영하고, 상기 제2 노출 시간으로 복수의 긴 노출 영상들을 촬영하는 반복 촬영 제어부; 및
    상기 한 개의 짧은 노출 영상 및 상기 복수의 긴 노출 영상들로부터 흔들림 보정된 영상을 도출하는 흔들림 보정부를 포함하고,
    상기 흔들림 보정은,
    상기 한 개의 짧은 노출 영상 및 상기 복수의 긴 노출 영상들 각각의 PSF를 추출하고,
    상기 짧은 노출 영상 및 상기 복수의 긴 노출 영상들로부터 흔들림 보정 영상을 추출하되, 상기 흔들림 보정 영상을 추출하는 것은 상기 한 개의 짧은 노출 영상, 상기 복수의 긴 노출 영상들, 및 각각의 PSF에 기초하여 반복 추정의 초기값을 결정함에 의해 반복 추정을 통해 수행되고,
    상기 한 개의 짧은 노출 영상의 촬영, 상기 복수의 긴 노출 영상들의 촬영, 및 상기 흔들림 보정된 영상의 도출은 하나의 셔터 릴리즈 신호의 입력에 대응하여 수행되고,
    상기 한 개의 짧은 노출 영상의 촬영 및 상기 복수의 긴 노출 영상들의 촬영의 총 노출 시간의 합은 상기 디지털 촬영 장치에 설정된 설정 노출 시간에 따라 결정되고,
    상기 제1 노출 시간은 상기 제2 노출 시간보다 짧은, 디지털 촬영 장치.
  21. 제20항에 있어서,
    상기 반복 촬영 제어부는, 제1 횟수만큼 상기 제2 노출 시간으로 상기 긴 노출 영상을 반복 촬영하고, 상기 제1 노출 시간으로 상기 짧은 노출 영상을 한 번 촬영하고, 제2 횟수만큼 상기 제2 노출 시간으로 상기 긴 노출 영상을 반복 촬영하는, 디지털 촬영 장치.
  22. 제20항에 있어서,
    상기 반복 촬영 제어부는, 상기 긴 노출 영상과 상기 짧은 노출 영상이 같은 밝기를 갖도록 상기 디지털 촬영 장치의 촬상 소자의 게인 값을 결정하여, 상기 촬상 소자를 제어하는, 디지털 촬영 장치.
  23. 제20항에 있어서,
    상기 제1 노출 시간은 상기 디지털 촬영 장치에서 지원되는 최단 노출 시간 에 대응되는, 디지털 촬영 장치.
KR1020090131802A 2009-12-28 2009-12-28 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체 KR101653272B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090131802A KR101653272B1 (ko) 2009-12-28 2009-12-28 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체
US12/977,019 US9007471B2 (en) 2009-12-28 2010-12-22 Digital photographing apparatus, method for controlling the same, and computer-readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090131802A KR101653272B1 (ko) 2009-12-28 2009-12-28 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체

Publications (2)

Publication Number Publication Date
KR20110075366A KR20110075366A (ko) 2011-07-06
KR101653272B1 true KR101653272B1 (ko) 2016-09-01

Family

ID=44187064

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090131802A KR101653272B1 (ko) 2009-12-28 2009-12-28 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체

Country Status (2)

Country Link
US (1) US9007471B2 (ko)
KR (1) KR101653272B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5054583B2 (ja) * 2008-03-17 2012-10-24 株式会社リコー 撮像装置
EP2387229B1 (en) * 2010-05-14 2016-04-06 Casio Computer Co., Ltd. Image capturing apparatus and camera shake correction method, and computer-readable medium
JP2012234393A (ja) * 2011-05-02 2012-11-29 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9621766B2 (en) 2012-11-13 2017-04-11 Nec Corporation Image processing apparatus, image processing method, and program capable of performing high quality mist/fog correction
US11062436B2 (en) 2019-05-10 2021-07-13 Samsung Electronics Co., Ltd. Techniques for combining image frames captured using different exposure settings into blended images
CN111355898B (zh) * 2019-12-02 2021-12-24 联想(北京)有限公司 一种拍照获得照片的方法及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008099025A (ja) 2006-10-12 2008-04-24 Kyocera Corp 撮像装置、ぶれ補正方法及び撮像方法
US20080170126A1 (en) 2006-05-12 2008-07-17 Nokia Corporation Method and system for image stabilization
JP4879261B2 (ja) 2006-03-03 2012-02-22 オリンパス株式会社 撮像装置、高解像度化処理方法、高解像度化処理プログラム、及び記録媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7142723B2 (en) * 2003-07-18 2006-11-28 Microsoft Corporation System and process for generating high dynamic range images from multiple exposures of a moving scene
KR101298638B1 (ko) * 2006-06-14 2013-08-21 삼성전자주식회사 디지털 영상 처리 방법
JP4799428B2 (ja) * 2007-01-22 2011-10-26 株式会社東芝 画像処理装置及び方法
US8390704B2 (en) * 2009-10-16 2013-03-05 Eastman Kodak Company Image deblurring using a spatial image prior

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4879261B2 (ja) 2006-03-03 2012-02-22 オリンパス株式会社 撮像装置、高解像度化処理方法、高解像度化処理プログラム、及び記録媒体
US20080170126A1 (en) 2006-05-12 2008-07-17 Nokia Corporation Method and system for image stabilization
JP2008099025A (ja) 2006-10-12 2008-04-24 Kyocera Corp 撮像装置、ぶれ補正方法及び撮像方法

Also Published As

Publication number Publication date
US20110157383A1 (en) 2011-06-30
KR20110075366A (ko) 2011-07-06
US9007471B2 (en) 2015-04-14

Similar Documents

Publication Publication Date Title
KR101594300B1 (ko) Ｐ ｓ ｆ를 추정하기 위한 장치 및 방법
JP5756099B2 (ja) 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム
JP4665718B2 (ja) 撮影装置
KR101890305B1 (ko) 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
US7675546B2 (en) Imaging device having function for correcting image shake of acquired image
JP5237978B2 (ja) 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
US7848587B2 (en) Image-processing system and image-processing program
EP2247097A2 (en) Image transforming apparatus and method of controlling operation of same
KR101653272B1 (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체
JP2010166558A (ja) 撮像装置
KR101728042B1 (ko) 디지털 촬영 장치 및 이의 제어 방법
JP4958806B2 (ja) ぶれ検出装置、ぶれ補正装置及び撮像装置
JP2009088935A (ja) 画像記録装置、画像補正装置及び撮像装置
JP2016142999A (ja) 撮像装置及びその制御方法
KR101630307B1 (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
JP2010245658A (ja) 画像処理装置、それを備えたデジタルカメラ及び画像処理プログラム
JP2018205551A (ja) 撮像装置およびその制御方法
JP2009153046A (ja) ぶれ補正装置及び方法並びに撮像装置
JP5561389B2 (ja) 画像処理プログラム、画像処理装置、電子カメラ、および画像処理方法
TWI395473B (zh) 在低亮度場景執行自動對焦之系統與方法
JP2011135379A (ja) 撮像装置、撮像方法及びプログラム
JP6555937B2 (ja) 画像処理装置及びその制御方法、撮像装置
JP2016032180A (ja) 撮像装置、制御方法およびプログラム
JP2009088933A (ja) 画像記録装置、画像補正装置及び撮像装置
JP2017173920A (ja) 画像処理装置、画像処理方法、画像処理プログラム、および記録媒体

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190730

Year of fee payment: 4