KR100850468B1 - 촬상장치, 촬상방법 및 그 방법을 실현시키는 컴퓨터프로그램을 기록한 저장 매체 - Google Patents

촬상장치, 촬상방법 및 그 방법을 실현시키는 컴퓨터프로그램을 기록한 저장 매체 Download PDF

Info

Publication number
KR100850468B1
KR100850468B1 KR1020070019893A KR20070019893A KR100850468B1 KR 100850468 B1 KR100850468 B1 KR 100850468B1 KR 1020070019893 A KR1020070019893 A KR 1020070019893A KR 20070019893 A KR20070019893 A KR 20070019893A KR 100850468 B1 KR100850468 B1 KR 100850468B1
Authority
KR
South Korea
Prior art keywords
image
inverse
function
unit
images
Prior art date
Application number
KR1020070019893A
Other languages
English (en)
Other versions
KR20080063002A (ko
Inventor
미네키 타오카
Original Assignee
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사 filed Critical 삼성테크윈 주식회사
Publication of KR20080063002A publication Critical patent/KR20080063002A/ko
Application granted granted Critical
Publication of KR100850468B1 publication Critical patent/KR100850468B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20201Motion blur correction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

본 발명은, 역함수에 의한 손떨림 보정과 복수매 촬영에 의한 손떨림 보정의 장점을 병용함으로써, 촬영화상에 생긴 손떨림을 보정할 수 있는 촬상장치, 촬상방법 및 그 방법을 실현시키는 컴퓨터 프로그램을 기록한 저장 매체를 제공하는 것을 목적으로 하며, 이 목적을 달성하기 위하여 본 발명은, 한 번의 촬영동작으로 복수의 화상을 촬영하는 촬상부;와, 상기 촬상부에서 촬영한 상기 복수의 화상을 축적하는 화상 축적부;와, 상기 화상 축적부에서 축적한 상기 복수의 화상을 취득하여, 위치를 맞추어 상기 복수의 화상을 합성하여 합성화상을 생성하는 화상 합성부;와, 상기 합성화상을 기초로 상기 합성화상을 함수화하여 손떨림 함수를 구하고, 상기 손떨림 함수의 역함수를 생성하는 역함수 생성부;와, 상기 역함수 생성부에서 생성한 상기 역함수를 이용하여 상기 합성화상의 역변환을 행하는 역변환부;를 포함하는 촬상장치를 개시한다.

Description

촬상장치, 촬상방법 및 그 방법을 실현시키는 컴퓨터 프로그램을 기록한 저장 매체{Photographing apparatus, photographing method, and storing medium having computer program to perform the method}
도 1은 종래의 역변환에 따라 촬영화상의 보정을 행하는 방법에 대해서 설명하는 설명도이다.
도 2는 감도와 손떨림 함수의 관계에 대해서 설명하는 설명도이다.
도 3은 종래의 복수의 화상을 합성하여 손떨림을 보정하는 방법에 대해서 설명하는 설명도이다.
도 4는 본 발명의 일 실시예에 관한 촬상장치에 대해서 설명하는 설명도이다.
도 5는 본 발명의 일 실시예에 관한 촬상방법의 개요에 대해서 설명하는 설명도이다.
도 6은 본 발명의 일 실시예에 관한 촬상방법에 대해서 설명하는 흐름도이다.
도 7은 본 발명의 일 실시예에 관한 역함수의 산출에 대해서 설명하는 설명도이다.
* 도면의 주요 부분에 대한 부호의 설명 *
100: 촬상장치 102: 촬상부
104: 신호 처리부 106: 기억부
108: 움직임 검출부 110: 화상 합성부
112: 역함수 생성부 114: 조작부
116: 역변환부 118: 화상 압축부
120: 기록부 122: 외부기록 I/F
140: 제1 화상 데이터 142: 제2 화상 데이터
144: 제3 화상 데이터
본 발명은 촬상장치, 촬상방법 및 그 방법을 실현시키는 컴퓨터 프로그램을 기록한 저장 매체에 관한 것으로, 특히, 손떨림을 보정할 수 있는 촬상장치, 촬상방법 및 그 방법을 실현시키는 컴퓨터 프로그램을 기록한 저장 매체에 관한 것이다.
스틸 카메라나 디지털 카메라와 같은 촬상장치를 손에 가진 상태에서 피사체를 촬영할 때에, 촬영자가 셔터버튼을 누르게 되면 촬상장치가 고정되지 않고 움직이게 됨으로써, 촬영된 화상에 떨림(손떨림)이 발생하는 경우가 있다.
그래서, 이러한 손떨림을 전자적으로 보정하는 기술이 개시되어 있다. 손떨림의 보정 방법에는 크게 나누어 2가지의 방법이 있다. 하나는 촬영한 화상을 함수 화(필터링)하고, 그 역함수(역필터)를 구하여 역변환(역필터링)을 실시함으로써 보정을 행하는 방법이고, 다른 하나는 한번의 촬영조작으로 노광시간을 분할하여 복수매의 화상을 촬영하고, 촬영한 화상의 위치를 맞추어 합성함으로써 보정을 행하는 방법이다. 전자의 기술을 개시한 문헌으로서, 예를 들면 일본공개특허공보 특개소62-127976호나 일본공개특허공보 특개평5-323444호가 있고, 후자의 기술을 개시한 문헌으로서, 예를 들면 일본공개특허공보 특개2002-107787호가 있다.
도 1은, 종래의 역변환에 의해 촬영화상의 보정을 행하는 방법에 대해서 설명하는 설명도이다. 촬상장치(1)에서 촬상을 행하여 취득한 화상 데이터에 대해 신호 처리를 실시한다(단계 S1). 그러나, 촬상장치(1)를 손에 가진 상태에서 촬상을 행하면 손떨림이 발생하기(단계 S2) 때문에, 손떨림을 함수화하고(단계 S3), 구한 함수의 역함수를 산출한다(단계 S4). 그리고, 산출한 역함수를 이용하여 화상 복원처리를 행하고(단계 S5), 손떨림이 보정된 보정화상(2)을 얻는다.
역함수에 의한 보정에서는, 손떨림에 의한 외란함수가 피크를 가지는 경우에는, 그 피크에 기초하여 역함수를 생성함으로써 양호한 보정화상을 얻을 수 있다. 그러나, 최근에는 셔터나 촬상소자의 기술이 향상하고, 도 2에 나타낸 바와 같이, 셔터가 열려 있는 동안의 감도는 평탄하게 되는 것이 많다(도 2의 (a)). 감도가 평탄하게 되면, 촬영한 화상을 함수화해도 역함수에 의해 화상을 보정하는 것이 매우 어렵다(도 2의 (b)).
또한, 종래의 복수매 촬영에 의한 보정에서는, 도 3에 나타낸 바와 같이, 1장의 촬영시간을 손떨림이 생기지 않는 셔터시간(손떨림 한계 셔터시간)으로 설정 하여, 한번에 연속하여 복수의 화상을 촬영한다(도 3의 (a)). 그리고, 촬영한 복수의 화상의 위치를 맞추어 합성함으로써 손떨림이 보정된 화상을 얻을 수 있다(도 3의 (b)). 손떨림 한계 셔터시간으로 촬영한 N장의 화상을 가산하면, 노이즈의 양은 1/√N이 된다. 즉, 촬영 매수가 늘면 늘수록 노이즈는 경감되지만, 한편으로 촬영한 화상을 일시적으로 기억해 두기 위한 메모리의 기억용량을 많이 확보해야만 하는 문제가 생긴다. 그런데, 메모리의 기억용량을 많게 하면 그만큼 비용도 증대하는 문제점이 있고, 시간적으로 더 긴 시간에 걸쳐 많은 화상을 촬영하게 되면 처음의 화상과 마지막의 화상에서 촬영화상이 크게 다를 가능성도 있는 데다가, 효율적인 화상 합성이 불가능하게 되는 경우도 있었다.
본 발명의 주된 목적은, 역함수에 의한 손떨림 보정과 복수매 촬영에 의한 손떨림 보정의 장점을 병용함으로써, 촬영화상에 생긴 손떨림을 보정할 수 있는 촬상장치, 촬상방법 및 그 방법을 실현시키는 컴퓨터 프로그램을 기록한 저장 매체를 제공하는 것이다.
본 발명은, 한 번의 촬영동작으로 복수의 화상을 촬영하는 촬상부;와, 상기 촬상부에서 촬영한 상기 복수의 화상을 축적하는 화상 축적부;와, 상기 화상 축적부에서 축적한 상기 복수의 화상을 취득하여, 위치를 맞추어 상기 복수의 화상을 합성하여 합성화상을 생성하는 화상 합성부;와, 상기 합성화상을 기초로 상기 합성화상을 함수화하여 손떨림 함수를 구하고, 상기 손떨림 함수의 역함수를 생성하는 역함수 생성부;와, 상기 역함수 생성부에서 생성한 상기 역함수를 이용하여 상기 합성화상의 역변환을 행하는 역변환부;를 포함하는 촬상장치를 개시한다.
상기와 같은 구성의 촬상장치에 의하면, 촬상부는 한번의 촬영동작으로 복수의 화상을 촬영하고, 화상 축적부는 촬상부에서 촬영한 복수의 화상을 축적하며, 화상 합성부는 화상 축적부에 축적한 복수의 화상을 취득하여 위치를 맞추어 복수의 화상을 합성하여 합성화상을 생성하고, 역함수 생성부는 합성화상을 기초로 합성화상을 함수화하여 손떨림 함수를 구하고 손떨림 함수의 역함수를 생성하며, 역변환부는 역함수 생성부에서 생성한 역함수를 이용하여 합성화상의 역변환을 행한다. 그 결과, 복수의 화상을 위치 맞춤하여 합성함으로써 역함수를 구하기 쉬운 합성화상을 생성하고, 합성화상을 역변환함으로써, 손떨림이 보정된 선명한 화상을 얻을 수 있다.
여기서, 상기 복수의 화상간의 이동량을 검출하는 움직임 검출부를 더 포함하고, 상기 화상 합성부는 상기 움직임 검출부에서 검출한 상기 이동량에 기초하여 상기 합성화상을 생성하며, 상기 역함수 생성부는 상기 움직임 검출부에서 검출한 상기 이동량에 기초하여 상기 손떨림 함수 및 상기 역함수를 생성할 수 있다.
이러한 구성에 의하면, 움직임 검출부는 복수의 화상간의 이동량을 검출하고, 화상 합성부는 움직임 검출부에서 검출한 이동량에 기초하여 합성화상을 생성하며, 역함수 생성부는 움직임 검출부에서 검출한 이동량에 기초하여 역함수를 생성한다. 그 결과, 화상간의 이동량을 기초로 한 정밀도가 높은 손떨림 함수 및 역함수를 생성할 수 있다.
여기서, 상기 복수의 화상 중의 적어도 1장은, 손떨림 한계 셔터시간 이하의 셔터시간에서 촬영한 것일 수 있다. 그 결과, 적어도 1장의 화상은 손떨림이 거의 생기지 않는 화상이 되고, 이러한 화상을 포함하여 합성함으로써, 역함수를 구하기 쉬운 합성화상을 생성할 수 있다.
여기서, 상기 역함수 생성부는, 상기 복수의 화상의 촬영시의 촬영시간의 정보를 이용하여 역함수를 생성할 수 있다. 이러한 구성에 의하면, 역함수 생성부는, 복수의 화상의 촬영시의 촬영시간의 정보를 이용하여 역함수를 생성한다. 그 결과, 손떨림 함수의 생성 정밀도를 향상시킬 수 있다.
또한, 본 발명은, 한번에 복수의 화상을 촬영하는 촬상단계;와, 상기 촬상단계에서 촬영한 상기 복수의 화상을 축적하는 화상 축적단계;와, 상기 화상축적단계에서 축적한 상기 복수의 화상을 취득하여, 위치를 맞추어 상기 복수의 화상을 합성하여 합성화상을 생성하는 화상 합성단계;와, 상기 합성화상을 기초로 상기 합성화상을 함수화하여 손떨림 함수를 구하고, 상기 손떨림 함수의 역함수를 생성하는 역함수 생성단계;와, 상기 역함수 생성단계에서 생성한 상기 역함수를 이용하여 상기 합성화상의 역변환을 행하는 역변환 단계;를 포함하는 촬상방법을 개시한다.
이러한 구성에 의하면, 촬상단계는 한번의 촬영동작으로 복수의 화상을 촬영하고, 화상 축적단계는 촬상단계에서 촬영한 복수의 화상을 축적하며, 화상 합성단계는 화상 축적단계에서 축적한 복수의 화상을 취득하여 위치를 맞추어 복수의 화상을 합성하여 합성화상을 생성하고, 역함수 생성단계는 합성화상을 기초로 합성화상을 함수화하여 손떨림 함수를 구하고 손떨림 함수의 역함수를 생성하며, 역변 환 단계는 역함수 생성부에서 생성한 역함수를 이용하여 합성화상의 역변환을 행한다. 그 결과, 복수의 화상을 위치 맞춤하여 합성함으로써 역함수를 구하기 쉬운 합성화상을 생성하고, 합성화상을 역변환함으로써, 손떨림이 보정된 선명한 화상을 얻을 수 있다.
또한, 본 발명은, 컴퓨터에, 한번에 촬영된 복수의 화상을 위치를 맞추어 합성하여 합성화상을 생성하는 화상 합성단계;와, 상기 합성화상을 기초로 상기 합성화상을 함수화하여 손떨림 함수를 구하고, 상기 손떨림 함수의 역함수를 생성하는 역함수 생성단계;와, 상기 역함수 생성단계에서 생성한 상기 역함수를 이용하여 상기 합성화상의 역변환을 행하는 역변환 단계;를 포함하는 처리를 실행시키는 컴퓨터 프로그램을 기록한 저장 매체를 개시한다.
이러한 구성에 의하면, 화상 합성단계는 한번에 촬영된 복수의 화상을 위치를 맞추어 합성하여 합성화상을 생성하고, 역함수 생성단계는 합성화상을 기초로 합성화상을 함수화하여 손떨림 함수를 구하고, 손떨림 함수의 역함수를 생성하며, 역변환 단계는 역함수 생성단계에서 생성한 역함수를 이용하여 합성화상의 역변환을 행한다. 그 결과, 복수의 화상을 위치 맞춤하여 합성함으로써 역함수를 구하기 쉬운 합성화상을 생성하고, 합성화상을 역변환함으로써, 손떨림이 보정된 선명한 화상을 얻을 수 있다.
이하, 첨부된 도면에 도시된 실시예를 참조하여 본 발명을 상세히 설명한다. 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능구성을 갖는 구성요소에 대해서는 동일한 부호를 부여함으로써 중복설명을 생략한다.
먼저, 본 발명의 일 실시예에 관한 촬상장치 및 촬상방법에 대해서 설명한다. 도 4는, 본 발명의 일 실시예에 관한 촬상장치(100)에 대해서 설명하는 설명도이다. 이하, 도 4를 이용하여 본 발명의 일 실시예에 관한 촬상장치(100)의 구성에 대해서 설명한다.
도 4에 나타낸 바와 같이, 본 발명의 일 실시예에 관한 촬상장치(100)는, 촬상부(102), 신호 처리부(104), 기억부(106), 움직임 검출부(108), 화상 합성부(110), 역함수 생성부(112), 조작부(114), 역변환부(116), 화상 압축부(118), 기록부(120), 외부기록 I/F(122)를 포함하여 구성된다.
촬상부(102)는, 피사체의 촬상을 행함으로써, 화상의 본래가 되는 화상 데이터를 취득하는 것이다. 조작부(114)에 포함되는 셔터버튼(미도시)의 조작에 따라 피사체의 촬영동작을 행하고, 화상 데이터를 취득한다. 도시하지 않았지만, 촬상부(102)에는, 피사체의 상을 확대하는 줌렌즈, 피사체의 초점을 조정하는 포커스 렌즈, 피사체로부터의 입사광을 조절하는 조리개, 피사체로부터의 입사광을 아날로그의 전기신호로 변환하는 촬상소자, 아날로그의 전기신호를 디지털의 전기신호로 변환하는 A/D변환기 등을 포함하여 구성된다. 촬상소자는 CCD(Charge Coupled Device)센서나 CMOS(Complementary Metal Oxide Semiconductor)센서 등의 입사광을 전기신호로 변환하는 소자를 이용할 수 있다. 본 실시예에서는, 1회의 셔터버튼의 누름에 따라 촬상부(102)에서 한번에 복수의 화상 데이터를 취득한다.
신호 처리부(104)는, 촬상부(102)에서 취득한 화상 데이터에 대해 신호처리를 실시하는 것이다. 신호 처리부(104)에서 행하는 신호처리는, 화이트 밸런스의 보정처리, 보간(補間)처리, 색채 및 색조의 보정처리, RGB에서 YCbCr로의 신호변환처리, 엣지 강조처리 등을 포함하고 있어도 된다. 신호 처리부(104)에서 보간처리를 행할 때에는 노이즈를 억제한 보간처리를 행해도 된다.
기억부(106)는, 본 발명의 화상 축적부(蓄積部)의 일례로서, 촬상부(102)에서 촬영하고, 신호 처리부(104)에서 신호처리가 행해진 화상 데이터를 일시적으로 기억하기 위한 것이다. 기억부(106)에는, 전기적으로 고속으로 신호를 판독/기입하는 장치를 이용할 수 있고, 기억부(106)로서, 예를 들면 RAM(Random Access Memory), DRAM(Dynamic Random Access Memory), SRAM(Static Random Access Memory), SDRAM(Synchronous DRAM), SGRAM(Synchronous Graphics Random Access Memory) 등의 기억장치를 이용할 수 있다. 본 실시예의 기억부(106)는, 촬상부(102)에서 촬영동작을 행하여 취득한 복수의 화상 데이터를 일시적으로 기억할 수 있는 만큼의 용량을 적어도 가지고 있는 것이 바람직하다.
움직임 검출부(108)는, 촬상부(102)에서 촬영동작을 행하여 취득하고, 신호 처리부(104)에서 신호처리가 행해진 복수의 화상 데이터간의 움직임(이동량)을 검출하는 것이다. 움직임 검출부(108)에서 검출한 이동량을 화상 합성부(110)에 입력함으로써, 화상 합성부(110)에서 복수의 화상 데이터의 위치를 맞추어 합성할 수 있다.
화상 합성부(110)는, 복수의 화상 데이터의 합성을 행하여 합성화상 데이터를 생성한다. 화상 데이터의 합성을 행하여 합성화상 데이터를 생성할 때에는, 움직임 검출부(108)에서 검출한 화상 데이터간의 이동량을 이용하여 피사체의 위치가 일치하도록 합성한다. 화상 데이터를 합성할 때에는, 이동량에 기초하여 복수의 화상 데이터를 적절히 옮겨서 합성해도 되고, 복수의 화상 데이터간에 회전이 생긴 경우에는 화상 데이터를 회전시켜 합성해도 된다.
역함수 생성부(112)는, 화상 합성부(110)에서 합성하여 얻어진 합성화상 데이터에 대한 역함수를 생성한다. 합성화상 데이터에 대한 역함수는, 합성화상 데이터를 함수화하여 얻어진 함수(이 함수를 「손떨림 함수」라고도 칭함)로부터 구한다. 역함수 생성부(112)에서 손떨림 함수 및 역함수를 생성하여, 역변환부(116)에서 합성화상 데이터에 대해 생성한 역함수를 이용하여 역변환처리를 행함으로써, 손떨림 등에 의한 노이즈를 억제한 화상을 생성할 수 있다.
조작부(114)는, 촬상장치(100)에 대한 조작을 행하는 것이다. 조작부(114)에는, 도시하지 않았지만, 정지화상의 촬영을 행하는 셔터버튼이나, 동화상의 촬영을 행하는 녹화개시버튼, 피사체의 줌 촬영을 행할 때의 줌 업/줌 다운버튼, 촬상장치(100)의 각종 설정을 행하는 설정버튼 등을 포함하고 있어도 된다.
역변환부(116)는, 역함수 생성부(112)에서 생성한 합성화상 데이터에 대한 역함수를 이용하여, 화상 합성부(110)에서 합성하여 생성한 합성화상 데이터에 대해 역변환처리를 행한다. 역변환부(116)에서 행하는 역변환처리에 대해서는 후술한다. 역변환부(116)에서 역변환처리를 행함으로써, 손떨림 등에 의한 노이즈를 억제한 화상을 생성할 수 있다.
화상 압축부(118)는, 역변환부(116)에서 역변환하여 노이즈를 억제한 합성화상 데이터에 대해 압축처리를 실시하는 것이다. 화상의 압축에는, 정지화상이면 예를 들면 JPEG(Joint Photo graphic Experts Group)형식 등을 이용할 수 있고, 동화상이면 예를 들면 MPEG(Moving Picture Experts Group)형식 등을 이용할 수 있다.
기록부(120)는, 촬영한 화상이 기록되는 것이다. 기록부(120)로서, 플래시 메모리와 같은 비휘발성을 가지는 기록매체, HDD(Hard Disk Drive), CD(Compact Disk), DVD(Digital Versatile Disk) 등을 이용할 수 있다. 기록부(120)에의 화상의 기록은 외부기록 I/F(122)를 경유하여 행해진다.
이상, 본 발명의 일 실시예에 관한 촬상장치(100)의 구성에 대해서 설명하였다. 다음으로, 본 발명의 일 실시예에 관한 촬상장치(100)를 이용한 촬상방법에 대해서 설명한다.
도 5는, 본 발명의 일 실시예에 관한 촬상방법의 개요에 대해서 설명하는 설명도이다. 이하, 도 5를 이용하여 본 발명의 일 실시예에 관한 촬상방법의 개요에 대해서 설명한다.
본 발명의 일 실시예에 관한 촬상방법에서는, 상술한 바와 같이 한번의 촬영조작으로 노광시간을 분할하여 복수매의 화상을 촬영하고, 촬영한 화상의 합성을 행한다. 본 실시예에서는, 도 5의 (a)에 나타낸 바와 같이 한번의 촬영조작으로 제1 화상 데이터(140)와 제2 화상 데이터(142)의 촬영을 순차적으로 행한다. 본 실시예에서는, 제1 화상 데이터(140)의 셔터시간은, 제2 화상 데이터(142)의 셔터시간보다 긴 시간인 것으로 한다. 또한, 제2 화상 데이터(142)의 노광시간(셔터시간)은, 손떨림이 생기지 않는 한계의 셔터시간인 손떨림 한계 셔터시간 이하인 것이 바람직하다. 손떨림 한계 셔터시간은, 촬상부(102)에 포함되는 포커스 렌즈의 초점거리를 35mm 필름 환산으로 f(mm)라고 하면, 약 1/f(초)가 된다.
이와 같이 하여 취득한 화상 데이터에 대해, 제1 화상 데이터(140)는 장시간 노광을 행하기 때문에 노이즈는 그다지 생기지 않는다. 그러나, 셔터시간이 장시간이기 때문에, 촬영자가 촬상장치(100)를 손에 가지고 촬영한 경우에 크게 손떨림이 생길 수 있다. 한편, 제2 화상 데이터(142)는 셔터시간이 짧고, 바람직하게는 손떨림 한계 셔터시간 이하로 촬영되어 있으므로, 손떨림이 거의 생기지 않지만, 셔터시간이 짧기 때문에 노광시간도 짧고, 제2 화상 데이터(142)에는 노이즈가 크게 생기게 된다.
그래서, 우선 도 5의 (b)에 나타내는 바와 같이, 화상 합성부(110)에서 제1 화상 데이터(140) 및 제2 화상 데이터(142)를 합성하여 합성화상 데이터를 생성한다. 본 실시예에서는, 합성화상 데이터를 생성할 때에는, 제1 화상 데이터(140) 및 제2 화상 데이터(142)에 대해 움직임(이동량)의 검출을 행하여, 검출결과에 기초하여 피사체의 위치가 일치하도록 화상의 위치를 옮겨 합성을 행한다. 제1 화상 데이터(140) 및 제2 화상 데이터(142)를 합성하여 얻어지는 합성화상 데이터인 제3 화상 데이터(144)는, 노이즈는 적고, 손떨림의 정도는 제1 화상 데이터(140)와 제2 화상 데이터(142)의 사이의 중간정도가 되는 화상 데이터이다.
이렇게 하여 얻어진 제3 화상 데이터(144)는, 노이즈는 낮지만, 손떨림은 약간 줄어 윤곽이 조금 희미해진 것이 된다. 이러한 화상 데이터는, 도 5의 (c)에 나타내는 바와 같이, 손떨림 함수화한 경우에는 어떤 개소에서 피크가 발생한다. 이와 같이 손떨림 함수화했을 때에 피크가 존재하는 화상 데이터이면, 손떨림 함수의 역함수를 구함으로써, 역변환 처리를 행하여 손떨림이 억제되고 노이즈가 경감된 화상을 복원하는 것이 용이하게 된다.
이하, 본 발명의 일 실시예에 관한 촬상방법에 대하여 보다 상세하게 설명한다.
도 6은, 본 발명의 일 실시예에 관한 촬상방법에 대해서 설명하는 흐름도이다. 이하, 도 6을 이용하여 본 발명의 일 실시예에 관한 촬상방법에 대해서 상세하게 설명한다.
우선, 촬상장치(100)의 조작부(114)를 조작하여 촬상동작을 개시한다(단계 S110). 촬상조작의 개시에 따라 촬상부(102)에 피사체로부터 광이 입사되고, 입사된 광을 촬상부(102)에 포함되는 CCD소자나 CMOS소자 등의 촬상소자에서 광전변환함으로써, 화상 데이터의 생성이 행해진다.
촬상동작이 개시되면, 촬상부(102)에서 제1 화상 데이터(140)의 취득을 행한다(단계 S112).
제1 화상 데이터(140)의 취득이 종료되면, 이어서 제2 화상 데이터(142)의 취득을 행한다(단계 S114). 본 실시예에서는, 제1 화상 데이터(140)는 제2 화상 데이터(142)보다도 장시간 촬상부(102)에 노광을 행하여 취득한다. 또한, 제2 화상 데이터(142)를 얻기 위한 노광시간은, 상술한 바와 같이 손떨림이 생기지 않는 한계의 셔터시간인 손떨림 한계 셔터시간인 것이 바람직하다. 그리고, 제1 화상 데이터(140)를 얻기 위한 노광시간은, 분할하지 않고 촬영을 행할 때의 노광시간에서 제2 화상 데이터(142)를 얻기 위한 노광시간을 뺀 시간이 된다.
제1 화상 데이터(140) 및 제2 화상 데이터(142)의 취득이 완료하면, 취득한 화상 데이터에 대해 각각 신호 처리부(104)에서 신호처리를 실시한다(단계 S116). 신호 처리부(104)에서 실시하는 신호처리는, 화이트 밸런스의 보정처리, 보간처리, 색채 및 색조의 보정처리, RGB에서 YCbCr로의 신호변환처리, 엣지 강조처리 등을 포함해도 되고, 신호 처리부(104)에서 보간처리를 행할 때에는, 화상 데이터의 노이즈를 억제한 보간처리를 행해도 된다.
제1 화상 데이터(140) 및 제2 화상 데이터(142)에 대해 신호처리가 행해지면, 제1 화상 데이터(140) 및 제2 화상 데이터(142)를 일시적으로 기억부(106)에 기억시킨다(단계 S118). 단계 S118에서 제1 화상 데이터(140) 및 제2 화상 데이터(142)가 기억부(106)에 기억되면, 움직임 검출부(108)가 기억된 제1 화상 데이터(140) 및 제2 화상 데이터(142)를 판독하여, 2개의 화상 데이터간의 움직임의 양(이동량)을 검출한다(단계 S120).
상기 단계 S120에서 2개의 화상 데이터간의 이동량을 검출하면, 화상 합성부(110)에 있어서, 제1 화상 데이터(140)와 제2 화상 데이터(142)를 검출한 이동량을 이용하여 위치맞춤을 행하는 합성처리를 행한다(단계 S122). 화상 합성부(110)에서의 합성의 결과, 제3 화상 데이터(144)가 생성된다.
상기 단계 S122에서의 합성처리의 결과, 제3 화상 데이터(144)가 생성되면, 이 생성된 제3 화상 데이터(144)를 이용하여 역함수 생성부(112)에서 제3 화상 데이터(144)를 함수화하고, 얻어진 함수에 대한 역함수를 생성한다(단계 S124). 제3 화상 데이터(144)를 보정하기 위한 역함수를 생성하는 데는, 우선 제3 화상 데이터(144)를 함수화하여 손떨림 함수를 생성할 필요가 있다. 함수화 시에는 움직임 검출부(108)에서 검출한 화상 데이터간의 이동량을 이용하여, 화상 데이터 중의 모든 화소에 대해 구한다.
그리고, 구한 손떨림 함수에서 그 손떨림 함수의 역함수를 구한다. 이와 같이 구한 역함수를 이용하여, 제3 화상 데이터(144)에 대해 역변환에 따라 화상 데이터의 보정처리를 실시함으로써, 손떨림이 보정된 화상 데이터를 얻는 것이 가능하게 된다.
단계 S124에서 역함수의 생성이 행해지면, 생성한 역함수를 이용하여 역변환부(116)에서 제3 화상 데이터(144)의 역변환처리를 행한다(단계 S126). 본 실시예에서는, 역변환부(116)에서의 역변환처리는, 생성한 역함수를 이용하여 제3 화상 데이터(144)에 대해 역변환에 따라 보정처리를 실시함으로써 행한다. 이와 같이, 역변환부(116)에서 합성화상 데이터인 제3 화상 데이터(144)에 대해 역변환처리를 실시함으로써, 손떨림이 생기지 않는 것과 동등한 화상 데이터를 얻을 수 있다.
역함수의 생성방법의 일례를 이하에 나타낸다. 역함수는 손떨림에 의해 생기는 평활화(平滑化) 특성을 복원하는 것이다. 가장 간단한 손떨림의 모델에서는, 움직임 방향으로 몇 개의 화소를 일정한 비율로 가산한 필터 효과가 되고, 이 필터 효과는 저역 통과 필터의 특성을 나타낸다. 이 때문에, 이 손떨림을 필터라고 해석함으로써, 주파수 특성이 구해진다.
실제로 상기 필터 효과는, FIR(Finite Impulse Response)필터의 역필터인 IIR(Infinite Impulse Response)필터를 이용하여 실현할 수 있다.
FIR필터의 차분 방정식은, 출력 데이터를 y(i), 입력 데이터를 x(i-k)(단, k는 변수), 계수 데이터를 h(k)라고 하면, 다음의 수학식 1로 나타낼 수 있다.
Figure 112007017070466-pat00001
상기 수학식 1에서 N은 필터의 탭(tap)수를 나타낸다. IIR필터의 차분 방정식은, 상기 수학식 1의 x와 y를 바꿔 넣은 이하의 수학식 2로 나타낼 수 있다.
Figure 112007017070466-pat00002
상기 수학식 2는, y(i)로부터 합하여 x(i)를 만드는 식인데, 이는 역필터의 입출력 관계식밖에 없다. 이를 인과적인 계, y(i)=(현재와 과거의 x(i)와 과거의 y(i)만을 포함하는 식)으로 할 수 있다.
다음의 수학식 3은 Σ에서 y(i)의 항을 밖으로 추출한 식이다.
Figure 112007017070466-pat00003
수학식 3에서는 최초의 0이 아닌 h(k)를 h(0)으로 해도 일반성은 변하지 않기 때문에, h(0)!=0으로 가정하여, 수학식 3은 다음의 수학식 4로 나타낼 수 있으며, 수학식 4는 IIR필터를 나타내고 있다.
Figure 112007017070466-pat00004
이 수학식 4를 상기 수학식 3과 비교하여, 다음의 수학식 5로 하는 경우에는 IIR필터가 본래의 FIR필터가 된다.
Figure 112007017070466-pat00005
여기서, 상기 수학식 4에 나타내는 바와 같은 역필터는, 예를 들면, h(0)=0인 지연을 수반한 임펄스 응답은 얼마든지 존재하지만, 그 역필터는 존재하지 않는다. 따라서, h(0)이 0이 아니고 상기 수학식 4에 나타내는 IIR에 의한 역필터가 존재해도, 그것이 발산(發散), 발진(發振)할 가능성이 있다.
어느 주파수를 완전히 컷(cut)하는 필터의 역필터는, 그 주파수 성분을 조금이라도 포함한 신호를 입력하는 것만으로 발진한다고 생각된다.
여기서, FIR필터는, 시간지연(즉, 화소의 위치 어긋남)을 z(-1)로 하고 그 계수를 z의 다항식의 계수로 하여, z(-1)=0이라고 하면, 다음의 수학식 6과 같이 나타낼 수 있다.
Figure 112007017070466-pat00006
상기 수학식 6은 다음의 수학식 7에 나타내는 통상의 N차 방정식과 해가 같 고, 이 N차 방정식은, 다중해(多重解)도 별도로 계산한다면, 항상 N개가 존재한다. 여기서, 해는 FIR필터의 제로점이다.
Figure 112007017070466-pat00007
한편, 상기 수학식 4의 y의 항을 좌변으로, x의 항을 우변으로 이항하여 Z변환하면, 다음의 수학식 8과 수학식 9가 되고, FIR의 정확하게 역수의 계인 것을 알 수 있다.
Figure 112007017070466-pat00008
Figure 112007017070466-pat00009
여기서, 제로점은, 역필터를 실현하는 IIR필터에서는 그대로 극이 된다. 상기 수학식 8 및 수학식 9에 의해, 일반적으로 단위 원의 밖으로 하나라도 극이 있으면 발진하는 것을 알 수 있다.
실제로 탭 수가 전부 [1,1,1, ]이 되는 통상의 손떨림 필터의 경우, 샘플링의 탭 수만큼의 1의 대역을 완전히 컷하는 필터가 된다. 이 역필터는 이 대역이 존재하는 것만으로 발산하여 버리고, 원신호를 복원할 수 없게 된다. 단, 이 중에 한 개소 큰 탭 계수가 존재하면, 이는 대역주파수의 2분의 1의 대역을 남긴 필터가 되기 때문에, 원신호를 복원할 수 있다. 본 발명에서의 필터 효과는, 이 원리를 이 용한 것이다.
도 7은, 본 발명의 일 실시예에 관한 역함수의 생성의 일례에 대해서 설명하는 설명도이다. 횡축은 공간 주파수를 나타내고, 종축은 이득(게인)을 나타낸다. f는 샘플링 주파수이고, 이득은 f/2로 향하여 하락하게 된다. 손떨림을 필터라고 해석한 경우의 필터특성의 예를 도 7의 참조부호 154로 나타낸다. 이 화상에 본래 존재한 대역은, 도 7의 참조부호 152에 나타낸 곡선에 상당한다. 따라서, 필터특성에 승산함으로써 참조부호 152의 곡선의 특성이 되게 되는, 참조부호 156에 나타낸 곡선의 특성을 구하고, 이러한 특성을 나타내는 필터를 구하면, 그것이 손떨림의 역함수가 된다.
역변환처리가 행해진 제3 화상 데이터는, 화상 압축부(118)에서의 압축처리에 따라 압축된 화상이 되고, 압축된 화상은 외부기록 I/F(122)를 경유하여 기록부(120)에 기록된다. 이와 같이 하여 기록부(120)에 기록된 화상은, 손떨림이 보정된 선명한 화상이 된다.
이상, 본 발명의 일 실시예에 관한 촬상방법에 대해서 설명하였다. 또한, 상술한 촬상방법은, 컴퓨터 프로그램에 의해 행해져도 되고, 예를 들면, 촬상장치(100)의 내부에 컴퓨터 프로그램이 기록되어 있는 기록 매체 및 컴퓨터 프로그램을 판독하여 실행하는 프로세서를 내장하고, 프로세서가 컴퓨터 프로그램을 순차적으로 판독하여 실행함으로써 행해져도 된다.
이상 설명한 바와 같이, 본 발명의 일 실시예에 관한 촬상장치(100) 및 촬상방법에 의하면, 한번의 촬영조작으로 손떨림이 없는 화상 데이터와 손떨림이 생 기는 화상 데이터를 촬영하여 합성하고, 합성하여 얻어진 합성화상 데이터를 함수화하며, 얻어진 함수의 역함수를 구하여 합성화상 데이터를 역변환함으로써, 손떨림이 보정된 양호한 화상을 얻을 수 있다.
이상, 첨부도면을 참조하면서 본 발명의 매우 적합한 실시예에 대해서 설명하였지만, 본 발명은 이러한 예에 한정되지 않는 것은 물론이다. 당업자이면, 특허청구범위에 기재된 범주 내에서, 각종의 변경 예 또는 수정 예에 도달할 수 있는 것은 명백하고, 이들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다.
예를 들면, 상기 실시예에서는, 셔터시간(노광시간)이 긴 제1 화상 데이터(140)를 먼저 취득하고, 이어서 셔터시간이 짧은 제2 화상 데이터(142)를 취득하였지만, 본 발명은 이러한 예에 한정되지 않는 것은 물론이고, 먼저 셔터시간이 짧은 화상 데이터를 취득하고, 이어서 셔터시간이 긴 화상 데이터를 취득해도 된다. 또한, 화상 데이터를 취득하는 수는 2개에 한정되지 않고, 3개 이상이어도 된다. 3개 이상의 화상 데이터를 취득할 때에는 노광시간에 차이가 있는 화상 데이터를 취득하는 것이 바람직하다.
또한, 상기 실시예에서는, 역함수를 구할 때에 화상 데이터간의 이동량을 역함수 생성부(112)에 입력하여 화상 데이터의 손떨림 함수 및 역함수를 구했지만, 본 발명의 역함수 생성방법은 이러한 예에 한정되지 않는다. 예를 들면, 손떨림 함수를 구할 때에 조작부(114)로부터의 셔터속도의 정보를 입력해도 된다. 손떨림의 스피드는 반드시 일정으로는 한정되지 않기 때문에, 화상 데이터간의 이동량 이외 에도 셔터속도의 정보를 입력함으로써, 손떨림 함수의 생성 정밀도를 향상시킬 수 있다.
또한, 상기 실시예에서는, 화상 데이터간의 이동량을 움직임 검출부(108)에서 검출하여, 검출한 이동량을 이용하여 화상 데이터의 합성 및 손떨림 함수의 생성을 행하였지만, 본 발명은 이러한 예에 한정되지 않는다. 예를 들면, 촬상장치(100)의 내부에 자이로 센서를 설치하고, 자이로 센서가 감지한 이동량을 이용하여 화상 데이터의 합성 및 손떨림 함수의 생성을 행해도 된다. 특히, 상기 실시예에서는, 손떨림을 일정한 동작이라고 정의하여 설명하였지만, 실제의 손떨림에는 일정한 동작뿐만 아니라, 더 복잡한 동작이 들어갈 가능성도 있다. 이러한 손떨림에 대해 자이로 센서에 의한 움직임 이력을 이용함으로써, 보다 정확한 손떨림 함수를 얻는 것이 가능하게 된다.
상술한 바와 같이, 본 발명의 촬상장치, 촬상방법 및 그 방법을 실현시키는 컴퓨터 프로그램을 기록한 저장 매체에 따르면, 역함수에 의한 보정과 복수매 촬영에 의한 보정의 장점을 병용하여, 촬영화상에 생긴 손떨림을 보정할 수 있는 효과가 있다.

Claims (6)

  1. 한 번의 촬영동작으로 복수의 화상을 촬영하는 촬상부;
    상기 촬상부에서 촬영한 상기 복수의 화상을 축적하는 화상 축적부;
    상기 화상 축적부에서 축적한 상기 복수의 화상을 취득하여, 위치를 맞추어 상기 복수의 화상을 합성하여 합성화상을 생성하는 화상 합성부;
    상기 합성화상을 기초로 상기 합성화상을 함수화하여 손떨림 함수를 구하고, 상기 손떨림 함수의 역함수를 생성하는 역함수 생성부; 및
    상기 역함수 생성부에서 생성한 상기 역함수를 이용하여 상기 합성화상의 역변환을 행하는 역변환부;를 포함하는 촬상장치.
  2. 제1항에 있어서,
    상기 복수의 화상간의 이동량을 검출하는 움직임 검출부를 더 포함하고,
    상기 화상 합성부는 상기 움직임 검출부에서 검출한 상기 이동량에 기초하여 상기 합성화상을 생성하며,
    상기 역함수 생성부는 상기 움직임 검출부에서 검출한 상기 이동량에 기초하여 상기 손떨림 함수 및 상기 역함수를 생성하는 촬상장치.
  3. 제1항에 있어서,
    상기 복수의 화상 중의 적어도 1장은, 손떨림 한계 셔터시간 이하의 셔터시 간에서 촬영한 것인 촬상장치.
  4. 삭제
  5. 한번에 복수의 화상을 촬영하는 촬상단계;
    상기 촬상단계에서 촬영한 상기 복수의 화상을 축적하는 화상 축적단계;
    상기 화상축적단계에서 축적한 상기 복수의 화상을 취득하여, 위치를 맞추어 상기 복수의 화상을 합성하여 합성화상을 생성하는 화상 합성단계;
    상기 합성화상을 기초로 상기 합성화상을 함수화하여 손떨림 함수를 구하고, 상기 손떨림 함수의 역함수를 생성하는 역함수 생성단계; 및
    상기 역함수 생성단계에서 생성한 상기 역함수를 이용하여 상기 합성화상의 역변환을 행하는 역변환 단계;를 포함하는 촬상방법.
  6. 컴퓨터에,
    한번에 촬영된 복수의 화상을 위치를 맞추어 합성하여 합성화상을 생성하는 화상 합성단계;
    상기 합성화상을 기초로 상기 합성화상을 함수화하여 손떨림 함수를 구하고, 상기 손떨림 함수의 역함수를 생성하는 역함수 생성단계; 및
    상기 역함수 생성단계에서 생성한 상기 역함수를 이용하여 상기 합성화상의 역변환을 행하는 역변환 단계;를 포함하는 처리를 실행시키는 컴퓨터 프로그램을 기록한 저장 매체.
KR1020070019893A 2006-12-28 2007-02-27 촬상장치, 촬상방법 및 그 방법을 실현시키는 컴퓨터프로그램을 기록한 저장 매체 KR100850468B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006356520A JP4884207B2 (ja) 2006-12-28 2006-12-28 撮像装置、撮像方法およびコンピュータプログラム
JPJP-P-2006-00356520 2006-12-28

Publications (2)

Publication Number Publication Date
KR20080063002A KR20080063002A (ko) 2008-07-03
KR100850468B1 true KR100850468B1 (ko) 2008-08-07

Family

ID=39696117

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070019893A KR100850468B1 (ko) 2006-12-28 2007-02-27 촬상장치, 촬상방법 및 그 방법을 실현시키는 컴퓨터프로그램을 기록한 저장 매체

Country Status (2)

Country Link
JP (1) JP4884207B2 (ko)
KR (1) KR100850468B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5507865B2 (ja) * 2009-03-12 2014-05-28 キヤノン株式会社 画像処理装置、画像処理方法
JP5300590B2 (ja) * 2009-05-21 2013-09-25 キヤノン株式会社 画像処理装置およびその方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070086904A (ko) * 2005-01-04 2007-08-27 가부시키가이샤 아이스퀘어리서치 고체촬상장치 및 그 제조방법
KR20080005182A (ko) * 2005-04-06 2008-01-10 소니 가부시끼 가이샤 촬상장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4389371B2 (ja) * 2000-09-28 2009-12-24 株式会社ニコン 画像修復装置および画像修復方法
JP4323969B2 (ja) * 2004-01-16 2009-09-02 キヤノン株式会社 撮影装置
JP2006050139A (ja) * 2004-08-03 2006-02-16 Canon Inc 光学機器
JP4677748B2 (ja) * 2004-09-15 2011-04-27 株式会社ニコン 撮像装置
JP4487191B2 (ja) * 2004-12-24 2010-06-23 カシオ計算機株式会社 画像処理装置および画像処理プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070086904A (ko) * 2005-01-04 2007-08-27 가부시키가이샤 아이스퀘어리서치 고체촬상장치 및 그 제조방법
KR20080005182A (ko) * 2005-04-06 2008-01-10 소니 가부시끼 가이샤 촬상장치

Also Published As

Publication number Publication date
JP2008167322A (ja) 2008-07-17
KR20080063002A (ko) 2008-07-03
JP4884207B2 (ja) 2012-02-29

Similar Documents

Publication Publication Date Title
JP5206494B2 (ja) 撮像装置、画像表示装置と、撮像方法及び画像表示方法並びに合焦領域枠の位置補正方法
JP4662880B2 (ja) 撮像装置,及び撮像方法
JP4268220B2 (ja) 撮影装置、撮影方法、およびプログラム
JP4900401B2 (ja) 撮影装置およびプログラム
JP4500875B2 (ja) モーションブラー効果を除去する方法および装置
JP4896852B2 (ja) オートフォーカス制御回路、オートフォーカス制御方法及び撮像装置
US20130027587A1 (en) Signal processing apparatus, imaging apparatus, signal processing method and program
JP2010062952A (ja) 撮像装置、画像処理装置、画像処理方法、プログラム及び記録媒体
JP2007114466A (ja) 手ぶれ補正機能を有する撮影装置
JP2018107526A (ja) 画像処理装置、撮像装置、画像処理方法およびコンピュータのプログラム
JP2006262220A (ja) 撮像装置
WO2010035752A1 (ja) 画像生成装置、撮像装置、画像再生装置、画像再生プログラム
JP2008160622A (ja) 画角補正装置及び方法並びに撮像装置
JP2008099025A (ja) 撮像装置、ぶれ補正方法及び撮像方法
US8243154B2 (en) Image processing apparatus, digital camera, and recording medium
JP2007221711A (ja) センサユニット、及び、電子機器
KR100850468B1 (ko) 촬상장치, 촬상방법 및 그 방법을 실현시키는 컴퓨터프로그램을 기록한 저장 매체
JPH1188763A (ja) デジタルスチルカメラのシャッター速度制御装置及び方法
KR100835624B1 (ko) 촬상장치 및 촬상방법
JP2009171341A (ja) ぶれ補正装置及び撮像装置
US7545408B2 (en) Image pickup apparatus and image pickup method
JP2018142983A (ja) 画像処理装置及びその制御方法、プログラム、記憶媒体
JP5352377B2 (ja) 画像処理装置及び画像処理方法
JP2007243904A (ja) 撮像装置及び画像処理装置
US20100034482A1 (en) Method and apparatus for processing a digital image signal, and a recording medium having recorded thereon a program for executing the method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130627

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140627

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150629

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160629

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170629

Year of fee payment: 10