KR20080101778A - 화상흔들림의 검출기능을 구비한 촬상장치, 촬상장치의제어방법 및 촬상장치의 제어프로그램을 기록한 기록매체 - Google Patents

화상흔들림의 검출기능을 구비한 촬상장치, 촬상장치의제어방법 및 촬상장치의 제어프로그램을 기록한 기록매체 Download PDF

Info

Publication number
KR20080101778A
KR20080101778A KR1020080045595A KR20080045595A KR20080101778A KR 20080101778 A KR20080101778 A KR 20080101778A KR 1020080045595 A KR1020080045595 A KR 1020080045595A KR 20080045595 A KR20080045595 A KR 20080045595A KR 20080101778 A KR20080101778 A KR 20080101778A
Authority
KR
South Korea
Prior art keywords
image
difference value
image shake
shake detection
detection means
Prior art date
Application number
KR1020080045595A
Other languages
English (en)
Other versions
KR100925319B1 (ko
Inventor
마사아키 사사키
신이치 마츠이
Original Assignee
가시오게산키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가시오게산키 가부시키가이샤 filed Critical 가시오게산키 가부시키가이샤
Publication of KR20080101778A publication Critical patent/KR20080101778A/ko
Application granted granted Critical
Publication of KR100925319B1 publication Critical patent/KR100925319B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

최초의 단계에서는 글로벌 움직임벡터를 이용하여 대략의 화상흔들림의 정도를 판단한다. 어느 정도 화상흔들림이 집속했다고 판단된 후에, 화상프레임간의 차분값을 이용하여 더욱 상세하게 화상흔들림의 정도를 판단한다. 그리고, 화상흔들림이 없다고 판단되면, 기록촬영을 실행한다. 이것에 의해, 손떨림이나 화상흔들림이 없는 타이밍에서 확실하게 촬영을 실행할 수 있다.
움직임벡터, 손떨림, 화상프레임, 디지털카메라, 차분값

Description

화상흔들림의 검출기능을 구비한 촬상장치, 촬상장치의 제어방법 및 촬상장치의 제어프로그램을 기록한 기록매체{IMAGE PICKUP APPARATUS EQUIPPED WITH FUNCTION OF DETECTING IMAGE SHAKING, CONTROL METHOD OF THE IMAGE PICKUP APPARATUS, AND RECORDING MEDIUM RECORDING CONTROL PROGRAM OF THE IMAGE PICKUP APPARATUS}
본 발명은 화상흔들림의 검출기능을 구비한 촬상장치, 촬상장치의 제어방법 및 촬상장치의 제어프로그램을 기록한 기록매체에 관한 것이다.
근래, 퍼스널컴퓨터의 눈부신 보급이나 그 사용상의 편리함으로부터, 종래의 은염필름을 이용한 카메라 대신에, CCD(Charge Coupled Device) 등의 촬상소자를 이용한 디지털카메라가 급속히 보급되고 있다. 이러한 디지털카메라로 피사체상을 촬영하는 경우, 촬영자는 카메라를 움직여 화각을 정하고, 손떨림이 없도록 카메라를 눌러, 셔터키를 조작하여 촬영을 실행하고 있다.
그런데, 촬영자가 화각을 정하고, 카메라를 확실히 고정시키고자 해도 촬영시에 카메라가 움직여 버려, 손떨림이 발생해 버리는 경우가 있다. 그래서, 이러한 손떨림의 영향을 억제하기 위해, 예를 들면 특허문헌 1(일본국 특허공개공보 평6-350895호)에 나타나는 바와 같이, 디지털카메라에 손떨림 보정기능을 탑재한 것이 등장하고 있다.
또, 피사체가 사람 등인 경우에는 촬영자는 화각을 정한 후, 이제부터 촬영하는 것을 소리에 의해 신호하여, 정지를 촉구하고 있다. 그런데, 정지를 촉구한 후에, 피사체로 되는 사람이 움직여 버려, 화상흔들림이 발생할 수 있다. 이러한 화상흔들림은 종래의 손떨림보정만으로는 보정하는 것은 곤란하다.
그래서, 손떨림이나 피사체 흔들림 등의 화상흔들림이 발생하고 있지 않은 타이밍을 검출하고, 화상흔들림이 발생하고 있지 않은 타이밍에서 기록촬영을 실행할 수 있도록 하는 것이 고려된다.
상술한 바와 같이, 화상흔들림이 발생하고 있지 않은 타이밍에서 기록촬영을 실행할 수 있도록 하기 위해서는 손떨림이나 피사체 흔들림을 정밀도 좋게 검출할 수 있는 것이 요망된다. 손떨림의 검출로서는 예를 들면 특허문헌 1에 나타나는 바와 같이, 움직임벡터를 이용하는 것이 알려져 있다.
그런데, 움직임벡터는 카메라를 움직이고 있는 경우의 대략의 손떨림은 검출할 수 있지만, 피사체의 움직임을 정밀도 좋게 검출하는 것은 곤란하다고 하는 문 제가 있었다.
본 발명의 하나의 양태는 화상흔들림의 검출기능을 구비한 촬상장치로서, 화상흔들림을 검출하는 제 1 화상흔들림 검출수단과, 상기 제 1 화상흔들림 검출수단과는 다른 방법으로 화상흔들림을 검출하는 제 2 화상흔들림 검출수단과, 상기 제 1 화상흔들림 검출수단에 의해 검출되는 화상흔들림이 집속(convergence)했다고 판단된 후, 또한 상기 제 2 화상흔들림 검출수단에 의해 검출되는 화상흔들림이 집속했다고 판단된 경우에, 화상흔들림이 없어졌다고 판단하는 판단수단을 구비하는 것을 특징으로 한다.
본 발명의 다른 양태는 화상흔들림의 검출기능을 구비한 촬상장치로서, 연속하는 2개의 화상프레임간의 차분값을 산출하는 차분값 산출수단과, 화상프레임내의 고주파성분을 검출하는 고주파성분 검출수단과, 상기 고주파성분이 기준값보다 저하되어 있는 화상프레임은 평가대상에서 제외하고, 상기 차분값 산출수단에 의해 산출되는 차분값에 의해 화상흔들림의 유무를 판단하는 판단수단을 구비하는 것을 특징으로 한다.
본 발명의 다른 양태는 화상흔들림의 검출기능을 구비한 촬상장치로서, 연속하는 2개의 화상프레임간의 차분값을 산출하는 차분값 산출수단과, 상기 차분값 산출수단에 의해 연속적으로 검출되는 상기 차분값 중에서 가장 작은 차분값을 유지하는 유지수단과, 상기 차분값 산출수단에 의해 새로운 프레임에 대응하여 산출되는 차분값이 상기 유지수단에 의해 유지되어 있는 차분값보다 작은 경우에, 새로운 차분값으로 유지되어 있는 차분값을 갱신하고, 이 갱신횟수가 소정 횟수 이상이 된 경우에 화상흔들림이 없어졌다고 판단하는 판단수단을 구비하는 것을 특징으로 한다.
본 발명의 다른 양태는 화상흔들림의 검출기능을 구비한 촬상장치를 제어하는 방법으로서, 화상흔들림을 검출하는 제 1 화상흔들림 검출스텝과, 상기 제 1 화상흔들림 검출스텝과는 다른 방법으로 화상흔들림을 검출하는 제 2 화상흔들림 검출스텝과, 상기 제 1 화상흔들림 검출스텝에 의해 검출되는 화상흔들림이 집속했다고 판단된 후, 또한 상기 제 2 화상흔들림 검출스텝에 의해 검출되는 화상흔들림이 집속했다고 판단된 경우에, 화상흔들림이 없어졌다고 판단하는 판단스텝으로 이루어지는 것을 특징으로 한다.
본 발명의 다른 양태는 화상흔들림의 검출기능을 구비한 촬상장치를 제어하는 방법으로서, 연속하는 2개의 화상프레임간의 차분값을 산출하는 차분값 산출스텝과, 화상프레임내의 고주파성분을 검출하는 고주파성분 검출스텝과, 상기 고주파성분이 기준값보다 저하되어 있는 화상프레임은 평가대상에서 제외하고, 상기 차분값 산출수단에 의해 산출되는 차분값에 의해 화상흔들림의 유무를 판단하는 판단스텝으로 이루어지는 것을 특징으로 한다.
본 발명의 다른 양태는 화상흔들림의 검출기능을 구비한 촬상장치를 제어하는 방법으로서, 연속하는 2개의 화상프레임간의 차분값을 산출하는 차분값 산출스텝과, 상기 차분값 산출스텝에 의해 검출되는 차분값을 유지하는 유지스텝과, 상기 차분값 산출스텝에 의해 새로운 프레임에 대응하여 산출되는 차분값이 상기 유지스 텝에 의해 유지되어 있는 차분값보다 작은 경우에, 새로운 차분값으로 유지되어 있는 차분값을 갱신하는 갱신스텝과, 상기 갱신스텝에 의해 갱신되는 횟수가 소정 횟수 이상이 된 경우에 화상흔들림이 없어졌다고 판단하는 판단스텝으로 이루어지는 것을 특징으로 한다.
본 발명의 다른 양태는 화상흔들림의 검출기능을 구비한 촬상장치의 제어 프로그램을 기록한 기록매체로서, 상기 촬상장치를, 화상흔들림을 검출하는 제 1 화상흔들림 검출수단과, 상기 제 1 화상흔들림 검출수단과는 다른 방법으로 화상흔들림을 검출하는 제 2 화상흔들림 검출수단과, 상기 제 1 화상흔들림 검출수단에 의해 화상흔들림을 검출하고, 이 제 1 화상흔들림 검출수단에 의해 검출되는 화상흔들림이 집속했을 때에, 다음의 단계에서, 상기 제 2 화상흔들림 검출수단에 의해 화상흔들림을 검출하고, 이 제 2 화상흔들림 검출수단에 의해 검출되는 화상흔들림이 집속했을 때에, 화상흔들림이 없어졌다고 판단하는 판단수단으로서 기능시키는 것을 특징으로 한다.
본 발명의 다른 양태는 화상흔들림의 검출기능을 구비한 촬상장치의 제어 프로그램을 기록한 기록매체로서, 상기 촬상장치를, 연속하는 2개의 화상프레임간의 차분값을 산출하는 차분값 산출수단과, 화상프레임내의 고주파성분을 검출하는 고주파성분 검출수단과, 상기 고주파성분이 기준값보다 저하되어 있는 화상프레임은 평가 대상에서 제외하고, 상기 차분값 산출수단에 의해 산출되는 차분값에 의해 화상흔들림의 유무를 판단하는 판단수단으로서 기능시키는 것을 특징으로 한다.
본 발명의 다른 양태는 화상흔들림의 검출기능을 구비한 촬상장치의 제어 프 로그램을 기록한 기록매체로서, 상기 촬상장치를, 연속하는 2개의 화상프레임간의 차분값을 산출하는 차분값 산출수단과, 상기 차분값 산출수단에 의해 연속적으로 검출되는 상기 차분값 중에서 가장 작은 차분값을 유지하는 유지수단과, 상기 차분값 산출수단에 의해 새로운 프레임에 대응하여 산출되는 차분값이 상기 유지수단에 의해 유지되어 있는 차분값보다 작은 경우에, 새로운 차분값으로 유지되어 있는 차분값을 갱신하고, 이 갱신횟수가 소정 횟수 이상이 된 경우에 화상흔들림이 없어졌다고 판단하는 판단수단으로서 기능시키는 것을 특징으로 한다.
본 발명에 따르면, 손떨림이나 화상흔들림이 없는 타이밍에서 확실하게 촬영을 실행할 수 있다.
이하, 본 발명의 실시형태에 대해, 도면을 참조하면서 설명한다.
도 1은 본 실시형태에 관한 촬상장치(디지털카메라(1))의 외관 구성을 나타내는 도면으로서, 도 1a는 그 정면도, 도 1b는 그 배면도를 나타내고 있다. 촬상장치(디지털카메라(1))는 도 1에 나타내는 바와 같이, 그 정면측에 스트로보 발광부(11)와 촬상렌즈(렌즈군)(12)를 구비하고 있다.
또, 촬상장치(디지털카메라(1))의 배면에는 도 1b에 나타내는 바와 같이, 모드다이얼(13)과, 액정모니터화면(14)과, 커서키(15)와, SET키(16)와, 망원 촬영시에 이용되는 줌키(Wide버튼(17-1), Tele버튼(17-2))(17)와, 촬영모드 선택키(20) 등이 설치되어 있다.
또한, 촬상장치(디지털카메라(1))의 상면에는 도 1a 및 도 1b에 나타내는 바와 같이, 셔터키(18)와, 전원버튼(19) 등이 설치되고, 도시하지 않은 촬상장치(디지털카메라(1))의 측면에는 퍼스널컴퓨터나 모뎀 등의 외부장치를 USB 케이블로 접속하는 경우에 이용되는 USB(Universal Serial Bus) 단자의 접속부나, 메모리카드 등을 삽입하는 슬롯 등이 설치되어 있다.
도 2는 본 실시형태에 관한 촬상장치(디지털카메라(1))의 내부의 전기적 구성을 나타내는 도면이다.
본 실시형태에 관한 촬상장치는 도 2에 나타내는 바와 같이, 촬상렌즈(22)와, 렌즈구동블록(23)과, 조리개겸용 셔터(24)와, CCD 촬상소자(21)와, TG(Timing Generator)(26)와, 유닛회로(CDS/AGC/AD)(27)와, DRAM(Dynamic Random Access Memory)(28)과, 메모리(29)와, CPU(Central Processing unit)(30)와, 화상표시부(31)와, 키입력부(32)와, 외부통신 I/F(Interface)(33)와, 스트로보 구동부(34)와, 스트로보 발광부(35)와, 카드 I/F(Interface)(36)를 구비하고 있고, 카드 I/F(36)에는 도시하지 않은 디지털카메라(1) 본체의 카드슬롯에 메모리카드(40)가 착탈 가능하게 접속된다.
촬상렌즈(22)는 포커스렌즈, 줌렌즈를 포함하며, 렌즈구동블록(23)이 접속되어 있다. 이 렌즈구동블록(23)은 도시하지 않은 포커스렌즈, 줌렌즈를 각각 촬상면과 평행한 광축방향으로 구동시키는 포커스모터 및 줌모터와, CPU(30)로부터의 제어신호에 따라서 포커스모터 및 줌모터를 각각 구동시키는 포커스 드라이버 및 줌모터 드라이버로 구성되어 있다.
조리개겸용 셔터(24)는 도시하지 않은 구동회로를 포함하며, 이 구동회로는 CPU(30)로부터 보내져 오는 제어신호에 따라 조리개겸용 셔터를 동작시킨다. 또한, 이 조리개겸용 셔터(24)는 조리개와 셔터로서 기능한다.
CCD 촬상소자(21)는 촬상렌즈(22) 및 조리개겸용 셔터(24)를 통해 투영된 피사체의 광을 전기신호로 변환하고, 촬상신호로서 유닛회로(CDS/AGC/AD)(27)로 출력한다. 또, CCD 촬상소자(21)는 TG(26)에 의해서 생성된 소정 주파수의 타이밍신호에 따라 구동한다. 또한, TG(26)에는 유닛회로(CDS/AGC/AD)(27)가 접속되어 있다.
유닛회로(CDS/AGC/AD)(27)는 CCD 촬상소자(21)로부터 출력되는 촬상신호를 상관 이중 샘플링하여 유지하는 CDS(Correlated Double Sampling) 회로, 그 샘플링 후의 촬상신호의 자동이득 조정을 실행하는 AGC(Automatic Gain Control) 회로, 그 자동이득 조정 후의 아날로그의 촬상신호를 디지털신호로 변환하는 A/D 변환기로 구성되어 있고, CCD 촬상소자(21)의 촬상신호는 유닛회로(CDS/AGC/AD)(27)를 경유하여 디지털신호로서 CPU(30)로 보내진다.
CPU(30)는 유닛회로(CDS/AGC/AD)(27)로부터 보내져 온 화상데이터의 화상처리(화소보간처리, 감마보정, 휘도색차신호의 생성, 화이트밸런스처리, 노출보정처리 등), 흔들림보정처리, 화상데이터의 압축·신장(예를 들면, JPEG 형식의 압축·신장)의 처리 등을 실행하는 기능을 갖는 동시에, 디지털카메라(1)의 각 부를 제어 프로그램에 따라서 제어하는 원칩 마이크로컴퓨터이다.
DRAM(28)은 CCD 촬상소자(21)에 의해서 촬상된 후, CPU(30)로 보내져 온 화상데이터를 일시 기억하는 버퍼메모리로서 사용되는 동시에, CPU(30)의 워킹메모리 로서도 사용된다.
화상표시부(31)는 컬러 LCD(Liquid Crystal Display)와 그 구동회로를 포함하며, 촬영대기 상태에 있을 때에는 CCD 촬상소자(21)에 의해서 촬상된 피사체를 스루화상(through image)으로서 표시하고, 기록화상의 재생시에는 메모리카드(40)로부터 읽어내어지며, 신장된 기록화상을 표시시킨다.
키입력부(32)는 모드다이얼(13), 커서키(15), SET키(16), 줌키(17), 셔터키(18), 전원버튼(19), 촬영모드 선택키(20)(도 1a 및 도 1b 참조) 등의 복수의 키를 포함하며, 유저(사용자)의 키 조작에 따른 조작신호를 CPU(30)로 출력한다.
외부통신 I/F(33)는 외부의 전자기기(예를 들면, 퍼스널 컴퓨터)와의 사이에서 데이터의 입출력을 실행하는 것이며, USB 규격, IEEE1394 규격 등의 각종 인터페이스 규격에 의한 입출력을 가능하게 하고 있으며, 이들 규격에 의한 데이터 입출력이 가능한 퍼스널컴퓨터 등의 전자기기와 접속 가능하게 되어 있다. 또, IrDA 규격에 의한 적외선통신, Bluetooth 규격에 의한 무선통신에 의해 외부의 전자기기와 화상데이터의 입출력을 가능하게 하고 있는 것이어도 좋다.
스트로보 구동부(34)는 CPU(30)의 제어신호에 따라서, 스트로보 발광부(35)를 섬광 구동시키고, 스트로보 발광부(35)는 이것에 의해 스트로보를 섬광시킨다. CPU(30)는 도시하지 않은 측광회로에 의해, 촬영 장면(scene)이 어두운지의 여부를 판단하고, 촬영 장면이 어둡다고 판단하고 또한 촬영을 실행하는 경우(셔터키의 누름시)에는 스트로보 구동부(34)에 제어신호를 출력한다.
메모리(29)는 CPU(30)에 의한 디지털카메라(1)의 각 부의 제어에 필요한 프 로그램 및 각 부의 제어에 필요한 데이터를 기록 저장하고 있으며, CPU(30)는 이 프로그램에 따라서 처리를 실행한다.
상술한 촬상장치(디지털카메라(1))에 있어서, 셔터키(18)(키입력부(32)에 포함됨)가 조작되면, 촬상렌즈(22) 및 조리개겸용 셔터(24)를 통해 투영된 피사체상광이 CCD 촬상소자(21)에 받아들여지고, CCD 촬상소자(21)에서 이 화상이 전기신호로 변환되며, 촬상신호로서 유닛회로(CDS/AGC/AD)(27)로 출력된다. 그리고, CPU(30)에 의해, 유닛회로(CDS/AGC/AD)(27)로부터 보내져 온 화상데이터에 대해 화상처리가 실행되고, JPEG 등에 의해 압축되어, 메모리카드(40)에 기록된다.
여기서, 촬영자가 촬상장치에서 촬영을 실행할 때에, 카메라가 움직여 버리거나, 피사체가 움직이면, 화상흔들림에 의해 촬영화상에 뿌예짐이 생겨 버린다. 그래서, 본 실시형태에서는 손떨림이나 피사체흔들림을 검출하고, 손떨림이나 피사체흔들림이 집속하면, 촬영기록을 실행할 수 있도록 하고 있다. 이와 같이, 손떨림이나 피사체흔들림이 집속하고 나서, 촬영기록을 실행할 수 있도록 하기 위한 동작에 대해, 다음에 설명한다.
도 3은 본 실시형태에 있어서, 손떨림이나 피사체흔들림을 검출하고, 촬영 기록의 타이밍을 제어하기 위한 기능을 실현하기 위한 구성을 나타내는 기능블럭도이다. 또한, 이 기능 블럭도는 CPU(30)를 사용하여 소프트웨어에 의해 실현하는 것이 가능하다.
도 3에 나타내는 바와 같이, 본 실시형태에 있어서는 제 1 화상흔들림 검출부(101)와, 제 2 화상흔들림 검출부(102)와, 판단부(103)가 설치되어 있다. 제 1 화상흔들림 검출부(101) 및 제 2 화상흔들림 검출부(102)는 모두 화상데이터로부터 화상흔들림을 검출하는 것이지만, 검출속도나 검출정밀도가 다르다. 또한, 본 실시형태에서는 화상프레임내의 고주파성분을 검출하는 고주파검출부(105)가 설치되어 있다. 또한, 고주파검출부(105)의 기능에 대해서는 후에 설명한다.
제 1 화상흔들림 검출부(101)는 촬영의 초기단계에서, 대략의 화상흔들림의 발생의 정도를 검출하는 것이다. 즉, 촬영을 실행할 때에, 촬영자는 디지털카메라(1)를 크게 움직여서 화각을 정하고, 화각이 정해지면, 디지털카메라(1)를 정지시키도록 하여 촬영을 실행한다. 따라서, 촬영의 초기단계에서는 대략의 화상흔들림을 검출하고, 디지털카메라(1)가 어느 정도 정지시킨 상태로 된 것을 검출할 필요가 있다. 제 1 화상흔들림 검출부(101)는 이러한 촬영의 초기단계의 손떨림을 검출하고 있다. 제 1 화상흔들림 검출부(101)로서는 높은 검출 정밀도는 요구되지 않지만, 큰 화상흔들림을 고속으로 검출할 수 있는 것이 요구된다. 즉, 카메라나 피사체의 움직임이 크거나, 피사체에 포커스가 맞고 있지 않은 것에 의해 촬상된 화상의 흔들림이나 뿌예짐이 큰 상태에 있어서 신속하게 화상흔들림을 검출할 필요가 있다.
이에 대해, 제 2 화상흔들림 검출부(102)는 어느 정도 손떨림이 집속한 후에, 미세한 화상흔들림을 검출하는 것이다. 즉, 촬영자는 화각을 정한 후에, 디지털카메라(1)를 정지시켜 촬영을 실행한다. 그러나, 여기서, 디지털카메라(1)가 약간 움직여 버리거나, 피사체가 움직여 버리는 경우가 있다. 제 2 화상흔들림 검출부(102)는 촬영자가 화각을 정한 후에 디지털카메라(1)를 정지시키고 있는 동안에, 손떨림이나 화상흔들림의 발생의 정도를 높은 정밀도로 검출하는 것이다. 제 2 화상흔들림 검출부(102)로서는 대략의 손떨림을 검출할 수 있는 것은 요구되지 않지만, 정밀도가 높은 검출이 요구된다. 즉, 카메라나 피사체의 움직임이 작아지고, 피사체에 포커스가 맞는 것에 의해, 촬상된 화상의 흔들림이나 뿌예짐이 적은 상태에 있어서 정밀도가 높은 화상흔들림 검출이 필요하게 된다.
판단부(103)는 처음에, 제 1 화상흔들림 검출부(101)로부터의 검출출력에 의거하여 대략의 화상흔들림의 정도를 판단하고, 어느 정도 화상흔들림이 집속했다고 판단된 후에, 제 2 화상흔들림 검출부(102)로부터의 검출출력에 의해, 더욱 상세하게 화상흔들림의 정도를 판단하고, 화상흔들림이 없다고 판단되면, 손떨림이나 화상흔들림이 없는 것을 나타내는 신호를 촬영기록 처리부(104)로 보내고, 촬영기록을 실행하도록 하고 있다.
이와 같이, 본 실시형태에서는 포커스가 맞고 있지 않은 상태에 있어서 대략의 화상흔들림을 고속으로 검출할 수 있는 제 1 화상흔들림 검출부(101)와, 포커스가 맞은 상태에 있어서 정밀도가 높은 화상흔들림을 검출할 수 있는 제 2 화상흔들림 검출부(102)의 2개의 화상흔들림 검출부가 설치되어 있으며, 처음에, 제 1 화상흔들림 검출부(101)로부터의 검출출력에 의거하여 대략의 화상흔들림의 정도를 판단하고, 어느 정도 화상흔들림이 집속했다고 판단된 후에, 제 2 화상흔들림 검출부(102)로부터의 검출출력에 의해, 더욱 상세하게 화상흔들림의 정도를 판단하고, 화상흔들림이 없다고 판단되면, 기록촬영을 실행하도록 하고 있다. 이것에 의해, 손떨림이나 화상흔들림이 없는 타이밍에서 확실하게 촬영을 실행할 수 있다.
또한, 촬영기록 처리부(104)는 판단부(103)로부터 손떨림이나 화상흔들림이 없는 것을 나타내는 신호가 보내져 오면, 자동적으로 기록촬영을 실행하도록 제어해도 좋다. 또, 판단부(103)로부터 손떨림이나 화상흔들림이 없는 것을 나타내는 신호가 보내져 오지 않으면, 촬영을 금지하도록 제어해도 좋다. 또, 판단부(103)로부터 손떨림이나 화상흔들림이 없는 것을 나타내는 신호에 의해 촬영타이밍을 판단하고, 촬영 지시시에 경고를 발생시키도록 해도 좋다.
다음에, 제 1 및 제 2 화상흔들림 검출부(101 및 102)에 대해 설명한다.
제 1 화상흔들림 검출부(101)는 상술한 바와 같이, 대략의 화상흔들림을 검출하여, 디지털카메라(1)가 정지된 상태가 된 것을 판단하는 것이다. 디지털카메라(1)가 정지된 상태는 화각 전체의 움직임이 작아진 상태이며, 이것은 글로벌 움직임벡터에 의해 구할 수 있다.
즉, 화상프레임 Fn-1 내의 임의의 1점에 주목하고, 그 점이 다음의 화상프레임 Fn의 어디로 이동할지를 구하면, 그 점에 대한 움직임벡터를 구할 수 있다. 그러나, 피사체에는 배경부분과 움직이고 있는 부분이 있으며, 움직이고 있는 부분의 움직임벡터에서는 전체의 움직임을 판단할 수 없다. 예를 들면, 손떨림방향과 역방향으로 피사체가 움직인 바와 같은 경우에는 손떨림이 생기고 있음에도 불구하고, 움직임벡터는 매우 작은 값으로 되어 버리는 것이 고려되기 때문이다.
그래서, 본 실시형태에서는 화상프레임으로부터 N개(N은 충분히 큰 정수)의 특징점을 추출하고, N개의 움직임벡터를 구하며, 서포트수를 계산하고, 가장 서포트수가 큰 움직임벡터를 글로벌 움직임벡터로 하고, 이 글로벌 움직임벡터가 작아 지면, 디지털카메라(1)가 정지된 상태로 되었다고 판단하도록 하고 있다.
여기서, 서포트수는 1개의 움직임벡터에 대해, 그 움직임벡터와 마찬가지의 움직임벡터의 수가 몇 개 있는지를 나타내는 것이다. 즉, 임의의 1개의 움직임벡터를 MVa로 하고, 나머지 움직임벡터를 MVi(i는 0∼N의 정수)로 하고, D를 정수(定數)로 하면, 서포트수는 |MVa-MVi|<D를 만족시키는 개수로서 계산할 수 있다.
배경 부분의 움직임벡터는 전체의 움직임을 반영하고 있으므로, 마찬가지의 값으로 되는 움직임벡터가 많이 있으며, 서포트수가 커진다. 이에 대해, 움직이고 있는 피사체 부분의 움직임벡터는 전체의 움직임과는 다르므로, 서포트수가 작아진다. 이것으로부터, 서포트수가 큰 움직임벡터는 글로벌 움직임벡터를 나타내게 된다.
한편, 제 2 화상흔들림 검출부(102)는 전술한 바와 같이, 어느 정도 손떨림이 집속한 후에, 미세한 화상흔들림을 검출하는 것이다. 이러한 미세한 화상흔들림은 화상프레임간의 차분값에 의해 검출할 수 있다.
즉, 화상프레임 Fn의 임의의 좌표를 Fn(x, y)로 하면, 화상프레임간의 차분값은 Σ|Fn(x,y) - Fn-1(x,y)|(Σ는 전체화소의 누적값)으로서 계산할 수 있다. 화상흔들림이 발생하면, 이 화상프레임간의 차분값이 커지고, 화상흔들림이 없어지면, 화상프레임간의 차분값은 0에 가까운 값이 된다.
그래서, 본 실시형태에서는 화상프레임 Fn과 화상프레임 Fn-1의 화상프레임간의 차분값을 구하고, 화상프레임간의 차분값이 작아지면, 화상흔들림이 없는 상태라고 판단하도록 하고 있다.
그러나, 실제는 랜덤노이즈의 영향 등에 의해, 화상프레임간의 차분값이 0이 되는 일은 없다. 또, 화상프레임간의 차분값은 촬영환경이나 노광조건, 게인(gain) 등에 의해 변화하므로, 임계값을 일률적으로 결정할 수는 없다. 그래서, 본 실시형태에서는 초기에 판단된 화상프레임간의 차분값이 서서히 작아져 가고, 어느 정도 작아지면, 화상흔들림이 없다고 판단하도록 하고 있다.
즉, 초기단계의 최초의 화상프레임에서, 화상프레임간의 차분값을 구하고, 이 화상프레임간의 차분값을 기준값 A로서 등록한다. 그리고, 그 이후의 화상프레임에서 검출된 화상프레임간의 차분값과 기준값 A를 비교해 간다. 여기서, 이후의 화상프레임간의 차분값이 기준값 A보다 작아진 경우, 그 화상프레임에서는 기준값 A를 구했을 때의 화상프레임보다도 화상흔들림이 작아졌다고 판단할 수 있다.
이 경우, 그 때 구해진 화상프레임간의 차분값에 의해 기준값 A를 갱신하고, 마찬가지의 처리를 복수회 반복해 간다. 이것에 의해, 화상프레임간의 차분값이 서서히 작아지고, 어느 정도 작아진 것을 판단할 수 있다. 그리고, 기준값 A의 갱신횟수가 소정 이상이 되면, 화상흔들림이 적은 상태라고 판단한다.
그런데, 이 조건만으로는 피사체흔들림의 크기를 정확하게 평가할 수 없는 경우가 있다. 예를 들면, 아직 피사체에 포커스가 맞고 있지 않거나, 화상프레임간에서 피사체가 크게 움직였기 때문에 뿌예짐이나 흔들림이 생긴 화상이나, 균일하게 캄캄한 화상 등에서는 화상프레임간의 차분값의 신뢰성은 낮다.
그래서, 본 실시형태에서는 화상프레임내의 고주파성분을 검출하는 고주파 검출부(105)가 설치되어 있다. 즉, 고주파 검출부(105)에 의해, 화상프레임내의 고 주파성분이 검출되고, 고주파성분이 기준값보다 작은 화상프레임은 화상프레임간의 차분값에 의한 화상흔들림의 평가대상에서 제외되도록 되어 있다. 이것에 의해, 아직 피사체에 포커스가 맞고 있지 않았거나, 카메라가 크게 움직이고 있는 바와 같은 촬영의 준비단계에 있어서, 화상흔들림이 집속했다고 잘못 검출되어 버리는 것을 방지하도록 하고 있다.
즉, 초기단계에서 최초의 화상프레임으로부터 고주파성분을 계산하고, 그 값에 따라 고주파성분의 기준값 B를 설정한다. 다음회 이후, 화상프레임내에서 고주파성분을 구하고, 구해진 고주파성분과 기준값 B를 비교해 간다. 그리고, 구해진 고주파성분이 기준값 B보다 작은 화상프레임에서는 화면이 뿌예져 있다고 하여, 화상프레임간의 차분값에 의한 화상흔들림의 평가의 대상에서 제외하도록 한다.
이와 같이, 제 2 화상흔들림 검출부(102)는 화상프레임간의 차분값과 화상프레임내의 고주파성분의 2개를 이용하여, 화상흔들림을 판단하고 있다. 즉, 전술한 바와 같이 갱신되어 가는 화상프레임간의 차분값의 기준값을 A로 하고, 초기단계에서 설정되는 고주파성분의 기준값을 B로 했을 때에, 이하의 2가지의 조건을 양쪽 모두 만족시켰는지 어떤지를 판단하고 있다.
조건(1):화상프레임간의 차분값이 기준값 A보다 작다.
조건(2):화상프레임내의 고주파성분이 기준값 B보다 크다.
도 4는 상술한 처리를 실행하기 위한 흐름도이다.
도 4에 있어서, 촬상된 1화상프레임의 화상이 출력되고(스텝 S1), 글로벌 움직임벡터(GMV)의 검출처리가 실행된다(스텝 S2). 글로벌 움직임벡터(GMV)의 검출처 리에서는 N개의 특징점을 추출하고, N개의 움직임벡터를 구하며, 서포트수를 계산하여, 가장 서포트수가 높은 움직임벡터를 글로벌 움직임벡터(GMV)로 하는 처리가 실행된다. 또한, 글로벌 움직임벡터(GMV)의 검출처리 흐름에 대해서는 후에 설명한다.
글로벌 움직임벡터(GMV)가 검출되면, 이 글로벌 움직임벡터(GMV)를 평가하여, 글로벌 움직임벡터(GMV)가 충분히 작은지 어떤지가 판단된다(스텝 S3).
촬영자가 화각을 정하고 있는 바와 같은 경우에는 디지털카메라(1)가 정지되어 있지 않기 때문에, 글로벌 움직임벡터(GMV)는 큰 값이 된다. 즉, 글로벌 움직임벡터(GMV)가 크면(스텝 S3의 「No」의 경우), 다음의 화상프레임으로 처리가 이행되고(스텝 S4), 스텝 S2로 되돌아가, 글로벌 움직임벡터(GMV)의 검출처리가 계속된다.
촬영자가 화각을 정하고, 디지털카메라(1)를 정지시키면, 글로벌 움직임벡터(GMV)는 작은 값이 된다. 즉, 스텝 S3에서 글로벌 움직임벡터(GMV)가 충분히 작으면(스텝 S3의 「Yes」의 경우), 화상프레임간의 차분값이 구해지고, 이 화상프레임간의 차분값이 기준값 A로 된다(스텝 S5). 화상프레임간의 차분값은 전술한 바와 같이, Σ|Fn(x,y) - Fn-1(x,y)|로서 계산된다. 그리고, 화상프레임내의 고주파성분이 구해지고, 이 화상프레임내의 고주파성분이 기준값 B로 된다(스텝 S6).
다음의 화상프레임의 화상이 출력되고(스텝 S7), 그 화상프레임에서 화상프레임간의 차분값이 구해지고(스텝 S8), 화상프레임내의 고주파성분이 구해진다(스텝 S9). 그리고, 화상프레임간의 차분값이 기준값 A보다 작고 또한 화상프레임내의 고주파성분이 기준값 B보다 큰지 어떤지가 판단된다(스텝 S10).
화상프레임간의 차분값이 기준값 A보다 크거나, 또는 화상프레임내의 고주파성분이 기준값 B보다 작은 경우(스텝 S10의 「No」의 경우)에는 화상프레임간의 차분값이 허용값보다 큰지 어떤지가 판단되고(스텝 S11), 화상프레임간의 차분값이 허용값보다 크지 않으면(스텝 S11의 「No」의 경우), 스텝 S7로 되돌아간다.
손떨림이 집속하지 않은 경우나 피사체의 화상흔들림이 생기고 있는 바와 같은 경우에는 화상프레임간의 차분값이 기준값 A보다 커진다. 또, 화면이 뿌예진 경우에는 화상프레임내의 고주파성분이 기준값 B보다 작아진다. 따라서, 이들 경우에는 스텝 S10의 판단결과가 「No」가 되고, 스텝 S7∼스텝 S11의 처리가 반복 실행된다.
또, 촬영자가 한번 정한 화각을 벗어나, 디지털카메라(1)를 크게 움직이는 바와 같은 경우가 있다. 이 경우에는 스텝 S11에서, 화상프레임간의 차분값이 허용값보다 크다고 판단되게 된다. 따라서, 이러한 경우(스텝 S11의 「Yes」의 경우)에는 스텝 S4에서, 다음의 화상프레임으로 처리가 이행되고, 스텝 S2로 되돌아간다.
여기서, 기준값 A에 대해 설명한다. 피사체를 프레임내에 수납하기 위해 카메라를 움직이고 있는 동안에는 화상이 일정방향으로 계속해서 움직이므로, 화상프레임간의 차분값이 큰 상태가 연속되지만, 피사체가 프레임내에 수납된 후에는 화상은 상하 또는 좌우로의 진동을 반복하게 되므로, 화상프레임간의 차분값이 큰 상태와 작은 상태가 반복되게 된다. 기준값 A는 차분값이 큰 상태와 작은 상태가 반복되고 있는 상황에서, 과거에 가장 작았을 때의 차분값을 유지하는 것이다.
손떨림이나 화상흔들림이 서서히 집속하고 있는 것이면, 수 회에 1회는 화상프레임간의 차분값이 기준값 A보다 작아지는 경우가 있다. 또, 화면이 뿌예져 있지 않으면, 화상프레임내의 고주파성분이 기준값 B보다 커진다. 따라서, 이들 경우에는 스텝 S10의 판단결과가 「Yes」가 된다.
스텝 S10에서, 화상프레임간의 차분값이 기준값 A보다 작고 또한 화상프레임내의 고주파성분이 기준값 B보다 큰 경우(스텝 S10의 「Yes」의 경우)에는 과거에 가장 작았을 때의 차분값인 기준값 A가 금회의 화상프레임간의 차분값에 의해 갱신된다(스텝 S12). 그리고, 갱신횟수가 소정 횟수에 도달했는지 어떤지가 판단되고(스텝 S13), 갱신횟수가 소정 횟수에 도달해 있지 않으면(스텝 S13의 「No」의 경우), 스텝 S7로 되돌아간다.
이와 같이, 최초의 화상프레임간의 차분값을 기준값 A로 하고, 이후의 화상프레임간의 차분값과 기준값 A를 비교해 가고, 이후의 화상프레임간의 차분값이 기준값 A보다 작아진 경우, 그 때 구해진 화상프레임간의 차분값에 의해 기준값 A를 갱신하고, 그 이후, 마찬가지의 처리를 복수회 반복해 가도록 한다. 그리고, 이러한 동작에 의해, 화상프레임간의 차분값이 커지거나 작아지는 것을 반복하면서 서서히 작아져 가는 바와 같은 경우에 있어서, 그 흔들림폭이 작아진 것을 검출할 수 있다.
스텝 S13에서, 갱신횟수가 소정 횟수에 도달한 경우(스텝 S13의 「Yes」의 경우)에는 손떨림이나 피사체 흔들림이 집속했다고 판단된다(스텝 S14).
도 5는 도 4에 있어서의 스텝 S2의 글로벌 움직임벡터의 검출 처리를 나타내 는 흐름도이다.
도 5에 있어서, 화상프레임 Fn-1로부터 N개의 특징점이 추출되고(스텝 S101), 그것에 연속하는 화상프레임 Fn과 비교하여, 각 특징점이 어디로 이동했는지가 추적된다(스텝 S102). 이것에 의해, 움직임벡터가 구해진다(스텝 S103).
N회의 처리가 반복되었는지 어떤지가 판단되고(스텝 S104), N회 반복해 있지 않으면(스텝 S104의 No의 경우), 다음의 위치의 특징점으로 처리가 이행되고(스텝 S105), 스텝 S101로 되돌려져, 마찬가지의 처리가 반복된다. 이것에 의해, N개 각 점의 움직임벡터가 구해진다. N개의 모든 블록에 대해 움직임벡터가 구해지면, 스텝 S104에서, N회의 처리가 반복되었다고 판단된다.
스텝 S104에서, N회의 처리가 반복되었다고 판단된 경우(스텝 S104의 「Yes」의 경우), 서포트수의 기준값 C가 초기값(예를 들면 0)으로 설정된다(스텝 S106). 그리고, 1개의 움직임벡터에 대한 서포트수가 계산된다(스텝 S107). 여기서, 전술한 바와 같이, 서포트수는 |MVa-MVi|<D를 만족시키는 개수로서 계산할 수 있다.
서포트수가 구해지면, 구해진 서포트수가 서포트수의 기준값 C보다 큰지 어떤지가 판단된다(스텝 S108).
스텝 S108에서, 금회 구해진 서포트수가 기준값 C보다 크면(스텝 S108에서 「Yes」의 경우), 서포트수의 기준값 C가 금회의 서포트수에 의해 갱신되고(스텝 S109), N회의 처리가 반복되었는지 어떤지가 판단된다(스텝 S110). 스텝 S108에서, 서포트수가 기준값 C보다 작으면(스텝 S108에서 「No」의 경우), 서포트수의 기준 값 C는 그대이고, N회의 처리가 반복되었는지 어떤지가 판단된다(스텝 S110).
스텝 S110에서, N회의 처리가 반복되어 있지 않으면(스텝 S110에서 「No」의 경우), 다음의 위치의 움직임벡터로 처리가 이행되고(스텝 S111), 스텝 S107로 되돌려져, 마찬가지의 처리가 반복된다. 이들 처리가 반복됨으로써, 서포트수의 기준값 C가 지금까지의 서포트수의 최대값으로 갱신되어 간다.
스텝 S110에서, N회의 처리가 반복되었다고 판단되면(스텝 S110에서 「Yes」의 경우), 서포트수의 기준값 C로부터 지금까지의 서포트수의 최대값이 판단되고, 서포트수가 최대가 되는 움직임벡터로부터 글로벌 움직임벡터(GMV)가 구해진다(스텝 S112).
이상 설명한 바와 같이, 본 실시형태에서는 처음에, 글로벌 움직임벡터를 이용하여 대략의 화상흔들림의 정도를 판단하고, 어느 정도 화상흔들림이 집속했다고 판단된 후에, 화상프레임간의 차분값을 이용하여 더욱 상세하게 화상흔들림의 정도를 판단하고, 화상흔들림이 없다고 판단되면, 기록촬영을 실행하도록 하고 있다. 이것에 의해, 손떨림이나 화상흔들림이 없는 타이밍에서, 확실하게 촬영을 실행할 수 있다.
또한, 본 실시형태에서는 움직임벡터의 검출을 실행하고 있지만, MPEG 등의 동화상의 리얼타임 압축기록수단을 구비한 디지털카메라 등에 있어서는 동화상 압축시에 움직임벡터를 검출하고 있으므로, 이 동화상 압축시에 검출된 움직임벡터를 이용하여 화상흔들림의 검출을 실행하도록 해도 좋고, 이 경우에는 전용의 움직임벡터 검출처리를 실행할 필요가 없어지므로, 처리효율이나 처리속도를 향상시킬 수 있다.
또, 본 실시형태에서는 화상의 고주파성분을 검출하고 있지만, 오토포커스(AF) 기능을 구비한 디지털카메라 등에 있어서는 오토포커스 처리시에 검출되는 콘트라스트 정보를 이용하여 고주파성분을 검출하도록 해도 좋다. 또, 오토포커스의 동작중에 제 1 화상흔들림 검출부에 의한 화상흔들림 검출을 실행하고, 오토포커스의 동작이 완료된 후에 제 2 화상흔들림 검출부에 의한 화상흔들림 검출을 실행하도록 해도 좋다.
또, 자동노출(AE) 기능을 구비한 디지털카메라 등에 있어서는 자동노출의 동작중에 제 1 화상흔들림 검출부에 의한 화상흔들림 검출을 실행하고, 자동노출의 동작이 완료된 후에 제 2 화상흔들림 검출부에 의한 화상흔들림 검출을 실행하도록 해도 좋다.
또, 소스로 되는 프로그램은 플렉시블디스크, 광자기디스크, ROM, CD-ROM 등의 휴대가능한 매체 등의 컴퓨터 판독 가능한 기록매체에 의해 제공된다. 또, 소스로 되는 프로그램은 컴퓨터시스템으로부터, 전송매체를 통해 혹은 전송매체중의 전송파에 의해 다른 컴퓨터시스템으로 전송되어도 좋다. 여기서, 프로그램을 전송하는 「전송매체」는 인터넷 등의 네트워크(통신망)나 전화회선 등의 통신회선(통신선)과 같이 정보를 전송하는 기능을 갖는 매체를 말한다. 또, 소스로 되는 프로그램은 전술한 기능의 일부를 실현하기 위한 것이어도 좋다. 또한, 전술한 기능을 컴퓨터시스템에 이미 기록되어 있는 프로그램과의 조합으로 실현할 수 있는 것, 소위 차분파일(차분프로그램)이어도 좋다.
또, 본 실시형태에 있어서의 구성요소는 적절히 기존의 구성요소 등과의 치환이 가능하며, 또, 다른 기존의 구성요소와의 조합을 포함하는 각종 변경이 가능하다. 따라서, 본 실시형태의 기재로, 특허청구의 범위에 기재된 발명의 내용을 한정하는 것은 아니다.
도 1a는 본 발명에 관한 촬상장치의 외관 구성도(정면도).
도 1b는 본 발명에 관한 촬상장치의 외관 구성도(배면도).
도 2는 본 발명에 관한 촬상장치의 전기적 구성도.
도 3은 본 발명에 관한 촬상장치의 설명에 이용하는 기능 블럭도.
도 4는 본 발명에 관한 촬상장치의 설명에 이용하는 흐름도(전체 처리).
도 5는 본 발명에 관한 촬상장치의 설명에 이용하는 흐름도(움직임벡터 검출처리).

Claims (26)

  1. 화상흔들림의 검출기능을 구비한 촬상장치로서,
    화상흔들림을 검출하는 제 1 화상흔들림 검출수단과,
    상기 제 1 화상흔들림 검출수단과는 다른 방법으로 화상흔들림을 검출하는 제 2 화상흔들림 검출수단과,
    상기 제 1 화상흔들림 검출수단에 의해 검출되는 화상흔들림이 집속했다고 판단된 후, 또한 상기 제 2 화상흔들림 검출수단에 의해 검출되는 화상흔들림이 집속했다고 판단된 경우에, 화상흔들림이 없어졌다고 판단하는 판단수단을 구비하는 것을 특징으로 하는 촬상장치.
  2. 제 1 항에 있어서,
    상기 제 2 화상흔들림 검출수단은 상기 제 1 화상흔들림 검출수단에 의해 검출되는 화상흔들림이 집속했다고 판단된 후에, 상기 제 1 화상흔들림 검출수단과는 다른 방법에 의한 화상흔들림의 검출처리를 개시하는 것을 특징으로 하는 촬상장치.
  3. 제 1 항에 있어서,
    상기 판단수단은 상기 제 1 화상흔들림 검출수단에 의해 검출되는 화상흔들림이 집속했다고 판단되기 전의 단계에서는 상기 제 2 화상흔들림 검출수단에 의해 검출되는 화상흔들림이 집속했다고 판단되는 상황이어도, 화상흔들림이 없어졌다고는 판단하지 않는 것을 특징으로 하는 촬상장치.
  4. 제 1 항에 있어서,
    상기 판단수단에 의해 화상흔들림이 없어졌다고 판단된 경우, 자동적으로 촬영기록을 실행하는 것을 특징으로 하는 촬상장치.
  5. 제 1 항에 있어서,
    상기 판단수단에 의해 화상흔들림이 있다고 판단되고 있는 동안에는 촬영기록을 금지하거나 또는 촬영지시시에 경고하는 것을 특징으로 하는 촬상장치.
  6. 제 1 항에 있어서,
    상기 제 2 화상흔들림 검출수단은 상기 제 1 화상흔들림 검출수단보다 화상흔들림 검출의 정밀도가 높은 것을 특징으로 하는 촬상장치.
  7. 제 1 항에 있어서,
    상기 제 2 화상흔들림 검출수단은 피사체에 포커스가 맞고 있지 않은 상태에서는 화상흔들림 검출의 정밀도가 저하하고, 또한 그 정밀도의 저하의 정도는 상기 제 1 화상흔들림 검출수단에 있어서의 피사체에 포커스가 맞고 있지 않은 상태에서의 정밀도의 저하의 정도보다 큰 것을 특징으로 하는 촬상장치.
  8. 제 1 항에 있어서,
    상기 제 2 화상흔들림 검출수단은 피사체 또는 촬상장치의 움직임이 큰 상태에서는 화상흔들림 검출의 정밀도가 저하하고, 또한 그 정밀도의 저하의 정도는 상기 제 1 화상흔들림 검출수단에 있어서의 피사체 또는 촬상장치의 움직임이 큰 상태에서의 정밀도의 저하의 정도보다 큰 것을 특징으로 하는 촬상장치.
  9. 제 1 항에 있어서,
    상기 제 1 화상흔들림 검출수단은 손떨림에 기인하는 화상흔들림 성분과 피사체의 움직임에 기인하는 화상흔들림 성분 중, 손떨림에 기인하는 화상흔들림 성분을 검출하고,
    상기 제 2 화상흔들림 검출수단은 손떨림에 기인하는 화상흔들림 성분과 피사체의 움직임에 기인하는 화상흔들림 성분을 구별하지 않고 검출하는 것을 특징으로 하는 촬상장치.
  10. 제 1 항에 있어서,
    상기 제 1 화상흔들림 검출수단은 연속해서 얻어지는 복수의 화상프레임으로부터 검출되는 움직임벡터에 의해 화상흔들림을 검출하는 것을 특징으로 하는 촬상장치.
  11. 제 10 항에 있어서, 
    상기 움직임벡터는 촬상해서 얻어지는 화상 전체의 움직임벡터인 것을 특징으로 하는 촬상장치.
  12. 제 1 항에 있어서,
    상기 제 2 화상흔들림 검출수단은 연속하는 2개의 화상프레임간의 차분값에 의해 화상흔들림을 검출하는 것을 특징으로 하는 촬상장치.
  13. 제 12 항에 있어서,
    상기 제 2 화상흔들림 검출수단은 각 프레임의 화상데이터를 화소마다 비교한 차분값에 의해 화상흔들림을 검출하는 것을 특징으로 하는 촬상장치.
  14. 제 12 항에 있어서,
    상기 판단수단은 상기 제 2 화상흔들림 검출수단에 의해 연속적으로 검출되는 상기 차분값 중에서 가장 작은 차분값을 유지하고, 새로이 검출되는 차분값이 유지되어 있는 차분값보다 작아졌는지 아닌지에 의해 화상흔들림의 유무를 판단하는 것을 특징으로 하는 촬상장치.
  15. 제 14 항에 있어서,
    상기 판단수단은 새로이 검출되는 차분값이 유지되어 있는 차분값보다 작아 진 경우에, 유지되어 있는 차분값을 새로이 검출된 차분값으로 갱신하는 동시에, 이 갱신횟수가 소정 횟수 이상이 된 경우에 화상흔들림이 없어졌다고 판단하는 것을 특징으로 하는 촬상장치.
  16. 제 12 항에 있어서,
    화상프레임내의 고주파성분을 검출하는 고주파성분 검출수단을 추가로 구비하고,
    상기 판단수단은 상기 고주파성분 검출수단에 의해 검출되는 고주파성분이 기준값보다 저하되어 있는지 아닌지를 판단하고, 고주파성분이 기준값보다 저하되어 있다고 판단된 화상프레임은 평가대상에서 제외하고, 상기 제 2 화상흔들림 검출수단에 의해 검출되는 차분값에 의해 화상흔들림의 유무를 판단하는 것을 특징으로 하는 촬상장치.
  17. 제 15 항에 있어서,
    화상프레임내의 고주파성분을 검출하는 고주파성분 검출수단을 추가로 구비하고,
    상기 판단수단은 상기 고주파성분 검출수단에 의해 검출되는 고주파성분이 기준값보다 저하되어 있는 화상프레임에 의거하여 검출된 차분값은 유지되어 있는 차분값보다 작은 경우에도 갱신하지 않는 것을 특징으로 하는 촬상장치.
  18. 제 12 항에 있어서,
    상기 판단수단은 초기에 연속하는 2개의 화상프레임간의 차분값을 기준값으로서 설정하고, 이후, 상기 기준값이 새로이 산출된 화상프레임간의 차분값보다 작은 경우에는 상기 새로이 산출된 화상프레임간의 차분값으로부터 상기 기준값을 갱신하고, 이 기준값의 갱신횟수가 소정 이상이 된 경우에, 화상흔들림이 적어진 상태라고 판단하는 것을 특징으로 하는 촬상장치.
  19. 화상흔들림의 검출기능을 구비한 촬상장치로서,
    연속하는 2개의 화상프레임간의 차분값을 산출하는 차분값 산출수단과,
    화상프레임내의 고주파성분을 검출하는 고주파성분 검출수단과,
    상기 고주파성분이 기준값보다 저하되어 있는 화상프레임은 평가대상에서 제외하고, 상기 차분값 산출수단에 의해 산출되는 차분값에 의해 화상흔들림의 유무를 판단하는 판단수단을 구비하는 것을 특징으로 하는 촬상장치.
  20. 화상흔들림의 검출기능을 구비한 촬상장치로서,
    연속하는 2개의 화상프레임간의 차분값을 산출하는 차분값 산출수단과,
    상기 차분값 산출수단에 의해 연속적으로 검출되는 상기 차분값 중에서 가장 작은 차분값을 유지하는 유지수단과,
    상기 차분값 산출수단에 의해 새로운 프레임에 대응하여 산출되는 차분값이 상기 유지수단에 의해 유지되어 있는 차분값보다 작은 경우에, 새로운 차분값으로 유지되어 있는 차분값을 갱신하고, 이 갱신횟수가 소정 횟수 이상이 된 경우에 화상흔들림이 없어졌다고 판단하는 판단수단을 구비하는 것을 특징으로 하는 촬상장치.
  21. 화상흔들림의 검출기능을 구비한 촬상장치를 제어하는 방법으로서,
    화상흔들림을 검출하는 제 1 화상흔들림 검출스텝과,
    상기 제 1 화상흔들림 검출스텝과는 다른 방법으로 화상흔들림을 검출하는 제 2 화상흔들림 검출스텝과,
    상기 제 1 화상흔들림 검출스텝에 의해 검출되는 화상흔들림이 집속했다고 판단된 후, 또한 상기 제 2 화상흔들림 검출스텝에 의해 검출되는 화상흔들림이 집속했다고 판단된 경우에, 화상흔들림이 없어졌다고 판단하는 판단스텝으로 이루어지는 것을 특징으로 하는 촬상장치의 제어방법.
  22. 화상흔들림의 검출기능을 구비한 촬상장치의 제어 프로그램을 기록한 기록매체로서,
    상기 촬상장치를,
    화상흔들림을 검출하는 제 1 화상흔들림 검출수단과,
    상기 제 1 화상흔들림 검출수단과는 다른 방법으로 화상흔들림을 검출하는 제 2 화상흔들림 검출수단과,
    상기 제 1 화상흔들림 검출수단에 의해 화상흔들림을 검출하고, 이 제 1 화 상흔들림 검출수단에 의해 검출되는 화상흔들림이 집속했을 때에, 다음의 단계에서, 상기 제 2 화상흔들림 검출수단에 의해 화상흔들림을 검출하고, 이 제 2 화상흔들림 검출수단에 의해 검출되는 화상흔들림이 집속했을 때에, 화상흔들림이 없어졌다고 판단하는 판단수단으로서 기능시키는 촬상장치의 제어프로그램을 기록한 기록매체.
  23. 화상흔들림의 검출기능을 구비한 촬상장치를 제어하는 방법으로서,
    연속하는 2개의 화상프레임간의 차분값을 산출하는 차분값 산출스텝과,
    화상프레임내의 고주파성분을 검출하는 고주파성분 검출스텝과,
    상기 고주파성분이 기준값보다 저하되어 있는 화상프레임은 평가대상에서 제외하고, 상기 차분값 산출스텝에 의해 산출되는 차분값에 의해 화상흔들림의 유무를 판단하는 판단스텝으로 이루어지는 것을 특징으로 하는 촬상장치의 제어방법.
  24. 화상흔들림의 검출기능을 구비한 촬상장치의 제어 프로그램을 기록한 기록매체로서,
    상기 촬상장치를,
    연속하는 2개의 화상프레임간의 차분값을 산출하는 차분값 산출수단과,
    화상프레임내의 고주파성분을 검출하는 고주파성분 검출수단과,
    상기 고주파성분이 기준값보다 저하되어 있는 화상프레임은 평가대상에서 제외하고, 상기 차분값 산출수단에 의해 산출되는 차분값에 의해 화상흔들림의 유무 를 판단하는 판단수단으로서 기능시키는 촬상장치의 제어 프로그램을 기록한 기록매체.
  25. 화상흔들림의 검출기능을 구비한 촬상장치를 제어하는 방법으로서,
    연속하는 2개의 화상프레임간의 차분값을 산출하는 차분값 산출스텝과,
    상기 차분값 산출스텝에 의해 검출되는 차분값을 유지하는 유지스텝과,
    상기 차분값 산출스텝에 의해 새로운 프레임에 대응하여 산출되는 차분값이 상기 유지스텝에 의해 유지되어 있는 차분값보다 작은 경우에, 새로운 차분값으로 유지되어 있는 차분값을 갱신하는 갱신스텝과,
    상기 갱신스텝에 의해 갱신되는 횟수가 소정 횟수 이상이 된 경우에 화상흔들림이 없어졌다고 판단하는 판단스텝으로 이루어지는 것을 특징으로 하는 촬상장치의 제어방법.
  26. 화상흔들림의 검출기능을 구비한 촬상장치의 제어 프로그램을 기록한 기록매체로서,
    상기 촬상장치를,
    연속하는 2개의 화상프레임간의 차분값을 산출하는 차분값 산출수단과,
    상기 차분값 산출수단에 의해 연속적으로 검출되는 상기 차분값 중에서 가장 작은 차분값을 유지하는 유지수단과,
    상기 차분값 산출수단에 의해 새로운 프레임에 대응하여 산출되는 차분값이 상기 유지수단에 의해 유지되어 있는 차분값보다 작은 경우에, 새로운 차분값으로 유지되어 있는 차분값을 갱신하고, 이 갱신횟수가 소정 횟수 이상이 된 경우에 화상흔들림이 없어졌다고 판단하는 판단수단으로서 기능시키는 촬상장치의 제어 프로그램을 기록한 기록매체.
KR1020080045595A 2007-05-18 2008-05-16 화상흔들림의 검출기능을 구비한 촬상장치, 촬상장치의제어방법 및 촬상장치의 제어프로그램을 기록한 기록매체 KR100925319B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007132989A JP4872797B2 (ja) 2007-05-18 2007-05-18 撮像装置、撮像方法および撮像プログラム
JPJP-P-2007-00132989 2007-05-18

Publications (2)

Publication Number Publication Date
KR20080101778A true KR20080101778A (ko) 2008-11-21
KR100925319B1 KR100925319B1 (ko) 2009-11-04

Family

ID=39831759

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080045595A KR100925319B1 (ko) 2007-05-18 2008-05-16 화상흔들림의 검출기능을 구비한 촬상장치, 촬상장치의제어방법 및 촬상장치의 제어프로그램을 기록한 기록매체

Country Status (6)

Country Link
US (1) US8564674B2 (ko)
EP (1) EP1998558B1 (ko)
JP (1) JP4872797B2 (ko)
KR (1) KR100925319B1 (ko)
CN (2) CN101309357B (ko)
TW (1) TWI386040B (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101494388B1 (ko) 2008-10-08 2015-03-03 삼성전자주식회사 이동통신단말기에서 감정 표시 서비스를 제공하기 위한 장치 및 방법
JP5570769B2 (ja) 2009-07-23 2014-08-13 オリンパス株式会社 内視鏡装置、計測方法、およびプログラム
KR101594297B1 (ko) * 2009-08-24 2016-02-16 삼성전자주식회사 오토 포커싱을 이용한 흔들린 영상 판단 방법 및 장치
KR101078754B1 (ko) 2010-05-24 2011-11-01 주식회사 인스프리트 카메라 영상취득 자동화기능을 갖는 모바일 단말기 및 이를 이용한 모바일 단말기의 카메라 영상취득 자동화방법
CN102509285A (zh) * 2011-09-28 2012-06-20 宇龙计算机通信科技(深圳)有限公司 一种拍摄出模糊图片的处理方法、系统及拍摄设备
KR101890305B1 (ko) * 2012-08-27 2018-08-21 삼성전자주식회사 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
JP6019006B2 (ja) * 2013-11-07 2016-11-02 京セラドキュメントソリューションズ株式会社 画像読取装置、画像形成装置、及び画像読取方法
CN104349039B (zh) * 2013-07-31 2017-10-24 展讯通信(上海)有限公司 视频防抖方法和装置
CN105763786B (zh) * 2014-12-15 2019-07-26 联想(北京)有限公司 一种信息处理方法及电子设备
CN106982320B (zh) * 2016-01-15 2019-07-23 珠海格力电器股份有限公司 摄像头的控制方法及装置
CN105872376B (zh) * 2016-04-12 2017-10-17 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN106060403A (zh) * 2016-07-05 2016-10-26 董超超 一种具备图像防抖检测功能的摄像装置
CN109155817B (zh) * 2016-09-14 2020-08-07 华为技术有限公司 一种拍照方法及终端
CN108476286B (zh) * 2016-10-17 2020-09-08 华为技术有限公司 一种图像输出方法以及电子设备
CN106577350B (zh) * 2016-11-22 2020-10-09 深圳市沃特沃德股份有限公司 宠物类型识别的方法及装置
CN107040693A (zh) * 2017-03-31 2017-08-11 西安万像电子科技有限公司 画面数据处理方法及装置
CN108197621A (zh) * 2017-12-28 2018-06-22 北京金堤科技有限公司 企业信息获取方法及系统和信息处理方法及系统
CN113132617B (zh) * 2019-12-31 2023-04-07 北京中安未来科技有限公司 图像抖动判断方法及装置、图像识别触发方法及装置
CN114513609A (zh) * 2020-11-17 2022-05-17 浙江大华技术股份有限公司 相机曝光时间的调节方法、图像频闪检测方法及装置
CN113438409B (zh) * 2021-05-18 2022-12-20 影石创新科技股份有限公司 延迟校准方法、装置、计算机设备和存储介质
CN114125266B (zh) * 2021-10-20 2024-04-09 武汉旷视金智科技有限公司 摄像装置的转动检测方法、装置、设备、介质及程序产品
CN116709023B (zh) * 2022-12-14 2024-03-26 荣耀终端有限公司 视频处理方法和装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5012270A (en) * 1988-03-10 1991-04-30 Canon Kabushiki Kaisha Image shake detecting device
JPH06350895A (ja) 1993-06-10 1994-12-22 Fujitsu General Ltd ビデオカメラの手振れ補正方法
KR100319034B1 (ko) 1993-06-29 2002-03-21 다카노 야스아키 손흔들림보정장치를가진비디오카메라
JP3951321B2 (ja) * 1995-08-30 2007-08-01 ソニー株式会社 画像信号処理装置および記録/再生装置
JPH11317904A (ja) 1998-05-01 1999-11-16 Canon Inc 撮像装置及びその制御方法
JP2000023023A (ja) * 1998-07-07 2000-01-21 Canon Inc 撮像装置及びコンピュータ読み取り可能な記憶媒体
US6487369B1 (en) * 1999-04-26 2002-11-26 Olympus Optical Co., Ltd. Camera with blur reducing function
US7646891B2 (en) * 2002-12-26 2010-01-12 Mitshubishi Denki Kabushiki Kaisha Image processor
JP2004354420A (ja) 2003-05-27 2004-12-16 Fuji Photo Film Co Ltd 自動撮影システム
KR100574523B1 (ko) * 2003-07-31 2006-04-27 삼성전자주식회사 움직임 타입 판단 장치 및 방법
JP3838243B2 (ja) * 2003-09-04 2006-10-25 ソニー株式会社 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム
KR20060006427A (ko) * 2004-07-16 2006-01-19 삼성전자주식회사 자동초점 조절기능을 갖는 촬영장치 및 그 제어방법
JP4315341B2 (ja) 2004-08-03 2009-08-19 富士フイルム株式会社 流し撮り方法および撮影装置
JP2006119199A (ja) 2004-10-19 2006-05-11 Canon Inc 光学機器
JP4999268B2 (ja) * 2004-12-16 2012-08-15 カシオ計算機株式会社 電子カメラ及びプログラム
JP4639869B2 (ja) 2005-03-14 2011-02-23 オムロン株式会社 撮像装置およびタイマー撮影方法
KR101144872B1 (ko) 2005-03-15 2012-05-14 삼성전자주식회사 손떨림 최소 시점을 예측하는 장치 및 방법
JP2006311059A (ja) * 2005-04-27 2006-11-09 Olympus Imaging Corp 動きベクトル検出回路及びその検出方法並びにブレ補正装置
KR100674743B1 (ko) 2005-06-24 2007-01-25 미쓰비시덴키 가부시키가이샤 화상 처리 장치
JP2007132989A (ja) 2005-11-08 2007-05-31 Konica Minolta Opto Inc レンズ鏡胴及び撮像装置
US7693406B2 (en) * 2005-12-28 2010-04-06 Seiko Epson Corporation Image capturing apparatus, method of controlling the same, and storage medium
US7623683B2 (en) * 2006-04-13 2009-11-24 Hewlett-Packard Development Company, L.P. Combining multiple exposure images to increase dynamic range

Also Published As

Publication number Publication date
CN101309357B (zh) 2010-06-16
US8564674B2 (en) 2013-10-22
TWI386040B (zh) 2013-02-11
JP4872797B2 (ja) 2012-02-08
CN101309357A (zh) 2008-11-19
CN101742106B (zh) 2012-10-24
JP2008288975A (ja) 2008-11-27
EP1998558A3 (en) 2010-08-25
EP1998558A2 (en) 2008-12-03
CN101742106A (zh) 2010-06-16
KR100925319B1 (ko) 2009-11-04
US20080284858A1 (en) 2008-11-20
TW200906178A (en) 2009-02-01
EP1998558B1 (en) 2011-11-02

Similar Documents

Publication Publication Date Title
KR100925319B1 (ko) 화상흔들림의 검출기능을 구비한 촬상장치, 촬상장치의제어방법 및 촬상장치의 제어프로그램을 기록한 기록매체
JP5005570B2 (ja) 画像処理装置およびプログラム
US7706674B2 (en) Device and method for controlling flash
KR100868054B1 (ko) 촬상장치 및 상블러링 경감방법 및 그 기록매체
JP2005241805A (ja) オートフォーカス装置及びそのプログラム
JP5623256B2 (ja) 撮像装置、その制御方法及びプログラム
WO2007097287A1 (ja) 撮像装置及びレンズ鏡筒
JP2007108412A (ja) オートフォーカス装置及びそのプログラム
JP2012002951A (ja) 撮像装置、合焦位置検出方法および合焦位置検出プログラム
US7590337B2 (en) Image-taking device
JP2008206020A (ja) 撮像装置及びレンズ鏡筒
JP2009021984A (ja) 撮像装置、プログラム
JP2006310969A (ja) 撮像装置
KR20090052676A (ko) 디지털 영상 처리장치 및 그 제어방법
JP2004219765A (ja) 撮影装置およびプログラム
JP2011217311A (ja) 撮像装置および撮像装置の制御方法
JP4807582B2 (ja) 画像処理装置、撮像装置及びそのプログラム
JP2008129371A (ja) 撮像装置
JP2011217334A (ja) 撮像装置および撮像装置の制御方法
JP7131541B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP4844220B2 (ja) 露出補正装置、撮影装置、露出値設定装置、露出補正値算出方法および制御プログラム
JP5182395B2 (ja) 撮像装置、撮像方法および撮像プログラム
JP2008206021A (ja) 撮像装置及びレンズ鏡筒
JP5832618B2 (ja) 撮像装置、その制御方法及びプログラム
JP2006243609A (ja) オートフォーカス装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121002

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131001

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20141017

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20151016

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20181023

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20191017

Year of fee payment: 11