KR100680096B1 - 손 떨림 보정 장치 - Google Patents

손 떨림 보정 장치 Download PDF

Info

Publication number
KR100680096B1
KR100680096B1 KR1020050080641A KR20050080641A KR100680096B1 KR 100680096 B1 KR100680096 B1 KR 100680096B1 KR 1020050080641 A KR1020050080641 A KR 1020050080641A KR 20050080641 A KR20050080641 A KR 20050080641A KR 100680096 B1 KR100680096 B1 KR 100680096B1
Authority
KR
South Korea
Prior art keywords
shake
correction
state
threshold value
zoom
Prior art date
Application number
KR1020050080641A
Other languages
English (en)
Other versions
KR20060050868A (ko
Inventor
하루오 하따나까
나오끼 지바
Original Assignee
산요덴키가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 산요덴키가부시키가이샤 filed Critical 산요덴키가부시키가이샤
Publication of KR20060050868A publication Critical patent/KR20060050868A/ko
Application granted granted Critical
Publication of KR100680096B1 publication Critical patent/KR100680096B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Manipulator (AREA)
  • Lens Barrels (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

줌 배율에 따른 값을 검출하는 줌 검출 수단, 화상의 흔들림을 검출하는 흔들림 검출 수단, 및 흔들림 검출 수단에 의해 검출된 흔들림량과, 줌 검출 수단에 의해 검출된 줌 배율에 따른 값에 기초하여, 화상의 흔들림을 보정하기 위한 보정량으로서, 흔들림의 주파수에 대한 보정 잔존률의 특성이 변경 가능한 보정량을 생성하는 보정량 생성 수단을 구비하고 있으며, 보정량 생성 수단은, 줌 검출 수단에 의해 검출된 줌 배율에 따른 값에 따라, 흔들림의 주파수에 대한 보정 잔존률의 특성을 변경시킨다.
비디오 카메라, 고체 촬상 소자, A/D 변환기, 프레임 메모리, 메모리 제어 회로

Description

손 떨림 보정 장치{UNINTERNATIONAL HAND MOVEMENT CANCELING DEVICE}
도 1은, 비디오 카메라의 전기적 구성을 도시하는 블록도.
도 2는, 움직임 검출 회로의 전기적 구성을 나타내는 블록도.
도 3은, 영상 에리어 내에 설정되는 복수의 움직임 벡터 검출 영역을 나타내는 모식도.
도 4는, 도 3의 각 움직임 벡터 검출 영역 내의 소영역 내에 설정된 복수의 샘플링점과, 1개의 대표점을 나타내는 모식도.
도 5는, 프레임 메모리와 트리밍 틀 간의 관계를 나타내는 모식도.
도 6은, 비디오 카메라를 우측 방향으로 이동시켰을 때의 프레임 메모리와 트리밍 틀 간의 관계를 나타내는 모식도.
도 7은, 적분 벡터와 트리밍 틀 간의 관계를 나타내는 모식도.
도 8은, 손 떨림 보정 범위를 설명하기 위한 모식도.
도 9는, 손 떨림 보정 범위를 초과한 경우의 처리를 설명하기 위한 모식도.
도 10은, 감쇠 계수(damping coefficient)의 의한 흔들림의 주파수와 보정 잔존률의 관계를 나타내는 그래프.
도 11은, 1 프레임마다 행해지는 비디오 카메라(10)의 동작을 나타내는 흐름도.
도 12는, 도 11의 단계 S10의 제1 상태 판정 처리의 수순을 나타내는 흐름도.
도 13은, 도 11의 단계 S11의 제2 상태 판정 처리의 수순을 나타내는 흐름도이다.
도 14a, 도 14b 및 도 14c는, 광학 와이드단에서, 실제 상태가 손 떨림 상태로부터 팬 상태로 변화된 경우의 프레임 수와 비디오 카메라(10)의 표시 화상(구도(figure))의 이동량의 관계를 나타내는 그래프.
도 15a 및 도 15b는, 광학 텔레포토단에서, 실제 상태가 손 떨림 상태로부터 팬 상태로 변화된 경우의 프레임 수와 비디오 카메라(10)의 표시 화상(구도)의 이동량의 관계를 나타내는 그래프.
〈도면의 주요 부분에 대한 부호의 설명〉
10 : 비디오 카메라
11 : 렌즈
12 : 고체 촬상 소자
13 : 카메라 회로
14 : A/D 변환기
15 : 프레임 메모리
18 : 움직임 검출 회로
20 : 마이크로컴퓨터
21 : 메모리 제어 회로
32 : 필터
33 : 대표점 메모리
35 : 누적 가산 회로
100 : 트리밍 틀
본 발명은, 예를 들면 비디오 카메라나 디지털 카메라에 탑재되는 손 떨림 보정 장치에 관한 것이다.
비디오 카메라에서는, 손으로 잡고 촬영하는 경우가 많기 때문에, 촬영 시에 손 떨림이 발생하기 쉽다. 따라서, 일반적으로, 비디오 카메라에는, 손 떨림을 보정하기 위한 손 떨림 보정 장치가 탑재되어 있다.
한편, 촬영 시에 팬 조작(panning operation)(카메라를 좌측 방향으로 이동시키는 조작)이나 틸트 조작(카메라를 상하 방향으로 이동시키는 조작)이 행해지는 경우도 많다. 팬 조작 시나 틸트 조작 시에 손 떨림 보정 장치에 의한 손 떨림 보정이 행해지면, 화면이 의도한 방향으로 움직이지 않는 현상(이하, 스틱 현상(sticking phenomenon)이라 함)이 발생한다.
따라서, 팬 조작 시에 또는 틸트 조작 시에 발생하는 스틱 현상을 저감시키기 위해, 팬 조작 또는 틸트 조작을 검출하고, 팬 조작 시 또는 틸트 조작 시에는, 팬 또는 틸트 조작 전용의 보정 제어를 행하는 손 떨림 보정 장치가 제안되어 있 다.
예를 들면, 일본 특개평8-331430호 공보에서는, 팬 또는 틸트 조작의 검출 상태에 따라 보정량을 감쇠하거나, 보정량의 주파수 특성을 변동함으로써, 스틱 현상을 저감시키고 있다.
그러나, 팬 조작 또는 틸트 조작과 손 떨림을 정확하게 판별하는 것은 곤란하기 때문에, 상기 대책에 관계없이 스틱 현상은 발생하게 된다. 특히, 줌 배율이 낮은 광학 와이드단에서는, 팬 조작 또는 틸트 조작 시에서도 화면의 움직임량이 비교적 작기 때문에, 손 떨림 보정이 작용하기 쉬워서, 스틱 현상이 현저하게 나타난다. 또한, 광학 와이드단에서는, 팬 조작 또는 틸트 조작 시에서도 화면의 움직임량이 비교적 작기 때문에, 팬 조작 또는 틸트 조작의 초기에서 손 떨림 보정이 행해지면, 손 떨림 보정이 행해지고 있는 상태로부터, 손 떨림 보정이 행해지지 않게 되었을 때의, 화상의 변화량이 커진다. 따라서, 광학 와이드단에서는, 팬 조작 또는 틸트 조작 시에 위화감이 현저하게 나타난다는 문제가 있다.
본 발명의 목적은, 팬 또는 틸트 상태의 정확한 검출이 곤란한 경우라도, 광학 와이드단에서 현저한 팬 조작 또는 틸트 조작 시의 위화감을 없애는 것에 있다.
본 발명에 의한 제1 손 떨림 보정 장치는, 줌 배율에 따른 값을 검출하는 줌 검출 수단, 화상의 흔들림을 검출하는 흔들림 검출 수단, 및 흔들림 검출 수단에 의해 검출된 흔들림량과, 줌 검출 수단에 의해 검출된 줌 배율에 따른 값에 기초하 여, 화상의 흔들림을 보정하기 위한 보정량으로서, 흔들림의 주파수에 대한 보정 잔존률의 특성이 변경 가능한 보정량을 생성하는 보정량 생성 수단을 구비하고 있으며, 보정량 생성 수단은, 줌 검출 수단에 의해 검출된 줌 배율에 따른 값에 따라, 흔들림의 주파수에 대한 보정 잔존률의 특성을 변경시키는 것을 특징으로 한다.
상기 보정량 생성 수단으로서는, 예를 들면, 줌 배율이 클수록, 흔들림의 저주파수대에 대한 보정의 정도가 강해지도록, 흔들림의 주파수에 대한 보정 잔존률의 특성을 변경시키는 것이 이용된다.
본 발명에 따른 제2 손 떨림 보정 장치는, 줌 배율에 따른 값을 검출하는 줌 검출 수단, 화상의 흔들림을 검출하는 흔들림 검출 수단, 촬영자의 의도적인 카메라 운동에 의한 흔들림 상태와 손 떨림 상태를 판별하는 상태 판별 수단, 상태 판별 수단에 의해 손 떨림 상태라고 판별되어 있을 때에는, 흔들림 검출 수단에 의해 검출된 흔들림량과, 줌 검출 수단에 의해 검출된 줌 배율에 따른 값에 기초하여, 화상의 흔들림을 보정하기 위한 보정량으로서, 흔들림의 주파수에 대한 보정 잔존률의 특성이 변경 가능한 보정량을 생성하는 제1 보정량 생성 수단, 및 상태 판별 수단에 의해 촬영자의 의도적인 카메라 운동에 의한 흔들림 상태라고 판별되어 있을 때에는, 화상의 흔들림을 보정하기 위한 보정량을, 1 프레임 전의 보정량으로 하는 제2 보정량 생성 수단을 구비하고 있으며, 제1 보정량 생성 수단은, 줌 검출 수단에 의해 검출된 줌 배율에 따른 값에 따라, 흔들림의 주파수에 대한 보정 잔존률의 특성을 변경시키는 것을 특징으로 한다.
상기 제1 보정량 생성 수단으로서는, 예를 들면, 줌 배율이 클수록, 흔들림의 저주파수대에 대한 보정의 정도가 강해지도록, 흔들림의 주파수에 대한 보정 잔존률의 특성을 변경시키는 것이 이용된다.
상기 상태 판별 수단으로서는, 예를 들면, 이하의 어느 하나의 조건 (a), (b), (c)가 만족되었을 때에, 촬영자의 의도적인 카메라 운동에 의한 흔들림 상태로 판별하는 것이 이용된다.
(a) 흔들림 검출 수단에 의해 검출된 흔들림의 방향이 동일한 방향인 프레임이 연속하고 있는 그 연속 횟수가 제1 임계값 이상인 것
(b) 제1 보정량 생성 수단에 의해 생성된 보정량이 보정 범위의 한계값 이상인 프레임이 연속하고 있으며, 그 연속 횟수가 제2 임계값 이상인 것
(c) 흔들림 검출 수단에 의해 검출된 흔들림의 방향이 동일한 방향인 프레임이 연속하고 있으며 또한 그 동일한 방향으로 연속하는 흔들림의 적분값이 화각의 제3 임계값 이상의 비율인 것
상기 상태 판별 수단으로서는, 예를 들면, 제1 임계값, 제2 임계값 및 제3 임계값을, 줌 검출 수단에 의해 검출된 줌 배율에 따른 값에 따라 제어하는 임계값 제어 수단를 포함하고 있는 것을 특징으로 한다.
상기 임계값 제어 수단으로서는, 예를 들면, 줌 배율이 작을 수록, 제1 임계값, 제2 임계값 및 제3 임계값이 작아지도록, 제1 임계값, 제2 임계값 및 제3 임계값을 제어하는 것이 이용된다.
〈실시예〉
이하, 도면을 참조하여, 본 발명의 실시예에 대하여 설명한다.
도 1은, 비디오 카메라의 구성을 나타내고 있다.
비디오 카메라(10)는, 렌즈(11)로부터 입력되는 피사체(도시 생략)로부터의 광 신호를 전기 신호로 변환하는 CCD와 같은 고체 촬상 소자(12)를 포함하고 있다. 고체 촬상 소자(12)로부터의 전기 신호는 카메라 회로(13)에 입력된다. 카메라 회로(13)는, 주지와 같이, 샘플/홀드 회로를 포함하며, 고체 촬상 소자(12)로부터의 전기 신호를 샘플/홀드한다. 샘플/홀드된 전기 신호의 레벨이 AGC에 의해 조정됨과 함께, 또한 동기 신호 부가 회로에 의해 동기 신호가 부가된다. 이와 같이 하여, 카메라 회로(13)는 고체 촬상 소자(12)로부터의 이미지 신호를 아날로그 비디오 신호로 변환한다.
카메라 회로(13)로부터 출력되는 아날로그 비디오 신호는, 또한, A/D 변환기(14)에 의해 디지털 비디오 신호로 변환된다. A/D 변환기(14)로부터 출력되는 디지털 비디오 신호는 움직임 검출 회로(흔들림 검출 수단)(18)에 제공됨과 동시에, 메모리 제어 회로(21)에 의해, 프레임 메모리(15)에 기입된다.
도 2는, 움직임 검출 회로(18)의 구성을 나타내고 있다.
움직임 검출 회로(18)는, 예를 들면 주지의 대표점 매칭법을 이용하여, 움직임 벡터를 검출한다. 대표점 매칭법의 개요에 대하여 설명한다. 도 3에 도시한 바와 같이, 각 프레임의 영상 에리어 내에, 복수의 움직임 벡터 검출 영역 E1∼E4가 설정되어 있다. 각 움직임 벡터 검출 영역 E1∼E4의 크기는 동일하다. 또한, 각 움직임 벡터 검출 영역 E1∼E4는, 또한 복수의 소영역 e로 분할되어 있다. 이 예에서는, 각 움직임 벡터 검출 영역 E1∼E4는, 30개의 소영역 e로 분할되어 있다. 각 소영역 e는, 예를 들면 32 화소×16행으로 구성된다. 그리고, 도 4에 도시한 바와 같이, 각 소영역 e 각각에, 복수의 샘플링점 S와, 1개의 대표점 R이 설정되어 있다.
현 프레임에서의 소영역 e 내의 각 샘플링점 S의 영상 신호 레벨(휘도 레벨)과, 전 프레임에서의 대응하는 소영역 e의 대표점 R의 영상 신호 레벨(휘도 레벨)의 차(각 샘플링점에서의 상관값)가, 각 움직임 벡터 검출 영역 E1∼E4마다 구해진다. 그리고, 각 움직임 벡터 검출 영역 E1∼E4마다, 움직임 벡터 검출 영역 내의 모든 소영역 e 사이에서, 대표점 R에 대한 변위가 동일한 샘플링점 S끼리의 상관값이 누적 가산된다. 따라서, 각 움직임 벡터 검출 영역 E1∼E4마다, 1개의 소영역 e 내의 샘플링점 S의 수에 따른 수의 상관 누적값이 구해진다.
그리고, 각 움직임 벡터 검출 영역 E1∼E4 내에서, 상관 누적값이 최소로 되는 점의 대표점 R에 대한 변위, 즉, 상관성이 가장 높은 점의 변위가, 해당 움직임 벡터 검출 영역 E1∼E4의 움직임 벡터로서 추출된다.
움직임 검출 회로(18)는, A/D 변환기(14)로부터의 디지털 비디오 신호를 받는 입력단(31)을 포함하며, 이 입력단(31)으로부터 입력된 디지털 비디오 신호는 필터(32)를 통해 대표점 메모리(33) 및 감산 회로(34)에 공급된다. 필터(32)는, 일종의 디지털 저역 통과 필터로서, S/N비를 개선하고, 적은 대표점으로 충분한 검출 정밀도를 확보하기 위해 이용된다. 대표점 메모리(33)는, 도 3에 도시하는 각 움직임 벡터 검출 영역 E1∼E4의 소영역 e마다, 대표점 R의 위치 데이터와 휘도 데이터를 기억한다.
감산 회로(34)는, 각 움직임 벡터 검출 영역 E1∼E4의 소영역 e마다, 대표점 메모리(33)로부터 공급되는 전 프레임의 대표점의 휘도 데이터와 입력단(31)으로부터 공급되는 현 프레임의 샘플링점 S의 휘도 데이터를 감산하고, 그 절대값(각 샘플링점에서의 상관값)을 산출한다. 구한 각 샘플링점에서의 상관값을 누적 가산 회로(35)에 공급한다.
누적 가산 회로(35)는, 각 움직임 벡터 검출 영역 E1∼E4마다, 움직임 벡터 검출 영역 내의 모든 소영역에서, 대표점 R에 대한 변위가 동일한 샘플링점끼리의 상관값을 누적 가산한다. 상관 누적값은 연산 회로(36)에 공급된다.
연산 회로(36)는, 각 움직임 벡터 검출 영역 E1∼E4마다, 상관 누적값의 평균값을 구함과 함께, 상관 누적값이 최소로 되는 화소의 위치 데이터를 구한다. 이와 같이 하여, 각 움직임 벡터 검출 영역 E1∼E4마다 얻어진 상관 누적값의 평균값, 상관 누적값의 최소값 및 상관 누적값이 최소로 되는 화소의 위치 데이터가 출력단(37)으로부터 마이크로컴퓨터(20)(도 1 참조)에 공급된다.
마이크로컴퓨터(20)는, 연산 회로(36)로부터 공급된 데이터에 기초하여, 화면 전체의 움직임 벡터(이하, 단순히 「전체 움직임 벡터」라 함)를 산출한다. 먼저, 각 움직임 벡터 검출 영역 E1∼E4마다, 상관 누적값이 최소로 되는 화소의 위치 데이터에 기초하여, 상관 누적값이 최소로 되는 화소의 대표점에 대한 변위를 구하고, 그 변위를 해당 움직임 벡터 검출 영역 E1∼E4의 움직임 벡터(부분 움직임 벡터)로 한다. 또한, 부분 움직임 벡터의 검출 정밀도를 좋게 하기 위해, 상관 누 적값이 최소로 되는 화소의 주위 4 화소의 상관 누적값을 이용하여 내삽 보간함으로써, 상관 누적값이 최소로 되는 화소의 위치 데이터를 계산하도록 하여도 된다.
마이크로컴퓨터(20)는, 상관 누적값의 평균값을 상관 누적값의 최소값으로 제산한 값이 일정한 임계값보다 큰지 여부 및 상관 누적값의 평균값이 소정 영역 이상인지 여부를 각 움직임 벡터 검출 영역 E1∼E4마다 판별하고, 각 움직임 벡터 검출 영역 E1∼E4마다 구해진 부분 움직임 벡터가 신뢰할 수 있는지 여부, 즉 각 움직임 벡터 검출 영역 E1∼E4가 유효 영역인지 무효 영역인지를 판별한다. 임의의 움직임 벡터 검출 영역에서, 상관 누적값의 평균값을 상관 누적값의 최소값으로 제산한 값이 일정의 임계값보다 크고, 또한 상관 누적값의 평균값이 소정값 이상이면, 그 움직임 벡터 검출 영역은 유효 영역으로 된다.
구체적으로는, 움직임 벡터 검출 영역이 유효 영역인지 여부는 이하와 같이 판단된다. 먼저, 화면의 콘트라스트가 낮을 때에는, 휘도차가 작기 때문에, 상관 누적값이 작아진다. 예를 들면, 화면 전체가 백색일 때에는 상관 누적값은 작아진다. 이러한 경우에는, 신뢰성이 없어지기 때문에, 상관 누적값의 평균값≥소정값일 때에 유효로 된다. 또한, 소정값은 실험에 의해 결정된다.
또한, 움직임 벡터 검출 영역 내에 움직이는 물체가 있을 때에는, 움직이는 물체가 차지하는 부분과 차지하지 않는 부분에서 상관 누적값이 상이하며, 또한 움직이는 물체가 차지하는 부분은 여러가지 상관 누적값을 취하고, 그 상관 누적값은 일반적으로 큰 값으로 된다(상관도는 낮음). 따라서, 움직임 벡터 검출 영역 내에 움직이는 물체가 있을 때에는, 상관 누적값의 최소값이 커질 가능성이 높아, 움직임 벡터 검출 영역에 대한 움직임 벡터(부분 움직임 벡터)를 오검출할 우려가 있다.
부분 움직임 벡터를 오검출하면, 전체 움직임 벡터를 오검출하게 된다. 그러나, 상관 누적값의 평균값이 클 때에는 상관 누적값의 최소값이 어느 정도 커도 신뢰할 수 있다. 한편, 상관 누적값의 평균값이 작을 때에는 상관 누적값의 최소값은 보다 적지 않으면 신뢰할 수 없다. 따라서, 구체적으로는, (상관 누적값의 평균값)/(상관 누적값의 최소값)>5라는 조건을 만족하는 움직임 벡터 검출 영역을 유효 영역으로 판단하고, 이 조건을 만족하지 않는 움직임 벡터 검출 영역의 부분 움직임 벡터를 이용하지 않도록 하여, 오검출에 의한 악영향을 방지한다.
이러한 2개의 조건에 의해, 각 움직임 벡터 검출 영역이 유효 영역인지 여부가 판단된다. 그리고, 유효 영역이라고 판단된 움직임 벡터 검출 영역의 부분 움직임 벡터의 평균을 구하고, 그것을 프레임 간의 움직임량 즉 전체 움직임 벡터 Vn으로 한다. 전체 움직임 벡터 Vn은 프레임 간의 움직임량과 그 방향을 나타낸다. 마이크로컴퓨터(20)는, 전체 움직임 벡터 Vn을 이용하여 적분 벡터 Sn을 구한다. 적분 벡터 Sn의 구하는 방법에 대해서는, 후술한다. 적분 벡터 Sn은, 프레임 메모리(15)의 중심으로부터의 표시 영역(트리밍 틀)의 중심까지의 거리와 방향을 나타낸다.
손 떨림 보정에서는, 프레임 메모리(15) 내의 표시 영역의 위치(화상 트리밍 위치)를 바꿈으로써 보정이 행해진다. 프레임 메모리(15)와 트리밍 틀(100) 간의 관계를 도 5에 도시한다. 프레임 메모리(15) 내의 트리밍 틀(100)로 둘러싸인 영역이 촬상 화상으로서 표시된다. 트리밍 틀(100)의 초기 위치는, 그 중심이 프레임 메모리(15)의 중심에 합치한 위치로 설정되어 있다. 그리고, 검출된 움직임 벡터에 따라, 그 위치가 이동된다. 예를 들면, 비디오 카메라를 우측으로 이동시켰을 때의 프레임 메모리(15)와 트리밍 틀(100) 간의 관계를 도 6에 나타낸다. 비디오 카메라를 우측으로 이동하면, 피사체는 프레임 메모리 내의 좌측으로 이동한다. 여기서, 비디오 카메라의 움직임량분만큼, 비디오 카메라의 움직임과 반대 방향으로 트리밍 틀(100)을 이동함으로써, 표시되는 화상(구도)의 변화는 없어져서, 손 떨림이 캔슬된다.
도 7은, 적분 벡터 Sn과 트리밍 틀(100) 간의 관계를 나타내고 있다. 트리밍 틀(100)의 위치는, 프레임 메모리(15)의 중심 O를 원점으로 한 XY 좌표계에서, 트리밍 틀(100)의 중심 좌표 Ot로 제공된다. 현 프레임의 적분 벡터를 S로 하면, 프레임 메모리(15)의 중심 O로부터, 적분 벡터 S로 나타내는 방향으로, 적분 벡터 S로 나타내는 거리만큼 이동한 점이, 트리밍 틀(100)의 중심 Ot로 된다.
여기서, 손 떨림 보정의 범위는, 도 8에 도시한 바와 같이, 트리밍 틀(100)이, 프레임 메모리(15)의 단에 도달하기까지의 범위로 된다. 즉, 적분 벡터 S의 수평 성분 Sh, 수직 성분 Sv의 범위는 각각, 도 8의 Sh-min∼Sh-max, Sv-min∼Sv-max로 된다.
도 9에 도시한 바와 같이, 비디오 카메라가 크게 움직여서, 적분 벡터 S의 수평 성분 Sh가 보정 범위의 한계값을 초과한 경우에는, 수평 성분 Sh가 Sh-min보다 작으면 수평 성분 Sh를 Sh-min(한계값)으로 하고, 수평 성분 Sh가 Sh-max보다 크면 수평 성분 Sh를 Sh-max(한계값)로 한다. 적분 벡터 S의 수직 성분 Sv가 보정 범위의 한계값을 초과한 경우에도 마찬가지로, 수직 성분 Sv가 Sv-min보다 작으면 수직 성분 Sv를 Sv-min(한계값)으로 하고, 수직 성분 Sv가 Sv-max보다 크면 수직 성분 Sv를 Sv-max(한계값)로 한다.
적분 벡터 Sn의 산출 방법은, 「손 떨림 상태」인지, 「팬 또는 틸트 상태」인지에 따라 상이하다. 이들 상태는, 마이크로컴퓨터(20)에 의해 판별된다. 「손 떨림 상태」인지, 「팬 또는 틸트 상태」인지를 나타내는 데이터는, 마이크로컴퓨터(20)의 메모리(도시 생략)에 저장된다.
「손 떨림 상태」에서는, 마이크로컴퓨터(20)는, 초점 거리 검출 회로(19)로부터 취득한 35㎜ 필름 환산의 렌즈 초점 거리 F와, 미리 설정되어 있는 초점 거리의 최소값 Fmin 및 최대값 Fmax, 미리 설정되어 있는 감쇠 계수의 최소값 Kmin 및 최대값 Kmax를 이용하여, 다음 수학식 1에 따라, 감쇠 계수 K를 구한다. 이 실시예에서는, 초점 거리의 38㎜∼280㎜에 대하여, 감쇠 계수 K가 0.9∼0.95로 되도록 하였다.
Figure 112005048699713-pat00001
그리고, 얻어진 감쇠 계수 K와, 전 프레임과 현 프레임의 사이의 전체 움직임 벡터 Vn과, 전 프레임의 적분 벡터 Sn-1을 이용하여, 다음 수학식 2에 따라, 현 프레임의 적분 벡터 Sn을 계산한다.
Figure 112005048699713-pat00002
감쇠 계수 K를 제어함으로써, 보정하는 손 떨림의 주파수의 특성을 변화시킬 수 있다. 도 10은 감쇠 계수 K에 의한 흔들림의 주파수〔㎐〕와 보정 잔존률〔%〕의 관계를 나타낸다. 보정 잔존률은, 보정 전의 흔들림의 진폭에 대한 보정 후의 흔들림의 진폭의 비율〔%〕이라고 정의된다. 예를 들면, K=1.0인 경우에는, 검출한 움직임을 완전하게 보정하게 된다. K=0.90인 경우, 2〔㎐〕의 흔들림이 약 50%, 5〔㎐〕의 흔들림이 약 70% 보정되게 된다. 즉, 감쇠 계수 K를 작게 하면 할수록, 저주파수대의 흔들림에 대한 보정 비율이 약해지게 된다.
상기 수학식 1의 계산식을 채용함으로써, 줌 배율이 작은(초점 거리가 작은) 광학 와이드측일수록 감쇠 계수 K가 작아진다. 따라서, 광학 와이드측일수록, 저주파수대의 흔들림의 보정 정도가 약해지기 때문에, 예를 들면, 팬·틸트 상태의 검출에 실패한 경우라도, 팬·틸트 개시 시의 비디오 카메라의 움직임의 어느 정도는 보정되지 않고 남아서, 스틱감은 경감된다. 한편, 줌 배율이 큰(초점 거리가 큰) 광학 텔레포토측에서는 감쇠 계수 K가 커지고, 저주파수대의 흔들림도 강하게 보정되는데, 팬·틸트 시의 화상의 움직임은, 광학 와이드측보다도 훨씬 커서, 순 간적으로 보정 범위를 초과하게 되기 때문에, 애당초 스틱감은 적다. 반대로, 저주파수대의 흔들림도 강하게 보정함으로써, 충분한 손 떨림 보정을 행할 수가 있다.
「팬 또는 틸트 상태」에서는, 다음의 수학식 3으로 나타내는 바와 같이, 마이크로컴퓨터(20)는, 마이크로컴퓨터(20)의 메모리 상에 기억된 1개 전의 프레임의 적분 벡터 Sn-1을 현 프레임의 적분 벡터 Sn으로 한다. 즉, 손 떨림 보정을 행하지 않는 것을 의미한다.
Figure 112005048699713-pat00003
「손 떨림 상태」로부터 「팬 또는 틸트 상태」로의 천이는, 이하 중 어느 하나의 천이 조건 (a), (b), (c)를 만족한 경우에 행해진다.
(a) 「손 떨림 상태」로부터 「팬 또는 틸트 상태」로의 제1 천이 조건 : 전체 움직임 벡터 Vn의 방향이 동일한 방향인 프레임이 연속하고 있으며, 또한 그 연속 횟수(연속 프레임 수)가 임계값 TH1 이상인 것
구체적으로는, 전체 움직임 벡터 Vn의 수직 성분의 방향(위 또는 아래)이 동일한 방향인 프레임이 연속하고 있으며 또한 그 연속 횟수가 임계값 TH1 이상인 것 또는 전체 움직임 벡터 Vn의 수평 성분의 방향(좌측 또는 우측)이 동일한 방향인 프레임이 연속하고 있으며 또한 그 연속 횟수가 임계값 TH1 이상인 것
(b) 「손 떨림 상태」로부터 「팬 또는 틸트 상태」로의 제2 천이 조건 : 적분 벡터 Sn이 보정 범위의 한계값 이상인 프레임이 연속하고 있으며, 그 연속 횟수(연속 프레임 수)가 임계값 TH2 이상인 것
구체적으로는, 적분 벡터 Sn의 수직 성분이 보정 범위의 한계값 이상인 프레임이 연속하고 있으며 또한 그 연속 횟수가 임계값 TH2 이상인 것 또는 적분 벡터 Sn의 수평 성분이 보정 범위의 한계값 이상인 프레임이 연속하고 있으며 또한 그 연속 횟수가 임계값 TH2 이상인 것
또한, 전술한 바와 같이, 적분 벡터 Sn의 수직 성분 Sv가 보정 범위의 한계값을 초과한 경우에는, 수직 성분 Sv가 Sv-min보다 작으면 수직 성분 Sv가 Sv-min(한계값)으로 되며, 수직 성분 Sv가 Sv-max(한계값)보다 크면 수직 성분 Sv가 Sv-max로 된다. 또한, 적분 벡터 Sn의 수평 성분 Sh가 보정 범위의 한계값을 초과한 경우에는, 수평 성분 Sh가 Sh-min보다 작으면 수평 성분 Sh가 Sh-min(한계값)으로 되고, 수평 성분 Sh가 Sh-max보다 크면 수평 성분 Sh를 Sh-max(한계값)로 된다.
(c) 「손 떨림 상태」로부터 「팬 또는 틸트 상태」로의 제3 천이 조건 : 전체 움직임 벡터 Vn의 방향이 동일한 방향인 프레임이 연속하고 있으며 또한 그 동일한 방향으로 연속하는 전체 움직임 벡터 Vn의 적분값이 화각(트리밍 틀의 화상 사이즈)의 임계값 TH3 이상의 비율인 것
구체적으로는, 전체 움직임 벡터 Vn의 수직 성분의 방향(위 또는 아래)이 동일한 방향인 프레임이 연속하고 있으며 또한 그 동일한 방향으로 연속하는 전체 움직임 벡터 Vn의 수직 성분의 적분값이 트리밍 틀의 상하 폭의 임계값 TH3 이상의 비율인지, 또는 전체 움직임 벡터 Vn의 수평 성분의 방향(좌측 또는 우측)이 동일한 방향인 프레임이 연속하고 있으며 또한 그 동일한 방향으로 연속하는 전체 움직임 벡터 Vn의 수평 성분의 적분값이 트리밍 틀의 좌우 폭의 임계값 TH3 이상의 비율인 것
상기 (a), (b), (c)의 판정 임계값 TH1, TH2, TH3은 상기 현재의 초점 거리에 따라 변화한다. 구체적으로는, 다음의 수학식 4를 이용하여 계산한다.
Figure 112005048699713-pat00004
상기 수학식 4에서, F는 현재의 초점 거리이고, Fmin, Fmax는 미리 설정된 초점 거리의 최소, 최대값이며, THmin, THmax는 미리 설정된 임계값의 최소값, 최대값이다. 이 실시예에서는, 각 판정 조건에 대하여, Fmin, Fmax, THmin, THmax로서는, 이하의 값을 이용하였다.
Fmin=38㎜, Fmax=280㎜
(a) TH1의 산출 시 : THmin=20회, THmax=30회
(b) TH2의 산출 시 : THmin=5회, THmax=10회
(c) TH3의 산출 시 : THmin=15%, THmax=20%
예를 들면, TH1에 대하여, 텔레포토단에서는 연속 횟수가 30회인 데 대하여, 와이드단에서는 20회에서 팬 또는 틸트의 개시로 판정한다. 이와 같이 와이드측에서 팬 또는 틸트 판정이 엄격하지 않게 되도록, 초점 거리에 의해 각 판정 임계값을 가변으로 함으로써, 스틱감이 보다 현저한 와이드 측에서, 팬 또는 틸트 검출 감도가 높아져서, 스틱감을 저감할 수 있다.
「팬 또는 틸트 상태」로부터 「손 떨림 상태」로의 천이는, 이하 중 어느 하나의 천이 조건 (a), (b)를 만족한 경우에 행해진다.
(a) 「팬 또는 틸트 상태」로부터 「손 떨림 상태」로의 제1 천이 조건 : 전체 움직임 벡터 Vn이 0.5 화소 이하인 프레임이 연속하고 있으며 또한 그 연속 횟수(연속 프레임 수)가 10 이상인 것
구체적으로는, 전체 움직임 벡터 Vn의 수직 성분이 0.5 화소 이하인 프레임이 연속하고 있으며 또한 그 연속 횟수가 10 이상인 것 또는 전체 움직임 벡터 Vn의 수평 성분이 0.5 화상 이하인 프레임이 연속하고 있으며 또한 그 연속 횟수가 10 이상인 것
(b) 「팬 또는 틸트 상태」로부터 「손 떨림 상태」로의 제2 천이 조건 : 전체 움직임 벡터 Vn의 방향이, 「손 떨림 상태」로부터 「팬 또는 틸트 상태」로 천 이되었을 때의 전체 움직임 벡터 Vn의 방향과 반대 방향인 프레임이 연속하고 있으며 또한 그 연속 횟수가 10 이상인 것
구체적으로는, 전체 움직임 벡터 Vn의 수직 성분의 방향이, 「손 떨림 상태」로부터 「팬 또는 틸트 상태」로 천이하였을 때의 전체 움직임 벡터 Vn의 수직 성분 방향과 반대 방향인 프레임이 연속하고 있으며 또한 그 연속 횟수가 10 이상인 것 또는 전체 움직임 벡터 Vn의 수평 성분의 방향이, 「손 떨림 상태」로부터 「팬 또는 틸트 상태」로 천이하였을 때의 전체 움직임 벡터 Vn의 수평 성분의 방향과 반대 방향인 프레임이 연속하고 있으며 또한 그 연속 횟수가 10 이상인 것
이와 같이 하여 구해진 적분 벡터 Sn은 메모리 제어 회로(21)에 공급된다. 메모리 제어 회로(21)에서는, 공급된 적분 벡터 Sn에 기초하여 프레임 메모리(15)의 판독 개시 어드레스를 결정하고, 그 어드레스로부터 프레임 메모리(15)에 저장된 디지털 비디오 신호를 판독한다. 즉, 메모리 제어 회로(21)는, 마이크로컴퓨터(20)에 의해 산출된 적분 벡터 Sn에 기초하여, 프레임 메모리(15) 내의 트리밍 틀(100)을 이동시킨다.
메모리 제어 회로(21)에 의해 프레임 메모리(15)로부터 판독된 디지털 비디오 신호는, 전자 줌 회로(16)에 보내진다. 전자 줌 회로(16)는, 프레임 메모리(15)의 크기에 상당하는 비디오 신호를 얻기 위해, 프레임 메모리(15)로부터 판독된 디지털 비디오 신호에 기초하여 내삽 보간법을 이용하여 화상을 확대한다. 전 자 줌 회로(16)로부터 출력되는 디지털 비디오 신호는, 출력 단자(17)에 보내진다.
도 11은, 1 프레임 마다 행해지는 비디오 카메라(10)의 동작을 나타내고 있다.
Flag는, 「손 떨림 상태」인지 「팬 또는 틸트 상태」인지를 기억하는 플래그로서 이용된다. Flag가 리세트(Flag=0)되어 있는 경우에는 상태가 「손 떨림 상태」인 것을 나타내며, Flag가 세트(Flag=1)되어 있는 경우에는 상태가 「팬 또는 틸트 상태」인 것을 나타낸다.
먼저, Flag를 리세트(Flag=0)한다(단계 S1). 즉, 초기의 상태로서, 「손 떨림 상태」가 설정된다.
각 움직임 벡터 검출 영역 E1∼E4마다, 상관 누적값이 최소로 되는 화소의 위치 데이터에 기초하여, 부분 움직임 벡터를 구한다(단계 S2).
다음으로, 각 움직임 벡터 검출 영역 E1∼E4마다의 상관 누적값의 평균값 및 상관 누적값의 최소값에 기초하여, 각 움직임 벡터 검출 영역 E1∼E4가 유효 영역인지 무효 영역인지를 판별한다(단계 S3). 그리고, 유효 영역이 존재하는지 여부를 판별한다(단계 S4).
유효 영역이 존재하는 경우에는, 유효 영역의 부분 움직임 벡터의 평균을 전체 움직임 벡터 Vn으로 한다(단계 S5). 그리고, 단계 S7로 진행한다. 유효 영역이 존재하지 않는 경우에는, 전체 움직임 벡터 Vn을 0으로 설정한다(단계 S6). 그리고, 단계 S7로 진행한다. 단계 S7에서는, Flag=0인지의 여부를 판별한다. 즉, 「 손 떨림 상태」인지 「팬 또는 틸트 상태」인지의 여부를 판별한다.
Flag=0인 경우, 즉, 현재의 상태가 「손 떨림 상태」인 경우에는, 초점 거리 검출 회로(19)로부터 35㎜ 필름 환산의 초점 거리를 취득하고, 상기 수학식 1에 기초하여, 감쇠 계수 K를 산출한다(단계 S8). 산출된 K를 이용하여, 상기 수학식 2에 기초하여, 적분 벡터 Sn을 산출한다(단계 S9). 그리고, 제1 상태 판정 처리를 행한 후(단계 S10), 단계 S13으로 진행한다. 제1 상태 판정 처리에 대해서는, 후술한다.
상기 단계 S7에서, Flag=1인 경우, 즉, 현재의 상태가 「팬 또는 틸트 상태」인 경우에는, 상기 수학식 3에 기초하여, 적분 벡터 Sn을 산출한다(단계 S11). 그리고, 제2 상태 판정 처리를 행한 후(단계 S12), 단계 S13으로 진행한다. 제2 상태 판정 처리에 대해서는, 후술한다.
단계 S13에서는, 상기 단계 S9 또는 S11에서 산출된 적분 벡터 Sn에 대하여, 트리밍 틀의 위치를 산출한다. 그리고, 금회의 처리를 종료한다.
도 12는, 도 11의 단계 S10의 제1 상태 판정 처리의 수순을 나타내고 있다.
먼저, 현재의 35㎜ 필름 환산의 렌즈 초점 거리 F를 취득한다(단계 S21). 팬 또는 틸트 상태 판정용 임계값 Th1, Th2, Th3을, 취득한 초점 거리 F를 이용하여, 상기 수학식 4에 기초하여 산출한다(단계 22).
이 예에서는, Th1, Th2, Th3은, 각각 다음의 수학식 5, 6, 7에 기초하여 산출된다.
Figure 112005048699713-pat00005
Figure 112005048699713-pat00006
Figure 112005048699713-pat00007
다음으로, 「손 떨림 상태」로부터 「팬 또는 틸트 상태」로의 제1 천이 조건을 만족하고 있는지 여부를 판별한다(단계 S23). 즉, 전체 움직임 벡터 Vn의 방향이 동일한 방향인 프레임이 연속하고 있으며 또한 그 연속 횟수(연속 프레임 수)가 임계값 TH1 이상이라는 조건을 만족하고 있는지 여부를 판별한다. 상기 제1 천이 조건을 만족하고 있는 경우에는, 「팬 또는 틸트 상태」라고 판정하고, 즉, 「손 떨림 상태」로부터 「팬 또는 틸트 상태」로 천이하였다고 판정하며, Flag를 세트(Flag=1)한다(단계 S27). 그리고, 도 11의 단계 S13으로 이행한다.
상기 제1 천이 조건을 만족하고 있지 않은 경우에는, 「손 떨림 상태」로부터 「팬 또는 틸트 상태」로의 제2 천이 조건을 만족하고 있는지의 여부를 판별한다(단계 S24). 즉, 적분 벡터 Sn이 보정 범위의 한계값 이상인 프레임이 연속하고 있으며, 그 연속 횟수(연속 프레임 수)가 임계값 TH2 이상이라는 조건을 만족하고 있는지 여부를 판별한다. 상기 제2 천이 조건을 만족하고 있는 경우에는, 「팬 또는 틸트 상태」라고 판정하고, 즉, 「손 떨림 상태」로부터 「팬 또는 틸트 상태」 로 천이하였다고 판정하며, Flag를 세트(Flag=1)한다(단계 S27). 그리고, 도 11의 단계 S13으로 이행한다.
상기 제2 천이 조건을 만족하고 있지 않은 경우에는, 「손 떨림 상태」로부터 「팬 또는 틸트 상태」로의 제3 천이 조건을 만족하고 있는지 여부를 판별한다(단계 S25). 즉, 전체 움직임 벡터 Vn의 방향이 동일한 방향인 프레임이 연속하고 있으며 또한 그 동일한 방향으로 연속하는 전체 움직임 벡터 Vn의 적분값이 화각(트리밍 틀의 화상 사이즈)의 소정의 비율 TH3〔%〕 이상이라는 조건을 만족하고 있는지 여부를 판별한다. 상기 제3 천이 조건을 만족하고 있는 경우에는, 「팬 또는 틸트 상태」라고 판정하고, 즉, 「손 떨림 상태」로부터 「팬 또는 틸트 상태」로 천이하였다고 판정하고, Flag를 세트(Flag=1)한다(단계 S27). 그리고, 도 11의 단계 S13으로 이행한다.
상기 제3 천이 조건을 만족하고 있지 않은 경우에는, 「손 떨림 상태」라고 판정하고, Flag를 리세트(Flag=0)한다(단계 S26). 그리고, 도 11의 단계 S13으로 이행한다.
도 13은, 도 11의 단계 S11의 제2 상태 판정 처리의 수순을 나타내고 있다.
먼저, 「팬 또는 틸트 상태」로부터 「손 떨림 상태」로의 제1 천이 조건을 충족시키고 있는지의 여부를 판별한다(단계 S31). 즉, 전체 움직임 벡터 Vn이 0.5 화소 이하인 프레임이 연속하고 있으며 또한 그 연속 횟수(연속 프레임 수)가 10 이상이라는 조건을 만족하고 있는지의 여부를 판별한다. 상기 제1 조건을 만족하 고 있는 경우에는, 「손 떨림 상태」라고 판정하고, 즉, 「팬 또는 틸트 상태」로부터 「손 떨림 상태」로 천이하였다고 판정하며, Flag를 리세트(Flag=0)한다(단계 S34). 그리고, 도 11의 단계 S13으로 이행한다.
상기 제1 천이 조건을 만족하고 있지 않은 경우에는, 「팬 또는 틸트 상태」로부터 「손 떨림 상태」로의 제2 천이 조건을 만족하고 있는지의 여부를 판별한다(단계 S32). 즉, 전체 움직임 벡터 Vn의 방향이, 「손 떨림 상태」로부터 「팬 또는 틸트 상태」로 천이하였을 때의 전체 움직임 벡터 Vn의 방향과 반대 방향인 프레임이 연속하고 있으며 또한 그 연속 횟수가 10 이상이라는 조건을 만족하고 있는지 여부를 판별한다. 상기 제2 천이 조건을 만족하고 있는 경우에는, 「손 떨림 상태」라고 판정하고, 즉, 「팬 또는 틸트 상태」로부터 「손 떨림 상태」로 천이하였다고 판정하고, Flag를 리세트(Flag=0)한다(단계 S34). 그리고, 도 11의 단계 S13으로 이행한다.
상기 제2 천이 조건을 만족하고 있지 않은 경우에는, 「팬 또는 틸트 상태」라고 판정하고, Flag를 세트(Flag=1)한다(단계 S33). 그리고, 도 11의 단계 S13으로 이행한다.
이와 같이 동작하는 비디오 카메라(10)에서는, 종래에서 팬 또는 틸트 조작 시에 스틱감이 현저해지는 광학 와이드측에서는, 감쇠 계수 K가 작아진다. 이 때문에, 광학 와이드측에서는, 저주파수대의 흔들림의 보정 정도가 약해지기 때문에, 예를 들면, 팬·틸트 상태의 검출에 실패한 경우라도, 팬·틸트 조작 개시 시의 비디오 카메라의 움직임의 어느 정도는 보정되지 않고 남아 있어, 스틱감은 경감된다.
또한, 광학 와이드측일수록, 팬 또는 틸트 상태라고 판정되기 쉬워지도록, 초점 거리 F에 따라 각 판정 임계값 TH1, TH2, TH3을 변화시키고 있기 때문에, 광학 와이드측에서의 팬 또는 틸트 상태의 검출 감도가 높아져서, 광학 와이드측에서 스틱감은 경감된다.
따라서, 종래에 비해, 광학 와이드측에서의 조작성이 향상되어(흔들거리는 움직임이 저감되어), 전체 줌 영역에서 양호한 조작성을 갖는 손 떨림 보정이 가능하게 된다.
도 14a, 도 14b 및 도 14c는, 광학 와이드단에서, 실제 상태가 손 떨림 상태로부터 팬 상태로 변화된 경우의 프레임 수와 비디오 카메라(10)의 표시 화상(구도)의 이동량 간의 관계를 나타내고 있다.
도 14a는 손 떨림 보정을 행하지 않는 경우의 구도의 이동량을 나타내며, 도 14b는 종래 기술(감쇠 계수 K=0.95로 고정)에 의해 손 떨림 보정을 행한 경우의 구도의 이동량을 나타내고, 도 14c는 본 실시예(감쇠 계수 0.9)에 의해 손 떨림 보정을 행한 경우의 구도의 이동량을 나타낸다.
기간 T1에 나타낸 바와 같이 실제 상태가 손 떨림 상태인 경우에는, 비디오 카메라(10)에서도 「손 떨림 상태」라고 판정되며, 종래 기술(도 14b)에서는 K=0.95에 의해, 본 실시예(도 14c)에서는 K=0.9에 의해, 손 떨림 보정이 행해진다. 본 실시예(도 14c)에서는 감쇠 계수 K가 작기 때문에 보정 잔존률이 비교적 높다.
그리고, 기간 T2에 나타나는 바와 같이, 실제 상태가 손 떨림 상태로부터 팬 상태로 변화하면, 변환 후에도 처음에는 「손 떨림 상태」라고 판정되어 있기 때문에, 손 떨림 보정이 행해져 있으나, 그 후, 「손 떨림 상태」로부터 「팬 또는 틸트 상태」로의 제1 천이 조건, 제2 천이 조건 또는 제3 천이 조건 중 어느 하나의 조건이 만족되어, 비디오 카메라(10)에 의한 판정 결과가 「손 떨림 상태」로부터 「팬 또는 틸트 상태」로 천이한다. 그 결과, 손 떨림 보정이 행해지지 않게 되어, 보정 후의 구도의 움직임은, 손 떨림 보정을 행하지 않는 경우와 동일하게 된다.
실제 상태가 손 떨림 상태로부터 팬 상태로 변화된 후부터, 비디오 카메라(10)에 의한 판정 결과가 「손 떨림 상태」로부터 「팬 또는 틸트 상태」로 천이할 때까지의 기간 동안에, 종래 기술(도 14b)에서는 감쇠 계수 K가 커서, 저주파 성분의 흔들림까지 강하게 보정하기 때문에, 팬 조작 개시 시의 완만한 상승이 거의 없게 되어서, 스틱 현상이 현저하게 됨과 함께, 「팬 또는 틸트 상태」로의 천이 직후에 급격하게 화면이 움직이는 등의 현상이 현저해진다. 한편, 본 실시예(도 14c)에서는 감쇠 계수 K가 작고, 저주파 성분의 흔들림에 대한 보정의 정도가 약하기 때문에, 팬 조작 개시 시의 완만한 상승은 어느 정도 남아서, 스틱 현상은 경감된다.
도 15a 및 도 15b는, 광학 텔레포토단에서, 실제 상태가 손 떨림 상태로부터 팬 상태로 변화된 경우의 프레임 수와 비디오 카메라(10)의 표시 화상(구도)의 이동량 간의 관계를 나타내고 있다.
도 15a는 손 떨림 보정을 행하지 않은 경우의 구도의 이동량을 나타내고, 도 15b는 종래 기술 및 본 실시예(감쇠 계수 K=0.95)에 의해 손 떨림 보정을 행한 경우의 구도의 이동량을 나타낸다.
기간 T1에 나타낸 바와 같이, 실제 상태가 손 떨림 상태인 경우에는, 도 15b에 도시한 바와 같이, 종래 기술 및 본 실시예에서는, 「손 떨림 상태」라고 판정되고, K=0.95에 의해, 손 떨림 보정이 행해진다. 그리고, 기간 T2에 나타낸 바와 같이, 실제 상태가 손 떨림 상태로부터 팬 상태로 변화되면, 변화 후에도 처음에는 「손 떨림 상태」라고 판정되어 있기 때문에, 손 떨림 보정이 행해지고 있지만, 그 후, 「손 떨림 상태」로부터 「팬 또는 틸트 상태」로의 제1 천이 조건, 제2 천이 조건 또는 제3 천이 조건 중 어느 하나의 조건이 만족되어, 비디오 카메라(10)에 의한 판정 결과가 「손 떨림 상태」로부터 「팬 또는 틸트 상태」로 천이된다. 그 결과, 손 떨림 보정이 행해지지 않게 되어, 보정 후의 구도의 움직임은, 손 떨림 보정을 행하지 않는 경우와 동등하게 된다.
실제 상태가 손 떨림 상태로부터 팬 상태로 변화된 직후에는, 「손 떨림 상태」로 판정되어 있으나, 표시 화면의 움직임은 광학 와이드단에 비해, 광학 텔레포토단쪽이 훨씬 커서, 순간적으로 보정 범위를 초과하게 되기 때문에, 손 떨림 보정의 효과가 없어지므로, 광학 텔레포토단에서는 애당초 스틱감은 적다.
본 실시예에서는, 광학 텔레포토측에서는 원래 스틱감은 적기 때문에, 종래 기술과 마찬가지로 큰 감쇠 계수에 의해 저주파의 흔들림까지 충분히 손 떨림 보정을 행할 수 있으며, 광학 와이드측에서는 감쇠 계수를 작게 하여, 팬 또는 틸트 조 작 개시 시의 완만한 상승이 없어지지 않도록 함으로써, 스틱감을 저감할 수 있다.
또한, 움직임 벡터는, 대표점 매칭법을 이용하여 구하는 것 이외에, 예를 들면 각속도 센서를 이용하여 구하여도 된다. 또한, 손 떨림 보정은 화상 메모리의 트리밍 위치를 제어하는 것 이외에, 예를 들면, 렌즈 각도, 렌즈 위치 또는 수광 소자의 위치를 제어하여도 된다.
본 발명에 따르면, 팬 또는 틸트 상태의 정확한 검출이 곤란한 경우라도, 광학 와이드단에서 현저한 팬 조작 또는 틸트 조작 시의 위화감을 없앨 수 있다.

Claims (7)

  1. 줌 배율에 따른 값을 검출하는 줌 검출 수단,
    화상의 흔들림을 검출하는 흔들림 검출 수단, 및
    흔들림 검출 수단에 의해 검출된 흔들림량과, 줌 검출 수단에 의해 검출된 줌 배율에 따른 값에 기초하여, 화상의 흔들림을 보정하기 위한 보정량으로서, 흔들림의 주파수에 대한 보정 잔존률의 특성이 변경 가능한 보정량을 생성하는 보정량 생성 수단
    을 구비하고 있으며,
    보정량 생성 수단은, 줌 검출 수단에 의해 검출된 줌 배율에 따른 값에 따라, 흔들림의 주파수에 대한 보정 잔존률의 특성을 변경시키는 것을 특징으로 하는 손 떨림 보정 장치.
  2. 제1항에 있어서,
    보정량 생성 수단은, 줌 배율이 클수록, 흔들림의 저주파수대에 대한 보정의 정도가 강해지도록, 흔들림의 주파수에 대한 보정 잔존률의 특성을 변경시키는 것을 특징으로 하는 손 떨림 보정 장치.
  3. 줌 배율에 따른 값을 검출하는 줌 검출 수단,
    화상의 흔들림을 검출하는 흔들림 검출 수단,
    촬영자의 의도적인 카메라 운동에 의한 흔들림 상태와 손 떨림 상태를 판별하는 상태 판별 수단, 상태 판별 수단에 의해 손 떨림 상태라고 판별되어 있을 때에는, 흔들림 검출 수단에 의해 검출된 흔들림량과, 줌 검출 수단에 의해 검출된 줌 배율에 따른 값에 기초하여, 화상의 흔들림을 보정하기 위한 보정량으로서, 흔들림의 주파수에 대한 보정 잔존률의 특성이 변경 가능한 보정량을 생성하는 제1 보정량 생성 수단, 및
    상태 판별 수단에 의해 촬영자의 의도적인 카메라 운동에 의한 흔들림 상태라고 판별되어 있을 때에는, 화상의 흔들림을 보정하기 위한 보정량을, 1 프레임 전의 보정량으로 하는 제2 보정량 생성 수단
    을 구비하고 있으며,
    제1 보정량 생성 수단은, 줌 검출 수단에 의해 검출된 줌 배율에 따른 값에 따라, 흔들림의 주파수에 대한 보정 잔존률의 특성을 변경시키는 것을 특징으로 하는 손 떨림 보정 장치.
  4. 제3항에 있어서,
    보정량 생성 수단은, 줌 배율이 클수록, 흔들림의 저주파수대에 대한 보정의 정도가 강해지도록, 흔들림의 주파수에 대한 보정 잔존률의 특성을 변경시키는 것을 특징으로 하는 손 떨림 보정 장치.
  5. 제3항에 있어서,
    상태 판별 수단은, 이하 중 어느 하나의 조건
    (a) 흔들림 검출 수단에 의해 검출된 흔들림의 방향이 동일한 방향인 프레임이 연속하고 있으며 그 연속 횟수가 제1 임계값 이상인 것
    (b) 제1 보정량 생성 수단에 의해 생성된 보정량이 보정 범위의 한계값 이상인 프레임이 연속하고 있으며, 그 연속 횟수가 제2 임계값 이상인 것
    (c) 흔들림 검출 수단에 의해 검출된 흔들림의 방향이 동일한 방향인 프레임이 연속하고 있으며 또한 그 동일한 방향으로 연속하는 흔들림의 적분값이 화각의 제3 임계값 이상의 비율인 것
    이 만족되었을 때에, 촬영자의 의도적인 카메라 운동에 의한 흔들림 상태로 판별하는 것을 특징으로 하는 손 떨림 보정 장치.
  6. 제5항에 있어서,
    상태 판별 수단은, 제1 임계값, 제2 임계값 및 제3 임계값을, 줌 검출 수단에 의해 검출된 줌 배율에 따른 값에 따라 제어하는 임계값 제어 수단을 포함하고 있는 것을 특징으로 하는 손 떨림 보정 장치.
  7. 제6항에 있어서,
    임계값 제어 수단은, 줌 배율이 작을수록, 제1 임계값, 제2 임계값 및 제3 임계값이 작아지도록, 제1 임계값, 제2 임계값 및 제3 임계값을 제어하는 것을 특징으로 하는 손 떨림 보정 장치.
KR1020050080641A 2004-08-31 2005-08-31 손 떨림 보정 장치 KR100680096B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004253416A JP4187704B2 (ja) 2004-08-31 2004-08-31 手ぶれ補正装置
JPJP-P-2004-00253416 2004-08-31

Publications (2)

Publication Number Publication Date
KR20060050868A KR20060050868A (ko) 2006-05-19
KR100680096B1 true KR100680096B1 (ko) 2007-02-09

Family

ID=35431358

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050080641A KR100680096B1 (ko) 2004-08-31 2005-08-31 손 떨림 보정 장치

Country Status (6)

Country Link
US (1) US7502050B2 (ko)
EP (1) EP1631063A3 (ko)
JP (1) JP4187704B2 (ko)
KR (1) KR100680096B1 (ko)
CN (1) CN100568924C (ko)
TW (1) TWI280048B (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3980565B2 (ja) * 2004-02-16 2007-09-26 松下電器産業株式会社 運転支援装置
JP4404822B2 (ja) 2004-08-31 2010-01-27 三洋電機株式会社 手ぶれ補正装置および撮像機器
US7791642B2 (en) * 2004-12-13 2010-09-07 Fujifilm Corporation Image-taking apparatus
JP4794938B2 (ja) * 2005-07-27 2011-10-19 富士フイルム株式会社 監視システム、監視装置、監視方法、及びプログラム
JP4783252B2 (ja) * 2006-04-18 2011-09-28 富士通株式会社 手ぶれ補正機能付き撮像装置、手ぶれ補正方法、手ぶれ補正処理の前処理プログラム、および、保存画像決定プログラム
JP4201809B2 (ja) * 2006-11-13 2008-12-24 三洋電機株式会社 手ぶれ補正装置及び方法並びに撮像装置
JP2008160175A (ja) * 2006-12-20 2008-07-10 Olympus Imaging Corp デジタルカメラ
JP5153157B2 (ja) * 2007-02-15 2013-02-27 三洋電機株式会社 ビデオカメラ
JP5159189B2 (ja) * 2007-06-29 2013-03-06 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
KR101362761B1 (ko) * 2007-10-05 2014-02-13 삼성전자주식회사 카메라 패닝 상황에서 안정적인 손떨림 보정 방법 및 장치
US7800652B2 (en) * 2007-12-12 2010-09-21 Cyberlink Corp. Reducing video shaking
JP4958756B2 (ja) 2007-12-13 2012-06-20 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
JP5242151B2 (ja) * 2007-12-21 2013-07-24 セミコンダクター・コンポーネンツ・インダストリーズ・リミテッド・ライアビリティ・カンパニー 振動補正制御回路及びそれを備えた撮像装置
JP5237622B2 (ja) * 2007-12-21 2013-07-17 セミコンダクター・コンポーネンツ・インダストリーズ・リミテッド・ライアビリティ・カンパニー 振動補正制御回路及びそれを備えた撮像装置
JP5065060B2 (ja) * 2008-01-16 2012-10-31 キヤノン株式会社 撮像装置及びその制御方法
JP4513871B2 (ja) * 2008-02-15 2010-07-28 ソニー株式会社 画像処理方法、画像処理プログラムおよび画像処理装置
JP5395512B2 (ja) * 2009-05-26 2014-01-22 オリンパスイメージング株式会社 撮影装置
JP5414620B2 (ja) * 2010-05-24 2014-02-12 パナソニック株式会社 画像処理装置、画像処理方法、プログラム、及び集積回路
JP2012088435A (ja) * 2010-10-18 2012-05-10 Nikon Corp 電子機器、撮像装置および制御プログラム
JP6242145B2 (ja) * 2013-10-10 2017-12-06 キヤノン株式会社 像振れ補正装置、その制御方法および撮像装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10191153A (ja) 1996-12-26 1998-07-21 Canon Inc 撮像機器の振れ補正方法及び装置並びに記憶媒体
KR19990025093A (ko) * 1997-09-05 1999-04-06 구자홍 캠코더의 떨림 보정장치 및 그 방법
JPH11266389A (ja) 1998-03-17 1999-09-28 Canon Inc 撮像装置
KR20040060462A (ko) * 2002-12-30 2004-07-06 엘지전자 주식회사 움직임벡터를 이용한 카메라 흔들림 보정 장치

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2563567B2 (ja) * 1989-03-20 1996-12-11 松下電器産業株式会社 揺れ補正装置
US5371539A (en) * 1991-10-18 1994-12-06 Sanyo Electric Co., Ltd. Video camera with electronic picture stabilizer
US5748231A (en) * 1992-10-13 1998-05-05 Samsung Electronics Co., Ltd. Adaptive motion vector decision method and device for digital image stabilizer system
EP0611125B1 (en) 1993-02-12 2000-11-22 Sony Corporation Electronic zoom control and image stabilization
JP2940762B2 (ja) * 1993-06-28 1999-08-25 三洋電機株式会社 手振れ補正装置を有するビデオカメラ
EP0632649B1 (en) * 1993-06-29 2001-10-31 SANYO ELECTRIC Co., Ltd. Video camera with electronic picture stabilizer and generation of addition data
JPH07123317A (ja) * 1993-10-21 1995-05-12 Canon Inc 防振機能付き撮影装置
DE69423430T2 (de) * 1993-12-02 2000-09-07 Canon K.K., Tokio/Tokyo Vorrichtung zur Bildzitterkorrektur
JP3208264B2 (ja) 1994-11-24 2001-09-10 三洋電機株式会社 手振れ補正装置およびそれを用いたビデオカメラ
JP3538965B2 (ja) 1995-05-30 2004-06-14 ソニー株式会社 手振れ補正装置及び方法並びに手振れ補正処理装置及び方法
US5959666A (en) * 1995-05-30 1999-09-28 Sony Corporation Hand deviation correction apparatus and video camera
JP4072348B2 (ja) * 2002-01-25 2008-04-09 キヤノン株式会社 振れ補正装置、撮像装置、振れ補正方法、振れ補正装置の制御プログラム、及び記憶媒体
DE10348567A1 (de) * 2002-10-22 2004-05-13 Fuji Photo Optical Co. Ltd. Bildunschärfekorrektureinrichtung

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10191153A (ja) 1996-12-26 1998-07-21 Canon Inc 撮像機器の振れ補正方法及び装置並びに記憶媒体
KR19990025093A (ko) * 1997-09-05 1999-04-06 구자홍 캠코더의 떨림 보정장치 및 그 방법
JPH11266389A (ja) 1998-03-17 1999-09-28 Canon Inc 撮像装置
KR20040060462A (ko) * 2002-12-30 2004-07-06 엘지전자 주식회사 움직임벡터를 이용한 카메라 흔들림 보정 장치

Also Published As

Publication number Publication date
US20060044403A1 (en) 2006-03-02
JP4187704B2 (ja) 2008-11-26
TWI280048B (en) 2007-04-21
TW200611561A (en) 2006-04-01
US7502050B2 (en) 2009-03-10
KR20060050868A (ko) 2006-05-19
EP1631063A3 (en) 2010-04-14
JP2006074261A (ja) 2006-03-16
CN100568924C (zh) 2009-12-09
CN1744671A (zh) 2006-03-08
EP1631063A2 (en) 2006-03-01

Similar Documents

Publication Publication Date Title
KR100655846B1 (ko) 손떨림 보정 장치 및 촬상 기기
KR100680096B1 (ko) 손 떨림 보정 장치
US5563652A (en) Video camera with electronic picture stabilizer
EP0632649B1 (en) Video camera with electronic picture stabilizer and generation of addition data
US8319842B2 (en) Image capturing apparatus to prevent image blurring and control method therefor
US10136064B2 (en) Image processing apparatus and method of controlling image processing apparatus
US6396538B1 (en) Video camera with optical zoom mechanism and picture stabilizer
US11258948B2 (en) Image pickup apparatus, control method of image pickup apparatus, and storage medium
JPH08172566A (ja) 手振れ補正装置およびそれを用いたビデオカメラ
US10827124B2 (en) Shake correction device, imaging apparatus, and shake correction method
KR101795604B1 (ko) 자동 초점 조절 장치 및 그 제어방법
JP2007267184A (ja) 撮像装置
CN107105152B (zh) 变焦控制设备、摄像设备和变焦控制方法
JPH0686149A (ja) 動きベクトル検出装置及びビデオカメラ
JP2944369B2 (ja) ビデオカメラの手振れ補正装置およびビデオカメラ
JP3208264B2 (ja) 手振れ補正装置およびそれを用いたビデオカメラ
JPH0746455A (ja) ビデオカメラ
JP3213492B2 (ja) 手振れ補正装置およびそれを用いたビデオカメラ
JP3152574B2 (ja) 手振れ補正装置およびそれを用いたビデオカメラ
JPH07115583A (ja) 手振れ補正装置を有するビデオカメラ
JPH10210350A (ja) ビデオカメラの手振れ補正装置及び方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130117

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140117

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150119

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160104

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170102

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20180103

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20190103

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20200103

Year of fee payment: 14