KR20130102929A - 카메라의 이미지 안정화 장치 및 방법 - Google Patents

카메라의 이미지 안정화 장치 및 방법 Download PDF

Info

Publication number
KR20130102929A
KR20130102929A KR1020120024133A KR20120024133A KR20130102929A KR 20130102929 A KR20130102929 A KR 20130102929A KR 1020120024133 A KR1020120024133 A KR 1020120024133A KR 20120024133 A KR20120024133 A KR 20120024133A KR 20130102929 A KR20130102929 A KR 20130102929A
Authority
KR
South Korea
Prior art keywords
offset
angular velocity
camera
gyro sensor
output
Prior art date
Application number
KR1020120024133A
Other languages
English (en)
Inventor
이승권
이선표
오은택
정광성
최용석
Original Assignee
주식회사 동운아나텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 동운아나텍 filed Critical 주식회사 동운아나텍
Priority to KR1020120024133A priority Critical patent/KR20130102929A/ko
Publication of KR20130102929A publication Critical patent/KR20130102929A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 스마트폰과 같은 모바일 기기의 카메라에 적용되어 초기 OIS 구동시 자이로 센서의 출력값을 사전에 영점으로 설정된 값으로 강제적으로 조정함으로써 렌즈의 회전각 제어를 정확하게 수행할 수 있도록 한 카메라의 이미지 안정화 장치 및 방법에 관한 것이다.
본 발명의 일 특징에 따른 카메라의 이미지 안정화 장치는 자이로 센서에서 출력되는 요(yaw) 또는 피치(pitch) 축에 대한 회전 각속도에 의해 카메라의 손떨림 움직임의 각도를 감지한 후에 손떨림 움직임을 보정하는 방향으로 렌즈나 이미지 센서를 이동시키는 카메라의 이미지 안정화 장치에 있어서, 정지 상태에서의 자이로 센서의 출력인 오프셋이 저장되어 있는 메모리 및 카메라의 전원 투입시에 미리 정해진 시간 동안 상기 메모리에 저장되어 있는 상기 오프셋을 상기 자이로 센서의 출력으로 적용시키는 오프셋 적용기를 포함한 것을 특징으로 한다.
상기 손떨림 움직임의 보정은, 상기 자이로 센서에서 출력된 회전 각속도에서 오프셋을 제거하는 오프셋 제거기; 오프셋이 제거된 상기 회전 각속도에서 정적 에러와 동적 에러로 이루어진 잡음 성분을 추출하는 잡음성분 추출기; 오프셋이 제거된 상기 회전 각속도에서 상기 잡음 성분을 제거하고 순수 회전 각속도를 출력하는 잡음성분 제거기 및 상기 잡음 성분이 제거된 상기 순수 회전 각속도를 적분하여 손떨림 각도를 산출하는 적분기에 의해 수행되는 것을 특징으로 한다.

Description

카메라의 이미지 안정화 장치 및 방법{optical image stabilization apparatus of camera and the method thereof}
본 발명은 카메라의 이미지 안정화 장치 및 방법에 관한 것으로, 특히 스마트폰과 같은 모바일 기기의 카메라에 적용되어 OIS 초기 구동시 자이로 센서의 출력값을 사전에 영점으로 설정된 값으로 강제적으로 조정함으로써 렌즈의 회전각 제어를 정확하게 수행할 수 있도록 한 카메라의 이미지 안정화 장치 및 방법에 관한 것이다.
근래 들어 스마트폰이나 스마트 패드와 같이 범용 OS(Operation System) 및 카메라를 채택한 각종 휴대 단말기가 널리 사용되고 있는바, 높은 사양의 카메라를 갖추었는지의 여부가 사용자가 휴대 단말기를 선택함에 있어 중요한 요소로 작용하고 있다.
한편, 일반 카메라의 경우 통상적으로 셔터 스피드가 1/125초 이상이면 영상 촬영시 사용자의 손이 어느 정도 떨리더라도 흔들림 없는 안정된 해상도의 사진을 얻을 수 있다. 그러나 스마트폰과 같은 모바일 기기에 장착된 카메라는 일반 카메라에 비해 렌즈 구경이 작기 때문에 영상 촬영시 일반 카메라보다 광량이 부족하다. 그래서 모바일 기기에 장착된 카메라는 부족한 광량을 보상하기 위해 상대적으로 느린 셔터 스피드를 사용하게 되는데, 이 경우 미세한 손떨림에도 화상의 흔들림이 발생하여 선명한 사진을 얻기 어렵다. 특히 손떨림으로 인한 화상의 흔들림은 광량이 부족한 실내나 야간, 흐린 날에는 더욱 심해진다.
이러한 손떨림이나 기기의 흔들림에 의해 발생되는 이미지의 불안정함을 해소하기 위해서 손떨림을 보정하는 등의 다양한 이미지 안정화 기술(OIS: Optical Image Stabilization) 기술이 제안되어 있다. 이런 손떨림 보정을 위해 종래에는 자이로 센서(Gyro sensor) 등을 사용하여 기기의 움직임 량을 측정한 후에 VCA(Voice Coil Actuator) 등에 의해 렌즈 또는 CCD(Charge Coupled Devide)나 CMOS(Complementary Metal-Oxide Semiconductor)같은 이미지 센서를 상하좌우로 이동시켜 광축으로부터 벗어난 영상을 원래 위치로 복귀시키고 있다.
한편, 자이로 센서는 회전율(rate-of-turn), 즉 요(yaw)나 피치(pitch)의 2축 또는 이에 더하여 롤링(rolling)까지 포함하는 3축 회전 각속도 정보를 출력하는 센서로서 그 출력 정보를 수치적으로 적분하면 회전 각도 정보를 얻을 수 있다. 본 발명은 적어도 각축에 대한 회전 각속도 정보를 출력하는 자이로 센서를 채택한 카메라에 대해 적용이 가능하다.
도 1은 종래 OIS 초기 구동시 발생되는 자이로 센서를 통한 각도 추출 과정에서 발생되는 영점 이탈 현상을 설명하기 위한 시뮬레이션 그래프이다. 카메라에 전원이 투입되어 OIS가 초기 구동되는 경우에 기기의 진동에 따라 자이로 센서에서는 도 1의 좌측 그래프에 도시한 바와 같이 정현파의 회전 각속도 데이터가 출력되게 된다. 이때 "(1)"번 또는 "(5)"번 시점부터 회전 각속도를 누적(적분)하여 각도를 추출할 경우에는 도 1의 우측 상단 그래프와 같이 정확하게 0°를 기준으로 포화되어 상하로 출렁이는 각도 데이터를 얻을 수가 있다.
그러나 만일 OIS 초기 구동시 도 1의 좌측 그래프의 "(3)"번 시점 또는 "(6)"번 시점부터 회전 각속도를 누적하여 각도를 추출한 경우에 그 각도가 도 1의 우측 중단 또는 하단 그래프와 같이 ±1°에서 포화됨으로써 영점을 기준으로 이동해야할 렌즈의 이동 방향값이 틀어지게 된다.
물론 이 경우에도 포화된 각도 크기만큼 더하거나 빼는 방법이 있을 수 있으나 손 안에서 계속해서 움직이는 모바일 기기의 특성상 이러한 오차가 실제로 포화된 값인지 아닌지를 판단하기가 매우 어렵다는 문제점이 있다.
한편, 휴대 단말기 등에 주로 채택되는 MEMS(Micro Electro Mechanical Systems) 기반의 저가형 자이로 센서는 회전 각도를 추출하는 과정에서 많은 드리프트 에러(drift error)가 발생되는데, 이러한 에러가 OIS 시스템의 성능을 저하시키는 주요 원인으로 작용한다(참고문헌 1~4). 그리고 이러한 드리프트 오차를 최소화하여 정확한 영점과 각도를 유지하기 위해 칼만 필터를 이용한 기술 등이 연구되고 있으나, 모바일 기기에 탑재된 카메라에 적용하기에는 공간 및 가격이 걸림돌로 작용하는 문제점이 있다[참고문헌 5, 6).
한편, 전술한 문제점을 해결하기 위해 자이로 센서 정보만을 이용하여 드리프트 오차를 제거하는 HDR 알고리즘이 사용(참고문헌 7)되고 있으나, 최적의 성능을 내기 위해서는 경험적인 실험이 반복되어야 할 뿐만 아니라 실험을 통해 변경되어야 하는 파라미터들이 많아 모바일 기기에 탑재된 카메라에 적용하기에는 무리가 따른다.
본 발명은 전술한 문제점을 해결하기 위해 안출된 것으로서, 스마트폰과 같은 모바일 기기의 카메라에 적용되어 OIS 초기 구동시 자이로 센서의 출력값을 사전에 영점으로 설정된 값으로 강제적으로 조정함으로써 렌즈의 회전각 제어를 정확하게 수행할 수 있도록 한 카메라의 이미지 안정화 장치 및 방법을 제공함을 목적으로 한다.
전술한 목적을 달성하기 위한 본 발명의 일 특징에 따른 카메라의 이미지 안정화 장치는 자이로 센서에서 출력되는 요(yaw) 또는 피치(pitch) 축에 대한 회전 각속도에 의해 카메라의 손떨림 움직임의 각도를 감지한 후에 손떨림 움직임을 보정하는 방향으로 렌즈나 이미지 센서를 이동시키는 카메라의 이미지 안정화 장치에 있어서, 정지 상태에서의 자이로 센서의 출력인 오프셋이 저장되어 있는 메모리 및 카메라의 전원 투입시에 미리 정해진 시간 동안 상기 메모리에 저장되어 있는 상기 오프셋을 상기 자이로 센서의 출력으로 적용시키는 오프셋 적용기를 포함한 것을 특징으로 한다.
전술한 구성에서, 상기 오프셋은 제품 출하 전에 정지 상태에서 상기 자이로 센서가 매 샘플링 간격마다 출력하는 오프셋을 미리 정해진 회수만큼 평균하여 얻어진 것을 특징으로 한다.
한편, 상기 손떨림 움직임의 보정은, 상기 자이로 센서에서 출력된 회전 각속도에서 오프셋을 제거하는 오프셋 제거기; 오프셋이 제거된 상기 회전 각속도에서 정적 에러와 동적 에러로 이루어진 잡음 성분을 추출하는 잡음성분 추출기; 오프셋이 제거된 상기 회전 각속도에서 상기 잡음 성분을 제거하고 순수 회전 각속도를 출력하는 잡음성분 제거기 및 상기 잡음 성분이 제거된 상기 순수 회전 각속도를 적분하여 손떨림 각도를 산출하는 적분기에 의해 수행되는 것을 특징으로 한다.
상기 자이로 센서는 디지털 회전 각속도 데이터를 출력하는 것을 특징으로 한다. 이와는 달리 상기 자이로 센서에서 출력된 아날로그 회전 각속도를 상응하는 크기의 디지털 회전 각속도로 변환하여 상기 오프셋 제거기에 전달하는 아날로그-디지털 변환기를 더 구비할 수도 있다.
상기 잡음성분 추출기는
Figure pat00001
에 의해 동작하는 LPF로 이루어지되, gi는 상기 LPF의 게인을 결정하는 파라미터이고, lp(k-1)은 직전에 샘플링되어 처리된 LPF의 출력을 나타내며, vg는 오프셋이 제거된 회전 각속도인 것을 특징으로 한다.
본 발명의 다른 특징에 따른 카메라의 이미지 안정화 방법은 카메라에 전원이 투입되면 사전에 메모리에 저장된 오프셋(Ofs)을 독출한 후에 이를 소정 시간 동안 자이로 센서의 출력으로 처리하여 강제적으로 영점을 조정하는 (a) 단계; 상기 (a) 단계 이후에 자이로 센서의 출력인 회전 각속도(ω0)에서 상기 오프셋(Ofs)을 제거하는 (b) 단계; 상기 오프셋(Ofs)이 제거된 회전 각속도(vg)에서 정적 에러(εs)와 동적 에러(εd)로 이루어진 잡음 성분(lp)을 추출한 후에 상기 오프셋(Ofs)이 제거된 회전 각속도(vg)에서 제거하여 손떨림에 의한 순수 회전 각속도(ωt)를 출력하는 (c) 단계 및 상기 순수 회전 각속도(ωt)를 적분하여 이동량을 산출한 후에 손떨림을 보상하는 방향으로 렌즈 또는 이미지 센서를 이동시키는 (d) 단계를 포함하여 이루어진다.
전술한 본 발명의 다른 특징에서, 상기 오프셋(Ofs)은 제품 출하 전에 정지 상태에서 자이로 센서가 매 샘플링 간격마다 출력하는 오프셋을 미리 정해진 회수만큼 재귀 평균하여 얻어진 것을 특징으로 한다.
상기 (c) 단계에서의 상기 잡음 성분(lp) 추출은
Figure pat00002
에 의해 동작하는 LPF로 이루어지되, gi는 상기 LPF의 게인을 결정하는 파라미터이고, lp(k-1)은 직전에 샘플링되어 처리된 LPF의 출력을 나타내며, vg는 오프셋이 제거된 회전 각속도인 것을 특징으로 한다.
본 발명의 카메라의 이미지 안정화 장치 및 방법에 따르면, 스마트폰과 같은 모바일 기기의 카메라에 적용되어 OIS 초기 구동시 자이로 센서의 출력값을 사전에 영점으로 설정된 값으로 강제적으로 조정함으로써 렌즈의 회전각 제어를 정확하게 수행할 수가 있다.
나아가, 자이로 센서에서 출력되는 저주파 노이즈 성분을 검출하는 LPF의 이득을 결정하는 파라미터만을 실험을 통해 적절하게 조정하는 간단한 방법에 의해 자이로 센서의 드리프트 에러를 효과적으로 제거할 수 있기 때문에 모바일 기기의 카메라에 무리 없이 적용할 수 있다.
도 1은 종래 OIS 초기 구동시 자이로 센서를 통한 각도 추출 과정에서 발생되는 영점 이탈 현상을 설명하기 위한 시뮬레이션 그래프.
도 2는 본 발명의 카메라의 이미지 안정화 장치의 블록 구성도.
도 3은 본 발명의 카메라 이미지 보정 장치에서 평균 오프셋을 메모리에 저장하는 과정을 설명하기 위한 흐름도.
도 4는 도 3에서 오프셋의 재귀 평균을 구하는 과정을 설명하기 위한 흐름도.
도 5는 본 발명의 카메라의 이미지 안정화 방법을 설명하기 위한 흐름도.
도 6은 평균 오프셋의 강제 적용 여부에 따른 손떨림 보정 결과를 시뮬레이션한 그래프.
도 6은 평균 오프셋의 강제 적용 여부에 따른 손떨림 보정 결과를 시뮬레이션한 그래프.
도 7은 도 2에서 오프셋 제거기(210)와 잡음성분 추출기(220)의 실험에 의한 출력을 보인 그래프.
도 8은 본 발명의 카메라의 이미지 안정화 장치에 의해 보정된 자이로 각도와 보정 전의 자이로 각도를 보인 그래프.
이하에는 첨부한 도면을 참조하여 본 발명의 카메라의 이미지 안정화 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
도 2는 본 발명의 카메라의 이미지 안정화 장치의 블록 구성도이다. 도 2에 도시한 바와 같이, 본 발명의 카메라의 이미지 안정화 장치는 크게 매 샘플링 간격마다 카메라의 요(yaw) 축과 피치(pitch) 축에 대한 디지털 회전 각속도(이하 간단히 '회전 각속도'라 한다)를 출력하는 자이로 센서(Gyro sensor)(10), 제품의 출하 전에 측정된 평균 오프셋(offset)(Ofs)이 저장되어 있는 메모리(100), 손떨림을 보정하여 이미지를 안정화시키는 손떨림 보정부(200) 및 OIS 초기 구동시 메모리(100)에 저장되어 있는 평균 오프셋(Ofs)을 자이로 센서(10의 출력으로 하여 소정 시간 동안 강제적으로 손떨림 보정부(200)에 전달하는 평균 오프셋 적용기(150)를 포함하여 이루어진다.
도 3은 본 발명의 카메라 이미지 보정 장치에서 평균 오프셋을 메모리에 저장하는 과정을 설명하기 위한 흐름도이고, 도 4는 도 3에서 오프셋의 재귀 평균을 구하는 과정을 설명하기 위한 흐름도인바, 이 과정은 제품의 출하 전에 수행되는 과정이다. 먼저, 도 3에 도시한 바와 같이, 단계 S10에서는 자이로 센서(10)로부터 정지 상태의 출력값, 즉 오프셋을 수집하는데, 비록 정지 상태라 하더라도 전원에 의한 저주파 노이즈 성분, 즉 후술하는 정적 에러 등에 의해 이러한 오프셋이 미세하게 변하기 때문에 이러한 오프셋을 소정 회수(N)만큼 평균하여 메모리(100)에 저장하게 된다.
이에 따라 단계 S10에서는 매 샘플링 간격, 예를 들어 수 ㎲ 간격마다 자이로 센서(10)로부터 오프셋(Ofs)을 수집하고, 다시 단계 S20에서는 이렇게 수집된 오프셋을 소정 회수(N)만큼 평균한다. 여기에서 단순 평균 방법을 사용하는 경우에는 매 샘플링 간격마다 수집된 소정 회수(N)의 오프셋을 저장하는 버퍼 메모리의 용량이 커지기 때문에 버퍼 메모리의 용량을 줄이기 위해 재귀 평균 방법을 사용하여 평균 오프셋 값을 구하는 것이 바람직하다.
다음으로, 단계 S30에서는 현재의 오프셋 수집 회수가 미리 정해진 기준치(N)에 도달하였는지를 판단하는데, 도달하지 않은 경우에는 단계 S10으로 복귀하는 반면에 도달한 경우에는 단계 S40으로 진행하여 이렇게 구해진 평균 오프셋(Ofs)을 메모리(100)에 저장한다.
한편, 재귀 평균 방법에 대해 설명하면, 도 4에 도시한 바와 같이 단계 S22에서는 평균 오프셋을 구하는 과정에서 평균값 추출 가중치와 관련된 변수 a를 아래의 수학식 1과 같이 설정하고, 다시 단계 S24에서는 아래의 수학식 2에 나타낸 바와 같이 변수 a와 직전 회수의 평균 오프셋 Tfs 및 현재 회수에 새로 입력되는 오프셋 Off를 사용하여 현재 회수까지의 평균 오프셋 Ofs를 구한다.
Figure pat00003
Figure pat00004
다음으로 단계 S26에서는 이렇게 구해진 평균 오프셋 Ofs를 직전 회수의 평균 오프셋 Tfs로 정하고 다시 단계 S28에서는 변수 a를 1만큼 증가시킨 후에 단계 S10으로 복귀한다. 이와 같은 재귀 평균 방법에 의해 오프셋 평균을 구할 경우에 매 샘플링 간격마다 실시간으로 수집되는 오프셋을 모두 저장하지 않고 입력과 동시에 계산과 누적 과정을 수행할 수 있기 때문에 예를 들어 1,000회 이상의 실시간 오프셋을 수집하여 평균을 구하더라도 매우 적은 버퍼 메모리만을 사용하면 된다.
다시 도 2로 돌아가서, 손떨림 보정부(200)는 자이로 센서(10)에서 출력된 회전 각속도에서 오프셋 성분을 제거하는 오프셋 제거기(210), 오프셋 제거기(210)를 통해 오프셋이 제거된 회전 각속도에서 저주파 잡음 성분을 추출하는 잡음성분 추출기(220), 오프셋 제거기(210)에서 출력된 회전 각속도에서 잡음성분 추출기(220)를 통해 추출된 잡음성분을 제거하여 순수 회전 각속도를 출력하는 잡음성분 제거기(230) 및 잡음성분이 제거된 순수 회전 각속도를 적분하여 손떨림 각도를 산출하는 적분기(240)를 포함하여 이루어진다. 한편, 구동 회로부(300)는 손떨림 보정부(200)에서 출력된 손떨림 각도를 보상하는 방향으로 보이스 코일 액추에이터(400)를 구동하여 카메라 렌즈나 이미지 센서를 이동시키게 된다. 본 발명의 카메라의 이미지 안정화 장치는 소프트웨어적으로 구현될 수 있을 것이다.
이하에서는 본 발명의 카메라의 이미지 안정화 장치의 동작을 그 방법과 함께 상세하게 설명한다.
도 5는 본 발명의 카메라의 이미지 안정화 방법을 설명하기 위한 흐름도이다. 도 5에 도시한 바와 같이, 카메라에 전원이 투입되어 OIS 시스템이 초기 구동되면, OIS 컨트롤러는 단계 S100을 수행하여 메모리(100)에 저장된 평균 오프셋(Ofs)을 독출한다.
다음으로, 단계 S110에서는 이렇게 독출된 평균 오프셋(Ofs)을 소정 시간, 예를 들어 5-10회 정도 자이로 센서(10)의 샘플링 출력 시간 동안 자이로 센서(10)의 출력으로 간주함으로써 강제적인 영점 조정을 수행한다. 이 단계 S110에 의해 자이로 센서(10)로부터 출력되는 회전 각속도(ω0)에 관계없이 카메라가 정지할 경우에는 평균 오프셋(Ofs)이 영점이 되게 된다.
다음으로, 단계 S120에서는 자이로 센서(10)의 출력인 회전 각속도(ω0)에서 상기한 오프셋(Ofs)을 제거한다. 이에 대해 보충 설명하면, 카메라가 회전할 때 자이로 센서(10)에서 출력되는 회전 각속도(ω0)에는 오프셋(Ofs), 정지 상태에서도 전원에 의해 발생되는 저주파 노이즈 성분(정적 에러; εs)과 움직임 상태일 때 자이로 센서(10) 내부 및 외부의 진동에 의해 발생하는 저주파 노이즈 성분(동적 에러; ε d )이 포함되어 있는데, 이를 수식으로 표현하며 아래의 수학식 3과 같다.
Figure pat00005
위의 수학식 3에서 알 수 있는 바와 같이, 카메라가 회전할 때 자이로 센서(10)에서 출력되는 회전 각속도(ω0)는 전술한 바와 같이 오프셋(Ofs), 정적 에러(εs), 순수 회전 각속도(ωt) 및 동적 에러(εd)로 이루어져 있으며, 이러한 에러 크기 내지는 값이 일정하지 않은 것이 특징이다. 때문에 자이로 센서(10)의 출력인 회전 각속도(ω0)을 그대로 적분할 경우에 오프셋(Ofs), 랜덤한 값을 가지는 정적 에러(εs)나 동적 에러(εd)가 지속적으로 누적됨으로써 시간이 경과할수록 손떨림 보정의 정확성이 현저하게 저하되게 된다.
이를 해소하기 위해 본 발명의 오프셋 제거기(210)는 자이로 센서(10)에서 출력되는 회전 각속도(ω0)에서 오프셋(Ofs)이 제거된 회전 각속도(vg)를 추출하는데, 이를 수식으로 표현하면 아래의 수학식 4와 같다.
Figure pat00006
다시 도 5로 돌아가서, 단계 S130에서는 평균 오프셋(Ofs)이 제거된 회전 각속도(vg)에서 저주파 성분으로 이루어진 정적 에러(εs)와 동적 에러(εd)로 이루어진 잡음 성분을 추출한다. 이와 관련하여, 잡음성분 추출기(220)에서는 LPF(Loss Pass Filter)를 사용하여 오프셋 제거기(210)를 통해 오프셋이 제거된 회전 각속도(vg)에서 저주파 성분으로 이루어진 정적 에러(εs)와 동적 에러(εd)를 추출하는데, 잡음성분 추출기(220), 즉 LPF의 출력값(lp)은 아래의 수학식 5에 의해 산출될 수 있다.
Figure pat00007
위의 수학식 5에서 gi는 LPF의 게인을 결정하는 파라미터이고, lp(k-1)은 직전에 샘플링되어 처리된 LPF의 출력값을 나타낸다.
위의 수학식 5에서 LPF 게인 결정 파라미터(gi)는 반복적인 실험을 통해 구해질 수 있다.
다시 도 5로 돌아가서, 단계 S140에서는 오프셋(Ofs)이 제거된 회전 각속도(vg)에서 잡음 성분(lp)을 제거하여 손떨림에 의한 순수 회전 각속도(ωt)만을 출력하는데, 이 단계 S140은 잡음성분 제거기(230)에 의해 수행될 수 있다.
다음으로, 단계 S150에서는 적분기(240)가 잡음성분 제거기(230)를 통해 잡음이 제거된 순수 회전 각속도(ωt)를 적분하여 손떨림에 의한 이동량을 산출하고, 단계 S160에서는 적분기(240)가 구동 회로부(300)를 제어하여 손떨림을 보상하는 방향으로 렌즈 또는 이미지 센서를 이동시킨다.
도 6은 평균 오프셋의 강제 적용 여부에 따른 손떨림 보정 결과를 시뮬레이션한 그래프로서, 서보 모터를 이용하여 5㎐ 및 ±0.5°의 진동을 5초간 입력하였을 때 출력되는 자이로 센서의 회전 각속도를 저장하여 시뮬레이션한 결과를 나타내는바, 세로축은 각도를 나타내고 가로축은 시간을 나타낸다. 도 6의 하단 그래프로 나타낸 바와 같이, 흔들리는 진동 환경에서 OIS 시스템을 초기 구동할 때 평균 오프셋을 강제적으로 적용한 채로 손떨림 보정을 행한 경우에는 0°를 기준으로 포화되어 ±0.5°의 값이 정상적으로 출력됨을 알 수 있다.
그러나 평균 오프셋을 강제적으로 적용하지 않은 채로 손떨림 보정을 행한 경우에는 약 7.5° 부근을 기준으로 포화됨으로써 이미지 안정화를 꾀할 수 없음을 알 수 있다.
한편, 본 발명의 카메라의 이미지 안정화 장치의 성능을 확인하기 위해 실험을 수행하였는바, 실험에서 사용된 자이로 센서(10)는 파나소닉사의 2축(yaw, pitch) 모델이며, 임의의 진동을 발생시키기 위해 서보 모터를 장착하였다. 또한 자이로 센서(10)에서 출력되는 데이터는 시리얼 통신을 이용하여 PC에서 이를 확인할 수 있도록 구성하였다. 서보 모터를 이용하여 X축(yaw) 방향으로 5㎐의 주기와 ±0.5°크기의 진동 성분을 10초간 입력하여 오프셋 제거기(210)에 의해 오프셋이 제거된 회전 각속도(ADC-Offset)와 잡음성분 추출기(220)의 출력값(LPF_Value)을 추출하였는바, 도 7은 도 2에서 오프셋 제거기(210)와 잡음성분 추출기(220)의 실험에 의한 출력을 보인 그래프이다.
한편, 최종 손떨림 각도 계산을 위해 실행되는 적분 과정 중 잡음성분 추출기(220)에서 추출된 잡음 성분은 반복 실험을 통해 얻어낸 LPF 게인 결정 파라미터(gi)에 의존함을 알 수 있었다. 결과적으로 이를 적절하게 조정하는 것에 의해 적분기(240)를 통해 순수 회전 각속도를 적분할 때 오차가 누적되는 현상을 줄일 수가 있다.
도 8은 본 발명의 카메라의 이미지 안정화 장치에 의해 보정된 자이로 각도와 보정 전의 자이로 각도를 보인 그래프이다. 도 8에서 수평축을 중심으로 이어진 파동(적색)은 본 발명에 의해 보정된 자이로 각도, 즉 적분기의 출력값을 나타내고, 하방 경사축을 중심으로 이어진 파동(청색)은 보정 전의 자이로 각도, 즉 적분기(240)의 출력을 나타낸다. 도 8에서 알 수 있는 바와 같이, 적분기(280)를 통과한 최종 손 떨림 각도는 진동 시작후 초기 2초까지는 드리프트 에러가 크게 누적되지 않아 각도 추종에 큰 에러가 발생하지 않으나 시간이 지날수록 누적된 드리프트 에러에 의해 실제 손떨림 각도에서 멀어짐을 확인할 수가 있다. 본 발명의 카메라의 이미지 안정화 장치에 따르면, 잡음 성분을 제거한 후에 적분을 수행함으로써 효과적인 손떨림 각도 추출이 가능함을 확인할 수 있었다.
본 발명의 카메라의 이미지 안정화 장치는 전술한 실시예에 국한되지 않고 본 발명의 기술사상이 허용하는 범위 내에서 다양하게 변형하여 실시할 수가 있다.
전술한 실시예에서는 아날로그-디지털 변환이 자이로 센서에서 수행되는 것으로 설명을 진행하였으나 이러한 기능이 없는 자이로 센서에 대해서는 본 발명의 손떨림 각도 보정부의 순수 회전 각속도 추출기 이전에 아날로그-디지털 변환기가 추가될 수 있을 것이다. 나아가, 전술한 실시예에서는 요(yaw) 축에 대해 설명을 진행하였으나 피치(pitch) 축에 대해서도 손떨림 보정부를 추가함으로써 피치축에 대한 손떨림 보정도 가능할 수 있다.
(참고 문헌)
[1] H. J. Chang and P. J. Kim, "Optical Image Stabilizing System using Multirate Fuzzy PID Controller for Mobile Device Camera" IEEE Trans. 2009.
[2] M. G Song and D. H. Son, "모바일 카메라 모듈용 볼베어링 방식 OIS 액추에이터 설계," 한국소음진동공학회 논문집 제 20권 제 4호,pp.361~372,2010.
[3] J. H Moon and Y. J. Soo, "소형 디지털 카메라의 손떨림 보정 기능을 위한 임베디드 제어 시스템의 구현," 제어.자동화.시스템공학 논문지 제 13권,제12호 2007.
[4] J. Borenstein and L. Ojeda, "Heuristic reduction of gyro drift in vehicle tracking applications," Vehicle Autonomous systems, Vol. 2, No. 1/2, pp 78-98, 2009.
[5] M. G Song and Y. G. Park, "로봇의 자세 및 진동제어를 위한 칼만 필터 기반 다중 센서 데이터 융합 방법," Journal of the Korean Society for Precision Engineering, Vol. 25, No4, April 2008
[6] Greg. Welch and Gary. Bishop, "An Introduction to the Kalman Filter," Department of Computer Science University pf North Carolina at Chapel Hill Chapel Hill, NC 27599-3175, July 2006.
[7] D. K. Nam and J. Y. Park, "Some Observations on Drift-Reduction Methods for Low-cost Gyro Sensors," Proceedlngs of KIIS fall Conference Vol. 20, No. 2. 2010.
10: 자이로 센서, 100: 메모리,
150: 평균 오프셋 적용기, 200: 손떨림 보정부,
210: 오프셋 제거기, 220: 잡음성분 추출기,
230: 잡음성분 제거기, 240: 적분기,
300: 구동 회로부, 400: 보이스코일 액추에이터

Claims (9)

  1. 자이로 센서에서 출력되는 요(yaw) 또는 피치(pitch) 축에 대한 회전 각속도에 의해 카메라의 손떨림 움직임의 각도를 감지한 후에 손떨림 움직임을 보정하는 방향으로 렌즈나 이미지 센서를 이동시키는 카메라의 이미지 안정화 장치에 있어서,
    정지 상태에서의 자이로 센서의 출력인 오프셋이 저장되어 있는 메모리 및
    카메라의 전원 투입시에 미리 정해진 시간 동안 상기 메모리에 저장되어 있는 상기 오프셋을 상기 자이로 센서의 출력으로 적용시키는 오프셋 적용기를 포함한 것을 특징으로 하는 카메라의 이미지 안정화 장치.
  2. 제 1 항에 있어서,
    상기 오프셋은 제품 출하 전에 정지 상태에서 상기 자이로 센서가 매 샘플링 간격마다 출력하는 오프셋을 미리 정해진 회수만큼 평균하여 얻어진 것을 특징으로 하는 카메라의 이미지 안정화 장치.
  3. 제 1 항에 있어서, 상기 손떨림 움직임의 보정은,
    상기 자이로 센서에서 출력된 회전 각속도에서 오프셋을 제거하는 오프셋 제거기;
    오프셋이 제거된 상기 회전 각속도에서 정적 에러와 동적 에러로 이루어진 잡음 성분을 추출하는 잡음성분 추출기;
    오프셋이 제거된 상기 회전 각속도에서 상기 잡음 성분을 제거하고 순수 회전 각속도를 출력하는 잡음성분 제거기 및
    상기 잡음 성분이 제거된 상기 순수 회전 각속도를 적분하여 손떨림 각도를 산출하는 적분기에 의해 수행되는 것을 특징으로 하는 카메라의 이미지 안정화 장치 장치.
  4. 제 3 항에 있어서,
    상기 자이로 센서는 디지털 회전 각속도 데이터를 출력하는 것을 특징으로 하는 카메라의 이미지 안정화 장치.
  5. 제 3 항에 있어서,
    상기 자이로 센서에서 출력된 아날로그 회전 각속도를 상응하는 크기의 디지털 회전 각속도로 변환하여 상기 오프셋 제거기에 전달하는 아날로그-디지털 변환기를 더 구비한 것을 특징으로 하는 카메라의 이미지 안정화 장치.
  6. 제 3 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 잡음성분 추출기는
    Figure pat00008
    에 의해 동작하는 LPF로 이루어지되,
    gi는 상기 LPF의 게인을 결정하는 파라미터이고, lp(k-1)은 직전에 샘플링되
    어 처리된 LPF의 출력을 나타내며, vg는 오프셋이 제거된 회전 각속도인 것을 특징으로 하는 카메라의 이미지 안정화 장치.
  7. 카메라에 전원이 투입되면 사전에 메모리에 저장된 오프셋(Ofs)을 독출한 후에 이를 소정 시간 동안 자이로 센서의 출력으로 처리하여 강제적으로 영점을 조정하는 (a) 단계;
    상기 (a) 단계 이후에 자이로 센서의 출력인 회전 각속도(ω0)에서 상기 오프셋(Ofs)을 제거하는 (b) 단계;
    상기 오프셋(Ofs)이 제거된 회전 각속도(vg)에서 정적 에러(εs)와 동적 에러(εd)로 이루어진 잡음 성분(lp)을 추출한 후에 상기 오프셋(Ofs)이 제거된 회전 각속도(vg)에서 제거하여 손떨림에 의한 순수 회전 각속도(ωt)를 출력하는 (c) 단계 및
    상기 순수 회전 각속도(ωt)를 적분하여 손떨림에 의한 이동량을 산출한 후에 손떨림을 보상하는 방향으로 렌즈 또는 이미지 센서를 이동시키는 (d) 단계를 포함하여 이루어진 카메라의 이미지 안정화 방법.
  8. 제 7 항에 있어서,
    상기 오프셋(Ofs)은 제품 출하 전에 정지 상태에서 자이로 센서가 매 샘플링 간격마다 출력하는 오프셋을 미리 정해진 회수만큼 재귀 평균하여 얻어진 것을 특징으로 하는 카메라의 이미지 안정화 방법.
  9. 제 7 항 또는 제 8 항에 있어서,
    상기 (c) 단계에서의 상기 잡음 성분(lp) 추출은
    Figure pat00009
    에 의해 동작하는 LPF로 이루어지되,
    gi는 상기 LPF의 게인을 결정하는 파라미터이고, lp(k-1)은 직전에 샘플링되어 처리된 LPF의 출력을 나타내며, vg는 오프셋이 제거된 회전 각속도인 것을 특징으로 하는 카메라의 이미지 안정화 방법.
KR1020120024133A 2012-03-08 2012-03-08 카메라의 이미지 안정화 장치 및 방법 KR20130102929A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120024133A KR20130102929A (ko) 2012-03-08 2012-03-08 카메라의 이미지 안정화 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120024133A KR20130102929A (ko) 2012-03-08 2012-03-08 카메라의 이미지 안정화 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20130102929A true KR20130102929A (ko) 2013-09-23

Family

ID=49452439

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120024133A KR20130102929A (ko) 2012-03-08 2012-03-08 카메라의 이미지 안정화 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20130102929A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150096902A (ko) 2014-02-17 2015-08-26 삼성전기주식회사 이미지 보정 장치 및 그 방법
KR20150144122A (ko) * 2014-06-16 2015-12-24 주식회사 동운아나텍 자이로 센서 오프셋 보상 장치 및 방법
KR20160006492A (ko) * 2014-07-09 2016-01-19 주식회사 동운아나텍 손떨림 보정 기능을 갖는 이미지 센서 모듈
KR20160068407A (ko) 2014-12-05 2016-06-15 삼성전기주식회사 촬영 장치 및 촬영 장치의 제어 방법
US10368001B2 (en) 2015-11-27 2019-07-30 Samsung Electronics Co., Ltd. Image sensor controlling gyroscope sensor and imaging device including same

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150096902A (ko) 2014-02-17 2015-08-26 삼성전기주식회사 이미지 보정 장치 및 그 방법
KR20150144122A (ko) * 2014-06-16 2015-12-24 주식회사 동운아나텍 자이로 센서 오프셋 보상 장치 및 방법
KR20160006492A (ko) * 2014-07-09 2016-01-19 주식회사 동운아나텍 손떨림 보정 기능을 갖는 이미지 센서 모듈
KR20160068407A (ko) 2014-12-05 2016-06-15 삼성전기주식회사 촬영 장치 및 촬영 장치의 제어 방법
US10368001B2 (en) 2015-11-27 2019-07-30 Samsung Electronics Co., Ltd. Image sensor controlling gyroscope sensor and imaging device including same

Similar Documents

Publication Publication Date Title
KR101288945B1 (ko) 카메라의 손떨림 보정 장치
US8934023B2 (en) Method and system for introducing controlled disturbance into an actively stabilized system
KR20130102929A (ko) 카메라의 이미지 안정화 장치 및 방법
EP1936956B1 (en) Hand-shake correction method and apparatus of camera module for use in mobile device
CN109803088B (zh) 云台控制方法、装置和云台
CN104345516B (zh) 图像抖动校正设备及其控制方法、镜筒、光学设备和摄像设备
US7208905B2 (en) Driving method, driving mechanism, and image capturing apparatus
CN103842875B (zh) 基于mems的光学图像稳定
JP2006184679A (ja) 撮像装置、手ブレ補正装置、携帯電話機および手ブレ補正方法
CN104125393A (zh) 摄像装置及其控制方法
KR20160140193A (ko) 영상 보정 회로 및 그 보정 방법
JP5977611B2 (ja) ブレ量検出装置、撮像装置及びブレ量検出方法
CN101470317B (zh) 手运动校正设备、图像拾取设备以及方法
KR20160093257A (ko) 손떨림 보정 장치 및 이를 포함하는 카메라 모듈
KR20150137788A (ko) 보이스 코일 액츄에이터 제어장치
Li et al. Extended Kalman filter based hand-shake detector for optical image stabilization using a low cost gyroscope
KR101608828B1 (ko) 모바일용 카메라의 손떨림 보정 장치
CN107305308B (zh) 用于光学图像稳定的方法和装置
US11477380B2 (en) Stabilization degree adjustment method and device, and storage medium
CN114640790A (zh) 光学图像稳定系统及用于改进光学图像稳定的方法
US20190260932A1 (en) Image stabilization control device for imaging device
CN108375862B (zh) 光学图像稳定器和操作该光学图像稳定器的方法
CN101282420B (zh) 补偿固态成像装置偏移的系统及方法
KR101587970B1 (ko) 자이로 센서 오프셋 보상 장치 및 방법
US11659281B2 (en) Blur compensation circuit for optical image stabilization device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application