KR20150078539A - Mobile OIS 제어를 위한 Fuzzy 예측 오차 보상 방법 - Google Patents

Mobile OIS 제어를 위한 Fuzzy 예측 오차 보상 방법 Download PDF

Info

Publication number
KR20150078539A
KR20150078539A KR1020130167986A KR20130167986A KR20150078539A KR 20150078539 A KR20150078539 A KR 20150078539A KR 1020130167986 A KR1020130167986 A KR 1020130167986A KR 20130167986 A KR20130167986 A KR 20130167986A KR 20150078539 A KR20150078539 A KR 20150078539A
Authority
KR
South Korea
Prior art keywords
hand
ois
mobile
controller
error compensation
Prior art date
Application number
KR1020130167986A
Other languages
English (en)
Inventor
권민재
공진흥
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020130167986A priority Critical patent/KR20150078539A/ko
Publication of KR20150078539A publication Critical patent/KR20150078539A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/02—Computing arrangements based on specific mathematical models using fuzzy logic
    • G06N7/026—Development tools for entering the parameters of a fuzzy system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Fuzzy Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 모바일 OIS 움직임 검출부의 Gyro Sensor 신호를 예측 및 오차 보상을 하여 Drift 와 위상지연 현상을 감소시키는 Gyro Filter 설계 방법에 관한 것으로 Fuzzy Controller를 이용한 예측 오차 보상 알고리즘 개발하여 기존 Kalman Filter를 이용하여 오차 보상을 하는 것 대비 연산량과 복잡도를 대폭 감소 시켰다. 또한 손 떨림 상태에 대한 정보 또한 취득 할 수 잇어 움직임 보정부에서는 적응적으로 제어를 할수 있도록 하였다. 이러한 본 발명은 갈수록 소형화 되고 있는 모바일 산업에서 연산량과 복잡도를 대폭줄인 고성능 Gyro Filter를 탑재하여 소형화된 OIS Controller Chip을 생산 할 수 있으며 적응적 제어가 가능해짐으로써 모바일 환경에 적합한 최적에 제어 성능을 가질 수 있는 제어기를 설계 할 수 있는 효과가 있다. 따라서 OIS가 사용되는 디지털카메라, 카메라 폰, DVR(Digital Video Recoding), 블랙박스 등 본 발명이 사용되는 소형화되는 OIS Controller 기술이 적용된 모든 어플리케이션 및 시스템에 제공될 수 있다.

Description

Mobile OIS 제어를 위한 Fuzzy 예측 오차 보상 방법 {Fuzzy Prediction Error Compensation Method Control for Mobile OIS Control}
본 발명은 모바일 OIS 움직임 검출부의 Gyro Sensor 신호를 예측 및 오차 보상을 하여 Drift 와 위상지연 현상을 감소시키는 Gyro Filter 설계 방법에 관한 것으로, 1차 저주파 필터로 구성된 DCF를 이용하여 Drift 현상을 제거하기 위해 보상 각도 값을 추정한다. 또한 모바일 환경에 적합 하도록 Fuzzy 이론을 이용하여 손 떨림 상태를 구분하고 예측하고 예측된 상태에 대하여 적절한 Gain 값을 성정하여 DCF에 전달하여 예측오차 보상을 히야 모바일 OIS 움직임 검출부의 위상지연을 감소시킨다.
모바일 OIS System의 움직임 검출분는 Gyro Sensor를 이용하여 손 떨림을 보정하고 움직임 구동부에 손 떨림 각도값을 전달한다. 움직임 보정부에서는 움직임 각도 값에 따라 소형 VCM Actuator를 이용 하여 Lens를 움직여 빛의 경로를 변경하여 손 떨림 이미지를 보상한다. 움직임 보정부의 움직임을 검출하는 Gyro Sensor의 출력에는 오차가 포함되어 있어 각도를 추출하는 과정에서 오차가 누적되어 신호가 한 쪽으로 편향되는 Drift 현상이 발생한다. 또한 움직임 검출부를 처리하는 과정에서 위상 지연현상이 발생되어 OIS 시스템의 성능을 감소 시키는 가장 큰 이유가 된다. 기존에 Kalman Filter, DCF(Drift Compensation Filter)같은 Gyro Sensor의 오차를 보정하는 Filter 기술이 연구되어 왔다. 하지만 Kalman Filter는 연산량에 대한 오버헤드가 커 모바일 시스템에 적용하기에는 적합하지가 않다. DCF는 연산량과 복잡도가 낮지만 Drift 보정성능이 떨어지며 위상지연 현상은 보정하지 못하여 모바일에 적합한 새로운 Gyro Filter기술이 필요로하다. 또한 손 떨림을 감지하는 움직임 보정부에서 Gyro Sensor를 통해서 출력되는 신호에는 손 떨림 신호 뿐만 아니라 사용자가 의도적으로 카메라를 움직이는 Pan/Tilt 신호, 움직일 때 발생하는 움직임 신호, 그리고 정지상태일 때의 신호등이 포함 되어 있다. 해당 신호들을 적절히 분리해서 각 상황별로 예외 처리하지 않을 경우 시스템이 동작 불능 상태에 빠지거나 안정화 되지 않은 상태가될 수 있는 문제가 발생하여 손 떨림 신호를 구분하여 적응적으로 처리해야 할 필요성이 있다.
본 발명에서 해결하고자 하는 과제는, 손 떨림 검출 과정에서 예측 과정과 추정과정을 통하여 Gyro Sensor가 포함하고 있는 오차성분을 제거하고 보상하여 Drift 현상 및 위상지연 현상을 감소시킨다. 또한 다양한 손 떨림 특성을 분석하여 현재 손 떨림 상태를 검출 하고 예측하고자한다 현재 상태는 움직임 구동부로 전송되어 각 상태에 적응적으로 제어 할 수 있다. 모바일 시스템에 적용 할 수 있도록 낮은 연산량과 복잡도를 가지며 손 떨림 신호와 같이 모호한 상태에 대한 규칙들을 생성함으로써 부정확함을 표현할 수 있는 규칙 기반기술인 Fuzzy 이론을 이용하여 손 떨림 상태를 판별하고 예측한다.
본 발명에서는 모바일 환경에서 모바일 OIS 시스템 손 떨림 검출부의 오차와 위상지연을 보상하기 위하여 다양한 손떨림 상태에대한 Gyro Sensor의 출력 신호를 구분하여 Fyzzy Controller를 설계한다. 설계한 Fuzzy Controller는 현재 상태를 추출 하고 예측하며 모바일에 적합한 Gyro Filter를 설계하기 위하여 낮은 연산량과 복잡도를 가진 DCF를 이용하여 오차를 보상한다. Fuzzy Controller에서는 예측과정을 통하여 다음 손떨림 정보에 관한 값을 이용해 DCF에게 보정치를 전달하고 DCF에서는 보정치를 이용하여 Gyro Sensor 출력에 대하여 Drift 제거 및 위상지연 현상을 보상한다.
손 떨림은 1 내외의 2~12Hz의 범위에서 발생한다. 하지만 OIS 시스템 손 떨림 검출부의 Gyro Sensor를 통해 나오는 손 떨림 신호는 다양한 주파수 영역이 혼재되어있어 주파수 특성 만으로 손 떨림 신호를 구분하는 것은 어렵다. 하지만 손 떨림 크기에 대해서는 뚜렷한 특성을 보인다. 손 떨림 상태는 제 1도와 같이 사용자가 모바일 환경에서 촬영 시 나타낼 수 있는 손 떨림 상태에 대해서 Gyro Sensor의 출력 값을 조사하였다. 손 떨림 상태는 정지 상태, 작은 손 떨림 상태, 큰 손 떨림 상태 (움직임), Pan/Tilt 상태 4가지 상태로 구분하였으며 크기에 대하여 뚜렷하게 구분 할 수 있다. 이러한 손 떨림 특성에 대하여 표1 와 같이 손 떨림 상태에 대한 집합을 정의 하였고 Fuzzy Controller를 이용하여 현재 손 떨림 상태를 검출 한다. 또한 손 떨림 변화량은 다음 손 떨림 상태에 대하여 예측 할 수 있으며 현재 상태와 손 떨림 변화량을 이용하여 다음 손 떨림 상태도 예측 할 수 있다. 표 2과 같이 손 떨림 예측 상태에 대한 집합을 정의 하였다. Fuzzy Controller를 이용하여 다음 상태를 예측하고 예측된 값을 비 퍼지화 시켜 다음 각도 값을 결정하는데 필요한 요소로 변환 한다. 비 퍼지화 된 예측 값은 설계 된 1차 저주파 통과 필터인 DCF Filter의 Gain값을 결정하여 Drift 와 위상지연 현상을 보상한다. 본 발명에 따른 모바일 OIS시스템 움직임 보정부의 Fuzzy Controller를 이용한 예측 오차 보상 알고리즘 개발로 기존 Kalman Filter를 이용하여 오차 보상을 하는 것 대비 연산량과 복잡도를 대폭 감소 시켰다. 또 한 손 떨림 상태에 대한 정보 또한 취득 할 수 잇어 움직임 보정부에서는 적응적으로 제어를 할수 있도록 하였다. 갈수록 소형화 되고 있는 모바일 산업에서 연산량과 복잡도를 대폭줄인 고성능 Gyro Filter를 탑재하여 소형화된 OIS Controller Chip을 생산 할 수 있다. 또한 적응적 제어가 가능해짐으로써 모바일 환경에 적합한 최적에 제어 성능을 가질 수 있도록 하였다.
따라서 OIS가 사용되는 디지털카메라, 카메라 폰, DVR(Digital Video Recoding), 블랙박스 등 본 발명이 사용되는 소형화되는 OIS Controller 기술이 적용된 모든 어플리케이션 및 시스템에 제공될 수 있다.
현재 상태 판별 조건
손 떨림 상태 손 떨림 상태 판별 (손떨림 크기)
정지상태 손 떨림 크기는 매우 작은 값
작은 손 떨림 상태 손 떨림 크기는 작은 값
큰 손 떨림 상태 손 떨림 크기는 큰 값
Pan/Tilt 상태 손 떨림 크기는 매우 큰 값과 방향성을 가짐
예측 상태 판별 조건
레벨 값 손 떨림 상태 예측 판별 (손떨림 변화량)
정지상태 손 떨림 변화량은 매우 작은 값
작은 손 떨림 상태 손 떨림 변화량은 작은 값
큰 손 떨림 상태 손 떨림 변화량은 큰 값
Pan/Tilt 상태 손 떨림 변화량은 매우 큰 값
본 발명에 따른 모바일 OIS시스템 움직임 보정부의 Fuzzy Controller를 이용한 예측 오차 보상 알고리즘 개발로 기존 Kalman Filter를 이용하여 오차 보상을 하는 것 대비 연산량과 복잡도를 대폭 감소 시켰다. 또 한 손 떨림 상태에 대한 정보 또한 취득 할 수 잇어 움직임 보정부에서는 적응적으로 제어를 할수 있도록 하였다. 갈수록 소형화 되고 있는 모바일 산업에서 연산량과 복잡도를 대폭줄인 고성능 Gyro Filter를 탑재하여 소형화된 OIS Controller Chip을 생산 할 수 있다. 또한 적응적 제어가 가능해짐으로써 모바일 환경에 적합한 최적에 제어 성능을 가질 수 있도록 하였다. 따라서 OIS가 사용되는 디지털카메라, 카메라 폰, DVR(Digital Video Recoding), 블랙박스 등 본 발명이 사용되는 소형화되는 OIS Controller 기술이 적용된 모든 어플리케이션 및 시스템에 제공될 수 있다.

제1도는, 다양한 상태의 손 떨림 신호를 측정한 도면이다.
제2도는, Mobile OIS 제어를 위한 Fuzzy 예측 오차 보상 방법에대한 흐름을 나타낸 흐름도면이다.
제3도는, 손 떨림 신호에 대한 Peak 값을 검출을 나타내는 도면이다.
제4도는, 구간 별 손 떨림 신호에 대한 실효값을 나타내는 도면이다.
제5도는, 앞서 검출 되었던 Peak 값을 기준으로 다음 Peak 까지 평균 변화량을 나타내는 도면이다.
제6도는, 오차보상을 위한 DCF 구조 도면이다.
제7도는, 예측된 값을 기반으로 DCF를 이용하여 각도를 추정하는 흐름도면이다.
위의 상술한 바와 같이 OIS 시스템 움직임 검출부의 오차를 보상하기 위하여 손 떨림을 예측하는 과정과 추정하는 과정은 제2도와 같다. 움직임을 예측하는 과정은 Fuzzy Controller의해 처리되며 현재 손 떨림 상태는 초기값에 의하여 오차를 보상한 손 떨림 신호를 받아 앞에 정의했던 Fuzzy Controller 지식기반 집합에 의하여 결정된다. 손 떨림 신호를 지식기반 집합과 비교하기 위하여 제 4도와 같이 구간 별 손 떨림 신호에 대한 실효값으로 변환된다. 구간별 손 떨림 실효값을 변환하기 위하여 각도가 들어오면 도 3과 같이 손 떨림 신호에 대한 Peak 값을 검출한다. 이렇게 변환된 손 떨림 신호에 대한 실효값은 Fuzzy 추론부를 이용하여 현재 상태를 판별하고 판별된 값을 이용하여 다음 손 떨림 상태를 예측하게 된다. 판별된 손 떨림 상태는 정지 상태, 작은 손 떨림 상태, 큰 손 떨림 상태, Pan/Tilt 상태로 구분되어 진다. 또한 다음 손 떨림 상태를 예측 할 때는 손 떨림 신호와 구간 별 손 떨림 평균 변화량을 기반으로 추론하며 구간별 평균 변화량은 앞서 검출 되었던 Peak 값을 기준으로 다음 Peak 까지 평균 변화량을 도 5와 같이 계산한다. 평균 변화량은 Fuzzy 추론부를 이용하여 다음 상태를 예측하고 예측된 값은 무게 중심법을 이용한 비퍼지화 부를 통해 DCF의 게인 값으로 변환된다. 다음 예측값 또한 정지상태, 작은 손 떨림상태, 큰 손 떨림 상태, Pan/Tilt 상태로 구분되며 각 손 떨림 특성에 적합하게 DCF Gain 값이 출력된다. 마지막으로 오차 공분산 계산을 통해 최종 출력값인 DCF 게인을 보정하고 DCF로 전달한다. 도 7은 예측된 값을 기반으로 DCF를 이용하여 각도를 추정하는 흐름도이다. Fuzzy Controller에서 예측값을 기반으로 DCF 게인값이 결정되면 DCF는 이를 업데이트하여 반영한다. 1차 저주파 통과 필터를 이용하여 오차 성분과 보정각도를 검출하고 이를 입력된 각도에 더하여 Drift 현상을 제거하고 위산지연 현상을 보상한다. 도6은 오차 보상을 위한 DCF 구조이다.
해당사항 없음

Claims (2)

  1. OIS 제어 알고리즘에서 움직임을 검출하는 움직임 검출부에서 Fuzzy Controller를 이용하여 현재의 손 떨림 정보를 분석하고 다음 손 떨림 정보를 예측하는 방법
  2. 청구항 1에서 예측된 값을 이용하여 오차를 추정하고 보상하는 Filter에 보상값을 전달하여 움직임 검출부의 오차 및 위상지연 현상을 보상하는 방법
KR1020130167986A 2013-12-31 2013-12-31 Mobile OIS 제어를 위한 Fuzzy 예측 오차 보상 방법 KR20150078539A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130167986A KR20150078539A (ko) 2013-12-31 2013-12-31 Mobile OIS 제어를 위한 Fuzzy 예측 오차 보상 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130167986A KR20150078539A (ko) 2013-12-31 2013-12-31 Mobile OIS 제어를 위한 Fuzzy 예측 오차 보상 방법

Publications (1)

Publication Number Publication Date
KR20150078539A true KR20150078539A (ko) 2015-07-08

Family

ID=53791051

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130167986A KR20150078539A (ko) 2013-12-31 2013-12-31 Mobile OIS 제어를 위한 Fuzzy 예측 오차 보상 방법

Country Status (1)

Country Link
KR (1) KR20150078539A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106444375A (zh) * 2016-09-20 2017-02-22 中国人民解放军海军航空工程学院 一种驾驶员最优控制模型加权系数计算方法
CN112946565A (zh) * 2021-01-28 2021-06-11 上海微波设备研究所（中国电子科技集团公司第五十一研究所） 一种卡尔曼滤波的干涉仪测向模糊纠错方法、系统及介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106444375A (zh) * 2016-09-20 2017-02-22 中国人民解放军海军航空工程学院 一种驾驶员最优控制模型加权系数计算方法
CN112946565A (zh) * 2021-01-28 2021-06-11 上海微波设备研究所（中国电子科技集团公司第五十一研究所） 一种卡尔曼滤波的干涉仪测向模糊纠错方法、系统及介质
CN112946565B (zh) * 2021-01-28 2022-09-13 上海微波设备研究所（中国电子科技集团公司第五十一研究所） 一种卡尔曼滤波的干涉仪测向模糊纠错方法、系统及介质

Similar Documents

Publication Publication Date Title
US10313593B2 (en) Image stabilization apparatus and image stabilization method
US8558903B2 (en) Accelerometer / gyro-facilitated video stabilization
US20170134659A1 (en) Image stabilization apparatus and image stabilization method
US9924097B2 (en) Apparatus, method and recording medium for image stabilization
JP6257207B2 (ja) 像振れ補正装置およびその制御方法、レンズ鏡筒、並びに撮像装置
CN110072078B (zh) 监控摄像机、监控摄像机的控制方法和存储介质
JP2007166578A (ja) 画像振動補償装置とその方法
WO2008012822A2 (en) Image stabilizer
EP3490243B1 (en) Imaging apparatus and control method
JP2016046666A (ja) 撮像装置およびその制御方法、並びにプログラム
US20110243385A1 (en) Moving object detection apparatus, moving object detection method, and program
US20190124264A1 (en) Control apparatus, image capturing apparatus, control method, and computer-readable storage medium
JP2018033075A (ja) 撮像装置、レンズ装置、撮像システム、防振制御方法および防振制御プログラム、
US8730333B2 (en) Image stabilization system
US9690167B2 (en) Image shake correcting device and control method therefor, lens barrel, optical apparatus, and image pickup apparatus
KR20150078539A (ko) Mobile OIS 제어를 위한 Fuzzy 예측 오차 보상 방법
US10638044B2 (en) Image blur correction device, method of controlling same, and imaging device
US11770611B2 (en) Shake detection apparatus, shake detection method, and image blur correction apparatus
JP2013210614A (ja) 撮像装置
KR101608828B1 (ko) 모바일용 카메라의 손떨림 보정 장치
JP4985569B2 (ja) 撮像装置および撮像方法
KR20170068139A (ko) 광학식 이미지 안정화 모듈 및 카메라 모듈
CN109891872B (zh) 用于成像设备的图像稳定化控制设备
US20110142291A1 (en) Method and Apparatus for Processing Digital Image and Computer Readable Recording Medium
JP2012090149A (ja) 光学機器及びその制御方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid