KR20100024851A - 손떨림 보정 장치 - Google Patents

손떨림 보정 장치 Download PDF

Info

Publication number
KR20100024851A
KR20100024851A KR1020080083593A KR20080083593A KR20100024851A KR 20100024851 A KR20100024851 A KR 20100024851A KR 1020080083593 A KR1020080083593 A KR 1020080083593A KR 20080083593 A KR20080083593 A KR 20080083593A KR 20100024851 A KR20100024851 A KR 20100024851A
Authority
KR
South Korea
Prior art keywords
amount
image
axis
linear motion
rotational
Prior art date
Application number
KR1020080083593A
Other languages
English (en)
Other versions
KR100968974B1 (ko
Inventor
김현
김호겸
정호섭
곽형찬
송인택
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to KR1020080083593A priority Critical patent/KR100968974B1/ko
Priority to US12/510,738 priority patent/US20100053343A1/en
Publication of KR20100024851A publication Critical patent/KR20100024851A/ko
Application granted granted Critical
Publication of KR100968974B1 publication Critical patent/KR100968974B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00—Details of cameras or camera bodies; Accessories therefor
    • G03B2217/005—Blur detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)

Abstract

전후 이미지 프레임의 비교를 통해 카메라의 선형 움직임을 검출하고 자이로 센서를 이용하여 카메라의 회전 움직임을 검출함으로써, 상기 선형 움직임 및 회전 움직임을 모두 고려한 손떨림 보정을 수행하는 손떨림 보정 장치가 개시된다. 상기 손떨림 보정 장치는, 자이로 센서를 이용하여 촬영장치의 회전 움직임 양을 검출하는 회전 움직임 검출부; 이미지 센서에 의해 생성된 전후 이미지 프레임을 비교하여 상기 촬영장치의 선형 움직임 양을 검출하는 선형 움직임 검출부; 및 상기 이미지 센서로부터 입력되는 이미지 프레임에서 상기 검출된 회전 움직임 양 및 선형 움직임 양을 보정한 출력 이미지 프레임을 생성하는 출력 이미지 결정부를 포함할 수 있다.
Figure P1020080083593
손떨림, 보정, 회전 움직임, 각속도, 자이로 센서, 선형 움직임, 수평, 수직, 피치(pitch), 요(yaw), 롤(roll)

Description

손떨림 보정 장치{APPARATUS FOR CORRECTING MOTION BY HAND-SHAKING}
본 발명은 디지털 이미지 처리 분야에 관한 것으로, 더욱 상세하게는 전후 이미지 프레임의 비교를 통해 카메라의 선형 움직임을 검출하고 자이로 센서를 이용하여 카메라의 회전 움직임을 검출함으로써, 상기 선형 움직임 및 회전 움직임을 모두 고려한 손떨림 보정을 수행하는 손떨림 보정 장치에 관한 것이다.
최근 휴대 전화기와 같은 이동식 단말기에 적용되고 있는 카메라 모듈은 화소수의 증가 및 부피의 소형화가 요구되고 있다. 이러한 화소수 증가의 요구를 충족시키기 위해 이미지 센서 픽셀의 크기를 감소시킴으로써 제한된 면적의 이미지 센서 내에서 고화소화를 구현하고 있다.
이러한 추세에 따라 센서의 픽셀 크기가 작아지면서 스틸(still) 영상의 촬영시 셔터 조작에 따른 카메라 모듈의 작은 흔들림(손떨림)에도 스틸(still) 영상의 선명도가 급격히 저하되는 것을 사용자는 경험하게 된다. 뿐만 아니라 동영상 녹화시에는 설령 센서의 픽셀 크기가 작지 않더라도 피사체를 녹화하기 위한 사용자의 이동이나 장시간 녹화 시간으로 인해 카메라 모듈의 흔들림이 녹화 도중 지속 적으로 발생하게 된다. 이러한 손떨림에 의한 흔들림을 발생시키지 않는 촬영 기술은 전문가 수준의 사용자만이 실시할 수 있으며, 일반 사용자는 동영상 녹화시 녹화 영상에서 프레임간 영상의 부자연스러운 흔들림을 경험하게 된다. 특히 근래에는 HD(High Definition) TV의 급속한 보급으로 SD(Standard Definition)급 동영상을 녹화하기 보다는 HD급 고선명 동영상을 녹화하는 것이 보다 일반화하는 추세이다. 고선명 HD급 동영상을 녹화하는 경우 영상의 화소수가 SD급보다 증가하므로 더욱 고속의 손떨림 보정이 요구되고 있다.
본 발명은, 각속도를 검출하는 자이로 센서를 이용하여 손떨림에 의한 촬영장치의 회전 움직임 양을 검출하고, 더하여 이미지 센서로부터 입력되는 이미지 프레임들의 비교를 통해 산출한 촬영장치의 선형 움직임 양을 검출한 후 상기 회전 움직임 양 및 선형 움직임 양을 모두 고려하여 손떨림을 보정할 수 있는 손떨림 보정장치를 제공하는 것을 해결하고자 하는 기술적 과제로 한다.
상기 기술적 과제를 해결하기 위한 수단으로서 본 발명은,
자이로 센서를 이용하여 촬영장치의 회전 움직임 양을 검출하는 회전 움직임 검출부;
이미지 센서에 의해 생성된 전후 이미지 프레임을 비교하여 상기 촬영장치의 선형 움직임 양을 검출하는 선형 움직임 검출부; 및
상기 이미지 센서로부터 입력되는 이미지 프레임에서 상기 검출된 회전 움직임 양 및 선형 움직임 양을 보정한 출력 이미지 프레임을 생성하는 출력 이미지 결정부
를 포함하는 손떨림 보정 장치를 제공한다.
본 발명의 바람직한 실시형태에서, 상기 회전 움직임 검출부는, 복수의 회전 축을 중심으로 발생하는 복수의 회전 움직임 양을 검출하는 자이로 센서; 상기 검출된 복수의 회전 움직임 양을 각각 디지털값으로 변환하는 아날로그-디지털 변환부; 상기 변환된 디지털값을 저장하는 메모리부; 및 상기 변환된 디지털값을 상기 메모리부에 기록하고, 상기 메모리부에 저장된 디지털값을 읽어들여 상기 출력 이미지 결정부로 출력하는 마이크로 컨트롤러를 포함할 수 있다.
또한, 본 발명의 바람직한 실시형태에서, 상기 선형 움직임 검출부는, 상기 이미지 센서로부터 입력되는 신호를 처리하여 상기 이미지 프레임을 생성하는 이미지 처리부; 상기 이미지 프레임을 일시 저장하는 프레임 버퍼부; 및 상기 프레임 버퍼부에 저장된 전후 이미지 프레임을 비교하여 복수의 좌표축 방향으로 발생한 선형 움직임 양을 연산하는 선형 움직임 연산부를 포함할 수 있다.
바람직하게, 상기 자이로 센서는, 피치(pitch) 회전 움직임 양, 요(yaw) 회전 움직임 양 및 롤(roll) 회전 움직임 양을 검출하는 3축 자이로 센서이거나, 피치(pitch) 회전 움직임 양 및 요(yaw) 회전 움직임을 검출하는 2축 자이로 센서일 수 있다.
바람직하게, 상기 선형 움직임 검출부는, 상기 촬영장치의 수평좌표축(x축) 방향의 움직임 양, 상기 촬영장치의 수직좌표축(y축) 방향의 움직임 양 및 상기 촬영장치의 전후좌표축(광축 또는 z축) 방향의 움직임 양을 검출하거나, 상기 촬영장 치의 수평좌표축(x축) 방향의 움직임 양 및 상기 촬영장치의 수직좌표축(y축) 방향의 움직임만 검출할 수도 있다.
바람직하게, 상기 출력 이미지 결정부는, 상기 검출된 회전 움직임 양 및 선형 움직임 양을 이용하여 수평방향 및 수직방향 보정양을 화소단위로 연산하고, 상기 화소단위로 연산된 수평방향 및 수직방향 보정양을 적용한 상기 출력 이미지 프레임의 영역을 결정할 수 있다. 이 때, 상기 출력 이미지 결정부는, 상기 수평방향 및 수직방향 보정양을 적용하여 사전설정된 사이즈의 출력 이미지 프레임의 시작화소를 결정함으로써 상기 입력 이미지 프레임에서 상기 출력 이미지 프레임 영역을 결정하는 것이 바람직하다.
본 발명에 따르면, 자이로 센서에 의해 검출된 회전 움직임 양 및 이미지의 디지털 처리에 의해 검출된 선형 움직임 양을 모두 고려하여 손떨림을 보정함으로써 보정의 정확도를 더욱 향상시킬 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시형태를 보다 상세하게 설명한다. 그러나, 본 발명의 실시형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시형태로 한정되는 것은 아니다. 본 발명의 실시형태는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에 도시된 구성요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다는 점을 유념해야 할 것이다.
도 1은 본 발명의 일실시형태에 따른 손떨림 보정 장치를 도시한 블록 구성도이다. 도 1을 참조하면 본 발명의 일실시형태에 따른 손떨림 보정 장치는 크게 회전 움직임 검출부(11)와, 선형 움직임 검출부(12), 및 손떨림 보정부(13)를 포함할 수 있다.
상기 회전 움직임 검출부(11)는 자이로 센서를 이용하여 촬영장치의 회전 움직임 양을 검출할 수 있다. 더욱 구체적으로 상기 회전 움직임 검출부(11)는, 복수의 회전축을 중심으로 발생하는 복수의 회전 움직임 양을 검출하는 자이로 센서(111)와, 상기 검출된 복수의 회전 움직임 양을 각각 디지털값으로 변환하는 아날로그-디지털 변환부(ADC)(112)와, 상기 변환된 디지털값을 저장하는 메모리부(115) 및 상기 변환된 디지털값을 상기 메모리부(115)에 기록하고, 상기 메모리부(115)에 저장된 디지털값을 읽어들여 상기 손떨림 보정부(13)로 출력하는 마이크로 컨트롤러(114)를 포함할 수 있다. 이에 더하여, 상기 아날로그-디지털 변환부(112)의 디지털값 변환에 필요한 샘플링 시간을 제공하는 타이머(113)를 더 포함할 수 있다.
상기 선형 움직임 검출부(12)는, 상기 이미지 센서(10)로부터 입력되는 신호를 처리하여 상기 이미지 프레임을 생성하는 이미지 처리부(121)와, 상기 이미지 프레임을 일시 저장하는 프레임 버퍼부(122) 및 상기 프레임 버퍼부(122)에 저장된 전후 이미지 프레임을 비교하여 복수의 좌표축 방향으로 발생한 선형 움직임 양을 연산하는 선형 움직임 연산부(123)를 포함할 수 있다.
상기 손떨림 보정부(13)는, 입력 이미지 프레임에서 상기 회전 움직임 검출부(11)에 의해 검출된 회전 움직임 양 및 상기 선형 움직임 검출부(12)에 의해 검출된 선형 움직임 양을 보정한 출력 이미지 프레임을 생성하는 출력 이미지 결정부(131)와, 연속된 상기 출력 이미지 프레임을 압축하거나 YUV 신호로 출력하는 영상압축부/YUV 출력부(132)와, 상기 YUV 신호를 각각 디스플레이하는 디스플레이부(133) 및 압축된 이미지 프레임을 저장하는 영상저장부(134)를 포함할 수 있다.
도 2는 자이로 센서에 의해 검출되는 촬영장치의 회전 움직임을 도시한 도면이다.
상기 회전 움직임 검출부(11)에 포함된 자이로 센서(111)는 도 2의 (a)에 도시된 것과 같이 촬영장치(또는 카메라 모듈)의 일지점을 지나는 수평좌표축(x축)을 회전축으로 하여 상하방향의 회전 움직임을 의미하는 피치(pitch)를 검출할 수 있으며, 도 2의 (b) 에 도시된 것과 같이 촬영장치(또는 카메라 모듈)의 일지점을 지나는 수직좌표축(y축)을 회전축으로 하여 좌우방향의 회전 움직임을 의미하는 요(yaw)를 검출할 수 있으며, 도 2의 (c)에 도시된 것과 같이 촬영장치(또는 카메라 모듈)의 일지점을 전후방향으로 지나는 전후좌표축(광축 또는 z축)을 회전축으로 한 회전 움직임을 의미하는 롤(roll)를 검출할 수 있다. 본 발명의 일실시형태에서, 상기 자이로 센서(111)는 2차원의 이미지 프레임에서 큰 움직임을 나타내는 피치와 요의 두가지 회전 움직임 양을 검출하는 2축 자이로 센서를 채용할 수 있고, 더욱 정확한 손떨림 보정을 위해 피치, 요 및 롤의 움직임 양을 모두 검출하는 3축 자이로 센서를 채용할 수도 있다.
도 3은 선형 움직임 검출부에 의해 검출되는 촬영장치의 선형 움직임을 도시한 도면이다. 상기 선형 움직임 검출부(12)는, 도 3의 (a)에 도시된 바와 같이, 촬영장치(또는 카메라 모듈)의 수평좌표축(x축) 방향의 움직임 양을 검출할 수 있으며, 촬영장치(또는 카메라 모듈)의 수직좌표축(y축) 방향의 움직임 양을 검출할 수 있으며, 촬영장치(또는 카메라 모듈)의 전후좌표축(광축 또는 z축) 방향의 움직임 양을 검출할 수 있다. 상기 선형 움직임 검출부(12)는 연산의 간소화를 위해 2차원의 이미지 프레임에서 큰 움직임을 나타내는 수평좌표축(x축) 방향의 움직임 양 및 수직좌표축(y축) 방향의 움직임 양의 두가지 선형 움직임 양을 검출할 수도 있으며, 더욱 정확한 손떨림 보정을 위해 세 축 방향의 선형 움직임 양을 모두 검출할 수도 있다. 바람직하게, 상기 회전 움직임 검출부(11)에 포함된 자이로 센서(111)가 3축 회전 움직임 양을 모두 검출하는 경우 상기 선형 움직임 검출부도 세 축 방향의 선형 움직임 양을 모두 검출하는 것이 바람직하며, 상기 회전 움직임 검출 부(11)에 포함된 자이로 센서(111)가 2축 회전 움직임 양을 검출하는 경우 상기 선형 움직임 검출부도 두 축 방향의 선형 움직임 양을 검출하는 것이 바람직하다.
도 4는 촬영장치에서 동시에 발생하는 회전 움직임과 선형 움직임을 도시한 도면이다. 도 4에 도시된 바와 같이, 손떨림에 의해 촬영장치에서 발생하는 움직임은 회전 움직임과 선형 움직임을 모두 포함하므로 상기 두가지 움직임에 따른 움직임 양을 모두 연산하여 보정하는 경우 손떨림 보정의 효과를 크게 향상시킬 수 있다.
도 5는 본 발명의 일실시형태에 따른 손떨림 보정 방법을 설명하기 위한 도면이다. 도 5에서 실선으로 도시된 사각형은 입력 이미지 프레임이고 점선으로 도시된 사각형은 출력 이미지 프레임이다. 본 발명의 일실시형태에서, 손떨림 보정부(13)에 포함된 출력 이미지 결정부(131)는 입력 이미지 프레임 마다 검출된 회전 움직임 양과 선형 움직임 양을 보정할 수 있는 출력 이미지 프레임의 영역을 결정하여 출력한다. 더욱 상세하게, 상기 출력 이미지 결정부(131)는, 상기 검출된 회전 움직임 양 및 선형 움직임 양을 이용하여 상기 촬영장치의 움직임에 의해 발생한 상기 입력 이미지 프레임의 수평좌표 및 수직좌표 이동양을 화소단위로 연산하고, 상기 화소단위로 연산된 수평좌표 및 수직좌표 이동양을 보상할 수 있는 출력 이미지 프레임의 영역을 결정할 수 있다. 이 때, 상기 출력 이미지 결정부는, 사전설정된 사이즈의 출력 이미지 프레임의 시작화소를 결정함으로써 상기 입력 이미지 프레임에서 상기 출력 이미지 프레임 영역을 결정할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 일실시형태의 작용 및 효과를 더욱 상세하게 설명한다.
본 발명의 손떨림 보정 장치는 캠코더나 휴대폰의 카메라 모듈을 이용한 동영상 촬영에 적용될 수 있는 것으로 이미지 센서부(10)에 의해 생성된 입력 이미지 프레임 각각에 대해 회전 움직임 양과 선형 움직임 양을 보정할 수 있는 출력 이미지 프레임을 생성하여 출력한다.
먼저, 촬영이 개시되면, 회전 움직임 검출부(11)에서는 자이로 센서(111)가 촬영 장치(캠코더나 카메라 모듈 등) 자체의 회전 움직임 양을 검출하고, 이 검출된 회전 움직임 양은 타이머(113)에 의해 결정되는 샘플링 주기로 아날로그-디지털 변환부(112)에 의해 디지털값으로 변환될 수 있다. 마이크로 컨트롤러(114)는 디지털값으로 변환되어 입력되는 회전 움직임 양을 소정 시간단위로 적산하여 메모리(115)에 기록할 수 있다. 상기 자이로 센서(111)에서 검출되어 출력되는 회전 움직임 양은 각속도에 해당하는 양일 수 있다. 상기 마이크로 컨트롤러(114)는 메모리(115)에 저장된 디지털값의 회전 움직임 양을 읽어들여 손떨림 보정부(13)로 출력할 수 있다. 상기 자이로 센서(111)가 3축 자이로 센서인 경우, 피치, 요, 롤의 세 가지 회전 움직임 양이 모두 저장 및 출력될 수 있으며, 상기 자이로 센서(111) 가 2축 자이로 센서인 경우 피치, 요의 두 가지 회전 움직임 양이 저장 및 출력될 수 있다. 상기 적산되는 시간단위는, 손떨림 보정이 이미지 프레임 단위로 이루어짐을 감안하여 프레임 간격에 해당하는 시간일 수 있다. 또한, 상기 마이크로 컨트롤러(111)는 메모리(115)에 저장된 각속도에 상응하는 회전 움직임 양을 읽어들인 후 이미지의 픽셀에 해당하는 회전 움직임 양으로 변환하여 출력할 수 있다.
상기 회전 움직임 검출부(11)의 동작과 동시에 선형 움직임 검출부(12)에서는 입력되는 이미지 프레임을 이용하여 촬영 장치(캠코더나 카메라 모듈 등)의 선형 움직임을 검출할 수 있다. 이미지 센서부(10)에 의해 촬상된 신호는 이미지 처리부(121)에 의해 수행되는 일련의 이미지 처리 과정을 거쳐 입력 이미지 프레임으로 출력되고, 이 입력 이미지 프레임은 프레임 버퍼부(122)에 임시 저장될 수 있다. 선형 움직임 연산부(123)는 프레임 버퍼부(122)에서 비교 대상이 되는 선행 및 후행 입력 이미지 프레임을 서로 비교하여 선형 움직임이 발생하였는지 판단하고 선형 움직임 양을 검출한다. 이러한 이미지 프레임 비교를 통한 선형 움직임 발생 판단 및 움직임 양 검출 기법은 공지의 다양한 기법들이 이용될 수 있다. 상기 선형 움직임 연산부(123) 3 개의 좌표축 방향에 대한 움직임 양을 픽셀 단위로 출력하거나 수평방향축(x축) 및 수직방향축(y축)의 두 개 촤표축 방향에 대한 움직임 양을 픽셀단위로 출력할 수 있다.
상기 회전 움직임 검출부(11)의 마이크로 컨트롤러(114)에 의해 출력되는 픽 셀 단위로 표현된 회전 방향 움직임 양과, 상기 선형 움직임 검출부(12)의 선형 움직임 연산부에 의해 출력되는 픽셀 단위로 표현된 선형 움직임 양은 손떨림 보정부의 출력 이미지 결정부(131)에 입력되어 입력 이미지 프레임의 보정에 사용될 수평, 수직 방향의 보정양을 연산하게 된다. 예를 들어, 상기 자이로 센서(111)로 3축 자이로 센서를 채용하고 선형 움직임 검출부(12)가 3 방향의 선형 움직임 양을 검출한 실시예에서 하기 식 1 및 식 2와 같이 각각 수평, 수직 방향 보정양을 연산하게 된다. 또한, 상기 자이로 센서(111)로 2축 자이로 센서를 채용하고 선형 움직임 검출부(12)가 2 방향의 선형 움직임 양을 검출한 실시예에서는 하기 식 3 및 식 4와 같이 각각 수평, 수직 방향 보정양을 연산하게 된다.
[식 1]
Figure 112008060894593-PAT00001
[식 2]
Figure 112008060894593-PAT00002
[식 3]
Figure 112008060894593-PAT00003
[식 4]
Figure 112008060894593-PAT00004
상기 식 1 내지 식 4에서, Xshift 및 Yshift는 수평 방향 및 수직 방향의 보정양을 나타내며, Xyaw는 검출된 회전 움직임 양 중 요에 의한 회전 움직임 양을 픽셀 단위로 변환한 값이며, Xroll은 검출된 회전 움직임 양 중 롤에 의한 회전 움직임 양에서 수평방향 성분을 픽셀 단위로 변환한 값이며, Xx_trans는 검출된 선형 움직임 양 중 수평좌표축(x축) 방향의 움직임 양이며, Xz_trans는 검출된 선형 움직임 양 중 전후축(광축 또는 z축) 방향의 움직임 양 중 수평방향 성분에 해당하는 값이다. 이와 유사하게, Ypitch는 검출된 회전 움직임 양 중 피치에 의한 회전 움직임 양을 픽셀 단위로 변환한 값이며, Yroll은 검출된 회전 움직임 양 중 롤에 의한 회전 움직임 양에서 수직방향 성분을 픽셀 단위로 변환한 값이며, Yy_trans는 검출된 선형 움직임 양 중 수직좌표축(y축) 방향의 움직임 양이며, Yz_trans는 검출된 선형 움직임 양 중 전후축(광축 또는 z축) 방향의 움직임 양 중 수직방향 성분에 해당하는 값이다.
상기와 같이 연산된 수평방향 및 수직방향 보정양은 출력 이미지 결정부(131)에서 출력 이미지 프레임을 결정하는데 사용될 수 있다. 상기 출력 이미지 결정부(131)는 상기 수평방향 및 수직방향 보정양을 적용하여 손떨림에 의한 움직임이 보정된 출력 이미지 프레임을 생성한다. 예를 들어, 도 5에 도시된 바와 같이, 출력 이미지 프레임(점선 사각형)은 입력 이미지 프레임(실선 사각형)보다 적 은 화소를 포함하는 프레임으로 사전에 사이즈가 미리 결정될 수 있으며, 전술한 것과 같이 연산된 수평방향 및 수직방향 보정양 만큼 출력 이미지 프레임의 시작 좌표((X1, Y1)-(X7, Y7))를 각 입력 이미지 프레임마다 변경시켜 출력한다. 이로써 상기 출력 이미지 결정부(131)는 손떨림에 의한 움직임이 보정된 이미지 프레임을 출력할 수 있게 된다.
이상에서 설명한 바와 같이, 본 발명에 따르면 자이로 센서에 의해 검출된 회전 움직임 양 및 이미지의 디지털 처리에 의해 검출된 선형 움직임 양을 모두 고려하여 손떨림을 보정함으로써 동영상 출력의 손떨림 보정 효과를 더욱 향상시킬 수 있다.
본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되지 않으며, 후술되는 특허청구의 범위 및 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일실시형태에 따른 손떨린 보정 장치를 도시한 블록 구성도이다.
도 2는 자이로 센서에 의해 검출되는 촬영장치의 회전 움직임을 도시한 도면이다.
도 3은 선형 움직임 검출부에 의해 검출되는 촬영장치의 선형 움직임을 도시한 도면이다.
도 4는 촬영장치에서 동시에 발생하는 회전 움직임과 선형 움직임을 도시한 도면이다.
도 5는 본 발명의 일실시형태에 따른 손떨림 보정 방법을 설명하기 위한 도면이다.
*도면의 주요 부분에 대한 부호의 설명*
10: 이미지 센서부 11: 회전 움직임 검출부
111: 자이로 센서 112: 아날로그-디지털 변환부
113: 타이머 114: 마이크로 컨트롤러
115: 메모리 12: 선형 움직임 검출부
121: 이미지 처리부 122: 프레임 버퍼부
123: 선형 움직임 연산부 131: 출력 이미지 결정부

Claims (9)

  1. 자이로 센서를 이용하여 촬영장치의 회전 움직임 양을 검출하는 회전 움직임 검출부;
    이미지 센서에 의해 생성된 전후 이미지 프레임을 비교하여 상기 촬영장치의 선형 움직임 양을 검출하는 선형 움직임 검출부; 및
    상기 이미지 센서로부터 입력되는 이미지 프레임에서 상기 검출된 회전 움직임 양 및 선형 움직임 양을 보정한 출력 이미지 프레임을 생성하는 출력 이미지 결정부
    를 포함하는 손떨림 보정 장치.
  2. 제1항에 있어서, 상기 회전 움직임 검출부는,
    복수의 회전축을 중심으로 발생하는 복수의 회전 움직임 양을 검출하는 자이로 센서;
    상기 검출된 복수의 회전 움직임 양을 각각 디지털값으로 변환하는 아날로그-디지털 변환부;
    상기 변환된 디지털값을 저장하는 메모리부; 및
    상기 변환된 디지털값을 상기 메모리부에 기록하고, 상기 메모리부에 저장된 디지털값을 읽어들여 상기 출력 이미지 결정부로 출력하는 마이크로 컨트롤러를 포 함하는 것을 특징으로 하는 손떨림 보정 장치.
  3. 제1항에 있어서, 상기 선형 움직임 검출부는,
    상기 이미지 센서로부터 입력되는 신호를 처리하여 상기 이미지 프레임을 생성하는 이미지 처리부;
    상기 이미지 프레임을 일시 저장하는 프레임 버퍼부; 및
    상기 프레임 버퍼부에 저장된 전후 이미지 프레임을 비교하여 복수의 좌표축 방향으로 발생한 선형 움직임 양을 연산하는 선형 움직임 연산부를 포함하는 것을 특징으로 하는 손떨림 보정 장치.
  4. 제1항에 있어서, 상기 자이로 센서는,
    피치(pitch) 회전 움직임 양, 요(yaw) 회전 움직임 양 및 롤(roll) 회전 움직임 양을 검출하는 3축 자이로 센서인 것을 특징으로 하는 손떨림 보정 장치.
  5. 제1항에 있어서, 상기 선형 움직임 검출부는,
    상기 촬영장치의 수평좌표축(x축) 방향의 움직임 양, 상기 촬영장치의 수직좌표축(y축) 방향의 움직임 양 및 상기 촬영장치의 전후좌표축(z축) 방향의 움직임 양을 검출하는 것을 특징으로 하는 손떨림 보정 장치.
  6. 제1항에 있어서, 상기 자이로 센서는,
    피치(pitch) 회전 움직임 양 및 요(yaw) 회전 움직임을 검출하는 2축 자이로 센서인 것을 특징으로 하는 손떨림 보정 장치.
  7. 제1항에 있어서, 상기 선형 움직임 검출부는,
    상기 촬영장치의 수평좌표축(x축) 방향의 움직임 양 및 상기 촬영장치의 수직좌표축(y축) 방향의 움직임을 검출하는 것을 특징으로 하는 손떨림 보정 장치.
  8. 제1항에 있어서, 상기 출력 이미지 결정부는,
    상기 검출된 회전 움직임 양 및 선형 움직임 양을 이용하여 수평방향 및 수직방향 보정양을 화소단위로 연산하고, 상기 화소단위로 연산된 수평방향 및 수직방향 보정양을 적용한 상기 출력 이미지 프레임의 영역을 결정하는 것을 특징으로 하는 손떨림 보정 장치.
  9. 제8항에 있어서, 상기 출력 이미지 결정부는,
    상기 수평방향 및 수직방향 보정양을 적용하여 사전설정된 사이즈의 출력 이미지 프레임의 시작화소를 결정함으로써 상기 입력 이미지 프레임에서 상기 출력 이미지 프레임 영역을 결정하는 것을 특징으로 하는 손떨림 보정 장치.
KR1020080083593A 2008-08-26 2008-08-26 손떨림 보정 장치 KR100968974B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080083593A KR100968974B1 (ko) 2008-08-26 2008-08-26 손떨림 보정 장치
US12/510,738 US20100053343A1 (en) 2008-08-26 2009-07-28 Apparatus for correcting motion caused by hand shake

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080083593A KR100968974B1 (ko) 2008-08-26 2008-08-26 손떨림 보정 장치

Publications (2)

Publication Number Publication Date
KR20100024851A true KR20100024851A (ko) 2010-03-08
KR100968974B1 KR100968974B1 (ko) 2010-07-14

Family

ID=41724789

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080083593A KR100968974B1 (ko) 2008-08-26 2008-08-26 손떨림 보정 장치

Country Status (2)

Country Link
US (1) US20100053343A1 (ko)
KR (1) KR100968974B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101403937B1 (ko) * 2014-01-24 2014-06-09 (주)인펙비전 흔들림 보정효율을 높인 동영상 안정화 장치 및 방법
KR20160079900A (ko) * 2011-12-15 2016-07-06 애플 인크. 비디오 안정화를 위한 동작센서 기반 가상삼각 방법
KR20160125715A (ko) * 2015-04-22 2016-11-01 (주) 리얼밸류 3차원 스캐너 및 스캐닝 방법
KR20170050912A (ko) * 2015-11-02 2017-05-11 삼성전자주식회사 전자 장치 및 전자 장치의 손떨림 보정 방법

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101626003B1 (ko) * 2009-08-24 2016-06-13 삼성전자주식회사 디지털 촬영장치
US20120065926A1 (en) * 2010-09-14 2012-03-15 Samsung Electronics Co., Ltd Integrated motion sensing apparatus
US9569823B2 (en) * 2012-12-26 2017-02-14 Sony Corporation Image processing device and method, and program for correcting a blurred moving image
US10057547B2 (en) * 2013-05-20 2018-08-21 Acp Japan Co., Ltd. Medical image recording device
US10136063B2 (en) 2013-07-12 2018-11-20 Hanwha Aerospace Co., Ltd Image stabilizing method and apparatus
KR102282458B1 (ko) 2015-03-23 2021-07-27 한화테크윈 주식회사 영상안정화장치 및 방법
KR20150071344A (ko) * 2013-12-18 2015-06-26 삼성전기주식회사 디스플레이의 영상 안정화 장치 및 방법
US9699381B2 (en) * 2014-04-18 2017-07-04 Samsung Electro-Mechanics Co., Ltd. Digital photographing motion compensation system and method
CN104869287A (zh) * 2015-05-18 2015-08-26 成都平行视野科技有限公司 基于移动设备gpu和角速度传感器的视频拍摄降噪方法
KR102349433B1 (ko) 2015-11-27 2022-01-10 삼성전자주식회사 자이로스코프 센서를 제어할 수 있는 이미지 센서와 이를 포함하는 장치들
KR102641881B1 (ko) * 2016-10-28 2024-02-29 삼성전자주식회사 전방위 영상을 획득하는 방법 및 장치
KR102573302B1 (ko) * 2018-10-10 2023-08-31 삼성전자 주식회사 영상의 안정화를 위한 카메라 모듈, 그것을 포함하는 전자 장치 및 전자 장치의 영상 안정화 방법
CN114979456B (zh) * 2021-02-26 2023-06-30 影石创新科技股份有限公司 视频数据的防抖处理方法、装置、计算机设备和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000224470A (ja) * 1999-02-02 2000-08-11 Minolta Co Ltd カメラシステム
DE60234649D1 (de) * 2002-12-26 2010-01-14 Mitsubishi Electric Corp Bildprozessor
JP2005215388A (ja) * 2004-01-30 2005-08-11 Canon Inc 交換レンズ及びそれを用いたカメラシステム
JP2006033758A (ja) * 2004-07-21 2006-02-02 Olympus Imaging Corp 撮像装置および画像復元方法
KR100819301B1 (ko) 2006-12-20 2008-04-03 삼성전자주식회사 모바일 기기용 카메라 모듈의 손떨림 보정 방법 및 장치

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160079900A (ko) * 2011-12-15 2016-07-06 애플 인크. 비디오 안정화를 위한 동작센서 기반 가상삼각 방법
US9628711B2 (en) 2011-12-15 2017-04-18 Apple Inc. Motion sensor based virtual tripod method for video stabilization
KR101403937B1 (ko) * 2014-01-24 2014-06-09 (주)인펙비전 흔들림 보정효율을 높인 동영상 안정화 장치 및 방법
KR20160125715A (ko) * 2015-04-22 2016-11-01 (주) 리얼밸류 3차원 스캐너 및 스캐닝 방법
KR20170050912A (ko) * 2015-11-02 2017-05-11 삼성전자주식회사 전자 장치 및 전자 장치의 손떨림 보정 방법

Also Published As

Publication number Publication date
KR100968974B1 (ko) 2010-07-14
US20100053343A1 (en) 2010-03-04

Similar Documents

Publication Publication Date Title
KR100968974B1 (ko) 손떨림 보정 장치
CN107852462B (zh) 相机模块、固体摄像元件、电子设备和摄像方法
JP5708097B2 (ja) 撮像装置、撮像方法、及び撮像プログラム
KR100775104B1 (ko) 영상 신호의 떨림 보정 장치와 그를 포함하는 영상 시스템및 그 방법
JP4956401B2 (ja) 撮像装置及びその制御方法及びプログラム
CN105407271B (zh) 图像处理设备和方法、摄像设备以及图像生成设备
JP6135848B2 (ja) 撮像装置、画像処理装置および画像処理方法
US8965105B2 (en) Image processing device and method
US20130329063A1 (en) Noise reduction based on motion sensors
JP2007122275A (ja) 動きベクトル検出装置及びそのプログラム
CN106303249B (zh) 视频防抖方法和设备
JP2014068335A (ja) 撮像装置および画像処理方法
KR102592745B1 (ko) 자세 추정 장치, 자세 추정 방법 및 기록 매체에 저장된 컴퓨터 프로그램
KR100956226B1 (ko) 자이로 센서를 포함하는 카메라 모듈
JP2012080204A (ja) 画像処理装置及び方法、並びにプログラム
JP5393877B2 (ja) 撮像装置および集積回路
US9143684B2 (en) Digital photographing apparatus, method of controlling the same, and computer-readable storage medium
JP2015114438A (ja) 画像処理装置およびそれを備えた撮像装置、画像処理方法
JP6257289B2 (ja) 画像処理装置およびそれを備えた撮像装置、画像処理方法
JP2008177972A (ja) 撮像装置
JP2007201570A (ja) 画像処理装置、撮影装置、画像処理方法、および、制御プログラム
JP2014011569A (ja) ブレ補正装置及び方法
JP5506374B2 (ja) 撮像装置及びその制御方法
KR101348855B1 (ko) 모션 센서를 이용한 탐색 영역을 감축하는 실시간 영상 안정화 방법, 장치 및 촬상 장치
EP4280154A1 (en) Image blurriness determination method and device related thereto

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130624

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140701

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160701

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170703

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180702

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190701

Year of fee payment: 10