KR102397034B1 - 전자 장치 및 전자 장치의 손떨림 보정 방법 - Google Patents

전자 장치 및 전자 장치의 손떨림 보정 방법 Download PDF

Info

Publication number
KR102397034B1
KR102397034B1 KR1020150153039A KR20150153039A KR102397034B1 KR 102397034 B1 KR102397034 B1 KR 102397034B1 KR 1020150153039 A KR1020150153039 A KR 1020150153039A KR 20150153039 A KR20150153039 A KR 20150153039A KR 102397034 B1 KR102397034 B1 KR 102397034B1
Authority
KR
South Korea
Prior art keywords
electronic device
movement
lens
image
module
Prior art date
Application number
KR1020150153039A
Other languages
English (en)
Other versions
KR20170050912A (ko
Inventor
윤재무
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150153039A priority Critical patent/KR102397034B1/ko
Priority to US15/341,420 priority patent/US10044937B2/en
Publication of KR20170050912A publication Critical patent/KR20170050912A/ko
Application granted granted Critical
Publication of KR102397034B1 publication Critical patent/KR102397034B1/ko

Links

Images

Classifications

    • H04N5/23248—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/23254—
    • H04N5/23267—
    • H04N5/2327—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Abstract

본 발명의 다양한 실시 예에 따른 전자 장치는, 제1 렌즈, 제1 렌즈를 통해 이미지를 촬영하는 제1 이미지 센서를 포함하는 제1 카메라 모듈, 제1 이미지 센서에 의해 촬영된 이미지에 포함된 픽셀의 움직임을 판단하는 프로세서 및 제2 렌즈, 제2 렌즈를 구동하는 렌즈 구동 모듈, 상기 전자 장치의 움직임을 감지하는 자이로 센서, 제2 렌즈를 통해 이미지를 촬영하는 제2 이미지 센서 및 전자 장치의 움직임 정보 및 픽셀의 움직임 정보를 이용하여 보정값을 산출하고, 보정값에 기초하여 손떨림 보정(image stabilization)을 수행하는 손떨림 보정 모듈을 포함하는 제2 카메라 모듈을 포함할 수 있다.

Description

전자 장치 및 전자 장치의 손떨림 보정 방법{ELECTRONIC DEVICE AND IMAGE STABILIZATION METHOD THEREOF}
본 발명은 카메라 기능을 포함하는 전자 장치의 손떨림 보정 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 제품들이 개발 및 보급되고 있다. 특히, 최근에는 스마트폰, 테블릿 PC 등과 같이 다양한 기능을 가지는 전자 장치의 보급이 확대되고 있다.
사용자가 전자 장치를 이용하여 이미지를 촬영하는 경우 미세한 손떨림에 의해 이미지가 흔들리는 현상이 발생할 수 있다. 이미지의 흔들림을 방지하기 위해 손떨림 보정(image stabilization) 기능이 적용된 전자 장치가 개발되고 있다.
전자 장치에 적용되는 손떨림 보정 기능은 자이로 센서를 이용하여 손떨림에 의한 움직임을 감지하고 손떨림에 의한 움직임과는 반대로 렌즈를 이동시켜 보정하고 있다.
자이로 센서는 그 특징상 시간의 흐름에 따라 드리프트(drift) 오차가 발생하여 정확성이 떨어질 수 있다. 또한, 느린 셔터 속도로 이미지를 촬영하는 경우에는 노출 시간이 길어져 이미지의 흔들림이 심해질 수 있다.
본 발명의 다양한 실시예를 통해 자이로 센서의 오차를 최소화하고 손떨림 보정 기능을 향상시킬 수 있는 전자 장치 및 전자 장치의 손떨림 보정 방법을 제공하고자 한다.
본 발명의 다양한 실시 예에 따른 전자 장치는, 제1 렌즈, 상기 제1 렌즈를 통해 이미지를 촬영하는 제1 이미지 센서를 포함하는 제1 카메라 모듈, 상기 제1 이미지 센서에 의해 촬영된 이미지에 포함된 픽셀의 움직임을 판단하는 프로세서 및 제2 렌즈, 상기 제2 렌즈를 구동하는 렌즈 구동 모듈, 상기 전자 장치의 움직임을 감지하는 자이로 센서, 상기 제2 렌즈를 통해 이미지를 촬영하는 제2 이미지 센서 및 상기 전자 장치의 움직임 정보 및 상기 픽셀의 움직임 정보를 이용하여 보정값을 산출하고, 상기 보정값에 기초하여 손떨림 보정(image stabilization)을 수행하는 손떨림 보정 모듈을 포함하는 제2 카메라 모듈을 포함할 수 있다.
본 발명의 다양한 실시 예에 따른, 전자 장치의 손떨림 보정 방법은, 자이로 센서를 이용하여 상기 전자 장치의 움직임을 감지하는 동작, 렌즈를 통해 이미지를 촬영하는 동작, 이미지에 포함된 픽셀의 움직임을 판단하는 동작, 상기 전자 장치의 움직임 정보 및 상기 픽셀의 움직임 정보를 이용하여 보정값을 산출하는 동작, 및 상기 보정값에 기초하여 손떨림 보정(image stabilization)을 수행하는 동작을 포함할 수 있다.
본 발명의 다양한 실시 예에 따른 컴퓨터 판독 가능 기록매체는, 자이로 센서를 이용하여 상기 전자 장치의 움직임을 감지하는 동작, 렌즈를 통해 이미지를 촬영하는 동작, 이미지에 포함된 픽셀의 움직임을 판단하는 동작, 상기 전자 장치의 움직임 정보 및 상기 픽셀의 움직임 정보를 이용하여 보정값을 산출하는 동작 및 상기 보정값에 기초하여 손떨림 보정(image stabilization)을 수행하는 동작을 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 자이로 센서의 출력값 뿐만 아니라 이미지 센서를 통해 생성된 이미지를 이용하여 손떨림 보정을 수행함으로써 손떨림 보정 기능의 성능을 향상시킬 수 있다.
도 1은 본 발명의 다양한 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다.
도 2는 본 발명의 다양한 실시 예에 따른 카메라 모듈의 구성을 나타내는 도면이다.
도 3은 본 발명의 다양한 실시 예에 따른 렌즈의 위치를 나타내는 도면이다.
도 4는 본 발명의 다양한 실시 예에 따른 렌즈의 위치를 나타내는 도면이다.
도 5는 본 발명의 다양한 실시 예에 따라 산출된 이동 벡터의 예를 나타내는 도면이다.
도 6은 본 발명의 다양한 실시 예에 따른 각속도 값의 예를 나타내는 도면이다.
도 7은 본 발명의 다양한 실시 예에 따른 제1 각도값의 예를 나타내는 도면이다.
도 8은 본 발명의 다양한 실시 예에 따른 산출 과정의 예를 나타내는 도면이다.
도 9는 본 발명의 다양한 실시 예에 따른 전자 장치의 손떨림 보정 방법을 나타내는 흐름도이다.
이하, 본 문서의 다양한 실시예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 문서의 실시예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제 1," "제 2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제 1 사용자 기기와 제 2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시예들을 배제하도록 해석될 수 없다.
본 문서의 다양한 실시예들에 따른 전자 장치는, 예를 들면, 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다. 다양한 실시예에 따르면, 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형(예: implantable circuit) 중 적어도 하나를 포함할 수 있다.
이하, 첨부 도면을 참조하여, 다양한 실시예에 따른 전자 장치가 설명된다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 본 발명의 다양한 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다.
도 1을 참조하면, 전자 장치(100)는, 제1 카메라 모듈(110), 제2 카메라 모듈(120), 디스플레이(140), 입력 모듈(150), 메모리(150) 및 프로세서(140)를 포함할 수 있다. 본 발명의 다양한 실시 예에 따른 전자 장치(100)는 자이로 센서에 의해 획득되는 전자 장치의 움직임 정보 외에 이미지 센서를 통해 생성된 이미지(또는, 이미지에 포함된 픽셀)의 움직임 정보를 이용하여 손떨림 보정을 수행할 수 있다. 일 실시 예에 따르면, 전자 장치(100)는 스마트폰 또는 디지털 카메라 등 촬영 기능이 구비된 전자 장치를 포함할 수 있다.
일 실시 예에 따르면, 제1 카메라 모듈(110) 또는 제2 카메라 모듈(120)은 렌즈를 통해 보여지는 이미지(예: 사진 또는 동영상)를 촬영할 수 있다. 예를 들어, 제1 카메라 모듈(110) 또는 제2 카메라 모듈(120)은 각각 또는 동시에 이미지를 촬영할 수 있다. 일 실시 예에 따르면, 제1 카메라 모듈(110) 또는 제2 카메라 모듈(120)은 이미지를 촬영하는 중 사용자의 손떨림에 의한 이미지의 흔들림을 방지하기 위해 손떨림 보정(image stabilization)을 수행할 수 있다.
일 실시 예에 따르면, 디스플레이(130)는 제1 카메라 모듈(110) 또는 제2 카메라 모듈(120)에 의해 촬영된 이미지 또는 메모리(150)에 저장된 이미지를 표시할 수 있다.
일 실시 예에 따르면, 입력 모듈(140)은 사용자 입력을 수신할 수 있다. 일 실시 예에 따르면, 입력 모듈(140)은 이미지의 촬영 또는 저장을 위한 사용자 입력을 수신할 수 있다. 일 실시 예에 따르면, 입력 모듈(140)은 손떨림 보정 기능의 사용 여부를 설정하는 사용자 입력을 수신할 수 있다.
일 실시 예에 따르면, 입력 모듈(140)은 사용자의 터치 조작을 센싱하는 터치 센서 패널 또는 사용자의 펜 조작을 센싱하는 펜 센서 패널(예: 디지타이저(digitizer))을 포함할 수 있다. 일 실시 예에 따르면, 입력 모듈(140)은 사용자의 움직임을 인식하는 모션 인식 센서 또는 사용자의 음성을 인식하는 음성 인식 센서를 포함할 수 있다. 일 실시 예에 따르면, 입력 모듈(140)은 푸쉬 버튼 또는 조그 버튼 등 다양한 종류의 입력 버튼을 포함할 수 있다.
일 실시 예에 따르면, 디스플레이(130) 및 입력 모듈(140)은, 예를 들어, 디스플레이 패널 상부에 입력 패널이 배치되어 디스플레이 및 터치 조작 센싱을 동시에 수행할 수 있는 터치 스크린으로 구현될 수도 있다.
일 실시 예에 따르면, 메모리(150)는 제1 카메라 모듈(110) 또는 제2 카메라 모듈(120)에 의해 촬영된 이미지를 저장할 수 있다. 예를 들어, 메모리(150)는 사진 또는 동영상 등의 이미지를 저장할 수 있다.
일 실시 예에 따르면, 프로세서(160)는 전자 장치(100)의 전반적인 동작을 제어할 수 있다. 일 실시 예에 따르면, 프로세서(160)는 제1 카메라 모듈(110), 제2 카메라 모듈(120), 디스플레이(130), 입력 모듈(140) 및 메모리(150) 각각을 제어하여 본 발명의 다양한 실시 예에 따라 손떨림 보정을 수행하도록 할 수 있다.
일 실시 예에 따르면, 프로세서(160)는 제1 카메라 모듈(110) 또는 제2 카메라 모듈(120)로부터 수신되는 이미지를 메모리(150)에 저장할 수 있다. 일 실시 예에 따르면, 프로세서(160)는 제1 카메라 모듈(110) 또는 제2 카메라 모듈(120)로부터 수신되는 이미지를 분석하여 이미지에 포함된 픽셀의 움직임을 판단할 수 있다. 일 실시 예에 따르면, 프로세서(160)는 픽셀의 움직임 정보를 제1 카메라 모듈(110) 또는 제2 카메라 모듈(120)로 전달할 수 있다.
도 2는 본 발명의 다양한 실시 예에 따른 카메라 모듈의 구성을 나타내는 도면이다.
도 2를 참조하면, 제1 카메라 모듈(110)은 제1 렌즈(111), 제1 렌즈 구동 모듈(112), 제1 이미지 센서(113), 제1 자이로 센서(114) 및 제1 손떨림 보정 모듈(115)을 포함할 수 있다.
일 실시 예에 따르면, 제1 렌즈(111)는 시야각 내에 위치하는 피사체에 반사된 빛을 수신할 수 있다. 일 실시 예에 따르면, 제1 렌즈(111)는 지정된 방향(예: 전자 장치(100)의 전면 또는 후면 방향)을 향하도록 배치될 수 있다. 일 실시 예에 따르면, 제1 렌즈(111)는 입력되는 빛의 양을 조절하는 조리개를 포함할 수 있다.
일 실시 예에 따르면, 제1 렌즈 구동 모듈(112)은 제1 렌즈(111)를 구동시킬 수 있다. 일 실시 예에 따르면, 제1 렌즈 구동 모듈(112)은 제1 렌즈(111)의 위치(또는, 방향)을 조절하여 제1 렌즈(111)의 움직임을 제어할 수 있다.
일 실시 예에 따르면, 제1 이미지 센서(113)는 제1 렌즈(111)를 통해 입력되는 빛을 전기적 신호로 변환할 수 있다. 예를 들어, 제1 이미지 센서(113)는 제1 렌즈(111)를 통해 입력되는 빛에 포함된 피사체 정보를 이용하여 이미지를 생성할 수 있다. 일 실시 예에 따르면, 제1 이미지 센서(113)는 손떨림 보정을 위해 지정된 주기(예: 1/60초)로 이미지를 생성할 수 있다. 일 실시 예에 따르면, 제1 이미지 센서(113)는 생성된 이미지를 프로세서(160)로 전달할 수 있다.
일 실시 예에 따르면, 제1 자이로 센서(114)는 전자 장치(100)(또는, 제1 카메라 모듈(110))의 움직임을 감지할 수 있다. 일 실시 예에 따르면, 제1 자이로 센서(114)는 전자 장치(100)의 움직임에 대응되는 각속도를 출력할 수 있다. 일 실시 예에 따르면, 제1 자이로 센서(114)는 2축 자이로 센서일 수 있다. 예를 들어, 제1 자이로 센서(114)는 전자 장치(100)의 움직임을 감지하여 제1 렌즈(111)가 향하는 방향을 기준으로 요(yaw)축 및 피치(pitch)축의 각속도를 출력할 수 있다.
일 실시 예에 따르면, 제1 손떨림 보정(image stabilization) 모듈(115)은 이미지 촬영 중 사용자의 손떨림에 의한 이미지의 흔들림을 방지하기 위해 제1 카메라 모듈(110)의 손떨림 보정을 수행할 수 있다. 일 실시 예에 따르면, 제1 손떨림 보정 모듈(115)은 제1 자이로 센서(114)로부터 수신되는 전자 장치의 움직임 및 프로세서(160)로부터 수신되는 픽셀의 움직임을 이용하여 보정값을 산출할 수 있다. 일 실시 예에 따르면, 제1 손떨림 보정 모듈(115)은 산출된 보정값을 이용하여 손떨림 보정을 수행할 수 있다. 예를 들어, 제1 손떨림 보정 모듈(115)은 보정값에 따라 제1 렌즈(111)의 위치를 변경하도록 제1 렌즈 구동 모듈(112)을 제어할 수 있다.
도 2를 참조하면, 제2 카메라 모듈(120)은 제2 렌즈(121), 제2 렌즈 구동 모듈(122), 제2 이미지 센서(123), 제2 자이로 센서(124) 및 제2 손떨림 보정 모듈(125)을 포함할 수 있다.
일 실시 예에 따르면, 제2 렌즈(121)는 시야각 내에 위치하는 피사체에 반사된 빛을 수신할 수 있다. 일 실시 예에 따르면, 제2 렌즈(121)는 지정된 방향(예: 전자 장치(100)의 전면 또는 후면 방향)을 향하도록 배치될 수 있다. 예를 들어, 제2 렌즈(121)는 제1 렌즈(111)와 동일한 방향을 향하도록 배치될 수 있다. 일 실시 예에 따르면, 제2 렌즈(121)는 입력되는 빛의 양을 조절하는 조리개를 포함할 수 있다.
일 실시 예에 따르면, 제2 렌즈 구동 모듈(122)은 제2 렌즈(121)를 구동시킬 수 있다. 일 실시 예에 따르면, 제2 렌즈 구동 모듈(122)은 제2 렌즈(121)의 위치(또는, 방향)을 조절하여 제2 렌즈(121)의 움직임을 제어할 수 있다.
일 실시 예에 따르면, 제2 이미지 센서(123)는 제2 렌즈(121)를 통해 입력되는 빛을 전기적 신호로 변환할 수 있다. 예를 들어, 제2 이미지 센서(123)는 제2 렌즈(121)를 통해 입력되는 빛에 포함된 피사체 정보를 이용하여 이미지를 생성할 수 있다. 일 실시 예에 따르면, 제2 이미지 센서(123)는 손떨림 보정을 위해 지정된 주기(예: 1/60초)로 이미지를 생성할 수 있다. 일 실시 예에 따르면, 제2 이미지 센서(123)는 생성된 이미지를 프로세서(160)로 전달할 수 있다.
일 실시 예에 따르면, 제2 자이로 센서(124)는 전자 장치(100)(또는, 제2 카메라 모듈(120))의 움직임을 감지할 수 있다. 일 실시 예에 따르면, 제2 자이로 센서(124)는 전자 장치(100)의 움직임에 대응되는 각속도를 출력할 수 있다. 일 실시 예에 따르면, 제2 자이로 센서(124)는 2축 자이로 센서일 수 있다. 예를 들어, 제2 자이로 센서(124)는 전자 장치(100)의 움직임을 감지하여 제2 렌즈(121)가 향하는 방향을 기준으로 요(yaw)축 및 피치(pitch)축의 각속도를 출력할 수 있다.
일 실시 예에 따르면, 제2 손떨림 보정(image stabilization) 모듈(125)은 이미지 촬영 중 사용자의 손떨림에 의한 이미지의 흔들림을 방지하기 위해 제2 카메라 모듈(120)의 손떨림 보정을 수행할 수 있다. 일 실시 예에 따르면, 제2 손떨림 보정 모듈(125)은 제2 자이로 센서(124)로부터 수신되는 전자 장치의 움직임 및 프로세서(160)로부터 수신되는 픽셀의 움직임을 이용하여 보정값을 산출할 수 있다. 일 실시 예에 따르면, 제2 손떨림 보정 모듈(125)은 산출된 보정값을 이용하여 손떨림 보정을 수행할 수 있다. 예를 들어, 제2 손떨림 보정 모듈(125)은 보정값에 따라 제2 렌즈(121)의 위치를 변경하도록 제2 렌즈 구동 모듈(122)을 제어할 수 있다.
일 실시 예에 따르면, 제1 카메라 모듈(110) 및 제2 카메라 모듈(120)에 포함된 구성 중 일부는 생략될 수 있다. 예를 들어, 제1 카메라 모듈(110)에 대해서만 손떨림 보정을 수행하도록 설정된 경우, 도 2에 도시된 제2 카메라 모듈(120)에 포함된 구성 중 제2 렌즈 구동 모듈(122), 제2 자이로 센서(124) 및 제2 손떨림 보정 모듈(125) 중 적어도 일부는 생략될 수 있다.
도 3은 본 발명의 다양한 실시 예에 따른 렌즈의 위치를 나타내는 도면이다.
도 2를 참조하여 설명한 실시 예에 따르면, 전자 장치(100)는 복수의 렌즈(예: 제1 렌즈(111) 및 제2 렌즈(121))를 포함할 수 있다. 도 3은 전자 장치(100)가 스마트폰으로 구현되는 경우에 복수의 렌즈(111, 121)의 위치를 나타내는 도면이다.
도 3의 (a)를 참조하면, 전자 장치(100)는 전자 장치(100)의 후면 방향을 향하는 제1 렌즈(111)를 포함할 수 있다. 일 실시 예에 따르면, 제2 렌즈(121)는 제1 렌즈(111)와 동일한 방향을 향하며, 가로방향으로 제1 렌즈(111)와 나란하게 배치될 수 있다.
도 3의 (b)를 참조하면, 전자 장치(100)는 전자 장치(100)의 후면 방향을 향하는 제1 렌즈(111)를 포함할 수 있다. 일 실시 예에 따르면, 제2 렌즈(121)는 제1 렌즈(111)와 동일한 방향을 향하며, 세로방향으로 제1 렌즈(111)와 나란하게 배치될 수 있다.
도 4는 본 발명의 다양한 실시 예에 따른 렌즈의 위치를 나타내는 도면이다.
도 2를 참조하여 설명한 실시 예에 따르면, 전자 장치(100)는 복수의 렌즈(예: 제1 렌즈(111) 및 제2 렌즈(121))를 포함할 수 있다. 도 4는 전자 장치(100)가 디지털 카메라로 구현되는 경우에 복수의 렌즈(111, 121)의 위치를 나타내는 도면이다.
도 4를 참조하면, 전자 장치(100)는 전자 장치(100)의 정면 방향을 향하는 제1 렌즈(111)를 포함할 수 있다. 일 실시 예에 따르면, 제1 렌즈(111) 주변에 제1 렌즈(111)와 동일한 방향으로 제2 렌즈(121)가 위치할 수 있다. 일 실시 예에 따르면, 제1 렌즈(111)는 전자 장치(100)의 메인 렌즈이고, 제2 렌즈(121)는 서브 렌즈일 수 있다. 예를 들어, 제2 렌즈(121)는 제1 카메라 모듈(110)의 손떨림 보정에 사용되는 이미지를 촬영하기 위한 렌즈일 수 있다. 제2 렌즈(121)를 포함하는 카메라 모듈(120)은, 예를 들어, 제2 렌즈 구동 모듈(122), 제2 손떨림 보정 모듈(124) 및 제2 자이로 센서(125)를 제외하고 제2 렌즈(121) 및 제2 이미지 센서(123)만을 포함할 수 있다.
이하에서는, 전자 장치(100)에서 수행되는 손떨림 보정 과정에 대해 구체적으로 설명한다. 본 발명의 다양한 실시 예에 따른 손떨림 보정은 제1 카메라 모듈(110) 및 제2 카메라 모듈(120) 모두에 적용될 수 있으나, 설명의 편의를 위해 제2 카메라 모듈(120)에서 손떨림 보정이 수행되는 경우를 예를 들어 설명한다.
일 실시 예에 따르면, 제2 자이로 센서(124)는 제2 손떨림 보정 모듈(125)로전자 장치(100)의 움직임 정보를 전달할 수 있다. 예를 들어, 제2 자이로 센서(124)는 제2 렌즈(121)가 향하는 방향을 기준으로 요(yaw)축 및 피치(pitch)축의 각속도를 전달할 수 있다.
도 5는 본 발명의 다양한 실시 예에 따라 산출된 이동 벡터의 예를 나타내는 도면이다.
일 실시 예에 따르면, 프로세서(160)는 제1 이미지 센서(113)로부터 수신되는 이미지를 분석하여 이미지에 포함된 픽셀의 움직임을 판단할 수 있다. 일 실시 예에 따르면, 프로세서(160)는 제1 이미지 센서(113)로부터 지정된 주기(예: 1/60)로 이미지를 수신할 수 있다. 도 5의 (a)를 참조하면, 사용자의 손떨림에 의해 제1 이미지 센서(113)에 의해 생성되는 이미지에 포함된 피사체(또는, 픽셀)가 이동될 수 있다. 일 실시 예에 따르면, 프로세서(160)는 제1 이미지 센서(113)로부터 연속적으로 수신되는 이미지를 비교하여 이미지에 포함된 픽셀의 움직임을 판단할 수 있다. 예를 들어, 프로세서(160)는 제1 이미지 센서(113)로부터 수신되는 이미지에 포함된 픽셀의 이동 벡터(예: 2차원 벡터)를 산출할 수 있다. 도 5의 (b)를 참조하면, 프로세서(160)는 이미지에 포함된 피사체(또는, 픽셀)의 이동에 대응되도록 이동 벡터를 산출할 수 있다.
일 실시 예에 따르면, 프로세서(160)는 이미지에 포함된 픽셀의 움직임 정보(예: 픽셀의 이동 벡터)를 제2 손떨림 보정 모듈(125)로 전달할 수 있다. 일 실시 예에 따르면, 프로세서(160)는 손떨림 보정을 수행하는 카메라 모듈(예: 제2 카메라 모듈(120))과는 상이한 카메라 모듈(예: 제1 카메라 모듈(110))에 의해 촬영된 이미지를 이용하여 픽셀의 움직임을 판단할 수 있다. 예를 들어, 제2 카메라 모듈(120)에 손떨림 보정이 수행되는 경우에는, 제1 이미지 센서(113)에 의해 생성된 이미지가 이용될 수 있다. 다른 예를 들어, 제1 카메라 모듈(110)에 손떨림 보정이 수행되는 경우에는, 제2 이미지 센서(123)에 의해 생성된 이미지가 이용될 수 있다.
일 실시 예에 따르면, 제2 손떨림 보정 모듈(125)은 제2 자이로 센서(124)로부터 수신되는 전자 장치(100)의 움직임 정보 및 프로세서(160)로부터 수신되는 픽셀의 움직임 정보를 이용하여 보정값을 산출할 수 있다. 일 실시 예에 따르면, 제2 손떨림 보정 모듈(125)은 전자 장치(100)의 움직임 정보 및 픽셀의 움직임 정보에 기초하여 제2 자이로 센서(124)의 측정 오차를 산출할 수 있다. 측정 오차는, 예를 들어, 제2 자이로 센서(124)의 드리프트(drift) 오차에 해당할 수 있다. 일 실시 예에 따르면, 제2 손떨림 보정 모듈(125)은 전자 장치의 움직임 정보에서 측정 오차를 제거할 수 있다. 일 실시 예에 따르면, 측정 오차가 제거된 전자 장치의 움직임 정보에 기초하여 보정값을 산출할 수 있다.
도 6은 본 발명의 다양한 실시 예에 따른 각속도 값의 예를 나타내는 도면이다.
도 6을 참조하면, 제2 자이로 센서(124)로부터 1초 동안 출력된 각속도 값(10)이 도시되어 있다. 일 실시 예에 따르면, 제2 손떨림 보정 모듈(125)은 제2 자이로 센서(114)로부터 수신되는 각속도 값에서 직류 오프셋을 제거할 수 있다. 예를 들어, 제2 손떨림 보정 모듈(125)은 제2 자이로 센서(124)로부터 수신되는 각속도 값에서 직류 오프셋을 차분할 수 있다. 제2 자이로 센서(124)에 설정된 직류 오프셋은, 예를 들어, 제2 손떨림 보정 모듈(125)에 포함된 메모리(예: 플래시 메모리)에 저장될 수 있다. 직류 오프셋은, 예를 들어, 자이로 센서에서 출력되는 각속도에 대해 각각 상이하게 설정될 수 있다. 일 실시 예에 따르면, 제2 손떨림 보정 모듈(125)은 제2 자이로 센서(124)에서 출력되는 각속도 값(10)에서 직류 오프셋을 차분함으로써 직류 오프셋이 제거된 각속도 값(20)을 얻을 수 있다.
도 7은 본 발명의 다양한 실시 예에 따른 제1 각도값의 예를 나타내는 도면이다.
도 7을 참조하면, 직류 오프셋이 제거된 각속도 값(20)이 도시되어 있다. 일 실시 예에 따르면, 제2 손떨림 보정 모듈(125)은 직류 오프셋이 제거된 각속도 값을 적분하여 제1 각도값(30)을 산출할 수 있다. 예를 들어, 제2 손떨림 보정 모듈(115)은 요(yaw)축 및 피치(pitch)축 각각에 대해 제1 각도값을 산출할 수 있다. 제1 각도값(30)은, 예를 들어, 전자 장치(100)의 회전 각도에 대응될 수 있다. 제1 각도값(30)은, 예를 들어, 자이로 센서의 드리프트 오차를 포함할 수 있다. 제1 각도값(30)을 살펴보면 각속도 값에 포함된 오차가 누적되어 1초간 약 0.1°의 오차가 발생하였음을 알 수 있다.
도 8은 본 발명의 다양한 실시 예에 따른 산출 과정의 예를 나타내는 도면이다.
도 8을 참조하면, 제2 손떨림 보정 모듈(125)에 의해 산출된 제1 각도값(30)이 도시되어 있다. 일 실시 예에 따르면, 제2 손떨림 보정 모듈(125)은 프로세서(160)로부터 수신되는 픽셀의 움직임 정보에 대응되는 제2 각도값(40)을 산출할 수 있다. 예를 들어, 제2 손떨림 보정 모듈(125)은 프로세서(160)로부터 수신되는 이동 벡터를 이용하여 요(yaw)축 및 피치(pitch)축 각각에 대해 제2 각도값을 산출할 수 있다. 일 실시 예에 따르면, 제1 이미지 센서(113)는 제2 자이로 센서(124)보다 긴 주기(예: 1/60초)로 이미지를 생성할 수 있으며, 제2 각도값(40)의 샘플수가 제1 각도값(30)보다 작아 그래프가 거칠게 나타날 수 있다.
일 실시 예에 따르면, 제2 손떨림 보정 모듈(125)은 제1 각도값(30)에서 제2 각도값(40)을 차분하여 제2 자이로 센서(124)의 측정 오차(50)를 산출할 수 있다. 일 실시 예에 따르면, 제2 손떨림 보정 모듈(125)은 저역 통과 필터(low pass filter)를 이용하여 측정 오차(50)를 필터링할 수 있다. 필터링된 측정 오차(60)는 노이즈가 제거되어, 예를 들어, 기존의 측정 오차(50)보다 선형성을 가질 수 있다. 일 실시 예에 따르면, 제2 손떨림 보정 모듈(125)은 제1 각도값(30)에서 필터링된 측정 오차(60)를 제거할 수 있다. 예를 들어, 제2 손떨림 보정 모듈(125)은 제1 각도값(30)에서 필터링된 측정 오차(60)를 차분하여 측정 오차가 제거된 각도값(70)을 얻을 수 있다.
일 실시 예에 따르면, 제2 손떨림 보정 모듈(125)은 측정 오차가 제거된 각도값(70)에 기초하여 보정값을 산출할 수 있다. 예를 들어, 제2 손떨림 보정 모듈(125)은 측정 오차가 제거된 각도값(70)에 -1을 곱하여 측정 오차가 제거된 각도값(70)과 크기가 동일하고 방향이 반대인 각도값을 보정값으로 산출할 수 있다.
일 실시 예에 따르면, 제2 손떨림 보정 모듈(125)은 산출된 보정값을 이용하여 손떨림 보정을 수행할 수 있다. 예를 들어, 제2 손떨림 보정 모듈(125)은 보정값에 따라 제2 렌즈(121)의 위치를 변경하도록 제2 렌즈 구동 모듈(122)을 제어할 수 있다.
도 9는 본 발명의 다양한 실시 예에 따른 전자 장치의 손떨림 보정 방법을 나타내는 흐름도이다.
도 9에 도시된 흐름도는 도 1에 도시된 전자 장치(100)에서 처리되는 동작들로 구성될 수 있다. 따라서, 이하에서 생략된 내용이라 하더라도 도 1 내지 도 8을 참조하여 전자 장치(100)에 관하여 기술된 내용은 도 9에 도시된 흐름도에도 적용될 수 있다.
도 9를 참조하면, 910 동작에서, 전자 장치(100)는 자이로 센서(예: 제2 자이로 센서(124))를 이용하여 전자 장치(100)의 움직임을 감지할 수 있다. 일 실시 예에 따르면, 전자 장치(100)는 자이로 센서를 이용하여 전자 장치(100)의 움직임에 대응되는 각속도를 감지할 수 있다. 예를 들어, 전자 장치(100)는 렌즈(예: 제2 렌즈(121))가 향하는 방향을 기준으로 요(yaw)축 및 피치(pitch)축의 각속도를 감지할 수 있다.
일 실시 예에 따르면, 920 동작에서, 전자 장치(100)(예: 제1 이미지 센서(113))는 렌즈(예: 제1 렌즈(111))를 통해 이미지를 촬영할 수 있다. 예를 들어, 전자 장치(100)는 제1 렌즈(111)를 통해 입력되는 빛에 포함된 피사체 정보를 이용하여 이미지를 생성할 수 있다. 일 실시 예에 따르면, 전자 장치(100)는 손떨림 보정을 위해 지정된 주기(예: 1/60초)로 이미지를 생성할 수 있다.
일 실시 예에 따르면, 930 동작에서, 전자 장치(100)(예: 프로세서(160))는 이미지에 포함된 픽셀의 움직임을 판단할 수 있다. 일 실시 예에 따르면, 전자 장치(100)는 연속적으로 생성되는 이미지를 비교하여 이미지에 포함된 픽셀의 움직임을 판단할 수 있다. 예를 들어, 전자 장치(100)는 이미지에 포함된 픽셀의 이동 벡터(예: 2차원 벡터)를 산출할 수 있다. 일 실시 예에 따르면, 전자 장치(100)는 손떨림 보정을 수행하는 카메라 모듈(예: 제2 카메라 모듈(120))과는 상이한 카메라 모듈(예: 제1 카메라 모듈(110))에 의해 촬영된 이미지를 이용하여 픽셀의 움직임을 판단할 수 있다.
일 실시 예에 따르면, 940 동작에서, 전자 장치(100)(예: 제2 손떨림 보정 모듈(125))는 전자 장치(100)의 움직임 정보 및 픽셀의 움직임 정보를 이용하여 보정값을 산출할 수 있다. 일 실시 예에 따르면, 전자 장치(100)는 전자 장치(100)의 움직임 정보 및 픽셀의 움직임 정보에 기초하여 자이로 센서의 측정 오차를 산출할 수 있다. 측정 오차는, 예를 들어, 자이로 센서의 드리프트(drift) 오차에 해당할 수 있다. 일 실시 예에 따르면, 전자 장치(100)는 전자 장치의 움직임 정보에서 측정 오차를 제거할 수 있다. 일 실시 예에 따르면, 측정 오차가 제거된 전자 장치의 움직임 정보에 기초하여 보정값을 산출할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 자이로 센서에 의해 감지된 각속도 값에서 직류 오프셋을 제거할 수 있다. 예를 들어, 전자 장치(100)는 각속도 값에서 직류 오프셋을 차분할 수 있다. 일 실시 예에 따르면, 전자 장치(100)는 직류 오프셋이 제거된 각속도 값을 적분하여 제1 각도값을 산출할 수 있다. 예를 들어, 전자 장치(100)는 요(yaw)축 및 피치(pitch)축 각각에 대해 제1 각도값을 산출할 수 있다. 일 실시 예에 따르면, 전자 장치(100)는 픽셀의 움직임 정보(예: 이동 벡터)에 대응되는 제2 각도값을 산출할 수 있다. 예를 들어, 전자 장치(100)는 이동 벡터를 이용하여 요(yaw)축 및 피치(pitch)축 각각에 대해 제2 각도값을 산출할 수 있다. 일 실시 예에 따르면, 전자 장치(100)는 제1 각도값에서 제2 각도값을 차분하여 자이로 센서의 측정 오차를 산출할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 저역 통과 필터(low pass filter)를 이용하여 측정 오차를 필터링할 수 있다. 필터링된 측정 오차는 노이즈가 제거되어, 예를 들어, 기존의 측정 오차보다 선형성을 가질 수 있다. 일 실시 예에 따르면, 전자 장치(100)는 제1 각도값에서 필터링된 측정 오차를 제거할 수 있다. 예를 들어, 전자 장치(100)는 제1 각도값에서 필터링된 측정 오차를 차분하여 측정 오차가 제거된 각도값을 얻을 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 측정 오차가 제거된 각도값에 기초하여 보정값을 산출할 수 있다. 예를 들어, 전자 장치(100)는 측정 오차가 제거된 각도값에 -1을 곱하여 측정 오차가 제거된 각도값과 크기가 동일하고 방향이 반대인 각도값을 보정값으로 산출할 수 있다.
일 실시 예에 따르면, 950 동작에서, 전자 장치(100)(예: 제2 손떨림 보정 모듈(125))은 보정값에 기초하여 손떨림 보정을 수행할 수 있다. 예를 들어, 전자 장치(100)는 보정값에 따라 제2 렌즈(121)의 위치를 변경하도록 제2 렌즈 구동 모듈(122)을 제어할 수 있다.
본 문서에서 사용된 용어 "모듈"은, 예를 들면, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "모듈"은, 예를 들면, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component), 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "모듈"은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면,"모듈"은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 도 1의 프로세서(160))에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 메모리가 될 수 있다.
컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예: 자기테이프), 광기록 매체(optical media)(예: CD-ROM(compact disc read only memory), DVD(digital versatile disc), 자기-광 매체(magneto-optical media)(예: 플롭티컬 디스크(floptical disk)), 하드웨어 장치(예: ROM(read only memory), RAM(random access memory), 또는 플래시 메모리 등) 등을 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다. 그리고 본 문서에 개시된 실시예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 문서에서 기재된 기술의 범위를 한정하는 것은 아니다. 따라서, 본 문서의 범위는, 본 문서의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시예를 포함하는 것으로 해석되어야 한다.

Claims (20)

  1. 전자 장치에 있어서,
    제1 렌즈, 상기 제1 렌즈를 통해 이미지를 촬영하는 제1 이미지 센서를 포함하는 제1 카메라 모듈;
    상기 제1 이미지 센서에 의해 촬영된 이미지에 포함된 픽셀의 움직임을 판단하는 프로세서; 및
    제2 렌즈, 상기 제2 렌즈를 구동하는 렌즈 구동 모듈, 상기 전자 장치의 움직임을 감지하는 자이로 센서, 상기 제2 렌즈를 통해 이미지를 촬영하는 제2 이미지 센서 및 손떨림 보정(image stabilization)을 수행하는 손떨림 보정 모듈을 포함하는 제2 카메라 모듈;을 포함하고,
    상기 손떨림 보정 모듈은, 상기 자이로 센서에 의하여 감지된 상기 전자 장치의 움직임 및 상기 픽셀의 움직임을 이용하여 보정값을 산출하고,
    상기 보정값에 기초하여 상기 렌즈 구동 모듈을 이용하여 상기 제2 렌즈의 위치를 변경함으로써 광학식 손떨림 보정을 수행하도록 설정되는 전자 장치.
  2. 제1항에 있어서,
    상기 손떨림 보정 모듈은,
    상기 전자 장치의 움직임 및 상기 픽셀의 움직임에 기초하여 상기 자이로 센서의 측정 오차를 산출하고, 상기 전자 장치의 움직임에서 상기 측정 오차를 제거하고, 상기 측정 오차가 제거된 전자 장치의 움직임에 기초하여 상기 보정값을 산출하도록 설정된 전자 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 이미지에 포함된 픽셀의 이동 벡터를 산출하고, 상기 이동 벡터를 상기 픽셀의 움직임으로서 상기 손떨림 보정 모듈에 전달하도록 설정된 전자 장치.
  4. 제2항에 있어서,
    상기 자이로 센서는,
    상기 렌즈가 향하는 방향을 기준으로 피치(pitch)축 및 요(yaw)축의 각속도를 출력하는 전자 장치.
  5. 제4항에 있어서,
    상기 손떨림 보정 모듈은,
    상기 자이로 센서로부터 수신되는 각속도 값에서 직류 오프셋을 제거하고, 직류 오프셋이 제거된 각속도 값을 적분하여 제1 각도값을 산출하고, 프로세서로부터 수신되는 상기 픽셀의 움직임에 대응되는 제2 각도값을 산출하고, 상기 제1 각도값에서 상기 제2 각도값을 차분하여 상기 측정 오차를 산출하도록 설정된 전자 장치.
  6. 제5항에 있어서,
    상기 손떨림 보정 모듈은,
    상기 제1 각도값에서 상기 측정 오차를 차분하여 상기 측정 오차를 제거하는 전자 장치.
  7. 제5항에 있어서,
    상기 손떨림 보정 모듈은,
    상기 측정 오차를 필터링하는 저역 통과 필터;를 포함하고,
    상기 제1 각도값에서 상기 필터링된 측정 오차를 차분하여 상기 측정 오차를 제거하는 전자 장치.
  8. 삭제
  9. 전자 장치의 손떨림 보정 방법에 있어서,
    상기 전자 장치의 제1 렌즈 모듈을 이용하여 이미지를 촬영하는 동작;
    상기 촬영된 이미지에 포함된 픽셀의 움직임을 판단하는 동작;
    상기 전자 장치의 제2 렌즈 모듈의 자이로 센서를 이용하여 상기 전자 장치의 움직임을 감지하는 동작;
    상기 전자 장치의 움직임 및 상기 픽셀의 움직임을 이용하여 보정값을 산출하는 동작; 및
    상기 보정값에 기초하여 상기 제2 렌즈 모듈의 렌즈 구동 모듈을 이용하여 상기 제2 렌즈 모듈의 렌즈를 이동시킴으로써 광학식 손떨림 보정(image stabilization)을 수행하는 동작;을 포함하는 방법.
  10. 제9항에 있어서,
    상기 보정값을 산출하는 동작은,
    상기 전자 장치의 움직임 및 상기 픽셀의 움직임에 기초하여 상기 자이로 센서의 측정 오차를 산출하는 동작;
    상기 전자 장치의 움직임에서 상기 측정 오차를 제거하는 동작; 및
    상기 측정 오차가 제거된 전자 장치의 움직임에 기초하여 상기 보정값을 산출하는 동작;을 포함하는 방법.
  11. ◈청구항 11은(는) 설정등록료 납부시 포기되었습니다.◈
    제10항에 있어서,
    상기 이미지에 포함된 픽셀의 움직임을 판단하는 동작은,
    상기 이미지에 포함된 픽셀의 이동 벡터를 산출하는 동작;을 포함하는 방법.
  12. ◈청구항 12은(는) 설정등록료 납부시 포기되었습니다.◈
    제10항에 있어서,
    상기 전자 장치의 움직임을 감지하는 동작은,
    상기 자이로 센서를 이용하여 상기 렌즈가 향하는 방향을 기준으로 피치(pitch)축 및 요(yaw)축의 각속도를 감지하는 동작;을 포함하는 방법.
  13. ◈청구항 13은(는) 설정등록료 납부시 포기되었습니다.◈
    제12항에 있어서,
    상기 측정 오차를 산출하는 동작은,
    상기 자이로 센서에 의해 감지된 각속도 값에서 직류 오프셋을 제거하는 동작;
    상기 직류 오프셋이 제거된 각속도 값을 적분하여 제1 각도값을 산출하는 동작;
    상기 픽셀의 움직임에 대응되는 제2 각도값을 산출하는 동작; 및
    상기 제1 각도값에서 상기 제2 각도값을 차분하는 동작;을 포함하는 방법.
  14. ◈청구항 14은(는) 설정등록료 납부시 포기되었습니다.◈
    제13항에 있어서,
    상기 측정 오차를 제거하는 동작은,
    상기 제1 각도값에서 상기 측정 오차를 차분하는 동작;을 포함하는 방법.
  15. ◈청구항 15은(는) 설정등록료 납부시 포기되었습니다.◈
    제13항에 있어서,
    상기 측정 오차를 제거하는 동작은,
    저역 통과 필터를 이용하여 상기 측정 오차를 필터링하는 동작; 및
    상기 제1 각도값에서 상기 필터링된 측정 오차를 차분하는 동작;을 포함하는 방법.
  16. 삭제
  17. 전자 장치의 제1 렌즈 모듈을 이용하여 이미지를 촬영하는 동작;
    상기 촬영된 이미지에 포함된 픽셀의 움직임을 판단하는 동작;
    상기 전자 장치의 제2 렌즈 모듈의 자이로 센서를 이용하여 상기 전자 장치의 움직임을 감지하는 동작;
    상기 전자 장치의 움직임 및 상기 픽셀의 움직임을 이용하여 보정값을 산출하는 동작; 및
    상기 보정값에 기초하여 상기 제2 렌즈 모듈의 렌즈 구동 모듈을 이용하여 상기 제2 렌즈 모듈의 렌즈를 이동시킴으로써 광학식 손떨림 보정(image stabilization)을 수행하는 동작;을 포함하는 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록매체.
  18. ◈청구항 18은(는) 설정등록료 납부시 포기되었습니다.◈
    제17항에 있어서,
    상기 보정값을 산출하는 동작은,
    상기 전자 장치의 움직임 및 상기 픽셀의 움직임에 기초하여 상기 자이로 센서의 측정 오차를 산출하는 동작;
    상기 전자 장치의 움직임에서 상기 측정 오차를 제거하는 동작; 및
    상기 측정 오차가 제거된 전자 장치의 움직임에 기초하여 상기 보정값을 산출하는 동작;을 포함하는 컴퓨터 판독 가능 기록매체.
  19. ◈청구항 19은(는) 설정등록료 납부시 포기되었습니다.◈
    제18항에 있어서,
    상기 전자 장치의 움직임을 감지하는 동작은,
    상기 자이로 센서를 이용하여 상기 렌즈가 향하는 방향을 기준으로 피치(pitch)축 및 요(yaw)축의 각속도를 감지하는 동작;을 포함하는 컴퓨터 판독 가능 기록매체.
  20. ◈청구항 20은(는) 설정등록료 납부시 포기되었습니다.◈
    제19항에 있어서,
    상기 측정 오차를 산출하는 동작은,
    상기 자이로 센서에 의해 감지된 각속도 값에서 직류 오프셋을 제거하는 동작;
    상기 직류 오프셋이 제거된 각속도 값을 적분하여 제1 각도값을 산출하는 동작;
    상기 픽셀의 움직임에 대응되는 제2 각도값을 산출하는 동작; 및
    상기 제1 각도값에서 상기 제2 각도값을 차분하는 동작;을 포함하는 컴퓨터 판독 가능 기록매체.
KR1020150153039A 2015-11-02 2015-11-02 전자 장치 및 전자 장치의 손떨림 보정 방법 KR102397034B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150153039A KR102397034B1 (ko) 2015-11-02 2015-11-02 전자 장치 및 전자 장치의 손떨림 보정 방법
US15/341,420 US10044937B2 (en) 2015-11-02 2016-11-02 Electronic device and image stabilization method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150153039A KR102397034B1 (ko) 2015-11-02 2015-11-02 전자 장치 및 전자 장치의 손떨림 보정 방법

Publications (2)

Publication Number Publication Date
KR20170050912A KR20170050912A (ko) 2017-05-11
KR102397034B1 true KR102397034B1 (ko) 2022-05-16

Family

ID=58635676

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150153039A KR102397034B1 (ko) 2015-11-02 2015-11-02 전자 장치 및 전자 장치의 손떨림 보정 방법

Country Status (2)

Country Link
US (1) US10044937B2 (ko)
KR (1) KR102397034B1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6629454B2 (ja) * 2015-12-28 2020-01-15 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 画像フュージョン方法と装置、および端末装置
CN107197121B (zh) * 2017-06-14 2019-07-26 长春欧意光电技术有限公司 一种基于舰载设备的电子稳像方法
KR102412291B1 (ko) * 2017-08-18 2022-06-23 삼성전자 주식회사 카메라 모듈에 포함된 렌즈부의 흔들림을 제어하는 전자 장치 및 전자 장치의 동작 방법
KR102452575B1 (ko) 2018-01-19 2022-10-11 삼성전자주식회사 광학식 이미지 안정화 움직임에 의한 이미지의 변화를 보상하기 위한 장치 및 방법
KR102573302B1 (ko) * 2018-10-10 2023-08-31 삼성전자 주식회사 영상의 안정화를 위한 카메라 모듈, 그것을 포함하는 전자 장치 및 전자 장치의 영상 안정화 방법
KR102551220B1 (ko) * 2018-10-12 2023-07-03 삼성전기주식회사 카메라 모듈
JP7301531B2 (ja) * 2018-12-04 2023-07-03 キヤノン株式会社 制御装置、撮像装置、レンズ装置および制御方法
KR20200122013A (ko) * 2019-04-17 2020-10-27 엘지이노텍 주식회사 카메라 모듈 및 광학 기기
US11290650B2 (en) * 2019-07-04 2022-03-29 Canon Kabushiki Kaisha Image blur information acquisition apparatus and method, and storage medium
KR102586074B1 (ko) * 2019-09-30 2023-10-05 삼성전기주식회사 카메라 모듈
KR20210093566A (ko) * 2020-01-20 2021-07-28 삼성전기주식회사 카메라 모듈
EP4135311A4 (en) * 2021-06-29 2023-05-03 Samsung Electronics Co., Ltd. METHOD OF IMAGE STABILIZATION AND ELECTRONIC DEVICE THEREFOR

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013031227A1 (ja) * 2011-09-01 2013-03-07 パナソニック株式会社 撮像装置およびプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4328403B2 (ja) 1999-02-16 2009-09-09 キヤノン株式会社 カメラ及び交換レンズ
KR100968974B1 (ko) * 2008-08-26 2010-07-14 삼성전기주식회사 손떨림 보정 장치
KR101288945B1 (ko) * 2011-10-20 2013-07-23 주식회사 동운아나텍 카메라의 손떨림 보정 장치
KR101824741B1 (ko) 2011-11-29 2018-03-14 엘지이노텍 주식회사 손떨림 보정 카메라에서의 게인 조정방법
KR20140104065A (ko) 2013-02-15 2014-08-28 삼성전기주식회사 카메라 모듈 손떨림 보정 장치 및 그 방법
US9596411B2 (en) * 2014-08-25 2017-03-14 Apple Inc. Combined optical and electronic image stabilization

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013031227A1 (ja) * 2011-09-01 2013-03-07 パナソニック株式会社 撮像装置およびプログラム

Also Published As

Publication number Publication date
US20170126978A1 (en) 2017-05-04
US10044937B2 (en) 2018-08-07
KR20170050912A (ko) 2017-05-11

Similar Documents

Publication Publication Date Title
KR102397034B1 (ko) 전자 장치 및 전자 장치의 손떨림 보정 방법
KR101950641B1 (ko) 향상된 안구 추적을 위한 장면 분석
US9542585B2 (en) Efficient machine-readable object detection and tracking
US9990536B2 (en) Combining images aligned to reference frame
US10383531B2 (en) Physiological signals measurement systems and methods thereof
US8253795B2 (en) Egomotion speed estimation on a mobile device
US20130190043A1 (en) Portable device including mouth detection to initiate speech recognition and/or voice commands
EP3443736B1 (en) Method and apparatus for video content stabilization
US9958938B2 (en) Gaze tracking for a mobile device
JP6539091B2 (ja) 撮像装置およびその制御方法
KR102360424B1 (ko) 얼굴 검출 방법, 영상 처리 방법, 얼굴 검출 장치 및 이를 포함하는 전자 시스템
US20180130210A1 (en) Systems and methods for providing image depth information
JP6098873B2 (ja) 撮像装置および画像処理装置
US20160323564A1 (en) Dynamic Mode Switching of 2D/3D Multi-Modal Camera for Efficient Gesture Detection
JP5960375B2 (ja) モーションブラー感知ビジュアルポーズ追跡
US20170371417A1 (en) Technologies for adaptive downsampling for gesture recognition
EP3120537B1 (en) Control of shake blur and motion blur for pixel multiplexing cameras
US9204047B2 (en) Imaging
US10261590B2 (en) Apparatus and method for recognizing a moving direction of gesture based on differences between sensor output values
US10671881B2 (en) Image processing system with discriminative control
Jiang et al. Sensor-assisted image deblurring of consumer photos on smartphones
KR102443218B1 (ko) 전자 장치 및 그의 동작 방법
Girard et al. A new gesture control for zooming on tablets and smartphones for visually impaired people
JP2014089304A (ja) 視点計測装置及び電子機器
KR20140016493A (ko) 카메라 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant