KR102174808B1 - 픽셀 다중화 카메라에 대한 떨림 블러 및 모션 블러의 제어 - Google Patents

픽셀 다중화 카메라에 대한 떨림 블러 및 모션 블러의 제어 Download PDF

Info

Publication number
KR102174808B1
KR102174808B1 KR1020167028062A KR20167028062A KR102174808B1 KR 102174808 B1 KR102174808 B1 KR 102174808B1 KR 1020167028062 A KR1020167028062 A KR 1020167028062A KR 20167028062 A KR20167028062 A KR 20167028062A KR 102174808 B1 KR102174808 B1 KR 102174808B1
Authority
KR
South Korea
Prior art keywords
image
motion
blur
image frame
camera
Prior art date
Application number
KR1020167028062A
Other languages
English (en)
Other versions
KR20160135748A (ko
Inventor
리누스 마르텐슨
올라 토른
요나스 구스타프슨
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20160135748A publication Critical patent/KR20160135748A/ko
Application granted granted Critical
Publication of KR102174808B1 publication Critical patent/KR102174808B1/ko

Links

Images

Classifications

    • H04N5/23264—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C19/00—Gyroscopes; Turn-sensitive devices using vibrating masses; Turn-sensitive devices without moving masses; Measuring angular rate using gyroscopic effects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H04N5/23216—
    • H04N5/23258—

Abstract

본 발명은 이미지와 관련된 떨림 블러 및 모션 블러의 제어에 관한 것이다. 예시적인 방법은 이미지와 관련된 제1 이미지 프레임 및 제2 이미지 프레임을 수신하는 단계; 제1 이미지 프레임 또는 제2 이미지 프레임 내에서의 카메라의 제1 움직임을 결정하는 단계; 제1 이미지 프레임과 제2 이미지 프레임 사이에서의 카메라의 제2 움직임을 결정하는 단계; 제1 움직임에 기초하여, 이미지와 관련된 떨림 블러의 적어도 일부를 제어하는 단계; 및 제2 움직임에 기초하여, 이미지와 관련된 모션 블러의 적어도 일부를 제어하는 단계를 포함한다.

Description

픽셀 다중화 카메라에 대한 떨림 블러 및 모션 블러의 제어{CONTROL OF SHAKE BLUR AND MOTION BLUR FOR PIXEL MULTIPLEXING CAMERAS}
이미지를 캡처할 때 카메라의 사용자가 움직일 때(또는 카메라가 떨릴 때) 캡처 이미지가 블러링된다. 이미지를 캡처한 후에 캡처 이미지로부터 이러한 "떨림 블러(shake blur)"를 제어하는 것이 필요하다. 모션 블러는 정지 이미지 또는 정지 이미지들의 시퀀스 내의 빠르게 움직이는 객체들의 줄무늬 현상이다. 이미지를 캡처한 후에 캡처 이미지로부터 이러한 모션 블러를 제어하는 것이 필요하다.
본 발명의 실시예들은 이미지와 관련된 떨림 블러 및 모션 블러를 제어하기 위한 시스템, 방법 및 컴퓨터 프로그램 제품에 관한 것이다. 예시적인 방법은 이미지와 관련된 제1 이미지 프레임 및 제2 이미지 프레임을 수신하는 단계; 상기 제1 이미지 프레임 또는 상기 제2 이미지 프레임 내에서의 카메라의 제1 움직임을 결정하는 단계; 상기 제1 이미지 프레임과 상기 제2 이미지 프레임 사이에서의 상기 카메라의 제2 움직임을 결정하는 단계; 상기 제1 움직임에 기초하여, 상기 이미지와 관련된 떨림 블러의 적어도 일부를 제어하는 단계; 및 상기 제2 움직임에 기초하여, 상기 이미지와 관련된 모션 블러의 적어도 일부를 제어하는 단계를 포함한다.
일부 실시예들에서, 상기 카메라는 픽셀 다중화 카메라를 포함한다.
일부 실시예들에서, 상기 제1 움직임은 상기 카메라와 관련된 움직임 센서를 이용하여 결정된다.
일부 실시예들에서, 상기 움직임 센서는 상기 카메라와 실질적으로 동기하여 상기 이미지를 샘플링한다.
일부 실시예들에서, 상기 움직임 센서는 가속도계 또는 자이로스코프를 포함한다.
일부 실시예들에서, 상기 카메라는 이동 디바이스의 일부이다.
일부 실시예들에서, 상기 제1 움직임은 상기 제1 움직임의 방향 및 상기 제1 움직임의 크기를 포함한다.
일부 실시예들에서, 상기 제2 움직임은 상기 제2 움직임의 방향 및 상기 제2 움직임의 크기를 포함한다.
일부 실시예들에서, 상기 제1 이미지 프레임 및 상기 제2 이미지 프레임은 제1 해상도와 관련되고, 상기 제1 해상도는 사전 결정된 해상도보다 낮고, 상기 이미지는 제2 해상도와 관련되고, 상기 제2 해상도는 상기 사전 결정된 해상도 이상이다.
일부 실시예들에서, 상기 방법은 상기 이미지에 대한 제어기를 제공하는 단계를 더 포함한다.
일부 실시예들에서, 상기 제어기는 사용자 제스처 또는 사용자 입력에 의해 제어된다.
일부 실시예들에서, 상기 제어기는 상기 이미지와 관련된 모션 블러의 사용자 정의 양의 제어를 가능하게 한다.
일부 실시예들에서, 상기 제어기는 상기 이미지 내의 제1 객체와 관련된 모션 블러의 사용자 정의 양의 제어를 상기 이미지의 나머지에 대한 영향 없이 가능하게 한다.
일부 실시예들에서, 떨림 블러의 적어도 일부를 제어하는 단계는 떨림 블러의 적어도 일부를 감소시키는 단계를 포함하고, 모션 블러의 적어도 일부를 제어하는 단계는 모션 블러의 적어도 일부를 감소시키는 단계를 포함한다.
일부 실시예들에서, 떨림 블러의 적어도 일부를 제어하는 단계는 떨림 블러의 적어도 일부를 증가시키는 단계를 포함하고, 모션 블러의 적어도 일부를 제어하는 단계는 모션 블러의 적어도 일부를 증가시키는 단계를 포함한다.
일부 실시예들에서, 이미지와 관련된 떨림 블러 및 모션 블러를 제어하기 위한 시스템이 제공된다. 상기 시스템은 카메라; 메모리; 프로세서; 상기 메모리 내에 저장되고, 상기 프로세서에 의해 실행될 수 있으며, 이미지와 관련된 제1 이미지 프레임 및 제2 이미지 프레임을 수신하고; 상기 제1 이미지 프레임 또는 상기 제2 이미지 프레임 내에서의 카메라의 제1 움직임을 결정하고; 상기 제1 이미지 프레임과 상기 제2 이미지 프레임 사이에서의 상기 카메라의 제2 움직임을 결정하고; 상기 제1 움직임에 기초하여, 상기 이미지와 관련된 떨림 블러의 적어도 일부를 제어하고; 상기 제2 움직임에 기초하여, 상기 이미지와 관련된 모션 블러의 적어도 일부를 제어하도록 구성되는 모듈을 포함한다.
일부 실시예들에서, 이미지와 관련된 떨림 블러 및 모션 블러를 제어하기 위한 컴퓨터 프로그램 제품이 제공된다. 상기 컴퓨터 프로그램 제품은 이미지와 관련된 제1 이미지 프레임 및 제2 이미지 프레임을 수신하고; 상기 제1 이미지 프레임 또는 상기 제2 이미지 프레임 내에서의 카메라의 제1 움직임을 결정하고; 상기 제1 이미지 프레임과 상기 제2 이미지 프레임 사이에서의 상기 카메라의 제2 움직임을 결정하고; 상기 제1 움직임에 기초하여, 상기 이미지와 관련된 떨림 블러의 적어도 일부를 제어하고; 상기 제2 움직임에 기초하여, 상기 이미지와 관련된 모션 블러의 적어도 일부를 제어하도록 구성되는 코드를 포함하는 비일시적 컴퓨터 판독 가능 매체를 포함한다.
따라서, 일반적인 용어로 본 발명의 실시예들을 설명하면서 첨부 도면을 참조한다. 도면에서:
도 1은 본 발명의 실시예들에 따른, 이미지와 관련된 모션 블러 및 떨림 블러를 제어하기 위한 프로세스 흐름을 나타낸다.
도 2는 본 발명의 실시예들에 따른 예시적인 카메라를 나타낸다.
이제, 본 발명의 실시예들이 아래에서 첨부 도면을 참조하여 더 충분히 설명될 수 있으며, 첨부 도면에는 본 발명의 전부가 아니라 일부 실시예들이 도시된다. 사실, 본 발명은 많은 상이한 형태로 구현될 수 있고, 본 명세서에서 설명되는 실시예들로 한정되는 것으로 해석되지 않아야 하며, 오히려 이러한 실시예들은 본 개시내용이 적용 가능한 법적 요건을 충족시킬 수 있도록 제공된다. 전반적으로, 동일한 번호들은 동일한 요소들을 지시한다.
본 발명은 (예로서, 이미지와 관련된 후처리 절차 동안) 캡처 이미지와 관련된 떨림 블러 및 모션 블러를 제어하는 것과 관련된다. 일부 실시예들에서, 본 발명은 픽셀 다중화 카메라를 이용한다. 카메라는 광을 수신하는 카메라 렌즈를 포함한다. 광은 카메라 내에 배치된 회전 미러와 충돌하며, 회전 미러는 광을 카메라 내에 배치된 사진 센서의 제1 부분 상으로 반사한다. 이어서, 광은 센서의 제1 부분으로부터 센서의 제2 부분으로 반사된다. 이어서, 광은 센서의 제2 부분으로부터 센서의 제3 부분으로 반사되며, 기타 등등이다. 센서의 각각의 부분으로부터의 반사는 이미지의 일부를 포함한다. 이미지의 각각의 부분은 (예로서, 사전 결정된 해상도보다 낮은 해상도를 갖는) 저해상도 이미지일 수 있다. 이미지의 다양한 부분은 (예로서, 사전 결정된 해상도 이상인) 고해상도 이미지를 형성하도록 결합될 수 있다. 이미지의 다양한 부분은 이미지 프레임으로도 지칭될 수 있다. 본 발명은 픽셀 다중화 카메라의 이용으로 한정되지 않는다. 대안 실시예들에서, 다른 카메라 타입들이 이용될 수 있다.
본 명세서에서 사용되는 바와 같이, 떨림 블러 및 모션 블러의 제어는 떨림 블러 및 모션 블러의 변경을 지칭한다. 일부 실시예들에서, 떨림 블러 및 모션 블러의 변경은 떨림 블러 및 모션 블러의 감소(예로서, 제거)를 지칭한다. 다른 실시예들에서, 떨림 블러 및 모션 블러의 변경은 떨림 블러 및 모션 블러의 증가를 지칭한다.
본 발명에서, 픽셀 다중화 카메라는 카메라와 관련된 가속도계 및/또는 자이로스코프와 동기화된다. 가속도계 및/또는 자이로스코프는 카메라의 하우징 내에 배치될 수 있거나, 카메라의 하우징의 내면 및/또는 외면을 따라 배치될 수 있다. 본 명세서에서 사용되는 바와 같이, 자이로스코프는 지구 중력을 이용하여 카메라의 배향의 결정을 가능하게 하는 디바이스이다. 본 명세서에서 사용되는 바와 같이, 가속도계는 카메라의 비중력 가속도를 측정하는 데 사용되는 디바이스이다. 본 명세서에서 사용되는 바와 같이, 가속도계 및 자이로스코프 양자는 움직임의 크기 및 움직임의 방향을 포함하는, 카메라의 움직임의 결정을 가능하게 하는 움직임 센서들이다.
가속도계 및/또는 자이로스코프는 카메라와 실질적으로 동기하여 이미지를 샘플링한다. 예로서, 가속도계 및/또는 자이로스코프의 샘플링 주파수는 100 Hz이다. 이것은 카메라(및 카메라 하우징)가 이미지 프레임 내에서 어떻게 움직이는지에 대한 결정을 가능하게 한다. 카메라가 이미지 프레임 내에서 어떻게 움직이는지는 움직임의 크기 및/또는 움직임의 방향을 포함한다. 카메라가 이미지 프레임 내에서 어떻게 움직이는지는 본 명세서에서 설명되는 바와 같은 떨림 블러를 포함한다. 떨림 블러를 결정함으로써, 떨림 블러는 도 2에서 설명되는 떨림 블러 제어 모듈에 의해 캡처 이미지로부터 교정 또는 제거될 수 있다. 따라서, 본 발명은 카메라의 움직임을 상쇄하는 기계적 보상을 이용하지 않고서 떨림 블러를 제거하는 것을 가능하게 한다.
본 명세서에서 설명되는 바와 같은 카메라는 본 명세서에서 설명되는 바와 같은 다수의 이미지 프레임 또는 다수의 이미지 부분을 캡처한다. 이미지 프레임들은 (예로서, 사전 결정된 해상도보다 낮은) 저해상도로 캡처된다. 카메라는 2개의 연속 캡처된 이미지 프레임을 비교함으로써 그들 양자 사이에 움직임이 존재하는지를 결정할 수 있다. 이러한 움직임의 양 및/또는 움직임의 방향은 모션 블러를 포함한다. 이러한 모션 블러가 결정될 때, 이러한 모션 블러는 도 2에서 설명되는 모션 블러 제어 모듈에 의해 캡처 이미지로부터 교정 또는 제거될 수 있다.
일부 실시예들에서, 제어기(예로서, 그래픽 제어기)가 이미지에 대해 제공될 수 있다. 제어기는 슬라이더 또는 다른 지시기와 같은 도구를 포함할 수 있다. 제어기는 사용자 제스처 또는 다른 사용자 입력을 이용하여 제어될 수 있다. 제어기는 이미지(또는 이미지 상의 객체)에 인접하게 배치될 수 있거나, 사용자가 이미지 또는 이미지 상의 객체 위에서 손가락 또는 포인터를 호버링할 때 이미지 상에(또는 이미지 상의 객체 상에) 나타날 수 있다. 일부 실시예들에서, 제어기는 사용자 제스처에 기초하여 이미지 상의 하나의 객체로부터 이미지 상의 다른 객체로 이동될 수 있다. 카메라의 사용자는 제어기의 설정을 변경하여, 사용자가 이미지로부터 얼마나 많은 모션 블러를 제거하기를 원하는지를 결정할 수 있다. 일부 실시예들에서, 사용자는 제어기의 설정을 변경하여, 사용자가 이미지 상의 특정 객체(예로서, 사람, 무생물 객체 등)로부터 얼마나 많은 모션 블러(모션 블러의 크기)를 제거하기를 원하는지를 결정할 수 있다. 따라서, 본 발명은 사용자가 이미지 내의 제1 객체 상에 사용자 결정 양의 모션 블러를 유지하고, 이미지 내의 제2 객체로부터 사용자 결정 양의 모션 블러를 제거하는 것을 가능하게 한다.
이제, 도 1의 프로세스 흐름을 참조하면, 도 1은 카메라(예로서, 픽셀 다중화 카메라)에 의해 캡처된 이미지와 관련된 떨림 블러 및 모션 블러를 제어하기 위한 프로세스 흐름을 나타낸다. 일부 실시예들에서, 카메라는 이동 디바이스(예로서, 이동 전화)의 일부이다. 블록 110에서, 프로세스 흐름은 이미지와 관련된 제1 이미지 프레임 및 제2 이미지 프레임을 수신하는 단계를 포함한다. 제1 이미지 프레임 및 제2 이미지 프레임은 사전 결정된 해상도보다 낮은 제1 해상도와 관련되며, 이미지는 사전 결정된 해상도 이상인 제2 해상도와 관련된다. 블록 120에서, 프로세스 흐름은 제1 이미지 프레임 또는 제2 이미지 프레임 내에서의 카메라의 제1 움직임을 (예로서, 가속도계 및/또는 자이로스코프와 같은 움직임 센서를 이용하여) 결정하는 단계를 포함한다. 가속도계 및/또는 자이로스코프는 카메라와 실질적으로 동기하여 이미지를 샘플링한다. 본 명세서에서 사용되는 바와 같이, 제1 움직임은 제1 움직임의 방향 및/또는 제1 움직임의 크기를 포함한다. 블록 130에서, 프로세스 흐름은 제1 이미지 프레임과 제2 이미지 프레임 사이에서의 카메라의 제2 움직임을 결정하는 단계를 포함한다. 본 명세서에서 사용되는 바와 같이, 제2 움직임은 제2 움직임의 방향 및/또는 제2 움직임의 크기를 포함한다. 블록 140에서, 프로세스 흐름은 제1 움직임에 기초하여, 이미지와 관련된 떨림 블러의 적어도 일부를 제어하는 단계를 포함한다. 블록 150에서, 프로세스 흐름은 제2 움직임에 기초하여, 이미지와 관련된 모션 블러의 적어도 일부를 제어하는 단계를 포함한다.
일부 실시예들에서, 프로세스 흐름은 이미지에 대한 제어기를 제공하는 단계를 더 포함하며, 제어기는 사용자 제스처 또는 사용자 입력에 의해 제어된다. 일부 실시예들에서, 제어기는 이미지와 관련된 모션 블러의 사용자 정의 양의 제거를 가능하게 한다. 다른 실시예들에서, 제어기는 이미지 내의 제1 객체와 관련된 모션 블러의 사용자 정의 양의 제거를 이미지의 나머지에 대한 영향 없이 가능하게 한다.
본 발명은 카메라들(예로서, 픽셀 다중화 카메라들)을 포함하는 임의의 특정 타입의 디바이스들로 한정되지 않는다. 그러한 디바이스들의 예는 휴대용 또는 비휴대용 매체 디바이스, 이동 전화 또는 다른 이동 컴퓨팅 디바이스, 이동 텔레비전, 랩탑 컴퓨터, 스마트 스크린, 태블릿 컴퓨터 또는 태블릿, 휴대용 데스크탑 컴퓨터, 전자 판독기, 안경류, 스캐너, 독립형 카메라, 휴대용 매체 디바이스, 게이밍 디바이스, 또는 다른 이미지 캡처링 디바이스, 시계, 밴드(예로서, 손목 밴드) 또는 다른 착용식 디바이스, 또는 다른 휴대용 또는 비휴대용 컴퓨팅 또는 논-컴퓨팅 디바이스를 포함한다.
이제, 도 2를 참조하면, 도 2는 본 명세서에서 설명되는 바와 같은 카메라를 포함하는 예시적인 디바이스(200)를 나타낸다. 본 명세서에서 설명되는 각각의 디바이스 또는 시스템은 카메라(240), 프로세서(220), 메모리(230), 및 메모리 내에 저장되고, 프로세서에 의해 실행될 수 있으며, 본 명세서에서 설명되는 다양한 프로세스를 수행하도록 구성되는 모듈들을 포함하는 컴퓨팅 디바이스이다. 모듈은 떨림 블러 제어 모듈(250) 및 모션 블러 제어 모듈(260)을 포함할 수 있다. 본 명세서에서 설명되는 프로세서(220)는 일반적으로 오디오, 비디오 및/또는 논리 기능들을 구현하기 위한 회로를 포함한다. 예로서, 프로세서(220)는 디지털 신호 프로세서 디바이스, 마이크로프로세서 디바이스, 및 다양한 아날로그/디지털 컨버터, 디지털/아날로그 컨버터 및 다른 지원 회로를 포함할 수 있다. 프로세서(220)는 하나 이상의 소프트웨어 프로그램을 예로서 메모리에 저장될 수 있는 그의 컴퓨터 실행 가능 프로그램 코드 부분들에 적어도 부분적으로 기초하여 동작시키기 위한 기능도 포함할 수 있다.
메모리(230)는 임의의 컴퓨터 판독 가능 매체를 포함할 수 있다. 예로서, 메모리(230)는 정보의 임시 저장을 위한 캐시 영역을 갖는 휘발성 랜덤 액세스 메모리(RAM)와 같은 휘발성 메모리를 포함할 수 있다. 메모리(230)는 내장될 수 있고/있거나 제거될 수 있는 비휘발성 메모리도 포함할 수 있다. 비휘발성 메모리는 추가로 또는 대안으로서 EEPROM, 플래시 메모리 등을 포함할 수 있다. 메모리(230)는 그가 존재하는 시스템에 의해 그러한 시스템의 기능을 구현하는 데 사용되는 임의의 하나 이상의 정보 및 데이터를 저장할 수 있다. 게다가, 카메라가 이동 통신 디바이스의 일부인 실시예들에서는, 통신 인터페이스(210)가 제공된다. 통신 인터페이스(210)는 네트워크 및/또는 다른 디바이스들과의 무선 통신을 가능하게 한다. 떨림 블러 제어 모듈(250) 및 모션 블러 제어 모듈(260)은 본 명세서에서 설명되는 바와 같이 캡처 이미지로부터 떨림 블러 및 모션 블러를 제어(예로서, 제거)하는 것을 가능하게 한다.
본 발명의 실시예들에 따르면, 시스템(또는 디바이스)과 관련된 용어 "모듈"은 시스템의 하드웨어 컴포넌트, 시스템의 소프트웨어 컴포넌트, 또는 하드웨어 및 소프트웨어 양자를 포함하는 시스템의 컴포넌트를 지칭할 수 있다. 본 명세서에서 사용되는 바와 같이, 모듈은 하나 이상의 모듈을 포함할 수 있고, 각각의 모듈은 개별 하드웨어 또는 소프트웨어 내에 존재할 수 있다.
본 발명의 많은 실시예가 방금 위에서 설명되었지만, 본 발명은 많은 다른 형태로 구현될 수 있고, 본 명세서에서 설명되는 실시예들로 한정되는 것으로 해석되지 않아야 하며, 오히려 이러한 실시예들은 본 개시내용이 적용 가능한 법적 요건을 충족시키도록 제공된다. 또한, 가능할 경우, 본 명세서에서 설명되고/되거나 고려되는 본 발명의 임의의 실시예의 임의의 장점, 특징, 기능, 디바이스 및/또는 동작 양태는 본 명세서에서 설명되고/되거나 고려되는 본 발명의 임의의 다른 실시예에 포함될 수 있고/있거나 그 반대일 수 있다는 것을 이해할 것이다. 게다가, 가능할 경우, 본 명세서에서 단수 형태로 표현되는 임의의 용어는 명확히 달리 언급되지 않는 한은 복수 형태도 포함하고/하거나 그 반대도 가능한 것을 의도한다. 본 명세서에서 사용되는 바와 같이, "적어도 하나"는 "하나 이상"을 의미하며, 이러한 표현들은 교환 가능한 것을 의도한다. 따라서, 용어 "하나(a 및/또는 an)"는 "하나 이상" 또는 "적어도 하나"라는 표현이 또한 본 명세서에서 사용되는 경우에도 "적어도 하나" 또는 "하나 이상"을 의미한다. 전반적으로, 동일한 번호들은 동일한 요소들을 지시한다.
본 개시내용에 비추어 이 분야의 통상의 기술자가 인식하듯이, 본 발명은 (예로서, 시스템, 기계, 디바이스, 컴퓨터 프로그램 제품 등을 포함하는) 장치, (예로서, 비즈니스 방법, 컴퓨터 구현 프로세스 등을 포함하는) 방법 또는 이들의 임의 조합을 포함하고/하거나 그들로서 구현될 수 있다. 따라서, 본 발명의 실시예들은 완전 비즈니스 방법 실시예, (펌웨어, 상주 소프트웨어, 마이크로코드, 데이터베이스 내의 저장된 절차 등을 포함하는) 완전 소프트웨어 실시예, 완전 하드웨어 실시예, 또는 본 명세서에서 일반적으로 "시스템"으로 지칭될 수 있는 비즈니스 방법, 소프트웨어 및 하드웨어 양태들을 포함하는 실시예의 형태를 취할 수 있다. 또한, 본 발명의 실시예들은 하나 이상의 컴퓨터 실행 가능 프로그램 코드 부분을 내부에 저장한 컴퓨터 판독 가능 저장 매체를 포함하는 컴퓨터 프로그램 제품의 형태를 취할 수 있다. 본 명세서에서 사용되는 바와 같이, 하나 이상의 프로세서를 포함할 수 있는 프로세서는 예로서 하나 이상의 범용 회로가 컴퓨터 판독 가능 매체 내에 구현된 하나 이상의 컴퓨터 실행 가능 프로그램 코드 부분을 실행하여 기능을 수행하는 것 및/또는 하나 이상의 주문형 회로가 기능을 수행하는 것을 포함하는 다양한 방식으로 소정 기능을 수행하도록 "구성"될 수 있다.
임의의 적절한 컴퓨터 판독 가능 매체가 사용될 수 있다는 것을 이해할 것이다. 컴퓨터 판독 가능 매체는 비일시적 컴퓨터 판독 가능 매체, 예로서 유형적인 전자, 자기, 광학, 전자기, 적외선 및/또는 반도체 시스템, 디바이스 및/또는 다른 장치를 포함할 수 있지만 이에 한정되지 않는다. 예로서, 일부 실시예들에서, 비일시적 컴퓨터 판독 가능 매체는 유형적인 매체, 예로서 휴대용 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 및 프로그래밍 가능 판독 전용 메모리(EPROM 또는 플래시 메모리), 컴팩트 디스크 판독 전용 메모리(CD-ROM) 및/또는 소정의 다른 유형적인 광학 및/또는 자기 저장 디바이스를 포함한다. 그러나, 본 발명의 다른 실시예들에서, 컴퓨터 판독 가능 매체는 예를 들어 내부에 구현된 컴퓨터 실행 가능 프로그램 코드 부분들을 포함하는 전파 신호와 같이 일시적일 수 있다.
본 발명의 동작들을 수행하기 위한 하나 이상의 컴퓨터 실행 가능 프로그램 코드 부분은 예로서 Java, Perl, Smalltalk, C++, SAS, SQL, Python, Objective C, JavaScript 등과 같은 객체 지향, 스크립트 및/또는 언스크립트 프로그래밍 언어들을 포함할 수 있다. 일부 실시예들에서, 본 발명의 실시예들의 동작들을 수행하기 위한 하나 이상의 컴퓨터 실행 가능 프로그램 코드 부분은 "C" 프로그래밍 언어 및/또는 유사한 프로그래밍 언어와 같은 통상적인 절차 프로그래밍 언어들로 작성된다. 컴퓨터 프로그램 코드는 대안으로서 또는 추가로 예로서 F#과 같은 하나 이상의 멀티-패러다임 프로그래밍 언어로 작성될 수 있다.
본 발명의 일부 실시예들은 본 명세서에서 장치 및/또는 방법의 흐름도 및/또는 블록도를 참조하여 설명된다. 흐름도 및/또는 블록도에 포함된 각각의 블록 및/또는 흐름도 및/또는 블록도에 포함된 블록들의 조합은 하나 이상의 컴퓨터 실행 가능 프로그램 코드 부분에 의해 구현될 수 있다는 것을 이해할 것이다. 이러한 하나 이상의 컴퓨터 실행 가능 프로그램 코드 부분은 특정 기계를 생성하기 위해 범용 컴퓨터, 특수 목적 컴퓨터 및/또는 소정의 다른 프로그래밍 가능 데이터 처리 장치의 프로세서에 제공될 수 있으며, 따라서 컴퓨터 및/또는 다른 프로그래밍 가능 데이터 처리 장치의 프로세서를 통해 실행되는 하나 이상의 컴퓨터 실행 가능 프로그램 코드 부분은 흐름도(들) 및/또는 블록도 블록(들)에 의해 표현되는 단계들 및/또는 기능들을 구현하기 위한 메커니즘들을 생성한다.
하나 이상의 컴퓨터 실행 가능 프로그램 코드 부분은 컴퓨터 및/또는 다른 프로그래밍 가능 데이터 처리 장치로 하여금 특정 방식으로 기능하도록 지시, 명령 및/또는 유도할 수 있는 일시 및/또는 비일시적 컴퓨터 판독 가능 매체(예로서, 메모리 등) 내에 저장될 수 있으며, 따라서 컴퓨터 판독 가능 매체 내에 저장된 컴퓨터 실행 가능 프로그램 코드 부분들은 흐름도(들) 및/또는 블록도 블록(들)에서 지정되는 단계들 및/또는 기능들을 구현하는 명령어 메커니즘들을 포함하는 제조물을 생성한다.
하나 이상의 컴퓨터 실행 가능 프로그램 코드 부분은 컴퓨터 및/또는 다른 프로그래밍 가능 데이터 처리 장치 상에 로딩되어, 일련의 동작 단계들이 컴퓨터 및/또는 다른 프로그래밍 가능 장치 상에서 수행되게 할 수도 있다. 일부 실시예들에서, 이것은 컴퓨터 및/또는 다른 프로그래밍 가능 장치 상에서 실행되는 하나 이상의 컴퓨터 실행 가능 프로그램 코드 부분이 흐름도(들)에서 지정되는 단계들 및/또는 블록도 블록(들)에서 지정되는 기능들을 구현하기 위한 동작 단계들을 제공하게 하는 컴퓨터 구현 프로세스를 생성한다. 대안으로서, 컴퓨터 구현 단계들은 본 발명의 일 실시예를 수행하기 위해 운영자 및/또는 사람 구현 단계들과 결합되고/되거나 그들로 대체될 수 있다.
소정의 예시적인 실시예들이 설명되고 첨부 도면에 도시되었지만, 그러한 실시예들은 넓은 발명에 대한 한정이 아니라 예시적일 뿐이며, 본 발명은 위의 단락들에서 설명된 것들 외에도 다양한 다른 변화, 조합, 생략, 변경 및 교체가 가능하므로 도시 및 설명된 특정 구성들 및 배열들로 한정되지 않는다는 것을 이해해야 한다. 이 분야의 기술자들은 방금 설명된 실시예들의 다양한 적응, 변경 및 조합이 본 발명의 범위 및 사상으로부터 벗어나지 않고서 구성될 수 있다는 것을 알 것이다. 따라서, 첨부된 청구항들의 범위 내에서 본 발명은 본 명세서에 구체적으로 설명된 것과 다르게 실시될 수 있다는 것을 이해해야 한다.

Claims (17)

  1. 카메라에 의해 캡처된 이미지와 관련된 떨림 블러 및 모션 블러를 제어하기 위한 방법으로서,
    상기 이미지와 관련된 제1 이미지 프레임 및 제2 이미지 프레임을 수신하는 단계;
    상기 제1 이미지 프레임 또는 상기 제2 이미지 프레임 내에서의 상기 카메라의 제1 움직임을 결정하는 단계;
    상기 제1 이미지 프레임과 상기 제2 이미지 프레임 사이에서의 상기 카메라의 제2 움직임을 결정하는 단계;
    상기 제1 움직임에 기초하여, 상기 이미지와 관련된 떨림 블러의 적어도 일부를 제어하는 단계; 및
    상기 제2 움직임에 기초하여, 상기 이미지와 관련된 모션 블러의 적어도 일부를 제어하는 단계
    를 포함하고,
    상기 제1 이미지 프레임 및 상기 제2 이미지 프레임은 제1 해상도와 관련되고,
    상기 이미지는 제2 해상도와 관련되고,
    상기 제1 해상도가 상기 제2 해상도보다 낮은, 방법.
  2. 제1항에 있어서,
    상기 카메라는 픽셀 다중화 카메라를 포함하는 방법.
  3. 제1항에 있어서,
    상기 제1 움직임은 상기 카메라와 관련된 움직임 센서를 이용하여 결정되는 방법.
  4. 제3항에 있어서,
    상기 움직임 센서는 상기 카메라와 실질적으로 동기하여 상기 이미지를 샘플링하는 방법.
  5. 제3항에 있어서,
    상기 움직임 센서는 가속도계 또는 자이로스코프를 포함하는 방법.
  6. 제1항에 있어서,
    상기 카메라는 이동 디바이스의 일부인 방법.
  7. 제1항에 있어서,
    상기 제1 움직임은 상기 제1 움직임의 방향 및 상기 제1 움직임의 크기를 포함하는 방법.
  8. 제1항에 있어서,
    상기 제2 움직임은 상기 제2 움직임의 방향 및 상기 제2 움직임의 크기를 포함하는 방법.
  9. 삭제
  10. 제1항에 있어서,
    상기 이미지에 대한 제어기를 제공하는 단계를 더 포함하는 방법.
  11. 제10항에 있어서,
    상기 제어기는 사용자 제스처 또는 사용자 입력에 의해 제어되는 방법.
  12. 제10항에 있어서,
    상기 제어기는 상기 이미지와 관련된 모션 블러의 사용자 정의 양의 제거를 가능하게 하는 방법.
  13. 제10항에 있어서,
    상기 제어기는 상기 이미지 내의 제1 객체와 관련된 모션 블러의 사용자 정의 양의 제거를 상기 이미지의 나머지에 대한 영향 없이 가능하게 하는 방법.
  14. 제1항에 있어서,
    떨림 블러의 적어도 일부를 제어하는 단계는 떨림 블러의 적어도 일부를 감소시키는 단계를 포함하고, 모션 블러의 적어도 일부를 제어하는 단계는 모션 블러의 적어도 일부를 감소시키는 단계를 포함하는 방법.
  15. 제1항에 있어서,
    떨림 블러의 적어도 일부를 제어하는 단계는 떨림 블러의 적어도 일부를 증가시키는 단계를 포함하고, 모션 블러의 적어도 일부를 제어하는 단계는 모션 블러의 적어도 일부를 증가시키는 단계를 포함하는 방법.
  16. 이미지와 관련된 떨림 블러 및 모션 블러를 제어하기 위한 시스템으로서,
    카메라;
    메모리;
    프로세서;
    상기 메모리 내에 저장되고, 상기 프로세서에 의해 실행될 수 있으며,
    상기 이미지와 관련된 제1 이미지 프레임 및 제2 이미지 프레임을 수신하고;
    상기 제1 이미지 프레임 또는 상기 제2 이미지 프레임 내에서의 상기 카메라의 제1 움직임을 결정하고;
    상기 제1 이미지 프레임과 상기 제2 이미지 프레임 사이에서의 상기 카메라의 제2 움직임을 결정하고;
    상기 제1 움직임에 기초하여, 상기 이미지와 관련된 떨림 블러의 적어도 일부를 제어하고;
    상기 제2 움직임에 기초하여, 상기 이미지와 관련된 모션 블러의 적어도 일부를 제어하도록 구성된 모듈
    을 포함하고,
    상기 제1 이미지 프레임 및 상기 제2 이미지 프레임은 제1 해상도와 관련되고,
    상기 이미지는 제2 해상도와 관련되고,
    상기 제1 해상도가 상기 제2 해상도보다 낮은, 시스템.
  17. 이미지와 관련된 떨림 블러 및 모션 블러를 제어하기 위한 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 저장 매체로서,
    상기 컴퓨터 프로그램은
    상기 이미지와 관련된 제1 이미지 프레임 및 제2 이미지 프레임을 수신하고;
    상기 제1 이미지 프레임 또는 상기 제2 이미지 프레임 내에서의 카메라의 제1 움직임을 결정하고;
    상기 제1 이미지 프레임과 상기 제2 이미지 프레임 사이에서의 상기 카메라의 제2 움직임을 결정하고;
    상기 제1 움직임에 기초하여, 상기 이미지와 관련된 떨림 블러의 적어도 일부를 제어하고;
    상기 제2 움직임에 기초하여, 상기 이미지와 관련된 모션 블러의 적어도 일부를 제어하도록
    구성되고,
    상기 제1 이미지 프레임 및 상기 제2 이미지 프레임은 제1 해상도와 관련되고,
    상기 이미지는 제2 해상도와 관련되고,
    상기 제1 해상도가 상기 제2 해상도보다 낮은, 컴퓨터 판독 가능 저장 매체.
KR1020167028062A 2014-03-19 2014-03-19 픽셀 다중화 카메라에 대한 떨림 블러 및 모션 블러의 제어 KR102174808B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2014/059960 WO2015140596A1 (en) 2014-03-19 2014-03-19 Control of shake blur and motion blur for pixel multiplexing cameras

Publications (2)

Publication Number Publication Date
KR20160135748A KR20160135748A (ko) 2016-11-28
KR102174808B1 true KR102174808B1 (ko) 2020-11-05

Family

ID=50543264

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167028062A KR102174808B1 (ko) 2014-03-19 2014-03-19 픽셀 다중화 카메라에 대한 떨림 블러 및 모션 블러의 제어

Country Status (6)

Country Link
US (1) US9648239B2 (ko)
EP (1) EP3120537B1 (ko)
JP (1) JP6345799B2 (ko)
KR (1) KR102174808B1 (ko)
CN (1) CN106233710B (ko)
WO (1) WO2015140596A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10728453B2 (en) 2016-08-03 2020-07-28 Samsung Electronics Co., Ltd. Motion stabilized image sensor, camera module and apparatus comprising same
CN107370941B (zh) * 2017-06-29 2020-06-23 联想(北京)有限公司 一种信息处理方法及电子设备
CN109547671B (zh) * 2017-09-22 2022-05-27 三星电子株式会社 图像传感器、相机模块以及成像设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007028251A (ja) 2005-07-19 2007-02-01 Seiko Epson Corp 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2009071759A (ja) 2007-09-18 2009-04-02 Victor Co Of Japan Ltd 手振れ補正システム
JP2010273245A (ja) 2009-05-25 2010-12-02 Sony Corp 撮像装置と振れ補正方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6781622B1 (en) * 1998-06-26 2004-08-24 Ricoh Company, Ltd. Apparatus for correction based upon detecting a camera shaking
JP2006080844A (ja) * 2004-09-09 2006-03-23 Nikon Corp 電子カメラ
JP4487191B2 (ja) * 2004-12-24 2010-06-23 カシオ計算機株式会社 画像処理装置および画像処理プログラム
CN101543054B (zh) * 2007-06-28 2011-12-07 松下电器产业株式会社 图像处理装置、图像处理方法
US8063942B2 (en) * 2007-10-19 2011-11-22 Qualcomm Incorporated Motion assisted image sensor configuration
JP5230398B2 (ja) 2008-12-19 2013-07-10 キヤノン株式会社 撮像装置及びその制御方法
JP5553597B2 (ja) * 2009-12-25 2014-07-16 キヤノン株式会社 撮像装置及びその制御方法
US8786745B2 (en) * 2010-02-05 2014-07-22 National University Corporation Shizuoka University Solid-state image pickup device
US8964039B2 (en) * 2011-03-30 2015-02-24 Olympus Corporation Image capturing system and image capturing method
US20130107066A1 (en) * 2011-10-27 2013-05-02 Qualcomm Incorporated Sensor aided video stabilization

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007028251A (ja) 2005-07-19 2007-02-01 Seiko Epson Corp 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2009071759A (ja) 2007-09-18 2009-04-02 Victor Co Of Japan Ltd 手振れ補正システム
JP2010273245A (ja) 2009-05-25 2010-12-02 Sony Corp 撮像装置と振れ補正方法

Also Published As

Publication number Publication date
WO2015140596A1 (en) 2015-09-24
CN106233710B (zh) 2019-06-11
JP2017517909A (ja) 2017-06-29
US20160286129A1 (en) 2016-09-29
US9648239B2 (en) 2017-05-09
EP3120537B1 (en) 2020-02-26
JP6345799B2 (ja) 2018-06-20
KR20160135748A (ko) 2016-11-28
EP3120537A1 (en) 2017-01-25
CN106233710A (zh) 2016-12-14

Similar Documents

Publication Publication Date Title
EP3443736B1 (en) Method and apparatus for video content stabilization
US9998651B2 (en) Image processing apparatus and image processing method
US10044937B2 (en) Electronic device and image stabilization method thereof
US11079606B2 (en) Imaging apparatus
US9922250B2 (en) Method of capturing iris image, computer-readable recording medium storing the method, and iris image capturing apparatus
US9390532B2 (en) Object removal from an image
JPWO2011077659A1 (ja) 画像処理装置、撮像装置、及び画像処理方法
KR102174808B1 (ko) 픽셀 다중화 카메라에 대한 떨림 블러 및 모션 블러의 제어
US9621805B2 (en) Method, system and computer program product for debluring images
US9204047B2 (en) Imaging
US9898828B2 (en) Methods and systems for determining frames and photo composition within multiple frames
GB2525175A (en) Imaging
GB2524795A (en) Apparatus, method and computer program for obtaining images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right