KR20150140812A - 저광 고동적 범위 이미지의 모션 블러없는 캡처 - Google Patents

저광 고동적 범위 이미지의 모션 블러없는 캡처 Download PDF

Info

Publication number
KR20150140812A
KR20150140812A KR1020157032232A KR20157032232A KR20150140812A KR 20150140812 A KR20150140812 A KR 20150140812A KR 1020157032232 A KR1020157032232 A KR 1020157032232A KR 20157032232 A KR20157032232 A KR 20157032232A KR 20150140812 A KR20150140812 A KR 20150140812A
Authority
KR
South Korea
Prior art keywords
images
image
intensity values
computing device
accessed
Prior art date
Application number
KR1020157032232A
Other languages
English (en)
Inventor
신키아오 리우
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20150140812A publication Critical patent/KR20150140812A/ko

Links

Images

Classifications

    • H04N5/23267—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H04N5/23258—
    • H04N5/23277—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 개시의 실시예들은 컴퓨팅 디바이스에 의한 이미지 캡처 동안 글로벌 이동 및 장면내 이동을 보상한다. 이미지들의 시퀀스가 컴퓨팅 디바이스에 의해 액세스된다. 액세스된 이미지들 각각에 대응하는 가속도계 판독물들 및/또는 자이로스코프 판독물들이 액세스된 이미지들 각각 중에서 글로벌 이동을 계산하기 위해 컴퓨팅 디바이스에 의해 사용된다. 액세스된 이미지들 각각은 계산된 글로벌 이동에 기초하여 재정렬된다. 재정렬된 이미지들은 단일의 출력 이미지로 조합된다. 재정렬된 이미지들에서의 픽셀들 각각의 강도 값들이 기준 이미지에서의 대응하는 픽셀들 각각의 강도 값과 비교된다. 비교에 기초하여, 재정렬된 이미지들에서의 픽셀들과 연관된 강도 값들이 무블러이고, 저광 강화되고, 고동적 범위인 출력 이미지를 생성하기 위해 선택적으로 누적된다.

Description

저광 고동적 범위 이미지의 모션 블러없는 캡처{MOTION BLUR-FREE CAPTURE OF LOW LIGHT HIGH DYNAMIC RANGE IMAGES}
모바일 전화기들과 같은 모바일 디바이스들에 의해 캡처된 이미지들의 품질은 지속적으로 향상되고 있다. 그러나, 부분적으로는, 이들 모바일 디바이스들 중 일부의 작은 폼 팩터로 인해, 핸드 모션 및/또는 오브젝트 모션에 의해 야기된 이미지 블러(blur)가 해결과제를 남기고 있다. 또한, 모바일 디바이스들이 저광(low light) 조건에서 더욱 빈번하게 사용됨에 따라, 모바일 디바이스들에서의 카메라들은 부족한 광을 보상하는데 충분히 긴 노출 시간들을 종종 갖지 못한다. 또한, 모바일 디바이스들에서의 카메라들의 동적 범위가 이미지 센서들에서의 축소 픽셀 사이즈로 인해 제한된다. 그 결과, 모바일 디바이스에 의해 캡처된 이미지들의 품질이 원하는 것 보다 작을 수 있다.
일부 기존의 시스템들은 이동을 보상하기 위해 광학식 손떨림 보정(optical image stabilization; OIS)을 사용한다. 이러한 시스템들에서, 카메라 렌즈들 또는 이미지 센서는 노출 시간 동안 카메라 이동을 보상하기 위해 시프트된다. 카메라 렌즈 또는 이미지 센서는 컴팩트 카메라 모듈내에 구축된 음성 코일 모터 또는 마이크로-전자 기계 시스템(micro-electro-mechanical system; MEMS)과 같은 액추에이터에 의해 기계적으로 구동된다. 기존의 OIS 시스템은 고가이고, 높은 전력을 소모하며, 모바일 디바이스들내의 카메라 모듈의 사이즈를 증가시킨다. 이러한 시스템들에서, 모바일 디바이스들은 상당한 배터리 전력을 소모하며 큰 부피가 된다. 또한, 기존의 OIS 시스템들은 장면내 피사체 모션(in-scene subject motion)에 의해 야기된 모션이 아니라, 손떨림에 의해 야기된 모션 블러(motion blur)만을 보상하려 시도한다. 추가로, 기존의 솔루션들은 이미지들의 고광 부분들에서의 픽셀 포화를 다루지 않는다.
본 개시의 실시예들은 컴퓨팅 디바이스에 의해 캡처된 이미지들에 액세스한다. 컴퓨팅 디바이스와 연관된 가속도계 및/또는 자이로스코프로부터의 판독물들(readings)이 액세스된다. 판독물들 각각은 액세스된 이미지들 중 적어도 하나에 대응한다. 액세스된 판독물들에 기초한 액세스된 이미지들 각각 중의 글로벌 이동이 계산된다. 액세스된 이미지들 각각은 계산된 글로벌 이동에 기초하여 재정렬된다. 재정렬된 액세스된 이미지들은 단일의 출력 이미지로 조합된다.
대안으로 또는 추가로, 컴퓨팅 디바이스에 의해 캡처된 이미지들의 시퀀스로부터의 제 1 이미지 및 제 2 이미지가 액세스된다. 제 1 이미지에서의 픽셀들과 연관된 강도 값들(intensity values)이 제 2 이미지에서의 대응하는 픽셀들과 연관된 강도 값들과 비교된다. 제 1 이미지에서의 픽셀들과 연관된 강도 값들은 비교에 기초하여 제 2 이미지에서의 대응하는 픽셀들과 연관된 강도 값들과 선택적으로 누적(accumulate)되어, 누적 강도 값들을 생성한다. 출력 이미지가 누적 강도 값들로부터 생성된다.
본 개요는 상세한 설명에서 더 후술하는 단순한 형태의 개념들의 선택을 도입하기 위해 제공된다. 본 개요는 청구물의 중요한 특징들 또는 본질적인 특징들을 식별하려는 것이 아니고 청구물의 범위의 결정을 돕는 것으로 사용되도록 의도되지 않는다.
도 1은 복수의 컴퓨팅 디바이스들과 통신하는 서버 컴퓨팅 디바이스를 포함하는 클라우드 기반 시스템을 예시하는 예시적인 블록도이다.
도 2는 실행가능 컴포넌트들을 갖는 컴퓨팅 디바이스를 예시하는 예시적인 블록도이다.
도 3은 액세스된 이미지들에서 글로벌 이동을 보상하면서 액세스된 이미지들로부터 출력 이미지를 생성하기 위한 컴퓨팅 디바이스의 동작을 예시하는 예시적인 플루우차트이다.
도 4는 액세스된 이미지들에서 장면내 이동을 보상함으로써 액세스된 이미지들로부터 출력 이미지를 생성하기 위한 컴퓨팅 디바이스의 동작을 예시하는 예시적인 플루우차트이다.
도 5는 글로벌 이동 및 장면내 이동을 보상한 이후에 출력 이미지의 생성을 예시하는 예시적인 블록도이다.
도 6은 이미지 변위를 추정하는 필터 동작들을 예시하는 예시적인 블록도이다.
도 7은 예상 출력 범위 밖의 픽셀 강도 값들을 거부함으로써 예상 출력 범위내의 픽셀 강도 값들의 선택적 누적을 예시하는 예시적인 그래프이다.
도 8은 컴퓨팅 디바이스에 캡처된 4개의 프레임의 시퀀스의 예시적인 예시이다.
도 9a는 프로세싱없이, 도 8에 도시된 4개의 프레임의 시퀀스로부터 생성된 누적 프레임의 예시적인 예시이다.
도 9b는 장면내 이동을 보상한 이후에, 도 8에 도시된 4개의 프레임의 시퀀스로부터 생성된 누적 프레임의 예시적인 예시이다.
도 10a는 "정정 없음(No correction)"을 갖는 샘플 출력 이미지, 광학식 손떨림 보정(OIS)을 갖는 샘플 출력 이미지, 및 도 3 및/또는 도 4에 예시된 동작들을 사용한 프로세싱 이후의 샘플 출력 이미지의 예시적인 예시이다.
도 10b는 도 10a로부터의 샘플 출력 이미지들의 재제도(re-drawn) 버전을 예시한다.
대응하는 참조 부호들이 도면들 전반적으로 대응하는 부분들을 나타낸다.
도면들을 참조하면, 개시의 실시예들은 이미지들(214)을 캡처할 때 글로벌 모션 및/또는 장면내 모션을 보상한다. 일부 실시예들에서, 프레임들의 버스트가 컴퓨팅 디바이스(102)에 의해 캡처된다. 프레임들의 버스트는 정의된 레이트(예를 들어, 초당 프레임)로 캡처된 이미지들(214)의 시퀀스를 나타낸다. 가속도계 판독물들(216) 및/또는 자이로스코프 판독물들(218)이 프레임들과(예를 들어, 동시에) 캡처된다. 컴퓨팅 디바이스(102), 또는 다른 프로세싱 엔터티는 가속도계 판독물들(216) 및/또는 자이로스코프 판독물들(218)을 사용하여 캡처된 프레임들 중에서 글로벌 이동을 계산한다. 프레임들 각각은 계산된 글로벌 이동에 기초하여 재정렬된다. 프레임들의 재정렬 이후에, 재정렬된 프레임들에서의 픽셀들과 연관된 강도 값들은 기준 프레임으로부터 유도된 예상 강도 값과 비교된다. 이 비교에 기초하여, 재정렬된 프레임들에서의 픽셀들과 연관된 강도 값들은 선택적으로 누적되며, 출력 이미지가 선택적으로 누적된 강도 값들로부터 생성된다.
따라서, 본 개시의 양태들은 프레임들을 캡처하면서 글로벌 이동 및 장면내 피사체 이동 모두를 보상한다. 또한, 재정렬된 프레임들에서의 픽셀들과 연관된 강도 값들의 선택적 누적은 프레임 캡처 동안 포화를 방지한다. 이러한 방식으로, 본 개시의 실시예들은 컴퓨팅 디바이스(102)의 카메라 모듈에서의 이미지 센서(206)와 상주하는 임의의 기계적 또는 이동 부품들을 동작시키지 않고(예를 들어, 광학식 손떨림 보상과 대조적으로) 저가의 저전력의 로버스트한 솔루션을 제공한다. 이와 같이, 본 개시의 양태들은 카메라 모듈의 사이즈를 증가시키지 않고, 이미지 캡처 동안 포화를 방지하면서 글로벌 모션 및 장면내 모션 모두를 보상한다.
본 개시의 양태들은 모션 블러 아티팩트들없이(또는 감소된 모션 블러 아티팩트들을 갖고) 저광 조건하에서 모바일 디바이스들(예를 들어, 모바일 전화기들)에 의해 취해진 이미지들(214)의 품질을 더 향상시켜, 광학식 손떨림 보상(OIS) 시스템들에 대한 향상된 신호 대 잡음비(SNR)를 발생시킨다. 여기에 설명한 바와 같이 이미지들(214)의 버스트에 걸쳐 각 픽셀에 대한 강도 값들을 선택적으로 누적함으로써, 각 픽셀이 더 높은 광 레벨에서 동작할 수 있기 때문에, 이미지 센서(206)의 동적 범위가 증가된다. 예를 들어, 동적 범위는 N배 증가되고, 여기서, N은 프레임들의 총 수이다. 카메라 모듈의 동적 범위를 연장시킴으로써, 이미지 센서(206)가 고 조도하에서 포화되는 것이 방지된다. 반대로, 출력 이미지의 유효 노출 시간은 종래의 이미지 센서가 처리할 수 있는 것 보다 길다.
본 개시의 일부 양태들이 글로벌 모션 및 장면내 모션 모두를 보상하는 것으로서 설명되지만, 일부 실시예들이 글로벌 모션 또는 장면내 모션을 보상한다는 것이 예상된다. 또한, 여기에 예시되고 설명된 동작들이 독립 디바이스로서 컴퓨팅 디바이스(102)(예를 들어, 카메라, 모바일 전화기, 태블릿 등)에 의해 실행될 수 있지만, 일부 클라우드 기반 실시예들이 도 1을 참조하여 다음에 설명하는 바와 같이, 컴퓨팅 디바이스들(102) 중 하나 또는 일부와 통신하는 서버 컴퓨팅 디바이스(106)에 의한 동작들의 실행을 예상한다.
도 1을 참조하면, 예시적인 블록도가 복수의 컴퓨팅 디바이스들(102)과 통신하는 서버 컴퓨팅 디바이스(106)를 포함하는 클라우드 기반 시스템을 예시한다. 도 1의 예에서, 컴퓨팅 디바이스(#1) 내지 컴퓨팅 디바이스(#N)와 같은 컴퓨팅 디비이스들(102)은 네트워크(104)를 통해 서버 컴퓨팅 디바이스(106)와 통신한다. 컴퓨팅 디바이스(102)는 여기에 설명하는 동작들 및 기능을 구현하기 위한 (예를 들어, 애플리케이션 프로그램들, 운영 시스템 기능, 또는 양자와 같은) 임의의 디바이스 실행 명령어들을 나타낸다. 컴퓨팅 디바이스(102)는 모바일 컴퓨팅 디바이스(102) 또는 임의의 다른 휴대용 디바이스를 포함할 수 있다. 일부 실시예들에서, 모바일 컴퓨팅 디바이스(102)는 모바일/셀룰러 폰, 카메라, 랩탑, 태블릿, 컴퓨팅 패드, 넷북, 게임 디바이스, 및/또는 휴대용 미디어 플레이어를 포함한다. 컴퓨팅 디바이스(102)는 데스크탑 개인 컴퓨터들, 키오스크들, 및 탁상 디바이스들과 같은 더 작은 휴대용 디바이스들을 또한 포함할 수 있다. 추가로, 컴퓨팅 디바이스(102)는 프로세싱 유닛들 또는 다른 컴퓨팅 디바이스들의 그룹을 나타낼 수 있다.
네트워크(104)는 유선 및/또는 무선 네트워크를 포함할 수 있다. 네트워크(104)는 임의의 타입의 네트워크 토폴로지 및/또는 통신 프로토콜을 사용하여 또한 구현될 수 있고, 2개 이상의 네트워크들의 조합으로서 표현되거나 그렇지 않으면 구현될 수 있으며, 인터넷 프로토콜(IP) 네트워크들 및/또는 인터넷을 포함할 수 있다. 네트워크(104)는 통신 서비스 제공자, 모바일 폰 제공자, 및/또는 인터넷 서비스 제공자와 같은, 모바일 네트워크 오퍼레이터 및/또는 다른 네트워크 오퍼레이터들에 의해 관리되는 모바일 오퍼레이터 네트워크들을 또한 포함할 수 있다.
동작중에, 여기에 설명하는 기능은 컴퓨팅 디바이스들(102) 및/또는 서버 컴퓨팅 디바이스(106) 각각에 의해 수행될 수 있다. 예를 들어, 컴퓨팅 디바이스들(102) 각각은 그 컴퓨팅 디바이스(102)에 의해 캡처된 이미지들(214)의 시퀀스에 대한 이미지 프로세싱을 수행할 수 있다. 다른 예에서, 컴퓨팅 디바이스들(102) 중 하나는 대응하는 가속도계 판독물들(216) 및/또는 자이로스코프 판독물들(218)과 함께, 이미지들(214)의 캡처된 시퀀스를 서버 컴퓨팅 디바이스(106)에 (예를 들어, 실시간으로, 주기적으로, 단속적으로, 일괄적으로, 등) 전송한다. 서버 컴퓨팅 디바이스(106)는 이미지 프로세싱을 수행하고 출력 이미지를 디스플레이를 위해 컴퓨팅 디바이스(102)에 리턴한다.
다음으로, 도 2를 참조하면, 예시적인 블록도가 컴퓨팅 디바이스(102)의 아키텍처를 예시한다. 도 2의 예에서, 컴퓨팅 디바이스(102)는 적어도 하나의 이미지 센서(206), 적어도 하나의 자이로스코프(210), 적어도 하나의 가속도계(208), 적어도 하나의 프로세서(204), 및 적어도 하나의 메모리 영역(212)을 포함한다. 이미지 센서(206)는 임의의 타입의 아날로그 센서, 디지털 센서, 예를 들어, 전하 결합 디바이스(CCD) 또는 상보적 금속 산화물 반도체(CMOS) 등일 수 있다. 당업계에 공지되어 있는 다른 타입의 이미지 센서들(206)이 이미지들(214)의 시퀀스를 캡처하는 컴퓨팅 디바이스(102)에서 사용될 수 있다.
가속도계(208)는 이미지들(214)(예를 들어, 프레임들)의 시퀀스를 캡처하는 것과 같이, 컴퓨팅 디바이스(102)의 이동을 캡처하도록 동작한다. 예를 들어, 가속도계(208)는 컴퓨팅 디바이스(102)의 이동을 나타내는 데이터를 제공한다. 단일 축 가속도계들, 다축 가속도계들, 마이크로-머신 가속도계들, 및 다른 가속도계들이 본 개시의 범위내에 있다.
자이로스코프(210)는 이미지들(214)의 시퀀스를 캡처하면서 컴퓨팅 디바이스(102)의 회전 이동을 캡처하도록 동작한다. 예를 들어, 자이로스코프(210)는 컴퓨팅 디바이스(102)의 회전 이동을 나타내는 데이터를 제공한다. 기계, 전자, 마이크로칩-패키징된 마이크로-전기 전자 시스템(MEMS), 고체 상태 링 레이저, 광 섬유, 양자 자이로스코프, 및 다른 자이로스코프들이 본 개시의 범위내에 있다.
일부 실시예들에서, 가속도계 판독물들(216) 및 자이로스코프 판독물들(218)은 이미지들(214)이 컴퓨팅 디바이스(102)에 의해 캡처되는 것과 대략, 실질적으로, 또는 그렇지 않으면 거의 동시에 캡처된다. 예를 들어, 가속도계 판독물들(216) 및/또는 자이로스코프 판독물들(218)은 각 이미지(214)의 캡처와 동시에 획득된다. 일부 실시예들에서, 이미지들(214) 및 가속도계 판독물들(216)(및/또는 자이로스코프 판독물들(218))은 이미지들(214) 각각과 그리고 판독물들(216, 218) 각각에서 연관된 시간 스탬프를 통해 각각과 동기화되고, 상관되거나, 그렇지 않으면 연관된다. 즉, 시간 스탬프는 각 이미지(214)이 캡처시에 그리고 판독물들(216, 218) 각각의 획득시에 생성되어 저장된다.
프로세서(204)는 임의의 수량의 프로세싱 유닛들을 포함하고, 본 개시의 양태들을 구현하는 컴퓨터-실행가능 명령어들을 실행하도록 프로그래밍된다. 명령어들은 프로세서(204)에 의해 또는 컴퓨팅 디바이스(102)내에서 실행하는 다중 프로세서들에 의해 수행될 수 있거나, 컴퓨팅 디바이스(102) 외부의 프로세서(미도시)에 의해 수행될 수 있다.
컴퓨팅 디바이스(102)와 연관된 프로세서(204)는 도면들(예를 들어, 도 3 및 도 4)에 예시된 바와 같은 명령어들을 실행하도록 프로그래밍된다. 일부 실시예들에서, 프로세서(204)는 여기에 설명하는 동작들을 수행하기 위한 아날로그 기법들의 구현을 나타낸다. 예를 들어, 동작들은 아날로그 컴퓨팅 디바이스 및/또는 디지털 컴퓨팅 디바이스에 의해 수행될 수 있다.
컴퓨팅 디바이스(102)는 메모리 영역(212)과 같은 하나 이상의 컴퓨터 판독가능 매체들을 더 갖는다. 메모리 영역(212)은 컴퓨팅 디바이스(102)와 연관되거나 컴퓨팅 디바이스(102)에 의해 액세스가능한 임의의 수량의 매체들을 포함한다. 메모리 영역(212)은 (도 2에 도시된 바와 같이) 컴퓨팅 디바이스(102) 내부에 있을 수 있고, 컴퓨팅 디바이스(102) 외부에 있을 수 있거나(미도시), 양자 모두일 수 있다(미도시). 일부 실시예들에서, 메모리 영역(212)은 판독 전용 메모리 및/또는 아날로그 컴퓨팅 디바이스에 연결된 메모리를 포함한다.
메모리 영역(212)은 다른 데이터 중에서, 컴퓨팅 디바이스(102)의 이미지 센서(206)에 의해 캡처된 복수의 이미지들(214)을 저장한다. 메모리 영역(212)은 가속도계(208)로부터의 가속도계 판독물들(216)을 더 저장한다. 일부 실시예들에서, 가속도계(208)로부터의 가속도계 판독물들(216) 각각은 복수의 이미지들(214) 중 하나에 대응한다. 자이로스코프 판독물들(218)(예를 들어, 회전 측정치들)은 자이로스코프(210)로부터 획득될 수 있고 복수의 이미지들(214) 각각과 연관될 수 있다. 자이로스코프 판독물들(218)은 메모리 영역(212)에 저장된다.
메모리 영역(212)은 하나 이상의 컴퓨터-실행가능 컴포넌트들을 더 저장한다. 예시적인 컴포넌트들은 메모리 컴포넌트(220), 임계값 컴포넌트(222) 누적 컴포넌트(224), 및 디스플레이 컴포넌트(226)를 포함한다. 컴퓨터-실행가능 컴포넌트들의 동작은 도 4를 참조하여 후술한다.
컴퓨팅 디바이스(102)는 네트워크 인터페이스 카드 및/또는 네트워크 인터페이스 카드를 동작시키는 컴퓨터-실행가능 명령어들(예를 들어, 드라이버)을 포함하는 통신 인터페이스 컴포넌트(미도시)를 추가로 포함할 수 있다. 컴퓨팅 디바이스(102)와 서버 컴퓨팅 디바이스(106) 사이의 통신이 임의의 프로토콜을 사용하는 네트워크(104)를 통해 발생할 수 있다. 일부 실시예들에서, 통신 인터페이스는 근거리 통신(NFC) 태그들과 동작가능하다.
예시적인 실시예에서, 메모리 영역(212)은 2개의 프레임 버퍼들만을 더 저장한다. 프레임 버퍼들 중 제 1 프레임 버퍼는 각 이미지(214)가 순차적으로 캡처될 때 복수의 이미지들(214) 각각을 저장한다. 프레임 버퍼들 중 제 2 프레임 버퍼는 중간 이미지를 저장한다. 예를 들어, 제 1 이미지는 기준 이미지로서 제 1 프레임 버퍼에 저장될 수 있다. 후속 이미지들(214)은 후속 이미지들(214)이 캡처될 때 프로세싱된다. 후속 이미지들(214)을 프로세싱하는 것은 도 3 및/또는 도 4에 설명한 동작들을 수행하는 것을 포함하고, 여기서, 제 2 프레임 버퍼에 저장된 중간 이미지는 각 이미지(214)가 프로세싱될 때 업데이트된다. 출력 이미지는 프로세싱된 이미지들(214)에 대한 누적 강도 값들을 반영하는 최종 중간 이미지로부터 생성된다.
도 3 및 도 4를 참조하여 다음에 설명하는 동작들이 이미지들(214)의 시퀀스로부터 이미지들(214)을 비교한다. 예를 들어, 시퀀스에서의 각 연속 이미지(214)는 시퀀스에서의 바로 이전의 이미지(214)와 비교될 수 있거나, 기준 이미지에 비교될 수 있다. 일부 실시예들에서, 이미지들(214)의 시퀀스에서의 제 1 이미지는 이미지들(214)의 시퀀스에서의 다른 이미지들(214)에 대한 기준 이미지를 나타낸다. 다른 실시예에서, 제 1 이미지는 제 2 이미지에 대한 기준 이미지로서 작용하고, 제 2 이미지는 제 3 이미지에 대한 기준 이미지로서 작용한다. 또 다른 실시예에서, 제 1 이미지는 제 2 이미지에 대한 기준 이미지로서 작용하고, 제 2 이미지를 프로세싱하는 것으로부터의 출력 이미지는 제 3 이미지에 대한 기준 이미지를 나타낸다.
다음으로, 도 3을 참조하면, 예시적인 플로우차트는 액세스된 이미지들(124)에서 글로벌 이동을 보상함으로써 액세스된 이미지들(124)로부터 출력 이미지를 생성하기 위한 컴퓨팅 디바이스(102)의 동작을 예시한다. 도 3에 예시된 동작들이 컴퓨팅 디바이스(102)에 의해 수행되는 것으로 설명되지만, 본 개시의 양태들은 서버 컴퓨팅 디바이스(106)와 같은 컴퓨팅 디바이스(102) 이외의 엔터티들에 의한 동작들의 수행을 예상한다.
글로벌 이동은 예를 들어, 유사하게는 장면내 오브젝트들 각각에 영향을 미치는 손떨림, 지터, 및 다른 이동 또는 변위를 포함한다. 302에서, 컴퓨팅 디바이스(102)에 의해 캡처된 이미지들(214)의 시퀀스가 액세스된다. 예를 들어, 컴퓨팅 디바이스(102)는 제 1 이미지, 제 2 이미지 등을 포함하여, 버스트로서 1초에 30개의 이미지들(214)을 캡처한다. 이미지들(214) 각각은 (이미지 센서(206)에 독립적인) 복수의 픽셀들을 포함한다. 다른 실시예들에서, 컴퓨팅 디바이스(102)는 프로세싱을 위해 이미지들(214)의 이전에 캡처된 시퀀스에 액세스한다. 일부 실시예들에서, 이미지들(214)의 버스트는 비디오 파일로부터의 일련의 프레임들을 나타낸다.
일부 실시예들이 30 초당 프레임들(fps)에서 동작하는 것으로서 이미지 센서(206)를 설명하지만, 이미지 센서(206)는 30fps 보다 높거나 낮은 다른 프레임 레이트들에서 동작할 수 있다. 또한, 이미지 센서(206)에서의 각 픽셀은, 일부 실시예들에서, 복수의 이미지들(214) 각각이 동일한 픽셀로부터 개별 판독물들을 다중 횟수 획득하기 위해 캡처된 이후에 리셋될 수 있다. 각 픽셀을 리셋하는 것은 각 프레임 캡처와 컴퓨팅 디바이스(102)의 셔터를 개방하고 폐쇄함으로써 수행될 수 있다. 다른 실시예들에서, 각 픽셀은 복수의 이미지들(214)이 캡처된 이후에만 리셋된다.
일부 실시예들에서, 각 이미지(214)를 캡처하면서 더 긴 노출은 높은 신호 대 잡음비(SNR)를 발생시키고, 이는 이미지 품질에서 전체 향상에 상관된다. 개별 프레임들의 노출 시간의 합은 유효 노출 시간과 등가이다. 특정한 예에서, 출력 이미지의 SNR은 각 개별 프레임의 SNR과 비교하여 프레임들의 총 수의 제곱근 만큼 증가된다.
304에서, 각 이미지(214)에 대한 자이로스코프 판독물들(218)이 액세스된다. 예를 들어, 각 이미지(214)에 대한 자이로스코프 판독물들(218)은 각 이미지(214)가 캡처될 때 획득된다. 자이로스코프 판독물들(218)은 이미지 센서(206)의 회전 모션을 설명한다. 대안으로 또는 자이로스코프 판독물들(218)에 부가하여, 304에서, 가속도계 판독물들(216)이 액세스될 수 있다. 가속도계 판독물들(216)은 이미지 센서(206)의 선형 모션(예를 들어, 선형 측정치, 변위 등)을 설명한다.
306에서, 액세스된 이미지들(214) 각각 중에서 글로벌 이동이 액세스된 가속도계 판독물들(216) 및/또는 자이로스코프 판독물들(218)에 기초하여 계산된다. 예를 들어, 액세스된 이미지들(214)은 순차적으로 캡처된 복수의 이미지들(214)을 나타내고, 복수의 이미지들 중 하나가 기준 이미지로 지정된다. 이미지들(214) 중 임의의 것이 이미지들(214)의 버스트로부터 기준 이미지를 선택하는 공지된 알고리즘들 중 임의의 것에 따라 기준 이미지지로 지정될 수 있다.
일부 실시예들에서, 글로벌 이동을 계산하는 것은 복수의 이미지들(214) 각각과 기준 이미지 사이의 픽셀 오프셋을 계산하는 것을 포함한다. 계산된 픽셀 오프셋은 2차원 픽셀 시프트를 포함하고, 이는 일부 실시예들에서 컴퓨팅 디바이스(102) 또는 이미지 센서(206)의 회전을 설명한다. 예를 들어, 제 1 이미지로부터 제 2 이미지로의 계산된 글로벌 이동은 제 1 이미지에서의 각 픽셀이 제 2 이미지에서 우측으로 하나의 픽셀 위치 시프트 업되고 3개의 픽셀 위치들 시프트 오버되었다는 것을 나타낼 수 있다. 픽셀 시프트는 제 2 이미지와 제 3 이미지 사이, 제 3 이미지와 제 4 이미지 사이 등에서 또한 계산된다. 다른 실시예들에서, 후속 이미지들(214) 각각이 픽셀 시프트를 결정할 때 기준 이미지(예를 들어, 제 1 이미지)에만 비교된다. 예를 들어, 제 2 이미지는 기준 이미지에 비교되고, 제 3 이미지는 기준 이미지에 비교되고, 제 4 이미지는 기준 이미지에 비교된다. 본 개시의 양태들은 글로벌 이동 또는 시프트를 결정하기 위해 2개의 이미지들(214)을 비교하는 임의의 알고리즘으로 동작가능하다. 예시적인 알고리즘은 제 1 이미지로부터 제 2 이미지로 발생하는 (x,y) 오프셋을 결정하기 위한 시도로 제 1 이미지의 픽셀 강도 값들을 제 2 이미지의 대응하는 픽셀 강도 값들과 비교한다.
308에서, 액세스된 이미지들(214) 각각은 계산된 글로벌 이동에 기초하여 재정렬된다. 액세스된 이미지들(214)의 재정렬은 그 이미지(214)에 대한 계산된 픽셀 오프셋에 기초하여 복수의 이미지들(214) 각각에서 픽셀 위치들 또는 포지션들을 조정하는 것(예를 들어, 카운터밸런싱(counterbalancing)하는 것)을 포함한다. 예를 들어, 제 2 이미지에서의 각 픽셀의 포지션은 제 1 이미지에서 대응하는 픽셀에 대해 발생한 계산된 픽셀 시프트 또는 오프셋에 기초하여 조정된다. 일부 실시예들에서, 픽셀 위치들을 조정하는 것은 복수의 이미지들(214)에서 픽셀들과 연관된 픽셀 강도 값들의 메모리 어드레스들을 조정하는 것을 포함한다. 예를 들어, 픽셀들 각각은 해당 메모리 위치로부터의 판독을 허용하기 위해 메모리 영역(212)에서 각 픽셀의 메모리 위치 또는 어드레스를 조정함으로써 재-인덱스된다.
이러한 방식으로, 컴퓨팅 디바이스(102)는 이미지 캡처 동안 이미지 센서(206)의 위치 이동을 보상한다. 자이로스코프 판독물들(218)이 계산된 글로벌 이동 및 재정렬로 팩터화되는 실시예들에서, 컴퓨팅 디바이스(102)는 이미지 캡처 동안 이미지 센서(206)의 각도 이동을 더 보상한다
일부 실시예들에서, 액세스된 이미지들(214)의 글로벌 이동 및 재정렬의 적어도 계산은 이미지 센서(206)와 연관된 기계적 부분들을 동작시키지 않고 발생한다.
액세스된 이미지들(214) 각각을 재정렬한 이후에, 310에서, 재정렬된 액세스된 이미지들(214)은 단일의 출력 이미지를 생성하기 위해 조합된다. 재정렬된 액세스된 이미지들(214)을 조합하는 것은 예를 들어, 단일의 출력 이미지와의 연관을 위해 픽셀 강도 값들을 생성하기 위해 재정렬된 액세스된 이미지들(214) 각각으로부터의 대응하는 픽셀들로부터의 픽셀 강도 값들을 조합하는 것을 포함한다. 그러나, 본 개시의 양태들은 이미지들(214)을 조합하는 임의의 알고리즘으로 동작가능하다. 예로서, 이미지들(214) 각각에서 픽셀 포지션들 각각에서의 대응하는 픽셀 강도 값들은 가중될 수 있고 그 후 합산될 수 있다.
다음으로, 도 4를 참조하면, 예시적인 플로우차트는 액세스된 이미지들(124)에서 장면내 이동을 보상함으로써 액세스된 이미지들(124)로부터 출력 이미지를 생성하기 위한 컴퓨팅 디바이스(102)의 동작을 예시한다. 도 4에 예시된 동작들이 컴퓨팅 디바이스(102)에 의해 수행되는 것으로 설명되지만, 본 개시의 양태들은 서버 컴퓨팅 디바이스(106)와 같은 컴퓨팅 디바이스(102) 이외의 엔터티들에 의한 동작들의 수행을 예상한다.
402에서, 이미지들(214)의 시퀀스가 액세스된다. 이미지들(214)에 액세스하는 것은 도 3을 참조하여 상술하였다. 도 4의 예에서, 이미지들(214)의 시퀀스는 적어도 제 1 이미지 및 제 2 이미지를 포함한다. 404에서, 이미지들(214)의 시퀀스에서의 대응하는 픽셀들의 강도 값들이 비교된다. 예를 들어, 제 1 이미지에서의 픽셀들의 강도 값들은 제 2 이미지에서의 대응하는 픽셀들의 강도 값들과 비교된다.
일부 실시예들에서, 제 2 이미지에서의 픽셀들과 연관된 강도 값들은 픽셀들에 대한 예상 강도 값들에 비교된다. 예상 강도 값들은 제 1 이미지(또는 다른 기준 이미지)로부터 유도된다. 예를 들어, 이미지들(214)의 시퀀스에서, 픽셀들 각각에 대한 예상 강도 값은 제 1 이미지 또는 다른 선택된 기준 이미지로부터 픽셀에 대한 강도 값인 것으로 정의된다.
406에서, 이미지들(214)의 시퀀스에서의 픽셀들의 강도 값들은 누적 강도 값들을 생성하기 위해 404에서의 비교에 기초하여 선택적으로 누적된다. 예를 들어, 그리고 도 7을 참조하여 더 후술하는 바와 같이, 대응하는 예상 강도 값과 실질적으로 상이한(예를 들어, 임계값 또는 다른 기준치를 넘는) 강도 값은 폐기되는 반면에, 대응하는 예상 강도 값과 대략, 실질적으로, 또는 그렇지 않으면 거의 동일한 강도 값은 그 픽셀에 대한 누적 강도 값에 가산된다.
픽셀들 각각에 대한 누적 강도 값들을 생성한 이후에, 408에서, 컴퓨팅 디바이스(102)는 출력 이미지를 생성한다.
일부 실시예들에서, 컴퓨팅 디바이스(102)는 도 4를 참조하여 예시되고 설명된 동작들을 구현하기 위해 도 2에 예시된 컴포넌트들을 실행한다. 예를 들어, 프로세서(204)에 의해 실행될 때, 메모리 컴포넌트(220)는 프로세서(204)로 하여금 컴퓨팅 디바이스(102)에 의해 캡처된 이미지들(214)의 시퀀스에서의 제 1 이미지 및 제 2 이미지에 액세스하게 한다.
프로세서(204)에 의해 실행될 때, 임계값 컴포넌트(222)는 프로세서(204)로 하여금 제 1 이미지에서의 픽셀들과 연관된 강도 값들을 제 2 이미지에서의 대응하는 픽셀들과 연관된 강도 값에 비교하게 한다. 임계값 컴포넌트(222)는 예를 들어, 각 픽셀에서 기준 이미지로부터의 추정된 잡음의 하나의 평균 제곱근(RMS)의 값일 수 있다.
프로세서(204)에 의해 실행될 때, 누적 컴포넌트(224)는 프로세서(204)로 하여금 임계값 컴포넌트(222)에 의해 수행된 비교에 기초하여 제 2 이미지에서의 대응하는 픽셀들과 연관된 강도 값들과 제 1 이미지에서의 픽셀들과 연관된 강도 값들을 선택적으로 누적하게 하여, 누적 강도 값들을 생성한다. 예를 들어, 누적 컴포넌트(224)는 예상된 강도 값들의 정의된 범위 밖에 있는, 제 2 이미지에서의 픽셀들과 연관 강도 값들을 폐기한다. 누적 컴포넌트(224)는 제 2 이미지로부터의 강도 값들이 예상 강도 값들의 정의된 범위내에 있는 경우에, 제 2 이미지에서의 픽셀들과 연관된 강도 값들을 제 1 이미지에서의 대응하는 픽셀들과 연관된 강도 값들에 가산한다.
프로세서(204)에 의해 실행될 때, 디스플레이 컴포넌트(226)는 프로세서(204)로 하여금 누적 강도 값들을 사용하여 출력 이미지를 생성하게 한다.
예시적인 실시예에서, 제 1 이미지는 기준 이미지를 나타내고, 이미지들(214)의 시퀀스는 제 3 이미지를 포함한다. 임계값 컴포넌트(222)는 제 3 이미지에서의 픽셀들과 연관된 강도 값들을 기준 이미지에서의 대응하는 픽셀들과 연관된 강도 값들에 더 비교한다. 누적 컴포넌트(224)는 제 3 이미지에서의 픽셀들과 연관된 강도 값들의 기준 이미지에서의 대응하는 픽셀들과 연관된 강도 값들에 대한 임계값 컴포넌트(222)에 의한 비교에 기초하여, 제 3 이미지에서의 픽셀들과 연관된 강도 값들을 (예를 들어, 제 1 이미지 및 제 2 이미지로부터 생성된) 누적 강도 값들에 더 선택적으로 가산한다.
임계값 컴포넌트(222)는 기준 이미지에서의 픽셀들과 연관된 강도 값들에 기초하여 제 2 이미지에서의 픽셀들 각각에 대한 예상 강도 값들의 범위를 더 정의할 수 있다. 임계값 컴포넌트(222)는 제 2 이미지에서의 픽셀들과 연관된 강도 값들을 그 픽셀들에 대한 예상 강도 값들의 정의된 범위에 비교함으로써 제 1 이미지에서의 픽셀들과 연관된 강도 값들을 제 2 이미지에서의 대응하는 픽셀들과 연관된 강도 값들에 비교한다.
다음으로, 도 5를 참조하면, 예시적인 블록도는 글로벌 이동 및 장면내 이동을 보상한 이후에 출력 이미지(512)의 생성을 예시한다. 예를 들어, 이미지 센서(206)는 이미지들(214)의 시퀀스를 생성한다(예를 들어, 각각 30 밀리초에서 멀티-프레임 버스트(504)). 자이로스코프(210) 및/또는 가속도계(208) 센서들은 시간-스탬프된 변위(516) 데이터를 생성한다. 필터(518)가 프레임-대-프레임(frame-to-frame) 변위(520)를 추정한다. 필터(518)의 예는 예를 들어, 도 6에 도시된 바와 같은 칼만(Kalman) 필터 또는 상보적 필터(602)를 포함한다. 그러나, 다른 타입의 필터들(518)이 프레임간 변위를 추정하기 위해 사용될 수 있다. 프레임 정렬(506)은 입력들로서 멀티-프레임 버스트(504) 및 프레임-대-프레임 변위(520)를 취한다. 그 후, 장면내 피사체 모션 검출 및 보상(508)이 수행되고, 멀티-프레임 컴포지션(multi-frame composition)(510)이 후속한다. 멀티-프레임 컴포지션(510)은 장면내 피사체 모션 검출 및 보상(508) 이후에 상이한 프레임들에서 대응하는 픽셀들의 강도 값들을 누적한다. 멀티-프레임 컴포지션(510)은 출력 이미지(512)를 생성한다.
다음으로, 도 6을 참조하면, 예시적인 블록도는 가속도계(208) 및/또는 자이로스코프(210)로부터의 데이터에 기초하여 이미지내 및/또는 프레임내 변위를 추정하는 칼만 또는 상보적 필터(602)를 예시한다. 도 6의 예는 2개의 프레임들을 비교한다. 가속도계 판독물들(216)은 저역통과필터1(LowPassFilter1)(604)을 통과한다. 수치적분1(NumericIntegration1)(606)과 연관된 계산들이 이미지들(214)의 시퀀스에서 2개의 프레임들 사이의 가속도계 판독물들(216)에서의 차이를 계산하기 위해 필터링된 가속도계 판독물들(216)에 대해 수행된다. 가속도계 판독물들(216)에서의 계산된 차이는 ΔX, ΔY로서 표현된다.
수치적분2(612)와 연관된 계산들이 저역통과필터2(610)를 통과하는 자이로스코프 판독물들(218)에 대해 수행된다. 합산이 저역통과필터1(604) 및 저역통과필터2(610)로부터의 출력을 사용하여 수학식 (1)에서 아래에 나타낸 공식을 사용하여 글로벌 이동을 계산하거나 그렇지 않으면 결정한다.
Angle=(value1)*(Angle+gyroscope*dt)+(value2)*(Accelerometer) ( 1 )
상기 수학식 (1)에서, value1 및 value2는 가중 상수들을 나타내고, dt는 각 자이로스코프 판독물의 시간 증분을 나타내고, gyroscope는 각 시간 증분에서 자이로스코프 판독물 값을 나타내며, Accelerometer는 가속도계 판독물을 나타낸다. 예시적인 실시예에서, 상수 value1의 값은 0.98이고, 상수 value2의 값은 0.02이다. value1 및 value2의 값들은 구성가능하며, (예를 들어, 컴퓨팅 디바이스(102)의 사용자에 의해) 변경될 수 있다.
시간(dt)의 짧은 지속기간 동안 계산되면, 자이로스코프 판독물들(218)은 자이로스코프(210)가 시간을 통해 드리프트할 수 있기 때문에, 일부 실시예들에서는 더욱 정확한 판독물들을 제공한다. 시간(dt)의 짧은 지속기간은 자이로스코프의 동작 주파수를 나타낸다.
본 개시의 양태들은 칼만 필터 또는 상보적 필터(602)에 제한되지 않는다. 오히려, 가속도계 판독물들(216) 및/또는 자이로스코프 판독물들(218)에 기초하여 이미지들(214) 중에서 글로벌 이동을 계산하기 위해 임의의 필터가 사용될 수 있다. 또한, 다중의 가속도계들(208) 및/또는 다중의 자이로스코프들(210)의 사용은 본 개시의 범위내에 있다. 예를 들어, 3개의 자이로스코프들(210) 및 3개의 가속도계들(208)이 3차원의 각도들을 계산하기 위해 컴퓨팅 디바이스(102)에서 사용될 수 있다.
다음으로, 도 7을 참조하면, 예시적인 그래프는 예상 출력 범위 밖의 픽셀 강도 값들을 거부함으로써 예상 출력 범위내의 픽셀 강도 값들의 선택적 누적을 예시한다. 예를 들어, 프레임 1 및 프레임 2에서의 픽셀에 대한 강도 값들은 예상 출력 범위내(예를 들어, P1 내지 P2)에 있는 반면에, 프레임 3 및 프레임 4에서의 대응하는 픽셀에 대한 강도 값들은 예상 출력 범위 밖(예를 들어, 예상 출력 범위 아래 및 위 각각)에 있다. 그 강도 값이 예상 출력 범위 밖에 있는 프레임들에서의 픽셀들은 거부되며, 그 강도 값이 예상 출력 범위내에 있는 프레임들에서의 픽셀들은 단일의 출력 이미지를 생성하는데 있어서 사용하기 위해 누적 강도 값들로 누적된다.
예상 출력 범위가 기준 이미지로부터의 강도 값들에 기초하지만, 예상 출력 범위의 사이즈는 구성가능하며 사전 결정될 수 있다. 예를 들어, P1 및 P2는 각각, 강도 값의 10% 위 및 강도 값의 10% 아래를 나타낼 수 있다. 강도 값이 그 범위 밖에 있으면, 장면내 이동이 발생하고, 강도 값은 장면내 이동을 보상하기 위해 폐기된다. 반대로, 강도 값이 범위내에 있으면, 임의의 장면내 이동은 최소이고 강도 값은 그 픽셀에 대한 누적 강도 값에 가산된다. 대안으로 또는 또한, 예상 출력 범위의 사이즈는 제조자, 컴퓨팅 디바이스(102)의 사용자, 또는 다른 엔터티에 의해 정의될 수 있다.
다음으로, 도 8을 참조하면, 컴퓨팅 디바이스(102)에 의해 캡처된 4개의 프레임들의 시퀀스가 도시되어 있다. 4개의 프레임들은 이미지들의 버스트를 나타내고, 그 동안에, 장면내 이동이 발생한다. 다음으로, 도 9a를 참조하면, 누적 프레임이 도 8로부터의 4개의 프레임들의 시퀀스로부터 프로세싱없이 생성된다. 도 9a에서의 누적 프레임은 장면내 이동(예를 들어, 프레임들에서의 플랫폼에 대한 자동차의 이동)으로 인해 블러링된다.
반대로, 다음으로 도 9b를 참조하면, 누적 프레임이 장면내 이동을 보상한 이후에(예를 들어, 적어도 도 4, 그리고 가능하면 도 3에 예시된 동작들을 수행한 이후에) 도 8로부터의 4개의 프레임들의 시퀀스로부터 생성된다. 도 9b에서의 누적 프레임은 도 9a에서의 누적 프레임 보다 현저하게 더욱 명백하고, 이는 적어도 도 4(그리고 가능하면 도 3)로부터의 동작들이 장면내 이동을 효과적으로 보상하였다는 것을 나타낸다.
다음으로, 도 10a를 참조하면, 3개의 샘플 출력 이미지들(예를 들어, 누적 이미지들)이 재생된다. 특히, 3개의 출력 이미지들은 글로벌 이동 또는 장면내 이동을 보상하기 위해 프로세싱된 샘플 출력 이미지("정정 없음"), 광학식 손떨림 보상(OIS)만으로 프로세싱된 샘플 출력 이미지, 및 도 3 및 도 4에 예시된 동작들을 사용한 프로세싱 이후의 샘플 출력 이미지("정정 있음")를 포함한다. "정정 없음" 이미지의 검사는 글로벌 이동 및 장면내 이동 양자가 프레임들의 버스트 동안 발생하였다는 것을 나타낸다. 특히, 배경 및 자동차 양자는 매우 흐리다(blurry). "OIS만"의 이미지의 검사는 배경이 다소 덜 흐리지만 이미지에서의 자동차가 매우 흐리게 남아 있기 때문에 글로벌 이동을 보상하려는 일부 시도가 있었다는 것을 나타낸다.
반대로, "정정 있음" 이미지의 검사는 글로벌 이동 및 장면내 이동 양자에 대한 보상이 있었다는 것을 나타낸다. 특히, 배경 및 자동차 양자는 다른 2개의 이미지들에 비해 상당히 무블러(blur-free)이다. 이와 같이, 이들 이미지들은 본 개시의 양태들이 글로벌 이동 및 장면내 이동 양자에 대한 효과적인 보상을 어떻게 제공하는지를 예시한다.
도 10b는 도 10a로부터의 샘플 출력 이미지들의 재제도(re-drawn) 버전을 예시한다.
추가적인 예들
일부 실시예들에서, 복수의 수퍼픽셀들(superpixels)이 정의될 수 있다. 복수의 수퍼픽셀들 각각은 이미지들(214) 중 하나 이상으로부터의 복수의 픽셀들로부터 유도된 소정의 수의 픽셀들에 대응한다. 예시적인 수퍼픽셀이 픽셀들의 2x2 어레이에 대응할 수 있다. 이러한 실시예들에서, 도 3 및 도 4를 참조하여 예시하고 설명한 동작들이 정의된 수퍼픽셀들에 대해 수행된다. 예를 들어, 자이로스코프 판독물들(218)에 기초하여 액세스된 이미지들(214) 중에서 글로벌 이동을 계산하는 것, 계산된 글로벌 이동에 기초하여 액세스된 이미지들(214) 각각을 재정렬하는 것, 및 재정렬된 액세스된 이미지들(214)을 단일의 출력 이미지로 조합하는 것은 정의된 수퍼픽셀들에 대해 동작한다.
본 개시의 일부 양태들은 포화를 방지하기 위해 소정의 임계값들까지 누적하는 픽셀 강도 값들을 예상한다. 소정의 임계값들은 기준 이미지에서의 픽셀들에 기초하여 정의될 수 있다(예를 들어, 각 픽셀에 대해, 그 픽셀에 대한 강도 값 위 또는 아래의 퍼센티지). 일부 실시예들에서, 픽셀들 각각에 대한 소정의 임계값은 출력 이미지가 디스플레이되도록 의도되는 컴퓨팅 디바이스(102)의 디스플레이 능력들에 기초하여 정의된다.
컴퓨팅 디바이스(102)는 삼각대 또는 다른 물리적 안정화 디바이스상에 탑재될 수 있다. 이러한 실시예들에서, 본 개시의 양태들은 글로벌 이동이 제거되었거나 임계값 아래로 감소되었기 때문에 장면내 피사체 모션만을 보상한다. 다른 실시예들에서, 컴퓨팅 디바이스(102)는 장면내 이동이 제거될 때(예를 들어, 랜드마크, 기념비적인 건축물(monument), 또는 다른 고정 오브젝트의 이미지들을 캡처할 때) 글로벌 이동만을 보상한다.
도면들에서의 다양한 엘리먼트들의 기능의 적어도 일부는 도면들에서의 다른 엘리먼트들, 또는 도면들에 도시되지 않은 엔터티(예를 들어, 프로세서, 웹 서비스, 서버, 애플리케이션 프로그램, 컴퓨팅 디바이스 등)에 의해 수행될 수 있다.
일부 실시예들에서, 도면들에 예시된 동작들은 컴퓨터 판독가능 매체상에 인코딩된 소프트웨어 명령어들로서, 동작들을 수행하도록 프로그래밍되거나 설계된 하드웨어로, 또는 양자로 구현될 수 있다. 예를 들어, 본 개시의 양태들은 복수의 상호연결된 전기적 도전성 엘리먼트들을 포함하는 칩 또는 다른 회로상의 시스템으로서 구현될 수 있다.
여기에 사용되는 바와 같은 용어 "셀룰러"는 일부 실시예들에서, 함께 조인될 때, 넓은 지리적 영역에 걸쳐 데이터의 송신을 가능하게 하는 단거리 무선국들을 사용하는 무선 통신 시스템을 지칭한다. 여기에 사용되는 바와 같은 용어 "NFC"는 일부 실시예들에서, 짧은 거리들에 걸쳐 데이터의 교환을 위한 단거리 고주파수 무선 통신 기술을 지칭한다.
예시적인 동작 환경
예시적인 컴퓨터 판독가능 매체들은 플래시 메모리 드라이브들, 디지털 다기능 디스크들(digital versatile discs; DVDs), 컴팩트 디스크들(compact discs; CDs), 플로피 디스크들, 및 테이프 카세트들을 포함한다. 제한하지 않는 예로서, 컴퓨터 판독가능 매체들은 컴퓨터 저장 매체들 및 통신 매체들을 포함한다. 컴퓨터 저장 매체들은 컴퓨터 판독가능 명령어들, 데이터 구조들, 프로그램 모듈들 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 착탈식 및 비착탈식 매체들을 포함한다. 컴퓨터 저장 매체들은 유형이고 통신 매체들에 대해 상호 독점적이다. 일부 실시예들에서, 컴퓨터 저장 매체들은 하드웨어로 구현된다. 예시적인 컴퓨터 저장 매체들은 하드 디스크들, 플래시 드라이브들, 및 다른 고체 상태 메모리를 포함한다. 반대로, 통신 매체들은 반송파 또는 다른 전송 메커니즘과 같은 변조 데이터 신호에서 컴퓨터 판독가능 명령어들, 데이터 구조들, 프로그램 모듈들 또는 다른 데이터를 통상적으로 구현하고 임의의 정보 전달 매체들을 포함한다.
예시적인 컴퓨팅 시스템 환경과 관련하여 설명하였지만, 본 개시의 실시예들은 다수의 다른 범용 또는 특수용 컴퓨팅 시스템 환경들, 구성들, 또는 디바이스들과 구현될 수 있다.
본 발명의 양태들과 사용하기에 적합할 수 있는 널리 공지된 컴퓨팅 시스템들, 환경들, 및/또는 구성들의 예들은 모바일 컴퓨팅 디바이스들, 개인 컴퓨터들, 서버 컴퓨터들, 핸드헬드 또는 랩탑 디바이스들, 멀티프로세서 시스템들, 게임 콘솔들, 마이크로프로세서 기반 시스템들, 셋탑 박스들, 프로그램가능 소비자 전자제품들, 모바일 전화기들, 네트워크 PC들, 미니컴퓨터들, 메인프레임 컴퓨터들, 상기 시스템들 또는 디바이스들 중 임의의 것을 포함하는 분산 컴퓨팅 환경들 등을 포함하지만, 이에 제한되지 않는다. 이러한 시스템들 또는 디바이스들은 키보드 또는 포인팅 디바이스와 같은 입력 디바이스들로부터, 제스처 입력을 통해, 및/또는 음성 입력을 통하는 것을 포함하는 임의의 방식으로 사용자로부터의 입력을 수용할 수 있다.
본 발명의 실시예들은 하나 이상의 컴퓨터들 또는 다른 디바이스들에 의해 실행되는 프로그램 모듈들과 같은 컴퓨터 실행가능 명령어들의 일반적인 문맥에서 설명될 수 있다. 컴퓨터 실행가능 명령어들은 하나 이상의 컴퓨터 실행가능 컴포넌트들 또는 모듈들로 구성될 수 있다. 일반적으로, 프로그램 모듈들은 특정한 작업들을 수행하거나 특정한 추상 데이터 타입들을 구현하는 루틴들, 프로그램들, 오브젝트들, 컴포넌트들, 및 데이터 구조들을 포함하지만, 이에 제한되지 않는다. 본 발명의 양태들은 임의의 수 및 구성의 이러한 컴포넌트들 또는 모듈들로 구현될 수 있다. 예를 들어, 본 발명의 양태들은 도면들에 예시되고 여기에 설명한 특정한 컴퓨터 실행가능 명령어들 또는 특정한 컴포넌트들 또는 모듈들에 제한되지 않는다. 본 발명의 다른 실시예들은 여기에 예시되고 설명된 것 보다 많거나 적은 기능을 갖는 상이한 컴퓨터 실행가능 명령어들 또는 컴포넌트들을 포함할 수 있다.
본 발명의 양태들은 여기에 설명한 명령어들을 실행하도록 구성될 때 범용 컴퓨터를 특수용 컴퓨팅 디바이스로 변환한다.
여기에 구체적으로 설명하지 않지만 본 발명의 양태들의 범위내에 있는 실시예들 뿐만 아니라 여기에 예시하고 설명한 실시예들은 복수의 이미지들(214)을 캡처할 때 모션 및 포화를 보상하는 예시적인 수단을 구성한다.
여기에 예시하고 설명하는 본 발명의 실시예들에서의 동작들의 실행 또는 수행의 순서는 다르게 특정하지 않으면 필수적이지는 않다. 즉, 동작들은 다르게 특정되지 않으면 임의의 순서로 수행될 수 있고, 본 발명의 실시예들은 여기에 개시된 것들 보다 추가의 또는 적은 동작들을 포함할 수 있다. 예를 들어, 다른 동작들 이전에, 다른 동작들과 동시에, 또는 다른 동작들 이후에 특정한 동작을 실행하거나 수행하는 것이 본 발명의 양태들의 범위내에 있다는 것이 예상된다.
본 발명의 양태들 또는 본 발명의 실시예들의 엘리먼트들을 소개할 때, 관사들("a", "an", "the", 및 "said")은 엘리먼트들 중 하나 이상이 존재한다는 것을 의미한다. 용어들 "포함하는", "구비하는", 및 "갖는"은 포괄적인 것으로 의도되고, 리스트된 엘리먼트들 이외의 추가의 엘리먼트들이 존재할 수 있다는 것을 의미한다. 용어 "예시적인"은 "~의 예"를 의미하도록 의도된다. 어구 "하기의 A, B, 및 C 중 하나 이상"은 "A의 적어도 하나 및/또는 B의 적어도 하나 및/또는 C의 적어도 하나"를 의미한다.
본 발명의 양태들을 상세히 설명하였지만, 첨부한 청구항들에 정의된 바와 같이 본 발명의 양태들의 범위로부터 벗어나지 않고 변형들 및 변경들이 가능하다는 것이 예상된다. 다양한 변화들이 본 발명의 양태들의 범위로부터 벗어나지 않고 상기의 구성들, 제품들, 및 방법들에서 이루어질 수 있기 때문에, 상기 설명에 포함되고 첨부한 도면들에 도시된 모든 내용은 제한하는 관점이 아니라 예시적인 것으로서 해석되어야 한다.

Claims (10)

  1. 모바일 컴퓨팅 디바이스에 의한 이미지 캡처 동안 모션 및 포화를 보상하는 시스템에 있어서,
    이미지 센서;
    자이로스코프;
    상기 이미지 센서에 의해 캡처된 복수의 이미지들을 저장하고, 상기 자이로스코프로부터의 판독물들(readings) - 상기 판독물들은 상기 복수의 이미지들 각각에 대응함 - 을 또한 저장하는 메모리 영역; 및
    프로세서를 포함하고,
    상기 프로세서는,
    상기 판독물들에 기초하여 상기 복수의 이미지들 중에서 글로벌 이동을 계산하고;
    상기 계산된 글로벌 이동에 기초하여 상기 복수의 이미지들 각각을 재정렬하고;
    상기 재정렬된 이미지들에서 픽셀들과 연관된 강도 값들을 상기 픽셀들에 대한 예상 강도 값들 - 상기 예상 강도 값은 상기 복수의 이미지들에서 기준 이미지로부터 유도됨 - 에 비교하고;
    상기 비교에 기초하여 상기 재정렬된 이미지들에서 상기 픽셀들과 연관된 상기 강도 값들을 선택적으로 누적(accumulate)하며;
    상기 선택적으로 누적된 강도 값들을 사용하여 출력 이미지를 생성하도록 프로그래밍되는 것인, 모션 및 포화 보상 시스템.
  2. 제 1 항에 있어서,
    가속도계를 더 포함하고,
    상기 프로세서는 또한, 상기 가속도계로부터, 상기 복수의 이미지들 각각과의 연관을 위해 선형 측정치들을 획득하도록 프로그래밍되고, 상기 계산된 글로벌 이동에 기초한 상기 복수의 이미지들 각각의 상기 재정렬은 상기 복수의 이미지들 각각과 연관된 상기 선형 측정치들에 기초한 상기 복수의 이미지들 각각의 재정렬을 포함하는 것인, 모션 및 포화 보상 시스템.
  3. 제 1 항에 있어서,
    상기 메모리 영역은 2개의 프레임 버퍼들만을 더 저장하고, 상기 프레임 버퍼들 중 제 1 프레임 버퍼는 상기 복수의 이미지들이 순차적으로 캡처되는 대로 상기 복수의 이미지들의 각각의 이미지를 저장하며, 상기 프레임 버퍼들 중 제 2 프레임 버퍼는 중간 이미지를 저장하는 것인, 모션 및 포화 보상 시스템.
  4. 제 1 항에 있어서,
    상기 프로세서는 또한, 상기 이미지 센서로부터 상기 복수의 이미지들을 순차적으로 캡처하고 그와 동시에 상기 자이로스코프로부터 상기 판독물들을 획득하도록 프로그래밍되고, 각 이미지 캡처 이후에 각 픽셀을 추가로 리셋하는 것인, 모션 및 포화 보상 시스템.
  5. 제 1 항에 있어서,
    상기 복수의 이미지들을 캡처할 때 모션 및 포화를 보상하는 수단을 더 포함하는, 모션 및 포화 보상 시스템.
  6. 방법에 있어서,
    컴퓨팅 디바이스에 의해 캡처된 이미지들에 액세스하는 단계;
    상기 컴퓨팅 디바이스와 연관된 자이로스코프로부터의 판독물들 - 상기 판독물들 각각은 상기 액세스된 이미지들 중 적어도 하나에 대응함 - 에 액세스하는 단계;
    상기 액세스된 판독물들에 기초하여 상기 액세스된 이미지들 각각 사이에서 글로벌 이동을 계산하는 단계;
    상기 계산된 글로벌 이동에 기초하여 상기 액세스된 이미지들 각각을 재정렬하는 단계; 및
    상기 재정렬된 액세스된 이미지들을 단일의 출력 이미지로 조합하는 단계를 포함하는, 방법.
  7. 제 6 항에 있어서,
    상기 이미지들에 액세스하는 단계는 복수의 이미지들에 순차적으로 액세스하는 단계를 포함하고, 상기 복수의 이미지들 중 하나는 기준 이미지를 나타내고, 상기 글로벌 이동을 계산하는 단계는 상기 복수의 이미지들 각각과 상기 기준 이미지 사이의 픽셀 오프셋을 계산하는 단계를 포함하고, 상기 계산된 픽셀 오프셋은 상기 컴퓨팅 디바이스의 회전을 설명하는(with accounting for) 2차원 픽셀 시프트를 포함하고, 상기 액세스된 이미지들 각각을 재정렬하는 단계는 상기 복수의 이미지들 각각에서, 그 이미지에 대한 상기 계산된 픽셀 오프셋에 기초하여, 픽셀 위치들을 조정하는 단계를 포함하고, 상기 픽셀 위치들을 조정하는 단계는 상기 복수의 이미지들에서 픽셀들과 연관된 강도 값들의 메모리 어드레스들을 조정하는 단계를 포함하는, 방법.
  8. 제 6 항에 있어서,
    상기 재정렬된 액세스된 이미지들을 조합하는 단계는 상기 단일의 출력 이미지와 연관된 강도 값들을 생성하기 위해 상기 재정렬된 액세스된 이미지들 각각으로부터 대응하는 픽셀들로부터의 강도 값들을 조합하는 단계를 포함하는, 방법.
  9. 제 6 항에 있어서,
    상기 액세스된 이미지들은 복수의 픽셀들을 각각 포함하고, 상기 방법은 상기 액세스된 이미지들 각각에서의 상기 복수의 픽셀들로부터 유도된 소정의 수의 픽셀들에 각각 대응하는 복수의 수퍼픽셀(superpixel)들을 정의하는 단계를 더 포함하고, 상기 계산하는 단계, 상기 재정렬하는 단계, 및 상기 조합하는 단계는 상기 정의된 수퍼픽셀들에 대해 동작하는, 방법.
  10. 제 6 항에 있어서,
    상기 계산하는 단계 및 상기 재정렬하는 단계는 상기 컴퓨팅 디바이스내의 기계적 부분들을 동작시키지 않고 발생하는, 방법.
KR1020157032232A 2013-04-10 2014-04-08 저광 고동적 범위 이미지의 모션 블러없는 캡처 KR20150140812A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/860,112 US9692975B2 (en) 2013-04-10 2013-04-10 Motion blur-free capture of low light high dynamic range images
US13/860,112 2013-04-10
PCT/US2014/033239 WO2014168896A1 (en) 2013-04-10 2014-04-08 Motion blur-free capture of low light high dynamic range images

Publications (1)

Publication Number Publication Date
KR20150140812A true KR20150140812A (ko) 2015-12-16

Family

ID=50733384

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157032232A KR20150140812A (ko) 2013-04-10 2014-04-08 저광 고동적 범위 이미지의 모션 블러없는 캡처

Country Status (5)

Country Link
US (1) US9692975B2 (ko)
EP (1) EP2984816A1 (ko)
KR (1) KR20150140812A (ko)
CN (1) CN105284101B (ko)
WO (1) WO2014168896A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022149826A1 (ko) * 2021-01-11 2022-07-14 삼성전자 주식회사 영상 처리 방법 및 이를 지원하는 전자 장치

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110730296B (zh) * 2013-04-30 2022-02-11 索尼公司 图像处理装置、图像处理方法及计算机可读介质
JP5974250B2 (ja) * 2014-02-07 2016-08-23 株式会社モルフォ 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
US9860447B1 (en) 2014-09-29 2018-01-02 Apple Inc. Calibration of optical image stabilization module with motion sensor using image comparisons
WO2016069499A1 (en) * 2014-10-26 2016-05-06 Galileo Group, Inc. Methods and systems for surface informatics based detection with machine-to-machine networks and smartphones
US9392174B2 (en) * 2014-12-11 2016-07-12 Facebook, Inc. Systems and methods for time-lapse selection subsequent to capturing media content
US10708571B2 (en) * 2015-06-29 2020-07-07 Microsoft Technology Licensing, Llc Video frame processing
US10129477B2 (en) 2015-08-19 2018-11-13 Google Llc Smart image sensor having integrated memory and processor
EP3391642B1 (en) 2015-12-16 2020-02-05 GoPro, Inc. Dynamic synchronization of frame rate to a detected cadence in a time lapse image sequence
US9779777B2 (en) * 2015-12-16 2017-10-03 Gopro, Inc. Synchronization of frame rate to a detected cadence in a time lapse image sequence using sampling
US9787900B2 (en) 2015-12-16 2017-10-10 Gopro, Inc. Dynamic synchronization of frame rate to a detected cadence in a time lapse image sequence
US10638047B2 (en) 2015-12-16 2020-04-28 Gopro, Inc. Dynamic synchronization of frame rate to a detected cadence in a time lapse image sequence
US11202011B2 (en) * 2016-07-25 2021-12-14 Canon Kabushiki Kaisha Control apparatus, image capturing apparatus, lens apparatus, image capturing system, control method, and storage medium
CN107483839B (zh) 2016-07-29 2020-08-07 Oppo广东移动通信有限公司 多帧图像合成方法和装置
US10728453B2 (en) 2016-08-03 2020-07-28 Samsung Electronics Co., Ltd. Motion stabilized image sensor, camera module and apparatus comprising same
US9883119B1 (en) * 2016-09-22 2018-01-30 Qualcomm Incorporated Method and system for hardware-based motion sensitive HDR image processing
US10554909B2 (en) 2017-01-10 2020-02-04 Galileo Group, Inc. Systems and methods for spectral imaging with a transmitter using a plurality of light sources
US10893182B2 (en) 2017-01-10 2021-01-12 Galileo Group, Inc. Systems and methods for spectral imaging with compensation functions
CN109040521B (zh) 2017-06-08 2020-11-13 株式会社理光 图像处理方法、装置、电子设备及计算机可读存储介质
US10791272B1 (en) * 2018-06-26 2020-09-29 Intuit Inc. Image correction by expected location of symbols for document scanning and data extraction
CN111225208B (zh) * 2018-11-27 2022-09-02 北京小米移动软件有限公司 视频编码方法及装置
CN109510941B (zh) * 2018-12-11 2021-08-03 努比亚技术有限公司 一种拍摄处理方法、设备及计算机可读存储介质
CN112738410A (zh) * 2020-12-24 2021-04-30 重庆金山医疗器械有限公司 一种成像方法及装置、内窥镜设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7061524B2 (en) 2001-11-13 2006-06-13 The Board Of Trustees Of The Leland Stanford Junior University Motion/saturation detection system and method for synthesizing high dynamic range motion blur free images from multiple captures
US7209601B2 (en) 2003-07-22 2007-04-24 Omnivision Technologies, Inc. CMOS image sensor using high frame rate with frame addition and movement compensation
EP1553758A1 (de) * 2003-12-03 2005-07-13 Stueckler Gerd Optische Vorrichtung zur Ausgleich des Bildverwakelns mit Anzeige der durchgeführten Korrektur
US8559751B2 (en) 2005-07-12 2013-10-15 Nxp B.V. Method and device for removing motion blur effects
JP2007156352A (ja) 2005-12-08 2007-06-21 Sony Corp レンズ装置及び撮像装置
US7423642B2 (en) * 2005-12-14 2008-09-09 Winbond Electronics Corporation Efficient video frame capturing
US7623683B2 (en) * 2006-04-13 2009-11-24 Hewlett-Packard Development Company, L.P. Combining multiple exposure images to increase dynamic range
EP2048878B1 (en) 2007-08-03 2011-10-26 Panasonic Corporation Imaging device, imaging method, and program
JP5112104B2 (ja) * 2008-02-15 2013-01-09 オリンパス株式会社 画像処理装置及び画像処理プログラム
US8436731B2 (en) * 2008-08-08 2013-05-07 Barrie William Davis Portable security container with rotation detection system
JP2010200179A (ja) 2009-02-26 2010-09-09 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが格納されたプログラム記憶媒体
US8045024B2 (en) 2009-04-15 2011-10-25 Omnivision Technologies, Inc. Producing full-color image with reduced motion blur
US8823808B2 (en) * 2009-10-27 2014-09-02 Intellectual Ventures Fund 83 Llc Method for improved digital video image quality
KR101594300B1 (ko) * 2009-11-20 2016-02-16 삼성전자주식회사 Ｐ ｓ ｆ를 추정하기 위한 장치 및 방법
US20120065926A1 (en) * 2010-09-14 2012-03-15 Samsung Electronics Co., Ltd Integrated motion sensing apparatus
US8488010B2 (en) 2010-09-21 2013-07-16 Hewlett-Packard Development Company, L.P. Generating a stabilized video sequence based on motion sensor data
JP5496036B2 (ja) 2010-09-21 2014-05-21 オリンパス株式会社 画像処理装置および画像処理プログラム
JP5652649B2 (ja) 2010-10-07 2015-01-14 株式会社リコー 画像処理装置、画像処理方法および画像処理プログラム
US8855476B2 (en) * 2011-09-28 2014-10-07 DigitalOptics Corporation MEMS MEMS-based optical image stabilization
US9516223B2 (en) * 2012-06-06 2016-12-06 Apple Inc. Motion-based image stitching

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022149826A1 (ko) * 2021-01-11 2022-07-14 삼성전자 주식회사 영상 처리 방법 및 이를 지원하는 전자 장치

Also Published As

Publication number Publication date
CN105284101A (zh) 2016-01-27
WO2014168896A1 (en) 2014-10-16
EP2984816A1 (en) 2016-02-17
US9692975B2 (en) 2017-06-27
CN105284101B (zh) 2018-11-16
US20140307110A1 (en) 2014-10-16

Similar Documents

Publication Publication Date Title
US9692975B2 (en) Motion blur-free capture of low light high dynamic range images
US9979889B2 (en) Combined optical and electronic image stabilization
US8068140B2 (en) Still image stabilization suitable for compact camera environments
KR102003012B1 (ko) 제약-기반 회전 스무싱을 통한 디지털 비디오 안정화 시스템 및 방법
KR101624450B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 기록 매체
US20130107066A1 (en) Sensor aided video stabilization
Hanning et al. Stabilizing cell phone video using inertial measurement sensors
JP4500875B2 (ja) モーションブラー効果を除去する方法および装置
KR101856947B1 (ko) 촬영장치, 움직임 추정장치, 영상 보정 방법, 움직임 추정방법 및 컴퓨터 판독가능 기록매체
US9025859B2 (en) Inertial sensor aided instant autofocus
KR20080083525A (ko) 수평 방향의 기울어짐 왜곡과 수직 방향의 스케일링 왜곡을보정할 수 있는 디지털 영상 안정화 방법
CN113132612B (zh) 一种图像稳像处理方法、终端拍摄方法、介质及系统
JP2016046666A (ja) 撮像装置およびその制御方法、並びにプログラム
US20080166114A1 (en) Image deblurring system
US20130107064A1 (en) Sensor aided image stabilization
CN110351508B (zh) 基于录像模式的防抖处理方法和装置、电子设备
CN113438409B (zh) 延迟校准方法、装置、计算机设备和存储介质
CN107534722B (zh) 一种终端设备和拍照的方法
KR20150065717A (ko) 비디오 안정화를 지능적으로 불능시킴으로써 모션 아티팩트들을 방지하는 방법
KR101783990B1 (ko) 디지털 영상 처리 장치 및 영상의 대표 움직임 예측 방법
US20220174217A1 (en) Image processing method and device, electronic device, and computer-readable storage medium
Yabuki et al. Real-time video stabilization on an FPGA
JP2013157755A (ja) ノイズ低減装置およびその制御方法
JP2021044653A (ja) 動きベクトル検出装置及び動きベクトル検出方法
JP2014030093A (ja) 被写体検出装置、被写体検出方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application