KR20190139788A

KR20190139788A - 전자 장치에서 복수의 카메라들을 이용하여 미디어를 캡쳐하기 위한 방법 및 장치

Info

Publication number: KR20190139788A
Application number: KR1020190067586A
Authority: KR
Inventors: 수만 디가다리; 데이 아비짓; 바타차지 아푸르다; 칸델발 고라브; 나타라주 키란
Original assignee: 삼성전자주식회사
Priority date: 2018-06-08
Filing date: 2019-06-07
Publication date: 2019-12-18
Also published as: EP3777124A1; EP3777124B1; CN112219389B; EP3777124A4; CN112219389A

Abstract

전자 장치에서 복수의 카메라들을 사용하여 미디어를 캡쳐하는 방법 및 장치는 본 명세서의 실시 예들에서 개시된다 본 개시의 실시 예들은 둘 이상의 이미지 센서들을 갖는 듀얼 카메라 시스템의 분야에 관한 것으로서, 특히, 주변 광 상태(ambient light condition)에 기반하여 전자 장치와 연관된 복수의 카메라들을 사용하여 미디어(media)를 캡쳐하는 방법 및 장치에 관한 것이다. 장치는 결정된 주변 광 상태가 미리 정의된(pre-defined) 임계값보다 높거나 낮은 경우 카메라 작동을 제1 카메라에서 제2 카메라 또는 제2 카메라에서 제1 카메라로 전환하도록 구성된다. 장치는 상기 이미지 내의 얼굴 및 장면 중 적어도 하나를 식별하고, 밝은 이미지(들)를 제공하기 위해 상기 카메라 동작을 스위칭하기 위해 상기 얼굴 및 장면 중 상기 식별된 적어도 하나의 주변 광 상태를 결정하도록 구성된다.

Description

전자 장치에서 복수의 카메라들을 이용하여 미디어를 캡쳐하기 위한 방법 및 장치{Methods and apparatus for capturing media using plurality of cameras in electronic device}

본 개시는 2개 이상의 이미지 센서들을 갖는 다수 카메라 시스템(multiple camera system) 분야에 관련된 것이고, 상세하게는 주변 광 상태(ambient light condition)에 기반하여 전자 장치와 관련된 복수의 카메라들을 이용하는 미디어를 캡쳐하기 위한 방법들 및 장치들에 관련된 것이다.

현재, 다수 카메라 시스템(multiple camera system)은 하나의 전자 장치에 장착된 다수 이미지 센서들(multiple image sensors)을 가질 수 있다. 전자 장치는 장면(scene)으로부터 빛을 캡쳐(capture)하고 장면의 미디어(media)를 나타내는 디지털 정보를 생산하기 위해 다수 이미지 센서들(multiple image sensors)을 사용할 수 있다.

도 1a는 저조도 이미지(low light image)를 캡쳐(capture)하는 기존의(conventional) 듀얼 카메라 전자 장치의 예를 도시한다. 전자 장치의 듀얼 카메라(dual camera) 조합은 저조도 사진 촬영(low light photography) 중에 낮은 성능을 가질 수 있다. 또한, 두개의 이미지 센서들이 켜져야 하기 때문에, 전자 장치의 전력 소비는 더 클 수 있다. 또한, 장면의 프리뷰(preview) 동안, 각 이미지의 프레임을 결합하는 것은 샷-투-샷 시간(shot-to-shot time) 성능(performance)에 영향을 줄 수 있고, 이미지들이 결합되지 않을 수 있으므로 기존의 듀얼 카메라로 저조도 환경에서 프리뷰 이미지(preview image)의 품질은 개선되지 못할 수 있다.

도 1b는 최적의(optimal) 저조도(low light) 이미지를 위한 기존의 해결책(solution)의 예를 도시한다. 따라서, 이미지 센서로부터의 더 많은 노이즈를 갖는 장면의 어두운 프레임은 LLS(Low Light Solution) 블록에 공급될 수 있으며, 이 블록은 5개의 프레임들을 처리하기 위해 약 500ms(milliseconds)가 걸린다. LLS 블록은 저조도 사진 촬영(low light photography)에 사용될 수 있는 라이브러리(library)일 수 있다. LLS블록은 입력으로서 다수의 프레임들을 획득하고 후 처리(post processing)를 수행할 수 있다. LLS블록은 더 나은 품질의 출력 프레임을 생성하기 위해 프레임 융합(frame fusion)을 추가로 적용할 수 있다.

그러나, 기존의 방법들에서, 이미지 센서는 추가적인 하드웨어 모듈로부터 신호를 수신하는 것에 기반하여 스위칭될 수 있다.

본 개시의 실시 예들의 주요 목적(principal object)은 주변 광 상태(ambient light condition)에 기반하여 전자 장치와 연관된 복수의 카메라들을 사용하여 미디어를 캡쳐하는 방법 및 장치를 개시하는 것이다.

본 개시의 실시 예들의 또 다른 목적은, 제1 카메라 및 제2 카메라 중 적어도 하나에 의해 이미지 안에서 적어도 하나의 얼굴 영역(face region)과 장면 영역(scene region)을 식별하고, 적어도 제1 이미지 센서와 제2 이미지 센서 중에서 하나로부터 수신된 복수의 럭스 값들에 기반하여 식별된 얼굴 영역(face region)과 장면(scene)의 럭스 값을 결정하는, 방법 및 장치를 개시하는 것이다.

따라서, 본 실시 예는 주변 광 상태(ambient light condition)에 기반하여 전자 장치와 연관된 복수의 카메라들을 사용하여 미디어를 캡쳐하는 장치를 제공한다. 상기 장치는 전자 장치의 이미지 캡쳐 애플리케이션(image capture application)을 인에이블(enabling)하는 것에 대응하여 제1 카메라로부터 적어도 하나의 프리뷰 프레임(preview frame)을 획득하도록 구성된다. 장치는 획득된 적어도 하나의 프리뷰 프레임(preview frame)의 주변 광 파라미터를 결정하도록 구성된다. 장치는 결정된 주변 광 파라미터가 미리 정의된(pre-defined) 임계값 아래에 있으면, 미디어를 캡쳐하기 위해 상기 제1 카메라로부터 제2 카메라로 전자 장치의 카메라 동작(camera operation)을 스위칭하도록 구성된다.

따라서, 본 실시 예는 주변 광 상태에 기초하여 전자 장치와 연관된 복수의 카메라들을 사용하여 매체를 캡쳐하는 방법을 제공한다. 이 방법은 전자 장치의 이미지 캡쳐 애플리케이션(image capture application)을 인에이블(enabling)하는 것에 대응하여 제1 카메라로부터 적어도 하나의 프리뷰 프레임(preview frame)을 획득하는 것을 포함한다. 이 방법은 획득된 적어도 하나의 프리뷰 프레임(preview frame)의 주변 광 파라미터를 결정하는 것을 포함한다. 이 방법은, 상기 결정된 주변 광 파라미터가 사전 정의된 임계값 아래에 있으면, 미디어를 캡쳐하기 위해 전자 장치의 카메라 동작을 제1 카메라로부터 제2 카메라로 변환하는 것을 포함한다.

본 개시의 예시적인 실시 예들 및 다른 양태들(aspects)은 다음의 설명 및 첨부된 도면들과 관련하여 고려될 때 더 잘 인식되고 이해될 수 있다. 그러나, 다음의 설명은 예시적인 실시 예들 및 그것의 다수의 특정 세부사항을 나타내지만, 예시의 방법으로 주어지며 제한적이지는 않다는 것을 이해해야 한다. 본 개시의 예시적인 실시 예들의 범위 내에서 본 발명의 사상을 벗어나지 않는 범위 내에서 많은 변경 및 수정이 이루어질 수 있다.

본 개시의 다양한 실시 예들에 따른 장치 및 방법은, 빛의 양에 따라 적응적으로 카메라를 스위칭함으로써, 어두운 환경에서도 최적의 이지미 품질을 제공할 수 있게 한다.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 개시의 실시 예들은 첨부된 도면에 도시되어 있으며, 도면 전체에 걸쳐서 동일한 참조 부호는 다양한 도면에서 대응하는 부분을 나타낸다. 본 명세서의 실시 예는 도면을 참조한 다음의 설명으로부터 더 잘 이해될 것이다.
도 1a는 저조도 이미지(low light image)를 캡쳐하는 기존의(conventional) 듀얼 카메라 전자 장치의 예를 도시한다.
도 1b는 최적의 저조도 이미지를 위한 기존의 해결책(solution)의 예를 도시한다.
도 2는 본 개시의 실시 예들에 따른, 주변 광 상태(ambient light condition)에 기반하여 전자 장치와 연관된 복수의 카메라들을 사용하여 미디어를 캡쳐하기 위한 장치의 블록도를 도시한다.
도 3은, 다양한 모듈들을 포함하는, 도 2에 도시된 프로세싱 모듈(processing module)의 상세도(detailed view)를 도시한다.
도 4는, 본 개시의 실시 예들에 따른, 전자 장치가 일반 광 장면(normal light scene)에서 어두운 광 장면(dark light scene)로 이동하는 예시적인 시나리오를 도시한다.
도 5는 본 개시의 실시 예들에 따른, 제1 이미지 센서 출력과 제2 이미지 센서 출력 간의 차별화(differentiation)의 개략도를 도시한다.
도 6a는 본 개시의 실시 예들에 따른, 이미지 센서의 자동 스위칭(auto-switching)이 주변 광 상태(ambient light condition)에 기반하여 수행되는 예시적인 시나리오를 도시한다.
도 6b는 본 개시의 실시 예들에 따른, 주변 광 상태에 기초한 이미지 센서의 자동 스위칭을 위한 상태도를 도시한다.
도 7은 본 개시의 실시 예들에 따른, 주변 광 상태에 기초한 이미지 센서의 자동 스위칭을 위한 파이프-라인(pipeline) 다이어그램을 도시한다.
도 8a 및 도 8b는 본 개시의 실시 예들에 따른, 주변 광 상태에 기초한 이미지 센서의 자동 스위칭을 위한 타이밍 도를 도시한다.
도 9a는 본 개시의 실시 예들에 따른, 다양한 광 상태들에서 비디오 레코딩이 수행되는 예시적인 시나리오를 도시한다.
도 9b는 본 개시의 실시 예들에 따른, 이미지 내의 얼굴 영역 상의 광 상태에 기반하여 이미지 센서의 스위칭이 실행되는 예시적인 시나리오를 도시한다.
도 9c는 본 개시의 실시 예들에 따른, 장면의 광 상태가 저조도 동안 검출되는 예시적인 시나리오를 도시한다.
도 9d는 본 개시의 실시 예들에 따른, 최적화된 저조도 솔루션(low light solution, LLS)을 제공하기 위한 예시적인 시나리오를 도시한다.
도 10a는 본 개시의 실시 예들에 따른, 주변 광 상태에 기초하여 전자 장치와 연관된 복수의 카메라들을 사용하여 미디어를 캡쳐하기 위한 방법을 나타낸 흐름도이다.
도 10b는 본 개시의 실시 예들에 따른, 카메라 동작을 제2 카메라에서 제1 카메라로 스위칭하기 위한 방법을 나타내는 흐름도이다.
도 10c는 본 개시의 실시 예들에 따른, 카메라 동작을 스위칭하는 동안 지시(indication)를 제공하기 위한 방법을 나타내는 흐름도이다
도 10d는 본 개시의 실시 예들에 따른, 카메라 동작을 스위칭하는 것에 응답하여 제2 카메라로부터 프리뷰 프레임을 얻기 위한 방법을 나타내는 흐름도이다.
도 10e는 본 개시의 실시 예들에 따른, 결정된 주변 광 상태에 기초하여 카메라 동작을 스위칭하기 위한 방법을 나타내는 흐름도이다.
도 10f는 본 개시의 실시 예들에 따른, 사용되지 않을 때 제1 이미지 센서 및 제2 이미지 센서 중 적어도 하나가 저전력 모드로 진입하도록 야기하기 위한 방법을 나타내는 흐름도이다.
도 10g는 본 개시의 실시 예들에 따른, 이미지의 얼굴 및 장면 중 적어도 하나를 식별하기 위한 방법을 나타내는 흐름도이다.

본 개시의 예시적인 실시 예들 및 그 다양한 특징들 및 유리한 세부 사항들은 첨부 도면들에 도시되고 이하의 상세한 설명에서 설명되는 비 제한적인 실시 예들을 참조하여 더욱 완전하게 설명된다. 공지된 구성 요소 및 처리 기술에 대한 설명은 본 명세서의 실시 예를 불필요하게 불명료하게 하지 않기 위해 생략된다. 본 개시의 설명(description)은 단지 본 개시의 예시적인 실시 예들이 실시될 수 있는 방식들(ways)의 이해를 용이하게 하고, 당업자가 본 개시의 예시적인 실시 예들을 실시할 수 있게 하기 위한 것이다. 따라서, 본 개시는 본 개시의 예시적인 실시 예들의 범위를 제한하는 것으로 해석되어서는 안 된다.

이하, 본 개시의 다양한 실시 예들을 설명하기 위해 필요한 용어들을 정의한다.

광 상태(light condition)는 검출되는 빛의 양(예: 조도(lux))에 따른 상태를 의미한다. 예를 들어, 광 상태는, 밝은 광 상태, 일반 광 상태, 또는 어두운 광 상태 중 하나일 수 있다. 주변 광 상태(ambient light condition)는, 카메라에 의해 전자 장치 주변에서 검출되는 럭스 값에 기초한 광 상태를 의미할 수 있다.

일반 광 장면(normal light scene)은 일반 광 상태에서 카메라에 획득되는 장면을 의미하고, 어두운 광 장면(dark light scene)은 어두운 광 상태에서 카메라에 의해 획득되는 장면을 의미한다. 어두운 광 장면은, 저조도 이미지(low light image), 저광 장면(low light scene)으로 지칭될 수 있다.

픽셀 비닝(pixel binning)은, 픽셀들을 결합함으로써 저조도 환경에 높은 감도를 얻기 위한 기법(technique)이다. 픽셀 비닝을 통해 잡음 성분이 감소할 수 있다.

카메라 동작 전환(camera operation switching)은 이미지 획득(촬영)을 위한 적어도 2개의 카메라들 간 전환을 의미한다. 여기서, 적어도 2개의 카메라들은 제1 카메라와 제2 카메라를 포함할 수 있다. 제1 카메라는 제1 이미지 센서를 포함하고, 제2 카메라는 제2 이미지 센서를 포함할 수 있다. 일 실시 예에 따라, 이미지 획득 시, 제1 이미지 센서는 픽셀들에 대한 데이터를 출력하도록 구성되고, 2 이미지 센서는 픽셀-비닝(pixel binning)을 통해 픽셀들을 결합함으로써, 비닝 데이터(binning data)를 출력하도록 구성될 수 있다. 즉, 제1 이미지 센서는 픽셀 비닝을 수행하지 않고, 제2 이미지 센서는 픽셀 비닝을 수행할 수 있다. 일 실시 예에 따라, 제1 이미지 센서는 낮은 감도를 제공하고, 제2 이미지 센서는 높은 감도를 제공할 수 있다. 이하, 제1 이미지 센서로서 베이어 센서, 제2 이미지 센서로서 쿼드라 센서가 예로 서술되나, 상술한 바와 같이 저조도 환경에서 감도가 구별될 수 있는 이미지 센서들이 각각 제1 이미지 센서 및 제2 이미지 센서로 이용될 수 있다.

본 개시의 실시 예들은 주변 광 상태(ambient light condition)에 기반하여 전자 장치와 연관된 복수의 카메라들을 사용하여 미디어를 캡쳐하기 위한 방법 및 장치를 달성한다. 도면, 특히 도 2 내지 도 10g를 참고하면, 유사한 참조 부호는 도면 전체에 걸쳐 일관되게 대응하는 구성(feature)를 나타내고, 예시적인 실시 예들이 도시되어 있다.

도 2는 본 개시의 실시 예들에 따른, 주변 광 상태(ambient light condition)에 기반하여 전자 장치(200)와 관련된 복수의 카메라들을 사용하여 미디어를 캡쳐하기 위한 장치(200)의 블록도를 도시한다.

도 2를 참고하면, 장치(200)는 메모리 유닛(202), 저장 유닛(206), 디스플레이 유닛(210) 및 프로세서(212)를 포함할 수 있다. 또한, 장치(200)는 메모리 유닛(202)에 상주하는 프로세싱 모듈(204)을 포함할 수 있다. 기계 판독 가능(machine readable) 명령들이 실행될 때, 프로세싱 모듈(204)은 컴퓨팅 환경에서 데이터를 처리하도록 장치(200)를 야기한다. 또한, 장치(200)는 본 명세서에서 전자 장치(200)로 지칭될 수도 있다. 장치(200)/전자 장치(200)의 예들은 이동 전화(mobile phone), 스마트 폰(smart phone), 태블릿(tablet), 핸드 헬드 장치(handheld device), 패블릿(phablet), 랩톱(laptop), 컴퓨터, 웨어러블 컴퓨팅 장치, 서버, IoT(Internet of Things) 장치, 차량 인포테인먼트 시스템(vehicle infotainment system), 카메라, 웹 카메라, DSLR(digital single-lens reflex) 카메라, 비디오 카메라, 디지털 카메라, 미러리스 카메라, 스틸 카메라 및 기타 등등일 수 있다. 장치(200)는 입력/출력 인터페이스(들), 통신 인터페이스(들)(도시되지 않음)와 같은 다른 구성 요소들을 포함할 수 있다. 장치(200)는 주변 광 상태(ambient light condition)에 기반하여 전자 장치(200)와 연관된 적어도 두 개의 카메라들을 사용하여 미디어를 캡쳐하기 위한 사용자 애플리케이션 인터페이스(도시되지 않음) 및 애플리케이션 관리 프레임 워크(도시되지 않음) 및 애플리케이션 프레임 워크를 포함할 수 있다. 애플리케이션 프레임 워크는 특정 환경의 애플리케이션들의 개발을 지원하는 기본 구조(fundamental structure)를 제공하는 소프트웨어 라이브러리가 될 수 있다. 애플리케이션 프레임 워크는 그래픽 사용자 인터페이스(graphic user interface, GUI) 및 웹 기반 애플리케이션을 개발하는 데 사용될 수도 있다. 또한, 애플리케이션 관리 프레임 워크는 애플리케이션의 관리 및 유지 관리와 데이터 베이스(208) 및 데이터 파일에 사용되는 데이터 구조들(data structures)의 정의를 담당할 수 있다.

장치(200)는 독립형 장치(standalone device)로서 또는 다른 컴퓨터 시스템들/장치들에 접속하는 접속된(예를 들어, 네트워크화된(networked)) 장치로서 동작할 수 있다. 네트워크된 배치(networked deployment)에서, 장치(200)는 서버 - 클라이언트 네트워크 환경에서 서버 또는 클라이언트로서 동작 할 수 있거나 피어-투-피어(또는 분산) 네트워크 환경에서 피어 장치(peer device)로서 동작할 수 있다. 또한, 여기에 서술된 방법 및 장치는 복수의 카메라들을 호스팅하는 상이한 컴퓨팅 장치 상에 구현될 수 있다. 이들은 이동 전화들(mobile phones), 태블릿들(tablets), 전용 카메라들(dedicated cameras), 웨어러블 컴퓨터들, 개인용 컴퓨터들, 사진 부스(photo booths) 또는 키오스크들(kiosks), PDA들(personal digital assistants), 울트라 모바일 개인용 컴퓨터들 또는 모바일 인터넷 장치들을 포함한다. 장치(200)는 2 개의 카메라 렌즈들, 3 개의 카메라 렌즈들, 4 개의 카메라 렌즈들 중 적어도 하나를 포함할 수 있다.

장치(200)는 장면(scene)을 검출하고 복수의 프레임들을 캡쳐할 수 있다. 캡쳐 된 복수의 프레임들을 포함하는 광 미디어(optical media)는 전기 신호로 변환된다. 장치(200)의 구조는 광학 시스템(즉, 렌즈 또는 이미지 센서), 광전 변환 시스템(photoelectric conversion system)(즉, CCD(charged couple device), 카메라 튜브 센서 등) 및 회로(비디오 프로세싱 회로)를 포함할 수 있다. 이미지 센서는 조도 반사광 강도(illumination reflected light intensity)의 단위인 럭스 값을 출력할 수 있다. 색차 신호들(color difference signals)(U, V)은 색조(hue) 및 채도(saturation)와 같은 2 가지 색깔들을 포함할 수 있으며, Cr 및 Cb로 표시된다. 여기서 Cr은 RGB 입력 휘도 신호의 RGB 신호 값들의 적색 부분 간의 차이를 반영하고, Cb 신호는 RGB 입력 휘도 신호의 RBG 신호 값들의 파란색 부분을 반영한다. 일 실시 예에서, 듀얼 카메라는 CCD(Charge Coupled Devices) 센서, 액티브 픽셀 센서, CMOS(Complementary Metal-Oxide-Semiconductor) 센서, N 형 금속 산화물 반도체(NMOS, Live MOS) 센서, 바이어 필터 센서(bayer filter sensor), 쿼드라(quadra) 센서, 테트라(tetra) 센서, 포베온(Foveon) 센서, 3CCD 센서, RGB(적색(red) 녹색(green) 청색(blue)) 센서 등 중 적어도 하나와 같은 두 개의 서로 다른 이미지 센서들을 포함할 수 있다.

예를 들어, 카메라 폰과 같은 장치는 고정 위치에 2 개의 이미지 센서들을 가질 수 있다. 즉, 2 개의 센서들은 이동할 수 없다. 2 개의 이미지 센서들은 상이한 해상도를 갖는 1 차 이미지 센서 및 2 차 이미지 센서와 같이 상이하게 구성되거나 처리될 수 있다. 또한, 상기 장치는 2 개의 이미지 센서들을 포함할 수 있으며, 2 개의 이미지 센서들 중에서 적어도 하나의 센서는 이동 가능할 수 있다. 이미지 센서는 스틸 이미지 스냅 샷 및/또는 비디오 시퀀스를 캡쳐할 수 있다. 또한, 각각의 이미지 센서는 개별 센서 또는 센서 요소의 표면 상에 배치된 컬러 필터 어레이(color filter array, CFA)를 포함할 수 있다. 이미지 센서는 선, 삼각형, 원형 또는 다른 패턴으로 배열될 수 있다. 장치(200)는 센서를 움직이지 않고 특정 센서를 작동시키고 다른 센서를 비활성화시킬 수 있다. 장치(200)에 상주하는 카메라는 초점, 스펙트럼 균형 및 적절하게 노출된 그림들 또는 비디오를 생성하기 위해 자동 초점(자동 초점 또는 AF), 자동 화이트 밸런스(automatic white balance, AWB) 및 자동 노출 제어(automatic exposure control, AFC)와 같은 기능들을 포함할 수 있다. AWB, AEC 및 AF는 때때로 본 명세서에서 3A 컨버전스(3A convergence)로 지칭된다. 최적 노출 기간(optimal exposure period)은 광도계(light meter)(도시되지 않음)를 사용함으로써 및/또는 이미지 센서에 의해 하나 이상의 이미지를 캡쳐함으로써 추정될 수 있다.

일 실시 예에서, 장치(200)는 각각 전자 장치(200)의 제1 이미지 센서 데이터 및 제2 이미지 센서 데이터로부터 제1 센서 데이터 및 제2 센서 데이터 중 적어도 하나를 획득하도록 구성된다. 일 실시 예에서, 제1 센서 데이터 및 센서 데이터는 'T' ms(milliseconds) 동안 결정된 lux(제곱미터 당 루멘(lumen)) 값을 포함한다. 일 실시 예에서, 장치(200)는 획득된 럭스 값이 제1 임계값보다 크고 제2 임계값보다 큰 지 여부 및 제1 임계값 및 제2 임계값보다 작은 지 여부 중 적어도 하나를 결정하도록 구성된다. 예를 들어, 장치(200)는 획득된 럭스 값이 제1 임계값보다 작은지 여부 또는 제2 임계값보다 큰지 여부를 결정하도록 구성된다. 여기서, 제1 임계값은 제2 임계값보다 작거나 같을 수 있다. 일 실시 예에서, 장치(200)는 결정된 럭스 값이 제1 임계값보다 작은 경우 제1 카메라에서 제2 카메라로 스위칭하도록 구성된다. 일 실시 예에서, 장치(200)는 판정된 럭스 값이 제2 임계값보다 큰 경우 제2 카메라에서 제1 카메라로 스위칭하도록 구성된다. 일 실시 예에서, 장치(200)는 3A 컨버전스 시간(convergence time)을 기다림으로써 제1 카메라 및 제2 카메라 중 스위칭 된 적어도 하나의 'N'프레임에 대해 안정화하도록(stabilize) 구성되며, 3A 컨버전스 시간은 자동 초점(auto focus, AF), 자동 화이트 밸런스(automatic white balance, AWB) 및 자동 노출 제어(automatic exposure control, AEC) 중 적어도 하나를 조정하기 위한 구간을 포함한다. 일 실시 예에서, 장치(200)는 럭스 값에 기초하여 제1 카메라와 제2 카메라 사이를 제어하도록 구성되며, 럭스 값은 주변 광 상태(ambient light condition)을 포함한다.

일 실시 예에서, 장치(200)는 전자 장치의 이미지 캡쳐 애플리케이션을 인에이블하는 것(enabling)에 대응하여 제1 카메라로부터 적어도 하나의 프리뷰(preview) 프레임(들)을 획득하도록 구성된다. 일 실시 예에서, 장치(200)는 프리뷰 프레임을 사용하여 럭스 값을 분석함으로써 주변 광 상태를 결정하도록 구성된다. 일 실시 예에서, 장치(200)는 상기 결정된 주변 광 상태가 미리 정의된 임계치 미만일 때 상기 제1 카메라로부터 상기 제2 카메라로 전자 장치의 카메라 동작을 스위칭하도록 구성된다. 일 실시 예에서, 장치(200)는 카메라 동작을 스위칭하는 것에 대응하여 제2 카메라로부터 프리뷰 프레임(들)을 획득하도록 구성된다. 일 실시 예에서, 장치(200)는 결정된 주변 광 상태가 미리 정의된 임계치를 초과할 때 제2 카메라로부터 제1 카메라로 카메라 동작을 스위칭하도록 구성된다. 일 실시 예에서, 장치(200)는 유사한 인접 픽셀들을 수신된 이미지와 연관된 단일 픽셀로 결합함으로써 제2 카메라로부터 수신된 이미지의 픽셀 비닝(pixel binning)을 수행하도록 구성된다. 일 실시 예에서, 장치(200)는 이미지 보정(image correction)을 수행하기 위해 픽셀 비닝된 이미지의 이미지 신호를 처리하도록 구성된다. 일 실시 예에서, 장치(200)는 보다 많은 수의 픽셀들로 처리된 이미지를 업-스케일링(up-scaling)하도록 구성된다.

일 실시 예에서, 장치(200)는 제1 이미지 센서 및 제2 이미지 센서와 각각 연관된, 제1 센서 데이터 및 제2 센서 데이터 중 적어도 하나를 수신하도록 구성된다. 일 실시 예에서, 장치(200)는 수신된 제1 센서 데이터 및 제2 센서 데이터 중 적어도 하나의 YUV(휘도(luminance, Y), 제1 색차(color difference)(U) 및 제2 색차(V)를 인코딩하도록 구성된다. 일 실시 예에서, 장치(200)는 인코딩된 적어도 하나의 제1 센서 데이터 및 제2 센서 데이터를 캡쳐 버퍼 및 프리뷰 버퍼 중 적어도 하나에 전송하도록 구성된다. 일 실시 예에서, 장치(200)는 전송된 제1 센서 데이터 및 제2 센서 데이터에 대응하여, 캡쳐된 이미지 및 프리뷰 이미지 중 적어도 하나로서 전자 장치의 디스플레이 인터페이스 상에 표시(display)하도록 구성된다.

일 실시 예에서, 장치(200)는 제1 카메라와 제2 카메라 사이의 스위칭을 결정할 때, 제1 이미지 센서 및 제2 이미지 센서 중 적어도 하나가 저전력 모드로 진입하도록 구성된다. 일 실시 예에서, 장치(200)는 제1 카메라 및 상기 제2 카메라 중 적어도 하나가 저전력 모드로 진입하도록 야기한 후에, 제1 카메라 및 제2 카메라 중 적어도 하나로부터 획득된 복수의 프리뷰 프레임들에 기반하여 럭스 값을 결정하도록 구성된다. 일 실시 예에서, 장치(200)는 럭스 값이 제1 임계값 및 제2 임계값 각각 중 크거나 작은 것 중 적어도 하나라고 판단하면 제1 카메라와 제2 카메라를 전환하도록 구성된다. 일 예로, 장치(200)는 럭스 값이 제1 임계값보다 작은 경우, 제1 카메라에서 제2 카메라로 전환하도록 구성된다. 또한, 일 예로, 장치(200)는 럭스 값이 제2 임계값보다 크면, 제2 카메라에서 제1 카메라로 전환하도록 구성된다. 여기서, 제1 임계값은 제2 임계값보다 작거나 같을 수 있다. 일 실시 예에서, 장치(200)는 센서로부터 프레임 생성의 정지 및 제1 카메라 및 제2 카메라 중 적어도 하나로부터 수신된 ISP(image signal processor)에 의한 프레임 폐기 중 적어도 하나를 수행하도록 구성된다.

일 실시 예에서, 장치(200)는 제1 카메라 및 제2 카메라 중 적어도 하나에 의해 이미지 내의 얼굴 및 장면 중 적어도 하나를 식별하도록 구성된다. 일 실시 예에서, 장치(200)는 제1 이미지 센서 및 제2 이미지 센서 중 적어도 하나로부터 수신된 복수의 럭스 값들에 기반하여 식별된 얼굴 및 장면(scene)의 럭스 값을 결정하도록 구성된다. 일 실시 예에서, 식별된 얼굴은 이미지 프레임상의 얼굴 영역의 좌표들을 찾는 것(co-ordinates)을 포함한다. 얼굴 영역의 좌표들 내의 럭스 값은 계산될 수 있다. 일 실시 예에서, 장치(200)는 검출된 얼굴 및 장면의 결정된 럭스 값이 상기 제1 임계값 및 상기 제2 임계값 중 적어도 하나보다 큰 지 및 작은지 중 적어도 하나인 경우, 제1 카메라를 제2 카메라 및 제2 카메라를 제1 카메라 중 적어도 하나로 스위칭하도록 구성된다. 일 예로, 장치(200)는 럭스 값이 제1 임계값보다 작은 경우, 제1 카메라에서 제2 카메라로 전환하도록 구성된다. 또한, 일 예로, 장치(200)는 럭스 값이 제2 임계값보다 크면, 제2 카메라에서 제1 카메라로 전환하도록 구성된다. 여기서, 제1 임계값은 제2 임계값보다 작거나 같을 수 있다.

일 실시 예에서, 제1 이미지 센서 또는 제2 이미지 센서는 베이어(bayer) 이미지 센서, 테트라(tetra) 센서 및 쿼드라(quadra) 이미지 센서 중 적어도 하나를 포함한다. 일 실시 예에서, 제1 센서 데이터 및 제2 센서 데이터 중 적어도 하나를 획득하는 단계는 복수의 프리뷰 프레임들을 캡쳐하는 단계를 포함한다. 일 실시 예에서, 획득된 럭스 값을 결정하는 단계는 제1 이미지 센서 및 제2 이미지 센서 중 적어도 하나로부터 수신된 완전한 럭스 값 및 평균 럭스 값을 분석하는 단계를 포함한다. 일 실시 예에서, 'N'프레임들에 대한 안정화는 이미지를 안정화는 제1 이미지 센서 및 제2 이미지 센서 파라미터 중 적어도 하나의 미리 정의된 값을 포함한다. 일 실시 예에서, YUV 성분을 인코딩하는 단계는 색 정보(color information)와 별도로 밝기 정보(bright information)를 추출하는 단계를 포함한다.

도 2는 컴퓨터 구현 시스템(computer implemented system)의 기능적 구성 요소들을 도시한다. 일부 경우에, 구성 요소는 하드웨어 구성 요소, 소프트웨어 구성 요소 또는 하드웨어와 소프트웨어의 조합일 수 있다. 일부 구성 요소들은 애플리케이션 레벨(application level) 소프트웨어 일 수 있지만 다른 구성 요소는 운영 체제 레벨(operating system level) 구성 요소일 수 있다. 일부 경우에서, 하나의 구성 요소를 다른 구성 요소에 연결하는 것은 두 개 이상의 구성 요소들이 단일 하드웨어 플랫폼에서 작동하는 밀접한 연결일 수 있다. 다른 경우에는 먼 거리에 걸친 네트워크 연결을 통해 연결들이 이루어질 수 있다. 각 실시 예는 설명된 기능을 달성하기 위해 상이한 하드웨어, 소프트웨어 및 상호 접속 아키텍처(interconnection architectures)를 사용할 수 있다.

본 명세서의 실시 예들은 2 개의 카메라들을 포함하는 장치를 예로 하여 설명된다. 그러나, 본 개시의 실시 예들은 임의의 수의 카메라들(any number of cameras)을 포함하는 장치에서 구현될 수 있으며, 특정 카메라들은 특정 범위의 주변 광(ambient light) 내에서 동작 할 수 있다는 것은 당업자에게 자명할 수 있다.

도 3은 다양한 모듈들을 포함하는, 도 2에 도시된 프로세싱 모듈(processing module)의 상세도(detailed view)를 도시한다. 일 실시 예에서, 장치(200)는(도 2에 도시된 바와 같이) 메모리 유닛(202)에 저장된 프로세싱 모듈(204)을 포함할 수 있다.

도 3을 참고하면, 프로세싱 모듈(204)은 복수의 서브 모듈들을 포함할 수 있다. 복수의 서브 모듈들은 센서 데이터 수집 모듈(302), 임계값 결정 모듈(304), 카메라 스위칭 모듈(306), 카메라 안정화 모듈(308) 및 카메라 모드 제어 모듈(310)을 포함할 수 있다.

일 실시 예에서, 센서 데이터 수집 모듈(302)은 전자 장치(200)의 제1 이미지 센서 및 제2 이미지 센서로부터 제1 센서 데이터 및 제2 센서 데이터 중 적어도 하나를 획득하도록 구성된다. 일 실시 예에서, 제1 센서 데이터 및 센서 데이터는 'T'ms(milliseconds) 동안 결정된 럭스(제곱미터 당 루멘(lumen)) 값을 포함한다. 일 실시 예에서, 임계값 결정 모듈(304)은 획득된 럭스 값이 제1 임계값 및 제2 임계값보다 크고 제1 임계값 및 제2 임계값보다 작은 것 중 적어도 하나인지 여부를 결정하도록 구성된다. 다시 말해, 임계값 결정 모듈(304)은 획득된 럭스 값이 제1 임계값보다 작은지 여부를 결정할 수 있다. 또한, 임계값 결정 모듈(304)은 럭스 값이 제2 임계값보다 큰지 여부를 결정할 수 있다. 여기서, 제1 임계값은 제2 임계값보다 작거나 같을 수 있다. 일 실시 예에서, 카메라 스위칭 모듈(306)은 결정된 럭스 값이 제1 임계값보다 작은 경우, 적어도 2 개의 카메라들에 대응하는 제1 카메라에서 제2 카메라로 스위칭하도록 구성된다. 일 실시 예에서, 카메라 스위칭 모듈(306)은, 결정된 럭스 값이 제2 임계값보다 크면, 적어도 2 개의 카메라들에 대응하는 제2 카메라에서 제1 카메라로 스위칭하도록 구성된다. 일 실시 예에서, 카메라 안정화 모듈(308)은 3A 컨버전스 시간을 기다림으로써 제1 카메라 및 제2 카메라 중 스위칭 된 적어도 하나의 'N' 프레임들 동안 안정화시키도록 구성되며, 3A 컨버전스 시간은 자동 초점(auto focusing, AF), 자동 화이트 밸런스(automatic white balance, AWB) 및 자동 노출 제어(automatic exposure control, AEC) 중 적어도 하나를 조정하는 단계를 포함한다. 일 실시 예에서, 카메라 모드 제어 모듈(310)은 결정된 럭스 값에 기초하여 제1 카메라 및 제2 카메라를 사용하여 미디어를 캡쳐하도록 구성된다. 일 실시 예에서, 럭스 값은 주변 광 상태를 포함한다.

본 명세서의 실시 예는 하드웨어 및 소프트웨어 요소를 포함할 수 있다. 소프트웨어로 구현되는 실시 예는 펌웨어, 상주 소프트웨어, 마이크로 코드 등을 포함 하나 이에 한정되지 않는다. 여기에 설명된 다양한 모듈에 의해 수행되는 기능들은 다른 모듈 또는 다른 모듈의 조합으로 구현될 수 있다. 이 설명의 목적을 위해, 컴퓨터 사용 가능 또는 컴퓨터 판독 가능 매체는 명령 실행 시스템, 장치 또는 장치에 의해 또는 그와 관련하여 사용하기 위해 프로그램을 포함하고, 저장하고, 통신하고, 전파하거나, 전송할 수 있는 임의의 장치일 수 있다.

도 4는 본 개시의 실시 예들에 따른, 전자 장치가 일반 광 장면(normal light scene)에서 어두운 광 장면(dark light scene)으로 이동하는 예시적인 시나리오를 도시한다. 전술한 바와 같이, 일반 광 장면과 어두운 광 장면은 카메라에 의해 검출되는 빛의 양에 따라 구별될 수 있다. 일 예로, 일반 광 장면에서 카메라에 의해 검출되는 빛의 양은 지정된 값 이상이고, 어두운 광 장면에서 카메라에 의해 검출되는 빛의 양은 지정된 값 미만일 수 있다.

도 4를 참고하면, 일 예에서, 장치(200)는 도 4에 도시된 바와 같이 듀얼 후방(rear) 카메라를 포함한다. 장치(200)는 베이어 센서(bayer sensor) 및 쿼드라 센서(quadra sensor)와 같은 2 개의 이미지 센서들을 포함할 수 있다. 사용자가 카메라 애플리케이션을 실행할(launch) 때, 카메라가 일반 광 상태를 고려하면, 장치(200)는 제1 카메라(즉, 베이어 센서)를 사용하여 장면의 프리뷰 프레임을 캡쳐할 수 있다. 또한, 상기 장치(200)는 상기 프리뷰 프레임의 수신에 대응하여 상기 장면의 주변 광 상태들(ambient light conditions)을 결정할 수 있다. 주변 광 상태가 미리 정의된 임계값 아래에 있을 때, 장치(200)는 카메라 동작을 제1 카메라에서 제2 카메라(즉, 쿼드라 센서)로 스위칭할 수 있다. 장치(200)는 제2 카메라를 사용하여 장면의 프리뷰 프레임을 캡쳐할 수 있으며, 장치(200)는 주변 광 상태가 미리 정의된 임계값을 초과하는 경우 제2 카메라에서 제1 카메라로 카메라 동작을 전환할 수 있다. 장치(200)는 제1 카메라를 사용하여 장면의 프리뷰 프레임을 다시 캡쳐할 수 있다.

도 5는 본 개시의 실시 예들에 따른, 제1 이미지 센서 출력과 제2 이미지 센서 출력 간의 차별화(differentiation)의 개략도를 도시한다. 제1 이미지 센서는 베이어 센서, 제2 이미지 센서는 쿼드라 센서를 예시한다.

도 5를 참고하면, 전자 장치는 베이어 필터를 포함하는 이미지 센서(이하, 베이어 센서)를 통해 이미지를 획득할 수 있다. 베이어 센서는 RGB 센서를 통해 픽셀 단위의 이미지를 제공할 수 있다. 예를 들어, 전자 장치는 베이어 센서를 통해 64(8 x 8)개의 픽셀들을 포함하는 이미지를 획득할 수 있다. 전자 장치는 ISP 및 후 처리를 통해, 최종 이미지를 얻을 수 있다.

전자 장치는 쿼드라 필터(예: 쿼드라 컬러 필터 어레이(CFA))를 포함하는 이미지 센서(이하, 쿼드라 센서)를 통해 이미지를 획득할 수 있다. 쿼드라 센서는 픽셀 비닝이 수행된 이미지를 제공할 수 있다. 예를 들어, 쿼드라 센서는 저광(low light) 시나리오에서 이미지 센서로서 사용될 수 있다. 전자 장치는 쿼드라 센서를 통해 기존의 64(8x8)개의 픽셀들을 포함하는 이미지로부터 비닝 이미지를 획득할 수 있다. 비닝 이미지는, 2x2 단위로 픽셀 비닝이 수행된 이미지일 수 있다. 쿼드라 센서의 픽셀 비닝(pixel binning)을 통해, 4 개의 인접한 동일한 컬러 픽셀이 하나의 픽셀로 병합될 수 있다. 따라서, 쿼드라 센서로부터의 출력 픽셀은 정상 출력보다 밝을 수 있다.

결과적으로, 쿼드라 센서는 저조도 상태에서 더 밝은 픽셀을 제공할 수 있다. 또한, 픽셀 비닝의 결과로서, 쿼드라 센서의 이미지 버퍼 출력 크기는 동일한 센서 데이터 크기의 경우, 베이어 센서의 이미지 버퍼 출력 크기와 비교하여 작을 수 있다. 또한, 업-스케일링(up-scaling)은 쿼드라 센서로부터 수신된 최종 출력에게 수행된다. 쿼드라 센서는 상대적으로 작은 출력을 제공하므로, 전자 장치는 동일한 출력의 크기를 제공하기 위해 쿼드라 센서의 출력 데이터에 대하여 업-스케일링을 수행할 수 있다. 일 예로, 전자 장치는 해상도를 높일 수 있다.

이하, 본 개시의 다양한 실시 예들을 설명하기 위해, 일반 광 상태에서 사용되는 이미지 센서로서 베이어 센서, 어두운 광 상태에서 사용되는 이미지 센서로서 쿼드라 센서가 예로 서술되나 이에 한정되지 않는다. 이미지 센서와 상기 일반 이미지 센서 대비 상대적으로 어두운 환경에서 객체를 보다 명확히 표현할 수 있는 센서를 포함하는 적어도 두 개의 이미지 센서들에 대하여, 본 개시의 실시 예들이 수행될 수 있다.

도 6a는 본 개시의 실시 예들에 따른, 이미지 센서의 자동 스위칭(automatic switching)이 주변 광 상태(ambient light condition)에 기반하여 수행되는 예시적인 시나리오를 도시한다.

도 6a를 참고하면, 일 예에서, 장치(200)는 장치(200)의 후면 패널의 상부에 쿼드라 센서를, 밑부분에 베이어 센서를 가질 수 있다. 쿼드라 센서는 픽셀 비닝을 수행할 수 있는데, 즉 4 개의 인접한 동일한 컬러 픽셀이 하나의 픽셀로 병합될 수 있다. 따라서, 쿼드라 센서로부터의 출력 픽셀은 정상 출력보다 밝을 수 있다. 일 예에서, 쿼드라 센서와 같은 이미지 센서는 둘 이상의 픽셀들과 통신 할 수 있는 하나 이상의 혼합 게이트(mixing gate)를 포함할 수 있다. 다른 예에서, 혼합 게이트는 둘 이상의 포토 다이오드들을 함께 결합할 수 있다. 혼합 포토 다이오드(mixed photodiodes)는 동일한 컬러 필터를 가질 수 있거나(예를 들어, 녹색 필터를 모두 가질 수 있음), 컬러 필터가 없거나 상이한 컬러 필터를 가질 수 있다. 후자의 예에서, 포토 다이오드가 혼합될 때 컬러 피쳐(color feature)가 손실될 수 있지만, 감도(sensitivity)가 증가될 수 있다. 혼합 게이트는 2 개 이상의 포토 다이오드로들부터의 신호가 다양한 픽셀 사이에서 재조정되도록(rebalanced) 하기 위하여, 포토 다이오드들을 선택적으로 연결할 수 있다. 그 다음에, 각각의 포토 다이오드에 대한 전하는 선택적으로(예를 들어, 트리거 전송 게이트를 선택적으로 활성화함으로써) 판독되거나, 총괄적으로 판독될 수 있다(모든 트리거 전송 게이트를 활성화시킴). 예를 들어, 포토 다이오드들이 활성화될 수 있고, 포토 다이오드들은 렌즈에서 빛을 수집하기 시작할 수 있다. 포토 다이오드들은 롤링 셔터 동작(rolling shutter operation)을 위해 그룹(들) 또는 행(들)로 활성화될 수 있거나 글로벌 셔터 동작(global shutter operation)을 위해 동시에 활성화될 수 있다. 4 개의 픽셀들은 각각 단일 판독 영역(single readout region)을 공유할 수 있다.

초기에, 쿼드라 센서는 스위치 OFF 될 수 있고, 베이어 센서는 스위치 ON 될 수 있다. 예를 들어, 장치(200)가 일반 광 상태(normal light condition)에 있다고 고려하면, 베이어 센서로부터 수신된 프레임의 럭스 값은 카메라가 일반 광 상태에 있음을 나타낸다. 저조도 장면(low light scene)으로 이동된 장치를 고려하자. 따라서, 베이어 센서로부터 수신된 프레임의 럭스 값은 카메라가 어두운 광 상태에 있음을 나타낸다. 럭스 값에 따라 쿼드라 센서는 베이어 센서에서 자동으로 전환될 수 있다. 어두운 곳에서는 쿼드라 센서가 더 좋은 이미지를 제공할 수 있다.

장치(200)가 어두운 광 장면으로부터 일반적인 광 장면으로 이동할 수 있다고 고려하자. 쿼드라 센서에서 수신한 프레임의 럭스 값은, 카메라가 일반 광 상태에 있음을 나타낸다. 럭스 값들에 따라 베이어 센서가 쿼드라 센서에서 자동으로 전환될 수 있다. 일반 광 상태에서 베이어 센서는 쿼드라 센서에 비해 더 빠른 이미지 캡쳐를 제공할 수 있다. 또한, 이미지의 카메라 파이프 라인(pipeline)/프로세싱은 적은 전력 소모를 보장하기 위해 2 개의 카메라들 중에서 하나의 카메라에 대해 실행될 수 있다.

도 6b는 본 개시의 실시 예들에 따른, 주변 광 상태에 기초한 이미지 센서의 자동 스위칭을 위한 상태도를 도시한다. 이하, ON, OFF는 활성화/비활성화 또는 정상 전력 모드/저전력 동작 모드 등으로 지칭될 수 있다. 다시 말해, ON은 센서의 정상적인 기능이 가능한 상태를 의미하고, OFF는 센서의 기능이 불가능한 상태를 의미할 수 있다.

도 6b를 참고하면, 예를 들어, 카메라가 닫힐 때, 베이어 센서 및 쿼드라 센서가 모두 스위치 OFF된다. 카메라가 열리면 베이어 센서와 쿼드라 센서가 모두 켜진다. 일 예로, 카메라 애플리케이션이 실행되면, 카메라가 열릴 수 있다. 또한, 장치(200)는 초기에 베이어 센서를 여전히 ON 상태로 유지함으로써, 카메라가 일반 광 상태에 있고 쿼드라 센서가 OFF로 간주할 수 있다. 다시 말해, 기본 상태(default state)는 베이어 센서가 ON, 쿼드라 센서가 OFF인 상태일 수 있다. 베이어 센서가 주변 광 상태가 저조도(low light) 아래에 있음을 감지하면 쿼드라 센서가 켜지고 베이어 센서가 꺼진다. 또한, 쿼드라 센서는 주변 광 상태를 확인할 수 있다. 카메라가 일반 광 상태에 있다고 결정하면, 베이어 센서가 켜지고 쿼드라 센서가 꺼진다. 카메라가 닫히면 두 이미지 센서들이 모두 꺼진다.

도 7은 본 개시의 실시 예들에 따른, 주변 광 상태에 기초한 이미지 센서의 자동 스위칭을 위한 파이프-라인(pipeline) 다이어그램을 도시한다.

도 7을 참고하면, 위는 베이어 센서가 활성 상태일 때, 이미지 처리의 기능적 구성을 나타내고, 아래는 쿼드라 센서가 활성 상태일 때, 이미지 처리의 기능적 구성을 나타낸다. 먼저, 베이어 센서가 활성 상태인 경우, 베이어 센서 데이터는 ISP(Image Signal Processor)로 전송된다. 쿼드라 센서는 저전력 모드(low power mode, LPM)로 진입할 수 있다. ISP는 베이어 변환, 디모자이크(demosaic) 처리, 노이즈 감소, 이미지 선명화 등과 같은 작업을 수행할 수 있지만 이에 한정되지는 않는다. ISP는 처리된 이미지를 YUV(휘도(luminance, Y) 및 2 개의 색차(chrominance)(UV) 성분) 버퍼로 전송할 수 있다. YUV 버퍼는 색 정보와 별도로 밝기 정보를 추출할 수 있고, 전송 오류들을 줄일 수 있다. 캡쳐 버퍼(capture buffer) 및 프리뷰 버퍼(preview buffer)는, 이미지의 파이프 라인 동안 중간에서 이미지를 홀딩할 수 있다. 하드웨어 추상화 계층(hardware abstraction layer, HAL)은 장치(200)의 물리적 하드웨어와 소프트웨어 간의 추상화 계층(abstraction layer)으로서 기능하는 코드의 논리적 분할로서 작용할 수 있다. 이는 프로그램이 하드웨어와 통신할 수 있게 해주는 장치 드라이버 인터페이스를 제공한다. 처리된 이미지는 장치(200)의 디스플레이 상에 표시되거나 특정 포맷(예: JPEG)으로 저장된다. 또한, 다른 이미지 센서는 저전력 모드(low power mode, LPM)로 진입할 수 있으며, 이미지 센서들 중 적어도 하나는 이미지 프레임들을 생성하지 않을 수 있거나, 또는 LPM에서 적어도 하나의 이미지 센서에 의해 생성된 이미지 프레임은 이미지 신호 프로세서(image signal processor, ISP)에서 폐기될 수 있다.

전자 장치는 주변 광 상태에 기초하여 쿼드라 센서를 활성화할 수 있다. 쿼드라 센서가 활성 상태인 경우, 쿼드라 센서 데이터는 ISP(Image Signal Processor)로 전송된다. 쿼드라 센서 데이터는 픽셀 비닝을 통해 베이어 데이터들이 결합된 데이터일 수 있다. 베이어 센서와 동일/유사한 기능적 블록에 대한 설명은 생략된다. 보다 원활한(seamless) 전환을 위하여, 하나의 센서가 활성화될 때 다른 센서가 즉시 비활성화(혹은 저전력 모드로의 진입)되는 것이 아니라, 하나의 센서가 활성화된 이후 일정 시간 경과 후 비활성화될 수 있다. 이 때, 도 7과 달리 각 센서 데이터 모두 활성화되어, 각각 ISP 및 후 처리(post processing)가 수행될 수 있다.

도 8a 및 도 8b는 본 개시의 실시 예들에 따른, 주변 광 상태에 기초한 이미지 센서의 자동 스위칭을 위한 타이밍 도를 도시한다.

도 8a는 이미지 센서의 자동 스위칭을 위한 로직의 논리 표현을 도시한다. 도 8a를 참고하면, 다이어그램의 위는 베이어 센서에 대한 로직을 나타내고, 다이어그램의 아래는 쿼드라 센서에 대한 로직을 나타낸다.

스위칭 시간은 빛 상태 점검 기간(light condition check duration)(T)과 안정화 시간(stabilization time)(N)을 포함할 수 있다. 빛 상태 점검 기간은 요구 사항(requirement)에 따라 구성될 수 있다. 일 예로,'T'는 ms 단위일 수 있다. 안정화 시간은 센서와 센서(혹은 카메라와 카메라) 간의 스위칭 후 안정화를 위한 대기 시간일 수 있다. 예를 들어, 안정화 시간은 자동 초점(auto focus, AF), 자동 화이트 밸런스(auto white balance, AWB) 및 자동 노출 제어(auto exposure control, AEC)의 3A 중 적어도 하나가 안정화될 때까지의 대기 시간일 수 있고, 요구 사항에 따라 구성될 수 있다. 일 예로, 'N'은 프레임 단위일 수 있다. 이하, 제1 이미지 센서에서 제2 이미지 센서로의 스위칭은 이미지 획득에 이용될 이미지 센서를 제1 이미지 센서 대신 제2 이미지 센서를 이용함을 의미하는 것이지, 제1 이미지 센서를 OFF하는 즉시 제2 이미지 센서를 ON하는 것을 의미하지 않을 수 있다.

베이어 센서에서 쿼드라 센서로 전환하는 럭스 임계값 조건은 '<BQlux'일 수 있다. '<BQlux'는 럭스 값이 BQlux 미만이 됨을 의미한다. 즉, 센서를 통해 검출되는 럭스 값이 BQlux 미만인 경우, 전자 장치는 쿼드라 센서가 탑재된 카메라를 동작시킬 수 있다. 쿼드라 센서에서 베이어 센서로 전환하는 럭스 임계값 조건은 '> QBlux'일 수 있다. '>QBlux'는 럭스 값이 'QBlux' 초과임을 의미한다. 즉, 센서를 통해 검출되는 럭스 값이 QBlux 초과인 경우, 전자 장치는 베이어 센서가 탑재된 카메라를 동작시킬 수 있다.

전자 장치는, 센서를 통해 검출되는 럭스 값으로부터 주변 광 상태를 결정할 수 있다. 주변 광 상태는, 예를 들어, 밝은 광 상태, 일반 광 상태 또는 어두운 광 상태 중 적어도 하나를 포함할 수 있다. 전자 장치는, 주변 광 상태 결정을 위해, 일정 시간 동안 럭스 값들을 수신할 수 있다. 전자 장치는 일정 시간 동안 수신된 럭스 값들에 기반하여, 주변 광 상태를 나타내기 위한 럭스 값을 결정할 수 있다. 예를 들어, 전자 장치는 T의 기간에 걸쳐 수신된 럭스 값들의 평균이 BQlux미만인지 또는 QBlux 초과인지 여부에 기반하여, 주변 광 상태를 결정할 수 있다. 또한 예를 들어, 전자 장치는 T의 주기 동안 수신된 모든 럭스 값들이 BQlux 미만인지 또는 QBlux 초과인지 여부에 의해 주변 광 상태를 결정할 수 있다.

카메라와 카메라가 스위칭되는 동안 안정화 시간이 요구된다. 여기서, 안정화 시간이란, 활성화된 카메라(즉, 구동 개시된 카메라)를 통해 이미지를 획득하기 위해, 카메라 설정의 기본 값(default value)을 조정하기 위한 시간 구간을 의미할 수 있다. 예를 들어, 카메라의 설정은 전술한 AF 설정, AWB 설정, AEC 설정 중 적어도 하나일 수 있다. 전자 장치는 카메라 설정의 기본 값이 결정되는 동안 이전 카메라의 활성 상태를 유지할 수 있다. 전자 장치는, 카메라 설정의 적어도 하나의 파라미터들에 대한 기본 값을 결정한 후, 이전 카메라를 비활성화할 수 있다.

도 8a에 도시된 예를 참고하면, 제2 이미지 센서로의 스위칭 동안 3A 안정화를 위한 대기 시간은, 프레임 개수들 내에서 안정화를 위해 가정된 3A 값들인 센서 파라미터들에 기반하여 미리 정의된 값 또는 3A 컨버전스를 기다리는 것으로 결정될 수 있다. 이 경우, N의 값은 3A가 수렴하는데 필요한 프레임들의 개수를 기반으로, 가변적이다. 또한, 주변 광 상태에 따른 럭스 값이 BQlux미만이면 쿼드라 센서가 더 좋은 이미지를 제공할 수 있으므로 카메라 작동 전환을 위해 럭스 임계값들이 고려된다. 주변 광 상태에 따른 럭스 값이 QBlux보다 크면 베이어 센서가 더 좋은 이미지를 제공할 수 있다.

도 8b는 카메라 동작을 전환하기 위한 타이밍 도이다. 도 8b를 참고하면, 그래프의 위는 시간 흐름에 따른 럭스 값을 나타내고, 그래프의 아래는 시간 흐름에 따른 센서 동작을 나타낸다. BQlux는 베이어 센서에서 쿼드라 센서로 전환하기 위한 럭스 임계값으로, 예를 들어 50이다. 또한 QBlux는 쿼드라 센서에서 베이어 센서로 전환하기 위한 럭스 임계값으로 예를 들어 70이다. 주변 광 상태가 BQlux보다 작은지 여부를 모니터링하는 시간은 t₂-t₁이며, 쿼드라 센서에 대한 3A를 안정화하기 위한 지속 시간은 t₃-t₂이다. 또한, 주변 조도 상태가 QBlux 초과인지 여부를 모니터하는 시간은 t₅-t₄이고, 베이어 센서에 대한 3A를 안정화하기 위한 지속 시간은 t₆-t₅이다.

전자 장치는 t₂-t₁ 동안 주변 광 상태를 모니터링할 수 있다. 전자 장치 주변 광 상태에 기반하여 베이어 센서에서 쿼드라 센서로의 전환을 결정할 수 있다. 전자 장치는 쿼드라 센서를 활성화시킬 수 있다. 쿼드라 센서가 활성화되더라도, 쿼드라 센서의 안정화를 위해 일정 시간이 소요될 수 있다. 따라서, 전자 장치는 t₃-t₂시간 동안 베이어 센서를 활성 상태로 유지할 수 있다. 즉, t₃-t₂시간 동안 베이어 센서 및 쿼드라 센서 모두 활성 상태일 수 있다. t₃ 이후, 전자 장치는 베이어 센서를 OFF 할 수 있다. 또한, 활성화된 쿼드라 센서를 이용하여 전자 장치는 어두운 환경에서도 명확한 객체를 포함하는 이미지를 획득할 수 있다. 이후, 전자 장치는 t₅-t₄ 동안 주변 광 상태를 모니터링할 수 있다. 전자 장치 주변 광 상태에 기반하여 쿼드라 센서에서 베이어 센서로의 전환을 결정할 수 있다. 전자 장치는 다시 베이어 센서를 활성화시킬 수 있다. 베이어 센서가 활성화되더라도, 베이어 센서의 안정화를 위해 일정 시간이 소요될 수 있다. t₆ 이후, 전자 장치는 쿼드라 센서를 OFF 할 수 있다. 또한, 활성화된 베이어 센서를 이용하여 이미지를 획득할 수 있다.

일 실시 예에 따라, 또한, 쿼드라 센서로의 스위칭을 위한 럭스 임계값 BQlux는 베이어 센서로의 스위칭을 위한 럭스 임계값 QBlux과 다르게 구성될 수 있다. 히스테리시스(hysteresis)를 고려함으로써, 카메라 스위칭이 잦게 스위칭 됨을 방지할 수 있다. 다른 일 실시 예에 따라, 도면과 달리 BQlux 및 QBlux는 같게 구성될 수도 있다.

일 실시 예에 따라, 쿼드라 센서로의 스위칭을 위한, 모니터링 시간(t₂-t₁) 및 안정화 시간(t₃-t₂)은 각각 베이어 센서로의 스위칭을 위한, 모니터링 시간(t₄-t₃) 및 안정화 시간(t₅-t₄)과 다르게 구성될 수 있다. 예를 들어, 모니터링 시간은 활성화된 센서의 파라미터에 기반하여 결정될 수 있다. 예를 들어, 안정화 시간은 새로이 활성화되는 센서의 파라미터에 기반하여 결정될 수 있다. 일 예로, t₂-t₁은 베이어 센서의 파라미터에 기초하여 결정되고, t₃-t₂는 쿼드라 센서의 파라미터에 기초하여 결정될 수 있다. 다른 일 실시 예에 따라, 각 안정화 시간 및 각 모니터링 시간은 동일한 크기로 구성될 수도 있다.

본 개시의 다양한 실시 예들에 따른 전자 장치는, 광 기반 적응적 카메라 스위칭(light-based adaptive camera switching)을 수행할 수 있다. 적응적 카메라 스위칭은, 자동-스위칭(auto-switch)를 포함할 수 있다. 전자 장치는 검출되는 광 상태에 기반하여, 카메라 스위칭을 수행할 수 있다.

전자 장치는, 베이어 센서를 포함하는 카메라와 쿼드라 센서를 포함하는 카메라 간 끊임없는(seamless) 스위칭을 제공할 수 있다. 전자 장치는, 쿼드라 센서가 활성화 상태인 경우에도, 베이어 센서를 활성화시킴으로써, 쿼드라 센서가 안정적으로 동작하기까지 원활한 이미지를 제공할 수 있다. 다시 말해, 쿼드라 센서가 켜지는 동안 베이어 센서의 비활성화 때문에 카메라 기능에 발생 가능한 지연을 방지하기 위해, 전자 장치는 쿼드라 센서가 활성화될 때, 일정 시간 동안 베이어 센서의 활성 상태를 유지할 수 있다. 마찬가지로, 베이어 센서가 활성화될 때, 쿼드라 센서의 활성 상태를 일정 시간 유지할 수 있다. 이러한 유지 시간은 안정화 시간(stabilization time)으로 지칭될 수 있다.

도 8a 내지 도 8b에서는 안정화 시간으로 3A 컨버전스 시간을 예로 서술하였으나, 안정화 시간은 그 외 다양한 방식들로 결정될 수 있다. 일부 실시 예들에서, 안정화 시간은 미리 지정된 값일 수 있다. 예를 들어, 안정화 시간은, 고정된 값(예: 10ms)일 수 있다.

다른 일부 실시 예들에서, 안정화 시간은 카메라 모드에 기반하여 설정될 수 있다. 카메라 모드는 연속 촬영 모드, 동영상 촬영 모드, 및 일반 촬영 모드 중 적어도 하나일 수 있다. 예를 들어, 상대적으로 각 이미지의 품질이 중요한 모드(예: 일반 촬영 모드)의 경우, 안정화 시간을 상대적으로 길게 설정할 수 있다. 긴 안정화 시간을 통해, 전자 장치는 두 센서들 모두를 이용하여 양질의 이미지를 획득할 수 있다. 또한, 예를 들어, 상대적으로 각 이미지의 품질보다 장시간 촬영으로 인해 배터리 절감이 중요한 모드(예: 동영상 촬영 모드)의 경우, 안정화 시간을 짧게 설정할 수 있다.

또 다른 일부 실시 예들에서, 안정화 시간은 현재 광 상태에 기반하여 결정될 수 있다. 전자 장치는, 모니터링 시간 동안 획득된 럭스 값에 기반하여, 안정화 시간을 결정할 수 있다. 예를 들어, 현재 광 상태와 임계값 차이만큼 안정화를 위해 필요한 시간이 오래 소요될 수 있다. 전자 장치는, 현재 광 상태와 임계값 차이에 기반하여 안정화 시간을 결정할 수 있다.

또 다른 일부 실시 예들에서, 안정화 시간은 센서 성능에 따라 결정될 수 있다. 센서는 활성화되는 센서일 수 있다. 예를 들어, 센서가 빛의 변화에 민감할수록 안정화 시간은 짧을 수 있다. 사용되는 센서들 각각의 광 검출 파라미터가 다른 경우, 안정화 시간은 서로 다르게 구성될 수 있다.

도 9a는 본 명세서에 개시된 실시 예들에 따라, 다양한 광 상태들에서 비디오 레코딩(video recording)이 수행되는 예시적인 시나리오를 도시한다.

도 9a를 참고하면, 전자 장치는 비디오 레코딩을 수행할 수 있다. 일 예에서, 비디오 레코딩은 일반 광 상태에서 시작되고 점차적으로 장치(200)는 도 9a에 도시된 바와 같이 어두운 광 시나리오로 이동한다고 생각한다. 도 9a 다이어그램의 왼쪽은 단일 베이어 센서를 이용한 비디오 레코딩을 나타내고 다이어그램의 오른쪽은 베이어 및 쿼드라 센서를 이용한 비디오 레코딩을 보여준다. 즉, 다이어그램의 오른쪽에서, 전자 장치는 베이어 센서 및 쿼드라 센서를 광 상태에 따라 적응적으로 스위칭함으로써, 비디오 레코딩을 수행할 수 있다. 여기서, 광 상태는 전자 장치의 센서가 획득하는 주변 광 상태를 포함할 수 있다. 일 예로, 다이어그램의 오른쪽에서 전자 장치는, 전자 장치의 자동 스위칭 기능(auto-switching function)이 활성화된 상태일 수 있다. 다이어그램의 오른쪽에서, 주변 광 상태에 따라 자동으로 베이어 센서에서 쿼드라 센서로 전환함으로써, 전자 장치는 다양한 광 상태들에서 비디오를 레코딩하는 때, 더 나은 비디오 화질을 얻을 수 있다.

도 9b는 본 개시의 실시 예들에 따른, 이미지 내의 얼굴 영역 상의 광 상태에 기반하여 이미지 센서의 스위칭이 실행되는 예시적인 시나리오를 도시한다.

도 9b를 참고하면, 전자 장치는 베이어 센서를 이용하여 이미지를 캡쳐할 수 있다. 이 때, 매우 가변적인 빛을 갖는 장면들은 밝은 빛의 물체와 어두운 그림자의 물체를 모두 포함할 수 있다. 전자 장치는 캡쳐된 이미지로부터 얼굴 영역을 검출할 수 있다. 전자 장치는 얼굴 영역의 럭스 값을 획득할 수 있다. 일 예로, 전자 장치의 소프트웨어 모듈(software module)이 얼굴 영역의 럭스 값을 계산할 수 있다. 전자 장치는 계산된 럭스 값에 기반하여 쿼드라 센서로의 자동-스위칭 여부를 결정할 수 있다. 일반 광 상태에서 얼굴이 어둡게 감지되면, 얼굴 영역이 베이어 센서 이미지와 비교할 때 상당히 덜 어둡게 됨을 보장하도록 쿼드라 센서가 켜진다. 구체적으로, 사용자의 개입 없이(without user-intervention), 전자 장치는 얼굴 영역의 럭스 값에 기반하여, 쿼드라 센서를 작동시킬 수 있다. 전자 장치는 럭스 값이 지정된 값보다 낮은 경우, 베이어 센서에서 쿼드라 센서로 스위칭할 수 있다. 인물 촬영의 경우 얼굴이 밝게 감지될 필요가 있기 때문이다.

도 9c는 본 개시의 실시 예들에 따른, 장면의 광 상태가 저조도 동안 검출되는 예시적인 시나리오를 도시한다.

도 9c를 참고하면, 전자 장치는 프리뷰 이미지를 획득할 수 있다. 다수의 프리뷰 이미지들 중에서 객체가 보다 명확히 표현되는 장면이 검출될 수 있다. 객체가 보다 명확히 표현되기 위하여 충분한 빛이 요구된다. 장면 검출 알고리즘 이용 시, 본 개시의 실시 예들에 따른 자동 스위칭을 이용할 수 있다. 전자 장치는, 빛의 양에 따라 센서를 적응적으로 스위칭할 수 있다. 베이어 센서는 어두운 주변 광 상태로 장면 내의 물체를 강조 표시하지 않고 어두운 이미지 출력을 제공할 수 있다. 반면, 쿼드라 센서는 장면의 객체를 강조 표시하여(highlighting) 밝은 이미지를 출력할 수 있다. 따라서, 저광 상태가 검출되면, 전자 장치는 자동으로 센서를 쿼드라 센서로 스위칭시킬 수 있다. 어두운 환경에서 보다 밝은 이미지를 출력함으로써, 어두운 환경에서도 보다 명료한 장면이 검출될 수 있다.

도 9d는 본 개시의 실시 예들에 따른, 최적화된 저조도 솔루션(low light solution, LLS)을 제공하기 위한 예시적인 시나리오를 도시한다.

도 9d를 참고하면, 일 예에서, 쿼드라 센서로부터의 노이즈가 적은 밝은 프레임들은, 2 개의 프레임들을 처리하는데 약 200ms가 필요할 수 있는 LLS 모듈로 전송될 수 있다. LLS 블록은 저조도 사진 촬영(low light photography)에 사용될 수 있는 라이브러리가 될 수 있다. LLS 블록은 다수의 프레임들을 입력으로서 획득하고, 후 처리(post processing)를 수행할 수 있다. LLS 블록은 더 나은 품질의 출력 프레임을 생성하기 위해 프레임 융합(frame fusion)을 추가로 적용할 수 있다. 일 예에서, 장치(200)가 저조도 장면에 있을 때, 쿼드라 센서로의 자동 스위칭이 수행된다. 또한, 어두운 광 상태에서 보다 더 좋은 이미지를 제공하는 쿼드라(quadra) 센서 덕분에, 적은 수의 프레임들이 LLS 모듈에 의해 요구될 수 있다.

구체적인 예로, 전술한 도 1b를 참고하면, LLS 블록은 5개의 프레임들을 처리하기 위한 약 500ms가 소요되었다. 그러나, 도 9d의 방안을 통해 쿼드라 센서를 이용함으로써, 200ms만이 소요될 수 있다. 쿼드라 센서를 이용함으로써 베이어 센서보다 상대적으로 밝은 이미지들이 출력됨으로써, 상대적으로 이미지들의 노이즈 성분이 적기 때문이다. 이미지 처리를 위해 필요한 프레임들의 개수가 적어지므로 처리 소요 시간이 감소할 수 있다.

본 개시에서는, 베이어 센서와 쿼드라 센서를 적응적으로 스위칭하는 것으로 도시되었으나, 두 센서들이 모두 활성화됨으로써 미디어(예: 이미지)를 획득하는 동작 또한 일 실시 예로써 이해될 수 있다.

본 개시에서는 베이어 센서와 쿼드라 센서를 예로 서술하였으나, 본 개시의 다양한 실시 예들은 광 상태에 따라 구별되는 성능 메트릭(performance metric)을 갖는 적어도 두 개의 센서들(또는 카메라들)이 구비된 전자 장치에 모두 적용 가능하다.

도 10a는 본 개시의 실시 예들에 따른, 주변 광 상태에 기초하여 전자 장치(200)와 관련된 적어도 두 개의 카메라들을 사용하여 미디어를 캡쳐하는 방법(1000a)을 나타내는 흐름도이다.

도 10a를 참고하면, 단계(1002)에서, 방법(1000a)은 전자 장치(200)의 이미지 캡쳐 애플리케이션을 인에이블하는 것에 대응하여 제1 카메라로부터 적어도 하나의 프리뷰 프레임을 획득하는 과정을 포함한다. 단계(1004)에서, 방법(1000a)은 획득된 적어도 하나의 프리뷰 프레임의 주변 광 파라미터를 결정하는 과정을 포함한다. 단계(1006)에서, 방법(1000a)은 결정된 주변 광 파라미터가 미리 정의된 임계값 이하인 경우, 전자 장치(200)의 카메라 동작을 제1 카메라에서 제2 카메라로 스위칭하여 미디어를 캡쳐하는 과정을 포함한다.

방법(1000a)에서의 다양한 동작들은 제시된 순서와 다른 순서 또는 동시에 수행될 수 있다. 또한, 일부 실시 예들에서, 도 10a의 일부 동작들은 생략될 수 있다.

도 10b는 본 명세서에 개시된 실시 예들에 따라, 카메라 동작을 제2 카메라에서 제1 카메라로 스위칭하기 위한 방법(1000b)을 나타내는 흐름도이다.

도 10b를 참고하면, 단계(1008)에서, 방법(1000b)은 결정된 주변 광 파라미터가 미리 정의된 임계값을 초과하면 카메라 동작을 제2 카메라에서 제1 카메라로 스위칭하는 과정을 포함한다. 단계(1010)에서, 방법(1000b)은 전자 장치(200)와 연관된 제1 카메라를 사용하여 장면을 캡쳐하는 과정을 포함한다.

방법(1000b)의 다양한 동작들은 제시된 순서와 다른 순서 또는 동시에 수행될 수 있다. 또한, 일부 실시 예들에서, 도 10b의 일부 동작들은 생략될 수 있다.

도 10c는 본 개시의 실시 예들에 따른, 카메라 동작을 스위칭하는 동안 표시(indication)를 제공하는 방법(1000c)을 나타내는 흐름도이다.

도 10c를 참고하면, 단계(1012)에서, 방법(1000c)은 제1 카메라로부터 획득된 프리뷰 프레임의 적어도 하나의 부분에 대한 주변 광 파라미터를 분석하는 과정을 포함한다. 단계(1014)에서, 방법(1000c)은 제1 카메라로부터 획득된 프리뷰 프레임의 적어도 일부에 대한 주변 광 파라미터를 결정하는 것에 기반하여 제1 카메라에서 제2 카메라로의 카메라 동작의 스위칭을 결정하는 과정을 포함한다. 단계(1016)에서, 방법(1000c)은 카메라 동작이 스위칭되는 동안 지시를 제공하는 과정을 포함한다.

방법(1000c)의 다양한 동작들은 제시된 순서와 다른 순서 또는 동시에 수행될 수 있다. 또한, 일부 실시 예에서, 도 10c의 일부 동작들은 생략될 수 있다.

도 10d는 본 개시의 실시 예들에 따른, 카메라 동작을 스위칭하는 것에 대응하여 제2 카메라로부터 프리뷰 프레임을 획득하기 위한 방법을 나타내는 흐름도이다.

도 10d를 참고하면, 단계(1022)에서, 방법(1000d)은 전자 장치(200)의 이미지 캡쳐 애플리케이션을 인에이블하는 것에 대응하여 제1 카메라로부터 적어도 하나의 프리뷰 프레임을 전자 장치(200)에 의해 획득하는 과정을 포함한다. 단계(1024)에서, 방법(1000d)은 획득된 적어도 하나의 프리뷰 프레임의 주변 광 상태를, 획득된 적어도 하나의 프리뷰 프레임에서의 럭스 값을 분석함으로써 전자 장치(200)에 의해 결정하는 과정을 포함하며, 럭스 값은 주변 광 상태를 포함한다. 단계(1026)에서, 방법(1000d)은 결정된 주변 광 상태가 미리 정의된 제1 임계값 미만인 때 제1 카메라로부터 제2 카메라로 전자 장치의 카메라 동작을 전자 장치(200)에 의해 스위칭하는 과정을 포함한다. 단계(1028)에서, 방법(1000d)은 카메라 동작을 스위칭하는 것에 대응하여 제2 카메라로부터의 프리뷰 프레임을 전자 장치(200)에 의해 획득하는 과정을 포함한다. 단계(1030)에서, 방법(1000d)은 이후 결정된 주변 광 상태가 미리 정의된 제2 임계값 초과인 경우, 전자 장치(200)에 의해 제2 카메라로부터 제1 카메라로 카메라 동작을 스위칭하는 과정을 포함한다. 단계(1032)에서, 방법(1000)은 전자 장치(200)에 의해, 결정된 럭스 값에 기반하여 제1 카메라 및 제2 카메라를 사용하여 미디어를 캡쳐하는 과정을 포함한다.

방법(1000d)의 다양한 동작들은 제시된 순서와 다른 순서 또는 동시에 수행될 수 있다. 또한, 일부 실시 예들에서, 도 10d의 일부 동작들은 생략될 수 있다.

또한, 도 10e는 본 개시의 실시 예들에 따른, 결정된 주변 광 상태에 기초하여 카메라 동작을 스위칭하는 방법(1000e)을 나타내는 흐름도이다.

도 10e를 참고하면, 단계(1042)에서, 방법(1000e)은 전자 장치(200)의 제1 이미지 센서 및 제2 이미지 센서로부터 제1 센서 데이터 및 제2 센서 데이터 중 적어도 하나를, 전자 장치(200)에 의해, 획득하는 과정을 포함한다. 다시 말해, 전자 장치(200)는 제1 이미지 센서로부터 제1 센서 데이터를 획득할 수 있다. 전자 장치(200)는 제2 이미지 센서로부터 제2 센서 데이터를 획득할 수 있다. 예를 들어, 상기 제1 센서 데이터 및 상기 제2 센서 데이터는, 각 이미지 센서에서 'T'ms 동안 결정된 럭스 값을 포함한다. 다른 예를 들어, 제1 센서 데이터는 제1 이미지 센서에서 'T₁'ms 동안 결정된 럭스 값을 포함하고, 제2 센서 데이터는 제2 이미지 센서에서 'T₂'ms 동안 결정된 럭스 값을 포함한다.

단계(1044)에서, 방법(1000e)은, 상기 획득된 럭스 값이 제1 임계값보다 작은지 여부 및 제2 임계값보다 큰 지 여부 중 적어도 하나를, 전자 장치(200)에 의해, 결정하는 과정을 포함한다. 전자 장치(200)는 상기 획득된 럭스 값이 제1 임계값보다 작은지 여부를 결정할 수 있다. 또한, 전자 장치(200)는 상기 획득된 럭스 값이 제2 임계값보다 큰 지 여부를 결정할 수 있다.

단계(1046)에서, 방법(1000e)은 결정에 기반하여 카메라 스위칭을 결정할 수 있다. 예를 들어, 방법(1000e)은 결정된 럭스 값이 제1 임계값보다 작은 경우, 전자 장치(200)에 의해, 제1 카메라로부터 제2 카메라로 스위칭하는 과정을 포함한다. 또한, 다른 예를 들어, 방법(1000e)은 결정된 럭스 값이 제2 임계값보다 큰 경우, 제2 카메라로부터 제1 카메라로, 전자 장치(200)에 의해, 스위칭하는 과정을 포함한다.

단계(1048)에서, 방법(1000e)은 카메라 스위칭을 위해 안정화 절차를 수행하는 과정을 포함할 수 있다. 안정화 절차는, 카메라 스위칭을 통해 활성화되는 카메라(즉, 이미지 센서)가 기능을 원활하게 수행하기 위해 기본(default) 파라미터(들)에 대한 조정 절차일 수 있다. 전자 장치는(200)는 안정화 시간(예: 3A 컨버전스 시간)을 기다림으로써, 제1 카메라 및 제2 카메라 중 스위칭 된 적어도 하나의 'N'프레임에 대해 전자 장치(200)에 의해 안정화하는 과정을 포함할 수 있다. 여기서, 3A 컨버전스 시간은 자동 초점(auto focus, AF), 자동 화이트 밸런스(auto white balance, AWB) 및 자동 노출 제어(auto exposure control, AEC) 중 적어도 하나를 조정하기 위한 지속 기간을 포함할 수 있다.

방법(1000e)에서의 다양한 동작들은 제시된 순서와 다른 순서 또는 동시에 수행될 수 있다. 또한, 일부 실시 예들에서, 도 10e의 일부 동작들은 생략될 수 있다.

도 10f는 본 개시의 실시 예들에 따른, 사용되지 않을 때 제1 이미지 센서 및 제2 이미지 센서 중 적어도 하나가 저전력 모드로 진입하도록 야기하기 방법(1000f)을 나타내는 흐름도이다.

도 10f를 참고하면, 단계(1052)에서, 방법(1000f)은 제1 카메라와 제2 카메라 사이의 스위칭을 결정하는 것에 기반하여, 전자 장치(200)에 의해 제1 이미지 센서를 저전력 모드로 진입하도록 야기하는 과정을 포함한다.

단계(1054)에서, 방법(1000f)은 전자 장치(200)에 의해 제1 카메라의 센서로부터 수신된 중단 및 ISP에 의한 프레임들의 폐기 중 적어도 하나를 수행할 수 있다. 여기서 센서는 저전력 모드로 진입하는 센서로서, 스위칭 전에 사용 중이던 센서를 의미할 수 있다. 일 예로, 전자 장치(200)가 어두운 광 상태로 이동하는 경우, 제1 카메라의 센서는 베이어 센서일 수 있다. 일 예로, 전자 장치(200)가 밝은 광 상태로 이동하는 경우, 제1 카메라의 센서는 쿼드라 센서일 수 있다.

도 10f에는 도시되지 않았으나, 방법(1000f)은, 저전력 모드로 진입하도록 야기한 후에, 제1 카메라 및 제2 카메라 중 적어도 하나로부터 미리 획득된 복수의 프리뷰 프레임들에 기반하여 럭스 값을, 전자 장치(200)에 의해, 결정하는 과정을 포함할 수 있다. 방법(1000f)은 결정된 럭스 값이 각각 제1 임계값과 제2 임계값 중 적어도 하나보다 크거나 작은 것 중 적어도 하나인 경우, 전자 장치(200)에 의해, 제1 카메라와 제2 카메라를 스위칭하는 과정을 포함할 수 있다. 예를 들어, 전자 장치는 럭스 값이 제1 임계값보다 작은 경우, 제1 카메라를 제2 카메라로 스위칭한다. 또한 예를 들어, 전자 장치는 럭스 값이 제2 임계값보다 큰 경우, 제2 카메라를 제1 카메라로 스위칭한다.

방법(1000f)의 다양한 동작들은 제시된 순서와 다른 순서 또는 동시에 수행될 수 있다. 또한, 일부 실시 예들에서, 도 10f의 일부 동작들은 생략될 수 있다.

또한, 도 10g는 본 개시의 실시 예들에 따른, 이미지의 얼굴 및 장면 중 적어도 하나를 식별하기 위한 방법(1000g)을 나타내는 흐름도이다.

도 10g를 참고하면, 단계(1062)에서, 방법(1000g)은 제1 카메라 및 제2 카메라 중 적어도 하나에 의해 이미지 내의 얼굴 영역(즉, 얼굴 부분과 관련된 장면)을, 전자 장치(200)에 의해, 식별하는 과정을 포함한다. 단계(1064)에서, 방법(1000g)은 제1 이미지 센서 및 제2 이미지 센서 중 적어도 하나로부터 수신된 복수의 럭스 값들에 기반하여 식별된 얼굴 영역의 럭스 값을 전자 장치(200)에 의해 결정하는 과정을 포함한다. 단계(1066)에서, 방법(1000g)은 결정된 럭스 값에 기반하여 카메라 스위칭을 수행할 수 있다. 방법(1000g)는 검출된 얼굴 및 장면의 결정된 럭스 값이 상기 제1 임계값 및 상기 제2 임계값 중 적어도 하나보다 크거나 작은 것 중 적어도 하나인 경우 제1 카메라로부터 제2 카메라로 그리고 제2 카메라에서 제1 카메라로 전자 장치(200)에 의해 스위칭하는 과정을 포함한다. 구체적으로, 전자 장치는 결정된 럭스 값이 제1 임계값 미만인 경우, 제1 카메라에서 제2 카메라로 스위칭한다. 반대로, 전자 장치는 결정된 럭스 값이 제2 임계값 초과인 경우, 제2 카메라에서 제1 카메라로 스위칭한다.

방법(1000g)의 다양한 동작들은 제시된 순서와 다른 순서 또는 동시에 수행될 수 있다. 또한, 일부 실시 예들에서 도 10g의 일부 동작들은 생략될 수 있다.

본 명세서에 개시된 실시 예들은 적어도 하나의 하드웨어 장치상에서 실행되는 적어도 하나의 소프트웨어 프로그램을 통해 구현될 수 있고 구성 요소들(elements)를 제어하기 위해 네트워크 관리 기능들(network management functions)을 수행할 수 있다. 도 2에 도시된 구성 요소들은, 하드웨어 장치 또는 하드웨어 장치와 소프트웨어 모듈의 조합 중 적어도 하나 일 수 있다.

도 2 내지 도 10g에서는, 카메라 촬영 시 두 개 이상의 이미지 센서들을 선택적으로 활성화시킴으로써 미디어를 캡쳐하는 동작들에 대하여 서술하였으나, 이미지 센서 외에 추가적인 센서들이 활용될 수 있다.

일부 실시 예들에서, 전자 장치는 주변 광 상태를 결정하기 위한 이미지 센서 외에 자이로 센서에 기반하여 적응적 카메라 스위칭을 수행할 수 있다. 전자 장치는, 주변 광 상태를 결정하기 위해, 모니터링 시간 동안 럭스 값들을 획득할 수 있다. 이 때, 전자 장치는 자이로 센서의 검출 결과를 고려할 수 있다. 자이로 센서는 전자 장치의 자세(posture)를 감지할 수 있다. 전자 장치는, 모니터링 시간 동안 전자 장치의 자세가 유지되는지 여부를 결정함으로써, 검출된 럭스 값에 따른 주변 광 상태의 신뢰도를 높일 수 있다. 예를 들어, 모니터링 시간(예: Tms) 내에서 전자 장치의 자세가 변경되는 경우, 전자 장치는 임계값 미만의 럭스 값이 검출되더라도 베이어 센서에서 쿼드라 센서로 스위칭하지 않을 수 있다. 전자 장치는 다시 주변 광 상태를 모니터링할 수 있다.

또한, 일부 실시 예들에서, 전자 장치는 그립 센서에 기반하여 다양한 실시 예들에 따른 적응적 카메라 스위칭을 수행할 수 있다. 그립 센서는 사용자가 전자 장치의 어느 영역을 쥐고 있는지 여부를 감지할 수 있다. 전자 장치는, 그립 센서의 검출 결과에 기반하여, 베이어 센서와 쿼드라 센서 간 스위칭 여부를 결정할 수 있다. 전자 장치는 그립 센서를 통해 불필요한 오작동을 최소화할 수 있다.

본 개시에서, 특정 조건의 충족(fulfilled) 여부를 판단하기 위해, 이상 또는 이하의 표현이 사용되었으나, 이는 일 예를 표현하기 위한 기재일 뿐 초과 또는 미만의 기재를 배제하는 것이 아니다. '이상'으로 기재된 조건은 '초과', '이하'로 기재된 조건은 '미만', '이상 및 미만'으로 기재된 조건은 '초과 및 이하'로 대체될 수 있다.

특정 실시 예들에 대한 전술한 설명은, 현재의 지식을 적용함으로써 다른 사람들이 일반적인 개념을 벗어나지 않고, 이러한 특정 실시 예들을 다양한 애플리케이션들에 용이하게 수정 및/또는 적응할 수 있는, 일반적인 성질을 완전히 밝힐 것이다. 그러므로, 그러한 적응 및 수정은 개시된 실시 예들의 등가물의 의미 및 범위 내에서 이해되어야 한다. 여기에 사용된 표현(phraseology) 또는 용어(terminology)는 설명을 위한 목적이지 한정을 위한 것이 아님을 이해해야 한다. 따라서, 본 명세서의 실시 예들이 실시 예들로 설명되었지만, 통상의 기술자는 본 명세서의 실시 예들이 본 명세서에 설명된 실시 예들의 사상 및 범위 내에서 변형하여 실시될 수 있음을 인식할 것이다.

Claims

주변 광 상태(ambient light condition)에 기반하여 전자 장치와 관련된 복수의 카메라들을 이용하여 미디어를 캡쳐하기 위한 장치에 있어서,
명령들을 저장하도록 구성되는 적어도 하나의 메모리와
적어도 하나의 프로세서를 포함하고,
상기 명령들이 실행될 때, 상기 적어도 하나의 프로세서는,
전자 장치의 이미지 캡쳐 애플리케이션을 인에이블하는 것에 대응하여, 제1 카메라로부터 적어도 하나의 프리뷰 이미지를 획득하고,
상기 획득된 적어도 하나의 프리뷰 이미지로부터 주변 광 파라미터를 결정하고,
상기 주변 광 파라미터가 미리 정의된 제1 임계값 미만인 경우, 상기 미디어를 캡쳐하기 위해, 상기 전자 장치의 카메라 동작을 상기 제1 카메라에서 제2 카메라로 스위칭하도록 구성되는 장치.
청구항 1에 있어서, 상기 적어도 하나의 프로세서는,
상기 제2 카메라를 이용하여 추가 주변 광 파라미터를 결정하고,
상기 추가 주변 광 파라미터가 미리 정의된 제2 임계값 초과인 경우, 카메라 동작을 상기 제2 카메라에서 상기 제1 카메라로 스위칭하고,
상기 전자 장치와 관련된 상기 제1 카메라를 이용하여 장면(scene)을 캡쳐하도록 추가적으로 구성되고,
상기 제2 임계값은 상기 제1 임계값 보다 큰 장치.
청구항 1에 있어서, 상기 적어도 하나의 프로세서는,
상기 제1 카메라로부터 획득되는 상기 적어도 하나의 프리뷰 이미지의 적어도 일 부분에 대한 상기 주변 광 파라미터를 분석하고,
상기 제1 카메라로부터 획득되는 상기 적어도 하나의 프리뷰 이미지의 적어도 일 부분에 대한 상기 주변 광 파라미터를 결정하는 것에 기초하여, 상기 제1 카메라에서 상기 제2 카메라로의 상기 카메라 동작의 스위칭을 결정하고,
상기 카메라 동작을 스위칭하는 동안 지시(indication)를 제공하도록 추가적으로 구성되는 장치.
청구항 1에 있어서,
상기 제1 카메라는 베이어 센서(bayer sensor)를 포함하고,
상기 제2 카메라는 쿼드라 센서(quadra sensor)를 포함하는 장치.
청구항 1에 있어서, 상기 주변 광 파라미터는 럭스 값(lux value), 센서 데이터(sensor data), 장면 분석 데이터(scene analysis data), 얼굴 인식 데이터(face recognition data), 광도(light intensity) 중 적어도 하나를 포함하는 장치.
청구항 1에 있어서, 상기 적어도 하나의 프로세서는, 상기 카메라 동작을 스위칭하기 위해,
상기 결정된 주변 광 파라미터가 미리 정의된 제1 임계값 미만인 경우, 상기 제2 카메라를 활성화시키고,
상기 제2 카메라를 활성화한 때로부터 일정 시간이 경과한 후 제1 카메라를 비활성화하도록 구성되고,
상기 일정 시간은, 상기 활성화된 제2 카메라를 통해 이미지를 획득하기 위해, 상기 제2 카메라의 설정의 기본 값(default value)을 조정하기 위한 구간인 장치.
청구항 6에 있어서, 상기 제2 카메라의 설정은, 자동 초점(auto focus, AF)의 설정, 자동 화이트 밸런스(automatic white balance, AWB)의 설정, 자동 노출 제어(automatic exposure control, AEC)의 설정 중 적어도 하나를 포함하는 장치.
청구항 1에 있어서, 상기 적어도 하나의 프로세서는,
상기 제1 카메라에서 상기 제2 카메라로의 스위칭의 결정에 기반하여, 상기 제1 카메라의 제1 이미지 센서가 저전력 모드에 진입하도록 야기하고,
상기 제1 이미지 센서로부터의 프레임 생성의 중단 및 상기 제1 카메라로부터 수신된 ISP(image signal processing)에 의해 프레임들의 폐기 중 적어도 하나를 수행하도록 추가적으로 구성되는 장치.
청구항 1에 있어서, 상기 적어도 하나의 프로세서는, 상기 주변 광 파라미터를 결정하기 위해,
상기 적어도 하나의 프리뷰 이미지의 얼굴 영역을 식별하고,
상기 식별된 얼굴 영역의 럭스 값을 상기 주변 광 파라미터로 결정하도록 추가적으로 구성되는 장치.
청구항 1에 있어서,
상기 제1 카메라는 제1 이미지 센서를 포함하고,
상기 제2 카메라는 제2 이미지 센서를 포함하고,
상기 제1 이미지 센서는 픽셀들에 대한 데이터를 출력하도록 구성되고,
상기 제2 이미지 센서는 픽셀-비닝(pixel binning)을 통해 픽셀들을 결합함으로써, 비닝 데이터(binning data)를 출력하도록 구성되는 장치.
주변 광 상태(ambient light condition)에 기반하여 전자 장치와 관련된 복수의 카메라들을 이용하여 미디어를 캡쳐하기 위한 방법에 있어서,
전자 장치에 의해, 상기 전자 장치의 이미지 캡쳐 애플리케이션을 인에이블하는 것에 대응하여, 제1 카메라로부터 적어도 하나의 프리뷰 이미지를 획득하는 과정과,
상기 전자 장치에 의해, 상기 획득된 적어도 하나의 프리뷰 이미지로부터 주변 광 파라미터를 결정하는 과정과,
상기 전자 장치에 의해, 상기 결정된 주변 광 파라미터를 미리 정의된 제1 임계값 미만인 경우, 상기 미디어를 캡쳐하기 위해, 상기 전자 장치의 카메라 동작을 상기 제1 카메라에서 제2 카메라로 스위칭하는 과정을 포함하는 방법.
청구항 11에 있어서,
상기 전자 장치에 의해, 상기 제2 카메라를 이용하여 추가 주변 광 파라미터를 결정하는 과정과,
상기 추가 주변 광 파라미터가 미리 정의된 제2 임계값 초과인 경우, 카메라 동작을 상기 제2 카메라에서 상기 제1 카메라로 스위칭하는 과정과,
상기 전자 장치에 의해, 상기 전자 장치와 관련된 상기 제1 카메라를 이용하여 장면(scene)을 캡쳐하는 과정을 더 포함하고,
상기 제2 임계값은 상기 제1 임계값 보다 큰 방법.
청구항 11에 있어서,
상기 전자 장치에 의해, 상기 제1 카메라로부터 획득되는 상기 프리뷰 이미지의 적어도 일 부분에 대한 상기 주변 광 파라미터를 분석하는 과정과,
상기 전자 장치에 의해, 상기 제1 카메라로부터 획득되는 상기 프리뷰 이미지의 적어도 일 부분에 대한 상기 주변 광 파라미터를 결정하는 것에 기초하여, 상기 제1 카메라에서 상기 제2 카메라로의 상기 카메라 동작의 스위칭을 결정하는 과정과,
상기 전자 장치에 의해, 상기 카메라 동작을 스위칭하는 동안 지시(indication)를 제공하는 과정을 더 포함하는 방법.
청구항 11에 있어서,
상기 제1 카메라는 베이어 센서(bayer sensor)를 포함하고,
상기 제2 카메라는 쿼드라 센서(quadra sensor)를 포함하는 방법.
청구항 11에 있어서, 상기 주변 광 파라미터는 럭스 값(lux value), 센서 데이터(sensor data), 장면 분석 데이터(scene analysis data), 얼굴 인식 데이터(face recognition data), 광도(light intensity) 중 적어도 하나를 포함하는 방법.
청구항 11에 있어서, 상기 카메라 동작을 스위칭하는 과정은,
상기 결정된 주변 광 파라미터가 미리 정의된 제1 임계값 미만인 경우, 상기 제2 카메라를 활성화시키는 과정과,
상기 제2 카메라를 활성화한 때로부터 일정 시간이 경과한 후 제1 카메라를 비활성화시키는 과정을 포함하고,
상기 일정 시간은, 상기 활성화된 제2 카메라를 통해 이미지를 획득하기 위해, 상기 제2 카메라의 설정의 기본 값(default value)을 조정하기 위한 구간인 방법.
청구항 16에 있어서, 상기 제2 카메라의 설정은, 자동 초점(auto focus, AF)의 설정, 자동 화이트 밸런스(automatic white balance, AWB)의 설정, 자동 노출 제어(automatic exposure control, AEC)의 설정 중 적어도 하나를 포함하는 방법.
청구항 11에 있어서,
상기 전자 장치에 의해, 상기 제1 카메라에서 상기 제2 카메라로의 스위칭의 결정에 기반하여, 상기 제1 카메라의 제1 이미지 센서가 저전력 모드에 진입하도록 야기하는 과정과,
상기 전자 장치에 의해, 상기 제1 이미지 센서로부터의 프레임 생성의 중단 및 상기 제1 카메라로부터 수신된 ISP(image signal processing)에 의해 프레임들의 폐기 중 적어도 하나를 수행하는 과정을 더 포함하는 방법.
청구항 11에 있어서,
상기 적어도 하나의 프리뷰 이미지의 얼굴 영역을 식별하는 과정과,
상기 식별된 얼굴 영역의 럭스 값을 상기 주변 광 파라미터로 결정하는 과정을 더 포함하는 방법.
청구항 11에 있어서,
상기 제1 카메라는 제1 이미지 센서를 포함하고,
상기 제2 카메라는 제2 이미지 센서를 포함하고,
상기 제1 이미지 센서는 픽셀들에 대한 데이터를 출력하도록 구성되고,
상기 제2 이미지 센서는 픽셀-비닝(pixel binning)을 통해 픽셀들을 결합함으로써, 비닝 데이터(binning data)를 출력하도록 구성되는 방법.