KR102326718B1

KR102326718B1 - 다-초점 이미징을 위한 시스템 및 방법

Info

Publication number: KR102326718B1
Application number: KR1020167027107A
Authority: KR
Inventors: 아다르쉬 호사아그라하라 나가라자; 웨이량 리우; 시종 리우
Original assignee: 퀄컴 인코포레이티드
Priority date: 2014-04-03
Filing date: 2015-03-25
Publication date: 2021-11-15
Also published as: CN106134176B; CA2941143C; BR112016023059A8; US9538065B2; JP6594897B2; CN106134176A; CN110572574A; BR112016023059A2; US20150288870A1; WO2015153218A1; JP2017518658A; EP3127320A1; KR20160140684A; CA2941143A1; EP3127320B1; ES2768712T3

Abstract

다-초점 이미징을 위한 시스템들 및 방법들이 개시된다. 이미징 시스템은 관심 장면의 프리뷰 모드에 기초하여 사용자에게 다수의 관심 영역들을 제안할 수도 있다. 사용자는 다-초점 이미지를 위해 복수의 제안된 관심 영역들을 선택할 수도 있다. 이미징 시스템은 다수의 관심 영역들의 각각에 대한 자동초점 파라미터들을 계산하고, 카메라의 셔터 버튼이 눌러지는 경우 관심 영역들의 각각의 단일 이미지들을 캡쳐한다. 이미징 시스템은 그 다음에 다수의 이미지들로부터 다-초점 이미지를 생성한다.

Description

다-초점 이미징을 위한 시스템 및 방법{SYSTEM AND METHOD FOR MULTI-FOCUS IMAGING}

본원에 개시된 시스템들 및 방법들은 일반적으로 다-초점 이미징에 관한 것이다.

카메라로 고 품질 이미지들을 찍기 위해, 노출 및 초점 레벨들은 관심 장면 내에서의 오브젝트들에 대해 잘 조정되어야 한다. 그러나, 많은 상황들에서, 장면 내에서의 모든 오브젝트들에 대해 최적의 노출 및 초점 레벨을 획득하는 것은 어려울 수 있다. 예를 들어, 카메라 렌즈로부터 무한대로 확장되는 장면 심도를 정의하는 축 (보통 z-축) 을 따라 상이한 거리들에 흩어져 있는 오브젝트들을 초점 내로 유지하는 것은 어려울 수도 있다. 필드의 심도는 통상적으로 관심 장면의 오브젝트가 초점에 맞춰져 있는 z-축의 구역이다. 카메라 렌즈가 줌 인된 경우, 필드의 심도는 카메라 렌즈가 줌 아웃된 경우보다 얕다. 이러한 이유로, 필드 z-축의 심도를 따라 상이한 포지션들에 위치된 여러 개의 오브젝트들에 대해 초점을 유지하는 것이 어려울 수 있다.

본 개시물의 시스템들, 방법들, 및 디바이스들 각각은 여러 혁신적은 양태들을 가지며, 이들 중 어느 것도 본원에서 개시된 바람직한 속성들을 독자적으로 책임지는 것은 아니다. 본원에 설명된 혁신들, 양태들, 및 피쳐들의 조합들은 시스템들, 방법들, 및 디바이스들의 다양한 실시형태들에 포함될 수 있고, 그러한 조합들은 본원에 설명된 실시형태들의 예들에 의해 제한되지 않는다.

본원에 설명된 실시형태들 및 혁신들은 다수의, 초점이 맞는, 관심 영역들을 갖는 이미지를 획득하기 위해 전자 디바이스에 대한 프로세서에서 구동될 수도 있는 시스템들 및 방법들에 관한 것이다. 직관적 사용자 경험이 제시되어 단일 이미지 내의 장면 내에서의 상이한 심도들에 있는 상이한 구역들에 대해 사용자가 초점을 맞추는 것을 가능하게 한다.

일부 실시형태들에서, 카메라는 다수의 관심 영역 (region of interest; ROI) 들을 포함하는 장면에서 선택되고 포인팅된다. 자동초점 메커니즘이 구동하기 시작하고 다수의 ROI 들이 이미지 프리뷰에서 사용자에게 제안될 수도 있다. 이러한 ROI들은 (a) 얼굴 검출, (b) 오브젝트 추적, 또는 (c) 직접적인 사용자 입력을 포함하나 이로 제한되지는 않는 다양한 공지의 방법들을 이용하여 결정될 수도 있다. 사용자는 원하는 선택사항을 선택하여 조정하기 위해 스크린을 터치하거나 핀치함으로써 프리뷰 중에 다수의 ROI들을 선택할 수도 있다. 사용자의 터치에 기초하여, 자동초점은 각각의 관심 영역에 대한 파라미터들을 계산하여 이러한 정보를 저장한다.

일부 실시형태들에서, 사용자가 이미지를 캡쳐하기 위해 셔터 버튼을 누르는 경우, 선택된 ROI들의 수 (또는, 동등하게, 계산되어 저장된 자동초점 파라미터들의 수) 에 기초하여 다수의 이미지들이 캡쳐된다. 다수의 이미지들의 각각은 초점이 맞는 ROI들 중 하나를 포함한다. 그 다음에, 다수의 이미지들로부터 단일 이미지가 생성되며, 단일 이미지는 다수의 이미지들로부터 매끄럽게 (seamlessly) 형성된 것처럼 보인다. 결과적인 단일 이미지는 초점이 맞는 다수의 관심 영역들 모두를 포함한다.

일 양태는 장면 내에서의 다수의 관심 영역들을 제안하고 다수의 관심 영역들로부터 다-초점 이미지를 생성하기 위한 시스템에 관한 것이다. 시스템은 장면 내에서의 후보 관심 영역들을 결정하고, 디스플레이 스크린 상에 장면 내에서의 가능한 관심 영역들로부터 관심 영역들의 제안들을 표시하고, 다수의 관심 영역들의 선택을 표시하는 입력을 수신하고, 선택된 다수의 관심 영역들의 각각과 연관된 자동초점 파라미터들을 결정하고, 관심 영역과 연관된 자동초점 파라미터들을 이용하여 각각의 관심 영역의 이미지를 캡쳐하고, 각각의 관심 영역을 포함하는 이미지로부터 이미지 데이터를 포함하는 다-초점 이미지를 생성하도록 구성된 제어 모듈을 포함한다. 시스템은 센서를 포함하는 이미징 디바이스를 더 포함할 수도 있으며, 여기서 제어 모듈은 이미지 디바이스 및 관심 영역과 연관된 자동초점 파라미터들을 이용하여 각각의 관심 영역의 이미지를 캡쳐하도록 구성된다. 제어 모듈은 프리뷰 모드에서 이미징 디바이스를 동작시키도록 더 구성될 수도 있다. 제어 모듈은 프리뷰 모드에서 사용자에게 제안된 다수의 관심 영역들을 그래픽적으로 디스플레이하도록 더 구성될 수도 있다. 제어 모듈은 얼굴 검출 알고리즘 또는 오브젝트 추적 알고리즘을 이용하여 장면 내에서의 관심 영역들을 결정하도록 더 구성될 수도 있다. 제어 모듈은 장면 내에서의 후보 관심 영역들을 결정하는 것에 관한 입력을 수신하도록 더 구성될 수도 있다. 이미징 디바이스는 터치스크린을 더 포함할 수도 있고, 제어 모듈은 터치스크린 상에 터치 이벤트를 등록함으로써 다수의 관심 영역들의 선택을 표시하는 입력을 수신하도록 더 구성될 수도 있다. 시스템은 모바일 디바이스를 더 포함할 수도 있으며, 여기서 제어 모듈은 모바일 디바이스의 카메라 애플리케이션의 컴포넌트일 수도 있다.

다른 양태는, 장면 내에서의 다수의 관심 영역들을 제안하여 다수의 관심 영역들로부터 다-초점 이미지를 생성하는 방법은, 장면 내에서의 후보 관심 영역들을 결정하는 단계, 디스플레이 스크린 상에 장면 내에서의 가능한 관심 영역들로부터 관심 영역들의 제안들을 표시하는 단계, 다수의 관심 영역들의 선택을 표시하는 입력을 수신하는 단계, 선택된 다수의 관심 영역들의 각각과 연관된 자동초점 파라미터들을 결정하는 단계, 관심 영역과 연관된 자동초점 파라미터들을 이용하여 각각의 관심 영역의 이미지를 캡쳐하는 단계, 및 각각의 관심 영역을 포함하는 이미지로부터 이미지 데이터를 포함하는 다-초점 이미지를 생성하는 단계를 포함한다. 방법은 프리뷰 모드에서 이미징 디바이스를 동작시키는 단계를 더 포함할 수도 있다. 일부 실시형태들에서, 장면 내에서의 후보 관심 영역들을 결정하는 것은 장면 내에서의 얼굴들 또는 오브젝트들에 대해 얼굴 검출 및 오브젝트 추적 중 하나 이상을 수행하는 것을 더 포함한다. 방법은 프리뷰 모드에서 사용자에게 제안된 다수의 관심 영역들을 그래픽적으로 디스플레이하는 단계를 더 포함할 수도 있다. 일부 실시형태들에서, 다수의 관심 영역들의 선택에 관한 사용자 입력을 수락하는 것은 이미징 디바이스의 터치스크린 상에 터치 이벤트를 등록하는 것을 더 포함한다. 일부 실시형태들에서, 이미징 디바이스는 모바일 디바이스에 대한 카메라 애플리케이션의 일부분으로서 동작하도록 구성된다.

또 다른 양태는, 장면 내에서의 다수의 관심 영역들을 제안하여 다수의 관심 영역들로부터 다-초점 이미지를 생성하기 위한 장치는, 장면 내에서의 후보 관심 영역들을 결정하는 수단, 디스플레이 스크린 상에 장면 내에서의 가능한 관심 영역들로부터 관심 영역들의 제안들을 표시하는 수단, 다수의 관심 영역들의 선택을 표시하는 입력을 수신하는 수단, 선택된 다수의 관심 영역들의 각각과 연관된 자동초점 파라미터들을 결정하는 수단, 관심 영역과 연관된 자동초점 파라미터들을 이용하여 각각의 관심 영역의 이미지를 캡쳐하는 수단, 및 각각의 관심 영역을 포함하는 이미지로부터 이미지 데이터를 포함하는 다-초점 이미지를 생성하는 수단을 포함한다. 장치는 프리뷰 모드에서 이미징 디바이스를 동작시키는 수단을 더 포함할 수도 있다. 일부 실시형태들에서, 장면 내에서의 후보 관심 영역들을 결정하는 수단은 장면 내에서의 얼굴들 또는 오브젝트들에 대해 얼굴 검출 및 오브젝트 추적 중 하나 이상을 수행하는 수단을 더 포함한다. 일부 실시형태들에서, 장치는 프리뷰 모드에서 사용자에게 제안된 다수의 관심 영역들을 그래픽적으로 디스플레이하는 수단을 더 포함할 수도 있다. 일부 실시형태들에서, 다수의 관심 영역들의 선택에 관한 사용자 입력을 수락하는 수단은 이미징 디바이스의 터치스크린 상에 터치 이벤트를 등록하는 수단을 더 포함한다.

다른 양태에서, 비일시적 컴퓨터-판독가능 매체는, 실행되는 경우, 적어도 하나의 물리적 컴퓨터 프로세서로 하여금, 장면 내에서의 다수의 관심 영역들을 제안하여 다수의 관심 영역들로부터 다-초점 이미지를 생성하는 방법을 수행하게 하는 명령들을 저장한다. 방법은 장면 내에서의 다수의 가능한 또는 후보 관심 영역들을 결정하는 단계, 사용자에게 장면 내에서의 다수의 관심 영역들로부터 다수의 관심 영역들을 제안하는 단계, 다수의 관심 영역들의 선택에 관한 사용자 입력을 수락하는 단계, 다수의 관심 영역들의 각각과 연관된 자동초점 파라미터들을 결정하는 단계, 관심 영역과 연관된 자동초점 파라미터들을 이용하여 각각의 관심 영역의 단일 이미지를 캡쳐하는 단계, 및 각각의 관심 영역의 단일 이미지로부터 단일 다-초점 이미지를 생성하는 단계를 포함한다. 일부 실시형태들에서, 방법은 프리뷰 모드에서 이미징 디바이스를 동작시키는 단계를 포함한다. 일부 실시형태들에서, 장면 내에서의 후보 관심 영역들을 결정하는 것은 장면 내에서의 얼굴들 또는 오브젝트들에 대해 얼굴 검출 및 오브젝트 추적 중 하나 이상을 수행하는 것을 더 포함한다. 일부 실시형태에서, 방법은 프리뷰 모드에서 사용자에게 제안된 다수의 관심 영역들을 그래픽적으로 디스플레이하는 단계를 더 포함한다. 일부 실시형태들에서, 다수의 관심 영역들의 선택에 관한 사용자 입력을 수락하는 것은 이미징 디바이스의 터치스크린 상에 터치 이벤트를 등록하는 것을 더 포함한다. 일부 실시형태들에서, 이미징 디바이스는 모바일 디바이스에 대한 카메라 애플리케이션의 일부분으로서 동작하도록 구성된다.

개시된 양태들은 이하에서 개시된 양태들을 설명하기 위한 것으로 제한하지 않도록 제공되는 첨부된 도면들과 결부하여 설명될 것이며, 여기서 유사한 지정들은 유사한 요소들을 표시한다.
도 1 은 다수의, 초점이 맞는, 관심 영역들을 이미지를 획득하기 위한 일부 동작 엘리먼트들을 구현하는 시스템을 도시하는 블록도이다.
도 2 는 다수의, 초점이 맞는, 관심 영역들을 갖는 이미지를 획득하기 위한 프로세스를 도시하는 플로 차트이다.
도 3 은 초점의 관심 영역들에 대한 제안들 및 사용자 선택된 관심 영역들을 도시하는 사용자 인터페이스의 예이다.
도 4 는 다수의 초점 영역들을 갖는 다-초점 이미지의 예이다.

통상적으로, 셀 폰들, 태블릿들, 또는 다른 모바일 디바이스들과 같은 스마트 디바이스들에서의 카메라들은 상이한 심도들에 있는 캡쳐 오브젝트들을 명확하게 이미징할 수 없다. 대부분의 현재 디바이스들은 단일 이미지에서 다수의 관심 오브젝트들을 캡쳐하여 초점을 맞출 수 없다. 일부 카메라들은 상이한 심도들에 있는 다수의 관심 오브젝트들에 초점을 맞추는 것에 대한 것일 수도 있으나, 이러한 이미지를 습득하기 위한 렌즈 포지션은 초점이 맞는 관심 오브젝트들 모두를 갖는 단일 이미지를 생성하기 보다는 관심 장면에서의 각각의 오브젝트의 초점을 "절충한다". 하기에서 논의된 방법들 및 시스템들은 상이한 초점의 심도들에 위치된 단일의, 초점이 맞는 다수의 오브젝트들의 이미지를 획득하기 위한 해법을 제공한다.

일부 실시형태들에서, 제안된 다-초점 이미징 프로세스는 프리뷰 모드 중에 사용자에게 다수의 관심 영역들을 제안하도록 프로세서에 지시한다. 이러한 제안들은 얼굴 검출, 오브젝트 추적, 또는 다른 피쳐 혹은 오브젝트 식별 방법들에 기초하여 이루어질 수도 있다. 사용자는 최종 다-초점 이미지에 포함될 하나 이상의 관심 영역들을 선택할 수도 있다. 프로세서는 그 다음에 관심 영역의 각각에 대한 자동초점 파라미터들을 계산하여 이러한 정보를 저장한다. 사용자가 이미지를 캡쳐하기 위해 셔터 버튼을 누르는 경우, 선택된 ROI들의 수 (또는, 동등하게, 계산되어 저장된 자동초점 파라미터들의 수) 에 기초하여 다수의 이미지들이 캡쳐된다. 다수의 이미지들의 각각은 바람직하게는 초점이 맞는 ROI들 중 하나를 포함한다. 그 다음에, 다수의 이미지들로부터 단일 이미지가 생성되며, 단일 이미지는 다수의 이미지들로부터 매끄럽게 형성된 것처럼 보인다. 결과적인 단일 이미지는 바람직하게는 초점이 맞는 다수의 관심 영역들 모두를 포함한다.

예들은 프로세스로서 설명될 수도 있으며, 프로세스는 플로차트, 플로도, 유한 상태도, 구조도, 또는 블록도로 도시됨에 유의한다. 플로차트가 동작들을 순차적인 프로세스로 설명할지라도, 동작들 중 많은 동작들은 병렬로, 또는 동시에 수행될 수 있고, 프로세스는 반복될 수 있다. 또한, 동작들의 순서는 재-배열될 수도 있다. 프로세스는 프로세스의 동작들이 완료되는 경우 종료된다. 프로세스는 방법, 기능, 절차, 서브루틴, 서브프로그램 등에 대응할 수도 있다. 프로세스가 소프트웨어 기능에 대응하는 경우, 프로세스의 종료는 호 기능 또는 메인 기능으로의 기능의 복귀에 대응한다.

실시형태들은 시스템-온-칩 (System-on-Chip; SoC) 또는 외부 하드웨어, 소프트웨어, 펌웨어, 또는 이의 임의의 조합으로 구현될 수도 있다. 당업자라면, 정보 및 신호들이 임의의 다양한 상이한 기술들 및 기법들을 이용하여 표현될 수도 있음을 이해할 것이다. 예를 들어, 상기 설명을 통해 참조될 수도 있는 데이터, 명령들, 커맨드들, 정보, 신호들, 비트들, 심볼들, 및 칩들은 전압들, 전류들, 전자기파들, 자기 장들 또는 자기 입자들, 광학 장들 또는 광학 입자들, 또는 이들의 임의의 조합에 의해 표현될 수도 있다.

다음의 설명에서, 예들에 대한 완전한 이해를 제공하기 위해 특정 세부사항들이 주어진다. 그러나, 예들은 이러한 특정 세부사항들 없이 실시될 수도 있음이 당업자에 의해 이해될 것이다. 예를 들어, 불필요한 세부사항으로 예들을 모호하게 하지 않기 위해 전기 컴포넌트들/디바이스들은 블록도들로 보여질 수도 있다. 다른 사례들에서, 이러한 컴포넌트들, 다른 구조들, 및 기법들이 상세히 보여져 예들을 추가적으로 설명할 설명할 수도 있다.

시스템 개요

도 1 은 다수의, 초점이 맞는, 관심 영역들을 갖는 단일 이미지를 획득하도록 구성된 이미징 시스템 (100) 의 일 예를 도시한다. 도시된 실시형태는 제한하려고 의도하지 않고, 오히려 일부 실시형태들에서 소정의 컴포넌트들의 예이다. 시스템 (100) 은 도시된 컴포넌트들의 명확함을 위해 도시되지 않은 다른 기능들을 위한 다양한 다른 컴포넌트들을 포함할 수도 있다.

이미징 시스템 (100) 은 이미징 디바이스 (110) 및 전자 디스플레이 (130) 를 포함할 수도 있다. 전자 디스플레이 (130) 의 특정 실시형태들은 임의의 평면 패널 디스플레이 기술, 예컨대, LED, LCD, 플라즈마 또는 프로젝션 스크린일 수도 있다. 전자 디스플레이 (130) 는 사용자에 대한 시각적 디스플레이를 위한 정보를 수신하기 위해 프로세서 (120) 에 커플링될 수도 있다. 그러한 정보는 메모리 위치에 저장된 파일들의 시각적 표현들, 프로세서 (120) 상에 설치된 소프트웨어 애플리케이션들, 사용자 인터페이스들, 및 네트워크-액세스가능 컨텐츠 오브젝트들을 포함할 수도 있으나, 이로 제한되지는 않는다.

이미징 디바이스 (110) 는 이미징 센서들의 하나 이상의 조합을 사용할 수도 있다. 이미징 시스템 (100) 은 이미징 디바이스 (110) 에 링크된 프로세서 (120) 를 더 포함할 수 있다. 작업 메모리 (135), 전자 디스플레이 (130), 및 프로그램 메모리 (140) 가 또한 프로세서 (120) 와 통신한다. 이미징 시스템 (100) 은 태블릿, 랩탑 컴퓨터, 또는 셀룰러 전화기와 같은 모바일 디바이스일 수도 있다.

프로세서 (120) 는 범용 프로세싱 유닛일 수도 있거나, 핸드헬드 전자 디바이스에 있어서 이미징 애플리케이션들을 위해 특별히 설계된 프로세서일 수도 있다. 도시된 바와 같이, 프로세서 (120) 는 프로그램 메모리 (140) 및 작업 메모리 (135) 에 접속되어 데이터 통신한다. 일부 실시형태들에서, 작업 메모리 (135) 는 프로세서 (120), 예를 들어, 캐시 메모리에 포함될 수도 있다. 작업 메모리 (135) 는 또한 프로세서 (120) 와 별도이고 프로세서 (120) 에 커플링된 컴포넌트, 예를 들어, 하나 이상의 RAM 또는 DRAM 컴포넌트들일 수도 있다. 다시 말해, 도 1 이 여러 모듈들을 포함하는 메모리 컴포넌트 (140), 및 작업 메모리를 포함하는 별도의 메모리 (135) 를 포함하는 2 개의 메모리 컴포넌트들을 도시하나, 당업자는 상이한 메모리 아키텍쳐들을 이용하는 여러 실시형태들을 인식할 것이다. 예를 들어, 설계는 메모리 (140) 에 포함된 모듈들을 구현하는 프로세서 명령들의 저장을 위해 ROM 또는 정적 RAM 메모리를 이용할 수도 있다. 프로세서 명령들은 그 다음에 RAM 내로 로딩되어 프로세서에 의한 실행을 가능하게 할 수도 있다. 예를 들어, 작업 메모리 (135) 는 RAM 메모리일 수도 있고, 명령들은 프로세서 (120) 에 의한 실행 전에 작업 메모리 (135) 내에 로딩된다.

예시된 실시형태에서, 프로그램 메모리 (140) 는 이미지 캡쳐 모듈 (145), 관심 영역 (ROI) 제안 모듈 (150), 자동초점 파라미터들 결정 모듈 (155), 단일 이미지 생성 모듈 (160), 운영 체제 (165), 및 사용자 인터페이스 모듈 (170) 을 저장한다. 이러한 모듈들은 다양한 이미지 프로세싱 및 디바이스 관리 태스크들을 수행하도록 프로세서 (120) 를 구성하는 명령들을 포함할 수도 있다. 프로그램 메모리 (140) 는 임의의 적합한 컴퓨터-판독가능 저장 매체, 예컨대, 비일시적 저장 매체일 수 있다. 작업 메모리 (135) 는 메모리 (140) 의 모듈들에 포함된 프로세서 명령들의 작업 세트를 저장하기 위해 프로세서 (120) 에 의해 이용될 수도 있다. 대안적으로, 작업 메모리 (135) 는 또한 이미징 시스템 (100) 의 동작 중에 생성된 동적 데이터를 저장하기 위해 프로세서 (120) 에 의해 이용될 수도 있다.

상술된 바와 같이, 프로세서 (120) 는 메모리 (140) 에 저장된 여러 개의 모듈들로 구성된다. 다시 말해, 프로세서 (120) 는 메모리 (140) 에 있는 모듈들에 저장된 명령들을 구동할 수 있다. 이미지 캡쳐 모듈 (145) 은 이미징 디바이스로부터 이미지들을 획득하도록 프로세서 (120) 를 구성하는 명령들을 포함할 수도 있다. 따라서, 프로세서 (120) 는, 이미지 캡쳐 모듈 (145), 이미징 디바이스 (110), 및 작업 메모리 (135) 와 함께, 하나 이상의 관심 영역들의 이미지 센서 데이터를 획득하는 일 수단을 나타낸다.

여전히 도 1 을 참조하면, 메모리 (140) 는 ROI 제안 모듈 (150) 을 또한 포함할 수도 있다. ROI 제안 모듈 (150) 은, 하기에서 보다 상세히 설명될 바와 같이, 얼굴 검출, 오브젝트 추적, 또는 다른 알고리즘들을 이용하여 사용자에게 관심 영역들을 제안하고, 이미징 디바이스 (110) 의 프리뷰 모드 중에 전자 디스플레이 (130) 상에서 사용자에게 관심 영역들을 디스플레이하도록 프로세서 (120) 를 구성하는 명령들을 포함할 수도 있다. 따라서, 프로세서 (120) 는, ROI 제안 모듈 (150), 작업 메모리 (135), 및 전자 디스플레이 (130) 와 함께, 사용자 전자 디바이스에 하나 이상의 관심 영역들을 제안하고 보여주는 일 수단을 나타낸다.

메모리 (140) 는 또한 자동초점 파라미터들 결정 모듈 (155) 을 포함할 수도 있다. 자동초점 파라미터들 결정 모듈 (155) 은 자동초점 기능을 수행하고 식별된 관심 영역들의 각각에 대한 자동초점 파라미터들을 계산하여 저장하도록 프로세서 (120) 를 구성하는 명령들을 포함할 수도 있다. 예를 들어, 3 개의 관심 영역들이 선택되면, 프로세서 (120) 는 관심 영역의 각각에 대응하는 자동초점 파라미터들을 계산하여 작업 메모리 (135) 또는 저장 디바이스 (125) 에 자동초점 파라미터들을 저장하도록 자동초점 파라미터들 결정 모듈 (155) 에 의해 명령을 받을 수도 있다. 프로세서 (120) 는 그 다음에, 이미징 디바이스 (110) 를 이용하여, 각각의 관심 영역의 자동초점 파라미터들에 기초하여 각각의 관심 영역의 단일 이미지들을 캡쳐하도록 이미지 캡쳐 모듈 (145) 에 의해 명령을 받을 수도 있다. 따라서, 프로세서 (120) 는, ROI 제안 모듈 (150), 자동초점 파라미터들 결정 모듈 (155), 및 작업 메모리 (135) 와 함께, 각각의 선택된 관심 영역에 대한 자동초점 파라미터들을 계산하여 저장하는 일 수단을 나타낸다.

메모리 (140) 는 또한 단일 이미지 생성 모듈 (160) 을 포함할 수도 있다. 도 1 에 도시된 단일 이미지 생성 모듈 (160) 은 ROI 제안 모듈 (150) 에 의해 식별된 다수의 관심 영역들을 포함하는 단일의 다-초점 이미지를 생성하도록 프로세서 (120) 를 구성하는 명령들을 포함할 수도 있다. 예를 들어, 3 개의 관심 영역들이 선택되면, 각각의 관심 영역에 대해 자동초점 파라미터들이 계산되어 저장되고, 다수의 이미지들이 취해지면 (여기서 각각의 관심 영역은 다수의 이미지들 중 하나에서 초점이 맞다), 프로세서 (120) 는 다수의 이미지들을 매끄럽게 통합함으로써 단일의 다-초점 이미지를 생성하도록 단일 이미지 생성 모듈 (160) 에 의해 명령을 받을 수도 있다. 따라서, 프로세서 (120) 는, ROI 제안 모듈 (150), 단일 이미지 생성 모듈 (160), 및 작업 메모리 (135) 와 함께, 관심 영역들의 다수의 이미지들로부터 단일 이미지를 생성하는 일 수단을 나타낸다.

메모리 (140) 는 또한 사용자 인터페이스 모듈 (170) 을 포함할 수도 있다. 도 1 에 도시된 사용자 인터페이스 모듈 (170) 은 사용자가 디바이스와 상호작용하는 것을 가능하게 하는, 예컨대, 사용자가 이미징 디바이스의 프리뷰 모드에서 식별되고 디스플레이된 관심 영역들을 선택하는 것을 가능하게 하는, 온-디스플레이 오브젝트들의 집합 및 소프트 제어들을 제공하도록 프로세서 (120) 를 구성하는 명령들을 포함할 수도 있다. 사용자 인터페이스 모듈 (170) 은 또한 애플리케이션들이 시스템의 나머지와 상호작용하는 것을 가능하게 한다. 운영 체제 모듈 (165) 은 또한 메모리 (140) 에 상주하고 시스템 (100) 의 메모리 및 프로세싱 리소스들을 관리하기 위해 프로세서 (120) 로 동작할 수도 있다. 예를 들어, 운영 체제 (165) 는 전자 디스플레이 (130) 또는 이미징 디바이스 (110) 와 같은 하드웨어 리소스들을 관리하기 위한 디바이스 드라이버들을 포함할 수도 있다. 일부 실시형태들에서, ROI 제안 모듈 (150) 및 자동초점 파라미터들 결정 모듈 (155) 에 포함된 명령들은 직접적으로 이러한 하드웨어 자원들과 상호작용하지 않을 수도 있으나, 대신에 운영 체제 (165) 에 위치된 표준 서브루틴들 또는 API 들을 통해서 상호작용할 수도 있다. 운영 체제 (165) 내의 명령들은 그러면 이들 하드웨어 컴포넌트들과 직접적으로 상호작용할 수도 있다.

프로세서 (120) 는 저장 모듈 (125) 에 데이터를 기록할 수도 있다. 저장 모듈 (125) 은 종래의 디스크 디바이스로서 나타내어지지만, 당업자들은, 다수의 실시형태들이 디스크 기반 저장 디바이스 또는 여러 다른 타입의 저장 매체들 중 하나를 포함하여, 메모리 디스크, USB 드라이브, 플래시 드라이브, 원격 접속된 저장 매체, 가상 디스크 드라이버 등을 포함할 수 있음을 이해할 것이다.

도 1 이 프로세서, 이미징 디바이스, 전자 디스플레이, 및 메모리를 포함하는 개별적인 컴포넌트들을 포함하는 디바이스를 도시하고 있지만, 당업자라면, 이러한 개별적인 컴포넌트들이 특정 설계 목적들을 달성하기 위해 다양한 방식들로 결합될 수도 있음을 인식할 것이다. 예를 들어, 대안적인 실시형태에서, 메모리 컴포넌트들은 프로세서 컴포넌트들과 결합되어 비용을 절약하고 성능을 개선시킬 수도 있다.

또한, 도 1 이 여러 모듈들을 포함하는 메모리 컴포넌트 (140), 및 작업 메모리를 포함하는 별도의 메모리 (135) 를 포함하는 2 개의 메모리 컴포넌트들을 도시하나, 당업자는 상이한 메모리 아키텍쳐들을 이용하는 여러 실시형태들을 인식할 것이다. 예를 들어, 일 설계는 메모리 (140) 에 포함된 모듈들을 구현하는 프로세서 명령들의 저장을 위해 ROM 또는 정적 RAM 메모리를 이용할 수도 있다. 대안적으로, 프로세서 명령들은 이미징 시스템 (100) 내에 통합되거나 외부 디바이스 포트를 통해 접속되는 디스크 저장 디바이스로부터 시스템 시동 시에 판독될 수도 있다. 프로세서 명령들은 그 다음에 RAM 내로 로딩되어 프로세서에 의한 실행을 가능하게 할 수도 있다. 예를 들어, 작업 메모리 (135) 는 RAM 메모리일 수도 있고, 명령들은 프로세서 (120) 에 의한 실행 전에 작업 메모리 (135) 내에 로딩된다.

방법 개요

본 방법의 실시형태들은 다-초점 이미징을 위한 프로세스에 관한 것으로, 사용자에게 단일 관심 장면 내에서의 복수의 후보 관심 영역들을 추천하고, 장면 내에서의 후보 관심 영역을 결정하는 것에 관한 입력을 수신하고, 단일 장면 내에서의 캡쳐될 원하는 관심 영역들의 선택으로서 입력을 수신하고, 원하는 또는 선택된 관심 영역들과 연관된 자동초점 파라미터들에 기초하여 다수의 이미지들을 획득하고, 다수의 이미지들을 단일의 다-초점 이미지로 매끄럽게 통합하는 것을 포함할 수 있다. 즉, 예를 들어, 상이한 오브젝트 플레인들 (또는 심도들) 에 있는 다수의 영역들을 갖는 단일 이미지는, 그 각각이 통합된 이미지에서 초점이 맞춰져 있다. 예들은 프로세스로서 설명될 수도 있으며, 프로세스는 플로차트, 플로도, 유한 상태도, 구조도, 또는 블록도로 도시됨에 유의한다. 플로차트가 동작들을 순차적인 프로세스로 설명할지라도, 동작들 중 많은 동작들은 병렬로, 또는 동시에 수행될 수 있고, 프로세스는 반복될 수 있다. 또한, 동작들의 순서는 재-배열될 수도 있다. 프로세스는 프로세스의 동작들이 완료되는 경우 종료된다. 프로세스는 방법, 기능, 절차, 서브루틴, 서브프로그램 등에 대응할 수도 있다. 프로세스가 소프트웨어 기능에 대응하는 경우, 프로세스의 종료는 호 기능 또는 메인 기능으로의 기능의 복귀에 대응한다.

도 2 는 도 1 에 도시된 모듈들 중 하나 이상에서 구현될 수도 있는 다-초점 이미징을 수행하도록 (도 1 에 도시된 이미징 디바이스 (110) 와 같은) 이미징 디바이스를 갖는 전자 디바이스를 구성하기 위한 프로세스 (200) 의 일 실시형태를 도시한다. 일부 예들에서, 프로세스 (200) 는 프로세서, 예를 들어, 프로세서 (120) (도 1) 상에서, 그리고 메모리 (140) 에 저장되어 있거나 다른 하드웨어 혹은 소프트웨어에 통합된 도 1 에 도시된 다른 컴포넌트들 상에서 구동할 수도 있다.

프로세스 (200) 는 시작 블록 202 에서 시작하여 이미징 디바이스 (110) 가 프리뷰 모드에서 동작되는 블록 204 로 이동한다. 일부 실시형태들에서, 프리뷰 모드는 이미징 디바이스 (110) 의 렌즈에 의해 뷰잉되는 바와 같은 장면을 전자 디스플레이, 예를 들어, 전자 디스플레이 (130) (도 1) 상에 디스플레이하는 것을 포함할 수도 있다. 전자 디바이스는 핸드헬드 통신 디바이스, 예를 들어, 셀룰러 폰 혹은 "스마트폰", 또는 태블릿 컴퓨터를 포함하는 모바일 개인용 휴대정보 단말기 (personal data assistant; PDA) 일 수도 있다. 예를 들어, 사용자는 이미지를 캡쳐할지 여부를 결정하기 위해 프리뷰 모드에서 모바일 디바이스의 카메라를 동작시킬 수도 있다. 다른 예에서, 사용자는 다-초점 이미지에서 어떤 관심 영역들을 사용자가 캡쳐하길 원하는지를 결정하기 위해 프리뷰 모드에서 모바일 디바이스의 카메라를 동작시킬 수도 있다.

프로세스 (200) 는 그 다음에 블록 206 으로 이동하며, 여기서 프로세서, 예컨대, 프로세서 (120) 는 현재 장면 내에서의 가능한 관심 영역들을 결정하도록 명령을 받는다. 일부 실시형태들에서, 프로세서는 가능한 관심 영역들을 식별하기 위해 얼굴 검출 또는 오브젝트 추적을 이용할 수도 있다. 일 실시형태에서, 얼굴 검출 알고리즘은, 예를 들어, OMRON™ 얼굴 검출 알고리즘이 이용될 수도 있다. 그러나, 설명된 바와 같은 시스템은 바람직하게는 선택된 알고리즘이 얼굴들을 검출하여 검출된 얼굴들 주위에 정확한 관심 영역 (ROI) 윈도우를 출력할 수 있는 한 이용된 얼굴 검출 알고리즘에 둔감하다. 일부 실시형태들에서, 오브젝트 추적 알고리즘은 QUALCOMM Inc. 의 Snapdragon™ 프로세서에 개발된 T2T (touch to track) 이용 사례들에서 이용된 것과 유사할 수 있다.

일 예에서, 얼굴 검출은 3 개의 얼굴들이 장면 내에서의 다양한 심도들에서 보인다고 결정할 수도 있다. 다른 예에서, 오브젝트 추적은 장면 내에서의 2 개 이상의 아이템들, 예를 들어, 해변에서의 양동이, 모래성, 및 새를 식별할 수도 있다. 가능한 관심 영역들이 결정되었으면, 프로세스 (200) 는 블록 208 로 이동한다.

블록 208 에서, 프로세서는 사용자에게 관심 영역들을 제안하고 이미징 디바이스의 프리뷰 모드에서 이러한 관심 영역들을 디스플레이하도록 명령을 받는다. 위에서 논의된 예들을 계속하기 위해, 프로세서가 장면 내에서의 복수의 얼굴들, 예컨대, 상이한 장면 심도들에서 3 개의 얼굴들을 검출하면, 프로세서는 각각의 얼굴 주위에 직사각형, 원, 괄호, 또는 다른 표시자를 디스플레이함으로써 가능한 관심 영역으로 각각의 얼굴을 표시하도록 명령을 받을 수 있다. 관심 영역의 사이즈는 ROI 가 시스템에 의해 제안되는지 또는 ROI 가 사용자에 의해 선택되는지 여부에 의존할 수도 있다. ROI 가, 예를 들어, 얼굴 검출 또는 오브젝트 검출 동작을 통해서 시스템에 의해 제안되면, ROI 윈도우는 제안된 오브젝트를 완전히 포함할 수 있는 직사각형, 원, 타원 등과 같은 형상일 것이다. 일부 실시형태들에서, ROI 는 얼굴 주위에 그려진 직사각형일 수 있다. 일부 실시형태들에서, ROI 의 사이즈는 검출된 ROI 에 의해 점유된 이미지의 구역에 따라 몇 픽셀만큼 작을 수도 있거나 전체 디스플레이 스크린만큼 클 수도 있다. 일부 실시형태들에서, ROI 가 사용자에 의해 선택되면, ROI 는 직사각형 또는 고정된 사이즈의 다른 형상일 수 있다. 다른 실시형태들에서, 사용자는 ROI 를 둘러싸는 형상을 정의하기 위해 ROI 를 둘러싸는 2 개 이상의 포인트들을 선택함으로써 ROI 를 표시할 수 있다. 다른 예에서, 프로세서는 사용자에게 다-초점 이미징을 위한 이러한 가능성들을 명확하게 표시하기 위해 각각의 얼굴 또는 관심 영역에 포인터 또는 손모양 표시자를 디스플레이하도록 명령을 받을 수 있다. 프로세스 (200) 는 다음으로 블록 210 으로 이동하며, 여기서 프로세서는 하나 이상의 관심 영역들에 관한 사용자 입력을 수락하도록 명령을 받는다. 예를 들어, 터치스크린으로 구성된 전자 디바이스에 있어서, 사용자는 터치스크린 상에서 각각의 얼굴을 선택함으로써 프리뷰 모드에서 디스플레이된 얼굴들 중 하나 이상을 선택할 수도 있다. 사용자는 또한 복수의 관심 영역들을 선택하기 위해 마우스, 포인터, 또는 버튼을 이용할 수도 있다. 다수의 관심 영역들을 선택하는 사용자를 도시하는 사용자 인터페이스의 일 예가 도 3 에 도시된다. 도 3 에 도시된 바와 같이, 사용자는 다수의 관심 영역들의 각각을 포인터로 지시할 수도 있다. 이 예에서, 사용자는 "초점" 텍스트, "드래곤" 텍스트, 기사 체스 조각, 및 꽃들을 선택했다.

프로세스 (200) 는 다음으로 블록 212 로 이동하며, 여기서 프로세서는 선택된 ROI 들과 관련된 자동초점 파라미터들을 결정하도록 명령을 받는다. 일부 실시형태들에서, 프로세서는 선택된 관심 영역들의 각각이 초점이 맞는 자동초점 파라미터들을 결정하기 위해 이미징 디바이스 (110) 의 자동초점 기능을 수행하도록 명령을 받을 수도 있다. 자동초점 파라미터들은 프로세서 (120) 의 센서 드라이버에 전송된 커맨드들의 세트이다. 센서 드라이버는 이미징 디바이스 (110) 의 렌즈 포지션을 움직이기 위한 설정들 또는 명령들을 포함한다. 일부 실시형태들에서, 센서 드라이버는 이미징 디바이스 (110) 의 자동초점, 자동 화이트 밸런스, 및 자동 노출 설정들을 조정하기 위한 파라미터들을 포함할 수 있다. 자동초점 파라미터들은 바람직하게는 기본 자동초점, 자동 화이트 밸런스, 및 자동 노출 설정들 알고리즘에 의해 결정되고, 이미징 디바이스 (100) 에 기초할 수도 있다. 예를 들어, 자동초점 기능은 장면 내에서의 관심 영역들로 식별되고 다-초점 이미지를 위한 원하는 관심 영역들로서 사용자에 의해 선택된 얼굴들의 각각에 대해 자동초점 파라미터들을 계산할 수 있다. 프로세스 (200) 는 다음으로 블록 214 로 이동하며, 여기서 프로세서는 각각의 관심 영역과 연관된 자동초점 파라미터들을 이용하여 하나 이상의 이미지들 (각각의 이미지는 초점이 맞는 관심 영역들 중 하나의 관심 영역을 포함한다) 을 캡쳐하도록 명령을 받는다. 예를 들어, 사용자에 의해 관심 영역들로서 식별된 3 개의 얼굴들의 각각의, 별도의 이미지가 캡쳐될 수 있다.

프로세스 (200) 는 그 다음에 블록 216 으로 이동하며, 여기서 프로세서는 다수의 관심 영역들의 캡쳐된 하나 이상의 이미지들로부터 단일 이미지를 생성하도록 명령을 받는다. 다-초점 단일 이미지의 일 예가 도 4 에 도시된다. 이 예에서, 도 3 에서 도시된 바와 같이 선택된 관심 영역들은 도 4 에서 도시된 단일 이미지로 초점이 맞게 디스플레이된다. 단일 이미지는 위에서 논의된 이미징 디바이스 (110) 에 의해 캡쳐된 2 개 이상의 이미지들을 결합하고 임의의 공지의 이미지 결합 알고리즘을 이용하여 이미지들을 함께 "꿰매어 맞춤으로써" (stitch) 생성될 수도 있다. 예를 들어, 상이한 초점 설정들로 이미징 디바이스 (110) 에 의해 캡쳐된 2 개 이상의 이미지들에 공지의 이미지 정렬, 이미지 등록, 및 이미지 블렌딩 기법들을 적용함으로써 단일 이미지가 획득될 수도 있다. 단일 이미지가 생성된 후에, 프로세스 (200) 는 블록 218 로 이동하여 종료한다.

전문용어에 대한 설명

달리 표시되지 않는 한, 특정 피쳐를 갖는 장치의 동작의 임의의 개시물은 유사한 피쳐를 갖는 방법을 또한 분명하게 개시하고자 하고 (그 반대의 경우도 마찬가지이다), 특정 구성에 따른 장치의 동작의 임의의 개시물은 유사한 구성에 따른 방법을 또한 분명하게 개시하고자 한다 (그리고 그 반대의 경우도 마찬가지이다). 용어 "구성" 은 그 특정 텍스트에 의해 나타내어지는 바와 같은 방법, 장치, 및/또는 시스템을 참조하여 이용될 수도 있다. 용어들 "방법", "프로세스", "절차", 및 "기법" 은 특정 맥락으로 달리 나타내어지지 않는 한 일반적으로 그리고 상호교환가능하게 이용된다. 용어들 "장치" 및 "디바이스" 는 특정 맥락으로 달리 나타내어지지 않는 한 또한 일반적으로 그리고 상호교환가능하게 이용된다. 용어들 "엘리먼트" 및 "모듈" 은 통상적으로 보다 큰 구성의 부분을 표시하는데 이용된다. 그 맥락에 의해 명시적으로 제한되지 않는 한, 용어 "시스템" 은 본원에서, "공통 목적을 제공하기 위해 상호작용하는 엘리먼트들의 그룹" 을 포함하여, 그 원래의 의미들 중 임의의 것을 표시하는데 이용된다. 문서의 일부분의 참조에 의한 임의의 포함은 또한 그 부분 내에서 참조되는 용어들 또는 변수들의 정의들을 포함하는 것으로 이해될 것이며, 여기서 그러한 정의들은 그 포함된 부분에서 참조된 임의의 도면들뿐만 아니라, 문서의 다른 곳에서도 보인다.

본원에 개시된 실시형태들과 관련하여 설명된 다양한 예시적인 논리적 블록들, 모듈들, 회로들, 및 프로세스 단계들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이들 양자의 조합들로 구현될 수도 있음을 당업자들은 또한 이해할 것이다. 하드웨어와 소프트웨어의 이러한 상호교환성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들, 및 단계들은 전반적으로 그들의 기능적 관점에서 전술되었다. 그러한 기능이 하드웨어로서 구현되는지 또는 소프트웨어로 구현되는지는 특정 애플리케이션 및 전체 시스템에 부과되는 설계 제약들에 따라 달라진다. 당업자라면, 상술한 기능성을 각각의 특정 애플리케이션에 대해 다양한 방식으로 구현할 수도 있지만, 이러한 구현 결정은 본 발명의 범위를 벗어나게 하는 것으로 이해되어서는 안된다. 일부분 또는 일부는 전체보다 적게 또는 전체와 동일하게 포함할 수도 있음을 당업자는 인식할 것이다. 예를 들어, 픽셀들의 집합의 일부분은 이러한 픽셀들의 하위-집합을 지칭할 수도 있다.

본원에서 개시된 실시형태들과 연계하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 및 회로들은 범용 프로세서, 디지털 신호 프로세서 (DSP), 주문형 반도체 (ASIC), 필드 프로그래머블 게이트 어레이 (FPGA) 혹은 다른 프로그래머블 로직 디바이스, 이산 게이트 혹은 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 본원에 설명된 기능들을 수행하도록 설계된 것들의 임의의 조합에 의해 구현되거나 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 다르게는, 상기 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 프로세서는 컴퓨팅 디바이스들의 조합, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 연계한 하나 이상의 마이크로프로세서들, 또는 임의의 다른 그러한 구성들로서 구현될 수도 있다.

본원에서 개시된 구현들과 연계하여 설명된 방법 또는 프로세스의 단계들은 하드웨어에서, 프로세서에 의해 실행되는 소프트웨어 모듈에서, 또는 이들 양자의 조합에서 직접적으로 구현될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드 디스크, 이동식 디스크, CD-ROM, 또는 공지된 임의의 다른 형태의 저장 매체 내에 상주할 수도 있다. 예시적인 저장 매체는 프로세서에 커플링되어, 프로세서가 저장 매체로부터 정보를 판독하거나 저장 매체에 정보를 기록할 수 있다. 대안으로, 저장 매체는 프로세서에 통합될 수도 있다. 프로세서와 저장 매체는 ASIC 내에 상주할 수도 있다. ASIC 는 사용자 단말기, 카메라, 또는 다른 디바이스 내에 상주할 수도 있다. 대안에서, 프로세서와 저장 매체는 사용자 단말기에서 개별 컴포넌트들로 상주할 수도 있다.

제목들은 참조를 위해 그리고 다양한 섹션들을 위치시키는 것을 돕기 위해 본 명세서에 포함된다. 이러한 제목들은 그와 관련하여 설명된 개념들의 범위를 제한하고자 하지 않는다. 그러한 개념들은 전체 명세서에 걸쳐 적용가능할 수도 있다.

개시된 실시형태들의 앞서의 설명은 당업자가 본 발명을 실시하거나 이용하는 것을 가능하게 하도록 하기 위해 제공된다. 이러한 구현들에 대한 다양한 수정예들이 당업자에게는 자명할 것이고, 본원에서 정의된 일반적인 원칙들은 본 발명의 취지와 범위를 벗어나지 않으면서 다른 구현들에 적용될 수도 있다. 따라서, 본 발명은 본원에서 보여진 구현들로 제한되도록 의도된 것은 아니고, 본원의 개시된 원칙들과 신규의 특징들과 일치하는 광의의 범위를 제공하기 위한 것이다.

Claims

장면 내에서의 다수의 관심 영역들을 제안하고 상기 다수의 관심 영역들로부터 다-초점 이미지를 생성하기 위한 시스템으로서,
메모리 컴포넌트; 및
하나 이상의 프로세서들을 포함하는 제어 모듈
을 포함하고,
상기 제어 모듈은,
장면 내에서의 후보 관심 영역들을 결정하고;
상기 장면을 디스플레이하고 있는 디스플레이 스크린 상에 상기 후보 관심 영역들을 표시하고;
상기 후보 관심 영역들 및 다른 관심 영역들 중 하나 이상을 포함할 수도 있는 다수의 관심 영역들의 선택을 표시하는 입력을 수신하고;
다수의 선택된 상기 관심 영역들의 각각과 연관된 자동초점 파라미터들을 결정하는 것으로서, 상기 선택된 관심 영역이 초점이 맞는, 각각의 선택된 관심 영역에 대한 상기 자동초점 파라미터들을 결정하기 위해 자동초점을 수행하는 것을 포함하는, 상기 자동초점 파라미터들을 결정하고;
상기 메모리 컴포넌트에 상기 자동초점 파라미터들을 저장하고;
이미지들을 캡쳐하기 위한 입력을 사용자로부터 수신한 후에, 상기 관심 영역과 연관된 저장되어진 상기 자동초점 파라미터들을 이용하여 각각의 선택된 관심 영역의 이미지를 캡쳐하고;
각각의 선택된 관심 영역의 캡쳐된 상기 이미지로부터의 이미지 데이터를 포함하는 다-초점 이미지를 생성하도록
구성되는, 장면 내에서의 다수의 관심 영역들을 제안하고 상기 다수의 관심 영역들로부터 다-초점 이미지를 생성하기 위한 시스템.
제 1 항에 있어서,
센서를 포함하는 이미징 디바이스를 더 포함하고, 상기 제어 모듈은 상기 이미징 디바이스 및 상기 관심 영역과 연관된 상기 자동초점 파라미터들을 이용하여 각각의 관심 영역의 이미지를 캡쳐하도록 구성되는, 장면 내에서의 다수의 관심 영역들을 제안하고 상기 다수의 관심 영역들로부터 다-초점 이미지를 생성하기 위한 시스템.
제 2 항에 있어서,
상기 제어 모듈은 프리뷰 모드에서 상기 이미징 디바이스를 동작시키도록 더 구성되는, 장면 내에서의 다수의 관심 영역들을 제안하고 상기 다수의 관심 영역들로부터 다-초점 이미지를 생성하기 위한 시스템.
제 3 항에 있어서,
상기 제어 모듈은 상기 프리뷰 모드에서 상기 사용자에게 제안된 상기 관심 영역들을 그래픽적으로 디스플레이하도록 더 구성되는, 장면 내에서의 다수의 관심 영역들을 제안하고 상기 다수의 관심 영역들로부터 다-초점 이미지를 생성하기 위한 시스템.
제 1 항에 있어서,
상기 제어 모듈은 얼굴 검출 알고리즘 또는 오브젝트 추적 알고리즘을 이용하여 장면 내에서의 상기 관심 영역들을 결정하도록 더 구성되는, 장면 내에서의 다수의 관심 영역들을 제안하고 상기 다수의 관심 영역들로부터 다-초점 이미지를 생성하기 위한 시스템.
제 2 항에 있어서,
상기 이미징 디바이스는 터치스크린을 더 포함하고, 상기 제어 모듈은 상기 터치스크린 상에 터치 이벤트를 등록함으로써 다수의 관심 영역들의 선택을 표시하는 입력을 수신하도록 더 구성되는, 장면 내에서의 다수의 관심 영역들을 제안하고 상기 다수의 관심 영역들로부터 다-초점 이미지를 생성하기 위한 시스템.
제 1 항에 있어서,
상기 제어 모듈은 장면 내에서의 후보 관심 영역들을 결정하는 것에 관한 입력을 수신하도록 더 구성되는, 장면 내에서의 다수의 관심 영역들을 제안하고 상기 다수의 관심 영역들로부터 다-초점 이미지를 생성하기 위한 시스템.
제 1 항에 있어서,
모바일 디바이스를 더 포함하고, 상기 제어 모듈은 상기 모바일 디바이스의 카메라 애플리케이션의 컴포넌트인, 장면 내에서의 다수의 관심 영역들을 제안하고 상기 다수의 관심 영역들로부터 다-초점 이미지를 생성하기 위한 시스템.
장면 내에서의 다수의 관심 영역들을 제안하고 상기 다수의 관심 영역들로부터 다-초점 이미지를 생성하기 위한 방법으로서,
장면의 디지털 이미지 데이터를 수신하는 단계;
상기 장면 내에서의 후보 관심 영역들을 결정하는 단계;
상기 장면을 디스플레이하는 디스플레이 스크린 상에 상기 후보 관심 영역들을 표시하는 단계;
상기 후보 관심 영역들 및 다른 관심 영역들 중 하나 이상을 포함할 수도 있는 다수의 관심 영역들의 선택을 표시하는 입력을 수신하는 단계;
다수의 선택된 상기 관심 영역들의 각각과 연관된 자동초점 파라미터들을 결정하는 단계로서, 상기 자동초점 파라미터들을 결정하는 단계는 상기 선택된 관심 영역이 초점이 맞는, 각각의 선택된 관심 영역에 대한 상기 자동초점 파라미터들을 결정하기 위해 자동초점을 수행하는 단계를 포함하는, 상기 자동초점 파라미터들을 결정하는 단계;
상기 메모리 컴포넌트에 상기 자동초점 파라미터들을 저장하는 단계;
이미지들을 캡쳐하기 위한 입력을 수신한 후에, 상기 관심 영역과 연관된 저장되어진 상기 자동초점 파라미터들을 이용하여 각각의 선택된 관심 영역의 이미지를 캡쳐하는 단계; 및
각각의 선택된 관심 영역의 캡쳐된 상기 이미지로부터의 이미지 데이터를 포함하는 다-초점 이미지를 생성하는 단계
를 포함하는, 장면 내에서의 다수의 관심 영역들을 제안하고 상기 다수의 관심 영역들로부터 다-초점 이미지를 생성하기 위한 방법.
제 9 항에 있어서,
프리뷰 모드에서 이미징 디바이스를 동작시키는 단계를 더 포함하는, 장면 내에서의 다수의 관심 영역들을 제안하고 상기 다수의 관심 영역들로부터 다-초점 이미지를 생성하기 위한 방법.
제 9 항에 있어서,
얼굴 검출 알고리즘 또는 오브젝트 추적 알고리즘을 이용하여 장면 내에서의 관심 영역들을 결정하는 단계를 더 포함하는, 장면 내에서의 다수의 관심 영역들을 제안하고 상기 다수의 관심 영역들로부터 다-초점 이미지를 생성하기 위한 방법.
제 10 항에 있어서,
상기 프리뷰 모드에서 사용자에게 제안된 상기 다수의 관심 영역들을 그래픽적으로 디스플레이하는 단계를 더 포함하는, 장면 내에서의 다수의 관심 영역들을 제안하고 상기 다수의 관심 영역들로부터 다-초점 이미지를 생성하기 위한 방법.
제 9 항에 있어서,
상기 다수의 관심 영역들의 선택을 표시하는 입력을 수신하는 단계는 터치스크린 상에 터치 이벤트를 등록하는 단계를 더 포함하는, 장면 내에서의 다수의 관심 영역들을 제안하고 상기 다수의 관심 영역들로부터 다-초점 이미지를 생성하기 위한 방법.
제 10 항에 있어서,
상기 이미징 디바이스는 모바일 디바이스의 카메라 애플리케이션의 컴포넌트인, 장면 내에서의 다수의 관심 영역들을 제안하고 상기 다수의 관심 영역들로부터 다-초점 이미지를 생성하기 위한 방법.
장면 내에서의 다수의 관심 영역들을 제안하고 상기 다수의 관심 영역들로부터 다-초점 이미지를 생성하기 위한 장치로서,
장면 내에서의 후보 관심 영역들을 결정하기 위한 수단;
상기 장면을 디스플레이하고 있는 디스플레이 스크린 상에 상기 후보 관심 영역들을 표시하기 위한 수단;
상기 후보 관심 영역들 및 다른 관심 영역들 중 하나 이상을 포함할 수도 있는 다수의 관심 영역들의 선택을 표시하는 입력을 수신하기 위한 수단;
각각의 선택된 관심 영역과 연관된 자동초점 파라미터들을 결정하기 위한 수단으로서, 자동초점 파라미터들을 결정하는 것은 상기 선택된 관심 영역이 초점이 맞는, 각각의 선택된 관심 영역에 대한 상기 자동초점 파라미터들을 결정하기 위해 자동초점을 수행하는 것을 포함하는, 상기 자동초점 파라미터들을 결정하기 위한 수단;
메모리 컴포넌트에 상기 자동초점 파라미터들을 저장하기 위한 수단;
상기 관심 영역과 연관된 저장되어진 상기 자동초점 파라미터들을 이용하여 각각의 선택된 관심 영역의 이미지를 캡쳐하기 위한 수단; 및
각각의 선택된 관심 영역의 캡쳐된 상기 이미지로부터의 이미지 데이터를 포함하는 다-초점 이미지를 생성하기 위한 수단
을 포함하는, 장면 내에서의 다수의 관심 영역들을 제안하고 상기 다수의 관심 영역들로부터 다-초점 이미지를 생성하기 위한 장치.
제 15 항에 있어서,
센서를 포함하는 이미징 디바이스를 더 포함하고, 상기 장치는 상기 이미징 디바이스 및 상기 관심 영역과 연관된 상기 자동초점 파라미터들을 이용하여 각각의 관심 영역의 이미지를 캡쳐하기 위한 수단을 더 포함하는, 장면 내에서의 다수의 관심 영역들을 제안하고 상기 다수의 관심 영역들로부터 다-초점 이미지를 생성하기 위한 장치.
제 16 항에 있어서,
프리뷰 모드에서 상기 이미징 디바이스를 동작시키기 위한 수단을 더 포함하는, 장면 내에서의 다수의 관심 영역들을 제안하고 상기 다수의 관심 영역들로부터 다-초점 이미지를 생성하기 위한 장치.
제 15 항에 있어서,
얼굴 검출 알고리즘 또는 오브젝트 추적 알고리즘을 이용하여 장면 내에서의 상기 관심 영역들을 결정하기 위한 수단을 더 포함하는, 장면 내에서의 다수의 관심 영역들을 제안하고 상기 다수의 관심 영역들로부터 다-초점 이미지를 생성하기 위한 장치.
제 17 항에 있어서,
상기 프리뷰 모드에서 사용자에게 제안된 상기 다수의 관심 영역들을 그래픽적으로 디스플레이하기 위한 수단을 더 포함하는, 장면 내에서의 다수의 관심 영역들을 제안하고 상기 다수의 관심 영역들로부터 다-초점 이미지를 생성하기 위한 장치.
제 15 항에 있어서,
터치스크린을 더 포함하고, 상기 장치는 상기 터치스크린 상에 터치 이벤트를 등록함으로써 다수의 관심 영역들의 선택을 표시하는 입력을 수신하기 위한 수단을 더 포함하는, 장면 내에서의 다수의 관심 영역들을 제안하고 상기 다수의 관심 영역들로부터 다-초점 이미지를 생성하기 위한 장치.
제 15 항에 있어서,
장면 내에서의 후보 관심 영역들을 결정하는 것에 관한 입력을 수신하기 위한 수단을 더 포함하는, 장면 내에서의 다수의 관심 영역들을 제안하고 상기 다수의 관심 영역들로부터 다-초점 이미지를 생성하기 위한 장치.
명령들을 저장하는 비일시적 컴퓨터-판독가능 매체로서,
상기 명령들은, 실행되는 경우, 적어도 하나의 물리적 컴퓨터 프로세서로 하여금 방법을 실행하게 하고,
상기 방법은,
장면 내에서의 후보 관심 영역들을 결정하는 단계;
상기 장면을 디스플레이하고 있는 디스플레이 스크린 상에 상기 후보 관심 영역들을 표시하는 단계;
상기 후보 관심 영역들 및 다른 관심 영역들 중 하나 이상을 포함할 수도 있는 다수의 관심 영역들의 선택을 표시하는 입력을 수신하는 단계;
각각의 선택된 관심 영역과 연관된 자동초점 파라미터들을 결정하는 단계로서, 상기 자동초점 파라미터들을 결정하는 단계는 상기 선택된 관심 영역이 초점이 맞는, 각각의 선택된 관심 영역에 대한 상기 자동초점 파라미터들을 결정하기 위해 자동초점을 수행하는 단계를 포함하는, 상기 자동초점 파라미터들을 결정하는 단계;
메모리에 상기 자동초점 파라미터들을 저장하는 단계;
이미지들을 캡쳐할 것을 표시하는 입력을 수신한 후에, 상기 관심 영역과 연관된 저장되어진 상기 자동초점 파라미터들을 이용하여 각각의 선택된 관심 영역의 이미지를 캡쳐하는 단계; 및
각각의 선택된 관심 영역의 캡쳐된 상기 이미지로부터의 이미지 데이터를 포함하는 다-초점 이미지를 생성하는 단계
를 포함하는, 비일시적 컴퓨터-판독가능 매체.
제 22 항에 있어서,
상기 방법은 프리뷰 모드에서 이미징 디바이스를 동작시키는 단계를 더 포함하는, 비일시적 컴퓨터-판독가능 매체.
제 22 항에 있어서,
상기 방법은 얼굴 검출 알고리즘 또는 오브젝트 추적 알고리즘을 이용하여 장면 내에서의 상기 관심 영역들을 결정하는 단계를 더 포함하는, 비일시적 컴퓨터-판독가능 매체.
제 23 항에 있어서,
상기 방법은 상기 프리뷰 모드에서 사용자에게 제안된 상기 관심 영역들을 그래픽적으로 디스플레이하는 단계를 더 포함하는, 비일시적 컴퓨터-판독가능 매체.
제 22 항에 있어서,
상기 방법은 장면 내에서의 후보 관심 영역들을 결정하는 것에 관한 입력을 수신하는 단계를 더 포함하는, 비일시적 컴퓨터-판독가능 매체.
제 22 항에 있어서,
터치스크린 상에 터치 이벤트를 등록함으로써 다수의 관심 영역들의 선택을 표시하는 입력을 수신하는 단계를 더 포함하는, 비일시적 컴퓨터-판독가능 매체.