KR101573590B1 - 다중 카메라 디바이스를 보정하는 시스템 및 방법 - Google Patents

Abstract

본 실시예들은 다중 카메라 디바이스 보정에 대한 시스템들, 장치들, 및 방법들을 고찰한다. 특히, 본 실시예들은 미리 결정된 이벤트에 응답하여 다중 카메라들의 보정을 초기화하는 것을 고찰한다. 보정은 초점이 맞춰진 경우의 각각의 카메라의 센서 포지션들과 함께 현재의 환경 조건들을 기록한다. 다양한 이미징 및 환경 조건들 하에서 복수의 보정 포인트들을 기록함으로써, 다중 카메라들의 초점 포지션들의 보다 정확한 동기화가 달성될 수 있다.

Description

다중 카메라 디바이스를 보정하는 시스템 및 방법{SYSTEMS AND METHODS TO CALIBRATE A MULTI CAMERA DEVICE}

본 실시예들은 이미징 디바이스들에 관한 것으로, 특히, 단일 디바이스에 통합되는 2 개 이상의 카메라 센서들의 보정을 위한 방법들, 장치들, 및 시스템들에 관한 것이다.

지난 10 년간, 디지털 이미징 능력들은 디지털 카메라들 및 모바일 폰들을 포함하여 다양한 디바이스들에 통합되었다. 최근에, 디바이스 제조사들은 하나의 디바이스에 다중 디지털 이미징 센서들을 통합시키는 디바이스들을 선보였다. 모바일 무선 통신 디바이스들, 개인 휴대 정보 단말기 (PDA) 들, 개인용 음악 시스템들, 디지털 카메라들, 디지털 레코딩 디바이스들, 비디오 회의 시스템들 등을 포함하여 다양한 전자 디바이스들은 다중 이미징 센서들을 이용하여 전자 디바이스들의 사용자들에게 능력들 및 특징부들을 제공할 수 있다. 이러한 능력들은 보다 높은 동적 범위 이미징, 파노라마 이미징, 및 3D 영화들과 같은 입체 (3D) 이미징 애플리케이션들을 포함한다.

이러한 새로운 진보된 애플리케이션들을 제공하기 위해, 디바이스의 다중 카메라들이 함께 작업하도록 보정된다. 입체 이미징과 같은 애플리케이션들은 동일한 대상에 초점을 맞추기 위해 적어도 2 개의 카메라들을 요구한다. 또한, 3D 영화의 녹화 중에, 카메라 센서들의 초점 거리는 자주 변화되어, 명확한 이미지를 유지하기 위해서는 각각의 카메라가 다른 카메라와 동시에 그리고 일치하여 반응할 것을 요구할 것이다.

동기화된 초점을 달성하기 위해, 복수의 이미징 센서들을 갖는 디바이스들은 보통 제조 프로세스 중에 보정된다. 디바이스는 제조 라인 상에서 특별한 "보정 모드" 로 배치되며, 이미지 센서들이 일관된 초점을 보장하도록 설계된 타겟 이미지를 가리킨다. 디바이스의 각각의 카메라는 그 다음에 타겟 이미지 및 보정 스테이션에 의해 기록된 타겟 이미지의 초점 포지션에 초점이 맞춰진다. 2 개의 기록된 초점 포지션들이 그 다음에 디바이스의 비휘발성 메모리에 저장된다. 대안으로, 대신 오프셋이 2 개의 초점 포지션들 사이에 생성되어 비휘발성 메모리에 저장될 수도 있다. 제품이 후에 구매되어 이용되는 경우, 모바일 디바이스는 미리 기록된 보정 데이터를 참고하여 이용 중에 렌즈들의 포지션들을 설정한다.

이러한 보정 프로세스는 여러 단점들을 갖는다. 우선, 제조 프로세스 중에 시간이 들어서, 디바이스의 비용을 증가시킨다. 둘째로, 제조 중에 생성된 임의의 보정 데이터는 사실상 고정적이다. 그에 따라, 디바이스가 오래됨에 따라 렌즈 보정에서의 변화들을 설명할 수 없다. 예를 들어, 오늘날의 모바일 디바이스들에 내장된 작은 이미징 센서들 중 많은 센서에서 초점 포지션을 제어하는 압전 모터들은 시간이 지남에 따라 효율성을 잃을 수도 있다. 일부 이미징 센서 실시예들에서, 예를 들어, 음성 코일 유형 액츄에이터를 이용하는 경우, 이는 카메라 센서가 오래됨에 따라 주어진 적용된 전압에 대해 보다 적은 카메라 렌즈 조정을 초래한다. 다른 실시예들은 센서가 오래됨에 따라 특정 렌즈 포지션을 달성하기 위해 보다 많은 전자 펄스들 또는 커맨드들을 요구할 수도 있다. 이미징 디바이스 보정이 2 개의 이미징 센서들 사이의 고정된 차동 전압에 의존한 결과, 상당한 디바이스의 이용 후에 이미징 센서 초점 거리들의 오정렬이 있을 수 있다. 초점 거리들에서의 이러한 일탈은 최종 이미지들을 덜 명확하게 하며, 궁극적으로 소비자 만족도에 영향을 미친다.

정확한 초점을 보장하는 것은 온도 및 배향과 함께 렌즈 초점 거리에서의 변동들에 의해 더 복잡해진다. 공장에서 이루어진 보정들은 일반적으로 수평 또는 수직 배향 중 어느 일방에서 수행된다. 다중 배향들은 일반적으로 보정되지 않는다. 디바이스 온도도 일반적으로 공장에서의 보정들에서 고려사항이 아니다. 상이한 온도들 또는 배향들에서 이러한 다중 보정들을 수행하는 것은 제조 시간을 더할 것이고, 이러한 보정 단계들 중에 디바이스의 온도를 제어하기 위해 필요한 장비의 비용은 또한 상당한 비용을 더할 수도 있다.

본 실시예들 중 일부 실시예는 복수의 카메라들을 갖는 이미징 디바이스에 대한 초점 조정을 결정하는 방법을 포함할 수도 있다. 방법은 미리 결정된 이벤트에 응답하여 제 1 카메라에 대한 제 1 초점 설정을 결정하는 단계를 포함할 수도 있다. 방법은 미리 결정된 이벤트에 응답하여 제 2 카메라에 대한 제 2 초점 설정을 결정하는 단계, 및 제 1 초점 설정과 제 2 초점 설정 사이의 차이에 기초하여 초점 조정을 결정하는 단계를 더 포함할 수도 있다. 일부 실시예들에서, 초점 조정은 복수의 초점 설정들에서의 차이들에 기초하여 결정될 수도 있다. 다른 실시예들에서, 미리 결정된 이벤트는 이미징 디바이스의 파워 온 (power on) 이벤트이다. 대안적인 실시예들에서, 미리 결정된 이벤트는 보정 포인트들의 기록 사이의 미리 결정된 시간의 경과이다. 다른 실시예들에서, 방법은 제 1 초점 설정 및 제 2 초점 설정을 저장하는 단계를 더 포함할 수도 있다. 일부 실시예들에서, 방법은 또한 제 1 초점 설정 및 제 2 초점 설정과 동시에 수집된 환경 데이터를 저장하는 단계를 포함할 수도 있다. 일부 실시예들에서, 환경 데이터는 주위 온도 및/또는 디바이스 배향을 포함할 수도 있다.

다른 본 실시예들은 제 1 카메라 및 제 2 카메라를 포함하는 이미징 디바이스를 포함할 수도 있다. 이미징 디바이스는 또한 제 1 카메라 및 제 2 카메라의 초점 설정들을 제어하도록 구성된 프로세서를 포함할 수도 있다. 이미징 디바이스는 또한, 미리 결정된 이벤트에 응답하여 제 1 카메라에 대한 제 1 초점 설정을 결정하고, 그 미리 결정된 이벤트에 응답하여 제 2 카메라에 대한 제 2 초점 설정을 결정하고, 제 1 초점 설정과 제 2 초점 설정 사이의 차이에 기초하여 초점 조정을 결정하도록 구성된 제어 모듈을 포함할 수도 있다. 이미징 디바이스의 다른 실시예들은 온도 센서를 또한 포함할 수도 있는데, 여기서 제어 모듈은 또한 온도 센서로부터의 측정치에 기초하여 초점 조정을 결정하도록 구성된다. 이미징 디바이스의 다른 실시예들은 배향 센서를 더 포함할 수도 있는데, 여기서 제어 모듈은 또한 배향 센서로부터의 측정치에 기초하여 초점 조정을 결정하도록 구성된다. 이미징 디바이스의 대안적인 실시예들은 모바일 폰을 포함할 수도 있다. 이미징 디바이스의 다른 실시예들은 핸드 헬드 카메라를 포함할 수도 있다.

이미징 디바이스의 일부 실시예들은 제 3 카메라를 포함할 수도 있는데, 여기서 프로세서는 또한 제 3 카메라의 초점 설정을 제어하도록 구성되고, 제어 모듈은 또한 제 3 카메라에 대한 제 3 초점 설정을 결정하고 제 1 초점 설정 및 제 3 초점 설저 사이의 차이에 기초하여 제 2 초점 조정을 결정하도록 구성된다.

다른 실시예들은 프로세서로 하여금 미리 결정된 이벤트에 응답하여 제 1 카메라에 대한 제 1 초점 설정을 결정하도록 하게 동작가능한 프로세서 실행가능 명령들을 포함하는 비일시적 컴퓨터 판독가능 매체를 포함할 수도 있다. 이러한 실시예는 미리 결정된 이벤트에 응답하여 제 2 카메라에 대한 제 2 초점 설정의 결정, 및 제 1 초점 설정 및 제 2 초점 설정 사이의 차이에 기초하여 초점 조정의 결정을 더 포함할 수도 있다. 다른 실시예들에서, 컴퓨터 판독가능 매체는 프로세서로 하여금 복수의 이미지들로부터 높은 콘트라스트 (contrast) 이미지를 선택함으로써 제 1 초점 설정 및 제 2 초점 설정을 결정하도록 하는 추가적인 명령들을 포함한다. 일부 실시예들은 프로세서로 하여금 복수의 카메라들 중 적어도 하나의 카메라의 주위 온도에 적어도 부분적으로 기초하여 초점 조정을 결정하도록 하는 추가적인 프로세서 실행가능 명령들을 포함할 수도 있다. 다른 실시예들은 프로세서로 하여금 디바이스 배향에 적어도 부분적으로 기초하여 초점 조정을 결정하도록 하는 명령들을 포함한다.

개시된 양상들은 이하에서 개시된 양상들을 설명하기 위한 것으로 제한하지 않도록 제공되는, 첨부된 도면들과 결부하여 설명될 것이며, 여기서 유사한 지정들은 유사한 요소들을 표시한다.
도 1 은 개시된 본 발명의 일부 동작가능한 실시예들을 구현하는 디바이스를 도시하는 블록 다이어그램이다. 모바일 디바이스의 주요 컴포넌트들이 도시된다.
도 2 는 보정 테이블의 일 실시예의 도면이다. 보정 테이블은 카메라 렌즈들의 포지션들과 관련된 보정 정보를 저장하는데 이용된다.
도 3 은 어떻게 이미징 센서의 초점 거리가 디바이스 배향에 따라 달라지는지를 도시하는 그래프이다. 광축이 위쪽, 아래쪽, 또는 수평으로 배향되도록 디바이스의 초점 포지션들이 포지셔닝된다.
도 4 는 보정 수집 모듈에 대한 프로세싱 로직의 일 실시예를 도시하는 플로우 차트이다.
도 5 는 완전 초점 스윕 알고리즘을 이용하는 데이터 수집 모듈의 일 실시예를 도시하는 플로우 차트이다.
도 6 은 단축 초점 스윕 알고리즘을 이용하는 데이터 수집 모듈의 일 실시예를 도시하는 플로우 차트이다.
도 7 은 이미징 센서의 초점 포지션이 진전함에 따라 이미징 디바이스의 이미징 센서를 통해 뷰잉되는 이미지의 콘트라스트를 도시하는 그래프이다. 완전 자동 초점 스윕 및 단축 자동 초점 스윕 양자 모두가 도시된다.
도 8 은 다중 초점 모듈의 일 실시예를 나타내는 플로우차트이다.
도 9 는 오프셋 결정 모듈의 일 실시예를 도시하는 플로우차트이다.

본원에 개시된 구현예들은 모바일 전자 디바이스에서 다중 카메라 렌즈들을 보정하는 시스템들, 방법들, 및 장치들을 제공한다. 특히, 본 실시예들은 적어도 2 개의 카메라들 또는 카메라 센서들의 초점 포지션들 사이의 차이에 기초하여 초점 조정을 결정하는 것을 고려한다. 이러한 실시예들은 하드웨어, 소프트웨어, 펌웨어, 또는 이의 임의의 조합으로 구현될 수도 있음을 당업자는 인식할 것이다.

다음의 설명에서, 예들에 대한 철저한 이해를 제공하기 위해 특정 세부사항들이 주어진다. 그러나, 예들은 이러한 특정 세부사항들이 없이 실시될 수도 있음이 당업자에 의해 이해될 것이다. 예를 들어, 불필요한 세부사항으로 예들을 모호하게 하지 않기 위해 전기 컴포넌트들/디바이스들은 블록 다이어그램들로 보여질 수도 있다. 다른 사례들에서, 이러한 컴포넌트들, 다른 구조들, 및 기법들이 상세히 보여져 예들을 추가적으로 설명할 수도 있다.

예들은 프로세스로서 설명될 수도 있으며, 프로세스는 플로우차트, 플로우 다이어그램, 유한 상태 다이어그램, 구조 다이어그램, 또는 블록 다이어그램으로 도시됨에 또한 유의한다. 플로우차트가 동작들을 순차적인 프로세스로 설명할지라도, 동작들 중 많은 동작들은 병렬로, 또는 동시에 수행될 수 있고, 프로세스는 반복될 수 있다. 또한, 동작들의 순서는 재배열될 수도 있다. 프로세스는 프로세스의 동작들이 완료되는 경우 종료된다. 프로세스는 방법, 기능, 절차, 서브루틴, 서브프로그램 등에 대응할 수도 있다. 프로세스가 소프트웨어 기능에 대응하는 경우, 프로세스의 종료는 호 기능 또는 메인 기능으로의 기능의 복귀에 대응한다.

당업자라면, 정보 및 신호들이 임의의 다양한 상이한 기술들 및 기법들을 사용하여 표현될 수도 있음을 이해할 것이다. 예를 들어, 위의 설명을 통해 참조될 수도 있는 데이터, 명령들, 커맨드들, 정보, 신호들, 비트들, 심볼들, 및 칩들은 전압들, 전류들, 전자기파들, 자기장들 혹은 자기 입자들, 광학 필드들 혹은 입자들, 또는 이들의 임의의 조합에 의해 표현될 수도 있다.

도 1 은 2 개의 이미지 센서들 (102 및 103) 에 링크된 프로세서 (101) 를 포함하는 컴포넌트들의 세트를 갖는 디바이스 (100) 의 고차원 블록 다이어그램을 도시한다. 온도 센서 (105), 배향 센서 (104), 및 메모리 (106) 가 또한 프로세서 (101) 와 통신한다. 도시된 실시예는 프로세서에 링크된 별개의 메모리 모듈 (107) 을 또한 포함하고, 메모리 모듈 (107) 은 보정 테이블 (200) 및 작업 메모리 (160) 를 포함한다.

디바이스 (100) 는 셀 폰, 디지털 카메라, 개인 휴대 정보 단말기 등일 수도 있다. 디바이스 (100) 는 또한 데스크톱 개인용 컴퓨터, 비디오 회의 스테이션 등과 같은 보다 정적인 디바이스일 수도 있다. 복수의 애플리케이션들이 디바이스 (100) 상에서 사용자에게 이용가능할 수도 있다. 이러한 애플리케이션들은 높은 동적 범위 이미징, 파노라마 비디오, 또는 3D 이미지들이나 3D 비디오와 같은 3D 이미징을 포함할 수도 있다.

프로세서 (101) 는 범용 프로세싱 유닛 또는 이미징 애플리케이션들을 위해 특별히 설계된 프로세서일 수도 있다. 도시된 바와 같이, 프로세서 (101) 는 메모리 (106) 및 메모리 (107) 에 접속된다. 도시된 실시예에서, 메모리 (106) 는 데이터 수집 모듈 (190) 및 데이터 저장 모듈 (180) 을 갖는 보정 수집 모듈 (195) 을 저장한다. 메모리 (106) 는 오프셋 결정 모듈 (170) 및 다중 초점 모듈 (150) 을 또한 갖는다. 메모리 (107) 는 보정 테이블 (200) 및 작업 메모리 (160) 를 갖는다. 상술된 바와 같이, 프로세서는 메모리들 내에 저장된 여러 개의 모듈들로 구성된다. 데이터 수집 모듈 (190) 은 프로세서 (101) 가 이미지 센서 (102) 및 이미지 센서 (103) 의 초점 포지션을 조정하도록 구성하는 명령들을 포함한다. 데이터 저장 모듈 (180) 은 프로세서 (101) 가 데이터 수집 모듈 (190) 에 의해 결정된 초점 포지션 데이터를 보정 테이블 (200) 내에 저장하도록 구성하는 명령들을 제공한다. 오프셋 결정 모듈 (170) 은 카메라 초점이 이미징 애플리케이션을 지원하도록 요구되는 경우 적어도 하나의 이미지 센서에 대한 적절한 오프셋을 계산할 것을 프로세서에 명령하도록 구성된다. 다중 초점 모듈 (150) 은 오프셋 결정 모듈 (170) 로부터의 출력에 적어도 부분적으로 기초하여 이미지 센서들의 초점을 맞출 것을 프로세서 (101) 에 명령하도록 구성된다.

도 1 이 프로세서, 이미징 센서, 및 메모리를 포함하기 위해 별개의 컴포넌트들을 포함하는 디바이스를 도시하긴 하나, 이러한 별개의 컴포넌트들이 특정 설계 목적들을 달성하기 위해 다양한 방식들로 결합될 수도 있음을 당업자는 인식할 것이다. 예를 들어, 대안적인 실시예에서, 메모리 컴포넌트들은 프로세서 컴포넌트들과 결합되어 비용을 절약하고 성능을 개선시킬 수도 있다.

또한, 여러 개의 모듈들을 포함하는 메모리 컴포넌트 (106), 보정 테이블 (200) 과 작업 메모리 (160) 를 포함하는 별개의 메모리 (107) 를 포함하기 위해 도 1 은 2 개의 메모리 컴포넌트들을 도시하나, 당업자는 상이한 메모리 아키텍처들을 이용하는 여러 개의 실시예들을 인식할 것이다. 예를 들어, 설계는 보정 수집 모듈 (195), 오프셋 결정 모듈 (170), 및 다중 초점 모듈 (150) 을 구현하는 프로세서 명령들의 저장을 위해 ROM 또는 정적 RAM 메모리를 이용할 수도 있다. 보다 낮은 비용의 동적 액세스 메모리 (RAM) 가 작업 메모리로 이용될 수도 있다. 일 실시예에서, 보정 테이블 (200) 은 정적 RAM 컴포넌트에 저장된 다음에, 시스템 시작 시점에 동적 RAM 컴포넌트 내로 로딩될 수도 있다. 대안으로, 프로세서 명령들은 디바이스 (100) 내에 통합되거나 외부 디바이스 포트를 통해 접속되는 디스크 저장 디바이스로부터 시스템 시동 시에 판독될 수도 있다. 프로세서 명령들은 그 다음에 RAM 내로 로딩되어 프로세서에 의한 실행을 가능하게 할 수도 있다.

도 2 는 도 1 에 도시된 바와 같은 보정 테이블 (200) 의 일 실시예를 도시한다. 보정 테이블 (200) 은 디바이스가 이용됨에 따라 일어나는 일련의 보정 동작들로부터 획득된 데이터를 저장한다. 도시된 실시예에서, 보정 테이블 (200) 에서의 각각의 엔트리는 엔트리가 기록된 날짜 및 시간을 컬럼 (201) 에 저장한다. 데이터 및 시간 정보는 슬레이브 이미징 센서에 대한 렌즈 포지션을 계산하기 위해 나중에 이용되는 경우 보정 엔트리의 관련성에 대한 통찰을 제공한다. 예를 들어, 수해 전에 기록된 보정 포인트는, 그 포인트가 기록된 이후에 일어나는 이미지 센서 마모로 인해, 현재 시점에서 적절한 렌즈 조정치를 계산하기 위한 정확한 데이터를 제공하지 않을 수도 있다.

도시된 실시예에서, 보정 테이블의 각각의 엔트리는 또한 보정 시점에서의 주위 온도를 컬럼 (204) 에 포함한다. 주위 온도는 (전압 레벨, 다수의 전압 펄스들, 또는 커맨드들과 같은) 렌즈 제어와 렌즈 포지션 사이의 관계 상당한 영향을 줄 수도 있다. 주위 온도를 기록함으로써, 하기에서 좀더 상세히 논의되는 오프셋 결정 모듈 (170) 은 특정 이미징 동작에 대한 최상의 오프셋 (그리고 그에 따라 렌즈 포지션) 을 계산할 경우 정합 온도들을 갖는 보정 포인트들을 택하거나 그렇지 않으면 온도 변동들에 대해 보상하는 것이 가능하다. 대안적인 실시예들은 주위 온도 센서를 통합시키지 않을 수도 있고, 따라서 보정 테이블에서 온도 컬럼을 생략할 것이다.

디바이스 배향이 또한 이미징 센서의 초점 거리에 영향을 미칠 수도 있기 때문에, 도 2 로 도시된 실시예는 보정 포인트가 기록되는 시점에서 3 차원 공간에서의 디바이스의 배향을 컬럼 (205) 에 또한 기록한다. 그러나, 온도 센서를 갖춤에 따라, 보다 낮은 비용의 디바이스의 실시예들은 통합된 배향 센서를 포함하지 않을 수도 있다. 이러한 실시예들에서, 배향 컬럼 (205) 은 보정 테이블에서 생략된다.

일부 실시예들에서, 각각의 센서에 대한 렌즈 포지션 정보가 각각의 보정 엔트리로 기록된다. 도 2 에 도시된 실시예는 2 개의 이미지 센서들을 가져, 센서 포지션 정보에 대한 2 개의 컬럼들 (202, 203) 을 초래한다. 대안적인 실시예들은 보정 시점에 계산된, 마스터 렌즈 초점 포지션과 슬레이브 렌즈 초점 포지션에서의 차이만을 저장한다. 이러한 설계는 보정 엔트리에 대한 초점 포지션 정보를 저장하기 위해 오직 하나의 컬럼만을 요구함으로써 보정 테이블 메모리 요구사항들을 감소시킬 수도 있다. 그러나, 오직 렌즈 포지션에서의 차이만을 저장하는 것은 오프셋 결정 모듈에 의해 수행된 마스터 렌즈 포지션으로부터의 임의의 외삽의 정확도를 제한할 수도 있다. 이는 하기에서 좀더 상세히 논의된다. 이는, 현재의 마스터 렌즈 포지션이 보정 엔트리에 기록된 마스터 렌즈 포지션과 상당히 상이할 경우에 특히 맞다.

또 다른 실시예에서는, 보정 테이블에 저장된 센서 포지션 정보가 마스터 포지션과 슬레이브 포시션 사이의 퍼센트 차이를 포함할 수도 있다. 이는 또한 센서들 양자 모두의 렌즈 포지션을 저장하는 일 실시예와 비교하여 메모리 요구사항들을 감소시킨다. 퍼센트 차이들은 마스터 렌즈 포지션들을 상이하게 하는데 보다 쉽게 적용될 수도 있으나, 퍼센트 차이들은 또한 마스터 포지션과 슬레이브 포시션 사이의 선형 관계를 가정한다.

(전압, 펄스들, 또는 커맨드들과 같은) 렌즈 제어와 렌즈 포지션 사이의 관계에 대한 디바이스 배향의 영향이 도 3 의 선 그래프로 도시된다. 이 도면에서의 데이터는 음성 코일 액츄에이터를 갖는 센서로 수집되었다. 이러한 특정 설계로, 작은 전류가 코일에 인가되어 렌즈들의 초점을 맞춘다. 전류가 증가됨에 따라, 렌즈 포지션은 가변 초점 포지션을 제공하도록 변화된다. 도 3 에 도시된 바와 같은 이러한 테스트 데이터에서, 센서의 광축이 수평이었을 경우, 50 mA 의 전류가 183 um 의 센서 이동을 초래했다. 그러나, 광축이 앞쪽으로 포인팅되었던 경우, 이미징 센서 모터에 인가된 동일한 50 mA 전류는 약 153 um 의 센서 이동을 초래했다. 센서가 아래쪽으로 포인팅되었던 경우, 동일한 50 mA 전류가 213 um 의 센서의 이동을 초래했다. 따라서, 센서 모터에 인가되는 동일한 전류를 고려해 볼 때, 센서의 위쪽, 아래쪽, 또는 수평 배향에 따라, 센서 이동에서의 큰 퍼센트 변동이 있다.

도 4 는 데이터 보정 모듈 (190) 의 일 실시예 내에서 구동하는 프로세스 (400) 를 도시하는 플로우 차트이다. 프로세스 (400) 는 시작 상태 (405) 에서 착수하고, 그 다음에 결정 상태 (410) 로 이동하여 보정 이벤트를 기다린다. 일부 실시예들에서, 이러한 이벤트는 이미징 디바이스의 파워 온 이벤트이다. 다른 실시예들에서, 사용자는 디바이스 설정 등의 선택에 응답하여 보정 이벤트를 개시할 수도 있다.

보정 이벤트가 일어난다고 결정이 이루어지면, 프로세스 (400) 는 결정 단계 (415) 로 이동하여 현재 시점에서 보정 포인트를 캡쳐할 필요가 있는지 여부를 결정한다. 보정 포인트는 여러 이유들로 미리 결정된 보정 이벤트에서 불필요할 수도 있다. 예를 들어, 현재 디바이스 온도 및 배향 조건들에 대한 보정 포인트가 이미 있을 수도 있다. 대안으로, 현재 배향 및 온도에 대한 적당한 보간이 수행될 수 있도록, 보정 테이블은 적당한 보정 포인트들의 샘플링을 가질 수도 있다. 보정 포인트가 필요하지 않은 경우, 프로세스 (400) 는 결정 단계 (415) 로 돌아가서 다음 보정 이벤트가 일어나길 기다린다. 그 시점에서 다시 보정 포인트의 필요성이 재평가될 것이다.

보정 포인트가 수집되어야 한다고 단계 (415) 가 결정하는 경우, 프로세스 (400) 는 단계 (418) 로 이동하는데, 여기서 보정 테이블에서 이용가능한 보정 엔트리 행이 식별된다. 프로세스 (400) 에 의해 이제 곧 수집될 데이터를 저장하기 위해 보정 엔트리 행이 필요할 것이다. 보정 엔트리 행이 이용가능하지 않은 경우, 프로세스 (400) 는 보정 테이블에 새로운 행을 생성하거나 오래된 데이터를 제거하는 것 중 어느 일방일 수도 있다. 보정 테이블에서 빈 행이 식별된 후에, 프로세스 (400) 는 단계 (420) 로 이동해, 데이터 수집 모듈 (109) 을 불러와 보정 데이터의 수집을 수행한다. 데이터 수집 모듈 (190) 을 불러오기 위해 단계 (415) 에서 이용되는 방법은 실시예들에 걸쳐 달라질 것임을 당업자는 인식할 것이다. 예를 들어, 디바이스의 운영 시스템에 의해 제공되는 메시징 시스템이 이용될 수도 있다. 대안으로, 보정 수집 모듈은 직접적으로 데이터 수집 모듈 (190) 의 방법을 불러올 수도 있다. 데이터 수집 모듈 (190) 의 세부사항들이 하기에서 좀더 상세히 논의된다.

데이터가 수집된 후에, 데이터 수집 모듈 (190) 내의 명령들은 보정 수집 모듈에 데이터를 반환한다. 프로세스 (400) 는 그 다음에 단계 (425) 로 이동하여, 데이터 수집 모듈로부터 수신된 데이터를 보정 테이블 (200) 내의 빈 행 내에 저장한다. 프로세스 (400) 는 그 다음에 단계 (430) 로 이동하여 통합된 온도 센서 및 배향 센서로부터 데이터를 획득한다. 프로세서 (400) 는 그 다음에 단계 (430) 로 이동하는데, 여기서 배향 센서 및/또는 가속도계로부터 수집된 환경 데이터가 보정 테이블 (200) 에 저장된다.

단계 (410) 에서 보정 이벤트를 구성하는 것은 실시예들에 걸쳐 달라질 수도 있음을 당업자들은 인식할 것이다. 예를 들어, 다른 실시예들은 보정 이벤트를 트리거링하기 전에 디바이스가 유휴가 되길 기다린다. 유휴 디바이스가 정확하게 검출될 수 있고 그 시점에서 보정이 수행된 경우, 보정 포인트는 사용자의 디바이스의 이용을 방해하지 않을 것이다. 이러한 접근법을 취하는 실시예들은 디바이스가 유휴가 되는 경우를 특별히 결정하도록 지능형 프로세스들을 구현한다. 일 실시예는 임의의 사용자 입력 없이 흐르는 소정의 시간 기간 동안 기다린다. 대안으로, 내장 가속도계들 또는 배향 센서들로부터의 데이터는 디바이스가 소정의 시간 기간 내에서 이동했는지 여부를 검출할 수 있다. 이동의 부족은 유휴 조건을 시그널링할 수 있다. 또 다른 실시예들은 2 개의 기법들을 결합할 수도 있다. 예를 들어, 소정의 시간 동안 사용자 입력이 수신되지 않고, 디바이스가 동일한 시간 기간 동안 이동되지 않은 경우, 보다 높은 신뢰도의 유휴 결정이 이루어질 수 있다. 일부 실시예들에서, 유휴 결정에 이용되는 시간 파라미터들은 또한 사용자가 설정가능하도록 할 수 있다. 이는 사용자에게 어떻게 디바이스 보정들이 행해질지에 대한 일부 제어를 제공하여, 디바이스 보정들이 일어날 경우 사용자들이 디바이스 보정들을 좀더 수용할 수 있도록 한다.

다른 실시예들에서, 보정 이벤트는 보정에 대한 필요성을 검출하는 지능 알고리즘들에 의해 트리거링된다. 예를 들어, 디바이스는 조정된 렌즈 포지션들에서 캡쳐된 이미지들의 콘트라스트를 비교할 수 있다. 상당한 차이들은 보정에 대한 필요성을 나타낼 수도 있다. 보정에 대한 필요성이 검출되는 경우, 사용자는 이를 나타내고 보정을 개시하기 위해 사용자의 승인을 요청하는 메시지로 프롬프트될 (prompt) 수 있다. 사용자가 동의하는 경우, 보정이 개시될 수 있다. 대안으로, 사용자를 프롬프트하는 대신에, 보정에 대한 필요성이 비휘발성 메모리에 저장될 수 있다. 보정 포인트는 그 다음에 적어도 분단 시간, 예를 들어, 다음 디바이스의 파워 온 이벤트에 개시될 수 있다.

일부 실시예들은 이러한 접근법에서 한 단계 더 나아갈 수도 있다. 예를 들어, 조정된 렌즈 포지션들에서 이미지 콘트라스트가 센서들 사이에서 약간만큼 벗어나는 경우, 실시예는 보정이 수행되는 것을 사용자에게 오직 제안만 한다. 그러나, 편차들이 보다 큰 임계치에 이르는 경우, 실시예는 보정을 강요한다. 이러한 조치들은 디바이스의 제조사가 낮은 품질의 디바이스들을 시장에 내놓은 것으로 부당하게 인식되지 않게 보장하도록 정당화될 수도 있다.

특정 보정 이벤트가 실시예들에 따라 달라질 수도 있는 한편, 프로세스 (400) 의 다른 양상들도 달라질 수도 있다. 예를 들어, 실시예들은 보정 테이블 (200) 내의 자유 공간을 상이하게 처리할 수도 있다. 보정 포인트들이 기록됨에 따라, 보정 테이블 (200) 내에서 이용가능한 공간이 감소된다. 보정이 수행될 때 보정 테이블 (200) 에 공간이 남아 있지 않은 경우, 새롭게 수집된 데이터를 위한 저장 위치를 식별하기 위해 대체 알고리즘이 필요하다. 보정 엔트리들이 오래 됨에 따라, 센서들의 마모가 이미징 센서의 응답 프로파일들을 변화시킬 수도 있기 때문에, 보정 엔트리들이 담고 있는 데이터는 이미지 센서들의 현재 거동을 예측하는데 덜 유용하게 됨을 일 실시예는 인식한다. 이를 보상하기 위해, 보정 엔트리들은 보정 테이블 (200) 에서 "오래되어 퇴출된다 (aged out). 새로운, 보다 관련 있는 보정 데이터를 위한 공간을 만들기 위해 소정의 시간 기간 후에 보다 오래된 보정 포인트들이 제거된다.

대안으로, "가장 적게 최근에 이용된" 대체 프로세스가 일부 실시예들에서 사용될 수도 있다. 이러한 설계로, (하기에서 상세히 설명되는) 오프셋 결정 모듈 (170) 에 의해 덜 자주 참조되는 보정 포인트들은 삭제되어 렌즈 포지션들을 결정할 시에 보다 자주 이용되고 가치있는 데이터를 위한 공간을 제공한다. 이러한 알고리즘은 각각의 보정 엔트리에 저장될 추가적인 데이터를 요구한다. 이러한 정보는 엔트리가 액세스되는 때를 기록한다. 이러한 설계를 구현하는데 이용되는 기법들은 공지되어 있다.

렌즈 보정 포인트들에 대한 가장 적게 자주 이용되는 대체 알고리즘의 일 단점은 자주 이용되는 조건들의 주변에 보정 데이터가 모이는 것을 초래하나 덜 보편적인 환경 조건들에 대해 상대적으로 희소한 데이터 커버리지를 제공한다는 것이다. 빈번하지 않은 조건들에 대한 희소 데이터 커버리지로는, (하기에서 설명된) 오프셋 결정 모듈 (170) 에 의해 사용된 보간 알고리즘들은 덜 정확할 것이다. 이는 이러한 조건들 하에서 이미지 품질에 악영향을 줄 수 있다. 또한, 자주 마주치는 환경 조건들 주위에 보정 포인트들이 모이는 것은 이러한 조거들 하에서 이미지 품질을 오직 아주 조금만 개선시킬 수도 있다. 주어진 환경 조건에 대한 보정 포인트들의 수가 "적당한" 레벨에 도달하면, 보간 알고리즘들은 일반적으로 만족할만한 결과를 제공할 것이다. 적당한 레벨을 넘어 보정 포인트들의 수를 증가시키는 것은 이미지 품질에 개선을 제공하지 않으면서 단순히 메모리 내의 공간만 소비할 수도 있다. 이러한 트레이드 오프들은 어떤 유형의 대체 알고리즘을 특정 실시예가 사용할지를 결정할 경우에 주의깊게 고려된다.

너무 자주 또는 때에 맞지 않는 시간들에서 일어나는 보정들도 방지되야 한다. 따라서, 프로세스 (400) 의 일부 실시예들은 디바이스에 과중한 부담을 주어 사용자 경험에 영향을 미치는 것을 방지하기 위해 보정 포인트들 사이에 최소 경과 시간을 요구할 수도 있다.

도 5 는 데이터 수집 모듈 (190) 의 일 실시예 내에서 구동하는 프로세스 (500) 를 도시하는 플로우 차트이다. 프로세스 (500) 는 보정 수집 모듈에 의해 보정을 수행하도록 하기 위한 결정이 이루어진 후에 보정 포인트에 대한 데이터를 수집한다. 도시된 실시예에서, 프로세스 (500) 는 완전 자동 초점 스윕을 이용하여 보정 데이터를 수집한다. 이러한 실시예에서, 예시된 프로세스는 병렬로 각각의 이미징 센서에 대해 수행된다. 프로세스 (500) 는 시작 단계 (510) 에서 착수하고 그 다음에 단계 (520) 로 이동하여 초기 설정으로 렌즈에 대한 초점 포지션을 설정한다. 초기 설정은 일반적으로 이미징 센서의 렌즈 포지션들의 범위의 일 극단에 있다. 프로세스 (500) 는 그 다음에 단계 (530) 로 이동하는데, 여기서 단계 (520) (또는 단계 (560), 하기를 참조) 에서 설정된 렌즈 포지션에서 이미징 센서를 통해 캡쳐된 이미지의 콘트라스트가 측정된다. 프로세스 (500) 는 그 다음에 결정 단계 (540) 로 이동하는데, 여기서 콘트라스트가 이전에 특정된 콘트라스트 값들과 비교된다. 현재 콘트라스트가 최대 사전 기록된 값보다 큰 경우, 프로세스 (500) 는 단계 (580) 로 이동하여 현재 렌즈 포지션 및 콘트라스트 값들이 저장된다. 이것이 맨 처음의 콘트라스트의 측정치인 경우, 프로세스 (500) 는 또한 단계 (580) 로 이동하여 콘트라스트 및 렌즈 포지션을 저장하고 데이터 값들을 초기화한다.

프로세스 (500) 는 그 다음에 결정 단계 (550) 로 이동한다. 이 단계에서, 데이터 프로세스 (500) 는 현재 렌즈 초점 포지션이 이미징 센서의 초점 포지션 범위의 가장 먼 지역을 표현하는지를 결정한다. 렌즈 포지션이 렌즈 포지션의 범위의 가장 먼 지역에 있는 경우, 프로세스 (500) 는 단계 (570) 로 이동하여 보정 모듈에 저장된 렌즈 포지션을 반환한다. 프로세스 (500) 는 그 다음에 종료 스테이지 (590) 으로 이동한다. 렌즈 포지션 조정의 가장 먼 지역이 단계 (550) 에 이르지 않은 경우, 프로세스 (500) 는 단계 (560) 로 이동하는데, 여기서 렌즈 포지션은 다음 포지션으로 진전된다. 프로세스 (500) 는 그 다음에 단계 (530) 로 돌아가고 프로세스는 반복된다.

도 5 에서 예시된 실시예에 도시된 바와 같은 완전 자동 초점 스윕 (exhaustive auto focus sweep) 은 2 개 이상의 렌즈들의 포지션들을 동기화하는데 가장 높은 콘트라스트 이미지가 이용되는 것을 보장한다. 가장 높은 콘트라스트 이미지를 이용함으로써, 각각의 이미징 센서에 대한 이미지 데이터 사이의 임의의 변동의 영향이 완화된다. 다중 이미지 센서들로부터 캡쳐된 데이터에서의 약간의 변동들은 가장 높은 콘트라스트 이미지들에서 기인하는 렌즈 포지션들이 렌즈 초점 길이에서의 변동들 이외의 이유들로 상이하도록 할 수 있다. 이미지 센서 잡음은, 예를 들어, 2 개의 센서들 사이에 최대 콘트라스트에서 약간의 변동들을 초래할 수 있다. 가장 높은 콘트라스트의 포인트에 초점을 맞춤으로써, 최대 콘트라스트의 포인트에서 잡음의 영향이 완화되어, 가장 정확한 보정을 초래한다. 따라서, 완전 초점 스윕을 이용하는 데이터 수집 모듈은 미리 결정된 이벤트에 응답하여 카메라에 대한 초점 설정을 결정하는 일 가능한 수단을 포함한다. 가장 정확한 결과를 제공함으로써, 완전 이미지 스윕은 다음에서 논의되는 단축 자동 초점 스윕 (abbreviated auto focus sweep) 과 같은 다른 실시예들보다 보정을 수행하는데 약간 더 많은 시간 및 전력을 요구한다.

도 6 에 의해 도시된 대안적인 실시예에서, 데이터 수집 모듈은 렌즈 초점 포지션들의 전체 범위를 스윕하지 않는다. 대신에, 단축 자동 초점 스윕은 오직 국지적 최대 콘트라스트만을 찾는다. 도 6 은 데이터 수집 모듈 (190) 의 일 실시예 내에서 구동하는 프로세스 (600) 를 도시하는 플로우 차트이다. 프로세스 (600) 는 시작 스테이트 (605) 에서 착수하고, 그 다음에 단계 (610) 으로 이동하는데, 여기서 초기 초점 포지션이 설정된다. 프로세스 (500) 와 유사하게, 이 초점 포지션은 또한 일반적으로 초점 범위의 일 단을 표현한다. 프로세스 (600) 는 그 다음에 단계 (615) 로 이동하는데, 여기서 단계 (610) 에서 설정된 초점 포지션에서 렌즈를 통해 뷰잉된 이미지의 콘트라스트가 측정된다. 프로세스 (600) 는 그 다음에 단계 (620) 으로 이동하는데, 여기서 측정된 콘트라스트가 프로세스 (600) 의 이러한 호출 중에 보인 최대 콘트라스트 값에 대해 비교된다. 현재 측정된 콘트라스트가 보인 최대치보다 높은 경우, 프로세스 (600) 는 단계 (640) 로 이동하여, 현재 초점 포지션 및 현재 초점 포지션의 콘트라스트 값이 저장된다. 프로세스 (600) 는 그 다음에 단계 (630) 로 이동하는데, 여기서 초점 포지션이 진전된다. 프로세스 (600) 는 그 다음에 단계 (615) 로 돌아가 프로세스 (600) 가 반복된다. 현재 렌즈 포지션에서의 콘트라스트가 단계 (640) 에서 기록된 최대 콘트라스트보다 최저로 낮은 경우, 프로세스 (600) 는 단계 (625) 로 이동한다. 단계 (625) 는 프로세스 (600) 에서 설명된 단축 자동 초점 스윕 알고리즘에 고유하다. 단계 (625) 에서, 현재 렌즈 위치에서의 콘트라스트와 최대 콘트라스트 사이의 차이가 임계 값과 비교된다. 차이가 임계치 위인 경우, 프로세스 (500) 에서 행해진 바와 같이, 렌즈 포지션의 범위의 극단으로 렌즈 포지션이 계속 진전할 필요가 없다. 대신에, 프로세스 (600) 는 단계 (650) 로 이동하는데, 여기서 저장된 렌즈 포지션이 보정 모듈에 반환된다. 프로세스 (600) 는 그 다음에 종료 단계 (660) 로 이동한다.

단축 자동 초점 스윕 기법은 일부 환경들에서 이점들을 제공한다. 예를 들어, 단축 자동 초점 스윕 기법은 완전 자동 초점 스윕보다 수행하는데 더 적은 시간 및 전력을 요구할 수도 있다. 또한, 임계 값이 적절히 설정되는 경우, 이미지 잡음은 렌즈 포지션들 사이의 오 (false) 정합을 초래하지 않는다. 이를 확실히 하기 위해, 센서들이 경험할 수도 있는 임의의 잡음 레벨보다 높게 임계치가 설정되어야 한다. 단축 기법의 혜택들을 희생시키지 않으면서, 임의의 예상된 잡음 레벨보다 상당히 높게 임계치를 설정함으로써 시스템 내에 상당한 마진이 설계될 수 있다. 따라서, 단축 자동 초점 스윕을 이용하는 데이터 수집 모듈은 미리 결정된 이벤트에 응답하여 카메라에 대한 초점 설정을 결정하는 다른 가능한 수단을 포함한다.

완전 자동 초점 스윕과 단축 자동 초점 스윕 사이의 차이들이 도 7a 및 도 7b 에 도시된다. 상부 그래프 7a 는 일반적인 완전 자동 초점 스윕을 도시한다. 초점 포지션이 오른쪽으로 진전함에 따라, 이미지가 서서히 초점이 맞추어져 뚜렷해지며, 이는 지속적으로 증가하는 이미지 콘트라스트로 표현된다. 결국, 이미지는 최대 초점에 도달하며, 이는 카메라 1 에 대해서는 포인트 701 로, 카메라 2 에 대해서는 포인트 702 로 표현된다. 렌즈 포지션이 계속하여 더 진전함에 따라, 이미지는 초점을 상실하며, 이는 포인트들 (701 및 702) 이후의 감소하는 이미지 콘트라스트로 표현된다.

단축 자동 초점 스윕 기법을 표현하는 하부 그래프 7b 와 비교해 보자. 완전 자동 초점 스윕과 유사하게, 렌즈 초점 포지션이 진전됨에 따라 콘트라스트는 초기에 증가된다. 그러나, 최대 콘트라스트가 기록된 후에, 렌즈 초점 포지션은 이미지 콘트라스트가 도면에서 "t" 로 표시된, 설정된 임계치 아래로 떨어질 때까지만 진전된다. 그 다음에 데이터 수집 프로세스는 종료한다. 임계 값보다 많이 만큼 최대 콘트라스트와 상이한 콘트라스트를 생성하는 렌즈 포지션 너머로 초점 포지션이 계속 진전할 필요가 없다.

도 8 은 다중 초점 모듈 (150) 의 일 실시예 내에서 구동하는 프로세스 (800) 를 도시하는 플로우 차트이다. 다중 초점 모듈은 이미징 태스크, 예를 들어, 스냅샷 또는 비디오 기록을 지원하는 2 개 이상의 이미징 센서들의 초점을 맞추는 것을 책임진다. 프로세스 (800) 는 시작 스테이트 (805) 에서 착수한 다음에 단계 (810) 로 이동하는데, 여기서 마스터 센서에 대한 초점 포지션이 결정된다. 마스터 이미징 센서는 남은 이미징 센서들에 대한 초점을 결정하는데 이용되는 1 차 센서이다. 모든 다른 이미징 센서들은 "슬레이브" 센서들로 여겨진다. 마스터 센서의 초점 포지션을 결정하기 위해, 다수의 기법들이 공지되어 있다. 앞서 논의된 완전 초점 스윕 및 단축 초점 스윕 양자 모두가 이용될 수 있으나, 이러한 기법들은 일부 이미징 애플리케이션들에서 바람직하지 않을 수도 있다. 예를 들어, 현재 이미지 초점이 최적에 매우 가까운 경우, 위에서 도 5 - 도 7 로 도시된 알고리즘들에서 설명된 기법들로 행해진 바와 같이, 초점 포지션의 범위의 일 지역으로 초점 포지션을 재설정하는 것은 바람직하지 않다. 대신에, 마스터 이미징 센서의 초점을 맞추기 위해 약간의 조정들이 이루어진다. 이러한 기법들은 공지되어 있다.

마스터 이미징 센서 초점 포지션이 단계 (810) 에서 결정되면, 프로세스 (800) 는 단계 (820) 로 이동하는데, 여기서 각각의 슬레이브 센서에 대한 적합한 설정이 결정된다. 도 8 은 단계 (820) 에서 병렬로 일어나는 각각의 슬레이브 설정에 대한 오프셋 결정을 도시한다. 다른 실시예들은 디바이스 상의 모든 이미징 센서들의 초점을 맞추는데 요구되는 시간에 대응하는 지연으로, 직렬로 이러한 결정들을 수행할 수도 있다. 오프셋 결정 프로세스는 오프셋 결정 모듈 (170) 의 논의에서 하기에 상세히 설명된다. 각각의 센서에 대한 오프셋이 결정되면, 프로세스 (800) 는 단계 (830) 로 이동하는데, 여기서 이전 단계 (820) 에서 반환된 오프셋을 앞서 단계 (810) 에서 결정된 마스터 센서 초점 포지션에 적용함으로써 각각의 센서에 대한 초점 설정이 식별된다. 프로세스 (800) 는 그 다음에 단계 (840) 로 이동하는데, 여기서 모든 이미징 센서들이 이전 단계들에서 결정된 이미징 센서들의 초점 포지션들로 구동된다. 이미징 디바이스는 그 다음에 각각의 센서로 이미지를 기록할 준비가 된다. 프로세스 (800) 는 그 다음에 종료 단계 (850) 로 이동한다. 따라서, 다중 초점 모듈 구동 프로세스 (800) 는 제 1 초점 설정과 제 2 초점 설정 사이의 차이에 기초하여 초점 조정을 결정하는 일 수단을 표현한다. 좀더 일반적으로, 보정 테이블 내의 데이터에 기초하여 복수의 슬레이브 이미징 센서들의 초점 포지션들 및 현재 마스터 이미징 센서 포지션을 결정하는 다중 초점 모듈은 제 1 초점 설정과 제 2 초점 설정 사이의 차이에 기초하여 초점 조정을 결정하는 다른 수단이다.

도 9 는 오프셋 결정 모듈 (190) 의 일 실시예 내에서 구동하는 프로세스 (900) 를 도시하는 플로우 차트이다. 오프셋 결정 모듈은, 현재 마스터 센서 렌즈 포지션, 보정 테이블, 및 현재 배향과 온도 데이터를 고려하여, 이미징 센서에 대한 적합한 오프셋을 결정하는 것을 책임진다. 오프셋 결정 모듈의 태스크는 복잡한데, 이전에 설명된 보정 기법들이 알려진 거리들에서 초점 타겟들의 세트로 잘 제어된 제조 환경에서는 일어나지 않기 때문이다. 대신에, 랜덤 장면들이 보정 시점에 이미지화되어, 다양한 초점 포지션들을 갖는 보정 테이블 엔트리들을 초래한다. 보정 포인트들의 초점 포지션은 보정들이 일어난 시점에 이미지 센서에 의해 인지된 장면들에 의존할 것이다.

또한, 각각의 보정 테이블 엔트리에 대해 기록된 환경 조건들은 가능한 값들의 스펙트럼에 걸쳐 달라질 수도 있거나, 특정 온도들 및 배향들 주위에 모일 수도 있다. 온대 기후에 살고 있는 사용자는 좁은 온도 범위 내의 보정 테이블 엔트리들을 기록할 수도 있다. 적도로부터 멀리 위치해 있는 사용자들은 온도에서 좀더 극심한 변동들을 기록할 수도 있다. 배향들이 또한 사용자들에 걸쳐 달라질 수도 있는데, 초보 사용자들은 상대적으로 수평 광축을 유지하고, 고급 사용자들은 보다 다양한 배향들을 기록한다.

오프셋 결정 모듈은 이러한 데이터의 분류를 고려하여 현재 조건들에 대한 적절한 오프셋을 결정해야 한다. 도 9 의 도시된 실시예에서, 프로세스 (900) 는 시작 단계 (905) 에서 착수하고 나서 단계 (920) 로 이동하는데, 여기서 프로세스 (900) 는 현재 주위 온도에 대해 온도에서 가장 가까운 보정 포인트들을 최대 10 개까지 보정 테이블에서 검색한다. 프로세스 (900) 는 그 다음에 단계 (930) 로 이동하는데, 여기서 프로세스 (900) 는 현재 배향에 가장 가까운 기록된 배향을 갖는 포인트들을 최대 10 개까지 검색한다. 최상의 실시예들은 이러한 비교에서 각각의 치수를 이용할 것이다. 단계들 (920 및 930) 에서 검색된 보정 엔트리들의 집합은 1 과 20 개 사이의 고유의 보정 엔트리들로 반환될 수 있다. 도 9 의 도시된 실시예는 10 개의 보정 포인트들 각각의 2 개의 그룹들을 보유하는 것으로 설명되나, 다른 실시예들은 그 자체의 특정 설계 고려사항들에 기초하여 포인트들의 수를 달리할 수도 있음에 유의한다. 예를 들어, 보다 넓은 범위의 제조 허용들을 갖는 센서를 이용하는 실시예는 정확한 보정을 달성하기 위해 보다 많은 포인트들을 요구할 수도 있다.

프로세스 (900) 는 그 다음에 단계 (940) 로 이동한다. 단계 (940) 에서, 현재 마스터 이미지 센서 초점 포지션을 고려하여 오프셋 포지션을 결정하기 위해 2 개의 차원의 보간이 적용된다. 일부 실시예들은 보간 시에 보정 포인트들의 각각에 동일한 가중을 제공하여 단일 보간을 수행한다. 보정 테이블 내에 마스터 포지션 및 슬레이브 포지션 양자 모두를 기록하는 다른 실시예들에서, 각각의 보정 포인트에는 기록된 마스터 이미지 센서 포지션과 현재 마스터 센서 포지션 사이의 차이에 대한 가중 비례가 주어진다. 일부 실시예들은 또한 비례의 원칙에서 엔트리의 오래됨을 고려할 수도 있다. 보정 포인트들로부터 새로운 렌즈 포지션으로의 보간이 수행된 후에, 프로세스 (900) 는 종료 단계 (950) 로 이동한다.

당업자는 다른 실시예들을 인식할 것이다. 예를 들어, 현재 이미지 센서 초점 포지션과 임계 값을 초과하는 만큼 상이한 기록된 렌즈 포지션들을 갖는 보정 포인트들은 데이터 세트로부터 삭제될 수도 있다. 그러나, 이러한 실시예들은 포인트들의 삭제를 제한하여 전체 포인트들의 개수가 소정의 최소 개수 아래로 감소되는 것을 방지할 수도 있다. 유사하게, 일부 실시예들은 소정의 임계치만큼 현재 온도 또는 배향과 상이한 배향 또는 온도 데이터를 갖는 보정 포인트들을 삭제하지만, 다시, 전체 포인트들의 최소치 아래로의 감소를 방지할 수도 있다. 대안으로, 엔트리들을 삭제하는 대신에, 다른 실시예들은 얼마나 근접하게 현재 환경 조건들에 정합하는지에 기초하여 단순히 엔트리들을 가중할 수도 있다. 위의 실시예들을 구현하는데 요구되는 수학적 기법들은 공지되어 있다.

본원에 개시된 실시예들 관련하여 설명된 다양한 예시적인 논리적 블록들, 모듈들, 회로들, 및 프로세스 단계들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이들 양자의 조합들로 구현될 수도 있음을 당업자들은 또한 이해할 것이다. 하드웨어와 소프트웨어의 이러한 상호교환성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들, 및 단계들은 그들의 기능성의 관점에서 일반적으로 위에서 설명되었다. 그러한 기능성이 하드웨어 또는 소프트웨어로 구현되는지 여부는 특정 애플리케이션 및 전체 시스템에 부과되는 설계 제약들에 따라 달라진다. 당업자들은 각각의 특정 애플리케이션에 대해 다양한 방식들로 설명된 기능성을 구현할 수도 있으나, 이러한 구현 결정들이 본 발명의 범위로부터 벗어나게 하는 것으로 해석되어서는 안된다. 일부분 또는 일부는 전체보다 적게 또는 전체와 동일하게 포함할 수도 있음을 당업자는 인식할 것이다. 예를 들어, 픽셀들의 수집의 일부분은 이러한 픽셀들의 하위 수집을 지칭할 수도 있다.

본원에서 개시된 실시예들과 연계하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 및 회로들은 범용 프로세서, 디지털 신호 프로세서 (DSP), 주문형 반도체 (ASIC), 필드 프로그래머블 게이트 어레이 (FPGA) 또는 다른 프로그래머블 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 본원에 설명된 기능들을 수행하도록 설계된 것들의 임의의 조합에 의해 구현되거나 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 다르게는, 프로세서는 임의의 종래의 프로세서, 컨트롤러, 마이크로컨트롤러, 또는 상태 머신일 수도 있다. 프로세서는 또한 컴퓨팅 디바이스들의 조합, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 연계한 하나 이상의 마이크로프로세서들, 또는 임의의 다른 그러한 구성으로 구현될 수도 있다.

본원에서 개시된 구현예들과 연계하여 설명된 방법 또는 프로세스의 단계들은 하드웨어에서, 프로세서에 의해 실행되는 소프트웨어 모듈에서, 또는 이들 둘의 조합에서 직접적으로 구현될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드 디스크, 이동식 디스크, CD-ROM, 또는 공지된 임의의 다른 형태의 비일시적 저장 매체 내에 있을 수도 있다. 예시적인 컴퓨터 판독가능 저장 매체는 프로세서에 커플링되어, 프로세서가 컴퓨터 판독가능 저장 매체로부터 정보를 판독하거나 컴퓨터 판독가능 저장 매체에 정보를 기록할 수 있다. 대안에서, 저장 매체는 프로세서에 통합될 수도 있다. 프로세서와 저장 매체는 ASIC 내에 있을 수도 있다. ASIC 는 사용자 단말, 카메라, 또는 다른 디바이스 내에 있을 수도 있다. 대안에서, 프로세서와 저장 매체는 사용자 단말, 카메라, 또는 다른 디바이스에서 이산 컴포넌트들로 있을 수도 있다.

제목들은 참조를 위해 본원에 포함되고 다양한 섹션들을 위치를 찾는 것을 돕기 위한 것이다. 이러한 제목들은 그와 관련하여 설명된 개념들의 범위를 제한하고자 하지 않는다. 이러한 개념들은 전체 명세서에 걸쳐 적용가능할 수도 있다.

개시된 실시예들에 대한 앞서의 설명은 당업자가 본 발명을 실시하거나 이용하는 것을 가능하게 하도록 하기 위해 제공된다. 이러한 실시예들에 대한 다양한 수정예들이 당업자들에게는 자명할 것이고, 본원에서 정의된 일반적인 원칙들은 본 발명의 취지와 범위를 벗어나지 않으면서 다른 실시예들에 적용될 수도 있다. 따라서, 본 발명은 본원에서 보여진 예시적인 실시예들로 제한되도록 의도된 것은 아니며 본원의 개시된 원칙들과 신규의 특징들과 일치하는 가장 넓은 범위에 부합될 것이다.

Claims (21)

1. 복수의 카메라들을 갖는 이미징 디바이스에 대한 초점 조정을 결정하는 방법으로서,
   복수의 보정 포인트들을 결정하는 단계로서, 각각의 보정 포인트는 적어도 제 1 카메라에 대한 제 1 초점 설정, 대응하는 제 2 카메라에 대한 제 2 초점 설정 및 상기 제 1 및 제 2 초점 설정과 동시에 기록된 상이한 환경 조건들로부터 유도된 데이터를 포함하는, 상기 보정 포인트들을 결정하는 단계;
   상기 제 1 카메라에 대한 현재 초점 설정을 결정하는 단계;
   현재 환경 조건들을 결정하는 단계; 및
   상기 현재 초점 설정, 상기 복수의 보정 포인트들 및 상기 현재 환경 조건들에 기초하여 상기 제 2 카메라에 대한 초점 조정을 결정하는 단계를 포함하는, 복수의 카메라들을 갖는 이미징 디바이스에 대한 초점 조정을 결정하는 방법.
2. 제 1 항에 있어서,
   현재 환경 조건들과 상기 복수의 보정 포인트들에서 기록된 환경 조건들의 비교에 기초한 이벤트에 응답하여 보정 포인트가 기록되어야 하는지 여부를 결정하는 단계를 더 포함하는, 복수의 카메라들을 갖는 이미징 디바이스에 대한 초점 조정을 결정하는 방법.
3. 제 1 항에 있어서,
   상기 보정 포인트에 포함된 환경 조건들이 상기 현재 환경 조건들과 상이한 경우에 보정 포인트를 제거하기 위해, 상기 보정 포인트의 환경 조건들과 상기 현재 환경 조건들의 차이에 기초하여 상기 복수의 보정 포인트들을 필터링하는 단계; 및
   상기 현재 초점 설정 및 상기 필터링된 보정 포인트들에 기초하여 상기 제 2 카메라에 대한 초점 조정을 결정하는 단계를 더 포함하는, 복수의 카메라들을 갖는 이미징 디바이스에 대한 초점 조정을 결정하는 방법.
4. 제 1 항에 있어서,
   보정 포인트들의 기록 사이의 미리 결정된 시간의 경과에 응답하여 상기 보정 포인트들의 적어도 일부를 결정하는 단계를 더 포함하는, 복수의 카메라들을 갖는 이미징 디바이스에 대한 초점 조정을 결정하는 방법.
5. 제 1 항에 있어서,
   상기 보정 포인트의 환경 조건들과 상기 현재 환경 조건들의 차이에 기초하여 상기 보정 포인트들을 필터링하는 단계를 더 포함하는, 복수의 카메라들을 갖는 이미징 디바이스에 대한 초점 조정을 결정하는 방법.
6. 제 2 항에 있어서,
   상기 복수의 보정 포인트 중 적어도 하나에 상기 제 1 초점 설정과 상기 제 2 초점 설정 사이의 차이를 저장하는 단계를 더 포함하는, 복수의 카메라들을 갖는 이미징 디바이스에 대한 초점 조정을 결정하는 방법.
7. 제 1 항에 있어서,
   상기 제 2 카메라에 대한 상기 초점 조정을 결정하기 위해 상기 현재 환경 설정들에 기초하여 상기 보정 포인트들 중 적어도 두 개에 저장된 초점 포지션들을 보간하는 단계를 더 포함하는, 복수의 카메라들을 갖는 이미징 디바이스에 대한 초점 조정을 결정하는 방법.
8. 제 1 항에 있어서,
   상기 보정 포인트의 오래된 정도 (age) 에 기초하여 보정 포인트를 삭제하는 단계를 또한 포함하는, 복수의 카메라들을 갖는 이미징 디바이스에 대한 초점 조정을 결정하는 방법.
9. 제 5 항에 있어서,
   보정 포인트의 환경 조건들은 상기 보정 포인트가 결정될 당시의 주위 온도를 포함하는, 복수의 카메라들을 갖는 이미징 디바이스에 대한 초점 조정을 결정하는 방법.
10. 제 5 항에 있어서,
    제 1 환경 조건들은 디바이스 배향을 포함하고,
    상기 방법은,
    보정 기록에 기록된 디바이스 배향이 상기 제 1 환경 조건의 디바이스 배향과 상이한 경우에, 복수의 보정 기록들 내의 상기 보정 기록을 필터링하는 단계를 더 포함하는, 복수의 카메라들을 갖는 이미징 디바이스에 대한 초점 조정을 결정하는 방법.
11. 제 1 카메라 및 제 2 카메라;
    상기 제 1 카메라 및 상기 제 2 카메라의 초점 설정들을 제어하도록 구성된 프로세서;
    미리 결정된 이벤트에 응답하여 상기 제 1 카메라에 대한 제 1 초점 설정 및 상기 제 2 카메라에 대한 제 2 초점 설정을 결정하도록 구성된 제어 모듈; 및
    상기 제 1 초점 설정 및 상기 제 2 초점 설정과 동시에 결정된 환경 데이터를 포함하는 보정 포인트들을 가지는 보정 테이블을 포함하는 메모리를 포함하고,
    상기 프로세서는 상기 보정 포인트들, 환경 데이터 및 상기 제 1 초점 설정과 상기 제 2 초점 설정 사이의 차이에 기초하여 초점 조정을 결정하도록 구성된, 이미징 디바이스.
12. 제 11 항에 있어서,
    온도 센서를 더 포함하고, 상기 메모리는 상기 온도 센서로부터의 측정치에 또한 기초하여 상기 초점 조정을 결정하는 명령들을 또한 갖는, 이미징 디바이스.
13. 제 11 항에 있어서,
    배향 센서를 더 포함하고, 상기 메모리는 상기 배향 센서로부터의 측정치에 또한 기초하여 상기 초점 조정을 결정하는 명령들을 또한 갖는, 이미징 디바이스.
14. 제 11 항에 있어서,
    제 3 카메라를 더 포함하고, 상기 프로세서는 상기 제 3 카메라의 초점 설정을 제어하도록 또한 구성되는, 이미징 디바이스.
15. 제 11 항에 있어서,
    상기 이미징 디바이스는 모바일 폰과 통합되는, 이미징 디바이스.
16. 제 11 항에 있어서,
    상기 이미징 디바이스는 헨드 헬드 (hand held) 카메라인, 이미징 디바이스.
17. 프로세서 실행가능 명령들을 포함하는 비일시적 컴퓨터 판독가능 매체로서,
    상기 프로세서 실행가능 명령들은, 프로세서로 하여금 복수의 카메라들을 갖는 이미징 디바이스에 대한 초점 조정을 결정하는 방법을 수행하게 하도록 동작가능하고,
    상기 방법은,
    미리 결정된 이벤트에 응답하여 제 1 카메라에 대한 제 1 초점 설정을 결정하는 단계;
    상기 미리 결정된 이벤트에 응답하여 제 2 카메라에 대한 제 2 초점 설정을 결정하는 단계;
    상기 미리 결정된 이벤트에 응답하여 상기 제 1 및 제 2 초점 설정과 동시에 환경 조건들을 결정하는 단계;
    복수의 보정 포인트들을 결정하는 단계로서, 각각의 보정 포인트는 적어도 상기 제 1 및 제 2 초점 설정 및 상기 환경 조건들로부터 유도된 데이터를 포함하는, 상기 복수의 보정 포인트들을 결정하는 단계; 및
    상기 제 1 초점 설정과 상기 제 2 초점 설정 사이의 차이 및 상기 환경 조건들에 기초하여 초점 조정을 결정하는 단계를 포함하는, 비일시적 컴퓨터 판독가능 매체.
18. 제 17 항에 있어서,
    상기 프로세서 실행가능 명령들은,
    초기 초점 설정에서 제 1 이미지 센서로부터 이미지를 캡쳐하는 단계;
    상기 캡쳐된 이미지의 콘트라스트를 측정하는 단계;
    캡쳐된 이미지의 최대 콘트라스트와 캡쳐된 이미지의 측정된 콘트라스트가 임계치만큼 상이할 때 까지, 순차적인 초점 설정들에서 센서로부터 추가적인 이미지들을 반복적으로 캡쳐하는 단계; 및
    상기 반복적으로 캡쳐된 이미지들로부터 상기 최대 콘트라스트 이미지를 선택함으로써 상기 제 1 초점 설정 및 상기 제 2 초점 설정을 결정하는 단계를 더 포함하는, 상기 방법을 수행하도록 동작가능한, 비일시적 컴퓨터 판독가능 매체.
19. 제 17 항에 있어서,
    상기 방법은,
    복수의 카메라들 중 적어도 하나의 카메라의 주위 온도에 적어도 부분적으로 기초하여 상기 초점 조정을 결정하는 단계를 더 포함하는, 비일시적 컴퓨터 판독가능 매체.
20. 제 17 항에 있어서,
    상기 방법은,
    상기 이미징 디바이스의 배향에 적어도 부분적으로 기초하여 상기 초점 조정을 결정하는 단계를 더 포함하는, 비일시적 컴퓨터 판독가능 매체.
21. 보정 테이블을 저장하는 수단으로서, 상기 보정 테이블은 환경 데이터를 포함하는 보정 포인트들을 포함하고, 상기 환경 데이터는 제 1 카메라에 대한 제 1 초점 설정 및 제 2 카메라에 대한 제 2 초점 설정과 동시에 결정되는, 상기 저장하는 수단;
    미리 결정된 이벤트에 응답하여 상기 제 1 초점 설정을 결정하는 수단;
    상기 미리 결정된 이벤트에 응답하여 상기 제 2 초점 설정을 결정하는 수단; 및
    상기 제 1 초점 설정과 상기 제 2 초점 설정 사이의 차이, 보정 데이터 및 환경 데이터에 기초하여 초점 조정을 결정하는 수단을 포함하는, 이미징 디바이스.
    

Images