KR20220087465A

KR20220087465A - 분산된 센서 시스템

Info

Publication number: KR20220087465A
Application number: KR1020227015471A
Authority: KR
Inventors: 안드레 사무엘 베르코비치; 신차오 리우; 한스 리서호브
Original assignee: 페이스북 테크놀로지스, 엘엘씨
Priority date: 2019-10-30
Filing date: 2020-10-30
Publication date: 2022-06-24
Also published as: US11935291B2; US20210133452A1; US11960638B2; CN114586331A; US20230080288A1; WO2021087192A1; TW202127104A; EP4052117A1; JP2023501856A

Abstract

하나의 예에서, 모바일 디바이스는: 물리적 링크; 복수의 이미지 센서들로서, 각각의 이미지 센서는 물리적 링크를 통해 이미지 데이터를 송신하도록 구성되는, 상기 복수의 이미지 센서들; 및 물리적 링크에 결합된 제어기를 포함하고, 이에 의해 물리적 링크, 복수의 이미지 센서들, 및 제어기는 멀티 드롭 네트워크(multi-drop network)를 형성한다. 제어기는: 복수의 이미지 센서들에서 이미지 감지 동작들을 구성하기 위해 제어 신호를 송신하고; 물리적 링크를 통해, 복수의 이미지 센서들의 적어도 서브세트로부터 이미지 데이터를 수신하고; 연장된 시야(field of view; FOV)를 얻기 위해 복수의 이미지 센서들의 적어도 서브세트로부터의 이미지 데이터를 조합하고; 연장된 FOV 내에서 캡쳐된 모바일 디바이스의 주변 환경의 정보를 결정하며; 정보에 기초하여 콘텐트를 생성하기 위해 정보를 애플리케이션에 제공하도록 구성된다.

Description

분산된 센서 시스템

관련된 출원

본 특허 출원은 발명의 명칭이 "분산된 센서 시스템(DISTRIBUTED SENSOR SYSTEM)이고, 2019년 10월 30일에 출원된 미국 가특허출원 일련번호 62,928,233에 대한 우선권을 주장하고, 이는 이의 양수인에게 양도되고 모든 목적들을 위해 전체적으로 참조로서 본 명세서에 통합된다.

본 발명은 일반적으로 센서 네트워크들에 관한 것이고, 더 구체적으로 머리 장착 디스플레이(HMD)와 같은 착용가능한 전자 디바이스의 센서 네트워크에 관한 것이다.

착용가능한 전자 디바이스는 디바이스의 상이한 애플리케이션들을 지원하기 위해 수많은 센서들을 포함할 수 있다. 예를 들면, 착용가능한 가상 현실(VR) 시스템들, 증강 현실(AR) 시스템들, 및 혼합 현실(MR) 시스템들은 수많은 이미지 센서들, 오디오 센서들, 동작 센서들, 등을 포함할 수 있다. 센서들은 착용가능한 전자 디바이스의 사용자의 위치를 추적하는 동시 로컬화 및 매핑(simultaneous localization and mapping; SLAM) 알고리즘, 객체 검출/측정 애플리케이션, 등과 같은 다양한 애플리케이션들을 지원하기 위해 사용자가 위치되는 물리적 환경의 센서 데이터를 수집하기 위해 사용될 수 있다. 센서 데이터에 기초하여, VR/AR/MR 시스템은 사용자에게 대화형 경험을 제공하기 위해 예를 들면, 근안 디스플레이(near-eye display)를 통해 사용자에게 디스플레이하기 위한 가상 이미지 데이터, 스피커를 통해 사용자에게 출력하기 위한 오디오 데이터, 등을 생성 및 업데이트할 수 있다.

주변 환경의 감지를 개선하기 위해, 착용가능한 전자 디바이스는 하나 이상의 고 해상도 이미지 센서 모듈들을 포함할 수 있다. 각각의 이미지 센서 모듈은 고 해상도 이미지들을 캡쳐하기 위해 렌즈 스택 및 고 해상도 이미지 센서를 포함할 수 있다. 그러나, 착용가능한 전자 디바이스에 이러한 고 해상도 센서 모듈들의 네트워크를 통합하는 것은 도전적일 수 있다. 구체적으로, 고 해상도 센서 모듈들은 전형적으로, 상대적으로 큰 폼 팩터(form factor)를 가진 큰 실리콘 영역을 요구하는 반면에, 시야(FOV: field-of-view) 렌즈 스택은 상당한 수직 높이를 가질 수 있으며, 그들의 전부는 공간이 매우 제한된 착용가능한 전자 디바이스에 모듈들을 통합하기 어렵게 만든다. 게다가, 고 해상도 이미지 데이터의 생성 뿐만 아니라, 고 해상도 이미지 데이터의 송신 및 프로세싱은 전형적으로, 많은 전력을 소비하고, 모바일 디바이스는 전형적으로, 매우 제한된 전력 예산으로 동작한다. 이들 모든 것은 주변 환경의 고 품질 감지를 제공하는 착용가능한 디바이스를 구현하는 것을 도전적으로 만든다.

본 발명은 센서 네트워크들에 관한 것이다. 더 구체적으로, 및 제한 없이, 본 발명은 HMD와 같은 착용가능한 전자 디바이스에서 사용될 수 있는 센서 네트워크에 관한 것이다.

하나의 예에서, 모바일 디바이스는: 물리적 링크; 복수의 이미지 센서들로서, 복수의 이미지 센서들의 각각은 물리적 링크를 통해 이미지 데이터를 송신하도록 구성되는, 상기 복수의 이미지 센서들; 및 물리적 링크에 결합된 제어기를 포함하고, 이에 의해 물리적 링크, 복수의 이미지 센서들, 및 제어기는 멀티 드롭 네트워크(multi-drop network)를 형성한다. 제어기는: 복수의 이미지 센서들에서 이미지 감지 동작들을 구성하기 위해 제어 신호를 송신하고; 물리적 링크를 통해, 복수의 이미지 센서들의 적어도 서브세트로부터 이미지 데이터를 수신하고; 이미지 센서들의 서브세트의 각각의 이미지 센서에 의해 제공된 시야(FOV)보다 큰 연장된 FOV를 얻기 위해 복수의 이미지 센서들의 적어도 서브세트로부터의 이미지 데이터를 조합하고; 연장된 FOV 내에서 캡쳐된 모바일 디바이스의 주변 환경의 정보를 결정하며; 정보에 기초하여 콘텐트를 생성하기 위해 정보를 애플리케이션에 제공하도록 구성된다.

일부 양태들에서, 제어기는 제어 신호를 송신하는 것에 기초하여, 이미지 데이터를 송신하고 복수의 이미지 센서들의 나머지를 비활성화하기 위해 복수의 이미지 센서들의 서브세트를 선택하도록 구성된다.

일부 양태들에서, 이미지 데이터는 제1 이미지 데이터이다. 제어기는 제어 신호를 송신하는 것에 기초하여: 제1 해상도의 제1 이미지 데이터를 송신하기 위해 복수의 이미지 센서들의 서브세트를 제어하고; 제2 해상도의 제2 이미지 데이터를 송신하기 위해 복수의 이미지 센서들의 나머지를 제어하도록 구성된다. 제1 해상도는 제2 해상도보다 높다.

일부 양태들에서, 이미지 데이터는 제1 이미지 데이터이다. 제어기는 제어 신호를 송신하는 것에 기초하여, 제1 프레임 레이트로 제1 이미지 데이터를 송신하기 위해 복수의 이미지 센서들의 서브세트를 제어하고; 제2 프레임 레이트로 제2 이미지 데이터를 송신하기 위해 복수의 이미지 센서들의 나머지를 제어하도록 구성된다. 제1 프레임 레이트는 제2 프레임 레이트보다 높다.

일부 양태들에서, 주변 환경의 정보는 관심 있는 객체의 추적 결과를 포함한다. 제어기는 복수의 이미지 센서들의 서브세트에 의해 생성된 이미지 데이터가 객체의 하나 이상의 이미지들을 포함할 가능성이 있다고 결정하는 것에 기초하여 복수의 이미지 센서들의 서브세트를 선택하도록 구성된다.

일부 양태들에서, 제어기는 복수의 이미지 센서들의 서브세트에 의해 생성된 이미지 데이터가 복수의 이미지 센서들의 서브세트로부터의 이전 이미지 데이터에서 객체의 특징들을 검출하는 것에 기초하여 객체의 하나 이상의 이미지들을 포함할 가능성이 있다고 결정하도록 구성된다.

일부 양태들에서, 제어기는 복수의 이미지 센서들로부터의 이전 이미지 데이터에 기초하여 객체와 모바일 디바이스 사이의 상대적인 이동의 이전 궤적을 결정하도록 구성된다. 제어기는: 이전 궤적에 기초하여 객체의 궤적을 예측하고; 복수의 이미지 센서들의 서브세트에 의해 생성된 이미지 데이터가 예측된 궤적에 기초하여 객체의 하나 이상의 이미지들을 포함할 가능성이 있다고 결정하도록 구성된다.

일부 양태들에서, 복수의 이미지 센서들의 각각의 이미지 센서는 픽셀 셀들의 어레이를 포함한다. 제어기는 제어 신호를 송신하는 것에 기초하여, 복수의 이미지 센서들 중 하나 이상의 이미지 센서에서 픽셀 셀들의 어레이의 픽셀 셀들의 특정한 서브세트의 이미지 캡쳐링 동작을 선택적으로 구성하도록 구성된다.

일부 양태들에서, 제어기는 제어 신호를 송신하는 것에 기초하여: 복수의 이미지 센서들 중 제1 이미지 센서의 픽셀 셀들의 어레이의 픽셀 셀들의 제1 서브세트가 물리적 링크를 통해 제1 이미지 데이터를 제어기로 송신하는 것을 가능하게 하고; 복수의 이미지 센서들 중 제2 이미지 센서의 픽셀 셀들의 어레이의 픽셀 셀들의 제2 서브세트가 물리적 링크를 통해 제2 이미지 데이터를 제어기로 송신하는 것을 가능하게 하도록 구성된다. 제1 서브세트 및 제2 서브세트는 상이하다. 제어기는 제어 신호를 송신하는 것에 기초하여: 복수의 이미지 센서들 중 제1 이미지 센서의 픽셀 셀들의 어레이의 픽셀 셀들의 제1 서브세트가 제1 해상도의 제1 이미지 데이터를 생성하는 것을 가능하게 하고; 제1 이미지 센서의 픽셀 셀들의 어레이의 픽셀 셀들의 제2 서브세트가 제2 해상도의 제2 이미지 데이터를 생성하는 것을 가능하게 하도록 구성된다. 제1 해상도는 제2 해상도보다 높다.

일부 양태들에서, 제어기는 제어 신호를 송신하는 것에 기초하여: 복수의 이미지 센서들 중 제1 이미지 센서의 픽셀 셀들의 어레이의 픽셀 셀들의 제1 서브세트의 제1 동적 범위를 설정하고; 제1 이미지 센서의 픽셀 셀들의 어레이의 픽셀 셀들의 제2 서브세트의 제2 동적 범위를 설정하도록 구성된다. 제1 동적 범위는 제2 동적 범위보다 높다.

일부 양태들에서, 제어 신호는 복수의 이미지 센서들의 서브세트의 각각의 이미지 센서에 대한 픽셀 셀들의 어레이에서 픽셀 셀들의 특정한 서브세트의 픽셀 셀들을 식별한다.

일부 양태들에서, 제어 신호는 안내 신호(guidance signal)를 포함한다. 복수의 이미지 센서들 중 제1 이미지 센서는 안내 신호에 기초하여 픽셀 셀들의 어레이에서 픽셀 셀들의 특정한 서브세트를 국부적으로 결정하도록 구성된다.

일부 양태들에서, 안내 신호는 관심 있는 객체의 특징들을 명시한다. 제1 이미지 센서는: 안내 신호에 기초하여 관심 있는 객체를 포함하는 관심 있는 영역을 결정하고; 관심 있는 영역에 기초하여 픽셀 셀들의 어레이에서 픽셀 셀들의 특정한 서브세트를 결정하도록 구성된다.

일부 양태들에서, 픽셀 셀들의 어레이에서 픽셀 셀들의 특정한 서브세트는: 관심 있는 객체의 추적 결과, 또는 모바일 디바이스의 이동 중 적어도 하나에 기초하여 결정된다.

일부 양태들에서, 복수의 이미지 센서들 중 적어도 제1 이미지 센서 및 제2 이미지 센서로부터의 이미지 데이터가 조합된다. 제1 이미지 센서 및 제2 이미지 센서는 상이한 방향들을 향한다.

일부 양태들에서, 복수의 이미지 센서들 중 적어도 제1 이미지 센서 및 제2 이미지 센서로부터의 이미지 데이터가 조합된다. 제1 이미지 센서는 제1 주파수 범위의 광을 캡쳐하도록 구성된다. 제2 이미지 센서는 제1 주파수 범위와 상이한 제2 주파수 범위의 광을 캡쳐하도록 구성된다.

일부 양태들에서, 물리적 링크는: I3C 사양에 기초한 버스, 또는 광학 링크 중 적어도 하나를 포함한다.

하나의 예에서, 방법은: 모바일 디바이스의 복수의 이미지 센서들에서 이미지 감지 동작들을 구성하기 위해 제어 신호를 송신하는 단계; 물리적 링크를 통해, 복수의 이미지 센서들의 서브세트의 각각의 이미지 센서로부터 이미지 데이터를 수신하는 단계로서, 복수의 이미지 센서들 및 물리적 링크는 멀티 드롭 네트워크를 형성하는, 상기 이미지 데이터를 수신하는 단계; 이미지 센서들의 서브세트의 각각의 이미지 센서에 의해 제공된 시야(FOV)보다 큰 연장된 FOV를 얻기 위해 복수의 이미지 센서들의 적어도 서브세트로부터의 이미지 데이터를 조합하는 단계; 연장된 FOV 내에서 캡쳐된 모바일 디바이스의 주변 환경의 정보를 결정하는 단계; 및 정보에 기초하여 모바일 디바이스에 의해 출력될 콘텐트를 생성하기 위해 정보를 애플리케이션에 제공하는 단계를 포함한다.

일부 양태들에서, 방법은: 제어 신호를 송신하는 단계에 기초하여, 이미지 데이터를 송신하고 복수의 이미지 센서들의 나머지를 비활성화하기 위해 복수의 이미지 센서들의 서브세트를 선택하는 단계를 더 포함한다.

예시적인 실시예들은 다음 도면들을 참조하여 설명된다.
도 1a 및 도 1b는 근안 디스플레이의 일 실시예의 도면들이다.
도 2는 근안 디스플레이의 단면의 일 실시예를 도시한 도면이다.
도 3은 단일 소스 어셈블리를 갖는 도파관 디스플레이의 일 실시예의 등각도를 도시한 도면이다.
도 4는 도파관 디스플레이의 일 실시예의 단면을 도시한 도면이다.
도 5는 근안 디스플레이를 포함하는 시스템의 일 실시예의 블록도이다.
도 6a, 도 6b, 도 6c, 및 도 6d는 이미지 센서 및 그것의 동작들의 예들을 도시한 도면들이다.
도 7a, 도 7b, 도 7c 및 도 7d는 센서 네트워크 및 그것의 동작들을 가지는 모바일 디바이스의 일례를 도시한 도면들이다.
도 8a, 도 8b, 도 8c, 도 8d, 및 도 8e는 센서 네트워크 및 도 7a 내지 도 7d와 그것의 동작들의 예들을 도시한 도면들이다.
도 9a, 도 9b, 도 9c, 및 도 9d는 도 8a 내지 도 8e의 센서 네트워크의 예시적인 내부 구성요소들을 도시한 도면들이다.
도 10은 모바일 디바이스에 의해 출력될 콘텐트를 생성하기 위한 일 예시적인 프로세스의 흐름도를 도시한 도면이다.
도면들은 단지 예시의 목적들을 위해 본 발명의 실시예들을 묘사한다. 당업자는 도시된 구조들 및 방법들의 대안적인 실시예들이 본 발명의 원리들, 또는 본 발명에서 제공된 이점들에서 벗어나지 않고 이용될 수 있다는 것을 다음의 설명으로부터 용이하게 인식할 것이다.
첨부된 도면들에서, 유사한 구성요소들 및/또는 특징들은 동일한 참조 라벨을 가질 수 있다. 게다가, 동일한 유형의 다양한 구성요소들은 참조 라벨 다음에 대시 및 유사한 구성요소들 사이를 구별하는 제2 라벨에 의해 구별될 수 있다. 본 명세서에서 제1 참조 라벨만 사용되는 경우, 제2 참조 라벨과 관계 없이 동일한 제1 참조 라벨을 가지는 유사한 구성요소들 중 임의의 하나에 설명이 적용가능하다.

다음 설명에서, 설명의 목적들을 위해, 특정 독창적인 실시예들의 완전한 이해를 제공하기 위해 특정 상세들이 제시된다. 그러나, 이들 특정 상세들 없이 다양한 실시예들이 실시될 수 있음이 명백할 것이다. 도면 및 설명은 제한하려는 의도가 아니다.

본 발명에 따른 하나의 예는 HMD와 같은 모바일 디바이스에 관한 것이다. 모바일 디바이스는 물리적 링크, 각각이 특정한 방향으로 지향되고 물리적 링크와 결합된 복수의 이미지 센서들, 및 물리적 링크와 결합된 제어기를 포함한다. 이미지 센서들, 제어기, 및 물리적 링크는 멀티 드롭 네트워크를 형성할 수 있으며, 여기서 복수의 이미지 센서들의 각각은 모바일 디바이스의 주변 환경의 이미지 데이터를 캡쳐하고, 물리적 링크를 통해 이미지 데이터를 제어기로 송신하도록 구성된다. 제어기는 모바일 디바이스의 동작 조건(예컨대, 위치, 방향, 등)을 결정할 수 있고, 동작 조건에 기초하여, 제어기는 복수의 이미지 센서들의 서브세트를 선택하며, 선택에 기초하여 제어 데이터를 생성할 수 있다. 제어기는 이미지 센서들의 서브세트의 이미지 캡쳐링 동작들을 구성하기 위해 물리적 링크를 통해 제어 데이터를 이미지 센서들의 서브세트로 송신할 수 있다. 제어기는 또한, 물리적 링크를 통해, 제어 데이터에 기초하여 이미지 센서들의 서브세트에 의해 캡쳐된 제1 이미지 데이터를 수신하고, 제1 이미지 데이터에 기초하여 출력을 생성할 수 있다.

구체적으로, 제어기는 제1 이미지 데이터에 기초하여 주변 환경에 관한 정보를 결정하고, 정보에 기초하여 콘텐트(디스플레이 콘텐트, 오디오 신호들, 등)를 생성하는 애플리케이션을 실행할 수 있다. 하나의 예에서, 애플리케이션은 예를 들면, 모바일 디바이스의 사용자의 위치, 사용자의 방향, 및/또는 환경에서 사용자의 이동 경로를 추적하기 위해 동시 로컬화 및 매핑(SLAM) 알고리즘을 포함할 수 있다. 또 다른 예로서, 애플리케이션은 이동하는 객체(예컨대, 움직이는 손)의 위치를 추적하는 이동하는 객체 추적 알고리즘을 포함할 수 있다. 여전히 또 다른 예에서, 애플리케이션은 객체들(예컨대, 사용자의 시선 내에 있지 않은 다른 사람)을 검출/추적하기 위해 장면 컨텍스트 이해 알고리즘을 포함할 수 있다. 모든 이들 예들에서, 애플리케이션은 이미지 데이터에서 관심 있는 객체(예컨대, 장면의 객체, 손, 사람의 얼굴, 등)의 특정 이미지 특징들을 검출하고, 그들의 이미지 위치들(검출된 경우)을 결정하며, 검출된 이미지 특징들에 기초하여 주변 환경에 관한 정보를 생성할 수 있다.

제어기는 애플리케이션에 의해 필요한 이미지 데이터를 제공하면서, 멀티 드롭 네트워크를 통해 송신된 이미지 데이터의 체적을 감소시키기 위해 이미지 센서들의 이미지 캡쳐 동작들을 구성할 수 있다. 예를 들면, 제어기는 이미지 센서들의 서브세트가 예를 들면, 그들 센서들에 의해 캡쳐된 이전 이미지들로부터 객체들의 특징들을 검출하는 것에 기초하여 주어진 시간에 관심 있는 하나 이상의 객체들의 이미지들을 캡쳐할 가능성이 있다고 결정할 수 있다. 제어기는 그 다음, 이미지 센서들의 서브세트가 이미지 센서들의 나머지를 비활성화하면서 이미지 데이터를 생성 및 송신하는 것을 가능하게 할 수 있다. 관심 있는 객체가 모바일 디바이스에 대해 이동하고 있는 경우에, 제어기는 관심 있는 객체의 예측된 이동 궤적을 결정하고, 예측된 궤적에 기초하여 상이한 시간들에 이미지 센서들의 상이한 서브세트들을 활성화할 수 있다.

이미지 센서들의 서브세트를 활성화하는 것에 더하여, 제어기는 또한, 네트워크를 통해 송신된 이미지 데이터의 체적을 또한 감소시키기 위해 희소 감지 동작들을 수행하도록 이미지 센서들의 서브세트를 제어할 수 있다. 구체적으로, 각각의 이미지 센서는 픽셀 셀들의 어레이를 포함한다. 활성화되는 이미지 센서들의 서브세트의 각각에 대해, 제어기는 관심 있는 객체의 픽셀들을 포함할 가능성이 있는 관심 있는 영역(ROI)을 결정할 수 있다. 일부 예들에서, 제어기는 ROI에 대응하는 픽셀 셀들의 서브세트만을 활성화하거나, 픽셀 셀들의 서브세트로부터 이미지 데이터를 송신하지만 픽셀 셀들의 나머지는 송신하지 않도록 이미지 센서들의 서브세트의 각각을 제어할 수 있다. 게다가, 제어기는 또한, 이미지 데이터의 품질을 개선하기 위해 픽셀 셀들의 서브세트의 양자화 분해능 증가, 노출 기간 증가, 및 동적 범위 증가, 등과 같은 이미지 캡쳐링 동작들의 다른 양태들을 구성할 수 있다. 일부 예들에서, 각각의 이미지 센서에서 활성화될 픽셀 셀들의 서브세트를 명시하는 제어 데이터를 송신하는 대신에, 제어기는 센서에 의한 ROI의 결정을 안내하기 위해 안내 신호들을 송신할 수 있다. 안내 신호들은 관심 있는 객체의 특징들을 식별하는 정보, ROI의 위치 및 크기의 대략적인 추정치들, 등을 포함한다. 각각의 이미지 센서는 그 다음, 안내 신호에 기초하여 국부적으로 ROI를 결정할 수 있다. 이러한 장치들은 제어기가 모바일 디바이스 및/또는 관심 있는 객체의 이동을 설명하기 위해 이미지 프레임들 사이의 이미지 센서로 업데이트된 ROI 정보를 송신할 필요가 없기 때문에, 제어기에 의해 이미지 센서로 송신된 제어 데이터의 체적을 감소시킬 수 있고, 이는 또한 네트워크의 전력 및 대역폭 요구조건을 감소시킬 수 있다.

멀티 드롭 네트워크는 다양한 기술들을 사용하여 구현될 수 있다. 일부 예들에서, 멀티 드롭 네트워크는 I3C 사양에 기초하여 구현된 버스와 같은 공유된 버스를 사용하여 구현될 수 있다. 구체적으로, 이미지 센서 및 제어기를 포함하는, 버스와 결합된 각각의 구성요소는 버스를 교대로 구동하여 버스를 통해 데이터를 전송할 수 있다. 각각의 구성요소는 또한, 데이터를 수신하기 위해 버스를 청취할 수 있다. 이미지 데이터 및 제어 데이터의 감소된 체적으로 인해, 상대적으로 낮은 대역폭 및 저 전력 공유된 버스는 데이터를 송신하기 위해 사용될 수 있다. 일부 예들에서, 멀티 드롭 네트워크는 또한, 광학 링크를 사용하여 구현될 수 있으며, 여기서 각각의 이미지 센서 및 제어기는 광학 변조기를 통해 광학 링크와 결합되어 데이터를 송신 및 수신한다. 이미지 센서들은 광학 링크의 광을 교대로 변조하거나, 광의 상이한 구성요소들을 동시에 변조하여 이미지 데이터를 송신할 수 있다.

개시된 예들로, 모바일 디바이스는 주변 환경의 이미지 데이터를 캡쳐하기 위해 각각이 특정한 방향으로 지향된 복수의 이미지 센서들을 포함할 수 있다. 각각의 이미지 센서가 이미지 센서들에 의해 캡쳐된 이미지 데이터를 조합함으로써, 특정한 방향으로 정렬된 FOV를 갖기 때문에, 모바일 디바이스의 유효 FOV가 연장될 수 있다. 이러한 장치들은 각각의 이미지 센서의 해상도 및 FOV를 증가시킬 필요성을 감소시킬 수 있으며, 이는 모바일 디바이스에서 매우 제한적인, 많은 공간을 차지하고 많은 전력을 소비할 수 있다. 게다가, 제어기와 이미지 센서들 사이의 이미지 데이터 및 제어 데이터를 송신하기 위해, 다수의 지점-대-지점 연결들이 아닌 멀티 드롭 네트워크를 사용함으로써, 네트워크를 구현하기 위해 요구된 공간 뿐만 아니라, 그것의 전력 소모가 또한 감소될 수 있다. 이들 전부는 착용가능한 디바이스가 주변 환경의 고 품질 감지를 제공하는 것을 허용하며, 이는 결과적으로 감지 동작들의 출력들에 의존하는 애플리케이션들의 성능을 개선할 수 있다.

개시된 기술들은 인공 현실 시스템을 포함하거나 이와 결부하여 구현될 수 있다. 인공 현실은 예컨대, 가상 현실(VR), 증강 현실(AR), 혼합 현실(MR), 하이브리드 현실, 또는 그들의 일부 조합 및/또는 파생물들을 포함할 수 있는, 사용자에게 제공되기 전에 일부 방식으로 조정된 현실의 일 형태이다. 인공 현실 콘텐트는 캡쳐된(예컨대, 실세계) 콘텐트와 조합된 생성된 콘텐트 또는 완전히 생성된 콘텐트를 포함할 수 있다. 인공 현실 콘텐트는 비디오, 오디오, 햅틱 피드백, 또는 그들의 일부 조합을 포함할 수 있으며, 그들 중 임의의 것은 단일 채널로 또는 다수의 채널들(예컨대, 뷰어에게 3차원 효과를 생성하는 스테레오 비디오와 같음)로 제공될 수 있다. 부가적으로, 일부 실시예들에서, 인공 현실은 예컨대, 인공 현실에서 콘텐트를 생성하기 위해 사용되고/거나 인공 현실에서 사용되는(예컨대, 인공 현실에서 활동들을 수행하는) 애플리케이션들, 제품들, 액세서리들, 서비스들, 또는 그들의 일부 조합과 연관될 수 있다. 인공 현실 콘텐트를 제공하는 인공 현실 시스템은 호스트 컴퓨터 시스템에 연결된 머리 장착 디스플레이(HMD), 독립형 HMD, 모바일 디바이스 또는 컴퓨팅 시스템, 또는 인공 현실 콘텐트를 한명 이상의 뷰어들에게 제공할 수 있는 임의의 다른 하드웨어 플랫폼을 포함하는 다양한 플랫폼들에서 구현될 수 있다.

도 1a는 근안 디스플레이(100)의 일 실시예의 도면이다. 근안 디스플레이(100)는 사용자에게 매체들을 제공한다. 근안 디스플레이(100)에 의해 제공된 매체들의 예들은 하나 이상의 이미지들, 비디오, 및/또는 오디오를 포함한다. 일부 실시예들에서, 오디오는 근안 디스플레이(100), 콘솔, 또는 둘 모두로부터 오디오 정보를 수신하고, 오디오 정보에 기초하여 오디오 데이터를 제공하는 외부 디바이스(예컨대, 스피커들 및/또는 헤드폰들)를 통해 제공된다. 근안 디스플레이(100)는 일반적으로, 가상 현실(VR) 디스플레이로서 동작하도록 구성된다. 일부 실시예들에서, 근안 디스플레이(100)는 증강 현실(AR) 디스플레이 및/또는 혼합 현실(MR) 디스플레이로서 동작하도록 수정된다.

근안 디스플레이(100)는 프레임(105) 및 디스플레이(110)를 포함한다. 프레임(105)은 하나 이상의 광학 요소들에 결합된다. 디스플레이(110)는 사용자가 근안 디스플레이(100)에 의해 제공된 콘텐트를 보도록 구성된다. 일부 실시예들에서, 디스플레이(110)는 하나 이상의 이미지들로부터 사용자의 눈으로 광을 지향시키기 위한 도파관 디스플레이 어셈블리를 포함한다.

근안 디스플레이(100)는 이미지 센서들(120a, 120b, 120c, 및 120d)을 더 포함한다. 이미지 센서들(120a, 120b, 120c, 및 120d)의 각각은 상이한 방향들을 따라 상이한 시야들을 표현하는 이미지 데이터를 생성하도록 구성된 픽셀 어레이를 포함할 수 있다. 예를 들면, 센서들(120a 및 120b)은 Z축을 따른 방향(A)를 향한 2개의 시야들을 표현하는 이미지 데이터를 제공하도록 구성될 수 있는 반면에, 센서(120c)는 X축을 따른 방향(B)를 향한 시야를 표현하는 이미지 데이터를 제공하도록 구성될 수 있고, 센서(120d)는 X축을 따른 방향(C)을 향한 시야를 표현하는 이미지 데이터를 제공하도록 구성될 수 있다.

일부 실시예들에서, 센서들(120a 내지 120d)은 근안 디스플레이(100)를 착용하는 사용자에게 대화형 VR/AR/MR 경험을 제공하기 위해, 근안 디스플레이(100)의 디스플레이 콘텐트를 제어하거나 이에 영향을 미치도록 입력 디바이스들로서 구성될 수 있다. 예를 들면, 센서들(120a 내지 120d)은 사용자가 위치되는 물리적 환경의 물리적 이미지 데이터를 생성할 수 있다. 물리적 이미지 데이터는 물리적 환경에서 사용자의 위치 및/또는 이동 경로를 추적하기 위해 위치 추적 시스템에 제공될 수 있다. 시스템은 그 다음, 대화형 경험을 제공하기 위해 예를 들면, 사용자의 위치 및 방향에 기초하여 디스플레이(110)에 제공된 이미지 데이터를 업데이트할 수 있다. 일부 실시예들에서, 위치 추적 시스템은 사용자가 물리적 환경 내에서 이동할 때 물리적 환경에서 및 사용자의 시야 내에서 객체들의 세트를 추적하기 위해 SLAM 알고리즘을 동작시킬 수 있다. 위치 추적 시스템은 객체들의 세트에 기초하여 물리적 환경의 맵을 구성 및 업데이트하고, 맵 내에서 사용자의 위치를 추적할 수 있다. 다수의 시야들에 대응하는 이미지 데이터를 제공함으로써, 센서들(120a 내지 120d)은 위치 추적 시스템에 물리적 환경의 더 전체적인 뷰를 제공할 수 있으며, 이는 맵의 구성 및 업데이팅에 더 많은 객체들이 포함되는 것을 야기할 수 있다. 이러한 장치로, 물리적 환경 내에서 사용자의 위치를 추적하는 정확성 및 강건성(robustness)이 개선될 수 있다.

일부 실시예들에서, 근안 디스플레이(100)는 물리적 환경으로 광을 투영하기 위해 하나 이상의 능동 조명기들(130)을 더 포함할 수 있다. 투영된 광은 상이한 주파수 스펙트럼들(예컨대, 가시광선, 적외선, 자외선, 등)과 연관될 수 있으며, 다양한 목적들을 서빙할 수 있다. 예를 들면, 조명기(130)는 예를 들면, 사용자의 위치 추적을 활성화하기 위해 어두운 환경(또는 적외선, 자외선, 등의 세기가 낮은 환경)에서 광을 투영하여 센서들(120a 내지 120d)이 어두운 환경 내의 상이한 객체들의 이미지들을 캡쳐하는 것을 보조할 수 있다. 조명기(130)는 위치 추적 시스템이 맵 구성/업데이트를 위해 객체들을 식별하는 것을 보조하기 위해, 환경 내의 객체들에 특정 마커(marker)들을 투영할 수 있다.

일부 실시예들에서, 조명기(130)는 또한, 입체 이미징을 가능하게 할 수 있다. 예를 들면, 센서들(120a 또는 120b) 중 하나 이상은 가시광선 감지를 위한 제1 픽셀 어레이 및 적외선(IR) 광 감지를 위한 제2 픽셀 어레이 둘 모두를 포함할 수 있다. 제1 픽셀 어레이는 컬러 필터(예컨대, 베이어 필터(Bayer filter))로 오버레이될 수 있으며, 제1 픽셀 어레이의 각각의 픽셀은 특정한 컬러(예컨대, 적색, 녹색 또는 청색 컬러들 중 하나)와 연관된 광의 세기를 측정하도록 구성된다. 제2 픽셀 어레이(IR 광 감지용)는 또한, IR 광만 통과시키는 것을 허용하는 필터로 오버레이될 수 있으며, 제2 픽셀 어레이의 각각의 픽셀은 IR 광들의 세기를 측정하도록 구성된다. 픽셀 어레이들은 객체의 적색-녹색-청색(RGB) 이미지 및 IR 이미지를 생성할 수 있으며, IR 이미지의 각각의 픽셀은 RGB 이미지의 각각의 픽셀에 매핑된다. 조명기(130)는 IR 픽셀 어레이에 의해 이미지들이 캡쳐될 수 있는 객체에 IR 마커들의 세트를 투영할 수 있다. 이미지에 도시된 바와 같이 객체의 IR 마커들의 분산에 기초하여, 시스템은 IR 픽셀 어레이로부터 객체의 상이한 부분들의 거리를 추정하고, 거리들에 기초하여 객체의 입체 이미지를 생성할 수 있다. 객체의 입체 이미지에 기초하여, 시스템은 예를 들면, 사용자에 대한 객체의 상대 위치를 결정할 수 있고, 대화형 경험을 제공하기 위해 상대 위치 정보에 기초하여 디스플레이(100)에 제공된 이미지 데이터를 업데이트할 수 있다.

상기 논의된 바와 같이, 근안 디스플레이(100)는 매우 넓은 범위의 광 세기들과 연관된 환경들에서 동작될 수 있다. 예를 들면, 근안 디스플레이(100)는 실내 환경에서 또는 실외 환경에서, 및/또는 하루 중 상이한 시간들에서 동작될 수 있다. 근안 디스플레이(100)는 또한, 활성 조명기(130)가 턴 온되거나 턴 온되지 않고 동작할 수 있다. 결과적으로, 이미지 센서들(120a 내지 120d)은 근안 디스플레이를 위한 상이한 동작 환경(100)들과 연관된 매우 넓은 범위의 광 세기들에 걸쳐 적절하게 동작할 수 있도록(예컨대, 입사광의 세기와 상관되는 출력을 생성하기 위해) 넓은 동적 범위를 가질 필요가 있을 수 있다.

도 1b는 근안 디스플레이(100)의 또 다른 실시예의 도면이다. 도 1b는 근안 디스플레이(100)를 착용하는 사용자의 안구(들)(135)를 향하는 근안 디스플레이(100)의 측면을 도시한다. 도 1b에 도시된 바와 같이, 근안 디스플레이(100)는 복수의 조명기들(140a, 140b, 140c, 140d, 140e, 및 140f)을 더 포함할 수 있다. 근안 디스플레이(100)는 복수의 이미지 센서들(150a 및 150b)을 더 포함한다. 조명기들(140a, 140b, 및 140c)은 특정 주파수 범위 예컨대, 근적외선("NIR")의 광들을 방향(D)(도 1a의 방향(A)와 반대임)을 향해 방출할 수 있다. 방출된 광은 특정 패턴과 연관될 수 있으며, 사용자의 좌측 안구에 의해 반사될 수 있다. 센서(150a)는 반사된 광을 수신하고 반사된 패턴의 이미지를 생성하기 위해 픽셀 어레이를 포함할 수 있다. 유사하게, 조명기들(140d, 140e, 및 140f)은 패턴을 운반하는 NIR 광들을 방출할 수 있다. NIR 광들은 사용자의 우측 안구에 의해 반사될 수 있고, 센서(150b)에 의해 수신될 수 있다. 센서(150b)는 또한, 반사된 패턴의 이미지를 생성하기 위해 픽셀 어레이를 포함할 수 있다. 센서들(150a 및 150b)로부터의 반사된 패턴의 이미지들에 기초하여, 시스템은 사용자의 시선 지점을 결정하고, 결정된 시선 지점에 기초하여 디스플레이(100)에 제공된 이미지 데이터를 업데이트하여 사용자에게 대화형 경험을 제공할 수 있다.

상기 논의된 바와 같이, 사용자의 안구들의 손상을 방지하기 위해, 조명기들(140a, 140b, 140c, 140d, 140e, 및 140f)은 전형적으로, 매우 낮은 세기들의 광들을 출력하도록 구성된다. 이미지 센서들(150a 및 150b)이 도 1a의 이미지 센서들(120a 내지 120d)과 동일한 센서 디바이스들을 포함하는 경우에, 이미지 센서들(120a 내지 120d)은 입사광의 세기가 매우 낮을 때 입사광의 세기와 상관되는 출력을 생성할 필요가 있을 수 있으며, 이는 이미지 센서들의 동적 범위 요구조건을 또한 증가시킬 수 있다.

게다가, 이미지 센서들(120a 내지 120d)은 안구들의 움직임들을 추적하기 위해 고속으로 출력을 생성할 필요가 있을 수 있다. 예를 들면, 사용자의 안구는 하나의 안구 위치로부터 또 다른 위치로 빠르게 점프할 수 있는 매우 빠른 움직임(예컨대, 단속적 움직임)을 수행할 수 있다. 사용자의 안구의 빠른 움직임을 추적하기 위해, 이미지 센서들(120a 내지 120d)은 안구의 이미지들을 고속으로 생성할 필요가 있다. 예를 들면, 이미지 센서들이 이미지 프레임을 생성하는 레이트(프레임 레이트)는 적어도 안구의 움직임 속도와 매칭할 필요가 있다. 높은 프레임 레이트는 이미지 프레임의 생성에 관련된 모든 픽셀 셀들에 대한 짧은 총 노출 시간 뿐만 아니라, 이미지 생성을 위해 센서 출력들을 디지털 값들로 변환하기 위해 고속을 요구한다. 게다가, 상기 논의된 바와 같이, 이미지 센서들은 또한, 낮은 광 세기를 갖는 환경에서 동작할 필요가 있을 수 있다.

도 2는 도 1에 도시된 근안 디스플레이(100)의 단면(200)의 일 실시예이다. 디스플레이(110)는 적어도 하나의 도파관 디스플레이 어셈블리(210)를 포함한다. 사출 동공(230)은 사용자가 근안 디스플레이(100)를 착용할 때 사용자의 단일 안구(220)가 아이박스(eyebox) 영역에 위치되는 위치이다. 예시의 목적들을 위해, 도 2는 연관된 안구(220) 및 단일 도파관 디스플레이 어셈블리(210)의 단면(200)을 도시하지만, 제2 도파관 디스플레이는 사용자의 제2 눈을 위해 사용된다.

도파관 디스플레이 어셈블리(210)는 이미지 광을 사출 동공(230)에 위치된 아이박스 및 안구(220)로 지향시키도록 구성된다. 도파관 디스플레이 어셈블리(210)는 하나 이상의 굴절률들을 갖는 하나 이상의 재료들(예컨대, 플라스틱, 유리)로 구성될 수 있다. 일부 실시예들에서, 근안 디스플레이(100)는 도파관 디스플레이 어셈블리(210)와 안구(220) 사이에 하나 이상의 광학 요소들을 포함한다.

일부 실시예들에서, 도파관 디스플레이 어셈블리(210)는 적층된 도파관 디스플레이, 가변 초점 도파관 디스플레이, 등을 포함하지만 이로 제한되지 않는 하나 이상의 도파관 디스플레이들의 스택을 포함한다. 적층된 도파관 디스플레이는 각각의 단색 소스들이 상이한 컬러들을 갖는 도파관 디스플레이들을 적층함으로써 생성된 다색 디스플레이(예컨대, RGB 디스플레이)이다. 적층된 도파관 디스플레이는 또한, 다수의 평면들(예컨대, 다수의 평면 컬러 디스플레이)에 투영될 수 있는 다색 디스플레이이다. 일부 구성들에서, 적층된 도파관 디스플레이는 다수의 평면들에 투영될 수 있는 단색 디스플레이(예컨대, 다중 평면 단색 디스플레이)이다. 가변 초점 도파관 디스플레이는 도파관 디스플레이로부터 방출된 이미지 광의 초점 위치를 조정할 수 있는 디스플레이이다. 대안적인 실시예들에서, 도파관 디스플레이 어셈블리(210)는 적층된 도파관 디스플레이 및 가변 초점 도파관 디스플레이를 포함할 수 있다.

도 3은 도파관 디스플레이(300)의 일 실시예의 등각도를 도시한다. 일부 실시예들에서, 도파관 디스플레이(300)는 근안 디스플레이(100)의 구성요소(예컨대, 도파관 디스플레이 어셈블리(210))이다. 일부 실시예들에서, 도파관 디스플레이(300)는 이미지 광을 특정한 위치로 지향시키는 일부 다른 근안 디스플레이 또는 다른 시스템의 부분이다.

도파관 디스플레이(300)는 소스 어셈블리(310), 출력 도파관(320), 및 제어기(330)를 포함한다. 예시의 목적들을 위해, 도 3은 단일 안구(220)와 연관된 도파관 디스플레이(300)를 도시하지만, 일부 실시예들에서, 도파관 디스플레이(300)로부터 분리되거나, 부분적으로 분리된 또 다른 도파관 디스플레이는 사용자의 또 다른 눈에 이미지 광을 제공한다.

소스 어셈블리(310)는 이미지 광(355)을 생성한다. 소스 어셈블리(310)는 이미지 광(355)을 생성하고 이를 출력 도파관(320)의 제1 측면(370-1)에 위치된 결합 요소(350)에 출력한다. 출력 도파관(320)은 확장된 이미지 광(340)을 사용자의 안구(220)에 출력하는 광학 도파관이다. 출력 도파관(320)은 제1 측면(370-1)에 위치된 하나 이상의 결합 요소들(350)에서 이미지 광(355)을 수신하고 수신된 입력 이미지 광(355)을 지향 요소(360)로 안내한다. 일부 실시예들에서, 결합 요소(350)는 소스 어셈블리로부터의 이미지 광(355)을 출력 도파관(320)에 결합한다. 결합 요소(350)는 예컨대, 회절 격자, 홀로그래픽 격자, 하나 이상의 캐스케이드 반사기들, 하나 이상의 프리즘형 표면 요소들, 및/또는 홀로그래픽 반사기들의 어레이일 수 있다.

지향 요소(360)는 수신된 입력 이미지 광(355)이 분리 요소(365)를 통해 출력 도파관(320) 밖으로 분리되도록 수신된 입력 이미지 광(355)을 분리 요소(365)로 재지향한다. 지향 요소(360)는 출력 도파관(320)의 제1 측면(370-1)의 일부이거나, 이에 부착된다. 분리 요소(365)는 지향 요소(360)가 분리 요소(365)에 대향되도록, 출력 도파관(320)의 제2 측면(370-2)의 일부이거나, 이에 부착된다. 지향 요소(360) 및/또는 분리 요소(365)는 예컨대, 회절 격자, 홀로그래픽 격자, 하나 이상의 캐스케이드 반사기들, 하나 이상의 프리즘형 표면 요소들, 및/또는 홀로그래픽 반사기들의 어레이일 수 있다.

제2 측면(370-2)은 x차원 및 y차원을 따른 평면을 표현한다. 출력 도파관(320)은 이미지 광(355)의 내부 전반사를 용이하게 하는 하나 이상의 재료들로 구성될 수 있다. 출력 도파관(320)은 예컨대, 실리콘, 플라스틱, 유리, 및/또는 폴리머들로 구성될 수 있다. 출력 도파관(320)은 상대적으로 작은 폼 팩터를 갖는다. 예를 들면, 출력 도파관(320)은 x차원을 따라 대략 50mm 폭, y차원을 따라 30mm 길이 및 z차원을 따라 0.5 내지 1mm 두께일 수 있다.

제어기(330)는 소스 어셈블리(310)의 스캐닝 동작들을 제어한다. 제어기(330)는 소스 어셈블리(310)에 대한 스캐닝 지시들을 결정한다. 일부 실시예들에서, 출력 도파관(320)은 확장된 이미지 광(340)을 큰 FOV를 갖는 사용자의 안구(220)에 출력한다. 예를 들면, 확장된 이미지 광(340)은 60도 및/또는 그 이상 및/또는 150도 및/또는 그 미만의 대각선 FOV(x 및 y)를 갖는 사용자의 안구(220)에 제공된다. 출력 도파관(320)은 20mm 또는 그보다 크고/거나 50mm와 같거나 그 미만의 길이; 및/또는 10mm 또는 그보다 크고/거나 50mm와 같거나 그 미만의 폭을 갖는 아이박스를 제공하도록 구성된다.

게다가, 제어기(330)는 또한, 이미지 센서(370)에 의해 제공된 이미지 데이터에 기초하여, 소스 어셈블리(310)에 의해 생성된 이미지 광(355)을 제어한다. 이미지 센서(370)는 제1 측면(370-1)에 위치될 수 있고 예를 들면, 도 1a의 이미지 센서들(120a 내지 120d)을 포함할 수 있다. 이미지 센서들(120a 내지 120d)은 예를 들면, 사용자 정면(예컨대, 제1 측면(370-1)을 향함)의 객체(372)의 2D 감지 및 3D 감지를 수행하도록 동작될 수 있다. 2D 감지에 대해, 이미지 센서들(120a 내지 120d)의 각각의 픽셀 셀은 광원(376)에 의해 생성되고 객체(372)에서 반사된 광(374)의 세기를 표현하는 픽셀 데이터를 생성하도록 동작될 수 있다. 3D 감지에 대해, 이미지 센서들(120a 내지 120d)의 각각의 픽셀 셀은 조명기(325)에 의해 생성된 광(378)에 대한 비행 시간(time-of-flight) 측정을 표현하는 픽셀 데이터를 생성하도록 동작될 수 있다. 예를 들면, 이미지 센서들(120a 내지 120d)의 각각의 픽셀 셀은 조명기(325)가 광(378)을 투영하도록 활성화되는 제1 시간 및 픽셀 셀이 객체(372)에서 반사된 광(378)을 검출하는 제2 시간을 결정할 수 있다. 제1 시간과 제2 시간 사이의 차는 이미지 센서들(120a 내지 120d)과 객체(372) 사이의 광(378)의 비행 시간을 나타낼 수 있고, 비행 시간 정보는 이미지 센서들(120a 내지 120d)과 객체(372) 사이의 거리를 결정하기 위해 사용될 수 있다. 이미지 센서들(120a 내지 120d)은 상이한 시간들에서 2D 및 3D 감지를 수행하고, 2D 및 3D 이미지 데이터를 도파관 디스플레이(300) 내에 위치될 수 있는(또는 위치되지 않을 수 있는) 원격 콘솔(390)에 2D 및 3D 이미지 데이터를 제공할 수 있다. 원격 콘솔은 예를 들면, 사용자가 위치되는 환경의 3D 모델을 생성하기 위해 2D 및 3D 이미지들을 조합하여 사용자의 위치 및/또는 방향, 등을 추적할 수 있다. 원격 콘솔은 2D 및 3D 이미지들로부터 유도된 정보에 기초하여 사용자에게 디스플레이될 이미지들의 콘텐트를 결정할 수 있다. 원격 콘솔은 지시들을 결정된 콘텐트와 관련된 제어기(330)로 송신할 수 있다. 지시들에 기초하여, 제어기(330)는 소스 어셈블리(310)에 의한 이미지 광(355)의 생성 및 출력을 제어하여 사용자에게 대화형 경험을 제공할 수 있다.

도 4는 도파관 디스플레이(300)의 단면(400)의 일 실시예를 도시한다. 단면(400)은 소스 어셈블리(310), 출력 도파관(320), 및 이미지 센서(370)를 포함한다. 도 4의 예에서, 이미지 센서(370)는 사용자 정면의 물리적 환경의 이미지를 생성하기 위해 제1 측면(370-1)에 위치된 픽셀 셀들(402)의 세트를 포함할 수 있다. 일부 실시예들에서, 픽셀 셀들(402)의 세트와 물리적 환경 사이에 개재된 기계적 셔터(404) 및 광학 필터 어레이(406)가 존재할 수 있다. 기계적 셔터(404)는 픽셀 셀들(402)의 세트의 노출을 제어할 수 있다. 일부 실시예들에서, 기계적 셔터(404)는 하기에 논의될 바와 같이 전자 셔터 게이트로 대체될 수 있다. 광학 필터 어레이(406)는 하기에 논의될 바와 같이, 픽셀 셀들(402)의 세트가 노출되는 광의 광학 파장 범위를 제어할 수 있다. 픽셀 셀들(402)의 각각은 이미지의 하나의 픽셀에 대응할 수 있다. 도 4에 도시되지 않을지라도, 픽셀 셀들(402)의 각각이 또한, 픽셀 셀들에 의해 감지될 광의 광학 파장 범위를 제어하기 위해 필터로 오버레이될 수 있다는 것이 이해된다.

원격 콘솔로부터 지시들을 수신한 후에, 기계적 셔터(404)는 노출 기간에 픽셀 셀들(402)의 세트를 개방하고 노출시킬 수 있다. 노출 기간 동안, 이미지 센서(370)는 픽셀 셀들(402)의 세트에 입사하는 광들의 샘플들을 얻고, 픽셀 셀들(402)의 세트에 의해 검출된 입사광 샘플들의 세기 분산에 기초하여 이미지 데이터를 생성할 수 있다. 이미지 센서(370)는 그 다음, 디스플레이 콘텐트를 결정하는 원격 콘솔에 이미지 데이터를 제공하고, 제어기(330)에 디스플레이 콘텐트 정보를 제공할 수 있다. 제어기(330)는 그 다음, 디스플레이 콘텐트 정보에 기초하여 이미지 광(355)을 결정할 수 있다.

소스 어셈블리(310)는 제어기(330)로부터의 지시들에 따라 이미지 광(355)을 생성한다. 소스 어셈블리(310)는 소스(410) 및 광학계 시스템(415)을 포함한다. 소스(410)는 간섭성(coherent) 또는 부분 간섭성 광을 생성하는 광원이다. 소스(410)는 예컨대, 레이저 다이오드, 수직 공동 표면 방출 레이저, 및/또는 발광 다이오드일 수 있다.

광학계 시스템(415)은 소스(410)로부터의 광을 컨디셔닝(conditioning)하는 하나 이상의 광학 구성요소들을 포함한다. 소스(410)로부터의 광을 컨디셔닝하는 것은 예컨대, 제어기(330)로부터의 지시들에 따라 지향을 확장, 시준, 및/또는 조정하는 것을 포함할 수 있다. 하나 이상의 광학 구성요소들은 하나 이상의 렌즈들, 액체 렌즈들, 거울들, 개구들, 및/또는 격자들을 포함할 수 있다. 일부 실시예들에서, 광학계 시스템(415)은 광빔을 액체 렌즈 외부의 영역으로 이동시키기 위해 스캐닝 각도의 임계 값으로 광빔의 스캐닝을 허용하는 복수의 전극들을 갖는 액체 렌즈를 포함한다. 광학계 시스템(415)(및 또한 소스 어셈블리(310))으로부터 방출된 광은 이미지 광(355)으로서 언급된다.

출력 도파관(320)은 이미지 광(355)을 수신한다. 결합 요소(350)는 소스 어셈블리(310)로부터의 이미지 광(355)을 출력 도파관(320)으로 결합한다. 결합 요소(350)가 회절 격자인 실시예들에서, 회절 격자의 피치는 내부 전반사가 출력 도파관(320)에서 발생하고, 이미지 광(355)이 출력 도파관(320)에서 분리 요소(365)를 향해 내부적으로 전파하도록(예컨대, 내부 전반사에 의해) 선택된다.

지향 요소(360)는 출력 도파관(320)으로부터 분리를 위해 이미지 광(355)을 분리 요소(365)를 향해 재지향시킨다. 지향 요소(360)가 회절 격자인 실시예들에서, 회절 격자의 피치는 입사 이미지 광(355)으로 하여금 분리 요소(365)의 표면에 대한 경사각(들)에서 출력 도파관(320)을 빠져나가게 하도록 선택된다.

일부 실시예들에서, 지향 요소(360) 및/또는 분리 요소(365)는 구조적으로 유사하다. 출력 도파관(320)을 빠져나가는 확장된 이미지 광(340)은 하나 이상의 차원들을 따라 확장된다(예컨대, x차원을 따라 가늘고 길게 될 수 있음). 일부 실시예들에서, 도파관 디스플레이(300)는 복수의 소스 어셈블리들(310) 및 복수의 출력 도파관들(320)을 포함한다. 소스 어셈블리들(310)의 각각은 원색(예컨대, 적색, 녹색, 청색)에 대응하는 파장의 특정 대역의 단색 이미지 광을 방출한다. 출력 도파관들(320)의 각각은 이격 거리를 두고 적층되어 다색인 확장된 이미지 광(340)을 출력할 수 있다.

도 5는 근안 디스플레이(100)를 포함하는 시스템(500)의 일 실시예의 블록도이다. 시스템(500)은 근안 디스플레이(100), 이미징 디바이스(535), 입력/출력 인터페이스(540), 및 제어 회로망들(510)에 각각 결합되는 이미지 센서들(120a 내지 120d와 150a 및 150b)을 포함한다. 시스템(500)은 머리 장착 디바이스, 모바일 디바이스, 착용가능한 디바이스, 등으로서 구성될 수 있다.

근안 디스플레이(100)는 사용자에게 매체들을 제공하는 디스플레이이다. 근안 디스플레이(100)에 의해 제공된 매체들의 예들은 하나 이상의 이미지들, 비디오, 및/또는 오디오를 포함한다. 일부 실시예들에서, 오디오는 근안 디스플레이(100) 및/또는 제어 회로망(510)으로부터 오디오 정보를 수신하고 오디오 정보에 기초하여 오디오 데이터를 사용자에게 제공하는 외부 디바이스(예컨대, 스피커들, 헤드폰들)를 통해 제공된다. 일부 실시예들에서, 근안 디스플레이(100)는 또한, AR 안경류 유리의 역할을 할 수 있다. 일부 실시예들에서, 근안 디스플레이(100)는 컴퓨터 생성 요소들(예컨대, 이미지들, 비디오, 사운드, 등)로 물리적 실세계 환경의 뷰들을 증강한다.

근안 디스플레이(100)는 도파관 디스플레이 어셈블리(210), 하나 이상의 위치 센서들(525), 및/또는 관성 측정 유닛(IMU)(530)을 포함한다. 도파관 디스플레이 어셈블리(210)는 소스 어셈블리(310), 출력 도파관(320), 및 제어기(330)를 포함한다.

IMU(530)는 위치 센서들(525) 중 하나 이상으로부터 수신된 측정 신호들에 기초하여 근안 디스플레이(100)의 초기 위치에 대한 근안 디스플레이(100)의 추정된 위치를 나타내는 빠른 교정 데이터를 생성하는 전자 디바이스이다.

이미징 디바이스(535)는 다양한 애플리케이션들을 위한 이미지 데이터를 생성할 수 있다. 예를 들면, 이미징 디바이스(535)는 제어 회로망들(510)로부터 수신된 교정 파라미터들에 따라 느린 교정 데이터를 제공하기 위해 이미지 데이터를 생성할 수 있다. 이미징 디바이스(535)는 예를 들면, 사용자가 위치되는 물리적 환경의 이미지 데이터를 생성하고, 사용자의 위치 추적을 수행하기 위한 도 1a의 이미지 센서들(120a 및 120b)을 포함할 수 있다. 이미징 디바이스(535)는 예를 들면, 사용자의 관심 있는 객체를 식별하기 위해 사용자의 시선 지점을 결정하기 위해 이미지 데이터를 생성하기 위한 도 1b의 이미지 센서들(150a 및 150b)을 더 포함할 수 있다.

입력/출력 인터페이스(540)는 사용자가 제어 회로망들(510)로 동작 요청들을 전송하는 것을 허용하는 디바이스이다. 동작 요청은 특정한 동작을 수행하기 위한 요청이다. 예를 들면, 동작 요청은 애플리케이션을 시작 또는 종료하거나 애플리케이션 내에서 특정한 동작을 수행하기 위한 것일 수 있다.

제어 회로망들(510)은: 이미징 디바이스(535), 근안 디스플레이(100), 및 입력/출력 인터페이스(540) 중 하나 이상으로부터 수신된 정보에 따라 사용자에게 제공하기 위해 근안 디스플레이(100)에 매체들을 제공한다. 일부 예들에서, 제어 회로망들(510)은 머리 장착 디바이스로서 구성된 시스템(500) 내에 수용될 수 있다. 일부 예들에서, 제어 회로망들(510)은 시스템(500)의 다른 구성요소들과 통신가능하게 결합된 독립형 콘솔 디바이스일 수 있다. 도 5에 도시된 예에서, 제어 회로망들(510)은 애플리케이션 저장소(545), 추적 모듈(550), 및 엔진(555)을 포함한다.

애플리케이션 저장소(545)는 제어 회로망들(510)에 의한 실행을 위한 하나 이상의 애플리케이션들을 저장한다. 애플리케이션은 프로세서에 의해 실행될 때, 사용자에게 제공하기 위한 콘텐트를 생성하는 지시들의 그룹이다. 애플리케이션들의 예들은: 게이밍 애플리케이션들, 회의 애플리케이션들, 비디오 재생 애플리케이션들, 또는 다른 적합한 애플리케이션들을 포함한다.

추적 모듈(550)은 하나 이상의 교정 파라미터들을 사용하여 시스템(500)을 교정하고 근안 디스플레이(100)의 위치의 결정 시에 오류를 감소시키기 위해 하나 이상의 교정 파라미터들을 조정할 수 있다.

추적 모듈(550)은 이미징 디바이스(535)로부터의 느린 교정 정보를 사용하여 근안 디스플레이(100)의 이동들을 추적한다. 추적 모듈(550)은 또한, 빠른 교정 정보로부터의 위치 정보를 사용하여 근안 디스플레이(100)의 기준 지점의 위치들을 결정한다.

엔진(555)은 시스템(500) 내의 애플리케이션들을 실행하고 추적 모듈(550)로부터 근안 디스플레이(100)의 위치 정보, 가속도 정보, 속도 정보, 및/또는 예측된 미래 위치들을 수신한다. 일부 실시예들에서, 엔진(555)에 의해 수신된 정보는 사용자에게 제공된 콘텐트의 유형을 결정하는 신호(예컨대, 디스플레이 지시들)를 도파관 디스플레이 어셈블리(210)에 생성하기 위해 사용될 수 있다. 예를 들면, 대화형 경험을 제공하기 위해, 엔진(555)은 사용자의 위치(예컨대, 추적 모듈(550)에 의해 제공됨), 또는 사용자의 시선 지점(예컨대, 이미징 디바이스(535)에 의해 제공된 이미지 데이터에 기초함), 객체와 사용자 사이의 거리(예컨대, 이미징 디바이스(535)에 의해 제공된 이미지 데이터에 기초함)에 기초하여 사용자에게 제공될 콘텐트를 결정할 수 있다.

도 6a, 도 6b, 도 6c, 및 도 6d는 이미지 센서(600) 및 그것의 동작들의 예들을 도시한다. 도 6a에 도시된 바와 같이, 이미지 센서(600)는 픽셀 셀(601)을 포함하는, 픽셀 셀들의 어레이를 포함할 수 있고, 이미지의 픽셀들에 대응하는 디지털 세기 데이터를 생성할 수 있다. 픽셀 셀(601)은 도 4의 픽셀 셀들(402)의 일부일 수 있다. 도 6a에 도시된 바와 같이, 픽셀 셀(601)은 포토다이오드(602), 전자 셔터 스위치(603), 전송 스위치(604), 전하 저장 디바이스(605), 버퍼(606), 및 양자화기(607)를 포함할 수 있다. 포토다이오드(602)는 예를 들면, P-N 다이오드, P-I-N 다이오드, 핀형 다이오드, 등을 포함할 수 있는 반면에, 전하 저장 디바이스(605)는 전송 스위치(604)의 부동 드레인 노드일 수 있다. 포토다이오드(602)는 노출 기간 내에 광을 수신할 때 잔류 전하를 생성 및 축적할 수 있다. 노출 기간 내의 잔류 전하에 의해 포화되면, 포토다이오드(602)는 전송 스위치(604)를 통해 전하 저장 디바이스(605)에 오버플로우 전하(overflow charge)를 출력할 수 있다. 전하 저장 디바이스(605)는 오버플로우 전하를 전압으로 변환할 수 있고, 이는 버퍼(606)에 의해 버퍼링될 수 있다. 버퍼링된 전압은 양자화기(607)에 의해 양자화되어 예를 들면, 노출 기간 내에 포토다이오드(602)에 의해 수신된 광의 세기를 표현하기 위해 측정 데이터(608)를 생성할 수 있다.

양자화기(607)는 상이한 세기 범위들과 연관된 상이한 양자화 동작들에 대해 상이한 임계치들과 버퍼링된 전압을 비교하기 위해 비교기를 포함할 수 있다. 예를 들면, 포토다이오드(602)에 의해 생성된 오버플로우 전하의 양이 전하 저장 디바이스(605)의 포화 제한을 초과하는 높은 세기 범위에 대해, 양자화기(607)는 버퍼링된 전압이 포화 제한을 표현하는 정적 임계치를 초과하는지의 여부를 검출하고, 그렇다면 버퍼링된 전압이 정적 임계치를 초과하는데 걸리는 시간을 측정함으로써 시간 대 포화(TTS) 측정 동작을 수행할 수 있다. 측정된 시간은 광 세기에 반비례할 수 있다. 또한, 포토다이오드가 잔류 전하에 의해 포화되지만 오버플로우 전하가 전하 저장 디바이스(605)의 포화 제한 미만으로 남아 있는 중간 세기 범위에 대해, 양자화기(607)는 FD ADC 동작을 수행하여 전하 저장 디바이스(605)에 저장된 오버플로우 전하의 양을 측정할 수 있다. 게다가, 포토다이오드가 잔류 전하에 의해 포화되지 않고 전하 저장 디바이스(605)에 어떠한 오버플로우 전하도 축적되지 않는 낮은 세기 범위에 대해, 양자화기(607)는 포토다이오드(602)에 축적된 잔류 전하량을 측정하기 위해 PD ADC 동작을 수행할 수 있다. TTS, FD ADC, 또는 PD ADC 동작 중 하나의 출력은 광의 세기를 표현하기 위해 측정 데이터(608)로서 출력될 수 있다.

도 6b는 픽셀 셀(601)의 동작들의 일 예시적인 시퀀스를 도시한다. 도 6b에 도시된 바와 같이, 노출 기간은 활성화될 때 포토다이오드(602)에 의해 생성된 전하를 멀리 조향할 수 있는 전자 셔터 스위치(603)를 제어하는 AB 신호의 타이밍, 및 TG 신호 제어 전송 스위치(604)의 타이밍에 기초하여 정의될 수 있으며, 이는 오버플로우 전하를 전송하고 그 다음, 판독을 위해 전하 저장 디바이스(605)에 잔류 전하를 전송하도록 제어된다. 예를 들면, 도 6b를 참조하면, AB 신호는 포토다이오드(602)가 전하를 생성하는 것을 허용하기 위해 시간(T0)에서 디어서팅(deasserting)될 수 있다. T0은 노출 기간의 시작을 표시할 수 있다. 노출 기간 내에서, TG 신호는 전송 스위치(604)를 부분적으로 온 상태로 설정하여 포토다이오드(602)가, 포토다이오드(602)가 포화될 때까지 잔류 전하로서 전하의 적어도 일부를 축적하는 것을 허용할 수 있으며, 그 후에 오버플로우 전하는 전하 저장 디바이스(605)로 전송될 수 있다. 시간들(T0 및 T1) 사이에서, 양자화기(607)는 전하 저장 디바이스(605)에서의 오버플로우 전하가 포화 제한을 초과하는지의 여부를 결정하기 위해 TTS 동작을 수행할 수 있고, 그 다음 시간들(T1 및 T2) 사이에서, 양자화기(607)는 FD ADC 동작을 수행하여 전하 저장 디바이스(605)에서 오버플로우 전하의 양을 측정할 수 있다. 시간들(T2 및 T3) 사이에서, TG 신호는 잔류 전하를 전하 저장 디바이스(605)로 전송하기 위해 완전 온 상태에서 전송 스위치(604)를 바이어싱(biasing)하도록 어서팅될 수 있다. 시간(T3)에서, TG 신호는 포토다이오드(602)로부터 전하 저장 디바이스(605)를 분리하기 위해 디어서팅될 수 있는 반면에, AB 신호는 포토다이오드(602)에 의해 생성된 전하를 멀리 조향하기 위해 어서팅될 수 있다. 시간(T3)은 노출 기간의 끝을 표시할 수 있다. 시간들(T3 및 T4) 사이에서, 양자화기(607)는 잔류 전하의 양을 측정하기 위해 PD 동작을 수행할 수 있다.

AB 및 TG 신호들은 노출 기간의 지속기간 및 양자화 동작들의 시퀀스를 제어하기 위해 픽셀 셀(601)의 일부일 수 있는 제어기(도 6a에 도시되지 않음)에 의해 생성될 수 있다. 제어기는 또한, 전하 저장 디바이스(605)가 포화되는지의 여부 및 포토다이오드(602)가 포화되어 TTS, FD ADC, 또는 PD ADC 동작들 중 하나로부터의 출력들을 측정 데이터(608)로서 선택하는지의 여부를 검출할 수 있다. 예를 들면, 전하 저장 디바이스(605)가 포화되는 경우, 제어기는 TTS 출력을 측정 데이터(608)로서 제공할 수 있다. 전하 저장 디바이스(605)가 포화되지 않지만 포토다이오드(602)가 포화된 경우, 제어기는 FD ADC 출력을 측정 데이터(608)로서 제공할 수 있다. 포토다이오드(602)가 포화되지 않은 경우, 제어기는 PD ADC 출력을 측정 데이터(608)로서 제공한다. 노출 기간 내에 생성된 이미지 센서(600)의 각각의 픽셀 셀들로부터의 측정 데이터(608)는 이미지 프레임을 형성할 수 있다. 제어기는 후속 이미지 프레임들을 생성하기 위해 후속 노출 기간들에서 도 6b의 동작들의 시퀀스를 반복할 수 있다.

이미지 센서(600)로부터의 이미지 프레임 데이터는 호스트 프로세서(도 6a 내지 도 6d에 도시되지 않음)로 송신되어 객체(612)의 식별 및 추적, 이미지 센서(600)에 대한 객체(612)의 깊이 감지의 수행, 등과 같은, 상이한 애플리케이션들을 지원할 수 있다. 모든 이들 애플리케이션들에 대해, 픽셀 셀들의 서브세트만이 관련 정보(예컨대, 객체(612)의 픽셀 데이터)를 제공하는 반면에, 픽셀 셀들의 재설정은 관련 정보를 제공하지 않는다. 예를 들면, 도 6c를 참조하면, 시간(T0)에서, 이미지 센서(600)의 픽셀 셀들(620)의 그룹은 객체(612)에 의해 반사된 광을 수신하는 반면에, 시간(T6), 객체(612)는 이동되었을 수 있고(예컨대, 객체(612)의 이동, 이미지 센서(600)의 이동, 또는 둘 모두로 인해), 이미지 센서(600)의 픽셀 셀들(630)의 그룹은 객체(612)에 의해 반사된 광을 수신한다.

일부 예들에서, 이미지 센서(600)는 픽셀 셀들(620)의 그룹(시간(T0)에서) 및 픽셀 셀들의 그룹(630)(시간(T6)에서)으로부터의 픽셀 데이터를 포함하는 관심 있는 영역(ROI)을 결정하고, 송신되는 픽셀 데이터의 체적을 감소시키기 위해 픽셀만을 ROI로부터 호스트 프로세서로 송신할 수 있다. 일부 예들에서, 이미지 센서(600)는 또한, 픽셀 데이터를 송신하기 위해 모든 픽셀들을 가질 수 있지만, ROI에 대응하는 픽셀 셀들은 ROI 외부의 픽셀 셀들과 상이한 구성들을 가질 수 있다. 예를 들면, 픽셀 셀들(620 및 630)의 그룹들은 객체(612)의 이미지를 표현하기 위해 더 높은 양자화 분해능의 픽셀 데이터를 생성 및 출력할 수 있고, 픽셀 셀들의 나머지는 더 낮은 해상도의 픽셀 데이터를 생성 및 출력할 수 있다. 또 다른 예로서, 픽셀 셀들(620 및 630)의 그룹들은 다른 것들보다 긴 노출 기간들을 가질 수 있다. 여전히 또 다른 예로서, 픽셀 셀들(620 및 630)의 그룹들은 더 넓은 동적 범위를 가질 수 있고(예컨대, TTS, FD ADC, 및 PD ADC 동작들을 수행하는 것에 기초함), 픽셀 셀들의 나머지는 더 좁은 동적 범위를 가질 수 있다(예컨대, TTS, FD ADC, 및 PD ADC 동작들 중 하나 이상을 비활성화하는 것에 기초함). 모든 이들 장치들은 전력 및 대역폭의 대응하는 증가 없이 고 해상도 이미지들의 생성 및 송신을 허용할 수 있다. 예를 들면, 더 많은 픽셀 셀들을 포함하는 더 큰 픽셀 셀 어레이는 이미지 해상도를 개선하기 위해 객체(612)를 이미징하기 위해 사용될 수 있고, 개선된 이미지 해상도를 제공하기 위해 요구된 대역폭 및 전력은 객체(612)의 픽셀 데이터를 제공하는 픽셀 셀들을 포함하는, 단지 하나의 서브세트의 픽셀 셀들이 고 품질 픽셀 데이터를 생성하며 고 해상도 픽셀 데이터를 호스트 프로세서로 송신할 때 감소될 수 있고, 나머지 픽셀 셀들은 픽셀 데이터를 생성/송신하지 않거나, 상대적으로 낮은 품질의 픽셀 데이터를 생성/송신하고 있다. 게다가, 이미지 센서(600)가 더 높은 프레임 레이트로 이미지들을 생성하도록 동작될 수 있지만, 각각의 이미지가 고 해상도이고 많은 수의 비트들로 표현되는 픽셀 값들의 작은 세트를 단지 포함할 때 대역폭 및 전력의 증가들이 감소될 수 있고, 나머지 픽셀 값들은 해상도가 매우 낮고 더 적은 수의 비트들로 표현된다.

3D 감지의 경우에, 픽셀 데이터 송신의 체적이 또한 감소될 수 있다. 예를 들면, 도 6d를 참조하면, 조명기(640)는 구조화된 광의 패턴(642)을 객체(650)에 투영할 수 있다. 구조화된 광은 객체(650)의 표면에서 반사될 수 있고, 반사된 광의 패턴(652)은 이미지를 생성하기 위해 이미지 센서(600)에 의해 캡쳐될 수 있다. 호스트 프로세서는 패턴(652)을 패턴(642)과 매칭시키고 이미지에서 패턴(652)의 이미지 위치들에 기초하여 이미지 센서(600)에 대한 객체(650)의 깊이를 결정할 수 있다. 3D 감지에 대해, 픽셀 셀들(660, 662, 664, 및 666)의 그룹들만이 관련 정보(예컨대, 패턴(652)의 픽셀 데이터)를 포함한다. 송신되는 픽셀 데이터의 체적을 감소시키기 위해, 이미지 센서(600)는 픽셀 셀들(660, 662, 664, 및 666)의 그룹들을 포함하는 ROI들로부터 픽셀 데이터만을 호스트 프로세서로 전송하거나, 나머지 픽셀 데이터가 저 해상도인 동안 고 해상도의 픽셀 셀들(660, 662, 664, 및 666)의 그룹들로부터 픽셀 데이터를 호스트 프로세서로 전송하도록 구성될 수 있다.

도 7a는 복수의 센서들을 포함하는 모바일 디바이스(700)의 예들을 도시한다. 모바일 디바이스(700)는 도 1a의 근안 디스플레이(100)를 포함할 수 있다. 도 7a의 좌측 다이어그램은 모바일 디바이스(700)의 일례의 3차원 뷰를 도시한다. 도 7a의 좌측에 도시된 바와 같이, 모바일 디바이스(700)는 머리 장착 디스플레이(HMD)의 형태일 수 있다. 복수의 센서들은 모바일 디바이스(700)에 걸쳐 분산될 수 있고, 각각의 센서(또는 센서들의 그룹)는 특정한 방향으로 지향된다. 예를 들면, 센서들(702a 및 702b)은 방향(A)을 향하는 모바일 디바이스(700)의 전방 표면에 배치될 수 있고, 센서들(704)은 방향(B)을 향하는 모바일 디바이스(700)의 측면 표면에 배치될 수 있고, 센서들(706)은 방향(C)을 향하는 모바일 디바이스(700)의 또 다른 측면 표면에 배치될 수 있는 반면에, 센서(708)는 방향(D)을 향하는 모바일 디바이스(700)의 후방 측면에(예컨대, 헤드밴드(710)에) 배치될 수 있다.

센서들(702a, 702b, 704, 706, 및 708)의 각각의 세트는 픽셀 셀들의 어레이를 포함하는 도 6a의 이미지 센서(600), 뿐만 아니라 다른 유형들의 센서들(예컨대, 오디오 센서들 및 동작 센서들) 및 조명기들(예컨대, 적외선 조명기)을 포함할 수 있다. 센서들의 각각의 세트는 센서들의 세트가 향하는 각각의 방향을 향하는 시야(FOV)를 가질 수 있으며, 센서들의 각각의 세트에 의해 캡쳐된 이미지는 각각의 FOV 내의 주변 환경의 일부를 표현할 수 있다. 예를 들면, 센서들(702a) 및 센서들(702b)은 각각 방향(A)을 향하는 FOV(712a) 및 FOV(712b)를 가질 수 있다. 게다가, 센서들(704)은 방향(B)을 향하는 FOV(714)를 가질 수 있고, 센서들(706)은 방향(C)을 향하는 FOV(716)를 가질 수 있는 반면에, 센서들(708)은 방향(D)을 향하는 FOV(718)를 가질 수 있다. 모바일 디바이스(700)의 제어기는 센서들에 의해 캡쳐된 이미지들을 프로세싱하여 주변 환경에 관한 정보를 얻을 수 있으며, 이는 모바일 디바이스가 FOV들(712a, 712b, 714, 716, 및 718)을 조합하는 주변 환경의 조합된 FOV를 갖는 것을 허용한다. 제어기가 센서들(702a, 702b, 704, 706, 및 708)로부터의 이미지들을 프로세싱하는 경우에, 제어기는 모바일 디바이스(700)의 전방 측면, 후방 측면, 및 2개의 측면들로부터 캡쳐된 이미지들을 얻을 수 있고, 이는 360도에 가까운 조합된 FOV로 이어질 수 있다.

일부 예들에서, 센서들(702a, 702b, 704, 706, 및 708)의 각각의 세트는 상대적으로 낮은 해상도(예컨대, 1 메가 픽셀들 미만)를 가지는 픽셀 셀들의 상대적으로 작은 어레이를 가질 수 있다. 픽셀 셀들의 어레이의 감소된 크기로 인해, 센서들(702a, 702b, 704, 706, 및 708)의 각각의 세트는 감소된 실리콘 영역 및 감소된 폼 팩터를 가질 수 있으며, 이는 센서들이 모바일 디바이스(700)의 상이한 위치들에 분산되는 것을 허용하고, 여기서 이용가능한 공간은 매우 제한된다. 한편, 센서들로부터의 이미지들이 조합되어 센서들의 각각의 세트에 의해 제공된 FOV들을 조합하기 때문에, 모바일 디바이스는 여전히 넓은 FOV를 제공할 수 있다.

모바일 디바이스(700)에 의해 제공된 넓은 FOV는 SLAM 동작, 컨텍스트 결정 애플리케이션, 손 추적 애플리케이션, 등과 같은 이미지 센서들에 의해 제공된 이미지 데이터에 의존하는 다양한 애플리케이션들의 성능을 향상시킬 수 있고, 그들의 전부는 대화형 AR/VR/MR 경험을 제공하기 위해 사용자에게 출력될 콘텐트를 결정할 수 있다.

구체적으로, SLAM 동작에서, 사용자의 주변 환경에 있는 물리적 객체들의 특정 현저한 특징들은 사용자가 환경에서 이동함에 따라 시간에 대해 추적될 수 있다. 추적은 상이한 시간들에서 이미지 센서들에 의해 캡쳐된 다수의 이미지 프레임들에 걸쳐 특징들의 세트를 식별하고 그들 이미지 프레임들에서 특징들의 픽셀 위치들을 결정하는 것에 기초할 수 있다. 추적의 결과에 기초하여, 사용자에 대한 이미지 특징들을 가지는 물리적 객체들의 위치들이 결정될 수 있다. 환경의 맵 뿐만 아니라, 그들 시간들에서 환경 내의 사용자의 위치들이 또한 결정될 수 있다. SLAM 동작을 더 강건하게 만들기 위해, SLAM 동작의 전체 정확도에 대한 특정한 특징에 대한 추적 오류의 영향을 감소시키기 위해 더 두드러진 특징들이 추적될 수 있다. 이미지 센서들(702a, 702b, 704, 706, 및 708)에 의해 제공된 연장된 FOV는 더 두드러진 특징들이 SLAM 동작의 강건성을 개선하기 위해 추적되는 것을 허용한다.

도 7b는 일 예시적인 SLAM 동작(720)을 도시한다. 도 7b에 도시된 바와 같이, SLAM 동작(720)을 지원하기 위해, 이미지 센서(702a)는 FOV(712a) 내의 물리적 객체(724) 및 그것의 특징(725)를 포함하는 이미지를 캡쳐할 수 있고, 이미지 센서(704)는 FOV(714) 내의 물리적 객체(726) 및 그것의 특징(727)를 포함하는 이미지를 캡쳐할 수 있는 반면에, 이미지 센서(706)는 FOV(716) 내의 물리적 객체(728) 및 그것의 특징(729)를 포함하는 이미지를 캡쳐할 수 있다. 모바일 디바이스(700)가 그것의 정면의 물리적 객체들의 이미지들을 단지 캡쳐하는 경우와 비교하여, 다수의 이미지 센서들에 의해 제공된 연장된 FOV는 모바일 디바이스(700)가 모바일 디바이스 주위의 물리적 객체들의 이미지들을 캡쳐하는 것을 허용하고, 이는 결과적으로, SLAM 동작(720)을 더 강건하게 만들기 위해 더 두드러진 특징들의 추적을 허용한다. 일부 예들에서, 동일한 방향을 향하는 이미지 센서들(예컨대, 이미지 센서들(702a 및 702b))의 FOV들은 이미지 센서들이 스테레오 쌍을 형성하도록 조합될 수 있다. 스테레오 쌍의 이미지 센서들은 깊이 감지를 지원하기 위해 동일한 주파수 범위들(예컨대, 가시광선) 또는 상이한 주파수 범위들(예컨대, 가시광선 및 적외선) 내의 광을 검출할 수 있다.

게다가, 연장된 FOV는 또한, 모바일 디바이스(700)가 그렇지 않으면, 또 다른 물리적 객체에 의해 가려진 특징들을 캡쳐하는 것을 허용한다. 예를 들면, 도 7b에서, 객체(724)는 이미지 센서들(702a)과 객체(730) 사이에 배치되고 이미지 센서들(702a)로부터 특징(731)을 가릴 수 있다. 그러나, 특징(731)은 또한, 이미지 센서(702b)의 FOV 내에 있으며, 이는 특징(731)이 SLAM 동작(720)의 강건성을 개선하기 위해 이미징되고 추적되는 것을 허용한다.

도 7c는 모바일 디바이스(700)에 의해 지원될 수 있는 장면 컨텍스트 결정 동작(740)의 일례를 도시한다. 장면 컨텍스트 결정은 모바일 디바이스(700)가 모바일 디바이스의 사용자의 시선 내에 있지 않은 장면의 정보를 얻고, 정보에 기초하여 장면의 컨텍스트를 결정하는 것을 허용한다. 구체적으로, 도 7c에서, 모바일 디바이스(700)의 사용자는 사용자의 시선 내에 있는 사람(742)과 함께 사용자 정면에(예컨대, 방향(A)으로) 서 있는 사람(742)과 상호작용한다. 그러나, 사람들(744, 746, 및 748)을 포함하는, 사용자의 시야 내에 있지 않은 장면에 다른 사람들이 있다. 사람들(744, 746, 및 748)의 이미지들은 각각, 이미지 센서들(704, 706, 및 708)에 의해 캡쳐될 수 있다. 일부 예들에서, 모바일 디바이스(700)는 사용자에게 사람들(744, 746, 및 748)의 이미지들을 디스플레이하여, 사용자가 장면의 컨텍스트를 결정하는 것을 가능하게 할 수 있다. 예를 들면, 컨텍스트 인공 지능(AI) 동작의 일부로서, 이들 사람들의 제스처들, 얼굴 표정들, 또는 다른 활동들이 결정될 수 있다. 게다가, 사람이 말하고 있는 경우, 지향성 오디오 프로세싱을 위해 화자의 위치가 결정될 수 있다. 또 다른 예로서, 모바일 디바이스(700)는 사람들(744, 746, 및 748)의 이미지들에 기초하여 컨텍스트를 결정하는 장면 컨텍스트 결정 애플리케이션을 실행할 수 있다. 컨텍스트에 기초하여, 출력 콘텐트들이 생성될 수 있다.

도 7d는 모바일 디바이스(700)에 의해 지원될 수 있는 객체 추적 동작(760)의 일례를 도시한다. 도 7d에서, 객체 추적 동작(760)은 사용자(762)의 손의 위치를 추적하기 위해 수행될 수 있다(도 7d에 도시되지 않음). 이미지 센서들(704, 706, 및 708)의 상이한 방향들로 인해, 모바일 디바이스(700)는 사용자(762) 및 모바일 디바이스(700)의 단지 정면이 아니라, 광범위한 위치들에서 사용자의 손의 이미지들을 캡쳐할 수 있다. 예를 들면, 모바일 디바이스(700)는 도 7d에 도시된 바와 같이, 사용자(762)가 자신의 머리 또는 신체 뒤로 손을 움직일 때, 또는 사용자(762)가 모바일 디바이스(700)의 측면으로 손을 움직일 때 손의 이미지를 캡쳐할 수 있다.

일부 예들에서, 이미지 센서들(704, 706 및 708)에 의해 캡쳐된 손의 이미지들은 객체 추적 동작(760)의 강건성을 개선하기 위해 조합될 수 있다. 예를 들면, 제어기는 이미지 센서들(704, 706 및 708)를 제어하여 특정한 위치에 있는 손의 이미지를 캡쳐할 수 있다. 제어기는 그 다음, 사용자(762)에 대한 손의 깊이 추정을 개선하기 위해, 이미지들을 조합하여 사용자 손의 입체 이미지를 형성할 수 있다. 또 다른 예로서, 제어기는 또한, 객체 추적을 수행하기 위해 이미지 센서들(704, 706, 또는 708) 중 하나로부터 캡쳐된 이미지를 할 수 있다. 선택은 다양한 기준들에 기초할 수 있다. 예를 들면, 제어기는 특정 타겟 특징들(예컨대, 타겟 손 제스처)이 다른 이미지 센서로부터의 이미지들에서 덜 검출가능하지만, 이러한 특징들을 포함함을 검출하고, 이미지 센서(704)로부터의 이미지들이 개체를 추적하기 위해 사용될 것이라고 결정할 수 있다.

이미지 센서들(702a, 702b, 704, 706, 및 708) 뿐만 아니라, 제어기를 포함하는 모바일 디바이스(700)의 센서들은 센서들 및 제어기가 통신하는 멀티 드롭 네트워크에 의해 함께 연결될 수 있다. 도 8a는 모바일 디바이스(700)의 일부일 수 있는 센서 네트워크(800)의 일례를 도시한다. 도 8a에 도시된 바와 같이, 센서 네트워크(800)는 물리적 링크(802)를 포함할 수 있다. 센서 네트워크(800)는 804, 806, 808, 및 810, 등을 포함하는 복수의 센서들, 및 호스트 제어기(812)를 더 포함하고, 그들의 각각은 물리적 링크(802)와 결합된다. 센서들(804, 806, 808, 및 810)은 예를 들면, 도 7a의 이미지 센서들(702, 704, 706, 및 708), 오디오 센서들, 및 동작 센서들을 포함할 수 있다. 호스트 제어기(812)는 센서들(804, 806, 808, 및 810)에서의 감지 동작들을 제어하고 SLAM 동작(720), 장면 컨텍스트 결정 동작(740), 및 객체 추적 동작(760)과 같은 애플리케이션을 지원하기 위해 센서들에 의해 얻어진 센서 데이터를 프로세싱할 수 있다. 예를 들면, 호스트 제어기(812)는 센서들(804, 806, 808, 및 810)에 의해 생성된 이미지 데이터를 조합하여 모바일 디바이스(700)의 주변 환경의 연장된 FOV를 제공할 수 있다.

센서 네트워크(800)는 센서들(804 내지 810) 및 호스트 제어기(812)가 서로 통신하기 위해 동일한 물리적 링크(802)를 사용하는 멀티 드롭 네트워크의 형태일 수 있다. 예를 들면, 센서들(804, 806, 808, 및 810)의 각각은 센서 데이터들(814, 816, 818, 및 820)을 각각 생성하고, 물리적 링크(802)를 통해 호스트 제어기(812)로 센서 데이터들을 송신할 수 있다. 센서 데이터들(814, 816, 818, 및 820)은 예를 들면, 이미지 데이터, 오디오 데이터, 및 동작 데이터를 포함할 수 있다. 게다가, 호스트 제어기(812)는 센서들(804 내지 810)에서 감지 동작들을 제어하기 위해 제어 데이터(822)를 생성하고, 물리적 링크(802)를 통해 센서들로 제어 데이터(822)를 송신할 수 있다.

물리적 링크(802)는 다양한 기술들을 사용하여 구현될 수 있다. 도 8b는 물리적 링크(802)의 일례를 도시한다. 도 8b에서, 물리적 링크(802)는 버스를 포함할 수 있으며, 이는 I2C 또는 I3C 사양에 기초하여 구성될 수 있고 직렬 데이터 라인(SDL)(824) 및 직렬 클록 라인(SCL)(826)을 포함한다. SDL(824) 및 SCL(826)의 각각은 풀업 저항기(pull up resistor)들(828 및 830)과 각각 결합된 개방형 드레인 라인으로서 구성된다. SDL 및 SCL 라인들이 구동되지 않을 때, 그들은 풀업 저항기들에 의해 전원 전압까지 풀업될 수 있다. I2C/I3C 사양에서, 마스터 노드는 클록을 생성하고 슬레이브 노드들와의 통신을 개시하는 반면에, 슬레이브 노드는 클록을 수신하고 마스터가 주소지정할 때 응답한다. 센서 네트워크(800)에서, 호스트 제어기(812)는 마스터 노드로서 구성되는 반면에, 센서들(804 내지 810)은 슬레이브 노드들로서 구성된다. 제어 데이터(822)를 송신하기 위해, 호스트 제어기(812)는 클록 신호 패턴에 기초하여 SCL(826)을 풀다운(pull down)하고, 제어 데이터(822) 및 타겟 센서(들)의 주소를 포함하는 직렬 데이터 패턴에 기초하여 SDL(824)을 풀다운할 수 있다. 객체 센서(들)는 그 다음, SDL(824)에 센서 데이터를 포함하는 또 다른 직렬 데이터 패턴을 구동할 수 있다. 센서들이 동일한 SDL(824)을 공유하기 때문에, 센서들 중 하나만 SDL(824)을 통해 한 번에 센서 데이터를 호스트 제어기(812)로 송신할 수 있다. 각각의 센서에 의한 센서 데이터의 송신의 타이밍은 제어 데이터(822)를 통해 호스트 제어기(812)에 의해 제어될 수 있으며, 제어 데이터는 미리 결정된 송신 스케줄에 기초하여, 및/또는 다수의 센서들이 SDL(824)을 동시에 구동하려고 시도할 때 백오프 지연(back-off delay)들에 기초하여 정의된다.

도 8c는 물리적 링크(802)의 또 다른 예를 도시한다. 도 8c에 도시된 바와 같이, 물리적 링크(802)는 광원(842)으로부터 호스트 제어기(812)와 결합되는 수신기 시스템(843)으로 광(841)을 송신할 수 있는 광학 링크(840)를 포함할 수 있다. 광학 링크(840)는 광을 전파하는 광섬유, 도파관, 또는 임의의 매체를 포함할 수 있다. 센서들(804, 806, 808, 및 810)의 각각은 광학 변조기들(844, 846, 848, 및 850) 각각을 통해 광학 링크(840)와 결합될 수 있다. 호스트 제어기(812)로 센서 데이터를 송신하기 위해, 각각의 센서는 그것의 각각의 광학 변조기를 제어하여 광(841)을 변조할 수 있다. 수신기 시스템(843)은 변조된 광(841)을 전기 신호들로 변환하기 위해 광 검출기(예컨대, 포토다이오드)를 포함할 수 있으며, 이는 센서 데이터를 얻기 위해 호스트 제어기(812)에 의해 수신 및 프로세싱될 수 있다. 일부 예들에서, 센서들은 각각의 센서가 호스트 제어기(812)로 센서 데이터를 송신하기 위해 광(841)을 교대로 변조하는 시분할 다중화 방식에 기초하여 광(841)을 변조할 수 있다. 일부 예들에서, 센서들은 또한, 주파수 분할 다중화 방식으로 동시에 광(841)의 상이한 주파수 구성요소들을 변조할 수 있다. 게다가, 호스트 제어기(812) 및 각각의 센서는 호스트 제어기(812)가 제어 데이터(822)를 송신할 수 있는 버스(852)와 결합될 수 있다. 버스(852)는 I2C 버스, I3C 버스, 또는 다른 버스 기술들을 포함할 수 있다. 이와 같이, 광학 링크(840) 및 버스(852)는 물리적 링크(802)를 제공하기 위해 조합될 수 있다.

일부 예들에서, 물리적 링크(802)의 전력 및 대역폭을 감소시킬 수 있는 물리적 링크(802)를 통해 송신된 이미지 데이터의 체적을 감소시키기 위해, 호스트 제어기(812)는 애플리케이션에 의해 필요한 이미지 데이터를 제공하면서, 물리적 링크(802)를 통해 송신된 이미지 데이터의 체적을 감소시키도록 센서들(804 내지 810)의 이미지 캡쳐 동작들을 구성할 수 있다. 도 8d는 센서들(804 내지 810)의 일 예시적인 구성을 도시한다. 도 8d에 도시된 바와 같이, 호스트 제어기(812)는 물리적 링크(802)를 통해 센서 데이터들(814 및 816)을 송신하기 위해, 센서들(804 및 806)을 포함하는 센서들의 서브세트를 선택할 수 있고, 선택되지 않은 센서들(예컨대, 센서들(808 및 810))은 비활성화되거나 그렇지 않으면, 물리적 링크(802)를 통해 센서 데이터를 송신하도록 허용되지 않는다. 일부 예들에서, 호스트 제어기(812)는 더 높은 해상도의 및/또는 더 높은 프레임 레이트로 이미지 데이터를 송신하기 위해 센서들의 서브세트를 선택할 수 있는 반면에, 선택되지 않은 센서들은 더 낮은 해상도의 및/또는 더 낮은 프레임 레이트로 이미지 데이터를 송신할 수 있다.

호스트 제어기(812)가 센서들의 서브세트를 선택하는 다양한 방식들이 존재한다. 예를 들면, 호스트 제어기(812)는 센서들의 서브세트가 예를 들면, 그들 센서들에 의해 캡쳐된 이전 이미지들로부터 객체의 특징들을 검출하는 것에 기초하여 주어진 시간에 관심 있는 객체(예컨대, 사용자의 손, 위치 추적을 위한 다른 물리적 객체들)의 이미지들을 캡쳐할 가능성이 있다고 결정할 수 있다. 관심 있는 객체가 모바일 디바이스(700)에 대해 이동하는 경우에, 호스트 제어기(812)는 모바일 디바이스(700)에 대한 객체의 예측된 이동 궤적을 결정할 수 있다. 예측된 이동 궤적에 기초하여, 호스트 제어기(812)는 주어진 시간에 객체의 이미지들을 캡쳐하고, 상이한 시간들에 이미지 센서들의 상이한 서브세트들을 활성화할 가능성이 있는 센서들을 결정할 수 있다. 예측된 궤적은 예를 들면, 시간에 대해 센서들에 의해 캡쳐된 이전 및 가장 최근 이미지들에서 객체의 픽셀 위치들 뿐만 아니라, 모바일 디바이스(700)의 이전 및 최근 위치들 및/또는 방향들에 기초할 수 있다. 예를 들면, 사용자의 머리(및 모바일 디바이스(700))가 비행 객체를 보기 위해 회전하는 것을 검출하는 것에 기초하여, 호스트 제어기(812)는 모바일 디바이스(700)의 센서들에 대한 비행 객체의 궤적을 예측하고, 사용자가 자신의 머리를 계속 회전함에 따라 상이한 시점들에서 비행 객체의 이미지들을 캡쳐할 가능성이 가장 높은 센서들의 서브세트들을 결정할 수 있다. 호스트 제어기(812)는 그 다음, 물리적 링크(802)를 통해 송신되는 이미지 데이터의 체적을 감소시키기 위해, 그들 시점들에서 센서들의 나머지를 비활성화하면서 센서들의 서브세트들을 활성화할 수 있다. 호스트 제어기(812)는 또한, 유사한 기술들을 적용하여 오디오 데이터와 같은, 다른 유형들의 센서 데이터의 송신을 선택적으로 활성화/비활성화할 수 있다.

도 8e는 센서들(804 내지 810)의 또 다른 예시적인 구성을 도시한다. 도 8e에 도시된 바와 같이, 호스트 제어기(812)는 센서들(804 내지 810), 또는 상기 설명된 바와 같이 선택된 그들의 서브세트(예컨대, 센서(804))를 제어하여, 네트워크를 통해 송신된 이미지 데이터의 체적을 또한 감소시키기 위해 희소 감지 동작들을 수행할 수 있다. 구체적으로, 호스트 제어기(812)는 이미지 데이터를 송신하기 위해 활성화된 각각의 센서에 대해, 도 6c 및 도 6d에서 설명된 바와 같이, 관심 있는 객체의 픽셀 데이터를 생성할 가능성이 있는 ROI를 결정할 수 있다. ROI의 결정은 예를 들면, 도 8d에서 상기 설명된 바와 같이, 그들 센서들에 의해 캡쳐된 이전 이미지들로부터 관심 있는 객체의 특징들을 검출하고, 모바일 디바이스(700)에 대한 객체의 이동 궤적을 예측하는 것에 기초할 수 있다. 도 8e에서, 호스트 제어기(812)는 사람의 머리 및 손들의 픽셀들을 포함하는 ROI들(860, 862, 및 864)을 결정할 수 있다. 호스트 제어기(812)는 그 다음, 센서(804)를 제어하여 ROI(860, 862, 및 864)에 대응하는 픽셀 셀들의 서브세트들만이 광을 검출하고/거나 픽셀 데이터를 송신하는 것을 가능하게 하고, 센서(804)의 나머지 픽셀들은 픽셀 데이터를 송신하지 않는다. 결과적으로, 센서 데이터(814)는 ROI(860, 862, 및 864) 내에 픽셀들을 단지 포함한다.

희소 감지 외에, 호스트 제어기(812)는 또한, ROI에 속하는 픽셀 셀들과 ROI에 속하지 않는 픽셀 셀들 사이의 이미지 캡쳐링 동작들의 다른 양태들을 변경할 수 있다. 예를 들면, 호스트 제어기(812)는 이미지 데이터의 품질을 개선하기 위해, 도 6c 및 도 6d에서 상기 설명된 바와 같이, 다른 픽셀 셀들에 대해 ROI에 속하는 픽셀 셀들의 양자화 분해능을 증가시키고, 노출 기간, 동적 범위, 등을 증가시킬 수 있다.

호스트 제어기(812)가 센서들에 ROI 정보를 제공할 수 있는 다양한 방식들이 존재한다. 예를 들면, 제어 데이터(822)는 각각의 이미지 프레임에 대한 ROI의 일부인 픽셀 셀들(또는 픽셀 셀들의 블록들)을 명시하는 프로그래밍 맵을 포함할 수 있다. 호스트 제어기(812)는 관심 있는 객체가 모바일 디바이스(700)에 대해 이동하는 경우에, 상이한 이미지 프레임들에 대한 업데이트된 ROI를 포함하는 업데이트된 제어 데이터(822)를 송신할 수 있다. 또 다른 예에서, 센서들은 ROI를 국부적으로 결정하기 위해 특정 계산 능력들을 포함할 수 있고, 호스트 제어기(812)는 제어 데이터(822)의 일부로서, 센서들에서 ROI의 결정을 안내하기 위해 안내 신호를 센서들로 송신할 수 있다. 안내 신호는 관심 있는 객체의 특징들을 식별하는 정보, ROI의 위치 및 크기들의 대략적인 추정치들, 등을 포함할 수 있다. 안내 데이터에 기초하여, 센서들은 명시된 특징들을 검출하는 것, ROI의 추정치들을 개선하는 것, 등에 기초하여 ROI를 결정할 수 있다. 이러한 장치들로, 호스트 제어기(812)에 의해 센서들로 송신된 제어 데이터의 체적이 감소될 수 있는데, 이는 제어기가 관심 있는 모바일 디바이스 및/또는 객체의 이동을 설명하기 위해 업데이트된 ROI 정보를 이미지 프레임들 사이에서 센서들로 송신할 필요가 없기 때문이고, 이는 네트워크의 전력 및 대역폭 요구조건을 또한 감소시킬 수 있는다.

도 9a, 도 9b, 도 9c, 및 도 9d는 호스트 제어기(812) 및 센서들(804 내지 810)의 내부 구성요소들의 예들을 도시한다. 도 9a에 도시된 바와 같이, 센서(804)는 센서 계산 회로(906) 및 픽셀 셀들의 어레이(908)를 포함한다. 센서 계산 회로(906)는 이미지 프로세서(910) 및 프로그래밍 맵 생성기(912)를 포함한다. 일부 예들에서, 센서 계산 회로(906)는 주문형 반도체(ASIC), 필드 프로그래밍가능한 게이트 어레이(FPGA), 또는 이미지 프로세서(910) 및 프로그래밍 맵 생성기(912)의 기능들을 구현하기 위한 지시들을 실행하는 하드웨어 프로세서로서 구현될 수 있다. 게다가, 호스트 제어기(812)는 애플리케이션(914)을 실행할 수 있는 범용 중앙 처리 장치(CPU)를 포함할 수 있다.

픽셀 셀들의 어레이(908)의 각각의 픽셀 셀, 또는 픽셀 셀들의 블록들은 예를 들면, 픽셀 값의 출력을 활성화/비활성화하고, 픽셀 셀에 의해 출력된 픽셀 값의 해상도를 설정하고, 등을 위해 개별적으로 프로그래밍가능할 수 있다. 픽셀 셀들의 어레이(908)는 센서 계산 회로(906)의 프로그래밍 맵 생성기(912)로부터, 각각의 픽셀 셀에 대한 프로그래밍 데이터를 포함하는 프로그래밍 맵의 형태일 수 있는 제1 프로그래밍 신호들(920)을 수신할 수 있다. 픽셀 셀들의 어레이(908)는 장면으로부터 광을 감지하고 제1 프로그래밍 신호들(920)에 기초하여 장면의 제1 이미지 프레임(922)을 생성할 수 있다. 구체적으로, 픽셀 셀들의 어레이(908)는 제1 프로그래밍 신호들(920)에 의해 제어되어 제1 이미지 프레임(922)이 픽셀들의 전체 이미지 프레임을 포함하는 전체 프레임 모드로, 및/또는 제1 이미지 프레임(922)이 프로그래밍 맵에 의해 명시된 픽셀들의 서브세트를 단지 포함하는 희소 모드로와 같은 상이한 희소 모드들로 동작할 수 있다. 일부 예들에서, 프로그래밍 맵 생성기(912)는 픽셀 셀들의 어레이(908)가 호스트 제어기(812)로부터 제1 프로그래밍 신호들(920)을 수신하는 호스트 제어기(812)의 일부일 수 있다.

제1 프로그래밍 신호들(920)을 생성하는 것에 더하여, 센서 계산 회로(906)는 또한, 픽셀 셀들의 어레이(908)의 각각의 픽셀 셀로 전송되는 전역 신호들을 생성할 수 있다. 전역 신호들은 예를 들면, TTS, FD ADC, 및 PD ADC 동작들에서 양자화 동작들을 위해 사용된 임계 전압들(예컨대, FD ADC 및 PD ADC 동작을 위한 전역 전압 램프, TTS 동작을 위한 플랫 전압, 등) 뿐만 아니라, 도 6b의 AB 및 TG 신호들과 같은 전역 제어 신호들을 포함할 수 있다.

픽셀 셀들의 어레이(908)는 제1 이미지 프레임(922)을 호스트 제어기(812) 및 센서 계산 회로(906) 둘 모두에 출력할 수 있다. 일부 예들에서, 픽셀 셀들의 어레이(908)는 또한, 호스트 제어기(812)에 및 센서 계산 회로(906)에 상이한 픽셀 희소성을 갖는 제1 이미지 프레임(922)을 출력할 수 있다. 예를 들면, 픽셀 셀들의 어레이(908)는 픽셀들의 전체 이미지 프레임을 갖는 제1 이미지 프레임(922)을 센서 계산 회로(906)에 다시 출력하고, 제1 프로그래밍 신호들(920)에 의해 정의된 희소 픽셀들을 갖는 제1 이미지 프레임(922)을 호스트 제어기(812)에 출력할 수 있다.

센서 계산 회로(906) 및 호스트 제어기(812)는 이미지 센서(804)와 함께, 후속 이미지 프레임(924)을 생성하기 위해 이미지 센서를 제어하도록 제1 이미지 프레임(922)에 기초하여 2단계 피드백 시스템을 형성할 수 있다. 2단계 피드백 동작에서, 센서 계산 회로(906)의 이미지 프로세서(910)는 프로세싱 결과를 얻기 위해 제1 이미지 프레임(922)에 대한 이미지 프로세싱 동작을 수행할 수 있고, 그 다음 프로그래밍 맵 생성기(912)는 프로세싱 결과에 기초하여 제1 프로그래밍 신호들(920)을 업데이트할 수 있다. 이미지 프로세서(910)에서의 이미지 프로세싱 동작은 제1 이미지 프레임(922)에 기초하여 제2 프로그래밍 신호들(920)을 생성할 수 있는 호스트 제어기(812)로부터의 제어 데이터(822)에 포함된 제2 프로그래밍 신호들(932)에 기초하여 안내/구성될 수 있다. 픽셀 셀들의 어레이(908)는 그 다음, 업데이트된 제1 프로그래밍 신호들(920)에 기초하여 후속 이미지 프레임(924)을 생성할 수 있다. 호스트 제어기(812) 및 센서 계산 회로(906)는 그 다음, 후속 이미지 프레임(924)에 기초하여 제1 프로그래밍 신호들(920) 및 제2 프로그래밍 신호들(932)을 각각 업데이트할 수 있다.

상기 언급된 2단계 피드백 시스템에서, 호스트 제어기(812)로부터의 제어 데이터(822)의 제2 프로그래밍 신호들(932)은 센서 계산 회로(906)에서 이미지 프로세싱 동작 및/또는 프로그래밍 맵 생성에 영향을 미치기 위해, 교시/안내 신호, 신경망 트레이닝 동작의 결과(예컨대, 역방향 전파 결과들), 등의 형태일 수 있다. 호스트 제어기(812)는 이미지 센서(804)에 의한 광 감지 동작의 컨텍스트를 결정하고, 그 다음 교시/안내 신호를 결정하기 위해 단지 제1 이미지 프레임 뿐만 아니라, 다른 센서 데이터(예컨대, 다른 이미지 센서들에 의해 캡쳐된 다른 이미지 프레임들, 오디오 정보, 동작 센서 출력들, 사용자로부터의 입력들, 등)에 기초하여 교시/안내 신호들을 생성할 수 있다. 컨텍스트는 예를 들면, 이미지 센서(804)가 동작하는 환경 조건, 이미지 센서(804)의 위치, 관심 있는 객체의 특징들, 또는 애플리케이션(914)의 임의의 다른 요구조건들을 포함할 수 있다. 교시/안내 신호들은 컨텍스트가 전형적으로, 프레임 레이트보다 훨씬 낮은 레이트로 변경되는 것을 고려할 때, 컨텍스트에 기초하여 상대적으로 낮은 레이트(예컨대, 프레임 레이트보다 낮음)로 업데이트될 수 있고, 센서 계산 회로(906)에서의 프로그래밍 맵의 업데이팅 및 이미지 프로세싱 동작은 픽셀 셀들의 어레이(908)에 의해 캡쳐된 이미지들에 적응하기 위해 상대적으로 높은 레이트로(예컨대, 프레임 레이트로) 발생할 수 있다.

도 9a가 픽셀 셀들의 어레이(908)가 제1 이미지 프레임(922) 및 제2 이미지 프레임(924)을 호스트 제어기(812) 및 센서 계산 회로(906) 둘 모두로 송신함을 도시할지라도, 일부 경우들에서, 픽셀 셀들의 어레이(908)는 호스트 제어기(812) 및 센서 계산 회로(906)로 상이한 희소성의 이미지 프레임들을 송신할 수 있다. 예를 들면, 픽셀 셀들의 어레이(908)는 전체 픽셀들을 가지는 제1 이미지 프레임(922) 및 제2 이미지 프레임(924)을 이미지 프로세서(910)로 송신할 수 있고, 각각이 제1 프로그래밍 신호들(920)에 기초하여 선택된 픽셀들의 서브세트들을 포함하는 희소 버전의 이미지 프레임들 둘 모두는 호스트 제어기(812)로 전송된다.

도 9b는 픽셀 셀들의 어레이(908)의 내부 구성요소들의 예들을 도시한다. 도 9b에 도시된 바와 같이, 픽셀 셀 어레이(908)는 열 제어기(934), 행 제어기(936), 및 프로그래밍 신호 파서(940)를 포함할 수 있다. 열 제어기(934)는 열 버스들(935)(예컨대, 935a, 935b, ... 935n)과 연결되는 반면에, 행 제어기(936)는 열 버스들(937)(예컨대, 937a, 937b, ... 937n)과 연결된다. 열 제어기(934) 또는 행 제어기(936) 중 하나는 또한, 특정한 픽셀 셀 또는 픽셀 셀들의 그룹을 타겟으로 하는 픽셀 레벨 프로그래밍 신호들(943)을 송신하기 위해 프로그래밍 버스(942)와 연결된다. P₀₀, P₀₁, P_0j, 등으로 라벨링된 각각의 박스는 픽셀 셀 또는 픽셀 셀들의 그룹(예컨대, 2x2 픽셀 셀들의 그룹)을 표현할 수 있다. 각각의 픽셀 셀 또는 픽셀 셀들의 그룹은 열 버스들(937) 중 하나, 행 버스들(935) 중 하나, 프로그래밍 버스(942), 및 출력 데이터 버스에 연결되어 픽셀 데이터(도 9b에 도시되지 않음)를 출력할 수 있다. 각각의 픽셀 셀(또는 픽셀 셀들의 각각의 그룹)은 픽셀 레벨 프로그래밍 버스(942)를 통해 픽셀 레벨 프로그래밍 신호들(943)을 한 번에 수신하기 위해, 열 제어기(934)에 의해 제공된 열 버스들(937)의 열 주소 신호들(944), 및 행 제어기(936)에 의해 제공된 행 버스들(935)의 행 주소 신호들(946)에 의해 개별적으로 주소지정가능하다. 열 주소 신호들(944), 행 주소 신호들(946), 및 픽셀 레벨 프로그래밍 신호들(943)은 프로그래밍 맵 생성기(912)로부터의 제1 프로그래밍 신호들(920)에 기초하여 생성될 수 있다.

게다가, 픽셀 셀들의 어레이(908)는 제1 프로그래밍 신호들(920)로부터 픽셀 레벨 프로그래밍 신호들(943)을 추출할 수 있는 프로그래밍 신호 파서(940)를 더 포함한다. 일부 예들에서, 제1 프로그래밍 신호들(920)은 각각의 픽셀 셀 또는 픽셀 셀 어레이(908)의 픽셀 셀들의 각각의 그룹에 대한 프로그래밍 데이터를 포함할 수 있는 프로그래밍 맵을 포함할 수 있다. 도 9c는 픽셀 어레이 프로그래밍 맵(948)의 일례를 도시한다. 도 9c에 도시된 바와 같이, 픽셀 어레이 프로그래밍 맵(948)은 픽셀 레벨 프로그래밍 데이터의 2차원 어레이를 포함할 수 있고, 2차원 어레이의 각각의 픽셀 레벨 프로그래밍 데이터는 픽셀 셀 또는 픽셀 셀 어레이(908)의 픽셀 셀들의 그룹을 타겟으로 한다. 예를 들면, 각각의 픽셀 레벨 프로그래밍 자료가 픽셀 셀을 타겟으로 하는 경우에, 및 픽셀 셀 어레이(808)가 M개의 픽셀들의 폭(예컨대, 픽셀들의 M개의 열들) 및 N개의 픽셀들의 높이(예컨대, 픽셀들의 N개의 행들)를 갖는다고 가정하면, 픽셀 어레이 프로그래밍 맵(948)은 또한, M개의 엔트리들의 폭(예컨대, 엔트리들의 M개의 열들) 및 N개의 엔트리들의 높이(예컨대, 엔트리들의 N개의 행들)를 또한 가질 수 있으며, 각각의 엔트리는 대응하는 픽셀 셀에 대한 픽셀 레벨 프로그래밍 데이터를 저장한다. 예를 들면, 픽셀 어레이 프로그래밍 맵(948)의 엔트리(0, 0)에서의 픽셀 레벨 프로그래밍 데이터(A₀₀)는 픽셀 어레이(908)의 픽셀 위치(0, 0)에 있는 픽셀 셀(P₀₀)을 타겟으로 하는 반면에, 픽셀 어레이 프로그래밍 맵(948)의 엔트리(0, 1)에서의 픽셀 레벨 프로그래밍 데이터(A₀₁)는 픽셀 셀 어레이(908)의 픽셀 위치(0, 1)에 있는 픽셀 셀(P₀₁)을 타겟으로 한다. 픽셀 레벨 프로그래밍 데이터가 픽셀 셀들의 그룹을 타겟으로 하는 경우에, 높이 및 폭을 따르는 픽셀 어레이 프로그래밍 맵(948)의 엔트리들의 수는 각각의 그룹의 픽셀 셀들의 수에 기초하여 확장될 수 있다.

픽셀 어레이 프로그래밍 맵(948)은 도 9b에서 설명된 피드백 동작들을 지원하도록 구성될 수 있다. 예를 들면, 각각의 엔트리에 저장된 픽셀 레벨 프로그래밍 데이터는 예를 들면, 전원을 온하거나 오프하고, 픽셀 데이터의 출력을 활성화 또는 비활성화하고, 양자화 분해능을 설정하고, 출력 픽셀 데이터의 정밀도를 설정하고, 양자화 동작(예컨대, TTS, FD ADC, PD ADC 중 하나)을 선택하고, 프레임 레이트를 설정하고, 등을 하기 위해 각각의 픽셀 셀(또는 픽셀 셀들의 각각의 그룹)을 개별적으로 프로그래밍할 수 있다. 상기 설명된 바와 같이, 프로그래밍 맵 생성기(912)는 예를 들면, ROI 내의 픽셀 셀들에 대한 픽셀 레벨 프로그래밍 데이터가 ROI 외부의 픽셀 셀들에 대한 픽셀 레벨 프로그래밍 데이터와 상이한 하나 이상의 ROI들의 예측에 기초하여 픽셀 어레이 프로그래밍 맵(948)을 생성할 수 있다. 예를 들면, 픽셀 어레이 프로그래밍 맵(948)은 나머지 픽셀 셀들이 픽셀 데이터를 출력하지 않는 동안 픽셀 셀들의 서브세트(또는 픽셀 셀들의 그룹들)가 픽셀 데이터를 출력하는 것을 가능하게 할 수 있다. 또 다른 예로서, 픽셀 어레이 프로그래밍 맵(948)은 픽셀 셀들의 서브세트를 제어하여 더 높은 해상도(예컨대, 더 많은 수의 비트들을 사용하여 각각의 픽셀을 표현함)의 픽셀 데이터를 출력할 수 있는 반면에, 나머지 픽셀 셀들은 더 낮은 해상도의 픽셀 데이터를 출력한다.

다시 도 9b를 참조하면, 프로그래밍 맵 파서(940)는 직렬 데이터 스트림에 있을 수 있는 픽셀 어레이 프로그래밍 맵(948)을 파싱하여, 각각의 픽셀 셀(또는 픽셀 셀들의 각각의 그룹)에 대한 픽셀 레벨 프로그래밍 데이터를 식별할 수 있다. 픽셀 레벨 프로그래밍 데이터의 식별은 예를 들면, 2차원 픽셀 어레이 프로그래밍 맵이 직렬 포맷으로 변환되는 미리 결정된 스캐닝 패턴 뿐만 아니라, 픽셀 레벨 프로그래밍 데이터가 직렬 데이터 스트림으로부터 프로그래밍 신호 파서(940)에 의해 수신되는 순서에 기초할 수 있다. 프로그래밍 데이터의 각각의 엔트리에 대해, 프로그래밍 신호 파서(940)는 행 주소 신호(944) 및 열 주소 신호(946)를 생성하고, 행 주소 신호(944) 및 열 주소 신호(946)를 각각 행 제어기(936) 및 열 제어기(934)로 송신하여 픽셀 셀들을 선택하고 픽셀 레벨 프로그래밍 신호들(943)을 선택된 픽셀 셀(또는 픽셀 셀들의 그룹)로 송신할 수 있다.

도 9d는 픽셀 셀 어레이(908)의 픽셀 셀(950)의 예시적인 내부 구성요소들을 도시하며, 이는 도 6a의 픽셀 셀(601)의 구성요소들 중 적어도 일부를 포함할 수 있다. 픽셀 셀(950)은 포토다이오드들(952a, 952b), 등을 포함하는 하나 이상의 포토다이오드들을 포함할 수 있으며, 각각은 상이한 주파수 범위의 광을 검출하도록 구성될 수 있다. 예를 들면, 포토다이오드(952a)는 가시광선(예컨대, 단색, 또는 적색, 녹색, 또는 청색 컬러 중 하나)을 검출할 수 있는 반면에, 포토다이오드(952b)는 적외선을 검출할 수 있다. 픽셀 셀(950)은 픽셀 데이터 생성을 위한 전하를 출력하는 포토다이오드를 제어하기 위해 스위치(954)(예컨대, 트랜지스터, 제어기 배리어 층)를 더 포함한다.

게다가, 픽셀 셀(950)은 도 6a에 도시된 바와 같이, 전자 셔터 스위치(603), 전송 스위치(604), 전하 저장 디바이스(605), 버퍼(606), 양자화기(607) 뿐만 아니라, 재설정 스위치(951) 및 메모리(955)를 더 포함한다. 전하 저장 디바이스(605)는 전하 대 전압 변환 이득을 설정하기 위해 구성가능한 커패시턴스를 가질 수 있다. 일부 예들에서, 전하 저장 디바이스(605)의 커패시턴스는 전하 저장 디바이스(605)가 오버플로우 전하에 의해 포화될 가능성을 감소시키기 위해 중간 광 세기에 대한 FD ADC 동작을 위한 오버플로우 전하를 저장하도록 증가될 수 있다. 전하 저장 디바이스(605)의 커패시턴스는 또한, 낮은 광 세기에 대한 PD ADC 동작을 위한 전하 대 전압 변환 이득을 증가시키기 위해 감소될 수 있다. 전하 대 전압 변환 이득의 증가는 양자화 오류를 감소시키고 양자화 분해능을 증가시킬 수 있다. 일부 예들에서, 전하 저장 디바이스(605)의 커패시턴스는 또한, 양자화 분해능을 증가시키기 위해 FD ADC 동작 동안 감소될 수 있다. 재설정 스위치(951)는 이미지 프레임의 캡쳐 이전에 및/또는 FD ADC와 PD ADC 동작들 사이에서 전하 저장 디바이스(605)를 재설정할 수 있다. 버퍼(606)는 바이어스 신호(BIAS1)에 의해 전류가 설정될 수 있는 전류 소스(956) 뿐만 아니라, 버퍼(606)를 턴 온/오프하기 위해 PWR_GATE 신호에 의해 제어될 수 있는 전력 게이트(958)를 포함한다. 버퍼(606)는 픽셀 셀(950)을 비활성화하는 일부로서 턴 오프될 수 있다.

게다가, 양자화기(607)는 비교기(960) 및 출력 로직들(962)을 포함한다. 비교기(960)는 버퍼의 출력을 기준 전압(VREF)과 비교하여 출력을 생성할 수 있다. 양자화 동작(예컨대, TTS, FD ADC, PD ADC 동작들)에 의존하여, 비교기(960)는 버퍼링된 전압을 상이한 VREF 전압들과 비교하여 출력을 생성할 수 있고, 출력은 또한, 메모리(955)로 하여금 픽셀 출력으로서 자유 실행 카운터로부터의 값을 저장하게 하기 위해 출력 로직들(962)에 의해 프로세싱될 수 있다. 비교기(960)의 바이어스 전류는 픽셀 셀(950)에 의해 지원될 프레임 레이트에 기초하여 설정될 수 있는 비교기(960)의 대역폭을 설정할 수 있는 바이어스 신호(BIAS2)에 의해 제어될 수 있다. 게다가, 비교기(960)의 이득은 이득 제어 신호(GAIN)에 의해 제어될 수 있다. 비교기(960)의 이득은 픽셀 셀(950)에 의해 지원될 양자화 분해능에 기초하여 설정될 수 있다. 비교기(960)는 PWR_GATE 신호에 의해 또한 제어되어 비교기(960)를 턴 온/오프할 수 있는 전력 스위치(961)를 더 포함한다. 비교기(960)는 픽셀 셀(950)을 비활성화하는 일부로서 턴 오프될 수 있다.

게다가, 출력 로직들(962)은 TTS, FD ADC, 또는 PD ADC 동작들 중 하나의 출력들을 선택하고 선택에 기초하여, 카운터로부터의 값을 저장하기 위해 비교기(960)의 출력을 메모리(955)에 전달할지의 여부를 결정할 수 있다. 출력 로직들(962)은 비교기(960)의 출력에 기초하여, 포토다이오드(952)(예컨대, 포토다이오드(952a))가 잔류 전하에 의해 포화되는지의 여부, 및 전하 저장 디바이스(605)가 오버플로우 전하에 의해 포화되는지의 여부의 표시들을 저장하기 위해 내부 메모리를 포함할 수 있다. 전하 저장 디바이스(605)가 오버플로우 전하에 의해 포화되면, 출력 로직들(962)은 메모리(955)에 저장될 TTS 출력을 선택하고 메모리(955)가 FD ADC/PD ADC 출력에 의해 TTS 출력을 중복기록하는 것을 방지할 수 있다. 전하 저장 디바이스(605)가 포화되지 않지만 포토다이오드들(952)이 포화되는 경우, 출력 로직들(962)은 메모리(955)에 저장될 FD ADC 출력을 선택할 수 있고; 그렇지 않으면 출력 로직들(962)은 메모리(955)에 저장될 PD ADC 출력을 선택할 수 있다. 일부 예들에서, 카운터 값들 대신에, 포토다이오드들(952)이 잔류 전하에 의해 포화되는지의 여부 및 전하 저장 디바이스(605)가 오버플로우 전하에 의해 포화되는지의 여부의 표시들은 가장 낮은 정밀도의 픽셀 데이터를 제공하기 위해 메모리(955)에 저장될 수 있다.

게다가, 픽셀 셀(950)은 AB, TG, BIAS1, BIAS2, GAIN, VREF, PWR_GATE, 등과 같은 제어 신호들을 생성하기 위해 논리 회로들을 포함할 수 있는 픽셀 셀 제어기(970)를 포함할 수 있다. 픽셀 셀 제어기(970)는 또한, 픽셀 레벨 프로그래밍 신호들(926)에 의해 프로그래밍될 수 있다. 예를 들면, 픽셀 셀(950)을 비활성화하기 위해, 픽셀 셀 제어기(970)는 버퍼(606) 및 비교기(960)를 턴 오프하기 위해 PWR_GATE를 디어서팅하도록 픽셀 레벨 프로그래밍 신호들(926)에 의해 프로그래밍될 수 있다. 게다가, 양자화 분해능을 증가시키기 위해, 픽셀 셀 제어기(970)는 전하 저장 디바이스(605)의 커패시턴스를 감소시키고, GAIN 신호를 통해 비교기(960)의 이득을 증가시키고, 등을 하기 위해 픽셀 레벨 프로그래밍 신호들(926)에 의해 프로그래밍될 수 있다. 프레임 레이트를 증가시키기 위해, 픽셀 셀 제어기(970)는 버퍼(606) 및 비교기(960) 각각의 대역폭을 증가시키기 위해 BIAS1 신호 및 BIAS2 신호를 증가시키도록 픽셀 레벨 프로그래밍 신호들(926)에 의해 프로그래밍될 수 있다. 게다가, 픽셀 셀(950)에 의해 출력된 픽셀 데이터의 정밀도를 제어하기 위해, 픽셀 셀 제어기(970)는 픽셀 레벨 프로그래밍 신호들(926)에 의해 프로그래밍되어 예를 들면, 메모리(955)가 비트들의 서브세트를 단지 저장하게 하도록 카운터의 비트들(예컨대, 최상위 비트들)의 서브세트만을 메모리(955)에 연결하거나, 픽셀 데이터로서 메모리(955)에 출력 로직들(962)에 저장된 표시들을 저장할 수 있다. 게다가, 픽셀 셀 제어기(970)는 상기 설명된 바와 같이, 동작 조건에 기초하여 다른 것들을 건너뛰면서 예를 들면, 노출 기간을 조정하고/거나 특정한 양자화 동작(예컨대, TTS, FD ADC, 또는 PD ADC 중 하나)을 선택하기 위해 픽셀 레벨 프로그래밍 신호들(926)에 의해 프로그래밍되어 AB 및 TG 신호들의 시퀀스 및 타이밍을 제어할 수 있다.

도 10은 모바일 디바이스(700)와 같은 모바일 디바이스에 의해 출력될 콘텐트를 생성하는 방법(1000)을 도시한다. 방법(1000)은 도 8a 내지 도 8e의 호스트 제어기(812)와 같은, 모바일 디바이스의 제어기에 의해 수행될 수 있다. 모바일 디바이스는 모바일 디바이스의 주변 환경의 센서 데이터를 수집하기 위해, 도 7a의 이미지 센서들(702, 704, 706, 및 708)과 같은 상이한 방향 방향들을 향하는 복수의 이미지 센서들 뿐만 아니라, 오디오 센서들 및 동작 센서들을 포함할 수 있다. 제어기 및 센서들은 물리적 링크에 결합되고 멀티 드롭 네트워크를 형성하며, 그들의 예들은 도 8b 및 도 8c에 도시된다. 각각의 이미지 센서, 또는 이미지 센서들의 그룹들은 개별적으로 프로그래밍될 수 있다. 예를 들면, 각각의 이미지 센서/이미지 센서들의 그룹은 개별적으로 활성화되거나 비활성화될 수 있다. 각각의 이미지 센서가 이미지 데이터를 생성하는 해상도 및 프레임 레이트는 또한 상이할 수 있다. 게다가, 각각의 이미지 센서는 복수의 픽셀 셀들을 포함하고, 각각의 픽셀 셀, 또는 픽셀 셀들의 블록들의 이미지 감지 동작은 개별적으로 프로그래밍될 수 있다. 예를 들면, 각각의 픽셀(또는 픽셀 셀들의 블록)은 개별적으로 활성화되거나 비활성화될 수 있다. 이미지 센서의 예들은 도 9a 내지 도 9d에 도시된다.

단계(1002)에서, 제어기는 모바일 디바이스의 복수의 이미지 센서들의 서브세트를 선택하기 위해 제어 신호(예컨대, 제어 데이터(822))를 송신할 수 있다. 일부 예들에서, 제어 신호는 직렬 데이터 라인(SDL) 및 직렬 클록 라인(SCL)을 포함하는 I3C 버스와 같은 물리적 링크를 통해 송신될 수 있다. 제어 신호를 송신하기 위해, 제어기는 클록 신호 패턴에 기초하여 SCL을 풀다운하고, 타겟 센서(들)의 주소 및 제어 데이터(822)를 포함하는 직렬 데이터 패턴에 기초하여 SDL을 풀다운할 수 있다. 일부 예들에서, 모바일 디바이스는 또한, 제어 데이터를 송신하기 위한 제1 물리적 링크(예컨대, 버스), 및 이미지 데이터를 송신하기 위한 제2 물리적 링크(예컨대, 또 다른 버스, 광학 링크, 등)를 포함할 수 있다. 이러한 경우에, 제어기는 제1 물리적 링크를 통해 제어 신호를 송신할 수 있다.

일부 예들에서, 제어 신호는 또한, 타겟 센서(들)의 각각의 픽셀(또는 픽셀들의 블록)에 대한 프로그래밍 정보를 정의하는 픽셀 어레이 프로그래밍 맵(예컨대, 픽셀 어레이 프로그래밍 맵(948))을 포함할 수 있다. 프로그래밍 정보는 예를 들면, 이미지 감지 동작들을 수행하고/거나 픽셀 데이터를 송신하기 위해 활성화될 픽셀들의 서브세트, 픽셀 데이터가 생성 및 송신되는 프레임 레이트, 및 이미지 감지 동작의 분해능을 정의할 수 있다.

단계(1004)에서, 제어기는 물리적 링크(제어 신호를 송신하기 위한 동일하거나 상이한 물리적 링크일 수 있음)를 통해, 복수의 이미지 센서들의 서브세트의 각각의 이미지 센서로부터 이미지 데이터를 수신한다. 일부 예들에서, 제어 신호는 복수의 이미지 센서들의 각각의 이미지 센서를 활성화할 수 있다. 일부 예들에서, 제어 신호는 이미지 센서들의 서브세트만 활성화할 수 있다. 각각의 이미지 센서는 이미지 데이터가 희소 이미지를 포함하도록, 픽셀 데이터를 생성하기 위해 픽셀들의 서브세트를 단지 선택하기 위해 제어 신호에 의해 또한 제어될 수 있고, 여기서 도 8e에 도시된 바와 같이, 픽셀들의 서브세트만이 이미지 데이터를 포함하고 나머지 픽셀들은 이미지 데이터를 포함하지 않는다. 픽셀들의 서브세트는 예를 들면, 관심 있는 객체에 대응할 수 있다. 상이한 센서들은 또한, 상이한 해상도들의 및/또는 상이한 프레임 레이트들로 이미지 데이터를 생성/송신할 수 있다.

물리적 링크가 I3C 버스인 경우에, 이미지 센서들의 서브세트는 SDL의 센서 데이터를 포함하는 또 다른 직렬 데이터 패턴을 구동할 수 있으며, 센서들 중 단지 하나는 SDL을 통해 제어기로 센서 데이터를 한 번에 송신할 수 있다. 각각의 센서에 의한 센서 데이터의 송신의 타이밍은 미리 결정된 송신 스케줄에 기초하여 정의된 제어 신호에 기초하여, 및/또는 다수의 센서들이 SDL을 동시에 구동하려고 할 때 백오프 지연들에 기초하여 제어할 수 있다. 물리적 링크가 광학 링크인 경우에, 이미지 센서들의 서브세트는 광학 링크의 광을 동시에 또는 순차적으로 변조하여 센서 데이터를 송신할 수 있다.

단계(1008)에서, 제어기는 복수의 이미지 센서들의 적어도 서브세트로부터의 이미지 데이터를 조합하여 이미지 센서들의 서브세트의 각각의 이미지 센서에 의해 제공된 시야(FOV)보다 큰 연장된 FOV를 얻을 수 있다. 도 7a 내지 도 7c에 도시된 바와 같이, 복수의 이미지 센서들은 동일한 방향들을 향하는 이미지 센서들 및 상이한 방향들을 향하는 이미지 센서들을 포함할 수 있다. 이미지 센서들로부터 이미지 데이터를 조합함으로써, 각각의 이미지 센서의 FOV보다 큰 연장된 FOV가 성취될 수 있다. 일부 예들에서, 스테레오 쌍의 이미지 센서들은 깊이 감지를 지원하기 위해 상이한 주파수 범위들의 광을 캡쳐하도록 구성될 수 있다.

단계(1008)에서, 제어기는 연장된 FOV 내에서 캡쳐된 모바일 디바이스의 주변 환경의 정보를 결정할 수 있다. 도 7b 및 도 7c에 도시된 바와 같이, 정보는 예를 들면, 장면의 하나 이상의 물리적 객체들의 위치, 사용자 주위의 사람(및 그들의 제스처들)의 존재의 검출 결과, 사용자의 신체 일부(예컨대, 손)의 추적 결과, 등을 포함할 수 있다. 정보는 이미지 센서들의 FOV를 연장하는 것에 기초하여 제공된다.

단계(1010)에서, 제어기는 정보에 기초하여 콘텐트를 생성하기 위해 애플리케이션에 정보를 제공할 수 있다. 예를 들면, VR/AR/MR 경험을 제공하기 위해, 애플리케이션은 검출된 객체들을 가상 객체들로 대체하고, 사람이 사용자 뒤에 서 있음을 나타내는 오디오/디스플레이 신호를 생성하고, 등을 할 수 있다.

이 설명의 일부 부분들은 정보에 대한 동작들의 알고리즘들 및 상징적 표현들의 관점에서 본 발명의 실시예들을 설명한다. 이들 알고리즘 설명들 및 표현들은 공통적으로, 데이터 프로세싱 분야의 기술자들에 의해 자신의 작업 실체를 본 분야의 다른 기술자들에게 효과적으로 전달하기 위해 사용된다. 이들 동작들은, 기능적으로, 계산적으로, 또는 논리적으로 설명되지만 컴퓨터 프로그램들 또는 등가의 전기 회로들, 마이크로코드, 등에 의해 구현되는 것으로 이해된다. 일반성을 잃지 않고, 동작들의 이들 장치들을 모듈들로서 참조하는 것이 때때로 편리한 것으로 또한 입증되었다. 설명된 동작들 및 그들의 연관된 모듈들은 소프트웨어, 펌웨어, 및/또는 하드웨어로 구현될 수 있다.

설명된 단계들, 동작들, 또는 프로세스들은 단독으로 또는 다른 디바이스들과 조합하여 하나 이상의 하드웨어 또는 소프트웨어 모듈들로 수행되거나 구현될 수 있다. 일부 실시예들에서, 소프트웨어 모듈은 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독가능한 매체를 포함하는 컴퓨터 프로그램 제품으로 구현되며, 이는 설명된 단계들, 동작들, 또는 프로세스들 중 임의의 것 또는 전부를 수행하기 위해 컴퓨터 프로세서에 의해 실행될 수 있다.

본 발명의 실시예들은 또한, 설명된 동작들을 수행하기 위한 장치에 관한 것일 수 있다. 장치는 요구된 목적들을 위해 특별하게 구성될 수 있고/거나, 그것은 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성된 범용 컴퓨팅 디바이스를 포함할 수 있다. 이러한 컴퓨터 프로그램은 컴퓨터 시스템 버스에 결합될 수 있는 비 일시적 유형의 컴퓨터 판독가능한 저장 매체, 또는 전자 지시들을 저장하기 위해 적합한 임의의 유형의 매체들에 저장될 수 있다. 또한, 명세서에서 언급된 임의의 컴퓨팅 시스템들은 단일 프로세서를 포함할 수 있거나 증가된 컴퓨팅 능력을 위해 다수의 프로세서 설계들을 이용하는 아키텍처들일 수 있다.

본 발명의 실시예들은 또한, 본 명세서에서 설명된 컴퓨팅 프로세스에 의해 생성되는 제품에 관한 것일 수 있다. 이러한 제품은 컴퓨팅 프로세스로부터 발생하는 정보를 포함할 수 있으며, 여기서 정보는 비 일시적 유형의 컴퓨터 판독가능한 저장 매체에 저장되고 컴퓨터 프로그램 제품 또는 본 명세서에서 설명된 다른 데이터 조합의 임의의 실시예를 포함할 수 있다.

본 명세서에서 사용된 언어는 주로 가독성 및 교육 목적들을 위해 선택되었으며, 그것은 독창적인 주제를 묘사하거나 제한하기 위해 선택되지 않았을 수 있다. 따라서, 본 발명의 범위는 이 상세한 설명에 의해 제한되지 않지만, 오히려 여기에 기초한 애플리케이션에 대해 발행되는 임의의 청구항들에 의해 제한되는 것으로 의도된다. 그에 따라, 실시예들의 개시는 예시적인 것으로 의도되지만, 다음의 청구항들에 제시되는 본 발명의 범위를 제한하는 것은 아니다.

Claims

모바일 디바이스에 있어서:
물리적 링크;
복수의 이미지 센서들로서, 상기 복수의 이미지 센서들의 각각은 상기 물리적 링크를 통해 이미지 데이터를 송신하도록 구성되는, 상기 복수의 이미지 센서들; 및
상기 물리적 링크에 결합된 제어기를 포함하고,
이에 의해 상기 물리적 링크, 상기 복수의 이미지 센서들, 및 상기 제어기는 멀티 드롭 네트워크(multi-drop network)를 형성하고;
상기 제어기는:
상기 복수의 이미지 센서들에서 이미지 감지 동작들을 구성하기 위해 제어 신호를 송신하고;
상기 물리적 링크를 통해, 상기 복수의 이미지 센서들의 적어도 서브세트로부터 이미지 데이터를 수신하고;
상기 이미지 센서들의 서브세트의 각각의 이미지 센서에 의해 제공된 시야(FOV: field of view)보다 큰 연장된 FOV를 얻기 위해 상기 복수의 이미지 센서들의 적어도 서브세트로부터의 이미지 데이터를 조합하고;
상기 연장된 FOV 내에서 캡쳐된 모바일 디바이스의 주변 환경의 정보를 결정하고;
상기 정보에 기초하여 콘텐트를 생성하기 위해 상기 정보를 애플리케이션에 제공하도록 구성되는, 모바일 디바이스.
제1항에 있어서, 상기 제어기는 상기 제어 신호를 송신하는 것에 기초하여, 상기 복수의 이미지 센서들의 서브세트를 선택하여 이미지 데이터를 송신하고 상기 복수의 이미지 센서들의 나머지를 비활성화하도록 구성되는, 모바일 디바이스.
제2항에 있어서, 상기 이미지 데이터는 제1 이미지 데이터이고;
상기 제어기는 상기 제어 신호를 송신하는 것에 기초하여:
제1 해상도의 제1 이미지 데이터를 송신하기 위해 상기 복수의 이미지 센서들의 서브세트를 제어하고;
제2 해상도의 제2 이미지 데이터를 송신하기 위해 상기 복수의 이미지 센서들의 나머지를 제어하도록 구성되고;
상기 제1 해상도는 상기 제2 해상도보다 높은, 모바일 디바이스.
제2항에 있어서, 상기 이미지 데이터는 제1 이미지 데이터이고;
상기 제어기는 상기 제어 신호를 송신하는 것에 기초하여:
제1 프레임 레이트로 제1 이미지 데이터를 송신하기 위해 상기 복수의 이미지 센서들의 서브세트를 제어하고;
제2 프레임 레이트로 제2 이미지 데이터를 송신하기 위해 상기 복수의 이미지 센서들의 나머지를 제어하도록 구성되고;
상기 제1 프레임 레이트는 상기 제2 프레임 레이트보다 높은, 모바일 디바이스.
제2항에 있어서, 상기 주변 환경의 정보는 관심 있는 객체의 추적 결과를 포함하고;
상기 제어기는 상기 복수의 이미지 센서들의 서브세트에 의해 생성된 이미지 데이터가 상기 객체의 하나 이상의 이미지들을 포함할 가능성이 있다고 결정하는 것에 기초하여 상기 복수의 이미지 센서들의 서브세트를 선택하도록 구성되는, 모바일 디바이스.
제5항에 있어서, 상기 제어기는 상기 복수의 이미지 센서들의 서브세트에 의해 생성된 이미지 데이터가 상기 복수의 이미지 센서들의 서브세트로부터의 이전 이미지 데이터에서 상기 객체의 특징들을 검출하는 것에 기초하여 상기 객체의 하나 이상의 이미지들을 포함할 가능성이 있다고 결정하도록 구성되는, 모바일 디바이스.
제5항에 있어서, 상기 제어기는 상기 복수의 이미지 센서들로부터의 이전 이미지 데이터에 기초하여 상기 객체와 상기 모바일 디바이스 사이의 상대적인 이동의 이전 궤적을 결정하도록 구성되고;
상기 제어기는:
상기 이전 궤적에 기초하여 상기 객체의 궤적을 예측하고;
상기 복수의 이미지 센서들의 서브세트에 의해 생성된 상기 이미지 데이터가 상기 예측된 궤적에 기초하여 상기 객체의 하나 이상의 이미지들을 포함할 가능성이 있다고 결정하도록 구성되는, 모바일 디바이스.
제1항에 있어서, 상기 복수의 이미지 센서들의 각각의 이미지 센서는 픽셀 셀들의 어레이를 포함하고;
상기 제어기는 상기 제어 신호를 송신하는 것에 기초하여, 상기 복수의 이미지 센서들 중 하나 이상의 이미지 센서에서 상기 픽셀 셀들의 어레이의 픽셀 셀들의 특정한 서브세트의 이미지 캡쳐링 동작을 선택적으로 구성하도록 구성되는, 모바일 디바이스.
제8항에 있어서, 상기 제어기는 상기 제어 신호를 송신하는 것에 기초하여:
상기 복수의 이미지 센서들 중 제1 이미지 센서의 픽셀 셀들의 어레이의 픽셀 셀들의 제1 서브세트가 상기 물리적 링크를 통해 제1 이미지 데이터를 상기 제어기로 송신하는 것을 가능하게 하고;
상기 복수의 이미지 센서들 중 제2 이미지 센서의 픽셀 셀들의 어레이의 픽셀 셀들의 제2 서브세트가 상기 물리적 링크를 통해 제2 이미지 데이터를 상기 제어기로 송신하는 것을 가능하게 하도록 구성되고;
상기 제1 서브세트 및 상기 제2 서브세트는 상이한, 모바일 디바이스.
제8항에 있어서, 상기 제어기는 상기 제어 신호를 송신하는 것에 기초하여:
상기 복수의 이미지 센서들 중 제1 이미지 센서의 픽셀 셀들의 어레이의 픽셀 셀들의 제1 서브세트가 제1 해상도의 제1 이미지 데이터를 생성하는 것을 가능하게 하고;
상기 제1 이미지 센서의 픽셀 셀들의 어레이의 픽셀 셀들의 제2 서브세트가 제2 해상도의 제2 이미지 데이터를 생성하는 것을 가능하게 하도록 구성되고;
상기 제1 해상도는 상기 제2 해상도보다 높은, 모바일 디바이스.
제8항에 있어서, 상기 제어기는 상기 제어 신호를 송신하는 것에 기초하여:
상기 복수의 이미지 센서들 중 제1 이미지 센서의 픽셀 셀들의 어레이의 픽셀 셀들의 제1 서브세트의 제1 동적 범위를 설정하고;
상기 제1 이미지 센서의 픽셀 셀들의 어레이의 픽셀 셀들의 제2 서브세트의 제2 동적 범위를 설정하도록 구성되고;
상기 제1 동적 범위는 상기 제2 동적 범위보다 높은, 모바일 디바이스.
제8항에 있어서, 상기 제어 신호는 상기 복수의 이미지 센서들의 서브세트의 각각의 이미지 센서에 대한 픽셀 셀들의 어레이에서 픽셀 셀들의 특정한 서브세트의 픽셀 셀들을 식별하는, 모바일 디바이스.
제8항에 있어서, 상기 제어 신호는 안내 신호(guidance signal)를 포함하고;
복수의 이미지 센서들 중 제1 이미지 센서는 상기 안내 신호에 기초하여 상기 픽셀 셀들의 어레이에서 상기 픽셀 셀들의 특정한 서브세트를 국부적으로 결정하도록 구성되는, 모바일 디바이스.
제13항에 있어서, 상기 안내 신호는 관심 있는 객체의 특징들을 명시하고;
상기 제1 이미지 센서는:
상기 안내 신호에 기초하여 상기 관심 있는 객체를 포함하는 관심 있는 영역을 결정하고;
상기 관심 있는 영역에 기초하여 상기 픽셀 셀들의 어레이에서 상기 픽셀 셀들의 특정한 서브세트를 결정하도록 구성되는, 모바일 디바이스.
제8항에 있어서, 상기 픽셀 셀들의 어레이에서 상기 픽셀 셀들의 특정한 서브세트는: 관심 있는 객체의 추적 결과, 또는 상기 모바일 디바이스의 이동 중 적어도 하나에 기초하여 결정되는, 모바일 디바이스.
제1항에 있어서, 상기 복수의 이미지 센서들 중 적어도 제1 이미지 센서 및 제2 이미지 센서로부터의 이미지 데이터가 조합되고;
상기 제1 이미지 센서 및 상기 제2 이미지 센서는 상이한 방향들을 향하는, 모바일 디바이스.
제1항에 있어서, 상기 복수의 이미지 센서들 중 적어도 제1 이미지 센서 및 제2 이미지 센서로부터의 이미지 데이터가 조합되고;
상기 제1 이미지 센서는 제1 주파수 범위의 광을 캡쳐하도록 구성되고;
상기 제2 이미지 센서는 상기 제1 주파수 범위와 상이한 제2 주파수 범위의 광을 캡쳐하도록 구성되는, 모바일 디바이스.
제1항에 있어서, 상기 물리적 링크는: I3C 사양에 기초한 버스, 또는 광학 링크 중 적어도 하나를 포함하는, 모바일 디바이스.
방법에 있어서:
모바일 디바이스의 복수의 이미지 센서들에서 이미지 감지 동작들을 구성하기 위해 제어 신호를 송신하는 단계;
물리적 링크를 통해, 상기 복수의 이미지 센서들의 서브세트의 각각의 이미지 센서로부터 이미지 데이터를 수신하는 단계로서, 상기 복수의 이미지 센서들 및 상기 물리적 링크는 멀티 드롭 네트워크를 형성하는, 상기 이미지 데이터를 수신하는 단계;
상기 이미지 센서들의 서브세트의 각각의 이미지 센서에 의해 제공된 시야(FOV)보다 큰 연장된 FOV를 얻기 위해 상기 복수의 이미지 센서들의 적어도 서브세트로부터의 이미지 데이터를 조합하는 단계;
상기 연장된 FOV 내에서 캡쳐된 모바일 디바이스의 주변 환경의 정보를 결정하는 단계; 및
상기 정보에 기초하여 상기 모바일 디바이스에 의해 출력될 콘텐트를 생성하기 위해 상기 정보를 애플리케이션에 제공하는 단계를 포함하는, 방법.
제19항에 있어서, 상기 제어 신호를 송신하는 단계에 기초하여, 상기 이미지 데이터를 송신하고 상기 복수의 이미지 센서들의 나머지를 비활성화하기 위해 상기 복수의 이미지 센서들의 서브세트를 선택하는 단계를 더 포함하는, 방법.