KR102000321B1

KR102000321B1 - 브로드밴드 이미지화기

Info

Publication number: KR102000321B1
Application number: KR1020147021920A
Authority: KR
Inventors: 데이빗 코헨; 지오라 야하브
Original assignee: 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date: 2012-01-06
Filing date: 2013-01-03
Publication date: 2019-07-15
Also published as: EP2801189A4; WO2013103745A1; EP2801189B1; JP2015504249A; CN103236433A; JP6147276B2; KR20140111017A; US9264676B2; EP2801189A1; CN103236433B; US20130176396A1

Abstract

IR 및 가시광 둘 다를 이미지화할 수 있는 브로드밴드 이미지화기가 개시된다. 일 실시예에서, IR 픽셀의 IR 감응 영역은 R, G, B 가시광 픽셀들의 R, G, B 감응 영역들 밑에 놓인다. 그러므로, IR 픽셀은 R, G, B 픽셀들이 가시광을 수신할 때와 동일한, 포토센서의 표면 영역을 통해 IR 광을 수신한다. 하지만, IR 광은, 가시광 보다 더 깊이, RGB 및 IR 픽셀들에 의해 공유된 공통 표면 영역 아래에서 전자 정공 쌍들을 생성한다. 포토센서는 또한 IR 감응 영역에서 생성된 전하들을 축적하기 위한 전하 축적 영역과, IR 픽셀에서 생성된 전하들을 축적하기 위한 전압을 제공하기 위해 전하 축적 영역 위에 있는 전극을 갖는다.

Description

브로드밴드 이미지화기{BROADBAND IMAGER}

본 발명은 IR 및 가시광 둘 다를 이미지화할 수 있는 브로드밴드 이미지화기에 관한 것이다.

삼차원(3D) 카메라로서 통상적으로 칭해지는 몇몇의 카메라들은 장면을 이미지화하여 장면내의 피처(feature)들에 대한 거리를 결정한다. 이러한 카메라들은 장면을 이미지화하기 위해 적외선(IR) 광을 이용할 수 있다. 예를 들어, 게이트 TOF(time of flight) 3D 카메라는 장면을 조명하기 위해 IR 광 펄스열을 발송(transmit)하고 각각의 발송된 광펄스에 이어서 짧은 노출 기간 동안 카메라에 있는 포토센서를 셔터링 또는 "게이트 온(gate on)"할 수 있다. 노출 기간 동안 포토센서에 도달한, 발송된 광펄스들로부터 반사된 광은 포토센서에 있는 픽셀들에 의해 기록된다. 포토센서의 픽셀 상에서 이미지화된 장면 내에서의 피처에 대한 거리는 노출 기간 동안의 픽셀 상에 입사된 반사광의 양의 함수로서 결정된다.

피처들을 갖는 장면 내 피처들에 대한 거리를 식별하기 위해, 장면의 IR 이미지를 제공하는 포토센서의 픽셀들과 알려진 대응을 하는 감광면의 픽셀들 상에 입사된 가시광으로 장면의 통상적인 콘트라스트 이미지("픽처 이미지")를 획득하는 것이 일반적으로 이롭다. 몇몇의 TOF 3D 카메라들에서는, 장면의 IR 및 가시광 이미지들이 두 개의 개별적인 포토센서들에 의해 획득되는데, 이 포토센서들은 두 개의 포토센서들에서의 대응 픽셀들이 장면의 동일한 피처를 이미지화하도록 정렬되어 있다.

몇몇의 TOF 3D 카메라들에서는, 장면을 이미지화하는 포토센서에서의 IR 감응 픽셀들에 의해 IR 이미지가 획득되고, 가시광 픽처는 이와 동일한 포토센서에서의 상이한, 택일적 적색(R), 녹색(G), 및 청색(B) 감응 픽셀들에 의해 획득된다.

IR 및 가시광 둘 다를 이미지화할 수 있는 브로드밴드 이미지화기에 대한 기술이 제공된다. 일 실시예에서, IR 픽셀의 IR 감응 영역은 R, G, B 가시광 픽셀들의 R, G, B 감응 영역들 밑에 놓인다. 그러므로, IR 픽셀은 R, G, B 픽셀들이 가시광을 수신할 때와 동일한, 포토센서의 표면 영역을 통해 IR 광을 수신한다. 그러므로, IR 포토센서와 RGB 포토센서의 조합을 위해 더 적은 표면 영역을 필요하게 되고, 이것은 비용을 감소시킬 수 있다. 이것은 또한 IR 이미지와 RGB 이미지간의 보다 손쉽고 보다 양호한 상관성을 제공한다.

일 실시예는 가시광 감응 영역 아래에 IR 감응 영역을 갖는 반도체 포토센서를 포함한다. 반도체 포토센서는 기판 내에서 적어도 하나의 가시광 감응 영역을 갖는 적어도 하나의 가시광 픽셀을 갖는다. 또한, 포토센서는 기판 내에서 적외선(IR) 광 감응 영역을 갖는 IR 픽셀을 갖는다. IR 감응 영역은 적어도 하나의 가시광 감응 영역 아래에 있다. 포토센서는 또한 IR 감응 영역에서 생성된 전하들을 축적하기 위한 전하 축적 영역과, IR 감응 영역에서 생성된 전하들을 축적하기 위한 전압을 제공하기 위해 전하 축적 영역 위에 있는 전극을 갖는다.

일 실시예는 가시광 감응 영역 아래에 IR 감응 영역을 갖는 반도체 포토센서를 동작시키는 방법을 포함한다. 본 방법은 적어도 하나의 가시광 감응 영역 아래에 있는 IR 감응 영역에서 생성된 전하들을 축적시키기 위한 신호를 제1 전하 축적 영역 위에 있는 포토게이트에 제공하는 단계를 포함한다. 전하들이 제1 전하 축적 영역으로부터 IR 광 감지 노드로 전송되도록 하기 위한 신호가 제1 전송 게이트에 제공된다. 전하들이 적어도 하나의 가시광 픽셀에서의 제2 전하 수집 영역으로부터 제1 가시광 픽셀을 위한 가시광 감지 노드로 전송되도록 하기 위한 신호가 제2 전송 게이트에 제공된다. IR 광 감지 노드와 가시광 감지 노드가 판독된다.

일 실시예는 가시광 픽셀들과 적외선(IR) 픽셀들을 포함하는 반도체 포토센서 어레이를 구비한 3D 깊이(3D depth) 카메라를 포함한다. 가시광 픽셀들 각각은 포토다이오드를 갖는다. 적외선(IR) 픽셀들 각각은 포토다이오드들 중 적어도 하나의 포토다이오드의 적어도 일부분 아래에 IR 감응 영역을 갖는다. 반도체 포토센서 어레이는 IR 픽셀들 각각과 연관된 전하 축적 영역을 갖는다. 전하 축적 영역은 연관된 IR 감응 영역에서 생성된 전하들을 축적시키기 위한 것이다. 반도체 포토센서 어레이는 전하 축적 영역들과 포토다이오드들 사이에 p웰 영역들을 갖는다. 포토게이트는 전하 축적 영역들 각각과 연관된다. 포토게이트는 연관된 IR 감응 영역에서 생성된 전하들을 전하 축적 영역 내로 축적시키기 위한 전압을 제공하기 위해 전하 축적 영역 위에 있다.

본 요약은 아래의 상세한 설명에서 보다 상세하게 설명되는 개념들의 선택을 단순한 형태로 소개하기 위해 제공된 것이다. 본 요약은 청구된 발명주제의 중요한 특징들 또는 필수적인 특징들을 식별시키려는 의도는 없으며, 또한 청구된 발명주제의 범위를 결정하는데 도움을 주려고 의도한 것도 아니다.

본 명세서에 따른 기술을 첨부 도면들을 참조하여 보다 상세하게 설명한다.
도 1은 본 기술의 실시예들이 운용될 수 있는 타겟 인식, 분석, 및 추적 시스템의 예시적인 실시예를 나타낸다.
도 2는 본 기술의 실시예들이 운용될 수 있는 타겟 인식, 분석, 및 추적 시스템에서 이용될 수 있는 캡처 디바이스의 예시의 블록도를 도시한다.
도 3은 포토센서의 일부분의 일 실시예의 개략도이다.
도 4는 포토센서의 일 실시예의 RGB-IR 단위 셀의 개략적인 평면도를 도시한다.
도 5는 반도체 포토센서 어레이의 일 실시예의 일부를 형성할 수 있는, RGB-IR 단위 셀들의 어레이를 도시한다.
도 6은 IR 픽셀의 일 실시예의 도면이다.
도 7은 녹색 픽셀의 일 실시예의 도면이다.
도 8은 반도체 포토센서를 동작시키는 프로세스의 흐름도이다.
도 9는 IR 감응 영역들을 아래에 둔 청색 픽셀들을 도시한 포토센서의 일부분의 일 실시예의 개략도이다.
도 10은 IR 감응 영역들을 아래에 둔 적색 픽셀들을 도시한 포토센서의 일부분의 일 실시예의 개략도이다.
도 11은 IR 감응 영역들을 아래에 둔 녹색 픽셀들을 도시한 포토센서의 일부분의 일 실시예의 개략도이다.
도 12는 실시예들을 구현하기 위해 이용될 수 있는 컴퓨팅 시스템의 일 실시예의 블록도이다.

IR 및 가시광 둘 다를 이미지화할 수 있는, 브로드밴드 이미지화기(예컨대, 포토센서)에 대한 기술이 제공된다. IR은 IR 스펙트럼의 임의의 부분(근적외선, 중간적외선, 또는 원적외선)일 수 있다는 것을 유념해둔다. 일 실시예에서, 브로드밴드 이미지화기는 근적외선(IR)을 감지한다. 일 실시예에서, IR 픽셀의 IR 감응 영역은 R, G, B 가시광 픽셀들의 R, G, B 감응 영역들 밑에 놓인다. 그러므로, IR 픽셀은 R, G, B 픽셀들이 가시광을 수신할 때와 동일한, 포토센서의 표면 영역을 통해 IR 광을 수신한다. 그러므로, IR 포토센서와 RGB 포토센서의 조합을 위해 보다 적은 표면 영역을 필요하게 되고, 이것은 비용을 감소시킬 수 있다. 포토센서의 픽셀들은 IR 광이 여전히 감지되고 독출될 수 있도록 하면서 가시광을 감지하는데 이용되는 표면 영역을 최대화하는 패턴으로 구성될 수 있다.

3D에서 이동하는 타겟들을 추적하는 것은 브로드밴드 이미지화기의 하나의 가능한 응용예이다. 도 1은 본 기술이 유용될 수 있는 상황예를 제공한다. 도 1은 브로드밴드 이미지화기의 실시예들이 운용될 수 있는 타겟 인식, 분석, 및 추적 시스템(10)의 예시적인 실시예를 나타낸다. 타겟 인식, 분석, 및 추적 시스템(10)은 사용자(18)와 같은 인간 타겟을 인식하고, 분석하며, 및/또는 추적하는데 이용될 수 있다. 타겟 인식, 분석, 및 추적 시스템(10)의 실시예들은 게임 또는 다른 애플리케이션을 실행하기 위한 컴퓨팅 환경(12), 및 이러한 게임 또는 다른 애플리케이션으로부터의 청각적 및 시각적 표현들을 제공하기 위한 시청각 디바이스(16)를 포함한다. 시스템(10)은 3D에서 사용자에 의해 행해지는 포지션들 및 움직임들을 캡처하기 위한 캡처 디바이스(20)를 더 포함하며, 컴퓨팅 환경(12)은 게임 또는 다른 애플리케이션을 제어하기 위해 이러한 포지션들 및 움직임들을 수신하고, 해석하며, 이용한다.

예시적인 실시예에서, 컴퓨팅 환경(12) 상에서 실행중인 애플리케이션은 사용자(18)가 플레이하고 있는 중일 수 있는 복싱 게임과 같은 실시간 상호작용을 갖춘 게임일 수 있다. 예를 들어, 컴퓨팅 환경(12)은 복싱 상대방(15)의 시각적 표현을 사용자(18)에게 제공하기 위해 시청각 디바이스(16)를 이용할 수 있다. 컴퓨팅 환경(12)은 또한 사용자(18)가 자신의 움직임들로 제어할 수 있는 플레이어 아바타(13)의 시각적 표현을 제공하기 위해 시청각 디바이스(16)를 이용할 수 있다. 예를 들어, 사용자(18)는 게임 공간에서 플레이어 아바타(13)가 펀치를 날리게 하기 위해 물리적 공간에서 펀치를 날릴 수 있다. 따라서, 예시적인 실시예에 따르면, 캡처 디바이스(20)는 여기서 설명된 기술을 이용하여 물리적 공간에서의 펀치의 3D 표현을 캡처한다. 타겟 인식, 분석, 및 추적 시스템(10)의 컴퓨팅 환경(12) 및 캡처 디바이스에서의 프로세서(도 2 참조)는 이러한 펀치가 게임 공간에서 실시간으로 플레이어 아바타(13)의 제스처 또는 게임 제어로서 해석될 수 있도록 물리적 공간에서의 사용자(18)의 펀치를 인식하고 분석하는데 이용될 수 있다.

도 2는 타겟 인식, 분석, 및 추적 시스템(10)에서 이용될 수 있는 캡처 디바이스(20)의 예시의 블록도를 나타낸다. 예시적인 실시예에서, 캡처 디바이스(20)는 깊이(depth) 값들 포함할 수 있는 깊이 이미지를 갖는 비디오를, 예컨대 비행시간(time-of-flight), 구조형 광(structured light), 스테레오 이미지 등을 비롯한 임의의 적절한 기술을 통해 캡처하도록 구성될 수 있다. 일 실시예에 따르면, 캡처 디바이스(20)는 계산된 깊이 정보를 "Z 계층들", 또는 깊이 카메라로부터 깊이 카메라의 광축을 따라 연장해 있는 Z축에 수직한 계층들로 조직화할 수 있다.

도 2에서 도시된 바와 같이, 예시적인 실시예에 따르면, 이미지 캡처 디바이스(20)는 IR 광 컴포넌트(24)와 IR 및 RGB 둘 다를 이미지화할 수 있는 포토센서(320)를 포함할 수 있는 이미지 카메라 컴포넌트(22)를 포함한다. IR 광 컴포넌트(24)는 적외선광 펄스들을 장면상으로 출사시킬 수 있다. 포토센서(320)는 장면의 깊이 이미지를 획득하는데 이용될 수 있다. 예를 들어, 포토센서(320)에서의 RGB 픽셀들은 콘트라스트 이미지를 캡처할 수 있다. 비행시간 분석에서, 캡처 디바이스(20)의 IR 광 컴포넌트(24)는 적외선광 펄스들을 장면상으로 출사시키고, 그 후 포토센서(320)의 감광면 상의 IR 센서들을 이용하여 장면 내의 하나 이상의 타겟들 및 물체들의 표면으로부터 후방산란된 광을 탐지하고 깊이 이미지를 획득할 수 있다.

예시적인 실시예에서, 캡처 디바이스(20)는 이미지 카메라 컴포넌트(22)와 통신동작할 수 있는 프로세서(32)를 더 포함할 수 있다. 프로세서(32)는 깊이 이미지를 수신하고, 깊이 이미지에 적절한 타겟이 포함될 수 있는지 여부를 결정하고, 적절한 타겟의 이미지를 타겟의 골격 표현 또는 모델로 변환시키기 위한 명령어들, 또는 임의의 다른 적절한 명령어를 실행시킬 수 있는 표준형 프로세서, 특수목적용 프로세서, 마이크로프로세서 등을 포함할 수 있다.

캡처 디바이스(20)는 프로세서(32)에 의해 실행될 수 있는 명령어들, 포토센서(320)에 의해 캡처된 이미지들 또는 이미지들의 프레임들, 또는 임의의 다른 적절한 정보, 이미지들 등을 저장할 수 있는 메모리 컴포넌트(34)를 더 포함할 수 있다. 예시적인 실시예에 따르면, 메모리 컴포넌트(34)는 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 캐쉬, 플레쉬 메모리, 하드 디스크, 또는 임의의 다른 적절한 저장 컴포넌트를 포함할 수 있다. 도 2에서 도시된 바와 같이, 일 실시예에서, 메모리 컴포넌트(34)는 이미지 카메라 컴포넌트(22) 및 프로세서(32)와 통신하는 개별적인 컴포넌트일 수 있다. 다른 실시예에 따르면, 메모리 컴포넌트(34)는 이미지 카메라 컴포넌트(22) 및/또는 프로세서(32) 내에 통합될 수 있다.

도 2에 도시된 바와 같이, 캡처 디바이스(20)는 통신 링크(36)를 통해 컴퓨팅 환경(12)과 통신할 수 있다. 통신 링크(36)는 예컨대, USB 커넥션, 파이어와이어(Firewire) 커넥션, 이더넷 케이블 커넥션 등을 비롯한 유선 커넥션, 및/또는 무선 802.11b, g, a, 또는 n 커넥션과 같은 무선 커넥션일 수 있다.

추가적으로, 캡처 디바이스(20)는, 예컨대 포토센서(320)에 의해 캡처된 이미지들과 깊이 정보, 및 캡처 디바이스(20)에 의해 생성될 수 있는 골격 모델을 통신 링크(36)를 통해 컴퓨팅 환경(12)에 제공할 수 있다. 캡처 디바이스(20)에 의해 탐지된 타겟 또는 물체가 인간 타겟에 대응하는지 여부를 결정하기 위한 다양한 공지된 기술들이 존재한다. 그런 후 골격 매핑 기술들은 사용자의 골격 상의 다양한 몸체 부분들을 결정하는데 이용될 수 있다. 다른 기술들에는 이미지를 인간의 몸체 모델 표현으로 변환시키는 것과 이미지를 인간의 그물 모델(mesh model) 표현으로 변환시키는 것이 포함된다.

그런 후 골격 모델은 컴퓨팅 환경(12)에 제공될 수 있고, 이로써 컴퓨팅 환경(12)은 골격 모델을 추적하여 골격 모델과 연관된 아바타를 랜더링할 수 있다. 제스처 인식 엔진 소프트웨어(190)의 제어하에, 컴퓨팅 환경(12)은 또한 예컨대, 골격 모델의 부분들의 삼차원 움직임으로부터 인식되었던 사용자의 제스처들에 기초하여 컴퓨터 환경 상에서 실행중인 애플리케이션에서 어느 제어들을 수행할지를 결정할 수 있다.

도 3은 포토센서의 일부분의 일 실시예의 개략도이다. 몇몇의 세부사항들은 설명을 단순화하기 위해 생략되었다. 도 3에서 도시된 포토센서(320)의 일부분은 p형 기판 영역(321)과 에피택셜층(352)을 갖는 실리콘(Si) 기판(322)을 포함한다. 기판(322)의 표면(324) 위에는 마이크로렌즈들(334), 필터들(335, 336, 337), 광학 쉴드(shield)(381), 및 전극(354)이 있다.

포토센서(320)의 일부분은 두 개의 적색 픽셀들(331), 녹색 픽셀(332), 및 청색 픽셀(333)을 갖는다. RGB 픽셀들은 광이 적색 필터(335), 녹색 필터(336), 및 청색 필터(337)를 통과하도록 광을 지향시키는 마이크로렌즈들(334)을 각각 포함한다. 필터링된 광은 표면 영역(324)을 거쳐서 기판(322) 내로 투과된다. 렌즈들(334) 및 필터들(335, 336, 337)은 또한 희망하는 IR 광 대역의 IR 광을 투과시킨다. 위에서 언급한 바와 같이, IR 광은 IR 스펙트럼의 임의의 부분일 수 있다. 일 실시예에서, 필터는 근적외선(IR) 광을 통과시키지만 다른 IR 광은 차단시킨다. 필터들(335, 336, 337)을 통과한 R, G 및 B 광은 기판(322)의 포토다이오드 영역들(341, 342, 343)에서 각각 전자 정공 쌍들을 생성한다. RGB 픽셀들의 물리적 배열은 설명의 편의를 위해 제시된 것이라는 점을 유념해둔다. 다른 물리적 배열들이 이용될 수 있다.

IR 광이 또한 렌즈들(334)과 필터들(335, 336, 337)을 통과하여, 포토센서(320)의 영역(350)에서 전자 정공 쌍들을 생성한다. 영역(350)은 포토다이오드들(341, 342, 343)보다 더 깊이 표면(324) 아래에 있는데, 그 이유는 IR 광은 실리콘에서 가시광보다 더 긴 흡수 길이를 갖기 때문이다. 영역(350)과 렌즈들(334)은 RGB 픽셀들(331, 332, 333)과 함께 표면(324)을 공유하는 IR 픽셀의 컴포넌트들이다.

동작 동안, 고전압이 전극(354)에 인가되어 기판(322)의 IR 전하 축적 영역(325)에서 포텐셜 웰(potential well)을 생성할 수 있다. 전극(354)은 또한 여기서 "포토게이트(photogate)"라고 칭해질 수 있다. 고전압으로부터 초래된 예시적인 등포텐셜 라인(equipotential line)들이 도시된다. 일 실시예에서, p웰(375)은 IR 전하 축적 영역(325)을 둘러싼다. p웰(375)은 IR 전하 축적 영역(325)과 하나 이상의 포토다이오드들(341~343) 사이에 위치할 수 있고, 전기적 격리를 제공할 수 있다. 영역(350)에서 형성된 전자 정공 쌍들로부터의 전자들은 포텐셜 웰(325)로 이끌려서 포텐셜 웰(325)에 축적될 수 있다(화살표들은 전자들의 흐름의 방향을 도시한다). 축적된 전자들은 적절한 증폭기(도 3에서는 미도시됨)에 의해, 영역(350)에서 형성된 전자 전공 쌍들의 양 및 이에 따라 표면(324)과 IR 픽셀 상에 입사된 IR 광의 양을 나타내는 전압으로 변환될 수 있다.

전극(354) 위에는 적어도 가시광과 IR 광을 차단할 수 있는 광학 쉴드(381)가 있다. 일 실시예에서, 광학 쉴드(381)는 TiN으로 덮혀진 알루미늄이다. 광학 쉴드(381) 위에 있는 마이크로렌즈들(334)은 택일적 사항이다. 일 실시예에서, 광학 쉴드(381) 위에 마이크로렌즈들(334)을 포함시키는 것은 제조를 단순화시킨다.

증폭기들(도 3에서는 미도시됨)은 포토다이오드 영역들(341, 342, 343)에서 축적된 전하를 픽셀들(331, 332, 333) 상에 입사된 R, G, B 광의 양을 나타내는 전압들로 변환시킨다. 일 실시예에서, p웰(들)(375)은 포토다이오드 영역들(341, 342, 343)에서 축적된 전하들이 포텐셜 웰(325) 내로 이끌려가는 것을 막을 수 있다.

일 실시예에서, p형 기판 영역(321)은 p+ 실리콘이다. 일 실시예에서 에피택셜층(352)이 영역(321) 위에 형성된다. 에피택셜층(352)은 p- 실리콘일 수 있다. 하나의 예시로서, 에피택셜층(352)은 1.0 x 10¹⁵㎤의 농도의 붕소로 도핑될 수 있다. p웰들(375)은 붕소와 같은 p형 도펀트의 2.0 x 10¹⁷㎤의 도핑 농도를 가질 수 있다. IR 전하 축적 영역(325)은 에피택셜층(352)과 동일한 도핑 농도 및 유형을 가질 수 있지만, 동일한 도핑 농도는 요구되지 않는다.

포토다이오드 영역들(341, 342, 343)은 인과 같은 도펀트를 갖는 n형일 수 있다. 예시적인 도핑 농도는 2.0 x 10¹⁶㎤이다. 일 실시예에서, 포토다이오드들(341, 342, 343) 위에는 고정(pinning) 층(도 3에서는 미도시됨)이 있다. 고정층에 대한 예시적인 도핑 농도는 붕소와 같은 p형 도펀트의 1.0 x 10¹⁸㎤ 이다. 여기서 설명된 모든 도핑 농도들은 이보다 높거나 또는 이보다 낮을 수 있다. 다른 도펀트들이 n형 및 p형 도펀트들 둘 다를 위해 이용될 수 있다.

도 4는 포토센서 어레이의 일 실시예의 RGB-IR 단위 셀의 개략적인 평면도를 도시한다. 일 실시예에서, IR 유닛(402)은 p웰(375)과 IR 수집 영역(325)을 갖는 영역에 대응한다. IR 유닛(402)에 의해 커버된 영역은 전송 게이트 및 트랜지스터들과 같은 다른 엘리먼트들을 포함할 수 있다는 것을 유념해둔다(예컨대, 도 6을 참조하라). RGB 영역들(431, 432, 433) 각각과 연관된 영역은 적어도 마이크로렌즈들(334)과 필터들(335~337) 중 하나의 필터를 포함할 수 있다. 하지만, RGB 영역들(431, 432, 433)과 연관된 영역은 또한 전송 게이트 및 트랜지스터들과 같은 엘리먼트들을 포함할 수 있다(예컨대, 도 7을 참조하라). 도 4의 실시예에서 이용된 패턴은 도 3의 실시예에서 이용된 패턴에 대응하지 않는다는 것을 유념해둔다.

또한, IR 유닛(402)은 RGB 영역들(431, 432, 433)에 비해 상대적으로 작다는 것을 유념해둔다. 도 3의 실시예로 되돌아가서, 광은 IR 수집 영역(325)과 p웰(375)에 진입하지 못한다. 그러므로, 일 실시예에서, 이러한 영역들에서는 전하를 생성시킬 광이 존재하지 않는다. 하지만, IR 유닛(402)을 상대적으로 작게 유지함으로써, RGB 수집 영역은 최대화된다. 또한, IR 유닛(402)은 영역(350)으로부터의 전자들을 수집하는데에 유효할 커다란 횡측 표면 영역을 필요하지 않는다는 것을 유념해둔다.

도 5는, 일 실시예에서, 반도체 포토센서 어레이의 일부를 형성할 수 있는, RGB-IR 단위 셀들의 어레이를 도시한다. 이전에 논의한 바와 같이, 일 실시예에서, IR 감응 영역(350)은 포토다이오드들(341~343) 아래에 위치한다. 이전에 논의한 바와 같이, IR 수집 영역(325)은 동작 동안에 IR 감응 영역(350)으로부터의 전자들을 끌어당긴다. 일 실시예에서, 영역(550)은 전극(또는 포토게이트)에 의해 유도된 장(field)으로 인해 주어진 IR 수집 영역(325)에 대해 전하들이 수집될 수 있는 영역을 보여준다. 언급한 바와 같이, 기판(322)에서의 p웰(375)은 IR 수집 영역(325)을 둘러싸서 포토다이오드들(341~343)로부터의 격리를 제공할 수 있다. 따라서, 포토다이오드들(341~343)로부터 생성된 어떠한 전하들도 IR 수집 영역(325)으로 이끌려지지 않는다. 하지만, IR 감응 영역(350)에서 생성된 전하들(예컨대, 전자들)은 p웰(375) 아래에서 IR 수집 영역(325)으로 이끌려질 수 있다. 적색(431), 녹색(432), 및 청색(433) 영역들과 연관된 p웰들이 존재할 수 있다는 것을 유념해둔다. 예를 들어, 가시광 픽셀을 감지하기 위한 p웰이 존재할 수 있다(예컨대, 도 7에서의 p웰(765)을 참조하라). 하지만, 도면을 불명료하게 하지 않기 위해서 이러한 p웰들은 도 5에서는 도시되지 않는다. 또한, IR 유닛(402)에서의 p웰(375)은 도 5에서 도시된 것과는 상이한 형상을 가질 수 있다. 또한, IR 유닛(402)에는 하나보다 많은 p웰이 존재할 수 있다.

도 6은 IR 픽셀의 일 실시예의 도면이다. 이러한 투시도는 IR 픽셀을 제어하는데 이용되는 다양한 트랜지스터들을 도시한다. IR 전하 수집 영역(325)은 포토게이트(354) 아래에 개략적으로 윤곽처리된 영역으로서 도시된다. 하지만, IR 전하 수집 영역(325)은 반드시 정확히 정의된 경계들을 가질 필요는 없다는 점을 유념해둔다. 도 6에서 도시된 p웰(375)의 두 부분들은 IR 수집 영역(325)을 둘러싸는 연속적인 p웰 영역의 일부일 수 있다. 예를 들어, 도 5를 다시 참조하면, 각각의 p웰(375)이 RGB 픽셀들로부터의 격리를 제공하는 한가지 예시가 제공된다. 이전에 논의한 바와 같이, IR 전하 수집 영역(325)에서 포텐셜 웰을 형성하여 전하 캐리어들을 끌어당기기 위해 양전압이 포토게이트(또는 전극)(354)에 인가될 수 있다. 포토게이트(354)를 턴오프시킨 후, 펄스가 전송 게이트(654)에 인가되어 전하 캐리어들이 p웰(375)에서의 IR 감지 노드(675)로 이동하게 할 수 있다. 여기서, 전하는 전압으로 변환되고, 이 전압은 감지되고 독출(read out)된다. 포토게이트(354)나 전송 게이트(654) 어느 것도 IR 광에 투명할 필요는 없다는 것을 유념해둔다.

트랜지스터들은 리셋 트랜지스터(602), 감지 트랜지스터(604), 및 선택 트랜지스터(606)를 포함한다. 전압 Vdd가 리셋 트랜지스터(602)의 하나의 단자(예컨대, 드레인)와, 감지 트랜지스터(604)의 하나의 단자에 인가될 수 있다. 감지 노드(675)로부터 전하를 제거하기 위해 리셋 신호가 리셋 트랜지스터(602)의 게이트에 인가될 수 있다. IR 감지 노드(675)를 재충전하기 위해 위에서 설명한 바와 같이 포토게이트(354)와 전송 게이트(654)는 차례차례로 동작할 수 있다. IR 감지 노드(675)에서 저장된 전하에 비례하는 전압을 갖는 신호를 독출하기 위해 로우 선택 신호가 선택 트랜지스터(606)의 게이트에 인가될 수 있다.

도 7은 녹색 픽셀의 일 실시예의 도면이다. 적색 픽셀과 청색 픽셀은 이와 유사할 수 있으며, 따라서 이것들은 도시하지 않는다. 이 투시도는 녹색 픽셀을 제어하는데 이용되는 다양한 트랜지스터들을 도시한다. 동작 동안, 녹색 필터(336)로 인해 녹색광에 대응하는 파장을 가져야 하는 광으로 인해 포토다이오드(342)에서 전하 캐리어들이 생성될 수 있다. 펄스가 전송 게이트(754)에 인가되어 전하 캐리어들이 p웰(765)에서의 가시광 감지 노드(775)로 이동하게 할 수 있다. 여기서, 전하는 전압으로 변환되고, 이 전압은 감지되고 독출된다.

트랜지스터들은 리셋 트랜지스터(602), 감지 트랜지스터(604), 및 선택 트랜지스터(606)를 포함한다. 이것들은 IR 픽셀을 위해 이용된 것들과 유사할 수 있다. 전압 Vdd가 리셋 트랜지스터(602)의 하나의 단자(예컨대, 드레인)와, 감지 트랜지스터(604)의 하나의 단자에 인가될 수 있다. 가시광 감지 노드(775)로부터 전하를 제거하기 위해 리셋 신호가 리셋 트랜지스터(602)의 게이트에 인가될 수 있다. 가시광 감지 노드(775)에서 저장된 전하에 비례하는 전압을 갖는 신호를 독출하기 위해 로우 선택 신호가 선택 트랜지스터(606)의 게이트에 인가될 수 있다.

도 8은 반도체 포토센서(320)를 동작시키는 프로세스의 흐름도이다. 프로세스는 여기서 설명된 반도체 포토센서들(320) 중 임의의 것과 함께 이용될 수 있지만, 여기서 설명된 특정 실시예들로 한정되지는 않는다. 단계 802에서, IR 및 가시광 감지 노드들(각각, 675, 775)이 리셋된다. 일 실시예에서, 리셋 신호가 리셋 트랜지스터들(602)에 제공된다.

택일적인 단계 804에서, IR 광의 펄스가 반도체 포토센서에 의해 이미지화중에 있는 장면상으로 발송된다. 일 실시예에서, IR 광 발송기(도 2에서, 참조번호 24)가 이용된다. 이 펄스는 장면 내의 피처들에 대한 거리 결정을 도와주는데 이용되는 일련의 펄스들 중 하나일 수 있다.

단계 806에서, 전하 축적 영역(325)에서 전하들을 축적시키기 위한 신호가 IR 픽셀과 연관된 포토게이트(354)에 제공된다. 이 신호는 전하들을 축적시키기 위한 충분한 크기의 전압일 수 있다. 이 신호는 임의의 적절한 희망하는 길이를 가질 수 있다. 단계 806은 다수의 IR 픽셀들에 대해 동시적으로 수행될 수 있다는 것을 유념해둔다.

단계 808에서, 전하 축적 영역(325)에서의 전하들을 IR 감지 노드(675)로 이동하게 하기 위한 신호가 IR 픽셀과 연관된 전송 게이트(654)에 제공된다. 일 실시예에서, 이것은 짧은 전압 펄스이다. 단계 808은 다수의 IR 픽셀들에 대해 동시적으로 수행될 수 있다는 것을 유념해둔다.

단계 810에서, 포토다이오드들(341, 342, 343)에서의 전하들을 가시광 감지 노드들(775)로 이동하게 하기 위한 신호가 가시광 픽셀과 연관된 전송 게이트(754)에 제공된다. 단계 810은 다수의 가시광 픽셀들에 대해 동시적으로 수행될 수 있다는 것을 유념해둔다.

단계 812에서, IR 감지 노드들(675)과 가시광 감지 노드들(775)이 판독된다. 일 실시예에서, 로우 선택 신호가 선택 트랜지스터들(606)에 인가된다. 일 실시예에서, 단계 812는 픽셀들의 하나의 행을 판독하는 것을 포함한다. 각각의 행은 반드시 IR 픽셀 출력을 포함할 필요는 없다는 것을 유념해둔다. 단계 812는 다른 행들을 판독하기 위해 반복될 수 있다.

단계 814에서, IR 픽셀들로부터 판독된 신호들은 가시광 픽셀들로부터 판독된 신호들과 상관된다. 일 실시예에서, RGB 이미지가 형성되고 IR 이미지가 형성된다. IR 감응 영역들(350)과 가시광 감응 영역들(341~343)의 알려진 물리적 위치들에 기초하여, IR 이미지는 RGB 이미지에 정확하게 상관될 수 있다. 일 실시예에서, 장면 내 피처들에 대한 거리가 결정된다. 예를 들어, RGB 이미지에서의 피처들에 대한 깊이를 결정하기 위해 IR 이미지에 기초하여 비행시간 분석이 수행될 수 있다. 일 실시예에서, 일련의 IR 펄스들이 장면상으로 발송되고 이러한 IR 펄스들 각각에 이어서 포토센서는 짧은 노출 기간 동안 게이팅(gated)된다. IR 픽셀들에서 수집된 IR 반사광의 세기에 기초하여 거리가 결정될 수 있다.

도 9는 포토센서 어레이의 일부분의 일 실시예를 도시한다. 이 실시예는 도 5의 실시예로부터의 행(row)을 따른 단면도를 도시한다. 이 도면은 IR 유닛들(402)과 교호하는 청색 픽셀들(333)을 도시한다. 동작은 도 3에서 도시된 실시예와 유사할 수 있다. 그러므로, 도 9는 매우 상세하게 논의되지 않을 것이다. 청색 픽셀의 경우 포토다이오드(343) 아래에 IR 감응 영역(350)이 있다. p웰들(375)은 IR 전하 축적 영역들(325)과 포토다이오드들(343) 사이에 전기적 격리를 제공한다. 이 실시예에서, 하나의 포토다이오드(343) 아래의 주어진 IR 감응 영역(350)으로부터의 전자들은 두 개의 개별적인 IR 전하 축적 영역들로 이끌려진다.

도 10은 포토센서 어레이(320)의 일부분의 일 실시예를 도시한다. 이 실시예는 도 5의 실시예로부터의 열(column)을 따른 단면도를 도시한다. 이 도면은 IR 유닛들(402)과 교호하는 적색 픽셀들(331)을 도시한다. 동작은 도 3에서 도시된 실시예와 유사할 수 있다. 그러므로, 도 10은 매우 상세하게 논의되지 않을 것이다. 적색 픽셀의 경우 포토다이오드(341) 아래에 IR 감응 영역(350)이 있다. p웰들(375)은 IR 전하 축적 영역들(325)과 포토다이오드(341) 사이에 전기적 격리를 제공한다. 이 실시예에서, 하나의 포토다이오드(341) 아래의 주어진 IR 감응 영역(350)으로부터의 전자들은 두 개의 개별적인 IR 전하 축적 영역들(325)로 이끌려진다.

도 11은 포토센서 어레이(320)의 일부분의 일 실시예를 도시한다. 이 실시예는 도 5의 실시예로부터의 대각선을 따른 단면도를 도시한다. 이 도면은 IR 유닛들(402)과 교호하는 녹색 픽셀들(332)을 도시한다. 동작은 도 3에서 도시된 실시예와 유사할 수 있다. 그러므로, 도 11은 매우 상세하게 논의되지 않을 것이다. 녹색 픽셀의 경우 포토다이오드(342) 아래에 IR 감응 영역(350)이 있다. p웰들(375)은 IR 전하 축적 영역들(325)과 포토다이오드(342) 사이에 전기적 격리를 제공한다. 이 실시예에서, 하나의 포토다이오드(342) 아래의 주어진 IR 감응 영역(350)으로부터의 전자들은 두 개의 개별적인 IR 전하 축적 영역들(325)로 이끌려진다.

도 9 내지 도 11은 RGB 픽셀들 또는 IR 픽셀들을 위한 전송 게이트들(예컨대, 654, 754), 감지 노드들(예컨대, 675, 775), 또는 트랜지스터들(예컨대, 602, 604, 606)을 도시하지 않은 단순화된 도면들이라는 점을 유념해둔다. 도 6과 도 7은 IR 픽셀과 가시광 픽셀을 위한 이러한 엘리먼트들을 각각 도시한다. 다양한 실시예들에서, IR 픽셀의 단면은 도 6의 실시예와 비슷할 수 있다. 따라서, 도 9 내지 도 11 중 임의의 도면의 임의의 실시예들에서의 IR 픽셀의 단면은, 도 6에서 도시된 IR 감지 노드(675), 전송 게이트(654), 및 트랜지스터들을 포함하도록 수정될 수 있다. 마찬가지로, 도 9 내지 도 11 중 임의의 도면의 임의의 실시예들에서의 가시광 픽셀의 단면은, 도 7에서 도시된 가시광 감지 노드(775), 전송 게이트(754), 및 트랜지스터들을 포함하도록 수정될 수 있다. 몇몇의 실시예들에서, IR 픽셀 또는 가시광 픽셀 중 어느 하나가 설명한 바와 같이 수정된다. 몇몇의 실시예들에서, IR 픽셀과 가시광 픽셀 둘 다가 설명한 바와 같이 수정된다.

브로드밴드 이미지화기(예컨대, 포토센서(320))는 여기서 개시된 픽셀들의 다양한 물리적 배열들로 제한되지 않는다는 것을 유념해둔다. 다른 패턴들이 이용될 수 있다. 예를 들어, 도 5의 패턴을 참조하면 행들은 열들과 뒤바뀔 수 있다(예컨대, 적색 영역과 청색 영역이 뒤바뀐다). 희망하는 경우, 도 4와 도 5에서 도시된 바와 같이, 다양한 영역들(431, 432, 433, 402)에 대해 상이한 크기들을 갖는 것보다는, 이러한 영역들은 각각 대략 동일한 크기일 수 있다. 하지만, 이것은 녹색 수집 영역이 적색 및 청색과 대략 동일한 크기가 되도록 초래시킬 수 있다.

도면들에서 나타난 예시적인 컴퓨터 시스템들은 컴퓨터 판독가능 저장 매체의 예시들을 포함한다. 컴퓨터 판독가능 저장 매체는 또한 프로세서 판독가능 저장 매체이다. 이러한 저장 매체에는 컴퓨터 판독가능 명령어들, 데이터 구조들, 프로그램 모듈들, 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술에서 구현된 휘발성 및 비휘발성의, 탈착가능 및 탈착불가능 매체가 포함될 수 있다. 컴퓨터 저장 매체에는, 비제한적인 예시로서, RAM, ROM, EEPROM, 캐쉬, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 다용도 디스크(DVD) 또는 다른 광학 디스크 저장소, 메모리 스틱 또는 카드, 자기 카세트, 자기 테잎, 미디어 드라이브, 하드 디스크, 자기 디스크 저장소 또는 다른 자기 저장 디바이스들, 또는 희망하는 정보를 저장하는데 이용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체가 포함된다.

도 12는 도 1과 도 2의 허브 컴퓨팅 시스템을 구현하기 위해 이용될 수 있는 컴퓨팅 시스템의 일 실시예의 블록도이다. 이 실시예에서, 컴퓨팅 시스템은 게임 콘솔과 같은, 멀티미디어 콘솔(1200)이다. 도 12에서 도시된 바와 같이, 멀티미디어 콘솔(1200)은 중앙 처리 유닛(CPU)(1201), 및 플래쉬 판독 전용 메모리(ROM)(1203), 랜덤 액세스 메모리(RAM)(1206), 하드 디스크 드라이브(1208), 및 휴대용 미디어 드라이브(1206)를 비롯한, 다양한 유형의 메모리에 대한 프로세서 액세스를 촉진시키는 메모리 제어기(1202)를 갖는다. 하나의 구현예에서, CPU(1201)는 데이터를 일시적으로 저장하여 하드 드라이브(1208)에 가해지는 메모리 액세스 사이클들의 횟수를 감소시킴으로써, 처리 속도와 쓰루풋을 개선시키기 위한 레벨 1 캐쉬(1210)와 레벨 2 캐쉬(1212)를 포함한다.

CPU(1201), 메모리 제어기(1202), 및 다양한 메모리 디바이스들은 하나 이상의 버스들(미도시됨)을 통해 상호연결된다. 이 구현예에서 이용되는 버스의 상세사항들은 여기서 논의되고 있는 관심대상의 발명주제를 이해하는 것과는 특별한 관련은 없다. 하지만, 이러한 버스는 임의의 다양한 버스 아키텍처들을 이용하여, 직렬 및 병렬 버스들, 메모리 버스, 주변 버스, 및 프로세서 또는 로컬 버스 중 하나 이상을 포함할 수 있다는 것을 이해할 것이다. 예를 들어, 이러한 아키텍처들은 ISA(Industry Standard Architecture) 버스, MCA(Micro Channel Architecture) 버스, EISA(Enhanced ISA) 버스, VESA(Video Electronics Standards Association) 로컬 버스, 및 메자닌 버스로서도 알려진 PCI(Peripheral Component Interconnect) 버스를 포함할 수 있다.

하나의 구현예에서, CPU(1201), 메모리 제어기(1202), ROM(1203), 및 RAM(1206)은 공통 모듈(1214) 상에 통합된다. 이 구현예에서, ROM(1203)은 PCI 버스와 ROM 버스(이것들 모두는 미도시됨)를 통해 메모리 제어기(1202)에 연결된 플래쉬 ROM으로서 구성된다. RAM(1206)은 개별적인 버스들(미도시됨)을 통해 메모리 제어기(1202)에 의해 독립적으로 제어되는 다중 DDR SDRAM(Double Data Rate Synchronous Dynamic RAM) 모듈들로서 구성된다. 하드 디스크 드라이브(1208)와 휴대용 미디어 드라이브(1205)는 PCI 버스와 ATA(AT Attachment) 버스(1216)를 통해 메모리 제어기(1202)에 연결된 것이 도시된다. 하지만, 다른 구현예들에서, 상이한 유형들의 전용 데이터 버스 구조들이 또한 대안구성에서 적용될 수 있다.

그래픽 처리 유닛(1220)과 비디오 인코더(1222)는 고속 및 고해상도(예컨대, 고화질) 그래픽 처리를 위한 비디오 처리 파이프라인을 형성한다. 데이터는 그래픽 처리 유닛(GPU)(1220)으로부터 디지털 비디오 버스(미도시됨)를 거쳐 비디오 인코더(1222)로 운송된다. 시스템 애플리케이션들에 의해 생성된 경량(Lightweight) 메시지들(예컨대, 팝업)은 GPU(1220) 인터럽트를 이용하여 오버레이 내로 팝업을 랜더링하기 위한 코드를 스케쥴링함으로써 디스플레이된다. 오버레이를 위해 이용된 메모리의 양은 오버레이 영역 크기 및 스크린 해상도에 대한 바람직한 오버레이 스케일에 따라 달라진다. 완전 사용자 인터페이스가 동시발생적 시스템 애플리케이션에 의해 이용되는 경우, 애플리케이션 해상도에 독립적인 해상도를 이용하는 것이 바람직하다. 주파수를 변경하고 TV 재동기화를 야기시킬 필요성이 제거되도록 이러한 해상도를 설정하는데에 스케일러가 이용될 수 있다.

오디오 처리 유닛(1224)과 오디오 코덱(코더/디코더)(1226)는 다양한 디지털 오디오 포맷들의 멀티채널 오디오 처리를 위한 대응하는 오디오 처리 파이프라인을 형성한다. 오디오 데이터는 통신 링크(미도시됨)를 거쳐 오디오 처리 유닛(1224)과 오디오 코덱(1226) 간에 운송된다. 비디오 및 오디오 처리 파이프라인들은 데이터를 텔레비젼 또는 다른 디스플레이로의 송신을 위한 A/V(오디오/비디오) 포트(1228)에 출력한다. 도시된 구현예에서, 비디오 및 오디오 처리 컴포넌트들(1220~1228)은 모듈(1214) 상에 탑재된다.

도 12는 USB 호스트 제어기(1230) 및 네트워크 인터페이스(1232)를 포함하는 모듈(1214)을 도시한다. USB 호스트 제어기(1230)는 버스(예컨대, PCI 버스)를 통해 CPU(1201) 및 메모리 제어기(1202)와 통신하고 주변 제어기들(1204(1)~1204(4))을 위한 호스트로서 역할을 하는 것이 도시된다. 네트워크 인터페이스(1232)는 네트워크(예컨대, 인터넷, 홈 네트워크 등)에 대한 액세스를 제공하며, 이것은 이더넷 카드, 모뎀, 무선 액세스 카드, 블루투스 모듈, 케이블 모뎀 등을 비롯한 광범위한 다양한 유선 또는 무선 인터페이스 컴포넌트들 중 임의의 것일 수 있다.

도 12에 도시된 구현예에서, 콘솔(1200)은 네 개의 제어기들(1204(1)~1204(4))을 지원하기 위한 제어기 지원 서브어셈블리(1240)를 포함한다. 제어기 지원 서브어셈블리(1240)는 예컨대 미디어 및 게임 제어기와 같은, 외부 제어 디바이스와의 유선 및 무선 동작을 지원하기 위해 필요한 임의의 하드웨어 및 소프트웨어 컴포넌트들을 포함한다. 전방 패널 I/O 서브어셈블리(1242)는 전원 버튼(1212), 방출 버튼(1213)뿐만이 아니라, 콘솔(1200)의 외부 표면 상에 노출된 임의의 LED(light emitting diode)들 또는 다른 인디케이터들의 다수의 기능들을 지원한다. 서브어셈블리들(1240, 1242)은 하나 이상의 케이블 어셈블리들(1244)을 통해 모듈(1214)과 통신한다. 다른 구현예들에서, 콘솔(1200)은 추가적인 제어기 서브어셈블리들을 포함할 수 있다. 도시된 구현예는 또한 모듈(1214)에 전달될 수 있는 신호들을 송신하고 수신하도록 구성된 광학 I/O 인터페이스(1235)를 도시한다.

MU(Memory Unit)들(1240(1), 1240(2))은 각각 MU 포트 "A"( 1230(1)) 및 MU 포트 "B"(1230(2))에 연결될 수 있는 것으로서 도해된다. 추가적인 MU들(예컨대, MU들(1240(3)~1240(6)))은 제어기들(1204(1), 1204(3)), 즉, 각각의 제어기에 대한 두 개의 MU들에 연결될 수 있는 것으로서 도해된다. 제어기들(1204(2), 1204(4))은 또한 MU들(미도시됨)을 수신하도록 구성될 수 있다. 각각의 MU(1240)는 게임들, 게임 파라미터들, 및 다른 데이터가 저장될 수 있는 추가적인 저장소를 제공한다. 몇몇의 구현예들에서, 다른 데이터에는 디지털 게임 컴포넌트, 실행가능 게임 애플리케이션, 게임 애플리케이션을 확장하기 위한 명령어 세트, 및 미디어 화일 중 임의의 것이 포함될 수 있다. MU(1240)는, 콘솔(1200) 또는 제어기에 삽입되면, 메모리 제어기(1202)에 의해 액세스될 수 있다. 시스템 전력 공급 모듈(1250)은 게임 시스템(1200)의 컴포넌트들에 전력을 제공한다. 팬(1252)은 콘솔(1200) 내의 회로들을 냉각시킨다. 마이크로제어기 유닛(1254)가 또한 제공된다.

머신 명령어들을 포함하는 애플리케이션(1260)은 하드 디스크 드라이브(1208) 상에 저장된다. 콘솔(1200)이 파워 온되면, 애플리케이션(1260)의 다양한 부분들이 CPU(1201) 상에서의 실행을 위해, RAM(1206), 및/또는 캐쉬들(1210, 1212)로 로딩되며, 이러한 예시에서 애플리케이션(1260)은 하나이다. 다양한 애플리케이션들이 CPU(1201) 상에서의 실행을 위해 하드 디스크 드라이브(1208) 상에 저장될 수 있다.

게임 및 미디어 시스템(1200)은 본 시스템을 모니터(16)(도 1), 텔레비젼, 비디오 프로젝터, 또는 다른 디스플레이 디바이스에 단순히 연결시킴으로써 독립형 시스템으로서 동작될 수 있다. 이러한 독립형 모드에서, 게임 및 미디어 시스템(1200)은 하나 이상의 플레이어들이 게임을 하거나, 또는 디지털 미디어를 감상하는 것, 예컨대 영화를 보거나, 음악을 들을 수 있게 해준다. 하지만, 네트워크 인터페이스(1232)를 통해 이용가능해진 브로드밴드 연결의 통합을 통해, 게임 및 미디어 시스템(1200)은 또한 보다 큰 네트워크 게임 커뮤니티에서의 참가자로서 운용될 수 있다.

본 발명내용은 구조적 특징들 및/또는 방법론적 동작들에 특유한 용어로 기술되었지만, 첨부된 청구항들에서 정의된 발명내용은 위에서 설명된 이러한 특정한 특징들 또는 동작들로 반드시 제한될 필요는 없다는 것을 이해하여야 한다. 이보다는, 위에서 설명된 특정한 특징들 및 동작들은 청구항들을 구현하는 예시 형태들로서 개시된 것이다.

Claims

반도체 포토센서에 있어서,
가시광 감응(visible light sensitive) 영역을 각각 갖는, 기판 내의 적어도 하나의 가시광 픽셀;
적외선(IR)광 감응 영역을 갖는, 상기 기판 내의 IR 픽셀 - 상기 IR광 감응 영역은 상기 적어도 하나의 가시광 픽셀의 상기 가시광 감응 영역 아래에 있음 -;
상기 기판 내의 전하 축적 영역;
상기 적어도 하나의 가시광 픽셀의 상기 가시광 감응 영역과 상기 전하 축적 영역 사이에 있는, 상기 기판 내의 웰(well) - 상기 웰은 상기 적어도 하나의 가시광 픽셀의 상기 가시광 감응 영역과 상기 전하 축적 영역 간에 전기적 격리를 제공하도록 구성됨 -; 및
상기 IR광 감응 영역에서 생성된 전하들을 축적시키기 위해 상기 전하 축적 영역에서 포텐셜 웰을 생성하는 전압을 제공하도록 구성된, 상기 전하 축적 영역 위에 있는 전극
을 포함하는, 반도체 포토센서.
제1항에 있어서,
상기 웰은 p웰인 것인, 반도체 포토센서.
제1항에 있어서,
상기 적어도 하나의 가시광 픽셀 중의 가시광 픽셀의 가시광 감응 영역 및 상기 IR 픽셀의 상기 IR광 감응 영역의 적어도 일부분 위에 있는 필터
를 더 포함하며, 상기 필터는 가시광과 IR광을 통과시키도록 구성된 것인, 반도체 포토센서.
제1항에 있어서,
상기 반도체 포토센서는 상이한 색상들의 세 개의 가시광 픽셀들과 IR 픽셀을 위한 전하 축적 영역의 그룹들을 포함하는 패턴으로서 배열된 것인, 반도체 포토센서.
제4항에 있어서,
상기 그룹 내의 상기 세 개의 가시광 픽셀들은 녹색 픽셀, 청색 픽셀, 및 적색 픽셀을 포함하며, 상기 녹색 픽셀은 상기 청색 픽셀과 상기 적색 픽셀에 비해 표면 영역이 두 배인 것인, 반도체 포토센서.
제5항에 있어서,
상기 전하 축적 영역은 상기 가시광 픽셀들 중의 어느 가시광 픽셀보다도 작은 표면 영역을 커버(cover)하는 것인, 반도체 포토센서.
제4항에 있어서,
상기 전하 축적 영역과 연관된 IR광 감응 영역은 복수의 상이한 가시광 픽셀들의 일부분들 아래에 유효 수집 영역을 갖는 것인, 반도체 포토센서.
제1항에 있어서,
상기 전극 위에 있는 광학 쉴드
를 더 포함하는, 반도체 포토센서.
반도체 포토센서를 동작시키는 방법에 있어서,
전하 축적 영역 내에서 포텐셜 웰을 생성하기 위해 기판 내에서 상기 전하 축적 영역 위에 있는 포토게이트에 하이 포텐셜(high potential)을 제공하는 단계 - 상기 전하 축적 영역은 상기 기판 내의 p웰에 의해 둘러싸여 있고, 상기 포텐셜 웰은 상기 기판 내의 가시광 감응 영역 아래에 있는, 상기 기판 내의 IR광 감응 영역에서 생성된 전하들을 축적시킴 -;
전하들이 상기 전하 축적 영역으로부터 IR광 감지 노드로 전송되도록 하기 위한 신호를 제1 전송 게이트에 제공하는 단계;
전하들이 상기 가시광 감응 영역으로부터 제1 가시광 픽셀을 위한 가시광 감지 노드로 전송되도록 하기 위한 신호를 제2 전송 게이트에 제공하는 단계 - 상기 전하 축적 영역은, 상기 가시광 감응 영역과 상기 전하 축적 영역 간에 전기적 격리를 제공하는 상기 p웰에 의해 상기 가시광 감응 영역으로부터 분리됨 -; 및
상기 IR광 감지 노드와 상기 가시광 감지 노드를 판독하는 단계
를 포함하는, 반도체 포토센서를 동작시키는 방법.
제9항에 있어서,
상기 가시광 감응 영역은 n도핑 영역을 포함하는 포토다이오드인 것인, 반도체 포토센서를 동작시키는 방법.
제9항에 있어서,
가시광 픽셀들로부터의 판독치들로부터 RGB 이미지를 형성하는 단계;
IR 픽셀들로부터의 판독치들로부터 IR 이미지를 형성하는 단계; 및
상기 IR 이미지에 기초하여 상기 RGB 이미지에서의 피처들에 대한 깊이(depth to features)를 결정하는 단계
를 더 포함하는, 반도체 포토센서를 동작시키는 방법.
반도체 포토센서 어레이에 있어서,
기판 내에서 포토다이오드를 각각 포함하는 복수의 가시광 픽셀들;
상기 기판 내에서 포토다이오드들 중 적어도 하나의 포토다이오드의 적어도 일부분 아래에 있는 적외선(IR)광 감응 영역을 각각 포함하는 복수의 적외선(IR) 픽셀들;
상기 IR 픽셀들 각각과 연관된 전하 축적 영역 - 상기 전하 축적 영역은, 상기 기판 내에 있고, 연관된 IR 픽셀의 IR광 감응 영역에서 생성된 전하들을 축적시키도록 구성됨 -;
상기 전하 축적 영역 각각과 연관된 p웰 영역 - 각각의 p웰 영역은 상기 연관된 전하 축적 영역을 하나 이상의 인접한 포토다이오드들로부터 분리시키도록 구성되고, 상기 p웰 영역은 상기 연관된 전하 축적 영역과 상기 하나 이상의 인접한 포토다이오드들 간에 전기적 격리를 제공하도록 구성됨 -; 및
상기 전하 축적 영역 각각과 연관된 포토게이트
를 포함하며, 상기 포토게이트는 상기 IR광 감응 영역에서 생성된 전하들을 상기 연관된 전하 축적 영역 내에 축적시키기 위해 상기 전하 축적 영역과 연관된 p웰 영역의 내부에 포텐셜 웰을 생성하는 전압을 제공하도록 구성된 것인, 반도체 포토센서 어레이.
제12항에 있어서,
상기 복수의 가시광 픽셀들 각각은 선택된 파장 범위의 가시광과 IR광을 통과시키는 필터를 포함한 것인, 반도체 포토센서 어레이.
제12항에 있어서,
상기 IR광 감응 영역에서 형성된 전하들을 축적시키기 위한 신호를 상기 전하 축적 영역 각각과 연관된 포토게이트에 제공하도록 구성된 제어 회로
를 더 포함하는, 반도체 포토센서 어레이.
제12항에 있어서,
상기 복수의 가시광 픽셀들과 상기 전하 축적 영역은, 상이한 색상들의 세 개의 가시광 픽셀들과 IR 픽셀을 위한 전하 축적 영역의 그룹들을 포함하는 패턴으로서 배열된 것인, 반도체 포토센서 어레이.
제12항에 있어서,
단일 IR 픽셀을 위한 전하 축적 영역은 적색 픽셀의 포토다이오드, 청색 픽셀의 포토다이오드, 및 녹색 픽셀의 포토다이오드의 적어도 일부분 아래에 있는 IR광 감응 영역으로부터의 전하들을 축적시키도록 구성된 것인, 반도체 포토센서 어레이.
제12항에 있어서,
상기 전하 축적 영역은 상기 가시광 픽셀들 중의 어느 가시광 픽셀보다도 작은 표면 영역을 커버하는 것인, 반도체 포토센서 어레이.
제12항에 있어서,
상기 전하 축적 영역 각각과 연관된 상기 포토게이트 위에 있는 광학 쉴드
를 더 포함하는, 반도체 포토센서 어레이.
제12항에 있어서,
상기 기판은 p형 기판이며, 상기 포토다이오드들은 상기 p형 기판 내의 n형 영역들을 포함한 것인, 반도체 포토센서 어레이.
제19항에 있어서,
상기 p웰 영역은 상기 p형 기판보다 높은 농도로 도핑된 것인, 반도체 포토센서 어레이.