KR101660215B1

KR101660215B1 - 존재 감지

Info

Publication number: KR101660215B1
Application number: KR1020167003580A
Authority: KR
Inventors: 에드워드 알렌 발코; 매튜 씨. 월든; 루돌프 반 데르 멀리; 윌리엄 매튜 비에타; 마이라 엠. 해거티; 알렉스 티. 넬슨; 카렌 루이즈 젠킨스; 스콧 토마스 스미스; 잔 에릭 소렘
Original assignee: 애플 인크.
Priority date: 2011-05-12
Filing date: 2012-05-11
Publication date: 2016-09-26
Also published as: TW201250519A; WO2012155105A1; JP5876142B2; KR20160023912A; CN103534664B; AU2012253292A1; AU2012253292B2; US10372191B2; US20120287035A1; KR20140002034A; EP2712431A1; CN103534664A; TWI506478B; JP2014519091A

Abstract

일 실시예는 컴퓨팅 장치를 동작시켜 존재 기반 기능을 제공하는 방법의 형태를 취할 수 있다. 방법은 컴퓨팅 장치를 저감된 전력 상태에서 동작시키는 단계 및 적어도 하나의 센서로부터 제1 데이터 집합을 수집하는 단계를 포함할 수 있다. 제1 데이터 집합에 기초하여, 컴퓨팅 장치는 객체가 컴퓨팅 장치의 임계 거리 내에 있을 확률을 결정하고, 만일 객체가 임계 거리 내에 있으면, 장치는 적어도 하나의 제2 센서를 활성화하여 제2 데이터 집합을 수집한다. 제2 데이터 집합에 기초하여, 장치는 객체가 사람인지를 판단한다. 만일 객체가 사람이면, 장치는 컴퓨팅 장치에 대한 사람의 위치를 결정하고 컴퓨팅 장치에 대한 사람의 위치에 기초하여 컴퓨팅 장치의 상태 변경을 실행한다. 만일 객체가 사람이 아니면, 컴퓨팅 장치는 저감된 전력 상태로 계속 유지된다.

Description

존재 감지{PRESENCE SENSING}

관련 출원에 대한 상호 참조

본 특허 협력 조약 특허 출원은 2012년 5월 11일 "PRESENCE SENSING"이라는 명칭으로 출원된 미국 특허 출원 제13/469,996호의 우선권을 주장하며, 그 출원은 미국 특허상표국에서 대리인 사건 번호 P11391USX1(P222617.US.04)로 확인될 수 있고, 그 출원은 2011년 8월 26일 "PRESENCE SENSING"이라는 명칭으로 출원된 미국 특허 출원 제13/219,573호, 2011년 7월 1일 "PRESENCE SENSING"이라는 명칭으로 출원된 미국 가특허 출원 제61/504,026호, 및 2011년 5월 12일 "PRESENCE SENSING"이라는 명칭으로 출원된 미국 가특허 출원 제61/485,610호의 우선권을 주장하며, 그 출원 모두는 본 명세서에서 그 전체에서 그리고 모든 목적에서 참조 문헌으로 인용된다.

본 발명은 일반적으로 컴퓨팅 역량을 갖는 장치에 관한 것으로, 특히, 그 장치에 국부적으로 근접한 사용자의 존재(presence)를 감지하는 장치 및 시스템에 관한 것이다.

많은 컴퓨팅 장치는 사용자가 그러한 장치를 이용하지 않는 경우 소비 전력(power consumption)의 저감을 위해 의도된 전력 절감 기능/모드를 갖추고 있다. 종종, 이러한 전력 절감 기능은 사용자가 장치에 입력을 마지막으로 제공한 시점부터 설정된 시간량을 카운트 다운하는 타이머를 통해 구현된다. 예를 들면, 특정 장치는 사용자가 5분 동안 입력을 제공하지 않는 경우 슬립 모드(sleep mode), 또는 완전 동작 모드(fully operational mode)보다 전력 소모가 적은 다른 모드에 진입하도록 구성될 수 있다.

그러나, 때때로, 장치는 사용자가 그 장치를 여전히 이용하는 중에도 전력 절감 기능/모드에 진입할 수 있다. 예를 들면, 사용자가 장치에서 콘텐츠를 읽거나, 영화를 보거나, 또는 음악을 듣는 중에 타이머에 설정된 시간 기간 내에 입력을 제공하지 못했다는 이유로 전력 절감 기능에 진입할 수 있다. 또한, 전력 절감 기능/모드에서의 복원은 시간이 걸릴 수 있고, 심지어 사용자가 크리덴셜 (credentials)을 입력해야 하고, 이는 일반적으로 사용자에게 성가신 일일 수 있다.

일 실시예는 컴퓨팅 장치를 동작시켜 존재 기반 기능(presence based functionality)을 제공하는 방법의 형태를 취할 수 있다. 방법은 컴퓨팅 장치를 저감된 전력 상태에서 동작시키고 제1 센서 또는 센서들의 그룹으로부터 제1 데이터 집합을 수집하는 단계를 포함할 수 있다. 제1 데이터 집합에 기초하여, 컴퓨팅 장치는 객체(object)가 장치에 근접하여 위치할 확률(probability) 또는 가능성(likelihood)을 결정한다. 추가로 또는 대안으로, 컴퓨팅 장치는, 예를 들면, 객체의 근접에 대해 경판정(hard decision)을 내릴 수 있고, 컴퓨팅 장치는 객체가 컴퓨팅 장치의 임계 거리 내에 있는지를 판단할 수 있고, 만일 객체가 임계 거리 내에 있고 및/또는 장치에 근접하여 위치할 가능성이 있으면, 장치는 제2 센서를 활성화하여 제2 데이터 집합을 수집한다. 제2 데이터 집합에 기초하여, 장치는 객체가 사람인지를 판단한다. 만일 객체가 사람이면, 장치는 컴퓨팅 장치에 대한 사람의 위치를 결정하고 컴퓨팅 장치에 대한 사람의 위치에 기초하여 컴퓨팅 장치의 상태 변경을 실행한다. 만일 객체가 사람이 아니면, 컴퓨팅 장치는 저감된 전력 상태로 계속 유지된다.

다른 실시예는 사용자가 컴퓨팅 장치에 근접한지를 판단하는 방법의 형태를 취할 수 있다. 방법은 이미지 센서를 이용하여 이미지를 캡처하는(capturing) 단계 및 캡처된 이미지로부터, 피부색(skin tone) 검출 파라미터, 얼굴(face) 검출 파라미터, 몸체(body) 검출 파라미터 및 움직임(movement) 검출 파라미터 중 적어도 하나를 산출하는 단계를 포함한다. 방법은 또한 피부색 검출 파라미터, 얼굴 검출 파라미터 및 움직임 검출 파라미터 중 적어도 하나를 이용하여 사용자가 존재하는지를 판단하는 단계, 및 만일 사용자가 존재한다고 판단하는 경우, 컴퓨팅 장치의 상태를 변경하는 단계를 포함한다.

또 다른 실시예에서는, 메인 프로세서 및 메인 프로세서에 연결된 존재 센서를 갖는 컴퓨팅 시스템이 제공된다. 존재 센서는 이미지 센서, 및 이미지 센서에 연결되어 캡처된 이미지를 처리하여 사용자가 이미지 내에 존재하는지를 판단하도록 구성된 프로세서를 포함한다. 이미지 센서는 3-D 이미지, 깊이 이미지(depth images), RGB 이미지, 및/또는 그레이스케일(grayscale) 이미지 등을 캡처하도록 구성될 수 있으며 이미지 중 하나 이상은 확률 결정에 이용될 수 있다. 다른 입력 또한 존재 판단에 유용한 정보에 기여할 수 있다. 예를 들면, 키보드, 마우스 및/또는 마이크로폰과 같은 입력 장치는 각각 존재 확률 결정에 유용한 입력을 제공할 수 있다. 만일 프로세서에서 사용자가 이미지 내에 존재한다고 판단하면, 사용자가 존재하는 것으로 판단된 표시가 프로세서에서 메인 프로세서로 송신되고 메인 프로세서는 표시에 기초하여 컴퓨팅 시스템의 상태를 변경한다.

많은 실시예가 개시되지만, 당업자에게는 다음의 상세한 설명으로부터 본 발명의 또 다른 실시예도 명백해질 것이다. 이해되는 바와 같이, 이러한 실시예는 모두가 이러한 실시예의 정신 및 범주로부터 벗어남이 없이 다양한 양태로 변형이 가능하다. 따라서, 도면 및 상세한 설명은 본질적으로 제한 없이 예시적인 것으로 간주되어야 한다.

도 1은 사용자 존재 감지 기능을 갖는 일례의 컴퓨팅 장치를 예시한다.
도 2는 도 1의 컴퓨팅 장치의 블록도이다.
도 3은 관심 객체(an object of interest)가 존재 센서(presence sensor)로부터 다른 거리에 위치한 경우의 존재 감지 결과를 보여주는 플롯이다.
도 4는 관심 객체가 센서로부터 소정 각도 오프셋된 경우의 존재 감지 결과를 보여주는 다른 플롯이다.
도 5는 단계적(tiered) 존재 센서 시스템을 동작시키는 일례의 방법을 예시하는 플로우차트이다.
도 6은 사용자의 존재를 판단하는 방법을 예시하는 플로우차트이다.
도 7은 존재 감지에 사용하기 위한 피부색(skin tone) 검출 루틴을 예시하는 플로우차트이다.
도 8은 존재 감지에 사용하기 위한 얼굴 인식(face recognition) 루틴을 예시하는 플로우차트이다.
도 9는 존재 감지에 사용하기 위한 모션(motion) 검출 루틴을 예시하는 플로우차트이다.
도 10은 단일 프레임 모션 검출을 위해 윈도우(window)로 분할된 프레임을 예시한다.
도 11은 단일 프레임 모션 검출을 위한 일례의 방법을 예시하는 플로우차트이다.
도 12는 사용자가 장치에 근접하여 위치할 확률(probability)을 결정하는데 이용되는 다중 동시적 비동기(concurrent asynchronous) 센서용 일례의 방법을 예시하는 플로우차트이다.

일반적으로, 본 명세서에서 설명된 실시예들은 사용자 존재 판단(user presence determination) 및 그와 관련된 컴퓨팅 장치의 기능과 관련된다. 그러한 기능을 갖춘 컴퓨팅 장치와 상호작용하는 사용자의 경험을 향상시킬 수 있음을 인식해야 한다. 또한, 일부 실시예에서는, 본 명세서에서 설명된 실시예의 구현을 통한 전력 절감 및/또는 전력 효율이 실현될 수 있다. 본 명세서에서 사용된 바와 같은, "사용자"는 일반적으로 사람 또는 사람들을 지칭할 수 있다. 그러나, 일부 실시예에서, 시스템은 사람 이외의 객체(object)를 감지하고 그 객체의 존재에 기초하여 상태(state)를 변경하도록 구성될 수 있다.

일 실시예는 사용자의 존재 및/또는 부재를 감지하고 사용자의 존재 및/또는 부재에 기초하여 동작 상태를 제공하도록 구성된 컴퓨팅 장치의 형태를 취할 수 있다. 다른 실시예에서, 컴퓨팅 장치는 사용자가 존재하거나 존재하지 않을 가능성(likelihood) 또는 확률 점수(probability score)를 산출하고 제공할 수 있다. 일부 실시예에서는, 존재 판단을 내릴 때 복수의 파라미터들이 함께 결정되고, 가중화(weighted)되어, 이용될 수 있다. 이러한 가중 검출은 더 현명한(more informed) 고레벨 의사 결정(decision making) 알고리즘에, 또는 여러 센서로부터의 데이터를 융합(fusing)할 때 이용될 수 있다.

예를 들면, 일부 실시예에서, 컴퓨팅 장치는 사용자가 컴퓨팅 장치에 도달하거나 그 컴퓨팅 장치에 근접하게 되는 시간 및/또는 사용자가 존재할 확률을 센서 입력에 기초하여 결정하도록 구성될 수 있다. 확률을 산출함에 따라, 긍정 오류(false positives) 및/또는 부정 오류(false negatives)가 줄어들 수 있다. 원하는 성능을 성취하는 베이지언(Bayesian) 최적 임계치가 구현될 수 있다. 즉, 트리거링(triggering) 임계치는 허용(acceptable) 부정 오류 횟수에 대한 허용 긍정 오류 횟수 사이에 원하는 균형을 이루는 방식으로 설정될 수 있다. 사용자가 존재할 긍정 판단에 따라 또는 사용자가 존재할 임계 확률(threshold probability)을 성취할 때, 장치는 파워 업(power up)하고, 슬립 모드(sleep mode)를 빠져나가고, 및/또는 사용자에게 어떤 피드백을 제공할 수 있다.

일반적으로, 존재 감지 시스템의 한가지 목적은 기술을 더 지능적으로 이용하는 것일 수 있다. 예를 들면, 일부 실시예에서, 시스템 어웨이크(awake)는 사용자가 접근하는 것으로 판단되면 시작할 수 있다. 시스템 어웨이크는 시스템이 통상의 파워 업 시퀀스(power up sequence)보다 빨리 동작 모드가 되도록 축소된 집합의 루틴(routines)을 포함할 수 있다. 예를 들면, 시스템은 축소된 집합의 루틴으로 인해 6 내지 8초 대신 1/2초 내에 파워 업할 수 있다. 일부 실시예에서, 컴퓨팅 장치는 사용자가 그 장치에서 멀어지거나 그 장치의 근접에서 벗어나는 시간을 결정하도록 구성될 수 있다. 이에 응답하여, 장치는 디스플레이 슬립 모드, 시스템 슬립 모드, 화면 세이버(screen saver)의 활성화 등과 같은 전력 절감 모드(power saving mode)에 진입할 수 있다. 또한, 시스템은 사용자의 존재를 감지함에 기초하여 컴퓨터 웨이크 업(wake up) 시간을 빠르게 하기 위해 부분적으로 슬립 모드를 빠져나갈 수 있다. 또 다른 실시예에서, 디스플레이된 콘텐츠는 사용자의 상대적 위치에 기초할 수 있다. 예를 들면, 만일 사용자가 장치에 가까워지면, 장치는 제품 상세(product details)를 제공할 수 있고, 반면에 사용자가 멀어지면 장치는 아무것도 디스플레이하지 않을 수 있다.

일부 실시예에서, 장치는 또한 사용자의 움직임(movements)(예컨대, 위치 및 속도)을 추적하고, 소정의 움직임에 응답하여 피드백(feedback)을 제공하고 및/또는 동작 상태에 진입하거나 동작 상태를 변경하도록 구성될 수 있다. 예를 들면, 장치로의 움직임은 사용자 인터페이스에서 더 많은 옵션/메뉴를 제공하는 것과 같은 더 많은 기능을 활성화할 수 있고, 반면에 장치에서 멀어지는 움직임은 메뉴/옵션의 수를 감소시키고 및/또는 디스플레이되는 옵션의 크기를 감소시키거나 증가시키는 것과 같이 사용자에게 이용가능한 기능의 수를 감소시킬 수 있다. 추가로 또는 대안으로, 디스플레이는 장치로의 움직임 또는 장치에서 멀어지는 움직임에 기초하여 줌인(zoom in) 또는 줌아웃(zoom out)할 수 있다. 일부 실시예에서, 사용자의 측면 방향(lateral)(예를 들면, 왼쪽에서 오른쪽으로) 움직임은 장치에 디스플레이된 배경 및/또는 화면 세이버 이미지를 변경시킬 수 있다. 또한, 이미지의 변경은 일반적으로 감지된 모션에 상응할 수 있다. 예를 들면, 왼쪽에서 오른쪽으로의 움직임은 왼쪽에서 오른쪽으로의 모션에서 이미지를 다른 이미지로 대체되게 할 수 있다. 대안으로, 사용자가 왼쪽에서 오른쪽으로 움직임에 따라, 나무잎(leaves) 또는 커튼(drapes)은 그러한 움직임을 반영할 수 있다. 즉, 나무잎은 왼쪽에서 오른쪽으로 날아가 떨어질 수 있거나, 또는 커튼은 검출된 움직임에 상응하는 방식으로 흔들릴 수 있다.

또한, 일부 실시예에서, 사용자의 존재는 장치에 대한 사용자의 위치와 함께 소정의 기능을 제공하는데 이용될 수 있다. 일부 실시예에서, 입력 및/또는 출력은 위치에 기초할 수 있다. 예를 들면, 장치는 사용자의 위치를 향해 오디오 스테레오 패닝(panning)(예를 들면, 오디오 스티어링(steering))을 제공하도록 구성될 수 있다. 또한, 일부 실시예에서는, 사용자의 위치에 기초하여 마이크로폰 스티어링이 구현될 수 있다.

또한, 복수의 센서 및/또는 동작 상태가 단계적인(tiered) 방식으로 구현될 수 있다. 즉, 제1 동작 모드에서는 제1 센서가 동작할 수 있다. 움직임 또는 사용자 존재를 검출하면 제2 센서 등이 활성화될 수 있다. 일부 실시예에서, 제2 센서의 활성화는 장치가 제2 동작 모드에 진입하는 것과 동시에 일어날 수 있고, 반면에 다른 실시예에서는 단지 제2 센서에서 검색된 데이터에 기초하여 또는 제1 센서로부터의 데이터와 결합하여 판단이 이루어질 때까지 제2 동작 모드에 진입하지 않을 수 있다.

존재 판단은 하나 이상의 센서에 의해 수집된 데이터에 의해 이루어질 수 있다. 일 실시예에서는, 하나 이상의 센서로부터의 데이터를 이용하여 사용자가 존재하는지를 판단한다. 예를 들면, 신경망(neural net), 지원 벡터 머신(support vector machine) 또는 다른 적절한 분류기 또는 확률 결정기(probabilistic determiner)가 구현될 수 있다. 어떤 경우에는, 큰 데이터 포인트(data points) 집합이 수집되고, 분류되고 저장되어 존재 판단에 이용될 수 있다. 또한, 미래의 판단을 위해 나중에 얻은 데이터도 추가되고 이용될 수 있다.

도면으로 가서 먼저 도 1을 참조하면, 컴퓨팅 장치(100)가 예시되어 있다. 컴퓨팅 장치(100)는 일반적으로 존재 감지에 이용될 수 있는 하나 이상의 센서(102)를 포함할 수 있다. 예를 들면, 존재 감지에는 하나 이상의 카메라 및/또는 광센서가 이용될 수 있다. 비록 본 명세서에서는 존재 감지와 관련하여 일반적으로 카메라 및 광센서가 설명되지만, 초음파 센서, 마이크로파 레이더(RADAR) 등과 같은 다른 센서 형태도 역시 구현될 수 있음을 인식해야 한다. 이러한 기술 중 일부는 인간이 장치에 근접한 경우 생리적(physiological) 파라미터를 결정하는데 이용될 수 있다. 예를 들면, 레이더는 방(room)에서 심장박동(heartbeat)을 검출하고 및/또는 그 위치를 찾는데 이용될 수 있다. 또한, 다양한 기술 및 광 파장도 구현될 수 있다. 예를 들면, 근접은 깊이 센서(depth sensors)를 이용하여 결정될 수 있다. 일부의 예시적인 깊이 센서 기술은 초점맞춤(focusing) 및 초점이탈(defocusing), 액티브(active) IR 반사 전력, 액티브 IR 구조화된 광; 액티브 IR 비행 시간(time of flight)(2D+깊이), 액티브 IR 비행 시간(단일 픽셀 센서), 패시브(passive) IR(모션 검출기), 패시브 IR 열 이미징(2D), 스테레오 비전(stereo vision), 편광(polarization) 기술 등을 포함할 수 있다. 일부 실시예에서, 액티브 IR은 다중 특정 IR 파장을 이용하여 인간의 피부 반사율(reflectivity) 또는 호흡 중의 이산화 탄소(carbon dioxide)의 배출과 같은 소정의 고유 물질 특성을 검출할 수 있다. 그와 같이, 본 명세서에서 기술된 특정 실시예는 단지 예로서 제시되며 한정되지 않는다.

도 2는 도 1의 컴퓨팅 장치(100)의 블록도이다. 일반적으로, 컴퓨팅 장치는 다른 컴포넌트(예를 들면, 센서)가 연결된 마이크로프로세서/마이크로컨트롤러(104)를 포함한다. 마이크로프로세서/마이크로컨트롤러(104)는 하나 이상의 저전력 마이크로컨트롤러 그리고 센서(예를 들면, 카메라, 근접 등)에서 오는 데이터뿐 아니라, 고레벨 사용자 존재 또는 비존재 의사 결정을 위한 데이터 융합점으로 구현될 수 있다. 일부 실시예에서, 사용자 존재 판단 및 그와 관련된 데이터는 외면화되고(externalized) 장치의 메인 동작과 분리될 수 있다. 즉, 사용자 존재 시스템은 존재 감지 데이터를 메인 컴퓨터 처리 유닛(CPU)(105), 오퍼레이팅 시스템 등과 분리하여 보안 및 사생활을 제공한다.

다양한 적절한 센서는 마이크로프로세서/마이크로컨트롤러(104)에 입력/데이터를 제공할 수 있다. 구체적으로, 카메라 기반 센서(106)는 마이크로프로세서(104)와 통신가능하게 연결될 수 있다. 어떤 적절한 카메라 기반 센서도 구현될 수 있고 다양한 다른 기술도 이용될 수 있다. 예를 들면, ST 마이크로일렉트로닉스(ST Microelectronics)에서 입수가능한 카메라 센서가 이용될 수 있다. 이 카메라 기반 센서는 통합 프로세서(110)에 얼굴 검출 기능을 제공하는 풀(full) 이미지 카메라(108)를 포함할 수 있다. 즉, 이 센서는 임베디드 마이크로프로세서(110)를 구비할 수 있고 얼굴 위치 및 거리를 추정할 수 있다. 또한, 이 센서는 객체의 거리를 결정하는데 이용될 수 있다. 카메라(108)는 또한 AGC 시스템으로부터 모션 검출에 유용할 수 있는 윈도우 히스트그램(windowed histogram) 정보를 제공한다.

또한, 카메라(108)는 120도까지 또는 그보다 큰 수평 시야(a horizontal field of view) 및 120도까지 또는 그보다 큰 수직 시야(a vertical field of view)를 가질 수 있다. 일부 실시예에서는, 각도가 120도보다 큰 시야를 얻기 위해 어안 렌즈(fish eye lenses)와 같은 렌즈가 이용될 수 있다. 일 실시예에서, 수평 시야는 75-95도 사이(예를 들면, 대략 85도)에 있을 수 있고 수직 시야는 40-80도 사이(예를 들면, 대략 60도)에 있을 수 있다. 얼굴은 20피트 이상까지의 거리에서 검출될 수 있다. 일 실시예에서, 얼굴은 대략 6-14피트에서 검출될 수 있다. 얼굴 위치 데이터는 대략 0.6-1Hz 사이에서 이용가능할 수 있고 AGC 데이터는 풀 프레임 레이트(full frame rate), 대략 10-30Hz에서 이용가능할 수 있다.

일반적으로, 카메라 기반 센서(106)에 의해 캡처된 이미지 및 관련 원시(raw) 정보는 카메라 기반 센서의 외부에서 이용가능하지 않을 수 있다. 오히려, 얼굴이 센서의 기능적 범위 내에서 검출되는지에 대한 정보, 그 범위 내에서 얼굴의 위치 및/또는 얼굴의 움직임이 제공될 수 있다. 일부 실시예에서, 카메라 센서는 사용자의 존재 여부를 나타내는 이진(binary) 출력을 제공할 수 있다. 또한, 만일 사용자가 존재하면, 카메라 기반 센서에 의해, 예를 들면 x-y 좌표에서 장치에 대한 사용자의 위치가 출력될 수 있다. 또한, 이 센서는 무엇보다도 존재하는 얼굴의 수를 나타내도록(예를 들면, 존재하는 사람의 수를 나타내도록) 구성될 수 있다.

일부 실시예에서, 카메라 기반 센서(106)는 장치에 대해 원하는 동작 특성을 얻도록 다른 센서와 독립적으로 구현될 수 있다. 일부 실시예에서, 카메라 기반 센서는 단계적인 방식으로 동작하고 출력을 제공하도록 구성될 수 있다. 예를 들면, 제1 상태에서 카메라 기반 센서는 사용자의 존재를 감지할 수 있다. 만일 사용자가 존재하면, 카메라 기반 센서는 제2 상태에 진입하고 사람들이 얼마나 존재하는지를 판단할 수 있다. 그 후, 또는 동시에, 카메라 기반 센서는 존재하는 사람들의 위치를 결정할 수 있다. 카메라가 동작 상태에서 이동함에 따라, 카메라는 아래에서 더 구체적으로 설명되는 바와 같이 장치에 의해 그 장치의 상태를 변경하는데 이용될 수 있는 출력을 제공한다.

일부 실시예는 메인 카메라(103)를 이용하여 이미지를 캡처할 수 있다. 메인 카메라(103)는 장치의 사용자에 의해 비디오 및 정지 이미지를 캡처하는데 이용되는 시스템 카메라일 수 있다. 일부 실시예에서, 메인 카메라는 존재 감지에 이용되는 카메라(예를 들면, 시스템에는 많은 카메라가 있다)와 별개이고 다를 수 있는 반면, 다른 실시예에서 메인 카메라 출력은 카메라 기반 센서에 의해 전용(dedicated) 카메라를 갖는 카메라 기반 센서(106) 대신에 이용될 수 있다. 예를 들면, 일부 실시예에서는, 메인 카메라 외에, 깊이 기반 카메라가 구현될 수 있다. 깊이 기반 카메라는 어떤 적절한 형태라도 취할 수 있다. 일 실시예에서, 메인 카메라 출력은 사용자의 이용을 위해 이미지 프로세서(107)로뿐 아니라 사용자 존재 검출을 위해 카메라 기반 센서(106)의 마이크로컨트롤러로도 제공될 수 있다. 이미지 프로세서 및 사용자 검출 코프로세서(co-processor)가 사용자가 이용가능한 메인 카메라와 어떻게 데이터를 통신하고 그로부터 어떻게 데이터를 만들 수 있는지에 대해 여러 옵션이 있을 수 있다. 예를 들면, 사용자가 존재하지 않는 경우, 메인 카메라로부터의 출력은 존재 감지 판단을 위해 주로 마이크로컨트롤러에 의해 처리될 수 있다. 이러한 상태에서, 카메라로부터의 데이터는 일반적으로 시스템의 다른 컴포넌트에 이용가능하지 않을 수 있다. 사용자가 존재하는 경우, 메인 카메라로부터의 출력은 이미지 프로세서(107)로 제공될 수 있다. 그러나, 이미지 데이터/정보를 이용가능하게 하기 위해, 사용자는 카메라 기반 애플리케이션(예를 들면, 비디오 채팅(chat) 애플리케이션, 또는 이미지 캡처 프로그램 등)에 액세스해야 할 수 있다. 그렇지 않으면, 일반적으로 카메라로부터의 이미지 데이터에 액세스하지 못할 수 있다.

하나 이상의 카메라뿐 아니라 통상의 카메라 및 이미지 처리 기능을 이용하여 원하는 존재 감지가 가능한 많은 다른 구성이 있을 수 있음을 인식해야 한다. 예를 들면, 일 실시예에서, 메인 카메라 출력은 통상의 이미지 처리 기능 및 사용자 존재 검출 기능을 결합한 단일 칩으로 라우트될(routed) 수 있다. 다른 실시예에서, 카메라로부터의 비디오 출력은 중앙 처리 유닛에 의해 처리하기 위해 호스트로 스트리밍(streamed)될 수 있다.

근접 센서(112)와 같은 제2 센서는 또한 마이크로프로세서(104)에 접속될 수 있다. 일부 실시예에서, 컨트롤러(114), 멀티플렉서(116) 및 발광 다이오드 어레이(118)는 근접 센서(112)와 함께 동작할 수 있다. 특히, 컨트롤러(114)는 멀티플렉서(116) 및 LED(118)의 동작을 시분할 다중화(TDM) 방식으로 제어하도록 구성될 수 있다. LED의 TDM 교번(alternating)에 따라 바람직한 응답을 얻기 위해 적절한 필터가 구현될 수 있다. 다른 실시예에서, 하나 이상의 LED를 다중화하여 다른 시야를 커버하기 위해 기계 장치(예를 들면, 마이크로 전기 기계 장치)가 이용될 수 있다.

LED(118)는 어떤 적절한 범위의 파장에서 동작할 수 있고, 일례에서, 전자기 스펙트럼의 근적외선 영역(near infrared region)에서 동작할 수 있다. LED(LED1-LEDN)는 각각 특정 시야를 겨냥(directed)할 수 있다. 일부 실시예에서, 각 LED(118)는 개별 시야를 겨냥할 수 있는 반면, 다른 실시예에서 인접한 LED의 시야는 중첩할 수 있다. 일부 실시예에서, LED 어레이(118)는 컴퓨팅 장치의 베젤(bezel) 주위에 LED를 분산시킬 수 있다. 다른 실시예에서, LED 어레이(118)는 LED가 서로 다른 시야를 커버하도록 방향적으로 배치된 (예를 들면, 디스플레이 화면 베젤의 곡선 부분에 걸쳐) 행(row)으로 구성될 수 있다.

일 실시예에서는, 시야의 평균값(예를 들면, 근접을 나타내는 값)을 얻어 객체가 장치(100)에 근접한지를 판단하는데 이용할 수 있다. 만일 평균값이 임계값을 초과하면, 객체가 장치(100)의 근접 내에 있다고 나타낼 수 있다. LED 어레이(118)를 이용하면, 근접 센서는 넓은 시야에 걸쳐 좀 더 정확하게 근접을 검출할 수 있다. 각 LED가 다른 시야를 겨낭하기 때문에, 객체의 위치는 또한 근접 센서(112)를 이용해서도 결정될 수 있다. 그와 같이, 다른 실시예에서는, 추정된 빈 장면(presumed empty scene)으로부터의 근접값(proximity value)의 변경이 결정될 수 있다. 다양한 센서에 걸쳐 가장 큰 변경(또는 어떤 등급(rank))이 검토될 수 있고 이 값은 임계치와 비교하여 근접 및/또는 위치를 결정할 수 있다.

일부 실시예에서, 카메라 기반 센서(106) 및 근접 센서(112)는 마이크로프로세서(104)와 함께 사용자가 컴퓨팅 장치(100)에 근접한지를 판단하는데 이용될 수 있다. 다른 목적 및/또는 기능 중에서, 전력 절감을 제공하거나, 사용자 경험을 향상시키거나 또는 원하는 특정 사용자 경험을 제공하기 위해, 단계적인 감지 시스템이 구현될 수 있다. 특히, 단계적인 감지 시스템은 제1 센서를 동작시켜 먼저 컴퓨팅 장치의 임계 거리 내에서의 사용자의 존재를 판단하여 전력 절감을 제공할 수 있다. 일부 실시예에서, 임계 거리는 장치(100)의 2-10피트(예를 들면, 5피트) 내에 있을 수 있다. 또한, 일부 실시예에서, 제1 센서에서 수집된 데이터는 사용자의 상대적인 위치를 결정하는데 이용될 수 있다.

이러한 단계적인 시스템에서, 만일 사용자가 존재하면, 제2 센서가 활성화될 수 있다. 제2 센서로부터의 데이터는 단독으로 또는 제1 센서로부터의 데이터와 결합하여 사용자/사람 및/또는 사용자의 위치를 더 식별하는데 이용될 수 있다. 제1 및 제2 센서 양자로부터의 데이터는 어느 기능을 수행할지 및/또는 사용자가 무엇을 하는지 판단하는데 함께 이용될 수 있다. 예를 들면, 사용자가 장치에 얼마나 가까운지, 즉 사용자가 장치를 향하는지, 사용자가 장치에서 멀어지게/장치를 향해 이동하는지 등등이 판단될 수 있다. 또한, 그러한 데이터는 사용자를 (예를 들면, 크리덴셜받은(credentialed) 사용자로서) 식별하는데 이용될 수 있다.

컴퓨팅 장치(100)의 상태는 사용자가 존재한다는 판단에 기초하여 변경될 수 있다. 예를 들면, 만일 사용자가 장치에 접근한다면, 디스플레이는 어웨이크(awake)될 수 있고, 시스템은 어웨이크될 수 있다 등등. 만일 사용자가 왼쪽에서 오른쪽으로 이동하고 있다면, 디스플레이된 이미지는 변경될 수 있고 일반적으로 사용자의 움직임에 대응하게 이동할 수 있다. 또한, 만일 많은 사용자가 (많은 얼굴의 존재를 식별함에 기초하여 판단되는 바와 같이) 존재한다면, 장치(100)는 보안 상태로 전력공급될 수 있고 장치에 충분히 액세스하도록 사용자 크리덴셜의 입력을 필요로 할 수 있다.

존재 판단은 신경망, 지원 벡터 머신(SVM) 또는 다른 머신 학습 기반 분류기 또는 확률 결정 시스템에 이용되는 많은 요인에 기초할 수 있다. 예를 들면, 피부색/컬러, 존재 및 움직임은 존재 판단을 하는 신경망과 함께 가중된(weighted) 방식으로 이용될 수 있다. 전술한 바와 같이, 존재 판단에 기초하여, 장치(100)는 동작 상태에 진입하고/동작 상태를 변경할 수 있다.

사용할 특정 센서의 선택은 예를 들면 원하는 기능 및 소비 전력 제한을 포함하여 다양한 요인에 종속할 것이라는 것을 인식해야 한다. 그와 같이, 일부 실시예에서, 카메라 기반 센서(106)가 제1 단계(tier) 센서로 구현될 수 있는 반면, 다른 실시예에서는, 근접 센서(112)가 제1 단계 센서로 이용될 수 있다. 근접 센서(112)와 같은 근접 센서를 구현하는 좀 더 구체적인 설명은 아래에서 제공된다.

센서(112)는 어떤 적절한 주파수에서 광을 초핑(chop)하고 반사되어 되돌아온(returned reflected) 광신호의 위상 시프트(phase shift)를 측정할 수 있다. LED(118)의 출력은 구형파(square waves) 또는 다른 파형일 수 있고, 센서(112)는 I/Q 복조 방식을 이용한다. 센서(112)에서 오는 광은 사인파(sine wave) 및 코사인파(cosine wave)와 혼합되어, I(동위상(in-phase)) 성분 및 Q(직교(quadrature)) 성분을 제공한다. 사인/코사인파는 LED 변조와 동기화된다. 이들은 센서로부터의 '원시' 출력에 해당하고, 만일 다른 내부 측정 방법이 존재한다면, 그것은 이러한 방식으로 변환될 수 있다. 일반성의 손실 없이, 주기가 2π이고, 그 주기 전체에 걸쳐 적분(integration)이 일어난다고 가정할 수 있다. 실제로, 고정 주기가 이용될 수 있고 그 주기의 어떤 큰 배수에 걸쳐 적분할 것이다. 이러한 차이는 고정 스케일 인자를 낳고, 이는 무시될 수 있다. 기본적인 측정 성분은 다음과 같다.

만일 전체 시야를 취급하는 센서(112)로부터 일정(방사) 거리에 있는 객체를 측정하는 경우, 위상 오프셋이

이고 크기가 A인 동일 주파수의 구형파 입력 신호는 I 및 Q 성분이 다음과 같다.

그리고,

이다.

다음에,

값은 다음과 같이 구할 수 있다.

다음에 M은 다음과 같이 재구성될 수 있다.

센서의 시야 내에 두 객체(A 및 B)가 존재한다고 가정하면(그 각각은 일정 거리에 있음), 이들 거리와 연관된 위상 시프트는

및

로 나타낼 수 있다. 반사 신호의 크기는 A 및 B로 규정될 수 있다. 이 경우, 입력 광신호가 추가되므로, 적분이 있고, 따라서 I는,

이다.

마찬가지로, Q의 경우,

이다.

세기가 시간의 경과에 따라 변하지 않는 광원은 I 및 Q 성분에 제로 기여도(zero contribution)를 제공할 것이다. 이러한 특성은 우수한 주변광 배제(ambient light rejection)를 제공한다. 또한, 이러한 특성은 서로 다른 거리에 있는 객체로부터의 위상 오프셋으로 인해 제거(cancellation)될 수 있다. 1/0 구형파 복조(one/zero square wave demodulation)를 이용하면, 이러한 정보는 유지될 수 있지만 주변광 배제가 악화될 수 있다. 이러한 복조 방식으로 약간 다른 수식을 얻을 수 있지만, 최종 결과는 유사할 것이다. 다음에서, I/Q 앞에서 2라는 인자는 다른 스케일 인자에서 흡수될 것이기 때문에 생략(drop)될 것이다.

약간의 단순화가 이루어질 수 있고 장면 내 객체의 함수로서의 센서 출력에 대한 기본적인 모델이 제안된다. 별개의 경우도 구현예에 더 잘 따르기 때문에 별개의 경우도 개발될 것이지만, 다른 경우도 역시 구현될 수 있다. LED/센서 시야는 1 내지 N으로 인덱스된 N개의 섹션으로 분할될 수 있다. 이들 섹션 각각은 Ω_i라는 입체각(solid angle)을 갖는다. 또한, 이들 입체각 각각은 고정 반사율(

)을 갖고, 고정 방사 거리(r_i)에 있다. 또한, LED로부터의 출력은 스테라디안(steradian)(I_i) 당 방출 세기(emitted intensity)를 갖는 소정의 입체각 전체에 걸쳐 일정하다. 소정의 거리에 대한 위상 시프트는

로 규정된다.

이러한 모델로부터, 센서에서 소정의 입체각으로부터의 (I_i,Q_i) 기여도가 얻어질 수 있다. 또한 I/Q 공간에서 극(polar) 좌표계를 규정하는 것이 유용하다. IQ 벡터의 크기는 M_i로 규정되고, 각도

는 이미 규정되었다.

(I_m,Q_m)은 모두 측정된 (원시) I 및 Q 값으로 규정될 수 있다. 하나 이상의 항(I_c,Q_c)을 추가하여 어떤 일정한 크로스토크(전기 또는 광)를 표현할 수 있다. 마지막으로,

이다.

일반적으로, 사용자가 장치에 근접하여 위치하는지를 판단하기 위해서는, 장치가 배치된 환경을 이해하는 것이 유리할 수 있다. 이는 긍정 오류를 줄이는데 도움이 될 수 있으며 사용자가 장치(100)의 근접에 진입하거나 빠져나가는 시간을 좀 더 정확하게 결정할 수 있다. 그러나, 배경(background) 모델을 생성하는 것은 센서(112)에 의해 제공되는 상대적인 정보의 부족으로 인해 많은 과제를 제기한다. 유용한 모델을 규정하기 위해서는, 몇 가지 단순화 가정이 이루어질 수 있다. 먼저, 단일 센서의 모델의 계산이 처리된 다음 여러 센서의 경우가 처리될 것이다.

근본적으로, 두 가지 형태의 객체가 센서(112)와 같은 특정 근접 센서에 의해 제공되는 거리 측정에 영향을 미친다. 사람에 의해 가려질 수 없는 객체가 있고, 사람에 의해 가려질 수 있는 객체가 있다. 전자는 '전경(foreground)' 객체로 지칭되고 후자는 '배경(background)' 객체로 지칭될 것이다. 물론, 객체는 사람에 대해 어떻게 위치하는지에 따라 두 부류에 속할 수 있다. 우선, 장면은 이들 두 형태의 객체로 분할될 수 있다. 일반적으로, 과제는 장면 내에서 들어가고 나가는 사람들과 같은 동적 객체(dynamic objects)까지의 거리를 측정하는 것이다. 이들 객체를 성공적으로 측정하기 위해, 장면 내 정적 객체(static objects)에 대한 정확한 모델이 생성되고 이들과 동적 객체와의 관계가 모델링된다.

먼저, (I_p,Q_p)는 측정되는 객체와 연관된 신호로 규정된다. (I_m,Q_m) 및 (I_c,Q_c)는 각각 측정된 (원시) 및 크로스토크 값으로 계속 이용될 수 있다.

빈 장면(Empty Scene)

하나의 모델은 전경 또는 배경 객체가 없고, 신호는 모두 장면 내 사람에 기인한 것이라고 가정한다. 가장 순수한 형태에서는, 공장 교정(factory calibration)/크로스토크 값이 다음과 같이 이용될 수 있다.

이 모델은 거리 출력을 생성하는데 이용될 수 있다. 전경 객체가 없는 장면의 경우, 이 모델은 항상 거리를 과대 평가할 것이다. 이 모델은 장치의 수명 동안 정확한 공장 교정값에 의존한다는 점을 주목하자. 이 모델은 스머지(smudge)/ 등으로 인해 추가된 크로스토크를 설명하지 못할 수 있다.

일단 정적 오프셋이 관측되면, 그 정적 오프셋은 전경 및 배경 객체의 어떤 조합으로 모델링된다. 이러한 정적 오프셋을 어떻게 분산시킬지에 대한 선택은 I_p 및 Q_p의 추정치(estimate)에 강한 영향을 미친다.

전경 단독(Foreground Only)

정적 오프셋을 설명하는 한가지 방법은 그 정적 오프셋이 모두 전경 객체에 기인한다고 가정하는 것이다. 온도 또는 스머지로 인한 크로스토크 변화와 같은 효과는 이 부류에 속한다. 전경 객체는 정의에 따르면 사람의 존재와 관계없이 신호에 일정하게 기여한다. 순수한 전경 모델에서, 전경 객체의 공간 분포는 관련이 없고, 전경이 아닌 무엇이든 관심 객체인 것으로 가정한다. 전경으로부터의 신호를 (I_fg,Q_fg)로 규정하자. 이 모델은 다음을 함축한다.

(I_fg+I_c,Q_fg+Q_c)는 장면 내에 관심 객체가 없는 측정된 센서 기록(reading)임을 주목하자. 이는 표준 '기준치 감법(baseline subtraction)' 모델이다.

부분 폐색을 갖는 균일한 배경(Uniform Background with Partial Occlusion)

이 모델의 경우, 배경은 균일한 거리에 있고 균일한 반사율을 갖는다고 가정한다. 또한, 객체는 시야를 수직으로 가린다고 가정한다. 각도를 갖는 LED 폴 오프(falloff)는 l(θ)로 규정된다. 폭 w가 고정된 단일 객체는 고정 위치에서 각도 섹션 △θ_p에 대응하는 것으로 가정한다. 객체의 중심 위치는 θ_p라는 각도 항으로 규정된다.

일반적인 모델은 전술하였다. 이 모델의 경우, 면적은 순전히 폭의 함수이고, 입사광은 l(θ)로 규정되며, 거리/반사율은 일정하지만 알려지지 않았다.

편의상, 다음과 같이 규정한다.

, 및

L(θ_p;△θ_p)는 관심 객체에 의해 규정된 입체각을 겨냥한 LED로부터의 광의 일부분을 나타내고, L_total은 총 광출력을 나타내며, R(θ_p;△θ_p)은 배경에 비친(cast) 총 광의 일부분을 나타낸다.

관심 객체로부터 센서에 도달한 광의 크기는 L(θ_p;△θ_p)에 비례한다. 비례 상수를 θ_p, 그리고 관심 객체까지의 거리와 연관된 위상 오프셋을

로 규정할 것이다. 이는 다음과 같이 주어진다.

마찬가지로, 배경으로부터 센서에 도달하는 광의 크기는 R(θ_p;△θ_p)에 비례한다. 비례 상수는

, 그리고 배경 거리와 연관된 위상은

로 규정된다. 이는 다음과 같이 주어진다.

요약하면,

다음과 같은 측정을 가정하자.

, 및

만일 각도 θ_p 및 폭 w가 알려지거나 가정할 수 있다면, 이 연립 방정식은 풀 수 있다.

부분 폐색을 갖는 균일한 배경 및 균일한 전경(Uniform Background and Uniform Foreground with Partial Occlusion)

이 모델의 경우, '부분 폐색을 갖는 균일한 배경' 모델에서 시작하고, 이를 구축하고, 균일하면서 관심 객체에 미치는 영향이 공간적으로 변하지 않는 전경 성분을 추가시킨다. 전경 성분은 공간적으로 변하지 않고, 관심 객체의 존재에 의해 영향을 받지 않기 때문에, 전경 객체의 크기 및 위상을

및

으로 규정한다. 이제, 전경의 경우,

, 및

이다.

이를 단순히 이전 모델에 추가하여 다음을 얻는다.

, 및

빈 장면에서 다음과 같이 측정될 수 있다고 가정하자.

, 및

이전의 경우와 비교하여 추정된 두 변수를 더 추가할 수 있다.

구획된 배경, 균일한 전경(Sectioned Background, Uniform Foreground)

이 모델은 수평 시야를 각각이 균일한 전경/균일한 배경으로 모델링되는 일련의 섹션 1...S로 분할한다. 첨자 s는 변수가 속하는 섹션을 나타내기 위해 추가된다. 배경 섹션에서 시작하여, 폭 w가 각도 섹션 △θ_p, 및 각도 위치 θ_p에 해당하는 장면 내에 객체가 존재한다고 가정하자. R 함수를 국지적으로(sectionally) 재규정하여 관심 객체에 의한 폐색 후에 배경에 비친 광의 일부분을 표현한다. 이는 R^s로 지칭될 수 있다.

이제 다음과 같이 규정한다.

, 및

전경 신호는 장면 내 객체에 의해 변경되지 않기 때문에, 이를 국지적으로 모델링할 필요가 없다. 그러나, 전경은 관심 객체를 섹션들에 걸쳐 변화하는 각도로 폐색시킬 수 있다. 이는 많은 다른 방식으로 모델링될 수 있고, 그 중 가장 깨끗한 것은 각 전경 섹션마다 '폐색 인자' F^s를 연관시키는 것이다. 또한, L^s는 섹션 s에서 관심 객체를 조명하는 LED에서 출력된 총 광의 일부분으로 규정된다. 이제 다음과 같다.

, 및

균일한 전경의 경우, Fs는 모든 섹션에 대해 1과 같고 수식은 비구획된 전경의 경우로 다시 축약된다. 요약하면 다음과 같다.

, 및

여기서, 배경에 대해서는 섹션 당 두 개의 변수가 추가되고, 전경 폐색에 대해서는 섹션 당 하나의 변수가 추가된다. 전경 객체로부터의 폐색 효과는 무시될 수 있고, 단지 가외의 배경 변수만 추가된다.

시야가 중첩하는 두 개의 센서(Two Sensors with Overlapping Fields of View)

시야가 중첩하는 두 개의 센서가 이용될 수 있다. 단지 시야의 중첩 부분만을 고려하여 이 영역에서 어떤 종류의 정보를 얻을 수 있는지를 검토하고, 여기서 각 센서는 자신의 L(θ_p;△θ_p)를 갖고, θ_p는 전역 좌표계를 가리킨다고 가정한다. 이들은 L¹및 L²로 지칭될 수 있고, 첨자를 이용하여 센서를 나타낼 수 있다. 또한, 두 개의 센서는 자신들의 감도(sensitivity) 및 LED 출력이 다를 수 있고, 이로 인해 중첩하는 시야 내 동일 객체의 측정을 위해 스케일 인자 오차(scale factor error) α가 주어진다고 가정한다. 또한, 관심 객체와의 거리 및 신호 크기에 대해 1/d²관계를 갖는다고 가정한다. 또한, 객체는 고정 반사율

및 고정 폭 w를 갖는다고 가정한다.

,

θ_p 및 d는 두 센서의 측정 사이의 공통 값이고 관심 객체에 특정하다는 것에 유의한다. d와

사이의 관계가 잘 규정되어 있다 - 본 명세서의 일례의 섹션을 참조바람. 여기서, α는 두 센서/LED 사이의 일정한 감도차이며, 이는 그 센서들의 수명 동안 저속으로 변화되어야 한다. 이러한 규정은 다음과 같다.

, 및

이들 수식은 Ip 및 Qp에 대해 배경 단독 부분 폐색 모델로 대체될 수 있고

및

에 대한 수식을 생성할 수 있다. 다음과 같은 다섯 가지 알려지지 않은 것이 있다.

· α

·

· θ_p

·△θ_p

또한, 네 개의 수식이 존재하고, 그러므로 이들 값들 중 하나가 알려지기만하면(또는 가정할 수만 있다면), 나머지는 잠재적으로 산출될 수 있다. 먼저 α 및 △θ_p를 양호하게 추측할 수 있다고 가정하는 것은 타당하다. 예를 들면, 일단 카메라 기반 센서(106)와 같은 다른 센서가 제공된다면, θ_p 및

는 바로 측정될 수 있다. 불행하게도, 이들 수식은 비선형이므로, 이러한 제약 내에서 유일해(unique solution)가 존재한다는 것을 증명하는 어떤 작업이 여전히 수행될 수 있다. 이러한 추정 프로세스를 성취하기 위해, 많은 추정 방식 중 어떤 추정 방식이 이용될 수 있다. 그 예는 확장 칼만(Kalman) 필터, 시그마-포인트(sigma-point) 칼만 필터, 또는 직접 추정을 이용하는 것을 포함할 수 있다.

배경 단독 부분 폐색 모델의 일례의 구현(Example Implementation of Background Only Partial Occlusion Model)

10도 LED 센서(112)에 의한 폴 오프 투영(falloff cast)은 백색 벽(white wall)을 배경으로 이미지화되었다. 그의 수평 방향으로 투영된 폴 오프는 대략 표준 편차가 거의 12도인 가우시안(gaussian)이다. 그 원형은 12피트에 배경막(backdrop)이 있는 비교적 어두운 빈 방의 바닥 위 약 3.5피트에 두었다.

크로스토크는 센서(112)를 커버하는 블랙 펠트 배플(black felt baffle)로 측정되었다. 제로 위상 오프셋은 반사성 배플로 측정되었다. 명목상(nominal) '개방(open)' 배경이 캡처되었다. 센서 데이터는 10피트 벗어나 있는 LED에서 오프셋이 0도인 센서(112)에서 벗어나 1피트 증분 단위로 서 있는 사람에서 수집되었다. 센서 데이터는 5피트의 방사 거리에서 5도 증분 단위로 -15도에서 +15도까지 수집되었다. 펠트 측정은 본질적으로 크로스토크를 측정하기 때문에 (I_c;Q_c)로 지칭될 수 있다. 반사성 배플 측정은 (I_o;Q_o)로 그리고 개방식 측정은 (I_open;Q_open)로 지칭될 수 있다. 마지막으로, 장면 내 관심 객체와의 원시 측정은 (I_m;Q_m)로 그리고 추정될 관심 객체 신호는 (I_p;Q_p)로 지칭될 수 있다. L(θ_p;△θ_p)은 특정 형태가 다음과 같이 되는 전술한 가우시안 분포를 전제로 하여 모델링되었다.

여기서 "erf"는 오차 함수이다. 또한 다음과 같이 규정한다.

및

여기서

는 위상 델타(phase delta)에서 거리(distance)로의 변환이고, △θ_p는 폭이 2피트인 사람을 전제로 하여 산출된다. 이제, 연립 방정식은 다음과 같이 설정될 수 있다.

, 및

여기서, L(θ_p;△θ_p)은 △θ_p 및 L(θ_p;△θ_p)에 대한 전술한 수식을 이용하여 표현된다. θ_p를 알려진 값으로 간주하고, 비선형 연립 방정식을 수치적으로 푼다. 도 3 및 도 4의 플롯에는 실제 데이터 결과가 도시되어 있다. 도 3에서, 선 120은 보정되지 않은 것을 나타내고, 선 122는 보정된 데이터를 나타낸다. 도 4에서, 선 130은 보정되지 않은 것을 나타내고, 선 132는 보정된 데이터를 나타내고, 선 134는 실제 거리를 나타낸다.

단일 센서(112)를 다양한 배경 모델로 계산함에 따라, 다중 센서가 통합 위치 모델로 결합될 수 있다. 전술한 바와 같이, 일 실시예에서는 다중 근접 센서가 구현될 수 있다. 다른 실시예에서는, 원하는 시야를 제공하기 위해 다중 LED가 TDM 방식으로 이용될 수 있다. 카메라 기반 센서를 통합하려면 모든 관심 파라미터를 추정해야 한다.

도 5는 다중 센서를 단계적 방식으로 이용하여 장치의 상태를 변경하는 방법(300)을 예시한다. 먼저, 장치는 슬립 모드와 같은 소비 전력 저감 모드에 있을 수 있고, 컨트롤러는 제1 센서로부터 데이터를 수신할 수 있다(블록 302). 수신된 데이터는 처리되고(블록 304) 임계치와 비교된다(블록 306). 임계치와 비교하면 사용자가 존재하는지 존재할 가능성이 있는지에 대해 판단이 가능하다(블록 308). 만일 사용자가 존재하지 않는다면, 제1 센서로부터 데이터가 계속 수신될 수 있다(블록 302). 그러나, 만일 사용자가 존재하거나 존재할 가능성이 있는 것으로 판단되면, 제2 센서가 작동될 수 있고(블록 310) 제2 센서로부터 데이터가 수신된다(블록 312). 제2 센서로부터의 데이터가 처리되고(블록 314) 제1 센서로부터의 데이터와 결합된다(블록 316). 제1 및 제2 센서로부터의 데이터의 처리는 존재 판단에 유용하도록, 다음으로 한정되지 않지만, 데이터 필터링, 데이터 스케일링, 및/또는 일반적으로 데이터 컨디셔닝과 같이, 그 데이터에 대해 디지털 신호 처리를 수행하는 것을 포함할 수 있다. 또한, 제1 및 제2 센서로부터의 데이터의 결합은 데이터를 함께 저장하고 및/또는 그 데이터를 논리적으로 또는 수학적으로 결합하는 것을 포함할 수 있다.

제1 및 제2 센서로부터의 데이터를 이용하여 사용자 존재값(user presence values) 및/또는 사용자 존재 확률 점수(probability of user presence scores)를 산출한다(블록 318). 사용자 존재값 및/또는 사용자 존재 확률 점수는 임계치와 비교하여 사용자가 존재하는지 판단한다(블록 322). 또한, 만일 사용자가 존재하는 것으로 판단되면, 장치에 대한 사용자의 거리 및 위치와 같은 다른 파라미터가 결정될 수 있고(블록 324) 장치의 상태가 변경될 수 있다(블록 326). 이러한 상태 변경은 장치를 슬립 모드로부터 어웨이크 모드로 이동하는 것 또는 다른 적절한 상태 변경을 포함할 수 있다.

또한, 다른 파라미터(예를 들면, 거리, 위치 등)뿐 아니라 장치의 상태 변경의 결정은 블록(308)으로부터의 점선으로 표시된 바와 같이 단지 제1 센서 데이터에 기초하여 사용자 존재에 대한 긍정적인 판단 후에 일어날 수 있음을 인식해야 한다.

또한, 사용자 존재의 제2 판단(블록 320)은 제2 센서로부터 제공된 추가 정보에 기초하여, 제1 판단(블록 308)보다 더 정확할 수 있다. 또한, 전술한 바와 같이, 추가 파라미터는 제1 및 제2 센서 양자로부터의 데이터의 결합에 기초하여 결정될 수 있다.

다른 실시예는 방법(300)보다 더 많거나 더 적은 단계를 구현할 수 있음을 인식해야 한다. 도 6 내지 도 11은 존재 판단 방법의 좀 더 구체적인 플로우차트를 예시한다.

도 6을 참조하면, 존재 감지를 예시하는 플로우차트(200)가 예시되어 있다. 먼저, 카메라를 이용하여 이미지를 획득한다(블록 202). 조도(light level) 판단이 수행되어(블록 204) 피부색 검출 루틴(블록 206)에 제공될 수 있다. 선택적으로, 일부 실시예에서, 조도 판단은 화살표(203)로 표시된 바와 같이 다른 루틴에도 제공될 수 있다. 또한, 캡처된 이미지는 전처리(pre-process)될 수 있다(블록 208). 어떤 경우에, 전처리는, 예를 들면, 이미지를 다운 스케일링하고, 이미지의 색 공간(color space)을 변경하고 및/또는 이미지를 향상시키는 것을 포함할 수 있다. 다른 검출기 특정 전처리 또한 수행될 수 있다(블록 214, 215 및 217). 예를 들면, 이미지는 선택적으로 피부색 검출 루틴(블록 206)에 제공되기 전에 블록(214)에서 전처리에 의해 흐릿해질(blurred) 수 있다. 또한, 블록(215)에서 전처리는 이미지를 얼굴 검출 루틴(블록 210)에 제공하기 전에 컬러를 그레이스케일로 변경하고 및/또는 이미지를 움직임 검출 루틴(블록 212)에 제공하기 전에 블록(217)의 전처리에서 에지 검출을 수행하는 것을 포함할 수 있다. 깊이 이미지는 이를 세그멘팅하여 전처리될 수 있고 세그먼트된 부분은 입력으로서 검출기로 제공될 수 있다. 피부색 검출 루틴, 얼굴 검출 루틴 및 움직임 검출 루틴에 대해서는 아래에서 도 7 내지 도 11을 참조하여 좀 더 구체적으로 설명된다.

융합 및 검출 로직(블록 216)을 이용하여 피부색 검출 루틴, 얼굴 검출 루틴 및 움직임 검출 루틴의 결과에 가중치가 부여되어 결합될 수 있고, 사용자 존재 분류가 결정된다(블록 218). 융합 및 검출 로직은 신경망, 지원 벡터 머신, 및/또는 어떤 다른 형태의 확률 머신 학습 기반 알고리즘을 이용하여 사용자가 존재하는지에 대한 판단에 도달하는 것을 포함할 수 있다. 도 7은 피부색 검출 루틴(블록 206)을 저조도(low light) 판단(블록 204)에서 시작하는 플로우차트로 예시한다. 저조도 판단은 이미지의 처리에 영향을 주는 다양한 다른 방식으로 이용될 수 있음을 인식해야 한다. 예를 들면, 일부 실시예에서, 저조도 판단은 벡터로서 신경망에 제공될 수 있는 반면, 다른 실시예에서 저조도 판단은 이용될 특정 형태의 분류기를 선택하는데 이용될 수 있다. 즉, 만일 이미지가 저조도에서 취해지지 않았다고 판단하면, 특징 벡터(feature vectors)가 생성될 수 있고(블록 220), 제1 픽셀 분류기가 적용된다(블록 222). 만일 이미지가 저조도에서 캡처되었다면, 다른 특징 벡터 집합이 생성될 수 있고(블록 224) 제2 픽셀별(per pixel) 분류기가 적용될 수 있다(블록 226). 특징 형태, 예를 들면, 컬러 변환 등은 원하는 결과를 얻기 위해 선택적으로 제공될 수 있고 저조도 판단에 따라 다를 수 있다. 또한, 제1 및 제2 픽셀별 분류기는 저조도 판단에 기초하여 다를 수 있다. 예를 들면, 제1 분류기는 픽셀별 7-5-2 다층 퍼셉트론(MLP:multilayer perceptron) 피드 포워드(feed forward) 신경망 분류기일 수 있는 반면, 제2 분류기는 픽셀별 2-12-2 MLP 피드 포워드 신경망 분류기일 수 있다. 일부 실시예에서, 이러한 분류기는 프로세스를 빠르게 하는데 도움이 되는 GPU를 갖는 개방형 커널로 구현될 수 있다.

이러한 분류기로부터의 출력은 이미지가 피부색을 포함할 확률을 나타내는 확률(예를 들면, 0과 1 사이의 값)일 수 있다. 이미지에는 모폴로지(morphology) 필터가 선택적으로 적용될 수 있고(블록 228) 평균 그레이스케일 레벨이 산출될 수 있다(블록 230). 또한, 피부색 검출(블록 238)에 따른 사용자 존재의 확률을 결정하기 전에 비선형 스케일링(블록 232), 시간 큐(temporal queue) 필터(블록 234) 및 클램프(블록 236)가 적용될 수 있다.

도 8은 얼굴 검출 루틴(블록 210)을 얼굴 검출기를 적용(블록 240)하는 것으로 시작하는 플로우차트로 예시한다. 예를 들면, 비올라 존스 캐스케이드 얼굴 검출기(Viola-Jones cascade face detector)와 같이 얼굴이 존재할 가능성을 나타내는 확률 점수를 제공하는 어떤 적절한 얼굴 검출기가 구현될 수 있다. 다음에, 얼굴 존재 점수는 스케일링되고(블록 242) 단속적(intermittent) 검출 플리커(flicker) 필터가 선택적으로 적용(블록 244)되어 이미지를 평탄화(smooth)할 수 있다. 카메라가 비교적 우수한 품질을 갖는 경우와 같은 일부 실시예에서, 평탄화는 프로세스에서 생략될 수 있음을 인식해야 한다. 플리커 필터는 시간 큐 필터(블록 246), 평균으로부터의 정규화된 점수 편차가 임계치보다 작은지에 대한 판단(블록 248), 그런 다음 출력값과 스케일링된 점수의 곱셈(블록 250)을 포함할 수 있다. 시간 큐 필터(블록 252) 및 클램프(블록 254)는 얼굴 검출에 따른 사용자 존재의 확률(블록 256)을 결정하기 전에 적용된다. 몸체(body) 검출기 또는 몸체 센서는 얼굴 검출기와 동일한 흐름 또는 그와 유사한 흐름을 따르도록 구성될 수 있다. 또한, 몸체 검출기는 얼굴 검출기에 이용된 것보다 해상도가 더 낮은 이미지 센서를 이용하여 구현될 수 있다.

도 9는 모션 검출 루틴(212)을 많은 프레임을 수집함으로써 시작하는 플로우차트로 예시하며, 그와 같이, 메모리는 많은 프레임을 저장하도록 구현될 수 있다. 예를 들면, 세 개의 프레임, 즉 현재 프레임과 두 개의 다른 프레임이 이용될 수 있다. 도 9에 예시된 실시예에서, 현재 프레임 및 두 개의 후속 프레임이 이용된다. 먼저, 입력 프레임이 k개의 프레임만큼 순차적으로 지연되고(블록 260, 262) 피드 포워드되어 제2 지연(블록 262)의 출력과 함께 가산된다(블록 264). 블록(260)의 출력에 2를 곱하고(블록 266) 가산기(블록 264)와 곱셈기(블록 266)의 출력 간의 차(블록 268)가 결정된다. 다음에, 픽셀별 내적(inner product)이 결정되고(블록 270), 스케일링되고(블록 272), 픽셀은 클램프된다(블록 274). 평균 그레이 레벨이 산출되고(블록 276), 비선형 스케일링이 수행되고(블록 278), 시간 큐 필터가 적용되고(블록 280), 그런 다음 [0,1]로 클램프 된다(블록 282). 마지막으로, 움직임에 따른 사용자 존재의 확률이 결정된다(블록 284).

모션 검출 루틴에서 유용할 수 있는 몇 가지 파라미터는 자동 초점(AF:auto focus) 윈도우 통계 또는 수평 에지 또는 소벨/샤르(Sobel/Sharr) 에지, 2D 컬러 히스토그램(color histogram) 데이터, 성분 히스토그램 데이터, 순색량(color content)에 대한 자동 백색 밸런스/자동 노출(AWB/AE:automatic white balance/auto exposure) 윈도우 통계 등을 포함할 수 있다. 일부 전처리 단계는 Y 채널(세기), (적절한 정규화(normalization)를 위해 기울기(gradient)를 축적하는) 소벨 또는 샤르 필터로 산출된 기울기 크기, 임계 기울기 크기(에지 픽셀의 계수(count)에 의한 정규화), 크로미넌스(chrominance)(Cr, Cb) 공간에서 피부 확률(skin-probability), 전술한 바 중 어떤 것의 서브 이미지 등과 같은 모션 검출을 위해 구현될 수 있다. 일부 실시예에서, 모션 검출은 이미지 중심(centroids)을 산출할 수 있는 능력을 포함할 수 있다. 현재 프레임의 중심에서 이전 프레임의 중심까지의 거리는 모션 양의 척도로 이용되고, 하드 임계치(hard threshold)는 이진 검출 또는 모션을 생성하는데 적용된다. 따라서, 예를 들면, Y' 세기, 에지 기울기 크기, 이진 에지, 또는 피부 확률 이미지의 중심 위치의 변경은 모션을 의미할 수 있다. 감도 및 강인성(robustness)의 상충관계(tradeoffs)는 이용되는 파라미터들의 특정 결합에 영향을 끼칠 수 있다. 예를 들면, 피부 확률 이미지는 에지 기울기에 이용될 수 있고 이진 에지는 조명(lighting) 변경에 대한 강인성을 제공하는데 이용될 수 있다. 피부 확률은 전술한 바와 같이 또는 대안으로 자동 백색 밸런스 컬러 공간 필터를 이용하여 이러한 기능을 근사화하는 신경망에 의해 수행될 수 있다.

모션을 감지하는 일부 실시예는 기울기 이미지(gradient images)의 피부 검출의 윈도우 통계(window statistics)를 언급할 수 있다. 일 실시예는 전체 합(global sum)의 변경을 검토할 수 있다. 특히, 이미지는 프레임 전체에 걸쳐 합산되어 스칼라 값(scalar value) s[i]를 생성하고, 여기서 i는 현재 프레임 인덱스이다. 이전의 N개의 값의 큐는 S={s[i-1],s[i-2],...,s[i-N]}로 유지된다. S_L,N은 s[i-L]에서 s[i-N]까지의 시퀀스로 나타내고, 이들 값의 극값(extremum)은 u=max(S_L,N) 및 v=min(S_L,N)으로 산출된다. 모션 양은 이 범위, 즉 e=max(s[i]-u, v-s[i]) 밖의 편위(excursion)에 의해 결정된다. 모션은 e가 미리 정해진 임계치를 초과하는 경우에 검출된다.

일부 실시예에서, 모션 검출 루틴은 단일 프레임으로 구현될 수 있고, 따라서 전체 프레임이 저장되지 않을 것이기 때문에 적은 메모리가 이용되거나 메모리가 이용되지 않을 수 있다. 일부 실시예에서, 이미지(단일 프레임)는 통계 산출이 가능한 윈도우로 분할될 수 있다. 윈도우의 통계 변경은 모션 및 사용자의 위치 또한 결정하는데 이용될 수 있다.

도 10은 이미지가 단일 프레임 모션 검출용으로 분할될 수 있는 가능한 윈도우 집합을 예시한다. 구체적으로, 도 10은 통계 목적으로 비중첩(non-overlapping) 윈도우 및 동심의(concentric) 윈도우로 분할된 단일 프레임을 도시한다. 각 경우에, 이미지(페이지의 상부에 있는 프레임)의 루미넌스(luminance) 및 이미지(페이지의 하부에 있는 프레임)의 세기 기울기 크기가 고려된다. 예를 들면, 이미지(300)는 다중 비중첩 노출(exposure) 통계 윈도우(302)로 분할될 수 있다. 대안으로, 이미지(300)는 다중 동심원 중첩 노출 통계 윈도우(304)로 분할될 수 있다. 각 윈도우의 통계는 (이미지(300)에서와 같은) 루미넌스 이미지에 기초하여 또는 세기 기울기 크기 이미지(306)에 기초하여 결정될 수 있다.

윈도우를 이용하면 기울기 크기의 합을 산출할 때 더 강인한 모션 캡처를 제공한다. 중첩하는 직사각형 윈도우에 대해, 일 실시예는 동심원으로 배열된 여덟 개의 직사각형을 포함하고, 가장 큰 것은 프레임 전체를 포함하고 가장 작은 것은 이미지 중심에 있다. 따라서, 프레임 i에서, 프레임들의 합은 j∈[1,2,...,8]에 대해 s_j[i]이다. 직사각형들 사이에 놓인 스트립(strips) 픽셀의 합은 특별한 경우인 d₈[i]=s₈[i]/h₈을 제외하고 이들 합들의 차인 d_j[i]=s_j[i]-s_j+1[i]/h_j로 산출된다. 그 차는 대략 그의 면적에 비례하는 스트립 h_j의 높이로 정규화된다.

다음에, N개의 이전 프레임에 대한 차 d_j의 극값 u, v(최대값 및 최소값)는 큐를 이용하여 산출되고, 편위는 e_j=max(d_j[i]-u,v-d_j[i])이다. 각 편위 e_j와 임계치를 비교하여 해당 프레임의 영역 j의 모션 지표(indicator)를 제공한다. 미세한 조명 변경은 긍정 오류 검출을 초래할 수 있다. 실제 모션은 일반적으로 여덟 개의 영역 중 두 개 또는 세 개 영역의 검출과 연관된다. 따라서, 일부 실시예에서, 해당 프레임에서 모션이 검출되었다고 판단하기 위해서는 적어도 두 개의 모션 검출 영역이 필요하다. 또한, 방의 전등을 턴 온하거나 턴 오프하는 것과 같이 조명 변화가 크면 흔히 많은 영역에서 모션 검출을 보인다. 따라서, 세 개보다 많은 영역이 모션을 검출한 경우에는 검출이 억제될 수 있다. 이러한 설계 파라미터는 경험에 기초하여 또는 원하는 감도 및 강인성 레벨을 제공하도록 조정될 수 있다.

도 11은 비동심의(non-concentric) 윈도우(302)를 갖는 단일 프레임(300)을 이용한 모션 검출 루틴(212B)을 예시하는 플로우차트이다. 일부 실시예에서, 각 통계 윈도우에는 고유한 분석 파이프(unique analysis pipe)가 제공될 수 있다. 즉, 각 윈도우는 동시에 처리될 수 있다. 다른 실시예에서는, 공통 분석 파이프에서 하나 이상의 윈도우가 순차적으로 처리될 수 있다. 본 명세서에서 이용된 바와 같은, "분석 파이프"는 윈도우의 통계 분석과 연관된 처리 단계를 지칭할 수 있고 시간 큐 필터를 포함할 수 있다.

전술한 바와 같이, 이미지(300)는 통계 윈도우(302)로 분할될 수 있고 각 윈도우마다 평균 통계가 산출될 수 있다(블록 310). 평균 통계에는 시간 큐 필터가 적용될 수 있고(블록 312) 과거 단기간 거동(short term past behaviour)으로부터 편위값 "e"이 산출될 수 있다(블록 314). 이 편위값은 임계치와 비교하여 그 편위값이 임계치를 초과하는지 판단할 수 있다(블록 316). 임계치를 초과하는 각 편위값에 대해 정규화된 계수가 유지되고(블록 318) 만일 정규화된 계수가 보팅(voting) 임계치를 초과하면(블록 320), 모션이 검출되었다고 판단한다(블록 322). 만일 모션이 검출되지 않았다고 판단하면, 제2 센서(들)로부터 추가 데이터가 수집될 수 있다. 또한, 약간의 결정된 시간량이 경과한 후, 장치는 저감된 전력 상태로 되돌아갈 수 있고 제1 센서(들)가 데이터를 수집할 수 있다.

또한, 편위값을 이용하여 간략한(summary) 통계를 생성할 수 있다(블록 324). 간략한 통계는 비선형으로 스케일링될 수 있고(블록 326) 확률 모션 점수가 제공될 수 있다(블록 328). 일반적으로, 블록(322)은 모션이 검출되었음을 나타내는 이진 1 또는 0 출력을 제공하는 반면, 블록(328)은 이미지(300)에서 모션이 검출된 가능성을 나타내는 0과 1 사이의 값을 제공할 것이다.

인식할 수 있는 바와 같이, 전술한 루틴들 각각에서 신경망, 지원 벡터 머신(SVM) 또는 다른 분류 시스템을 이용하여 사용자의 존재를 판단할 수 있다. 또한, 각 루틴으로부터의 확률값은 단독으로도, 예를 들면, 어떤 값이 소정의 임계치 이상인 경우 사용자가 존재하는 것으로 판단하기에 충분할 수 있다. 또한, 일부 실시예에서는, 각 루틴으로부터의 확률들의 조합도 사용자가 존재하는지를 판단하는데 이용될 수 있다. 일부 실시예에서, 어떤 루틴의 출력은 그의 유효성(validity)이 문제가 될 수 있기 때문에 이용되지 못할 수 있다. 예를 들면, 피부색 검출 루틴은 조명으로 인해 신뢰하지 못할 수 있다. 또한, 그러한 루틴들로부터 출력된 확률들은 가중화(weighted) 방식으로 결합될 수 있다(예를 들면, 하나의 확률에는 그 확률이 다른 것들보다 더 정확할 가능성에 기초하여 더 큰 가중치(weight)가 부여될 수 있다.

본 명세서에서 설명된 실시예들은 노트북 컴퓨터, 데스크탑 컴퓨터 등과 같은 컴퓨팅 장치의 소비 전력을 저감하도록 구현될 수 있다. 특히, 이러한 컴퓨팅 장치는 그 장치가 동면(hibernate) 또는 슬립 상태와 같은 저전력 상태에 있는 경우에도 존재 감지 기능을 제공할 수 있기 때문에, 그 장치는 사용자가 존재할 경우 파워 업할 수 있고 사용자가 떠난 경우 파워 다운(power down)되거나 저감된 전력 상태에 진입할 수 있다. 또한, 실시예는 무엇보다도 직관적인(intuitive) 파워 업 및 파워 다운 동작뿐만 아니라, 보안 기능을 제공함으로써 컴퓨팅 장치를 다루는 사용자 경험을 향상시키도록 제공될 수 있다.

저전력 동작에서 메인 프로세서 및 RAM의 사용을 막는 단계적인 시스템이 구현될 수 있다. 예를 들면, 일 실시예에서, 최저 전력 상태에서는 단지 카메라, 이미지 신호 처리(ISP) 장치 및 존재값(presence value)을 실시간으로 산출할 수 있는 임베디드 프로세서만 구현할 수 있다. 다음 단계에서, 얼굴 검출기 칩 및 RAM이 턴 온될 수 있다. 후속 단계에서, 시스템 프로세서 및 다른 자원이 파워 온될 수 있다.

따라서, 모션 검출을 위한 전술한 예에서는, RAM이 이용가능하지 않을 수 있기 때문에, 이전 프레임의 메모리는 ISP에 의해 산출된 통계로 한정되고, 또한 임베디드 프로세서 레지스터 및 캐시(예를 들면, 32k)에서 이용가능한 공간으로 한정된다. 또한, 존재 감지 정보(예를 들면, 통계치, 이미지 등)는 존재 감지 루틴의 외부에 이용가능하지 않다는 것을 인식해야 한다. 즉, 예를 들면, 존재 감지를 위해 캡처된 이미지는 사용자가 보지 못할 수 있다.

일부 실시예에서는, 몸체 검출 파라미터(body detection parameter)가 이용될 수 있다. 몸체 검출 파라미터는 얼굴 검출 파라미터와 유사할 수 있지만 얼굴을 증명할 수 있는 더 작은 특징이라기보다 인체(human body)의 매크로 특징을 기반으로 할 수 있다. 예를 들면, 몸체 검출 파라미터는 팔, 다리, 몸통(torso), 머리 등과 관련될 수 있다. 몸체 검출 파라미터는 더 큰 특징을 기반으로 하기 때문에, 얼굴 검출에 이용된 것들에 비해 저해상도 카메라가 구현될 수 있고 몸체 센서처럼 적당히 양호한 결과를 얻을 수 있다. 또한, 일부 실시예에서, 카메라는 몸체 검출 파라미터를 얻는데 이용될 때 저해상도 모드에서 동작할 수 있고 다른 목적으로 이용될 때 고해상도 모드에서 동작할 수 있다. 실제로는, 몸체 검출 및 얼굴 검출 파라미터 양자의 목적으로 동일한 카메라가 이용될 수 있다. 몸체 검출 파라미터는 얼굴 검출 파라미터와 동일한 방식으로 존재 확률을 결정하는데 이용될 수 있음을 인식해야 한다. 또한, 몸체 검출 파라미터는 몸체가 검출된 확률을 나타내는 파라미터일 수 있다. 몸체 검출기에 이용되는 데이터는 깊이 이미지(depth images), 그레이스케일 이미지, RGB 이미지, 또는 전술한 형태의 이미지들 중 어떤 하나 단독 또는 다른 형태의 이미지와 결합한 것일 수 있다.

일부 실시예에서는, 많은 다른 센서 및 입력이 구현될 수 있다. 많은 다른 센서 및 입력은 존재 센서의 정확도 및 능력을 증대시켜 긍정 오류 및 부정 오류를 감소시키는데 도움이 될 수 있다. 일 실시예에서는, 베이지언 필터가 구현될 수 있다. 구체적으로, 확률 데이터 융합에 기초하여 반복적인 베이지언 추정이 수행될 수 있다. 도 12는 다중 동시적 비동기 센서를 이용하여 사용자가 존재할 확률을 결정하는 방법(350)을 예시하는 일례의 플로우차트이다. 플로우차트의 상부 부근에는 다중 센서(352)가 있다. 구체적으로, 이러한 센서는 비디오 카메라(354), 3-D 카메라(356), 마이크로폰(358), 및 키보드(360)를 포함할 수 있다. 이는 단지 일례에 불과하며 실제 구현에서는 더 많거나 더 적은, 뿐만 아니라 다른 센서가 이용될 수 있음을 인식해야 한다. 예를 들면, 터치 스크린, 트랙패드(trackpad) 및 마우스는 각각 이용될 수 있다. 각각의 센서들(352)은 동시에 동작할 수 있다.

다른 센서들(352)은 각각 소정의 특징을 캡처하도록 구성될 수 있다. 즉, 각 센서는 몇몇 유용한 정보를 존재 판단에 제공하는 역량을 갖는다. 센서 정보를 결합하면 그 정보의 결합이 단독으로 이용될 때 각 센서로부터의 정보보다 더 유용하고 및/또는 더 정확하도록 정보의 시너지를 제공한다. 구체적으로, 센서(352)로부터의 데이터는 사용자가 존재할 가능성을 판단하는 것 외에 3-D 공간에서 사용자의 실제 위치 및 사용자의 속도를 결정하는데 이용될 수 있다. 획득된 데이터는 센서 정보의 시너지를 제공하도록 강인한 방식으로 모션 모델의 선험적(a priori) 예측치와 결합된다. 데이터 융합은 선택적으로 모델 예측치와 관측된 센서 데이터를 융합하여, 그 정보의 확실성(certainty)(품질)에 비례하여 추정된 상태(사용자의 위치 및 속도)에 대한 각 성분의 기여도에 가중치를 부여한다. 따라서, 만일 모션 모델이 정확하고 센서 데이터에 잡음이 있다면, 센서 데이터에 비해 모델 예측치에 더 큰 가중치가 부여될 수 있고, 그 반대의 경우도 가능하다. 이와 같은 모델 및 관측된 데이터의 결합은 시스템의 진화하는(evolving) 확률에 기초하여 지속적으로 적응된다(예를 들면, 가능성 모델(likelihood models)에 의해 산출된 가중치가 끊임없이 갱신된다).

플로우차트에는 센서들에 의해 제공된 데이터로부터 추출될 수 있는 몇 가지 예시적인 특징들이 제공된다. 구체적으로, 비디오 카메라는 3-D 블랍(blobs), 얼굴 & 몸체 검출, 및 모션 벡터와 같은 특징들을 추출할 수 있다(블록 370). 3-D 블랍은 카메라의 시야 내에 있는 객체를 나타낼 수 있다. 3-D 카메라(356)는 얼굴 검출, 몸체 검출 및 모션 벡터 역시 추출하도록 구성될 수 있다(블록 372). 마이크로폰(358)은 오디오 가속(acceleration) 및 새것(novelty) 검출을 추출하도록 구성될 수 있다(블록 374). 키보드(360)는 키누름(keypress) 검출을 추출하도록 구성될 수 있다(블록 376). 오디오 가속 특징은 도플러 효과(dopler effect)를 이용하여 객체가 접근하는지 후퇴하는지를 판단할 수 있다. 또한, 새것 검출 특징은 사용자의 존재를 나타낼 수 있는 배경 잡음의 변화를 찾으려고 시도할 수 있다. 예를 들면, 음량(sound volume)의 증가는 사용자의 존재를 나타낼 수 있다.

일단 이러한 특징들이 추출되면, 관측 가능성이 판단된다(블록 178). 즉, 추출된 특징들 각각은 관심 객체(예를 들면, 사용자)가 존재할 가능성을 판단하는데 이용될 수 있다. 다음에, 관측 가능성은 상태 표현(state representation)을 갱신하는데 이용된다(블록 182). 상태 표현은 데이터의 융합을 이용한다. 상태 표현(블록 184)이 생성될 수 있다. 일 실시예에서, 상태 표현은 히스토그램 형태를 취할 수 있다. 다른 실시예는 파라메트릭 가우시안 분포(Parametric Gaussian distribution)(칼만(Kalman) 필터), 몬테 카를로(Monte-Carlo) 샘플 기반 분포(순차적인 몬테-카를로 방법/입자(Particle) 필터), 하이브리드 비동기적 다중 관측 입자 필터 등을 포함할 수 있다. 상태 표현은 사용자 존재 산출에 관한 정보를 제시할 수 있다. 예를 들면, 상태 표현은 사용자(들)의 3-D 위치 및 사용자(들)의 속도에 관한 정보를 제시할 수 있다. 모션 모델(블록 188)은 상태 표현에 이용된 정보를 입력할 수 있고 또한 상태 표현으로부터 정보를 수신할 수 있다. 모션 모델은 사용자의 움직임을 모델링하는 상태 진화 표현(state evolution expression)이다. 상태 표현은 무엇보다도 사용자 존재의 확률을 결정할 수 있는 통계 산출(블록 186)에 이용될 수 있다. 또한, 통계 산출은 사용자의 위치 및 추정치의 분산(variance)을 추정할 수 있다.

상태 표현은 또한 측정 모델에 정보를 제공하고(블록 180) 측정 모델은 관측 가능성 판단에 제공될 수 있다(블록 178). 측정 모델은 일반적으로 센서의 각 관측을 스케일링할 수 있다. 구체적으로, 센서의 상대적 관측에는 다소의 가중치가 부여될 수 있기 때문에, 더 큰 가중치를 부여할 가치가 있는 관측에 더 큰 가중치를 부여하도록 돕는 모델이 적용될 수 있다. 예를 들면, 키누름의 관측에는 3-D 블랍의 관측보다 더 큰 가중치가 부여될 수 있다. 또한, 만일 센서에 잡음이 있으면, 이들에는 더 작은 가중치가 부여될 수 있다. 각 측정 모델은 관측 가능성 단계에 이용되고, 다시 상태 표현을 갱신하는데 이용된다(블록 182).

존재 감지의 구현은 컴퓨팅 장치의 지능적인 동작을 증가시킬 수 있다. 즉, 컴퓨팅 장치는 사용자 상호작용을 더 잘 예측할 수 있고 사용자 경험을 향상시킬 수 있다. 예를 들면, 디스플레이는 사용자가 존재하는 동안에는 희미하지 않을 수 있고 사용자의 이탈시에는 멈출 수 있다. 또한, 디스플레이 출력은 장치로부터의 사용자의 거리에 기초하여 스케일링되고 및/또는 변경될 수 있다. 감지된 움직임을 모방하기 위해 화면 전체에 걸쳐 흔들리는 나무잎과 같은 다른 직관적이고 경험적인 특징은 사용자를 위한 지능적이고 상호작용적인 느낌에 추가될 수 있다.

전술한 바에는 사용자의 존재를 감지하는 예시적인 일부 실시예들이 설명되었다. 비록 전술한 설명이 특정 실시예를 제시하였지만, 당업자는 그 실시예의 정신 및 범주로부터 벗어남이 없이 형태 및 상세 내용에 대한 변경이 이루어질 수 있음을 인식할 것이다. 예를 들면, 존재 감지를 위한 알고리즘 중 하나 이상에 대한 변형예가 구현될 수 있다. 일례에서, 하드웨어 제한은 알고리즘의 변화를 추구할 수 있다. 따라서, 본 명세서에서 설명된 구체적인 실시예들은 예를 든 것이지 그 범주를 한정하려는 것이 아닌 것으로 이해되어야 한다.

Claims

존재 기반 기능(presence based functionality)을 제공하도록 컴퓨팅 장치를 동작시키는 방법으로서,
상기 컴퓨팅 장치를 전력 저감 상태에서 동작시키는 단계;
상기 컴퓨팅 장치가 상기 전력 저감 상태에 있는 동안에, 제1 센서로부터 제1 데이터 집합을 수집하는 단계 - 상기 제1 데이터 집합은 제1 움직임 판단(movement determination) 및 제1 얼굴 특징 판단(facial feature determination)을 포함함 - ;
상기 제1 데이터 집합에 기초하여, 객체(object)가 상기 컴퓨팅 장치의 임계 거리 내에 있는지 결정하는 단계;
상기 객체가 상기 임계 거리 내에 있는 것으로 결정되는 경우, 제2 센서를 활성화하여 제2 데이터 집합을 수집하는 단계 - 상기 제2 데이터 집합은 제2 움직임 판단 및 제2 얼굴 특징 판단을 포함함 - ;
상기 제1 데이터 집합 및 상기 제2 데이터 집합의 가중된(weighted) 조합에 기초하여, 상기 객체가 사람인지 여부를 결정하는 단계;
상기 객체가 사람인 경우,
상기 컴퓨팅 장치에 대한 상기 사람의 위치를 결정하는 단계;
상기 컴퓨팅 장치에 대한 상기 사람의 결정된 위치에 기초하여 상기 컴퓨팅 장치에서의 상태 변경을 실행하는 단계; 및
상기 객체가 사람이 아닌 경우, 상기 컴퓨팅 장치를 상기 전력 저감 상태에서 유지하는 단계
를 포함하는 방법.
제1항에 있어서, 상기 제1 센서를 시분할 다중화(TDM) 방식으로 동작시키는 단계를 더 포함하는 방법.
제1항에 있어서, 다수의 광원들을 이용하는 단계를 더 포함하고, 상기 다수의 광원들의 각각의 광원은 다른 시야를 커버하는 방법.
제1항에 있어서, 복수의 센서들이 동일한 방에 있다면 변조 주파수들을 변경하는 단계를 더 포함하는 방법.
제1항에 있어서, 상태 변경을 실행하는 단계는,
디스플레이 화면 세이버 시프트(a display screen saver shift)를 변경하는 것 - 상기 시프트는 사용자의 움직임(movement)에 대응함 -;
상기 디스플레이를 어웨이크 상태(awake state)가 되게 하는 것;
상기 컴퓨팅 장치를 어웨이크 상태가 되게 하는 것;
상기 컴퓨팅 장치를 어웨이크 상태가 되게 할 때 프로세스의 수를 저감시키는 것;
사용자의 위치에 기초하여 오디오 스티어링(audio steering)을 하는 것;
사용자 위치에 기초하여 마이크로폰 스티어링(microphone steering)을 하는 것; 및
상기 사용자가 멀리 떨어져 있는 경우에 더 작은 사용자 옵션(options) 집합이 제공되도록 사용자 인터페이스를 수정하는 것
중 적어도 하나를 포함하는 방법.
제5항에 있어서, 상기 컴퓨팅 장치가 이미 어웨이크 상태에 있으며, 상기 사용자가 상기 컴퓨팅 장치로부터 떨어져 이동하는 것이 검출되는 경우, 상기 컴퓨팅 장치는,
디스플레이 상태를 슬립 상태(sleep state)로 변경하거나, 또는
컴퓨팅 장치 상태를 슬립 상태로 변경하도록
구성되는 방법.
제1항에 있어서, 신경망(neural net) 또는 지원 벡터 머신(support vector machine)을 이용하여 존재를 판단하기 위해서 결합된 센서 데이터를 이용하는 단계를 더 포함하는 방법.
제1항에 있어서, 확률 결정을 이용하여 존재를 판단하기 위하여 결합된 센서 데이터를 이용하는 단계를 더 포함하는 방법.
제1항에 있어서, 상기 제1 센서 및 상기 제2 센서 중 적어도 하나는, 상기 제1 얼굴 특징 판단, 상기 제2 얼굴 특징 판단, 상기 제1 움직임 판단 및 상기 제2 움직임 판단 중 하나 이상을 피부색 판단(skin tone determination)과 조합하여 이용함으로써 존재를 판단하는 방법.
제9항에 있어서, 상기 피부색 판단은 상기 제1 얼굴 특징 판단, 상기 제2 얼굴 특징 판단, 상기 제1 움직임 판단 및 상기 제2 움직임 판단 중 적어도 하나보다 작은 가중치가 부여되는 방법.
제1항에 있어서, 보안을 위해 상기 컴퓨팅 장치 부근의 얼굴(faces)의 수를 결정하는 단계를 더 포함하고, 부분적으로 파워 업(powering up)하거나 보안 상태로 파워 업하고 추가 액세스를 위해 크리덴셜들(credentials)을 요청함으로써 보안이 제공되는 방법.
사용자가 컴퓨팅 장치 부근에 있는지를 판단하는 방법으로서,
이미지 센서를 이용하여 이미지를 캡처하는 단계;
프로세서를 이용하여, 상기 캡처된 이미지로부터, 얼굴 특징 검출 파라미터 및 움직임 검출 파라미터를 산출하는 단계;
상기 얼굴 특징 검출 파라미터 및 상기 움직임 검출 파라미터의 가중된 조합을 이용하여, 상기 컴퓨팅 장치로부터의 상기 사용자의 거리 및 상기 사용자의 얼굴의 위치를 결정함으로써 상기 사용자가 존재하는지 여부에 대해 결정하는 단계; 및
사용자가 존재한다고 결정되는 경우, 상기 컴퓨팅 장치의 상태를 변경하는 단계
를 포함하는 방법.
제12항에 있어서, 피부색 검출 파라미터를 산출하는 단계를 더 포함하고, 상기 피부색 검출 파라미터는 상기 사용자가 존재하는지에 대해 판단하는데 이용되는 방법.
제13항에 있어서,
상기 피부색 검출 파라미터, 상기 얼굴 특징 검출 파라미터, 및 상기 움직임 검출 파라미터 각각을 산출하는 단계; 및
서로에 대해 상기 파라미터들에 가중치를 부여(weighting)하는 단계 - 상기 피부색 검출 파라미터에는 다른 파라미터들보다 작은 가중치가 부여됨 -
를 더 포함하는 방법.
제12항에 있어서, 상기 움직임 검출 파라미터는 단일 프레임을 이용하여 산출되는 방법.
제15항에 있어서,
상기 이미지를 동심의 윈도우들(concentric windows)로 분할하는 단계; 및
상기 동심의 윈도우들에 대한 통계치(statistics)를 산출하는 단계 - 적어도 2개의 윈도우에서의 변경은 상기 이미지에서의 움직임을 나타냄 -
를 더 포함하는 방법.
제15항에 있어서,
상기 이미지를 비동심의 윈도우들(non-concentric windows)로 분할하는 단계; 및
상기 비동심의 윈도우들에 대한 통계치(statistics)를 산출하는 단계 - 적어도 2개의 윈도우에서의 변경은 상기 이미지에서의 움직임을 나타냄 -
를 더 포함하는 방법.
컴퓨팅 시스템으로서,
메인 프로세서; 및
상기 메인 프로세서에 연결된 이미지 기반 존재 센서
를 포함하고,
상기 이미지 기반 존재 센서는,
이미지 센서; 및
상기 이미지 센서에 연결된 프로세서 - 상기 프로세서는 이미지를 처리하여, 상기 컴퓨팅 시스템으로부터의 사용자의 판정된 거리 변화 및 상기 거리 변화 동안 상기 사용자의 얼굴의 위치에 가중치를 부여하여 조합함으로써 상기 사용자가 상기 이미지에서 존재하는지 여부를 결정하도록 구성됨 -
를 포함하고,
상기 프로세서가 사용자가 상기 이미지에서 존재한다고 결정하는 경우, 사용자가 존재하는 것으로 결정되었다는 표시가 상기 프로세서로부터 상기 메인 프로세서로 송신되고, 상기 메인 프로세서는 상기 표시에 기초하여 상기 컴퓨팅 시스템의 상태를 변경하는 컴퓨팅 시스템.
제18항에 있어서, 상기 메인 프로세서는 상기 사용자가 존재한다는 표시에 기초하여 제2 존재 센서를 활성화하는 컴퓨팅 시스템.
제18항에 있어서,
상기 이미지 기반 존재 센서가 사용자가 존재하는 것으로 결정하는 경우, 상기 이미지 기반 존재 센서는, 존재하는 사용자들의 수 및 상기 컴퓨팅 시스템에 대한 사용자의 위치 중 적어도 하나를 결정하고,
상기 이미지 기반 존재 센서는 존재하는 사용자들의 수 및 상기 컴퓨팅 시스템에 대한 사용자의 위치 중 적어도 하나에 관한 부가적인 정보를 상기 메인 프로세서에 더 제공하고,
상기 메인 프로세서는 상기 부가적인 정보에 기초하여 상기 컴퓨팅 시스템의 상기 상태를 더 변경하는 컴퓨팅 시스템.
제18항에 있어서, 상기 상태의 변경은 저감된 전력 상태에서 액티브 상태(active state)로 변경하는 것인 컴퓨팅 시스템.