KR20240049534A - 사용자 설정가능 인터랙티브 영역 모니터링 장치 및 방법 - Google Patents

사용자 설정가능 인터랙티브 영역 모니터링 장치 및 방법 Download PDF

Info

Publication number
KR20240049534A
KR20240049534A KR1020240046769A KR20240046769A KR20240049534A KR 20240049534 A KR20240049534 A KR 20240049534A KR 1020240046769 A KR1020240046769 A KR 1020240046769A KR 20240046769 A KR20240046769 A KR 20240046769A KR 20240049534 A KR20240049534 A KR 20240049534A
Authority
KR
South Korea
Prior art keywords
interactive area
interactive
event
user
preset
Prior art date
Application number
KR1020240046769A
Other languages
English (en)
Inventor
브라이언 함스
폴 플라
예단 치엔
올리버 바우
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/015,040 external-priority patent/US10057078B2/en
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20240049534A publication Critical patent/KR20240049534A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/021Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일 실시 예에서, 적어도 하나의 시스템은 물리적 환경의 인터랙티브 영역을 식별하기 위한 사용자로부터의 입력을 수신할 수 있다. 이러한 적어도 하나의 시스템은, 깊이 센서와 관계 있는 인터랙티브 영역의 위치를 결정할 수 있고, 기 설정된 이벤트에 대해 인터랙티브 영역을, 깊이 센서에 따라 적어도 일 부분, 모니터링할 수 있다. 적어도 하나의 시스템은 기 설정된 이벤트를, 깊이 센서에 따라 적어도 일 부분, 감지할 수 있다. 기 설정된 이벤트의 감지에 대한 응답으로, 적어도 하나의 시스템은 기 설정된 이벤트와 관련된 기 설정된 동작을 개시할 수 있다.

Description

사용자 설정가능 인터랙티브 영역 모니터링 장치 및 방법{Apparatus and Method for User-Configurable Interactive Region Monitoring}
본 개시는 일반적으로 전자 이벤트 감지에 관한 것으로, 보다 상세하게는, 사용자 설정가능 인터랙티브 영역 모니터링 장치에 관한 것이다.
깊이 센서(depth sensor)는, 해당 영역의 깊이를 나타내는 각각의 화소에 대한 깊이 값을 갖는 물리적 환경(physical environment)의 영역에 대응하는 화소들의 배열을 포함하는 깊이 이미지(depth image)를 생성할 수 있다. 깊이 이미지는 스테레오 삼각 측량(stereo triangulation), 광학 삼각 측량 시트(sheet of light triangulation), 구조형 광(structured light), 간섭법(interferometry), 부호화 개구(coded aperture) 또는 다른 수단에 의해 생성될 수 있다.
연결된 장치들은 근거리 네트워크(local area network, LAN), 광역 네트워크(wide area network, WAN), 셀룰러 네트워크(cellular network), 인터넷(internet), 또는 임의의 다른 적절한 네트워크와 같은 통신 네트워크의 부분일 수 있다. 연결된 장치는, 다른 장치와 통신하기 위해, 예를 들어, 원격으로 저장된 데이터에 액세스(access) 하고, 원격 처리 능력(processing power)에 액세스하고, 원격 디스플레이에 액세스하고, 로컬에 저장된 데이터를 제공하고, 로컬 처리 능력을 제공하고 또는 로컬 디스플레이에 액세스를 제공하기 위해, 통신 네트워크를 이용할 수 있다.
예를 들어, 네트워크는, 연결된 장치에 의해 액세스 또는 이용(utilize)될 수 있는 애플리케이션, 콘텐츠, 및 서비스를 호스트 할 수 있는, 서버로 통신 경로와 링크를 제공할 수 있다. 콘텐츠는 문자, 비디오 데이터, 음성 데이터, 사용자 설정 또는 다른 유형의 데이터를 포함할 수 있다. 네트워크는, 예를 들어, 블루투스(Bluetooth), IEEE, 와이파이(Wi-Fi, 802.11a/b/g/n/ac) 또는 TCP/IP(Transmission Control Protocol/Internet Protocol)와 같은 연결된 장치들 사이의 통신을 용이하게 하기 위하여 임의의 적절한 통신 프로토콜(protocol) 또는 기술을 사용할 수 있다.
일 실시 예는, 사용자 설정가능 인터랙티브 영역에서 이벤트를 감지함으로써, 인터랙티브 시스템은 기 설정된 동작을 수행할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제 1 측면은, 깊이센서(depth sensor) 인터페이스 적어도 하나의 명령을 포함하는 적어도 하나의 컴퓨터 판독 가능한 기록 매체 및 기 설정된 이벤트에 대해 사용자 정의 인터랙티브 영역(user-defined interactive region)을 포함하는 물리적 환경을, 상기 깊이 센서의 출력에 따라 적어도 일 부분, 모니터링 하고 상기인터랙티브 영역 내에서 상기 기 설정된 이벤트를, 상기 깊이 센서의 출력에 따라 적어도 일 부분, 감지하고 상기 기 설정된 이벤트의 감지에 대한 응답으로, 상기 기 설정된 이벤트와 관련된 기 설정된 동작을 개시하는 상기 명령을 실행하는 적어도 하나의 프로세서를 포함하는 장치를 제공할 수 있다.
또한, 상기 적어도 하나의 프로세서는 사용자 입력에 기초하여 상기 인터랙티브 영역을 식별하는 상기 명령을 실행할 수 있다.
또한, 상기 적어도 하나의 프로세서는 상기 인터랙티브 영역을 식별하는 상기 입력의 수신에 대한 응답으로, 모니터링 부하의 적어도 일 부분에 기초하여, 상기 인터랙티브 영역을 모니터링 하기 위한 자원을 할당하는 상기 명령을 실행할 수 있다.
또한, 상기 입력은 상기 사용자에 의해 상기 물리적 환경에서 수행되는 제스처의 적어도 일 부분에 기초할 수 있다.
또한, 상기 입력은 상기 사용자 및 클라이언트 시스템에 디스플레이 되는 사용자 인터페이스 사이의 인터랙션의 적어도 일 부분에 기초할 수 있다.
또한, 상기 기 설정된 이벤트는 상기 인터랙티브 영역 내에서 객체 또는 사용자의 존재 여부 상기인터랙티브 영역 내에서 상기 사용자 또는 상기 객체의 움직임 및 상기 인터랙티브 영역 내에서 상기 사용자 및 객체의 적어도 일 부분 사이의 접촉 중 적어도 하나를 포함할 수 있다.
또한, 상기 적어도 하나의 프로세서는 복수의 상기 인터랙티브 영역을, 각각의 상기 인터랙티브 영역과 관련된 우선순위에 따라, 상기 깊이 센서의 출력에 따라 적어도 일 부분, 정기적으로 모니터링 하는 상기 명령을 실행할 수 있다.
또한, 제1 인터랙티브 영역과 관련된 제1 우선순위는 상기 제1 인터랙티브 영역과 관련된 이벤트 이력(historical event) 데이터 상기 제1 인터랙티브 영역에서 적어도 하나의 상기 기 설정된 이벤트의 예상 빈도 상기제1 인터랙티브 영역에서 적어도 하나의 상기 기 설정된 이벤트의 예상 기간 및 상기 제1 인터랙티브 영역의 중요도 중 적어도 하나의 적어도 일 부분에 기초할 수 있다.
또한, 상기 적어도 하나의 프로세서는 상기 사용자 정의 인터랙티브 영역을 포함하는 물리적 환경을, 각각의 상기 이벤트와 관련된 우선순위에 따라 복수의 상기 기 설정된 이벤트 각각에 대해, 상기 깊이 센서의 출력에 따라 적어도 일 부분, 모니터링 하는 상기 명령을 실행할 수 있다.
또한, 상기 인터랙티브 영역은 제1 인터랙티브 영역을 포함하고 상기 제1 인터랙티브 영역의 적어도 일부분은 적어도 하나의 제2 영역 기 설정된 이벤트와 관련된 제2 인터랙티브 영역의 적어도 일 부분을 포함하고 상기 프로세서는 상기제1 인터랙티브 영역의 일 부분을 모니터링 함으로써 생성된 데이터에 기초하여, 상기 제2 인터랙티브 영역의 일 부분에서 적어도 하나의 상기 제2 영역 기 설정된 이벤트를 감지하는 상기 명령을 실행할 수 있다.
또한, 상기 물리적 환경은 상기 사용자 정의 인터랙티브 영역일 수 있다.
또한, 본 개시의 제2 측면은, 기 설정된 이벤트에 대해 사용자 정의 인터랙티브 영역을 포함하는 물리적 환경을, 깊이 센서로부터의 출력에 적어도 일 부분에 기초하여, 모니터링 하는 단계 상기 인터랙티브 영역 내에서 상기 기 설정된 이벤트를, 상기 깊이 센서로부터의 출력에 적어도 일 부분 기초하여, 감지하는 단계 상기 기 설정된 이벤트의 감지에 대한 응답으로, 상기 기 설정된 이벤트와 관련된 기 설정된 동작을 개시하는 단계를 실행하는 명령을 포함하는, 적어도 하나의 프로세서에 의해 실행될 때 적어도 하나의 프로세서가 작업을 수행하는 명령을 포함하는 적어도 하나의 컴퓨터 판독가능 기록 매체를 제공할 수 있다.
또한, 상기 작업은 사용자 입력에 기초하여 상기 인터랙티브 영역을 식별하는 것을 포함할 수 있다.
또한, 적어도 하나의 상기 기 설정된 동작은 적어도 일 부분 사용자에 의해 정의되거나, 상기기 설정된 이벤트와 상기 기 설정된 동작의 적어도 하나의 관련은 적어도 일 부분 상기 사용자에 의해 정의될 수 있다.
또한, 본 개시의 제 3 측면은, 기 설정된 이벤트에 대해 사용자 정의 인터랙티브 영역을 포함하는 물리적 환경을, 깊이 센서의 출력에 따라 적어도 일 부분, 모니터링 하는 단계 상기인터랙티브 영역 내에서 상기 기 설정된 이벤트를, 상기 깊이 센서의 출력에 따라 적어도 일 부분, 감지하는 단계 상기기 설정된 이벤트의 감지에 대한 응답으로, 상기 기 설정된 이벤트와 관련된 기 설정된 동작을 자동적으로 개시하는 단계를 포함하는 방법을 제공할 수 있다.
또한, 상기 방법은, 사용자 입력에 기초하여 상기 인터랙티브 영역을 식별하는 단계를 포함할 수 있다.
또한, 적어도 하나의 상기 기 설정된 동작은 적어도 일 부분 사용자에 의해 정의되거나, 상기기 설정된 이벤트와 상기 기 설정된 동작의 적어도 하나의 관련은 적어도 일 부분 상기 사용자에 의해 정의될 수 있다.
도 1은 인터랙티브 영역 모니터링 시스템과 관련된 네트워크 환경의 일 실시 예를 도시한 도면이다.
도 2는 예시적인 물리적 환경에서 인터랙티브 영역의 일 실시 예를 도시한 도면이다.
도 3a 내지 도 3d는 인터랙티브 영역을 설정하는 사용자의 실시 예들을 도시한 도면이다.
도 4는 예시적인 물리적 환경에서 복수의 인터랙티브 영역들의 일 실시 예를 도시한 도면이다.
도 5는 인터랙티브 영역, 기 설정된 이벤트, 이벤트 조건 및 기 설정된 동작을 설정하는 사용자 인터페이스의 일 실시 예를 도시한 도면이다.
도 6은 인터랙티브 모니터링 시스템에 의해 실행되는 예시적인 방법의 흐름도이다.
도 7은 깊이 센서에 의한 캡처 이미지(image capture)를 이용하여 기 설정된 이벤트를 감지하는 예시적인 방법의 흐름도이다.
도 8은 컴퓨터 시스템의 일 실시 예를 도시한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시 예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
일 실시 예에서, 사용자는 물리적 환경에서 인터랙티브 영역을 설정할 수 있다. 인터랙티브 영역은, 적어도 하나의 기 설정된 이벤트, 예를 들어, 사용자에 의해 정의되거나, 컴퓨팅 장치에 의해 자동으로 정의되거나 또는 사용자 및 컴퓨팅 장치 모두에 의해 정의된 이벤트를 위해, 인터랙티브 영역 모니터링 시스템에 의해 모니터링 될 수 있다. 일 실시 예에서, 인터랙티브 영역 모니터링 시스템은 적어도 하나의 깊이 센서(depth sensor)를 포함할 수 있다. 적어도 하나의 기 설정된 이벤트가 감지될 때, 기 설정된 동작이 인터랙티브 영역 모니터링 시스템에 의해 개시될 수 있다. 일 실시 예에서, 인터랙티브 영역 모니터링 시스템은 동작을 개시하기 위해 다른 연결된 장치와 전자적으로 통신할 수 있다. 인터랙티브 영역 모니터링 시스템은 적어도 하나의 깊이 센서, 연결된 장치(connected device), 서버, 클라이언트 시스템(client system), 임의의 다른 장치, 또는 임의의 다른 시스템을 포함할 수 있다. 본 개시는 특정 인터랙티브 영역 모니터링 시스템을 설명하고 도시하고 있지만, 본 개시는 인터랙티브 영역을 생성하기 위한 임의의 적절한 인터랙티브 영역 모니터링 시스템도 고려(contemplate)한다. 특정 실시 예에서, 인터랙티브 영역 모니터링 시스템은 깊이 감지(depth-sensing) 컴퓨팅 장치의 일부이거나, 깊이 감지 컴퓨팅 장치에 연결될 수 있다.
도 1은 인터랙티브 영역 모니터링 시스템의 특정 실시 예에 대한 예시적인 네트워크 환경(100)을 도시한 도면이다. 네트워크 환경(100)은, 네트워크(110)에 의해 서로 연결되는, 연결된 장치(130), 데이터 저장소(140), 인터랙티브 영역 모니터링 서버(150) 및 센서(160)를 포함할 수 있다. 도 1은 연결된 장치(130), 데이터 저장소(140), 인터랙티브 영역 모니터링 서버(150) 및 센서(160)의 특정 배열을 도시하고 있지만, 본 개시는 연결된 장치(130), 데이터 저장소(140), 인터랙티브 영역 모니터링 서버(150) 및 센서(160)의 임의의 적절한 배열도 고려한다. 일 실시 예에서, 복수의 연결된 장치(130), 데이터 저장소(140), 인터랙티브 영역 모니터링 서버(150) 및 센서(160)는, 네트워크(110)를 거치지 않고, 서로 직접적으로 연결될 수 있다. 다른 일 실시 예에서, 복수의 연결된 장치(130), 데이터 저장소(140), 인터랙티브 영역 모니터링 서버(150) 및 센서(160)의 전체 또는 일부는, 물리적으로 또는 논리적으로 서로 동일한 위치에 배치될 수 있다. 예를 들어, 데이터 저장소(140)는 인터랙티브 영역 모니터링 서버(150)에 직접적으로 연결되거나, 인터랙티브 영역 모니터링 서버(150)와 동일한 위치에 배치될 수 있다. 다른 실시 예에서, 적어도 하나의 센서(160)는 적어도 하나의 연결된 장치(130)에 직접적으로 연결되거나, 적어도 하나의 연결된 장치(130)와 서로 동일한 위치에 배치될 수 있다. 도 1은 특정 숫자만큼의 연결된 장치(130), 데이터 저장소(140), 인터랙티브 영역 모니터링 서버(150), 센서(160) 및 네트워크(110)를 도시하고 있지만, 본 개시는 임의의 적절한 숫자만큼의 연결된 장치(130), 데이터 저장소(140), 인터랙티브 영역 모니터링 서버(150), 센서(160) 및 네트워크(110)도 고려한다. 일 실시 예에서, 네트워크 환경(100)은 복수의 연결된 장치(130), 데이터 저장소(140), 인터랙티브 영역 모니터링 서버(150), 센서(160) 및 네트워크(110)를 포함할 수 있다.
본 개시는 임의의 적절한 네트워크(110)를 고려한다. 일 실시 예로서, 네트워크(110)의 적어도 하나의 부분(portion)은, 애드혹 네트워크(Ad-hoc network), 인트라넷(intranet), 엑스트라넷(extranet), 가상 사설 네트워크(virtual private network, VPN), 근거리 통신네트워크(local area network, LAN), 무선 근거리 통신 네트워크(wireless LAN, WLAN), 광역 통신 네트워크(wide area network, WAN), 무선 광역 통신 네트워크(wireless WAN, WWAN), 대도시 통신 네트워크(metropolitan area network, MAN), 인터넷의 일부(portion), 공중 전화교환네트워크(Public Switched Telephone Network, PSTN)의 일부, 이동전화 통신네트워크(cellular telephone network) 또는 이들 중 복수의 조합을 포함할 수 있다. 네트워크(110)는 적어도 하나의 네트워크(110)를 포함할 수 있다.
링크(120)는 연결된 장치(130), 데이터 저장소(140), 인터랙티브 영역 모니터링 서버(150) 및 센서(160)를 통신 네트워크(110)에 연결하거나, 또는 이들을 서로 연결할 수 있다. 본 개시는 임의의 적절한 링크(120)를 고려한다. 특정 실시 예에서, 적어도 하나의 링크(120)는 적어도 하나의 유선(예를 들어, 디지털 가입자 회선(Digital Subscriber Line, DSL) 또는 데이터 오버 케이블 서비스 인터페이스 규격(Data over Cable Service Interface Specification, DOCSIS)), 무선(예를 들어, 와이파이(Wi-Fi) 또는 와이맥스(Worldwide Interoperability for Microwave Access, WiMAX)) 또는 광통신(예를 들어, 동기식 광통신(Synchronous Optical Network, SONET) 또는 동기식 디지털 계위(Synchronous Digital Hierarchy, SDH)) 링크를 포함할 수 있다. 특정 실시 예에서, 적어도 하나의 링크(120)는 각각 애드혹 네트워크, 인트라넷, 엑스트라넷, VPN, LAN, WLAN, WAN, WWAN, MAN, 인터넷의 일부, PSTN의 일부, 셀룰러 기술 기반 네트워크, 위성 통신 기술 기반 네트워크, 다른 링크(120), 또는 이와 같은 링크(120)의 복수의 조합을 포함할 수 있다. 링크(120)는 네트워크 환경(100) 전체에서 반드시 동일할 필요는 없다. 적어도 하나의 첫번째 링크(120)는, 적어도 하나의 두번째 링크(120)와 적어도 하나의 면에서 다를 수 있다. 예를 들어, 연결된 장치a(130a)에 대한 링크(120)는, 연결된 장치b(130b) 및 연결된 장치c(130c)에 대한 링크(120)와 다를 수 있다. 다른 예로서, 센서a(160a)에 대한 링크(120)는, 센서b(160b) 및 센서c(160c)에 대한 링크(120)와 적어도 하나의 면에서 다를 수 있다. 특정 실시 예에서, 인터랙티브 영역 모니터링 시스템은 적어도 하나의 연결된 장치(130), 데이터 저장소(140), 인터랙티브 영역 모니터링 서버(150) 및 센서(160)를 포함할 수 있다.
특정 실시 예에서, 인터랙티브 영역 모니터링 시스템은 적어도 하나의 연결된 장치(130)에 연결될 수 있다. 연결된 장치(130)는, 텔레비전, 스마트폰 또는 태블릿과 같은 모바일 장치, 개인용 컴퓨터, 노트북 컴퓨터(laptop computer), 게임 콘솔(game console), 자동온도조절장치, 미디어 장치, 또는 다른 적절한 장치를, 제한 없이, 포함할 수 있다. 연결된 장치(130)는 예를 들어, Wi-Fi 또는 블루투스와 같은 무선 통신 프로토콜(protocol)을 통하여 네트워크(110)와 통신할 수 있다. 일 실시 예에서, 인터랙티브 영역 모니터링 서버(150)는 연결된 장치(130)에, 전원 켜기, 전원 끄기, 특정 채널로 조정, 오디오 재생, 비디오 재생 또는 임의의 다른 명령을 보낼 수 있다.
특정 실시 예에서, 인터랙티브 영역 모니터링 시스템은 적어도 하나의 센서(160)에 연결될 수 있다. 센서(160)는 임의의 적절한 센서를 포함할 수 있고, 일 실시 예로, 깊이 센서, 이미지 센서, 디지털 카메라, RGB(red-green-blue) 카메라, 적외선 카메라, 이동거리시간차(time-of-flight) 카메라, 구조형 광(structured-light) 카메라, 레이저 카메라, 레이더, 라이더(light detection and ranging, LIDAR), 수중음파탐지기, 근접 센서, 동작 탐지기, 임의의 다른 적절한 센서, 또는 이것들의 임의의 적절한 조합을 포함할 수 있다. 센서(160)는 인터랙티브 영역 모니터링 서버(150)에 데이터를 전송할 수 있다.
일부 실시 예에서, 데이터 저장소(140)는, 도 1에 도시된 바와 같이, 클라우드 스토리지(cloud storage) 또는 다른 네트워크 접근 스토리지(network accessible storage)와 같은, 네트워크형 스토리지(networked storage)를 포함할 수 있다. 추가적으로 또는 선택적으로, 데이터 저장소(140)는, 인터랙티브 영역 모니터링 서버(150) 내부에 또는 인터랙티브 영역 모니터링 서버(150)에 직접적으로 부착된, 솔리드 스테이트 드라이브(solid state drive, SSD) 또는 하드 디스크 드라이브(hard disk drive, HDD)와 같은, 로컬 스토리지(local storage)를 포함할 수 있다.
특정 실시 예에서, 데이터 저장소(140)는 인터랙티브 영역에 대응하는 데이터 구조를 저장할 수 있다. 이러한 데이터 구조는, 일 실시 예에서, 점 군(point cloud), 와이어 프레임(wire-frame) 모델, 파라메트릭 기반(parametric-based) 모델, 경계 표현(boundary representation), 이진 공간 분할 트리(binary space partitioning tree), k-차원 트리(k-dimensional tree), 옥트리(octree), 구조적 입체 기하학 트리(constructive solid geometry tree), 그리드(grid), 다각형망(polygon mesh) 모델, 표면(surface) 모델, 솔리드 컴퓨터 이용 설계(solid computer-aided(CAD) design) 모델 또는 임의의 다른 적절한 데이터 구조를 포함할 수 있다.
특정 실시 예에서, 데이터 저장소(140)는 이벤트 또는 이벤트 조건에 대응하는 템플릿(template) 데이터를 저장할 수 있다. 이러한 데이터 구조는, 일 실시 예에서, 템플릿 이미지 또는 템플릿 골격 트래킹(template skeletal tracking) 데이터를 포함할 수 있다. 추가적으로 또는 선택적으로, 데이터 저장소(140)는 이벤트 조건에 대응하는 알고리즘의 데이터(algorithmic data)를 저장할 수 있다. 일 실시 예에서, 데이터 저장소(140)는, 사용자의 손이 왼쪽으로 적어도 13인치 이동하고 그 후 위쪽으로 적어도 5인치 이동하지만, 두 이동 사이의 시간 지연이 1.3초 이하이고, 사용자의 나머지 부분은 상대적으로 안정적인 경우인, 이벤트 조건에 대응하는 알고리즘을 저장할 수 있다.
특정 실시 예에서, 데이터 저장소(140)는 동작에 대응하는 데이터를 저장할 수 있다. 일부 실시 예에서, 이러한 데이터는 적어도 하나의 연결된 장치(130)에 대한 데이터를 포함할 수 있다. 일 실시 예에서, 이러한 데이터는 고유한 장치 식별자(identifier), 연결된 장치(130)의 사용자에 대한 정보, 장치의 세부사항(예를 들어, 제조업체, 운영 체제, 지역화된 언어(localized language), 시청각 기능(audio-visual capabilities), 배터리 용량, 네트워크 연결 사양 등), 연결된 장치(130)의 소프트웨어 애플리케이션에 대한 세부사항(예를 들어, 이름, 버전, 메시지 최대 크기 등) 또는 장치에 대한 다른 적절한 데이터를 포함할 수 있다. 일 실시 예에서, 데이터 저장소(140)는, 적어도 하나의 연결된 장치(130)에서 실행되도록 설정된, 적어도 하나의 연결된 장치(130) 또는 적어도 하나의 소프트웨어 애플리케이션에 대응하는, 애플리케이션 프로그래밍 인터페이스(application programming interface, API)에 대한 데이터를 저장할 수 있다. 일 실시 예에서, 데이터 저장소(140)는 인터랙티브 영역, 기 설정된 이벤트, 및 기 설정된 동작 사이의 관련(association)을 나타내는 데이터를 저장할 수 있다.
특정 실시 예에서, 데이터 저장소(140)는 이력 데이터(historical data)를 저장한다. 이력 데이터는 (1) 생성된 적어도 하나의 인터랙티브 영역, 사용자 인터랙션(user interaction)이 발생한 적어도 하나의 인터랙티브 영역, 또는 생성되고 사용자 인터랙션이 발생한 적어도 하나의 인터랙티브 영역 (2) 사용자 인터랙션의 지속기간, 시간, 날짜 (3) 인터랙티브 영역 모니터링 시스템으로부터의 데이터 (4) 기 설정된 이벤트 또는 이벤트 조건에 대한 정보 (5) 기 설정된 동작에 대한 정보 또는 (6) 임의의 다른 적절한 데이터 또는 이들의 임의의 적절한 조합을 포함할 수 있다.
일부 실시 예에서, 인터랙티브 영역 모니터링 서버(150)는 적어도 하나의 센서(160)와 통신할 수 있다. 일 실시 예에서, 인터랙티브 영역 모니터링 서버(150)는, 인터랙티브 영역을 모니터링 하기 위해, 적어도 하나의 센서(160)에 명령을 전달할 수 있다. 예를 들어, 인터랙티브 영역 모니터링 서버(150)는 데이터 저장소(140)와 통신할 수 있고, 인터랙티브 영역에 대응하는 데이터 구조를 검색할 수 있다. 데이터 구조에 기초하여, 인터랙티브 영역 모니터링 서버(150)는, 적어도 하나의 이벤트 또는 이벤트 조건에 대해 해당 인터랙티브 영역을 모니터링 하기 위해 적어도 하나의 센서(160)에 지시(direct)할 수 있다. 일 실시 예에서, 센서(160)는 인터랙티브 영역에 해당하지 않는 물리적 환경의 부분은 모니터링 하지 않을 수 있다.
특정 실시 예에서, 인터랙티브 영역 모니터링 서버(150)의 인터랙티브 영역 서비스(152)는, 센서(160) 또는 데이터 저장소(140)와의 통신을 위해 적절한 형식(form)을 생성할 수 있다. 예를 들어, 인터랙티브 영역 서비스(152)는 인터랙티브 영역에 대응하는 데이터 저장소(140)로부터 데이터를 검색할 수 있다. 인터랙티브 영역 서비스(152)는 또한 적어도 하나의 센서(160)로부터 데이터를 검색할 수 있다. 인터랙티브 영역에 대응하는 데이터와 적어도 하나의 센서(160)로부터의 데이터의 비교에 기초하여, 인터랙티브 영역 서비스(152)는 인터랙티브 영역을 모니터링 하기 위해 적어도 하나의 센서(160)에 명령할 수 있다.
일 실시 예에서, 인터랙티브 영역 모니터링 서버(150)의 이벤트 감지 서비스(154)는, 이벤트 조건이 템플릿 데이터에 기초하여 발생하였는지를 결정할 수 있다. 예를 들어, 이벤트 감지 서비스(154)는 데이터 저장소(140)로부터의 이벤트 조건에 대응하는 템플릿 데이터를 검색할 수 있다. 템플릿 데이터는 이벤트 조건의 예시(exemplar)로부터의 데이터를 포함할 수 있다(예를 들어, 사용자에 의해 제공된 예시에 기초한 데이터를 사용). 이벤트 감지 서비스(154)는, 그 후 템플릿 데이터와 이벤트 조건이 감지되었는지를 결정하기 위해 적어도 하나의 센서(160)로부터 검색된 데이터를 비교할 수 있다. 추가적으로 또는 선택적으로, 이벤트 감지 서비스(154)는 전술한 바와 같이, 이벤트 조건에 대응하는 템플릿 데이터 또는 알고리즘의 데이터에 기초하여 이벤트 조건이 발생했는지 여부를 결정할 수 있다. 일 실시 예에서, 이벤트 감지 서비스(154)는, 적어도 하나의 이벤트 조건의 감지에 기초하고 기 설정된 이벤트와 관련된, 적어도 하나의 이벤트 조건을 결정함으로써 기 설정된 이벤트를 감지할 수 있다.
일 실시 예에서, 인터랙티브 영역 모니터링 서버(150)는 적어도 하나의 연결된 장치(130)와 통신할 수 있다. 일 실시 예에서, 인터랙티브 영역 모니터링 서버(150)는 기 설정된 동작을 개시하기 위해 적어도 하나의 연결된 장치(130)와 통신할 수 있다. 예를 들어, 인터랙티브 영역 모니터링 서버(150)는 데이터 저장소(140)와 통신할 수 있고, 기 설정된 동작에 대응하는 데이터를 검색할 수 있다. 데이터에 기초하여, 인터랙티브 영역 모니터링 서버(150)는 기 설정된 동작을 개시하기 위해 적어도 하나의 연결된 장치(130)에 명령을 전송할 수 있다.
특정 실시 예에서, 인터랙티브 영역 모니터링 서버(150)의 동작 개시 서비스(156)는, 인터랙티브 영역, 이벤트 및 동작 사이의 관련에 기초하여 기 설정된 동작을 개시할 수 있다. 예를 들어, 동작 개시 서비스(156)는, 인터랙티브 영역, 이벤트 및 동작 사이의 관련을 나타내는 데이터 저장소(140)로부터 데이터를 검색할 수 있다. 동작 개시 서비스(156)는 또한 관련된 인터랙티브 영역 내에서 이벤트가 감지되었음을 나타내는 이벤트 감지 서비스(154) 및 인터랙티브 영역 서비스(152)로부터 데이터를 수신할 수 있다. 이에 기초하여, 동작 개시 서비스(156)는, 인터랙티브 영역과, 관련된 기 설정된 동작에 관한(with) 기 설정된 이벤트를 상호 참조(cross-reference)하기 위하여, 인터랙티브 영역, 기 설정된 이벤트 및 기 설정된 동작 사이의 관련을 나타내는 데이터를 사용할 수 있다. 동작 개시 서비스(156)는 관련된 기 설정된 동작을 개시할 수 있다.
특정 실시 예에서, 동작 개시 서비스(156)는, 인터랙티브 영역에 대한 기록에 기초하여 인터랙티브 영역, 이벤트 및 동작 사이의 관련을 결정할 수 있다. 일 실시 예에서, 인터랙티브 영역 모니터링 시스템은 다수의 기록을 포함하는 데이터 구조를 (예를 들어, 데이터 저장소(140)에 기록을 저장하고, 인터랙티브 영역 모니터링 서버(150)로부터의 명령을 통하여 기록을 업데이트함으로써) 유지할 수 있다. 각각의 기록은 모니터링 하기 위해 적어도 하나의 인터랙티브 영역을 정의할 수 있고, 적어도 한 명의 사용자에게 연결(link)될 수 있다. 예를 들어, 각각의 기록은, 인터랙티브 영역의 좌표를 나타내는 데이터, 동작을 일으키는(trigger) 이벤트를 나타내는 데이터, 이벤트에 응답하여 발생하는 동작을 나타내는 데이터, 및, 일 실시 예에서, 동작을 수행하는 장치를 나타내는 데이터를 포함할 수 있다. 인터랙티브 영역 모니터링 시스템은 (예를 들어, 사용자가 인터랙티브 영역을 설정할 때, 사용자가 이벤트를 정의할 때, 사용자가 동작을 정의할 때, 등) 사용자 입력에 기초한 기록을 생성할 수 있다.
특정 실시 예에서, 동작 개시 서비스(156)는 적어도 하나의 연결된 장치(130)로 전송하기 위한 적절한 명령을 생성함으로써 동작을 개시할 수 있다. 예를 들어, 동작 개시 서비스(156)는 기 설정된 동작에 대응하는 데이터 저장소(140)로부터의 데이터를 검색할 수 있다. 동작은 적어도 하나의 연결된 장치(130)에 의해 수행될 수 있다. 동작 개시 서비스(156)는 또한 적어도 하나의 연결된 장치(130)에 대하여 데이터 저장소(140)로부터 검색할 수 있다. 적어도 하나의 연결된 장치(130)에 대한 데이터에 기초하여, 동작 개시 서비스(156)는 적절한 명령을 결정하고 연결된 장치(130)에 그 명령을 전송함으로써 동작을 개시할 수 있다. 예를 들어, 휴대 전화에 대한 데이터는 폰 번호를 포함할 수 있다. 이 실시 예에서, 동작이 휴대 전화에 문자 메세지를 전송하는 것일 경우, 동작 개시 서비스(156)는 문자 메세지의 전달의 위해 휴대 전화를 고유하게 식별하기 위하여 (예를 들어, 단문 메세지 서비스(short message service, SMS) 게이트웨이를 이메일로 전송함으로써) 전화 번호를 사용할 수 있다.
도 2는 예시적인 물리적 환경에서 인터랙티브 영역의 일 실시 예를 도시한 도면이다. 특정 실시 예에서, 깊이 센서(210)는 출력으로서 깊이 이미지를 생성한다. 깊이 이미지는 대응하는 영역의 깊이를 나타내는 각각의 화소에 대한 깊이 값을 갖는 물리적 환경의 영역에 대응하는 화소들의 배열일 수 있다. 깊이 이미지는, 일 실시 예에서, 스테레오 삼각 측량(stereo triangulation), 광학 삼각 측량 시트, 구조형 광(structured light), 간섭법(interferometry), 부호화 개구(coded aperture) 또는 깊이 이미지에 대한 임의의 다른 적절한 감지 수단에 의해 생성될 수 있다. 특성 실시 예에서, 깊이 센서(210)는 이미지 센서, 디지털 카메라, RGB(red-green-blue) 카메라, 적외선 카메라, 이동거리시간차(time-of-flight) 카메라, 구조형 광(structured-light) 카메라, 레이저 카메라, 레이더, 라이더(light detection and ranging, LIDAR), 수중음파탐지기, 근접 센서, 동작 탐지기, 임의의 다른 적절한 센서, 또는 이들 중 임의의 적절한 조합을 포함하는 전자 시스템(electronic system)을 포함하거나 이러한 전자 시스템의 일부(part)일 수 있다. 특정 실시 예에서, 깊이 센서(210)(또는 깊이 센서(210)가 속해 있는 전자 시스템)는 소리, 화학 입자, 전류, 전위, 자기장, 공기의 흐름, 빛, 압력, 힘, 온도, 열, 동작, 이미지, 시간, 날짜, 생체 데이터, 또는 임의의 다른 데이터들 또한 감지할 수 있다. 일 실시 예에서, 깊이 센서(210)(또는 깊이 센서(210)가 속해 있는 전자 시스템)은 물체 또는 사람의 움직임이나 물체 또는 사람의 속도에 대한 데이터를 감지할 수 있다.
특정 실시 예에서, 인터랙티브 영역 모니터링 시스템은, (예를 들어, 깊이 센서(210)를 이용하여), 적어도 하나의 기 설정된 이벤트에 대해, 인터랙티브 영역(220)과 같은, 적어도 하나의 인터랙티브 영역을 모니터링 할 수 있다. 인터랙티브 영역은 물리적 환경 내에서 임의의 적절한 크기, 모양, 또는 위치를 가질(take) 수 있다. 도 2를 참조하면, 특정 실시 예에서, 인터랙티브 영역은 3차원 형상(three-dimensional shape)으로 정의될 수 있다. 특정 실시 예에서, 인터랙티브 영역은, 테이블의 표면과 같이, 표면이거나 표면에 매우 가까울 수 있다.
특정 실시 예에서, 인터랙티브 영역 모니터링 시스템은, (예를 들어 깊이 센서(210)를 이용하여), 적어도 하나의 기 설정된 이벤트에 대하여, 인터랙티브 영역(220)과 같은, 적어도 하나의 인터랙티브 영역을 모니터링 할 수 있다. 일 실시 예에서, 기 설정된 이벤트는, 이벤트를 종합적으로 구성하는(make up) 복수의 이벤트 조건으로 이루어질 수 있다. 예를 들어, 기 설정된 동작은 복수의 이벤트(종합적으로 기 설정된 이벤트인)가 감지되는 경우에만 개시될 수 있다. 본 개시에서 사용된 바와 같이, 기 설정된 이벤트는, 기 설정된 이벤트를 구성하는 적어도 하나의 이벤트 조건이 인터랙티브 영역 내에서 발생하는 경우, 인터랙티브 영역 내에서 발생할 수 있다. 예를 들어, 기 설정된 이벤트는 두 개의 이벤트 조건을 포함할 수 있다: 1) 특정 사용자가 책상 의자 주변 또는 위의 인터랙티브 영역에 들어왔는지(enter), 및 2) 실내 온도가 임계 온도 이상인지. 이 실시 예에서, 두 이벤트 조건 모두가, 선풍기 또는 에어컨 켜기와 같은, 기 설정된 동작을 일으키기(trigger) 위해 필요할 수 있다. 본 개시는 기 설정된 이벤트가 이벤트 조건에 대응하는지 또는 기 설정된 이벤트가 복수의 이벤트 조건의 발생을 요구하는지를 고려한다. 본 개시는, 이벤트 조건과 관계된 사실(disclosure)이 기 설정된 이벤트에 적용되는지를 고려하고, 그 반대의 경우도 고려한다.
특정 실시 예에서, 기 설정된 이벤트, 이벤트 조건, 또는 기 설정된 이벤트와 이벤트 조건은 다음을 포함할 수 있다: 인터랙티브 영역 내에서 이동, 인터랙티브 영역 내에서 물체 또는 사람의 존재 여부, 물체 또는 사람의 인터랙티브 영역 입장, 물체 또는 사람의 인터랙티브 영역 퇴장, 또는 임의의 다른 적절한 이벤트 조건. 일 실시 예에서, 이벤트 조건은, 다른 이벤트 조건이 특정 순서로 발생하는 것, 다른 이벤트 조건이 또 다른 조건의 특정 시간 내에 발생하는 것, 또는 다른 이벤트 조건이 임의의 다른 관계 있는 조건을 발생하는 것 일 수 있다. 특정 실시 예에서, 이벤트 조건은, 도 1에 도시된 센서 또는 장치와 같은, 임의의 센서 또는 장치로부터의 출력을 포함할 수 있다. 특정 실시 예에서, 적어도 하나의 이벤트 조건은, 예를 들어 이벤트 조건 리스트(list)로부터, 사용자에 의해 결정될 수 있다. 일 실시 예에서, 인터랙티브 영역 모니터링 시스템은 깊이 센서(210), 연결된 장치, 또는 이벤트 조건이 발생한 것을 나타내는 장치들의 조합으로부터 데이터를 수신함으로써, 기 설정된 이벤트를 감지할 수 있다.
일 실시 예에서, 이벤트 조건 리스트는, 움직임, 밝기의 정도, 물체 또는 사용자의 인터랙티브 영역 입장 또는 퇴장, 또는 임의의 다른 적절한 이벤트와 같이, 자원 집약적인(resource-intensive) 이미지 처리를 필요로 하지 않는, 이벤트 조건을 포함할 수 있다. 특정 실시 예에서, 이벤트 조건은, 특정 물체 또는 물체 유형의 인식, 사용자(사용자의 얼굴 또는 사용자의 클라이언트 장지와 같은)의 인식, 특정 제스처 또는 신체 위치의 인식, 또는 임의의 다른 이벤트 조건을 포함할 수 있다.
특정 실시 예에서, 기 설정된 이벤트 또는 이벤트 조건은, 임계 이벤트가 감지되지 않는 한, 감지되지 않을 수 있다. 임계 이벤트의 감지는 임계 이벤트가 감지되었는지에 대한 정보의 수신(예를 들어, 깊이 센서(210), 연결된 장치, 데이터베이스 등으로부터)을 포함할 수 있다. 예를 들어, 인터랙티브 영역 모니터링 시스템은 임계 이벤트로서 사람의 존재를 감지하기 위해 깊이 센서(210)를 통해 인터랙티브 영역(220)을 모니터링 할 수 있다. 인터랙티브 영역(220)에서 사용자(230)를 감지하면, 인터랙티브 영역 모니터링 시스템은, 예를 들어, 얼굴 인식을 이용하여 깊이 센서(210)에 의해 캡처된 이미지의 처리를 통해, 특정 사용자(230)에 대해 인터랙티브 영역(220)을 모니터링 할 수 있고, 이는 유인(trigerring) 이벤트를 감지및 처리하는 것보다 완수하는데 더욱 자원 집약적일 수 있다. 이 특정 실시 예가 도시된 바와 같이, 이벤트 감지와 관련된 적어도 하나의 상대적 자원 집약적 태스크(task) 전에, 상대적으로 낮은 자원 집약적 임계 이벤트가 감지되고 처리될 수 있고, 이에 따라 임계 이벤트가 감지되지 않는 기간 동안 컴퓨터 자원을 절약할 수 있다.
특정 실시 예에서, 인터랙티브 영역 모니터링 시스템에 통신적으로 연결된 적어도 하나의 연결된 장치는 기 설정된 이벤트 또는 이벤트 조건을 감지하는데 사용될 수 있다. 예를 들어, 특정 사용자는, 연결된 장치의 사용자를 고유하게 식별하는 정보를 전달하는 연결된 장치를 가질 수 있다. 예를 들어, 사용자(230)는, 사용자(230)를 식별하는 고유한 식별자(예를 들어, 사용자 이름, 전화 번호, 맥 어드레스(media access control address, MAC address) 등)를 인터랙티브 영역 모니터링 시스템에 (예를 들어, 블루투스를 통하여) 전달하는 이동 전화, 스마트 워치(smart watch), 태블릿(tablet), 랩톱, 또는 다른 장치를 가질 수 있다. 일 실시 예에서, 인터랙티브 영역 모니터링 시스템은 임계 조건이 발생했는지 여부를 결정할 수 있다. 임계 조건이 발생했다는 결정에 응답하여, 인터랙티브 영역 모니터링 시스템은, 연결된 장치들의 복수의 사용자들 또는 각각의 사용자를 고유하게 식별하는 정보를 회신하도록, 인접한 연결된 장치에 요청을 방송할(broadcast) 수 있다.
특정 실시 예에서, 인터랙티브 영역은 적어도 하나의 특정 사용자와 관련될 수 있다. 예를 들어, 인터랙티브 영역은 사용자(230)와 관련될 수도 있다. 특정 실시 예에서, 이 관련은, 사용자에 대한 프로파일, 영역에 대한 프로파일, 또는 사용자 및 영역에 대한 프로파일을 통해서, 영역과 사용자를 서로 관련시키는, 데이터 저장소(140)와 같은, 데이터 저장소로부터 결정될 수 있다. 특정 실시 예에서, 인터랙티브 영역은, 특정 사용자의 존재가 인터랙티브 영역 내에서 감지되지 않는 한, 기 설정된 이벤트에 대해 모니터링 되지 않을 수 있다. 사용자의 존재는, 예를 들어, 얼굴 인식에 의해 감지될 수 있다. 다른 실시 예에서, 전술한 바와 같이, 인터랙티브 영역은, 연결된 장치의 사용자 또는 복수의 사용자들을 고유하게 식별하는 정보를 회신하도록, 인접한 연결된 장치에 요청을 전송할 수 있다. 이 경우, 인터랙티브 영역은, 인접한 연결된 장치가 인터랙티브 영역에 관계된 특정 사용자를 식별하는 경우에만, 기 설정된 이벤트에 대해 모니터링 될 수 있다. 추가적으로 또는 선택적으로, 인터랙티브 영역은 임의의 특정 사용자와 관계되지 않을 수 있다.
특정 실시 예에서, 인터랙티브 영역 모니터링 시스템은 임계 이벤트가 감지되는 경우에만 인터랙티브 영역을 모니터링 할 수 있다. 예를 들어, 인터랙티브 영역은. 하루 중 특정 시간 동안, 온/오프 토글(toggle)이 켜져 있는 경우, 또는 임의의 다른 이벤트 조건 또는 기 설정된 이벤트가 만족된 경우, 모니터링 될 수 있다.
특성 실시 예에서, 기 설정된 동작은, 기 설정된 이벤트가 감지된 경우, 예를 들어 기 설정된 이벤트에 대한 적어도 하나의 이벤트 조건이 감지된 경우, 인터랙티브 영역 모니터링 시스템에 의해 개시될 수 있다. 이벤트 조건은 인터랙티브 영역 내에서 기 설정된 이벤트의 감지를 포함할 수 있고, 하루 중 시간 장치(스마트폰, 시계, 가전 등과 같은)로부터의 출력 빛, 소리, 온도 등과 같은 환경적 조건 또는 임의의 다른 적절한 이벤트 조건 등과 같은, 적어도 하나의 다른 이벤트 조건을 포함할 수 있다. 기 설정된 동작은 인터랙티브 영역 모니터링 시스템에 의해, 인터랙티브 영역 모니터링 시스템에 연결된 장치에 의해, 깊이 센서(210)에 의해, 또는 다른 적절한 장치에 의해, 수행될 수 있다. 일 실시 예로, 깊이 센서(210)를 포함하는 인터랙티브 영역 모니터링 시스템은, 인터랙티브 영역(220)에 입장하는 사용자의 기 설정된 이벤트에 대해 인터랙티브 영역(220)을 모니터링 할 수 있다. 인터랙티브 영역 모니터링 시스템은 TV(240)에도 연결할 수 있다. 사용자(230)가 인터랙티브 영역(220)에 입장하면, 인터랙티브 영역 모니터링 시스템은 TV(240)로 명령을 전송함으로써 TV(240)를 켜는 기 설정된 동작을 개시할 수 있다. 일 실시 예에서, 기 설정된 동작은 사용자에게 메세지 또는 알림(reminder)을 전달하는 것을 포함할 수 있다. 예를 들어, 사용자(230)는 드라마 '왕좌의 게임' 시청 이력(history)을 가질 수 있다. 만약 사용자(230)가 인터랙티브 영역(220)에 입장하면, 인터랙티브 영역 모니터링 시스템은 '왕좌의 게임' 시즌첫 방송(premiere)이 10분 후에 시작한다는 것을 사용자(230)에게 알리는 음성 알림의 재생을 개시할 수 있다.
특정 실시 예에서, 기 설정된 이벤트는 복수의 이벤트 조건을 포함할 수 있다. 일 실시 예에서, 하나의 이벤트 조건은, 다른 이벤트 조건이 특정 순서로 발생하는 것, 다른 이벤트 조건이 또 다른 조건의 특정 시간 내에 발생하는 것, 또는 다른 이벤트 조건이 임의의 다른 관계 있는 조건을 발생하는 것 일 수 있다. 특정 실시 예에서, 인터랙티브 영역은 기 설정된 복수의 이벤트에 대해 모니터링 될 수 있고, 각각의 이벤트는 기 설정된 동작을 일으킨다. 일 실시 예로, 인터랙티브 영역 모니터링 시스템은, 인터랙티브 영역(220)에 입장하는 사용자라는 이벤트 조건을 포함하는 기 설정된 이벤트에 대해 깊이 센서(210)를 통하여 인터랙티브 영역(220)을 모니터링 할 수 있다. 인터랙티브 영역(220)에 입장하는 사용자의 감지에 의해 이벤트 조건이 만족된 경우, 인터랙티브 영역 모니터링 시스템은 TV(240)을 켜는 기 설정된 동작을 개시할 수 있다. 또한, 인터랙티브 영역 모니터링 시스템은 특정 사용자(230)가 인터랙티브 영역(220)에 입장하는 이벤트 조건을 포함하는 추가적인 기 설정된 이벤트에 대해 인터랙티브 영역을 모니터링 할 수 있다. 만약 사용자(230)가 인터랙티브 영역(220)에 입장하면, 인터랙티브 영역 모니터링 시스템은 특정 사용자(230)에 대해 특정 채널로 TV(240)를 조정하는 기 설정된 동작을 개시할 수 있다. 다른 실시 예에서, 인터랙티브 영역 모니터링 시스템은 사용자가 퇴장하고 TV(240)가 켜져 있는 이벤트 조건을 포함하는 기 설정된 이벤트에 대해 인터랙티브 영역(220)을 모니터링 할 수 있다. 만약 인터랙티브 영역 모니터링 시스템이 TV(240)가 켜져 있고 사용자가 인터랙티브 영역(220)을 퇴장한 것을 감지하면, 인터랙티브 영역 모니터링 시스템은 TV(240)에 비디오 콘텐츠를 일시 정지하는 기 설정된 동작을 개시할 수 있다.
특정 실시 예에서, 인터랙티브 영역 모니터링 시스템은 환경에서 물건 또는 표면의 성능을 개선(enhance)할 수 있다. 예를 들어, 인터랙티브 영역 모니터링 시스템은, 사용자가 특정 물품(item)을 터치하거나 특정 물품에 가까이 가게 하고, 그에 대한 응답으로 물품의 가격을 표시함으로써, 소매 상점 디스플레이의 성능을 개선할 수 있다. 이 경우, 인터랙티브 영역은, 물품의 일부 또는 전부, 또는 물품 주변 공간을 포함할 수 있고, 기 설정된 이벤트는 물품에 접촉하는 것이나 물품에 가까이 가는 것일 수 있고, 기 설정된 동작은 물품의 가격을 디스플레이 하는 것일 수 있다. 다른 실시 예로, 인터랙티브 영역 모니터링 시스템은 박물관에서 물체와 음성 가이드 내용을 연결하기 위해 사용할 수 있다. 다른 실시 예로, 인터랙티브 영역 모니터링 시스템은, 교실에서 컴퓨터 내부의 서로 다른 부분들을, 서로 다른 비디오 자습서에 연결하거나 특정 컴퓨터 구성요소에 대한 더 자세한 정보의 디스플레이에 연결하기 위해 사용될 수 있다. 다른 실시 예로, 인터랙티브 영역 모니터링 시스템은, 기업 이벤트에서, 원형(prototype)에 터치하는 것과 같이, 제품의 원형과 인터랙션이 발생하는, 프리젠테이션에서 적절한 콘텐츠를 유인하기 위해 신제품을 발표하는 때에 사용될 수 있다. 본 개시에 더욱 상세하게 설명된 바와 같이, 본 개시는 인터랙티브 영역에 임의의 적절한 공간 또는 공간의 조합을 포함할 수 있는 것을 고려한다 기 설정된 이벤트는 적어도 하나의 적절한 이벤트 조건을 포함할 수 있다 그리고 기 설정된 이벤트에 대응하는 기 설정된 동작은 적어도 하나의 임의의 적절한 동작을 포함할 수 있다.
도 3a 내지 도 3d는 인터랙티브 영역을 설정하는 사용자(230)의 실시 예들을 도시한 도면이다. 일 실시 예에서, 인터랙티브 영역을 설정하는 것은 인터랙티브 영역의 결정(예를 들어, 형상, 면적, 위치, 크기, 방향, 장소 또는 다른 인터랙티브 영역의 특성을 결정), 기존 인터랙티브 영역의 이동, 기존 인터랙티브 영역의 변경(modify), 또는 기존 인터랙티브 영역의 삭제를 포함할 수 있다. 일 실시 예에서, 인터랙티브 영역 모니터링 시스템은 인터랙티브 영역의 속성을 나타내는 정보를 저장할 수 있다. 예를 들어, 인터랙티브 영역 모니터링 시스템은 인터랙티브 영역에 대응하는 데이터 구조(예를 들어, 점 군(point cloud), 와이어 프레임(wire-frame) 모델, 파라메트릭 기반(parametric-based) 모델, 경계 표현(boundary representation), 이진 공간 분할 트리(binary space partitioning tree), k-차원 트리(k-dimensional tree), 옥트리(octree), 구조적 입체 기하학 트리(constructive solid geometry tree), 그리드(grid), 다각형망(polygon mesh) 모델, 표면(surface) 모델, 솔리드 컴퓨터 이용 설계(solid computer-aided(CAD) design) 모델 또는 임의의 다른 적절한 데이터 구조)를 저장할 수 있다.
도 3a는 사용자(230)가 제스처를 통해 인터랙티브 영역(320)을 결정하는 일 실시 예를 도시한다. 예를 들어, 인터랙티브 영역 모니터링 시스템은, 사용자(230)로부터, 새로운 인터랙티브 영역을 정의하기 위한 요청을 나타내거나 기존 인터랙티브 영역을 재정의하기 위한 요청을 나타내는, 사용자 입력 데이터를 수신할 수 있다. 사용자 입력 데이터의 수신에 응답하여, 인터랙티브 영역 모니터링 시스템은 인터랙티브 영역의 위치를 나타내는 위치 데이터를 수신할 수 있다. 인터랙티브 영역 모니터링 시스템은 후술하는 복수의 방법으로 위치 데이터를 제공하여 사용자를 편리하게 할 수 있다.
특정 실시 예에서, 인터랙티브 영역 모니터링 시스템은 깊이 센서(310)를 이용하여, 인터랙티브 영역을 나타내는 사용자의 제스처를, 감지하고 추적할 수 있다. 인터랙티브 영역의 형상은, 입방체(cuboid)(예를 들어, 인터랙티브 영역(320)), 실린더(예를 들어, 도 3B의 인터랙티브 영역(350)), 다면체(polyhedron), 폴리토프(polytope), 구형, 타원형, 망(mesh)으로 경계가 지정된 부피, 표면적, 또는 임의의 다른 형상과 같은, 템플릿 형상을 가질 수 있다. 예를 들어, 사용자(230)는 경로(330)를 따라 손을 이동시켜 제스처할 수 있다. 인터랙티브 영역 모니터링 시스템은 깊이 센서(310)를 통하여 제스처를 감지할 수 있고, 위 경로(330)를 기초로 하는 인터랙티브 영역(320)을 결정할 수 있다.
일 실시 예에서, 인터랙티브 영역 모니터링 시스템은 사용자 장치를 통해 제스처를 추적할 수 있다. 예를 들어, 사용자는 장치를 보유하고 있는 손으로 제스처 할 수 있고, 장치는, 인터랙티브 영역을 결정하기 위해 인터랙티브 영역 모니터링 시스템 또는 다른 적절한 구성요소에 데이터를 생성하고 전송하는데, 내부 센서, GPS 센서, 또는 다른 적절한 센서를 이용할 수 있다.
특정 실시 예에서, 인터랙티브 영역의 형상은, 인터랙티브 영역의 형상을 설정하는 사용자의 제스처로 그 형상이 전적으로 경계되는, 최소화된 부피를 갖는 형상의 기 설정된 유형(type)일 수 있다. 일 실시 예로, 인터랙티브 영역(320)은, 경로(330)가 인터랙티브 영역(320) 내에 있는 것이 가능한 최소한의 부피를 갖는, 입방체 일 수 있다. 특정 실시 예에서, 인터랙티브 영역은 복수의 기 설정된 형상 중 하나를 취할 수 있다. 특정 실시 예에서, 인터랙티브 영역은 사용자의 제스처에 의해 생성된 형상을 가질 수 있다. 본 개시는, 인터랙티브 영역을 정의하기 위해 적어도 하나의 음성 명령, 적어도 하나의 제스처, 또는 적어도 하나의 장비(예를 들어, 스타일러스(stylus)와 같은)를 사용하는 것을 포함하는, 임의의 적절한 방법을 고려한다.
특정 실시 예에서, 사용자는 인터랙티브 영역을 정의하기를 요청(desire)하는 것을 나타낼 수 있다. 예를 들어, 사용자(230)는, 연결된 장치가 인터랙티브 영역 모니터링 시스템에 요청(desire)을 나타내는 정보를 전송하게 함으로써, 인터랙티브 환경에서 인터랙티브 영역을 정의하기 위한 요청을 나타낼 수 있다. 일 실시 예에서, 사용자(230)는, 네트워크를 통하여 인터랙티브 모니터링 시스템에 데이터를 전송하는, 연결된 장치에 설치된 소프트웨어 애플리케이션을, 가질 수 있다. 인터랙티브 영역을 정의하기 위한 사용자 요청의 표시를 수신한 후, 인터랙티브 영역 모니터링 시스템은 사용자의 제스처를 모니터링 할 수 있고, 모니터링한 제스처에 기초하여 인터랙티브 영역을 결정할 수 있다. 추가적으로 또는 선택적으로, 인터랙티브 영역 모니터링 시스템은 인터랙티브 영역을 정의하기 위한 사용자의 요청을 알리는(signaling) 음성 명령을 감지할 수 있다. 이 애플리케이션은 사용자가 인터랙티브 영역을 정의하는 요청을 알리기 위한 임의의 적절한 방법을 고려한다.
특정 실시 예에서, 인터랙티브 영역은 물건(예를 들어, 오븐, 벽, 바닥, 가구 등)을 교차(intersect)할 수 있다. 예를 들어, 인터랙티브 영역(320)은 오븐(340) 내부(into) 아래쪽으로 확장될 수 있다. 특정 실시 예에서, 물건을 교차하는 인터랙티브 영역의 부분은 기 설정된 이벤트 또는 이벤트 조건에 대해 모니터링 될 수 없다. 일 실시 예에서, 인터랙티브 영역(320)이 오븐(340) 내부 아래쪽으로 확장된다면, 오븐(340)를 포함하는 인터랙티브 영역(320)의 부분은 기 설정된 이벤트 또는 이벤트 조건에 대해 모니터링 될 수 없다.
특정 실시 예에서, 인터랙티브 영역, 기 설정된 이벤트, 동작 또는 이들의 임의의 조합은 적어도 하나의 기 정의된(predifined) 조건에 기초하여 동적으로(dynamically) 설정될 수 있다. 예를 들어, 인터랙티브 영역의 형상, 면적, 위치, 크기, 방위, 또는 장소가 기 설정된 조건에 기초하여 변경될 수 있다. 이러한 조건은 하루 중 시간, 환경 조건, 사용자 선호, 또는 임의의 다른 적절한 조건을 포함할 수 있다. 일 실시 예로, 램프 주위의 인터랙티브 영역은, 램프에 주변 면적이 어두워질수록 커질 수 있다. 다른 실시 예로, 기 설정된 이벤트는 인터랙티브 영역 내 사용자의 존재를 포함할 수 있고, 임계 온도 이상인 인터랙티브 영역을 포함하는 실내의 온도를 포함할 수 있다. 대응하는 동작은 팬의 전원을 켜는 것을 포함할 수 있다. 팬의 속도는, 사용자가 존재하는 경우, 공간 내의 온도에 기초하여 동적으로 변화할 수 있다. 일 실시 예에서, 인터랙티브 영역은, 조건에 기초하여 존재하도록, 삭제되도록, 활성화되도록, 또는 비활성화되도록 설정될 수 있다. 예를 들어, 24시간 식료품점은 두 개의 출입구를 모니터링 하기 위해 인터랙티브 영역 모니터링 시스템을 사용할 수 있다. 이 경우, 출입구 중 하나는 하루 중 특정 시간 동안 닫혀서 잠겨있을 수 있고, 해당 출입구에 대응하는 인터랙티브 영역은 문이 잠겨있는 시간 동안 비활성화 되고, 그 이후 시간에 재활성화 되도록 설정될 수 있다.
도 3b는 복수의 인터랙티브 영역들이 존재하는 물리적 환경의 일 실시 예를 도시한다. 특정 실시 예에서, 복수의 인터랙티브 영역들이 설정될 수 있다. 복수의 인터랙티브 영역들은 다른 하나로부터 구별될 수 있고, 부분적으로 또는 완전히 중첩(overlap)될 수 있다.
특정 실시예에서, 중첩하는 인터랙티브 영역들로부터의 이미지 데이터는 중복(duplication)을 줄일 수 있는 방법으로 처리(process)되거나 모니터링 될 수 있다. 일 실시 예로, 인터랙티브 영역(320)은 인터랙티브 영역(350) 내에 있을 수 있다. 인터랙티브 영역 모니터링 시스템은 동일한 데이터를 사용하여 인터랙티브 영역(320)과 인터랙티브 영역(350) 모두의 내부에 있는 물리적 환경의 일부를 모니터링 할 수 있다. 예를 들어, 깊이 센서(310)는 인터랙티브 영역(320)과 인터랙티브 영역(350) 사이에 중첩된 영역의 이미지를 캡처할 수 있고, 이 이미지는 인터랙티브 영역(320) 및 인터랙티브 영역(350) 모두를 모니터링 하는데 사용될 수 있다. 일 실시 예에서, 인터랙티브 영역 모니터링 시스템은 물리적 환경의 특정 영역을 초 당 특정 횟수로 모니터링 할 수 있다. 물리적 환경의 특정 영역이 복수의 인터랙티브 영역 내에 포함되어있는 경우, 인터랙티브 영역 모니터링 시스템은, 다른 인터랙티브 영역과 중첩되어있는 각각의 인터랙티브 영역의 부분을, 특정 영역이 하나의 인터랙티브 영역에만 있는 것처럼, 초 당 동일한 횟수로 모니터링 할 수 있다.
특정 실시예에서, 기 설정된 이벤트는 적어도 하나의 영역 내에서 감지되는 복수의 이벤트 조건을 포함할 수 있다. 일 실시 예에서, 인터랙티브 영역 모니터링 시스템은 깊이 센서(310)를 통하여 인터랙티브 영역(320)과 인터랙티브 영역(350) 모두를 모니터링 할 수 있다. 이 경우, 기 설정된 이벤트는, 냄비(pot)가 인터랙티브 영역(320) 내의 성분(element) 위에 배치되고 사용자가 인터랙티브 영역(350)을 떠나는 이벤트 조건을 포함할 수 있다. 만약 인터랙티브 영역 모니터링 시스템이 기 설정된 이벤트를 감지하는 경우, 그 후 인터랙티브 영역 모니터링 시스템은 인터랙티브 영역(320) 내에서 오븐(340)의 요소의 전원을 켜는 기 설정된 동작을 개시할 수 있다.
도 3c 및 도 3d는 사용자(230)가 클라이언트 시스템(360)을 사용하여 인터랙티브 영역(320)을 결정하는 일 실시 예를 도시한다. 특정 실시 예에서, 사용자는 인터랙티브 영역을 결정하는데 도움이 되도록 클라이언트 시스템을 사용할 수 있다. 일 실시 예에서, 사용자(230)는 제스처를 통하여 인터랙티브 영역(350)을 결정하기를 원할 수 있다. 일반적으로, 인터랙티브 영역은 인간의 눈만을 사용하는 사용자에게는 보이지 않는다. 특정 실시 예에서, 클라이언트 시스템(360)은 카메라를 통하여 물리적 환경의 일부를 표시할 수 있다. 클라이언트 시스템(360)은 인터랙티브 영역을 결정하는 데이터(예를 들어, 위치, 장소, 크기, 형상 등)를 수신할 수 있다. 클라이언트 시스템(360)은 사용자(230)에게 물리적 환경에서 인터랙티브 영역의 시각적 표시(representation)를 포함한 이미지를 표시할 수 있다. 특정 실시 예에서, 사용자는 그들이 제스처한 것을 클라이언트 시스템으로 볼(view) 수 있고, 클라이언트 시스템은 사용자의 제스처에 의해 결정된 인터랙티브 영역을 표시할 수 있다. 특정 실시 예에서, 클라이언트 시스템은, 다른 인터랙티브 영역들이 아닌, 일부 인터랙티브 영역만 디스플레이 할 수 있다. 예를 들어, 도 3D는 인터랙티브 영역(320)이 아닌, 인터랙티브 영역 (350)만 보여준다.
특정 실시예에서, 사용자는 클라이언트 시스템의 디스플레이를 통해서 인터랙티브 영역을 결정할 수 있다. 예를 들어, 클라이언트 시스템(360)은, 사용자(230)가 인터랙티브 영역(350)을 결정할 수 있는 소프트웨어를 가질 수 있다. 클라이언트 시스템은 물리적 환경의 이미지 표시를 (예를 들어, 카메라를 통하여) 디스플레이 할 수 있다. 사용자는 인터랙티브 영역을 결정하기 위하여 클라이언트 시스템과 소통(interact)할 수 있다. 예를 들어, 사용자(230)는, 형상의 리스트(list)로부터 형상을 선택하고 인터랙티브 영역(350)의 위치 또는 크기를 나타내기 위해 터치 스크린을 이용함으로써, 인터랙티브 영역(350)을 결정하기 위해 클라이언트 시스템(360)을 사용할 수 있다. 다른 실시 예에서, 사용자(230)는, 클라이언트 시스템(360)의 디스플레이 상에 영역을 그림(draw)으로써, 인터랙티브 영역(350)을 결정하기 위해 클라이언트 시스템(360)을 사용할 수 있다. 본 개시는, 인터랙티브 영역을 결정하기 위한, 음성 명령, 사용자 인터페이스(user interface, UI)와의 소통, 제스처, 또는 임의의 다른 적절한 방법을 포함하는, 클라이언트 시스템과 사용자의 임의의 적절한 소통 방법을 고려한다.
도 4는 예시적인 물리적 환경에서 복수의 인터랙티브 영역의 예를 도시한다. 이 경우, 인터랙티브 영역(420)은 인터랙티브 영역들(420a 내지 420e)을 포함한다. 특정 실시 예에서, 인터랙티브 영역(420) 및 인터랙티브 영역들(420a 내지 420e)은 기 설정된 이벤트, 이벤트 조건, 또는 기 설정된 동작과 관련될 수 있다. 일 실시 예에서, 인터랙티브 영역 모니터링 시스템은, 깊이 센서(410)를 통하여, 사용자의 손의 존재라는 이벤트 조건을 포함하는 기 설정된 이벤트에 대해 인터랙티브 영역(420) 및 인터랙티브 영역들(420a 내지 420e)을 모니터링 할 수 있다. 이 경우, 사용자의 손의 인터랙티브 영역(420) 입장이라는 이벤트 조건이 감지되면, 인터랙티브 영역 모니터링 시스템은, 램프(430)의 상태를 전환(예를 들어, 램프(430)를 켜거나 끄는)하는 기 설정된 동작을 개시할 수 있고, 램프(430)는 인터랙티브 영역 모니터링 시스템에 연결될 수 있다. 인터랙티브 영역(420)에 들어가는(entering) 사용자의 손은, 인터랙티브 영역 모니터링 시스템이 인터랙티브 영역들(420a 내지 420e) 사이의 사용자 손의 움직임에 대응하는 이벤트 조건들을 포함하는 기 설정된 이벤트를 감지한 후의, 임계 이벤트일 수도 있다. 예를 들어, 사용자의 손이 인터랙티브 영역(420) 및 인터랙티브 영역(420c)에 들어간다면, 그 후 램프(430)는 꺼져있는 상태에서 켜지는 상태로 전환될 수 있다. 만약 사용자가 그 후 인터랙티브 영역(420c)으로부터 인터랙티브 영역(420e)으로 손을 아래로 움직인다면, 그 후 인터랙티브 영역 모니터링 시스템은 램프(430) 조광(dimming)의 기 설정된 동작(예를 들어, 광 출력의 강도를 제어하기 위해 램프(430) 전압을 변경하는)을 개시할 수 있다. 이 경우, 각각의 영역(420a 내지 420e)은 램프(430)의 밝기의 특정 정도에 대응할 수 있다.
도 5는 인터랙티브 영역, 기 설정된 이벤트, 이벤트 조건, 및 기 설정된 동작에 관련되거나, 인터랙티브 영역, 기 설정된 이벤트, 이벤트 조건, 및 기 설정된 동작을 설정하는 사용자 인터페이스(UI)의 일 실시 예를 도시한다. UI는, 인터랙티브 영역을 설정하는 방식 기 설정된 이벤트 또는 이벤트 조건을 설정하는 방식 기 설정된 동작을 설정하는 방식 인터랙티브 영역, 기 설정된 이벤트, 이벤트 조건, 및 기 설정된 동작을 서로 관련하는 방식으로, 클라이언트 시스템(360)과 인터랙트할 수 있는 능력을 사용자에게 제공할 수 있다. 클라이언트 시스템(360)은, 인터랙티브 영역 모니터링 시스템에게 (예를 들어, 네트워크(110)를 통하여) 사용자의 인터랙션에 대응하는 데이터를 전달할 수 있다. 도 5는 그래픽 UI(예를 들어, 클라이언트 시스템과 인터랙트하는 능력을 사용자에게 제공하기 위해 클라이언트 시스템 상에 디스플레이 되는 그래픽 아이콘 또는 시각적 표시기(indicator)를 사용하는 사용자 인터페이스)를 도시하지만, 본 개시는 사용자 음성 인터페이스(예를 들어, 사용자가 음성(voice) 또는 대화(speech)를 통해 클라이언트 시스템과 인터랙트하는 사용자 인터페이스), 제스처 인터페이스(예를 들어, 사용자의 몸의 일부의 동작 또는 상태를 통해 클라이언트 시스템과 인터랙트하는 능력을 사용자에게 제공하는 사용자 인터페이스) 또는 임의의 다른 적절한 유형의UI를 사용하는 것을 고려한다.
특정 실시 예에서, UI는 인터랙티브 영역의 리스트를 포함할 수 있다. 특정 실시 예에서, 이러한 리스트는, 사용자가 인터랙티브 영역을 설정하는 대로, 동적으로 업데이트 될 수 있다. 일 실시 예에서, 리스트 내의 인터랙티브 영역은 명칭이 주어질 수 있다. 예를 들어, 리스트(510)는 "제품 디스플레이", "상점 입구", "금전 등록기" 및 "직원 전용 출입구" 명칭을 갖는 인터랙티브 영역을 포함할 수 있다. 이 경우, 물리적 환경은 소매 상점 내에 있을 수 있다. 특정 실시 예에서, 인터랙티브 영역은, 물리적 환경에서 인터랙티브 영역의 위치(location)를 암시하는 방식으로 명명될 수 있다. 예를 들어, 리스트(510) 내에서 "제품 디스플레이" 인터랙티브 영역은 물리적 환경에서 제품이 디스플레이 된 곳에 위치할 수 있고, 목록(510) 내에서 "상점 입구" 인터랙티브 영역은 물리적 환경에서 소매 상점의 입구에 위치할 수 있다. 일 실시 예에서, UI는, 사용자가 인터랙티브 영역에 대한 명칭을 지정하거나 변경하여, 인터랙티브 영역을 설정할 수 있게 한다.
특정 실시 예에서, UI는 이벤트 조건의 리스트를 표시(present)할 수 있다. 특정 실시 예에서, 사용자는 적어도 하나의 이벤트 조건을 선택하여 기 설정된 이벤트를 설정하고, 이러한 기 설정된 이벤트를 적어도 하나의 영역 및 적어도 하나의 기 설정된 동작과 관련시킬 수 있다. 특정 실시 예에서, 이벤트 조건은 적어도 하나의 사용자 설정가능 필드(user-configurable field)를 가질 수 있다. 예를 들어, 도 5는 이벤트 조건의 예시적인 리스트(520)를 도시한다. 리스트(520) 내의 일부 이벤트 조건은, 사용자 설정가능 필드(520a, 520b)를 가질 수 있다. 예를 들어, "사람 입장" 이벤트 조건은 두 개의 사용자 설정가능 필드(속도 및 얼굴 인식 필드)를 가진다. 사용자는, 사용자 설정가능 필드(520a)를 통하여 사람이 임의의 속도로 입장하는 이벤트 조건, 사람이 임의의 속도보다 더 빠르게 입장하는 이벤트 조건, 사람이 임의의 속도보다 더 느리게 입장하는 이벤트 조건 등을 설정할 수 있다. "사람 입장" 이벤트 조건은 사용자 설정가능 필드(520b)도 가질 수 있고, 사용자는 이 사용자 설정가능 필드(520b)를 인식된 특정 얼굴을 가진 사람이 인터랙티브 영역을 입장하는 이벤트 조건을 설정하기 위해 사용할 수 있다. 도 5는 특정 예시 리스트(520)를 도시하지만, 본 개시는 임의의 적절한 숫자만큼의 사용자 설정가능 필드를 가진 임의의 적절한 이벤트 조건 또는 기 설정된 이벤트를 고려한다.
특정 실시 예에서, 사용자는 명료한(ostensive) 정의(예를 들어, 예시를 수행하거나 예시를 보여주는 것을 통하여 예에 의하여 정의)를 통하여 기 설정된 이벤트, 이벤트 조건 또는 동작을 정의할 수 있다. 예를 들어, 인터랙티브 영역 모니터링 시스템은 주어진 인터랙티브 영역 내에서 기 설정된 이벤트 또는 이벤트 조건을 명료하게 정의하기 위한 사용자의 요청을 나타내는 사용자 입력을 인식하도록 설정될 수 있다. 만약 사용자가 이러한 요청을 나타내는 경우, 인터랙티브 영역 모니터링 시스템은 인터랙티브 영역을 모니터링 할 수 있다. 사용자는 인터랙티브 영역에 입장함으로써, '사람이 인터랙티브 영역에 입장한다'는 이벤트 조건의 예시를 제공할 수 있다. 인터랙티브 영역 모니터링 시스템은 이러한 예시를 인식하고, '사람이 인터랙티브 영역에 입장한다' 이벤트 조건을 해당 예시에 기초하여 정의할 수 있다. 일 실시 예에서, 기 설정된 이벤트 또는 이벤트 조건은 명료하게 정의되면, 이벤트는 UI를 통한 선택이 가능할 수 있다. (예를 들어, 명료하게 정의된 기 설정된 이벤트는 이벤트가 정의된 후에 목록(520)에 나타날 수 있다.)
특정 실시 예에서, UI는 기 설정된 동작의 리스트를 포함할 수 있다. 예를 들어, 리스트(530)는 복수의 예시적인 기 설정된 동작들을 포함할 수 있다. 각 동작은 사용자에 의해(예를 들어, 사용자 설정가능 필드에 의해) 추가로 설정될 수 있다. 예를 들어, "디스플레이 상에 비디오를 재생" 기 설정된 동작은 사용자가 특정 디스플레이 장치와 특정 비디오를 선택하게 할 수 있다. 일반적으로, 기 설정된 동작은 임의의 연결된 장치(130)에 의해 실행될 수 있고, UI는 사용자가 어떤 기 설정된 동작이 임의의 연결된 장치(130)에 의해 수행될 지를 선택하게 할 수 있다. 일 실시 예에서, UI는 가능한 연결된 장치(130)의 리스트를 포함할 수 있다. 특정 실시 예에서, UI는 각각의 연결된 장치(130)에 대한 서로 다른 리스트를 포함할 수 있고, 각각의 리스트는, 대응하는 특정 연결된 장치(130)가 수행할 수 있는 기 설정된 동작들만을 포함한다.
특정 실시 예에서, 사용자는 기 설정된 이벤트 또는 기 설정된 동작을 정의할 수 있다. 예를 들어, 사용자는, 연결된 장치(130)와의 인터랙션을 통하여, 또는 기 설정된 이벤트 또는 기 설정된 동작을 정의하는 임의의 다른 적절한 수단을 통하여, 기 설정된 이벤트 또는 기 설정된 동작을 정의할 수 있다. 일 실시 예에서, 사용자가 기 설정된 이벤트 또는 기 설정된 동작을 정의하는 경우, 사용자가 정의한 기 설정된 이벤트 또는 기 설정된 동작에 대응하는 데이터는 데이터 저장소(140) 내에 저장될 수 있다. 일 실시 예에서, 사용자가 기 설정된 이벤트 또는 기 설정된 동작을 정의하면, 사용자가 정의한 기 설정된 이벤트 또는 기 설정된 동작은, 리스트(520) 또는 리스트(530)와 같은, 리스트 내에서 이용 가능할 수 있다.
특정 실시 예에서, 사용자는 UI를 이용하여 인터랙티브 영역, 기 설정된 이벤트, 및 기 설정된 동작에 관련되게 할 수 있다. 이 경우, 사용자는 리스트(510)로부터 "제품 디스플레이" 인터랙티브 영역을 선택할 수 있다. 사용자는, 그 후, 이러한 인터랙티브 영역을, 리스트(520)로부터 "사람 입장" 이벤트 조건을 포함하는, 기 설정된 이벤트와 관련하게 할 수 있다. 사용자는, 그 후, 이러한 인터랙티브 영역과 기 설정된 이벤트를, 리스트(530)로부터 "디스플레이 상에서 비디오를 재생" 기 설정된 동작과 관련하게 할 수 있다. 이러한 사용자는, 인터랙티브 영역에 가까운 디스플레이 장치의 화면 상에서 제품의 사용을 보여주는 비디오를 재생하도록, 기 설정된 동작을 추가로 설정할 수 있다. 이 경우, 사람이 "제품 디스플레이" 영역에 입장한다면, 인터랙티브 영역 모니터링 시스템은 디스플레이 장치 상에 비디오를 재생시킬 수 있다.
특정 실시예에서, 인터랙티브 영역은, 물리적 환경에서 객체가 이동한 것을 따라 이동할 수 있다. 예를 들어, 리스트(510)는 "금전 등록기" 인터랙티브 영역을 포함할 수 있다. 이 인터랙티브 영역은 소매 상점의 물리적 환경에서 물건인 금전 등록기에 대응할 수 있다. 인터랙티브 영역 모니터링 시스템은 "금전 서랍 개봉" 이벤트 조건을 포함하는 기 설정된 이벤트에 대한 인터랙티브 영역을 모니터링 할 수 있다. 만약 기 설정된 이벤트가 감지된다면, 인터랙티브 영역 모니터링 시스템은 "비디오를 기록 및 저장하기 위해 카메라를 사용" 기 설정된 동작을 개시할 수 있다. 이러한 방식으로, 사용자는 금전 등록기의 금전 서랍이 개방된 때 연결된 카메라를 사용하여 금전 등록기의 비디오를 기록할 수 있다. 직원이 금전 등록기의 주변을 청소하고 금전 등록기를 이동시킬 수 있다. 인터랙티브 영역 모니터링 시스템은 금전 등록기가 이동된 것을 (예를 들어, 이미지 히스토그램(image histogram), 캐니 에지 감지(Canny edge detection), 또는 다른 적절한 방법을 사용하여) 감지할 수 있고, "금전 등록기" 인터랙티브 영역을 금전 등록기를 따라 이동시킬 수 있다.
특정 실시예에서, 특정 인터랙티브 영역, 기 설정된 이벤트, 또는 이벤트 조건은 우선순위가 정해질 수 있다. 특정 실시 예에서, 인터랙티브 영역 모니터링 시스템은 제한된 처리 능력, 메모리, 또는 다른 컴퓨터 리소스(resource)를 가질 수 있다. 인터랙티브 영역, 기 설정된 이벤트, 또는 이벤트 조건은, 다른 인터랙티브 영역, 기 설정된 이벤트, 또는 이벤트 조건과 비교하여, 해당 인터랙티브 영역, 기 설정된 이벤트 또는 이벤트 조건이 컴퓨터 리소스를 비교적 더 많이 또는 더 적게 사용하는지에 따라 우선순위가 정해질 수 있다. 예를 들어, 우선 순위 선정에는, 다른 인터랙티브 영역과 비교하여 인터랙티브 영역을 모니터링 하기 위해 더 높은 프레임률(frame rate)을 사용하는 것, 인터랙티브 영역으로부터의 이미지를 다른 인터랙티브 영역으로부터의 이미지보다 더 높은 속도 또는 더 빨리 처리하는 것, 더 많은 또는 더 적은 자원 집약적 모니터링 유형을 수행하는 것, 또는 임의의 다른 적절한 우선순위 선정 방법이 포함될 수 있다. 예를 들어, 인터랙티브 영역은 고속을 포함하는 이벤트 조건에 대해 모니터링 될 수 있다. 일 실시 예에서, 사용자는, 이벤트 조건이 고속을 포함하는 것을 나타낼 수 있다. 또한, 인터랙티브 영역 모니터링 시스템은, 이벤트 조건이, 기계 학습에 기초하거나(예를 들어, 과거 데이터의 분석에 기초하여), 기 설정된 이벤트 또는 이벤트 조건의 특정 유형과의 관련에 기초하여 고속을 포함하고 있는 것을 결정할 수 있다. 이러한 실시 예에서, 인터랙티브 영역 모니터링 시스템은, 다른 인터랙티브 영역에 대해 사용되는 것 보다 더 높은 프레임률로 인터랙티브 영역을 모니터링 하는 것에 의해, 고속이 이벤트 조건에 포함된다고 예상되는, 인터랙티브 영역에 우선순위를 정할 수 있다. 다른 실시 예로, "금전 등록기 개봉" 이벤트 조건 또는 이러한 이벤트 조건이 포함된 기 설정된 이벤트는, 인터랙티브 영역 또는 기 설정된 이벤트의 중요도에 기초하여 우선순위가 정해질 수 있다. 일 실시 예에서, 인터랙티브 영역 또는 기 설정된 이벤트의 중요도를 나타내는 저장된 변수가 있을 수 있고, 이 저장된 변수는 인터랙티브 영역 모니터링 시스템 또는 사용자에 의해 수정될 수 있다.
특정 실시 예에서, 특정 인터랙티브 영역, 기 설정된 이벤트, 또는 이벤트 조건은, 모니터링 부하(monitoring load)에 기초한 인터랙티브 영역 모니터링 시스템에 의해 자동적으로 우선순위가 정해진다. 모니터링 부하는, 인터랙티브 영역을 모니터링 하고 이벤트를 감지하고 특정 인터랙티브 영역, 이벤트, 및 동작을 생성, 변경, 활성화, 또는 비활성화하는 등과 같이, 인터랙티브 영역 모니터링 시스템을 관리하는데 필요한 (메모리, 프로세서, 및 센서와 같은) 컴퓨터 자원(computer resource) 일 수 있다. 일 실시 예에서, 인터랙티브 영역, 기 설정된 이벤트, 또는 이벤트 조건이 모니터링 됨으로써, 모니터링 부하는 인터랙티브 영역 모니터링 시스템에 사용할 수 있는 컴퓨터 자원을 초과할 수 있다. 특정 실시 예에서, 모니터링 부하가 임계 모니터링 부하 값에 도달한 경우, 인터랙티브 영역 모니터링 시스템은, 모니터링 부하에 기초하여 인터랙티브 영역 모니터링 시스템의 임의의 적절한 측면(aspect)(모니터링 되는 영역 또는 모니터링 되는 영역의 부분, 모니터링 되는 이벤트, 개시되는 동작 등)에 우선순위를 정할 수 있다. 특정 실시 예에서, 우선순위 선정은 모니터링 부하를 감소시킬 수 있다. 우선순위 선정의 예시는, 인터랙티브 영역을 모니터링 하기 위해 낮은 프레임률을 사용, 인터랙티브 영역으로부터 이미지의 처리를 지연(delay), 자원 모니터링의 더 적은 자원 집약적인 유형을 실행, 또는 임의의 다른 적절한 우선순위 선정의 방법을 포함할 수 있다. 일 실시 예에서, 모니터링 부하에 기초하는 우선수위 선정은 동적일 수 있다. 예를 들어, 인터랙티브 영역 모니터링 시스템은, 특정 시간 간격에 또는 특정 유인(trigger)에응답하는 모니터링 부하에 기초한 인터랙티브 영역 모니터링 시스템에 의하여, (예를 들어, 인터랙티브 영역이 설정된 후에) 자동적으로 우선순위가 정해질 수 있다.
특정 실시 예에서, 기 설정된 동작은 임의의 위치에서 발생할 수 있다. 일 실시 예에서, 기 설정된 동작은 인터랙티브 영역 내에서 발생할 수 있다. 예를 들어, 리스트(510)에서 "직원 전용 출입구" 인터랙티브 영역은 인터랙티브 영역 내의 문을 포함할 수 있다. 사용자는 리스트(520)에서 "사람 입장" 이벤트 조건을 포함하는 기 설정된 이벤트와 인터랙티브 영역을 관련할 수 있고, 얼굴이 직원으로 인식되어야 함을 나타내기 위해서 사용자 설정가능 영역(520b)을 사용할 수 있다. 사용자는, 이러한 인터랙티브 영역 및 기 설정된 이벤트와, 리스트(530)에서 "문 잠금해제" 기 설정된 동작을 추가로 관련할 수 있고, 인터랙티브 영역 내에서 문의 잠금을 해제하는 동작을 설정할 수 있다. 이 실시 예에서, 직원이 인터랙티브 영역으로 입장하는 경우, 인터랙티브 영역 모니터링 시스템은 직원을 감지하고, 직원의 얼굴을 인식하고, 문의 잠금을 해제할 수 있다. 추가적으로 또는 선택적으로, 일 실시 예에서, 기 설정된 동작은 인터랙티브 영역의 외부에서 발생할 수 있다. 예를 들어, 사용자는 리스트(510)에서 "상점 입구" 인터랙티브 영역을 리스트(520)에서 "움직임" 이벤트 조건이 포함된 기 설정된 이벤트와 관련할 수 있고, 소매 상점은 영업이 종료될 수 있다(예를 들어, 소매 상점 영업 시간과 하루 중 시간을 비교하여 결정함으로써 감지된). 사용자는, 소매 상점이 영업이 종료된 후 소매 상점 내에 있을 수도 있는 사용자의 전화로 문자 메세지를 발송하기 위하여, 이러한 기 설정된 이벤트 및 인터랙티브 영역을, 리스트(530)으로부터 "전화 번호로 문자 메세지 발송" 기 설정된 동작과 관련할 수 있다. 이 실시 예에서, 만약 인터랙티브 영역 모니터링 시스템이 "상점 입구" 인터랙티브 영역에서 움직임을 감지하고 상점은 영업이 종료되었다면, 인터랙티브 영역 모니터링 시스템은 사용자에게 문자 메세지를 전송하게 할 수 있고, 임의의 인터랙티브 영역 외부에서 문자 메세지는 발송되거나 수신될 수 있다.
도 6은 예시적인 인터랙티브 영역 모니터링 시스템에 의해 실행(implement)되는 예시적인 방법(600)의 흐름도이다. 단계 610에서, 인터랙티브 영역 모니터링 시스템은 인터랙티브 영역을 식별하는 입력을 수신할 수 있다. 특정 실시 예에서, 입력은 사용자로부터 올 수 있다. 전술한 바와 같이, 사용자는 제스처, 연결된 장치(130), 또는 임의의 다른적절한 수단을 통하여 인터랙티브 영역을 식별하는 입력을 제공함으로써 인터랙티브 영역을 설정할 수 있다. 도 1과 관련하여 더 상세하게 전술한 바와 같이, 일부 실시 예에서, 인터랙티브 영역 모니터링 시스템의 데이터 저장소(140)는 인터랙티브 영역에 해당하는 데이터 구조를 저장할 수 있다.
단계 620에서, 인터랙티브 영역 모니터링 시스템은, 적어도 하나의 이벤트 조건을 포함한 기 설정된 이벤트에 대한 적어도 하나의 인터랙티브 영역을 모니터링 할 수 있다. 특정 실시 예에서, 인터랙티브 영역 모니터링 시스템은, 물리적 환경의 일부인, 인터랙티브 영역의 물리적 환경을 모니터링함으로써 인터랙티브 영역을 모니터링 할 수 있다. 특정 실시 예에서, 인터랙티브 영역 모니터링 시스템에 의해 모니터링 되는 물리적 환경은 인터랙티브 영역의 외부 영역을 포함할 수 있다(예를 들어, 방, 건물 또는 센서의 시야의 전체 영역).
특정 실시 예에서, 인터랙티브 영역 모니터링 시스템에 모니터링 되는 물리적 환경은 인터랙티브 영역만 포함할 수 있다. 예를 들어, 시스템 또는 특정 시스템 구성요소(component)는 인터랙티브 영역만 또는 인터랙티브 영역의 일부만 모니터링 할 수 있다. 본 개시에 상세히 설명된 것과 같이, 특정 실시 예에서, 시스템에 의해 모니터링 되는 영역의 부분만이 시스템에 의해 처리될 수 있다. 예를 들어, 인터랙티브 영역 모니터링 시스템은 물리적 공간에서 인터랙티브 영역의 위치를 결정하기 위해 데이터 저장소(140)에 액세스 할 수 있다. 인터랙티브 영역 모니터링 시스템은 결정된 인터랙티브 영역에 해당하는 센서 데이터의 부분을 선택적으로 처리할 수 있다.
특정 실시 예에서, 인터랙티브 영역 모니터링 시스템은 적어도 하나의 센서로부터 데이터를 수신함에 따라 기 설정된 이벤트를 모니터링 할 수 있다. 일 실시 예에서, 전술한 바와 같이, 적어도 하나의 센서로부터의 데이터는 인터랙티브 영역 모니터링 서버(150)의 이벤트 감지 서비스(154)로 전송될 수 있고, 그 후 이벤트 감지 서비스(154)는 기 설정된 이벤트를 감지하기 위하여 수신된 데이터를 사용할 수 있다.
단계 630에서, 인터랙티브 영역 모니터링 시스템은 인터랙티브 영역에서 기 설정된 이벤트를 감지할 수 있다. 전술한 바와 같이, 기 설정된 이벤트는 (예를 들어, 인터랙티브 영역 내의 변화, 정보 수신, 환경 조건 등) 적어도 하나의 이벤트 조건을 포함할 수 있다. 특정 실시 예에서, 인터랙티브 영역 모니터링 서버(150)의 이벤트 감지 서비스(154)는, 기 설정된 이벤트가 단계 620에서 수신된 데이터에 기초하여 감지되었는지를 판단할 수 있다.
특정 실시 예에서, 인터랙티브 영역 모니터링 시스템은 인터랙티브 영역에 대한 깊이 이미지의 적어도 일 부분에 기초한 기 설정된 이벤트를 (예를 들어, 깊이 센서를 통하여) 감지할 수 있다. 전술한 바와 같이, 깊이 이미지는 깊이 센서로부터 생성될 수 있으며, 일 실시 예로, 스테레오 삼각 측량(stereo triangulation), 광학 삼각 측량 시트, 구조형 광(structured light), 간섭법(interferometry), 부호화 개구(coded aperture) 또는 임의의 다른 적절한 깊이 이미지 감지 수단에 의해 생성될 수 있다. 소리, 화학 입자, 전류, 전위, 자기장, 공기의 흐름, 빛, 압력, 힘, 온도, 열, 동작, 이미지, 시간, 날짜, 생체 데이터와 관련된 데이터, 또는 임의의 다른 데이터를 포함하는 다른 데이터가 단계 620에서 또한 획득될 수 있다. 특정 실시 예에서, 깊이 이미지는, 예를 들어, 객체가 인터랙티브 영역에 들어왔는지, 존재하는지, 또는 떠났는지를 결정하는데, 사용될 수 있다. 특정 실시 예에서, 인터랙티브 영역 모니터링 서버(150)의 이벤트 감지 서비스(154)는, 적어도 하나의 센서로부터 깊이 이미지를 검색할 수 있다.
단계 640에서, 인터랙티브 영역 모니터링 시스템은, 기 설정된 이벤트가 단계 630에서 감지된다면 기 설정된 동작을 개시할 수 있다. 전술한 바와 같이, 기 설정된 동작은 인터랙티브 영역 내, 인터랙티브 영역 밖, 또는 인터랙티브 영역 안과 밖 모두에서 일어날 수 있다. 기 설정된 동작은, 인터랙티브 영역 모니터링 시스템에 의해, 연결된 장치(130)에 의해, 또는 임의의 적절한 수단에 의해 수행될 수 있다. 일 실시 예에서, 전술한 바와 같이, 기 설정된 동작은 인터랙티브 영역 모니터링 서버(150)의 동작 개시 서비스(156)에 의해 개시될 수 있다.
특정 실시 예는 도 6의 방법의 적어도 하나의 단계를 반복할 수 있다. 본 개시는 특정 순서로 발생하는 것으로 도 6의 방법의 특정 단계들을 설명하고 도시하지만, 본 개시는 임의의 적절한 순서로 발생하는 도 6의 방법의 임의의 적절한 단계를 고려한다. 또한, 본 개시는 도 6의 방법의 특정 단계를 포함하는 예시적인 인터랙티브 영역에 의해 실행되는 예시적인 방법을 설명하고 도시하지만, 본 개시는 임의의 적절한 단계를 포함하는 임의의 적절한 인터랙티브 영역에 의해 실행되는 임의의 적절한 방법을 고려하고, 이러한 임의의 적절한 방법은 도 6의 방법의 전부 또는 일부 단계를 포함하거나, 또는 어떤 단계도 포함하지 않을 수 있다. 또한, 본 개시는 도 6의 방법의 특정 단계들을 수행하는 특정 구성요소, 장치 또는 시스템을 설명하고 도시하지만, 본 개시는 도 6의 방법의 임의의 적절한 단계를 수행하는 임의의 적절한 구성요소, 장치 또는 시스템의 임의의 적절한 조합을 고려한다.
도 7은 기 설정된 이벤트 또는 이벤트 조건을 모니터링 하고, 깊이 센서에 의해 적어도 부분적으로 캡처된 적어도 하나 이상의 이미지에 기초하여 기 설정된 이벤트를 감지하는 예시적인 방법(700)을 도시한다. 특정 실시 예에서, 도 6의 단계 620, 630은 방법(700)을 이용하여 수행될 수 있다. 예를 들어, 도 7의 단계 702 및 704는 도 6의 단계 620에 대응될 수 있고, 도 7의 단계 706 및 708은 도 6의 단계 630에 대응될 수 있다. 방법(700)은 단계 702로 시작할 수 있고, 본 개시에 설명된 이러한 임의의 적절한 컴퓨팅 장치와 같은, 컴퓨팅 장치의 프로세서가 인터랙티브 영역의 적어도 일부의 이미지를 나타내는 데이터를 수신할 수 있다.
단계 704에서, 이미지의 일부는, 배경 또는 다른 비 이벤트 정보라는 특징이 부여될 수 있다. 예를 들어, 이 방법은 환경의 이전 이미지를 참조할 수 있고, 배경으로, 변경되지 않은 부분 또는 특정 임계 값보다 변경되지 않은 부분을 식별할 수 있다. 특정 실시 예에서, 인터랙티브 영역에 대응하는 이미지의 부분에 대한 배경만 또는 인터랙티브 영역에 대응하는 비 이벤트 데이터만 식별될 수 있다. 특정 실시 예에서, 이미지의 배경은 사전 이미지 처리로 이미지로부터 제거(subtract)될 수 있다. 특정 실시 예에서, 배경 제거(subtraction)는, 프레임 차이, 평균 필터를 이용, 가우스 평균(Gaussian average)을 실행, 배경 혼합 모델을 이용, 또는 임의의 다른 적절한 방법에 의해 달성될 수 있다. 특정 실시 예에서, 배경 제거는, 움직임 감지, 객체 감지, 객체 위치 측정, 객체 인식, 객체 추적, 의미 분할, 또는 다른 방식의 이미지 처리를 돕기 위해, 이미지의 전면에서 객체를 분리할 수 있다. 특정 실시 예에서, 배경 제거는, 데이터가 다른 데이터로부터 분리된 변화(예를 들어, 움직임, 색상의 변화 등)를 나타내는 것을 허용할 수 있다. 특정 실시 예에서, 인터랙티브 영역에 대응하는 배경만 제거될 수 있다.
단계 706에서, 배경 또는 비 이벤트 데이터라는 특징이 부여되지 않은 이미지의 부분은, 이러한 부분이 이벤트 또는 이벤트 조건이 발생한 것을 나타내는 정보를 포함하는지 여부를 결정하기 위해 처리될 수 있다. 이미지 처리는 배경 제거된 정보의 레벨 측정 및 임계 값과 해당 레벨의 비교를 포함할 수 있다. 만약 해당 레벨이 임계 값보다 크다면, 이벤트 또는 이벤트 조건이 발생한 것으로 판단될 수 있다. 추가적으로 또는 선택적으로, 이미지 처리는 객체 인식, 얼굴 인식, 또는 임의의 다른 이미지 처리 유형 또한 포함할 수 있다. 일 실시 예로, 가장자리 정합, 빛 또는 색상의 변화 감지, 그레이 스케일(greyscale) 정합, 히스토그램 사용, 이미지와 적어도 하나의 다른 이미지의 비교, 해석 트리(interpretation tree) 사용 등 임의의 적절한 기술은 이미지 처리에 이용될 수 있다. 특정 실시 예에서, 데이터 식별, 이벤트 또는이벤트 조건은, 전술한 바와 같이, 프로파일(profile)로부터 액세스 될 수 있거나 분석된 인터랙티브 영역에 특정하게 기록될 수 있다. 특정 실시 예에서, 단계 706은 (예를 들어, 사람의 몸의 위치나 사람에 의해 만들어진 제스처를 추정하기 위해 골격 정보를 사용하는) 골격 추적을 포함할 수 있다. 특정 실시 예에서, 골격 추적은, 대상(target) 인간을 나타내는 모델을 사용하여 달성될 수 있고, 모델은 인간의 관절에 대응하는 조정 가능한 골격 점을 포함할 수 있다. 일 실시 예에서, 모델은 대상 인간에 의해 수행되는 포즈에 대응하는 다른 포즈로 조정될 수 있다. 일 실시 예에서, 골격 데이터는 기존 제스처 또는 포즈에 대응하는 데이터와의 비교에 기초하여 결정될 수 있다. 일 실시 예에서, 기계 학습은 골격 데이터를 결정하기 위해 사용될 수 있다. 특정 실시 예에서, 골격 데이터는 사람 또는 사람의 일부가 특정 인터랙티브 영역 내에 있는지, 입장했는지, 퇴장했는지를 나타낼 수 있다.
만약 어떠한 이벤트 또는이벤트 조건도 단계 706에서 감지되지 않는 경우, 방법(700)은 종료할 수 있고, 도 6의 단계 620이 수행될 수 있다. 만약 이벤트가 감지되는 경우, 방법(700)은 종료할 수 있고, 도 6의 단계 640이 수행될 수 있다. 특정 실시 예에서, 방법(700)은 단계 708을 포함할 수 있고, 방법(700)은 기 설정된 이벤트가 임의의 추가적인 이벤트 조건을 필요로 하는지 여부, 만약 필요로 한다면, 이러한 추가적인 이벤트 조건이 만족 됐는지 여부를 결정할 수 있다. 본 개시에 상세히 설명된 바와 같이, 다른 이벤트 조건의 발생은, 깊이 센서에 의해 캡처된 이미지 또는 임의의 다른 적절한 센서로부터의 출력으로부터 결정된 이미지를 처리함으로써 결정될 수 있다. 만약 다른 이벤트 조건들이 이벤트를 감지하기 위해 필요하고, 이러한 이벤트 조건들 중 적어도 하나의 이벤트 조건이 만족되지 않은 경우, 방법(700)은 종료할 수 있고, 도 6의 단계 620이 수행될 수 있다. 만약 이벤트가 추가적인 이벤트 조건을 포함하지 않는 경우, 또는 필요한 추가적인 이벤트 조건 모두가 만족되는 경우, 방법(700)은 종료할 수 있고, 도 6의 단계 640이 수행될 수 있다.
특정 실시 예에서 도 7의 방법(700)의 적어도 하나의 단계는 반복될 수 있다. 본 개시는 도 7의 방법(700)의 특정 단계를 특정 순서로 발생하도록 설명하고 도시하지만, 본 개시는 임의의 적절한 순서로 발생하는 도 7의 방법(700)의 임의의 적절한 단계를 고려한다. 또한, 본 개시는 도 7의 방법(700)의 특정 단계를 포함하는, 기 설정된 이벤트, 또는 이벤트 조건 감지에 대한 예시적인 방법을 설명하고 도시하지만, 본 개시는 기 설정된 이벤트, 또는 이벤트 조건 감지에 대한 임의의 적절한 방법을 고려하고, 이 방법은 도 7의 방법(700)의 단계의 전부 또는 일부를 포함하거나 하나도 포함하지 않을 수 있다. 또한, 본 개시는, 도 7의 방법(700)의 특정 단계를 수행하는 특정 구성요소, 장치, 또는 시스템을 설명하고 도시하지만, 본 개시는, 도 7의 방법(700)의 임의의 적절한 단계를 수행하는 임의의 적절한 구성요소, 장치, 또는 시스템의 임의의 적절한 조합을 고려한다.
도 8은 예시적인 컴퓨터 시스템(800)을 도시한다. 특정 실시 예에서, 적어도 하나의 컴퓨터 시스템(800)은 본 개시에 설명되거나 도시된 적어도 하나의 방법의 적어도 하나의 단계를 수행할 수 있다. 특정 실시 예에서, 적어도 하나의 컴퓨터 시스템(800)은 본 개시에 설명되거나 도시된 기능을 제공할 수 있다. 특정 실시 예에서, 적어도 하나의 컴퓨터 시스템(800)에서 실행되는 소프트웨어는 본 개시에 설명되거나 도시된 적어도 하나의 방법의 적어도 하나의 단계를 수생하거나, 본 개시에 설명되거나 도시된 기능을 제공할 수 있다. 특정 실시 예는, 적어도 하나의 컴퓨터 시스템(800)의 적어도 하나의 부분을 포함한다. 본 개시에서, 컴퓨터 시스템에 대한 참조는 컴퓨팅 장치를 포함할 수 있고, 그 반대일 수도 있다. 또한, 컴퓨터 시스템에 대한 참조는 적어도 하나의 컴퓨터 시스템을 포함할 수 있다.
본 개시는 임의의 적절한 숫자만큼의 컴퓨터 시스템(800)을 고려한다. 본 개시는 임의의 적절한 물리적 형태를 가지는 컴퓨터 시스템(800)을 고려한다. 일 실시 예로, 컴퓨터 시스템(800)은 임베디드 컴퓨터 시스템, 시스템 온 칩(system-on-chip, SOC), 단일 보드 컴퓨터 시스템(single-board computer system, SBC)(예를 들어, 컴퓨터 온 모듈(computer-on-module, COM) 또는 시스템 온 모듈(system-on-module, SOM), 데스크톱 컴퓨터 시스템, 랩톱 또는 노트북 컴퓨터 시스템, 양방향 무인 정보 단말기(kiosk), 메인프레임(mainframe), 컴퓨터 시스템의 메시(mesh), 휴대전화, 개인 휴대 정보 단말기(personal digital assistant, PDA), 서버, 태블릿 컴퓨터 시스템, 증강 또는 가상 현실 장치, 또는 이들 중 복수의 조합일 수 있다. 컴퓨터 시스템(800)은, 단일형 또는 분산형 복수의 지역에 걸쳐(span); 복수의 기계에 걸쳐 복수의 데이터 센터에 걸쳐 또는 클라우드 내에 있는, 적어도 하나의 컴퓨터 시스템(800)을 포함할 수 있고, 이러한 컴퓨터 시스템은 적어도 하나의 네트워크 내에서 적어도 하나의 클라우드 구성요소를 포함할 수 있다. 적어도 하나의 컴퓨터 시스템(800)은, 본 개시에 설명되거나 도시되는 적어도 하나의 방법의 적어도 하나의 단계를, 실질적인 공간 또는 시간 제한 없이 수행할 수 있다. 일 실시 예로, 적어도 하나의 컴퓨터 시스템(800)은, 본 개시에서 설명되거나 도시된 적어도 하나의 방법의 적어도 하나의 단계를, 실시간으로 또는 일괄 모드(batch mode)에서 수행할 수 있다. 적어도 하나의 컴퓨터 시스템(800)은, 본 개시에 설명되거나 도시된 적어도 하나의 방법의 적어도 하나의 단계를, 다른 시간 또는 다른 장소에서, 수행할 수 있다.
특정 실시예에서, 컴퓨터 시스템(800)은 프로세서(802), 메모리(804), 스토리지(806), 입출력(I/O) 인터페이스(808), 통신 인터페이스(810), 및 버스(812)를 포함할 수 있다. 본 개시는 특정 배열에서 특정 숫자만큼의 특정 구성요소를 갖는 특정 컴퓨터 시스템을 설명하고 도시하고 있지만, 본 개시는 임의의 적절한 배열에서 임의의 적절한 숫자만큼의 임의의 적절한 구성요소를 갖는 임의의 적절한 컴퓨터 시스템을 고려한다.
특정 실시예에서, 프로세서(802)는, 이러한 컴퓨터 프로그램을 구성하는, 명령을 실해하기 위한 하드웨어를 포함할 수 있다. 일 실시 예에서, 명령을 실행하기 위하여, 프로세서(802)는, 내부 레지스터, 내부 캐시, 메모리(804), 또는 스토리지(806)로부터 명령어를 검색(또는 인출(fetch))할 수 있고 해독하고 이를 실행하고 그 후 내부 레지스터, 내부 캐시, 메모리(804), 또는 스토리지(806)에 적어도 하나의 결과를 기록(write)할 수 있다. 특정 실시 예에서, 프로세서(802)는 데이터, 명령, 또는 어드레스(address)에 대한 적어도 하나의 내부 캐시를 포함할 수 있다. 본 개시는 임의의 적절한 숫자만큼의 임의의 적절한 내부 캐시를 포함하는 프로세서(802)를 고려한다. 일 실시 예에서, 프로세서(802)는 적어도 하나의 명령 캐시, 적어도 하나의 데이터 캐시, 적어도 하나의 변환 색인 버퍼(translation lookaside buffer, TLB)를 포함할 수 있다. 명령 캐시 내부의 명령은 메모리(804) 또는 스토리지(806)의 명령의 사본(copy)일 수 있고, 명령 캐시는 프로세서(802)에 의해 이러한 명령의 검색 속도를 높일 수 있다. 데이터 캐시 내부의 데이터는, 프로세서(802)에서 동작하기 위해 실행하는 명령에 대한 메모리(804) 또는 스토리지(806) 내부 데이터의 사본일 수 있고 프로세서(802)에서 실행될 후속 명령에 액세스를 위해 또는 메모리(804) 또는 스토리지(806)에 기록하기 위해, 프로세서(802)에서 실행된 이전 명령의 결과일 수 있고 또는 임의의 다른 적절한 데이터일 수 있다. 데이터 캐시는 프로세서(802)에 의해 읽거나 기록하는 작업의 속도를 높일 수 있다. 변환 색인 버퍼(TLB)는 프로세서(802)에 대한 가상 주소 변환 속도를 높일 수 있다. 특정 실시 예에서, 프로세서(802)는 데이터, 명령, 또는 어드레스에 대한 적어도 하나의 내부 레지스터를 포함할 수 있다. 본 개시는 임의의 적절한 숫자만큼의 임의의 적절한 내부 레지스터를 포함하는 프로세서(802)를 고려한다. 프로세서(802)는 적어도 하나의 산술 논리 연산 장치(arithmetic logic units, ALU)를 포함할 수 있고 멀티 코어 프로세서(multi-core processor)일 수 있고 또는 적어도 하나의 프로세서(802)를 포함할 수 있다. 본 개시는 특정 프로세서를 설명하고 도시하지만, 본 개시는 임의의 적절한 프로세서를 고려한다.
특정 실시 예에서, 메모리(804)는 프로세서(802)가 실행하기 위한 명령을 저장하거나 프로세서(802)가 동작하기 위한 데이터를 저장하기 위해 메인 메모리를 포함할 수 있다. 일 실시 예에서, 컴퓨터 시스템(800)은 스토리지(806) 또는 다른 소스(예를 들어, 다른 컴퓨터 시스템(800)같은)로부터 메모리(804)로 명령을 로드(load)할 수 있다. 그 후 프로세서(802)는 메모리(804)로부터 내부 레지스터 또는 내부 캐시로 명령을 로드할 수 있다. 명령을 실행하기 위해, 프로세서(802)는 내부 레지스터 또는 내부 캐시로부터 명령을 검색할 수 있고, 명령을 해독(decode)할 수 있다. 명령의 실행 동안 또는 실행 후에, 프로세서(802)는 내부 레지스터 또는 내부 캐시에 적어도 하나의 결과(중간 결과 또는 최종 결과일 수 있는)를 기록할 수 있다. 그 후, 프로세서(802)는 메모리(804)에 적어도 하나의 결과를 기록할 수 있다. 특정 실시 예에서, 프로세서(802)는 적어도 하나의 내부 레지스터 또는 내부 캐시 또는 메모리(804)(스토리지(806)에 대향하거나 다른 곳으로)에서 명령만 수행할 수 있고, 적어도 하나의 내부 레지스터, 내부 캐시, 또는 메모리(804)에서 데이터에만 작용할 수 있다. 적어도 하나의 (어드레스 버스 및 데이터 버스를 각각 포함할 수 있는) 메모리 버스는 프로세서(802)를 메모리(804)로 연결(couple)할 수 있다. 버스(812)는, 후술하는 바와 같이, 적어도 하나의 메모리 버스를 포함할 수 있다. 특정 실시 예에서, 적어도 하나의 메모리 관리 장치(memory management units, MMU)는 프로세서(802) 및 메모리(804) 사이에 있고, 프로세서(802)에 의해 요청 된 메모리(804)에 대한 액세스를 용이하게 한다. 특정 실시 예에서, 메모리(804)는 랜덤 액세스 메모리(RAM)를 포함할 수 있다. RAM은 휘발성 메모리일 수 있다. RAM은 동적 RAM 또는 정적 RAM일 수 있다. 또한, RAM은 싱글 포트 RAM(single-ported RAM) 또는 멀티 포트 RAM(multi-ported RAM )일 수 있다. 본 개시는 임의의 적절한 RAM을 고려한다. 메모리(804)는 적어도 하나의 메모리(804)를 포함할 수 있다. 본 개시는 특정 메모리를 설명하고 도시하지만, 본 개시는 임의의 적절한 메모리를 고려한다.
특정 실시 예에서, 스토리지(806)는 데이터 또는 명령을 위한 대용량 스토리지를 포함할 수 있다. 일 실시 예에서, 스토리지(806)는 하드 디스크 드라이브(hard disk drive, HDD), 플로피 디스크 드라이브, 플래시 메모리, 광 디스크, 전자기 광 디스크, 자기 테이프, 또는 유에스비(Universal Serial Bus, USB) 드라이브, 또는 이들 중 복수의 조합을 포함할 수 있다. 스토리지(806)는 분리형 또는 비분리형(또는 고정) 매체를 포함할 수 있다. 스토리지(806)는 컴퓨터 시스템(800)의 내부 또는 외부에 있을 수 있다. 특정 실시 예에서, 스토리지(806)는 비휘발성, 고체 상태의 메모리일 수 있다. 특정 실시 예에서, 스토리지(806)는 읽기 전용 기억 장치(read-only memory, ROM)를 포함할 수 있다. ROM은 마스크 프로그래머블 ROM, 프로그래머블 ROM(PROM), 소거 PROM(erasable PROM, EPROM), 전기적 소거 PROM(electrically erasable PROM, EEPROM), 또는 플래시 메모리 또는 이들 중 복수의 조합일 수 있다. 본 개시는 임의의 적절한 물리적 형태를 가지는 대용량 스토리지(806)를 고려한다. 스토리지(806)는 프로세서(802) 및 스토리지(806) 사이에 통신을 용이하게 하는 적어도 하나의 스토리지 제어부를 포함할 수 있다. 스토리지(806)는 적어도 하나의 스토리지(806)를 포함할 수 있다. 본 개시는 특정 스토리지를 설명하고 도시하지만, 본 개시는 임의의 적절한 스토리지를 고려한다.
특정 실시예에서, 입출력(I/O) 인터페이스(808)는 컴퓨터 시스템(800)과 적어도 하나의 입출력 장치 사이에 통신을 위한 적어도 하나의 인터페이스를 제공하는 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어 모두를 포함할 수 있다. 컴퓨터 시스템(800)은 적어도 하나의 입출력 장치를 포함할 수 있다. 적어도 하나의 입출력 장치는 사람과 컴퓨터 시스템(800) 사이의 통신을 가능하게 할 수 있다. 일 실시 예에서, 입출력 장치는 키보드, 키패드, 마이크, 모니터링, 마우스, 프린터, 스캐너, 스피커, 스틸 카메라, 스타일러스, 태블릿, 터치 스크린, 트랙볼, 비디오 카메라, 다른 입출력 장치 또는 이들 중 복수의 조합을 포함할 수 있다. 입출력 장치는 적어도 하나의 센서를 포함할 수 있다. 본 개시는 임의의 적절한 입출력 장치 및 이들을 위한 임의의 적절한 입출력 인터페이스(808)를 고려한다. 입출력 인터페이스(808)는, 프로세서(802)가 입출력 장치로 구동(drive)할 수 있게 하는 적어도 하나의 장치 또는 소프트웨어 드라이버를 포함할 수 있다. 입출력 인터페이스(808)는 적어도 하나의 입출력 인터페이스(808)를 포함할 수 있다. 본 개시는 특정 입출력 인터페이스를 설명하고 도시하지만, 본 개시는 임의의 적절한 입출력 인터페이스를 고려한다.
특정 실시 예에서, 통신 인터페이스(810)는, 컴퓨터 시스템(800)과 적어도 하나의 다른 컴퓨터 시스템(800) 또는 컴퓨터 시스템(800)과 적어도 하나의 네트워크 사이의 통신을 위한 적어도 하나의 인터페이스를 제공하는, 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어 모두를 포함할 수 있다. 일 실시 예에서, 통신 인터페이스(810)는 네트워크 인터페이스 컨트롤러(network interface controller, NIC), 이더넷과 통신을 위한 네트워크 어댑터, 다른 유선 기반 네트워크, 무선 NIC(wireless NIC), 또는 Wi-Fi 네트워크 같은, 무선 네트워크와 통신을 위한 무선 어댑터를 포함할 수 있다. 본 개시는 임의의 적절한 네트워크 및 이를 위한 임의의 적절한 통신 인터페이스(810)를 고려한다. 일 실시 예에서, 컴퓨터 시스템(800)은 애드 혹 네트워크, 개인 영역 네트워크(personal area network, PAN), LAN, WAN, MAN, 인터넷의 적어도 하나의 부분, 또는 이들 중 복수의 조합과 통신할 수 있다. 이러한 적어도 하나의 네트워크들의 적어도 하나의 부분은 유선 또는 무선일 수 있다. 일 실시 예로, 컴퓨터 시스템(800)은 무선 PAN(wireless PAN, WPAN)(예를 들어, 블루투스 WPAN과 같은), Wi-fi 네트워크, WiMAX 네트워크, 셀룰러 폰 네트워크(예를 들어, 세계 무선 통신(Global System for Mobile Communications, GSM) 네트워크), 다른 적절한 무선 네트워크, 또는 이들 중 복수의 조합과 통신할 수 있다. 컴퓨터 시스템(800)은 임의의 네트워크를 위한 임의의 적절한 통신 인터페이스(810)를 포함할 수 있다. 통신 인터페이스(810)는 적어도 하나의 통신 인터페이스(810)를 포함할 수 있다. 본 개시는 특정 통신 인터페이스를 설명하고 도시하지만, 본 개시는 임의의 적절한 통신 인터페이스를 고려한다.
특정 실시 예에서, 버스(812)는 하드웨어, 소프트웨어, 또는 서로 연결된 컴퓨터 시스템(800)의 구성요소 모두를 포함할 수 있다. 일 실시 예에서, 버스(812)는 가속 그래프 포트(Accelerated Graphics Port, AGP), 확장 업계 표준 규격(Enhanced Industry Standard Architecture, EISA) 버스, 전면 버스(front-side bus, FSB), 하이퍼트랜스포트 인터커넥트(HyperTransport interconnect, HT interconnect), 업계 표준 아키텍쳐(Industry Standard Architecture, ISA) 버스, 인피니밴드(InfiniBand) 인터커넥트, 로우 핀 카운트(low-pin-count, LPC) 버스, 메모리 버스, 마이크로 채널 아키텍쳐(Micro Channel Architecture, MCA) 버스, 주변 컴포넌트 인터커넥트(Peripheral Component Interconnect, PCI) 버스, PCI 익스프레스(PCI-E) 버스, 직렬 AT 어태치먼트(serial advanced technology attachment, SATA) 버스, 비디오 전자 공학 협회 로컬 버스(Video Electronics Standards Association local bus, VLB), 다른 적절한 버스, 또는 이들 중 복수의 조합을 포함할 수 있다. 본 개시는 특정 버스를 설명하고 도시하지만, 본 개시는 임의의 적절한 버스 또는
본 개시에서, 컴퓨터 판독가능 비 일시적 기억 매체 또는 매체들은 적어도 하나의 반도체 기초 또는 다른 집적 회로(integrated circuits, IC)(예를 들어, 필드 프로그래머블 게이트 어레이(field-programmable gate arrays, FPGA) 또는 주문형 반도체(application-specific Ics, ASIC), 하드 디스크 드라이브(HDD), 하이브리드 하드 드라이브(HHD), 광 디스크(optical discs), 광 디스크 드라이브(optical disc drives, ODD), 전자기-광 디스크(magneto-optical discs), 전자기 광 드라이브(magneto-optical drives), 플로피 디스켓, 플로피 디스크 드라이브(FDD), 자기 데이프, 고체 상태 드라이브(solid-state drives, SSD), RAM 드라이브, SD 카드(Secure Digital card, SD card) 또는 SD 드라이브(SD drive), 임의의 다른적절한 컴퓨터 판독가능 비 일시적 기억 매체, 또는 이들 중 복수의 임의의 적절한 조합을 포함할 수 있다. 컴퓨터 판독가능 비 일시적 기억 매체는 휘발성, 비휘발성, 또는 휘발성 및 비휘발성의 조합일 수 있다.
본 개시에서, "또는"은, 명시적으로 다르게 표현되거나 문맥상 다르게 표현되지 않는 한, 포함일 수 있고 배제가 아닐 수 있다. 따라서, 본 개시에서, "A 또는B"는, 명시적으로 다르게 표현되거나 문맥상 다르게 표현되지 않는 한, "A, B, 또는 A와 B 모두"를 의미할 수 있다. 또한, "및"은, 명시적으로 다르게 표현되거나 문맥상 다르게 표현되지 않는 한, 공동과 각각둘 다 일 수 있다. 따라서, 본 개시에서 "A 및 B"는, 명시적으로 다르게 표현되거나 문맥상 다르게 표현되지 않는 한, "A와 B 공동으로 또는 개별적으로"를 의미할 수 있다.
본 개시에서, "자동적으로" 및 이 단어의 파생어는, 명시적으로 다르게 표현되거나 문맥상 다르게 표현되지 않는 한, "인간의 개입 없이"를 의미할 수 있다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (19)

  1. 적어도 하나의 센서;
    적어도 하나의 외부 장치와 통신을 수행하는 통신 인터페이스;
    적어도 하나의 명령을 포함하는 적어도 하나의 컴퓨터 판독 가능한 기록 매체; 및
    상기 적어도 하나의 명령을 실행함으로써,
    기 설정된 인터랙티브 영역(interactive region)을 포함하는 물리적 환경을, 상기 적어도 하나의 센서를 이용하여, 모니터링 하고;
    상기 인터랙티브 영역에서, 상기 인터랙티브 영역에 설정된 이벤트를 감지하고;
    상기 인터랙티브 영역에서, 상기 이벤트가 감지되는 것에 기초하여, 상기 적어도 하나의 외부 장치 중에서 상기 인터랙티브 영역에 설정된 동작에 대응하는 제1 외부 장치가 상기 인터랙티브 영역에 설정된 동작을 수행하도록 상기 제1 외부 장치로 명령을 전송하도록 상기 통신 인터페이스를 제어하는, 적어도 하나의 프로세서를 포함하고,
    상기 인터랙티브 영역에 설정된 동작은 상기 제1 외부 장치에 의해 수행되는, 장치.
  2. 제1항에 있어서, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 명령을 실행함으로써,
    사용자 입력에 기초하여 상기 인터랙티브 영역을 식별하는, 장치.
  3. 제2항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 적어도 하나의 명령을 실행함으로써,
    상기 인터랙티브 영역을 식별하는 상기 입력의 수신에 대한 응답으로, 모니터링 부하의 적어도 일 부분에 기초하여, 상기 인터랙티브 영역을 모니터링 하기 위한 자원을 할당하는, 장치.
  4. 제2항에 있어서,
    상기 사용자 입력은
    상기 사용자에 의해 상기 물리적 환경에서 수행되는 제스처의 적어도 일 부분에 기초하는 장치.
  5. 제2항에 있어서,
    상기 사용자 입력은
    상기 사용자 및 클라이언트 시스템에 디스플레이 되는 사용자 인터페이스 사이의 인터랙션의 적어도 일 부분에 기초하는 장치.
  6. 제1항에 있어서,
    상기 인터랙티브 영역에 설정된 동작은 사용자에 의해 정의되거나,
    상기 인터랙티브 영역에 설정된 이벤트와 상기 동작의 관련은 상기 사용자에 의해 정의되는 장치.
  7. 제1항에 있어서,
    상기 프로세서는 상기 적어도 하나의 명령을 실행함으로써,
    임계 이벤트에 대해 상기 인터랙티브 영역을 모니터링하고;
    상기 임계 이벤트의 감지에 대한 응답으로, 상기 인터랙티브 영역을 모니터링 하는
    상기 명령을 실행하는 장치.
  8. 제1항에 있어서,
    상기 인터랙티브 영역에 설정된 이벤트는 복수의 이벤트 조건들을 포함하는 장치.
  9. 제1항에 있어서,
    상기 인터랙티브 영역에 설정된 이벤트는
    객체 또는 사용자의 존재 여부;
    상기 사용자 또는 상기 객체의 움직임; 및
    상기 사용자 및 객체의 적어도 일 부분 사이의 접촉 중 적어도 하나를 포함하는 장치.
  10. 제1항에 있어서,
    상기 적어도 하나의 프로세서는 상기 적어도 하나의 명령을 실행함으로써,
    복수의 인터랙티브 영역들을, 상기 복수의 인터랙티브 영역들 각각에 대한 우선순위에 따라, 상기 적어도 하나의 센서를 이용하여, 정기적으로 모니터링 하는 장치.
  11. 제10항에 있어서,
    상기 복수의 인터랙티브 영역들 각각에 대한 우선순위는
    상기 복수의 인터랙티브 영역들 각각과 관련된 이벤트 이력(historical event) 데이터;
    상기 복수의 인터랙티브 영역들 각각에 기 설정된 이벤트가 발생하는 예상 빈도;
    상기 복수의 인터랙티브 영역들 각각에 기 설정된 이벤트가 발생하는 예상 기간; 및
    상기 복수의 인터랙티브 영역들 각각의 중요도 중 적어도 하나에 기초하는 장치.
  12. 제1항에 있어서,
    상기 적어도 하나의 프로세서는 상기 적어도 하나의 명령을 실행함으로써,
    상기 인터랙티브 영역을 포함하는 물리적 환경을, 상기 인터랙티브에 설정된 이벤트와 관련된 우선순위에 따라 상기 적어도 하나의 센서를 이용하여, 모니터링 하는 상기 명령을 실행하는 장치.
  13. 제1항에 있어서,
    상기 인터랙티브 영역은 제1 인터랙티브 영역 및 제2 인터랙티브 영역을 포함하고,
    상기 제1 인터랙티브 영역의 적어도 일부분은, 제2 이벤트와 관련된 제2 인터랙티브 영역의 적어도 일 부분을 포함하고;
    상기 프로세서는 상기 적어도 하나의 명령을 실행함으로써,
    상기 제1 인터랙티브 영역의 일 부분을 모니터링 함으로써 생성된 데이터에 기초하여, 상기 제3 인터랙티브 영역의 일 부분에서 제2 이벤트를 감지하는 장치.
  14. 적어도 하나의 프로세서에 의해 실행될 때 적어도 하나의 프로세서가 작업을 수행하는 명령을 포함하는 적어도 하나의 컴퓨터 판독가능 기록 매체에 있어서,
    기 설정된 인터랙티브 영역을 포함하는 물리적 환경을, 적어도 하나의 센서를 이용하여, 모니터링 하는 단계;
    상기 인터랙티브 영역에서, 상기 인터랙티브 영역에 설정된 이벤트를 감지하는 단계; 및
    상기 인터랙티브 영역에서, 상기 이벤트가 감지되는 것에 기초하여, 적어도 하나의 외부 장치 중에서 상기 인터랙티브 영역에 설정된 동작에 대응하는 제1 외부 장치가 상기 인터랙티브 영역에 설정된 동작을 수행하도록 상기 제1 외부 장치로 명령을 전송하는 단계;를 실행하는 명령을 포함하고,
    상기 인터랙티브 영역에 설정된 동작은 상기 제1 외부 장치에 의해 수행되는 기록 매체.
  15. 제14항에 있어서,
    상기 작업은 사용자 입력에 기초하여 상기 인터랙티브 영역을 식별하는 것을 포함하는 기록 매체.
  16. 제14항에 있어서,
    상기 인터랙티브 영역에 설정된 동작은 사용자에 의해 정의되거나,
    상기 인터랙티브 영역에 설정된 이벤트와 상기 동작의 관련은 상기 사용자에 의해 정의되는 기록 매체.
  17. 기 설정된 인터랙티브 영역을 포함하는 물리적 환경을, 적어도 하나의 센서를 이용하여, 모니터링 하는 단계;
    상기 인터랙티브 영역에서, 상기 인터랙티브 영역에 설정된 이벤트를 감지하는 단계; 및
    상기 인터랙티브 영역에서, 상기 이벤트가 감지되는 것에 기초하여, 적어도 하나의 외부 장치 중에서 상기 제1 인터랙티브 영역에 설정된 동작에 대응하는 제1 외부 장치가 상기 인터랙티브 영역에 설정된 동작을 수행하도록 상기 제1 외부 장치로 명령을 전송하는 단계를 포함하고,
    상기 인터랙티브 영역에 설정된 동작은 상기 제1 외부 장치에 의해 수행되는, 방법.
  18. 제17항에 있어서,
    사용자 입력에 기초하여 상기 인터랙티브 영역을 식별하는 단계를 포함하는, 방법.
  19. 제17항에 있어서,
    상기 인터랙티브 영역에 설정된 동작은 사용자에 의해 정의되거나,
    상기 인터랙티브 영역에 설정된 이벤트와 상기 동작의 관련은 상기 사용자에 의해 정의되는 방법.
KR1020240046769A 2015-08-21 2024-04-05 사용자 설정가능 인터랙티브 영역 모니터링 장치 및 방법 KR20240049534A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562208265P 2015-08-21 2015-08-21
US62/208,265 2015-08-21
US15/015,040 US10057078B2 (en) 2015-08-21 2016-02-03 User-configurable interactive region monitoring
US15/015,040 2016-02-03
KR1020160104498A KR20170022912A (ko) 2015-08-21 2016-08-17 사용자 설정가능 인터랙티브 영역 모니터링 장치 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020160104498A Division KR20170022912A (ko) 2015-08-21 2016-08-17 사용자 설정가능 인터랙티브 영역 모니터링 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20240049534A true KR20240049534A (ko) 2024-04-16

Family

ID=58100284

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020240046769A KR20240049534A (ko) 2015-08-21 2024-04-05 사용자 설정가능 인터랙티브 영역 모니터링 장치 및 방법

Country Status (2)

Country Link
KR (1) KR20240049534A (ko)
WO (1) WO2017034217A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111698647B (zh) 2019-03-15 2021-09-17 上海碧虎网络科技有限公司 一种基于对车辆定位的多媒体移动跟随系统和方法
CN109946765B (zh) * 2019-04-02 2021-05-07 上海电气风电集团股份有限公司 风电场的流场的预测方法和系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7680295B2 (en) * 2001-09-17 2010-03-16 National Institute Of Advanced Industrial Science And Technology Hand-gesture based interface apparatus
AU2003274540A1 (en) * 2002-11-22 2004-06-18 Koninklijke Philips Electronics N.V. System for and method of controlling a light source and lighting arrangement
US7610280B2 (en) * 2005-05-05 2009-10-27 Cisco Technology, Inc. Method and system for dynamically pre-positioning content in a network based detecting or predicting user presence
FR2928809B1 (fr) * 2008-03-17 2012-06-29 Antoine Doublet Systeme interactif et procede de commande d'eclairages et/ou de diffusion d'images
EP2600641A4 (en) * 2010-07-30 2017-10-18 Panasonic Intellectual Property Management Co., Ltd. Wireless device

Also Published As

Publication number Publication date
WO2017034217A1 (en) 2017-03-02

Similar Documents

Publication Publication Date Title
US10298412B2 (en) User-configurable interactive region monitoring
KR20240049534A (ko) 사용자 설정가능 인터랙티브 영역 모니터링 장치 및 방법
EP3876206B1 (en) Floorplan generation based on room scanning
CN107113544B (zh) 用于物联网设备的3d映射的方法、系统及介质
KR101803168B1 (ko) 실질 세계 객체 조작에 기초한 데이터 조작
US10936880B2 (en) Surveillance
US10620807B2 (en) Association of objects in a three-dimensional model with time-related metadata
TW202025800A (zh) 用於物聯網設備消歧的系統和方法
WO2019089051A1 (en) Dynamic graceful degradation of augmented-reality effects
CN105376121A (zh) 图像触发配对
US11763535B2 (en) Electronic device and control method thereof
US20240045440A1 (en) Electronic apparatus and control method therof
US11966317B2 (en) Electronic device and method for controlling same
US20230177833A1 (en) Systems and methods for detecting objects within the boundary of a defined space while in artificial reality
KR20220159347A (ko) 인공 현실에 있는 동안 침입을 검출하기 위한 시스템 및 방법
GB2564784B (en) Activity surface detection, display and enhancement of a virtual scene
KR20220021581A (ko) 로봇 및 이의 제어 방법
US20190018494A1 (en) Systems and Methods for Gesture Handling in a Three-Dimensional Visual Scene
JP2021141581A (ja) 人工知能に基づく応答アクションを自動的に生成するための領域に関する条件の追跡
US20230394765A1 (en) Generation of 3D Room Plans With 2D Shapes and 3D Primitives
KR20200061281A (ko) 전자 장치 및 그 제어 방법
US20240212235A1 (en) Electronic device for generating a floor map image and method for controlling the same
Von Dehsen Camera Lens with Display Mode
CN117173328A (zh) 使用2d形状和3d图元生成3d房间平面图
EP3480789A1 (en) Dynamic graceful degradation of augmented-reality effects

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal