KR20190099216A

KR20190099216A - Rgbd 감지 기반 물체 검출 시스템 및 그 방법

Info

Publication number: KR20190099216A
Application number: KR1020197017948A
Authority: KR
Inventors: 조나단 프란시스; 시라줌 무니르; 찰스 쉘톤
Original assignee: 로베르트 보쉬 게엠베하
Priority date: 2016-12-22
Filing date: 2017-12-12
Publication date: 2019-08-26
Also published as: US20200074228A1; EP3559858A1; WO2018114443A1; CN110073364A

Abstract

실시간으로 물체들을 검출, 추적, 분류, 및 보고를 위한 RGBD 감지 기반 시스템은 프로세서, 컴퓨터 판독 가능 매체, 및 예시된 시스템 버스를 통해 서로에 통신 가능하게 결합된 통신 인터페이스를 포함한다. 물체 검출 모듈은 그의 시야하에서 이동되는 임의의 물체들을 검출 및 추적하는 시스템으로 통합된다.

Description

RGBD 감지 기반 물체 검출 시스템 및 그 방법

본 개시는 일반적으로 감지 시스템들에 관한 것이고, 더 구체적으로는 적색 녹색 청색 깊이(RGBD) 감지 및 물체 검출 시스템 및 그 방법에 관한 것이다.

본 명세서에서 달리 지시되지 않는 한, 본 섹션에 기재된 자료들은 본 출원의 청구 범위에 대한 종래 기술이 아니고, 본 섹션에 포함시킴으로써 종래 기술로 승인되지 않는다.

카메라들은 감시 목적들을 위해 널리 사용되어왔다. 그러나, 이러한 카메라들은 사람들이 건물로 가지고 들어와 운반하는 물체들과 점유자 프로파일 식별을 자동으로 검출하는 능력이 부족하다. 결과로서, 기존 카메라 기반 시스템들은 이러한 정보를 효율적으로 사용하여 난방, 환기, 및 공조(HVAC) 장치들을 제어할 수 없다. 또한, 기존 카메라 기반 시스템들은 총과 같은 물체들을 자동으로 검출할 수 없어서 거주자들 및 보안 직원들에게 경고하지 못한다.

본 발명의 목적은 RGBD 감지 기반 물체 검출 시스템 및 그 방법을 제공하는 것이다.

본 개시의 이들 및 다른 특징들, 양태들, 및 이점들은 첨부된 도면들을 참조하여 특정 예시적인 실시예들에 대한 다음의 상세한 설명이 판독될 때 더 잘 이해될 것이고, 첨부된 도면들에서, 유사한 문자들은 도면 전반에 걸쳐 유사한 기술을 나타낸다.
도 1a는 본 개시의 일 예시적인 실시예에 따른 검출 네트워크 아키텍처를 도시하는 도면.
도 1b는 본 개시의 설명된 실시예에 따라 입구의 통로 위에 설치된 RGBD 감지 기반 시스템을 일 예로서 도시하는 도면.
도 1c는 본 개시의 일 예에 따른 도 1b의 RGBD 감지 기반 시스템의 블록도.
도 2a 내지 도 2d는 RGBD 감지 기반 시스템을 사용하여 랩탑, 백팩, 박스, 또는 휴대폰과 같은 상이한 물체들을 운송하는 사람의 다양한 개략도들.
도 3a 내지 도 3c는 RGB 이미지들에 대한 샘플 배경 차감 프로세스의 다양한 개략도들.
도 4a 내지 도 4c는 깊이 이미지들에 대한 샘플 배경 차감 프로세스의 다양한 개략도들.
도 5a 및 도 5b는 주석 달기 단계에서 결정된 물체의 위치의 다양한 개략도들.

다음의 설명은 당업자가 설명된 실시예들을 수행하고 사용할 수 있게 하기 위해 제공되고, 특정 애플리케이션 및 그 요건들의 환경에서 제공된다. 설명된 실시예들에 대한 다양한 수정들이 당업자에게 쉽게 명백할 것이고, 본 명세서에서 정의된 일반적인 원리들은 설명된 실시예들의 정신 및 범위를 벗어나지 않고 다른 실시예들 및 애플리케이션들에 적용될 수 있다. 따라서, 설명된 실시예들은 도시된 실시예들에 한정되지 않고, 본 명세서에 개시된 원리들 및 특징들과 일치하는 가장 넓은 범위에 적응된다.

도 1a는 본 개시의 일 예시적인 실시예에 따른 검출 네트워크 아키텍처(50)를 도시한다. 검출 네트워크 아키텍처(50)는 RGBD 감지 기반 시스템을 포함하고, 통신 링크(L)를 통해 네트워크(104)를 거쳐 서버(102)에 통신 가능하게 결합되는 복수의 RGBD 감지 기반 시스템(100, 100n)이 도시된다. RGBD 감지 기반 시스템(100, 100n)은 카메라, 센서, 또는 깊이 또는 거리와 같은 파라미터를 검출하고 검출된 파라미터를 RGBD 감지 기반 시스템 또는 기계(106)내에 위치된 컴퓨터 구현 모듈 중 적어도 하나에 송신 또는 출력할 수 있는 임의의 적절한 감지 소자들과 같은 RGBD 감지 소자를 포함한다. 서버(102)는 애플리케이션 서버, 인증서 서버, 모바일 정보 서버, 전자 상거래 서버, FTP 서버, 디렉토리 서버, CMS 서버, 프린터 서버, 관리 서버, 메일 서버, 공개/사설 액세스 서버, 실시간 통신 서버, 데이터베이스 서버, 프록시 서버, 스트리밍 미디어 서버 등일 수 있다. 네트워크(104)는 하나 이상의 서브-네트워크들 및 네트워크 시스템(100) 내 서버(102)를 포함할 수 있다. 네트워크(104)는 예를 들면 근거리 통신망(LAN), 대도시 통신망(MAN), 광역 통신망(WAN), 사설 서브-네트워크를 갖는 주 공중 네트워크, 공중 서브-네트워크를 갖는 주 사설 네트워크, 사설 서브-네트워크(104)를 갖는 주 사설 네트워크, 클라우드 네트워크, 또는 임의의 적합한 네트워크들일 수 있다. 또 다른 실시예들에서, 네트워크(104)는 점 대 점(point to point) 네트워크, 방송 네트워크, 원격 통신 네트워크, 데이터 통신 네트워크, 컴퓨터 네트워크, ATM(비동기 전송 모드) 네트워크, SONET(동기식 광 네트워크(Synchronous Optical Network)) 네트워크, SDH(동기식 디지털 계층(Synchronous Digital Hierarchy)) 네트워크, 무선 네트워크, 유선 네트워크 등과 같은 임의의 네트워크 형태들일 수 있다. 애플리케이션에 따라, 클라이언트 기계와 서버간에 교환된 데이터가 네트워크를 통해 송신될 수 있도록 다른 네트워크들이 사용될 수 있다. 네트워크(104)의 네트워크 토폴로지는 버스 네트워크 토폴로지, 성형 네트워크 토폴로지, 환상 네트워크 토폴로지, 중계기 기반 네트워크 토폴로지, 또는 층상 성형 네트워크 토폴로지를 포함할 수 있는 상이한 실시예들 내에서 상이할 수 있다. 추가의 실시예들은 이동 장치들간에 통신하기 위해 프로토콜을 사용하는 이동 전화 네트워크들 중의 네트워크를 포함할 수 있고, 프로토콜은 예를 들면 AMPS, TDMA, CDMA, GSM, GPRS, UMTS, LTE 또는 이동 장치들간에 데이터를 송신할 수 있는 임의의 다른 프로토콜일 수 있다. 하나보다 많은 RGBD 감지 기반 시스템(100, 100n)이 동일한 위치의 사이트에 제공되지만, 단 하나의 RGBD 감지 기반 시스템(100)이 동일한 위치 또는 상이한 위치들의 각 사이트에 설치될 수 있다. 다양한 위치들에 하나보다 많은 사이트들이 있는 경우, 적어도 하나의 RGBD 감지 기반 시스템(100)이 위치당 각 사이트에 설치된다. 복수의 RGBD 감지 기반 시스템(100, 100n)은 RGBD 감지 기반 시스템들과 서버(102) 사이에 위치된 1차 네트워크로 정의된 하나 또는 다수의 서브-네트워크들에 설치되어 접속될 수 있다. 사이트는 건물, 방, 장소, 개폐 여부에 상관없는 공간, 임의의 일반 장소들, 임의의 개인 액세스 장소들 또는 위치들 등일 수 있다. RGBD 감지 기반 시스템(100)은 점유자들, 점유자들에 의해 운반되거나 실시간으로 사이트 또는 위치로 이동된 물체들을 검출하도록 구성된다. 일부 실시예들에서, RGBD 감지 기반 시스템(100)은 실시간으로 점유자들, 물체들, 또는 이들의 조합의 프로파일을 식별하도록 구성될 수 있다. 다른 실시예에서, RGBD 감지 기반 시스템(100)은 사이트를 떠나거나 들어오는 점유자들, 들어오고 나가는 물체들, 또는 그의 조합의 수를 실시간으로 추적하거나 모니터링하도록 구성될 수 있다. 다른 실시예에서, RGBD 감지 기반 시스템(100)은 점유자, 물체들, 또는 그의 조합을 포함하는 검출된 이벤트에 관하여 사이트 또는 위치 내의 환경을 제어하도록 구성될 수 있다.

통신 링크(L)는 유선, 무선, 또는 그의 조합일 수 있다. 검출 네트워크 아키텍처(50)는 사무실들, 기업 전체 컴퓨터 네트워크들, 인트라넷들, 인터넷들, 공중 컴퓨터 네트워크들, 또는 그의 조합과 같이 흔하게 사용될 수 있다. 무선 통신 링크는 셀룰러 프로토콜, 데이터 패킷 프로토콜, 무선 주파수 프로토콜, 위성 대역, 적외선 채널, 또는 클라이언트 기계들간에 데이터를 송신할 수 있는 임의의 다른 프로토콜을 포함할 수 있다. 유선 통신 링크는 임의의 유선 회선 링크를 포함할 수 있다. 적어도 하나의 기계(106)는 네트워크(104) 또는 서버(102) 중 적어도 하나를 통해 RGBD 감지 기반 시스템(100, 100n)에 통신 가능하게 결합된다. 기계(106)는 개인용 컴퓨터 또는 데스크탑 컴퓨터, 랩탑, 휴대 전화 또는 스마트폰, 태블릿, 개인 휴대 정보 단말(PDA), 웨어러블 장치, 게이밍 콘솔, 오디오 장치, 비디오 장치, 텔레비전과 같은 오락 장치, 차량 인포테인먼트(vehicle infotainment), 또는 임의의 적절한 장치들일 수 있다. 일부 실시예들에서, 기계(106)는 HVAC 유닛, 조명 유닛, 보안 유닛, 또는 임의의 적합한 기계들일 수 있다.

도 1b는 사이트(108)상에 설치된 RGBD 감지 기반 검출 시스템(100)을 도시한다. 사이트(108)는 입구 통로(110)를 포함하고 RGBD 감지 기반 검출 시스템(100)은 적어도, 점유자들, 점유자들에 의해 운반되거나 사이트 또는 위치로 가져와지는 물체들을 검출하거나, 점유자들, 물체들, 또는 그의 조합의 프로파일을 식별하거나, 사이트로 들어오고 떠나는 점유자들, 들어오고 나가는 물체들의 수를 추적 또는 모니터링하거나, 점유, 물체들, 또는 그의 조합을 포함하여 검출된 이벤트에 관하여 사이트 또는 위치 내 환경을 실시간으로 제어하도록 구성된 입구 통로(110) 위에 장착된다. 간략함을 위해, 문은 도면에서 생략되었다. 사이트(108)는 방, 장소, 개방 또는 폐쇄 사이트에 관계없는 공간, 임의의 일반 장소들, 임의의 개인 액세스 장소들 또는 위치들 등일 수 있다. RGBD 감지 기반 검출 시스템(100)은 무선 또는 유선 통신 링크를 통해 서버, 네트워크, 클라이언트 기계, 및 RGBD 감지 기반 검출 시스템(100) 중 하나 이상에 통신 가능하게 결합된다. RGBD 감지 기반 검출 시스템(100)은 임의의 적합한 에너지 소스에 의해 전력이 공급된다. RGBD 감지 기반 검출 시스템(100)은 단일 장치로서 도시되지만, RGBD 감지 기반 검출 시스템(100)은 보안 시스템, HVAC 유닛, 조명 유닛, 입구 통로 제어 시스템, 또는 임의의 적합한 장치들과 같은 다른 장치들로 통합될 수 있다.

도 1c는 도 1b의 RGBD 감지 기반 검출 시스템(100)의 블록도를 도시한다. 시스템(100)은 센서(112), 프로세서(114), 컴퓨터 판독 가능 매체(116), 통신 인터페이스(118), 입/출력 서브시스템(120), 및 그래픽 사용자 인터페이스(GUI; 122)와 같은 감지 요소를 포함한다. 애플리케이션에 따라, 본 명세서에 규정되지 않은 특징들 또는 기능을 수행하기 위해 다른 컴퓨터 구현 장치들 또는 모듈들이 시스템(100)으로 통합될 수 있다. 다양한 컴퓨터 구현 장치들(112, 114, 116, 118, 120, 122), 하나 이상의 출력 장치들, 하나 이상의 주변 장치 인터페이스들, 및 하나 이상의 통신 장치들간에 통신을 가능하게 하기 위해 하나 이상의 컴퓨터 구현 장치들(112, 114, 116, 118, 120, 122)에 결합된 하나 이상의 시스템 버스들(220)이 제공된다. 시스템 버스들(220)은 메모리 또는 메모리 제어기, 주변 버스, 로컬 버스, 및 임의의 형태의 버스 아키텍처들을 포함하는 임의의 형태들의 버스 구조들일 수 있다. 센서(112)는 RGBD 센서, RGBD 카메라, RGBD 이미징 장치, 또는 깊이 또는 거리와 같은 파라미터를 검출할 수 있는 임의의 적절한 감지 소자일 수 있다. 하나의 센서(112)가 도시되지만, 하나보다 많은 RGBD 센서가 시스템(100)으로 통합될 수 있다. 광학 센서들, 이미징 센서들, 음향 센서들, 모션 센서들, 글로벌 포지셔닝 시스템 센서들, 열 센서들, 환경 센서들 등과 같은 다른 형태들의 센서는 깊이 센서에 결합되고 시스템(100) 내에 장착될 수 있다. 일부 실시예들에서, 별개의 장치로서 다른 비깊이 센서는 시스템(100)에 전기적으로 결합될 수 있다. 프로세서(114)는 클라이언트 기계(106)에 의해 실행되는 프로그램 모듈들과 같은 컴퓨터 실행 가능 명령들의 제어하에서 작동하는 범용 또는 특수 목적 마이크로프로세서일 수 있다. 프로그램 모듈들은 일반적으로 특정 태스크들을 수행하거나 특정 추상형들을 구현하는 루틴들, 프로그램들, 물체들, 구성요소들, 데이터 구조 등을 포함한다. 프로세서(114)는 마이크로프로세서(μP), 마이크로컨트롤러(μC), 디지털 신호 프로세서(DSP), 또는 그의 임의의 조합일 수 있다. 프로세서(114)는 레벨 캐시 메모리, 하나 이상의 프로세서 코어들, 및 레지스터들과 같은 하나 이상의 레벨들의 캐싱을 포함할 수 있다. 예시적인 프로세서 코어들(114)은 (각각) 산술 논리 유닛(ALU), 부동 소수점 유닛(FPU), 디지털 신호 처리 코어(DSP 코어), 또는 그의 임의의 조합을 포함할 수 있다. 일 실시예에서, 서브-프로세서들의 일부 또는 모두는 실행될 때 그들의 각각의 기능들을 수행하기 위해 메모리에 명백하게 저장된 컴퓨터 소프트웨어로서 구현될 수 있다. 대안적인 실시예에서, 서브-프로세서들의 일부 또는 모두는 ASIC에서 구현될 수 있다. 도시된 바와 같이, 프로세서(114)는 RGBD 데이터를 처리하도록 구성된 저전력 마이크로프로세서이다. 컴퓨터 판독 가능 매체(116)는 다양한 서브 구성요소들의 경계들을 반영하도록 분할되거나 그와 달리 맵핑될 수 있다. 컴퓨터 판독 가능 매체(116)는 일반적으로 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 예를 들면, 컴퓨터 판독 가능 매체(116)는 컴퓨터 저장 매체 및 통신 매체를 포함한다. 컴퓨터 저장 매체는 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성 양쪽 모두의, 분리형 및 비분리형 매체, CD-ROM, DVD, 광 디스크 저장 장치, 자기 카세트들, 자기 테이프, 자기 디스크 저장 장치 또는 다른 자기 저장 장치, 또는 원하는 정보를 저장하기 위해 사용될 수 있고 클라이언트 기계에 의해 액세스될 수 있는 임의의 다른 매체를 포함한다. 예를 들면, 컴퓨터 저장 매체는 랜덤 액세스 메모리(RAM), BIOS와 같은 판독 전용 메모리(ROM)의 조합을 포함할 수 있다. 통신 매체는 일반적으로 반송파 또는 다른 전송 메커니즘과 같은 변조된 데이터 신호 내의 컴퓨터 판독 가능 명령들, 데이터 구조들, 프로그램 모듈들, 또는 다른 데이터를 포함하고 임의의 정보 전달 매체를 포함한다. 통신 매체는 또한 유선 네트워크 또는 직접 유선 통신과 같은 유선 매체, 및 음향, RF, 적외선(IR) 및 다른 무선 매체와 같은 무선 매체를 포함할 수도 있다. 상기 중 어느 하나의 통신들은 또한 컴퓨터 판독 가능 매체의 범위에 포함된 것이다.

입/출력 서브시스템(120)은 기계 작동의 상이한 양태들을 제어할 수 있는 디스플레이, 키보드, 조이스틱, 마우스, 트랙볼, 터치 패드, 터치 스크린 또는 태블릿 입력, 풋 제어, 서보 제어, 게임 패드 입력, 적외선 또는 레이저 포인터, 카메라 기반 제스처 입력(camera-based gestured input) 등을 포함한다. 예를 들면, 사용자는 타이핑, 스크린 터치, 문장 말하기, 비디오 녹화, 또는 다른 유사한 입력들에 의해 정보를 입력할 수 있다. 통신 인터페이스(118)는 소프트웨어 및 데이터가 컴퓨터 시스템과 다른 외부 전자 장치들 사이에서, 예를 들면 전자, 전자기, 광학, 또는 통신 인터페이스(118)에 의해 수신될 수 있는 다른 신호들일 수 있는 데이터 또는 신호들의 형태로 전송되게 한다. 통신 인터페이스(118)는, 예를 들면, 모뎀, 네트워크 인터페이스, 통신 포트, PCM-CIA 슬롯 및 카드 등일 수 있다.

시스템은 시스템 버스들(220)을 통해 하나 이상의 컴퓨터 구현 장치들(112, 114, 116, 118, 120, 122)에 통신 가능하게 결합된 물체 검출 모듈(124)을 더 포함한다. 다른 실시예에서, 모듈(124)은 프로세서(114)로 임베딩될 수 있고, 적어도 점유자들, 점유자들에 의해 운반되거나 사이트 또는 위치로 가져와지는 물체들을 검출하거나 아래에서 더 상세히 설명되는 바와 같이 사이트상의 점유자들, 물체들, 또는 그의 조합의 프로파일을 실시간으로 식별하도록 구성된다. 일부 실시예들에서, 센서(112)는 물체 검출 모듈(124)로 통합될 수 있다. 다른 실시예에서, 트래킹 모듈은 사이트를 떠나는 및/또는 사이트에 들어오는 점유자들, 들어오고 나가는 물체들의 수를 추적하거나 모니터하기 위해 제공될 수 있다. 일 예에서, 프로세서(114)는 센서(112)로부터 감지된 데이터 또는 모듈(124)로부터의 검출된 데이터를 처리하고 처리된 데이터에 관한 사이트 또는 위치 내의 환경 조건의 제어를 위해 처리된 데이터를 송신하도록 구성된다. 감지된 데이터는 점유, 물체들 또는 이들의 조합을 실시간으로 포함한다. 가열 및 냉각 조건들, 조명 조건, 임의의 정상 및 비정상적인 활동들과 같은 환경의 조건은 HVAC 유닛, 조명 유닛, 보안 유닛, 또는 프로세서(114)를 통한 임의의 적절한 유닛들/장치들 중 적어도 하나에 의해 제어될 수 있다. 다른 실시예에서, 프로세서들(114) 중 하나 이상은 HVAC 유닛, 조명 유닛, 보안 유닛, 또는 임의의 적절한 유닛들/장치들 중 적어도 하나로 통합된다. 센서(112)에 의해 감지되거나 모듈(124)에 의해 검출된 데이터는 처리를 위해 통신 인터페이스(118)를 통해 HVAC 유닛, 조명 유닛, 보안 유닛, 또는 임의의 적절한 유닛들/장치들 중 적어도 하나에 위치된 프로세서(114)로 송신된다.

도 2a 내지 도 2d는 랩탑(304a), 백팩(304b), 박스(304c), 또는 사람(302) 위에 장착된 RGBD 감지 기반 시스템(100)을 사용하는 휴대폰(304d)과 같은 이동 장치와 같은 상이한 물체들을 운반하는 사람(302)의 다양한 개략도들(300)을 도시한다. 애플리케이션에 따라, 도시된 물체들 외의 임의의 물체들이 검출될 수 있다. RGB 감지 기반 시스템(100)의 물체 검출 모듈(124)은 센서(112)로부터의 입력으로서 다양한 RGBD 이미지들을 수신한다. 도 2a 내지 도 2d에 도시되는 평면도로부터 취해진 RGBD 이미지들은 2차원 이미지들, 3차원 이미지들, 또는 더 높은 차원의 이미지들일 수 있다. 일 실시예에서, 물체 검출 모듈(124) 또는 프로세서(114) 중 적어도 하나에 결합되거나 또는 물체 검출 모듈 또는 프로세서(114) 중 적어도 하나로 통합된 이미지 분석 모듈은 RGBD 이미지의 이미지 요소들을 배경 이미지 및 사람 및 물체들을 포함하는 다른 이미지들로 분류하고, RGBD 이미지로부터 배경 이미지를 빼도록 구성된다.

이제 도 3a 내지 도 3c를 참조하면, 다양한 처리 이미지들(400a-400c)이 도시된다. 도 3a에서, 랩탑(404)을 잡고 있는 사람(402)을 도시하는 평면도로부터의 RGBD 이미지(400a)는 RGBD 감지 기반 검출 시스템(100)에 의해 촬영된다. RGBD 이미지(400a)는 사람 또는 물체가 검출될 때마다 촬영될 수 있다; 일 실시예에서. 다른 실시예에서, RGBD 이미지(400a)는 분류, 빼기 및 주석 처리들 동안 물체 검출 시스템(100)으로 통합되거나 물체 검출 시스템(100)에 결합되는 트레이닝 엔진을 사용하여 촬영된다. 예를 들면, 처음에 장면에 아무도 없을 때, 트레이닝 엔진 또는 물체 검출 시스템 중 적어도 하나에 의해 배경 이미지가 촬영된다. 배경 이미지에는 벽, 프레임, 창, 바닥, 또는 임의의 적합한 정적 물체들과 같은 정적 물체들을 포함할 수 있다. 오브젝션 시스템 또는 트레이닝 엔진 중 적어도 하나는, 도 3a에 도시된 바와 같이, 배경 및 정적 물체들(예를 들면, 벽들)을 포함하는 장면에 누군가가 있을 때, 및 물체를 잡고 있는 사람이 있을 때 이미지(400a)를 촬영한다. 단독으로 촬영된 배경 이미지는 RGBD 이미지(400a)에서 캡쳐된 배경과 유사하다(사람들과 사람이 운반하고 있는 물체 없음). 트레이닝 엔진 또는 물체 검출 시스템 중 하나는 이미지로부터 배경 플로어를 뺌으로써 이미지(400a)를 전처리한다. 예를 들면, 도 3b는 백그라운드 플로어가 제거될 때 랩탑(404)을 잡고 있는 사람(402)을 포함하는 전처리된 RGBD 이미지(400b)를 도시한다. 도 3b의 이미지(400b)는 주변의 정적 벽들을 제거하기 위해 추가로 처리되고 결과적인 RGB 이미지(400c)가 도 3c에 도시된다.

도 4a 내지 도 4c는 도시된 다양한 처리 이미지들(500A-500C)을 도시한다. 이미지들(500A-500C)은 RGB 카메라를 사용하는 대신에, 깊이 카메라가 프레임을 캡처하기 위해 사용된다는 점을 제외하면 도 3a 내지 도 3c의 이미지들(400A-400C)과 유사하다. 예를 들면, 도 4a는 랩톱(504)을 잡고 있는 사람(502)이 RGBD 감지 기반 검출 시스템(100)에 의해 촬영된 것을 도시하는 평면도로부터의 깊이 이미지(500A)를 도시한다. RGBD 이미지(500a)는 사람 또는 물체가 검출될 때마다 촬영될 수 있다; 일 실시예에서. 다른 실시예에서, RGBD 이미지(500a)는 분류, 빼기 및 주석 처리들 동안 물체 검출 시스템(100)으로 통합되거나 물체 검출 시스템(100)에 결합되는 트레이닝 엔진을 사용하여 촬영된다. 예를 들면, 트레이닝 엔진 또는 물체 검출 시스템 중 하나는 장면에 아무도 없을 때 배경 장면을 캡처한다. 배경 이미지에는 벽, 프레임, 창, 바닥, 또는 임의의 적합한 정적 물체들과 같은 정적 물체들을 포함할 수 있다. 오브젝션 시스템 또는 트레이닝 엔진 중 적어도 하나는 누군가가 배경 및 정적 물체들(예를 들면, 벽들)을 포함하는 장면에 있을 때 및 도 4b에 도시된 바와 같이, 물체를 잡고 있는 사람이 장면으로 들어올 때 이미지(400A)를 촬영한다. 홀로 촬영된 배경 이미지는 깊이 이미지(400A)에서 캡처된 배경과 유사하다. 트레이닝 엔진 또는 물체 검출 시스템 중 하나는 도 4b 및 도 4c의 이미지들(400B, 400C)에 도시된 바와 같이 사람 및 물체들과 같은 동적인 요소들을 포함하는 선명한 깊이 이미지를 획득하기 위해 깊이 이미지(400A)로부터 배경 및 정적 물체들을 뺌으로써 이미지(400a)를 전처리한다. 배경이 빠진 후, 움직임에 의해 영향을 받지 않는 픽셀들은 0이 되고, 따라서 도 4c에서 흑색으로 도시된다.

도 5a 및 도 5b는 하나 이상의 주석이 달린 요소의 다양한 개략도(600)를 도시한다. 위치들(602, 604) 및 백팩(606), 박스(608)와 같은 임의의 물체들은 프로세서(114), 물체 검출 모듈(124), 또는 깊이 감지 기반 모듈(100)의 임의의 적합한 컴퓨터 구현 모듈 중 적어도 하나로 통합된 주석 모듈을 사용하여 주석이 달린다. 예를 들면, 도 5a는 백팩(606)의 위치를 도시하고 도 5b는 박스(608)의 위치를 도시한다.

일 실시예에서, RGBD 감지 기반 시스템(100)은 분류, 빼기 또는 주석 중 적어도 하나를 수행하기 위한 트레이닝 엔진을 포함한다. 트레이닝 엔진은 물체 검출 모듈(124), 프로세서(114), 또는 임의의 적합한 컴퓨터 구현 모듈상에서 실행될 수 있다. 트레이닝 엔진은 신경망, 심층 신경망, 인공 신경망, 콘볼루션 신경망, 또는 임의의 적합한 기계 학습 네트워크들 중 적어도 하나를 사용할 수 있다. 일부 실시예들에서, 트레이닝 엔진에 의한 출력(예를 들면, 누군가가 운반하는 검출된 물체들, 프로파일 식별)이 사이트 또는 위치 내의 환경을 제어하기 위해 사용될 수 있다. 가열 및 냉각 조건들, 조명 조건, 임의의 정상 및 비정상적인 활동들과 같은 환경의 조건. 다른 실시예에서, 분류 출력은 HVAC 유닛, 조명 유닛, 보안 유닛 또는 임의의 적합한 유닛들/장치들을 포함하는 임의의 장치들을 제어하기 위해 사용될 수 있다. 또 다른 실시예에서, 트레이닝 엔진은 임의의 이벤트들, 점유, 물체들을 연속적으로 추적하고 실시간으로 검출하도록 배치될 수 있다. 이벤트, 점유, 또는 물체 중 적어도 하나가 송신, 보고, 및 디스플레이된다.

상술된 실시예들은 예시로서 도시되었고, 이들 실시예들은 다양한 수정들 및 대안적인 형태들이 가능할 수 있음이 이해되어야 한다. 청구 범위는 개시된 특정 형태들에 한정되도록 의도되는 것이 아니라 본 개시의 정신 및 범위에 속하는 모든 수정들, 등가물들, 및 대안들을 포함하는 것으로 또한 이해되어야 한다.

본 특허가 다양한 실시예들을 참조하여 설명되었지만, 이들 실시예들은 예시적이고 본 개시의 범위는 이들로 한정되지 않는다는 것이 이해될 것이다. 다양한 변형들, 수정들, 추가들, 및 개선들이 가능하다. 더 일반적으로, 본 특허에 따른 실시예들이 문맥 또는 특정 실시예들에서 설명되었다. 기능성은 본 개시의 다양한 실시예들에서 블록들로 다르게 분리되거나 조합되거나 상이한 용어로 기술될 수 있다. 이들 및 다른 변형들, 수정들, 추가들 및 개선들은 후속하는 청구 범위에 정의된 바와 같은 본 개시의 범위 내에 속할 수 있다.

Claims

감지 기반 검출 시스템에 있어서,
입력 이미지를 수신하도록 구성된 물체 검출 모듈로서, 트레이닝 엔진을 실행하는, 상기 물체 검출 모듈을 포함하고, 상기 트레이닝 엔진은:
상기 입력 이미지의 요소들을 하나 이상의 계층화된 이미지들로 분류하고;
처리된 이미지에 대해 적어도 하나 이상의 계층화된 이미지들을 빼고;
상기 처리된 이미지의 하나 이상의 요소들에 주석을 달도록 구성되는, 감지 기반 검출 시스템.
제 1 항에 있어서,
상기 처리된 이미지를 송신하기 위해 상기 물체 검출 모듈에 결합된 통신 인터페이스를 더 포함하는, 감지 기반 검출 시스템.
제 2 항에 있어서,
상기 요소는 이벤트, 점유자, 또는 물체 중 적어도 하나인, 감지 기반 검출 시스템.
제 2 항에 있어서,
상기 처리된 이미지는 사이트 또는 위치 내에서의 환경의 조건을 제어하기 위해 사용되는, 감지 기반 검출 시스템.
제 4 항에 있어서,
상기 환경의 조건은 가열 및 냉각 조건들, 조명 조건들, 또는 정상 및 비정상 활동들 중 적어도 하나인, 감지 기반 검출 시스템.
제 2 항에 있어서,
상기 통신 인터페이스에 결합된 장치를 더 포함하는, 감지 기반 검출 시스템.
제 6 항에 있어서,
상기 장치는 상기 감지 기반 검출 시스템, 또는 프로세서, 또는 클라이언트 기계(client machine) 중 적어도 하나에 의해 제어되는, 감지 기반 검출 시스템.
제 7 항에 있어서,
상기 장치는 HVAC 유닛, 조명 유닛, 및 보안 유닛인, 감지 기반 검출 시스템.
제 7 항에 있어서,
상기 클라이언트 기계는 개인용 컴퓨터 또는 데스크톱 컴퓨터, 랩탑, 휴대 전화 또는 스마트폰, 태블릿, 개인 휴대 정보 단말(PDA), 및 웨어러블 장치인, 감지 기반 검출 시스템.
제 2 항에 있어서,
카메라를 더 포함하는, 감지 기반 검출 시스템.
제 2 항에 있어서,
깊이 이미징 센서를 포함하는 카메라를 더 포함하는, 감지 기반 검출 시스템.
제 10 항 또는 제 11 항에 있어서,
상기 카메라는 RGB 이미징 센서를 포함하는, 감지 기반 검출 시스템.
RGBD 감지 기반 검출 시스템에 있어서:
입력 이미지를 수신하도록 구성된 물체 검출 모듈로서, 트레이닝 엔진을 실행하는, 상기 물체 검출 모듈을 포함하고, 상기 트레이닝 엔진은:
상기 입력 이미지의 요소들을 하나 이상의 계층화된 이미지들로 분류하고;
처리된 이미지에 대해 적어도 하나 이상의 계층화된 이미지들을 빼고;
상기 처리된 이미지의 하나 이상의 요소들에 주석을 달도록 구성되는, RGBD 감지 기반 검출 시스템.