KR20180031013A - 모니터링 - Google Patents

모니터링 Download PDF

Info

Publication number
KR20180031013A
KR20180031013A KR1020187004089A KR20187004089A KR20180031013A KR 20180031013 A KR20180031013 A KR 20180031013A KR 1020187004089 A KR1020187004089 A KR 1020187004089A KR 20187004089 A KR20187004089 A KR 20187004089A KR 20180031013 A KR20180031013 A KR 20180031013A
Authority
KR
South Korea
Prior art keywords
space
computer implemented
virtual boundary
monitored scene
movable
Prior art date
Application number
KR1020187004089A
Other languages
English (en)
Other versions
KR102096191B1 (ko
Inventor
프란세스코 크리크리
주카 사리넨
Original Assignee
노키아 테크놀로지스 오와이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 테크놀로지스 오와이 filed Critical 노키아 테크놀로지스 오와이
Publication of KR20180031013A publication Critical patent/KR20180031013A/ko
Application granted granted Critical
Publication of KR102096191B1 publication Critical patent/KR102096191B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/104—Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying
    • G06K9/00221—
    • G06K9/0063—
    • G06K9/00771—
    • G06K9/2081—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

방법은 모니터링된 장면 공간에서 제1 양손 제스처와 제2 양손 제스처를 인식하여 해당 모니터링 공간 내의 컴퓨터 구현된 가상 경계의 형상 및 포지션을 적어도 부분적으로 정의하는 단계 - 모니터링된 장면 공간 내의 제1 양손 제스처는 모니터링 공간 내의 제1 투 포인트를 특정하고, 모니터링된 장면 공간 내의 제2 양손 제스처는 모니터링 공간 내의 제2 투 포인트를 특정함 - 와, 모니터링된 장면 공간에 대응하는 모니터링 공간 내에 컴퓨터 구현된 가상 경계의 구현을 야기하는 단계 - 컴퓨터 구현된 가상 경계의 형상 및 포지션은 모니터링 공간 내의 제1 투 포인트와 모니터링 공간 내의 제2 투 포인트에 의해 적어도 부분적으로 정의됨 - 와, 대응 모니터링 공간 내의 컴퓨터 구현된 가상 경계에 대해 모니터링된 장면 공간의 일부에서 변경이 있을 때 응답 이벤트를 생성하기 위해 수신된 데이터를 프로세싱하는 단계를 포함한다.

Description

모니터링
본 발명의 실시예는 장면을 모니터링하는 것에 관한 것이다. 특히, 본 발명의 실시예는 자동화된 장면 모니터링에 관한 것이다.
감시 시스템(surveillance systems)과 같은 현재의 모니터링 시스템은, 오디오 레코딩을 갖거나 갖지 않는, 장면으로부터 레코딩된 데이터를 저장하거나 저장을 가능하게 하는 허브에 유선을 통해 또는 무선으로 접속된 비디오 레코딩을 위한 하나 이상의 카메라를 포함할 수 있다. 일부 실시예에서 운용자는 이 허브를 사용하여 카메라 및/또는 허브에 대한 설정(settings)을 프로그램할 수 있다.
본 개시물의 일부의 다양한 실시예에 의하면 청구항 제1항 내지 제14항 중의 어느 한 항에 따른 방법이 제공된다.
본 개시물의 일부의 다양한 실시예에 의하면, 청구항 제15항에 따른 장치가 제공된다.
본 개시물의 일부의 다양한 실시예에 의하면, 장치가 제공되며, 이 장치는 적어도 하나의 프로세서와, 컴퓨터 프로그램 코드를 포함한 적어도 하나의 메모리를 포함하되, 상기 적어도 하나의 메모리 및 상기 컴퓨터 프로그램 코드는 상기 적어도 하나의 프로세서와 함께 상기 장치로 하여금 적어도 청구항 제1항 내지 제14항 중 어느 한 항에 따른 방법을 수행하게 하도록 구성된다.
본 개시물의 일부의 다양한 실시예에 의하면, 컴퓨터 프로그램 코드가 제공되며, 이 컴퓨터 프로그램 코드는 적어도 하나의 프로세서에 의해 수행될 경우 청구항 제1항 내지 제14항 중의 적어도 하나의 청구항의 방법이 수행되게 한다.
본 개시물의 일부의 다양한 실시예에 의하면, 컴퓨터 프로그램이 제공되며, 이 컴퓨터 프로그램은 컴퓨터 상에서 실행될 경우 청구항 제1항 내지 제14항 중의 어느 한 항에서 청구되는 방법을 수행한다.
본 개시물의 일부의 다양한 실시예에 의하면, 방법이 제공되며, 이 방법은 제1 이동가능 수송기(movable craft)를 모니터링된 장면 공간 내에 포지셔닝하여 컴퓨터 구현된 가상 경계의 형상 및 포지션을 대응하는 모니터링 공간 내에 적어도 부분적으로 정의하는 단계와, 상기 모니터링된 장면 공간에 대응하는 상기 모니터링 공간 내에 상기 컴퓨터 구현된 가상 경계의 구현을 야기하는 단계와, 상기 대응하는 모니터링 공간 내의 상기 컴퓨터 구현된 가상 경계에 대해 상기 모니터링된 장면 공간의 적어도 일부에서의 변경에 응답하여 응답 이벤트의 생성을 가능하게 하도록 상기 모니터링된 장면 공간의 센서로부터 수신된 데이터를 프로세싱하는 단계와, 상기 제1 이동가능 수송기로부터 제2 이동가능 수송기로의 핸드오버(handover)를 인식하는 단계와, 상기 제2 이동가능 수송기를 상기 모니터링된 장면 공간 내에 포지셔닝하여 상기 대응하는 모니터링 공간 내에 새로운 컴퓨터 구현된 가상 경계를 적어도 부분적으로 정의하는 단계와, 상기 대응하는 모니터링 공간 내의 상기 새로운 컴퓨터 구현된 가상 경계에 대해 상기 모니터링된 장면 공간의 적어도 일부에서의 변경에 응답하여 응답 이벤트의 생성을 가능하게 하도록 상기 모니터링된 장면 공간의 센서로부터 수신된 데이터를 프로세싱하는 단계를 포함한다.
본 발명의 일부의 다양한 실시예에 의하면, 첨부된 청구항들에서 청구되는 실시예가 제공된다.
간략한 설명을 이해하는 데 유용한 다양한 실시예의 보다 나은 이해를 위해, 첨부되는 도면에 대한 참조가 예로서만 행해질 것이다.
도 1은 일 예의 시스템을 개략적으로 도시한다.
도 2는 상태 머신의 일 예를 도시한다.
도 3은 프로세싱 모듈의 일 예를 도시한다.
도 4는 컴퓨터 프로그램을 위한 전달 메카니즘의 일 예를 도시한다.
도 5는 이동가능 수송기의 일 예를 도시한다.
도 6의 A 내지 D는 상기 시스템의 동작을 도시한다.
도 7(a) 내지 도 7(c)는 이동가능 수송기를 사용하여 컴퓨터 구현된 가상 경계의 정의/재정의를 도시한다.
도 8(a) 내지 도 8(c)는 이동가능 수송기들 간의 핸드오버를 사용하여 컴퓨터 구현된 가상 경계의 정의를 도시한다.
도 9는 방법의 일 예를 도시한다.
정의
본 명세서에서, 용어 "궤도수정"(maneuver)은 하나의 수송기와 관련하여 명사로서 사용될 때 이동가능 수송기의 시간 경과에 따른 포지션의 변경을 지칭하며, 복수의 이동가능 수송기와 관련하여 명사로서 사용될 때 한 시점에서의 그들의 상대적인 포지션들과 관련되거나 상기 상대적인 포지션들에서의 변경 또는 하나 이상의 이동가능 수송기의 시간 경과에 따른 상대적인 포지션들에서의 변경과 관련된다. 한 세트의 공간 좌표들이 특정 시점에서의 포지션을 정의한다고 가정하면, 궤도수정은 하나 이상의 이동가능 수송기에 대한 다수의 상이한 세트의 공간 좌표들에 의해 정의되며, 이 공간 좌표들은 상이한 공간 포지션들을 정의한다. 용어 "궤도수정"은 동사로서 사용되거나 형용사로서 사용될 때 궤도수정의 실행을 지칭한다.
본 명세서에서, "이동가능 수송기"(movable craft)는 운송 수단, 차량 또는 다른 이송 수단이다. 본 명세서에서, "모니터링된 장면 공간"(monitored scene space), 또는 "장면 공간", 또는 "장면"은 모니터링되는 3차원 공간이다.
본 명세서에서, "모니터링 공간"(monitoring space)은 모니터링된 장면 공간에 대응하는 가상 3차원 공간이며 상기 모니터링 공간 내에서 컴퓨터 구현된 가상 경계가 정의된다.
본 명세서에서, "컴퓨터 구현된 가상 경계"(computer-implented virtual boundary)는 상기 모니터링 공간 내의 경계이며, 상기 모니터링 공간은 컴퓨터 구현된 가상 공간이다.
본 명세서에서, "이벤트"는 사건(occurrence)이다.
본 명세서에서, "응답 이벤트"는 상기 모니터링된 공간 내에서의 검출된 변경에 응답하여 생성되는 사건이다.
기술되는 시스템(100)은 적어도 하나의 장면(140)을 모니터링하는 시스템이다. 장면(140)은 이벤트가 발생할 수 있는 공간이다. 장면(140)은 결과적으로 모니터링된 장면 공간으로도 지칭될 수 있다. 시스템(100)의 동작은 하나 이상의 이동가능 수송기에 의해 제어될 수 있으며, 이 이동가능 수송기는 모니터링된 장면 공간(140) 내에서 궤도수정을 행한다. 가령, 하나 이상의 이동가능 수송기는 시스템(100)에 의해 모니터링될 적어도 하나의 컴퓨터 구현된 가상 경계를 정의할 수 있다.
도 1은 시스템(100)을 개략적으로 도시하며, 이 시스템은 장면(140)으로의 센서 데이터(112)를 레코딩하도록 구성된 하나 이상의 센서와, 장면(140)으로부터 레코딩된 센서 데이터(112)를 프로세싱하여 장면(140) 내에서 발생하는 이벤트를 자동으로 인식하고 그 인식의 결과로서 자동으로 결정을 행하도록 구성된 프로세싱 모듈(120)과, 프로세싱 모듈(120)에 의해 통신할 결정이 내려질 경우, 통신하도록 구성된 통신 모듈(130)을 포함한다.
인식된 이벤트들의 일부는 장면(140) 내의 객체(152) 또는 특정 객체(152)와 관련될 수 있다. 객체는 장면(140) 내에서, 무생물 객체, 동물, 사람, 또는 특정 사람일 수 있다. 이 시스템(100)의 일부 실시예에서, 시스템(100)은 실시간 인식 시스템이며, 자동 인식 및 결정은, 만약 존재할 경우 센서 데이터(112)가 레코딩되는 것과 실질적으로 동시에 발생한다.
시스템(100)은 가령, 장면(140) 내로부터의 모니터링을 사용자가 제어하게 할 수 있다. 시스템(100)은 사용자가 인식 및/또는 인식의 결과를 제어하되, 가령 장면 내에서 사용자의 모션 또는 다른 제어 객체(150)의 모션을 통해 제어하게 할 수 있다. 제어 객체(150)는 장면(140) 내의 사람의 일부 또는 사람이 휴대하는 객체일 수 있거나 장면(140) 내의 이동가능 수송기(200)일 수 있다.
수행되는 동작들의 예는 경고 또는 통지의 생성일 수 있다.
일부의 실시예에서, 시스템(100)은 다수의 개별 장치를 포함할 수 있다. 가령, 센서(110)는 하나 이상의 개별 장치 내에 하우징될 수 있으며, 프로세싱 모듈(120)은 하나 이상의 장치 내에 하우징될 수 있으며, 통신 모듈(130)은 하나 이상의 장치 내에 하우징될 수 있다. 시스템(100)의 한 컴포넌트 또는 컴포넌트들이 개별 장치 내에 하우징되는 경우에, 그 장치들은 서로에 대해 로컬이거나 원격일 수 있으며, 그 장치들이 원격일 경우, 그 장치들은 가령 네트워크를 통해 통신할 수 있다.
일부 실시예에서, 시스템(100)은 단일 장치 내에 하우징될 수 있다.
센서(110)는 장면(140)으로부터 센서 데이터(112)를 레코딩하거나 센서 데이터(112)의 레코딩을 가능하게 하도록 구성된다.
장면(140)은 정적 컴포넌트를 포함할 수 있으며, 이 정적 컴포넌트는 가령 정적 객체와 같은 고정된 관련 포지션들을 갖는다. 이러한 정적 객체는 장면의 3차원 공간(장면 공간) 내의 상이한 정적 포지션들을 갖는다. 장면(140)은 이동하는 객체와 같은 이동하는 컴포넌트들을 포함할 수 있다. 이동하는 객체는 장면 공간 내에서 시간 경과에 따른 상이한 포지션들을 갖는다. 상이한 센서 데이터(112) 또는 상이한 시간과 관련한 '장면'은 감지되는 장면(140)의 정적 컴포넌트들의 연속성을 의미하며, 이는 동적 컴포넌트들의 일부 또는 모두의 연속성을 반드시 의미하는 것은 아니지만 이러한 연속성이 발생할 수도 있다.
센서 데이터(112)의 레코딩은 임시 레코딩만을 포함할 수 있거나, 또는 영구 레코딩을 포함할 수 있거나, 또는 임시 레코딩 및 영구 레코딩을 포함할 수 있다. 임시 레코딩은 데이터를 임시적으로 레코딩하는 것을 의미한다. 이는 가령 감지 동안에 발생할 수 있고, 동적 메모리에서 발생할 수 있고, 원형 버퍼, 레지스터, 캐시 또는 유사한 것과 같은 버퍼에서 발생할 수 있다. 영구 레코딩은 그 데이터가 어드레싱가능 메모리 공간으로부터 인출될 수 있는 어드레싱가능 데이터 구조의 형태이며 따라서 삭제되거나 과기록될 때까지는 저장 및 인출될 수 있다는 것을 의미하지만, 장기 저장은 발생하거나 발생하지 않을 수 있다.
센서(110)는 음향파 및/또는 광파와 같은 전파를 장면 데이터(112)와 같은 장면으로부터의 전파 데이터를 인코딩하는 전기 신호로 변환하도록 구성될 수 있다.
일부 실시예에서, 하나 이상의 센서(110)는 장면 공간(140)에 대해 공간 내에 고정되어 있다. 동일하거나 상이한 실시예일 수 있는 다른 실시예에서, 하나 이상의 센서(110)는 장면 공간에 대해 이동가능하다. 가령, 하나 이상의 센서(110)는 하나 이상의 이동가능 수송기(200)의 일부일 수 있거나, 그의 모두일 수 있거나, 그와 무관한 것일 수 있다.
일부 실시예에서, 센서(110)는 이미지 센서(114)이거나 이미지 센서(114)를 포함한다. 이미지 센서(114)의 일 예는 카메라로서 동작하도록 구성되는 디지털 이미지 센서이다. 그러한 카메라는 정적 이미지 및/또는 비디오 이미지를 레코딩하도록 동작될 수 있다.
일부 실시예에서, 카메라들은 스테레오스코픽으로 또는 다른 공간 분포 배치로 구성될 수 있어서 장면(140)은 상이한 관점들으로부터 뷰잉될 수 있다. 이는 3차원 이미지의 생성 및/또는 프로세싱을 가능하게 하여 가령 시차 효과(parallax effect)를 통해 심도를 수립할 수 있다.
일부 실시예에서, 센서(110)는 오디오 센서(116)이거나 오디오 센서(116)를 포함한다. 오디오 센서(116)의 일 예는 마이크로폰이다. 마이크로폰은 스테레오스코픽으로 또는 마이크로폰 어레이와 같은 다른 공간 분포 배치로 구성될 수 있어서 장면(140)은 상이한 관점들로부터 샘플링될 수 있다. 이는 3차원 공간 오디오 프로세싱을 가능하게 하여 장면(140) 내에 오디오의 포지셔닝을 가능하게 한다.
일부 실시예에서, 센서는 심도 센서(118)이거나 심도 센서(118)를 포함한다. 심도 센서(118)는 송신기 및 수신기를 포함할 수 있다. 송신기는 신호(가령, 초음파 또는 적외선광과 같이 인간이 감지할 수 없는 신호)를 송신하며, 수신기는 그 반사된 신호를 수신한다. 단일 송신기 및 단일 수신기를 사용하게 되면 일부 심도 정보는 송신으로부터 수신까지의 비행 시간의 측정을 통해 달성될 수 있다. 보다 나은 해상도는 보다 많은 송신기 및/또는 보다 많은 수신기를 사용하여 달성될 수 있다. 일 실시예에서, 송신기는 공간 의존 패턴을 가진 광, 바람직하게는 적외선광과 같은 비가시광(invisible light)으로 장면(140)을 '페인팅(paint)'하도록 구성된다. 수신기에 의한 소정 패턴의 검출은 장면(140)이 공간적으로 분해될 수 있게 한다. 장면(140)의 공간적으로 분해된 부분까지의 거리는 (만약 수신기가 송신기에 대해 스테레오스코픽 포지션 내에 있다면) 비행 시간 및/또는 스테레오스코피에 의해 결정될 수 있다.
심도 감지의 '수동' 또는 '비능동' 예는 수동적인 것이며 송신기에 의해 방출된 입사광 또는 음향파를 단순히 반사한다. 그러나, 감지된 객체에서 능동성을 요구하는 '능동' 예가 추가적으로 또는 대안으로 사용될 수 있다.
예시된 예에서, 프로세싱 모듈(120)은 메모리 서브모듈(122), 프로세싱 서브모듈(124), 인식 서브모듈(126), 및 제어 서브모듈(128)을 포함한다. 모듈들이 개별적으로 기술되고 예시되고 있으나, 이들은 상이한 조합에서 개별적이거나 결합될 수 있지만 반드시 그러할 필요는 없다. 가령, 프로세싱 서브모듈(124), 인식 서브모듈(126), 및 제어 서브모듈(128)은 동일 회로에 의해 수행될 수 있거나 동일 컴퓨터 프로그램의 제어하에 있을 수 있다. 대안으로서, 프로세싱 서브모듈(124), 인식 서브모듈(126) 및 제어 서브모듈(128) 중의 하나 이상은 전용 회로에 의해 또는 전용 컴퓨터 프로그램에 의해 수행될 수 있다. 이러한 서브모듈들은 소프트웨어, 전용 하드웨어 또는 프로그램된 하드웨어 및 소프트웨어의 혼합을 사용하여 수행될 수 있다.
메모리 서브모듈(122)은 프로세싱되지 않은 센서 데이터 및/또는 프로세싱된 센서 데이터(112)(장면 데이터), 컴퓨터 프로그램, 장면 공간 모델 및 프로세싱 모듈(120)에 의해 사용되는 다른 데이터를 저장하는 데 사용될 수 있지만, 다른 서브모듈들은 그 자신의 메모리를 가질 수도 있다.
프로세싱 서브모듈(124)은 센서 데이터(112)를 프로세싱하여 장면(140)에 대해 유의미한 장면 데이터를 결정하도록 구성될 수 있다.
프로세싱 서브모듈(124)은 이미지 프로세싱을 수행하도록 구성될 수 있으며, 이 이미지 프로세싱에서는 센서 데이터(110)가 카메라(114)로부터의 이미지 데이터를 포함한다. 프로세싱 서브모듈(124)은 오디오 프로세싱을 수행하도록 구성될 수 있으며, 이 오디오 프로세싱에서는 센서 데이터(110)가 마이크로폰(116)으로부터의 오디오 데이터를 포함한다.
프로세싱 서브모듈(124)은 장면(140)에 대해 잠재적인 의미를 갖는 장면 데이터를 생성하기 위해, 센서 데이터(112)를 사용하는 아래의 태스크들 중의 하나 이상을 자동으로 수행하도록 구성될 수 있다. 즉, 그 태스크들은, (이동중이거나 고정된) 객체 또는 사람을 검출하는 것, (이동중이거나 고정된) 객체 또는 사람을 분류하는 것, 및/또는 (이동중이거나 고정된) 객체 또는 사람을 추적하는 것 중의 하나 이상을 수행하기 위해 머신(컴퓨터) 비전을 사용하는 태스크와, 심도 결정을 이용하여 장면 공간 내에 (이동중이거나 고정된) 객체를 포지셔닝하는 것, 및/또는 장면 공간의 맵을 생성하는 것 중 하나 이상을 수행하기 위해 공간 분석을 사용하는 태스크와, 잠재적으로 유의미한 심볼로서 장면(140) 내에서 발생하는 이벤트를 기술하기 위해 동작 분석을 사용하는 태스크이다.
이미지 프로세싱의 일 예는 이미지에 대한 강도 그래디언트들(intensity gradients) 또는 에지 방향들(edge directions)의 분포를 생성하는 '그래디언트 특징들의 히스토그램" 분석이다. 이미지는 소형의 연결된 영역들(셀(cells))로 분할될 수 있으며, 각각의 셀마다 그래디언트 방향들 또는 에지 방향들의 히스토그램이 그 셀 내의 픽셀들에 대해 생성된다. 이러한 히스토그램들의 조합은 디스크립터(descriptor)를 나타낸다.
오디오 프로세싱의 일 예는 가령, 오디오 빔포밍 기술, 오디오 이벤트 인식 또는 분류, 스피커 인식 또는 검증 또는 스피치 인식을 이용한 공간 오디오 프로세싱인 "MFCC"(mel-frequency cepstral coefficients) 결정이다.
모션 검출(motion detection)은 가령, 백그라운드 모델과의 차이(백그라운드 감법(background subtraction)) 또는 선행하는 이미지와의 차이(시간적 차이(temporal differencing))를 이용하거나, 벡터 기반 접근법을 이용한 광학 흐름 분석과 같은 일부 다른 접근법을 이용함으로써 달성될 수 있다.
객체 분류(object classification)는 가령, 형상 기반(shape-based) 분석 및/또는 모션 기반(motion-based) 분석을 사용하여 달성될 수 있다.
사람의 분류는, 객체가 인간인 분류일 수 있거나, 객체가 특정 인간(식별)인 분류일 수 있다. 식별은 가능한 사람들의 세트 내에서의 한 사람을 고유하게 식별하는 속성 또는 속성들의 조합을 사용하여 달성될 수 있다. 속성들의 예는 얼굴이나 목소리, 형상 및 사이즈, 행동(behavior)과 같이 사람에게 특정된 것이나 특정될 수 있는 바이오메트릭 특징을 포함한다.
객체 추적은 객체들을 라벨링하고 라벨링된 객체의 장면(140) 내의 포지션을 레코딩함으로써 달성될 수 있다. 아래의 이벤트들 중 하나 이상의 이벤트를 처리하기 위해 알고리즘이 필요할 수 있다. 즉, 이들 이벤트는, 장면(140)으로의 객체 진입, 장면(140)으로부터의 객체 진출, 장면(140)으로의 객체 재진입, 객체 폐색(object occlusion), 객체 병합(object merge)을 포함한다. 이러한 이벤트들을 처리하는 방법은 본 기술분야에서 알려져 있다.
객체 추적은 객체 또는 사람이 변경하는 시점을 결정하는 데 사용될 수 있다. 가령, 대형의 매크로 스케일 상의 객체를 추적하게 되면 객체와 함께 이동하는 기준 프레임을 생성할 수가 있다. 이 기준 프레임은 다시 그 객체와의 시간적 차이를 사용함으로써 그 객체의 시간 경과에 따른 형상 변화를 추적하는 데 사용될 수 있다. 이는 제스처, 손 이동, 얼굴 이동과 같은 소형 스케일 인체 모션을 검출하는 데 사용될 수 있다. 이는 사용자에 대한 장면 독립 사용자(만의) 이동이 된다.
시스템은 복수의 객체 및/또는 사람의 인체와 관련된 포인트들, 가령 사람의 인체의 하나 이상의 조인트들(joints)을 추적할 수 있다. 일부 실시예에서, 시스템(100)은 사람의 인체의 전체 인체 뼈대 추적을 수행할 수 있다.
하나 이상의 객체 및/또는 사람의 인체와 관련된 포인트들의 추적은 제스처 인식 등에서 시스템(100)에 의해 사용될 수 있다.
행동 분석(behavior analysis)은 장면(140) 내에서 발생하는 이벤트를 유의미한 심볼을 사용하여 기술하는 것을 필요로 한다. 이벤트는 공간 시간적 인스턴스(spatio-temporal instance)에서 발생하는 임의의 것일 수 있거나 공간 시간적 시퀀스(시간 경과에 따른 공간 시간적 인스턴스들의 패턴)일 수 있다. 이벤트는 객체(또는 사람)의 모션 또는 사람 및 객체의 상호작용과 관련될 수 있다.
일부의 구현예에서, 이벤트는 머신(컴퓨터) 비전 분석 및/또는 공간 분석으로부터 결정되는 파라미터들에 의해 정의되는 추정 심볼(a putative symbol)로 표현될 수 있다. 이러한 파라미터들은, 무엇이 발생중인지, 그것이 어디서 발생중인지, 그것이 언제 발생되는지, 그리고 누가 그것을 수행중인지 중의 일부를 인코딩한다.
인식 서브모듈(126)은 특정의 의미와 관련된 유의미한 심볼로서 장면(140) 내의 이벤트를 인코딩하는 추정 심볼을 인식하도록 구성된다.
인식 서브모듈(126)은, 머신(컴퓨터) 비전 분석 및/또는 공간 분석으로부터 결정되는 파라미터들에 의해 정의되고, 프로세싱 서브모듈(124)에 의해 생성되며, 의미를 가진 추정 심볼(a putative symbol)을 인식하도록 구성될 수 있다. 인식 서브모듈(126)은 가령, 유의미한 기준 심볼들의 데이터베이스를 저장하거나 액세스할 수 있으며, 유의어 테스트를 사용하여 추정 심볼이 유의미한 심볼과 유사한지를 결정할 수 있다.
인식 서브모듈(126)은 파라미터 공간에서 머신(컴퓨터) 추론 엔진, 또는 인공 신경 네트워크 또는 클러스터링과 같은 다른 인식 엔진으로서 구성될 수 있다. 인식 서브모듈(126)은 일부 실시예에서, 지도 학습(supervised learning)을 통해 학습되어 유의미한 심볼들을 기준 심볼에 유사한 것으로서 인식할 수 있다.
제어 서브모듈(128)은 유의미한 이벤트가 그 이벤트에 따라 장면(140) 내에서 발생했다는 결정에 응답한다.
(a) 만약 추정 심볼이 응답 심볼에 유사하다면, 유의미한 이벤트는 '응답' 이벤트가 되며, 제어 서브모듈(126)은 응답 액션을 수행한다.
일부 실시예에서, 수행되는 액션은 사용자에 의해 프로그래밍될 수 있다. 일부 실시예에서, 이 프로그래밍은 장면 내에서 사용자의 모션 또는 다른 제어 객체(150)를 통해 발생할 수 있다. 수행되는 액션의 예는 경고 또는 통지의 생성일 수 있다.
경고 또는 통지는 통신 모듈(130)을 통해 제공될 수 있다. 통신 모듈(130)은 무선으로, 가령 무선파 또는 유선 접속을 통해 로컬 또는 원격 장치와 통신할 수 있다. 이러한 장치의 예는 디스플레이, 텔레비전, 오디오 출력 장치, 모바일 텔레폰 또는 개인 컴퓨터와 같은 퍼스날 디바이스, 프로젝터 또는 다른 사용자 출력 장치를 포함하지만 이에 국한되는 것은 아니다.
일부 실시예에서, 응답 심볼은 사용자에 의해 프로그래밍될 수 있다. 가령, 사용자는 유의미한 응답 심볼에 의해 표현되는 유의미한 이벤트를 프로그래밍 또는 교시할 수 잇다. 사용자에 의해 생성되는 응답 심볼은 기준 심볼들의 데이터베이스에 부가될 수 있거나 그렇지 않으면 유의미한 심볼로서 추정 심볼을 인식하는 데 사용될 수 있다. 일부 실시예에서, 이 프로그래밍은 장면(140) 내에서 사용자의 모션을 통해 발생될 수 있다. 유의미한 심볼들에 의해 표현되는 유의미한 이벤트의 예는 사용자 입력 제스처와 같이 수행되는 특정 액션들 또는 이동을 포함한다.
한 사람에 의한 액션 또는 다수의 사람에 의한 집합적 액션은 응답 심볼로서 사용될 수 있다. 일부 실시예에서, 특정 제스처 사용자 입력 또는 제스처 사용자 입력들의 집합체는 응답 심볼로서 사용될 수 있다.
(b) 만약 추정 심볼이 제어 심볼과 유사하다면, 유의미한 이벤트는 '제어' 이벤트가 되며, 제어 서브모듈(126)은 모니터링의 제어 및/또는 응답의 제어를 가능하게 한다.
가령, 사용자는 기준 심볼들의 데이터베이스에 부가되는 유의미한 응답 심볼을 프로그래밍 또는 교시할 수 있다. 일부 실시예에서, 이 프로그래밍은 장면(140) 내에서 제어 객체(150), 가령 사용자 또는 이동가능 수송기의 모션을 통해 발생할 수 있다.
가령, 사용자는 추정 심볼이 응답 심볼에 매칭될 경우에 수행되는 액션을 프로그래밍 또는 교시할 수 있다. 수행되는 액션의 예는 경고 또는 통지의 생성일 수 있다.
프로세싱 모듈(120)의 동작은 또한 도 2로부터 이해될 수 있으며, 도 2는 프로세싱 모듈(120)을 위한 상태 머신(20)을 도시하고 있다. 상태 머신(20)은 모니터링 상태(21), 제어 상태(22), 및 자동화된 응답 상태(23)를 갖는다.
모니터링 상태(21)에서, 센서(110)는 센서 데이터(112)를 제공하며, 프로세싱 서브모듈(124)은 센서 데이터(112)(비디오 및/또는 오디오 및/또는 심도)를 자동 프로세싱하여 잠재적 의미를 갖는 장면 데이터를 생성한다. 인식 서브모듈(126)은 장면 데이터를 자동으로 프로세싱하여 그 장면 데이터 내에서 유의미한 심볼인 실제의 의미를 식별한다.
유의미한 심볼들은 사전결정되며, 즉, 인식 이전에 심볼을 결정하는 액션이 발생되었다. 그러나, '사전결정'은 정확하거나 고정된 것을 의미하는 것으로 간주되어서는 아니된다. 유사성 매칭을 위해 사용되는 심볼은 단순히 사전 결정을 가지며, 동적으로 진화할 수 있거나 고정될 수 있다.
인식 서브모듈(126)이 유의미한 이벤트가 장면(140) 내에서 발생했음을 결정하게 되면, 제어 서브모듈(126)은 이벤트에 따라 자동으로 응답한다. 만약 유의미한 이벤트가 '응답' 이벤트라면, 상태 머신(20)은 응답 상태(23)로 천이하며, 제어 서브모듈(126)은 응답 액션을 수행한다. 응답 액션은 응답 이벤트와 연관될 수 있다. 만약 이벤트가 '제어' 이벤트이면, 상태 머신(20)은 제어 상태(22)로 천이하며, 모니터링 및/또는 응답의 제어가 가능해진다. 이러한 제어 가능성은 제어 상태(22)와 관련된 방식으로 행해질 수 있다.
한 사람에 의한 액션 또는 다수의 사람에 의한 집합적 액션은 '제어' 심볼로서 사용될 수 있다. 일부 실시예에서, 특정의 제스처 사용자 입력은 제어 심볼로서 사용될 수 있다.
일부 실시예에서, 시스템(100)은 제스처 인식에서 하나 이상의 객체 및/또는 사람의 인체와 관련된 포인트들을 추적할 수 있다. 가령, 시스템(100)은 제스처 인식에서 사람의 인체의 전체 뼈대 추적을 수행할 수 있다.
프로세싱 모듈(120) 또는 프로세싱 모듈(120)의 일부는 제어기 회로로서 구현될 수 있다. 제어기 회로(120)는 하드웨어만으로 구현될 수 있으며, 펌웨어를 포함한 소프트웨어의 소정 측면을 가지거나, 하드웨어 및 소프트웨어(펌웨어를 포함함)의 조합일 수 있다.
도 3에 도시된 바와 같이, 제어기 회로(120)는 하드웨어 기능을 가능하게 하는 명령어를 사용하여, 가령, 범용 또는 특정 목적 프로세서(310)에 의해 실행될 컴퓨터 판독가능 저장 매체(디스크, 메모리 등) 상에 저장될 수 있는 상기 프로세서(310)에서 실행가능 컴퓨터 프로그램 명령어(322)를 사용하여 구현될 수 있다.
프로세서(310)는 메모리(320)로부터 판독하고 메모리(320)에 기입하도록 구성된다. 프로세서(310)는 또한 출력 인터페이스 - 이 출력 인터페이스를 통해 데이터 및/또는 커맨드가 상기 프로세서(310)에 의해 출력됨 - 와, 입력 인터페이스 - 이 입력 인터페이스를 통해 데이터 및/또는 커맨드가 상기 프로세서(310)에 입력됨 - 를 포함할 수 있다.
메모리(320)는, 상기 프로세서(310) 내로 로딩될 때 상기 프로세싱 모듈(120)의 동작을 제어하는 컴퓨터 프로그램 명령어(컴퓨터 프로그램 코드)를 포함한 컴퓨터 프로그램(322)을 저장한다. 컴퓨터 프로그램(322)의 컴퓨터 프로그램 명령어는 상기 프로세싱 모듈로 하여금 도면을 참조하여 논의되는 방법을 수행하게 하는 로직 및 루틴을 제공한다. 상기 프로세서(310)는 메모리(320)를 판독함으로써 컴퓨터 프로그램(322)을 로딩 및 실행할 수 있다.
시스템(100)은 따라서 장치(120)를 포함할 수 있으며, 이 장치는 적어도 하나의 프로세서(310)와, 컴퓨터 프로그램 코드(322)를 포함한 적어도 하나의 메모리(320)를 포함하되, 상기 적어도 하나의 메모리(320) 및 상기 컴퓨터 프로그램 코드(322)는 상기 적어도 하나의 프로세서(310)와 함께 상기 장치(120)로 하여금 적어도 도 1의 블럭들(124, 126, 128) 중의 하나 이상 및/또는 도 8의 블럭들 중의 하나 이상을 수행하도록 구성된다.
도 4에 도시된 바와 같이, 컴퓨터 프로그램(322)은 임의의 적당한 전달 메카니즘(324)를 통해 상기 장치에 도달할 수 있다. 전달 메카니즘(324)은 가령, 컴퓨터 프로그램(322)을 유형으로 구현하는 비일시적 컴퓨터 판독가능 저장 매체, 컴퓨터 프로그램 제품, 메모리 디바이스, CD-ROM 또는 DVD와 같은 레코드 매체, 제조품일 수 있다. 전달 메카니즘은 변조된 전자기파 또는 디지털로 인코딩된 전기 신호와 같은 컴퓨터 프로그램(322)을 신뢰성있게 전송하도록 구성되는 신호일 수 있다. 장치(120)는 상기 컴퓨터 프로그램(322)을 컴퓨터 데이터 신호로서 전파하거나 송신할 수 있다.
비록 메모리(320)가 단일 컴포넌트/회로로서 도시되고 있지만, 하나 이상의 개별 컴포넌트들/회로로서 구현될 수 있으며 그 개별 컴포넌트들/회로 중의 일부 또는 모두는 통합될 수 있고/제거가능한 것일 수 있으며/있거나 영구/반영구/동적/캐싱된 스토리지를 제공할 수 있다.
비록 프로세서(310)가 단일 컴포넌트/회로로서 도시되고 있지만, 하나 이상의 개별 컴포넌트들/회로로서 구현될 수 있으며 그 개별 컴포넌트들/회로 중의 일부 또는 모두는 통합될 수 있고/제거가능한 것일 수 있다. 상기 프로세서(310)는 단일 코어 또는 멀티 코어 프로세서일 수 있다.
'컴퓨터 판독가능 저장 매체', '컴퓨터 프로그램 제품', '유형으로 구현된 컴퓨터 프로그램' 등 또는 '제어기', '컴퓨터', '프로세서' 등은 단일 프로세서/멀티 프로세서 아키텍처 및 순차적(Von Neumann)/병렬적 아키텍처와 같은 상이한 아키텍처들을 갖는 컴퓨터들 뿐만 아니라, 필드 프로그램가능 게이트 어레이(FPGA), 주문형 집적 회로(ASIC), 신호 프로세싱 디바이스 및 다른 프로세싱 회로와 같은 특수 회로를 포함하는 것으로 이해되어야 한다. 컴퓨터 프로그램, 명령어, 코드 등은, 프로세서를 위한 명령어이든, 또는 고정된 기능 디바이스, 게이트 어레이 또는 프로그램가능 로직 디바이스 등을 위한 구성 설정치이든 간에, 하드웨어 디바이스의 프로그램가능한 콘텐츠와 같은, 프로그램가능 프로세서용 소프트웨어 또는 펌웨어를 포함하는 것으로 이해되어야 한다.
본 명세서에 사용되는 바와 같이, 용어 '회로'는 아래에 기술된 모든 것을 지칭하는데, 그것은 (a) (아날로그만의 회로 및/또는 디지털 회로의 구현과 같은) 하드웨어만의 회로의 구현과, (b) 회로 및 소프트웨어(및/또는 펌웨어)의 조합, 가령, 프로세서들의 조합, 또는 모바일 폰 또는 서버와 같은 장치로 하여금 다양한 기능을 수행하게 하도록 함께 작업을 수행하는 프로세서(들)/소프트웨어(디지털 신호 프로세서(들), 소프트웨어, 및 메모리(들)을 포함함)의 부분과, (c) 소프트웨어 또는 펌웨어가 물리적으로 존재하지 않더라도, 동작을 위한 소프트웨어 또는 펌웨어를 필요로 하는, 마이크로프로세서(들) 또는 마이크로프로세서(들)의 일부와 같은 회로들이다.
'회로'의 정의는 모든 청구항을 포함한 본 명세서에 사용되는 회로의 모두에 대해 적용된다. 본 명세서에 사용되는 다른 실시예로서, 용어 '회로'는 또한 프로세서(또는 다수의 프로세서들) 또는 프로세서의 일부 및 그 동반하는 소프트웨어 및/또는 펌웨어의 구현을 포함할 것이다. 용어 '회로'는 또한, 예로서 특정의 청구항 요소에 적용가능하다면, 모바일 폰용의 베이스밴드 집적 회로 또는 애플리케이션 프로세서 집적 회로, 또는 서버, 셀룰러 네트워크 디바이스 또는 다른 네트워크 디바이스 내의 유사한 집적 회로를 커버할 것이다.
도 1에 도시된 블럭들(124, 126, 128) 및/또는 도 9에 도시된 블럭들은 방법 내의 단계들 및/또는 컴퓨터 프로그램(322) 내 코드의 섹션들을 나타낼 수 있다. 이 블럭들에 대한 특정 순서의 도시는 그 블럭들에 대한 요구되거나 선호되는 순서가 있다는 것을 반드시 의미하는 것이 아니며, 블럭의 순서 및 배치는 변화될 수 있다. 또한, 일부 블럭들은 생략될 수도 있다.
일부 실시예에서, 제어 객체(150)는 장면(140) 내의 사용자, 가령 사람(150)일 수 있다. 동일하거나 상이한 실시예일 수 있는 일부 실시예에서, 제어 객체(150)는 하나 이상의 이동가능 수송기(200)일 수 있다. 일부 실시예에서, 이동가능 수송기(200)는 항공기일 수 있으며, 이동가능 수송기(200)의 일 예는 '드론'이다. 드론(drone)은 무인 무선 제어형 수송기이다. 항공기 드론은 무선 무선 제어형 항공기이다.
도 5는 드론(200)의 일 예를 도시하고 있다. 일부 실시예에서, 드론은 항공기 드론이다. 항공기 드론(200)은 3차원으로 항공기 드론(200)을 이동시키는 추진 시스템(202)을 포함한다.
항공기 드론의 포지셔닝 또는 리포지셔닝(re-positioning)은 사용자에 의해 수동으로 수행될 수 있거나 또는 음성 제어, 반자율 또는 자율로 수행될 수 있다. 항공기 드론(200)의 포지션은 일부 실시예에서 포지션만으로 정의될 수 있고, 다른 실시예에서는 방향만으로 정의될 수 있고, 다른 실시예에서는 포지션 및 방향에 의해 정의될 수 있다. 따라서, 일부 실시예에서, 항공기 드론은 변화하는 3차원 포지션 및/또는 3차원 방향으로 자율식, 반자율식 또는 완전한 사용자 제어식일 수 있다.
기능을 기술할 경우에 사용되는 용어 '완전 자율식'은 수송기가 실시간의 사용자 입력을 필요로 하지 않고도 사전 결정된 룰에 따라 그 기능을 수행할 수 있다는 것을 의미한다. 실시간 제어는 완전히 룰에 기반하고 있다.
기능을 기술할 경우에 사용되는 용어 '반자율식'은 수송기가 사전 결정된 룰에 따라 그 기능을 수행할 수 있지만 추가적으로 실시간의 사용자 입력을 필요로 한다는 것을 의미한다. 실시간 제어는 완전히 룰에 기반하는 것이 아니고 완전히 사용자의 제어하에 있다는 것이 아니다.
용어 '자율식'은 '완전 자율식' 및 '반자율식' 모두를 포함하는 것이다. 기능이 '자율식'으로서 기술되는 경우, 그 기능은 '완전 자율식'일 수도 있거나 '반자율식'일 수도 있다.
항공기 드론(200)은 선택적으로 자율식 포지션 스태빌리티 시스템(204)을 포함할 수도 있다. 자율식 포지션 스태빌리티 시스템(204)은 추진 시스템(202)을 제어하여 항공기 드론(200)을 특정의 3차원 포지션에 유지하게 한다. 유지된 3차원 포지션은 가령, 지구에 고정된 좌표 시스템에서 정의되는 절대 포지션일 수 있거나, 가령 모니터링된 장면 공간(140) 내의 추적된 객체(152)와 함께 이동하는 좌표 시스템에서 정의된 상대적인 포지션일 수 있다. 추적된 객체(152)는 가령, 다른 항공기 드론(200)일 수 있다.
항공기 드론(200)은 선택적으로 자율식 방향 스태빌리티 시스템(206)을 포함할 수도 있다. 자율식 방향 스태빌리티 시스템(206)은 추진 시스템(202)을 제어하여 항공기 드론(200)을 특정의 3차원 방향에 유지하게 한다. 유지된 3차원 방향은 가령, 지구에 고정된 좌표 시스템에서 정의되는 절대 방향일 수 있거나, 가령 모니터링된 장면 공간(140) 내의 추적된 객체(152)와 함께 이동하는 좌표 시스템에서 정의된 상대적인 방향일 수 있다. 추적된 객체(152)는 가령, 다른 항공기 드론(200)일 수 있다.
항공기 드론(200)은 선택적으로 시스템(100)의 통신 모듈(130)과 통신하기 위한 무선 통신 시스템(208)을 포함할 수 있다.
항공기 드론(200)은 선택적으로 가령, 위성 포지션 또는 일부 다른 포지션 기술을 통해 항공기 드론(200)의 포지션을 3차원으로 가능하게 하는 내비게이션 시스템(210)을 포함할 수 있다. 일부 실시예에서, 항공기 드론(200)의 포지션은 시스템(100)에 통신된다. 내비게이션 시스템(210)은 또한 항공기 드론(200)이 따라가는 루트의 플래닝(planning of a route)을 가능하게 할 수 있고/있거나 포지션 스태빌리티 시스템(204) 및/또는 추진 시스템(202)에 입력을 제공할 수도 있다.
항공기 드론(200)은 선택적으로 가령, 전자 나침반, 자이로스코프, 자력계 및 가속도계를 사용하여 상이한 축에 따른 포지션 및/또는 방향에서의 변경의 검출을 가능하게 하는 운동 센서(212)를 포함할 수 있다. 이러한 운동 센서(212)는 포지션 스태빌리티 시스템(204) 및/또는 방향 스태빌리티 시스템(206)에 입력을 제공할 수도 있다.
항공기 드론(200)은 선택적으로 모니터링된 장면 공간(140)을 모니터링하도록 구성된 센서(110) 중의 적어도 일부를 포함할 수 있다. 센서(110)는 장면(140)으로부터의 센서 데이터(112)를 레코딩하거나 센서 데이터(112)의 레코딩을 가능하게 하도록 구성된다.
항공기 드론(200)은 야외(outdoors)에서 동작하도록 구성될 수 있다. 가령, 항공기 드론(200)은 바람과 비속에서 동작하도록 구성될 수 있다. 항공기 드론은 방수처리될 수 있다.
항공기 드론(200)은 가령, 수십, 수백 또는 수천 미터의 넓은 영역에 걸쳐 있고, 및/또는 높은 고도에 이르는 컴퓨터 구현된 가상 경계 야외를 정의하는 데 사용될 수 있다. 이는 특히, 콘서트, 페스티벌, 스포츠 이벤트, 군중 제어가 필요한 영역 또는 감시가 필요한 영역과 같은 대규모 야외 이벤트에서 유용할 수 있다.
도 6은 시스템(100)의 동작의 일 예를 도시하고 있다. 부분 A는 시스템(100)에 의해 모니터링되는 3차원 공간 내의 실시간 장면을 도시하고 있다. 장면(140)은 또한 모니터링된 장면 공간(140)으로 지칭될 수도 있다.
도 6의 실시예에서, 이동가능 수송기(200), 가령 항공기 드론은 궤도수정(146)을 수행하여 적어도 하나의 컴퓨터 구현된 가상 경계(144)를 정의한다.
도시된 실시예에서, 이동가능 수송기(200)는 궤도수정을 수행하여 단일 컴퓨터 구현된 가상 경계(144)를 정의한다. 궤도수정(148)은 하나의 공간 차원, 두 개의 공간 차원, 또는 세 개의 공간 차원에서의 임의의 모션 또는 일련의 모션들을 포함할 수 있고 임의의 형태를 가질 수 있다.
도 6의 실시예의 부분 C는 모니터링된 장면 공간(140)의 오버헤드 뷰(overhead view)를 도시하고 있으며, 모니터링된 장면 공간(140) 내의 이동가능 수송기(200)는 궤도수정(146)을 행하는 것으로 도시되어 컴퓨터 구현된 가상 경계(144)를 정의하고 있다.
도 6의 실시예의 부분 A 및 C에서 보여질 수 있는 바와 같이, 궤도수정(146)은 장면(140) 내에서 시간 t에 각각의 사용자 입력에 대한 직교 좌표(xi(t), yi(t), zi(t))를 갖는 포지션을 가지고 있다. 이 실시예에서, xi(t)는 왼쪽으로부터 측정되고, yi(t)는 전면으로부터 측정되고, zi(t)는 바닥으로부터 측정된다. 다른 좌표 시스템이 사용될 수 있고 직교 좌표 시스템의 상이한 방향들이 사용될 수 있다는 것이 이해될 것이다.
도 6의 도시를 간략화하기 위해, 궤도수정(146)은 하나의 공간 차원에서 하나의 이동가능 수송기(200)의 모션을 포함하며, 이 때 x의 값은 변화하며 y 및 z의 값은 일정하게 유지된다. 다른 실시예에서, x, y 및 z의 값은 모니터링된 장면 공간(140)에서 임의의 시작 포지션으로부터의 이동(148)과 함께 임의의 방향으로 변화할 수 있다. 또한 다수의 이동가능 수송기(200)는 가령 동시에 사용될 수 있다.
도 6의 실시예의 부분 B 및 D는 모니터링된 장면 공간(140)에 대응하는 모니터링 공간(142)(대응 모니터링 공간(142))을 도시하고 있다. 모니터링 공간(142)은 시스템(100)에 의해 생성되고 사용되는 모니터링된 장면 공간(140)의 가상 표현을 포함하고 있다. 모니터링 공간(142)은 가령, 수신된 이미지 데이터 및/또는 심도 데이터와 같은, 센서(110)에 의해 수신되는 데이터로부터 형성될 수 있다. 부분 B 및 D는 제각기 도 6의 부분 A 및 C에 도시된 것과 동일한 뷰를 도시하고 있다.
일부 실시예에서, 시스템(100)은 모니터링된 장면 공간(140)의 지오메트리 정보를 사용하여 모니터링 공간(142)을 형성할 수 있다. 가령, 시스템(100)은 모니터링 공간(142)의 형성에서 모니터링된 장면 공간(140)의 3차원 모델을 사용할 수 있다. 모니터링된 장면 공간(140)의 3차원 모델은 시스템(100)에 의해 생성될 수 있고/있거나 시스템(100)에 의해 수신될 수 있다. 모니터링된 장면 공간(140)의 3차원 모델을 생성하기 위한 방법은 본 기술분야에서 알려져 있다.
시스템(100)은 모니터링 공간(142)을 사용하여 장면 공간(140)을 모니터링할 수 있다. 가령, 시스템은 모니터링 공간(142)을 사용하여 적어도 하나의 컴퓨터 구현된 가상 경계(144)를 구현 및 모니터링할 수 있다.
도 6의 부분 A 및 B와 부분 C 및 D 간의 화살표에 의해 표시된 바와 같이, 모니터링 공간(142)과 모니터링된 장면 공간(140) 간에는 대응관계가 존재한다. 일부 실시예에서, 모니터링 공간(142)과 모니터링된 장면 공간(140) 사이에는 일대일 매핑 M이 존재할 수 있다.
다른 실시예에서 모니터링 공간(142)과 모니터링된 장면 공간(140) 사이에는 스케일 불변 변환(a scale invariant transform)이 존재할 수 있다.
시스템(100)은 이동가능 수송기(200)에 의해 수행되는 궤도수정(146)을 인식하며 그에 응답하여 모니터링 공간(142)에서 적어도 하나의 컴퓨터 구현된 가상 경계(144)를 구현한다.
일부 실시예에서, 궤도수정(146)을 인식하는 것은 수신된 데이터를 프로세싱하는 것을 포함할 수 있다. 일 실시예에서, 수신된 데이터는 이미지 프로세싱을 사용하여 이동가능 수송기(200)를 포지셔닝하도록 분석되는 이미지 데이터일 수 있다. 다른 실시예에서, 수신된 데이터는 이동가능 수송기(200)를 포지셔닝하는 포지션 데이터를 포함할 수 있으며, 일부 실시예에서, 이 포지션 데이터는 이동가능 수송기(200) 내의 포지셔닝 시스템에 의해 제공되는 포지션일 수 있다.
실시예들에서, 모니터링 공간 내의 컴퓨터 구현된 가상 경계(144)의 형상 및 포지션은 적어도 부분적으로는 모니터링된 장면 공간(140) 내의 궤도수정(146)에 의해 결정되며, 컴퓨터 구현된 가상 경계(144)는 모니터링 공간 내에서 모니터링된 장면 공간(140) 내의 궤도수정(146)의 포지션과 동일한 대응 포지션에 위치하게 된다.
따라서, 시스템(100)은 모니터링된 장면 공간(140) 내에 하나 이상의 이동가능 수송기(200)의 포지셔닝을 가능하게 하여 대응 모니터링 공간(142) 내의 컴퓨터 구현된 가상 경계(144)의 형상 및 포지션을 적어도 부분적으로 정의할 수 있게하며, 모니터링된 장면 공간(140)에 대응하는 모니터링 공간(142) 내에 컴퓨터 구현된 가상 경계(144)의 구현을 가능하게 하며, 모니터링된 장면 공간(140)의 센서(110)로부터 수신된 데이터(112)의 프로세싱을 가능하게 하여 대응 모니터링 공간(142) 내의 컴퓨터 구현된 가상 경계(144)에 대한 모니터링된 장면 공간(140)의 적어도 일부의 변화에 응답하여 응답 이벤트를 생성하게 한다는 것이 이해될 것이다.
도 7(a), 7(b), 7(c), 8(a), 8(b), 8(c)는 대응 모니터링 공간(142) 내의 컴퓨터 구현된 가상 경계(144)의 형상 및 포지션을 정의하는(210) 모니터링된 장면 공간(140) 내의 하나 이상의 이동가능 수송기(200)의 상이한 포지션들의 상이한 예를 도시하고 있다.
일부 실시예에서, 이동가능 수송기(200)가 시스템(100)과 페어링하여 이동가능 수송기(200)가 컴퓨터 구현된 가상 경계(144)의 형상 및 포지션을 제어할 수 있게 할 필요가 있다. 이러한 페어링은 가령, 이동가능 수송기(200)를 식별하는 인증 과정(authentication procedure) 및/또는 하나 이상의 보안 크리덴셜(security credentials)을 체킹하는 승인 과정(authorization procedure)을 포함할 수 있다.
이러한 도면에서, 포인트 pn(tx)는 시간 tx에서 이동가능 수송기 n에 의해 정의되는 모니터링된 장면 공간(140) 내의 포인트(214)를 지칭한다. 포인트 pn(tx)는 모니터링된 장면 공간(140) 내의 특정 포인트 pn'(tx)(216)에 대응하며, 여기서 동일 라벨 n은 대응하는 포인트들(214, 216)을 라벨링하기 위해 모든 공간에서 일관되게 사용되며, 라벨 x는 대응 시간을 라벨링하기 위해 모든 공간에서 일관되게 사용된다.
모니터링된 장면 공간(140) 내의 궤도수정은 모니터링 공간(142) 내의 대응하는 포인트들의 세트 {pn'(tx)}에 매핑되는 상이한 포인트들의 세트 {pn(tx)}를 특정한다. 모니터링 공간(142)에 모니터링된 장면 공간(140)을 매핑하는 매핑 M은 또한 모니터링된 장면 공간(140) 내의 상이한 포인트들의 세트 {pn(tx)}를 모니터링 공간(142) 내의 대응하는 상이한 포인트들의 세트 {pn'(tx)}에 매핑한다.
모니터링 공간(142) 내의 상이한 포인트들의 세트 {pn'(tx)}는 대응하는 모니터링 공간(142) 내의 컴퓨터 구현된 가상 경계(144)의 형상 및 포지션을 정의한다.
도시된 실시예에서, 모니터링 공간 내의 컴퓨터 구현된 가상 경계(144)는 포인트들의 세트 {pn'(tx)} 내의 포인트들(216)의 각각을 관통한다. 도시된 실시예에서, 컴퓨터 구현된 가상 경계(144)는 포인트들의 세트 {pn'(tx)} 내의 포인트들(216)의 각각에서의 정점(각도(angular point))을 갖는 N-면(N-sided)의 다각형이다.
컴퓨터 구현된 가상 경계(144)는 1차원, 2차원 또는 3차원일 수 있다.
도 7(a)에서, 컴퓨터 구현된 가상 경계(144)는 모니터링된 장면 공간(140) 내의 단일 이동가능 수송기(200)의 이동만을 포함하는 궤도수정(148)에 의해 정의(210)된다. 컴퓨터 구현된 가상 경계(144)는 모니터링된 장면 공간(140) 내의 단일 이동가능 수송기(200)의 포지션들(214)의 시퀀스에 의해 정의(210)된다. 모니터링된 장면 공간(140) 내의 이동가능 수송기(200)는 모니터링 공간(143) 내의 포인트들(216)에 대응하는 모니터링된 장면 공간(140) 내의 포인트들(214)의 시퀀스를 특정한다. 컴퓨터 구현된 가상 경계(144)의 형상 및 포지션은 모니터링 공간(142) 내의 포인트들(216)의 포지션에 의해 정의된다. 이 실시예에서, 컴퓨터 구현된 가상 경계(144)는 포인트들(216)에서 N개의 정점(각도)을 갖는 N-면의 다각형이다. 모니터링된 장면 공간(140) 내의 단일 이동가능 수송기(200)는 각각의 포지션(214)에서, N개의 정점들 중의 하나를 정의한다. 이동가능 수송기(200)는 그 여정 중의 중간 지점(waypoint)이 포인트(214)를 특정한다는 것을 확인하는 웨이포인트 신호(waypoint signal)를 시스템(100)에 전송할 수 있다.
도 7(a)에 도시된 바와 같이, 모니터링된 장면 공간(140) 내의 궤도수정(148)은 모니터링된 장면 공간(140) 내의 포인트들 p1(t1), p1(t2), p1(t3), p1(t4)를 정의한다. 모니터링된 장면 공간(140) 내의 포인트들 p1(t1), p1(t2), p1(t3), p1(t4)는 모니터링 공간(142) 내의 대응하는 포인트들 p1'(t1), p1'(t2), p1'(t3), p1'(t4)(216)을 결정(210)한다. 따라서, 모니터링된 장면 공간(140) 내의 궤도수정(148)은 컴퓨터 구현된 가상 경계(144)를 정의하는 모니터링 공간(142) 내의 포인트들 p1'(t1), p1'(t2), p1'(t3), p1'(t4)를 특정한다.
도 7(b)에서, 컴퓨터 구현된 가상 경계(144)는 모니터링된 장면 공간(140) 내의 다수의 이동가능 수송기(200)의 동시적인 포지셔닝을 포함하는 궤도수정(148)에 의해 정의된다. 컴퓨터 구현된 가상 경계(144)는 모니터링된 장면 공간(140) 내의 다수의 이동가능 수송기(200)의 동시적인 포지셔닝(214)에 의해 정의(210)된다. 모니터링된 장면 공간(140) 내의 이동가능 수송기(200)는 모니터링 공간(142) 내의 포인트들(216)의 배열에 대응하는 모니터링된 장면 공간(140) 내의 포인트들(214)의 배열을 특정한다. 컴퓨터 구현된 가상 경계(144)의 형상 및 포지션은 모니터링 공간(142) 내의 포인트들(216)의 포지션에 의해 정의된다. 이 실시예에서, 컴퓨터 구현된 가상 경계(144)는 포인트들(216)에서 N개의 정점(각도)을 갖는 N-면의 다각형이다. 모니터링된 장면 공간(140) 내의 상이한 이동가능 수송기(200)의 각각은 N개 정점들 중의 하나를 정의한다. 이동가능 수송기(200)는, 그 여정 중의 그 시간에서의 중간 지점이 포인트(214)를 특정하거나 그 여중 중의 그 시간에서의 다수의 이동가능 수송기(200)의 중간 지점들이 포인트들(214)을 특정하고 있다는 것을 확인하는 웨이포인트 신호를 시스템(100)에 전송할 수 있다.
도 7(b)에 도시된 바와 같이, 모니터링된 장면 공간(140) 내의 궤도수정(148)은 모니터링된 장면 공간(140) 내의 포인트들 p1(t1), p2(t1), p3(t1), p4(t1)를 정의한다. 도 7(b)에 도시된 바와 같이, 모니터링된 장면 공간(140) 내의 포인트들 p1(t1), p2(t1), p3(t1), p4(t1)는 모니터링 공간(142) 내의 대응하는 포인트들 p1'(t1), p2'(t1), p3'(t1), p4'(t1)을 결정한다. 따라서, 모니터링된 장면 공간(140) 내의 궤도수정(148)은 컴퓨터 구현된 가상 경계(144)를 정의하는 모니터링 공간(142) 내의 포인트들 p1'(t1), p2'(t1), p3'(t1), p4'(t1)를 특정한다.
(개별로 도시되지 않는) 다른 실시예에서, 컴퓨터 구현된 가상 경계(144)는 (도 7(b)에서와 같이) 모니터링된 장면 공간(140) 내의 하나 이상의 이동가능 수송기(200)의 제1 세트의 동시적인 포지셔닝을 포함하는 궤도수정(148)에 의해 정의되며, 추가적으로 (도 7(a)에서와 같이) 모니터링된 장면 공간(140) 내의 하나 이상의 이동가능 수송기(200)의 제2 세트의 이동을 포함하는 궤도수정(148)에 의해 정의된다. 컴퓨터 구현된 가상 경계(144)는 부분적으로는 다수의 이동가능 수송기(200)의 제1 세트의 동시적인 포지션들(214)에 의해, 그리고 부분적으로는 모니터링된 장면 공간(140) 내의 이동가능 수송기(200)의 제2 세트의 포지션들(214)의 시퀀스에 의해 정의(210)된다. 모니터링된 장면 공간(140) 내의 이동가능 수송기(200)의 제1 세트는 모니터링 공간(142) 내의 포인트들(216)의 배열에 대응하는 모니터링된 장면 공간(140) 내의 포인트들(214)의 제1 세트의 배열을 특정한다. 컴퓨터 구현된 가상 경계(144)의 제1 부분 또는 제1 부분들의 형상 및 포지션은 모니터링 공간(142) 내의 포인트들(216)의 제1 세트의 포지션에 의해 정의된다. 모니터링된 장면 공간(140) 내의 이동가능 수송기(200)의 제2 세트는 모니터링 공간(143) 내의 포인트들(216)의 제2 세트에 대응하는 모니터링된 장면 공간(140) 내의 포인트틀(214)의 하나 이상의 시퀀스를 특정한다. 컴퓨터 구현된 가상 경계(144)의 제2 부분 또는 제2 부분들의 형상 및 포지션은 모니터링 공간(142) 내의 포인트들의 제2 세트의 포지션에 의해 정의된다. 일부 실시예에서, 컴퓨터 구현된 가상 경계(144)는 포인트들(216)의 제1 세트 및 제2 세트에서 N개 정점(각도)을 갖는 N-면의 다각형이다. 이동가능 수송기(200)는 그 여정 중의 시간에서의 중간 지점이 포인트(214)를 특정한다는 것을 확인하는 웨이포인트 신호를 시스템(100)에 전송할 수 있다.
컴퓨터 구현된 가상 경계(144)의 동적 변형이 가능하다. 도 7(c)에서, 도 7(b)에 정의된 바와 같은 컴퓨터 구현된 가상 경계(144)는 모니터링된 장면 공간(140) 내의 하나 이상의 이동가능 수송기(200)의 리포지셔닝(re-positioning)을 포함하는 새로운 궤도수정(148)에 의해 재정의된다. 컴퓨터 구현된 가상 경계(144)는 모니터링된 장면 공간(140) 내의 다수의 이동가능 수송기(200)의 새로운 포지션들(214)에 의해 재정의(210)된다. 모니터링된 장면 공간(140) 내의 이동가능 수송기(200)는 모니터링 공간(142) 내의 포인트들(216)의 새로운 배열에 대응하는 모니터링된 장면 공간(140) 내의 포인트들(214)의 새로운 배열을 특정한다. 컴퓨터 구현된 가상 경계(144)의 새로운 형상 및 포지션은 모니터링 공간(142) 내의 포인트들(216)의 새로운 포지션들에 의해 정의된다. 이 실시예에서, 컴퓨터 구현된 가상 경계(144)는 포인트들(216)에서 N개의 정점(각도)을 갖는 N-면의 다각형이다. 모니터링된 장면 공간(140) 내의 상이한 이동가능 수송기(200)의 각각은 N개의 정점들 중의 하나를 재정의한다. 이동가능 수송기(200)는, 그 여정 중의 그 시간에서의 중간 지점이 포인트(214)를 특정하거나 그 여정 중의 그 시간에서의 다수의 이동가능 수송기(200)의 중간 지점들이 포인트들(214)을 특정하고 있다는 것을 확인하는 웨이포인트 신호를 시스템(100)에 전송할 수 있다.
도 7(c)에 도시된 바와 같이, 모니터링된 장면 공간(140) 내의 궤도수정(148)은 모니터링된 장면 공간(140) 내의 포인트들 p1(t2), p2(t2), p3(t2), p4(t2)를 정의한다. 도 7(c)에 도시된 바와 같이, 모니터링된 장면 공간(140) 내의 포인트들 p1(t2), p2(t2), p3(t2), p4(t2)는 모니터링 공간(142) 내의 대응하는 포인트들 p1'(t2), p2'(t2), p3'(t2), p4'(t2)을 결정한다. 따라서, 모니터링된 장면 공간(140) 내의 궤도수정(148)은 컴퓨터 구현된 가상 경계(144)를 정의하는 모니터링 공간(142) 내의 포인트들 p1'(t2), p2'(t2), p3'(t2), p4'(t2)를 특정한다.
도 7(a), 7(b), 7(c)와 관련하여 기술되는 궤도수정(148)은 자율식, 반자율식 또는 사용자 제어식일 수 있다.
가령, 사용자는 컴퓨터 구현된 가상 경계(144)의 사이즈를 특정할 수 있다. 사용자는 고정된 사이즈를 정의할 수 있다. 사용자는 컴퓨터 구현된 가상 경계(144)의 리사이징(re-sizing)을 자율식으로 제어하는 룰을 정의할 수 있다.
가령, 사용자는 컴퓨터 구현된 가상 경계(144)의 형상을 특정할 수 있다. 사용자는 고정된 형상을 정의할 수 있다. 사용자는 컴퓨터 구현된 가상 경계(144)의 리사이징(re-sizing)을 자율식으로 제어하는 룰을 정의할 수 있다. 이는 가령, 다소간의 이동가능 수송기(200)가 사용하기에 가능한 것일 때 발생할 수 있다.
가령, 사용자는 컴퓨터 구현된 가상 경계(144)의 포지션을 특정할 수 있다. 사용자는 고정된 절대 포지션 또는 사용자 특정된 추적된 객체에 대한 고정된 상대 포지션을 정의할 수 있다. 사용자는 컴퓨터 구현된 가상 경계(144)의 리포지셔닝(re-positioning)을 자율식으로 제어하는 룰을 정의할 수 있다. 이는 가령, 추적된 객체 또는 추적된 객체들이 포지션을 변경할 때 또는 태양의 포지션과 같은 다른 문맥상의 팩터들이 변경될 때 발생할 수 있다.
컴퓨터 구현된 가상 경계(144)의 특징의 사용자 명세 또는 컴퓨터 구현된 가상 경계(144)의 특징을 제어하는 룰을 가능하게 하도록 제공되는 사용자 제어는 임의의 적당한 수단에 의한 것일 수 있다. 가령, 사용자는 사용자 입력 커맨드를 가령, 제스처 제어, 터치 스크린 인터페이스, 프로그래밍 인터페이스, 음성 커맨드 또는 유사한 것을 사용하는 시스템(100)을 통해 다수의 이동가능 수송기(200)에 제공할 수도 있다.
도 8(a), 8(b), 및 8(c)는 제1 이동가능 수송기(2001)로부터 제2 이동가능 수송기(2002)로의 핸드오버 절차를 도시하고 있다. 이러한 핸드오버 이전에, 제1 이동가능 수송기(2001)는 컴퓨터 구현된 가상 경계(144)를 정의하는 데 사용된다. 핸드오버 이후에, 제1 이동가능 수송기(2001)는 컴퓨터 구현된 가상 경계(144)를 정의하는 데 더 이상 사용되지 않으며, 제2 이동가능 수송기(2002)는 컴퓨터 구현된 가상 경계(144)를 정의하는 데 사용된다.
이러한 도면들에서, 컴퓨터 구현된 가상 경계(144)는 모니터링된 장면 공간(140) 내의 다수의 이동가능 수송기(200)의 동시적인 포지셔닝을 포함하는 궤도수정(148)에 의해 정의된다. 컴퓨터 구현된 가상 경계(144)는 모니터링된 장면 공간(140) 내의 다수의 이동가능 수송기(200)의 동시적인 포지션들(214)에 의해 정의(210)된다. 모니터링된 장면 공간(140) 내의 이동가능 수송기(200)는 모니터링 공간(142) 내의 포인트들(216)의 배열에 대응하는 모니터링된 장면 공간(140) 내의 포인트들(214)의 배열을 특정한다. 컴퓨터 구현된 가상 경계(144)의 형상 및 포지션은 모니터링 공간(142) 내의 포인트들(216)의 포지션에 의해 정의된다. 이 실시예에서, 컴퓨터 구현된 가상 경계(144)는 포인트들(216)에서 N개의 정점(각도)을 갖는 N-면의 다각형이다. 모니터링된 장면 공간(140) 내의 상이한 이동가능 수송기(200)의 각각은 N개의 정점들 중의 하나를 정의한다. 이동가능 수송기(200)는 그 여정 중의 이 시간에서의 중간 지점이 포인트(214)를 특정하거나 그 여중 중의 시간에서의 다수의 이동가능 수송기(200)의 중간 지점들이 포인트들(214)을 특정한다는 것을 확인하는 웨이포인트 신호를 시스템(100)에 전송할 수 있다.
모니터링된 장면 공간(140) 내의 궤도수정(148)은 모니터링된 장면 공간(140) 내의 포인트들 p1(t1), p2(t1), p3(t1), p4(t1)를 정의한다.
도 8(a)에 도시된 바와 같이, 핸드오버(300) 전에, 모니터링된 장면 공간(140) 내의 포인트들 p1(t1), p2(t1), p3(t1), p4(t1)는 컴퓨터 구현된 가상 경계(144)를 정의하는 모니터링 공간(142) 내의 대응하는 포인트들 p1'(t1), p2'(t1), p3'(t1), p4'(t1)을 결정한다. 제1 이동가능 수송기(2001)는 포지션 p2(t1)와 연관되며, 컴퓨터 구현된 가상 경계(144)의 적어도 일부를 정의한다. 제2 이동가능 수송기(2002)는 포지션 p5(t1)와 연관되며, 컴퓨터 구현된 가상 경계(144)의 어떠한 부분도 정의하지 않는다.
도 8(b)에 도시된 바와 같이, 핸드오버(300) 후에, 모니터링된 장면 공간(140) 내의 포인트들 p1(t2), p5(t2), p3(t2), p4(t2)는 컴퓨터 구현된 가상 경계(144)를 정의하는 모니터링 공간(142) 내의 대응하는 포인트들 p1'(t2), p5'(t2), p3'(t2), p4'(t2)을 결정한다. 제1 이동가능 수송기(2001)는 포지션 p2(t1)와 연관되며, 컴퓨터 구현된 가상 경계(144)의 어떠한 부분도 더 이상 정의하지 않는다. 제2 이동가능 수송기(2002)는 포지션 p5(t2)와 연관되며, 컴퓨터 구현된 가상 경계(144)의 일부를 정의한다.
도 8(c)에 도시된 일부의 실시예에서, 다음의 핸드오버(300) 후에, 포지션 p5(t)와 관련된 제2 이동가능 수송기(2002)는 포지션(302)을 변경하여 그 포지션 p5(t3)=p2(t1)이 된다. 즉, 제2 이동가능 수송기(2002)는 제1 이동가능 수송기(2001)가 핸드오버(300) 전에 차지한 것과 동일한 포지션(214)을 차지한다. 모니터링된 장면 공간(140) 내의 포인트들 p1(t3), p5(t3), p3(t3), p4(t3)는 컴퓨터 구현된 가상 경계(144)를 정의하는 모니터링 공간(142) 내의 대응하는 포인트들 p1'(t3), p5'(t3), p3'(t3), p4'(t3)을 결정한다. 시간 t3에서의 컴퓨터 구현된 가상 경계(144)는 시간 t1에서의 컴퓨터 구현된 가상 경계(144)와 동일하지만, 이제는 제1 이동가능 수송기(2001)에 의해서는 정의되지 않고 제2 이동가능 수송기(2002)에 의해 정의된다.
이동가능 수송기(200) 간의 핸드오버(300)는 자동적일 수 있다. 가령, 제1 이동가능 수송기(2001)에 의해 사용되는 배터리가 임계치 레벨 미만으로 방전된다면, 그것은 교체 신호를 전송할 수 있다. 제2 이동가능 수송기(2002)는 교체 신호에 응답하여 제1 이동가능 수송기(2001)에 접근하여 제1 이동가능 수송기(2001)와 핸드오버(300)를 수행한다.
핸드오버(300)는 추가로 시스템(100)과 관련되어 시스템(100)으로부터 제1 이동가능 수송기(2001)로의 통신은 시스템(100)으로부터 제2 이동가능 수송기(2002)로의 통신으로 변경될 수 있다. 가령, 시스템(100)은 제1 이동가능 수송기(2001)와의 페어링을 해제하고 제2 이동가능 수송기(2002)와 페어링할 필요가 있다.
따라서, 시스템(100)은 시간 t1에서 모니터링된 장면 공간(140) 내에 제1 이동가능 수송기(2001)를 포지셔닝하여, 대응하는 모니터링 공간(142) 내의 컴퓨터 구현된 가상 경계(144)의 형상 및 포지션을 적어도 부분적으로 정의하며, 모니터링된 장면 공간(140)에 대응하는 모니터링 공간(142) 내에 컴퓨터 구현된 가상 경계(144)의 구현을 가능하게 한다. 시스템(100)은 모니터링된 장면 공간(140)의 센서(110)로부터 수신된 데이터(112)를 프로세싱하여 대응하는 모니터링 공간(142) 내의 컴퓨터 구현된 가상 경계(144)에 대한 모니터링된 장면 공간(140)의 적어도 일부의 변경에 응답하는 응답 이벤트의 생성을 가능하게 한다.
시스템(100)은 시간 t1과 시간 t2 사이에서, 제1 이동가능 수송기(2001)로부터 제2 이동가능 수송기(2002)로의 핸드오버(300)를 인식한다.
시스템(100)은 시간 t2에서 모니터링된 장면 공간(140) 내에 제2 이동가능 수송기(2002)를 포지셔닝하여, 대응하는 모니터링 공간(142) 내의 새로운 컴퓨터 구현된 가상 경계(144)를 적어도 부분적으로 정의하며, 모니터링된 장면 공간(140)의 센서(110)로부터 수신된 데이터(112)를 프로세싱하여, 대응하는 모니터링 공간(142) 내의 상기 새로운 컴퓨터 구현된 가상 경계(144)에 대한 모니터링된 장면 공간(140)의 적어도 일부의 변경에 응답하는 응답 이벤트의 생성을 가능하게 한다.
위의 실시예에서, 하나의 이동가능 수송기(200)를 다른 이동가능 수송기로 대체하는 데 핸드오버(300)가 사용된다. 다른 실시예에서, 하나 이상의 이동가능 수송기는 N을 증가시키면서 추가될 수 있거나 N을 감소시키면서 제거될 수 있다.
다른 실시예에서, 하나 이상의 상이한 컴퓨터 구현된 경계들은 조합되어 새로운 컴퓨터 구현된 경계(214)를 정의할 수 있다.
시스템(100)은 사용자에게 피드백을 제공하여 시스템(100)이 궤도수정(146)을 인식했으며 컴퓨터 구현된 경계(144)를 구현했음을 확인할 수 있다. 이 피드백은 임의의 적당한 피드백, 가령 오디오 및/또는 시각 및/또는 촉각 피드백, 등을 포함할 수 있다. 추가적으로 또는 대안으로서, 시스템(100)은 하나 이상의 메시지를 디바이스 또는 디바이스들에 전송하여 시스템(100)이 컴퓨터 구현된 경계(144)를 구현했음을 사용자에게 통지할 수 있다.
시스템(100)은, 수신된 데이터를 프로세싱하여, 적어도 하나의 가상 경계(144)에 대해서, 컴퓨터 구현된 경계에 의해 경계가 표시된 모니터링 공간(142)의 일부에서의 변경을 야기하는 모니터링된 장면 공간(140)의 일부의 변경이 존재할 때, 응답 이벤트를 생성할 수 있다.
가령, 시스템(100)은 오디오 및/또는 이미지 데이터와 같은 센서(110)에 의해 수신되는 데이터를 프로세싱하여 상기 응답 이벤트를 생성할 수 있다. 시스템은 하나 이상의 오디오 및/또는 비디오 피드(feeds)를 분석하여 상기 응답 이벤트를 생성할 수 있다. 일부 실시예에서, 상기 응답 이벤트를 생성하기 위해 수신된 데이터를 프로세싱하는 것은 컴퓨터 구현된 경계(144)를 모니터링하는 것으로 간주될 수 있다.
실시예들에서, 카메라와 같은 동일한 센서는 상기 적어도 하나의 가상 경계(144)를 정의하는 궤도수정(146)의 인식과 상기 적어도 하나의 가상 경계(144)의 모니터링을 위해 사용될 수 있다.
일부 실시예에서, 응답 이벤트를 생성하기 위해 수신된 데이터를 프로세싱하는 것은 컴퓨터 구현된 경계(144)를 모니터링하여 컴퓨터 구현된 경계(144)를 가로지르는 행위 및/또는 컴퓨터 구현된 경계(144)의 임계치 내의 행위를 검출하도록 수신된 데이터를 프로세싱하는 것을 포함할 수 있다. 가령, 시스템(100)은 컴퓨터 구현된 경계(144)를 모니터링하여 컴퓨터 구현된 경계(144)를 가로지르는 행위 또는 컴퓨터 구현된 경계(144)의 임계치 내의 행위를 검출하도록 오디오 및/또는 이미지 및/또는 심도 데이터를 프로세싱할 수 있다.
응답 이벤트는 피드백을 가령, 통신 모듈(130)을 사용하여 제공하는 것을 포함할 수 있다. 일부 실시예에서, 피드백은 하나 이상의 경고를 포함할 수 있다. 하나 이상의 경고는 오디오 및/또는 시각 경고와 같은 임의의 형태의 경고를 포함할 수 있다. 추가적으로 또는 대안으로서, 피드백은 모바일 텔레폰, 태블릿, 랩탑 컴퓨터, 데스크탑 컴퓨터 등과 같은 장치에 하나 이상의 메시지를 제공하는 것을 포함할 수 있다.
일부 실시예에서, 응답 이벤트는 카운터(counter)를 증가시키는 것을 추가로 또는 대안으로 포함할 수 있다. 가령, 시스템(100)은 객체(152)가 컴퓨터 구현된 경계(144)의 임계치 내에서 터칭(touching) 및/또는 교차(crossing) 및/또는 접근하는(approaching) 것과 같은 경계 상호작용이 존재하는 회수를 모니터링할 수 있다. 추가적으로 또는 대안으로서, 시스템(100)은 경계 교차의 방향과 같은 경계 상호작용의 방향을 모니터링할 수 있다. 시스템(100)은 경계 상호작용에 관한 통계치를 제공하도록 구성될 수 있다.
시스템(100)의 사용자는 응답 이벤트를 구성할 수 있다.
일부 실시예에서, 시스템(100)은, 컴퓨터 구현된 경계(144)에 대해, 임의의 객체(152)와 관련한 모니터링된 장면 공간(140)의 일부의 변경이 존재할 때, 응답 이벤트를 생성하도록 수신된 데이터를 프로세싱할 수 있다. 가령, 시스템은 임의의 객체(152)가 컴퓨터 구현된 경계(144)의 임계치 내에서 교차하고, 터칭하고 및/또는 나올 때 응답 이벤트를 생성할 수 있다. 이러한 가상 경계(144)는 일반적인 가상 경계(144)로 간주될 수 있다.
다른 실시예들에서, 시스템은, 컴퓨터 구현된 경계(144)에 대해, 하나 이상의 사용자 특정된 객체(152)와 관련한 모니터링된 장면 공간(140)의 일부의 변경이 존재할 때, 응답 이벤트를 생성하도록 수신된 데이터를 프로세싱할 수 있다.
가령, 컴퓨터 구현된 가상 경계(144)를 정의한 후, 시스템(100)의 사용자는 시스템(100)에 하나 이상의 객체(152)를 표시할 수 있다. 시스템(100)은 이에 응답하여, 컴퓨터 구현된 경계(144)에 대해, 상기 표시된 객체(152)와 관련한 모니터링된 장면 공간(140)의 일부의 변경이 존재할 때만 응답 이벤트를 생성할 수 있다. 가령, 시스템은 상기 표시된 객체(152)들 중의 하나가 컴퓨터 구현된 경계(144)의 임계치 내에서 교차하고, 터칭하고 및/또는 나올 때만 응답 이벤트를 생성할 수 있다. 이러한 가상 경계(144)는 객체 특정 가상 경계로 간주될 수 있다.
일부 실시예에서, 컴퓨터 구현된 가상 경계(144)는 조건적으로 모니터링될 수 있고/있거나 조건적으로 인에이블/디스에이블될 수 있다. 가령, 시스템(100)은, 컴퓨터 구현된 경계(144)에 대해, 하나 이상의 기준이 충족될 경우 모니터링된 장면 공간(140)의 일부의 변경이 존재할 때 응답 이벤트를 생성하도록 수신된 데이터를 프로세싱할 수 있지만, 그렇지 않으면 상기 응답 이벤트를 생성하기 위해 수신된 데이터를 프로세싱하지 않는다.
기준은 사전정의될 수 있고/있거나 사용자에 의해 구성될 수 있다.
실시예들에서, 임의의 기준(들)이 사용될 수 있다. 가령, 임의의 시간적 및/또는 물리적 기준이 사용될 수 있다. 실시예들에서, 컴퓨터 구현된 가상 경계(144)는 시각 및/또는 요일 및/또는 주 단위 및/또는 월 단위에 종속해서 조건적으로 모니터링될 수 있고 및/또는 모니터링된 장면 공간(140) 내의 하나 이상의 객체(152)가 존재할 경우에는 독립적으로일 수 있다.
도 9는 방법(800)의 일 예를 도시한다. 방법(800)은 시스템(100)에 의해 수행될 수 있다. 블럭(802)에서, 방법(800)은 모니터링된 장면 공간(140) 내에 하나 이상의 이동가능 수송기(200)를 포지셔닝하여 대응하는 모니터링 공간(142) 내의 컴퓨터 구현된 가상 경계(144)의 형상 및 포지션을 적어도 부분적으로 정의하는 단계를 포함한다. 블럭(804)에서, 방법(800)은 모니터링된 장면 공간(140)에 대응하는 모니터링 공간(142) 내에 컴퓨터 구현된 가상 경계(144)의 구현을 야기하는 단계를 포함한다. 블럭(806)에서, 방법(800)은 모니터링된 장면 공간(140)의 센서(110)로부터 수신된 데이터(112)를 프로세싱하여, 대응하는 모니터링 공간(142) 내의 컴퓨터 구현된 가상 경계(144)에 대해 모니터링된 장면 공간(140)의 적어도 일부의 변경에 응답하는 응답 이벤트를 생성하는 단계를 포함한다.
구조적인 특징이 기술된 경우, 이 구조적인 특징은 구조적인 특징의 기능 또는 기능들이 명시적으로 혹은 암시적으로 기술되든 간에 구조적인 특징의 하나 이상의 특징을 수행하는 수단에 의해 대체될 수 있다.
본 개시물의 실시예들은 감시 시스템을 위한 가상 경계를 정의하기 위해 용이하고 직관적인 방식을 제공한다.
용어 '포함'은 본 명세서에서 배제 의미가 아닌 내포의 의미와 함께 사용된다. 즉, Y를 포함하는 X는 X가 하나의 Y만을 포함할 수 있거나 하나를 초과하는 Y를 포함할 수 있다는 것을 나타낸다. 배제 의미를 가진 '포함'을 사용하고자 한다면, 문맥에서 '오직 하나만을 포함' 또는 '이루어지는'을 사용하여 명확하게 기술될 것이다.
간략화된 설명으로 다양한 실시예들이 참조되었다. 일 실시예와 관련한 특징 또는 기능의 설명은 그 특징 또는 기능이 그 예에 존재한다는 것을 나타낸다. 본 명세서에서 용어 "예" 또는 "실시예" 또는 "가령" 또는 "할수 있는"의 사용은 명시적으로 언급되든 그렇지 않든 간에 그러한 특징 또는 기능이 예로서 기술되든 아니든 적어도 기술된 예에 존재한다는 것이며, 그 특징 또는 기능이 일부의 예 또는 다른 모든 예에 존재할 수 있지만 반드시 그러한 것은 아니라는 것을 나타낸다. 따라서, '예', '실시예', '가령', 또는 "할 수 있는" 용어는 한 종류의 실시예에서의 특정 인스턴스를 지칭한다. 그 인스턴스의 속성은 그 인스턴스만의 속성 또는 그 종류의 속성 또는 그 종류 내의 일부 인스턴스를 포함하는 그 종류의 하부종류의 속성일 수 있다. 따라서, 일 실시예와 관련하여 기술되지만 다른 실시예와 관련하여 기술되지는 않는 특징은 가능한 경우 그 다른 실시예에서 사용될 수 있지만 그 다른 실시예에서 반드시 사용될 필요가 없다는 것이 암시적으로 개시된다.
본 발명의 실시예들이 다양한 예를 참조하여 앞의 문맥에서 기술되었지만, 제공된 실시예에 대한 변형이 청구된 본 발명의 범주를 벗어나지 않고 행해질 수 있다는 것이 이해되어야 한다. 앞선 문맥에서 기술된 특징들은 명시적으로 기술된 조합 외의 다른 조합에 사용될 수 있다. 기능들이 소정의 특징들과 관련하여 기술되었지만, 이 기능들은 기술되든 아니든 간에 다른 특징들에 의해 수행될 수 있다. 특징들이 소정의 실시예와 관련하여 기술되었지만, 이러한 특징들은 또한 기술되든 아니든 간에 다른 실시예에 존재할 수도 있다. 본 명세서에서는 특히 중요한 것으로 간주되는 본 발명의 이러한 특징들에 대한 관심을 유도하도록 시도되고 있으나, 본 출원인은 앞에서 도면에서 참조되고 도시되는 임의의 특허가능 특징 또는 특징들의 조합에 대해 특정의 강조가 있든 아니든 간에 보호를 청구하고 있음을 이해해야 한다.

Claims (15)

  1. 방법에 있어서,
    하나 이상의 이동가능 수송기(movable craft)를 모니터링된 장면 공간(monitored scene space) 내에 포지셔닝하여 컴퓨터 구현된 가상 경계의 형상 및 포지션을 대응하는 모니터링 공간(monitoring space) 내에 적어도 부분적으로 정의하는 단계와,
    상기 모니터링된 장면 공간에 대응하는 상기 모니터링 공간 내에 상기 컴퓨터 구현된 가상 경계의 구현을 야기하는 단계와,
    상기 대응하는 모니터링 공간 내의 상기 컴퓨터 구현된 가상 경계에 대해 상기 모니터링된 장면 공간의 적어도 일부에서의 변경에 응답하여 응답 이벤트를 생성하기 위해 상기 모니터링된 장면 공간의 센서로부터 수신된 데이터를 프로세싱하는 단계를 포함하는
    방법.
  2. 제1항에 있어서,
    상기 이동가능 수송기는 드론(drone)인
    방법.
  3. 제1항 또는 제2항에 있어서,
    상기 이동가능 수송기는 3차원 포지션을 자율식으로 유지하도록 구성되고/되거나 3차원 방향을 자율식으로 유지하도록 구성되는 항공기 드론인
    방법.
  4. 제3항 또는 제4항에 있어서,
    상기 항공기 드론은 야외(outdoors)에서 동작하도록 구성되는
    방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 모니터링된 장면 공간 내의 상기 하나 이상의 이동가능 수송기는 상기 모니터링 공간 내의 포인트들에 대응하는 상기 모니터링된 장면 공간 내의 포인트들을 특정하며, 상기 컴퓨터 구현된 가상 경계의 형상 및 포지션은 상기 모니터링 공간 내의 포인트들에 의해 부분적으로 정의되는
    방법.

  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 컴퓨터 구현된 가상 경계는 N개의 정점을 가진 N-면의 다각형이며, 상기 모니터링된 장면 공간 내의 상기 하나 이상의 이동가능 수송기는 상기 N개의 정점을 정의하는
    방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 컴퓨터 구현된 가상 경계는 상기 모니터링된 장면 공간 내에서 단일 이동가능 수송기만의 이동에 의해 정의되는
    방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 컴퓨터 구현된 가상 경계는 상기 모니터링된 장면 공간 내의 복수의 이동가능 수송기의 포지션들에 의해 정의되는
    방법.

  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 하나 이상의 이동가능 수송기를 포지셔닝하는 것은 상기 모니터링된 장면 공간 내에서 상기 하나 이상의 이동가능 수송기의 모션을 추적하기 위해 수신된 데이터를 프로세싱하는 것을 포함하는
    방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 모니터링된 장면 공간 내에서 상기 하나 이상의 이동가능 수송기의 포지셔닝을 가능하게 하고 상기 컴퓨터 구현된 가상 경계의 형상 및 포지션의 정의를 가능하게 하기 위해, 상기 모니터링된 장면 공간 내에서 상기 하나 이상의 이동가능 수송기를 페어링(paring)시키는 단계를 더 포함하는
    방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 컴퓨터 구현된 가상 경계 내의 정점이 인식될 수 있게 하도록 적어도 하나의 사전결정된 웨이포인트 신호(waypoint signal)를 인식하는 단계를 더 포함하는
    방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 모니터링된 장면 공간의 센서들 중의 적어도 일부는 상기 하나 이상의 이동가능 수송기의 일부인
    방법.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    응답 이벤트를 생성하기 위해 수신된 데이터를 프로세싱하는 단계는 상기 컴퓨터 구현된 가상 경계를 모니터링하여 상기 컴퓨터 구현된 가상 경계를 가로지르는 행위 및/또는 상기 컴퓨터 구현된 가상 경계의 임계치 내의 행위를 검출하기 위해 이미지 데이터를 프로세싱하는 단계를 포함하는
    방법.
  14. 제1항 내지 제13항 중 어느 한 항에 있어서,
    제1 이동가능 수송기로부터 제2 이동가능 수송기로의 핸드오버를 인식하는 단계와,
    상기 모니터링된 장면 공간 내에 상기 제2 이동가능 수송기를 포지셔닝하여 상기 대응하는 모니터링 공간 내에 새로운 컴퓨터 구현된 가상 경계를 적어도 부분적으로 정의하는 단계와,
    상기 대응하는 모니터링 공간 내의 상기 새로운 컴퓨터 구현된 가상 경계에 대한 상기 모니터링된 장면 공간의 적어도 일부에서의 변경에 응답하는 응답 이벤트의 생성을 가능하게 하도록 상기 모니터링된 장면 공간의 센서들로부터 수신된 데이터를 프로세싱하는 단계를 더 포함하는
    방법.
  15. 제1항 내지 제14항 중 적어도 한 항의 방법을 수행하는 수단 또는 적어도 하나의 프로세서에 의해 실행될 때 제1항 내지 제14항 중 적어도 한 항의 방법이 적어도 실행될 수 있게 하는 컴퓨터 프로그램을 포함하는
    장치.
KR1020187004089A 2015-07-09 2016-07-05 모니터링 KR102096191B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15175986.7 2015-07-09
EP15175986.7A EP3115978B1 (en) 2015-07-09 2015-07-09 Monitoring
PCT/FI2016/050492 WO2017005976A1 (en) 2015-07-09 2016-07-05 Monitoring

Publications (2)

Publication Number Publication Date
KR20180031013A true KR20180031013A (ko) 2018-03-27
KR102096191B1 KR102096191B1 (ko) 2020-04-02

Family

ID=53717885

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187004089A KR102096191B1 (ko) 2015-07-09 2016-07-05 모니터링

Country Status (7)

Country Link
US (1) US10776631B2 (ko)
EP (1) EP3115978B1 (ko)
JP (2) JP6705886B2 (ko)
KR (1) KR102096191B1 (ko)
CN (1) CN107851358B (ko)
ES (1) ES2667096T3 (ko)
WO (1) WO2017005976A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3115978B1 (en) 2015-07-09 2018-03-07 Nokia Technologies Oy Monitoring
JP6302956B2 (ja) * 2016-06-15 2018-03-28 株式会社Ｓｕｂａｒｕ 隊形設定装置、隊形設定方法及び隊形設定プログラム
US11238281B1 (en) * 2017-02-27 2022-02-01 Amazon Technologies, Inc. Light source detection in field of view
CN111824406A (zh) * 2020-07-17 2020-10-27 南昌航空大学 一种基于机器视觉的公共安全自主巡查四旋翼无人机

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002211494A (ja) * 2001-01-17 2002-07-31 Todaka Seisakusho:Kk 無人ヘリコプタ用飛行計画装置
JP2008068710A (ja) * 2006-09-13 2008-03-27 Yamaha Motor Co Ltd 無人ヘリコプタのデータ管理方法
JP2010132073A (ja) * 2008-12-03 2010-06-17 Toshiba Corp 捜索作業支援システム及び捜索作業支援方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7259718B2 (en) * 2002-03-19 2007-08-21 Rocket City Technology, Inc. Apparatus and method for keeping pets in a defined boundary having exclusion areas
JP2004062611A (ja) 2002-07-30 2004-02-26 Denso Corp 車両盗難防止センタ、および車両盗難防止装置
JP2004106802A (ja) 2002-09-20 2004-04-08 Nippon Telegr & Teleph Corp <Ntt> 盗難検出装置及び盗難監視装置
US7286929B2 (en) * 2004-11-05 2007-10-23 Wirelesswerx International, Inc. Method and system to configure and utilize geographical zones
US7317927B2 (en) * 2004-11-05 2008-01-08 Wirelesswerx International, Inc. Method and system to monitor persons utilizing wireless media
JP2006281830A (ja) * 2005-03-31 2006-10-19 Yamaha Motor Co Ltd カメラの視点表示システム
JP2007099197A (ja) 2005-10-07 2007-04-19 Toyota Motor Corp 車両用盗難防止装置
US9043052B2 (en) * 2008-05-27 2015-05-26 Wilfred So System and method for multiple vehicles moving a common payload
US8726847B2 (en) * 2010-05-18 2014-05-20 Woodstream Corporation Custom-shape wireless dog fence system and method with temperature compensated crystal oscillator for reduced clock speed variation between multiple base units and collar
CA2799568C (en) * 2010-05-18 2014-12-09 Woodstream Corporation Custom-shape wireless dog fence system and method
CN102682627B (zh) 2012-05-04 2014-04-09 北京民航天宇科技发展有限公司 一种基于ads-b的通用航空飞行监视机载系统
US9102406B2 (en) * 2013-02-15 2015-08-11 Disney Enterprises, Inc. Controlling unmanned aerial vehicles as a flock to synchronize flight in aerial displays
US9075415B2 (en) * 2013-03-11 2015-07-07 Airphrame, Inc. Unmanned aerial vehicle and methods for controlling same
US9847032B2 (en) * 2014-07-15 2017-12-19 Richard Postrel System and method for automated traffic management of intelligent unmanned aerial vehicles
CN104156821A (zh) 2014-08-11 2014-11-19 江苏恒创软件有限公司 一种基于无人机的自然草场畜牧业管理方法
EP3800532B1 (en) 2014-12-24 2024-06-19 Nokia Technologies Oy Automated monitoring of a scene
CN110027709B (zh) * 2015-03-12 2022-10-04 奈庭吉尔智慧系统公司 自动化无人机系统
EP3101511A1 (en) 2015-06-03 2016-12-07 Nokia Technologies Oy Monitoring
EP3101629B1 (en) 2015-06-04 2021-03-17 Nokia Technologies Oy Mediated reality
EP3115926A1 (en) 2015-07-08 2017-01-11 Nokia Technologies Oy Method for control using recognition of two-hand gestures
EP3115870B1 (en) 2015-07-09 2023-11-08 Nokia Technologies Oy Monitoring
EP3115978B1 (en) 2015-07-09 2018-03-07 Nokia Technologies Oy Monitoring

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002211494A (ja) * 2001-01-17 2002-07-31 Todaka Seisakusho:Kk 無人ヘリコプタ用飛行計画装置
JP2008068710A (ja) * 2006-09-13 2008-03-27 Yamaha Motor Co Ltd 無人ヘリコプタのデータ管理方法
JP2010132073A (ja) * 2008-12-03 2010-06-17 Toshiba Corp 捜索作業支援システム及び捜索作業支援方法

Also Published As

Publication number Publication date
JP6705886B2 (ja) 2020-06-03
EP3115978A1 (en) 2017-01-11
US10776631B2 (en) 2020-09-15
KR102096191B1 (ko) 2020-04-02
US20180197015A1 (en) 2018-07-12
EP3115978B1 (en) 2018-03-07
JP2019198077A (ja) 2019-11-14
CN107851358A (zh) 2018-03-27
CN107851358B (zh) 2019-09-17
ES2667096T3 (es) 2018-05-09
WO2017005976A1 (en) 2017-01-12
JP2018523231A (ja) 2018-08-16

Similar Documents

Publication Publication Date Title
US10402984B2 (en) Monitoring
US11861892B2 (en) Object tracking by an unmanned aerial vehicle using visual sensors
US11749124B2 (en) User interaction with an autonomous unmanned aerial vehicle
US11429189B2 (en) Monitoring
US10540543B2 (en) Human-computer-interaction through scene space monitoring
KR20190062171A (ko) 자율 머신에서의 오작동 센서의 딥 러닝 기반의 실시간 검출 및 수정
JP2019198077A (ja) 監視
EP3115870B1 (en) Monitoring
US10444852B2 (en) Method and apparatus for monitoring in a monitoring space
JP2018523231A5 (ko)

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant