TW200844912A - Warning a user about adverse behaviors of others within an environment based on a 3D captured image stream - Google Patents

Warning a user about adverse behaviors of others within an environment based on a 3D captured image stream Download PDF

Info

Publication number
TW200844912A
TW200844912A TW097100893A TW97100893A TW200844912A TW 200844912 A TW200844912 A TW 200844912A TW 097100893 A TW097100893 A TW 097100893A TW 97100893 A TW97100893 A TW 97100893A TW 200844912 A TW200844912 A TW 200844912A
Authority
TW
Taiwan
Prior art keywords
behavior
user
monitored
hostile
dimensional
Prior art date
Application number
TW097100893A
Other languages
English (en)
Inventor
Jacob C Albertson
Kenneth C Arnold
Steven D Goldman
Michael A Paolini
Anthony J Sessa
Original Assignee
Ibm
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ibm filed Critical Ibm
Publication of TW200844912A publication Critical patent/TW200844912A/zh

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V5/00—Prospecting or detecting by the use of ionising radiation, e.g. of natural or induced radioactivity
    • G01V5/20—Detecting prohibited goods, e.g. weapons, explosives, hazardous substances, contraband or smuggled objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G08B13/19615—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion wherein said pattern is defined by the user
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S706/00—Data processing: artificial intelligence
    • Y10S706/902—Application using ai with detail of the ai system
    • Y10S706/933—Law, law enforcement, or government

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Emergency Management (AREA)
  • Psychiatry (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Geophysics (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Emergency Alarm Devices (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Description

200844912 九、發明說明： 【發明所屬之技術領域】 本發明一般而言係關於改良的行為識別。特定而言，本 發明係關於自一由一或多個影像捕捉器件所捕捉之三維影 像"IL來摘測其匕人之行為，且通知—使用者其它人的敵對 行為。 【先前技術】
在交通攔檢（traffic stop)、訊問、安檢關卡 checkpoint)、商店安檢及其它例行執法活動期間，執法者 在當下限於身體語言及行為之其自身感知。儘管隨後在分 析特定事故時使用錄影帶活動對於執法人員較為常見，伸 ^者可能在當下曲解身體語言及行為。在-實例中，執 =可能同時評定不同問題且可能未察覺指示器之 攜帶人的行為。 除了執法者外，其它類型之工作及 ^ B ^ ^ ^ 韌而要一或多個人 ^控且▲視其它人或動物藉以相互作用 專監視人亦在當下限於受監控之人或動 ： 它行為的其自身感知。 5及其 因此，鑒於以上所述，需要_ 用於龄栌敲料^ 万法、糸統及程式，其 用於瓜拴敵對仃為可藉以發生之環 之人戋動物的^ 辨識該環境内 次動物的仃為、#定哪些行為表# 在敵對行為通信至監視使用者（諸如人口'、、且將潛 視使用者仍監控該環境。 法人貝同時監 【發明内容】 127383.doc 200844912 t本表月提供自二維捕捉影像之改良的行為識別。 特定而言，本發明提供自一由-或多個影像捕捉器件所捕 =之三維影像流來_其它人之行為，且通知-監視使用 者其它人的敵對行為。 在一實施例中，一種雷腦眘 種電細實轭之方法、系統及程式產品 包含一用於在一由一龄滿蚀田土 里視使用者所監控之特定環境内捕捉 -受監控使用者之三維移動的行為處理系統，其"亥三维 移動係藉由使用瞄準該受龄 瓜控使用者之至少一影像捕捉器 件來判定。該行為處理系 糸、洗使用该捕捉之移動來識別三維 物件特性流。該行為處理系統藉由將該識別之三維物件特 性流與多個敵對行為定義相比較來識別一由該三維物件特 n抓所表不之该雙監控使用者的特定定義敵對行為。回應 ;自/等夕個敵對仃為定義+識別該特定定義敵對行為， 該行為處理系統觸發一警告系統以經由一僅可由該監視使 用者所谓測之輸出介面來通知該監視使用者該受監控使用 者的該特定定義敵對行為。 在捕捉'亥文監控使用者之該三維移動中，該行為處理系 、充使用立體影像器件來捕捉該三維移動以識別且追縱一 特疋二維移動。丨卜冰 . 卜’在另一實施例中，該行為處理系統 ^ ^ 一立體影像器件及至少一感測器啟用器件來捕捉 X又I控使用者之該三維移動以偵測該三維移動中之— 測物件的一或多個額外特徵。 、 在識別一表千兮· - ^ 不忒二維物件特性流之特定定義敵對行為 中’该仃為處理系統計算該捕捉之三維移動表示一在該等 127383.doc 200844912 ，μ捕Γ 定義之特定行為的百分比機率，且 t该捕捉之三維移動為敵對的百分比機率。此外， 別一表示該三耗件特性流之特定定義敵對行為中識 為處理系統識別該受監控❹者之身體移動中的至少—丁 者，其包括在匹配該等敵對行為定義中之至少一者㈣二 維物件特性流内的細微粒度移動，諸如，面部表情、眼： ㈣、肌肉收縮及該受監控使用者之皮膚表面特徵之：
變。另外’在識別一特定定義敵對行為中，該行為處理系 統自該等三維物件特性來識別該受監控使用者之一可疑活 動、該受監控使用者之-傷害狀態、一由該受監控人所押
帶之隱藏武器、該受監控人之—攻擊性姿態、該受監控Z 之-憤怒面部表情及該受監控人之_緊張狀態中的—者。 f一實施例中’回應於在包含該監視使用者正藉以進行 一交通攔檢、一安檢關卡及一訊問中之至少一者之一執法 環境的該特定環境内偵測進行執法活動之該監視使用者/， 該行為處理系統觸發捕捉在該特定環境内之該受監控使用 者的该三維移動。在另一實施例中，回應於在包含一心理 學專家監㈣受監控使用者之m㈣該特㈣境内 偵測進行心理評估的該監視使用者，該行為處理系統觸發 捕捉在該特定環境内之該受監控使用者的該三維移動。 在通知σ亥特疋j展境之一監視使用者該受監控使用者之該 特定定義敵對行為中，該行為處理系統將該特定定義敵對 打為發送至用於控制輸出至該監視使用者之警告信號的警 告系統。該警告系統將該特定定義敵對行為轉譯成一輸出 127383.doc 200844912 u以用於輸出至一用於控制該受監控使用者無法察覺 :至一監視使用者之警告輸出之輸出器件的一輸出控制 态。 在-實施财’―行為處理系統監控在該特定環境内之 -監視㈣者之行為。判^該監視使用者的行為是否為敵 對或在該特定環境之可接受行為之參數以外，且若第― 視使用者的行為指示在可接受行為之該等參數: !根據其它警告參數需要告警-管理該第-監視使用者二 官理&視使用者，則警告該管理監視使用者。 【實施方式】 =參看圖！，方塊圖說明在一行為處理方法、系統及程 δίι流。將理解，圖1提供資訊流之-實施例，复 用於捕捉一由一監視使用者所監控之環境内的影像流且處 理彼等影像流以預測該環境内之受監控使用者之 測該等行為是否為敵對行為， ’、、、預 處=捕捉負料且預測行為之類型及該等行為是否為敵對。 應注意，如通篇所使用之術語"行為”可包括通常桿記為 n=?的使用者動作(諸如，手勢及面部表情)’， m包括任何可相身體移動、可侦測身體姿勢 測眼目月移動'皮膚表面特徵之改變(諸如，顏色、溫度、、 ^周及排汁程度）、肌肉收縮之改變及其它類型的非“ 通信°如通篇所使用之術語，，敵對行為〜 但通篇相關於預測為規=可仃為， 外以某種方式敵對之行為所使广規、傷害、危險或另 127383.doc 200844912 此外，應注意，如通 '，監視者”可指代監控或於視用之—術^吾”監視使用者或 監視使用者可實體地定：_定環境的任何人或系統。 置監控特定環境。在特環境内，或可自一外部位 使用者之行為可在監視使：：:所監控之-或多個受監控 或監視者之實例可包括(作不的視線内或外。監視使用者 …家广J (但不限於)執法人員、保全人員、 ^ J έ及教師。料，監視使用者之行為可經監 1 且報^監視使㈣的管理者，其中接著認為監視使用 糸又孤控使用者。如通篇所使用之術語"受監控使用者” 可包括在—受監控環境内之任何人或動物。 在。亥只例中，仃為處理系統1〇〇包括一個三維(3維)物件 谓測器104。3維物㈣測以⑼表示多個系統，該等系統 用於捕捉關於移動及@定物件的影像及其它資料、流線化 捕捉資料、追蹤捕捉移動内的特定物件、串流特定物件之 特性，且將串流特性組合成捕捉物件之3維特徵的三維表 示（如由3維物件特性110所說明）。3維物件特性u〇可包括 (但不限於）位置、顏色、尺寸及方位，其表示（例如）受監 控使用者之移動、監視使用者之移動、環境内的物件及= 別環境之屬性的背景。 在該實例中，3維物件偵測器104捕捉在聚焦區域内之表 示為可偵測行為移動102之影像。此外，3維物件偵測哭 104可偵測在聚焦區域内之其它類型的資料。特定而+，3 維物件偵測器104經由包括（但不限於）捕捉視訊影像、彳貞測 身體部分移動、偵測皮膚紋理、偵測眼睛移動、偵測皮膚 127383.doc • 10 - 200844912 表面特徵及捕捉熱影像之多個類型之影像及資料㈣㈣ 測可侦測行為移動102。為了支援多個類型之影像及資料 ::測，3維物件偵測器104可包括多個類型之影像捕捉器 ’其包括經配置以用於立體鏡視訊影像捕捉的—或多個 2訊相機，及用於捕捉__或多個物件之至少—其它特徵的 /、它類型之感測器，諸如，熱身體成像感測器、皮膚紋理 感測器、雷射感測器件、聲音導航及測距（s〇nar(聲納）） -件’或合成雷射或聲納系統。特定而言，感測器可使用 一獨立感測器單元來實施或可經由_對捕捉影像流操作之 =早'來實施。舉例而言，邏輯單元可處理捕捉影像 w，Μ偵測在聚焦區域内之可與非皮膚紋理(諸如，平滑 片回土或有紋理之植物）區別的面部皮膚紋理。 可谓測行為移動Η)2之部分可包括表示實際行為之影像 及其它貧料，且可偵測行為移動1〇2之其它部分可包括不 表示行為之影像及資料。此外，可谓測行為移動ι〇2可包 括移動及固定之受監挺你用去 、“ 皿控使用者移動及固定之監視使用者 以及其它物件中的一或多者。 3維物件偵測器⑽將可錢行為移動…轉譯成伯測物 件^維特性之流，且將3維物件特性㈣之流傳遞至行為 解#态1 06。行為解古睪哭]膝虫、ώ „ 解將串流之3維物件特性u〇映射 至母Γ受監控使用者之一或多個行為，且針對受監控使用 者之母一預測行為來估計行為 " 乃解#為106正確預測可偵測 =計1G2中之實際行為的機率。此外，行為解譯器106 預測特疋預測行為是否亦為潛在敵對行為。另外，行為解 127383.doc 11 - 200844912 106可自3維物件特性m來預測監視使用者的行為。 行為解譯器1G6輸出每_預測行為、百分比機率及_ 行為是否為潛在敵對作為預測行為輸出1〇8。行為解譯琴 1〇6可將預測行為輸幻轉遞至在-或多個系統處之一或 夕個行為啟用應用程式。 。 在處理可彳貞測行為移動102且產生預測行為 輸2 1〇8時，3維物件读測器1〇4及行為解譯器1〇6可存取_ 先則累積且儲存之行為定義的行為資料庫112，以在3維物 件特H 110内較好追蹤且偵測表示行為之彼等受監控物 一 乂在可偵測行為移動丨〇2内較好辨識不同於其它物件 、又|彳工使用者，且以自3維物件特性110較好追蹤、辨％ 且預測潛在敵對行為。 °曰 此外，在處理行為移動102且產生預測行為輸出1〇8時， 1ΓΛ件^111G 4 *行為料111G 6可存取—具有針對預 丁 别出108將輸出至之行為啟用應用程式之類型所 Ο 細說明之行為定義的行為資料庫112。舉例而言，、在本實 ^例中，可將預測行為輸出1〇8輸出至一警告系統，該^ =統用於將其轉換成警告信號’使得行為解譯器⑽眚 =::=1^地_已判定為較可能: 類型。（右其發运至特定警告系統）之行為類型的行為 、實例中’執法人員可監控許多不同類型之環境。監 :乂、攔核期間之環境的執法官員可比 武-之戒問期間之環境的執法官員較多地獲益於與 127383.doc -12- 200844912 潛在隱藏武器相關聯之敵對行為的警告。在另一實例中， 監2安檢關卡之執法人員可獲益於在受監控使用者實際到 旦二、Μ卡刚之可疑行為（諸如’潛在指示隱藏武器的大 <、、、慮跡象、非常規衣服褶皺或非常規衣服尺寸） 或在安檢關卡處可指千i 处』扣不為了通過安檢關卡之隱藏敵對目的 之其它行為的警告。 另外’在處理行為移動1〇2且產生預測行為輸出⑽時， L) 3維物件偵測㈣4及行為解譯器⑽嘗試識別表示受監控 使用者行為之物件，且#於實行行為之總體相互作用來預 :丁為類型。因此，3維物件偵測器1〇4及行為解譯器1〇6 S试不僅判定行為’而且判定將影響行為意義之包括於行 為中的加強程度、將影響行為意義之實行行為之受監控使 用者的背景、將影響行為意義之受監控使用者實行行為工的 環境、影響每-行為意義之一起實行之行為的組合，及影 響行為意義之其它可谓測因素。因此，行為資料庫112包 括對應於不同類型之人、環境及可影響行為意義之其它因 =行為：義。此外’行為資料庫112包括根據對應面部 表十月或其它對應行為而調整之行為定義。另外 為資料庫112，以較精確地識別表示與特定監視使用者二 通常相互作用之特定人、動物、地方或事物的物件，且： 較精確地識別以表示對特定監視者之敵對行為之行 的物件，且因此提供較詳細說明之行為定義。 ' 此外，在處理行為移動1〇2時，影像捕捉器件及 測器之多個獨立系統可各自捕捉關於自不同角度之獨it 127383.doc -13- 200844912 重疊聚焦區域的影像及資料。影像捕捉器件及其它感測器 之獨立系統可經由一無線或有線連接來以通信方式連接， 且可在3維行為偵測器之間或在行為解譯器之間彼此共用 捕捉之影像及資料，使得行為解譯器1〇6可藉由資料之組 合而以較大精確度來解譯行為。 f 現參看圖2,說明圖描緣3維物件债測器藉以捕捉且產生 表示捕捉之行為移動之3維物件特性的環境實例。將理 解，可偵測移動環境為如參考圖1中之行為處理系統 1〇 〇所描述的3維物件偵測器i G 4藉則貞測表示可偵測行為 移動！〇2之影像及資料之環境的一實例。可實施藉以㈣ 且處理行為移動之其它環境。舉例而言，圖1〇說明藉以谓 測受監控使用者及監視使用者兩者之環境。在另一實施例 中，偵測且監控監視使用者之行為移動。 在/實例中彳谓〉則移動環境2〇〇包括一立體影像器 件，違立體影像器件包含一影像捕捉器件2〇2及一影像捕 捉器件204 ’各自較位以在—組合之3維聚焦區域22〇内 摘測-或多個物件（其包括受監控使用者）之移動。在所描 狀實施財，影像捕捉11件202及f彡像捕捉n件2〇4可各 自定位於-固定軸或獨立固定軸上，使得由3維聚焦區域 220所表示的區域保持怪定聚焦。此外，在所描緣之實施 例中，影像捕捉器件加及影像捕捉器件綱及任何其它感 測器可平行、以切線或以任何其它角度來定位，以控制3 維聚焦區域220之跨距且捕捉3維聚焦區域—之内之影 像。 / 127383.doc 200844912 。在另—實施例中，影像捕捉器件2〇2及影像捕捉器件綱 ^各自定位於一位置可調整軸上，或影像捕捉器件Μ〗及 2像捕捉器件2〇4之實際聚焦點可為可調整的，使得可重 疋位由3維聚焦區域22〇所表示之區域。在一實例中，影像 捕捉器㈣2及影像捕捉器件2〇4中之每-者可與—或多個 .、’、成像w件耦接，该或該等熱成像器件偵測廣泛區域内之 ^於熱成像的移動’且指導影像捕捉器件2()2及影像捕捉 益件204中之每一者之聚焦區域的重定位，以追縱每一相 機之聚焦區域内的熱移動。 另外，在本實施例中，影像捕捉器件202及影像捕捉器 件204可附著至一由受監控使用者或監視使用者所攜帶或 佩戴之裝置。舉例而言，影像捕捉器件202及影像捕捉器 件204可附著至受監控使用者或監視使用者之一對眼鏡或 八匕頭飾，使得3維聚焦區域220隨使用者移動而改變。在 另一實例中，影像捕捉器件2〇2及影像捕捉器件2〇4可附著 至一移動機器（諸如，車輛），使得3維聚焦區域22〇隨車輛 移動而改變。 儘管未描繪，但在另一實施例中，僅單一視訊相機（諸 如，影像捕捉器件202)可實施為立體影像器件。單一視訊 相機置放於一軌道或其它可調整軸上，且一控制器沿軌道 調整單-視訊相機之位置，其中單一視訊相機接著沿軌道 在不同定位點處捕捉聚焦區域内之視訊影像流，且3維行 為偵測器104將影像流組合成可偵測物件之特性的3維物件 特性流。在一實例中，可當相機改變位置時藉由比較亮度 127383.doc -15- 200844912 之改變且在圖框上施影來產生3維物件特性流。或者，立 體影像器件可使用㈣測深度之感測_之單一固定相 機來實施。此外，或者，經啟用以處理影像且偵測距固定 位置之深度的單一相機可充當立體影像器件。舉例而古， 早一相機可處理影像，且藉由侦測光源之移動且比較亮度 之改變且在捕捉之影像圖框上施影來谓測深度。特定而 吕，單一相機系統可首先繪製受監控使用者面容之模型 (聚焦於眼鏡、嘴及鼻子)，且接著侦測亮度之改變且在影 像圖框上施影以债測面容之深度特徵。在其它實例中，感 測器可處理捕捉之視訊影像流1自影像流之其它特徵掘 取深度。 為了實例目的，3維聚焦區域22〇包括一由影像捕捉器件 2〇2所捕捉—之第-捕捉平面寫，及—由影像捕捉器件綱 所：捉之第二捕捉平面2〇8。第一捕捉平面寫偵測由參考 數字2U所說明之平面内的移動，且第二捕捉平面㈣
C 由參考數字216所說明之平面内的移動。因此，舉例而 言，影像捕捉器件202债測物件之側向或上下移動，且影 像捕捉器件204摘測在3維聚焦區域22〇内之物件之向前及 向後移動。應注意’當以細微粒度追蹤物件之移動時，受 監控使用者之身體移動之甚至小調整（諸如，提眉、下巴 前突’或細小步態）均被追縱且可接著解譯為指示應警告 監視使用者的敵對行為。 在該實例中，在3維聚焦區域22〇内，手21〇表示移動物 件，且盒子212表示固定物件。在該實例中，手2_3維 127383.doc 200844912 聚焦區域220内之人之手的部分。受監控使用者可藉由移 動手2 10來實行任何數目之移動，某些移動表示敵對行 為。 當人在3維聚焦區域220内移動手21〇時，影像捕捉器件 202及影像捕捉裔件204中之每一者在捕捉平面2〇6及捕捉 平面208内捕捉手210之移動的視訊流。自視訊流，3維物 ‘ 件偵測器1〇4偵測手210作為3維聚焦區域220内之移動物 件，且在一時間週期内產生手210之表示3維物件特性11〇 ' 的3維特性流。 此外，人可相對於盒子2 12或另一物件來移動手2丨〇。舉 例而言，使用者可指向盒子212或實行針對盒子212之另一 類型之行為。當人在3維聚焦區域22〇内移動手21〇時，由 影像捕捉器件202及影像捕捉器件204所捕捉的視訊流包括 手2 10及盒子212之移動。自視訊流，3維物件偵測器1〇4偵 測手210作為3維聚焦區域220内之移動物件且偵測盒子212 ^ ； 作為3、、隹聚焦區域220内之固定物件，且在一時間週期内產 生指示盒子212之3維特性及手210相對於盒子212之3維特 性的3維物件特性流。 應注意，藉由使用多個相機來捕捉3維聚焦區域22〇内之 • +同移動平面，捕捉到相比藉由典型固定單一相機將捕捉 到之車乂多移動點。藉由自一個以上之角度捕捉較多移動 點，3維物件偵測器104可較精確地偵測且界定3維聚焦區 域220内之固定物件及移動物件的3維表示（包括行為）。此 外，3維物件偵測器1〇4愈精確地界定移動物件之3維表 127383.doc -17- 200844912 示，則行為解譯㈣6可愈精確地自3維模型預測行為。兴 例而言，行為可由使用者直接朝向或遠離視訊相機2〇2: =訊相機綱中的-者實行—運動組成，其在二維圖框中 將不能被捕捉到；3維行λ拍也丨即，A, 冑m則益1〇4偵測且界定行為之3 ，准表示作為移動物件’且行為解譯器⑽自移動之3維模型 預測由朝向或遠離視訊相機之移動所實行的行為。 r 舉例而言，受監控使用者可將手㈣之位置改變成 之拳頭。拳頭之緊密度及拳頭中之拇指之位置可否 拳頭的行為解譯為敵對行為。藉由以細微粒度捕 、曰製且追敵握緊之拳頭之3維影像Μ貞測到拳頭之緊 密度及拳頭中之拇指之位置，使得行為解譯器⑽可較精 杨映射且預測彳貞測之行為為握緊之拳頭且特定握緊之拳 =疋否表示敵對行為。舉例而言，若並未自3維影像直接 到拇指之位置’則仍偵測到其它手指之3維定位，且 订為解譯器1 0 6自該等手指之3維定位來判定手指是否包住 拇指，或拇指是否自外部向下握住手指。 此外，應注意，儘管圖2說明一作手曰勢之手21〇及一固定 盒子212/但在替代實施例中，3維聚焦區域22〇可包括多 個獨立$監控使用者及監視使用者’使得影像捕捉器件 加及影像捕捉器件綱捕捉多個人之行為之影像，且3维 物件谓測器ΠΜ们則每-人之每一行為作為獨立物件。特 …。維物件伯測器104可自來自影像捕捉器件2〇2及 影像捕捉器件204的捕捉之視訊影像來伯測藉由較多運動 之仃為(諸如，藉由手所實行的行為)及藉由較少運動所實 127383.doc 200844912 行的行為（諸如，面部表情），以精確地產生一人與其它人 之非語言通信及相互作用的3維物件特性。 在該只例中，除了捕捉聚焦區域22〇内之影像外，在可 摘測移動環境200内，其它感測器可债測相關於環境但在 聚焦區域220外之資訊。舉例而言，感測器24〇可偵測感測 • =區域242内的資訊。感測器區域242可與聚焦區域220重 登、併入聚焦區域220内、與聚焦區域220合併，或與聚焦 區域220分離。3維物件偵測器1〇4將感測資訊與捕捉影像 組合，以較精確地產生3維物件特性11〇且將關於環境之額 外資訊提供給警告系統。 在一實例卞，感測器240可自捕捉影像流執行面部辨識 或其它識別辨識。在一實例中，感測器24〇可存取一針對 文監控使用者及監視使用者之面部繪圖的資料庫，且識別 一匹配來自資料庫之特定面料圖的特枝用者面料 圖在另實例中，感測240可分析用於可識別受監控 C, 使用者之本文的捕捉影像流。舉例而言，感測器240可: 測-徽章號，其為受監控使用者或監視使用者所佩戴之徽 章的捕捉影像流。藉由偵測使用者身份之感測器24〇，物 件偵測器104可較精確地產生3維物件特性，且移動解譯器 可自定A資料庫H2中針對識別之使用者所詳細說明Z 定義來較精癌地預測使用者行為的類型。 此外，在另一實例中，感測器24〇可藉由偵測自置放於 感測器區域242内之物品上之RFID‘片所廣播的資訊來補 充使用者辨識，其中物件之RFID廣播物件類型、物件位置 127383.doc -19- 200844912 及與物件相關聯之任何警告狀態。藉由將關於特定物件之 位置的感測資訊與捕捉影像（自其識別影像）組合，物件偵 、J104可較精確地產生3維物件特性11 〇，且行為解譯器 1 06可較精確地預測3維物件之類型及在3維物件特性11 〇内 所偵测之潛在敵對行為。此外，藉由存取位置資訊的感測 α。240，行為解譯器i 〇6可包括具有一使行為啟用警告系統 能夠將行為映射至特定受監控使用者及特定受監控環境内 之行為紀錄的位置識別資料。 在另一實例中，感測器240可在感測器區域242内追蹤受 追蹤物件的相對位置。儘管未描繪，但感測器區域242可 在感測器區域242内自第一聚焦區域220至第二聚焦區域來 追蹤一移動物件（其包括受監控使用者或監視使用者）。藉 由跨越多個聚焦區域追蹤移動，感測器24〇提供受監控使 用者或監視使用者之位置的額外追蹤資訊，使得在產生3 維物件特性110時可共用不同聚焦區域中所搜集之資料。 此外，感測器區域242可表示一特定保全區域，其中若在 感測器區域242内偵測到運動，則感測器24〇觸發聚焦區域 220之調整以捕捉導致運動之實體。此外，感測器24〇可债 測感測器區域242之改變之GPS位置，使得與特定gps位置 相關聯的地圖或其它資訊可經存取且用於產生3維物件特 性110、判定行為是否為潛在歒對，及警告GPS映射區域内 之監視者在映射區域内所彳貞測到之潛在敵對行為。 在又一實例中，感測器240可偵測關於物件之深度、表 面面積、色溫或其它特徵之額外資訊，以較精確地預測該 127383.doc -20- 200844912 特定行為且該行為是否為潛讀對。特定而 ;，_測關於物件之深度、表面面積或其它特徵之額 外貧訊，感測器240所收隼之資料偽旦q冬从 呆之貝枓與影像捕捉器件202及影 像捕捉器件204所捕捉之影像纟人 琢、、且口 以產生所偵測之3維物 件中的額外細節及粒度。 現參看圖3,方塊圖說日㈣於產生使—行為解譯器能夠 自3維物件特性解譯受監控使用者之行為及此等行為是否
為潛在敵對之3維物件特性的3維物件偵測㈣統之一實施 例。重要的是應注意，可將3維物件偵測器⑽内所描繪之 多個組件併入單一系統内，或經由網路、其它通信媒體或 其它傳輸媒體而分散於多個系統上。此外，應注意，關於 所况明之彼等組件之額外或替代組件可實施於3維物件偵 測益104中，以用於捕捉影像及資料且產生3維物件位置 11 0的流。 取初，多個影像捕捉器件（諸如，影像捕捉器件202、影 像捕捉器件204及感測器240)表示用於獲取表示3維聚焦區 域及感測器區域（諸如，3維聚焦區域22〇及感測器區域242) 内之可偵測移動102之資料的立體影像捕捉器件。如先前 所描述，影像捕捉器件202及影像捕捉器件2〇4可表示用於 捕捉視成影像之視訊相機。此外，影像捕捉器件202及影 像捕捉器件204可表示相機或其它靜止影像捕捉器件。此 外’影像捕捉器件202及影像捕捉器件204可表示能夠捕捉 表示可價測行為移動102之資料的其它類型之器件。影像 捕捉器件202及影像捕捉器件204可使用相同類型之影像捕 127383.doc -21 - 200844912 捉系統或不同類型之影像捕捉系統來實施。此外，由影像 捕捉器件202及影像捕捉器件中之每—者所捕捉之捕捉 區域及平面的範疇、尺寸及位置可變化。 感測器240可表示一或多個不同類型之感測器，其包括 (但不限於）RFID讀取器、熱身體成像感測器、皮膚紋理感 測盗、雷射感測器件、聲納（s〇NAR)器件，或合成雷射戋 聲納系統。此外，感測器24〇可包括偵測特定類型之身體 部分、特定類型之身體移動，或不同於基於非皮膚之紋= 的指示皮膚之紋理的感測器。感測器24〇可搜集關於物件 之獨立資料，或可處理由影像捕捉器件2〇2及影像捕捉器 件2 0 4所捕捉之影像。 特定而言，感測器240偵測關於特定感測器區域中之物 件的資訊，其增強3維物件偵測器1〇4形成3維物件特性u〇 的能力。舉例而言，藉由經由s〇NAR器件實施感測器 240，感測器240收集關於物件之深度及自s〇NAR器件至物 件之距離的額外資訊’其中深度量測由視訊處理器3 16、 視訊處理器318或幾何處理器32〇中的一或多者用以產生3 維物件位置11 0。若將感測器24〇附著至一移動物件，則可 實施一合成SONAR器件。 影像捕捉器件202、影像捕捉器件2〇4及感測器24〇中之 母一者將捕捉之影像及資料傳輸至經啟用以最初接收且緩 衝捕捉之影像及資料的一或多個計算系統。在該實例中， 影像捕捉器件202將捕捉影像傳輸至影像捕捉伺服器3〇8、 影像捕捉器件204將捕捉影像傳輸至影像捕捉伺服器3丨〇， 127383.doc -22- 200844912 且感測器24〇將捕捉資料傳輸至感測器伺服器3 12。影像捕 捉伺服器308、影像捕捉伺服器310及感測器伺服器312可 實施於一或多個伺服器系統内。 影像捕捉伺服器308、影像捕捉伺服器3 10及感測器祠服 器3 12中之每一者將緩衝之影像及資料自影像捕捉器件 2〇2、影像捕捉器件2〇4及感測器器件24〇串流至一或多個 處理器。在該實例中，影像捕捉伺服器308將影像串流至 視訊處理器316、影像捕捉伺服器310將影像串流至視訊處 理器318，且感測器伺服器312將感測資料串流至感測器處 理器319。應注意，視訊處理器316、視訊處理器318及感 測器處理器3 19可實施於一或多個電腦系統中之一或多個 處理器内。 在一實例中，影像捕捉伺服器308及影像捕捉伺服器3 1〇 各自分別將影像串流至視訊處理器316及視訊處理器318 , 其中影像以圖框串流。每一圖框可包括（但不限於）影像捕 捉裔件之一相機識別符（ID)、一圖框號、一時間戳記及一 像素計數。 視訊處理器316、視訊處理器31 8及感測器處理器319經 程式化以偵測且追蹤影像圖框内的物件。特定而言，因為 視訊處理器316、視訊處理器318及感測器處理器319接收 複合資料流且處理該等資料以識別三維物件（其包括表示 受監控使用者及監視使用者之物件）及三維物件之特徵， 所以視A處理态3 16、視訊處理器3 1 8及感測器處理器3 19 可實施Cell寬頻引擎（Cell BE)架構（Cell寬頻引擎為s〇ny 127383.doc -23- 200844912
Computer Entertainment，Inc 的·χ士皿 士丄 inC•的注冊商標）。Cell ΒΕ架構指 代一種包括一連接至多個額外處 处里叩疋件之基本處理器元 功率架構之控制處理器（ΡΡΕ))的處理器竿 構，該多個額外處理器元件亦稱作協同處理元件（SPE)J； 實施用於處理器元件之間的有效通信之dma命令的集合。 特定而言，SPE可經設計以屮甘6占 又寸以比其它處理元件較有效地處置 特定類型之處理任務。舉例μ，spe可經設相較有效 地處置處理視訊流，以識別且繪製圖框流内之移動物件的 點。此外’視訊處理器316、視訊處理器318及感測器處理 器319可實施其錢型之處理器架構，其啟用視訊影像的 有效處理以在三維中識別視訊影像（自其可預測受監控使 用者之行為及該行為為敵對之潛能）内的移動及固定物 件0 在該實例中，視訊處理器316、視訊處理器318及感測器 處理器319各自形成偵測物件之特性（其包括位置、顏色、 尺寸开y狀及方位）且將其串流至—幾何處理器似。在一 實例中’、經串流至幾何處理器32G之每—處理圖框可包括 (但不限於）一相機ID、一圖框號、一時間戮記以及X轴座 標（X»、Y軸座標（y»及z軸座標（z_i〇c)中之兩者或兩 者以上之組合。庫汴音，v 1 , 心主w x-i〇c、y—i〇c及z_i〇c可各自包括 多個點集合及識別物件之所有特性的其它資料。若在單— 圖框内制且追蹤多個物件，則每一物件的χ軸座標及γ 軸座標可包括於單-串流物件特性紀錄中或多個獨立串流 物件特性紀錄中。此外，串流特性圖框（諸如，來自感測 127383.doc -24- 200844912 态處理裔3 19之關於SONAR偵測位置之圖框）可包括（例如） 列為z__l〇c的Z轴位置座標。
U 幾何處理器320接收來自視訊處理器316及視訊處理器 3 18之2維串流物件特性，及來自感測器處理器319之其它 物件資料。幾何處理益3 2 0匹配串流2維物件特性與其它資 料，且自串流2維物件特性及其它資料構造3維物件特性 11〇。特定而言，幾何處理器320構造包括物件之深度的3 維物件特性110。在-實例中’由幾何處理器32〇所構造之 每一3維物件特性紀錄可包括一時間戳記、一物件或使用 者移動標記、X軸座標（x_loe)、Y軸座標&_1〇〇及z軸座標 (z_l〇c)，以及自感測器所收集之額外資訊。舉例而言自 感測器所收集的額外資訊可包括_自RFID或肥偵測位置 座標所接收之位置識別符。 在視訊處理器316、視訊處理器318、感測器處理哭319 及幾何處理器320中之任一者處，特性紀錄均可包括至少 一識別符以啟用持續追蹤物件。舉例而言，識別符可包括 物件自身的唯一識別符’及物件(其包括識別為使用者移 動之物件）之種類或類型的識別符。 特定而言，藉由識別且分類物件特性之視訊處理器 316—、視訊處理器318及感測器處理器川，該等處理器中 之母者可存取行為資料庫112以存取先前處理之輪入及 行為映射，以便較精確地識別且分類2維物件特性，’ 測串流2維物件特性且使串流2維物件特性與物件匹配。此 外’幾何處理器320可根據串流2維物件特性、根據自行為 127383.doc -25- 200844912 資料庫112所存取之物件之先前匹配且構造的3維特性來較 精確地構造物件之3維特性。另外，物件資料庫122可儲= 串流2維物件特性及3維物件特性以便將來參考。 此外，藉由識別且分類物件特性之視訊處理器3 16、視 訊處理器318及感測器處理器319且藉由構造3維°物件特: 110的幾何處理器’該等處理器中之每一者可識別偵測物 件，其包括受監控使用者的行為。舉例而言，視訊處理器 316、視訊處理器318、感測器處理器319及幾何處理哭 可存取行為資料庫112 ’其包括在映射面部表情及其°它身 體移動、執行面部及其它身體移動辨識且執行額外處理以 識別表示行為之物件時所使用的詳細說明。此外 理器川、視訊處理器318、感測器處理器319及幾何處; 為320可存取行為資料庫U2，其包括在根據價測物件及背 景識別使用者所定位之特定環境時所使用之不同類型之環 兄^、、田#明。另外’在構造3維物件特性，視訊處 ϋ 316視汛處理器3 18、感測器處理器319及幾何處理 器320可識別環境中之多個谓測物件，且因此識別單一受 監控❹者之多個行為或多個使用者之間的一或多個相互 :用*由麗控且識別在物件所定位之環境中所僅測之物 件之間的相互作用 β 執订稭以實行行為之情境中之行為 的較精確預測。 現參看圖4，方塊圖說明—行為解譯器系統之—實施 注意’在行為解譯器⑽内所描繪之多個組件可併 入早一糸統内或經由網路而分散於多個系統上。在該實例 127383.doc -26 - 200844912 中，3維特性紀錄402包括”時間戳記"、"xi〇c"、”yi〇c，·及 ”Zj〇C ”資料元素。將理解，3維特性紀錄402可包括如由圖 3^幾何處理器32G所狀的額外或替代㈣元素。舉例而 3 ’ 3維特性紀錄4〇2可包括額外資訊，其識別使用者在感 測益區域内且並非僅聚焦區域内之特定或相對位置、顏 $ ’及由影像捕捉器件及感測器所收集且在3維物件谓測 裔1 〇4内所處理的其它資料。
L 行為解譯器106包括一行為解譯器控制器404，其中行為 解譯器控制㈣何包括峰式“執行行為解譯之—或 多個處理器。舉例而言，行為解譯器控制器404可包括一 具有Ce咖架構之處理器’該處理器經程式化以有效處理 3維物件特性資料流、自3維物件特性流預測受監控使用者 的打為’且預測該等行為是否為潛在敵對。此外，行為解 譯器控制器404可包括藉以執行軟體之處理器，其中該軟 體指導3維物件特性流之處理、自3維物件特性流預測受監 控使用者的行為，且預測該等行^否為潛在敵對。 在處理3維物件特性流、預測行為且預測潛在敵對行為 時’行為解譯器控制㈣4以串流3維物件特性表示映射行 為動作之百分比機率及以預測行為表示敵對行為的百分比 機率來將3維物件特性映射至—或多個行為動作。特定而 言，打為解譯器控制器404存取一或多個行為之一或多個 打為定義4判定3維物件特性是否匹配如在行為定義中 之:或多者中所定義之一或多個行為的一或多個特徵。行 為定義可包括一或多個類型之行為的映射3維模型。此 127383.doc -27- 200844912 外，行為定義可定義識別行為之特㈣參數，丨包括（但 不限於Η貞測之身體部分、移動類型、表面特徵、形狀、 移動速度、頻率、移動跨距、移動深度、溫度及顏色。 f ί 此外，行為定義經詳細說明以使行為解譯器控制器404 能夠判定行為之特徵是否指示該行為為潛在敵對。舉例而 言，一旦行為解譯器控制器404自一或多個行為定義判定 出物件流表示”形成拳頭"之行為，則行為解譯器控制哭 _將拳頭之額外特徵（諸如，拳頭之緊密度）與緊密度之二 為定義中所定義的特徵相比較。舉例而言，行為定義 細說=由手指至手掌之卷曲量所判定的緊密度之範圍。在 订為疋義内’拳頭愈緊，該行為為敵對之可能性愈大 另一實例中，行為定義亦可共同詳細說 拳頭相對於受監控使用者之身體的位置 潛在敵對。 »疋仃為疋否為 /在另Λ例中’-旦行為解譯器控制器404自一或多個 ===出物件流表示”自手上掉落-物件"之行為， 二為控制器404判定掉落物件之額外特徵及物件 之行為且將物件之特徵及位置與潛在敵對掉落物件 之掠I 所定義的額外因素相比較。至垃圾收容器中 之掉洛紙片可不指示潛在敵對行為，鈇 落袋子可指示潛在敵對行為。’上位下之掉 , 只例中’—旦行為解譯器控制器4G4自-或多個 仃為定義判定出物件流表示”在 次夕個 為，則行為解譯器控制器4〇4判 ：之件的行 J心初件區域之尺寸的額外 127383.doc -28- 200844912 且將尺寸特徵與潛在敵對攜帶物件之行為定義中所 疋義之額外因素相比較。 4=主/ 料3維物件純㈣，料解利控制器 猎由-或夕個行為處理系統來執行針對一特定聚焦區 匯:二別之一或多個3維物件特性流中之所有追蹤物件的 心刀斤。在一實例中，行為解譯器控制器404匯總特定 來焦區域及特定感測器區域之3維物件特性流。在另一實 」I 為解澤⑨控制器4G4可自重疊有聚焦區域及感測 區域接收多個3維物件特性流、針對類似性、位 置指不符及方位指示符分析3維物件特性流，且將3維物件 特性流構造成區域的3維匯總表示。 ϋ 在一實施例中，行為解譯器控制器404可將追縱物件之 匯總直接映射至單-行為定義。在另一實施例中行為解 譯器控制器404將多個匯總追縱物件映射至多個行為定 義。舉例而言’ -人可同時經由面部行為及手部行為來通 仏，其中在預測經由面部行為及手部行為之追縱移動所通 ^的實際行為時’行為解譯器控制器404相關於手部行為 之^維物件特性來分析面部行為之3維物件特性，且存取行 為疋義以啟用行為中之每一者的預測且啟用組合之該等行 ^是否表示潛在敵對行為的預測。此外，行為解譯器控制 益404可匯總表示在一環境内之多個受監控使用者之行為 的追蹤物件。行為解譯器控制器4〇4接著預測多個受監控 使用者之行為的組合是否表示潛在敵對行為。 在邊實例中，行為解譯器控制器4〇4自行為資料庫^ Η存 127383.doc •29- 200844912 取灯為疋義，該行為資料庫112包括 境特定行為定義414、應用程式特定行為 =義412、環 特定行為定義418。將理解，行 &義^及使用者 替代類型之行為定義。此外’應、、主立2可包括額外或 之行為定義之分組中的每一者二二’在該實例中所說明 可經由網路自多個資6 ，，存於早一資料庫中，或 一自夕個貝枓庫及資料儲存系統存取。 常見:ΓΙίΠΓ包括用於邦定一般行為是否為敵對之 定義。舉⑽言，H彳 412可包括常見行為(諸如，指向之人、搖動之人、= 表達'’是"或搖頭以表達”否，，的 大妒… g S &人)或其它類型之常見行為 U大體上不與輯行為相關聯但視情境而定可能表 對行為）的行為定義。舉例 口 在减別搖頭以表達，，否”之 ^寺，亦偵測額外因素（諸如，人搖動之速度及人之眉毛 疋否上提）且該等因素影響人之搖頭是否為潛在敵對行為 之偵測效應的程度。在另一實例中，一般行為定義412可 包括大體上表示敵對行為（諸如，咬牙之人或下巴前突之 人）的行為。 也環境特定行為定義414包括特定針對藉以偵測行為之情 士兄之用於判定行為是否為敵對的行為定義及因素。情境實 例可包括（但不限於）受監控使用者之當前位置、一日之時 間、關於在情境内之姿勢及其它行為的文化意義、在情境 内所說之語言，及影響可藉以解譯行為之情境的其它因 素。舉例而言，受監控使用者之當前位置可包括使用者所 疋位之國家或地區，且可包括實際實體環境（諸如，交通 127383.doc -30- 200844912 攔私、封閉房間，或安檢。 ^ ^ ^ 藉由存取受監控使用者或％吏用者之/控制器404可 又用I4皿視使用者之位置 符、藉由執行受於批蚀田本” 曰不 及方言的變化、：：伯”并§吾曰之語音分析以偵測語言 内的物杜 猎由m示特定類型之位置之影像資料 ，或精由自用於監控情境(受監控使用者在該情 &控）之其它系統接收額外資料來偵測當前情境。 m應蔣用Γ切定行衫義416包括特定針對_行為輸出 、毛达至之行為啟用應用程式的行為定義。舉例而 &，在本實施例中’預測行為輸出1〇8可輸出至一為併入 一導航系統内之警Μ統的行為啟用應用程式，該導航系 統將音訊導航及警告輸出提供給—由警官所佩戴之頭掛耳 機，其中選定行為定義聚焦於將與基於導航之警告系統相 關之行為的類型。纟另—實例中，預測行為輸出⑽可輸 出至-為併入一監督系統内之警告系統的行為啟用應用程 式，該監督系統在視訊饋入内提供來自受監控視訊饋入之 Ο 潛在歒對行為的突顯，丨中選定行為定義聚焦於由基於監 督之警告系統所警告的行為。 | 使用者特定行為定義418包括特定針對受監控使用者或 監視使用者之行為定義。在一實例中，行為解譯器控制器 4〇4自使用者呈現可掃描識別存取受監控使用者之識別= (諸如，在安檢關卡或交通攔檢處），使用者呈現可掃描識 別之掃描將受監控使用者的識別符提供給行為解譯器^制 器404。在另一實例中，行為解譯器控制器4〇4藉由將由3 維物件偵測器1 0 4所偵測之使用者之屬性與使用者屬性之 127383.doc •31 - 200844912 f料庫相比較來存取受監控使用者的識別符。舉例而言， 行為解厚為控制器4〇4可執行面部或話音辨識（若尚未由3 隹物件债測為1 〇4執行）。將理解，行為解譯器控制器楊 可執订又I控使用者或監視使用者之其它類型的身份存取 及鐘認。 、此外’行為資料庫！ 12可包括特定針對—特定環境之監 2使用者或監視使用者之群組的行為定義及其它因素。特 疋而言，行為定義及其它因素可詳細說明監視使用者之行 為何時為敵對。舉例而言，若監視使用者之行為在特定環 衩中之可接受行為或力的參數以外或回應於受監控使用者 特疋敵對仃為’則可認為監視使用者之行為係敵對的。 2外’舉例Μ ’若監視使用者的行為指示監視使用者以 臣某種方式被傷害（其包括指示缺乏經驗的行為），則可認為 I視使用者之行為係敵對的。 去^為資料庫Μ亦可包括根據特定環境内之受監控使用 =[視使用者之經驗程度所詳細說明的行為定義及其它 舉:而言’在監控特定位置時監視使用者之經驗程 又°影響是否認為監視使用者的行為係潛在敵對。在另一 =1，受監控使用者之進入特定位置之經驗程度或頻率 可衫響是否認為受監控使用者的行為或相對於建立標準之 行為改變係潛在敵對。 ^卜’在可應用行為定義内，行為定義可與3維聚焦區 域内之料移動區域或料移動深度相關聯。特定而言， 可將藉以制移動之三維聚焦區域劃分成三維部分， 127383.doc -32- 200844912 =:亍為定義之不同選擇而解譯在該等部分中之每一者 部分係::之移動：舉例“，可認為聚焦區域之-個三維 於⑻主~ 内所偵測之移動與關聯 之：二活動地區(諸如’在保全點之特定距離内的㈣ 之订為疋義的選擇相比較。 :外，行為資料庫112可包括針對—般動物、特殊類型 =、特定環境中之動物及特定動物所詳細說明的行為 (在獨立定義資料庫中或整合至定義資料庫中）。此 外’針對動物之行為定義可根據潛在敵對行為所報告至之 監視使用者或根據與動物相互作用之監視使用者而變化。 行為資料庫U2内所包括的行為定義可根據受監控使用 者或監視使用者之使用者回饋來添加或調整。舉例而+， 行為資料庫112可學習額外行為定義，且以與藉以操；語 音辨識系統類似的方式經由回應於潛在敵對行為之攀告指 令的監視使用者來調整已學習之行為定義的參數來指^ 測是否正確，以便較精確地映射且預測一般行為、在不同 情境内之行為、特定針對應用程式之行為，及特定針對特 定受監控使用者及監視使用者的行為。 當行為解譯器控制器4()4接收指示受監控使用者之路捏 之資料時，一旦行為解譯器控制器4〇4識別到一行為，^ 行為解譯器控制器404可預測受監控使用者的行為是否與 保護方或地區相交。舉例而言，一旦行為解譯器：制^ 404偵測到受監控使用者行走在受防護建築物之入口外之 人行道上的特定方向且受監控使用者咬緊牙關且疾步行走 127383.doc -33- 200844912 (其潛在指示使用者正憤怒），則行為解譯器控制器404可預 測受監控使用者之路徑是否將朝向由監視護衛中的一者所 監控的區域轉彎，且產生一供將警告信號提供給監視護衛 之警告系統所使用的行為紀錄。 行為解譯器控制器4G4可以__或多個行為紀錄（諸如，行 為紀錄42〇)之形式來輸出預測之敵對行為輸出108。行為 紀錄420指示"行為類 丁马 f c 對行為的機率％"。此外，為之㈣％"及”作為敵 卜订為、，、己錄42〇包括指示行為之位 、移動方向及移動速度 貞則订為之開始χ、軸特 及、，，。束軸特性，其列為”s 〇s"、 ；n；X'P〇S，' ' ^ ,ta；；P〇s... 控:用、::動儘管未描㈠ 控使用::、…轴開始及結束特性，其指示受監 外= 用者之位置、移動方向及移動速度。另
座;p、*斤主 貝卜貝Λ(绪如’ RFID資料、GPS 私皮膚表面特徵及其它感測資料) 相關聯或包括於獨立物件紀錄中。 了為、、、己錄 在傳遞行為紀錄42〇時 特定類型之m 仃為解澤讀制器_可過濾、出 饤疋頰型之仃為紀錄。舉 ，〜 可不傳遞作為敵對行為之ΓΑ °仃為解譯器控制器404 的紀錄。 ^為〜丁為之可預測性小於特定百分比 應注意，在—替代實施例中 口。 僅預測一行為 仃為解澤益控制器404可 :為類型及债測影像表示預 羊，且接著亦將所有 心曰刀比钺 J订為的紀錄傳遞至行為啟用應用 127383.doc -34- 200844912 程式。行為啟用應用程式接著預測哪些行為可能為敵對， 且控制如何將潛在敵對行為通知監視者。 現參看® 5，彳塊圖描緣一可藉以實施本發明之計算系 統的-實施例。本發明之控制器及系統可在各種系統;執 行’其包括以通信方式連接至一網路（諸如，網路5〇2)之各 種計算系統（諸如，電腦系統5〇〇：)。 電腦系統500包括用於在電腦系統5〇〇内通信資訊的一匯 流排522或其它通信器件，及用於處理資訊之耦接至匯流 排522的至少一處理器件（諸如，處理器512)。匯流排“二較 佳包括低潛時及較高潛時路徑，該等路徑由橋接器及配接 器連接且由多個匯流排控制器於電腦系統500内加以控 制。當實施為一伺服器時，電腦系統5〇〇可包括經設計以 改良網路服務功率之多個處理器。在多個處理器共用匯流 排522時，可實施一用於管理匯流排存取及鎖定之額外控 制器（未描繪）。 處理器512可為諸如IBM2PowerPcTM處理器的通用處理 器，其在正常操作期間於作業系統56〇、應用軟體57〇、中 間軟體（未描繪）及可自諸如隨機存取記憶體（ram)5i4之動 態儲存器件、諸如唯讀記憶體（R〇M)516之靜態儲存器 件、諸如大量儲存器件518的資料儲存器件或其它資料儲 存媒體存取之其它程式碼的控制下處理資料。在一實例 中，處理器512可進一步實施CellBE架構以較有效地處理3 維中之複合資料流。將理解，處理器512可實施其它類型 之處理器架構。此外，應注意，處理器512可表示本端地 127383.doc -35- 200844912 個處 =:網路連接且一有效分散處理任務的多 至Γ4:ΓΓ例中’由處理器512所執行之操作可控制圖η :程圖之操作及本文所描述之其它操作中所描 者:境之捕捉之影像及資料的3維行為偵測（同期-二視 =Γ竟::自:測行為之敵對行為預測，及預:敵 ’、'、θ不付至I視者的輸出。由處理器512所執行 :作可由作業系統56。、應用軟體570、中間軟體或其它丁： :碼所清求’或本發明之步驟可由含有用於執行步驟之固 ㈣邏輯之特Μ體組件或由經程式化之電腦組件與定製 硬體組件的任何組合所執行。 本發明可提供為-包括於一電腦或機器可讀媒體上之電 腦程式產品，該電腦或機器可讀媒體上儲存一電腦可讀程 j之可執仃指令，該等可執行指令於電腦系統500上執行 時使電腦系統500執行根據本發明的過程。如本文所使用 之術語”電腦可讀媒體”或，，機器可讀媒體"包括參與將指令 提供給處理器512或電腦系統500之其它組件以供執行的任 何媒體。e亥媒體可採取許多形式，其包括（但不限於）儲存 類型媒體（諸如，非揮發性媒體及揮發性媒體）及傳輸媒 體。非揮發性媒體之常見形式包括（例如）軟性磁碟、可撓 性磁碟、硬碟、磁帶或任何其它磁性媒體、緊密光碟 ROM(CD-ROM)或任何其它光學媒體、打孔卡或具有孔之 型樣的任何其它實體媒體、可程式化ROM(PROM)、可抹 除 PROM(EPROM)、電 EPROM(EEPROM)、快閃記憶體、 127383.doc -36- 200844912 任何，、匕η己隐體晶片或盒式磁帶，或
Ο 此讀取且適合於儲存指令之任何其它媒體、;:= 中，非揮發性媒體之實例為大量儲存器件518，=: 繪之為電腦系統500的内部組件，但將理解以斤: 部器件提供。揮發性媒體包括動態記憶體，諸如，ram 514。傳輸媒體包括同軸電纜、銅線或光纖，其包括包a 匯流排522之線。傳輸媒體亦可採取聲波或光波之形= 諸如，在射頻或紅外資料通信期間所產生的聲波或先二二。 此外，本發明可作為—電腦程式產品而下載或分散^ 中電腦可讀程式指令可經由至—至通信介面切(其轉接^ 匯流排m㈣鏈路534(例如，數據機或網路連接）的網 路502來藉由以載波或其它傳播媒體所體現之資料信號自 遠端電腦（諸如，伺服器54哺輸至請求電腦系統5〇〇。°在 一實例中，在處理器512包括多個處理器元件時，則在處 理益το件之間（無論本端地或經由網路）分散之處理任務可 表示一電腦程式產品’其中處理任務包括用於執行一過程 之程式指令’或用於存取Java(Java為Sun ㈣咖
Inc·的註冊商標）物件之程式指令，或用於執行一過程的其 它可執行碼。通信介面532將一雙向資料通信耦接提供給 網路鏈路534，該網路鏈路534可（例如）連接至一區域網路 (LAN)、廣域網路（WAN)，或直接連接至網際網路服務提 供者（ISP)。特定而言，網路鏈路534可將有線及/或無線網 路通信提供給一或多個網路（諸如，網路502)。另外，儘管 未描繪，但通信介面532可包括軟體（諸如，器件驅動器）、 127383.doc -37- 200844912 硬體（諸如，配接器）及啟用通信之其它控制器。當實施為 一伺服器時，電腦系統500可（例如）包括可經由連接至輸入/ 輸出控制器之多個周邊組件互連（PCI)匯流排橋接器存取 的多個通信介面。以此方式，電腦系統5〇〇允許經由多個 獨立埠之至多個用戶端之連接，且每一埠亦可支援至多個 用戶端的多個連接。 網路鏈路534及網路502均使用載運數位資料流之電信 號、電磁信號或光信號。經由各種網路之信號及在網路鏈 路534上且經由通信介面532的信號（其將數位資料載運至 電腦系統500且自電腦系統5〇〇載運數位資料）可為傳送資 訊之載波形式。 此外，電腦系統500可包括有助於輸入及輸出的多個周 邊組件。此等周邊組件連接至耦接至匯流排522之多個級 別中的一者的多個控制器、配接器及擴充槽，諸如，輸入/ 輸出（I/O)介面526。舉例而言，輸入器件524可（例如）包括 經由控制輸入之I/O介面526於匯流排522上以通信方式啟 用的麥克風、視訊捕捉器件、身體掃描系統、鍵盤、滑鼠 或其它輸人周邊器件。此外，舉例而纟，經由用於控制輸 出之I/O介面526於匯流排522上以通信方式啟用的輸出器 件520可包括（例如）一或多個圖形顯示器件、音訊揚聲器及 觸覺可偵測輸出介面，❻亦可包括其它輸出介面。在本發 明之替代實施例中，可添加額外或替代輸人及輸出周邊^ 件。 一般熟習此項技術者將瞭解，圖5中所描繪之硬體可變 127383.doc •38- 200844912 化。此外，一般熟習此項技術者將瞭解，所描繪的實例並 不意謂暗示相關於本發明之架構限制。 現參看圖6，方塊圖描繪一可藉以實施一行為啟用警告 方法、系統及程式之分散式網路環境之一實例。應注意， 分散式網路環境600說明可藉以實施行為啟用警告方法、 系統及程式的一類網路環境，然而，可在其它網路環境中 只知行為啟用警告方法、系統及程式。此外，應注意，在 分散式網路環境600内之系統之分散說明系統的一分散； 然而，可實施在一網路環境内之系統之其它分散。此外， 應注意，在該實例中所描繪之系統表示可在實施行為處理 系統及行為啟用警告系統時存取或請求存取的該等類型之 系統及服務。將理解，其它類型之系統及服務以及在一網 路裱境中其它分組之系統及服務可實施行為處理系統及行 為啟用警告系統。 如所說明，在分散式網路環境6〇〇内之多個系統可經由 網路502通信連接，該網路5〇2為用以提供以通信方式連接 之各種為件與電腦之間的通信鏈路的媒體。舉例而言，網 路502可包括永久連接（諸如，線或光纖電纜）及經由電話連 接及無線傳輸連接所實行之臨時連接。網路502可表示基 於封包乂換及基於電話兩者之網路、區域及廣域網路、公 用及專用網路。將理解，圖6表示用於支援行為處理系統 及订為啟用警告系統之分散式通信網路的-實例；然而， 可實施其它網路組態及網路組件。 圖6中所崎之網路環境可實施多個類型之網路架構。 127383.doc •39- 200844912 在實例中，可使用用戶端/伺服器架構來實施網路環 境，其中請求資料或過程的計算系統稱作用戶端，且處理 貝料请求及過程之計算系統稱作伺服器。將理解，在用戶 端/伺服器架構内’用戶端系統可作為用戶端及伺服器兩 者執行，且伺服器系統可作為用戶端及伺服器兩者執行。 此外，將理解，可實施其它類型之網路架構及網路架構之 組合。
U 在該實例中，分散式網路環境600包括一具有一影像捕 捉系統604之用戶端系統6G2 ’&__具有—影像捕捉系統 6〇8之用戶端系統606。在一實例+，影像捕捉系統6〇4及 6〇8包括實施-或多個影像捕捉器件（諸如，影像捕捉器件 2〇2及204)的立體影像器件，且可包括—或多個感測器（諸 2，感測器240)。影像捕捉系統6〇4及6〇8捕捉影像及其它 貝料，且將影像及其它資料經由網路5〇2串流至其它系統 以供處理。此彳’影像捕捉系統_及6()8可包括參看圖3 所描述之用於追縱物件特性的視訊處理器（諸如，視訊處 理器骑視訊處理器318)，及參看圖3所描述之用於產生 3維物件特性流的幾何處理器（諸如，幾何處理器32〇)。 在一實例中，用戶端系統602及用戶端系統6〇6中之每一 者可將捕捉之影像圖框串流至—或多個行為偵測服務。在 一實例中’行為處S服務提供者伺服“20提供一服務， 該服務包括-物们貞測器服務（諸如，3維物件㈣器ι〇4) 以用於處理串流之影像及其它資料，及—行為解譯器服務 (諸如’行為解譯器1()6)以用於預測行為類型、預測捕捉影 127383.doc -40- 200844912 像表示預測之行為類型的機率及預測行為為敵對之機率且 控制預測行為紀錄至可經由網路5〇2存取之_或多個其— 系統的輸出。 ’、匕 關於行為處理服務提供者飼服器62g，不同實體可實施 一行為處理服務，且不同實體可存取該行為處理服務。、在" 一實財，登錄用戶端系統602或用戶端系統嶋中的一者 之使用者可預訂行為處理服務。在另一實例中，請求行為 1理的影像捕捉系統或特定應用程式可將捕捉之影像及資 =串流至行為處理服務。在又一實例中，商業或其它 只豆可在通“網路中實施行為處理服務。 Ο 一在另—實例中’用戶端系統602及用戶端系統6G6中之每 口將捕捉圖框串流至3維物件偵測器飼服器似。3维 =侦測器伺服器624自影像捕㈣統（諸如，影像捕捉系 4或衫像捕捉系統608)接收捕捉之影像及其它資料， :處理該等影像及其它資料以產生偵測行為之3維物件特 _ 於輸出至行為解譯器系統（諸如，行為解譯器伺 、"或行為處理服務提供者伺服器620)。在額外或替 ^實^例中’物件偵測器服務可實施於一或多個其它系統 且或多個其它服務執行於彼等系統内。特定而言，在 /么或身代只施例中’物件谓測器服務可實施於-用戶端 糸、先内，在該用戶端系統處捕捉影像及其它資料。 a、十對行為解澤裔伺服器622及3維物件偵測器伺服器 此等伺服器中的每一者可分散於-或多個系統上。 Ατι -i " 、 行為解澤為伺服器622及3維物件偵測器伺服器 1273 83.doc -41 - 200844912 624中之每—者分散於3維影像處理能力之系統上，該等系 統包括具有經程式化以執行有效3維資料處理之^咖竿 構的處理器。在-實射’實體（諸如’冑業或服務提供 者）可實施用於物件偵測及行為解譯之獨立伺服器系统， 其中實施多個行為解譯器伺服器且每—行為解譯器伺服器 處理不同類型之3維物件特性。 行為處理服務提供者伺服器620、行為解譯器词服器⑵ 及3維物件偵測器伺服器624可本端地儲存原始影像、。釋 行為特性及行為定義的行為資料庫（諸如，行為資料庫 U2)。此外，行為處理服務提供者伺服器62〇、行為解譯 态伺服器622及3維物件偵測器伺服器624可存取有助於行 為貝料庫112之行為資料庫服務伺服器626。如先前所描 述，行為資料庫112可包括（但不限於）原始影像及資料、3 維行為特性、行為定義及物件預測。 如此外，行為資料庫服務伺服器包括一行為學習控制 口口 630。订為學習控制器63〇提示使用者（無論是受監控使 用者還是監視使用者）提供特定類型之行為的樣本，且提 示使用者指示預測類型之行為是否匹配際行為且預測 敵對行為是否實際敵對。此外，行為學f控制器63〇搜集 其它資訊，該資訊使行為學習控制器63〇能夠在由行為物 件偵測器服務及行為解譯器服務存取行為資料庫丨12時學 習且維持行為資料庫112中之行為資訊，藉由此等服務增 加產生3維物件特性的精確度及自3維物件特性預測行為及 行為之潛在敵對性的精確度。 127383.doc -42- 200844912 另外，行為處理服務提供者伺服器620、行為解譯器伺 服器622、3維物件偵測器伺服器624或行為資料庫服務伺 服器626可存取使用者（其包括受監控使用者或監視使用者） 之額外情境資訊，其詳細說明被認為係敵對之行為的類型 及可由使用者自用戶端設定檔服務伺服器640所偵測之警 告的類型。此外，用戶端設定檔服務伺服器64〇可監控且 提供來自受監控資訊（諸如，使用者之當前位置、使用者 所疋位之當前實體環境、針對使用者當前所排程的事件） 之關於使用者位置的額外資訊。在一實例中，用戶端設定 棺服務提供者640(例如）自使用者之個人攜帶型電話器件來 I控使用者之電子日曆或使用者的當前GpS位置。 行為處理服務提供者伺服器62〇及行為解譯器伺服器622 將預測行為紀錄（諸如，行為紀錄42〇)經由網路5〇2串流至 行為啟用應用程式。在該實例實施例中，用戶端系統_ 包括一為行為啟用應用程式之警告系統610，從而使用戶 端系統606能夠根據行為紀錄及其它資料判定警告信號且 將其輸出至監視使用者。在用戶端系統6〇6處的警告系統 可接收如由影像捕捉系統6〇8所捕捉之來自用戶端系統 ^的旦預測行為紀錄，或可接收根據由影像捕捉系統議或 …匕〜像捕捉為件或影像捕捉系統所偵測之影像及資料的 預測行為紀錄。 此外，在該實例實施例中，用戶端服務提供者伺服器 括為竹為啟用服務之警告糸統614，以用於使用戶 端服務提供者伺服器612能夠根據行為紀錄及其它資料判 127383.doc -43- 200844912 2 2輪出警告信號。用戶端服務提供者伺服器612表示將 ^ 口服私提供給一或多個預訂用戶端系統之伺服器。警告 系、先614可自一或多個系統接收一特定環境的行為紀錄， 且判疋警告信號並將其輸出至一或多個用戶端系統。 現參看圖7，方塊圖說明―與—行為啟用警告系統通信 仃為解澤g系統之實施的—實例。警告系、統·自行為 處理系㈣G接收預測行為崎，該行為處㈣統1〇〇使盤 告系統7〇0能夠根據針對監視者正監控之實際環_^^ 的即時3維影像及其它資料來提供警告輸出。根據一優 ” a。系統700可控制至用於控制警告信號之輸出之輸 。的件的吕口 ^唬，使得僅監視使用者偵測該等警告信 唬且又[控使用者無法偵測該等警告信號。 特定而。，警告系統700之警告控制器708可使馨告指八 根據行為紀錄（諸如，行為紀錄702)。此外，警告控制2 7〇8可根據與包括於行為紀錄7〇2中之資料組合的其它資料
U 來增強或產生態土 γ八 Ά 王曰。扎令。舉例而言，警告控制器7〇8可經 5取結構地圖、相片、視訊流、RFID資訊及關於受監控 :广之’、匕貝料來存取關於正受監控之環境的靜態或動態 貝，fl。此外’ ¥告控制器谓可經由其它成像器件來存 關於在一環境内之受於 又现控使用者的貧訊。接著，警告控 器7〇8可產生在受於扒俨斤如
又皿控級境内之位置處之預測行為紀錄的 映射。 J 特定而言，在該奢：7 亥實例中，行為系統720接收行為紀錄 702，且警告控制|ζ — ''〆、 - 708將仃為紀錄7〇2轉譯成輸入，該等 127383.doc -44- 200844912 輸入有助於將p 、、衣兄模型化且產生至監視使用者之警告指 々 在所描繪之會 ,^ π化例中，在轉譯行為紀錄702時，鑿告 才工制裔7 〇 8存取；头土土 至 ^ 丁為轉譯資料庫710以根據警告指令將輸出 —、&件的類型來將行為類型、行為類型之百分比機率及 4亍為為敵對之
中，。,艮刀比機率轉譯成警告指令。在其它實施例 \可2行為紀錄轉譯成可供警告控制器7〇8使用的其它 、，之^貝料以用於實施一警告系統。使用者偏好資料庫 女17羊、田忒明關於警告指令將輸出至之器件類型之偏 在k濾敵對行為轉譯資料庫7丨〇時使用的額外過濾 偏好此外，敵對行為轉譯資料庫71〇可與特定監視使用 者相關I# ’或根據其它準則在可用於警告系統谓之多個 敵對行為轉澤資料庫之選擇中選擇。 在該實例中，敵對行為轉譯資料庫710針對每一項包括 :夕個種類所詳細說明之資料。特定而言，在該實例中， 每—員匕括安勢類型及最小（min)敵對行為百分比，及 接著用於產生至紅外控制器、觸覺回饋器件、音訊回饋器 件及〜像重控制裔中的每一者之警告信號（若可應用）的 扣7。此外，儘官未描繪，但每一項可包括一藉以正確預 測行為類型之最小臨限機率百分比，及用於產生用於額外 或替代類型之警告系統輸出器件之警告信號的指令。 特定而言，在該實例中，包括於行為紀錄702中之受監 控行為指示受監控使用者正以非常規步態、以受監控行為 為左側之非常規步態的90%確定性機率且以非常規步態表 示歒對行為之70%確定性行走。此外，行為紀錄7〇2將一 127383.doc -45· 200844912 般受監控環境指示為，，建築物B”。應注意，包括於預測行 為紀錄702中之資料的實例說明（但不限於）可包括於由行為 處理系統100所輸出且由警告系統700所接收之行為紀錄中 的資料類型及資料細節。舉例而言，行為紀錄亦可指示受 監控使用者行走之速度、受監控使用者行走之方向及在受 監控環境包括一個以上受監控使用者的情況下將識別受監 控使用者之資訊，諸如，襯衫顏色或頭髮顏色。 在該實例中，警告控制器708可控制至所說明之該等器 件中之一或多者的警告指令。針對該實例，警告控制器 708將行為紀錄702與敵對行為轉譯資料庫72〇之項722相比 較，且可根據藉由將行為紀錄702及其它收集資料與項722 相比較所產生的指令來控制至紅外控制器73〇、影像重疊 控制器740、觸覺回饋控制器750及音訊回饋控制器76〇中 之一或多者的警告信號。將理解，警告控制器7〇8可將警 告信號輸出至額外或替代類型之輸出器件且輸出至多個相 同類型之輸出器件。 在根據行為紀錄702控制警告指令時，在一實例中，警 告控制器708可判定出需要發送一信號來開啟，，建築物B，，之 環境内的紅外控制器730。警告控制器7〇8判定出紅外控制 器730控制用於監控，，建築物B”之紅外器件。警告控制器產 生一警告信號，且將該警告信號發送至紅外控制器73〇(如 在參考數字732處所說明）以開啟紅外系統。除了指導紅外 控制器730開啟紅外系統外，警告控制器7〇8可提供額外指 令以使紅外控制器73〇能夠聚焦於受監控使用者。 127383.doc -46- 200844912 在另一實例中，在根據行為紀錄702控制警告指令時， i。控制為7 0 8可判定出需要發送一信號至用於在”建築物 Βπ内所捕捉之影像的影像重疊控制器740。在該實例中， 影像重疊控制器740控制一影像層於一捕捉影像流上之重 疊。影像層可包括（但不限於）本文影像、圖形影像及視訊 影像。在一實例中，透明著色重疊可定位為，，建築物Β，，内 之捕捉視訊影像上的影像層，以指示觸發潛在敵對行為之
Ο 指不符的受監控使用者之一部分。舉例而言，警告控制器 708發送一在參考數字742處所說明之警告信號，其指導影 像重：£控制裔740將一影像層聚焦於左側之非常規步態。 此外，警告控制器708可發送具有谓測行為之座標之=示 符的行為紀錄702，使得影像重疊控制器74〇可將指示非常 規步態之影像層繪製至先前所捕捉或#前所捕捉之影像流 中的一者。 又一實例中，在根據行為紀錄7〇2控制警告指令時， —扰制态708可判定出需要發送一信號至觸覺回饋控制 器75〇。觸覺回饋控制器75Q控制至—或多個觸覺回饋器件 的輸出。觸覺回饋特徵可包括（但不限於）脈衝力度、強 二，持續時間及位置。此外，監視使用者可紐 自 或夕個觸覺回籍哭m ΠΓ… 覺回饋’其中警告控制器 ，二中：觸覺回饋器件的相同信號或不同信號。在 警t控制器708發送-在參考數字752處所說明 :二=觸覺回饋控制器750以7〇%強度脈動 左側觸覺回饋器件。 127383.doc -47- 200844912 夕卜 另一實例中，在根據行為紀錄7〇2控制警告指 ▽時，警告控制器7〇8可判定出需要發送一信號至音訊回 饋控制器760。音訊回饋控制器760控制至一或多個音訊回 饋為件的輸出。警告控制器7〇8可控制不同類型之音訊回 饋其包括（但不限於）形成警告信號音調型樣的音調聲音 及經轉換成語音回饋的本文。在該實例巾，警告控制器 7〇8發运一在參考數字762處所說明之警告信號，其指導音 訊回饋控制II76G輪出”非常規步態、左側，，的音訊信號。 除了項722外，敵對行為轉譯資料庫710之項720及724進 一步說明可包括於敵對行為轉譯資料庫71〇中之項的類 型。舉例而言，項720詳細說明對於具有75❶/〇之最小敵對 性之指示為”眼睛歒對”的姿勢，不應觸發紅外控制器，但 指令經詳細說明以用於將一警告信號格式化至一觸覺回饋 控制為以便以百分比強度脈動兩個觸覺環一次、將一警告 信號袼式化至一音訊回饋控制器以提供"眼睛敵對”之音訊 回饋’或將-警告信號袼式化至一影像重疊控制器以便以 敵對百分比透明度將眼睛區域突顯為紅色。在另一實例 中，項724詳細說明對於具有8〇%之最小敵對性之指示為 ”大量排汗”的姿勢，應觸發紅外控制器（若使用者偏好資料 庫706中詳細說明），且指令經詳細說明以用於將一警告信 號格式化至-觸覺回饋控制器以快速脈動兩個觸覺環兩 次、將-警告信號格式化至一音訊回饋控制器以提供”大 量排汗”之音訊回饋，或將一警告信號格式化至一影像重 疊控制ϋ以便以歒對百分比透明度以綠色錢排汗區域。 127383.doc •48- 200844912 在該實例中，警告控制器708控制警告信號，該等邀止 =::㈣器7_監控器，、經由影像重二 帝f周正受監控視訊影像，且經由觸覺回饋控制器75〇 及曰訊回饋控制器760警告個別監視使用I。因此，有利 地’警告控制器708控制警告信號至器件的輸出，直中受 監控使用者無法制到警告信號的輸出。在受監控使用者 可能能夠觀看由影像重疊控制器7崎控制之影像的環境
Ο 中，使用者偏好資料庫鳩可排除至影像重疊控制器74〇的 輸出。 現參看圖8，方塊圖說明一物件偵測介 介面的—實例。在該實例中，圖8包括—頭部件 -可佩戴裝置。在一實例中，監視使用者佩戴頭部件 800 ’其說明為-對眼鏡。在一額外或替代實施例中，頭 部件800可表示其它類型之可佩戴裝i此外，儘管參考 佩戴頭部件800之監視使用者來描述頭部件8〇〇，但在替代 實施例中，受監控使用者可佩戴頭部件8〇〇。 在該實例中’影像捕捉器件202及影像捕捉器件2〇4各自 附著，頭部件_。影像捕捉器件2〇2及影像捕捉器件2〇4 中的每一者捕捉視訊影像流及其它類型之感測資料。影像 捕捉器件202及影像捕捉器件2〇4中的每一者可經由一有線 連接或經由藉由附著至頭部件8〇〇之無線傳輸器81〇之傳輸 來將影像及資料傳輸至一實施一行為處理系統1〇〇的電腦 系統8 12。 在貝例中，電腦系統812為一由佩戴頭部件8〇〇之監視 127383.doc •49- 200844912 使用者攜帶或偏备、 ^ '、之本端行動計算系統（諸如，電腦系統 500)。舉例而古，你 ° 作為本端行動計算系統的電腦系統812 可實施於(例如)腰帶附著式計算系統、無線電話器件或膝 上型計算系統中。在另 ^ 任另一實例中，電腦系統812保持於一 固定位詈Φ +、i 、 "一監視使用者佩戴，但自無線傳輸器810 :電月自系統812相關聯之接收器之廣播接收範圍内的其 它無線傳輸器接收無線傳輸。 >行為處理系統1GG可執行於電腦系統812内，或可與提供 ::為*里服私之其它言十算系統建立介面連接以處理捕捉之 〜像及貝料且自捕捉之影像及資料返回預測姿勢，如在圖 6中所說明。特定而言，電腦系統812可包括—有線或無線 、罔路；1面，經由其電腦系統812經由網路502與其它計算系 統建立介面連接。 在一實例中，影像捕捉器件2〇2及影像捕捉器件2〇4定位 於頭部件_上，以捕捉自使用者之正前方至監視使用者 之前方所延伸之距離（諸如，監視使用者前方之若干碼）的 聚焦區域。藉由包括在使用者正前方之區域的聚焦區域， 影像捕捉器件202及影像捕捉器件2〇4可捕捉由佩戴頭部件 8〇〇之監視使用者所實行之行為的影像。此外，藉由包括 在監視使用者之前方延伸之區域的聚焦區域，影像捕捉器 件202及影像捕捉器件204可在監視使用者之路徑内捕捉受 監控使用者之行為的影像。另外，影像捕捉器件2〇2及影 像捕捉态件204可定位於頭部件8〇〇上，以視監視使用者所 處於之環境而定來捕捉監視使用者之側方、上方及後方的 127383.doc -50- 200844912 區域。行為處理系統100處理由影像捕捉器件2〇2及影像捕 捉器件204所捕捉之影像及資料，且根據學習最有助於監 視使用者之行為辨識的類型，將預測障礙才勿紀錄傳遞至警 告系統700以用於輸出至監視使用者。 在控制至監視使用者之輸出的警告系統700時，在該實 例中’警告系統7〇〇可將音訊回饋發送至頭部件_，其中 頭部件_包括-音訊輸出器件806及一音訊輸出器件 其附著至頭部件_且定位為在使用者之耳朵中輸出 曰Λ的耳機。音§fL輸出器件8()6及音訊輸出器件刪令之每 一者可經由—有線連接自電腦系統812或自無線傳輸器81〇 接收用於輸出的音訊傳輸，如由警告系統所指導。 在一實例中，影像捕捉器件2〇2及影像捕捉器件2〇4捕捉 接近監視使用者之受監控使用者的影像，且行為處理系统 1〇0接收捕捉影像且預測受監控使用者的行為及該行為是 否為/曰在敵對仃為。行為處理系統⑽在預測行為紀錄中 將订為類型及該等行為是否預測為敵對行為傳遞至邀 統·。_參看圖7所描述，警告系統將預測：為 紀錄轉譯成音訊輸出，且控制轉譯之音訊至音訊輸出器 ： :及音，輸出器件808的輸出。有利地，藉由控制警告信 儿至由瓜視使用者所佩戴之音訊輸出器件_及音訊輪出 器^議的輸出，僅監視使用者（且非受監控使用者）接 訊輸出警告信號。 捉=1’儘/在該實例中，影像捕捉器件2°2、影像捕 θ訊輸出器件_及音訊輸出器件謂附著至 127383.doc -51 - 200844912 > 5貝#件_ ’但在替代實施例中’影像捕捉器件與音 ▲ 7出扣件可附著至獨立頭部件。此外，應注意，儘管在 /實例中，電腦系統812包括行為處理系統及警告系統 7〇〇兩者，但在一替代實施例中，不同計算系統可實施行 為處理系統100及警告系統7〇〇中之每一者。 此外，應注意，多個監視使用者及受監控使用者可各自 • ^―獨立頭部件’其中由每—頭部件上之影像捕捉器件 p 所捕捉之影像經由一無線或有線網路連接傳輸至同一電腦 $統（諸如，電腦系統812)。藉由自多個人搜集合作影像及 貝料，仃為處理系統100可較精確地偵測表示行為的物 件，且較精確地預測行為之類型及該行為是否為潛在敵 、子、另外，應注意，各自自附著至頭部件之影像捕捉器件 感測為技集影像及資料的多個本端行動電腦系統可經由 一無線或有線網路連接彼此通信，且共用搜集之影像、資 料偵’則物件、預測行為及該等預測行為是否為潛在敵 〇 對。監視使用者可能同意在安全網路内共用搜集之影像及 預測行為紀錄。 在合作影像及資料搜集於單一系統處或共用於多個系統 之間時，可將額外資訊添加至該等影像及資料或自該等影 ' 像及資料擷取額外資訊，以有助於捕捉之影像及資料之不 同集合相對於捕捉之影像及資料之其它集合的置放。舉例 而吕’傳輸以用於合作之影像及資料可包括位置指示符及 方位指示符，使得可將影像及資料之每一集合對準及定向 至影像及資料之其它集合。 127383.doc -52- 200844912 現參看圖9,說明圖說明自—警告系統接收觸覺回饋之 觸覺可偵測回饋哭祛Μ 每/ 、 件的一實例。如所說明，-人可佩戴腕 ' 4及908，該等腕帶9〇4及9〇8各自包括用於控制觸覺可 偵測輸出之控制器及可經控制以形成觸覺可偵測輸出之硬 體。觸覺可偵測輪出的實例可包括可偵測麼力脈衝、腕帶 之表面的可偵測改變及可由佩戴腕帶904及908之使用者所 感測之其它調整。此外，可關於可由佩戴腕帶904及908之 監視使用者所感測之頻率、強度、持續時間及其它特徵調 整觸覺可偵測輪出。 在A貝例中，腕帶904包括一無線傳輸器9〇2，且腕帶 908包括-無線傳輸器_。無線傳輸器9G2及無線傳輸器 中的母者經由無線網路傳輸通信至觸覺回饋控制器 750。觸覺回饋控制器75〇自警告系統7〇〇接收觸覺信號， 且將信號傳輸至無線傳輸器9〇2及9〇6中之每一者以指導自 腕帶904及腕帶908之觸覺輸出。有利地，藉由控制警告信 唬至由監視使用者所佩戴之腕帶904及腕帶908的輸出，僅 監視使用者（且非受監控使用者）偵測觸覺輸出警告信號。 特定而言，警告系統700將觸覺警告信號傳輸至無線傳 輸器902及906中之每一者，以用於控制圍繞每一腕帶之圓 周之輸出的脈衝型樣、位置、力、持續時間、頻率及時 序。在說明於參考數字910處之實例中，警告系統7〇〇發= 用於控制帶912之觸覺信號，其中每一觸覺信號包括一X座 標及一y座標及力。脈衝之型樣及位置可關於寬度（諸如， 自y位置至X位置）及方向（諸如，圍繞腕帶順時針旋轉脈衝） 127383.doc -53- 200844912 而變化。 此外，無線傳輸器9〇2及906中之每—者可包括感測器以 备控腕帶904及908中之每一者與重力相比較的相對位置。 參看說明於參考數字91G處之實例，當佩戴帶⑴之使用者 旋轉使用者之手臂時，用於控制覺輸出之⑽置將始終 保持向上且-y位置亦將保持向下(相對於重力），使得根據 使用者之手臂之當前位置來圍繞所描繪之軸重定位該等觸 覺信號。 在-實財，警告㈣將—預測行為及該預測行為 為潛在敵對之百分比機率轉譯成—觸覺輸出，該觸覺輸出 向li視使用者唯-地指示行為類型及該行為為潛在敵對之 百分比機率（如在實例項720、722及724中所說明）。然而， t另-實例中，警告系統7⑼可將—預測行為及該預測行 :為潛在敵對之百分比機率轉譯成—觸覺輸出，該觸覺輸 將監視使用者導向至與制行為及該行為為敵對之機率 :關聯之受監控使用者的區域。另外，在又一實例中，警 :系統700可將一預測行為及百分比機率轉譯成一觸覺輸 ’該觸覺輸出指導監視使用者以某種方式實體地回應， 弘如，舉起手臂、獲取防紫器件’或監視使用者可自觸覺 輸出偵測之其它回應。 應>主意，腕帶904及908為定位於兩個固定位置中之一類 見回饋杰件的實例；在替代實施例中，可實施其它類型 ,觸覺回饋器件、可實施-或多個觸覺器彳，且觸覺器件 汀在一或多個位置中為可偵測的。舉例而言，許多電話器
U7383.dOC -54- 200844912 2包括—振動特徵，警告系統·可藉由發送信號以控 =不_行為及_行為為潛在敵對之 動來控制該振動特徵。在另戍羊的振 纟另―實例中，監視使用者可佩戴 觸免可偵測丰矣，# m 乎套4觸覺可偵測手套充當一 Braille^占
字）器件或3維”咸謦”哭杜 *丄 U 级見裔件，其中觸覺可調整介面在手套之 指套中。 嘗之
Ο 應主思，使用者可佩戴頭部件8〇〇以及觸覺可偵測腕帶 9〇4及908兩者。在此實例中，警告系統7〇〇將控制至觸覺 回饋控制器7 5 0及益繞值於哭、δ】π 士七^ , υ汉然綠得輸為81〇中之任一者或兩者的輸 出。另外，頭部件8〇〇可包括—當音訊圍繞一使用者時進 行偵測之麥克風（未描繪），且警告系統7〇〇可選擇當雜訊低 於特疋位準時輸出音訊回饋且當雜訊高於特定位準時輸出 觸覺可偵測輸出。 現參看圖1 〇，說明圖描繪一受監控使用者之潛在敵對行 為經偵測且由一警告系統通信至一監視使用者之環境的一 實例。在該實例中，環境1010包括一監視使用者1012(諸 如，執法官員）及一受監控使用者1014。在該實例中，監 視使用者1012走出車輛1〇〇6。車輛1〇〇6包括用於捕捉表示 環境1010内之行為移動之影像的影像捕捉系統1〇〇4，諸 如，影像捕捉器件202、影像捕捉器件204及感測器240中 之一或多者。影像捕捉系統1 004將捕捉資料傳遞至電腦系 統812之姿勢處理系統100，其中電腦系統812可定位於車 輛1006内或表不可經由網路502存取的一或多個電腦系 統0 127383.doc -55- 200844912 行為處理系統⑽處理由影像捕捉系統職所捕捉之影 像。在該實例中，行為處理系統100自車輛編接收具有 由^所執行之巡邏之類型及官員身份之指示的影像。就 執行交通攔檢之警官及"警官A"之警官身份而言，行為處 理系統1〇0存取交通攔檢行為定義職及警官A行為定義 助’以較精確地額在交通攔檢期間的常見行為且以較 精確地預測與交通攔檢相關及肖"警官A"相關之行為，如 在定義1020及1022中所定義。 行為處理系統1 〇〇產生預測耔氣 —τ 厓王頂劂仃為紀錄，以供警告系統700 在判疋經由輸出控制器1008輪出至監視使用者MU之警告 指令時使用。在判定輸出至監視使用者1〇12之盤土；二 時’警告系統7〇0可存取"警官A"之使用者偏好、交 之偏好集合，及.，警官A"或一般警官的敵對行為轉譯資料 庫。 根據由警告系統所產生之警告指令，警告系統7〇〇广 制至輸出控制器聰的輪出信號，以用於控制至車輛刪 外部之監視使用者1012可存取之輸出器件及自車㈣嶋控 制之輸出器件的輸出。舉例而言，監視使用者m2可佩^ 頭戴耳機’輸出控制器咖控制音訊信號至該等頭戴耳機 的輸出，或監視使用者1012可佩戴觸覺可偵測器件，輸出 控制器1 G G 8控制觸覺信號至該等觸覺可偵測器件的輸:。 在另-實例中’車輛讓可裝備一紅外器件，輪出：制哭 雜將一信號輸出至該紅外器件以控制紅外器件是否開啟 及紅外器件之捕捉區域的定位。將理解，輸出控制器1_ 127383.doc -56 - 200844912 可控制至車輛祕内或監視使用者1()12可存取之其它 之輸出器件的輸出信號。此外，輸出控制器刪可控制 多個監視使用者或距輸出控制器1GG8之特定距離内之所有 監視使用者可存取之輸出器#的"錢。料，邀 統刪可控制至在其它車輛或其它位置處之警告系統^ 通仏至之其它輸出控制器的信號。 應注意，任何類型之行動單元（諸如，車輛嶋)均可實 施行為處料統及用於將警告信號提供給監視使用者的邀 告系統。此外’儘管車輛藝為—行動單元，但在其它實 例中’ |7〇(諸如，在安檢關卡或公共運輸進人點處之單 兀）可實施行為處理系統及用於將警告信號提供給監 用者的警告系統。 卜應/主忍，儘官圖10中之實例說明在交通搁檢期間 與人相互仙之監視❹者，但在另—實例中，行動單元
C (諸如，車輛刪)可經實施以監控與動物或其它移動實體 相互作用的監視使用者。 現參看圖η，高階邏輯流程圖騎—行為處理系統以— 百分比機率預測物件類型及路徑之過程及程式。在該實例 中’過程始於區塊U00,且其後進行至區塊而。區塊 1102描繪在—聚焦區域内經由—立體影像器件捕捉多個影 象《•且、.-工由感測益捕捉感測器資料。接著，區塊^⑽說明 追縱在影像及感測器資料内之物件。其後，區塊测描繪 生追蹤物件之3維物件特性流。其後，區塊丨丨Q8描繪匯 總追縱物件中之每—者的3維物件特性。特定而言，匯總 127383.doc -57- 200844912 之3維物件特性表示與至少一受防 夕-¾ ^ Am ^ μ ^工使用者相關聯而追縱 之一或多個物件，盆矣+ ^ .,.,r ., 八’、“至 >、一受監控使用者的行為。 此外，匯〜、之3維物件特性矣一 号性了表不與一或多個監視使用者 相關聯而追蹤之一或多個物 件其表不該或該等監視使用 者的行為。接著，區塊m 兄110次明自使3維物件特性 流與機率百分比相匹 ^、、、心 配之—或多個行為定義來預測來自3 維物件特性之匯總流的至少一 夫貝生之仃為。此外，接著， 區塊1112描繪以來自行為宗盖
目料疋義之百分比機率來預測行為是 否為潛在敵對。特定而言，在預測行為是否為潛在敵對 時，行為之潛在敵對性可根據藉以執行行為之環境類型、 在特定環境内之人數、於滿你田土^ s， 现視使用者至受監控使用者之接近 度’及可定義於行為定義中的豆 的具匕因素來改變。其後，區 塊1114 ^田繪在行為紀錄中將^千或 . 不T肘仃為之母一預測類型及該行為 是否為潛在敵對傳輸至一行為啟用應用程式（諸如，警告 系統），且過程結束。 現參看圖12,高階邏輯流程圖描㈣由追縱影像流及其 它感測資料内之物件且產生該等追蹤物件的表示行為之3 維物件特性之行為谓測的過程及程式。如所說明，過程始 於區塊1200，且其後進行至區塊12〇2。區塊12〇2描繪一物 件偵測器系統經由一或多個影像捕捉器件接收多個影像流 且經由一或多個感測器接收感測資料。接著，區塊12〇4說 明物件偵測器系統將元資料附著至影像圖框及感測資料， 且過私轉至區塊1206。在一實例中，元資料包括資料，諸 如（但不限於）相機識別符、圖框號、時間戳記及像素計 127383.doc -58- 200844912 數。 區塊1206描繪物件偵測器系統處理每一影像流及感測資 料以谓測且追縱物件，其中物件可包括實體物件及指示行 為的使用者移動。接著，區塊12〇8說明自每一影像流產生 具有兀貝料之追蹤物件特性流。其後，區塊i 2工〇描繪組合 追蹤物件特性以產生具有元資料之3維物件特性。接著， 區塊1212 5兒明將3維追蹤物件特性傳輸至行為解譯器系 統，且過程結束。 現參看圖13，高階邏輯流程圖描繪自追蹤之3維物件特 性之行為預測的過程及程式。在該實例中，過程始於區塊 1300，且其後進行至區塊13〇2。區塊13〇2描繪判定行為解 譯器系統是否接收到3維物件特性。當行為解譯器系統接 收到3維物件特性時，則過程轉至區塊丨3〇4。區塊1描 繪存取可應用行為定義之範圍，且過程轉至區塊13〇6。 區塊1 3 06說明行為解譯器系統將追蹤物件之3維物件特 性與可應用行為定義相比較。接著，區塊13〇8描繪行為解 譯器系統偵測具有與3維物件特性之一或多個集合之最接 近匹配的至少一行為定義。其後，區塊丨3丨〇說明計算3維 物件特性匹配行為定義之百分比機率。接著，區塊1312描 繪根據行為定義中所設定的敵對特徵來預測該預測行為是 否為潛在敵對。其後，區塊13 14說明產生具有任何預測行 為、預測行為為正確之百分比機率、預測行為為潛在敵對 之百分比機率及其它感測資料的至少一預測行為紀錄。接 著，區塊1316描繪將具有元資料之預測行為紀錄傳輸至一 127383.doc -59- 200844912 特定行為啟用應用程式，且過程結束。 現參看圖14 ’高階邏輯流程圖描繪在—行為啟用導航系 統中應用-預測行為紀錄的過程及程式。如所說明，過程 始於區塊1400，且其後進行至區塊刚。區塊1402描繪判 定打為啟用警告系統是否接收到一預測行為紀錄。當警告 系、，充接收到帛測仃為紀錄時，則過程轉至區塊1。區 塊1404說明收集盘一 ϋ 1±L· ± ga ^^特疋缞境相關聯之其它資料，其包括 (但不限於）其它監視你用各 狐祝便用者之位置、在該環境内的其它預 測行為紀錄及馨告系姑i^ »。糸統可存取之其它資料。其後，區塊 1 406描繪將預測行為及其 匕Η文果貝料映射至一監視環境内 的或多個位置中。接著，區塊14〇8說明將預測行為紀錄 及其它收集資料轉譯成用於輸出至一監視使用者之一或多 個警:信號，其包括指示在該環境内之敵對行為之位置的 :° ^ #u其後’區塊141G說明控制至選^輸出介面控制 态之4號的輸出，且過程結束。 Ο 儘管已相關於較佳實施例特定展示且描 習此項技術者將理解，在不& ^ 、 鮮在不脫離本發明之精神及範疇之愔 況下可對本發明膏;#斗、 、仃^式及細節的各種改變。 【圖式簡單說明】 圖1為說明在一行為虛拂士、+ / ”、 法、糸統及程式中之資訊流 的方塊圖； 圖2為描繪3維物件偵測 為移動之3維物件特性之…捕捉且產生表不捕捉之行 、 丁竹汪之兄實例的說明方塊圖； 圖3為說明用於產生多一 使仃為解譯器能夠自3維物件特性 127383.doc 200844912 解譯受監控使用者夕> 之仃為及此等行為是否為潛在敵對之3 勿件特f生的3維物件偵測器系統之—實施例的方塊圖； 圖4為描繪一行為解譯器系統之一實施例的方塊圖； 圖5為說明—可藉以實施本發明之計算系統之-實施例 的方塊圖； 圖6為描繪一可藉以實施-行為啟用警告方法、系統及 程式之分散式網路環境之一實例的方塊圖；
圖7為說明一與-行為啟用警告系統通信之行為解譯哭 系統之實施之一實例的方塊圖； L 圖8為描繪一物件偵測介面及-導航輸出介面之一實例 的方塊圖； 、 圖9為說明自-警告系統接收觸覺回饋之觸覺可债測回 饋器件之一實例的說明圖； 圖10為描繪-受監控使用者之潛在敵對行為經偵測且由
U -警告系統通信至—監視使用者之環境之_實例 圖； 圖U為說明-行為處理系統以一百分比機率預測物件類 型及路徑之過程及程式的高階邏輯流程圖； 圖丨2為描繪藉由追蹤影像流及其它感測資料内之物件且 產生該等追蹤物㈣表讀為之3維物件特性的行為债測 之過程及程式的南階邏輯流程圖； 圖U為說明自追蹤之3維物件特性之行為預測之過程及 程式的高階邏輯流程圖；及 圖U為描繪在-行為啟用導航系统中應用—預測行為紀 -61 - 127383.doc 200844912 錄之過程及程式的高階邏輯流程圖。 【主要元件符號說明】 100 行為處理系統 102 可偵測行為移動 104 3維物件偵測器 106 行為解譯器 108 預測行為輸出 110 3維物件特性 112 行為資料庫 200 可偵測移動環境 202 影像捕捉器件 204 影像捕捉器件 206 第一捕捉平面 208 第二捕捉平面 210 手 212 盒子 214 參考數字 216 參考數字 220 3維聚焦區域 240 感測器 242 感測器區域 308 影像捕捉伺服器/視訊處理器 310 影像捕捉伺服器 312 感測器伺服器 127383.doc -62- 200844912 316 視訊處理器 318 視訊處理器 319 感測器處理器 320 幾何處理器 402 3維特性紀錄 404 行為解譯器控制器 412 一般行為定義 414 環境特定行為定義 416 應用程式特定行為定義 418 使用者特定行為定義 420 行為紀錄 500 電腦系統 502 網路 512 處理器 514 隨機存取記憶體 516 唯讀記憶體 518 大量儲存器件 520 輸出器件 522 匯流排 524 輸入器件 526 輸入/輸出介面 532 通信介面 534 網路鏈路 540 伺服器 127383.doc 63· 200844912 560 作業系統 570 應用軟體 600 分散式網路環境 602 用戶端系統 604 影像捕捉系統 606 用戶端系統 608 影像捕捉系統 610 警告系統 612 用戶端服務提供者伺服器 614 警告系統 620 行為處理服務提供者伺服器 622 行為解譯器伺服器 624 3維物件偵測器伺服器 626 行為資料庫服務伺服器 630 行為學習控制器 640 用戶端設定檔服務伺服器 700 警告系統 702 行為紀錄 706 使用者偏好資料庫 708 警告控制器 710 敵對行為轉譯資料庫 720 項 722 項 724 項 127383.doc -64- 200844912
730 紅外控制器 732 參考數字 740 影像重疊控制器 742 參考數字 750 觸覺回饋控制器 752 參考數字 760 音訊回饋控制器 762 參考數字 800 頭部件 806 音訊輸出器件 808 音訊輸出器件 810 無線傳輸器 812 電腦系統 902 無線傳輸器 904 腕帶 906 無線傳輸器 908 腕帶 910 參考數字 912 帶 1004 影像捕捉系統 1006 車輛 1008 輸出控制器 1010 環境 1012 監視使用者 127383.doc -65 - 200844912 1014 受監控使用者 1020 交通攔檢行為定義 1022 警官A行為定義 1100 區塊 1102 區塊 1104 區塊 1106 區塊 1108 區塊 1110 區塊 1112 區塊 1114 區塊 1200 區塊 1202 區塊 1204 區塊 1206 區塊 1208 區塊 1210 區塊 1212 區塊 1300 區塊 1302 區塊 1304 區塊 1306 區塊 1308 區塊 1310 區塊 127383.doc -66- 200844912 1312 區塊 1314 區塊 1316 區塊 1400 區塊 1402 區塊 ， 1404 區塊 1406 區塊 1408 區塊 C 1410 區塊 127383.doc -67

Claims (1)

  1. 200844912 、申請專利範圍： =用於警告—監視❹者-受監控使用者之表示敵對 订為之行為的電腦實施方法，其包含·· 在一由《視使料㈣控之特定環境⑽捉 控使用者之一三維轉叙 又孤 一 /、中5亥二維移動係使用瞒準該 受監控使用者之至少_個影像捕捉器件來判定； :吏用該捕捉之移動來識別—三維物件特性流； 1由將a ㈣之—維物件特性流與複數個敵對行為定 義相比較來識別由該三維物件特性流所表示之該受監控 使用者之一特定定義敵對行為； 回應於自該複數個敵對行為定義中識別該受監控使用 者之該特^義敵對行為，經由_僅可由該監視使用者 所查覺之介面來通知該特定環境之該監視使用者該受監 控使用者之該特定定義敵對行為。 2. 如°月求項1之方法，其中捕捉該受監控使用者之一三維 3. 進乂包3使用一立體影像器件來捕捉該三維移動 以識別且追蹤該受監控使用者之一特定三維移動。 如請求項1之方法’其中捕捉該受監控使用者之一三維 移動進-步包含使用至少一個立體影像器件及至少—個 感測器啟用器件來捕捉該三維移動以债測該三維移動中 之偵測物件的至少一個額外特徵。 月求項1之方法，其中識別_表示該三維物件特性流 之特疋疋義敵對行為進一步包含計算該捕捉之三維移動 表示在該等特定敵對行為定義中所定義之一特定行為的 127383.doc 200844912 一機率百分比且計 百分比。 捕捉之二維移動為敵對的一機率 5.
    6. 如請求項1之方法，其中 、甲A別一表示該三維物件特性流 之特定定義敵對行為進— ^ ^ 步包含識別該受監控使用者之 身=移動中的至；一者，其包含在匹配該複數個敵對行 為疋義中之至y者的該三維物件特性流内的該受監控 者之®^表If、一眼睛移動、一肌肉收縮及皮膚 表面特徵之改變中之至少一者的一細微粒度移動。 如請求項1之方法，其進一步包含： 、回應於在包含-執法環境之該特定環境内彳貞測進行執 法活動之該&視使用者，在該執法環境巾該監視使用者 正進行一交通攔檢、一安檢關卡及一訊問中之至少一 者，捕捉在該特定環境内之該受監控使用者的該三維移 動0
    7·如請求項1之方法，其進一步包含： 回應於在包含一心理學專家監控該受監控使用者之一 〜理狀怨的該特定環境内偵測進行心理評估的該監視使 用者，捕捉在該特定環境内之該受監控使用者的該三維 移動。 8 ·如明求項1之方法，其中藉由將該識別之三維物件特性 流與複數個敵對行為定義相比較來識別一表示該三維物 件特性流之特定定義敵對行為進一步包含自該等三維物 件特性來識別該受監控使用者之一可疑活動、該受監控 使用者之一傷害狀態、一由該受監控人所攜帶之隱藏武 127383.doc 200844912 …亥文監控人之一攻擊性姿態、 9. 面部表情及該受監控人之_緊張狀態中的—者人之一憤怒 如請求項1之方法’其中通知該特定環境之4視使用 者該仏控錢者之該特定定義敵對行為進-步包含. 視==敵對行為發送至-用於控制輸出至該監 視使用者之警告信號的警告系統；及 二=2處將該特定定義敵對行為轉譯成-輸出 ==出 制該受監控使用者無法察覺的 =警“號至一監視使用者之輸出之-輪出器件的一 輸出控制器。 ι〇· —種用於警告一監視使用者一 行為之行為的系統，其包含：使用者之表示敵對 -以通信方式連接至一網路之行為處理系統，其進一 步包含： 用於在-由該監視使用者所監控之特定環境内捕捉 叉&控使用者之-三維移動的構件，其"二維移 =使用瞒準該受監控使用者之至少—個影二捉器 件來判定； 用於使用該捕捉之移動來識別—三維物件特性流的 構件； /用於藉由將該識別之三維物件特性流與複數個敵對 行為定義相比較來識別由該三維物件特性流所表示 該受監控使用者之一特定定義敵對行為的構1件；不之 -經由該網路以通信方式連接至該彳為處王里系統之警 127383.doc 200844912 告系統’其用於傳輸至少—個I 該監視使用者所察覺之介通°^、、坐由-僅可由 祜田土斗/ 木通知δ亥特定環境之一龄鉬 η吏：广監控使用者之該特定定義敵對行為。 11·如#求項10之系統，1 三維移動的該構件進…：：捉該受監控使用者之- 來捕㈣1 用於使用—立體影像器件 —二处a 追 亥叉盔控使用者之一牿 疋二維移動的構件。 、 12.如請求項〗〇之系統，其 性流之特μ 該三維物件特 号疋疋義敵對仃為的該構件進一步包含 该捕捉之三維移動矣 Τ ^ 羞之_枯…亥等特定敵對行為定義中所定 特疋行為的一機率百分 AM刀匕且计开该捕捉之三維移 動為敵對的之-機率百分比的構件。 13·如請求項10之系統，i ^ 八中4別一表示該三維物件特性流 骑&、敵對仃為進-步包含識別該受監控使用者之 身體移動中的至少一者， 、 八包含在匹配該複數個敵對行 為疋義中之至少— 的以二維物件特性流内的該受監控 使用者之一面部表_、_ ^ 一眼目月移動、一肌肉收縮及皮膚 、：特徵之改變中之至少一者的一細微粒度移動。 14·如晴未項H)之系統，該行為處理系統進一步包含用於回 μ、在^^執法壤境*之該特定環境内H則進行執法活 /现視使用者而捕才足在該特定環境内之該受監控使 用者之:亥二維移動的構件，在該執法環境中該監視使用 者正進仃-交通攔檢、一安檢關卡及一訊問中之至少一 者0 127383.doc 200844912 15:=項10之系統’該行為處理系統進-步包含用於回 :包含—心理學專家監控該受監控使用者之-心理 内制進仃心理評估的該監視使用者 而捕捉在該特定環境内之嗲A 的構件。 -又^控使用者之該三維移動 16.=請求項1G之系統’其中用於藉由將該識別之三維物件 :: 生流與複數個歒對行為定義相比較來識別-表示該三 、'勿件特性流之特^義敵對行為的該構件進—步包含 用於自該等三維物件特性來識別該受監控使用者之一可 疑活動、該受監控使用者之—傷害狀態、—由該受監控 =攜帶之隱藏武器、該受監控人之—攻擊性姿態、該 2控人之一憤怒面部表情及該受監控人之一緊張狀態 中的一者的構件。 17.如請求項10之系統，其中該警告系統進一步包含： 用於將該特定定義敵對行為轉譯成一輸出信號以用於 輸出至用於控制該受監控使用者無法察覺的該等警告信 號至一監視使用者之輸出之_輸出器件的一輸出控= 的構件。 ^ 18. -種包含-儲存類型電腦可用媒體的程式產品，該 類型電腦可用媒體包括一用於警告一監視使用者—受監 控使用者之表示敵對行為之行為的電腦可讀程式，其= 該電腦可讀程式執行於一電腦上時致使該電腦：、 在一由該監視使用者所監控之特定環境内捕捉一受監 控使用者之-三維移動，其中該三維移動係使用瞒= 127383.doc 200844912 又瓜控使用者之至少一個影像捕捉器件來判定； 使用該捕捉之移動來識別一三維物件特性流| 藉由將該識別之三維物件特性流與複數個敵對行為定 義相比較來識別一由該三維物件特性流所表示之該受： 控使用者之特定定義敵對行為； -經由一僅可由該監視使用者所察覺之介面來通知該特 定環境之該監視使用者該受監控使用者之該特定定義敵 對行為。 f''" % 1 9 ·如清求項1 8之程式產品，其中該電腦可讀程式係在一網 路上傳輸。 2 0 ·如請求項1 8之程式產品’其中該電腦可讀程式執行於一 電腦上時進一步致使該電腦使用一立體影像器件來捕捉 該三維移動以識別且追蹤該受監控使用者之一特定三維 移動。 U 127383.doc
TW097100893A 2007-01-12 2008-01-09 Warning a user about adverse behaviors of others within an environment based on a 3D captured image stream TW200844912A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US11/622,676 US8269834B2 (en) 2007-01-12 2007-01-12 Warning a user about adverse behaviors of others within an environment based on a 3D captured image stream

Publications (1)

Publication Number Publication Date
TW200844912A true TW200844912A (en) 2008-11-16

Family

ID=39617333

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097100893A TW200844912A (en) 2007-01-12 2008-01-09 Warning a user about adverse behaviors of others within an environment based on a 3D captured image stream

Country Status (4)

Country Link
US (4) US8269834B2 (zh)
JP (1) JP5305665B2 (zh)
CN (1) CN101221621B (zh)
TW (1) TW200844912A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI423144B (zh) * 2009-11-10 2014-01-11 Inst Information Industry Combined with the audio and video behavior identification system, identification methods and computer program products
TWI815046B (zh) * 2020-10-14 2023-09-11 友達光電股份有限公司 行車輔助方法及車載裝置

Families Citing this family (148)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8299905B2 (en) * 2005-02-10 2012-10-30 Quentin King System for applying tactile stimulation to the controller of unmanned vehicles
US8520069B2 (en) 2005-09-16 2013-08-27 Digital Ally, Inc. Vehicle-mounted video system with distributed processing
US8269834B2 (en) 2007-01-12 2012-09-18 International Business Machines Corporation Warning a user about adverse behaviors of others within an environment based on a 3D captured image stream
US8295542B2 (en) 2007-01-12 2012-10-23 International Business Machines Corporation Adjusting a consumer experience based on a 3D captured image stream of a consumer response
US8736420B2 (en) * 2007-01-29 2014-05-27 At&T Intellectual Property I, L.P. Methods, systems, and products for controlling devices
JP5121258B2 (ja) * 2007-03-06 2013-01-16 株式会社東芝 不審行動検知システム及び方法
US7756602B2 (en) * 2007-06-14 2010-07-13 Panasonic Automotive Systems Company Of America Division Of Panasonic Corporation Of North America Vehicle entertainment and gaming system
GB0715494D0 (en) * 2007-08-10 2007-09-19 Cell Ltd G Monitoring system and method
US8482613B2 (en) * 2007-09-10 2013-07-09 John Kempf Apparatus and method for photographing birds
US9513699B2 (en) 2007-10-24 2016-12-06 Invention Science Fund I, LL Method of selecting a second content based on a user's reaction to a first content
US9582805B2 (en) 2007-10-24 2017-02-28 Invention Science Fund I, Llc Returning a personalized advertisement
US20090113297A1 (en) * 2007-10-24 2009-04-30 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Requesting a second content based on a user's reaction to a first content
US8601526B2 (en) 2008-06-13 2013-12-03 United Video Properties, Inc. Systems and methods for displaying media content and media guidance information
US8503972B2 (en) 2008-10-30 2013-08-06 Digital Ally, Inc. Multi-functional remote monitoring system
US20100157051A1 (en) * 2008-12-23 2010-06-24 International Business Machines Corporation System and method for detecting and deterring rfid tag related fraud
US11004093B1 (en) * 2009-06-29 2021-05-11 Videomining Corporation Method and system for detecting shopping groups based on trajectory dynamics
US9014546B2 (en) 2009-09-23 2015-04-21 Rovi Guides, Inc. Systems and methods for automatically detecting users within detection regions of media devices
US9201627B2 (en) 2010-01-05 2015-12-01 Rovi Guides, Inc. Systems and methods for transferring content between user equipment and a wireless communications device
US8638236B2 (en) * 2010-02-25 2014-01-28 Qualcomm Incorporated Methods and apparatus for applying tactile pressure sensors
US8540571B2 (en) * 2010-03-31 2013-09-24 Immersion Corporation System and method for providing haptic stimulus based on position
US20150153715A1 (en) * 2010-09-29 2015-06-04 Google Inc. Rapidly programmable locations in space
US9477302B2 (en) * 2012-08-10 2016-10-25 Google Inc. System and method for programing devices within world space volumes
DE102010053293B4 (de) * 2010-12-02 2023-12-07 Valeo Schalter Und Sensoren Gmbh Fahrerassistenzsystem für ein Kraftfahrzeug, insbesondere ein Sicherheitsfahrzeug, Kraftfahrzeug und Verfahren zum Betreiben eines Fahrerassistenzsystems in einem Kraftfahrzeug
US9072461B2 (en) * 2011-02-25 2015-07-07 Embraer S.A. Posture observer for ergonomic observation, posture analysis and reconstruction
CN103430125B (zh) * 2011-03-04 2016-10-05 株式会社尼康 电子设备及处理系统
US8718672B2 (en) 2011-04-18 2014-05-06 Microsoft Corporation Identifying status based on heterogeneous sensors
US8752200B2 (en) * 2011-07-12 2014-06-10 At&T Intellectual Property I, L.P. Devices, systems and methods for security using magnetic field based identification
US9974466B2 (en) 2011-10-17 2018-05-22 Atlas5D, Inc. Method and apparatus for detecting change in health status
WO2013058978A1 (en) 2011-10-17 2013-04-25 Kimmel Zebadiah M Method and apparatus for sizing and fitting an individual for apparel, accessories, or prosthetics
WO2013066601A1 (en) * 2011-10-17 2013-05-10 Kimmel Zebadiah M Method and apparatus for monitoring individuals while protecting their privacy
EP2826020A4 (en) * 2012-03-15 2016-06-15 Behavioral Recognition Sys Inc STANDARDIZING AN ALERT VOLUME IN A VIDEO SURVEILLANCE SYSTEM
US9182233B2 (en) * 2012-05-17 2015-11-10 Robert Bosch Gmbh System and method for autocompletion and alignment of user gestures
CN102739449A (zh) * 2012-06-29 2012-10-17 浪潮电子信息产业股份有限公司 一种基于红外监测服务器授权的自我保护系统
US9251421B2 (en) * 2012-09-13 2016-02-02 General Electric Company System and method for generating semantic annotations
US9266020B2 (en) 2012-09-27 2016-02-23 Empire Technology Development Llc Character model animation using stored recordings of player movement interface data
US9019431B2 (en) * 2012-09-28 2015-04-28 Digital Ally, Inc. Portable video and imaging system
US10272848B2 (en) 2012-09-28 2019-04-30 Digital Ally, Inc. Mobile video and imaging system
US9226706B2 (en) * 2012-12-19 2016-01-05 Alert Core, Inc. System, apparatus, and method for promoting usage of core muscles and other applications
US9953304B2 (en) * 2012-12-30 2018-04-24 Buzd, Llc Situational and global context aware calendar, communications, and relationship management
US8874471B2 (en) * 2013-01-29 2014-10-28 Wal-Mart Stores, Inc. Retail loss prevention using biometric data
US20140214631A1 (en) * 2013-01-31 2014-07-31 Intermec Technologies Corporation Inventory assistance device and method
US9498885B2 (en) 2013-02-27 2016-11-22 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with confidence-based decision support
US9804576B2 (en) * 2013-02-27 2017-10-31 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with position and derivative decision reference
US9393695B2 (en) * 2013-02-27 2016-07-19 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with person and object discrimination
US9798302B2 (en) 2013-02-27 2017-10-24 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with redundant system input support
US9500865B2 (en) * 2013-03-04 2016-11-22 Alex C. Chen Method and apparatus for recognizing behavior and providing information
US20140250447A1 (en) * 2013-03-04 2014-09-04 United Video Properties, Inc. Systems and methods for providing a private viewing experience
US20140251987A1 (en) * 2013-03-06 2014-09-11 Haier America Trading, Llc Appliance monitoring system and method with connectivity and communication protocols
WO2014155958A1 (ja) 2013-03-29 2014-10-02 日本電気株式会社 対象物監視システム、対象物監視方法および監視対象抽出プログラム
WO2014161189A1 (en) * 2013-04-03 2014-10-09 Nokia Corporation An apparatus and associated methods
CN104217205B (zh) * 2013-05-29 2018-05-18 华为技术有限公司 一种识别用户活动类型的方法及系统
EP2824913A1 (en) * 2013-07-09 2015-01-14 Alcatel Lucent A method for generating an immersive video of a plurality of persons
US10402661B2 (en) * 2013-07-22 2019-09-03 Opengate Development, Llc Shape/object recognition using still/scan/moving image optical digital media processing
US10390732B2 (en) 2013-08-14 2019-08-27 Digital Ally, Inc. Breath analyzer, system, and computer program for authenticating, preserving, and presenting breath analysis data
US9253452B2 (en) 2013-08-14 2016-02-02 Digital Ally, Inc. Computer program, method, and system for managing multiple data recording devices
US10075681B2 (en) 2013-08-14 2018-09-11 Digital Ally, Inc. Dual lens camera unit
US9159371B2 (en) 2013-08-14 2015-10-13 Digital Ally, Inc. Forensic video recording with presence detection
WO2015058219A1 (en) * 2013-09-18 2015-04-23 Coetzer Barend Hendrik System for identification and tracking of humans
US9674563B2 (en) 2013-11-04 2017-06-06 Rovi Guides, Inc. Systems and methods for recommending content
CN104731820A (zh) * 2013-12-24 2015-06-24 中国银联股份有限公司 基于立体图像的信息数据查询和选择方法
US9600993B2 (en) 2014-01-27 2017-03-21 Atlas5D, Inc. Method and system for behavior detection
US9392412B2 (en) 2014-02-28 2016-07-12 Life360, Inc. Apparatus and method of determining a life change of a user of a mobile device based on behavioral abnormality
IL231789A0 (en) * 2014-03-27 2014-08-31 Fst21 Ltd System and method for detecting fraud attempts of an access control system
US20150288928A1 (en) * 2014-04-08 2015-10-08 Sony Corporation Security camera system use of object location tracking data
US9712761B2 (en) * 2014-05-28 2017-07-18 Qualcomm Incorporated Method for embedding product information in video using radio frequencey information
US10846536B2 (en) * 2014-06-27 2020-11-24 Nec Corporation Abnormality detection device and abnormality detection method
US9501915B1 (en) * 2014-07-07 2016-11-22 Google Inc. Systems and methods for analyzing a video stream
JP2016045874A (ja) * 2014-08-26 2016-04-04 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN106796570B (zh) * 2014-10-27 2020-10-09 索尼公司 信息处理设备、信息处理方法和计算机程序
US9269374B1 (en) 2014-10-27 2016-02-23 Mattersight Corporation Predictive video analytics system and methods
CN104463174A (zh) * 2014-12-16 2015-03-25 广州南方电力集团科技发展有限公司 一种多角度动态人物识别及行为预测系统
US10438277B1 (en) * 2014-12-23 2019-10-08 Amazon Technologies, Inc. Determining an item involved in an event
JP6645655B2 (ja) * 2014-12-24 2020-02-14 Ｎｅｃソリューションイノベータ株式会社 画像処理装置、画像処理方法、およびプログラム
US9466188B2 (en) * 2014-12-24 2016-10-11 Immersion Corporation Systems and methods for haptically-enabled alarms
US10234938B2 (en) 2015-01-31 2019-03-19 Brian Lee Moffat Control of a computer via distortions of facial geometry
EP3059722A1 (en) * 2015-02-20 2016-08-24 Airbus Group India Private Limited Management of aircraft in-cabin activities occuring during turnaround using video analytics
US10909877B2 (en) * 2015-03-02 2021-02-02 Sony Corporation Information processing system and control method
CN106033601B (zh) * 2015-03-09 2019-01-18 株式会社理光 检测异常情形的方法和装置
US10013756B2 (en) 2015-03-13 2018-07-03 Atlas5D, Inc. Methods and systems for measuring use of an assistive device for ambulation
US9841259B2 (en) 2015-05-26 2017-12-12 Digital Ally, Inc. Wirelessly conducted electronic weapon
US10013883B2 (en) 2015-06-22 2018-07-03 Digital Ally, Inc. Tracking and analysis of drivers within a fleet of vehicles
US9721350B2 (en) * 2015-06-26 2017-08-01 Getalert Ltd. Methods circuits devices systems and associated computer executable code for video feed processing
US10043065B2 (en) * 2015-07-30 2018-08-07 Rovi Guides, Inc. Systems and methods for determining meaning of cultural gestures based on voice detection
CN107924463A (zh) * 2015-08-24 2018-04-17 夫斯特21有限公司 用于运动识别的系统和方法
US10169557B2 (en) * 2015-09-23 2019-01-01 International Business Machines Corporation Picture/gesture password protection
US10713670B1 (en) * 2015-12-31 2020-07-14 Videomining Corporation Method and system for finding correspondence between point-of-sale data and customer behavior data
US10733446B2 (en) * 2016-01-06 2020-08-04 Orcam Technologies Ltd. Wearable apparatus and methods for causing a paired device to execute selected functions
KR102512828B1 (ko) * 2016-01-22 2023-03-22 삼성전자주식회사 이벤트 신호 처리 방법 및 장치
WO2017136646A1 (en) 2016-02-05 2017-08-10 Digital Ally, Inc. Comprehensive video collection and storage
SE541141C2 (en) 2016-04-18 2019-04-16 Moonlightning Ind Ab Focus pulling with a stereo vision camera system
US10628682B2 (en) * 2016-04-29 2020-04-21 International Business Machines Corporation Augmenting gesture based security technology using mobile devices
US20170316258A1 (en) * 2016-04-29 2017-11-02 International Business Machines Corporation Augmenting gesture based security technology for improved differentiation
CN105975956A (zh) * 2016-05-30 2016-09-28 重庆大学 一种基于红外全景摄像头的独居老人异常行为识别方法
DE102016211049A1 (de) * 2016-06-21 2017-12-21 Siemens Aktiengesellschaft Verfahren und Vorrichtung zum eine Vorrichtung und ein Verfahren zur Ausgabe wenigstens eines Alarmsignals
US10015635B2 (en) 2016-06-23 2018-07-03 International Business Machines Corporation Collision avoidance signaling from mobile devices
US9908411B2 (en) 2016-06-23 2018-03-06 International Business Machines Corporation Avoiding vehicle collision using signals from mobile devices
WO2018026838A1 (en) 2016-08-02 2018-02-08 Atlas5D, Inc. Systems and methods to identify persons and/or identify and quantify pain, fatigue, mood, and intent with protection of privacy
DE102016214860B4 (de) * 2016-08-10 2022-06-02 Audi Ag Verfahren zur Überwachung zumindest eines Fahrzeugs mit mindestens einer Überwachungskamera, Überwachungskamera sowie Fahrzeug
US10419558B2 (en) 2016-08-24 2019-09-17 The Directv Group, Inc. Methods and systems for provisioning a user profile on a media processor
US10521675B2 (en) 2016-09-19 2019-12-31 Digital Ally, Inc. Systems and methods of legibly capturing vehicle markings
EP3321628B1 (de) * 2016-11-10 2020-01-01 Klingelnberg AG Koordinaten-messvorrichtung mit optischem sensor und entsprechendes verfahren
US10911725B2 (en) 2017-03-09 2021-02-02 Digital Ally, Inc. System for automatically triggering a recording
CN107103310B (zh) * 2017-06-01 2020-12-18 鄂尔多斯市普渡科技有限公司 一种无人驾驶出租车的乘客行为监督方法
US20180357870A1 (en) * 2017-06-07 2018-12-13 Amazon Technologies, Inc. Behavior-aware security systems and associated methods
CN107292271B (zh) * 2017-06-23 2020-02-14 北京易真学思教育科技有限公司 学习监控方法、装置及电子设备
CN109144052B (zh) * 2017-07-07 2021-12-28 奥特埃克斯股份有限公司 用于自动驾驶车辆的导航系统及其方法
CN107437075A (zh) * 2017-07-29 2017-12-05 安徽博威康信息技术有限公司 一种基于日常行为轨迹的危险警报系统
US10528950B2 (en) * 2017-08-02 2020-01-07 Cognizant Technology Solutions India Pvt. Ltd. System and a method for detecting fraudulent transactions at a transaction site
CN107609474B (zh) * 2017-08-07 2020-05-01 深圳市科迈爱康科技有限公司 肢体动作识别方法、装置、机器人及存储介质
US10691931B2 (en) * 2017-10-04 2020-06-23 Toshiba Global Commerce Solutions Sensor-based environment for providing image analysis to determine behavior
CN110059526B (zh) * 2017-11-07 2023-11-28 开利公司 使用身体语言对遇险状况的机器解译
US11024137B2 (en) 2018-08-08 2021-06-01 Digital Ally, Inc. Remote video triggering and tagging
US11138415B2 (en) * 2018-09-20 2021-10-05 Shepherd AI, LLC Smart vision sensor system and method
US11258987B2 (en) * 2018-09-21 2022-02-22 Microsoft Technology Licensing, Llc Anti-collision and motion control systems and methods
CN109359755A (zh) * 2018-09-29 2019-02-19 百度在线网络技术（北京）有限公司 事件监测方法、装置、设备和存储介质
CN109460707A (zh) * 2018-10-08 2019-03-12 华南理工大学 一种基于深度神经网络的多模态动作识别方法
CN109147274B (zh) * 2018-10-11 2020-12-15 广东小天才科技有限公司 一种智能穿戴设备及其控制方法
CN109408697A (zh) * 2018-10-29 2019-03-01 武汉虹旭信息技术有限责任公司 基于大数据信息下互联网行为预警系统及其方法
US10809760B1 (en) * 2018-10-29 2020-10-20 Facebook, Inc. Headset clock synchronization
WO2020131037A1 (en) * 2018-12-18 2020-06-25 Rovi Guides, Inc. Systems and methods for automated tracking on a handheld device using a remote camera
US11099266B2 (en) 2019-01-11 2021-08-24 International Business Machines Corporation Trajectory based threat alerting with friendly device augmentation
CN109709546B (zh) * 2019-01-14 2021-11-16 珠海格力电器股份有限公司 宠物状态监测方法和装置
US10964187B2 (en) * 2019-01-29 2021-03-30 Pool Knight, Llc Smart surveillance system for swimming pools
WO2020181225A1 (en) * 2019-03-06 2020-09-10 ATMO Auto Power LLC System and method for the universal control of uniform initial judgment
US11941823B2 (en) * 2019-03-14 2024-03-26 Servicenow Canada Inc. Articles for disrupting automated visual object tracking processes
US10776243B1 (en) 2019-03-19 2020-09-15 Bank Of America Corporation Prediction tool
US10728443B1 (en) 2019-03-27 2020-07-28 On Time Staffing Inc. Automatic camera angle switching to create combined audiovisual file
US10963841B2 (en) * 2019-03-27 2021-03-30 On Time Staffing Inc. Employment candidate empathy scoring system
CN110097724B (zh) * 2019-04-24 2021-06-29 苏州浪潮智能科技有限公司 一种基于fpga的物品自动看护方法及系统
US11024143B2 (en) * 2019-07-30 2021-06-01 Ppip, Llc Audio events tracking systems and methods
CN110456831B (zh) * 2019-08-16 2022-06-14 南开大学 一种基于主动视觉的小鼠接触行为追踪平台
CN111105132A (zh) * 2019-11-08 2020-05-05 国网浙江省电力有限公司温州供电公司 目标行为的协同监督方法及装置
US11127232B2 (en) 2019-11-26 2021-09-21 On Time Staffing Inc. Multi-camera, multi-sensor panel data extraction system and method
CN111144252B (zh) * 2019-12-17 2023-09-05 北京深测科技有限公司 一种用于人流分析的监控预警方法
WO2021152053A1 (en) * 2020-01-30 2021-08-05 Outsight A surveillance sensor system
CN113452954B (zh) * 2020-03-26 2023-02-28 浙江宇视科技有限公司 行为分析方法、装置、设备和介质
US11023735B1 (en) 2020-04-02 2021-06-01 On Time Staffing, Inc. Automatic versioning of video presentations
CN111507264A (zh) * 2020-04-17 2020-08-07 浙江大学 基于视频的行为分析方法、装置、设备
US11715326B2 (en) * 2020-06-17 2023-08-01 Microsoft Technology Licensing, Llc Skin tone correction for body temperature estimation
US11144882B1 (en) 2020-09-18 2021-10-12 On Time Staffing Inc. Systems and methods for evaluating actions over a computer network and establishing live network connections
CN112562260B (zh) * 2020-12-16 2022-08-09 浙江大华技术股份有限公司 防走失方法及装置
CN112775983A (zh) * 2020-12-25 2021-05-11 张月崧 智能防卫保护方法及智能保镖机器人
US20220365200A1 (en) * 2021-05-12 2022-11-17 California State University Fresno Foundation System and method for human and animal detection in low visibility
CN113536997B (zh) * 2021-07-01 2022-11-22 深圳中智明科智能科技有限公司 基于图像识别和行为分析的智能安防系统及方法
US11328582B1 (en) 2021-07-07 2022-05-10 T-Mobile Usa, Inc. Enhanced hazard detection device configured with security and communications capabilities
US20230106540A1 (en) * 2021-10-04 2023-04-06 International Business Machines Corporation Virtual-presence guidelines solutions
CN114202865B (zh) * 2021-11-16 2024-05-14 杭州华橙软件技术有限公司 一种监控警告方法、装置及电子设备
US11950017B2 (en) 2022-05-17 2024-04-02 Digital Ally, Inc. Redundant mobile video recording

Family Cites Families (172)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2183878B (en) * 1985-10-11 1989-09-20 Matsushita Electric Works Ltd Abnormality supervising system
US5109425A (en) * 1988-09-30 1992-04-28 The United States Of America As Represented By The United States National Aeronautics And Space Administration Method and apparatus for predicting the direction of movement in machine vision
JP2953712B2 (ja) * 1989-09-27 1999-09-27 株式会社東芝 移動物体検知装置
US5019780A (en) 1989-10-23 1991-05-28 Hughes Aircraft Company Method and apparatus for monitoring optical fibers during payout
US5091780A (en) * 1990-05-09 1992-02-25 Carnegie-Mellon University A trainable security system emthod for the same
JPH04165498A (ja) * 1990-10-29 1992-06-11 Toshiba Corp 携帯端末装置
JPH0816958B2 (ja) * 1991-12-11 1996-02-21 茨城警備保障株式会社 防犯監視システム
JP3244798B2 (ja) 1992-09-08 2002-01-07 株式会社東芝 動画像処理装置
US5502803A (en) * 1993-01-18 1996-03-26 Sharp Kabushiki Kaisha Information processing apparatus having a gesture editing function
US6822563B2 (en) * 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US5406491A (en) 1993-03-26 1995-04-11 Trimble Navigation Limited Navigational system for trip routing
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
JP3630712B2 (ja) * 1994-02-03 2005-03-23 キヤノン株式会社 ジェスチャー入力方法及びその装置
US6115053A (en) * 1994-08-02 2000-09-05 New York University Computer animation method and system for synthesizing human-like gestures and actions
US5691693A (en) * 1995-09-28 1997-11-25 Advanced Safety Concepts, Inc. Impaired transportation vehicle operator system
US5666157A (en) * 1995-01-03 1997-09-09 Arc Incorporated Abnormality detection and surveillance system
US6028626A (en) * 1995-01-03 2000-02-22 Arc Incorporated Abnormality detection and surveillance system
GB2306826A (en) * 1995-10-18 1997-05-07 Sharp Kk Display, method of calibrating an observer tracking display and observer tracking autostereoscopic 3D display
US5880731A (en) * 1995-12-14 1999-03-09 Microsoft Corporation Use of avatars with automatic gesturing and bounded interaction in on-line chat session
US5774591A (en) * 1995-12-15 1998-06-30 Xerox Corporation Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images
JPH09212648A (ja) * 1996-01-31 1997-08-15 Toshiba Corp 動画像処理方法
US5907293A (en) * 1996-05-30 1999-05-25 Sun Microsystems, Inc. System for displaying the characteristics, position, velocity and acceleration of nearby vehicles on a moving-map
JPH10960A (ja) * 1996-06-12 1998-01-06 Yazaki Corp 運転者監視装置
US6002808A (en) * 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
JP3843502B2 (ja) * 1996-09-30 2006-11-08 マツダ株式会社 車両用動体認識装置
US5747719A (en) * 1997-01-21 1998-05-05 Bottesch; H. Werner Armed terrorist immobilization (ATI) system
US6167381A (en) * 1997-02-07 2000-12-26 Ncr Corporation Self-service checkout terminal
US6256046B1 (en) * 1997-04-18 2001-07-03 Compaq Computer Corporation Method and apparatus for visual sensing of humans for active public interfaces
US6295367B1 (en) * 1997-06-19 2001-09-25 Emtera Corporation System and method for tracking movement of objects in a scene using correspondence graphs
US6080938A (en) * 1997-08-13 2000-06-27 Ncr Corporation Method and apparatus for resetting a product scale of a retail checkout terminal
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6181343B1 (en) * 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6212510B1 (en) * 1998-01-30 2001-04-03 Mitsubishi Electric Research Laboratories, Inc. Method for minimizing entropy in hidden Markov models of physical signals
US6301370B1 (en) * 1998-04-13 2001-10-09 Eyematic Interfaces, Inc. Face recognition from video images
US6154558A (en) * 1998-04-22 2000-11-28 Hsieh; Kuan-Hong Intention identification method
US6421453B1 (en) * 1998-05-15 2002-07-16 International Business Machines Corporation Apparatus and methods for user recognition employing behavioral passwords
US6064354A (en) * 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
US7036094B1 (en) * 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6950534B2 (en) * 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
FR2784887B1 (fr) 1998-10-22 2001-01-19 Renault Systeme pour surveiller des yeux afin de detecter et de prevenir des baisses de vigilance d'un conducteur de vehicule
US6161071A (en) * 1999-03-12 2000-12-12 Navigation Technologies Corporation Method and system for an in-vehicle computing architecture
US6633315B1 (en) * 1999-05-20 2003-10-14 Microsoft Corporation Context-based dynamic user interface elements
US6766036B1 (en) * 1999-07-08 2004-07-20 Timothy R. Pryor Camera based man machine interfaces
US6526161B1 (en) * 1999-08-30 2003-02-25 Koninklijke Philips Electronics N.V. System and method for biometrics-based facial feature extraction
TW484105B (en) 1999-10-14 2002-04-21 Ind Tech Res Inst Door security system of face recognition
US6189790B1 (en) * 1999-12-22 2001-02-20 Ncr Corporation Method and apparatus for displaying instructional messages during operation of a self-service checkout terminal
US6674877B1 (en) * 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6784901B1 (en) * 2000-05-09 2004-08-31 There Method, system and computer program product for the delivery of a chat message in a 3D multi-user environment
AU2000242834A1 (en) * 2000-05-16 2001-11-26 Swisscom Mobile Ag Method and terminal for inputting instructions
JP2001338069A (ja) * 2000-05-29 2001-12-07 Pioneer Electronic Corp ライフサポート装置
US6788809B1 (en) * 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
JP4118674B2 (ja) * 2000-09-06 2008-07-16 株式会社日立製作所 異常行動検出装置
US20050206610A1 (en) 2000-09-29 2005-09-22 Gary Gerard Cordelli Computer-"reflected" (avatar) mirror
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US6728679B1 (en) * 2000-10-30 2004-04-27 Koninklijke Philips Electronics N.V. Self-updating user interface/entertainment device that simulates personal interaction
US6795808B1 (en) * 2000-10-30 2004-09-21 Koninklijke Philips Electronics N.V. User interface/entertainment device that simulates personal interaction and charges external database with relevant data
US6731307B1 (en) * 2000-10-30 2004-05-04 Koninklije Philips Electronics N.V. User interface/entertainment device that simulates personal interaction and responds to user's mental state and/or personality
US7039676B1 (en) * 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US7095401B2 (en) * 2000-11-02 2006-08-22 Siemens Corporate Research, Inc. System and method for gesture interface
US6678413B1 (en) * 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
US20020085033A1 (en) * 2000-12-27 2002-07-04 G.E. Information Services, Inc. Process for generating a user interface in a data processing system
US6540674B2 (en) * 2000-12-29 2003-04-01 Ibm Corporation System and method for supervising people with mental disorders
GB0101794D0 (en) * 2001-01-24 2001-03-07 Central Research Lab Ltd Monitoring responses to visual stimuli
US20020107741A1 (en) * 2001-02-08 2002-08-08 Stern Edith H. Method and apparatus for determining a price based on satisfaction
US6804396B2 (en) * 2001-03-28 2004-10-12 Honda Giken Kogyo Kabushiki Kaisha Gesture recognition system
US20020178440A1 (en) * 2001-03-28 2002-11-28 Philips Electronics North America Corp. Method and apparatus for automatically selecting an alternate item based on user behavior
GB0107689D0 (en) 2001-03-28 2001-05-16 Ncr Int Inc Self service terminal
US6498970B2 (en) * 2001-04-17 2002-12-24 Koninklijke Phillips Electronics N.V. Automatic access to an automobile via biometrics
US6584375B2 (en) * 2001-05-04 2003-06-24 Intellibot, Llc System for a retail environment
US7274800B2 (en) * 2001-07-18 2007-09-25 Intel Corporation Dynamic gesture recognition from stereo sequences
GB2378301A (en) 2001-07-31 2003-02-05 Hewlett Packard Co Personal object recognition system for visually impaired persons
JP4304337B2 (ja) 2001-09-17 2009-07-29 独立行政法人産業技術総合研究所 インタフェース装置
US7284201B2 (en) 2001-09-20 2007-10-16 Koninklijke Philips Electronics N.V. User attention-based adaptation of quality level to improve the management of real-time multi-media content delivery and distribution
US7110569B2 (en) * 2001-09-27 2006-09-19 Koninklijke Philips Electronics N.V. Video based detection of fall-down and other events
US20030058111A1 (en) * 2001-09-27 2003-03-27 Koninklijke Philips Electronics N.V. Computer vision based elderly care monitoring system
US6559769B2 (en) * 2001-10-01 2003-05-06 Eric Anthony Early warning real-time security system
US20030081834A1 (en) * 2001-10-31 2003-05-01 Vasanth Philomin Intelligent TV room
US6873261B2 (en) * 2001-12-07 2005-03-29 Eric Anthony Early warning near-real-time security system
DE10161261C2 (de) * 2001-12-13 2003-10-16 Daimler Chrysler Ag Dialogsystem für Warn- und Informationssysteme
US6571064B1 (en) * 2001-12-17 2003-05-27 Concord Camera Corp. LED reflector device
US7409373B2 (en) * 2001-12-28 2008-08-05 Concepta Ab Pattern analysis system and method
US20030126013A1 (en) * 2001-12-28 2003-07-03 Shand Mark Alexander Viewer-targeted display system and method
US7436887B2 (en) * 2002-02-06 2008-10-14 Playtex Products, Inc. Method and apparatus for video frame sequence-based object tracking
US20050128304A1 (en) * 2002-02-06 2005-06-16 Manasseh Frederick M. System and method for traveler interactions management
EP1472869A4 (en) * 2002-02-06 2008-07-30 Nice Systems Ltd SYSTEM AND METHOD FOR DETECTION, MONITORING AND ALARM MANAGEMENT BASED ON VIDEO CONTENT ANALYSIS
AU2003217587A1 (en) * 2002-02-15 2003-09-09 Canesta, Inc. Gesture recognition system using depth perceptive sensors
DE10210130B4 (de) 2002-03-08 2014-12-24 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerwarnung
JP4006577B2 (ja) * 2002-03-13 2007-11-14 オムロン株式会社 監視装置
TW554293B (en) 2002-03-29 2003-09-21 Ind Tech Res Inst Method for extracting and matching hand gesture features of image
US20030227453A1 (en) * 2002-04-09 2003-12-11 Klaus-Peter Beier Method, system and computer program product for automatically creating an animated 3-D scenario from human position and path data
US7324663B2 (en) * 2002-06-06 2008-01-29 Wintriss Engineering Corporation Flight parameter measurement system
AU2003241125A1 (en) * 2002-06-13 2003-12-31 I See Tech Ltd. Method and apparatus for a multisensor imaging and scene interpretation system to aid the visually impaired
US20040001616A1 (en) * 2002-06-27 2004-01-01 Srinivas Gutta Measurement of content ratings through vision and speech recognition
US7296236B2 (en) * 2002-07-02 2007-11-13 Whirlpool Corporation Appliance control identification system employing user interface scan matrix
SE0202948D0 (sv) * 2002-10-04 2002-10-04 Bergfalk & Knagenhjelm Ab Sätt att påvisa aktivitetsmönster som indikerar psykisk sjukdom, och motsvarande arrangemang
JP4035610B2 (ja) * 2002-12-18 2008-01-23 独立行政法人産業技術総合研究所 インタフェース装置
EP1579311A2 (en) 2002-12-20 2005-09-28 Koninklijke Philips Electronics N.V. Segment-based motion estimation
WO2004064022A1 (en) * 2003-01-14 2004-07-29 Alterface S.A. Kiosk system
US7224830B2 (en) * 2003-02-04 2007-05-29 Intel Corporation Gesture detection from digital video images
US6859144B2 (en) * 2003-02-05 2005-02-22 Delphi Technologies, Inc. Vehicle situation alert system with eye gaze controlled alert signal generation
US7292723B2 (en) * 2003-02-26 2007-11-06 Walker Digital, Llc System for image analysis in a network that is structured with multiple layers and differentially weighted neurons
AU2003901528A0 (en) * 2003-03-31 2003-05-01 Seeing Machines Pty Ltd Eye tracking system and method
JP2004328622A (ja) 2003-04-28 2004-11-18 Matsushita Electric Ind Co Ltd 行動パターン識別装置
US6975246B1 (en) * 2003-05-13 2005-12-13 Itt Manufacturing Enterprises, Inc. Collision avoidance using limited range gated video
US7330566B2 (en) * 2003-05-15 2008-02-12 Microsoft Corporation Video-based gait recognition
BRPI0411056A (pt) 2003-06-06 2007-04-17 Volvo Technology Corp método e disposição para controlar subsistemas veiculares baseados na atividade interpretativa do condutor
WO2005027023A1 (en) * 2003-09-12 2005-03-24 Stratech Systems Limited A method and system for monitoring the movement of people
US7607097B2 (en) * 2003-09-25 2009-10-20 International Business Machines Corporation Translating emotion to braille, emoticons and other special symbols
US7519970B2 (en) * 2003-09-29 2009-04-14 International Business Machines Corporation Methods, systems and computer program products for creating user interface to applications using generic user interface templates
BR0318622A (pt) * 2003-11-30 2006-10-17 Volvo Technology Corp método e sistema para reconhecimento e/ou detecção de prejuìzo e/ou de desatenção de uma pessoa
US7171024B2 (en) 2003-12-01 2007-01-30 Brickstream Corporation Systems and methods for determining if objects are in a queue
JP4481663B2 (ja) 2004-01-15 2010-06-16 キヤノン株式会社 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム
TW200523728A (en) 2004-01-15 2005-07-16 Mitac Int Corp Information monitoring and resource management system for distributed common apparatus
US7755608B2 (en) * 2004-01-23 2010-07-13 Hewlett-Packard Development Company, L.P. Systems and methods of interfacing with a machine
GB2410359A (en) 2004-01-23 2005-07-27 Sony Uk Ltd Display
FI117308B (fi) 2004-02-06 2006-08-31 Nokia Corp Eleohjausjärjestelmä
US7526103B2 (en) * 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
JP2005309965A (ja) * 2004-04-23 2005-11-04 Matsushita Electric Works Ltd 宅内セキュリティ装置
JP2005315802A (ja) 2004-04-30 2005-11-10 Olympus Corp ユーザ支援装置
JP4369326B2 (ja) 2004-08-19 2009-11-18 株式会社日立製作所 施設内情報提供システム及び施設内情報提供方法
US20060045310A1 (en) 2004-08-27 2006-03-02 General Electric Company System and method for tracking articulated body motion
EP1794703A4 (en) 2004-09-17 2012-02-29 Cyberextruder Com Inc SYSTEM, METHOD AND APPARATUS FOR GENERATING THREE-DIMENSIONAL REPRESENTATION FROM ONE OR MORE TWO-DIMENSIONAL IMAGES
US20080166015A1 (en) * 2004-09-24 2008-07-10 Object Video, Inc. Method for finding paths in video
US7126496B2 (en) * 2004-09-30 2006-10-24 Safe Flight Instrument Corporation Tactile cueing system and method for aiding a helicopter pilot in making landings
US7386151B1 (en) * 2004-10-15 2008-06-10 The United States Of America As Represented By The Secretary Of The Navy System and method for assessing suspicious behaviors
JP2006119840A (ja) 2004-10-20 2006-05-11 Hitachi Ltd 車両用警告装置
JP4559819B2 (ja) 2004-10-29 2010-10-13 セコム株式会社 不審者検出システム及び不審者検出プログラム
JP2006165729A (ja) 2004-12-03 2006-06-22 Canon Inc 撮影プログラム、撮影方法及び撮影システム
US20060203090A1 (en) * 2004-12-04 2006-09-14 Proximex, Corporation Video surveillance using stationary-dynamic camera assemblies for wide-area video surveillance and allow for selective focus-of-attention
US7408461B2 (en) * 2005-01-11 2008-08-05 Controlled Capture Systems, Llc Metal detection system and method
US7441202B2 (en) 2005-02-14 2008-10-21 Mitsubishi Electric Research Laboratories, Inc. Spatial multiplexing to mediate direct-touch input on large displays
US20060181519A1 (en) * 2005-02-14 2006-08-17 Vernier Frederic D Method and system for manipulating graphical objects displayed on a touch-sensitive display surface using displaced pop-ups
US8005675B2 (en) * 2005-03-17 2011-08-23 Nice Systems, Ltd. Apparatus and method for audio analysis
US8704668B1 (en) * 2005-04-20 2014-04-22 Trevor Darrell System for monitoring and alerting based on animal behavior in designated environments
US20060259206A1 (en) 2005-05-16 2006-11-16 Smith Matthew R Vehicle operator monitoring system and method
JP2006350705A (ja) 2005-06-16 2006-12-28 Fujifilm Holdings Corp 情報提供装置および方法並びにプログラム
US7809214B2 (en) 2005-08-22 2010-10-05 Samsung Electronics Co., Ltd. Device and a method for identifying movement patterns
JP4720386B2 (ja) * 2005-09-07 2011-07-13 株式会社日立製作所 運転支援装置
US7378658B2 (en) * 2005-09-20 2008-05-27 Coherent, Inc. Security portal with THz trans-receiver
US20070067203A1 (en) 2005-09-21 2007-03-22 Sukenik Gil System for data collection from a point of sale
US20070235652A1 (en) * 2006-04-10 2007-10-11 Smith Steven W Weapon detection processing
US7671728B2 (en) * 2006-06-02 2010-03-02 Sensormatic Electronics, LLC Systems and methods for distributed monitoring of remote sites
US8009193B2 (en) * 2006-06-05 2011-08-30 Fuji Xerox Co., Ltd. Unusual event detection via collaborative video mining
US8103601B2 (en) * 2006-06-12 2012-01-24 Projectioneering, LLC Complexity systems management method
JP2008003174A (ja) 2006-06-20 2008-01-10 Sharp Corp カラー画像形成方法およびカラー画像形成装置
US8725567B2 (en) 2006-06-29 2014-05-13 Microsoft Corporation Targeted advertising in brick-and-mortar establishments
US20080040692A1 (en) 2006-06-29 2008-02-14 Microsoft Corporation Gesture input
US20080084345A1 (en) * 2006-07-19 2008-04-10 Sensis Corporation Broadband multi-channel detector with signal and jamming discrimination
KR100780210B1 (ko) 2006-07-20 2007-11-27 삼성전기주식회사 휴대형 보안 송신 장치 및 보안 인증 시스템
US7725547B2 (en) * 2006-09-06 2010-05-25 International Business Machines Corporation Informing a user of gestures made by others out of the user's line of sight
EP2062206A4 (en) 2006-09-07 2011-09-21 Procter & Gamble METHODS OF MEASURING EMOTIONAL RESPONSE AND PREFERENCE OF CHOICE
US7692551B2 (en) 2006-09-12 2010-04-06 Deere & Company Method and system for detecting operator alertness
JP2008083933A (ja) 2006-09-27 2008-04-10 Sogo Keibi Hosho Co Ltd 不審者判定装置、不審者判定方法および不審者判定プログラム
US20080103425A1 (en) 2006-10-27 2008-05-01 Berlet Gregory C Scope sock
US8248462B2 (en) 2006-12-15 2012-08-21 The Board Of Trustees Of The University Of Illinois Dynamic parallax barrier autosteroscopic display system and method
US7971156B2 (en) * 2007-01-12 2011-06-28 International Business Machines Corporation Controlling resource access based on user gesturing in a 3D captured image stream of the user
US8269834B2 (en) 2007-01-12 2012-09-18 International Business Machines Corporation Warning a user about adverse behaviors of others within an environment based on a 3D captured image stream
US7792328B2 (en) * 2007-01-12 2010-09-07 International Business Machines Corporation Warning a vehicle operator of unsafe operation behavior based on a 3D captured image stream
US8295542B2 (en) 2007-01-12 2012-10-23 International Business Machines Corporation Adjusting a consumer experience based on a 3D captured image stream of a consumer response
US7840031B2 (en) 2007-01-12 2010-11-23 International Business Machines Corporation Tracking a range of body movement based on 3D captured image streams of a user
EP2174310A4 (en) * 2007-07-16 2013-08-21 Cernium Corp DEVICE AND METHOD FOR VERIFYING VIDEO ALARMS
US7970176B2 (en) * 2007-10-02 2011-06-28 Omek Interactive, Inc. Method and system for gesture classification
JP5055153B2 (ja) * 2008-02-01 2012-10-24 株式会社日立製作所 解析システムおよび解析サーバ
US8587662B1 (en) * 2008-11-06 2013-11-19 Target Brands, Inc. Theft trend analysis and response
US20100169792A1 (en) 2008-12-29 2010-07-01 Seif Ascar Web and visual content interaction analytics
US7996793B2 (en) * 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
US20110213716A1 (en) * 2009-09-30 2011-09-01 Matthew Ocko Apparatuses, Methods and Systems for a Customer Service Request Evaluator
US8926335B2 (en) * 2010-05-12 2015-01-06 Verificient Technologies, Inc. System and method for remote test administration and monitoring
US20120143649A1 (en) * 2010-12-01 2012-06-07 9133 1280 Quebec Inc. Method and system for dynamically detecting illegal activity
US8847781B2 (en) * 2012-03-28 2014-09-30 Sony Corporation Building management system with privacy-guarded assistance mechanism and method of operation thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI423144B (zh) * 2009-11-10 2014-01-11 Inst Information Industry Combined with the audio and video behavior identification system, identification methods and computer program products
TWI815046B (zh) * 2020-10-14 2023-09-11 友達光電股份有限公司 行車輔助方法及車載裝置

Also Published As

Publication number Publication date
CN101221621B (zh) 2013-06-05
US9208678B2 (en) 2015-12-08
US20080169929A1 (en) 2008-07-17
CN101221621A (zh) 2008-07-16
US8269834B2 (en) 2012-09-18
US9412011B2 (en) 2016-08-09
JP5305665B2 (ja) 2013-10-02
US10354127B2 (en) 2019-07-16
US20120140042A1 (en) 2012-06-07
US20160321498A1 (en) 2016-11-03
JP2008198189A (ja) 2008-08-28
US20160092725A1 (en) 2016-03-31

Similar Documents

Publication Publication Date Title
TW200844912A (en) Warning a user about adverse behaviors of others within an environment based on a 3D captured image stream
JP7083809B2 (ja) プライバシーの保護を伴う人物の識別しおよび／または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法
US7801332B2 (en) Controlling a system based on user behavioral signals detected from a 3D captured image stream
US8295542B2 (en) Adjusting a consumer experience based on a 3D captured image stream of a consumer response
CN104427960B (zh) 自适应视觉辅助装置
TW200844871A (en) Controlling resource access based on user gesturing in a 3D captured image stream of the user
US20170115742A1 (en) Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
US7792328B2 (en) Warning a vehicle operator of unsafe operation behavior based on a 3D captured image stream
CN110084089A (zh) 用于分析图像和提供反馈的可佩戴设备和方法
US20180116528A1 (en) Detecting irregular physiological responses during exposure to sensitive data
US20180116578A1 (en) Security system that detects atypical behavior
TW200844870A (en) Tracking a range of body movement based on 3D captured image streams of a user
CN106471419A (zh) 管理信息显示
CN114758406A (zh) 用于使用神经网络的生物特征用户识别的设备、方法和系统
TW200844795A (en) Controlling a document based on user behavioral signals detected from a 3D captured image stream
JP5225870B2 (ja) 情動分析装置
JP2015002477A (ja) 情報処理装置、情報処理システムおよび情報処理方法
Mansoor et al. A machine learning approach for non-invasive fall detection using Kinect
WO2023192254A1 (en) Attention-based content visualization for an extended reality environment
US11816886B1 (en) Apparatus, system, and method for machine perception
Yoda et al. Collection and classification of gestures from people with severe motor dysfunction for developing modular gesture interface
Prasad et al. A Literature Survey on Vision Assistance System Based on Binocular Sensors for Visually Impaired Users
Carbone et al. On the design of a low cost gaze tracker for interaction
WO2024015768A1 (en) Visual health tracking system
WO2024086149A1 (en) Systems and methods for predictive streaming of image data for spatial computing