TWI534719B - 動態物件分類 - Google Patents

動態物件分類 Download PDF

Info

Publication number
TWI534719B
TWI534719B TW104131589A TW104131589A TWI534719B TW I534719 B TWI534719 B TW I534719B TW 104131589 A TW104131589 A TW 104131589A TW 104131589 A TW104131589 A TW 104131589A TW I534719 B TWI534719 B TW I534719B
Authority
TW
Taiwan
Prior art keywords
classifier
category
classification
dedicated
objects
Prior art date
Application number
TW104131589A
Other languages
English (en)
Other versions
TW201601072A (zh
Inventor
馬哈詡 莎薩芮許
狄米翠A 里森
艾利克斯 里普欽
愛格爾 芮昕
Original Assignee
艾威吉隆專利第2控股公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 艾威吉隆專利第2控股公司 filed Critical 艾威吉隆專利第2控股公司
Publication of TW201601072A publication Critical patent/TW201601072A/zh
Application granted granted Critical
Publication of TWI534719B publication Critical patent/TWI534719B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/245Classification techniques relating to the decision surface
    • G06F18/2453Classification techniques relating to the decision surface non-linear, e.g. polynomial classifier
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/40Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G06F18/41Interactive pattern learning with a human teacher
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/242Division of the character sequences into groups prior to recognition; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Description

動態物件分類
此揭露內容係概略關於、而非為專指視訊監視,並且尤指物件分類。
相關申請案之交互參照
此申請案係根據美國法典35 U.S.C.§ 119(e)而主張於西元2008年3月3日所提出之標題為“動態物件與事件分類之方法”的美國臨時申請案第61/033,349號及於西元2008年3月3日所提出之標題為“用於追蹤於視訊監視下的物件之方法與系統”的美國臨時申請案第61/033,284號之權益,此二件美國臨時申請案係均為以參照方式而整體納入於本文。
自動化保全及監視系統係典型為運用視訊相機或其他影像捕捉裝置或感測器以收集影像資料。於最簡單系統中,由影像資料所代表的影像係顯示以供保全人員之同時審查及/或記錄以供在保全違反之後的後續參考。於彼等系統中,偵測有關物件之任務係由一觀察人員所實行。重大的進展係當系統其本身為能夠部分或完整實行物件偵測與分類而發生。
於一種典型的監視系統中,舉例而言,可能對於偵測移動通過環境之諸如人類、載具、動物、等等的物件為有興趣。不同的物件係可 能加諸不同的威脅或警報之程度。舉例而言,於場景中之動物係可能為正常,但是於場景中之人類或載具係可能為針對於一警報之原因,且可能需要保全人員之立即注意。能夠分類偵測的物件之現存的系統係傾向於運用簡單的嘗試錯誤法,以區分物件彼此之廣泛的類別。舉例而言,針對於長寬比與高度之預定的預期係運用以分類一偵測的物件為人類。理論上,嘗試錯誤方法係計算為不昂貴且容易實施,但是其相較於藉由運用諸如適應性激增(Adaptive Boosting)之已知的機器學習演算法所形成之最佳化參數分類器而較為不強健許多。然而,已知的參數分類器係受損於下列一或多者:(1)缺乏用於訓練之標示資料,及(2)無能力自動進化。
先前技術的分類器係典型為需要人工的幾何校準與調整。該種校準及調整係典型為針對於其間接影響系統性能之中間的使用者輸入(例如:物件高度),且典型為需要由於裝設期間之訓練人員的耗時人工。甚者,重新調整及校準係隨著季節變化或假如一相機為移動而典型為需要。
一種相機系統係包含:一影像捕捉裝置;及一物件分類模組,其連接至該影像捕捉裝置。該影像捕捉裝置係具有一視野且產生代表該視野之一影像的影像資料。該物件分類模組係可操作以確定於一影像之一物件是否為一物件類別之一成員。該物件分類模組係包括組態於一串級(cascade)組態之N個決策步級(step),其中,該N個決策步級之至少一者係可操作以(a)接受一物件作為該物件類別之一成員,(b)拒絕一物件作為該物件類別之一成員,及(c)請求下一個步級以確定一物件是否為該物件類別之一成員。
一種方法係分類由一相機系統所捕捉之一物件,該相機系統係包括一物件分類模組,其具有組態於一串級組態之N個決策步級。該種方法係捕捉一物件之一影像,傳送代表該物件之影像資料至該N個決策步級之一第一者。該種方法係識別代表於該影像資料之該物件的一特徵,以確定該物件是否為一物件類別之一成員,其中,一決策步級值係自該物件的特徵所導出。該種方法係作出一決策以接受該物件作為該物件類別之一成員、拒絕該物件作為該物件類別之一成員、或轉送該影像資料至該N個決策步級之一第二者以供進一步分析。該決策係基於該決策步級值對於一接受臨限與一拒絕臨限的一或多者之一比較。該接受臨限係相較於該拒絕臨限之一較高值。該物件係當該決策步級值為高於該接受臨限而接收作為該物件類別之一成員。該物件係當該決策步級值為低於該拒絕臨限而拒絕作為該物件類別之一成員。該影像資料係當該決策步級值為介於該接受與拒絕臨限之間而轉送至第二個決策步級。
一種相機系統係包含:一影像捕捉裝置;及一物件分類模組,其連接至該影像捕捉裝置。該影像捕捉裝置係具有一視野且產生代表該視野之一影像的影像資料。該物件分類模組係可操作以確定於該影像之一物件是否為一物件類別之一成員。該物件分類模組係包括組態於一串級組態之N個決策步級。該等決策步級之各者係包括用於映射物件特徵至純量值之一或多個階段(stage)。該等階段之一第一者係包括用於確定一第一純量值之一第一判別函數,且該等階段之一第二者係包括用於確定一第二純量值之一第二判別函數。第一與第二判別函數係不同型式者。
一種方法係分類由一相機系統所捕捉之一物件。該種方法係 產生代表由該相機系統所捕捉之一物件的一影像之影像資料,且識別代表於該影像資料之該物件的第一與第二特徵。該種方法係映射該物件的第一與第二特徵至個別的第一與第二純量值。一第一判別函數係運用以產生第一純量值,且一第二判別函數係運用以產生第二純量值。第一與第二判別函數係於一訓練作業期間而選擇自複數個不同的判別函數所組成之一群組。該種方法係基於自第一與第二純量值所導出之一決策步級值,而確定該物件是否為一物件類別之一成員。
一種相機系統係包含:一影像捕捉裝置;一物件分類模組,連接至該影像捕捉裝置;及,一校準模組,連接至該物件分類模組。該影像捕捉裝置係具有一視野與一影像平面。該影像捕捉裝置係產生代表投射於該影像平面之該視野之一影像的影像資料。該物件分類模組係可操作以基於該影像資料而偵測及分類捕捉於該視野的物件。該物件分類模組係可操作以分類物件作為一物件類別之成員或非成員。該校準模組係連接至該物件分類模組,用於估計該等物件類別之成員的代表尺寸,該等代表尺寸係對應於該影像平面之不同區域。該校準模組係可操作於線上作業期間以響應於由該物件分類模組所實行之分類而自動更新該等代表尺寸。該校準模組係可操作以供應代表該等更新代表尺寸之資訊至該物件分類模組以改良其物件分類性能。
一種方法係自動校準一種現場部署式(field-deployed)相機系統。該種方法係捕捉該相機系統之一視野的多個影像。該多個影像係對應於該視野為投射於其之該相機系統的一影像平面。該種方法係偵測於該多個影像之一第一物件。第一物件係在該影像平面的不同位置而偵測於該多 個影像。第一物件之影像係具有對應於該等不同位置之不同尺寸。該種方法係分類第一物件作為一物件類別之一第一成員且基於第一物件之不同尺寸以計算針對於該影像平面之一尺寸函數的一參數。該尺寸函數係運用以估計針對於該影像平面之該物件類別的代表尺寸。該種方法係響應於該物件類別之一第二成員的偵測與分類以更新該尺寸函數的參數。第二成員係偵測及分類於該相機系統之線上作業期間。
一種方法係修改由一使用者所運用於一現場部署式相機系統之一物件分類模組。該種方法係捕捉該相機系統之一視野的多個影像。該多個影像係包括多個物件之代表。該多個物件之一第一組係一物件類別之成員且該多個物件之一第二組係非為該物件類別之成員。該種方法係分類該多個物件作為該物件類別之成員或非成員,其中,該物件分類模組係產生一或多個錯誤分類。該種方法係基於該一或多個錯誤分類的至少一些者之由該使用者的回應以產生錯誤元資料(metadata)。該種方法係基於該錯誤元資料以修改該物件分類模組,藉以減少錯誤分類之數目,該修改係自動實行於該相機系統之實地運用期間。
一種相機系統係包含:一影像捕捉裝置;一物件分類模組,連接至該影像捕捉裝置;一使用者站(station),連接至該影像捕捉裝置;及,一分類器進化(evolution)模組。該影像捕捉裝置係具有一視野且產生代表該視野之影像的影像資料。該物件分類模組係可操作以確定於該等影像之物件是否為一物件類別之成員,其中,該物件分類模組係產生錯誤分類。該使用者站係具有一顯示器以提出該視野之影像至一使用者。該使用者站係可操作以提出由該物件分類模組所產生的錯誤分類之代表於該顯示器。該 使用者站係可操作以響應於該等錯誤分類之使用者回應而產生使用者反饋資訊。該使用者反饋係產生錯誤元資料。該分類器進化模組係接收該錯誤元資料且為可操作以運用該錯誤元資料而修改該物件分類模組,藉以減少該等錯誤分類之數目。該分類器進化模組係因而產生一專用分類器。
一種方法係構成一種用於一現場部署式相機系統之新物件分類模組。該新物件分類模組係用於分類物件作為由一使用者所選擇之一新物件類別之成員或非成員。該種方法係捕捉該相機系統之一視野的多個影像。該多個影像係包括多個物件之代表,其中,該多個物件之一第一組係該新物件類別之成員,且該多個物件之一第二組係非為該新物件類別之成員。該種方法係運用一部署物件分類模組以分類該多個物件作為一部署物件類別之成員。該種方法係提出由該部署物件分類模組所分類之該多個物件的代表於一顯示器。一使用者係標示該多個物件作為該新物件類別之成員或非成員。該種方法係基於該等標示以產生元資料,且基於該元資料以修改該部署物件分類模組而構成該新物件分類模組。
另外的觀點與優點係將由參照伴隨圖式所進行之較佳實施例的以下詳細說明而為顯明。
100‧‧‧相機系統
102‧‧‧影像捕捉裝置
104‧‧‧使用者介面
106‧‧‧遠端儲存/處理單元
108‧‧‧網路
110‧‧‧內部儲存系統
111‧‧‧硬碟機(HD)
112‧‧‧元資料資料庫(DB)
114‧‧‧顯示器
116‧‧‧輸入裝置
200‧‧‧視訊分析模組
202‧‧‧外殼
204‧‧‧物件偵測模組
206‧‧‧物件追蹤模組
208‧‧‧暫時物件分類模組
210‧‧‧物件分類模組
300‧‧‧完整人體分類器
302‧‧‧人體軀幹分類器
304‧‧‧載具分類器
500‧‧‧階段
502‧‧‧特徵萃取器
504‧‧‧比例及總和方塊
506‧‧‧比較方塊
901‧‧‧影像資料
1130‧‧‧地點專用分類器
1140‧‧‧相機專用分類器
1520‧‧‧網路
1525‧‧‧反饋資料庫
1530‧‧‧視訊資料庫
1610‧‧‧新物件分類器
圖1係根據一個實施例之一種相機系統的繪圖。
圖2係於圖1所示系統之一個影像捕捉裝置的簡化方塊圖。
圖3係於圖2所示之物件分類模組的方塊圖。
圖4係圖3之一個分類器的方塊圖。
圖5A係顯示於圖4所示的分類器之初始N-1個步級的一者 的方塊圖。
圖5B係於圖5A所示步級所利用之接受與拒絕臨限的繪圖。
圖6係描繪根據一個實施例之一種利用相機系統之方法的流程圖。
圖7係顯示一種物件追蹤方法的流程圖。
圖8係一種物件分類器訓練方法的流程圖。
圖9係另一種物件分類器訓練方法的流程圖。
圖10係說明一種用於收集自其操作一使用者介面之一使用者的反饋之方法。
圖11係一種專用分類器的方塊圖。
圖12係一種包括主動驗證之專用訓練方法的流程圖。
圖13係更詳細說明一種被動驗證方法。
圖14係一種主動驗證方法的流程圖。
圖15係顯示一種反饋收集及概括化方法。
圖16係一種分類器的方塊圖,具有一附加步級以辨識一新物件型式。
圖17係一種利用及更新一尺寸函數之校準方法的流程圖。
參考伴隨圖式,此段落係描述特定的實施例與其詳細的結構與操作。本文所述的實施例係僅為作為舉例而非為限制所陳述。熟悉此技術人士係按照本文的揭示內容而將認知的是:對於本文所述的實施例係存在一系列的等效者。特別是,其他的實施例係可能,變化係可作成於本文 所述的實施例,且對於構成所述的實施例之構件、零件、或步驟係可能存在等效者。
如熟悉此技術人士係按照此揭示內容而將理解的是:某些實施例係能夠達成優於已知的先前技術之某些優點,其包括下列之一些或全部者:(1)改良的物件分類準確度;(2)使用者反饋之利用以用於一物件分類器之訓練及適應;(3)於一種現場部署式相機系統以學習新的物件類別;(4)新物件分類器之線上的評估及部署;(5)聚集自一群相機系統之反饋以訓練新及/或更準確的一般物件分類器;(6)於現場操作期間以校準一種現場部署式相機系統;(7)歸因於季節變化或相機移動之後,於系統裝設與調整期間而於現場之系統人工校準的需求之降低或甚至是免除;及(8)對於變化條件之相機系統的自動調適。種種的實施例之此等與其他優點係於閱讀此段落的其餘部分而將為顯明。
為了簡明,某些實施例之構件或步驟的某些層面係不具有過度的細節而呈現,其中,該種細節係將對於熟悉此技術人士於按照本文的揭示內容為顯明,且/或其中,該種細節係將混淆該等實施例之較為有關層面的瞭解。
圖1係根據一個實施例之一種相機系統100的繪圖。相機系統100係包括其彼此連接於一網路108之影像捕捉裝置102、一使用者介面104、及一遠端儲存/處理單元106。網路108係可包括任何型式的有線或無線網路。雖然圖1之相機系統100係包括為連接於一網路之多個影像捕捉裝置102,相機系統100係可包括單一個影像捕捉裝置102。影像捕捉裝置102係可包括一內部儲存系統110,其包含一硬碟機(hard drive)111與一元 資料資料庫(DB,database)112。舉例而言,影像捕捉裝置102係可包括一種儲存系統,其係描述於標題分別為“視訊資料之內容覺察儲存”與“延伸其用於視訊資料儲存應用之硬碟機的操作壽命”之共同擁有的美國專利申請案第12/105,971號與第12/105,893號,此二件美國專利申請案係均為以參照方式而整體納入於本文。使用者介面104係包括一顯示器114與一輸入裝置116。影像捕捉裝置102係捕捉其個別的視野之影像且產生代表該等影像之資料資料。要瞭解的是:影像係可意指靜止影像或運動視訊影像。影像資料係透過網路108而通訊至使用者介面104,且一或多個視野的影像係提出於顯示器114。輸入裝置116係可操作以允許一使用者為提供針對於相機系統100之使用者反饋資訊。影像資料係亦可透過網路108而通訊至遠端儲存/處理單元106,於其中,儲存系統110或其部分者或類似儲存系統係可替代或附加為設置。
圖2係一個影像捕捉裝置102的簡化方塊圖。影像捕捉裝置102係可為一種高解析度的視訊相機,諸如:一種百萬畫素的視訊相機。影像捕捉裝置102亦可捕捉自外側的可見頻譜(例如:熱能)之資料。除了儲存系統110之外,影像捕捉裝置102係包括一影像處理單元,其包括一視訊分析模組200以分析由影像捕捉裝置102所捕捉的影像。由視訊分析模組200所產生的資料係可為由一規則引擎(未顯示)所運用以確定一或多個使用者指定的規則是否為已經違反。舉例而言,該規則引擎係可觸發其為提出於使用者介面之顯示器114的一警報,若一人係偵測於該等影像捕捉裝置102之一者的視野。該影像處理單元係無須為容納於如圖2所繪之影像捕捉裝置102的一外殼202之內。甚者,遠端儲存/處理單元106係亦可包括一 影像處理單元。
視訊分析模組200係包括用於實行種種任務之一些模組。舉例而言,視訊分析模組200係包括一物件偵測模組204,用於偵測其出現於影像捕捉裝置102之視野的物件。對於物件偵測模組204之輸入係視訊資料,較佳為自一影像器(未顯示)或視訊緩衝記憶體(未顯示)之現場視訊資料。物件偵測模組204係可運用任何已知的物件偵測方法,諸如:運動偵測及二進制大型物件(blob)偵測。物件偵測模組204係可包括於其標題為“用於偵測於時空訊號的有關物件之方法及系統”之共同擁有的美國專利申請案第10/884,486號之所述的系統且運用所述的偵測方法,此美國專利申請案之整體內容係以參照方式而納入於本文。
視訊分析模組200亦包括一物件追蹤模組206,其連接至物件偵測模組204。如運用於本文,術語“連接”係意指直接或間接為透過一或多個中間媒介所邏輯或實體連接。物件追蹤模組206係可操作以於時間關聯由物件偵測模組204所偵測的一物件之實例。物件追蹤模組206係可包括於其標題為“用於追蹤、索引、及搜尋之物件匹配”之共同擁有的美國專利申請案(律師檔案號碼37686/7:2)之所述的系統且運用所述的方法,此美國專利申請案之整體內容係以參照方式而納入於本文。物件追蹤模組206係產生其對應於所追蹤的物件之元資料。該元資料係可對應於物件之簽章,其代表物件的外觀或其他的特徵。該元資料係可傳送至元資料資料庫112以供儲存。
視訊分析模組200亦包括一暫時物件分類模組208,其連接至物件追蹤模組206。暫時物件分類模組208係可操作以分類一物件為根據 其型式(例如:人、載具、動物),藉由考慮隨著時間之該物件的外觀。換言之,物件追蹤模組206係追蹤一物件於多個訊框(即:多個影像),且暫時物件分類模組208係基於多個訊框之其外觀而確定該物件的型式。舉例而言,人走路之方式的步伐分析係可用以分類一人,或人腿的分析係可用以分類一騎自行車者。暫時物件分類模組208係可組合關於一物件的軌跡之資訊(例如:該軌跡是否為平滑或混亂、物件是否為移動或不動)及於多個訊框所平均之由一物件分類模組210(詳述於下文)所作成的分類之信賴。舉例而言,由物件分類模組210所確定的分類信賴值係可基於物件之軌跡的平滑度而作調整。暫時物件分類模組208係可指定一物件至一未知類別,直到該物件係於一充分的次數及一預定數目的統計資料為已經收集而由該物件分類模組所分類。於分類一物件,暫時物件分類模組208係亦可考量該物件已經於視野為多久。暫時物件分類模組係可基於上述的資訊而作成關於一物件之類別的最後確定。暫時物件分類模組208亦可運用一種用於改變一物件之類別的磁滯方法。舉例而言,一臨限係可設定以變遷一物件之分類為自未知至人類,且該臨限係可為大於針對於相反變遷(即:自人類至未知)之一臨限。暫時物件分類模組208係可產生關於一物件之分類的元資料,且該元資料係可儲存於元資料資料庫112。暫時物件分類模組208係可聚集由物件分類模組210所作成的分類。
如運用於本文,術語“模組”係一構件,其可包含一或多個硬體電路或裝置、及/或一或多個軟體常式、函式、物件或類似者。一模組係可整體為硬體,整體為軟體,包含韌體,或包含前述者之某個組合。如運用於本文,術語“系統”係意指一種有形者。
物件分類
視訊分析模組200亦包括物件分類模組210,其較佳為直接或間接連接至物件偵測模組204。對照於暫時物件分類模組208,物件分類模組210係可基於物件的單一個實例(即:單一個影像)而確定一物件的型式。對於物件分類模組208之輸入係較佳為物件而非為視訊或影像資料。輸入物件至物件分類模組208之裨益係在於:整個場景係無須分析以供分類,因而需要較少的處理電力。諸如一種基於啟發的模組以捕捉明顯的分類,其他的初步模組係亦可納入以進而簡化物件分類模組210之複雜度。
物件偵測、追蹤與暫時分類模組204、206與208係選用式而為視訊分析模組200之較佳構件。於一個替代配置,物件分類模組210係置放在物件偵測模組204之後而在物件追蹤模組206之前,使得物件分類係在物件追蹤之前而發生。於另一個替代配置,物件偵測、追蹤、暫時分類與分類模組204-210係相互關連,如於上文提及的美國專利申請案第10/884,486號所述。
物件分類模組210係包括一些物件分類器,如於圖3之方塊圖所描繪。舉例而言,物件分類模組210係包括:一完整人體分類器300,其確定一偵測的物件之一影像是否對應一完整人體;一人體軀幹分類器302,其確定一偵測的物件之一影像是否對應一人體軀幹;及一載具分類器304,其確定一偵測的物件之一影像是否對應一載具。物件分類模組210係可包括任何數目的不同分類器,且如更為詳細描述於下文,一使用者係可產生針對於物件分類模組210之物件的新類別,甚至是當相機系統係部署且運作時。換言之,物件分類模組210係現場可訓練。
物件分類器係可操作以基於物件特徵(例如:外觀特性)而分類一物件。舉例而言,完整人體分類器300係接收對應於一物件特徵之資料(即:一輸入型態 X )且確定該物件是否為對應於一完整人體。在物件分類模組210係分類一物件之後,代表該物件類別與物件特徵的元資料係可儲存於元資料資料庫112。
可為由物件分類模組210所運用的特徵係將更為詳細描述於後。下述的一種訓練演算法係自一集合的特徵 F={f 1 ,f 2 ,f 3 ,...,f n }以選取 一子集合的特徵。輸入型態 X 係由之元素所構成。 之元素係可視為一物件之一影像區域 R 的某個變換。因此, X 係可呈現以下形式:
一物件之特徵係可對應於一些外觀特性,諸如而 不限於:長寬比、色彩、邊緣方位、與正規化的飽和。甚者,特徵 係可代表外觀特性之特徵向量(例如:直方圖,其中,直方圖的分格係對應於向量分量)且可為由一或多個物件分類器所運用以確定物件的類別(即:型式)。舉例而言,物件之邊緣方位的直方圖係可針對於物件影像之不同區域(例如:子視窗)而作圖。換言之,一物件的影像係可分割為子視窗,且邊緣方位係可針對於子視窗的各個像素而計算。一像素之邊緣方位係可運用一可操縱濾波器(例如:運用一高斯導數濾波器於多個方向)而導出。運用一可操縱濾波器係允許主要方向為指定至一子視窗之像素,且允許該等方向之 直方圖為針對於該子視窗所作圖。舉例而言,針對於一已知的像素,一可操縱濾波器係可運用於多個方向以產生多個響應,且對應於最大方向導數響應之方向係指定作為該像素之方向。
針對於該等物件分類器之一者的分類問題係可概括為由一分類器函數Γ( X )所定義,其中,由輸入型態 X 所代表之一物件係當Γ( X )>0而宣告為物件類別之一成員或當Γ( X )<0而宣告為物件類別之一非成員。概括而言,分類器函數Γ( X )係以一組的參數而為參數化,且輸入型態 X 係由上述的特徵所構成。一特定分類器Γ C ( X )係針對於各個相關的物件類別而訓練。由圖3的物件分類模組210所代表之多類別的分類模型係可數學式定義如下:
其中,ω係代表一物件類別,且Ω係代表所有物件類別之集合。
物件分類模組210之一種結構的一個實例係將參考圖4至6而更詳細描述。為了明白,完整人體分類器300係將詳細描述。然而,以下說明係可同樣應用至物件分類模組210之其他的物件分類器。分類器300係包括其組態於一種串級組態(即:步級1、隨後為步級2、隨後為步級3、...、隨後為步級N)之多個步級400(N個決策步級),如於圖4所示。N個步級係操作以確定一物件的外觀是否為對應於該物件類別(即:完整人體)。不同於西元2004年的國際電腦視覺期刊第137至154頁之Paul Viola與Michael Jones的“強健即時臉部偵測”所提出之一種已知的串級分類系統,其中,一物件係拒絕或轉送於N-1個初始步級(即:除了最後一個步級之外的全部者),本實施例之初始N-1個步級各者係可操作以作成三個決策之一者:(1)接受物件作為該物件類別之成員(即:正類別);(2)拒絕物件作為該物件類別之成員(即:負類別);及(3)轉送該決策至下個步級。舉例而言,一物件之輸入型態X係供應至步級1,且步級1係判斷是否(1)接受該物件作為完整人體;(2)拒絕該物件作為完整人體;或(3)轉送該輸入型態X至步級2以作成確定。接受、拒絕或轉送之決策係基於由該步級所產生的一值(即:一決策步級值)。最後或第N個步級係可操作以(1)接受該物件作為完整人體;或(2)拒絕該物件作為完整人體。
圖5A係方塊圖,更為詳細顯示初始N-1個步級400之一者。各個步級400係包括一或多個階段500。針對於各個階段500,特徵之一者係自輸入型態 X 而取出(由方塊502所代表)且供應至其對應的階段500。因此,各個階段500係具有關聯於其的一對應特徵。階段/特徵的組合係可藉由於如下所述之一訓練方法期間的一種學習演算法而預定。甚者,舉例而言,供應至圖5之第一階段(階段1)的一特徵係可為不同或相同於供應至第二階段(階段2)的特徵。
概括而言,一階段500係可為由一階段函數g所代表,階段 函數g係定義為如下:gxγ,其中 γ [-1,1]。
其中, G 係代表特定階段函數g為選取自其之一般集合,且x係代表至該階段之一任意輸入。集合 G 係可為其映射一特徵集合至一純量值之一豐富族的函數,該純量值之正負號係指出一物件之類別。如上所 述,各個階段500係接收特徵之一者而作為一輸入。因此,集 合 G 係可寫為 G=F×T ,其中, F 係定義於上文且 T 係代表一組可能的變換 (即:映射),俾使針對於。因此,階段函數g係可呈現以下的 展開形式:
一階段500係代表一判別函數,其包括一加權向量與一啟 動函數β。如上所述,特徵係可代表特徵向量。階段函數係可改 寫為如下:
其中,係代表加權向量與特徵向量之內乘積。啟 動函數β i 係可為任何函數,諸如而不限於:一S型函數或一徑向基底函數。 啟動函數β i 係運用以映射加權向量與特徵向量之內乘積至於0與1之 間的一值。純量值γ係可藉由計算該判別函數之一微分而確定。不同於其包括針對所有階段的相同判別函數之習知串級分類器,針對於本實施例的階段之判別函數係可彼此為不同。甚者,針對於各個階段500之加權向量與啟動函數β i 係如下所述而自動確定於訓練期間。
各個步級400係階段500之一或多者的一線性組合(由比例 及總和方塊504所代表)。換言之,階段500之純量值γ係比例及總和以產生決策步級值s( X )。概括而言,此函數係可數學式代表如下:
因為s( X )(即:決策步級值)係階段之一凸組合,s( X )與g(x)係具有相同的範圍。加權係數α係於訓練期間為藉由一種學習演算法所選取。決策步級值係相較於一接受臨限τα與一拒絕臨限τγ之一或二者(由方塊506所代表),以確定是否接受該物件作為完整人體、拒絕該物件作為完整人體、或轉送該決策至下一個步級400。該比較係可代表為如下:
圖5B係說明於區間[-1,+1]之接受與拒絕臨限的一個實例。接受臨限τ a 與拒絕臨限τ r 係基於使用者特定的偽正與偽負率而藉由一種學習演算法所選取於訓練期間。各個步級400係可具有其為不同於或相同於其他步級400之針對於τ a τ r 的值。“接受”之一決策係意指的是:分類器係確信輸入型態X為屬於正類別(例如:完整人體)。“轉送”之一決策係意指的是:分類器係不確定且延緩該決策至下一個步級。“拒絕”之一決策係意指的是:分類器係確信輸入型態X為屬於負類別(例如:非為完整人體)。於任一個步級,若決策係非“轉送”至下一個步級400,接受/拒絕決策係作成於該點且評估係完成。決策步級值係可對應於針對於對應步級400之一決策信賴度。舉例而言,相較於稍高於接受臨限τ a 之一決策步級值,接近1之 一決策步級值係可代表的是:對應步級400係較確信一物件為一完整人體。替代而言,於決策步級值之一增大係可能非必要為對應於一較高決策信賴度(即:決策為正確之一機率)。由於物件係以不同的決策步級值而正確及不正確分類,關聯於各個決策步級值之信賴度係可憑經驗估計於訓練期間。決策步級值之信賴度係更詳細描述於下文。如上所述,於分類器之最後一個步級(步級N)係強制以恆為接受或拒絕:
圖6係流程圖,描繪根據一個實施例之一種利用相機系統的方法600。僅為舉例,方法600係將關於相機系統100而描述;方法600係可操作於任何適合的相機系統。首先,一物件之一影像係由影像捕捉裝置102之一者所捕捉(步驟602)。物件係由物件偵測模組204所偵測(步驟604)。舉例而言,輸入型態X係傳送至完整人體分類器300之第一個步級400(步驟606)。替代而言,非為傳送型態X至第一個步級400,由第一個步級400之階段500所運用的組合特徵係可選擇且僅為彼等特徵係可傳送至第一個步級400。針對於第一個到第S個階段500之特徵係識別於輸入型態X且選取自輸入型態X(步驟608)。選取的特徵係供應至其個別的階段500,且該等階段500係映射所選取特徵至純量值(步驟610)。該等純量值係比例化(即:加權)且總和以產生一決策步級值(s(x))(步驟612)。決策步級值係相較於接受臨限τ a 與拒絕臨限τ r 之一或多者(步驟614)。若決策步級值係大於接受臨限τ a ,物件係接受作為該物件類別之一成員(例如:接受作為一完整人體)(步驟616)。若決策步級值係小於或等於拒絕臨限τ r ,物件係拒 絕作為該物件類別之一成員(例如:拒絕作為一完整人體)(步驟618)。若決策步級值係大於拒絕臨限τ r 而小於或等於接受臨限τ a ,輸入型態X係轉送至第二個步級400(或替代而言,僅為由第二個步級400所運用的彼等特徵組合係傳送至第二個步級400)(步驟620)。一物件係可於串級之內的任一個步級400而接受或拒絕作為該物件類別之一成員。
輸入型態X係可同時供應至物件分類模組210之所有的分類器,其中,各個分類器係接受或拒絕該物件作為其對應類別之一成員。若超過一個物件分類器係接受該物件作為其類別之一成員,接受物件之物件分類器的物件分類器決策步級值之輸出係可相較。舉例而言,完整人體分類器300與載具分類器304係可確定的是:一物件係分別為一完整人體與一載具。於該情形,由其接受該物件之步級所產生的決策步級值係可相較,且該物件係可指定其具有對應於最可信賴(例如:最大)決策步級值之分類器的類別。舉例而言,若完整人體分類器之決策步級值係對應於一90%信賴度,且載具分類器之決策步級值係對應於一80%信賴度,物件係分類作為完整人體。若該等分類器係均未宣告一正輸出(物件係不接受作為任何類別之一成員),則該物件係可分類作為未知。
當物件分類模組210係確定一物件之類別,諸如由物件追蹤模組206所實行之追蹤係可納入考量。圖7係顯示一種物件追蹤方法700的流程圖。僅為舉例而言,方法700係將關於連同於物件分類模組210所運用之物件追蹤模組206而描述。方法700係可運作於任何適合系統。方法700係關聯一物件之一影像與該物件之一先前實例(方塊702)。方法700係喚回其相關於該物件之先前實例的類別與分類信賴度。物件分類模組210 係確定該物件是否為先前分類具有高信賴(方塊704)。視為高信賴之信賴度係可由使用者所預定(例如:70%信賴或更高)。若物件分類模組係確定該物件為未先前分類具有高信賴,則多個物件分類器係執行(方塊705)。若方法700係確定該物件為先前分類具有高信賴,對應於物件先前宣告類別之分類器的一部分係可執行(方塊706)而非為執行多個分類器。舉例而言,對應於先前宣告的類別之分類器的僅有第一個步級400係可評估。第一個步級400之輸出係可檢查以查看其是否為一致於先前宣告的類別(方塊708)。若第一個步級400之輸出係一致於先前宣告的類別,並無進一步的評估係需要;針對於目前影像之物件的類別係確定,且物件的歷史係更新及儲存於元資料資料庫112(方塊710)。另一方面,若第一個步級400之決策係欲拒絕物件作為該物件類別之一成員,則其他的物件分類器之一或多者係執行(方塊705)。若第一個步級400之輸出係欲轉送,其他的步級400之一或多者係可評估而直到該輸出係一致或不一致於先前宣告的類別。
訓練物件分類器
一種訓練物件分類模組210的物件分類器之方法係將描述。習用的分類系統係可為以學習演算法AdaBoost或AdaBoost之某種變化者而訓練。儘管AdaBoost係已經證明其於一些應用之價值,運用於該學習方法之演算法與目標函數係具有一些限制。舉例而言,為了AdaBoost為有效,一物件類別之成員或非成員係不能顯著重疊彼此於特徵空間。換言之,物件之特徵係應為相當分開一分類空間。甚者,因為AdaBoost係運用弱的學習器,大量之弱的學習器係可能為必要以形成其能夠達成一期望準確度之一全分類器。
根據一個實施例,稱為依序判別誤差最小化(Sequential Discriminant Error Minimization)之一個替代的目標函數與學習演算法係較佳為運用以訓練物件分類模組210的物件分類器。SDEM係提出於Saptharishi之“依序判別誤差最小化:理論與其於即時視訊物件辨識之應用”(Carnegie Mellon大學,西元2005年),其整體內容係以參照方式而納入於本文。SDEM係可處理其非必要為相當分開一分類空間之特徵。不同於AdaBoost與其他類似的激增(boosting)技術,SDEM係可運用弱的學習器或其非必要視為弱之其他的判別函數。因此,相較於AdaBoost,運用SDEM以訓練,一物件分類器之步級400與階段500的數目係可為顯著較小。針對於一既定特徵,SDEM係經常為能夠學習針對於對應特徵空間之最佳分類器。物件之最佳特徵係可針對於一既定分類問題而自動選擇。
概括而言,SDEM演算法係運用以訓練針對於各個步級400之階段500的組合。如於式(4)所定義,一階段500係包括一階段函數g i (x), 其為等於一特徵之一轉變t。訓練任務係選取最佳轉變t、以及最佳特徵 ,俾使當一特定的階段500係相加至一步級400,物件分類器之性能係最 大化。換言之,SDEM演算法係選擇針對於一特定階段之轉變t與特徵, 藉以最大化一目標函數。特徵之集合 F 係可為有限,且轉變之集合 T 係可 為連續且可微分。採用SDEM演算法,針對於之各個選取,一搜尋係實 行於集合 T 以識別其實行最佳於一訓練資料集之轉變t。於集合 T 之搜尋係運用標準無限制最佳化技術而實行,諸如而不限於:一種準牛頓 (Quasi-Newton)最佳化方法。一旦最佳轉變t係針對於之各個選取而識 別,最佳特徵係可根據一估計概括誤差而選擇。最佳特徵之選擇係可 寫為如下:
SDEM演算法之一個性質係在於:當一階段500係增加至一步級400,階段500之增加係改良該物件分類器於訓練資料集之性能。若一個新的階段係無法識別為改良該物件分類器之性能,SDEM演算法係自動終止。替代而言,非為等待SDEM演算法以自動終止,一步級400之一些階段500係可為由使用者所確定。換言之,當由使用者所設定之一最大數目的階段500係達到或是當並無階段500係可增加為將改良性能,SDEM演算法係終止訓練。
SDEM演算法係選擇一系列特徵/轉變,俾使當組合,該組合係勝過該等特徵/轉變之單一者。舉例而言,儘管一物件之長寬比係可能為用於分類之一不良的特徵,當組合於局部梯度資訊,長寬比係可改良其對應於僅有局部梯度資訊之分類準確度。一些簡單的特徵與轉變係可組合以產生極為準確的物件分類器。實際上,訓練任務係藉由組合針對於一物件之一組的外觀特徵而產生超特徵。
用於建立第一個步級400之階段500的一種訓練方法800係將參照圖8之流程圖而更詳細描述。以下說明係亦可應用至其他步級400之階段500。針對於一種分類器之訓練資料集係包括特定物件類別的成員與非成員之代表。舉例而言,欲訓練完整人體分類器300,訓練資料集係包括 完整人體的影像與其他物件的影像之代表。物件之特徵係可自 該訓練資料集而取出。訓練資料集之物件係可由一使用者所人工標示為特定物件類別的一個成員與非成員,造成標示物件802。各個標示物件802之 特徵係識別且取出(步驟804a、804b、與804c)。各個特徵 係運用以訓練一個單獨的階段,且其最大化該目標函數的值之 階段係選擇。任何數目個特徵係可運用。舉例而言,在M(例如:M=60)個特徵之中,一者係可為一長寬比且其他M-1個特徵係可為尺寸B之向量,其對應於具有針對於一標示物件之影像的M-1個不同區域之B個分格的邊緣方位直方圖。
在特徵係取出自標示物件802之後,最佳轉變t 係針對於特徵之各者而選擇(步驟806a、806b、與806c)。轉變 係可基於標準最佳化技術而選擇。一轉變t係可視為其分離於特徵空間之標示物件的一決策邊界。因此,最佳轉變t係對應於其最佳分離該物件類別之 成員與非成員的一決策邊界。就由加權向量與啟動函數β i 所作成的判別 函數之情形而論,最佳轉變t之選擇係對應於最佳分離該物件類別的成員與 非成員之啟動函數β i 與加權向量的分量之選擇。啟動函數β i 係可選擇自 一組多個函數型式,諸如而不限於:一S型函數與一徑向基底函數(例如:高斯函數)。因此,不同於習知的串級分類器,一第一個階段係可包括其相較於一第二個階段之一不同型式的判別函數。
在針對於特徵的轉變係選擇之後,對應於各個特 徵/轉變組合之一目標函數的一值係計算(步驟808a、808b、與808c)。目標函數係可成比例於分類誤差之一度量或可為分類誤差之一非線性而單調變化的函數。目標函數之計算值係可相關於不同特徵/轉變組合所作成的分類 誤差之數目及/或嚴重程度。舉例而言,一第一計算值係可相關於特徵與 其對應轉變所作成的分類誤差之數目。目標函數之計算的諸值係比較,具 有最大計算值之特徵/轉變組合係針對於第一個步級400之第一個階段500而選擇(步驟810)。
在特徵與轉變係針對於第一個階段500而選擇之後,標示物件802係將第一個階段500所作成的決策納入考量而加權為具有不同的加權(步驟812)。物件係可加權作為於特徵空間之其對應資料點為如伺接近於第一個階段500所代表的決策邊界之一函數。舉例而言,對應於接近於特徵空間的決策邊界之資料點的物件係相較於其具有遠離決策邊界之資料點的物件而可加權為具有較高的加權,使得一第二個階段500係可藉由較多針對於其使第一個階段500為有些困惑之彼等物件而訓練。於一物件的一資料點與第一個階段500的決策邊界之間的距離係可關連於針對於該物件所計算之純量值γ。
訓練方法800係重複針對於下一個階段。在標示物件係加權 之後,最佳轉變係針對於特徵而再次選擇(步驟806a、806b、與 806c係重複)。然而,特徵係已經加權,且針對於特徵 各者的最佳轉變t係將第一個階段500納入考量而選擇。最佳轉變t係可對應於其造成目標函數值的最大增加之轉變。目標函數的諸值係再次計算且比較以確定針對於第二個階段500之特徵/轉變(步驟808a、808b、808c、與810係重複)。欲建立一第三個階段500,標示物件係重新加權,其中,對於第一與第二個階段500為有些困惑之物件係給予較高加權。再次,步驟 806a、806b、與806c係重複,而特徵係已經重新加權且針對於 特徵各者的最佳轉變t係將第一與第二個階段500均納入考量而 選擇。目標函數的諸值係再次計算且比較以確定針對於第三個階段500之 特徵/轉變(步驟808a、808b、808c、與810係重複)。透過訓練新階段之各個反覆運作以選取最佳特徵/轉變及加權標示物件之方法係可考慮為於函數空間之一梯度上升、或為提高目標函數之總值的一種方法。
一旦第一個步級400係訓練時,臨限τ a τ r 係選擇,俾使期望的偽正與偽負率係可設定。甚者,隨著階段500係針對於第一個步級400而構成,加權係數α係亦選擇。舉例而言,隨著各個階段500係增加至第一個步級400,針對於該等階段之加權係數α係調整以求得對應於針對於第一個步級400的最低整體誤差率之該等加權係數α的值。舉例而言,加權係數α係可藉由運用一線搜尋最佳化策略而選擇。
在第一個步級400係訓練之後,一第二個步級400之階段500係可訓練。然而,運用以訓練第二個步級400之訓練資料係其運用以訓練第一個步級400之訓練資料集的一子集合。該子集合的訓練資料係對應於第一個步級400可能既不接受且亦不拒絕作為該物件類別的一成員之標示物件。換言之,第二個步級400係訓練關於其具有一對應決策步級值為大於拒絕臨限τ r 而小於或等於接受臨限τ a 之標示物件。此係允許第二個步級400以僅為針對於第一個步級400覺得困惑之彼等物件。
因為訓練方法800之逐步的漸進,誠然,應為確定於分類器300之N個步級的準則之最佳順序且造成其為必要以實行分類之最少個步級。結果,實行於一種部署、訓練的現場系統之分類係應使得輸出一分類所需求的執行時間及產生該分類所需要的處理功率為最小化。
一旦一物件分類器係以標示物件所訓練,物件分類器係可繼續通過其他訓練步驟以改進針對於不同階段所選擇的特徵/轉變。訓練一物 件分類器之一種高階方式係顯示於圖9之流程圖,其係說明一種訓練方法900。影像資料901(例如:原始的視訊資料)係供應至簡單的基底或種子系統,其為能夠進行物件之基本偵測、追蹤、與分類。基底系統係偵測、追蹤、及分類其代表於影像資料901之物件且產生其對應於物件之元資料(步驟902)。基底系統係選擇其為偵測及追蹤之一組的物件(步驟904)。物件之選擇係可取決於一物件為於一影像捕捉裝置102之視野的時間量,或可取決於基底系統為多信賴於一物件之其分類。其他規則係可規定以指定一物件是否為由基底系統所選擇。
基底分類器所選擇之物件的影像係於一顯示器而提出至使用者,故使用者係可人工標示該等物件作為其為訓練之物件分類器的特定物件類別之成員或非成員。於使用者介面104之使用者係人工標示該等物件,且標示的物件係供應至其為訓練之物件分類器(步驟906)。由使用者所人工標示的物件係可對應於上述的標示物件。物件分類器係以標示物件所訓練,諸如:根據參考圖8之如上所述的訓練方法800。訓練的物件分類器係分類代表於影像資料901之物件且產生代表物件之類別的元資料(步驟910)。訓練的物件分類器所分類之各個物件係具有關聯於其之一分類信賴度。分類信賴度係對應於分類該物件作為物件類別的一成員或非成員之步級400的決策步級值。訓練的物件分類器所產生之分類信賴度係分析以識別對於訓練的物件分類器為困惑之物件(例如:具有一低分類信賴度之物件)。訓練的物件分類器之性能係評估以確定該物件分類器的性能是否為可接受(步驟912)。
欲確定該物件分類器的性能是否為可接受,一不相交測試集 係可運用,其中不相交測試集之物件的類別係在藉由訓練的物件分類器之分類前而為已知。供應至訓練的物件分類器之影像資料901係可對應於不相交測試集,且由訓練的物件分類器所作成之分類係可相較於物件之實際的類別。由此比較,訓練的物件分類器之性能係可確定。若該性能係不等於或高於某個預定的性能位準,令人困惑的物件係提交至使用者以供人工標示(步驟904)。使用者係標示令人困惑的物件且新標示的物件係運用以重新訓練該物件分類器(步驟906與800)。當物件分類器係重新訓練,針對於不同的階段500之特徵/轉變組合係可基於新標示的物件而更新。重新訓練的物件分類器係運用以分類代表於影像資料901之物件,且重新訓練的物件分類器之性能係評估(步驟910與912)。重新訓練方法係可繼續而直到該重新訓練的物件分類器之性能為可接受。當該重新訓練的物件分類器之性能係可接受,其可為部署(步驟914)。訓練方法係可重新編排成為以下步驟:
1.人工標示一資料集之某個小部分。
2.運用該資料集之部分以訓練一物件分類器。
3.運用新訓練的分類器以自動標示完整的資料集。
4.選擇對於該物件分類器為困惑之一組自動標示的資料點。
5.人工標示該等困惑的資料點。
6.藉著所有新標示的資料點而重複訓練。
7.至步驟3。
分類信賴
決策步級值s(X)係相關於分類之信賴。該相關性係可非為線性,即:步級400係可產生一高正值,但是物件係可能非為物件類別之一 成員。典型而言,由於訓練方法,s(X)之值為愈高,步級400係愈不可能作出一錯誤。關聯於s(X)之某值的信賴度係可計算,首先藉由定義一指標函數ε(Γ(X)),其中:。
一信賴函數Ψ(Γ(X))係可定義為步級400宣告一物件屬於正類別之機率,且其針對於s(X)=v之一輸出為正確。因此,針對於一小量化區間[v-△,v+△],信賴函數係可表示為如下:Ψ(Γ(X))=P ε,.Ω|Γ(ε(Γ(X))=0,ω=+類別| s(X)<v+△)-P ε,Ω|Γ(ε(Γ(X))=0,ω=+類別| s(X)<v-△) (11)
注意,可為考慮的是:步級400係宣告一物件為屬於正類別,當s(X)>0,即:P ,Ω|Γ(ω=+類別|s(X)>0)=1。因此,針對於v>0,式(11)係可表示為:
式(12)係代表真正率,當v [△,1-△]且s(X)[v-△,v+△]。
同理,針對於v -△而宣告物件為屬於負類別之一步級400的信賴函數係可表示為:
式(13)係代表真負率,當v [-1+△,-△]且s(X)[v-△,v+△]。因此,若步級400針對於任何觀測輸出值s(X)=v為正確之機率(如於式(12)與 (13)所定義)係高,則步級400係視為信賴於其答案。針對於信賴之此自我 評估,一機率測量係自訓練資料集所估計且信賴函數Ψ(Γ(X))係推斷。 若信賴函數Ψ(Γ(X))係小於其針對於s(X)的一既定輸出值之一臨界信賴臨限ψc,則步級400係視為針對於該輸出值而不同或令人困惑。不同分類係轉送至下一個步級400。因此,信賴函數Ψ(Γ(X))係可運用於訓練期間以識別對於一物件分類器為困惑之物件。若其構成階段500之判別函數係對於貝氏(Bayes)最佳決策邊界之良好的近似,則決策步級值s(X)係將為單調相關於信賴函數Ψ(Γ(X))。針對於初始步級400,物件分類器係可能未充分近似貝氏決策邊界。因此,針對於一既定步級400之決策步級值s(X)與信賴函數Ψ(Γ(X))係可能非恆為單調相關。
信賴函數Ψ(Γ(X))係可運用以確定針對於不同步級400之接受臨限τ a 與拒絕臨限τ r 。相對於其他串級分類器架構,若針對於正類別之信賴函數Ψ(Γ(X))係隨著決策步級值s(X)而單調遞增,接受臨限τ a 係可選取,俾使真正限制係符合。若信賴函數Ψ(Γ(X))係未隨著決策步級值s(X)而單調遞增,則接受臨限τ a 係可維持為飽和於1,即:並無型態係接受為於對應步級400之正類別。單調性之欠缺係指出的是:於正區域,決策邊界係未充分適當反映貝氏最佳分類器。同理,拒絕臨限τ r 係選取,若負類別信賴係單調相關於決策步級值s(X)。實際上,負類別係相較於正類別而可更密集聚集於特徵空間。因此,儘管一單調關係為可能不存在於初期的步級之正類別,極可能存在於初期的步級之負類別。
執行時間分類器進化
對於此論點,分類器模型、其分類操作、與其離線的主動學 習係已經描述。接著,分類器的連線進化係將描述。連線的執行時間分類器進化係類似於上述且圖示於圖9之離線的主動學習方法。執行時間進化係包括以下的步驟:(1)收集使用者反饋;(2)訓練針對於分類器之一個新的附加步級;(3)經由被動觀察以驗證該分類器;(4)若該分類器係被動驗證,請求使用者驗證且部署該分類器;及,若可能,(5)上載具有性能統計與地點資訊之專用分類器至一中央反饋伺服器,使得其吸收該專用者之一種更通用的分類器係可產生及訓練。
圖10係說明一種方法1000,用於收集自操作使用者介面104之使用者的反饋。於許多保全及監視系統,諸如保全人員之一使用者係響應於警報且告知收到警報。若一警報係視作為偽,其可用文件證明為一偽警報或可忽略。具有執行時間分類器進化之一種系統的一較佳實施例係當該警報為一偽警報而令使用者為明確通知該系統。因此,方法1000係提出警報至使用者(步驟1002)。提出至使用者之警報係包括:分類結果(即:如由分類器所確定之物件的類別)與該物件為出現於其的視訊資料。使用者係可輸入該分類之一回應或拒絕。方法1000係接受該使用者反饋(步驟1010)且確定該分類器是否錯誤分類物件(步驟1012)。方法1000係收集運用於分類之該組特徵且將其儲存為“錯誤元資料”(步驟1014)。當錯誤之數目係超過一個預設值,方法1000係可起始一校正“專用化”訓練程序。
一錯誤係可能採取一偽正之形式,意指的是:分類器係不正確接受一物件作為於串級之一先前步級的一正類別之部分者(例如:分類器係分類一非人類而作為人類型式)。一錯誤係亦可能採取一偽負之形式,意指的是:分類器係拒絕一物件且斷定其為一物件類別之非成員而當該物件 係實際為該類別之一成員(例如:分類器係失效以分類一人類作為一人類型式)。舉例而言,分類器係可能指定一“可疑”或“未知”類別至其無法分類具有充分信賴之一物件。若該物件係實際為一人類或載具或類似者,使用者係可指出該錯誤。
一種專用化訓練程序係可能需要增加一個附加的步級在其構成該分類器之串級的步級之末端且訓練新的步級以分離偽警報與有效或“真”警報,如使用者反饋所指出。增加至分類器之附加的步級係可稱為一“專用化步級”。就某種意義而言,考慮其地點、相機、等等,專用化步級係協助該分類器以成為更為專用於分類提出至該特定的分類器之物件。
根據一個實施例,專用化係採取二個形式之一者:(1)地點專用化;及(2)相機專用化。於此實施例,彼等專用化步級係運用偽警報錯誤而訓練。因此,如於圖11所示,分類器300係已經於其串級之一些步級1到N而作出一錯誤的正分類。該等偽正係傳送自分類器300至一地點專用化步級1110且然後若必要時而傳送至若存在之一相機專用化步級1120。地點專用化步級1110係一通用步級,其為訓練以運用取出作為通用分類器300之操作部分者的特徵而降低偽警報。運用以訓練地點專用化步級1110之資料係地點特定。因此,一地點專用分類器1130(即:修改或擴增以包括地點專用化步級1110之一分類器)係可能於一不同的地點而未運作為具有提高的準確度。
相機專用化步級1120係一步級,其為訓練以僅為針對於一特定相機而降低偽警報。若該地點專用分類器1130係失效以降低偽警報之數目,則一相機專用分類器1140係可訓練。
圖12係一種專用化訓練方法1200的流程圖,包括:主動驗證。在一充分數目的錯誤係已經收集之後(步驟1202與1204),一地點專用化步級係增加及訓練(步驟1206)。該地點專用分類器之性能係經由一種驗證方法而驗證(步驟1208)。若其性能係可接受(步驟1210),即:若其誤差率係充分低於該通用分類器者,則該種方法係繼續進行至步驟1218。然而,若誤差率係未充分降低,則一相機專用化步級係針對於其為錯誤來源之各個相機而增加(步驟1212)。相機專用分類器之性能係經由一種驗證方法而驗證(步驟1214)。若其性能係可接受(步驟1216),則該種方法係繼續進行至步驟1218。若淨誤差率係仍未充分降低,則使用者反饋收集步驟1202係繼續。若一改良的分類器係構成,則任何先前訓練的專用化係測試(步驟1218)以查看其是否為一致於新的專用化。若存在其為一致之一先前訓練的專用化,則該先前訓練的專用化係選擇(步驟1220)且指向至該方法1200之一被動驗證步驟1224。否則,新訓練的專用化係選擇(步驟1222)且被動驗證於該方法1200之步驟1224。若新的專用化係驗證且可為部署(步驟1226),其為增加至專用化步級之資料庫(步驟1228)且實際部署(步驟1230)。儲存步驟1228係有利,由於不同的專用化係可能針對於一年的不同季節或在監視下的場景之不同組態而需要。因此,先前部署的專用化係可能為再次運用於稍後的時間。
二種不同的驗證操作係可實施在部署一分類器之前。首先,被動驗證係比較由使用者確認警報所提供的反饋與專用分類器的決策。若專用分類器係相較於部署分類器而較為符合於使用者,專用分類器係視為有效且接著可為受到主動驗證,其為第二種型式的驗證。於主動驗證期間, 系統係主動提出專用分類器給使用者,顯示該專用分類器拒絕的偽警報及/或由專用分類器所拒絕的真正值。使用者係選擇其為可接受的錯誤與其為否的彼等者。系統係接著企圖以調整針對於專用分類器的拒絕臨限τ r ,俾使該使用者的優選係最接近達成。若性能目標係無法達成,則該分類器係宣告為無效且資料收集步驟係繼續。否則,專用分類器係部署。
圖13係更詳細說明一種被動驗證方法1300。方法1300係自一相機102提出警報至一使用者與一專用分類器(步驟1302與1304)。於使用者介面104之使用者係回應或拒絕該警報,且該使用者反饋係由方法1300所接受(步驟1310)。同理,專用分類器係接受或拒絕其造成偽警報之該等引起警報的物件作為該類別之成員,且彼等決策結果係由方法1300所接受(步驟1340)。方法1300係自動比較使用者反饋確認警報與其由專用分類器所作成的決策(步驟1350)。若專用分類器係相較於部署分類器而並未較為符合於使用者(步驟1360),則其為受到繼續精化(步驟1370)。若專用分類器係相較於部署分類器而較為符合於使用者(步驟1360),專用分類器係視為有效且繼續進行至一主動驗證操作(步驟1380)。於一致性之提高係意指的是:專用化係能夠拒絕大多數的偽警報而未拒絕真警報。僅有較為一致的專用化係轉送至主動驗證步驟1380且最終為部署(步驟1390)。
圖14係顯示一種主動驗證方法1400,其係主動使得一使用者為從事於驗證一專用分類器。從事於主動驗證方法之使用者係較佳為一監督者、管理者、或其更熟練於抓到錯誤或對於系統的有意破壞之其他高層人士。方法1400係將專用分類器不一致性分為偽正與偽負(步驟1410)。方法1400係將二者提出至使用者(步驟1420與1430)。於使用者介面104 之使用者係接著分類錯誤為可接受或不可接受。一偽警報/偽負的折衷係藉由適當選取τ r 而自動實行(步驟1440)。增大τ r 係提高偽負之數目而降低偽正之數目。系統係企圖以調整τ r ,使得專用分類器係最為接近滿足使用者的優選。若性能係不可接受(步驟1450),該分類器係宣告為無效且資料收集步驟係繼續(步驟1460)。否則,專用分類器係部署(步驟1470)。
藉由學習及/或專用化,分類器係可適應於其環境且對於其而自動改變。具有該種分類器之一種相機系統係可能需要少或無人工現場幾何校準或調整。此係可造成實質的成本節省,藉由降低或免除針對於諸如當季節變換或相機移動時而由訓練人員安裝系統或調整系統之人力的需要。利用如本文所述的分類器之一種相機系統係可通常為由其熟悉相機安裝之任何人所安裝。
一種準確的分類器之另一個裨益係在於:分類物件之改良的準確度係可改良其供應至一物件偵測模組與其構件之反饋的品質,諸如:於上述的美國專利申請案10/884,486號所述之一種前景/背景分離器,因而進一步改良整體系統的性能。
另一個裨益係可當關於準確的分類器之反饋為收集自種種的地點而發生。特別是,若一專用化係訓練且該地點專用化步級係提供可觀的性能改良,則專用分類器係可為上載至一中央反饋伺服器。圖15係詳細顯示一種反饋收集及概括化方法1500。若由使用者/地點所允許,針對於關於專用化所修正的錯誤之錯誤元資料係收集(步驟1505)、封裝具有性能統計資料與地點資訊(步驟1510)、且為經由一網路1520而提供至一反饋伺服器(步驟1515)。於反饋伺服器,元資料與關聯資料係儲存於一反饋資料 庫1525。方法1500係評估該專用分類器之性能,運用其儲存於在該反饋伺服器或由反饋伺服器可存取之一視訊資料庫1530的錯誤元資料與視訊資料。以此方式,專用分類器係可用以自動標示大量的訓練資料。通用分類器為不符合於專用分類器之未標示資料係可提出至使用者以供在中央訓練設施之標示(未顯示)。一新的通用分類器係接著訓練以針對於其正確分類之彼等型態而一致於專用分類器(步驟1540)。自多個地點所累積的專用化係可為以類似方式而運用。若一新的通用分類器係可訓練為更為一致於所有上載的專用分類器,新的通用分類器係分發至所有地點以供可能的部署。明確而言,方法1500係測試該通用分類器是否相較於先前者為較佳(步驟1545)。若為如此,則其可分發作為一新的通用分類器以供部署在地點(步驟1550)。若為否,則專用分類器係標明為一地點樣板。當一專用分類器的性能係視為地點特定,其決策係相較於儲存的地點樣板(步驟1555)。若存在其為較一致於專用分類器之一地點樣板,則該地點樣板係可為更新(步驟1565)。否則,專用分類器係可儲存作為一新的地點樣板(步驟1560)。
選用而言,方法1500係可測試地點樣板是否為一季節改良(步驟1570),且若是如此而排定該專用化為季節改良(步驟1575)。
反饋與更新或更新的分類器或分類器參數之中央整合及分配係基於辨識誤差而致能整合社群反饋。針對於遭遇類似問題之顧客地點的資料係可整合,且一新的分類器係可訓練及傳播。該廣泛基礎的反饋係允許廣泛收集之資訊為納入於訓練一新分類器;舉例而言,關於來自種種系統的偽警報之資訊係可共享。概括而言,元資料係包括針對於分類器欲得知之充分資訊而無須存取原始視訊資料。當一新的分類器係於一顧客地 點而內部更新,新版本的分類器係亦傳送至其他顧客。舉例而言,新的分類器係可運用以確定哪些顧客地點為具有類似的偽警報來源。隨著部署系統之數目為增加,收集的反饋之數量與品質亦可提高,因而基於該反饋以致能更為準確的通用分類器之產生。
週期式更新係可推動至所有網路相機,極為類似於一防毒系統。分類器專用化係可視為一新物件定義檔。各個新定義檔係可運用被動與主動驗證機構而驗證於顧客端。若新定義檔係驗證,則其為提出至使用者以供部署。
學習新通用物件類別係採用如同前述的主動學習方法之相同程序。新物件類別之特定地點的學習係採用如同偽警報降低方法之相同方法。於一種典型情形,一新類別係通常為一較通用類別之一特定型式。舉例而言,使用者係可能想要區分一送貨卡車與其他載具。因此,“送貨卡車”係一特定型式的載具。諸如於圖16所示之其具有一新物件分類器1610的一種專用化架構係可接著執行為一個單獨的分類器而非為一現存類別之一修改者。專用化方法係可視作為一偽警報降低方法,其中,非為載貨卡車之載具係偽警報。被動與主動驗證操作係較佳為在針對於新物件的一新分類器為部署之前而完成。
一校準模組係可納入於視訊分析模組200(圖2)以響應於現場操作期間由物件分類模組210所實行的分類而自動更新種種分類物件之代表尺寸。反之,校準模組係可供應其代表已更新後的代表尺寸之資訊至物件分類模組以改良其分類性能。
一物件高度柵格係可構成於影像平面,其中,針對於各個柵 格單元,一物件之平均高度係估計而無須人工校準之輔助。一多項式擬合係可接著為估計以映射一物件之底位置至其頂位置且反之亦然。隨著時間經過,準確的物件尺寸估計係可針對於該場景之不同部分而自動產生,無論有否納入主動使用者反饋。於一個較佳實施例,一種人工校準方法係不必達成準確的物件尺寸估計。隨著較大的準確度係發展,得知的資訊之信賴度係上升,使得物件尺寸估計係可運用以降低偽偵測。運用自驗證及追蹤的物件之高度資訊且連同相機透鏡資訊,一完整組的相機參數係可然後為估計,且接著為運用以估計一地平面與影像對真實世界的座標映射。具有充分的信賴,幾何資訊係可轉移為運用於偵測其位在於地平面之上的物件,例如:於多層為容納類似載具之一停車庫的上層。
圖17係一種方法1700的流程圖,方法1700係利用及更新一尺寸函數,尺寸函數係關連一既定型式之一物件的一尺寸至於一視野之其位置。該尺寸函數係可為位置之一參數化的函數,諸如:於X與Y座標之一個二階的多項式。由於其具有概括固定尺寸於該類別(例如:成人身高)的所有成員之分類物件1702係由該物件分類模組所作成可利用,該方法1700係確定其是否為具有高或低信賴而分類作為該類別的成員(步驟1710),較佳為藉由檢查上述的信賴估計。若信賴為低,則尺寸函數係應用至物件於其目前位置(步驟1720)且由該尺寸函數所獲得之值係相較於影像之實際尺寸以確定其是否為充分接近匹配(步驟1725)。若為如此,則作為物件類別的一成員之物件1702的分類係可確認為正確(步驟1730)。若實際的尺寸與尺寸函數計算的尺寸係並未充分接近匹配,則方法1700係分類該物件作為物件類別之一非成員(步驟1735)。於任一個情形,每當分類器的 信賴為低,尺寸函數係不變,由於企圖運用可疑的資料以校準該尺寸函數係將為不謹慎。
尺寸函數係可更新(步驟1740),運用物件的實際尺寸作為針對於其出現於影像之位置的該物件類別之預期尺寸的一附加資料點。尺寸函數係藉由修改其參數而更新,諸如:藉由一種遞迴最小平方演算法或類似的演算法。因此,下次,一低信賴的物件係提出,更新尺寸函數係將應用以確認或否認該分類。以此方式,物件分類係運用現場可靠資料而自動校準於執行時間操作期間。
於本文所圖示及說明的方法與系統係可存在於主動與非主動之種種形式。舉例而言,其可部分或整體存在作為於原始碼、目標碼、可執行碼、或其他格式的程式指令所組成之一或多個軟體程式。上述之任一者係可為以壓縮或未壓縮形式而實施於一電腦可讀媒體,其包括儲存裝置。範例的電腦可讀儲存裝置係包括習用電腦系統的隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可抹除可程式化ROM(EPROM)、電氣式可抹除可程式化ROM(EEPROM)、快閃記憶體、與磁碟片或光碟片或磁帶。
結論
上文運用的術語與描述係僅為作為舉例所陳述而無意為限制。舉例而言,該種分類器係可為一遠端處理單元之部分者且該等分類方法係可實行於遠端處理單元,諸如:遠端儲存/處理單元106(圖1)、關聯於使用者介面104之一電腦、於相機系統108之另一個節點、或另一個伺服器,諸如:於一中央位置或於另一個網路之一者。熟悉此技術人士係將認知的是:本文所述的概念之彼等與諸多其他的變化、增強及修改係可能而 未脫離本發明之基本原理。本發明之範疇係應因此為僅由隨附申請專利範圍與其等效者所確定。
100‧‧‧相機系統
102‧‧‧影像捕捉裝置
104‧‧‧使用者介面
106‧‧‧遠端儲存/處理單元
108‧‧‧網路
110‧‧‧內部儲存系統
111‧‧‧硬碟機(HD)
112‧‧‧元資料資料庫(DB)
114‧‧‧顯示器
116‧‧‧輸入裝置

Claims (17)

  1. 一種響應一系統使用者的一偵測優選以為一相機系統改善視訊分析的效能之方法,所述方法係包含:當所述相機系統已於現場使用時,接收代表所述相機系統之一視野中之一場景的多個影像之影像資料,所述多個影像係包括多個物件之表示方式,所述多個物件之一第一組具有一物件類別之成員,而所述多個物件之一第二組不具有所述物件類別之成員;當所述相機系統已於現場使用時,使用配合一通用分類器實施的視訊分析以分析所接收的所述影像資料來產生一通用分類判定,所述通用分類器實行通用分類器步驟,所述通用分類判定係將所述多個物件分類為所述物件類別之成員或非成員;當所述相機系統已於現場使用時,響應於所述系統使用者的回應來產生錯誤元資料,所述回應係指出基於所述系統使用者的所述偵測優選的所述通用分類判定造成一錯誤分類判定;以及當所述相機系統已於現場使用時,藉由對已實行的所述通用分類步驟外加的一專用步驟加以實行,以基於所述錯誤元資料來改善視訊分析的效能,所述專用步驟係對由所述通用分類器所分類的所述多個物件產生用於提出給所述系統使用者的一專用分類判定,用以減少未來錯誤分類判定之次數。
  2. 如申請專利範圍第1項之方法,其中所述通用分類器係包括組態於一串級組態之N個決策步級,且其中所述專用步驟係包含自所述錯誤元資料所構成的一附加步級而增加至所述物件分類器之所述N個決策步級,因而 造成具有N+1個步級之一物件分類器。
  3. 如申請專利範圍第1項之方法,其中所述錯誤分類判定係一偽警報,所述偽警報代表當所述視訊分析確定所述第二組的一物件為所述物件類別之一成員時的一實例。
  4. 如申請專利範圍第1項之方法,其進一步包含:將所述錯誤分類判定之一表示方式顯示於一顯示器上以供所述系統使用者進行回應。
  5. 如申請專利範圍第1項之方法,其中所述通用分類器在改善視訊分析的效能之前係代表一部署分類器,且在改善視訊分析的效能之後係代表一專用分類器,所述方法係進一步包含驗證所述專用分類器。
  6. 如申請專利範圍第5項之方法,其中所述驗證所述專用分類器係包含所述專用分類器之一被動驗證,所述被動驗證係包括:藉著所述專用分類器以分類一群物件;藉著所述部署分類器以分類所述一群物件,所述部署分類器係產生偽警報與真警報;向所述系統使用者提出所述偽警報與真警報以供回應;基於所述偽警報、所述真警報、或所述偽警報和所述真警報兩者之系統使用者回應以產生反饋資訊;以及比較所述專用分類器之分類與所述反讀資訊。
  7. 如申請專利範圍第5項之方法,其中所述驗證所述專用分類器係包含所述專用分類器之一主動驗證,所述主動驗證係包括:藉著所述部署分類器以分類一群物件;藉著所述專用分類器以分類所述一群物件,其中所述專用分類器之一些分類係與所述部署分類器之分類為不一致;以及向所述系統使用者提出所述專用分類器之不一致分類之表示方式以供 驗證。
  8. 如申請專利範圍第1項之方法,其中所述相機系統係包括經部署於一地點處的多個影像捕捉裝置,所述影像捕捉裝置於所述地點處具有不同視野,所述相機系統之所述視野係對應於所述影像捕捉裝置之所述不同視野,其中所述改善視訊分析的效能係包含修改所述通用分類器以形成一地點專用分類器。
  9. 如申請專利範圍第1項之方法,其中所述相機系統係包含用以產生所述影像資料之一影像捕捉裝置,其中所述改善視訊分析的效能係包含修改所述通用分類器以形成對應所述影像捕捉裝置的一相機專用分類器。
  10. 如申請專利範圍第1項之方法,其中所述相機系統係透過一網路連接至一中央反饋伺服器之多個相機系統中的一者,所述方法係進一步包含:通訊所述錯誤元資料至所述中央反饋伺服器,其中所述錯誤元資料係被用於改善所述多個相機系統之視訊分析的效能。
  11. 如申請專利範圍第10項之方法,其中所述通用分類器係包含代表一特徵/轉變組合的一階段,所述特徵/轉變組合係包含一特徵和一判別函數,且所述改善視訊分析的效能係包含使用所述錯誤元資料以自一組可能特徵中挑選所述特徵、且自一組可能判別函數中挑選所述判別函數,所述特徵/轉變組合之所述特徵和所述判別函數係最大化所述通用分類器的物件分類效能。
  12. 如申請專利範圍第11項之方法,其中所述錯誤元資料被通訊至一中央反饋伺服器,以挑選所述特徵和所述判別函數。
  13. 如申請專利範圍第11項之方法,其中所述錯誤元資料被用來修改所述物件分類器的一現有階段的一特徵/轉變組合。
  14. 如申請專利範圍第1項之方法,其中所述相機系統係透過一網路而連接至一中央反饋伺服器,所述方法係進一步包含: 通訊所述錯誤元資料至所述中央反饋伺服器,以使用所述錯誤元資料來改善所述相機系統之視訊分析的效能。
  15. 如申請專利範圍第1項之方法,其中所述物件類別係對應一新物件分類器之一物件類別,所述新物件分類器要被包含在所述視訊分析之一物件分類模組中,且所述改善步驟係包含基於所述物件分類模組之一部署物件分類器來建構所述新物件分類器,所述部署物件分類器係確定所述多個物件是否為一部署物件類別的成員或非成員,所述建構步驟係包含:運用所述部署物件分類器以將所述第一組的物件識別作為所述部署物件類別之成員;將所識別的所述物件之表示方式提出於一顯示器上,其中所述系統使用者係將所識別的所述物件標示為所述新物件類別之成員或非成員;基於所述使用者給定的所述標示來產生所述錯誤元資料;以及形成所述新物件分類器,其中所述新物件分類器之特徵為所述部署物件分類器基於所述錯誤元資料進行修改的一版本。
  16. 如申請專利範圍第15項之方法,其中所述新物件類別係所述物件類別之一子類別。
  17. 如申請專利範圍第1項之方法,其中所述物件類別係代表關注物件的一通用類別。
TW104131589A 2008-03-03 2009-03-03 動態物件分類 TWI534719B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US3328408P 2008-03-03 2008-03-03
US3334908P 2008-03-03 2008-03-03

Publications (2)

Publication Number Publication Date
TW201601072A TW201601072A (zh) 2016-01-01
TWI534719B true TWI534719B (zh) 2016-05-21

Family

ID=41056612

Family Applications (4)

Application Number Title Priority Date Filing Date
TW104131589A TWI534719B (zh) 2008-03-03 2009-03-03 動態物件分類
TW098106916A TWI506565B (zh) 2008-03-03 2009-03-03 動態物件分類
TW104114228A TWI508003B (zh) 2008-03-03 2009-03-03 用於追蹤、索引及搜尋之物件匹配
TW098106915A TWI489394B (zh) 2008-03-03 2009-03-03 用於追蹤、索引及搜尋之物件匹配

Family Applications After (3)

Application Number Title Priority Date Filing Date
TW098106916A TWI506565B (zh) 2008-03-03 2009-03-03 動態物件分類
TW104114228A TWI508003B (zh) 2008-03-03 2009-03-03 用於追蹤、索引及搜尋之物件匹配
TW098106915A TWI489394B (zh) 2008-03-03 2009-03-03 用於追蹤、索引及搜尋之物件匹配

Country Status (7)

Country Link
US (14) US8224029B2 (zh)
KR (3) KR101564383B1 (zh)
CN (3) CN101965576B (zh)
DE (2) DE112009000485T5 (zh)
GB (6) GB2492246B (zh)
TW (4) TWI534719B (zh)
WO (2) WO2009111498A2 (zh)

Families Citing this family (605)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US9892606B2 (en) 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US7424175B2 (en) 2001-03-23 2008-09-09 Objectvideo, Inc. Video segmentation using statistical pixel modeling
US10271017B2 (en) 2012-09-13 2019-04-23 General Electric Company System and method for generating an activity summary of a person
US9466068B2 (en) 2005-10-26 2016-10-11 Cortica, Ltd. System and method for determining a pupillary response to a multimedia data element
US20160321253A1 (en) 2005-10-26 2016-11-03 Cortica, Ltd. System and method for providing recommendations based on user profiles
US9489431B2 (en) 2005-10-26 2016-11-08 Cortica, Ltd. System and method for distributed search-by-content
US20140093844A1 (en) * 2005-10-26 2014-04-03 Cortica, Ltd. Method for identification of food ingredients in multimedia content
US10949773B2 (en) 2005-10-26 2021-03-16 Cortica, Ltd. System and methods thereof for recommending tags for multimedia content elements based on context
US10387914B2 (en) 2005-10-26 2019-08-20 Cortica, Ltd. Method for identification of multimedia content elements and adding advertising content respective thereof
US8266185B2 (en) 2005-10-26 2012-09-11 Cortica Ltd. System and methods thereof for generation of searchable structures respective of multimedia data content
US9372940B2 (en) 2005-10-26 2016-06-21 Cortica, Ltd. Apparatus and method for determining user attention using a deep-content-classification (DCC) system
US10360253B2 (en) 2005-10-26 2019-07-23 Cortica, Ltd. Systems and methods for generation of searchable structures respective of multimedia data content
US10191976B2 (en) 2005-10-26 2019-01-29 Cortica, Ltd. System and method of detecting common patterns within unstructured data elements retrieved from big data sources
US11386139B2 (en) 2005-10-26 2022-07-12 Cortica Ltd. System and method for generating analytics for entities depicted in multimedia content
US9529984B2 (en) 2005-10-26 2016-12-27 Cortica, Ltd. System and method for verification of user identification based on multimedia content elements
US10585934B2 (en) 2005-10-26 2020-03-10 Cortica Ltd. Method and system for populating a concept database with respect to user identifiers
US8326775B2 (en) 2005-10-26 2012-12-04 Cortica Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US10691642B2 (en) 2005-10-26 2020-06-23 Cortica Ltd System and method for enriching a concept database with homogenous concepts
US10848590B2 (en) 2005-10-26 2020-11-24 Cortica Ltd System and method for determining a contextual insight and providing recommendations based thereon
US9031999B2 (en) 2005-10-26 2015-05-12 Cortica, Ltd. System and methods for generation of a concept based database
US11019161B2 (en) 2005-10-26 2021-05-25 Cortica, Ltd. System and method for profiling users interest based on multimedia content analysis
US11003706B2 (en) 2005-10-26 2021-05-11 Cortica Ltd System and methods for determining access permissions on personalized clusters of multimedia content elements
US9384196B2 (en) 2005-10-26 2016-07-05 Cortica, Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US9646005B2 (en) 2005-10-26 2017-05-09 Cortica, Ltd. System and method for creating a database of multimedia content elements assigned to users
US11361014B2 (en) 2005-10-26 2022-06-14 Cortica Ltd. System and method for completing a user profile
US9639532B2 (en) 2005-10-26 2017-05-02 Cortica, Ltd. Context-based analysis of multimedia content items using signatures of multimedia elements and matching concepts
US10742340B2 (en) 2005-10-26 2020-08-11 Cortica Ltd. System and method for identifying the context of multimedia content elements displayed in a web-page and providing contextual filters respective thereto
US10380267B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for tagging multimedia content elements
US9218606B2 (en) 2005-10-26 2015-12-22 Cortica, Ltd. System and method for brand monitoring and trend analysis based on deep-content-classification
US8312031B2 (en) 2005-10-26 2012-11-13 Cortica Ltd. System and method for generation of complex signatures for multimedia data content
US9953032B2 (en) 2005-10-26 2018-04-24 Cortica, Ltd. System and method for characterization of multimedia content signals using cores of a natural liquid architecture system
US9477658B2 (en) 2005-10-26 2016-10-25 Cortica, Ltd. Systems and method for speech to speech translation using cores of a natural liquid architecture system
US10380164B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for using on-image gestures and multimedia content elements as search queries
US10180942B2 (en) 2005-10-26 2019-01-15 Cortica Ltd. System and method for generation of concept structures based on sub-concepts
US10607355B2 (en) 2005-10-26 2020-03-31 Cortica, Ltd. Method and system for determining the dimensions of an object shown in a multimedia content item
US10621988B2 (en) 2005-10-26 2020-04-14 Cortica Ltd System and method for speech to text translation using cores of a natural liquid architecture system
US11604847B2 (en) 2005-10-26 2023-03-14 Cortica Ltd. System and method for overlaying content on a multimedia content element based on user interest
US11403336B2 (en) 2005-10-26 2022-08-02 Cortica Ltd. System and method for removing contextually identical multimedia content elements
US9767143B2 (en) 2005-10-26 2017-09-19 Cortica, Ltd. System and method for caching of concept structures
US10372746B2 (en) 2005-10-26 2019-08-06 Cortica, Ltd. System and method for searching applications using multimedia content elements
US10698939B2 (en) 2005-10-26 2020-06-30 Cortica Ltd System and method for customizing images
US10635640B2 (en) 2005-10-26 2020-04-28 Cortica, Ltd. System and method for enriching a concept database
US10380623B2 (en) 2005-10-26 2019-08-13 Cortica, Ltd. System and method for generating an advertisement effectiveness performance score
US10193990B2 (en) 2005-10-26 2019-01-29 Cortica Ltd. System and method for creating user profiles based on multimedia content
US9191626B2 (en) 2005-10-26 2015-11-17 Cortica, Ltd. System and methods thereof for visual analysis of an image on a web-page and matching an advertisement thereto
US11620327B2 (en) 2005-10-26 2023-04-04 Cortica Ltd System and method for determining a contextual insight and generating an interface with recommendations based thereon
US10614626B2 (en) 2005-10-26 2020-04-07 Cortica Ltd. System and method for providing augmented reality challenges
US10535192B2 (en) 2005-10-26 2020-01-14 Cortica Ltd. System and method for generating a customized augmented reality environment to a user
US11032017B2 (en) 2005-10-26 2021-06-08 Cortica, Ltd. System and method for identifying the context of multimedia content elements
US9558449B2 (en) 2005-10-26 2017-01-31 Cortica, Ltd. System and method for identifying a target area in a multimedia content element
US8818916B2 (en) 2005-10-26 2014-08-26 Cortica, Ltd. System and method for linking multimedia data elements to web pages
US11216498B2 (en) 2005-10-26 2022-01-04 Cortica, Ltd. System and method for generating signatures to three-dimensional multimedia data elements
US10776585B2 (en) 2005-10-26 2020-09-15 Cortica, Ltd. System and method for recognizing characters in multimedia content
EP2013817A2 (en) 2006-04-17 2009-01-14 Objectvideo, Inc. Video segmentation using statistical pixel modeling
US10733326B2 (en) 2006-10-26 2020-08-04 Cortica Ltd. System and method for identification of inappropriate multimedia content
GB2492246B (en) * 2008-03-03 2013-04-10 Videoiq Inc Dynamic object classification
JP5141317B2 (ja) * 2008-03-14 2013-02-13 オムロン株式会社 対象画像検出デバイス、制御プログラム、および該プログラムを記録した記録媒体、ならびに対象画像検出デバイスを備えた電子機器
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
EP3328048B1 (en) 2008-05-20 2021-04-21 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8525728B2 (en) * 2008-06-25 2013-09-03 Autoliv Development Ab Method of detecting object in the vicinity of a vehicle
US8855360B2 (en) * 2008-07-23 2014-10-07 Qualcomm Technologies, Inc. System and method for face tracking
US9633275B2 (en) * 2008-09-11 2017-04-25 Wesley Kenneth Cobb Pixel-level based micro-feature extraction
US8433175B2 (en) * 2008-10-28 2013-04-30 Yahoo! Inc. Video comparing using fingerprint representations
US8004576B2 (en) * 2008-10-31 2011-08-23 Digimarc Corporation Histogram methods and systems for object recognition
JP5279517B2 (ja) * 2009-01-09 2013-09-04 キヤノン株式会社 物体検知装置及び物体検知方法
DE102009000173A1 (de) * 2009-01-13 2010-07-15 Robert Bosch Gmbh Vorrichtung zum Zählen von Objekten, Verfahren sowie Computerprogramm
US8812226B2 (en) * 2009-01-26 2014-08-19 GM Global Technology Operations LLC Multiobject fusion module for collision preparation system
US8494909B2 (en) * 2009-02-09 2013-07-23 Datalogic ADC, Inc. Automatic learning in a merchandise checkout system with visual recognition
US20100306067A1 (en) * 2009-05-30 2010-12-02 Richard Hui Automated sell system
TWI401473B (zh) * 2009-06-12 2013-07-11 Chung Shan Inst Of Science 影像式夜間行人偵測系統及方法
KR101608396B1 (ko) * 2009-09-29 2016-04-12 인텔 코포레이션 이질적 컨텐트 소스들의 링크
US9420250B2 (en) 2009-10-07 2016-08-16 Robert Laganiere Video analytics method and system
WO2011041903A1 (en) 2009-10-07 2011-04-14 Telewatch Inc. Video analytics with pre-processing at the source end
US11948678B2 (en) * 2009-10-14 2024-04-02 Trice Imaging, Inc. Systems and devices for encrypting, converting and interacting with medical images
WO2011047200A2 (en) 2009-10-14 2011-04-21 Great Connection, Inc. Systems and methods for converting and delivering medical images to mobile devices and remote communications systems
US9712498B2 (en) 2009-10-14 2017-07-18 Trice Imaging, Inc. Systems and devices for encrypting, converting and interacting with medical images
US11206245B2 (en) 2009-10-14 2021-12-21 Trice Imaging, Inc. Systems and devices for encrypting, converting and interacting with medical images
US11462314B2 (en) 2009-10-14 2022-10-04 Trice Imaging, Inc. Systems and devices for encrypting, converting and interacting with medical images
JP5385752B2 (ja) * 2009-10-20 2014-01-08 キヤノン株式会社 画像認識装置、その処理方法及びプログラム
JP5740574B2 (ja) * 2009-11-04 2015-06-24 パナソニックIpマネジメント株式会社 情報分類装置、情報分類方法およびそのプログラム
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
AU2009243528B2 (en) * 2009-12-04 2013-08-01 Canon Kabushiki Kaisha Location-based signature selection for multi-camera object tracking
DE102009055127A1 (de) * 2009-12-22 2011-06-30 Robert Bosch GmbH, 70469 Vorrichtung und Verfahren zum Überwachen von Videoobjekten
US20110182497A1 (en) * 2010-01-22 2011-07-28 Aricent Inc. Cascade structure for classifying objects in an image
MX2012009579A (es) * 2010-02-19 2012-10-01 Toshiba Kk Sistema de rastreo de objetos en movimiento y metodo de rastreo de objetos en movimiento.
US9082278B2 (en) * 2010-03-19 2015-07-14 University-Industry Cooperation Group Of Kyung Hee University Surveillance system
TW201136315A (en) * 2010-04-13 2011-10-16 Hon Hai Prec Ind Co Ltd Monitoring system and method
US8909950B1 (en) 2010-04-18 2014-12-09 Aptima, Inc. Systems and methods of power management
US20110264530A1 (en) 2010-04-23 2011-10-27 Bryan Santangelo Apparatus and methods for dynamic secondary content and data insertion and delivery
US9143739B2 (en) 2010-05-07 2015-09-22 Iwatchlife, Inc. Video analytics with burst-like transmission of video data
SG10201503516VA (en) 2010-05-12 2015-06-29 Pelican Imaging Corp Architectures for imager arrays and array cameras
US9135514B2 (en) * 2010-05-21 2015-09-15 Qualcomm Incorporated Real time tracking/detection of multiple targets
NL2004829C2 (en) * 2010-06-07 2011-12-08 Univ Amsterdam Method for automated categorization of human face images based on facial traits.
TW201206192A (en) * 2010-07-23 2012-02-01 Hon Hai Prec Ind Co Ltd Detection device and method
US9020216B2 (en) * 2010-07-28 2015-04-28 Varian Medical Systems, Inc. Knowledge-based automatic image segmentation
CA2748060A1 (en) 2010-08-04 2012-02-04 Iwatchlife Inc. Method and system for making video calls
CA2748065A1 (en) 2010-08-04 2012-02-04 Iwatchlife Inc. Method and system for locating an individual
CA2748059A1 (en) 2010-08-04 2012-02-04 Iwatchlife Inc. Method and system for initiating communication via a communication network
US8781152B2 (en) 2010-08-05 2014-07-15 Brian Momeyer Identifying visual media content captured by camera-enabled mobile device
US8615105B1 (en) * 2010-08-31 2013-12-24 The Boeing Company Object tracking system
US20120057640A1 (en) * 2010-09-02 2012-03-08 Fang Shi Video Analytics for Security Systems and Methods
US10645344B2 (en) 2010-09-10 2020-05-05 Avigilion Analytics Corporation Video system with intelligent visual display
US9177259B1 (en) * 2010-11-29 2015-11-03 Aptima Inc. Systems and methods for recognizing and reacting to spatiotemporal patterns
US8498444B2 (en) 2010-12-13 2013-07-30 Texas Instruments Incorporated Blob representation in video processing
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US9615064B2 (en) * 2010-12-30 2017-04-04 Pelco, Inc. Tracking moving objects using a camera network
US9268996B1 (en) 2011-01-20 2016-02-23 Verint Systems Inc. Evaluation of models generated from objects in video
CN102622366B (zh) * 2011-01-28 2014-07-30 阿里巴巴集团控股有限公司 相似图像的识别方法和装置
US8675953B1 (en) * 2011-02-02 2014-03-18 Intuit Inc. Calculating an object size using images
US8737688B2 (en) 2011-02-10 2014-05-27 William A. Murphy Targeted content acquisition using image analysis
US8600172B2 (en) 2011-03-16 2013-12-03 Sensormatic Electronics, LLC Video based matching and tracking by analyzing one or more image abstractions
US9785835B2 (en) * 2011-03-22 2017-10-10 Rochester Institute Of Technology Methods for assisting with object recognition in image sequences and devices thereof
EP2689362A1 (en) * 2011-03-23 2014-01-29 Hologic, Inc. Method for automatically seeding previously-classified images among images of objects of interest from a specimen
US8724890B2 (en) * 2011-04-06 2014-05-13 GM Global Technology Operations LLC Vision-based object detection by part-based feature synthesis
US8588534B2 (en) 2011-05-06 2013-11-19 Microsoft Corporation Staged element classification
KR101973822B1 (ko) 2011-05-11 2019-04-29 포토네이션 케이맨 리미티드 어레이 카메라 이미지 데이터를 송신 및 수신하기 위한 시스템들 및 방법들
CN102831385B (zh) * 2011-06-13 2017-03-01 索尼公司 多相机监控网络中的目标识别设备和方法
US20120328184A1 (en) * 2011-06-22 2012-12-27 Feng Tang Optically characterizing objects
DE102011105356A1 (de) * 2011-06-22 2012-12-27 Audi Ag Verfahren zur Auslösung wenigstens einer irreversiblen Rückhalteeinrichtung eines Kraftfahrzeugs
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
US8799201B2 (en) * 2011-07-25 2014-08-05 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for tracking objects
JP5848551B2 (ja) * 2011-08-26 2016-01-27 キヤノン株式会社 学習装置、学習装置の制御方法、検出装置、検出装置の制御方法、およびプログラム
US11288472B2 (en) * 2011-08-30 2022-03-29 Digimarc Corporation Cart-based shopping arrangements employing probabilistic item identification
US10474858B2 (en) 2011-08-30 2019-11-12 Digimarc Corporation Methods of identifying barcoded items by evaluating multiple identification hypotheses, based on data from sensors including inventory sensors and ceiling-mounted cameras
US9367770B2 (en) 2011-08-30 2016-06-14 Digimarc Corporation Methods and arrangements for identifying objects
WO2013043751A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
US8917913B2 (en) * 2011-09-22 2014-12-23 International Business Machines Corporation Searching with face recognition and social networking profiles
KR101175597B1 (ko) * 2011-09-27 2012-08-21 (주)올라웍스 아다부스트 학습 알고리즘을 이용하여 얼굴 특징점 위치를 검출하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체
IN2014CN02708A (zh) 2011-09-28 2015-08-07 Pelican Imaging Corp
US8908962B2 (en) 2011-09-30 2014-12-09 Ebay Inc. Item recommendations using image feature data
US9977987B2 (en) * 2011-10-03 2018-05-22 Hewlett-Packard Development Company, L.P. Region selection for counterfeit determinations
KR101668930B1 (ko) * 2011-11-14 2016-10-24 인텔 코포레이션 비디오 분석 인코딩
EP2600109A3 (en) * 2011-11-30 2015-03-25 Sony Ericsson Mobile Communications AB Method for calibration of a sensor unit and accessory comprising the same
US9342735B2 (en) 2011-12-01 2016-05-17 Finding Rover, Inc. Facial recognition lost pet identifying system
FR2983607B1 (fr) * 2011-12-02 2014-01-17 Morpho Procede et dispositif de suivi d'un objet dans une sequence d'au moins deux images
US8891907B2 (en) * 2011-12-06 2014-11-18 Google Inc. System and method of identifying visual objects
CN103999018B (zh) * 2011-12-06 2016-12-28 汤姆逊许可公司 响应三维显示对象的用户选择姿势的方法和系统
US10095954B1 (en) * 2012-01-17 2018-10-09 Verint Systems Ltd. Trajectory matching across disjointed video views
US9898682B1 (en) 2012-01-22 2018-02-20 Sr2 Group, Llc System and method for tracking coherently structured feature dynamically defined within migratory medium
US9917739B2 (en) 2012-02-20 2018-03-13 Aptima, Inc. Systems and methods for network pattern matching
US8798325B2 (en) * 2012-02-21 2014-08-05 Xerox Corporation Efficient and fault tolerant license plate matching method
WO2013126578A1 (en) 2012-02-21 2013-08-29 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US9185456B2 (en) * 2012-03-27 2015-11-10 The Nielsen Company (Us), Llc Hybrid active and passive people metering for audience measurement
US8737745B2 (en) 2012-03-27 2014-05-27 The Nielsen Company (Us), Llc Scene-based people metering for audience measurement
TWI479431B (zh) * 2012-04-03 2015-04-01 Univ Chung Hua 物件追蹤方法
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
US8688782B1 (en) * 2012-05-22 2014-04-01 Google Inc. Social group suggestions within a social network
US9374399B1 (en) 2012-05-22 2016-06-21 Google Inc. Social group suggestions within a social network
WO2014005123A1 (en) 2012-06-28 2014-01-03 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays, optic arrays, and sensors
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
US9449259B1 (en) * 2012-07-25 2016-09-20 Hrl Laboratories, Llc Opportunistic cascade and cascade training, evaluation, and execution for vision-based object detection
JP6575845B2 (ja) * 2012-07-31 2019-09-18 日本電気株式会社 画像処理システム、画像処理方法及びプログラム
CA2822217A1 (en) 2012-08-02 2014-02-02 Iwatchlife Inc. Method and system for anonymous video analytics processing
US9443414B2 (en) 2012-08-07 2016-09-13 Microsoft Technology Licensing, Llc Object tracking
DE102012107392B3 (de) * 2012-08-13 2013-12-12 Chui-Min Chiu Rundum Sicherung für ein Kraftfahrzeug
WO2014031795A1 (en) 2012-08-21 2014-02-27 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
US9471838B2 (en) 2012-09-05 2016-10-18 Motorola Solutions, Inc. Method, apparatus and system for performing facial recognition
US9081466B2 (en) 2012-09-10 2015-07-14 Sap Se Dynamic chart control that triggers dynamic contextual actions
US10783584B1 (en) 2012-09-10 2020-09-22 Allstate Insurance Company Recommendation of insurance products based on an inventory analysis
BR112015005258A2 (pt) * 2012-09-13 2017-07-04 Nec Corp sistema de processamento de imagem, método de processamento de imagem e programa
US9256807B1 (en) * 2012-09-27 2016-02-09 Google Inc. Generating labeled images
EP2901671A4 (en) 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
JP2014071832A (ja) * 2012-10-01 2014-04-21 Toshiba Corp 物体検出装置及びその検出方法
US20140098991A1 (en) * 2012-10-10 2014-04-10 PixArt Imaging Incorporation, R.O.C. Game doll recognition system, recognition method and game system using the same
US9727586B2 (en) * 2012-10-10 2017-08-08 Samsung Electronics Co., Ltd. Incremental visual query processing with holistic feature feedback
US9224184B2 (en) 2012-10-21 2015-12-29 Digimarc Corporation Methods and arrangements for identifying objects
US9489635B1 (en) * 2012-11-01 2016-11-08 Google Inc. Methods and systems for vehicle perception feedback to classify data representative of types of objects and to request feedback regarding such classifications
JP5936993B2 (ja) 2012-11-08 2016-06-22 東芝テック株式会社 商品認識装置及び商品認識プログラム
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9197861B2 (en) 2012-11-15 2015-11-24 Avo Usa Holding 2 Corporation Multi-dimensional virtual beam detection for video analytics
US10009579B2 (en) 2012-11-21 2018-06-26 Pelco, Inc. Method and system for counting people using depth sensor
US9367733B2 (en) 2012-11-21 2016-06-14 Pelco, Inc. Method and apparatus for detecting people by a surveillance system
DE102012223121A1 (de) 2012-12-13 2014-06-18 Cassidian Optronics Gmbh Verfahren zur Verfolgung wenigstens eines Objekts und Überwachungsvorrichtung
US10509963B2 (en) 2012-12-20 2019-12-17 Microsoft Technology Licensing, Llc Discovering authoritative images of people entities
US8867789B2 (en) * 2013-01-14 2014-10-21 Cyberlink Corp. Systems and methods for tracking an object in a video
KR20140092211A (ko) * 2013-01-15 2014-07-23 삼성전자주식회사 미디어 컨텐츠 재생 중에 가상 카메라 기능을 수행하는 방법 및 장치
US8874471B2 (en) * 2013-01-29 2014-10-28 Wal-Mart Stores, Inc. Retail loss prevention using biometric data
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
US10546204B1 (en) 2013-03-05 2020-01-28 Amazon Technologies, Inc. Item information discovery with a wearable device
WO2014138697A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
IN2013CH01043A (zh) 2013-03-12 2015-08-14 Yahoo Inc
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US11743431B2 (en) 2013-03-15 2023-08-29 James Carey Video identification and analytical recognition system
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US11039108B2 (en) 2013-03-15 2021-06-15 James Carey Video identification and analytical recognition system
US9639747B2 (en) * 2013-03-15 2017-05-02 Pelco, Inc. Online learning method for people detection and counting for retail stores
US9497370B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Array camera architecture implementing quantum dot color filters
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
EP2973476A4 (en) 2013-03-15 2017-01-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9762865B2 (en) 2013-03-15 2017-09-12 James Carey Video identification and analytical recognition system
JP6273685B2 (ja) * 2013-03-27 2018-02-07 パナソニックIpマネジメント株式会社 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法
US20140317078A1 (en) * 2013-04-18 2014-10-23 SkillPages Holdings Limited Method and system for retrieving information
RU2015147449A (ru) 2013-04-19 2017-05-24 Джеймс КАРЕЙ Аналитическая система распознавания и видеоидентификации
US9471849B2 (en) * 2013-05-05 2016-10-18 Qognify Ltd. System and method for suspect search
CA2815161A1 (en) 2013-05-06 2014-11-06 Hydro-Quebec Quantitative analysis of signal related measurements for trending and pattern recognition
US10860976B2 (en) 2013-05-24 2020-12-08 Amazon Technologies, Inc. Inventory tracking
US10949804B2 (en) 2013-05-24 2021-03-16 Amazon Technologies, Inc. Tote based item tracking
US10984372B2 (en) 2013-05-24 2021-04-20 Amazon Technologies, Inc. Inventory transitions
US9542585B2 (en) * 2013-06-06 2017-01-10 Apple Inc. Efficient machine-readable object detection and tracking
US10268983B2 (en) * 2013-06-26 2019-04-23 Amazon Technologies, Inc. Detecting item interaction and movement
US10176513B1 (en) * 2013-06-26 2019-01-08 Amazon Technologies, Inc. Using gestures and expressions to assist users
US10176456B2 (en) * 2013-06-26 2019-01-08 Amazon Technologies, Inc. Transitioning items from a materials handling facility
US10296814B1 (en) 2013-06-27 2019-05-21 Amazon Technologies, Inc. Automated and periodic updating of item images data store
US9594983B2 (en) 2013-08-02 2017-03-14 Digimarc Corporation Learning systems and methods
US10353982B1 (en) 2013-08-13 2019-07-16 Amazon Technologies, Inc. Disambiguating between users
US9659033B2 (en) * 2013-08-19 2017-05-23 Nant Holdings Ip, Llc Metric based recognition, systems and methods
US9454827B2 (en) 2013-08-27 2016-09-27 Qualcomm Incorporated Systems, devices and methods for tracking objects on a display
JP6253311B2 (ja) * 2013-08-28 2017-12-27 キヤノン株式会社 画像処理装置、画像処理方法
US10366306B1 (en) 2013-09-19 2019-07-30 Amazon Technologies, Inc. Item identification among item variations
US10664795B1 (en) 2013-09-20 2020-05-26 Amazon Technologies, Inc. Weight based item tracking
US10515309B1 (en) 2013-09-20 2019-12-24 Amazon Technologies, Inc. Weight based assistance determination
US10796358B1 (en) 2013-09-24 2020-10-06 Amazon Technologies, Inc. Identifying companion gestures and behavior
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9185276B2 (en) 2013-11-07 2015-11-10 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
KR102126868B1 (ko) * 2013-11-15 2020-06-25 한화테크윈 주식회사 영상 처리 장치 및 방법
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
US11615460B1 (en) 2013-11-26 2023-03-28 Amazon Technologies, Inc. User path development
US10438259B1 (en) 2013-12-09 2019-10-08 Amazon Technologies, Inc. Propagating and presenting user specific information
US10510109B1 (en) 2013-12-09 2019-12-17 Amazon Technologies, Inc. Controlling routing of output information to output devices
US10319021B1 (en) 2013-12-17 2019-06-11 Amazon Technologies, Inc. Notifying users of item expiration
US10322881B1 (en) 2013-12-17 2019-06-18 Amazon Technologies, Inc. Notifying users to provide picked items to a drop off location for processing
EP2887258A1 (en) * 2013-12-18 2015-06-24 Microsoft Technology Licensing, LLC Object tracking
US10929661B1 (en) * 2013-12-19 2021-02-23 Amazon Technologies, Inc. System for user identification
US9304657B2 (en) 2013-12-31 2016-04-05 Abbyy Development Llc Audio tagging
US8886387B1 (en) * 2014-01-07 2014-11-11 Google Inc. Estimating multi-vehicle motion characteristics by finding stable reference points
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
KR102213867B1 (ko) * 2014-03-12 2021-02-08 에스케이플래닛 주식회사 서비스 제공 장치와 사용자 장치, 그를 포함하는 단일 영상 기반의 분류 시스템, 그 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체
US10366174B2 (en) 2014-03-13 2019-07-30 Ebay Inc. Social fitting room experience utilizing interactive mirror and polling of target users experienced with garment type
TWI505113B (zh) * 2014-03-18 2015-10-21 Vivotek Inc 監視系統及其影像搜尋方法
US10657411B1 (en) 2014-03-25 2020-05-19 Amazon Technologies, Inc. Item identification
US10713614B1 (en) 2014-03-25 2020-07-14 Amazon Technologies, Inc. Weight and vision based item tracking
US10040628B1 (en) 2014-03-25 2018-08-07 Amazon Technologies, Inc. Item replacement assistance
US10332183B1 (en) 2014-03-28 2019-06-25 Amazon Technologies, Inc. Fulfilling items to users
US10163149B1 (en) 2014-03-28 2018-12-25 Amazon Technologies, Inc. Providing item pick and place information to a user
EP2933753A1 (fr) 2014-04-14 2015-10-21 Sequeris Procédé et dispositif de commande d'actions réalisées par un système informatique
US9412048B2 (en) 2014-04-21 2016-08-09 Haier Us Appliance Solutions, Inc. Systems and methods for cookware detection
US9449220B2 (en) * 2014-04-21 2016-09-20 Haier Us Appliance Solutions, Inc. Systems and methods for cookware detection
US9509960B2 (en) * 2014-05-08 2016-11-29 Verizon Patent And Licensing Inc. Vehicle anomaly detection and reporting
US20150339324A1 (en) * 2014-05-20 2015-11-26 Road Warriors International, Inc. System and Method for Imagery Warehousing and Collaborative Search Processing
US10037509B1 (en) 2014-06-17 2018-07-31 Amazon Technologies, Inc. Efficient monitoring of inventory items
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
US10410170B1 (en) 2014-06-18 2019-09-10 Amazon Technologies, Inc. Propagating and expiring presentation information
US10303133B1 (en) 2014-06-23 2019-05-28 Amazon Technologies, Inc. Presenting predicted items to users
US11030541B1 (en) * 2014-06-24 2021-06-08 Amazon Technologies, Inc. Proactive resolution of event information
US9836655B2 (en) * 2014-06-24 2017-12-05 Nec Corporation Information processing apparatus, information processing method, and computer-readable medium
US10242393B1 (en) 2014-06-24 2019-03-26 Amazon Technologies, Inc. Determine an item and user action in a materials handling facility
US10339493B1 (en) 2014-06-24 2019-07-02 Amazon Technologies, Inc. Associating users with totes
US9779307B2 (en) 2014-07-07 2017-10-03 Google Inc. Method and system for non-causal zone search in video monitoring
US9501915B1 (en) 2014-07-07 2016-11-22 Google Inc. Systems and methods for analyzing a video stream
US10140827B2 (en) 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
CN105323572A (zh) * 2014-07-10 2016-02-10 坦亿有限公司 立体影像处理系统、装置与方法
WO2016016984A1 (ja) * 2014-07-31 2016-02-04 日立マクセル株式会社 撮像装置およびその被写体追尾方法
US10176449B1 (en) 2014-08-08 2019-01-08 Amazon Technologies, Inc. Timeout durations for radio frequency identification tags
US10769579B1 (en) 2014-09-08 2020-09-08 Amazon Technologies, Inc. Tote association
US10268984B1 (en) 2014-09-29 2019-04-23 Amazon Technologies, Inc. Inventory item release locations
JP2017531976A (ja) 2014-09-29 2017-10-26 フォトネイション ケイマン リミテッド アレイカメラを動的に較正するためのシステム及び方法
US11851279B1 (en) 2014-09-30 2023-12-26 Amazon Technologies, Inc. Determining trends from materials handling facility information
USD782495S1 (en) 2014-10-07 2017-03-28 Google Inc. Display screen or portion thereof with graphical user interface
DE102014221888A1 (de) * 2014-10-28 2016-04-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur Lokalisierung eines Fahrzeugs in seinem Umfeld
US10217223B2 (en) 2014-10-28 2019-02-26 Hewlett-Packard Development Company, L.P. Image data segmentation
US10643174B1 (en) 2014-12-11 2020-05-05 Amazon Technologies, Inc. Dynamic item facing
US9928708B2 (en) 2014-12-12 2018-03-27 Hawxeye, Inc. Real-time video analysis for security surveillance
JP6417917B2 (ja) * 2014-12-15 2018-11-07 カシオ計算機株式会社 商品登録装置、緊急通報方法及び緊急通報装置
US10671856B1 (en) 2014-12-19 2020-06-02 Amazon Technologies, Inc. Detecting item actions and inventory changes at an inventory location
US9791541B2 (en) * 2014-12-19 2017-10-17 The Boeing Company System and method to improve object tracking using multiple tracking systems
US10169660B1 (en) 2014-12-19 2019-01-01 Amazon Technologies, Inc. Counting inventory items using image analysis
US10169677B1 (en) 2014-12-19 2019-01-01 Amazon Technologies, Inc. Counting stacked inventory using image analysis
US9996818B1 (en) 2014-12-19 2018-06-12 Amazon Technologies, Inc. Counting inventory items using image analysis and depth information
US9940726B2 (en) 2014-12-19 2018-04-10 The Boeing Company System and method to improve object tracking using tracking fingerprints
US10108157B1 (en) 2014-12-23 2018-10-23 Amazon Technologies, Inc. Reducing power consumption and data transmission
US10291862B1 (en) 2014-12-23 2019-05-14 Amazon Technologies, Inc. Camera hierarchy for monitoring large facilities
US10475185B1 (en) 2014-12-23 2019-11-12 Amazon Technologies, Inc. Associating a user with an event
US10134004B1 (en) 2014-12-23 2018-11-20 Amazon Technologies, Inc. Processing image data from a camera cluster
US10552750B1 (en) 2014-12-23 2020-02-04 Amazon Technologies, Inc. Disambiguating between multiple users
US10438277B1 (en) 2014-12-23 2019-10-08 Amazon Technologies, Inc. Determining an item involved in an event
US10696454B1 (en) 2014-12-26 2020-06-30 Amazon Technologies, Inc. Combination carrying device
CN104537359B (zh) * 2015-01-15 2019-02-15 浙江宇视科技有限公司 一种车辆目标检测方法及装置
KR102366522B1 (ko) * 2015-02-09 2022-02-23 한화테크윈 주식회사 물체 검출 방법 및 이 방법을 채용한 감시 시스템
CN113192374B (zh) 2015-03-06 2023-09-01 伊利诺斯工具制品有限公司 用于焊接的传感器辅助头戴式显示器
CN107980153B (zh) 2015-03-09 2021-10-22 伊利诺斯工具制品有限公司 提供与焊接操作相关联的视觉信息的方法和装置
US10210464B2 (en) * 2015-03-11 2019-02-19 Qualcomm Incorporated Online training for object recognition system
WO2016146847A1 (en) * 2015-03-19 2016-09-22 Idaso Limited A method of analysing a multimedia file
US11523090B2 (en) * 2015-03-23 2022-12-06 The Chamberlain Group Llc Motion data extraction and vectorization
US11205270B1 (en) 2015-03-25 2021-12-21 Amazon Technologies, Inc. Collecting user pattern descriptors for use in tracking a movement of a user within a materials handling facility
US10810539B1 (en) * 2015-03-25 2020-10-20 Amazon Technologies, Inc. Re-establishing tracking of a user within a materials handling facility
US10586203B1 (en) 2015-03-25 2020-03-10 Amazon Technologies, Inc. Segmenting a user pattern into descriptor regions for tracking and re-establishing tracking of a user within a materials handling facility
US10679177B1 (en) 2015-03-25 2020-06-09 Amazon Technologies, Inc. Using depth sensing cameras positioned overhead to detect and track a movement of a user within a materials handling facility
US9666160B2 (en) * 2015-03-26 2017-05-30 Illinois Tool Works Inc. Control of mediated reality welding system based on lighting conditions
US9977242B2 (en) 2015-03-26 2018-05-22 Illinois Tool Works Inc. Control of mediated reality welding system based on lighting conditions
US11416805B1 (en) 2015-04-06 2022-08-16 Position Imaging, Inc. Light-based guidance for package tracking systems
US11501244B1 (en) 2015-04-06 2022-11-15 Position Imaging, Inc. Package tracking systems and methods
US9501707B2 (en) * 2015-04-16 2016-11-22 Xerox Corporation Method and system for bootstrapping an OCR engine for license plate recognition
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US10043078B2 (en) * 2015-04-21 2018-08-07 Placemeter LLC Virtual turnstile system and method
US20160335432A1 (en) * 2015-05-17 2016-11-17 Bitdefender IPR Management Ltd. Cascading Classifiers For Computer Security Applications
US10552933B1 (en) 2015-05-20 2020-02-04 Digimarc Corporation Image processing methods and arrangements useful in automated store shelf inspections
US9996749B2 (en) * 2015-05-29 2018-06-12 Accenture Global Solutions Limited Detecting contextual trends in digital video content
US9361011B1 (en) 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
US9870620B2 (en) 2015-06-18 2018-01-16 The Johns Hopkins University Non-linear associator and motion discriminator
US10891736B1 (en) 2015-06-23 2021-01-12 Amazon Technologies, Inc. Associating an agent with an event using motion analysis
US10388019B1 (en) 2015-06-23 2019-08-20 Amazon Technologies, Inc. Associating an agent with an event based on multiple inputs
US10363632B2 (en) 2015-06-24 2019-07-30 Illinois Tool Works Inc. Time of flight camera for welding machine vision
US10787187B1 (en) 2015-06-26 2020-09-29 Amazon Technologies, Inc. Self-bagging carts
CN104994296A (zh) * 2015-07-02 2015-10-21 安徽状元郎电子科技有限公司 一种教师自动跟踪摄像系统
US9911290B1 (en) 2015-07-25 2018-03-06 Gary M. Zalewski Wireless coded communication (WCC) devices for tracking retail interactions with goods and association to user accounts
EP3332549A4 (en) * 2015-08-04 2018-08-08 James Carey Video identification and analytical recognition system
EP3133455B1 (en) * 2015-08-17 2021-04-14 Honda Research Institute Europe GmbH System for autonomously or partially autonomously driving a vehicle with a communication module for obtaining additional information from a vehicle driver and corresponding method
CN105187785B (zh) * 2015-08-31 2018-05-11 桂林电子科技大学 一种基于动态选取显著特征的跨卡口行人识别系统与方法
US9817471B2 (en) * 2015-09-04 2017-11-14 Panasonic Intellectual Property Corporation Of America Method for adding information and server apparatus
US10616465B2 (en) * 2015-09-16 2020-04-07 Microsoft Technology Licensing, Llc Bandwidth efficient video surveillance system
US10592742B1 (en) 2015-09-28 2020-03-17 Amazon Technologies, Inc. Agent re-identification
US10089505B1 (en) 2015-09-29 2018-10-02 Amazon Technologies, Inc. Inventory tracking using RFID
US10037449B1 (en) 2015-09-29 2018-07-31 Amazon Technologies, Inc. Inventory tracking using RFID
US10262172B1 (en) 2015-09-29 2019-04-16 Amazon Technologies, Inc. Inventory tracking using RFID
EP3357019A4 (en) * 2015-09-30 2019-03-27 The Nielsen Company (US), LLC. INTERACTIVE EXAMINATION OF PRODUCTS WITH A MOBILE DEVICE
TWI621076B (zh) * 2015-10-19 2018-04-11 陳冠魁 結帳管理系統
TWI621101B (zh) * 2015-10-23 2018-04-11 Morpho, Inc. 圖像處理裝置、電子設備、圖像處理方法以及電腦程式產品
CN105357475A (zh) * 2015-10-28 2016-02-24 小米科技有限责任公司 用于视频播放的方法及装置
US9959468B2 (en) 2015-11-06 2018-05-01 The Boeing Company Systems and methods for object tracking and classification
KR102410268B1 (ko) * 2015-11-20 2022-06-20 한국전자통신연구원 객체 추적 방법 및 그 방법을 수행하는 객체 추적 장치
TWI587246B (zh) * 2015-11-20 2017-06-11 晶睿通訊股份有限公司 影像物件判別方法及其具有影像物件判別功能的攝影系統
US11037015B2 (en) 2015-12-15 2021-06-15 Cortica Ltd. Identification of key points in multimedia data elements
US11195043B2 (en) 2015-12-15 2021-12-07 Cortica, Ltd. System and method for determining common patterns in multimedia content elements based on key points
JP6708218B2 (ja) 2015-12-16 2020-06-10 日本電気株式会社 情報処理装置、侵入検知方法及びコンピュータプログラム
US10242455B2 (en) * 2015-12-18 2019-03-26 Iris Automation, Inc. Systems and methods for generating a 3D world model using velocity data of a vehicle
GB2545900B (en) 2015-12-21 2020-08-12 Canon Kk Method, device, and computer program for re-identification of objects in images obtained from a plurality of cameras
US10121121B1 (en) 2015-12-28 2018-11-06 Amazon Technologies, Inc. Smart shelves
US20170193810A1 (en) * 2016-01-05 2017-07-06 Wizr Llc Video event detection and notification
US10650368B2 (en) * 2016-01-15 2020-05-12 Ncr Corporation Pick list optimization method
US10008115B2 (en) * 2016-02-29 2018-06-26 Analog Devices Global Visual vehicle parking occupancy sensor
JP2017156956A (ja) * 2016-03-01 2017-09-07 株式会社東芝 機器選択装置、その方法及びそのプログラム
US9911055B2 (en) * 2016-03-08 2018-03-06 Conduent Business Services, Llc Method and system for detection and classification of license plates
US11030775B2 (en) 2016-03-17 2021-06-08 Flir Systems, Inc. Minimal user input video analytics systems and methods
US10776926B2 (en) 2016-03-17 2020-09-15 Avigilon Corporation System and method for training object classifier by machine learning
US10735659B2 (en) 2016-03-17 2020-08-04 Flir Systems, Inc. Rotation-adaptive video analytics camera and method
US10421012B2 (en) 2016-03-25 2019-09-24 Zero Latency PTY LTD System and method for tracking using multiple slave servers and a master server
US10486061B2 (en) 2016-03-25 2019-11-26 Zero Latency Pty Ltd. Interference damping for continuous game play
US10071306B2 (en) 2016-03-25 2018-09-11 Zero Latency PTY LTD System and method for determining orientation using tracking cameras and inertial measurements
US10277831B2 (en) * 2016-03-25 2019-04-30 Fuji Xerox Co., Ltd. Position identifying apparatus and method, path identifying apparatus, and non-transitory computer readable medium
US10717001B2 (en) 2016-03-25 2020-07-21 Zero Latency PTY LTD System and method for saving tracked data in the game server for replay, review and training
US9916496B2 (en) 2016-03-25 2018-03-13 Zero Latency PTY LTD Systems and methods for operating a virtual reality environment using colored marker lights attached to game objects
TWI553592B (zh) * 2016-03-29 2016-10-11 Next Animation Studio Ltd The method of tracking objects in the video
JP2019513274A (ja) * 2016-03-29 2019-05-23 ボサ ノバ ロボティクス アイピー, インク.Bossa Nova Robotics Ip, Inc. 品物の設置、特定および計数のためのシステムおよび方法
DE102016206361A1 (de) * 2016-04-15 2017-10-19 Robert Bosch Gmbh Kameraeinrichtung für den Außenbereich eines Gebäudes
US10558627B2 (en) * 2016-04-21 2020-02-11 Leantaas, Inc. Method and system for cleansing and de-duplicating data
US10586023B2 (en) 2016-04-21 2020-03-10 Time Warner Cable Enterprises Llc Methods and apparatus for secondary content management and fraud prevention
US10319198B2 (en) 2016-05-02 2019-06-11 Focal Systems, Inc. Expedited checkout system through portable checkout units
US9984314B2 (en) * 2016-05-06 2018-05-29 Microsoft Technology Licensing, Llc Dynamic classifier selection based on class skew
US10522013B2 (en) * 2016-05-20 2019-12-31 Vivint, Inc. Street watch
KR102386982B1 (ko) * 2016-05-26 2022-04-14 삼성에스디에스 주식회사 영상 분석을 이용한 카메라 캘리브레이션 방법 및 그 장치
US10506237B1 (en) 2016-05-27 2019-12-10 Google Llc Methods and devices for dynamic adaptation of encoding bitrate for video streaming
US10121515B2 (en) 2016-06-06 2018-11-06 Avigilon Corporation Method, system and computer program product for interactively identifying same individuals or objects present in video recordings
US10402643B2 (en) * 2016-06-15 2019-09-03 Google Llc Object rejection system and method
WO2018009552A1 (en) * 2016-07-05 2018-01-11 Nauto Global Limited System and method for image analysis
JP2019531560A (ja) 2016-07-05 2019-10-31 ナウト, インコーポレイテッドNauto, Inc. 自動運転者識別システムおよび方法
US10380429B2 (en) 2016-07-11 2019-08-13 Google Llc Methods and systems for person detection in a video feed
US10192415B2 (en) 2016-07-11 2019-01-29 Google Llc Methods and systems for providing intelligent alerts for events
US10957171B2 (en) * 2016-07-11 2021-03-23 Google Llc Methods and systems for providing event alerts
US10223067B2 (en) 2016-07-15 2019-03-05 Microsoft Technology Licensing, Llc Leveraging environmental context for enhanced communication throughput
KR101917354B1 (ko) * 2016-07-18 2018-11-09 단국대학교 천안캠퍼스 산학협력단 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 시스템 및 방법
US9916493B2 (en) 2016-08-03 2018-03-13 At&T Intellectual Property I, L.P. Method and system for aggregating video content
US10209081B2 (en) 2016-08-09 2019-02-19 Nauto, Inc. System and method for precision localization and mapping
US10751609B2 (en) 2016-08-12 2020-08-25 Zero Latency PTY LTD Mapping arena movements into a 3-D virtual world
US11436553B2 (en) 2016-09-08 2022-09-06 Position Imaging, Inc. System and method of object tracking using weight confirmation
TWI622938B (zh) * 2016-09-13 2018-05-01 創意引晴(開曼)控股有限公司 避免辨識結果混淆之影像辨識方法
US9928432B1 (en) 2016-09-14 2018-03-27 Nauto Global Limited Systems and methods for near-crash determination
US10733460B2 (en) 2016-09-14 2020-08-04 Nauto, Inc. Systems and methods for safe route determination
TWI617930B (zh) * 2016-09-23 2018-03-11 李雨暹 空間物件搜尋排序方法、系統與電腦可讀取儲存裝置
RU2632473C1 (ru) * 2016-09-30 2017-10-05 ООО "Ай Ти Ви групп" Способ обмена данными между ip видеокамерой и сервером (варианты)
WO2018080650A2 (en) 2016-10-25 2018-05-03 725-1 Corporation Video-based data collection, image capture and analysis configuration
WO2018085804A1 (en) 2016-11-07 2018-05-11 Nauto Global Limited System and method for driver distraction determination
WO2018091110A1 (de) * 2016-11-21 2018-05-24 Robert Bosch Gmbh Anzeigevorrichtung für eine überwachungsanlage eines überwachungsbereiches, überwachungsanlage mit der anzeigevorrichtung, verfahren zur überwachung eines überwachungsbereiches mit einer überwachungsanlage und computerprogramm zur durchführung des verfahrens
GB2556923B (en) * 2016-11-25 2020-04-15 Canon Kk Generation of VCA Reference results for VCA Auto-setting
CN106454991B (zh) * 2016-11-28 2019-06-11 陕西尚品信息科技有限公司 一种移动机器人网络中的高效路由方法
CN110235138B (zh) 2016-12-05 2023-09-05 摩托罗拉解决方案公司 用于外观搜索的系统和方法
CA3046035A1 (en) 2016-12-05 2018-06-14 Avigilon Coporation System and method for cnn layer sharing
KR20180068578A (ko) * 2016-12-14 2018-06-22 삼성전자주식회사 복수의 센서를 이용하여 객체를 인식하는 전자 기기 및 방법
EP3340106B1 (en) * 2016-12-23 2023-02-08 Hexagon Technology Center GmbH Method and system for assigning particular classes of interest within measurement data
US11300662B1 (en) 2016-12-27 2022-04-12 Amazon Technologies, Inc. Detecting and locating interactions using LIDAR devices
US10839203B1 (en) 2016-12-27 2020-11-17 Amazon Technologies, Inc. Recognizing and tracking poses using digital imagery captured from multiple fields of view
TWI659221B (zh) * 2016-12-29 2019-05-11 宏達國際電子股份有限公司 追蹤系統、追蹤裝置及追蹤方法
US11798064B1 (en) 2017-01-12 2023-10-24 Digimarc Corporation Sensor-based maximum-likelihood estimation of item assignments
US10637814B2 (en) 2017-01-18 2020-04-28 Microsoft Technology Licensing, Llc Communication routing based on physical status
US10606814B2 (en) 2017-01-18 2020-03-31 Microsoft Technology Licensing, Llc Computer-aided tracking of physical entities
US10679669B2 (en) 2017-01-18 2020-06-09 Microsoft Technology Licensing, Llc Automatic narration of signal segment
US10437884B2 (en) 2017-01-18 2019-10-08 Microsoft Technology Licensing, Llc Navigation of computer-navigable physical feature graph
US11094212B2 (en) 2017-01-18 2021-08-17 Microsoft Technology Licensing, Llc Sharing signal segments of physical graph
US10482900B2 (en) 2017-01-18 2019-11-19 Microsoft Technology Licensing, Llc Organization of signal segments supporting sensed features
US10635981B2 (en) * 2017-01-18 2020-04-28 Microsoft Technology Licensing, Llc Automated movement orchestration
CN110249304B (zh) 2017-01-19 2023-05-23 三星电子株式会社 电子设备的视觉智能管理
US10909371B2 (en) 2017-01-19 2021-02-02 Samsung Electronics Co., Ltd. System and method for contextual driven intelligence
US10600043B2 (en) 2017-01-31 2020-03-24 Focal Systems, Inc. Automated checkout system through mobile shopping units
US10275687B2 (en) * 2017-02-16 2019-04-30 International Business Machines Corporation Image recognition with filtering of image classification output distribution
US10754514B1 (en) 2017-03-01 2020-08-25 Matroid, Inc. Machine learning in video classification with schedule highlighting
WO2018170512A1 (en) 2017-03-17 2018-09-20 Neurala, Inc. Online, incremental real-time learning for tagging and labeling data streams for deep neural networks and neural network applications
US10943465B1 (en) 2017-03-28 2021-03-09 Amazon Technologies, Inc. Device notification and aggregation
EP3383055A1 (en) * 2017-03-28 2018-10-03 Rohde & Schwarz GmbH & Co. KG Method and device for monitoring data related to broadcasting and/or streaming
US10482625B1 (en) 2017-03-28 2019-11-19 Amazon Technologies, Inc. Calibration of networked imaging devices to a global color space
US10699421B1 (en) 2017-03-29 2020-06-30 Amazon Technologies, Inc. Tracking objects in three-dimensional space using calibrated visual cameras and depth cameras
US11055872B1 (en) * 2017-03-30 2021-07-06 Hrl Laboratories, Llc Real-time object recognition using cascaded features, deep learning and multi-target tracking
US10223591B1 (en) 2017-03-30 2019-03-05 Amazon Technologies, Inc. Multi-video annotation
WO2018181837A1 (en) * 2017-03-31 2018-10-04 Yokogawa Electric Corporation Methods and systems for image based anomaly detection
CN108734061A (zh) * 2017-04-19 2018-11-02 台达电子工业股份有限公司 人员检测器的非警戒区域设定系统及其设定方法
TWI660156B (zh) * 2017-04-28 2019-05-21 宏達國際電子股份有限公司 追蹤系統及方法
KR102486986B1 (ko) 2017-05-04 2023-01-10 한화테크윈 주식회사 객체 검출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
EP3622438A4 (en) 2017-05-09 2021-03-10 Neurala, Inc. SYSTEMS AND METHODS FOR CONTINUOUS LEARNING LIMITED IN MEMORY IN CONTINUING APPLICATIONS OF ARTIFICIAL INTELLIGENCE AND DEEP LEARNING THROUGH NETWORKED COMPUTING EDGES
US10671050B2 (en) * 2017-05-11 2020-06-02 Turing Video, Inc. Surveillance system with intelligent robotic surveillance device
CA3063176A1 (en) 2017-05-12 2018-11-15 Focal Systems, Inc. Automatic labeling of products via expedited checkout system
US11475671B2 (en) 2017-05-26 2022-10-18 Turing Video Multiple robots assisted surveillance system
US10410086B2 (en) 2017-05-30 2019-09-10 Google Llc Systems and methods of person recognition in video streams
US11783010B2 (en) 2017-05-30 2023-10-10 Google Llc Systems and methods of person recognition in video streams
US10453150B2 (en) 2017-06-16 2019-10-22 Nauto, Inc. System and method for adverse vehicle event determination
WO2018229549A2 (en) * 2017-06-16 2018-12-20 Nauto Global Limited System and method for digital environment reconstruction
EP3638542B1 (en) 2017-06-16 2022-01-26 Nauto, Inc. System and method for contextualized vehicle operation determination
US11545033B2 (en) * 2017-06-22 2023-01-03 Apollo Intelligent Driving Technology (Beijing) Co., Ltd. Evaluation framework for predicted trajectories in autonomous driving vehicle traffic prediction
US11257057B1 (en) 2017-06-22 2022-02-22 Amazon Technologies, Inc. Secure dual-monitor point-of-sale system
US10863105B1 (en) 2017-06-27 2020-12-08 Amazon Technologies, Inc. High dynamic range imaging for event detection and inventory management
US10491808B1 (en) 2017-06-27 2019-11-26 Amazon Technologies, Inc. Detecting sunlight in images
US10650246B1 (en) 2017-06-27 2020-05-12 Amazon Technologies, Inc. System for determining a camera radiance
US11760387B2 (en) 2017-07-05 2023-09-19 AutoBrains Technologies Ltd. Driving policies determination
JP6769554B2 (ja) * 2017-07-07 2020-10-14 日本電気株式会社 物体識別装置、物体識別方法、計算装置、システムおよび記録媒体
WO2019012527A1 (en) 2017-07-09 2019-01-17 Cortica Ltd. ORGANIZATION OF DEPTH LEARNING NETWORKS
US10332272B2 (en) * 2017-08-07 2019-06-25 Caterpillar Inc. Systems and methods for testing an automatic perception system
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
US10769500B2 (en) * 2017-08-31 2020-09-08 Mitsubishi Electric Research Laboratories, Inc. Localization-aware active learning for object detection
US11284062B2 (en) * 2017-09-05 2022-03-22 Texas Instruments Incorporated Automotive display validation
US10621406B2 (en) * 2017-09-15 2020-04-14 Key Technology, Inc. Method of sorting
TWI624793B (zh) * 2017-09-19 2018-05-21 財團法人成大研究發展基金會 物件偵測的適應系統與方法
US10664688B2 (en) 2017-09-20 2020-05-26 Google Llc Systems and methods of detecting and responding to a visitor to a smart home environment
US11134227B2 (en) 2017-09-20 2021-09-28 Google Llc Systems and methods of presenting appropriate actions for responding to a visitor to a smart home environment
US11232294B1 (en) 2017-09-27 2022-01-25 Amazon Technologies, Inc. Generating tracklets from digital imagery
US10417882B2 (en) 2017-10-24 2019-09-17 The Chamberlain Group, Inc. Direction sensitive motion detector camera
DE102017219402A1 (de) * 2017-10-27 2019-05-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zum erkennen und verfolgen von objekten in einer videosequenz
US11023707B2 (en) 2017-10-27 2021-06-01 Avigilon Corporation System and method for selecting a part of a video image for a face detection operation
US11003916B2 (en) * 2017-11-03 2021-05-11 Toyota Research Institute, Inc. Systems and methods for object historical association
US11328513B1 (en) 2017-11-07 2022-05-10 Amazon Technologies, Inc. Agent re-verification and resolution using imaging
US20200272906A1 (en) * 2017-11-07 2020-08-27 Nec Corporation Discriminant model generation device, discriminant model generation method, and discriminant model generation program
US10127440B1 (en) * 2017-11-16 2018-11-13 Eagle Eye Networks Insect indicia-based alert suppression apparatus, system, and method of operation
CN108040295B (zh) * 2017-11-17 2021-05-07 上海哔哩哔哩科技有限公司 众裁方法、服务器、用户端及众裁系统
US10506202B2 (en) 2017-11-20 2019-12-10 Cisco Technology, Inc. System and method for protecting critical data on camera systems from physical attack
US10417501B2 (en) * 2017-12-06 2019-09-17 International Business Machines Corporation Object recognition in video
US10185628B1 (en) * 2017-12-07 2019-01-22 Cisco Technology, Inc. System and method for prioritization of data file backups
CN107818571B (zh) * 2017-12-11 2018-07-20 珠海大横琴科技发展有限公司 基于深度学习网络和均值漂移的船只自动跟踪方法及系统
US10956726B1 (en) 2017-12-12 2021-03-23 Amazon Technologies, Inc. Obfuscating portions of video data
US11030442B1 (en) 2017-12-13 2021-06-08 Amazon Technologies, Inc. Associating events with actors based on digital imagery
US11284041B1 (en) 2017-12-13 2022-03-22 Amazon Technologies, Inc. Associating items with actors based on digital imagery
US10699152B1 (en) 2017-12-13 2020-06-30 Amazon Technologies, Inc. Image data illumination detection
US10664962B1 (en) 2017-12-13 2020-05-26 Amazon Technologies, Inc. Determining direction of illumination
EP3726462A4 (en) * 2017-12-14 2020-12-23 NEC Corporation IDENTIFICATION DEVICE, IDENTIFICATION METHOD AND STORAGE MEDIUM
WO2019133755A1 (en) 2017-12-27 2019-07-04 General Electric Company Automated scope limiting for video analytics
US11200611B2 (en) 2017-12-29 2021-12-14 Ebay Inc. Computer vision for unsuccessful queries and iterative search
US10475191B2 (en) * 2018-01-17 2019-11-12 Sensormatic Electronics, LLC System and method for identification and suppression of time varying background objects
US20190236305A1 (en) * 2018-01-29 2019-08-01 International Business Machines Corporation Detecting unauthorized use of sensitive information in content communicated over a network
US10678848B2 (en) 2018-02-12 2020-06-09 Wipro Limited Method and a system for recognition of data in one or more images
TWI666595B (zh) 2018-02-26 2019-07-21 財團法人工業技術研究院 物件標示系統及方法
US11392131B2 (en) 2018-02-27 2022-07-19 Nauto, Inc. Method for determining driving policy
US11526549B2 (en) * 2018-03-23 2022-12-13 Motorola Solutions, Inc. Method and system for interfacing with a user to facilitate an image search for an object-of-interest
CN110324528A (zh) * 2018-03-28 2019-10-11 富泰华工业(深圳)有限公司 摄像装置、影像处理系统及方法
US10929675B2 (en) * 2018-03-29 2021-02-23 Ncr Corporation Decentralized video tracking
CN110348270B (zh) * 2018-04-03 2023-06-09 扬智科技股份有限公司 影像物件辨识方法与影像物件辨识系统
TWI661721B (zh) * 2018-04-03 2019-06-01 奇景光電股份有限公司 動作偵測電路與方法
US10999524B1 (en) 2018-04-12 2021-05-04 Amazon Technologies, Inc. Temporal high dynamic range imaging using time-of-flight cameras
CN110415264B (zh) * 2018-04-25 2023-10-24 奇景光电股份有限公司 动作检测电路与方法
US11257132B1 (en) 2018-05-04 2022-02-22 Allstate Insurance Company Processing systems and methods having a machine learning engine for providing a surface dimension output
US11436648B1 (en) 2018-05-04 2022-09-06 Allstate Insurance Company Processing system having a machine learning engine for providing a surface dimension output
US10679362B1 (en) * 2018-05-14 2020-06-09 Vulcan Inc. Multi-camera homogeneous object trajectory alignment
US11120070B2 (en) * 2018-05-21 2021-09-14 Microsoft Technology Licensing, Llc System and method for attribute-based visual search over a computer communication network
US10708484B2 (en) 2018-06-20 2020-07-07 Amazon Technologies, Inc. Detecting interference between time-of-flight cameras using modified image sensor arrays
US10674063B2 (en) 2018-06-20 2020-06-02 Amazon Technologies, Inc. Synchronizing time-of-flight cameras
US11468698B1 (en) 2018-06-28 2022-10-11 Amazon Technologies, Inc. Associating events with actors using digital imagery and machine learning
US11482045B1 (en) 2018-06-28 2022-10-25 Amazon Technologies, Inc. Associating events with actors using digital imagery and machine learning
US11468681B1 (en) 2018-06-28 2022-10-11 Amazon Technologies, Inc. Associating events with actors using digital imagery and machine learning
CN108833928B (zh) * 2018-07-03 2020-06-26 中国科学技术大学 交通监控视频编码方法
US11100367B2 (en) 2018-07-12 2021-08-24 EMC IP Holding Company LLC Dynamic digital information retrieval implemented via artificial intelligence
US10846544B2 (en) 2018-07-16 2020-11-24 Cartica Ai Ltd. Transportation prediction system and method
US10846554B2 (en) 2018-07-17 2020-11-24 Avigilon Corporation Hash-based appearance search
WO2020014766A1 (en) * 2018-07-18 2020-01-23 Laganiere Robert System and method for tracking customer movements in a customer service environment
US10681338B1 (en) 2018-07-24 2020-06-09 Amazon Technologies, Inc. Detecting interference in depth images captured using overlapping depth cameras
US10650547B2 (en) * 2018-07-26 2020-05-12 Microsoft Technology Licensing, Llc Blob detection using feature match scores
US11164037B2 (en) 2018-08-01 2021-11-02 International Business Machines Corporation Object instance ambiguity resolution
CN109284673B (zh) * 2018-08-07 2022-02-22 北京市商汤科技开发有限公司 对象跟踪方法及装置、电子设备及存储介质
US11244509B2 (en) * 2018-08-20 2022-02-08 Fisher-Rosemount Systems, Inc. Drift correction for industrial augmented reality applications
EP3834132A4 (en) 2018-09-20 2022-06-29 Avigilon Corporation Region proposal with tracker feedback
CN113424197A (zh) * 2018-09-21 2021-09-21 定位成像有限公司 机器学习辅助自改进对象识别系统和方法
US11013140B1 (en) 2018-09-25 2021-05-18 Amazon Technologies, Inc. Wall-mounted cable housing assemblies
US10839694B2 (en) 2018-10-18 2020-11-17 Cartica Ai Ltd Blind spot alert
US11181911B2 (en) 2018-10-18 2021-11-23 Cartica Ai Ltd Control transfer of a vehicle
US20200133308A1 (en) 2018-10-18 2020-04-30 Cartica Ai Ltd Vehicle to vehicle (v2v) communication less truck platooning
US11126870B2 (en) 2018-10-18 2021-09-21 Cartica Ai Ltd. Method and system for obstacle detection
US11188763B2 (en) * 2019-10-25 2021-11-30 7-Eleven, Inc. Topview object tracking using a sensor array
US11700356B2 (en) 2018-10-26 2023-07-11 AutoBrains Technologies Ltd. Control transfer of a vehicle
US10748038B1 (en) 2019-03-31 2020-08-18 Cortica Ltd. Efficient calculation of a robust signature of a media unit
US20200160089A1 (en) * 2018-11-15 2020-05-21 International Business Machines Corporation Visual pattern recognition with selective illumination for assisted inspection
US10872424B2 (en) 2018-11-19 2020-12-22 Accenture Global Solutions Limited Object tracking using object attributes
JP6810359B2 (ja) * 2018-11-22 2021-01-06 キヤノンマーケティングジャパン株式会社 情報処理装置、制御方法、プログラム
US10789535B2 (en) 2018-11-26 2020-09-29 Cartica Ai Ltd Detection of road elements
KR102002024B1 (ko) * 2018-12-06 2019-07-22 주식회사 아임클라우드 객체 라벨링 처리 방법 및 객체 관리 서버
US11386306B1 (en) 2018-12-13 2022-07-12 Amazon Technologies, Inc. Re-identification of agents using image analysis and machine learning
WO2020119924A1 (en) * 2018-12-14 2020-06-18 Xovis Ag Method and arrangement for determining a group of persons to be considered
US11126861B1 (en) 2018-12-14 2021-09-21 Digimarc Corporation Ambient inventorying arrangements
US10915783B1 (en) 2018-12-14 2021-02-09 Amazon Technologies, Inc. Detecting and locating actors in scenes based on degraded or supersaturated depth data
US20210303830A1 (en) * 2018-12-18 2021-09-30 Rovi Guides, Inc. Systems and methods for automated tracking using a client device
KR20200084395A (ko) 2018-12-20 2020-07-13 삼성전자주식회사 영상에서 오브젝트를 인식하는 전자 장치 및 그 동작 방법
EP4242586A3 (en) * 2019-01-03 2023-11-22 Leica Geosystems AG Measuring system
WO2020146861A1 (en) 2019-01-11 2020-07-16 Position Imaging, Inc. Computer-vision-based object tracking and guidance module
US10805556B1 (en) 2019-01-22 2020-10-13 Amazon Technologies, Inc. Storage units with shifted-lens cameras
US11450233B2 (en) 2019-02-19 2022-09-20 Illinois Tool Works Inc. Systems for simulating joining operations using mobile devices
US11521512B2 (en) 2019-02-19 2022-12-06 Illinois Tool Works Inc. Systems for simulating joining operations using mobile devices
US11643005B2 (en) 2019-02-27 2023-05-09 Autobrains Technologies Ltd Adjusting adjustable headlights of a vehicle
US11699078B2 (en) 2019-03-08 2023-07-11 Ai Concepts, Llc Intelligent recognition and alert methods and systems
US10776695B1 (en) 2019-03-08 2020-09-15 Ai Concepts, Llc Intelligent recognition and alert methods and systems
US11285963B2 (en) 2019-03-10 2022-03-29 Cartica Ai Ltd. Driver-based prediction of dangerous events
US11694088B2 (en) 2019-03-13 2023-07-04 Cortica Ltd. Method for object detection using knowledge distillation
US11132548B2 (en) 2019-03-20 2021-09-28 Cortica Ltd. Determining object information that does not explicitly appear in a media unit signature
US11163820B1 (en) 2019-03-25 2021-11-02 Gm Cruise Holdings Llc Object search service employing an autonomous vehicle fleet
US10796444B1 (en) 2019-03-31 2020-10-06 Cortica Ltd Configuring spanning elements of a signature generator
US11222069B2 (en) 2019-03-31 2022-01-11 Cortica Ltd. Low-power calculation of a signature of a media unit
US10776669B1 (en) 2019-03-31 2020-09-15 Cortica Ltd. Signature generation and object detection that refer to rare scenes
US11908242B2 (en) * 2019-03-31 2024-02-20 Cortica Ltd. Efficient calculation of a robust signature of a media unit
US10789527B1 (en) 2019-03-31 2020-09-29 Cortica Ltd. Method for object detection using shallow neural networks
US11544505B1 (en) * 2019-04-01 2023-01-03 Alarm.Com Incorporated Semi-supervised learning based on clustering objects in video from a property
CN110097724B (zh) * 2019-04-24 2021-06-29 苏州浪潮智能科技有限公司 一种基于fpga的物品自动看护方法及系统
DE102019207700A1 (de) * 2019-05-27 2020-12-03 Zf Friedrichshafen Ag Klassifikationsvorrichtung zur Objektdetektion in Umfeldsensordaten und Verfahren
US11580785B1 (en) 2019-06-10 2023-02-14 Amazon Technologies, Inc. Detecting interactions with non-discretized items and associating interactions with actors using digital images
US11927472B1 (en) 2019-06-26 2024-03-12 Amazon Technologies, Inc. Modular storage systems
KR20210009066A (ko) 2019-07-16 2021-01-26 삼성전자주식회사 사용자의 의도를 추정하는 방법 및 장치
US10894627B1 (en) 2019-08-09 2021-01-19 Amazon Technologies, Inc. Pinch-sealed adhesive sleeves
US11138477B2 (en) * 2019-08-15 2021-10-05 Collibra Nv Classification of data using aggregated information from multiple classification modules
WO2021034681A1 (en) 2019-08-16 2021-02-25 Bossa Nova Robotics Ip, Inc. Systems and methods for image capture and shelf content detection
US11109310B1 (en) 2019-09-17 2021-08-31 Amazon Technologies, Inc. Infrastructure-based access point load balancing
MX2022003020A (es) 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
US11012601B1 (en) 2019-09-23 2021-05-18 Amazon Technologies, Inc. Dual camera module systems
US11403849B2 (en) * 2019-09-25 2022-08-02 Charter Communications Operating, Llc Methods and apparatus for characterization of digital content
US11804076B2 (en) * 2019-10-02 2023-10-31 University Of Iowa Research Foundation System and method for the autonomous identification of physical abuse
DE112020004813B4 (de) 2019-10-07 2023-02-09 Boston Polarimetrics, Inc. System zur Erweiterung von Sensorsystemen und Bildgebungssystemen mit Polarisation
TWI699708B (zh) * 2019-10-09 2020-07-21 鼎天國際股份有限公司 貨櫃空間計算裝置
JP2021077039A (ja) * 2019-11-07 2021-05-20 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム。
EP4062328A4 (en) * 2019-11-20 2023-08-16 PayPal, Inc. PROCEDURE FOR USE OF POST-TRANSACTION DATA FOR PREVIOUS TRANSACTIONS FOR USE OF RECENT TRANSACTION DATA
CN110971819A (zh) * 2019-11-24 2020-04-07 西安呱牛信息技术有限公司 基于卫星导航用于拍摄的无人机路径控制方法及其系统
US11322037B2 (en) 2019-11-25 2022-05-03 Illinois Tool Works Inc. Weld training simulations using mobile devices, modular workpieces, and simulated welding equipment
US10769807B1 (en) * 2019-11-25 2020-09-08 Pet3D Corp System, method, and apparatus for clothing a pet
US11721231B2 (en) 2019-11-25 2023-08-08 Illinois Tool Works Inc. Weld training simulations using mobile devices, modular workpieces, and simulated welding equipment
CN110969115B (zh) * 2019-11-28 2023-04-07 深圳市商汤科技有限公司 行人事件的检测方法及装置、电子设备和存储介质
CN114787648B (zh) 2019-11-30 2023-11-10 波士顿偏振测定公司 用于使用偏振提示进行透明对象分段的系统和方法
US11893795B2 (en) 2019-12-09 2024-02-06 Google Llc Interacting with visitors of a connected home environment
US11083102B1 (en) 2019-12-10 2021-08-03 Amazon Technologies, Inc. Modular distribution frames and assemblies
FR3104774B1 (fr) * 2019-12-11 2022-01-07 Bull Sas Procédé de suivi d’un élément, dispositif électronique et produit programme d’ordinateur associés
US11593662B2 (en) 2019-12-12 2023-02-28 Autobrains Technologies Ltd Unsupervised cluster generation
US10748022B1 (en) 2019-12-12 2020-08-18 Cartica Ai Ltd Crowd separation
US11587384B1 (en) 2019-12-13 2023-02-21 Amazon Technologies, Inc. Group determination and association
US20210188205A1 (en) * 2019-12-19 2021-06-24 Zf Friedrichshafen Ag Vehicle vision system
US11100702B2 (en) 2019-12-27 2021-08-24 Industrial Technology Research Institute 3D image labeling method based on labeling information of 2D image and 3D image labeling device
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
JP2023511747A (ja) 2020-01-30 2023-03-22 イントリンジック イノベーション エルエルシー 偏光画像を含む異なる撮像モダリティで統計モデルを訓練するためのデータを合成するためのシステムおよび方法
US11410122B1 (en) 2020-01-31 2022-08-09 Amazon Technologies, Inc. Determining inventory levels using switch-equipped strips and patterns of activated or deactivated indicators
US20210240851A1 (en) * 2020-02-05 2021-08-05 C2Ro Cloud Robotics Inc. System and method for privacy-aware analysis of video streams
WO2021171208A1 (en) * 2020-02-24 2021-09-02 Thales Canada Inc. Method for semantic object detection with knowledge graph
US11590988B2 (en) 2020-03-19 2023-02-28 Autobrains Technologies Ltd Predictive turning assistant
US11755989B2 (en) 2020-03-27 2023-09-12 Toshiba Global Commerce Solutions Holdings Corporation Preventing theft at retail stores
CN111405203B (zh) * 2020-03-30 2022-11-04 杭州海康威视数字技术股份有限公司 一种画面切换的确定方法、装置、电子设备及存储介质
US11827215B2 (en) 2020-03-31 2023-11-28 AutoBrains Technologies Ltd. Method for training a driving related object detector
US11398094B1 (en) 2020-04-06 2022-07-26 Amazon Technologies, Inc. Locally and globally locating actors by digital cameras and machine learning
US11443516B1 (en) 2020-04-06 2022-09-13 Amazon Technologies, Inc. Locally and globally locating actors by digital cameras and machine learning
KR20210128736A (ko) 2020-04-17 2021-10-27 삼성전자주식회사 멀티 카메라를 포함하는 전자 장치 및 촬영 방법
US11295167B2 (en) 2020-04-27 2022-04-05 Toshiba Global Commerce Solutions Holdings Corporation Automated image curation for machine learning deployments
US11138439B1 (en) * 2020-04-30 2021-10-05 Honeywell International Inc. Systems and methods for detecting patterns within video content
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US11937019B2 (en) * 2021-06-07 2024-03-19 Elementary Robotics, Inc. Intelligent quality assurance and inspection device having multiple camera modules
US11756424B2 (en) 2020-07-24 2023-09-12 AutoBrains Technologies Ltd. Parking assist
KR102448267B1 (ko) 2020-09-23 2022-09-28 임진성 다층구조의 물탱크
US20240020968A1 (en) * 2020-10-08 2024-01-18 Edgy Bees Ltd. Improving geo-registration using machine-learning based object identification
US11896144B1 (en) 2020-12-03 2024-02-13 Amazon Technologies, Inc. Determining inventory levels using rotatable counting devices and visual imagery
US11514766B1 (en) 2020-12-10 2022-11-29 Amazon Technologies, Inc. Detecting interactions with storage units based on RFID signals and auxiliary signals
KR102271379B1 (ko) 2020-12-16 2021-06-30 주식회사 두잉랩 영상 내의 객체를 인식하여 판별하는 방법 및 서버
EP4292048A1 (en) * 2021-02-12 2023-12-20 Wyze Labs, Inc. Self-supervised collaborative approach to machine learning by models deployed on edge devices
US11676383B2 (en) * 2021-03-15 2023-06-13 Sensormatic Electronics, LLC Object counting system for high volume traffic
US11676384B2 (en) 2021-03-15 2023-06-13 Sensormatic Electronics, LLC Object counting system for high volume traffic
CN113033551A (zh) * 2021-03-16 2021-06-25 北京嘀嘀无限科技发展有限公司 对象检测的方法、装置、设备和存储介质
EP4064120B1 (en) * 2021-03-25 2023-07-26 Axis AB Method for determining images plausible to have a false negative object detection
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11810350B2 (en) 2021-05-21 2023-11-07 Western Digital Technologies, Inc. Processing of surveillance video streams using image classification and object detection
KR102343049B1 (ko) * 2021-06-17 2021-12-24 주식회사 인피닉 인공지능 학습을 위한 이미지 메타데이터 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102356907B1 (ko) * 2021-06-17 2022-02-08 주식회사 인피닉 인공지능 학습용 데이터의 메타데이터 입력 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102343051B1 (ko) * 2021-06-17 2021-12-24 주식회사 인피닉 라이다 점군으로부터 카메라 이미지의 바운딩 박스를 조정하는 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
US11940320B1 (en) 2021-06-25 2024-03-26 Amazon Technologies, Inc. Compressing load signal transmissions
US11810361B2 (en) 2021-06-25 2023-11-07 Western Digital Technologies, Inc. Site-based calibration of object detection parameters
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
US11635167B1 (en) 2021-09-09 2023-04-25 Amazon Technologies, Inc. Quick-connect camera mounts with multiple degrees of freedom
US11483479B1 (en) 2021-09-24 2022-10-25 Amazon Technologies, Inc. Targeted image stabilization
US11743580B1 (en) 2022-05-16 2023-08-29 Motorola Solutions, Inc. Method and system for controlling operation of a fixed position camera
US11893847B1 (en) 2022-09-23 2024-02-06 Amazon Technologies, Inc. Delivering items to evaluation rooms while maintaining customer privacy

Family Cites Families (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4760604A (en) 1985-02-15 1988-07-26 Nestor, Inc. Parallel, multi-unit, adaptive, nonlinear pattern class separator and identifier
US4639784A (en) 1985-02-19 1987-01-27 Rca Corporation Video signal recursive filter adaptively controlled responsive to the history of image motion
US4779095A (en) 1986-10-28 1988-10-18 H & G Systems, Inc. Image change detection system
US4931868A (en) * 1988-05-31 1990-06-05 Grumman Aerospace Corporation Method and apparatus for detecting innovations in a scene
US5099322A (en) * 1990-02-27 1992-03-24 Texas Instruments Incorporated Scene change detection system and method
US5091780A (en) 1990-05-09 1992-02-25 Carnegie-Mellon University A trainable security system emthod for the same
KR920003198A (ko) 1990-07-06 1992-02-29 카가야세이치 화상처리에 의한 이동물체검출방법 및 그 장치와 이 장치를 사용한 거리측정 장치
US5253070A (en) 1990-12-31 1993-10-12 Goldstar Co., Ltd. System and method for automatically detecting a variation of video information
US5268967A (en) 1992-06-29 1993-12-07 Eastman Kodak Company Method for automatic foreground and background detection in digital radiographic images
DE69429145T2 (de) 1993-08-19 2002-07-18 Hitachi Ltd Klassifikation und Prüfvorrichtung für Teilchen in einer Flüssigkeit
US5473737A (en) * 1993-10-12 1995-12-05 International Business Machines Corporation Method and apparatus for displaying a composite image made up of a foreground image and a background image
WO1996009598A1 (en) * 1994-09-20 1996-03-28 Neopath, Inc. Cytological slide scoring apparatus
US5825936A (en) 1994-09-22 1998-10-20 University Of South Florida Image analyzing device using adaptive criteria
US5793888A (en) * 1994-11-14 1998-08-11 Massachusetts Institute Of Technology Machine learning apparatus and method for image searching
US6741655B1 (en) 1997-05-05 2004-05-25 The Trustees Of Columbia University In The City Of New York Algorithms and system for object-oriented content-based video search
US6301370B1 (en) 1998-04-13 2001-10-09 Eyematic Interfaces, Inc. Face recognition from video images
US7634662B2 (en) * 2002-11-21 2009-12-15 Monroe David A Method for incorporating facial recognition technology in a multimedia surveillance system
US6226388B1 (en) * 1999-01-05 2001-05-01 Sharp Labs Of America, Inc. Method and apparatus for object tracking for automatic controls in video devices
US6377296B1 (en) * 1999-01-28 2002-04-23 International Business Machines Corporation Virtual map system and method for tracking objects
US6577762B1 (en) * 1999-10-26 2003-06-10 Xerox Corporation Background surface thresholding
US6940998B2 (en) * 2000-02-04 2005-09-06 Cernium, Inc. System for automated screening of security cameras
DE10136739A1 (de) 2000-08-10 2002-02-21 Univ Ilmenau Tech Verfahren zur Realisierung eines lernfähigen, adaptiven Klassifikators
US8711217B2 (en) * 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US8564661B2 (en) * 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US7099510B2 (en) 2000-11-29 2006-08-29 Hewlett-Packard Development Company, L.P. Method and system for object detection in digital images
US20090231436A1 (en) * 2001-04-19 2009-09-17 Faltesek Anthony E Method and apparatus for tracking with identification
US20020176001A1 (en) * 2001-05-11 2002-11-28 Miroslav Trajkovic Object tracking based on color distribution
FI20011370A (fi) * 2001-06-27 2002-12-28 Nokia Corp Biotunnistusmenetelmä ja sitä hyödyntävä laite
US7167576B2 (en) * 2001-07-02 2007-01-23 Point Grey Research Method and apparatus for measuring dwell time of objects in an environment
KR100792283B1 (ko) * 2001-08-07 2008-01-07 삼성전자주식회사 이동물체 자동 추적장치 및 방법
JP2003058861A (ja) * 2001-08-15 2003-02-28 Communication Research Laboratory データエラーの検出方法及び装置、ソフトウェア並びにその記憶媒体
US6970083B2 (en) 2001-10-09 2005-11-29 Objectvideo, Inc. Video tripwire
CN1596420A (zh) 2001-10-11 2005-03-16 爱科赛亚有限责任公司 用于学习模式分类和判定值估计的方法和装置
KR100459893B1 (ko) * 2002-01-08 2004-12-04 삼성전자주식회사 동영상에서 칼라 기반의 객체를 추적하는 방법 및 그 장치
US20030204368A1 (en) * 2002-03-29 2003-10-30 Emre Ertin Adaptive sequential detection network
JP3999561B2 (ja) 2002-05-07 2007-10-31 松下電器産業株式会社 監視システムと監視カメラ
JP3767692B2 (ja) * 2002-05-08 2006-04-19 ソニー株式会社 信号処理装置および方法、記録媒体、並びにプログラム
CN1456970A (zh) * 2002-05-10 2003-11-19 天瀚科技股份有限公司 动态影像内的物件的替换方法
US7227988B2 (en) 2002-07-01 2007-06-05 Xerox Corporation Prioritized PDL segmentation producing two bit selector
US7020337B2 (en) * 2002-07-22 2006-03-28 Mitsubishi Electric Research Laboratories, Inc. System and method for detecting objects in images
US7489802B2 (en) * 2002-09-10 2009-02-10 Zeev Smilansky Miniature autonomous agents for scene interpretation
US7221775B2 (en) * 2002-11-12 2007-05-22 Intellivid Corporation Method and apparatus for computerized image background analysis
US6993960B2 (en) 2002-12-26 2006-02-07 Woodward Governor Company Method and apparatus for detecting combustion instability in continuous combustion systems
JP4228745B2 (ja) 2003-03-28 2009-02-25 株式会社日立製作所 多スペクトル撮像画像解析装置
GB2402796B (en) 2003-06-12 2005-04-20 Phasor Ltd A method and device for identifying information on the surface of an article
US7627171B2 (en) * 2003-07-03 2009-12-01 Videoiq, Inc. Methods and systems for detecting objects of interest in spatio-temporal signals
US20050114278A1 (en) * 2003-08-29 2005-05-26 Mahesh Saptharishi System and methods for incrementally augmenting a classifier
US20050073585A1 (en) * 2003-09-19 2005-04-07 Alphatech, Inc. Tracking systems and methods
US7450735B1 (en) * 2003-10-16 2008-11-11 University Of Central Florida Research Foundation, Inc. Tracking across multiple cameras with disjoint views
US20050104958A1 (en) * 2003-11-13 2005-05-19 Geoffrey Egnal Active camera video-based surveillance systems and methods
US20050105764A1 (en) * 2003-11-17 2005-05-19 Mei Han Video surveillance system with connection probability computation that is a function of object size
US20070071330A1 (en) 2003-11-18 2007-03-29 Koninklijke Phillips Electronics N.V. Matching data objects by matching derived fingerprints
KR100627500B1 (ko) * 2004-03-10 2006-09-21 엘지전자 주식회사 모바일폰의 단문 메시지 제공시스템 및 그 제공방법
US20070035622A1 (en) 2004-06-01 2007-02-15 Hanna Keith J Method and apparatus for video surveillance
US7738705B2 (en) * 2004-06-30 2010-06-15 Stefano Casadei Hierarchical method and system for pattern recognition and edge detection
WO2006012645A2 (en) * 2004-07-28 2006-02-02 Sarnoff Corporation Method and apparatus for total situational awareness and monitoring
US7639840B2 (en) 2004-07-28 2009-12-29 Sarnoff Corporation Method and apparatus for improved video surveillance through classification of detected objects
JP4180027B2 (ja) * 2004-08-27 2008-11-12 株式会社豊田中央研究所 顔部品位置検出装置及び方法並びにプログラム
JP4130820B2 (ja) * 2004-08-27 2008-08-06 株式会社豊田中央研究所 顔中心位置検出装置及び方法並びにプログラム
US7450766B2 (en) * 2004-10-26 2008-11-11 Hewlett-Packard Development Company, L.P. Classifier performance
DE602006017977D1 (de) 2005-03-17 2010-12-16 British Telecomm Verfolgen von objekten in einer videosequenz
CN101142587A (zh) 2005-03-18 2008-03-12 富士通株式会社 带有显示功能的信息介质
US8139896B1 (en) 2005-03-28 2012-03-20 Grandeye, Ltd. Tracking moving objects accurately on a wide-angle video
US7760908B2 (en) * 2005-03-31 2010-07-20 Honeywell International Inc. Event packaged video sequence
US20080291278A1 (en) * 2005-04-05 2008-11-27 Objectvideo, Inc. Wide-area site-based video surveillance system
US7366972B2 (en) 2005-04-29 2008-04-29 Microsoft Corporation Dynamically mediating multimedia content and devices
US7657100B2 (en) * 2005-05-09 2010-02-02 Like.Com System and method for enabling image recognition and searching of images
US7643674B2 (en) * 2005-05-12 2010-01-05 Hewlett-Packard Development Company, L.P. Classification methods, classifier determination methods, classifiers, classifier determination devices, and articles of manufacture
US20090041297A1 (en) * 2005-05-31 2009-02-12 Objectvideo, Inc. Human detection and tracking for security applications
EP2479990A3 (en) 2005-06-23 2013-01-23 Israel Aerospace Industries Ltd. A system and method for tracking moving objects
EP1748378B1 (en) * 2005-07-26 2009-09-16 Canon Kabushiki Kaisha Image capturing apparatus and image capturing method
US8284254B2 (en) * 2005-08-11 2012-10-09 Sightlogix, Inc. Methods and apparatus for a wide area coordinated surveillance system
US20070058836A1 (en) * 2005-09-15 2007-03-15 Honeywell International Inc. Object classification in video data
US8310554B2 (en) * 2005-09-20 2012-11-13 Sri International Method and apparatus for performing coordinated multi-PTZ camera tracking
TW200713021A (en) 2005-09-29 2007-04-01 Univ Nat Cheng Kung Hybrid picture classification method
JP4241709B2 (ja) * 2005-10-11 2009-03-18 ソニー株式会社 画像処理装置
US7519567B2 (en) 2005-10-31 2009-04-14 Hewlett-Packard Development Company, L.P. Enhanced classification of marginal instances
US7646922B2 (en) * 2005-12-30 2010-01-12 Honeywell International Inc. Object classification in video images
US7716157B1 (en) 2006-01-26 2010-05-11 Adobe Systems Incorporated Searching images with extracted objects
US8571272B2 (en) * 2006-03-12 2013-10-29 Google Inc. Techniques for enabling or establishing the use of face recognition algorithms
US7949186B2 (en) * 2006-03-15 2011-05-24 Massachusetts Institute Of Technology Pyramid match kernel and related techniques
JP4556891B2 (ja) 2006-03-17 2010-10-06 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
KR20060031832A (ko) * 2006-03-22 2006-04-13 뷰웨이 주식회사 실시간 행위분석 및 상황인지 기반 스마트 영상 보안시스템
US7523081B1 (en) * 2006-03-22 2009-04-21 Google Inc. Method and apparatus for producing a signature for an object
CN101051385B (zh) * 2006-04-07 2011-11-23 欧姆龙株式会社 特定被摄体跟踪方法和装置以及特征部跟踪方法和装置
US20070237387A1 (en) * 2006-04-11 2007-10-11 Shmuel Avidan Method for detecting humans in images
US8009861B2 (en) 2006-04-28 2011-08-30 Vobile, Inc. Method and system for fingerprinting digital video object based on multiresolution, multirate spatial and temporal signatures
KR101180160B1 (ko) 2006-05-22 2012-09-10 엑시스 에이비 비디오 감시 카메라에 의해 검출되는 물체의 특성을 식별하는 방법 및 장치
EP2024936A1 (en) 2006-05-31 2009-02-18 Thomson Licensing Multi-tracking of video objects
US8184166B2 (en) * 2006-07-06 2012-05-22 Nokia Corporation Method, device, mobile terminal and computer program product for a camera motion detection based scheme for improving camera input user interface functionalities
US20080052262A1 (en) 2006-08-22 2008-02-28 Serhiy Kosinov Method for personalized named entity recognition
US8184915B2 (en) 2006-12-04 2012-05-22 Lockheed Martin Corporation Device and method for fast computation of region based image features
US7925112B2 (en) 2007-02-28 2011-04-12 Honeywell International Inc. Video data matching using clustering on covariance appearance
US7898576B2 (en) 2007-02-28 2011-03-01 Honeywell International Inc. Method and system for indexing and searching objects of interest across a plurality of video streams
US8559516B2 (en) 2007-06-14 2013-10-15 Sony Corporation Video sequence ID by decimated scene signature
US8094971B2 (en) * 2007-09-05 2012-01-10 Seiko Epson Corporation Method and system for automatically determining the orientation of a digital image
KR100903961B1 (ko) 2007-12-17 2009-06-25 한국전자통신연구원 시그니처 파일을 이용한 고차원 데이터 색인 및 검색방법과 그 시스템
US8872940B2 (en) 2008-03-03 2014-10-28 Videoiq, Inc. Content aware storage of video data
GB2492246B (en) 2008-03-03 2013-04-10 Videoiq Inc Dynamic object classification
US8611701B2 (en) 2008-05-21 2013-12-17 Yuvad Technologies Co., Ltd. System for facilitating the search of video content
EP2321964B1 (en) 2008-07-25 2018-12-12 Google LLC Method and apparatus for detecting near-duplicate videos using perceptual video signatures
AU2008264232B2 (en) 2008-12-30 2012-05-17 Canon Kabushiki Kaisha Multi-modal object signature
JP4725690B2 (ja) 2009-01-23 2011-07-13 日本電気株式会社 映像識別子抽出装置
US8625033B1 (en) 2010-02-01 2014-01-07 Google Inc. Large-scale matching of audio and video

Also Published As

Publication number Publication date
US20150093035A1 (en) 2015-04-02
US20190073530A1 (en) 2019-03-07
GB2492246A8 (en) 2013-01-30
US20140176727A1 (en) 2014-06-26
CN101965729A (zh) 2011-02-02
CN106657812B (zh) 2020-04-03
GB2492248A8 (en) 2013-01-30
GB2492247A8 (en) 2013-01-30
KR101607224B1 (ko) 2016-03-29
TW201601072A (zh) 2016-01-01
WO2009111498A3 (en) 2009-12-03
CN101965576A (zh) 2011-02-02
US10339379B2 (en) 2019-07-02
GB201211438D0 (en) 2012-08-08
US20150278607A1 (en) 2015-10-01
US8934709B2 (en) 2015-01-13
TW201535276A (zh) 2015-09-16
US20150092054A1 (en) 2015-04-02
GB2491987A (en) 2012-12-19
GB2492247A (en) 2012-12-26
GB2470520A (en) 2010-11-24
US20220027618A1 (en) 2022-01-27
DE112009000485T5 (de) 2011-03-17
KR101592889B1 (ko) 2016-02-11
CN101965729B (zh) 2017-01-11
GB201211437D0 (en) 2012-08-08
US20090245573A1 (en) 2009-10-01
TW201005656A (en) 2010-02-01
TWI506565B (zh) 2015-11-01
TW200945218A (en) 2009-11-01
WO2009111498A2 (en) 2009-09-11
US20180060656A1 (en) 2018-03-01
US8655020B2 (en) 2014-02-18
US10133922B2 (en) 2018-11-20
US20120274777A1 (en) 2012-11-01
US20170262702A1 (en) 2017-09-14
US10127445B2 (en) 2018-11-13
US20160259975A1 (en) 2016-09-08
GB2471036A (en) 2010-12-15
US9697425B2 (en) 2017-07-04
US11176366B2 (en) 2021-11-16
US9830511B2 (en) 2017-11-28
GB2491987B (en) 2013-03-27
US20190303667A1 (en) 2019-10-03
KR20150123968A (ko) 2015-11-04
DE112009000480T5 (de) 2011-04-07
GB201211439D0 (en) 2012-08-08
KR20100124309A (ko) 2010-11-26
US9076042B2 (en) 2015-07-07
CN101965576B (zh) 2013-03-06
US8224029B2 (en) 2012-07-17
GB2470520B (en) 2012-11-28
GB2492246A (en) 2012-12-26
GB2492248A (en) 2012-12-26
US20190354757A1 (en) 2019-11-21
GB201014670D0 (en) 2010-10-20
GB2492246B (en) 2013-04-10
TWI489394B (zh) 2015-06-21
WO2009111499A3 (en) 2009-12-03
WO2009111499A2 (en) 2009-09-11
GB201014669D0 (en) 2010-10-20
GB2492247B (en) 2013-04-10
CN106657812A (zh) 2017-05-10
GB2471036B (en) 2012-08-22
US9317753B2 (en) 2016-04-19
KR101564383B1 (ko) 2015-10-30
KR20100126468A (ko) 2010-12-01
US20090244291A1 (en) 2009-10-01
US10699115B2 (en) 2020-06-30
US11669979B2 (en) 2023-06-06
US10417493B2 (en) 2019-09-17
TWI508003B (zh) 2015-11-11
GB2492248B (en) 2013-04-10
GB201211440D0 (en) 2012-08-08

Similar Documents

Publication Publication Date Title
TWI534719B (zh) 動態物件分類