JP7131921B2 - 機械学習を用いたビデオ・フィードにおける自動化されたオブジェクト追跡 - Google Patents
機械学習を用いたビデオ・フィードにおける自動化されたオブジェクト追跡 Download PDFInfo
- Publication number
- JP7131921B2 JP7131921B2 JP2018020769A JP2018020769A JP7131921B2 JP 7131921 B2 JP7131921 B2 JP 7131921B2 JP 2018020769 A JP2018020769 A JP 2018020769A JP 2018020769 A JP2018020769 A JP 2018020769A JP 7131921 B2 JP7131921 B2 JP 7131921B2
- Authority
- JP
- Japan
- Prior art keywords
- tracking
- frame
- machine learning
- frames
- fragment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Description
さらに、本開示は以下の項に従う実施形態を含む:
複数のフレームを含むビデオ・フィードを受信するステップと、
少なくとも
フレーム内の複数のオブジェクトを検出するステップ、および複数のオブジェクトの各オブジェクトに対して、オブジェクトをフレーム内のオブジェクトに対する追跡フラグメントに割り当てるステップであって、複数のオブジェクトはコンピュータビジョン、機械学習、および識別可能なオブジェクトの運動学的、視覚的、時間的または機械学習ベースの特徴のカタログを用いて検出され、割り当てられる、ステップ、
オブジェクトの運動学的、視覚的、時間的または機械学習ベースの特徴を識別し、運動学的、視覚的、時間的または機械学習ベースの特徴をオブジェクトが割り当てられる追跡フラグメントに関連付けられたメタデータに格納するステップ、
さらに複数のフレームの少なくとも幾つかに対して、
オブジェクトの運動学的、視覚的、時間的または機械学習ベースの特徴および1つ以上前のフレーム内のオブジェクトに対する追跡フラグメントに関連付けられたメタデータ内の対応する運動学的、視覚的、時間的または機械学習ベースの特徴の比較に基づいて、1つ以上前のフレーム内のオブジェクトに対する追跡フラグメントを識別するステップ、
フレーム内のオブジェクトに対する追跡フラグメントおよび1つ以上前のフレーム内のオブジェクトに対する追跡フラグメントをリンクして、オブジェクトの追跡であるより長い追跡フラグメントを形成するステップ
を含む、複数のフレームの各フレームを逐次的に処理するステップと、
複数のオブジェクトの各オブジェクトに対して、
オブジェクトの追跡を共通の参照フレームに変換して、複数のオブジェクトの追跡をマップした共通参照フレームを生成するステップと、
ビデオ・フィードを、共通参照フレームと、その上のオーバレイとして複数のオブジェクトのマップされた追跡とともに出力するステップと、
を含む、方法。
1つ以上前のフレーム内のオブジェクトに対する追跡フラグメントを識別するステップは、アクティブな追跡フラグメントのデータベースまたはサスペンドされた追跡フラグメントのデータベースを検索して、維持される追跡フラグメント内のオブジェクトに対する追跡フラグメントを識別するステップを含む、
項1乃至2の何れか1項に記載の方法。
オブジェクトの運動学的、視覚的、時間的または機械学習ベースの特徴を識別するステップは、運動学的、視覚的、時間的または機械学習ベースの特徴を、オブジェクトが割り当てられる追跡フラグメントに関連付けられたメタデータ内の一意な識別子に関連付けるステップを含み、
ビデオ・フィードを出力するステップはビデオ・フィード内のオブジェクトに対する対応するワークフロー分析を生成するステップを含み、ワークフロー分析はオブジェクトの一意な識別子に関連付けられる、
項1乃至4の何れか1項に記載の方法。
少なくとも1つのオブジェクトが第1のビデオ・フィードのフレームおよび第2のビデオ・フィードのフレーム内で検出されたことに応答して、方法は、第1のビデオ・フィードのフレーム内のオブジェクトに対する追跡フラグメントおよび第2のビデオ・フィードのフレーム内のオブジェクトに対する追跡フラグメントをリンクするステップをさらに含む、
項1乃至5の何れか1項に記載の方法。
プロセッサによる実行に応答して、装置に少なくとも、
複数のフレームを含むビデオ・フィードを受信し、
フレーム内の複数のオブジェクトを検出するステップ、および複数のオブジェクトの各オブジェクトに対して、オブジェクトをフレーム内のオブジェクトに対する追跡フラグメントに割り当てるステップであって、複数のオブジェクトは、コンピュータビジョン、機械学習、および識別可能なオブジェクトの運動学的、視覚的、時間的または機械学習ベースの特徴のカタログを用いて検出され、割り当てられる、ステップ、
オブジェクトの運動学的、視覚的、時間的または機械学習ベースの特徴を識別し、および運動学的、視覚的、時間的または機械学習ベースの特徴をオブジェクトが割り当てられる追跡フラグメントに関連付けられたメタデータに格納するステップ、
さらに複数のフレームの少なくとも幾つかに対して、
オブジェクトの運動学的、視覚的、時間的または機械学習ベースの特徴と、1つ以上前のフレーム内のオブジェクトに対する追跡フラグメントに関連付けられたメタデータ内の対応する運動学的、視覚的、時間的または機械学習ベースの特徴との比較に基づいて、1つ以上前のフレーム内のオブジェクトに対する追跡フラグメントを識別するステップ、
フレーム内のオブジェクトに対する追跡フラグメントおよび1つ以上前のフレーム内のオブジェクトに対する追跡フラグメントをリンクして、オブジェクトの追跡であるより長い追跡フラグメントを形成するステップ、
を含む、複数のフレームの各フレームを逐次的に処理し、
複数のオブジェクトの各オブジェクトに対して、
オブジェクトの追跡を共通の参照フレームに変換して、複数のオブジェクトの追跡をマップした共通参照フレームを生成し、
ビデオ・フィードを、共通参照フレームと、その上のオーバレイとして複数のオブジェクトのマップされた追跡とともに出力する、
ことをさせる実行可能命令を格納するメモリと、
を備える、装置。
装置が1つ以上前のフレーム内のオブジェクトに対する追跡フラグメントを識別することは、アクティブな追跡フラグメントのデータベースまたはサスペンドされた追跡フラグメントのデータベースを検索して、維持される追跡フラグメント内のオブジェクトに対する追跡フラグメントを識別するステップを含む、
項8乃至9のうち何れか1項に記載の装置。
装置が、オブジェクトの運動学的、視覚的、時間的または機械学習ベースの特徴を識別することは、運動学的、視覚的、時間的または機械学習ベースの特徴を、オブジェクトが割り当てられる追跡フラグメントに関連付けられたメタデータ内の一意な識別子に関連付けるステップを含み、
装置がビデオ・フィードを出力することは、ビデオ・フィード内のオブジェクトに対する対応するワークフロー分析を生成するステップを含み、ワークフロー分析はオブジェクトの一意な識別子に関連付けられる、
項8乃至11のうち何れか1項に記載の装置。
少なくとも1つのオブジェクトが第1のビデオ・フィードのフレームおよび第2のビデオ・フィードのフレーム内で検出されたことに応答して、装置はさらに、第1のビデオ・フィードのフレーム内のオブジェクトに対する追跡フラグメントおよび第2のビデオ・フィードのフレーム内のオブジェクトに対する追跡フラグメントをリンクする、
項8乃至12のうち何れか1項に記載の装置。
複数のフレームを含むビデオ・フィードを受信することと、
フレーム内の複数のオブジェクトを検出し、複数のオブジェクトの各オブジェクトに対して、オブジェクトをフレーム内のオブジェクトに対する追跡フラグメントに割り当てるステップであって、複数のオブジェクトはコンピュータビジョン、機械学習、および識別可能なオブジェクトの運動学的、視覚的、時間的または機械学習ベースの特徴のカタログを用いて検出され、割り当てられる、ステップと、
オブジェクトの運動学的、視覚的、時間的または機械学習ベースの特徴を識別し、および運動学的、視覚的、時間的または機械学習ベースの特徴をオブジェクトが割り当てられる追跡フラグメントに関連付けられたメタデータに格納するステップと、および
さらに複数のフレームの少なくとも幾つかに対して、
オブジェクトの運動学的、視覚的、時間的または機械学習ベースの特徴および1つ以上前のフレーム内のオブジェクトに対する追跡フラグメントに関連付けられたメタデータ内の対応する運動学的、視覚的、時間的または機械学習ベースの特徴の比較に基づいて、1つ以上前のフレーム内のオブジェクトに対する追跡フラグメントを識別するステップと、
フレーム内のオブジェクトに対する追跡フラグメントおよび1つ以上前のフレーム内のオブジェクトに対する追跡フラグメントをリンクして、オブジェクトの追跡であるより長い追跡フラグメントを形成するステップと、
を含む、複数のフレームの各フレームを逐次的に処理することと、
複数のオブジェクトの各オブジェクトに対して、
オブジェクトの追跡を共通の参照フレームに変換して、複数のオブジェクトの追跡をマップした共通参照フレームを生成することと、
ビデオ・フィードを、共通参照フレームと、その上のオーバレイとして複数のオブジェクトのマップされた追跡とともに出力することと、
をさせるコンピュータ読み取り可能なプログラムコードを格納した、コンピュータ読み取り可能な記憶媒体。
装置が1つ以上前のフレーム内のオブジェクトに対する追跡フラグメントを識別することは、アクティブな追跡フラグメントのデータベースまたはサスペンドされた追跡フラグメントのデータベースを検索して、維持される追跡フラグメント内のオブジェクトに対する追跡フラグメントを識別するステップを含む、項15-16の何れか1項に記載のコンピュータ読み取り可能な記憶媒体。
オブジェクトの運動学的、視覚的、時間的または機械学習ベースの特徴を識別するステップは、運動学的、視覚的、時間的または機械学習ベースの特徴を、オブジェクトが割り当てられる追跡フラグメントに関連付けられたメタデータ内の一意な識別子に関連付けるステップを含み、
装置がビデオ・フィードを出力することは、オブジェクトに対する対応するワークフロー分析を生成することを含み、ワークフロー分析は一意な識別子に関連付けられる、
項15-18の何れか1項に記載のコンピュータ読み取り可能な記憶媒体。
少なくとも1つのオブジェクトが第1のビデオ・フィードのフレームおよび第2のビデオ・フィードのフレーム内で検出されたことに応答して、装置はさらに、第1のビデオ・フィードのフレーム内のオブジェクトに対する追跡フラグメントおよび第2のビデオ・フィードのフレーム内のオブジェクトに対する追跡フラグメントをリンクする、
項15-19の何れか1項に記載のコンピュータ読み取り可能な記憶媒体。
102 受信機
104 オブジェクト検出器
106 オブジェクト追跡器
202 特徴識別子
204 追跡識別子
206 割当てエンジン
208 データベース
210 データベース
210 およびサスペンドされた追跡・データベース
302 ビデオ・フィード
304 オブジェクトの追跡
306 一意な識別子
402 ブロック
404 ブロック
406 ブロック
408 ブロック
410 ブロック
412 ブロック
414 ブロック
416 ブロック
500 装置
502 プロセッサ
504 メモリ
506 コンピュータ読み取り可能なプログラムコード
508 インタフェース
510 ディスプレイ
512 ユーザ入力インタフェース
Claims (14)
- ビデオ・フィード内の自動化されたオブジェクト追跡のための方法(400)であって、
複数のフレームを含むビデオ・フィードを受信するステップ(402)と、
前記複数のフレームの各フレームを逐次的に処理するステップ(404)であって、
前記フレーム内の複数のオブジェクトを検出するステップ(410)、および前記複数のオブジェクトの各オブジェクトに対して、前記オブジェクトを前記フレーム内の前記オブジェクトに対する追跡フラグメントに割り当てるステップであって、前記複数のオブジェクトは、コンピュータビジョン、機械学習、および識別可能なオブジェクトの運動学的、視覚的、時間的または機械学習ベースの特徴のカタログを用いて検出されるとともに割り当てられる、ステップ、
および
前記オブジェクトの運動学的、視覚的、時間的または機械学習ベースの特徴を識別するステップ(412)、および前記運動学的、視覚的、時間的または機械学習ベースの特徴を、前記オブジェクトが割り当てられる前記追跡フラグメントに関連付けられたメタデータに格納するステップ、および
さらに前記複数のフレームの少なくとも幾つかに対して、
前記オブジェクトの前記運動学的、視覚的、時間的または機械学習ベースの特徴と、1つ以上前のフレーム内の前記オブジェクトに対する前記追跡フラグメントに関連付けられたメタデータ内の、対応する運動学的、視覚的、時間的または機械学習ベースの特徴との比較に基づいて、前記1つ以上前のフレーム内の前記オブジェクトに対する追跡フラグメントを識別するステップ(414)、および
前記フレーム内の前記オブジェクトに対する前記追跡フラグメントおよび前記1つ以上前のフレーム内の前記オブジェクトに対する前記追跡フラグメントをリンクして、前記オブジェクトの追跡である、より長い追跡フラグメントを形成するステップ(416)、
を少なくとも含む、ステップと、
前記複数のオブジェクトの各オブジェクトに対して、
前記オブジェクトの前記追跡を共通の参照フレームに変換して、マップされた前記複数のオブジェクトの前記追跡を有する共通参照フレームを生成するステップ(406)と、
前記ビデオ・フィードを、前記共通参照フレームと、その上のオーバレイとして前記複数のオブジェクトの前記マップされた追跡とともに出力するステップ(408)と、
を具備し、
前記複数のフレームの各フレームを逐次的に処理するステップ(404)はさらに、前記オブジェクトが検出された第1のインスタンス内の前記オブジェクトに一意な識別子を割り当てるステップを含み、
前記オブジェクトの前記運動学的、視覚的、時間的または機械学習ベースの特徴を識別するステップ(412)は、特徴識別子(202)によって、前記運動学的、視覚的、時間的または機械学習ベースの特徴を、前記オブジェクトが割り当てられる前記追跡フラグメントに関連付けられた前記メタデータ内の前記一意な識別子に関連付けるステップを含み、
前記ビデオ・フィードを出力するステップ(408)は、前記ビデオ・フィード内のオブジェクトに対する対応するワークフロー分析を生成するステップを含み、前記ワークフロー分析は、前記オブジェクトの前記一意な識別子に関連付けられ、
前記特徴識別子(202)は、コンピュータビジョン特徴識別子(202A)及び機械学習特徴識別子(202B)を含み、
前記コンピュータビジョン特徴識別子(202A)は、形状又は色の少なくとも一方を含む1つ以上の特徴を識別するように構成され、
前記機械学習特徴識別子(202B)は、機械学習技術によってトレーニングされ、
前記コンピュータビジョン特徴識別子及び前記機械学習特徴識別子(202A、202B)は、動作可能に結合され、対応関係および/または転送学習プロセスを用いて、それらの間の特徴をマッピングするように構成されている、ことを特徴とする方法。 - 前記1つ以上前のフレーム内の前記オブジェクトに対する前記追跡フラグメントを識別する前記ステップは、前記運動学的、視覚的、時間的または機械学習ベースの特徴と前記対応する運動学的、視覚的、時間的または機械学習ベースの特徴との間の統計的分散が予め決定された閾値未満であるインスタンス内の前記追跡フラグメントを識別するステップを含む、請求項1に記載の方法。
- 前記フレーム内でまたはフレーム数の閾値以内の前のフレーム内で検出されたオブジェクトに対する前記追跡フラグメントを含むアクティブな追跡フラグメントのデータベース、および前記フレーム内でも前記フレーム数の閾値以内の前のフレーム内でも検出されないオブジェクトに対する前記追跡フラグメントを含むサスペンドされた追跡フラグメントのデータベースを維持するステップをさらに含み、
前記1つ以上前のフレーム内の前記オブジェクトに対する前記追跡フラグメントを識別するステップは、前記アクティブな追跡フラグメントのデータベースまたは前記サスペンドされた追跡フラグメントのデータベースを検索して、維持される前記追跡フラグメント内の前記オブジェクトに対する前記追跡フラグメントを識別するステップを含む、
請求項1乃至2のうち何れか1項に記載の方法。 - 前記1つ以上前のフレーム内の前記オブジェクトに対する前記追跡フラグメントがサスペンドされた追跡フラグメントの前記データベース内で識別されるインスタンスにおいて、前記1つ以上前のフレーム内の前記オブジェクトに対する前記追跡フラグメントを識別するステップは、前記1つ以上前のフレーム内の前記オブジェクトに対する前記追跡フラグメントを、サスペンドされた追跡フラグメントの前記データベースからアクティブな追跡フラグメントの前記データベースに移動するステップをさらに含み、前記フレーム内でもフレーム数の第2の閾値以内の前のフレームでも検出されないオブジェクトに対する前記追跡フラグメントは、サスペンドされた追跡フラグメントの前記データベースから削除される、請求項3に記載の方法。
- 前記ビデオ・フィードは、複数のビデオ・フィードを含み、前記ビデオ・フィードを受信するステップおよび前記複数のフレームの各フレームを逐次的に処理するステップは、前記ビデオ・フィードを受信するステップおよび少なくとも第1のビデオ・フィードおよび第2のビデオ・フィードの各々に対して前記複数のフレームの各フレームを逐次的に処理するステップを含み、および
少なくとも1つのオブジェクトが前記第1のビデオ・フィードのフレームおよび前記第2のビデオ・フィードのフレーム内で検出されたことに応答して、前記方法は、前記第1のビデオ・フィードの前記フレーム内の前記オブジェクトに対する前記追跡フラグメントと前記第2のビデオ・フィードの前記フレーム内の前記オブジェクトに対する前記追跡フラグメントをリンクするステップをさらに含む、請求項1乃至4のうち何れか1項に記載の方法。 - 前記複数のフレームの少なくとも1つのフレームはオクルージョンを含み、前記フレーム内の前記複数のオブジェクトを検出するステップは、前記複数のオブジェクトの少なくとも1つの閉塞されたオブジェクトを検出するステップ、およびコンピュータビジョン、機械学習、および識別可能なオブジェクトの運動学的、視覚的、時間的または機械学習ベースの特徴の前記カタログを用いて前記閉塞されたオブジェクトを追跡フラグメントに割り当てるステップを含む、請求項1乃至5のうち何れか1項に記載の方法。
- ビデオ・フィードにおける自動化されたオブジェクト追跡のための装置(500)であって、
プロセッサ(502)と、前記プロセッサ(502)による実行に応答して、前記装置に少なくとも:
複数のフレームを含むビデオ・フィードを受信し(402)、
少なくとも:
前記フレーム内の複数のオブジェクトを検出し、前記複数のオブジェクトの各オブジェクトに対して、前記オブジェクトを前記フレーム内の前記オブジェクトに対する追跡フラグメントに割り当てることであって、前記複数のオブジェクトは、コンピュータビジョン、機械学習、および識別可能なオブジェクトの運動学的、視覚的、時間的または機械学習ベースの特徴のカタログを用いて検出されるとともに割り当てられる、追跡フラグメントに割り当てること(410)、および
前記オブジェクトの運動学的、視覚的、時間的または機械学習ベースの特徴を識別し、および前記運動学的、視覚的、時間的または機械学習ベースの特徴を前記オブジェクトが割り当てられる前記追跡フラグメントに関連付けられたメタデータに格納すること(412)、および
さらに前記複数のフレームの少なくとも幾つかに対して、
前記オブジェクトの前記運動学的、視覚的、時間的または機械学習ベースの特徴と、1つ以上前のフレーム内の前記オブジェクトに対する前記追跡フラグメントに関連付けられたメタデータ内の、対応する運動学的、視覚的、時間的または機械学習ベースの特徴との比較に基づいて、前記1つ以上前のフレーム内の前記オブジェクトに対する追跡フラグメントを識別すること(414)、および
前記フレーム内の前記オブジェクトに対する前記追跡フラグメントおよび前記1つ以上前のフレーム内の前記オブジェクトに対する前記追跡フラグメントをリンクして、前記オブジェクトの追跡である、より長い追跡フラグメントを形成すること(416)、
を含む前記複数のフレームの各フレームを逐次的に処理し(404)、
前記複数のオブジェクトの各オブジェクトに対して、
前記オブジェクトの前記追跡を共通の参照フレームに変換して、マップされた前記複数のオブジェクトの前記追跡を有する共通参照フレームを生成し(406)、および
前記ビデオ・フィードを、前記共通参照フレームと、その上のオーバレイとして前記複数のオブジェクトの前記マップされた追跡とともに出力する(408)、
ことをさせる実行可能命令を格納するメモリ(504)と、
を備え、
前記装置が前記複数のフレームの各フレームを逐次的に処理することはさらに、前記オブジェクトが検出された第1のインスタンス内の前記オブジェクトに一意な識別子を割り当てるステップを含み、
前記装置が、前記オブジェクトの前記運動学的、視覚的、時間的または機械学習ベースの特徴を識別することは、特徴識別子(202)によって、前記運動学的、視覚的、時間的または機械学習ベースの特徴を、前記オブジェクトが割り当てられる前記追跡フラグメントに関連付けられた前記メタデータ内の前記一意な識別子に関連付けるステップを含み、
前記装置が前記ビデオ・フィードを出力することは前記ビデオ・フィード内のオブジェクトに対する対応するワークフロー分析を生成するステップを含み、前記ワークフロー分析は前記オブジェクトの前記一意な識別子に関連付けられ、
前記特徴識別子(202)は、コンピュータビジョン特徴識別子(202A)及び機械学習特徴識別子(202B)を含み、
前記コンピュータビジョン特徴識別子(202A)は、形状又は色の少なくとも一方を含む1つ以上の特徴を識別するように構成され、
前記機械学習特徴識別子(202B)は、機械学習技術によってトレーニングされ、
前記コンピュータビジョン特徴識別子及び前記機械学習特徴識別子(202A、202B)は、動作可能に結合され、対応付けおよび/または伝達学習プロセスを用いて、その間に特徴をマッピングするように構成されている、装置。 - 前記装置が前記1つ以上前のフレーム内の前記オブジェクトに対する前記追跡フラグメントを識別することは、前記運動学的、視覚的、時間的または機械学習ベースの特徴と前記対応する運動学的、視覚的、時間的または機械学習ベースの特徴との間の統計的分散が予め決定された閾値未満であるインスタンス内の前記追跡フラグメントを識別するステップを含む、請求項7に記載の装置。
- 前記メモリは、前記プロセッサによる実行に応答して、前記装置にさらに、前記フレーム内またはフレーム数の閾値以内の前のフレーム内で検出された任意のオブジェクトに対する前記追跡フラグメントを含むアクティブな追跡フラグメントのデータベース、および前記フレーム内でも前記フレーム数の閾値以内の前のフレーム内でも検出されない任意のオブジェクトに対する前記追跡フラグメントを含むサスペンドされた追跡フラグメントのデータベースを維持させる実行可能命令を格納し、および
前記装置が前記1つ以上前のフレーム内の前記オブジェクトに対する前記追跡フラグメントを識別することは、前記アクティブな追跡フラグメントのデータベースまたは前記サスペンドされた追跡フラグメントのデータベースを検索して、維持される前記追跡フラグメント内の前記オブジェクトに対する前記追跡フラグメントを識別するステップを含む、請求項7又は8に記載の装置。 - 前記1つ以上前のフレーム内の前記オブジェクトに対する前記追跡フラグメントが、サスペンドされた追跡フラグメントの前記データベースで識別されるインスタンスにおいて、前記装置が前記1つ以上前のフレーム内の前記オブジェクトに対する前記追跡フラグメントを識別することはさらに、前記1つ以上前のフレーム内の前記オブジェクトに対する前記追跡フラグメントを、サスペンドされた追跡フラグメントの前記データベースからアクティブな追跡フラグメントの前記データベースに移動するステップを含み、前記フレーム内でもフレーム数の第2の閾値以内の前のフレーム内でも検出されない任意のオブジェクトに対する前記追跡フラグメントは、サスペンドされた追跡フラグメントの前記データベースから削除される、請求項9に記載の装置。
- 前記ビデオ・フィードは複数のビデオ・フィードを含み、前記装置が前記ビデオ・フィードを受信し前記複数のフレームの各フレームを逐次的に処理することは、少なくとも、第1のビデオ・フィードおよび第2のビデオ・フィードの各々に対して前記ビデオ・フィードを受信し前記複数のフレームの各フレームを逐次的に処理するステップを含み、
少なくとも1つのオブジェクトが前記第1のビデオ・フィードのフレーム内および前記第2のビデオ・フィードのフレーム内で検出されたことに応答して、前記装置はさらに、前記第1のビデオ・フィードの前記フレーム内の前記オブジェクトに対する前記追跡フラグメントおよび前記第2のビデオ・フィードの前記フレーム内の前記オブジェクトに対する前記追跡フラグメントをリンクする、請求項7乃至10の何れか1項に記載の装置。 - 前記複数のフレームの少なくとも1つのフレームはオクルージョンを含み、前記装置が前記フレーム内の前記複数のオブジェクトを検出することは、前記複数のオブジェクトの少なくとも1つの閉塞されたオブジェクトを検出するステップ、およびコンピュータビジョン、機械学習、および識別可能なオブジェクトの運動学的、視覚的、時間的または機械学習ベースの特徴の前記カタログを用いて前記閉塞されたオブジェクトを追跡フラグメントに割り当てるステップを含む、請求項7乃至11の何れか1項に記載の装置。
- コンピュータ可読プログラムを格納したコンピュータ可読記憶媒体であって、1つまたは複数のプロセッサにより前記プログラムが実行されると、請求項1から6のいずれか一項に記載の方法を装置に実施させることを特徴とするコンピュータ可読記憶媒体。
- ビデオ・フィード内の自動化されたオブジェクト追跡のためのコンピュータプログラムであって、該コンピュータプログラムは、コンピュータ実行可能コードを含み、1つまたは複数のプロセッサにより実行されると、請求項1から6のいずれか1項に記載の方法を装置に実行させることを特徴とするコンピュータプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/474,275 | 2017-03-30 | ||
US15/474,275 US11068721B2 (en) | 2017-03-30 | 2017-03-30 | Automated object tracking in a video feed using machine learning |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018173940A JP2018173940A (ja) | 2018-11-08 |
JP7131921B2 true JP7131921B2 (ja) | 2022-09-06 |
Family
ID=61226398
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018020769A Active JP7131921B2 (ja) | 2017-03-30 | 2018-02-08 | 機械学習を用いたビデオ・フィードにおける自動化されたオブジェクト追跡 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11068721B2 (ja) |
EP (1) | EP3382643B1 (ja) |
JP (1) | JP7131921B2 (ja) |
KR (1) | KR102543508B1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020013332A (ja) * | 2018-07-18 | 2020-01-23 | トヨタ自動車株式会社 | 画像認識装置 |
WO2020075147A1 (en) * | 2018-10-13 | 2020-04-16 | Fovea Technology | Intelligent vision system and methods |
CN110002014A (zh) * | 2019-03-21 | 2019-07-12 | 武汉大学 | 一种空间碎片关联方法及介质 |
US11908340B2 (en) | 2019-07-24 | 2024-02-20 | Arris Enterprises Llc | Magnification enhancement of video for visually impaired viewers |
US10726631B1 (en) * | 2019-08-03 | 2020-07-28 | VIRNECT inc. | Augmented reality system and method with frame region recording and reproduction technology based on object tracking |
US10719993B1 (en) * | 2019-08-03 | 2020-07-21 | VIRNECT inc. | Augmented reality system and method with space and object recognition |
JP2022550548A (ja) * | 2019-09-29 | 2022-12-02 | ザックダン カンパニー | 機械学習を利用した画像内客体認識方法及び装置 |
US11403734B2 (en) | 2020-01-07 | 2022-08-02 | Ademco Inc. | Systems and methods for converting low resolution images into high resolution images |
JP7403340B2 (ja) * | 2020-02-17 | 2023-12-22 | 株式会社日立製作所 | 物体認識モデルの流用可否を判定するシステム。 |
US11335112B2 (en) | 2020-04-27 | 2022-05-17 | Adernco Inc. | Systems and methods for identifying a unified entity from a plurality of discrete parts |
US11978328B2 (en) | 2020-04-28 | 2024-05-07 | Ademco Inc. | Systems and methods for identifying user-customized relevant individuals in an ambient image at a doorbell device |
US11649067B2 (en) | 2020-06-12 | 2023-05-16 | The Boeing Company | Object monitoring system for aircraft |
KR102356907B1 (ko) * | 2021-06-17 | 2022-02-08 | 주식회사 인피닉 | 인공지능 학습용 데이터의 메타데이터 입력 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 |
KR102343049B1 (ko) * | 2021-06-17 | 2021-12-24 | 주식회사 인피닉 | 인공지능 학습을 위한 이미지 메타데이터 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 |
US12035201B2 (en) * | 2022-01-19 | 2024-07-09 | Qualcomm Incorporated | Determining communication nodes for radio frequency (RF) sensing |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011170711A (ja) | 2010-02-19 | 2011-09-01 | Toshiba Corp | 移動物体追跡システムおよび移動物体追跡方法 |
JP2015201005A (ja) | 2014-04-07 | 2015-11-12 | パナソニック株式会社 | 軌跡解析装置および軌跡解析方法 |
JP2016206995A (ja) | 2015-04-23 | 2016-12-08 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Family Cites Families (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6295367B1 (en) * | 1997-06-19 | 2001-09-25 | Emtera Corporation | System and method for tracking movement of objects in a scene using correspondence graphs |
US6263088B1 (en) * | 1997-06-19 | 2001-07-17 | Ncr Corporation | System and method for tracking movement of objects in a scene |
JP4179722B2 (ja) * | 1999-12-14 | 2008-11-12 | 株式会社ブリヂストン | 板金加工方法 |
US7394916B2 (en) * | 2003-02-10 | 2008-07-01 | Activeye, Inc. | Linking tracked objects that undergo temporary occlusion |
US7127083B2 (en) * | 2003-11-17 | 2006-10-24 | Vidient Systems, Inc. | Video surveillance system with object detection and probability scoring based on object class |
US20050104960A1 (en) * | 2003-11-17 | 2005-05-19 | Mei Han | Video surveillance system with trajectory hypothesis spawning and local pruning |
US7088846B2 (en) * | 2003-11-17 | 2006-08-08 | Vidient Systems, Inc. | Video surveillance system that detects predefined behaviors based on predetermined patterns of movement through zones |
US20050104959A1 (en) * | 2003-11-17 | 2005-05-19 | Mei Han | Video surveillance system with trajectory hypothesis scoring based on at least one non-spatial parameter |
US7148912B2 (en) * | 2003-11-17 | 2006-12-12 | Vidient Systems, Inc. | Video surveillance system in which trajectory hypothesis spawning allows for trajectory splitting and/or merging |
GB2414615A (en) * | 2004-05-28 | 2005-11-30 | Sony Uk Ltd | Object detection, scanning and labelling |
GB2414614A (en) * | 2004-05-28 | 2005-11-30 | Sony Uk Ltd | Image processing to determine most dissimilar images |
WO2007044044A2 (en) * | 2004-12-21 | 2007-04-19 | Sarnoff Corporation | Method and apparatus for tracking objects over a wide area using a network of stereo sensors |
US20070133840A1 (en) | 2005-11-04 | 2007-06-14 | Clean Earth Technologies, Llc | Tracking Using An Elastic Cluster of Trackers |
US20090002489A1 (en) * | 2007-06-29 | 2009-01-01 | Fuji Xerox Co., Ltd. | Efficient tracking multiple objects through occlusion |
GB2455316B (en) * | 2007-12-04 | 2012-08-15 | Sony Corp | Image processing apparatus and method |
US8503727B2 (en) * | 2009-07-22 | 2013-08-06 | Omron Corporation | Monitoring camera terminal |
US8218819B2 (en) * | 2009-09-01 | 2012-07-10 | Behavioral Recognition Systems, Inc. | Foreground object detection in a video surveillance system |
JP5671224B2 (ja) * | 2009-10-20 | 2015-02-18 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
US8472669B2 (en) * | 2010-03-10 | 2013-06-25 | Texas Instruments Incorporated | Object localization using tracked object trajectories |
US8615254B2 (en) * | 2010-08-18 | 2013-12-24 | Nearbuy Systems, Inc. | Target localization utilizing wireless and camera sensor fusion |
US20120251078A1 (en) * | 2011-03-31 | 2012-10-04 | Microsoft Corporation | Aggregated Facial Tracking in Video |
AU2013205548A1 (en) * | 2013-04-30 | 2014-11-13 | Canon Kabushiki Kaisha | Method, system and apparatus for tracking objects of a scene |
US9904852B2 (en) * | 2013-05-23 | 2018-02-27 | Sri International | Real-time object detection, tracking and occlusion reasoning |
US9852019B2 (en) * | 2013-07-01 | 2017-12-26 | Agent Video Intelligence Ltd. | System and method for abnormality detection |
JP6159179B2 (ja) | 2013-07-09 | 2017-07-05 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
AU2013242830B2 (en) | 2013-10-10 | 2016-11-24 | Canon Kabushiki Kaisha | A method for improving tracking in crowded situations using rival compensation |
JP6098498B2 (ja) * | 2013-12-19 | 2017-03-22 | ソニー株式会社 | 情報処理装置、情報処理方法、並びにプログラム |
US20150189191A1 (en) * | 2013-12-27 | 2015-07-02 | Telemetrio LLC | Process and system for video production and tracking of objects |
WO2015146113A1 (ja) * | 2014-03-28 | 2015-10-01 | 日本電気株式会社 | 識別辞書学習システム、識別辞書学習方法および記録媒体 |
US9582895B2 (en) * | 2015-05-22 | 2017-02-28 | International Business Machines Corporation | Real-time object analysis with occlusion handling |
US9767378B2 (en) * | 2015-08-31 | 2017-09-19 | Sony Corporation | Method and system to adaptively track objects |
CA2995866A1 (en) * | 2015-09-03 | 2017-03-09 | Miovision Technologies Incorporated | System and method for detecting and tracking objects |
US9734587B2 (en) * | 2015-09-30 | 2017-08-15 | Apple Inc. | Long term object tracker |
US9547883B1 (en) * | 2016-08-19 | 2017-01-17 | Intelligent Security Systems Corporation | Systems and methods for dewarping images |
US10319412B2 (en) * | 2016-11-16 | 2019-06-11 | Adobe Inc. | Robust tracking of objects in videos |
-
2017
- 2017-03-30 US US15/474,275 patent/US11068721B2/en active Active
-
2018
- 2018-02-08 JP JP2018020769A patent/JP7131921B2/ja active Active
- 2018-02-13 EP EP18156549.0A patent/EP3382643B1/en active Active
- 2018-03-28 KR KR1020180036056A patent/KR102543508B1/ko active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011170711A (ja) | 2010-02-19 | 2011-09-01 | Toshiba Corp | 移動物体追跡システムおよび移動物体追跡方法 |
JP2015201005A (ja) | 2014-04-07 | 2015-11-12 | パナソニック株式会社 | 軌跡解析装置および軌跡解析方法 |
JP2016206995A (ja) | 2015-04-23 | 2016-12-08 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
KR20180111630A (ko) | 2018-10-11 |
US11068721B2 (en) | 2021-07-20 |
EP3382643B1 (en) | 2021-12-15 |
JP2018173940A (ja) | 2018-11-08 |
US20180285648A1 (en) | 2018-10-04 |
EP3382643A1 (en) | 2018-10-03 |
KR102543508B1 (ko) | 2023-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7131921B2 (ja) | 機械学習を用いたビデオ・フィードにおける自動化されたオブジェクト追跡 | |
US20190138381A1 (en) | Real time anomaly detection systems and methods | |
US10248726B2 (en) | Object search by description | |
US10438050B2 (en) | Image analysis device, image analysis system, and image analysis method | |
Kim et al. | RGB color model based the fire detection algorithm in video sequences on wireless sensor network | |
US9665798B2 (en) | Device and method for detecting specified objects in images using metadata | |
AU2018324122A1 (en) | Identification of individuals in a digital file using media analysis techniques | |
US20210042509A1 (en) | Methods and systems for monitoring potential losses in a retail environment | |
Khan et al. | An efficient algorithm for recognition of human actions | |
US20120134593A1 (en) | Method and system for image-based identification | |
US10997748B2 (en) | Machine learning model development with unsupervised image selection | |
KR20200112681A (ko) | 지능형 비디오 분석 | |
US9442958B2 (en) | Product identification via image analysis | |
US9881023B2 (en) | Retrieving/storing images associated with events | |
US20240176798A1 (en) | Generating and presenting a searchable graph based on a graph query | |
US8712100B2 (en) | Profiling activity through video surveillance | |
US11995055B2 (en) | Data management techniques using distributed policy agent | |
Kulbacki et al. | Intelligent video monitoring system with the functionality of online recognition of people’s behavior and interactions between people | |
CN108780457A (zh) | 在稳健的视频搜索和检索机制内执行多个查询 | |
Burghouts et al. | Focus-of-attention for human activity recognition from UAVs | |
US10782947B2 (en) | Systems and methods of diagram transformation | |
CN109034067B (zh) | 商品图像翻拍检测方法、系统、设备及存储介质 | |
KR20160091488A (ko) | 모델 생성을 이용한 객체 자동 검출 방법 및 시스템 | |
WO2021213339A1 (en) | Method and system for extracting and storing image metadata | |
US20220222941A1 (en) | Method for recognizing action, electronic device and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210118 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220221 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220721 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220801 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220825 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7131921 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |