JP6790177B2 - ビデオシーケンスのフレームを選択する方法、システム及び装置 - Google Patents
ビデオシーケンスのフレームを選択する方法、システム及び装置 Download PDFInfo
- Publication number
- JP6790177B2 JP6790177B2 JP2019106503A JP2019106503A JP6790177B2 JP 6790177 B2 JP6790177 B2 JP 6790177B2 JP 2019106503 A JP2019106503 A JP 2019106503A JP 2019106503 A JP2019106503 A JP 2019106503A JP 6790177 B2 JP6790177 B2 JP 6790177B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- frames
- video
- sampling rate
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Television Systems (AREA)
Description
・ 第1のサンプリングレート
・ 使用されるアルゴリズムネットワーク
・ 対象とされる所定の動作のセット
FSR=2/(PEminの予想時間長) …(1)
処理時間=ビデオの長さ(秒)*FSR*アルゴリズムネットワークの処理時間+第2のサンプリング処理のための時間+フレーム復号時間 …(2)
第2のサンプリング処理のための時間=RFmax*アルゴリズムネットワークの処理時間*Exp2ndSamples …(3)
Claims (20)
- ビデオから対象動作を撮像したフレームを選択する方法であって、
前記ビデオのフレームシーケンスを受け取ることと、
前記フレームシーケンスから第1の複数のフレームのうちの1つに撮像された所定の動作を検出することで前記フレームシーケンス内の基準フレームを判定することと、
ここで、前記第1の複数のフレームは、前記所定の動作の継続時間に従って判定される第1のサンプリングレートで前記フレームシーケンスからサンプリングされるものである;
前記フレームシーケンスから第2の複数のフレームを選択することと、
ここで、前記第2の複数のフレームは前記フレームシーケンスにおける前記基準フレームに関連する場所を有し、第2のサンプリングレートで選択されたものである;
前記第2のサンプリングレートは前記第1のサンプリングレートより高く、且つ、前記対象動作の継続期間に基づいて判定されるものである;
前記対象動作を撮像した前記フレームを前記第2の複数のフレームから選択することと、
を含むことを特徴とする方法。 - 前記フレームシーケンスに対する処理バジェット及び複数の所定の動作を受け取ることと、
ここで、前記複数の所定の動作の各々は、対応する第1のサンプリングレートを有する;
前記処理バジェットと前記フレームシーケンスの処理時間の推定値との比較に従って、前記複数の所定の動作から1つ以上の所定の動作を選択することと、
ここで、前記処理時間は、選択される1つ以上の所定の動作に対応する第1のサンプリングレートを使用して判定される;
を更に含むことを特徴とする請求項1に記載の方法。 - 前記基準フレーム内の前記所定の動作を、複数の所定の動作のうちの1つとマッチングすることと、
ここで、前記複数の所定の動作の各々は、探索方向及び第2のサンプリングレートを有する;
前記マッチングした所定の動作に対応する前記探索方向及び前記第2のサンプリングレートを使用して、前記フレームシーケンスから前記第2の複数のフレームを選択することと、
を更に含むことを特徴とする請求項1に記載の方法。 - 前記基準フレーム、及び、前記対象動作を撮像した前記フレームは、異なる閾値を使用して分類される、
ここで、前記基準フレームに対する前記閾値は、前記対象動作を撮像した前記フレームに対する前記閾値より低い;
前記基準フレームを判定することは、前記所定の動作の検出に関連する信頼度スコアが閾値を満たすかを判定することを含む
ことを特徴とする請求項1に記載の方法。 - 前記基準フレームに隣接するフレームは、前記基準フレームの分類を判定するために使用され、
前記基準フレームに対する分類マッチング閾値は、前記隣接するフレームに対する分類に従って変化することを特徴とする請求項1記載の方法。 - 前記対象動作を撮像した前記フレームを選択することは、画質に基づいて及び重複を回避するために、前記第2の複数のフレームに優先順位を付けること及びそれらをフィルタリングすることを含むことを特徴とする請求項1に記載の方法。
- 前記基準フレームは第1の畳み込みニューラルネットワークを使用して位置を特定され、前記対象動作を撮像した前記フレームは第2の畳み込みニューラルネットワークを使用して選択される、
ここで、前記第2の畳み込みニューラルネットワークは前記第1の畳み込みニューラルネットワークより高い精度を有する;
ことを特徴とする請求項1記載の方法。 - 前記基準フレーム及び前記対象動作を撮像した前記フレームはそれぞれ、第1の畳み込みニューラルネットワーク及び第2の畳み込みニューラルネットワークの入力次元とマッチングする解像度で復号されることを特徴とする請求項7に記載の方法。
- 前記第2のサンプリングレートは、前記基準フレームにおいて検出された前記所定の動作の種類に基づいて判定されることを特徴とする請求項1に記載の方法。
- 前記基準フレームを判定するステップ、前記第2の複数のフレームを選択するステップ及び前記対象動作を撮像した前記フレームを選択するステップは、前記ビデオの撮像時にリアルタイムで実現されることを特徴とする請求項1に記載の方法。
- 電子機器のインタフェースを介して前記ビデオに対する所要の処理時間を受け取ることを更に備え、
ここで前記第1のサンプリングレートは、前記所定の動作の前記継続時間及び前記所要の処理時間に従って判定される
ことを特徴とする請求項1に記載の方法。 - 前記ビデオを再生する電子機器のインタフェースとユーザが対話している場合に、前記ビデオの長さに対する割合である前記ビデオに対する所要の処理時間を判定することを更に含むことを特徴とする請求項1記載の方法。
- 前記方法の動作により検出される可能性が低い対象動作を判定することと、
前記ビデオを撮像又は再生する電子機器上に前記対象動作が検出される可能性が低いという指示を表示すること
を更に含むことを特徴とする請求項1に記載の方法。 - 前記方法の動作により検出される可能性が低い前記対象動作は、処理バジェットと前記対象動作に関連する所定の動作に対応する第1のサンプリングレートとに基づいて判定されることを特徴とする請求項13に記載の方法。
- 前記フレームシーケンスに関連するテーマの指示を受け取ることを更に備え、
前記第1のサンプリングレートは、前記テーマに関連する所定の動作の継続時間に基づいて判定されることを特徴とする請求項1に記載の方法。 - 前記テーマは、前記方法を実行する電子機器のインタフェースにおけるユーザ入力により受け取られることを特徴とする請求項15に記載の方法。
- 前記テーマは、前記ビデオを分類器に入力することにより判定されることを特徴とする請求項15に記載の方法。
- ビデオから対象動作を撮像したフレームを選択する方法を実現するプログラムを格納した非一時的コンピュータ可読媒体であって、前記プログラムは、
前記ビデオのフレームシーケンスを受け取るためのコードと、
前記フレームシーケンスから第1の複数のフレームのうちの1つに撮像された所定の動作を検出することで前記フレームシーケンス内の基準フレームを判定するためのコードと、
ここで、前記第1の複数のフレームは、前記所定の動作の継続時間に従って判定される第1のサンプリングレートで前記フレームシーケンスからサンプリングされるものである;
前記フレームシーケンスから第2の複数のフレームを選択するためのコードと、
ここで、前記第2の複数のフレームは前記フレームシーケンスにおける前記基準フレームに関連する場所を有し、第2のサンプリングレートで選択されたものである;
前記第2のサンプリングレートは前記第1のサンプリングレートより高く、且つ、前記対象動作の継続期間に基づいて判定されるものである;
前記対象動作を撮像した前記フレームを前記第2の複数のフレームから選択するためのコードと
を有することを特徴とする非一時的コンピュータ可読媒体。 - ビデオから対象動作を撮像したフレームを選択する撮像装置であって、
前記ビデオのフレームシーケンスを撮像し、
ソフトウェアプログラムをグラフィックスプロセッシングユニット上で実行するように構成され、
前記ソフトウェアプログラムは、
ビデオのフレームシーケンスを受け取ることと、
前記フレームシーケンスから第1の複数のフレームのうちの1つに撮像された所定の動作を検出することで前記フレームシーケンス内の基準フレームを判定することと、
ここで、前記第1の複数のフレームは、前記所定の動作の継続時間に従って判定される第1のサンプリングレートで前記フレームシーケンスからサンプリングされるものである;
前記フレームシーケンスから第2の複数のフレームを選択することと、
ここで、前記第2の複数のフレームは前記フレームシーケンスにおける前記基準フレームに関連する場所を有し、第2のサンプリングレートで選択されたものである;
前記第2のサンプリングレートは前記第1のサンプリングレートより高く、且つ、前記対象動作の継続期間に基づいて判定されるものである;
前記対象動作を撮像した前記フレームを前記第2の複数のフレームから選択することと、
を含む方法を実行するように構成されることを特徴とする撮像装置。 - ビデオから対象動作を撮像したフレームを選択するシステムであって、
プロセッサと、
前記プロセッサに指示するソフトウェアプログラムを格納するメモリとを有し、
前記ソフトウェアプログラムは、
前記ビデオのフレームシーケンスを受け取ることと、
前記フレームシーケンスから第1の複数のフレームのうちの1つに撮像された所定の動作を検出することで前記フレームシーケンス内の基準フレームを判定することと、
ここで、前記第1の複数のフレームは、前記所定の動作の継続時間に従って判定される第1のサンプリングレートで前記フレームシーケンスからサンプリングされるものである;
前記フレームシーケンスから第2の複数のフレームを選択することと、
ここで、前記第2の複数のフレームは前記フレームシーケンスにおける前記基準フレームに関連する場所を有し、第2のサンプリングレートで選択されたものである;
前記第2のサンプリングレートは前記第1のサンプリングレートより高く、且つ、前記対象動作の継続期間に基づいて判定されるものである;
前記対象動作を撮像した前記フレームを前記第2の複数のフレームから選択することと、
を含む方法を実行させるように構成されることを特徴とするシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
AU2018204004 | 2018-06-06 | ||
AU2018204004A AU2018204004A1 (en) | 2018-06-06 | 2018-06-06 | Method, system and apparatus for selecting frames of a video sequence |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019212312A JP2019212312A (ja) | 2019-12-12 |
JP6790177B2 true JP6790177B2 (ja) | 2020-11-25 |
Family
ID=68765088
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019106503A Active JP6790177B2 (ja) | 2018-06-06 | 2019-06-06 | ビデオシーケンスのフレームを選択する方法、システム及び装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11093754B2 (ja) |
JP (1) | JP6790177B2 (ja) |
AU (1) | AU2018204004A1 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2560177A (en) | 2017-03-01 | 2018-09-05 | Thirdeye Labs Ltd | Training a computational neural network |
GB2560387B (en) * | 2017-03-10 | 2022-03-09 | Standard Cognition Corp | Action identification using neural networks |
US10853965B2 (en) | 2017-08-07 | 2020-12-01 | Standard Cognition, Corp | Directional impression analysis using deep learning |
US10650545B2 (en) | 2017-08-07 | 2020-05-12 | Standard Cognition, Corp. | Systems and methods to check-in shoppers in a cashier-less store |
US10474991B2 (en) | 2017-08-07 | 2019-11-12 | Standard Cognition, Corp. | Deep learning-based store realograms |
US11250376B2 (en) | 2017-08-07 | 2022-02-15 | Standard Cognition, Corp | Product correlation analysis using deep learning |
US11200692B2 (en) | 2017-08-07 | 2021-12-14 | Standard Cognition, Corp | Systems and methods to check-in shoppers in a cashier-less store |
US11232687B2 (en) | 2017-08-07 | 2022-01-25 | Standard Cognition, Corp | Deep learning-based shopper statuses in a cashier-less store |
US10474988B2 (en) | 2017-08-07 | 2019-11-12 | Standard Cognition, Corp. | Predicting inventory events using foreground/background processing |
US11232575B2 (en) | 2019-04-18 | 2022-01-25 | Standard Cognition, Corp | Systems and methods for deep learning-based subject persistence |
JP7281951B2 (ja) * | 2019-04-22 | 2023-05-26 | シャープ株式会社 | 電子機器、制御装置、制御プログラムおよび制御方法 |
IT201900011403A1 (it) * | 2019-07-10 | 2021-01-10 | Ambarella Int Lp | Detecting illegal use of phone to prevent the driver from getting a fine |
CN111001161B (zh) * | 2019-12-24 | 2023-04-07 | 哈尔滨工程大学 | 一种基于二阶反向传播优先级的游戏策略获得方法 |
US11687778B2 (en) | 2020-01-06 | 2023-06-27 | The Research Foundation For The State University Of New York | Fakecatcher: detection of synthetic portrait videos using biological signals |
US11361468B2 (en) | 2020-06-26 | 2022-06-14 | Standard Cognition, Corp. | Systems and methods for automated recalibration of sensors for autonomous checkout |
US11303853B2 (en) | 2020-06-26 | 2022-04-12 | Standard Cognition, Corp. | Systems and methods for automated design of camera placement and cameras arrangements for autonomous checkout |
CN112188215B (zh) * | 2020-09-23 | 2022-02-22 | 腾讯科技(深圳)有限公司 | 视频解码方法、装置、设备及存储介质 |
CN114827443A (zh) * | 2021-01-29 | 2022-07-29 | 深圳市万普拉斯科技有限公司 | 视频帧选取方法、视频延时处理方法、装置及计算机设备 |
CN113052609B (zh) * | 2021-04-20 | 2024-03-22 | 中国工商银行股份有限公司 | 用于自动取款机的安全防控方法、装置、电子设备和介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8165405B2 (en) | 2006-12-18 | 2012-04-24 | Honda Motor Co., Ltd. | Leveraging temporal, contextual and ordering constraints for recognizing complex activities in video |
JP2016067408A (ja) * | 2014-09-26 | 2016-05-09 | セイコーエプソン株式会社 | センサー、演算装置、運動計測方法、運動計測システム及びプログラム |
US9767363B2 (en) * | 2015-10-30 | 2017-09-19 | Google Inc. | System and method for automatic detection of spherical video content |
JP6597262B2 (ja) * | 2015-12-11 | 2019-10-30 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
US9818451B1 (en) * | 2015-12-21 | 2017-11-14 | Amazon Technologies, Inc. | Frame selection of video data |
US9600717B1 (en) | 2016-02-25 | 2017-03-21 | Zepp Labs, Inc. | Real-time single-view action recognition based on key pose analysis for sports videos |
US20190108400A1 (en) * | 2017-10-05 | 2019-04-11 | Qualcomm Incorporated | Actor-deformation-invariant action proposals |
-
2018
- 2018-06-06 AU AU2018204004A patent/AU2018204004A1/en not_active Abandoned
-
2019
- 2019-05-08 US US16/406,955 patent/US11093754B2/en active Active
- 2019-06-06 JP JP2019106503A patent/JP6790177B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
AU2018204004A1 (en) | 2020-01-02 |
JP2019212312A (ja) | 2019-12-12 |
US11093754B2 (en) | 2021-08-17 |
US20190377957A1 (en) | 2019-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6790177B2 (ja) | ビデオシーケンスのフレームを選択する方法、システム及び装置 | |
JP6898524B2 (ja) | オーディオビジュアルコンテンツを選択的に記憶するために深層学習を利用するシステムおよび方法 | |
CN106375674B (zh) | 寻找和使用与相邻静态图像相关的视频部分的方法和装置 | |
US20150015735A1 (en) | Method and system for capturing important objects using a camera based on predefined metrics | |
US8484223B2 (en) | Image searching apparatus and image searching method | |
US20150156419A1 (en) | Blur aware photo feedback | |
US10657657B2 (en) | Method, system and apparatus for detecting a change in angular position of a camera | |
JP6892524B2 (ja) | 対象追跡に基づくスローモーションビデオキャプチャ | |
US10986287B2 (en) | Capturing a photo using a signature motion of a mobile device | |
JP6373446B2 (ja) | ビデオフレームを選択するプログラム、システム、装置、及び方法 | |
AU2016277643A1 (en) | Using face detection metadata to select video segments | |
JP6600397B2 (ja) | ビデオシーケンスのフレームを選択する方法、システム、及び、装置 | |
JP5761323B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
JP5573353B2 (ja) | 撮影装置、画像表示装置、および画像表示プログラム | |
EP3272111B1 (en) | Automatic image frame processing possibility detection | |
US20220277547A1 (en) | Method and electronic device for detecting candid moment in image frame | |
WO2018098931A1 (zh) | 一种数据处理方法及装置 | |
WO2022030275A1 (ja) | 撮像装置、情報処理装置、情報処理方法、及びプログラム | |
JP2010004357A (ja) | 撮像装置及び撮像方法 | |
TW202424904A (zh) | 影像捕捉裝置及相關方法 | |
WO2019003040A1 (en) | PULSATORY IMAGE |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190606 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200713 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200807 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200909 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201005 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201104 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6790177 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |