JP7282216B2 - 単眼スチルカメラのビデオにおけるレイヤードモーションの表現と抽出 - Google Patents
単眼スチルカメラのビデオにおけるレイヤードモーションの表現と抽出 Download PDFInfo
- Publication number
- JP7282216B2 JP7282216B2 JP2021574232A JP2021574232A JP7282216B2 JP 7282216 B2 JP7282216 B2 JP 7282216B2 JP 2021574232 A JP2021574232 A JP 2021574232A JP 2021574232 A JP2021574232 A JP 2021574232A JP 7282216 B2 JP7282216 B2 JP 7282216B2
- Authority
- JP
- Japan
- Prior art keywords
- segments
- motion
- video
- segment
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Image Analysis (AREA)
Description
Claims (17)
- ビデオの動きデータをセグメント化し、レイヤリング順序を推測する方法であって、
フレーム内モード推定を使用して前記ビデオの第1の画像フレームをセグメント化することと、
フレーム間モードマッチングを使用して前記ビデオの1または複数のさらなる画像フレームをセグメント化することと、
現在のセグメント化された画像フレームのバイナリマップを生成することによって、前記現在のセグメント化された画像フレームのラベル変更マップを生成することと、
前のセグメント化された画像フレームに対してラベルが変更された1または複数のピクセルをマークすることと、
前記ラベル変更マップに基づいて前記現在のセグメント化された画像フレームの1または複数の非静止画像セグメントを検出することと、
前記1または複数の非静止画像セグメント内の1または複数の移動画像セグメントを検出することと、
前記1または複数の移動画像セグメントの動きを推定することと、
各移動セグメントを7つのパラメータのベクトルとして表すことであって、前記7つのパラメータは、対応するセグメントの重心の2つの空間座標、類似性変換に対応する並進および回転パラメータを含む4つのアフィンパラメータ、および対応するピクセルの総数によって定義される重みを含む、ことと、
対応する1または複数のパラメータに基づいて、1または複数の類似の移動セグメントベクトルをクラスタ化することと
を備える方法。 - 前記ビデオは、単眼スチルカメラによってキャプチャされる、請求項1の方法。
- 前記1または複数の移動セグメントは、1または複数の非遮蔽移動セグメントおよび1または複数の遮蔽移動セグメントを含む、請求項1の方法。
- 前記1または複数の移動セグメントの動きは、2次元アフィンモデルを使用して推定される、請求項1の方法。
- 前記ビデオの1または複数の画像フレームは、X、Y、T、R、G、B時空間マルチチャネル空間の半径hの超球を使用するジョイント時空間適応ミーンシフトアルゴリズムに基づいてセグメント化される、請求項1の方法。
- フレーム間モードマッチングを使用して前記ビデオの1または複数のさらなる画像フレームをセグメント化することは、セグメント化された前の画像フレームにおける密度モード発見に基づいて現在の画像フレームをセグメント化することを含む、請求項1の方法。
- ビデオの動きデータをセグメント化し、レイヤリング順序を推測するシステムであって、
1または複数の命令を格納するメモリと、
前記メモリに通信可能なように結合され、前記メモリに格納されている前記1または複数の命令を実行するように構成されているプロセッサと
を備え、前記プロセッサは、
フレーム内モード推定を使用して前記ビデオの第1の画像フレームをセグメント化し、フレーム間モードマッチングを使用して前記ビデオの1または複数のさらなる画像フレームをセグメント化するビデオセグメンテーションモジュールと、
現在のセグメント化された画像フレームのバイナリマップを生成することによって、前記現在のセグメント化された画像フレームのラベル変更マップを生成し、前のセグメント化された画像フレームに対してラベルが変更された1または複数のピクセルをマークするラベルフレーム差生成モジュールと、
前記ラベル変更マップに基づいて前記現在のセグメント化された画像フレームの1または複数の非静止画像セグメントを検出する非静止セグメント検出モジュールと、
前記1または複数の非静止画像セグメント内の1または複数の移動画像セグメントを検出する移動セグメント検出モジュールと、
前記1または複数の移動画像セグメントの動きを推定する動き推定モジュールと、
各移動セグメントを7つのパラメータのベクトルとして表し、対応する1または複数のパラメータに基づいて、1または複数の類似の移動セグメントベクトルをクラスタ化するモーションセグメンテーションモジュールであって、前記7つのパラメータは、対応するセグメントの重心の2つの空間座標、類似性変換に対応する並進および回転パラメータを含む4つのアフィンパラメータ、および対応するピクセルの総数によって定義される重みを含む、モーションセグメンテーションモジュールと
を備えたシステム。 - 前記ビデオは、単眼スチルカメラによってキャプチャされる、請求項7のシステム。
- 前記1または複数の移動セグメントは、1または複数の非遮蔽移動セグメントおよび1または複数の遮蔽移動セグメントを含む、請求項7のシステム。
- 前記1または複数の移動セグメントの動きは、2次元アフィンモデルを使用して推定される、請求項7のシステム。
- 前記ビデオの1または複数の画像フレームは、X、Y、T、R、G、B時空間マルチチャネル空間の半径hの超球を使用するジョイント時空間適応ミーンシフトアルゴリズムに基づいてセグメント化される、請求項7のシステム。
- フレーム間モードマッチングを使用して前記ビデオの1または複数のさらなる画像フレームをセグメント化することは、セグメント化された前の画像フレームにおける密度モード発見に基づいて現在の画像フレームをセグメント化することを含む、請求項7のシステム。
- ビデオの動きデータをセグメント化し、レイヤリング順序を推測する、コンピュータのメモリに格納されているコンピュータプログラムであって、前記コンピュータプログラムは、前記コンピュータに、
フレーム内モード推定を使用して前記ビデオの第1の画像フレームをセグメント化することと、
フレーム間モードマッチングを使用して前記ビデオの1または複数のさらなる画像フレームをセグメント化することと、
現在のセグメント化された画像フレームのバイナリマップを生成することによって、前記現在のセグメント化された画像フレームのラベル変更マップを生成することと、
前のセグメント化された画像フレームに対してラベルが変更された1または複数のピクセルをマークすることと、
前記ラベル変更マップに基づいて前記現在のセグメント化された画像フレームの1または複数の非静止画像セグメントを検出することと、
前記1または複数の非静止画像セグメント内の1または複数の移動画像セグメントを検出することと、
前記1または複数の移動画像セグメントの動きを推定することと、
各移動セグメントを7つのパラメータのベクトルとして表すことであって、前記7つのパラメータは、対応するセグメントの重心の2つの空間座標、類似性変換に対応する並進および回転パラメータを含む4つのアフィンパラメータ、および対応するピクセルの総数によって定義される重みを含む、ことと、
対応する1または複数のパラメータに基づいて、1または複数の類似の移動セグメントベクトルをクラスタ化することと
を実行させる、コンピュータプログラム。 - 前記ビデオは、単眼スチルカメラによってキャプチャされる、請求項13のコンピュータプログラム。
- 前記1または複数の移動セグメントは、1または複数の非遮蔽移動セグメントおよび1または複数の遮蔽移動セグメントを含む、請求項13のコンピュータプログラム。
- 前記1または複数の移動セグメントの動きは、2次元アフィンモデルを使用して推定される、請求項13のコンピュータプログラム。
- 単眼スチルカメラ監視システムであって、
ビデオをキャプチャする単眼スチルカメラと、
1または複数の命令を格納するメモリと、
前記メモリに結合され、前記メモリに格納されている前記1または複数の命令を実行して、
フレーム内モード推定を使用して前記ビデオの第1の画像フレームをセグメント化し、
フレーム間モードマッチングを使用して前記ビデオの1または複数のさらなる画像フレームをセグメント化し、
現在のセグメント化された画像フレームのバイナリマップを生成することによって、前記現在のセグメント化された画像フレームのラベル変更マップを生成し、前のセグメント化された画像フレームに対してラベルが変更された1または複数のピクセルをマークし、
前記ラベル変更マップに基づいて前記現在のセグメント化された画像フレームの1または複数の非静止画像セグメントを検出し、
前記1または複数の非静止画像セグメント内の1または複数の移動画像セグメントを検出し、
前記1または複数の移動画像セグメントの動きを推定し、
各移動セグメントを7つのパラメータのベクトルとして表し、前記7つのパラメータは、対応するセグメントの重心の2つの空間座標、類似性変換に対応する並進および回転パラメータを含む4つのアフィンパラメータ、および対応するピクセルの総数によって定義される重みを含み、
対応する1または複数のパラメータに基づいて、1または複数の類似の移動セグメントベクトルをクラスタ化し、
1または複数のクラスタに基づいて動き検出および動き認識を行う
ように構成されているプロセッサと
を備えたシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/458,291 US10803604B1 (en) | 2019-07-01 | 2019-07-01 | Layered motion representation and extraction in monocular still camera videos |
US16/458,291 | 2019-07-01 | ||
PCT/IB2020/054687 WO2021001703A1 (en) | 2019-07-01 | 2020-05-18 | Layered motion representation and extraction in monocular still camera videos |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022536524A JP2022536524A (ja) | 2022-08-17 |
JP7282216B2 true JP7282216B2 (ja) | 2023-05-26 |
Family
ID=70802897
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021574232A Active JP7282216B2 (ja) | 2019-07-01 | 2020-05-18 | 単眼スチルカメラのビデオにおけるレイヤードモーションの表現と抽出 |
Country Status (11)
Country | Link |
---|---|
US (1) | US10803604B1 (ja) |
EP (1) | EP3994664A1 (ja) |
JP (1) | JP7282216B2 (ja) |
KR (1) | KR20220007882A (ja) |
CN (1) | CN114072839A (ja) |
AU (1) | AU2020300067B2 (ja) |
BR (1) | BR112021024268A2 (ja) |
CA (1) | CA3141956A1 (ja) |
CO (1) | CO2021016291A2 (ja) |
MX (1) | MX2021015583A (ja) |
WO (1) | WO2021001703A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11200678B2 (en) * | 2019-09-17 | 2021-12-14 | Sony Corporation | Image-based mask frame interpolation |
WO2021092687A1 (en) * | 2019-11-15 | 2021-05-20 | Modiface Inc. | End-to-end merge for video object segmentation (vos) |
JP2022087914A (ja) * | 2020-12-02 | 2022-06-14 | 本田技研工業株式会社 | 車両位置推定装置 |
CN114556419A (zh) * | 2020-12-15 | 2022-05-27 | 深圳市大疆创新科技有限公司 | 三维点云分割方法和装置、可移动平台 |
CN113688951B (zh) * | 2021-10-25 | 2022-01-21 | 腾讯科技(深圳)有限公司 | 视频数据处理方法以及装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120027091A1 (en) * | 2010-07-28 | 2012-02-02 | Wei-Lien Hsu | Method and System for Encoding Video Frames Using a Plurality of Processors |
US8335350B2 (en) * | 2011-02-24 | 2012-12-18 | Eastman Kodak Company | Extracting motion information from digital video sequences |
CN102263979B (zh) * | 2011-08-05 | 2013-10-09 | 清华大学 | 一种平面视频立体化的深度图生成方法及装置 |
US9247136B2 (en) * | 2013-08-21 | 2016-01-26 | Xerox Corporation | Automatic mobile photo capture using video analysis |
US20190045193A1 (en) * | 2018-06-29 | 2019-02-07 | Intel Corporation | Region-based motion estimation and modeling for accurate region-based motion compensation for efficient video processing or coding |
-
2019
- 2019-07-01 US US16/458,291 patent/US10803604B1/en active Active
-
2020
- 2020-05-18 AU AU2020300067A patent/AU2020300067B2/en active Active
- 2020-05-18 MX MX2021015583A patent/MX2021015583A/es unknown
- 2020-05-18 CN CN202080048996.7A patent/CN114072839A/zh active Pending
- 2020-05-18 KR KR1020217040336A patent/KR20220007882A/ko unknown
- 2020-05-18 JP JP2021574232A patent/JP7282216B2/ja active Active
- 2020-05-18 CA CA3141956A patent/CA3141956A1/en active Pending
- 2020-05-18 BR BR112021024268A patent/BR112021024268A2/pt not_active Application Discontinuation
- 2020-05-18 WO PCT/IB2020/054687 patent/WO2021001703A1/en unknown
- 2020-05-18 EP EP20727723.7A patent/EP3994664A1/en active Pending
-
2021
- 2021-11-30 CO CONC2021/0016291A patent/CO2021016291A2/es unknown
Non-Patent Citations (1)
Title |
---|
Irene Y. H. Gu et al.,Video Segmentation Using JointSpace-Time-Range Adaptive Mean Shift,[online],2006年,https://www.researchgate.net/publication/225176893_Video_Segmentation_Using_Joint_Space-Time-Range_Adaptive_Mean_Shift |
Also Published As
Publication number | Publication date |
---|---|
CO2021016291A2 (es) | 2021-12-10 |
AU2020300067A1 (en) | 2021-12-16 |
CA3141956A1 (en) | 2021-01-07 |
KR20220007882A (ko) | 2022-01-19 |
AU2020300067B2 (en) | 2023-02-23 |
BR112021024268A2 (pt) | 2022-01-11 |
JP2022536524A (ja) | 2022-08-17 |
CN114072839A (zh) | 2022-02-18 |
EP3994664A1 (en) | 2022-05-11 |
WO2021001703A1 (en) | 2021-01-07 |
US10803604B1 (en) | 2020-10-13 |
MX2021015583A (es) | 2022-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7282216B2 (ja) | 単眼スチルカメラのビデオにおけるレイヤードモーションの表現と抽出 | |
CN107292965B (zh) | 一种基于深度图像数据流的虚实遮挡处理方法 | |
Azarbayejani et al. | Real-time 3-D tracking of the human body | |
AU2013273831B2 (en) | A method for improving tracking using dynamic background compensation with centroid compensation | |
KR20120054550A (ko) | 비디오 스트림에서 움직이고 있는 비정형 물체들을 실시간으로 검출 및 추적하여, 사용자가 컴퓨터 시스템과 상호 작용할 수 있게 해주는 방법 및 디바이스 | |
CN109359514B (zh) | 一种面向deskVR的手势跟踪识别联合策略方法 | |
WO2007076892A1 (en) | Edge comparison in segmentation of video sequences | |
WO2010135617A1 (en) | Gesture recognition systems and related methods | |
EP1969559A1 (en) | Contour finding in segmentation of video sequences | |
WO2007076890A1 (en) | Segmentation of video sequences | |
KR20120014925A (ko) | 가변 자세를 포함하는 이미지를 컴퓨터를 사용하여 실시간으로 분석하는 방법 | |
WO2007076893A1 (en) | Edge-guided morphological closing in segmentation of video sequences | |
WO2023146241A1 (en) | System and method for generating a three-dimensional photographic image | |
CN111476089B (zh) | 一种图像中多模态信息融合的行人检测方法、系统及终端 | |
CN110751097A (zh) | 一种半监督的三维点云手势关键点检测方法 | |
JP2023549069A (ja) | 位置姿勢取得方法及びその装置、電子機器、記憶媒体並びにプログラム | |
WO2014006786A1 (ja) | 特徴量抽出装置および特徴量抽出方法 | |
Battisti et al. | Seamless bare-hand interaction in mixed reality | |
CN107274477B (zh) | 一种基于三维空间表层的背景建模方法 | |
Simion et al. | Finger detection based on hand contour and colour information | |
Kim et al. | Robust foreground segmentation from color video sequences using background subtraction with multiple thresholds | |
Mase et al. | Real-time head motion detection system | |
US20220068024A1 (en) | Determining a three-dimensional representation of a scene | |
Kitanovski et al. | Augmented reality mirror for virtual facial alterations | |
CN116824002B (zh) | 一种基于假模特的ai服装试穿结果输出方法及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211214 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230407 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230418 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230516 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7282216 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |