JP7451172B2 - 情報処理装置、映像の要約方法、およびプログラム - Google Patents
情報処理装置、映像の要約方法、およびプログラム Download PDFInfo
- Publication number
- JP7451172B2 JP7451172B2 JP2019233228A JP2019233228A JP7451172B2 JP 7451172 B2 JP7451172 B2 JP 7451172B2 JP 2019233228 A JP2019233228 A JP 2019233228A JP 2019233228 A JP2019233228 A JP 2019233228A JP 7451172 B2 JP7451172 B2 JP 7451172B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- information processing
- processing device
- objects
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 28
- 230000010365 information processing Effects 0.000 title claims description 23
- 238000000605 extraction Methods 0.000 claims description 30
- 230000002123 temporal effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000002922 simulated annealing Methods 0.000 description 4
- KNMAVSAGTYIFJF-UHFFFAOYSA-N 1-[2-[(2-hydroxy-3-phenoxypropyl)amino]ethylamino]-3-phenoxypropan-2-ol;dihydrochloride Chemical compound Cl.Cl.C=1C=CC=CC=1OCC(O)CNCCNCC(O)COC1=CC=CC=C1 KNMAVSAGTYIFJF-UHFFFAOYSA-N 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/16—Spatio-temporal transformations, e.g. video cubism
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
- G06V20/47—Detecting features for summarising video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
Description
なお、本発明は、上述の実施形態の一部または1以上の機能を実現するプログラムによっても実現可能である。すなわち、そのプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ(またはCPUやMPU等)における1つ以上のプロセッサがプログラムを読出し実行する処理により実現可能である。また、そのプログラムをコンピュータ可読な記録媒体に記録して提供してもよい。
101 制御部
102 受信部
103 判定部
104 抽出部
105 生成部
Claims (10)
- 録画映像の中で検知された対象物の出現時刻を変更することにより、要約映像を生成する情報処理装置において、
前記録画映像から所定の条件に基づいて、第1の対象物と前記第1の対象物が乗降可能な第2の対象物とを取得する取得手段と、
前記取得手段によって取得された対象物のうち、乗降を行った前記第1の対象物と、前記第1の対象物が乗降した前記第2の対象物とを特定する特定手段と、
前記第1の対象物がそれぞれ重ならず、前記要約映像の再生時間が前記録画映像の再生時間より短くなるように、前記要約映像における前記出現時刻を決定する決定手段と、
前記決定手段により決定された前記出現時刻に基づき、前記特定手段によって特定された前記第1の対象物と前記第2の対象物とを含む要約映像を生成する生成手段と、
を有し、
前記決定手段は、前記特定手段により特定された前記第1の対象物と前記第2の対象物との前記要約映像における相対的な出現時刻を維持するように、前記出現時刻を決定することを特徴とする情報処理装置。 - 前記第1の対象物は、人、二輪車、四輪車、船、ヘリコプター、飛行機、移動のための足が付属した移動体、車輪が付属した移動体、プロペラが付属した移動体、または翼が付属した移動体のいずれか1つであることを特徴とする請求項1に記載の情報処理装置。
- 前記第2の対象物は、二輪車、四輪車、船、ヘリコプター、飛行機、移動のための足が付属した移動体、車輪が付属した移動体、プロペラが付属した移動体、または翼が付属した移動体のいずれか1つであることを特徴とする請求項1または2に記載の情報処理装置。
- 前記決定手段は、前記第1の対象物の動作軌跡の始点または終点と、前記第2の対象物の停止を示す点との、時間的および空間的な関係に基づいて、前記第1の対象物が前記第2の対象物に対し乗降したと判定する請求項1乃至3のいずれか1項に記載の情報処理装置。
- 前記決定手段は、外観の画像認識により決定された前記第1の対象物と前記第2の対象物に基づいて、前記出現時刻を決定することを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。
- ユーザによって入力された前記録画映像の背景画像における前記第1の対象物の軌跡を受け付ける受付手段と、
前記受付手段によって入力された前記軌跡に対し前記所定の条件に合致する動作軌跡を有する前記第1の対象物を抽出する抽出手段と、
を有することを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。 - 前記抽出手段は、前記複数の対象物の各々の一部の動作軌跡を組み合わせた軌跡を抽出対象の動作軌跡とすることを特徴とする請求項6に記載の情報処理装置。
- 前記生成手段は、前記録画映像から検知された前記第2の対象物のうち、前記特定手段により関係を特定されなかった前記第2の対象物を含まない前記要約映像を生成することを特徴とする請求項1に記載の情報処理装置。
- 録画映像の中で検知された対象物の出現時刻を変更することにより、要約映像を生成する映像の要約方法において、
前記録画映像から所定の条件に基づいて、第1の対象物と前記第1の対象物が乗降可能な第2の対象物とを取得する取得ステップと、
前記取得ステップにおいて取得された対象物のうち、乗降を行った前記第1の対象物と、前記第1の対象物が乗降した前記第2の対象物とを特定する特定ステップと、
前記第1の対象物がそれぞれ重ならず、前記要約映像の再生時間が前記録画映像の再生時間より短くなるように、前記要約映像における前記出現時刻を決定する決定ステップと、
前記決定ステップで決定された前記出現時刻に基づき、前記特定ステップで特定された前記第1の対象物と前記第2の対象物と、を含む前記要約映像を生成する生成ステップと、
を有し、
前記決定ステップにおいて、前記特定ステップで特定された前記第1の対象物と前記第2の対象物との前記要約映像における相対的な出現時刻を維持するように、前記出現時刻を決定することを特徴とする映像の要約方法。 - コンピュータを、請求項1から8のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019233228A JP7451172B2 (ja) | 2019-12-24 | 2019-12-24 | 情報処理装置、映像の要約方法、およびプログラム |
US17/124,258 US11869197B2 (en) | 2019-12-24 | 2020-12-16 | Information processing apparatus, video synopsis method, and storage medium for video synopsis |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019233228A JP7451172B2 (ja) | 2019-12-24 | 2019-12-24 | 情報処理装置、映像の要約方法、およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021103811A JP2021103811A (ja) | 2021-07-15 |
JP2021103811A5 JP2021103811A5 (ja) | 2022-12-23 |
JP7451172B2 true JP7451172B2 (ja) | 2024-03-18 |
Family
ID=76439284
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019233228A Active JP7451172B2 (ja) | 2019-12-24 | 2019-12-24 | 情報処理装置、映像の要約方法、およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11869197B2 (ja) |
JP (1) | JP7451172B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7482090B2 (ja) | 2021-08-27 | 2024-05-13 | 株式会社東芝 | 推定装置、推定方法及びプログラム |
CN115988153A (zh) * | 2022-11-30 | 2023-04-18 | 天翼云科技有限公司 | 一种用于视频摘要中帧合成的目标排列方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009516257A (ja) | 2005-11-15 | 2009-04-16 | イッサム リサーチ ディベロップメント カンパニー オブ ザ ヘブライ ユニバーシティー オブ エルサレム | 映像概要を生成する方法およびシステム |
US20150127626A1 (en) | 2013-11-07 | 2015-05-07 | Samsung Tachwin Co., Ltd. | Video search system and method |
JP2015115955A (ja) | 2013-12-13 | 2015-06-22 | 華為技術有限公司Huawei Technologies Co.,Ltd. | 映像要約方法および装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8311277B2 (en) | 2007-02-01 | 2012-11-13 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Method and system for video indexing and video synopsis |
EP2790152B1 (en) * | 2013-04-12 | 2015-12-02 | Alcatel Lucent | Method and device for automatic detection and tracking of one or multiple objects of interest in a video |
KR102282465B1 (ko) * | 2014-10-27 | 2021-07-27 | 한화테크윈 주식회사 | 로이터링 시각화 장치 및 방법 |
KR102375864B1 (ko) * | 2015-02-10 | 2022-03-18 | 한화테크윈 주식회사 | 요약 영상 브라우징 시스템 및 방법 |
US10887507B2 (en) * | 2017-11-01 | 2021-01-05 | Objectvideo Labs, Llc | Intelligent self-powered camera |
-
2019
- 2019-12-24 JP JP2019233228A patent/JP7451172B2/ja active Active
-
2020
- 2020-12-16 US US17/124,258 patent/US11869197B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009516257A (ja) | 2005-11-15 | 2009-04-16 | イッサム リサーチ ディベロップメント カンパニー オブ ザ ヘブライ ユニバーシティー オブ エルサレム | 映像概要を生成する方法およびシステム |
US20150127626A1 (en) | 2013-11-07 | 2015-05-07 | Samsung Tachwin Co., Ltd. | Video search system and method |
JP2015115955A (ja) | 2013-12-13 | 2015-06-22 | 華為技術有限公司Huawei Technologies Co.,Ltd. | 映像要約方法および装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2021103811A (ja) | 2021-07-15 |
US11869197B2 (en) | 2024-01-09 |
US20210192749A1 (en) | 2021-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10769459B2 (en) | Method and system for monitoring driving behaviors | |
JP7110359B2 (ja) | ビデオチューブを使用した行動認識方法 | |
KR102470680B1 (ko) | 동작 인식, 운전 동작 분석 방법 및 장치, 전자 기기 | |
US10474918B2 (en) | Image processing apparatus, image processing method, and storage medium | |
US6738066B1 (en) | System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display | |
CN115315679A (zh) | 在多用户环境中使用手势来控制设备的方法和系统 | |
JP6650657B2 (ja) | フィンガープリントを使用してビデオ内で移動オブジェクトを追跡するため方法及びシステム | |
JP7451172B2 (ja) | 情報処理装置、映像の要約方法、およびプログラム | |
US10210420B2 (en) | Image processing method, image processing apparatus, and recording medium | |
KR101534742B1 (ko) | 차량용 제스처 인식 시스템 및 그 방법 | |
JP5722381B2 (ja) | ビデオ解析 | |
US11854275B2 (en) | Systems and methods for detecting symptoms of occupant illness | |
WO2020226696A1 (en) | System and method of generating a video dataset with varying fatigue levels by transfer learning | |
JP7162079B2 (ja) | 頭部のジェスチャーを介してディスプレイ装置を遠隔制御する方法、システムおよびコンピュータプログラムを記録する記録媒体 | |
US20220189038A1 (en) | Object tracking apparatus, control method, and program | |
KR20200014694A (ko) | 화상 처리 장치, 화상 처리 장치의 제어 방법, 및 비일시적 컴퓨터 판독가능 저장 매체 | |
CN115359326A (zh) | 单目3d目标检测方法及装置 | |
US20220092860A1 (en) | Extended reality for moving platforms | |
JP2019029747A (ja) | 画像監視システム | |
CN108521594A (zh) | 一种基于体感相机手势识别的自由视点视频播放方法 | |
CN111126170A (zh) | 一种基于目标检测与追踪的视频动态物检测方法 | |
US20220121856A1 (en) | Video image processing apparatus, video image processing method, and storage medium | |
JP5924991B2 (ja) | 画像処理装置、画像処理装置の制御方法、およびプログラム | |
EP3511898B1 (en) | A method and a system for displaying a reality view | |
Torstensson et al. | In-vehicle driver and passenger activity recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221214 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221214 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230915 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230926 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231117 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240306 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7451172 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |