JP4682928B2 - アクションキーフレーム内における複数のビデオフレーム全体にわたる動作を視覚化する装置とそのためのプログラム - Google Patents
アクションキーフレーム内における複数のビデオフレーム全体にわたる動作を視覚化する装置とそのためのプログラム Download PDFInfo
- Publication number
- JP4682928B2 JP4682928B2 JP2006164275A JP2006164275A JP4682928B2 JP 4682928 B2 JP4682928 B2 JP 4682928B2 JP 2006164275 A JP2006164275 A JP 2006164275A JP 2006164275 A JP2006164275 A JP 2006164275A JP 4682928 B2 JP4682928 B2 JP 4682928B2
- Authority
- JP
- Japan
- Prior art keywords
- frames
- foreground
- alpha value
- pixel
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Studio Circuits (AREA)
- Image Analysis (AREA)
Description
ビデオ(映像)における動作(アクティビティ)の識別、動作の重要性評価、ビデオにおけるオブジェクトの認識、およびビデオをより詳細に見るための連係技術に基づいてアクションキーフレームを発生する、固定位置カメラのための技術が提供される。
事象(イベント)は、ビデオ内の動作の量、録画されている空間内における対象ポイントへの距離、人々の顔のような検出された特徴、および他のセンサ、たとえば、電波方式による識別(RFID)技術に基づくチップからの事象に基づいて、対象と考えられる動作の期間を決定することによって識別される。同じ対象ポイントが多数のカメラの視野内に入るならば、すべてのカメラを考慮することによって、対象ポイントへの距離測定の精度を向上することができる。
本発明の1つの実施形態では、ビデオストリーム内の動作の期間を単一のキーフレームによって視覚化するために、ビデオセグメントにおけるフレーム内の動くオブジェクトは、閾値混合(アルファブレンド)されて動きを示す。ビデオ信号内のフレームを定期的に抽出して、ビデオフレームの画素を平均化して単一の画像を作成することによって、動くオブジェクトを示すことができると単純に期待することもできる。しかしながら、そのように組み合わされたフレームでは、背景が支配的であり、前景にあるオブジェクトはかすかに目に見えるだけである。むしろ、最初に、背景(または、動かないオブジェクト)が前景(または、動くオブジェクト)から分離される。フレームのサンプルレートによって、前景のオブジェクトがいかに明瞭に知覚されるかが決定される。最も有効に機能するサンプルレートでは、動くオブジェクトはあるフレームと次のフレームとの間でオーバーラップがおこることはない。通常に配置されたセキュリティカメラ、およびカメラ画面に垂直に歩く人にとって好ましいサンプルレートは、0.5フレーム/秒〜2フレーム/秒である。サンプルレートがはるかに高い(たとえば、10フレーム/秒)と、続くサンプルにおいて、前景にある形状間でかなりオーバラップが生じそれらの形状を認識することが難しくなる。サンプルレートを固定して使用するのではなく、異なるビデオフレームから前景にある形状間のオーバラップ量を決定することができる。また、前景にある形状が前のサンプルの前景にある形状とオーバーラップしないなら、別のサンプルを選択するだけでよい。
本発明の1つの実施形態によれば、不透明度を増すことによって前景画素を定期的(たとえば、4サンプルごと)に強調して、動きがオーバーラップし過ぎることなくより詳細を示すことができる。図1A、図1B、図7Aおよび図7Bには、0.5サンプル/秒で閾値混合された前景が示されている。図1A、図7Aは、4サンプルごとに前景画素が不透明度を増して強調された場合を示しており、図1B、図7Bは重要なフレームが強調された場合を示している。図1Aおよび図1Bにおいて、実線による強調は濃い形を示し、破線は、弱く弁別された形を示し、点線は、微弱に知覚(微弱に知覚は、弱く弁別に比較し、濃くない)された形を示す。この方法は、定率でフレームを抽出することによって前記形状のオーバーラップを防止して、前景の形状が、前に強調されたサンプルとオーバーラップしないならば、それらの形状のみを強調する技術と組み合わせることができる。この組み合わせによっても、表示を「ビジー」すぎる状態にすることなく、ユーザーは一定のレートで集められたサンプルから動きの速度を推定できる。
本発明の1つの実施形態によれば、前景画素を透光性の色に着色して、ビデオフレーム間にわたる動作を視覚化することができる。トラッキングされている動きをオーバーラップさせながら時間とともに着色する色を変えて時間的順序を示すことができる。図2A、および図8Aは、図7Aを着色したものを示し、図2B、および図8Bは、図7Bが着色されたものを示している。図2A、および図8Aでは、前景の着色が行われ、図2B、および図8Bでは、重要なフレームを強調する着色が行われている。図2A、および図2Bにおいて、実線および太い斜線による陰影は、濃く着色された形を示し、太い破線と間隔が狭い陰影は、薄く着色された形を示し、中位に濃い破線と間隔が中位の陰影は、非常に弱く着色された形を示し、点線と間隔が広い陰影は、微弱に着色された形を示している(微弱に着色は、弱く着色よりも濃くない非常に弱く着色に比較し、濃くない。)。
本発明の1つの実施形態では、前景画素によって作成された形状の周りに有色のハローを描いてビデオフレーム間にわたる動作を視覚化することもできる。形状は、可能であれば、前景画素に囲まれた画素を含むことによって満たされていなければならず、また浮遊前景画素は無視されるべきである。図4Aと図10Aでは、ハローを使ってすべての前景画素を強調し、また図4Bと図10Bでは、重要なサンプルの前景画素を強調している。図4A、および図4Bでは、太い実線を使用して、図10の赤いハローを図示している。実線は濃い形を示し、破線は弱く識別された形を示し、点線は微弱に知覚された形(微弱に知覚されるは、弱く識別されるよりも濃くない。)を示す。
本発明の1つの実施形態では、重要な動作をより不透明に、また重要でない動作をより透明にすることによってビデオセグメント内のアクションの重要性を示すことができる。視覚化機能を強化する上記にリストされた技術を選択的に適用して重要な動作を高輝度表示することができる。重要となる時間への時間的距離、またはビデオフレーム内の関心の的となる箇所への空間的距離に応じて不透明にする、または着色することができる。オブジェクトが(たとえば、顔を認識して)認識されたならば、上記高度化技術をそのオブジェクトのみに適用することができる。
本発明の別の実施形態では、ユーザーは、単一のビデオフレームか、または発生されたキーフレームのいずれかをマウスを使ってクリックすればよい。オブジェクトがマウス位置の近くで識別されるならば、そのオブジェクトは重要であるとマークされ、フレーム間にわたってトラッキングされる。上記の視覚化技術をまさしくそのマークされたオブジェクトのみに適用する。
本発明のさらに別の実施形態では、各画素のタイムスタンプを使用して、類似のタイムスタンプを有する近くにある画素を上述のような形状にグループ化してオブジェクトを識別することができる。より最新のフレームにある、より古いフレーム内の形状に類似しており、かつ最高速度で動いているとの仮定のもとに一貫している形状を見つけることによって、フレーム間にわたってオブジェクトをトラッキングすることができる。異なる形状がマージされ、かつ再び分割される場合、それらの形状が動くときの軌跡を考えるとそれらの形状の同一性に関する仮説を立てることができる。
本発明のさらに別の実施形態では、オブジェクトそれぞれのオーバーレイを異なる色に着色/カラー化することによって独立しているオブジェクトの動作を視覚化することができる。または、オブジェクトの周りに異なる色のハローを描くことができる。
(時間、またはオブジェクトによる視覚化)
本発明の別の実施形態では、視覚化がビジーであるか、または複雑であるとき、単一のキーフレームの視覚化を細分することができる。オブジェクトの動きが遅い、またはオブジェクトにいくつかのグループがあるならば、サンプルレートを減少させることによって視覚化をよりビジーでない状態にすることはできるが、オブジェクトが方向を逆にしたり、または異なるオブジェクトがそれぞれの時間にそれぞれの方向に動くときサンプルレートを減少させる場合は役に立たない。時間的距離の長いフレームにおける前景形状のオーバーラップはこの状況を示すものである。このような場合、動作セグメントの時間を、そのようなオーバラップを避けて独立した視覚化が可能なサブセグメントに区切ることができる。アクション期間を等しい、または異なる長さを有するより短い期間に分割し、動作期間におけるより短いタイムスライスそれぞれに対して、独立しているアクションキーフレームを作成する。
本発明の別の実施形態では、前景画素と背景画素を閾値混合する代わりに、様々な時間における前景画素をより抽象的な表現で視覚化することができる。1つの表現方法では、オブジェクトのトラッキングを利用する。各オブジェクトの軌跡または、オブジェクトの代表的部分(たとえば、最高点、または検出された縁の角)が、時間の経過とともに線として、または一定の時間間隔で打たれた一連の点として示される。図5A、および図11Aにおいて、トラッキングされたオブジェクトの連続した軌跡を太い連続実線で示し、トラッキングされたオブジェクトの軌跡に関して、一定間隔(デルタT=0.6秒)で打たれた位置が、図5Bでは、円で示されており、また、図11Bにおいては、赤い点で示されている。同じオブジェクトを異なる時間において視覚化したいくつかの像を視覚面から乱れなく表示して、オブジェクトの動きを上記の実線で示している。この方法は、多くのオブジェクトが共通の領域を通るとき、特に役に立つことがある。軌跡線を色分けして時間的な関係を示すことができる。色分けは、見たところ交差している軌跡線が同じ時間に実際に交差しているか(すなわち、オブジェクト同士が現実に互いに近くを通ったかどうか)どうかを示すのに役立つ。時たま視覚化された動いているオブジェクト像が軌跡線によって結ばれるように、低サンプルレートで前景画素を閾値混合して軌跡線を構成することができる。軌跡上のポイント各々は、ある時間点に対応するので、クリックするか、または図示されている軌跡線に沿ってドラッグすることによってユーザーは、時間、または時間間隔を指定することがある。
ビデオセグメントを縮小して表現することはビデオにおける物理的な動作の概要、またはまとめが役に立ついかなる状況でも有効である。これは、セキュリティビデオセグメントと、検索によってビデオライブラリに戻ったビデオのセグメントにおけるアクションのまとめを含む。それらは、ビデオセグメントを表す単一の静止画像を提供するのに必要とされる帯域幅が比較的低いので特に有益である。
Claims (7)
- 動画像から、所定の時間間隔ごとに時系列で複数のフレームを抽出し、当該抽出したフレームにおける各画素を1つまたはそれ以上の前景または動くオブジェクトを表すものと、1つまたはそれ以上の背景または動かないオブジェクトを表すものとに分類する分類手段と、
抽出されたフレームそれぞれにおける前記分類された画素それぞれに対して、前記前景または動くオブジェクトには不透明度が高くなるように高いアルファ値を、前記背景または動かないオブジェクトには低いアルファ値をそれぞれ割り当てる割当手段と、
抽出された複数のフレームのそれぞれに前記アルファ値を適用した複数のフレームを合成して1つの静止画像を生成する手段と、
を有する動作を視覚化する装置。 - 前記割当手段は、前記前景または動くオブジェクトのアルファ値を、前記時系列で抽出した複数のフレームにおいて周期的に変動させて設定することを特徴とする請求項1に記載の動作を視覚化する装置。
- 前記割当手段は、前記前景または動くオブジェクトのアルファ値に加えて前記前景または動くオブジェクトの色彩を変更する請求項1に記載の動作を視覚化する装置。
- 前記割当手段は、前記前景または動くオブジェクトの境界近傍の画素のアルファ値を、前記前景または動くオブジェクトに設定されるアルファ値の略1/2に設定する請求項1に記載の動作を視覚化する装置。
- 前記分類手段は、前記所定の時間間隔をさらに細分化し、該細分化された時間間隔でフレームを抽出する請求項1に記載の動作を視覚化する装置。
- 前記割当手段は、前記時系列で抽出したフレームのそれぞれにおいて、時系列での前フレームと比べたときの輝度の変化量が最大となる画素の領域または時系列での前フレームと比べたときのエッジ強度が最大となる画素の領域を抽出し、該抽出した領域の中心位置を特定し、
前記静止画像を生成する手段は、前記アルファ値が設定された時系列のフレームを合成して1の静止画を生成するときに、前記特定された中心位置を記号または曲線状の軌跡として表現する請求項1に記載の動作を視覚化する装置。 - コンピュータを、
動画像から、所定の時間間隔ごとに時系列で複数のフレームを抽出し、当該抽出したフレームにおける各画素を1つまたはそれ以上の前景または動くオブジェクトを表すものと、1つまたはそれ以上の背景または動かないオブジェクトを表すものとに分類する分類手段、
抽出されたフレームそれぞれにおける前記分類された画素それぞれに対して、前記前景または動くオブジェクトには不透明度が高くなるように高いアルファ値を、前記背景または動かないオブジェクトには低いアルファ値をそれぞれ割り当てる割当手段、及び抽出された複数のフレームのそれぞれに前記アルファ値を適用した複数のフレームを合成して1つの静止画像を生成する手段、
として機能させるためのプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US69198305P | 2005-06-17 | 2005-06-17 | |
US11/324,355 US7623677B2 (en) | 2005-06-17 | 2006-01-03 | Methods and interfaces for visualizing activity across video frames in an action keyframe |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007013951A JP2007013951A (ja) | 2007-01-18 |
JP4682928B2 true JP4682928B2 (ja) | 2011-05-11 |
Family
ID=37751745
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006164275A Active JP4682928B2 (ja) | 2005-06-17 | 2006-06-14 | アクションキーフレーム内における複数のビデオフレーム全体にわたる動作を視覚化する装置とそのためのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4682928B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5196230B2 (ja) * | 2006-12-22 | 2013-05-15 | 富士フイルム株式会社 | 出力装置、出力方法、及びプログラム |
JP4924727B2 (ja) | 2010-02-16 | 2012-04-25 | カシオ計算機株式会社 | 画像処理装置及び画像処理プログラム |
KR102334350B1 (ko) * | 2019-10-25 | 2021-12-03 | 주식회사 아이오로라 | 객체와 배경 이미지를 합성하여 실감형 포토 영상을 제공하는 영상 처리 시스템 및 방법 |
CN113132795A (zh) * | 2019-12-30 | 2021-07-16 | 北京字节跳动网络技术有限公司 | 图像处理方法及装置 |
CN112905433B (zh) * | 2021-03-16 | 2022-08-19 | 广州虎牙科技有限公司 | 轨迹追踪方法、装置、电子设备和可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000308008A (ja) * | 1999-03-12 | 2000-11-02 | Fuji Xerox Co Ltd | ビデオのセグメント重要度を決定する方法及びフレーム・セットを限定領域にパックする方法 |
US20030044045A1 (en) * | 2001-06-04 | 2003-03-06 | University Of Washington | Video object tracking by estimating and subtracting background |
US6573940B1 (en) * | 1999-09-02 | 2003-06-03 | Techwell, Inc | Sample rate converters for video signals |
JP2003346463A (ja) * | 2002-04-03 | 2003-12-05 | Fuji Xerox Co Ltd | ビデオシーケンスの縮小表示 |
US7221366B2 (en) * | 2004-08-03 | 2007-05-22 | Microsoft Corporation | Real-time rendering system and process for interactive viewpoint video |
-
2006
- 2006-06-14 JP JP2006164275A patent/JP4682928B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000308008A (ja) * | 1999-03-12 | 2000-11-02 | Fuji Xerox Co Ltd | ビデオのセグメント重要度を決定する方法及びフレーム・セットを限定領域にパックする方法 |
US6573940B1 (en) * | 1999-09-02 | 2003-06-03 | Techwell, Inc | Sample rate converters for video signals |
US20030044045A1 (en) * | 2001-06-04 | 2003-03-06 | University Of Washington | Video object tracking by estimating and subtracting background |
JP2003346463A (ja) * | 2002-04-03 | 2003-12-05 | Fuji Xerox Co Ltd | ビデオシーケンスの縮小表示 |
US7221366B2 (en) * | 2004-08-03 | 2007-05-22 | Microsoft Corporation | Real-time rendering system and process for interactive viewpoint video |
Also Published As
Publication number | Publication date |
---|---|
JP2007013951A (ja) | 2007-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7623677B2 (en) | Methods and interfaces for visualizing activity across video frames in an action keyframe | |
Hashemzadeh et al. | Fire detection for video surveillance applications using ICA K-medoids-based color model and efficient spatio-temporal visual features | |
Matern et al. | Exploiting visual artifacts to expose deepfakes and face manipulations | |
CN109154976B (zh) | 通过机器学习训练对象分类器的系统和方法 | |
US6141434A (en) | Technique for processing images | |
Horprasert et al. | A statistical approach for real-time robust background subtraction and shadow detection | |
Horprasert et al. | A robust background subtraction and shadow detection | |
US6556708B1 (en) | Technique for classifying objects within an image | |
Pless et al. | Evaluation of local models of dynamic backgrounds | |
CN110298297B (zh) | 火焰识别方法和装置 | |
JP4682928B2 (ja) | アクションキーフレーム内における複数のビデオフレーム全体にわたる動作を視覚化する装置とそのためのプログラム | |
JP7040633B2 (ja) | 群集レベル推定のための方法、システム及びプログラム | |
US20180012101A1 (en) | Shadow detection and removal in license plate images | |
Ma et al. | Detecting Motion Object By Spatio-Temporal Entropy. | |
Zin et al. | Unattended object intelligent analyzer for consumer video surveillance | |
JP6981555B2 (ja) | 群集推定手法の性能モデリング方法、システム、及びプログラム | |
US6434271B1 (en) | Technique for locating objects within an image | |
Nabi et al. | Temporal poselets for collective activity detection and recognition | |
KR20180037519A (ko) | 기계 학습 기반의 실감 미디어 저작 방법 및 장치 | |
US6240197B1 (en) | Technique for disambiguating proximate objects within an image | |
JP2021516825A (ja) | 群集推定手法の統合及び自動切り替えのための方法、システム及びプログラム | |
Hashemzadeh et al. | Smoke detection in video using convolutional neural networks and efficient spatio-temporal features | |
US6184858B1 (en) | Technique for updating a background image | |
JP2005100122A (ja) | 識別処理に用いる特徴量の種類と識別条件を決定する装置、プログラムならびにプログラムを記録した記録媒体、および特定内容のデータを選別する装置 | |
Muniruzzaman et al. | Deterministic algorithm for traffic detection in free-flow and congestion using video sensor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20060614 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101019 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110111 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110124 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140218 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4682928 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |