JP5255372B2 - ビデオ・ストリームに対するリアル・タイム新規イベント検出のシステムおよび方法 - Google Patents
ビデオ・ストリームに対するリアル・タイム新規イベント検出のシステムおよび方法 Download PDFInfo
- Publication number
- JP5255372B2 JP5255372B2 JP2008218850A JP2008218850A JP5255372B2 JP 5255372 B2 JP5255372 B2 JP 5255372B2 JP 2008218850 A JP2008218850 A JP 2008218850A JP 2008218850 A JP2008218850 A JP 2008218850A JP 5255372 B2 JP5255372 B2 JP 5255372B2
- Authority
- JP
- Japan
- Prior art keywords
- event
- dissimilarity
- features
- given
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 68
- 238000001514 detection method Methods 0.000 title description 33
- 238000001914 filtration Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 16
- 238000000605 extraction Methods 0.000 description 14
- 230000015654 memory Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 11
- 239000000047 product Substances 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 6
- 238000013519 translation Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 235000020004 porter Nutrition 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011045 prefiltration Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/454—Content or additional data filtering, e.g. blocking advertisements
- H04N21/4542—Blocking scenes or portions of the received content, e.g. censoring scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/454—Content or additional data filtering, e.g. blocking advertisements
- H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
- H04N21/45452—Input to filtering algorithms, e.g. filtering a region of the image applied to an object-based stream, e.g. MPEG-4 streams
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Character Discrimination (AREA)
Description
W. Hsu, and S. Chang, "Topic Trackingacross Broadcast News Videos with Visual Duplicates and SemanticConcepts," IEEE International Conference on Image Processing (ICIP), 2006:141-144 M. Campbell, S. Ebadollahi, and D.Joshi et al., "IBM Research TRECVID-2006 Video Retrieval System,"NIST TRECVID workshop, 2006 R. Peterson, "IBM Strives forSuper Human Speech," http://www.accessible-devices.com/superspeech.html,2006
(f1)単語頻度(tf)重さwtf=ln(tf+1)
(f2)逆数文書頻度(idf:inverse document frequency)重さ
widf=ln[(N+1)/(df+0.5)]
(f3)単語(tf・idf)重さwt=wtf×widf
ここで、tfは、Sのテキストにおける単語tの頻度(すなわち、出現の回数)であり、Nは、Eのショットの総数であり、dfは、そのテキストがtを含む、Eのショットの個数である。
(f4)正規化テキスト点乗積値
(f6)正規化イメージ相違度値
(1)S1およびS2のキーフレームが、近い複製イメージであるとき、すなわち
(i)サブケース1:S1およびS2は、
(ii)サブケース2:S1およびS2は、
(2)S1およびS2のキーフレームが、近い複製イメージではないとき、すなわち
任意の2つのショットS1およびS2について、それらが同一イベントを表すかどうかを判定するために、そのテキスト/イメージ特徴の両方を使用し、上の4つのサブケースのすべてをチェックしなければならないと思われる。しかし、これは、多くの場合に不必要であることがわかる。テキストとイメージとを非対称に扱うことによって、我々は、上の4つのサブケースを次の同等な3つのケースに書き直すことによってNED動作を大幅に単純化することができ、次の3つのケースの中では、ケース2だけが、2つのサブケースを有する。
(1)ケース1:
(2)ケース2:
(i)サブケース1:
(ii)サブケース2:
(3)ケース3:
104 イベント
106 イベント
108 イベント
110 イベント
112 イベント
200 ベースラインONEDシステム
201 多言語ビデオ・チャネル
202 特徴抽出モジュール
204 イメージ特徴抽出
206 自動音声認識
208 機械翻訳
210 ONEDコンポーネント
212 コンシューマ
400 ONEDシステム
401 チャネル
402 テキスト特徴抽出モジュール
403 音声認識
404 機械翻訳
406 非ニュース・ショット除去
408 イメージ特徴抽出
410 アンカ検出
412 ONEDコンポーネント
414 コンシューマ
500 アルゴリズム
600 方法
610 方法
700 コンピュータ・システム
702 プロセッサ
704 メモリ
706 入出力(I/O)デバイス
708 ネットワーク・インターフェース
710 コンピュータ・バス
Claims (6)
- 所与のイベントが複数のイベントを含むビデオ・ストリーム内の新規イベントであるかどうかを判定する方法であって、
前記所与のイベントからテキスト特徴を含む第1集合を抽出するステップであって、特徴の前記第1集合は、前記所与のイベントに関連するイメージ特徴を含む第2集合と比較して、処理するのが計算的により安価であるステップと、
1つまたは複数の第1相違度判断基準が存在するときに、特徴の前記第1集合だけを使用して、前記所与のイベントと前記ビデオ・ストリーム内の1つまたは複数の以前のイベントとの間の1つまたは複数の第1相違度値を計算するステップと、
前記1つまたは複数の計算された第1相違度値に基づいて、前記所与のイベントが新規イベントであるかどうかを判定するステップと、
前記所与のイベントから特徴の前記第2集合を抽出するステップと、
1つまたは複数の第2相違度判断基準が存在するときに、特徴の前記第2集合を使用して、前記所与のイベントと前記ビデオ・ストリーム内の前記1つまたは複数の以前のイベントとの間の1つまたは複数の第2相違度値を計算するステップと、
前記1つまたは複数の計算された第1相違度値および前記1つまたは複数の第2相違度値に基づいて、前記所与のイベントが新規イベントであるかどうかを判定するステップを含み、
前記1つまたは複数の第1相違度値を計算する前に、前記所与のイベントと前記1つまたは複数の以前のイベントとの間の前記1つまたは複数の第1相違度値を計算するのに使用される前記以前のイベントをプレフィルタリングするステップをさらに含み、前記プレフィルタリングするステップは、前記所与のイベント内の単語と前記1つまたは複数の以前のイベント内の単語との間のオーバーラップの判定に基づく、
方法。 - 所与の時間ウィンドウ内の以前のイベントだけを含むために、前記所与のイベントと比較される1つまたは以前のイベントの個数を制限するステップをさらに含む、請求項1に記載の方法。
- 前記複数のイベントのうちのどれが、前記所与のイベントが新規イベントであるかどうかの判定に使用されるのかを追跡するために1つまたは複数のインデックスを構築するステップをさらに含む、請求項1に記載の方法。
- 前記1つまたは複数の第1相違度判断基準は、テキスト相違度しきい値が所与の値未満である、前記所与の値を超える、または前記所与の値と等しいことを含む、請求項1に記載の方法。
- 前記1つまたは複数の第2相違度判断基準は、イメージ相違度しきい値が所与の値未満である、前記所与の値を超える、または前記所与の値と等しいことを含む、請求項1に記載の方法。
- 所与のイベントが、複数のイベントを含むビデオ・ストリーム内の新規イベントであるかどうかを判定するプログラムであって、コンピュータによって実行されるときに請求項1に記載のステップを実行する1つまたは複数のプログラム・モジュールを含む、プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/933775 | 2007-11-01 | ||
US11/933,775 US8428360B2 (en) | 2007-11-01 | 2007-11-01 | System and method for real-time new event detection on video streams |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009118461A JP2009118461A (ja) | 2009-05-28 |
JP5255372B2 true JP5255372B2 (ja) | 2013-08-07 |
Family
ID=40615740
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008218850A Active JP5255372B2 (ja) | 2007-11-01 | 2008-08-27 | ビデオ・ストリームに対するリアル・タイム新規イベント検出のシステムおよび方法 |
Country Status (4)
Country | Link |
---|---|
US (2) | US8428360B2 (ja) |
JP (1) | JP5255372B2 (ja) |
CN (1) | CN101425135B (ja) |
TW (1) | TWI436226B (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100771244B1 (ko) * | 2006-06-12 | 2007-10-29 | 삼성전자주식회사 | 동영상 데이터 처리 방법 및 장치 |
US9443147B2 (en) * | 2010-04-26 | 2016-09-13 | Microsoft Technology Licensing, Llc | Enriching online videos by content detection, searching, and information aggregation |
US20130278775A1 (en) * | 2011-10-24 | 2013-10-24 | Naveen Doddapuneni | Multiple Stream Processing for Video Analytics and Encoding |
US9053194B2 (en) * | 2012-02-01 | 2015-06-09 | Sri International | Method and apparatus for correlating and viewing disparate data |
US10469624B2 (en) * | 2013-10-07 | 2019-11-05 | Bose Corporation | User interface control in a networked audio system |
US10505883B1 (en) * | 2014-04-16 | 2019-12-10 | Google Llc | Re-engagement notifications |
KR102169466B1 (ko) * | 2016-01-05 | 2020-10-26 | 그레이스노트, 인코포레이티드 | 채널 변화 기반 트리거 피처를 갖는 컴퓨팅 시스템 |
US10812495B2 (en) * | 2017-10-06 | 2020-10-20 | Uvic Industry Partnerships Inc. | Secure personalized trust-based messages classification system and method |
KR102504321B1 (ko) * | 2020-08-25 | 2023-02-28 | 한국전자통신연구원 | 온라인 행동 탐지 장치 및 방법 |
CN113792654A (zh) * | 2021-09-14 | 2021-12-14 | 湖南快乐阳光互动娱乐传媒有限公司 | 视频片段的整合方法、装置、电子设备及存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3534368B2 (ja) * | 1996-04-03 | 2004-06-07 | 株式会社東芝 | 動画像処理方法及び動画像処理装置 |
US6492998B1 (en) * | 1998-12-05 | 2002-12-10 | Lg Electronics Inc. | Contents-based video story browsing system |
EP1067800A4 (en) * | 1999-01-29 | 2005-07-27 | Sony Corp | METHOD FOR PROCESSING SIGNALS AND DEVICE FOR PROCESSING VIDEO / VOCAL SIGNALS |
US6646676B1 (en) * | 2000-05-17 | 2003-11-11 | Mitsubishi Electric Research Laboratories, Inc. | Networked surveillance and control system |
US6928407B2 (en) * | 2002-03-29 | 2005-08-09 | International Business Machines Corporation | System and method for the automatic discovery of salient segments in speech transcripts |
JP2005080169A (ja) * | 2003-09-03 | 2005-03-24 | Sony Corp | 監視システム、情報処理装置および方法、記録媒体、並びにプログラム |
US20090154890A1 (en) * | 2005-09-07 | 2009-06-18 | Pioneer Corporation | Content replay apparatus, content playback apparatus, content replay method, content playback method, program, and recording medium |
KR100799557B1 (ko) * | 2005-10-27 | 2008-01-31 | 한국전자통신연구원 | 동영상의 비주얼 특징을 이용한 유해 동영상 판별함수 생성및 판별 방법 그리고 그 장치 |
-
2007
- 2007-11-01 US US11/933,775 patent/US8428360B2/en active Active
-
2008
- 2008-08-27 JP JP2008218850A patent/JP5255372B2/ja active Active
- 2008-08-29 CN CN2008102126901A patent/CN101425135B/zh active Active
- 2008-08-29 TW TW097133344A patent/TWI436226B/zh not_active IP Right Cessation
-
2013
- 2013-02-05 US US13/759,638 patent/US9215479B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
TWI436226B (zh) | 2014-05-01 |
TW200925895A (en) | 2009-06-16 |
CN101425135A (zh) | 2009-05-06 |
JP2009118461A (ja) | 2009-05-28 |
CN101425135B (zh) | 2013-08-14 |
US8428360B2 (en) | 2013-04-23 |
US20100329563A1 (en) | 2010-12-30 |
US9215479B2 (en) | 2015-12-15 |
US20140344845A1 (en) | 2014-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5255372B2 (ja) | ビデオ・ストリームに対するリアル・タイム新規イベント検出のシステムおよび方法 | |
Nguyen et al. | Automatic image filtering on social networks using deep learning and perceptual hashing during crises | |
US11776267B2 (en) | Intelligent cataloging method for all-media news based on multi-modal information fusion understanding | |
Jain | Prediction of movie success using sentiment analysis of tweets | |
US8503523B2 (en) | Forming a representation of a video item and use thereof | |
Pal et al. | The evolution of file carving | |
CN110751224B (zh) | 视频分类模型的训练方法、视频分类方法、装置及设备 | |
CN111814770B (zh) | 一种新闻视频的内容关键词提取方法、终端设备及介质 | |
WO2016182665A1 (en) | Entity based temporal segmentation of video streams | |
CN113613065B (zh) | 视频编辑方法、装置、电子设备以及存储介质 | |
KR102034346B1 (ko) | 학습 기반의 비속어 탐지 장치 및 방법 | |
Le et al. | NII-HITACHI-UIT at TRECVID 2016. | |
US10733454B2 (en) | Transformation of video streams | |
CN112733660B (zh) | 一种视频拆条的方法和装置 | |
WO2013097101A1 (zh) | 分析视频文件的方法和装置 | |
Radarapu et al. | Video summarization and captioning using dynamic mode decomposition for surveillance | |
KR20200098381A (ko) | 콘텐츠를 검색하는 방법, 장치, 기기 및 저장 매체 | |
KR102504321B1 (ko) | 온라인 행동 탐지 장치 및 방법 | |
CN113361462A (zh) | 视频处理和字幕检测模型的方法及装置 | |
CN114302227A (zh) | 基于容器采集的网络视频采集与解析的方法和系统 | |
CN115098729A (zh) | 视频处理方法、样本生成方法、模型训练方法及装置 | |
Singh et al. | An efficient keyframes selection based framework for video captioning | |
CN110019942B (zh) | 一种视频鉴别方法及系统 | |
Qiu et al. | MMSum: A Dataset for Multimodal Summarization and Thumbnail Generation of Videos | |
CN115297323B (zh) | 一种rpa流程自动化方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110805 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130419 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5255372 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160426 Year of fee payment: 3 |