JP5766915B2 - 潜在的なショット及びシーンの検出情報を自動的に分類する方法及び装置 - Google Patents
潜在的なショット及びシーンの検出情報を自動的に分類する方法及び装置 Download PDFInfo
- Publication number
- JP5766915B2 JP5766915B2 JP2009548226A JP2009548226A JP5766915B2 JP 5766915 B2 JP5766915 B2 JP 5766915B2 JP 2009548226 A JP2009548226 A JP 2009548226A JP 2009548226 A JP2009548226 A JP 2009548226A JP 5766915 B2 JP5766915 B2 JP 5766915B2
- Authority
- JP
- Japan
- Prior art keywords
- scene
- video content
- threshold
- video
- scenes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/25—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with scene description coding, e.g. binary format for scenes [BIFS] compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Devices (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本出願は、2007年1月31日に出願された米国特許仮出願第60/898660号の利益を特許請求するものであり、この米国仮出願の内容はその完全な形で引用により本明細書に盛り込まれる。
本実施の形態の記載は、本発明の原理を例示するものである。当業者であれば、明示的に本実施の形態で説明及び図示されていないが、本発明を実施し且つ本発明の精神及び範囲に含まれる様々なアレンジメントを考案することができることを理解されたい。
Claims (14)
- ビデオコンテンツを処理する前に前記ビデオコンテンツから導出された前処理ビデオ情報を分類する装置であって、
後続する処理の間にエラーを生じる可能性を有する前記ビデオコンテンツにおけるシーン及びショットの少なくとも1つを識別し、前記識別されたシーン及びショットを、少なくとも前記前処理ビデオ情報に基づいて、2以上のカテゴリに分類するカテゴライザであって、前記後続する処理はビデオ符号化を含み、前記識別は、前記ビデオコンテンツ及び他のビデオコンテンツのうち少なくとも一方に対して実行された一または複数の先行する前処理ステップから得られた過去の結果からの情報に基づき、及び閾値シーン期間の値よりも短いかまたは長いシーンをさらに分類し、前記前処理ビデオ情報に関して実行された統計分析からの情報に基づき動的に計算される閾値シーン期間の値に基づく、カテゴライザ
を有することを特徴とする装置。 - 前記前処理ビデオ情報は、処理の前に、前記ビデオコンテンツのパラメータ及び前記ビデオコンテンツの統計値の少なくとも1つを含む、
請求項1記載の装置。 - 前記カテゴライザは、あるシーン期間の値をある閾値と比較し、前記シーンを識別し分類する、請求項1記載の装置。
- 前記カテゴライザは、上側の閾値及び下側の閾値の少なくとも1つを使用して、前記シーン及び前記ショットの少なくとも1つを、過剰に長い及び過剰に短いとして識別又は分類し、
前記上側の閾値は、前記閾値となるシーン期間の値よりも大きく、前記下側の閾値は、前記閾値となるシーン期間の値よりも小さい、
請求項3記載の装置。 - 前記カテゴライザは、過剰に短いシーンとして分類されたシーンを、前記後続する処理について潜在的に困難なシーンとしてフラグを設定する、
請求項4記載の装置。 - 前記カテゴライザは、前記シーン及び前記ショットのそれぞれの期間に基づいて、前記シーン及び前記ショットの少なくとも1つの上位Nパーセント及び下位Mパーセントの少なくとも1つを識別して分類する、
請求項1記載の装置。 - 前記1以上のカテゴリは、フェードイン、フェードアウト、ディゾルブ及びカットの少なくとも1つに対応する、請求項1記載の装置。
- ビデオコンテンツを処理する前に前記ビデオコンテンツから導出された前処理ビデオ情報を分類する方法であって、
後続する処理の間にエラーを生じる可能性を有する前記ビデオコンテンツにおけるシーン及びショットのうち少なくとも1つを識別するステップであって、前記後続する処理はビデオ符号化を含み、前記識別は、前記ビデオコンテンツ及び他のビデオコンテンツのうち少なくとも一方に対して実行された一または複数の先行する前処理ステップから得られた過去の結果からの情報に基づき、及び閾値シーン期間の値よりも短いかまたは長いシーンをさらに分類し、前記前処理ビデオ情報に関して実行された統計分析からの情報に基づき動的に計算される閾値シーン期間の値に基づく、ステップと、
前記識別されたシーン及びショットを、少なくとも前記前処理ビデオ情報に基づいて、2以上のカテゴリに分類するステップと
を有することを特徴とする方法。 - 前記前処理ビデオ情報は、処理の前に、前記ビデオコンテンツのパラメータ及び前記ビデオコンテンツの統計値の少なくとも1つを含む、
請求項8記載の方法。 - 前記シーンを識別又は分類するために閾値の期間の値が使用される、
請求項8記載の方法。 - 前記識別するステップ及び前記分類するステップの少なくとも1つは、上側の閾値及び下側の閾値の少なくとも1つを使用して、前記シーン及び前記ショットの少なくとも1つを、過剰に長い及び過剰に短いとして識別又は分類し、
前記上側の閾値は、前記閾値となるシーン期間の値よりも大きく、前記下側の閾値は、前記閾値となるシーン期間の値よりも小さい、
請求項10記載の方法。 - 前記分類するステップは、過剰に短いとして分類されたシーンを、前記後続する処理について潜在的に困難なシーンとしてフラグを設定する、
請求項11記載の方法。 - 前記識別するステップ及び前記分類するステップの少なくとも1つは、前記シーン及び前記ショットのそれぞれの期間に基づいて、前記シーン及び前記ショットの少なくとも1つの上位Nパーセント及び下位Mパーセントの少なくとも1つを識別又は分類する、請求項8記載の方法。
- 前記1以上のカテゴリは、フェードイン、フェードアウト、ディゾルブ及びカットの少なくとも1つに対応する、請求項8記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US89866007P | 2007-01-31 | 2007-01-31 | |
US60/898,660 | 2007-01-31 | ||
PCT/US2007/025339 WO2008127319A2 (en) | 2007-01-31 | 2007-12-11 | Method and apparatus for automatically categorizing potential shot and scene detection information |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015062744A Division JP2015149084A (ja) | 2007-01-31 | 2015-03-25 | 潜在的なショット及びシーンの検出情報を自動的に分類する方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010517469A JP2010517469A (ja) | 2010-05-20 |
JP5766915B2 true JP5766915B2 (ja) | 2015-08-19 |
Family
ID=39864515
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009548226A Expired - Fee Related JP5766915B2 (ja) | 2007-01-31 | 2007-12-11 | 潜在的なショット及びシーンの検出情報を自動的に分類する方法及び装置 |
JP2015062744A Pending JP2015149084A (ja) | 2007-01-31 | 2015-03-25 | 潜在的なショット及びシーンの検出情報を自動的に分類する方法及び装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015062744A Pending JP2015149084A (ja) | 2007-01-31 | 2015-03-25 | 潜在的なショット及びシーンの検出情報を自動的に分類する方法及び装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8891020B2 (ja) |
EP (1) | EP2109992A2 (ja) |
JP (2) | JP5766915B2 (ja) |
KR (1) | KR101426978B1 (ja) |
CN (1) | CN101601302B (ja) |
WO (1) | WO2008127319A2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011199414A (ja) * | 2010-03-17 | 2011-10-06 | Toshiba Corp | 素材収録装置及び素材収録方法 |
WO2012006578A2 (en) * | 2010-07-08 | 2012-01-12 | The Regents Of The University Of California | End-to-end visual recognition system and methods |
CN102142256B (zh) * | 2010-08-06 | 2012-08-01 | 华为技术有限公司 | 淡入时间的计算方法和装置 |
CN103493481A (zh) * | 2011-01-28 | 2014-01-01 | 艾艾欧有限公司 | 基于场景的适应性比特率控制 |
CN104318208A (zh) * | 2014-10-08 | 2015-01-28 | 合肥工业大学 | 一种基于图分割和实例学习的视频场景检测方法 |
US10402436B2 (en) | 2016-05-12 | 2019-09-03 | Pixel Forensics, Inc. | Automated video categorization, value determination and promotion/demotion via multi-attribute feature computation |
US10482126B2 (en) * | 2016-11-30 | 2019-11-19 | Google Llc | Determination of similarity between videos using shot duration correlation |
CN111010599B (zh) * | 2019-12-18 | 2022-04-12 | 浙江大华技术股份有限公司 | 一种处理多场景视频流的方法、装置及计算机设备 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3112274B2 (ja) | 1990-04-13 | 2000-11-27 | ソニー株式会社 | 電子機器 |
JP3003460B2 (ja) * | 1993-06-17 | 2000-01-31 | 松下電器産業株式会社 | 符号化および復号化装置 |
EP1027660A1 (en) * | 1996-07-12 | 2000-08-16 | Lava, Inc. | Digital video system having a data base of coded data for digital audio and video information |
GB9705999D0 (en) * | 1997-03-22 | 1997-05-07 | Philips Electronics Nv | Video signal analysis and storage |
US6278446B1 (en) | 1998-02-23 | 2001-08-21 | Siemens Corporate Research, Inc. | System for interactive organization and browsing of video |
US6477201B1 (en) * | 1998-05-22 | 2002-11-05 | Sarnoff Corporation | Content-adaptive compression encoding |
US7110454B1 (en) * | 1999-12-21 | 2006-09-19 | Siemens Corporate Research, Inc. | Integrated method for scene change detection |
JP2001245303A (ja) * | 2000-02-29 | 2001-09-07 | Toshiba Corp | 動画像符号化装置および動画像符号化方法 |
KR20010087552A (ko) * | 2000-03-07 | 2001-09-21 | 구자홍 | 엠펙(mpeg)압축 비디오 환경에서 매크로 블록의시공간상의 분포를 이용한 디졸브/페이드 검출 방법 |
JP2002010259A (ja) * | 2000-06-21 | 2002-01-11 | Mitsubishi Electric Corp | 画像符号化装置及び画像符号化方法及び画像符号化プログラムを記録した記録媒体 |
JP2002176613A (ja) * | 2000-12-06 | 2002-06-21 | Minolta Co Ltd | 動画像編集装置、動画像編集方法および記録媒体 |
US6909745B1 (en) * | 2001-06-05 | 2005-06-21 | At&T Corp. | Content adaptive video encoder |
JP4036328B2 (ja) * | 2002-09-30 | 2008-01-23 | 株式会社Kddi研究所 | 動画像データのシーン分類装置 |
US7075581B1 (en) * | 2003-06-03 | 2006-07-11 | Zoran Corporation | Interlaced-to-progressive scan conversion based on film source detection |
JP4673543B2 (ja) * | 2003-08-04 | 2011-04-20 | シャープ株式会社 | データ処理装置、及びデータ編集方法 |
JP4047264B2 (ja) * | 2003-09-30 | 2008-02-13 | 株式会社東芝 | 動画像処理装置、動画像処理方法および動画像処理プログラム |
JP2005301641A (ja) * | 2004-04-12 | 2005-10-27 | Matsushita Electric Ind Co Ltd | 映像撮影装置 |
US7880815B2 (en) * | 2005-01-10 | 2011-02-01 | Mavs Lab, Inc. | Method for detecting and eliminating flash scene in digital video |
WO2006092765A2 (en) | 2005-03-04 | 2006-09-08 | Koninklijke Philips Electronics N.V. | Method of video indexing |
JP5318561B2 (ja) | 2005-03-10 | 2013-10-16 | クゥアルコム・インコーポレイテッド | マルチメディア処理のためのコンテンツ分類 |
JP2006311079A (ja) | 2005-04-27 | 2006-11-09 | Victor Co Of Japan Ltd | 画像ビットストリーム変換装置 |
US8654848B2 (en) * | 2005-10-17 | 2014-02-18 | Qualcomm Incorporated | Method and apparatus for shot detection in video streaming |
EP2063635A4 (en) * | 2006-09-12 | 2009-12-09 | Panasonic Corp | CONTENT IMAGE FORMATION DEVICE |
-
2007
- 2007-12-11 KR KR1020097016100A patent/KR101426978B1/ko not_active IP Right Cessation
- 2007-12-11 JP JP2009548226A patent/JP5766915B2/ja not_active Expired - Fee Related
- 2007-12-11 EP EP07873492A patent/EP2109992A2/en not_active Withdrawn
- 2007-12-11 WO PCT/US2007/025339 patent/WO2008127319A2/en active Application Filing
- 2007-12-11 CN CN2007800507531A patent/CN101601302B/zh not_active Expired - Fee Related
- 2007-12-11 US US12/449,012 patent/US8891020B2/en not_active Expired - Fee Related
-
2015
- 2015-03-25 JP JP2015062744A patent/JP2015149084A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US8891020B2 (en) | 2014-11-18 |
KR101426978B1 (ko) | 2014-08-07 |
KR20090115132A (ko) | 2009-11-04 |
JP2010517469A (ja) | 2010-05-20 |
US20100007793A1 (en) | 2010-01-14 |
CN101601302B (zh) | 2012-07-04 |
CN101601302A (zh) | 2009-12-09 |
EP2109992A2 (en) | 2009-10-21 |
WO2008127319A2 (en) | 2008-10-23 |
WO2008127319A3 (en) | 2009-08-13 |
JP2015149084A (ja) | 2015-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2015149084A (ja) | 潜在的なショット及びシーンの検出情報を自動的に分類する方法及び装置 | |
Gygli | Ridiculously fast shot boundary detection with fully convolutional neural networks | |
KR100987365B1 (ko) | 비디오 프레임들로부터 키 프레임들의 선택 | |
US9098902B2 (en) | System and method for encoding video | |
US10546208B2 (en) | Method, system and apparatus for selecting a video frame | |
KR101709085B1 (ko) | 컨볼루션 신경망을 이용한 샷 경계 검출 방법 및 장치 | |
US9071814B1 (en) | Scene detection based on video encoding parameters | |
US10181083B2 (en) | Scene change detection and logging | |
AU2011203219B2 (en) | Mode removal for improved multi-modal background subtraction | |
JP2011507314A5 (ja) | ||
US20040028139A1 (en) | Video encoding | |
JP5095819B2 (ja) | 時間最適化されたエンコードのためのシステムおよび方法 | |
KR102504321B1 (ko) | 온라인 행동 탐지 장치 및 방법 | |
JP4620126B2 (ja) | 映像識別装置 | |
Almeida et al. | Rapid cut detection on compressed video | |
US20180013932A1 (en) | Detecting shot changes in a video | |
CN114286199B (zh) | 一种基于神经网络模型的短视频片段自动生成方法及系统 | |
US11743474B2 (en) | Shot-change detection using container level information | |
Jain et al. | A Fast Method for Textual Annotation of Compressed Video. | |
CN115810103A (zh) | 一种前景图像的提取方法、装置、设备及介质 | |
AU2016262689A1 (en) | Method, system and apparatus for determining a bounded region of interest in a video frame |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101125 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120912 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121002 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20121228 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20130110 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130402 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131112 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20140210 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20140218 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140509 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20141125 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150325 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20150402 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150609 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150618 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5766915 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |