JP4759745B2 - 映像分類装置、映像分類方法、映像分類プログラムおよびコンピュータ読取可能な記録媒体 - Google Patents
映像分類装置、映像分類方法、映像分類プログラムおよびコンピュータ読取可能な記録媒体 Download PDFInfo
- Publication number
- JP4759745B2 JP4759745B2 JP2006171830A JP2006171830A JP4759745B2 JP 4759745 B2 JP4759745 B2 JP 4759745B2 JP 2006171830 A JP2006171830 A JP 2006171830A JP 2006171830 A JP2006171830 A JP 2006171830A JP 4759745 B2 JP4759745 B2 JP 4759745B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- shot
- scene
- shots
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Description
ト間の境界(以降、ショットカットと呼ぶ)を検出する手法が提案されている(例えば、非特許文献2〜5参照)。これらの手法では、ショットカットの前後で画像の輝度値や動きベクトルが急激に変化するという特徴に基づき、ショットカットを検出する。
長谷山美紀,「ユーザが望む映像を提供するために−画像認識とクラスタリングそして意味理解への発展−」,映像情報メディア学会技術報告,vol.29, no.47, pp.49-52, 2005. S.J.F. Guimaraes et al., Video segmentation based on 2D image analysis, Pattern Recognition Letters, vol.24, no.7, pp.947-957, 2003. 鈴木賢一郎,中嶋正臣,坂野鋭,三部靖夫,大塚作一,「動き方向ヒストグラム特徴を用いた映像データからのカット点検出法」,情報通信学会論文誌(D-II),vol.J-86-D-II, no.4, pp.468-478, 2003. 中島康之,氏原清乃,米山暁夫,「部分復号を用いた MPEG データからのカット点検出」,情報通信学会論文誌(D-II),vol.J81-D-II, no.7, pp.1564-1575, 1998. 長坂晃朗,田中譲,「カラービデオ映像における自動索引付け法と物体探索法」,情報処理学会論文誌,vol.33, no.4, pp.543-550, 1992. T. Zhang and C.-C. J. Kuo, Audio content analysis for online audiovisual data segmentation and classification, IEEE Transactions on Speech and Audio Processing, vol.9, no.4, pp.441-457, 2001. R. Wang, Z. Liu, and J. Huang, Multimedia content analysis using both audio and visual clues, IEEE Signal Process Mag., vol.17, no.6, pp.12-36, 2000. Z. Liu and Y. Wang, Audio feature extraction and analysis for scene segmentation and classification, J. VLSI Signal Process., vol.20, pp.61-79, 1998. C. Saraceno and R. Leonardi, Audio as a support to scene change detection and characterization of video sequences, Proc. Int. Conf. Acoustics, Speech, and Signal Processing, vol.4, pp. 2597--2600, 1997. 中島康之,陸洋,菅野勝,柳原広昌,米山暁夫,「MPEG 符号化データからのオーディオインデキシング」,情報通信学会論文誌(D-II),vol.J83-D-II, no.5, pp.1361-1371, 2000. G.F. Hughes, On the mean accuracy of statistical pattern recognizers, IEEE Trans. Information Theory, vol.IT-14, no.1, pp.55--63, 1968.
ここでは、PCAとFCMとを用いて、オーディオ信号が以下の(1)〜(5)に定義する5種類のクラスに属する程度(以降、帰属確率と呼ぶ)を算出する。
(1)無音(Silence:Si):準静的な背景音のみを含むオーディオ信号
(2)音声(Speech:Sp):会話等の音声を含むオーディオ信号
(3)音楽(Music:Mu):楽器の演奏等の音を含むオーディオ信号
(4)音楽付き音声(Speech with Music:SpMu):背景に音楽が存在する環境下での音声を含むオーディオ信号
(5)雑音付き音声(Speech with Noise:SpNo):背景に雑音が存在する環境下での音声を含むオーディオ信号
各クラスへの帰属確率は、図2に示すCLS#1からCLS#4の4つの分類処理を施し、それらの分類結果を用いて算出される。ここで、CLS#1からCLS#4までの各分類処理は、全て同一の手順であり、処理対象信号及び2種類の参照信号に対し、「特徴量の算出」、「PCAの適用」、及び「FCMの適用」の3つの処理を行う。ただし、表1に示すように、参照信号は分類処理の目的に応じてSi,Sp,Mu,SpMu,SpNoのいずれか(あるいは複数)のオーディオ信号を含む。
まず、処理対象であるオーディオ信号、及び表1に示した2種類の参照信号から、特徴量を算出する。ここで、特徴量は、フレーム(フレーム長:Wf)とクリップ(クリップ長:Wc)と呼ばれる、大きさの異なる2種類の分析窓を用いて算出される。ただし、図3に示すように、フレームの大きさは、クリップに比べて、十分に小さいものとする。また、フレーム及びクリップの移動幅Δは、Wf>Δを満たすものとする。図3の点線で示しているように、クリップ1には、フレーム1,2,3,…,Nが含まれる。また、図には記載されていませんが、フレーム及びクリップは移動幅Δ(=フレーム長の半分)で移動することから、クリップ2にはフレーム2,3,4,…,N+1が、クリップ3にはフレーム3,4,5,…,N+2が含まれることとなる。通常、フレームやクリップは、隣接するフレーム/クリップが重なるように移動させる。これは、隣接するフレームが重なりを許すことで、ハニング窓やハミング窓等の窓関数を用いて切り出された信号を、元の信号に復元できることに起因している。多くの場合、この窓の移動幅は窓長の1/2が使用されるため、本実施形態でもフレーム長の半分に設定している。しかし、これに限定されることはない。
次に、処理対象信号のクリップから算出された特徴量、及び2種類の参照信号から算出されたクリップ単位の特徴量(参照信号のクリップ数は共にNcとする)を正規化し、PCAを施す。PCAを施すことで、相関の高い特徴量間の影響を軽減することが可能となる。また、PCAより得られた主成分のうち、その固有値が1以上であるものを下記で説明するFCMに使用することで、計算量の増加やヒューズの現象(有限個の学習パターンあら識別器を設計する際、特徴空間の次元を高くすると識別性能が低下する現象)(非特許文献11参照)を回避することが可能となる。
次に、上記PCAの適用で得られたで主成分に対し、FCMを施す。
まず、処理対象信号(k=1)、参照信号1(k=2,…,Nc+1)、参照信号2(k=Nc+2,…,2Nc+1)の各クリップから得られた特徴量を用いて、特徴ベクトルfkを次式で定義する。
そこで、帰属度μikを用いて、μc iを以下のように設定する。
CLS#1からCLS#4の各分類処理において、上記で説明した特徴量の算出、PCAの適用、FCMの適用の処理を行い、得られたμc i(i=1,2;c=1,…,4)を用いて、帰属確率を算出する。各クラス(Si,Sp,Mu,SpMu,SpNo)への帰属確率(PSi,PSp,PMu,PSpMu,PSpNo)は、以下で定義される。
上記で説明したオーディオ信号に基づく分類と、ビデオ信号から得られるショットカットを用いた、オーディオビジュアルインデキシング(分類)について説明する。本実施形態では、代表的なショットカット検出法である分割χ2検定法(非特許文献5参照)を用いてショットカットを検出し、得られたショットカットと、上記で得られたオーディオ信号のインデキシング結果を組み合わせることで、オーディオビジュアルインデキシングを実現する。そこで、以下で分割χ2検定法によるショットカット検出、及びオーディオビジュアルインデキシングについて説明する。
以上のような処理を行うことで、映像信号はシーン単位に分割される。各シーンに無音、音声、音楽、音楽付き音声、雑音付き音声のインデックスが付加されると、付加されたインデックスに基づき、図4の右側に示すような音響に基づくシーン分類が可能となる。ここでの処理は、識別情報付与部8、音響ベースシーン分類部6、表示部10が主に行う。また、入力部11からの指示により行われてもよい。
次に、上記音響(オーディオ)に基づくシーン分類で得られたシーンを、画像(ビジュアル)の特徴に基づき分類する。ここでの処理は画像ベースシーン分類部7および表示部10が行う。また、入力部11からの指示により行われてもよい。分類には、画像から算出されるヒストグラム(色ヒストグラム)を利用する。ただし、ヒストグラムの各ビンは画素数によって正規化されており、画像サイズによる影響はないものとする。
次に、複数の映像信号に対し、それぞれ上記で説明したシーン分類を行う。ここでの処理は、識別情報府呼部8、画像ベースシーン分類部7、表示部10が行う。また、入力部11からの指示により行われてもよい。
また、上記のように得られた分類結果に基づき、映像信号間の類似度を測定してもよい。ここでの処理は、映像間類似度判定部9、表示部10が主に行う。また、入力部11からの指示により行われてもよい。
上記実施の形態で説明した映像分類装置を用いて、映像信号の分類を行った。本実施例では、テレビのニュース番組から得た2種類の映像信号(320×240pixel、30fps、44100Hz、20sec)を使用した。また、本実施例で用いたパラメータは、表2に示す値を用いた。
2 ショット分割部(ショット分割手段)
3 ショット間類似度判定部(ショット間類似度判定手段)
4 シーン分割部(シーン分割手段)
5 シーン分類部
6 音響ベース分類部(音響ベース分類手段)
7 画像ベース分類部(画像ベース分類手段)
8 識別情報付与部(クラス識別情報付与手段、映像源識別情報付与手段)
9 映像間類似度判定部(映像間類似度判手段)
10 表示部(表示手段)
11 入力部
Claims (11)
- 映像信号に含まれるビデオ信号に基づきショット間の境界を検出して映像を各ショットに分割するショット分割手段と、
分割されたショット毎に、ショット内のオーディオ信号について、音の種類で分類された各クラスにどの程度属しているかを示す帰属確率を算出し、この帰属確率を用いて隣接するショット間の類似度を判定するショット間類似度判定手段と、
判定されたショット間類似度が所定値より高いショット同士は統合させ、上記映像を各シーンに分割するシーン分割手段と、
を備え、
上記ショット間類似度判定手段は、ショット内のオーディオ信号を分割した各クリップについて上記帰属確率を算出し、ショット内の各クリップの上記帰属確率の累積ヒストグラムを基に、隣接するショット間の類似度を判定するものであり、
さらに、ショット内の各クリップの上記帰属確率の累積ヒストグラムのうち、最大の値を取るビンが属する上記クラスを示す識別情報を、処理対象のショットに付与するクラス識別情報付与手段を備えたことを特徴とする映像分類装置。 - 上記音の種類とは、無音、音声、音楽、音楽付き音声、雑音付き音声の5つの種類であることを特徴とする請求項1に記載の映像分類装置。
- 上記分割された各シーンに含まれるショットに付与された上記識別情報に基づき、各シーンを分類する音響ベース分類手段を備えたことを特徴とする請求項1または2に記載の映像分類装置。
- 上記分割された各シーンを当該シーンに含まれる画像の特徴に基づき、各シーンを分類する画像ベース分類手段を備えたことを特徴とする請求項1〜3の何れか1項に記載の映像分類装置。
- 同一の映像信号源から得られる各シーンに、同一の識別情報を付与する映像源識別情報付与手段を備えたことを特徴とする請求項3または4に記載の映像分類装置。
- 分類されたシーン毎にまとめて表示を行う表示手段を備えたことを特徴とする請求項3〜5の何れか1項に記載の映像分類装置。
- 上記表示手段は、分類されたシーンを類似したもの同士をかためて近距離に配置する表示と、類似したもの同士を列毎に配置する表示とで、切り替え可能に表示することを特徴とする請求項6に記載の映像分類装置。
- 映像間の類似度を判定する映像間類似度判定手段を備えたことを特徴とする請求項5に記載の映像分類装置。
- 映像信号に含まれるビデオ信号に基づきショット間の境界を検出して映像を各ショットに分割するショット分割ステップと、
分割されたショット毎に、ショット内のオーディオ信号について、音の種類で分類された各クラスにどの程度属しているかを示す帰属確率を算出し、この帰属確率を用いて隣接するショット間の類似度を判定するショット間類似度判定ステップと、
判定されたショット間類似度が所定値より高いショット同士は統合させ、上記映像を各
シーンに分割するシーン分割ステップと、
を含み、
上記ショット間類似度判定ステップでは、ショット内のオーディオ信号を分割した各クリップについて上記帰属確率を算出し、ショット内の各クリップの上記帰属確率の累積ヒストグラムを基に、隣接するショット間の類似度を判定し、
さらに、上記帰属確率の累積ヒストグラムのうち、最大の値を取るビンが属する上記クラスを示す識別情報を、処理対象のショットに付与するクラス識別情報付与ステップを含むことを特徴とする映像分類方法。 - 請求項1〜8の何れか1項に記載の映像分類装置を動作させるための制御プログラムであって、コンピュータを上記映像分類装置における各手段として機能させるための映像分類プログラム。
- 請求項10に記載の映像分類プログラムが記録されているコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006171830A JP4759745B2 (ja) | 2006-06-21 | 2006-06-21 | 映像分類装置、映像分類方法、映像分類プログラムおよびコンピュータ読取可能な記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006171830A JP4759745B2 (ja) | 2006-06-21 | 2006-06-21 | 映像分類装置、映像分類方法、映像分類プログラムおよびコンピュータ読取可能な記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008005167A JP2008005167A (ja) | 2008-01-10 |
JP4759745B2 true JP4759745B2 (ja) | 2011-08-31 |
Family
ID=39009199
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006171830A Active JP4759745B2 (ja) | 2006-06-21 | 2006-06-21 | 映像分類装置、映像分類方法、映像分類プログラムおよびコンピュータ読取可能な記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4759745B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110225196A1 (en) * | 2008-03-19 | 2011-09-15 | National University Corporation Hokkaido University | Moving image search device and moving image search program |
WO2010041744A1 (ja) * | 2008-10-09 | 2010-04-15 | 国立大学法人 北海道大学 | 動画検索装置および動画検索プログラム |
JP5471372B2 (ja) * | 2009-12-01 | 2014-04-16 | 富士ゼロックス株式会社 | プログラム及び情報処理システム |
JP6088468B2 (ja) * | 2014-07-31 | 2017-03-01 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、動画公開システム、動画公開方法、プログラムおよび記録媒体 |
CN110619284B (zh) * | 2019-08-28 | 2023-09-05 | 腾讯科技(深圳)有限公司 | 一种视频场景划分方法、装置、设备及介质 |
DE112020005186T5 (de) * | 2019-10-28 | 2022-09-29 | Sony Group Corporation | Datenverarbeitungsvorrichtung, vorschlagsvorrichtung, datenverarbeitungsverfahren und vorschlagsverfahren |
CN113194333B (zh) * | 2021-03-01 | 2023-05-16 | 招商银行股份有限公司 | 视频剪辑方法、装置、设备及计算机可读存储介质 |
CN113810765B (zh) * | 2021-09-17 | 2023-08-29 | 北京百度网讯科技有限公司 | 视频处理方法、装置、设备和介质 |
WO2023073795A1 (ja) * | 2021-10-26 | 2023-05-04 | 日本電気株式会社 | クラス境界検出装置、制御方法、及び非一時的なコンピュータ可読媒体 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000285242A (ja) * | 1999-01-29 | 2000-10-13 | Sony Corp | 信号処理方法及び映像音声処理装置 |
JP2002124929A (ja) * | 2000-10-18 | 2002-04-26 | Jisedai Joho Hoso System Kenkyusho:Kk | 情報処理装置および情報処理方法、並びに記録媒体 |
JP2003330941A (ja) * | 2002-05-08 | 2003-11-21 | Olympus Optical Co Ltd | 類似画像分類装置 |
JP2004517518A (ja) * | 2000-12-22 | 2004-06-10 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | オーディオカテゴリを用いて番組境界及びコマーシャル境界の位置を見つけるシステム及び方法 |
JP2005236646A (ja) * | 2004-02-19 | 2005-09-02 | Fuji Xerox Co Ltd | 画像表示装置および方法およびプログラム |
JP2006510072A (ja) * | 2002-11-13 | 2006-03-23 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 一様なカラーセグメントを検出するための方法及びシステム |
-
2006
- 2006-06-21 JP JP2006171830A patent/JP4759745B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000285242A (ja) * | 1999-01-29 | 2000-10-13 | Sony Corp | 信号処理方法及び映像音声処理装置 |
JP2002124929A (ja) * | 2000-10-18 | 2002-04-26 | Jisedai Joho Hoso System Kenkyusho:Kk | 情報処理装置および情報処理方法、並びに記録媒体 |
JP2004517518A (ja) * | 2000-12-22 | 2004-06-10 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | オーディオカテゴリを用いて番組境界及びコマーシャル境界の位置を見つけるシステム及び方法 |
JP2003330941A (ja) * | 2002-05-08 | 2003-11-21 | Olympus Optical Co Ltd | 類似画像分類装置 |
JP2006510072A (ja) * | 2002-11-13 | 2006-03-23 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 一様なカラーセグメントを検出するための方法及びシステム |
JP2005236646A (ja) * | 2004-02-19 | 2005-09-02 | Fuji Xerox Co Ltd | 画像表示装置および方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2008005167A (ja) | 2008-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4759745B2 (ja) | 映像分類装置、映像分類方法、映像分類プログラムおよびコンピュータ読取可能な記録媒体 | |
US8442384B2 (en) | Method and apparatus for video digest generation | |
US6404925B1 (en) | Methods and apparatuses for segmenting an audio-visual recording using image similarity searching and audio speaker recognition | |
US11950020B2 (en) | Methods and apparatus for displaying, compressing and/or indexing information relating to a meeting | |
US6751354B2 (en) | Methods and apparatuses for video segmentation, classification, and retrieval using image class statistical models | |
JP4253989B2 (ja) | ビデオの類似性探索方法及び記録媒体 | |
Deshpande et al. | Classification of music signals in the visual domain | |
KR100828166B1 (ko) | 동영상의 음성 인식과 자막 인식을 통한 메타데이터 추출방법, 메타데이터를 이용한 동영상 탐색 방법 및 이를기록한 기록매체 | |
JP5214760B2 (ja) | 学習装置、方法及びプログラム | |
JP2008022103A (ja) | テレビ番組動画像ハイライト抽出装置及び方法 | |
JP2005530214A (ja) | メガ話者識別(id)システム及びその目的に相当する方法 | |
KR101617649B1 (ko) | 영상의 관심 구간 추천 시스템 및 방법 | |
CN107247919A (zh) | 一种视频情感内容的获取方法及系统 | |
JPWO2010140355A1 (ja) | 音響信号処理装置および方法 | |
US8406606B2 (en) | Playback apparatus and playback method | |
US20240004606A1 (en) | Audio playback method and apparatus, computer readable storage medium, and electronic device | |
WO2020135756A1 (zh) | 视频段的提取方法、装置、设备及计算机可读存储介质 | |
CN106802913A (zh) | 一种播放内容推荐方法及其装置 | |
Ghaemmaghami et al. | A study of speaker clustering for speaker attribution in large telephone conversation datasets | |
JP2019003585A (ja) | 要約映像生成装置およびそのプログラム | |
JP2011191542A (ja) | 音声分類装置、音声分類方法、及び音声分類用プログラム | |
JP2010038943A (ja) | 音響信号処理装置及び方法 | |
Haller et al. | Audiovisual anchorperson detection for topic-oriented navigation in broadcast news | |
Zanganeh et al. | Automatic weak learners selection for pattern recognition and its application in soccer goal recognition | |
Aurchana et al. | Musical instruments sound classification using GMM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090416 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110222 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110408 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110510 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |