JP6846216B2

JP6846216B2 - シーン変化点モデル学習装置、シーン変化点検出装置およびそれらのプログラム

Info

Publication number: JP6846216B2
Application number: JP2017010651A
Authority: JP
Inventors: 松井　淳; 淳松井; 貴裕望月
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2017-01-24
Filing date: 2017-01-24
Publication date: 2021-03-24
Anticipated expiration: 2037-01-24
Also published as: JP2018120362A

Description

本発明は、映像コンテンツのシーン変化点を検出するためのシーン変化点モデルを学習するシーン変化点モデル学習装置、映像コンテンツからシーン変化点を検出するシーン変化点検出装置およびそれらのプログラムに関する。

従来、大量に蓄積された放送番組等の映像コンテンツを二次活用する動画サービスが提供されている。このような動画サービスには、放送番組単位での提供以外に、例えば、映像コンテンツをシーン変化点ごとに分割して提供したり、目的の映像をシーン単位で検索して提供したり、映像コンテンツからシーン単位で映像を取り出して提供したりするサービスが考えられる。
このような映像コンテンツからシーン変化点を自動検出する手法としては、カメラの切り替わり点をシーン変化点として検出する手法が一般的である。

しかし、カメラの切り替わり点は、映像コンテンツ内の物理的な変化点であって、映像の内容や話題の区切りを意味したものではない。そのため、このような変化点は、映像コンテンツ内に多数存在し、映像コンテンツをシーン単位で提供するサービスには不向きである。

そこで、近年、映像コンテンツからシーンの内容やシーンごとの話題の変化点を検出する手法（以下、従来手法）が提案されている（特許文献１、非特許文献１参照）。
この従来手法は、放送番組の字幕テキストを利用し、同一番組内の各放送回にわたって繰り返し出現する反復句（キーフレーズ）の統計量に基づいて定義したスコアにより順位付けするとともに、この反復句の出現頻度の時間軸上における分布に関する絞り込み（スクリーニング）を行う。
そして、この従来手法は、順序付けの上位で、かつ、絞り込みを通過した反復句の出現時点をシーン変化点としていた。

特開２０１０−４４６１４号公報

三浦菊佳，山田一郎，小早川健，松井淳，後藤淳，住吉英樹，柴田正啓，"番組分割に向けたクローズドキャプション中の反復句抽出"，電子情報通信学会技術研究報告，NLC，言語理解とコミュニケーション，vol.108，no.408，pp.53-58，2009-01-19

このような従来手法は、シーン変化点を検出する対象となる映像コンテンツを、進行や演出のパターンがほぼ固定化された放送番組（例えば、レギュラー番組）としており、放送回をまたがって繰り返し出現する反復句と、番組の場面や話題が変化する時点であるシーン変化点との間に、普遍的な対応関係が存在していることを前提としている。さらに、従来手法は、その対応関係が比較的単純なスコア算出法、ならびに、スクリーニングによって抽出可能であることを前提としている。

しかしながら、このような対応関係は、処理対象の番組の編成ならびに演出に依存する番組依存の性質であり、必ずしもすべての映像コンテンツに適用可能であるとは限らない。さらに、従来手法は、反復句を抽出するために、映像コンテンツに付随する言語的情報源として字幕テキストを利用しているが、このような言語的情報源が常に利用可能であるという保証はないため、汎用性に欠けるという問題がある。

そこで、本発明は、言語的情報源を利用することなく、反復句のような言語的特徴とシーン変化点との間に普遍的な関係が自明でない映像コンテンツからでも、映像コンテンツの映像情報の特徴からシーン変化点を検出することが可能なシーン変化点モデルを学習するシーン変化点モデル学習装置、映像コンテンツからシーン変化点を検出するシーン変化点検出装置およびそれらのプログラムを提供することを課題とする。

前記課題を解決するため、本発明に係るシーン変化点モデル学習装置は、映像のシーンが切替るシーン変化点が既知の映像コンテンツである変化点既知映像から、前記シーン変化点が未知の映像コンテンツのシーン変化点を検出するための再帰型ニューラルネットワークのシーン変化点モデルを学習するシーン変化点モデル学習装置であって、画像解析モデル記憶手段と、画像解析手段と、変化点検出手段と、モデル更新手段と、を備える構成とした。

かかる構成において、シーン変化点モデル学習装置は、映像コンテンツにおけるフレームごとの画像特徴量を抽出し、当該フレーム内の被写体対象を認識する畳み込みニューラルネットワークの画像解析モデルを予め画像解析モデル記憶手段に記憶しておく。このような画像解析モデルを用いることで、フレームの画像から、被写体を認識するために有効な画像特徴量を抽出することが可能になる。

そして、シーン変化点モデル学習装置は、画像解析手段によって、変化点既知映像を時系列で入力し、画像解析モデルを用いて、フレームごとに畳み込みニューラルネットワークにおける複数の層の出力を画像特徴量として抽出する。

そして、シーン変化点モデル学習装置は、変化点検出手段において、シーン変化点モデルを用いて、画像解析手段で抽出したフレームごとの画像特徴量からシーン変化点を検出する処理と、モデル更新手段において、シーン変化点モデルのパラメータを更新する処理とを、シーン変化点モデルのパラメータが予め定めた閾値内で収束するまで繰り返すことで、シーン変化点モデルを学習する。
これによって、シーン変化点モデル学習装置は、任意の映像コンテンツからシーン変化点を検出するためのシーン変化点モデルを学習することができる。
なお、シーン変化点モデル学習装置は、コンピュータを、前記した各手段として機能させるためのシーン変化点モデル学習プログラムで動作させることができる。

また、前記課題を解決するため、本発明に係るシーン変化点検出装置は、シーン変化点モデル学習装置で学習した再帰型ニューラルネットワークのシーン変化点モデルを用いて、シーン変化点が未知の映像コンテンツである変化点未知映像からシーン変化点を検出するシーン変化点検出装置であって、画像解析モデル記憶手段と、画像解析手段と、変化点検出手段と、を備える構成とした。

かかる構成において、シーン変化点検出装置は、映像コンテンツにおけるフレームごとの画像特徴量を抽出し、当該フレーム内の被写体対象を認識する畳み込みニューラルネットワークの画像解析モデルを予め画像解析モデル記憶手段に記憶しておく。
そして、シーン変化点検出装置は、画像解析手段によって、変化点未知映像を時系列で入力し、画像解析モデルを用いて、フレームごとに畳み込みニューラルネットワークにおける複数の層の出力を画像特徴量として抽出する。
そして、シーン変化点検出装置は、変化点検出手段によって、シーン変化点モデルを用いて、画像解析手段で抽出したフレームごとの画像特徴量からシーン変化点を検出する。

また、前記課題を解決するため、本発明に係るシーン変化点検出装置は、映像のシーンが切替るシーン変化点が既知の映像コンテンツである変化点既知映像から、映像コンテンツのシーン変化点を検出する再帰型ニューラルネットワークのシーン変化点モデルを学習し、前記シーン変化点モデルを用いて、シーン変化点が未知の映像コンテンツである変化点未知映像からシーン変化点を検出するシーン変化点検出装置であって、画像解析モデル記憶手段と、画像解析手段と、変化点検出手段と、モデル更新手段と、を備える構成とした。

かかる構成において、シーン変化点検出装置は、映像コンテンツにおけるフレームごとの画像特徴量を抽出し、当該フレーム内の被写体対象を認識する畳み込みニューラルネットワークの画像解析モデルを予め画像解析モデル記憶手段に記憶しておく。
そして、シーン変化点検出装置は、画像解析手段によって、シーン変化点モデルの学習段階においては変化点既知映像を、シーン変化点の検出段階においては変化点未知映像をそれぞれ時系列で入力し、画像解析モデルを用いて、フレームごとに畳み込みニューラルネットワークにおける複数の層の出力を画像特徴量として抽出する。

そして、シーン変化点検出装置は、学習段階において、変化点検出手段において、シーン変化点モデルを用いて、画像解析手段で抽出したフレームごとの画像特徴量からシーン変化点を検出する処理と、モデル更新手段において、シーン変化点モデルのパラメータを更新する処理とを、シーン変化点モデルのパラメータが予め定めた閾値内で収束するまで繰り返すことで、シーン変化点モデルを学習する。
また、シーン変化点検出装置は、検出段階において、変化点検出手段が、学習済みのシーン変化点モデルを用いて、画像解析手段で抽出したフレームごとの画像特徴量からシーン変化点を検出する。
なお、シーン変化点検出装置は、コンピュータを、前記した各手段として機能させるためのシーン変化点検出プログラムで動作させることができる。

本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、映像コンテンツのシーンの切り替わりに有効な映像の特徴から、シーン変化点モデルを学習し構築することができる。
これによって、本発明は、言語的情報源を利用することなく、言語的特徴とシーン変化点との間に普遍的な関係が自明でない映像コンテンツからでも、シーン変化点モデルを用いて、映像の特徴からシーン変化点を検出することが可能になる。

本発明の実施形態に係るシーン変化点検出装置の構成を示すブロック構成図である。シーン変化点モデルのモデル学習時に使用する変化点既知データの例であって、（ａ）は時刻に対応付けた映像（変化点既知映像）、（ｂ）はシーン変化点リストを示す図である。本発明の実施形態に係るシーン変化点検出装置のモデル学習時におけるデータの流れを付加した構成図である。本発明の実施形態に係るシーン変化点検出装置の変化点検出時におけるデータの流れを付加した構成図である。画像解析手段が利用する畳み込みニューラルネットワークの概要を説明するための説明図である。変化点検出手段およびモデル更新手段が利用する再帰型ニューラルネットワークの概要を説明するための説明図である。本発明の実施形態に係るシーン変化点検出装置のモデル学習時の動作を示すフローチャートである。本発明の実施形態に係るシーン変化点検出装置の変化点検出時の動作を示すフローチャートである。本発明の他の実施形態に係るシーン変化点モデル学習装置の構成を示すブロック構成図である。本発明の他の実施形態に係るシーン変化点検出装置の構成を示すブロック構成図である。

以下、本発明の実施形態について図面を参照して説明する。
［シーン変化点検出装置の構成］
まず、図１を参照して、本発明の実施形態に係るシーン変化点検出装置１の構成について説明する。
シーン変化点検出装置１は、画像解析モデル記憶手段１０と、画像解析手段１１と、変化点検出手段１２と、モデル更新手段１３と、シーン変化点モデル記憶手段１４と、を備える。このシーン変化点検出装置１は、予めシーンの切り替わりとなる変化点の時間情報（以下、「シーン変化点」と呼ぶ）が既知の映像コンテンツ（変化点既知映像）からシーン変化点の特徴を学習し、シーン変化点が未知の映像コンテンツ（変化点未知映像）からシーン変化点を検出するものである。ここで、シーンとは、同一の場面あるいは話題についての連続した映像区間である。

シーン変化点検出装置１は、多層の人工神経回路網（以下、「ニューラルネットワーク」と呼ぶ）を、各種パラメータを最適化するように更新（学習）し、そのパラメータを適用したニューラルネットワークにより、シーン変化点を検出する。このシーン変化点検出装置１は、パラメータを更新（学習）するモード（以下、「モデル学習時」と呼ぶ）と、シーン変化点を検出するモード（以下、「変化点検出時」と呼ぶ）の２つの異なる動作モードを有する。

モデル学習時において、シーン変化点検出装置１は、シーン変化点が既知の変化点既知データを入力する。この変化点既知データは、図２（ａ）に示す時刻（タイムコード：例えば、「時：分：秒：フレーム」）が付された映像コンテンツ（変化点既知映像）と、図２（ｂ）に示すシーン変化点の時刻をリスト化したシーン変化点リストとからなる。

また、変化点検出時において、シーン変化点検出装置１は、シーン変化点が未知の新規の映像コンテンツ（変化点未知映像）を入力し、シーン変化点リストを出力する。ここで、変化点検出時において入力する映像コンテンツは、図２（ａ）に示す時刻が付された映像コンテンツであり、出力するシーン変化点リストは、図２（ｂ）と同様のリストである。

以下、この２つの動作モードで動作するシーン変化点検出装置１の構成を詳細に説明する。なお、シーン変化点検出装置１を構成する各手段間のデータの流れについては、２つの動作モードで異なるため、モデル学習時においては図３、変化点検出時においては図４を、それぞれ参照することとする。

画像解析モデル記憶手段１０は、映像コンテンツにおける画像（フレーム）ごとの画像特徴量を抽出し、抽出した画像内の被写体対象（主被写体、場面等）を認識する予め学習したニューラルネットワークを画像解析モデルとして記憶するものである。この画像解析モデル記憶手段１０は、ハードディスク、半導体メモリ等の一般的な記憶装置を用いることができる。
画像解析モデル記憶手段１０に記憶するニューラルネットワークは、畳み込みニューラルネットワーク（Convolutional Neural Network：以下、ＣＮＮと呼ぶ）を用いることができる。

ここで、図５を参照して、ＣＮＮの一例についてその概要を説明する。ＣＮＮは、例えば、図５に示すように、複数の畳み込み層Ｃおよびプーリング層Ｐと、全結合層Ｆとを介して、入力画像を認識した認識結果を出力する。なお、図５ではＣＮＮの説明を簡易にするため、各層の数を少なくし、入力画像の大きさを小さくして説明している。実際には、畳み込み層Ｃ等の各層の数は、１００以上の数であり、入力画像の大きさは、シーン変化点検出装置１に入力される映像コンテンツの画像（フレーム）の大きさである。

畳み込み層Ｃは、入力画像、あるいは、前層の出力となる特徴マップに対して、複数のフィルタによって画像の畳み込み演算を行うものである。例えば、図５では、２４×２４画素の入力画像に対して、４つのフィルタによって畳み込み演算を行うことで、４つの２０×２０画素の特徴量である特徴マップＭ（４＠２０×２０）が生成された例を示している。

プーリング層Ｐは、畳み込み層Ｃで生成される特徴マップＭをサブサンプリングするものである。例えば、図５では、４つ２０×２０画像の特徴マップＭ（４＠２０×２０）に対して、水平垂直にそれぞれ１／２のサブサンプリングを行うことで、４つの１０×１０画像の特徴マップＭ（４＠１０×１０）が生成された例を示している。

全結合層Ｆは、複数の畳み込み層Ｃおよびプーリング層Ｐを介して生成される特徴マップから、予め定めた複数の認識対象ごとに入力画像内に存在する確率を算出するものである。この全結合層Ｆは、入力層Ｌ_１、隠れ層Ｌ_２および出力層Ｌ_３からなり、各層のノード間で重み付き加算を行い、活性化関数によって、各対象の確率を算出する。
図１に戻って、シーン変化点検出装置１の構成について説明を続ける。

画像解析モデル記憶手段１０は、図５で説明したＣＮＮのモデルパラメータ（例えば、畳み込み層のフィルタの数、大きさ、移動幅、全結合層の層間の重み〔重み行列〕等）を画像解析モデルとして記憶する。なお、画像内の内容を認識するためのＣＮＮは、公知の手法によって学習したものを用いることができる。例えば、以下の参考文献１に記載されている手法により学習したＣＮＮを用いることができる。ここでは、詳細な説明を省略する。

参考文献１：Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton,“ImageNet Classification with Deep Convolutional Neural Networks,”In Proc, NIPS, 2012年

画像解析手段１１は、ＣＮＮ画像認識手段１１ａと、特徴ベクトルリスト生成手段１１ｂと、を備え、映像コンテンツを構成する画像（フレーム）を解析し、画像特徴量である特徴ベクトルリストを生成するものである。

ＣＮＮ画像認識手段１１ａは、画像解析モデル記憶手段１０に記憶されている画像解析モデルを用いて、映像コンテンツを解析するものである。ＣＮＮ画像認識手段１１ａは、映像コンテンツの時刻（例えば、フレーム番号、タイムコード）が付されたフレームごとに、画像解析モデル記憶手段１０に記憶されているＣＮＮ（画像解析モデル）で、画像内に存在する被写体対象を認識する。例えば、ＣＮＮ画像認識手段１１ａは、画像解析モデルを用いて、予め被写体対象に付されているラベルを認識結果として取得する。このとき、ＣＮＮ画像認識手段１１ａは、その認識過程において生成する各層の特徴マップＭ（図５参照）を、時刻ともに特徴ベクトルリスト生成手段１１ｂに出力する。
なお、ＣＮＮ画像認識手段１１ａは、モデル学習時においては、映像コンテンツとして変化点既知データを入力し、変化点検出時においては、シーン変化点が未知の映像コンテンツ（新規映像コンテンツ〔変化点未知映像〕）を入力する。

特徴ベクトルリスト生成手段１１ｂは、ＣＮＮ画像認識手段１１ａでフレームごとに生成される特徴マップを特徴ベクトル（１次元）として、フレームの時刻に対応付けた特徴ベクトルリストを生成するものである。この特徴ベクトルリスト生成手段１１ｂは、生成した特徴ベクトルリストを変化点検出手段１２に出力する。
これによって、画像解析手段１１は、映像コンテンツ内に存在する対象を認識する際の画像特徴量をフレームの時刻ごとに抽出する。

変化点検出手段１２は、シーン変化点モデルを用いて、画像解析手段１１で生成される特徴ベクトルリストから、シーン変化点を検出するものである。このシーン変化点モデルとして、ニューラルネットワーク、具体的には、再帰型ニューラルネットワーク（Recurrent Neural Network：以下、ＲＮＮと呼ぶ）を用いることができる。

ここで、図６を参照して、ＲＮＮの一例についてその概要を説明する。ＲＮＮは、例えば、図６に示すように、入力層Ｌ_１と、隠れ層Ｌ_２と、出力層Ｌ_３とを介して、時刻ｔにおける入力データｗ（ｔ）（ここでは、特徴ベクトルｘ_１，ｘ_２，ｘ_３，…）から、入力画像がシーン変化点の画像であるか否かの結果を出力する。なお、ＲＮＮは、図６に示すように、時刻（ｔ−１）における隠れ層Ｌ_２の値（内部状態）を、時刻ｔの入力層Ｌ_１の一部として再帰的に利用する。そして、ＲＮＮは、入力層Ｌ_１の各値（ノード）に対して重み付け加算を行い、活性化関数（入力値がある値以上で“０”以上の値を返す区分線形関数等）により、隠れ層Ｌ_２の各値ｓ（ｔ）を計算する。また、ＲＮＮは、出力層Ｌ_３の値として、隠れ層Ｌ_２の各値に対して重み付け加算を行い、ソフトマックス関数により、時刻ｔの画像がシーン変化点であるか否かの確率値ｙ（ｔ）を計算する。

後記するモデル更新手段１３は、モデル学習時において、この各演算に用いる重み（シーン変化点モデルパラメータ）を、最適解に更新し、シーン変化点モデル記憶手段１４に書き込み記憶する。また、変化点検出手段１２は、変化点検出時において、シーン変化点を抽出する際に、シーン変化点モデル記憶手段１４に記憶されているシーン変化点モデルパラメータの最適解を使用する。
図１に戻って、シーン変化点検出装置１の構成について説明を続ける。

変化点検出手段１２は、ＲＮＮ変化点判定手段１２ａと、変化点リスト生成手段１２ｂと、内部状態リスト生成手段１２ｃと、を備える。

ＲＮＮ変化点判定手段１２ａは、画像解析手段１１で生成される特徴ベクトルリストの時刻ごとの特徴ベクトルから、当該時刻がシーン変化点であるか否かを判定するものである。具体的には、ＲＮＮ変化点判定手段１２ａは、ＲＮＮ（シーン変化点モデル）のパラメータであるシーン変化点モデルパラメータを用いて、時刻ごとの特徴ベクトルから、ＲＮＮの出力値（確率値）を演算する。そして、ＲＮＮ変化点判定手段１２ａは、その出力値と予め定めた閾値との比較により、当該時刻がシーン変化点であるか否かを判定する。

ＲＮＮ変化点判定手段１２ａは、モデル学習時においては、モデル更新手段１３からシーン変化点モデルパラメータを入力するたびに、特徴ベクトルリストから、時刻ごとにその時刻がシーン変化点であるか否かを判定する。

また、ＲＮＮ変化点判定手段１２ａは、シーン変化点モデル記憶手段１４に記憶されているシーン変化点モデルパラメータを用いて、特徴ベクトルリストから、変化点検出時の時刻ごとにその時刻がシーン変化点であるか否かを判定する。
このＲＮＮ変化点判定手段１２ａは、フレームの時刻ごとに算出されるＲＮＮの内部状態（図６参照）を、モデル学習時のみ、変化点リスト生成手段１２ｂに出力する。また、ＲＮＮ変化点判定手段１２ａは、フレームの時刻ごとのシーン変化点の判定結果を内部状態リスト生成手段１２ｃに出力する。

なお、ＲＮＮを用いて、時刻ごとのデータ系列から、逐次的に事象を予測する手法は、一般的な手法である。例えば、以下の参考文献２に記載されている手法によりＲＮＮを用いて逐次的に事象の予測を行うことができる。ここでは、詳細な説明を省略する。

参考文献２：Tomas Mikolov, Martin Karafiat, Lukas Burget, Jan Cernocky, Sanjeev Khudanpur,“Recurrent neural network based language model,”In Proc. INTERSPEECH, pp. 1045-1048, 2010年

変化点リスト生成手段１２ｂは、ＲＮＮ変化点判定手段１２ａでシーン変化点と判定された時刻を、図２（ｂ）と同様のシーン変化点リストとして生成するものである。変化点リスト生成手段１２ｂは、モデル学習時においては、生成したシーン変化点リストをモデル更新手段１３に出力する。
また、変化点リスト生成手段１２ｂは、変化点検出時においては、生成したシーン変化点リストを、シーン変化点検出装置１の検出結果として外部に出力する。

内部状態リスト生成手段１２ｃは、ＲＮＮ変化点判定手段１２ａで時刻ごとに演算される内部状態をその時刻ごとに対応付けた内部状態リストを生成するものである。内部状態リスト生成手段１２ｃは、生成した内部状態リストをモデル更新手段１３に出力する。

モデル更新手段１３は、ＲＮＮパラメータ更新手段１３ａと、更新終了判定手段１３ｂと、を備え、シーン変化点モデルのパラメータを更新するものである。モデル更新手段１３は、モデル学習時においてのみ動作する。

ＲＮＮパラメータ更新手段１３ａは、ＲＮＮ（シーン変化点モデル）のパラメータ（シーン変化点モデルパラメータ）を更新するものである。具体的には、ＲＮＮパラメータ更新手段１３ａは、図６で説明したＲＮＮにおいて、各層間の重み等を更新する。
このＲＮＮパラメータ更新手段１３ａは、起動時、あるいは、変化点既知データが入力された段階で、変化点検出手段１２にシーン変化点モデルパラメータの初期値を出力する。この初期値は、例えば、疑似乱数等によって求めた値である。

このＲＮＮパラメータ更新手段１３ａは、変化点検出手段１２に出力したシーン変化点モデルパラメータに対応して、変化点検出手段１２から、内部状態リストおよびシーン変化点リストを入力する。また、ＲＮＮパラメータ更新手段１３ａは、更新終了判定手段１３ｂから、ＲＮＮの更新終了の判定結果を取得する。

ＲＮＮパラメータ更新手段１３ａは、更新終了判定手段１３ｂから、更新が終了したことを示す判定結果を取得した場合、更新後（最新）のシーン変化点モデルパラメータをシーン変化点モデル記憶手段１４に書き込み記憶する。

また、ＲＮＮパラメータ更新手段１３ａは、更新終了判定手段１３ｂから、更新が終了していないことを示す判定結果を取得した場合、シーン変化点モデルパラメータを更新する。

具体的には、ＲＮＮパラメータ更新手段１３ａは、変化点既知データのシーン変化点リストにおいてシーン変化点である時刻の値を“１”、それ以外の時刻の値を“０”とした時刻ごとの正解値と、変化点検出手段１２で生成されたシーン変化点リストにおいてシーン変化点である時刻の値を“１”、それ以外の時刻の値を“０”とした時刻ごとの推定値との時刻ごとの差から、例えば、確率的勾配降下法を用いて、各層の誤差をなくす方向（“０”に漸近するよう）に、シーン変化点モデルパラメータを更新する。このＲＮＮのパラメータの更新は、以下の参考文献３に記載されているように、一般的な手法であるため、ここでは詳細な説明を省略する。

参考文献３：人工知能学会監修，神嶌敏弘編集，麻生英樹・安田宗樹・前田新一・岡野原大輔・岡谷貴之・久保陽太郎・ボレガラダヌシカ共著，「深層学習」，近代科学社発行，第4.4.2節確率的勾配降下法，pp.128-129，2015年

ＲＮＮパラメータ更新手段１３ａは、シーン変化点モデルパラメータを更新した場合、更新したシーン変化点モデルパラメータを変化点検出手段１２に出力し、変化点検出手段１２から、内部状態リストおよびシーン変化点リストを入力する動作を繰り返す。

更新終了判定手段１３ｂは、シーン変化点モデルパラメータの更新を終了するか否かの判定を行うものである。
具体的には、更新終了判定手段１３ｂは、更新前のシーン変化点モデルパラメータと、更新後のシーン変化点モデルパラメータとの差（更新値：例えば、各値を並べたベクトルのユークリッドノルム）が、予め定めた閾値を下回るか否かにより、シーン変化点モデルパラメータの更新の判定を行う。

ここで、更新終了判定手段１３ｂは、更新前後のシーン変化点モデルパラメータの差が予め定めた閾値を下回っている場合、更新が終了したことを示す判定結果をＲＮＮパラメータ更新手段１３ａに通知する。
また、更新終了判定手段１３ｂは、更新前後のシーン変化点モデルパラメータの差が予め定めた閾値以上の場合、更新が終了していないことを示す判定結果をＲＮＮパラメータ更新手段１３ａに通知する。

シーン変化点モデル記憶手段１４は、シーン変化点モデルパラメータを記憶するものである。このシーン変化点モデル記憶手段１４は、ハードディスク、半導体メモリ等の一般的な記憶装置を用いることができる。
パラメータ更新時には、モデル更新手段１３が、シーン変化点モデルパラメータの最適解をシーン変化点モデル記憶手段１４に記憶する。
また、変化点検出時には、変化点検出手段１２が、シーン変化点モデル記憶手段１４に記憶されるシーン変化点モデルパラメータを参照する。

以上、本発明の実施形態に係るシーン変化点検出装置１の構成について説明したが、シーン変化点検出装置１は、コンピュータを前記した各手段として機能させるためのプログラム（シーン変化点検出プログラム）で動作させることができる。

以上説明したようにシーン変化点検出装置１を構成することで、シーン変化点検出装置１は、字幕テキストのような映像コンテンツに付随した言語的情報源を必要とせずに、映像コンテンツのシーン変化点を検出することができる。

［シーン変化点検出装置の動作］
次に、図７，図８を参照して、本発明の実施形態に係るシーン変化点検出装置１の動作について説明する。ここでは、シーン変化点検出装置１の動作を、モデル学習時（学習段階）と、変化点検出時（検出段階）とに分けて説明する。

（モデル学習時）
図７を参照（適宜図１，図３参照）して、シーン変化点検出装置１のモデル学習時の動作について説明する。なお、画像解析モデル記憶手段１０には、予め画像から当該画像内の主被写体や場面を認識するために学習した畳み込みニューラルネットワーク（ＣＮＮ）である画像解析モデルを記憶しておくものとする。

ステップＳ１において、シーン変化点検出装置１のＲＮＮパラメータ更新手段１３ａは、シーン変化点モデル（ＲＮＮ）パラメータを初期化する。このとき、ＲＮＮパラメータ更新手段１３ａは、疑似乱数等によってシーン変化点モデルパラメータの初期値を生成し、変化点検出手段１２に出力する。なお、このステップＳ１は、後記するステップＳ６より前であれば、どのタイミングで行ってもよい。

そして、ステップＳ２において、シーン変化点検出装置１のＣＮＮ画像認識手段１１ａは、シーン変化点が既知である変化点既知データの映像コンテンツ（変化点既知映像）を時刻ごとにフレーム単位の画像として入力する。

そして、ステップＳ３において、シーン変化点検出装置１のＣＮＮ画像認識手段１１ａは、ステップＳ２で入力した時刻ごとの画像から、画像解析モデル記憶手段１０に記憶されている画像解析モデル（ＣＮＮ）を用いて、その画像に存在する主被写体、場面等の被写体対象を認識する。なお、このステップＳ３において、ＣＮＮ画像認識手段１１ａは、ＣＮＮによる認識過程における複数の特徴マップを生成する。
ここで、変化点既知データの映像コンテンツの入力が終了していない場合（ステップＳ４でＮｏ）、シーン変化点検出装置１は、ステップＳ２に戻って、特徴マップの生成を繰り返す。

一方、変化点既知データの映像コンテンツの入力が終了した場合（ステップＳ４でＹｅｓ）、ステップＳ５において、シーン変化点検出装置１の特徴ベクトルリスト生成手段１１ｂは、ステップＳ３で生成した時刻ごとの特徴マップを１次元の特徴ベクトルとし、それぞれの時刻に対応付けた特徴ベクトルリストを生成する。

そして、ステップＳ６において、シーン変化点検出装置１のＲＮＮ変化点判定手段１２ａは、シーン変化点モデルパラメータを用いて、ＲＮＮの出力を演算し、その出力値に応じて、時刻ごとにシーン変化点であるか否かを判定する。なお、ＲＮＮ変化点判定手段１２ａは、当初、ステップＳ１で初期化されたシーン変化点モデルパラメータを用いてＲＮＮの演算を行い、それ以降は、ステップＳ９で順次更新されるシーン変化点モデルパラメータを用いてＲＮＮの演算を行う。

そして、ステップＳ７において、シーン変化点検出装置１の変化点リスト生成手段１２ｂは、ステップＳ６でシーン変化点と判定された時刻をリスト化したシーン変化点リストを生成する。

さらに、ステップＳ８において、シーン変化点検出装置１の内部状態リスト生成手段１２ｃは、ステップＳ６の演算におけるＲＮＮの時刻ごとの内部状態をリスト化した内部状態リストを生成する。

そして、ステップＳ９において、シーン変化点検出装置１のＲＮＮパラメータ更新手段１３ａは、変化点既知データのシーン変化点リストと、ステップＳ７で生成したシーン変化点を推定したシーン変化点リストと、ステップＳ８で生成したＲＮＮの内部状態のリスト（内部状態リスト）とから、確率的勾配降下法を用いて、ＲＮＮの各層の誤差を“０”に漸近するように、シーン変化点モデルパラメータを更新する。

そして、ステップＳ１０において、シーン変化点検出装置１の更新終了判定手段１３ｂは、ステップＳ９で更新したシーン変化点モデルパラメータと更新前のシーン変化点モデルパラメータとの差である更新値を算出し、更新値が閾値未満であるか否かを判定する。
ここで、更新値が閾値以上であれば（ステップＳ１０でＮｏ）、シーン変化点検出装置１は、ステップＳ６に戻って、シーン変化点モデルパラメータの更新を継続する。

一方、更新値が閾値未満であれば（ステップＳ１０でＹｅｓ）、ステップＳ１１において、シーン変化点検出装置１のＲＮＮパラメータ更新手段１３ａは、更新後（最新）のシーン変化点モデルパラメータをシーン変化点モデル記憶手段１４に書き込み記憶する。
以上の動作によって、シーン変化点検出装置１は、学習により最適化したシーン変化点モデル（ＲＮＮ）のパラメータを生成し、シーン変化点モデル記憶手段１４に記憶する。

（変化点検出時）
次に、図８を参照（適宜図１，図４参照）して、シーン変化点検出装置１の変化点検出時の動作について説明する。なお、シーン変化点モデル記憶手段１４には、図７で説明したモデル学習時の動作によって、シーン変化点モデルパラメータが記憶されているものとする。

ステップＳ２０において、シーン変化点検出装置１のＣＮＮ画像認識手段１１ａは、シーン変化点が未知である新規の映像コンテンツを時刻ごとにフレーム単位の画像として入力する。

そして、ステップＳ２１において、シーン変化点検出装置１のＣＮＮ画像認識手段１１ａは、ステップＳ２０で入力した時刻ごとの画像から、画像解析モデル記憶手段１０に記憶されている画像解析モデル（ＣＮＮ）を用いて、その画像に存在する主被写体、場面等の被写体対象を認識する。なお、このステップＳ２１において、ＣＮＮ画像認識手段１１ａは、ＣＮＮによる認識過程における複数の特徴マップを生成する。
ここで、映像コンテンツの入力が終了していない場合（ステップＳ２２でＮｏ）、シーン変化点検出装置１は、ステップＳ２０に戻って、特徴マップの生成を繰り返す。

一方、映像コンテンツの入力が終了した場合（ステップＳ２２でＹｅｓ）、ステップＳ２３において、シーン変化点検出装置１の特徴ベクトルリスト生成手段１１ｂは、ステップＳ２１で生成した時刻ごとの特徴マップを１次元の特徴ベクトルとして、それぞれの時刻に対応付けた特徴ベクトルリストを生成する。

そして、ステップＳ２４において、シーン変化点検出装置１のＲＮＮ変化点判定手段１２ａは、シーン変化点モデル記憶手段１４に記憶されているシーン変化点モデルパラメータを用いて、ＲＮＮの出力を演算し、その出力値に応じて、時刻ごとにシーン変化点であるか否かを判定する。

そして、ステップＳ２５において、シーン変化点検出装置１の変化点リスト生成手段１２ｂは、ステップＳ２４でシーン変化点と判定された時刻をリスト化したシーン変化点リストを生成する。

そして、ステップＳ２６において、シーン変化点検出装置１の変化点リスト生成手段１２ｂは、ステップＳ２５で生成したシーン変化点リストを、検出結果として外部に出力する。

以上の動作によって、シーン変化点検出装置１は、字幕テキスト等の言語的情報源を必要とせずに、映像コンテンツの時系列の映像特徴から、シーン変化点を検出することができる。

以上、本発明の実施形態に係るシーン変化点検出装置１の構成および動作について説明したが、本発明は、この実施形態に限定されるものではない。
シーン変化点検出装置１は、シーン変化点モデルを学習する学習動作と、シーン変化点モデルを用いて、映像コンテンツからシーン変化点を検出する検出動作との２つの動作を１つの装置で行うものである。しかし、これらの動作は、別々の装置で動作させても構わない。

具体的には、シーン変化点モデルを学習する学習動作を実現する装置は、図９に示すシーン変化点モデル学習装置２として構成することができる。
シーン変化点モデル学習装置２は、図９に示すように画像解析モデル記憶手段１０と、画像解析手段１１と、変化点検出手段１２と、モデル更新手段１３と、シーン変化点モデル記憶手段１４と、を備える。この構成は、図１で説明したシーン変化点検出装置１の構成と同じであるが、シーン変化点モデルを学習する学習動作のみを行う。なお、シーン変化点モデル学習装置２の動作は、図７で説明した動作と同じである。
このシーン変化点モデル学習装置２は、コンピュータを前記した各手段として機能させるためのプログラム（シーン変化点モデル学習プログラム）で動作させることができる。

また、シーン変化点モデルを用いて、映像コンテンツからシーン変化点を検出する検出動作を実現する装置は、図１０に示すシーン変化点検出装置１Ｂとして構成することができる。
シーン変化点検出装置１Ｂは、画像解析モデル記憶手段１０と、画像解析手段１１と、変化点検出手段１２Ｂと、シーン変化点モデル記憶手段１４と、を備える。この構成は、図１で説明したシーン変化点検出装置１の構成から、モデル更新手段１３と、変化点検出手段１２の内部状態リスト生成手段１２ｃとを削除したものである。また、シーン変化点モデル記憶手段１４に記憶するシーン変化点モデルは、図９のシーン変化点モデル学習装置２で学習されたものである。
このシーン変化点検出装置１Ｂは、映像コンテンツからシーン変化点を検出する検出動作のみを行う。なお、シーン変化点検出装置１Ｂの動作は、図８で説明した動作と同じである。
このシーン変化点検出装置１Ｂは、コンピュータを前記した各手段として機能させるためのプログラム（シーン変化点検出プログラム）で動作させることができる。

このように、シーン変化点モデルを学習する学習動作と、シーン変化点モデルを用いて、映像コンテンツからシーン変化点を検出する検出動作とを、異なる装置で動作させることで、１つのシーン変化点モデル学習装置２で学習したシーン変化点モデルを、複数のシーン変化点検出装置１Ｂで利用することが可能になる。

１，１Ｂシーン変化点検出装置
２シーン変化点モデル学習装置
１０画像解析モデル記憶手段
１１画像解析手段
１１ａＣＮＮ画像認識手段
１１ｂ特徴ベクトルリスト生成手段
１２変化点検出手段
１２ａＲＮＮ変化点判定手段
１２ｂ変化点リスト生成手段
１２ｃ内部状態リスト生成手段
１３モデル更新手段
１３ａＲＮＮパラメータ更新手段
１３ｂ更新終了判定手段
１４シーン変化点モデル記憶手段

Claims

映像のシーンが切替るシーン変化点が既知の映像コンテンツである変化点既知映像から、前記シーン変化点が未知の映像コンテンツのシーン変化点を検出するための再帰型ニューラルネットワークのシーン変化点モデルを学習するシーン変化点モデル学習装置であって、
映像コンテンツにおけるフレームごとの画像特徴量を抽出し、当該フレーム内の被写体対象を認識する畳み込みニューラルネットワークの画像解析モデルを予め記憶する画像解析モデル記憶手段と、
前記変化点既知映像を時系列で入力し、前記画像解析モデルを用いて、フレームごとに前記畳み込みニューラルネットワークにおける複数の層の出力を前記画像特徴量として抽出する画像解析手段と、
前記シーン変化点モデルを用いて、前記画像解析手段で抽出した前記フレームごとの画像特徴量から前記シーン変化点を検出する変化点検出手段と、
前記シーン変化点モデルのパラメータを更新するモデル更新手段と、を備え、
前記変化点検出手段におけるシーン変化点の検出と、前記モデル更新手段における前記パラメータの更新とを、前記パラメータが予め定めた閾値内で収束するまで繰り返して前記シーン変化点モデルを学習することを特徴とするシーン変化点モデル学習装置。
請求項１に記載のシーン変化点モデル学習装置で学習した再帰型ニューラルネットワークのシーン変化点モデルを用いて、シーン変化点が未知の映像コンテンツである変化点未知映像からシーン変化点を検出するシーン変化点検出装置であって、
映像コンテンツにおけるフレームごとの画像特徴量を抽出し、当該フレーム内の被写体対象を認識する畳み込みニューラルネットワークの画像解析モデルを予め記憶する画像解析モデル記憶手段と、
前記変化点未知映像を時系列で入力し、前記画像解析モデルを用いて、フレームごとに前記畳み込みニューラルネットワークにおける複数の層の出力を前記画像特徴量として抽出する画像解析手段と、
前記シーン変化点モデルを用いて、前記画像解析手段で抽出した前記フレームごとの画像特徴量から前記シーン変化点を検出する変化点検出手段と、
を備えることを特徴とするシーン変化点検出装置。
映像のシーンが切替るシーン変化点が既知の映像コンテンツである変化点既知映像から、映像コンテンツのシーン変化点を検出する再帰型ニューラルネットワークのシーン変化点モデルを学習し、前記シーン変化点モデルを用いて、シーン変化点が未知の映像コンテンツである変化点未知映像からシーン変化点を検出するシーン変化点検出装置であって、
映像コンテンツにおけるフレームごとの画像特徴量を抽出し、当該フレーム内の被写体対象を認識する畳み込みニューラルネットワークの画像解析モデルを予め記憶する画像解析モデル記憶手段と、
前記シーン変化点モデルの学習段階においては前記変化点既知映像を、前記シーン変化点の検出段階においては前記変化点未知映像をそれぞれ時系列で入力し、前記画像解析モデルを用いて、フレームごとに前記畳み込みニューラルネットワークにおける複数の層の出力を前記画像特徴量として抽出する画像解析手段と、
前記シーン変化点モデルを用いて、前記画像解析手段で抽出した前記フレームごとの画像特徴量から前記シーン変化点を検出する変化点検出手段と、
前記シーン変化点モデルのパラメータを更新するモデル更新手段と、を備え、
前記学習段階において、前記変化点検出手段におけるシーン変化点の検出と、前記モデル更新手段における前記パラメータの更新とを、前記パラメータが予め定めた閾値内で収束するまで繰り返して前記シーン変化点モデルを学習し、
前記検出段階において、前記変化点検出手段が、学習済みの前記シーン変化点モデルを用いて、前記画像解析手段で抽出した前記フレームごとの画像特徴量から前記シーン変化点を検出することを特徴とするシーン変化点検出装置。
コンピュータを、請求項１に記載のシーン変化点モデル学習装置として機能させるためのシーン変化点モデル学習プログラム。
コンピュータを、請求項２または請求項３に記載のシーン変化点検出装置として機能させるためのシーン変化点検出プログラム。