WO2007066450A1 - 楽曲における区画を抽出する区画自動抽出システム、区画自動抽出方法および区画自動抽出プログラム - Google Patents

Abstract

　一般ユーザに広く認知されている可能性が高いと推定される部位を楽曲中に表れる回数とは無関係に自動的に抽出し、抽出した楽曲における印象的な区画を楽曲のメタデータとして種々のアプリケーションに提供可能な区画自動抽出システム、区画自動抽出方法および区画自動抽出プログラムを提供する。 　第１の音響署名生成部１０１は、コンテンツ群の各コンテンツの音響信号の特徴量を示す音響署名を生成する。重要区画抽出部１０２は、音響署名生成部１０１によって生成された全ての音響署名を対象に検索した頻出する特徴量を示す音響区画署名を生成する。第２の音響署名生成部１１１は、楽曲信号から音響署名を生成する。共通区画抽出部１１２は、各音響区画署名が、楽曲信号の音響署名の一部に合致するか否かを判断し、合致した楽曲信号の音響署名を特定可能な時間情報を出力する。

Description

細 書

曲における 画を抽出する 画自動 ステム、区画自動 出方 、法および 画自動 プ グラム

術分野

０００1 、楽曲に ける印象的な 画を自動 出する 画自動 ステム、区 画自動 出方法 画自動 プ グラムに関する。 ０００2 曲の デ タ ら特徴的な 画を抽出する ステムの 例が、特許 に記載されて る。

０００3 は、従来の ステムの を示す ック図である。 に示す に、従来の ステムは、 ム 5 と、 ム

5 2と、 ム 5 3と、共通 5 4と、後処理 5 5とを備える。

０００4 構成を有する 来の ステムは、次の に動作する。

０００5 ム 5 は、入力された音響 号を、複数の ムに分割する。

、 ムは、音響デ タを 隔で区切ることに 生成される 素である。

０００6 次に、 ム 5 2は、 ム毎に、音響 号を特徴 ける 2 ベクト を生成する。 ム 5 3は、楽曲を構成する ムの 2 ベクト をそれぞれ 較することに 、 ム間に ける類 を算出する。 ム 5 3は、得られた類 に基 て処 理することで、複数の 一または同一に近 ムの を示したストを生成す る。

０００7 5 4は、同一 ムが同じ 序で出現する 画を抜き出すこ とに 、その 曲で り返し れる ズを抽出することができる。

０００8 後に、後処理 5 5は、繰り返し れる ズの中 ら、仮定されたさび 義に 当する部分を選び出し、その 分を、楽曲に ける特徴的な 画として、 出する。

０００9 2には、 G ( ac o d sc)が流れることが多 、テ ビジョン で盛り上がる ン 重要な ンを容易に検索でき、その ン ら の し再生が可能な 置の例が記載されて る。

００1０ 3には、時間的に連続する検索 音声音楽 号の 索にお て 、 常な雑音を含む 声音楽 号を 、高速に検索できる、前後の

用型 置の例が記載されて る。

００11 4 5には、時間 報とともに記憶された特徴 列の間で共通する部 分を、部分対 分で 較することに 探す 術の例が記載されて る。

1 2 4 233965 ( 38 45)

2 2 4 4 675 ( 2)

3 2 4 3336 5 ( 22 28)

4 345 985 ( 2 23)

5 2 3 96658 ( 28 3 )

明の

明が解決しよ とする課題

００12 存の 出方式は、必ずしも一般的な ザにと て印象的な 画を自動 出することができな 題点を有する。

００13 に記載された方式では、楽曲 でのメ ディの に着目して、繰り 返されるメ ディを自動的に抜き出すことに 、 徴的な びと称する) が 出される。

００14 し しながら、あ まで 繁に繰り返される部分が選ばれるため、その 必ずし も ザが認知して る特徴的な 画とは限らな 。

００15 たとえ、ある ョ ト ズが楽曲 し れな ても、 ザがその

ト ズを積極的にまたは受動的に何度 聞 た経験があるならば、その ョ ト ズこそ 徴的な 画として定義することが望ま 。

００16 ある は、 ザが、ある ョ ト ズを一度し 聞 たことがな ても、 ザ がその ト ズを聴取した時に、例えばそれと関連 けられた映像など他の メディアにお て強 印象を受けたことがあるならば、その ト ズこそ 徴 的な 画として定義することが望ま 。

００17 2に記載された 、テ ビジョン 組の 号を して G の 分および G の り替わ た部分を検出し、検出 所の イ 像を生成する。

００18 し し、生成される イ 、単に G の 分および G の り替 わ た部分に過ぎな 。そのよ 検索 理に関わる 術にもと て、楽曲におけ る 画を抽出するための 成が 起されることは不可能である。

００19 また、特許 3に記載された類 、音声音楽 号 ら 次的に 切り出した 分のよ 時間的に連続する複数の 号の を検索 と する場合に、検索 に類似する部分を高速に検索する。そのため、 ザが認知 して る特徴的な 画が検索されるとは限らな 。

００2０ そこで、 、一般 ザに広 認知されて る可能性が高 と推定される部 位を楽曲 に表れる回数とは無関係に自動的に 出し、抽出した部位を楽曲にお ける印象的な 画として のアプ ケ ョンに提供 能な 画自動 ステ ム、区画自動 出方法および 画自動 プ グラムを提供することを目的とする。 題を解決するための

００21 明による 画自動 ステムは、楽曲の 象的な 画を示す 報を自動 出する 画自動 ステムであ て、音響 号を含む一 上の ンテ

に繰り返し出現する前記 号の 部を含む 画を、 画として特定し、 前記 画を抽出する頻出 、音響 号を含む 、前記 出した 画が存在する 否 を判断する共通

、前記 、前記 前記 音信号 に存在する、 判断し た場合に、前記 画に対応する前記 号の 画を特定 能な情報を出 する共通 、を備える。

００22 、あら じめ定められた条件で区切られた ンテ

の 号の 区画を識別 能な音響 報を生成し、前記 画を 特定する音響 報を、 報として 出し、前記 、あら じめ定められた条件で区切られた楽曲 号の 区画を識別 能な 報を生成し、前記 報と前記 報とを 較し、前記 部は、前記 報が前記 報 の ずれ に合致する場合に、合致した前記 報を示す 報を出力 してもよ 。

００23 そのよ 構成によれば、 ンテンツおよび 号を 切るための 定の 件に 応じた印象的な 画を自動 出することができる。

００24 および 、特徴 を含む情報であ て、前記 、 報に含まれる特徴 をそれぞれ 較することによ て、前記 画を特定し、前記 、前記

報に含まれる特徴 、 報に含まれる 、を 較し、前記 部は、前記 報に含まれる特徴 、前 記 報に含まれる の ずれ に合致する場合に、合致し た前記 報を示す 報を出力してもよ 。

００25 そのよ 構成によれば、特徴 較して印象的な 画を自動 出することがで きる。

００26 によ て 出された 報に基 て、前記 報に含まれる特徴 同じ 類の を含む 2の

報を生成する 2の 、さらに含まれ、前記 、前記

によ て 出された 報に含まれる特徴 異なる種類 の を含む 報を生成し、前記 2の 報に 含まれる特徴 、前記 報に含まれる 、を 較してもよ ００27 そのよ 構成によれば、処理件数の 出に る 理を簡便にし 、一方 較する 理を ことで処理 度を維持することができる。 ００28 、入力された重み付け 報に応じて前記 画を抽出 してもよ 。

００29 そのよ 構成によれば、重み付け 報に応じて印象的な 画を自動 出すること ができる。

００3０ 、前記 ンテ 報の 号の 域を制限する の ィ タ ング部を備え、前記 、前記 号の 号の 域 を制限する 2の ィ タ ング部を備えてもよ 。

００31 そのよ 構成によれば、 ンテン または楽曲 号に 音が混在して る場 合であ ても、正し 印象的な 画を自動 出することができる。

００32 、複数の ンテ 報をあら じめ定められた基準で 出する部分 合生成 を備えてもよ 。

００33 そのよ 構成によれば、特定の ンテ を対象として印象的な 画を自動 出 することができる。

００34 ンテ テ ビジョン 組であ て、前記 合生成 、同一 ズに属するテ ビジョン 組を抽出してもよ 。

００35 そのよ 構成によれば、同一 ズに属するテ ビジョン 組を対象として印象 的な 画を自動 出することができる。

００36 明による 画自動 出方法は、楽曲の 象的な 画を示す 報を自動 出 する 画自動 ステムが 画自動 出方法であ て、音響 号を含む一 上の ンテ に繰り返し出現する音響 号の 部を含む 画を、 画として特定し、前記 画を抽出する頻出 ステップ 、音響 号を含 む 、前記 ステップにお て 出した 画が存在す る 否 を判断する共通 ステップ 、前記 ステップにお て 前記 前記 音信号 に存在すると判断した場合に、前記 画に対 応する前記 号の 分を特定 能な情報を出 する共通 カステップ 、 を含む。

００37 ステップでは、あら じめ定められた条件で区切られた ンテン の 号の 区画を識別 能な音響 報を生成し、前記 画を特定する音響 報を、 報として 出し、前記 ステップでは、あら じめ定められた条件で区切られた楽曲 号の 区画 を識別 能な 報を生成し、前記 報と前記 報とを 較し、前記 カステップでは、前記 報が前 記 報の ずれ に合致する場合に、合致した前記

報を示す 報を出力してもよ 。

００38 そのよ 構成によれば、 ンテンツおよび 号を 切るための 定の 件に 応じた印象的な 画を自動 出することができる。

００39 および 、特徴 を含む情報であ て、前記 ステップでは、 報に含まれる特徴 をそ れぞれ 較することによ て 画を特定し、前記 ステップでは、前 記 報に含まれる特徴 、 報に含まれる

、を 較し、前記 カステップでは、前記 報に含まれ る特徴 、前記 報に含まれる の ずれ に合致する 場合に、合致した前記 報を示す 報を出力してもよ 。

００4０ そのよ 構成によれば、特徴 較して印象的な 画を自動 出することがで きる。

００41 ステップで 出された 報に基 て、前記 報に含まれる特徴 同じ 類の を含む 2の

報を生成する 2の ステップが、さらに含まれ、前記

ステップでは、前記 ステップで 出された 報に含まれ る特徴 異なる種類の を含む 報を生成し、前記 2の 報に含まれる特徴 、前記 報に含まれる 、を 較してもよ 。

００42 そのよ 構成によれば、処理件数の 出に る 理を簡便にし 、一方 較する 理を ことで処理 度を維持することができる。 ００43 ステップでは、入力された重み付け 報に応じて前記 画 を抽出してもよ 。

００44 そのよ 構成によれば、重み付け 報に応じて印象的な 画を自動 出すること ができる。

００45 音信号の 号の 域を制限する 2の ィ タ ングステップ 、がさらに 含まれ、前記 ステップでは、前記 の ィ タ ングステップで音響 号の 域が制限された ンテ に繰り返し出現する音響 号の 部を含 む 画を、前記 画として特定し、前記 画を抽出し、前記

ステップでは、前記 2の ィ タ ングステップで音響 号の 域が制限された楽 音信号 、前記 ステップにお て 出した 画が存在する 否 を判断してもよ 。

００46 そのよ 構成によれば、 ンテン 号に 音が混在して る場合で あ ても、正し 印象的な 画を自動 出することができる。

００47 数の ンテ 報をあら じめ定められた基準で 出する部分 合生成ステッ プがさらに含まれ、前記 ステップでは、前記 合生成ステップで 出された 数の ンテ に繰り返し出現する音響 号の 部を含む 画 を、前記 画として特定し、前記 画を抽出してもよ 。

００48 そのよ 構成によれば、特定の ンテ を対象として印象的な 画を自動 出 することができる。

００49 ンテ 、テ ビジョン 組であ て、前記 合生成ステップで は、同一 ズに属するテ ビジョン 組を抽出してもよ 。

００5０ そのよ 構成によれば、同一 ズに属するテ ビジョン 組を対象として印象 的な 画を自動 出することができる。

００51 明による 画自動 プ グラムは、楽曲の 象的な 画を示す 報を自動 出する 理を ンピ に実行さ る 画自動 プ グラムであ て、前記 ンピ に、音響 号を含む一 上の ンテ に繰り返し出現する音 響 号の 部の 画を、 画として特定し、前記 画を抽出する頻出 出処理と、音響 号を含む 、前記 出処理で 出した 画が存在する 否 を判断する共通 理と、前記 理 にお て前記 前記 音信号 に存在すると判断した場合に、前記 画に対応する前記 号の 分を特定 能な情報を出 する共通 理と、を実行さ る。 ００52 出処理では、あら じめ定められた条件で区切られた ンテンツ の 号の 区画を識別 能な音響 報を生成し、前記 画を特定する音響 報を、 報として 出し、前記

理では、あら じめ定められた条件で区切られた楽曲 号の 区画を識別 能な 報を生成し、前記 報と前記

報とを 較し、前記 理では、前記 報が前記

報の ずれ に合致する場合に、合致した前記 報を示す 報を出力してもよ 。

００53 そのよ 構成によれば、 ンテンツおよび 号を 切るための 定の 件に 応じた印象的な 画を自動 出することができる。

００54 および 、特徴 を含む情報であ て、前記 出処理では、 報に含まれる特徴 をそれ ぞれ 較することによ て 画を特定し、前記 理では、前記 報に含まれる特徴 、 報に含まれる 、 を 較し、前記 理では、前記 報に含まれる特徴 、前記 報に含まれる の ずれ に合致する場合に、合 致した前記 報を示す 報を出力してもよ 。

００55 そのよ 構成によれば、特徴 較して印象的な 画を自動 出することがで きる。

００56 出処理で 出された 報に基 て、前記

報に含まれる特徴 同じ 類の を含む 2の 報 を生成する 2の 出処理を、さらに前記 ンピ に実行さ 、前記 理では、前記 出処理で 出された 報に 含まれる特徴 異なる種類の を含む 報を生成し、前記 2 の 報に含まれる特徴 、前記 報に含まれる

、を 較してもよ 。

００57 そ よ 構成によれば、処理件数の 出に る 理を簡便にし 、一方 較する 理を ことで処理 度を維持することができる。 ００58 出処理では、入力された重み付け 報に応じて前記 画を 抽出してもよ 。

００59 そのよ 構成によれば、重み付け 報に応じて印象的な 画を自動 出すること ができる。

００6０ ンテ 報の 号の 域を制限する の ィ タ ング 理と、前 記 音信号の 号の 域を制限する 2の ィ タ ング 理と、をさらに前記 ンピ に実行さ 、前記 出処理では、前記 の ィ タ ング 理で音響 号の 域が制限された ンテ に繰り返し出現する音響 号の 部を含む 画を、前記 画として特定し、前記 画を抽出し、前記

理では、前記 2の ィ タ ング 理で音響 号の 域が制限された 楽音信号 、前記 ステップにお て 出した 画が存在する 否 を判断してもよ 。

００61 そのよ 構成によれば、 ンテン 号に 音が混在して る場合で あ ても、正し 印象的な 画を自動 出することができる。

００62 数の ンテ 報をあら じめ定められた基準で 出する部分 合生成 理 を、さらに前記 ンピ に実行さ 、前記 出処理では、前記 合生成 理で 出された 数の ンテ に繰り返し出現する音響 号の 部を含む 画を、前記 画として特定し、前記 画を抽出してもよ 。 ００63 そのよ 構成によれば、特定の ンテ を対象として印象的な 画を自動 出 することができる。

００64 ンテ 、テ ビジョン 組であ て、前記 合生成 理では、 同一 ズに属するテ ビジョン 組を抽出してもよ 。

００65 そのよ 構成によれば、同一 ズに属するテ ビジョン 組を対象として印象 的な 画を自動 出することができる。

００66 明による 画自動 ステムの 、例えば、楽曲を内部で 利用して る ンテ 群 ら、 ザに 繁に露出されて る楽曲 画を調査して その 分を識別するための を生成する手段と、解析 象である楽曲 の 画を識別するための を生成する手段と、二 の 較により 通する部分を特定する共通 段を備える。

００67 このよ な構成を採用することで、ある楽曲にお て、 の を通して 繁 に視聴者に提示されて る部分を自動的に一意に特定することができ、 明の 的を達成することができる。

明の

００68 明によれば、楽曲 に表れる回数とは無関係に、一般 ザに広 認知され て る可能，注が高 と推定される 立を自動的に 出し、それを楽曲における印象 的な 画として のアプ ケ ョンに提供することができると 果がある。す なわち、テ ビジョン ンテンツを用 て、音楽 ンテン をすること ができると 果がある。 ００69 来の ステムの を示す ック図である。

2 2は 明による 画自動 ステムの の 施の 態を示す ック 図である。

3 3は 明による 画自動 ステムの 2の 施の 態を示す ック 図である。

4 4は 明による 画自動 ステムの 3の 施の 態を示す ック 図である。

5 5は 明による 画自動 ステムの 4の 施の 態を示す ック 図である。

号の

００7０ 2 2

2

2

2 明を実 するための 良の

００71 施の ・

下、本 明の の 施の 態を図面を参照して説明する。 2は、 明によ る 画自動 ステムの の 施の 態を示す ック図である。 2に示す 画自動 ステムは、楽曲における印象的な 報を生成する

を備える。

００72 は、 の と、重要 2と、

2の と、共通 2とを含む。なお、 の 重要 2が、 を構成し、 2の 共通 2が、共通 を構成し、共通

2が共通 部を構成する。

００73 は、楽曲 号と、楽曲を内部で利用して る ンテン 、 に基 て、楽曲における印象的な 画を示す 報を生成する。

００74 象的な 、一般に広 認知されて る部分、例えば ンテン 群にお てよ 現れる ズ( えば メ ディの )である。

００75 なお、以下の 明では、楽曲の 部または全体に ての 号を楽曲 号と 表記する。

００76 、一般の 曲に ての 号であ て、例えば、デ タベ ス( ず。 )の 域に記憶される。

００77 ンテン 群は、楽曲 号を含む ンテンツの 合であ て、例えば、テ ビジョン 組に代表される音声 ンテンツ、または、ウ (web) または グ ( o )などの、背景 楽が重畳されたインタ ネット ソ スなどである。

００78 ンテン 群は、例えば、区画自動 ステムの によ てあら じめ 作為に、または、楽曲 号に応じて選択される。 択された ンテン 群は、通信 、 トワ クを介して、区画自動 ステムにダウン ドされる。

００79 の は、 ンテン 群が入力されると、す ての ンテン に て、音響トラック( を識別するための タデ タである音響 名を生成 する。 ００8０ 、時間 報とその 間における音楽 との を 列に並 た 集合 らなる。 言すると、音楽 、あら じめ定められた条件で区切られた ンテ の 号の 区画を識別するための 報である。 ００81 名に ては、オ ディオ グナチヤ ( do S a e)として、

特徴 現形態が開発されて る。

００82 えば、アイ・ ス・ ( SO) アイ・ ・ ( C)の 同国際 準で P G

7オ ディオとして知られる規格( SO C 5938 4)の6・ 2章に、音響 名 の 良の が示されて る。すなわち、音響 、 ンテ 毎に、音楽 が時間 報とともに に順次 納された情報である。

００83 2は、音響 によ て生成された 数の

名に基 て、一 または複数の ンテ の中で 出する音響 号の 部分( 称する。)を探し出す。 2は、その

分を、音響 名として する。 、 報の 例 であり、広 認知されて る ズを示す。

００84 2は、ある一 の ンテ の に繰り返し れる音 楽 を検索するだけでな 、複数の ンテ に共通して まれる音楽 を 検索する。

００85 そのため、重要 2は、一 の ンテ 中には一度し れな が、 ろ ろな ンテ に共通して現れる ズを、広 認知されて る ズ ま り音響 名として 出することができる。

００86 2は、音響 名のよ 時間 き特徴 列の間で共通する 部分を、部分対 分比較( 分同士の )を行 て 術として、例えば

4または特許 5などに公開されて る 術、ある は、前述した国際

( SO C 5938 4)等にお て提示されて る 術などを利用する。

００87 2は、 ンテン 群の中で 出する音響 分を識別するた めの 報と、 出する音響 分の 、を含む 名を 生成する。すなわち、音響 、 ンテ 群の中で 出する音響 ( えば ズ)が する 画に対応する音響 名である。 ００88 2は、入力される複数の 名を対象に上記の 理を行 とによ て、入力された ンテ 群にお て り返されて る音響 を特 定するための 数の 名を生成する。

００89 2は、生成された音響 名に、重要度を付与する。

００9０ 要度のも とも 単な例は、繰り返し回数である。

００91 なお、重要度は、繰り返し回数に限らず 能である。

００92 えば、重要 2は、単純に繰り返し回数を ウントする わりに、外 部 ら ンテ に関する重み 報を入力し、繰り返される ごとに、その 画に 対応する重み 報を加算して き、その 算された重み 報の 計を、その 画の 要度としてもよ 。

００93 報とは、時間ごとの 聴率などの 標値、または、 ンテンツの ご とにあら じめ 定された指標値などである。 、例えば、 低 、 ヤ 前および ンディング 近など制作者が盛り上がりを設定する部位 は高 設定された指標値などの 為的な をさす。

００94 なお、以下の 明にお て、重要 2によ て生成された 数の

名を 表記する場合がある。

００95 方、も ひと の 力である楽曲 、 2の に入力され る。

００96 2の は、入力された楽曲 号 ら、音響 で 用 られたものと同じ 類の を含む 名を生成する。すなわち、 2 の は、入力された楽曲 号を識別するための タデ タである 音響 名を生成する。

００97 、あら じめ定められた条件で区切られた楽曲 号の 区画を識別す るための 報の 例である。

００98 2の によ て生成された楽曲 号の 名と、重要

2によ て生成された音響 とは、共に共通 2に 入力される。

００99 2は、音響 に含まれる 名に相当する 、楽曲 号の 名の 部の 画を特定し、その 定された 画の ( )を する。

０1００ すなわち、共通 2は、 名に含まれる音楽 、楽 曲 号の 名に含まれる音楽 、を 較する。 2は、 音楽 にお て、音響 名が楽曲 号の 名の 部分と合致する場 合に、合致した部分の 号を特定 能な時間 報を出 する。

０ ０ なお、以下の 明では、合致した部分の 号を、共通 画と表記する場合が ある。

０1０2 2は、音響 名と、楽曲に て生成された楽曲 号の 名と、の である、部分対 ことによ て、共通 画の 無を判 断する。 2は、共通 画があると、その 画を特定 能な時 間 報を出 する。 分対 、技術的には先に説明した部分対 分比較 全 価である。

０1０3 2は、全ての 名と楽曲 号の 名とが合致し な 場合には、共通 画の 報を出力しな 。

０1０4 画の 報が出力されな 場合には、入力された楽曲 、入力され た ンテ 、

ン 群にお て 繁に利用されて る部分を有して な と こととなり、 その 号には、印象的な 存在しな ことになる。

０1０5 なお、区画自動 ステムは、 ンピ で実現可能である。 画自動

ステムを構成する 、すなわち、区画 、 の

、重要 2、 2の および 2は、 ンピ の 理装置( )に上述した機能を実現さ るためのプ グラムによ て実現可能である。

０1０6 プ グラムは、例えば、 ンピ によ て み取り可能な記録 (メ 等 )に記録される。この 合、 ンピ の 理装置( )が、その 体 ら、 そのプ グラムを読み取り、その み取られたプ グラムを実行する。

０ ０7 画自動 ステムを構成する 素が、 ンピ で実現可能であるこ と、プ グラムによ て実現可能であること、および、プ グラムが記録 体に記録さ れて ることは、 の 施の 態に限らず、以下の 施の 態でも同様である。 ０1０8 上に説明したよ に、 の 施の 態によれば、楽曲 部の 造に わらず 何度も耳にする特定 ズを楽曲における印象的な 画として選ぶこと ができると 果がある。

施の 2・

次に、 明の 2の 施の 態を図面を参照して説明する。 3は、 明によ る 画自動 ステムの 2の 施の 態を示す ック図である。 3に示す 画自動 ステムは、楽曲における印象的な 報を生成する

2 を備える。

０1０9 2 は、 の 施の 態の 素に加えて、音響

2 を備えるとともに、 2の に代えて 2の

2 を備える。

０11０ 2 は、楽曲 号と、楽曲を内部で利用して る ンテン 、 に基 て、楽曲における印象的な 画を示す 報を生成する。なお、 の 施の 態における音響 、重要 2および

2 同様の に ては、 2で示したものと同一の 号を付し、説明を する。

０111 ンテン 群が区画 2 に入力されると、 の 施の 態と同様に、 音響 および重要 2によ て、音響 が生成 される。

０112 下の 明では、重要 2によ て生成された音響 名を第 の 名と表記し、複数の の 名を第 の 表記 する。

０113 2の 施の 態にお て、重要 2は、音響 士を簡便に比較 することにより、高速に処理を行 。

０114 2０ は、 の 群 ら、音響 が 生成したものとは異なる種類の を含む 2の を生成する ０115 なる種類の 、例えば、 の 名に含まれる音楽 ラメ タを変更したもの、その の 部のみを抜き出したもの、ある は、その に別の音 を加えたものである。

０116 2０ は、 の を変換して、 2の

を生成してもよ 。

０117 また、音響 2 は、 の を直接 換する わり に、時間 報のみを重要 2 ら受け取り、音楽 、入力された ンテン 群 ら直接 成しても わな 。

０118 2 は、入力された楽曲 号 ら、音響 2 が 生成したものと同じ 類の を含む 名を生成する。

０119 2 によ て生成された音響 名と、音響 2 に よ て生成された 2の とは、共に共通 2に入力され る。

０12０ 2の 、 の 施の 態と同様であ て、音響

2 および音響 2 の 力 ら、楽曲における印象的な 画を 示す 画を特定し、その 画を特定 能な時間 ( )を生成す る。

０121 なお、 2の 施の 態にお て、共通 2は、 2の

楽曲 号の 名とを 比較することによ て、共通 画を特定 能な 時間 報を出 する。

０122 上に説明したよ に、 2の 施の 態によれば、 の 施の 態による効果 に加えて、繰り返し 理が非常に多 ンテン 部での の

理では、簡便な音響 行 て高速性を実現し、同時に、繰り返し数が 段 に減る第2の 音響 名との では、精微な処理を実現すること ができる。

施の 3・

次に、 明の 3の 施の 態を図面を参照して説明する。 4は、 明によ る 画自動 ステムの 3の 施の 態を示す ック図である。 4に示す 自動 ステムは、区画 と、入力 号の 工を〒 の ィ タ ング 3 と、 2の ィ タ ング 3 2とを備える。

０123 なお、 4には、区画 として、 の 施の 態における

を例示したが、 2の 施の 態の 2 が用 られてもよ ０124 の ィ タ ング 3 は、 ンテン の 音信号に重畳される

および 果を少な するために、 ンテン の 音信号 ら特定 域 の 号を する機能を有する。特に、 声の 域の 号のみを阻止する ィ が、 の ィ タ ング 3 の 型的な実施 である。

０125 2の ィ タ ング 3 2は、楽曲 号 ら特定 域の 号を する機能を有 する。

０126 2の ィ タ ング 3 2は、共通 2の 作を防ぐために、 の ィ タ ング 3 同じ 波数 性を持 とともに、楽音信号を含む ンテン 群 の記 に生じる楽音信号の な し の 止または抑制と同様の 域 性を有してもよ 。

０127 この 合、 ンテン 群に含まれる楽音信号の な し の 部が、 ンテン 群の記 に されて ても、音響 に入力される楽音信号の 域を、 ンテン 群に含まれる楽音信号の 域に合わ ることが可能となる。よ て、共通 2の 作を防ぐことが可能になる。

０128 3の 施の 態によれば、 および 2の 施の 態による効果に加えて、 ンテン 、音楽だけが静 に流れる場面ば りでな 場合にお ても、楽曲にお ける印象的な 報の 成を高 率で実現することができる。

施の 4・

次に、 明の 4の 施の 態を図面を参照して説明する。 5は、 明によ る 画自動 ステムの 4の 施の 態を示す ック図である。 5に示す 画自動 ステムは、区画 と、入力された ンテン 群の加工を 行 セット 4 とを備える。

０129 なお、 5には、区画 として、 の 施の 態における 部 を例示したが、 2の 施の 態の 2 が用 られてもよ ０13０ また、 4に実施の 態に、 4に示した の ィ タ ング 3 および 2の ィ タ ング 3 2が追加されてもよ 。

０131 セット 4 は、入力された ンテン 群の部 (サ セット)を生成 する。 えば、サ セット 4 は、複数の ンテン 報をあら じめ定められ た基準にしたが て 出する。

０132 部 、例えば、同一 ズに属するテ ビジョン 組に ての ンテン のみを集めたもの、視聴者層がほぼ なる ンテン のみを集めたもの、特定事象 に関連した ンテン のみを集めたものである。

０133 ズのテ ビジョン 、連続性を持 一連のテ ビジョン 組であ て 、例えば、主人公および主題の な2 上の映 またはドラ 、ある は、ある 期間連続的に行われるスポ ツの 合などである。

０134 聴者は、 の ンテン 体 ら強 印象を受ける場合もあるが、一般に視 聴者が受ける印象は、特定の ンテン グ プ 強 結び て る場合が多 。 ０135 4の 施の 態によれば、 、 2および 3の 施の 態による効果に加え て、例えば、特定のドラ 組にお て主題歌として使われて る楽曲の、そのドラ 内で り返し使われた部位を適切に 出することができる。

０136 なお、上記の 施の 態では、音響 号の を示す 報として音楽 名を 例示して るが、楽曲がプ ョン用の 、 ク ップなどの き 曲 である場合には、音響 名に代えて映像 名を利用する構成としてもよ 。

０137 さらには、歌詞などの 曲に同期したテキスト 報が付随する場合には、テキスト 容そのものを同一性確認のための 名として てもよ 。

上の ， ０138 、音楽の 号 ら 象的な 画を自動 出することに適用できる。 ０139 えば、楽曲デ タベ スの 果として、検索された楽曲を示す 報を

ザに通知する場合に、検索された楽曲の 象的な 画を自動 出することにより、画 面にテキストでタイト を表示する わりに、印象的な 画を演奏して通知することが できる。

０14０ この 合、例えば、表示による通知ができな 場面での 択と た 途に適 用でき、 自動車内または満員電車内で利用される音楽 末などにお て有効である ０141 また、カラオケでの 時など楽曲を選ぶ際に、タイト などの わりに、 自動 出された印象的な 画を通知することにより、利用者がタイト などの 報を 正確に覚えて な 場合であ ても、利用者は、記憶に残 て る ズ 通知さ れた ズとを ることで、楽曲 択を〒 ことができる。

０142 さらに、映像 集などの折に効果 を探し出すにあた て、広 使われて る人気 の ズを選択肢として自動 出して提示すると た 途にも適用 能である。

Claims

2０ 求の

曲の 象的な 画を示す 報を自動 出する 画自動 ステムであ て、 音響 号を含む一 上の ンテ に繰り返し出現する前記 号の 部を含む 画を、 画として特定し、前記 画を抽出する頻出 、

音響 号を含む 、前記 出した 画が存在 する 否 を判断する共通 、

前記 、前記 前記 音信号 に存在する、 判断し た場合に、前記 画に対応する前記 号の 画を特定 能な情報を出 する共通 、

を備える 画自動 ステム。

2 、あら じめ定められた条件で区切られた ンテ

の 号の 区画を識別 能な音響 報を生成し、前記 画を 特定する音響 報を、 報として 出し、

前記 、あら じめ定められた条件で区切られた楽曲 号の 区 画を識別 能な 報を生成し、前記 報と前記

報とを 較し、

前記 部は、前記 報が前記 報の ずれ に合致する場合に、合致した前記 報を示す 報を出 する 載の 画自動 ステム。

3 および 、特徴 を含む情報であ て、

前記 、 報に含まれる特徴 をそれぞれ 較 することによ て、前記 画を特定し、

前記 、前記 報に含まれる特徴 、

報に含まれる 、を 較し、

前記 部は、前記 報に含まれる特徴 、前記 報に含まれる の ずれ に合致する場合に、合致した前記 報を示す 報を出 する、

請求 2 載の 画自動 ステム。

4 によ て 出された 報に基 て、前記 報に含まれる特徴 同じ 類の を含む 2の

報を生成する 2の 、さらに含み、

前記 、前記 によ て 出された

報に含まれる特徴 異なる種類の を含む 報を生成 し、前記 2の 報に含まれる特徴 、前記 報に含 まれる 、を 較する、

請求 3 載の 画自動 ステム。

5 、入力された重み付け 報に応じて前記 画を抽出 する、

請求 な し4の ずれ 項に記載の 画自動 ステム。

6 、前記 ンテ 報の 号の 域を制限する の ィ タ ング部を備え、

前記 、前記 号の 号の 域を制限する 2の ィ タ ング部を備える、

請求 な し5の ずれ 項に記載の 画自動 ステム。

7 、複数の ンテ 報をあら じめ定められた基準で 出する部分 合生成 を備える、

請求 な し6の ずれ 項に記載の 画自動 ステム。

8 ンテ 、テ ビジョン 組であ て、

前記 合生成 、同一 ズに属するテ ビジョン 組を抽出する、 請求 7 載の 画自動 ステム。

9 曲の 象的な 画を示す 報を自動 出する 画自動 ステムが

画自動 出方法であ て、

音響 号を含む一 上の ンテ に繰り返し出現する音響 号の を含む 画を、 画として特定し、前記 画を抽出する頻出 ステ 、プ 、

音響 号を含む 、前記 ステップにお て 出した 画が存在する 否 を判断する共通 ステップ 、

前記 ステ プにお て前記 前記 音信号 に存在する と判断した場合に、前記 画に対応する前記 号の 分を特定 能な情 報を出 する共通 カステ、プ 、

を含む 画自動 出方法。

０ ステ プでは、あら じめ定められた条件で区切られた ンテン の 号の 区画を識別 能な音響 報を生成し、前記 画を特定する音響 報を、 報として 出し、 前記 ステ プでは、あら じめ定められた条件で区切られた楽曲 号の 区画を識別 能な 報を生成し、前記 報と前 記 報とを 較し、

前記 カステ プでは、前記 報が前記

報の ずれ に合致する場合に、合致した前記 報を示す 報を出 する、

請求 9 載の 画自動 出方法。

および 、特徴 を含む情報であ て、

前記 ステ プでは、 報に含まれる特徴 をそれぞ れ 較することによ て 画を特定し、

前記 ステ プでは、前記 報に含まれる特徴 、 報に含まれる 、を 較し、

前記 カステ プでは、前記 報に含まれる特徴 、前 記 報に含まれる の ずれ に合致する場合に、合致し た前記 報を示す 報を出 する、

請求 載の 画自動 出方法。 2 ステ プで 出された 報に基 て、前記 報に含まれる特徴 同じ 類の を含む 2の

報を生成する 2の ステップを、さらに含み、

前記 ステ プでは、前記 ステップで 出された

報に含まれる特徴 異なる種類の を含む 報 を生成し、前記 2の 報に含まれる特徴 、前記

報に含まれる 、を 較する、

請求 載の 画自動 出方法。

3 ステ プでは、入力された重み付け 報に応じて前記 画 を抽出する、

請求 9な し 2の ずれ 項に記載の 画自動 出方法。

4 ンテ 報の 号の 域を制限する の ィ タ ングステップ 、 前記 音信号の 号の 域を制限する 2の ィ タ ングステップ 、をさら に含み、

前記 ステ プでは、前記 の ィ タ ングステップで音響 号の 域が制限された ンテ に繰り返し出現する音響 号の 部を含む 画 を、前記 画として特定し、前記 画を抽出し、

前記 ステ プでは、前記 2の ィ タ ングステップで音響 号の 域が制限された楽音信号 、前記 ステップにお て 出した 画が存在する 否 を判断する、

請求 9な し 3の ずれ 項に記載の 画自動 出方法。

5 数の ンテ 報をあら じめ定められた基準で 出する部分 合生成ステッ プをさらに含み、

前記 ステ プでは、前記 合生成ステップで 出された 数の ンテン に繰り返し出現する音響 号の 部を含む 画を、前記 画 として特定し、前記 画を抽出する、

請求 9な し 4 ずれ 項に記載の 画自動 出方法。

6 ンテ 、テ ビジョン 組であ て、 合生成ステ プでは、同一 ズに属するテ ビジョン 組を抽出す る、

請求 5 載の 画自動 出方法。

7 曲の 象的な 画を示す 報を自動 出する 理を ンピ に実行さ る 画自動 プ グラムであ て、

前記 ンピ に、

音響 号を含む一 上の テ に繰り返し出現する音響 号の 部 の 画を、 画として特定し、前記 画を抽出する頻出 出処理と、 音響 号を含む 、前記 出処理で 出した 画が存 在する 否 を判断する共通 理と、

前記 理にお て前記 前記 音信号 に存在すると判 断した場合に、前記 画に対応する前記 号の 分を特定 能な情報を 出 する共通 理と、

を実行さ るための 画自動 プ グラム。

8 出処理では、あら じめ定められた条件で区切られた ンテンツ の 号の 区画を識別 能な音響 報を生成し、前記 画を特定する音響 報を、 報として 出し、

前記 理では、あら じめ定められた条件で区切られた楽曲 号の 区画を識別 能な 報を生成し、前記 報と前記 報とを 較し、

前記 理では、前記 報が前記 報 の ずれ に合致する場合に、合致した前記 報を示す 報を出 する、

請求 7 載の 画自動 プ グラム。

9 および 、特徴 を含む情報であ て、

前記 出処理では、 報に含まれる特徴 をそれぞれ 較することによ て 画を特定し、 理では、前記 報に含まれる特徴 、 報に含まれる 、を 較し、

前記 理では、前記 報に含まれる特徴 、前記 報に含まれる の ずれ に合致する場合に、合致した前 記 報を示す 報を出 する、

請求 8 載の 画自動 プ グラム。

2０ 出処理で 出された 報に基 て、前記

報に含まれる特徴 同じ 類の を含む 2の 報 を生成する 2の 出処理を、さらに前記 ンピ に実行さ 、 前記 理では、前記 出処理で 出された

報に含まれる特徴 異なる種類の を含む 報を生成し、 前記 2の 報に含まれる特徴 、前記 報に含ま れる 、を 較する、

請求 9 載の 画自動 プ グラム。

2 出処理では、入力された重み付け 報に応じて前記 画を 抽出する、

請求 7な し2 の ずれ 項に記載の 画自動 プ グラム。

22 ンテン 報の 号の 域を制限する の ィ タ ング 理と、 前記 音信号の 号の 域を制限する 2の ィ タ ング 理と、をさらに 前記 ンピ に実行 、

前記 出処理では、前記 の ィ タ ング 理で音響 号の 域が 制限された ンテン に繰り返し出現する音響 号の 部を含む 画を、前 記 画として特定し、前記 画を抽出し、

前記 理では、前記 2の ィ タ ング 理で音響 号の 域が 制限された楽音信号 、前記 ステップにお て 出した 画 が存在する 否 を判断する、

請求 7な し2 ずれ 項に記載の 画自動 プ グラム。

23 数の ンテン 報をあら じめ定められた基準で 出する部分 合生成 を、さらに前記 ンピ に実行さ 、

前記 出処理では、前記 合生成 理で 出された 数の ンテ ン に繰り返し出現する音響 号の 部を含む 画を、前記 画として 特定し、前記 画を抽出する、

請求 7な し22の ずれ 項に記載の 画自動 プ グラム。

24 ンテン 、テ ビジョン 組であ て、

前記 合生成 理では、同一 ズに属するテ ビジョン 組を抽出する、 請求 23 載の 画自動 プ グラム。