JPWO2007039994A1 - ダイジェスト作成装置およびそのプログラム - Google Patents

Abstract

視聴者の視聴意欲を損ねることがないダイジェストを作成可能なダイジェスト作成装置およびそのプログラムを提供することを課題とする。【解決手段】映像情報と音声情報の少なくともいずれか一方を含むコンテンツを取得するコンテンツ取得部２０と、取得したコンテンツの全コンテンツ区間から、映像情報と音声情報の少なくともいずれか一方に基づいて、ハイライトシーンを含む大音圧区間を検索する大音圧区間検索部４１と、全コンテンツ区間からハイライト区間を除いた残区間の中から、コンテンツのダイジェストを作成するための要素となる部分シーンを抽出する部分シーン抽出部３２と、抽出した部分シーンを用いて、ダイジェストを作成するダイジェスト作成部３３と、を備えたものである。

Description

本発明は、映像情報と音声情報の少なくともいずれか一方を含むコンテンツのダイジェストを作成するダイジェスト作成装置およびそのプログラムに関するものである。

近年、映像情報や音声情報を含むコンテンツ（テレビ放送番組など）を記録・再生可能な記録再生装置において、記録したコンテンツを要約したダイジェストを作成し、これを再生するものが知られている。このダイジェスト再生は、記録したコンテンツ中のハイライトシーンなど特徴的なシーンを中心に再生させることができるため、ユーザが短時間で大まかなコンテンツの内容を把握したい場合や、見たい番組を検索する場合に利用される。

ところで、ダイジェストを作成するに当たって、その特徴的なシーンを抽出する方法として、各種提案が為されている。例えば、特許文献１や特許文献２では、画像の顔領域が存在するフレーム、画像の連続性が無いフレーム（シーンチェンジ後のフレーム）等に応じて代表フレームを抽出し、当該代表フレームを先頭としてダイジェスト再生を行うようにしている。また、特許文献３では、コンテンツに含まれる音声情報に着目し、基準となる基準音声レベルよりも大きい区間が所定時間継続した場合に、その基準音声レベルより大きい区間を抽出してダイジェスト再生を行うようにしている。
特開２００３―２８３９９３号公報 特開平９―３１２８２７号公報 特開平１０―３２７７６号公報

しかしながら、上記の特許文献に記載されたダイジェスト再生方法は、顔領域が存在するフレームや音声レベルが大きい区間など、いずれも特徴的なシーンを抽出しているため、見たい番組を検索するためにダイジェスト再生を行う際に、ユーザが望まないシーンを含んでいる可能性がある。例えば、スポーツ番組を記録した際に、試合結果がダイジェストに含まれていたり、ドラマを記録した際に、その結末がダイジェストに含まれていたりするような場合である。このため、ダイジェストを番組検索用として用いる場合は、コンテンツの結果が判らない範囲で、いわゆる番組予告編に近いものを再生することが望まれている。

そこで、本発明は、視聴者の視聴意欲を損ねることがないダイジェストを作成可能なダイジェスト作成装置およびそのプログラムを提供することを目的とする。

本発明のダイジェスト作成装置は、映像情報と音声情報の少なくともいずれか一方を含むコンテンツを取得するコンテンツ取得手段と、取得したコンテンツの時間軸上における全コンテンツ区間から、映像情報と音声情報の少なくともいずれか一方に基づいて、ハイライトシーンを含むハイライト区間を検索するハイライト区間検索手段と、全コンテンツ区間からハイライト区間を除いた残区間の中から、コンテンツのダイジェストを作成するための要素となる部分シーンを抽出する部分シーン抽出手段と、抽出した部分シーンを用いて、ダイジェストを作成するダイジェスト作成手段と、を備えていることを特徴とする。

この構成によれば、全コンテンツ区間から、ハイライトシーンを含むハイライト区間を除いた残区間の中から、ダイジェストを作成するための要素となる部分シーンを抽出するため、ダイジェストの中にハイライトシーンが含まれることがない。従って、作成されたダイジェストを視聴することによって、そのコンテンツの特徴的な内容や結果が判ってしまい、視聴者の視聴意欲を損ねてしまうといったことがない。

なお、「コンテンツ」には、映像情報および音声情報から成るもの（テレビジョン番組など）、映像情報だけのもの（例えば無声映画など）、並びに音声情報だけのもの（例えば音楽やラジオ番組など）が含まれる。また、「ハイライトシーン」とは、スポーツ番組の試合結果やドラマの結末など、視聴者が最も興味をそそられるシーンや盛り上がるシーンなど、そのコンテンツの特徴的なシーンを指す。また、ハイライトシーン（ハイライト区間）の検索は、例えば映像に顔領域が含まれているシーンを抽出する方法や、音声レベルや音圧レベルが基準値を超えているシーンを抽出する方法など、従来技術を適用可能である。また、「ダイジェスト」とは、コンテンツの内容を要約した要約情報を指す。

上記のダイジェスト作成装置において、取得したコンテンツを記録する記録手段をさらに備え、ハイライト区間検索手段は、記録手段による記録と同期して、ハイライト区間の検索を行うことが好ましい。

この構成によれば、コンテンツの記録に伴ってハイライト区間を検索するため、記録終了時には、ハイライト区間の検索を終えた状態となる。従って、コンテンツの記録後にハイライト区間を検索する場合と比較して、その分ダイジェストの作成に要する時間を短縮することができる。

上記のダイジェスト作成装置において、ダイジェストを再生するダイジェスト再生手段をさらに備え、ダイジェスト作成手段は、抽出した部分シーンの開始点を示すアドレスと当該部分シーンの区間長とを示す区間データから成るダイジェスト再生情報を作成し、ダイジェスト再生手段は、ダイジェスト再生情報と、記録手段によるコンテンツの記録データとに基づいて、ダイジェストを再生することが好ましい。

この構成によれば、コンテンツの記録データの中からダイジェスト再生情報に該当する部分シーンを読み出すことによって、ダイジェストを再生することができる。すなわち、コンテンツの記録データの一部を抽出したダイジェスト用のデータを、コンテンツの記録データとは別に保存しておくといった必要が無く、部分シーンの開始点を示すアドレスとその区間長とを示す区間データを保存しておくだけで良いため、ダイジェスト保存用のメモリ使用量を少なくすることができる。

上記のダイジェスト作成装置において、コンテンツには、シーン毎に記録されたメタデータが付帯されており、ハイライト区間検索手段は、映像情報と音声情報の少なくともいずれか一方と共にメタデータに基づいて、ハイライト区間を検索することが好ましい。

この構成によれば、映像情報や音声情報以外に、メタデータも考慮するため、より的確にハイライトシーンを含むハイライト区間を検索することができる。なお、「メタデータ」とは、コンテンツ全体の内容に関する記述、制作者、著作権などに関する情報などの他、コンテンツに含まれる各シーンの詳細な情報を含むものである。

上記のダイジェスト作成装置において、コンテンツは、音声情報を含むものであり、ハイライト区間検索手段は、ハイライト区間として、音声情報に基づいて算出した音圧レベルが、所定の大音閾値以上となる大音圧区間を検索し、部分シーン抽出手段は、ハイライト区間の開始点から所定時間ｔａだけ（ｔａ＞０）遡った時点を開始点とする部分シーンを抽出することが好ましい。

この構成によれば、音圧レベルが所定の閾値以上となる大音圧区間の開始点から所定時間ｔａだけ（ｔａ＞０）遡った時点を開始点とする部分シーン、すなわちハイライトシーンの前のシーンを抽出するため、視聴者の視聴意欲を高めると想定されるシーンを含むダイジェストを作成することができる。

上記のダイジェスト作成装置において、所定時間ｔａは、ハイライト区間の区間長ｈｌ（ｈｌ＞０）と、定数α（０＜α≦１）とを乗算して得られる時間であることが好ましい。

この構成によれば、ハイライト区間の区間長に応じて、抽出する部分シーンの開始点を決定することができる。これは、ハイライトシーンが長い場合は、その前段となるシーンも長いとの経験則に基づくものである。

上記のダイジェスト作成装置において、部分シーンの終了点は、ハイライト区間の開始点から所定時間ｔｂ（０≦ｔｂ＜ｔａ）だけ遡った時点であることが好ましい。

この構成によれば、ハイライト区間の開始点から所定時間ｔｂ（０≦ｔｂ＜ｔａ）だけ遡った時点を抽出する部分シーンの終了点とするため、例えばハイライト区間の区間長に応じて、抽出する部分シーンの開始点を決定する場合は、区間長に応じた長さ（区間長：ｔａ−ｔｂ）の部分シーンを抽出することができる。

上記のダイジェスト作成装置において、部分シーンの終了点は、部分シーンの開始点から、当該部分シーンの区間長に相当する所定時間ｔｐ（ｔｐ≦ｈｌ＊α）だけ経過した時点であることが好ましい。

これらの構成によれば、ハイライト区間の長さに関わらず、一定の長さ（区間長：ｔａ−ｔｂ）の部分シーンを抽出することができる。従って、ダイジェストに複数の部分シーンが含まれる場合、シーン長が一定のバランスの良いダイジェストを作成することができる。

上記のダイジェスト作成装置において、ハイライト区間検索手段により、複数のハイライト区間が検索された場合、ダイジェスト作成手段は、各部分シーンを抽出する基準となる各ハイライト区間の区間長に応じて、抽出された部分シーンに優先度を設定し、当該優先度の高い部分シーンから、ダイジェストの要素として組み込んでいくことが好ましい。

この構成によれば、ハイライト区間の区間長に応じた優先順位で、そのハイライト区間に基づいて抽出した部分シーンをダイジェストに組み込んで行くことができる。従って、ハイライトシーンの長いもの、すなわち盛り上がりのより大きいシーンを優先的にダイジェストに組み込むことで、視聴者の視聴意欲をより高めることができる。一方、ハイライトシーンではあるが、その長さの短いものを優先的にダイジェストに組み込むようにすれば、コンテンツの結末がより想定しづらいダイジェストを作成することができる。

なお、この場合、音声情報に基づいて算出した音圧レベルが、所定の小音閾値以下となる小音圧区間を検索する小音圧区間検索手段と、小音区間検索手段との検索結果に基づいて、全コンテンツ区間から、コマーシャルシーンを含む本編外シーンを抽出する本編外シーン抽出手段と、をさらに備え、部分シーン抽出手段は、抽出された本編外シーンの直後の所定区間を、重要部分シーンとして抽出し、ダイジェスト作成手段は、重要部分シーンの優先度を最大値に設定して、当該重要部分シーンからダイジェストの要素として組み込んでいくようにしても良い。

この構成によれば、検索した小音圧区間に基づいて、コマーシャルシーンを含む本編外シーンを抽出し、その直後のシーンを重要部分シーンとして優先的にダイジェストに含めることができる。例えば、コンテンツがアニメの場合などは、コマーシャル直後にアニメの題目やテロップが表示されることが多いが、これをダイジェストに含めることで、視聴者はより的確に内容を把握することができる。なお、「本編外シーン」とは、コマーシャルシーンの他、天気予報や番組コーナーなど、コンテンツの本編ではないと考えられる区間を指す。

また、この場合、部分シーン抽出手段は、ハイライト区間を基準にして抽出した各部分シーンの一部または全体が本編外シーンと重なる場合、その重複したシーンを部分シーンから削除しても良い。

この構成によれば、例えばハイライトシーンの前のシーンとして抽出した部分シーンが、コマーシャルシーンと重なってしまった場合、そのコマーシャルシーンを除く部分シーンを抽出することができる。従って、確実に本編外シーンを含まないダイジェストを作成することができる。

上記のダイジェスト作成装置において、大音閾値を設定する閾値設定手段をさらに備えていることが好ましい。

この構成によれば、視聴者の好みやニーズに応じて、大音圧区間の検索基準となる大音閾値を設定することができる。

上記のダイジェスト作成装置において、部分シーン抽出手段により抽出された複数の部分シーンのうち、少なくとも２つの部分シーンの一部または全体が重なる場合、ダイジェスト作成手段は、重なった２つ以上の部分シーンを、連続する１つの部分シーンとして、ダイジェストに組み込むことが好ましい。

この構成によれば、抽出した部分シーンが重なってしまった場合でも、ダイジェスト中に同じシーンが含まれることがない。すなわち、一般にダイジェストは、短時間で効率的に内容を把握することを課題としているため、そういった点において、より適切なダイジェストを作成することができる。

上記のダイジェスト作成装置において、ダイジェスト作成手段は、複数の部分シーンを用いてダイジェストを作成する場合、当該複数の部分シーンを、時系列に従って並び替えることが好ましい。

この構成によれば、抽出した複数の部分シーンを時系列に従って並び替えるため、ダイジェストを再生する際に、連続して再生される部分シーンが時間的に前後するといった違和感を無くすことができる。また、番組予告編に近いダイジェストを作成することができる。

上記のダイジェスト作成装置において、部分シーン抽出手段は、全コンテンツ区間内の任意の区間である対象区間の中から、部分シーンを抽出することが好ましい。

また、上記のダイジェスト作成装置において、対象区間は、コンテンツの開始点から、全コンテンツ区間と定数β（０＜β＜１）とを乗算して得られる時間だけ経過した時点までの区間であることが好ましい。

これらの構成によれば、全コンテンツ区間の中から、部分シーンの抽出対象区間を絞ることができる。これにより、例えばスポーツ番組の試合結果をダイジェストに含めたくないような場合、対象区間を全コンテンツ区間の前半（全コンテンツ区間と定数β（０＜β＜１）とを乗算して得られる時間）に絞ることで、より確実にダイジェスト内に試合結果が含まれることを避けることができる。

上記のダイジェスト作成装置において、部分シーン抽出手段は、全コンテンツ区間または対象区間を複数の小区間に分割し、各小区間から少なくとも１つの部分シーンを抽出することが好ましい。

この構成によれば、複数の小区間から少なくとも１つの部分シーンを抽出するため、全コンテンツ区間または対象区間からバランス良く、部分シーンを抽出することができる。すなわち、コンテンツの中の一部に長いハイライトシーンがあるような場合であっても、その長いハイライトシーンに基づいて抽出された部分シーンだけを含むようなダイジェストが作成されることがない。

本発明のプログラムは、上記のダイジェスト作成装置における各手段として機能させるためのものであることを特徴とする。

このプログラムを用いることにより、視聴者の視聴意欲を損ねることがないダイジェストを作成可能なダイジェスト作成装置を実現することができる。

本発明の一実施形態に係る録音再生装置のブロック構成図である。 部分シーンの抽出方法を説明する音圧レベル波形図である。 部分シーンをダイジェストに組み込む際の優先度の決定方法を説明する図である。 大音圧区間の検索処理を示すフローチャートである。 第１実施形態に係るダイジェスト作成処理を示すフローチャートである。 部分シーンを抽出する他の方法を説明する音圧レベル波形図である。 重複する部分シーンの抽出方法を説明する音圧レベル波形図である。 部分シーンの優先度を決定する他の方法を説明する音圧レベル波形図である。 第２実施形態に係る対象区間からの部分シーンの抽出方法を説明する音圧レベル波形図である。 第２実施形態に係るダイジェスト作成処理を示すフローチャートである。 第３実施形態に係る各小区間からの部分シーンの抽出方法を説明する音圧レベル波形図である。 第３実施形態に係るダイジェスト作成処理を示すフローチャートである。 第４実施形態に係る録音再生装置のブロック構成図である。 第４実施形態に係る本編外シーン直後の重要部分シーンの抽出方法を説明する音圧レベル波形図である。 第４実施形態に係るダイジェスト作成処理を示すフローチャートである。

符号の説明

１０：録音再生装置，２０：コンテンツ取得部，３０：制御部，４０：音声解析部，５０：記憶部，６０：再生部，６１：コンテンツ再生部，６２：ダイジェスト再生部，８１：受信アンテナ，８２：外部機器，９１：表示装置，９２：ＵＩ入力装置，ＤＣｓ：本編外シーンの開始点，ＤＣｅ：本編外シーンの終了点，Ｄｓ：全コンテンツの区間の開始点，Ｄｅ：全コンテンツの区間の終了点，ＤＨｓ：大音圧区間の開始点，ＤＨｅ：大音圧区間の終了点，ＤＰｓ：部分シーンの開始点，ＤＰｅ：部分シーンの終了点，ＤＰｉｓ：重要部分シーンの開始点，ＤＰｉｅ：重要部分シーンの終了点，ｈｌ：大音圧区間の区間長，ｔｐ：部分シーンの区間長，Ｔ：全コンテンツの区間長，ＴＨｂ：大音閾値，ＴＨｓ：小音閾値

以下、添付の図面を参照して、本発明の一実施形態に係るダイジェスト作成装置およびそのプログラムについて説明する。本発明は、映像情報（映像信号）および／または音声情報（音声信号）を含むコンテンツの全コンテンツ区間から、１以上のハイライトシーンを抽出し、当該ハイライトシーンを除く残区間の中からダイジェストを作成するための要素となる部分シーンを抽出することを特徴とするものである。そこで、本発明のダイジェスト作成装置を、映像情報および音声情報を含むコンテンツの記録および再生を行う記録再生装置に適用した場合を例に挙げて説明する。

図１は、本発明の一実施形態に係る記録再生装置１０のブロック構成図である。同図に示すように、記録再生装置１０は、外部からコンテンツを取得するコンテンツ取得部２０と、各種制御を行う制御部３０と、音声情報に基づく解析を行う音声解析部４０と、各種情報を記憶する記憶部５０と、コンテンツやダイジェストの再生を行う再生部６０と、から成る。なお、「ダイジェスト」とは、コンテンツの内容を要約した要約情報を指す。

コンテンツ取得部２０は、受信アンテナ８１から、地上波、ＢＳ、ＣＳ等のテレビジョン放送を受信する場合、いわゆるチューナが主要構成要素となる。また、外部機器８２（外部出力端子を有するテレビ、ビデオ再生機、ＤＶＤ再生機、パーソナルコンピュータ、各種チューナ等）からコンテンツを取得する場合は、外部入力端子が主要構成要素となる。なお、特に図示しないが、コンテンツ取得部２０は、インターネットなど通信網を介して配信される映像／音楽データをコンテンツとして取得することも可能であり、その場合にはインターネット接続部分が主要構成要素となる。また、コンテンツ取得部２０として各種半導体メモリや各種光ディスクの読み取り装置を搭載している場合は、それらに記録されているコンテンツを取得することも可能である。

制御部３０は、記録再生装置１０の各部を統括して各種制御を行うものであり、具体的には、取得したコンテンツを記録するコンテンツ記録部３１と、取得したコンテンツからダイジェストを作成するための要素となる部分シーンを抽出する部分シーン抽出部３２と、抽出した部分シーンに基づいてダイジェストを再生するための情報（以下、「ダイジェスト再生情報」と称する）を作成するダイジェスト作成部３３と、コンテンツの中からハイライトシーンを検索するための基準レベルとなる閾値を設定する閾値設定部３４と、を備えている。

なお、上記の「ハイライトシーン」とは、スポーツ番組の試合結果やドラマの結末など、視聴者が最も興味をそそられるシーンや盛り上がるシーンなど、そのコンテンツの特徴的なシーンを指す。本実施形態では、このハイライトシーンを音声情報に基づいて検索する。すなわち、音声によって盛り上がりを判断する。

音声解析部４０は、コンテンツの中からハイライトシーン（＝ハイライト区間＝大音圧区間）を検索する大音圧区間検索部４１を備えている。音声解析部４０は、コンテンツに含まれる音声情報（音声波形情報）を解析して、単位時間あたりの平均音圧レベル（以下、単に「音圧レベル」と称する）を算出し、図２等に示すような音圧レベル波形を生成する。そして、大音圧区間検索部４１は、この生成された音圧レベル波形に基づいて、上記の閾値設定部３４により設定された（後述の閾値記憶部５４に記憶されている）所定の閾値（以下、「大音閾値」と称する）以上となる区間（以下、「大音圧区間」と称する）を検索する。

記憶部５０は、上記のコンテンツ記録部３１によって記録されたコンテンツの記録データ（以下、「コンテンツ記録データ」と称する）を記憶するコンテンツ記録データ記憶部５１と、大音圧区間検索部４１の検索結果を記憶する大音圧区間記憶部５２と、ダイジェスト作成部３３によって作成されたダイジェスト再生情報を記憶するダイジェスト再生情報記憶部５３と、閾値設定部３４によって設定された大音閾値を記憶する閾値記憶部５４と、を備えている。なお、記憶部５０は、ハードディスク、各種半導体メモリ、各種光ディスク等により構成可能であり、その種類は問わない。

再生部６０は、記録したコンテンツを再生するコンテンツ再生部６１と、ダイジェストを再生するダイジェスト再生部６２と、を備えている。コンテンツ再生部６１は、上記のコンテンツ記録データ記憶部５１から読み出したコンテンツ記録データに基づいてコンテンツを再生し、表示装置９１に表示させる。また、ダイジェスト再生部６２は、上記のダイジェスト再生情報記憶部５３から読み出したダイジェスト再生情報と、上記のコンテンツ記録データとに基づいてダイジェストを再生し、同じく表示装置９１に表示させる。

ここで、上記のとおり構成された記録再生装置１０の一連の処理について、図２および図３に示す音圧レベル波形の一例を参照して説明する。例えば、リモコン等のＵＩ（ユーザインターフェース）入力装置９２を用いて、ユーザ（視聴者）からコンテンツの記録が指示された場合、記録再生装置１０は、コンテンツ取得部２０を介してコンテンツを取得し、コンテンツ記録部３１によってこの取得したコンテンツを記録する。また、コンテンツの記録に同期して、大音圧区間検索部４１により大音圧区間を検索する。具体的には、音圧レベルが大音閾値（ＴＨｂ）以上となる大音圧区間を検索し、その開始点（ＤＨｓ）のアドレスとその区間長（ｈｌ）とを示すデータを大音圧区間記憶部５２に記憶する（図２参照）。

コンテンツの記録を終了すると、そのコンテンツ記録データはコンテンツ記録データ記憶部５１に格納しておく。また、大音圧区間記憶部５２に記憶されているデータに基づいて、部分シーン抽出部３２によりダイジェストに含めるための部分シーンを抽出する。図２に示すように、部分シーンとしては、大音圧区間の開始点（ＤＨｓ）から所定時間ｔａ遡った時点を開始点（ＤＰｓ）とすると共に、大音圧区間の開始点（ＤＨｓ）から所定時間ｔｂ（但し、ｔａ＞ｔｂ≧０）遡った時点を終了点（ＤＰｅ）とする区間（図示斜線部）を抽出する。従って、抽出される部分シーンの区間長は、ｔｐ＝ｔａ−ｔｂである。

続いて、ダイジェスト作成部３３により、部分シーン抽出部３２の抽出結果に基づいて、ダイジェスト再生情報を作成する。ダイジェスト作成部３３では、部分シーンを抽出する基準となる大音圧区間の区間長（ｈｌ）に応じて、優先順位を付け、優先順位の高いものからダイジェストに組み込んでいく。例えば、図３に示すように、録画時間に相当する全コンテンツ区間（区間長：Ｔ，開始点：Ｄｓ，終了点：Ｄｅ）の中に、大音圧区間（区間長：ｈｌ１，ｈｌ２，ｈｌ３）が３つ存在する場合、各大音圧区間に基づいて部分シーン（区間長：ｔｐ１，ｔｐ２，ｔｐ３）が抽出されることとなるが、その部分シーンに対応する大音圧区間の区間長の長い順（ｈｌ２→ｈｌ３→ｈｌ１）にダイジェストに組み込んでいく。従って、部分シーンの優先順位は、第２部分シーン→第３部分シーン→第１部分シーンとなり、各部分シーンの開始点（ＤＰｓ２，ＤＰｓ３，ＤＰｓ１）のアドレスと区間長（ｔｐ２，ｔｐ３，ｔｐ１）とを示す区間データを、ダイジェスト再生情報として、ダイジェスト再生情報記憶部５３に記憶する。

一方、ユーザが見たい番組を検索するために、ＵＩ入力装置９２を用いて、ダイジェストの再生を指示した場合、ダイジェスト再生部６２は、コンテンツ記録データ記憶部５１から読み出したコンテンツ記録データの中から、ダイジェスト再生情報に含まれる区間データに該当する区間を読み出して、ダイジェストを再生する。なお、ダイジェスト再生情報とコンテンツ記録データとに基づいてダイジェストを作成するのではなく、ダイジェストを作成するためのデータを別途作成し、そのデータに基づいてダイジェストを再生することも可能である。

また、ユーザにより、ダイジェストの再生中においてコンテンツの再生指示が為された場合は、そのダイジェストを作成する基となったコンテンツを、コンテンツ再生部６１により再生する。なお、必ずしもダイジェストを再生させる必要はなく、表示装置９１にコンテンツリストを表示しておき、その中からユーザが選択したコンテンツを再生することも可能である。

また、ユーザは、ＵＩ入力装置９２を用いて、大音閾値（ＴＨｂ）の値を設定することが可能である（閾値設定部３４）。設定された大音閾値の値は、閾値記憶部５３に記憶され、大音圧区間検索部４１の検索時において参照される。なお、大音閾値以外にも、ユーザはＵＩ入力装置９２を用いて、作成するダイジェストの全体長さや、抽出する部分シーンの開始点や終了点を決定するための値（ｔａ，ｔｂ）を設定可能となっている。但し、これら大音閾値、ダイジェストの全体長さ、ｔａ，ｔｂの値は、ユーザによって特に設定されない場合、デフォルトの設定値を利用する。

次に、図４のフローチャートを参照し、大音圧区間検索部４１による大音圧区間の検索処理について説明する。当該処理は、コンテンツの記録に同期して、単位時間毎（例えば１／６０秒毎）に実行される。同図に示すように、まず単位時間における音圧レベルが、設定されている大音閾値以上であるか否かを判別する（Ｓ０１）。大音閾値以上でない場合（Ｓ０１：Ｎｏ）、１つ前の単位時間は大音閾値以上であったか否かを判別し（Ｓ０２）、大音閾値以上であった場合は（Ｓ０２：Ｙｅｓ）、大音圧区間の終了点を設定する（Ｓ０３）。

一方、Ｓ０１において、今回検索対象となっている単位時間の音圧レベルが大音閾値以上であると判別した場合は（Ｓ０１：Ｙｅｓ）、１つ前の単位時間も大音閾値以上であったか否かを判別し（Ｓ０４）、大音閾値以上でなかった場合は（Ｓ０４：Ｎｏ）、大音圧区間の開始点を設定する（Ｓ０５）。

大音圧区間の開始点または終了点の設定後、若しくはＳ０４において、１つ前の単位時間が大音閾値以上であったと判別した場合や（Ｓ０４：Ｙｅｓ）、Ｓ０２において、１つ前の単位時間が大音閾値以上でなかったと判別した場合は（Ｓ０２：Ｎｏ）、コンテンツの記録を終了したか否かを判別し（Ｓ０６）、終了していない場合は（Ｓ０６：Ｎｏ）、上記の処理を繰り返す。

また、記録を終了した場合は（Ｓ０６：Ｙｅｓ）、Ｓ０５で大音圧区間の開始点を設定していれば大音圧区間の終了点が設定されているか否かを判別し（Ｓ０７）、設定されていない場合は（Ｓ０７：Ｎｏ）、大音圧区間の終了点を設定して（Ｓ０８）、処理を終了する。すなわち、大音圧区間の終了点が設定されないまま記録を終えた場合は終了点を設定して、処理を終了する。

次に、図５のフローチャートを参照し、ダイジェスト作成部３３による本実施形態のダイジェスト作成処理について説明する。上記のとおり、ダイジェスト作成処理はコンテンツの記録開始（ユーザによる記録指示、若しくは予約記録の場合はその指定時間の計時）に伴って、処理を開始する（Ｓ１１）。そして、周期的に記録終了か否かを判別し（Ｓ１２）、記録終了でない場合は（Ｓ１２：Ｎｏ）、コンテンツの音圧レベルが、大音閾値（ＴＨｂ）以上となる大音圧区間を検索する（Ｓ１３）。なお、これらＳ１２およびＳ１３の処理は、図４に示した大音圧区間の検索処理に相当するものである。

この検索を記録終了まで繰り返すと（Ｓ１２：Ｙｅｓ）、続いて大音圧区間の区間長ｈｌに比例した優先度を付け、抽出する部分シーンの開始点（ＤＰｓ）を決定する（Ｓ１４）。すなわち、図３の例の場合、［ＤＰｓ２，ＤＰｓ３，ＤＰｓ１］を決定する。さらに、優先度の高いものから、部分シーンの終了点（ＤＰｅ）を決定し、ダイジェストに組み込む（ダイジェスト再生情報に組み込む，Ｓ１５）。すなわち、図３の例の場合、まず［ＤＰｅ２］を決定し、第２部分シーンをダイジェストに組み込む。

さらに、ダイジェストに組み込む度に、抽出した部分シーンの合計（区間長の合計）が、ダイジェストの全体長さ（ダイジェストの全再生時間）を超えているか否かを判別し（Ｓ１６）、超えていない場合は（Ｓ１６：Ｎｏ）、次に優先度の高い部分シーンの終了点を決定し、その部分シーンをダイジェストに組み込んでいく（Ｓ１５）。

また、抽出した部分シーンの合計が、ダイジェストの全体長さを超えた場合は（Ｓ１６：Ｙｅｓ）、最後にダイジェストに加えた部分シーンを削除する（Ｓ１７）。これは、ダイジェストの全体長さが予め所定時間内に定められているためであり、時間に制限が無い場合は（ユーザの設定により、ダイジェストの再生時間の制限を無くすことも可能である）、Ｓ１６およびＳ１７に代えて、抽出した全ての部分シーンをダイジェストに組み込む。また、ダイジェストの全体長さが予め所定時間内に定められている場合でも、全ての部分シーンの組み込みを終了した場合は、ダイジェストの全体長さとして定められている所定時間に達しなくとも、次の工程（Ｓ１８）に移行する。

そして、最後に抽出した部分シーンを時系列に従って並び替えを行い（Ｓ１８）、処理を終了する。すなわち、図３の例の場合、第２部分シーン→第３部分シーン→第１部分シーンの順にダイジェストに組み込まれたこととなるが、これを第１部分シーン→第２部分シーン→第３部分シーンの順に並び替える。

以上のとおり、本実施形態によれば、大音圧区間の開始点（ＤＨｓ）から所定時間ｔａ遡った時点を開始点（ＤＰｓ）とすると共に、大音圧区間の開始点（ＤＨｓ）から所定時間ｔｂ（但し、ｔａ＞ｔｂ≧０）遡った時点を終了点（ＤＰｅ）とする区間（区間長：ｔｐ）を、ダイジェストに組み込むための部分シーンとして抽出するため、ハイライトシーン前のシーン、すなわちユーザが最も興味をそそられるシーンや盛り上がるシーンをダイジェストに組み込むことができる。また、ハイライトシーンそのもの（例えば、スポーツの試合結果やドラマの結末な）をダイジェストに含めないため、作成されたダイジェストの視聴によって、ユーザの視聴意欲が損なわれることがない。

また、ダイジェスト作成処理においては、コンテンツの記録に伴って大音圧区間を検索するため、記録終了時には、大音圧区間の検索を終えた状態となる。従って、コンテンツの記録後に、再度コンテンツを読み出して大音圧区間を検索する必要が無く、その分ダイジェストの作成に要する時間を短縮することができる。

また、ダイジェストの再生は、コンテンツ記録データの中からダイジェスト再生情報（１以上の区間データ（部分シーンの開始点を示すアドレスとその区間長とを示すデータ）から成る）に該当する部分シーンを読み出すことによって行うため、コンテンツ記録データの一部を抽出したダイジェスト用のデータを作成して、コンテンツ記録データとは別に保存しておくといった必要が無い。このため、ダイジェスト保存用のメモリ（ダイジェスト再生情報記憶部５３）としては、ダイジェスト再生情報を保存するだけの容量で済む。

また、ダイジェストに組み込む部分シーンは、これを抽出した基準となる大音圧区間の区間長に応じた優先順位に従って決定するため、ハイライトシーンの長いもの、すなわち盛り上がりのより大きいシーンを優先的にダイジェストに組み込むことができ、ひいてはユーザの視聴意欲をより高めることができる。

また、抽出した複数の部分シーンは、時系列に従って並び替えるため、ダイジェストを再生する際に、連続して再生される部分シーンが時間的に前後するといった違和感を無くし、より番組予告編に近いダイジェストを作成することができる。

なお、上記の例では、音圧区間の開始点（ＤＨｓ）から所定時間ｔａ遡った時点を部分シーンの開始点（ＤＰｓ）としたが（図２参照）、抽出する部分シーンの開始点（ＤＰｓ）を、抽出する基準となる大音圧区間の区間長ｈｌに比例して、決定しても良い。これは、ハイライトシーンが長い場合は、一般にその前段となるシーンも長いと考えられるためである。この場合、部分シーンの開始点（ＤＰｓ）を決定するための所定時間ｔａ’は、図６に示すように、大音圧区間の開始点（ＤＨｓ）から、大音圧区間の区間長ｈｌ（ｈｌ＞０）と、定数α（０＜α≦１）とを乗算した値により決定することができる。

一方、上記の例では、大音圧区間の開始点（ＤＨｓ）から所定時間ｔｂ遡った時点を部分シーンの終了点（ＤＰｅ）とするものとしたが、図６に示すように、部分シーンの終了点は、部分シーンの開始点（ＤＰｓ）から、当該部分シーンの区間長に相当する所定時間ｔｐ’（ｔｐ’≦ｈｌ＊α）だけ経過した時点として、決定するようにしても良い。この構成によれば（図２の例の場合も同様であるが）、大音圧区間の長さに関わらず、一定の長さ（区間長：ｔｐ’）の部分シーンを抽出することになるため、ダイジェストに複数の部分シーンが含まれる場合、シーン長が一定のバランスの良いダイジェストを作成することができる。

一方、部分シーンの区間長を一定とするのではなく、大音圧区間の区間長ｈｌに応じて部分シーンの区間長を可変しても良い。この場合、例えば部分シーンの開始点（ＤＰｓ）を、大音圧区間の区間長ｈｌに応じて決定し（大音圧区間の開始点（ＤＨｓ）から（ｈｌ＊α）だけ遡った時点）、部分シーンの終了点（ＤＰｅ）を、大音圧区間の開始点（ＤＨｓ）から一定時間ｔｂだけ遡った時点として決定しても良い（図示省略）。また、この場合、所定時間ｔｂの値を０とすれば、大音圧区間の区間長ｈｌに比例して部分シーンの区間長を決定することができる。これらの構成によれば、ハイライトシーンの長さに応じて、興味深いと考えられる部分シーンをより長く、ダイジェストの１シーンとして再生させることができる。

また、上記の例では、大音圧区間の開始点（ＤＨｓ）を基準にして、部分シーンを抽出しているため、所定時間ｔａ，ｔｂの値や音圧レベル波形によっては、抽出した部分シーンが重なってしまう場合がある。図７は、その一例を示したものであるが、第１大音圧区間（区間長：ｈｌ１）に基づいて抽出した第１部分シーン（区間長：ｔｐ１，図示左下がり斜線部）の後半と、第２大音圧区間（区間長：ｈｌ２，図示右下がり斜線部）に基づいて抽出した第２部分シーン（区間長：ｔｐ２）の前半が重なっている。このような場合、第１部分シーンの開始点（ＤＰｓ１）から第２部分シーンの終了点（ＤＰｅ２）までを、１つの部分シーンとして抽出することが好ましい（図示（１）参照）。

但し、同図の例の場合、第２部分シーン（開始点：ＤＰｓ２，終了点：ＤＰｅ２）が第１大音圧区間（開始点：ＤＨｓ１，終了点：ＤＨｅ１）と重なっているため、その重複した区間（ＤＨｓ１〜ＤＨｅ１）は、部分シーンから削除することが好ましい（図示（２）参照）。

さらに、この削除によって、抽出される部分シーンは、ＤＰｓ１〜ＤＨｓ１，ＤＨｅ１〜ＤＰｅ２までとなるが、ＤＨｅ１〜ＤＰｅ２のように、抽出した部分シーンの区間長がごく僅かとなる場合（人間が視聴してその内容を把握できない程度、例えば２秒以下など）は、部分シーンとして抽出しないことが好ましい。従って、図７に示す例の場合、最終的に区間ＤＰｓ１〜ＤＨｓ１を部分シーン（区間長：ｔｐ，開始点：ＤＰｓ，終了点：ＤＰｅ）として抽出することが好ましい（図示（３）参照）。

これらの構成によれば、抽出した部分シーンが重なってしまった場合でも、ダイジェスト中に同じシーンが含まれることがない。また、抽出した部分シーンに大音圧区間が含まれるような場合は、その大音圧区間と重なるシーンを削除するため、コンテンツの結果が判ってしまうようなことが無く、ユーザの視聴意欲を損ねることがない。また、ごく僅かなシーンの抽出を無くすことができるため、ユーザに違和感を与えないダイジェストを作成することができる。

また、上記の例では、大音圧区間や部分シーン（ダイジェスト再生情報）など、各区間の開始点のアドレスとその区間長とを示すデータ（区間データ）を記憶するものとしたが、これに代えて各区間の開始点と終了点のアドレスを記憶しても良い。

また、上記の例では、図３に示すように、大音圧区間の区間長の長いものから、部分シーンの優先度を決定するものとしたが、逆に大音圧区間の区間長の短いものを優先しても良い。この構成によれば、ハイライトシーンの長さの短いものを優先的にダイジェストに組み込むことで、コンテンツの結末がより想定しづらいダイジェストを作成することができる。

一方、図８に示すように、区間長ｈｌの長いものを優先とするだけでなく、大音閾値（ＴＨｂ）を超えた音圧レベルの値も考慮して、優先度を決定するようにしても良い。すなわち、大音圧区間における単位時間あたりの音圧レベルの累計（図示網掛部Ｈ１，Ｈ２，Ｈ３の面積に相当）によって、優先度を決定しても良い。従って、図８に示す例では、優先順位が、第３部分シーン→第２部分シーン→第１部分シーンとなる。この構成によれば、盛り上がりの長さだけでなく、盛り上がりの程度に応じて、抽出する部分シーンを決定することができる。

また、上記の例では、音圧レベルに基づいて、大音圧区間を検索するものとしたが、コンテンツにメタデータのような付帯情報が付帯されている場合、そのメタデータも考慮して、ハイライトシーンを検索するようにしても良い。すなわち、「メタデータ」には、一般に、コンテンツ全体の内容に関する記述、制作者、著作権などに関する情報などの他、コンテンツに含まれる各シーンの詳細な情報（例えば、コンテンツが、サッカーの試合映像の場合、シュート・コーナーキックなどの試合の動きを示す情報）を含むため、この各シーンの詳細情報を利用して、ハイライトシーンを検索し、そのハイライトシーンに基づいて部分シーンを抽出するようにしても良い。この構成によれば、より的確にハイライトシーンを検索することができる。

また、メタデータ以外にも、映像情報も考慮して、ハイライトシーンを検索するようにしても良い。この場合、例えば映像に顔領域が含まれているシーン、シーンチェンジが早いシーン、テロップなど文字情報が表示されているシーンなどを画像解析によって調査し、それらのシーンを優先的に部分シーンに含めることが好ましい。

また、上記の例では、大音圧区間の前のシーンをダイジェストの部分シーンとして抽出するものとしたが、大音圧区間の後のシーンを部分シーンとして抽出しても良い。すなわち、全コンテンツ区間から大音圧区間を除いた残区間内の任意のシーンを、部分シーンとして抽出しても良い。

次に、図９および図１０を参照し、本発明の第２実施形態について説明する。上記の実施形態では、全コンテンツ区間を対象としてダイジェストを作成するための要素となる部分シーンを抽出したが、本実施形態では、部分シーンを抽出する対象区間を制限することを特徴とする。そこで、第１実施形態と異なる点を中心に説明する。

図９は、本実施形態を説明するための一例となる音圧レベル波形を示したものである。本実施形態では、全コンテンツ区間（区間長：Ｔ）の開始点Ｄｓから、全コンテンツ区間Ｔと定数β（０＜β＜１）とを乗算して得られる時間だけ経過した時点までの区間（区間長：Ｐ１＝Ｔ＊β）を対象区間として決定する。なお、βの値は、０．５〜０．７程度であることが好ましい。

従って、同図の例の場合、全コンテンツ区間に含まれる３つの大音圧区間（第１大音圧区間〜第３大音圧区間）に基づいて抽出される３つの部分シーン（第１部分シーン〜第３部分シーン）のうち、対象区間内に存在する２つの部分シーン（第１部分シーンおよび第２部分シーン，図示斜線部）のみを、抽出することとなる。なお、対象区間の決定から部分シーンの抽出までの処理は、図１に示したブロック構成図中の部分シーン抽出部３２において実行されるものである。

ここで、図１０のフローチャートを参照し、ダイジェスト作成部３３による本実施形態のダイジェスト作成処理について説明する。なお、各工程に括弧書きで示した参照番号は、図５のフローチャートに示した参照番号と同様の処理であることを意味するものである。従って、それらの詳細な説明は適宜省略する。

本実施形態においても、コンテンツの記録開始に伴って、ダイジェスト作成処理を開始し（Ｓ２１）、記録終了まで、コンテンツの音圧レベルが、大音閾値（ＴＨｂ）以上となる大音圧区間を検索する（Ｓ２２，２３）。

記録終了となると（Ｓ２２：Ｙｅｓ）、対象区間の区間長Ｐ１を、Ｐ１＝全コンテンツ区間Ｔ＊定数βの計算式から求め、コンテンツの開始点Ｄｓから区間長Ｐ１の時点までを対象区間として決定する（Ｓ２４）。そして、対象区間に存在する部分シーン（図９の例の場合、第１部分シーン，第２部分シーン）に対し、それを抽出する基準となった大音圧区間（第１大音圧区間，第２大音圧区間）の区間長（ｈｌ１，ｈｌ２）に比例した優先度をつけ、抽出する部分シーンの開始点を決定する（Ｓ２５）。すなわち、図９の例の場合、ｈｌ２＞ｈｌ１であるため、［ＤＰｓ２，ＤＰｓ１］を決定する。さらに、優先度の高いものから、部分シーンの終了点（ＤＰｅ）を決定し、ダイジェストに組み込む（Ｓ２６）。すなわち、図９の例の場合、まず［ＤＰｅ２］を決定し、第２部分シーンをダイジェストに組み込む。

さらに、ダイジェストに組み込む度に、抽出した部分シーンの合計（区間長の合計）が、ダイジェストの全体長さを超えるまで、Ｓ２６，Ｓ２７を繰り返し、抽出した部分シーンの合計が、ダイジェストの全体長さを超えた場合は（Ｓ２７：Ｙｅｓ）、最後にダイジェストに加えた部分シーンを削除する（Ｓ２８）。さらに、抽出した部分シーンを時系列に従って並び替えを行い（Ｓ２９）、処理を終了する。

以上のとおり、本実施形態によれば、全コンテンツ区間の中から、部分シーンの抽出対象区間を絞ることができるため、例えばスポーツ番組の試合結果をダイジェストに含めたくないような場合、対象区間を全コンテンツ区間の前半（全コンテンツ区間の区間長Ｔと定数β（０＜β＜１）とを乗算して得られる時間＝区間長Ｐ１）に絞ることで、より確実にダイジェスト内に試合結果が含まれることを避けることができる。

なお、上記の例では、対象区間は、コンテンツの開始点から区間長Ｐ１経過した時点までであるものとしたが、コンテンツの中盤、さらには後半など、任意の区間を対象区間とすることも可能である。また、対象区間は１区間に限らず、複数の区間を対象区間とすることも可能である。

また、上記の例では、部分シーンが対象区間に含まれるものを、抽出対象とするものとしたが、仮に部分シーンの一部だけが対象区間に含まれる場合は（言い換えれば部分シーンの一部が対象区間に含まれない場合でも）、その部分シーンの開始点から終了点までを、抽出するようにしても良い。また、逆に部分シーンの全体が対象区間に含まれない場合は、その部分シーンの抽出を行わないようにしても良い。さらに、部分シーンの一部が対象区間に含まれる割合によって抽出するか否かを決定しても良い。

さらに、部分シーンではなく、大音圧区間が対象区間に含まれる否かによって抽出するか否かを決定しても良い。例えば、大音圧区間の全体が対象区間に含まれるものを抽出対象とする場合、図９に示した例では、第２大音圧区間（開始点ＤＨｓ２，終了点ＤＨｅ２）の全体が対象区間に含まれないため、対象区間内に存在する第１大音圧区間（開始点ＤＨｓ１，終了点ＤＨｅ１）に基づく第１部分シーン（区間長：ｔｐ１，開始点ＤＰｓ１，終了点ＤＰｅ１）のみを抽出することとなる。

その他、第１実施形態において記載した種々の変形例を、本実施形態にも適用可能である。

次に、図１１および図１２を参照し、本発明の第３実施形態について説明する。本実施形態は、全コンテンツ区間を複数の小区間に分割し、各小区間から少なくとも１つの部分シーンを抽出するようにすることを特徴とする。そこで、上記実施形態と異なる点を中心に説明する。

図１１は、本実施形態を説明するための一例となる音圧レベル波形を示したものである。本実施形態では、全コンテンツ区間（区間長：Ｔ，開始点：Ｄｓ，終了点：Ｄｅ）を、３つの小区間に分割している。この区間数は、任意に設定しても良いが、多すぎると意味が無い。例えばダイジェストの全体長さが１８秒で、且つ部分シーンの長さを６秒に設定した場合、１０個の区間数に設定してしまうと、結局偏った位置から部分シーンを抽出してしまうことになるためである。従って、本実施形態では、ダイジェストの全体長さと、部分シーンの長さとに基づいて、適当な区間数を決定するものとする。

図１１の例は、例えばダイジェストの全体長さが１８秒で、且つ部分シーンの長さを６秒に設定した場合において、１８÷６≧γ（但し、γ：１以上の整数）に該当するγの最大値から求めた区間数３に基づいて分割された場合を示している。なお、同図の例は、大音圧区間の直前のシーンを部分シーンとして抽出する場合（部分シーンの区間長：ｔｐ＝ｔａ―ｔｂで求められるとき、ｔｂの値を０とした場合，図２参照）を示している。

全コンテンツ区間を３つの小区間に分割した後の部分シーンの抽出は、上記の実施形態と同様に、大音圧区間の区間長の長いものを優先する。すなわち、小区間１の場合、２つの大音圧区間（区間長：ｈｌ１，区間長：ｈｌ２）が含まれているが、区間長の長い大音圧区間（区間長：ｈｌ２）に基づく第２部分シーン（区間長：ｔｐ２）を優先して抽出する。また、小区間２の場合は、３つの大音圧区間（区間長：ｈｌ３，区間長：ｈｌ４，区間長：ｈｌ５）が含まれているが、区間長の長い大音圧区間（区間長：ｈｌ５）に基づく第５部分シーン（区間長：ｔｐ５）を優先して抽出する。また、小区間３の場合は、大音圧区間（区間長：ｈｌ６）が１つしか存在しないため、その区間長に拘わらず、当該大音圧区間（区間長：ｈｌ６）に基づく部分シーン（区間長：ｔｐ６）を抽出する。

このように、本実施形態では、小区間を設定しない場合、優先度が低いと考えられる部分シーン（区間長：ｔｐ６）であっても、小区間３の中では、その他の部分シーンは存在しないため、最大優先度となる。つまり、小区間１の最大優先度の大音圧区間（区間長：ｈｌ２）に基づく第２部分シーン（区間長：ｔｐ２）、小区間２の最大優先度の大音圧区間（区間長：ｈｌ５）に基づく第５部分シーン（区間長：ｔｐ５）、小区間３の最大優先度の大音圧区間（区間長：ｈｌ６）に基づく第６部分シーン（区間長：ｔｐ６）の順に、各部分シーンがダイジェストに組み込まれていくこととなる。なお、この小区間の分割（各小区間の決定）から部分シーンの抽出までの処理は、図１に示したブロック構成図中の部分シーン抽出部３２において実行されるものである。

ここで、図１２のフローチャートを参照し、ダイジェスト作成部３３による本実施形態のダイジェスト作成処理について説明する。なお、各工程に括弧書きで示した参照番号は、図５のフローチャートに示した参照番号と同様の処理であることを意味するものであり、それらの詳細な説明は適宜省略する。

本実施形態においても、コンテンツの記録開始に伴って、ダイジェスト作成処理を開始し（Ｓ３１）、記録終了まで、コンテンツの音圧レベルが、大音閾値（ＴＨｂ）以上となる大音圧区間を検索する（Ｓ３２，３３）。

コンテンツの記録を終了すると（Ｓ３２：Ｙｅｓ）、全コンテンツ区間を一定数（図１１の例では「３」）で除算した時間を小区間として記憶部５０（図１参照）に記憶する（Ｓ３５）。そして、各小区間に存在する部分シーンに対し、それらを抽出する基準となった大音圧区間の区間長に比例した優先度をつけ、抽出する部分シーンの開始点を決定する（Ｓ３６）。すなわち、図１１の例の場合、小区間１，小区間２，小区間３から３つの部分シーンの開始点［ＤＰｓ２，ＤＰｓ５，ＤＰｓ６］を決定する。さらに、各小区間に存在する部分シーンの終了点（ＤＰｅ）を決定し、ダイジェストに組み込む（Ｓ３７）。すなわち、図１１の例の場合、３つの部分シーンの終了点［ＤＰｅ２，ＤＰｅ５，ＤＰｅ６］を決定し、各部分シーンをダイジェストに組み込む。

以上のとおり、本実施形態によれば、全コンテンツ区間を複数の小区間に分割し、各小区間から少なくとも１つの部分シーンを抽出するため、全コンテンツ区間からバランス良く、部分シーンを抽出することができる。すなわち、コンテンツの中の一部に長いハイライトシーンがあるような場合であっても、そのハイライトシーンに基づいて抽出された部分シーンだけを含むようなダイジェストが作成されることがない。

なお、上記の例では、全コンテンツ区間を複数の小区間に分割するものとしたが、第２実施形態で示した対象区間（例えば、コンテンツの開始点から区間長Ｐ１（Ｐ１＝Ｔ＊β）経過した時点まで）を、複数の小区間に分割するようにしても良い。この構成によれば、コンテンツの結果がダイジェストに含まれることがなく、しかもコンテンツの結果を含まない対象区間からバランス良く、部分シーンを抽出することができる。

また、全コンテンツ区間を均等に分割して小区間を決定するものとしたが、各小区間の区間長を変えても良い。

また、複数の小区間の中から、時系列に従って最大優先度の部分シーンを抽出する（図１１の例の場合、小区間１→小区間２→小区間３の順に部分シーンを抽出する）ものとしたが、各小区間の中で最大優先度の大音圧区間の区間長を比較し、その区間長の長いものを優先的にダイジェストに組み込んでも良い。すなわち、図１１の例の場合、ｈｌ２＞ｈｌ５＞ｈｌ６であるから、第２部分シーン→第５部分シーン→第６部分シーンの順に組み込むこととなる。また、このとき抽出した部分シーンが時系列順に組み込まれていない場合は、時系列に従って並び替えても良い。

また、上記の例では、ダイジェストの全体長さを、部分シーンの長さで除算した値以下となる整数を、区間数としたが、この計算式に限らず、種々の条件を加味した計算式を用いても良い。

また、上記の例では、部分シーンおよび大音圧区間が対象区間に含まれるものを、各小区間において抽出対象としたが、部分シーンまたは大音圧区間のどちらかが含まれるものを対象としても良いし、区間を跨ぐように部分シーンまたは大音圧区間が存在する場合は、それらを対象外としても良い。

その他、上記の実施形態において記載した種々の変形例を、本実施形態にも適用可能である。

次に、図１３ないし図１５を参照し、本発明の第４実施形態について説明する。本実施形態は、全コンテンツ区間から、コマーシャルシーンを含む本編外シーンを抽出し、その抽出した本編外シーンの直後の所定区間を、部分シーンとして優先的に抽出することを特徴とする。そこで、上記実施形態と異なる点を中心に説明する。

図１３は、本実施形態に係るブロック構成図であり、図１４は、本実施形態を説明するための一例となる音圧レベル波形を示したものである。図１３に示すように、本実施形態に係る録音再生装置１０は、第１実施形態のブロック構成図と比較すると、制御部３０に本編外シーン抽出部３５を備え、音声解析部４０に小音圧区間検索部４２を備え、さらに記憶部５０に小音圧区間記憶部５５と、本編外シーン記憶部５６とを備えた点で異なる。

小音圧区間検索部４２は、コンテンツの中から、音声情報に基づいて算出した音圧レベルが、所定の小音閾値（ＴＨｓ）以下となる小音圧区間を検索する（図１４参照）。当該所定の小音閾値（ＴＨｓ）は、閾値設定部３４による設定値に基づくものであり、特に設定が為されていない場合はデフォルト値を用いる。なお、小音圧区間検索部４２における処理は、図４に示した大音圧区間の検索処理において、「大音圧区間」を「小音圧区間」に、また「大音閾値以上」を「小音閾値以下」に読み替えた処理に相当する。すなわち、実質的な処理内容は同様であるため、詳細な説明は省略する。

また、小音圧区間記憶部５５は、小音圧区間検索部４２の検索結果、すなわち各小音圧区間の開始点のアドレスとその区間長とを示すデータを記憶する。

本編外シーン抽出部３５は、大音圧区間検索部４１と、小音区間検索部４２との検索結果に基づいて、全コンテンツ区間から、本編外シーンを抽出する。具体的には、小音圧区間記憶部５５に記憶されているデータに基づいて、小音圧区間が所定間隔（例えば１５秒間隔など）で存在する区間を、コマーシャルシーンと判断し、最初の小音圧区間の開始点（ＤＣｓ）から最後の小音圧区間の終了点（ＤＣｅ）までを本編外シーンとして抽出する（図１４参照）。

本編外シーン記憶部５６は、本編外シーン抽出部３５の抽出結果、すなわち各本編外シーンの開始点のアドレスとその区間長とを示すデータを記憶する。なお、本編外シーンとは、コマーシャルシーンの他、天気予報や番組コーナーなど、コンテンツの本編ではないと考えられる区間を指す。

そして、本実施形態に係る部分シーン抽出部３２は、図１４に示すように、本編外シーン抽出部３５により抽出された本編外シーンの直後の所定区間を、重要部分シーン（区間長：ｔｐｉ，開始点：ＤＰｉｓ，終了点：ＤＰｉｅ）として抽出する。

さらに、本実施形態に係るダイジェスト作成部３３は、上記の本編外シーン直後の重要部分シーンの優先度を最大値に設定して、ダイジェスト再生情報を作成する（ダイジェストに組み込む）。これは、例えばコンテンツがアニメの場合など、コマーシャル直後にアニメの題目やテロップが表示されることが多いため、これをダイジェストに含めることで、ユーザがより的確に内容を把握できるようにするためである。なお、１つのコンテンツ中から、複数の重要部分シーンを抽出した場合は、時系列順に優先度が決定される。すなわち、０時から１時までの番組を記録した場合であって、１５分おきにコマーシャルが放送されるような場合は、０時１５分付近で放送されたコマーシャルの直後のシーンを、最も優先度が高い重要部分シーンとして抽出し、０時３０分付近で放送されたコマーシャル
の直後のシーンを、次に優先度が高い重要部分シーンとして抽出することとなる。

ここで、図１５のフローチャートを参照し、ダイジェスト作成部３３による本実施形態のダイジェスト作成処理について説明する。なお、各工程に括弧書きで示した参照番号は、図５のフローチャートに示した参照番号と同様の処理であることを意味するものであり、それらの詳細な説明は適宜省略する。

本実施形態においても、コンテンツの記録開始に伴って、ダイジェスト作成処理を開始する（Ｓ４１）。そして、記録終了となるまで、コンテンツの音圧レベルが大音閾値（ＴＨｂ）以上となる大音圧区間と、音圧レベルが小音閾値（ＴＨｓ）以上となる小音圧区間とを検索する（Ｓ４２，４３）。

記録終了となると（Ｓ４２：Ｙｅｓ）、小音圧区間の検索結果に基づいて、本編外シーンを抽出する（Ｓ４４）。また、大音圧区間の検索結果に基づいて、部分シーンを抽出すると共に当該部分シーンに優先度を付け、さらに本編外シーンの検出結果からも重要部分シーンを抽出して、その優先度を最大に設定し、各部分シーンの開始点（ＤＰｓ，ＤＰｉｓ）を優先度に従って決定する（Ｓ４５）。続いて、優先度の高いものから、部分シーンの終了点（ＤＰｅ，ＤＰｉｅ）を決定し、ダイジェストに組み込む（Ｓ４６）。すなわち、図１４の例のように重要部分シーンが存在する場合、まず重要部分シーンの開始点［ＤＰｉｓ］と重要部分シーンの終了点［ＤＰｉｅ］を決定し、重要部分シーンをダイジェストに組み込む。

さらに、ダイジェストに組み込む度に、抽出した部分シーンの合計（区間長の合計）が、ダイジェストの全体長さを超えるまで、Ｓ４６，Ｓ４７を繰り返し、抽出した部分シーン（重要部分シーンも含む）の合計が、ダイジェストの全体長さを超えた場合は（Ｓ４７：Ｙｅｓ）、最後にダイジェストに加えた部分シーンを削除する（Ｓ４８）。さらに、抽出した部分シーンを時系列に従って並び替えを行い（Ｓ４９）、処理を終了する。

以上のとおり、本実施形態によれば、小音圧区間の検索結果に基づいて、コマーシャルシーンを含む本編外シーンを抽出し、その直後のシーンを重要部分シーンとして優先的にダイジェストに含めることができる。これにより、ユーザは、ダイジェストの視聴によってコンテンツのあらすじを表すようなナレーションや重要なシーンを確認することができるため、より内容を把握することができる。

なお、第１実施形態〜第３実施形態で示したように、大音圧区間を基準にして抽出した各部分シーンの一部または全体が、上記の本編外シーンと重なる場合、その重複したシーンは、各部分シーンから削除することが好ましい。この構成によれば、コマーシャルシーンなど本編外シーンがダイジェストに含まれることがなく、より適切なダイジェストを作成することができる。

また、上記の例では、小音圧区間が所定間隔で存在する区間を、本編外シーンとして抽出するものとしたが、過去に提案されている各種コマーシャル検出方法を併用して、本編外シーンを抽出するようにしても良い。すなわち、映像情報に基づくシーンチェンジや、放送モード（２カ国語放送であるか否か、ステレオ放送であるか否かなど）に基づいて検出したコマーシャルシーンを、本編外シーンとして抽出しても良い。

その他、上記の実施形態において記載した種々の変形例を、本実施形態にも適用可能である。

以上、第１実施形態〜第４実施形態において説明したとおり、本発明によれば、ダイジェストに含めるための部分シーンとして、ハイライトシーン（大音圧区間）の前のシーンを抽出することにより、ユーザのコンテンツに対する視聴意欲を損ねないようなダイジェストを作成することができる。さらに、コンテンツの後半部分などを除いた対象区間から部分シーンを抽出することにより、ダイジェストからコンテンツの結果が判ってしまうような事態を避けることができる。さらに、全コンテンツ区間を小区間に分割して、各小区間から部分シーンを抽出することにより、コンテンツ全体からバランス良く抽出された部分シーンを含むダイジェストを作成することができる。さらに、コマーシャルシーン（本編外シーン）直後のシーンを重要部分シーンとして抽出することで、コンテンツの結末は判らないが、内容を把握する上では重要と考えられるシーンを含むダイジェストを作成することができる。

なお、上記の各実施形態では、映像情報および音声情報の両方を含むコンテンツのダイジェストを作成する場合を例示したが、音声情報しか含まないコンテンツ（例えば音楽やラジオ番組など）にも本発明は適用可能である。また、逆に音声情報を含まず、映像情報しか含まないコンテンツ（例えば無声映画など）にも本発明は適用可能である。但し、映像情報しか含まないコンテンツの場合は、第１実施形態の後半部分にて説明した映像情報の画像解析結果、および／またはメタデータに基づいて、ハイライトシーンを検出し、その検出結果に基づいて部分シーンを抽出することとなる。

また、上記の各実施形態に示した録音再生装置１０における各部、並びに各機能をプログラムとして提供することも可能である。また、そのプログラムを記録媒体（図示省略）に格納して提供することも可能である。記録媒体としては、ＣＤ―ＲＯＭ、フラッシュＲＯＭ、メモリカード（コンパクトフラッシュ（登録商標）、スマートメディア、メモリースティック等）、コンパクトディスク、光磁気ディスク、デジタルバーサタイルディスク、フレキシブルディスクおよびハードディスク等を利用することができる。

また、上述した実施例によらず、装置構成や処理工程等について、本発明の要旨を逸脱しない範囲で、適宜変更も可能である。また、録音再生装置１０以外にも、ビデオレコーダ、ＤＶＤレコーダ、パーソナルコンピュータ等に本発明のダイジェスト作成機能を搭載可能である。

Claims (16)

1. 映像情報と音声情報の少なくともいずれか一方を含むコンテンツを取得するコンテンツ取得手段と、
   取得した前記コンテンツの時間軸上における全コンテンツ区間から、前記映像情報と前記音声情報の少なくともいずれか一方に基づいて、ハイライトシーンを含むハイライト区間を検索するハイライト区間検索手段と、
   前記全コンテンツ区間から前記ハイライト区間を除いた残区間の中から、前記コンテンツのダイジェストを作成するための要素となる部分シーンを抽出する部分シーン抽出手段と、
   抽出した前記部分シーンを用いて、前記ダイジェストを作成するダイジェスト作成手段と、を備えていることを特徴とするダイジェスト作成装置。
2. 取得した前記コンテンツを記録する記録手段をさらに備え、
   前記ハイライト区間検索手段は、前記記録手段による記録と同期して、前記ハイライト区間の検索を行うことを特徴とする請求項１に記載のダイジェスト作成装置。
3. 前記ダイジェストを再生するダイジェスト再生手段をさらに備え、
   前記ダイジェスト作成手段は、抽出した前記部分シーンの開始点を示すアドレスと当該部分シーンの区間長とを示す区間データから成るダイジェスト再生情報を作成し、
   前記ダイジェスト再生手段は、前記ダイジェスト再生情報と、前記記録手段による前記コンテンツの記録データとに基づいて、前記ダイジェストを再生することを特徴とする請求項２に記載のダイジェスト作成装置。
4. 前記コンテンツには、シーン毎に記録されたメタデータが付帯されており、
   前記ハイライト区間検索手段は、前記映像情報と前記音声情報の少なくともいずれか一方と共に前記メタデータに基づいて、前記ハイライト区間を検索することを特徴とする請求項１に記載のダイジェスト作成装置。
5. 前記コンテンツは、前記音声情報を含むものであり、
   前記ハイライト区間検索手段は、前記ハイライト区間として、前記音声情報に基づいて算出した音圧レベルが、所定の大音閾値以上となる大音圧区間を検索し、
   前記部分シーン抽出手段は、前記ハイライト区間の開始点から所定時間ｔａだけ（ｔａ＞０）遡った時点を開始点とする前記部分シーンを抽出することを特徴とする請求項１に記載のダイジェスト作成装置。
6. 前記所定時間ｔａは、前記ハイライト区間の区間長ｈｌ（ｈｌ＞０）と、定数α（０＜α≦１）とを乗算して得られる時間であることを特徴とする請求項５に記載のダイジェスト作成装置。
7. 前記部分シーンの終了点は、前記ハイライト区間の開始点から所定時間ｔｂ（０≦ｔｂ＜ｔａ）だけ遡った時点であることを特徴とする請求項５に記載のダイジェスト作成装置。
8. 前記部分シーンの終了点は、前記部分シーンの開始点から、当該部分シーンの区間長に相当する所定時間ｔｐ（ｔｐ≦ｈｌ＊α）だけ経過した時点であることを特徴とする請求項５に記載のダイジェスト作成装置。
9. 前記ハイライト区間検索手段により、複数の前記ハイライト区間が検索された場合、
   前記ダイジェスト作成手段は、各部分シーンを抽出する基準となる各ハイライト区間の区間長に応じて、抽出された部分シーンに優先度を設定し、当該優先度の高い部分シーンから、前記ダイジェストの要素として組み込んでいくことを特徴とする請求項５に記載のダイジェスト作成装置。
10. 前記大音閾値を設定する閾値設定手段をさらに備えていることを特徴とする請求項５に記載のダイジェスト作成装置。
11. 前記部分シーン抽出手段により抽出された複数の部分シーンのうち、少なくとも２つの部分シーンの一部または全体が重なる場合、
    前記ダイジェスト作成手段は、重なった２つ以上の部分シーンを、連続する１つの部分シーンとして、前記ダイジェストに組み込むことを特徴とする請求項９に記載のダイジェスト作成装置。
12. 前記ダイジェスト作成手段は、複数の部分シーンを用いて前記ダイジェストを作成する場合、当該複数の部分シーンを、時系列に従って並び替えることを特徴とする請求項１に記載のダイジェスト作成装置。
13. 前記部分シーン抽出手段は、前記全コンテンツ区間内の任意の区間である対象区間の中から、前記部分シーンを抽出することを特徴とする請求項１に記載のダイジェスト作成装置。
14. 前記対象区間は、前記コンテンツの開始点から、前記全コンテンツ区間と定数β（０＜β＜１）とを乗算して得られる時間だけ経過した時点までの区間であることを特徴とする請求項１３に記載のダイジェスト作成装置。
15. 前記部分シーン抽出手段は、前記全コンテンツ区間または前記対象区間を複数の小区間に分割し、
    各小区間から少なくとも１つの前記部分シーンを抽出することを特徴とする請求項１３に記載のダイジェスト作成装置。
16. コンピュータを、請求項１ないし１５のいずれか１項に記載のダイジェスト作成装置における各手段として機能させるためのプログラム。
    

Images