JP5600557B2 - コンテンツ紹介映像作成装置およびそのプログラム - Google Patents

Description

本願発明は、コンテンツを紹介する映像であるコンテンツ紹介映像を作成するコンテンツ紹介映像作成装置およびそのプログラムに関する。

近年、ＴＶの多チャンネル化やインターネットのブロードバンド化に伴い、様々な映像に触れる機会が増えている。このため、多種多様な映像から興味がある映像を選ぶ必要が生じる。しかし、映像は、静止画とは異なり、一見してその内容を伺い知ることは難しい。

そこで、映像を要約したダイジェスト映像に対して、需要が高まっている。ダイジェスト映像は、その明確な定義がないものの、元の映像からその内容を短時間で表わした映像区間や興味が高いと思われる映像区間を抜き出し、１分程度に編集した映像を指すことが多い。このダイジェスト映像には、視聴者の興味がある映像が含まれることが好ましい。このため、従来から、ダイジェスト映像を作成する手法が提案されている（例えば、特許文献１〜３）。

特許文献１に記載の発明は、映像から笑い顔を検出し、ダイジェスト映像を作成するものである。ここで、特許文献１に記載の発明は、音声の切れ目を考慮するため、１シーケンスが数〜数十秒程度で、コンテンツの内容をある程度把握できるダイジェスト映像を作成している。

また、特許文献２に記載の発明は、画像や音声の変化をイベントとして検出し、ダイジェスト映像を作成するものである。ここで、特許文献２に記載の発明は、特許文献１に記載の発明と同様、コンテンツの内容をある程度把握できるダイジェスト映像を作成する。

さらに、特許文献３に記載の発明は、登場人物をクラスタリングしながらダイジェスト映像を作成するものである。このため、特許文献３に記載の発明は、ダイジェスト映像を作成する際、人物識別処理（顔識別処理）を行っている。

特開２０１０−２８７０５号公報 特開２０１０−３９８７７号公報 特開２００８−７７５３６号公報

しかし、特許文献１〜３に記載の発明では、ダイジェスト映像からコンテンツの内容をある程度把握できるようにするため、笑い顔の判定、音声変化の検出、人物識別処理などの負荷が高い処理を行う必要がある。このため、特許文献１〜３に記載の発明では、処理時間が長くなり、ダイジェスト映像を素早く作成することが困難である。

そこで、本願発明は、前記した問題を解決し、コンテンツ紹介映像を素早く作成できるコンテンツ紹介映像作成装置およびそのプログラムを提供することを目的とする。

前記した課題に鑑みて、本願第１発明に係るコンテンツ紹介映像作成装置は、コンテンツを紹介する映像であるコンテンツ紹介映像を作成するものであって、候補画像抽出手段と、スコア算出手段と、選出画像選出手段と、紹介映像作成手段と、カット点検出手段とを備えることを特徴とする。

かかる構成によれば、コンテンツ紹介映像作成装置は、候補画像抽出手段によって、前記コンテンツのジャンルを付加したコンテンツ映像が入力され、入力された当該コンテンツ映像内に予め設定された候補画像抽出区間から所定数の候補画像を抽出する。例えば、候補画像抽出手段は、候補画像抽出区間を等分割した位置にある画像を候補画像として抽出する。ここで、候補画像は、処理負荷を低くするため、少数（例えば、１００枚）とすることが好ましい。

また、コンテンツ紹介映像作成装置は、スコア算出手段によって、コンテンツ映像に付加されたジャンルが予め設定された顔領域検出対象の設定ジャンルに属するか否かを判定し、設定ジャンルに属すると判定した場合、候補画像抽出手段によって抽出された候補画像の顔領域大きさ情報をスコアとして算出し、設定ジャンルに属さないと判定した場合、コンテンツ映像内における候補画像の位置を基準に予め設定された動きベクトル検出区間から検出した動きベクトルの大きさの合計値をスコアとして算出する。

つまり、スコア算出手段は、コンテンツ映像の全体ではなく、少数の候補画像からスコアを算出することで、処理負荷を低くしている。ここで、視聴者が登場人物に強い興味を有することが多いため、スコア算出手段は、候補画像から人物の顔領域を検出して、顔領域大きさ情報をスコアとして算出する。一方、コンテンツのジャンルによっては人物が殆ど登場しないため、人物の顔領域からスコアを算出することが適切でない場合もある。この場合、スコア算出手段は、顔領域大きさ情報でなく、動きベクトル検出区間内に位置する画像から動きベクトルをそれぞれ検出し、その動きベクトルの大きさの合計値をスコアとして算出する。このように、スコア算出手段は、コンテンツのジャンルに関わりなく、低い処理負荷でスコアを算出できる。

また、コンテンツ紹介映像作成装置は、選出画像選出手段によって、スコア算出手段によって算出されたスコアが高い方から順に、所定数の候補画像を選出画像として選出する。そして、コンテンツ紹介映像作成装置は、紹介映像作成手段によって、選出画像選出手段によって選出された選出画像が、予め設定された選出画像１枚あたりの再生時間である選出画像再生時間だけ再生されるように、コンテンツ紹介映像を作成する。

また、コンテンツ紹介映像作成装置は、カット点検出手段によって、コンテンツ映像内における候補画像の位置を基準として、予め設定されたカット点検出区間からカット点を検出する。そして、コンテンツ紹介映像作成装置は、候補画像抽出手段によって、カット点が検出された場合、検出された当該カット点から選出画像再生時間だけ遡った位置の画像を候補画像として抽出する。
かかる構成によれば、コンテンツ紹介映像作成装置は、候補画像の位置を基準にカット点を検出するため、カット点の検出漏れを少なくできる。

また、本願第２発明に係るコンテンツ紹介映像作成装置は、カット点検出手段によって、コンテンツ映像内における選出画像の位置を基準として、予め設定されたカット点検出区間からカット点を検出する。そして、コンテンツ紹介映像作成装置は、選出画像選出手段によって、カット点が検出された場合、検出された当該カット点から選出画像再生時間だけ遡った位置の画像を選出画像として選出する。
かかる構成によれば、コンテンツ紹介映像作成装置は、選出画像の位置を基準にカット点を検出するため、カット点の検出回数を少なくできる。

また、本願第３発明に係るコンテンツ紹介映像作成装置は、スコア算出手段が、候補画像から顔領域を検出し、検出された当該顔領域の半径または面積を顔領域大きさ情報として算出し、候補画像から複数の顔領域が検出された場合、顔領域大きさ情報の最大値または合計値をスコアとして算出することが好ましい。
かかる構成によれば、コンテンツ紹介映像作成装置は、正確なスコアに基づいてコンテンツ紹介映像を作成することができる。

また、本願第４発明に係るコンテンツ紹介映像作成装置は、候補画像をコンテンツの識別情報に対応付けて記憶する候補画像記憶手段をさらに備え、候補画像抽出手段が、識別情報がさらに付加されたコンテンツ映像が入力され、入力された当該コンテンツ映像から抽出した候補画像を当該コンテンツ映像に付加された識別情報に対応付けて候補画像記憶手段に書き込むと共に、識別情報に基づいて、当該入力されたコンテンツ映像と同一のコンテンツ映像の候補画像が候補画像記憶手段に記憶されているか否かを判定し、当該候補画像が記憶されていると判定した場合、候補画像記憶手段から当該候補画像を読み出すことが好ましい。

ここで、例えば、ある番組の放送開始直後では、この番組の前半部分が収録されたコンテンツ映像からコンテンツ紹介映像を作成する。一方、この番組の放送終了後では、例えば、番組全体が収録されたコンテンツ映像からコンテンツ紹介映像を作成する。このように、同一のコンテンツ映像から２回以上、コンテンツ紹介映像を作成することがある。この場合、コンテンツ紹介映像作成装置は、抽出した候補画像を候補画像記憶手段に記憶しておくため、同一のコンテンツ映像に対する候補画像の抽出処理を最小限に抑えることができる。

なお、本願第１発明に係るコンテンツ紹介映像作成装置は、一般的なコンピュータを、候補画像抽出手段、スコア算出手段、選出画像選出手段および紹介映像作成手段として機能させるコンテンツ紹介映像作成プログラムによって実現することもできる。

本願発明によれば、以下のような優れた効果を奏する。
本願第１，２発明によれば、コンテンツのジャンルに関わりなく、低い処理負荷でスコアを算出するため、処理時間を短くでき、コンテンツ紹介映像を素早く作成できる。

本願第１発明によれば、カット点の検出漏れを少なくできるため、頻繁にカットが切り替わることを強く抑制し、見やすいコンテンツ映像を作成できる。
本願第２発明によれば、カット点の検出回数を少なくできるため、頻繁にカットが切り替わることを抑制し、見やすいコンテンツ映像を素早く作成できる。
本願第３発明によれば、正確なスコアに基づいてコンテンツ紹介映像が作成されるため、コンテンツのジャンル、雰囲気、登場人物等の情報が視聴者に伝わりやすくなる。
本願第４発明によれば、同一のコンテンツ映像に対する候補画像の抽出処理を最小限に抑えるため、処理時間をより短くでき、コンテンツ紹介映像を素早く作成できる。

本願発明の第１実施形態に係るコンテンツ紹介映像作成装置の概略を説明する図である。 本願発明の第１実施形態に係るコンテンツ紹介映像作成装置の構成を示すブロック図である。 図２，図６のカット点検出手段を説明する図である。 図２のスコア算出手段を説明する図である。 図２のコンテンツ紹介映像作成装置の動作を示すフローチャートである。 本願発明の第２実施形態に係るコンテンツ紹介映像作成装置の構成を示すブロック図である 図６のコンテンツ紹介映像作成装置の動作を示すフローチャートである。

（第１実施形態）
以下、本願発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。

［コンテンツ紹介映像作成装置の概略］
図１を参照して、本願発明の第１実施形態に係るコンテンツ紹介映像作成装置１（図２参照）の概略について説明する。第１実施形態では、コンテンツ紹介映像作成装置１を、ソーシャルネットワークサービス（ＳＮＳ）で利用する例で説明する。図１に示すように、このＳＮＳでは、新作番組紹介画面Ｐｇを視聴者に提示して、視聴者の間で新作番組を紹介するサービスを行っている。

この新作番組紹介画面Ｐｇには、新作番組のコンテンツ紹介映像が画面左上部の表示欄Ｖｗに表示され、この新作番組の紹介文が画面右上部に位置するテキストボックスＴｘ１に表示されている。また、新作番組紹介画面Ｐｇには、テキストボックスＴｘ１の下部に「コメントする」ボタンＢｔ１が表示されている。ここで、視聴者がボタンＢｔ１をクリックすると、図示を省略したコメント入力画面が開き、視聴者が新作番組に対するコメントを入力できる。すると、入力されたコメントが、画面最下部のテキストボックスＴｘ２に表示される。図１の例では、２名の視聴者が入力したコメントが、テキストボックスＴｘ２に表示されている。

ここで、視聴者は、画面左中央部に表示された「この番組をみる」ボタンＢｔ２をクリックする。すると、この操作に応じて、コンテンツ紹介映像作成装置１に新作番組の映像ファイル（コンテンツ映像）が入力され、コンテンツ紹介映像作成装置１が、この新作番組のコンテンツ紹介映像を作成する。その後、新作番組紹介画面Ｐｇでは、このコンテンツ紹介映像が再生される。

［コンテンツ紹介映像作成装置の構成］
以下、図２を参照して、コンテンツ紹介映像作成装置１の構成について説明する。
図２に示すように、コンテンツ紹介映像作成装置１は、コンテンツを紹介する映像であるコンテンツ紹介映像を作成するものであり、パラメータ記憶手段１０と、候補画像データベース（候補画像記憶手段）２０と、コンテンツ映像データベース３０と、選出画像データベース（選出画像記憶手段）４０と、候補画像抽出手段５０と、候補画像順位付け手段６０と、紹介映像作成手段７０とを備える。

ここで、コンテンツ映像は、連続した画像（フレーム画像）で構成されており、各画像をタイムコードまたはフレーム番号で特定することができる。言い換えるなら、コンテンツ映像では、ある画像の位置、および、ある画像から別の画像までの区間をタイムコードまたはフレーム番号で表すことができる。
また、コンテンツ映像には、新作番組を一意に識別するコンテンツＩＤ（識別情報）と、新作番組のジャンルとが付加されていることとする。

パラメータ記憶手段１０は、コンテンツ紹介映像作成装置１に必要な各種パラメータを予め記憶するメモリ、ハードディスク等の記憶装置である。このパラメータ記憶手段１０に記憶されたパラメータは、コンテンツ紹介映像作成装置１の各手段によって適宜参照される。

以下、パラメータ記憶手段１０に記憶されたパラメータを具体的に説明する。
候補画像抽出区間は、コンテンツ映像内において、候補画像を抽出する区間を示すパラメータである。ここで、候補画像抽出区間は、視聴者が事前に知りたくない情報が新作番組の終盤に含まれる可能性があるため、コンテンツ映像の終盤を除いて、コンテンツ映像の先頭から８割までとしてもよい。

候補画像抽出数は、候補画像を抽出する数を示すパラメータである。ここで、候補画像抽出数は、特に制限されないが、処理負荷が低くなるように、小さな値（例えば、１００枚）に設定することが好ましい。
なお、候補画像とは、コンテンツ映像を構成する画像のうち、後記する選出画像として選出対象となる画像のことである。

カット点検出区間は、候補画像の位置を基準として、カット点を検出する区間を示すパラメータである。第１実施形態では、カット点検出区間が１秒間に設定されることとする。

動きベクトル検出区間は、候補画像の位置を基準として、動きベクトルを検出する区間を示すパラメータである。第１実施形態では、動きベクトル検出区間は、後記する候補映像区間と同じ区間（候補画像抽出区間を候補画像抽出数で等分割した区間）に設定されることとする。

設定ジャンルは、コンテンツ映像に付加されたジャンルが、顔領域を検出する対象のジャンルであるか否かを判定する基準となるパラメータである。従って、設定ジャンルは、ドラマ、バラエティーといった人物が多く登場するジャンルが設定されることが好ましい。

選出画像選出数は、選出画像を選出する数を示すパラメータである。
選出画像再生時間は、選出画像１枚あたりの再生時間を示すパラメータである。
なお、選出画像とは、コンテンツ映像を構成する画像のうち、コンテンツ紹介映像として表示される画像のことである。すなわち、選出画像は、コンテンツ映像を構成する画像のうち、視聴者が興味を示す可能性が高いと思われる画像である。

ここで、選出画像選出数および選出画像再生時間は、コンテンツ紹介映像が短時間となるように設定することが好ましい。例えば、選出画像選出数を１０枚に設定され、選出画像再生時間が１秒間に設定された場合、コンテンツ紹介映像は、１０枚の選出画像を１秒ずつ再生した１０秒の映像となる。

なお、前記した各種パラメータは、コンテンツ紹介映像作成装置１のオペレータによって、パラメータ記憶手段１０に予め設定される。また、各種パラメータは、視聴者が任意に設定することも可能である。例えば、図１の新作番組紹介画面Ｐｇに候補映像抽出区間を入力するテキストボックス（不図示）を設け、このテキストボックスに入力された候補映像抽出区間をパラメータ記憶手段１０に書き込む。これによって、視聴者が好きな区間でコンテンツ紹介映像を作成できる。この他、視聴者が視聴する前の時刻でコンテンツ紹介映像を作成してあらすじ映像とすることや、視聴者が視聴している最中にリアルタイムでコンテンツ紹介映像を更新することも可能である。

候補画像データベース２０は、候補画像抽出手段５０が抽出した候補画像をタイムコードおよびコンテンツＩＤに対応付けて記憶するデータベースである。この候補画像データベース２０は、後記する候補画像抽出手段５０によって参照される。

コンテンツ映像データベース３０は、候補画像抽出手段５０に入力されたコンテンツ映像をコンテンツＩＤに対応付けて記憶するデータベースである。このコンテンツ映像データベース３０は、後記する紹介映像作成手段７０によって参照される。

選出画像データベース４０は、選出画像をコンテンツＩＤに対応付けて記憶するデータベースである。例えば、選出画像データベース４０は、コンテンツ映像のなかで視聴者によって指定された画像を選出画像として記憶する。
この他、他の視聴者が指定した画像がインターネットを介して送信された場合、選出画像データベース４０は、送信されたこの画像を選出画像として記憶する。

候補画像抽出手段５０は、コンテンツ映像が入力されると共に、入力されたコンテンツ映像内に設定された候補画像抽出区間から候補画像抽出数（所定数）の候補画像を抽出するものであり、後記するカット点検出手段５１を備える。具体的には、候補画像抽出手段５０は、候補画像抽出区間を候補画像抽出数で等分割した候補映像区間をそれぞれ求め、各候補映像区間の先頭位置の画像を候補画像として抽出する。言い換えるなら、候補画像抽出手段５０は、候補画像抽出区間を候補画像抽出数で等分割した位置にある画像を、候補画像としてそれぞれ抽出する。そして、候補画像抽出手段５０は、抽出した全ての候補画像と、コンテンツ映像に付加されたコンテンツＩＤおよびジャンルとを候補画像順位付け手段６０に出力する。

また、候補画像抽出手段５０は、入力されたコンテンツ映像をコンテンツＩＤに対応付けてコンテンツ映像データベース３０に書き込む。さらに、候補画像抽出手段５０は、抽出した候補画像をコンテンツＩＤおよびタイムコードに対応付けて候補画像データベース２０に書き込む。なお、この候補画像データベース２０の利用方法については、詳細を後記する。

ここで、候補映像区間の先頭から選出画像再生時間（例えば、１秒間）の間にカット点が含まれる場合、コンテンツ紹介映像では、１秒未満でカットが切り替わり、視聴者にとって見づらくなる。そこで、カット点検出手段５１によってカット点を検出し、コンテンツ紹介映像でカットが頻繁に切り替わる事態を防止することが好ましい。

カット点検出手段５１は、候補画像抽出手段５０が抽出した候補画像ごとに、この候補画像の位置を基準としたカット点検出区間からカット点を検出するものである。具体的には、カット点検出手段５１は、前後のフレーム画像における輝度変化や色変化によって、カット点を検出する。そして、候補画像抽出手段５０は、カット点検出手段５１が検出したカット点から選出画像再生時間だけ遡った位置の画像を候補画像として抽出する。

以下、図３を参照して、カット点検出手段５１を具体的に説明する（適宜図２参照）。
ここでは、カット点検出区間が１秒間に設定されているとする。また、候補画像抽出手段５０が、時刻ｔ_ｉ，ｔ_ｊ，ｔ_ｌの位置にある画像をそれぞれ候補画像として抽出したこととする。以後、時刻ｔ_ｉ，ｔ_ｊ，ｔ_ｌの位置にある候補画像を候補画像ｔ_ｉ，ｔ_ｊ，ｔ_ｌと呼ぶ。なお、各時刻の間には、ｔ_ｉ＜ｔ_ｊ＜ｔ_ｋ＜ｔ_ｌという関係が成立する。

まず、カット点検出手段５１は、候補画像ｔ_ｉについて、カット点検出区間の開始時刻ｔ_ｉから終了時刻ｔ_ｉ+１までの１秒間でカット点を検出する。ここで、カット点が検出されないため、候補画像抽出手段５０は、候補画像ｔ_ｉをそのまま、コンテンツＩＤおよびジャンルと共に候補画像順位付け手段６０に出力する。

次に、カット点検出手段５１は、候補画像ｔ_ｊについて、カット点検出区間の開始時刻ｔ_ｊから終了時刻ｔ_ｊ+１までの１秒間でカット点を検出する。ここでは、時刻ｔ_ｋでカット点が検出されたこととし、このカット点をカット点ｔ_ｋと呼ぶ。この場合、候補画像抽出手段５０は、候補画像ｔ_ｊの代わりに、カット点ｔ_ｋから１秒遡った位置にある候補画像ｔ_ｋ-１を、コンテンツＩＤおよびジャンルと共に候補画像順位付け手段６０に出力する。これによって、コンテンツ紹介映像作成装置１では、候補画像ｔ_ｋ-１から１秒間、カット点が含まれることを防止できる。

以下、図２に戻り、コンテンツ紹介映像作成装置１の構成について説明を続ける。
候補画像順位付け手段６０は、候補画像抽出手段５０から候補画像とコンテンツＩＤとジャンルとが入力され、コンテンツ紹介映像を作成するために候補画像を順位付けするものであり、スコア算出手段６１と、選出画像選出手段６３とを備える。

スコア算出手段６１は、入力された候補画像ごとに、選出画像を選出する基準となるスコアを算出するものである。まず、スコア算出手段６１は、候補画像抽出手段５０から入力されたジャンルに基づいて、顔領域大きさ情報をスコアとするか、または、動きベクトルの大きさの合計値をスコアとするか判定する。具体的には、スコア算出手段６１は、候補画像抽出手段５０から入力されたジャンルが設定ジャンルに属する場合、顔領域大きさ情報をスコアとして算出すると判定する。一方、スコア算出手段６１は、候補画像抽出手段５０から入力されたジャンルが設定ジャンルに属さない場合、動きベクトルの大きさの合計値をスコアとして算出すると判定する。

＜第１例：顔領域大きさ情報＞
図４を参照し、顔領域大きさ情報からスコアを算出する方法について説明する（適宜図２参照）。
スコア算出手段６１は、入力された候補画像の全てに対して、顔領域検出処理を施す。ここで、例えば、スコア算出手段６１は、ViolaとJonesとが提案した顔領域検出処理を用いて、候補画像から人物顔を高速に検出する。このViolaとJonesとの顔領域検出処理は、オープンソースの画像処理・認識ライブラリであるＯｐｅｎＣＶで公開されている（例えば、“http://opencv.jp/”を参照）。

このViolaとJonesとの顔領域検出処理では、検出した顔領域の位置および半径が出力される。例えば、図４の候補画像では、大きく写った人物から顔領域αが検出され、その半径ｒ_αを顔領域αの大きさ情報とする。また、小さく写った人物から顔領域βが検出され、その半径ｒを顔領域βの大きさ情報とする。ここで、図４に示すように、スコア算出手段６１は、１枚の候補画像から複数の顔領域α，βが検出された場合、顔領域αの半径ｒ_αおよび顔領域βの半径ｒ_βのうち、その値が最大となる半径ｒ_αをスコアとして算出する。例えば、顔領域αの半径ｒ_αが１２５ピクセルで、顔領域βの半径ｒ_βが８６ピクセルである場合、この候補画像のスコアは、１２５となる。このように、スコア算出手段６１は、入力された候補画像ごとに、その候補画像に含まれる顔領域が大きくなるほど、高いスコアを算出する。

なお、スコア算出手段６１は、ある候補画像から顔領域を１個しか検出しなかった場合、その顔領域の半径を、その候補画像のスコアとして算出する。また、スコア算出手段６１は、ある候補画像から顔領域を１個も検出しなかった場合、その候補画像のスコアをゼロとする。また、スコア算出手段６１は、顔領域α，βの半径ｒ_α，ｒ_βのうちの最大値をスコアとせずに、顔領域α，βの半径ｒ_α，ｒ_βの合計値をスコアとしてもよい。さらに、スコア算出手段６１は、顔領域α，βの半径ｒ_α，ｒ_βを顔領域大きさ情報とせずに、顔領域α，βの面積を顔領域大きさ情報としてもよい。

＜第２例：動きベクトルの大きさの合計値＞
以下、図２に戻り、動きベクトルの大きさの合計値からスコアを算出する方法について説明する（適宜図２参照）。
スコア算出手段６１は、入力された候補画像ごとに、この候補画像の位置を基準とした動きベクトル検出区間から動きベクトルを検出する。そして、スコア算出手段６１は、動きベクトル検出区間から検出された動きベクトルの大きさを合計し、その候補画像のスコアとする。例えば、スコア算出手段６１は、動きベクトル検出区間内に位置する画像をそれぞれ、所定サイズのマクロブロックで走査して、動きベクトルを検出する（マクロブロック法）。

以下、コンテンツ紹介映像作成装置１の構成について説明を続ける。
選出画像選出手段６３は、入力された候補画像のうち、スコア算出手段６１が算出したスコアが高い方から順に選出画像選出数（所定数）の候補画像を、選出画像として選出するものである。例えば、選出画像選出手段６３は、選出画像選出数が１０枚に設定されている場合、スコアが１位から１０位までの候補画像を選出画像として選出する。また、選出画像選出手段６３は、同じスコアの候補画像が２枚以上存在する場合、タイムコードが小さい方の候補画像を優先的に選出画像として選出する。そして、選出画像選出手段６３は、選出した全ての選出画像とコンテンツＩＤとを紹介映像作成手段７０に出力する。

紹介映像作成手段７０は、候補画像順位付け手段６０から選出画像とコンテンツＩＤとが入力され、この選出画像が選出画像再生時間だけ再生されるように、コンテンツ紹介映像を作成するものである。ここで、スコアが高い順に選出画像が再生されるより、時系列で選出画像が再生される方が、視聴者にとって自然である。そこで、紹介映像作成手段７０は、入力された選出画像をタイムコードでソートする。

次に、紹介映像作成手段７０は、入力されたコンテンツＩＤと同じコンテンツＩＤを有するコンテンツ映像を、コンテンツ映像データベース３０から取得する。そして、紹介映像作成手段７０は、取得したコンテンツ映像から、各選出画像の位置を基準として、選出画像再生時間の長さだけ映像を抽出する。その後、紹介映像作成手段７０は、コンテンツ映像から抽出した映像を連結してコンテンツ紹介映像を作成する。

例えば、選出画像選出数が１０枚、選出画像再生時間が１秒間に設定されている場合を考える。この場合、紹介映像作成手段７０は、１０枚の選出画像を時系列にソートし、各選出画像の位置から１秒間の映像をコンテンツ映像から１０区間抽出し、この１０区間分の映像を連結して、１０秒間のコンテンツ紹介映像を作成する。
この他、紹介映像作成手段７０は、１０枚の選出画像が１秒間ずつ再生されるようなコンテンツ紹介映像を作成してもよい。

＜候補画像データベースの利用方法＞
以下、候補画像データベース２０の利用方法について説明する。
前記したように、コンテンツ紹介映像作成装置１では、同一のコンテンツ映像が２回以上入力され、それぞれのコンテンツ映像からコンテンツ紹介映像を作成することがある。例えば、ある新作番組の前半部分（先頭から３０分間）を収録したコンテンツ映像が入力された後、同じ新作番組の全体（先頭から６０分間）を収録したコンテンツ映像が入力されることとする。

新作番組の前半部分を収録したコンテンツ映像が入力されたとき（１回目の入力）、候補画像抽出手段５０は、コンテンツ映像に付加されているコンテンツＩＤを検索キーとして、候補画像データベース２０から候補画像を検索する。この場合、候補画像抽出手段５０は、このコンテンツ映像の候補画像が候補画像データベース２０に記憶されていないため、候補画像を１枚も取得できない。そこで、候補画像抽出手段５０は、コンテンツ映像を等分割して候補画像を抽出する。さらに、候補画像抽出手段５０は、抽出した全ての候補画像を、各候補画像のタイムコードおよびコンテンツＩＤに対応付けて候補画像データベース２０に書き込む。以後、候補画像データベース２０に書き込まれた候補画像を前半部分の候補画像と呼ぶ。その後、コンテンツ紹介映像作成装置１では、前記した手順にて、新作番組の前半部分を対象としたコンテンツ紹介映像が作成される。

新作番組全体を収録したコンテンツ映像が入力されたとき（２回目の入力）、候補画像抽出手段５０は、コンテンツＩＤを検索キーとして、候補画像データベース２０から候補画像を検索する。この場合、候補画像抽出手段５０は、前半部分の候補画像が候補画像データベース２０に記憶されているため、この前半部分の候補画像を取得できる。また、候補画像抽出手段５０は、候補画像データベース２０から取得した前半部分の候補画像のうち、タイムコードが最も遅いものを確認する。つまり、候補画像抽出手段５０は、コンテンツ映像のどの位置まで候補画像が既に抽出されているかを確認する。そして、候補画像抽出手段５０は、新作番組全体のコンテンツ映像において、最も遅いタイムコードに対応する時刻から新作番組の終了時刻（例えば、６０分）までの残り区間を等分割して、候補画像を抽出する。その後、コンテンツ紹介映像作成装置１では、前記した手順にて、新作番組全体を対象としたコンテンツ紹介映像が作成される。

このように、一回抽出した候補画像を候補画像データベース２０に記憶しておくことで、候補画像抽出手段５０は、同一のコンテンツ映像で重複する部分（この例では、新作番組の前半部分）から、候補画像を繰り返し抽出する必要がない。

［コンテンツ紹介映像作成装置の動作］
以下、図５を参照し、コンテンツ紹介映像作成装置１の動作について説明する（適宜図２参照）。
コンテンツ紹介映像作成装置１は、候補画像抽出手段５０によって、コンテンツ映像内に設定された候補画像抽出区間から候補画像抽出数の候補画像を抽出する。具体的には、コンテンツ紹介映像作成装置１は、候補画像抽出手段５０によって、候補画像抽出区間を候補画像抽出数で等分割した位置にある画像を候補画像として抽出する（ステップＳ１）。

コンテンツ紹介映像作成装置１は、カット点検出手段５１によって、候補画像ごとに、この候補画像の位置を基準としたカット点検出区間からカット点を検出する。具体的には、コンテンツ紹介映像作成装置１は、カット点検出手段５１によって、前後のフレーム画像における輝度変化や色変化によって、カット点を検出する（ステップＳ２）。

ステップＳ２の処理でカット点が検出された場合、コンテンツ紹介映像作成装置１は、候補画像抽出手段５０によって、ステップＳ１で抽出した候補画像を、ステップＳ２で検出したカット点から選出画像再生時間だけ遡った位置の画像に変更する（ステップＳ３）。

コンテンツ紹介映像作成装置１は、スコア算出手段６１によって、候補画像ごとに、選出画像を選出する基準となるスコアを算出する。具体的には、コンテンツ紹介映像作成装置１は、スコア算出手段６１によって、コンテンツ映像のジャンルが設定ジャンルに属する場合、候補画像の全てに対して顔領域検出処理を施し、検出した顔領域の半径を算出し、それら半径の最大値をスコアとして算出する。一方、コンテンツ紹介映像作成装置１は、スコア算出手段６１によって、コンテンツ映像のジャンルが設定ジャンルに属さない場合、動きベクトル検出区間内で動きベクトルを検出し、それら動きベクトルの大きさを合計してスコアを算出する（ステップＳ４）。

コンテンツ紹介映像作成装置１は、選出画像選出手段６３によって、スコアが高い方から順に、選出画像選出数の候補画像を選出画像として選出する。ここで、同じスコアの候補画像が２以上存在する場合、コンテンツ紹介映像作成装置１は、選出画像選出手段６３によって、タイムコードが小さい方の候補画像を優先的に選出画像として選出する（ステップＳ５）。

コンテンツ紹介映像作成装置１は、紹介映像作成手段７０によって、選出画像が選出画像再生時間だけ再生されるようにコンテンツ紹介映像を作成する。具体的には、コンテンツ紹介映像作成装置１は、紹介映像作成手段７０によって、選出画像をタイムコードでソートし、コンテンツ映像から、各選出画像の位置を基準として、選出画像再生時間の長さだけ映像を抽出する。そして、コンテンツ紹介映像作成装置１は、紹介映像作成手段７０によって、コンテンツ映像から抽出した映像を連結して、コンテンツ紹介映像を作成する（ステップＳ６）。

以上のように、本願発明の第１実施形態に係るコンテンツ紹介映像作成装置１は、コンテンツ映像から候補画像抽出数だけ候補画像を抽出する。このため、コンテンツ紹介映像作成装置１は、コンテンツ映像全体をスコアの算出対象とする場合に比べて、少ない数の候補画像をスコアの算出対象とするため、低い処理負荷でスコアを算出できる。また、同一のコンテンツ映像が２回以上入力される場合、コンテンツ紹介映像作成装置１は、候補画像抽出手段５０において、同一のコンテンツ映像で重複する部分から候補画像を繰り返し抽出することがない。これによって、コンテンツ紹介映像作成装置１は、例えば、２時間を越える長時間のコンテンツ映像であっても、新作番組の放送状況にあわせて、コンテンツ紹介映像を素早く作成することができる。つまり、コンテンツ紹介映像作成装置１は、高いリアルタイム性が要求される新作番組紹介サービスに最適である。
一方、従来のダイジェスト映像は、その作成に長い時間が必要になるため、放送開始直後であれば新作番組の前半部分からダイジェスト映像を作成し、放送終了後であれば新作番組全体からダイジェスト映像を作成するというように、新作番組の放送状況にあわせてダイジェスト映像を即座に作成することが困難である。

また、コンテンツ紹介映像作成装置１では、コンテンツ紹介映像が短いため、視聴者が多数のコンテンツ紹介映像を視聴し、興味ある新作番組を探すことができる。これによって、コンテンツ紹介映像作成装置１は、従来技術に比べて、視聴者が多数の新作番組に触れる機会を増やすことができ、良好な新作番組紹介サービスを提供することができる。
一方、従来のダイジェスト映像は、１分程度に編集されているが、視聴者にとって長すぎるために好ましくない。

さらに、コンテンツ紹介映像作成装置１は、カットが頻繁に切り替わる事態を防ぐことができるため、視聴者にとって極めて見やすいコンテンツ紹介映像を作成することができる。

さらに、コンテンツ紹介映像は、新作番組の内容まで踏み込まずに、この新作番組のジャンル、雰囲気、登場人物などの情報を視聴者に伝えることを主眼としている。従って、顔領域の大きさを基準に順位付けされるため、コンテンツ紹介映像は、人物の顔が含まれるシーンが多くなり、視聴者にとって新作番組の内容が把握しやすい。

（変形例１）
なお、第１実施形態では、選出画像選出手段６３が、入力された候補画像から選出画像を選出するとして説明したが、これに限定されない。例えば、選出画像選出手段６３は、入力された候補画像から選出画像を選出する代わりに、選出画像データベース４０から選出画像を取得してもよい。具体的には、選出画像選出手段６３は、コンテンツＩＤを検索キーとして、選出画像データベース４０から選出画像を検索して取得する。そして、選出画像選出手段６３は、選出画像データベース４０から取得した選出画像をコンテンツＩＤと共に紹介映像作成手段７０に出力する。これによって、選出画像選出手段６３は、視聴者自身や他の視聴者が指定した選出画像をコンテンツ紹介映像に含めることができ、視聴者に対してジャンル等の様々な情報を提供しやすいコンテンツ紹介映像を作成できる。

（変形例２）
なお、第１実施形態では、候補画像データベース２０を各視聴者が個別に利用する例を説明したが、本発明は、これに限定されない。以下、変形例２として、候補画像データベース２０を複数の視聴者で共有する例について説明する。

前記したように、コンテンツ紹介映像作成装置１では、視聴者自身が、コンテンツ紹介映像を作成したい区間（つまり、候補映像抽出区間）を任意に設定できる。また、コンテンツ紹介映像作成装置１では、コンテンツ紹介映像を作成した際に、抽出した候補画像を候補画像データベース２０に記憶させておくことができる。

この場合、コンテンツ紹介映像作成装置１では、ある視聴者がコンテンツ紹介映像を作成する際、候補画像データベース２０に既に記憶された候補画像を取得して、その視聴者が設定した候補映像抽出区間でコンテンツ紹介映像を即座に作成することもできる。このように、コンテンツ紹介映像作成装置１は、候補画像データベース２０を複数の視聴者で共有することで、候補画像データベース２０を有効活用でき、視聴者ごとに候補画像を抽出した場合に比べて、コンテンツ映像作成処理の負荷を軽減することができる。

（第２実施形態）
［コンテンツ紹介映像作成装置の構成］
以下、図６を参照して、本願発明の第２実施形態に係るコンテンツ紹介映像作成装置１Ｂの構成について、第１実施形態と異なる点を説明する。第２実施形態では、図２の候補画像抽出手段５０の代わりに、候補画像順位付け手段６０Ｂがカット点検出手段６２を備える点が大きく異なる。

図６に示すように、コンテンツ紹介映像作成装置１Ｂは、パラメータ記憶手段１０と、候補画像データベース（候補画像記憶手段）２０と、コンテンツ映像データベース３０と、選出画像データベース（選出画像記憶手段）４０と、候補画像抽出手段５０Ｂと、候補画像順位付け手段６０Ｂと、紹介映像作成手段７０とを備える。

候補画像抽出手段５０Ｂは、カット点を検出しない以外、図２の候補画像抽出手段５０と同様のものである。つまり、候補画像抽出手段５０Ｂは、カット点に関わりなく、候補画像抽出区間を候補画像抽出数で等分割した位置にある画像を、候補画像として抽出する。

候補画像順位付け手段６０Ｂは、コンテンツ紹介映像を作成するために候補画像を順位付けするものであり、スコア算出手段６１と、カット点検出手段６２と、選出画像選出手段６３Ｂとを備える。

カット点検出手段６２は、図２のカット点検出手段５１と同様、選出画像選出手段６３Ｂが選出した選出画像ごとに、この選出画像の位置を基準としたカット点検出区間からカット点を検出するものである。そして、カット点検出手段６２は、検出したカット点を示す情報を選出画像選出手段６３Ｂに出力する。

選出画像選出手段６３Ｂは、図２の選出画像選出手段６３と同様に選出画像を選出するものである。また、選出画像選出手段６３Ｂは、カット点検出手段６２がカット点を検出した場合、検出されたカット点から選出画像再生時間だけ遡った位置の画像を選出画像として抽出する。

以下、図３に戻り、時刻ｔ_ｊの位置にある選出画像ｔ_ｊを例として説明する。
ここで、カット点検出手段６２は、選出画像ｔ_ｊについて、カット点検出区間の開始時刻ｔ_ｊから終了時刻ｔ_ｊ+１までの１秒間でカット点を検出する。ここでは、時刻ｔ_ｋでカット点が検出されたこととする。この場合、カット点検出手段６２は、選出画像ｔ_ｊの代わりに、カット点ｔ_ｋから１秒遡った位置にある選出画像ｔ_ｋ-１を紹介映像作成手段７０に出力する。これによって、コンテンツ紹介映像作成装置１Ｂでは、選出画像ｔ_ｋ-１から１秒間、カット点が含まれることを防止できる。

［コンテンツ紹介映像作成装置の動作］
以下、図７を参照し、コンテンツ紹介映像作成装置１Ｂの動作について説明する（適宜図６参照）。
なお、ステップＳ１１，Ｓ１２，Ｓ１３，Ｓ１６の処理は、図５のステップＳ１，Ｓ４，Ｓ５，Ｓ６と同様の処理であるため、説明を省略する。

コンテンツ紹介映像作成装置１Ｂは、カット点検出手段６２によって、ステップＳ１３で選出した選出画像ごとに、この選出画像の位置を基準としたカット点検出区間からカット点を検出する（ステップＳ１４）。

ステップＳ１４の処理でカット点が検出された場合、コンテンツ紹介映像作成装置１Ｂは、選出画像選出手段６３Ｂによって、ステップＳ１３で選出した選手画像を、ステップＳ１４で検出したカット点から選出画像再生時間だけ遡った位置の画像に変更する（ステップＳ１５）。

以上のように、本願発明の第２実施形態に係るコンテンツ紹介映像作成装置１Ｂは、第１実施形態と同様、カットが頻繁に切り替わること防止でき、視聴者にとって見やすいコンテンツ紹介映像を素早く作成することができる。

なお、各実施形態では、コンテンツの一例として新作番組をあげて説明したが、本願発明が対象とするコンテンツは、新作番組に限定されないことは言うまでもない。
また、各実施形態では、コンテンツ紹介映像作成装置１をＳＮＳに利用する例をあげて説明したが、コンテンツ紹介映像作成装置１は、これに限定されない。例えば、本願発明に係るコンテンツ紹介映像作成装置は、ハードディスクレコーダ等の映像蓄積装置に内蔵され、この装置に蓄積された各映像からコンテンツ紹介映像を作成することができる。

なお、各実施形態では、コンテンツ紹介映像作成装置１を独立した装置として説明したが、本願発明では、一般的なコンピュータのＣＰＵ、メモリ等のハードウェア資源を、前記した各手段として協調動作させるコンテンツ紹介映像作成プログラムによって実現することもできる。このコンテンツ紹介映像作成プログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布しても良い。

１，１Ｂ コンテンツ紹介映像作成装置
１０ パラメータ記憶手段
２０ 候補画像データベース（候補画像記憶手段）
３０ コンテンツ映像データベース
４０ 選出画像データベース（選出画像記憶手段）
５０，５０Ｂ 候補画像抽出手段
５１，６２ カット点検出手段
６０，６０Ｂ 候補画像順位付け手段
６１ スコア算出手段
６３，６３Ｂ 選出画像選出手段
７０ 紹介映像作成手段

Claims (6)

1. コンテンツを紹介する映像であるコンテンツ紹介映像を作成するコンテンツ紹介映像作成装置であって、
   前記コンテンツのジャンルを付加したコンテンツ映像が入力され、入力された当該コンテンツ映像内に予め設定された候補画像抽出区間から所定数の候補画像を抽出する候補画像抽出手段と、
   前記コンテンツ映像に付加されたジャンルが予め設定された顔領域検出対象の設定ジャンルに属するか否かを判定し、前記設定ジャンルに属すると判定した場合、前記候補画像抽出手段によって抽出された候補画像の顔領域大きさ情報をスコアとして算出し、前記設定ジャンルに属さないと判定した場合、前記コンテンツ映像内における候補画像の位置を基準に予め設定された動きベクトル検出区間から検出した動きベクトルの大きさの合計値を前記スコアとして算出するスコア算出手段と、
   前記スコア算出手段によって算出されたスコアが高い方から順に、所定数の前記候補画像を選出画像として選出する選出画像選出手段と、
   前記選出画像選出手段によって選出された選出画像が、予め設定された選出画像１枚あたりの再生時間である選出画像再生時間だけ再生されるように、前記コンテンツ紹介映像を作成する紹介映像作成手段と、
   前記コンテンツ映像内における候補画像の位置を基準として、予め設定されたカット点検出区間からカット点を検出するカット点検出手段と、を備え、
   前記候補画像抽出手段は、前記カット点が検出された場合、検出された当該カット点から前記選出画像再生時間だけ遡った位置の画像を前記候補画像として抽出することを特徴とするコンテンツ紹介映像作成装置。
2. コンテンツを紹介する映像であるコンテンツ紹介映像を作成するコンテンツ紹介映像作成装置であって、
   前記コンテンツのジャンルを付加したコンテンツ映像が入力され、入力された当該コンテンツ映像内に予め設定された候補画像抽出区間から所定数の候補画像を抽出する候補画像抽出手段と、
   前記コンテンツ映像に付加されたジャンルが予め設定された顔領域検出対象の設定ジャンルに属するか否かを判定し、前記設定ジャンルに属すると判定した場合、前記候補画像抽出手段によって抽出された候補画像の顔領域大きさ情報をスコアとして算出し、前記設定ジャンルに属さないと判定した場合、前記コンテンツ映像内における候補画像の位置を基準に予め設定された動きベクトル検出区間から検出した動きベクトルの大きさの合計値を前記スコアとして算出するスコア算出手段と、
   前記スコア算出手段によって算出されたスコアが高い方から順に、所定数の前記候補画像を選出画像として選出する選出画像選出手段と、
   前記選出画像選出手段によって選出された選出画像が、予め設定された選出画像１枚あたりの再生時間である選出画像再生時間だけ再生されるように、前記コンテンツ紹介映像を作成する紹介映像作成手段と、
   前記コンテンツ映像内における選出画像の位置を基準として、予め設定されたカット点検出区間からカット点を検出するカット点検出手段と、を備え、
   前記選出画像選出手段は、前記カット点が検出された場合、検出された当該カット点から前記選出画像再生時間だけ遡った位置の画像を前記選出画像として選出することを特徴とするコンテンツ紹介映像作成装置。
3. 前記スコア算出手段は、前記候補画像から顔領域を検出し、検出された当該顔領域の半径または面積を前記顔領域大きさ情報として算出し、前記候補画像から複数の顔領域が検出された場合、前記顔領域大きさ情報の最大値または合計値を前記スコアとして算出することを特徴とする請求項１又は請求項２に記載のコンテンツ紹介映像作成装置。
4. 前記候補画像を前記コンテンツの識別情報に対応付けて記憶する候補画像記憶手段をさらに備え、
   前記候補画像抽出手段は、前記識別情報がさらに付加されたコンテンツ映像が入力され、入力された当該コンテンツ映像から抽出した候補画像を当該コンテンツ映像に付加された識別情報に対応付けて前記候補画像記憶手段に書き込むと共に、前記識別情報に基づいて、当該入力されたコンテンツ映像と同一のコンテンツ映像の候補画像が前記候補画像記憶手段に記憶されているか否かを判定し、当該候補画像が記憶されていると判定した場合、前記候補画像記憶手段から当該候補画像を読み出すことを特徴とする請求項１から請求項３の何れか一項に記載のコンテンツ紹介映像作成装置。
5. コンテンツを紹介する映像であるコンテンツ紹介映像を作成するために、コンピュータを、
   前記コンテンツのジャンルを付加したコンテンツ映像が入力され、入力された当該コンテンツ映像内に予め設定された候補画像抽出区間から所定数の候補画像を抽出する候補画像抽出手段、
   前記コンテンツ映像に付加されたジャンルが予め設定された顔領域検出対象の設定ジャンルに属するか否かを判定し、前記設定ジャンルに属すると判定した場合、前記候補画像抽出手段によって抽出された候補画像の顔領域大きさ情報をスコアとして算出し、前記設定ジャンルに属さないと判定した場合、前記コンテンツ映像内における候補画像の位置を基準に予め設定された動きベクトル検出区間から検出した動きベクトルの大きさの合計値を前記スコアとして算出するスコア算出手段、
   前記スコア算出手段によって算出されたスコアが高い方から順に、所定数の前記候補画像を選出画像として選出する選出画像選出手段、
   前記選出画像選出手段によって選出された選出画像が、予め設定された選出画像１枚あたりの再生時間である選出画像再生時間だけ再生されるように、前記コンテンツ紹介映像を作成する紹介映像作成手段、
   前記コンテンツ映像内における候補画像の位置を基準として、予め設定されたカット点検出区間からカット点を検出するカット点検出手段、として機能させ、
   前記候補画像抽出手段は、前記カット点が検出された場合、検出された当該カット点から前記選出画像再生時間だけ遡った位置の画像を前記候補画像として抽出することを特徴とするコンテンツ紹介映像作成プログラム。
6. コンテンツを紹介する映像であるコンテンツ紹介映像を作成するために、コンピュータを、
   前記コンテンツのジャンルを付加したコンテンツ映像が入力され、入力された当該コンテンツ映像内に予め設定された候補画像抽出区間から所定数の候補画像を抽出する候補画像抽出手段、
   前記コンテンツ映像に付加されたジャンルが予め設定された顔領域検出対象の設定ジャンルに属するか否かを判定し、前記設定ジャンルに属すると判定した場合、前記候補画像抽出手段によって抽出された候補画像の顔領域大きさ情報をスコアとして算出し、前記設定ジャンルに属さないと判定した場合、前記コンテンツ映像内における候補画像の位置を基準に予め設定された動きベクトル検出区間から検出した動きベクトルの大きさの合計値を前記スコアとして算出するスコア算出手段、
   前記スコア算出手段によって算出されたスコアが高い方から順に、所定数の前記候補画像を選出画像として選出する選出画像選出手段、
   前記選出画像選出手段によって選出された選出画像が、予め設定された選出画像１枚あたりの再生時間である選出画像再生時間だけ再生されるように、前記コンテンツ紹介映像を作成する紹介映像作成手段、
   前記コンテンツ映像内における選出画像の位置を基準として、予め設定されたカット点検出区間からカット点を検出するカット点検出手段、として機能させ、
   前記選出画像選出手段は、前記カット点が検出された場合、検出された当該カット点から前記選出画像再生時間だけ遡った位置の画像を前記選出画像として選出することを特徴とするコンテンツ紹介映像作成プログラム。

Images