JP4453603B2 - ダイジェスト作成装置およびダイジェスト作成処理のプログラム - Google Patents

Description

本発明は、ダイジェスト作成装置およびダイジェスト作成処理のプログラムに関し、特に、テレビ放送のスポーツ番組のダイジェストを作成するダイジェスト作成装置およびダイジェスト作成処理のプログラムに関するものである。

テレビ放送における野球などのスポーツ番組において、重要な映像のシーンを抽出してダイジェストを作成し、再生時間を短縮することによりユーザの便宜を図ることが行われている。例えば、ある提案のスポーツイベントのオーディオ信号からハイライトを抽出する方法およびシステムにおいては、スポーツイベントのオーディオ信号から特徴のセットを抽出し、拍手、喝采、打球、音楽、音声および音楽付き音声からなるグループから選択されるクラスに従って、エントロピー隠れマルコフモデルを使用して抽出された特徴のセットを分類し、全く同じように分類された特徴の隣接するセットをグループ化し、拍手又は喝采として分類された特徴のグループに対応し、所定しきい値より大きい持続時間を有するオーディオ信号の部分をハイライトとして選択する。（特許文献１参照）
特開２００４−２５８６５９号公報

しかしながら、上記特許文献１においては、拍手、喝采、打球、音楽、音声および音楽付き音声からなるグループの中で、拍手又は喝采として分類された特徴のグループをハイライトとして選択しているので、例えば、人気の高い打者が次のバッターとしてボックスに入る場合、又は、人気の高い投手がリリーフやストッパとしてマウンドに上がる場合でも、観客からの拍手や喝采があるので、勝負には関係のないシーンがハイライトとして選択される可能性がある。あるいは、スポーツ番組に挿入されるコマーシャルの中にも拍手や喝采があり得るので、そのようなコマーシャルのシーンがハイライトとして選択される可能性がある。
本発明は、このような従来の課題を解決するためのものであり、テレビ放送のスポーツ番組の中から、勝負に関係のある重要なシーンだけを抽出してダイジェストデータを作成することを目的とする。

請求項１に記載のダイジェスト作成装置は、映像音声情報の音声情報を分析する音声分析手段と、映像音声情報の映像情報を分析する映像分析手段と、音声分析手段及び映像分析手段の少なくとも何れか一方の分析結果に基づき打撃期待ポイントを設定する打撃期待ポイント設定手段と、打撃期待ポイント後の所定時間の音声情報の分析結果に基づき重要度を判定する重要度判定手段と、判定された重要度に従って映像音声情報のダイジェストを作成するダイジェスト作成手段と、を具備する構成になっている。

請求項１のダイジェスト作成装置において、請求項２に記載したように、打撃期待ポイント設定手段は、音声分析手段が打球音または捕球音であると分析した時点を打撃期待ポイントとして設定するような構成にしてもよい。

請求項２のダイジェスト作成装置において、請求項３に記載したように、打撃期待ポイント設定手段は、映像分析手段が野球場のセンターカメラからの映像であると分析し、かつ音声分析手段が打球音または捕球音であると分析した時点を打撃期待ポイントとして設定するような構成にしてもよい。

請求項１のダイジェスト作成装置において、請求項４に記載したように、打撃期待ポイント設定手段は、映像分析手段が野球場のセンターカメラからの映像が終了したと分析した時点から所定の時間遡って打撃期待ポイントを設定するような構成にしてもよい。

請求項１のダイジェスト作成装置において、請求項５に記載したように、音声分析手段は、ステレオ放送の差分音声により音声情報を分析するような構成にしてもよい。

請求項１のダイジェスト作成装置において、請求項６に記載したように、音声分析手段は、隠れマルコフモデルの尤度計算により音声情報を分析するような構成にしてもよい。

請求項３または４のダイジェスト作成装置において、請求項７に記載したように、映像分析手段は、色の配置に基づき野球場のセンターカメラからの映像であると分析するような構成にしてもよい。

請求項３または４のダイジェスト作成装置において、請求項８に記載したように、映像分析手段は、色のヒストグラムに基づき野球場のセンターカメラからの映像であると分析するような構成にしてもよい。

請求項３または４のダイジェスト作成装置において、請求項９に記載したように、映像分析手段は、壁とグラウンドとの境界線に基づき野球場のセンターカメラからの映像であると分析するような構成にしてもよい。

請求項１０に記載のダイジェスト作成処理のプログラムは、コンピュータに、
映像音声情報の音声情報を分析するステップＡと、映像音声情報の映像情報を分析するステップＢと、ステップＡ及びステップＢの少なくとも何れか一方の分析結果に基づき打撃期待ポイントを設定するステップＣと、打撃期待ポイント後の所定時間の音声情報の分析結果に基づき重要度を判定するステップＤと、判定された重要度に従って映像音声情報のダイジェストを作成するステップＥと、を実行させる。

請求項１０のダイジェスト作成処理のプログラムにおいて、請求項１１に記載したように、ステップＣは、ステップＡが打球音または捕球音であると分析した時点を打撃期待ポイントとして設定するような構成にしてもよい。

請求項１１のダイジェスト作成処理のプログラムにおいて、請求項１２に記載したように、ステップＣは、ステップＢが野球場のセンターカメラからの映像であると分析し、かつステップＡが打球音または捕球音であると分析した時点を打撃期待ポイントとして設定するような構成にしてもよい。

請求項１０のダイジェスト作成処理のプログラムにおいて、請求項１３に記載したように、ステップＣは、ステップＢが野球場のセンターカメラからの映像が終了したと分析した時点から所定の時間遡って打撃期待ポイントを設定するような構成にしてもよい。

請求項１０のダイジェスト作成処理のプログラムにおいて、請求項１４に記載したように、ステップＡは、ステレオ放送の差分音声により音声情報を分析するような構成にしてもよい。

請求項１０のダイジェスト作成処理のプログラムにおいて、請求項１５に記載したように、ステップＡは、隠れマルコフモデルの尤度計算により音声情報を分析するような構成にしてもよい。

請求項１２または１３のダイジェスト作成処理のプログラムにおいて、請求項１６に記載したように、ステップＢは、色の配置に基づき野球場のセンターカメラからの映像であると分析するような構成にしてもよい。

請求項１２または１３のダイジェスト作成処理のプログラムにおいて、請求項１７に記載したように、ステップＢは、色のヒストグラムに基づき野球場のセンターカメラからの映像であると分析するような構成にしてもよい。

請求項１２または１３のダイジェスト作成処理のプログラムにおいて、請求項１８に記載したように、ステップＢは、壁とグラウンドとの境界線に基づき野球場のセンターカメラからの映像であると分析するような構成にしてもよい。

本発明のダイジェスト作成装置及びダイジェスト作成処理のプログラムによれば、テレビ放送のスポーツ番組の中から、勝負に関係のある重要なシーンだけを抽出してダイジェストデータを作成することができるという効果が得られる。

以下、本発明によるダイジェスト作成装置の実施形態について、図１ないし図１０を参照して説明する。
図１は、実施形態におけるダイジェスト作成装置の構成を示すブロック図である。図１において、チューナ１は、アンテナから受信したテレビ放送の高周波の受信信号の中から、インタフェース２のチャンネル選択操作により、制御部３から入力されるチャンネル選択信号に応じて、そのチャンネルの受信信号を中間周波数の受信信号に変換し、フィルタ処理などを行ってデコーダ４に出力する。デコーダ４は、チューナ１から入力される受信信号に対してＡＤ変換処理やＦＦＴ（高速フーリエ変換）処理を行った後に復号化し、復号化した映像情報を表示部５に出力し、復号化した音声情報をサウンドシステム（図示せず）に出力する。
また、デコーダ４は、インタフェース１の記録操作により、制御部１０から入力される記録指令信号に応じて、復号化した映像情報および音声情報をエンコーダ６に出力する。エンコーダ６は、デコーダ４から入力された映像情報および音声情報に対して符号化処理を行って圧縮した状態で、ＨＤＤ（ハードディスク駆動装置）などの記憶部７に記憶する。
デコーダ４は、インタフェース１の通常の再生操作により、制御部１０から入力される再生指令信号に応じて、記憶部７に記憶されている指定された番組の映像情報および音声情報を読み出して、再度復号化して表示部５およびサウンドシステムに出力する。

また、デコーダ４は、インタフェース１のダイジェスト作成操作により、制御部１０から入力されるダイジェスト作成指令信号に応じて、記憶部７に記憶されている指定された番組の映像情報および音声情報を読み出して、再度復号化してダイジェスト作成部８に出力する。ダイジェスト作成部８は、デコーダ４から入力された多数の種類の音声情報の差分音声の中から、ＭＦＣＣ（メルスケール周波数ケプストラム係数）などで特徴抽出を行って学習したＨＭＭ（隠れマルコフモデル）データ９を用いて分析するとともに、映像情報を分析してその映像情報および音声情報のダイジェスト情報を作成し、そのダイジェスト情報をダイジェスト情報記憶部１０に保存する。デコーダ４は、インタフェース１のダイジェスト作成操作により、制御部１０から入力されるダイジェスト再生指令信号に応じて、記憶部７に記憶されている指定された番組の中からダイジェスト情報の映像情報および音声情報だけを復号化して表示部５およびサウンドシステムに出力する。

次に、図１のダイジェスト作成装置の動作について、図２ないし図４のフローチャート、図５および図６の表、図７の音声情報の波形を示す図、図８ないし図１０の画面等に基づいて説明する。アンテナからテレビ放送の受信信号を入力し（ステップＳＡ１）、番組終了か否かを判別する（ステップＳＡ２）。番組終了の場合にはメインフローに戻るが、番組終了でない場合には、デコーダ４によりデコード処理を行って（ステップＳＡ３）、ダイジェスト情報抽出処理を実行する（ステップＳＡ４）。そして、抽出したダイジェスト情報をダイジェスト情報記憶部１０に保存する（ステップＳＡ５）。次に、ダイジェスト情報記憶部１０に保存したダイジェスト情報に対してエンコーダ６によりエンコード処理を行って符号化し（ステップＳＡ６）、符号化したダイジェスト情報を記憶部７であるＨＤＤに書き込み（ステップＳＡ７）、ステップＳＡ２に移行する。

図３は、図２におけるステップＳＡ４のダイジェスト情報抽出処理のフローチャートである。まず、左チャンネルの音声情報から右チャンネルの音声情報を差し引いて差分音声を算出する（ステップＳＢ１）。次に、映像情報がセンターカメラの映像でるかどうかを映像分析により検出する（ステップＳＢ２）。映像分析としては、例えば、色の配置に基づき野球場のセンターカメラからの映像であると分析する。図８（１）は、センターカメラからの映像を示す例である。図８（１）において、ピッチャーズマウンドを含む範囲、及び、ホームプレートを含む範囲であるエリアＣ１は、芝生がなく土が露出している部分であり、茶色ないし焦げ茶色である。エリアＣ２は芝生の部分であり、ほぼ黄緑色である。エリアＣ３は壁の部分であり、広告がない場合には平坦な灰色であり、広告がある場合には様々な原色のカラフルな色である。また、エリアＣは、観客席であるのでかなり複雑な色になっている。センターカメラの映像は、このような色の配置になっているので、現在の映像がセンターカメラからのものであるか、別のカメラからのものであるかを判別することができる。具体的には、図８（２）に示すように、映像の画面を複数個に分割して平均値を算出し、輝度成分（Ｙ）および色差成分（Ｃｒ、Ｃｂ）に対してＤＣＴ（離散コサイン変換）を行って動画像の統計的性質を分析する。
あるいは色のヒストグラムに基づき野球場のセンターカメラからの映像であると分析する。例えば、図８（１）の映像によれば、壁、土、芝生の色に対応する領域の画面全体に対する割合はは、それぞれ図９（１）、（２）、（３）に示すような値になるので、この値に一致する映像をセンターカメラからの映像であると判断する。
あるいは、壁とグラウンドとの境界線に基づき野球場のセンターカメラからの映像であると分析する。例えば、図８（１）の映像から水平方向のエッジを抽出して水平方向に射影して生成したヒストグラムは、図１０に示すように、壁とグラウンドとの境界線ａの位置で高い値ｂを示すので、画面の垂直方向を約６：５に分割する位置にこの値ｂが存在する映像をセンターカメラからの映像であると判断する。

図３のステップＳＢ３において、センターカメラからの映像であると判別したときは、多数の種類の音声情報の差分音声の中から、打撃期待ポインである打球音または捕球音のエリアであるか否かを決定し（ステップＳＢ４）、その打球音（または捕球音）をＭＦＣＣなどで特徴抽出を行って学習したＨＭＭデータ９を用いて尤度計算を行う（ステップＳＢ５）。次に、打球音（または捕球音）の時間軸上の位置を決定する（ステップＳＢ６）。図７は、時間経過に従って差分音声の音量を示す波形を示す図である。このグラフで打球音の波形Ｄの時間軸上の位置ｔ０を決定し、ｔ０から所定時間Ｔの範囲の差分音声に対して、ＨＭＭデータ９を用いて重要シーンの尤度計算を行う（ステップＳＢ５）。図５は、重要シーンであるか不要なシーンであるかを示す表であり、図６は、各シーンに対するモデル名を示す表である。図６においてモデル名Ｑが不要なシーンである。

例えば、図６においてゴロアウトのモデル名Ｇは図７（Ａ）の波形に相当し、打球音直後から声援が静まり、フライより早めに歓声が上がる。また、図６のボールのモデル名Ｑは図７（Ｂ）に相当し、捕球音の後も鳴り物の応援が続く。図７の（Ａ）と（Ｂ）の波形とにおいて、声援と鳴り物とは波形のスペクトルが異なっているので、容易に区別することができる。
なお、図には示さないが、打球音の波形Ｄの代わりに捕球音の波形を抽出した場合にも、その捕球音の波形の時間軸上の位置から所定時間Ｔの期間において、三振、四死球のモデル名に対応する波形を分析する。

図３のステップＳＢ７において、重要シーンのＨＭＭ尤度計算を行った後は、打球音（または捕球音）から所定時間Ｔまでのシーンが重要シーンであるか否かを判別し（ステップＳＢ８）、重要シーンである場合には、打球音（または捕球音）の直前から一定の時刻までのシーンに対応する開始時刻および終了時刻をダイジェスト情報としてダイジェスト情報記憶部１０に登録する（ステップＳＢ９）。そして、メインルーチンに戻る。

図４は、再生処理のフローチャートである。制御部３は、インタフェース２からダイジェストコマンドを入力する（ステップＳＣ１）と、ダイジェスト情報記憶部１０からダイジェスト情報を読み込み（ステップＳＣ２）、番組終了か否かを判別する（ステップＳＣ３）。番組終了でない場合には、読み込んだダイジェスト情報が重要シーンであるか否かを判別する（ステップＳＣ３）。すなわち、記憶部７に記憶されている番組データの経過時刻がダイジェスト情報記憶部１０から読み込んだ開始時刻に達したか否かを判別する。重要シーンである場合には、そのシーンの映像情報をデコードして（ステップＳＣ５）、そのシーンの開始時刻から終了時刻までの映像情報を表示部５に出力するとともに、音声情報をサウンドシステムに出力する（ステップＳＣ６）。そして、ステップＳＣ３に移行する。一方、そのシーンが重要シーンでない場合には、そのシーンを再生しないでスキップし（ステップＳＣ７）、ステップＳＣ３に移行する。ステップＳＣ３において、番組終了に達したときはメインルーチンに戻る。

以上のように、この実施形態によれば、制御部３は、映像音声情報の音声情報を分析するとともに、映像音声情報の映像情報を分析し、少なくとも何れか一方の分析結果に基づき打撃期待ポイントを設定する。そして、打撃期待ポイント後の所定時間の音声情報の分析結果に基づき重要度を判定し、判定した重要度に従って映像音声情報のダイジェストを作成する。
したがって、テレビ放送のスポーツ番組の中から、勝負に関係のある重要なシーンだけを抽出してダイジェストデータを作成することができる。

この場合において、制御部３は、打球音または捕球音であると分析した時点を打撃期待ポイントとして設定する。さらに、野球場のセンターカメラからの映像であると分析し、かつ打球音または捕球音であると分析した時点を打撃期待ポイントとして設定する。そして、野球場のセンターカメラからの映像が終了したと分析した時点から所定の時間遡って打撃期待ポイントを設定する。
この場合において、ステレオ放送の差分音声により音声情報を分析する。さらに、隠れマルコフモデル（ＨＭＭ）の尤度計算により音声情報を分析する。さらに、色の配置に基づき野球場のセンターカメラからの映像であると分析する。あるいは、色のヒストグラムに基づき野球場のセンターカメラからの映像であると分析する。あるいは、壁とグラウンドとの境界線に基づき野球場のセンターカメラからの映像であると分析する。

また、上記各実施形態においては、あらかじめ装置内の不揮発性のメモリ（例えば、記憶部７）に記憶されたダイジェスト作成処理のプログラムを実行する装置の発明について説明したが、フレキシブルディスク（ＦＤ）、ＣＤ、ＭＤ、メモリカードなどの外部記憶媒体に記録されているプログラムを不揮発性のメモリにインストールしたり、インターネットなどのネットワークからダウンロードしたプログラムをそのメモリにインストールして、そのプログラムを制御部によって実行することも可能である。この場合には、プログラムの発明やそのプログラムを記録した記録媒体の発明を実現できる。

すなわち、本発明によるダイジェスト作成処理のプログラムは、コンピュータに、映像音声情報の音声情報を分析するステップＡと、前記映像音声情報の映像情報を分析するステップＢと、前記ステップＡ及び前記ステップＢの少なくとも何れか一方の分析結果に基づき打撃期待ポイントを設定するステップＣと、打撃期待ポイント後の所定時間の音声情報の分析結果に基づき重要度を判定するステップＤと、判定された重要度に従って映像音声情報のダイジェストを作成するステップＥと、を実行させる。

前記ステップＣは、前記ステップＡが打球音または捕球音であると分析した時点を打撃期待ポイントとして設定する。
前記ステップＣは、前記ステップＢが野球場のセンターカメラからの映像であると分析し、かつ前記ステップＡが打球音または捕球音であると分析した時点を打撃期待ポイントとして設定する。
前記ステップＣは、前記ステップＢが野球場のセンターカメラからの映像が終了したと分析した時点から所定の時間遡って打撃期待ポイントを設定する。
前記ステップＡは、ステレオ放送の差分音声により音声情報を分析する。
前記ステップＡは、隠れマルコフモデルの尤度計算により音声情報を分析する。
前記ステップＢは、色の配置に基づき野球場のセンターカメラからの映像であると分析する。
前記ステップＢは、色のヒストグラムに基づき野球場のセンターカメラからの映像であると分析する。
前記ステップＢは、壁とグラウンドとの境界線に基づき野球場のセンターカメラからの映像であると分析する。

本発明の実施形態におけるダイジェスト作成装置の構成を示すブロック図。 図１のダイジェスト作成装置の録画処理の動作を示すフローチャート。 図２におけるダイジェスト情報抽出処理のフローチャート。 図１のダイジェスト作成装置の再生処理の動作を示すフローチャート。 実施形態における映像情報の重要度を示す表。 実施形態における映像情報の重要度とモデル名との対応関係を示す表。 実施形態における音声情報の波形を示す図。 （１）は実施形態におけるセンターカメラからの映像を示す図、（２）は（１）を複数の画面に分割した状態を示す図。 図８（１）の色のヒストグラムにおいて、（１）は壁、（２）は土、（３）は芝生の色のヒストグラムを示す図。 図８（１）の壁とグラウンドとの境界線のヒストグラムを示す図。

符号の説明

１ チューナ
２ インタフェース
３ 制御部
４ デコーダ
５ 表示部
６ エンコーダ
７ 記憶部
８ ダイジェスト生成部
９ ＨＭＭデータ
１０ ダイジェスト情報記憶部

Claims (18)

1. 映像音声情報の音声情報を分析する音声分析手段と、
   前記映像音声情報の映像情報を分析する映像分析手段と、
   前記音声分析手段及び前記映像分析手段の少なくとも何れか一方の分析結果に基づき打撃期待ポイントを設定する打撃期待ポイント設定手段と、
   打撃期待ポイント後の所定時間の音声情報の分析結果に基づき重要度を判定する重要度判定手段と、
   判定された重要度に従って映像音声情報のダイジェストを作成するダイジェスト作成手段と、
   を具備することを特徴とするダイジェスト作成装置。
2. 前記打撃期待ポイント設定手段は、前記音声分析手段が打球音または捕球音であると分析した時点を打撃期待ポイントとして設定することを特徴とする請求項１に記載のダイジェスト作成装置。
3. 前記打撃期待ポイント設定手段は、前記映像分析手段が野球場のセンターカメラからの映像であると分析し、かつ前記音声分析手段が打球音または捕球音であると分析した時点を打撃期待ポイントとして設定することを特徴とする請求項２に記載のダイジェスト作成装置。
4. 前記打撃期待ポイント設定手段は、前記映像分析手段が野球場のセンターカメラからの映像が終了したと分析した時点から所定の時間遡って打撃期待ポイントを設定することを特徴とする請求項１に記載のダイジェスト作成装置。
5. 前記音声分析手段は、ステレオ放送の差分音声により音声情報を分析することを特徴とする請求項１に記載のダイジェスト作成装置。
6. 前記音声分析手段は、隠れマルコフモデルの尤度計算により音声情報を分析することを特徴とする請求項１に記載のダイジェスト作成装置。
7. 前記映像分析手段は、色の配置に基づき野球場のセンターカメラからの映像であると分析することを特徴とする請求項３または４に記載のダイジェスト作成装置。
8. 前記映像分析手段は、色のヒストグラムに基づき野球場のセンターカメラからの映像であると分析することを特徴とする請求項３または４に記載のダイジェスト作成装置。
9. 前記映像分析手段は、壁とグラウンドとの境界線に基づき野球場のセンターカメラからの映像であると分析することを特徴とする請求項３または４に記載のダイジェスト作成装置。
10. コンピュータに、
    映像音声情報の音声情報を分析するステップＡと、
    前記映像音声情報の映像情報を分析するステップＢと、
    前記ステップＡ及び前記ステップＢの少なくとも何れか一方の分析結果に基づき打撃期待ポイントを設定するステップＣと、
    打撃期待ポイント後の所定時間の音声情報の分析結果に基づき重要度を判定するステップＤと、
    判定された重要度に従って映像音声情報のダイジェストを作成するステップＥと、
    を実行させるダイジェスト作成処理のプログラム。
11. 前記ステップＣは、前記ステップＡが打球音または捕球音であると分析した時点を打撃期待ポイントとして設定することを特徴とする請求項１０に記載のダイジェスト作成処理のプログラム。
12. 前記ステップＣは、前記ステップＢが野球場のセンターカメラからの映像であると分析し、かつ前記ステップＡが打球音または捕球音であると分析した時点を打撃期待ポイントとして設定することを特徴とする請求項１１に記載のダイジェスト作成処理のプログラム。
13. 前記ステップＣは、前記ステップＢが野球場のセンターカメラからの映像が終了したと分析した時点から所定の時間遡って打撃期待ポイントを設定することを特徴とする請求項１０に記載のダイジェスト作成処理のプログラム。
14. 前記ステップＡは、ステレオ放送の差分音声により音声情報を分析することを特徴とする請求項１０に記載のダイジェスト作成処理のプログラム。
15. 前記ステップＡは、隠れマルコフモデルの尤度計算により音声情報を分析することを特徴とする請求項１０に記載のダイジェスト作成処理のプログラム。
16. 前記ステップＢは、色の配置に基づき野球場のセンターカメラからの映像であると分析することを特徴とする請求項１２または１３に記載のダイジェスト作成処理のプログラム。
17. 前記ステップＢは、色のヒストグラムに基づき野球場のセンターカメラからの映像であると分析することを特徴とする請求項１２または１３に記載のダイジェスト作成処理のプログラム。
18. 前記ステップＢは、壁とグラウンドとの境界線に基づき野球場のセンターカメラからの映像であると分析することを特徴とする請求項１２または１３に記載のダイジェスト作成処理のプログラム。

Images