JPWO2007114241A1 - 映像処理装置 - Google Patents

Abstract

【課題】静止ショットを検出することによってコンテンツの代表画像を特定することで、実質的な意味での代表画像を効率よく取得する。【解決手段】静止ショット検出手段８１で映像信号より静止ショットを検出し、これに応じて代表画像選定手段８６でコンテンツの代表画像を特定することにより、当該コンテンツの内容を良好に反映した画像を効率よく取得できる。この結果、テロップの検出のみから代表画像を特定する場合と異なり、実質的な意味での代表画像を効率よく取得することができる。

Description

本発明は、処理対象であるコンテンツの内容に応じた代表画像を特定する映像処理装置に関する。

近年、ＤＶＤ（Digital Versatile Disk）／ＨＤＤ（Hard Disk Drive）レコーダ等に代表されるＴＶ録画器は、蓄積媒体の大容量化に伴い、一度に多くの番組を録画、蓄積できるようになっている。これらの機器では、番組ごとにその番組の内容を表す一枚（又は複数）の代表画像を選び、それらを画面上に並べた番組メニュー機能が広く採用されている。

一般に、ＴＶ番組等の映像は、少しずつ異なった多数の画面を連続して表示することで動画として表現されており、この動画を構成する各画面がフレーム画像と称される。通常、上記代表画像は番組の動画中の一枚（又は複数）のフレーム画像を抽出することにより生成される。

このような代表画像を生成する代表画像生成装置としては、例えば特許文献１に記載のものがある。この代表画像生成装置はテロップ検出手段を有しており、テロップを検出した時点での当該テロップが挿入されたフレーム画像を代表画像とするものである。

特開２００３−２９８９８３号公報（第６頁、第９図）

上記従来技術では、テロップが挿入されたフレーム画像を代表画像とするものであるが、例えばニュース番組等テロップが多く表示される番組では、選ばれる代表画像が多数となってしまい、当該番組の内容を良好に反映できない可能性があった。

本発明が解決しようとする課題には、上記した問題が一例として挙げられる。

上記課題を解決するために、請求項１記載の発明は、処理対象のコンテンツに備えられる映像信号より、静止ショットを検出する静止ショット検出手段と、この静止ショット検出手段の検出結果に基づき、前記コンテンツの代表画像を特定する特定手段と、この特定手段で特定した前記代表画像に対応する信号を出力する出力手段とを有する。

以下、本発明の一実施の形態を図面を参照しつつ説明する。

図１は、本実施形態の記録装置１の機能内容を概念的に表す説明図である。この図１において、記録装置１は、電波供給源１００（放送局、中継局、基地局、又は衛星等）からのテレビジョン放送の放送波Ｅを受信し（但し電波に限られずケーブル等の有線を介して放送信号を受信してもよい。以下同様）、その受信した番組映像を一旦公知のハードディスクドライブを用いてハードディスクに書き込み、その後このハードディスクから読み出して光ディスク（例えば書き込み可能なＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭなど）等の記録媒体Ｄに録画する。

図２は、上記記録装置１の機能的構成を表す機能ブロック図である。図２において、記録装置１は、記録装置１全体を制御するシステム制御部５０と、上記放送波Ｅをアンテナ（図示せず）を介して受信し映像信号及び音声信号をそれぞれ出力するＴＶ受信機２と、このＴＶ受信機２からの映像・音声入力（又は外部入力端子を備えた映像・音声入力部３からの映像・音声入力）をＡ／Ｄ変換しエンコードする映像・音声エンコーダ部４と、この映像・音声エンコーダ部４からのエンコードされ上記システム制御部５０で所定の態様に処理された映像・音声信号を、光ピックアップ（図示せず）に駆動信号として供給することにより、データ書き込み用のレーザ光を記録媒体Ｄに照射させるメディア書き込み部５と、上記光ピックアップがデータ読み出し用のレーザ光を記録媒体Ｄに照射したときに受光した反射光の受光出力から、検出信号を生成するメディア読み出し部６と、このメディア読み出し部６で生成され上記システム制御部５０で所定の態様に処理された映像・音声信号をデコードしＤ／Ａ変換する映像・音声デコーダ部７と、この映像・音声デコーダ部から出力されたアナログ映像・音声信号を図示しないＣＲＴ、プラズマディスプレイ、液晶ディスプレイ等の表示装置やスピーカ等へ出力する外部出力端子を備えた映像・音声出力部８と、操作者が各種入力・選択操作を行うための操作部１１（又はリモコンが用いられる場合にはリモコンからの操作信号を入力する操作信号入力部。以下同様）と、公知のハードディスクを備えこのハードディスクへのデータ読み書き機能を備えたハードディスクドライブ１４と、システム制御部５０の制御信号に基づきこのハードディスクドライブ１４へのデータ読み書きを制御するディスク管理部１３と、このハードディスクドライブ１４から読み出された映像信号を処理して代表画像（サムネイル）を特定し、当該代表画像に対応する信号を生成する映像処理部８０と、この映像処理部８０で特定した代表画像等を表示するための表示部９とを有している。

なお、ここでいう「代表画像」とは、受信した放送波Ｅに係る番組内容を良好に反映したフレーム画像のことを指し、この「フレーム画像」とは、少しずつ異なった多数の画面を連続して表示することでＴＶ番組等の動画を構成する各画面のことを指す。

操作部１１は、操作者の操作に対応する各種コマンド信号を出力し、このコマンド信号はシステム制御部５０に入力され、システム制御部５０は、予め設定されたコンピュータプログラムに従って、記録装置１全体の制御を行う。

映像処理部８０は、システム制御部５０に接続されており、ＴＶ受信機２で受信され一旦ハードディスクドライブ１４のハードディスクに記憶された放送波Ｅの映像情報が、記録媒体Ｄへの書き込みのためにシステム制御部５０によりハードディスクから読み出された際に、当該映像情報に含まれる複数のフレーム画像から代表画像を特定し、この代表画像を特定するための特定信号（フレーム指定信号）等をシステム制御部５０に出力するようになっている（詳細は後述の図４参照）。

以上のような構成により、記録装置１は、上記ＴＶ受信機２や上記映像・音声入力部３から入力された映像信号や音声信号を記録媒体Ｄに記録することができ、更に、記録媒体Ｄに記録された映像信号及び音声信号を映像・音声出力部８を介し外部に映像出力及び音声出力可能である。また上述したように、上記記録媒体Ｄへの記録の際に、映像処理部８０により、放送波Ｅにより受信した番組映像の内容に基づき代表画像を特定し、当該代表画像に対応する信号についても記録媒体Ｄに記録する。

図３（ａ）及び図３（ｂ）は、上記システム制御部５０が実行する制御手順を表すフローチャートである。

図３（ａ）は、上記ハードディスクドライブ１４によりハードディスクへ書き込みを行うまでの手順を示している。図３（ａ）において、例えば操作部１１を介しテレビジョン放送の受信及びその記録媒体Ｄへの録画を行うための操作が行われると、このフローが開始される。

まずステップＳ５において、ＴＶ受信機２で受信され映像・音声エンコーダ部４でエンコードされた映像信号及び音声信号を取り込む。

その後、ステップＳ１０において、上記操作部１１における操作者によるチャンネル及び番組選択操作に応じて当該受信され録画される番組に関する所定の情報（例えば、チャンネル番号、番組ジャンル、番組名、放送時間帯、番組長さ、電波種類等）を取得する。このとき、例えば電子番組ガイド（ＥＰＧ）が用いられる場合には、表示部９や別途設けたディスプレイに電子番組ガイドを表示させた状態で、操作者が操作部１１により当該番組の領域（枠）を指定したことに対応して、上記番組に関する所定の情報を取得すればよい。また、このような操作信号でなく、ステップＳ５で受信した映像信号や音声信号等から上記番組に関する所定の情報を取得するようにしてもよい。

次にステップＳ１００へ移り、ディスク管理部１３へ制御信号を出力し、ステップＳ５で受信され映像・音声エンコーダ部４でエンコードされた映像信号及び音声信号に対応した映像情報及び音声情報をハードディスクドライブ１４によってハードディスクへ書き込む。このステップＳ１００が終わったら、図３（ａ）のフローを終了する。

その後、操作者により、例えば操作部１１を介し記録媒体Ｄへの録画を行うための操作が行われると、図３（ｂ）のフローが開始される。まずステップＳ１１０において、ディスク管理部１３へ制御信号を出力し、上記ステップＳ１００でハードディスクへ書き込まれ格納保持されていた映像・音声情報をハードディスクドライブ１４によってハードディスクから読み出す。その後、ステップＳ２００へ移る。

ステップＳ２００では、映像処理部８０に制御信号を出力し、上記ハードディスクから読み出した映像・音声情報のうちの映像情報に含まれる複数のフレーム画像から代表画像を特定する代表画像特定処理を行う（詳細は後述の図７参照）。

その後、ステップＳ４０では、映像処理部８０で生成された記録指示信号（後述）に基づき、メディア書き込み部５に制御信号を出力して上記光ピックアップよりレーザ光を出力させ、ステップＳ５で受信され映像・音声エンコーダ部４でエンコードされた映像信号及び音声信号に対応した映像情報及び音声情報、及び映像処理部８０で生成された代表画像の情報（代表画像を特定するための特定情報）を記録媒体Ｄに書き込む録画処理を実行する。これにより、このフローを終了する。

なお、上記では映像処理部８０で選択した代表画像（ここでは代表画像を特定するための特定情報）をそのまま自動的に確定して記録媒体Ｄに書き込むようにしたが、これに限られない。すなわち、例えば操作者の確認を得た後に代表画像を確定して録画を行うようにしてもよい。この場合、上記ステップＳ２００の代表画像特定処理の後に、表示部９に表示制御信号（表示信号）を出力して代表画像特定処理で特定された代表画像を表示部９に表示させ、その表示部９の代表画像の表示を見た操作者が、例えば１つの代表画像に対して書き込みＯＫとの選択（確認）操作をした場合や、例えば複数の代表画像がある場合にはいずれか１つの代表画像を選択した場合に、当該操作に応じた代表画像を確定し、ステップ４０の録画処理に移るようにすればよい。

図４は、図２に示す映像処理部８０の機能的構成を表す機能ブロック図である。この図４に示すように、映像処理部８０は、静止ショット検出手段８１、静止ショット情報蓄積部８２、テロップ検出手段８３、テロップ情報蓄積部８４、代表ショット検出手段８５、代表画像選定手段８６、特定情報生成手段８７、記録指示信号生成手段８８、及び出力手段８９を有している。

まず、システム制御部５０によりハードディスクドライブ１４のハードディスクから読み出され、映像処理部８０に入力された放送波Ｅの映像情報は、静止ショット検出手段８１に入力される。この静止ショット検出手段８１では、入力された映像情報の信号を解析し、静止ショットを検出する。なお、ここでいう「ショット」とは、映像内で時間的に連続したフレーム集合を指し、「静止ショット」とは、ショットに含まれるフレーム画像が一定時間以上経過しても変化が少ないショットのことを指す。静止ショットの検出手法自体は公知であり、例えば時間的に隣接するフレーム間の各ピクセルの輝度差分値を累積したものや、輝度ヒストグラムの差分値を閾値比較する等の手法で検出すればよい。なお、１つの番組中にフレーム画像の変化が少ない領域が複数ある場合には、複数の静止ショットが検出される。

上記静止ショット検出手段８１で検出された静止ショット情報は、静止ショット情報蓄積部８２で記憶される。静止ショット情報蓄積部８２は、例えば映像処理部８０が有するメモリ等で構成されるが、外付けのＨＤＤ等を用いてもよい。静止ショット情報のパラメータの一例を図５に示す。この図５に示すように、静止ショットの開始／終了フレームの他に、閾値比較の結果などに基づいて算出した信頼度等を加えてもよい。なお、この静止ショット情報は、検出したＴＶ映像の諸情報（番組名、放送日など）と関連付けて保存されるようになっている。

一方、システム制御部５０によりハードディスクドライブ１４のハードディスクから読み出され、映像処理部８０に入力された放送波Ｅの映像情報は、テロップ検出手段８３にも入力される。このテロップ検出手段８３では、入力された映像情報の信号を解析し、公知のテロップ検出手法を用いてテロップを検出する。

上記テロップ検出手段８３で検出されたテロップ情報は、テロップ情報蓄積部８４で記憶される。テロップ情報蓄積部８４は、例えば映像処理部８０が有するメモリ等で構成されるが、外付けのＨＤＤ等を用いてもよい。テロップ情報のパラメータの一例を図６に示す。この図６に示すように、テロップの開始／終了フレーム、テロップ領域を表す座標（例えばテロップ領域が矩形の場合、図中ｘ１，ｙ１はテロップ領域の左上の頂点、ｘ２，ｙ２はテロップ領域の右下の頂点の座標を指す）の他、信頼度や文字認識結果（図示せず）などを加えてもよい。なお、このテロップ情報についても、検出したＴＶ映像の諸情報（番組名、放送日など）と関連付けて保存されるようになっている。

代表ショット検出手段８５は、上記静止ショット情報蓄積部８２に記憶された静止ショット情報及び上記テロップ情報蓄積部８４に記憶されたテロップ情報に基づき、代表ショットを検出する。本実施形態では、静止ショットのショット長が所定値より長く、且つその静止ショット中のテロップの大きさが所定値より大きいものを代表ショットとして検出する（後述の図７参照）。なお、この条件を満たす静止ショットが複数存在する場合、複数の代表ショットが検出される。

代表画像選定手段８６は、上記代表ショット検出手段８５で検出した代表ショット内のフレーム画像を代表画像として選定する。本実施形態では、代表ショットは静止ショットであり、それを構成するフレーム画像はほぼ同様の画像であることから、代表ショット中の任意のフレーム画像を選定する。なお、例えばショット開始から所定の時間経過後のフレーム画像を選んでもよいし、ショット開始から所定のフレーム数に当たるフレーム画像を選ぶようにしてもよい。また、代表ショット検出手段８５により複数の代表ショットが検出されている場合には、どの代表ショットから代表画像を選択するかは本実施形態では特に規定しないが、例えば番組の先頭に最も近いものや、ショット長が最大のもの、又はテロップの大きさが最大のもの等、一定の条件を設けて選択するようにしてもよい。

特定情報生成手段８７は、上記代表画像選定手段８６で選定した代表画像を特定するための特定情報として、選定された代表画像がどの代表ショット中のどのフレーム画像であるかを示すフレーム指定信号を生成する。

記録指示信号生成手段８８は、上記特定情報生成手段８７で生成された特定情報を、対応する映像信号と関連付けて記録媒体Ｄに記録するための記録指示信号（第１記録指示信号）を生成する。

出力手段８９は、上記特定情報生成手段８７で生成された特定情報及び記録指示信号生成手段８８で生成された記録指示信号をシステム制御部５０へ出力する。

図７は、図３（ｂ）に示すステップＳ２００（代表画像特定処理）の詳細手順を表すフローチャートである。

この図７において、まずステップＳ２０５では、静止ショット情報のＩＤ番号（前述の図５参照）をカウントする変数Ｋを０に初期化する。そして、次のステップＳ２１０において、ディスク管理部１３に制御信号を出力し、ハードディスクドライブ１４のハードディスクから映像・音声情報を読み出し、そのうちの映像情報を映像処理部８０に入力させる。

次のステップＳ２１５では、映像処理部８０に制御信号を出力し、静止ショット検出手段８１により上記入力された映像情報の信号を公知の手法で解析して静止ショットを検出し、さらに静止ショット情報蓄積部８２に当該検出した静止ショット情報を記憶させる。

次のステップＳ２２０では、映像処理部８０に制御信号を出力し、テロップ検出手段８３により上記入力された映像情報の信号を公知の手法で解析してテロップを検出し、さらにテロップ情報蓄積部８４に当該検出したテロップ情報を記憶させる。

次のステップＳ２２５では、映像処理部８０に制御信号を出力し、代表ショット検出手段８５により、上記静止ショット情報蓄積部８２に記憶された静止ショット情報のうちの静止ショットＫ（ＩＤがＫである静止ショット情報）を読み出し取得させる。

次のステップＳ２３０では、映像処理部８０に制御信号を出力し、代表ショット検出手段８５により、上記取得した静止ショットＫの開始／終了フレーム情報（前述の図５参照）からショット長を算出し、このショット長が閾値ＴＨａより大きいかどうかを判定する。この閾値ＴＨａは代表ショットを選定するための最小ショット長を表す値であり、例えば９０フレーム（時間にして約３秒相当）程度に設定されている。なお、閾値ＴＨａの値はこれに限定されるものではなく、他の値に設定してもよい。また、閾値ＴＨａをフレーム数でなく時間で設定するようにしてもよい。静止ショットＫのショット長が閾値ＴＨａより大きければ、判定が満たされて次のステップＳ２３５に移る。

ステップＳ２３５では、映像処理部８０に制御信号を出力し、代表ショット検出手段８５により、上記ショット長が閾値ＴＨａより大きいと判定された静止ショットＫのショット区間内にテロップ情報があるかどうかを判定する。具体的には、静止ショットＫの開始／終了フレーム情報（前述の図５参照）と、上記ステップＳ２２０で検出・記憶したテロップ情報の開始／終了フレーム情報（前述の図６参照）とを比較し、重なるフレーム領域があればテロップ情報があると判定し、重ならなければテロップ情報がないと判定する。静止ショットＫにテロップ情報がある場合には、判定が満たされて次のステップＳ２４０に移る。

ステップＳ２４０では、映像処理部８０に制御信号を出力し、代表ショット検出手段８５により、上記静止ショットＫのショット区間内に含まれるテロップ情報のテロップ領域情報（前述の図６参照）に基づいてテロップの大きさ（ここではテロップ領域の面積）を算出し、このテロップの大きさが閾値ＴＨｂより大きいかどうかを判定する。この閾値ＴＨｂは代表ショットを選定するためのテロップの最小面積を表す値であり、例えば画面全体面積の１０％程度に設定されている。なお、閾値ＴＨｂの値はこれに限定されるものではなく、他の値に設定してもよい。また、テロップの大きさを表すパラメータとしては、上記のようにテロップ領域の面積に限られず、テロップ１文字（又は文字領域）あたりの面積や、文字（又は文字領域）の高さ（縦方向寸法）等を用いてもよい。テロップの大きさが閾値ＴＨｂより大きければ、判定が満たされて次のステップＳ２４５に移る。

ステップＳ２４５では、映像処理部８０に制御信号を出力し、代表ショット検出手段８５により静止ショットＫを代表ショットと判定する。そして、次のステップＳ２５０に移る。なお、上記のステップＳ２３０において静止ショットＫのショット長が閾値ＴＨａ以下である場合、ステップＳ２３５において静止ショットＫにテロップ情報がない場合、及びステップＳ２４０においてテロップの大きさが閾値ＴＨｂ以下である場合には、各ステップにおける判定が満たされずに次のステップＳ２５０に直接移る。

ステップＳ２５０では、映像処理部８０に制御信号を出力し、代表ショット検出手段８５により、上記ステップＳ２１５で検出された全静止ショットについて上記ステップＳ２２５〜ステップＳ２４５までの手順が行われたかどうかを判定する。すなわち、例えば上記ステップＳ２１５で３つの静止ショットが検出されている場合には、静止ショット情報のＩＤ番号をカウントする変数Ｋが０から始まって２に到達していなければ（前述の図５参照）、全ての静止ショットについて判定が終了していないと見なされて次のステップＳ２５５に移り、変数Ｋに１を加えて先のステップＳ２２５に戻る。一方、変数Ｋが０から始まって２に到達していれば（前述の図５参照）、全ての静止ショットについて判定が終了したと見なされて次のステップＳ２６０に移る。

ステップＳ２６０では、映像処理部８０に制御信号を出力し、代表画像選定手段８６により、上記ステップＳ２４５で代表ショットと判定されたショット区間内の１フレーム画像を代表画像として選定する。このとき、前述したように代表ショットは静止ショットであるので、代表ショット中の任意のフレーム画像が代表画像として選定される。また、代表ショット検出手段８５により複数の代表ショットが検出されている場合には、前述したように任意の代表ショットから代表画像が選択される。

次のステップＳ２６５では、映像処理部８０に制御信号を出力し、特定情報生成手段８７により、上記選定した代表画像を特定するための特定情報として、選定された代表画像がどの代表ショット中のどのフレーム画像であるかを示すフレーム指定信号を生成させる。また、記録指示信号生成手段８８により、上記特定情報生成手段８７で生成された特定情報を、対応する映像信号と関連付けて記録媒体Ｄに記録するための記録指示信号を生成させる。

次のステップＳ２７０では、映像処理部８０に制御信号を出力し、出力手段８９により、上記ステップＳ２６５で生成した特定情報及び記録指示信号をステップＳ２１０で入力した映像情報と共にシステム制御部５０へ出力させる。以上により本ルーチンを終了する。

なお、以上では、１つの代表画像を特定する場合を例にとって説明したが、これに限られず、例えば複数の代表ショットがある場合に各代表ショットから１つずつ代表画像を特定し、複数の代表画像を特定するようにしてもよい。この場合、前述したようにそれら複数の代表画像を表示部９に表示させ、操作者がいずれか１つの代表画像を選択するようにすればよい。

以上説明したように、本実施形態における映像処理装置（この例では映像処理部）８０は、処理対象のコンテンツに備えられる映像信号より、静止ショットを検出する静止ショット検出手段８１と、この静止ショット検出手段８１の検出結果に基づき、コンテンツの代表画像を特定する特定手段（この例では代表画像選定手段）８６と、この特定手段８６で特定した代表画像に対応する信号を出力する出力手段８９とを有することを特徴とする。

コンテンツの映像信号には、時間的に連続したフレーム集合としてのショットが複数含まれている。一般に、コンテンツの視聴者は、コンテンツ中に静止している部分が存在すると特に注目して見る傾向があることから、コンテンツの製作・放送主体は、視聴者の注意を惹きつけたい場面及びその前後のフレームを静止フレームとして構成する（＝静止ショット）場合が多い。本実施形態はこれに対応し、静止ショット検出手段８１で映像信号より静止ショットを検出し、これに応じて特定手段８６でコンテンツの代表画像を特定するようにする。このようにして特定した代表画像は、前述のような製作・放送主体の意図が反映したものとなるため、当該特定された代表画像に対応する、出力手段８９から出力された信号を適宜用いることで、視聴者の注意が惹きつけられる（言い換えれば当該コンテンツの内容を良好に反映した）画像を効率よく抽出することが可能となる。この結果、テロップの検出のみから代表画像を特定する場合と異なり、実質的な意味での代表画像を効率よく取得することができる。

上記実施形態における映像処理装置８０においては、特定手段８６の特定結果に基づき、コンテンツの代表画像を特定するための特定情報を生成する特定情報生成手段８７を有し、出力手段８９は、対応する信号として、特定情報を出力することを特徴とする。

特定された代表画像に対応する特定情報を出力手段８９から出力することにより、処理装置外の外部機器側で、この特定情報を用いて、当該コンテンツの内容を良好に反映した画像を効率よく抽出し、その代表画像を用いて各種の用途に用いることができる。

上記実施形態における映像処理装置８０においては、特定情報又はこれに関連する情報を、対応する映像信号と関連付けて記録媒体Ｄに記録するための第１記録指示信号（この例では記録指示信号）を生成する第１記録指示信号生成手段（この例では記録指示信号生成手段）８８を有し、出力手段８９は、特定情報と第１記録指示信号とを出力することを特徴とする。

これにより、記録装置１において、映像信号とこれに対応する特定情報とを互いに関連付けた形で記録媒体Ｄに記録することができる。

上記実施形態における映像処理装置８０においては、コンテンツに備えられる映像信号の各フレームのテロップを検出するテロップ検出手段８３を有し、特定手段８６は、静止ショット検出手段８１の検出結果と、テロップ検出手段８３の検出結果とに基づき、代表画像を特定することを特徴とする。

コンテンツの製作・放送主体は、視聴者の注意を惹きつけたい場面及びその前後のフレームには併せてテロップを用いる場合が多い。本実施形態ではこれに対応し、テロップ検出手段８３でテロップ検出を行い、特定手段８６でこのテロップ検出結果も加味して代表画面の特定を行うことにより、さらに確実に、コンテンツの内容を良好に反映した画像を効率よく抽出することができる。

なお、本実施形態は、上記に限られず、種々の変形が可能である。以下、そのような変形例を順を追って説明する。

（１）代表画像の画像情報自体を生成し出力する場合
上記実施形態では、特定情報生成手段８７により、代表画像選定手段８６で選定した代表画像を特定するための特定情報として、選定された代表画像がどの代表ショット中のどのフレーム画像であるかを示すフレーム指定信号を生成し、当該フレーム指定信号をシステム制御部５０に出力するようにしたが、これに限られない。すなわち、例えば代表画像選定手段８６で選定した代表画像に対応する画像情報自体を生成し、当該画像情報を出力するようにしてもよい。

図８は、本変形例の映像処理部８０の機能的構成を表す機能ブロック図であり、前述の図４に対応する図である。図４と同様の部分には同符号を付し説明を省略する。

この図８において、代表画像生成手段８７Ａは、代表画像選定手段８６で選定した代表画像に対応する画像情報を生成する（又は映像情報中から抽出してもよい）。また、記録指示信号生成手段８８Ａは、上記代表画像生成手段８７Ａで生成された画像情報を、対応する映像信号と関連付けて記録媒体Ｄに記録するための記録指示信号（第２記録指示信号）を生成する。そして、出力手段８９は、上記代表画像生成手段８７Ａで生成された画像情報及び記録指示信号生成手段８８Ａで生成された記録指示信号をシステム制御部５０へ出力する。

本変形例における映像処理装置８０においては、特定手段８６の特定結果に基づき、コンテンツの映像信号より当該コンテンツの代表画像を生成する代表画像生成手段８７Ａを有し、出力手段８９は、対応する信号として、代表画像を出力することを特徴とする。

特定された代表画像を代表画像生成手段８７Ａで生成することにより、当該コンテンツの内容を良好に反映した画像を効率よく抽出でき、さらに出力手段８９から出力されたこの代表画像を用いて各種の用途に用いることができる。

本変形例における映像処理装置８０においては、代表画像又はこれに関連する情報を、対応する映像信号と関連付けて記録媒体Ｄに記録するための第２記録指示信号（この例では記録指示信号）を生成する第２記録指示信号生成手段（この例では記録指示信号生成手段）８８Ａを有し、出力手段８９は、代表画像信号と、第２記録指示信号とを出力することを特徴とする。

これにより、記録装置１において、映像信号とこれに対応する代表画像とを互いに関連付けた形で記録媒体Ｄに記録することができる。

（２）ＨＤＤへの書き込み時に代表画像の特定を行う場合
上記実施形態では、受信した番組映像情報を一旦ハードディスクドライブ１４を用いてハードディスクに書き込み、その後このハードディスクから映像情報を読み出して代表画像の特定処理を行った後、当該特定された代表画像と共に番組映像情報を記録媒体Ｄに録画するようにしたが、これに限られない。すなわち、例えば受信した番組映像情報をハードディスクに書き込む際に代表画像の特定を行い、当該特定された代表画像と共に番組映像情報をハードディスクに書き込むようにしてもよい。

図９（ａ）及び図９（ｂ）は、本変形例のシステム制御部５０が実行する制御手順を表すフローチャートであり、前述の図３（ａ）及び図３（ｂ）に対応する図である。これら図３（ａ）及び図３（ｂ）と同様の手順には同符号を付し説明を省略する。

図９（ａ）は、ハードディスクドライブ１４によりハードディスクへ書き込みを行うまでの手順を示している。この図９（ａ）において、ステップＳ５及びステップＳ１０では、ＴＶ受信機２で受信され映像・音声エンコーダ部４でエンコードされた映像信号及び音声信号を取り込み、当該受信され録画される番組に関する所定の情報を取得する。その後、ステップＳ２００では、映像処理部８０に制御信号を出力し、上記ＴＶ受信機２で受信され映像・音声エンコーダ部４でエンコードされた映像信号に含まれる複数のフレーム画像から代表画像を特定する代表画像特定処理を行う（前述の図７参照）。そして、次のステップＳ１００で、ディスク管理部１３へ制御信号を出力し、ステップＳ５で受信された映像情報及び音声情報を、映像処理部８０で生成された代表画像の情報（代表画像を特定するための特定情報又は画像情報自体）と共にハードディスクドライブ１４によってハードディスクへ書き込む。

その後、操作者により、例えば操作部１１を介し記録媒体Ｄへの録画を行うための操作が行われると、図９（ｂ）のフローが開始される。まずステップＳ１１０において、ディスク管理部１３へ制御信号を出力し、上記ステップＳ１００でハードディスクへ書き込まれ格納保持されていた代表画像情報を含む映像・音声情報をハードディスクドライブ１４によってハードディスクから読み出す。そして、ステップＳ６０で、メディア書き込み部５に制御信号を出力して上記光ピックアップよりレーザ光を出力させ、上記ハードディスクから読み出した代表画像情報を含む映像・音声情報を記録媒体Ｄに書き込む録画処理を実行する。これにより、このフローを終了する。

なお、上記においても、前述したように操作者の確認を得た上でハードディスクに書き込むようにしてもよい。すなわち、ステップＳ２００の代表画像特定処理の後、特定された代表画像を表示部９に表示させ、操作部１１より操作者による代表画像確定としての選択操作入力（指示信号）があった場合に、上記ステップＳ１００に移るようにすればよい。

本変形例における映像処理装置８０においても、上記実施形態と同様の効果を奏する。

（３）代表画像の特定を行いつつ直接ディスクに録画する場合
上記実施形態では、受信した番組映像情報を一旦ハードディスクドライブ１４を用いてハードディスクに書き込み、その後このハードディスクから映像情報を読み出して代表画像の特定処理を行った後、当該特定された代表画像と共に番組映像情報を記録媒体Ｄに録画するようにしたが、これに限られない。すなわち、例えばハードディスクへの書き込みを行わずに、受信した番組映像情報を代表画像の特定を行いつつ直接記録媒体Ｄに録画するようにしてもよい。

図１０は、本変形例の記録装置１の機能的構成を表す機能ブロック図であり、前述の図２に対応する図である。図２と同様の部分には同符号を付し説明を省略する。この図１０に示すように、本変形例の記録装置１は、ディスク管理部１３とハードディスクドライブ１４とを有しない構成となっている。

図１１は、本変形例のシステム制御部５０が実行する制御手順を表すフローチャートであり、前述の図３に対応する図である。図３と同様の手順には同符号を付し説明を省略する。

この図１１において、ステップＳ５及びステップＳ１０では、ＴＶ受信機２で受信され映像・音声エンコーダ部４でエンコードされた映像信号及び音声信号を取り込み、当該受信され録画される番組に関する所定の情報を取得する。その後、ステップＳ２００では、映像処理部８０に制御信号を出力し、上記ＴＶ受信機２で受信され映像・音声エンコーダ部４でエンコードされた映像信号に含まれる複数のフレーム画像から代表画像を特定する代表画像特定処理を行う（前述の図７参照）。そして、次のステップＳ６０で、メディア書き込み部５に制御信号を出力して上記光ピックアップよりレーザ光を出力させ、ステップＳ５で受信され映像・音声エンコーダ部４でエンコードされた映像信号及び音声信号に対応した映像情報及び音声情報、及び映像処理部８０で生成された代表画像の情報（代表画像を特定するための特定情報又は画像情報自体）を記録媒体Ｄに書き込む録画処理を実行する。これにより、このフローを終了する。

なお、上記においても、前述したように操作者の確認を得た上で記録媒体Ｄへの録画を行うようにしてもよい。すなわち、ステップＳ２００の代表画像特定処理の後、特定された代表画像を表示部９に表示させ、操作部１１より操作者による代表画像確定としての選択操作入力（指示信号）があった場合に、上記ステップＳ６０に移るようにすればよい。

本変形例における映像処理装置８０においても、上記実施形態と同様の効果を奏する。

（４）代表画像を印刷する場合
図１２は、本変形例の記録装置１の機能的構成を表す機能ブロック図であり、前述の図２に対応する図である。図２と同様の部分には同符号を付し説明を省略する。この図１２に示すように、本変形例の記録装置１には、映像・音声出力部８を介してプリンタ２００が接続されている。これにより、映像処理部８０で生成された代表画像の情報（ここでは画像情報）は、映像・音声デコーダ部７でＤ／Ａ変換され映像・音声出力部８を介してプリンタ２００に出力され、当該プリンタ２００で代表画像を印刷可能となっている。

図１３は、本変形例の映像処理部８０の機能的構成を表す機能ブロック図であり、前述の図４に対応する図である。図４と同様の部分には同符号を付し説明を省略する。

この図１３において、代表画像生成手段８７Ａは、上記変形例（１）と同様であり、代表画像選定手段８６で選定した代表画像に対応する画像情報を生成する（又は抽出する）。また、記録指示信号生成手段８８Ａは、上記代表画像生成手段８７Ａで生成された画像情報を、対応する映像信号と関連付けて記録媒体Ｄに記録するための記録指示信号（第２記録指示信号）を生成する。さらに、印刷指示信号生成手段８８Ｂは、上記代表画像生成手段８７Ａで生成された画像情報をプリンタ２００で所定の印刷媒体に印刷するための印刷指示信号を生成する。そして、出力手段８９は、上記代表画像生成手段８７Ａで生成された画像情報、記録指示信号生成手段８８Ａで生成された記録指示信号、及び印刷指示信号生成手段８８Ｂで生成された印刷指示信号をシステム制御部５０へ出力する。

図１４（ａ）及び図１４（ｂ）は、本変形例のシステム制御部５０が実行する制御手順を表すフローチャートであり、前述の図３（ａ）及び図３（ｂ）に対応する図である。これら図３（ａ）及び図３（ｂ）と同様の手順には同符号を付し説明を省略する。

図１４（ａ）は、図３（ａ）と同様であるので説明を省略する。また、図１４（ｂ）において、ステップＳ１１０〜ステップＳ６０は図３（ｂ）と同様である。すなわち、ステップＳ１１０において、ハードディスクへ書き込まれ格納保持されていた映像・音声情報をハードディスクドライブ１４によってハードディスクから読み出し、ステップＳ２００では、このハードディスクから読み出した映像・音声情報のうちの映像情報に含まれる複数のフレーム画像から代表画像を特定する代表画像特定処理を行う（図７参照）。次にステップＳ６０では、映像処理部８０で生成された記録指示信号に基づき、映像情報及び音声情報及び映像処理部８０で生成された代表画像の情報（ここでは画像情報）を記録媒体Ｄに書き込む録画処理を実行する。

次のステップＳ７０では、上記印刷指示信号生成手段８８Ｂで生成された印刷指示信号に基づき、上記映像・音声デコーダ部７に制御信号を出力して映像処理部８０で生成された代表画像の情報（ここでは画像情報）をＤ／Ａ変換し、映像・音声出力部８を介してプリンタ２００に出力する。その結果、プリンタ２００による代表画像の印刷が行われる。そして、このフローを終了する。

なお、上記においても、前述したように操作者の確認を得た上で記録媒体Ｄへの録画及び印刷を行うようにしてもよい。すなわち、ステップＳ２００の代表画像特定処理の後、特定された代表画像を表示部９に表示させ、操作部１１より操作者による代表画像確定としての選択操作入力（指示信号）があった場合に、上記ステップＳ６０に移るようにすればよい。

また、上記においては、代表画像を記録装置１の外部に設けたプリンタ２００で印刷するようにしたが、これに限られず、例えば記録装置１内に記録媒体Ｄの表面に印刷を行うことが可能な印刷手段を設けておき、この印刷手段で代表画像を記録媒体Ｄに対しレーベル印刷するようにしてもよい。これにより、ユーザにとって記録内容が分かりやすい記録媒体Ｄを実現することができる。

本変形例における映像処理装置８０においては、代表画像又はこれに関連する情報を、所定の印刷媒体に印刷するための印刷指示信号を生成する印刷指示信号生成手段８８Ｂを有し、出力手段８９は、代表画像信号と、印刷指示信号とを出力することを特徴とする。

これにより、印刷装置（この例ではプリンタ）２００において、コンテンツに対応する代表画像を印刷することができる。

（５）チャプタ（番組内の区切り）分割を行う場合
上記実施形態では、複数の代表画像が選定された場合に、それら複数の代表画像を表示部９に表示させ、操作者がいずれか１つの代表画像を選択するようにしたが、これに限られず、例えばそれを元にテレビ映像のチャプタ分割を行うようにしてもよい。

図１５（ａ）及び図１５（ｂ）は本変形例の具体例を示す図であり、図１５（ａ）は１つの番組の映像情報中にチャプタ及びその代表画像を決定する手順を説明するための図、図１５（ｂ）はチャプタメニューの一例を表す図である。

図１５（ａ）において、ここではテレビ番組の流れを横軸で示しており、軸の左端が番組開始、右端が番組終了である。このとき、上側の（Ａ）の太帯部分で示すように、テレビ番組（この例では「○○ニュース」）の映像情報中に代表ショットが３つ検出されている。これを元にチャプタ（番組内の区切り）開始位置及び各チャプタに対応する代表画像を決定する。すなわち、下側の（Ｂ）に示すように、各代表ショットの開始位置を各チャプタ（チャプタ♯１，♯２，♯３）の開始位置とし、各代表ショットから選択された代表画像（代表画像♯１，♯２，♯３）をそれぞれ各チャプタの代表画像（サムネイル）とする。

これにより、図１５（ｂ）に示すように、番組中の各チャプタの内容を適切に表した代表画像をメニューに表示することができ、ユーザにとって分かりやすく効果的なチャプタメニューを実現することができる。また、代表画像が複数検出された場合に、上記実施形態のように取捨選択をする必要がないので、ユーザが真に欲している代表画像を誤って削除するおそれを低減できる。

なお、上記では、各代表ショットの開始位置をチャプタ開始位置とするようにしたが、それ以外の位置、例えば代表ショット直前の無音部分やカット点等、一定の条件を満たす位置をチャプタ開始位置としてもよい。

（６）番組に応じて静止ショット検出時の閾値を変更する場合
前述したように、公知の静止ショットの検出手法として、輝度ヒストグラムの差分値を閾値比較する手法、すなわち、フレーム毎にそれ自身とその前フレームとの輝度ヒストグラム差分値を算出しておき、それがある閾値を下回る区間を静止ショットとする手法がある。このとき、上記閾値を番組の平均輝度ヒストグラム差分値に応じて変更するようにしてもよい。

図１６は、番組に応じて閾値を変更する場合の一例を表す図である。この図１６において、横軸はフレームを表し、縦軸は各フレームとその前フレームとの輝度ヒストグラム差分値を表す。ここでは、図示のように、平均輝度ヒストグラム差分値が比較的高い番組α（例えばスポーツ番組等）では閾値を高めに設定し、平均輝度ヒストグラム差分値が比較的低い番組β（例えばアニメ番組等）では閾値を低めに設定している。

このように、番組の平均輝度ヒストグラム差分値に応じて閾値を変化させることにより、例えばアニメ番組において口だけがパクパクしているような場面等、輝度ヒストグラム差分値は比較的低いが本来静止ショットでない場面を、静止ショットとして誤検出するのを防止することができ、静止ショット検出の精度を向上することができる。

なお、以上では静止ショットの検出手法として輝度ヒストグラムの差分値を閾値比較する手法を用いる場合を例にとって説明したが、これに限られず、他の手法に対しても、本変形例における番組の平均的な静止度合いによって閾値を変動する考え方は適用可能である。

（７）ＣＭ部分を代表画像の候補から外す場合
上記実施形態では、番組中のＣＭ（Commercial Message）を特に検出するようにはしなかったが、これに限られず、番組中のＣＭを検出し、ＣＭであると判断された区間内で検出された静止ショットを代表ショットの候補から外すようにしてもよい。具体的には、公知のＣＭ検出手段（図示せず）を設けておき、静止ショット検出手段８１で検出された静止ショットのうち、ＣＭであると判断された区間内で検出された静止ショットは代表ショットの候補から除外するようにすればよい。また、一般にテレビＣＭにおいては、２つ以上の静止ショットが時間的に連続して現れることが多いことから、静止ショット検出手段８１で２つ以上の異なる静止ショットが時間的に連続して検出された場合に、当該静止ショットを代表ショットから除外するようにしてもよい。

これにより、明らかに代表画像に適さないＣＭの区間を除外することができ、代表ショット検出の精度を向上することができる。

上記実施形態における映像処理部８０は、処理対象のコンテンツに備えられる映像信号より、静止ショットを検出する静止ショット検出手段８１と、この静止ショット検出手段８１の検出結果に基づき、コンテンツの代表画像を特定する代表画像選定手段８６と、この代表画像選定手段８６で特定した代表画像に対応する信号を出力する出力手段８９とを有する。

コンテンツの映像信号には、時間的に連続したフレーム集合としてのショットが複数含まれている。一般に、コンテンツの視聴者は、コンテンツ中に静止している部分が存在すると特に注目して見る傾向があることから、コンテンツの製作・放送主体は、視聴者の注意を惹きつけたい場面及びその前後のフレームを静止フレームとして構成する（＝静止ショット）場合が多い。本実施形態はこれに対応し、静止ショット検出手段８１で映像信号より静止ショットを検出し、これに応じて代表画像選定手段８６でコンテンツの代表画像を特定するようにする。このようにして特定した代表画像は、前述のような製作・放送主体の意図が反映したものとなるため、当該特定された代表画像に対応する、出力手段８９から出力された信号を適宜用いることで、視聴者の注意が惹きつけられる（言い換えれば当該コンテンツの内容を良好に反映した）画像を効率よく抽出することが可能となる。この結果、テロップの検出のみから代表画像を特定する場合と異なり、実質的な意味での代表画像を効率よく取得することができる。

本発明の一実施形態の記録装置の機能内容を概念的に表す説明図である。 図１に示す記録装置の機能的構成を表す機能ブロック図である。 図２に示すシステム制御部が実行する制御手順を表すフローチャートである。 図２に示す映像処理部の機能的構成を表す機能ブロック図である。 静止ショット情報のパラメータの一例を表す図である。 テロップ情報のパラメータの一例を表す図である。 図３（ｂ）に示すステップＳ２００の詳細手順を表すフローチャートである。 代表画像の画像情報自体を生成し出力する場合の映像処理部の機能的構成を表す機能ブロック図である。 ＨＤＤへの書き込み時に代表画像の特定を行う場合のシステム制御部が実行する制御手順を表すフローチャートである。 代表画像の特定を行いつつ直接ディスクに録画する場合の記録装置の機能的構成を表す機能ブロック図である。 代表画像の特定を行いつつ直接ディスクに録画する場合のシステム制御部が実行する制御手順を表すフローチャートである。 代表画像を印刷する場合の記録装置の機能的構成を表す機能ブロック図である。 代表画像を印刷する場合の映像処理部の機能的構成を表す機能ブロック図である。 代表画像を印刷する場合のシステム制御部が実行する制御手順を表すフローチャートである。 チャプタ分割を行う場合における１つの番組の映像情報中にチャプタ及びその代表画像を決定する手順を説明するための図及びチャプタメニューの一例を表す図である。 番組に応じて静止ショット検出時の閾値を変更する場合における番組に応じて閾値を変更する場合の一例を表す図である。

符号の説明

８０ 映像処理部（映像処理装置）
８１ 静止ショット検出手段
８３ テロップ検出手段
８６ 代表画像選定手段（特定手段）
８７ 特定情報生成手段
８７Ａ 代表画像生成手段
８８ 記録指示信号生成手段（第１記録指示信号生成手段）
８８Ａ 記録指示信号生成手段（第２記録指示信号生成手段）
８８Ｂ 印刷指示信号生成手段
８９ 出力手段

【０００２】
［０００８］
上記課題を解決するために、請求項１記載の発明は、処理対象のコンテンツに備えられる映像信号より、静止ショットを検出する静止ショット検出手段と、所定の閾値比較の結果に基づいて算出した信頼度を前記静止ショットに加えた静止ショット情報を記憶する静止ショット記憶手段と、前記コンテンツの代表画像を特定する特定手段と、前記特定手段で特定した前記代表画像に対応する信号を出力する出力手段と、前記コンテンツに備えられる前記映像信号の各フレームのテロップを検出するテロップ検出手段と、前記テロップ検出手段によるテロップ検出結果に所定の信頼度を加えたテロップ情報を記憶するテロップ情報蓄積手段と、を有し、前記特定手段は、前記静止ショット記憶手段に記憶された前記静止ショット情報と、前記テロップ情報蓄積手段に記憶されたテロップ情報とに基づき、前記代表画像を特定する。
発明を実施するための最良の形態
［０００９］
以下、本発明の一実施の形態を図面を参照しつつ説明する。
［００１０］
図１は、本実施形態の記録装置１の機能内容を概念的に表す説明図である。この図１において、記録装置１は、電波供給源１００（放送局、中継局、基地局、又は衛星等）からのテレビジョン放送の放送波Ｅを受信し（但し電波に限られずケーブル等の有線を介して放送信号を受信してもよい。以下同様）、その受信した番組映像を一旦公知のハードディスクドライブを用いてハードディスクに書き込み、その後このハードディスクから読み出して光ディスク（例えば書き込み可能なＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭなど）等の記録媒体Ｄに録画する。
［００１１］
図２は、上記記録装置１の機能的構成を表す機能ブロック図である。図２において、記録装置１は、記録装置１全体を制御するシステム制御部５０と、上記放送波Ｅをアンテナ（図示せず）を介して受信し映像信号及び音声信号をそれぞれ出力するＴＶ受信機２と、このＴＶ受信機２からの映像・音声入力（又は外部入力端子を備えた映像・音声入力部３からの映像・音声入力）をＡ／Ｄ変換しエンコードする映像・音声エンコーダ部４と、この映像・音声エンコーダ部４からのエンコードされ上記システム制御部５０で所定の態様に処理された映像・音声信号を、光ピックアップ（図示せず）に駆動信号として供給することにより、データ書き込み用のレーザ光を記録媒体Ｄに照射させるメディア書き込み部５と、上記光ピックアップがデータ読み出し用のレーザ光を記録媒体Ｄに照射したときに受光した反射光の受光出力から、検出信号を生成するメディア読み出し部６と、このメディア読み出し部６で生成され上記システム制御部５０で所定の態様に処理された映像・音声信号をデコードしＤ／Ａ変換する映像・音声デコーダ部７と、この映像・音声デコーダ部から出力されたアナログ映像・音声信号を図示しないＣＲＴ、プラズマディスプレイ、液晶ディスプレイ等の表示装置やスピーカ

Claims (7)

1. 処理対象のコンテンツに備えられる映像信号より、静止ショットを検出する静止ショット検出手段と、
   この静止ショット検出手段の検出結果に基づき、前記コンテンツの代表画像を特定する特定手段と、
   この特定手段で特定した前記代表画像に対応する信号を出力する出力手段と
   を有することを特徴とする映像処理装置。
2. 請求項１記載の映像処理装置において、
   前記特定手段の特定結果に基づき、前記コンテンツの代表画像を特定するための特定情報を生成する特定情報生成手段を有し、
   前記出力手段は、前記対応する信号として、前記特定情報を出力することを特徴とする映像処理装置。
3. 請求項２記載の映像処理装置において、
   前記特定情報又はこれに関連する情報を、対応する前記映像信号と関連付けて所定の記録媒体に記録するための第１記録指示信号を生成する第１記録指示信号生成手段を有し、
   前記出力手段は、前記特定情報と前記第１記録指示信号とを出力することを特徴とする映像処理装置。
4. 請求項１記載の映像処理装置において、
   前記特定手段の特定結果に基づき、前記コンテンツの映像信号より当該コンテンツの前記代表画像を生成する代表画像生成手段を有し、
   前記出力手段は、前記対応する信号として、前記代表画像を出力することを特徴とする映像処理装置。
5. 請求項４記載の映像処理装置において、
   前記代表画像又はこれに関連する情報を、対応する前記映像信号と関連付けて所定の記録媒体に記録するための第２記録指示信号を生成する第２記録指示信号生成手段を有し、
   前記出力手段は、前記代表画像信号と、前記第２記録指示信号とを出力することを特徴とする映像処理装置。
6. 請求項４記載の映像処理装置において、
   前記代表画像又はこれに関連する情報を、所定の印刷媒体に印刷するための印刷指示信号を生成する印刷指示信号生成手段を有し、
   前記出力手段は、前記代表画像信号と、前記印刷指示信号とを出力することを特徴とする映像処理装置。
7. 請求項１乃至６のいずれか１項記載の映像処理装置において、
   前記コンテンツに備えられる前記映像信号の各フレームのテロップを検出するテロップ検出手段を有し、
   前記特定手段は、前記静止ショット検出手段の検出結果と、前記テロップ検出手段の検出結果とに基づき、前記代表画像を特定する
   ことを特徴とする映像処理装置。

Images