JP5444611B2 - 信号処理装置、信号処理方法及びプログラム - Google Patents

Description

本発明は、例えば画像表示装置にストリームデータによるコンテンツを表示させる際の制御に適用して好適な信号処理装置及び信号処理方法、並びにその処理方法を適用したプログラムに関する。

例えば、テレビジョン放送で放送される番組などの映像コンテンツには、文字によるテロップが映像に重畳されて、その映像プログラムを視聴する際には、そのテロップで内容の案内が行われることが多々ある。例えば、ニュース番組では、映像で紹介される内容を画面下に重畳されるテロップで簡単に説明することがある。また、ニュース番組以外の映像プログラムでも、文字よるテロップなどで、映像の案内などを表示することが多々行われている。

一方、このような映像プログラムを視聴する際には、例えばその映像プログラム（番組）が１時間の番組であれば、１時間をかけて視聴することになる。これよりも視聴する時間を短縮したい場合には、視聴するユーザがリモートコントロール装置などを操作して、早送り再生などを行って、適宜早送りして視聴することになる。
ここで、上述した文字などによるテロップで案内が行われる映像プログラムの場合には、ユーザによっては、テロップとして表示された内容を確認すると、次の内容が表示される箇所まで早送りしたい場合がある。逆に、ユーザによっては、テロップを読み取るだけでなく、表示される映像を早送りせずに見たい場合もある。また、テロップをユーザに確認させる場合でも、そのテロップを読み取る際に必要な時間も個人差があり、テロップの適正な表示時間の選定は難しいという問題があった。

特許文献１には、映像信号の記録を行う際に、その内容の概要を把握できるサーチ画像を生成する際に、テロップの存在を検出して、そのテロップの存在を示す信号を記録して、サーチがし易いようにする技術についての記載がある。
特開２００７−１８４９６２公報

上述したように、映像コンテンツを表示させる際には、最適な表示時間の選定が難しいという問題があった。特にテロップが表示されて、短時間で内容が把握できる映像が含まれる場合には、冗長な表示となってしまうことがあった。なお、ここまでの説明では映像を表示させる場合の問題について説明したが、音声を聴取する場合においても、聴取する際の再生速度の適切な選定が難しいという問題があった。

本発明はこれらの点に鑑みてなされたものであり、映像コンテンツのユーザによる視聴が適切な状態で行えるようにすることを目的とする。

本発明は、ストリームデータによる映像コンテンツを受信又は蓄積するコンテンツ取得部と、そのコンテンツ取得部で取得した映像コンテンツのそれぞれのシーンに含まれるテロップの文字数をカウントする特徴量抽出部と、映像コンテンツのシーンごとのテロップの文字数と視聴所要時間との対応を記憶するテーブル保持部と、テーブル保持部に記憶されたテロップの文字数と視聴所要時間との対応に基づいて、特徴量抽出部で抽出されたテロップの文字数での視聴所要時間を推定する推定部と、推定部で推定された視聴所要時間に基づいて、映像コンテンツを再生する際の再生位置の制御を行う再生部とを備える。

本発明によると、映像コンテンツに関する視聴状況の情報が出力されて、その出力される情報を使用して、映像コンテンツの視聴状況の詳細が判る。

本発明によると、ユーザによる映像コンテンツに関する視聴状況の情報が作成されて出力され、その出力される情報を利用して、映像コンテンツの視聴状況の詳細が判るようになる。従って、その情報を利用して、映像コンテンツの再生状態の制御などが可能となり、映像コンテンツのユーザによる視聴が適切な再生状態で行えるようになる。

以下、本発明の一実施の形態を、添付図面を参照して説明する。
まず図２を参照して全体構成の概要を説明すると、本実施の形態においては、画像再生装置１０とディスプレイ装置２０とが接続してあり、画像再生装置１０で再生した映像コンテンツによる画像が、ディスプレイ装置２０に表示される。画像再生装置１０は、リモートコントロール信号受信部１８ａを備え、リモートコントロール装置３０の発信部３１から発信されるリモートコントロール信号を受信する。このリモートコントロール装置３０には、操作部としてのキー３２が配置してあり、キー３２を視聴者であるユーザｍが操作することで、映像コンテンツの再生開始，早送り，停止などの各種操作が可能である。

次に、画像再生装置１０の内部構成例について、図１を参照して説明する。
画像再生装置１０は、情報記録部１１を備え、受信部１９で受信した映像コンテンツを記録し再生することができる。ここでの映像コンテンツとは、ストリームデータ（具体的には動画の映像信号及び音声信号）で構成されるコンテンツである。映像コンテンツ情報記録部１１としては、例えばハードディスクドライブ装置などの大容量記憶装置が使用される。受信部１９は、映像コンテンツを受信するものである。例えば、放送信号を受信するチューナや、インターネットなどを経由して映像コンテンツを受信する受信装置などで構成される。

情報記録部１１に記録された映像コンテンツは、画像再生部１２に読み出されて、画像再生部１２で再生用の映像データを生成させて、ディスプレイ装置２０に供給する。ディスプレイ装置２０では、供給される映像データによる映像を表示させる。また、図示はしないが、映像データに付加された音声データがある場合には、その音声データも画像再生部１２で情報記録部１１から読み出して、ディスプレイ装置２０に供給して、ディスプレイ装置２０が備えるスピーカから出力させる。

画像再生部１２での再生処理は、コマンド取得部１８からの指令に基づいて行われる。コマンド取得部１８には、リモートコントロール信号受信部１８ａで受信したリモートコントロール信号が供給される。リモートコントロール信号受信部１８ａは、別体のリモートコントロール装置から供給されるリモートコントロール信号を受信する。リモートコントロール装置は、ディスプレイ装置２０に表示される画像（及び音声）を視聴するユーザｍが操作するものである。
リモートコントロール装置からのリモートコントロール信号は、例えば赤外線信号や無線信号として伝送される。リモートコントロール信号による指令としては、例えば映像コンテンツの再生開始，一時停止，停止の指示、再生中の映像コンテンツの早送り，スキップなどの再生状態や再生箇所の指示などがある。これらの指令をリモートコントロール信号受信部１８ａで受信し、コマンド取得部１８から画像再生部１２に送ることで、画像再生部１２で再生してディスプレイ装置２０に送る映像データが、対応した状態に変化する。なお、コマンド取得部１８からの指令は、後述する視聴所要時間計測部１５にも供給する。

そして本例の画像再生装置１０は、画像再生部１２での再生状態を解析する機能を備える。
即ち、画像再生部１２で再生した画像を、画像解析部１３に送ると共に、同一画像情報単位検出部１４で、同一内容の画像が続くことを検出させる。画像解析部１３での解析としては、例えば、画像に重畳された文字などによるテロップが存在する場合に、そのテロップの文字数をカウントする。また、画像の空間差分を取得して、文字数と空間差分の値を、解析結果として出力する。
同一画像情報単位検出部１４での同一内容の画像との検出とは、同一の内容の画像が続いていることの検出である。つまり同一画像情報単位検出部１４は、同一の内容のシーンが続いているかの検出を行うシーン判別部として機能する。この同一画像の検出処理は、例えば直前のフレームの画像と現在のフレームの画像の各画素単位での差分を計算して、判定する。これらの画像解析部１３及び同一画像情報単位検出部１４での具体的な処理例については後述する。

これらの画像解析部１３での解析結果と、同一画像情報単位検出部１４の検出結果は、視聴所要時間計測部１５と視聴所要時間推定部１７に送る。視聴所要時間計測部１５では、コマンド取得部１８からの指令についても供給され、それぞれの結果と指令の発生状態から、視聴所要時間を算出する。視聴所要時間の具体的な算出処理例については後述する。
算出された視聴所要時間については、メモリなどで構成されるテーブル保持部１６に保持させる。

視聴所要時間推定部１７では、テーブル保持部１６に保持された視聴所要時間の情報と、画像解析部１３及び同一画像情報単位検出部１４から供給される情報とに基づいて、画像再生部１２で再生させる映像の視聴所要時間を推定し、その推定結果を画像再生部１２に送る。視聴所要時間の推定処理の詳細については後述する。
画像再生部１２に推定結果が供給されると、画像再生部１２で再生させている画像の再生状態の制御を対応した状態とする。この再生制御状態についても後述するが、例えば、視聴所要時間の推定結果で、現在再生中の画像を視聴させるのに十分な時間再生させたと判断した場合には、再生を次に進める処理を行う。

次に、本実施の形態の画像再生装置１０で、情報記録部１１に記録された映像コンテンツを再生する際の処理動作について、図３以降のフローチャートを参照して説明する。
まず、図３を参照して全体処理状態について説明すると、画像再生装置１０のコマンド取得部１８からコマンドの入力があるか否か判断し（ステップＳ１１）、コマンドの入力がないと判断した場合には、画像再生部１２で再生中の映像コンテンツの画像内容の判定を行う。即ち、同一情報フレームが続くことの判定（ステップＳ１２）と、画像内容の解析（ステップＳ１３）とを行い、さらにテーブル保存部１６からテーブルのデータを読み出し（ステップＳ１４）、１単位の画像の提示時間を決定する（ステップＳ１５）。そして、その決定した時間、情報を提示するように画像再生部１２での再生タイミングを制御する。その再生タイミング制御を行うと、次の情報単位の処理に進み（ステップＳ１７）、ステップＳ１１の判断に戻る。

また、ステップＳ１１でユーザ操作に基づいたコマンド入力があると判断した場合には、コマンドの解釈を行う（ステップＳ１８）。ここで、解釈したコマンドが映像コンテンツの再生を停止させる終了コマンドである場合には、ここでの処理を終了する（ステップＳ２３）。そして、終了コマンド以外のコマンドである場合には、同一情報フレームが続くことの判定（ステップＳ１９）と、画像内容の解析（ステップＳ２０）とを行い、１単位の情報の提示時間を測定する（ステップＳ２１）。提示時間が測定されると、その測定された提示時間の情報をテーブル保持部１６に保持させて、テーブルの記憶情報を更新させる（ステップＳ２２）。

次に、同一画像情報単位検出部１４での同一情報フレームが続くことの検出（判定）処理例を、図４のフローチャートを参照して説明する。
同一情報フレームが続くことの判定処理が開始されると、同一情報フレームカウンタを０にリセットし（ステップＳ３１）、差分カウンタについても０にリセットする（ステップＳ３２）。そして、元になる画像（比較元の画像）と、現在の画像との輝度の差分値を、それぞれの画素単位で計算し（ステップＳ３３）、計算された差分値が閾値以上か否か判断する（ステップＳ３４）。ここで、差分値が閾値以上であると判断した場合に、差分カウンタのカウント値を＋１する（ステップＳ３５）。差分値が閾値以上でない場合には、差分カウンタの値はそのままである。そして、１フレーム内の全ての画素について判断したか否か判定し（ステップＳ３６）、全ての画素を判断していない場合には、評価する画素位置を変化させて（ステップＳ３７）、ステップＳ３３の画像差分値の計算に戻る。

そして、ステップＳ３６で１フレーム内の全ての画素についての評価が終了したと判断した場合には、差分カウンタの値が閾値以下か否か判断する（ステップＳ３８）。ここで閾値以下と判断した場合には、同一情報フレームカウンタのカウント値を＋１して（ステップＳ３９）、次の映像フレームの処理に進み（ステップＳ４０）、次の映像フレームについて、ステップＳ３２から処理が行われる。

また、ステップＳ３８で、差分カウンタの値が閾値以下でない場合（即ち閾値と等しいか閾値を越えた場合）に、同一情報フレームカウンタの現在の値を出力させ（ステップＳ４１）、現在の判定処理を終了する。そして、映像コンテンツの再生が続く限りは、ステップＳ３１からの処理が再度実行される。
なお、この図４のフローチャートでの同一情報フレームであることの判別は、映像コンテンツを再生中に何もユーザが操作をしない場合には、その映像コンテンツの映像で同一情報フレームが連続する時間が検出されることになるが、ユーザ操作で再生箇所を進めたる等の指示があると、その操作が行われるまでの同一情報フレームが連続する時間（即ちディスプレイ装置２０に実際に表示される映像で、同一情報フレームが連続する時間）が検出されることになる。

次に、画像分析部１３での処理動作を、図５のフローチャートを参照して説明する。
まず、１フレームの再生画像内にテロップが存在する場合に、１フレームの画像中のテロップの文字数をカウントする（ステップＳ５１）。また、画像の空間差分を計算する（ステップＳ５２）。この空間差分の計算処理は、同一画像情報単位検出部１４での画像差分値の計算処理と同じである。
そして、得られた１フレーム内のテロップ数と画像の空間差分値とを出力する（ステップＳ５３）。

次に、視聴所要時間推定部１７での視聴所要時間の推定処理例を、図６のフローチャートに示す。
視聴所要時間の推定処理としては、まず画像分析部１３から解析結果のデータを受け取る（ステップＳ６１）。解析結果を受け取ると、その解析結果のベクトルとの最短距離のテーブルのデータを読み出す（ステップＳ６２）。そして、そのテーブルのデータで示された視聴所要時間を、視聴所要時間の推定結果として出力する（ステップＳ６３）。

この出力される視聴所要時間の推定結果は、画像再生部１２に供給して、映像プログラムの再生制御に使用する。例えば、視聴所要時間推定部１７での視聴所要時間の推定結果で、１つの静止画像とみなせる画像を連続して視聴した時間が、視聴所要時間の推定結果で示される時間になったとき、次の単位の映像の再生に再生位置を進める処理を行う。

図７は、テーブル保持部１６に保持されるテーブルの例を示したものである。この例では、画像中のテロップの文字数と、その文字数の場合の画素差分の平均値と、その場合の画像を視聴する所要時間の平均時間（秒）を示してある。
図７に示すように、１画面中に表示される文字数が増えるに従って、所要時間も増えることになる。

この図７に示すテーブルが用意されると、図４のフローチャートで説明したように、以後、静止画像に近い同一情報の映像が連続して表示される状態になると、このテーブル中の条件に一致する視聴所要時間が読み出されて、その視聴所要時間が現在表示された画像の推定視聴時間とされ、その時間が経過すると、次の単位の映像の表示に進める。従って、画像中に主として文字によるテロップが表示されて、同一情報の画像が表示中であると判断された場合には、過去に同じような文字数の同一情報が表示された際の視聴所要時間に基づいて、表示が変化するようになり、必要以上に長い時間同一画像が表示されることがなくなる。
なお、図３のフローチャートの処理では、１画面中の文字数と、同一内容の画像（同一シーン）が続く時間の平均との２つを特徴量として、提示時間を算出するようにしたが、少なくともいずれか一方だけをテーブル化して、参照するようにしてもよい。その他の要因も判断するようにしてもよい。

なお、図７の例では、再生させる映像プログラムのジャンルについては考慮しないで、所要時間を算出するようにしたが、例えば図８に示すように、映像プログラムのジャンルごとに分けて、テロップ文字数と画素差分平均値と、それぞれでの平均の視聴所要時間（秒）をテーブル化して、記憶するようにしてもよい。そして、再生時には、再生する映像プログラムのジャンルと一致するジャンルのテーブルのデータを読み出して、その読み出したデータに基づいて視聴所要時間を設定するようにしてもよい。
図８の例では、ニュース番組、情報番組、スポーツ番組の３つのジャンルに分けてある。ジャンルが判らない映像コンテンツについては、ジャンル不明の分類を設けて、ジャンルが不明の映像コンテンツを再生する際に参照するようにしてもよい。

また図７の例では、本実施の形態の画像再生装置１０を操作するユーザが一人であると推定して、リモートコントロール装置３０で操作された情報を全て同じテーブルに集計させるようにしたが、複数のユーザで１台の画像再生装置１０を共用して使用する場合には、それぞれのユーザを何らかの操作や機構で検出して、その検出されたそれぞれのユーザごとに個別のテーブルを持つようにして、再生時には視聴しているユーザに対応したテーブルの情報を使用するようにしてもよい。
このようにすることで、より正確な画像再生時間の設定が可能になる。

また、ここまで説明した例では、ユーザがリモートコントロール装置を操作して再生操作を行ったことに基づいて、テロップの文字数に対応した視聴所要時間を判断するようにしたが、その他の処理でユーザの視聴所要時間を算出するようにしてもよい。
例えば、図９に示すように、ディスプレイ装置２０′の画面２１の上などに、カメラ部２２を設けて、ディスプレイ装置２０′の前にいる視聴者ｍの顔をカメラ部２２で撮影し、そのカメラ部２２で撮影された画像から、視聴者ｍの視線ｅを画像再生装置１０内で判断させる。

そして、視線ｅの変化から視聴者ｍがテロップとして表示された文字を読み取る時間を推定する。文字を読み取る時間を推定すると、その推定された時間を、そのときに表示されていた文字数での視聴所要時間としてテーブル化する。そして、映像コンテンツの再生時には、そのテーブル化された視聴所要時間を読み出して、対応した時間ごとに次の単位の画像に変化させる再生処理を行う。
このように、ユーザによる操作入力以外の処理によっても、画像再生時間の推定が可能である。

また、図１に示した構成では、画像再生装置とディスプレイ装置とを別体の装置として構成したが、例えばテレビジョン受像機として構成された機器内に、画像再生装置を内蔵させて、１つの装置で視聴時間の推定から表示までの処理を行うようにしてもよい。
或いは、図１に示すように画像再生装置とディスプレイ装置とを別体で構成させた場合には、画像再生装置（画像処理装置）では推定された視聴時間の情報だけを出力させて、その出力させた視聴時間の情報をディスプレイ装置側に送って、表示時間の設定処理などはディスプレイ装置側で行うようにしてもよい。

また、ここまで説明した実施の形態では、映像プログラムの再生処理について説明したが、音声プログラムを再生する際にも、その音声の内容に応じて同一内容の音声が続く場合には、テーブル化された聴取時間に応じて、再生位置を進める処理を行うようにしてもよい。

さらにここまで説明した実施の形態では、図１に示した装置構成の画像再生装置に適用した例としたが、例えば、本発明の処理をプログラム化して、そのプログラムをパーソナルコンピュータ装置などの情報処理装置に実装して、図１に示した画像再生装置と同様の動作を行う画像処理装置が得られるようにしてもよい。この場合、本発明の処理を行うプログラムを各種媒体に記憶（記録）させて、その媒体をユーザに提供するようにしてもよい。

本発明の一実施の形態による全体構成例を示すブロック図である。 本発明の一実施の形態によるシステム構成例を示す説明図である。 本発明の一実施の形態による処理全体を示すフローチャートである。 本発明の一実施の形態による同一情報フレーム判定処理例を示すフローチャートである。 本発明の一実施の形態による画像分析処理例を示すフローチャートである。 本発明の一実施の形態による視聴所要時間推定処理例を示すフローチャートである。 本発明の一実施の形態によるテーブルの例を示す説明図である。 本発明の他の実施の形態によるテーブルの例（ジャンル分けの例）を示す説明図である。 本発明のさらに他の実施の形態によるシステム構成例を示す説明図である。

符号の説明

１０…画像再生装置、１１…情報記録部、１２…画像再生部、１３…画像分析部、１４…同一画像情報単位検出部、１５…視聴所要時間計測部、１６…テーブル保持部、１７…視聴所要時間推定部、１８…コマンド取得部、１８ａ…リモートコントロール信号受信部、１９…受信部、２０，２０′…ディスプレイ装置、２１…画面、２２…カメラ部、３０…リモートコントロール装置、３１…送信部、３２…キー

Claims (9)

1. ストリームデータによる映像コンテンツを受信又は蓄積するコンテンツ取得部と、
   前記コンテンツ取得部で取得した映像コンテンツのそれぞれのシーンに含まれるテロップの文字数をカウントする特徴量抽出部と、
   映像コンテンツのシーンごとのテロップの文字数と視聴所要時間との対応を記憶するテーブル保持部と、
   前記テーブル保持部に記憶されたテロップの文字数と視聴所要時間との対応に基づいて、前記特徴量抽出部で抽出されたテロップの文字数での視聴所要時間を推定する推定部と、
   前記推定部で推定された視聴所要時間に基づいて、映像コンテンツを再生する際の再生位置の制御を行う再生部とを備えた
   信号処理装置。
2. 請求項１に記載の信号処理装置において、
   前記特徴量抽出部は、シーンごとの画像の変化の平均を求め、
   前記テーブル保持部は、前記特徴量抽出部が求めたシーンごとの画像の変化の平均の値と視聴所要時間との対応についても記憶し、
   前記推定部が推定する視聴所要時間は、シーンごとの画像の変化の平均についても考慮する
   信号処理装置。
3. 請求項１又は２に記載の信号処理装置において、
   前記テーブル保持部が保持するテーブルは、複数のユーザごとのテーブルを用意し、
   前記再生部で再生中の映像を視聴するユーザを検出し、その検出したユーザに対応したテーブルを使用して、前記推定部が視聴所要時間を推定するようにした
   信号処理装置。
4. 取得又は蓄積されたストリームデータによる映像コンテンツのそれぞれのシーンに含まれるテロップの文字数をカウントする特徴量抽出処理と、
   映像コンテンツのシーンごとのテロップの文字数と視聴所要時間との対応を記憶したテーブルを保持するテーブル保持処理と、
   前記テーブル保持処理で記憶されたテーブルのテロップの文字数と視聴所要時間との対応に基づいて、前記特徴量抽出処理で抽出されたテロップの文字数での視聴所要時間を推定する推定処理と、
   前記推定処理で推定された視聴所要時間に基づいて、映像コンテンツを再生する際の再生位置の制御を行う再生処理とを含む
   信号処理方法。
5. 請求項４に記載の信号処理方法において、
   前記特徴量抽出処理は、シーンごとの画像の変化の平均を求め、
   前記テーブルは、前記特徴量抽出処理で求めたシーンごとの画像の変化の平均の値と視聴所要時間との対応についても記憶し、
   前記推定処理が推定する視聴所要時間は、シーンごとの画像の変化の平均についても考慮する
   信号処理方法。
6. 請求項４又は５に記載の信号処理方法において、
   前記テーブルは、複数のユーザごとのテーブルを用意し、
   前記再生処理で再生中の映像を視聴するユーザを検出し、その検出したユーザに対応したテーブルを使用して、前記推定処理が視聴所要時間を推定するようにした
   信号処理方法。
7. 取得又は蓄積されたストリームデータによる映像コンテンツのそれぞれのシーンに含まれるテロップの文字数をカウントする特徴量抽出手順と、
   映像コンテンツのシーンごとのテロップの文字数と視聴所要時間との対応を記憶したテーブルを保持するテーブル保持手順と、
   前記テーブル保持手順で記憶されたテーブルのテロップの文字数と視聴所要時間との対応に基づいて、前記特徴量抽出手順で抽出されたテロップの文字数での視聴所要時間を推定する推定手順と、
   前記推定手順で推定された視聴所要時間に基づいて、映像コンテンツを再生する際の再生位置の制御を行う再生手順とを、
   コンピュータに実行させるためのプログラム。
8. 請求項７に記載のプログラムにおいて、
   前記特徴量抽出手順は、シーンごとの画像の変化の平均を求め、
   前記テーブルは、前記特徴量抽出手順で求めたシーンごとの画像の変化の平均の値と視聴所要時間との対応についても記憶し、
   前記推定手順が推定する視聴所要時間は、シーンごとの画像の変化の平均についても考慮する
   プログラム。
9. 請求項７又は８に記載のプログラムにおいて、
   前記テーブルは、複数のユーザごとのテーブルを用意し、
   前記再生手順で再生中の映像を視聴するユーザを検出し、その検出したユーザに対応したテーブルを使用して、前記推定手順が視聴所要時間を推定するようにした
   プログラム。

Images