JP5111627B2 - 映像処理装置及び映像処理方法 - Google Patents

Description

本発明は、映像コンテンツとメタデータを受信してコンテンツ視聴のための処理を行う映像処理装置及び映像処理方法に関する。

現在放送波等で送信されるコンテンツには、映像や音声のデータだけでなく、付加情報として様々なメタデータが付加されている。またＤＶＤ等の記録媒体に記録されたコンテンツデータについても、様々な付加情報の利用形態が検討されており、今後、さらに詳細な付加情報の使用が予想され、利便性の向上が期待される。
付加情報の応用方法は多々考えられるが、ユーザに付加情報を提示することで、コンテンツの情報内容や登場人物等の把握を容易にし、視聴を支援する各種技術が提案されている。以下では、映像を構成する要素、例えば登場人物等のキャラクタや、椅子や建物等のアイテムをオブジェクトと呼ぶ。
映像音声コンテンツと、該コンテンツの再生時間と対応付けられた関連情報を含んだメタデータを受信して、映像音声コンテンツを再生すると共に、再生時間に対応した関連情報を表示する技術が知られている（特許文献１参照）。

特開２００９−６５７１２号公報

従来技術では、受信機が指定されたタイミングで、番組やシーンに関連した関連情報を視聴者に提示する。しかしながら、従来は映像に登場するオブジェクトの表示状態に基づき、オブジェクトの関連情報を提示するタイミングを制御するようなことはしていなかった。
例えば、対象となる登場人物が画面に小さく表示されている場合や、他の登場人物が多数表示されている場合、視聴者に対して登場人物の関連情報を適切なタイミングで提示する必要がある。そうしないと、視聴者は提示された関連情報がどの人物に関するものであるかが分かり難いといった事態が起こり得る。
そこで、本発明は映像に登場するオブジェクトの表示状態に基づき、適切なタイミングでオブジェクトの関連情報を提示可能な映像処理装置及び映像処理方法の提供を目的とする。

上記課題を解決するために本発明に係る装置は、映像データに含まれるオブジェクトの関連情報の表示制御を行う映像処理装置であって、前記映像データを構成する各フレームに表示されるオブジェクトの表示状態を示すフレームデータを取得し、各フレームに表示されるオブジェクトの表示特徴情報を算出する表示特徴情報算出手段と、前記表示特徴情報算出手段が算出した前記表示特徴情報を取得して、各フレームについて前記表示特徴情報がオブジェクトの注目度に係わる評価基準を満たすか否かを判定することでフレーム評価を行うフレーム評価手段と、前記フレーム評価手段によるフレーム評価の結果、前記評価基準を満たすフレームの数が閾値以上に亘って連続する場合に、前記オブジェクトの関連情報の表示を開始するフレームを決定する表示タイミング決定手段と、を備える。

本発明によれば、映像内でのオブジェクトの注目度に係わる評価基準に基づくフレーム評価結果に従ってオブジェクトの関連情報の表示制御を行うことができ、ユーザの利便性が向上する。

本発明の一実施形態に係る装置の概略構成を例示するブロック図である。 図３乃至７と併せて本発明の第１実施形態を説明するために、オブジェクトデータ（Ａ）と、フレームデータ（Ｂ）を例示した図である。 オブジェクトの関連情報のグラフィックスデータを例示する説明図である。 オブジェクトの関連情報の表示タイミング決定処理例を示すフローチャートである。 フレームデータや映像信号に基づいて算出される表示特徴情報の一例を示す図である。 関連情報の表示開始判断処理の流れを例示したフローチャートである。 フレームカウント管理情報の一例を示す図である。 図９と併せて本発明の第２実施形態を説明するために、オブジェクトの関連情報の表示タイミング決定処理の流れを例示したフローチャートである。 フレームデータ（Ａ）、表示特徴情報（Ｂ）を例示した図である。 図１１乃至１３と併せて本発明の第３実施形態を説明するために、装置の概略構成を例示するブロック図である。 関連情報の表示開始および表示終了の判断処理の流れを例示したフローチャートである。 フレーム評価項目ごとの評価値と、フレーム総合評価値の一例（Ａ）と、フレーム総合評価値に応じた表示フレーム数の決定テーブルの一例（Ｂ）を例示した図である。 フレーム総合評価値とオブジェクト表示フレーム数との関係を表すタイムラインを（Ａ）乃至（Ｃ）に例示した図である。 図１５乃至１７と併せて本発明の第４実施形態を説明するために、装置の概略構成を例示するブロック図である。 関連情報の表示サイズ決定処理について説明するフローチャートである。 文字サイズを決定する場合の決定テーブル（Ａ）、文字数を決定する場合の決定テーブル（Ｂ）、情報項目を決定する場合の決定テーブル（Ｃ）を例示した図である。 オブジェクトによって関連情報の表示サイズおよび表示内容が変わる場合の表示画面例を示す図である。

本発明に係る映像処理装置は映像データとその付加情報を処理する。映像を構成する各オブジェクトの関連情報の表示制御については、該装置が表示部を備えた実施形態と、装置が映像信号を出力して外部の表示装置に映像を表示させる形態が挙げられる。

［第１実施形態］
以下、本発明の第１実施形態について説明する。第１実施形態に係る映像処理装置では、コンテンツ再生中に関連情報を付加されたオブジェクトが登場した場合、その関連情報の表示タイミングを制御する。

図１は、映像処理装置１０としてコンテンツ受信装置の構成例を示すブロック図である。
コンテンツ受信部１０１は、外部インタフェース１００よりコンテンツデータを受信する。外部インタフェース１００は、コンテンツデータを伝送路から受信するためのインタフェースであればよく、例えばデジタル放送受信アンテナ、インターネット接続ルータ等が使用可能である。また、コンテンツデータは映像音声信号に付加情報を付加できれば、形式の如何を問わないが、本実施形態ではＭＰＥＧ２−ＴＳを例に説明する。ＭＰＥＧ２−ＴＳ（トランスポートストリーム）形式では、映像と音声の多重化方式を定義しており、ＭＰＥＧは“Moving Picture Experts Group”の略号である。コンテンツ受信部１０１は受信したＭＰＥＧ２−ＴＳデータから付加情報を分離して付加情報取得部１０６に出力する。またコンテンツ受信部１０１は映像音声信号を復号化し、データバッファ部１０２に出力する。

データ蓄積用のデータバッファ部１０２は、コンテンツ受信部１０１から受信した映像音声信号を、一定時間（所定のフレーム数に相当する時間）に亘って保持した後、音声信号をスピーカ１０３に出力し、映像信号を合成部１０４に出力する。データバッファ部１０２が蓄積して保持するフレームの数については表示タイミング決定部１０９から指示される。スピーカ１０３はデータバッファ部１０２からの音声信号に従って音声を出力する。

合成部１０４は、後述の表示データ作成部１１０から取得したグラフィックスデータとデータバッファ部１０２から取得した映像データを合成し、合成後の映像信号を表示部１０５に出力する。表示部１０５は合成部１０４からの映像信号に従って映像を表示する。付加情報取得部１０６は、コンテンツ受信部１０１から付加情報を取得し、オブジェクトデータとフレームデータを抽出する。オブジェクトデータはコンテンツに登場するオブジェクトの関連情報を示し、フレームデータは、映像データを構成する各フレームにてオブジェクトが表示される状態を示す。付加情報取得部１０６は、表示特徴情報算出部１０７に対し、抽出したフレームデータを出力する。また付加情報取得部１０６は、表示データ作成部１１０の指示を受けて、対応するオブジェクトデータを表示データ作成部１１０に出力する。

図２（Ａ）にオブジェクトデータの一例を示し、図２（Ｂ）にフレームデータの一例を示す。本例に示すオブジェクトデータは、オブジェクト固有のＩＤ番号（オブジェクトＩＤ）と、オブジェクトに関する各種情報を含む。例えばドラマの出演者等の場合、オブジェクトに関する情報には、名前、役名、主な出演作等が挙げられる。また、フレームデータは映像の各フレームにおいて、映像に含まれるオブジェクトのオブジェクトＩＤとその位置や大きさ等の情報を含む。図２（Ｂ）に例示するフレームデータにおいて、フレームＩＤは各映像フレームに固有のＩＤである。また、オブジェクトＩＤは、対応するフレームＩＤの映像に現れるオブジェクトの識別情報（オブジェクトＩＤ）である。Ｚ深度は、複数のオブジェクトが重なっている場合の表示順を示す。その値がゼロの場合にオブジェクトが視聴者から見て一番手前に表示され、数値の増加に従ってより背後に表示される。ｘ座標、ｙ座標は、オブジェクトの表示位置に関して、その左上に位置する点の位置座標を示す。幅、高さはオブジェクトの幅、高さをそれぞれ示す。なお、ｘ軸及びｙ軸の２次元直交座標系は表示画面の所定位置を原点として、例えばｘ軸が水平軸、ｙ軸が垂直軸として設定される。

オブジェクトの関連情報の表示タイミングを制御する表示制御部は、表示特徴情報算出部１０７と、後述するフレーム評価部１０８や表示タイミング決定部１０９によって構成される。表示特徴情報算出部１０７は付加情報取得部１０６からフレームデータを取得し、コンテンツ受信部１０１から映像信号を取得して、フレームごとに表示特徴情報を算出する。算出した表示特徴情報は、フレーム評価部１０８に送信される。ここで、表示特徴情報は、対象となるオブジェクトの映像フレーム内での表示状態の特徴量を示し、例えばフレーム内でのオブジェクトの表示サイズ等の情報を含む。その詳細は後述する。
フレーム評価部１０８は、表示特徴情報算出部１０７から表示特徴情報を取得し、映像フレーム内において、オブジェクトが注目されているか否かを判定し、判定結果に基づいてフレーム評価を行う。評価結果は表示タイミング決定部１０９に出力される。映像内でのオブジェクトの注目度に関する判定処理については後述する。

表示タイミング決定部１０９はフレーム評価部１０８から評価結果を受け取る。表示タイミング決定部１０９は、オブジェクトの関連情報の表示を開始するタイミングを決定し、合成部１０４に対して合成開始を指示する。また表示タイミング決定部１０９は、表示タイミングを決定するために必要なフレーム数に基づいて、データバッファ部１０２に対し、保持すべきフレーム数を指示する。

表示データ作成部１１０は、付加情報取得部１０６からオブジェクトデータを取得し、表示するオブジェクトデータのグラフィックス（ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）データを作成する。図３はグラフィックスデータの一例を示す。グラフィックスデータは、オブジェクトデータから取得したオブジェクトの名前や役名等を表示するデータである。なお、図１の画像解析部９０２や、符号１０、１０６乃至１０８の横の括弧内に示す数字の意味については、後述の第２実施形態で説明する。

次に図４のフローチャートを用いて、オブジェクトの関連情報について表示タイミング決定処理の流れを説明する。
Ｓ５０１でコンテンツ受信部１０１は、受信したコンテンツデータから付加情報を分離して付加情報取得部１０６に送信する。またコンテンツ受信部１０１は映像音声データを復号化し、処理後のデータにフレームＩＤを付加した上でデータバッファ部１０２に出力する。データバッファ部１０２は表示タイミング決定部１０９から、データを保持すべきフレーム数の指示を受けて、該フレーム数分のデータを保持し、映像信号をフレームＩＤと共に合成部１０４に出力し、音声信号をスピーカ１０３に出力する。

Ｓ５０２で付加情報取得部１０６はコンテンツ受信部１０１からの付加情報を受け取り、オブジェクトデータとフレームデータを抽出する。付加情報取得部１０６はフレームデータを表示特徴情報算出部１０７に送信する。Ｓ５０３で表示特徴情報算出部１０７は、フレームデータと映像信号に基づいて表示特徴情報を算出し、算出結果をフレーム評価部１０８に出力する。なお表示特徴情報の算出処理の詳細については後述する。Ｓ５０４でフレーム評価部１０８は、表示特徴情報算出部１０７から取得した表示特徴情報を用いて、オブジェクトごとにフレーム評価を行う。表示特徴情報を参照した結果、オブジェクトが映像フレーム内にて注目される状態で表示されていると判定された場合、該フレームは該オブジェクトにとって関連情報の表示に適したフレームであると評価される。フレーム評価結果としての表示の適否について、以下では、関連情報の表示に適したフレームの場合に「ＯＫ」、不適のフレームの場合に「ＮＧ」で表記する。フレーム評価処理の詳細については後述する。なおフレームＩＤがＸのフレームを「フレームＸ」と呼び、オブジェクトＩＤがＹのオブジェクトを「オブジェクトＹ」と呼ぶことにする。Ｘ，Ｙは自然数を表す。

Ｓ５０５で表示タイミング決定部１０９は、オブジェクトごとのフレーム評価結果を取得し、Ｓ５０６に進む。ここで表示タイミング決定部１０９は、オブジェクトごとのフレーム評価結果に基づいて、オブジェクトごとに関連情報の表示を開始するか否かを判断する。フレーム評価結果が「ＯＫ」を示すフレームが、予め決められたフレーム数以上に亘って連続していた場合、表示タイミング決定部１０９はオブジェクトの関連情報の表示開始を判断する。この場合、図３に示すようにグラフィックスデータが表示画面に表示されることになる。なおオブジェクトの関連情報の表示開始についての判断処理の詳細は後述する。

以下、表示特徴情報の算出処理を説明する。図２に示すオブジェクトデータ及びフレームデータを用いて、フレーム１の表示特徴情報を算出する方法について具体的に説明する。図５は、算出されたフレームＩＤ１の表示特徴情報を例示する。表示特徴情報算出部１０７はオブジェクトごとに表示特徴情報を算出する。本例の表示特徴情報は、オブジェクトサイズ、画面中心からの距離、動き量、重なり領域サイズ、明度、被写体の顔の向きを示す各項目である。

オブジェクトサイズは、表示画面におけるオブジェクトのサイズであり、具体的にはフレームデータの幅及び高さの情報を用いて算出される面積である。また画面中心からの距離（ｒ）は、表示画面の中心座標とオブジェクトの中心座標との距離である。動き量は画面上でのオブジェクトの位置変化を表し、フレーム間、すなわち前回のフレームと今回のフレームとの間でのオブジェクトの変位量である。重なり領域サイズは、オブジェクトの表示領域の手前に他のオブジェクトが重なって表示されている場合、重なり合った領域の大きさを示す。Ｚ深度がゼロの場合、そのオブジェクトは映像の一番手前に映っているため、重なり領域サイズはゼロとなる。Ｚ深度が１以上の場合には、各オブジェクトのｘ座標及びｙ座標、幅、高さから、手前に表示されているオブジェクトと重なっている領域の面積が算出される。この面積が重なり領域サイズとなる。例えば図２及び図５に示すオブジェクト３の場合、フレームＩＤ１においてＺ深度が１であり、オブジェクト２と重なっているため、重なり領域サイズが６０００となる。

明度については、全映像域からオブジェクトが表示されている領域を切り出し、切り出した領域内における画像の各ピクセルの明度について平均値を計算することにより算出される。また被写体の顔の向きについては、全映像域からオブジェクトが表示されている領域を切り出し、この切り出した領域内の画像から、顔が正面を向いているか否かを表示特徴情報算出部１０７が判定する。顔が正面を向いていると判定された場合、判定結果を示す数値は「１」となり、それ以外の場合（顔領域が存在しないか、または正面を向いていない）はゼロとなる。なお顔方向の判定については、公知の技術によって可能である。例えば、顔が写っている顔領域の周辺に複数の顔向き検出領域を設定し、顔向き検出領域ごとに特徴量を取得して比較することにより、顔の向きを検出できる。
本例では、合計６つの表示特徴情報を算出する処理について説明したが、選択的にいくつかの表示特徴情報を算出してもよく、表示特徴情報の種類を限定するものではない。オブジェクトの映像フレーム内での表示状態を示す情報であれば、さらに別の種類の情報を用いても構わない。

次に、フレーム評価処理について説明する。本処理では、フレーム評価部１０８が、取得した表示特徴情報に基づいて評価する。フレーム評価結果は、評価対象となるオブジェクトが映像フレームにおいて注目される状態で表示されているか否かを示す指標である。以下、図５の表示特徴情報を用いて、具体的にフレーム評価方法を説明する。

下記の評価基準１乃至８に示す判定条件が全て満たされた場合、フレーム評価部１０８は、評価対象フレームが、評価対象であるオブジェクトの関連情報を表示するのに適していると判定し、フレーム評価結果を「ＯＫ」とする。
１．オブジェクトサイズが予め設定された範囲内であること（許容範囲を１０００００〜１５０００００とし、上限閾値と下限閾値を含む）。
２．画面中心からの距離が閾値未満であること（閾値を７００とする）。
３．動き量が閾値未満であること（閾値を３とする）。
４．重なり領域サイズがオブジェクトサイズに対して占める割合は、判定基準である百分率ｘ％以下であること（ｘ＝５０とする）。
５．明度が閾値以上であること（閾値を１００とする）。
６．顔の向きが正面であること（判定結果の数値が１であること）。
７．同一フレームに存在する他のオブジェクトの数が閾値以下であること（閾値を３とする）。
８．評価対象であるオブジェクトのサイズが、同一フレームに存在するほかのオブジェクトのサイズよりも大きいこと。
なお、括弧内に示す数値は本実施形態での基準値を例示的に示す。

図５に示す表示特徴情報を例にして、フレーム１について各オブジェクトの判定処理を説明すると、以下のようになる。まずオブジェクト１に関しては、前記評価基準１乃至８を全て満たしている。フレーム評価部１０８は、フレーム１がオブジェクト１の関連情報を表示するのに適していると判定する（判定結果「ＯＫ」）。オブジェクト２に関しては、前記評価基準１、２、８を満たしていない。よってフレーム評価部１０８は、フレーム１がオブジェクト２の関連情報の表示に適していないと判定する（判定結果「ＮＧ」）。オブジェクト３に関しては、前記評価基準１、２、４、６、８を満たしていないため、フレーム１はオブジェクト３の関連情報の表示に適していないと判定される（判定結果「ＮＧ」）。

本実施形態では、フレーム内でのオブジェクトの注目度に係わる所定の評価基準１乃至８による判定条件を用いてフレーム評価を行ったが、これに限らず、各評価基準を選択的に利用してもよい。また評価基準８では、同一フレーム内で評価対象となる第１のオブジェクトと、それ以外の他の第２のオブジェクトとの相対的なサイズについて判定しているが、前記した具体例以外の表示特徴情報に係る評価基準を用いてもよく、評価方法を限定するものではない。

次に図５のＳ５０６に示した処理（オブジェクトごとの表示開始判断処理）について、図６のフローチャートに従って説明する。
各ステップの説明に先立ち、表示開始判断処理で使用するフレームカウント管理情報（以下、ＦＣ管理情報という）について説明する。図７は、オブジェクトごとのＦＣ管理情報を例示する。オブジェクトＩＤは、対象となるオブジェクトのオブジェクトＩＤを示す。フレームカウント開始フレームＩＤは、フレーム評価がＮＧからＯＫに変化し、フレームカウントが開始されたフレームのフレームＩＤである（以下、単に開始フレームＩＤという）。フレームカウント値は、フレームカウントが開始されたフレームから、連続してフレーム評価結果が「ＯＫ」であったフレームの数である。表示履歴は、対象となるオブジェクトの関連情報を前回表示したときのフレームのフレームＩＤを示す。
図６のＳ７０１で表示タイミング決定部１０９は、ＦＣ管理情報にて対象となるオブジェクトの表示履歴を参照し、過去に該オブジェクトの関連情報を表示したフレームから、一定数のフレームに相当する時間が経過しているか否かを判定する。一定数のフレームに相当する時間は予め設定されており、該時間が経過していない場合、処理を終了する。これにより、オブジェクトの関連情報が一旦表示された後では、一定時間の経過後に再度、関連情報の表示が可能となる。

Ｓ７０１で前回の表示時点から一定数のフレームに相当する時間が経過している場合、または、対象とするオブジェクトの関連情報が一度も表示されていない場合、Ｓ７０２に進む。ここで表示タイミング決定部１０９は、オブジェクトのフレーム評価結果が「ＯＫ」であるか、又は「ＮＧ」であるかを判定する。フレーム評価結果が「ＯＫ」の場合、Ｓ７０３に進み、表示タイミング決定部１０９は、対象とするオブジェクトのフレームカウント値を加算する。また、該フレームからフレームカウントが開始された場合（つまり、フレームカウント値が１の場合）、表示タイミング決定部１０９は、開始フレームＩＤの情報として、フレームカウントの加算が開始された現時点でのフレームＩＤを保存する。一方、フレーム評価結果が「ＮＧ」の場合、Ｓ７０４に進む。ここで表示タイミング決定部１０９は、ＦＣ管理情報における対象オブジェクトのフレームカウント値及び開始フレームＩＤをリセットし、処理を終了する。

Ｓ７０３に続くＳ７０５で表示タイミング決定部１０９は、ＦＣ管理情報を参照し、対象となるオブジェクトのフレームカウント値が閾値以上であるか否かを判定する。閾値としては、例えば、３００フレーム（６０フレーム／秒のコンテンツならば５秒分）とする。フレームカウント値が閾値未満の場合、処理は終了するが、閾値以上の場合、Ｓ７０６に進む。ここで表示タイミング決定部１０９は、表示データ作成部１１０に対して、対象となるオブジェクトの関連情報に係る表示データの作成を指示する。表示データ作成部１１０は、付加情報取得部１０６から、対象とするオブジェクトに係るオブジェクトデータを取得し、グラフィックスデータを作成する。
Ｓ７０７で表示タイミング決定部１０９は合成部１０４に対して、オブジェクトＩＤと合成開始フレームＩＤを通知する。ここで、合成開始フレームＩＤは、前記したフレームカウントの開始フレームＩＤである。合成部１０４は、表示データ作成部１１０から、通知されたオブジェクトＩＤに対応するグラフィックスデータを取得する。通知された合成開始フレームＩＤと同じフレームＩＤの映像を表示するタイミングで、取得済みのグラフィックスデータが映像データに合成されて表示される。
Ｓ７０８で表示タイミング決定部１０９はＦＣ管理情報を更新する。ＦＣ管理情報のうち、対象となるオブジェクトの表示履歴に、オブジェクトの関連情報の表示開始を要求した時点を示す合成開始フレームＩＤが保存される。Ｓ７０４やＳ７０８の後、又はＳ７０１若しくはＳ７０５での判断結果がＮＯの場合、前記した一連の処理が終了する。

第１実施形態によれば、オブジェクトの関連情報の表示に適した状態でオブジェクトが画面に表示されているか否かを判断し、判断結果に基づいてオブジェクトの関連情報を表示することができる。つまり、映像に登場するオブジェクトの表示状態に基づき、映像内のオブジェクトが注目されているタイミングでオブジェクトの関連情報が表示される。視聴者は、適切なタイミングでオブジェクトの関連情報を見ることができるため、オブジェクトとその関連情報を容易に把握できる。

［第２実施形態］
次に本発明の第２実施形態について説明する。第２実施形態に係る映像処理装置２０は、取得したコンテンツデータに対して装置自身が付加情報として関連情報をオブジェクトに付加し、関連情報を付加されたオブジェクトが登場した場合、関連情報を表示するタイミングを制御する。例えば、ユーザが撮影した個人的なコンテンツデータに対して、人物名などの関連情報をユーザが装置に設定する場合などが想定される。第１実施形態に係る装置との相違点は、図１に示す画像解析部９０２と該解析部に関係する構成部の動作である。よって、これらについて説明し、第１実施形態の場合と同様の構成要素については、既に付した符号を用いることにより、詳細な説明を省略する。

コンテンツ受信部９０１は、受信したコンテンツデータから映像音声信号を分離して復号化し、画像解析部９０２とデータバッファ部１０２に出力する。またコンテンツ受信部９０１は、受信したコンテンツデータにオブジェクトデータやフレームデータが付加されているか否かを判定する。コンテンツデータにオブジェクトデータやフレームデータが付加されていた場合、分離した付加情報は付加情報取得部９０３に出力され、映像音声信号はデータバッファ部１０２に出力される。コンテンツデータにオブジェクトデータやフレームデータが付加されていなかった場合、映像信号は画像解析部９０２に出力される。コンテンツデータは映像音声情報を含み、例えば、ＭＰＥＧ２−ＴＳや、ＡＶＣＨＤ規格によるファイルフォーマットのデータ等が挙げられる。ＡＶＣＨＤは“Advanced Video Codec High Definition”の略号である。

画像解析部９０２は、コンテンツ受信部９０１からコンテンツの映像音声信号を受信して画像解析を行い、コンテンツのオブジェクトデータ、フレームデータを生成する。これらのデータは付加情報取得部９０３に送られる。また、映像音声信号はフレームＩＤと対応付けてから、データバッファ部１０２に出力される。
付加情報取得部９０３は、コンテンツ受信部９０１から付加情報を受け取り、オブジェクトデータ、フレームデータを抽出する。あるいは付加情報取得部９０３は、画像解析部９０２からオブジェクトデータ、フレームデータを取得する。そして付加情報取得部９０３は、表示特徴情報算出部９０４にフレームデータを出力し、表示データ作成部１１０にオブジェクトデータを出力する。

表示特徴情報算出部９０４は、付加情報取得部９０３から取得したフレームデータに基づき、表示特徴情報を算出する。フレーム評価部９０５には、算出後の表示特徴情報が送られる。表示特徴情報の算出処理では、フレームデータに含まれる情報に従って、算出可能な表示特徴情報のみが算出される。
フレーム評価部９０５は表示特徴情報算出部９０４から表示特徴情報を取得し、映像フレーム内でオブジェクトが注目されているか否かを判定する。判定結果に基づいてフレーム評価が行われ、フレーム評価結果は表示タイミング決定部１０９に出力される。フレーム評価部９０５は、取得した表示特徴情報に応じて、フレーム評価基準を選択する。

次に、図８のフローチャートに従って、オブジェクトの関連情報を表示するタイミングの決定処理について説明する。以下、図４と相違するＳ１００１乃至１０１０の処理を説明する。
Ｓ１００１にてコンテンツ受信部９０１はコンテンツデータを受信する。Ｓ１００２でコンテンツ受信部９０１は、受信したコンテンツデータを解析し、オブジェクトデータ及びフレームデータが付加されているか否かを判定する。オブジェクトデータ及びフレームデータが付加されている場合、Ｓ１００３に進むが、これらのデータが付加されていない場合、Ｓ１００６に進む。
Ｓ１００３でコンテンツ受信部９０１は映像音声データを復号化し、これにフレームＩＤを付加した上でデータバッファ部１０２に出力する。Ｓ１００４でコンテンツ受信部９０１は付加情報取得部９０３に付加情報を出力する。Ｓ１００５で付加情報取得部９０３は、取得した付加情報からオブジェクトデータとフレームデータを抽出し、フレームデータを表示特徴情報算出部９０４に出力する。
Ｓ１００６でコンテンツ受信部９０１は、映像音声信号を画像解析部９０２に出力する。Ｓ１００７で画像解析部９０２は、コンテンツ受信部９０１からコンテンツの映像音声信号を受信して画像解析を行い、コンテンツのオブジェクトデータ、フレームデータを生成する。また画像解析部９０２は、映像音声信号にフレームＩＤを付加した上で、データバッファ部１０２に出力する。Ｓ１００８で画像解析部９０２は、オブジェクトデータとフレームデータを付加情報取得部９０３に出力する。付加情報取得部９０３は、取得したフレームデータを表示特徴情報算出部９０４に出力する。

Ｓ１００９で表示特徴情報算出部９０４は、付加情報取得部９０３からフレームデータを取得し、またコンテンツ受信部９０１から映像信号を取得する。表示特徴情報算出部９０４は、取得済みのフレームデータと映像信号を用いて表示特徴情報を算出する。表示特徴情報の算出処理については後述する。
Ｓ１０１０でフレーム評価部９０５は、表示特徴情報算出部９０４から取得した表示特徴情報を用いてオブジェクトごとにフレーム評価を行う。表示特徴情報に基づいて、評価基準を選択した上でフレーム評価処理が行われる。フレーム評価処理の詳細については後述する。そして、Ｓ５０５、Ｓ５０６へと進む。

次に、表示特徴情報の算出処理について説明する。表示特徴情報の算出方法は、第１実施形態の場合と同様であるが、表示特徴情報算出部９０４は、付加情報取得部９０３から取得したフレームデータに基づいて、算出可能な表示特徴情報のみを算出する。具体的には、第１実施形態にて列挙した表示特徴情報である、オブジェクトサイズ、画面中心からの距離、動き量、重なり領域サイズ、明度、顔の向きのうち、算出可能な情報だけが処理対象とされる。
図９（Ａ）はフレームデータの一例を示し、図９（Ｂ）は表示特徴情報算出部９０４が算出した、フレームＩＤ１に係る表示特徴情報の一例を示す。図９（Ａ）において、フレーム１にはＺ深度情報が存在しない。よって、表示特徴情報算出部９０４は、重なり領域サイズを無効値として算出する。また、映像信号から顔の向きを算出する処理において、顔の向きを判定できなかった場合、その情報は無効値として算出される。図９（Ｂ）に示すフレーム１に係る表示特徴情報では、重なり領域サイズと顔の向きの各情報が無効値（「−」参照）となっている。
このように、フレームデータや映像信号から算出できない表示特徴情報については無効値とすれば、フレームデータの構成が異なる場合においても、表示特徴情報を算出することができる。例えば、放送波に付加されるフレームデータと映像処理装置での解析によって得られたフレームデータとで構成が異なる場合や、付加されているフレームデータの構成がフレームによって異なるコンテンツを受信する場合等が挙げられる。

次に、フレーム評価処理について説明する。フレーム評価方法は第１実施形態の場合と同様であるが、フレーム評価部９０５は、表示特徴情報算出部９０４から取得した表示特徴情報に基づいて、フレーム評価基準をフレームごとに選択する。
以下、図９（Ｂ）の表示特徴情報を用いて、フレーム評価方法について具体的に説明する。フレーム１では、表示特徴情報のうち、重なり領域サイズと顔の向きが無効値となっている。また、フレーム１ではオブジェクトが１つしか存在しない。そこで、フレーム評価部９０５は、前述の評価基準４、６、８を除外した残りの評価基準を全て満たすか否かを判定してフレーム評価を行う。このように、表示特徴情報に基づいて、フレーム評価基準をフレームごとに変更することで、フレームによって表示特徴情報の内容が異なる場合においても、フレーム評価を行える。

本例では、映像処理装置２０に画像解析部９０２を設けて付加情報を生成したが、例えばネットワークで接続された外部サーバ等から付加情報の全部又は一部を取得するインタフェース部を設けることで、前記と同様の処理を実現できる。
第２実施形態によれば、受信したコンテンツに付加情報が付加されていなくても、装置内で付加情報を生成する。そして、映像内で対象となるオブジェクトが注目される状態で表示されていることが所定の評価基準に従って判定された場合、該オブジェクトの関連情報が表示される。

［第３実施形態］
次に本発明の第３実施形態について説明する。図１０は第３実施形態に係る映像処理装置３０の構成例を示す。該装置は、第１実施形態で説明したオブジェクトの関連情報の表示開始タイミングだけではなく、表示終了タイミングも制御する。第１実施形態に係る映像処理装置１０との主な相違点は、図１０に示す表示タイミング決定部３０１、フレーム評価部３０２、合成部３０３の動作である。よって、これらについて説明し、第１実施形態と同様の構成要素については、既に付した符号を用いることにより、詳細な説明を省略する。

表示タイミング決定部３０１は、第１実施形態で説明した動作に加え、決定した表示開始フレームのＩＤ番号（表示開始フレーム番号）をフレーム評価部３０２と合成部３０３に通知する。フレーム評価部３０２は、通知された表示開始フレームから予め設定された複数フレーム分のフレーム評価値を表示タイミング決定部３０１に送信する。表示タイミング決定部３０１は、フレーム評価部３０２から送信されたフレーム評価値に応じて、前記オブジェクトの関連情報の表示フレーム数を決定し、合成部３０３に通知する。合成部３０３は、表示タイミング決定部３０１から通知された表示開始フレーム番号と表示フレーム数に従い、前記オブジェクトの関連情報の合成処理の開始および停止を行う。

以下、図１１のフローチャートに従い、表示タイミング決定部３０１による表示フレーム数の決定処理について説明する。ここでは、第１実施形態にて説明した図６の処理と異なるＳ１１０１乃至１１０３の処理を説明する。
Ｓ７０６に続くＳ１１０１で表示タイミング決定部３０１は、表示開始フレーム番号をフレーム評価部３０２に通知する。フレーム評価部３０２は通知された表示開始フレームから、１２００フレーム（例えば６０フレーム／秒のコンテンツならば２０秒分）のフレーム評価値を表示タイミング決定部３０１に送信する。表示タイミング決定部３０１は、フレーム評価値に応じて表示フレーム数を決定し、合成部３０３に表示フレーム数を通知する。表示フレーム数の決定方法の詳細は後述する。さらに合成部３０３は、表示タイミング決定部３０１から通知された表示開始フレーム番号と表示フレーム数から、表示終了フレーム番号を算出する。例えば、表示開始フレーム番号が２０００、表示フレーム数が３００の場合、表示終了フレーム番号は、２０００＋３００＝２３００となる。Ｓ１１０１の後でＳ７０７に進む。
Ｓ７０４、Ｓ７０８の後や、Ｓ７０１、Ｓ７０５での判定結果がＮＯの場合、Ｓ１１０２に進む。Ｓ１１０２で合成部３０３は、現在の表示フレーム番号が、前記Ｓ１１０１で算出した表示終了フレーム番号と一致するか否かを判定する。不一致の場合、次の表示フレームにおいて、Ｓ１１０２の判定を繰り返し実行する。前記フレーム番号が一致する場合、Ｓ１１０３に進み、合成部３０３はオブジェクトの関連情報に係る表示データの合成処理を停止する。

次に、フレーム評価値に応じた表示フレーム数の決定方法について詳細に説明する。フレーム評価部３０２は、下記５項目によってフレーム総合評価を行う。ここでは、第１実施形態で説明した項目のうち、表示フレーム数の決定に適した評価項目を抽出して使用する。
１．オブジェクトのサイズ（サイズが大きいほど評価値を高くする）。
２．オブジェクトの画面中心からの距離（距離が小さいほど評価値を高くする）。
３．オブジェクトの動き量（動き量が小さいほど評価値を高くする）。
４．オブジェクトの明度（明度値が中間の場合に、最も高い評価値とする）。
５．対象オブジェクトと同一フレームに存在する他のオブジェクトの数（オブジェクトが少ないほど評価値を高くする）。

フレーム評価部３０２は、上記５項目の平均値を算出してフレームの総合評価値を決定する。
図１２（Ａ）は、フレーム評価部３０２が算出する前記フレーム評価項目ごとの評価値と、フレーム総合評価値を例示する。本例ではフレーム評価項目を前記５項目に設定し、フレーム総合評価値を前記５項目の平均値で決定している。この算出方法は一例であり、第１実施形態で説明した評価項目を含めて、選択的に評価項目を利用してもよい。また、フレーム総合評価値の算出において、単純な平均値を用いたが、特定の項目に重みづけをした上で平均してもよく、評価値算出方法を限定するものではない。
表示タイミング決定部３０１は、フレーム評価部３０２が算出したフレーム総合評価値に応じて、オブジェクトの関連情報の表示フレーム数を決定し、合成部３０３に通知する。図１２（Ｂ）は、フレーム総合評価値に応じた表示フレーム数の決定テーブルを例示する。フレーム総合評価値が高いほどオブジェクトの関連情報の表示フレーム数が多くなる。また、表示タイミング決定部３０１は、オブジェクトの関連情報の表示期間内にて、フレーム総合評価値を設定閾値と比較する。フレーム総合評価値が設定閾値よりも小さいフレームが存在する場合、表示タイミング決定部３０１はオブジェクトの関連情報の表示を当該フレームで停止すべきと判断し、該フレームまでのフレーム数を算出して合成部３０３に通知する。

図１３（Ａ）乃至（Ｃ）は、フレーム総合評価値と、オブジェクトの表示フレーム数との関係を表すタイムライン図である。縦軸はフレーム総合評価値（０乃至１０）、横軸はコンテンツの再生時間（単位：秒）を示す。また、グラフの下側に示す帯状の表示部分のうち、白色で示す期間（時刻ｔ１乃至ｔ２参照）はオブジェクトの関連情報が表示される期間である。また、斜線で示す期間（時刻ｔ０乃至ｔ１と、時刻ｔ２乃至ｔ３参照）はオブジェクトの関連情報が表示されない期間である。図１３（Ａ）は、フレーム総合評価値が平均的に高いため、オブジェクトの関連情報の表示フレーム数が多い例を示す。図１３（Ｂ）は、フレーム総合評価値が平均的に低いため、オブジェクトの関連情報の表示フレーム数が少ない例であり、時刻ｔ１乃至ｔ２に示す表示期間の長さが短い。図１３（Ｃ）は、フレーム総合評価値が閾値より低くなったフレームの時点でオブジェクトの関連情報の表示が停止した例である。
以上、第３実施形態によれば、オブジェクトの関連情報の表示開始タイミング制御に加え、オブジェクトの表示状態の評価値に応じて表示終了タイミングを適切に制御することができる。

［第４実施形態］
次に本発明の第４実施形態を説明する。図１４は第４実施形態に係る映像処理装置４０の構成例を示す。該装置は、第１実施形態で説明したオブジェクトの関連情報の表示開始タイミング制御に加え、表示サイズや表示情報量を制御する。第１実施形態に係る映像処理装置１０との相違点は、図１４に示す表示タイミング決定部４０１、フレーム評価部４０２、表示サイズ決定部４０３、表示データ作成部４０４の動作である。よって、これらについて説明し、第１実施形態と同様の構成要素については、既に付した符号を用いることにより、詳細な説明を省略する。
表示タイミング決定部４０１は、表示開始フレーム番号をフレーム評価部４０２に通知する。フレーム評価部４０２は、通知された表示開始フレームから複数のフレームに亘るフレーム評価値を表示サイズ決定部４０３に送信する。表示サイズ決定部４０３は、フレーム評価部４０２から送信されたフレーム評価値に応じて、前記オブジェクトの関連情報の表示サイズ（表示文字サイズおよび表示情報量）を決定し、表示サイズ情報を表示データ作成部４０４に通知する。表示データ作成部４０４は、通知された表示サイズ情報に応じて、オブジェクトの関連情報の表示データを作成して合成部１０４に送信する。

次に、図１５のフローチャートに従い、表示サイズ決定部４０３による、表示サイズ決定処理について説明する。ここでは、第１実施形態において説明した図６の処理と異なるＳ１４０１およびＳ１４０２の処理を説明する。
Ｓ７０５（判定結果ＹＥＳ）に続くＳ１４０１において、フレーム評価部４０２は、表示開始フレームから複数フレーム分のフレーム評価値を表示サイズ決定部４０３に送信する。表示サイズ決定部４０３は、フレーム評価値に応じて表示サイズを決定し、表示サイズ情報を表示データ作成部４０４に通知する。Ｓ１４０２で表示データ作成部４０４は、通知された表示サイズ情報に基づいて、オブジェクトの関連情報の表示データを作成して合成部１０４に送信する。そしてＳ７０７に進む。

次に、フレーム評価値に応じた表示サイズの決定方法を詳細に説明する。フレーム評価部４０２は、第３実施形態で説明した方法と同様にフレーム評価値を算出し、表示サイズ決定部４０３に対して、表示開始フレームから予め設定された複数フレーム分のフレーム総合評価値を送信する。総合評価に利用する項目は、第３実施形態で説明した項目と同様とする。なお、算出方法は一例にすぎず、第１実施形態で説明した評価項目を含めて、選択的に評価項目を利用してもよい。また、フレーム総合評価値の算出において、単純な平均値を用いたが、特定の項目に重みづけをした上で平均してもよく、評価値算出方法を限定するものではない。
表示サイズ決定部４０３は、複数フレームに亘るフレーム総合評価値を用いて、表示サイズを決定する。表示サイズの決定処理は、下記の４種類の基準で行う。
１．フレーム総合評価値の平均値が高いほど、文字サイズを大きくすること。
２．フレーム総合評価値の平均値が高いほど、文字数を多くすること。
３．フレーム総合評価値の平均値が高いほど、情報項目を多くすること。
４．前記１、２、３の基準を組み合わせて、文字サイズ、文字数、情報量を決定すること。

図１６（Ａ）は文字サイズの決定に用いる参照テーブルを例示し、図１６（Ｂ）は文字数の決定に用いる参照テーブルを例示する。図１６（Ｃ）には情報項目の決定に用いるテーブル例を示す。
また、図１７には、オブジェクトに応じてその関連情報の表示サイズおよび表示内容が変更される場合の表示画面例を示す。本例では、画面中央に位置する人物のオブジェクトについてはフレーム総合評価値の平均値が高いため、関連情報の文字サイズが大きく、かつ項目数が多くなっている。一方、画面端寄りの人物のオブジェクトについてはフレーム総合評価値の平均値が低いため、関連情報の文字サイズが小さく、かつ項目数も少なくなっている。
以上、第４実施形態によれば、オブジェクトのフレーム総合評価値に従って表示データのサイズや情報量を変化させることができ、オブジェクトの重要度に応じて、適切な情報を表示できる。
なお、本実施形態では表示サイズ決定部４０３が表示サイズおよび表示情報量を制御するが、これに限らず、表示サイズ決定部と表示情報量決定部を別個に設けた構成でもよい。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０，２０，３０，４０ 映像処理装置
１０６，９０３ 付加情報取得部
１０７，９０４ 表示特徴情報算出部
１０８，３０２，４０２，９０５ フレーム評価部
１０９，３０１，４０１ 表示タイミング決定部
１１０，４０４ 表示データ作成部
４０３ 表示サイズ決定部
９０２ 画像解析部

Claims (9)

1. 映像データに含まれるオブジェクトの関連情報の表示制御を行う映像処理装置であって、
   前記映像データを構成する各フレームに表示されるオブジェクトの表示状態を示すフレームデータを取得し、各フレームに表示されるオブジェクトの表示特徴情報を算出する表示特徴情報算出手段と、
   前記表示特徴情報算出手段が算出した前記表示特徴情報を取得して、各フレームについて前記表示特徴情報がオブジェクトの注目度に係わる評価基準を満たすか否かを判定することでフレーム評価を行うフレーム評価手段と、
   前記フレーム評価手段によるフレーム評価の結果、前記評価基準を満たすフレームの数が閾値以上に亘って連続する場合に、前記オブジェクトの関連情報の表示を開始するフレームを決定する表示タイミング決定手段と、を備えることを特徴とする映像処理装置。
2. 前記表示タイミング決定手段が決定したフレームの映像において、前記オブジェクトの関連情報を表示するためのデータを作成するデータ作成手段をさらに備えることを特徴とする請求項１記載の映像処理装置。
3. 前記表示特徴情報算出手段は、前記表示特徴情報として、対象となるオブジェクトの映像内におけるサイズ、表示位置、フレーム間の動き量、明度、被写体の顔の向きのうち、いずれか１つ以上を算出することを特徴とする請求項１又は２に記載の映像処理装置。
4. 前記フレーム評価手段は、同一フレーム内に表示されるオブジェクトの数を前記評価基準として、該オブジェクトの数が閾値以下であるか否かを判定することを特徴とする請求項１から３のいずれか１項記載の映像処理装置。
5. 前記フレーム評価手段は、評価対象となる第１のオブジェクトと、他の第２のオブジェクトとの相対的なサイズを前記評価基準として、同一フレーム内における前記第１のオブジェクトのサイズが前記第２のオブジェクトのサイズよりも大きいか否かを判定することを特徴とする請求項１から４のいずれか１項記載の映像処理装置。
6. 前記表示タイミング決定手段は、前記フレーム評価手段によるフレーム評価の結果を取得して、前記オブジェクトの関連情報の表示を終了するフレームを決定することを特徴とする請求項１から５のいずれか１項記載の映像処理装置。
7. 前記フレーム評価手段によるフレーム評価の結果を取得して、前記オブジェクトの関連情報の表示サイズを決定する表示サイズ決定手段をさらに備えることを特徴とする請求項１から６のいずれか１項記載の映像処理装置。
8. 前記フレーム評価手段によるフレーム評価の結果を取得して、前記オブジェクトの関連情報の表示情報量を決定する表示情報量決定手段をさらに備えることを特徴とする請求項１から６のいずれか１項記載の映像処理装置。
9. 映像データに含まれるオブジェクトの関連情報の表示制御を行う映像処理装置にて実行される映像処理方法であって、
   前記映像データを構成する各フレームに表示されるオブジェクトの表示状態を示すフレームデータを取得し、各フレームに表示されるオブジェクトの表示特徴情報を算出する表示特徴情報算出ステップと、
   前記表示特徴情報算出ステップで算出した前記表示特徴情報を取得して、各フレームについて前記表示特徴情報がオブジェクトの注目度に係わる評価基準を満たすか否かを判定することでフレーム評価を行うフレーム評価ステップと、
   前記フレーム評価ステップでのフレーム評価の結果、前記評価基準を満たすフレームの数が閾値以上に亘って連続する場合に、前記オブジェクトの関連情報の表示を開始するフレームを決定する表示タイミング決定ステップと、を有することを特徴とする映像処理方法。

Images