JP4267036B2 - 表示制御装置及び表示制御方法 - Google Patents

Description

本発明は、表示制御装置及び表示制御方法に関し、特にコンテンツの画像を拡大した拡大画像を表示可能な表示制御装置及び表示制御方法に関する。

現行のデジタルテレビ放送では、ＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｓｉｏｎ：標準解像度）のコンテンツやＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｓｉｏｎ：高解像度）のコンテンツが混在している。ＳＤコンテンツは例えば７２０×４８０画素のコンテンツであり、ＨＤコンテンツは例えば１２８０×７２０或いは１９２０（１４４０）×１０８０画素のコンテンツである。また、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の蓄積メディア、インターネット放送、ＶＯＤ（Ｖｉｄｅｏ Ｏｎ Ｄｅｍａｎｄ）等においても、ＳＤのコンテンツ（ＳＤコンテンツ）とＨＤのコンテンツ（ＨＤコンテンツ）が混在している。

ＳＤコンテンツに対応したディスプレイとしては、例えば７２０×４８０画素のディスプレイがある。また、ＨＤコンテンツに対応したディスプレイとしては、例えば１２８０×７２０画素や１９２０×１０８０画素のディスプレイがある。近年は、徐々にＨＤ対応ディスプレイが普及してきている。

ここで、ＨＤ対応ディスプレイにＳＤコンテンツの画像を表示する手法は大きく２つの手法に分けられる。第一の手法は、ＳＤコンテンツをＨＤ対応ディスプレイの画素数に合わせて画素変換し、ＨＤ対応ディスプレイの画面全体にＳＤコンテンツの画像を拡大して表示する手法である。第二の手法は、ＳＤコンテンツを画素変換せずに、ＨＤ対応ディスプレイの画面の一部に表示する手法である。

下記の特許文献１には、ＳＤ画像をＨＤ画像に変換する方法が開示されている。これによれば、ＳＤ画像に対応するＨＤ画像を遺伝的操作により生成し、生成したＨＤ画像をＳＤ画像に変換して、元のＳＤ画像と比較して変換結果の妥当性を評価する。
特開平１１−４４１４号公報

近年、ＨＤよりもさらに高解像度のスーパーハイビジョンと呼ばれるコンテンツ及びディスプレイの研究・開発が日本放送協会（ＮＨＫ）の放送技術研究所を中心に行われている。スーパーハイビジョンコンテンツ（以下、ＳＨＶコンテンツと称する）の映像フォーマットは、７６８０×４３２０（８ｋ×４ｋ）画素となっている。また、一方では、４ｋ×２ｋ画素の映像フォーマットを有するデジタル・シネマの開発も進められている。スーパーハイビジョン（ＳＨＶ）対応のディスプレイとしては、７６８０×４３２０（８ｋ×４ｋ）画素のディスプレイや、４０９６×２１６０（４ｋ×２ｋ）画素のディスプレイ等が想定されている。

ここで、１９２０×１０８０画素のＨＤコンテンツの画素数は、７２０×４８０画素のＳＤコンテンツの画素数の約６倍である。これに対して、７６８０×４３２０（８ｋ×４ｋ）画素のＳＨＶコンテンツの画素数は、７２０×４８０画素のＳＤコンテンツの画素数の約９６倍である。このため、８ｋ×４ｋ画素のＳＨＶ対応ディスプレイの画面全体にＳＤコンテンツの画像を拡大して表示すると、画素変換による大きな画質劣化が生じるので、ユーザに大きな違和感を与えることが想定される。一方、８ｋ×４ｋ画素のＳＨＶ対応ディスプレイの画面にＳＤコンテンツの画像を画素変換せずに表示する場合も、ＳＨＶ対応ディスプレイの画面の１／９６の領域にしか表示されないため、ユーザに大きな違和感を与えることが想定される。また、４ｋ×２ｋ画素のディスプレイにＳＤコンテンツの拡大画像を表示する場合も、同様にユーザに大きな違和感を与えることが想定される。

このような課題を解決するためには、コンテンツに最適な表示画素数（例えば、画像特性の劣化が許容できる範囲内での最大の表示画素数）で表示することが望ましい。しかしながら、従来は、単純にディスプレイの画素数に合わせて画素変換を行ったり、ユーザが表示画素数を設定したりするのが一般的であり、コンテンツに最適な表示画素数を求める方法は提案されていない。

特許文献１には、ＳＤ画像をＨＤ画像に変換する方法が開示されているが、コンテンツに最適な表示画素数を求めて画素変換を行う方法は開示されていない。

そこで、本発明は、コンテンツの画像を最適な表示画素数で拡大表示させることができる表示制御装置及び表示制御方法を提供することを目的とする。

上述した課題を解決するために、本発明に係る表示制御装置は、映像コンテンツの画素数よりも多い画素数を有する表示部に、映像コンテンツの画像を拡大した拡大画像を表示可能な表示制御装置であって、蓄積部に蓄積された映像コンテンツを構成する複数のフレームの画像から解析対象のフレームの画像を抽出して、映像コンテンツの画像を拡大した場合の画像特性を解析する解析手段と、解析手段による解析結果に基づいて、画像特性の劣化度合いが予め定められた劣化判定基準値を満たすように、映像コンテンツの画像を拡大した場合の表示画素数を決定する画素数決定手段と、再生指示に応答して、蓄積部に蓄積された映像コンテンツを再生する制御を行う制御手段と、再生指示を受けた映像コンテンツを構成する複数のフレームの画像の画素数を画素数決定手段で決定された表示画素数に変換して、該映像コンテンツの画像を拡大した拡大画像を表示部に出力する画素変換手段とを備え、解析手段は、解析対象のフレーム数を時間経過に応じて段階的に増加させて、画像特性を解析する処理を繰り返し実行し、画素数決定手段は、解析手段により繰り返し実行される解析処理の結果に基づいて、表示画素数を繰り返し決定しなおし、画素変換手段は、再生指示を受ける前に表示画素数決定手段により決定されている表示画素数になるように、映像コンテンツを構成する複数のフレームの画像の画素数を変換することを特徴とする。

また、本発明の係わる表示制御方法は、映像コンテンツの画素数よりも多い画素数を有する表示部に、映像コンテンツの画像を拡大した拡大画像を表示可能とする表示制御方法であって、蓄積部に蓄積された映像コンテンツを構成する複数フレームの画像から解析対象のフレームの画像を抽出して、該映像コンテンツの画像を拡大した場合の画像特性を解析する解析ステップと、解析ステップによる解析結果に基づいて、画像特性の劣化度合いが予め定められた劣化判定基準値を満たすように、映像コンテンツの画像を拡大した場合の表示画素数を決定する画素数決定ステップと、再生指示に応答して、蓄積部に蓄積された映像コンテンツを再生する制御を行う再生ステップと、再生指示を受けた映像コンテンツを構成する複数のフレームの画像の画素数を画素数決定ステップで決定された表示画素数に変換して、該映像コンテンツの画像を拡大した拡大画像を表示部に出力する画素変換ステップとを備え、解析ステップは、解析対象のフレーム数を時間経過に応じて段階的に増加させて、画像特性を解析する処理を繰り返し実行し、画素数決定ステップは、解析ステップで繰り返し実行される解析処理の結果に基づいて、表示画素数を繰り返し決定しなおし、画素変換ステップは、再生指示を受ける前に表示画素数決定手段により決定されている表示画素数になるように、映像コンテンツを構成する複数のフレームの画像の画素数を変換することを特徴とする。

本発明によれば、コンテンツの画像特性を解析することにより、コンテンツの画像を最適な表示画素数で拡大表示させることが可能となる。

（実施の形態１）
以下、本発明の実施の形態を図面を用いて説明する。図１は、本発明の実施の形態１に係る表示制御装置の概略構成を示すブロック図である。なお、本実施例において、デジタルテレビ放送のコンテンツを視聴することを想定している。また、伝送フォーマットはＭＰＥＧ２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ２）のＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）を想定している。

図１において、この表示制御装置は、受信部１、デマルチプレクサ２、映像復号部３、画素変換部４、映像出力部５、システム制御部６、蓄積処理部７、蓄積再生制御部８、コンテンツ蓄積部９を備える。さらに、表示制御装置は、画素数決定制御部１０、最適画素数計算部１１、映像復号部１２、画素変換部１３、解析部１４、画素数決定部１５、閾値記憶部１６、画素数記憶部１７及びリモコン１８を備える。

アンテナ（図示せず）で受信されたデジタル放送信号は、受信部１に入力される。（ケーブルテレビ回線やインターネット回線を経由したデジタル放送信号も含む）
受信部１は、入力されたデジタル放送信号からユーザの所望するチャンネルの信号を選局し、復調処理を施してＭＰＥＧ２方式のＴＳ信号をデマルチプレクサ２に出力する。デマルチプレクサ２は、多重化されたＴＳ信号に対してデマルチプレクス処理を施し、映像信号（ＭＰＥＧ２−Ｖｉｄｅｏ信号）、音声信号（ＭＰＥＧ２−Ａｕｄｉｏ信号）等に分離して出力する。デマルチプレクサ２から出力された映像信号は、映像復号部３に与えられる。デマルチプレクサ２から出力された音声信号は音声復号部（図示せず）に与えられるが、ここでは、音声信号に関する処理は説明を省略する。

映像復号部３は、デマルチプレクサ２からの映像信号を復号して出力する。画素変換部４は、映像復号部３から出力された映像信号に対して、システム制御部６により指示された表示画素数に変換する画素変換処理を行う。画素変換のアルゴリズムとしては、例えばバイキュービック法等の任意の手法を使用する。映像出力部５は、画素変換部４によって画素変換された映像信号を表示制御装置（図示せず）に出力する。

また、デマルチプレクサ２は、受信部１から出力されたＴＳ信号から、蓄積するコンテンツの信号を抽出して蓄積処理部７に与える。蓄積処理部７は、蓄積するコンテンツのパケットを整形して、コンテンツ番号、蓄積日、コンテンツ長等の蓄積コンテンツ情報を付加する。

図２は、コンテンツ番号１〜４のコンテンツに付加される蓄積コンテンツ情報の一例を示す図である。図２において、蓄積コンテンツ情報として「蓄積コンテンツ番号」「蓄積日」「コンテンツ長」が付加されている。例えば、コンテンツ番号１に対応するコンテンツの蓄積日は２００６／７／４であり、コンテンツ長は１時間３２分１０秒（１ｈ３２ｍ１０ｓ）である。

図１に戻って、蓄積再生制御部８は、システム制御部６から蓄積要求を受けた場合に、蓄積処理部７から出力されたコンテンツをコンテンツ蓄積部９に蓄積する。また、蓄積再生制御部８は、システム制御部６から再生指示を受けた場合、コンテンツ蓄積部９に蓄積されたコンテンツを読み出してデマルチプレクサ２に与える。

画素数決定制御部１０は、コンテンツ蓄積部９からの蓄積コンテンツ情報に基づいて、最適画素数計算部１１の動作の制御を行う。最適画素数計算部１１は、コンテンツに最適な表示画素数を算出する。この最適画素数計算部１１は、映像復号部１２、画素変換部１３、解析部１４及び画素数決定部１５を含む。なお、本発明において、最適な表示画素数とは、画像を拡大したときの画像特性の劣化が一定レベル以上悪くならない最大の表示画素数を意味する。コンテンツの画像を画素変換して拡大すると画像特性が劣化するため、本発明では画像特性が一定レベルよりも悪くならないように表示画素数を決定する。

映像復号部１２は、コンテンツ蓄積部９に蓄積されたコンテンツの映像信号から任意のフレームを抜き出して復号する。画素変換部１３は、映像復号部１２によって復号された映像信号の画素変換を行う。解析部１４は、画素変換部１３による画素変換の結果を解析する。閾値記憶部１６には、画像特性の劣化度合いを判定するための劣化判定閾値（判定基準値）が予め格納されている。画素数決定部１５は、解析部１４による解析結果と、閾値記憶部１６から取得した劣化判定閾値とを比較して、コンテンツに最適な表示画素数を決定する。なお、画素数決定制御部１０及び最適画素数計算部１１によりコンテンツに最適な表示画素数を決定する処理については後述する。

画素数記憶部１７は、画素数決定部１５によって決定された表示画素数を保持する。また、この画素数記憶部１７には、ディスプレイの画素数が予め格納される。システム制御部６は、画素数記憶部１７に保持された画素数情報を取得して画素変換部４に設定する。また、このシステム制御部６は、リモコン１８からのリモコン信号に応じて、蓄積再生制御部８の動作を制御する。

なお、図１では、２つの映像復号部３，１２及び２つの画素変換部４，１３を設けた構成を示したが、１つの映像復号部３及び１つの画素変換部４を設けた構成にしてもよい。この場合は、映像復号部３及び画素変換部４を最適表示画素数の計算処理に兼用し、画素変換部４による画素変換の結果を解析部１４で解析する構成にすればよい。

ここで、本発明では、コンテンツに最適な表示画素数を決定する処理において、解析精度を段階的に高くしながら最適表示画素数を算出する。これにより、蓄積されたコンテンツの再生要求があった場合、その時点の解析精度で算出された最適表示画素数を用いて、コンテンツの画像を拡大して表示することが可能となる。

図３は、解析精度を段階的に高くしながら最適表示画素数を決定する処理について説明するための図である。ここで、時刻ｔ０にコンテンツの蓄積が開始され、時刻ｔ４にコンテンツの蓄積が終了するものとする。

図１及び図３を参照して、時刻ｔ０にコンテンツの蓄積が開始された後、最適画素数計算部１１は、解析精度を段階的に高くしながらコンテンツに最適な表示画素数を計算する。具体的には、時刻ｔ１に解析精度Ｐ（１）で演算処理が行われ、時刻ｔ０〜ｔ１の期間に蓄積されたコンテンツに対応する最適な表示画素数Ｒ（１）が算出される。続いて、時刻ｔ３に解析精度Ｐ（１）よりも１段階高い精度の解析精度Ｐ（２）で演算処理が行われ、時刻ｔ０〜ｔ３の期間に蓄積されたコンテンツに対応する最適な表示画素数Ｒ（２）が算出される。続いて、時刻ｔ６に解析精度Ｐ（２）よりも１段階高い精度の解析精度Ｐ（３）で演算処理が行われ、時刻ｔ０〜ｔ４の期間に蓄積されたコンテンツに対応する最適な表示画素数Ｒ（３）が算出される。

時刻ｔ２に、ユーザがリモコン１８を操作して、蓄積されたコンテンツのタイムシフト再生を要求した場合（再生要求Ａ）、システム制御部６は蓄積再生制御部８にコンテンツの再生を指示する。また、システム制御部６は、画素数記憶部１７からその時点で算出されている最適表示画素数Ｒ（１）を取得し、画素変換部４に最適表示画素数Ｒ（１）を設定する。蓄積再生制御部８により再生されたコンテンツは、画素変換部４によって最適表示画素数Ｒ（１）に画素変換されてディスプレイに拡大表示される。また、時刻ｔ５に、ユーザが蓄積されたコンテンツのタイムシフト再生を要求した場合は（再生要求Ｂ）、その時点で算出されている最適表示画素数Ｒ（２）に画素変換されてディスプレイに拡大表示される。このように、解析精度を段階的に高くしながら最適表示画素数を算出するため、蓄積されたコンテンツの再生要求がされた時点で算出されている最適表示画素数で、コンテンツの拡大画像をディスプレイに表示することが可能となる。

次に、コンテンツに最適な表示画素数を決定する処理について説明する。図４は、最適表示画素数を決定する処理を示す第１のフローチャートである。図１及び図４を用いて、画素数決定制御部１０及び最適画素数計算部１１によりコンテンツに最適な表示画素数を決定する処理について説明する。

ステップＳ１０１において、画素数決定制御部１０は、コンテンツ蓄積部９に蓄積されたコンテンツを解析して、蓄積されたコンテンツの画素数を取得する。また、この画素数決定制御部１０は、画素数記憶部１７からディスプレイの画素数情報を読み出す。続いてステップＳ１０２において、コンテンツの画素数がディスプレイの画素数よりも低いか否かを判別する。なお、ディスプレイの画素数情報は、画素数決定制御部１０に予め設定されるものとする。ここで、「コンテンツの画素数」≧「ディスプレイの画素数」である場合は（ＮＯ）、ステップＳ１０３に進み、画素数決定部１５はディスプレイの画素数をコンテンツに最適な表示画素数として決定する。一方、「コンテンツの画素数」＜「ディスプレイの画素数」である場合は（ＹＥＳ）、ステップＳ１０２からステップＳ１０４に進み、最適画素数計算部１１はコンテンツに最適な表示画素数を計算する。

図５は、最適表示画素数を決定する処理を示す第２のフローチャートである。この図５は、図４に示したステップＳ１０４の最適画素数計算処理を詳細に説明するものであり、解析精度Ｐ（ｎ）での演算処理を示している。なお、本実施例では、コンテンツの画像解析に用いるフレーム数を段階的に増やしていくことにより、解析精度Ｐ（ｎ）を段階的に高くしていくものとする。

図１及び図５を参照して、ステップＳ１３０において、画素数決定部１５は、画素数記憶部１７からディスプレイの画素数（Ｘ×Ｙ）を読み出して、表示画素数の初期設定値とする。ここで、Ｘは水平方向の画素数、Ｙは垂直方向の画素数を表す。次に、ステップＳ１３１において、画素数決定制御部１０は、コンテンツ蓄積部９に蓄積されたコンテンツから、解析精度Ｐ（ｎ）での演算処理に必要なフレーム数分だけフレームを選択する。フレームの選択のし方は、ランダムに選択してもよいし、所定の間隔でフレームを選択してもよい。解析精度Ｐ（ｎ）の演算処理に必要なフレーム数は、例えば２^ｎとする。ただし、これに限定されるものではなく、解析精度が高くなる程演算処理に用いるフレーム数が増えるようにすればよい。

ステップ１３２において、映像復号部１２は、コンテンツ蓄積部９に蓄積されたコンテンツから２^ｎ枚のフレームの画像を取得して復号する。ステップ１３３において、画素変換部１３は、映像復号部１２で復号された各フレームの画像を設定された表示画素数（Ｘ×Ｙ）に画素変換して解析部１４に出力する。

ステップＳ１３４において、解析部１４は、画素変換された各フレームの画像をＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）等の直交変換手法を用いて、空間的な周波数成分に分解する。続いて、ステップＳ１３５において、空間周波数分解により得られたＤＣＴ係数を２乗して、周波数成分毎のエネルギーのヒストグラムを生成する。

図６は、解析部１４による空間周波数分解及びヒストグラム生成の処理について説明するための図である。図６に示すように、各フレームの画像が複数のブロックに分割され、各ブロックに対してＤＣＴ演算処理が施される。各ブロックのサイズは任意であるが、ＭＰＥＧで一般的に用いられている８×８画素程度が好ましい。各ブロックについて、ＤＣＴ演算処理により空間周波数分解されて、周波数成分毎のＤＣＴ係数が得られる。ＤＣＴ演算処理については、公知の技術を用いるためここでは説明を省略する。図６において、８×８行列のＤＣＴ係数マトリクス上における各周波数成分に対応するＤＣＴ係数位置をａ１１〜ａ８８の数字で示している。解析部１４は、各周波数成分のＤＣＴ係数を２乗して、ＤＣＴ係数位置ａ１１〜ａ８８のエネルギー値を取得する。そして、フレーム内の各ブロックのエネルギー値を収集して、横軸をエネルギー値、縦軸を各エネルギー値に対応するフロック数としたエネルギーヒストグラムを生成する。

次に、選択された全てのフレームについてのエネルギーヒストグラムの生成が完了すると、ステップＳ１３６からステップＳ１３７に進む。ステップＳ１３７において、解析部１４は、選択された全てのフレームの周波数成分毎のエネルギーヒストグラムから、周波数成分毎のエネルギー平均値及びエネルギー標準偏差σを算出する。続いて、ステップＳ１３８において、算出された周波数成分毎のエネルギー平均値とエネルギー標準偏差σから（エネルギー平均値＋２×σ）を計算する。これにより、エネルギー値の９５％が含まれる範囲の上限値（エネルギー上限値）が求められる。

ステップＳ１３９において、画素数決定部１５は、解析部１４により算出された各周波数成分のエネルギー上限値と、閾値記憶部１６に格納されている劣化判定閾値とを比較する。閾値記憶部１６には、評価実験等から得られた、各周波数成分に対応する劣化判定閾値が予め格納されている。この劣化判定閾値（判定基準値）は、画素変換による画像特性の劣化をユーザが許容できるかどうかの境界を示す閾値である。図７は、図６に示したＤＣＴ係数マトリクス上における各周波数成分に対応するＤＣＴ係数位置ａ１１〜ａ８８の劣化判定閾値の一例を示す図である。

図５に戻って、ステップＳ１４０において、画素数決定部１５は、画像特性の劣化が許容範囲内であるか否かを判別する。具体的には、全ての周波数成分のエネルギー上限値が、劣化判定閾値よりも大きいか否かを判別する。ここで、画像特性が許容範囲よりも劣化している場合（ＮＯ）、具体的には、少なくとも１つの周波数成分のエネルギー上限値が劣化判定閾値よりも小さい場合は、ステップＳ１４０からステップＳ１４１に進む。ただし、１つではなく所定数の周波数成分のエネルギー上限値が劣化判定閾値よりも小さい場合に、ステップＳ１４０からステップＳ１４１に進むようにしてもよい。

なお、この劣化判定処理は、画像特性が劣化するほど各周波数成分のエネルギー値が小さくなるという考えに基づいている。ただし、画像特性が劣化するほど高周波成分のエネルギー値のみが小さくなる場合もあると想定される。このため、高周波成分のエネルギー値のみを用いて劣化判定を行ってもよい。例えば、図６のＤＣＴ係数位置ａ１５〜ａ１７，ａ２５〜ａ２７，ａ３５〜ａ３７，ａ４５〜ａ４７，ａ５１〜ａ５７，ａ６１〜ａ６７，ａ７１〜ａ７７に対応するエネルギー値のみを用いてもよい。

ステップＳ１４１において、水平方向の画素数を（Ｘ／１０）だけ減算し、垂直方向の画素数を（Ｙ／１０）だけ減算して、表示画素数の設定値を変更する。なお、ここで表示画素数の設定値をどの程度変更するかは任意であるが、元の画像のアスペクト比を変化させないようにするのが好ましい。ステップＳ１４１で表示画素数の設定値が変更された場合は、再度ステップＳ１３２〜Ｓ１４０の処理を実行する。そして、画像特性の劣化が許容範囲内に収まるまで、ステップＳ１３２〜Ｓ１４１の処理を繰り返す。

一方、画像特性の劣化が許容範囲内である場合は（ＹＥＳ）、ステップＳ１４０からステップＳ１４２に進み、設定された表示画素数を最適な表示画素数として決定する。決定された最適表示画素数は、解析精度Ｐ（ｎ）に対応する最適表示画素数として画素数記憶部１７に格納される。以上の処理を、解析精度Ｐ（１），Ｐ（２），Ｐ（３）・・・と段階的に行っていく。解析精度Ｐ（ｎ）を段階的に高くする回数は、上限値（ＭＡＸ）として予め設定しておく。

図８は、画素数記憶部１７に格納される最適表示画素数の一例を示す図である。図８においては、ディスプレイの画素数が３６４０×２１６０である場合に、４つの蓄積コンテンツに対して算出された最適表示画素数を示している。

なお、本実施例においては、ステップＳ１３０でディスプレイの画素数（Ｘ×Ｙ）を表示画素数の初期設定値とする場合について説明したが、ｎ≧２の場合は、解析精度Ｐ（ｎ−１）での演算処理で算出された最適表示画素数Ｒ（ｎ−１）を初期設定値としてもよい。

以上のように、コンテンツに最適な表示画素数を決定する処理において、解析精度を段階的に高くしながらコンテンツに最適な表示画素数を算出する。これにより、任意のタイミングでユーザにより蓄積コンテンツの再生要求がされた場合、その時点の解析精度で算出されている最適表示画素数で、コンテンツの拡大画像をディスプレイに表示することが可能となる。

なお、ここでは、蓄積されたコンテンツの画像を画素変換して拡大表示する場合について説明したが、ビデオテープや光ディスク等に記録されているコンテンツの画像を画素変換して拡大表示する場合も、同様の効果が得られる。

また、ここでは、画像の周波数成分に基づいて画像特性の劣化を判別する場合について説明したが、シャープネス、色再現性、階調再現性、ノイズなどの成分によって画像特性の劣化を判別してもよい。

また、画素数決定部１５により決定された最適表示画素数は、ユーザが任意に設定変更できるようにしてもよい。例えば、ユーザがリモコン１８を操作して、最適表示画素数を設定変更するメニューを表示させて、水平方向の画素数及び垂直方向の画素数を任意に変更できるようにする。図９は、画素数記憶部１７に記憶されている最適表示画素数情報に、ユーザが指定した表示画素数の情報を追加した図である。図９において、蓄積コンテンツ番号３のコンテンツの付加情報として、ユーザが指定した表示画素数（２３０４×１２９５）の情報が追加されている。これにより、ユーザが蓄積コンテンツ番号３のコンテンツを後で再度視聴する場合でも、ユーザが一度指定した表示画素数でコンテンツを視聴することができる。

（実施の形態２）
この実施の形態２では、コンテンツの蓄積処理中に行う最適表示画素数計算方法と、蓄積処理が完了した後で行う最適表示画素数計算方法とが異なる。コンテンツの蓄積処理中は、他の処理を行う能力に制限があるため、簡易な最適表示画素数計算方法を用いる。そして、蓄積処理が完了した後は、実施の形態１と同様の最適表示画素数計算方法を用いる。

図１０は、本発明の実施の形態２に係る表示制御装置の概略構成を示すブロック図である。図１０において、図１に示したブロックと同様の動作を行うブロックついては同一の符号を付し、その説明を省略する。

図１０において、システム制御部２１は、ユーザから蓄積要求を受けると、蓄積再生制御部８に蓄積処理を開始するように指示するとともに、映像復号部２２の動作を制御する。これに応じて、映像復号部２２は、デマルチプレクサ２からの映像信号を復号して、画素変換部４及び解析部２３に出力する。解析部２３は、映像復号部２２により復号された映像信号の各フレームの画像を、順次ＤＣＴ等の直行変換手法を用いて、空間的な周波数成分に分解する。そして、空間周波数分解により得られたＤＣＴ係数を２乗して、周波数成分毎のエネルギーのヒストグラムを生成する。さらに、解析部２３は、各フレームの周波数成分毎のエネルギーヒストグラムから、周波数成分毎のエネルギー平均値及びエネルギー標準偏差σを求め、（エネルギー平均値＋２×σ）をエネルギー上限値として算出する。

予測劣化率記憶部２５には、各周波数成分に対応する画像特性の予測劣化率情報が予め格納されている。この予測劣化率情報は、画素変換により画像を拡大した場合に、各周波数成分に対応する画像が劣化する割合を予測するものである。

図１１は、図６に示したＤＣＴ係数マトリクス上における各周波数成分に対応するＤＣＴ係数位置ａ１１〜ａ８８の予測劣化率情報の一例を示す図である。予測劣化率は、予め相当数の画像に対して評価実験を行って決定したものを用いる。

画素数決定部２４は、各フレームに対応する周波数成分毎のエネルギー平均値及びエネルギー標準偏差σが算出される度に、予測劣化率記憶部２５と閾値記憶部１６から周波数成分毎の予測劣化率と劣化判定閾値を取得する。そして、画素数決定部２４は、各フレームの全ての周波数成分について、以下の数式（１），（２）を満たす表示画素数を最適表示画素数の予測値とする。

エネルギー上限値×（予測劣化率）^ｉ＝劣化判定閾値・・・（１）
ｉ＝最適表示画素数−コンテンツの画素数・・・（２）
数式（２）が示すｉは、画素変換によって増加する画素数を表している。予測劣化率は、１画素増加した場合に画像特性がどの程度劣化するかを予測するものである。

画素数記憶部１７に記憶される最適表示画素数（予測値）は、１フレーム分の画像解析が終わる度に更新される。ただし、蓄積されたコンテンツの全ての画像フレームをフレーム毎に最適表示画素数（予測値）を求めるのではなく、所定数のフレーム毎に最適表示画素数（予測値）を求めるようにしてもよい。このようにして、コンテンツを蓄積しながら、リアルタイムでコンテンツに最適な表示画素数（予測値）が決定される。なお、算出された最適表示画素数がディスプレイの画素数よりも大きくなる場合は、ディスプレイの画素数を最適表示画素数の予測値とする。

コンテンツの蓄積処理が終了した後は、実施の形態１で説明したように最適画素数計算部１１により最適表示画素数を決定する。コンテンツ蓄積中に最適表示画素数（予測値）を決定するのに比べて、コンテンツ蓄積処理が終了した後の方が、画像を画素変換して画像特性の評価を行うので、より高精度に最適表示画素数が求められる。

図１２は、ユーザがコンテンツの再生を要求した場合の処理について説明するための図である。図１２において、時刻ｔ１０にコンテンツの蓄積が開始され、時刻ｔ１２にコンテンツの蓄積が終了するものとする。

図１０及び図１２を参照して、時刻ｔ１０〜ｔ１２の期間にコンテンツの蓄積処理を行っている間、画素数決定部２４はフレーム毎にリアルタイムに最適表示画素数（予測値）を算出する。時刻ｔ１２にコンテンツの蓄積が終了した後は、解析精度をＰ（１），Ｐ（２），Ｐ（３），・・・と段階的に高くしながらコンテンツに最適な表示画素数Ｒ（１），Ｒ（２），Ｒ（３），・・・を算出する。

ここで、コンテンツ蓄積処理中の時刻ｔ１１に、ユーザがリモコン１８を操作して、蓄積されたコンテンツのタイムシフト再生を要求した場合（再生要求Ｃ）、システム制御部６は蓄積再生制御部８にコンテンツの再生を指示する。また、システム制御部６は、画素数記憶部１７からその時点で算出されている最適表示画素数（予測値）を取得し、画素変換部４に最適表示画素数（予測値）を設定する。蓄積再生制御部８により再生されたコンテンツは、画素変換部４によって最適表示画素数（予測値）に画素変換されてディスプレイに拡大表示される。また、時刻ｔ１４に、ユーザが蓄積済みのコンテンツのタイムシフト再生を要求した場合は（再生要求Ｄ）、コンテンツはその時点で算出されている最適表示画素数Ｒ（１）でディスプレイに拡大表示される。

このように、コンテンツの蓄積処理中は、他の処理を行う能力に制限があるため、映像復号部２２によって復号された映像信号に対して最適表示画素数（予測値）を算出する。そして、蓄積処理が完了した後は、実施の形態１と同様の方法で、解析精度を段階的に高くしながら、蓄積されたコンテンツを画素変換した後に画像特性の評価を行って最適表示画素数を算出する。画素変換には大きな処理負荷がかかるため、この実施の形態２では、コンテンツの蓄積処理中は処理負荷の小さい方法で最適表示画素数（予測値）を求める。

なお、ここではコンテンツの蓄積処理中、及び蓄積処理が完了した後に最適表示画素数を決定する場合について説明したが、例えば受信中の放送コンテンツをリアルタイムに画素変換してディスプレイに拡大表示させる場合にも適用できる。

（実施の形態３）
この実施の形態３では、ディスプレイの画素数やサイズ（表示領域の大きさ）に応じて、最適表示画素数の決定処理に用いる劣化判定閾値を異なる値とする。

図１３は、本発明の実施の形態３に係る表示制御装置の概略構成を示すブロック図である。図１３において、図１に示したブロックと同様の動作を行うブロックついては同一の符号を付し、その説明を省略する。

サイズ・画素数取得部３１は、表示制御装置に接続されたディスプレイの画素数及びサイズを取得して、画素数決定部１５に出力する。このサイズ・画素数取得部３１は、複数のディスプレイが接続されている場合は、複数のディスプレイのうちコンテンツを表示させるディスプレイの画素数及びサイズを取得する。閾値記憶部１６には、複数種類のディスプレイに対応した劣化判定閾値が予め格納される。

図１４は、複数種類のディスプレイに対応した劣化判定閾値の一例を示す図である。これらの劣化判定閾値は、評価実験を行う等して予め決めたものである。図１４において、ディスプレイの画素数が多いほど、劣化判定閾値は小さな値となっている。また、ディスプレイのサイズ（水平方向の長さ×垂直方向の長さ）が大きいほど、劣化判定閾値は大きな値となっている。

図１３に戻って、画素数決定部１５は、サイズ・画素数取得部３１によって取得されたディスプレイの画素数及びサイズに対応する劣化判定閾値を判定閾値記憶部１６から読み出して、最適表示画素数を決定する。

したがって、表示制御装置がディスプレイと一体型でないセットトップボックス等であっても、ディスプレイの画素数やサイズに合わせた最適表示画素数を決定することができる。また、表示制御装置に複数のディスプレイが接続されている場合でも、コンテンツを表示させるディスプレイの画素数やサイズに合わせた最適表示画素数の決定処理を適宜行うことが可能となる。

（実施の形態４）
実施の形態４は、最適表示画素数が算出された後に、蓄積コンテンツの圧縮映像信号のヘッダ部に最適表示画素数情報を挿入するように構成したものである。これにより、最適表示画素数が一旦算出された蓄積コンテンツをリムーバブルメディア等に移動（ムーブ）し、その蓄積コンテンツを他の表示制御装置で再生表示させる場合でも、一旦算出された最適表示画素数を再利用することが可能となる。

図１５は、本発明の実施の形態４に係る表示制御装置の概略構成を示すブロック図である。図１５において、図１３に示したブロックと同様の動作を行うブロックついては同一の符号を付し、その説明を省略する。

画素数情報付加部４１は、画素数記憶部１７に記憶された最適表示画素数情報を取得してヘッダ情報を作成する。そして、コンテンツ蓄積部９からコンテンツを読み出してデマルチプレックス処理を施して分離した映像信号（ＭＰＥＧ２−ｖｉｄｅｏ信号）のシーケンスヘッダ部に、作成したヘッダ情報を多重する。画素数情報付加部４１は、ヘッダ情報が多重されたＭＰＥＧ２−ＴＳ信号をコンテンツ蓄積部９に蓄積する。コンテンツ蓄積部９に蓄積されるコンテンツには、「最適表示画素数情報」が付加されているか否かを示すフラグが追加される。

図１６は、コンテンツに付加されるヘッダ情報（最適表示画素数情報）の一例を示す図である。図１６において、「ｉｄ」は最適表示画素数ヘッダであることを示す情報（３２ｂｉｔ）である。「ｈ＿ｒｅｓ＿ｏｐｔ」は最適表示画素数の水平方向成分を示す情報（３２ｂｉｔ）、「ｖ＿ｒｅｓ＿ｏｐｔ」は最適表示画素数の垂直方向成分を示す情報（３２ｂｉｔ）である。「ｈ＿ｒｅｓ＿ｍｏｎｉｔｏｒ」はディスプレイの画素数の水平方向成分を示す情報（３２ｂｉｔ）、「ｖ＿ｒｅｓ＿ｍｏｎｉｔｏｒ」はディスプレイの画素数の垂直方向成分を示す情報（３２ｂｉｔ）である。「ｈ＿ｓｉｚ＿ｍｏｎｉｔｏｒ」はディスプレイの水平方向の長さを示す情報（３２ｂｉｔ）、「ｖ＿ｓｉｚ＿ｍｏｎｉｔｏｒ」はディスプレイの垂直方向の長さを示す情報（３２ｂｉｔ）である。また、「ｓｃａｌｉｎｇ＿ａｌｇ」は画素変換アルゴリズムを示す情報（８ｂｉｔ）である。これらのヘッダ情報は、シーケンスヘッダ内に規定されるユーザデータ部に挿入される。ＭＰＥＧ２−ｖｉｄｅｏ信号及びシーケンスヘッダの詳細は、ＭＰＥＧ２の規格ＩＳＯ／ＩＥＣ１３８１８−２に規定されている。

次に、ヘッダ情報（最適表示画素数情報）が付加された蓄積コンテンツを再生する場合の動作について説明する。図１５に戻って、コンテンツ蓄積部９から読み出されたコンテンツは、デマルチプレクサ２を介して映像復号部４２に入力される。映像復号部４２は、デマルチプレクサ２を介して受けた映像信号を復号するとともに、映像信号のシーケンスヘッダ部を解析して最適表示画素数情報が付加されているかどうかをチェックする。そして、最適表示画素数情報が検出された場合は、システム制御部４３に最適表示画素数情報（図１６参照）を出力する。

システム制御部４３は、映像復号部４２から最適表示画素数情報が通知されない場合は、実施の形態３に示した方法で最適表示画素数を決定して、画素変換部４に画素変換を指示する。一方、映像復号部４２から最適表示画素数情報が通知された場合は、最適表示画素数情報の内容を解析する。そして、最適表示画素数情報として記述された画素変換アルゴリズムと、画素変換部４の画素変換アルゴリズムとが一致しているかどうかをチェックする。また、最適表示画素数情報として記述されたディスプレイの画素数及びサイズと、表示制御装置に接続されているディスプレイの画素数及びサイズとが一致しているかどうかをチェックする。これらのチェック項目が全て一致している場合は、映像復号部４２から通知された最適表示画素数に画素変換を行うように画素変換部４に指示する。いずれか一つでも一致しないチェック項目がある場合は、実施の形態３に示した方法で最適表示画素数を決定して、画素変換部４に画素変換を指示する。

したがって、表示制御装置からコンテンツをコンテンツ蓄積部９に移動（ムーブ）した場合でも、一旦算出された最適表示画素数を再利用することが可能となる。

本発明の実施の形態１に係る表示制御装置の概略構成を示すブロック図である。 コンテンツに付加される蓄積コンテンツ情報の一例を示す図である。 解析精度を段階的に高くしながら最適表示画素数を算出する処理について説明するための図である。 最適表示画素数を決定する処理を示す第１のフローチャートである。 最適表示画素数を決定する処理を示す第２のフローチャートである。 図１に示した解析部の動作について説明するための図である。 図１に示した閾値記憶部に予め格納される劣化判定閾値の一例を示す図である。 図１に示した画素数記憶部に格納される最適表示画素数の一例を示す図である。 最適表示画素数情報にユーザが指定した表示画素数の情報を追加した図である。 本発明の実施の形態２に係る表示制御装置の概略構成を示すブロック図である。 図１０に示した予測劣化率記憶部に予め格納される予測劣化率情報の一例を示す図である。 ユーザがコンテンツの再生を要求した場合の処理について説明するための図である。 本発明の実施の形態３に係る表示制御装置の概略構成を示すブロック図である。 複数種類のディスプレイに対応した劣化判定閾値の一例を示す図である。 本発明の実施の形態４に係る表示制御装置の概略構成を示すブロック図である。 コンテンツに付加されるヘッダ情報の一例を示す図である。

符号の説明

１ 受信部
２ デマルチプレクサ
３ 映像復号部
４ 画素変換部
５ 映像出力部
６ システム制御部
７ 蓄積処理部
８ 蓄積再生制御部
９ コンテンツ蓄積部
１０ 画素数決定制御部
１１ 最適画素数計算部
１２ 映像復号部
１３ 画素変換部
１４ 解析部
１５ 画素数決定部
１６ 閾値記憶部
１７ 画素数記憶部
１８ リモコン

Claims (10)

1. 映像コンテンツの画素数よりも多い画素数を有する表示部に、前記映像コンテンツの画像を拡大した拡大画像を表示可能な表示制御装置であって、
   蓄積部に蓄積された前記映像コンテンツを構成する複数のフレームの画像から解析対象のフレームの画像を抽出して、前記映像コンテンツの画像を拡大した場合の画像特性を解析する解析手段と、
   前記解析手段による解析結果に基づいて、前記画像特性の劣化度合いが予め定められた劣化判定基準値を満たすように、前記映像コンテンツの画像を拡大した場合の表示画素数を決定する画素数決定手段と、
   再生指示に応答して、前記蓄積部に蓄積された前記映像コンテンツを再生する制御を行う制御手段と、
   再生指示を受けた前記映像コンテンツを構成する複数のフレームの画像の画素数を前記画素数決定手段で決定された前記表示画素数に変換して、該映像コンテンツの画像を拡大した拡大画像を前記表示部に出力する画素変換手段とを備え、
   前記解析手段は、解析対象のフレーム数を時間経過に応じて段階的に増加させて、前記画像特性を解析する処理を繰り返し実行し、
   前記画素数決定手段は、前記解析手段により繰り返し実行される解析処理の結果に基づいて、前記表示画素数を繰り返し決定しなおし、
   前記画素変換手段は、前記再生指示を受ける前に表示前記画素数決定手段により決定されている前記表示画素数になるように、前記映像コンテンツを構成する複数のフレームの画像の画素数を変換することを特徴とする表示制御装置。
2. 前記解析手段は、抽出した解析対象のフレームの画像を空間的な周波数成分に分解して、各周波数成分に係る画像特性を解析することを特徴とする請求項１に記載の表示制御装置。
3. 前記予め定められた劣化判定基準値は、前記表示部の画素数に応じて異なることを特徴とする請求項１または請求項２のいずれかに記載の表示制御装置。
4. 前記予め定められた劣化判定基準値は、前記表示部の表示領域の大きさに応じて異なることを特徴とする請求項１または請求項２のいずれかに記載の表示制御装置。
5. さらに、前記画素数決定手段により決定された表示画素数を示す情報を、蓄積された前記映像コンテンツに付加する付加手段を備えることを特徴とする請求項１から請求項４までのいずれか１項に記載の表示制御装置。
6. 映像コンテンツの画素数よりも多い画素数を有する表示部に、前記映像コンテンツの画像を拡大した拡大画像を表示可能とする表示制御方法であって、
   蓄積部に蓄積された前記映像コンテンツを構成する複数フレームの画像から解析対象のフレームの画像を抽出して、該映像コンテンツの画像を拡大した場合の画像特性を解析する解析ステップと、
   前記解析ステップによる解析結果に基づいて、前記画像特性の劣化度合いが予め定められた劣化判定基準値を満たすように、前記映像コンテンツの画像を拡大した場合の表示画素数を決定する画素数決定ステップと、
   再生指示に応答して、前記蓄積部に蓄積された前記映像コンテンツを再生する制御を行う再生ステップと、
   再生指示を受けた前記映像コンテンツを構成する複数のフレームの画像の画素数を前記画素数決定ステップで決定された前記表示画素数に変換して、該映像コンテンツの画像を拡大した拡大画像を前記表示部に出力する画素変換ステップとを備え、
   前記解析ステップは、解析対象のフレーム数を時間経過に応じて段階的に増加させて、前記画像特性を解析する処理を繰り返し実行し、
   前記画素数決定ステップは、前記解析ステップで繰り返し実行される解析処理の結果に基づいて、前記表示画素数を繰り返し決定しなおし、
   前記画素変換ステップは、前記再生指示を受ける前に前記表示画素数決定手段により決定されている前記表示画素数になるように、前記映像コンテンツを構成する複数のフレームの画像の画素数を変換することを特徴とする表示制御方法。
7. 前記解析ステップにおいて、抽出した解析対象のフレームの画像を空間的な周波数成分に分解して解析し、各周波数成分に係る画像特性を解析することを特徴とする請求項６に記載の表示制御方法。
8. 前記予め定められた劣化判定基準値は、前記表示部の画素数に応じて異なることを特徴とする請求項６または請求項７のいずれかに記載の表示制御方法。
9. 前記予め定められた劣化判定基準値は、前記表示部の表示領域の大きさに応じて異なることを特徴とする請求項６または請求項７のいずれかに記載の表示制御方法。
10. さらに、前記画素数決定ステップで決定された表示画素数を示す情報を、蓄積された前記映像コンテンツに付加する付加ステップとを備えることを特徴とする請求項６から請求項９までのいずれか１項に記載の表示制御方法。

Images