JP5361472B2 - 映像表示装置及び方法 - Google Patents

Description

本発明は、映像の表示サイズを変更する際の映像処理技術に関する。

従来、映像表示装置に個別に入力された映像を１つの画面内に複数表示すると共に、各映像のサイズを変更可能な映像表示装置がある。一方、１画面内の複数の指定した領域の映像に、それぞれ個別に、色補正（彩度や明るさの調整）、輪郭補正（輪郭の強調の調整）、ガンマ補正（輝度の調整）、ノイズ削減等を行うことで画質を向上させる高画質化処理を行うことが可能な映像表示装置がある。

更に、主映像と副映像の画面を合成し、表示画面を形成する復号化表示装置が提案されている（例えば、特許文献１参照）。この装置では、副映像の表示位置および表示サイズに関する表示補助情報及び表示補助情報を適用する適用時刻情報を含む補助情報を用いることで、副映像の表示位置や表示サイズを１フレーム単位の精度で指定することができる。

特開２００７−０４７２３２号公報

しかしながら、ある時点における１画面内の映像の領域を指定領域として高画質化処理を行う場合、各映像のサイズが変更されても、変更前の指定された領域の高画質化処理が行われてしまう。そのため、映像が縮小された場合には、縮小された映像の周りの背景領域まで高画質化してしまい、画面全体の映像としてはユーザに違和感を与えてしまうことがあった。

また、特許文献１に記載されているようにして１フレーム単位で指定された副映像の表示位置や表示サイズを、上述した高画質化を行う指定領域として１フレーム単位で同期させるためには、以下の処理が必要となる。即ち、同期対象のフレーム単位でのサイズ指定を行う副映像情報の作成処理、副映像情報を反映させるための基準時刻のカウンタとの比較処理、及び、副映像情報の解析処理などであり、これらは煩雑な処理であった。

本発明は上記問題点を鑑みてなされたものであり、映像の表示サイズの変更時に、上記のように煩雑な処理を行うことなく、高画質化処理による画質劣化を低減することを目的とする。

上記目的を達成するために、映像を画面上に表示する本発明の映像表示装置は、前記映像の表示サイズを変更するサイズ変更手段と、前記映像に対して予め決められた画像処理を行うための、前記画面における処理領域を指定する指定手段と、前記指定手段により指定された処理領域に対して、前記予め決められた画像処理を行う処理手段とを有し、前記サイズ変更手段により前記映像の表示サイズが拡大される場合に、前記指定手段は、拡大処理開始時の前記映像の表示サイズ及び前記画面における位置を拡大処理中の前記処理領域として指定し直すとともに、拡大処理終了後、拡大された前記映像の表示サイズ及び前記画面における位置を前記処理領域として指定し直す。

本発明によれば、映像の表示サイズの変更時に、煩雑な処理を行うことなく、高画質化処理による画質劣化を低減することが可能となる。

第１の実施形態に係る映像表示装置の構成を示すブロック図。 ２映像が同時に表示された画面の一例を示す図。 第１の実施形態に係る状態管理テーブルの一例を示す図。 第１の実施形態に係る画面のサイズと映像の表示位置を説明する図。 第１の実施形態に係る映像の表示サイズを変更する場合に高画質化領域を設定する概念を説明するための図。 第１の実施形態に係る高画質化領域の設定処理のフローチャート。 第２の実施形態に係る映像表示装置の構成を示すブロック図。 第２の実施形態に係る映像の表示サイズを変更する場合に高画質化領域を設定する概念を説明するための図。 第２の実施形態に係る高画質化領域の設定処理のフローチャート。 第３の実施形態に係る映像表示装置の構成を示すブロック図。 第４の実施形態に係る映像表示装置の構成を示すブロック図。 第４の実施形態に係る変更レート管理テーブルの一例を示す図。 第４の実施形態に係る高画質化領域更新情報の一例を示す図。 第４の実施形態に係る高画質化領域判断処理を説明するためのフローチャート。 第４の実施形態に係る高画質化領域の算出及び指定処理を説明するためのフローチャート。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
本発明の第１の実施形態に係る映像表示装置１００の構成について、図１を参照して説明する。

映像表示装置１００は、映像信号の入力を制御する映像信号入力制御部１０２と、入力された映像の高画質化処理を行う高画質化処理制御部１０３とを含む。本実施形態においては、それぞれ個別のＬＳＩ（第１の集積回路、第２の集積回路）にて構成されている。

最初に、映像信号入力制御部１０２の詳細構成について説明する。

映像入力部１０４、１０７は、図示しないアンテナやケーブルテレビ回線を介して入力されたデジタル放送信号を受信し、復調処理及び誤り訂正処理を施す。または、図示しないＤＶＤプレーヤーやＢＤプレーヤー等の再生装置から入力された映像信号入力を行いフォーマット変換等の、映像表示装置１００で表示可能な信号への変換処理を行う。

スケーラ１０５、１０８は、映像入力部１０４、１０７より入力された映像信号を、スケーリング率決定部１０９で決定されたスケーリング率に基づき拡大、縮小処理を行う。スケーリング率決定部１０９は、入力された映像信号をスケーラ１０５、１０８にて、表示サイズの拡大、縮小を行うための拡大率、縮小率の決定を行う。合成部１０６は、スケーラ１０５、１０８で縮小または拡大処理された２つ映像の映像信号を、１つの映像信号に合成し、高画質化処理制御部１０３へ合成された映像信号を送出する。図２の例では、スケーラ１０５で拡大または縮小された映像２０２とスケーラ１０８で拡大、縮小された映像２０３が、映像２０１で示すような１つの映像となるように、映像信号の合成を行う。これにより、２つの画像が同時に１つの画面上に表示されることになる。

画面状態管理部１１６は、画面表示状態が１映像表示状態であるのか２映像表示状態であるのかの管理と、２映像表示状態である場合に、合成部１０６で合成して得られた映像における各映像の表示サイズと表示位置の状態管理を行っている。図３の状態管理テーブルは画面状態管理部１１６が保有する各画面状態における映像の表示サイズと表示位置を示している。例えば、画面状態１は、映像１が表示され、映像２が表示されていない状態、つまり１映像表示状態を示している。画面状態２は、映像１と映像２が表示されている２映像表示状態である。このとき、映像１の横のサイズが１６００画素、縦のサイズが９００画素で、画面の左上の座標を（０，０）とした場合に映像１の左上の表示位置が（０，９０）であることを示している。また、映像２の横のサイズが３２０画素、縦のサイズが１８０画素で、画面の左上の座標を（０，０）とした場合に映像２の左上の表示位置が（１６００，４５０）であることを示している。この画面状態２の画面のイメージを示したものが図４の２１１であり、２１２は映像１、２１３は映像２を示している。

スケーリング率決定部１０９は、画面状態管理部１１６で管理されている情報に応じてスケーリング率を決定する。例えば、図３に示す画面状態２の場合、映像入力部１０４に入力される映像１の表示サイズが１６００×９００画素になるようにスケーラ１０５で用いるスケーリング率を決定を行う。また、映像入力部１０７に入力される映像２の表示サイズが３２０×１８０画素になるようにスケーラ１０８で用いるスケーリング率の決定を行う。また、画面状態の遷移中においては、状態遷移サイズ計算部１１７で算出された表示サイズに従ってスケーリング率の決定を行う。

状態遷移サイズ計算部１１７は、図３の状態管理テーブルに示す各画面状態間の遷移を行う場合に、合成部１０６で合成した後に出力する状態遷移中の各映像の表示サイズの計算を行う。例えば、図５（ａ）は、画面状態２から画面状態３への映像１の状態遷移時の表示サイズの変化を示しており、３０１は画面状態２の映像１の表示サイズ１６００×９００画素を示し、３０５は画面状態３の映像１の表示サイズ１２８０×７２０画素を示している。また、３０２、３０３、３０４は画面状態遷移中の映像１の表示サイズを示している。各画面状態間の遷移は、２０フレームの間で均等に表示サイズが変化するように制御する。上述した例の場合、表示サイズは１フレーム間で、横方向に１６画素（＝（１２８０−１６００）／２０）、縦方向に９画素（＝（７２０−９００）／２０）づつ小さくなるように変化する。従って、映像１の表示サイズ３０２は１５８４×８９１画素、映像１の表示サイズ３０３は１５６８×８８２画素となる。

また、画面状態遷移は、状態管理テーブルに示す直ぐ上または直ぐ下への画面状態間への遷移のみ可能である。つまり画面状態２から画面状態１、画面状態２から画面状態３への遷移は可能であるが、画面状態２から画面状態４等、状態を飛び越しての遷移は不可能である。

高画質化領域判断部１１０は、画面状態管理部１１６に格納されている状態管理テーブルが示す画面状態に応じて、各映像の高画質化処理を行う領域を決定する。状態遷移中でなければ、高画質化処理を行う処理領域として、状態管理テーブルで示される、各画面状態の映像の表示サイズと表示位置を指定する。高画質化領域指示送信部１１１は、高画質化領域判断部１１０で決定した高画質化領域のサイズと位置を、高画質化処理制御部１０３へ通知する。

ここで、高画質化領域判断部１１０における画面状態遷移中の高画質化領域の判断方法について説明する。最初に、状態変化により映像のサイズが小さくなる場合について説明するが、ここでは一例として、画面状態２から画面状態３へ変化する時の映像１に関して、図５（ｂ）を参照して説明する。

図５（ｂ）において、状態変化に伴い、映像の表示サイズの変化は３１２で始まり、３１５で完了する。斜線で示す領域３１０は高画質化領域判断部１１０が決定した、高画質化領域を示している。状態変化に伴い表示サイズが縮小する場合は、映像の表示サイズの変化が始まる前に、変化終了後の表示サイズ３１５と同じ大きさの領域３１０を高画質化領域として決定し、高画質化領域指示送信部１１１経由で高画質化領域３１０の指示を送信する。このように高画質化領域３１０を決定することで、表示サイズの変更が完了した際に、表示サイズ３１５と高画質化領域３１０とが一致することになる。そして、表示サイズの変更中は、高画質化領域３１０が表示サイズ３１１、３１２、３１３を超えることが無い。

次に、状態変化により映像の表示サイズが大きくなる場合の高画質化領域判断部１１０による高画質化領域の判断方法について説明するが、ここでは一例として、画面状態２から画面状態３へ変化する時の映像２に関して、図５（ｃ）を参照して説明する。

図５（ｃ）において、状態変化に伴い、表示サイズの変化は３２２で始まり、３２５で完了する。斜線で示す領域３２０は高画質化領域判断部１１０が決定した、表示サイズの変更中における高画質化領域を示している。状態変化に伴い表示サイズが拡大する場合は、表示サイズの変更中は、まず、変更開始時の表示サイズ３２１と同じ大きさの領域３２０を高画質化領域として決定し、高画質化領域指示送信部１１１経由で高画質化領域３２０の指示を送信する。そして、変更が完了した後に、サイズ変化最終の表示サイズ３２５と同じ大きさの領域３３０を、高画質化領域として決定し、高画質化領域指示送信部１１１経由で高画質化領域３３０の指示を送信する。このように高画質化領域を決定することで、表示サイズの変更中は、高画質化領域３２０が、表示サイズ３２３、３２４、３２５を超えることが無くなる。

高画質化領域指示受信部１１５は、高画質化領域指示送信部１１１より指示された高画質化領域を表す高画質化領域指示コマンドを受信する。高画質化領域指示コマンドに含まれる情報は、高画質化領域のサイズ及び位置である。高画質化領域指定部１１４は、高画質化領域指示受信部１１５が受信した高画質化領域指示コマンドに基づき、高画質化領域を高画質化処理部１１２に指定する。この時、複数の領域を高画質化領域として指定することが可能である。例えば、図２の場合、高画質化領域として、映像２０２と映像２０３の２つの映像の領域を高画質化領域として指定することが可能である。

高画質化処理部１１２は、合成部１０６で合成された映像信号の内、高画質化領域指定部１１４で指定された高画質化領域の映像信号に対して高画質化処理（画像処理）を施す。高画質化処理としては、色補正、輪郭補正、ガンマ補正、ノイズ削減等があるが、高画質化処理の種類としては、映像信号の高画質化を行う画像処理であればこれらに限定されない。出力処理部１１３が高画質化処理部１１２で高画質化処理が施された映像信号を不図示の表示デバイスへと出力する。

次に映像表示装置１００で行われる、本第１の実施形態における画面状態の遷移処理について、図６のフローチャートを参照して説明する。

映像表示装置１００は、高画質化領域の指定を行う際に、画面状態の変化により映像の表示サイズが変化するかどうかを判定する（Ｓ１０１）。表示サイズが変化しない場合（Ｓ１０１でＮＯ）、画面状態管理部１１６の状態管理テーブルに基づいて、現在の画面状態で指定されている各映像の表示サイズ及び表示位置を、高画質化領域として指定する（Ｓ１１２）。例えば、画面状態が図３の画面状態３であれば、高画質化領域として、映像１の表示サイズ１２８０×７２０画素、表示位置（０、１８０）と、画面２の表示サイズ６４０×３６０画素、表示位置（１２８０、３６０）を指定する。

一方、画面状態の変化により映像の表示サイズが変化する場合（Ｓ１０１でＹＥＳ）、映像毎に表示サイズが大きくなるか小さくなるかの判定を行う（Ｓ１０２）。表示サイズが小さくなる場合（Ｓ１０２でＮＯ）、高画質化領域判断部１１０は、映像の縮小を始める前に、高画質化領域として変化後の最終映像の表示サイズ及び表示位置を指定する（Ｓ１０８）。例えば、画面状態３から画面状態４へ変化する場合、映像１の表示サイズは、１２８０×７２０画素から９６０×５４０画素へと変化する。従って、高画質化領域判断部１１０は、表示サイズ変更前に、高画質化領域として表示サイズ９６０×５４０画素と表示位置（０，２７０）を指定する。そして高画質化領域を指定後、スケーラ１０５またはスケーラ１０８において表示サイズの変更を開始する（Ｓ１０９）。画面状態の遷移は複数フレームかけて行われ、フレーム毎に表示サイズを変更していく（Ｓ１１０）。 表示サイズの変更が終了すると（Ｓ１１１でＹＥＳ）、画面状態の遷移が完了する（Ｓ１１１がＹＥＳ）。図５（ｂ）を参照して上述したように、画面状態の遷移が完了した時には、Ｓ１０８で指定した高画質化領域と表示サイズが一致する。

また、画面状態の変化により表示サイズが大きくなる場合（Ｓ１０２でＹＥＳ）、高画質化領域判断部１１０は、映像の拡大を始める前に、高画質化領域として現在の映像の表示サイズと表示位置を指定する（Ｓ１０３）。例えば、画面状態３から画面状態４へ変化する場合、映像２の表示サイズは、６４０×３６０画素から９６０×５４０画素へと変化する。従って、高画質化領域判断部１１０は、表示サイズ変更前に、高画質化領域として表示サイズ６４０×３６０画素と表示位置（１２８０，３６０）を指定する。そして高画質化領域を指定後、スケーラ１０５またはスケーラ１０８において表示サイズの変更を開始する（Ｓ１０４）。画面状態の遷移は複数フレームをかけて行われ、フレーム毎に表示サイズを変更する（Ｓ１０５）。表示サイズの変更が終了すると（Ｓ１０６でＹＥＳ）、画面状態の遷移が完了する。画面状態の遷移が完了すると、高画質化領域判断部１１０は、高画質化領域として最終表示サイズ及び表示位置の指定を行う（Ｓ１０７）。

このように、高画質化領域判断部１１０は、映像を縮小する時は、表示サイズ変更前に、縮小処理後の映像の表示サイズ及び表示位置を高画質化領域として決定する。また、映像を拡大する時は、拡大処理中は、拡大処理開始時の映像の表示サイズ及び表示位置を拡大処理中の高画質化領域として決定し、拡大処理終了後に、拡大された映像の表示サイズ及び表示位置に変更する。このように制御することで、画面状態遷移中は、映像の一部分を高画質化領域として指定することになり、映像の領域をはみ出すことなく、表示サイズ内に高画質化領域を指定することが可能となる。そのため、高画質化領域が映像領域を超えてしまい、高画質化を行うべきでない領域に高画質化処理が行われてしまうことによる画質劣化を低減することが可能となる。

＜第２の実施形態＞
本発明の第２の実施形態に係る映像表示装置１００の構成について、図７を参照して説明する。上述した図１に示す映像表示装置１００とは、図１に示す構成に一定フレーム後の映像サイズ取得部１２１を追加した点が異なり、これに伴って、高画質化領域判断部１２２における処理が上述した第１の実施形態と異なる。これら以外の構成は、図１を参照して説明したものと同様であるため、ここでは説明を省略する。

一定フレーム後の映像サイズ取得部１２１は、高画質化領域判断部１２２にて要求される現映像に対して、指定フレーム数後（第２の複数フレーム後）の映像の表示サイズを取得し、高画質化領域判断部１２２に通知する。そして、高画質化領域判断部１２２は、画面状態管理部１１６の状態管理テーブルに格納されている画面状態に応じて、各映像の高画質化領域を決定する。状態遷移中でなければ、図３の状態管理テーブルで示される、各画面状態における映像の表示サイズと表示位置を高画質化領域として指定する。

次に、本第２の実施形態に係る高画質化領域判断部１２２による画面状態遷移中の高画質化領域の判断方法について説明する。最初に、状態変化により映像の表示サイズが小さくなる場合について説明するが、ここでは一例として、画面状態２から画面状態３へ変化する時の映像１に関して、図８（ａ）を参照して説明する。

図８（ａ）において、状態変化に伴い、表示サイズはフレーム４０１から４１０のように次第に縮小する。フレーム４０１〜４１０中、斜線の領域は、高画質化領域判断部１２２が決定した、高画質化領域を示している。高画質化領域判断部１２２は、状態変化に伴って表示サイズが縮小する場合に、一定フレーム先の表示サイズ及び表示位置を縮小処理中の高画質化領域として指定する。例えば、フレーム４０１の処理時に３フレーム先のフレーム４０４の表示サイズ及び表示位置を画質化領域として指定し、フレーム４０２の処理時には、高画質化領域を変更しない。同様に、フレーム４０３の処理時に３フレーム先のフレーム４０６の表示サイズ及び表示位置を高画質化領域として指定し、フレーム４０４の処理時には、高画質化領域を変更しない。

つまり、本第２の実施形態では、高画質化領域の指定は２フレーム毎（第１の複数フレーム毎）に、３フレーム先（第２の複数フレーム後）の表示サイズ及び表示位置を用いて行う。このように指定することにより、高画質化領域の指定と表示サイズの変更のタイミングが１〜２フレームずれた場合においても、高画質化領域が映像の領域を超えるのを防ぐことができる。

次に、状態変化により映像の表示サイズが大きくなる場合の高画質化領域判断部１２２による高画質化領域の判断方法について説明するが、ここでは一例として、画面状態２から画面状態３へ変化する時の映像２に関して、図８（ｂ）を参照して説明する。

図８（ｂ）において、状態変化に伴い、表示サイズはフレーム４１１から４２０のように次第に拡大する。図８（ｂ）のフレーム４１１〜４２０中、斜線の領域は、高画質化領域判断部１２２が決定した、高画質化領域を示している。高画質化領域判断部１２２は、状態変化に伴って表示サイズが拡大する場合に、現フレームの表示サイズ及び表示位置を高画質化領域として指定する。従って、フレーム４１１の処理時に指定する高画質化領域として、フレーム４１１の表示サイズ及び表示位置を指定する。そして、フレーム４１２の処理時には高画質化領域を変更しない。また、次のフレーム４１３に対して指定する高画質化領域として、フレーム４１３の表示サイズ及び表示位置を指定し、次のフレーム４１４の処理時には高画質化領域を変更しない。

つまり、本第２の実施形態では、２フレーム毎に（第３の複数フレーム毎）、処理対象の映像の表示サイズ及び表示位置を、高画質化領域として指定する。このように指定することにより、高画質化領域の指定が、表示サイズの変更に対して遅れた場合においても、高画質化領域が映像の領域を超えることを防ぐことができる。

次に映像表示装置１００で行われる、本第２の実施形態における画面状態の遷移処理について、図９のフローチャートを参照して説明する。

映像表示装置１００は、高画質化領域の指定を行う際に、画面状態の変化により映像の表示サイズが変化するかどうかを判定する（Ｓ２０１）。表示サイズが変化しない場合（Ｓ２０１でＮＯ）、画面状態管理部１１６の状態管理テーブルに基づいて、現在の画面状態で指定されている各映像の表示サイズ及び表示位置を、高画質化領域として指定する（Ｓ２１１）。例えば、画面状態が図３の画面状態３であれば、高画質化領域として、映像１の表示サイズ１２８０×７２０画素、表示位置（０、１８０）と、画面２の表示サイズ６４０×３６０画素、表示位置（１２８０、３６０）を指定する。

一方、画面状態の変化により映像の表示サイズが変化する場合（Ｓ２０１でＹＥＳ）、映像毎に表示サイズが大きくなるか小さくなるかの判定を行う（Ｓ２０２）。表示サイズが小さくなる場合（Ｓ２０２でＮＯ）、高画質化領域判断部１２２は、一定フレーム後の映像サイズ取得部１２１により３フレーム後の表示サイズ及び表示位置を取得する。そして、高画質化領域判断部１２２は、取得した３フレーム後の映像の表示サイズ及び表示位置を高画質化領域として指定する（Ｓ２０７）。図８（ａ）の例では、フレーム４０１の処理時には、３フレーム後のフレーム４０４の表示サイズ及び表示位置を高画質化領域として指定する。

そして高画質化領域判断部１２２が、高画質化領域を指定後、２フレーム分の表示サイズ変更中は、指定された高画質化領域の更新を行わない（Ｓ２０８）。つまり図８（ａ）の場合、フレーム４０１で高画質化領域を指定後、フレーム４０１、４０２では、フレーム４０１で指定した高画質化領域を適用する。そして、２フレーム分、表示サイズを変更した後（Ｓ２０８）、最終的な表示サイズまで映像の表示サイズ変更が終了したかどうかを判断する（Ｓ２０９）。終了していなければ（Ｓ２０９でＮＯ）、高画質化領域判断部１２２は、一定フレーム後の映像サイズ取得部１２１により３フレーム後の表示サイズを取得し、取得した３フレーム後の表示サイズ及び表示位置を高画質化領域として指定する（Ｓ２０７）。そして、最終的な表示サイズまで映像のサイズ変更が終了すると（Ｓ２０９がＹＥＳ）、画面状態の遷移が完了する。画面状態の遷移が完了すると、高画質化領域判断部１２２は、最終映像の表示サイズ及び表示位置を高画質化領域として指定する（Ｓ２１０）。

一方、画面状態の変化により表示サイズが大きくなる場合（Ｓ２０２でＹＥＳ）、高画質化領域判断部１２２は、現在のフレームの映像の表示サイズ及び表示位置を高画質化領域として指定する（Ｓ２０３）。図８（ｂ）の例ではフレーム４１１の処理時には、現フレーム４１１の表示サイズ及び表示位置を、高画質化領域として指定する。

そして、高画質化領域判断部１２２が高画質化領域を指定した後、２フレーム分の表示サイズ変更中は、指定された高画質化領域の更新を行わない（Ｓ２０４）。つまり図８（ｂ）の場合、フレーム４１１の処理時に高画質化領域を指定後、フレーム４１１、４１２では、指定された高画質化領域を適用する。状態遷移に伴う２フレーム分の表示サイズ変更後（Ｓ２０５）、最終的な表示サイズまで映像のサイズ変更が完了していなければ（Ｓ２０５でＮＯ）、高画質化領域判断部１２２は現フレームの表示サイズ及び表示位置を高画質化領域として指定する（Ｓ２０３）。最終的な表示サイズまで表示サイズの変更が終了すると（Ｓ２０５がでＹＥＳ）、画面状態の遷移が完了する。画面状態の遷移の完了後、高画質化領域判断部１２２は、最終映像の表示サイズ及び表示位置を高画質化領域として指定する（Ｓ２０６）。

このように画面状態の遷移に伴い、映像を大きくするときは、複数フレーム毎に現在の映像の表示サイズ及び表示位置を高画質化領域として指定する。一方、映像を小さくする時は、複数フレーム毎に、一定フレーム先の映像の表示サイズ及び表示位置を高画質化領域として指定する。これにより、第１の実施形態と同様の効果を得ることができる。

また、本第２の実施形態では、映像を小さくするときは３フレーム先の映像の表示サイズ及び表示位置を高画質化領域としたが、指定する高画質化領域は、複数フレーム先の映像の表示領域であれば良く、３フレーム先の映像に限定されない。また、本第２の実施形態では、２フレーム毎に高画質化領域の更新を行うものとして説明したが、高画質化領域が表示サイズを超えない範囲であれば、高画質化領域の更新タイミングは２フレームに限定されない。

＜第３の実施形態＞
本発明の第３の実施形態に係る映像表示装置１００の構成について、図１０を参照して説明する。なお、第２の実施形態で上述した図７に示す映像表示装置１００とは、図７に示す構成に、以下の４つの構成を追加した点が異なる。これらは、更新レート記憶部１３３、更新レート変更受付部１３５、指定フレーム記憶部１３４、指定フレーム変更受付部１３６である。以上４つの構成の追加に伴って、高画質化領域判断部１３２は、上述した第２の実施形態の高画質化領域判断部１２２とは異なる処理を行う。上記以外の構成は、図７を参照して説明したものと同様であるため、ここでは説明を省略する。

図１０において、更新レート変更受付部１３５は、不図示のリモコン等によりユーザから状態遷移に伴う高画質化領域の更新レート変更の受付を行い、受け付けた高画質化領域の更新レートを更新レート記憶部１３３へと格納する。高画質化領域の更新レートとは、上述した第２の実施形態では、状態遷移時に、高画質化領域のサイズの指定を例えば２フレーム毎に行うと説明したものであり、高画質化領域を指定する間隔を示すものである。例えば、図８（ａ）の例では、高画質化領域の更新レートを２フレームとすると、高画質化領域の更新をフレーム４０１、４０３、４０５…というように２フレーム毎に行うことになる。また、高画質化領域の更新レートが３フレームであれば、高画質化領域の更新をフレーム４０１、４０４、４０７…というように３フレーム毎に行うことになる。

指定フレーム変更受付部１３６は、不図示のリモコン等によりユーザから、状態遷移に伴う映像縮小時の高画質化領域のサイズを決定するために、何フレーム後の表示サイズを取得するかの変更の受付を行う。そして、受け付けた指定フレームを指定フレーム記憶部１３４に格納する。映像縮小時の高画質化領域指定フレームとは、上述した第２の実施形態では、状態遷移に伴い映像が縮小する時に、高画質化領域のサイズとして何フレーム先の表示サイズを適応するかを示すものである。例えば、図８（ａ）の例では、映像縮小時の高画質化領域の指定フレームが２フレームであれば、フレーム４０１で指定する斜線で示す高画質化領域のサイズはフレーム４０３の表示サイズとなる。また、画面縮小時の高画質化領域指定フレームが３フレームであれば、フレーム４０１で指定する斜線で示す高画質化領域のサイズはフレーム４０４の表示サイズとなる。

なお、本第３の実施形態における高画質化領域判断部１３２による画面状態遷移中の高画質化領域の判断方法は、上述した第２の実施形態で図９を参照して説明した処理と同様である。ただし、本第３の実施形態においては、映像拡大時にＳ２０４において表示サイズを変更するフレーム数は、更新レート記憶部１３３に記憶された高画質化領域の更新レートに基づいて決められる。また、映像縮小時にＳ２０７において参照するフレームの指定及びＳ２０８において表示サイズを変更するフレーム数は、指定フレーム記憶部１３４に記憶されている、高画質化領域の指定フレームに基づいて決められる。

上記の通り本第３の実施形態によれば、第２の実施形態と同様の効果に加え、画面の状態遷移に伴う高画質化領域の更新レートと画面縮小時の高画質化領域の指定フレームを変更可能とすることで、高画質化領域の調整が可能となる。

＜第４の実施形態＞
本発明の第４の実施形態に係る映像表示装置１００の構成について、図１１を参照して説明する。第１の実施形態で上述した図１に示す映像表示装置１００とは、図１に示す構成の内、状態遷移サイズ計算部１１７が無い点、及び、画面状態管理部１１６の代わりに映像サイズ変更レート管理部１４１が追加された点が異なる。また、これに伴って、高画質化領域判断部１４２における処理が上述した第１の実施形態とは異なる。更に、高画質化処理制御部１０３に高画質化領域計算部１４３（第２の指定手段）が追加されている。これら以外の構成は、図１を参照して説明したものと同様であるため、ここでは説明を省略する。

映像サイズ変更レート管理部１４１は、各映像の表示サイズや表示位置が変わる場合のフレームレート（変更レート）の管理を行っている。ここで、表示サイズや表示位置の変更とは、２映像表示時の各映像の大きさやPinP（Picture in Picture）、または、ＥＰＧ等のユーザメニューに連動した映像の表示サイズや表示位置の切り換え等がある。また、ここで示す映像とは映像入力された信号を表示しているものに限定されない。例えば、アニメーションや不図示のＪＰＥＧデコーダによってデコードされ画面に表示された写真の拡大縮小等も含む。

図１２は、映像サイズ変更レート管理部１４１で管理している表示サイズ及び表示位置の変更ケース毎の変更レート管理テーブルである。変更レート管理テーブルは、各変更ケース毎に、表示サイズまたは表示位置が１秒あたりに変更するフレーム数と、変更開始から完了までの時間を管理している。例えば、「２映像表示時の表示サイズの変更」の場合、１秒間に３０回更新して、表示サイズの変更を行う。

高画質化領域判断部１４２は高画質化領域の判断を行い、その判断結果に基づいて高画質化領域指示送信部１１１を経由して高画質化処理制御部１０３へ通知する。高画質化領域判断部１４２は、映像の表示サイズや表示位置が変更される場合でなければ、スケーリング率決定部１０９により決定される映像の表示サイズと表示位置を高画質化領域として指定する。一方、映像の表示サイズや表示位置を変更する場合、高画質化領域判断部１４２は、映像サイズ変更レート管理部１４１で管理されている映像の表示サイズや表示位置の更新レートを、閾値と比較し、比較結果に応じて高画質化領域指示方法を切り換える。

ここで、本第４の実施形態における高画質化領域判断部１４２で行われる高画質化領域の表示サイズと表示位置の指示方法について説明する。本第４の実施形態では、高画質化領域のサイズと位置の指示方法には２つの指示方法があり、一つは、高画質化領域を表示サイズが変化する毎に指示する方法である（指示方法１）。もう一つの方法では、映像の表示サイズが変化する場合に、サイズ変化開始時の初期映像の表示サイズ及び表示位置、最終映像の表示サイズ及び表示位置、映像変化時間、映像変化時の変更レートを高画質化処理制御部１０３に通知する。そして、高画質化処理制御部１０３において、これらの情報を基にして、高画質化領域の計算と決定を行う（指示方法２）。

本第４の実施形態では、高画質化領域判断部１４２が保有する閾値を１５フレーム／秒として説明を行う。図１２の変更レート管理テーブルに示す例では、「２映像表示時の表示サイズ変更」時のフレームレートは３０フレーム／秒である。これは、高画質化領域判断部１４２が保有する閾値１５フレーム／秒以上であるため、表示サイズの変更開始時に初期映像の表示サイズ及び表示位置と、映像変更時間１秒、変更レート３０フレーム／秒を高画質化処理制御部１０３に通知する（指示方法２）。また、「ＰｉｎＰのサブ映像拡大／縮小」時のフレームレートは２０フレーム／秒である。これも、高画質化領域判断部１４２が保有する閾値１５フレーム／秒以上であるため、表示サイズの変更開始時に初期画面の表示サイズ及び表示位置と、映像変更時間０．５秒、変更レート２０フレーム／秒を高画質化処理制御部１０３に通知する（指示方法２）。また、「写真の拡大／縮小」時のフレームレートは１０フレーム／秒である。これは、高画質化領域判断部１４２が保有する閾値１５フレーム／秒未満であるため、高画質化領域判断部１４２は、写真の拡大／縮小に伴う表示サイズの更新毎に、高画質化領域のサイズと位置の指示を行う（指示方法１）。つまり、写真の拡大／縮小時は、２秒間に２０回、高画質化領域のサイズと位置の指示を行うことになる。

高画質化領域計算部１４３には、高画質化領域指示受信部１１５を経由して、図１３で示す高画質化領域更新情報が通知される。図１３において、「自動計算」は、高画質化領域計算部１４３で高画質化領域を計算するか否の情報であり、Ｙの場合（指示方法２）には計算を行う。「自動計算」がＮ（指示方法２、または表示サイズに変化無し）であれば、高画質化領域計算部１４３は、「初期サイズ」と「初期位置」の領域を高画質化領域として指定する。「初期サイズ」は、初期状態での高画質化領域のサイズであり、Ｗｓは高画質化領域の幅を示す画素数、Ｈｓは高画質化領域の高さを示す画素数である。「初期位置」は、初期状態での高画質化領域の位置であり、出力処理部１１３から出力される映像の左上を原点と示している。「最終サイズ」は、表示サイズ変更完了時の高画質化領域のサイズであり、Ｗｅは高画質化領域の幅を示す画素数、Ｈｅは高画質化領域の高さを示す画素数である。「最終位置」は、表示サイズ変更完了時の高画質化領域の位置であり、出力処理部１１３から出力される映像の左上を原点と示している。「更新レート」は、１秒間に何フレームの表示サイズ更新を行うかを示す情報であり、「更新時間」は、表示サイズの変更開始から変更終了までの時間である。

高画質化領域計算部１４３は、このような高画質化領域更新情報を受けて、必要に応じて高画質化領域の計算を行い、高画質化領域指定部１１４へ通知する。具体的には、高画質化領域更新情報を受信し、「自動計算」の設定値がＹであれば、高画質化領域計算部１４３は、最初のフレームの高画質化領域を位置（Ｘｓ、Ｙｓ）、サイズＷｓ×Ｈｓとする。そして、「更新レート」及び「更新時間」の値に基づいて、Ｔ／Ｒ秒毎に高画質化領域のサイズと位置の計算を行い、計算結果に基づいて、高画質化領域のサイズと位置の指定を行う。図１３の例において、ｎ回目に指定する高画質化領域のサイズをＷｎ×Ｈｎとすると、
Ｗｎ＝Ｗｓ＋（Ｗｅ−Ｗｓ）／（Ｒ×Ｔ）×ｎ、
Ｈｎ＝Ｈｓ＋（Ｈｅ−Ｈｓ）／（Ｒ×Ｔ）×ｎ

となる。また、ｎ回目に指定する高画質化領域の位置を（Ｘｎ、Ｙｎ）とすると、
Ｘｎ＝Ｘｓ＋（Ｘｅ−Ｘｓ）／（Ｒ×Ｔ）×ｎ
Ｙｎ＝Ｙｓ＋（Ｙｅ−Ｙｓ）／（Ｒ×Ｔ）×ｎ
となる。
次に映像表示装置１００で行われる、本第４の実施形態における高画質化領域判断処理について、図１４のフローチャートを参照して説明する。

高画質化領域の指定を行う場合に、映像の表示サイズや表示位置の更新が発生しない場合は（Ｓ４０１でＮＯ）、高画質化領域判断部１４２は、高画質化領域のサイズと位置を高画質化領域指示受信部１１５へ送信する（Ｓ４０９）。この時、図１３の高画質化領域更新情報で指定する「自動計算」にＮを設定することで、高画質化処理制御部１０３では、初期サイズと初期位置に基づいて、計算を行うことなく、高画質化領域のサイズと位置を指定する。

また、不図示のリモコン入力などのユーザ操作に応じて映像の表示サイズまたは表示位置の更新が発生すると（Ｓ４０１でＹＥＳ）、Ｓ４０２に進む。Ｓ４０２では、高画質化領域判断部１４２は、当該更新による映像の表示サイズ及び表示位置の変更レートを映像サイズ変更レート管理部１４１に問い合わせる。そして、映像サイズ変更レート管理部１４１は、図１２に示すような変更レート管理テーブルに基づき、変更レートの通知を行う。高画質化領域判断部１４２は、取得した変更レートが閾値１５フレーム／秒以上であれば（Ｓ４０２でＹＥＳ）、図１３に示す高画質化領域更新情報に高画質化処理制御部１０３で高画質化領域を自動計算するためのデータを設定する。そして、設定した高画質化領域更新情報を高画質化領域指示送信部１１１を経由して、高画質化領域指示受信部１１５へ送信する。この時、高画質化領域更新情報で指定する「自動計算」にＹを設定することで、高画質化処理制御部１０３で、高画質化領域の対象となる映像の表示サイズ及び表示位置の自動計算を行う（Ｓ４０３）。

一方、取得した変更レートが１５フレーム／秒未満であれば（Ｓ４０２でＮＯ）、高画質化領域判断部１４２により高画質化量領域を判断する。そして、高画質化領域が変更される度に、変更後の高画質化領域のサイズ及び位置を高画質化領域指示受信部１１５へ送信する（Ｓ４０４〜Ｓ４０８）。この時、表示サイズや表示位置が変更される度（Ｓ４０６）に、高画質化領域更新情報にて指定する「自動計算」にＮを設定し、Ｓ４０６にて変更された映像の表示サイズと表示位置を、「初期サイズ」と「初期位置」に設定する。このように「自動計算」と「初期サイズ」と「初期位置」に値を設定した後、高画質化処理制御部１０３へ高画質化領域更新情報を送信することで、高画質化領域の指示を行う（Ｓ４０７）。高画質化処理制御部１０３では、「初期サイズ」と「初期位置」に基づいて、高画質化領域のサイズ及び位置を指定する。

次に映像表示装置１００で行われる、本第４の実施形態における高画質化領域の算出及び指定処理について、図１５のフローチャートを参照して説明する。

高画質化領域指示受信部１１５にて、図１３の高画質化領域更新情報を受信し（Ｓ４１１）、「自動計算」がＮであると、高画質化領域を自動計算しないと判断する（Ｓ４１２でＮＯ）。その場合、高画質化領域指定部１１４は、高画質化領域更新情報の「初期サイズ」と「初期位置」が示す領域を、高画質化領域として高画質化処理部１１２へ指定する（Ｓ４１７）。

一方、高画質化領域更新情報の「自動計算」がＹである場合、高画質化領域を自動計算すると判断し（Ｓ４１２でＹＥＳ）、高画質化領域更新情報に基づく更新レートで、更新期間の間、高画質化領域を計算する（Ｓ４１３）。図１３に示す高画質化領域更新情報の例では、Ｔ秒間、Ｔ／Ｒ秒毎に高画質化領域の計算を行い、高画質化領域の指定を行う。高画質化領域指定部１１４は、高画質化領域計算部１４３で計算した値を、高画質化領域として高画質化処理部１１２へ指定する（Ｓ４１４）。高画質化領域計算部１４３での計算方法は説明済みであるため、ここでは省略する。そして、高画質化領域の指定が終了したかどうかを判断し（Ｓ４１５）、終了していれば、高画質化領域の算出及び指定処理を終了する。

上記の通り本第４の実施形態によれば、映像の表示サイズの更新レートが低い場合には、映像信号入力制御部１０２（第１の集積回路内）において高画質化領域の判断及び指定を行う。一方、映像の表示サイズの更新レートが高い場合、つまり、一定期間に表示サイズまたは表示位置が頻繁に更新される場合、高画質化処理制御部１０３（第２の集積回路内）において高画質化領域の計算及び指定を行う。このように制御することで、更新レートが高い場合であっても、高画質化領域の指定タイミングのずれを低減することで画質の劣化を低減することが可能となる。

なお、上記第１乃至第４の実施形態では、映像に高画質化処理を行うものとして説明したが、本発明はこれに限るものではなく、映像に対して行う処理であれば、本発明を適用することが可能であることは言うまでもない。

また、本発明は、上記第１乃至第４の実施形態と同等の処理を、コンピュータプログラムでも実現できる。この場合、図１をはじめとする構成要素の各々を、関数、もしくはＣＰＵが実行するサブルーチンで機能させることにより、上記第１乃至第４の実施形態に記載された映像表示装置として動作させれば良い。また、通常、コンピュータプログラムは、ＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体に格納されており、それを、コンピュータが有する読取り装置（ＣＤ−ＲＯＭドライブ等）にセットし、システムにコピーもしくはインストールすることで実行可能になる。従って、かかるコンピュータ可読記憶媒体も本発明の範疇にあることは明らかである。

Claims (14)

1. 映像を画面上に表示する映像表示装置であって、
   前記映像の表示サイズを変更するサイズ変更手段と、
   前記映像に対して予め決められた画像処理を行うための、前記画面における処理領域を指定する指定手段と、
   前記指定手段により指定された処理領域に対して、前記予め決められた画像処理を行う処理手段とを有し、
   前記サイズ変更手段により前記映像の表示サイズが拡大される場合に、前記指定手段は、拡大処理開始時の前記映像の表示サイズ及び前記画面における位置を拡大処理中の前記処理領域として指定し直すとともに、拡大処理終了後、拡大された前記映像の表示サイズ及び前記画面における位置を前記処理領域として指定し直すことを特徴とする映像表示装置。
2. 前記サイズ変更手段により前記映像の表示サイズを縮小する場合に、前記指定手段は、縮小処理後の映像の表示サイズ及び前記画面における位置を縮小処理中の前記処理領域として指定し直すことを特徴とする請求項１に記載の映像表示装置。
3. 前記サイズ変更手段及び前記指定手段は、第１の集積回路内に構成され、
   前記処理手段は、第２の集積回路内に構成されることを特徴とする請求項１または２に記載の映像表示装置。
4. 前記指定手段により指定された前記処理領域の情報を前記第１の集積回路から前記第２の集積回路に送信する送信手段と、
   前記第１の集積回路から前記第２の集積回路に送信された前記処理領域の情報を受信する受信手段と、
   を更に有することを特徴とする請求項３に記載の映像表示装置。
5. 前記第２の集積回路は、第２の指定手段を含み、
   前記サイズ変更手段により前記映像の表示サイズを変更する時に１秒あたりに変更するフレーム数を示す更新レートが予め設定された閾値以上である場合に、前記第２の指定手段により前記処理領域を指定し、前記閾値未満である場合に、前記指定手段により前記処理領域を指定することを特徴とする請求項４に記載の映像表示装置。
6. 前記処理領域の情報は、前記処理領域の初期サイズ（Ｗｓ×Ｈｓ）及び初期位置（Ｘｓ，Ｙｓ）、最終サイズ（Ｗｅ×Ｈｅ）及び最終位置（Ｘｅ，Ｙｅ）、１秒間に何フレームの表示サイズの更新を行うかを示す更新レートＲ、及び、表示サイズの変更開始から変更終了までの時間Ｔを含み、
   前記第２の指定手段は、ｎ回目に指定する前記処理領域のサイズ（Ｗｎ×Ｈｎ）及び位置（Ｘｎ，Ｙｎ）を、
   Ｗｎ＝Ｗｓ＋（Ｗｅ−Ｗｓ）／（Ｒ×Ｔ）×ｎ
   Ｈｎ＝Ｈｓ＋（Ｈｅ−Ｈｓ）／（Ｒ×Ｔ）×ｎ
   Ｘｎ＝Ｘｓ＋（Ｘｅ−Ｘｓ）／（Ｒ×Ｔ）×ｎ
   Ｙｎ＝Ｙｓ＋（Ｙｅ−Ｙｓ）／（Ｒ×Ｔ）×ｎ
   により求めることを特徴とする請求項５に記載の映像表示装置。
7. 前記予め決められた画像処理は、画質を上げる高画質化処理であることを特徴とする請求項１乃至６のいずれか１項に記載の映像表示装置。
8. 映像を画面上に表示する映像表示方法であって、
   サイズ変更手段が、前記映像の表示サイズを変更するサイズ変更工程と、
   指定手段が、前記映像に対して予め決められた画像処理を行うための、前記画面における処理領域を指定する指定工程と、
   処理手段が、前記指定工程で指定された処理領域に対して、前記予め決められた画像処理を行う処理工程とを有し、
   前記サイズ変更工程で前記映像の表示サイズが拡大される場合に、前記指定工程では、拡大処理開始時の前記映像の表示サイズ及び前記画面における位置を拡大処理中の前記処理領域として指定し直すとともに、拡大処理終了後、拡大された前記映像の表示サイズ及び前記画面における位置を前記処理領域として指定し直すことを特徴とする映像表示方法。
9. 前記サイズ変更工程で前記映像の表示サイズを縮小する場合に、前記指定工程では、縮小処理後の映像の表示サイズ及び前記画面における位置を縮小処理中の前記処理領域として指定し直すことを特徴とする請求項８に記載の映像表示方法。
10. 送信手段が、前記指定工程で指定された前記処理領域の情報を、前記サイズ変更手段及び前記指定手段を含む第１の集積回路から、前記処理手段を含む第２の集積回路に送信する送信工程と、
    受信手段が、前記第１の集積回路から前記第２の集積回路に送信された前記処理領域の情報を受信する受信工程と、
    を更に有することを特徴とする請求項８または９に記載の映像表示方法。
11. 前記第２の集積回路は、第２の指定手段を含み、
    前記指定工程では、前記サイズ変更工程において前記映像の表示サイズを変更する時に１秒あたりに変更するフレーム数を示す更新レートが予め設定された閾値以上である場合に、前記第２の指定手段により前記処理領域を指定し、前記閾値未満である場合に、前記指定手段により前記処理領域を指定することを特徴とする請求項１０に記載の映像表示方法。
12. 前記処理領域の情報は、前記処理領域の初期サイズ（Ｗｓ×Ｈｓ）及び初期位置（Ｘｓ，Ｙｓ）、最終サイズ（Ｗｅ×Ｈｅ）及び最終位置（Ｘｅ，Ｙｅ）、１秒間に何フレームの表示サイズの更新を行うかを示す更新レートＲ、及び、表示サイズの変更開始から変更終了までの時間Ｔを含み、
    前記指定工程において、前記第２の指定手段は、ｎ回目に指定する前記処理領域のサイズ（Ｗｎ×Ｈｎ）及び位置（Ｘｎ，Ｙｎ）を、
    Ｗｎ＝Ｗｓ＋（Ｗｅ−Ｗｓ）／（Ｒ×Ｔ）×ｎ
    Ｈｎ＝Ｈｓ＋（Ｈｅ−Ｈｓ）／（Ｒ×Ｔ）×ｎ
    Ｘｎ＝Ｘｓ＋（Ｘｅ−Ｘｓ）／（Ｒ×Ｔ）×ｎ
    Ｙｎ＝Ｙｓ＋（Ｙｅ−Ｙｓ）／（Ｒ×Ｔ）×ｎ
    により求めることを特徴とする請求項１１に記載の映像表示方法。
13. 前記予め決められた画像処理は、画質を上げる高画質化処理であることを特徴とする請求項８乃至１２のいずれか１項に記載の映像表示方法。
14. コンピュータを、請求項１乃至７のいずれか１項に記載の映像表示装置として動作させるためのプログラム。

Images