JP5142837B2 - 表示制御装置および表示制御方法 - Google Patents

Description

この発明は、表示制御装置および表示制御方法に関し、特には、１画面に複数の映像を同時に表示可能な映像表示装置に用いて好適な表示制御装置および表示制御方法に関する。

近年では、テレビジョン受像機といった映像表示装置に対し、ノイズリダクション機能、ガンマ補正機能、色調補正機能などの高画質化のため画質調整機能が搭載されることが多くなっている。これらの機能について、個々のパラメータを適切に調整するには、画像に対する比較的高度な知識が必要となる。そのため、映像コンテンツのジャンルなどに応じたパラメータのセットの幾つかを出荷時にプリセットしておくのが一般的である。ユーザは、プリセットを選択するという簡易な操作で、映像を鑑賞する目的に応じた画質の映像を得ることができる。

このようなプリセットの一つとして、ダイナミックモードがある。ダイナミックモードは、表示されている映像の特性に応じて各パラメータを適応的に変化させるものである。一例として、画面の全体にわたって明度が高い映像のときには、明度を抑えると共にガンマ補正値を小さくするようにパラメータを設定することが考えられる。また、画面の全体にわたって明度が低く暗い映像のときには、ガンマ補正値を大きくすると共にコントラストを強め、さらに彩度を上げるようにパラメータを設定することが考えられる。このようなパラメータ制御を映像の表示に応じて適応的に行うことで、ユーザは、明るさや色合いが大きく変化する映像であっても、常に見易い画質で鑑賞することができる。

また、近年のテレビジョン受像機は、動画像データまたは静止画像データを入力するための外部入力端子を複数備える機種が主流となっている。このような機種の中には、これら複数の外部入力端子に接続された外部機器から出力される動画像データまたは静止画像データによる映像を同時に表示できるようになっているものもある。例えば、複数の外部像入力端子から供給された動画像データまたは静止画像データのそれぞれに対して、拡大／縮小処理を必要に応じて行い、所定位置に配置することで、１つのフレームに合成して画面に表示させる。

ここで、上述のダイナミックモードを実行し、且つ、１画面に複数の映像または画像を同時に表示させる場合について考える。一例として、１画面に、内容の全く異なる映像Ａ（照明下の人物を中心とした映像とする）および映像Ｂ（夜景による映像とする）を同時に表示させるものとする。この画面に対してダイナミックモードを実行した場合、映像Ａおよび映像Ｂを含む画面全体に対してダイナミックモードによる画質調整が行われることになる。すなわち、このとき行われる画質調整は、映像Ａまたは映像Ｂに特化したものではない。そのため、この画質調整は、映像Ａおよび映像Ｂの何れにも適していない可能性がある。

特許文献１には、主画面と子画面との複数の画面を表示する場合に、最も大きなサイズで描画される画像ソースの輝度情報に基づき表示の際の輝度制御を行う技術が記載されている。この特許文献１によれば、ユーザの注視する画面が複数の画面のうち最も大きな画面である場合に有用である。

特開２００３−３４８４８８号公報

しかしながら、上述の特許文献１に記載の技術では、以下に述べるような問題点があった。

特許文献１では、上述したように、ユーザが、１画面に表示される複数の画面のうち最も表示サイズが大きな画面を注視していれば、有用である。しかしながら、ユーザは、必ずしも表示サイズが最も大きな画面を注視の対象としているとは限らず、この場合に、ユーザの期待する画質調整が行われないおそれがあるという問題点があった。例えば、注視すべき映像または画像の元の表示サイズが他の画面より小さい場合、当該映像または画像を表示する画面は、ダイナミックモードによる画質調整の対象とはならないことになる。

したがって、本発明の目的は、複数の画像が同時に表示される画面に対して適応的に画質調整を行う場合に、画質調整の基準とする画像の決定をより柔軟に行うことが可能な表示制御装置および表示制御方法を提供することにある。

本発明は、上述した課題を解決するために、複数の画像データを合成して、合成画像データを生成する合成手段と、
前記合成手段から出力された合成画像データに対して画質調整を行う画質調整手段と、前記複数の画像データそれぞれのフォーマットを判別するフォーマット判別手段と、前記フォーマット判別手段による判別結果を用いて、前記複数の画像データのうち画質調整の基準とする画像データを決定する決定手段と、前記決定手段で決定された前記画質調整の基準とする画像データの画質調整に適したパラメータを用いて、前記合成画像データに対する前記画質調整を行うように前記画質調整手段を制御する制御手段と、を有し、前記決定手段は、前記フォーマット判別手段により静止画フォーマットを有すると判別された画像データを、動画フォーマットを有すると判別された画像データよりも優先して、前記画質調整の基準とする画像データを決定することを特徴とする表示制御装置を提供する。

また、本発明は、合成手段が、複数の画像データを合成して、合成画像データを生成する合成ステップと、画質調整手段が、前記合成ステップで出力された画像データに対して画質調整を行う画質調整ステップと、フォーマット判別手段が、前記複数の画像データそれぞれのフォーマットを判別するフォーマット判別ステップと、決定手段が、前記フォーマット判別ステップによる判別結果を用いて、前記複数の画像データのうち画質調整の基準とする画像データを決定する決定ステップと、制御手段が、前記決定ステップで決定された前記画質調整の基準とする画像データの画質調整に適したパラメータを用いて、前記合成画像データに対する前記画質調整を行うように前記画質調整ステップを制御する制御ステップと、を有し、前記決定ステップでは、前記フォーマット判別ステップにより静止画フォーマットを有すると判別された画像データを、動画フォーマットを有すると判別された画像データよりも優先して、前記画質調整の基準とする画像データを決定することを特徴とする表示制御方法を提供する。

本発明は、上述した構成を有するために、複数の画像が同時に表示される画面に対して適応的に画質調整を行う場合に、画質調整の基準とする画像の決定をより柔軟に行うことが可能である。

以下、本発明の実施形態を、図面を参照しながら説明する。図１は、本発明の実施形態を適用可能な映像表示装置１００の一例の構成を示す。図１の例では、映像表示装置１００は、アンテナ１０１で受信されたテレビジョン放送による映像を表示部１１６に表示するテレビジョン受像機である。この映像表示装置１００は、外部機器で生成された動画像または静止画像データをファイルとして受け取り、表示部１１６に対して表示させることができる。このとき、映像表示装置１００は、複数のファイルによる複数の画像を、１つの画面に所定に配置して同時に表示させるような表示制御が可能とされている。

なお、以下では、特に記載のない限り、動画像または静止画像データを画像データ、動画像または静止画像データを格納する動画像または静止画像ファイルを画像ファイルとして記述する。

制御手段としての制御部１２０は、例えばＣＰＵ、ＲＡＭ、ＲＯＭなどからなり、ＲＯＭに予め記憶されたプログラムに従い、ＲＡＭをワークメモリとして用いて、この映像表示装置１００の全体を制御する。ユーザ操作受け付け手段としての操作部１２１は、複数の操作子が設けられ、ユーザによる操作を受け付ける。操作部１２１は、ユーザの操作子に対する操作に応じた制御信号を出力する。この制御信号は、制御部１２０に供給される。制御部１２０は、この制御信号に応じて、映像表示装置１００の各部にコマンドなどを送信し、映像表示装置１００がユーザ操作に応じた動作を行うように制御する。

上述では、操作部１２１による操作子が映像表示装置１００に対して直接的に設けられているように説明したが、これはこの例に限定されない。例えば、操作部１２１は、例えば操作子に対する操作に応じた制御信号を赤外線信号に変調して送信するリモートコントロールコマンダと、当該赤外線信号を受信し復調する受信部とから構成してもよい。

また、制御部１２０は、画像サイズ制御部１２２およびメインソース決定部１２３を有する。これら画像サイズ制御部１２２およびメインソース決定部１２３は、例えば制御部１２０のＣＰＵ上で動作するプログラムからなる。これに限らず、画像サイズ制御部１２２やメインソース決定部１２３の一方または両方を、専用のハードウェアで構成することもできる。画像サイズ制御部１２２およびメインソース決定部１２３の動作については、後述する。

例えば地上デジタル放送による電波がアンテナ１０１に受信され、ＲＦ信号に変換されてチューナ部１０２に供給される。チューナ部１０２は、アンテナ１０１から供給されたＲＦ信号から、例えば操作部１２１に対するユーザ操作に応じて特定の周波数帯域の信号を選択して復調し、ＭＰＥＧ２−ＴＳを復元する。復元されたＭＰＥＧ２−ＴＳは、デマルチプレクサに１０３より必要なパケットが取り出され、ＭＰＥＧ２のエレメンタリストリームとされ、ＭＰＥＧデコーダ１０４に供給される。

また、デマルチプレクサ１０３において、受信された信号に含まれるデータ放送による信号が取り出され、復号される。復号されたデータにＪＰＥＧ方式で圧縮符号化された静止画像データ（以下、ＪＰＥＧデータ）が含まれているときには、このデータをＪＰＥＧデコーダ１１０に供給する。

ＭＰＥＧデコーダ１０４は、デマルチプレクサ１０３から供給されたＭＰＥＧ２のエレメンタリストリームを復号し、動画像データと音声データとを出力する。動画像データは、合成手段としての合成部１０５に供給されると共に、信号特性取得部１１７および顔検出部１１８に供給される。なお、音声データについては、本発明と特に関わりがないので、図示および説明を省略する。

一方、外部機器でファイルとして生成された画像データが外部接続端子１０６に入力され、フォーマット判別部１０７に供給される。外部機器としては、例えばデジタルスチルカメラやデジタルビデオカメラが考えられる。一般的なパーソナルコンピュータや、ハードディスクを記憶媒体として用いるストレージ装置も、外部機器として用いることができる。これらの場合、外部接続端子１０６は、ＵＳＢやＩＥＥＥ１３９４といった所定のインターフェイスに対応する。また、外部機器として、フラッシュメモリといった脱着可能な不揮発性メモリを用いることもできる。この場合、外部接続端子１０６は、当該メモリに対応したコネクタと、その駆動回路とからなる。

さらに、外部機器は、ネットワークに接続したデータベースやサーバ装置などであってもよい。この場合には、外部接続端子１０６は、ＴＣＰ／ＩＰなどをプロトコルとして用いるネットワーク接続を行うインターフェイスとされる。さらにまた、映像表示装置１００にハードディスクなどの記憶媒体を内蔵させ、この記憶媒体から、画像データをフォーマット判別部１０７に供給することもできる。

フォーマット判別手段としてのフォーマット判別部１０７は、外部接続端子１０６から供給されたファイルのフォーマットを判別する。例えば、当該ファイルのファイル名に含まれる拡張子に基づき、フォーマットの判別を行うことができる。ファイルのヘッダ部分を解析してフォーマットの判別を行うことも可能である。この図１の例では、フォーマット判別部１０７は、当該ファイルがＭＰＥＧ２形式、ＡＶＩ形式、ＪＰＥＧ形式およびＲＡＷ形式の何れのフォーマットであるかを判別する。フォーマットの判別結果は、ファイル形式情報として制御部１２０に供給され、メインソース決定部１２３に渡される。

フォーマット判別部１０７でＭＰＥＧ２形式のファイルであると判別されたファイルは、ＭＰＥＧ２ファイルとしてＭＰＥＧデコーダ１０８に供給される。ＡＶＩ形式のファイルであると判別されたファイルは、ＡＶＩファイルとしてＡＶＩデコーダ１０９に供給される。ＪＰＥＧ形式であると判別されたファイルは、ＪＰＥＧファイルとしてＪＰＥＧデコーダ１１０に供給される。また、ＲＡＷ形式であると判別されたファイルは、ＲＡＷファイルとしてＲＡＷ現像部１１１に供給される。

ＭＰＥＧデコーダ１０８は、供給されたＭＰＥＧ２ファイルに格納されるＭＰＥＧ２データを復号し、動画像データとして出力する。ＭＰＥＧデコーダから出力された動画像データは、合成部１０５に供給されると共に、信号特性取得部１１７および顔検出部１１８に供給される。

ＡＶＩデコーダ１０９は、供給されたＡＶＩファイルを解析し、当該ＡＶＩファイルに格納されるデータが復号可能であるか否かを判断する。復号可能であると判断されれば、当該ＡＶＩファイルに格納されるデータを復号し、動画像データとして出力する。ＡＶＩデコーダ１０９から出力された動画像データは、合成部１０５に供給されると共に、信号特性取得部１１７および顔検出部１１８に供給される。

ＪＰＥＧデコーダ１１０は、供給されるＪＰＥＧファイルに格納されるＪＰＥＧデータを復号し、ビットマップによる静止画像データとして出力する。ＪＰＥＧデコーダ１１０から出力された静止画像データは、合成部１０５に供給されると共に、信号特性取得部１１７および顔検出部１１８に供給される。

ＲＡＷ現像部１１１は、供給されたＲＡＷファイルに格納されるＲＡＷデータを現像し、ビットマップによる静止画像データとして出力する。ＲＡＷ現像部１１１から出力された静止画像データは、合成部１０５に供給されると共に、顔検出部１１８に供給される。

信号特性取得手段としての信号特性取得部１１７は、ＭＰＥＧデコーダ１０４、ＭＰＥＧデコーダ１０８、ＡＶＩデコーダ１０９およびＪＰＥＧデコーダ１１０から供給された画像データの信号特性を取得する。信号特性取得部１１７は、後述するメインソース決定部１２３から供給されるメインソース情報に応じて、メインソースであると決定された画像データの信号特性を出力する。

例えば、メインソース情報によりＭＰＥＧデコーダ１０８から出力される画像データがメインソースであるとされれば、信号特性取得部１１７は、ＭＰＥＧデコーダ１０４から供給された画像データの信号特性を出力する。一方、メインソース情報によりＲＡＷ現像部１１１から出力される画像データがメインソースであるとされた場合には、信号特性取得部１１７は、例えば信号特性の出力を行わない。

信号特性取得部１１７による信号特性の取得動作は、例えばＭＰＥＧデコーダ１０４から供給される画像データのフレームタイミングに基づき、フレーム毎、数フレーム毎、数十フレーム毎といった所定間隔でなされる。例えば、信号特性取得部１１７は、供給された画像データから輝度成分および色成分を抽出して解析し、当該画像データの輝度特性および色特性を取得する。また例えば、信号特性取得部１１７は、供給された画像データに対してエッジ検出を行い、エッジ情報を取得する。なお、これら輝度特性、色特性およびエッジ情報は、画像の信号特性の一例であって、この例に限定されるものではない。

顔検出手段としての顔検出部１１８は、ＭＰＥＧデコーダ１０４、ＭＰＥＧデコーダ１０８、ＡＶＩデコーダ１０９、ＪＰＥＧデコーダ１１０およびＲＡＷ現像部１１１から供給された画像データそれぞれについて、画像データに含まれる顔画像を検出する。そして、顔画像が検出された画像データについて、当該画像データによる画像に対してこの顔画像が表示される表示エリアの面積ＳＦｘを求める。顔画像が検出された画像データ毎の表示エリア面積ＳＦｘは、メインソース決定部１２３に供給される。

なお、本実施形態における顔検出には、公知の顔検出技術を利用できる。公知の顔検出技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて目、鼻、口等の形状に特徴のある部位を画像から探し出し、類似度が高ければ顔とみなす手法などがある。また、他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法等、多数提案されている。一般的にはこれらの手法を複数組み合わせ、顔検出の精度を向上させている。具体的な例としては、特開２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。

フォーマット判別部１０７でフォーマット判別されたＪＰＥＧファイルおよびＲＡＷファイルは、それぞれ撮影情報取得手段としての撮影情報取得部１１３にも供給される。撮影情報取得部１１３は、供給されたファイルに撮影情報が含まれるか否かを判定し、含まれると判定されたら、その撮影情報をファイルから抽出し、メインソース決定部１２３および後述する映像処理部１１４に供給する。ファイルに撮影情報が含まれないと判定されたら、その旨を制御部１２０に通知する。

例えば、撮影情報取得部１１３は、供給されたＪＰＥＧファイルやＲＡＷファイルがＥｘｉｆデータを持っているかどうかを調べる。なお、Ｅｘｉｆは、Exchangeable Image File Formatの略である。当該ファイルがＥｘｉｆデータを持っていたら、ファイルから、撮影時の各種情報を抽出する。ファイルから抽出される撮影情報としては、撮像日やシャッタ速度、絞り値、ＩＳＯ情報、露出情報、ホワイトバランス、フラッシュ強度などが考えられる。ＲＡＷファイルは、Ｅｘｉｆデータを持っているのが一般的である。ＪＰＥＧファイルについては、そのファイルがＥｘｉｆに対応したデジタルスチルカメラなどにおける撮影で生成されたものであれば、Ｅｘｉｆ情報を持っている。抽出されたこれら撮影情報は、映像処理部１１４および制御部１２０内のメインソース決定部１２３に供給される。

合成部１０５は、制御部１２０の制御に基づき、ＭＰＥＧデコーダ１０４および１０８、ＡＶＩデコーダ１０９、ＪＰＥＧデコーダ１１０、ならびに、ＲＡＷ現像部１１１から供給された画像データを、１画面上に所定に配置し、１つの画像に合成する。そして、合成して得られた合成画像データを出力する。画像の合成方法は、様々に考えられるが、例として、供給された画像データを合成部１０５が有するメモリ（図示しない）に保持し、配置位置に応じたタイミングでメモリから画素データを読み出す方法を用いることができる。これに限らず、複数のプレーンメモリを用いて画像を合成することも考えられる。

なお、ＪＰＥＧデコーダ１１０およびＲＡＷ現像部１１１から供給される静止画像データについては、合成部１０５が有する図示されないメモリを利用することで、同じ供給元からの複数の画像データを１画面上に表示させることができる。動画像データに関しては、画面に表示される画像と供給元との関係が１対１とされる。

例えば、制御部１２０は、操作部１２１に対する操作に応じて、合成部１０５に画像データを供給する複数の供給元のうち、１画面に同時に表示させたい画像データを供給する供給元を選択する。図１の例では、合成部１０５に対する画像データの供給元は、ＭＰＥＧデコーダ１０４および１０８、ＡＶＩデコーダ１０９、ＪＰＥＧデコーダ１１０、ならびに、ＲＡＷ現像部１１１となる。画像データの供給元は、複数を選択することができる。

合成部１０５で合成されるそれぞれの画像データによる表示のサイズは、操作部１２１に対する操作に応じて変更することができる。一例として、操作部１２１に対して、表示部１１６に表示される複数の画像のうち、表示サイズを変更したい画像を選択する操作を行う。この操作に応じた制御信号が操作部１２１から出力され、制御部１２０に渡される。制御部１２０は、合成部１０５に対して、表示サイズの変更対象となる画像データを指示する。次に、操作部１２１に対して、選択された画像の表示サイズを変更させる操作が行われる。この操作に応じた制御信号が制御部１２０に供給され、画像サイズ制御部１２２に渡される。

画像サイズ制御部１２２は、この制御信号に応じて、対象となる画像の表示サイズを決定し、合成部１０５に対して当該対象となる画像の表示サイズをこの決定された表示サイズとするように命令する。合成部１０５は、この命令に従い、対象となる画像に対して拡大／縮小処理を施し、画像の表示サイズを変更する。

また、面積判別手段としての画像サイズ制御部１２２は、決定された表示サイズに基づき、当該対象画像データの表示面積Ｓｘを判別する。この表示面積Ｓｘを示す情報は、決定手段としてのメインソース決定部１２３にも供給される。メインソース決定部１２３には、この表示面積Ｓｘの他にも、上述のように、撮影情報取得部１１３からの撮影情報、フォーマット判別部１０７からのファイル形式情報、ならびに、顔検出部１１８からの顔表示エリア面積ＳＦｘが供給されている。メインソース決定部１２３は、これらの情報に基づき、後述する映像処理部１１４において画質調整処理の基準となる画像データであるメインソースを決定する。メインソース決定部１２３によるメインソース決定処理については、後述する。決定されたメインソースを示すメインソース情報は、信号特性取得部１１７に供給されると共に、映像処理部１１４に供給される。

画質調整手段としての映像処理部１１４に対して、画質調整値データベース１１５が接続される。画質調整値データベース１１５は、予め、信号特性情報および撮影情報と、画質調整のパラメータとしての画質調整値とが対応付けられて格納される。映像処理部１１４は、メインソースとして決定された画像データが撮影情報を持っている場合、この撮影情報に基づき画質調整値データベース１１５を参照し、画質調整値を選択する。また、映像処理部１１４は、メインソースとして決定された画像データが撮影情報を持っていない場合、信号特性取得部１１７から供給された信号特性情報に基づき画質調整値データベース１１５を参照し、画質調整値を選択する。そして、映像処理部１１４は、このようにして選択された画質調整値をパラメータとして、合成部１０５から供給された合成画像データに対して画質調整処理を行う。

なお、映像処理部１１４で行われる画質調整は、様々に考えられる。例えば、画像データに対する処理としては、ノイズリダクション処理、ガンマ補正処理、シャープネス（エッジ強調）処理、色（色調）補正処理などが挙げられる。また、表示部１１６の表示デバイスがＬＣＤといったバックライトが必要なデバイスであれば、映像処理部１１４は、ＬＣＤに対するバックライトの明度を画質調整として行うことができる。ダイナミックモードでは、これらの処理が、信号特性取得部１１７から供給された信号特性情報に基づき、ダイナミックに行われる。

映像処理部１１４から出力された画像データは、表示部１１６に供給される。表示部１１６は、例えばＬＣＤといった表示デバイスと、当該表示デバイスを駆動する駆動回路とからなる。なお、ＬＣＤは、Liquid Crystal Displayの略称である。

次に、本発明の実施形態によるメインソース決定部１２３におけるメインソース決定方法について説明する。本発明の実施形態では、合成部１０５で１画面に合成される画像データのそれぞれに対して、複数の項目について評価を行い、画像データ毎の評価値を求める。そして、評価値の最も大きな画像データを、最も重要度が高い画像データとしてメインソースに決定する。評価値を求めるための項目は、本実施形態では、画像データの入力経路、表示面積Ｓｘ、撮影情報、ファイル形式情報および顔表示エリア面積ＳＦｘである。

図２は、本発明の実施形態による一例のメインソース決定処理を示すフローチャートである。この図２のフローチャートにおける各処理は、メインソース決定部１２３によって実行されるものである。なお、評価値Ｐｘの初期値は、１とする。

ステップＳ１０で、対象となる画像データが外部接続端子１０６から入力されたデータ、すなわち、ファイルとして入力されたデータであるか否かが判断される。この判断は、例えばデータ形式判別手段としての制御部１２０により行うことができる。若し、外部接続端子１０６から入力されたデータではないと判断されたら、処理がステップＳ１２に移行される。一方、外部接続端子１０６から入力されたデータであると判断されれば、処理はステップＳ１１に移行され、評価値Ｐｘに１が加算される。そして、処理がステップＳ１２に移行される。

ステップＳ１２〜ステップＳ１７で、対象となる画像データのファイル形式が判断され、判断結果に応じた値が評価値Ｐｘに加算される。ステップＳ１２では、フォーマット判別部１０７からのファイル形式情報に基づき、当該画像データのファイル形式がＲＡＷ形式であるか否かが判断される。若し、ＲＡＷ形式であると判断されれば、処理はステップＳ１３に移行される。ＲＡＷデータによる画像は、ユーザが高画質での鑑賞を要求していると考えられる。そこで、ステップＳ１３では、評価値Ｐｘに対し、ファイル形式情報に基づく判断では最も大きな値である３を加算して新たな評価値Ｐｘとし、処理がステップＳ１８に移行される。

一方、ステップＳ１２で、ファイル形式がＲＡＷ形式ではないと判断されれば、処理がステップＳ１４に移行され、フォーマット判別部１０７からのファイル形式情報に基づき、ファイル形式がＪＰＥＧ形式であるか否かが判断される。若し、ファイル形式がＪＰＥＧ形式であると判断されたら、処理はステップＳ１５に移行される。

ステップＳ１５では、撮影情報取得部１１３の出力に基づき、当該ＪＰＥＧファイルが撮影情報（この場合は、Ｅｘｉｆ情報）を持っているか否かが判断される。若し、持っていると判断されたら、処理はステップＳ１６に移行される。撮影情報を持つＪＰＥＧデータによる画像は、ユーザが高画質での鑑賞を要求していると考えられる。そこで、ステップＳ１６では、評価値Ｐｘに対し、ファイル形式情報に基づく判断では２番目に大きな値である２を加算して新たな評価値Ｐｘとする。

一方、当該ＪＰＥＧファイルが撮影情報を持っていないと判断されれば、処理はステップＳ１７に移行される。データ放送から抽出されたＪＰＥＧデータによる画像も、撮影情報を持っていないものとして判断される。ステップＳ１７では、評価値Ｐｘに１を加算して新たな評価値Ｐｘとする。ステップＳ１６またはステップＳ１７で評価値Ｐｘに対する加算が行われたら、処理はステップＳ１８に移行される。

また、上述のステップＳ１４で、当該画像データのファイル形式がＪＰＥＧではないと判断されたら、評価値Ｐｘへの加算は行わず、処理はステップＳ１８に移行される。

このように、ステップＳ１２〜ステップＳ１７では、対象画像データのファイル形式に応じて評価値Ｐｘに対する加算を行う。このとき、対象画像データのファイル形式が動画像データを格納するファイル形式を示している場合には、評価値Ｐｘに対する加算を行わない。これは、本実施形態では、動画像よりも静止画像を高画質で鑑賞する場合を想定しているためである。各ファイル形式に対する評価値Ｐｘに対する加算は、装置の使用目的などにより任意に決めることができる。

処理はステップＳ１８に移行され、メインソース決定部１２３は、画像サイズ制御部１２２から、合成部１０５で合成される各画像データの表示面積Ｓ０、Ｓ１、…、Ｓｘ、…、Ｓｎを示す情報を取得する。そして、次のステップＳ１９で、取得された各画像データの表示面積Ｓ０、Ｓ１、…、Ｓｘ、…、Ｓｎの総和を求め、この表示面積の総和に対する対象画像データの表示面積Ｓｘの割合Ｒｘを求める。この割合Ｒｘに評価値Ｐｘを乗じた値を、新たな評価値Ｐｘとする。

これは、合成部１０５で合成される各画像データの表示面積の総和をΣＳｉとすると、数式（１）のように記述される。なお、数式（１）において、「＝（等号）」は、「＝」の右辺の値を左辺に代入することを示す。
Ｐｘ＝Ｐｘ×（Ｓｘ／ΣＳｉ） ・・・（１）

処理はステップＳ２０に移行され、メインソース決定部１２３は、顔検出部１１８による対象画像データに対する顔検出結果に基づき、当該対象画像データに顔画像が含まれるか否かを判断する。若し、顔画像が含まれないと判断されれば、一連の処理が終了され、評価値Ｐｘが確定される。

一方、ステップＳ２０で当該対象画像データに顔画像が含まれると判断されれば、処理はステップＳ２１に移行される。ステップＳ２１では、メインソース決定部１２３は、顔検出部１１８から、当該対象画像データについて求められた顔表示エリア面積ＳＦｘを取得する。そして、次のステップＳ２２で、当該対象画像データの表示面積Ｓｘに対する顔表示エリア面積ＳＦｘの割合ＲＦｘを求め、この割合ＲＦｘと評価値Ｐｘとを加算した値を、新たな評価値Ｐｘとする。この新たな評価値Ｐｘが対象画像データについての最終的な評価値Ｐｘとして確定され、一連の処理が終了される。

このステップＳ２２における処理は、数式（２）のように記述される。なお、数式（１）において、「＝（等号）」は、「＝」の右辺の値を左辺に代入することを示す。
Ｐｘ＝Ｐｘ＋ＳＦｘ／Ｓｘ ・・・（２）

以上のステップＳ１０〜ステップＳ２２の処理を、合成部１０５で１画面に合成される各画像データについて行い、それぞれ評価値Ｐｘを求める。そして、メインソース決定部１２３は、各画像データの評価値Ｐｘを比較し、最も大きな値をとる評価値Ｐｘを得た画像データを、メインソースに決定する。

ステップＳ１０〜ステップＳ２２の処理は、例えば、ユーザの操作部１２１に対する操作により画像の表示サイズが変更された場合や、１画面に合成して表示する画像が変更された場合に、再度、行われ、メインソースが再決定される。

なお、対象画像データが動画像データである場合、ステップＳ２０〜ステップＳ２２による顔検出部１１８の検出結果に基づく評価を、動画像データの特定フレームに対して行うと、適切な評価結果が得られない可能性がある。これは、顔検出部１１８による顔検出を、動画像データの複数フレームに対して行うことで対応可能である。例えば、時間的に連続的な複数フレームのそれぞれについて顔検出を行い、各フレームで得られた顔表示エリア面積ＳＦｘの平均値を用いることが考えられる。また、対象画像データが動画像データの場合には顔検出に基づく評価を行わないことも考えられる。

また、上述したステップＳ１１、ステップＳ１３、ステップＳ１６およびステップＳ１７における評価値Ｐｘに対する加算値は一例であって、この例に限定されるものではない。

さらに、図２のフローチャートによる処理を１画面に合成される各画像に適用した際に、複数の画像データが最大の評価値Ｐｘを持つ場合も考えられる。この場合には、この最大の評価値Ｐｘを持つ複数の画像データのうち、例えばユーザが直前に表示指示した画像データをメインソースとすることが考えられる。

上述の図２のフローチャートによる処理を、より具体的な例を用いて説明する。図３は、表示部１１６の表示画面２００に対して、ＭＰＥＧデコーダ１０４から供給された、テレビジョン放送による画像２０１と、外部接続端子１０６から入力されたＲＡＷファイルに基づく画像２０２とを合成して表示させる例である。

画像２０１について、図２のステップＳ１０、ステップＳ１１、ならびに、ステップＳ１２〜ステップＳ１７による評価値Ｐｘに対する加算がないので、この段階での評価値Ｐｘ＝１である。ステップＳ１８、ステップＳ１９において、画像２０１の表示面積Ｓａと画像２０２の表示面積Ｓｂとの比がＳａ：Ｓｂ＝２：１とすると、評価値Ｐｘは、Ｐｘ＝１×２／（２＋１）≒０．６７となる。さらに、ステップＳ２０〜ステップＳ２２において、画像２０１には顔画像が含まれていないので、画像２０１の評価値Ｐｘは、Ｐｘ≒０．６７に確定する。

一方、画像２０２については、図２のステップＳ１０、ステップＳ１１で評価値Ｐｘに１が加算され、ステップＳＳ１２〜ステップＳ１７で評価値Ｐｘにさらに３が加算され、この段階での評価値Ｐｘ＝５である。ステップＳ１８、ステップＳ１９において、画像２０１と画像２０２の表示面積の比に基づき、評価値ＰｘがＰｘ＝５×１／（１＋２）≒１．６７となる。さらに、ステップＳ２０〜ステップＳ２２において、画像２０１には顔画像が含まれていないので、画像２０１の評価値Ｐｘは、Ｐｘ≒１．６７に確定する。

画像２０１と画像２０２とで評価値Ｐｘの値を比較すると、画像２０２の方が評価値Ｐｘが大きいので、図３の表示画面２００におけるメインソースは、画像２０２を表示する、ＲＡＷファイルに基づく画像データに決定される。映像処理部１１４は、撮影情報取得部１１３から、当該ＲＡＷファイルに付加される撮影情報を取得する。そして、取得したこの撮影情報に基づき画質調整値データベース１１５を参照して画質調整値を選択し、選択された画質調整値を用いて、合成部１０５から出力された画像データに対して画質調整を行う。画質調整が行われた画像データは、表示部１１６に供給され、例えば上述の図３に示されるような表示画面２００が表示される。

図４は、表示部１１６の表示画面２００に対して、画像２１０、画像２１１および画像２１２の３つの画像を合成して表示させる例である。ここでは、画像２１０は、ＭＰＥＧデコーダ１０４から供給された、テレビジョン放送による画像である。画像２１１は、外部接続端子１０６から入力されたＲＡＷファイルに基づく画像２０２である。また、画像２１２は、外部接続端子１０６から入力された、Ｅｘｉｆ情報を持つＪＰＥＧファイルに基づく画像である。

画像２１０について、図２のステップＳ１０、ステップＳ１１、ならびに、ステップＳ１２〜ステップＳ１７による評価値Ｐｘに対する加算がないので、この段階での評価値Ｐｘ＝１である。ステップＳ１８、ステップＳ１９において、画像２１０の表示面積Ｓａ、画像２１１の表示面積Ｓｂおよび画像２１２の表示面積Ｓｃとの比がＳａ：Ｓｂ：Ｓｃ＝１：１：２とする。この場合、評価値Ｐｘは、Ｐｘ＝１×１／（１＋１＋２）＝０．２５となる。さらに、ステップＳ２０〜ステップＳ２２において、画像２１０には顔画像が含まれていないので、画像２１０の評価値Ｐｘは、Ｐｘ＝０．２５に確定する。

画像２１１については、図２のステップＳ１０、ステップＳ１１で評価値Ｐｘに１が加算され、ステップＳＳ１２〜ステップＳ１７で評価値Ｐｘにさらに３が加算され、この段階での評価値Ｐｘ＝５である。ステップＳ１８、ステップＳ１９において、画像２１０、画像２１１および画像２１２の表示面積の比に基づき、評価値ＰｘがＰｘ＝５×１／（１＋１＋２）＝１．２５となる。さらに、ステップＳ２０〜ステップＳ２２において、画像２１１には顔画像が含まれていないので、画像２１１の評価値Ｐｘは、Ｐｘ＝１．２５に確定する。

また、画像２１２については、図２のステップＳ１０、ステップＳ１１で評価値Ｐｘに１が加算され、ステップＳＳ１２〜ステップＳ１７で評価値Ｐｘにさらに２が加算され、この段階での評価値Ｐｘ＝４である。ステップＳ１８、ステップＳ１９において、画像２１０、画像２１１および画像２１２の表示面積の比に基づき、評価値ＰｘがＰｘ＝４×２／（１＋１＋２）＝２となる。さらに、ステップＳ２０〜ステップＳ２２において、画像２１２には顔画像が含まれていないので、画像２１２の評価値Ｐｘは、Ｐｘ＝２に確定する。

画像２１０、画像２１１および画像２１２で評価値Ｐｘの値を比較すると、画像２１２の評価値Ｐｘが最大であるので、図４の表示画面２００におけるメインソースは、画像２１２を表示する、ＪＰＥＧファイルに基づく画像データに決定される。映像処理部１１４は、撮影情報取得部１１３から、当該ＪＰＥＧファイルに含まれる撮影情報を取得する。そして、取得したこの撮影情報に基づき画質調整値データベース１１５を参照して画質調整値を選択し、選択された画質調整値を用いて、合成部１０５から出力された画像データに対して画質調整を行う。画質調整が行われた画像データは、表示部１１６に供給され、例えば上述の図４に示されるような表示画面２００が表示される。

図５は、表示部１１６の表示画面２００に対して、画像２２０、画像２２１、画像２２２および画像２２３の４つの画像を合成して表示させる例である。これら画像２２０、画像２２１、画像２２２および画像２２３は、何れも外部接続端子１０６から入力されたＲＡＷファイルに基づく画像である。また、画像２２０、画像２２１、画像２２２および画像２２３は、表示画面２００における表示面積が互いに等しいものとする。さらに、画像２２０および画像２２２には、それぞれ顔画像が含まれているものとする。顔画像の範囲は、画像２２０および画像２２２中に枠を付して示す。

この図５の例の場合、画像２２０、画像２２１、画像２２２および画像２２３は、ファイル形式および表示面積が互いに等しいので、図２のステップＳ１０〜ステップＳ１９までで求められる評価値Ｐｘは、互いに等しくなる。すなわち、この段階での画像２２０、画像２２１、画像２２２および画像２２３それぞれの評価値Ｐｘは、Ｐｘ＝５×１／（１＋１＋１＋１）＝１．２５となる。

ステップＳ２０〜ステップＳ２２において、画像２２１および画像２２３は、顔画像が含まれないので処理がキャンセルされ、それぞれの評価値ＰｘがＰｘ＝１．２５に確定される。

一方、顔画像が含まれる画像２２０および画像２２２は、画像の表示面積Ｓｘに占める顔表示エリア面積ＳＦｘの割合ＲＦｘに基づき評価値Ｐｘが求められる。画像２２０における割合ＲＦｘ＝ＳＦｘ／Ｓｘ＝０．３であり、画像２２２における割合ＲＦｘ＝ＳＦｘ／Ｓｘ＝０．１であるとき、画像２２０の評価値Ｐｘは、Ｐｘ＝１．２５＋０．３＝１．５５に確定される。一方、画像２２２の評価値Ｐｘは、Ｐｘ＝１．２５＋０．１＝１．３５に確定される。

このように求めた画像２２０、画像２２１、画像２２２および画像２２３の評価値Ｐｘを比較すると、画像２２０の評価値Ｐｘが１．５５で最大である。したがって、図５の表示画面２００におけるメインソースは、画像２２０を表示する、ＲＡＷファイルに基づく画像データに決定される。映像処理部１１４は、撮影情報取得部１１３から、当該ＲＡＷファイルに含まれる撮影情報を取得する。そして、取得したこの撮影情報に基づき画質調整値データベース１１５を参照して画質調整値を選択し、選択された画質調整値を用いて、合成部１０５から出力された画像データに対して画質調整を行う。画質調整が行われた画像データは、表示部１１６に供給され、例えば上述の図５に示されるような表示画面２００が表示される。

以上説明したように、本発明の実施形態によれば、複数の画像を１画面に合成して表示させる際に、画像のファイル形式、画像が撮影情報を持っているか否か、画像の表示面積および画像に含まれる顔画像の面積の割合に基づき、メインソースを決定している。そして、決定されたメインソースの画像に対し、当該メインソースの画像に適した方法で画質調整を施すようにしている。そのため、１画面に合成して表示される複数の画像のうち、重要度が高いと考えられる画像に対して優先的に最適な画質調整を施すことができる。

＜他の実施形態＞
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。また、上述の映像表示装置１００の主要部（例えば制御部１２０）は、ＣＰＵ、プログラムを格納するためのＲＯＭ、ワークメモリとしてのＲＡＭを有し、コンピュータと見なすことができる。

従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。

上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。

そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。

つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。

また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。

さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

本発明の実施形態を適用可能な映像表示装置の一例の構成を示すブロック図である。 本発明の実施形態による一例のメインソース決定処理を示すフローチャートである。 本発明の実施形態による一例のメインソース決定処理をより具体的に説明するための図である。 本発明の実施形態による一例のメインソース決定処理をより具体的に説明するための図である。 本発明の実施形態による一例のメインソース決定処理をより具体的に説明するための図である。

符号の説明

１００ 映像表示装置
１０４ ＭＰＥＧデコーダ
１０５ 合成部
１０６ 外部入力端子
１０７ フォーマット判別部
１０８ ＭＰＥＧデコーダ
１０９ ＡＶＩデコーダ
１１０ ＪＰＥＧデコーダ
１１１ ＲＡＷ現像部
１１３ 撮影情報取得部
１１４ 映像処理部
１１５ 画質調整値データベース
１１７ 信号特性取得部
１１８ 顔検出部
１２０ 制御部
１２１ 操作部
１２２ 画面サイズ制御部
１２３ メインソース決定部

Claims (6)

1. 複数の画像データを合成して、合成画像データを生成する合成手段と、
   前記合成手段から出力された合成画像データに対して画質調整を行う画質調整手段と、
   前記複数の画像データそれぞれのフォーマットを判別するフォーマット判別手段と、
   前記フォーマット判別手段による判別結果を用いて、前記複数の画像データのうち画質調整の基準とする画像データを決定する決定手段と、
   前記決定手段で決定された前記画質調整の基準とする画像データの画質調整に適したパラメータを用いて、前記合成画像データに対する前記画質調整を行うように前記画質調整手段を制御する制御手段と、を有し、
   前記決定手段は、前記フォーマット判別手段により静止画フォーマットを有すると判別された画像データを、動画フォーマットを有すると判別された画像データよりも優先して、前記画質調整の基準とする画像データを決定することを特徴とする表示制御装置。
2. 前記複数の画像データそれぞれの、画面における表示面積の大きさを判別する面積判別手段を更に有し、
   前記決定手段は、前記面積判別手段による判別結果をさらに用いて、前記画質調整の基準とする画像データを決定することを特徴とする請求項１に記載の表示制御装置。
3. 前記複数の画像データのそれぞれについて顔検出を行う顔検出手段をさらに有し、
   前記決定手段は、前記顔検出手段により検出された顔の表示面積をさらに用いて、前記画質調整の基準とする画像データを決定することを特徴とする請求項１または２に記載の表示制御装置。
4. 前記フォーマット判別手段は、前記複数の画像データそれぞれのファイルフォーマットを判別し、
   前記決定手段は、前記フォーマット判別手段によりＪＰＥＧファイルフォーマットまたはＲＡＷファイルフォーマットを有すると判別された画像データを、ＭＰＥＧファイルフォーマットを有すると判別された画像データよりも優先して、前記画質調整の基準とする画像データを決定することを特徴とする請求項１乃至請求項３のいずれか１項に記載の表示制御装置。
5. 前記画像データから撮影情報を取得する撮影情報取得手段と、
   前記画像データの信号特性を取得する信号特性取得手段と
   をさらに有し、
   前記制御手段は、
   前記フォーマット判別手段により、前記画質調整の基準とする画像データのフォーマットが撮影情報を持つ画像データであると判別されたら、前記撮影情報取得手段により該画像データから取得された前記撮影情報に基づくパラメータにより前記画質調整を行うように前記画質調整手段を制御し、
   前記フォーマット判別手段により、前記画質調整の対象とする画像の画像データのフォーマットが前記撮影情報を持たない画像データであると判別されたら、前記信号特性取得手段により該画像データから取得された前記信号特性に基づくパラメータにより前記画質調整を行うように前記画質調整手段を制御することを特徴とする請求項１乃至請求項４の何れか１項に記載の表示制御装置。
6. 合成手段が、複数の画像データを合成して、合成画像データを生成する合成ステップと、
   画質調整手段が、前記合成ステップで出力された画像データに対して画質調整を行う画質調整ステップと、
   フォーマット判別手段が、前記複数の画像データそれぞれのフォーマットを判別するフォーマット判別ステップと、
   決定手段が、前記フォーマット判別ステップによる判別結果を用いて、前記複数の画像データのうち画質調整の基準とする画像データを決定する決定ステップと、
   制御手段が、前記決定ステップで決定された前記画質調整の基準とする画像データの画質調整に適したパラメータを用いて、前記合成画像データに対する前記画質調整を行うように前記画質調整ステップを制御する制御ステップと、を有し、
   前記決定ステップでは、前記フォーマット判別ステップにより静止画フォーマットを有すると判別された画像データを、動画フォーマットを有すると判別された画像データよりも優先して、前記画質調整の基準とする画像データを決定することを特徴とする表示制御方法。