JP5885847B2 - 画像処理装置、表示装置、画像処理方法、表示方法、および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、表示装置、画像処理方法、表示方法、および画像処理プログラムに関する。

公共交通機関の車両内では、従来から、車両の路線案内、官公庁からの案内、および一般企業の宣伝広告が紙媒体を通して、固定的に利用客に向けて提供または表示されていた。近年になり、一部が電子化され、ＬＥＤを使った電光掲示板や液晶ディスプレイを通して、行き先、停車、乗り換え案内などの情報が走行区間に応じて可変的に表示され、宣伝広告に至っては動画像や静止画像として提供または表示される状況になっている。

特許文献１には、比較的高輝度のグラフィックデータである画像データと、比較的低輝度の自然画である画像データとを合成して表示画像データを生成して表示する表示方法が示されている。この表示方法では、高輝度の画像データの最大輝度を低輝度の画像データの特徴量により調整した後、調整後の高輝度の画像データと低輝度の画像データとを合成して表示画像データを生成し、その後、表示画像データの特徴量によりバックライトの輝度を決定し、このバックライトの輝度に連動して表示画像データを調整する。

特開２００６−１５４０６４号公報

ところで、主画像（例えば、車両の行き先、停車、乗り換え案内などのグラフィック画像や文字画像）と副画像（例えば、宣伝広告画像などの自然画像やアニメーション画像）とを同時にまたは切り替えて表示する場合に、適切な画質で表示モードに応じて表示することが望まれる。

本発明は、主画像と副画像とを同時にまたは切り替えて表示する場合に、適切な画質で表示モードに応じて表示することを可能にする画像処理装置、表示装置、画像処理方法、表示方法、および画像処理プログラムを提供することを目的とする。

本発明に係る画像処理装置は、主画像と副画像とを同時にまたは切り替えて表示するための表示画像データを生成する画像処理装置であって、
前記主画像を表す主画像データの入力を受ける主画像データ入力手段と、
前記副画像を表す副画像データの入力を受ける副画像データ入力手段と、
前記主画像および前記副画像を表示するときの表示モードを示す表示モード情報を取得する表示モード取得手段と、
前記主画像データ入力手段に入力された主画像データの特徴量を算出する第１の特徴量算出手段と、
前記副画像データ入力手段に入力された副画像データ、または前記副画像データを前記表示モード取得手段により取得された表示モード情報に応じてリサイズして得られるリサイズ後の副画像データの特徴量を算出する第２の特徴量算出手段と、
前記第１の特徴量算出手段で算出された主画像データの特徴量と、前記第２の特徴量算出手段で算出された副画像データの特徴量とに基づき、前記リサイズ後の副画像データに対して画質調整を行い、調整後の副画像データを生成する画質調整手段と、
前記表示モード取得手段により取得された表示モード情報に応じて、前記主画像データ入力手段に入力された主画像データと前記画質調整手段により生成された調整後の副画像データとから、前記表示画像データを生成する表示画像データ生成手段と、を備え、
前記画質調整手段は、前記算出された副画像データの特徴量と前記主画像データの特徴量との差と比べて、前記調整後の副画像データの特徴量と前記主画像データの特徴量との差が小さくなるように前記画質調整を行い、
前記副画像データは、時系列に並ぶ複数のコンテンツの画像データを含み、前記画質調整手段は、前記コンテンツ毎に前記画質調整を行う際に、前記画質調整の対象となるコンテンツの切り替わりのタイミングで、前記画質調整に用いる主画像データの特徴量を更新することを特徴とする。

本発明に係る別の画像処理装置は、主画像と副画像とを同時にまたは切り替えて表示するための表示画像データを生成する画像処理装置であって、
前記主画像を表す主画像データの入力を受ける主画像データ入力手段と、
前記副画像を表す副画像データの入力を受ける副画像データ入力手段と、
前記主画像および前記副画像を表示するときの表示モードを示す表示モード情報を取得する表示モード取得手段と、
前記副画像データ入力手段に入力された副画像データ、または前記副画像データを前記表示モード取得手段により取得された表示モード情報に応じてリサイズして得られるリサイズ後の副画像データの特徴量を算出する第２の特徴量算出手段と、
前記リサイズ後の副画像データに対して画質調整を行い、調整後の副画像データを生成する画質調整手段と、
前記表示モード取得手段により取得された表示モード情報に応じて、前記主画像データ入力手段に入力された主画像データと前記画質調整手段により生成された調整後の副画像データとから、前記表示画像データを生成する表示画像データ生成手段と、
前記表示画像データ生成手段により生成された表示画像データの特徴量を算出する第３の特徴量算出手段と、を備え、
前記画質調整手段は、前記表示モード情報により示される表示モードが、主画像と副画像とを同時に表示する同時表示モードまたは主画像だけを表示する主画像表示モードから、副画像だけを表示する副画像表示モードに切り替わる場合、前記切り替わり後の副画像表示モードに対応する副画像データに対して画質調整を行うとき、前記第３の特徴量算出手段で算出された前記切り替わり前の表示モードに対応する表示画像データの特徴量から得られる基準の特徴量に基づき、前記算出された副画像データの特徴量と前記基準の特徴量との差と比べて、前記調整後の副画像データの特徴量と前記基準の特徴量との差が小さくなるように前記画質調整を行い、
前記基準の特徴量は、前記表示画像データの特徴量から予め設定された値まで徐々に変化する特徴量であることを特徴とする。

本発明に係る表示装置は、上記いずれかの画像処理装置と、前記表示画像データ生成手段により生成された表示画像データに基づいて画像を表示する表示手段と、を備えることを特徴とする。

本発明に係る画像処理方法は、主画像と副画像とを同時にまたは切り替えて表示するための表示画像データを生成する画像処理方法であって、
前記主画像を表す主画像データの入力を受ける主画像データ入力ステップと、
前記副画像を表す副画像データの入力を受ける副画像データ入力ステップと、
前記主画像および前記副画像を表示するときの表示モードを示す表示モード情報を取得する表示モード取得ステップと、
前記主画像データ入力ステップで入力された主画像データの特徴量を算出する第１の特徴量算出ステップと、
前記副画像データ入力ステップで入力された副画像データ、または前記副画像データを前記表示モード取得ステップにより取得された表示モード情報に応じてリサイズして得られるリサイズ後の副画像データの特徴量を算出する第２の特徴量算出ステップと、
前記第１の特徴量算出ステップで算出された主画像データの特徴量と、前記第２の特徴量算出ステップで算出された副画像データの特徴量とに基づき、前記リサイズ後の副画像データに対して画質調整を行い、調整後の副画像データを生成する画質調整ステップと、
前記表示モード取得ステップで取得された表示モード情報に応じて、前記主画像データ入力ステップで入力された主画像データと前記画質調整ステップで生成された調整後の副画像データとから、前記表示画像データを生成する表示画像データ生成ステップと、を有し、
前記画質調整ステップは、前記算出された副画像データの特徴量と前記主画像データの特徴量との差と比べて、前記調整後の副画像データの特徴量と前記主画像データの特徴量との差が小さくなるように前記画質調整を行い、
前記副画像データは、時系列に並ぶ複数のコンテンツの画像データを含み、前記画質調整ステップは、前記コンテンツ毎に前記画質調整を行う際に、前記画質調整の対象となるコンテンツの切り替わりのタイミングで、前記画質調整に用いる主画像データの特徴量を更新することを特徴とする。

本発明に係る別の画像処理方法は、主画像と副画像とを同時にまたは切り替えて表示するための表示画像データを生成する画像処理方法であって、
前記主画像を表す主画像データの入力を受ける主画像データ入力ステップと、
前記副画像を表す副画像データの入力を受ける副画像データ入力ステップと、
前記主画像および前記副画像を表示するときの表示モードを示す表示モード情報を取得する表示モード取得ステップと、
前記副画像データ入力ステップで入力された副画像データ、または前記副画像データを前記表示モード取得ステップにより取得された表示モード情報に応じてリサイズして得られる副画像データの特徴量を算出する第２の特徴量算出ステップと、
前記リサイズ後の副画像データに対して画質調整を行い、調整後の副画像データを生成する画質調整ステップと、
前記表示モード取得ステップで取得された表示モード情報に応じて、前記主画像データ入力ステップで入力された主画像データと前記画質調整ステップで生成された調整後の副画像データとから、前記表示画像データを生成する表示画像データ生成ステップと、
前記表示画像データ生成ステップで生成された表示画像データの特徴量を算出する第３の特徴量算出ステップと、を有し、
前記画質調整ステップは、前記表示モード情報により示される表示モードが、主画像と副画像とを同時に表示する同時表示モードまたは主画像だけを表示する主画像表示モードから、副画像だけを表示する副画像表示モードに切り替わる場合、前記切り替わり後の副画像表示モードに対応する副画像データに対して画質調整を行うとき、前記第３の特徴量算出ステップで算出された前記切り替わり前の表示モードに対応する表示画像データの特徴量から得られる基準の特徴量に基づき、前記算出された副画像データの特徴量と前記基準の特徴量との差と比べて、前記調整後の副画像データの特徴量と前記基準の特徴量との差が小さくなるように前記画質調整を行い、
前記基準の特徴量は、前記表示画像データの特徴量から予め設定された値まで徐々に変化する特徴量であることを特徴とする。

本発明に係る表示方法は、上記いずれかの画像処理方法と、前記表示画像データ生成ステップで生成された表示画像データに基づいて画像を表示する表示ステップと、を有することを特徴とする。

本発明に係る画像処理プログラムは、主画像と副画像とを同時にまたは切り替えて表示するための表示画像データを生成する画像処理プログラムであって、
前記主画像を表す主画像データの入力を受ける主画像データ入力ステップと、
前記副画像を表す副画像データの入力を受ける副画像データ入力ステップと、
前記主画像および前記副画像を表示するときの表示モードを示す表示モード情報を取得する表示モード取得ステップと、
前記主画像データ入力ステップで入力された主画像データの特徴量を算出する第１の特徴量算出ステップと、
前記副画像データ入力ステップで入力された副画像データ、または前記副画像データを前記表示モード取得ステップで取得された表示モード情報に応じてリサイズして得られる副画像データの特徴量を算出する第２の特徴量算出ステップと、
前記第１の特徴量算出ステップで算出された主画像データの特徴量と、前記第２の特徴量算出ステップで算出された副画像データの特徴量とに基づき、前記リサイズ後の副画像データに対して画質調整を行い、調整後の副画像データを生成する画質調整ステップと、
前記表示モード取得ステップで取得された表示モード情報に応じて、前記主画像データ入力ステップで入力された主画像データと前記画質調整ステップで生成された調整後の副画像データとから、前記表示画像データを生成する表示画像データ生成ステップと、
をコンピュータに実行させ、
前記画質調整ステップは、前記算出された副画像データの特徴量と前記主画像データの特徴量との差と比べて、前記調整後の副画像データの特徴量と前記主画像データの特徴量との差が小さくなるように前記画質調整を行い、
前記副画像データは、時系列に並ぶ複数のコンテンツの画像データを含み、前記画質調整ステップは、前記コンテンツ毎に前記画質調整を行う際に、前記画質調整の対象となるコンテンツの切り替わりのタイミングで、前記画質調整に用いる主画像データの特徴量を更新することを特徴とする。

本発明に係る別の画像処理プログラムは、主画像と副画像とを同時にまたは切り替えて表示するための表示画像データを生成する画像処理プログラムであって、
前記主画像を表す主画像データの入力を受ける主画像データ入力ステップと、
前記副画像を表す副画像データの入力を受ける副画像データ入力ステップと、
前記主画像および前記副画像を表示するときの表示モードを示す表示モード情報を取得する表示モード取得ステップと、
前記副画像データ入力ステップで入力された副画像データ、または前記副画像データを前記表示モード取得ステップで取得された表示モード情報に応じてリサイズして得られる副画像データの特徴量を算出する第２の特徴量算出ステップと、
前記リサイズ後の副画像データに対して画質調整を行い、調整後の副画像データを生成する画質調整ステップと、
前記表示モード取得ステップで取得された表示モード情報に応じて、前記主画像データ入力ステップで入力された主画像データと前記画質調整ステップで生成された調整後の副画像データとから、前記表示画像データを生成する表示画像データ生成ステップと、
前記表示画像データ生成ステップで生成された表示画像データの特徴量を算出する第３の特徴量算出ステップと、
をコンピュータに実行させ、
前記画質調整ステップは、前記表示モード情報により示される表示モードが、主画像と副画像とを同時に表示する同時表示モードまたは主画像だけを表示する主画像表示モードから、副画像だけを表示する副画像表示モードに切り替わる場合、前記切り替わり後の副画像表示モードに対応する副画像データに対して画質調整を行うとき、前記第３の特徴量算出ステップで算出された前記切り替わり前の表示モードに対応する表示画像データの特徴量から得られる基準の特徴量に基づき、前記算出された副画像データの特徴量と前記基準の特徴量との差と比べて、前記調整後の副画像データの特徴量と前記基準の特徴量との差が小さくなるように前記画質調整を行い、
前記基準の特徴量は、前記表示画像データの特徴量から予め設定された値まで徐々に変化する特徴量であることを特徴とする。

本発明によれば、主画像と副画像とを同時にまたは切り替えて表示する場合に、適切な画質で表示モードに応じて表示することが可能になる。

実施の形態１に係る表示装置の構成を示すブロック図である。 （ａ）〜（ｃ）は表示モードの例を示す図である。 （ａ）〜（ｃ）は表示モードの他の例を示す図である。 実施の形態１における副画像データ調整部の構成を示すブロック図である。 （ａ）および（ｂ）は、それぞれ画質調整部に入力される副画像データの画像および輝度ヒストグラムの一例を示す図である。 （ａ）および（ｂ）は、それぞれ画質調整部により明るく調整した場合の副画像データの画像および輝度ヒストグラムの一例を示す図であり、（ｃ）は、当該調整に用いられるトーンカーブを示す図である。 （ａ）および（ｂ）は、それぞれ画質調整部により暗く調整した場合の副画像データの画像および輝度ヒストグラムの一例を示す図であり、（ｃ）は、当該調整に用いられるトーンカーブを示す図である。 （ａ）〜（ｆ）は実施の形態１における画質調整の一例を説明するための図である。 実施の形態１に係る表示装置の動作を示すフローチャートである。 実施の形態２に係る表示装置の構成を示すブロック図である。 実施の形態２における副画像データ調整部の構成を示すブロック図である。 （ａ）〜（ｆ）は実施の形態２における画質調整の一例を説明するための図である。 実施の形態３における副画像データ調整部の構成を示すブロック図である。 実施の形態４に係る表示装置の構成を示すブロック図である。 実施の形態４における副画像データ調整部の構成を示すブロック図である。 実施の形態５に係る表示装置の構成を示すブロック図である。

以下、本発明の実施の形態を図面に従って説明する。
実施の形態１．
図１は、実施の形態１に係る表示装置１００の構成を示すブロック図である。この表示装置１００は、主画像と副画像とを同時にまたは切り替えて表示する装置である。具体的には、主画像は、表示装置１００の主目的に対応する画像または表示装置１００に表示される画像のうち主となる画像であり、副画像は、主画像以外の画像または主画像に付随する画像である。より具体的には、主画像は、公共交通機関の利用者を案内するための案内画像であり、例えば、車両（列車）、バス、船、飛行機などの乗客輸送手段の行き先、停車、乗り換えなどの案内情報を示す画像である。副画像は、上記案内画像以外の画像であり、例えば宣伝広告画像である。また、主画像は、グラフィック画像や文字画像であり、主として静止画像である。副画像は、自然画像やアニメーション画像であり、動画像、準動画像、または静止画像である。表示装置１００は、例えば、車両や駅、バスやバス停、船や港、飛行機や空港など、公共交通機関に設置され、車両、バス、船、飛行機などの行き先、停車、乗り換えなどの案内情報に加え、宣伝広告画像やその他情報などを表示する。

図１において、表示装置１００は、画像処理部１および表示部２を備える。画像処理部１は、主画像を表す主画像データと副画像を表す副画像データとから、主画像と副画像とを同時にまたは切り替えて表示するための表示画像データを生成する。表示部２は、例えば液晶ディスプレイであり、画像処理部１により生成された表示画像データに基づいて表示画像を表示する。

画像処理部１は、主画像データ入力部１１、副画像データ入力部１２、表示モード取得部１３、第１の特徴量算出部１４、副画像データ調整部１５、表示画像データ生成部１６、および表示画像データ出力部１７を有する。

主画像データ入力部１１は、例えば入力端子であり、主画像データの入力を受ける。主画像データは、時系列に並ぶ複数のコンテンツの画像データから構成される。複数のコンテンツは、例えば、路線表示、近傍表示、停車駅案内、および乗り換え案内のそれぞれの日本語表記コンテンツおよび英語表記コンテンツなどを含み、一定間隔毎に切り替えて表示されるように時系列に配列される。各コンテンツは、時系列に並ぶ複数のフレームで構成される。主画像データ入力部１１に入力された主画像データは、第１の特徴量算出部１４と表示画像データ生成部１６とに入力される。

副画像データ入力部１２は、例えば入力端子であり、副画像データの入力を受ける。副画像データは、時系列に並ぶ複数のコンテンツの画像データから構成される。複数のコンテンツは、例えば、宣伝広告画像であり、順番に表示されるように時系列に配列される。各コンテンツは、時系列に並ぶ複数のフレームで構成される。副画像データは、例えば、ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ−Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ ｓｅｃｔｏｒ）勧告Ｈ．２６ｘやＩＳＯ／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）標準ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの符号化データを復号化した動画像である。なお、副画像データは、動画像に限られず、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの符号化データを復号化した静止画像であってもよい。副画像データ入力部１２に入力された副画像データは、副画像データ調整部１５に入力される。

表示モード取得部１３は、主画像および副画像を表示するときの表示モードを示す表示モード情報を取得する。ここでは、表示モード取得部１３は、外部から表示モード情報の入力を受ける入力端子である。ただし、表示モード取得部１３は、現在時刻や表示スケジュール等の情報に基づき、表示モードを決定または選択して表示モード情報を生成してもよい。

本例では、表示モードとしては、主画像および副画像のうち主画像だけを表示する主画像表示モードと、主画像および副画像のうち副画像だけを表示する副画像表示モードと、主画像と副画像とを同時に表示する同時表示モードとがある。図２（ａ），（ｂ），（ｃ）には、それぞれ、主画像表示モード、副画像表示モード、および同時表示モードにおける表示画像が例示されている。図２（ａ）に示されるように、主画像表示モードの表示画像は、主画像が表示される主画像領域（例えば案内画像が表示される案内領域）Ｒｍを有する。図２（ｂ）に示されるように、副画像表示モードの表示画像は、副画像が表示される副画像領域（例えば広告画像が表示される広告領域）Ｒｓを有する。図２（ｃ）に示されるように、同時表示モードの表示画像は、主画像領域Ｒｍと副画像領域Ｒｓとを有する。同時表示モードは、例えば、主画像と副画像とを合成して表示する合成表示モードであり、図２（ｃ）には、合成表示モードの表示画像が示されている。

なお、表示モードは、上記に限定されない。例えば、主画像領域には、複数の画像が配置されてもよく、主画像データは、同時に表示される複数の画像の画像データを含んでもよい。同様に、副画像領域には、複数の画像が配置されてもよく、副画像データは、同時に表示される複数の画像の画像データを含んでもよい。例えば、図３（ａ）に示されるように、同時表示モードにおいて、主画像領域Ｒｍに３つの画像Ｍ１，Ｍ２，Ｍ３が表示され、副画像領域Ｒｓに２つの画像Ｓ１，Ｓ２が表示されてもよい。また、主画像領域は複数の領域に分かれていてもよく、主画像は、複数の領域に分けて表示されてもよい。同様に、副画像領域は複数の領域に分かれていてもよく、副画像は複数の領域に分けて表示されてもよい。例えば、図３（ｂ）に示されるように、同時表示モードにおいて、主画像領域Ｒｍが２つの領域Ｒｍ１，Ｒｍ２に分かれ、副画像領域Ｒｓが２つの領域Ｒｓ１，Ｒｓ２に分かれていてもよい。また、同時表示モードは、合成表示モードに限られず、主画像と副画像とを２つの表示画面に表示する２画面表示モードであってもよい。２画面表示モードでは、例えば、図３（ｃ）に示されるように、並べて配置された２つの表示画面Ｄ１，Ｄ２のうち、一方の表示画面Ｄ１に主画像が表示され、他方の表示画面Ｄ２に副画像が表示される。この場合、２つの表示画面を１つの表示画面とみなし、合成表示モードと同等と考えてもよい。なお、表示画面の個数は２つに限られず、表示画像は３つ以上の複数の表示画面に表示されてもよい。また、表示画像は、テロップを含んでもよい。この場合、例えば文字テロップは主画像の一部とみなしてもよい。また例えば、案内画像に付加されるテロップは主画像の一部、広告画像に付加されるテロップは副画像の一部とみなしてもよい。また、同時表示モードには、画像のレイアウトの異なる複数種類の表示モードがあってもよい。

再び図１を参照すると、表示モード取得部１３により取得された表示モード情報は、副画像データ調整部１５と表示画像データ生成部１６とに入力される。

第１の特徴量算出部１４は、主画像データ入力部１１から入力された主画像データの特徴量を算出し、算出した主画像データの特徴量を副画像データ調整部１５に出力する。ここで、特徴量は、具体的には主画像データの画質に関する特徴量であり、例えば、１フレーム毎の画像データの輝度値の平均値（平均輝度値）、最大値（最大輝度値）、最小値（最小輝度値）、ヒストグラム（輝度ヒストグラム）や、１フレーム毎の画像データの所定の色成分または色成分毎の階調値の平均値、最大値、最小値、ヒストグラムなどである。色成分は、例えば、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の成分、すなわちＲＧＢ成分である。上記１フレーム毎の画像データの輝度値等の平均値等は、具体的には、１フレームを構成する複数の画素の輝度値等の平均値等である。なお、特徴量は、１フレーム毎のものに限られず、複数フレームに渡って平均化したもの（例えば複数フレーム毎の平均輝度値）や、コンテンツ単位で平均化したもの（例えばコンテンツ毎の平均輝度値）であってもよい。また、特徴量は、輝度値や階調値に限られず、鮮鋭度（明瞭度）や彩度（鮮やかさ）などでもよい。なお、本例では、主画像データは、案内画像などのグラフィック画像や文字画像の画像データであり、主画像データの１つのコンテンツ内では特徴量に大きな変化はない。

なお、第１の特徴量算出部１４は、主画像データの画面全体から特徴量を算出してもよいし、主画像データの画面のうち表示画像として表示される部分から特徴量を算出してもよい。

副画像データ調整部１５は、副画像データ入力部１２から入力された副画像データに対して、表示モード取得部１３から入力された表示モード情報に応じたリサイズ処理や、第１の特徴量算出部１４で算出された主画像データの特徴量に基づく画質の調整等を行い、調整後の副画像データを生成して出力する。副画像データ調整部１５については、後に詳しく説明する。

表示画像データ生成部１６は、表示モード取得部１３から入力された表示モード情報に応じて、主画像データ入力部１１から入力された主画像データと副画像データ調整部１５から出力された調整後の副画像データとから、主画像と副画像とを同時にまたは切り替えて表示するための表示画像データを生成する。具体的には、表示画像データ生成部１６は、表示モード情報で示される表示モードが主画像表示モードである場合には、主画像データを選択して表示画像データとして出力し、副画像表示モードである場合には、調整後の副画像データを選択して表示画像データとして出力する。また、表示モードが合成表示モードである場合には、主画像データと副画像データとを合成して得られる画像データを表示画像データとして出力する。例えば、表示画像データ生成部１６は、主画像の画像領域の一部に副画像を上書きした画像、主画像と副画像とを領域単位で選択して合成した画像、または主画像の部分画像と副画像の部分画像とを複数組み合わせて（または貼り合わせて）得られる画像の画像データを表示画像データとして出力する。

表示画像データ生成部１６は、例えば、主画像データおよび副画像データのフレーム毎に、表示モードに応じた表示画像データの生成を行い、複数フレームで構成される表示画像データを出力する。

表示画像データ出力部１７は、例えば出力端子であり、表示画像データ生成部１６により生成された表示画像データを表示部２に出力する。

以下、副画像データ調整部１５について詳しく説明する。図４は、副画像データ調整部１５の構成を示すブロック図である。図４において、副画像データ調整部１５は、入力端子２１，２２，２３、リサイズ部２４、第２の特徴量算出部２５、画質調整部２６、および出力端子２７を有する。

入力端子２１は、副画像データ入力部１２から副画像データの入力を受け、入力された副画像データはリサイズ部２４に入力される。入力端子２２は、表示モード取得部１３から表示モード情報の入力を受け、入力された表示モード情報はリサイズ部２４と画質調整部２６とに入力される。入力端子２３は、第１の特徴量算出部１４から主画像データの特徴量の入力を受け、入力された主画像データの特徴量は画質調整部２６に入力される。

リサイズ部２４は、入力端子２１から入力された副画像データを、入力端子２２から入力された表示モード情報で示される表示モードに応じてリサイズし、リサイズ後の副画像データを出力する。具体的には、リサイズ部２４は、副画像データのフレーム毎に、当該フレームの画像データの画像サイズを、当該フレームに対応する表示モードに応じた画像サイズに変更し、リサイズ後のフレームの画像データを出力する。リサイズ部２４は、表示モードにより必要に応じてリサイズ処理を行えばよい。リサイズ部２４により生成されたリサイズ後の副画像データは、第２の特徴量算出部２５と画質調整部２６とに入力される。

第２の特徴量算出部２５は、リサイズ部２４から出力されたリサイズ後の副画像データの特徴量を算出し、算出した副画像データの特徴量を画質調整部２６に出力する。ここで、特徴量は、具体的には副画像データの画質に関する特徴量であり、例えば、１フレーム毎の画像データの輝度値の平均値（平均輝度値）、最大値（最大輝度値）、最小値（最小輝度値）、ヒストグラム（輝度ヒストグラム）や、１フレーム毎の画像データの所定の色成分または色成分毎の階調値の平均値、最大値、最小値、ヒストグラムなどである。色成分は、例えばＲＧＢ成分である。上記１フレーム毎の画像データの輝度値等の平均値等は、具体的には、１フレームを構成する複数の画素の輝度値等の平均値等である。なお、特徴量は、１フレーム毎のものに限られず、複数フレームに渡って平均化したもの（例えば複数フレーム毎の平均輝度値）や、コンテンツ単位で平均化したもの（例えばコンテンツ毎の平均輝度値）であってもよい。また、特徴量は、輝度値や階調値に限られず、鮮鋭度や彩度などでもよい。

なお、第２の特徴量算出部２５は、副画像データの画面全体から特徴量を算出してもよいし、副画像データの画面のうち表示画像として表示される部分から特徴量を算出してもよい。

また、第２の特徴量算出部２５は、入力端子２１から、副画像データ入力部１２に入力された副画像データの入力を受け、当該副画像データの特徴量を算出してもよい。この場合、図４において、入力端子２１と第２の特徴量算出部２５とが接続され、リサイズ部２４と第２の特徴量算出部２５との接続は省略されてもよい。

また、以降の説明では、主画像データの特徴量および副画像データの特徴量について、１フレーム毎に特徴量を算出する場合における１つのフレームに対応する特徴量を「フレームの特徴量」と称し、１コンテンツ毎に特徴量を算出する場合における１つのコンテンツに対応する特徴量を「コンテンツの特徴量」と称す。

画質調整部２６は、入力端子２３から入力された主画像データの特徴量と、第２の特徴量算出部２５で算出された副画像データの特徴量とに基づき、リサイズ部２４から出力されたリサイズ後の副画像データに対して画質調整を行い、調整後の副画像データを生成して出力する。具体的には、画質調整部２６は、主画像データの特徴量と副画像データの特徴量とから、画質調整の設定値（例えば調整レベルや調整量）を決定し、当該設定値に従ってリサイズ後の副画像データに対して画質調整を行う。例えば、画質調整部２６は、調整レベルを決定した場合、副画像データの特徴量が調整レベルと一致するように画質調整を行い、調整量を決定した場合、画質調整により副画像データの特徴量が調整量だけ変化するように画質調整を行う。

また、画質調整部２６は、第２の特徴量算出部２５で算出された副画像データの特徴量（すなわち調整前の副画像データの特徴量）と主画像データの特徴量との差と比べて、調整後の副画像データの特徴量と主画像データの特徴量との差が小さくなるように画質調整を行う。すなわち、画質調整部２６は、画質調整により副画像データの特徴量が主画像データの特徴量に近くなるように画質調整を行う。

画質調整部２６は、例えば、副画像データのフレーム毎に上記画質調整を行う。画質調整部２６は、副画像データのあるフレームＦｓに対して画質調整を行う場合、フレームＦｓに対応する主画像データの特徴量と、フレームＦｓに対応する副画像データの特徴量とに基づいて画質調整を行う。ここで、フレームＦｓに対応する主画像データの特徴量としては、例えば、フレームＦｓに対応する主画像データのフレーム（フレームＦｓと同時に表示される主画像データのフレーム）Ｆｍの特徴量や、フレームＦｍが属するコンテンツの特徴量がある。また、フレームＦｓに対応する副画像データの特徴量としては、例えば、フレームＦｓの特徴量や、フレームＦｓが属するコンテンツの特徴量がある。

なお、画質調整部２６は、入力端子２２から入力された表示モード情報に基づき、表示モードにより必要に応じて画質調整を行えばよい。

画質調整部２６により生成された調整後の副画像データは、出力端子２７を介して表示画像データ生成部１６に出力される。

上記の画像処理部１は、一つの態様では、フレームの表示順（または並び順）に従って１フレームずつ、副画像データに対するリサイズと画質調整を行い、表示画像データを生成する。ただし、画像処理部１は、必ずしもフレームの表示順通りに１フレームずつ処理する必要はなく、フレームの表示順とは異なる順番で処理してもよいし、複数のフレームを並列に処理してもよい。

以下、図５から図７を用いて、画質調整部２６による画質調整の方法の一例を説明する。図５（ａ）は、リサイズ部２４から出力された副画像データの画像（副画像）を示し、図５（ｂ）は、当該副画像データの輝度ヒストグラムを示す。

入力端子２３から入力された主画像データの平均輝度値に比べて、第２の特徴量算出部２５から出力された副画像データの平均輝度値が小さい場合、画質調整部２６は、副画像データの平均輝度値を大きくするように画質調整を行う。具体的には、画質調整部２６は、図６（ｃ）で太線で示されるような上に凸なトーンカーブＴＣ１を用いて副画像データの中間階調を上げる。図６（ｃ）において、横軸は調整前の副画像データ（入力）の輝度値を示し、縦軸は調整後の副画像データ（出力）の輝度値を示し、細線は出力が入力と同じになる線形特性Ｌを示している。画質調整部２６は、副画像データを構成する各画素の輝度値をトーンカーブＴＣ１に従って調整する。このトーンカーブＴＣ１による調整によって、図５（ａ）の副画像は図６（ａ）のように調整され、図５（ｂ）の輝度ヒストグラムは図６（ｂ）のように調整され、副画像データは明るくなる（すなわち副画像データの特徴量が主画像データの特徴量に近づく）方向に調整される。

逆に、主画像データの平均輝度値に比べて副画像データの平均輝度値が大きい場合、画質調整部２６は、副画像データの平均輝度値を小さくするように画質調整を行う。具体的には、画質調整部２６は、図７（ｃ）で太線で示されるような下に凸なトーンカーブＴＣ２を用いて副画像データの中間階調を下げる。図７（ｃ）において、横軸は調整前の副画像データ（入力）の輝度値を示し、縦軸は調整後の副画像データ（出力）の輝度値を示し、細線は出力が入力と同じになる線形特性Ｌを示している。画質調整部２６は、副画像データを構成する各画素の輝度値をトーンカーブＴＣ２に従って調整する。このトーンカーブＴＣ２による調整によって、図５（ａ）の副画像は図７（ａ）のように調整され、図５（ｂ）の輝度ヒストグラムは図７（ｂ）のように調整され、副画像データは暗くなる（すなわち副画像データの特徴量が主画像データの特徴量に近づく）方向に調整される。

なお、上記の例では平均輝度値を用いて画質調整する場合を示したが、副画像データの画質調整（例えば輝度調整）を行うための特徴量は、平均輝度値に限られず、例えば、最大輝度値、最小輝度値、輝度ヒストグラムや、色成分毎の階調値の平均値、最大値、最小値、ヒストグラムなどでもよい。また、画質調整部２６は、最大輝度値、最小輝度値、輝度ヒストグラムや、色成分毎の階調値の平均値、最大値、最小値、ヒストグラムなどによって、明るくしたい又は暗くしたい階調を割り出し、トーンカーブの特性を調整してもよい。また、画質調整部２６は、主画像データの特徴量と副画像データの特徴量との差からトーンカーブの凹凸具合を調整するように構成されてもよい。

また、画質調整の方法は、トーンカーブを用いるものに限られず、例えば、ヒストグラムをみて、副画像データの最大値および最小値の一方または両方を上下させ、副画像データの階調幅を伸縮させることによって調整を行ってもよい。例えば、画質調整部２６は、副画像データの輝度ヒストグラムの形状が画質調整前後で相似となるように、副画像データの最大輝度値および最小輝度値がそれぞれ主画像データの最大輝度値および最小輝度値に近づくように、副画像データの各画素の輝度値を調整してもよい。

さらに、画質調整部２６は、主画像データの鮮鋭度と比べて副画像データの鮮鋭度が低い場合には、副画像データの鮮鋭度を上げる処理を行ってもよく、逆の場合には副画像データの鮮鋭度を下げる処理を行ってもよい。また、画質調整部２６は、主画像データの彩度と比べて副画像データの彩度が低い場合には、副画像データの彩度を上げる処理を行ってもよく、逆の場合には副画像データの彩度を下げる処理を行ってもよい。

次に、図８を用いて、表示モードが同時表示モードである場合の画質調整の一例を示す。本例では、特徴量は、フレーム毎の平均輝度値であるものとする。

図８（ａ）には、案内１、案内２、案内３、および案内４の各コンテンツからなる主画像データが示されている。案内１、案内２、案内３、および案内４は、この順で時系列に配列されており、時系列におけるそれぞれの位置（または表示時間）は、時刻ＴＩ１〜ＴＩ２、時刻ＴＩ２〜ＴＩ３、時刻ＴＩ３〜ＴＩ４、時刻ＴＩ４〜ＴＩ５である。

図８（ｂ）には、広告１、広告２、広告３、および広告４の各コンテンツからなる副画像データが示されている。広告１、広告２、および広告４は動画であり、広告３は静止画である。広告１、広告２、広告３、および広告４は、この順で時系列に配列されており、時系列におけるそれぞれの位置（表示時間）は、時刻ＴＣ１〜ＴＣ２、時刻ＴＣ２〜ＴＣ３、時刻ＴＣ３〜ＴＣ４、時刻ＴＣ４〜ＴＣ５である。ここで、ＴＣ１＜ＴＩ１＜ＴＩ２＜ＴＣ２＜ＴＩ３＜ＴＣ３＜ＴＣ４＜ＴＩ４＜ＴＩ５＜ＴＣ５である。

案内ｋ（ｋ＝１，２，３，４）においては、案内ｋ内で文字データが更新されたり、一部がアニメーション表示で動いたりする程度であり、特徴量が大きく変化することはない。動画の広告ｍ（ｍ＝１，２，４）においては、広告ｍ内で動きがあり、特徴量が大きく変化する。静止画の広告ｎ（ｎ＝３）においては、広告ｎ内で動きがないため、特徴量が変化しない。

図８（ｃ）には、主画像データの平均輝度値（第１の特徴量算出部１４から出力された主画像データの特徴量）が示されている。図８（ｄ）には、副画像データの平均輝度値（第２の特徴量算出部２５から出力された副画像データの特徴量）が示されている。

画質調整部２６は、主画像データの特徴量と、副画像データの特徴量とから、リサイズ後の副画像データに対して画質調整を行う。図８（ｅ）において、細い実線は画質調整前の副画像データの平均輝度値を示し、破線は主画像データの平均輝度値を示し、太い実線は画質調整後の副画像データの平均輝度値を示している。図８（ｅ）に示されるように、画質調整部２６は、副画像データの平均輝度値が主画像データの平均輝度値に近づくように、副画像データに対して画質調整を行う。具体的には、画質調整部２６は、副画像データの各フレームに対して画質調整を行い、副画像データのあるフレームＦｓに対して画質調整を行う場合、画質調整後のフレームＦｓの平均輝度値Ｌｓ’が、画質調整前のフレームＦｓの平均輝度値ＬｓとフレームＦｓに対応する主画像データのフレームＦｍの平均輝度値Ｌｍとの平均値となるように、すなわちＬｓ’＝（Ｌｓ＋Ｌｍ）／２となるように画質調整を行う。図３（ｃ）のように主画像と副画像とで画素数が同じ場合には、画質調整後の副画像データの平均輝度値は、画質調整前の主画像および副画像の全体（画面全体領域）の平均輝度値と同じとなる。なお、必ずしも画質調整後の副画像データの平均輝度値が、画質調整前の副画像データの平均輝度値と主画像データの平均輝度値との平均値となる必要性はなく、その方向に画質調整がなされればよい。

図８（ｆ）において、細い実線は画質調整後の副画像データの平均輝度値を示し、破線は主画像データの平均輝度値を示し、太い実線は画質調整後の副画像データと主画像データとが合成された表示画像データの平均輝度値を示す。

なお、上記の説明では、主画像と副画像とを同時に表示する場合に副画像データの画質調整を行う場合を示したが、主画像と副画像とを切り換えて表示する場合に副画像データの画質調整を行ってもよい。例えば、表示モードが主画像表示モードから副画像表示モードに切り替わる場合に、画質調整部２６は、上記主画像表示モードで表示される主画像データの特徴量と、上記副画像表示モードで表示される副画像データの特徴量とに基づき、上記副画像表示モードで表示される副画像データに対して画質調整を行ってもよい。

図９は、実施の形態１に係る表示装置１００の動作（または実施の形態１に係る表示方法）を示すフローチャートである。以下、図９を参照して、表示装置１００の動作について説明する。

画像処理部１は、主画像データの入力を受けるとともに（Ｓ１）、副画像データの入力を受ける（Ｓ２）。また、画像処理部１は、表示モード情報を取得する（Ｓ３）。

画像処理部１は、ステップＳ１で入力された主画像データの特徴量を算出する（Ｓ４）。また、画像処理部１は、ステップＳ２で入力された副画像データを、ステップＳ３で取得された表示モード情報に応じてリサイズし（Ｓ５）、入力された副画像データまたはリサイズ後の副画像データの特徴量を算出する（Ｓ６）。そして、画像処理部１は、ステップＳ４で算出された主画像データの特徴量と、ステップＳ６で算出された副画像データの特徴量とに基づき、リサイズ後の副画像データに対して画質調整を行い、調整後の副画像データを生成する（Ｓ７）。そして、画像処理部１は、ステップＳ３で取得された表示モード情報に応じて、ステップＳ１で入力された主画像データおよびステップＳ７で生成された調整後の副画像データを合成または選択して表示画像データを生成する（Ｓ８）。表示部２は、ステップＳ８で生成された表示画像データを表示画面上に表示する（Ｓ９）。

以上の通り、本実施の形態では、画像処理部は、主画像データの特徴量を算出する第１の特徴量算出部と、副画像データの特徴量を算出する第２の特徴量算出部と、主画像データの特徴量と副画像データの特徴量とに基づき、副画像データを表示モード情報に応じてリサイズして得られるリサイズ後の副画像データに対して画質調整を行い、調整後の副画像データを生成する画質調整部と、表示モード情報に応じて、主画像データと調整後の副画像データとから表示画像データを生成する表示画像データ生成部とを備え、画質調整部は、算出された副画像データの特徴量（すなわち調整前の副画像データの特徴量）と主画像データの特徴量との差と比べて、調整後の副画像データの特徴量と主画像データの特徴量との差が小さくなるように画質調整を行う。この構成によれば、主画像と副画像とを同時にまたは切り替えて表示する場合に、適切な画質で表示モードに応じて表示することが可能になる。

具体的には、主画像と副画像とを同時にまたは切り替えて表示する場合に、主画像と副画像との間の特徴量の差が小さくなるように画質調整を行うことにより、画像の視認性を向上させることができる。例えば、図２（ｃ）のように主画像と副画像を合成して表示したり、図３（ｃ）のように主画像と副画像とを並べて表示したりする場合など、主画像と副画像とを同時に表示する場合において、主画像の輝度に比べて副画像の輝度が低いときや、主画像の輝度に比べて副画像の輝度が高いときに、画像間の輝度の差を縮めることにより、両者を同時に見た場合の見やすさを改善することができる。また、主画像と副画像とを切り替えて表示する場合において、主画像と副画像との間の輝度の差を縮めることにより、両者を時間的に連続して見た場合の見やすさを改善することができる。

また、副画像データに対して画質調整を行うので、主画像データを変更することなく、主画像データに対して副画像データを適切な画質で表示することができ、表示画像の見やすさを改善することができる。具体的には、画質調整により主画像データを変更することがないため、表示モードや表示環境等にあわせて専用にデザインされた主画像（例えば案内画像）の画質を維持しながら、副画像（例えば広告画像）の画質を改善することができる。例えば、特許文献１に記載された表示装置では、その表示装置に表示することを目的として作成されたグラフィック画像や文字画像と、自然画像とを合成して表示する場合に、自然画像の特徴量によってグラフィック画像や文字画像が調整されることになり、グラフィック画像や文字画像の画質や見た目が変化してしまう。これに対し、本実施の形態によれば、表示装置の主画像である案内画像などのグラフィック画像や文字画像と、副画像である宣伝広告画像などの自然画像やアニメーション画像とを同時にまたは切り替えて表示する場合に、グラフィック画像や文字画像の画質を維持しつつ、自然画像やアニメーション画像をグラフィック画像や文字画像に対して最適な輝度比やコントラスト比で表示することができる。

さらに、表示モード情報に応じて副画像データをリサイズし、主画像データとリサイズ後の副画像データとから表示モード情報に応じて表示画像データを生成するので、表示モード情報に応じた表示態様で主画像および副画像を表示することができる。

また、表示画像が表示される領域を、副画像を表示する副画像領域（例えば広告領域）と、主画像を表示する主画像領域（例えば案内領域）とに分け、副画像領域（調整が必要な領域）のみ画質調整することにより、副画像領域と主画像領域の境界部分をあわせて調整して境界を鈍らせてしまうことがない。

実施の形態２．
本実施の形態２に係る表示装置は、以下に説明する画質調整に用いる主画像データの特徴量の制御に関する部分を除き、実施の形態１に係る表示装置１００と同様である。以下の説明では、実施の形態１と同様の部分については説明を省略または簡略化し、実施の形態１と同一または対応する要素については同一の符号を付す。

図１０は、実施の形態２に係る表示装置２００の構成を示すブロック図である。図１０において、表示装置２００は、図１の表示装置１００の構成に加えて、コンテンツ切替検出部３１を有する。副画像データ入力部１２に入力された副画像データは、副画像データ調整部１５とコンテンツ切替検出部３１とに入力される。

コンテンツ切替検出部３１は、副画像データ入力部１２から入力された副画像データのコンテンツの切り替わりのタイミング（以下、「コンテンツ切替タイミング」という）を検出し、検出結果を副画像データ調整部１５に出力する。例えば、宣伝広告画像を表す副画像データは、５秒、１０秒、１５秒など一定時間の複数のコンテンツで構成され、コンテンツ切替検出部３１は、輝度変化やヒストグラム変化などに基づいてシーンチェンジを検出する方法により、副画像データのコンテンツ切替タイミングを検出する。シーンチェンジの検出方法としては、公知の方法を含む様々な方法を利用することができる。

例えば、コンテンツ切替検出部３１には、副画像データが１フレームずつ表示順に入力され、コンテンツ切替検出部３１は、現在のフレームと前回のフレームとの間でシーンチェンジが検出された場合に、コンテンツ切替タイミングが検出されたことを示す検出結果を副画像データ調整部１５に出力する。

副画像データ調整部１５は、副画像データ入力部１２からの副画像データに対して、表示モード取得部１３からの表示モード情報に応じたリサイズ処理や、第１の特徴量算出部１４からの主画像データの特徴量に基づく画質の調整等を行い、調整後の副画像データを生成する。本実施の形態では、副画像データ調整部１５は、コンテンツ切替検出部３１から出力されるコンテンツ検出タイミングの検出結果に基づき、画質調整に用いる主画像データの特徴量を制御する。

図１１は、実施の形態２における副画像データ調整部１５の構成を示すブロック図である。図１１において、副画像データ調整部１５は、実施の形態１における副画像データ調整部１５の構成に加えて、コンテンツ切替タイミングの入力端子３２を有する。

入力端子３２は、コンテンツ切替検出部３１からコンテンツ切替タイミングの検出結果の入力を受け、入力端子３２に入力されたコンテンツ切替タイミングの検出結果は、画質調整部２６に入力される。

画質調整部２６は、副画像データのコンテンツ毎に画質調整を行う際に、画質調整の対象となる副画像データのコンテンツの切り替わりのタイミングで、画質調整に用いる主画像データの特徴量を更新（または変更）する。すなわち、画質調整部２６は、コンテンツ毎に画質調整を行う際に、画質調整に用いる主画像データの特徴量として、コンテンツ毎に一定の特徴量を用いる。具体的には、副画像データは、時系列に並ぶ複数のコンテンツの画像データを含み、画質調整部２６は、当該複数のコンテンツの画像データに対して１コンテンツずつ順に画質調整を行い、画質調整対象のコンテンツの切り替わりのタイミングで、画質調整に用いる主画像データの特徴量の更新（または変更）を行う。画質調整部２６は、１つのコンテンツに対して画質調整を行っている期間中は、画質調整に用いる主画像データの特徴量の更新を行わない。画質調整の順番は、例えばコンテンツの表示順（または並び順）であるが、これ以外の順番であってもよい。

図１１の例では、画質調整部２６は、第１の特徴量格納部３３を含み、入力端子２３から入力された主画像データの特徴量を第１の特徴量格納部３３に一時的に格納する。また、画質調整部２６は、入力端子３２から入力されたコンテンツ切替タイミングの検出結果に基づき、コンテンツ切替タイミングまで第１の特徴量格納部３３に格納されている主画像データの特徴量を保持し、コンテンツ切替タイミングで、第１の特徴量格納部３３に格納される主画像データの特徴量を更新する。そして、画質調整部２６は、第１の特徴量格納部３３に格納されている主画像データの特徴量を用いて副画像データの画質調整を行う。すなわち、画質調整部２６は、第１の特徴量格納部３３に格納されている主画像データの特徴量と、第２の特徴量算出部２５から入力された副画像データの特徴量とに基づき、画質調整の設定値を決定し、当該設定値に従って、リサイズ後の副画像データに対して画質調整を行う。

ここで、上記主画像データの特徴量としては、フレーム毎の特徴量（例えばフレーム毎の輝度値等の平均値）が用いられてもよいが、主画像データの特徴量も一部の文字の変更や視覚効果によりコンテンツ内で小さく変動することから、ここでは、コンテンツ毎の特徴量（例えばコンテンツ毎の輝度値等の平均値）を採用することとする。

画質調整部２６には、例えば、副画像データが１フレームずつ表示順に入力されるとともに、当該副画像データのフレームの入力と同期して、当該副画像データのフレームに対応する主画像データの特徴量が入力される。ここでは、副画像データのフレームに対応する主画像データの特徴量は、副画像データのフレームに対応する主画像データのフレームが属するコンテンツの特徴量（例えばコンテンツの輝度平均値）である。そして、画質調整部２６は、コンテンツ切替タイミングが検出されるまで、特徴量格納部３３に格納される主画像データの特徴量を保持し、コンテンツ切替タイミングが検出されると、副画像データの切り替わり後のコンテンツの先頭フレームに対応する主画像データの特徴量により、第１の特徴量格納部３３に格納される主画像データの特徴量を更新する。

以下、図１２を用いて、表示モードが同時表示モードである場合の画質調整の一例を示す。本例では、特徴量は、フレーム毎の平均輝度値であるものとする。

図１２（ａ）、（ｂ）、（ｃ）、（ｄ）には、それぞれ、図８（ａ）、（ｂ）、（ｃ）、（ｄ）と同様に、主画像データ、副画像データ、主画像データの平均輝度値、副画像データの平均輝度値が示されている。

画質調整部２６は、主画像データの特徴量と、副画像データの特徴量とから、リサイズ後の副画像データに対して画質調整を行う。図１２（ｅ）において、細い実線は画質調整前の副画像データの平均輝度値を示し、破線は画質調整に用いる主画像データの平均輝度値（すなわち第１の特徴量格納部３３に格納されている主画像データの平均輝度値）を示し、太い実線は画質調整後の副画像データの平均輝度値を示している。図１２（ｅ）に示されるように、画質調整部２６は、副画像データの平均輝度値が主画像データの平均輝度値に近づくように、副画像データの画質調整を行う。具体的には、画質調整部２６は、副画像データの各フレームに対して画質調整を行い、副画像データのあるフレームＦｓに対して画質調整を行う場合、画質調整後のフレームＦｓの平均輝度値Ｌｓ’が、画質調整前のフレームＦｓの平均輝度値ＬｓとフレームＦｓに対応する主画像データの平均輝度値Ｌｍとの平均値となるように、すなわちＬｓ’＝（Ｌｓ＋Ｌｍ）／２となるように画質調整を行う。主画像データの平均輝度値Ｌｍとしては、第１の特徴量格納部３３に格納されている主画像データの平均輝度値が用いられる。図１２に示されるように、第１の特徴量格納部３３に格納されている主画像データの平均輝度値は、副画像データのコンテンツ切替タイミングＴＣ２，ＴＣ３，ＴＣ４で更新され、副画像データの同一コンテンツの期間内では一定に保持される。したがって、図８では、（ｅ）に示される画質調整に用いる主画像データの平均輝度値（破線）が（ｃ）に示される主画像データの平均輝度値と同じになっているが、図１２では、（ｅ）に示される画質調整に用いる主画像データの平均輝度値（破線）は、副画像データのコンテンツ切替タイミングＴＣ２，ＴＣ３，ＴＣ４で主画像データの平均輝度値を更新した（取り込んだ）ものとなっている。

図１２（ｆ）において、細い実線は画質調整後の副画像データの平均輝度値を示し、破線は主画像データの平均輝度値を示し、太い実線は画質調整後の副画像データと主画像データとが合成された表示画像データの平均輝度値を示す。

以上説明した本実施の形態によれば、実施の形態１と同様の効果の他に、以下の効果が得られる。
本実施の形態では、副画像データは、時系列に並ぶ複数のコンテンツの画像データを含み、画質調整部は、コンテンツ毎に画質調整を行う際に、コンテンツの切り替わりのタイミングで、画質調整に用いる主画像データの特徴量を更新する。この構成によれば、副画像データのコンテンツの切り替わりにて、画質調整に用いる主画像データの特徴量の更新が行われるので、画質調整に用いる主画像データの特徴量が１つのコンテンツ内で変化する場合と比べ、画質調整に用いる主画像データの特徴量の変化による表示画像上の違和感が少ない。

実施の形態３．
本実施の形態３に係る表示装置は、以下に説明する画質調整における制御に関する部分を除き、実施の形態１に係る表示装置１００と同様である。以下の説明では、実施の形態１と同様の部分については説明を省略または簡略化し、実施の形態１と同一または対応する要素については同一の符号を付す。

本実施の形態に係る表示装置は、図１０に示すように、実施の形態２と同様に、図１の表示装置１００の構成に加えて、コンテンツ切替検出部３１を有し、副画像データ入力部１２に入力された副画像データは、副画像データ調整部１５とコンテンツ切替検出部３１とに入力される。

コンテンツ切替検出部３１は、実施の形態２と同様に、副画像データ入力部１２から入力された副画像データのコンテンツの切り替わりのタイミング（コンテンツ切替タイミング）を検出し、検出結果を副画像データ調整部１５に出力する。

副画像データ調整部１５は、副画像データ入力部１２からの副画像データに対して、表示モード取得部１３からの表示モード情報に応じたリサイズ処理や、第１の特徴量算出部１４からの主画像データの特徴量に基づく画質の調整等を行い、調整後の副画像データを生成する。本実施の形態では、副画像データ調整部１５は、コンテンツ切替検出部３１から出力されるコンテンツ検出タイミングの検出結果に基づき、画質調整に用いる副画像データの特徴量を制御する。

図１３は、実施の形態３における副画像データ調整部１５の構成を示すブロック図である。図１３において、副画像データ調整部１５は、図４に示す実施の形態１における副画像データ調整部１５の構成に加えて、コンテンツ切替タイミングの入力端子４１と第２の特徴量格納部４２とを有する。

入力端子４１は、コンテンツ切替検出部３１からコンテンツ切替タイミングの検出結果の入力を受け、入力端子４１に入力されたコンテンツ切替タイミングの検出結果は、画質調整部２６に入力される。

第２の特徴量算出部２５は、算出した副画像データの特徴量を画質調整部２６に出力するとともに、第２の特徴量格納部４２に出力する。

第２の特徴量格納部４２は、第２の特徴量算出部２５から出力された副画像データの特徴量を一時的に格納し、過去の副画像データの特徴量を画質調整部２６に出力する。

画質調整部２６は、入力端子２３から入力された主画像データの特徴量と、第２の特徴量算出部２５から出力された副画像データの特徴量と、第２の特徴量格納部４２から出力された過去の副画像データの特徴量とに基づき、画質調整の設定値を決定し、当該設定値に従って、リサイズ部２４から出力されたリサイズ後の副画像データに対して画質調整を行い、調整後の副画像データを生成する。

本実施の形態では、副画像データが、第１のコンテンツの画像データと、第１のコンテンツに後続する第２のコンテンツの画像データを含む場合に、画質調整部２６は、第２のコンテンツの画像データのうち、第１のコンテンツから第２のコンテンツへの切り替わり直後の部分に対して画質調整を行う場合、切り替わり前後での調整後の副画像データの特徴量の変化を抑制するための制御を行う。具体的には、画質調整部２６は、上記切り替わり直後の部分に対して画質調整を行うとき、副画像データの特徴量として、第１のコンテンツの画像データから算出される特徴量と第２のコンテンツの画像データから算出される特徴量との間の所定の特徴量を用いる。この場合、画質調整部２６は、副画像データの特徴量として、上記所定の特徴量から第２のコンテンツの画像データから算出される特徴量まで徐々に変化する特徴量を用いてもよい。ここで、「徐々に変化する」とは、第２のコンテンツの画像データの時間軸に沿って段階的または連続的に変化することを含む意味である。例えば、第２のコンテンツのｎ番目（ｎ＝１，２，３，…）のフレームに対する画質調整に用いられる副画像データの特徴量をＣｓ（ｎ）とした場合、Ｃｓ（ｎ）は、ｎ＝１のときに上記所定の特徴量をとり、ｎの増加に伴って、第２のコンテンツの画像データから算出される特徴量まで段階的に変化する。

ここで、上記切り替わり直後の部分は、例えば１フレーム分でもよいし複数フレーム分でもよい。また、第１のコンテンツの画像データから算出される特徴量は、例えば、第１のコンテンツの特徴量や、第１のコンテンツの末尾部分のフレームの特徴量である。第２のコンテンツの画像データから算出される特徴量は、例えば、第２のコンテンツの特徴量や、第２のコンテンツの先頭部分のフレームの特徴量である。また、上記徐々に変化する特徴量は、第２のコンテンツの画像データから算出される特徴量に最終的に到達してもよいし、収束してもよい。

図１３の例では、画質調整部２６は、入力端子４１から入力されるコンテンツ切替タイミングの検出結果に基づき、コンテンツ切替タイミングの前後で画質調整の調整レベル（または調整後の副画像データの特徴量）が大きく変化しないように、第２の特徴量算出部２５から入力された副画像データの特徴量と、第２の特徴量格納部４２から出力された過去の副画像データの特徴量とから、画質調整の設定値（例えば調整レベルや調整量）を決定する。具体的には、画質調整部２６は、切り替わり後のコンテンツに対して画質調整を行う場合、切り替わり直後の期間において、副画像データの特徴量として、第２の特徴量格納部４２から出力される切り替わり前のコンテンツの特徴量と、第２の特徴量算出部２５から出力される切り替わり後のコンテンツの特徴量との間の所定の特徴量を用いる。例えば、副画像データの特徴量をコンテンツ毎の平均輝度値とした場合に、切り替わり前のコンテンツの平均輝度値がＬ_０、切り替わり後のコンテンツの平均輝度値がＬａであるとき、コンテンツ切り替わり直後のフレームに対する画質調整では、副画像データの特徴量として、切り替わり後のコンテンツの平均輝度値Ｌａではなく、下記式（１）で算出される平均輝度値Ｌ_１を用いる。
Ｌ_１＝Ｌ_０＋（Ｌａ−Ｌ_０）×α （０＜α＜１） ・・・（１）
例えば、式（１）においてα＝０．８とした場合に、切り替わり前のコンテンツの平均輝度値が１００、切り替わり後のコンテンツの平均輝度値が２００であるとき、コンテンツ切り替わり直後のフレームに対する画質調整では、副画像データの特徴量として、１００＋（２００−１００）×０．８＝１８０が用いられる。

また、画質調整部２６は、上記切り替わり直後の期間において、副画像データの特徴量として、上記所定の特徴量から、切り替わり後のコンテンツの画像データの特徴量（または現在の副画像データの特徴量）まで徐々に変化する特徴量を用いてもよい。例えば、副画像データの特徴量をコンテンツ毎の平均輝度値とした場合に、切り替わり前のコンテンツの平均輝度値がＬ_０、切り替わり後のコンテンツの平均輝度値がＬａであるとき、コンテンツ切り替わり直後のｎ番目（ｎ＝１，２，３，…）のフレーム（すなわち切り替わり後のコンテンツのｎ番目のフレーム）に対する画質調整では、副画像データの特徴量として、切り替わり後のコンテンツの平均輝度値Ｌａではなく、下記式（２）で算出される平均輝度値Ｌ_ｎを用いてもよい。
Ｌ_ｎ＝Ｌ_ｎ−１＋（Ｌａ−Ｌ_ｎ−１）×α （０＜α＜１） ・・・（２）
例えば、式（２）においてα＝０．８とした場合に、切り替わり前のコンテンツの平均輝度値が１００、切り替わり後のコンテンツの平均輝度値が２００であるとき、コンテンツ切り替わり直後の１番目のフレームに対する画質調整では、副画像データの特徴量として、１００＋（２００−１００）×０．８＝１８０が用いられ、次の２番目のフレームに対する画質調整では、副画像データの特徴量として、１８０＋（２００−１８０）×０．８＝１９６が用いられる。つまり、画質調整部２６は、画質調整に用いる副画像データの特徴量を、ある一定の時定数をもって変化させる。

以上説明した本実施の形態によれば、実施の形態１と同様の効果の他に、以下の効果が得られる。
本実施の形態では、副画像データは、第１のコンテンツの画像データと、当該第１のコンテンツに後続する第２のコンテンツの画像データとを含み、画質調整部は、第２のコンテンツの画像データのうち、第１のコンテンツから第２のコンテンツへの切り替わり直後の部分に対して画質調整を行う場合、切り替わり前後での調整後の副画像データの特徴量の変化を抑制するための制御を行う。具体的には、画質調整部は、上記切り替わり直後の部分に対して画質調整を行う場合、副画像データの特徴量として、第１のコンテンツの画像データから算出される特徴量と第２のコンテンツの画像データから算出される特徴量との間の所定の特徴量を用いる。本実施の形態によれば、副画像データのコンテンツの切り替わりによる表示画像の急激な変化（例えば表示画像中の副画像の輝度値等の画質の急激な変化）を抑えることができ、これにより、表示画像の急激な変化による違和感を少なくし、表示画像の見やすさを向上させることができる。

また、一つの態様では、画質調整部は、上記切り替わり直後の部分に対して画質調整を行う場合、副画像データの特徴量として、上記所定の特徴量から第２のコンテンツの画像データから算出される特徴量まで徐々に変化する特徴量を用いる。本態様によれば、副画像データのコンテンツの切り替わりによる表示画像の急激な変化を抑えつつ、徐々に第２のコンテンツに適した画質調整に移行させることができる。

実施の形態４．
本実施の形態４に係る表示装置は、以下に説明する画質調整に用いる特徴量の制御に関する部分を除き、実施の形態１に係る表示装置１００と同様である。以下の説明では、実施の形態１と同様の部分については説明を省略または簡略化し、実施の形態１と同一または対応する要素については同一の符号を付す。

図１４は、実施の形態４に係る表示装置４００の構成を示すブロック図である。図１４において、表示装置４００は、図１の表示装置１００の構成に加えて、第３の特徴量算出部５１と第３の特徴量格納部５２とを有する。

第３の特徴量算出部５１は、表示画像データ生成部１６により生成された表示画像データの特徴量を算出し、第３の特徴量格納部５２に出力する。ここで、特徴量は、具体的には表示画像データの画質に関する特徴量であり、例えば、１フレーム毎の画像データの輝度値の平均値（平均輝度値）、最大値（最大輝度値）、最小値（最小輝度値）、ヒストグラム（輝度ヒストグラム）や、１フレーム毎の画像データの所定の色成分または色成分毎の階調値の平均値、最大値、最小値、ヒストグラムなどである。色成分は、例えばＲＧＢ成分である。上記１フレーム毎の画像データの輝度値等の平均値等は、具体的には、１フレームを構成する複数の画素の輝度値等の平均値等である。なお、特徴量は、１フレーム毎のものに限られず、複数フレームに渡って平均化したもの（例えば複数フレーム毎の平均輝度値）や、コンテンツ単位で平均化したもの（例えばコンテンツ毎の平均輝度値）であってもよい。また、特徴量は、輝度値や階調値に限られず、鮮鋭度や彩度などでもよい。

第３の特徴量格納部５２は、第３の特徴量算出部５１で算出された表示画像データの特徴量を格納する。また、第３の特徴量格納部５２は、表示モード取得部１３から入力される表示モード情報に基づき、表示モードが同時表示モードから副画像表示モードに変化するタイミングで、格納されている表示画像データの特徴量を副画像データ調整部１５に出力する。

副画像データ調整部１５は、副画像データ入力部１２からの副画像データに対して、表示モード取得部１３からの表示モード情報に応じたリサイズ処理や、第１の特徴量算出部１４からの主画像データの特徴量に基づく画質の調整等を行い、調整後の副画像データを生成する。本実施の形態では、表示モードが同時表示モードから副画像表示モードに変化する場合に、第３の特徴量格納部５２から出力される表示画像データの特徴量を用いて画質調整を行う。

図１５は、実施の形態４における副画像データ調整部１５の構成を示すブロック図である。図１５において、副画像データ調整部１５は、実施の形態１における副画像データ調整部１５の構成に加えて、表示画像データの特徴量の入力端子５３を有する。

入力端子５３は、第３の特徴量格納部５２から表示画像データの特徴量の入力を受け、入力端子５３に入力された表示画像データの特徴量は、画質調整部２６に入力される。

画質調整部２６は、入力端子２３から入力された主画像データの特徴量と、第２の特徴量算出部２５から出力された副画像データの特徴量と、入力端子５３から入力された表示画像データの特徴量とに基づき、画質調整の設定値を決定し、当該設定値に従って、リサイズ部２４から出力されたリサイズ後の副画像データに対して画質調整を行い、調整後の副画像データを生成する。

本実施の形態では、画質調整部２６は、表示モード取得部１３で取得された表示モード情報により示される表示モードが同時表示モードから副画像表示モードに切り替わる場合、当該切り替わり後の副画像表示モードに対応する副画像データに対して画質調整を行うとき、少なくとも切り替わり直後において、主画像データの特徴量の代わりに、第３の特徴量算出部５１で算出された上記切り替わり前の表示モードに対応する表示画像データの特徴量から得られる基準の特徴量を用いる。基準の特徴量は、例えば、上記切り替わり前の表示モードに対応する表示画像データの特徴量である。また、上記切り替わり前の表示モードに対応する表示画像データの特徴量は、例えば、表示モードが副画像表示モードに切り替わる直前の所定期間（例えば１または複数フレームの期間）における表示画像データの特徴量である。

また、上記基準の特徴量は、上記切り替わり前の表示モードに対応する表示画像データの特徴量から予め設定された値まで徐々に変化する特徴量であってもよい。ここで、「徐々に変化する」とは、副画像データの時間軸に沿って段階的または連続的に変化することを含む意味である。例えば、副画像データのｎ番目（ｎ＝１，２，３，…）のフレームに対する画質調整に用いられる基準の特徴量をＣｒ（ｎ）とした場合、Ｃｒ（ｎ）は、ｎ＝１のときに上記表示画像データの特徴量をとり、ｎの増加に伴って、上記予め設定された値まで段階的に変化する。上記徐々に変化する特徴量は、上記予め設定された値に最終的に到達してもよいし、収束してもよい。また、上記予め設定された値は、副画像表示モードに応じて設定される値であり、例えば副画像表示モードにおいて副画像の良好な視認性が得られるように設定される。

上記構成において、画質調整部２６は、表示画像データを表示する表示部２の周辺環境に応じて上記値を決定してもよく、例えば、表示部２の照度および表示部２のバックライトの輝度のうち少なくとも１つに基づいて上記値を決定してもよい。具体的には、画質調整部２６は、図示しない照度検出部から表示部２の周辺の照度を取得し、図示しないバックライト制御部から表示部２のバックライトの輝度を取得し、取得した周辺の照度およびバックライトの輝度に基づいて上記値を決定してもよい。

なお、表示モードが同時表示モードまたは主画像表示モードである場合など、上記以外の場合には、画質調整部２６は、実施の形態１と同様に画質調整を行う。

以下、表示モードが、同時表示モードから副画像表示モードに変化する場合における画像処理部１の処理を具体的に示す。

同時表示モードにおける表示画像データの特徴量は、第３の特徴量算出部５１により算出され、第３の特徴量格納部５２に格納される。この表示画像データの特徴量は、例えば図８や図１２の（ｆ）に示される平均輝度値である。表示モードが副画像表示モードに変化したとき、表示モード取得部１３からその変化を示す情報が第３の特徴量格納部５２に入力され、第３の特徴量格納部５２に格納されている表示画像データの特徴量が、副画像データ調整部１５に出力される。

副画像データ調整部１５では、画質調整部２６は、第３の特徴量格納部５２から入力端子５３を介して上記表示画像データの特徴量の入力を受け、主画像データの特徴量を基準とする代わりに、入力された上記表示画像データの特徴量を基準として、副画像データの画質調整を行う。このとき、画質調整部２６は、切り替わり直後は合成表示モード時の表示画像データの特徴量を基準として画質調整を行い、その後、徐々に時間をかけて画質調整の基準とする特徴量を予め設定された値に収束させてもよい。

なお、画像処理部１は、表示モードが主画像表示モードから副画像表示モードに切り替わる場合に、上記と同様の処理を行ってもよい。

以上説明した本実施の形態によれば、実施の形態１と同様の効果の他に、以下の効果が得られる。
本実施の形態では、画像処理部は、表示画像データの特徴量を算出する第３の特徴量算出部をさらに備え、画質調整部は、表示モード情報により示される表示モードが同時表示モードまたは主画像表示モードから副画像表示モードに切り替わる場合、切り替わり後の副画像表示モードに対応する副画像データに対して画質調整を行うとき、主画像データの特徴量の代わりに、第３の特徴量算出部で算出された切り替わり前の表示モードに対応する表示画像データの特徴量を用いる。すなわち、画質調整部は、表示モード情報により示される表示モードが同時表示モードまたは主画像表示モードから副画像表示モードに切り替わる場合、切り替わり後の副画像表示モードに対応する副画像データに対して画質調整を行うとき、第２の特徴量算出部で算出された副画像データの特徴量と第３の特徴量算出部で算出された切り替わり前の表示モードに対応する表示画像データの特徴量との差と比べて、調整後の副画像データの特徴量と上記表示画像データの特徴量との差が小さくなるように画質調整を行う。この構成によれば、表示モードが同時表示モードまたは主画像表示モードから副画像表示モードに切り替わる場合に、切り替わり前の表示画像データの特徴量と切り替わり後の表示画像データ（調整後の副画像データ）の特徴量との差を小さくすることにより、表示モード切り替わり時の表示画像の輝度等の特徴量の変化を小さくすることができ、画像の視認性を向上させることができる。具体的には、表示モードが同時表示モードから副画像表示モードに切り替わる場合に、同時表示モード時の画面全体の輝度に比べて副画像表示モード時の副画像の輝度が低いときや、同時表示モード時の画面全体の輝度に比べて副画像表示モード時の副画像の輝度が高いときに、切り替わり時の輝度差（輝度変化）を縮めることにより、両者を時間的に連続して見た場合の見やすさを改善することができる。

また、一つの態様では、画質調整部は、上記切り替わり後の副画像表示モードに対応する副画像データに対して画質調整を行うとき、主画像データの特徴量の代わりに、上記切り替わり前の表示モードに対応する表示画像データの特徴量から予め設定された値まで徐々に変化する特徴量を用いる。本態様によれば、表示モード切り替わり時の表示画像データの特徴量の変化を抑えつつ、徐々に副画像表示モードに適した画質調整に移行させることができ、違和感の少ない表示が可能になる。

さらに、一つの態様では、画質調整部は、表示部の周辺の照度やバックライトの輝度など、表示部の周辺環境に応じて上記値を決定する。本態様によれば、表示部の周辺環境に応じた適切な画質調整を行うことができる。

なお、本実施の形態４では、第１の特徴量算出部１４は省略されてもよく、第１の特徴量算出部１４で算出された主画像データの特徴量に基づく画質調整は省略されてもよい。例えば、同時表示モードや主画像表示モードにおける副画像データに対する画質調整は省略されてもよく、画像処理部１は、切り替わり後の副画像表示モードに対応する副画像データに対してのみ画質調整を行うように構成されてもよい。

実施の形態５．
本実施の形態５に係る表示装置は、以下に説明する主画像データの補正に関する部分を除き、実施の形態１に係る表示装置１００と同様である。以下の説明では、実施の形態１と同様の部分については説明を省略または簡略化し、実施の形態１と同一または対応する要素については同一の符号を付す。

図１６は、実施の形態５に係る表示装置５００の構成を示すブロック図である。図１６において、表示装置５００は、図１の表示装置１００の構成に加えて、表示環境情報取得部６１と主画像データ補正部６２とを有する。

表示環境情報取得部６１は、表示画像データを表示する表示部２の周辺環境に関する情報である表示環境情報を取得する。表示環境情報は、例えば、表示部２の周辺照度を示す照度情報や、表示部２に照射されるバックライト等の輝度を示す輝度情報である。ここでは、表示環境情報取得部６１は、表示環境情報の入力を受ける入力端子であり、図示しない照度検出部からの照度情報や、図示しないバックライト制御部からの輝度情報を受ける。

主画像データ補正部６２は、表示環境情報取得部６１により取得された表示環境情報に基づき、表示部２の周辺環境に応じて、主画像データ入力部１１から入力される主画像データを補正する。具体的には、主画像データ補正部６２は、表示部２の周辺照度が低い場合には、主画像データの平均輝度を下げるように補正を行い、逆に、表示部２の周辺照度が高い場合には、主画像データの平均輝度を上げるように補正を行う。また、主画像データ補正部６２は、節電等のためにバックライトの輝度が下げられた場合に、その分を補うように主画像データの輝度を上げるように補正してもよい。

主画像データ補正部６２により補正された主画像データは、第１の特徴量算出部１４と表示画像データ生成部１６とに入力される。第１の特徴量算出部１４および表示画像データ生成部１６は、主画像データ入力部１１に入力された主画像データの代わりに、主画像データ補正部６２により補正された主画像データを用いる。

以上説明した本実施の形態によれば、実施の形態１と同様の効果の他に、以下の効果が得られる。
本実施の形態では、画像処理部は、表示部の周辺環境に応じて主画像データを補正する主画像データ補正部をさらに備え、第１の特徴量算出部および表示画像データ生成部は、主画像データ入力部に入力された主画像データの代わりに、主画像データ補正部により補正された主画像データを用いる。この構成によれば、表示部の周辺環境に応じて適切に主画像データを表示することができる。また、例えば、当該表示装置向けに用意された案内表示などの主画像データについても、表示装置の周辺環境に応じて補正することが好ましい場合があり、主画像データに対して事前に適切な補正をかけることによって、以降の副画像データの調整を適切に行うことができる。

以上説明した実施の形態１〜５において、画像処理部の機能は、電子回路などのハードウェア資源のみにより実現されてもよいし、ハードウェア資源とソフトウェアとの協働により実現されてもよい。ハードウェア資源とソフトウェアとの協働により実現される場合、画像処理部の機能は、例えば画像処理プログラムがコンピュータにより実行されることによって実現される。より具体的には、画像処理部の機能は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体に記録された画像処理プログラムが主記憶装置に読み出されて中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により実行されることによって実現される。画像処理プログラムは、光ディスク等のコンピュータ読み取り可能な記録媒体に記録されて提供されてもよいし、インターネット等の通信回線を介して提供されてもよい。

なお、本発明は、上記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の態様で実施することができる。

例えば、上記各実施の形態では、主に特徴量として平均輝度値を用いて説明したが、これに限るものではなく、最大輝度値、最小輝度値、色成分毎の階調値の平均値、最大値、最小値など、他の特徴量を用いる場合にも同様の効果が得られる。

また、上記各実施の形態において、画質調整部２６は、主画像データの特徴量の代わりに、表示モード取得部１３により取得された表示モード情報により示される表示モードに応じた設定値を用いて画質調整を行ってもよい。すなわち、画質調整部２６は、副画像データの特徴量が各表示モードに応じた設定値に近くなるように画質調整を行ってもよい。
また、上記各実施の形態において、画像処理部１は、リサイズ部２４で副画像データをリサイズする代わりに、副画像データを表示モード情報に応じてリサイズして得られるリサイズ後の副画像データを、外部から取得してもよい。この場合、リサイズ部２４は省略されてもよい。

また、上記各実施の形態の構成は、適宜組み合わせることができる。例えば、実施の形態３は実施の形態２と、実施の形態４は実施の形態２または３と、実施の形態５は実施の形態２、３、または４と組み合わされてもよい。

１ 画像処理部、 ２ 表示部、 １１ 主画像データ入力部、 １２ 副画像データ入力部、 １３ 表示モード取得部、 １４ 第１の特徴量算出部、 １５ 副画像データ調整部、 １６ 表示画像データ生成部、 １７ 表示画像データ出力部、 ２４ リサイズ部、 ２５ 第２の特徴量算出部、 ２６ 画質調整部、 ３１ コンテンツ切替検出部、 ３３ 第１の特徴量格納部、 ４２ 第２の特徴量格納部、 ５１ 第３の特徴量算出部、 ５２ 第３の特徴量格納部、 ６１ 表示環境情報取得部、 ６２ 主画像データ補正部、 １００，２００，４００，５００ 表示装置。

Claims (19)

1. 主画像と副画像とを同時にまたは切り替えて表示するための表示画像データを生成する画像処理装置であって、
   前記主画像を表す主画像データの入力を受ける主画像データ入力手段と、
   前記副画像を表す副画像データの入力を受ける副画像データ入力手段と、
   前記主画像および前記副画像を表示するときの表示モードを示す表示モード情報を取得する表示モード取得手段と、
   前記主画像データ入力手段に入力された主画像データの特徴量を算出する第１の特徴量算出手段と、
   前記副画像データ入力手段に入力された副画像データ、または前記副画像データを前記表示モード取得手段により取得された表示モード情報に応じてリサイズして得られるリサイズ後の副画像データの特徴量を算出する第２の特徴量算出手段と、
   前記第１の特徴量算出手段で算出された主画像データの特徴量と、前記第２の特徴量算出手段で算出された副画像データの特徴量とに基づき、前記リサイズ後の副画像データに対して画質調整を行い、調整後の副画像データを生成する画質調整手段と、
   前記表示モード取得手段により取得された表示モード情報に応じて、前記主画像データ入力手段に入力された主画像データと前記画質調整手段により生成された調整後の副画像データとから、前記表示画像データを生成する表示画像データ生成手段と、
   を備え、
   前記画質調整手段は、前記算出された副画像データの特徴量と前記主画像データの特徴量との差と比べて、前記調整後の副画像データの特徴量と前記主画像データの特徴量との差が小さくなるように前記画質調整を行い、
   前記副画像データは、時系列に並ぶ複数のコンテンツの画像データを含み、前記画質調整手段は、前記コンテンツ毎に前記画質調整を行う際に、前記画質調整の対象となるコンテンツの切り替わりのタイミングで、前記画質調整に用いる主画像データの特徴量を更新することを特徴とする画像処理装置。
2. 前記主画像データは、グラフィック画像または文字画像の画像データであり、
   前記副画像データは、自然画像またはアニメーション画像の画像データである、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記副画像データは、第１のコンテンツの画像データと、前記第１のコンテンツに後続する第２のコンテンツの画像データとを含み、
   前記画質調整手段は、前記第２のコンテンツの画像データのうち、前記第１のコンテンツから前記第２のコンテンツへの切り替わり直後の部分に対して前記画質調整を行う場合、前記切り替わり前後での前記調整後の副画像データの特徴量の変化を抑制するための制御を行う、ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記画質調整手段は、前記切り替わり直後の部分に対して前記画質調整を行う場合、前記副画像データの特徴量として、前記第１のコンテンツの画像データから算出される特徴量と前記第２のコンテンツの画像データから算出される特徴量との間の所定の特徴量を用いることを特徴とする請求項３に記載の画像処理装置。
5. 前記画質調整手段は、前記切り替わり直後の部分に対して前記画質調整を行う場合、前記副画像データの特徴量として、前記所定の特徴量から前記第２のコンテンツの画像データから算出される特徴量まで徐々に変化する特徴量を用いることを特徴とする請求項４に記載の画像処理装置。
6. 前記表示画像データ生成手段により生成された表示画像データの特徴量を算出する第３の特徴量算出手段をさらに備え、
   前記画質調整手段は、前記表示モード情報により示される表示モードが、主画像と副画像とを同時に表示する同時表示モードまたは主画像だけを表示する主画像表示モードから、副画像だけを表示する副画像表示モードに切り替わる場合、前記切り替わり後の副画像表示モードに対応する副画像データに対して画質調整を行うとき、前記主画像データの特徴量の代わりに、前記第３の特徴量算出手段で算出された前記切り替わり前の表示モードに対応する表示画像データの特徴量を用いる、ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記画質調整手段は、前記切り替わり後の副画像表示モードに対応する副画像データに対して画質調整を行うとき、前記主画像データの特徴量の代わりに、前記切り替わり前の表示モードに対応する表示画像データの特徴量から予め設定された値まで徐々に変化する特徴量を用いることを特徴とする請求項６に記載の画像処理装置。
8. 主画像と副画像とを同時にまたは切り替えて表示するための表示画像データを生成する画像処理装置であって、
   前記主画像を表す主画像データの入力を受ける主画像データ入力手段と、
   前記副画像を表す副画像データの入力を受ける副画像データ入力手段と、
   前記主画像および前記副画像を表示するときの表示モードを示す表示モード情報を取得する表示モード取得手段と、
   前記副画像データ入力手段に入力された副画像データ、または前記副画像データを前記表示モード取得手段により取得された表示モード情報に応じてリサイズして得られるリサイズ後の副画像データの特徴量を算出する第２の特徴量算出手段と、
   前記リサイズ後の副画像データに対して画質調整を行い、調整後の副画像データを生成する画質調整手段と、
   前記表示モード取得手段により取得された表示モード情報に応じて、前記主画像データ入力手段に入力された主画像データと前記画質調整手段により生成された調整後の副画像データとから、前記表示画像データを生成する表示画像データ生成手段と、
   前記表示画像データ生成手段により生成された表示画像データの特徴量を算出する第３の特徴量算出手段と、を備え、
   前記画質調整手段は、前記表示モード情報により示される表示モードが、主画像と副画像とを同時に表示する同時表示モードまたは主画像だけを表示する主画像表示モードから、副画像だけを表示する副画像表示モードに切り替わる場合、前記切り替わり後の副画像表示モードに対応する副画像データに対して画質調整を行うとき、前記第３の特徴量算出手段で算出された前記切り替わり前の表示モードに対応する表示画像データの特徴量から得られる基準の特徴量に基づき、前記算出された副画像データの特徴量と前記基準の特徴量との差と比べて、前記調整後の副画像データの特徴量と前記基準の特徴量との差が小さくなるように前記画質調整を行い、
   前記基準の特徴量は、前記表示画像データの特徴量から予め設定された値まで徐々に変化する特徴量であることを特徴とする画像処理装置。
9. 前記画質調整手段は、前記表示画像データに基づいて画像を表示する表示手段の周辺環境に応じて前記値を決定することを特徴とする請求項７または８に記載の画像処理装置。
10. 前記画質調整手段は、前記主画像データの特徴量の代わりに、前記表示モード取得手段により取得された表示モード情報により示される表示モードに応じた設定値を用いることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
11. 前記各特徴量は、各画像データの１フレーム毎の輝度値の平均値、最大値、最小値、およびヒストグラム、ならびに各画像データの１フレーム毎の所定の色成分の階調値の平均値、最大値、最小値、およびヒストグラムのうち少なくとも１つを含むことを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
12. 前記表示画像データに基づいて画像を表示する表示手段の周辺環境に応じて、前記主画像データ入力手段に入力された主画像データを補正する主画像データ補正手段をさらに備え、
    前記主画像データ入力手段に入力された主画像データの代わりに、前記主画像データ補正手段により補正された主画像データを用いる、ことを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
13. 請求項１から１２のいずれか１項に記載の画像処理装置と、
    前記表示画像データ生成手段により生成された表示画像データに基づいて画像を表示する表示手段と、
    を備えることを特徴とする表示装置。
14. 主画像と副画像とを同時にまたは切り替えて表示するための表示画像データを生成する画像処理方法であって、
    前記主画像を表す主画像データの入力を受ける主画像データ入力ステップと、
    前記副画像を表す副画像データの入力を受ける副画像データ入力ステップと、
    前記主画像および前記副画像を表示するときの表示モードを示す表示モード情報を取得する表示モード取得ステップと、
    前記主画像データ入力ステップで入力された主画像データの特徴量を算出する第１の特徴量算出ステップと、
    前記副画像データ入力ステップで入力された副画像データ、または前記副画像データを前記表示モード取得ステップにより取得された表示モード情報に応じてリサイズして得られるリサイズ後の副画像データの特徴量を算出する第２の特徴量算出ステップと、
    前記第１の特徴量算出ステップで算出された主画像データの特徴量と、前記第２の特徴量算出ステップで算出された副画像データの特徴量とに基づき、前記リサイズ後の副画像データに対して画質調整を行い、調整後の副画像データを生成する画質調整ステップと、
    前記表示モード取得ステップで取得された表示モード情報に応じて、前記主画像データ入力ステップで入力された主画像データと前記画質調整ステップで生成された調整後の副画像データとから、前記表示画像データを生成する表示画像データ生成ステップと、
    を有し、
    前記画質調整ステップは、前記算出された副画像データの特徴量と前記主画像データの特徴量との差と比べて、前記調整後の副画像データの特徴量と前記主画像データの特徴量との差が小さくなるように前記画質調整を行い、
    前記副画像データは、時系列に並ぶ複数のコンテンツの画像データを含み、前記画質調整ステップは、前記コンテンツ毎に前記画質調整を行う際に、前記画質調整の対象となるコンテンツの切り替わりのタイミングで、前記画質調整に用いる主画像データの特徴量を更新することを特徴とする画像処理方法。
15. 主画像と副画像とを同時にまたは切り替えて表示するための表示画像データを生成する画像処理方法であって、
    前記主画像を表す主画像データの入力を受ける主画像データ入力ステップと、
    前記副画像を表す副画像データの入力を受ける副画像データ入力ステップと、
    前記主画像および前記副画像を表示するときの表示モードを示す表示モード情報を取得する表示モード取得ステップと、
    前記副画像データ入力ステップで入力された副画像データ、または前記副画像データを前記表示モード取得ステップにより取得された表示モード情報に応じてリサイズして得られる副画像データの特徴量を算出する第２の特徴量算出ステップと、
    前記リサイズ後の副画像データに対して画質調整を行い、調整後の副画像データを生成する画質調整ステップと、
    前記表示モード取得ステップで取得された表示モード情報に応じて、前記主画像データ入力ステップで入力された主画像データと前記画質調整ステップで生成された調整後の副画像データとから、前記表示画像データを生成する表示画像データ生成ステップと、
    前記表示画像データ生成ステップで生成された表示画像データの特徴量を算出する第３の特徴量算出ステップと、
    を有し、
    前記画質調整ステップは、前記表示モード情報により示される表示モードが、主画像と副画像とを同時に表示する同時表示モードまたは主画像だけを表示する主画像表示モードから、副画像だけを表示する副画像表示モードに切り替わる場合、前記切り替わり後の副画像表示モードに対応する副画像データに対して画質調整を行うとき、前記第３の特徴量算出ステップで算出された前記切り替わり前の表示モードに対応する表示画像データの特徴量から得られる基準の特徴量に基づき、前記算出された副画像データの特徴量と前記基準の特徴量との差と比べて、前記調整後の副画像データの特徴量と前記基準の特徴量との差が小さくなるように前記画質調整を行い、
    前記基準の特徴量は、前記表示画像データの特徴量から予め設定された値まで徐々に変化する特徴量であることを特徴とする画像処理方法。
16. 前記主画像データは、グラフィック画像または文字画像の画像データであり、
    前記副画像データは、自然画像またはアニメーション画像の画像データである、
    ことを特徴とする請求項１４または１５に記載の画像処理方法。
17. 請求項１４から１６のいずれか１項に記載の画像処理方法と、
    前記表示画像データ生成ステップで生成された表示画像データに基づいて画像を表示する表示ステップと、
    を有することを特徴とする表示方法。
18. 主画像と副画像とを同時にまたは切り替えて表示するための表示画像データを生成する画像処理プログラムであって、
    前記主画像を表す主画像データの入力を受ける主画像データ入力ステップと、
    前記副画像を表す副画像データの入力を受ける副画像データ入力ステップと、
    前記主画像および前記副画像を表示するときの表示モードを示す表示モード情報を取得する表示モード取得ステップと、
    前記主画像データ入力ステップで入力された主画像データの特徴量を算出する第１の特徴量算出ステップと、
    前記副画像データ入力ステップで入力された副画像データ、または前記副画像データを前記表示モード取得ステップで取得された表示モード情報に応じてリサイズして得られる副画像データの特徴量を算出する第２の特徴量算出ステップと、
    前記第１の特徴量算出ステップで算出された主画像データの特徴量と、前記第２の特徴量算出ステップで算出された副画像データの特徴量とに基づき、前記リサイズ後の副画像データに対して画質調整を行い、調整後の副画像データを生成する画質調整ステップと、
    前記表示モード取得ステップで取得された表示モード情報に応じて、前記主画像データ入力ステップで入力された主画像データと前記画質調整ステップで生成された調整後の副画像データとから、前記表示画像データを生成する表示画像データ生成ステップと、
    をコンピュータに実行させ、
    前記画質調整ステップは、前記算出された副画像データの特徴量と前記主画像データの特徴量との差と比べて、前記調整後の副画像データの特徴量と前記主画像データの特徴量との差が小さくなるように前記画質調整を行い、
    前記副画像データは、時系列に並ぶ複数のコンテンツの画像データを含み、前記画質調整ステップは、前記コンテンツ毎に前記画質調整を行う際に、前記画質調整の対象となるコンテンツの切り替わりのタイミングで、前記画質調整に用いる主画像データの特徴量を更新することを特徴とする画像処理プログラム。
19. 主画像と副画像とを同時にまたは切り替えて表示するための表示画像データを生成する画像処理プログラムであって、
    前記主画像を表す主画像データの入力を受ける主画像データ入力ステップと、
    前記副画像を表す副画像データの入力を受ける副画像データ入力ステップと、
    前記主画像および前記副画像を表示するときの表示モードを示す表示モード情報を取得する表示モード取得ステップと、
    前記副画像データ入力ステップで入力された副画像データ、または前記副画像データを前記表示モード取得ステップで取得された表示モード情報に応じてリサイズして得られる副画像データの特徴量を算出する第２の特徴量算出ステップと、
    前記リサイズ後の副画像データに対して画質調整を行い、調整後の副画像データを生成する画質調整ステップと、
    前記表示モード取得ステップで取得された表示モード情報に応じて、前記主画像データ入力ステップで入力された主画像データと前記画質調整ステップで生成された調整後の副画像データとから、前記表示画像データを生成する表示画像データ生成ステップと、
    前記表示画像データ生成ステップで生成された表示画像データの特徴量を算出する第３の特徴量算出ステップと、
    をコンピュータに実行させ、
    前記画質調整ステップは、前記表示モード情報により示される表示モードが、主画像と副画像とを同時に表示する同時表示モードまたは主画像だけを表示する主画像表示モードから、副画像だけを表示する副画像表示モードに切り替わる場合、前記切り替わり後の副画像表示モードに対応する副画像データに対して画質調整を行うとき、前記第３の特徴量算出ステップで算出された前記切り替わり前の表示モードに対応する表示画像データの特徴量から得られる基準の特徴量に基づき、前記算出された副画像データの特徴量と前記基準の特徴量との差と比べて、前記調整後の副画像データの特徴量と前記基準の特徴量との差が小さくなるように前記画質調整を行い、
    前記基準の特徴量は、前記表示画像データの特徴量から予め設定された値まで徐々に変化する特徴量であることを特徴とする画像処理プログラム。

Images