JP5847315B2 - 表示装置 - Google Patents

Description

この発明は、非平坦な表示面を有した表示装置に係り、特に非平坦な表示面に表示する映像の視認性の改善に関する。

グラフィック映像は、一般的に、平坦なディスプレイ面または平坦面への投影を前提としてデザインされているため、映像が最終的に表示される表示面の物理的な形状が湾曲していたり、凹凸があった場合は、映像が歪んでしまい、デザイン時に期待していた映像にならない可能性がある。

そこで、従来では、最終的に表示される面の形状に合わせて映像データを画像変換する処理が行われていた。例えば、特許文献１に記載されるシステムでは、表示面の表面特徴がある場所を決定し、この表面特徴の場所に基づいて表示面に表示する映像データを補正する。このようにすることで、表面特徴により引き起こされる映像の視覚的な歪みを補償している。

特開２０１１−１０３１２０号公報

特許文献１に代表される従来の技術では、映像の視覚的な歪みを軽減するために、最終画面のイメージ画像の画素値を補正して表示していた。すなわち、レンダリングされた後のイメージ画像の画素値を直接補正していたので、画面に表示したときの画質が劣化するという課題があった。

また、従来では、映像の一部のオブジェクトやオブジェクトが示す情報のみを見やすくデザインすることが考慮されていなかった。
さらに、イメージ画像の画素値を補正するときに利用する補正パラメータは、湾曲しているディスプレイ面や非平坦な投影面の特徴が変更された場合、これに合わせて補正パラメータの値を再度調節する必要があり、煩雑な処理となっていた。
さらに、非平坦な表示面は、ユーザの位置によって様々な形状で見えるため、ユーザの位置に応じた視認性の改善が必要である。しかしながら、従来は、ユーザの位置に応じた見やすさが考慮されておらず、車内の座席位置に応じた視認性の改善ができない可能性があった。

この発明は、上記のような課題を解決するためになされたもので、画質を劣化させずに非平坦な表示面であっても視認しやすい映像を提供することができる表示装置を得ることを目的とする。

この発明に係る表示装置は、少なくとも非平坦な部分を表示面に含む表示部と、表示画像の特性を決定するレンダリングパラメータに基づいて、グラフィックスデータをレンダリングして表示部の表示面の形状に合わせて描画される描画データを生成するレンダリング部と、表示部の位置、および表示面の形状と向きと傾き、および表示面に対するユーザの位置と視線方向に基づいて、表示面上に表示される補正対象の描画オブジェクトがユーザから平坦な面に描画されて見えるように、グラフィックスデータの描画オブジェクトのレンダリングパラメータを、レンダリング部によるレンダリングの前に補正する補正部とを備える。

この発明によれば、画質を劣化させずに非平坦な表示面であっても視認しやすい映像を提供することができるという効果がある。

この発明の実施の形態１に係る表示装置の構成を示すブロック図である。 実施の形態１に係る表示装置による動作を示すフローチャートである。 ユーザから平坦な面に描画されて見えるようにする補正のタイミングを説明する図である。 ユーザから平坦な面に描画されて見えるようにする補正の概要を示す図である。 ユーザから平坦な面に描画されて見えるようにする補正の例を示す図である。 この発明の実施の形態２に係る表示装置の補正部におけるオブジェクトのレイアウト変更による補正の概要を示す図である。 この発明の実施の形態３に係る表示装置の補正部における補正対象のオブジェクトを決定する処理の概要を示す図である。 この発明の実施の形態４に係る表示装置の補正部における表示面とオブジェクトの形状に応じて補正する処理を示す図である。 この発明の実施の形態５に係る表示装置の補正部における表示面に合わせてオブジェクトの形状を補正する処理を示す図である。 この発明の実施の形態６に係る表示装置の補正部における周囲環境に応じてオブジェクトを補正する処理を示す図である。

実施の形態１．
図１は、この発明の実施の形態１に係る表示装置の構成を示すブロック図である。図１に示す表示装置は、少なくとも非平坦な部分を含む表示面に映像を表示する表示装置であり、記憶部１、レンダリング部２、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）部３、表示部４、制御部５、操作部６、補正部７、表示面状態検出部８、表示面形状検出部９およびユーザ検出部１０を備えて構成される。

記憶部１は、グラフィックスデータや動画データ、その他のデータを記憶する記憶部である。例えば、ハードディスクドライブ装置や、フラッシュメモリドライブ装置、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリなどが挙げられる。
レンダリング部２は、記憶部１に記憶されるグラフィックスデータを、レンダリングパラメータに基づいて変形するレンダリングを実行することで、表示部４の表示面の形状に合わせて描画される描画データ（描画イメージ画像）を生成する。
ＶＲＡＭ部３は、表示部４の表示面に最終的に表示する描画データが展開、すなわち、当該描画データの画素情報が保持されるビデオメモリである。

表示部４は、ＶＲＡＭ部３が保持する画素情報で当該描画データを表示する表示装置であり、少なくとも非平坦な部分を含む表示面を備える。例えば、湾曲した表示面を有する液晶表示装置や、非平坦な面に映像を投影する投影装置である。
制御部５は、図１に示す表示装置の各機能を制御する制御部であり、例えば、制御プログラムを実行してレンダリング部２や補正部７の動作を制御する中央演算装置（ＣＰＵ）またはグラフィックプロセッシングユニット（ＧＰＵ）で実現される。
操作部６は、ユーザからの操作入力を受け付ける入力装置であり、例えば、表示部４に設けられるタッチパネルや、リモートコントローラ、ハードウェアキーなどが該当する。

補正部７は、制御部５から補正の指示に従って、記憶部１に記憶されるグラフィックスデータに定義されたレンダリングパラメータを補正する補正部である。
ここで、レンダリングパラメータとは、表示部４の表示面に表示する描画イメージ画像の特性を決定するパラメータであり、例えばグラフィックスデータから表示部４の表示面の形状に合った描画イメージ画像を生成するために必要な各種の設定値である。
この発明では、補正部７が、表示部４の位置、表示面の向きと傾き、表示面の形状、表示面に対するユーザの位置と視線方向に基づいて表示面上に表示された補正対象の描画オブジェクトがユーザから平坦な面に描画されて見えるように、描画オブジェクトに関するレンダリングパラメータをレンダリングの前に補正する。

表示面状態検出部８は、表示部４の位置、表示面の向きおよび傾きなどの表示面の状態を検出する検出部である。表示面状態検出部８には、例えば、表示装置に内蔵されたジャイロセンサや、表示装置と通信してその位置を検出する無線装置、もしくは、表示面の撮像画像を解析した結果から表示部４の位置、表示面の向きおよび傾きを検出するカメラ装置などが使用される。
また、表示面状態検出部８は、表示面の状態を示す物理量を検出する複数種類の検出手段を組み合わせたものであってもよい。

表示面形状検出部９は、表示部４の表示面の形状を検出する検出部であり、表示部４が現在表示している表示面の形状が検出される。表示面形状検出部９は、例えば、表示面状態検出部８によって検出された表示部４の位置、表示面の向きおよび傾きと、ユーザ検出部１０によって検出された表示面に対するユーザの位置および視線方向を用いて、あらかじめ設定された表示空間（例えば、車両内）における表示面の場所とユーザに対する向きおよび傾きを特定する。次に、表示面形状検出部９は、特定した場所における表示面の向きおよび傾きを、あらかじめ設定されている表示面の物理的な特徴と照合して、ユーザから見た表示面の形状を検出する。
また、表示面形状検出部９には、表示面の撮像画像を解析した結果から、表示面の形状を検出するカメラ装置を用いてもよい。さらに、表示面形状検出部９は、表示面の形状に関する物理量を検出する複数種類の検出手段を組み合わせたものであってもよい。

ユーザ検出部１０は、表示面に対するユーザの位置および視線方向を検出する検出部である。ユーザ検出部１０には、例えば、ユーザの撮像画像を解析した結果から表示面に対するユーザの位置および視線方向を検出するカメラ装置などが使用される。
また、ユーザ検出部１０は、表示面に対するユーザの位置および視線方向に関する物理量を検出する複数種類の検出手段を組み合わせたものであってもよい。
さらに、ユーザ検出部１０が、表示面からユーザまでの距離や、ユーザの位置に応じた種別を検出してもよい。

なお、表示面に対するユーザの位置と表示装置の位置を固定することにより、表示部４の位置、表示面の向きと傾き、表示面の形状、表示面に対するユーザの位置と視線方向を固定値としてあらかじめ設定されていてもよい。すなわち、この発明では、上記のデータが固定値として設定されていれば、表示面状態検出部８、表示面形状検出部９およびユーザ検出部１０を省略することができる。

また、ユーザと表示装置の表示部４とが動く場合は、例えば表示面状態検出部８およびユーザ検出部１０としてカメラ装置を採用する。
すなわち、表示面状態検出部８およびユーザ検出部１０としてのカメラ装置は、表示面とユーザを撮影した画像を画像認識して、あらかじめ設定されている車両空間内の形状と照合することで、動いた後の表示部４の位置、表示面の向きと傾き、表示面の形状、表示面に対するユーザの位置と視線方向を導出できる。
ただし、表示面状態検出部８、表示面形状検出部９およびユーザ検出部１０は、上述した検出方法に限定されるものではなく、上記データを検出可能であれば、どのような方法を用いてもかまわない。

次に動作について説明する。
図２は、実施の形態１に係る表示装置による動作を示すフローチャートである。
まず、表示面状態検出部８が、表示部４の位置、表示面の向きおよび傾きなどの表示面の状態を検出する（ステップＳＴ１）。例えば、表示面状態検出部８としてカメラ装置を採用し、表示面の撮像画像を解析した結果から表示部４の位置、表示面の向きおよび傾きを検出する。

次に、ユーザ検出部１０が、表示部４の表示面に対するユーザの位置および視線方向を検出する（ステップＳＴ２）。例えば、ユーザ検出部１０としてカメラ装置を採用して、ユーザの撮像画像を解析した結果から表示面に対するユーザの位置および視線方向を検出する。

続いて、表示面形状検出部９が表示部４の表示面の形状を検出する（ステップＳＴ３）。例えば、表示面状態検出部８が検出した表示部４の位置、表示面の向きおよび傾きと、ユーザ検出部１０が検出した表示面に対するユーザの位置と視線方向とを用いて、表示面形状検出部９が、あらかじめ設定された表示空間における表示面の場所とユーザに対する向きと傾きを特定する。次に、表示面形状検出部９は、特定した場所における表示面の向きと傾きを、あらかじめ設定された表示面の物理的な特徴と照合することにより、ユーザから見た表示面の形状を検出する。

この後、制御部５が、表示面の状態、ユーザの位置、ユーザの視線方向、表示面の形状または操作部６からの操作内容を取得し、補正部７に送信する。また、制御部５は、表示装置を含むシステム全体の使用状況を取得する（ステップＳＴ４）。ここでは、制御部５が、この発明に係る表示装置を含む情報処理システムにおける音楽や映像などのメディア情報の再生状態などをシステム全体の使用状況として把握する。

補正部７は、表示面の状態、ユーザの位置、ユーザの視線方向、表示面の形状または操作部６からの操作内容に基づいて、補正対象とする描画オブジェクトおよび表示イメージの変換方法を判断する（ステップＳＴ５）。すなわち、補正部７は、グラフィックスデータにおける描画オブジェクトのうちから、補正対象となる描画オブジェクトを決定し、さらに表示面における当該描画オブジェクトの補正内容（変換方法）を決定する。

次に、補正部７は、ステップＳＴ５で決定した変換方法に従った補正を行うべきレンダリングパラメータを導出する（ステップＳＴ６）。ここでは、補正部７が、表示画像の特性を決定するレンダリングパラメータのうち、表示画像の座標系を規定するレンダリングパラメータを導出する。

さらに、制御部５が、ステップＳＴ１からステップＳＴ３までの処理で得られた表示面の状態、ユーザの位置、ユーザの視線方向または表示面の形状に基づいて、表示部４の表示面における非平坦な領域を判定する（ステップＳＴ７）。
ここで、補正部７は、描画オブジェクトをそのまま表示すると、ユーザの視認性が低下する表示領域を導出する。

この後、補正部７が、表示面の状態、ユーザの位置、ユーザの視線方向、表示面の形状または操作部６からの操作内容に基づいて、描画オブジェクトごとのレンダリングパラメータの補正値を算出する（ステップＳＴ８）。なお、補正部７は、補正しない描画オブジェクトについてもレンダリングパラメータの補正値を算出し、この場合、レンダリングパラメータの補正値として、元と同じになる値が算出される。
また、補正部７は、描画オブジェクトごとに定義されているレイアウト情報（表示面上の描画オブジェクトのレイアウトを示す情報）についてのレンダリングパラメータの補正も行う。このレイアウト情報についてのレンダリングパラメータの補正値は、描画オブジェクトの表示面上のレイアウトを変更する補正を行う場合に利用される。

図３は、ユーザから平坦な面に描画されて見えるように補正部７が行う補正のタイミングを説明する図である。上述したように、グラフィックデータは、一般的に、平坦なディスプレイ面または平坦面への投影を前提としてデザインされている。このため、非平坦な部分を含む表示面にイメージを表示する場合、表示面の形状に合わせて描画データを補正する必要がある。

上述の場合、従来では、図３（ａ）に示すように、最終画面のイメージ画像、すなわちグラフィックスデータをレンダリングして、ＶＲＡＭに展開された描画データの画素値を補正していた（タイミング２）。このように最終的に表示面に描画する描画データの画素値を補正すると、描画オブジェクトが表示面の形状に応じて引き延ばされたような状態となり、図３（ｂ）に示すように、画質が劣化する。

そこで、この発明では、図３（ａ）に示すように、グラフィックスデータをレンダリングを実行する前に、レンダリングパラメータを補正する（タイミング１）。
すなわち、レンダリングするための情報であるレンダリングパラメータが補正される。この場合、ＶＲＡＭでは変換後の画素値が未決定であり、上記補正を行った後に画素値が決定される。従って、最終的にユーザが見る映像の画質の劣化を防ぎながら変換することができる。

図４は、ユーザから平坦な面に描画されて見えるようにする補正の概要を示す図であり、表示面が湾曲した表示装置を例に挙げている。図４に示すような非平坦な表示面に表示される描画オブジェクトの視認性を向上するためにはＶＲＡＭ部３に展開されている映像情報を補正する必要がある。この発明では、湾曲した表示面の形状に合わせて描画される描画データを、ユーザから平坦な面に描画されて見えるように補正する。

この補正の方法としては、例えば、まず図４に示すように、ユーザが視認する視点面Ａを仮想的に定義する。この視点面Ａを、湾曲した表示面へ投影して写像Ａ’を得る。この写像Ａ’では、図４に示すように、視点面Ａで等間隔であった点が、表示面の中央から遠ざかるほど拡がった位置に写像される。この傾向は、表示面の形状に依存している。

そこで、写像Ａ’の各点を表示装置の映像生成面に投影した写像Ｂを得る補正を行う。この写像Ｂは、図４のように、非平坦な表示面に投影したときに、ユーザの視点から見て平坦な面となるように、歪んだ座標系Ｃとなる。
補正部７は、表示画像の特性を決定するレンダリングパラメータ、すなわち描画オブジェクトの座標系を決定するレンダリングパラメータを補正することで、図４に示す表示面の変換系から座標系Ｃに変換する。レンダリング部２は、補正部７により補正されたレンダリングパラメータに基づいて、グラフィックスデータのレンダリングを座標系Ｃに対して行う。これにより、最終的にユーザの視点面で平坦に見える画像を画質を劣化させることなく生成することができる。このレンダリング座標系Ｃは、ユーザの視点の位置と表示面の形状から導出することが可能である。

図２の説明に戻る。上述のようにして補正されたレンダリングパラメータに基づいて、レンダリング部２が、制御部５からの指示に従って記憶部１に記憶されるグラフィックスデータをレンダリングする（ステップＳＴ９）。このレンダリングによって描画オブジェクトの画素値がＶＲＡＭ部３に格納（展開）される。
レンダリング部２によって描画オブジェクトごとに対応するレンダリングが行われる度に、制御部５は、現在の描画フレームにおける全ての描画オブジェクトについてのレンダリングが完了したか否かを判定する（ステップＳＴ１０）。

ここで、全ての描画オブジェクトについてのレンダリングが完了していなければ（ステップＳＴ１０；ＮＯ）、ステップＳＴ８に戻って上記処理を繰り返す。
全ての描画オブジェクトについてのレンダリングが完了した場合（ステップＳＴ１０；ＹＥＳ）、表示部４が、制御部５からの指示に従って、ＶＲＡＭ部３に格納されている、描画オブジェクトの表示イメージを表示する（ステップＳＴ１１）。

次に、制御部５は、表示面状態検出部８、表示面形状検出部９およびユーザ検出部１０が検出した情報に基づいて、表示面の向きの変化やユーザの視点が移動したことにより、ユーザの視点から見た表示面の形状が変更されたか否かを確認する（ステップＳＴ１２）。ここで、変更が検知されれば（ステップＳＴ１３；ＹＥＳ）、ステップＳＴ１に戻り、変更後の表示面の状態について、ステップＳＴ１からの処理を繰り返す。

一方、変更が検知されない場合（ステップＳＴ１３；ＮＯ）、制御部５は、全ての描画フレームのレンダリングが完了したか否かを判定する（ステップＳＴ１４）。
レンダリングを行っていない描画フレームがある場合（ステップＳＴ１４；ＮＯ）は、ステップＳＴ８の処理に戻り、レンダリング部２が、制御部５からの指示に従って、次の描画フレームについてのレンダリングを実行する。
また、全てのフレームについてのレンダリングが完了していれば（ステップＳＴ１４；ＹＥＳ）、処理を終了する。

次に、この実施の形態１における補正部７が実行するレンダリングパラメータの補正内容について説明する。
図５は、ユーザから平坦な面に描画されて見えるようにする補正の例を示す図である。
グラフィックスデータは、一般的に平坦なディスプレイ面または平坦面への投影を前提としてデザインされているため、図５（ａ）に示すように物理的に湾曲した表示面４ａに表示イメージを最終的に表示する場合、補正前のレンダリングパラメータを用いてレンダリングすると、表示イメージが歪んでしまう。
例えば、図５（ａ）では、背景の描画オブジェクト１１ａは、表示面４ａの形状に合わせて拡がって描画され、描画オブジェクト１１ｂは、表示面４ａの中央に位置するものが最も拡がって描画され、表示面４ａの縁部に近づくにつれて拉げた形状となって描画されている。

これに対し、表示面４ａに表示する全ての描画オブジェクト１１ａ，１１ｂを、表示面４ａの形状による表示への影響を相殺する変換処理を施して、ユーザから平坦な面に描画されているように補正すると、図５（ｂ）に示すように、表示面４ａの一部で描画オブジェクトが表示されず、また表示イメージが全体的に小さく表示されたように見える。

そこで、この発明では、補正部７は、表示面４ａに表示される全てのオブジェクト１１ａ，１１ｂを補正対象とするのではなく、図５（ｃ）に示すように、補正対象とした描画オブジェクト１１ｂについてのみ補正対象とする。すなわち、補正部７は、描画オブジェクト１１ｂのレンダリングパラメータを補正して、ユーザから平坦な面に描画されて見えるように描画オブジェクト１１ｂの形状を変換し、それ以外の背景の描画オブジェクト１１ａについては補正せず、そのまま表示面４ａの形状に合わせて描画する。この場合は、変換を適用した描画オブジェクト１１ｂ以外の描画オブジェクト１１ａは歪んだままとなるが、処理前と処理後において非表示の部分が発生せず、表示面積が減少しない。

補正部７は、描画オブジェクトのカテゴリに基づいて補正を行うか否かを決定してもよい。例えば、車両などの移動体に搭載される表示装置において、メーター表示器を画像表示する場合は、補正部７は、カテゴリがメーターを示す描画オブジェクトのみを、ユーザから平坦な面に描画されて見えるように補正対象とし、カテゴリが背景の描画オブジェクトは補正対象とせずそのまま表示面の形状に合わせて描画する。すなわち、補正部７は、あらかじめ、カテゴリが背景の場合は補正対象とせず、カテゴリがメーター類の場合は補正対象として決定しておく。これにより、メーター表示器において、ユーザに対して重要な情報を提供する描画オブジェクトであるメーターの画像がユーザから視認しやすく補正される。
また、補正部７は、あらかじめ、補正対象とする描画オブジェクトとともに補正対象であることを示すフラグ（補正対象フラグ）を記憶しておき、補正対象フラグに基づいて、補正を行うか否かを決定してもよい。また、補正部７は、補正対象とする描画オブジェクトを操作部６から入力される指示によって決定してもよい。これにより、ユーザが視認しにくいと判断する描画オブジェクトを補正の対象とすることができ、ユーザからの視認性が向上する。

補正部７は、補正対象の描画オブジェクトを、上述のように、あらかじめ決定しておいてもよいが、ユーザが操作部６を用いて操作する際に参照される描画オブジェクトについては、ユーザの操作頻度に応じて動的に決定してもよい。
例えば、制御部５が、ユーザの操作を受け付ける描画オブジェクトについて操作頻度を記録し、操作頻度が所定の閾値以上に達した当該描画オブジェクトについて補正対象である旨を補正部７に通知する。補正部７は、制御部５から通知された、ユーザによる操作頻度が所定の閾値以上の描画オブジェクトを、補正対象として補正を実行する。これにより、ユーザが頻繁に使用して重要度が高いと予想される描画オブジェクトの視認性を向上させることができる。

また、補正部７は、補正対象の描画オブジェクトをユーザの種別または位置に対応付けて決定してもよい。この場合、ユーザが移動して、その視点位置が変更されると、補正部７が、これに応じて動的に描画オブジェクトを変更し、変更後のオブジェクトを補正対象とする。

また、補正部７は、所定の情報を提示する描画オブジェクトを補正対象の描画オブジェクトとしてもよい。例えば、表示装置がメーター表示器を画像表示する場合、メーター類は、ユーザが把握すべき所定の計測情報を提示するものであるため、ユーザから視認しやすくする必要がある。
そこで、メータ類を示す描画オブジェクトを補正対象とする。これにより、ユーザが把握すべき所定の情報を提示する描画オブジェクトの視認性を向上させることができる。

以上のように、この実施の形態１によれば、少なくとも非平坦な部分を表示面に含む表示部４と、表示画像の特性を決定するレンダリングパラメータに基づいてグラフィックスデータをレンダリングして表示部４の表示面の形状に合わせて描画される描画データを生成するレンダリング部２と、グラフィックスデータの描画オブジェクトのレンダリングパラメータを、レンダリング部２によるレンダリングの前に補正する補正部７とを備える。このように構成することにより、画質を劣化させずに非平坦な表示面であっても視認しやすい映像を提供することができる。
なお、この発明は、車両内のような平坦面の確保が難しい空間内における、フロント、リアのプロジェクションシステムや、湾曲液晶ディスプレイなどの表示装置において、描画される映像内のオブジェクトの視認性を向上させることができる。

また、この実施の形態１によれば、補正部７が、描画オブジェクトのカテゴリまたは補正対象であることを示すフラグに基づいて、補正対象とする描画オブジェクトを決定するので、ユーザが視認しにくいと判断する描画オブジェクトを補正の対象とすることができ、ユーザからの視認性を向上させることができる。

さらに、この実施の形態１によれば、補正部７が、補正対象の描画オブジェクトのレンダリングパラメータを補正して描画オブジェクトの形状を変更するので、描画オブジェクトの視認性を向上させることができる。

さらに、この実施の形態１によれば、補正部７が、ユーザによる操作頻度が所定の閾値以上の描画オブジェクトを補正対象とするので、ユーザが頻繁に使用して重要度が高いと予想される描画オブジェクトの視認性を向上させることができる。

さらに、この実施の形態１によれば、補正部７が、所定の情報を提示する描画オブジェクトを補正対象とするので、ユーザが把握すべき所定の情報を提示する描画オブジェクトの視認性を向上させることができる。

実施の形態２．
上記実施の形態１に係る表示装置においては、補正部７が補正対象とする描画オブジェクトを決定し、補正対象の描画オブジェクトについてのレンダリングパラメータを補正して、ユーザから平坦な面に描画されて見えるように当該描画オブジェクトの形状を変更する。この実施の形態２に係る表示装置においては、補正部７が補正対象とする描画オブジェクトを決定し、補正対象の描画オブジェクトについてのレンダリングパラメータの描画位置を変更する。その他の構成および機能については、上記実施の形態１に係る表示装置と同様である。

図６は、この発明の実施の形態２に係る表示装置の補正部におけるオブジェクトのレイアウト変更による補正の概要を示す図である。図６（ａ）に示すように、平坦な表示面４Ａに描画することを前提とした描画オブジェクト１１ｃ，１１ｄを、図６（ｂ）に示すような画面中央が大きく湾曲した表示面４ａに描画する場合を例に挙げる。この場合、メーター類を示す描画オブジェクト１１ｃが表示面４ａの中央の湾曲している位置に描画されるため、これに合わせて描画すると、図６（ｂ）のように描画オブジェクト１１ｃが歪んだ形状になり、ユーザからの視認性が悪くなる。
また、この位置でそのままユーザから平坦に見えるように補正した場合、歪んだ形状の描画オブジェクト１１ｃが平坦に見えるようになるだけで、ユーザからの視認性は向上しない。

そこで、この実施の形態２の補正部７では、上述のような場合、表示面の状態、ユーザの位置、ユーザの視線方向、表示面の形状に基づいて、描画オブジェクト１１ｃについてのレンダリングパラメータを補正するにあたり、描画オブジェクト１１ｃのレイアウト情報を補正して、図６（ｃ）に示すように、表示面４ａの描画位置を湾曲が少ない位置に移動させ、移動させた位置でユーザから平坦な面に描画されて見えるように描画オブジェクト１１ｃの形状を補正する。このようにすることで、補正前は、表示面４ａの湾曲した位置に描画されることになっていた描画オブジェクト１１ｃについてユーザからの視認性を向上させることができる。

なお、表示面４ａにおける湾曲が少ない位置は、表示部４に設定された表示空間内での表示面の認識方式を用いて、補正部７によって選定される。例えば、補正部７が、表示面の状態およびユーザの位置に基づいて、ユーザの視点位置から表示面４ａに下ろした垂線と表示面４ａの平面部との角度を求めて、表示面４ａの部分ごとの湾曲率を定義しておく。補正部７が、この湾曲率が所定の閾値以上の領域に描画されるオブジェクトについて、上述の補正を行う。また、補正部７は、ユーザの種別（運転者または助手席の同乗者）、ユーザの位置、または、描画オブジェクトに設定したカテゴリに応じて、当該閾値を動的に変更してもよい。

以上のように、この実施の形態２によれば、補正部７が、補正対象の描画オブジェクトのレンダリングパラメータを補正して、描画オブジェクトが描画されるレイアウトを変更するので、ユーザから視認しやすい位置に的確にオブジェクトを描画することができる。

また、この実施の形態２によれば、補正部７が、表示部４の湾曲率が所定以上の領域に描画される描画オブジェクトを補正対象とするので、ユーザから視認しやすい位置に的確にオブジェクトを描画することができる。

実施の形態３．
上記実施の形態２に係る表示装置においては、補正部７が、ユーザから視認性の悪い補正対象とする描画オブジェクトを決定し、補正対象の描画オブジェクトについてのレンダリングパラメータを補正して、ユーザから平坦な面に描画されて見えるように当該描画オブジェクトの位置を変更する。しかしながら、全ての描画オブジェクトをユーザから平坦な面に描画されて見える位置に移動させると、ユーザから平坦な面に描画されて見える位置にオブジェクトが集中して、かえって画面全体の視認性が低下することが懸念される。また、全ての描画オブジェクトのレンダリングパラメータを補正することは、負荷も高い。そこで、この実施の形態３に係る表示装置においては、補正部７が、表示装置が搭載される（携帯される）移動体の状態、ユーザの位置またはユーザ種別に基づいて、補正対象とする描画オブジェクトを決定し、補正対象の描画オブジェクトのレンダリングパラメータを補正する。その他の構成および機能については、上記実施の形態２に係る表示装置と同様である。

図７は、この発明の実施の形態３に係る表示装置の補正部における補正対象のオブジェクトを決定する処理の概要を示す図であり、車両などの移動体のインストルメントパネルに搭載された表示装置を例に挙げている。この表示装置は、画面中央部が大きく湾曲した表示面４ａを有しており、この表示面４ａに、描画オブジェクトとして移動体の速度メーター、燃料計（またはバッテリ計）、表示装置が備えているまたは表示装置が接続されている音楽または映像などのメディア情報の再生装置の再生ボタン、停止ボタンを描画する。
図７（ａ）は、ガソリン（またはバッテリ）が十分にあり（燃料計（またはバッテリ計）がＦｕｌｌ近く）、メディア情報の再生を停止している場合を示しており、図７（ｂ）は、ガソリン（またはバッテリ）が不足しつつあり（燃料計（またはバッテリ計）がＥｍｐｔｙ近く）、メディア情報を再生している場合を示している。

この実施の形態３に係る表示装置においては、補正部７は、表示面の状態、ユーザの位置、ユーザの視線方向または表示面の形状に基づいて、補正対象とする描画オブジェクトの候補を決定するが、移動体の燃料計（またはバッテリ計）の状態、速度、エアコンなどで測定している室温などの計測器の値、または、再生装置によるメディア情報の再生状態などの移動体の状態に基づいて、補正対象とする描画オブジェクトを判断し、補正対象の描画オブジェクトのレンダリングパラメータを補正する。
例えば、図７（ａ）に示すように、燃料（またはバッテリ）が所定量以上ある場合は、補正部７は、燃料計（またはバッテリ計）を示す描画オブジェクト１１ｆを補正せずに、速度メーターを示す描画オブジェクト１１ｅを補正対象として、ユーザから平坦な面に描画されて見えるように描画オブジェクト１１ｅの位置または形状を変更するようにレンダリングパラメータを補正する。また、図７（ｂ）に示すように、燃料（またはバッテリ）が所定量未満の場合は、補正部７は、速度メーターを示す描画オブジェクト１１ｅを補正せずに、燃料計（またはバッテリ計）を示す描画オブジェクト１１ｆを補正対象として、ユーザから平坦な面に描画されて見えるように描画オブジェクト１１ｆの位置または形状を変更するようにレンダリングパラメータを補正する。

また、補正部７は、移動体が所定速度以上で走行している場合は、燃料計（またはバッテリ計）を示す描画オブジェクト１１ｆを補正せずに、速度メーターを示す描画オブジェクト１１ｅを補正対象として、ユーザから平坦な面に描画されて見えるように描画オブジェクト１１ｅの位置または形状を変更するようにレンダリングパラメータを補正してもよい。また、補正部７は、移動体が所定速度未満で走行している場合は、速度メーターを示す描画オブジェクト１１ｅは補正せずに、燃料計（またはバッテリ計）を示す描画オブジェクト１１ｆを補正対象として、ユーザから平坦な面に描画されて見えるように描画オブジェクト１１ｆの位置または形状を変更するようにレンダリングパラメータを補正してもよい。

さらに、補正部７は、図７（ａ）に示すように、再生装置がメディア情報の再生を停止している場合、ユーザが次に操作するのは再生ボタンであるので、再生停止の操作に対応する描画オブジェクト１１ｈを補正せずに、再生開始の操作に対応する描画オブジェクト１１ｇを補正対象として、ユーザから平坦な面に描画されて見えるように描画オブジェクト１１ｇの位置または形状を変更するようにレンダリングパラメータを補正してもよい。また、補正部７は、再生装置がメディア情報を再生している場合、再生開始の操作に対応する描画オブジェクト１１ｇを補正せずに、再生停止の操作に対応する描画オブジェクト１１ｈを補正対象として、ユーザから平坦な面に描画されて見えるように描画オブジェクト１１ｈの位置または形状を変更するようにレンダリングパラメータを補正してもよい。これにより、メディア情報の再生装置の再生状況に応じて次に予想される操作に対応する描画オブジェクトを的確に補正対象とすることができる。

補正部７は、再生装置がメディア情報を再生している場合、再生中に使用が予想される停止ボタン、早送りボタン、巻き戻しボタンなどの、メディア情報の再生開始以外の再生状態を指定する操作に対応する描画オブジェクトを補正対象としてもよい。
従って、補正部７は、制御部５からの指示に従い、メディア情報の再生が停止されている場合には、メディア情報の再生開始を指定する操作に対応する描画オブジェクト１１ｇを補正対象とし、メディア情報が再生中である場合には、メディア情報の再生開始以外の再生状態を指定する操作に対応する描画オブジェクトを補正対象とする。これにより、メディア情報の再生状況に応じて次に予想される操作に対応する描画オブジェクトを的確に補正対象とすることができる。

補正部７は、表示面状態検出部８、表示面形状検出部９およびユーザ検出部１０が検出した情報に基づいて判別されたユーザ種別とその視点位置および視点からみた表示面４ａの形状を示す情報、もしくは、あらかじめ設定された上記情報に基づいて、表示面４ａにおける各描画オブジェクト１１ｅ〜１１ｈの描画位置を決定する。
図７では、速度メーターを示す描画オブジェクト１１ｅおよび燃料計（またはバッテリ計）を示す描画オブジェクト１１ｆは、表示装置が搭載される移動体の運転席のユーザＡから平坦な面に表示されて見えるように、表示面４ａの左側の領域に描画される。また、再生ボタンを示す描画オブジェクト１１ｇおよび停止ボタンを示す描画オブジェクト１１ｈは、助手席のユーザＢから平坦な面に表示されて見えるように、表示面４ａの右側の領域に描画される。

補正部７は、車両状態とユーザ検出部１０によって検出されたユーザの種別とに基づいて、当該ユーザに提示すべき情報についての描画オブジェクトを判別し、判別したオブジェクトのみを補正対象としてもよい。
例えば、図７（ａ）に示す場合、運転席のユーザＡ、すなわち種別が運転者のユーザについては、エンターティンメント制御系のオブジェクトより車両制御系の描画オブジェクトの補正を優先して視認性を向上させる必要があり、補正部７は、車両制御系の描画オブジェクトである速度メーターを示す描画オブジェクト１１ｅおよび燃料計（またはバッテリ計）を示す描画オブジェクト１１ｆを補正対象として、運転者のユーザを基準に表示面の状態、ユーザの位置、ユーザの視線方向、表示面の形状または移動体の状態に基づいて、補正対象とする描画オブジェクトを決定し、補正対象の描画オブジェクトのレンダリングパラメータを補正する。

また、助手席のユーザＢ、すなわち種別が運転者以外の乗員であるユーザについては、車両制御系のオブジェクトよりエンターテインメント制御系のオブジェクトの補正を優先して視認性を向上させる必要がある。そこで、エンターテインメント系の描画オブジェクトであるメディア情報の再生装置の再生ボタンの描画オブジェクト１１ｇおよび停止ボタンの状態がオブジェクト１１ｈを補正候補として、助手席のユーザを基準に表示面の状態、ユーザの位置、ユーザの視線方向、表示面の形状または移動体の状態に基づいて、補正対象とする描画オブジェクトの候補を決定する。このとき、補正部７は、上述したように、メディア情報の再生装置の再生状態などの移動体の状態に基づいて、補正対象とする描画オブジェクトを決定し、補正対象の描画オブジェクトのレンダリングパラメータを補正する。なお、ユーザ種別は、補正部７がユーザ位置から判断すればよい。

上述した補正対象を決定するルールは、補正部７にあらかじめ設定しておき、補正部７が、移動体の状態、ユーザ種別、またはユーザの位置などに応じて、どのルールで決定するかを判断してもよい。また、補正対象を決定する処理のアルゴリズムは、補正部７にあらかじめ複数のアルゴリズムを設定しておき、補正部７が取得する情報を固定的な閾値と比較して、その比較結果に応じてアルゴリズムを選択してもよい。閾値については、ファジー理論などでファジー化させた値を用いてもよい。

以上のように、この実施の形態３によれば、ユーザの種別または位置に基づいて、補正対象とする描画オブジェクトを決定するので、ユーザに応じて描画オブジェクトの視認性を向上させることができる。

また、この実施の形態３によれば、移動体の速度、燃料残量またはバッテリ残量、室温などの移動体に備えられている計測器の値、または、メディア情報の再生装置の再生状態などの移動体の状態に基づいて、補正対象とする描画オブジェクトを決定するので、ユーザにとって重要度の高い描画オブジェクトを的確に補正対象とすることができ、表示装置の負荷も低減できる。

さらに、この実施の形態３によれば、補正部７が、移動体の状態である当該移動体の計測器の値に応じて、補正対象とする描画オブジェクトを決定するので、ユーザにとって重要度の高い描画オブジェクトを的確に補正対象とすることができ、表示装置の負荷も低減できる。

さらに、この実施の形態３によれば、補正部７が、メディア情報の再生が停止されている場合、当該メディア情報の再生開始の操作に対応する描画オブジェクトを補正対象とし、メディア情報が再生中である場合には、当該メディア情報の再生開始以外の再生状態を指定する操作に対応する描画オブジェクトを補正対象とするので、メディアの再生状況に応じて操作が予想される描画オブジェクトを的確に補正対象とすることができる。

実施の形態４．
この実施の形態４に係る表示装置においては、補正部７が、描画オブジェクトの形状に基づいて、補正対象とする描画オブジェクトを決定し、補正対象の描画オブジェクトのレンダリングパラメータを補正して、ユーザから平坦な面に描画されて見えるように描画オブジェクトの描画位置を変更する。その他の構成および機能については、上記実施の形態１に係る表示装置と同様である。

図８は、この発明の実施の形態４に係る表示装置の補正部における表示面とオブジェクトの形状に応じて補正する処理を示す図であって、ユーザから見た表示部４の表示面４ａの形状に合わせて描画した場合に、ユーザから視認しにくくなると想定される形状の描画オブジェクトを補正対象とする例を示している。
図８（ａ）に示すように、平坦な表示面４Ａに表示することを前提とした描画オブジェクト１１ｉ，１１ｊを、図８（ｂ）に示すような画面中央から折れ曲がった表示面４ａに表示する場合を例に挙げる。描画オブジェクト１１ｉは円形のオブジェクトであり、描画オブジェクト１１ｊは矩形のオブジェクトである。

上述の場合、表示面４ａの形状に合わせて描画すると、図８（ｂ）に示すように、両オブジェクト１１ｉ，１１ｊとも歪んだ形状となって視認性が低下する。このため、レイアウトを変更して視認性の悪い領域に描画されないようにする必要がある。
しかしながら、全てのオブジェクトのレイアウトを変更すると、ユーザからの視認性が悪くならない領域にオブジェクトが集中して、かえって画面全体の視認性が低下することが懸念される。
そこで、補正部７は、ユーザから見た表示部４の表示面４ａの形状に合わせて描画した場合、ユーザから視認しにくくなると想定される形状の描画オブジェクトを補正対象とする。
図８の場合、矩形のオブジェクト１１ｊは、表示面４ａの形状に合わせたときに菱形に歪むだけであるが、円形のオブジェクト１１ｉは、細長な楕円形状に拉げてしまい、矩形の場合よりも視認性が悪くなる。
そのため、補正部７は、円形のオブジェクト１１ｉを補正対象として、図８（ｃ）に示すように、ユーザからの視認性が悪くならない領域にレイアウトを変更してから、ユーザから平坦な面に描画されて見えるように補正する。このようにすることで、補正すべきオブジェクトを的確に決定することができる。

なお、補正対象とする描画オブジェクトの決定方法としては、補正部７が、ユーザから視認しにくくなると想定される描画オブジェクトの形状をあらかじめ設定しておき、当該設定に基づいて決定してもよい。また、補正部７は、表示面の形状とオブジェクトの形状および描画位置とを対応付けて、補正対象とすべきか否かをあらかじめ設定しておき、当該設定に基づいて決定してもよい。また、補正部７は、表示面の形状とオブジェクトの形状をファジー理論などによりファジー化させて組み合わせたルールに沿って決定してもよい。

以上のように、この実施の形態４によれば、補正部７が、ユーザから見た表示部４の表示面の形状に合わせて表示した場合に、ユーザから視認しにくくなると想定される形状の描画オブジェクトを補正対象とするので、補正すべきオブジェクトを的確に決定することができ、表示装置の負荷も低減できる。

実施の形態５．
上記実施の形態４に係る表示装置においては、補正部７が、描画オブジェクトの形状に基づいて、補正対象とする描画オブジェクトを判断し、補正対象の描画オブジェクトのレンダリングパラメータを補正して、ユーザから平坦な面に描画されて見えるように描画オブジェクトの描画位置を変更する。この実施の形態５に係る表示装置においては、補正部７が、描画オブジェクトの形状に基づいて、補正対象とする描画オブジェクトを判断し、表示面に合わせてユーザから平坦な面に描画されて見えるように、補正対象の描画オブジェクトの形状を変更するようにレンダリングパラメータを補正する。その他の構成および機能については、上記実施の形態４に係る表示装置と同様である。

図９は、この発明の実施の形態５に係る表示装置の補正部における表示面に合わせてオブジェクトの形状を補正する処理を示す図であり、補正部７が、ユーザから平坦な面に描画されて見えるように当該描画オブジェクトの形状を変更する場合を示している。図９（ａ）に示すように、平坦な表示面４Ａに表示することを前提とした描画オブジェクト１１ｋを、図９（ｂ）に示すような画面中央から折れ曲がった表示面４ａに表示する場合を例に挙げる。描画オブジェクトには、その形状がそのままに見えることが重要なものと、その描画オブジェクトが提示する情報が重要なものとが存在している。

図９の場合は、表示部４に表示される対象は、燃料計（またはバッテリ計）を示す描画オブジェクト１１ｋであり、ユーザにとっては、その形状よりも、このオブジェクトが提示する情報、すなわち燃料の残量が重要である。
そこで、この実施の形態５では、補正部７が、非平坦な表示面４ａに描画するにあたり、元のイメージをそのまま再現するのではなく、提示される情報の視認性が向上するようにオブジェクトの形状を変更する。
例えば、図９では、描画オブジェクト１１ｋの描画サイズが大きく、レイアウトを変更すると、かえって視認性が低下してしまう。このため、図９（ｃ）に示すように、補正部７がレンダリングパラメータを補正することで、非平坦な面に描画されても矩形に見える形状に描画オブジェクト１１ｋを変更する。これにより、図９（ｄ）に示すように、ユーザから平坦な面に描画された矩形のオブジェクト１１ｌとなり、視認性を向上させることができる。

以上のように、この実施の形態５によれば、補正部７が、描画オブジェクトの形状に基づいて、補正対象を決定するので、補正すべきオブジェクトを的確に決定することができ、表示装置の負荷も低減できる。

実施の形態６．
この実施の形態６に係る表示装置においては、環境光の色に基づいて、補正対象の描画オブジェクトを決定し、補正対象の描画オブジェクトの色を変更する。また、この実施の形態６に係る表示装置においては、表示面の明るさに基づいて、補正対象の描画オブジェクトの輝度を変更する。その他の構成および機能については、上記実施の形態１に係る表示装置と同様である。

図１０は、この発明の実施の形態６に係る表示装置の補正部における周囲環境に応じてオブジェクトを補正する処理を示す図である。なお、説明の簡単のため、図１０では表示面が非平坦でない場合を示しているが、上述したように、非平坦な面を含む表示面に適用される。
図１０（ａ）は、青色でデザインされた描画オブジェクト１１ｍ，１１ｎが表示されている表示面４Ａに対して青色の環境光が照射された状況を示している。
この場合、制御部５は、表示面状態検出部８によって検出された表示面４Ａへの環境光の色に基づいて、環境光の色と同系色（例えば、色相環で環境光から所定範囲にある色）の描画オブジェクトである描画オブジェクト１１ｍ，１１ｎを補正対象とするように補正部７に対して指示する。

補正部７は、制御部５からの指示に従って、図１０（ｂ）に示すように、描画オブジェクト１１ｍ，１１ｎのレンダリングパラメータを補正し、青色で描画されていたオブジェクトの色を、この環境下において黄色に見えるように描画色を変更する。
このような変更を実現する方法としては、補正部７にあらかじめ環境色と描画色のパターンを定めておき、環境色と当該パターンとに応じて描画色を選択して補正する方法がある。また、補正部７は、環境光の反対色（色相環で環境光と反対側にある色）を描画色として補正してもよい。

また、表示面に太陽光などが照射された場合には、補正部７が、表示面状態検出部８によって検出された表示面４Ａにおける明るさに基づいて、描画オブジェクト１１ｍ，１１ｎの輝度を変更する。
補正部７は、描画オブジェクト１１ｍ，１１ｎのレンダリングパラメータを補正し、描画オブジェクトの輝度を、この環境下において視認しやすい輝度に変更する。
このような変更を実現する方法としては、補正部７にあらかじめ表示面の明るさと輝度のパターンを定めておき、表示面４Ａの明るさと当該パターンに応じて輝度を選択して補正することが考えられる。

以上のように、この実施の形態６によれば、補正部７が、補正対象の描画オブジェクトについてのレンダリングパラメータを補正して、当該描画オブジェクトの色または輝度を変更するので、描画オブジェクトの視認性を向上させることができる。

なお、本発明はその発明の範囲内において、各実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略、組み合わせが可能である。

１ 記憶部、２ レンダリング部、３ ＶＲＡＭ部、４ 表示部、４ａ，４Ａ 表示面、５ 制御部、６ 操作部、７ 補正部、８ 表示面状態検出部、９ 表示面形状検出部、１０ ユーザ検出部、１１ａ〜１１ｎ 描画オブジェクト。

Claims (13)

1. 少なくとも非平坦な部分を表示面に含む表示部と、
   表示画像の特性を決定するレンダリングパラメータに基づいてグラフィックスデータをレンダリングして前記表示部の表示面の形状に合わせて描画される描画データを生成するレンダリング部と、
   前記表示部の位置、および前記表示面の形状と向きと傾き、および前記表示面に対するユーザの位置と視線方向に基づいて、前記表示面上に表示される補正対象の描画オブジェクトがユーザから平坦な面に描画されて見えるように、前記グラフィックスデータの前記描画オブジェクトのレンダリングパラメータを、前記レンダリング部によるレンダリングの前に補正する補正部とを備える表示装置。
2. 前記補正部は、前記描画オブジェクトのカテゴリまたは補正対象であることを示すフラグに基づいて、補正対象とする描画オブジェクトを決定することを特徴とする請求項１記載の表示装置。
3. 前記補正部は、前記描画オブジェクトの形状に基づいて、補正対象とする描画オブジェクトを決定することを特徴とする請求項１記載の表示装置。
4. 前記補正部は、前記ユーザの種別または位置に基づいて、補正対象とする描画オブジェクトを決定することを特徴とする請求項１記載の表示装置。
5. 前記補正部は、前記表示装置が搭載または携帯される移動体の状態に応じて、補正対象とする描画オブジェクトを決定することを特徴とする請求項１記載の表示装置。
6. 前記補正部は、前記移動体の状態である当該移動体の計測器の値に応じて、補正対象とする描画オブジェクトを決定することを特徴とする請求項５記載の表示装置。
7. 前記補正部は、メディア情報の再生が停止されている場合、当該メディア情報の再生開始を指定する操作に対応する描画オブジェクトを補正対象とし、前記メディア情報が再生中である場合には、当該メディア情報の再生開始以外の再生状態を指定する操作に対応する描画オブジェクトを補正対象とすることを特徴とする請求項５記載の表示装置。
8. 前記補正部は、前記表示部の湾曲率が所定以上の領域に描画される描画オブジェクトを補正対象とすることを特徴とする請求項１記載の表示装置。
9. 前記補正部は、前記ユーザによる操作頻度が所定の閾値以上の描画オブジェクトを補正対象とすることを特徴とする請求項１記載の表示装置。
10. 前記補正部は、所定の情報を提示する描画オブジェクトを補正対象とすることを特徴とする請求項１記載の表示装置。
11. 前記補正部は、前記補正対象の描画オブジェクトのレンダリングパラメータを補正して、前記描画オブジェクトが描画されるレイアウトを変更することを特徴とする請求項１記載の表示装置。
12. 前記補正部は、前記補正対象の描画オブジェクトのレンダリングパラメータを補正して、前記描画オブジェクトの形状を変更することを特徴とする請求項１記載の表示装置。
13. 前記補正部は、前記補正対象の描画オブジェクトについてのレンダリングパラメータを補正して、当該描画オブジェクトの色または輝度を変更することを特徴とする請求項１記載の表示装置。

Images