JP6759813B2 - 処理装置、表示システム、表示方法、及びプログラム - Google Patents

Description

本発明は、処理装置、表示システム、処理方法、及びプログラムに関する。

特許文献１には、コンピュータグラフィックス（ＣＧ）の分野において、３次元の表示対象を立体的に表示する画像表示装置が開示されている。この画像表示装置では、３次元で構成されるオブジェクトのポリゴンデータを、２次元のピクセルデータに変換するレンダリング部を有している。ここで、２次元のピクセルデータは、輝度値データと、奥行き方向の情報を表す奥行データとを、含んでいる。輝度値データは、各画素の座標位置に関連付けて、輝度値及び色（ＲＧＢ）を表すデータとして構成されている。

特開２００５−２６７１８５号公報

このようなＣＧ映像を生成するＩＧ（Image Generator）では、各画素の輝度を０から無限大まで任意の値に設定することが可能となる。一方、ＣＧ映像を表示する表示装置（ディスプレイ）の明るさには限度がある。また、表示装置のダイナミックレンジ（明るさ、コントラスト）は一定である。よって、ＣＧ映像の仮想的な輝度を適切に表示することが困難である。

ＩＧと表示装置とを接続するインターフェース（Ｉ／Ｆ）において、映像信号にはＨＤＭＩ（登録商標）（High Definition Multimedia Interface）、ＤｉｓｐｌａｙＰｏｒｔ、ＤＶＩ（Digital Visual Interface）、ＳＤＩ（Serial Digital Interface）等の汎用インターフェースを用いる場合が多く、制御用にはＬＡＮ（Local Area Network）やＲＳ―２３２Ｃなどの汎用Ｉ／Ｆが用いられることが多い。これらの制御用の汎用Ｉ／Ｆにより、表示装置の明るさを制御することで、ダイナミックレンジを拡張することができる。しかしながら、これらの制御用の汎用Ｉ／Ｆでは、映像におけるフレーム単位で、明るさを制御することが困難である。さらに、ディスプレイの明るさのみの制御では、映像信号の最適化が行われていない。このため、特に暗い映像において、階調性が乏しくなるという問題がある。

本発明は上記の点に鑑みなされたもので、高いダイナミックレンジでＣＧ映像を表示することができる表示システム、処理装置、方法、及び、プログラムを提供することを目的とする。

本発明の一態様にかかる処理装置は、シーンに応じたＣＧ映像を表示するための映像信号を生成するプロセッサを有する処理装置であって、オブジェクトに関するオブジェクト情報に基づいて、レンダリング映像をレンダリングし、前記シーンの明るさ情報に基づいて、正規化レベルと、輝度圧縮レベルと、表示映像のフレームの明るさを設定する明るさ制御信号と、を生成し、前記レンダリング映像において前記輝度圧縮レベルと前記正規化レベルとで規定される輝度圧縮範囲にある画素の輝度を圧縮して、前記レンダリング映像から表示映像の画素データを含む映像信号を生成するものである。

本発明の一態様にかかる表示方法は、シーンに応じたＣＧ映像を表示する表示方法であって、オブジェクトに関するオブジェクト情報に基づいて、レンダリング映像をレンダリングするステップと、前記シーンの明るさ情報に基づいて、正規化レベルと、輝度圧縮レベルと、表示映像のフレームの明るさを設定する明るさ制御信号と、を生成するステップと、前記レンダリング映像において前記輝度圧縮レベルと前記正規化レベルとで規定される輝度圧縮範囲にある画素の輝度を圧縮して、前記レンダリング映像から表示映像の画素データを含む映像信号を生成するステップと、前記明るさ制御信号に応じた明るさで、前記映像信号に基づいた前記ＣＧ映像を表示するステップと、を含むものである。

本発明の一態様にかかるプログラムは、シーンに応じたＣＧ映像を表示する映像信号を生成するためのプログラムであって、オブジェクトに関するオブジェクト情報に基づいて、レンダリング映像をレンダリングするステップと、前記シーンの明るさ情報に基づいて、正規化レベルと、輝度圧縮レベルと、表示映像のフレームの明るさを設定する明るさ制御信号と、を生成するステップと、前記レンダリング映像において前記輝度圧縮レベルと正規化レベルとで規定される輝度圧縮範囲にある画素の輝度を圧縮して、前記レンダリング映像から表示映像の画素データを含む映像信号を生成するステップと、をコンピュータに対して実行させるものである。

本発明によれば、高いダイナミックレンジでＣＧ映像を表示することができる表示システム、表示装置、処理装置、表示方法、及びプログラムを提供できる。

ＨＤＲ対応の表示システムの全体構成を示す図である。 表示システムにおける画像処理の概要を説明するための図である。 処理装置におけるオブジェクト情報を説明するための図である。 晴天時において、シーンの明るさ情報の時間変化を示すグラフである。 曇天時／雨天時において、シーンの明るさ情報の時間変化を示すグラフである。 晴天時において、明るさ情報と正規化レベルと輝度圧縮レベルの時間変化を示すグラフである。 曇天時／雨天時において、明るさ情報と正規化レベルと輝度圧縮レベルの時間変化を示すグラフである。 レンダリング映像の仮想的な輝度と正規化レベルＡ〜Ｃを示す図である。 正規化レベルＡでのＯＥＴＦ処理を説明するための図である。 正規化レベルＢでのＯＥＴＦ処理を説明するための図である。 正規化レベルＣでのＯＥＴＦ処理を説明するための図である。 正規化レベルＡでのＥＯＴＦ処理を説明するための図である。 正規化レベルＢでのＥＯＴＦ処理を説明するための図である。 正規化レベルＣでのＥＯＴＦ処理を説明するための図である。 正規化レベルと光源出力の関係を示すグラフである。 明るさ制御信号を伝送する構成の一例を示すブロック図である。

〈表示システム〉
本実施の形態にかかる表示システムは、表示装置の表現できる輝度階調よりも広い輝度階調のデータの映像を表示するための表示システムである。表示システムは、フライトシミュレータやドライブシミュレータ、船舶シミュレータ、建築やインテリアＶＲ（Virtual Reality）などである。ここでは、映像はＣＧ映像であり、表示システムがパイロット訓練用のフライトシミュレータであるとして説明を行う。

表示システムは仮想的なオブジェクト情報に基づいて、ＣＧ映像を表示する。例えば、表示システムは、構造物を含む地表データをオブジェクト情報として記憶している。さらに、表示システムは、航空機の機体データ、光源データなどを記憶している。そして、表示システムは、オブジェクト情報等に基づいて、仮想的なレンダリング映像を生成（レンダリング）する。レンダリング映像は、ディスプレイのコントラストよりも大きいダイナミックレンジを有するＣＧ映像である。

表示システムは、レンダリング映像に基づいて、表示用の映像信号を生成する。さらに、表示システムは、予め設定された明るさ情報に基づいて、ディスプレイに表示される表示映像の明るさ制御信号を生成する。そして、表示用の映像信号、及び明るさ制御信号に基づいて、表示装置（ディスプレイ）がＣＧ映像を表示する。

図１に、表示システムの全体構成を示す。表示システム１００は、プロジェクタ１０と、インターフェース部３０と、処理装置４０とを備えている。

プロジェクタ１０は、ＨＤＲ対応のディスプレイ（表示装置）であり、動画又は静止画の映像を表示する。表示システム１００がフライトシミュレータに用いられている場合、プロジェクタ１０は、ユーザ（パイロット）が航空機の窓から見ることができる映像を表示する。例えば、プロジェクタ１０は、１２ビットのＲＧＢの映像信号に基づいて、映像を表示する。すなわち、プロジェクタ１０のＲＧＢの各画素では、０〜４０９５の階調表示が行われる。なお、以下の説明において、画素データは、ＲＧＢの各画素の階調値を示す値となる。

プロジェクタ１０は、背面投射型のプロジェクタ（リアプロジェクタ）であり、投射部１１と、投射レンズ１２と、ミラー１３と、スクリーン１４とを備えている。なお、本実施の形態では、ディスプレイが背面投射型のプロジェクタ１０であるとして説明するが、反射型のプロジェクタ、あるいは、プラズマディスプレイ、液晶ディスプレイ、有機ＥＬ（Electroluminescent）ディスプレイなどの他のディスプレイ（表示装置）であってもよい。

投射部１１は、スクリーン１４上に映像を投射するため、映像信号に基づいて投射光を生成する。例えば、投射部１１は、光源１１ａ、及び空間変調器１１ｂを備えている。光源１１ａは、ランプ、ＬＤ（Laser Diode）、又はＬＥＤ（Light Emitting Diode）などである。空間変調器１１ｂはＬＣＯＳ（Liquid Crystal On Silicon）パネル、透過型液晶パネル、又は、ＤＭＤ（Digital Mirror Device）などである。ここでは、光源１１ａがＲＧＢのＬＤであり、空間変調器１１ｂはＬＣＯＳパネルである。

投射部１１は、光源１１ａからの光を空間変調器１１ｂで変調する。そして、空間変調器１１ｂで変調された光が、投射レンズ１２から投射光として出射される。投射レンズ１２からの投射光は、ミラー１３でスクリーン１４の方向に反射されている。投影レンズ１２は、複数のレンズを有しており、投射部１１からの映像をスクリーン１４上に拡大投影する。

例えば、空間変調器１１ｂは、映像信号に含まれる画素データに基づいて、光源１１ａからの光を変調する。これにより、スクリーン１４上の各画素に画素データに応じた光量の光が入射する。そして、スクリーン１４で散乱した散乱光がユーザの瞳に入射する。このようにすることでスクリーン１４に表示されたＣＧ映像をユーザが視認することができる。

さらに、光源１１ａは、明るさ制御信号に基づいた光量の光を発生する。すなわち、光源１１ａの出力は、明るさ制御信号に基づいて制御される。光源１１ａであるＬＤの制御としては、電流制御やＰＷＭ（Pulse Width Modulation）駆動制御等がある。

処理装置４０は、ＣＧ映像を生成するＩＧである。処理装置４０は、映像信号、及び明るさ制御信号を生成するための、プロセッサ４１とメモリ４２とを備えている。なお、図１では、一つのプロセッサ４１と一つのメモリ４２が示されているが、プロセッサ４１とメモリ４２は複数設けられていてもよい。

例えば、メモリ４２は、画像処理を行うためのコンピュータプログラムが格納されている。そして、プロセッサ４１がメモリ４２からプログラムを読み出して、実行する。こうすることで、処理装置４０は、映像信号、及び明るさ制御信号を生成する。なお、映像信号には、各画素の階調値に対応する画素データが含まれている。映像信号の画素データは、上記のように、１２ビットのＲＧＢデータである。さらに、メモリ４２は、シミュレーションを行うため、種々の設定やデータを記憶する。

例えば、処理装置４０は、ＣＰＵ(Central Processing Unit)、メモリ、グラフィックカード、キーボード、マウス、入出力ポート（入出力Ｉ／Ｆ）等を備えたパーソナルコンピュータ（ＰＣ）等である。映像入出力に関する入出力ポートは、例えば、ＨＤＭＩ、ＤｉｓｐｌａｙＰｏｒｔ、ＤＶＩ、ＳＤＩ等である。

インターフェース部３０は、処理装置４０とプロジェクタ１０との間にインターフェースを有している。すなわち、インターフェース部３０を介して、処理装置４０とプロジェクタ１０との間で信号が伝送される。具体的には、インターフェース部３０は処理装置４０の出力ポート、プロジェクタ１０の入力ポート、及び、出力ポートと入力ポートを接続するＡＶ（Audio Visual）ケーブル等を備えている。インターフェース部３０としては、上記のようにＨＤＭＩ、ＤｉｓｐｌａｙＰｏｒｔ、ＤＶＩ、ＳＤＩ等の映像信号の汎用Ｉ／Ｆを用いることができる。

〈画像処理の概要〉
以下、本実施の形態にかかる画像処理に概要について、図２を用いて説明する。図２は、処理装置４０における処理と、プロジェクタ１０で表示される表示映像を説明するための図である。ＣＧ処理で生成されるレンダリング映像では、０から無限大に近い値までの仮想的な輝度を設定することができる。このため、図２のグラフＩの横軸に示されるように、レンダリング映像の各画素は、０〜無限大に近い値の仮想的な輝度（brightness）、例えば３２ビット相当で表現される。

一方、プロジェクタ１０は、輝度が有限である。すなわち、プロジェクタ１０で表示可能な輝度は、光源１１ａの出力レベル等に応じて設定される。したがって、レンダリング映像の最大輝度の画素に合わせて、光源１１ａの出力レベルを設定すると、暗い画素を適切に表示することが困難になる。

そのため、処理装置４０は、シーンに応じて、正規化レベル（normalizing level）を設定する。正規化レベルは、映像の１フレームにおける仮想的な輝度の上限に対応するレベルである。処理装置４０は、正規化レベルを用いて、レンダリング映像を正規化する。例えば、図２のグラフＩに示されるように、処理装置４０の各フレームにおける仮想的な輝度の最大値を、１として正規化する。したがって、正規化されたレンダリング映像では、画素データ（linear RGB）は０〜１の範囲で表現される。各フレームが適切な輝度で表示できるよう、正規化レベルはフレームに応じて可変となっている。例えば、処理装置４０は、シーンの明るさ情報に応じて正規化レベルを設定する。処理装置４０は、正規化されたレンダリング映像に基づいて映像信号を生成する。

さらに、処理装置４０は、図２のグラフＩＩに示すように、正規化レベルに応じた明るさ制御信号を生成する。明るさ制御信号は、光源１１ａの出力レベル（LD output）に相当する。例えば、明るさ制御信号は、０〜１００％の値で示され、１００％の時、光源１１ａが最大出力となる。明るさ制御信号は、フレーム毎に設定される。

処理装置４０は、インターフェース部３０を介して、映像信号、及び明るさ制御信号をプロジェクタ１０に伝送する。プロジェクタ１０は、映像信号、及び明るさ制御信号に応じて、ＣＧ映像を表示する。プロジェクタ１０は、フレーム毎に、明るさ制御信号に応じて光源１１ａの出力レベルを変える、そして、プロジェクタ１０は、フレーム毎に最適な光源１１ａの出力レベルで、ＣＧ映像を表示する。このようにすることで、図２のグラフＩＩＩのように、ダイナミックレンジを拡張することができる。

〈レンダリング映像と明るさ情報の生成〉
以下、画像処理の詳細について、図を参照して説明する。図３は、処理装置４０において、仮想的なオブジェクト情報を説明するための図である。図３に示すように、構造物５０３ａを含む地表５０３のデータが、メモリ４２に格納されている。さらに、光源５０１、及び機体５０２のデータが光源情報、及び機体情報として、それぞれメモリ４２に格納されている。そして、処理装置４０は、仮想的な空間に、光源５０１、機体５０２、及び地表５０３が配置された場合のレンダリング映像を生成する。

光源５０１は、太陽、星、月などである。さらに、光源５０１は、ガイドビーコン、蛍光灯、ＬＥＤなどの人工光源であってもよい。光源５０１の光源情報は、位置、角度、大きさ、形状に関する空間的なデータ、及び明るさに関するデータを含んでいる。太陽、星、月などは時間に応じて位置が変化する。

機体５０２は、ユーザが操縦する航空機に相当する。機体５０２の機体情報は航空機の大きさ、及び形状に関する空間的なデータを含んでいる。機体５０２のコックピットには、ユーザの視点５０６が存在する。機体５０２の位置はユーザの操縦に応じて変化する。

地表５０３は構造物５０３ａを含む地面に相当する。構造物５０３ａとしては、滑走路、空港周辺の建物、アンテナなどが挙げられる。地表５０３のオブジェクト情報は、地面の高低に関する空間的なデータを含んでいる。構造物５０３ａのオブジェクト情報は、構造物５０３ａの位置、大きさ、形状などの空間的なデータを含んでいる。さらに、オブジェクト情報は、地表５０３や構造物５０３ａの光の反射率に関する光学的なデータを含んでいる。

処理装置４０は、光源、機体、構造物５０３ａを含む地表５０３のオブジェクト情報に基づいて、視点５０６に入射する入射光の明るさを求める。例えば、処理装置４０は、オブジェクトのモデリング、ライティング、シェーディング等の処理を行うことで、レンダリング映像をレンダリングする。すなわち、処理装置４０は、レンダリング映像における各画素の仮想的な輝度（brightness）を算出する。なお、レンダリング映像は視点５０６から所定の画角で切り出された映像である。

ユーザの機体５０２を操縦するため、操縦桿などを用いて入力操作を行う。処理装置４０は、入力に応じた仮想空間上の航空機の機体の変化を計算し、視点の変化を計算する。処理装置４０は、仮想空間上の計算された視点における環境光情報を抽出し、明るさ情報を生成する。仮想空間上の計算された視点から見える絵をレンダリングする。

光源５０１が太陽の場合、光源５０１からの光は平行光５０５となる。光源５０１からの平行光５０５が構造物５０３ａ、地表５０３に当たって、拡散反射する。そして、構造物５０３ａ等のオブジェクト群で拡散反射した拡散反射光が環境光５０７として、視点５０６に入射する。

例えば、時間に応じて光源５０１の角度が変化する（図３中の光源５０１ａ）。光源５０１の角度によって、平行光５０５が入射する方向が変わる（例えば、平行光５０５ａ）。視点５０６に入射する入射光の明るさが光源５０１とユーザの視点５０６との位置関係に応じて変化する。すなわち、時間に応じて、視点５０６での明るさが異なる。

視点５０６の周辺の環境光５０７の強度は、光源５０１から視点５０６に直接入射する直接光よりも、構造物５０３ａ、地表５０３からの拡散反射光、および太陽からの直接光を除いた空などで拡散した光によるものが支配的である。この理由は、太陽などからの光のような輝度が無限大に近い直接光を環境光５０７として用いてしまうと、環境光５０７の強度が高くなりすぎて不自然な明るさで表示装置に表示されてしまうためである。

例えば、地表５０３、及び構造物５０３ａが、視点５０６に対して十分に広い面上に配置されている場合、十分に遠い光源５０１から視点５０６までの線とその面（地面）とのなす角度が小さくなると、面における単位面積あたりの受光量が少なくなる。このため、視点５０６の周辺の環境光５０７の明るさは暗くなる。

具体的には、朝や夕方では、光源５０１である太陽から視点５０６までの線と、地面との成す角度（図３中の角度α１）が小さくなる。一方、昼の状態では、光源５０１である太陽から視点５０６までの線と、地面との成す角度（図３中の角度α２）が大きくなる。よって、朝や夕方の方が、昼よりも視点５０６の周辺の環境光５０７の明るさが暗くなる。このように、１日の時間に応じてシーンの明るさが変化する。

処理装置４０には、時間に応じて変化するシーンの明るさ情報が定義されている。シーンの明るさ情報は、地球上の一日の明るさの変化をシミュレーションすることで求めることができる。例えば、シーンの明るさ情報は、太陽からの平行光５０５の角度に応じて求めることができる。

晴天時の明るさ情報の例を図４に示す。図４では、横軸が１日（０：００〜２４：００）における時間、縦軸がシーンの明るさ情報（Scene Brightness）を示している。時間に応じて、太陽である光源５０１からの平行光５０５の入射角度が変わる。正午１２時でシーンが最も明るくなり、深夜１２時に近づくにつれて暗くなっていく。

具体的には、上記したように正午１２時で、光源５０１と地面との成す角度が最も大きくなる。すなわち、平行光５０５が地面の垂直方向に近くなっている。よって、地表５０３において、単位面積当たりの受光量が大きくなり、シーンが明るくなる。図４中の平行光５０５ａ、５０５ｂ都市示すように、正午１２時から日の入りに向かうにつれて平行光５０５の方向が地表５０３と平行な方向に近くなっていく。日の出から正午１２時に向かうにつれて平行光５０５の方向が地表５０３と垂直な方向に近くなっている。

また、図５に、曇天時／雨天時のシーンの明るさ情報を示す。曇天時／雨天時でも同様に、正午１２時が最も明るくなり、深夜１２時に近づくにつれて暗くなっていく。また、同じ時間において、曇天時／雨天時におけるシーンの明るさ情報は、晴天時よりも暗くなっている。すなわち、平行光５０５の角度が同じであっても、曇天時／雨天時は晴天時よりもシーンが暗くなる。

太陽の位置に応じて、地面に対する平行光５０５の角度が変わる。処理装置４０は、地面に対する平行光５０５の角度αの関数として、明るさ情報を設定することができる。さらに、処理装置４０は、天候に応じて、明るさ情報を設定する。このようにすることで、簡便に明るさ情報を算出することができる。さらに、ＣＧ映像の生成前に、シーンの明るさ情報を設定することが可能である。例えば、シミュレーションを行う設定時間に応じて、太陽の角度をシミュレートする。そして、太陽の角度に応じて、プロセッサ４１が明るさ情報を予め演算することができる。そして、プロセッサ４１は、予め演算した明るさ情報をメモリ４２に書き込む。

このように、シーンの明るさ情報（Scene Brightness）は時間とともに変化する。換言すると、明るさ情報はフレーム毎に変化する。そして、１日の明るさ情報が天候に応じて定義されている。例えば、天候毎に、図４、図５に示すグラフのデータが明るさ情報としてメモリ４２に格納されている。メモリ４２は、明るさ情報のデータをテーブルとして格納していてもよく、関数として格納していてもよい。

上記の説明では、天候を晴天時と、曇天時／雨天時との２つに分類しているが、より細かく天候を分類してもよい。すなわち、天候を３以上に分類してもよい。そして、分類した天候毎に、明るさ情報の時間変化を定義してもよい。このように、シーンの明るさ情報は、天候、及び時間に応じて変化する。さらに、明るさ情報は視点５０６の高度や季節などによっても変化してもよい。この場合、処理装置４０は天候、季節、高度に応じて、時間とともに変化する明るさ情報を生成する。また、１日分の明るさ情報を設定する必要はなく、明るさ情報は、フライトシミュレータでシミュレートする時間分だけ設定されていればよい。よって、ユーザがシミュレートする日時などを入力する場合、処理装置４０は、その入力時間に応じて明るさ情報のデータを算出すればよい。

さらに、レンダリング映像に基づいて、シーンの明るさ情報を算出することも可能である。例えば、視点５０６に入射する入射光の総和から明るさ情報を算出することも可能である。具体的には、１枚又は複数のレンダリング映像の平均輝度ＡＰＬ（Average Picture Level）をシーンの明るさ情報とする。すなわち、レンダリング映像の仮想的な輝度(brightness)の平均値をシーンの明るさ情報とすることができる。平均輝度が大きいほど、明るいシーンとなり、平均輝度が小さいほど暗いシーンとなる。この場合、シーンの明るさ情報は、フレーム全体の平均輝度であってもよく、フレームの局所的な平均輝度であってもよい。また、２フレーム以上のレンダリング映像の平均輝度ＡＰＬを明るさ情報としてもよい。

〈正規化レベルと輝度圧縮レベルの生成〉
処理装置４０は、シーンの明るさ情報に基づいて、正規化レベルと輝度圧縮レベルを算出する。図６、及び図７に、０時〜２４時までの、正規化レベル（normalizing level）と輝度圧縮レベル（knee level）の変化を示している。図６は晴天時の正規化レベル（一点鎖線）と輝度圧縮レベル（二点鎖線）とを示し、図７は、曇天時／雨天時における正規化レベル（一点鎖線）と輝度圧縮レベル（二点鎖線）とを示している。さらに、図６、図７では、図４、図５に示した明るさ情報を実線で示している。

上記の通り、正規化レベルは、フレームにおける輝度の上限に対応するレベルである。輝度圧縮レベルは、フレームにおいて、輝度の圧縮を行うレベルである。すなわち、レンダリング映像における画素の輝度が輝度圧縮レベル以上であり、正規化レベル以下である場合、輝度の圧縮が行われる。このように、正規化レベル及び輝度圧縮レベルは輝度圧縮を行う輝度圧縮範囲を規定している。

輝度圧縮レベルは、シーンの明るさ情報が大きいほど高くなり、シーンの明るさ情報が小さいほど低くなる。また、正規化レベルは、シーンにおける想定する最大輝度に応じて変化する。なお、シーンの明るさ情報は、レンダリング映像の輝度でもよいが、人間の瞳孔のサイズが明るさで変化するため、瞳孔サイズの変化を考慮した方が効果的である。

明るい昼では、暗い夜に比べて瞳孔のサイズが小さくなる。そして、瞳孔のサイズによって、網膜に入射する光量が変化する。よって、明るい昼では、網膜に入射する光が夜に比べて制限される。夜と昼とで明るさの違いを比較すると、人間が視覚的に感じる明るさの違いは実際の明るさの違いよりも小さくなる。処理装置４０は、このような瞳孔サイズの変化を考慮して、正規化レベル及び輝度圧縮レベルを設定する。

正規化レベルは、反射率１００％で光を拡散反射する構造物５０３ａからの光（拡散反射光）の明るさを基準として設定される。具体的には、拡散反射光の明るさに対して、光源５０１から直接視点５０６に入射する光（直接光）や光源５０１からの光が鏡面反射されて視点５０６に入射する光（鏡面反射光）の明るさをどれくらい再現するかで設定される。

昼は、ＬＥＤや蛍光灯などの人工光に対して太陽光が桁違いに明るい。昼では、太陽からの直接光や鏡面反射光を適切に再現することが困難になる。このため、拡散反射光の明るさ（１００％）に対して、正規化レベルは２００％〜４００％程度に設定される。一方、夜は環境光が人工光のみで、拡散反射光の明るさは昼に比べて低くなる。このため、拡散反射光の明るさ（１００％）に対して、正規化レベルは６００％〜４０００％程度の範囲に設定される。輝度圧縮レベルは、反射率１００％で拡散反射光の明るさとするため、輝度圧縮レベルがプロジェクタ１０の表示の基準となる。このようにすることで、正規化レベル、及び輝度圧縮レベルを適切な明るさに設定することができる。

図６に示すように、晴天時の正午１２時における正規化レベルを正規化レベルＡとし、晴天時の午前３時における正規化レベルを正規化レベルＢとする。また、図７に示すように、曇天時／雨天時の正午１２時における正規化レベルを正規化レベルＣとする。なお、正規化レベルＢは曇天時／雨天時の午前３時における正規化レベルと同じとなっている。なお、太陽光が雲で拡散された光や、雲によって地表５０３に配置された構造物５０３ａからの光が再び地表５０３に拡散反射する場合をシミュレーションする場合は、正規化レベルＢとは異なる正規化レベルを設定してもよい。

正規化レベルＡ〜Ｃは、図８のような関係となっている。正規化レベルＡが最も大きく、正規化レベルＢが最も小さくなっている。正規化レベルＢは正規化レベルＡと正規化ベルＣの間となっている。そして、正規化レベルはフレーム毎に設定される。処理装置４０は、各フレームにおいて、正規化レベルでの輝度が１となるように、レンダリング映像を正規化する。

処理装置４０は、シーンの明るさ情報に基づいて、正規化レベル、及び輝度圧縮レベルを設定する。そして、処理装置４０は、正規化レベル、及び輝度圧縮レベルに基づいて、ＯＥＴＦ（Optical-Electro Transfer Function）処理を行う。ＯＥＴＦ処理では、光電気伝達関数（ＯＥＴＦ）を用いて、輝度情報が電気的な映像信号に変換される。具体的には、処理装置４０は、正規化されたレンダリング映像の画素データ（linear RGB）に基づいて、映像信号における画素データ（R’G’B’）を算出する。図９〜図１１を用いてＯＥＴＦ処理について説明する。

図９は、正規化レベルＡでのＯＥＴＦ処理を示す図である。図１０は、正規化レベルＢでのＯＥＴＦ処理を示す図である。図１１は、正規化レベルＣでのＯＥＴＦ処理を示す図である。図９〜図１１では、左側のグラフが、レンダリング映像の仮想的な輝度（Brightness）と、正規化されたレンダリング映像の画素データ（linear RGB）の関係を示し、右側のグラフが正規化されたレンダリング映像の画素データ（linear RGB）と映像信号における画素データ（R’G’B’）との関係を示している。したがって、図９〜図１１の右側のグラフが光電気伝達関数（ＯＥＴＦ）を示している。また、図９〜図１１の左側のグラフは共通であるが、正規化レベルＡ〜Ｃが異なっている。

正規化レベルＡ〜Ｃのそれぞれにおいて、正規化されたレンダリング映像の画素データ（linear RGB）は、０〜１の範囲になる。プロジェクタ１０のガンマγは２．２２２としている。図９〜図１１では、輝度圧縮レベルがプロジェクタ１０の明るさ６０％になるように、ＯＥＴＦのターゲットを０．８（＝０．６の（１／γ）乗）としている。なお、（１／γ）＝０．４５である。輝度圧縮レベルでの画素データ（R’G’B’）が０．８となるよう、ＯＥＴＦ処理を行っている。

正規化されたレンダリング映像の画素データ（linear RGB）をｘとし、映像信号における画素データ（R’G’B’）をｙとすると、光電気伝達関数（ＯＥＴＦ）は以下のようになる。

ｘが輝度圧縮レベルより小さい場合
ｙ＝ｐ＊ｘ（^１／γ）
ｘが輝度圧縮レベル以上の場合
ｙ＝ａ*ｌｏｇ（ｂ＊ｘ）＋ｃ

ｘが輝度圧縮レベルより小さい場合、送信側の処理装置４０が、通常のガンマ補正を行っている。一方、ｘが輝度圧縮レベル以上となると、処理装置４０が、輝度を圧縮するように対数（log）を用いて、映像信号における画素データ（R’G’B’）を算出している。なお、ｘ＝０でｙ＝０となり、ｘ＝１でｙ＝１となる。また、上記のように、ｘ＝輝度圧縮レベル（knee point）でｙ＝０．８となっている。そして、輝度圧縮レベルにおいて、光電気伝達関数が連続するように係数ａ、ｂ、ｃ、ｐが設定されている。例えば、傾きが、輝度圧縮レベルの前後で滑らかにつながるように、係数ａ、ｂ、ｃ、ｐが設定されている。

図９では、輝度圧縮レベルは、正規化レベルＡの半分（０．５）となっている。すなわち、反射率１００％の明るさが輝度圧縮レベルに対応し、反射率２００％の明るさが正規化レベルＡに対応している。ｘ＝０．５でｙ＝０．８となる。ａ＝０．６６４、ｂ＝２．０１７、ｃ＝０．７９８、ｐ＝１．２１８である。０．５〜１の範囲にある画素の輝度は圧縮される。

図１０では、輝度圧縮レベルは、正規化レベルＢの１／１０（０．１）となっている。すなわち、反射率１００％の明るさが輝度圧縮レベルに対応し、反射率１０００％の明るさが正規化レベルＢに対応している。ｘ＝０．１でｙ＝０．８となる。ａ＝０．２００、ｂ＝１．２５３、ｃ＝０．９８０、ｐ＝６．０９０である。０．１〜１の範囲にある画素の輝度は圧縮される。

図１１では、輝度圧縮レベルは、正規化レベルＣの１／４（０．２５）となっている。すなわち、反射率１００％の明るさが輝度圧縮レベルに対応し、反射率４００％の明るさが正規化レベルＣに対応している。ｘ＝０．２５でｙ＝０．８となる。ａ＝０．３３２、ｂ＝１．３７８、ｃ＝０．９５４、ｐ＝２．４３６である。０．２５〜１の範囲にある画素の輝度は圧縮される。

なお、図９〜図１１では、ＯＥＴＦにおける輝度圧縮レベルでのｙを０．８として固定しているが、輝度圧縮レベルでのｙの値は０．８に限られるものではない。プロジェクタ１０で表示可能な明るさやコントラスト（ダイナミックレンジ）に応じて、適宜設定することができる。例えば、プロジェクタ１０のダイナミックレンジが高いほど、輝度圧縮の比率が改善する。よって、プロジェクタ１０のダイナミックレンジが高くなるほど、輝度圧縮レベルでのｙの値を小さくすることができる。

特に、プロジェクタ１０に広いダイナミックレンジが要求されるのは、夜のシーンのような平均輝度（ＡＰＬ）に対して突出して高い輝度レベルを有する画素がある場合、あるいは、平均輝度（ＡＰＬ）に対して突出して低い輝度レベルを有する画素がある場合である。例えば、夜のシーンに対応する暗いシーンでは、図１０に示すように、ｘが０．１〜１．０の範囲で輝度圧縮が行われる。晴天時の昼のシーンに対応する明るいシーンでは、図９に示すように、０．５〜１．０の範囲でしか輝度圧縮が行われない。曇天時／雨天時の昼のシーンに対応する明るさが中間のシーンでは、図１１に示すように、０．２５〜１．０の範囲で輝度圧縮が行われる。すなわち、レンダリング映像の平均輝度が低いほど、輝度圧縮範囲を大きくなるように、輝度圧縮レベル及び正規化レベルが設定されている。換言すると、シーンの明るさ情報が暗いほど、輝度圧縮範囲を大きくなるように、輝度圧縮レベル及び正規化レベルが設定されている。

〈プロジェクタ１０による映像表示〉
そして、処理装置４０は、インターフェース部３０を介して、画素データ（R’G’B’）を含む映像信号、及び明るさ制御信号を同期してプロジェクタ１０に伝送する。ここで、画素データ（R’G’B’）は、ＲＧＢ１２ビットに対応している。

そして、プロジェクタ１０がＥＯＴＦ（Electro-Optical Transfer Function）処理を行う。ＥＯＴＦ処理では、電気光伝達関数を用いて、電気的な映像信号が輝度情報に変換される。具体的には、映像信号の画素データ（R’G’B’）に基づいた輝度で映像が表示されるように、プロジェクタ１０の空間変調器１１ｂが光を変調する。このようにすることで、ＥＯＴＦ処理を行うことができる。

図１２〜図１４を用いてＥＯＴＦ処理について説明する。図１２は、正規化レベルＡでのＥＯＴＦ処理を示している。図１３は、正規化レベルＢでのＥＯＴＦ処理を示す図である。図１４は、正規化レベルＣでのＥＯＴＦ処理を示す図である。図１２〜図１４では、左側のグラフが、電気光伝達関数（ＥＯＴＦ）を示しており、右側のグラフが、正規化されたレンダリング映像における画素データ（Linear RGB）と表示映像（Screen Image）における画素の輝度（Screen brightness）との関係を示している。

電気光伝達関数はｙ＝ｘ^γとなっている。なお、ｘは映像信号の画素データ（R’G’B’）であり、ｙは正規化されたレンダリング映像の画素データ（Linear RGB）である。プロジェクタ１０のγ＝２．２２２である。正規化レベルによらず、電気光伝達関数は同じである。

正規化レベルＡの場合、レンダリング映像の画素データ（Linear RGB）とプロジェクタ１０において表示される表示映像（Screen Image）の輝度（Screen Brightness）の関係は、図１２のようになる。レンダリング映像の画素データ（Linear RGB）が輝度圧縮レベル（０．５）未満では、画素データ（Linear RGB）と表示映像の輝度（Screen Brightness）の関係が線形となる線形領域となる。輝度圧縮レベル（０．５）以上では、画素データ（Linear RGB）と表示映像の輝度（Screen Brightness）の関係が対数関数となるように圧縮された圧縮領域となる。線形領域では、圧縮領域よりも傾きが急峻になる。

正規化レベルＢの場合、レンダリング映像の画素データ（Linear RGB）とプロジェクタ１０において表示される表示映像（Screen Image）の輝度（Screen Brightness）の関係は、図１３のようになる。レンダリング映像の画素データ（Linear RGB）が輝度圧縮レベル（０．１）未満では、画素データ（Linear RGB）と表示映像の輝度（Screen Brightness）の関係が線形となる線形領域となる。輝度圧縮レベル（０．１）以上では、画素データ（Linear RGB）と表示映像の輝度（Screen Brightness）の関係が対数関数となるように圧縮された圧縮領域となる。線形領域では、圧縮領域よりも傾きが急峻になる。

正規化レベルＣの場合、レンダリング映像の画素データ（Linear RGB）とプロジェクタ１０において表示される表示映像（Screen Image）の輝度（Screen Brightness）の関係は、図１４のようになる。レンダリング映像の画素データ（Linear RGB）が輝度圧縮レベル（０．２５）未満では、画素データ（Linear RGB）と表示映像の輝度の関係が線形となる線形領域となる。輝度圧縮レベル（０．２５）以上では、画素データ（Linear RGB）と表示映像の輝度（Screen Brightness）の関係が対数関数となるように圧縮された圧縮領域となる。線形領域では、圧縮領域よりも傾きが急峻になる。

このように正規化レベル、すなわち、シーンの明るさ情報に応じて、圧縮範囲が異なる。明るいシーン（正規化レベルＡ）では、圧縮範囲が小さくなり、暗いシーン（正規化レベルＢ）では圧縮範囲が大きくなる。圧縮領域（圧縮範囲）では、線形領域に比べて、階調値の違いによる表示輝度の違いが小さくなる。

さらに、プロジェクタ１０は、明るさ制御信号に応じて光源１１ａを制御する。光源１１ａの出力（LD output）は、明るさ制御信号に応じて変化する。図１５は、正規化レベルと光源１１ａの出力（LD output）と関係を示すグラフである。明るいシーンほど、正規化レベルが大きくなる。よって、正規化レベルが大きいほど、光源１１ａの出力（LD output）が大きくなる。反対に、暗いシーンほど、正規化レベルが大きくなる。よって、正規化レベルが小さいほど、光源１１ａの出力（LD output）が小さくなる。正規化レベルが大きいほど明るいシーンであるため、光源１１ａの出力が高くなるよう、明るさ制御信号が設定される。

このように、プロジェクタ１０において、光源１１ａの出力は明るさ制御信号に応じて制御される。また、空間変調器１１ｂは、映像信号の画素データ（R’G’B’）に応じて、光源１１ａからの光を変調する。このようにすることで、プロジェクタ１０が適切にＣＧ映像を表示することができる。

明るさ情報はフレーム単位で設定されているため、明るさ制御信号はフレーム単位で最適化されている。これにより、フレーム単位でプロジェクタ１０がシーンの明るさに応じた明るさで表示映像を表示することができる。フレーム単位でプロジェクタ１０が高いダイナミックレンジでＣＧ映像を表示する。

さらに、輝度圧縮レベル、及び正規化レベルがフレーム毎に可変となっている。よって、レンダリング映像の画素データを適切に圧縮することができる。人間の眼では、フレーム内の暗い領域の方が明るい領域よりも、階調の違いに敏感である。よって、輝度圧縮レベル以上の明るさを圧縮して表示することで、暗い領域の階調数を多く取ることができる。これにより、階調性を高くすることができ、様々なシーンのＣＧ映像を適切に表示することができる。

プロジェクタ１０で表示できる明るさには制限があるが、上記の画像処理により、現実世界での人間の視覚に知覚的に同じような効果（眩しさ感）を得るようにすることができる。特に全体が暗い夜のシーンにおいて、人工的な光源がある場合、光源５０１の眩しさを適切に表現することができるとともに、光源以外の暗い領域の階調を適切に表現することができる。また、明るい昼のシーンである場合、光源１１ａの出力が高い場合は、広いダイナミックレンジでの表示が可能となる。

このように、処理装置４０は、フレーム毎に正規化レベル、輝度圧縮レベル、明るさ制御信号を設定している。これにより、シーンに応じて、適切にＣＧ映像を表示することができる。

〈インターフェース部３０の構成例〉
なお、処理装置４０は、映像信号のＩ／Ｆと異なる外部制御Ｉ／Ｆを介して、明るさ制御信号をプロジェクタ１０に伝送してもよい。この場合、インターフェース部３０が映像信号用のＩ／Ｆと、明るさ制御信号用の外部制御Ｉ／Ｆをそれぞれ有することになる。そして、処理装置４０は、映像信号と明るさ制御を同期して、伝送する。

あるいは、処理装置４０は、映像信号のＩ／Ｆと同じＩ／Ｆを介して、明るさ制御信号をプロジェクタ１０に伝送してもよい。映像信号のＩ／Ｆを用いて明るさ制御信号を伝送する場合、映像信号の一部に明るさ制御信号を埋め込んでもよい。例えば、フレームの先頭の複数画素に対応する画素データに明るさ制御信号を埋め込むことができる。例えば、明るさ制御信号がｎ（ｎは１以上の整数）ビットの信号である場合で、先頭ｎ個の画素データの下位１ビットのデータに明るさ制御信号を埋め込めばよい。これにより、表示映像に対する影響を軽減することができる。

あるいは先頭の１画素の画素データに明るさ制御信号を埋め込んでもよい。この場合、先頭画素の画素データを用いずにプロジェクタ１０がＣＧ映像を表示すれば、表示映像に対する影響を軽減することができる。あるいは、ＨＤＭＩやＤｉｓｐｌａｙＰｏｒｔのように、フレーム毎に送信されるパケットに明るさ制御信号を付加することができる。

図１６は、明るさ制御信号を伝送するための構成の一例を示す図である。処理装置４０は、レンダリング映像生成部１４０と、パラメータ生成部１４１、ＯＥＴＦ処理部１４２と、エンコーダ１４３と、を備えている。プロジェクタ１０は、光源１１ａと、空間変調器１１ｂと、デコーダ１１３とを備えている。なお、既に説明した処理については適宜説明を省略する。

レンダリング映像生成部１４０は、オブジェクトをモデリングすることで、レンダリング映像を生成する。レンダリング映像生成部１４０は、レンダリング映像をパラメータ生成部とＯＥＴＦ処理部１４２に出力する。

パラメータ生成部１４１は、レンダリング映像に基づいて、正規化レベル、輝度圧縮レベル、及び明るさ情報を生成する。なお、パラメータ生成部１４１は、レンダリング映像の平均輝度ＡＰＬを明るさ情報として算出している。パラメータ生成部１４１は、レンダリング映像の平均輝度ＡＰＬに基づいて、輝度圧縮レベルと正規化レベルを算出する。

パラメータ生成部１４１は、輝度圧縮レベルと正規化レベルをＯＥＴＦ処理部１４２に出力する。ＯＥＴＦ処理部１４２は、輝度圧縮レベル、及び正規化レベルに基づいて、ＯＥＴＦ処理を行う。ＯＥＴＦ処理部１４２は、レンダリング映像の正規化、及び輝度圧縮を行うことで、画素データ（R’G’B’）を含む映像信号を生成する。

パラメータ生成部１４１は、明るさ情報をエンコーダ１４３に出力する。エンコーダ１４３は、明るさ情報に基づいて、明るさ制御信号を生成する。明るさ制御信号を映像信号にエンコードする。例えば、明るさ制御信号は、フレームの先頭画素に付加されている。あるいは、フレーム毎に送信されるパケットに明るさ制御信号が付加されている。

処理装置４０は、インターフェース部３０を介して、映像信号をプロジェクタ１０に伝送する。デコーダ１１３は、映像信号をデコードして、明るさ制御信号を取り出す。すなわち、デコーダ１１３は画素データから明るさ制御信号を分離する。そして、デコーダ１１３は明るさ制御信号を光源１１ａに出力する。光源１１ａは、明るさ制御信号に応じて、出力を制御する出力コントローラを有している。

空間変調器１１ｂは、ＬＣＯＳパネルなどであり、ＥＯＴＦ処理を行う。すなわち、映像信号に含まれる画素データ（R’G’B’）によって、光源１１ａの光を変調する。これにより、画素データ（R’G’B’）に応じたＣＧ映像が表示される。

なお、明るさ制御信号は、光源１１ａの出力（％）を示す値であってもよい。また、明るさ制御信号は、正規化レベルに対応するレンダリング映像の仮想的な輝度（brightness）であってもよい。また、処理装置４０は、明るさ制御信号ともに、正規化レベル、及び輝度圧縮レベルに関する情報を伝送してもよい。輝度圧縮レベルをプロジェクタ１０に伝送することで、電気光伝達関数（ＥＯＴＦ）を光電気伝達関数（ＯＥＴＦ）の逆関数にすることが可能となる。これにより、レンダリング映像を適切に再現することができる。

輝度圧縮レベルをプロジェクタ１０に伝送することで、電気光伝達関数（ＥＯＴＦ）を光電気伝達関数（ＯＥＴＦ）の逆関数をプロジェクタ１０側で生成することが可能となる。輝度圧縮前のレンダリング映像の輝度をプロジェクタ１０側で復元することが可能となる。これにより、可逆性の輝度圧縮が可能となる。

例えば、輝度圧縮レベルより小さい画素では、ｙ＝ｐ＊ｘ（^１／γ）の逆関数により、圧縮前の輝度を求めることができる。ｘが輝度圧縮レベル以上の画素では、ｙ＝ａ*ｌｏｇ（ｂ＊ｘ）＋ｃの逆関数により、圧縮前の輝度を求めることができる。そして、プロジェクタ１０で圧縮前の輝度で映像が表示されるように、階調値を生成する。

また、高いダイナミックレンジのプロジェクタ１０を用いた場合、明るいシーンでは、輝度圧縮を行わずに表示を行うことも可能である。例えば、図９では、輝度圧縮レベルに対応するＯＥＴＦのターゲットが０．８となっている。ダイナミックレンジが高いプロジェクタでは、輝度圧縮範囲を狭くすることができるため、ＯＥＴＦのターゲットの値を小さくすることができる。換言すれば、ＯＥＴＦのターゲットの値を小さくすることができるプロジェクタ１０を用いる場合、明るいシーンでは、輝度圧縮を行う必要がなくなる。

さらに、処理装置４０で生成したＣＧ映像を、複数のプロジェクタ１０で表示するようにしてもよい。ユーザの視野を複数に分割して、複数のプロジェクタ１０がＣＧ映像を投影するようにすればよい。このようにすることで、表示画面を広くすることができる。この場合、複数のプロジェクタ１０で同じ明るさ制御信号を用いるようにすればよい。

処理装置４０は、表示装置の表示特性に応じて、輝度圧縮範囲を設定すればよい。例えば、上記の説明では、シーンの明るさが暗いほど、輝度圧縮範囲が大きくなるように、輝度圧縮レベル及び正規化レベルが設定されていたが、シーンの明るさが明るいほど、輝度圧縮範囲が大きくなるように、輝度圧縮レベル及び正規化レベルが設定されていてもよい。

有機ＥＬディスプレイの場合、低輝度側では適切に階調表現することができるが、高輝度側では適切な階調表現が困難となる。すなわち、高輝度側の画素では、階調値の違いに対する輝度の違いが小さくなってしまう。このような場合、シールの明るさが明るいほど輝度圧縮レベルが大きくなるように、処理装置４０が、輝度圧縮レベルを設定する。

さらに、高輝度側の輝度を圧縮せずに、低輝度側の輝度を圧縮するようにしてもよい。また、この場合、正規化レベルは、フレームにおける輝度の上限に対応するレベル以外のレベルを設定してもよい。すなわち、処理装置４０は、表示装置の表示特性に応じて適切なレベルを正規化レベル、及び輝度圧縮レベルに設定することができる。

上記処理のうちの一部又は全部は、コンピュータプログラムによって実行されてもよい。上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ)、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ)、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。そして、メモリ４２に格納された命令をプロセッサ４１が実行することで、上記の処理が実行される。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記実施の形態に限られたものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。

１０ プロジェクタ
１１ 投射部
１１ａ 光源
１１ｂ 空間変調器
１２ 投射レンズ
１３ ミラー
１４ スクリーン
３０ インターフェース部
４０ 処理装置
５０１ 光源
５０２ 機体
５０３ 地表
５０３ａ 構造物
５０５ 平行光
５０６ 視点
５０７ 環境光

Claims (10)

1. シーンに応じたＣＧ映像を表示するための映像信号を生成するプロセッサを有する処理装置であって、
   オブジェクトに関するオブジェクト情報に基づいて、レンダリング映像をレンダリングし、
   前記オブジェクト情報に含まれる前記オブジェクトの光反射率に関するデータに基づいて前記レンダリング映像をレンダリングするときの視点に入射する環境光情報を求め、前記レンダリング映像をレンダリングするときの視点に入射する前記環境光情報から前記シーンの明るさ情報を生成し、
   前記シーンの明るさ情報に基づいて、正規化レベルと、輝度圧縮レベルと、表示映像のフレームの明るさを設定する明るさ制御信号と、を生成し、
   前記レンダリング映像において前記輝度圧縮レベルと前記正規化レベルとで規定される輝度圧縮範囲にある画素の輝度を圧縮して、前記レンダリング映像から表示映像の画素データを含む映像信号を生成する処理装置。
2. 前記オブジェクト情報は仮想空間中の光源を含み、
   前記仮想空間中の光源に関するオブジェクト情報に基づいて、前記視点に入射する環境光情報が生成されていることを特徴とする請求項１に記載の処理装置。
3. 前記シーンの明るさが暗いほど、前記輝度圧縮範囲が大きくなるように、前記輝度圧縮レベル及び前記正規化レベルが設定されている請求項１、又は２に記載の処理装置。
4. 前記シーンの明るさが明るいほど、前記輝度圧縮範囲が大きくなるように、前記輝度圧縮レベル及び前記正規化レベルが設定されている請求項１、又は２に記載の処理装置。
5. 前記明るさ情報が、時間に応じた関数又はテーブルとして設定されている請求項１〜４のいずれか１項に記載の処理装置。
6. 請求項１〜５のいずれか１項に記載の処理装置と、
   前記映像信号に基づいて前記ＣＧ映像を表示する表示装置と、を備えた表示システム。
7. 前記表示装置が、
   光源装置と、
   前記光源装置からの光を、前記映像信号に基づいて変調する空間変調器と、を備え、
   前記明るさ制御信号に基づいて、前記光源装置の出力が制御されている請求項６に記載の表示システム。
8. 前記プロセッサと前記表示装置とを接続する汎用Ｉ／Ｆをさらに備え、
   前記明るさ制御信号が汎用Ｉ／Ｆを介して、前記プロセッサから前記表示装置に伝送される請求項６、又は７に記載の表示システム。
9. シーンに応じたＣＧ映像を表示する表示方法であって、
   オブジェクトに関するオブジェクト情報に基づいて、レンダリング映像をレンダリングするステップと、
   前記オブジェクト情報に含まれる前記オブジェクトの光反射率に関するデータに基づいて前記レンダリング映像をレンダリングするときの視点に入射する環境光情報を求め、前記レンダリング映像をレンダリングするときの視点に入射する前記環境光情報から前記シーンの明るさ情報を生成するステップと、
   前記シーンの明るさ情報に基づいて、正規化レベルと、輝度圧縮レベルと、表示映像のフレームの明るさを設定する明るさ制御信号と、を生成するステップと、
   前記レンダリング映像において前記輝度圧縮レベルと前記正規化レベルとで規定される輝度圧縮範囲にある画素の輝度を圧縮して、前記レンダリング映像から表示映像の画素データを含む映像信号を生成するステップと、
   前記明るさ制御信号に応じた明るさで、前記映像信号に基づいた前記ＣＧ映像を表示するステップと、を含む表示方法。
10. シーンに応じたＣＧ映像を表示する映像信号を生成するためのプログラムであって、
    オブジェクトに関するオブジェクト情報に基づいて、レンダリング映像をレンダリングするステップと、
    前記オブジェクト情報に含まれる前記オブジェクトの光反射率に関するデータに基づいて前記レンダリング映像をレンダリングするときの視点に入射する環境光情報を求め、前記レンダリング映像をレンダリングするときの視点に入射する前記環境光情報から前記シーンの明るさ情報を生成するステップと、
    前記シーンの明るさ情報に基づいて、正規化レベルと、輝度圧縮レベルと、表示映像のフレームの明るさを設定する明るさ制御信号と、を生成するステップと、
    前記レンダリング映像において前記輝度圧縮レベルと前記正規化レベルで規定される範囲にある画素の輝度を圧縮して、前記レンダリング映像から表示映像の画素データを含む映像信号を生成するステップと、を
    コンピュータに対して実行させるプログラム。

Images