JP6723969B2 - 画像処理装置、表示装置、および画像処理方法 - Google Patents

Description

本発明は、ディスプレイに画像を表示させる画像処理装置およびそれが行う画像処理方法に関する。

従来、テレビジョン放送や配信動画などの映像表示において画質を向上させるための様々な技術が開発されてきた。近年では解像度や色域を向上させる技術に加え、輝度のレンジを拡大したＨＤＲ（High Dynamic Range）の信号を処理する技術が普及しつつある。従来のＳＤＲ（Standard Dynamic Range）と比較し、ＨＤＲは輝度の許容範囲が１００倍程になるため、太陽光の反射など実世界で眩しいと感じるような対象を、画像上でもよりリアルに表現することができる。テレビジョン放送や配信動画のみならず、ゲーム画像などコンピュータグラフィクスの世界でも、ＨＤＲでの表現により、仮想世界をより臨場感のあるものにできる（例えば特許文献１参照）。

特開２０１６−５８８４８号公報

広大な輝度空間を存分に利用してダイナミックな画像表現を実現しようとしても、それを表示するディスプレイが出力可能な輝度レンジや表示に至るまでの信号処理などに起因して、元の画像の世界観や画像作成者の意図を忠実に再現するのが困難な場合がある。例えば元の画像で与えられている輝度レンジより、ディスプレイが対応できる輝度レンジが小さい場合、一般的には高輝度領域で輝度の階調を圧縮するような変換がなされる。

その結果、画像内の明るい場所や空などにオブジェクトを詳細に描写しても、その情報のいくらかが失われ、ユーザに視認されないことがあり得る。また、実際に表示された画像における各画素の輝度は、表示装置内部での制御方式、画像内の輝度分布、素子の発光時間などに依存して変化するため、データとしての画像が同じでも、それらの要因に応じて見やすさが変化してしまうことも考えられる。

本発明はこうした課題に鑑みてなされたものであり、その目的は、意図された画像表現を、ディスプレイに安定的に表すことのできる技術を提供することにある。

本発明のある態様は画像処理装置に関する。この画像処理装置は、画像のデータを取得する画像データ取得部と、画像の画素値を構成する輝度のレンジを、表示画像として出力可能な輝度のレンジに対応するように変換する輝度変換部と、変換後の輝度を画素値とする画像のデータを出力する出力部と、を備え、輝度変換部は、表示において設定輝度に比例する輝度での出力が可能な線形輝度レンジに係る情報を取得し、少なくとも当該情報に基づき変換規則を決定することを特徴とする。

本発明の別の態様は表示装置に関する。この表示装置は表示において設定輝度に比例する輝度での出力が可能な線形輝度レンジに係る情報を出力する特性出力部と、画像の画素値を構成する輝度のレンジが、前記線形輝度レンジに基づく変換規則で変換された画像のデータを取得する画像データ取得部と、画像を表示する表示部と、を備えることを特徴とする。

本発明のさらに別の態様は画像処理装置に関する。この画像処理装置は画像のデータを取得する画像データ取得部と、表示装置において設定輝度に比例する輝度での出力が可能な線形輝度レンジに収めるべき、制御対象の輝度レンジの情報を前記画像に対して取得し、取得した前記輝度レンジの情報と、前記画像のデータとを対応づけて表示装置に出力する出力部と、を備えることを特徴とする。

本発明のさらに別の態様は画像処理方法に関する。この画像処理方法は、画像のデータを取得するステップと、画像の画素値を構成する輝度のレンジを、表示画像として出力可能な輝度のレンジに対応するように変換するステップと、変換後の輝度を画素値とする画像のデータを出力するステップと、を含み、変換するステップは、表示において設定輝度に比例する輝度での出力が可能な線形輝度レンジに係る情報を取得し、少なくとも当該情報に基づき変換規則を決定することを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によると、意図された画像表現を、ディスプレイに安定的に表すことができる。

本実施の形態における画像処理システムの構成例を示す図である。 トーンマッピングで従来用いられる変換関数を例示する図である。 本実施の形態における表示装置の輝度特性を例示する図ある。 本実施の形態における輝度の変換を概念的に示す図である。 本実施の形態における画像処理装置および表示装置の内部回路構成を示す図である。 本実施の形態における画像処理装置の機能ブロックの構成を示す図である。 本実施の形態においてトーンカーブ生成部が生成するトーンカーブを例示する図である。 本実施の形態における画像処理装置が、画像データを生成して表示装置に出力する処理手順を示すフローチャートである。 本実施の形態によってもたらされる画像上の変化を説明するための図である。 本実施の形態における輝度変換の機能を有する表示装置および画像処理装置の機能ブロックの構成を示す図である。

図１は本実施の形態における画像処理システムの構成例を示す。画像報処理システムは、画像処理装置１０、入力装置１４、表示装置１６を含む。図示するように画像処理装置１０はインターネットなどのネットワーク８を介して各種コンテンツを提供するサーバー等と接続可能としてもよい。入力装置１４はコントローラ、キーボード、マウス、ジョイスティック、タッチパッドなどユーザ操作が可能な一般的な入力装置のほか、ユーザなど実世界を撮影する撮像装置、音声を取得するマイク、各種物理値を検出するセンサや、それらのうちいずれかの組み合わせでもよい。

表示装置１６は、画像を表示する液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイなどで実現する。さらに音声を出力するスピーカを備えていてもよい。入力装置１４および表示装置１６は、画像処理装置１０に有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。また入力装置１４、表示装置１６、画像処理装置１０の外観形状は図示するものに限らず、例えばそれらのうち２つ以上が一体的に形成されていてもよい。

画像処理装置１０は、ユーザ操作に係る信号を入力装置１４から受信し、それに応じた処理を実施して表示画像のデータを生成し、表示装置１６に出力する。画像処理装置１０はゲーム機、パーソナルコンピュータ、タブレット端末、携帯端末、携帯電話などのいずれであってもよい。そのような画像処理装置１０の形態や、ユーザが選択したアプリケーションやコンテンツなどに応じて、画像処理装置１０が行う処理の内容は様々であってよい。

例えば画像処理装置１０は、ユーザが指定した電子ゲームをユーザ操作に応じて進捗させ、そのゲーム画面のデータを所定のフレームレートで描画し出力する。あるいはネットワーク８を介してサーバーから動画のデータストリームを取得し、それを順次復号して出力してもよい。記録媒体に格納された動画のデータを読み出し、順次復号して出力してもよい。以後、画像処理装置１０自体による描画、および他で生成された画像データの復号を、画像処理装置１０による画像の「生成」と総称する。

このような構成において画像処理装置１０は、例えば１６ビット浮動小数で画素ごとに各色の輝度を表した画像を生成し、それを量子化することで１０ビットなどの電気信号として表示装置１６に送信する。表示装置１６は当該電気信号を逆量子化により輝度としたうえ、電圧に変換してディスプレイパネルを駆動させることにより画像を出力する。ここで、出力可能な輝度レンジは表示装置１６によって様々であるため、元の画像で表されている広い輝度レンジを、出力可能な輝度レンジに収めるための輝度の変換処理、いわゆるトーンマッピングを行う。

図２は、トーンマッピングで従来用いられる変換関数（以後、「トーンカーブ」と呼ぶ）を例示している。同図は代表的なトーンカーブであるReinhard関数を示しており、人の視覚特性を考慮して低輝度領域から高輝度側へ向かうほど階調を抑えるような変換を実現している。これにより、輝度レンジがどのような表示装置であっても、輝度レンジの圧縮による見た目への影響を少なくできる。またこのようなトーンカーブを、本来の画像の平均輝度を考慮して決定することにより、圧縮された輝度レンジの中間部分、ひいては低輝度領域と高輝度領域のおよその区別を、画像全体の明るさに応じて調整できる。

一方、このようなトーンマッピングでは、画像内の明るい場所ほど、本来の画像で与えられていた詳細な表現が、階調の圧縮により失われやすくなる。このことは、表示装置１６における出力輝度の特性によっても起こり得る。図３は、表示装置１６の輝度特性を例示している。同図左側のグラフにおいて、横軸はトーンマッピングによる変換後の輝度（設定輝度）、縦軸はそれに基づきディスプレイの素子を発光させたときの出力輝度を示している。

図２に示したトーンカーブの場合、変換後の輝度の設定上の最大値１．０が、図３の設定輝度の最大値ＩＮｍａｘに対応し、それによる出力輝度ＯＵＴｍａｘが、当該表示装置１６の最大出力輝度である。設定輝度の最小値から最大値ＩＮｍａｘまでの変化に対し、当然、出力輝度は単調増加するが、輝度特性８２ａ、８２ｂに示すように、その傾きは一定でないことが多い。具体的には、最小値からある程度の輝度までは設定輝度に対し同程度の階調での出力輝度を保証し、設定輝度がそれより大きい場合、出力輝度の変化が抑えられる傾向となる。

つまり図示するように、所定の輝度Ａを境界とし、それ以下の設定輝度では設定輝度と出力輝度が線形の関係を有し、それより大きい領域では傾きが徐々に小さくなるような輝度特性となる。さらに一般的な表示装置は、画像の輝度分布によって表示上の明るさを制御することにより、消費電力が規定値を超えないようにしている。このため同図右側に示す画像８０ａ、８０ｂのように、同程度の高輝度の領域を有する画像であっても、その面積が小さい画像８０ａの輝度特性８２ａは、面積の大きい画像８０ｂの輝度特性８２ｂと比較し、高輝度領域での出力輝度が高くなる。

またバックライトを備えた液晶などの表示装置では、バックライトの温度上昇に伴って輝度が増加する特性を有するため、出力輝度の特性は発光からの時間によっても変動することになる。このように、特に高輝度領域においては、設定輝度が同じであっても、実際に出力される輝度が表示装置内部での制御等に起因して様々となる。その結果、元の画像で表現されていた詳細部分の視認性は、それが高輝度で表されるほど表示装置や状況に依存して不安定になる。これにより、例えば対戦ゲームにおいて、仮想空間の明るい場所にいる敵オブジェクトが、ゲームに用いる表示装置によって見やすかったり見にくかったりすると、ゲーム自体の公平性に関わる問題となる。

そこで本実施の形態における画像処理装置１０は、上述の敵オブジェクトのように画像における表現上の特性と、表示装置の輝度特性の双方に応じて、トーンマッピングにおける変換規則を調整する。図４は、本実施の形態における輝度の変換を概念的に示している。同図（ａ）、（ｂ）はいずれも、トーンマッピングによる変換前の輝度レンジ８４ａ、８４ｂと、変換後の輝度レンジ８６ａ、８６ｂを、矩形の高さで示している。なお変換前後の輝度レンジの単位は特に限定されないため、図示する輝度レンジの尺度もあくまで例示である。

また変換後の輝度レンジ８６ａ、８６ｂはどちらも、図３で示す「設定輝度」のレンジに対応し、設定可能な最大輝度をＩＮｍａｘ、設定輝度と出力輝度が線形の関係を有する輝度レンジ（以後、「線形輝度レンジ」と呼ぶ）のうち最大輝度をＡとしている。当該最大輝度Ａは表示装置に依存するとともに、場合によっては画像上の輝度分布や時間にも依存し得る。同図の（ａ）は、敵オブジェクトのように、元の画像において与えられた詳細度を表示においても維持したい対象が比較的中間的な輝度レンジに収まっている場合、（ｂ）は、そのような対象が比較的高輝度で表される場合である。

上述の対戦ゲームの例では、室内など同じ仮想空間でも（ａ）は敵オブジェクトが、日光が直接当たらない場所にいる場合、（ｂ）は窓際など日光が直接当たる場所に移動した場合などに対応する。画像全体の輝度分布としては両者に大きな差がないとすると、上述の一般的なトーンマッピングによれば、敵オブジェクトの位置によらず一律な輝度変換がなされる。その結果、（ｂ）の画像における敵オブジェクトは、高輝度領域に属してしまい、階調が圧縮されるとともに、表示装置に依存して出力輝度が変化しやすい。

本実施の形態では、この敵オブジェクトのように、画像を提供する側が詳細度や視認性を維持したいと考える対象の、表現上の輝度レンジ（以後、「制御輝度レンジ」と呼ぶ）のうち最大輝度ＣおよびＣ’を取得し、それらが常に表示装置の線形輝度レンジのうち最大輝度Ａに変換されるようにトーンカーブを決定する。これにより、当該対象の表現上の輝度が高輝度側に移行しても階調の圧縮を免れるとともに、出力輝度が表示装置や状況に依存するような高輝度領域に極力属さないようにすることができる。結果として、元の画像世界を尊重しながら要所の表現や視認性の損失を抑えられる。

なお制御輝度レンジと線形輝度レンジはおよそ対応づけられればよく、両者の最大輝度を厳密に対応づけなくてもよい。例えば最大輝度に所定量のマージンを加えた輝度同士を対応づけてもよいし、最大輝度自体を時間平均などの近似値としてもよい。また本実施の形態における「輝度」は主に、ＲＧＢの各色に対し画素値として与えられている輝度を想定しているが、ＲＧＢ画像を輝度画像、色差画像など異なる属性の画像に変換した場合の画素値や、ＲＧＢの輝度の組み合わせによって表される、色空間における座標などに置き換えることもできる。

図５は、画像処理装置１０の内部回路構成を示している。画像処理装置１０は、ＣＰＵ（Central Processing Unit）２３、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、ネットワーク８などへ接続する有線または無線ＬＡＮのネットワークインターフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、表示装置１６へデータを出力する出力部３６、入力装置１４からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。

ＣＰＵ２３は、記憶部３４に記憶されているオペレーティングシステムを実行することにより画像処理装置１０の全体を制御する。ＣＰＵ２３はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。通信部３２はまた、ネットワーク８を介してサーバーなど外部の装置と通信を確立し、動画像など電子コンテンツのデータを取得したり、画像処理装置１０内部で生成されたデータを送信したりしてもよい。

ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２３からの描画命令に従って描画処理を行い、図示しないフレームバッファに表示画像のデータを格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部３６から出力することにより、表示装置１６に画像を表示させる。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

図６は、画像処理装置１０および表示装置１６の機能ブロックの構成を示している。同図および後述する図１０に示す各機能ブロックは、ハードウェア的には、図５に示したＣＰＵ、ＧＰＵ、各種メモリ、データバスなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、演算機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

画像処理装置１０は、入力装置１４やネットワーク８から必要なデータを取得する入力情報取得部５０、画像を生成する画像生成部５２、画像生成に用いるデータを格納する画像データ記憶部５４、表示装置１６から線形輝度レンジに係る情報を取得する表示装置特性取得部５６、上述のとおりトーンマッピングを実施する輝度変換部５８、および、表示装置１６へ画像のデータを出力する画像出力部６４を含む。

入力情報取得部５０は入力部３８やＣＰＵ２３などで実現され、ユーザ操作の内容を示すデータを入力装置１４から取得する。ここでユーザ操作とは、実行するアプリケーションや出力するコンテンツの選択、処理の開始／終了、アプリケーションに対するコマンド入力など、一般的なコンテンツ処理に対しなされるものでよい。入力装置１４として撮像装置や各種センサを導入する場合、入力情報取得部５０は撮影画像やセンサの出力値などのデータを取得してもよい。

入力情報取得部５０はまた、動画など電子コンテンツのデータを、ネットワーク８を介してサーバーから取得してもよい。入力情報取得部５０は取得したデータを画像生成部５２に供給する。画像生成部５２はＣＰＵ２３、ＧＰＵ２４、メインメモリ２６などで実現され、入力情報取得部５０から取得したユーザ操作等の情報に従い表示画像のデータを生成する。例えばユーザがゲームを選択した場合、画像生成部５２はユーザ操作やセンサの出力値などに応じたゲーム画像を所定のフレームレートで描画する。

この際、画像生成部５２は、ゲームを進捗させるためのプログラムや、画像を描画するためのオブジェクトモデルのデータなどを、画像データ記憶部５４から適宜読み出す。あるいは画像生成部５２は、ユーザが指定した動画や静止画のデータを復号、伸張してもよい。当該画像のデータは、画像データ記憶部５４に格納しておいたものでもよいし、ネットワーク８を介してサーバーから配信されたものでもよい。あるいは入力装置１４に含まれる撮像装置が撮影した画像のデータを取得し、復号、伸張してもよい。画像生成部５２はさらに、それらの画像データに対応する制御輝度レンジに係る情報も取得する。

例えばゲーム画像を表示する態様では、あらかじめゲームのプログラムやオブジェクトモデルの付加情報として、詳細度を維持したい対象オブジェクトを指定しておく。そして画像生成部５２は画像フレームを描画する際、当該対象オブジェクトが表されている輝度の範囲あるいはその最大値を、制御輝度レンジに係る情報として取得する。この場合、対象オブジェクトの移動や仮想空間での照度の変化などにより、制御輝度レンジも時間変化することになる。

あるいはそのようなゲーム画像であっても、制御輝度レンジを固定とすることもできる。例えば、対象オブジェクトに想定される輝度の変化をゲームの作成段階で取得しておき、その最大輝度をゲームプログラムやオブジェクトモデルの付加情報とする。この場合、画像生成部５２はゲームの処理を開始する際などに、当該付加情報を読み出せばよい。なお制御輝度レンジの拠り所となる対象は、特定のオブジェクトでなくてもよい。

例えば画像における前景領域や文字情報を表す領域など、何らかの規則によって特定される画像内の領域でもよい。場合によっては画像の内容に関わらず、制御輝度レンジを直接指定してもよい。あるいは画像生成部５２は、ライトマップなど仮想空間における光源の位置と仮想スクリーンの位置に基づき、所定の規則で制御輝度レンジを導出してもよい。この場合、例えば光源が近くにあることにより画像が全体的に明るすぎて詳細が見づらくなるような状態を回避するなど、画像全体の輝度レンジに対する自然な調整を行える。

また別途準備されたコンテンツの画像を表示する態様では、コンテンツのデータに、制御輝度レンジに係る情報を付加しておき、画像生成部５２が処理の開始時などにそれを読み出す。コンテンツが動画の場合、制御輝度レンジの時間変化を付加情報としてもよいし、全編にわたる制御輝度レンジの変動を取得し、そのうちの最大輝度を付加情報としてもよい。画像生成部５２は、生成した画像のデータと、制御輝度レンジに係る情報を、輝度変換部５８に順次供給する。

表示装置特性取得部５６は入力部３８やＣＰＵ２３などで実現され、線形輝度レンジに係る情報を表示装置１６から取得する。上述のとおり線形輝度レンジは表示装置１６固有であるとともに、表示する画像における輝度分布や発光からの時間などによっても変動し得る。それらに起因する、線形輝度レンジの最大輝度の変動のうち、例えば最小値を取得して、制御輝度レンジの最大輝度と対応づけるようにすれば、常に線形輝度レンジが制御輝度レンジを包含することが保証される。ただし本実施の形態をこれに限る趣旨ではなく、線形輝度レンジの最大輝度の平均値や最大値を、制御輝度レンジの最大値と対応づけても、およそ同様の効果を得ることができる。

そのような線形輝度レンジに係る情報は、表示装置単位で固定としてもよいし、表示するコンテンツや、そのうちのシーンによって変化させてもよい。例えば画像が全体的に明るいシーンでは、図３に示す原理により、暗いシーンより線形輝度レンジが狭くなることが考えられる。これを踏まえ、例えば画像の全体的な明るさ（輝度分布）の段階ごとに、そのような画像を表示したときの線形輝度レンジを取得し、それらを対応づけたデータを線形輝度レンジに係る情報として準備しておいてもよい。

この場合、コンテンツやシーンごとの輝度分布をコンテンツデータの付加情報としておくことにより、採用する線形輝度レンジを輝度分布に基づき切り替えることができる。あるいは画像生成部５２が画像の輝度分布をフレームごとに算出すれば、採用する線形輝度レンジをフレームごとに切り替えることもできる。なお表示装置１６が、ゲームモード、シネマモード、ダイナミックモードなど、表示するコンテンツによって切り替え可能な表示モードを有する場合、線形輝度レンジが表示モードによって変化することが考えられる。そこで表示モードごとに線形輝度レンジを準備しておき、実際の表示モードに応じて用いる線形輝度レンジを切り替えてもよい。

いずれにしろ線形輝度レンジに係る情報は表示装置に依存するため、測定によりあらかじめ取得しておくことが望ましい。例えば所定形状の図形の設定輝度と面積を変化させた画像を表示装置１６に順次表示させ、その表示輝度を測定していくことで、図３で示したような輝度特性を取得できる。そのうち線形の変化を示す設定輝度の範囲を、線形輝度レンジとして表示装置１６の内部メモリに格納しておく。あるいは同様の測定により様々な表示装置に対し得られた線形輝度レンジの情報を、表示装置の型格などの識別情報に対応づけてサーバーに格納しておき、画像処理装置１０がネットワーク８を介して適宜取得できるようにしてもよい。そのようなデータベースを、表示装置１６が保持するようにしてもよい。

なお表示装置１６の線形輝度レンジが取得できない場合などに、表示装置特性取得部５６は、所定の規則に基づき線形輝度レンジを推定してもよい。例えば様々な表示装置に対し得られている線形輝度レンジに係る情報を、その属性ごとに分類したデータベースを内部のメモリに格納しておく。ここで表示装置の属性とは、メーカー、サイズ、表示方式、製造時期、型格の一部など、一般的な付加情報でよい。そして、実際に接続されている表示装置１６の属性に基づき当該データベースを参照することで、最も近い属性に対する線形輝度レンジを採用する。

データベースをサーバーに設け、必要に応じてネットワーク８を介して問い合わせできるようにしてもよい。あるいは、様々な表示装置の線形輝度レンジのうち最も範囲が狭い線形輝度レンジをデフォルト値として設定しておくことにより、制御輝度レンジが実際の線形輝度レンジに包含されることを保証するようにしてもよい。

輝度変換部５８はＧＰＵ２４やメインメモリ２６などで実現され、輝度の変換規則を表すトーンカーブを生成するトーンカーブ生成部６０と、画像の輝度を変換する変換部６２を含む。トーンカーブ生成部６０は、画像生成部５２から取得した制御輝度レンジを、表示装置特性取得部５６から取得した線形輝度レンジに対応づけるようなトーンカーブを生成する。両者が固定であればトーンカーブも固定であるため、トーンカーブ生成部６０は初期に一度のみ処理を行えばよい。両者の少なくともどちらかをシーンごと、あるいは逐次制御する場合、トーンカーブ生成部６０はその変化に合わせてトーンカーブを逐次生成する。

変換部６２は、そのように生成されたトーンカーブを用いて、画像生成部５２が生成した画像の画素値が表す各色の輝度をそれぞれ変換する。画像出力部６４はＣＰＵ２３、ＧＰＵ２４、メインメモリ２６、出力部３６などで実現され、変換部６２によって変換された輝度を所定の伝達関数を用いて量子化し、それを画素値とする画像の電子データを表示装置１６に出力する。

表示装置１６は、線形輝度レンジに係る情報を格納する表示装置特性記憶部７０、線形輝度レンジに係る情報を画像処理装置１０へ出力する特性出力部７２、画像処理装置１０からコンテンツの画像データを取得する画像データ取得部７４、画像データの電気信号の情報を輝度の値に変換する輝度取得部７６、および、変換後の輝度でディスプレイを駆動させるディスプレイ駆動部７８を含む。

表示装置特性記憶部７０は、表示装置１６自体、あるいはその他の表示装置を含む複数の表示装置に対し取得された線形輝度レンジに係る情報を格納する。特性出力部７２は画像処理装置１０からの問い合わせなどに応じて、表示装置特性記憶部７０から線形輝度レンジに係る情報を読み出し、画像処理装置１０へ出力する。画像データ取得部７４は、画像処理装置１０から画像フレームのデータを取得する。このデータは上述のとおり、トーンマッピング後の輝度を量子化した電子データである。

輝度取得部７６は、画像フレームのデータを逆量子化することにより、各画素の設定輝度を取得する。ディスプレイ駆動部７８は、変換後の輝度に基づく電圧でディスプレイを駆動させることにより画像を表示する。このときの設定輝度と出力輝度の関係は図３で示したとおりであるが、制御輝度レンジが線形輝度レンジ内にあることにより、当初意図した詳細度で要所を表すことが保証される。

図７はトーンカーブ生成部６０が生成するトーンカーブを例示している。このうちトーンカーブ９０ａおよび９０ｂはそれぞれ、図４の（ａ）および（ｂ）に示す変換を実現する際に生成される。トーンカーブは実際には、輝度の範囲ごとの関数として定義する。あるいは変換前後の離散的な輝度を対応付けたルックアップテーブルなどでもよい。トーンカーブ９０ａ、９０は、図４で示したように制御輝度レンジのうち最大輝度Ｃ、Ｃ’を、表示装置１６の線形輝度レンジのうち最大輝度Ａに変換するとともに、それ以下の輝度を線形に変換する領域９２ａ、９２ｂを含む。

なお表示装置に対し輝度を絶対値で指定するＰＱ（Perceptual Quantization）方式では、表示装置１６で出力可能な輝度範囲に対応する最小輝度ＩＮｍｉｎおよび最大輝度ＩＮｍａｘが、図示するように変換後の輝度に対し定義される。輝度を相対値で指定するＨＬＧ（Hybrid Log-Gamma）方式では、変換後の輝度が０から１の間で変化する。いずれにしろ制御輝度レンジ内の輝度を、傾きが正の１次関数により、線形輝度レンジ内での輝度に変換することにより、詳細に表す必要のある対象を、画像作成者の意図に近い状態で表示させることができる。また画像内での状況により当該対象を表す輝度が増加しても、領域９２ａから領域９２ｂへの変化のように１次関数の傾きを調整することにより、表示における詳細度の損失を抑えることができる。

なお図示するトーンカーブのバリエーションは一例であり、上述のとおり制御輝度レンジのうち最大輝度Ｃ、Ｃ’を、全ての状況を踏まえた最大輝度を設定することで固定としてもよい。また線形輝度レンジのうち最大輝度Ａを、状況に応じて変動させてもよい。またトーンカーブ９０ａ、９０ｂに示すように、領域９２ａ、９２ｂより高い輝度領域では、表示装置１６の最大出力輝度や、伝達関数の方式などに応じた形で、徐々に傾きが減少していくような曲線とする。当該曲線を表す関数は特に限定されず、また曲線に限らず複数の直線を接続した関数としてもよい。これにより、要所については詳細度の損失を抑えつつ、高輝度部分については表示装置の出力可能な輝度範囲を用いたダイナミックな表現が可能となる。

次に、これまで述べた構成によって実現される画像処理装置１０の動作について説明する。図８は本実施の形態における画像処理装置１０が、画像データを生成して表示装置に出力する処理手順を示すフローチャートである。まず入力情報取得部５０は、コンテンツ選択などのユーザ操作の情報の取得を開始する（Ｓ１０）。次に表示装置特性取得部５６は、画像データの出力先として接続されている表示装置１６から、当該表示装置１６の特性、すなわち線形輝度レンジに係る情報を取得する（Ｓ１２）。なお当該情報は上述のとおり、ネットワーク８を介して接続された、図示しないサーバーから取得してもよい。

次に画像生成部５２は、Ｓ１０で指定されたコンテンツを適宜処理し、画像フレームを描画あるいは復号することにより生成する。続いて輝度変換部５８のトーンカーブ生成部６０は、元の画像データやプログラムの付加情報として与えられている、画像における制御輝度レンジを、Ｓ１２で取得した、表示装置１６の線形輝度レンジに対応づけるようなトーンカーブを生成する（Ｓ１６）。

なお線形輝度レンジを画像フレームごとに変化させる場合、画像生成部５２は、詳細度を維持したい対象の、当該画像フレームにおける最大輝度を抽出することにより、Ｓ１４の処理において線形輝度レンジに係る情報を生成してもよい。さらに画像生成部５２は、一旦、浮動小数で決定した輝度を、線形輝度レンジのうち最大輝度を１として正規化することにより、画像データ自体に線形輝度レンジの情報を含めてもよい。この場合、図７の横軸におけるＣ（あるいはＣ’）の値は１となる。このときトーンカーブ生成部６０は、例えば１以下の輝度の領域が直線、それより大きい輝度の領域が曲線となるようにトーンカーブを作成する。

輝度変換部５８の変換部６２は、Ｓ１６で生成されたトーンカーブを用いて、Ｓ１４で生成された画像の輝度を変換する（Ｓ１８）。続いて画像出力部６４は、変換後の輝度を所定の伝達関数を用いて量子化し、画素ごと、色ごとの電気信号として表示装置１６に出力する（Ｓ２０）。全フレームの出力が完了していなければ（Ｓ２２のＮ）、次の画像フレームについてＳ１４からＳ２０の処理を繰り返す。表示装置では一般的な処理により画素ごとに輝度を取得し出力することにより、フレームごとに適切な輝度割り当てで映像が表示される。表示すべき全フレームの出力が完了したら処理を終了する（Ｓ２２のＹ）。

図９は、本実施の形態によってもたらされる画像上の変化を説明するための図である。（ａ）は従来のトーンマッピングによる画像、（ｂ）は本実施の形態のトーンマッピングによる画像の例を模式的に示している。例えば比較的暗い仮想空間で、強い光に照らされた一部の場所に敵オブジェクト９４ａ、９４ｂがいるシーンを想定する。従来のトーンマッピングでは、画像の最低輝度、最大輝度、平均輝度などに応じてトーンカーブを調整するものの、この例のように表示上のダイナミックレンジが大きい場合、敵オブジェクト９４ａは結果として高輝度領域に分類されてしまい、階調圧縮や出力輝度の調整対象になりやすい。

その結果、（ａ）に示すように周囲の明るい空間と同化してしまい、敵オブジェクト９４ａが視認されにくくなったり、その視認性が表示装置に依存したりすることが考えられる。本実施の形態によって、敵オブジェクト９４ｂの輝度を、表示装置の線形輝度レンジ内に納めるように変換すれば、周囲の明るい空間との階調差が維持され、敵オブジェクト９４ｂを安定的に表示できるとともに、画像全体のダイナミックレンジは保たれる。

これまで述べた態様は、画像を生成する画像処理装置１０が表示装置の特性に応じて適切に輝度を変換する例であったが、同様の機能を表示装置側に設けても同じ効果が得られる。この場合のシステムの構成も、図１で示したのと同様でよい。図１０は、輝度変換の機能を有する表示装置１６と画像処理装置１０の機能ブロックの構成を示している。同図において、図６に示す機能ブロックと同等の機能を有するブロックについては同じ符号を付し、適宜説明を省略する。

画像処理装置１０は、入力装置１４やネットワーク８から必要なデータを取得する入力情報取得部５０、画像を生成する画像生成部５２、画像生成に用いるデータを格納する画像データ記憶部５４、および、表示装置１６へ画像フレームのデータと制御輝度レンジに係る情報を出力する画像・特性出力部１６４を含む。

入力情報取得部５０、画像生成部５２、および画像データ記憶部５４は、図６で示した対応する機能ブロックと同様の機能を有する。画像・特性出力部１６４は、画像生成部５２が生成した画像フレームのデータと、当該画像における制御輝度レンジに係る情報を、表示装置１６に出力する。本実施の形態では輝度レンジの変換を表示装置１６内で実施するため、画像・特性出力部１６４が出力する画像のデータは、例えば１６ビット浮動小数で表された輝度を量子化したデータで構成してよい。また、当該画像フレームあるいはコンテンツなどに対し制御輝度レンジを取得する手順は、図６の場合と同様である。

表示装置１６は、画像処理装置１０からコンテンツの画像データと制御輝度レンジに係る情報を取得する画像・特性取得部１７４、画像データの電気信号の情報を輝度の値に変換する輝度取得部７６、線形輝度レンジと制御輝度レンジが対応するように画像の輝度を変換する輝度変換部５８、線形輝度レンジに係る情報を格納する表示装置特性記憶部７０、および変換後の輝度でディスプレイを駆動させるディスプレイ駆動部７８を含む。

画像・特性取得部１７４は、画像処理装置１０からコンテンツの画像フレームのデータと、制御輝度レンジに係る情報を取得する。なお制御輝度レンジに係る情報を画像フレームによらず固定とする場合、第１フレームのみに当該情報を付加すればよい。輝度取得部７６、表示装置特性記憶部７０、および輝度変換部５８は、図６で示した対応する機能ブロックと同様の機能を有する。

ただし輝度変換部５８は、画像における制御輝度レンジに係る情報を画像・特性取得部１７４から取得する。また線形輝度レンジに係る情報は、表示装置特性記憶部７０から読み出す。そしてトーンカーブ生成部６０はそれらの輝度レンジが対応づけられるようにトーンカーブを作成し、変換部６２は輝度取得部７６が取得した画素ごとの輝度を、当該トーンカーブを用いて変換する。ディスプレイ駆動部７８は、変換後の輝度に基づく電圧でディスプレイを駆動させることにより画像を表示する。このような構成としても、画像上で必要な部分については、状況によらず詳細度を維持した表示を実現できる。

以上述べた本実施の形態によれば、画像内で状況によらず詳細度を維持して表示したい対象をあらかじめ明確化しておき、その情報と、表示装置での輝度特性に基づき変換規則を決定したうえ、表示装置の出力可能輝度範囲に応じた輝度変換を行う。より具体的には、詳細度を維持したい対象の輝度が、表示装置が設定輝度に比例した出力を行える上限輝度以下に収まるようにトーンカーブを生成し、トーンマッピングを行う。これにより、詳細に表現したい対象が仮想空間内で移動したり仮想空間自体が変化したりして高輝度で表す必要が生じても、階調の圧縮による視認性の悪化を抑えられる。

また、そのような高輝度領域は表示装置特有の制御や画像の輝度分布などに起因して出力輝度が変化しやすい。輝度変換に用いるトーンカーブを、表示装置個々の輝度特性や画像の状態を考慮して決定することにより、出力結果を安定化できる。結果として、同じゲームコンテンツであっても表示装置によって見え方が異なり、プレイヤに不公平感を与えるといった課題を回避しつつ、ＨＤＲなど広い輝度空間で定義された迫力のある画像を安定的に表示できる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

８ ネットワーク、 １０ 画像処理装置、 １４ 入力装置、 １６ 表示装置、 ２３ ＣＰＵ、 ２４ ＧＰＵ、 ２６ メインメモリ、 ５０ 入力情報取得部、 ５２ 画像生成部、 ５４ 画像データ記憶部、 ５６ 表示装置特性取得部、 ５８ 輝度変換部、 ６０ トーンカーブ生成部、 ６２ 変換部、 ６４ 画像出力部、 ７０ 表示装置特性記憶部、 ７２ 特性出力部、 ７４ 画像データ取得部、 ７６ 輝度取得部、 ７８ディスプレイ駆動部。

Claims (12)

1. 画像のデータを取得する画像データ取得部と、
   前記画像の画素値を構成する輝度のレンジを、表示画像として出力可能な設定輝度のレンジに対応するように変換する輝度変換部と、
   変換後の輝度を画素値とする画像のデータを出力する出力部と、
   を備え、
   前記輝度変換部は、前記設定輝度に基づきディスプレイパネルを駆動させたときの表示上の出力輝度が前記設定輝度に比例する範囲である線形輝度レンジに係る情報を取得し、少なくとも当該情報に基づき変換規則を決定することを特徴とする画像処理装置。
2. 前記輝度変換部は、前記画像に対し設定された制御対象の輝度レンジが、前記線形輝度レンジに収まるように、前記変換規則を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記輝度変換部は、前記制御対象の輝度レンジにおいて、変換後の輝度が変換前の輝度に比例するように前記変換規則を決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記輝度変換部は、前記画像に対し設定された特定のオブジェクトの輝度の最大値を、前記制御対象の輝度レンジの最大輝度として、前記変換規則を決定することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記輝度変換部は、動画像を構成する画像フレームごとに取得された、前記特定のオブジェクトの輝度の最大値を、前記制御対象の輝度レンジの最大輝度として、前記画像フレームごとに前記変換規則を決定することを特徴とする請求項４に記載の画像処理装置。
6. 前記輝度変換部は、動画像のシーンごとに取得された、前記特定のオブジェクトの輝度の最大値を、前記制御対象の輝度レンジの最大輝度として、前記シーンごとに前記変換規則を決定することを特徴とする請求項４に記載の画像処理装置。
7. 前記線形輝度レンジに係る情報を表示装置の識別情報と対応づけて保持するサーバーから、前記画像の出力先である表示装置の前記線形輝度レンジに係る情報を取得する表示装置特性取得部をさらに備えることを特徴とする請求項１から６のいずれかに記載の画像処理装置。
8. 前記輝度変換部は、前記変換規則の決定に用いる前記線形輝度レンジに係る情報を、前記画像の輝度分布に応じて選択することを特徴とする請求項１から７のいずれかに記載の画像処理装置。
9. 設定輝度に基づきディスプレイパネルを駆動させたときの表示上の出力輝度が前記設定輝度に比例する範囲である線形輝度レンジに係る情報を出力する特性出力部と、
   画像の画素値を構成する輝度のレンジが、前記線形輝度レンジに基づく変換規則で、前記設定輝度のレンジに対応するように変換された画像のデータを取得する画像データ取得部と、
   前記画像を表示する表示部と、
   を備えることを特徴とする表示装置。
10. 画像のデータを取得する画像データ取得部と、
    表示装置において設定輝度に基づきディスプレイパネルを駆動させたときの表示上の出力輝度が前記設定輝度に比例する範囲である線形輝度レンジに収めるべき、制御対象の輝度レンジの情報を前記画像に対して取得し、取得した前記輝度レンジの情報と、前記画像のデータとを対応づけて表示装置に出力する出力部と、
    を備えることを特徴とする画像処理装置。
11. 画像のデータを取得するステップと、
    前記画像の画素値を構成する輝度のレンジを、表示画像として出力可能な設定輝度のレンジに対応するように変換するステップと、
    変換後の輝度を画素値とする画像のデータを出力するステップと、
    を含み、
    前記変換するステップは、前記設定輝度に基づきディスプレイパネルを駆動させたときの表示上の出力輝度が前記設定輝度に比例する範囲である線形輝度レンジに係る情報を取得し、少なくとも当該情報に基づき変換規則を決定することを特徴とする画像処理装置による画像処理方法。
12. 画像のデータを取得する機能と、
    前記画像の画素値を構成する輝度のレンジを、表示画像として出力可能な設定輝度のレンジに対応するように変換する機能と、
    変換後の輝度を画素値とする画像のデータを出力する機能と、
    をコンピュータに実現させ、
    前記変換する機能は、前記設定輝度に基づきディスプレイパネルを駆動させたときの表示上の出力輝度が前記設定輝度に比例する範囲である線形輝度レンジに係る情報を取得し、少なくとも当該情報に基づき変換規則を決定することを特徴とするコンピュータプログラム。