JP6527641B2 - 画像処理装置および重畳画像生成方法 - Google Patents

Description

本発明は、複数の画像データを重畳表示させる画像処理装置および重畳画像生成方法に関する。

従来、テレビジョン放送や配信動画などの映像表示において画質を向上させるための様々な技術が開発されてきた。近年では解像度や色域を向上させる技術に加え、輝度のレンジを拡大したＨＤＲ（High Dynamic Range）の信号を処理する技術が普及しつつある。従来のＳＤＲ（Standard Dynamic Range）と比較し、ＨＤＲは輝度の許容範囲が１００倍程になるため、太陽光の反射光など実世界で眩しいと感じるような対象を、画像上でもよりリアルに表現することができる。

テレビジョン放送や配信動画のみならず、ゲーム画像などコンピュータグラフィクスの世界でも、ＨＤＲの画像表現が可能になれば、仮想世界をよりリアルなものにできる。一方、ゲームなど多様な情報を提示する必要があるコンテンツの場合は特に、ダイアログボックス、ヘルプ画面、コントロールパネル、インジケータなどの各種情報を、主たる画像に重畳させて臨機応変に表示できるようにすることが望ましい。この場合、主たる画像によって表されるリアル性を追求した世界観を隠蔽によって必要以上に損なうことなく、かつ必要な情報が一見して視認できるような表示技術が求められる。

本発明はこうした課題に鑑みてなされたものであり、その目的は、輝度レンジの差によらず、複数の画像をバランスよく重畳表示させることのできる技術を提供することにある。

本発明のある態様は画像処理装置に関する。この画像処理装置は、第１画像のデータを取得する第１画像取得部と、第１画像上に重畳表示させるべき第２画像のデータを取得する第２画像取得部と、第１画像および第２画像の少なくともいずれかの輝度レンジを、所定の規則に従い調整する輝度レンジ調整部と、輝度レンジが調整された画像のデータを用いてアルファブレンド処理することにより、重畳画像のデータを生成し出力する出力値算出部と、を備えたことを特徴とする。

本発明の別の態様は重畳画像生成方法に関する。この重畳画像生成方法は、第１画像のデータを取得するステップと、第１画像上に重畳表示させるべき第２画像のデータを取得するステップと、第１画像および第２画像の少なくともいずれかの輝度レンジを、メモリに格納された所定の規則に従い調整するステップと、輝度レンジが調整された画像のデータを用いてアルファブレンド処理することにより、重畳画像のデータを生成し表示装置に出力するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によると、輝度レンジの差によらず、複数の画像をバランスよく重畳表示させることができる。

本実施の形態における情報処理システムの構成例を示す図である。 本実施の形態において情報処理装置が生成する画像を模式的に示す図である。 図２に示した重畳処理において、第１画像と第２画像の輝度レンジが大きく異なる場合に生成され得る表示画像を模式的に示す図である。 本実施の形態における情報処理装置の内部回路構成を示す図である。 本実施の形態における情報処理装置の機能ブロックの構成を示す図である。 本実施の形態における輝度レンジの調整規則を定性的に説明するための図である。 本実施の形態における、輝度を変換する関数ｆの例を示す図である。 本実施の形態における、輝度を変換する関数ｆの別の例を示す図である。 本実施の形態における、輝度を変換する関数ｆのさらに別の例を示す図である。 本実施の形態における、輝度を変換する関数ｆのさらに別の例を示す図である。 本実施の形態における関数Ｂ（α）の例を示す図である。 本実施の形態における関数Ｂ（α）の変形例を示す図である。 本実施の形態において画像の一部に対し輝度レンジを調整する態様を説明するための図である。

図１は本実施の形態における情報処理システムの構成例を示す。情報処理システムは、情報処理装置１０、入力装置１４、表示装置１６を含む。図示するように情報処理装置１０はインターネットなどのネットワーク８を介して各種コンテンツを提供するサーバ等と接続可能としてもよい。入力装置１４はコントローラ、キーボード、マウス、ジョイスティック、タッチパッドなどユーザ操作が可能な一般的な入力装置のほか、ユーザなど実世界を撮影する撮像装置、音声を取得するマイク、各種物理値を検出するセンサや、それらのうちいずれかの組み合わせでもよい。

表示装置１６は、画像を表示する液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイなどで実現する。さらに音声を出力するスピーカを備えていてもよい。入力装置１４および表示装置１６は、情報処理装置１０に有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。また入力装置１４、表示装置１６、情報処理装置１０の外観形状は図示するものに限らず、例えばそれらのうち２つ以上が一体的に形成されていてもよい。

情報処理装置１０は、ユーザ操作に係る信号を入力装置１４から受信し、それに応じた処理を実施して表示画像のデータを生成し、表示装置１６に出力する。情報処理装置１０はゲーム機、パーソナルコンピュータ、タブレット端末、携帯端末、携帯電話などのいずれであってもよい。そのような情報処理装置１０の形態や、ユーザが選択したアプリケーションなどに応じて、情報処理装置１０が行う処理の内容は様々であってよい。

例えば情報処理装置１０は、ユーザが指定した電子ゲームをユーザ操作に応じて進捗させ、そのゲーム画面のデータを所定のフレームレートで生成し出力する。あるいはネットワーク８を介して動画のデータをサーバから取得し、それを逐次復号して出力してもよい。このように情報処理装置１０の使用目的は様々であってよく、それに応じて実施する情報処理の内容も異なるため、詳細な説明は省略する。以後、そのような情報処理の結果として生成された画像や、提示すべき情報を表した画像など、複数の画像を重畳表示させる手法に重点を置いて説明する。

図２は、本実施の形態において情報処理装置１０が生成する画像を模式的に示している。画像２００ａは例えばゲームや動画など、主として表示される画像である。画像２００ｂは必要に応じて一時的に表示される画像であり、図示する例はユーザにログインのためのアドレスとパスワードを入力させるダイアログボックスを含む。このようなダイアログボックスを表示させる必要が生じると、情報処理装置１０は、元から表示させていた画像２００ａにダイアログボックスを含む画像２００ｂを重畳させ、表示画像２０２を生成して出力する。

このときなるべく広い領域で、画像２００ｂを介して画像２００ａが透けて見えるようにすることで、ゲームや動画など画像２００ａの世界観が途切れることなく必要な情報を示すことができる。さらに画像２００ｂの透明度を時間変化させれば、ダイアログボックスが徐々に出現したり消滅したりする演出もできる。

複数の画像を重畳表示させるケースは、図示する例以外にも様々に考えられることは当業者には理解されるところである。例えばレースゲームの場合、ドライバの視野を示す主たる画像に、コース全体を俯瞰した画像を追加で表示することが考えられる。映画を表示させる場合は、あらすじや出演者などの書誌情報を示す画像や、再生、一時停止、早送りなどの操作パネルを付加的に表示することが考えられる。このように状況や表示すべき内容によって、重畳させる位置、面積、期間も様々でよい。

以後、画像２００ａのように重畳時に背後に位置する画像を第１画像、画像２００ｂのように重畳時に前面に位置する画像を第２画像と呼ぶ。ただし３つ以上の画像を重ね合わせて表示しても、以下に述べる原理は同様である。上述のように透過性を持たせて画像を重畳表示させるため、基本的には次式で表されるアルファブレンド処理により、表示画像２０２の各画素の輝度Ｆ_ｏｕｔを決定する。

Ｆ_ｏｕｔ＝（１−α）Ｆｂ_１＋αＦｂ_２ （式１）
ここでＦｂ_１、Ｆｂ_２はそれぞれ、第１画像、第２画像における当該画素の輝度、αは第２画像の当該画素に設定された一般的なα値、すなわち透過度を示す０以上１．０以下の値である。なおＲＧＢ画像であれば、輝度Ｆｂ_１、Ｆｂ_２は当該３チャンネルのそれぞれに設定されるが、ここではそれらを総称して輝度Ｆｂ_１、Ｆｂ_２としている。例えば画像全体においてα値を０から１まで変化させると、第１画像のみが表示されている状態から徐々に第２画像の色が濃くなっていき、最終的に第２画像が不透明に表示されることになる。α値を０より大きく１より小さい中間値とすれば、第２画像が半透明の状態となり、第１画像が透けて見えることになる。

図３は、図２に示した重畳処理において、第１画像と第２画像の輝度レンジが大きく異なる場合に生成され得る表示画像を模式的に示している。例えば第１画像がＨＤＲ、第２画像がＳＤＲで描画されている場合、前者の輝度Ｆｂ_１が後者の輝度Ｆｂ_２の１００倍以上になることが考えられる。この場合、αを１．０にしない限り式１の第１項が支配的になり、意図するような半透明が表現されない可能性がある。例えば第１画像に最大輝度（Ｆｂ_１＝１００００ｎｉｔ）で表された強い白色を第２画像の黒色（Ｆｂ_２＝０ｎｉｔ）と１：９９の比（α＝０．０１）で合成しても、Ｆ_ｏｕｔ＝１００ｎｉｔとなり、出力画像における当該画素は黒にはほど遠い色になってしまう。

このため表示画像２０４に示すように、第２画像を不透明に近い設定としても、第１画像で高い輝度を有する太陽２０６などが支配的に見えてしまうことがあり得る。その結果、第２画像が見づらくなったり、示した文字が判読できなかったりすることも考えられる。また、できるだけ見やすくしようと第２画像を不透明に近づけることは、本来、画像表現として望まれていた透明感から遠ざかることを意味する。

さらに、α値の僅かな変化で表示画像の輝度が大きく変化してしまう問題も生じる。例えば上述同様、第１画像の強い白色（Ｆｂ_１＝１００００ｎｉｔ）に第２画像の黒色（Ｆｂ_２＝０ｎｉｔ）を重ねる場合、α値の僅か０．０１の変化でも表示画像の輝度Ｆ_ｏｕｔが１００ｎｉｔ変化する。

このため、α値を画像平面上で徐々に変化させてグラデーションを表現したり、α値の時間変化により画像をクロスフェードさせたりする場合でも、滑らかな変化が実現されないことがあり得る。特にα値の０．９９から１．０への変化に対し、表示画像上では白から黒への急激な変化等が生じることになる。

なお第２画像をＨＤＲの輝度レンジで生成しても、より鮮明に見せたい文字や図などが表された領域の輝度レンジがＳＤＲ程度に小さければ同様の状況が生じる。そこで本実施の形態では、複数の画像をアルファブレンドにより重畳表示させる際、α値に応じて画像の輝度レンジを調整することにより、本来意図した画像表現を実現できるようにする。

図４は情報処理装置１０の内部回路構成を示している。情報処理装置１０は、ＣＰＵ（Central Processing Unit）２３、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、表示装置１６へデータを出力する出力部３６、入力装置１４からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。

ＣＰＵ２３は、記憶部３４に記憶されているオペレーティングシステムを実行することにより情報処理装置１０の全体を制御する。ＣＰＵ２３はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。通信部３２はまた、ネットワーク８を介してサーバなど外部の装置と通信を確立し、動画像など電子コンテンツのデータを取得したり、情報処理装置１０内部で生成されたデータを送信したりしてもよい。

ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２３からの描画命令に従って描画処理を行い、図示しないフレームバッファに表示画像のデータを格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部３６に出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

図５は情報処理装置１０の機能ブロックの構成を示している。図５に示す各機能ブロックは、ハードウェア的には、図４に示したＣＰＵ、ＧＰＵ、各種メモリ、データバスなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、演算機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

情報処理装置１０は、入力装置１４からの入力情報を取得する入力情報取得部５０、ゲームなどユーザ操作に応じた情報処理を行う情報処理部５２、表示すべき画像のデータを生成する画像生成部５４、画像の生成に必要なデータを格納する画像データ記憶部５３、複数の画像を重畳させる重畳処理部５６、および、表示画像のデータを表示装置１６に出力する画像出力部５８を含む。

入力情報取得部５０は入力部３８やＣＰＵ２３などで実現され、ユーザ操作の内容を示すデータを入力装置１４から取得する。ここでユーザ操作とは、実行するアプリケーションや出力するコンテンツの選択、処理の開始／終了、コマンド入力など、一般的な情報処理装置に対しなされるものでよい。入力装置１４として撮像装置や各種センサを導入する場合、入力情報取得部５０は撮影画像や検出結果のデータを取得してもよい。入力情報取得部５０はまた、動画など電子コンテンツのデータをネットワーク８を介してサーバから取得してもよい。入力情報取得部５０は取得したデータを、情報処理部５２や画像生成部５４に適宜供給する。

情報処理部５２はＣＰＵ２３やメインメモリ２６などで実現され、入力情報取得部５０から供給されたデータに基づきゲームなどの情報処理を実施する。上述のとおり情報処理部５２が実施する処理は、画像の表示を伴うものであればその内容は特に限定されない。画像生成部５４はＧＰＵ２４やメインメモリ２６などで実現され、情報処理部５２からの要求に従い表示すべき画像を生成する。例えば情報処理部５２がゲームを実行する場合、画像生成部５４は画像データ記憶部５３に格納されたデータを用いて、ユーザ操作に応じたゲーム画像を所定のフレームレートで描画する。

あるいは情報処理部５２が指定した動画のデータを復号、伸張してもよい。動画は入力装置１４たる撮像装置から取得されたものでもよいし、ネットワーク８を介してサーバから配信されたものや、画像データ記憶部５３に格納されたものなどでもよい。以後、このようにして生成したゲーム画像や動画像を第１画像とする。画像生成部５４はさらに、必要に応じて第２画像を生成する。第２画像はユーザが呼び出すことにより随時表示されるものでもよいし、ゲームや動画の進捗に応じて情報処理部５２が決定したタイミングで表示されるものでもよい。または画面の片隅などに常時表示されるものでもよい。

当該画像の生成には、画像データ記憶部５３に格納されたデータを用いてもよいし、撮像装置やサーバなど外部の装置から入力情報取得部５０が取得したデータを用いてもよい。いずれにしろ第２画像は、第１画像上に重畳表示させる画像であり、どのような透過度で表示するかをα値で設定しておく。α値は画素ごとや領域ごとに設定してもよいし、画像全体で固定値としてもよい。また当該設定を時間変化させてもよい。

第２画像を重畳させる必要がない期間、画像生成部５４は、生成した第１画像のデータを画像出力部５８に出力する。第２画像を重畳させる必要がある期間、画像生成部５４は第１画像および第２画像のデータを重畳処理部５６に出力する。

重畳処理部５６はＣＰＵ２３、ＧＰＵ２４、メインメモリ２６などで実現され、第１画像のデータを取得する第１画像取得部６０、第２画像のデータを取得する第２画像取得部６２、輝度レンジを調整する輝度レンジ調整部６４、輝度レンジの調整規則を格納する調整規則記憶部６６、第１画像に第２画像を重畳させた表示画像の画素値を算出する出力値算出部６８を含む。

第１画像取得部６０、第２画像取得部６２はそれぞれ、画像生成部５４から第１画像、第２画像のデータを取得する。上述のとおり第２画像のデータにはα値の設定データが含まれる。輝度レンジ調整部６４は当該α値の設定に基づき、必要に応じて第１画像、第２画像、または双方の輝度レンジを調整する。定性的には、重畳時に双方の輝度のバランスが意図したような状態となり、必要な情報が一見して視認できるように、画像全体あるいは一部の領域で、過多となっている輝度を縮小する。ここで、当該縮小の度合いを第２画像に設定されたα値によって変化させる。

例えば上述のとおり第１画像の輝度レンジが大きく、調整対象となり得るケースを考える。α値が０に近い設定では、第２画像より第１画像に重心が置かれていると考えられるため、第１画像の輝度レンジはそれほど縮小しなくてよい。一方、α値が１に近い設定では、第１画像より第２画像に重心が置かれていると考えられるため、第１画像の輝度レンジの縮小の度合いを大きくし、第２画像の邪魔にならないようにする。このようにα値の設定を介して意図されるバランスを推定し、それに応じて輝度レンジを調整することにより、画像上で実現されている高いコントラストを必要以上に抑え込むことなく、必要な情報を確実に提示できる。

第１画像と第２画像が同程度の輝度レンジを有する場合や、表現上、輝度の抑え込みを必要としない場合などは、調整処理を省略してよい。調整を行うか否かは画像ごとに設定してもよいし、領域ごと、画素ごとに設定してもよい。そのような設定情報は、画像生成部５４が第２画像のデータとともに供給する。輝度レンジ調整部６４は、調整規則記憶部６６にあらかじめ格納された調整規則を参照して調整を行う。調整規則が複数、格納されている場合は、画像生成部５４がそのいずれかを指定したり、必要なパラメータを通知したりする。調整規則の具体例は後に述べる。

出力値算出部６８は、必要に応じて輝度レンジが調整された第１画像と第２画像の画素値を用いてアルファブレンドを行い、表示画像の画素値を算出する。ＲＧＢ画像であればチャンネルごとに計算を行う。出力値算出部６８は算出した結果を画像出力部５８に出力する。画像出力部５８はＧＰＵ２４、メインメモリ２６、出力部３６などで実現され、画像生成部５４から供給された第１画像のデータ、または重畳処理部５６から供給された第２画像を重畳した画像のデータを、表示装置１６に順次出力する。

これにより、ゲーム画像や動画像などの主たる画像上に、必要に応じて別の画像が重畳された画像が、元の輝度レンジによらず意図したバランスで表示される。なお重畳処理部５６は、外部から２種類の画像のデータを入力し、それらを重畳させてなる画像のデータを外部に出力する画像処理装置として実現しもよい。あるいはゲームなどを処理し第１画像を生成する装置とは別に、第２画像を生成する機能と重畳処理部５６の機能とを有する装置を画像処理装置として設けてもよい。

次に、輝度レンジ調整部６４が行う輝度レンジの調整手法について説明する。図６は輝度レンジの調整規則を定性的に説明するための図である。同図は一例として、第１画像がＨＤＲ、第２画像がＳＤＲで生成されるとき、第２画像のα値に対し第１画像の輝度レンジの最大値をどのように変化させるかをグラフで示している。グラフの縦軸が輝度レンジの最大値であり、ＨＤＲ画像の最大輝度をＦＨ、ＳＤＲ画像の最大輝度をＦＳと表記している。

グラフの横軸は第２画像に設定されるα値であり、０から１．０までの設定が可能である。なお最大輝度ＦＨ、ＦＳは、ＨＤＲ、ＳＤＲのそれぞれで定義可能な輝度の最大値でもよいし、各画像上で画素値として実際に与えられている輝度の最大値でもよい。前者の場合、ＦＨは１００００ｎｉｔ、１０００ｎｉｔ、２０００ｎｉｔ、ＦＳは１００ｎｉｔ、４００ｎｉｔ、２８０ｎｉｔなどの値をとる。以後の説明でも同様である。

同グラフに示すように、αが０のときは基本的には輝度レンジの調整が不要のため、最大輝度はＦＨとなる。そしてαの設定値が大きくなるほど最大輝度が小さくなり、αが１．０のときに最大輝度がＦＳに到達するように調整量を制御する。このようにすることで、α値の設定から斟酌される、意図された視認性のバランスに対応するように輝度レンジを最適化できる。またα値を画像平面上、または時間軸上で徐々に変化させる態様において、表示上も透過度の滑らかな変化を実現できる。

このように最大輝度がα値によって変化するように、元の輝度から調整後の輝度を一意に定める変換規則をあらかじめ決定しておく。なお図示する例はα値に対する調整量の変化を定性的に示しているに過ぎず、実際の最大輝度の変化を限定するものではない。すなわち同グラフでは、最大輝度がα値に対し線形に減少するが、αの二次以上の関数としてもよいし、不連続な変化としてもよい。例えば画面構成上、α値の設定が０．５および１．０のみであることが事前に判明している場合は、当該α値に対する変換規則のみを設定してもよい。またα値の有限範囲ごとに変換規則を切り替えてもよい。

輝度レンジ調整部６４による輝度レンジの調整と、出力値算出部６８によるアルファブレンドをまとめると次の式で表される。
Ｆ_ｏｕｔ＝（１−α）・ｆ（α，Ｆｂ_１）＋αＦｂ_２ （式２）

ここでＦｂ_１、Ｆｂ_２は式１と同様、第１画像、第２画像の元の画素が有する輝度であり、ｆは第１画像の輝度を調整後の輝度に変換する関数である。上述のとおり関数ｆは第２画像のα値に依存する。例えばα＝０、すなわち第２画像が透明のときは元の値のまま、つまり
ｆ（０，Ｆｂ_１）＝Ｆｂ_１
とする。α＝１、すなわち第２画像が不透明のときは調整量が最大となるような関数とする。

双方がＨＤＲの場合など、第１画像と第２画像を共に調整対象とすることも考えられる。この場合、式２を拡張させれば、次式のように表すことができる。
Ｆ_ｏｕｔ＝（１−α）・ｆ_１（α，Ｆｂ_１）＋α・ｆ_２（α，Ｆｂ_２） （式３）
ここでｆ_１は第１画像の輝度を変換する関数、ｆ_２は第２画像の輝度を変換する関数である。式３により、第１画像、第２画像のどちらに著しく高い輝度の物が存在しても、重畳されたときにそれが邪魔をして、他方の比較的低い輝度の物が意図したように見えない状況を回避できる。

なお本実施の形態では、重畳時に前面に位置する第２画像のα値に着目しているため、関数ｆ_１は、図６で示したようにα値の増加に対し輝度レンジを狭めていくように設定する。一方、関数ｆ_２は逆に、α値の増加に対し輝度レンジを広げていくように設定する。また元の輝度Ｆｂ_１、Ｆｂ_２に対する関数ｆ_１、ｆ_２の変化のさせ方は、重畳表示の目的や画像の性質などによって、両者で同じとしてもよいし異ならせてもよい。同様に考え、第２画像の輝度レンジのみを調整する場合は次の式となる。
Ｆ_ｏｕｔ＝（１−α）Ｆｂ_１＋α・ｆ（α，Ｆｂ_２） （式４）

図７は輝度を変換する関数ｆの例を示している。上述のとおり関数ｆは、調整対象の画像の画素値として与えられる輝度Ｆｂ_１、Ｆｂ_２（以後、総称して輝度Ｆｂとする）に対し調整後の輝度を一意に決定するための関数であり、同図の例では、輝度Ｆｂに対し線形に変化させている。さらに関数ｆは、上述のとおり第２画像に設定されたα値によって変化させる。同図および以後の説明では、第１画像を調整対象とした場合を想定する。そのため図６を参照して説明したように、α値が大きいほど出力レンジが小さくなるような関数とする。

つまり関数ｆの最大値Ｖｐ（α）には、図６で示したような変化を持たせる。図７ではα値が０、０．５、１．０のときの関数ｆを例示しており、それらの最大値Ｖｐ（０）、Ｖｐ（０．５）、Ｖｐ（１．０）は、図６のグラフ上の点である。このとき、Ｖｐ（０）＝ＦＨ、Ｖｐ（１．０）＝ＦＳとなる。ただしα＝１．０のときはＳＤＲの輝度レンジ以内に収めればよいと考えると、Ｖｐ（１．０）≦ＦＳとして定義してもよい。その他、Ｖｐ（０）およびＶｐ（１．０）は、元の画像の輝度レンジ、最終的に収めたい輝度レンジに応じて適宜決定できる。

Ｖｐ（α）を図６で示したような一次関数とした場合、図７で示した関数ｆは、αの増加に対して線形に減少し、元の輝度Ｆｂに対して線形に増加するような関数となる。具体的には次のような式で表せる。

なお第２画像を調整対象とする場合は、例えばαを１−αに置き換えることにより、α値の増加に対し出力値を線形に減少させることができる。図７ではα値の離散的な値に対する関数ｆ（Ｆｂ）を示しているが、式５を用いれば連続的なα値に対し輝度変換が可能である。ただし関数ｆの形式はそれに限らない。すなわち調整規則記憶部６６には、関数ｆを式５のようにαとＦｂの２変数の数式として格納してもよいし、離散的なα値、あるいはその数値範囲ごとに関数ｆ（Ｆｂ）を数式あるいはテーブルの形式で格納してもよい。

なお図７に係る説明および以後の説明では、調整前後の輝度レンジはいずれも０を最小値としているが、実装上、輝度のレンジにオフセットが加算されている場合がある。この場合も、オフセット分を除くことにより同様に考えることができる。またビットコード空間でアルファブレンドを行う実装においては、計算に用いる値は直接輝度を表すものではないが、それを踏まえた適切な関数を設定することで、同様の効果を得ることができる。

式５の代わりとして、元の画像データを表示に適した輝度に変換するトーンマッピングの技術を応用してもよい。例えばトーンマップとして次のような式を用いる。
例１：Ｎ・Ｆｂ／（Ｆｂ＋Ｍ）
例２：（Ｎ・Ｆｂ）／（（Ｍ・Ｆｂ／Ｖ）＋１）
ここでＮ、Ｍは定数としてもよいし、αに依存する関数としてもよい。例えばＮ＝１、Ｍ（α）＝αとした場合、関数ｆは次のように表せる。

あるいは、α＝０のときにトーンマップを使用し、０＜α＜１の範囲では、α＝０およびα＝１．０のときの調整後の輝度をα値に応じて補間した値としてもよい。すなわち０＜α＜１において次のような関数ｆとしてもよい。
ｆ（α，Ｆｂ）＝α・ｆ（１．０，Ｆｂ）＋（１−α）・ｆ（０，Ｆｂ）
なおいずれの場合も、トーンマップを利用する際は対象画素の輝度Ｆｂのみならず、周囲の画素の輝度値も利用して調整後の値を求めてよい。また公知のトーンマップとα値に応じた調整とを適宜組み合わせてもよい。さらに、これまで述べたα値をα値の関数に置き換えてもよい。当該関数として、後に述べる関数Ａ（α）を導入してもよい。

式６においてＶ＝Ｖｐ（０）とし、対象画素の第１画像の輝度Ｆｂ_１を１００００ｎｉｔ、第２画像の輝度Ｆｂ_２を５０ｎｉｔとすると、第１画像の調整後の輝度は、α＝０のとき１００００ｎｉｔ、α＝０．５のとき１９６．１ｎｉｔ、α＝１．０のとき９９．０ｎｉｔとなる。その結果、アルファブレンド後の輝度Ｆ_ｏｕｔは式２により、α＝０のとき１００００ｎｉｔ、α＝０．５のとき１２３ｎｉｔ、α＝１．０のとき５０ｎｉｔとなる。

またα値のうち使用する範囲（例えばα＞０．１）において例２を適用し、α＝０においてｆ（０，Ｆｂ）＝Ｆｂとした場合、上記の画素合成においてα＝０のとき１００００ｎｉｔ、α＝０．５のとき９９．０ｎｉｔ、α＝１．０のとき９９．０ｎｉｔとなる。その結果、アルファブレンド後の輝度Ｆ_ｏｕｔは式２により、α＝０のとき１００００ｎｉｔ、α＝０．５のとき７５ｎｉｔ、α＝１．０のとき５０ｎｉｔとなる。

図８は、輝度を変換する関数ｆの別の例を示している。図７で示した例は、どのα値でも、元の輝度Ｆｂの全範囲において出力値が線形増加する関数であった。つまり元の輝度Ｆｂを、αで定まる割合で縮小した値を調整後の輝度とした。一方、元の輝度Ｆｂの範囲を分割してなる輝度ブロックごとに調整の有無や関数ｆを異ならせることが考えられる。

図８の例では、元の輝度Ｆｂの範囲（０，Ｆ_ｍａｘ）を、しきい値Ｆ_ｔｈで分割して２つの輝度ブロックを形成している。そして０≦Ｆｂ≦Ｆ_ｔｈの輝度ブロックでは輝度の調整は行わず、Ｆ_ｔｈ＜Ｆｂ≦Ｆ_ｍａｘの輝度ブロックにおいて、図７で示したのと同様にα値によって定まる割合で輝度を縮小している。このときも、関数ｆの最大値Ｖ（α）が図６のような条件を満たすようにすれば、輝度レンジを目標値まで抑え込むことができる。

このようにすると、重畳しても視認性を妨げないようなＳＤＲ程度の範囲の輝度Ｆｂについては元の値を尊重することにより、必要以上の調整を行わないようにできる。なお輝度範囲の分割数は２つに限らない。また輝度ブロックによって調整の有無を切り替えるのみならず、変換規則を定める関数ｆを切り替えてもよい。例えば後述する別の方式で決定した関数ｆも導入候補とし、輝度ブロックごとに最適なものを選択してもよい。

なお異なる方式で決定した関数ｆを組み合わせる場合は特に、関数ｆを輝度Ｆｂに対し連続に変化させるように、線形あるいは曲線で補間するための輝度ブロックを設けてもよい。これにより、輝度ブロックの境界近傍で、調整後の輝度に大きな差が生じるのを防ぐことができる。

図９は、輝度を変換する関数ｆのさらに別の例を示している。この例では、０＜αの範囲において、元の輝度Ｆｂに対する変化を曲線としている。このとき関数ｆの最大値Ｖｐ（α）は、図７で説明したのと同様でよい。そのように最大値Ｖｐをα値に対し決定したうえ、輝度Ｆｂの範囲に対して曲線を決定する。例えばα＝１．０のときの関数ｆを、Ｖｐ（１．０）を通るようなガンマ曲線、すなわちべき関数とし、０＜α＜１．０の範囲では、αが０の時の関数ｆ（Ｆｂ）＝Ｆｂと当該ガンマ曲線を所定の規則で内挿するような曲線とする。このとき、ＢＴ．７０９やＢＴ．２０２０など、色空間の変換に想定される規格を踏まえた曲線とすることで、調整後の画像における色の歪みを抑えることができる。

図１０は、輝度を変換する関数ｆのさらに別の例として、所定値以上の輝度を当該所定値に変換する、すなわち当該所定値を上限として抑え込む（クランプする）方式を示している。このときの関数ｆは次のように表せる。
ｆ（α，Ｆｂ）＝ｍｉｎ（Ｖｃ（α），Ｆｂ） （式７）
ここでＶｃ（α）は調整後の輝度の上限であり、α値に応じて決定する。図ではα＝０、０．５、１．０のときの上限をＶｃ（０）、Ｖｃ（０．５）、Ｖｃ（１．０）として表している。

例えばＨＤＲの画像の輝度レンジをＳＤＲの輝度レンジに縮小する場合は、Ｖｃ（０）＝ＦＨ、Ｖｃ（１．０）＝ＦＳとする。ただし、α＝０のときは輝度レンジを調整せず、α＝１．０のときはＳＤＲの輝度レンジ以内に収める、という拘束条件を考慮すると、次のような条件で定義してもよい。
Ｖｃ（０）≧ＦＨ
Ｖｃ（１．０）≦ＦＳ

そして０≦α≦１の範囲で、上記条件を満たすようにＶｃ（α）を設定する。例えばＶｃ（α）を次のように定義する。
Ｖｃ（α）＝Ｖｃ（０）−Ａ（α）・（Ｖｃ（０）−Ｖｃ（１．０）） （式８）
ここでＡ（α）はＡ（０）＝０、Ａ（１．０）＝１．０を満たす単調増加関数である。つまり式７により、Ｖｃ（０）およびＶｃ（１．０）をαに依存する重みで加重平均した値がＶｃ（α）となる。このような定義により、α値に応じた上限Ｖｃ（α）が定まり、ひいては式７によって、α値に応じた程度での輝度のクランプが可能になる。

関数Ａ（α）は、実際の画像の内容、合成の目的などに応じて適宜決定する。すなわち関数Ａ（α）は、αの中間的な値において、高輝度の画素をどこまで抑え込むかを決定づける要素であるため、実際に表示される画像の見やすさのほか、α値を徐々に変化させることによって望んだ効果が得られるか、といった観点からも最適化することが望ましい。関数Ａ（α）として、例えば次のような定義が考えられる。
例１：Ａ（α）＝α
例２：Ａ（α）＝α^２
例３：Ａ（α）＝１−（１−α）^２

あるいは、上記例１〜３においてαをαの関数Ｂ（α）に置き換えてもよい。ただし関数Ｂ（α）はＢ（０）＝０、Ｂ（１．０）＝１．０を満たす単調増加関数である。例えば上記例２の代わりに関数Ｂ（α）を用いると、式８は次のように表される。
Ｖｃ（α）＝Ｖｃ（０）−Ｂ（α）^２・（Ｖｃ（０）−Ｖｃ（１．０））

関数Ｂ（α）を次のように定義してもよい。
例４：０≦α≦ａ１のときＢ（α）＝０
ａ１＜α≦１．０のとき０から１．０に至る単調増加関数
例５：０≦α≦ａ２のとき０から１．０に至る単調増加関数
ａ２＜α≦１．０のときＢ（α）＝１．０

上記例４によれば、０≦α≦ａ１のときはαの変化によって輝度の上限が変化しない調整となる。上記例５によれば、ａ２＜α≦１．０のときはαの変化によって輝度の上限が変化しない調整となる。

図１１は関数Ｂ（α）として、上記例３および例４を組み合わせた例を示している。すなわち関数Ｂ（α）を次のように定義している。
例６：０≦α≦ａ１のときＢ（α）＝０
ａ１＜α≦ａ２のとき０から１．０に至る単調増加関数
ａ２＜α≦１．０のときＢ（α）＝１．０

例えばａ１＝０．２、ａ２＝０．５とすると、α≦０．２ではＢ（α）＝０のためＡ（α）＝０となり、Ｖｃ（α）＝Ｖｃ（０）、すなわちクランプが発生しない。α＞０．５ではＢ（α）＝１．０のためＡ（α）＝１となり、Ｖｃ（α）＝Ｖｃ（１．０）、すなわち輝度がＶｃ（１．０）にクランプされる。なおａ１＜α≦ａ２のときの関数Ｂ（α）は一次関数に限定されない。また上述のとおり離散的なα値に対し設定してもよい。

図１２は上記例５の変形例として、ａ１＝ａ２＝ａとした場合の関数Ｂ（α）を示している。すなわち関数Ｂ（α）を次のように定義している。
例６’：０≦α≦ａのとき Ｂ（α）＝０
ａ＜α≦１．０のとき Ｂ（α）＝１．０
このように、関数Ｂ（α）自体を不連続に変化させてもよい。

この場合、式８により
０≦α≦ａのとき Ｖｃ（α）＝Ｖｃ（０）
ａ＜α≦１．０のとき Ｖｃ（α）＝Ｖｃ（１．０）
となり、α値がａより大きいときにのみ、輝度がＶｃ（１．０）にクランプされる態様が実現される。

式８において、Ｖｃ（０）、Ｖｃ（１．０）、Ａ（α）、Ｂ（α）を、上記のような候補から様々に組み合わせることにより、状況に応じて輝度の上限を最適化できる。例えば、Ｖｃ（０）＝ＦＨ＝１００００ｎｉｔ、Ｖｃ（１．０）＝ＦＳ＝１００ｎｉｔ、関数Ａ（α）として上記例１を採用すると、式７から、α＝０．５のときの調整後の輝度の上限Ｖｃ（０．５）は５０５０ｎｉｔとなる。結果として元の画像の輝度Ｆｂに対する調整後の輝度は次の関数ｆで決定できる。
ｆ＝ｍｉｎ（５０５０，Ｆｂ）

関数Ａ（α）として上記例１の代わりに例３を採用すると、式８から、α＝０．５のときの調整後の輝度の上限Ｖｃ（０．５）は２５７５となる。結果として元の画像の輝度Ｆｂに対する調整後の輝度は次の関数ｆで決定できる。
ｆ＝ｍｉｎ（２５７５，Ｆｂ）

なおこれまで例示した関数Ａ（α）、Ｂ（α）を用いて式８により求められる、調整後の輝度の上限Ｖｃ（α）は、図７〜９で示した関数の最大値Ｖｐ（α）にも適用できる。例えば図１２で示した不連続な関数Ａ（α）を用いて式８と同様に最大値Ｖｐ（α）を求めると、α値がａ以下か否かによって関数ｆが２つ定義されることになる。

上述のとおり本実施の形態による輝度レンジの調整は、第１画像や第２画像の全体に適用してもよいし、画像の一部領域のみに適用してもよい。図１３は画像の一部に対し輝度レンジを調整する態様を説明するための図である。上段の画像３００は、図２で説明したようにゲーム画像などの第１画像に重畳させるべき第２画像を示している。この例で画像３００は、「E-mail address」といった文字列表示、それに応じてユーザが文字列を入力する欄、入力を確定させるＧＵＩ（Graphical User Interface）などを含む領域３０２と、その外側の塗り潰し色や模様を含む領域３０４で構成されている。

このような画像３００を半透明で表示させる場合、領域３０２については輝度レンジの調整対象とし、領域３０４は調整対象外とすることが考えられる。このとき画像生成部５４は、例えば同図下段に示すように、調整の要否を画素値として表したマスク画像３１０を生成し、第２画像のデータとともに重畳処理部５６に供給する。重畳処理部５６の輝度レンジ調整部６４は、マスク画像３１０で指定されている領域のみに輝度レンジ調整を施す。

これにより、画像の構成に応じて必要な部分のみに調整が行える。結果として、第２画像を半透明で重畳させて表示する、という画像表現上の意図と、情報の見やすさとを両立できる。また詳細な把握を必要としない領域まで輝度レンジを調整し、ゲームなど第１画像で表現されている世界観を必要以上に損なうことを回避できる。なお図１３で示したマスク画像は、輝度レンジを調整するか否かを設定する２値画像であったが、階調をより大きくし、関数ｆやそれを決定づける各種パラメータを、画素ごとに操作するのに用いてもよい。

以上述べた本実施の形態によれば、複数の画像を重畳させて同時に表示させる画像表現において、少なくとも一方の輝度レンジを調整し、重なり合う画素の輝度に著しい差が生じないようにする。このようにすることで、ＨＤＲなど輝度レンジが格段に広い画像を表示する場合も、従来のアルファブレンドの機構をそのまま利用して、バランスのとれた合成が可能になる。

例えば文字列など、比較的低い輝度で表されることが一般的な画像を、撮影画像やコンピュータグラフィックスによる仮想世界など、高いコントラストでリアルな画像表現が望まれる画像上に半透明合成した場合、後者の画像が支配的になりやすい。そのため文字列などを見やすくするためには、透過度を低くして対応することが考えられるが、そのようにすると本来意図した半透明の効果が損なわれてしまう。本実施の形態によれば、半透明による画像の印象を保ったまま、所望の情報を一見して視認できるようになる。

また、透過度の設定に用いるα値に応じて調整の度合いを変化させたり、画像平面上で調整の有無や調整手法を切り替えたりすることにより、必要以上の輝度の抑制を回避でき、高いコントラストで表されている画像の世界観を可能な限り保つことができる。輝度調整においては、元の輝度に対して調整後の輝度が一意に定まるような関数を適切に選択することにより、画像の内容や構成、合成の目的に応じた最適な調整を画素単位で行える。高輝度の像が表れるか否か、表れる場合はその位置が、状況によって変化する動画像では特に、このような細かい粒度で調整を制御できるようにすることが有効となる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば本実施の形態では主に、ＲＧＢの３チャンネルの画素値としての輝度のレンジを調整する例を説明したが、レンジを調整する対象はそれに限らず、画像が表す輝度成分であればよい。このため輝度レンジ調整部６４はさらに、調整対象の画像に対しレンジ調整のために色空間を変換する処理、および、調整後にアルファブレンドのために色空間を変換する処理、の少なくともどちらかを実施してもよい。例えば元の画像を表すＲＧＢのデータを輝度および色差（ＹＵＶ）のデータに変換し、そのうち輝度（Ｙ）のレンジを調整したうえでＲＧＢデータに戻し、アルファブレンド処理がなされるようにしてもよい。このようにしても、本実施の形態と同様の効果が得られる。

８ ネットワーク、 １０ 情報処理装置、 １４ 入力装置、 １６ 表示装置、 ２３ ＣＰＵ、 ２４ ＧＰＵ、 ２６ メインメモリ、 ５０ 入力情報取得部、 ５２ 情報処理部、 ５３ 画像データ記憶部、 ５４ 画像生成部、 ５６ 重畳処理部、 ５８ 画像出力部、 ６０ 第１画像取得部、 ６２ 第２画像取得部、 ６４ 輝度レンジ調整部、 ６６ 調整規則記憶部、 ６８ 出力値算出部。

以上のように本発明は、ゲーム装置、画像処理装置、画像再生装置、パーソナルコンピュータなど各種情報処理装置や、それらのいずれかを含む情報処理システムなどに利用可能である。

Claims (13)

1. 第１画像のデータを取得する第１画像取得部と、
   前記第１画像上に重畳表示させるべき第２画像のデータを取得する第２画像取得部と、
   前記第１画像および第２画像の少なくともいずれかの輝度レンジを、所定の規則に従い調整する輝度レンジ調整部と、
   輝度レンジが調整された画像のデータを用いてアルファブレンド処理することにより、重畳画像のデータを生成し出力する出力値算出部と、
   を備え、
   前記輝度レンジ調整部は、あらかじめ設定された、元の輝度を調整後の輝度に変換する変換規則に従い輝度レンジを調整し、当該変換規則は、アルファブレンド処理のために前記第２画像に設定されたアルファ値に応じて変化することを特徴とする画像処理装置。
2. 前記第１画像を調整するとき、その調整に用いる前記変換規則は、前記アルファ値が大きいほど、調整時の輝度レンジの縮小の度合いを大きくするように変化し、前記第２画像を調整するとき、その調整に用いる前記変換規則は、前記アルファ値が大きいほど、調整時の輝度レンジの縮小の度合いを小さくするように変化することを特徴とする請求項１に記載の画像処理装置。
3. 前記変換規則は、調整後の輝度の最大値が前記アルファ値の１次関数または２次関数として設定されていることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記変換規則は、調整前の輝度の１次関数またはべき関数として設定されていることを特徴とする請求項１から３のいずれかに記載の画像処理装置。
5. 前記変換規則は、調整前の輝度が所定値以上であるとき当該所定値を調整後の輝度とする関数として設定されていることを特徴とする請求項１または２に記載の画像処理装置。
6. 前記変換規則として、前記所定値は、前記アルファ値の１次関数または２次関数として設定されていることを特徴とする請求項５に記載の画像処理装置。
7. 前記変換規則として、前記アルファ値に依存する重みで調整前後の輝度レンジの最大値を加重平均した値が前記所定値として決定されることを特徴とする請求項５に記載の画像処理装置。
8. 前記輝度レンジ調整部は、調整対象の画像のうち、領域によって輝度レンジを調整するか否かを切り替えることを特徴とする請求項１から７のいずれかに記載の画像処理装置。
9. 前記輝度レンジ調整部は、調整対象の画像のうち、領域によって調整のための規則を切り替えることを特徴とする請求項１から８のいずれかに記載の画像処理装置。
10. 前記輝度レンジ調整部は、調整前の輝度の範囲を分割してなる輝度ブロックごとに、輝度レンジを調整するか否かを切り替えることを特徴とする請求項１から９のいずれかに記載の画像処理装置。
11. 前記輝度レンジ調整部は、調整前の輝度の範囲を分割してなる輝度ブロックごとに、調整のための規則を切り替えることを特徴とする請求項１から１０のいずれかに記載の画像処理装置。
12. 第１画像のデータを取得するステップと、
    前記第１画像上に重畳表示させるべき第２画像のデータを取得するステップと、
    前記第１画像および第２画像の少なくともいずれかの輝度レンジを、メモリに格納された所定の規則に従い調整するステップと、
    輝度レンジが調整された画像のデータを用いてアルファブレンド処理することにより、重畳画像のデータを生成し表示装置に出力するステップと、
    を含み、
    前記調整するステップは、あらかじめ設定された、元の輝度を調整後の輝度に変換する変換規則に従い輝度レンジを調整し、当該変換規則は、アルファブレンド処理のために前記第２画像に設定されたアルファ値に応じて変化することを特徴とする画像処理装置による重畳画像生成方法。
13. アルファブレンド処理により重畳画像が生成される複数の画像のデータを供給する機能をコンピュータに実現させるコンピュータプログラムであって、
    第１画像のデータを取得する機能と、
    前記第１画像上に重畳表示させるべき第２画像のデータを取得する機能と、
    前記第１画像および第２画像の少なくともいずれかの輝度レンジを、所定の規則に従い調整したうえ、両者の画像のデータを出力する機能と、
    をコンピュータに実現させ、
    前記出力する機能は、あらかじめ設定された、元の輝度を調整後の輝度に変換する変換規則に従い輝度レンジを調整し、当該変換規則は、アルファブレンド処理のために前記第２画像に設定されたアルファ値に応じて変化することを特徴とするコンピュータプログラム。

Images