JP7369175B2 - 画像処理装置およびその制御方法及びプログラム - Google Patents

Description

本発明は、表示装置で表示される画像の補正技術に関するものである。

デジタルカメラなどの撮像装置において、異なる露出条件で撮像された複数枚の画像の合成、或いは、撮像可能な輝度範囲（ダイナミックレンジ）を拡大した撮像素子などを用いて、被写体の輝度範囲がこれまでよりも広い画像を得る、ハイダイナミックレンジ（ＨＤＲ）撮影の技術がある。撮像装置のダイナミックレンジの拡大に伴い、自動車のヘッドライトや太陽、または、金属のような高光沢物体への光の映り込みなど、高輝度な被写体を撮影対象に含めることで、写真や映像の表現の幅を広げることが可能になる。

一方で、太陽などの高輝度被写体を撮影した場合や、強い光がレンズに当たっている場合に、高輝度被写体に由来して輝度や色に関するアーティファクトが発生することがある。例えば、組み合わせレンズ同士、レンズと撮像素子、レンズと鏡筒、撮像素子と撮像素子のカバーガラス間の多重反射や対物レンズの回折などに起因して、撮影画像が高輝度被写体の色に色付いたり、明るくなったりする「フレア」と呼ばれる現象がある。また、レンズ内面、特に凹面で強い光が再反射すると、光源などの強い光の像が画角中心を基準に点対称の位置に、比較的はっきりとした像として現れる「ゴースト」と呼ばれる現象がある。また、絞りの形状に起因して、太陽などの高輝度被写体から放射状に伸びる光の筋が現れる「光芒」と呼ばれる現象もある。本明細書では、これらの高輝度被写体に由来した「フレア」、「ゴースト」、「光芒」など、実物に対する輝度や色の違いを総称して「アーティファクト」と呼ぶが、現象を詳細に区別する場合は、「フレア」、「ゴースト」、「光芒」と明記することとする。

また、カメラだけでなく、高輝度被写体を人間が観察する場合に、眼で発生するアーティファクトもある。例えば、まつ毛によって回折した光はカメラにおけるゴーストや光芒のように観察され、眼球内で散乱した光はカメラにおけるフレアのように観察される。これは実際のシーンを観察した場合だけでなく、ディスプレイ上の画像を観察する場合にも同様のことが言える。

特許第４７４６８９２号公報

上述した通り、ディスプレイやプロジェクタなどの表示装置に表示された画像を観察する際に、その輝度によっては人間の眼でアーティファクトを生じる。そのため、高輝度被写体を撮影してフレアの発生した撮影画像を、高輝度の表示が可能なディスプレイに表示した場合、観察者はカメラで発生したアーティファクトと眼で発生したアーティファクトの両方同時に知覚することになり、違和感を生じる要因となる。しかしながら、表示装置の輝度に基づいて、画像のアーティファクトを補正する技術は開示されていない。

特許文献１には、表示装置で発生するフレア補正回路に関する技術が開示されている。これは、プロジェクタなどの表示装置の投光レンズのＭＴＦ特性によってエッジ部にボケを生じる、ディスプレイでのフレアを課題としたエッジ強調技術である。エッジ部のボケにより、高輝度被写体の周囲が明るくなるため、要因が表示装置側にあるものの、観察者がフレアを知覚する点では類似した課題である。特に、周囲が明るい場合には人間の視覚感度が落ちてエッジ強調の効果が薄れるため、周囲の明るさに応じてフレア補正のゲインと帯域を自動調整する。特許文献１には、周囲の明るさに応じて表示装置のフレアを補正する技術が開示されているが、表示される画像そのものの輝度に基づいてフレアなどのアーティファクトを補正する技術の開示しているわけではない。

本発明は上記の課題を鑑みてなされたものであり、表示装置の輝度に基づいて、表示対象の高輝度領域に由来する輝度や色に関する画像のアーティファクトを補正する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
表示装置に表示する画像データを補正する画像処理装置であって、前記画像データは、高輝度な被写体に由来し画像内で相対的に画素値の高い第１領域と前記第１領域の近傍領域である第２領域とを含む画像を表し、
前記表示装置が表示可能な最大輝度に対応する情報を取得する取得手段と、
前記画像データが表す画像のアーティファクトであるフレアについて、前記取得手段で取得した情報を用いて前記最大輝度が大きいほど該フレアの補正量が大きくなるよう補正量を導出し、該導出した補正量を用いて補正する補正手段と、
を有し、
前記補正手段は、前記第１領域において前記アーティファクトの補正を行わず、前記第２領域における前記アーティファクトの補正が、前記画像中において前記第１領域より外側に離れる領域ほど小さくなるよう補正すること特徴とする画像処理装置。

本発明によれば、表示装置の輝度を加味して、表示対象の高輝度領域に由来する輝度や色に関する画像のアーティファクトの補正を行うことが可能になる。この結果、高輝度表示可能な表示装置を観察した際のアーティファクトの違和感を抑制することも可能になる。

第１実施形態の画像処理装置の概略ブロック構成図。 第１実施形態におけるアーティファクト補正部の構成を示す図。 画像表示部における画素値と表示輝度との対応関係を示す図。 表示輝度取得部における解像度変換の例を示す図。 第１実施形態における画像処理装置の処理手順を示すフローチャート。 第１実施形態におけるアーティファクト補正部の処理手順を示すフローチャート。 実施形態の補正テーブルの内容を示す図。 第１実施形態のアーティファクト補正部が環境光取得部を具備する構成における、環境光強度に基づく補正量算出用のＬＵＴの例を示す図。 第１実施形態のアーティファクト検出部の画像の高輝度領域の抽出処理を説明するための図。 第１実施形態のアーティファクト検出部でのアーティファクトを検出処理を説明するための図。 第１実施形態における高輝度領域をぼかすためのフィルタを示す図。 第１実施形態のアーティファクト補正実行部においてアーティファクト補正の実行例を示す図。 第１実施形態のアーティファクト補正実行部で用いるフィルタの例を示す図。 第１実施形態のアーティファクト補正実行部での階調変換処理の補正方法を説明するための図。 第２実施形態における補正テーブルの内容を示す図。 第２実施形態におけるアーティファクトを検出方法、および、アーティファクトの付加方法を説明するための図。 第２実施形態のアーティファクト補正実行部におけるアーティファクト補正の実行例を示す図。 第２実施形態のアーティファクト補正実行部における階調変換処理を行う場合の補正方法を説明するための図。 第３実施形態における画像処理装置の概略構成図。 第３実施形態における補正量調整部における補正量に係るユーザインタフェースの例を示す図。 第３実施形態における画像選択のユーザインタフェースの例を示す図。 第３実施形態における画像表示部における画像を比較表示する例を示す図。

以下図面に従って本発明に係る実施形態を詳細に説明する。なお、以下に示す実施形態は特許請求の範囲に関る本発明を限定するものではなく、また、本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

［第１実施形態］
本実施形態では、画像の高輝度領域に由来し、輝度や色のバイアス成分として発生する、フレアなどのアーティファクトを補正する装置および方法について説明する。特に、表示装置で表示される輝度が高いほど、補正量を大きくすることで、画像観察時にアーティファクト起因の違和感を低減させることを可能にする。

●画像処理装置の構成
図１は、本実施形態における画像処理装置の概略構成を示す概念図である。本装置は、図示の如く、画像所得部１０１、アーティファクト補正部１０２、画像表示部１０３、及び、表示輝度取得部１０４を有する。

画像取得部１０１では、パーソナルコンピュータ（ＰＣ）等の情報処理装置における画像編集アプリケーションや画像表示アプリケーションであり、表示対象の画像を取得する機能を有すれば、その種類は問わない。表示対象の画像の発生源の代表的なものとしては、デジタルカメラ等の撮像装置が挙げられる。アーティファクト補正部１０２は、後述する表示輝度取得部１０４で取得された表示輝度情報に基づいて補正量を導出し、導出した補正量に基づき、画像取得部１０１で取得した画像に対してアーティファクト補正処理を施し、表示用画像データを生成する。表示輝度取得部１０４は、アーティファクト補正部１０２のアーティファクト補正に用いる表示輝度情報を取得する。画像表示部１０３は、ディスプレイやプロジェクタなどの画像表示装置を備え、アーティファクト補正部１０２によるアーティファクト補正が施された表示用画像データを受信し、表示する。

ここで、表示輝度情報とは、例えば画像表示部１０３の画像表示装置で出力可能な最大輝度である。または、画像表示部１０３の画像表示装置で出力可能な最大輝度と、画像取得部１０１で取得した画像の最大画素値とから決定する、表示対象画像に対応する最大表示輝度である。この算出には、図３のグラフに示すような画素値と表示輝度との対応関係を示すテーブルもしくは変換式を利用する。この対応関係は画像表示部１０３の画像表示装置のメモリに格納されているものとする。なお、画素値と実際の表示輝度値との対応関係は、表示装置に依存するので、予め表示装置の機種名と表記輝度値との対応関係を有するデータベースを用意しておき、実際に利用する表示装置を指定した際にそのテーブルを参照して取得するようにしても構わない。従って、厳密な最大輝度ではなく、最大輝度よりわずか程度に低い輝度を用いてもよい。つまり、画像表示装置で出力可能な輝度範囲のうち高輝度に分類でき最大輝度に近い輝度を示す輝度情報を取得できればよく、この最大輝度に近い輝度を含む範囲を取得してもよい。以降、最大輝度にはこの出力輝度情報が含まれるものとする。

ここで、画像上で輝度の高い画素値を示す画素の空間周波数特性が高周波に分布している場合では、画像観察者はアーティファクトを感じにくい。そこで、画像取得部１０１で取得した画像の最大画素値を単純に採用するのではなく、画像取得部１０１の画像の低周波成分の最大画素値を用いることが好ましい。つまり、画像表示部１０３の画像表示装置で出力可能な最大輝度と、画像取得部１０１で取得した画像の低周波成分の最大画素値とから決定する、表示対象画像に対応する最大表示輝度を表示輝度情報とする。そのため、図中に図示しないが、表示輝度取得部１０４は画像取得部１０１で取得した画像を低周波画像に変換する変換部を具備することが望ましい。この変換部は、フィルタ処理でも構わないし、解像度変換でも構わない。そして、表示輝度取得部１０４は、低周波成分の最大画素値（最大輝度値）を求める。

図４に、表示輝度取得部１０４における変換部の解像度変換の例を示す。図４（ａ）は、画像取得部１０１で取得した画像の一部を示しており、各画素の値は画素値を示している。この画素値は、ＲＧＢ画像からＹｕｖ画像に変換した画像のＹの値など、画像の明るさに対して相関の高い値が用いられる。図４（ｂ）は、図４（ａ）に対して、公知の解像度変換方法であるバイキュービック法を用いて解像度変換処理が施された画像の画素値を示している。尚、解像度変換の方法はこれに限定されず、バイリニア法、Ｌａｎｃｚｏｓ法、平均画素法など公知の手法を用いることが出来る。画像取得部１０１で取得した画像から表示輝度情報を求める場合は図４（ａ）の太枠の画素、画像取得部１０１で取得した画像の低周波成分から表示輝度情報を求める場合は図４（ｂ）の太枠の画素からそれぞれ画素値を取得する。これらの画素値と、図３に示す対応関係とから表示輝度情報を求める。さらに、付帯情報として表示輝度を有する画像フォーマットが用いられる場合には、画像取得部１０１から取得した表示輝度を表示輝度情報として利用することが出来る。尚、表示輝度情報は必ずしも輝度に限定されるものではなく、明るさに関する情報であれば、ＣＩＥ明度などの異なる情報でも構わない。

図２は、実施形態におけるアーティファクト補正部１０２のブロック構成図である。補正有無判定部２０１は、表示輝度取得部１０４で取得した表示輝度情報に基づいて、アーティファクト補正を行うか否かを判定する。具体的には、補正有無判定部２０１は、表示輝度情報が示す輝度値と予め設定された閾値とを比較し、その輝度値が閾値以上である場合には補正を行うと判定し、閾値未満の場合には補正無しと判定する。なお、この閾値は、操作部を介してユーザが設定変更できるものとし、変更指示が無い限り、保持する容易にするために不揮発性メモリに記憶することが望ましい。

さて、補正有無判定部２０１にて補正を行わないと判定された場合には、以降の処理ブロックで何も処理を行わずに、画像取得部１０１で取得した画像データを画像表示部１０３に出力し、表示させる。一方、補正有無判定部２０１にて補正を行うと判定された場合、その判定結果を受けて補正量算出部２０３は、アーティファクトを補正する際の補正量を算出する。補正量の算出方法は後述するが、表示輝度取得部１０４で取得した表示輝度情報に基づいて、補正テーブル２０２を参照して補正量を求める。補正量算出部２０３の補正量算出では、表示輝度情報だけでなはなく、環境光取得部２０４で取得した環境光強度の情報を更に用いて補正量を算出することも可能である。この環境光強度は、ディスプレイなどの表示装置に搭載されている照度センサで取得しても良いし、表示装置周辺を別の照度計で計測した値でも良い。あるいは、ユーザが不図示の操作部を介してその値を設定しても良い。

アーティファクト検出部２０５は、補正有無判定部２０１にて補正すると判定された場合、画像取得部１０１で取得した画像のアーティファクトを検出する（詳細後述）。アーティファクト補正実行部２０６は、補正量算出部２０３で算出した補正量と、アーティファクト検出部２０５で検出したアーティファクト検出結果に基づき、アーティファクト補正を実行する。尚、アーティファクト補正実行部２０６の補正処理の内容次第ではあるが、アーティファクト検出部２０５は必ずしも必須の構成ではない。

●画像処理フロー
図５は、本実施形態における画像処理装置における全体の処理の流れを示すフローチャートを示している。まず、画像取得部１０１が、画像表示部１０３の画像表示装置の表示対象とする画像を取得する（Ｓ５０１）。次に、表示輝度取得部１０４が、画像表示部１０３の画像表示装置で表示する際の表示輝度情報を取得する（Ｓ５０２）。最後に、アーティファクト補正部１０２が、Ｓ５０２で取得した表示輝度情報に基づき、Ｓ５０１で取得した画像に対して、その画像の高輝度領域に由来する輝度や色に関するアーティファクトを補正する。

次に、図５のＳ５０３の処理の詳細を、図６のフローチャートに従って説明する。同図は、アーティファクト補正部１０２の流れを示すフローチャートでもある。

まず、アーティファクト補正部１０２は、補正有無判定部２０１に、表示輝度取得部１０４が取得した表示輝度情報の値と予め設定した閾値とを比較させる（Ｓ６０１）。アーティファクト補正部１０２は、表示輝度情報の値がこの閾値以上であると判定した場合、処理をＳ６０２に進める。また、アーティファクト補正部１０２は、表示輝度情報の値が閾値未満であると判定した場合、アーティファクト補正を行わないと決定し、本処理を終える。次に、アーティファクト補正部１０２が、環境光取得部２０４に対し、画像表示装置あるいはその周辺の照度などの環境光強度を取得させる（Ｓ６０２）。上述した通り、環境光強度の取得は必ずしも用いなくても良い。環境光取得部２０４が無い構成では、このＳ６０２の処理も行わない。次に、アーティファクト補正部１０２は、補正量算出部２０３制御し、表示輝度取得部１０４で取得した表示輝度情報の値に基づき、補正テーブル２０２を参照したアーティファクト補正処理における補正量を決定させる（Ｓ６０３）。

次に、アーティファクト補正部１０２は、アーティファクト検出部２０５を制御し、画像取得部１０１で取得した画像のアーティファクトを検出させる（Ｓ６０４）。そして、最後に、アーティファクト補正部１０２は、アーティファクト補正実行部２０６を制御し、Ｓ６０３で決定した補正量と、Ｓ６０４で検出したアーティファクトに基づき、画像取得部１０１で取得した画像に対してアーティファクト補正を実行させる（Ｓ６０５）。上述した通り、アーティファクト補正処理の内容によっては、アーティファクトの検出は必ずしも必要でなく、アーティファクト検出部２０５が無い構成では、Ｓ６０５にて、アーティファクト補正実行部２０６はＳ６０３で算出した補正量のみからアーティファクト補正を実行することになる。

●アーティファクト補正量算出
図７（ａ）は補正テーブル２０２の内容を示すグラフ、同図（ｂ）はルックアップテーブル（ＬＵＴ）の具体例を示している。図７（ａ）のグラフは、表示輝度取得部１０４が取得する表示輝度と補正量との関係を示している。表示輝度情報の値が高いほど補正量が大きくなっていることがわかる。また、図７（ｂ）は、図７（ａ）に示す関係の表示輝度値と補正量との具体的なＬＵＴである。補正テーブル２０２は、図７（ｂ）に示すようなＬＵＴの形式のデータを保持している。表示輝度取得部１０４が取得した表示輝度が、ＬＵＴに記載されている２つの表示輝度値の間の値の場合、取得した輝度値との差が小さい方のＬＵＴ内の表示輝度の補正量を用いるものとして決定する。なお、線形補間など公知の補間技術で補間して補正量を求めても構わない。ＬＵＴに記述された表示輝度を超える場合は、線形外挿などの公知の補外技術で補外して補正量を求めても良い。さらに、図７の例では、表示輝度が１００００ｎｉｔｓの場合を補正量１００％としているが、これに限定されるものではなく、例えば１０００ｎｉｔｓの場合を補正量１００％としても良い。尚、図７（ｂ）のようにＬＵＴの形式以外にも、表示輝度と補正量の関係を「関数」で保持しても良い。

図８（ａ）、（ｂ）は、アーティファクト補正部１０２が環境光取得部２０４を具備する構成にて、環境光強度に基づいて補正量を求める場合の補正ＬＵＴの例を示している。補正量算出部２０３は、表示輝度取得部１０４で取得した表示輝度と環境光取得部２０４で取得した環境光強度とに基づいて補正量を算出する。

画像観察時に周囲が暗い環境では、人間の視覚特性から特に暗部領域で明るさの微小な差を認識しやすい。つまり、フレアなどのアーティファクトが人間の目に付きやすい暗い環境であるほど、言い換えれば、環境光強度の値が小さいほど補正量を大きくする。図８（ａ）に、環境光強度の値が小さいほど補正量を大きくする補正ＬＵＴの例を示す。

一方、画像観察時に周囲が明るい環境では、人間の視覚特性から明るさの微小な差を認識しにくい。同じ画像を複数の環境で観察することを想定し、異なる環境間で見た目の印象をより近付けるためには、明るい環境であるほど、言い換えれば、環境光強度の値が大きいほど補正量を大きくする。図８（ｂ）に、環境光強度の値が大木ほど補正量を大きくする補正ＬＵＴの例を示す。

●アーティファクト補正処理
図９は、アーティファクト検出部２０５でアーティファクトを検出するために、画像の高輝度領域を抽出する方法を説明する図である。図９（ａ）は、画像取得部１０１が取得した画像を示している。図９（ｂ）は、図９（ａ）の画像に対して、予め設定された所定の閾値に基づく２値化処理を行って得た２値画像を示している。この２値画像における白の領域が高輝度領域を示し、黒い領域が非高輝度領域を示している。ここで２値画像の非高輝度領域の画素値はゼロと見なす。また、２値画像の高輝度領域は、その領域の現実の画像の平均輝度値とする。

尚、画像上で高い画素値を示す画素の空間周波数特性が高周波に分布している場合、撮影時にフレアなどのアーティファクトの発生する度合いが小さいため、所定の周波数より低い成分をアーティファクトの発生源の候補として抽出することが好ましい。低周波成分を抽出する方法は、図４を用いて説明した解像度変換と同様の方法や、フィルタ処理を用いることが出来る。アーティファクト検出部２０５は、図９（ｂ）の白で示された領域に対応する、図９（ａ）に示す実際の画像から、Ｒ、Ｇ、Ｂのそれぞれの平均値を算出し、Ｙｕｖ表色系のＹ、ｕ、ｖに変換する。また、領域の重心座標を取得する。つまり、輝度などの明るさに関する情報、色味に関する情報、画像上の位置に関する情報を取得する。高輝度領域は複数抽出しても構わないが、上限数を予め設定しておき、平均画素値の大きさと面積とから決定することが好ましい。

図１０（ａ）乃至（ｄ）を参照して、アーティファクト検出部２０５によるアーティファクト検出法を説明する。図１０（ａ）は、図９（ａ）の画像から検出されたアーティファクト成分画像である。このアーティファクト成分画像における色が明るいほどアーティファクトが大きいことを意味している。つまり、高輝度領域からその側に向かうにしたがって輝度値が低下していく特性を持つ。

図１０（ａ）に示すようなアーティファクト成分画像を検出する方法を、図１０（ｂ）、（ｃ）、（ｄ）を用いて説明する。図１０（ｂ）は、図９（ｂ）の２値画像（高輝度領域が実際の輝度平均値、非高輝度領域がゼロの２値画像）に、図１０（ａ）に示す破線ラインで横切った画素分布を示している。水平軸が、そのライン上の位置を示し、垂直方向が輝度値である。図１０（ｃ）は、図９（ｂ）を所定のフィルタでぼかした画像の位置と画素値の関係を示すグラフであり、図１０（ａ）の点線で示されたライン上の画素値を示している。尚、高輝度領域を抽出した画像をぼかすためのフィルタは、図１１に示すようなガウシアンフィルタを用いることができるが、ぼかすフィルタであればメディアフィルタなど別のフィルタを用いても良い。図１１には、５×５サイズのフィルタの例を示したが、フィルタサイズや係数はこの例の限りではない。アーティファクト検出部２０５は複数のフィルタを格納しておき、画像によって適切なサイズのフィルタを適用する。図１０（ｄ）は、図９（ｂ）を所定のフィルタでぼかした画像から、図９（ｂ）の画像を減算した画像の位置と画素値の関係を示すグラフであり、図１０（ａ）の点線で示されたライン上の画素値を示している。すなわち、図１０（ｄ）の画素値プロファイルが、図１０（ａ）に示すアーティファクト成分の点線におけるプロファイルに対応している。尚、図９（ｂ）を所定のフィルタでぼかした画像から図９（ｂ）の画像を減算した際に、画素値が０より小さくなる場合は、値を０にクリッピングする。

アーティファクト補正実行部２０６によるアーティファクト補正の例を図１２を参照して説明する。図１２（ａ）は図９（ａ）に対応する画像取得部１０１で取得した画像である。図１２（ｂ）は、アーティファクト検出部２０５が生成（検出）した図１０（ｂ）のアーティファクト成分を示す画像に、補正量算出部２０３で算出した補正量を適用した補正後アーティファクト成分画像である。

例えば、画像表示部１０３の表示装置の最大輝度が５００ｎｉｔｓであった場合、図７（ｂ）の補正テーブルから補正量αは１４．６％と決定される。図１０（ａ）のアーティファクト成分を示す画像Ａとしたとき、補正後アーティファクト成分画像Ａｃは次式で得るものとした。
Ａｃ＝（１－α）×Ａ
図１２（ｃ）は、アーティファクト補正処理として、図１２（ａ）で画像から、図１２（ｂ）の補正後アーティファクト成分画像を減算した結果の画像である。ここでも、減算処理の際に、画素値が０より小さくなる場合は、値を０にクリッピングする。図１２（ｂ）に示すように、入力画像の高輝度成分の位置や色に基づいて、画像上の位置によって異なる量の補正が施される。

なお、上記では、図１０（ａ）のアーティファクト成分に対して、補正量算出部２０３で算出した補正量に基づいたデジタルゲインを施す例であったが、アーティファクト検出部２０５における高輝度領域のぼかし処理において、サイズや係数の異なる複数のフィルタを用いてアーティファクト成分の画像を複数生成しておき、補正量算出部２０３で算出した補正量に基づいて選択することによっても補正量を制御することができる。

尚、アーティファクト検出部２０５で抽出した高輝度領域の位置、平均画素値のみをアーティファクト補正実行部２０６に送り、アーティファクトの補正実行部でアーティファクト成分を生成して、補正処理を行っても良い。

次に、上述した補正処理とは異なるアーティファクト補正の方法として、ラプラシアンフィルタによる補正処理を説明する。図１３に、強度の異なるラプラシアンフィルタを示す。図１３（ａ）は相対的に強度の弱いフィルタ、図１３（ｂ）は相対的に強度の強いフィルタの例を示している。図中には２つのフィルタのみを例として示したが、補正量算出部２０３で算出される補正量をカバーするように、さらに多くのフィルタをアーティファクト補正実行部２０６に格納しておくことが好ましい。アーティファクト補正実行部２０６は、補正量算出部２０３で算出した補正量に基づいて、補正量が大きいほど強度の強いフィルタを用いたフィルタ処理を行うことで、補正量を制御する。

さらに、上述した２つの方法とは異なるアーティファクト補正の方法として、階調変換による補正処理を説明する。図１４（ａ）は入力画素値に対する出力画素値の関係を示すガンマ特性のグラフである。図示の参照符号１４０１は、入力画素値＝出力画素値となる無変換を示し、参照符号１４０２、１４０３は、特に暗部（低画素値）の領域で出力の画素値が小さくなるようなガンマ特性を示している。図中には２つの特性のみを例として示したが、補正量算出部２０３で算出される補正量をカバーするように、さらに多くのガンマ特性を、アーティファクト補正実行部２０６に格納しておくことが好ましい。ただし、各ガンマ特性は、入力画素値を水平軸、出力画素値を垂直軸とする座標空間において、入力値＝出力値となる境界の下側の領域を通る変換特性を有するものである。

アーティファクト補正実行部２０６は、補正量算出部２０３で算出した補正量に基づいて、補正量が大きいほど画素値が小さくなるガンマ特性を選択して階調変換処理を行うことで、補正量を制御する。すなわち、ガンマ特性１４０２は相対的に補正量が小さい場合、ガンマ特性１４０３は相対的に補正量が大きい場合のガンマ特性の例を示している。図１４（ｂ）は、図９（ａ）の高輝度領域である太陽の中心を通るラインにおける位置と画素値の関係を示したグラフである。参照符号１４０４は補正を行わない場合の画素値である。参照符号１４０５は、ガンマ特性１４０２のガンマ特性で変換した場合の画素値、参照符号１４０６はガンマ特性１４０３のガンマ特性で変換した場合の画素値を示している。補正量算出部２０３で算出された補正量が大きい場合のガンマ特性１４０３を適用した画素値カーブ１４０６の方が、画素値カーブ１４０５と比べてより多く補正されていることがわかる。

尚、上述した補正処理は、ＲＧＢ値に対して施しても良いし、変換後のＹｕｖに対して施しても良い。

以上説明した通り、本実施形態により、画像表示装置に表示される画像の輝度が高いほど、画像の高輝度領域に由来する輝度や色に関するアーティファクト成分が小さくなるように補正することができる。これにより、高輝度表示可能な表示装置を観察した際のアーティファクトに由来する違和感を抑制することが可能になる。

［第２実施形態］
上記の第１実施形態では、表示装置に表示される画像の輝度が高いほど、フレアなどのアーティファクトを補正する画像処理装置および方法について説明を行った。本第２実施形態では、比較的輝度の低い画像表示装置に画像を表示する際に、明るさや眩しさを表現するために、あえてフレアなどのアーティファクトを付加する方法を説明する。画像処理装置の基本的な構成や、画像処理フローは第１実施形態と同様のため、本実施形態では差分のみを説明する。

●アーティファクト補正量算出
図１５（ａ）は補正テーブル２０２が示す補正曲線、同図（ｂ）は具体的なルックアップテーブル（ＬＵＴ）である。図１５（ａ）のグラフは、表示輝度取得部１０４で取得する表示輝度と補正量との関係を示している。表示輝度情報の値が低いほど補正量が大きくなっていることがわかる。また、図１５（ｂ）は、図１５（ａ）に示す関係を記したＬＵＴである。補正テーブル２０２は、図１５（ｂ）に示すようなＬＵＴの形式で格納されている。１０４で取得した表示輝度が格納されたＬＵＴに記載されている表示輝度の間の値の場合は、最も近い表示輝度に対応する補正量を参照する。または、線形補間など公知の補間技術で補間して補正量を求めても良い。尚、図７（ｂ）のようにＬＵＴの形式以外にも、表示輝度と補正量の関係を関数で保持しても良い。

さらに、第１実施形態と同様に、環境光取得部２０４で取得した環境光強度に基づいて補正を行っても良く、補正テーブル２０２は複数の環境光強度に対してそれぞれＬＵＴを保持して置くことが好ましい。

●アーティファクト補正処理
第２実施形態における、アーティファクト検出部２０５でアーティファクトを検出する方法、および、アーティファクト補正実行部２０６を付加する方法を図１６を参照して説明する。

図１６（ａ）は、図１０（ａ）同様、図９（ａ）の画像から検出されたアーティファクト成分である。図１６（ｂ）は図１０（ｂ）同様、図９（ａ）に対応した画像の位置と画素値の関係を示すグラフである。図１６（ｃ）は図１０（ｃ）同様、図９（ｂ）を所定のフィルタでぼかした画像の位置と画素値の関係を示すグラフである。図１６（ｄ）、図１６（ｅ）の点線は、図９（ｂ）を所定のフィルタでぼかした画像から図９（ｂ）の画像を減算した画像の位置と画素値の関係を示すグラフであり、図９（ａ）のアーティファクト成分を示している。図１６（ｄ）、図１６（ｅ）の実線は２０６で付加するアーティファクト成分の基準値を示している。図１６（ｄ）の実線は、点線で示される画素値に対して、補正量に基づくデジタルゲインをかけた画素値を示している。図１６（ｄ）におけるデジタルゲインは、高輝度領域からの距離が遠いほど値が高くなるような特性のゲインであり、付加する輝度値は補正量に従うものである。図１６（ｅ）は図１６（ｄ）同様、点線で示される画素値に対して補正量に基づくデジタルゲインをかけた画素値を示している。図１６（ｅ）におけるデジタルゲインは、高輝度領域からの距離が近いほど値が高くなるような特性のゲインであり、付加する輝度値は補正量に応じたものである。尚、ゲインをかけた画像は、高輝度領域の画素値の最大値でクリッピングする。アーティファクト補正実行部２０６における補正実行において、図１６（ｄ）、図１６（ｅ）の実線のどちらを用いても良い。なお、この選択は、ユーザにより選択させてるものとする。

図１７は、アーティファクト補正実行部２０６においてアーティファクト補正の実行例を示す図である。図１７（ａ）は図９（ａ）に対応する画像取得部１０１で取得した画像であり、図１７（ｂ）は図１６（ａ）に対応するアーティファクト検出部２０５で検出されたアーティファクト成分である。図１７（ｃ）は、付加するアーティファクト成分である。このアーティファクト成分は、図１６（ｄ）または図１６（ｅ）の実線で示される、付加するアーティファクト成分の基準値に対して、補正量算出部２０３で算出した補正量に基づいてデジタルゲインをかけた画像である。アーティファクト補正実行部２０６における補正処理の方法は、まず図１７（ａ）に示す元画像から図１７（ｂ）に示すアーティファクト成分を減算（除去）する。減算後の画素値が０より小さくなる場合は、値を０にクリッピングする。次に、減算後の画像に対して、図１７（ｃ）のアーティファクト成分を付加する。図１７（ｄ）はこの処理結果の画像を示しており、アーティファクト成分が増えていることがわかる。

さらに、別のアーティファクト補正の方法として、階調変換による補正処理を説明する。図１８（ａ）は入力画素値に対する出力画素値の関係を示すガンマ特性のグラフである。階調変換を行わない場合の参照符号１８０１に対し、参照符号１８０２、１８０３は、出力の画素値が大きくなるようなガンマ特性になっている。アーティファクト補正実行部２０６では、補正量算出部２０３で算出した補正量に基づいて、補正量が大きいほど画素値が大きくなるガンマ特性を選択して階調変換処理を行うことで、補正量を制御する。すなわち、参照符号１８０２は相対的に補正量が小さい場合、参照符号１８０３は相対的に補正量が大きい場合のガンマ特性の例を示している。図１８（ｂ）は、図９（ａ）の高輝度領域である太陽の中心を通るラインにおける位置と画素値の関係を示したグラフである。１８０４は補正を行わない場合の画素値である。１８０５は１８０２のガンマ特性で変換した場合の画素値、１８０６は１８０３のガンマ特性で変換した場合の画素値を示している。２０３で算出された補正量が大きい場合の１８０３を適用した１８０６の方が、１８０５と比べてより多く補正されていることがわかる。なお、選択肢を多くするため、より多くのガンマ特性を用意しても良い。この場合、各ガンマ特性は、入力画素値を水平軸、出力画素値を垂直軸とする座標空間において、入力値＝出力値となる境界の上側の領域を通る変換特性を有するものである。

以上説明した通り、本第２実施形態により、画像表示装置に表示される画像の輝度が低いほど、画像の高輝度領域に由来する輝度や色に関するアーティファクト成分が大きくなるように補正することができる。これにより、表示輝度の低い表示装置を観察した際に、実シーンを観察したような明るさや眩しさを表現することが可能になる。

［第３実施形態］
第１実施形態、第２実施形態では、画像表示装置に表示される画像の輝度に基づいて、画像の高輝度領域に由来する輝度や色に関するアーティファクトを補正する画像処理装置および方法について説明を行った。本実施形態では、ユーザによって補正量を調整する方法、および、ユーザが画像を選択する方法について説明する。

図１９は、本第３実施形態における画像処理装置の概略構成を示す概念図である。画像取得部１９０１は、表示対象の画像を取得する。取得される画像の発生源は特に問わない。第１アーティファクト補正部１９０２は、後述する表示輝度取得部１９０３で取得した表示輝度情報に基づいて、画像取得部１９０１で取得した画像に対して第１実施形態で説明したアーティファクト補正処理と同様の処理を施す。表示輝度取得部１９０３は、第１アーティファクト補正部１９０２のアーティファクト補正に用いる表示輝度情報を取得する。第２アーティファクト補正部１９０４は、後述する補正量調整部１９０５でユーザによって調整された補正量に基づいて、画像取得部１９０１で取得した画像もしくは第１アーティファクト補正部１９０２で補正処理が施された画像に対してアーティファクト補正を行う。補正量調整部１９０５は、ユーザがアーティファクトの補正量を調整できるユーザインタフェース（ＵＩ）を有し、第２アーティファクト補正部１９０４の補正量を決定する。画像表示部１９０６は画像表示装置を具備する。そして、画像表示部１９０５は、画像取得部１９０１で取得した画像、第１アーティファクト補正部１９０２で表示輝度に基づいてアーティファクトが自動補正された画像、第２アーティファクト補正部１９０４でユーザによる調整に基づいてアーティファクトが補正された画像を比較可能に表示する。画像表示部１９０６はこれらの画像を全て同時に表示しなくても、これらの画像のうち２つを同時に表示しても良いし、画像を１枚ずつ切り替えながら表示しても良い。画像選択部１９０７は、画像表示部１９０６の画像表示を利用してユーザが画像を選択するＵＩを具備する。

図２０は、補正量調整部１９０５の具備する、アーティファクト補正の補正量をユーザが調整するためのＵＩ（User Interface)である。このＵＩは、補正の基準とする画像を画像取得部１９０１で取得した画像と第１アーティファクト補正部１９０２で補正処理が施された画像とから選択するための二者択一のトグルボタンを有することが好ましい。図示のラジオボタン「補正無し」「自動補正」は、この二者択一の例である。補正の基準とする画像は、必ずしもこれらの画像から選択しなくても、基準画像はどちらか一方でも構わない。さらに、このＵＩはユーザが調整した補正量に基づいて補正した画像を表示する機能を有する。ユーザはこの補正結果を確認しながら補正量を決定する。図示では、スライダバーで補正量の強弱をユーザが指定することを示している。

図２１は、画像選択部１９０７の具備する、ユーザが画像を選択するためのＵＩである。このＵＩは、画像取得部１９０１で取得した画像、第１アーティファクト補正部１９０２で補正処理が施された画像、ユーザからの調整指示に基づく第２アーティファクト補正部１９０４で補正された画像の中から択一で選択できるトグルボタンを有する。選択の対象とする画像は、必ずしもこれら全ての画像で無くても良く、これらの画像のうち２つを表示する構成でも構わない。

図２２は、画像表示部１９０６で画像の表示例を示している。同図（ａ）は、比較対象の画像を並べて表示する方法を示し、同図（ｂ）は、分割された領域の左右で異なる画像を表示する例を示している。図２２（ｂ）では、図中に図示するようなマウスポインタや、図中に図示しないキーボード等で分割境界位置を左右に移動させられることが好ましい。図２２（ａ）の表示位置や、図２２（ｂ）の分割方向はこれに限定されない。また、表示する画像は、画像取得部１９０１で取得した画像と、第１アーティファクト補正部１９０２で補正処理が施された画像と、第２アーティファクト補正部１９０４でユーザによって調整された補正量に基づいて補正された画像を同時に表示しても構わない。

以上説明した通り、本第３の実施形態により、表示装置の輝度の違いによる画像の高輝度領域に由来する輝度や色に関するアーティファクトの補正量をユーザが調整することが可能になる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１…画像取得部、１０２…アーティファクト補正部、１０３…画像表示部、１０４…表示輝度取得部、２０１…補正有無判定部、２０２…補正テーブル、２０４…環境光取得部、２０５…アーティファクト検出部、２０６…アーティファクト補正実行部

Claims (9)

1. 表示装置に表示する画像データを補正する画像処理装置であって、前記画像データは、高輝度な被写体に由来し画像内で相対的に画素値の高い第１領域と前記第１領域の近傍領域である第２領域とを含む画像を表し、
   前記表示装置が表示可能な最大輝度に対応する情報を取得する取得手段と、
   前記画像データが表す画像のアーティファクトであるフレアについて、前記取得手段で取得した情報を用いて前記最大輝度が大きいほど該フレアの補正量が大きくなるよう補正量を導出し、該導出した補正量を用いて補正する補正手段と、
   を有し、
   前記補正手段は、前記第１領域において前記アーティファクトの補正を行わず、前記第２領域における前記アーティファクトの補正が、前記画像中において前記第１領域より外側に離れる領域ほど小さくなるよう補正すること特徴とする画像処理装置。
2. 前記補正手段は、
   前記アーティファクトを補正するための補正量を、前記表示装置が表示可能な最大輝度に基づき導出する導出手段と、
   前記画像データを、予め設定された輝度の閾値を用いて２値化し、高輝度領域と非高輝度領域とを区別する２値画像を生成する２値化手段と、
   前記高輝度領域における輝度平均値を算出する算出手段と、
   前記高輝度領域の画素が前記輝度平均値を有し、非高輝度領域の画素の輝度がゼロと見なした第１の画像を生成し、当該第１の画像に対して予め設定されたぼかしフィルタ処理を実行することで前記高輝度領域から外れるに従って輝度が低下していく第２の画像を生成し、前記第１の画像から前記第２の画像の輝度を減じることで第３の画像を生成し、前記第３の画像を前記導出手段で導出した補正量に基づいて補正することで、アーティファクト成分に係る補正を行うための画像データを生成する生成手段とを含み、
   前記表示装置に表示する画像データから、前記生成手段が生成した画像データを減じる
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段は、
   前記アーティファクトを補正するための補正量を、前記表示装置が表示可能な最大輝度に基づき導出する導出手段と、
   前記画像データを、予め設定された輝度の閾値を用いて２値化し、高輝度領域と非高輝度領域とを区別する２値画像を生成する２値化手段と、
   前記高輝度領域における輝度平均値を算出する算出手段と、
   前記高輝度領域の画素が前記輝度平均値を有し、非高輝度領域の画素の輝度がゼロと見なした第１の画像を生成し、当該第１の画像に対して互いに異なる特性を有するぼかしフィルタ処理を実行することで、前記高輝度領域から外れるに従って輝度が低下していく複数の第２の画像を生成し、前記導出手段で導出した補正量に基づいて前記複数の第２の画像の１つを選択し、当該選択した第２の画像の輝度を前記第１の画像から減じることでアーティファクト成分に係る補正のための画像データを生成する生成手段とを含み、
   前記表示装置に表示する画像データから、前記生成手段が生成した画像データを減じる
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記補正手段は、
   前記アーティファクトを補正するための補正量を、前記表示装置が表示可能な最大輝度に基づき導出する導出手段と、
   前記画像データを、予め設定された輝度の閾値を用いて２値化し、高輝度領域と非高輝度領域とを区別する２値画像を生成する２値化手段と、
   前記高輝度領域における輝度平均値を算出する算出手段と、
   前記高輝度領域の画素が前記輝度平均値を有し、非高輝度領域の画素の輝度がゼロと見なした第１の画像を生成し、当該第１の画像に対して予め設定されたぼかしフィルタ処理を実行することで前記高輝度領域から外れるに従って輝度が低下していく第２の画像を生成し、前記第１の画像から前記第２の画像の輝度を減じることで第３の画像を生成し、前記第３の画像を前記導出手段で導出した補正量に基づいて補正することで、アーティファクトを除去するための第４の画像データを生成する第１の生成手段と、
   前記第３の画像に対して、前記導出手段で導出した補正量に基づき、アーティファクト成分に係る補正のための画像データを生成する第２の生成手段とを含み、
   前記表示装置に表示する画像データから前記第４の画像データを減じて得た画像データに、前記第２の生成手段が生成した画像データを加える
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記第２の生成手段は、前記高輝度領域からの距離が遠いほど付加する輝度値が大きい画像データ、又は、前記高輝度領域からの距離が近いほど付加する輝度値が大きい画像データのいずれかを生成する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 更に、前記補正手段で得られた画像データが示す画像、並びに、前記補正量をユーザの操作に応じて調整するユーザインターフェースを前記表示装置に表示する表示制御手段を有することを特徴とする請求項２に記載の画像処理装置。
7. 前記アーティファクトを補正するための補正量を、前記表示装置が表示可能な最大輝度に基づき導出する導出手段を有し、
   前記取得手段は、更に前記表示装置の周辺の環境光強度に関する情報を取得し、
   前記導出手段は、前記表示装置の最大輝度、及び、前記環境光強度に基づき前記補正量を導出する
   ことを特徴とする請求項１に記載の画像処理装置。
8. 表示装置に表示する画像データを補正する画像処理装置の制御方法であって、前記画像データは、高輝度な被写体に由来し画像内で相対的に画素値の高い第１領域と前記第１領域の近傍領域である第２領域とを含む画像を表し、
   前記表示装置が表示可能な最大輝度に対応する情報を取得する取得工程と、
   前記画像データが表す画像のアーティファクトであるフレアについて、前記取得工程で取得した情報を用いて前記最大輝度が大きいほど該フレアの補正量が大きくなるよう補正量を導出し、該導出した補正量を用いて補正する補正工程と、
   を有し、
   前記補正工程は、前記第１領域において前記アーティファクトの補正を行わず、前記第２領域における前記アーティファクトの補正より小さく、前記第２領域における前記アーティファクトの補正が、前記画像中において前記第１領域より外側に離れる領域ほど小さくなるよう補正すること特徴とする画像処理装置の制御方法。
9. コンピュータが読み込み実行することで、前記コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images