JP5669599B2 - 画像処理装置及びその制御方法 - Google Patents

Description

本発明は、画像処理装置及びその制御方法に関する。

近年、右目用画像と左目用画像を表示して立体映像を得る画像表示装置が普及しており、立体映像に対する画作りの必要性も高まっている。
画作りの技術の一つとして、フレーム毎に画像の輝度ヒストグラムなどの統計量に応じて階調補正曲線（γ曲線）を求め、この階調補正曲線によって画素値の階調を補正し（γ補正処理）、コントラスト感を改善するものがある。さらには、このγ曲線を画像内の画素ごとに異ならせる技術（局所γ補正処理）もある（特許文献１）。
特許文献１に開示の技術では、画像を複数の領域に分割し、画素毎に、各々の領域で求めた基準のγ補正パラメータを補正対象の画素の座標に基づいて合成することにより局所γ補正を実現している。

特開２００４−２８７７９４号公報

しかしながら、特許文献１に開示されているような、画像を複数の領域に分割して領域ごとに求めたγ曲線を用いた局所γ補正処理を、そのまま立体映像の左目用画像と右目用画像に適用すると、立体映像特有の性質により不具合が生じることがある。具体的には、立体映像においては、同じ物体が、左目用画像と右目用画像とで異なる位置に存在することがある。即ち、画像を複数の領域に分割して領域ごとにγ曲線を求める際に、同じ物体が左目用画像と右目用画像とでは異なる位置の領域に属することがある。その場合、分割した領域内の画像データが左目用画像と右目用画像とで異なることになるため、領域ごとに得られるγ曲線も異なることになる。その結果、同じ物体に対して左目用画像と右目用画像とで異なるγ曲線が適用され、立体感が損なわれたり、ちらつきが生じたりしてしまう。

本発明は、立体映像に対して、立体感の低減やちらつきの発生が抑制された局所γ補正処理を行うことのできる技術を提供することを目的とする。

本発明の画像処理装置は、左目用画像と右目用画像の組からなる立体映像において、左目用画像及び右目用画像のうち、一方の画像である第１画像と、他方の画像である第２画像の階調を補正する画像処理装置であって、前記第１画像と第２画像の間の視差を検出する検出手段と、前記第１画像と前記第２画像のそれぞれの画素毎に、当該画素の階調値を補正するために、対応する階調変換曲線を決定して階調値を補正する補正手段と、を有し、前記補正手段は、前記視差に基づいて前記第１画像の画素に対応する前記第２画像の画素を検出し、前記第１画像の画素と当該画素に対応する前記第２画像の画素に対して、同じ階調変換曲線を用いて階調値を補正することを特徴とする。

本発明の画像処理装置の制御方法は、左目用画像と右目用画像の組からなる立体映像において、左目用画像及び右目用画像のうち、一方の画像である第１画像と、他方の画像である第２画像の階調を補正する画像処理装置の制御方法であって、前記第１画像と第２画
像の間の視差を検出するステップと、前記第１画像と前記第２画像のそれぞれの画素毎に、当該画素の階調値を補正するために、対応する階調変換曲線を決定して階調値を補正するステップと、を有し、前記階調値を補正するステップでは、前記視差に基づいて前記第１画像の画素に対応する前記第２画像の画素を検出し、前記第１画像の画素と当該画素に対応する前記第２画像の画素に対して、同じ階調変換曲線を用いて階調値を補正することを特徴とする。

本発明によれば、立体映像に対して、立体感の低減やちらつきの発生が抑制された局所γ補正処理を行うことができる。

実施例１に係る画像処理装置の機能構成を示すブロック図。 分割領域の一例を示す図。 γ補正値の算出方法の一例を示す図。 ブロック分割の一例を示す図。 視差の検出結果の一例を示す図。 座標変換曲線の一例を示す図。 実施例２に係る画像処理装置の機能構成を示すブロック図。

＜実施例１＞
以下、本発明の実施例１に係る画像処理装置及びその制御方法について説明する。本実施例に係る画像処置装置は、立体映像を構成する第１画像と第２画像の階調を補正する。以下では、第１画像が左目用画像、第２画像が右目用画像の場合について説明するが、第１画像が右目用画像、第２画像が左目用画像であってもよい。即ち、第１画像と第２画像の一方の画像が左眼用画像、他方の画像が右目用画像であればよい。第１画像と第２画像は同一のシーンに対応する左目用画像と右目用画像であることは言うまでもない。即ち、立体映像が撮影によって生成された映像である場合には、第１画像と第２画像はその撮影タイミングが同一である画像である。この第１画像と第２画像は立体映像を構成する画像の組と言うことができる。

図１は、本実施例に係る画像処理装置の機能構成を示すブロック図である。
まず、このブロック図に従って処理の流れを説明する。各処理の詳細については後述する。本実施例に係る画像処理装置には、入力映像（信号）として、左目用画像（信号）及び右目用画像（信号）が入力される。左目用画像信号、右目用画像信号は、例えば、ＹＣｂＣｒやＹＰｂＰｒなどの輝度・色差信号である。

分割統計量取得部１は、入力された左目用画像を格子状の複数の分割領域に分割し、分割領域毎に画素値の統計量を取得する。本実施例では、統計量として輝度ヒストグラムが取得される。
γ曲線生成部２は、分割統計量取得部１で取得された分割領域毎の輝度ヒストグラムから、分割領域毎の階調変換曲線（γ曲線）｛ＧＬ｝を生成（決定）する。本実施例では、パラメータに｛｝をつけることでそのパラメータの集合であることを表す。
γ補正部３は、入力された左目用画像の画素毎に、対応するγ曲線を決定して階調値（輝度信号の値）を補正する（γ補正処理）。即ち、入力された左目用画像の画素毎に、使用するγ曲線を適応的に切り替えながら階調値を補正する。具体的には、入力された左目用画像の画素毎に、γ曲線生成部２から出力された分割領域毎のγ曲線｛ＧＬ｝と該画素の座標とに基づいて輝度信号の補正を行う。このように、画素毎に使用するγ曲線を切り替えて階調値を補正するγ補正処理を局所γ補正処理と呼ぶ。

左右視差検出部４は、左目用画像と右目用画像を入力とし、左目用画像と右目用画像の間の視差を検出する（検出手段）。具体的には、右目用画像を格子状の複数の領域（ブロック）に分割し、ブロック毎に、左目用画像から対応する領域を探索し、左右画像間の視差を求める。

座標変換曲線生成部５は、左右視差検出部４から出力された左目用画像と右目用画像の視差に基づいて、互いに対応する左目用画像の画素と右目用画像の画素とを検出する処理に用いる座標変換曲線｛ＴＬ｝を生成する。
γ補正部６は、入力された右目用画像の画素毎に、対応するγ曲線を決定して階調値を補正する。具体的には、右目用画像の画素毎に、座標変換曲線生成部５からの座標変換曲線｛ＴＬ｝を用いて、その画素に対応する左目用画像の画素を検出する。そして、その検出結果とγ曲線生成部２からのγ曲線｛ＧＬ｝とに基づいて輝度信号の補正を行う。
本実施例では、分割統計量取得部１、γ曲線生成部２、γ補正部３、座標変換曲線生成部５、および、γ補正部６が、補正手段に相当する。

次に、各機能の処理について詳しく説明する。
分割統計量取得部１は、図２に示すように左目用画像を格子状の複数の分割領域Ａ１〜Ａ９に分割し、分割領域毎に輝度ヒストグラムを取得する。なお、本実施例では左目用画像を９つの分割領域に分割しているが、分割数はこれに限らない。輝度ヒストグラムは、入力された左目用画像のうち輝度を表すＹ信号について、階調値ごとに、その階調値の度数をカウントして作成される。

γ曲線生成部２は、分割統計量取得部１から出力された分割領域毎の輝度ヒストグラムから、分割領域毎のγ曲線を生成する。
輝度ヒストグラムからγ曲線を得る方法は種々提案されている。本実施例では、輝度ヒストグラムから累積輝度ヒストグラムを求め、この累積輝度ヒストグラムの度数を画像データ（Ｙ信号）の階調数で正規化することによりγ曲線を作成した。
このように作成されたγ曲線を用いることにより、輝度ヒストグラムにおいて度数の多い階調範囲の階調性が高められ、度数の少ない階調範囲の階調性が低められる。換言すれば、輝度ヒストグラムにおいて度数の多い階調範囲に多くの階調値が割り当てられ、度数の少ない階調範囲は圧縮される。それにより、画像のコントラストを改善することができる。

なお、本実施例では、γ曲線を輝度ヒストグラムから作成する例を示しているが、γ曲線は別の統計量を用いて生成してもよい。例えば、統計量として画像の平均輝度レベル（ＡＰＬ）を取得し、ＡＰＬの高い画像に対しては、高階調部の階調性を高めるγ曲線を生成し、ＡＰＬの低い画像に対しては、低階調部の階調性を高めるγ曲線を生成するなどとしても良い。

γ補正部３は、取得された統計量に基づいて左目用画像の各分割領域内の画素に使用するγ曲線を決定する。具体的には、分割領域毎の統計量に基づいて生成された分割領域毎のγ曲線を用いて、左目用画像の画素毎にγ曲線を決定する。そして、左目用画像の画素に対して、その画素に対して決定されたγ曲線を用いて階調値を補正する。ここで、分割領域Ａ１，Ａ２，Ａ４，Ａ５のγ曲線をそれぞれγ曲線γ１，γ２，γ４，γ５とする。画素ＰＬの座標が、図２の分割領域Ａ１，Ａ２，Ａ４，Ａ５の中心座標を結んだ矩形領域内に存在する場合には、γ補正部３は、γ曲線γ１，γ２，γ４，γ５を画素ＰＬに対するγ曲線とする。次に、γ補正部３は、γ曲線γ１，γ２，γ４，γ５を用いて画素ＰＬの階調値Ｐを補正し、階調値ＯＰ１，ＯＰ２，ＯＰ４，ＯＰ５算出する。そして、γ補正部３は、この４つの階調値ＯＰ１，ＯＰ２，ＯＰ４，ＯＰ５を、画素ＰＬの座標に基づい
て合成することにより、画素ＰＬのγ補正値（最終的な補正後の階調値）を算出する。例えば、図３に示すように、分割領域Ａ１，Ａ４の中心から画素ＰＬまでの水平方向の距離：画素ＰＬから分割領域Ａ２，Ａ５の中心までの水平方向の距離＝α：１−αであったとする。また、分割領域Ａ１，Ａ２の中心から画素ＰＬまでの垂直方向の距離：画素ＰＬから分割領域Ａ４，Ａ５の中心までの垂直方向の距離＝β：１−βであったとする。その場合、画素ＰＬのγ補正値ＯＰは以下の式１で算出される。
ＯＰ＝（１−β）×（（１−α）×ＯＰ１＋α×ＯＰ２）
＋β×（（１−α）×ＯＰ４＋α×ＯＰ５） （式１）
なお、上記処理は、画素毎に、複数のγ曲線を合成して１つのγ曲線を算出し、算出したγ曲線を用いて画素の階調値を補正する処理と等価である。
上記処理を左目用画像の各画素に対して行うことにより、左目用画像の各画素に対するγ補正値が得られる。

左右視差検出部４は、右目用画像の位置に対応する位置（対応位置）を左目用画像から検出する。そして、右目用画像内の位置と、その位置に対応する位置との差（ベクトル量）を視差として取得する。本実施例では、ブロックマッチング法により対応位置を検出する。
すなわち、右目用画像を格子状の複数のブロックに分割し（ブロック分割）、ブロック毎に、左目用画像から該ブロックとの相関が最も高くなる領域（ブロックと同じ大きさの領域）を探索し、該領域の位置を対応位置とする。

ブロック分割の様子を図４に示す。本実施例では１つの画像を５４個のブロックに分割する。具体的には、水平方向に９分割、垂直方向に６分割する。
左右視差検出部４は、右目用画像のブロックの位置を基準として、左目用画像内で探索位置を水平方向に動かして対応位置を検出する。具体的には、右目用画像のブロックの水平方向の座標をｘとすると、水平方向に［ｘ−ｗ，ｘ＋ｗ］（ｗは所定値）の範囲内で探索位置を動かして対応位置を検出する。探索位置を水平方向にのみに動かすのは、左目用画像と右眼用画像は垂直方向のずれがほとんど無いためである。本実施例では、相関値として差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ：ＳＡＤ）を使用した。すなわち、２つの領域（ブロックの領域と探索位置で示される領域）内の対応する位置毎に画素値の差分の絶対値を算出し、それらの合計値を相関値とした。２つの領域の相関が高いほど、ＳＡＤの値は小さくなるため、ＳＡＤが最小となる探索位置とブロックの位置との差を視差とした。例えば、左目用画像の位置ｘ＋ｄでＳＡＤが最小になったとすると、ｄが視差となる。ただし、ＳＡＤの最小値が所定の閾値より大きい場合には、対応位置が存在しない（視差が検出できない）と判断し、“視差なし”と判定する。
左右視差検出部４の出力する視差の情報（視差情報）は、１つの画像のブロック毎の情報となる。

座標変換曲線生成部５は、上記視差情報に基づき、垂直方向の位置が等しいブロックの行（以後、ブロックラインと呼ぶ）ごとに、座標変換曲線を作成する。座標変換曲線は、右目用画像の画素の座標の入力に対し、視差を加えた値を、該画素の左目用画像内での座標として出力するような関数である。即ち、座標変換曲線は、右目用画像の座標に視差を加えることで生成される。ただし、互いに隣接するブロック（隣接ブロック）間で視差が異なる場合や、ブロックに視差が存在しない場合には、隣接ブロック間で出力される座標（出力値）にジャンプ（段差又はずれ）が起こらないように座標変換曲線が生成される。

具体的には、以下のようにして座標変換曲線が生成される。
まず、ブロックライン上の各ブロックについて視差が存在すれば、そのブロック内の画素の座標の入力に対し、視差を加えたものを出力する座標変換曲線が生成される。
次に、隣接ブロック間で、それらの境界の座標の入力に対する出力値を比較する。それらの出力値にジャンプがある場合には、隣接ブロックの座標変換曲線の中点（入力される座標の中間値に対する座標変換曲線の値）同士を直線でつなぐように座標変換曲線を書き換える。
また、視差が存在しないブロックに対しては、該ブロックの左右に存在する座標変換曲線の端点と端点を例えば直線でつなぐように座標変換曲線を生成する。

上記の手順を具体例で説明する。
図４に示す左目用画像１０１と右目用画像１０２を用いてブロックマッチングを行うと、図５に示すような視差が検出される。なお、図５では、上から３番目のブロックラインｃ上のブロック２１〜２９の視差が右目用画像１０２の各ブロックの位置に示されており、他のブロックラインａ，ｂ，ｄ，ｅ，ｆ上のブロックの視差は省略されている。以下、このブロックラインｃの座標変換曲線を作成する例を示す。

まず、得られた視差から座標変換曲線を作成すると図６（ａ）のようになる。具体的には、ブロック２２の視差は０、ブロック２３の視差は９であるため、ブロック２２とブロック２３の間で出力値にジャンプが生じる。また、ブロック２６に対しては、視差が存在しないため、この時点では座標変換曲線は生成されない。
そして、ブロック２２とブロック２３の座標変換曲線の中点同士をつなぐように変換曲線が修正される。また、ブロック２６に対しては、左右のブロック２５，２７で座標変換曲線が生成されているため、それらの座標変換曲線の端点をつなぐように座標変換曲線が生成される。即ち、座標変換曲線は最終的に図６（ｂ）のようになる。図６（ｂ）のように座標変換曲線を生成することで、視差が存在しないブロック２６に対しても仮想的に視差が設定される。例えばブロック２６の左端部分の視差は９、中央部分の視差は４．５、右端部分の視差は０となる。
座標変換曲線生成部５は、以上の処理をすべてのブロックラインについて行い、ブロックラインごとの座標変換曲線｛ＴＬ｝を生成し、出力する。

γ補正部６は、入力された右目用画像の画素毎に、座標変換曲線生成部５からの座標変換曲線｛ＴＬ｝を用いて、その画素に対応する左目用画像の画素を検出する。右目用画像において視差が存在しない画素に対応する左目用画像の画素は、座標変換曲線による仮想的な視差に基づいて検出される左目用画像の画素となる。そして、その検出結果とγ曲線生成部２からのγ曲線｛ＧＬ｝とに基づいてγ補正値を算出する。具体的には、右目用画像の画素に対して、その画素に対応する左目用画像の画素に対して決定されたγ曲線を用いてγ補正値を算出する。
例えば、右目用画像の画素ＰＲの水平方向座標をｘ、垂直方向座標をｙとすると、ｙの値から画素ＰＲがどのブロックライン上にあるかが判別される。次に、該当するブロックラインの座標変換曲線ＴＬを用いて画素ＰＲの左目用画像内での座標（水平方向座標ｘ’、垂直方向座標ｙ）、即ち、画素ＰＲに対応する左目用画像の画素が検出される。
そして、検出された座標（ｘ’，ｙ）に基づいたγ補正部３と同様の処理により（左目用画像の座標（ｘ’，ｙ）の画素の階調値を補正する場合と同じγ曲線を同じ重みで用いることにより）γ補正値が算出される。

以上述べたように、本実施例によれば、視差に基づいて互いに対応する第１画像の画素と第２画像の画素とが検出され、互いに対応する第１画像の画素と第２画像の画素に対して同じ階調変換曲線を用いた階調値の補正が行われる。具体的には、第１画像の画素に対しては、その画素に対して決定された階調変換曲線を用いて階調値が補正される。また、第２画像の画素に対しては、その画素に対応する第１画像の画素に対して決定された階調変換曲線を用いて階調値が補正される。それにより、立体映像に対して、立体感の低減やちらつきの発生が抑制された局所γ補正処理を行うことができる。
なお、本実施例では、映像信号が輝度・色差信号である場合について説明したが、映像信号としてＲＧＢ信号を用い、ＲＧＢ信号から輝度に相当する値を抽出して輝度ヒストグラムを作成し、ＲＧＢの各信号に適用するγ曲線を生成するようにしても良い。

＜実施例２＞
次に、本発明の実施例２に係る画像処理装置及びその制御方法について説明する。
図７は、本実施例に係る画像処理装置の機能構成を示すブロック図である。本実施例に係る画像処理装置では、右目用画像からも分割領域毎の統計量が取得され、左目用画像と右目用画像の両方の統計量を元に階調値の補正が行われる。
まず、このブロック図に従って処理の流れを説明する。各処理の詳細については後述する。

分割統計量取得部１とγ曲線生成部２の動作は実施例１と同じである。
γ曲線生成部２は、左目用画像の分割領域毎のγ曲線｛ＧＬ｝を生成して出力する。
γ補正部７には、実施例１のγ補正部３と異なり、左目用画像についてのγ曲線｛ＧＬ｝と、γ曲線生成部１１から出力される右目用画像についてのγ曲線｛ＧＲ｝と、座標変換曲線生成部９から出力される座標変換曲線｛ＴＲ｝が入力される。γ補正部７は、左目用画像の画素毎にγ補正処理を行う。具体的には、実施例１のγ補正部３と異なり、左目用画像の画素毎に、γ曲線｛ＧＬ｝に基づいて補正された第１階調値と、γ曲線｛ＧＲ｝に基づいて補正された第２階調値とを合成して最終的なγ補正値を決定する。より具体的には、左目用画像の画素に対して、該左目用画像の画素に対して決定されたγ曲線を用いて該画素の階調値を補正して第１階調値を算出する。また、該左目用画像の画素に対応する右目用画像の画素に対して決定されたγ曲線を用いて階調値を補正して第２階調値を算出する。そして、第１階調値と第２階調値を合成して、最終的な階調値（γ補正値）を算出する。

左右視差検出部８は、実施例１と同様の方法により、左目用画像と右目用画像の間の視差を検出する。但し、本実施例では、右目用画像（具体的には右目用画像のブロックの位置）を基準とした視差だけではなく、左目用画像（具体的には左目用画像のブロックの位置）を基準とした視差も検出する。右目用画像を基準とした視差は座標変換曲線生成部５へ出力され、左目用画像を基準とした視差は座標変換曲線生成部９へ出力される。

座標変換曲線生成部５は、実施例１と同じく右目用画像の画素に対応する左目用画像の画素を検出する処理に用いる座標変換曲線｛ＴＬ｝を生成してγ補正部１２に出力する。座標変換曲線生成部９は、座標変換曲線生成部５と同様の処理により、左目用画像の画素に対応する右目用画像の画素を検出する処理に用いる座標変換曲線｛ＴＲ｝を生成してγ補正部７に出力する。

分割統計量取得部１０は、分割統計量取得部１と同様の処理により、右目用画像の分割領域毎の輝度ヒストグラムを取得する。
γ曲線生成部１１は、分割統計量取得部１０で取得された分割領域毎の輝度ヒストグラムを用いて、γ曲線生成部２と同様の処理により、右目用画像の分割領域毎のγ曲線｛ＧＲ｝を生成する。
γ補正部１２には、右目用画像についてのγ曲線｛ＧＲ｝と、左目用画像についてのγ曲線｛ＧＬ｝と、座標変換曲線｛ＴＬ｝が入力される。γ補正部１２は、右目用画像の画素毎にγ補正処理を行う。具体的には、右目用画像の画素毎に、γ曲線｛ＧＲ｝に基づいて補正された第３階調値と、γ曲線｛ＧＬ｝に基づいて補正された第４階調値とを合成して最終的なγ補正値を決定する。より具体的には、右目用画像の画素に対して、該右目用画像の画素に対して決定されたγ曲線を用いて該画素の階調値を補正して第３階調値を算出する。また、該右目用画像の画素に対応する左目用画像の画素に対して決定されたγ曲
線を用いて階調値を補正して第４階調値を算出する。そして、第３階調値と第４階調値を合成して、最終的な階調値（γ補正値）を算出する。
本実施例では、分割統計量取得部１，１０、γ曲線生成部２，１１、座標変換曲線生成部５，９、および、γ補正部７，１２が、補正手段に相当する。

次に、γ補正部７における、第１階調値と第２階調値の合成方法について詳細に説明する。
γ曲線生成部２から出力されるγ曲線｛ＧＬ｝は、実施例１で説明したγ曲線｛ＧＬ｝同一であり、左目用画像の分割領域毎に、その分割領域の統計量に基づいて決定されたγ曲線の集合である。
γ補正部７は、実施例１のγ補正部３の処理と同様の処理により、左目用画像の画素毎に、階調値を補正する。具体的には、左目用画像の画素毎に、γ曲線｛ＧＬ｝とその画素の座標に基づいて階調値を補正する。該補正により、第１階調値が得られる。

γ曲線生成部１１から出力されるγ曲線｛ＧＲ｝は、右目用画像の分割領域毎に、その分割領域の統計量に基づいて決定されたγ曲線の集合である。
座標変換曲線生成部９から出力される座標変換曲線｛ＴＲ｝は、左目用画像の画素に対応する右目用画像の画素を検出する処理に用いられる変換曲線である。
γ補正部７は、実施例１のγ補正部６の処理と同様の処理により、左目用画像の画素毎に、階調値を補正する。具体的には、左目用画像の画素毎に、その画素に対応する右目用画像の画素を座標変換曲線｛ＴＲ｝を用いて検出し、その検出結果とγ曲線｛ＧＲ｝とに基づいて階調値を補正する。該補正により、第２階調値が得られる。
本実施例では、γ補正部７は、左目用画像の画素毎に、第１階調値と第２階調値の平均値を、その画素の最終的なγ補正値として算出し、出力する。

次に、γ補正部１２における第３階調値と第４階調値の合成方法について詳細に説明する。
γ補正部１２は、実施例１のγ補正部３の処理と同様の処理により、右目用画像の画素毎に階調値を補正する。具体的には、右目用画像の画素毎に、γ曲線｛ＧＲ｝とその画素の座標に基づいて階調値を補正する。該補正により、第３階調値が得られる。
座標変換曲線生成部５から出力される座標変換曲線｛ＴＬ｝は、右目用画像の画素に対応する左目用画像の画素を検出する処理に用いられる変換曲線である。
γ補正部１２は、実施例１のγ補正部６の処理と同様の処理により、右目用画像の画素毎に、階調値を補正する。具体的には、右目用画像の画素毎に、その画素に対応する左目用画像の画素を座標変換曲線｛ＴＬ｝を用いて検出し、その検出結果とγ曲線｛ＧＬ｝とに基づいて階調値を補正する。該補正により、第４階調値が得られる。
本実施例では、γ補正部１２は、右目用画像の画素毎に、第３階調値と第４階調値の平均値を、その画素の最終的なγ補正値として算出し、出力する。ここで、右目用画像において視差が存在しない（検出できない）領域内の画素に対応する左目用画像の画素は、実施例１の図６（ｂ）のように生成した座標変換曲線による仮想的な視差に基づいて検出される画素である。なお、右目用画像において視差が検出できない領域内の画素に対しては、該右目用画像の画素に対してγ曲線｛ＧＲ｝に基づいて補正された階調値（即ち第３階調値）をその画素の最終的な階調値としてもよい。左目用画像についても同様に、視差が検出できない領域内の画素に対しては、第１階調値を最終的な階調値としてもよい。

以上述べたように、本実施例によれば、視差に基づいて互いに対応する第１画像の画素と第２画像の画素とが検出され、互いに対応する第１画像の画素と第２画像の画素に対して同じ階調変換曲線を用いた階調値の補正が行われる。具体的には、第１画像、第２画像の画素毎に、γ曲線｛ＧＬ｝に基づいて補正された階調値と、γ曲線｛ＧＲ｝に基づいて補正された階調値とを合成して最終的なγ補正値が決定される。それにより、立体映像に
対して、立体感の低減やちらつきの発生が抑制された局所γ補正処理を行うことができる。

３，６，７，１２ γ補正部
５，９ 座標変換曲線生成部
８ 左右視差検出部

Claims (14)

1. 左目用画像と右目用画像の組からなる立体映像において、左目用画像及び右目用画像のうち、一方の画像である第１画像と、他方の画像である第２画像の階調を補正する画像処理装置であって、
   前記第１画像と第２画像の間の視差を検出する検出手段と、
   前記第１画像と前記第２画像のそれぞれの画素毎に、当該画素の階調値を補正するために、対応する階調変換曲線を決定して階調値を補正する補正手段と、
   を有し、
   前記補正手段は、前記視差に基づいて前記第１画像の画素に対応する前記第２画像の画素を検出し、前記第１画像の画素と当該画素に対応する前記第２画像の画素に対して、同じ階調変換曲線を用いて階調値を補正する
   ことを特徴とする画像処理装置。
2. 前記補正手段は、
   前記第１画像の画素に対しては、その画素に対して前記第１画像から得られる統計量を用いて決定された階調変換曲線を用いて階調値を補正し、
   前記第２画像の画素に対しては、その画素に対応する前記第１画像の画素に対して前記第１画像から得られる統計量を用いて決定された階調変換曲線を用いて階調値を補正することを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段は、
   前記第１画像の画素に対しては、
   前記第１画像の画素に対して前記第１画像から得られる統計量を用いて決定された階調変換曲線を用いて階調値を補正して第１階調値を算出し、
   前記第１画像の画素に対応する前記第２画像の画素に対して前記第２画像から得られる統計量を用いて決定された階調変換曲線を用いて階調値を補正して第２階調値を算出し、
   前記第１階調値と前記第２階調値を合成して、最終的な階調値を算出し、
   前記第２画像の画素に対しては、
   前記第２画像の画素に対して前記第２画像から得られる統計量を用いて決定された階調
   変換曲線を用いて階調値を補正して第３階調値を算出し、
   前記第２画像の画素に対応する前記第１画像の画素に対して前記第１画像から得られる統計量を用いて決定された階調変換曲線を用いて階調値を補正して第４階調値を算出し、
   前記第３階調値と前記第４階調値を合成して、最終的な階調値を算出する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記補正手段は、
   前記第１画像の前記検出手段で視差が検出できない領域内の画素に対しては、前記第１階調値を最終的な階調値とし、
   前記第２画像の前記検出手段で視差が検出できない領域内の画素に対しては、前記第３階調値を最終的な階調値とする
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記補正手段は、
   前記第１画像と前記第２画像の少なくともいずれか一方の画像を複数の分割領域に分割し、分割領域毎に画素値の統計量を取得する取得手段と、
   前記取得手段で取得された統計量を用いて、各分割領域内の画素に使用する階調変換曲線を決定する決定手段と、
   を有する
   ことを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 左目用画像と右目用画像の組からなる立体映像において、左目用画像及び右目用画像のうち、一方の画像である第１画像と、他方の画像である第２画像の階調を補正する画像処理装置の制御方法であって、
   前記第１画像と第２画像の間の視差を検出する検出ステップと、
   前記第１画像と前記第２画像のそれぞれの画素毎に、当該画素の階調値を補正するために、対応する階調変換曲線を決定して階調値を補正する補正ステップと、
   を有し、
   前記補正ステップでは、前記視差に基づいて前記第１画像の画素に対応する前記第２画像の画素を検出し、前記第１画像の画素と当該画素に対応する前記第２画像の画素に対して、同じ階調変換曲線を用いて階調値を補正する
   ことを特徴とする画像処理装置の制御方法。
7. 前記補正ステップでは、
   前記第１画像の画素に対しては、その画素に対して前記第１画像から得られる統計量を用いて決定された階調変換曲線を用いて階調値を補正し、
   前記第２画像の画素に対しては、その画素に対応する前記第１画像の画素に対して前記第１画像から得られる統計量を用いて決定された階調変換曲線を用いて階調値を補正することを特徴とする請求項６に記載の画像処理装置の制御方法。
8. 前記補正ステップでは、
   前記第１画像の画素に対しては、
   前記第１画像の画素に対して前記第１画像から得られる統計量を用いて決定された階調変換曲線を用いて階調値を補正して第１階調値を算出し、
   前記第１画像の画素に対応する前記第２画像の画素に対して前記第２画像から得られる統計量を用いて決定された階調変換曲線を用いて階調値を補正して第２階調値を算出し、
   前記第１階調値と前記第２階調値を合成して、最終的な階調値を算出し、
   前記第２画像の画素に対しては、
   前記第２画像の画素に対して前記第２画像から得られる統計量を用いて決定された階調変換曲線を用いて階調値を補正して第３階調値を算出し、
   前記第２画像の画素に対応する前記第１画像の画素に対して前記第１画像から得られる統計量を用いて決定された階調変換曲線を用いて階調値を補正して第４階調値を算出し、
   前記第３階調値と前記第４階調値を合成して、最終的な階調値を算出する
   ことを特徴とする請求項６に記載の画像処理装置の制御方法。
9. 前記補正ステップでは、
   前記第１画像の前記検出ステップで視差が検出できない領域内の画素に対しては、前記第１階調値を最終的な階調値とし、
   前記第２画像の前記検出ステップで視差が検出できない領域内の画素に対しては、前記第３階調値を最終的な階調値とする
   ことを特徴とする請求項８に記載の画像処理装置の制御方法。
10. 前記補正ステップは、
    前記第１画像と前記第２画像の少なくともいずれか一方の画像を複数の分割領域に分割し、分割領域毎に画素値の統計量を取得する取得ステップと、
    前記取得ステップで取得された統計量を用いて、各分割領域内の画素に使用する階調変換曲線を決定する決定ステップと、
    を含む
    ことを特徴とする請求項６〜９のいずれか１項に記載の画像処理装置の制御方法。
11. 立体画像を構成する左目用画像と右目用画像との間の視差を検出する検出手段と、
    左目用画像と右目用画像の一方の画像の階調補正に用いる階調変換曲線を他方の画像の階調補正にも用いて立体画像の階調補正を行う補正手段と、
    を備え、
    前記補正手段は、前記他方の画像の階調補正対象の画素に対し、その画素に対応する、前記視差に基づき求めた前記一方の画像の画素の、階調補正に用いる階調変換曲線に基づく階調変換曲線を用いて、階調補正を行う画像処理装置。
12. 前記補正手段は、前記一方の画像の各画素について、その画素の近傍の画像の統計量に基づき階調補正に用いる階調変換曲線を求め、前記他方の画像の階調補正対象の画素に対し、その画素に対応する、前記視差に基づき求めた前記一方の画像の画素の、階調補正に用いる前記階調変換曲線に基づく階調変換曲線を用いて、階調補正を行う請求項１１に記載の画像処理装置。
13. 立体画像を構成する左目用画像と右目用画像との間の視差を検出する検出ステップと、
    左目用画像と右目用画像の一方の画像の階調補正に用いる階調変換曲線を他方の画像の階調補正にも用いて立体画像の階調補正を行う補正ステップと、
    を有し、
    前記補正ステップでは、前記他方の画像の階調補正対象の画素に対し、その画素に対応する、前記視差に基づき求めた前記一方の画像の画素の、階調補正に用いる階調変換曲線に基づく階調変換曲線を用いて、階調補正を行う画像処理装置の制御方法。
14. 前記補正ステップでは、前記一方の画像の各画素について、その画素の近傍の画像の統計量に基づき階調補正に用いる階調変換曲線を求め、前記他方の画像の階調補正対象の画素に対し、その画素に対応する、前記視差に基づき求めた前記一方の画像の画素の、階調補正に用いる前記階調変換曲線に基づく階調変換曲線を用いて、階調補正を行う請求項１３に記載の画像処理装置の制御方法。
    

Images