JP5014274B2 - 画像処理装置、画像処理方法、画像処理システム、プログラム、記録媒体および集積回路 - Google Patents

Description

本発明は、２次元画像内の近景領域・遠景領域に応じて画像の奥行き感や立体感を強調する画像処理方法、画像処理装置、画像処理プログラム、および、その画像処理装置を含む集積回路に関するものである。

大画面ＦＰＤ（フラット・パネル・ディスプレイ）装置等の画面に表示される映像をより自然な映像として表示させるために、表示画像において「奥行き感」や「立体感」を向上させる技術が、ユーザから強く求められている。これに対して、人間の両眼視差を利用した３次元テレビ等が提案されているが、特殊な専用眼鏡を必要とする場合が多いという課題、画像依存性が大きいという課題、あるいは、特殊なデバイスを必要とするため高コストになるというような課題が指摘されている。現状では、大画面ディスプレイ装置でのセールスポイントとして、大画面ディスプレイ装置の表示画像内での階調特性や色特性を滑らかにすることで、表示画像（映像）の立体感を実現させる技術がアピールされることが多い。
人間は、両眼視差のみならず、色情報、彩度、明暗、（色情報や明るさ情報の）コントラスト、陰影、肌理の勾配、相対的大きさ等の単眼情報を利用して、２次元画像に奥行き感や立体感を知覚することが明らかとなっている。表示画像において「奥行き感」や「立体感」を向上させる場合、如何にして２次元画像に対する奥行き情報を推定するかがポイントとなる。

このような単眼情報を奥行き感・遠近感向上に利用するために、奥行き情報を抽出して処理する従来技術として、画像信号の１次微分信号、あるいは２次微分信号の信号レベルの大きな領域は画像の近景領域、該信号レベルの小さな領域は画像の遠景領域として検出し、輪郭強調の強度を変えることで遠近感を付加する技術がある（例えば、特許文献１参照）。
図４７は、その従来の画像処理装置（立体化装置）９１００の構成を示すブロック図である。
画像処理装置９１００は、入力される画像信号が輝度信号Ｙで、画像信号が形成する画像においてエッジ付加輪郭強調により輪郭強調を行うものである。画像処理装置９１００は、入力される画像信号（入力画像信号）に対して微分処理を行う微分回路９１０１と、入力画像信号の１次微分値および２次微分値より、画像の遠近領域の検出を行う遠近検出部９１０２と、遠近検出部９１０２の検出結果に応じて２次微分信号に係数値を乗算する係数加重部９１０３と、タイミングを調整するため遅延部９１０４により遅延された入力画像信号Ｙ’と係数加重部９１０３により係数加重された後の微分信号ＥＧとの加算を行う加算部９１０５と、そして入力画像信号の処理タイミングを調整するための遅延部９１０４と、から構成される。

遠近検出部９１０２では、１次微分信号ＤＹ１を量子化した信号Ｓ３の信号レベルと２次微分信号ＤＹ２を量子化した信号Ｓ５の信号レベルとで、対象画素（入力画像信号に対応する画素）が近景領域に属する画素か遠景領域に属する画素かの判定を行う。遠近検出部９１０２は、Ｓ３信号の信号レベルとその画素が輪郭部領域に属するか否かを判定する設定値とを比較し、Ｓ３信号の信号レベルがその設定値以上の場合、Ｓ４信号を「１」に、それ以外の場合、Ｓ４信号を「０」に設定する。遠近検出部９１０２は、このＳ４信号が「１」の領域では、輪郭部にある画素に対して、Ｓ５信号（２次微分信号ＤＹ２の絶対値を量子化して取得された信号）の信号レベルが閾値ＴＨを超えるか否かで近景か遠景かの判定を行う。遠近検出部９１０２は、ＴＨの値よりもＳ５信号の信号レベルが大きい場合には、対象画素が近景領域に属すると判定する。そして、遠近検出部９１０２は、２次微分信号ＤＹ２に乗算する係数ＫＭをデフォルト値ＫＳより大きな値であるＫ１を指定し、指定した値を係数加重部９１０３へ出力する。一方、遠近検出部９１０２は、ＴＨがＳ５よりも小さい場合には、遠景領域に対象画素が属すると判定する。そして、遠近検出部９１０２は、２次微分信号に乗算する係数ＫＭをデフォルト値ＫＳより小さい値であるＫ２を指定し、指定した値を係数加重部９１０３へ出力する。

このように、画像処理装置９１００では、輪郭部に存在すると思われる画素の２次微分信号ＤＹ２のしきい値判定により、その画素が近景領域に含まれるか、あるいは遠景領域に含まれるかを判定している。そして、画像処理装置９１００では、その判定結果に応じて、２次微分信号ＤＹ２に係数加重する係数を近景の場合は大きく、遠景の場合は小さくして輪郭部の強調処理を実施することで、輪郭部付近での遠近感を向上させる。
また、２次元画像からシーンの３次元構造を推定し、その推定結果を用いて画像の合成処理や仮想的な視点移動処理を実現しようとするアプローチが種々検討されている。その中で、遠近法における消失点を算出し、算出された消失点に基づいて画像の合成処理や仮想的な視点移動処理等の処理を実現させる技術がある（例えば、非特許文献１、特許文献２参照）。

非特許文献１記載のツァー・イントゥー・ザ・ピクチャー（”Ｔｏｕｒ Ｉｎｔｏ ｔｈｅ Ｐｉｃｔｕｒｅ”）では、撮影済みの画像から近影物を除去し、遠近法における消失点を推定した上で、その推定した消失点をもとにシーンの概略的な構成を推定して視点移動処理を行うことを可能にしている。”Ｔｏｕｒ Ｉｎｔｏ ｔｈｅ Ｐｉｃｔｕｒｅ”では、奥行き構造が長方形を断面とするチューブ状になっている。これに対して、特許文献２記載の方法は、奥行きに応じた輪郭線を断面とするチューブを構成することを前提とする遠近法ベースのアプローチによるものである。特許文献２記載の方法は、カメラを中心点（消失点）に見なして擬似立体画像を作成するものである。具体的には、特許文献２記載の方法は、メッシュ画像データに輪郭線の距離情報を付加して三次元ポリゴン立体データを形成し、この三次元ポリゴン立体データに写真画像から得たカラー画像データを適用して、三次元ポリゴン立体データにより構成される三次元ポリゴン立体の内側にカラー画像データを貼り付ける様に、上記３次元ポリゴン立体をレンダリング処理して三次元画像データを得るようにしたものである。
特開平１０−１２６７０８号公報 特開平９−１８５７１２号公報 Ｙ．Ｈｏｒｒｙ， Ｋ．Ａｎｊｙｏａ ａｎｄ Ｋ．Ａｒａｉ ： "Ｔｏｕｒ Ｉｎｔｏ ｔｈｅ Ｐｉｃｔｕｒｅ ： Ｕｓｉｎｇ ａ Ｓｐｉｄｅｒｙ Ｍｅｓｈ Ｉｎｔｅｒｆａｃｅ ｔｏ Ｍａｋｅ Ａｎｉｍａｔｉｏｎ ｆｒｏｍ ａ Ｓｉｎｇｌｅ Ｉｍａｇｅ"， ＳＩＧＧＲＡＰＨ‘９７ Ｐｒｏｃｅｅｄｉｎｇｓ， ｐｐ．２２５−２３２（１９９７）．

上記従来の画像処理手法では、ある程度大きな微分値をもつ輪郭部に対してのみ、近景か遠景かの判定が実施されるため、テクスチャパターンのような弱い輪郭部や周囲外光等の撮影条件により適切に抽出できなかった輪郭部に対しては、近景・遠景の判定が行われない。つまり、１次微分信号による輪郭部抽出には、その閾値判定精度の影響を受ける可能性が高い。さらに、輪郭部と思われる画素の２次微分信号に対して、さらに閾値処理を行い、近景か遠景かの判定が行われるため、奥行き情報判定の際にも閾値判定精度の影響を受けやすい。よって、例えば、同じ物体の輪郭部であり同じ距離にある物体であっても、エッジ強調が強くかかる部分と弱くかかる部分が発生する危険性や、輪郭部では強いエッジ強調と弱いエッジ強調しか実施されないことによる輝度の不連続な部分が発生する危険性がある。

また、輝度の２次微分信号が小さいのは、画像の撮影条件（焦点ずれや動き）によるぼけや低解像度画像を高解像度へ単純変換した際の補間によるものなのか、本当にその画素が遠景領域にあるかどうかの判断まで行うことができない。そのため、例えば、非可逆方式符号化方法で符号化された画像を復号し、その復号画像内の歪みをローパスフィルタ等で除去した場合、２次微分信号の閾値判定値の設定によっては画像全面が遠景と判断されてしまい、本来のエッジ強調処理が適切に行われない危険性も考えられる。
さらに、非特許文献１や特許文献２のような擬似立体画像作成装置および擬似立体画像作成方法では、様々な画像に対して、消失点の決定を自動的に行うことは困難である。特許文献２のように被写体内の傾斜している稜線の交差する点や遠近法的手法より中心点（消失点）を求める手法では、消失点の決定を自動的に行うことは、かなり困難である。さらに、入力されるすべてのシーンに対して消失点による遠近法的な構造が人間の視覚にとって違和感の少ない立体画像を実現しない可能性も高い。

本発明は、上記従来技術の課題を解決して画像の奥行き感・立体感の向上を実現するものであり、従来技術のような微分信号による輪郭抽出を用いることなく、消失点からの距離に応じた補正ゲイン制御と画像内における人間の関心度・注目度とを結びつけることで、処理画像において、より自然な奥行き感向上を可能とする画像処理装置、画像処理方法、画像処理システム、プログラム、記録媒体および集積回路を実現させることを目的とする。

第１の発明は、明るさ情報算出部と、関心度推定部と、消失点推定部と、奥行き推定部と、奥行き補正部と、を備える画像処理装置である。明るさ情報算出部は、画素からなる画像を形成することができる画像信号から、画素または複数の画素からなる画素領域ごとに、明るさ情報を算出する。関心度推定部は、画素または画素領域が、画像上で、視覚的に注目される度合いを示す関心度を、明るさ情報から推定する。消失点推定部は、明るさ情報から、画像上の消失点情報を推定する。奥行き推定部は、関心度と消失点情報とに基づいて奥行き度を推定し、奥行き度に基づいて画像信号に対して奥行き補正処理を行うための補正ゲインを算出する。奥行き補正部は、補正ゲインに基づいて、画像信号に対して奥行き補正処理を行う。
この画像処理装置では、消失点推定部により推定された消失点情報と、関心度推定部により推定された関心度とに基づいて、画像信号に対して奥行き補正処理を行うので、消失点からの距離に応じた補正ゲイン制御と画像内における人間の関心度・注目度とを結びつけることができ、処理画像において、より自然な奥行き感向上を実現することができる。

また、画像内で消失点（消失点情報）が存在しない場合や、適切に消失点を抽出できない場合や、消失点の候補が多数あるような場合、消失点（消失点情報）だけに基づいて処理（例えば、消失点からの距離に基づいてのみ処理）すると、効果的な奥行き処理を行うことができないが、この画像処理装置では、消失点情報だけでなく関心度にも基づいて奥行き補正処理を行うので、上記のような場合であっても、効果的な奥行き補正処理を行う異ができる。
なお、ここで、「関心度」とは、処理対象としている画素（注目画素）または複数画素からなる画素領域（注目画素領域）が、人間が、当該注目画素（または注目画素領域）が含まれる画像を見たときに、当該注目画素（または注目画素領域）にどの程度注目するかの度合い（どの程度関心を示すかの度合い）を指標化したものである。したがって、「関心度」を、人間の視覚特性を考慮した指標とすることが好ましい。

また、「消失点情報」とは、３次元の空間を遠近法等により２次元画像に変換した場合に、２次元画像内において、３次元空間に存在する複数の平行線を無限に引き延ばしたときに、２次元画像上で交わる点として定義される消失点についての情報のことをいう。
また、「奥行き度」とは、画素ごとまたは複数画素からなる画素領域ごとに設定される値であり、例えば、実際の３次元空間をカメラで撮影して取得した２次元画像の場合では、２次元画像上の画素（または画素領域）に対応する実際の３次元空間内の位置と、その２次元画像を取得したときのカメラの３次元空間内の位置との距離の程度を示すものである。そして、例えば、奥行き度ｆｂｉは、奥行き度ｆｂｉの値が大きいほど、奥行き度ｆｂｉに対応する画素ｉ（注目画素ｉ）が画像上の近景領域に含まれることを示し、奥行き度ｆｂｉの値が小さいほど、奥行き度ｆｂｉに対応する画素ｉが遠景領域に含まれることを示すものと定義される。

また、「奥行き補正処理」とは、処理画像上において、奥行き感を向上させる処理をいい、例えば、注目画素ｉが、視覚特性上、人間に注目されやすい画素である程、当該注目画素ｉが、視覚特性上、より注目されるように補正することで、処理画像上の奥行き感（遠近感）を向上させる補正処理がこれに該当する。そして、この補正処理として、
（１）γカーブ（ガンマ特性）による階調補正処理、
（２）明るさ対比効果を考慮した階調補正処理、
（３）単純な彩度・色相補正処理、
（４）色対比効果を考慮した彩度・色相補正処理、
（５）エンハンサ（エッジ鮮鋭化）処理、
（６）平滑化処理、
（７）陰影付加・光付加処理、
（８）記憶色補正処理、
（９）Ｄレンジ（ダイナミック・レンジ）伸張処理
等が挙げられる。

第２の発明は、第１の発明であって、関心度推定部は、周辺明るさ情報算出部と、明るさ対比量算出部と、関心度変換部と、を有する。周辺明るさ情報算出部は、画像信号において処理対象とされている画素である注目画素の周辺画素の明るさ情報から、周辺明るさ情報ＡＫｉを算出する。明るさ対比量算出部は、周辺明るさ情報ＡＫｉと注目画素の明るさ情報である注目明るさ情報Ｋｉとから明るさ対比量ＲＫｉを算出する。関心度変換部は、明るさ対比量ＲＫｉに基づいて関心度を求める。
これにより、明るさ対比量ＲＫｉを用いて関心度を精度良く求めることができる。なお、周辺画素の明るさ情報ＡＫｉは、例えば、周辺画素の画素値の平均値や周辺画素の画素値の重付平均値（ガウス関数を利用した重付を利用した平均値等）により求めることができる。

第３の発明は、第２の発明であって、明るさ対比量算出部は、（明るさ対比量ＲＫｉ）＝（注目明るさ情報Ｋｉ）／（周辺明るさ情報ＡＫｉ）により、明るさ対比量ＲＫｉを算出し、関心度変換部は、明るさ対比量ＲＫｉの値が大きくなる程、関心度の値を大きな値に設定する。
これにより、簡単に、明るさ対比量ＲＫｉを算出することができ、また、人間の視覚特性に適合した関心度を求めることができる。
第４の発明は、第１から第３のいずれかの発明であって、消失点推定部は、輪郭算出部と、ハフ変換部と、分布算出部と、消失点抽出部と、を有する。輪郭算出部は、明るさ情報から輪郭情報を算出し、輪郭情報に基づいて画像上の輪郭部にある特徴点を抽出する。ハフ変換部は、特徴点を結ぶ画像上の直線をハフ変換することで、ハフ空間内の点に変換する。分布算出部は、ハフ空間内の点についてのヒストグラム分布を算出する。消失点抽出部は、ハフ空間内の点についてのヒストグラム分布に基づいて、画像上の消失点情報を抽出する。

これにより、簡単、かつ、適切に、画像上の消失点情報を抽出することができる。
第５の発明は、第４の発明であって、消失点抽出部は、画像を複数のブロックに分割し、分布算出部により算出されたヒストグラム分布において、第１閾値より大きい頻度値を有しているハフ空間内の点に相当する画像上の直線がブロックを通過する数であるブロック内直線数を算出し、ブロック内直線数が所定の値より多い場合、ブロックの重心点を画像上の消失点情報とする。
これにより、画像上で、多数の消失点の候補がある場合であっても、適切に消失点（消失点情報）を抽出することができる。
第６の発明は、第２から第５のいずれかの発明であって、奥行き推定部は、奥行き度の最小値である奥行き度最小値Ｍｉｎ＿ｆｂｉおよび奥行き度の最大値である奥行き度最大値Ｍａｘ＿ｆｂｉ（≧Ｍｉｎ＿ｆｂｉ）を、注目画素と消失点情報との画像上での距離に対して単調増加の関係となる値に設定し、奥行き度ｆｂｉを、奥行き度最小値Ｍｉｎ＿ｆｂｉから奥行き度最大値Ｍａｘ＿ｆｂｉの範囲において、関心度に対して単調増加の関係となる値に設定し、補正ゲインを、奥行き度ｆｂｉに対して単調増加の関係となる値に設定する。そして、奥行き補正部は、補正ゲインの値が大きい程、注目画素が視覚的に注目される度合いが高くなるように、画像信号に対して奥行き補正処理を行う。

この画像処理装置では、例えば、図１２（ｃ）に示す特性により、消失点からの距離Ｌｅｎｉに対して単調増加する、奥行き度最小値Ｍｉｎ＿ｆｂｉおよび奥行き度最大値Ｍａｘ＿ｆｂｉ（≧Ｍｉｎ＿ｆｂｉ）を求め、消失点からの距離Ｌｅｎｉにより決定されたＭａｘ＿ｆｂｉおよびＭｉｎ＿ｆｂｉに基づいて、例えば、図１２（ｂ）に示す特性により奥行き度ｆｂｉを決定することができる。
特に、この画像処理装置では、消失点からの距離Ｌｅｎｉが小さく、かつ、関心度の高い画素ｉに対して奥行き度ｆｂｉの値を高めに設定することができるので、人間の視覚特性上、注目されやすい、画像上において、消失点から近くに存在する、関心度の高い画素ｉに対して、視覚特性上、より注目されるように補正することができ、処理画像上の奥行き感（遠近感）を効果的に向上させることができる。

なお、ここで、補正ゲインをＧｉとすると、奥行き度ｆｂｉと補正ゲインＧｉとの関係は、例えば、Ｇｉ＝ｆｂｉあるいはＧｉ＝ｋ×ｆｂｉ（ｋ：正定数）とすればよい。また、Ｇｉとｆｂｉとの関係は、奥行き度ｆｂｉに対して、補正ゲインＧｉが単調増加する関係であればよく、上記以外に非線形な関係であってもよい。
第７の発明は、第１の発明であって、画像信号から、画素または画素領域ごとに、色情報を算出する色情報算出部をさらに備える。関心度推定部は、関心度を、明るさ情報および色情報から推定する。
この画像処理装置では、色情報をも考慮して関心度を推定するので、人間がより注目しやすい画像上の画素（または画素領域）についての関心度をより精度よく推定することができる。

なお、例えば、関心度Ｓｉは、例えば、関心度Ｓｉが「０」〜「１」の範囲の値をとり、その値が大きいほど、画素ｉに対する、人間の注目度合いが高いものであると定義し、明るさ情報から推定される関心度Ｓ１ｉおよび色情報から推定される関心度Ｓ２ｉも上記定義に従うものとした場合、この画像処理装置において、例えば、関心度Ｓｉ＝Ｓ１ｉ×Ｓ２ｉにより、関心度Ｓｉを推定することができる。
第８の発明は、第１から第７のいずれかの発明であって、画像信号から、複数の画素または複数の画素領域からなるブロックごとに、周波数情報を算出する周波数情報算出部をさらに備える。関心度推定部は、周波数情報にも基づいて、関心度を推定する。
この画像処理装置では、周波数情報をも考慮して関心度を推定するので、人間がより注目しやすい画像上の画素（または画素領域）についての関心度を、さらに精度よく推定することができる。

なお、上記（第７の発明の説明箇所）と同様に、関心度Ｓｉが定義され、周波数情報から推定される関心度Ｓ３ｉも上記定義に従うものとした場合、この画像処理装置において、例えば、関心度Ｓｉ＝Ｓ１ｉ×Ｓ２ｉ×Ｓ３ｉにより、関心度Ｓｉを推定することができる。
第９の発明は、第８の発明であって、関心度推定部は、ブロックごとに、所定の周波数以上の周波数成分の和である高周波成分和ｓｕｍＨＦｒｅｑを求め、高周波成分和ｓｕｍＨＦｒｅｑのブロックの全周波数成分の和ｓｕｍＡｌｌＦｒｅｑに対する比率ＲＢｉ（＝ｓｕｍＨＦｒｅｑ／ｓｕｍＡｌｌＦｒｅｑ）を求め、比率ＲＢｉに基づいて、関心度を推定する。
これにより、簡単かつ適切に、周波数情報に基づく情報である比率ＲＢｉにより関心度を推定することができる。比率ＲＢｉは、ブロックに含まれる高周波成分の比率であるので、この値が高い程、画素ｉに対して、人間が注目する度合いが高くなる傾向がある。したがって、この画像処理装置により、比率ＲＢｉを算出し、比率ＲＢｉをも考慮した関心度を求めることで、より精度の高い奥行き補正処理を行うことができる。

第１０の発明は、第１から第９のいずれかの発明であって、記憶部と、消失点推定判断部と、消失点選択部と、をさらに備える。記憶部は、フレーム単位の画像であって、現フレームの１フレーム前から現フレームのｐフレーム前（ｐ：自然数）までのｐ個のフレーム単位の画像である過去フレーム画像および過去フレーム画像における消失点情報を記憶する。消失点推定判断部は、記憶部に記憶されているｐ個の過去フレーム画像のぞれぞれから画像の特徴量である過去フレーム画像特徴量を求め、現フレームにおけるフレーム単位の画像である現フレーム画像から画像の特徴量である現フレーム画像特徴量を求め、現フレーム画像特徴量と過去フレーム画像特徴量との差が最小である過去フレーム画像を最小誤差過去フレーム画像として特定し、最小誤差過去フレーム画像の過去フレーム画像特徴量と現フレーム画像特徴量との差が所定値以下である場合、消失点置換決定情報を出力する。消失点選択部は、消失点推定判断部により消失点決定情報が出力された場合、最小誤差過去フレーム画像における消失点情報を、現フレーム画像における消失点情報に設定する。奥行き推定部は、消失点選択部により設定された消失点情報と関心度とに基づいて奥行き度を推定する。

この画像処理装置では、細分化されたブロック内での平均明るさ情報をその画像の特徴量として、現フレーム画像の画像特徴量と過去フレーム画像の画像特徴量と比較して、似た画像特徴量をもつフレーム画像で使用した消失点情報を、現フレームでの消失点情報として用いることで、動画像に対応した適切な奥行き処理が実行される。このように、過去に処理したフレームにおいて、その画像特徴量が現フレームの画像特徴量と似たフレームの消失点（消失点情報）を、現フレームの消失点として採用することで、シーン変化による遠近感の矛盾（遠近感補正の違和感）の発生も緩和（抑制）することができる。
第１１の発明は、第１０の発明であって、消失点推定部は、消失点推定判断部により消失点決定情報が出力された場合、現フレーム画像から消失点情報を推定する処理を実行しない。

この画像処理装置では、現フレーム画像から消失点情報を推定する処理を行うことがないので、処理量を削減することができる。
第１２の発明は、第１０の発明であって、消失点選択部は、消失点推定判断部により消失点決定情報が出力されない場合、ｐ個の過去フレーム画像の消失点情報を平滑化した平滑化消失点情報を、現フレーム画像における消失点情報に設定する。そして、消失点推定部は、現フレーム画像から消失点情報を推定する処理を実行しない。
これにより、この画像処理装置では、現フレーム画像の画像特徴と類似する画像特徴量を持つ過去フレーム画像を検出することができなかった場合でも、処理量を削減しつつ、動画像に対応した適切な奥行き処理を実行することができる。
第１３の発明は、第１０から第１２のいずれかの発明であって、消失点推定判断部は、現フレーム画像特徴量と過去フレーム画像特徴量との２乗誤差が最小である過去フレーム画像を最小誤差過去フレーム画像として特定し、最小誤差過去フレーム画像の過去フレーム画像特徴量と現フレーム画像特徴量との２乗誤差が所定値以下である場合、消失点置換決定情報を出力する。

これにより、より精度良く最小誤差過去フレーム画像を特定することができる。
第１４の発明は、第１３の発明であって、画像特徴量は、明るさ対比量、色対比量、および、複数の画素または複数の画素領域からなるブロックごとに算出される周波数情報に基づく量、の少なくとも１つにより算出されるものである。
第１５の発明は、第１４の発明であって、周波数情報に基づく量は、ブロックごとに、所定の周波数以上の周波数成分の和である高周波成分和ｓｕｍＨＦｒｅｑを求め、高周波成分和ｓｕｍＨＦｒｅｑのブロックの全周波数成分の和ｓｕｍＡｌｌＦｒｅｑに対する比率ＲＢｉ（＝ｓｕｍＨＦｒｅｑ／ｓｕｍＡｌｌＦｒｅｑ）である。
第１６の発明は、第１から第１５のいずれかの発明であって、奥行き補正処理部は、奥行き補正処理として、明るさ情報補正処理、色情報補正処理、輪郭強調処理、および平滑化処理の少なくとも１つの処理を行う。

第１７の発明は、第１から第１６のいずれかの発明である画像処理装置と、ユーザの指示に従い、処理モードを選択するユーザモード選択部と、画像処理装置からの出力を画像として表示させる表示部と、を備える画像処理システムである。
これにより、この画像処理システムにおいて、ユーザは、処理モードを選択することができる。特に、ユーザは、表示部に表示される処理画像を確認しながら、処理モードを選択することができるため、ユーザの所望の画像処理特性による画像処理を、この画像処理システムにおいて実現させることができる。
第１８の発明は、第１７の発明であって、ユーザモード選択部は、少なくとも、画像処理装置において実行される奥行き補正処理の強度に関する情報を含む処理モードを選択する。

これにより、この画像処理システムにおいて、ユーザは、奥行き補正処理の強度に関する情報についてのモード選択をして、この画像処理装置での奥行き補正処理の強度を変えることができる。例えば、この画像処理装置において、奥行き補正処理の強度を設定させる処理モードとして、「強モード」、「中モード」、および「弱モード」を設け、ユーザがそのいずれかのモードを選択することで、ユーザの所望の奥行き補正処理の強度が実現される。
第１９の発明は、第１７または第１８の発明であって、表示部は、画像処理装置により推定された消失点情報を、画像処理装置により処理された画像とともに表示する。ユーザモード選択部は、ユーザの指示に従い、画像処理装置により推定された消失点情報を修正する。

これにより、この画像処理システムにおいて、ユーザは、表示部に表示された処理画像において、画像処理装置により推定された消失点（消失点情報）を確認しながら、その推定された消失点を、ユーザ所望の消失点に修正することができる。
第２０の発明は、明るさ情報算出ステップと、関心度推定ステップと、消失点推定ステップと、奥行き推定ステップと、を備える画像処理方法である。明るさ情報算出ステップでは、画素からなる画像を形成することができる画像信号から、画素または複数の画素からなる画素領域ごとに、明るさ情報を算出する。関心度推定ステップでは、画素または画素領域が、画像上で、視覚的に注目される度合いを示す関心度を、明るさ情報から推定する。消失点推定ステップでは、明るさ情報から、画像上の消失点情報を推定する。奥行き推定ステップでは、関心度と消失点情報とに基づいて奥行き度を推定し、奥行き度に基づいて画像信号に対して奥行き補正処理を行うための補正ゲインを算出する。奥行き補正ステップでは、補正ゲインに基づいて、画像信号に対して奥行き補正処理を行う。

これにより、第１の発明と同様の効果を奏する画像処理方法を実現することができる。
第２１の発明は、コンピュータを、明るさ情報算出部、関心度推定部、消失点推定部、奥行き推定部、奥行き補正部、として機能させるためのプログラムである。明るさ情報算出部は、画素からなる画像を形成することができる画像信号から、画素または複数の画素からなる画素領域ごとに、明るさ情報を算出する。関心度推定部は、画素または画素領域が、画像上で、視覚的に注目される度合いを示す関心度を、明るさ情報から推定する。消失点推定部は、明るさ情報から、画像上の消失点情報を推定する。奥行き推定部は、関心度と消失点情報とに基づいて奥行き度を推定し、奥行き度に基づいて画像信号に対して奥行き補正処理を行うための補正ゲインを算出する。奥行き補正部は、補正ゲインに基づいて、画像信号に対して奥行き補正処理を行う。

これにより、第１の発明と同様の効果を奏するプログラムを実現することができる。
第２２の発明は、コンピュータを、明るさ情報算出部、関心度推定部、消失点推定部、奥行き推定部、奥行き補正部、として機能させるためのプログラムを記録したコンピュータにより取り可能な記録媒体である。明るさ情報算出部は、画素からなる画像を形成することができる画像信号から、画素または複数の画素からなる画素領域ごとに、明るさ情報を算出する。関心度推定部は、画素または画素領域が、画像上で、視覚的に注目される度合いを示す関心度を、明るさ情報から推定する。消失点推定部は、明るさ情報から、画像上の消失点情報を推定する。奥行き推定部は、関心度と消失点情報とに基づいて奥行き度を推定し、奥行き度に基づいて画像信号に対して奥行き補正処理を行うための補正ゲインを算出する。奥行き補正部は、補正ゲインに基づいて、画像信号に対して奥行き補正処理を行う。

これにより、第１の発明と同様の効果を奏するプログラムを記録したコンピュータにより取り可能な記録媒体を実現することができる。
第２３の発明は、明るさ情報算出部と、関心度推定部と、消失点推定部と、奥行き推定部と、奥行き補正部と、を備える集積回路である。明るさ情報算出部は、画素からなる画像を形成することができる画像信号から、画素または複数の画素からなる画素領域ごとに、明るさ情報を算出する。関心度推定部は、画素または画素領域が、画像上で、視覚的に注目される度合いを示す関心度を、明るさ情報から推定する。消失点推定部は、明るさ情報から、画像上の消失点情報を推定する。奥行き推定部は、関心度と消失点情報とに基づいて奥行き度を推定し、奥行き度に基づいて画像信号に対して奥行き補正処理を行うための補正ゲインを算出する。奥行き補正部は、補正ゲインに基づいて、画像信号に対して奥行き補正処理を行う。

これにより、第１の発明と同様の効果を奏する集積回路を実現することができる。

本発明によれば、従来技術のような微分信号による輪郭抽出を用いることなく、消失点からの距離に応じた補正ゲイン制御と画像内における人間の関心度・注目度とを結びつけることで、処理画像において、より自然な奥行き感向上を可能とする画像処理装置、画像処理方法、画像処理システム、プログラム、記録媒体および集積回路を実現させることができる。

以下、本発明の最良の形態としての第１〜第１０実施形態について説明する。
第１実施形態では、明るさに関する視覚特性である明るさ対比量を使って算出された関心度と、推定された消失点からの距離により算出された奥行き度とに応じて、画像上の対象領域の画素値補正を実施する画像処理装置および画像処理方法について説明する。
第２実施形態では、明るさに関する視覚特性である明るさ対比量と色に対する視覚特性である色対比量とを使って、推定された消失点からの距離により算出された奥行き度に応じて画像上の対象領域の画素値補正を実施する画像処理装置および画像処理方法について説明する。
第３実施形態では、明るさに関する視覚特性である明るさ対比量、色に対する視覚特性である色対比量、および周波数情報による鮮鋭程度量を使ってと推定された消失点からの距離により算出された奥行き度に応じて、画像上の対象領域の画素値補正を実施する画像処理装置および画像処理方法について説明する。

第４実施形態では、第１実施形態の明るさ対比量による関心度算出の実施形態に、現時点のフレーム内画像特徴量と過去ｐフレーム時刻前から１フレーム時刻前の画像内特徴量とを比較し、その差分より定義される評価値をもとに消失点推定の有無を判断し、消失点推定を実施しない場合は、最適な評価値をもつ過去フレームの消失点を選択する機能部を組み合わせた画像処理装置および画像処理方法について説明する。
第５実施形態では、第２実施形態の明るさ対比量と色対比量とによる関心度算出の実施形態に、第４実施形態の現時点のフレーム内画像特徴量と過去ｐフレーム時刻前から１フレーム時刻前の画像内特徴量とを比較し、その差分より定義される評価値をもとに消失点推定の有無を判断し、消失点推定を実施しない場合は、最適な評価値をもつ過去フレームの消失点を選択する機能部を組み合わせた画像処理装置および画像処理方法について説明する。

第６実施形態では、第３実施形態の明るさ対比量、色対比量、および周波数による鮮鋭程度量による関心度算出の実施形態に、第４実施形態の現時点のフレーム内画像特徴量と過去ｐフレーム時刻前から１フレーム時刻前の画像内特徴量とを比較し、その差分より定義される評価値をもとに消失点推定の有無を判断し、消失点推定を実施しない場合は、最適な評価値をもつ過去フレームの消失点を選択する機能部を組み合わせた画像処理装置および画像処理方法について説明する。
第７実施形態では、第１実施形態の明るさ対比量による関心度算出の実施形態に、過去数フレームの消失点を平滑化する機能部を組み合わせた画像処理装置および画像処理方法について説明する。
第８実施形態では、第２実施形態の明るさ対比量と色対比量とによる関心度算出の実施形態に、過去数フレームの消失点を合わせて平滑化する機能部を組み合わせた画像処理装置および画像処理方法について説明する。

第９実施形態では、第３実施形態の明るさ対比量、色対比量、および周波数による鮮鋭程度量による関心度算出の実施形態に、過去数フレームの消失点を平滑化する機能部を組み合わせた画像処理装置および画像処理方法について説明する。
第１０実施形態では、第１から第９実施形態に係る画像処理装置を画像処理部として用い、その補正レベル等の処理モードをユーザが選択することができる画像処理装置と画像処理方法について説明する。
［第１実施形態］
図１から図１２を用いて、本発明の第１実施形態として、関心度と消失点からの距離とに応じて奥行き度を推定し画素値補正を行う画像処理方法及び画像処理装置について説明する。

＜１．１：画像処理装置の構成＞
図１に、本発明の第１実施形態に係る画像処理装置１０００の構成図を示す。
画像処理装置１０００は、入力画像信号ｖＩｉから明るさ情報Ｋｉを算出する明るさ情報算出部１と、明るさ情報Ｋｉから関心度Ｓｉを推定する関心度推定部２と、明るさ情報Ｋｉから消失点情報ｖＶＰｋを推定する消失点推定部３と、を備える。さらに、画像処理装置１０００は、関心度Ｓｉと消失点情報ｖＶＰｋとから奥行き度を推定し、補正ゲインＧｉを算出する奥行き推定部４と、補正ゲインＧｉに基づいて入力画像信号ｖＩｉに対して奥行き補正を行う奥行き補正部５と、奥行き補正された画像信号を所定の形式の出力画像信号ｖＯｉにして出力する出力部６と、を備える。
明るさ情報算出部１は、入力画像信号ｖＩｉから明るさ情報（輝度）Ｋｉを算出し、算出した明るさ情報Ｋｉを関心度推定部２および消失点推定部３に出力する。

ここで、画像信号ｖＩｉ（ｘ，ｙ）等の変数の頭文字が「ｖ」であるベクトルデータ（複数のデータからなる集合データ）は、対象画素ｉ（ｘ，ｙ）について複数の情報（データ）を有していることを示す。例えば、画像信号ｖＩｉ（ｘ，ｙ）は、処理対象画素ｉ（注目画素ｉ）について、輝度データＹ、色差データＣｂおよびＣｒの合計３つの情報（データ）を有する情報であってもよく、また、対象画素ｉについて、ＲＧＢ色空間による表現を用い、Ｒ成分について情報（データ）、Ｇ成分についての情報（データ）、およびＢ成分についての情報（データ）の合計３つの情報（データ）を有する情報であってもよく、さらに、別の色空間等の表現を用いた、当該色空間による複数の成分の情報（データ）であっても良い。
関心度推定部２は、図２に示すように、周辺明るさ情報算出部２０と、明るさ対比量算出部２１と、関心度変換部２２と、を有する。

周辺明るさ情報算出部は、明るさ情報Ｋｉを入力とし、明るさ情報Ｋｉから、入力画像信号ｖＩｉにおいて処理対象とされている画素（処理対象画素）ｉ（ｘ，ｙ）の周囲の代表明るさ情報ＡＫｉ（ｘ，ｙ）を算出し、明るさ対比量算出部２１に出力する。
明るさ対比量算出部は、明るさ情報Ｋｉおよび周辺明るさ情報算出部２０により算出された代表明るさ情報ＡＫｉを入力とし、明るさ情報Ｋｉおよび代表明るさ情報ＡＫｉから明るさ対比量ＲＫｉを算出し、関心度変換部２２に出力する。
関心度変換部２２は、明るさ対比量ＲＫｉから関心度Ｓｉを算出し、算出した関心度Ｓｉを奥行き推定部４に出力する。
消失点推定部３は、図３に示すように、輪郭算出部３０と、ハフ変換部３１と、分布算出部３２と、消失点抽出部３３と、を有する。

輪郭算出部３０は、明るさ情報算出部１により算出された明るさ情報Ｋｉを入力とし、明るさ情報Ｋｉから輪郭情報（エッジ情報）を算出し、画像上の輪郭部にある特徴点ＲＰｋ（ｘ，ｙ）を抽出し、ハフ変換部３１に出力する。ここで、輪郭算出部３０は、２値化により輪郭情報画像を取得し、特徴点ＲＰｋ（ｘ，ｙ）を抽出するようにすることが好ましい。
ハフ変換部３１は、特徴点ＲＰｋ（ｘ，ｙ）のそれぞれを結ぶ直線をハフ変換することにより、画像空間内の直線をハフ空間内の点（ρ，θ）に変換する（詳細については後述）。
分布算出部３２は、画像空間内の直線が変換されたハフ空間内の点（ρ，θ）についてヒストグラムを算出し、消失点抽出部３３に出力する。

消失点抽出部３３は、分布算出部３２により算出されたヒストグラムに基づいて、画像空間内における消失点ｖＶＰｋ（ｘ，ｙ）を抽出する。そして、消失点抽出部３３は、抽出した消失点ｖＶＰｋ（ｘ，ｙ）を奥行き推定部４に出力する。
奥行き推定部４は、関心度推定部２により推定された関心度Ｓｉと消失点推定部３により推定された消失点情報ｖＶＰｋとを入力とし、関心度Ｓｉおよび消失点情報ｖＶＰｋから奥行き度を推定し、その推定された奥行き度に基づいて補正ゲインＧｉを算出する。奥行き推定部４は、算出した補正ゲインＧｉを奥行き補正部５に出力する。
奥行き補正部５は、補正ゲインＧｉおよび入力画像信号ｖＩｉを入力とし、補正ゲインＧｉに基づいて入力画像信号ｖＩｉに対して奥行き補正を行い、奥行き補正した画像信号を出力部６に出力する。

出力部６は、奥行き補正部５により奥行き補正された画像信号を入力とし、奥行き補正された画像信号を所定の形式の出力画像信号ｖＯｉにして出力する。
＜１．２：画像処理装置の動作＞
以上のように構成された画像処理装置１０００の動作について、以下説明する。
また、図４に、第１実施形態に係る画像処理方法の処理フローチャートを、図５に、関心度推定処理の処理フローチャートを、図６に、消失点推定処理の処理フローチャートを示す。
本発明に係る画像処理装置１０００は、画像データ（画像信号）を処理することで、画像内の画素ごと（または複数の画素からなる領域ごと）の奥行き度を推定して、画像信号に対して施される所定の画像処理の補正ゲイン値を制御することで、画像信号に対して奥行き補正処理を行う装置であり、例えば、デジタルスチルカメラやデジタルビデオカメラのような撮影機器、これらの撮影機器で取得したデジタル画像を編集する画像編集装置、モバイル環境下で使用する携帯電話やカーモバイル機器・ＰＤＡ等、あるいは、様々な環境下で使用される大型映像表示機器等へ搭載される。

図１〜図６を用いて、画像処理装置１０００の処理について説明する。
画像処理装置１０００に画素ｉにおける画素値ｖＩｉをもつ画像データ（画像信号）が入力されると、明るさ情報算出部１において、画像データ（画像信号）ｖＩｉを構成する各画素ｉ（ｘ、ｙ）のデータは、所定の明るさ情報Ｋｉへ変換される。ここでは、画像入力データは、色情報を扱いやすい色相Ｈ、彩度Ｓおよび明度Ｖより構成されるＨＳＶ空間データにおける明度Ｖや、輝度Ｙ、色差Ｃｂおよび色差Ｃｒより構成されるＹＣｂＣｒ空間データの輝度Ｙや、明度Ｌ、色ａ＊およびｂ＊より構成されるＬａ＊ｂ＊空間データの明度Ｌ等に変換される。本実施形態では、ＹＣｂＣｒ空間における輝度Ｙを明るさ情報Ｋｉとして用いる場合について説明する。
関心度推定部２では、まず明るさ情報算出部１で得られた明るさ情報Ｋｉに対する明るさ対比量ＲＫｉが算出される。

この明るさ対比量は、明るさ情報Ｋｉに対して視覚特性に応じた明るさ特性を示す情報の１つに相当し、より人間の見た目に近いような関心度推定を実現するために適した特徴量の１つである。図７はその特性を説明するための図である。例えば、明るさの低い大きな円中心部分に、その周囲よりも明るさが高い小さな中心円がある例を考える。この場合、大きな円の中心部は、人間には、実際の明るさよりもより明るく感じる傾向があることが視覚心理より明らかとされている。この現象は、明るさ対比特性により生じる現象であり、対象物体の周囲を異なる明るさが取り囲む場合に、物体の明るさが、その周囲の明るさに影響を受けることにより発生する現象である。
つまり、物体自体の明るさよりもその物体の周囲を取り囲む明るさが高い場合、物体の明るさは低く感じられる。逆に、物体自体の明るさよりもその物体の周囲を取り囲む明るさが低い場合、物体の明るさは高く感じられる。

また、図８を用いて、明るさ対比について説明する。図８は、同じ明るさ対比を１つの円の境界で考えるための説明図である。
中心の円は均一な明るさ情報を持つ。一方、左の矩形内は中心円よりやや高い明るさを持ち、右の矩形内は中心円よりもずっと低い明るさを持つ（ずっと暗い）とする。この場合、中心円境界上で２つの星印で示された位置の画素Ａの明るさと画素Ｂの明るさとを確認する。本来、画素Ａの明るさと画素Ｂの明るさとは、同じ明るさを持つ。しかし、画素Ｂでは、周辺領域内の明るさよりも画素Ｂがずっと明るいため、その対比効果により本来の画素Ｂの明るさよりもずっと明るく感じる傾向がある。それに対して、画素Ａでは、周辺領域内の明るさよりも画素Ａの明るさがやや低いため、これも対比効果により、本来の画素Ａの明るさよりもやや暗く感じてしまう。その結果、ユーザは、画素Ｂの方が画素Ａよりも明るく感じる現象が発生するのである。

本発明では、この明るさ対比量ＲＫｉ（ｘ，ｙ）を明るさ対比量算出部２１で求める。その際、明るさ対比量ＲＫｉを求める際の周辺領域として、全画像領域の１／６から１／３程度の大きさを持つ画素範囲（領域）（この画素領域が人間の視野領域に相当する。）を用いて処理することとする。この際、周囲の代表明るさ情報ＡＫｉ（ｘ，ｙ）としては、例えば、人間の視野領域に相当する所定の広さを持つ画素領域Ωｉ内の重み付き平均明るさを、対象画素ｉ（ｘ，ｙ）の周囲の画素の代表明るさ情報ＡＫｉ（ｘ，ｙ）とすることが好ましいが、これ以外にも、視野領域内の画素を対象として、当該領域内の画素の明るさ（輝度）についてのヒストグラム（輝度ヒストグラム）を求め、その輝度ヒストグラムにおいて、最も度数の多い輝度値や、視野領域内の統計的分布をもとにしたクラスタリング処理で得られた代表輝度や、視野領域内の平均輝度度等を、代表明るさＡＹｉとすることも可能である。

また、画素ｉ（ｘ，ｙ）の明るさ対比量ＲＫｉの定義としても、
（ａ）明るさ情報Ｋｉの、その周辺を代表する明るさ情報ＡＫｉに対する比、
（ｂ）明るさ情報Ｋｉから、その周辺を代表する明るさ情報ＡＫｉを減算した値、
等の定義を採用することができる。なお、これ以外にも多くの定義があるが、ここでは対比をより明確に表すために、（ａ）の明るさ情報Ｋｉのその周辺を代表する明るさ情報ＡＫｉに対する比を用いることとした。

周辺明るさ情報算出部２０が、周囲の代表明るさＡＫｉを求め、明るさ対比量算出部２１が、明るさ対比量ＲＫｉを（数式１）より求める。
次に、画素ｉ（ｘ，ｙ）における明るさ対比量ＲＫｉ（ｘ，ｙ）と関心度Ｓｉ（ｘ，ｙ）との関連付けが行なわれる。この処理は、関心度変換部２２で実施される。
この明るさ対比量ＲＫｉを用いて、画像内の関心度Ｓｉが推定される。
図９に、その考え方を模式的に示す。図９の左図の中に２つの花弁がある。２つの花弁の花びらは同じ明るさ情報を持つ。それに対して、左の花弁の中心は周囲の花びらより明るさが高く、右の花弁の中心は周囲の花びらより明るさが低いと仮定する。この場合、左の花弁中心部内の画素Ｐｃで得られる明るさ対比量ＲＫＰｃと右の花弁中心部内の画素Ｑｃで得られる明るさ対比量ＲＫＱｃを比較すると、ＲＫＰｃ＞ＲＫＱｃとなる。その結果、この明るさ対比の影響により、左の花弁中心部では、視覚特性上、実際の明るさＫＰｃよりも明るく感じられることとなり、右の花弁中心部では実際の明るさＫＱｃよりも暗く感じられることとなる。そのため、左の花弁中心部では、より人間の関心度が高くなる。それに対して、右の花弁中心部では、人間の関心度が落ちてしまう（低くなる）。

本発明では、以上のような事実に基づき、対象画素ｉ（ｘ，ｙ）の明るさ対比量ＲＫｉが高い画素は、関心の高い領域に含まれる画素とみなして、その画素の関心度Ｓｉに高い値を設定する。なお、関心度Ｓｉは、０．０≦Ｓｉ≦１．０を満たし、Ｓｉ＝１．０で最も関心の程度が高いことを示し、Ｓｉ＝０．０で最も関心の程度が低いことを示すものと定義した。図８の右図は、明るさ対比量ＲＫｉと関心度Ｓｉとの間の関係を示すものである。明るさ対比量ＲＫｉがＲＫｉ＝１．０の画素では通常の関心程度であるとみなして、関心度Ｓｉを「０．５」に設定する。明るさ対比量ＲＫｉが所定の最大明るさ対比量ＭａｘＲＫに向かって増大するにしたがい、関心の程度が高まる可能性が大きくなるとして、その関心度Ｓｉも「１．０」へ向かって単調増加させる。逆に、明るさ対比量ＲＫｉが「０．０」に向かって減少するにしたがい、関心の程度も低下する可能性が大きくなるものとして、その関心度Ｓｉも「０．０」へ向かって単調減少させる。このようにして、各画素ｉの関心度Ｓｉを定義する。（数式２）は、その一例を示すものであり、ｓｋｅｉｓｕは所定の正定数である。ｓｋｅｉｓｕの値が大きいほど、関心度ＳｉのＲＫｉ＝１．０付近での変化率が大きくなる。

一方、消失点推定部３では、画像内の消失点情報ｖＶＰｋの推定を行う。消失点推定部３での処理の概要について、図６およびお図１０を用いて説明する。
まず、絵画の遠近法表現でよく使用される「消失点」について説明する。３次元空間で平行な２直線を延長した線を、平面に投影した場合、それらの線は必ず１点に収束する。この点のことを「消失点」と呼ぶ。このため、まず、画像内より複数の直線を検出し、その直線が多く交わる点を消失点情報ｖＶＰｋ（ｘ，ｙ）＝（ＶＰｋｘ，ＶＰｋｙ）とする。この消失点の数ＮＶＰは複数であってもよいが、以下では簡単のために消失点が１つである場合の例で、消失点推定部３により実行される消失点推定の処理について説明する。
画像内から直線を抽出する前準備として、輪郭情報が輪郭算出部３０で算出される。この手法として、従来より知られている多くの方法を用いることができるが、ここでは、エッジ抽出フィルタ（例えば、３画素×３画素のサイズのＳｏｂｅｌフィルタ）により画素ｉ（ｘ，ｙ）のエッジ量ＥＤＧＥｉ（ｘ，ｙ）を求め、その値を所定のしきい値ＴＨＥＤＧＥと比較して、エッジ量ＥＤＧＥｉ≧ＴＨＥＤＧＥの画素ｉ（ｘ，ｙ）を輪郭上にある特徴点ＲＰｋ（ｘ，ｙ）とする。（数式３）は、Ｓｏｂｅｌフィルタの係数の一例を示している。ｖＳｏｂｅｌｘは、ｘ方向エッジ成分検出用マトリックスであり、ｖＳｏｂｅｌｙはｙ方向エッジ成分検出用マトリックスである。ＴＨＥＤＧＥは、所定の正定数であり、画像内で最大のエッジ量をもとに決めてもよい。

このようにして得られた輪郭上の特徴点ＲＰｋ（ｘ，ｙ）がＮＲＰ個あった場合、この特徴点ＲＰｋ（ｘ，ｙ）の全てに対して直線検出を行う必要がある。この直線検出の処理に使用されるものとしてよく知られる手法にハフ変換による直線検出がある。
ハフ変換による直線検出処理について、図１０を用いて説明する。ハフ変換では、まず、図１０の左図のように、直線Ｌを極座標表現（ρ，θ）を用いて表現する。ρは、原点から直線に垂線を引いたときの原点から当該直線と当該垂線との交点までの長さ、θは、当該垂線とｘ軸とのなす角を示す。ただし、垂線がｙ＜０の領域にあるときはρ＜０とする。θの範囲は０≦θ≦πとなる。
図１０の左図のような特徴点Ａ、Ｂ、Ｃを通過する直線Ｌ０の表現は、（ρ０，θ０）と定義される。（数式４）に、その直線Ｌ０の式を示す。

一般に、（ｘ，ｙ）空間におけるある１点の特徴点ＲＰｋ（ｘ，ｙ）を通る直線群は無数に存在し、その直線群に属する各々の直線に対して（ρ，θ）が一義的に求まり、各々の特徴点ＲＰｋ（ｘ，ｙ）に対して、θ−ρパラメータ空間（ハフ空間）に１つの曲線があてはまる（決定される）（図１０の右図）。そこで、（数式４）のような直線Ｌ上の３つの特徴点Ａ、Ｂ、Ｃは、図１０の右図のようにθ−ρパラメータ空間（ハフ空間）における３つの曲線となり、その交点（ρ０，θ０）が３つの特徴点Ａ、Ｂ、Ｃを共通に通る画像空間内の直線Ｌ（図１０の左図の直線Ｌ）を表すこととなる。消失点推定部３では、この考え方を用いて、直線検出処理を行う。
消失点推定部３における処理のアルゴリズム概要は、次の通りである。
《ハフ変換による直線検出》
（１）ハフ変換部３１は、（θ−ρ）空間を離散化し、θ、ρに関する２次元空間ＰＰ（θ，ρ）を用意する。原画像（ｘ−ｙ空間）のサイズをｗ画素×ｗ画素とした場合、ρの取りうる範囲は［−１．４１４ｗ／２，１．４１４ｗ／２］なので、１．４１４ｗ／２だけシフトして［０，１．４１４ｗ］の範囲をρが取りうる範囲とする。この場合、θ、ρにおける離散化間隔Δθ＝１度、Δρ＝１のとき、２次元配列ＰＰ（θ，ρ）の大きさは１８０×１．４１４ｗとなる。ここで、「１．４１４」は、「２」の平方根である。

（２）輪郭算出部３０により明るさ情報Ｋｉから輪郭抽出された輪郭情報画像は、輪郭算出部３０により２値化される。そして、ハフ変換部３２は、その２値化された輪郭情報画像を走査して、「１」の画素値をもつ画素ｉ（ｘ，ｙ）に対して、（数式４）によって、ハフ変換を実行し、Δθ間隔でρを計算する。分布算出部３２は、計算されたρを整数化してＰＰ（θ，ρ）の値を「１」だけ加算する。つまり、（θ，ρ）の値に対する頻度分布Ｈｉｓｔ（θ，ρ）（2次元のヒストグラム）を求める。
（３）全画素の走査完了の後、ＰＰ（θ，ρ）の値の最大値ＭａｘＣｏｕｎｔをもとに所定のしきい値ＴｈＣｏｕｎｔによるしきい値判定を行い、ＴｈＣｏｕｎｔよりも小さい場合は、消失点なしと見なして、ｖＶＰｋ（ｘ，ｙ）＝（−１，−１）を設定して、抽出処理を終了する。

（４）（３）で「消失点なし」とみなされない場合、上位カウント数から所定のカウントより大きな値をもつＰＰ（θ，ρ）の値（ＰＰ（θ，ρ）の配列要素の値）を取り出す（抽出する）。このようにして抽出されたハフ空間内の（θ，ρ）の各々が、画像空間内の直線Ｌに相当するものである。直線を抽出するために、ここで説明したように上位カウント数から所定のカウントより大きな値をもつＰＰ（θ，ρ）の値を抽出する方法以外に、ヒストグラムＰＰ（θ，ρ）で所定のカウントよりも大きな極大値を求める処理を行う方法を用いてもよい。例えば、抽出された直線数をＮＬとすると、上記処理により、画像空間内の直線Ｌｓ（ｓ＝１，・・・，ＮＬ）に対応するハフ空間内の点（θｓ，ρｓ）が抽出されたこととなる。
（５）抽出された極座標（θｓ，ρｓ）（ｓ＝１，・・・，ＮＬ）の各々に対応する画像空間内の直線Ｌｓと、画像（ｘ，ｙ）を細分化したブロックＢｍｎ（ｍ＝１，・・・，ＮＢｘ，ｎ＝１，・・・，ＮＢｙ）のブロック頂点座標とを比較することで、画像空間内のブロックＢｍｎを通過する直線Ｌｓの直線数をカウントする。直線Ｌｓの直線数の最大となるブロックＢＭａｘｍｎの重心を消失点ｖＶＰ（ｘ，ｙ）の座標とする。ここではｖＶＰ（ｘ，ｙ）＝（ＶＰｋｘ，ＶＰｋｙ）とする。つまり、そのブロックを通過する直線Ｌｓの数（直線数）が最大となるブロックの重心を消失点ｖＶＰ（ｘ，ｙ）とする。なお、消失点は、必ずしも１点である必要はなく、複数であってもよい。その場合、そのブロックを通過する直線Ｌｓの数（直線数）が所定のしきい値以上となるブロックの重心を消失点ｖＶＰk（ｘ，ｙ）（ｋ＝０，１，・・・）とする。

（６）（５）で抽出された消失点ｖＶＰｋ（ｘ，ｙ）が画像の左右端から所定の画素数ＬｉｍｉｔＸ内の領域に存在する場合、または、画像の上下端から所定の画素数ＬｉｍｉｔＹ内の領域に存在する場合、その抽出された消失点は無効として、ｖＶＰｋ（ｘ，ｙ）＝（−１，−１）とする。ここで、例えば、ＬｉｍｉｔＸの値を画像のｘ方向画素数の１／１０の値に設定し、ＬｉｍｉｔＹの値をｙ方向画素数の１／１０の値に設定すればよい。なお、ＬｉｍｉｔＸの値およびＬｉｍｉｔＹの値がこれらの値に限定されないことは言うまでもない。
このようにして得られた消失点情報ｖＶＰｋ（ｘ，ｙ）と、関心度Ｓｉ（ｘ，ｙ）とに基づいて、奥行き推定部により、対象画素ｉの奥行き度ｆｂｉが求められる。その考え方を図１１に示す。

図１１（ａ）は、消失点の近くにある円の中心領域Ｂの明るさと、消失点より遠くにある円の中心領域Ａの明るさとが同じ場合を示している。この場合、消失点に近いほど、３次元空間を２次元（平面）に射影した場合、円の大きさは小さくなる。そして、消失点の付近の点線の四角は、消失点の距離から考えるとほぼ同じような距離感を与える領域を模式的に示している。図１１（ａ）の場合、領域Ａの方が消失点より遠いので、３次元空間を投影した２次元平面上では、視覚的に近景に感じられ、領域Ｂの方は消失点に近いので、３次元空間を投影した２次元平面上では、視覚的に遠景に感じられる傾向がある。
一方、図１１（ｂ）は、領域Ａの明るさよりも領域Ｂの明るさの方が明るい場合を模式的に示している。この場合、領域Ｂは消失点から比較的近い位置にあるが、明るさの対比効果で、視覚特性上、人間の関心が集まりやすくなり、領域Ｂは、実際よりも近くにあると感じられる傾向がある。それに対して、領域Ａは、本来、消失点の距離から遠く、視覚的に近景に感じられるはずだが、関心がＢに集まりやすいことから、領域Ａは、実際よりもやや遠くにあるように感じられる傾向がある。

この発明では、奥行き度ｆｂｉの推定に、この考え方を用いたものである。ここで奥行き度ｆｂｉは、奥行き度ｆｂｉの値が大きいほど、奥行き度ｆｂｉに対応する画素ｉが近景領域に含まれることを示し、奥行き度ｆｂｉの値が小さいほど、奥行き程度ｆｂｉに対応する画素ｉが遠景領域に含まれることを示すものと定義される。
図１２（ａ）は、上記の関係を模式的に示した図である。図１２（ａ）は、横軸に関心度Ｓｉをとり、縦軸に消失点からの距離Ｌｅｎｉをとり、各座標領域（図１２の左図では４つの座標領域に分割している。）に含まれる画素が視覚的にどのように感じられるか（近景領域に含まれるように感じられる、あるいは、遠景領域に含まれるように感じられる等）を模式的に示したグラフである。なお、ここで、関心度Ｓｉは、画素ｉの関心度であり、その最大値をＭａｘＳとする。ＭａｘＳの値は、通常、「１．０」に設定すればよい。Ｌｅｎｉは、消失点ｖＶＰｋ（ｘ，ｙ）＝（ＶＰｋｘ，ＶＰｋｙ）から画素ｉまでの距離を示し、０≦Ｌｅｎｉ≦１．０のように正規化されているものとする。

奥行き推定部４は、画素ｉ（ｘ，ｙ）の消失点からの距離Ｌｅｎｉから、例えば、図１２（ｃ）に示したグラフにより、奥行き度ｆｂｉの最大値Ｍａｘ＿ｆｂｉおよび最小値Ｍｉｎ＿ｆｂｉを求める。そして、画素ｉ（ｘ，ｙ）の関心度Ｓｉ並びに図１２（ｃ）のグラフから求めたＭａｘ＿ｆｂｉ（Ｍａｘ＿ｆｂｉは、Ｌｅｎｉの値に基づいて変化する値であるので、Ｍａｘ＿ｆｂｉ（Ｌｅｎｉ）と記載することもある。以下、同じ。）およびＭｉｎ＿ｆｂｉ（Ｍｉｎ＿ｆｂｉは、Ｌｅｎｉの値に基づいて変化する値であるのでＭｉｎ＿ｆｂｉ（Ｌｅｎｉ）と記載することもある。以下、同じ。）から、例えば、図１２（ｂ）に示したグラフにより奥行き度ｆｂｉを求める。
なお、消失点が複数ある場合、各消失点について、図１２（ｂ）および図１２（ｃ）の関数で奥行き度ｆｂｋｉを求め、その和により最終的な奥行き度ｆｂｉを求める。また、各消失点ｖＶＰｋによる奥行き度ｆｂｋｉに、所定の変換関数による変換を行い、変換された値を用いて、奥行き度を求めるようにしてもよい。

図１２（ａ）に示すように、画素ｉの関心度Ｓｉが低く、画素ｉと対象とする消失点ｖＶＰｋとの距離Ｌｅｎｉが小さい場合、画素ｉが近景領域に含まれる可能性はかなり低いと推定することができるので、奥行き度ｆｂｉは小さい値に設定する。逆に、画素ｉの関心度Ｓｉが高く、画素ｉと対象とする消失点ｖＶＰｋとの距離Ｌｅｎｉが大きい場合、画素ｉが近景領域に含まれる可能性はかなり高いと推定することができるので、奥行き度ｆｂｉは大きな値に設定する。これに対して、画素ｉと対象とする消失点ｖＶＰｋとの距離Ｌｅｎｉが小さいが、画素ｉの関心度Ｓｉが高い場合、図１１を用いて説明したように、関心度ｓｉの上昇に応じて近景度（人間が、視覚的に対象画素ｉが近景領域にあると感じる度合い）が上昇し、奥行き度ｆｂｉもそれに比例して上昇することとなる。しかし、画素ｉと対象とする消失点ｖＶＰｋとの距離Ｌｅｎｉが大きいが、画素ｉの関心度Ｓｉが低い場合、図１１を用いて説明したように、関心度ｓｉの低下に応じて近景度も低下し、同様に奥行き度ｆｂｉも低下することとなる。

このことを関数化した一例が図１２（ａ）である。図１２（ｂ）は、あるＬｅｎｉにおける関心度Ｓｉによる奥行き度ｆｂｉの変化の様子を示している。また、図１２（ｃ）は、対象消失点からの距離Ｌｅｎｉに対する、図１２（ｂ）の奥行き度ｆｂｉの取り得る最大値Ｍａｘ＿ｆｂｉ（Ｌｅｎｉ）および最小値Ｍｉｎ＿ｆｂｉ（Ｌｅｎｉ）の推移を示している。つまり、奥行き度ｆｂｉは、関心度Ｓｉによる制御に主眼が置かれ、その際の制御関数を消失点からの距離Ｌｅｎｉで制御していることとなる（Ｌｅｎｉの値により奥行き度ｆｂｉの取り得る範囲が決定される）。このようにして奥行き度ｆｂｉを推定するのは、図１１を用いて説明したように、人間の関心や注目が距離感に大きな影響を与えることを考慮したことによる。そして、図１２（ｃ）に示すように、消失点からの距離Ｌｅｎｉが大きいほど、近景度が上がるように（つまり、奥行き度ｆｂｉが大きな値となるように）、図１２（ｂ）の奥行き度ｆｂｉの最大値Ｍａｘ＿ｆｂｉと最小値Ｍｉｎ＿ｆｂｉとが大きな値となるように線形的に単調増加する関数を用いてＭａｘ＿ｆｂｉおよびＭｉｎ＿ｆｂｉを決定させている。なお、Ｌｅｎｉと、Ｍａｘ＿ｆｂｉおよびＭｉｎ＿ｆｂｉとの関係は、図１２（ｃ）に示した特性に限定されるものではなく、例えば、図１２（ｃ）の特性に類似する非線形な関数による特性であってもよい。

一例として、消失点からの距離Ｌｅｎｉが大きい場合（Ｌｅｎｉ＝１．０の場合）の関心度Ｓｉと奥行き度ｆｂｉとの関係を図１３（ａ）に、消失点からの距離Ｌｅｎｉが小さい場合（Ｌｅｎｉ＝０．１の場合）の関心度Ｓｉと奥行き度ｆｂｉとの関係を図１３（ｂ）に示す。
また、（数式５）に、図１２（ｂ）に示した特性に相当する数式を示し、（数式６）および（数式７）に、図１２（ｃ）のＭａｘｆ＿ｂｉおよびＭｉｎ＿ｆｂｉに相当する数式を示す。

ｆｋｅｉｓｕは所定の正定数であり、Ｓｉ＝０．５（通常の関心）での傾き度合いを制御する係数である。また、ＭａｘｏｆｆとＭａｘｋｅｉｓｕとは、所定の正定数であり、
０．０＜Ｍａｘｏｆｆ≦１．０，
０．０＜Ｍａｘｋｅｉｓｕ≦１．０
となる。
Ｍｉｎｋｅｉｓｕも、所定の正定数であり、
０．０＜Ｍｉｎｋｅｉｓｕ＜１．０
となる。
なお、上記以外にも、関心度Ｓｉと、消失点ｖＶＰｋ（ｘ，ｙ）＝（ＶＰｋｘ，ＶＰｋｙ）からの距離Ｌｅｎｉとの２変数で制御される関数であり、なめらかに連続となる関数であれば、その関数を、奥行き度ｆｂｉを決定する関数として、適用することも可能である。

奥行き推定部４で、このようにして得られた奥行き度ｆｂｉから画素ｉの補正ゲイン値Ｇｉを決めるが、ここでは、Ｇｉ＝ｆｂｉとしてもよいが、画素ｉにおける補正ゲイン値Ｇｉを、（数式８）のように定義してもよい。

ＴＳは所定の正定数であり、０．０≦ＴＳ≦１．０の値である。これは、外部やＲＯＭ、ＲＡＭメモリ等で設定される強度パラメータに相当する。
そして、奥行き推定部４により算出された補正ゲインＧｉは、奥行き補正部５に出力される。
奥行き補正部５では、所定の奥行き補正用の画像処理が画素ｉ（ｘ，ｙ）に対して実施される。
奥行き補正部５では、例えば、
（１）γカーブ（ガンマ特性）による階調補正処理、
（２）明るさ対比効果を考慮した階調補正処理、
（３）単純な彩度・色相補正処理、
（４）色対比効果を考慮した彩度・色相補正処理、
（５）エンハンサ（エッジ鮮鋭化）処理、
（６）平滑化処理、
（７）陰影付加・光付加処理、
（８）記憶色補正処理、
（９）Ｄレンジ（ダイナミック・レンジ）伸張処理
等の処理が画素ｉ（ｘ，ｙ）に対して実行される。

一例として、奥行き補正部５において、画素ｉの対象色情報Ｃｉの補正を行う場合、その色補正量ｄＣｉと補正後の色情報Ｃｉ＿ｎｅｗとは（数式９）のようになる。

奥行き補正部５で補正された画像信号ｖＩｉ（画素ｉ（ｘ，ｙ））は、出力部６に出力される。
最後に、出力部６では、奥行き補正部５で得られた各画素ｉの色情報補正値とそれ以外の色情報値とをそのまま出力するようにしてもよい。また、出力部６では、奥行き補正部５で得られた各画素ｉの対象色情報の補正値とそれ以外の色情報値とを、使用機器により扱うことのできる所定の画像フォーマット（例えば、ＪＰＥＧ画像形式、ＢＭＰ画像形式、ＭＰＥＧ形式、ＮＴＳＣ方式の映像形式等）に応じて変換し、変換して得られた処理画像データを出力するようにしてもよい。
このように、画像処理装置１０００では、奥行き情報（近景領域に含まれる画素か遠景領域に含まれる画素か）に応じて、その画素値に対する補正ゲインの値を制御し、その補正ゲインを用いて画素値を補正することで、人間の視覚に自然に感じられる奥行き感向上を実現した画像信号を取得することができる。つまり、画像処理装置１０００では、人間の単眼情報の手掛かりによる３次元認知特性により、画像（画像信号）に奥行き感・遠近感を感じる効果を簡易に与えることができる。

さらに、第１実施形態によれば、明るさ対比量により画像内の関心度を求め、その関心度の取り得る範囲を、消失点からの距離により制御することで、奥行き度を決定し、その奥行き度に基づいて画像内の画素値補正（明るさ、色、鮮鋭化、平滑化）を行う。これにより、単なる距離だけでなく、人間の関心度や注目度に応じた奥行き制御が可能となり、より人間の印象に近い奥行き感を、処理画像において実現させることができる。
また、画像内で消失点が存在しない場合や、うまく抽出できない場合や、消失点の候補が多数あるような場合、消失点からの距離のみでは効果的な奥行き制御を行うことは困難である。しかし、本発明の第１実施形態に係る画像処理装置１０００およびそれに用いられる画像処理方法では、そのような場合にも対応することができる。
なお、上記において、補正対象色情報としては彩度１つの場合について説明したが、例えば、彩度および色相の２つの色情報補正を組み合わせることも可能である。この場合、各々の色情報に対して、別々に奥行き情報（彩度に基づく奥行き情報および色相に基づく奥行き情報）からの補正ゲインの値を設定することも可能である。また、彩度に基づく奥行き情報および色相に基づく奥行き情報で、同じ補正ゲインの値を用いて処理するようにしてもよい。他の処理についても、上記で説明した処理と同様に行うことができる。

さらに（数式８）では、補正ゲインＧｉが正の値を取るように設定したが、遠景領域では、色情報を実際の値であるＣｉよりも抑えるようにする（例えば、色情報Ｃｉが彩度である場合、処理対象画素ｉの彩度の値を、実際の彩度の値よりも小さい値に設定するように補正処理を行う）ことも考えられる。この場合、（数式８）は、次のようにすることもできる。

ｆｂ＿ｏｆｆはオフセット量であり、０．０＜ｆｂ＿ｏｆｆ＜１．０を満たす。ηはＴＳとの強度係数であり、η＞０．０である。η＞１．０の場合、補正の変動幅は大きくなる。η＞１．０の場合、処理画像の遠景領域において画質劣化が生じる可能性があるので、遠景領域での色情報Ｃｉの低下はできるだけ小さくすることが好ましい。
また、補正対象色情報Ｃｉの色補正処理を行う際、所定の変動量ＤｅｆＣｉにより（数式１１）のように変化させることで、補正後の色情報Ｃｉ＿ｎｅｗを求めるようにしてもよい。

ここで、Ｃｉ＿ｎｅｗが補正対象色情報の補正後の値になる。βは所定の正定数である。
また、色対比による色補正処理を行うことも可能である。その場合、一例として、（数式１２）および（数式１３）により、色補正処理を実行することも可能である。

ＴＨ０、Ｇｍａｘ、βは、所定の正定数であり、μは０＜μ＜１を満たす所定の正定数である。また、ＲＣｉは画素ｉにおける色対比量である。（数式１２）は、色対比による補正量に補正対象Ｃｉ項を加えることで（（数式１２）の２項目にＣｉを乗算させることで）、補正対象の色情報Ｃｉの急激な変化により発生する処理画像上での飽和現象を抑制する例である。つまり、（数式１２）による補正処理では、補正前の色情報Ｃｉの大きさに連動して補正処理が実行されることになるので、例えば、色情報Ｃｉの値が小さい場合に、補正後の色情報Ｃｉ＿ｎｅｗが色対比量ＲＣｉの変化により急激に変化することを抑制することができる。これにより、より自然な補正処理を実現することができる。
なお、本実施形態に係る画像処理装置１０００および画像処理方法において、処理画像上での奥行き感向上のために、上記で示した色補正処理を用いることは一例であり、他に多くの手法を用いることができるのは言うまでもない。

また、画像処理装置１０００において、色情報Ｃｉに対する色補正量ｄＣｉを（数式１４）や（数式１５）により算出し、色補正処理を行うようにしてもよい。（数式１４）や（数式１５）では、奥行き情報ｆｂｉから求められる補正ゲインＧｉを、色対比量（Ｃｉ／ＡＣｉ）を変数としてＧＦ関数に適用させることで得られた値により修正して、色対比による色補正量ｄＣｉを求めている。なお、（数式１４）、（数式１５）で、ＡＣｉは対象画素ｉの周辺領域を代表とする代表色情報である。

［第２実施形態］
図１４から図２１を用いて、本発明の第２実施形態として、関心度を消失点からの距離に応じて奥行き度を推定し画素値補正を行う画像処理方法及び画像処理装置について説明する。
＜２．１：画像処理装置の構成＞
図１４に、本発明の第２実施形態に係る画像処理装置２０００の構成を示す。第２実施形態に係る画像処理装置２０００では、図１４に示すように、第１実施形態に係る画像処理装置１０００と比べて、色情報算出部１００を追加した点と、関心度推定部２を高度関心度推定部１０２に置換した点とが異なる。
なお、本実施形態に係る画像処理装置２０００において、前述の実施形態と同様の部分については、同一の符号を付し、説明を省略する。

図１５に、高度関心度推定部１０２の構成を示す。高度関心度推定部１０２において、明るさ対比量ＲＫｉに加えて画素ｉ（ｘ，ｙ）における色対比量ＲＣｉを関心度Ｓｉの推定に用いている点が、第１実施形態の関心度推定部２と異なる。
色情報算出部１００は、入力画像信号ｖＩｉから色情報Ｃｉを算出し、算出した色情報Ｃｉを高度関心度推定部１０２に出力する。
高度関心度推定部１０２は、明るさ情報算出部１から出力された明るさ情報Ｋｉおよび色情報算出部１００から出力された色情報Ｃｉを入力とし、明るさ情報Ｋｉおよび色情報Ｃｉに基づいて関心度Ｓｉを算出（推定）し、算出した関心度Ｓｉを奥行き推定部４に出力する。
高度関心度推定部１０２は、図１５に示すように、周辺明るさ情報算出部２０と、明るさ対比量算出部２１と、周辺色情報算出部１２０と、色対比量算出部１２１と、高度関心度変換部１２３と、を有する。

周辺明るさ情報算出部２０と、明るさ対比量算出部２１と、については、第１実施形態と同様であるので、説明を省略する。
周辺色情報算出部１２０は、色情報ｖＣｉを入力とし、周辺色情報ＡＣｉを算出し、算出した周辺色情報ＡＣｉを色対比量算出部１２１に出力する。
色対比量算出部１２１は、周辺色情報算出部１２０から出力された周辺色情報ＡＣｉおよび色情報算出部１００から出力された色情報ｖＣｉを入力とし、周辺色情報ＡＣｉおよび色情報ｖＣｉに基づいて、色対比量ＲＣｉを算出し、高度関心度変換部１２３に出力する。
高度関心度変換部１２３は、明るさ対比量算出部２１から出力された明るさ対比量ＲＫｉおよび色対比量算出部１２１から出力された色対比量ＲＣｉを入力とし、明るさ対比量ＲＫｉおよび色対比量ＲＣｉから関心度Ｓｉを算出し、奥行き推定部４に出力する。

＜２．２：画像処理装置の動作＞
次に、画像処理装置２０００の動作について説明する。
図１６に、第２実施形態に係る画像処理方法（画像処理装置２０００で実行される画像処理方法）の処理フローチャートを示し、図１７に、高度関心度推定処理の処理フローチャートを示す。
図１４から図１７を用いて、画像処理装置２０００の処理について説明する。
画像処理装置２０００に画像データ（画像信号）ｖＩｉ（ｘ，ｙ）が入力され、画素ｉにおける所定の明るさ情報Ｋｉの算出に加えて、色情報算出部１００により画素ｉの色情報ｖＣｉが算出される。ここでは、画像入力データ（入力画像信号）は、色情報として扱いやすい色相Ｈ、彩度Ｓおよび明度Ｖより構成されるＨＳＶ空間データや、輝度Ｙ、色差Ｃｒおよび色差Ｃｂより構成されるＹＣｂＣｒ空間データや、明度Ｌ、色ａ＊およびｂ＊より構成されるＬａ＊ｂ＊の均等色空間データ等に変換される。また、画像入力データ（入力画像信号）がＲＧＢ形式のデータ（信号）である場合は、入力画像信号をそのまま扱う（ＲＧＢ色空間におけるＲ成分信号，Ｇ成分信号，Ｂ成分信号としてそのまま扱う）ことも可能である。

次に、高度関心度推定部１０２では、明るさ対比量ＲＫｉおよび色対比量ＲＣｉの算出を行い、算出した値をもとに画素ｉの関心度Ｓｉの推定が行なわれる。明るさ対比量ＲＫｉについては、第１実施形態と同様であるので、説明を省略する。
色対比量の概念について、図１８から図２０を用いて説明する。
この図１８では、薄い黄色の背景の中に中心部分が開いた赤と青の２つの円が描かれている。なお、２つの円の中心領域は、背景と同じ薄い黄色をしている。人が、これらの円を、図１８に示す星印にある視線位置に注目して観察した場合、人は、赤色の円の中心をやや青く感じる傾向があり、また、青色の円の中心をやや赤く感じる傾向がある。この現象は、視覚心理より明らかとされており、色対比と呼ばれる特性により生じる現象である。色対比特性とは、対象物体の周囲を異なる彩度や色相等が取り囲む場合に、対象物体の彩度や色相に与える影響のことをいう。そして、以下の（１）および（２）に示す特性が明らかになっている。

（１）対象物体の色相と異なる色相が対象物体を取り囲む場合、対象物体の周囲の色相の補色が対象物体の色相に加わって感じられる（例えば図２０）。
（２）対象物体の彩度よりも対象物体の周囲を取り囲む彩度が高い場合、対象物体の彩度は、実際よりも低く感じられる。逆に、対象物体の彩度よりも対象物体の周囲を取り囲む彩度が低い場合は、対象物体の彩度は実際よりも高く感じられる（例えば図１９）。
本発明では、この色対比特性を第１実施形態で使用する明るさ対比特性と組み合わせることで、人間の視覚に近い印象を与える（人間が画像（映像）を見たときに人間の視覚特性上自然と感じる）関心度推定を行うことを特徴としている。
なお、この色対比の程度を表す色対比量ｖＲＣｉの求め方としては、多くの手法があり、複数の成分をもつベクトル定義も可能である（例えば、ベクトルデータｖＲＣｉが、彩度Ｖｉおよび色相Ｈｉの２つの色情報からなるデータとして定義することも可能である）。

例えば、色情報Ｃｉとして彩度Ｖｉを選択した場合、彩度Ｖｉに関する彩度対比量ＲＶｉは、（数式１６）に示すように、例えば、人間の視野領域に相当する所定の広さを持つ画像領域Ωｉ内の重み付き平均彩度ＡＶｉと、対象画素ｉの彩度Ｖｉとの比として定義することができる。

また、彩度対比量ＲＶｉを、（数式１７）に示すように、相当する所定の広さを持つ画像領域Ωｉ内の重み付き平均彩度ＡＶｉと対象画素ｉの彩度Ｖｉとの差分としての定義も可能である。

さらに、彩度対比量ＲＶｉは、ＶｉとＡＶｉとを、目の視覚特性関数（対数による関数）等で変換した後に、変換後の値についての差分や比等により定義することも可能である。
周辺（対象画素ｉの周辺領域）の特徴を表す代表彩度ＡＶｉの求め方としてもいろいろあり、視野領域（人間の視野領域に相当する所定の大きさを持つ画素領域）内の画素を対象として、当該領域内の画素の彩度についてのヒストグラム（彩度ヒストグラム）を求め、その彩度ヒストグラムにおいて、最も度数の多い彩度値や、視野領域内の統計的分布をもとにしたクラスタリング処理で得られた代表彩度等を、代表彩度ＡＶｉとすることも可能である。
同様に、色相Ｈｉに対する対比量（色相対比）ＲＨｉは、人間の視野領域に相当する所定の広さを持つ画像領域Ωｉ内の重み付き平均色相ＡＨｉと対象画素ｉの色相Ｈｉとの比や差分で定義することができる。この場合の代表色相ＡＨｉも、視野領域内の画素を対象として、当該領域内の画素の色相についてのヒストグラム（色相ヒストグラム）を求め、その色相ヒストグラムにおいて、最も度数の多い色相値や、視野領域内の統計的分布をもとにしたクラスタリング処理で得られた代表色相等を、代表色相ＡＨｉとすることも可能である。

本実施形態では、（数式１６）のように、対象画素ｉの色情報Ｃｉと、対象画素ｉの周辺にあり画像（全画像領域）の１／６から１／３程度の大きさの領域に設定された周辺領域（視野領域）内での重み付き平均色情報ＡＣｉとの比により、色対比量ＲＣｉを定義する。
なお、色対比量ｖＲＣｉは、複数成分を持つベクトル定義も可能であるが、これ以降では、簡単化のために、１つの色情報Ｃｉに対する色対比量ＲＣｉをもとに説明する。複数の色対比量ｖＲＣｉ＝（ＲＣ１ｉ，ＲＣ２ｉ，・・・，ＲＣＮｉ）の場合は、（数式１８）に示すように、これらの成分の積ｔＲＣｉや、所定の変換関数出力を求め、改めてＲＣｉとして設定することで、以下と同様の処理を行うことが可能である。

まず、周辺色情報算出部１２０で、対象画素ｉの周囲の代表色情報ＡＣｉが算出される。この場合、周辺色情報算出部により、全画像領域の１／６から１／３程度の大きさの画素領域を周辺領域として、その領域内での重み付き平均色情報ＡＣｉが求められる。
色対比量算出部１２１では、画素ｉの色対比量ＲＣｉが求められる。
ここでは、
ＲＣｉ＝Ｃｉ／ＡＣｉ
とし、対象画素ｉの色情報Ｃｉの代表色情報ＡＣｉに対する比（Ｃｉ／ＡＣｉ）を色対比量ＲＣｉとして定義する。
また、周辺明るさ情報算出部２０および明るさ対比量算出部２１により、第１実施形態と同様にして、明るさ情報Ｋｉから明るさ対比量ＲＫｉが求められる。この明るさ対比量ＲＫｉと色対比量ＲＣｉとは、高度関心度変換部に入力され、高度関心度変換部１２３で、関心度Ｓｉが求められる。

図２１に、関心度Ｓｉの算出方法の一例を模式的に示す。
第１実施形態と同様に対象画素ｉの明るさ対比量ＲＫｉが「１」より大きい画素は、周囲よりも明るいことで目立ち、関心度Ｓｉが高い領域に含まれる画素であると見なす。それと同様に、対象画素ｉの色対比量ＲＣｉが「１」より大きい画素は、周囲よりも鮮やかであることで目立ち、やはり関心度Ｓｉが高い領域に含まれる画素であると見なす。
図２１の左図における右下の円領域はその部分に該当する。
一方、図２１の左図における左上の円領域（斜線を付した領域）では、対象画素ｉの明るさ対比量ＲＫｉおよび色対比量ＲＣｉがともに「１」より小さい領域に相当し、周辺よりも暗くかつ彩度の落ちた領域に含まれる画素であると見なして、関心度Ｓｉも低い領域に含まれる画素であると見なす。

以上のことを考慮して、関心度Ｓｉを、（数式１９）に示すように定義する。そして、（数式１９）に示すように、明るさ対比量ＲＫｉによる関心度Ｓ１ｉと、色対比量ＲＣｉにより関心度Ｓ２ｉとに分離して、両方の関心度を、例えば、図２１の右図に示す特性により制御する。

まず、図２１の右下図に示すように、明るさ対比量ＲＫｉが「１」より大きい画素は、関心度の高い領域に含まれる画素と見なして、その画素の関心度Ｓ１ｉに高い値を設定する。なお、関心度Ｓ１ｉは０．０≦Ｓ１ｉ≦１．０の間の値をとり、Ｓ１ｉ＝１．０で最も関心が高く、Ｓ１ｉ＝０．０で最も関心が低いものとする。そして、明るさ対比量ＲＫｉがＲＫｉ＝１．０の画素では、通常程度の関心があるものと見なして、Ｓ１ｉを「０．５」に設定し、明るさ対比量ＲＫｉが所定の最大明るさ対比量ＭａｘＲＫに向かって増大するにしたがい、当該画素（画素ｉ）への関心が大きくなるものとして、関心度Ｓ１ｉも「１．０」へ向かって単調増加させる。逆に、明るさ対比量ＲＫｉが「０．０」に向かって減少するにしたがい、当該画素（画素ｉ）への関心も小さくなるものとして、関心度Ｓ１ｉも「０．０」へ向かって単調減少させる。

上記考え方に基づき、関心度Ｓ１ｉを、各画素ｉの明るさ対比量ＲＫｉにより、（数式２０）に示すように定義した。

上式でｓ１ｋｅｉｓｕは所定の正定数であり、傾き具合（傾きの大きさ）を制御するものである。
また、図２１右上図のように、色対比量ＲＣｉが「１」より大きい画素は、関心度の高い領域に含まれる可能性が高いと見なして、ＲＣｉによる関心度Ｓ２ｉを高い値に設定する。関心度Ｓ２ｉは、０．０≦Ｓ２ｉ≦１．０の間の値を取り、Ｓ２ｉ＝１．０で最も関心が高いことを示し、Ｓ２ｉ＝０．０で最も関心が低いことを示すものとした。色対比量ＲＣｉについても、明るさ対比量ＲＫｉと同様に、ＲＣｉ＝１．０の画素では、当該画素（画素ｉ）に対して、通常の関心があるものと見なして、Ｓ２ｉを「０．５」に設定する。そして、色対比量ＲＣｉが所定の最大色対比量ＭａｘＲＣに向かって増大するにしたがい、当該画素（画素ｉ）への関心が大きくなるとして、関心度Ｓ２ｉも「１．０」へ向かって単調増加させる。逆に、色対比量ＲＣｉが「０．０」に向かって減少するにしたがい、当該画素（画素ｉ）への関心が小さくなるものとして、関心度Ｓ２ｉも「０．０」へ向かって単調減少させる。

上記考え方に基づき、関心度Ｓ２ｉを、各画素ｉの色対比量ＲＣｉにより、（数式２１）に示すように定義した。

上式でｓ１ｋｅｉｓｕは所定の正定数であり、傾き具合（傾きの大きさ）を制御するものである。
なお、画素ｉの関心度Ｓｉは、上記に限定されるものではなく、色対比量ＲＣｉと明るさ対比量ＲＫｉとを変数に持つ関数での近似を用いることにより算出されるものであってもよい。この場合、色対比量ＲＣｉ、または明るさ対比量ＲＫｉがもっとも大きな値である場合、最大の関心度「１．０」となるように設定し、その最大の関心度となる点を中心に、関心度が色対比量ＲＣｉまたは明るさ対比量ＲＫｉの変化に従い、なだらかに減衰する関数（線形関数でも非線形関数でもよい）により関心度が算出されるようにしてもよい。また、色対比量ＲＣｉと明るさ対比量ＲＫｉとで定義された２次元空間を分割して、その分割された各領域内では、一定の関心度となるように設定し、各領域の境界で、関心度がなめらかに連続な値をとるように設定された関数を用いて、関心度を決定するようにしてもよい。

このように、画像処理装置２０００では、明るさ対比という明るさに対する視覚心理を取り入れた値による効果と、色対比という色（彩度、色相等）に対する視覚心理を取り入れた値による効果を組み合わせることで、第１実施形態よりも精度の高い関心度Ｓｉの推定が可能となる。
一方、消失点推定部３は、第１の実施形態と同様の方法で消失点情報ｖＶＰｋを推定する。そして、消失点推定部３で得られた消失点情報ｖＶＰｋと、高度関心度推定部１０２で得られた関心度Ｓｉとは、奥行き推定部４に入力される。そして、奥行き推定部４により、消失点情報ｖＶＰｋおよび関心度Ｓｉに基づいて、画素ｉ（ｘ，ｙ）の奥行き度ｆｂｉ、そして補正ゲイン値Ｇｉが求められる。さらに、その補正ゲイン値Ｇｉをもとに奥行き補正部５により入力画像信号ｖＩｉに対して所定の奥行き補正処理が実施される。そして、奥行き補正された画像信号は、出力部６により、第１実施形態と同様の処理が実行され、出力画像信号ｖＯｉとして、画像処理装置２０００から出力される。

以上のように、第２実施形態に係る画像処理装置２０００および画像処理方法では、関心度推定に、明るさ対比量と色対比量とを用いるので、明るさのみならず色等のあざやかさにより関心度を設定することが可能となる。これにより、より人間の視覚特性に応じた関心度の設定および奥行き度の設定を行うことができる。
［第３実施形態］
図２２から図２６を用いて、本発明の第３実施形態として、関心度と消失点からの距離に応じて奥行き度を推定し画素値補正を行う画像処理方法及び画像処理装置について説明する。
＜３．１：画像処理装置の構成＞
図２２に、本発明の第３実施形態に係る画像処理装置３０００の構成を示す。第３実施形態に係る画像処理装置３０００では、図２２に示すように、第２実施形態に係る画像処理装置２０００と比べて、周波数成分算出部１４０を追加した点と、高度関心度推定部１０２を拡張関心度推定部１４２に置換した点とが異なる。

なお、本実施形態に係る画像処理装置３０００において、前述の実施形態と同様の部分については、同一の符号を付し、説明を省略する。
図２３に、拡張関心度推定部１４２の構成を示す。拡張関心度推定部１４２において、明るさ対比量ＲＫｉおよび色対比量ＲＣｉに加えて画素ｉ（ｘ，ｙ）における周波数情報ｖＦｉから得られる鮮鋭程度量ＲＢｉを関心度Ｓｉの推定に用いる点が、第２実施形態の高度関心度推定部１０２と異なる。
周波数成分算出部１４０は、入力画像信号ｖＩｉから周波数情報ｖＦｍｎを算出し、算出した周波数情報ｖＦｍｎを拡張関心度推定部１４２に出力する。
拡張関心度推定部１４２は、明るさ情報算出部１から出力された明るさ情報Ｋｉ、色情報算出部１００から出力された色情報Ｃｉ、および周波数成分算出部１４０から出力された周波数情報ｖＦｍｎを入力とし、明るさ情報Ｋｉ、色情報Ｃｉおよび周波数情報ｖＦｍｎに基づいて関心度Ｓｉを算出（推定）し、算出した関心度Ｓｉを奥行き推定部４に出力する。

拡張関心度推定部１４２は、図２３に示すように、周辺明るさ情報算出部２０と、明るさ対比量算出部２１と、周辺色情報算出部１２０と、色対比量算出部１２１と、ブロック内該当周波数平均算出部１５０と、拡張関心度変換部１５２と、を有する。
周辺明るさ情報算出部２０と、明るさ対比量算出部２１と、周辺色情報算出部１２０と、色対比量算出部１２１と、は、第２実施形態の高度関心度推定部１０２のものと同様であるため、説明を省略する。
ブロック内該当周波数平均算出部１５０は、周波数情報ｖＦｍｎを入力とし、周波数情報ｖＦｍｎに基づいて、鮮鋭程度量ＲＢｉを算出し、拡張関心度変換部１５２に出力する。
拡張関心度変換部１５２は、明るさ対比量算出部から出力された明るさ対比量ＲＫｉ、色対比量算出部１２１から出力された色対比量ＲＣｉ、およびブロック内該当周波数平均算出部１５０から出力された鮮鋭程度量ＲＢｉを入力とし、明るさ対比量ＲＫｉ、色対比量ＲＣｉ、および鮮鋭程度量ＲＢｉに基づいて、関心度Ｓｉを算出し、算出した関心度Ｓｉを奥行き推定部４に出力する。

＜３．２：画像処理装置の動作＞
次に、画像処理装置３０００の動作について説明する。
図２４に、第３実施形態に係る画像処理方法の処理フローチャートを示し、図２５に、拡張関心度推定処理の処理フローチャートを示す。
図２２から図２５を用いて、画像処理装置３０００の処理について説明する。
画像処理装置３０００に画像データ（画像信号）ｖＩｉ（ｘ，ｙ）が入力され、画素ｉ（ｘ，ｙ）におけるデータ（入力画像信号）が所定の明るさ情報Ｋｉと色情報ｖＣｉに変換されるまでの処理は、前述の実施形態と同様である。これに加えて、周波数成分算出部１４０で、画素ｉ（ｘ，ｙ）における周波数成分ｖＦｉが算出される。このｖＦｉの算出としては、多くの変換方法があるが、画像処理装置３０００では、画素ｉ（ｘ，ｙ）に対して、従来からよく使用されている離散コサイン変換（ＤＣＴ（Ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ））による変換を行い、離散コサイン変換により得られたＤＣＴ係数を用いて処理を行う。なお、周波数成分算出部１４０での周波数成分を算出するために用いる変換は、離散コサイン変換に限定されることはなく、ウェーブレット変換（離散ウェーブレット変換を含む。）、フーリエ変換（高速フーリエ変換）（離散フーリエ変換、離散高速フーリエ変換を含む。）等の周波数成分を抽出することできる変換であれば他の変換であってよい。

周波数成分算出部１４０では、次のようにして、周波数情報ｖＦｍｎ（＝ｖＦｉ）が算出される。
まず、入力画像信号ｖＩｉにより形成される２次元画像において、画像内をＮＮ画素×ＮＮ画素のブロックに細分化し、各ブロックＢｍｎ（ｍ＝１，・・・，Ｍｍａｘ， ｎ＝１，・・・，Ｎｍａｘ）において、明るさ情報Ｋｉに対して離散コサイン変換を実施する。離散コサイン変換により得られたＤＣＴ係数をｖＦｍｎ＝（Ｆｍｎ［ｓ，ｔ］）（ｓ＝０，１，・・・，ＮＮ−１，ｔ＝０，１，・・・，ＮＮ−１）とする。ｖＦｍｎは、（数式２２）および（数式２３）により算出される。

ここでｖＦｍｎは、画素ｉが含まれるブロックｍｎにおけるＤＣＴ係数を表し、これはＮＮ×ＮＮの２次元マトリックスとなる。この周波数情報ｖＦｍｎと、前述の実施形態における明るさ対比量ＲＫｉおよび色対比量ＲＣｉとが拡張関心度推定部１４２に入力され、拡張関心度推定部１４２により、画素ｉの関心度Ｓｉが求められる。
関心度Ｓｉは、（数式２４）に示すように、明るさ対比量ＲＫｉによる関心度Ｓ１ｉと色対比量ＲＣｉによる関心度Ｓ２ｉ、そして周波数情報ｖＦｍｎ（＝ｖＦｉ）より得られる鮮鋭程度量ＲＢｉによる関心度Ｓ３ｉの積で表現される。なお、関心度Ｓｉは、これに限定されることはなく、これら３つの変数で制御でき、これらの３つの変数に対してならめらかに連続な非線形関数により求められるものであってもよい。

明るさ対比量によるＳ１ｉと色対比量によるＳ２ｉは、第２実施形態の場合と同様に、図２１で示すような特性に基づいて求められる。
鮮鋭程度量ＲＢｉについては、まず画素ｉの含まれる細分化されたブロックＢｍｎ内で所定のしきい値周波数ＴｈＦｒｅｑより高い周波数成分である周波数成分の和（高周波成分の和）ｓｕｍＨＦｒｅｑを求め、ブロック内周波数の総和ｓｕｍＡｌｌＦｒｅｑに対する上記高周波成分の比を求め、その比を鮮鋭程度量ＲＢｉと定義する。すなわち、
ＲＢｉ＝ｓｕｍＨＦｒｅｑ／ｓｕｍＡｌｌＦｒｅｑ
により、鮮鋭程度量ＲＢｉを定義する。
鮮鋭程度量ＲＢｉの値が大きいほど、画素ｉがあるブロック内に含まれる高周波成分が多いこととなり、画素ｉがあるブロックは、鮮鋭度が高いブロックである。逆に、鮮鋭程度量ＲＢｉの値が小さいほど、画素ｉがあるブロック内に含まれる高周波成分が少なくなり、画素ｉがあるブロックは、鮮鋭度が低い（ぼけ程度が高い）ブロックである。

このようにして得られた鮮鋭程度量ＲＢｉは、画素ｉが含まれるブロックＢｍｎ内の画素ｉで一様となる。そこで、このブロックＢｍｎの重心にピークを持ち、その重心からの距離に応じて減衰するガウス関数を鮮鋭程度量ＲＢｉに適用させることで、鮮鋭程度量ＲＢｉによる関心度Ｓ３ｉを算出する。
図２６に、上記に基づく、鮮鋭程度量ＲＢｉによる関心度Ｓ３ｉの算出方法を模式的に示す。
図２６に示すように、ブロックｋの鮮鋭程度量ＲＢｋとブロックｕの鮮鋭程度量ＲＢｕに対してガウス分布を適用させて、ブロックｋの鮮鋭程度量ＲＢｋが画素ｉ（ｘ，ｙ）に与えるぼけ程度による関心度Ｓ３ｋｉを（数式２５）により算出し、ブロックｕの鮮鋭程度量ＲＢｕが画素ｉ（ｘ，ｙ）に与えるぼけ程度による関心度Ｓ３ｕｉを（数式２６）により算出する。

ここで、ＴｈＤｅｌｔａは所定の正定数であり、分散程度を示す。また、座標（ＣｅｎＸｋ，ＣｅｎＹｋ）は、ブロックｋの重心座標を示し、座標（ＣｅｎＸｕ，ＣｅｎＹｕ）は、ブロックｕの重心座標を示す。
拡張関心度変換部１５２では、上記のようにして得られた各ブロックｓの鮮鋭程度量ＲＢｓが処理画素ｉ（ｘ，ｙ）に影響する関心度Ｓ３ｓｉの和を求めることで、画素ｉの鮮鋭程度量による関心度Ｓ３ｉを算出する。つまり、拡張関心度変換部１５２において、（数式２７）により、画素ｉの鮮鋭程度量による関心度Ｓ３ｉが算出される。

画像処理装置３０００では、このように、関心度Ｓｉに明るさ対比量という明るさに対する視覚心理を取り入れた値と、色対比量といる色（彩度、色相等）に対する視覚心理を取り入れた値と、高周波数による鮮鋭程度量による値と、を組み合わせることで、前述の実施形態よりも、より精度の高い関心度Ｓｉの推定を行うことができる。
一方、消失点推定部３は、前述の実施形態と同様の方法で消失点ｖＶＰｋを求める。そして、消失点推定部３で得られた消失点情報ｖＶＰｋと、拡張関心度変換部１５２で得られた関心度Ｓｉとは、奥行き推定部４に入力される。そして、奥行き推定部４により、消失点情報ｖＶＰｋおよび関心度Ｓｉに基づいて、画素ｉ（ｘ，ｙ）の奥行き度ｆｂｉと補正ゲイン値Ｇｉとが、奥行き推定部４により求められ、その補正ゲイン値Ｇｉをもとに奥行き補正部５が入力画像信号ｖＩｉに対して奥行き補正処理を実施する。そして、奥行き補正された画像信号は、出力部６により、前述の実施形態と同様の処理が実行され、出力画像信号ｖＯｉとして、画像処理装置３０００から出力される。

以上のように、本実施形態に係る画像処理装置３０００および画像処理方法では、関心度推定に、明るさ対比量、色対比量、および周波数情報による鮮鋭程度量を用いるので、明るさのみならず色等の鮮やかさ、さらに、ぼけ程度に基づいて関心度を設定することができる。これにより、より人間の視覚特性に応じた関心度の設定ができる。
［第４実施形態］
図２７から図３０を用いて、本発明の第４実施形態として、消失点と関心度とに応じて画素における奥行き情報を推定し補正を行う画像処理方法及び画像処理装置について説明する。
図２７に、本発明の第４実施形態に係る画像処理装置４０００の構成を示す。図２９にこの第４実施形態である画像処理方法の処理フローチャートを示す。

図２８に、本実施形態における消失点推定判断部２００で判断に使用される画像特徴量ｖＧＣｍｎ（ｍ＝１，・・・，Ｍ、ｎ＝１，・・・，Ｎ）についての説明図を示す。ここで、ＭとＮは所定の正定数であり、Ｍは画像水平方向（ｘ方向）のブロック分割数を示し、Ｎは画像垂直方向（ｙ方向）のブロック分割数を示す。なお、例えば、ＨＤＴＶ形式の映像に対して、本発明の処理を行う場合、ブロックサイズを、１６画素×１６画素、３２画素×３２画素、６４画素×６４画素等に設定することが好ましい。
＜４．１：画像処理装置の構成＞
第４実施形態に係る画像処理装置４０００では、第１実施形態に係る画像処理装置１０００に比べて、消失点推定判断部２００と、消失点選択部２０１と、保持メモリ２０２と、切替部４０１とが加えられている点と、消失点推定部３が消失点推定部３’に置換されている点と、が異なる。

なお、本実施形態に係る画像処理装置４０００において、前述の実施形態と同様の部分については、同一の符号を付し、説明を省略する。
消失点推定判断部２００は、明るさ情報算出部１から出力される明るさ情報Ｋｉおよび保持メモリ２０２から出力される画像特徴量ｖＧＣｍｎを入力とし、明るさ情報Ｋｉから、画像処理装置４０００が現在処理対象としているフレーム画像（このフレーム画像を「現時刻ｔのフレーム画像」または「現フレーム画像」といい、「現時刻ｔのフレーム画像」のｐフレーム前の画像を「時刻ｔ−ｐのフレーム画像」という。）の画像内特徴量を取得する。そして、消失点推定判断部２００は、現時刻ｔのフレーム画像の画像内特徴量を、画像処理装置４０００が過去に処理したｐ個のフレーム画像（時刻（ｔ−ｐ）から（ｔ−１）のフレーム画像）における画像特徴量（この画像特徴量は保持メモリ２０２から出力される。）と、それぞれ、比較して、現フレーム画像の特徴量と似た特徴量をもつ過去に処理されたフレーム画像Ｎｍｉｎがあれば、その際に得られた消失点ｖＶＰｋ［Ｎｍｉｎ］を改めて時刻ｔ（現時刻）での消失点にするか否かを判定する。消失点推定判断部２００は、消失点ｖＶＰｋ［Ｎｍｉｎ］を時刻ｔ（現時刻）での消失点とすることを決定した場合、消失点選択部２０１に消失点ｖＶＰｋ［Ｎｍｉｎ］を選択させるための情報を出力するとともに、切替部４０１に対して、消失点選択部２０１から出力される消失点ｖＶＰｋが奥行き推定部４に入力されるように消失点切替信号を切替部４０１に出力する。また、この場合、消失点推定判断部２００は、消失点推定部３’に対して消失点推定処理禁止信号を出力し、消失点推定部３’にて、消失点推定処理が実行されないようにする。

また、消失点推定判断部２００は、時刻ｔ（現時刻）の画像特徴量ｖＧＣｍｎを保持メモリ２０２に出力する。
保持メモリ２０２には、各フレーム画像の画像内特徴量および消失点ｖＶＰｋの情報が記憶され、保持メモリ２０２は、それらの情報を保持し、消失点推定判断部２００または消失点選択部２０１からの要求に従い、消失点推定判断部２００または消失点選択部２０１に、保持メモリ２０２が保持している情報を出力する。
消失点選択部２０１は、消失点推定判断部２００から出力される、消失点ｖＶＰｋ［Ｎｍｉｎ］を選択させるための情報を入力とし、消失点ｖＶＰｋ［Ｎｍｉｎ］を選択させるための情報に基づいて、消失点ｖＶＰｋ［Ｎｍｉｎ］を切替部４０１に出力する。
切替部４０１は、消失点推定部３’からの出力と、消失点選択部２０１からの出力とのいずれか一方を奥行き推定部４に出力させるセレクタである。切替部４０１は、消失点推定判断部２００から出力される消失点切替制御信号に基づいて、消失点推定部３’からの出力と、消失点選択部２０１からの出力とのいずれか一方を奥行き推定部４に出力させるように切り替える。

消失点推定部３’は、消失点推定判断部２００から消失点推定処理禁止信号が出力された場合、消失点推定処理を行わない。この点以外は、前述の実施形態での消失点推定部３と同様である。
＜４．２：画像処理装置の動作＞
次に、図２７及び図２８を用いて、画像処理装置４０００の動作について説明する。
第１実施形態と同様に、画像処理装置４０００では、現時刻ｔのフレーム画像内の画素ｉ（ｘ，ｙ）における明るさ対比量ＲＫｉをもとに、関心度Ｓｉ［ｔ］が関心度推定部２により求められる。
そして、画像処理装置４０００では、次のようにして、この時刻ｔの消失点ｖＶＰｋを決定する。

まず、消失点推定判断部２００が、現フレーム画像（時刻ｔのフレーム画像）内において消失点推定部３’で消失点推定処理を実行させるか否かの判断をする。この判断を行うのは、
（１）外光による輪郭情報のゆらぎ等が原因とされる消失点情報のゆらぎを抑制すること、
（２）現フレームの消失点を過去に処理したフレームと画像特徴量が似たフレームＮｍｉｎの消失点で代用することでその推定時間を削減すること、
（３）そして、フレーム間のシーン変化による画像上の遠近感の矛盾を緩和すること、
を実現させるためである。この遠近感の矛盾（遠近感補正の違和感）が生じる例として、例えば（ｔ−１）時刻には前景であった画像上の物体Ａが、ｔ時刻のシーン変化で、急に後景になることで遠近感の矛盾（遠近感補正の違和感）が生じる場合が挙げられる。また、このような消失点情報のゆらぎや遠近感補正の違和感は、シーン変化のみならず、主眼となる物体（人間が視覚的に注目しやすい物体）の動き変化によっても生じる可能性がある。動画像に対して、第１から第３実施形態を適用させる場合、このような消失点情報のゆらぎや遠近感補正の違和感に対する対策が必要となる。

図２８に示すように、フレーム時刻ｔｔ＝ｔ−ｐにおけるフレーム［ｔ−ｐ］内の画像特徴量ｖＧＣｍｎ［ｔ−ｐ］＝（ＡＫｍｎ［ｔ−ｐ］）（ｍ＝１，・・・，Ｍ、ｎ＝１，・・・，Ｎ）からフレーム時刻ｔｔ＝ｔ−１におけるフレーム［ｔ−１］内の画像特徴量ｖＧＣｍｎ［ｔ−１］＝（ＡＫｍｎ［ｔ−１］）（ｍ＝１，・・・，Ｍ、ｎ＝１，・・・，Ｎ）が、保持メモリ２０２から読み出される。そして、消失点推定判断部２００により、現時刻ｔｔ＝ｔにおけるフレーム［ｔ］内の画像特徴量ｖＧＣｍｎ［ｔ］＝（ＡＫｍｎ［ｔ］）（ｍ＝１，・・・，Ｍ、ｎ＝１，・・・，Ｎ）と、次式を使ってフレームｔｔの評価関数Ｅｒｒ［ｔｔ］とが求められる。この評価関数Ｅｒｒ［ｔｔ］が最小となるフレームｔｔ＝Ｎｍｉｎと評価関数Ｅｒｒ［Ｎｍｉｎ］とを求め、評価関数Ｅｒｒ［Ｎｍｉｎ］の値が所定のしきい値ＴｈＥｒｒよりも小さい場合、過去フレームｔｔ＝Ｎｍｉｎにおける消失点情報ｖＶＰｋ［Ｎｍｉｎ］を、現時刻ｔにおけるフレーム画像の消失点ｖＶＰｋ［ｔ］＝ｖＶＰｋ［Ｎｍｉｎ］とする。

ここで、ＡＫｍｎ［ｔｔ］は時刻ｔｔにおけるフレーム画像内のブロックｍｎにおける平均明るさ情報を示す。
このように、細分化されたブロック内での平均明るさ情報をその画像の特徴量として、現フレーム画像の画像特徴量と過去のフレーム時刻の画像の画像特徴量と比較して、似た画像特徴量をもつフレームＮｍｉｎで使用した消失点情報を、現フレームでの消失点情報として用いることで、画像処理装置４０００において、動画像に対応した適切な奥行き処理が実行される。このように、過去に処理したフレームにおいて、その画像特徴量が現フレームの画像特徴量と似たフレームの消失点を、現フレームの消失点として採用することで、シーン変化による遠近感の矛盾（遠近感補正の違和感）の発生も緩和（抑制）することができる。つまり、画像処理装置４０００は、（ｔ−１）時刻には、画像上において前景であった物体Ａが、ｔ時刻のシーン変化で、急に後景になることで生じる奥行き補正の違和感を緩和することができる効果も持つ。また、画像処理装置４０００では、シーン変化のみならず、主眼となる物体の動き変化によっても生じる奥行き補正による違和感も同様に低減できる。

なお、ここでは、細分化されたブロック内での平均明るさ情報をフレーム時刻ｔｔにおける画像の画像特徴量としたが、関心度推定部２で関心度Ｓｉの推定に使用する明るさ対比量ＲＫｉ［ｔｔ］を用いて画像特徴量を求めるようにしてもよい。具体的には、細分化されたブロック内で、明るさ対比量ＲＫｉ［ｔｔ］の平均値を求め、その平均値である平均明るさ対比量ＡＲＫｍｎ［ｔｔ］を、画像特徴量とするようにしてもよい。このように関心度Ｓｉの推定に使用する明るさ対比量ＲＫｉ［ｔｔ］を画像特徴量の算出にも用いることで、画像処理装置４０００での処理量を削減することができる。
消失点推定判断部２００により、過去フレームｔｔ＝Ｎｍｉｎにおける消失点情報ｖＶＰｋ［Ｎｍｉｎ］を、現時刻ｔにおけるフレーム画像の消失点ｖＶＰｋ［ｔ］＝ｖＶＰｋ［Ｎｍｉｎ］とすることが決定された場合、消失点選択部２０１により、消失点ｖＶＰｋ［ｔ］＝ｖＶＰｋ［Ｎｍｉｎ］が切替部４０１に出力され、消失点推定判断部２００からの消失点切替制御信号により、消失点選択部２０１の出力が奥行き推定部４に入力されるようになり、奥行き推定部４での処理が実行される。また、このとき、消失点推定判断部２００から消失点推定処理禁止信号が、消失点推定部３’に出力され、消失点推定部３’では消失点推定処理が実行されない。

一方、消失点推定判断部２００で、過去フレームの消失点を用いないと判定された場合は、第１から第３実施形態と同様に、消失点推定部３’により、現フレーム画像内の消失点情報ｖＶＰｋが求められる。そして、消失点推定判断部２００からの消失点切替制御信号により、消失点推定部３’の出力が奥行き推定部４に入力されるよう切替部４０１が制御される。そして、前述の実施形態と同様の処理が奥行き推定部４で実行される。
こうして得られた消失点情報ｖＶＰｋと関心度Ｓｉとをもとに画素ｉ（ｘ，ｙ）の奥行き度ｆｂｉと補正ゲイン値Ｇｉとが奥行き推定部４により求められ、その補正ゲイン値Ｇｉをもとに、奥行き補正部５により入力画像信号ｖＩｉに対して奥行き補正処理が実施される。
以上のように、第４実施形態に係る画像処理装置４０００では、第１実施形態の明るさ対比により推定された関心度Ｓｉと消失点情報とによる奥行き補正効果に加えて、現フレーム画像（時刻ｔのフレーム画像）内の消失点を、現フレーム画像の画像特徴量と近い画像特徴量を持つ過去のフレーム画像（時刻ｔ−ｐからｔ−１のフレーム画像）の消失点情報で代用する。これにより、画像処理装置４０００では、環境光等による消失点抽出のゆらぎにより生じる奥行き補正の違和感や、画像上の物体の動きに起因する消失点変化により生じる奥行き補正の違和感を抑えることが可能となるとともに、処理量を削減することができる。

また、画像処理装置４０００において、消失点推定判断部２００で消失点推定を実施しないと判断された場合に、（ｔ−ｐ）フレーム時刻の消失点ｖＶＰｋ［ｔ−ｐ］から（ｔ−１）フレーム時刻の消失点ｖＶＰｋ［ｔ−１］の中から適切なフレーム画像Ｎｍｉｎの消失点ｖＶＰｋ［Ｎｍｉｎ］を選択する代わりに、図３０に示すように、消失点平滑化部３００で（ｔ−ｐ）フレーム時刻の消失点ｖＶＰｋ［ｔ−ｐ］から（ｔ−１）フレーム時刻の消失点までの合計ｐ個の消失点情報を平滑化した値を求め、その平滑化した値で、現フレーム画像の消失点情報を代用するようにしてもよい。この場合、単純に対応する消失点情報の平均をとることにより平滑化処理を行うようにしてもよいし、また、（数式２９）に示すように、フレーム時刻ｔｔにおける重み係数ｗｅｉｇｈｔ［ｔｔ］をガウス分布で制御した平滑化処理を行うようにしてもよい。画像処理装置４０００において、このように処理することで、１つの適切な消失点で、現フレーム画像の消失点を代用するよりも、消失点のちらつきによる弊害をより緩和することができる。

なお、（数式２９）で、ＤｅｌｔａＫは、所定の正定数であり、重み係数の分散程度を示す。この値が大きいほど、平滑化値に与える影響は、時間的に遠い過去フレームまで及ぶこととなり、小さいほど、平滑化値に与える影響は、近傍の（時間的に近い）過去フレームによるものだけになる。

［第５実施形態］
図３１から図３３を用いて、本発明の第５実施形態として、消失点と関心度とに応じて画素における奥行き情報を推定し補正を行う画像処理方法及び画像処理装置について説明する。
図３１に、本発明の第５実施形態に係る画像処理装置５０００の構成を示す。図３３にこの第５実施形態である画像処理方法の処理フローチャートを示す。
図３２は、本実施形態における高度消失点推定判断部２２０で判断に使用される画像特徴量ｖＧＣｍｎ（ｍ＝１，・・・，Ｍ、ｎ＝１，・・・，Ｎ）についての説明図を示す。ここで、ＭとＮは所定の正定数であり、Ｍは画像水平方向（ｘ方向）のブロック分割数を示し、Ｎは画像垂直方向（ｙ方向）のブロック分割数を示す。なお、例えば、ＨＤＴＶ形式の映像に対して、本発明の処理を行う場合、ブロックサイズを、１６画素×１６画素、３２画素×３２画素、６４画素×６４画素等に設定することが好ましい。

＜５．１：画像処理装置の構成＞
第５実施形態に係る画像処理装置５０００では、第２実施形態に係る画像処理装置２０００に比べて、高度消失点推定判断部２２０と、消失点選択部２０１と、保持メモリ２０２と、切替部４０１とが加えられている点と、消失点推定部３が消失点推定部３’に置換されている点と、が異なる。
なお、本実施形態に係る画像処理装置５０００において、前述の実施形態と同様の部分については、同一の符号を付し、説明を省略する。
高度消失点推定判断部２２０は、図３１に示すように、明るさ情報算出部１から出力される明るさ情報Ｋｉと色情報算出部１００から出力される色情報ｖＣｉと、保持メモリ２０２から出力される画像特徴量ｖＧＣｍｎとを入力とし、明るさ情報Ｋｉおよび色情報ｖＣｉから、現フレーム画像（現時刻ｔのフレーム画像）の画像内特徴量を取得する。そして、高度消失点推定判断部２２０は、現時刻ｔのフレーム画像の画像内特徴量を、画像処理装置５０００が過去に処理したｐ個のフレーム画像（時刻（ｔ−ｐ）から（ｔ−１）のフレーム画像）における画像特徴量（この画像特徴量は保持メモリ２０２から出力される。）と、それぞれ、比較して、現フレーム画像の特徴量と似た特徴量をもつ過去に処理されたフレーム画像Ｎｍｉｎがあれば、その際に得られた消失点ｖＶＰｋ［Ｎｍｉｎ］を改めて時刻ｔ（現時刻）での消失点にするか否かを判定する。高度消失点推定判断部２２０は、消失点ｖＶＰｋ［Ｎｍｉｎ］を時刻ｔ（現時刻）での消失点とすることを決定した場合、消失点選択部２０１に消失点ｖＶＰｋ［Ｎｍｉｎ］を選択させるための情報を出力するとともに、切替部４０１に対して、消失点選択部２０１から出力される消失点ｖＶＰｋが奥行き推定部４に入力されるように消失点切替信号を切替部４０１に出力する。また、この場合、高度消失点推定判断部２２０は、消失点推定部３’に対して消失点推定処理禁止信号を出力し、消失点推定部３’にて、消失点推定処理が実行されないようにする。

また、高度消失点推定判断部２２０は、時刻ｔ（現時刻）の画像特徴量ｖＧＣｍｎを保持メモリ２０２に出力する。
保持メモリ２０２には、各フレーム画像の画像内特徴量および消失点ｖＶＰｋの情報が記憶され、保持メモリ２０２は、それらの情報を保持し、高度消失点推定判断部２２０または消失点選択部２０１からの要求に従い、高度消失点推定判断部２２０または消失点選択部２０１に、保持メモリ２０２が保持している情報を出力する。
消失点選択部２０１は、高度消失点推定判断部２２０から出力される、消失点ｖＶＰｋ［Ｎｍｉｎ］を選択させるための情報を入力とし、消失点ｖＶＰｋ［Ｎｍｉｎ］を選択させるための情報に基づいて、消失点ｖＶＰｋ［Ｎｍｉｎ］を切替部４０１に出力する。
切替部４０１は、消失点推定部３’からの出力と、消失点選択部２０１からの出力とのいずれか一方を奥行き推定部４に出力させるセレクタである。切替部４０１は、高度消失点推定判断部２２０から出力される消失点切替制御信号に基づいて、消失点推定部３’からの出力と、消失点選択部２０１からの出力とのいずれか一方を奥行き推定部４に出力させるように切り替える。

消失点推定部３’は、高度消失点推定判断部２２０から消失点推定処理禁止信号が出力された場合、消失点推定処理を行わない。この点以外は、前述の実施形態での消失点推定部３と同様である。
＜５．２：画像処理装置の動作＞
次に、図３１およびお図３３を用いて、画像処理装置５０００の動作について説明する。
第２実施形態と同様に、画像処理装置５０００では、現時刻ｔのフレーム画像内の画素ｉ（ｘ，ｙ）における明るさ対比量ＲＫｉおよび色対比量ＲＣｉをもとに、関心度Ｓｉ［ｔ］が高度関心度推定部１０２により求められる。
そして、画像処理装置５０００では、次のようにして、この時刻ｔの消失点ｖＶＰｋを決定する。

第４実施形態と同様にまず、高度消失点推定判断部２２０が、現フレーム画像（時刻ｔのフレーム画像）内において消失点推定部３’で消失点推定処理を実行させるか否かの判断をする。この判断を行うのは、
（１）外光による輪郭情報のゆらぎ等が原因とされる消失点情報のゆらぎを抑制すること、
（２）現フレームの消失点を、過去に処理したフレーム画像と画像特徴量が似たフレームＮｍｉｎの消失点で代用することで、その推定時間を削減すること、
を実現させるためである。
図３２に示すように、フレーム時刻ｔｔ＝ｔ−ｐにおけるフレーム［ｔ−ｐ］内の画像特徴量ｖＧＣｍｎ［ｔ−ｐ］＝（ＡＫｍｎ［ｔ−ｐ］，ＡＶｍｎ［ｔ−ｐ］）（ｍ＝１，・・・，Ｍ、ｎ＝１，・・・，Ｎ）からフレーム時刻ｔｔ＝ｔ−１におけるフレーム［ｔ−１］内の画像特徴量ｖＧＣｍｎ［ｔ−１］＝（ＡＫｍｎ［ｔ−１］，ＡＶｍｎ［ｔ−１］）（ｍ＝１，・・・，Ｍ、ｎ＝１，・・・，Ｎ）が、保持メモリ２０２から読み出される。そして、高度消失点推定判断部２２０により、現時刻ｔｔ＝ｔにおけるフレーム［ｔ］内の画像特徴量ｖＧＣｍｎ［ｔ］＝（ＡＫｍｎ［ｔ］，ＡＶｍｎ［ｔ］）（ｍ＝１，・・・，Ｍ、ｎ＝１，・・・，Ｎ）と、次式を使ってフレームｔｔの評価関数Ｅｒｒ［ｔｔ］とが求められる。この評価関数Ｅｒｒ［ｔｔ］が最小となるフレームｔｔ＝Ｎｍｉｎと評価関数Ｅｒｒ［Ｎｍｉｎ］とを求め、評価関数Ｅｒｒ［Ｎｍｉｎ］の値が所定のしきい値ＴｈＥｒｒよりも小さい場合、過去フレームｔｔ＝Ｎｍｉｎにおける消失点情報ｖＶＰｋ［Ｎｍｉｎ］を、現時刻ｔにおけるフレーム画像の消失点ｖＶＰｋ［ｔ］＝ｖＶＰｋ［Ｎｍｉｎ］とする。

ここで、ＡＫｍｎ［ｔｔ］は時刻ｔｔにおけるフレーム画像内のブロックｍｎにおける平均明るさ情報を示し、ＡＶｍｎ［ｔｔ］は時刻ｔｔにおけるフレーム内のブロックｍｎにおける平均彩度情報を示す。上式において、ｗｋは平均明るさ成分の２乗誤差にかかる重み係数であり、ｗｖは平均彩度成分の２乗誤差にかかる重み係数である。
このように、細分化されたブロック内での平均明るさ情報および平均彩度情報を、現フレーム画像の画像特徴量として、過去のフレーム時刻の画像の画像特徴量と比較して、似た画像特徴量をもつフレームＮｍｉｎで使用した消失点情報を、現フレームでの消失点情報として用いることで、画像処理装置５０００において、上記（１）（２）の目的を達成することができる。特に、上記（１）に関連して、過去に処理したフレーム画像において、現フレーム画像の画像特徴量と似たフレーム画像の消失点で、現フレーム画像の消失点を代用することで、シーン変化による遠近感の矛盾も緩和できる。つまり、画像処理装置５０００では、（ｔ−１）時刻には、画像上で前景であった物体Ａが、ｔ時刻のシーン変化で、急に後景になることで生じる奥行き補正の違和感を緩和することもできる。このような消失点のゆらぎは、シーン変化のみならず、主眼となる物体の動き変化によっても生じる可能性がある。このような消失点のゆらぎが生じる可能性がある場合であっても、画像処理装置５０００では、奥行き補正による違和感を低減することができる。

なお、ここでは、細分化されたブロック内での平均明るさ情報および平均彩度情報を、フレーム時刻ｔｔにおける画像の画像特徴量としたが、高度関心度推定部１０２で関心度Ｓｉの推定に使用する明るさ対比量ＲＫｉ［ｔｔ］および色対比量ＲＣｉ［ｔｔ］を用いて画像特徴量を求めるようにしてもよい。具体的には、細分化されたブロック内で、明るさ対比量ＲＫｉ［ｔｔ］および色対比量ＲＣｉ［ｔｔ］のそれぞれの平均値を求め、その平均値である、平均明るさ対比量ＡＲＫｍｎ［ｔｔ］および平均色対比量ＡＲＣｍｎ［ｔｔ］］を、画像特徴量とするようにしてもよい。
高度消失点推定判断部２２０により、過去フレームｔｔ＝Ｎｍｉｎにおける消失点情報ｖＶＰｋ［Ｎｍｉｎ］を、現時刻ｔにおけるフレーム画像の消失点ｖＶＰｋ［ｔ］＝ｖＶＰｋ［Ｎｍｉｎ］とすることが決定された場合、消失点選択部２０１により、消失点ｖＶＰｋ［ｔ］＝ｖＶＰｋ［Ｎｍｉｎ］が切替部４０１に出力され、高度消失点推定判断部２２０からの消失点切替制御信号により、消失点選択部２０１の出力が奥行き推定部４に入力されるようになり、奥行き推定部４での処理が実行される。また、このとき、高度消失点推定判断部２２０から消失点推定処理禁止信号が、消失点推定部３’に出力され、消失点推定部３’では消失点推定処理が実行されない。

一方、高度消失点推定判断部２２０で、過去のフレーム画像の消失点を用いないと判定された場合は、第１から第３実施形態と同様に、消失点推定部３’により、現フレーム画像内の消失点情報ｖＶＰｋが求められる。そして、高度消失点推定判断部２２０からの消失点切替制御信号により、消失点推定部３’の出力が奥行き推定部４に入力されるよう切替部４０１が制御される。そして、前述の実施形態と同様の処理が奥行き推定部４で実行される。
こうして得られた消失点情報ｖＶＰｋと関心度Ｓｉとをもとに画素ｉ（ｘ，ｙ）の奥行き度ｆｂｉと補正ゲイン値Ｇｉとが奥行き推定部４により求められ、その補正ゲイン値Ｇｉをもとに、奥行き補正部５により入力画像信号ｖＩｉに対して奥行き補正処理が実施される。

以上のように、第５実施形態に係る画像処理装置５０００では、第２実施形態の明るさ対比および色対比により推定された関心度Ｓｉと消失点情報とによる奥行き補正効果に加えて、現時刻ｔのフレーム画像（現フレーム画像）内の消失点を、現フレーム画像の画像特徴量と近い画像特徴量を持つ過去フレーム画像（時刻ｔ−ｐからｔ−１のフレーム画像）の消失点情報で代用する。これにより、画像処理装置５０００では、環境光等による消失点抽出のゆらぎにより生じる奥行き補正の違和感や、画像上の物体の動きに起因する消失点変化による奥行き補正の違和感を抑えることが可能となるとともに、処理量を削減することができる。
なお、図３２では平均彩度ＡＶｍｎ［ｔｔ］を用いたが、平均色相ＡＨｍｎ［ｔｔ］であってもよいし、色差の平均を用いてもよい。

また、画像処理装置５０００において、高度消失点推定判断部２２０で消失点推定を実施しないと判断された場合に、（ｔ−ｐ）フレーム時刻の消失点ｖＶＰｋ［ｔ−ｐ］から（ｔ−１）フレーム時刻の消失点ｖＶＰｋ［ｔ−１］の中から適切なフレーム画像Ｎｍｉｎの消失点ｖＶＰｋ［Ｎｍｉｎ］を選択する代わりに、図３４に示すように、消失点平滑化部３００で（ｔ−ｐ）フレーム時刻の消失点ｖＶＰｋ［ｔ−ｐ］から（ｔ−１）フレーム時刻の消失点までの合計ｐ個の消失点情報を平滑化した値を求め、その平滑化した値で、現フレーム画像の消失点情報を代用するようにしてもよい。この場合、単純に対応する消失点情報の平均をとることにより平滑化処理を行うようにしてもよいし、また、前述の実施形態と同様に、フレーム時刻ｔｔにおける重み係数ｗｅｉｇｈｔ［ｔｔ］をガウス分布で制御した平滑化処理を行うようにしてもよい。画像処理装置５０００において、このように処理することで、１つの適切な消失点で、現フレーム画像の消失点を代用するよりも、消失点のちらつきによる弊害をより緩和することができる。

［第６実施形態］
図３５から図３７を用いて、本発明の第６実施形態として、消失点と関心度とに応じて画素における奥行き情報を推定し補正を行う画像処理方法及び画像処理装置について説明する。
図３５に、本発明の第６実施形態に係る画像処理装置６０００の構成を示す。図３７にこの第６実施形態である画像処理方法の処理フローチャートを示す。
また、図３６は、本実施形態における拡張消失点推定判断部２４０で判断に使用される画像特徴量ｖＧＣｍｎ（ｍ＝１，・・・，Ｍ、ｎ＝１，・・・，Ｎ）についての説明図を示す。ここで、ＭとＮは所定の正定数であり、Ｍは画像水平方向（ｘ方向）のブロック分割数を示し、Ｎは画像垂直方向（ｙ方向）のブロック分割数を示す。なお、例えば、ＨＤＴＶ形式の映像に対して、本発明の処理を行う場合、ブロックサイズを、１６画素×１６画素、３２画素×３２画素、６４画素×６４画素等に設定することが好ましい。

＜６．１：画像処理装置の構成＞
第６実施形態に係る画像処理装置６０００では、第３実施形態に係る画像処理装置３０００に比べて、拡張消失点推定判断部２４０と、消失点選択部２０１、保持メモリ２０２と、切替部４０１とが加えられている点と、消失点推定部３が消失点推定部３’に置換されている点と、が異なる。
なお、本実施形態に係る画像処理装置６０００において、前述の実施形態と同様の部分については、同一の符号を付し、説明を省略する。
拡張消失点推定判断部２４０は、図３５に示すように、明るさ情報算出部１から出力される明るさ情報Ｋｉと色情報算出部１００から出力される色情報ｖＣｉと周波数成分算出部１４０から出力される周波数情報ｖＦｍｎと保持メモリ２０２から出力される画像特徴量ｖＧＣｍｎとを入力とし、明るさ情報Ｋｉ、色情報ｖＣｉおよび周波数情報ｖＦｍｎから、現フレーム画像（現時刻ｔのフレーム画像）の画像内特徴量を取得する。そして、拡張消失点推定判断部２４０は、現時刻ｔのフレーム画像の画像内特徴量を、画像処理装置６０００が過去に処理したｐ個のフレーム画像（時刻（ｔ−ｐ）から（ｔ−１）のフレーム画像）における画像特徴量（この画像特徴量は保持メモリ２０２から出力される。）と、それぞれ、比較して、現フレーム画像の特徴量と似た特徴量をもつ過去に処理されたフレーム画像Ｎｍｉｎがあれば、その際に得られた消失点ｖＶＰｋ［Ｎｍｉｎ］を改めて時刻ｔ（現時刻）での消失点にするか否かを判定する。拡張消失点推定判断部２４０は、消失点ｖＶＰｋ［Ｎｍｉｎ］を時刻ｔ（現時刻）での消失点とすることを決定した場合、消失点選択部２０１に消失点ｖＶＰｋ［Ｎｍｉｎ］を選択させるための情報を出力するとともに、切替部４０１に対して、消失点選択部２０１から出力される消失点ｖＶＰｋが奥行き推定部４に入力されるように消失点切替信号を切替部４０１に出力する。また、この場合、拡張消失点推定判断部２４０は、消失点推定部３’に対して消失点推定処理禁止信号を出力し、消失点推定部３’にて、消失点推定処理が実行されないようにする。

また、拡張消失点推定判断部２４０は、時刻ｔ（現時刻）の画像特徴量ｖＧＣｍｎを保持メモリ２０２に出力する。
保持メモリ２０２には、各フレーム画像の画像内特徴量および消失点ｖＶＰｋの情報が記憶され、保持メモリ２０２は、それらの情報を保持し、拡張消失点推定判断部２４０または消失点選択部２０１からの要求に従い、拡張消失点推定判断部２４０または消失点選択部２０１に、保持メモリ２０２が保持している情報を出力する。
消失点選択部２０１は、拡張消失点推定判断部２４０から出力される、消失点ｖＶＰｋ［Ｎｍｉｎ］を選択させるための情報を入力とし、消失点ｖＶＰｋ［Ｎｍｉｎ］を選択させるための情報に基づいて、消失点ｖＶＰｋ［Ｎｍｉｎ］を切替部４０１に出力する。
切替部４０１は、消失点推定部３’からの出力と、消失点選択部２０１からの出力とのいずれか一方を奥行き推定部４に出力させるセレクタである。切替部４０１は、高度消失点推定判断部２２０から出力される消失点切替制御信号に基づいて、消失点推定部３’からの出力と、消失点選択部２０１からの出力とのいずれか一方を奥行き推定部４に出力させるように切り替える。

消失点推定部３’は、高度消失点推定判断部２２０から消失点推定処理禁止信号が出力された場合、消失点推定処理を行わない。この点以外は、前述の実施形態での消失点推定部３と同様である。
＜６．２：画像処理装置の動作＞
次に、図３５および図３６を用いて、画像処理装置６０００の動作について説明する。
第３実施形態と同様に、画像処理装置６０００では、現時刻ｔのフレーム画像内の画素ｉ（ｘ，ｙ）における明るさ対比量ＲＫｉ、色対比量ＲＣｉ、および周波数情報ｖＦｍｎ（＝ｖＦｉ）をもとに、関心度Ｓｉ［ｔ］が拡張関心度推定部１４２により求められる。
そして、画像処理装置６０００では、次のようにして、この時刻ｔの消失点ｖＶＰｋを決定する。

第４実施形態と同様にまず、拡張消失点推定判断部２４０が、現フレーム画像（時刻ｔのフレーム画像）内において消失点推定部３で消失点推定処理を実行させるか否かの判断をする。
図３６に示すように、フレーム時刻ｔｔ＝ｔ−ｐにおけるフレーム［ｔ−ｐ］内の画像特徴量ｖＧＣｍｎ［ｔ−ｐ］＝（ＡＫｍｎ［ｔ−ｐ］，ＡＶｍｎ［ｔ−ｐ］，ＡＦｍｎ［ｔ−ｐ］）（ｍ＝１，・・・，Ｍ、ｎ＝１，・・・，Ｎ）からフレーム時刻ｔｔ＝ｔ−１におけるフレーム［ｔ−１］内の画像特徴量ｖＧＣｍｎ［ｔ−１］＝（ＡＫｍｎ［ｔ−１］，ＡＶｍｎ［ｔ−１］，ＡＦｍｎ［ｔ−１］）（ｍ＝１，・・・，Ｍ、ｎ＝１，・・・，Ｎ）が、保持メモリ２０２から読み出される。そして、拡張消失点推定判断部２４０により、現時刻ｔｔ＝ｔにおけるフレーム［ｔ］内の画像特徴量ｖＧＣｍｎ［ｔ］＝（ＡＫｍｎ［ｔ］，ＡＶｍｎ［ｔ］，ＡＦｍｎ［ｔ］）（ｍ＝１，・・・，Ｍ、ｎ＝１，・・・，Ｎ）と、次式を使ってフレームｔｔの評価関数Ｅｒｒ［ｔｔ］とが求められる。この評価関数Ｅｒｒ［ｔｔ］が最小となるフレームｔｔ＝Ｎｍｉｎと評価関数Ｅｒｒ［Ｎｍｉｎ］とを求め、評価関数Ｅｒｒ［Ｎｍｉｎ］の値が所定のしきい値ＴｈＥｒｒよりも小さい場合、過去フレームｔｔ＝Ｎｍｉｎにおける消失点情報ｖＶＰｋ［Ｎｍｉｎ］を、現時刻ｔにおけるフレーム画像の消失点ｖＶＰｋ［ｔ］＝ｖＶＰｋ［Ｎｍｉｎ］とする。

ここで、ＡＫｍｎ［ｔｔ］は時刻ｔｔにおけるフレーム画像内のブロックｍｎにおける平均明るさ情報を示し、ＡＶｍｎ［ｔｔ］は時刻ｔｔにおけるフレーム内のブロックｍｎにおける平均彩度情報を示す。また、ＡＦｍｎ［ｔｔ］は、時刻ｔｔにおけるフレーム内のブロックｍｎに対して、所定のしきい値周波数ＴｈＦｅｑより高い周波数成分（高周波成分）の平均値を示す。また、上式において、ｗｋは平均明るさ成分の２乗誤差にかかる重み係数であり、ｗｖは平均彩度成分の２乗誤差にかかる重み係数であり、ｗｆは平均周波数成分の２乗誤差にかかる重み係数である。ここで示されたブロックは、第３実施形態で説明した周波数情報であるＤＣＴ係数算出のブロックと同じものであってもよいし、また、保持メモリ削減を考慮して、より大きなサイズのブロックを用いてもよい。ただし、第３実施形態でのＤＣＴ係数算出とのブロックサイズが異なる場合、周波数成分算出部１４０では、２つのブロックサイズでのＤＣＴ係数（つまり周波数情報ｖＦｍｎ）を用意する必要がある。

このように、細分化されたブロック内での平均明るさ情報、平均彩度情報、平均高周波成分（高周波成分の平均周波数情報）を、現フレーム画像の画像特徴量として、過去のフレーム時刻の画像の画像特徴量と比較して、似た画像特徴量をもつフレームＮｍｉｎで使用した消失点情報を、現フレーム画像での消失点情報として用いることで、画像処理装置６０００において、上記（１）（２）の目的を達成することができる。特に、（１）に関連して、過去に処理したフレーム画像の画像特徴量と似たフレーム画像の消失点で、現フレーム画像の消失点を代用することで、シーン変化による遠近感の矛盾も緩和できる。つまり、画像処理装置６０００では、（ｔ−１）時刻には、画像上で前景であった物体Ａが、ｔ時刻のシーン変化で、急に後景になることで生じる奥行き補正の違和感を緩和することもできる。このような消失点のゆらぎは、シーン変化のみならず、主眼となる物体の動き変化によっても生じる可能性がある。このような消失点のゆらぎが生じる可能性がある場合であっても、画像処理装置６０００では、奥行き補正による違和感を低減することができる。

なお、ここでは、細分化されたブロック内での平均明るさ情報、平均彩度情報、および平均高周波成分（高周波成分の平均周波数情報）を、フレーム時刻ｔｔにおける画像の画像特徴量としたが、拡張関心度推定部１４２で関心度Ｓｉの推定に使用する明るさ対比量ＲＫｉ［ｔｔ］および色対比量ＲＣｉ［ｔｔ］を用いて画像特徴量を求めるようにしてもよい。具体的には、細分化されたブロック内で、明るさ対比量ＲＫｉ［ｔｔ］および色対比量ＲＣｉ［ｔｔ］のそれぞれの平均値を求め、その平均値である平均明るさ対比量ＡＲＫｍｎ［ｔｔ］および平均色対比量ＡＲＣｍｎ［ｔｔ］と、鮮鋭程度量ＲＢｉ［ｔｔ］とを、画像特徴量とするようにしてもよい。
拡張消失点推定判断部２４０により、過去フレームｔｔ＝Ｎｍｉｎにおける消失点情報ｖＶＰｋ［Ｎｍｉｎ］を、現時刻ｔにおけるフレーム画像の消失点ｖＶＰｋ［ｔ］＝ｖＶＰｋ［Ｎｍｉｎ］とすることが決定された場合、消失点選択部２０１により、消失点ｖＶＰｋ［ｔ］＝ｖＶＰｋ［Ｎｍｉｎ］が切替部４０１に出力され、拡張消失点推定判断部２４０からの消失点切替制御信号により、消失点選択部２０１の出力が奥行き推定部４に入力されるようになり、奥行き推定部４での処理が実行される。また、このとき、拡張消失点推定判断部２４０から消失点推定処理禁止信号が、消失点推定部３’に出力され、消失点推定部３’では消失点推定処理が実行されない。

一方、拡張消失点推定判断部２４０で、過去のフレーム画像の消失点を用いないと判定された場合は、第１から第３実施形態と同様に、消失点推定部３’により、現フレーム画像内の消失点情報ｖＶＰｋが求められる。そして、拡張消失点推定判断部２４０からの消失点切替制御信号により、消失点推定部３’の出力が奥行き推定部４に入力されるよう切替部４０１が制御される。そして、前述の実施形態と同様の処理が奥行き推定部４で実行される。
こうして得られた消失点情報ｖＶＰｋと関心度Ｓｉとをもとに画素ｉ（ｘ，ｙ）の奥行き度ｆｂｉと補正ゲイン値Ｇｉとが奥行き推定部４により求められ、その補正ゲイン値Ｇｉをもとに、奥行き補正部５により入力画像信号ｖＩｉに対して奥行き補正処理が実施される。

以上のように、第６実施形態に係る画像処理装置６０００では、第３実施形態の明るさ対比、色対比、および高周波数成分によるぼけ程度により推定された関心度Ｓｉと消失点情報とによる奥行き補正効果に加えて、現時刻ｔのフレーム画像（現フレーム画像）内の消失点を、現フレーム画像の画像特徴量と近い画像特徴量を持つ過去フレーム画像（過去フレーム時刻ｔ−ｐからｔ−１のフレーム画像）の消失点情報で代用する。これにより、画像処理装置６０００では、環境光等による消失点抽出のゆらぎにより生じる奥行き補正の違和感や、画像上の物体の動きに起因する消失点変化による奥行き補正の違和感を抑えることが可能となるとともに、処理量を削減することができる。
なお、図３６では平均彩度ＡＶｍｎ［ｔｔ］を用いたが、平均色相ＡＨｍｎ［ｔｔ］であってもよいし、色差の平均を用いてもよい。

また、画像処理装置６０００において、拡張消失点推定判断部２４０で消失点推定を実施しないと判断された場合に、（ｔ−ｐ）フレーム時刻の消失点ｖＶＰｋ［ｔ−ｐ］から（ｔ−１）フレーム時刻の消失点ｖＶＰｋ［ｔ−１］の中から適切なフレーム画像Ｎｍｉｎの消失点ｖＶＰｋ［Ｎｍｉｎ］を選択する代わりに、図３８に示すように、消失点平滑化部３００で（ｔ−ｐ）フレーム時刻の消失点ｖＶＰｋ［ｔ−ｐ］から（ｔ−１）フレーム時刻の消失点までの合計ｐ個の消失点情報を平滑化した値を求め、その平滑化した値で、現フレーム画像の消失点情報を代用するようにしてもよい。この場合、単純に対応する消失点情報の平均をとることにより平滑化処理を行うようにしてもよいし、また、前述の実施形態と同様に、フレーム時刻ｔｔにおける重み係数ｗｅｉｇｈｔ［ｔｔ］をガウス分布で制御した平滑化処理を行うようにしてもよい。画像処理装置６０００において、このように処理することで、１つの適切な消失点で、現フレーム画像の消失点を代用するよりも、消失点のちらつきによる弊害をより緩和することができる。

［第７実施形態］
図３９から図４０を用いて、本発明の第７実施形態として、消失点と関心度とに応じて画素における奥行き情報を推定し補正を行う画像処理方法及び画像処理装置について説明する。
図３９に、本発明の第７実施形態に係る画像処理装置７０００の構成を示す。
図４０に、この第７実施形態である画像処理方法の処理フローチャートを示す。
＜７．１：画像処理装置の構成＞
図３９および図４０に示すように、第7実施形態に係る画像処理装置７０００では、第１実施形態に係る画像処理装置１０００に比べて、消失点平滑化部３００および保持メモリ２０２が加えられている点が異なる。

なお、本実施形態に係る画像処理装置７０００において、前述の実施形態と同様の部分については、同一の符号を付し、説明を省略する。
＜７．２：画像処理装置の動作＞
次に、画像処理装置７０００の動作について説明する。
第１実施形態と同様に、画像処理装置７０００では、画素ｉ（ｘ，ｙ）のおける明るさ対比量ＲＫｉをもとに、関心度Ｓｉ［ｔ］が関心度推定部２により求められる。
一方、消失点推定部３により、現フレーム画像（時刻ｔのフレーム画像）内の消失点情報ｖＶＰｋ［ｔ］が求められる。この後、現フレーム時刻ｔよりｐフレーム時刻前の（ｔ−ｐ）における消失点情報ｖＶＰｋ［ｔ−ｐ］から（ｔ−１）時刻における消失点情報ｖＶＰｋ［ｔ−１］の合計ｐ個のフレーム画像を使って、フレーム時刻ｔにおける消失点情報ｖＶＰｋ［ｔ］の平滑化処理が実施される。この場合、単純に（ｔ−ｐ）からｔまでの消失点情報ｖＶＰｋ［ｍｍ］（ｍｍ＝ｔ−ｐ，・・・，ｔ）の各成分の平均化処理により平滑化処理を実現するようにしてもよいが、ここでは、（数式３２）を用いた処理による平滑化処理を実行することとする。

この式でｗｅｉｇｈｔ［ｔｔ］は平滑化対象フレームｔｔ（ｔｔ＝ｔ−ｐ，・・・，ｔ）の消失点にかかる重み係数であり、時刻ｔを中心としたガウス分布となる。また、ＤｅｌＫｅｉｓｕは、その際の分散程度を示す所定の正定数である。
画像処理装置７０００において、このように処理することで、外光による輪郭情報のゆらぎ等が原因とされる消失点情報のゆらぎを抑制できるとともに、フレームシーン変化による遠近感の矛盾（奥行き補正の違和感）を緩和することができる。つまり、画像処理装置７０００では、（ｔ−１）時刻には、画像上で前景であった物体Ａが、ｔ時刻のシーン変化で、急に後景になることで生じる奥行き補正の違和感を緩和することもできる。このような消失点のゆらぎは、シーン変化のみならず、主眼となる物体の動き変化によっても生じる可能性がある。このような消失点のゆらぎが生じる可能性がある場合であっても、画像処理装置７０００では、奥行き補正による違和感を低減することができる。

なお、ここでは、過去の（ｔ−ｐ）フレーム時刻からｔフレーム時刻での消失点情報を平滑化処理して求めた消失点情報を、現フレーム画像の消失点情報とすることとしたが、過去（ｔ−ｐ）フレームから現時刻ｔを中心に（ｔ＋ｐ）フレーム時刻までの消失点情報ｖＶＰｋ［ｍｍ］（ｍｍ＝ｔ−ｐ・・・ｔ，・・・，ｔ＋ｐ）を平滑化処理して求めた消失点情報を、時刻ｔの消失点情報とするようにしてもよい。ただし、この場合、奥行き補正処理において、遅延が発生する。
さらに、各フレーム時刻における消失点は１つでなくともよい。各フレーム時刻における消失点数ＮＮ［ｔ］が同じ場合、その分（消失点の数）だけ平滑化処理を実施することとなる（例えば、消失点の数がｎ個の場合、ｎ個の消失点のそれぞれについて平滑化処理が実行される）。一方、各フレーム時刻内での消失点数ＮＮ［ｔ］が異なる場合、現時刻ｔにおける消失点ｖＶＰｋ［ｔ］（ｋ＝１，・・・，ＮＮ［ｔ］）をもとに、平滑化対象フレームｔｔ＝ｔ−ｐ，・・・，ｔ−１内の消失点ｖＶＰｓ［ｔｔ］（ｓ＝１，・・・，ＮＮ［ｔｔ］）の中でｖＶＰｋ［ｔ］に距離（各フレーム画像の2次元座標上の距離）が近い候補を選択して実行をすればよい。その際、ｖＶＰｋ［ｔ］からの距離が所定の値より小さい消失点情報がフレームｔｔ＝ｔ−ｐ，・・・，ｔ−１内にない場合は、そのフレーム画像（時刻ｔｔのフレーム画像）の消失点情報を平滑化処理の対象から外すような処理を行うようにすればよい。

画像処理装置７０００では、このようにして得られた平滑化処理後の消失点情報ｖＶＰｋと関心度Ｓｉとをもとに画素ｉ（ｘ，ｙ）の奥行き度ｆｂｉと補正ゲイン値Ｇｉとが奥行き推定部４により求められ、その補正ゲイン値Ｇｉをもとに奥行き補正部５により入力画像信号ｖＩｉに対して奥行き補正処理が実施される。
以上のように、第７実施形態に係る画像処理装置７０００では、第１実施形態の明るさ対比により推定された関心度Ｓｉと消失点情報とによる奥行き補正効果に加えて、過去の時刻ｔ−ｐからｔ−１のフレーム画像の消失点情報の平滑化処理を行い、改めて現時刻ｔの消失点情報を求める。これにより、画像処理装置７０００では、環境光等による消失点抽出のゆらぎにより生じる奥行き補正の違和感や、画像上の物体の動きに起因する消失点変化による奥行き補正の違和感を抑えることが可能となる。

［第８実施形態］
図４１および図４２を用いて、本発明の第８実施形態として、消失点と関心度とに応じて画素における奥行き情報を推定し補正を行う画像処理方法及び画像処理装置について説明する。
図４１に、本発明の第８実施形態に係る画像処理装置８０００の構成を示す。図４２にこの第８実施形態である画像処理方法の処理フローチャートを示す。
＜８．１：画像処理装置の構成＞
図４１および図４２に示すように、第8実施形態に係る画像処理装置８０００では、第２実施形態の画像処理装置２０００に比べて、消失点平滑化部３００および保持メモリ２０２が加えられている点が異なる。

なお、本実施形態に係る画像処理装置８０００において、前述の実施形態と同様の部分については、同一の符号を付し、説明を省略する。
＜８．２：画像処理装置の動作＞
次に、画像処理装置８０００の動作について説明する。
第２実施形態と同様に、画像処理装置８０００では、画素ｉ（ｘ，ｙ）のおける明るさ対比量ＲＫｉおよび色対比量ＲＣｉをもとに、関心度Ｓｉ［ｔ］が高度関心度推定部１０２により求められる。
一方、消失点推定部３により、現フレーム画像（時刻ｔのフレーム画像）内の消失点情報ｖＶＰｋ［ｔ］が求められる。この後、現フレーム時刻ｔよりｐフレーム時刻前の（ｔ−ｐ）における消失点情報ｖＶＰｋ［ｔ−ｐ］から（ｔ−１）時刻における消失点情報ｖＶＰｋ［ｔ−１］の合計ｐ個のフレーム画像を使って、フレーム時刻ｔにおける消失点情報ｖＶＰｋ［ｔ］の平滑化処理が実施される。この場合、単純に（ｔ−ｐ）からｔまでの消失点情報ｖＶＰｋ［ｍｍ］（ｍｍ＝ｔ−ｐ，・・・，ｔ）の各成分を平均化処理により平滑化処理を実現するようにしてもよいが、ここでは、第７実施形態と同様に、各フレーム時刻ｔｔ（ｔｔ＝ｔ−ｐ，・・・，ｔ−１，ｔ）における重み係数を（数式３２）により制御することで平滑化処理を実行させる。

画像処理装置８０００では、このように処理することで、外光による輪郭情報のゆらぎ等が原因とされる消失点情報のゆらぎを抑制できるとともに、フレームシーン変化による遠近感の矛盾を緩和することができる。つまり、画像処理装置８０００では、（ｔ−１）時刻には、画像上で前景であった物体Ａが、ｔ時刻のシーン変化で、急に後景になることで生じる奥行き補正の違和感を緩和することができる。
なお、ここでは、過去（ｔ−ｐ）フレーム時刻からｔフレーム時刻での消失点情報を平滑化することとしたが、過去の（ｔ−ｐ）フレームから現時刻ｔを中心に（ｔ＋ｐ）フレーム時刻までの消失点情報ｖＶＰｋ［ｍｍ］（ｍｍ＝ｔ−ｐ，・・・ｔ，・・・，ｔ＋ｐ）を平滑化処理して求めた消失点情報を、時刻ｔの消失点情報とするようにしてもよい。ただし、この場合、奥行き補正処理において、遅延が発生する。

さらに、各フレーム時刻における消失点は１つでなくともよい。各フレーム時刻における消失点数ＮＮ［ｔ］が同じ場合、その分（消失点の数）だけ平滑化処理を実施することとなる（例えば、消失点の数がｎ個の場合、ｎ個の消失点のそれぞれについて平滑化処理が実行される）。一方、各フレーム時刻内での消失点数ＮＮ［ｔ］が異なる場合、現時刻ｔにおける消失点ｖＶＰｋ［ｔ］（ｋ＝１，・・・，ＮＮ［ｔ］）をもとに、平滑化対象フレームｔｔ＝ｔ−ｐ，・・・，ｔ−１内の消失点ｖＶＰｓ［ｔｔ］（ｓ＝１，・・・，ＮＮ［ｔｔ］）の中でｖＶＰｋ［ｔ］に距離（各フレーム画像の2次元座標上の距離）が近い候補を選択して実行をすればよい。その際、ｖＶＰｋ［ｔ］からの距離が所定の値より小さい消失点情報がフレームｔｔ＝ｔ−ｐ，・・・，ｔ−１内にない場合は、そのフレーム画像（時刻ｔｔのフレーム画像）の消失点情報を平滑化処理の対象から外すような処理を行うようにすればよい。

画像処理装置８０００では、このようにして得られた平滑化処理後の消失点情報ｖＶＰｋと関心度Ｓｉとをもとに画素ｉ（ｘ，ｙ）の奥行き度ｆｂｉと補正ゲイン値Ｇｉとが奥行き推定部４により求められ、その補正ゲイン値Ｇｉをもとに奥行き補正部５により入力画像信号ｖＩｉに対して奥行き補正処理が実施される。
以上のように、第８実施形態に係る画像処理装置８０００では、第２実施形態の明るさ対比・色対比により精度よく推定された関心度Ｓｉによる効果に加えて、第７実施形態における過去のフレーム時刻の消失点との平滑化処理による消失点情報のゆらぎを抑える効果を実現させることが可能となる。
［第９実施形態］
図４３および図４４を用いて、本発明の第９実施形態として、消失点と関心度とに応じて画素における奥行き情報を推定し補正を行う画像処理方法及び画像処理装置について説明する。

図４３に、本発明の第９実施形態に係る画像処理装置９０００の構成を示す。図４４にこの第９実施形態である画像処理方法の処理フローチャートを示す。
＜９．１：画像処理装置の構成＞
図４３および図４４に示すように、第９実施形態に係る画像処理装置９０００では、第３実施形態の画像処理装置３０００に比べて、消失点平滑化部３００および保持メモリ２０２が加えられている点が異なる。
なお、本実施形態に係る画像処理装置９０００において、前述の実施形態と同様の部分については、同一の符号を付し、説明を省略する。
＜９．２：画像処理装置の動作＞
次に、画像処理装置９０００の動作について説明する。

第３実施形態と同様に、画像処理装置９０００では、画素ｉ（ｘ，ｙ）のおける明るさ対比量ＲＫｉ、色対比量ＲＣｉ、および周波数情報より得られる鮮鋭程度量ＲＢｉをもとに、関心度Ｓｉ［ｔ］が拡張関心度推定部１４２により求められる。
一方、消失点推定部３により、現フレーム画像（時刻ｔのフレーム画像）内の消失点情報ｖＶＰｋ［ｔ］が求められる。この後、現フレーム時刻ｔよりｐフレーム時刻前の（ｔ−ｐ）における消失点情報ｖＶＰｋ［ｔ−ｐ］から（ｔ−１）時刻における消失点情報ｖＶＰｋ［ｔ−１］の合計ｐ個のフレーム画像を使って、フレーム時刻ｔにおける消失点情報ｖＶＰｋ［ｔ］の平滑化処理が実施される。この場合、単純に（ｔ−ｐ）からｔまでの消失点情報ｖＶＰｋ［ｍｍ］（ｍｍ＝ｔ−ｐ，・・・，ｔ）の各成分を平均化処理により平滑化処理を実現するようにしてもよいが、ここでは、第７実施形態と同様に、各フレーム時刻ｔｔ（ｔｔ＝ｔ−ｐ，・・・，ｔ−１，ｔ）における重み係数を（数式３２）により制御することで平滑化処理を実行させる。

画像処理装置９０００では、このように処理することで、外光による輪郭情報のゆらぎ等が原因とされる消失点情報のゆらぎを抑制できるとともに、フレームシーン変化による遠近感の矛盾を緩和することができる。つまり、画像処理装置９０００では、（ｔ−１）時刻には、画像上で前景であった物体Ａが、ｔ時刻のシーン変化で、急に後景になることで生じる奥行き補正の違和感を緩和することができる。
なお、ここでは、過去（ｔ−ｐ）フレーム時刻からｔフレーム時刻での消失点情報を平滑化することとしたが、過去の（ｔ−ｐ）フレームから現時刻ｔを中心に（ｔ＋ｐ）フレーム時刻までの消失点情報ｖＶＰｋ［ｍｍ］（ｍｍ＝ｔ−ｐ，・・・ｔ，・・・，ｔ＋ｐ）を平滑化処理して求めた消失点情報を、時刻ｔの消失点情報とするようにしてもよい。ただし、この場合、奥行き補正処理において遅延が発生する。

さらに、各フレーム時刻における消失点は１つでなくともよい。各フレーム時刻における消失点数ＮＮ［ｔ］が同じ場合、その分（消失点の数）だけ平滑化処理を実施することとなる（例えば、消失点の数がｎ個の場合、ｎ個の消失点のそれぞれについて平滑化処理が実行される）。一方、各フレーム時刻内での消失点数ＮＮ［ｔ］が異なる場合、現時刻ｔにおける消失点ｖＶＰｋ［ｔ］（ｋ＝１，・・・，ＮＮ［ｔ］）をもとに、平滑化対象フレームｔｔ＝ｔ−ｐ，・・・，ｔ−１内の消失点ｖＶＰｓ［ｔｔ］（ｓ＝１，・・・，ＮＮ［ｔｔ］）の中でｖＶＰｋ［ｔ］に距離（各フレーム画像の2次元座標上の距離）が近い候補を選択して実行をすればよい。その際、ｖＶＰｋ［ｔ］からの距離が所定の値より小さい消失点情報がフレームｔｔ＝ｔ−ｐ，・・・，ｔ−１内にない場合は、そのフレーム画像（時刻ｔｔのフレーム画像）の消失点情報を平滑化処理の対象から外すような処理を行うようにすればよい。

画像処理装置９０００では、このようにして得られた平滑化処理後の消失点情報ｖＶＰｋと関心度Ｓｉとをもとに画素ｉ（ｘ，ｙ）の奥行き度ｆｂｉと補正ゲイン値Ｇｉとが奥行き推定部４により求められ、その補正ゲイン値Ｇｉをもとに奥行き補正部５により入力画像信号ｖＩｉに対して奥行き補正処理が実施される。
以上のように、第９実施形態に係る画像処理装置９０００では、第３実施形態の明るさ対比・色対比・ぼけ程度により精度よく推定された関心度Ｓｉによる効果に加えて、第７実施形態における過去のフレーム時刻の消失点との平滑化処理による消失点情報のゆらぎを抑える効果を実現させることが可能となる。
［第１０実施形態］
図４６に示された第１０実施形態の画像処理システム１００００について説明する。この発明は、第１から第９の実施形態における画像処理装置１０００（または、２０００、３０００、４０００、５０００、６０００、７０００、８０００、９０００）（図４６においては、画像処理装置１０００を代表させて図示している。）に、ユーザが処理モードを選択するユーザモード選択部３００１および表示部３００２を加えたものである。

図４６に示すように、この画像処理システム１００００では、本発明の第１実施形態から第９実施形態を実現する画像処理装置１０００（または、２０００、３０００、４０００、５０００、６０００、７０００、８０００、９０００）（以下、画像処理装置１０００を代表させて説明する。）と、その処理結果を表示する表示部３００２、そしてユーザが処理モードを選択するユーザモード選択部３００１より構成される。
画像処理システム１００００では、画像処理装置１０００で行われた奥行き補正結果画像や消失点推定結果が表示部３００２に表示される。画像処理システム１００００により、ユーザは、表示部３００２での処理画像を視覚的に確認して、処理モードをユーザモード選択部３００１により選択することができ、より個々人の特性に応じた（ユーザの嗜好に応じた）色補正を実現させることができる。ここで、表示部３００２は、画像処理装置１０００により処理された画像信号（映像信号）等を表示させることができる機能を有するものであり、液晶ディスプレイ装置や、プラズマディスプレイ装置や、一般のＴＶのメイン画面表示装置あるいはサブ画面表示装置等であってもよい。ユーザモード選択部３００１として、奥行き補正の強度選択の場合、例えば、（Ｓ−１）強モード、（Ｓ−２）中モード、（Ｓ−３）弱モード、（Ｓ−４）デフォルトモードのようなメニュー選択方式を用いる。

ユーザは、表示部３００２に表示された画像（映像）を確認して、ユーザモード選択部３００１に用意されたメニュー内のオプションである、（Ｓ−１）強モード、（Ｓ−２）中モード、（Ｓ−３）弱モード、（Ｓ−４）デフォルトモードのいずれかを選択することでモードを決定させる。ここでデフォルトモードとは、得られた画素ｉにおける奥行き度ｆｂｉから得られる補正ゲイン値Ｇｉにデフォルト値を設定するモードのことをいう。例えば、補正ゲイン値Ｇｉが奥行き度ｆｂｉに所定の補正ゲイン係数ＴＳとオフセット値ＴＯＦＦをもつ１次関数による変換で得られる場合、このデフォルトモードでは、補正ゲイン係数ＴＳのデフォルト値ＴＳｄｅｆとオフセット値のデフォルト値ＴＯＦＦｄｅｆとを使用するモードに相当する。画像処理システム１００００では、このユーザモード選択部３００１での選択に応じて、ユーザモード選択部３００１により画像処理装置１０００で適用される奥行き補正処理の強度レベルを制御することができる。つまり、これにより、画像処理装置１０００での処理レベルのコントロールを行うことができる。画像処理システム１００００では、このように処理することで、人間の視覚特性に近い印象を与える奥行き補正処理を行うとともに、さらに各個人の見た目に応じてレベル（処理のレベル）を制御することができる。

また、ユーザモード選択部３００１において、奥行き補正処理が選択されるようにしてよい。例えば、ユーザモード選択部３００１において、メニュー形式で、奥行き補正処理として、（Ｐ−１）明るさ補正、（Ｐ−２）色補正、（Ｐ−３）陰影付加処理、（Ｐ−４）エンハンサ処理、（Ｐ−５）平滑化処理等がユーザにより選択されるようにしても良い。このとき、ユーザが複数の処理を選択することができるようにしてもよい。また、処理のメニューも（Ｐ−１）から（Ｐ−４）の代わりに、（Ｑ−１）明るさと色補正とエンハンサ処理、（Ｑ−２）明るさ補正、陰影付加処理および色補正処理、（Ｑ−３）陰影付加処理、エンハンサ処理および平滑化処理、（Ｑ−４）陰影付加処理、エンハンサ処理および色補正、（Ｑ−５）明るさ補正、陰影付加処理およびエンハンサ処理等のように異なる複数処理を１つのメニューに割り当てて、ユーザに選択させるような方式を採用してもよい。

さらに、表示部３００２に現画像における消失点推定結果を入力画像のサムネイル画像に重ねて表示させ、ユーザモード選択部３００１では、その消失点位置をマウス等のポインティングデバイスでユーザが調整できるようにしてもよい。また、第１実施形態における消失点推定部における各パラメータや、第１から第３実施形態における関心度推定部における各パラメータをユーザが調整するようにしてもよい。こうすることで、より消失点ｖＶＰｋ推定の精度向上や、ユーザの主観により適合する関心度Ｓｉの推定が可能となる。
なお、画像処理システム１００００では、メニュー選択方式の例を示したが、各補正強度レベルに応じたスイッチやボタン等による選択方式を採用するものであっても良い。スライダバーのように連続的に動くインターフェースによる強度選択を用いることも可能であり、そのバーはアナログ的に動くバーでもデジタル的に動くバーであってもよい。また、ここではデフォルトモードを用意したが、メニュー内の「中モード」を選択することで、補正ゲイン係数ＴＳやオフセット値ＴＯＦＦが、それぞれのデフォルト値に設定されるようにしてもよい。

［他の実施形態］
上記実施形態において、消失点を推定することで消失点（消失点情報）を求める処理について説明したが、これに限定されることはなく、例えば、消失点情報が画像データ内のタグ情報やファイルフォーマット情報に付加されて入力されるようにしてもよい。また、ユーザによるマウスやポインタでの指摘による入力により消失点情報が入力されるものであってもよいし、大まかにブロック分割された場合のブロック番号により消失点位置のあるブロック番号をユーザに入力してもらうようにしてもよい。
上記実施形態において説明した本発明の画像処理方法および画像処理装置は、図７および図８に示すような明るさ対比特性と、図１８から図２０に示すように色対比特性を利用した処理方法及び処理装置を含む。よって、本発明の画像処理装置および画像処理方法の効果は、この特性に大きく影響される。

例えば、図４５は、明るさ対比現象の特性を示したものであり、明るさの高いの背景にある明るさのより低い円中心部にある背景と同じ明るさを持つ円のサイズに依存して効果が変動することがわかっている。例えば、中心の明るさの高い円の半径が明るさの暗い円と比較して小さい場合、明るさの高い中心円がより明るく感じる明るさ対比現象は強まる。それに対して、中心の明るさが高い円の半径が大きくなり明るさの低い円に近づくにつれ、明るさの高い中心円がより明るく感じる明るさ対比現象は弱まるのである。また、色対比特性についても同様のことが言え、彩度対比の場合では、薄い水色の背景にある彩度の高い青色中心部にある背景と同じ薄い水色円のサイズに依存して効果が変動することがわかっている。この場合は、中心の彩度の薄い水色円の半径が彩度の高い青色円と比較して小さい場合、彩度の高い青色中心の薄い水色円の彩度がより薄く感じる色対比現象は強まる。

それに対して、中心の薄い水色円の半径が大きくなり彩度の高い青色円に近づくにつれ、彩度の高い青色円中心の薄い水色円の彩度がより薄く感じる色対比現象は弱まるのである。このように、図４５にあるような大きさの異なる単純パターンを入力画像として、明るさ対比および色対比による関心度推定を行った場合、推定された関心度の状態（分布）は変動する。一方、消失点推定処理により求められた消失点情報は、画像特徴量が変化しないかぎり固定される。その結果、図４５にあるような大きさの異なる単純パターンを入力画像として、本発明の画像処理装置を適用させた場合、奥行き度の状態（分布）および奥行き補正効果の状態（分布）が変動する。この点は、本発明に係る画像処理方法および画像処理装置の特徴である。
また、対象とする色情報の色対比量ＲＣｉとして、本発明の第２実施形態で示した、
（１）周辺の代表色情報に対する対象画素の色情報の比、
（２）対象画素の色情報と対象画素の周辺の代表色の差分量
以外にも、上記（１）と（２）とを所定の関数により変換して得られる値を用いることも可能である。同様に、明るさ情報の明るさ対比量ＲＫｉとして、本発明の第１実施形態で示した、
（３）周辺の代表明るさ情報に対する対象画素の明るさ情報の比、
（４）対象画素の明るさ情報と周辺の代表明るさ情報の差分量
以外にも、上記（３）と（４）を所定の関数により変換して得られる値を用いることも可能である。

また、代表色情報および代表明るさ情報を求める対象とする周辺領域の大きさを、固定の大きさにする必要はなく、例えば、対象画素ｉの色情報Ｃｉと対象画素ｉの周辺領域内の画素ｋの色情報Ｃｋとの差分や、画素ｉと画素ｋの距離ｌｅｎｇｔｈとに応じて、周辺領域の大きさを変化させるようにしてもよい。つまり、適応的に設定された周辺領域より代表色情報や代表明るさ情報等を求めるようにしてもよい。また、代表色情報として周辺領域内の平均を用いる場合、対象画素ｉの色情報Ｃｉと対象画素ｉの周辺領域内の画素ｋの色情報Ｃｋとの差分や、画素ｉと画素ｋとの距離ｌｅｎｇｔｈに応じて、周辺領域画素ｋの色情報Ｃｋにかかる重み係数を弱めたり、強めたりすることで、代表色情報等を求める処理を行うようにしてもよい。この周辺領域については、明るさ対比量の算出の場合にも同様である。

また、上記実施形態の画像処理装置において用いられる制御変数（第１実施形態の消失点推定処理のしきい値パラメータ等）は、画像処理装置内に構成・保持されているが、ＲＡＭのような外部メモリや、外部からの入力部により、これらのデータが提供されるようにしてもよい。
上記実施形態において説明した本発明の画像処理方法および画像処理装置は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、ＰＤＡ、カーＴＶなど、画像を取り扱う機器に内臓、あるいは接続して用いられる装置として実現されるものであり、ＬＳＩなどの集積回路としても実現される。
上記各実施形態で説明した各種処理を実現する各機能ブロックの一部または全部は、個別に１チップ化させてもよいし、一部又は全てを含むように１チップ化されても良い。なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路の手法にはＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現することも可能である。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用することも可能である。
さらに、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。

また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る画像処理装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。

本発明に係る画像処理装置、画像処理方法、画像処理システム、プログラム、記録媒体および集積回路は、消失点からの距離に応じた補正ゲイン制御と画像内における人間の関心度・注目度とを結びつけることで、処理画像において、より自然な奥行き感向上を可能とするので、映像機器関連産業分野において、有用であり、本発明に係る画像処理装置、画像処理方法、画像処理システム、プログラム、記録媒体および集積回路は、当該分野において実施することができる。

本発明における第１実施形態に係る画像処理装置の構成を示すブロック図。 本発明における第１実施形態に係る画像処理装置内の関心度推定部の構成を示すブロック図。 本発明における第１実施形態に係る画像処理装置内の消失点推定部の構成を示すブロック図。 本発明における第１実施形態に係る画像処理方法の全体フローチャート図。 本発明における第１実施形態に係る画像処理方法内の関心度推定処理のフローチャート図。 本発明における第１実施形態に係る画像処理方法内の消失点推定処理のフローチャート図。 本発明における第１実施形態に係る画像処理方法の関心度推定に使用される明るさ対比の概要を示す図。 本発明における第１実施形態に係る画像処理方法の関心度推定に使用される明るさ対比の概要を示す別の図。 明るさ対比量と関心度の関連の一例を模式的に示す図。 消失点推定におけるハフ変換を用いた直線検出を模式的に示す図。 消失点からの距離と関心度による奥行き度の関連を模式的に示す図。 消失点からの距離と関心度から奥行き度の算出例を示す図。 消失点からの距離Ｌｅｎｉが小さい場合（Ｌｅｎｉ＝０．１の場合）および大きい場合（Ｌｅｎｉ＝１．０の場合）の関心度Ｓｉと奥行き度ｆｂｉとの関係を示す図。 本発明における第２実施形態に係る画像処理装置の構成を示すブロック図。 本発明における第２実施形態に係る画像処理装置内の高度関心度推定部の構成を示すブロック図。 本発明における第２実施形態に係る画像処理方法の全体フローチャート図。 本発明における第２実施形態に係る画像処理方法内の高度関心度推定処理のフローチャート図。 本発明における第２実施形態に係る画像処理方法の高度関心度推定に使用される色対比の概要を示す図。 色対比の１つである彩度補正に利用した場合の一例を示す図。 色対比の１つである色相補正に利用した場合の一例を示す図。 明るさ対比と色対比からの関心度の関連の一例を模式的に示す図。 本発明における第３実施形態に係る画像処理装置の構成を示すブロック図。 本発明における第３実施形態に係る画像処理装置内の拡張関心度推定部の構成を示すブロック図。 本発明における第３実施形態に係る画像処理方法の全体フローチャート図。 本発明における第３実施形態に係る画像処理方法内の拡張関心度推定処理のフローチャート図。 鮮鋭程度量（周波数成分）による関心度算出と、色対比および明るさ対比による関心度との関連を示す図。 本発明における第４実施形態に係る画像処理装置の構成を示すブロック図。 第４実施形態における保持メモリ内の保存例を示す図。 本発明における第４実施形態に係る画像処理装置の全体フローチャート図。 本発明における第４実施発明である画像処理装置の別の構成を示すブロック図。 本発明における第５実施形態に係る画像処理装置の構成を示すブロック図。 第５実施形態における保持メモリ内の保存例を示す図。 本発明における第５実施形態に係る画像処理方法の全体フローチャート図。 本発明における第５実施発明である画像処理装置の別の構成を示すブロック図。 本発明における第６実施発明である画像処理装置の構成を示すブロック図。 第６実施形態に係る保持メモリ内の保存例を示す図。 本発明における第６実施形態に係る画像処理方法の全体フローチャート図。 本発明における第６実施形態に係る画像処理装置の別の構成を示すブロック図。 本発明における第７実施形態に係る画像処理装置の構成を示すブロック図。 本発明における第７実施形態に係る画像処理方法の全体フローチャート図。 本発明における第８実施形態に係る画像処理装置の構成を示すブロック図。 本発明における第８実施形態に係る画像処理方法の全体フローチャート図。 本発明における第９実施形態に係る画像処理装置の構成を示すブロック図。 本発明における第９実施形態に係る画像処理方法の全体フローチャート図。 本発明における第１から第９実施形態に係る画像処理方法の明るさ対比の変動を模式的に示す図。 本発明における第１０実施形態に係る画像処理装置の構成を示すブロック図。 従来の画像処理装置の構成を示すブロック図

符号の説明

１０００、２０００、３０００、４０００、５０００、６０００、７０００、８０００、９０００、 画像処理装置
１００００ 画像処理システム
１ 明るさ情報算出部
２ 関心度推定部
３ 消失点推定部
４ 奥行き推定部
５ 奥行き補正部
６ 出力部
２０ 周辺明るさ情報算出部
２１ 明るさ対比量算出部
２２ 関心度変換部
３０ 輪郭算出部
３１ ハフ変換部
３２ 分布算出部
３３ 消失点抽出部
１００ 色情報算出部
１０２ 高度関心度推定部
１２０ 周辺色情報算出部
１２１ 色対比量算出部
１２３ 高度関心度変換部
１４０ 周波数成分算出部
１４２ 拡張関心度推定部
１５０ ブロック内該当周波数平均算出部
１５２ 拡張関心度変換部
２００ 消失点推定判断部
２０１ 消失点選択部
２０２ 保持メモリ（記憶部）
２２０ 高度消失点推定判断部
２４０ 拡張消失点推定判断部
３００ 消失点平滑化部
３００１ ユーザモード選択部
３００２ 表示部

Claims (22)

1. 画素からなる画像を形成することができる画像信号から、前記画素または複数の前記画素からなる画素領域ごとに、明るさ情報を算出する明るさ情報算出部と、
   前記画素または前記画素領域が、前記画像上で、視覚的に注目される度合いを示す関心度を、前記明るさ情報から推定する関心度推定部と、
   前記明るさ情報から、前記画像上の消失点情報を推定する消失点推定部と、
   前記関心度と前記消失点情報とに基づいて奥行き度を推定し、前記奥行き度に基づいて前記画像信号に対して奥行き補正処理を行うための補正ゲインを算出する奥行き推定部と、
   前記補正ゲインに基づいて、前記画像信号に対して奥行き補正処理を行う奥行き補正部と、
   を備え、
   前記関心度推定部は、
   前記画像信号において処理対象とされている前記画素である注目画素の周辺画素の前記明るさ情報から、周辺明るさ情報ＡＫｉを算出する周辺明るさ情報算出部と、
   前記周辺明るさ情報ＡＫｉと前記注目画素の前記明るさ情報である注目明るさ情報Ｋｉとから明るさ対比量ＲＫｉを算出する明るさ対比量算出部と、
   前記明るさ対比量ＲＫｉに基づいて前記関心度を求める関心度変換部と、
   を有する、
   画像処理装置。
2. 前記明るさ対比量算出部は、（前記明るさ対比量ＲＫｉ）＝（前記注目明るさ情報Ｋｉ）／（前記周辺明るさ情報ＡＫｉ）により、前記明るさ対比量ＲＫｉを算出し、
   前記関心度変換部は、前記明るさ対比量ＲＫｉの値が大きくなる程、前記関心度の値を大きな値に設定する、
   請求項１に記載の画像処理装置。
3. 前記消失点推定部は、
   前記明るさ情報から輪郭情報を算出し、前記輪郭情報に基づいて前記画像上の輪郭部にある特徴点を抽出する輪郭算出部と、
   前記特徴点を結ぶ前記画像上の直線をハフ変換することで、ハフ空間内の点に変換するハフ変換部と、
   前記ハフ空間内の点についてのヒストグラム分布を算出する分布算出部と、
   前記ハフ空間内の点についての前記ヒストグラム分布に基づいて、前記画像上の前記消失点情報を抽出する消失点抽出部と、
   を有する、
   請求項１または２に記載の画像処理装置。
4. 前記消失点抽出部は、
   前記画像を複数のブロックに分割し、
   前記分布算出部により算出された前記ヒストグラム分布において、第１閾値より大きい頻度値を有している前記ハフ空間内の点に相当する画像上の直線が前記ブロックを通過する数であるブロック内直線数を算出し、前記ブロック内直線数が所定の値より多い場合、前記ブロックの重心点を前記画像上の前記消失点情報とする、
   請求項３に記載の画像処理装置。
5. 前記奥行き推定部は、
   前記奥行き度の最小値である奥行き度最小値Ｍｉｎ＿ｆｂｉおよび前記奥行き度の最大値である奥行き度最大値Ｍａｘ＿ｆｂｉ（≧Ｍｉｎ＿ｆｂｉ）を、前記注目画素と前記消失点情報との前記画像上での距離に対して単調増加の関係となる値に設定し、
   前記奥行き度（ｆｂｉ）を、前記奥行き度最小値Ｍｉｎ＿ｆｂｉから前記奥行き度最大値Ｍａｘ＿ｆｂｉの範囲において、前記関心度に対して単調増加の関係となる値に設定し、
   前記補正ゲインを、前記奥行き度（ｆｂｉ）に対して単調増加の関係となる値に設定し、
   前記奥行き補正部は、
   前記補正ゲインの値が大きい程、前記注目画素が視覚的に注目される度合いが高くなるように、前記画像信号に対して奥行き補正処理を行う、
   請求項１から４のいずれかに記載の画像処理装置。
6. 前記画像信号から、前記画素または前記画素領域ごとに、色情報を算出する色情報算出部をさらに備え、
   前記関心度推定部は、前記関心度を、前記明るさ情報および前記色情報から推定する、
   請求項１に記載の画像処理装置。
7. 前記画像信号から、複数の前記画素または複数の前記画素領域からなるブロックごとに、周波数情報を算出する周波数情報算出部をさらに備え、
   前記関心度推定部は、前記周波数情報にも基づいて、前記関心度を推定する、
   請求項１または６に記載の画像処理装置。
8. 前記関心度推定部は、前記ブロックごとに、所定の周波数以上の周波数成分の和である高周波成分和ｓｕｍＨＦｒｅｑを求め、前記高周波成分和ｓｕｍＨＦｒｅｑの前記ブロックの全周波数成分の和ｓｕｍＡｌｌＦｒｅｑに対する比率ＲＢｉ（＝ｓｕｍＨＦｒｅｑ／ｓｕｍＡｌｌＦｒｅｑ）を求め、前記比率ＲＢｉに基づいて、前記関心度を推定する、
   請求項７に記載の画像処理装置。
9. フレーム単位の前記画像であって、現フレームの１フレーム前から現フレームのｐフレーム前（ｐ：自然数）までのｐ個のフレーム単位の前記画像である過去フレーム画像および前記過去フレーム画像における前記消失点情報を記憶する記憶部と、
   前記記憶部に記憶されているｐ個の前記過去フレーム画像のぞれぞれから画像の特徴量である過去フレーム画像特徴量を求め、現フレームにおけるフレーム単位の前記画像である現フレーム画像から画像の特徴量である現フレーム画像特徴量を求め、前記現フレーム画像特徴量と前記過去フレーム画像特徴量との差が最小である前記過去フレーム画像を最小誤差過去フレーム画像として特定し、前記最小誤差過去フレーム画像の前記過去フレーム画像特徴量と前記現フレーム画像特徴量との差が所定値以下である場合、消失点置換決定情報を出力する消失点推定判断部と、
   前記消失点推定判断部により前記消失点置換決定情報が出力された場合、前記最小誤差過去フレーム画像における前記消失点情報を、前記現フレーム画像における前記消失点情報に設定する消失点選択部と、
   をさらに備え、
   前記奥行き推定部は、前記消失点選択部により設定された前記消失点情報と前記関心度とに基づいて前記奥行き度を推定する、
   請求項１から８のいずれかに記載の画像処理装置。
10. 前記消失点推定部は、前記消失点推定判断部により前記消失点決定情報が出力された場合、前記現フレーム画像から前記消失点情報を推定する処理を実行しない、
    請求項９に記載の画像処理装置。
11. 前記消失点選択部は、前記消失点推定判断部により前記消失点決定情報が出力されない場合、ｐ個の前記過去フレーム画像の前記消失点情報を平滑化した平滑化消失点情報を、前記現フレーム画像における前記消失点情報に設定し、
    前記消失点推定部は、前記現フレーム画像から前記消失点情報を推定する処理を実行しない、
    請求項９に記載の画像処理装置。
12. 前記消失点推定判断部は、前記現フレーム画像特徴量と前記過去フレーム画像特徴量との２乗誤差が最小である前記過去フレーム画像を最小誤差過去フレーム画像として特定し、前記最小誤差過去フレーム画像の前記過去フレーム画像特徴量と前記現フレーム画像特徴量との２乗誤差が所定値以下である場合、消失点置換決定情報を出力する、
    請求項９から１１のいずれかに記載の画像処理装置。
13. 前記画像特徴量は、明るさ対比量、色対比量、および、複数の前記画素または複数の前記画素領域からなるブロックごとに算出される周波数情報に基づく量、の少なくとも１つにより算出されるものである、
    請求項１２に記載の画像処理装置。
14. 前記周波数情報に基づく量は、前記ブロックごとに、所定の周波数以上の周波数成分の和である高周波成分和ｓｕｍＨＦｒｅｑを求め、前記高周波成分和ｓｕｍＨＦｒｅｑの前記ブロックの全周波数成分の和ｓｕｍＡｌｌＦｒｅｑに対する比率ＲＢｉ（＝ｓｕｍＨＦｒｅｑ／ｓｕｍＡｌｌＦｒｅｑ）である、
    請求項１３に記載の画像処理装置。
15. 前記奥行き補正部は、前記奥行き補正処理として、明るさ情報補正処理、色情報補正処理、輪郭強調処理、および平滑化処理の少なくとも１つの処理を行う、
    請求項１から１４のいずれかに記載の画像処理装置。
16. 請求項１から１５のいずれかに記載の画像処理装置と、
    ユーザの指示に従い、処理モードを選択するユーザモード選択部と、
    前記画像処理装置からの出力を画像として表示させる表示部と、
    を備える画像処理システム。
17. 前記ユーザモード選択部は、少なくとも、前記画像処理装置において実行される奥行き補正処理の強度に関する情報を含む前記処理モードを選択する、
    請求項１６に記載の画像処理システム。
18. 前記表示部は、前記画像処理装置により推定された消失点情報を、前記画像処理装置により処理された画像とともに表示し、
    前記ユーザモード選択部は、ユーザの指示に従い、前記画像処理装置により推定された前記消失点情報を修正する、
    請求項１６または１７に記載の画像処理システム。
19. 画素からなる画像を形成することができる画像信号から、前記画素または複数の前記画素からなる画素領域ごとに、明るさ情報を算出する明るさ情報算出ステップと、
    前記画素または前記画素領域が、前記画像上で、視覚的に注目される度合いを示す関心度を、前記明るさ情報から推定する関心度推定ステップと、
    前記明るさ情報から、前記画像上の消失点情報を推定する消失点推定ステップと、
    前記関心度と前記消失点情報とに基づいて奥行き度を推定し、前記奥行き度に基づいて前記画像信号に対して奥行き補正処理を行うための補正ゲインを算出する奥行き推定ステップと、
    前記補正ゲインに基づいて、前記画像信号に対して奥行き補正処理を行う奥行き補正ステップと、
    を備え、
    前記関心度推定ステップは、
    前記画像信号において処理対象とされている前記画素である注目画素の周辺画素の前記明るさ情報から、周辺明るさ情報ＡＫｉを算出する周辺明るさ情報算出ステップと、
    前記周辺明るさ情報ＡＫｉと前記注目画素の前記明るさ情報である注目明るさ情報Ｋｉとから明るさ対比量ＲＫｉを算出する明るさ対比量算出ステップと、
    前記明るさ対比量ＲＫｉに基づいて前記関心度を求める関心度変換ステップと、
    を有する、
    画像処理方法。
20. コンピュータを、
    画素からなる画像を形成することができる画像信号から、前記画素または複数の前記画素からなる画素領域ごとに、明るさ情報を算出する明るさ情報算出部、
    前記画素または前記画素領域が、前記画像上で、視覚的に注目される度合いを示す関心度を、前記明るさ情報から推定する関心度推定部、
    前記明るさ情報から、前記画像上の消失点情報を推定する消失点推定部、
    前記関心度と前記消失点情報とに基づいて奥行き度を推定し、前記奥行き度に基づいて前記画像信号に対して奥行き補正処理を行うための補正ゲインを算出する奥行き推定部、
    前記補正ゲインに基づいて、前記画像信号に対して奥行き補正処理を行う奥行き補正部、
    として機能させるためのプログラムであって、
    前記関心度推定部は、
    前記画像信号において処理対象とされている前記画素である注目画素の周辺画素の前記明るさ情報から、周辺明るさ情報ＡＫｉを算出する周辺明るさ情報算出部と、
    前記周辺明るさ情報ＡＫｉと前記注目画素の前記明るさ情報である注目明るさ情報Ｋｉとから明るさ対比量ＲＫｉを算出する明るさ対比量算出部と、
    前記明るさ対比量ＲＫｉに基づいて前記関心度を求める関心度変換部と、
    を有する、
    プログラム。
21. コンピュータを、
    画素からなる画像を形成することができる画像信号から、前記画素または複数の前記画素からなる画素領域ごとに、明るさ情報を算出する明るさ情報算出部、
    前記画素または前記画素領域が、前記画像上で、視覚的に注目される度合いを示す関心度を、前記明るさ情報から推定する関心度推定部、
    前記明るさ情報から、前記画像上の消失点情報を推定する消失点推定部、
    前記関心度と前記消失点情報とに基づいて奥行き度を推定し、前記奥行き度に基づいて前記画像信号に対して奥行き補正処理を行うための補正ゲインを算出する奥行き推定部、
    前記補正ゲインに基づいて、前記画像信号に対して奥行き補正処理を行う奥行き補正部、
    として機能させるためのプログラムを記録したコンピュータにより取り可能な記録媒体であって、
    前記関心度推定部は、
    前記画像信号において処理対象とされている前記画素である注目画素の周辺画素の前記明るさ情報から、周辺明るさ情報ＡＫｉを算出する周辺明るさ情報算出部と、
    前記周辺明るさ情報ＡＫｉと前記注目画素の前記明るさ情報である注目明るさ情報Ｋｉとから明るさ対比量ＲＫｉを算出する明るさ対比量算出部と、
    前記明るさ対比量ＲＫｉに基づいて前記関心度を求める関心度変換部と、
    を有する、
    記録媒体。
22. 画素からなる画像を形成することができる画像信号から、前記画素または複数の前記画素からなる画素領域ごとに、明るさ情報を算出する明るさ情報算出部と、
    前記画素または前記画素領域が、前記画像上で、視覚的に注目される度合いを示す関心度を、前記明るさ情報から推定する関心度推定部と、
    前記明るさ情報から、前記画像上の消失点情報を推定する消失点推定部と、
    前記関心度と前記消失点情報とに基づいて奥行き度を推定し、前記奥行き度に基づいて前記画像信号に対して奥行き補正処理を行うための補正ゲインを算出する奥行き推定部と、
    前記補正ゲインに基づいて、前記画像信号に対して奥行き補正処理を行う奥行き補正部と、
    を備え、
    前記関心度推定部は、
    前記画像信号において処理対象とされている前記画素である注目画素の周辺画素の前記明るさ情報から、周辺明るさ情報ＡＫｉを算出する周辺明るさ情報算出部と、
    前記周辺明るさ情報ＡＫｉと前記注目画素の前記明るさ情報である注目明るさ情報Ｋｉとから明るさ対比量ＲＫｉを算出する明るさ対比量算出部と、
    前記明るさ対比量ＲＫｉに基づいて前記関心度を求める関心度変換部と、
    を有する、
    集積回路。
    

Images