WO2013094635A1

WO2013094635A1 - 画像処理装置、撮像装置および表示装置

Info

Publication number: WO2013094635A1
Application number: PCT/JP2012/082909
Authority: WO
Inventors: 徳井　圭; 繁光水嶋
Original assignee: シャープ株式会社
Priority date: 2011-12-19
Filing date: 2012-12-19
Publication date: 2013-06-27
Also published as: US20140333726A1; US9646383B2

Abstract

　画像処理装置は、画像処理の強度を決定する画像処理強度決定部と、画像処理強度決定部が決定した強度に従い、画像情報に対して画像処理を行う画像処理部と、を備える。画像処理強度決定部は、画像情報に含まれる注目画素に対応する奥行きを示す奥行き値と、注目画素の画像情報中における縦位置とに基づき、注目画素に対する画像処理の強度を決定する。

Description

画像処理装置、撮像装置および表示装置

　本発明は、画像処理装置、撮像装置および表示装置に関する。
　本願は、２０１１年１２月１９日に、日本に出願された特願２０１１－２７７５９１号と、２０１１年１２月２２日に、日本に出願された特願２０１１－２８１９４５号と、２０１１年１２月２２日に、日本に出願された特願２０１１－２８２０２６号とに基づき優先権を主張し、その内容をここに援用する。

　第１の背景技術として、以下の内容が知られている。静止画や動画をカメラで撮影したり、モニタに表示したりする際に、先鋭感や鮮明感を高めるために様々な画像処理技術が開発されている。例えば、先鋭感を増加させる輪郭強調処理や、鮮明感を増加させる彩度強調処理などが従来の画像処理として挙げられる。さらに、奥行き感を調整する画像処理として奥行きデータを使用した方法が有り、例えば、特許文献１がある。特許文献１では、奥行きデータと奥行き程度により、奥行き感補正のゲインを制御することにより、自由に奥行き感程度を調整できるようにしている。奥行きデータの取得方法としては、アクティブ方式とパッシブ方式とがある。アクティブ方式としては、赤外線を照射して、その反射光から距離を算出するＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）などがある。パッシブ方式としては、ステレオ画像でマッチングをすることにより視差を算出するステレオカメラなどがある。

　しかしながら、特許文献１の方法においては、アクティブ方式およびパッシブ方式を利用して奥行きデータを取得した場合、遠景での精度および分解能が低下してしまうため、遠景における調整を奥行きに応じて行うことができず、奥行き感をえることができないことがあるという第１の問題がある。アクティブ方式では、赤外線の照射強度に依存した精度および分解能となり、赤外線の反射光が検出できない遠景では距離が全て無限遠となり、精度および分解能が低下してしまう。また、パッシブ方式では、平行に配置された２つのカメラから視差を算出するが、視差と距離との関係は反比例であるので、遠景の視差は全て０となってしまい、精度および分解能が低下してしまう。

　また、第２の背景技術として、以下の内容が知られている。静止画又は動画をカメラで撮影したり、モニタに表示したりする際に、静止画又は動画の先鋭感又は鮮明感を高めるために、様々な画像処理技術が開発されている。例えば、先鋭感を増加させる輪郭強調処理、鮮明感を増加させる彩度強調処理、又は奥行きデータを使用して奥行き感を調整する画像処理が知られている。

　特許文献１において、画像処理装置が奥行きデータと奥行き程度により、奥行き感の補正ゲインを制御することにより、奥行き感の程度を調整できることが開示されている。奥行きデータの取得方式としては、アクティブ方式とパッシブ方式とがある。アクティブ方式としては、例えば、対象物に照射した赤外線の反射光から、対象物までの距離を算出するＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）がある。パッシブ方式としては、例えば、ステレオカメラで撮像されたステレオ画像でマッチングをとることにより視差を算出する方式がある。

　しかしながら、特許文献１では、アクティブ方式又はパッシブ方式を利用して奥行きデータを取得した場合、遠景における奥行きの精度および分解能が低下してしまう第２の問題がある。例えば、アクティブ方式では、赤外線の照射強度に依存した精度および分解能となるので、赤外線の反射光が検出できない遠景では距離が全て無限遠となってしまう。すなわち、赤外線の反射光が検出できない遠景において奥行きの分解能がなくなり、奥行きを正確に表すことができなかった。

　一方、パッシブ方式では、平行に配置された２つのカメラから視差を奥行きデータの一例として算出するとき、視差と距離との関係は反比例であり、遠景の視差は全て０となってしまう。すなわち、遠景において奥行きの分解能がなくなり、奥行きを正確に表すことができなかった。その結果、従来の画像処理装置は、そのような遠景において奥行きに応じた画像処理を施すことができず、ユーザは十分に奥行きを感じることができなかった。

　また、第３の背景技術として、以下の内容が知られている。静止画又は動画をカメラで撮影したり、静止画又は動画をモニタに表示したりする際に、先鋭感又は鮮明感を高めるために様々な画像処理技術が開発されている。例えば、先鋭感を増加させる輪郭強調処理や、鮮明感を増加させる彩度強調処理などが従来の画像処理として挙げられる。さらに、奥行き感を調整する画像処理として奥行きデータを使用した方式が有る。例えば、特許文献１では、奥行きデータと奥行き程度により、奥行き感補正のゲインを制御することにより、自由に奥行き感程度を調整できることが開示されている。

　ここで、奥行きデータに従って奥行き感を調整する画像処理を行う場合、奥行きデータと画像処理のパラメータを適切に設定する必要がある。図３３は、特許文献１における奥行きデータと輪郭補正ゲインとの関係を示す図である。同図に示すように、特許文献１には、奥行きデータが第１の奥行き値Ｚ３０より小さい領域および奥行きデータが第２の奥行き値Ｚ３１より大きい領域において、奥行きデータの変化に対して奥行き感補正のゲインを一定とすることが開示されている。

　しかしながら、画像によっては第１の奥行き値Ｚ３０より小さい奥行きデータのみの場合、または第２の奥行き値Ｚ３１より大きい奥行きデータのみの場合なども存在する。その場合、特許文献１の画像処理装置は、適切な画像処理パラメータを設定することができないので、画像に対して奥行き感を調整できず、ユーザが奥行きを感じることができないという第３の問題があった。

特開２００８－３３８９７号公報

　本発明は、第１の問題に鑑みてなされたもので、その目的は、遠景においても奥行き感を向上した画像を生成することができる画像処理装置、撮像装置および表示装置を提供することにある。

　また、本発明は、第２の問題に鑑みてなされたものであり、その目的は、ユーザに奥行き感を感じさせることを可能とする画像処理装置、撮像装置および表示装置を提供することにある。

　また、本発明は、第３の問題に鑑みてなされたものであり、その目的は、ユーザが奥行きを感じることができる画像を生成することを可能とする画像処理装置、撮像装置および表示装置を提供することにある。

（１）　本発明の第１の態様は、画像処理の強度を決定する画像処理強度決定部と、前記画像処理強度決定部が決定した強度に従い、画像情報に対して画像処理を行う画像処理部と、を備え、前記画像処理強度決定部は、前記画像情報に含まれる注目画素に対応する奥行きを示す奥行き値と、前記注目画素の前記画像情報中における縦位置とに基づき、前記注目画素に対する画像処理の強度を決定することを特徴とする画像処理装置である。

（２）　本発明の第１の態様において、前記画像処理強度決定部は、前記注目画素に対応する前記奥行き値の値が飽和しているときに、前記縦位置に基づき、前記強度を決定しても良い。

（３）　本発明の第１の態様において、画像情報から消失点の位置を算出する消失点算出部を更に備え、前記画像処理強度決定部は、画像処理の対象となる対象画素と前記消失点算出部が算出した消失点の位置との距離に基づいて、前記対象画素における画像処理強度を決定しても良い。

（４）　本発明の第１の態様において、画像情報に対応する奥行き情報に基づいて、該奥行き情報の頻度分布に関する情報を抽出する奥行き情報解析部を更に備え、前記画像処理強度決定部は、前記奥行き情報解析部が抽出した情報と前記奥行き情報とに基づいて、前記画像情報の各画素における画像処理強度を決定しても良い。

（５）　本発明の第２の態様は、被写体を撮像して画像を生成する撮像部と、画像処理の強度を決定する画像処理強度決定部と、前記画像処理強度決定部が決定した強度に従い、前記撮像部が生成した画像情報に対して画像処理を行う画像処理部と、を備え、前記画像処理強度決定部は、前記画像情報に含まれる注目画素に対応する奥行きを示す奥行き値と、前記注目画素の前記画像情報中における縦位置とに基づき、前記注目画素に対する画像処理の強度を決定することを特徴とする撮像装置である。

（６）　本発明の第３の態様は、画像処理の強度を決定する画像処理強度決定部と、前記画像処理強度決定部が決定した強度に従い、画像情報に対して画像処理を行う画像処理部と、前記画像処理部により画像処理された画像を表示する画像表示部と、を備え、前記画像処理強度決定部は、前記画像情報に含まれる注目画素に対応する奥行きを示す奥行き値と、前記注目画素の前記画像情報中における縦位置とに基づき、前記注目画素に対する画像処理の強度を決定することを特徴とする表示装置である。

　本発明によれば、遠景においても奥行き感を向上した画像を生成することができ、上記第１の問題を解決することができる。

　また、本発明によれば、ユーザに奥行き感を感じさせることができ、上記第２の問題を解決することができる。

　また、本発明によれば、ユーザが奥行きを感じることができる画像を生成することができ、上記第３の問題を解決することができる。

本発明の第１の実施形態における画像処理装置１１００の構成を示す概略ブロック図である。同実施形態における奥行き値と、強度パラメータα１との関係例を示すグラフである。同実施形態における画素位置と、強度パラメータβ１との関係例を示すグラフである。同実施形態における入力される画像情報の例を示す図である。同実施形態における入力される奥行き情報の例を示す図である。本発明の第２の実施形態における画像撮像装置１３００の構成を示す概略ブロック図である。同実施形態における距離Ｚと視差Ｄｉとの関係を示す図である。本発明の第３の実施形態における画像表示装置１３０１の構成を示す概略ブロック図である。第４の実施形態における画像処理装置の概略ブロック図である。消失点算出の例を示す撮像画像の模式図である。画像処理強度Ｓ２と奥行き情報Ｄ２の値との関係の一例を示した図である。画像処理強度Ｓ２と、消失点と画像処理を行う対象画素との間の距離との関係の一例を示した図である。第４の実施形態における画像処理強度決定部の構成を示す概略ブロック図である。図１０の画像情報の各画素における奥行き情報の値を表した図である。消失点が画像情報の外側にある場合の一例である。第４の実施形態における画像処理装置の処理の一例を示すフローチャートである。第５の実施形態における撮像装置の概略ブロック図である。距離Ｚと視差ｄとの関係を示した図である。第６の実施形態における表示装置の概略ブロック図である。第７の実施形態における画像処理装置の概略ブロック図である。第７の実施形態における奥行き情報解析部の概略ブロック図である。奥行き情報の頻度分布の一例を示した図である。画像処理強度Ｄ３と奥行き情報Ｄ３との関係の一例を示す図である。奥行き情報に対する画像処理強度の設定の一例を示す図である。第７の実施形態における画像処理装置に入力される画像情報Ｇ３ｉの例を示す図である。図２４に対応した奥行き情報Ｄ３の例を示す図である。第７の実施形態における画像処理装置の処理の一例を示すフローチャートである。主要被写体以上に奥に位置する被写体に対して画像処理強度を行う場合における、奥行き情報に対する画像処理強度の設定の一例を示す図である。主要被写体より奥に位置する被写体に対して画像処理強度を行う場合における、奥行き情報に対する画像処理強度の設定の一例を示す図である。第８の実施形態における撮像装置の概略ブロック図である。距離Ｚと視差ｄとの関係を示した図である。第９の実施形態における表示装置の概略ブロック図である。特許文献１における奥行きデータと輪郭補正ゲインとの関係を示す図である。

　以下、図面を使って本発明の実施の形態を詳細に説明する。なお、後述する図２、３、７などでは、値の関係が把握しやすいように誇張して記載しており、実際のものとは異なる場合がある。
［第１の実施形態］
　図１は、本発明の第１の実施形態における画像処理装置１１００の構成を示す概略ブロック図である。画像処理装置１１００には、入力画像である画像情報Ｇ１ｉと、画像情報Ｇ１ｉに対応した奥行き情報Ｄ１が入力される。画像処理装置１１００は、奥行き情報Ｄ１に基づき、画像情報Ｇ１ｉに対して画像処理を行い、処理結果を出力画像情報Ｇ１ｏとして出力する。ここで、画像情報Ｇ１ｉは、ビデオ信号など、動画像を表すデータや信号であってもよいし、ＪＰＥＧ（Joint Picture Experts Group）ファイルなど、静止画を表すデータや信号であってもよい。

　また、画像情報Ｇ１ｉに対応した奥行き情報Ｄ１とは、画像情報Ｇ１ｉにおける各画素の奥行き値を表す情報である。また、画素の奥行き値とは、該画素が表す被写体の視点からの距離を表す値である。例えば、カメラが被写体を撮影して生成した画像であれば、画素の奥行き値は、該画素が表す被写体までの、カメラ（視点）からの距離を表す値である。本実施形態における奥行き情報Ｄ１は、画像情報Ｇ１ｉを構成する画素毎に一つの奥行き値を持つ、すなわち解像度は、これらの間で同一である。なお、画像情報Ｇ１ｉの解像度と、奥行き情報Ｄ１の解像度は同一でなくてもよく、補間処理などにより、画像情報Ｇ１ｉの各画素の奥行き値が得られればよい。なお、後述するように、本実施形態では、奥行き値は、距離が大きいほど大きい値である。

　図１に示すように、画像処理装置１１００は、画像処理強度決定部１１０１、画像処理部１１０２を含んで構成される。画像処理強度決定部１１０１は、画像情報Ｇ１ｉに含まれる注目画素に対応する奥行きを示す奥行き値と、その注目画素の画像情報Ｇ１ｉ中における縦位置とに基づき、その注目画素に対する画像処理の強度（画像処理強度Ｓ１）を決定する。画像処理強度決定部１１０１は、決定した画像処理強度Ｓ１を画像処理部１１０２に伝達する。画像処理部１１０２は、画像処理強度決定部１１０１で決定された画像処理強度Ｓ１に従い、画像処理装置１１００に入力された画像情報Ｇ１ｉに対して奥行き感が向上する画像処理を行い、画像処理の結果を出力画像情報Ｇ１ｏとして出力する。

　画像処理強度決定部１１０１は、画像情報Ｇ１ｉに含まれる各画素を注目画素とし、各画素について、図２および図３に例示する特性に従い、画像処理強度Ｓ１を決定する。ここで、本実施形態における奥行き情報は、奥行き値の値が大きくなると、画像情報内の被写体までの距離が大きい。すなわち、奥行き値が８ビットの場合には、階調値０が最も近景の被写体であり、階調値２５５が最も遠景の被写体である。

　図２は、奥行き値と、強度パラメータα１との関係例を示すグラフである。図２の示すグラフでは、奥行き値が最小値（階調値０）のときに、強度パラメータα１が最小値α１１となり、奥行き値が最大値（階調値２５５）のときに、強度パラメータα１が最大値α１２となっている。そして、奥行き値が大きくなるにつれて（視点からの距離が大きくなるにつれて）、強度パラメータα１が大きくなる特性を有している。被写体の連続性を考慮すると、奥行き値と強度パラメータα１との関係は、単調増加の関係が好適である。なお、強度パラメータα１と画像処理強度Ｓ１との具体的な関係は、後述するが、強度パラメータα１が大きいほど、画像処理強度Ｓ１は強い画像処理強度を示す値となる。

　なお、図２の例では、奥行き値が２５５であるときに、強度パラメータα１が最も大きくなるようにし、奥行き値が０であるときに、強度パラメータα１が最も小さくなるようにしているが、入力される画像情報Ｇ１ｉにより適宜設定するようにしてもよい。例えば、入力された１つの画像に対する奥行き情報に含まれる奥行き値の範囲が、２０から１００であった場合には、奥行き値が２０のときに強度パラメータα１が最小となり、奥行き情報の値が１００のときに強度パラメータα１が最大となるように設定する。これにより、画像処理強度Ｓ１として、画像情報Ｇ１ｉに適した値を割り当てることができるため好適である。なお、画像情報Ｇ１ｉが動画像であるときは、フレーム毎に、奥行き値の最大値、最小値を検出せずに、過去の所定の数のフレーム内で、最大値、最小値を検出するようにしてもよい。

　図３は、画素位置と、強度パラメータβ１との関係例を示すグラフである。図３では、画素位置として、画像情報Ｇ１ｉ内での縦方向の位置（以降、縦位置という）、すなわち画像情報Ｇ１ｉの上端からの画素数を用いている。すなわち、図３は、その画素の画像情報内での縦位置によって、画像処理強度が変化することを示している。さらに、図３では、上端からの画素数が大きいほど、強度パラメータβ１は小さい値となっているので、縦位置が画像情報Ｇ１ｉの下部であるほど、画像処理強度が小さくなっている。言い換えると、縦位置が画像情報Ｇ１ｉの上部であるほど、画像処理強度が強くなっている。ここで、被写体の連続性を考慮すると単調減少の関係が好適である。

　縦位置は、画像処理を行う注目画素の画像情報Ｇ１ｉが表す画像内での位置を示している。例えば、画像の解像度が横１９２０、縦１０８０である場合、最も縦位置が上部であるのは０ライン目で、最も下部にあるのが１０７９ライン目である。なお、画像の縦方向がいずれの方向であるかは、例えば、ビデオ信号などであれば、予め決められた方向としてもよいし、ＪＰＥＧファイルなどであれば、該ファイル内にて指定されている縦横方向に応じた方向としてもよい。

　画像処理強度決定部１１０１は、奥行き値が最大値（８ビットであれば２５５）未満のときは、前述の方法で算出した画像処理強度Ｓ１とし、奥行き値が最大値のときは、図３の特性を用いて強度パラメータβ１を画像処理強度Ｓ１とする。例えば、奥行き値が最大値となっている領域、すなわち奥行き値が飽和してしまっている領域が奥行き情報Ｄ１内に存在したとき、その領域における遠景の複数の被写体の奥行き方向の位置関係は判別することができない。そこで、奥行き値が最大値のときは、図３の特性を使用して縦位置に応じて画像処理強度Ｓ１を決定することができる。これは、奥行き値が最大値で飽和する程度に被写体までの距離がある場合には、画像情報Ｇ１ｉの該当領域が遠景であると推定できる。そして、遠景における画像情報上部は空であることが多く、画像情報下部には他の被写体が存在することが多いためである。

　例えば、図４および図５に示すように、被写体Ａ１（空）である画像領域１０７３と被写体Ｂ１（山）である画像領域１０７１とでは奥行き値は同じであるが、実際の奥行き方向の位置は異なり、被写体Ａ１（空）の方が遠くにある。すなわち、画像情報上部（被写体Ａ１（空））の方が、画像情報下部（被写体Ｂ１（山））より遠景である。

　したがって、上述のように、奥行き値が閾値以上のときは、図３の特性を用いて画像処理強度を決定することにより、奥行き感を向上させることがきる。すなわち、奥行き情報だけでなく、縦位置に応じた画像処理強度にすることで、奥行き情報が飽和してしまっている被写体に対しても、奥行き感がでるような画像処理ができるようになる。

　また、図１１の特性を奥行き値が飽和してしまっているときにのみ利用したが、奥行き値が特定の範囲に適用しても同様の効果が得られる。例えば、遠景と判断できる奥行き値、すなわち奥行き値が予め決められた閾値よりも大きい画素にたいして、図１１の特性を適用して、強度パラメータβ１を画像処理強度Ｓとするようにしてもよい。

　さらに、画像処理強度Ｓを決定するときに、画像情報から算出される消失点の位置を考慮することで、遠景においても奥行き感を向上した画像を生成できるようになる。

　また、画像処理強度決定部１１０１は、奥行き値と縦位置との組合せに対して画像処理強度Ｓ１が得られるＬＵＴ（Ｌｏｏｋ　Ｕｐ　Ｔａｂｌｅ）を予め記憶しており、該ＬＵＴを参照して画像処理強度Ｓ１を決定するようにしてもよい。また、奥行き値に対して強度パラメータα１が得られるＬＵＴと、縦位置に対して強度パラメータβ１が得られるＬＵＴとを記憶しており、奥行き値に応じて、参照するＬＵＴを切り替えて画像処理強度Ｓ１を決定するようにしてもよい。

　また、画像処理強度決定部１１０１は、以下のようにして、奥行き情報Ｄ１に含まれる奥行き値の範囲に応じて、奥行き値と強度パラメータα１の関係を適応的に決めるようにしてもよい。まず、奥行き情報Ｄ１内の最大値に対応する強度パラメータα１を、予め決められた値α１２とする。次に、奥行き情報Ｄ１内の最小値に対応する強度パラメータα１を、予め決められた値α１１（α１１＜α１２）とする。そして、その間の奥行き値に対しては、α１１とα１２を線形的に補間することで算出する。

　また、画像処理強度決定部１１０１は、以下のようにして、奥行き値が最大値となっている領域の縦位置の範囲に応じて、縦位置と強度パラメータβ１との関係を適応的に決めるようにしてもよい。まず、奥行き値が最大値となっている領域における縦位置の最大値に対応する強度パラメータβ１を、予め決められた値β１２とする。次に、奥行き値が最大値となっている領域における縦位置の最小値に対応する強度パラメータβ１を、予め決められたβ１１（β１１＜β１２）となるようにする。その間の縦位置のときは、β１１とβ１２を線形的に補間することで算出する。
　なお、β１１は、α１２と等しいか、より大きい値としておくことが望ましい。これにより、奥行き値が最大値となっている領域における画像処理強度が、奥行き値が最大値となっていない領域における画像処理強度よりも小さくなることを防ぐことができる。

　また、画像処理強度決定部１１０１は、奥行き値が最大値であった場合には画像処理強度Ｓ１をα１２×β１またはα１２＋β１により算出するようにしてもよい。このとき、画像処理強度Ｓ１が最も大きくなるときはα１２×β１２またはα１２＋β１２となる。これにより、奥行き情報が飽和してしまっているような大きな値のときであっても、容易に縦位置を考慮した画素処理強度の算出が可能となるため好適である。なお、α１２×β１とする場合は、図３においてβ１は、常に１以上であることが望ましい。また、α１２＋β１とする場合は、図３においてβ１は、常に０以上であることが望ましい。

　画像処理部１１０２は、画像処理強度決定部１１０１により決定された画像処理強度Ｓ１に従い、奥行き感を向上させる画像処理を、画像情報Ｇ１ｉに対して行う。画像処理は輪郭強調、コントラスト補正、彩度補正が好適である。例えば、画像処理が輪郭強調であれば、画像処理強度Ｓ１の値が大きいほど、輪郭を強く強調するように輪郭強調処理を行う。輪郭強調処理とは、例えば、隣接する画素との明るさ値（輝度、明度など）の差が、より大きくなるように明るさ値を変換する処理である。このとき、明るさ値の差が大きいほど、輪郭が強く強調される。これらは、４近傍や８近傍の周辺画素を考慮した空間フィルタにより実現することができる。

　また、画像処理が、コントラスト補正であれば、画像処理強度Ｓ１の値が大きいほど、コントラストが強くなるようにコントラスト補正処理を行う。コントラスト補正処理とは、例えば、明るさ値（輝度、明度、Ｒ（赤）値、Ｇ（緑）値、Ｂ（青）値など）が大きければ、明るさ値がより大きくなるように補正し、明るさ値が小さければ、明るさ値がより小さくなるように補正する処理である。このとき、補正する量がより大きいほど、より強いコントラスト補正処理となる。これらは、入力される値に対して補正する値を定義したＬＵＴにより実現することができる。
　また、画像処理が、彩度補正であれば、画像処理強度Ｓ１の値が大きいほど、彩度が強くなるように彩度補正処理を行う。彩度補正処理とは、彩度の値をより大きくなるように変更する処理である。このとき、変更する量がより大きいほど、より強い彩度補正処理となる。これらは、ＨＳＶ（Hue Saturation Value；色相、彩度、明度）空間での彩度を乗算または加算したり、入力される画素値を行列により線形変換したりすることにより実現することができる。

　図４の画像Ｇ１１は、手前にいる人物である被写体Ｃ１を、背景に山である被写体Ｂ１と空である被写体Ａ１とを配置して撮影した場合の画像例である。このような場合、遠景の被写体は光の散乱などにより輪郭が不鮮明になるため、被写体までの距離が大きくなるほど輪郭強調の強度を大きくするのが好適である。また、近景である被写体Ｃ１は鮮明に撮影されているため、輪郭強調の強度を大きくするとノイズ感が目立ち画質が劣化してしまう。したがって、輪郭強調処理を本実施形態のように行うことで、画質の劣化を抑えつつ輪郭が鮮明な画像を生成することができる。生成された画像は、遠景が鮮明になったことにより、近景との距離感を感じやすくなることで奥行き感が向上する。

　また、光の散乱などによりコントラストも低下してしまう。そこで、被写体までの距離が大きくなるほど、よりコントラストを強調するトーンカーブなどによりコントラストを強調するコントラスト補正をすると好適である。また、近景である被写体Ｃ１は十分なコントラストで十分な階調により撮影されており、過渡のコントラスト補正は階調数の減少が発生して画質が劣化してしまう。したがって、コントラスト補正処理を本実施形態のように行うことで、画質の劣化を抑えつつコントラスト感が向上した画像を生成することができる。生成された画像は、遠景が鮮明になったことにより、近景との距離感を感じやすくなることで奥行き感が向上する。

　また、記憶色や鮮やかさにより画像の彩度は高い方が好まれ、実物のように感じる。しかしながら、人物の肌などは肌色である必要があり、過渡の彩度強調は違和感が発生するため画質劣化となってしまう。そこで、彩度補正処理を本実施形態のように行うことで、画質の劣化を抑えつつ違和感が無く彩度が高められた画像を生成することができる。生成された画像は、彩度が高く鮮やかな画像となり、遠景が鮮明になったことにより、近景との距離感を感じやすくなることで奥行き感が向上する。

　以上に説明したように、本実施形態の画像処理装置１１００によれば、奥行き情報と画像処理の注目画素の縦位置にしたがって、画像処理強度を変化させることにより、遠景においても奥行き感を向上した高画質な画像を生成することができる。

［第２の実施形態］
　図６は、本発明の第２の実施形態における画像撮像装置１３００の構成を示す概略ブロック図である。画像撮像装置１３００は、撮像素子１２００、撮像素子１２０１、画像処理装置１１００ａ、画像表示部１２０３、画像記憶部１２０４を含んで構成される。画像処理装置１１００ａは、視差算出部１２０２、画像処理強度決定部１１０１、画像処理部１１０２を含んで構成される。なお、同図において、図１の各部に対応する部分には同一の符号（１１０１、１１０２）を付し、説明を省略する。

　撮像素子１２００および１２０１は、レンズモジュールとＣＣＤやＣＭＯＳイメージャなどで構成され、互いに平行に配置されている。すなわち、撮像素子１２０１が撮影して生成する画像は、撮像素子１２００が撮影して静止絵する画像とは視点の異なる画像である。撮像素子１２００および１２０１が撮影して生成した画像は、視差算出部１２０２に伝達される。また、これらの画像のうち、撮像素子１２００が生成した画像は、画像処理部１１０２に伝達される。

　視差算出部１２０２は、撮像素子１２００が生成した画像と、撮像素子１２０１が生成した画像とに基づき、撮像素子１２００が生成した画像に対応する視差を算出し、該視差に基づく値を奥行き値とする。なお、視差算出部１２０２は、視差は２つの画像間の被写体のずれ量であり、ブロックマッチングなどにより算出することができる。撮影された被写体までの距離Ｚと視差Ｄｉの関係式は、Ｄｉ＝ｆ×Ｂ／Ｚである。ここで、ｆは撮像素子１２００、１２０１の焦点距離であり、Ｂは２つの撮像素子１２００、１２０１間の距離である基線長である。このように、距離Ｚと視差Ｄｉとの間には相関があるので、視差算出部１２０２は、各画素における視差Ｄｉを変換した値を奥行き値とする奥行き情報を生成して、画像処理強度決定部１１０１に伝達する。

　なお、距離Ｚと視差Ｄｉとは図７のような関係であり、線形的な関係ではない。そこで、視差算出部１２０２は、距離との関係が線形となるように視差を変換する。具体的には、視差算出部１２０２は、上述の距離Ｚと視差Ｄｉの関係式を用いて、視差Ｄｉを距離Ｚに変換して、これを奥行き値としてもよいし、視差Ｄｉの逆数を奥行き値としてもよい。このようにすることで、焦点距離や基線長が不明あるは不定であっても、距離に応じた画像処理強度を適用することができるため好適である。視差の変換は、距離と完全に線形の関係にする必要はなく、それに近い変換であればその効果を得ることができる。
　画像表示部１２０３は、画像処理部１１０２による処理結果の画像を表示する。また、画像記憶部１２０４は、画像処理部１１０２による処理結果の画像を記憶する。

　以上に説明したように、本実施形態の画像撮像装置１３００によれば、奥行き情報と画像処理の注目画素の縦位置にしたがって、画像処理強度を変化させることにより、遠景においても奥行き感を向上した高画質な画像を撮影することができる。
　なお、本実施形態では、撮像素子を２つ備えた画像撮像装置１３００について説明したが、撮像素子を２つ備えていなくても、複数の視点の異なる画像から視差を算出する方法でも同様の効果が得られる。例えば、１回目の撮影点から左右方向へ移動して２回目の撮影を行うことで、複数の画像を生成、これらの視差を算出するようにしてもよい。また、視差算出部１２０２に代えて後述する奥行き情報算出部１２０５を備えるようにしても良い。

　また、本実施形態における視差算出部１２０２は、視差を変換して距離を示す値を算出し、これを奥行き情報として画像処理強度決定部１１０１に伝達しているが、奥行き情報として視差を伝達するようにしてもよい。この場合、画像処理強度決定部１１０１は、視差と、縦位置とに応じて、画像処理強度を決定するが、視差が小さいほど画像処理強度が小さくなるように、画像処理強度を決定する。例えば、視差が０であれば、図３の特性に従い、縦位置に応じた画像処理強度とする。

［第３の実施形態］
　図８は、本発明の第３の実施形態における画像表示装置１３０１の構成を示す概略ブロック図である。画像表示装置１３０１は、画像処理装置１１００ｂ、画像表示部１２０３を含んで構成される。画像処理装置１１００ｂは、奥行き情報算出部１２０５、画像処理強度決定部１１０１、画像処理部１１０２を含んで構成される。なお、同図において、図６の各部に対応する部分には同一の符号（１１０１、１１０２、１２０３）を付し、説明を省略する。

　奥行き情報算出部１２０５は、入力される画像情報Ｇ１ｉの各画素に対応する奥行き値を、画像情報Ｇ１ｉに基づき推定し、推定結果からなる奥行き情報を画像処理強度決定部１１０１に伝達する。奥行き値の推定には、従来の様々な推定方法が使用できる。例えば、色情報、消失点解析、オブジェクト抽出などにより２次元画像から３次元画像を生成する方法が挙げられる。
　画像処理強度決定部１１０１は、伝達された奥行き情報を用いて画像処理強度Ｓ１を決定する。

　以上に説明したように、本実施形態の画像表示装置１３０１によれば、奥行き情報と画像処理の注目画素の縦位置にしたがって、画像処理強度を変化させることにより、遠景においても奥行き感を向上した高画質な画像を表示することができる。

　本実施形態では、奥行き情報算出部１２０５を備えた画像表示装置１３０１について説明したが、立体映像などの情報をもった画像情報が入力された場合には、立体映像から視差を算出して奥行き情報として利用するようにしてもよい。すなわち、第２の実施形態の視差算出部１２０２を備えるようにしてもよい。また、画像情報とともに奥行き情報が入力される場合には、直接画像処理強度決定部１１０１へ入力するようにしても良い。

［第４の実施形態］
　以下、本発明の実施形態について、図面を参照して詳細に説明する。なお、各図における表現は理解しやすいように誇張して記載しており、実際のものとは異なる場合がある。
図９は、第４の実施形態における画像処理装置２１００の概略ブロック図である。画像処理装置２１００は、画像処理強度決定部２１０１と、画像処理部２１０２と、消失点算出部２１０３とを備える。

　画像処理装置２１００には、入力画像である画像情報Ｇ２ｉと、画像情報Ｇ２ｉに対応した奥行き情報Ｄ２が入力される。画像処理装置２１００は、奥行き情報Ｄ２に基づき、画像情報Ｇ２ｉに対して画像処理を行い、処理結果を出力画像情報Ｇ２ｏとして出力する。ここで、画像情報Ｇ２ｉは、ビデオ信号など、動画像を表すデータや信号であってもよいし、ＪＰＥＧ（Joint Picture Experts Group）ファイルなど、静止画を表すデータや信号であってもよい。

　図９に示すように、画像処理装置２１００が消失点算出部２１０３を備え、消失点算出部２１０３は、画像情報Ｇ２ｉから消失点を算出する。ここで、消失点とは、遠近法において実際のものでは平行線になっているものを平行でなく描く際に、その線が交わる点である。消失点算出部２１０３は、算出した消失点の座標（以下、消失点座標と称す）を画像処理強度決定部２１０１へ出力する。

　画像処理強度決定部２１０１は、画像処理の対象となる対象画素と消失点算出部２１０３が算出した消失点の位置との距離を考慮して、上記対象画素における画像処理強度Ｓ２を決定する。

　画像処理部２１０２は、画像処理強度決定部２１０１が決定した画像処理強度Ｓ２にしたがって、上記画像情報に対して画像処理を行う。具体的には、画像処理部２１０２は、画像処理強度決定部２１０１が決定した画像処理強度Ｓ２によって奥行き感を向上させる画像処理を行う。ここで、画像処理は、例えば、輪郭強調、コントラスト補正又は彩度補正が好適である。
　そして、画像処理部２１０２は、画像処理後の画像を出力画像情報Ｇ２ｏとして自装置の外部へ出力する。
　なお、画像処理強度決定部２１０１、画像処理部２１０２及び消失点算出部２１０３各ブロックはＦＰＧＡ（Field-Programmable Gate Array）などのハードウェア、又は画像処理装置２１００に内在するマイコン（図示せず）などにより処理されるソフトウェアにより構成してもよい。

　図１０は、消失点の算出の例を示す撮像画像の模式図である。ここで、撮像画像は、画像情報Ｇ２ｉが示す画像の一例である。同図の撮像画像の模式図において、被写体Ａ２が表されている。同図において、被写体Ａ２の下側の輪郭を伸ばした直線と、被写体Ａ２の上側の輪郭を伸ばした直線とが交わる点が消失点Ｖである。

　消失点算出部２１０３は、画像情報Ｇ２ｉから画像情報Ｇ２ｉの消失点を算出する。例えば、消失点算出部２１０３は、図１０に示すように、入力される画像情報Ｇ２ｉから公知のハフ変換を利用して直線を検出する。図１０の例において、消失点算出部２１０３は被写体Ａ２の下側及び上側の輪郭から直線を算出する。そして、消失点算出部２１０３は、検出した二つの直線が交わる点を消失点として算出する。

　更に、消失点算出部２１０３は、消失点の算出に奥行き情報Ｄ２を利用するようにしてもよい。例えば、消失点算出部２１０３は、ハフ変換により検出した直線から消失点を算出したときに、複数の消失点が算出された場合、奥行き情報Ｄ２を利用して最も遠いことを示す奥行き情報を有している点を消失点にする。これにより、消失点算出部２１０３は、最も遠景となる消失点を算出することができる。

　＜画像処理強度決定の詳細＞
　ここで、本実施形態における奥行き情報Ｄ２は、一例として、奥行き情報Ｄ２の値が大きくなると画像情報Ｇ２ｉ内の被写体までの距離が大きい。すなわち、８ビットの奥行き情報Ｄ２が入力される場合には、階調値０が最も近景の被写体であり、階調値２５５が最も遠景の被写体である。

　図１１は、画像処理強度Ｓ２と奥行き情報Ｄ２の値との関係の一例を示した図である。同図において、縦軸は画像処理強度Ｓ２で、横軸は奥行き情報Ｄ２である。同図において奥行き情報Ｄ２の値が０のとき画像処理強度Ｓ２がα２１であり、奥行き情報Ｄ２の値がＤ２１のとき画像処理強度Ｓ２がα２２である。同図の例において、奥行き情報Ｄ２の値と画像処理強度Ｓ２とは、線形の関係にあり、奥行き情報Ｄ２の値が大きくなるに連れて画像処理強度Ｓ２が大きくなる関係にある。被写体の連続性を考慮すると、画像処理強度Ｓ２は、奥行き情報Ｄ２の値に対して単調増加の関係が好適である。

　なお、同図では、奥行き情報Ｄ２が最大値であるときに、画像処理強度Ｓ２が最も大きくなるようにし、奥行き情報Ｄ２が最小値であるときに、画像処理強度Ｓ２が最も小さくなるようにしているが、これに限らず、入力される情報により適宜設定してもよい。例えば、画像処理強度決定部２１０１は、入力された１つの画像に対する奥行き情報Ｄ２の値の範囲が２０から１００であった場合には、奥行き情報Ｄ２の値が２０のときに画像処理強度Ｓ２が最大となり、奥行き情報Ｄ２の値が１００のときに画像処理強度Ｓ２が最小となるように設定してもよい。これにより、画像処理強度決定部２１０１は、画像情報Ｇ２ｉに適した値を画像処理強度Ｓ２に割り当てることができる。

　なお、同図では、画像処理強度Ｓ２が奥行き情報Ｄ２の値に応じて、線形に増加する例を示したが、これに限らず、線形でなくてもよく、奥行き情報Ｄ２の値が増加するに連れて画像処理強度Ｓ２が増加する傾向にあればよい。

　図１２は、強度パラメータφと、消失点と画像処理を行う対象画素との間の距離との関係の一例を示した図である。同図において、縦軸が強度パラメータφで、横軸が消失点と画像処理を行う対象画素との間の距離（消失点からの距離）である。同図において消失点からの距離が０のとき強度パラメータφがφ２であり、消失点からの距離がＬ２１のとき強度パラメータφがφ１である。同図の例において、強度パラメータφと消失点からの距離とは線形の関係にあり、強度パラメータφは、消失点からの距離が小さいほど大きくなる特性を有している。また、消失点からの距離は、対象画素が消失点である場合が最も小さくなる。ここで、被写体の連続性を考慮すると、強度パラメータφは消失点からの距離に対して単調減少の関係が好適である。

　なお、消失点と対象画素との距離は画素間距離でも市街地距離でもよい。例えば、消失点座標が（１００、１００）で対象画素の座標が（２００、２００）であり、市街地距離で消失点からの距離を算出する場合、消失点からの距離は２００である。一方、その例において、画素間距離は、√２×１００である。

　図１２では、強度パラメータφが消失点からの距離に応じて、線形に単調減少する例を示したが、これに限らず、非線形の関係であっても良い。すなわち、消失点からの距離が大きくなるに連れて画像処理強度Ｓ２が減少する傾向にあればよい。

　画像処理強度決定部２１０１は、奥行き値が最大値（８ビットであれば２５５）未満のときは、前述の方法で算出した画像処理強度Ｓ２とし、奥行き値が最大値のときは、図１２の特性を用いて強度パラメータφを画像処理強度Ｓ２とする。例えば、奥行き値が最大値となっている領域、すなわち奥行き値が飽和してしまっている領域が奥行き情報Ｄ２内に存在したとき、その領域における遠景の複数の被写体の奥行き方向の位置関係は判別することができない。そこで、奥行き値が最大値のときは、図１２の特性を使用して消失点からの距離に応じて画像処理強度Ｓを決定することができる。これは、遠景において消失点が最も遠いと推定されるからである。

　図１４は図１０に対応する奥行き情報Ｄ２を図として表わしたものである。このとき、遠景において奥行き情報値は同じ値となっているが、実際の被写体までの距離は異なっている。つまり、消失点に近い画素がより遠景である。

　したがって、上述のように、奥行き値が閾値以上のときは、図１２の特性を用いて画像処理強度を決定することにより、奥行き感を向上させることができる。すなわち、奥行き情報だけでなく、消失点までの距離に応じた画像処理強度にすることで、奥行き情報が飽和してしまっている被写体に対しても、奥行き感がでるような画像処理ができるようになる。

　一例として、画像処理強度決定部２１０１は、図１１および図１２の特性に基づいて、画像処理強度Ｓ２を決定する。

　図１３は、画像処理強度決定部２１０１の構成を示す概略ブロック図である。画像処理強度決定部２１０１は、判定部２１１１と、距離算出部２１１２と、強度算出部２１１３とを備える。
判定部２１１１は、外部から入力された奥行き情報Ｄ２を受け取る。判定部２１１１は、対象画素における奥行き情報Ｄ２の値が予め決められた閾値を超えるか否か判定する。ここで、奥行き情報Ｄ２の値が予め決められた閾値を超える場合、奥行き情報Ｄ２の値が飽和していることを意味する。判定部２１１１は、対象画素における奥行き情報Ｄ２の値が予め決められた閾値を超える場合、その判定結果を距離算出部２１１２に出力する。判定部２１１１は、対象画素における奥行き情報Ｄ２の値が予め決められた閾値以下である場合、判定結果を奥行き情報Ｄ２とともに強度算出部２１１３に出力する。
例えば、入力される奥行き情報Ｄ２が８ビットであった場合、閾値が２５４のときは奥行き情報Ｄ２が２５５のとき飽和していると判断し、閾値が２５３のときは奥行き情報Ｄ２が２５５および２５４のとき飽和していると判断する。

距離算出部２１１２は、判定部２１１１から入力された判定結果が対象画素における奥行き情報Ｄ２の値が予め決められた閾値を超えることを示す場合、画像処理を行う対象画素と消失点との距離を算出する。距離算出部２１１２は、算出した距離を強度算出部２１１３に出力する。

　強度算出部２１１３は、距離算出部２１１２から入力された距離に基づいて、画像処理強度Ｓ２を決定する。具体的には、強度算出部２１１３は、対象画素における奥行き情報Ｄ２の値が飽和している場合、対象画素と消失点との距離が大きくなるほど、画像処理強度を小さくする。強度算出部２１１３は、例えば、距離算出部２１１２から入力された距離を図１２の特性に適用することにより、画像処理強度Ｓ２を算出する。
　すなわち、画像処理強度決定部２１０１は、奥行き情報Ｄ２の値が予め決められた閾値より大きい場合、対象画素と消失点との距離が小さくなるほど画像処理強度Ｓ２を大きくする。

　例えば、画像情報Ｇ２ｉ内に奥行き情報Ｄ２の最大値を有する領域が存在する場合、その領域における遠景の複数の被写体の奥行き方向の位置関係は判別することができない。そこで、画像処理強度決定部２１０１は、図１２の特性を使用して、例えば、奥行き情報Ｄ２の値が最大値のときに、消失点からの距離に応じた画像処理強度Ｓ２に決定する。これは、消失点が最も遠景であると推定されるためであり、消失点に近い程、遠景であると推定されるからである。

　一方、強度算出部２１１３は、判定部２１１１から入力された判定結果が対象画素における奥行き情報Ｄ２の値が予め決められた閾値以下であることを示す場合、奥行き情報Ｄ２の値に基づいて、画像処理強度Ｓ２を決定する。具体的には、強度算出部２１１３は、例えば、判定部２１１１から入力された奥行き情報Ｄ２を図１１の特性に適用することにより、画像処理強度Ｓ２を算出する。
　すなわち、画像処理強度決定部２１０１は、奥行き情報Ｄ２の値が予め決められた閾値以下の場合、奥行き情報Ｄ２の値が大きくなるほど画像処理強度Ｓ２を大きくする。

　そして、強度算出部２１１３は、フレーム内の全ての画素について画像処理強度Ｓ２を算出したか否か判定する。フレーム内の全ての画素について画像処理強度Ｓ２を算出していない場合、強度算出部２１１３は、対象画素の次の画素（例えば、隣の画素）を新たな対象画素にするよう要求する要求信号を判定部２１１１に出力する。これにより、判定部２１１１は、この要求信号を受け取ると、新たな対象画素に対応する奥行き情報Ｄ２が予め決められた閾値を超えるか否か判定する。一方、フレーム内の全ての画素について画像処理強度Ｓ２を算出した場合、強度算出部２１１３は、各画素における画像処理強度Ｓ２を画像処理部２１０２に出力する。

　以下に、画像処理強度決定部２１０１の処理の一例を説明する。画像処理強度決定部２１０１は、図１１における定数α２１及び定数α２２、図１２における定数β２１及び定数β２２を予め保持する。そして、画像処理強度決定部２１０１は、奥行き情報Ｄ２の値が予め決められた閾値以下の場合、以下の処理を行う。画像処理強度決定部２１０１は、奥行き情報Ｄ２の最大値において画像処理強度Ｓ２が定数α２２となるようにし、奥行き情報Ｄ２の最小値において画像処理強度Ｓ２が定数α２１となるようにする。

　これにより、画像処理強度決定部２１０１は、奥行き情報Ｄ２の最大値において画像処理強度Ｓ２が最大とし、奥行き情報Ｄ２の最小値において画像処理強度Ｓ２が最小とすることができる。画像処理強度決定部２１０１は、奥行き情報Ｄ２の値がその間のときは、定数α２１と定数α２２を線形的に補間することで画像処理強度Ｓ２を算出する。

　一方、画像処理強度決定部２１０１は、奥行き情報Ｄ２の値が予め決められた閾値以上の場合、以下の処理を行う。画像処理強度決定部２１０１は、画像処理強度Ｓ２が最大となる消失点からの距離の最小値において画像処理強度Ｓ２が定数β２２となるようにし、画像処理強度Ｓ２が最小となる消失点からの距離の最大値において画像処理強度Ｓ２が定数β２１となるようにする。画像処理強度決定部２１０１は、消失点からの距離がその間のときは、定数β２１と定数β２２を線形的に補間することで画像処理強度Ｓ２を算出する。

　なお、例えば、画像処理強度決定部２１０１は、β２を消失点からの距離に応じて決まる変数だとすると、画像処理強度Ｓ２をα２２×β２またはα２２＋β２と算出してもよい。このとき、最も画像処理強度Ｓ２が大きくなるときはα２２×β２２またはα２２＋β２２となる。

　以上により、奥行き情報Ｄ２の値が飽和してしまっているような大きな値のときであっても、画像処理強度決定部２１０１は、容易に消失点からの距離を考慮した画素処理強度を算出することができる。
　すなわち、画像処理強度決定部２１０１は、奥行き情報Ｄ２が奥を示すほど画像処理強度Ｓ２を大きくし、対象画素と消失点との距離が小さくなるほど画像処理強度Ｓ２を大きくしてもよい。

　なお、画像処理装置２１００は、図１１および図１２から画像処理強度Ｓ２を算出する場合、奥行き情報Ｄ２の値及び消失点からの距離に関連付けられた画像処理強度Ｓ２のＬＵＴ（Ｌｏｏｋ　Ｕｐ　Ｔａｂｌｅ）を保持するようにしてもよい。その場合、画像処理強度決定部２１０１を、そのＬＵＴを参照して、奥行き情報Ｄ２の値及び消失点からの距離に対応する画像処理強度Ｓ２を読み出してもよい。
　また、図１３では閾値による判定を行ってから消失点からの距離算出をする方法を説明した。これは飽和している画素と判定したときのみ距離を算出するため、処理量を削減でき、ソフトウェアでの処理にてきしている。ハードウェアでの処理の場合には、全画素に対して消失点からの距離を算出し、奥行き情報によって選択するようにすることで実現できる。

　図１０と図１４を用いて、画像処理強度決定部２１０１の処理について説明する。図１４は、図１０の画像情報の各画素における奥行き情報Ｄ２の値を表した図である。同図において、奥行き情報Ｄ２の値が大きいほど、すなわち被写体が奥に位置するほど画素の色が黒くなっており、奥行き情報Ｄ２の値が小さいほど、すなわち被写体が手前にあるほど画素の色が白くなっている。

　例えば、図１０における遠景にある被写体Ｃ２および被写体Ｄ２では、図１４に示すように、異なる位置にあっても奥行き情報Ｄ２の値が同じとなってしまう。そのため、消失点に近い被写体Ｄ２が被写体Ｃ２よりも遠方にあるにも関わらず、奥行き情報Ｄ２の値だけに基づいて画像処理強度Ｓ２が決定される場合には、被写体Ｃ２と被写体Ｄ２に対する画像処理強度Ｓ２が同じになってしまう。

　図１０の例では、被写体Ｄ２、Ｃ２、Ａ２の順で、消失点からの距離が遠くなっているので、画像処理強度決定部２１０１は、例えば、被写体Ｄ２、Ｃ２、Ａ２の順で、画像処理強度を小さくする。これにより、画像処理強度決定部２１０１は、被写体Ｄ２の画像処理強度Ｓ２を被写体Ｃ２の画像処理強度Ｓ２よりも大きくすることができる。すなわち、画像処理強度決定部２１０１は、奥行き情報Ｄ２が飽和した領域であっても、画像処理を行う対象画素と消失点との距離に基づいて、画像処理強度Ｓ２を変化させるので、被写体までの距離に応じた画像処理強度Ｓ２を設定することができる。

　すなわち、画像処理強度決定部２１０１は、奥行き情報Ｄ２だけでなく、対象画素と消失点との距離に応じた画像処理強度Ｓ２にすることで、奥行き情報Ｄ２が飽和してしまっている被写体に対しても、奥行き感が生じるように画像処理ができるようになるため、奥行き感を向上させた画像を生成することができる。

　上述した例では、画像処理強度決定部２１０１は、奥行き情報Ｄ２が飽和してしまっているときに、対象画素と消失点との距離に応じた画像処理強度Ｓ２を決定したが、奥行き情報Ｄ２の値が予め決められた特定の範囲にある場合（例えば、予め決められた閾値より大きい場合）に、対象画素と消失点との距離に応じた画像処理強度Ｓ２を決定してもよい。これにより、画像処理強度決定部２１０１は、上述した効果を同様の効果を得ることができる。

　例えば、奥行き情報Ｄ２の値が、予め決められた特定の範囲にある場合に、その奥行き情報Ｄ２をとる画素が、遠景に該当する場合を想定する。その場合、画像処理強度決定部２１０１は、奥行き情報Ｄ２の値が特定の範囲にある画素に対して、対象画素と消失点との距離に応じた画像処理強度Ｓ２を決定する。これにより、画像処理強度決定部２１０１は、遠景の画像領域に対して、対象画素と消失点との距離に応じた画像処理強度Ｓ２を決定することができるので、遠景の奥行き感を向上させた画像を生成することができる。

　図１０のようなシーンを撮影した場合、主要な被写体は近景に配置される被写体Ｂ２であり、背景が遠景に配置される被写体Ｃ２および被写体Ｄ２である。遠景の被写体は光の散乱などにより輪郭が不鮮明になるため、画像処理部２１０２における処理は、被写体までの距離が大きくなるほど輪郭強調の強度を大きくする処理が好適である。また、近景である被写体Ｂ２は鮮明に撮影されているため、輪郭強調の強度を大きくするとノイズ感が目立ち画質が劣化してしまう。

　そこで、画像処理部２１０２は、画像処理強度決定部２１０１が決定した画像処理強度Ｓ２に基づいて、画像情報Ｇ２ｉの輪郭を強調する。具体的には、画像処理部２１０２は、画像処理強度Ｓ２が大きいほど、画像情報Ｇ２ｉの輪郭を強調するように輪郭強調処理を行う。ここで、輪郭強調処理とは、例えば、隣接する画素との明るさ値の差が、より大きくなるように明るさ値を変換する処理である。このとき、明るさ値の差が大きいほど、輪郭が強く強調される。これらは、４近傍や８近傍の周辺画素を考慮した空間フィルタにより実現することができる。例えば、対象画素の画素値がＰ２０、周辺画素の画素値がＰ２１、Ｐ２２、Ｐ２３、Ｐ２４である４近傍を考慮する場合、画像処理後の画素値Ｐ２は、Ｐ２＝Ｐ２０＋（Ｐ２０×４－Ｐ２１－Ｐ２２‐Ｐ２３‐Ｐ２４）×α２（またはβ２）として算出することができる。ここで、α２およびβ２は奥行き情報および消失点からの距離により算出されるパラメータである。

　これにより、画像処理部２１０２は、鮮明な画像を生成することができる。画像処理装置２１００は、画像の遠景を鮮明にすることにより、その画像を見たユーザが近景との距離感を感じやすくすることで、画像の奥行き感を向上させることができる。その結果、画像処理装置２１００は、ユーザに奥行き感を感じさせることができる。

　さらに、遠景では、光の散乱などによりコントラストも低下してしまう。そこで、画像処理部２１０２における処理は、トーンカーブなどによりコントラストを強調するコントラスト補正をする処理が好適である。近景である被写体Ｃ２は十分なコントラストで十分な階調により撮影されており、過渡のコントラスト補正は階調数の減少が発生して画質が劣化してしまう。
　そこで、画像処理部２１０２は、画像処理強度Ｓ２が大きいほど、画像情報Ｇ２ｉのコントラストが強くなるようにコントラスト補正処理を行ってもよい。ここで、コントラスト補正処理とは、例えば、明るさ値が大きければ、明るさ値がより大きくなるように補正し、明るさ値が小さければ、明るさ値がより小さくなるように補正する処理である。このとき、補正する量がより大きいほど、より強いコントラスト補正処理となる。これらは、入力される値に対する補正した値を定義したＬＵＴにより実現することができる。

　これにより、画像処理部２１０２は、コントラスト感が向上した画像を生成することができる。その結果、画像処理装置２１００は、画像の遠景を鮮明にすることにより、その画像を見たユーザが近景との距離感を感じやすくやすくすることで、画像の奥行き感を向上させることができる。その結果、画像処理装置２１００は、ユーザに奥行き感を感じさせることができる。

　また、記憶色や鮮やかさにより画像の彩度は高い方が好まれ、実物のように感じる。しかしながら、人物の肌などは肌色である必要があり、過渡の彩度強調は違和感が発生するため画質劣化となってしまう。そこで、画像処理部２１０２は、彩度補正を画像処理強度決定部２１０１が決定した画像処理強度Ｓ２に基づいて、画像情報Ｇ２ｉに対して彩度補正を行ってもよい。具体的には、画像処理部２１０２は、画像処理強度Ｓ２が大きいほど、彩度を大きくするよう彩度補正処理してもよい。ここで、彩度補正処理は、ＨＳＶ空間での彩度を乗算または加算したり、入力される画素値を行列による線形変換したりすることにより実現することができる。これにより、画像処理部２１０２は、奥行き情報Ｄ２と消失点からの距離とに基づいて彩度を変化させることができる。その結果、画像処理部２１０２は、画像の遠景の彩度を強調することで、違和感無く彩度が高められた画像を生成することができる。

　これにより、画像処理装置２１００は、画像の遠景の彩度を高くして、遠景が鮮明にすることにより、その画像を見たユーザが近景との距離感を感じやすくさせるので、画像の奥行き感を向上させることができる。その結果、画像処理装置２１００は、ユーザに奥行き感を感じさせることができる。

　また、消失点座標が画像情報Ｇ２ｉの外側に有る場合にも同様に扱うことができる。図１５は、消失点が画像情報Ｇ２ｉの外側にある場合の一例である。同図において、消失点が撮像画像の外側にあることが示されている。

　例えば、解像度が１９２０×１０８０画像情報Ｇ２ｉで消失点が画像情報Ｇ２ｉの外側で有る場合、画像処理装置２１００は、消失点座標を（２５００、５００）のように画像情報Ｇ２ｉの外側の値を許容するようにしておくことで、画像処理装置２１００は、消失点が画像情報Ｇ２ｉの外側でも同様の処理を適用することができる。

　さらに、画像情報Ｇ２ｉ内において、消失点より上方では被写体Ｅ２のように空などの被写体が存在することが多く、消失点より下方では被写体Ｆ２のように地面や山などの被写体が存在することが多い。これは、消失点の上方の被写体が消失点の下方の被写体よりも遠方にあることが多いことを示している。したがって、画像処理強度決定部２１０１は、画像情報Ｇ２ｉ内における対象画素と消失点の垂直方向の位置関係に基づいて、画像処理強度Ｓ２を決定してよい。例えば、画像処理強度決定部２１０１は、消失点より上方になるほど画像処理強度Ｓ２を大きくし、消失点より下方になるほど画像処理強度Ｓ２を小さくしてもよい。

　つまり、画像処理強度決定部２１０１は、対象画素と消失点との距離に加えて、対象画素と対象画素と消失点の垂直方向の位置関係に基づいて、画像処理強度Ｓ２を決定する。例えば、画像処理強度決定部２１０１は、対象画素が消失点より上方に有る場合、消失点からの距離が同一で、かつ、消失点より下方に有るときに比べてε倍（ε>１）する。また、εを消失点からの距離に応じた関数にしても良い。これにより、画像処理装置２１００は、より被写体の位置関係を考慮することができるため、その被写体の位置関係に応じた画像処理強度Ｓ２で画像処理を行うので、画像の遠景を鮮明にすることができ、画像の奥行き感を向上させることができる。その結果、ユーザに奥行き感を感じさせることができる。

　図１６は、第４の実施形態における画像処理装置２１００の処理の一例を示すフローチャートである。まず、消失点算出部２１０３は、画像情報Ｇ２ｉに基づいて、消失点座標を算出する（ステップＳ２１０１）。次に、判定部２１１１は、対象画素に対応する奥行き情報Ｄ２が予め決められた閾値を超えるか否か判定する（ステップＳ２１０２）。

　対象画素に対応する奥行き情報Ｄ２が予め決められた閾値を超える場合（ステップＳ２１０２　ＹＥＳ）、距離算出部２１１２は、対象画素と消失点との距離を算出する（ステップＳ２１０３）。次に、強度算出部２１１３は、対象画素と消失点との距離に基づいて、画像処理強度Ｓ２を算出する（ステップＳ２１０４）。

　一方、ステップＳ２１０２において、対象画素に対応する奥行き情報Ｄ２が予め決められた閾値以下の場合（ステップＳ２１０２　ＮＯ）、強度算出部２１１３は、奥行き情報Ｄ２に基づいて画像処理強度Ｓ２を算出し（ステップＳ２１０５）、ステップＳ２１０６に遷移する。
　次に、ステップＳ２１０６において、強度算出部２１１３は、フレーム内の全ての画素について画像処理強度Ｓ２を算出したか否か判定する（ステップＳ２１０６）。フレーム内の全ての画素について画像処理強度Ｓ２を算出していない場合（ステップＳ２１０６　ＮＯ）、強度算出部２１１３は、判定部２１１１に対し対象画素の次の画素を判定するよう要求し（ステップＳ２１０７）、ステップＳ２１０２に遷移する。

　一方、ステップＳ２１０６において、フレーム内の全ての画素について画像処理強度Ｓ２を算出した場合（ステップＳ２１０６　ＹＥＳ）、画像処理部２１０２は、各画素における画像処理強度Ｓ２に従って、その画素における画像情報Ｇ２ｉに対して画像処理を行う（ステップＳ２１０８）。以上で、本フローチャートの処理を終了する。

　以上に説明したように、本実施形態の画像処理装置２１００は、奥行き情報Ｄ２及び対象画素と消失点との距離に基づいて、画像処理強度Ｓ２を決定する。これにより、画像処理装置２１００は、決定した画像処理強度Ｓ２で画像に対して画像処理を行うので、画像の遠景を鮮明にすることができ、画像の奥行き感を向上させることができる。その結果、ユーザに奥行き感を感じさせることができる。

　［第５の実施形態］
　図１７は、第５の実施形態における撮像装置２３０１の概略ブロック図である。なお、図９と共通する要素には同一の符号を付し、その具体的な説明を省略する。撮像装置２３０１は、撮像部２２００と、撮像部２２０１と、画像処理装置２１００ａと、画像表示部２２０３と、画像記憶部２２０４とを備える。図１７の画像処理装置２１００ａの構成は、図９の第４の実施形態の画像処理装置２１００の構成に対して、視差算出部２２０２が追加されたものになっている。

　撮像部２２００および撮像部２２０１の２つの撮像装置は、互いに平行に配置されている。
撮像部２２００および２２０１はレンズモジュールとＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などのイメージセンサなどで構成される。
　撮像部２２００は被写体を撮像し、撮像することにより得られた第１画像情報を視差算出部２２０２に出力する。
　同様に、撮像部２２０１は被写体を撮像し、撮像することにより得られた第２画像情報を視差算出部２２０２に出力する。

　視差算出部２２０２は、入力画像と、入力画像とは視点の異なる画像とに基づき、入力画像の各画素に対応する視差を算出し、算出した視差に基づいて奥行き情報Ｄ２を決定する。
ここで、視差は２つの画像間の被写体のずれ量である。具体的には、例えば、視差算出部２２０２は、撮像部２２００から入力された第１画像情報と撮像部２２０１から入力された第２画像情報とを用いて、ブロックマッチングにより、第１画像情報の各画素に対応する視差値を算出する。

　ここで、撮影された被写体までの距離Ｚと視差ｄの関係はｄ＝ｆ×Ｂ／Ｚで表される。
ｆは撮像部の焦点距離であり、Ｂは２つの撮像部間の距離である基線長である。上述の距離Ｚと視差ｄの関係式から、距離Ｚと視差ｄとには相関がある。本実施形態において、画像処理装置２１００ａは、視差ｄに基づいて奥行き情報Ｄ２を算出する。

　図１８は、距離Ｚと視差ｄとの関係を示した図である。同図に示すように、距離Ｚと視差ｄとは反比例の関係にあり、線形的な関係ではない。そこで、視差算出部２２０２は、距離との関係が線形となるように視差ｄを変換し、変換後の値を奥行き情報Ｄ２として利用する。具体的には、例えば、視差算出部２２０２は、算出した視差ｄの逆数（１／ｄ）を算出し、算出した視差ｄの逆数を奥行き情報Ｄ２とする。そして、視差算出部２２０２は、算出した奥行き情報Ｄ２を、画像処理強度決定部２１０１に出力する。

　これにより、画像処理装置２１００ａは、距離に応じた画像処理強度Ｓ２を適用することができるため好適である。なお、視差の変換は、距離と完全に線形の関係にする必要はなく、それに近い変換であればよい。
　また、視差算出部２２０２は、算出した視差ｄをそのまま奥行き情報Ｄ２としてもよい。その場合、奥行き情報Ｄ２は被写体までの距離が遠いほど小さく、距離が近いほど大きくなる。そのため、画像処理強度決定部２１０１は、奥行き情報Ｄ２の値が小さくなるほど画像処理強度Ｓ２を大きくすればよい。これにより、画像処理強度決定部２１０１は、奥行き情報Ｄ２が奥を示すほど画像処理強度Ｓ２を大きくすることができる。

　画像処理強度決定部２１０１は、視差算出部２２０２から入力された奥行き情報Ｄ２と消失点算出部２１０３から入力された消失点座標とに基づいて、画像処理強度Ｓ２を決定する。画像処理部２１０２は、画像処理強度決定部２１０１が決定した画像処理強度Ｓ２で画像処理を行う。画像処理部２１０２は画像処理により得られた出力画像情報を、画像表示部２２０３に表示させたり、画像記憶部２２０４に記憶させたりする。

　以上に説明したように、本実施形態の撮像装置２３０１によれば、奥行き情報Ｄ２及び画像処理の対象画素と消失点との距離に基づいて、対象画素における画像処理強度Ｓ２を決定することにより、奥行き感を向上した高画質な画像を生成することができる。
　なお、本実施形態では、撮像部を２つ備えた撮像装置２３０１について説明したが、複数の画像から視差情報を算出する方法でも同様の効果が得られ、例えば、１回目の撮影位置から左右方向へ移動して２回目の撮影を行うことで実現できる。また、視差算出部２２０２に代えて後述する奥行き情報算出部を備えるようにしてもよい。

［第６の実施形態］
　図１９は、第６の実施形態における表示装置２３０２の概略ブロック図である。なお、図９と共通する要素には同一の符号を付し、その具体的な説明を省略する。表示装置２３０２は、画像処理装置２１００ｂと、画像表示部２２０３とを備える。図１９の画像処理装置２１００ｂの構成は、図９の第４の実施形態の画像処理装置２１００の構成に対して、奥行き情報算出部２２０５が追加されたものになっている。

　奥行き情報算出部２２０５は、表示装置の外部から入力される画像情報Ｇ２ｉから奥行き情報Ｄ２を推定する。ここで、奥行き情報Ｄ２の推定には、従来の様々な推定方式が使用できる。例えば、奥行き情報算出部２２０５は、色情報、消失点解析、領域分割、オブジェクト抽出などにより２次元画像から３次元画像を生成することにより、奥行き情報Ｄ２を生成する。奥行き情報算出部２２０５は、推定した奥行き情報Ｄ２を画像処理強度決定部２１０１に出力する。

　画像処理部２１０２は、第４の実施形態の画像処理部２１０２と同様の機能を有するが、以下の点が異なる。画像処理部２１０２は、画像処理後の画像を画像表示部２２０３に表示させる。
　以上に説明したように、本実施形態の表示装置２３０２は、奥行き情報Ｄ２及び画像処理の対象画素と消失点との距離に基づいて、対象画素における画像処理強度Ｓ２を決定する。これにより、表示装置２３０２は、奥行き感を向上した高画質な画像を表示することができる。

　なお、本実施形態では、奥行き情報算出部２２０５を備えた表示装置２３０２について説明したが、立体映像などの情報をもった画像情報が入力された場合には、立体映像から視差を算出し、視差に基づいて奥行き情報Ｄ２を算出し、算出した奥行き情報Ｄ２に基づいて画像処理強度を決定してもよい。その場合にも表示装置２３０２は、上記と同様の効果が得られる。また、表示装置２３０２に画像情報とともに奥行き情報Ｄ２が入力される場合には、表示装置２３０２は、奥行き情報Ｄ２を直接画像処理強度決定部２１０１へ入力するようにしてもよい。

　また、各実施形態の画像処理装置（２１００、２１００ａ又は２１００ｂ）は、対象画素と消失点との距離及び奥行き情報Ｄ２に基づいて、画像処理強度Ｓ２を決定したが、これに限ったものではない。
　画像処理装置（２１００、２１００ａ又は２１００ｂ）は、画像中で予め決められた位置より上に位置する対象画素に対して、その対象画素と消失点との距離に応じて、対象画素における画像処理強度Ｓ２を決定してもよい。また、画像処理装置（２１００、２１００ａ又は２１００ｂ）は、特徴量抽出により、海、空または山などの背景となる背景画像領域を抽出し、背景画像領域に対して、対象画素と消失点との距離に応じて、画像処理強度Ｓ２を決定してもよい。

　なお、複数の装置を備えるシステムが、各実施形態の画像処理装置（２１００、２１００ａ又は２１００ｂ）の各処理を、それらの複数の装置で分散して処理してもよい。
　また、本実施形態の画像処理装置（２１００、２１００ａ又は２１００ｂ）の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、画像処理装置（２１００、２１００ａ又は２１００ｂ）に係る上述した種々の処理を行ってもよい。

［第７の実施形態］
　以下、本発明の実施形態について、図面を参照して詳細に説明する。なお、各図における表現は理解しやすいように誇張して記載しており、実際のものとは異なる場合がある。
図２０は、第７の実施形態における画像処理装置３１００の概略ブロック図である。画像処理装置３１００は、画像処理強度決定部３１０１と、画像処理部３１０２と、奥行き情報解析部３１０３とを備える。

　画像処理装置３１００には、入力画像である画像情報Ｇ３ｉと、画像情報Ｇ３ｉに対応した奥行き情報Ｄ３が入力される。ここで、画像情報は、画像を構成する画素の階調値などの値である。また、奥行き情報は、画像情報に対応した奥行きを示す情報であり、本実施形態では、奥行き情報の値が大きくなると画像情報内の被写体までの距離が大きいとする。すなわち、８ビットの奥行き情報が入力される場合には、階調値０が最も近景の被写体であり、階調値２５５が最も遠景の被写体である。
　そして、画像処理装置３１００は、奥行き情報Ｄ３に基づき、画像情報Ｇ３ｉに対して画像処理を行い、処理結果を出力画像情報Ｇ３ｏとして出力する。
　なお、画像情報Ｇ３ｉは、ビデオ信号など、動画像を表すデータや信号であってもよいし、ＪＰＥＧ（Joint Picture Experts Group）ファイルなど、静止画を表すデータや信号であってもよい。

　奥行き情報解析部３１０３は、画像情報に対応する奥行き情報Ｄ３に基づいて、該奥行き情報Ｄ３の頻度分布に関する情報を抽出する。具体的には、例えば、奥行き情報解析部３１０３は、入力される一つの画像情報に対する奥行き情報Ｄ３の頻度分布に基づいて、予め決められた規則によって第一の奥行き情報及び第二の奥行き情報を算出する。ここで、第一の奥行き情報及び第二の奥行き情報は、それぞれ異なる奥行き情報Ｄ３の値である。そして、奥行き情報解析部３１０３は、抽出した奥行き情報Ｄ３の頻度分布に関する情報（例えば、第一の奥行き情報及び第二の奥行き情報）を画像処理強度決定部３１０１に出力する。奥行き情報解析部３１０３の処理の詳細は後述する。

　画像処理強度決定部３１０１は、奥行き情報解析部３１０３が抽出した情報と画像処理装置３１００の外部から入力された奥行き情報Ｄ３とに基づいて、画像情報の各画素における画像処理強度Ｓ３を決定する。画像処理強度決定部３１０１は、決定した画像処理強度Ｓ３を画像処理部３１０２に出力する。

　画像処理部３１０２は、画像処理強度決定部３１０１が決定した各画素における画像処理強度にしたがって、該画素の画像情報に対して画像処理を行う。ここで、画像処理は輪郭強調、コントラスト補正又は彩度補正が好適である。画像処理部３１０２は、画像処理を行うことにより生成した画像を出力画像情報Ｇ３ｏとして自装置の外部へ出力する。
　なお、画像処理強度決定部３１０１、画像処理部３１０２及び奥行き情報解析部３１０３の各ブロックはＦＰＧＡ（Field-Programmable Gate Array）などのハードウェア、又は画像処理装置３１００に内在するマイコン（図示せず）などにより処理されるソフトウェアにより構成してもよい。

　＜奥行き情報解析部３１０３の処理の詳細＞
　続いて、奥行き情報解析部３１０３の処理の詳細について説明する。
　図２１は、第７の実施形態における奥行き情報解析部３１０３の概略ブロック図である。奥行き情報解析部３１０３は、頻度分布算出部３１１１と、第一の奥行き情報算出部３１１２と、第二の奥行き情報算出部３１１３とを備える。
　頻度分布算出部３１１１は、画像処理装置３１００の外部から入力された奥行き情報Ｄ３の頻度分布を算出し、算出した頻度分布を第一の奥行き情報算出部３１１２と第二の奥行き情報算出部３１１３とに出力する。

　第一の奥行き情報算出部３１１２は、頻度分布算出部３１１１から入力された頻度分布において、頻度が閾値α３以上の範囲で奥行き情報Ｄ３が最小となる奥行き情報Ｄ３ｍｉｎの値を第一の奥行き情報として算出する。そして、第一の奥行き情報算出部３１１２は、算出した第一の奥行き情報を画像処理強度決定部３１０１に出力する。

　第二の奥行き情報算出部３１１３は、頻度分布算出部３１１１から入力された頻度分布において、頻度が閾値α３以上の範囲で奥行き情報Ｄ３が最大となる奥行き情報Ｄ３ｍａｘの値を第二の奥行き情報として算出する。そして、第二の奥行き情報算出部３１１３は、算出した第二の奥行き情報を画像処理強度決定部３１０１に出力する。

　続いて、図２２を用いて、奥行き情報解析部３１０３の処理について説明する。図２２は、奥行き情報の頻度分布の一例を示した図である。同図において、横軸が奥行き情報、縦軸が頻度である。同図において、頻度が最大となる奥行き情報Ｄ３ｏｂｊが示されている。また、同図において、閾値α３以上の頻度を取る範囲における奥行き情報Ｄ３の最小値（以下、範囲最小値という）Ｄ３ｍｉｎと、閾値α３以上の頻度を取る範囲における奥行き情報Ｄ３の最大値（以下、範囲最大値という）Ｄ３ｍａｘとが示されている。

　例えば、奥行き情報解析部３１０３は、図２２に示すように、奥行き情報Ｄ３の頻度分布（ヒストグラム）を利用して第一の奥行き情報と第二の奥行き情報を算出する。ここで、通常の方式で最大値および最小値を算出すると、頻度が予め決められた閾値α３より小さい場合であっても最大値および最小値として算出されてしまい、奥行き情報にノイズが存在する場合などは誤算出が発生する可能性がある。

　本実施形態において、奥行き情報解析部３１０３は、一つの奥行き情報の頻度分布において、奥行き情報の頻度が予め決められた閾値以上である範囲で最小の奥行き情報Ｄ３を第一の奥行き情報として算出する。また、奥行き情報解析部３１０３は、一つの奥行き情報の分布において、奥行き情報Ｄ３の頻度が予め決められた閾値以上である範囲で最大の奥行き情報Ｄ３を第二の奥行き情報として算出する。奥行き情報解析部３１０３は、算出した第一の奥行き情報と第二の奥行き情報を画像処理強度決定部３１０１に出力する。
　これにより、奥行き情報解析部３１０３は、安定して第一の奥行き情報及び第二の奥行き情報を算出することができる。

　また、奥行き情報解析部３１０３は、頻度の極大値には主要な被写体が存在すると推定することも可能で、例えば、極大値のうち最も頻度の値が大きい奥行き情報（最頻値）Ｄ３ｏｂｊには主要な被写体が存在すると推定する。

　さらに、奥行き情報解析部３１０３は、画像情報Ｇ３ｉを任意の領域（例えば、縦４分割、横４分割で合計１６分割の領域）に分割して領域ごとにヒストグラムを作成して、被写体の位置を推定してもよい。その場合、例えば、特定領域に偏って存在する被写体の場合、その被写体は奥行き情報全体のヒストグラムでは極大値として表れないが、その被写体は、分割された領域において、その領域のヒストグラムでは極大値として表れる場合がある。これにより、奥行き情報解析部３１０３は、画像情報Ｇ３ｉ内の各被写体の奥行き情報を推定することができる。
　奥行き情報解析部３１０３は、このようにして算出された奥行き情報の解析結果を、画像処理強度決定部３１０１に出力する。

　＜画像処理強度決定部３１０１の処理の詳細＞
　図２３は、画像処理強度Ｓ３と奥行き情報Ｄ３との関係の一例を示した図である。同図において、横軸が奥行き情報Ｄ３で、縦軸が画像処理強度Ｓ３である。同図において奥行き情報Ｄ３の値が大きくなるに従って、線形に画像処理強度Ｓ３が大きくなる特性が示されている。被写体の連続性を考慮すると、画像処理強度Ｓ３は奥行き情報Ｄ３に対して単調増加の関係が好適である。

　図２３では、奥行き情報Ｄ３が取り得る範囲の最大値（例えば２５５）にあるときに、画像処理強度が最も大きくなるようにし、奥行き情報Ｄ３が取り得る範囲の最小値（例えば０）にあるときに、画像処理強度Ｓ３が最も小さくなるようにしている。
　しかし、実際に入力される画像情報は図２２に示したように、奥行き情報の階調値の取り得る範囲のうち、一部の範囲に分布している。そのため、画像処理による効果が十分に得られない可能性がある。

　そこで、画像処理強度決定部３１０１は、奥行き情報解析部３１０３が算出した第一の奥行き情報と第二の奥行き情報を利用して画像処理強度を決定する。画像処理強度決定部３１０１は、第一の奥行き情報と第二の奥行き情報との間の所望の範囲で、画像処理強度を変化させる。
　図２４は、奥行き情報に対する画像処理強度の設定の一例を示す図である。同図において、横軸が奥行き情報Ｄ３で、縦軸が画像処理強度Ｓ３である。同図において、範囲最小値Ｄ３ｍｉｎで画像処理強度Ｓ３がβ３１であり、範囲最大値Ｄ３ｍａｘで画像処理強度Ｓ３がβ３２であることが示されている。また、同図において、範囲最小値Ｄ３ｍｉｎから範囲最大値Ｄ３ｍａｘまでの範囲で、奥行き情報の値が大きくなるに従って、線形に画像処理強度Ｓ３が大きくなる特性が示されている。
　なお、奥行き情報Ｄ３がＤ３ｍｉｎ以下では、画像処理強度Ｓ３はβ３１で一定とし、奥行き情報Ｄ３がＤ３ｍａｘ以下では、画像処理強度Ｓ３はβ３２で一定とする。

　画像処理強度決定部３１０１は、例えば、図２４に示すような特性により画像処理強度を決定する。具体的には、画像処理強度決定部３１０１は、画像処理強度Ｓ３をβ３１からβ３２で変化させて画像処理を行う場合、範囲最小値Ｄ３ｍｉｎでβ３１となり範囲最大値Ｄ３ｍａｘでβ３２となるように設定し、その間の奥行き情報Ｄ３の画像処理強度Ｓ３を連続的に設定する。これにより、画像処理強度決定部３１０１は、奥行き情報Ｄ３と画像処理強度Ｓ３の対応関係を設定する。そして、画像処理強度決定部３１０１は、設定した奥行き情報Ｄ３と画像処理強度Ｓ３の対応関係に、各画素における奥行き情報Ｄ３を適用することにより、各画素における画像処理強度Ｓ３を算出する。

　ここで、本実施形態の例では、範囲最小値Ｄ３ｍｉｎを第一の奥行き情報とし、範囲最大値Ｄ３ｍａｘを第二の奥行き情報とする。その場合、画像処理強度決定部３１０１は、第二の奥行き情報において画像処理強度Ｓ３が最も大きくなり、第一の奥行き情報において画像処理強度が最も小さくなり、第一の奥行き情報と第二の奥行き情報の間で奥行き情報Ｄ３が大きくなるほど画像処理強度Ｓ３が大きくなるように画像処理強度を決定する。

　＜画像処理部３１０２の処理の詳細＞
　図２５と図２６を用いて、画像処理装置３１００に入力される画像情報Ｇ３ｉと奥行き情報Ｄ３を説明する。図２５は、第７の実施形態における画像処理装置３１００に入力される画像情報Ｇ３ｉの例を示す図である。同図において、近景に存在する被写体Ｂ３の画像領域３０７２と、被写体Ｂ３よりも遠方に位置する被写体Ａ３の画像領域３０７１とが示されている。

　図２６は、図２５に対応した奥行き情報Ｄ３の例を示す図である。同図の各画素において、奥行き情報が白から黒までのグレースケールで表されており、白色になるほど奥行き情報が小さい。同図において、被写体Ａ３の画像領域に相当する奥行き情報（被写体Ａ３の奥行き情報）３０８１と、被写体Ｂ３の画像領域に相当する奥行き情報（被写体Ｂ３の奥行き情報）３０８２とが示されている。被写体Ｂ３の奥行き情報３０８２が被写体Ａ３の奥行き情報３０８１よりも奥行き情報Ｄ３が小さいことが示されている。これは、被写体Ｂ３が被写体Ａ３よりも手前に位置することを意味する。

　図２５のようなシーンが画像情報として入力され、対応する奥行き情報が図２６として入力される場合、主要な被写体は近景に配置される被写体Ｂ３であり、背景が遠景に配置される被写体Ａ３などである。遠景の被写体は光の散乱などにより輪郭が不鮮明になるため、画像処理部３１０２における処理は、被写体までの距離が大きくなるほど輪郭強調の強度を大きくするのが好適である。また、近景である被写体Ｂ３は鮮明に撮影されているため、輪郭強調の強度を大きくするとノイズ感が目立ち画質が劣化してしまう。

　そこで、画像処理部３１０２は、画像処理強度決定部３１０１が決定した画像処理強度Ｓ３に基づいて、例えば、画像情報Ｇ３ｉの輪郭を強調する。具体的には、画像処理部３１０２は、画像処理強度Ｓ３が大きいほど、画像情報Ｇ３ｉの輪郭を強く強調するように輪郭強調処理を行う。輪郭強調処理とは、例えば、隣接する画素との明るさ値の差が、より大きくなるように明るさ値を変換する処理である。このとき、明るさ値の差が大きいほど、輪郭が強く強調される。これらは、４近傍や８近傍の周辺画素を考慮した空間フィルタにより実現することができる。例えば、対象画素の画素値がＰ３０、周辺画素の画素値がＰ３１、Ｐ３２、Ｐ３３、Ｐ３４である４近傍を考慮する場合、画像処理後の画素値Ｐ３は、Ｐ３＝Ｐ３０＋（Ｐ３０×４－Ｐ３１－Ｐ３２‐Ｐ３３‐Ｐ３４）×Ｓ３として算出することができる。ここで、Ｓ３は画像処理強度決定部３１０１により算出される画像処理強度である。

　これにより、画像処理部３１０２は、画像処理強度Ｓ３が大きくなるほど、画像情報Ｇ３ｉの輪郭をより強調することができ、鮮明な画像を生成することができる。その結果、画像処理装置３１００は、画像の遠景を鮮明にすることにより、その画像を見たユーザが近景との距離感を感じやすくすることで、画像の奥行き感を向上させることができる。その結果、画像処理装置３１００は、ユーザに奥行きを感じさせることができる。

　しかも、画像処理装置３１００は、奥行き情報Ｄ３の頻度分布に基づいて（特に奥行き情報Ｄ３の頻度分布に閾値を設定することで）画像処理強度Ｓ３を変更する奥行き情報Ｄ３の範囲を設定し、設定した奥行き情報Ｄ３の範囲で画像処理強度が変化させることができるので、適切に画像の奥行き感を強調することができる。

　さらに、遠景では、光の散乱などによりコントラストも低下してしまう。そこで、画像処理部３１０２における処理は、トーンカーブなどによりコントラストを強調するコントラスト補正をしてもよい。近景である被写体Ｃ３は十分なコントラストで十分な階調により撮影されており、過渡のコントラスト補正は階調数の減少が発生して画質が劣化してしまう。
　そこで、画像処理部３１０２は、画像処理強度Ｓ３が大きいほど、画像情報Ｇ３ｉのコントラストが強くなるようにコントラスト補正処理を行ってもよい。ここで、コントラスト補正処理とは、例えば、明るさ値が大きければ、明るさ値がより大きくなるように補正し、明るさ値が小さければ、明るさ値がより小さくなるように補正する処理である。このとき、補正する量がより大きいほど、より強いコントラスト補正処理となる。これらは、入力される値に対する補正した値を定義したＬＵＴにより実現することができる。

　コントラスト補正処理とは、例えば、明るさ値が大きければ、明るさ値がより大きくなるように補正し、明るさ値が小さければ、明るさ値がより小さくなるように補正する処理である。このとき、補正する量がより大きいほど、より強いコントラスト補正処理となる。これらは、入力される値に対する補正した値を定義したＬＵＴにより実現することができる。
　これにより、画像処理部３１０２は、コントラスト感が向上した画像を生成することができる。その結果、画像処理装置３１００は、画像の遠景を鮮明にすることにより、画像の奥行き感を向上させることができる。その結果、画像処理装置３１００は、その画像を見たユーザに対し近景との距離感を感じやすくさせることができるので、ユーザに奥行きを感じさせることができる。

　また、記憶色や鮮やかさにより画像の彩度は高い方が好まれ、実物のように感じる。しかしながら、人物の肌などは肌色である必要があり、過渡の彩度強調は違和感が発生するため画質劣化となってしまう。そこで、画像処理部３１０２は、画像処理強度決定部３１０１が決定した画像処理強度Ｓ３に基づいて、画像情報Ｇ３ｉに対して彩度補正を行ってもよい。
ここで、彩度補正処理は、ＨＳＶ空間での彩度を乗算または加算したり、入力される画素値を行列による線形変換したりすることにより実現することができる。これにより、画像処理部３１０２は、奥行き情報Ｄ３に基づいて彩度を変化させることができる。その結果、画像処理部３１０２は、画像の遠景の彩度を強調することで、違和感無く彩度が高められた画像を生成することができる。

　これにより、画像処理装置３１００は、画像の遠景の彩度を高くして、遠景を鮮明にすることにより、近景との距離感を感じやすくさせることができるので、画像の奥行き感を向上させることができる。その結果、画像処理装置３１００は、その画像を見たユーザに対しユーザに奥行きを感じさせることができる。

　図２７は、第７の実施形態における画像処理装置３１００の処理の一例を示すフローチャートである。まず、奥行き情報解析部３１０３は、画像情報Ｇ３ｉから範囲最小値Ｄ３ｍｉｎを算出する（ステップＳ３１０１）。次に、奥行き情報解析部３１０３は、画像情報Ｇ３ｉから範囲最大値Ｄ３ｍａｘを算出する（ステップＳ３１０２）。次に、画像処理強度決定部３１０１は、範囲最小値Ｄ３ｍｉｎと範囲最大値Ｄ３ｍａｘに基づいて、奥行き情報Ｄ３と画像処理強度Ｓ３との対応関係を設定する（ステップＳ３１０３）。

　次に、画像処理強度決定部３１０１は、設定した対応関係に、各画素における奥行き情報Ｄ３を適用することにより、各画素における画像処理強度Ｓ３を算出する（ステップＳ３１０４）。次に、画像処理部３１０２は、画像処理強度決定部３１０１が決定した各画素における画像処理強度Ｓ３に基づいて、その画素の画像情報Ｇ３ｉに対して画像処理を行う。以上で、本フローチャートの処理を終了する。

　以上により、画像処理強度決定部３１０１は、画像情報Ｇ３ｉの奥行き情報Ｄ３の範囲で奥行き情報Ｄ３に応じて画像処理強度Ｓ３を決定することができる。画像処理部３１０２は、画像情報に含まれる全ての画像領域に対して、奥行き情報Ｄ３に応じた画像処理強度Ｓ３で画像処理を行うので、遠景を鮮明にすることができる。その結果、画像処理装置３１００は、その画像を見たユーザに対し近景との距離感を感じやすくさせることができるので、ユーザに奥行きを感じさせることができる。

　＜変形例１＞
　さらに、画像処理強度決定部３１０１は、前景の主要被写体の奥行き情報Ｄ３を利用して画像処理強度Ｓ３を決定してもよい。ここで、画像情報Ｇ３ｉは主要被写体を中心とした画像であり、主要被写体からの奥行き情報Ｄ３の違いに対して画像処理をすることにより、主要被写体が強調される画像処理を行うことができる。

　図２８は、主要被写体以上に奥に位置する被写体に対して画像処理強度を行う場合における、奥行き情報に対する画像処理強度の設定の一例を示す図である。同図において、横軸が奥行き情報Ｄ３で、縦軸が画像処理強度Ｓ３である。また、同図において、Ｄ３ｍｉｎは範囲最小値であり、Ｄ３ｍａｘは範囲最大値である。同図において、主要被写体の奥行き情報Ｄ３ｏｂｊで画像処理強度Ｓ３がβ３１であり、範囲最大値Ｄ３ｍａｘで画像処理強度Ｓ３がβ３２であることが示されている。また、同図において、主要被写体の奥行き情報Ｄ３ｏｂｊから範囲最大値Ｄ３ｍａｘまでの範囲で、奥行き情報の値が大きくなるに従って、線形に画像処理強度Ｓ３が大きくなる特性が示されている。

　奥行き情報解析部３１０３は、奥行き情報Ｄ３の頻度分布から主要被写体の奥行き情報Ｄ３ｏｂｊと奥行き情報の最大値Ｄ３ｍａｘを抽出し、抽出した主要被写体の奥行き情報Ｄ３ｏｂｊと奥行き情報の最大値Ｄ３ｍａｘを画像処理強度決定部３１０１に出力する。
　画像処理強度決定部３１０１は、画像処理強度Ｓ３をβ３１からβ３２で変化させて画像処理を行う場合、画像処理強度Ｓ３は、奥行き情報Ｄ３が主要被写体の奥行き情報Ｄ３ｏｂｊでβ３１となり範囲最大値Ｄ３ｍａｘでβ３２となるように設定し、その間の奥行き情報Ｄ３に対応する画像処理強度Ｓ３を連続的に設定する。

　すなわち、奥行き情報解析部３１０３は、奥行き情報Ｄ３の頻度分布から第一の奥行き情報および第二の奥行き情報に対応する奥行き情報Ｄ３を抽出する。ここで、本変形例１では、第二の奥行き情報が範囲最大値である。また、例えば、第一の奥行き情報が主要被写体の奥行き情報である。そして、画像処理強度決定部３１０１は、第二の奥行き情報において画像処理強度が最も大きくなり、第一の奥行き情報において画像処理強度が最も小さくなり、奥行き情報が大きくなると画像処理強度が大きくなるように画像処理強度を決定する。

　これにより、画像処理強度決定部３１０１は、画像情報の主要被写体の奥行き情報Ｄ３ｏｂｊに応じた画像処理強度を割り当てる。これにより、画像処理部３１０２は、主要被写体以上に奥に位置する被写体の画像領域に対して、奥行き情報に応じた画像処理強度で画像処理を行うことができるので、ユーザに奥行きを感じさせることができる。

　ここで、奥行き情報解析部３１０３は、主要被写体が人物である場合には、顔認識技術を組み合わせることにより、主要被写体の奥行き情報Ｄ３ｏｂｊを取得するようにしてもよい。例えば、顔認識により顔を検出したときに、検出した顔の領域に対応した奥行き情報Ｄ３を主要被写体の奥行き情報Ｄ３ｏｂｊとする。このとき、奥行き情報解析部３１０３は、検出した顔の領域に対応した奥行き情報Ｄ３を所定の領域の平均値とする。これにより、奥行き情報解析部３１０３は、平均値を取ることより、奥行き情報Ｄ３に含まれるノイズなどの影響を低減することができる。

　＜変形例２＞
　さらに、画像処理強度決定部３１０１は、主要被写体の奥行き情報Ｄ３ｏｂｊと奥行き情報の最大値Ｄ３ｍａｘの間の奥行き情報Ｄ３を起点として範囲最大値Ｄ３ｍａｘに向かって画像処理強度Ｓ３を大きくしてもよい。ここで、人物や動物などの主要被写体は厚みを持っている。そのため、奥行き情報解析部３１０３で算出された主要被写体の奥行き情報Ｄ３ｏｂｊは、主要被写体の画像領域に含まれる各画素に対応する奥行き情報Ｄ３のうちのいずれかの奥行き情報Ｄ３である。

　したがって、主要被写体より奥に位置する被写体から画像処理を開始するためには、画像処理強度決定部３１０１は、算出された主要被写体の奥行き情報Ｄ３ｏｂｊより予め決められた値だけ大きい奥行き情報Ｄ３を起点として範囲最大値Ｄ３ｍａｘに向かって画像処理強度Ｓ３を大きくしてもよい。その際、例えば、画像処理強度決定部３１０１は、図２９のような奥行き情報Ｓ３と画像処理強度Ｓ３の関係を使用して、画像処理強度Ｓ３を決定してもよい。

　図２９は、主要被写体より奥に位置する被写体に対して画像処理強度を行う場合における、奥行き情報に対する画像処理強度の設定の一例を示す図である。同図において、横軸が奥行き情報Ｄ３で、縦軸が画像処理強度Ｓ３である。また、同図において、Ｄ３ｍｉｎは範囲最小値であり、Ｄ３ｍａｘは範囲最大値であり、Ｄ３０は主要被写体の奥行き情報Ｄ３ｏｂｊと奥行き情報の最大値Ｄ３ｍａｘの間に位置する奥行き情報（以下、中間奥行き情報と称する）である。同図において、中間奥行き情報Ｄ３０で画像処理強度Ｓ３がβ３１であり、範囲最大値Ｄ３ｍａｘで画像処理強度Ｓ３がβ３２であることが示されている。また、同図において、中間奥行き情報Ｄ３０から範囲最大値Ｄ３ｍａｘまでの範囲で、奥行き情報Ｄ３の値が大きくなるに従って、線形に画像処理強度Ｓ３が大きくなる特性が示されている。

　奥行き情報解析部３１０３は、範囲最大値Ｄ３ｍａｘと中間奥行き情報Ｄ３０とを算出する。
具体的には、例えば、奥行き情報解析部３１０３は、主要被写体の奥行き情報Ｄ３ｏｂjに所定値だけ加算することにより中間奥行き情報Ｄ３０を算出する。そして、奥行き情報解析部３１０３は、算出した範囲最大値Ｄ３ｍａｘと中間奥行き情報Ｄ３０とを画像処理強度決定部３１０１に出力する。

　なお、奥行き情報解析部３１０３は、主要被写体の奥行き情報Ｄ３ｏｂjに所定値だけ乗算すること、主要被写体の奥行き情報Ｄ３ｏｂjと範囲最大値Ｄ３ｍａｘの平均値とすること、または主要被写体の奥行き情報Ｄ３ｏｂjと範囲最大値Ｄ３ｍａｘと予め決められた割合で混合した値とすること等により中間奥行き情報Ｄ３０を算出してもよい。

　画像処理強度決定部３１０１は、画像処理強度Ｓ３をβ３１からβ３２で変化させて画像処理を行う場合、中間奥行き情報Ｄ３０でβ３１となり範囲最大値Ｄ３ｍａｘでβ３２となるように設定し、その間の奥行き情報Ｄ３に対する画像処理強度Ｓ３を連続的に設定する。

　すなわち、奥行き情報解析部３１０３は、奥行き情報Ｄ３の頻度分布から第一の奥行き情報および第二の奥行き情報に対応する奥行き情報Ｄ３を抽出する。ここで、本変形例２では、第二の奥行き情報が範囲最大値Ｄ３ｍａｘであり、第一の奥行き情報が中間奥行き情報Ｄ３０である。そして、画像処理強度決定部３１０１は、第二の奥行き情報において画像処理強度Ｓ３が最も大きくなり、第一の奥行き情報において画像処理強度Ｓ３が最も小さくなり、第一の奥行き情報と第二の奥行き情報の範囲で奥行き情報Ｄ３が大きくなると画像処理強度Ｓ３が大きくなるように画像処理強度Ｓ３を決定する。

　これにより、画像処理部３１０２は、主要被写体より奥に位置する被写体に対応する画像領域に対して、奥行き情報Ｄ３に応じた画像処理強度Ｓ３で画像処理を行うことができるので、ユーザに奥行きを感じさせることができる。

　なお、画像処理強度決定部３１０１は、上述した図２３の特性、図２４の特性（本実施形態の特性）、図２８の特性（変形例１の特性）及び図２９の特性（変形例２の特性）をシーンによって選択するようにしても良い。例えば、画像処理強度決定部３１０１は、近景の被写体が存在しない場合又は被写体として人物が存在しない場合などは、図２３の特性を利用して画像処理強度Ｓ３を決定してもよい。また、画像処理強度決定部３１０１は、近景の被写体や人物が被写体として存在する場合には、図２９の特性を利用してもよい。さらに、画像処理強度決定部３１０１は、視差範囲が一部に偏っている場合（例えば、近景のみ、遠景のみの画像の場合）、画像処理強度Ｓ３を奥行き情報Ｄ３によらず一律に予め決められた値にしてもよい。これにより、画像処理装置３１００は、シーンに応じて画像処理強度Ｓ３の決定方式を切り替えるので、シーンに応じた適切な画像処理を行うことができる。

　ここで、上述の画像処理装置３１００の実施例は、１枚の画像に相当する画像情報Ｇ３ｉの画像処理について説明したが動画についても適用することができ、同様の効果を得ることができる。動画での処理においては、画像処理強度決定部３１０１は、奥行き情報解析部３１０３の算出結果を、解析対象フレームに対して時間的に前のフレームの結果も考慮する。

　例えば、奥行き情報解析部３１０３が、ある対象フレームで奥行き情報Ｄ３を解析した結果、範囲最大値がＤ３ｍａｘ１で、範囲最小値がＤ３ｍｉｎ１で、主要被写体の奥行き情報がＤ３ｏｂj１であった場合で、更に次の場合について説明する。次の場合とは、奥行き情報解析部３１０３がその対象フレームの直前のフレームで奥行き情報Ｄ３を解析した結果、範囲最大値がＤ３ｍａｘ０で、範囲最小値がＤ３ｍｉｎ０で、主要被写体の奥行き情報がＤ３ｏｂj０であった場合である。

　その場合、奥行き情報解析部３１０３は、最終的に出力する範囲最大値として（Ｄ３ｍａｘ１＋Ｄ３ｍａｘ０）／２を、最終的に出力する範囲最小値として（Ｄ３ｍｉｎ１＋Ｄ３ｍｉｎ０）／２を、最終的に出力する主要被写体の奥行き情報として（Ｄ３ｏｂj１＋Ｄ３ｏｂj０）／２を算出する。そして、奥行き情報解析部３１０３は、算出した上記各パラメータを画像処理強度決定部３１０１に出力する。これにより、画像処理強度決定部３１０１は、奥行き情報Ｄ３に含まれるノイズによる各パラメータのフレーム間の変動を低減することができ、出力画像情報Ｇ３ｏが示す画像のちらつきを低減することができる。

　なお、各パラメータの算出は平均値に限らず、奥行き情報解析部３１０３は、中央値でもよく、各パラメータで別々の算出方式で算出してもよい。具体的には、例えば、奥行き情報解析部３１０３は、最終的に出力する範囲最小値を直前フレームと対象フレームにおける範囲最小値の平均値で算出し、最終的に出力する主要被写体の奥行き情報は直前フレームと対象フレームにおける主要被写体の奥行き情報の中央値で算出してもよい。

　また、対象フレームの各パラメータと平均をとるフレームは直前フレームに限らず、複数フレームだけ前のフレームでもよいし、対象フレームより後のフレームでもよく、対象フレームとは異なるフレームであればよい。また、奥行き情報解析部３１０３は、二つのフレームで平均をとったが、これに限らず、三つ以上のフレームで平均をとってもよい。さらに、フレーム間で画像のシーンが大きく変わらない場合は、直前までの数フレームを、対象フレームの解析結果とすることで、画像処理の遅延を低減することができる。

　すなわち、奥行き情報解析部３１０３は、対象フレームにおける奥行き情報の頻度分布に関する情報と、該対象フレームより前のフレームにおける少なくとも一つ以上の奥行き情報の頻度分布に関する情報を算出する。ここで、頻度分布に関する情報とは、頻度分布から算出される情報であり、例えば、範囲最小値、範囲最大値又は主要被写体の奥行き情報または中間奥行き情報である。そして、画像処理強度決定部３１０１は、奥行き情報解析部３１０３が算出した複数の奥行き情報の頻度分布に基づいて、画像情報の各画素における画像処理強度を決定すればよい。

　なお、奥行き情報解析部３１０３は、画像情報の平均輝度、輪郭強度又は色彩分布などが大きく変化した場合には、シーンが変化したと判定してもよい。その場合、奥行き情報解析部３１０３は、前のフレームの計算結果を用いずに、対象フレームの計算結果だけを利用して各パラメータを算出してもよい。これにより、画像処理装置３１００は、シーンが変化した際には、前のフレームのパラメータを参照しないので、前のシーンのパラメータによる影響を受けずに、現在のシーンの奥行き情報Ｄ３に応じた画像処理強度Ｓ３で画像処理を行うことができる。

　以上に説明したように、本実施形態の画像処理装置３１００は、奥行き情報Ｄ３の頻度分布から画像処理強度を変化させる起点となる第一の奥行き情報を抽出する。画像処理装置３１００は、抽出した第一の奥行き情報から範囲最大値に向かって画像処理強度Ｓ３を大きくするように、各画素における画像処理強度Ｓ３を決定する。そして、画像処理装置３１００は、画素毎に決定した画像処理強度Ｓ３で、当該画素に対して予め決められた画像処理を行う。
これにより、画像処理装置３１００は、適切な奥行き情報Ｄ３の範囲で画像処理強度Ｓ３を変化させることで、遠景の画像領域を鮮明にすることができ、奥行き感を向上した高画質な画像を生成することができる。このことから、画像処理装置３１００は、ユーザが奥行きを感じることができる画像を生成することができる。

　さらに、画像処理強度Ｓ３を決定するときに、画像処理を行う画素位置を考慮することで、遠景においても奥行き感を向上した画像を生成できるようになる。

［第８の実施形態］
　図３０は、第８の実施形態における撮像装置３３０１の概略ブロック図である。なお、図２０と共通する要素には同一の符号を付し、その具体的な説明を省略する。撮像装置３３０１は、撮像部３２００と、撮像部３２０１と、画像処理装置３１００ａと、画像表示部３２０３と、画像記憶部３２０４とを備える。また、図３０の画像処理装置３１００ａの構成は、図２０の第７の実施形態の画像処理装置３１００の構成に対して、視差算出部３２０２が追加されたものになっている。

　撮像部３２００および撮像部３２０１の２つの撮像装置は、互いに平行に配置されている。
撮像部３２００および３２０１はレンズモジュールとＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などのイメージセンサなどで構成される。
　撮像部３２００は被写体を撮像し、撮像することにより得られた第１画像情報を視差算出部３２０２に出力する。同様に、撮像部３２０１は被写体を撮像し、撮像することにより得られた第２画像情報を視差算出部３２０２に出力する。

　視差算出部３２０２は、入力画像と、入力画像とは視点の異なる画像とに基づき、入力画像の各画素に対応する視差を算出し、算出した視差に基づいて奥行き情報Ｄ３を決定する。
ここで、視差は２つの画像間の被写体のずれ量である。具体的には、例えば、視差算出部３２０２は、撮像部３２００から入力された第１画像情報と撮像部３２０１から入力された第２画像情報とを用いて、ブロックマッチングにより、第１画像情報の各画素に対応する視差値を算出する。

　ここで、撮影された被写体までの距離Ｚと視差ｄの関係はｄ＝ｆ×Ｂ／Ｚで表される。
ｆは撮像部３２００及び撮像部３２０１の焦点距離であり、Ｂは撮像部３２００と撮像部３２０１との間の距離である基線長である。上述の距離Ｚと視差ｄの関係式から、距離Ｚと視差ｄとには相関がある。本実施形態において、画像処理装置３１００ａは、視差ｄに基づいて奥行き情報Ｄ３を算出する。

　図３１は、距離Ｚと視差ｄとの関係を示した図である。同図に示すように、距離Ｚと視差ｄとは反比例の関係にあり、線形的な関係ではない。そこで、視差算出部３２０２は、距離との関係が線形となるように視差ｄを変換し、変換後の値を奥行き情報Ｄ３として利用する。具体的には、例えば、視差算出部３２０２は、算出した視差ｄの逆数（１／ｄ）を算出し、算出した視差ｄの逆数を奥行き情報Ｄ３とする。そして、視差算出部３２０２は、算出した奥行き情報Ｄ３を、画像処理強度決定部３１０１に出力する。

　なお、視差の変換は、距離と完全に線形の関係にする必要はなく、それに近い変換であればよい。
　また、視差算出部３２０２は、算出した視差ｄをそのまま奥行き情報Ｄ３としてもよい。その場合、奥行き情報Ｄ３は被写体までの距離が遠いほど小さく、距離が近いほど大きくなる。そのため、画像処理強度決定部３１０１は、奥行き情報Ｄ３の値が小さくなるほど画像処理強度Ｓ３を大きくすればよい。これにより、画像処理強度決定部３１０１は、奥行き情報Ｄ３が奥を示すほど画像処理強度Ｓ３を大きくすることができる。

　画像処理強度決定部３１０１は、視差算出部３２０２から入力された奥行き情報Ｄ３に基づいて、画像処理強度Ｓ３を決定する。画像処理部３１０２は、画像処理強度決定部３１０１が決定した画像処理強度Ｓ３で撮像部３２００から入力された第一画像情報に対して画像処理を行う。画像処理部３１０２は画像処理により得られた出力画像情報Ｇ３ｏを、画像表示部３２０３に表示させたり、画像記憶部３２０４に記憶させたりする。

　以上に説明したように、本実施形態の撮像装置３３０１は、奥行き情報Ｄ３の頻度分布から画像処理強度Ｓ３を変化させる起点となる第一の奥行き情報を抽出する。そして、撮像装置３３０１は、抽出した第一の奥行き情報から範囲最大値Ｄ３ｍａｘに向かって画像処理強度を大きくするように、各画素における画像処理強度Ｓ３を決定する。これにより、撮像装置３３０１は、適切な奥行き情報Ｄ３の範囲で画像処理強度Ｓ３を変化させることで、遠景の画像領域を鮮明にすることができ、奥行き感を向上した高画質な画像を生成することができる。
このことから、撮像装置３３０１は、ユーザが奥行きを感じることができる画像を生成することができる。

　なお、本実施形態では、撮像部を２つ備えた撮像装置３３０１について説明したが、複数の画像から視差情報を算出する方式でも同様の効果が得られ、例えば、１回目の撮影位置から左右方向へ移動して２回目の撮影を行うことで実現できる。また、視差算出部３２０２に代えて後述する奥行き情報算出部を備えるようにしてもよい。

［第９の実施形態］
　図３２は、第９の実施形態における表示装置３３０２の概略ブロック図である。なお、図２０と共通する要素には同一の符号を付し、その具体的な説明を省略する。表示装置３３０２は、画像処理装置３１００ｂと、画像表示部３２０３とを備える。図３２の画像処理装置３１００ｂの構成は、図２０の第７の実施形態の画像処理装置３１００の構成に対して、奥行き情報算出部３２０５が追加されたものになっている。

　奥行き情報算出部３２０５は、自装置の外部から入力される画像情報Ｇ３ｉから奥行き情報Ｄ３を推定する。ここで、奥行き情報Ｄ３の推定には、従来の様々な推定方式が使用できる。
例えば、奥行き情報算出部３２０５は、色情報、消失点解析、領域分割、オブジェクト抽出などにより２次元画像から３次元画像を生成することにより、奥行き情報Ｄ３を生成する。
奥行き情報算出部３２０５は、推定した奥行き情報Ｄ３を画像処理強度決定部３１０１に出力する。

　画像処理部３１０２は、第７の実施形態の画像処理部３１０２と同様の機能を有するが、以下の点が異なる。画像処理部３１０２は、画像処理により得られた出力画像を画像表示部３２０３に表示させる。
　これにより、表示装置３３０２は、適切な奥行き情報Ｄ３の範囲で画像処理強度Ｓ３を変化させることで、遠景の画像領域を鮮明にすることができ、奥行き感を向上した高画質な画像を生成することができる。このことから、表示装置３３０２は、ユーザが奥行きを感じることができる画像を表示することができる。

　なお、本実施形態では、奥行き情報算出部３２０５を備えた表示装置３３０２について説明したが、立体映像などの情報をもった画像情報が入力された場合には、立体映像から視差を算出し、視差に基づいて奥行き情報Ｄ３を算出し、算出した奥行き情報Ｄ３に基づいて画像処理強度Ｓ３を決定してもよい。その場合にも表示装置３３０２は、上記と同様の効果が得られる。また、表示装置３３０２に画像情報とともに奥行き情報Ｄ３が入力される場合には、表示装置３３０２は、奥行き情報Ｄ３を直接、画像処理強度決定部３１０１へ入力するようにしてもよい。

　なお、図１における画像処理装置１１００、図６における画像処理装置１１００ａ、図８における画像処理装置１１００ｂ、図９における画像処理装置２１００、図１７における画像処理装置２１００ａ、図１９における画像処理装置２１００ｂ、図２０における画像処理装置３１００、図３０における画像処理装置３１００ａ、図３２における画像処理装置３１００ｂのいずれかの機能あるいはその一部機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより実現するようにしてもよいし、専用のハードウェアにより実現するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

　また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

　以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

　本発明は、遠景においても奥行き感を向上した画像を生成する画像処理装置、撮像装置および表示装置などに適用することができる。

　１１００、１１００ａ、１１００ｂ　　画像処理装置
　１１０１　　画像処理強度決定部
　１１０２　　画像処理部
　１２００、１２０１　　撮像素子
　１２０２　　視差算出部
　１２０３　　画像表示部
　１２０４　　画像記憶部
　１２０５　　奥行き情報算出部
　１３００　　画像撮像装置
　１３０１　　画像表示装置
　２１００、２１００ａ、２１００ｂ　　画像処理装置
　２１０１　　画像処理強度決定部
　２１０２　　画像処理部
　２１０３　　消失点算出部
　２１１１　　判定部
　２１１２　　距離算出部
　２１１３　　強度算出部
　２２００、２２０１　　撮像部
　２２０２　　視差算出部
　２２０３　　画像表示部
　２２０４　　画像記憶部
　２２０５　　奥行き情報算出部
　３１００、３１００ａ、３１００ｂ　　画像処理装置
　３１０１　　画像処理強度決定部
　３１０２　　画像処理部
　３１０３　　奥行き情報解析部
　３１１１　　頻度分布算出部
　３１１２　　第一の奥行き情報算出部
　３１１３　　第二の奥行き情報算出部
　３２００、３２０１　　撮像部
　３２０２　　視差算出部
　３２０３　　画像表示部
　３２０４　　画像記憶部
　３２０５　　奥行き情報算出部

Claims

　画像処理の強度を決定する画像処理強度決定部と、
　前記画像処理強度決定部が決定した強度に従い、画像情報に対して画像処理を行う画像処理部と、
　を備え、
　前記画像処理強度決定部は、前記画像情報に含まれる注目画素に対応する奥行きを示す奥行き値と、前記注目画素の前記画像情報中における縦位置とに基づき、前記注目画素に対する画像処理の強度を決定すること
　を特徴とする画像処理装置。
　前記画像処理強度決定部は、前記注目画素に対応する前記奥行き値の値が飽和しているときに、前記縦位置に基づき、前記強度を決定することを特徴とする請求項１に記載の画像処理装置。
　画像情報から消失点の位置を算出する消失点算出部を更に備え、
　前記画像処理強度決定部は、画像処理の対象となる対象画素と前記消失点算出部が算出した消失点の位置との距離に基づいて、前記対象画素における画像処理強度を決定することを特徴とする請求項１に記載の画像処理装置。
　画像情報に対応する奥行き情報に基づいて、該奥行き情報の頻度分布に関する情報を抽出する奥行き情報解析部を更に備え、
　前記画像処理強度決定部は、前記奥行き情報解析部が抽出した情報と前記奥行き情報とに基づいて、前記画像情報の各画素における画像処理強度を決定することを特徴とする請求項１に記載の画像処理装置。
　被写体を撮像して画像を生成する撮像部と、
　画像処理の強度を決定する画像処理強度決定部と、
　前記画像処理強度決定部が決定した強度に従い、前記撮像部が生成した画像情報に対して画像処理を行う画像処理部と、
　を備え、
　前記画像処理強度決定部は、前記画像情報に含まれる注目画素に対応する奥行きを示す奥行き値と、前記注目画素の前記画像情報中における縦位置とに基づき、前記注目画素に対する画像処理の強度を決定すること
　を特徴とする撮像装置。
　画像処理の強度を決定する画像処理強度決定部と、
　前記画像処理強度決定部が決定した強度に従い、画像情報に対して画像処理を行う画像処理部と、
　前記画像処理部により画像処理された画像を表示する画像表示部と、
　を備え、
　前記画像処理強度決定部は、前記画像情報に含まれる注目画素に対応する奥行きを示す奥行き値と、前記注目画素の前記画像情報中における縦位置とに基づき、前記注目画素に対する画像処理の強度を決定すること
　を特徴とする表示装置。