JP5909704B2 - 立体画像処理装置、立体画像処理方法およびプログラム - Google Patents

Description

本発明は、立体画像（３次元立体画像）の品位を高める技術に関するものであり、立体撮像を行うカメラ（撮像装置）、立体画像（立体映像）を表示するディスプレイ装置、立体画像（立体映像）を処理する画像処理装置など、立体画像（立体映像）を扱う幅広い機器に応用できる技術に関する。

立体画像（左眼用画像および右眼用画像）を、独立して左右の目に投影できる表示装置（以下、「立体表示装置」という。）に表示することにより、立体画像を再現させるために、両眼視差が存在する状態で立体画像（左眼用画像および右眼用画像）を撮像する立体撮像装置が知られている。
立体撮像において、遠景（遠景の被写体）や近景（近景の被写体）が大きな視差を持つ状態で取得された立体画像（左眼用画像および右眼用画像）は、人間が立体視する際の融像限界を超え立体視が困難な画像になる、あるいは、当該立体画像を見ている人間に疲労感を生じさせる画像（疲れる画像）になる。このような不良な立体画像の生成を避けるために、視差調整やステレオベース調整（以下、「ＳＢ調整」という。）を行うことで、良好な立体画像を得る技術があり、このような技術は、映画などの本格的な立体撮影において広く用いられている。

視差調整は、主に遠景（遠景の被写体）が融像限界を超える場合に用いられる技術で、遠景（遠景の被写体）までの距離を非線形に圧縮するように視差調整することで、立体視する際に見にくかった遠景（遠景の被写体）を近づけ、立体視する際に見やすい立体画像（立体視が容易な立体画像）を取得することができる。
また、ステレオベース調整は、例えば、２台のカメラ（左眼用画像撮像用のカメラおよび右眼用画像撮像用のカメラ）の間隔を近づけることにより（ステレオベース（基線長）を小さくすることにより）、実行される技術であり、ステレオベース調整を行うことで、視差のダイナミックレンジを小さくすることができる。このため、上記のようにステレオベース調整を行った後、立体撮像を行うことで、近景（近景の被写体）から遠景（遠景の被写体）までの全体が融像域内に入る立体画像を取得することができる。

また、立体画像を小さなサイズのディスプレイ装置に表示した場合も、立体画像（左眼用画像および右眼用画像）の視差が小さくなるため、遠景が圧縮される。したがって、この場合、小さなサイズのディスプレイ装置に表示される立体画像は、見やすい立体画像となる。
立体撮像において、上記撮影技術（視差調整、ステレオベース調整）を駆使することにより、所定の表示環境において立体表示させたとき、十分見やすい画像（立体視しやすい立体画像）となる立体画像を撮影することができる（例えば、特許文献１参照）。

特許第３１５７３８４号

しかしながら、上記従来技術では、立体視の融像限界を考慮して、望ましい視差を減らすことにより（立体撮像の対象である被写体が立体視の融像域内に入るように、視差を本来の値から減少させることにより）、見やすい立体画像（立体視しやすい立体画像）を取得している訳であるから、立体画像における立体感・遠近感の自然さの観点では望ましいものではない。したがって、上記従来技術（視差調整、ステレオベース調整による技術）により取得される立体画像は、立体画像の品位について問題がある。

視差調整による技術では、見やすい（立体視しやすい）立体画像を取得することはできるが、遠景までの距離（撮像装置の位置から遠景被写体までの距離）が非線形に圧縮されることになるので、視差調整を行った立体画像では、奥行きが平板になる現象（遠景の被写体の厚み感が減少し、当該遠景の被写体が平板状の立体像として知覚される現象）が発生する。

また、ＳＢ調整による技術では、取得される立体画像において、全体的に遠近感が少なくなるため（最近点（立体映像を表示したときに最も近い位置に結像される被写体の位置）から最遠点（立体映像を表示したときに最も遠い位置に結像される被写体の位置）までの距離が小さくなるため）、個々の被写体の立体感が低下する現象が発生する。
したがって、上記従来技術を用いた場合、何れの場合も、取得される立体画像は、立体感・遠近感の乏しい品位の低い画像になりがちである。

本発明は、上記問題点に鑑み、少ない視差により撮影された立体感の乏しい画像に自然な立体感を付与することにより高品位な立体画像が得られる立体画像処理装置、立体画像処理方法およびプログラムを実現することを目的とする。

第１の発明は、２眼方式または多視点方式による立体画像に含まれる第１視点用画像および第２視点用画像に対して画像補正処理を行う立体画像処理装置であって、デプス取得部と、画像補正部と、を備える。
デプス取得部は、第１視点用画像および第２視点用画像に含まれる被写体についての３次元空間での距離情報である被写体距離を取得する。

画像補正部は、第１視点用画像および第２視点用画像のそれぞれに対して、処理対象である注目画素の階調変換を行う陰影強調処理を行う画像補正部であって、注目画素の被写体距離に基づいて、陰影強調処理の処理強調度を調整する。
この立体画像処理装置では、注目画素の被写体距離に基づいて、陰影強調処理の処理強調度を調整することができる。その結果、この立体画像処理装置では、（１）明暗の差が陰影により生じている確率の高い近景の被写体に対して、陰影を強調することができるとともに、（２）明暗の差が陰影により生じている確率の低い遠景の被写体に対しては、陰影を必要以上に強調されることを適切に防止することができる。

したがって、この立体画像処理装置では、少ない視差により撮影された立体感の乏しい画像に自然な立体感を付与することにより高品位な立体画像が得られる。
なお、「３次元空間での距離情報」とは、例えば、第１視点用画像または第２視点用画像を立体撮影したと仮定したときの第１視点（例えば、左眼用画像を取得するときの左眼視点）または第２視点（例えば、右眼用画像を取得するときの右眼視点）に相当する３次元空間内の点（撮影点）と、第１視点用画像上の画素である第１画素と、第１画素に対応する第２視点用画像上の画素である第２画素に対応する３次元空間（第１視点用画像または第２視点用画像を立体撮影したと仮定したときの撮影空間）内の点までの距離のことをいう。

また、デプス取得部は、第１視点用画像および第２視点用画像に含まれる被写体についての３次元空間での距離情報を、外部から取得するものであってもよい。
第２の発明は、第１の発明であって、画像補正部は、第１視点用画像および第２視点用画像のそれぞれに対して、処理対象である注目画素の画素値と当該注目画素の周辺画素の画素値の画像特徴量を示す代表画素値との関係に基づいて、注目画素の階調変換を行う局所陰影強調処理を行うことで陰影強調処理を実行するとともに、注目画素の被写体距離に基づいて、陰影強調処理の処理強調度を調整する。

これにより、この立体画像処理装置では、「陰影強調処理」を、「局所陰影強調処理」として、注目画素の被写体距離に基づいて、陰影強調処理の処理強調度を調整することができる。
なお、「局所陰影強調処理」とは、注目画素とその周辺画素の画像特徴量に応じて陰影等を局所的に調整する処理のことをいう。「局所陰影強調処理」の一例として、「局所コントラスト変換処理」がある。

「局所コントラスト変換処理」とは、注目画素の画素値「Ａ」とその周辺画素の代表画素値「Ｂ」（例えば、周辺画素の画素値の平均値や重み付け平均値）との関係に基づいて、画像上の局所領域のコントラスト（局所コントラスト）を調整する処理のことをいう。例えば、局所コントラスト変換処理の基本階調変換特性（Ａ＝Ｂのときの階調変換特性）が関数Ｆ１（Ａ）で決定され、局所コントラスト変換強度が関数Ｆ２（Ａ／Ｂ）（なお、Ａ＝Ｂのとき、Ｆ２（Ａ／Ｂ）＝１となる。）で決定される場合、「局所コントラスト変換処理」の変換後の画素値Ｃは、
Ｃ＝Ｆ１（Ａ）×Ｆ２（Ａ／Ｂ）
で算出される。一例を挙げると、
Ｆ１（Ａ）＝Ａ＾γ
Ｆ２（Ａ／Ｂ）＝（Ａ／Ｂ）＾α
であり、この場合において、α＋γ＝１のとき、局所コントラスト変換処理の変換の前後において、局所コントラストが維持され、α＋γ＞１のとき、局所コントラストが強調されることになる。

第３の発明は、第１または第２の発明であって、画像補正部は、被写体距離が小さい画素に対する陰影強調処理の処理強調度が、被写体距離が大きい画素に対する陰影強調処理の処理強調度よりも大きくなるように調整する。
これにより、この立体画像処理装置では、被写体距離が小さい画素に対してより処理強調度が大きい陰影強調処理を実行することができるので、（１）明暗の差が陰影により生じている確率の高い近景の被写体に対して、陰影を強調することができるとともに、（２）明暗の差が陰影により生じている確率の低い遠景の被写体に対しては、陰影を必要以上に強調されることを適切に防止することができる。

したがって、この立体画像処理装置では、少ない視差により撮影された立体感の乏しい画像に自然な立体感を付与することにより高品位な立体画像が得られる。
第４の発明は、第３の発明であって、画像補正部は、
（１）注目画素の被写体距離が小さい程、注目画素に対して、陰影強調処理の処理強調度が大きい陰影強調処理を行い、
（２）注目画素の被写体距離が大きい程、注目画素に対して、陰影強調処理の処理強調度が小さい陰影強調処理を行う。

これにより、この立体画像処理装置では、（１）明暗の差が陰影により生じている確率の高い近景の被写体に対して、陰影を強調することができるとともに、（２）明暗の差が陰影により生じている確率の低い遠景の被写体に対しては、陰影を必要以上に強調されることを適切に防止することができる。
したがって、この立体画像処理装置では、少ない視差により撮影された立体感の乏しい画像に自然な立体感を付与することにより高品位な立体画像が得られる。

第５の発明は、第１または第２の発明であって、画像補正部は、
（１）注目画素の被写体距離と当該注目画素の周辺画素の被写体距離との差が小さい程、注目画素に対して、処理強調度が大きい陰影強調処理を行い、
（２）注目画素の被写体距離と当該注目画素の周辺画素の被写体距離との差が大きい程、注目画素に対して、処理強調度が小さい陰影強調処理を行う。

これにより、この立体画像処理装置では、注目画素の被写体距離と当該注目画素の周辺画素の被写体距離との差が小さい画像領域において、強く陰影強調処理を行うことができる。つまり、この立体画像処理装置では、注目画素の近傍画像領域であり、かつ、被写体距離の差が大きい画像領域の影響を受けることなく、適切に、陰影強調処理を行うことができる。

したがって、この立体画像処理装置では、例えば、立体画像上において、主被写体を形成する画像領域に対して、距離（被写体距離）の異なる背景の明暗の影響を受けて陰影強調がなされることを適切に回避することができる。そして、この立体画像処理装置では、本当に陰影による明暗差を中心とした陰影の強調が実現できることになり、その結果、この立体画像処理装置により取得される立体画像は、自然な陰影強調が実現された立体画像となる。

第６の発明は、第１または第２の発明であって、画像補正部は、注目画素の周辺画素の平均的な明るさに対する明暗対比を強調するように注目画素を補正することによりコントラストを強調するものであって、周辺画素の平均的な明るさは、注目画素とのデプスの差が小さい画素の明るさの平均をとることにより算出される。
したがって、この立体画像処理装置では、例えば、立体画像上において、主被写体を形成する画像領域に対して、距離（被写体距離）の異なる背景の明暗の影響を受けて陰影強調がなされることを適切に回避することができる。そして、この立体画像処理装置では、本当に陰影による明暗差を中心とした陰影の強調が実現できることになり、その結果、この立体画像処理装置により取得される立体画像は、自然な陰影強調が実現された立体画像となる。

第７の発明は、第２の発明であって、画像補正部は、第１視点画像用画像補正部と、第２視点画像用画像補正部と、を備える。
第１視点画像用画像補正部は、第１視点用局所階調変換部と、第１視点用強度生成部と、第１視点用合成部と、を備える。
第２第視点画像用画像補正部は、第２視点用局所階調変換部と、第２視点用強度生成部と、第２視点用合成部と、を備える。

第１視点用局所階調変換部は、第１視点用画像信号ＩＳ＿Ｒに対して局所陰影強調処理を行い、第１視点用変換画像信号ＯＳ＿Ｒを取得する。
第１視点用強度生成部は、デプス取得部により取得された、第１視点用画像信号ＩＳ＿Ｒに対応する画素の被写体距離であるデプス値に基づいて、局所陰影強調処理の処理強調度を生成する。

第１視点用合成部は、第１視点用強度生成部が生成した処理強調度に基づいて、第１視点画像信号ＩＳ＿Ｒと、第１視点用変換画像信号ＯＳ＿Ｒとを合成することで、第１視点用出力画像信号Ｒｏｕｔを取得するものであって、（１）第１視点用画像信号ＩＳ＿Ｒに対応する画素の被写体距離が小さい程、第１視点用変換画像信号ＯＳ＿Ｒの合成度合いが大きくなるように、第１視点画像信号ＩＳ＿Ｒと、第１視点用変換画像信号ＯＳ＿Ｒとを合成し、（２）第１視点用画像信号ＩＳ＿Ｒに対応する画素の被写体距離が大きい程、第１視点用変換画像信号ＯＳ＿Ｒの合成度合いが小さくなるように、第１視点画像信号ＩＳ＿Ｒと、第１視点用変換画像信号ＯＳ＿Ｒとを合成する。

第２視点用局所階調変換部は、第２視点用画像信号ＩＳ＿Ｌに対して局所陰影強調処理を行い、第２視点用変換画像信号ＯＳ＿Ｌを取得する。
第２視点用強度生成部は、デプス取得部により取得された、第２視点用画像信号ＩＳ＿Ｌに対応する画素の被写体距離であるデプス値に基づいて、局所陰影強調処理の処理強調度を生成する。

第２視点用合成部は、第２視点用強度生成部が生成した処理強調度に基づいて、第２視点画像信号ＩＳ＿Ｌと、第２視点用変換画像信号ＯＳ＿Ｌとを合成することで、第２視点用出力画像信号Ｌｏｕｔを取得するものであって、（１）第２視点用画像信号ＩＳ＿Ｌに対応する画素の被写体距離が小さい程、第２視点用変換画像信号ＯＳ＿Ｌの合成度合いが大きくなるように、第２視点画像信号ＩＳ＿Ｌと、第２視点用変換画像信号ＯＳ＿Ｌとを合成し、（２）第２視点用画像信号ＩＳ＿Ｌに対応する画素の被写体距離が大きい程、第２視点用変換画像信号ＯＳ＿Ｌの合成度合いが小さくなるように、第２視点画像信号ＩＳ＿Ｌと、第２視点用変換画像信号ＯＳ＿Ｌとを合成する。

これにより、この立体画像処理装置では、（１）明暗の差が陰影により生じている確率の高い近景の被写体に対して、陰影を強調することができるとともに、（２）明暗の差が陰影により生じている確率の低い遠景の被写体に対しては、陰影を必要以上に強調されることを適切に防止することができる。
したがって、この立体画像処理装置では、少ない視差により撮影された立体感の乏しい画像に自然な立体感を付与することにより高品位な立体画像が得られる。

第８の発明は、第１から第７のいずれかの発明であって、陰影強調処理は、コントラスト強調処理である。
これにより、この立体画像処理装置では、（１）明暗の差が陰影により生じている確率の高い近景の被写体に対して、コントラストを強調することができるとともに、（２）明暗の差が陰影により生じている確率の低い遠景の被写体に対しては、コントラストを必要以上に強調されることを適切に防止することができる。

したがって、この立体画像処理装置では、少ない視差により撮影された立体感の乏しい画像に自然な立体感を付与することにより高品位な立体画像が得られる。
第９の発明は、第１から第７のいずれかの発明であって、陰影強調処理は、視覚処理による局所コントラスト強調処理である。
これにより、この立体画像処理装置では、（１）明暗の差が陰影により生じている確率の高い近景の被写体に対して、局所コントラストを強調することができるとともに、（２）明暗の差が陰影により生じている確率の低い遠景の被写体に対しては、局所コントラストを必要以上に強調されることを適切に防止することができる。

したがって、この立体画像処理装置では、少ない視差により撮影された立体感の乏しい画像に自然な立体感を付与することにより高品位な立体画像が得られる。
第１０の発明は、第１から第７のいずれかの発明であって、陰影強調処理は、陰影を濃くする処理である。
これにより、この立体画像処理装置では、（１）明暗の差が陰影により生じている確率の高い近景の被写体に対して、陰影を濃くすることができるとともに、（２）明暗の差が陰影により生じている確率の低い遠景の被写体に対しては、陰影が必要以上に濃くなることを適切に防止することができる。つまり、この立体画像処理装置では、陰影を濃くする処理を行うので、陰影部分を選択的に強調することができる（陰影を濃くする立体画像処理を行うことができる）。

したがって、この立体画像処理装置では、少ない視差により撮影された立体感の乏しい画像に自然な立体感を付与することにより高品位な立体画像が得られる。
第１１の発明は、第１０の発明であって、第１視点用局所階調変換部は、第１視点用周囲明度検出部と、第１視点用第２動的階調補正部と、を備え、第２視点用局所階調変換部は、第２視点用周囲明度検出部と、第２視点用第２動的階調補正部と、を備える。

第１視点用周囲明度検出部は、第１視点用画像信号ＩＳ＿Ｒに相当する画素である注目画素と、当該注目画素の周辺の画素との代表明度値を検出し、検出した代表明度値を信号値とする第１視点用周囲明度信号ＵＳ＿Ｒを出力する。
第１視点用第２動的階調補正部は、第１視点用画像信号ＩＳ＿Ｒおよび第１視点用周囲明度信号ＵＳ＿Ｒに基づいて、動的階調補正処理を行うことで、補正第１視点用画像信号ＯＳ＿Ｒを取得する。そして、動的階調補正処理は、
（１）（第１視点用画像信号ＩＳ＿Ｒの値）≦（第１視点用周囲明度信号ＵＳ＿Ｒの値）である場合、第１視点用画像信号ＩＳ＿Ｒの所定の入力範囲において、第１視点用画像信号ＩＳ＿Ｒの値を所定の値に固定したとき、第１視点用周囲明度信号ＵＳ＿Ｒの値が増加するに従い、補正第１視点用画像信号ＯＳ＿Ｒの値が減少する階調変換特性により、階調変換処理を行うことで、補正第１視点用画像信号ＯＳ＿Ｒを取得し、
（２）（第１視点用画像信号ＩＳ＿Ｒの値）＞（第１視点用周囲明度信号ＵＳ＿Ｒの値）である場合、第１視点用画像信号ＩＳ＿Ｒを、補正第１視点用画像信号ＯＳ＿Ｒとすることで、補正第１視点用画像信号ＯＳ＿Ｒを取得する。

第２視点用周囲明度検出部は、第２視点用画像信号ＩＳ＿Ｌに相当する画素である注目画素と、当該注目画素の周辺の画素との明度値を検出し、検出した明度値を信号値とする第２視点用周囲明度信号ＵＳ＿Ｌを出力する。
第２視点用第２動的階調補正部は、第２視点用画像信号ＩＳ＿Ｌおよび第２視点用周囲明度信号ＵＳ＿Ｌに基づいて、動的階調補正処理を行うことで、補正第２視点用画像信号ＯＳ＿Ｌを取得する。そして、動的階調補正処理は、
（１）（第２視点用画像信号ＩＳ＿Ｌの値）≦（第２視点用周囲明度信号ＵＳ＿Ｌの値）である場合、第２視点用画像信号ＩＳ＿Ｌの所定の入力範囲において、第２視点用画像信号ＩＳ＿Ｌの値を所定の値に固定したとき、第２視点用周囲明度信号ＵＳ＿Ｌの値が増加するに従い、補正第２視点用画像信号ＯＳ＿Ｌの値が減少する階調変換特性により、階調変換処理を行うことで、補正第２視点用画像信号ＯＳ＿Ｌを取得し、
（２）（第２視点用画像信号ＩＳ＿Ｌの値）＞（第２視点用周囲明度信号ＵＳ＿Ｌの値）である場合、第２視点用画像信号ＩＳ＿Ｌを、補正第２視点用画像信号ＯＳ＿Ｌとすることで、補正第２視点用画像信号ＯＳ＿Ｌを取得する。

この立体画像処理装置では、第１視点用第２動的階調補正部により、（第１視点用画像信号ＩＳ＿Ｒの値）≦（第１視点用周囲明度信号ＵＳ＿Ｒの値）の場合のみ、局所コントラストを強調する処理が実行される（第２視点用画像に対する処理も第１視点用画像に対する処理と同様）。すなわち、この立体画像処理装置では、周辺より暗い部分の画素について、局所コントラストを強調する処理が実行されるので、画像の陰影成分を選択的に強調することができる。その結果、この立体画像処理装置では、より自然な立体感・遠近感を実現する立体画像を取得することができる。

第１２の発明は、第１０の発明であって、第１視点用局所階調変換部は、第１視点用第２周囲明度検出部と、第１視点用動的階調補正部と、を備え、第２視点用局所階調変換部は、第２視点用第２周囲明度検出部と、第２視点用動的階調補正部と、を備える。
第１視点用第２周囲明度検出部は、第１視点用画像信号ＩＳ＿Ｒに相当する画素である注目画素と、当該注目画素の周辺の画素との代表明度値を検出し、検出した代表明度値を信号値とする第１視点用周囲明度信号ＵＳ＿Ｒを取得し、所定の画像領域において、第１視点用画像信号ＩＳ＿Ｒの変化が激しい程、大きな値となる第１視点用オフセット値ΔＵＳ＿Ｒを取得し、第１視点用周囲明度信号ＵＳ＿Ｒに、第１視点用オフセット値ΔＵＳ＿Ｒを加算することで、第１視点用補正周囲明度信号ＵＳ＿Ｒ’を取得する。

第１視点用動的階調補正部は、第１視点用画像信号ＩＳ＿Ｒおよび第１視点用補正周囲明度信号ＵＳ＿Ｒ’に基づいて、動的階調補正処理を行うことで、補正第１視点用画像信号ＯＳ＿Ｒを取得する。そして、動的階調補正処理は、第１視点用画像信号ＩＳ＿Ｒの所定の入力範囲において、第１視点用画像信号ＩＳ＿Ｒの値を所定の値に固定したとき、第１視点用補正周囲明度信号ＵＳ＿Ｒ’の値が増加するに従い、補正第１視点用画像信号ＯＳ＿Ｒの値が減少する階調変換特性により、階調変換処理を行うことで、補正第１視点用画像信号ＯＳ＿Ｒを取得する。

第２視点用第２周囲明度検出部は、第２視点用画像信号ＩＳ＿Ｌに相当する画素である注目画素と、当該注目画素の周辺の画素との明度値を検出し、検出した明度値を信号値とする第２視点用周囲明度信号ＵＳ＿Ｌを取得し、所定の画像領域において、第２視点用画像信号ＩＳ＿Ｌの変化が激しい程、大きな値となる第２視点用オフセット値ΔＵＳ＿Ｌを取得し、第２視点用周囲明度信号ＵＳ＿Ｌに、第２視点用オフセット値ΔＵＳ＿Ｌを加算することで、第２視点用補正周囲明度信号ＵＳ＿Ｌ’を取得する。

第２視点用動的階調補正部は、第２視点用画像信号ＩＳ＿Ｌおよび第２視点用補正周囲明度信号ＵＳ＿Ｌ’に基づいて、動的階調補正処理を行うことで、補正第２視点用画像信号ＯＳ＿Ｌを取得する。そして、動的階調補正処理は、第２視点用画像信号ＩＳ＿Ｌの所定の入力範囲において、第２視点用画像信号ＩＳ＿Ｌの値を所定の値に固定したとき、第２視点用補正周囲明度信号ＵＳ＿Ｌ’の値が増加するに従い、補正第２視点用画像信号ＯＳ＿Ｌの値が減少する階調変換特性により、階調変換処理を行うことで、補正第２視点用画像信号ＯＳ＿Ｌを取得する。

この立体画像処理装置では、第１視点用第２周囲明度検出部により、第１視点用画像信号ＩＳ＿Ｒの変化が激しい程、大きな値となる右眼用オフセット値ΔＵＳ＿Ｒが算出され、当該第１視点用オフセット値ΔＵＳ＿Ｒが加算されて第１視点用補正周囲明度信号ＵＳ＿Ｒ’が取得される。そして、この立体画像処理装置では、周囲明度信号ＵＳ＿Ｒの代わりに、第１視点用補正周囲明度信号ＵＳ＿Ｒ’を用いて、例えば、図４に示した階調変換特性により階調変換処理が実行される。その結果、この立体画像処理装置では、周辺より暗い画素について、より強い局所コントラスト強調処理が実行される。すなわち、この立体画像処理装置では、周辺より暗い部分の画素について、局所コントラストを強調する処理が実行されるので、画像の陰影成分を選択的に強調することができる。その結果、この立体画像処理装置では、より自然な立体感・遠近感を実現する立体画像を取得することができる。（第２視点用の処理についても第１視点用の処理と同様。）
なお、「第１視点用画像信号ＩＳ＿Ｒの変化が激しい程、大きな値となる」とは、例えば、所定範囲の第１視点用画像信号ＩＳ＿Ｒの信号値の変化が当該所定範囲の平均値に対してどの程度ばらついているか等により判断されるもので、例えば、所定範囲の第１視点用画像信号ＩＳ＿Ｒの信号値の分散値や標準偏差値が大きいとき、「第１視点用画像信号ＩＳ＿Ｒの変化が激しい」ということである。

第１３の発明は、第１０の発明であって、第１視点用局所階調変換部は、第１視点用第２周囲明度検出部と、第１視点用係数演算処理部と、を備え、第２視点用局所階調変換部は、第２視点用第２周囲明度検出部と、第２視点用係数演算処理部と、を備える。
第１視点用第２周囲明度検出部は、第１視点用画像信号ＩＳ＿Ｒに相当する画素である注目画素と、当該注目画素の周辺の画素との明度値を検出し、検出した明度値を信号値とする第１視点用周囲明度信号ＵＳ＿Ｒを取得し、所定の画像領域において、第１視点用画像信号ＩＳ＿Ｒの変化が激しい程、大きな値となる第１視点用オフセット値ΔＵＳ＿Ｒを取得し、第１視点用周囲明度信号ＵＳ＿Ｒに、第１視点用オフセット値ΔＵＳ＿Ｒを加算することで、第１視点用補正周囲明度信号ＵＳ＿Ｒ’を取得する。

第１視点用係数演算処理部は、第１視点用画像信号ＩＳ＿Ｒと第１視点用補正周囲明度信号ＵＳ＿Ｒ’の差分（（ＩＳ＿Ｒ）−（ＵＳ＿Ｒ’））の値が大きくなる程、小さな値となる係数ｋを決定し、決定した係数ｋを用いて、
ＯＳ＿Ｒ＝ＩＳ＿Ｒ＋ｋ×（（ＩＳ＿Ｒ）−（ＵＳ＿Ｒ’））
により、補正第１視点用画像信号ＯＳ＿Ｒを取得する。

第２視点用第２周囲明度検出部は、第２視点用画像信号ＩＳ＿Ｌに相当する画素である注目画素と、当該注目画素の周辺の画素との代表明度値を検出し、検出した代表明度値を信号値とする第２視点用周囲明度信号ＵＳ＿Ｌを取得し、所定の画像領域において、第２視点用画像信号ＩＳ＿Ｌの変化が激しい程、大きな値となる第２視点用オフセット値ΔＵＳ＿Ｌを取得し、第２視点用周囲明度信号ＵＳ＿Ｌに、第２視点用オフセット値ΔＵＳ＿Ｌを加算することで、第２視点用補正周囲明度信号ＵＳ＿Ｌ’を取得する。

第２視点用係数演算処理部は、第２視点用画像信号ＩＳ＿Ｌと第２視点用補正周囲明度信号ＵＳ＿Ｌ’の差分（（ＩＳ＿Ｌ）−（ＵＳ＿Ｌ’））の値が大きくなる程、小さな値となる係数ｋを決定し、決定した係数ｋを用いて、
ＯＳ＿Ｌ＝ＩＳ＿Ｌ＋ｋ×（（ＩＳ＿Ｌ）−（ＵＳ＿Ｌ’））
により、補正第２視点用画像信号ＯＳ＿Ｌを取得する。

この立体画像処理装置では、第１視点用係数演算処理部が、第１視点用画像信号ＩＳ＿Ｒと第１視点用補正周囲明度信号ＵＳ＿Ｒ’の差分（（ＩＳ＿Ｒ）−（ＵＳ＿Ｒ’））の値が大きくなる程、小さな値となる係数ｋを決定し、決定した係数ｋを用いて、
ＯＳ＿Ｒ＝ＩＳ＿Ｒ＋ｋ×（（ＩＳ＿Ｒ）−（ＵＳ＿Ｒ’））
により、補正第１視点用画像信号ＯＳ＿Ｒを取得する。したがって、この立体画像処理装置では、周辺より暗い画素について、より強い局所コントラスト強調処理が実行される（第２視点用の処理についても同様）。すなわち、この立体画像処理装置では、周辺より暗い部分の画素について、アンシャープマスキングの強調度合いが強くなるように処理が実行されるので、画像の陰影成分を選択的に強調することができる。その結果、この立体画像処理装置では、より自然な立体感・遠近感を実現する立体画像を取得することができる。

なお、「差分（（ＩＳ＿Ｒ）−（ＵＳ＿Ｒ’））の値が大きくなる程、小さな値となる係数ｋを決定し」（差分（（ＩＳ＿Ｌ）−（ＵＳ＿Ｌ’））についても同様。）とは、例えば、図１９に示した実線により係数ｋが決定される場合だけでなく、図１９に示した点線により係数ｋが決定される場合を含む。つまり、係数ｋと差分値（（ＩＳ＿Ｒ）−（ＵＳ＿Ｒ’））との関係は単調である場合だけでなく、段階的に変化する場合（例えば、図１９の点線の場合）も含む。

第１４の発明は、第１０の発明であって、第１視点用局所階調変換部は、第１視点用第２周囲明度検出部と、第１視点用係数演算処理部と、を備え、第２視点用局所階調変換部は、第２視点用第２周囲明度検出部と、第２視点用係数演算処理部と、を備える。
第１視点用第２周囲明度検出部は、第１視点用画像信号ＩＳ＿Ｒに相当する画素である注目画素と、当該注目画素の周辺の画素との代表明度値を検出し、検出した代表明度値を信号値とする第１視点用周囲明度信号ＵＳ＿Ｒを取得し、所定の画像領域において、第１視点用画像信号ＩＳ＿Ｒの変化が激しい程、大きな値となる第１視点用オフセット値ΔＵＳ＿Ｒを取得し、第１視点用周囲明度信号ＵＳ＿Ｒに、第１視点用オフセット値ΔＵＳ＿Ｒを加算することで、第１視点用補正周囲明度信号ＵＳ＿Ｒ’を取得する。

第１視点用係数演算処理部は、第１視点用画像信号ＩＳ＿Ｒと第１視点用補正周囲明度信号ＵＳ＿Ｒ’の差分（（ＩＳ＿Ｒ）−（ＵＳ＿Ｒ’））の値が大きくなる程、小さな値となる係数ｋを決定し、係数ｐ（ｐ：０≦ｐ≦１）を設定し、
（ｋ＋ｐ）×（ＩＳ＿Ｒ−ＵＳ＿Ｒ’）
により取得した信号に対して、帯域制限処理を行うことで、信号ＬＰＦ（（ｋ＋ｐ）×（ＩＳ＿Ｒ−ＵＳ＿Ｒ’））を取得し、取得した信号ＬＰＦ（（ｋ＋ｐ）×（ＩＳ＿Ｒ−ＵＳ＿Ｒ’））を用いて、
ＯＳ＿Ｒ＝ＩＳ＿Ｒ−ｐ×（ＩＳ＿Ｒ−ＵＳ＿Ｒ’）＋ＬＰＦ（（ｋ＋ｐ）×（ＩＳ＿Ｒ−ＵＳ＿Ｒ’））
により、補正第１視点用画像信号ＯＳ＿Ｒを取得する。

第２視点用第２周囲明度検出部は、第２視点用画像信号ＩＳ＿Ｌに相当する画素である注目画素と、当該注目画素の周辺の画素との明度値を検出し、検出した明度値を信号値とする第２視点用周囲明度信号ＵＳ＿Ｌを取得し、所定の画像領域において、第２視点用画像信号ＩＳ＿Ｌの変化が激しい程、大きな値となる第２視点用オフセット値ΔＵＳ＿Ｌを取得し、第２視点用周囲明度信号ＵＳ＿Ｌに、第２視点用オフセット値ΔＵＳ＿Ｌを加算することで、第２視点用補正周囲明度信号ＵＳ＿Ｌ’を取得する。

第２視点用係数演算処理部は、第２視点用画像信号ＩＳ＿Ｌと第２視点用補正周囲明度信号ＵＳ＿Ｌ’の差分（（ＩＳ＿Ｌ）−（ＵＳ＿Ｌ’））の値が大きくなる程、小さな値となる係数ｋを決定し、係数ｐ（ｐ：０≦ｐ≦１）を設定し、
（ｋ＋ｐ）×（ＩＳ＿Ｌ−ＵＳ＿Ｌ’）
により取得した信号に対して、帯域制限処理を行うことで、信号ＬＰＦ（（ｋ＋ｐ）×（ＩＳ＿Ｌ−ＵＳ＿Ｌ’））を取得し、取得した信号ＬＰＦ（（ｋ＋ｐ）×（ＩＳ＿Ｌ−ＵＳ＿Ｌ’））を用いて、
ＯＳ＿Ｌ＝ＩＳ＿Ｌ−ｐ×（ＩＳ＿Ｌ−ＵＳ＿Ｌ’）＋ＬＰＦ（（ｋ＋ｐ）×（ＩＳ＿Ｌ−ＵＳ＿Ｌ’））
により、補正第２視点用画像信号ＯＳ＿Ｌを取得する。

この立体画像処理装置では、第１視点用係数演算処理部が、
ＯＳ＿Ｒ＝ＩＳ＿Ｒ−ｐ×（ＩＳ＿Ｒ−ＵＳ＿Ｒ’）＋ＬＰＦ（（ｋ＋ｐ）×（ＩＳ＿Ｒ−ＵＳ＿Ｒ’））
に相当する処理により、補正第１視点用画像信号ＯＳ＿Ｒを取得する。これにより、この立体画像処理装置では、原画像に含まれる陰影成分および付加する陰影成分のぼかし具合（帯域制限処理の程度）を、係数ｐを用いて、調整することができる。（第２視点用の処理についても第１視点用の処理と同様。）したがって、この立体画像処理装置では、陰影部分を適切にぼかしつつ、陰影部分を選択的に強調することができる。その結果、この立体画像処理装置では、より自然な立体感・遠近感を実現する立体画像を取得することができる。

第１５の発明は、第２の発明であって、画像補正部は、第１視点画像用画像補正部と、第２視点画像用画像補正部と、を備える。
第１視点画像用画像補正部は、第１視点用デプス周囲明度検出部と、第１視点用動的階調補正部と、を備える。
第２視点画像用画像補正部は、第２視点用デプス周囲明度検出部と、第２視点用動的階調補正部と、を備える。

第１視点用デプス周囲明度検出部は、デプス取得部により取得された、第１視点用画像信号ＩＳ＿Ｒに対応する画素である注目画素の被写体距離と当該注目画素の周辺画素の被写体距離との差に基づいた重み付け平均値を算出することで、当該注目画素の第１視点用周囲明度信号ＵＳ＿Ｒを取得するものであって、注目画素の被写体距離と当該注目画素の周辺画素の被写体距離との差が小さい程、重み付けを大きくして重み付け平均値を算出する。

第１視点用動的階調補正部は、第１視点用画像信号ＩＳ＿Ｒと第１視点用周囲明度信号ＵＳ＿Ｒとの関係に基づいて、注目画素の階調変換を行う局所陰影強調処理を行うことで、第１視点用出力画像信号Ｒｏｕｔを取得する。
第２視点用デプス周囲明度検出部は、デプス取得部により取得された、第２視点用画像信号ＩＳ＿Ｌに対応する画素である注目画素の被写体距離と当該注目画素の周辺画素の被写体距離との差に基づいた重み付け平均値を算出することで、当該注目画素の第２視点用周囲明度信号ＵＳ＿Ｌを取得するものであって、注目画素の被写体距離と当該注目画素の周辺画素の被写体距離との差が小さい程、重み付けを大きくして重み付け平均値を算出する。

第２視点用動的階調補正部は、第２視点用画像信号ＩＳ＿Ｌと第２視点用周囲明度信号ＵＳ＿Ｌとの関係に基づいて、注目画素の階調変換を行う局所陰影強調処理を行うことで、第２視点用出力画像信号Ｌｏｕｔを取得する。
そして、陰影強調処理は、（１）コントラスト強調処理、（２）視覚処理による局所コントラスト強調処理、および、（３）陰影を濃くする処理のいずれか１つの処理である。

これにより、この立体画像処理装置では、注目画素の被写体距離と当該注目画素の周辺画素の被写体距離との差が小さい画像領域において、強く陰影強調処理を行うことができる。つまり、この立体画像処理装置では、注目画素の近傍画像領域であり、かつ、被写体距離の差が大きい画像領域の影響を受けることなく、適切に、陰影強調処理を行うことができる。

したがって、この立体画像処理装置では、例えば、立体画像上において、主被写体を形成する画像領域に対して、距離（被写体距離）の異なる背景の明暗の影響を受けて陰影強調がなされることを適切に回避することができる。そして、この立体画像処理装置では、本当に陰影による明暗差を中心とした陰影の強調が実現できることになり、その結果、この立体画像処理装置により取得される立体画像は、自然な陰影強調が実現された立体画像となる。

第１６の発明は、第２の発明であって、画像補正部は、第１視点画像用画像補正部と、第２視点画像用画像補正部と、を備える。
第１視点画像用画像補正部は、第１視点用デプス周囲明度検出部と、第１視点用第２動的階調補正部と、を備える。第２視点画像用画像補正部は、第２視点用デプス周囲明度検出部と、第２視点用第２動的階調補正部と、を備える。

第１視点用デプス周囲明度検出部は、デプス取得部により取得された、第１視点用画像信号ＩＳ＿Ｒに対応する画素である注目画素の被写体距離と当該注目画素の周辺画素の被写体距離との差に基づいた重み付け平均値を算出することで、当該注目画素の第１視点用周囲明度信号ＵＳ＿Ｒを取得する第１視点用デプス周囲明度検出部であって、注目画素の被写体距離と当該注目画素の周辺画素の被写体距離との差が小さい程、重み付けを大きくして重み付け平均値を算出する。

第１視点用第２動的階調補正部は、第１視点用画像信号ＩＳ＿Ｒおよび第１視点用周囲明度信号ＵＳ＿Ｒに基づいて、動的階調補正処理を行うことで、補正第１視点用画像信号ＯＳ＿Ｒを取得する。そして、動的階調補正処理は、
（１）（第１視点用画像信号ＩＳ＿Ｒの値）≦（第１視点用周囲明度信号ＵＳ＿Ｒの値）である場合、第１視点用画像信号ＩＳ＿Ｒの所定の入力範囲において、第１視点用画像信号ＩＳ＿Ｒの値を所定の値に固定したとき、第１視点用周囲明度信号ＵＳ＿Ｒの値が増加するに従い、補正第１視点用画像信号ＯＳ＿Ｒの値が減少する階調変換特性により、階調変換処理を行うことで、補正第１視点用画像信号ＯＳ＿Ｒを取得し、
（２）（第１視点用画像信号ＩＳ＿Ｒの値）＞（第１視点用周囲明度信号ＵＳ＿Ｒの値）である場合、第１視点用画像信号ＩＳ＿Ｒを、補正第１視点用画像信号ＯＳ＿Ｒとすることで、補正第１視点用画像信号ＯＳ＿Ｒを取得する。

第２視点用デプス周囲明度検出部は、デプス取得部により取得された、第２視点用画像信号ＩＳ＿Ｌに対応する画素である注目画素の被写体距離と当該注目画素の周辺画素の被写体距離との差に基づいた重み付け平均値を算出することで、当該注目画素の第２視点用周囲明度信号ＵＳ＿Ｌを取得するものであって、注目画素の被写体距離と当該注目画素の周辺画素の被写体距離との差が小さい程、重み付けを大きくして重み付け平均値を算出する。

第２視点用第２動的階調補正部は、第２視点用画像信号ＩＳ＿Ｌおよび第２視点用周囲明度信号ＵＳ＿Ｌに基づいて、動的階調補正処理を行うことで、補正第２視点用画像信号ＯＳ＿Ｌを取得する。そして、動的階調補正処理は、
（１）（第２視点用画像信号ＩＳ＿Ｌの値）≦（第２視点用周囲明度信号ＵＳ＿Ｌの値）である場合、第２視点用画像信号ＩＳ＿Ｌの所定の入力範囲において、第２視点用画像信号ＩＳ＿Ｌの値を所定の値に固定したとき、第２視点用周囲明度信号ＵＳ＿Ｌの値が増加するに従い、補正第２視点用画像信号ＯＳ＿Ｌの値が減少する階調変換特性により、階調変換処理を行うことで、補正第２視点用画像信号ＯＳ＿Ｌを取得し、
（２）（第２視点用画像信号ＩＳ＿Ｌの値）＞（第２視点用周囲明度信号ＵＳ＿Ｌの値）である場合、第２視点用画像信号ＩＳ＿Ｌを、補正第２視点用画像信号ＯＳ＿Ｌとすることで、補正第２視点用画像信号ＯＳ＿Ｌを取得する。

この立体画像処理装置では、第１視点用第２動的階調補正部により、（第１視点用画像信号ＩＳ＿Ｒの値）≦（第１視点用周囲明度信号ＵＳ＿Ｒの値）の場合のみ、局所コントラストを強調する処理が実行される（第２視点用画像に対する処理も第１視点用画像に対する処理と同様）。すなわち、この立体画像処理装置では、周辺より暗い部分の画素について、局所コントラストを強調する処理が実行されるので、画像の陰影成分を選択的に強調することができる。その結果、この立体画像処理装置では、より自然な立体感・遠近感を実現する立体画像を取得することができる。

なお、この立体画像処理装置では、第１視点用デプス周囲明度検出部により、注目画素の被写体距離と当該注目画素の周辺画素の被写体距離との差に基づいた重み付け平均値により取得された第１視点用周囲明度信号ＵＳ＿Ｒを用いた処理が実行される。その結果、この立体画像処理装置では、立体画像上において、被写体距離が異なるオブジェクト（被写体）であって、明暗差が大きいオブジェクト（被写体）同士が近接している場合であっても、当該オブジェクトが近接している画像領域（明暗差の大きい画像領域）の影響を受けて不適切な陰影強調がなされることを適切に回避することができる。

第１７の発明は、第２の発明であって、画像補正部は、第１視点画像用画像補正部と、第２視点画像用画像補正部と、を備える。
第１視点画像用画像補正部は、第１視点用第２デプス周囲明度検出部と、第１視点用動的階調補正部と、を備える。第２視点画像用画像補正部は、第２視点用第２デプス周囲明度検出部と、第２視点用動的階調補正部と、を備える。

第１視点用第２デプス周囲明度検出部は、
（１）デプス取得部により取得された、第１視点用画像信号ＩＳ＿Ｒに対応する画素である注目画素の被写体距離と当該注目画素の周辺画素の被写体距離との差が小さい程、重み付けを大きくして、当該注目画素の画素値と周辺画素の画素値との重み付け平均値を算出することで、第１視点用周囲明度信号ＵＳ＿Ｒを取得し、
（２）所定の画像領域において、第１視点用画像信号ＩＳ＿Ｒの変化が激しい程、大きな値となる第１視点用オフセット値ΔＵＳ＿Ｒを取得し、第１視点用周囲明度信号ＵＳ＿Ｒに、第１視点用オフセット値ΔＵＳ＿Ｒを加算することで、第１視点用補正周囲明度信号ＵＳ＿Ｒ’を取得する。

第１視点用動的階調補正部は、第１視点用画像信号ＩＳ＿Ｒおよび第１視点用補正周囲明度信号ＵＳ＿Ｒ’に基づいて、動的階調補正処理を行うことで、補正第１視点用画像信号ＯＳ＿Ｒを取得する。そして、動的階調補正処理は、第１視点用画像信号ＩＳ＿Ｒの所定の入力範囲において、第１視点用画像信号ＩＳ＿Ｒの値を所定の値に固定したとき、第１視点用補正周囲明度信号ＵＳ＿Ｒ’の値が増加するに従い、補正第１視点用画像信号ＯＳ＿Ｒの値が減少する階調変換特性により、階調変換処理を行うことで、補正第１視点用画像信号ＯＳ＿Ｒを取得する。

第２視点用第２デプス周囲明度検出部は、
（１）デプス取得部により取得された、第２視点用画像信号ＩＳ＿Ｌに対応する画素である注目画素の被写体距離と当該注目画素の周辺画素の被写体距離との差が小さい程、重み付けを大きくして、当該注目画素の画素値と周辺画素の画素値との重み付け平均値を算出することで、第２視点用周囲明度信号ＵＳ＿Ｌを取得し、
（２）所定の画像領域において、第２視点用画像信号ＩＳ＿Ｌの変化が激しい程、大きな値となる第２視点用オフセット値ΔＵＳ＿Ｌを取得し、第２視点用周囲明度信号ＵＳ＿Ｌに、第２視点用オフセット値ΔＵＳ＿Ｌを加算することで、第２視点用補正周囲明度信号ＵＳ＿Ｌ’を取得する。

第２視点用動的階調補正部は、第２視点用画像信号ＩＳ＿Ｌおよび第２視点用補正周囲明度信号ＵＳ＿Ｌ’に基づいて、動的階調補正処理を行うことで、補正第２視点用画像信号ＯＳ＿Ｌを取得する。そして、動的階調補正処理は、第２視点用画像信号ＩＳ＿Ｌの所定の入力範囲において、第２視点用画像信号ＩＳ＿Ｌの値を所定の値に固定したとき、第２視点用補正周囲明度信号ＵＳ＿Ｌ’の値が増加するに従い、補正第２視点用画像信号ＯＳ＿Ｌの値が減少する階調変換特性により、階調変換処理を行うことで、補正第２視点用画像信号ＯＳ＿Ｌを取得する。

この立体画像処理装置では、第１視点用第２デプス周囲明度検出部により、第１視点用画像信号ＩＳ＿Ｒの変化が激しい程、大きな値となる右眼用オフセット値ΔＵＳ＿Ｒが算出され、当該第１視点用オフセット値ΔＵＳ＿Ｒが加算されて第１視点用補正周囲明度信号ＵＳ＿Ｒ’が取得される。そして、この立体画像処理装置では、周囲明度信号ＵＳ＿Ｒの代わりに、第１視点用補正周囲明度信号ＵＳ＿Ｒ’を用いて、例えば、図４に示した階調変換特性により階調変換処理が実行される。その結果、この立体画像処理装置では、周辺より暗い画素について、より強い局所コントラスト強調処理が実行される。すなわち、この立体画像処理装置では、周辺より暗い部分の画素について、局所コントラストを強調する処理が実行されるので、画像の陰影成分を選択的に強調することができる。その結果、この立体画像処理装置では、より自然な立体感・遠近感を実現する立体画像を取得することができる。（第２視点用の処理についても第１視点用の処理と同様。）
なお、この立体画像処理装置では、第１視点用第２デプス周囲明度検出部により、注目画素の被写体距離と当該注目画素の周辺画素の被写体距離との差に基づいた重み付け平均値により取得された第１視点用周囲明度信号ＵＳ＿Ｒを用いた処理が実行される。その結果、この立体画像処理装置では、立体画像上において、被写体距離が異なるオブジェクト（被写体）であって、明暗差が大きいオブジェクト（被写体）同士が近接している場合であっても、当該オブジェクトが近接している画像領域（明暗差の大きい画像領域）の影響を受けて不適切な陰影強調がなされることを適切に回避することができる。

第１８の発明は、第２の発明であって、画像補正部は、第１視点画像用画像補正部と、第２視点画像用画像補正部と、を備える。
第１視点画像用画像補正部は、第１視点用第２デプス周囲明度検出部と、第１視点用係数演算処理部と、を備える。第２視点画像用画像補正部は、第２視点用第２デプス周囲明度検出部と、第２視点用係数演算処理部と、を備える。

第１視点用第２デプス周囲明度検出部は、
（１）デプス取得部により取得された、第１視点用画像信号ＩＳ＿Ｒに対応する画素である注目画素の被写体距離と当該注目画素の周辺画素の被写体距離との差が小さい程、重み付けを大きくして、当該注目画素の画素値と周辺画素の画素値との重み付け平均値を算出することで、第１視点用周囲明度信号ＵＳ＿Ｒを取得し、
（２）所定の画像領域において、第１視点用画像信号ＩＳ＿Ｒの変化が激しい程、大きな値となる第１視点用オフセット値ΔＵＳ＿Ｒを取得し、第１視点用周囲明度信号ＵＳ＿Ｒに、第１視点用オフセット値ΔＵＳ＿Ｒを加算することで、第１視点用補正周囲明度信号ＵＳ＿Ｒ’を取得する。

第１視点用係数演算処理部は、第１視点用画像信号ＩＳ＿Ｒと第１視点用補正周囲明度信号ＵＳ＿Ｒ’の差分（（ＩＳ＿Ｒ）−（ＵＳ＿Ｒ’））の値が大きくなる程、小さな値となる係数ｋを決定し、決定した係数ｋを用いて、
ＯＳ＿Ｒ＝ＩＳ＿Ｒ＋ｋ×（（ＩＳ＿Ｒ）−（ＵＳ＿Ｒ’））
により、補正第１視点用画像信号ＯＳ＿Ｒを取得する。

第２視点用第２デプス周囲明度検出部は、
（１）デプス取得部により取得された、第２視点用画像信号ＩＳ＿Ｌに対応する画素である注目画素の被写体距離と当該注目画素の周辺画素の被写体距離との差が小さい程、重み付けを大きくして、当該注目画素の画素値と周辺画素の画素値との重み付け平均値を算出することで、第２視点用周囲明度信号ＵＳ＿Ｌを取得し、
（２）所定の画像領域において、第２視点用画像信号ＩＳ＿Ｌの変化が激しい程、大きな値となる第２視点用オフセット値ΔＵＳ＿Ｌを取得し、第２視点用周囲明度信号ＵＳ＿Ｌに、第２視点用オフセット値ΔＵＳ＿Ｌを加算することで、第２視点用補正周囲明度信号ＵＳ＿Ｌ’を取得する。

第２視点用係数演算処理部は、第２視点用画像信号ＩＳ＿Ｌと第２視点用補正周囲明度信号ＵＳ＿Ｌ’の差分（（ＩＳ＿Ｌ）−（ＵＳ＿Ｌ’））の値が大きくなる程、小さな値となる係数ｋを決定し、決定した係数ｋを用いて、
ＯＳ＿Ｌ＝ＩＳ＿Ｌ＋ｋ×（（ＩＳ＿Ｌ）−（ＵＳ＿Ｌ’））
により、補正第２視点用画像信号ＯＳ＿Ｌを取得する。

この立体画像処理装置では、第１視点用係数演算処理部が、第１視点用画像信号ＩＳ＿Ｒと第１視点用補正周囲明度信号ＵＳ＿Ｒ’の差分（（ＩＳ＿Ｒ）−（ＵＳ＿Ｒ’））の値が大きくなる程、小さな値となる係数ｋを決定し、決定した係数ｋを用いて、
ＯＳ＿Ｒ＝ＩＳ＿Ｒ＋ｋ×（（ＩＳ＿Ｒ）−（ＵＳ＿Ｒ’））
により、補正第１視点用画像信号ＯＳ＿Ｒを取得する。したがって、この立体画像処理装置では、周辺より暗い画素について、より強い局所コントラスト強調処理が実行される（第２視点用の処理についても同様）。すなわち、この立体画像処理装置では、周辺より暗い部分の画素について、アンシャープマスキングの強調度合いが強くなるように処理が実行されるので、画像の陰影成分を選択的に強調することができる。その結果、この立体画像処理装置では、より自然な立体感・遠近感を実現する立体画像を取得することができる。

なお、この立体画像処理装置では、第１視点用第２デプス周囲明度検出部により、注目画素の被写体距離と当該注目画素の周辺画素の被写体距離との差に基づいた重み付け平均値により取得された第１視点用周囲明度信号ＵＳ＿Ｒを用いた処理が実行される。その結果、この立体画像処理装置では、立体画像上において、被写体距離が異なるオブジェクト（被写体）であって、明暗差が大きいオブジェクト（被写体）同士が近接している場合であっても、当該オブジェクトが近接している画像領域（明暗差の大きい画像領域）の影響を受けて不適切な陰影強調がなされることを適切に回避することができる。

第１９の発明は、第２の発明であって、画像補正部は、第１視点画像用画像補正部と、第２視点画像用画像補正部と、を備える。
第１視点画像用画像補正部は、第１視点用第２デプス周囲明度検出部と、第１視点用係数演算処理部と、を備える。第２視点画像用画像補正部は、第２視点用第２デプス周囲明度検出部と、第２視点用係数演算処理部と、を備える。

第１視点用第２デプス周囲明度検出部は、
（１）デプス取得部により取得された、第１視点用画像信号ＩＳ＿Ｒに対応する画素である注目画素の被写体距離と当該注目画素の周辺画素の被写体距離との差が小さい程、重み付けを大きくして、当該注目画素の画素値と周辺画素の画素値との重み付け平均値を算出することで、第１視点用周囲明度信号ＵＳ＿Ｒを取得し、
（２）所定の画像領域において、第１視点用画像信号ＩＳ＿Ｒの変化が激しい程、大きな値となる第１視点用オフセット値ΔＵＳ＿Ｒを取得し、第１視点用周囲明度信号ＵＳ＿Ｒに、第１視点用オフセット値ΔＵＳ＿Ｒを加算することで、第１視点用補正周囲明度信号ＵＳ＿Ｒ’を取得する。

第１視点用係数演算処理部は、第１視点用画像信号ＩＳ＿Ｒと第１視点用補正周囲明度信号ＵＳ＿Ｒ’の差分（（ＩＳ＿Ｒ）−（ＵＳ＿Ｒ’））の値が大きくなる程、小さな値となる係数ｋを決定し、係数ｐ（ｐ：０≦ｐ≦１）を設定し、
（ｋ＋ｐ）×（ＩＳ＿Ｒ−ＵＳ＿Ｒ’）
により取得した信号に対して、帯域制限処理を行うことで、信号ＬＰＦ（（ｋ＋ｐ）×（ＩＳ＿Ｒ−ＵＳ＿Ｒ’））を取得し、取得した信号ＬＰＦ（（ｋ＋ｐ）×（ＩＳ＿Ｒ−ＵＳ＿Ｒ’））を用いて、
ＯＳ＿Ｒ＝ＩＳ＿Ｒ−ｐ×（ＩＳ＿Ｒ−ＵＳ＿Ｒ’）＋ＬＰＦ（（ｋ＋ｐ）×（ＩＳ＿Ｒ−ＵＳ＿Ｒ’））。
により、補正第１視点用画像信号ＯＳ＿Ｒを取得する。

第２視点用第２デプス周囲明度検出部は、
（１）デプス取得部により取得された、第２視点用画像信号ＩＳ＿Ｌに対応する画素である注目画素の被写体距離と当該注目画素の周辺画素の被写体距離との差が小さい程、重み付けを大きくして、当該注目画素の画素値と周辺画素の画素値との重み付け平均値を算出することで、第２視点用周囲明度信号ＵＳ＿Ｌを取得し、
（２）所定の画像領域において、第２視点用画像信号ＩＳ＿Ｌの変化が激しい程、大きな値となる第２視点用オフセット値ΔＵＳ＿Ｌを取得し、第２視点用周囲明度信号ＵＳ＿Ｌに、第２視点用オフセット値ΔＵＳ＿Ｌを加算することで、第２視点用補正周囲明度信号ＵＳ＿Ｌ’を取得する。

第２視点用係数演算処理部は、第２視点用画像信号ＩＳ＿Ｌと第２視点用補正周囲明度信号ＵＳ＿Ｌ’の差分（（ＩＳ＿Ｌ）−（ＵＳ＿Ｌ’））の値が大きくなる程、小さな値となる係数ｋを決定し、係数ｐ（ｐ：０≦ｐ≦１）を設定し、
（ｋ＋ｐ）×（ＩＳ＿Ｌ−ＵＳ＿Ｌ’）
により取得した信号に対して、帯域制限処理を行うことで、信号ＬＰＦ（（ｋ＋ｐ）×（ＩＳ＿Ｌ−ＵＳ＿Ｌ’））を取得し、取得した信号ＬＰＦ（（ｋ＋ｐ）×（ＩＳ＿Ｌ−ＵＳ＿Ｌ’））を用いて、
ＯＳ＿Ｌ＝ＩＳ＿Ｌ−ｐ×（ＩＳ＿Ｌ−ＵＳ＿Ｌ’）＋ＬＰＦ（（ｋ＋ｐ）×（ＩＳ＿Ｌ−ＵＳ＿Ｌ’））。
により、補正第２視点用画像信号ＯＳ＿Ｌを取得する。

この立体画像処理装置では、第１視点用係数演算処理部が、
ＯＳ＿Ｒ＝ＩＳ＿Ｒ−ｐ×（ＩＳ＿Ｒ−ＵＳ＿Ｒ’）＋ＬＰＦ（（ｋ＋ｐ）×（ＩＳ＿Ｒ−ＵＳ＿Ｒ’））
に相当する処理により、補正第１視点用画像信号ＯＳ＿Ｒを取得する。これにより、この立体画像処理装置では、原画像に含まれる陰影成分および付加する陰影成分のぼかし具合（帯域制限処理の程度）を、係数ｐを用いて、調整することができる。（第２視点用の処理についても第１視点用の処理と同様。）したがって、この立体画像処理装置では、陰影部分を適切にぼかしつつ、陰影部分を選択的に強調することができる。その結果、その結果、この立体画像処理装置では、より自然な立体感・遠近感を実現する立体画像を取得することができる。

なお、この立体画像処理装置では、第１視点用第２デプス周囲明度検出部により、注目画素の被写体距離と当該注目画素の周辺画素の被写体距離との差に基づいた重み付け平均値により取得された第１視点用周囲明度信号ＵＳ＿Ｒを用いた処理が実行される。その結果、この立体画像処理装置では、立体画像上において、被写体距離が異なるオブジェクト（被写体）であって、明暗差が大きいオブジェクト（被写体）同士が近接している場合であっても、当該オブジェクトが近接している画像領域（明暗差の大きい画像領域）の影響を受けて不適切な陰影強調がなされることを適切に回避することができる。

第２０の発明は、第１から第１９のいずれかの発明である立体画像処理装置を含む立体撮像装置である。
これにより、第１から第１９のいずれかの発明である立体画像処理装置を含む立体撮像装置を実現することができる。
第２１の発明は、２眼方式または多視点方式による立体画像に含まれる第１視点用画像および第２視点用画像からなる立体画像に対して画像補正処理を行う立体画像処理方法であって、デプス取得ステップと、画像補正ステップと、を備える。

デプス取得ステップは、第１視点用画像および第２視点用画像に含まれる被写体についての３次元空間での距離情報である被写体距離を取得する。
画像補正ステップは、第１視点用画像および第２視点用画像のそれぞれに対して、処理対象である注目画素の階調変換を行う陰影強調処理を行い、注目画素の被写体距離に基づいて、陰影強調処理の処理強調度を調整する。

これにより、第1の発明と同様の効果を奏する立体画像処理方法を実現することができる。
第２２の発明は、２眼方式または多視点方式による立体画像に含まれる第１視点用画像および第２視点用画像からなる立体画像に対して画像補正処理を行う立体画像処理方法をコンピュータで実行させるプログラムである。立体画像処理方法は、デプス取得ステップと、画像補正ステップと、を備える。

デプス取得ステップは、第１視点用画像および第２視点用画像に含まれる被写体についての３次元空間での距離情報である被写体距離を取得する。
画像補正ステップは、第１視点用画像および第２視点用画像のそれぞれに対して、処理対象である注目画素の階調変換を行う陰影強調処理を行い、注目画素の被写体距離に基づいて、陰影強調処理の処理強調度を調整する。

これにより、第1の発明と同様の効果を奏する立体画像処理方法をコンピュータにより実行させるプログラムを実現することができる。

本発明によれば、少ない視差により撮影された立体感に乏しい画像に自然な立体感を付与することにより高品位な立体画像を取得することができる。

第１実施形態の立体撮像装置の概略構成図。 第１実施形態における画像補正部の構成図。 第１実施形態における局所階調変換部の構成図。 第１実施形態における動的階調補正部の変換特性のグラフ。 撮影環境と被写体との関係を説明するための図。 視差マッチングによるデプス情報の取得方法を説明するための図。 従来における画像補正部の処理結果。 局所コントラスト強調処理を行った画質補正例。 第１実施形態における強度生成部の説明図。 第１実施形態における周囲明度検出部のフィルタ範囲。 第１実施形態における周囲明度検出部のフィルタ特性。 第１実施形態における画像補正部の処理結果。 第２実施形態における画像補正部の構成図。 第２実施形態におけるデプス周囲明度検出部の重み係数を示すグラフ。 第２実施形態における周囲明度検出部のフローチャート。 第２実施形態における画像補正部の処理結果。 第３実施形態における画像補正部の処理結果。 第４実施形態における局所階調変換部の構成図。 係数ｋと差分信号（ＩＳ＿Ｌ−ＵＳ＿Ｌ）との関係（特性）を示す図。 第４実施形態の第１変形例の局所階調変換部の構成図。 （ａ）Ｌ画像信号の輝度値ＩＳ＿Ｌ（波形Ｉｓ）、周囲明度信号ＵＳ＿Ｌ（波形Ｕｓ）、および、局所階調変換処理（コントラスト強調処理）を行うことで取得した補正後の輝度値ＯＳ＿Ｌ（波形Ｏｓ）の信号波形図（一例）。（ｂ）Ｌ画像信号の輝度値ＩＳ＿Ｌ（波形Ｉｓ）、補正周囲明度信号ＵＳ＿Ｌ’（波形Ｕｓ’）、および、局所階調変換処理（コントラスト強調処理）を行うことで取得した補正後の輝度値ＯＳ＿Ｌ（波形Ｏｓ’）の信号波形図（一例）。 係数ｋと差分信号（ＩＳ＿Ｌ−ＵＳ＿Ｌ’）との関係（特性）を示す図。 第４実施形態の第２変形例の局所階調変換部の構成図。 第５実施形態における局所階調変換部の構成図。 第５実施形態の第２動的階調補正部の階調変換特性を示すグラフ。 第５実施形態の第１変形例の局所階調変換部の構成図。 第６実施形態における局所階調変換部の構成図。 第６実施形態の第１変形例の局所階調変換部の構成図。 第７実施形態における局所階調変換部の構成図。 第７実施形態の第１変形例の局所階調変換部の構成図。 第８実施形態における局所階調変換部の構成図。 第８実施形態の第１変形例の局所階調変換部の構成図。 第９実施形態における局所階調変換部の構成図。 第９実施形態の第１変形例の局所階調変換部の構成図。

以下、本発明の立体画像処理装置および立体画像処理方法の実施形態について、図面を参照しながら説明する。
［第１実施形態］
第１実施形態では、立体画像処理装置として、２眼方式の立体撮像装置（デジタルカメラやビデオカメラなど）を例に、以下、説明する。

＜１．１：立体撮像装置の構成＞
図１に、第１実施形態に係る立体撮像装置１０００の概略図を示す。
立体撮像装置１０００は、図１に示すように、第１視点から被写体光を集光し第１画像信号（例えば、右眼用画像信号（Ｒ画像信号））を取得する第１撮像部１０１Ｒと、第２視点から被写体光を集光し第２画像信号（例えば、左眼用画像信号（Ｌ画像信号））を取得する第２撮像部１０１Ｌと、第１画像信号（例えば、Ｒ画像信号）および第２画像信号（例えば、Ｌ画像信号）を、それぞれ、デジタル信号に変換する画像入力部１０２と、を備える。

また、立体撮像装置１０００は、デジタル信号に変換された第１画像信号（例えば、Ｒ画像信号）および第２画像信号（例えば、Ｌ画像信号）から、それぞれ、被写体距離情報を算出し、第１デプス情報（例えば、Ｒデプス情報）および第２デプス情報（例えば、Ｌデプス情報）として出力するデプス取得部１０３と、第１デプス情報（例えば、Ｒデプス情報）および第２デプス情報（例えば、Ｌデプス情報）を用いて、第１画像信号（例えば、Ｒ画像信号）および第２画像信号（例えば、Ｌ画像信号）に画像補正処理を行う画像補正部１０４と、を備える。

なお、説明便宜のため、第１撮像部１０１Ｒにより右眼用画像（映像）が撮像され、第２撮像部１０１Ｌにより左眼用画像（映像）が撮像されるものとして、以下、説明する。
第１撮像部１０１Ｒは、第１視点に設置されており、被写体光を集光する光学系と、集光した被写体光から光電変換により第１画像信号（右眼用画像信号（Ｒ画像信号））を取得する撮像素子と、を備える。そして、第１撮像部１０１Ｒは、取得した第１画像信号（Ｒ画像信号）を画像入力部１０２に出力する。

第２撮像部１０１Ｌは、第１視点とは異なる位置である第２視点に設置されており、被写体光を集光する光学系と、集光した被写体光から光電変換により第２画像信号（左眼用画像信号（Ｌ画像信号））を取得する撮像素子と、を備える。そして、第２撮像部１０１Ｌは、取得した第２画像信号（Ｌ画像信号）を画像入力部１０２に出力する。
画像入力部１０２は、第１撮像部１０１Ｒにより取得された第１画像信号（Ｒ画像信号）を入力とし、入力された第１画像信号に対して、Ａ／Ｄ変換を行い、Ａ／Ｄ変換した第１画像信号（Ｒ画像信号）をデプス取得部１０３および画像補正部１０４に出力する。

また、画像入力部１０２は、第２撮像部１０１Ｌにより取得された第２画像信号（Ｌ画像信号）を入力とし、入力された第２画像信号に対して、Ａ／Ｄ変換を行い、Ａ／Ｄ変換した第２画像信号（Ｌ画像信号）をデプス取得部１０３および画像補正部１０４に出力する。
デプス取得部１０３は、画像入力部１０２から出力される第１画像信号（Ｒ画像信号）および第２画像信号（Ｌ画像信号）を入力とする。デプス取得部１０３は、第１画像信号（Ｒ画像信号）により形成される第１画像（Ｒ画像）および第２画像信号（Ｌ画像信号）から形成される第２画像（Ｌ画像）から、第１画像（Ｒ画像）用のデプス情報である第１デプス情報（Ｒデプス情報）および第２画像（Ｌ画像）用のデプス情報である第２デプス情報（Ｌデプス情報）を取得する。そして、デプス取得部１０３は、取得した第１デプス情報（Ｒデプス情報）および第２デプス情報（Ｌデプス情報）を画像補正部１０４に出力する。

なお、デプス情報の取得は、例えば、視差マッチングにより取得することが好ましい。
画像補正部１０４は、図２に示すように、Ｌ画像用画像補正部１０４Ｌと、Ｒ画像用画像補正部１０４Ｒとを備える。画像補正部１０４は、画像入力部１０２から出力される第１画像信号（Ｒ画像信号）および第２画像信号（Ｌ画像信号）と、デプス取得部１０３から出力される第１デプス情報（Ｒデプス情報）および第２デプス情報（Ｌデプス情報）と、を入力とする。画像補正部１０４は、第１デプス情報（Ｒデプス情報）に基づいて、第１画像信号（Ｒ画像信号）に補正処理を行い、補正処理後の第１画像信号（Ｒ画像信号）を出力する。また、画像補正部１０４は、第２デプス情報（Ｌデプス情報）に基づいて、第２画像信号（Ｌ画像信号）に補正処理を行い、補正処理後の第２画像信号（Ｌ画像信号）を出力する。

なお、デプス情報は上記のように第１デプス情報（Ｒデプス情報）と第２デプス情報（Ｌデプス情報）が得られると好適であるが、いずれか一方のみから間接的に他方を得ることも可能であるため、必ずしもふたつのデプス情報が必要なわけではない。
Ｌ画像用画像補正部１０４Ｌは、図２に示すように、局所階調変換部１１１Ｌと、強度生成部１１２Ｌと、合成部１１３Ｌとを備える。

局所階調変換部１１１Ｌは、図３に示すように、周囲明度検出部１２１と、動的階調補正部１２２とを備える。
周囲明度検出部１２１は、画像入力部１０２から出力されたＬ画像を形成することができるＬ画像信号（Ｌ画像信号の輝度値ＩＳ＿Ｌ）を入力とし、Ｌ画像信号の輝度値ＩＳ＿Ｌに相当する注目画素（Ｌ画像上の処理対象画素）の周囲の領域（Ｌ画像上の注目画素の周辺画像領域）の代表明度値（例えば、当該周囲領域に含まれるすべての画素の平均輝度値）を算出する。そして、周囲明度検出部１２１は、算出した注目画素の周辺画像領域の代表明度値を、周囲明度信号ＵＳ＿Ｌとして、動的階調補正部１２２に出力する。

動的階調補正部１２２は、画像入力部１０２から出力されたＬ画像を形成することができるＬ画像信号（Ｌ画像信号の輝度値ＩＳ＿Ｌ）と、周囲明度検出部１２１から出力された周囲明度信号ＵＳ＿Ｌとを入力とする。動的階調補正部１２２は、周囲明度信号ＵＳ＿Ｌの値に基づいて決定される階調変換特性により、Ｌ画像信号の輝度値ＩＳ＿Ｌに対して、階調変換処理を行う。動的階調補正部１２２の階調変換特性は、例えば、図４に示すようなものである。

ここで、動的階調補正部１２２の階調変換特性について、図４を用いて、説明する。
図４は、横軸に入力信号であるＩＳ信号の値（Ｌ画像信号の輝度値ＩＳ＿Ｌ、または、Ｒ画像信号の輝度値ＩＳ＿Ｒ）をとり、縦軸に出力信号であるＯＳ信号の値（Ｌ画像信号の階調変換後の輝度値ＯＳ＿Ｌ、または、Ｒ画像信号の階調変換後の輝度値ＯＳ＿Ｒ）をとり、周囲明度信号ＵＳ＿Ｌ（またはＵＳ＿Ｒ）の値により決定される階調変換特性曲線Ｋ１〜Ｋ８をグラフにしたものである。

なお、図４のグラフでは、ＩＳ信号の値、ＯＳ信号の値、および、周囲明度信号の値ＵＳ（ＵＳ＿ＬまたはＵＳ＿Ｒ）は、［０：１］の範囲に正規化している。
階調変換特性曲線Ｋｎ（ｎ：１〜８の整数）は、周囲明度信号の値ＵＳ（ＵＳ＿ＬまたはＵＳ＿Ｒ）が「ｎ／８」（ｎ：１〜８の整数）のときの階調変換特性曲線群であり、この階調変換特性曲線群Ｋ１〜Ｋ８は、ＩＳの値を所定の値に固定した場合（例えば、図４の値Ａに固定した場合）、周囲明度信号の値ＵＳが増加するにつれ、出力値ＯＳが単調減少するように設定される。なお、階調変換特性曲線群の数は、図４では、８本であるが、この数に限定されることがないのは言うまでもない。また、動的階調補正部１２２において、階調変換特性曲線群を所定数だけ設定しておき（例えば、ＬＵＴに階調変換特性曲線群を特定するデータを所定数だけ保存しておき）、補間処理、内挿処理等を行うことで、予め設定されている階調変換特性曲線群以外の階調変換特性曲線を実現するようにしてもよい。（例えば、図４の場合、ＵＳ＝３／１６のときの階調変換特性曲線を、ＵＳ＝１／８のときの階調変換特性曲線Ｋ１と、ＵＳ＝２／８のときの階調変換特性曲線Ｋ２とを用いて、補間処理、内挿処理等を行うことで、導いてもよい。）
図４の階調変換特性に基づいて、入力信号であるＩＳ信号の値（Ｌ画像信号の輝度値ＩＳ＿Ｌ、または、Ｒ画像信号の輝度値ＩＳ＿Ｒ）に対して、階調変換を行うことで、階調変換後の画像において、局所コントラストを強調しつつ、画像全体の明るさを一定に保つことができる。（ＩＳの値とＵＳの値とが同一の場合、図４で示した黒丸の点に対応する階調変換処理が実行されるため、ＩＳの値とＯＳの値は一致する。その結果、画像全体の明るさは、階調変換前後で一定に保たれる。）
以上説明したように、動的階調補正部１２２は、図４に示すような階調変換特性により、ＩＳ信号（Ｌ画像信号の輝度値ＩＳ＿Ｌ、または、Ｒ画像信号の輝度値ＩＳ＿Ｒ）に対して動的階調補正処理を行うことで、ＯＳ信号（Ｌ画像信号の階調変換後の輝度値ＯＳ＿Ｌ、または、Ｒ画像信号の階調変換後の輝度値ＯＳ＿Ｒ）を取得する。そして、動的階調補正部１２２は、ＯＳ信号（Ｌ画像信号の階調変換後の輝度値ＯＳ＿Ｌ、または、Ｒ画像信号の階調変換後の輝度値ＯＳ＿Ｒ）を合成部１１３Ｌ（Ｒ画像信号の場合は、合成部１１３Ｒ）に出力する。

強度生成部１１２Ｌは、デプス取得部１０３から出力される第２デプス情報（Ｌデプス情報）を入力とし、第２デプス情報（Ｌデプス情報）に基づいて、局所階調変換処理（空間視覚処理）の強度を決定する第１強度信号Ｍ１＿Ｌを生成する（第１強度信号Ｍ１＿Ｌの生成方法については後述）。そして、強度生成部１１２Ｌは、生成した第１強度信号Ｍ１＿Ｌを合成部１１３Ｌに出力する。

合成部１１３Ｌは、画像入力部１０２から出力されたＬ画像を形成することができるＬ画像信号（Ｌ画像信号の輝度値ＩＳ＿Ｌ）と、局所階調変換部１１１Ｌから出力されたＯＳ＿Ｌ信号と、強度生成部１１２Ｌから出力された第１強度信号Ｍ１＿Ｌと、を入力とする。合成部１１３Ｌは、第１強度信号Ｍ１＿Ｌに基づいて、ＩＳ＿Ｌ信号とＯＳ＿Ｌ信号とを合成する。これにより、合成部１１３Ｌは、第１強度信号Ｍ１＿Ｌにより決定される強度により局所階調変換処理（空間視覚処理）が施されたＬ画像信号Ｌｏｕｔを取得する。そして、合成部１１３Ｌは、取得したＬ画像信号Ｌｏｕｔを出力する。

以上のようにして、Ｌ画像用画像補正部１０４Ｌが構成される。
なお、Ｒ画像用画像補正部１０４Ｒは、Ｌ画像用画像補正部１０４Ｌと同様の構成を有しており、入力される信号が、Ｒ画像信号およびＲデプス情報である点だけが、Ｌ画像用画像補正部１０４Ｌとは相違する。
＜１．２：立体撮像装置の動作＞
以上のように構成された立体撮像装置１０００の動作について、以下、説明する。

図５は、背景を含む被写体のシーンと、立体撮像装置１０００の２つの撮像部（第１撮像部１０１Ｒおよび第２撮像部１０１Ｌ）との位置関係を上から見た図である。
被写体２０１は背景の壁、被写体２０２は人物の様な主被写体、被写体２０３は柱の様な従被写体であるものとする。主被写体２０２および従被写体２０３は、図５に示すように、いずれも、上から見たときに所定の幅を有する略楕円形のオブジェクトであるものとする。

以下では、立体撮像装置１０００により、図５に示す被写体シーンを撮像する場合を例として、立体撮像装置１０００の動作について、説明する。
第１撮像部１０１Ｒおよび第２撮像部１０１Ｌは、立体撮像装置１０００において、立体画像（左眼用画像および右眼用画像）を取得できるように、基線長（ステレオベース長）分（図５の距離ＳＢ１）だけ離して配置されている。

ここでは説明を簡単にするため、従被写体２０３が存在する距離（図中の点線Ｌ１）で光軸が交差するように輻輳角が設定されているものとする。即ち、点線に示す距離の被写体（図５に示す被写体距離Ｄ１の被写体）は、第２撮像部１０１Ｌと第１撮像部１０１Ｒが撮影する画像には視差が付かず、図示しない表示スクリーン（仮想スクリーン）上に定位する。つまり、図５の被写体シーンを立体撮像装置１０００により立体撮影して取得された立体画像を表示装置により立体表示させた場合、被写体距離Ｄ１の被写体は、表示装置の表示スクリーン上に定位する。

点線Ｌ１より手前にある主被写体２０２は、飛び出し方向の視差が付くため表示スクリーンの前方に定位する。そして、背景２０１の被写体距離がＤ１より小さい部分（背景２０１の左側の一部）は、表示スクリーンの前方に定位し、背景２０１の被写体距離がＤ１より大きい部分（背景２０１の右側の部分）は、表示スクリーンの後方に定位する。
図５の被写体シーンを立体撮像装置１０００で撮像した場合、第１撮像部１０１Ｒから出力された第１画像信号（Ｒ画像信号）および第２撮像部１０１Ｌから出力された第２画像信号（Ｌ画像信号）は、それぞれ、画像入力部１０２に入力され、画像入力部１０２によりデジタル信号に変換される。そして、デジタル信号に変換された第１画像信号（Ｒ画像信号）および第２画像信号（Ｌ画像信号）は、それぞれ、デプス取得部１０３および画像補正部１０４に出力される。

デプス取得部１０３では、第１画像信号（Ｒ画像信号）により形成される第１画像（Ｒ画像）および第２画像信号（Ｌ画像信号）から形成される第２画像（Ｌ画像）から、第１画像（Ｒ画像）用のデプス情報である第１デプス情報（Ｒデプス情報）および第２画像（Ｌ画像）用のデプス情報である第２デプス情報（Ｌデプス情報）が、例えば、視差マッチングにより、取得される。

ここで、視差マッチングによる第１デプス情報（Ｒデプス情報）および第２デプス情報（Ｌデプス情報）の取得方法について、図６を用いて説明する。
図６は、三角形のオブジェクトが奥に配置されており、円形のオブジェクトが手前に配置されている撮影シーンを立体撮像装置１０００で立体撮影したときの立体画像を模式的に示す図である。図６（ａ）は、Ｌ画像（左眼用画像）を模式的に示した図であり、図６（ｂ）は、Ｒ画像（右眼用画像）を模式的に示した図であり、図６（ｃ）は、Ｒ画像およびＬ画像を１つの画像として重ねて表示させた図である。

視差マッチングによる第１デプス情報（Ｒデプス情報）および第２デプス情報（Ｌデプス情報）の取得方法は、例えば、以下の（１）〜（３）の処理を実行することで、実現される。
（１）まず、デプス取得部１０３は、Ｌ画像（左眼用画像）およびＲ画像（右眼用画像）を用いて、例えば、図６（ａ）のＬ画像上の点ＡＬに対応する被写体Ａ（図６の三角形の頂点）が、図６（ｂ）のＲ画像上の点ＡＲに対応していることを検出する。
（２）そして、検出した２つの点ＡＬおよび点ＡＲのずれ量（視差）Ｄｉｆｆ（Ａ）を算出する。

なお、視差は、ずれ方向により、正負の符号を有するものとする。例えば、Ｒ画像上の点が、Ｌ画像上の点に対して左方向にずれている場合をプラスとし、逆の場合をマイナスとする。
例えば、図６の場合、被写体Ａについての視差の絶対値がα（≧０）であるとすると、Ｒ画像上のＡＲ点が、Ｌ画像上のＡＬ点より右方向にずれているので、被写体Ａについての視差を「−α」として算出する。そして、被写体Ｂ（図６の円の中心点）についての視差の絶対値がβ（≧０）であるとすると、Ｒ画像上のＢＲ点が、Ｌ画像上のＢＬ点より左方向にずれているので、被写体Ｂについての視差を「＋β」として算出する。
（３）デプス取得部１０３は、（１）、（２）の処理を、画像上の全ての点（全ての画素）について行い、算出したずれ量（視差）を画素値とする視差画像を取得する。そして、Ｌ画像の各画素に算出した視差を画素値として取得した視差画像を、Ｌデプス情報（Ｌデプス情報画像（左眼画像用距離画像））とし、Ｒ画像の各画素に算出した視差を画素値として取得した視差画像を、Ｒデプス情報（Ｒデプス情報画像（右眼画像用距離画像））とする。

例えば、Ｌデプス情報（Ｌデプス情報画像（左眼画像用距離画像））では、図６（ａ）のＬ画像のＡＬ点に相当する画素の値が、被写体Ａの視差である−αとなり、Ｒデプス情報（Ｒデプス情報画像（右眼画像用距離画像））では、図６（ｂ）のＲ画像のＡＲ点に相当する画素の値が、被写体Ａの視差である−αとなる。
なお、「距離画像」とは、各画素に、当該各画素に相当する被写体の実際の位置（３次元空間内の位置）と立体撮像装置１０００の位置との距離に相関性のある値をマッピングした画像のことである。

なお、上記視差マッチングによる第１デプス情報（Ｒデプス情報）および第２デプス情報（Ｌデプス情報）の取得方法は、一例であり、これに限定されるものではない。例えば、上記と視差の符号の取り方を逆にしても構わない。また、デプス取得部１０３は、他の方法により、左眼画像用距離画像および右眼画像用距離画像を取得し、Ｌデプス情報およびＲデプス情報を取得するものであってもよい。

以上のようにして取得されたＬデプス情報およびＲデプス情報は、それぞれ、画像補正部１０４に出力される。
≪自然な立体感強調について≫
ここで、立体画像における自然な立体感の強調について、図５の被写体シーンを立体撮影する場合を例に、説明する。

図５の位置的な説明は前述の通りである。
さらに、主被写体２０２は明るい色であり、従被写体２０３は暗い色であるとする。また主被写体２０２および従被写体２０３は、どちらも小振幅の明暗変化を有しているものとする。背景２０１は、立体撮像装置１０００から見て、左手が前方、右手が後方にあるような湾曲した壁のようなものであり、主被写体２０２と従被写体２０３との中間的な明るさであり、少し大きめの明暗変化を有しているものとする。

図７は、第２撮像部１０１Ｌおよび第１撮像部１０１Ｒが撮影した立体画像（Ｌ画像およびＲ画像）の水平方向の位置と輝度との関係、および、立体画像（Ｌ画像およびＲ画像）の水平方向の位置とデプス情報との関係を示す図である。
具体的には、図７（ａ２）は、Ｌ画像における水平方向の位置と輝度との関係を示す図であり、図７（ｂ２）は、Ｒ画像における水平方向の位置と輝度との関係を示す図である。図７の輝度分布を持つ立体画像は、従来の立体撮像装置の出力画像に相当する。

また、図７（ａ１）は、第２撮像部１０１Ｌおよび第１撮像部１０１Ｒが撮影した立体画像（Ｌ画像およびＲ画像）を用いてデプス取得部１０３が取得したＬデプス情報と水平方向との位置関係を示す図である。図７（ｂ１）は、第２撮像部１０１Ｌおよび第１撮像部１０１Ｒが撮影した立体画像（Ｌ画像およびＲ画像）を用いてデプス取得部１０３が取得したＲデプス情報とを水平方向との位置関係を示す図である。

なお、図７（ａ１）、（ａ２）において、横軸は水平方向の位置であり、縦軸はデプス値を示している。ここでは、デプス値は、近景である程（被写体距離が小さい程）、大きな値をとり、遠景である程（被写体距離が大きい程）、「０」に近い値をとるものとしている。
また、図７（ａ１）〜（ｂ２）は、水平方向の位置を一致させた状態で図示されている。

なお、説明を簡単にするため、背景２０１、主被写体２０２、および、従被写体２０３は、凹凸が無い滑らかな表面に明暗の縞模様が描かれたものとして説明するが、このような被写体に限定されず、凹凸を有する任意の被写体であってもよい。また、主被写体２０２が明るく、従被写体２０３が暗いものとして説明するが、これに限定されることはなく、これらの被写体の明るさも任意でよい。

立体撮像装置１０００の第１撮像部１０１Ｒおよび第２撮像部１０１Ｌは、従被写体２０３の被写体距離、つまり、図５示す被写体距離Ｄ１で、視差が無くなるように輻輳角が設定されているものとする。したがって、図５の撮影シーンを立体撮影して取得した立体画像を、ディスプレイ装置（立体画像表示装置）に表示すると、従被写体２０３が図示しないディスプレイスクリーン面上（立体画像表示装置の表示スクリーン面上）に定位され、主被写体２０２がディスプレイスクリーン面（立体画像表示装置の表示スクリーン面上）より手前に定位する。

図７（ａ１）、（ａ２）に示すＬ画像の水平位置におけるデプス値と輝度との関係から分かるように、第２撮像部１０１Ｌ（左眼用視点）から図５の被写体シーンを見た場合、従被写体２０３の左半分は主被写体２０２の影に隠れているため、主被写体２０２の位置（図７の細かい網掛け（図７の２０２で示す網掛け部分））と従被写体２０３の位置（図７の粗い網掛け（図７の２０３で示す網掛け部分））とは連続し、主被写体２０２と従被写体２０３との間に背景２０１は見えていない。

一方、図７（ｂ１）、（ｂ２）に示すＲ画像の水平位置におけるデプス値と輝度との関係から分かるように、第１撮像部１０１Ｒ（右眼用視点）から図５の被写体シーンを見た場合、主被写体２０２の位置と従被写体２０３の位置とは離れており、主被写体２０２と従被写体２０３との間に背景２０１が見える。
ここで、立体撮影して取得される立体画像の立体感・遠近感が不足する原因について考える。

図５の環境で立体撮影して取得される立体画像の立体感・遠近感が不足する場合として、例えば、以下の場合が挙げられる。
（１）第１撮像部１０１Ｒと第２撮像部１０１Ｌの間隔が短い状態で立体撮影して、立体撮影画像を取得した場合。
（２）被写体２０２、２０３、２０１の配置に対して、第１撮像部１０１Ｒおよび第２撮像部１０１Ｌの位置が遠い状態（被写体距離が大きい状態）で立体撮影して、立体撮影画像を取得した場合。
（３）立体画像を表示させる表示ディスプレイのサイズが小さい場合。

特に、近景から遠景までを見やすく立体撮影するためには、カメラ間隔（第１撮像部１０１Ｒと第２撮像部１０１Ｌの間隔）を狭くし（ステレオベース（基線長）を短くして）、両眼視差を小さくして撮影する必要があり、それが立体感不足の要因になることが多い。
上記のような要因により立体感が不足した立体画像に対して、陰影を強調すると立体感が増した様に認識されることがある。ここで、「陰影」とは、ある方向から照射される照明が被写体を照らす際に発生する被写体の明るさの変化のことを含む概念である。そして、例えば、被写体表面の角度により被写体の明るさが変化すると、被写体に陰影が生じる。これにより、人間は、被写体の形状や被写体の表面の凹凸を認識することができる。

したがって、この陰影（明るさの変化）を強調すると被写体の奥行の形状や凹凸の深さが増加したように感じさせることが出来ると考えられる。
陰影の強調（陰影強調処理）には、公知な種々の手法が存在するが、ここでは、視覚の明暗対比特性を画像処理的に強調することにより、自然なコントラスト強調が可能な局所コントラスト強調処理（例えば、国際公開公報Ｗ０２００５／０２７０４３号や国際公開公報ＷＯ２００７／０４３４６０号に開示されている局所コントラスト強調処理（空間視覚処理））を用いるものを例にとって、陰影強調処理について、説明する。局所コントラスト強調処理を用いた陰影強調処理は、例えば、図３に示した局所階調変換部１１１Ｌ（１１１Ｒ）を用いて実現できる。

図８は、図５の被写体シーンを立体撮影して取得されたＬ画像とＲ画像のそれぞれに対して、前述の局所コントラスト強調処理を行った画質補正例を示す図である。
具体的には、図８（ａ）は、画質補正後のＬ画像における水平方向の位置と輝度との関係を示す図である。図８（ｂ）は、画質補正後のＲ画像における水平方向の位置と輝度との関係を示す図である。図８（ｃ）は、図８（ｂ）に、さらに、周囲明度信号ＵＳ＿Ｌを重ねて表示させた図である。

Ｌ画像およびＲ画像に対して局所コントラスト強調処理を実行した結果、例えば、主被写体２０２内（図８の細かい網掛け部２０２内）の所定の箇所の輝度差は大きくなり、主被写体２０２の陰影が強調されている。例えば、局所コントラスト強調処理を実行する前の水平位置Ｐ１の輝度値と水平位置Ｐ２の輝度値との差をΔ１とし、局所コントラスト強調処理を実行した後の水平位置Ｐ１の輝度値と水平位置Ｐ２の輝度値との差をΔ２とすると、
Δ２＞Δ１
となり、主被写体２０２の陰影が強調されていることが分かる。

このように、Ｌ画像およびＲ画像に対して局所コントラスト強調処理を実行することで、主被写体２０２のオブジェクトの内部（主被写体２０２の輪郭部分より内側の領域）については、凹凸が大きいように知覚されるため、見た目の立体感が改善されると予想される。
しかし、実際に局所コントラスト強調を行った画像を観察すると、確かに陰影が強調されているが、陰影以外の明暗差も同じく強調されている。そのため、局所コントラスト強調処理を行った立体画像（Ｌ画像およびＲ画像）は、画面全体にコントラストが強調されたメリハリのある画像にはなっているが、このことが必ずしも立体感・遠近感を増加させることにはならず、局所コントラスト強調処理を行った立体画像（Ｌ画像およびＲ画像）が立体感・遠近感を増加したようには見えない場合も多い。

その原因として、以下の（１）、（２）の原因が考えられる。
（１）遠景に対しても近景と同じようにコントラスト強調がなされている。
陰影による立体感の知覚（人間の知覚）は、本来、近くの被写体に対しては強く働き、遠くの被写体に対してはあまり働かない。このことを考慮せずに、上記局所コントラスト強調処理による陰影強調処理では、被写体距離に関係なく画像全体に対して均一に処理がなされている。そのため、図８中のＡの部分（一点鎖線で囲こまれた部分）のコントラストが不自然に強調されている。その結果、立体画像に対して陰影を強調するために実行された処理が、その意図に反して、陰影の強調に見えない不自然な処理になったものと考えられる。
（２）オブジェクト間の領域に対してもコントラスト強調がなされている。

陰影は、被写体オブジェクトの膨らみや凹凸を表現するものであるにもかかわらず、上記局所コントラスト強調処理による陰影強調処理では、距離の異なるオブジェクト間の境界領域に輝度差があると、明暗対比効果を強めるように、当該距離の異なるオブジェクト間の境界領域に対して、コントラストを強調する処理がなされてしまう。例えば、図８中のＢの部分（二点鎖線で囲まれた部分）（主被写体２０２と背景２０１との間の境界領域）において、コントラストを強調する処理がなされている。

そのため、本来陰影ではないオブジェクト間の色の違いが強調される。その結果、立体画像に対して陰影を強調するために実行された処理が、その意図に反して、陰影の強調に見えずに不自然な処理になったものと考えられる。図８では、主被写体２０２が暗い別の被写体２０３や背景２０１に隣接しているため、局所コントラスト強調処理により、明暗対比効果が強められるように処理がなされた結果、主被写体２０２の端の輝度が上昇し、被写体内の丸みを表現していた陰影（主被写体２０２の端の部分の被写体オブジェクトの丸みを表現していた部分（主被写体２０２の端の部分において、被写体オブジェクトの内側から外側に向かってなめらかに輝度が低下している部分）の陰影）が平坦になり立体感を損なう現象を発生させたと考えられる。

本実施形態の立体撮像装置１０００は、上記原因（１）により発生する課題を解決し、立体画像における自然な立体感の強調処理を実現するものである。
（１．２．１：画像補正部１０４の動作）
次に、画像補正部１０４の動作について、説明する。
なお、Ｌ画像に対しては、Ｌデプス情報を用いて、Ｌ画像用画像補正部１０４Ｌにより処理が実行され、Ｒ画像に対しては、Ｒデプス情報を用いて、Ｒ画像用画像補正部１０４Ｒにより処理が実行されるが、その処理内容は同一であるため、以下では、主として、Ｌ画像用画像補正部１０４Ｌについて、説明する。

≪強度生成部１１２の動作≫
まず、Ｌ画像用画像補正部１０４Ｌの強度生成部１１２Ｌの動作について、説明する。
なお、Ｒ画像用画像補正部１０４Ｒの強度生成部１１２Ｒの動作についても、強度生成部１１２Ｌと同様である。
図７（ａ１）は、Ｌ画像における画素位置とデプス値（距離情報）との関係を示す図である。デプス値は、遠方であるほど（被写体距離が大きい程）小さい値を取り、近景である程（被写体距離が小さい程）、大きい値を取るものとする。

したがって、従被写体２０３のデプス値は、主被写体２０２のデプス値より小さく、右手の背景２０１のデプス値よりも大きい値をとる。
図２に示す強度生成部１１２Ｌでは、図９に示すように、入力されたＬデプス情報に対して、線形または非線形な連続関数を用いた入出力変換により、第１強度信号Ｍ１＿Ｌが生成される。強度生成部１１２Ｌにおける（Ｌデプス情報Ｄ（ｘ，ｙ））−（第１強度信号Ｍ１＿Ｌ）の入出力変換特性は、例えば、図９に示すように、入力であるＬデプス情報Ｄ（ｘ，ｙ）に対して出力である第１強度信号Ｍ１＿Ｌの値（０≦Ｍ１＿Ｌ≦１）が単調増加する特性とする。つまり、Ｌデプス情報Ｄ（ｘ，ｙ）が示す被写体距離が小さい（近景である）程、陰影強調処理（例えば、局所階調変換処理）が強くかかるように、強度生成部１１２Ｌにおける（Ｌデプス情報Ｄ（ｘ，ｙ））−（第１強度信号Ｍ１＿Ｌ）の入出力変換特性を設定すればよい。

強度生成部１１２Ｌにより生成された第１強度信号Ｍ１（Ｌ画像用第１強度信号Ｍ１＿Ｌ）は、合成部１１３Ｌに出力される。
なお、Ｒデプス情報についての強度生成部１１２Ｒの処理も、Ｌデプス情報についての強度生成部１１２Ｌの処理と同様である。
≪局所階調変換部１１１の動作≫
次に、Ｌ画像用画像補正部１０４Ｌの局所階調変換部１１１Ｌの動作について、説明する。

なお、Ｒ画像用画像補正部１０４Ｒの局所階調変換部１１１Ｒの動作についても、局所階調変換部１１１Ｌと同様である。
局所階調変換部１１１Ｌでは、入力されたＬ画像信号（Ｌ画像上の注目画素に相当）に対して、空間視覚処理による局所階調変換処理が実行される。具体的には、図３に示すように、局所階調変換部１１１Ｌの周囲明度検出部１２１により、注目画素の周辺画像領域の代表明度値（例えば、周辺画像領域の明度平均値（輝度平均値））が算出され、算出された代表明度値が、周囲明度信号ＵＳ＿Ｌとして、動的階調補正部１２２に出力される。

ここで、周囲明度検出部１２１による周囲明度信号ＵＳ＿Ｌの取得方法について、図面を用いて説明する。
図１０は、周囲明度検出部１２１が、座標（ｘ，ｙ）（ｘは画像上のｘ座標であり、ｙは画像上のｙ座標である。）の着目画素の周囲の明度を抽出する範囲を説明するための図である。

局所階調変換部１１１Ｌが視覚特性にマッチした特性で局所コントラストを強調するためには、画像中のかなり広い領域（例えば、処理対象とする画像の大きさがＸＧＡ（１０２４×７６８）である場合、周辺画素の領域を８０画素×８０画素以上の大きさの領域に設定するのが好ましい。）の明度を抽出する必要がある。ここでは、横方向に２ｎ＋１画素（ｎは自然数）、縦方向に２ｍ＋１画素（ｍは自然数）の範囲を明度抽出範囲としている。また、周囲の明度の影響は、注目画素からの距離が大きくなる程小さくなることを鑑みると、周囲明度情報は、ガウシアンフィルタのように着目画素から遠ざかるにしたがって重みが少なくなるのが好ましい。

図１１は、周囲の明度値を抽出する重み係数Ａ（ｉ，ｊ）の一例を示すグラフである。ここで、ｉおよびｊは、着目画素からの距離を示している。
上記重み係数を用いると、周囲明度Ｕｓは、次の（数式１）で算出できる。

なお、上記（数式１）において、Ｉｓ（ｘ＋ｉ，ｙ＋ｉ）は、座標（ｘ＋ｉ，ｙ＋ｉ）の画素の画素値（入力信号ＩＳ＿Ｌ（あるいはＩＳ＿Ｒ）の輝度値に相当）である。
周囲明度検出部１２１では、注目画素（座標（ｘ，ｙ）の画素）について、上記（数式１）に相当する処理を実行することで、当該注目画素についての周囲明度Ｕｓ（ｘ，ｙ）が算出される。そして、これを、画像を形成する全画素について行う。

周囲明度検出部１２１は、上記処理を行うことで、周囲明度信号ＵＳ＿Ｌ（あるいはＵＳ＿Ｒ）を生成し、生成した周囲明度信号ＵＳ＿Ｌ（あるいはＵＳ＿Ｒ）を動的階調補正部１２２に出力する。
動的階調補正部１２２では、周囲明度検出部１２１から出力された周囲明度信号ＵＳ＿Ｌに基づいて、入力されたＬ画像信号（Ｌ画像上の注目画素）に対して実行する階調変換特性が決定される。具体的には、周囲明度信号ＵＳ＿Ｌの値に従って、注目画素に階調変換を行うための階調変換特性曲線を、図４に示した階調変換特性曲線Ｋ１〜Ｋ８の中から選択、あるいは、階調変換特性曲線Ｋ１〜Ｋ８から補間処理等により導出することで、決定する。そして、動的階調補正部１２２により決定された階調変換特性曲線による階調変換を注目画素に対して行うことで、階調変換後のＬ画像信号がＯＳ＿Ｌとして取得される。そして、取得された階調変換後のＬ画像信号ＯＳ＿Ｌは、合成部１１３Ｌに出力される。

≪合成部１１３の動作≫
合成部１１３Ｌでは、局所階調変換部１１１Ｌから出力された階調変換後のＬ画像信号ＯＳ＿Ｌと、画像入力部１０２から出力されたＬ画像信号ＩＳ＿Ｌ（階調変換処理が実行されていないＬ画像信号）とが、Ｌ画像用第１強度信号Ｍ１＿Ｌの値に応じて合成される。

合成部１１３Ｌでは、
（１）被写体距離が遠く、デプス値が小さい程、Ｌ画像信号ＩＳ＿Ｌの重みが大きくなるように合成され、
（２）被写体距離が近く、デプス値が大きい程、階調変換後のＬ画像信号ＯＳ＿Ｌの重みが大きくなるように合成される。

合成部１１３Ｌでの合成の手法には、線形な内分を用いるのが簡便であるが、より複雑な非線形な手法を用いることも可能である。
ここで、線形な内分処理による合成部１１３Ｌでの合成の手法について、説明する。
強度生成部１１２Ｌにおける（Ｌデプス情報Ｄ（ｘ，ｙ））−（第１強度信号Ｍ１＿Ｌ）の入出力変換特性は、例えば、図９に示すように、入力であるＬデプス情報Ｄ（ｘ，ｙ）に対して出力である第１強度信号Ｍ１＿Ｌの値（０≦Ｍ１＿Ｌ≦１）が単調増加する特性とする。

そして、合成部１１３Ｌでは、第１強度信号Ｍ１＿Ｌの値（０≦Ｍ１＿Ｌ≦１）を内分比として、
Ｌｏｕｔ＝Ｍ１＿Ｌ×ＯＳ＿Ｌ＋（１−Ｍ１＿Ｌ）×ＩＳ＿Ｌ
により、Ｌ出力画像信号Ｌｏｕｔを合成する。
つまり、上記のように、Ｌ画像信号ＩＳ＿Ｌと、階調変換後のＬ画像信号ＯＳ＿Ｌとを、内分比を第１強度信号Ｍ１＿Ｌとして合成することで、
（１）被写体距離が遠く、デプス値が小さい程（第１強度信号Ｍ１＿Ｌの値が「０」に近い程）、Ｌ画像信号ＩＳ＿Ｌの重みが大きくなるように合成され、
（２）被写体距離が近く、デプス値が大きい程（第１強度信号Ｍ１＿Ｌの値が「１」に近い程）、階調変換後のＬ画像信号ＯＳ＿Ｌの重みが大きくなるように合成される。

合成部１１３Ｌが、上記のように動作することにより、画像補正部１０４では、（１）図１２に示す細かな網がけ領域（主被写体２０２に相当する領域）については、画像信号に対して強く局所階調変換処理が実行され、（２）背景２０１の右手の部分（被写体距離が大きい（遠い）部分）については弱くしか局所階調変換処理が実行されない、もしくは、全く局所階調変換処理が実行されない。

さらに、合成部１１３Ｌが、上記のように動作することにより、画像補正部１０４では、図１２の粗い網がけ領域（従被写体２０３に相当する領域）については、上記の中間レベルの強度（主被写体２０２に相当する領域に対する強度と、背景２０１の右手の部分（被写体距離が大きい（遠い）部分）に対する強度との中間レベルの強度）で、弱めに局所階調変換処理が実行される。

したがって、立体撮像装置１０００では、上記のように処理を実行することで、（１）画像の局所的な濃淡変化が陰影によるものである度合いが大きい近景の被写体に対しては、局所コントラストの強調量を大きくすることができ、（２）濃淡変化が陰影によるものである度合いが小さい遠景の被写体に対しては、局所コントラストの強調量を小さくすることができる。

図８（従来技術による処理結果）と図１２（本実施形態の立体撮像装置による処理結果）とを比較することで分かるように、遠方に位置する図中の領域Ａについて、図１２の領域Ａでは、図８の領域Ａと比較して、不要な局所コントラスト強調が抑えられていることが分かる。
つまり、立体撮像装置１０００では、明暗の差が陰影により生じている確率の高い近景の被写体に対して、コントラストを強調することができるとともに、明暗の差が陰影により生じている確率の低い遠景の被写体に対しては、コントラストを必要以上に強調することがない。

したがって、立体撮像装置１０００により取得される立体画像は、陰影だけが自然に強調されたように知覚される立体画像となる。その結果、立体撮像装置１０００により取得される立体画像は、自然な立体感の強調が実現された立体画像となる。
さらに、立体撮像装置１０００により取得される立体画像は、遠景に対して近景のくっきり感が向上するため、遠景と近景のコントラスト感の違いが大きくなる。その結果、立体撮像装置１０００により取得される立体画像は、遠近感の向上も同時に実現された立体画像となる。

［第２実施形態］
次に、第２実施形態について、説明する。
第２実施形態は、前述の第１実施形態の中で説明した、局所コントラスト強調を行っただけでは立体感・遠近感が増加したようには見えない原因（２）（オブジェクト間の領域に対してもコントラスト強調がなされることによる原因）を解決することを目的としている。説明を簡単にするため、第１実施形態で説明した原因（１）（遠景に対しても近景と同じようにコントラスト強調がなされることによる原因）により発生する課題を解決することについては、本実施形態では、説明を省略する。

第２実施形態における立体撮像装置は、第１実施形態の立体撮像装置１０００と同様、第１撮像部１０１Ｒ、第２撮像部１０１Ｌ、画像入力部１０２、およびデプス取得部１０３を備えており、これらの機能部については、図１に示す第１実施形態のものと同様であるため、説明を省略する。
第２実施形態の立体撮像装置は、第１実施形態の立体撮像装置１０００の画像補正部１０４を、図１３に示す画像補正部５０４に置換した構成である。そして、この点のみが、第２実施形態の立体撮像装置と第１実施形態の立体撮像装置１０００との相違点である。

それ以外については、第２実施形態の立体撮像装置は、第１実施形態の立体撮像装置１０００と同様であるので、詳細な説明は省略する。
画像補正部５０４は、図１３に示すように、第２のＬ画像用画像補正部５０４Ｌと、第２のＲ画像用画像補正部５０４Ｒとを備える。
画像補正部５０４Ｌは、第２デプス情報（Ｌデプス情報）に基づいて、第２画像信号（Ｌ画像信号）に補正処理を行い、補正処理後の第２画像信号（Ｌ画像信号）を出力する。

第２のＲ画像用画像補正部５０４Ｒは、第１デプス情報（Ｒデプス情報）に基づいて、第１画像信号（Ｒ画像信号）に補正処理を行い、補正処理後の第１画像信号（Ｒ画像信号）を出力する。
なお、本実施形態の立体撮像装置において、デプス情報は上記のように第１デプス情報（Ｒデプス情報）と第２デプス情報（Ｌデプス情報）の両方が得られると好適であるが、いずれか一方のみから間接的に他方を得ることも可能であるため、必ずしもふたつのデプス情報が必要なわけではない。

なお、Ｌ画像用の処理と、Ｒ画像用の処理とは、同様の処理であるため、以下では、Ｌ画像用の処理についてのみ説明する。
第２のＬ画像用画像補正部５０４Ｌは、図１３に示すように、第２の局所階調変換部５１１Ｌを備える。
第２の局所階調変換部５１１Ｌは、図１３に示すように、デプス周囲明度検出部５２１と、動的階調補正部１２２とを備える。

動的階調補正部１２２は、第１実施形態のものと同じである。
デプス周囲明度検出部５２１は、Ｌ画像信号（ＩＳ＿Ｌ）を入力とし、注目画素（Ｌ画像上の処理対象画素）の周囲の領域の代表明度値（例えば、当該周囲領域に含まれるすべての画素の平均輝度値）を算出するものであるが、上記代表明度値の算出においてＬ画像のデプス情報を参照するところが、第１実施形態における周囲明度検出部１２１と異なる点である。

デプス周囲明度検出部５２１は、着目画素の周囲の画素値を図１１に示すような重み付けを行い積算する際、（１）周囲の画素のデプス値と着目画素のデプス値との差が小さい場合（周囲の画素に対応する被写体と着目画素対応する被写体との距離が近い場合）、大きな重み係数を取り、（２）周囲の画素のデプス値と着目画素のデプス値との差が大きい場合（周囲の画素に対応する被写体と着目画素対応する被写体との距離が遠い場合）、小さな重み係数を取るようにして、代表明度値の算出を行う。

デプス周囲明度検出部５２１において、上記のように処理することで、定性的には、注目画素とデプスが離れている画素（着目画素のデプス値との差が大きいデプス値を有する画素）は、代表明度値（例えば、重み付け平均値）に含まれにくくなる。このため、注目画素の周囲の領域の代表明度値（ここでは平均輝度値）は、図１０のフィルタ範囲の中でデプス値の離れている画素を除いた（デプス値の離れている画素の影響を小さくした）値（平均値（重み付け平均値））となる。

図１４は、上記重み係数を算出するための関数の一例を示すグラフである。図１４において、横軸は、周囲の画素のデプス値と着目画素のデプス値との差ｋを示している。縦軸は、注目画素の周囲の画素に対する重み係数の値Ｆ（ｋ）を示している。
デプス周囲明度検出部５２１は、上記重み係数値を算出する関数Ｆを用いて、次式に相当する処理を行うことで、注目画素（座標（ｘ，ｙ）の画素）の周辺画像領域の代表明度値を算出する。

そして、デプス周囲明度検出部５２１は、（上式）により算出した値Ｕｓ（ｘ，ｙ）を、周囲明度信号ＵＳ＿Ｌとして、動的階調補正部１２２に出力する。
ここで、デプス周囲明度検出部５２１における上記（数式２）に相当する処理について、図１５を用いて、説明する。
図１５は、デプス周囲明度検出部５２１における上記（数式２）に相当する処理を説明するフローチャートである。以下では、図１０のフィルタ範囲（ｙ−ｍ≦ｙ≦ｙ＋ｍ、ｘ−ｎ≦ｘ≦ｘ＋ｎの領域）を周辺画像領域として、（数式２）の代表明度値Ｕｓ（ｘ，ｙ）を算出する場合について、図１５のフローチャートを用いて、説明する。
（Ｓ１０１）：
Ｓ１０１において、デプス周囲明度検出部５２１は、初期値を設定する。具体的には、（数式２）の分子の各項に相当するＢｕｎｓｉ、（数式２）の分母の各項に相当するＢｕｎｂｏに「０」を設定する。また、ｊ＝−ｍ、ｉ＝−ｎ（ｍ、ｎ：自然数）に設定する。
（Ｓ１０２）：
Ｓ１０２において、デプス周囲明度検出部５２１は、注目画素（座標（ｘ，ｙ）の画素）のデプス値Ｄ（ｘ，ｙ）（デプス取得部１０３により取得されたデプス値Ｄ（ｘ，ｙ））を取得する。
（Ｓ１０３）：
Ｓ１０３において、デプス周囲明度検出部５２１は、例えば、図１１に示した特性を示す関数Ａ（ｉ，ｊ）により、Ａ（ｉ，ｊ）の値を取得する。
（Ｓ１０４）：
Ｓ１０４において、デプス周囲明度検出部５２１は、座標（ｘ＋ｉ，ｙ＋ｊ）の画素の入力画像信号の値（Ｌ画像の場合、信号ＩＳ＿Ｌの座標（ｘ＋ｉ，ｙ＋ｊ）の画素に相当する信号値）を取得する。
（Ｓ１０５）：
Ｓ１０５において、デプス周囲明度検出部５２１は、座標（ｘ＋ｉ，ｙ＋ｊ）の画素のデプス値Ｄ（ｘ＋ｉ，ｙ＋ｊ）を取得する。
（Ｓ１０６）：
Ｓ１０６において、デプス周囲明度検出部５２１は、例えば、図１４に示した関数Ｆ（ｋ）を用いて、Ｆ（Ｄ（ｘ＋ｉ，ｙ＋ｊ）−Ｄ（ｘ，ｙ））を算出する。
（Ｓ１０７）：
Ｓ１０７において、デプス周囲明度検出部５２１は、（数式２）の分子の各項に相当するＢｕｎｓｉを積算する。具体的には、デプス周囲明度検出部５２１は、
Ｂｕｎｓｈｉ＝Ｂｕｎｓｈｉ＋Ａ（ｉ，ｊ）・Ｆ（Ｄ（ｘ＋ｉ，ｙ＋ｊ）−Ｄ（ｘ，ｙ））・Ｉｓ（ｘ＋ｉ，ｙ＋ｊ）
により、（数式２）の分子の各項に相当するＢｕｎｓｉの積算処理を行う。
（Ｓ１０８）：
Ｓ１０８において、デプス周囲明度検出部５２１は、（数式２）の分母の各項に相当するＢｕｎｂｏを積算する。具体的には、デプス周囲明度検出部５２１は、
Ｂｕｎｂｏ＝Ｂｕｎｂｏ＋Ａ（ｉ，ｊ）・Ｆ（Ｄ（ｘ＋ｉ，ｙ＋ｊ）−Ｄ（ｘ，ｙ））
により、（数式２）の分母の各項に相当するＢｕｎｂｏの積算処理を行う。
（Ｓ１０９、Ｓ１１０）：
Ｓ１０８において、デプス周囲明度検出部５２１は、ｉの値をインクリメントし（「１」加算し）、Ｓ１０９において、ｉの値がｎ以下であるか否かを判定する。

ｉの値がｎ以下である場合、Ｓ１０３に戻り、Ｓ１０３〜Ｓ１０８の処理を繰り返す。
ｉの値がｎ以下ではない場合、Ｓ１１１へ処理を進める。
（Ｓ１１１、Ｓ１１２）：
Ｓ１１１において、デプス周囲明度検出部５２１は、ｊの値をインクリメントし（「１」加算し）、Ｓ１１２において、ｊの値がｍ以下であるか否かを判定する。

ｊの値がｍ以下である場合、Ｓ１０３に戻り、Ｓ１０３〜Ｓ１１０の処理を繰り返す。
ｊの値がｍ以下ではない場合、Ｓ１１３へ処理を進める。
（Ｓ１１３）：
Ｓ１１３において、デプス周囲明度検出部５２１は、
Ｕｓ（ｘ，ｙ）＝Ｂｕｎｓｈｉ／Ｂｕｎｂｏ
により、代表明度値Ｕｓ（ｘ，ｙ）を算出する。

以上により、デプス周囲明度検出部５２１は、（数式２）に相当する処理を実行することができる。そして、デプス周囲明度検出部５２１は、上記処理により算出した値Ｕｓ（ｘ，ｙ）を、周囲明度信号ＵＳ＿Ｌとして、動的階調補正部１２２に出力する。
このデプス周囲明度検出部５２１が出力する周囲明度信号ＵＳ＿Ｌは、定性的には、注目画素のデプス値と近いデプス値を持つ被写体の中での輝度の平均値になると考えられる。つまり、デプス周囲明度検出部５２１が出力する周囲明度信号ＵＳ＿Ｌの値は、注目画素に対応する３次元空間内の点と被写体距離がほぼ等しい領域であって、Ｌ画像（Ｒ画像）上において、当該注目画素の周辺に存在する領域に相当する画素（周辺画素）の画素値（輝度値）の平均値に近い値となると考えられる。

したがって、本実施形態の立体撮像装置では、デプス値の異なる背景（被写体距離が異なる背景）が暗かった場合であっても、周囲明度信号ＵＳ＿Ｌには、当該背景の暗さは含まれにくい（当該背景の暗さによる影響を受けにくい）。その結果、本実施形態の立体撮像装置では、主被写体の明るさと背景の暗さとの明暗対比を強めるようにコントラスト強調処理がなされることはなく、主被写体が不必要に明るくなることを適切に防止することができる。なお、本実施形態の立体撮像装置では、例えば、主被写体に対して、背景が明るい場合でも、上記と同様に、背景の影響を受けにくい。

ここで、図８（従来技術による処理結果）と図１６と（本実施形態の立体撮像装置による処理結果）とを比較することで分かるように、デプス差が大きいＢの領域について、図１６の領域Ｂでは、図８の領域Ｂと比較して、デプス差を伴う明暗差の強調が抑えられていることがわかる。
（図１６（ａ３）は、図１６（ａ２）に、周囲明度信号ＵＳ＿Ｌを重ねて表示させた図であるが、図１６（ａ３）の周囲明度信号ＵＳ＿Ｌは、図８（ｃ）の周囲明度信号ＵＳ＿Ｌと異なり、領域Ｂにおいて、適切な値の信号となっていることが分かる。）
つまり、本実施形態の立体撮像装置では、立体画像上において、主被写体２０２を形成する画像領域に対して、距離（被写体距離）の異なる背景の明暗の影響を受けてコントラスト強調がなされることを適切に回避することができる。そして、本実施形態の立体撮像装置では、本当に陰影による明暗差を中心とした陰影の強調が実現できることになり、その結果、本実施形態の立体撮像装置により取得される立体画像は、自然な陰影強調が実現された立体画像となる。

［第３実施形態］
第１実施形態では、局所コントラストの強調が自然な陰影の強調に繋がらない原因（１）（遠景に対しても近景と同じようにコントラスト強調がなされることによる原因）により発生する課題についての解決手段（解決方法）について説明した。
また、第２実施形態では、局所コントラストの強調が自然な陰影の強調に繋がらない原因（２）（オブジェクト間の領域に対してもコントラスト強調がなされることによる原因）により発生する課題についての解決手段（解決方法）について説明した。

自然な陰影の強調により立体感の自然な強調を行うためには、立体撮像装置が、第１実施形態で示した解決手段（解決方法）と第２実施形態で示した解決手段（解決方法）の両方を実現する構成を備えることが最良であることは明らかである。
また、そのためには、図２に示す第１実施形態の構成の局所階調変換部１１１（１１１Ｌ、１１１Ｒ）を第２実施形態における第２の局所階調変換部５１１（５１１Ｌ、５１１Ｒ）に置き換えるだけでよい。なお、この場合、置換後の第２の局所階調変換部５１１（５１１Ｌ、５１１Ｒ）には、Ｌデプス情報およびＲデプス情報を入力させる。

本実施形態の立体撮像装置は、第１実施形態で示した解決手段（解決方法）と第２実施形態で示した解決手段（解決方法）の両方を実現する構成を備える。そして、本実施形態の立体撮像装置は、図２に示す第１実施形態の構成の局所階調変換部１１１（１１１Ｌ、１１１Ｒ）を第２実施形態における第２の局所階調変換部５１１（５１１Ｌ、５１１Ｒ）に置換し、置換後の第２の局所階調変換部５１１（５１１Ｌ、５１１Ｒ）には、Ｌデプス情報およびＲデプス情報が入力される構成である。

図１７は、第３実施形態の立体撮像装置による処理結果である。
図１７から分かるように、第３実施形態の立体撮像装置では、（１）明暗に対する陰影の占める割合が少ない遠方の領域（例えば領域Ａなど）の局所コントラスト強調を適切に抑えることができるだけでなく、（２）大きなデプス差を有する領域（領域Ｂなど）においても、デプス差を伴う明暗差の強調が適切に抑えることができる。

これにより、第３実施形態の立体撮像装置では、陰影に起因しない明暗差は強調しないで、陰影に起因する明暗差を選択的に（適切に）強調することが可能になるため、極めて自然な陰影強調を実現することができる。その結果、第３実施形態の立体撮像装置により取得される立体画像は、極めて自然な立体感の強調が実現された立体画像となる。
［第４実施形態］
次に、第４実施形態について、説明する。

本実施形態では、陰影を濃くする立体画像処理を実現する技術について、説明する。
前述の実施形態の技術では、明暗対比を強調する技術であるので、陰影も強調されるが、陰影以外の明るさも強調されてしまう。
本願発明者らは、立体画像において、立体感・遠近感を自然に強調するためには（自然な立体感・遠近感を実現するためには）、陰影部分のみを強調することが効果的であることを見出した。

立体感を高めるためには、できるだけ自然な陰影を強調するのが望ましい。立体感（凹凸）の高さを拡大して感じるためには、オブジェクト表面の凹凸により生じる陰影の量だけを強調するのが、自然で効果が大きい。
前述の実施形態で説明した局所コントラストを強調する手法は、明暗対比を強調する手法であるから、陰影も強調されるのは確かであるが、陰影以外の部分も強調されてしまう。例えば、局所コントラストを強調する手法では、局所的な光の強弱が強調されるため、影の強調だけで無く、明るさも強調されてしまう。また、局所コントラストを強調する手法では、オブジェクト表面の色の変化や明暗の変化（反射率の変化）など、陰影とは関係の無い要素も強調される。そのため、局所コントラストを強調する手法により取得された立体画像は、人間が見ると陰影の強調に見えず、立体感の増加と言うより単にシーン全体をくっきりさせた様にしか見えない傾向がある。

そこで、本実施形態では、上記に鑑み、陰影部分を選択的に強調することで（陰影を濃くする立体画像処理を行うことで）、より自然な立体感・遠近感を実現する立体画像を取得することができる立体画像処理技術について、説明する。
なお、第４実施形態でも上述の実施形態と同様に、立体画像処理装置として、２眼方式の立体撮像装置（デジタルカメラやビデオカメラなど）を例に、以下、説明する。なお、立体画像処理装置として、２眼方式の立体撮像装置に限定されることはなく、立体画像処理装置は、例えば、多視点方式の立体撮像装置であってもよい。

第４実施形態の立体撮像装置の構成は、第１実施形態の立体撮像装置１０００の構成と同様である。
第４実施形態の立体撮像装置は、第１実施形態の立体撮像装置１０００における画像補正部１０４の局所階調変換部１１１Ｌおよび１１１Ｒを、局所階調変換部１１１ＡＬおよび１１１ＡＲに置換した構成を有する。この点において、第４実施形態の立体撮像装置は、第１実施形態の立体撮像装置１０００と相違する。その他の点については、第４実施形態の立体撮像装置は、第１実施形態の立体撮像装置と同様である。

したがって、以下では、本実施形態の立体撮像装置における局所階調変換部１１１ＡＬおよび１１１ＡＲの構成および処理内容について、説明する。
なお、第１実施形態と同様、Ｒ画像に対する処理は、Ｌ画像に対する処理と同様であるため、主として、Ｌ画像の処理について、説明する。
＜４．１：局所階調変換部１１１ＡＬ＞
局所階調変換部１１１ＡＬは、図１８に示すように、周囲明度検出部１２１と、減算器１６０１と、係数決定部１６０２と、乗算器１６０３と、加算器１６０４と、を備える。

周囲明度検出部１２１は、上述の実施形態の周囲明度検出部１２１と同様のものである。周囲明度検出部１２１は、画像入力部１０２から出力されたL画像を形成することができるL画像信号（L画像信号の輝度値ＩＳ＿Ｌ）を入力とし、L画像信号の輝度値ＩＳ＿Ｌに相当する注目画素（Ｌ画像上の処理対象画素）の周囲の領域（Ｌ画像上の注目画素の周辺画像領域）の代表明度値（例えば、当該周囲領域に含まれるすべての画素の平均輝度値）を算出する。そして、周囲明度検出部１２１は、算出した注目画素の周辺画像領域の代表明度値を、周囲明度信号ＵＳ＿Ｌとして、減算器１６０１に出力する。

減算器１６０１は、Ｌ画像信号の輝度値ＩＳ＿Ｌおよび周囲明度信号ＵＳ＿Ｌを入力とし、
（ＩＳ＿Ｌ）−（ＵＳ＿Ｌ）
に相当する減算処理を行い、減算処理により取得した差分信号（（ＩＳ＿Ｌ）−（ＵＳ＿Ｌ））を係数決定部１６０２および乗算器１６０３に出力する。

係数決定部１６０２は、差分信号（（ＩＳ＿Ｌ）−（ＵＳ＿Ｌ））を入力とし、当該差分信号の値に従い、以下の処理を行う。
（１）差分信号（（ＩＳ＿Ｌ）−（ＵＳ＿Ｌ））の信号値が負である場合（ＩＳ＿Ｌ＜ＵＳ＿Ｌの場合）、ｋ＝ｋ１に設定し、設定した係数ｋ（＝ｋ１）を乗算器１６０３に出力する。
（２）差分信号（（ＩＳ＿Ｌ）−（ＵＳ＿Ｌ））の信号値が負ではない場合（ＩＳ＿Ｌ≧ＵＳ＿Ｌの場合）、ｋ＝ｋ２（ただし、ｋ２＜ｋ１）に設定し、設定した係数ｋ（＝ｋ２）を乗算器１６０３に出力する。

乗算器１６０３は、周囲明度検出部１２１から出力される差分信号（（ＩＳ＿Ｌ）−（ＵＳ＿Ｌ））および係数決定部１６０２から出力される係数ｋを入力とし、
ｋ×（（ＩＳ＿Ｌ）−（ＵＳ＿Ｌ））
に相当する乗算処理を行い、当該乗算処理により取得された乗算信号（ｋ×（（ＩＳ＿Ｌ）−（ＵＳ＿Ｌ）））を加算器１６０４に出力する。

加算器１６０４は、L画像信号の輝度値ＩＳ＿Ｌおよび乗算器１６０３から出力される乗算信号（ｋ×（（ＩＳ＿Ｌ）−（ＵＳ＿Ｌ）））を入力とし、両者を加算することで、補正後の輝度値Ｏｓ＿Ｌを取得する。すなわち、加算器１６０４は、
ＯＳ＿Ｌ＝ＩＳ＿Ｌ＋ｋ×（（ＩＳ＿Ｌ）−（ＵＳ＿Ｌ））
に相当する処理を行い、補正後の輝度値ＯＳ＿Ｌを取得する。

以上の通り、局所階調変換部１１１ＡＬでは、
（１）差分信号（（ＩＳ＿Ｌ）−（ＵＳ＿Ｌ））の信号値が負である場合（ＩＳ＿Ｌ＜ＵＳ＿Ｌの場合）、
ＯＳ＿Ｌ＝ＩＳ＿Ｌ＋ｋ１×（（ＩＳ＿Ｌ）−（ＵＳ＿Ｌ））
に相当する処理が実行され、補正後の輝度値ＯＳ＿Ｌが取得される。
（２）差分信号（（ＩＳ＿Ｌ）−（ＵＳ＿Ｌ））の信号値が負ではない場合（ＩＳ＿Ｌ≧ＵＳ＿Ｌの場合）、
ＯＳ＿Ｌ＝ＩＳ＿Ｌ＋ｋ２×（（ＩＳ＿Ｌ）−（ＵＳ＿Ｌ））
（ただし、ｋ２＜ｋ１）
に相当する処理が実行され、補正後の輝度値Ｏｓ＿Ｌが取得される。

つまり、上記処理では、
（１）処理対象画素の明るさ（輝度値）が、当該処理対象画素の周辺の明るさ（例えば、平均輝度値）より暗い場合、係数ｋの値を大きな値ｋ１（＞ｋ２）に設定し、アンシャープマスキングの強調度合いを強くし、
（２）処理対象画素の明るさ（輝度値）が、当該処理対象画素の周辺の明るさ（例えば、平均輝度値）より明るい場合、係数ｋの値を小さな値ｋ２（＜ｋ１）に設定し、アンシャープマスキングの強調度合いを弱くする。

これにより、本実施形態の立体画像処理装置において、陰影を濃くする画像処理を実現することができる。
つまり、本実施形態の立体画像処理装置において、処理対象画素の明るさ（輝度値）が、当該処理対象画素の周辺の明るさ（例えば、平均輝度値）より暗い場合、係数ｋの値が大きな値ｋ１（＞ｋ２）に設定されるので、処理対象画素が含まれる画像領域の変化分（（ＩＳ＿Ｌ）−（ＵＳ＿Ｌ））の加算される量が多くなる。このため、アンシャープマスキングの強調度合いが強くなる。その結果、立体画像の陰影部分が強調されることになる（陰影が濃くなるように立体画像処理が実行されることになる）。（本実施形態の立体画像処理装置のＬ画像補正部１０４Ｌにおいて、陰影部分が強調された補正後の輝度値ＯＳ＿Ｌを用いて、処理が実行されることになるため、立体画像の陰影部分が強調されることになる。）
一方、本実施形態の立体画像処理装置において、処理対象画素の明るさ（輝度値）が、当該処理対象画素の周辺の明るさ（例えば、平均輝度値）より明るい場合、係数ｋの値が小さい値ｋ２（＜ｋ１）に設定されるので、処理対象画素が含まれる画像領域の変化分（（ＩＳ＿Ｌ）−（ＵＳ＿Ｌ））の加算される量が少なくなる。このため、アンシャープマスキングの強調度合いが弱くなる（アンシャープマスキングの効果が弱くなる）。その結果、立体画像の陰影以外の部分（例えば、明るい部分）があまり強調されない。

なお、上記処理の（２）の場合において、係数ｋの値を「０」に設定することで、アンシャープマスキングの効果を「なし」にすることができる。すなわち、この場合、処理対象画素の明るさ（輝度値）が、当該処理対象画素の周辺の明るさ（例えば、平均輝度値）より暗い場合のみ、アンシャープマスキング処理が実行されることになり、本実施形態の立体画像処理装置において、処理対象画素の画素値を暗くする方向の処理のみが実行されることになる（陰影部分を強調する処理が実行されることになる）。

なお、上記処理において、係数決定部１６０２では、図１９に示す特性Ｃ１７０１により、係数ｋが決定されるが、これに限定されることはなく、例えば、係数決定部１６０２は、図１９に示す特性Ｃ１７０２により、係数ｋを決定するようにしてもよい（差分信号の値（ＩＳ＿Ｌ−ＵＳ＿Ｌ）の変化に対して、連続的に係数ｋを変化させるようにしてもよい）。係数決定部１６０２が、図１９に示す特性Ｃ１７０２により、係数ｋを決定する場合、差分信号の値（ＩＳ＿Ｌ−ＵＳ＿Ｌ）の変化に対して、係数ｋが連続的に変化するため、本実施形態の立体画像処理装置において、より自然な画質の立体画像を取得することができる。

以上の通り、本実施形態の立体画像処理装置では、陰影を濃くする画像処理を実現することができる。これにより、本実施形態の立体画像処理装置により取得された立体画像は、陰影部分を選択的に強調した立体画像となる。その結果、本実施形態の立体画像処理装置により取得された立体画像は、より自然な立体感・遠近感を再現する立体画像となる。
また、本実施形態の立体画像処理装置では、第１実施形態の立体画像処理装置と同様、デプス値に基づいた処理が実行されるため、立体画像上において、被写体距離が異なるオブジェクト（被写体）であって、明暗差が大きいオブジェクト（被写体）同士が近接している場合であっても、当該オブジェクトが近接している画像領域（明暗差の大きい画像領域）の影響を受けて不適切なコントラスト強調がなされることを適切に回避することができる。

≪第１変形例（第４実施形態）≫
次に、本実施形態の第１変形例について、説明する。
本変形例の立体撮像装置は、第４実施形態の立体撮像装置における局所階調変換部１１１ＡＬおよび１１１ＡＲを、図２０に示す局所階調変換部１１１ＢＬおよび１１１ＢＲに、置換した構成を有する。より具体的には、本変形例の立体撮像装置は、第４実施形態の立体撮像装置における局所階調変換部１１１ＡＬおよび１１１ＡＲの周囲明度検出部１２１を、図２０に示す第２周囲明度検出部１８０１に置換した構成を有する。

それ以外については、本変形例の立体撮像装置は、第４実施形態の立体撮像装置と同様である。
したがって、以下では、本変形例の立体撮像装置における局所階調変換部１１１ＢＬおよび１１１ＢＲの構成および処理内容について、説明する。
なお、第１実施形態と同様、Ｒ画像に対する処理は、Ｌ画像に対する処理と同様であるため、主として、Ｌ画像の処理について、説明する。

また、前述の実施形態と同様の部分については、同一の符号を付し、詳細な説明を省略する。
＜４．２：局所階調変換部１１１ＢＬ＞
図２０に示すように、局所階調変換部１１１ＢＬは、第２周囲明度検出部１８０１と、減算器１６０１と、係数決定部１６０２と、乗算器１６０３と、加算器１６０４と、を備える。

減算器１６０１と、係数決定部１６０２と、乗算器１６０３と、加算器１６０４とについては、第４実施形態のものと同様のものである。
第２周囲明度検出部１８０１は、図２０に示すように、周囲明度検出部１２１と、オフセット算出部１８０２と、加算器１８０３と、を備える。
図２０に示す周囲明度検出部１２１は、図１８に示す周囲明度検出部１２１と同様のものである。

オフセット算出部１８０２は、L画像信号の輝度値ＩＳ＿Ｌおよび周囲明度検出部１２１から出力される周囲明度信号ＵＳ＿Ｌを入力とし、Ｌ画像信号の輝度値ＩＳ＿Ｌおよび周囲明度信号ＵＳ＿Ｌからオフセット値ΔＵＳ＿Ｌを算出する。そして、オフセット算出部１８０２は、算出したオフセット値ΔＵＳ＿Ｌを加算器１８０３に出力する。
オフセット算出部１８０２は、オフセット値ΔＵＳ＿Ｌを、例えば、以下のようにして、算出する。
（Ａ）差分絶対値の平均値
オフセット算出部１８０２は、サンプル数をＮ（Ｎは自然数）として、L画像信号の輝度値ＩＳ＿Ｌと、周囲明度信号ＵＳ＿Ｌとの差分絶対値の平均値を算出する。そして、オフセット算出部１８０２は、算出した当該平均値をオフセット値ΔＵＳ＿Ｌとする。すなわち、オフセット算出部１８０２は、下記（数式３）に相当する処理（サンプル数はＮ（Ｎ：自然数））により、オフセット値ΔＵＳ＿Ｌを算出する。なお、後段の信号処理で使用しやすくするために、下記（数式３）のように、係数ｃ１により、オフセット値のレンジを調整し、オフセット値ΔＵＳ＿Ｌを求めるようにしてもよい。また、下記（数式３）では、Ｌ画像用の処理およびＲ画像用の処理を区別せずに、一般的な数式と表現している。つまり、Ｌ画像用の処理の場合、下記（数式３）において、ΔＵＳ＝ΔＵＳ＿Ｌ、ＩＳ＝ＩＳ＿Ｌ、ＵＳ＝ＵＳ＿Ｌであり、Ｒ画像用の処理の場合、下記（数式３）において、ΔＵＳ＝ΔＵＳ＿Ｒ、ＩＳ＝ＩＳ＿Ｒ、ＵＳ＝ＵＳ＿Ｒである（下記（数式４）、（数式５）についても同様）。

（Ｂ）分散値
オフセット算出部１８０２は、サンプル数をＮ（Ｎは自然数）として、L画像信号の輝度値ＩＳ＿Ｌと、周囲明度信号ＵＳ＿Ｌとの分散値を算出する。そして、オフセット算出部１８０２は、算出した当該分散値をオフセット値ΔＵＳ＿Ｌとする。すなわち、オフセット算出部１８０２は、下記（数式４）に相当する処理（サンプル数はＮ（Ｎ：自然数））により、オフセット値ΔＵＳ＿Ｌを算出する。なお、後段の信号処理で使用しやすくするために、下記（数式４）のように、係数ｃ２により、オフセット値のレンジを調整し、オフセット値ΔＵＳ＿Ｌを求めるようにしてもよい。

（Ｃ）標準偏差値
オフセット算出部１８０２は、サンプル数をＮ（Ｎは自然数）として、L画像信号の輝度値ＩＳ＿Ｌと、周囲明度信号ＵＳ＿Ｌとの標準偏差値を算出する。そして、オフセット算出部１８０２は、算出した当該標準偏差値をオフセット値ΔＵＳ＿Ｌとする。すなわち、オフセット算出部１８０２は、下記（数式５）に相当する処理（サンプル数はＮ（Ｎ：自然数））により、オフセット値ΔＵＳ＿Ｌを算出する。なお、後段の信号処理で使用しやすくするために、下記（数式５）のように、係数ｃ３により、オフセット値のレンジを調整し、オフセット値ΔＵＳ＿Ｌを求めるようにしてもよい。

なお、上記（数式３）〜（数式５）による演算処理のサンプル対象（N個のサンプルの対象）は、画像領域において、処理対象画素の近傍に存在するN個の画素とすることが好ましい。
加算器１８０３は、周囲明度検出部１２１から出力される周囲明度信号ＵＳ＿Ｌおよびオフセット算出部１８０２から出力されるオフセット値ΔＵＳ＿Ｌを入力とし、周囲明度信号ＵＳ＿Ｌおよびオフセット値ΔＵＳ＿Ｌを加算する。そして、加算器１８０３は、加算結果（ＵＳ＿Ｌ＋ΔＵＳ＿Ｌ）を補正周囲明度信号ＵＳ＿Ｌ’として、減算器１６０１に出力する。

このようにして取得された補正周囲明度信号ＵＳ＿Ｌ’は、
（１）Ｌ画像信号の輝度値ＩＳ＿Ｌの変化の少ない部分（画像領域）では、周囲明度信号ＵＳ＿Ｌと同様の値となるが、
（２）Ｌ画像信号の輝度値ＩＳ＿Ｌの変化の大きい部分（画像領域）では、周囲明度信号ＵＳ＿Ｌよりも大きな値（大きな値の信号値）となる。

例えば、図２１（ｂ）に示すように、Ｌ画像信号の輝度値ＩＳ＿Ｌが図２１（ｂ）の波形Ｉｓであった場合、補正周囲明度信号ＵＳ＿Ｌ’は、波形Ｕｓ’となる。図２１（ｂ）から分かるように、補正周囲明度信号ＵＳ＿Ｌ’（波形Ｕｓ’）は、
（１）Ｌ画像信号の輝度値ＩＳ＿Ｌ（波形Ｉｓ）の変化の少ない部分（画像領域）では、周囲明度信号ＵＳ＿Ｌ（波形Ｕｓ）と同様の値となるが、
（２）Ｌ画像信号の輝度値ＩＳ＿Ｌ（波形Ｉｓ）の変化の大きい部分（画像領域）では、周囲明度信号ＵＳ＿Ｌ（波形Ｕｓ）よりも大きな値（大きな値の信号値）となることが分かる。

そして、本変形例の立体撮像装置では、第４実施形態での処理と同様の処理を、補正周囲明度信号ＵＳ＿Ｌ’を用いて行う。
つまり、本変形例の局所階調変換部１１１ＢＬでは、
（１）差分信号（（ＩＳ＿Ｌ）−（ＵＳ＿Ｌ’））の信号値が負である場合（ＩＳ＿Ｌ＜ＵＳ＿Ｌ’の場合）、
ＯＳ＿Ｌ＝ＩＳ＿Ｌ＋ｋ１×（（ＩＳ＿Ｌ）−（ＵＳ＿Ｌ’））
に相当する処理が実行され、補正後の輝度値ＯＳ＿Ｌが取得される。
（２）差分信号（（ＩＳ＿Ｌ）−（ＵＳ＿Ｌ’））の信号値が負ではない場合（ＩＳ＿Ｌ≧ＵＳ＿Ｌ’の場合）、
ＯＳ＿Ｌ＝ＩＳ＿Ｌ＋ｋ２×（（ＩＳ＿Ｌ）−（ＵＳ＿Ｌ’））
（ただし、ｋ２＜ｋ１）
に相当する処理が実行され、補正後の輝度値Ｏｓ＿Ｌが取得される。

つまり、上記処理では、
（１）処理対象画素の明るさ（輝度値）が、補正周囲明度信号ＵＳ＿Ｌ’で決定される明るさより暗い場合、係数ｋの値を大きな値ｋ１（＞ｋ２）に設定し、アンシャープマスキングの強調度合いを強くし、
（２）処理対象画素の明るさ（輝度値）が、補正周囲明度信号ＵＳ＿Ｌ’で決定される明るさより明るい場合、係数ｋの値を小さな値ｋ２（＜ｋ１）に設定し、アンシャープマスキングの強調度合いを弱くする。

これにより、本変形例の立体画像処理装置において、陰影を濃くする画像処理を実現することができる。
なお、上記処理の（２）の場合において、係数ｋの値を「０」に設定することで、アンシャープマスキングの効果を「なし」にすることができる。すなわち、この場合、処理対象画素の明るさ（輝度値）が、補正周囲明度信号ＵＳ＿Ｌ’で決定される明るさより暗い場合のみ、アンシャープマスキング処理が実行されることになり、本変形例の立体画像処理装置において、処理対象画素の画素値を暗くする方向の処理のみが実行されることになる（陰影部分を強調する処理が実行されることになる）。

なお、上記処理において、係数決定部１６０２では、図２２に示す特性Ｃ２００１により、係数ｋが決定されるが、これに限定されることはなく、例えば、係数決定部１６０２は、図２２に示す特性Ｃ２００２により、係数ｋを決定するようにしてもよい（差分信号の値（ＩＳ＿Ｌ−ＵＳ＿Ｌ’）の変化に対して、連続的に係数ｋを変化させるようにしてもよい）。係数決定部１６０２が、図２２に示す特性Ｃ２００２により、係数ｋを決定する場合、差分信号の値（ＩＳ＿Ｌ−ＵＳ＿Ｌ’）の変化に対して、係数ｋが連続的に変化するため、本変形例の立体画像処理装置において、より自然な画質の立体画像を取得することができる。

ここで、本変形例の立体画像処理装置により取得される補正後の輝度値Ｏｓ＿Ｌについて、図２１を用いて、説明する。
図２１（ａ）は、Ｌ画像信号の輝度値ＩＳ＿Ｌ（波形Ｉｓ）と、周囲明度信号ＵＳ＿Ｌ（波形Ｕｓ）と、局所階調変換処理（コントラスト強調処理）を行うことで取得した補正後の輝度値ＯＳ＿Ｌ（波形Ｏｓ）を示している。

図２１（ｂ）は、Ｌ画像信号の輝度値ＩＳ＿Ｌ（波形Ｉｓ）と、補正周囲明度信号ＵＳ＿Ｌ’（波形Ｕｓ’）と、局所階調変換処理（コントラスト強調処理）を行うことで取得した補正後の輝度値ＯＳ＿Ｌ（波形Ｏｓ’）を示している。つまり、図２１（ｂ）は、本変形例の立体画像処理装置による信号波形の一例を示している。
図２１から分かるように、本変形例の立体画像処理装置では、Ｌ画像信号の輝度値ＩＳ＿Ｌ（波形Ｉｓ）の変化の大きい部分において、補正周囲明度信号ＵＳ＿Ｌ’（波形Ｕｓ’）の信号値が大きくなるので、補正周囲明度信号ＵＳ＿Ｌ’の信号値より低い信号値を持つＬ画像信号の輝度値ＩＳ＿Ｌ（波形Ｉｓ）に対して、アンシャープマスキング処理の強調度合いが大きくなる。その結果、図２１（ｂ）に示すように、Ｌ画像信号の輝度値ＩＳ＿Ｌ（波形Ｉｓ）の変化の大きい部分において、暗くなる方向への処理（階調値を低くする処理）が実行される。これにより、本変形例の立体画像処理装置では、例えば、オブジェクトのディテール部分における陰影部分を効果的に強調することができる（当該ディテール部分の陰影を効果的に濃くすることができる）。

以上の通り、本変形例の立体画像処理装置では、補正周囲明度信号ＵＳ＿Ｌ’を用いることで、オブジェクトのディテール部分等において、効果的に陰影を濃くする画像処理を実現することができる。これにより、本変形例の立体撮像装置（立体画像処理装置）により取得された立体画像は、陰影部分を選択的に強調した立体画像となる。その結果、本変形例の立体撮像装置（立体画像処理装置）により取得された立体画像は、より自然な立体感・遠近感を再現する立体画像となる。

また、本変形例の立体画像処理装置では、第１実施形態の立体画像処理装置と同様、デプス値に基づいた処理が実行されるため、立体画像上において、被写体距離が異なるオブジェクト（被写体）であって、明暗差が大きいオブジェクト（被写体）同士が近接している場合であっても、当該オブジェクトが近接している画像領域（明暗差の大きい画像領域）の影響を受けて不適切なコントラスト強調がなされることを適切に回避することができる。

≪第２変形例（第４実施形態）≫
次に、本実施形態の第２変形例について、説明する。
本変形例の立体撮像装置は、第４実施形態の第１変形例の立体撮像装置の第２周囲明度検出部１８０１を、図２３に示す第３周囲明度検出部２１０１に置換した構成を有する。
それ以外については、本変形例の立体撮像装置は、第４実施形態の第１変形例の立体撮像装置と同様である。

したがって、以下では、本変形例の立体撮像装置における第３周囲明度検出部２１０１の構成および処理内容について、説明する。
なお、前述の実施形態と同様、Ｒ画像に対する処理は、Ｌ画像に対する処理と同様であるため、主として、Ｌ画像の処理について、説明する。
また、前述の実施形態と同様の部分については、同一の符号を付し、詳細な説明を省略する。

＜４．３：第３周囲明度検出部２１０１＞
第３周囲明度検出部２１０１では、第２周囲明度検出部１８０１とは異なり、周囲明度信号ＵＳ＿Ｌを用いることなく、Ｌ画像信号の輝度値ＩＳ＿Ｌの変化の大きい部分において、大きな信号値となる補正周囲明度信号ＵＳ＿Ｌ’を取得する。
図２３に示すように、第３周囲明度検出部２１０１は、第１ローパスフィルタ２１０２と、マックスフィルタ２１０３と、第２ローパスフィルタ２１０４と、を備える。

第１ローパスフィルタ２１０２は、Ｌ画像信号の輝度値ＩＳ＿Ｌを入力とし、入力されたＬ画像信号の輝度値ＩＳ＿Ｌから、細かいノイズ成分（高周波ノイズ成分）を除くためのフィルタ処理（ローパスフィルタ処理）を実行する。そして、第１ローパスフィルタ２１０２は、当該フィルタ処理後のＬ画像信号をマックスフィルタ２１０３に出力する。
マックスフィルタ２１０３は、第１ローパスフィルタ２１０２の出力を入力とし、マックスフィルタ処理を実行する。具体的には、マックスフィルタ２１０３は、第１ローパスフィルタ２１０２の出力（ローパスフィルタ処理後のＬ画像信号）に対して、処理対象画素および当該処理対象画素の近傍に存在するＮ個（Ｎは自然数）の周辺画素（サンプル点）について、その画素値が最大のものを検出する。そして、マックスフィルタ２１０３は、検出した当該最大値を第２ローパスフィルタ２１０４に出力する。

第２ローパスフィルタ２１０４は、マックスフィルタ２１０３からの出力を入力とし、入力された信号に対して、ローパスフィルタ処理を行う。第２ローパスフィルタ２１０４でのローパスフィルタ処理は、マックスフィルタ２１０３の出力において不要な高周波成分を除くための処理である。そして、第２ローパスフィルタ２１０４は、ローパスフィルタ処理後の信号を、補正周囲明度信号ＵＳ＿Ｌ’として出力する。

上記のように、第３周囲明度検出部２１０１では、細かいノイズ成分を除去した後の信号（第１ローパスフィルタ２１０２の出力信号）から所定のフィルタ範囲（処理対象画素およびその周辺画素により決定されるフィルタ範囲）における最大値をとり、当該最大値を信号値とする信号（マックスフィルタ２１０３の出力信号）を取得する。さらに、第３周囲明度検出部２１０１では、マックスフィルタ２１０３の出力信号から不要な高周波成分を除去することで、補正周囲明度信号ＵＳ＿Ｌ’を取得する。

したがって、第３周囲明度検出部２１０１では、周囲明度信号ＵＳ＿Ｌを用いることなく、Ｌ画像信号の輝度値ＩＳ＿Ｌだけを用いて、Ｌ画像信号の輝度値ＩＳ＿Ｌの変化の大きい部分において、大きな信号値となる補正周囲明度信号ＵＳ＿Ｌ’を取得することができる。
そして、本変形例の立体撮像装置において、第３周囲明度検出部２１０１により取得された補正周囲明度信号ＵＳ＿Ｌ’を用いることで、第４実施形態の第１変形例と同様、オブジェクトのディテール部分等において、効果的に陰影を濃くする画像処理を実現することができる。これにより、本変形例の立体撮像装置（立体画像処理装置）により取得された立体画像は、陰影部分を選択的に強調した立体画像となる。その結果、本変形例の立体撮像装置（立体画像処理装置）により取得された立体画像は、より自然な立体感・遠近感を再現する立体画像となる。

また、本変形例の立体画像処理装置では、第１実施形態の立体画像処理装置と同様、デプス値に基づいた処理が実行されるため、立体画像上において、被写体距離が異なるオブジェクト（被写体）であって、明暗差が大きいオブジェクト（被写体）同士が近接している場合であっても、当該オブジェクトが近接している画像領域（明暗差の大きい画像領域）の影響を受けて不適切なコントラスト強調がなされることを適切に回避することができる。

［第５実施形態］
次に、第５実施形態について、説明する。
本実施形態においても、陰影を濃くする立体画像処理を実現する技術について、説明する。
なお、第５実施形態でも上述の実施形態と同様に、立体画像処理装置として、２眼方式の立体撮像装置（デジタルカメラやビデオカメラなど）を例に、以下、説明する。なお、立体画像処理装置として、２眼方式の立体撮像装置に限定されることはなく、立体画像処理装置は、例えば、多視点方式の立体撮像装置であってもよい。

第５実施形態の立体撮像装置の構成は、第１実施形態の立体撮像装置１０００の構成と同様である。
第５実施形態の立体撮像装置は、第１実施形態の立体撮像装置１０００における画像補正部１０４の局所階調変換部１１１Ｌおよび１１１Ｒを、図２４に示す局所階調変換部１１１ＣＬおよび１１１ＣＲに置換した構成を有する。この点において、第５実施形態の立体撮像装置は、第１実施形態の立体撮像装置１０００と相違する。その他の点については、第５実施形態の立体撮像装置は、第１実施形態の立体撮像装置と同様である。

したがって、以下では、本実施形態の立体撮像装置における局所階調変換部１１１ＣＬおよび１１１ＣＲの構成および処理内容について、説明する。
なお、第１実施形態と同様、Ｒ画像に対する処理は、Ｌ画像に対する処理と同様であるため、主として、Ｌ画像の処理について、説明する。
なお、上述の実施形態と同様の部分については、同一の符号を付し、詳細な説明を省略する。

＜５．１：局所階調変換部１１１ＣＬ＞
局所階調変換部１１１ＣＬは、図２４に示すように、周囲明度検出部１２１と、第２動的階調補正部１２２Ａと、を備える。
周囲明度検出部１２１は、上述の実施形態の周囲明度検出部１２１と同様のものである。周囲明度検出部１２１は、画像入力部１０２から出力されたL画像を形成することができるL画像信号（L画像信号の輝度値ＩＳ＿Ｌ）を入力とし、L画像信号の輝度値ＩＳ＿Ｌに相当する注目画素（Ｌ画像上の処理対象画素）の周囲の領域（Ｌ画像上の注目画素の周辺画像領域）の代表明度値（例えば、当該周囲領域に含まれるすべての画素の平均輝度値）を算出する。そして、周囲明度検出部１２１は、算出した注目画素の周辺画像領域の代表明度値を、周囲明度信号ＵＳ＿Ｌとして、第２動的階調補正部１２２Ａに出力する。

第２動的階調補正部１２２Ａは、画像入力部１０２から出力されたL画像を形成することができるL画像信号（L画像信号の輝度値ＩＳ＿Ｌ）と、周囲明度検出部１２１から出力された周囲明度信号ＵＳ＿Ｌとを入力とする。第２動的階調補正部１２２Ａは、周囲明度信号ＵＳ＿Ｌの値に基づいて決定される階調変換特性により、L画像信号の輝度値ＩＳ＿Ｌに対して、階調変換処理を行う。第２動的階調補正部１２２Ａの階調変換特性は、例えば、図２５に示すようなものである。

図２５の階調変換特性は、図４の階調変換特性と同様のものであるが、入力値ＩＳが周囲明度信号の値ＵＳより大きくなった場合、入力値ＩＳをそのまま出力値ＯＳとする点において、図４の階調変換特性と異なる。
図２５は、図４と同様、横軸に入力信号であるＩＳ信号の値（L画像信号の輝度値ＩＳ＿Ｌ、または、Ｒ画像信号の輝度値ＩＳ＿Ｒ）をとり、縦軸に出力信号であるＯＳ信号の値（L画像信号の階調変換後の輝度値ＯＳ＿Ｌ、または、Ｒ画像信号の階調変換後の輝度値ＯＳ＿Ｒ）をとり、周囲明度信号ＵＳ＿Ｌ（またはＵＳ＿R）の値により決定される階調変換特性曲線Ｋ１〜Ｋ８をグラフにしたものである。

ただし、図４の階調変換特性とは異なり、図２５の階調変換特性は、実線部により示した曲線により決定されるものである。つまり、ＩＳ信号の値が周囲明度信号の値ＵＳ以下の場合のみ、階調変換特性曲線Ｋｎ（ｎ：１〜８の整数）により階調変換特性が決定される。そして、ＩＳ信号の値が周囲明度信号の値ＵＳより大きい場合は、階調変換することなく、そのまま、入力値であるＩＳ信号の値が、出力値ＯＳとなる。

第２動的階調補正部１２２Ａにより、図２５に示す階調変換特性により、階調変換することで、ＩＳ信号の値が周囲明度信号の値ＵＳ以下の場合のみ、つまり、処理対象の画素が周辺より暗い場合のみ、局所コントラストが強調される。これにより、陰影を濃くする階調変換を実現することができる。
以上説明したように、第２動的階調補正部１２２Ａは、図２５に示すような階調変換特性により、ＩＳ信号（L画像信号の輝度値ＩＳ＿Ｌ、または、Ｒ画像信号の輝度値ＩＳ＿Ｒ）に対して動的階調補正処理を行うことで、ＯＳ信号（L画像信号の階調変換後の輝度値ＯＳ＿Ｌ、または、Ｒ画像信号の階調変換後の輝度値ＯＳ＿Ｒ）を取得する。そして、第２動的階調補正部１２２Ａは、ＯＳ信号（L画像信号の階調変換後の輝度値ＯＳ＿Ｌ、または、Ｒ画像信号の階調変換後の輝度値ＯＳ＿Ｒ）を合成部１１３Ｌ（Ｒ画像信号の場合は、合成部１１３Ｒ）に出力する。

なお、第２動的階調補正部１２２Ａによる階調変換処理に用いられる階調変換特性は、図２５に示す階調変換特性に限定されるものではなく、陰影を濃くすることができる階調変換特性であれば、他の階調変換特性であってもよい。例えば、入力値ＩＳが周囲明度信号の値ＵＳより大きくなった場合、局所コントラストの強調度合いを低くする階調変換特性により、第２動的階調補正部１２２Ａによる階調変換処理を行うようにしてもよい。例えば、図２５の階調変換特性曲線Ｋ１〜Ｋ８の点線部分の傾きを小さくした曲線により決定される階調変換特性により、第２動的階調補正部１２２Ａによる階調変換処理を行うようにしてもよい。このような階調変換特性による階調変換処理を行うことで、周辺の明るさより明るい画素の局所コントラストの強調度合いを低く抑えつつ、陰影を濃くする階調変換を実現することができる。

以上の通り、本実施形態の立体撮像装置（立体画像処理装置）では、例えば、図２５に示す階調変換特性により、第２動的階調補正部１２２Ａが階調変換処理を実行するので、ＩＳ信号の値が周囲明度信号の値ＵＳ以下の場合のみ、つまり、処理対象の画素が周辺より暗い場合のみ、局所コントラストが強調される。その結果、本実施形態の立体撮像装置（立体画像処理装置）では、陰影を濃くする階調変換を実現することができる。これにより、本実施形態の立体画像処理装置により取得された立体画像は、陰影部分を選択的に強調した立体画像となる。その結果、本実施形態の立体画像処理装置により取得された立体画像は、より自然な立体感・遠近感を再現する立体画像となる。

また、本実施形態の立体画像処理装置では、第１実施形態の立体画像処理装置と同様、デプス値に基づいた処理が実行されるため、立体画像上において、被写体距離が異なるオブジェクト（被写体）であって、明暗差が大きいオブジェクト（被写体）同士が近接している場合であっても、当該オブジェクトが近接している画像領域（明暗差の大きい画像領域）の影響を受けて不適切なコントラスト強調がなされることを適切に回避することができる。

≪第１変形例（第５実施形態）≫
次に、本実施形態の第１変形例について、説明する。
本変形例の立体撮像装置は、第５実施形態の立体撮像装置における局所階調変換部１１１ＣＬおよび１１１ＣＲを、図２６に示す局所階調変換部１１１ＤＬおよび１１１ＤＲに、置換した構成を有する。

図２６に示すように、局所階調変換部１１１ＤＬおよび１１１ＤＲは、第２周囲明度検出部１８０１と、動的階調補正部１２２と、を備える。
第２周囲明度検出部１８０１は、前述の実施形態で説明したもの（図２０に示したもの）と同じものである。
動的階調補正部１２２は、前述の実施形態で説明したものと同じものであり、図４に示した階調変換特性により階調変換を実行する。

本変形例の立体撮像装置では、第２周囲明度検出部１８０１から出力される補正周囲明度信号ＵＳ＿Ｌ’を用いて、動的階調補正部１２２により、階調変換処理が実行される。そのため、陰影を濃くする階調変換を行うことができる。
つまり、補正周囲明度信号ＵＳ＿Ｌ’は、Ｌ画像信号の輝度値ＩＳ＿Ｌの変化の大きい部分において、その信号値が大きくなる。したがって、本変形例の立体撮像装置の動的階調補正部１２２により、補正周囲明度信号ＵＳ＿Ｌ’を用いた階調変換処理を実行することで、周囲明度信号ＵＳ＿Ｌを用いた階調変換処理を実行する場合に比べて、陰影を濃くする階調変換処理を実行することができる。

これについて、一例を挙げ、図４を用いて説明する。
例えば、Ｌ画像信号の輝度値ＩＳ＿Ｌが「４／８」で、周囲明度信号ＵＳ＿Ｌの値が「５／８」で、補正周囲明度信号ＵＳ＿Ｌ’の値が「７／８」の場合（Ｌ画像信号の輝度値ＩＳ＿Ｌの変化の大きい部分に相当）、本変形例の立体撮像装置では、Ｌ画像信号の輝度値ＩＳ＿Ｌが「４／８」である処理対象画素の画素値（輝度値）は、図４のＢ点により決定される出力値ＯＳ＿Ｌに階調変換される。一方、第１実施形態の立体撮像装置では、Ｌ画像信号の輝度値ＩＳ＿Ｌが「４／８」である処理対象画素の画素値（輝度値）は、図４のＡ点により決定される出力値ＯＳ＿Ｌに階調変換される。

つまり、上記の場合、本変形例の立体撮像装置による階調変換処理では、第１実施形態の立体撮像装置による階調変換処理に比べて、出力値がより低く（暗く）なるように階調変換される。したがって、本変形例の立体撮像装置による階調変換処理では、第１実施形態の立体撮像装置による階調変換処理に比べて、より陰影を強調する（陰影を濃くする）ことができる。

以上の通り、本変形例の立体撮像装置では、補正周囲明度信号ＵＳ＿Ｌ’を用いて、動的階調補正部１２２により、階調変換処理が実行されるので、Ｌ画像信号の輝度値ＩＳ＿Ｌの変化の大きい部分において、暗くなる方向への処理（階調値を低くする処理）が実行される。これにより、本変形例の立体画像処理装置では、例えば、オブジェクトのディテール部分における陰影部分を効果的に強調することができる（当該ディテール部分の陰影を効果的に濃くすることができる）。

これにより、本変形例の立体撮像装置（立体画像処理装置）により取得された立体画像は、陰影部分を選択的に強調した立体画像となる。その結果、本変形例の立体撮像装置（立体画像処理装置）により取得された立体画像は、より自然な立体感・遠近感を再現する立体画像となる。
また、本変形例の立体画像処理装置では、第１実施形態の立体画像処理装置と同様、デプス値に基づいた処理が実行されるため、立体画像上において、被写体距離が異なるオブジェクト（被写体）であって、明暗差が大きいオブジェクト（被写体）同士が近接している場合であっても、当該オブジェクトが近接している画像領域（明暗差の大きい画像領域）の影響を受けて不適切なコントラスト強調がなされることを適切に回避することができる。

なお、本変形例を前述の実施形態と組み合わせてもよい。これにより、前述の実施形態の立体画像処理技術においても、本変形例の効果を奏する立体画像処理を実現することができる。
また、本変形例の立体画像処理装置において、第２周囲明度検出部１８０１の代わりに、図２１に示した第３周囲明度検出部２１０１を用いて、補正周囲明度信号ＵＳ＿Ｌ’を生成するようにしてもよい。

［第６実施形態］
次に、第６実施形態について、説明する。
通常、多くのシーンでは、光源が完全な平行光源でない場合が多い。例えば、点光源の場合には、影までの距離が離れるほど影が広がりぼけてくる。また、複数光源があるシーンでも、やはり影はぼやけてくる。このように、陰影は、実物体の凹凸の形状よりぼけることが普通であり、人間の視覚は、そのような明暗変化を陰影として感じるものと考えられる。

そこで、陰影をより陰影らしく強調するには、陰影成分をぼかすことが有効であると考えられる。本願発明者らは、実際に、評価実験によって、その効果を確認した。
第６実施形態では、付加する陰影成分の高域成分を低減することにより、視覚的により自然な陰影強調を行い、より自然な立体感・遠近感を実現する立体画像を取得することができる立体画像処理技術について、説明する。

なお、第６実施形態でも前述の実施形態と同様に、立体画像処理装置として、２眼方式の立体撮像装置（デジタルカメラやビデオカメラなど）を例に、以下、説明する。なお、立体画像処理装置として、２眼方式の立体撮像装置に限定されることはなく、立体画像処理装置は、例えば、多視点方式の立体撮像装置であってもよい。
第６実施形態の立体撮像装置の構成は、第４実施形態の立体撮像装置の構成と同様である。

第６実施形態の立体撮像装置は、第４実施形態の立体撮像装置における局所階調変換部１１１ＡＬおよび１１１ＡＲを、図２７に示す局所階調変換部１１１ＥＬおよび１１１ＥＲに置換した構成を有する。この点において、第６実施形態の立体撮像装置は、第４実施形態の立体撮像装置と相違する。その他の点については、第６実施形態の立体撮像装置は、第４実施形態の立体撮像装置と同様である。

したがって、以下では、本実施形態の立体撮像装置における局所階調変換部１１１ＥＬおよび１１１ＥＲの構成および処理内容について、説明する。
なお、前述の実施形態と同様、Ｒ画像に対する処理は、Ｌ画像に対する処理と同様であるため、主として、Ｌ画像の処理について、説明する。
＜６．１：局所階調変換部１１１ＥＬ＞
図２７に示すように、局所階調変換部１１１ＥＬは、図２０に示す局所階調変換部１１１ＢＬにおいて、乗算器１６０３と加算器１６０４の間に、帯域制限部２５０１をさらに追加した構成を有している。この点以外については、局所階調変換部１１１ＥＬは、図２０に示す局所階調変換部１１１ＢＬと同様である。

帯域制限部２５０１は、乗算器１６０３からの出力を入力とし、当該入力された信号（乗算信号（ｋ×（（ＩＳ＿Ｌ）−（ＵＳ＿Ｌ‘））））に対して帯域制限処理を行い、帯域制限処理後の信号（ＬＰＦ（ｋ×（（ＩＳ＿Ｌ）−（ＵＳ＿Ｌ‘））））を、加算器１６０４に出力する。
なお、ＬＰＦ（）は、帯域制限処理を示す関数であり、例えば、ローパスフィルタ処理等により取得された信号値を出力する関数である。

帯域制限部２５０１での帯域制限処理は、帯域制限部２５０１への入力信号である乗算信号（ｋ×（（ＩＳ＿Ｌ）−（ＵＳ＿Ｌ‘）））の高周波成分を低減する処理であれば良い。例えば、帯域制限部２５０１での帯域制限処理として、ＬＰＦ処理を用いるようにしてもよい。
なお、帯域制限部２５０１での帯域制限処理は、帯域制限のカットオフ周波数を、周囲明度信号ＵＳ＿Ｌの信号帯域と比較して、１桁以上高い周波数に設定することが好ましい。例えば、対象とする画像の大きさが縦１０２４画素および横７６８画素であれば、縦横がそれぞれ８０画素以上の領域から周囲明度信号ＵＳ＿Ｌを生成することが好ましいが、この場合の周囲明度信号ＵＳ＿Ｌを取得する処理（例えば、ＬＰＦ処理）の帯域制限のカットオフ周波数に対して、帯域制限部２５０１での帯域制限処理の帯域制限のカットオフ周波数を１桁以上高い周波数に設定することが好ましい。

加算器１６０４では、帯域制限部２５０１から出力される帯域制限処理後の信号（ＬＰＦ（ｋ×（（ＩＳ＿Ｌ）−（ＵＳ＿Ｌ‘））））と、Ｌ画像信号の輝度値ＩＳ＿Ｌとが加算される。
つまり、本実施形態の局所階調変換部１１１ＥＬでは、
ＯＳ＿Ｌ＝ＩＳ＿Ｌ＋ＬＰＦ（ｋ×（（ＩＳ＿Ｌ）−（ＵＳ＿Ｌ‘）））
に相当する処理が実行される。

上式において、（（ＩＳ＿Ｌ）−（ＵＳ＿Ｌ‘））は、陰影成分に相当し、（ｋ×（（ＩＳ＿Ｌ）−（ＵＳ＿Ｌ‘）））が陰影の付加成分に相当すると考えられるので、ＬＰＦ（ｋ×（（ＩＳ＿Ｌ）−（ＵＳ＿Ｌ‘）））は、付加する陰影成分をぼかした（帯域制限した）ものに相当する。
従って、本実施形態の局所階調変換部１１１ＥＬから出力される補正後のＬ画像信号（補正後の輝度値）ＯＳ＿Ｌは、陰影をぼかしつつ、かつ、陰影を強調した信号となる。

以上の通り、本実施形態の立体画像処理装置では、陰影をぼかしつつ、かつ、陰影を濃くする（陰影を強調する）画像処理を実現することができる。これにより、本実施形態の立体画像処理装置により取得された立体画像は、陰影部分をぼかしつつ、陰影部分を選択的に強調した立体画像となる。その結果、本実施形態の立体画像処理装置により取得された立体画像は、より自然な立体感・遠近感を再現する立体画像となる。

また、本実施形態の立体画像処理装置では、第１実施形態の立体画像処理装置と同様、デプス値に基づいた処理が実行されるため、立体画像上において、被写体距離が異なるオブジェクト（被写体）であって、明暗差が大きいオブジェクト（被写体）同士が近接している場合であっても、当該オブジェクトが近接している画像領域（明暗差の大きい画像領域）の影響を受けて不適切なコントラスト強調がなされることを適切に回避することができる。

なお、本実施形態を前述の他の実施形態と組み合わせてもよい。これにより、前述の他の実施形態の立体画像処理技術においても、陰影部分をぼかしつつ、陰影を濃くする（陰影を強調する）立体画像処理を実現することができる。
また、本実施形態の局所階調変換部１１１ＥＬにおいて、第２周囲明度検出部１８０１を、図２３に示した第３周囲明度検出部２１０１に置換してもよい。この場合も、本実施形態の立体画像処理装置と同様の効果を奏することができる。

≪第１変形例（第６実施形態）≫
次に、本実施形態の第１変形例について、説明する。
本変形例の立体撮像装置は、第６実施形態の立体撮像装置における局所階調変換部１１１ＥＬおよび１１１ＥＲを、図２８に示す局所階調変換部１１１ＦＬおよび１１１ＦＲに、置換した構成を有する。

それ以外については、本変形例の立体撮像装置は、第６実施形態の立体撮像装置と同様である。
したがって、以下では、本変形例の立体撮像装置における局所階調変換部１１１ＦＬおよび１１１ＦＲの構成および処理内容について、説明する。
なお、第１実施形態と同様、Ｒ画像に対する処理は、Ｌ画像に対する処理と同様であるため、主として、Ｌ画像の処理について、説明する。

また、前述の実施形態と同様の部分については、同一の符号を付し、詳細な説明を省略する。
図２８に示すように、局所階調変換部１１１ＦＬは、第２周囲明度検出部１８０１と、減算器１６０１と、係数決定部１６０２と、乗算器１６０３と、加算器１６０４と、を備える。

さらに、局所階調変換部１１１ＦＬは、図２８に示すように、乗算器２６０１と、加算器２６０２と、帯域制限部２５０１と、減算器２６０３と、加算器１６０４と、を備える。
局所階調変換部１１１ＦＬは、
ＯＳ＿Ｌ＝ＩＳ＿Ｌ−ｐ×（ＩＳ＿Ｌ−ＵＳ＿Ｌ’）＋ＬＰＦ（（ｋ＋ｐ）×（ＩＳ＿Ｌ−ＵＳ＿Ｌ’）） （Ａ０）
（ｐ：０≦ｐ≦１）
に相当する処理を実行するものである。

ここで、局所階調変換部１１１ＦＬにおいて、上式に相当する処理を実行させる理由について、説明する。
まず、下記数式（Ａ１）の処理について、考える。
ＯＳ＿Ｌ＝ＵＳ＿Ｌ’＋（ｋ＋１）×（ＩＳ＿Ｌ−ＵＳ＿Ｌ’） （Ａ１）
数式（Ａ１）の右辺第２項は、（もともと原画に存在していた陰影成分）＋（付加する陰影成分）を表していると考えられる。

そして、数式（Ａ１）の右辺第２項に対して帯域制限処理（関数ＬＰＦ（）による処理に相当）を行うと、付加する陰影成分およびもともと原画に存在していた陰影成分をぼかすことができる。
すなわち、
ＯＳ＿Ｌ＝ＵＳ＿Ｌ’＋ＬＰＦ（（ｋ＋１）×（ＩＳ＿Ｌ−ＵＳ＿Ｌ’）） （Ａ２）
に相当する処理を実行することで、付加する陰影成分およびもともと原画に存在していた陰影成分をぼかすことができる。

一方、第６実施形態での処理（付加する陰影成分のみをぼかす処理）は、
ＯＳ＿Ｌ＝ＩＳ＿Ｌ＋ＬＰＦ（ｋ×（（ＩＳ＿Ｌ）−（ＵＳ＿Ｌ‘））） （Ａ３）
に相当する。
上記数式（Ａ２）に相当する処理では、陰影らしさを強く表現できる一方、実際の陰影以外もぼかすという副作用が生じる。

そこで、数式（Ａ２）と数式（Ａ３）（第６実施形態に相当）との間のぼかし方が設定できる処理が好ましい。
これを実現するのが、上記数式（Ａ０）に相当する処理である。
上記数式（Ａ０）において、ｐ＝０とすると、数式（Ａ０）は、数式（Ａ３）（第６実施形態に相当）と同一となり、付加する陰影成分のみをぼかす処理が実行される。

一方、ｐ＝１とすると、数式（Ａ０）は、数式（Ａ２）と同一となり、付加する陰影成分および存在していた陰影成分をぼかす処理が実行される。
つまり、局所階調変換部１１１ＦＬにより、数式（Ａ０）に相当する処理を実行することで、数式（Ａ２）と数式（Ａ３）（第６実施形態に相当）との間のぼかし方が実行される処理を実現することができる。

なお、ぼかし方の程度を決定するｐは、不図示の制御部等により設定される。
また、ｐは、０≦ｐ＜０．５に設定すると、良好な陰影強調が実現されるので、好ましい。
以上の通り、本変形例の立体画像処理装置では、陰影をぼかしつつ、かつ、陰影を濃くする（陰影を強調する）画像処理を実現することができる。さらに、本変形例の立体画像処理装置では、陰影をぼかす程度を調整することができる。これにより、本変形例の立体画像処理装置により取得された立体画像は、陰影部分を適切にぼかしつつ、陰影部分を選択的に強調した立体画像となる。その結果、本変形例の立体画像処理装置により取得された立体画像は、より自然な立体感・遠近感を再現する立体画像となる。

また、本変形例の立体画像処理装置では、第１実施形態の立体画像処理装置と同様、デプス値に基づいた処理が実行されるため、立体画像上において、被写体距離が異なるオブジェクト（被写体）であって、明暗差が大きいオブジェクト（被写体）同士が近接している場合であっても、当該オブジェクトが近接している画像領域（明暗差の大きい画像領域）の影響を受けて不適切なコントラスト強調がなされることを適切に回避することができる。

なお、本実施形態を前述の他の実施形態と組み合わせてもよい。これにより、前述の他の実施形態の立体画像処理技術においても、陰影部分を適切にぼかしつつ、陰影を濃くする（陰影を強調する）立体画像処理を実現することができる。
また、本実施形態の局所階調変換部１１１ＦＬにおいて、第２周囲明度検出部１８０１を、図２３に示した第３周囲明度検出部２１０１に置換してもよい。この場合も、本実施形態の立体画像処理装置と同様の効果を奏することができる。また、本実施形態の局所階調変換部１１１ＦＬにおいて、第２周囲明度検出部１８０１を、周囲明度検出部１２１に置換してもよい。

［第７実施形態］
次に、第７実施形態について、説明する。
第４〜第６実施形態と同様に、本実施形態では、陰影を濃くする立体画像処理を実現する技術について、説明する。
なお、第７実施形態でも上述の実施形態と同様に、立体画像処理装置として、２眼方式の立体撮像装置（デジタルカメラやビデオカメラなど）を例に、以下、説明する。なお、立体画像処理装置として、２眼方式の立体撮像装置に限定されることはなく、立体画像処理装置は、例えば、多視点方式の立体撮像装置であってもよい。

第７実施形態の立体撮像装置の構成は、第２実施形態の立体撮像装置の構成と同様である。
第７実施形態の立体撮像装置は、第２実施形態の立体撮像装置における画像補正部５０４の第２の局所階調変換部５１１Ｌおよび５１１Ｒを、局所階調変換部１１１ＡＡＬおよび１１１ＡＡＲに置換した構成を有する。この点において、第７実施形態の立体撮像装置は、第２実施形態の立体撮像装置と相違する。その他の点については、第７実施形態の立体撮像装置は、第２実施形態の立体撮像装置と同様である。

したがって、以下では、本実施形態の立体撮像装置における局所階調変換部１１１ＡＡＬおよび１１１ＡＡＲの構成および処理内容について、説明する。
なお、第２実施形態と同様、Ｒ画像に対する処理は、Ｌ画像に対する処理と同様であるため、主として、Ｌ画像の処理について、説明する。
また、前述の実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。

＜７．１：局所階調変換部１１１ＡＡＬ＞
局所階調変換部１１１ＡＡＬは、図２９に示すように、デプス周囲明度検出部５２１と、減算器１６０１と、係数決定部１６０２と、乗算器１６０３と、加算器１６０４と、を備える。局所階調変換部１１１ＡＡＬは、図２９に示すように、図１８の局所階調変換部１１１ＡＬにおいて、周囲明度検出部１２１をデプス周囲明度検出部５２１に置換した構成を有している。

デプス周囲明度検出部５２１は、上述の実施形態のデプス周囲明度検出部５２１と同様のものである。デプス周囲明度検出部５２１は、画像入力部１０２から出力されたL画像を形成することができるL画像信号（L画像信号の輝度値ＩＳ＿Ｌ）およびデプス取得部１０３から出力されたＬデプス値を入力とし、L画像信号の輝度値ＩＳ＿Ｌに相当する注目画素（Ｌ画像上の処理対象画素）の周囲の領域（Ｌ画像上の注目画素の周辺画像領域）の代表明度値（例えば、当該周囲領域に含まれるすべての画素の平均輝度値）を、第２実施形態と同様、（数式２）により算出する。そして、周囲明度検出部１２１は、算出した注目画素の周辺画像領域の代表明度値を、周囲明度信号ＵＳ＿Ｌとして、減算器１６０１に出力する。

以降の処理については、第４実施形態と同様である。
このように、本実施形態の立体画像処理装置では、距離（被写体距離）の異なる画素の影響を抑制した周囲明度信号ＵＳ＿Ｌにより処理が実行される。したがって、本実施形態の立体画像処理装置では、立体画像上において、被写体距離が異なるオブジェクト（被写体）であって、明暗差が大きいオブジェクト（被写体）同士が近接している場合であっても、当該オブジェクトが近接している画像領域（明暗差の大きい画像領域）の影響を受けて不適切なコントラスト強調がなされることを適切に回避することができるとともに、陰影を濃くする画像処理を実現することができる。その結果、本実施形態の立体撮像装置により取得される立体画像は、自然な陰影強調が実現された立体画像となる。

≪第１変形例（第７実施形態）≫
次に、本実施形態の第１変形例について、説明する。
本変形例の立体撮像装置は、第７実施形態の立体撮像装置における局所階調変換部１１１ＡＡＬおよび１１１ＡＡＲを、図３０に示す局所階調変換部１１１ＢＢＬおよび１１１ＢＢＲに、置換した構成を有する。より具体的には、本変形例の立体撮像装置は、第７実施形態の立体撮像装置における局所階調変換部１１１ＡＡＬおよび１１１ＡＡＲのデプス周囲明度検出部５２１を、図３０に示す第２デプス周囲明度検出部１８０１Ａに置換した構成を有する。

それ以外については、本変形例の立体撮像装置は、第７実施形態の立体撮像装置と同様である。
したがって、以下では、本変形例の立体撮像装置における局所階調変換部１１１ＢＢＬおよび１１１ＢＢＲの構成および処理内容について、説明する。
なお、前述の実施形態と同様、Ｒ画像に対する処理は、Ｌ画像に対する処理と同様であるため、主として、Ｌ画像の処理について、説明する。

また、前述の実施形態と同様の部分については、同一の符号を付し、詳細な説明を省略する。
＜７．２：局所階調変換部１１１ＢＬ＞
図３０に示すように、局所階調変換部１１１ＢＢＬは、第２デプス周囲明度検出部１８０１Ａと、減算器１６０１と、係数決定部１６０２と、乗算器１６０３と、加算器１６０４と、を備える。

減算器１６０１と、係数決定部１６０２と、乗算器１６０３と、加算器１６０４とについては、第７実施形態のものと同様のものである。
第２デプス周囲明度検出部１８０１Ａは、図３０に示すように、デプス周囲明度検出部５２１と、オフセット算出部１８０２と、加算器１８０３と、を備える。つまり、第２デプス周囲明度検出部１８０１Ａは、図２０に示す第２周囲明度検出部１８０１において、周囲明度検出部１２１をデプス周囲明度検出部５２１に置換した構成を有する。

デプス周囲明度検出部５２１は、上述の実施形態のデプス周囲明度検出部５２１と同様のものである。デプス周囲明度検出部５２１は、画像入力部１０２から出力されたL画像を形成することができるL画像信号（L画像信号の輝度値ＩＳ＿Ｌ）およびデプス取得部１０３から出力されたＬデプス値を入力とし、L画像信号の輝度値ＩＳ＿Ｌに相当する注目画素（Ｌ画像上の処理対象画素）の周囲の領域（Ｌ画像上の注目画素の周辺画像領域）の代表明度値（例えば、当該周囲領域に含まれるすべての画素の平均輝度値）を、第２実施形態と同様、（数式２）により算出する。そして、周囲明度検出部１２１は、算出した注目画素の周辺画像領域の代表明度値を、周囲明度信号ＵＳ＿Ｌとして、減算器１６０１に出力する。

以降の処理については、第４実施形態の第１変形例と同様である。
このように、本変形例の立体画像処理装置では、距離（被写体距離）の異なる画素の影響を抑制した周囲明度信号ＵＳ＿Ｌにより処理が実行される。したがって、本変形例の立体画像処理装置では、立体画像上において、被写体距離が異なるオブジェクト（被写体）であって、明暗差が大きいオブジェクト（被写体）同士が近接している場合であっても、当該オブジェクトが近接している画像領域（明暗差の大きい画像領域）の影響を受けて不適切なコントラスト強調がなされることを適切に回避することができるとともに、陰影を濃くする画像処理を実現することができる。その結果、本変形例の立体撮像装置により取得される立体画像は、自然な陰影強調が実現された立体画像となる。

［第８実施形態］
次に、第８実施形態について、説明する。
本実施形態においても、陰影を濃くする立体画像処理を実現する技術について、説明する。
なお、第８実施形態でも上述の実施形態と同様に、立体画像処理装置として、２眼方式の立体撮像装置（デジタルカメラやビデオカメラなど）を例に、以下、説明する。なお、立体画像処理装置として、２眼方式の立体撮像装置に限定されることはなく、立体画像処理装置は、例えば、多視点方式の立体撮像装置であってもよい。

第８実施形態の立体撮像装置の構成は、第２実施形態の立体撮像装置の構成と同様である。
第８実施形態の立体撮像装置は、第２実施形態の立体撮像装置における画像補正部１０４の第２の局所階調変換部５１１Ｌおよび５１１Ｒを、図３１に示す局所階調変換部１１１ＣＣＬおよび１１１ＣＣＲに置換した構成を有する。この点において、第８実施形態の立体撮像装置は、第２実施形態の立体撮像装置と相違する。その他の点については、第８実施形態の立体撮像装置は、第２実施形態の立体撮像装置と同様である。

したがって、以下では、本実施形態の立体撮像装置における局所階調変換部１１１ＣＣＬおよび１１１ＣＣＲの構成および処理内容について、説明する。
なお、第２実施形態と同様、Ｒ画像に対する処理は、Ｌ画像に対する処理と同様であるため、主として、Ｌ画像の処理について、説明する。
なお、上述の実施形態と同様の部分については、同一の符号を付し、詳細な説明を省略する。

＜８．１：局所階調変換部１１１ＣＣＬ＞
局所階調変換部１１１ＣＣＬは、図３１に示すように、デプス周囲明度検出部５２１と、第２動的階調補正部１２２Ａと、を備える。
デプス周囲明度検出部５２１は、上述の実施形態のデプス周囲明度検出部５２１と同様のものである。

第２動的階調補正部１２２Ａは、上述の第２動的階調補正部１２２Ａと同様のものである。
本実施形態の立体画像処理装置では、デプス周囲明度検出部５２１により、距離（被写体距離）の異なる画素の影響を抑制した周囲明度信号ＵＳ＿Ｌにより処理が実行される。したがって、本実施形態の立体画像処理装置では、立体画像上において、被写体距離が異なるオブジェクト（被写体）であって、明暗差が大きいオブジェクト（被写体）同士が近接している場合であっても、当該オブジェクトが近接している画像領域（明暗差の大きい画像領域）の影響を受けて不適切なコントラスト強調がなされることを適切に回避することができるとともに、陰影を濃くする画像処理を実現することができる。その結果、本実施形態の立体撮像装置により取得される立体画像は、自然な陰影強調が実現された立体画像となる。

≪第１変形例（第８実施形態）≫
次に、本実施形態の第１変形例について、説明する。
本変形例の立体撮像装置は、第８実施形態の立体撮像装置における局所階調変換部１１１ＣＣＬおよび１１１ＣＣＲを、図３２に示す局所階調変換部１１１ＤＤＬおよび１１１ＤＤＲに、置換した構成を有する。

図３２に示すように、局所階調変換部１１１ＤＤＬおよび１１１ＤＤＲは、第２デプス周囲明度検出部１８０１Ａと、動的階調補正部１２２と、を備える。
第２デプス周囲明度検出部１８０１Ａは、前述の実施形態で説明したもの（図３０に示したもの）と同じものである。
本変形例の立体画像処理装置では、第２デプス周囲明度検出部１８０１Ａにより、距離（被写体距離）の異なる画素の影響を抑制した補正周囲明度信号ＵＳ＿Ｌ’により処理が実行される。したがって、本変形例の立体画像処理装置では、立体画像上において、被写体距離が異なるオブジェクト（被写体）であって、明暗差が大きいオブジェクト（被写体）同士が近接している場合であっても、当該オブジェクトが近接している画像領域（明暗差の大きい画像領域）の影響を受けて不適切なコントラスト強調がなされることを適切に回避することができるとともに、陰影を濃くする画像処理を実現することができる。その結果、本変形例の立体撮像装置により取得される立体画像は、自然な陰影強調が実現された立体画像となる。

［第９実施形態］
次に、第９実施形態について、説明する。
第９実施形態では、第６実施形態と同様に、付加する陰影成分の高域成分を低減することにより、視覚的により自然な陰影強調を行い、より自然な立体感・遠近感を実現する立体画像を取得することができる立体画像処理技術について、説明する。

なお、第９実施形態でも前述の実施形態と同様に、立体画像処理装置として、２眼方式の立体撮像装置（デジタルカメラやビデオカメラなど）を例に、以下、説明する。なお、立体画像処理装置として、２眼方式の立体撮像装置に限定されることはなく、立体画像処理装置は、例えば、多視点方式の立体撮像装置であってもよい。
第９実施形態の立体撮像装置の構成は、第７実施形態の第１変形例の立体撮像装置の構成と同様である。

第９実施形態の立体撮像装置は、第７実施形態の第１変形例の立体撮像装置における局所階調変換部１１１ＢＢＬおよび１１１ＢＢＲを、図３３に示す局所階調変換部１１１ＥＥＬおよび１１１ＥＥＲに置換した構成を有する。この点において、第９実施形態の立体撮像装置は、第７実施形態の立体撮像装置と相違する。その他の点については、第９実施形態の立体撮像装置は、第７実施形態の立体撮像装置と同様である。

したがって、以下では、本実施形態の立体撮像装置における局所階調変換部１１１ＥＥＬおよび１１１ＥＥＲの構成および処理内容について、説明する。
なお、前述の実施形態と同様、Ｒ画像に対する処理は、Ｌ画像に対する処理と同様であるため、主として、Ｌ画像の処理について、説明する。
また、前述の実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。

＜９．１：局所階調変換部１１１ＥＥＬ＞
図３３に示すように、局所階調変換部１１１ＥＥＬは、図３０に示す局所階調変換部１１１ＢＢＬにおいて、乗算器１６０３と加算器１６０４の間に、帯域制限部２５０１をさらに追加した構成を有している。この点以外については、局所階調変換部１１１ＥＥＬは、図３０に示す局所階調変換部１１１ＢＢＬと同様である。

また、帯域制限部２５０１は、図２７に示した帯域制限部２５０１と同様のものである。
本実施形態の立体画像処理装置では、第２デプス周囲明度検出部１８０１Ａにより、距離（被写体距離）の異なる画素の影響を抑制した補正周囲明度信号ＵＳ＿Ｌ’により処理が実行される。したがって、本実施形態の立体画像処理装置では、立体画像上において、被写体距離が異なるオブジェクト（被写体）であって、明暗差が大きいオブジェクト（被写体）同士が近接している場合であっても、当該オブジェクトが近接している画像領域（明暗差の大きい画像領域）の影響を受けて不適切なコントラスト強調がなされることを適切に回避することができるとともに、陰影を濃くする画像処理を実現することができる。その結果、本実施形態の立体撮像装置により取得される立体画像は、自然な陰影強調が実現された立体画像となる。

≪第１変形例（第９実施形態）≫
次に、本実施形態の第１変形例について、説明する。
本変形例の立体撮像装置は、第９実施形態の立体撮像装置における局所階調変換部１１１ＥＥＬおよび１１１ＥＥＲを、図３４に示す局所階調変換部１１１ＦＦＬおよび１１１ＦＦＲに、置換した構成を有する。

それ以外については、本変形例の立体撮像装置は、第９実施形態の立体撮像装置と同様である。
したがって、以下では、本変形例の立体撮像装置における局所階調変換部１１１ＦＦＬおよび１１１ＦＦＲの構成および処理内容について、説明する。
なお、前述の実施形態と同様、Ｒ画像に対する処理は、Ｌ画像に対する処理と同様であるため、主として、Ｌ画像の処理について、説明する。

また、前述の実施形態と同様の部分については、同一の符号を付し、詳細な説明を省略する。
図３４に示すように、局所階調変換部１１１ＦＦＬは、第２デプス周囲明度検出部１８０１Ａと、減算器１６０１と、係数決定部１６０２と、乗算器１６０３と、加算器１６０４と、を備える。

さらに、局所階調変換部１１１ＦＦＬは、図３４に示すように、乗算器２６０１と、加算器２６０２と、帯域制限部２５０１と、減算器２６０３と、加算器１６０４と、を備える。
なお、局所階調変換部１１１ＦＦＬの減算器１６０１、係数決定部１６０２、乗算器１６０３、加算器１６０４、乗算器２６０１、加算器２６０２、帯域制限部２５０１、および減算器２６０３は、第６実施形態の局所階調変換部１１１ＦＬ（１１１ＦＲ）のものと同様である。

本変形例の立体画像処理装置では、陰影をぼかしつつ、かつ、陰影を濃くする（陰影を強調する）画像処理を実現することができる。さらに、本変形例の立体画像処理装置では、陰影をぼかす程度を調整することができる。これにより、本変形例の立体画像処理装置により取得された立体画像は、陰影部分を適切にぼかしつつ、陰影部分を選択的に強調した立体画像となる。その結果、本変形例の立体画像処理装置により取得された立体画像は、より自然な立体感・遠近感を再現する立体画像となる。

また、本変形例の立体画像処理装置では、第２デプス周囲明度検出部１８０１Ａにより、距離（被写体距離）の異なる画素の影響を抑制した補正周囲明度信号ＵＳ＿Ｌ’により処理が実行される。したがって、本変形例の立体画像処理装置では、立体画像上において、被写体距離が異なるオブジェクト（被写体）であって、明暗差が大きいオブジェクト（被写体）同士が近接している場合であっても、当該オブジェクトが近接している画像領域（明暗差の大きい画像領域）の影響を受けて不適切なコントラスト強調がなされることを適切に回避することができるとともに、陰影を濃くする画像処理を実現することができる。その結果、本変形例の立体撮像装置により取得される立体画像は、自然な陰影強調が実現された立体画像となる。

なお、本実施形態を前述の他の実施形態と組み合わせてもよい。これにより、前述の他の実施形態の立体画像処理技術においても、陰影部分を適切にぼかしつつ、陰影を濃くする（陰影を強調する）立体画像処理を実現することができる。
また、本実施形態の局所階調変換部１１１ＦＬにおいて、第２周囲明度検出部１８０１を、図２３に示した第３周囲明度検出部２１０１に置換してもよい。この場合も、本実施形態の立体画像処理装置と同様の効果を奏することができる。また、本実施形態の局所階調変換部１１１ＦＬにおいて、第２周囲明度検出部１８０１を、周囲明度検出部１２１に置換してもよい。

［他の実施形態］
なお、上記実施形態の組み合わせることで、立体画像処理装置を実現するようにしてもよい。
例えば、第３実施形態で説明した手法と同様の手法により、第４〜６実施形態のいずれかと、第７〜９実施形態のいずれかを組み合わせることで、立体画像処理装置を実現するようにしてもよい。

また、上記実施形態において、画像入力部１０２には、Ｒ画像およびＬ画像が入力される構成について説明したが、これに限定されることはなく、例えば、多視点方式により取得されたＮ枚（Ｎは２以上の自然数）の画像から、Ｒ画像およびＬ画像を選択し、選択したＲ画像（信号）およびＬ画像（信号）を、画像入力部１０２に入力するようにしてもよい。

また、立体画像処理装置において、Ｒ画像およびＬ画像は、必ずしも内部で取得されなくてもよい。例えば、Ｒ画像およびＬ画像は、外部から立体画像処理装置に入力されるものであってもよい。
さらに、立体画像処理装置において、Ｒデプス情報およびＬデプス情報も、必ずしも内部で取得されなくてもよい。例えば、Ｒデプス情報およびＬデプス情報は、外部から立体画像処理装置に入力されるものであってもよい。この場合、立体画像処理装置において、デプス取得部１０３を省略することができる。つまり、立体画像処理装置が、画像補正部１０４のみを備えるものであってもよい。

また、立体画像処理装置において、デプス情報を含む２Ｄ映像を入力し、当該デプス情報により、上記実施形態で説明した処理を実行するようにしてもよい。例えば、デプス情報を含む２Ｄ映像から、Ｒ画像およびＬ画像を生成し、生成したＲ画像およびＬ画像、および、２Ｄ映像に含まれていたデプス情報を立体画像処理装置の画像補正部１０４に入力し、立体画像処理装置において、上記実施形態で説明した処理を実行するようにしてもよい。

さらに、立体画像処理装置において、デプス情報を含む２Ｄ映像が入力された場合、当該２Ｄ映像に対して、上記実施形態で説明した陰影強調処理を行うことで、陰影を濃くした２Ｄ映像を取得するようにしてもよい。この場合、例えば、立体画像処理装置における１系統による処理（Ｌ画像用処理またはＲ画像用処理に相当する処理）を行うようにしてもよい。そして、この場合、立体画像処理装置は、Ｌ画像用処理およびＲ画像用処理のいずれか１つに相当する処理系統のみにより構成されるものであってもよい。

また、立体画像処理装置において、２Ｄ映像を３Ｄ映像に変換した映像（２Ｄ−３Ｄ変換映像）を入力し、さらに、２Ｄ−３Ｄ変換処理において、推定されたデプス情報を用いて、上記実施形態で説明した処理を実行するようにしてもよい。例えば、２Ｄ−３Ｄ変換処理により取得されたＲ画像およびＬ画像、および、推定処理により取得されたデプス情報を立体画像処理装置の画像補正部１０４に入力し、立体画像処理装置において、上記実施形態で説明した処理を実行するようにしてもよい。

また、上記実施形態で説明した立体撮像装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。

また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る立体撮像装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。

また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
また、上記実施形態では、２つの撮像部により、ステレオ画像（左眼用画像および右眼用画像）を取得（撮像）している場合について説明した。しかし、これに限定されることはなく、例えば、１つの撮像素子により、左眼用画像と右眼用画像とを時分割で交互に取得するようにしてもよいし、また、１つの撮像素子の撮像素子面を２分割して、左眼用画像と右眼用画像とを取得するようにしてもよい。

前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕｅ−ｒａｙ Ｄｉｓｃ）、半導体メモリを挙げることができる。

上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
また、上記実施形態で説明したデプス取得部１０３および画像補正部１０４を搭載した立体表示装置、テレビ、情報携帯端末、パーソナルコンピュータ、デジタルスチルカメラ、ムービー、情報記録再生装置、映像記録再生装置等を実現するようにしてもよい。なお、この場合、Ｒ画像およびＬ画像は、上記装置に対して、外部から入力させるものであってもよい。

なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。

本発明に係る立体画像処理装置、立体画像処理方法およびプログラムでは、少ない視差により撮影された立体感に乏しい画像に自然な立体感を付与することにより高品位な立体画像を取得することができる。したがって、本発明は、映像関連産業において有用であり、当該分野において実施することができる。

１０００ 立体撮像装置
１０１Ｒ 第１撮像部
１０１Ｌ 第２撮像部
１０２ 画像入力部
１０３ デプス取得部
１０４、５０４ 画像補正部
１１１Ｌ、１１１Ｒ、１１１ＡＬ、１１１ＡＲ、１１１ＢＬ、１１１ＢＲ、１１１ＣＬ、１１１ＣＲ、１１１ＤＬ、１１１ＤＲ、１１１ＥＬ、１１１ＥＲ、１１１ＦＬ、１１１ＦＲ、１１１ＡＡＬ、１１１ＡＡＲ、１１１ＢＢＬ、１１１ＢＢＲ、１１１ＣＣＬ、１１１ＣＣＲ、１１１ＤＤＬ、１１１ＤＤＲ、１１１ＥＥＬ、１１１ＥＥＲ、１１１ＦＦＬ、１１１ＦＦＲ 局所階調変換部
１１２Ｌ、１１２Ｒ 強度生成部
１１３Ｌ、１１３Ｒ 合成部
１２１ 周囲明度検出部
１２２ 動的階調補正部
１２２Ａ 第２動的階調補正部
５０４Ｌ 第２のＬ画像用画像補正部
５０４Ｒ 第２のＲ画像用画像補正部
５１１Ｌ、５１１Ｒ 第２の局所階調変換部
５２１ デプス周囲明度検出部
１６０２ 係数決定部
１８０１ 第２周囲明度検出部
１８０１Ａ 第２デプス周囲明度検出部

Claims (9)

1. 立体視用の画像に対して画像補正処理を行う立体画像処理装置であって、
   処理対象である注目画素の画素値と当該注目画素の周辺画素の画素値との関係に基づいて、前記立体視用の画像のうちの、第１視点からの第１視点用画像と前記第１視点とは異なる第２視点からの第２視点用画像をそれぞれ階調変換し、前記第１視点からの第１視点用変換画像と前記第２視点からの第２視点用変換画像を生成する変換部と、
   前記第１視点用画像と前記変換部によって生成された前記第１視点用変換画像とを前記第１視点からの第１被写体距離に基づく第１配分比率で合成すると共に、前記第２視点用画像と前記変換部によって生成された前記第２視点用変換画像とを前記第２視点からの第２被写体距離に基づく第２配分比率で合成する合成部と、
   を備える立体画像処理装置。
2. 前記合成部は、前記第１被写体距離が近いほど前記第１視点用変換画像の重みが大きくなるような前記第１配分比率で、前記第１視点用画像と前記第１視点用変換画像とを前記第１視点からの第１被写体距離に基づく第１配分比率で合成する、
   請求項１に記載の立体画像処理装置。
3. 前記合成部は、前記第２被写体距離が近いほど前記第２視点用変換画像の重みが大きくなるような前記第２配分比率で、前記第２視点用画像と前記第２視点用変換画像とを前記第２視点からの第２被写体距離に基づく第２配分比率で合成する、
   請求項１に記載の立体画像処理装置。
4. 更に、前記変換部は、前記注目画素に対してコントラスト強調処理を行うことにより陰影強調処理を行う、
   請求項１から３のいずれかに記載の画像処理装置。
5. 更に、前記変換部は、前記注目画素に対して視覚処理による局所コントラスト強調処理を行うことにより陰影強調処理を行う、
   請求項１から３のいずれかに記載の画像処理装置。
6. 更に、前記変換部は、前記注目画素に対して陰影を濃くすることにより陰影強調処理を行う、
   請求項１から３のいずれかに記載の画像処理装置。
7. 前記変換部は、前記注目画素の明度値が、前記周辺画素の明度値よりも小さい場合、前記注目画素の値を所定の値に固定したとき、前記周辺画素の値が増加するに従い、階調変換後の前記注目画素の値が減少する階調変換特性を用いて変換する、
   請求項１に記載の立体画像処理装置。
8. 前記変換部は、前記注目画素の明度値が、前記周辺画素の明度値よりも大きい場合、前記注目画素の値を変換せずに変換画像の画素値として出力する、
   請求項７に記載の立体画像処理装置。
9. 前記変換部は、前記注目画素を含む所定領域の画素値の変換に基づくオフセット値を前記周辺画素の明度値に加算し、前記加算結果に基づいて前記注目画素を階調変換する、
   請求項７に記載の立体画像処理装置。

Images