WO2012098608A1 - 立体画像処理装置、立体画像処理方法およびプログラム - Google Patents

Abstract

立体画像において、いかなる要因で発生した書き割り現象であっても、被写体の立体感・厚み感を復元し、書き割り感の少ない高品位な立体画像を得る。立体撮像装置（立体画像処理装置）（１０００）では、デプス取得部（１０３）が、立体画像からＬデプス情報およびＲデプス情報を取得し、画像補正部（１０４）が、Ｌデプス情報およびＲデプス情報に基づいて、被写体の端部分領域の定位位置が遠くなるように、被写体の端部分領域の視差が調整される。従って、立体撮像装置（１０００）で取得される立体画像を立体表示させたときに、被写体の端部領域が丸み感を帯びて表示されることになる。その結果、この立体画像処理装置による処理を行った立体画像は、被写体の立体感・厚み感を適切に表現でき、かつ、書き割り感の少ない高品位な立体画像となる。

Description

立体画像処理装置、立体画像処理方法およびプログラム

　本発明は、立体画像（３次元立体画像）の品位を高める技術に関するものであり、立体撮像を行うカメラ（撮像装置）、立体画像（立体映像）を表示するディスプレイ装置、立体画像（立体映像）を処理する画像処理装置など、立体画像（立体映像）を扱う幅広い機器に応用できる技術に関する。

　立体画像（左眼用画像および右眼用画像）を、独立して左右の目に投影できる表示装置（以下、「立体表示装置」という。）に表示することにより、立体画像を再現させるために、両眼視差が存在する状態で立体画像（左眼用画像および右眼用画像）を撮像する立体撮像装置が知られている。
　立体撮像において、遠景（遠景の被写体）や近景（近景の被写体）が大きな視差を持つ状態で取得された立体画像（左眼用画像および右眼用画像）は、人間が立体視する際の融像限界を超え立体視が困難な画像になる、あるいは、当該立体画像を見ている人間に疲労感を生じさせる画像（疲れる画像）になる。このような不良な立体画像の生成を避けるために、視差調整やステレオベース調整（以下、「ＳＢ調整」という。）を行うことで、良好な立体画像を得る技術があり、このような技術は、映画などの本格的な立体撮影において広く用いられている。

　視差調整は、主に遠景（遠景の被写体）が融像限界を超える場合に用いられる技術で、遠景までの距離を非線形に圧縮するように視差調整することで、立体視する際に見にくかった遠景（遠景の被写体）を近づけ、立体視する際に見やすい立体画像（立体視が容易な立体画像）を取得することができる。
　また、ステレオベース調整は、２台のカメラ（左眼用画像撮像用のカメラおよび右眼用画像撮像用のカメラ）の間隔を近づけることにより（ステレオベース（基線長）を小さくすることにより）、視差のダイナミックレンジを小さくすることができる。このため、上記のようにステレオベース調整を行った後、立体撮像を行うことで、近景（近景の被写体）から遠景（遠景の被写体）までの全体が融像域内に入る立体画像を取得することができる。

　また、立体画像を小さなサイズのディスプレイ装置に表示した場合も、立体画像（左眼用画像および右眼用画像）の視差が小さくなるため、遠景が圧縮される。したがって、この場合、小さなサイズのディスプレイ装置に表示される立体画像は、見やすい立体画像となる。
　立体撮像において、上記撮影技術（視差調整、ステレオベース調整）を駆使することにより、所定の表示環境において立体表示させたとき、十分見やすい画像（立体視しやすい立体画像）となる立体画像を撮影することができる（例えば、特許文献１参照）。

特開平８－９４２１号公報

　しかしながら、上記従来技術では、立体視の融像限界を考慮して、望ましい視差を減らすことにより（立体撮像の対象である被写体が立体視の融像域内に入るように、視差を本来の値から減少させることにより）、見やすい立体画像（立体視しやすい立体画像）を取得している訳であるから、立体画像における立体感・遠近感の自然さの観点では望ましいものではない。したがって、上記従来技術（視差調整、ステレオベース調整による技術）により取得される立体画像は、立体画像の品位について問題がある。

　視差調整による技術では、見やすい（立体視しやすい）立体画像を取得することはできるが、遠景までの距離が非線形に圧縮されることになるので、視差調整を行った立体画像では、奥行きが平板になる現象（遠景の被写体の厚み感が減少し、平板状の立体像として知覚される現象）が発生する。
　また、ＳＢ調整による技術では、取得される立体画像において、全体的に遠近感が少なくなるため（最近点から最遠点までの距離が小さくなるため）、個々の被写体の立体感が低下する現象が発生する。

　したがって、上記従来技術を用いた場合、何れの場合も、取得される立体画像は、立体感・遠近感の乏しい品位の低い画像になりがちである。
　また、上記従来技術を用いた場合に発生する立体感の圧縮・低下に伴い、いわゆる「書き割り現象」が生じることがある。
　「書き割り現象」とは、立体画像において、例えば、前景の人物などの主要な被写体の厚みが薄くなり、板に描いた平面的な絵のように見える現象のことである。

　この書き割り現象が重要な主被写体で発生すると、立体画像の品位は極端に低下する。
　また、書き割り現象は、上記従来技術のように視差調整を行うことにより立体画像における立体感の圧縮・低下が発生することを唯一の原因として生じるものではない。撮影条件（撮影状況）によっては、理想的な無歪みの立体撮影（立体感の圧縮・低下のない立体画像を撮像する撮影）においても、書き割り現象が発生することがある。

　このように、書き割り現象は、視覚的な現象であり、書き割り現象を発生させる全ての原因が完全に解明されているわけではない。ただ、どのような要因で発生した書き割り現象であっても、立体画像の品位を損なうことには変わりが無い。
　本発明は、上記問題点に鑑み、いかなる要因で発生した書き割り現象であっても、被写体の立体感・厚み感を復元し、書き割り感の少ない高品位な立体画像が得られる立体画像処理装置、立体画像処理方法およびプログラムを実現することを目的とする。

　第１の発明は、２眼方式または多視点方式による立体画像に含まれる左眼用画像および右眼用画像に対して画像補正処理を行う立体画像処理装置であって、デプス取得部と、画像補正部と、を備える。
　デプス取得部は、左眼用画像および右眼用画像に含まれる被写体についての３次元空間での距離情報を取得する。
（例えば、デプス取得部は、左眼用画像および右眼用画像から、左眼用画像および右眼用画像に含まれる被写体についての距離情報を算出し、左眼用距離画像および右眼用距離画像を取得する。）

　画像補正部は、
（１）デプス取得部が取得した被写体の距離情報に基づいて、左眼用画像および／または右眼用画像上における被写体の端部分領域を検出し、
（２）立体画像を立体表示させたときに、検出した被写体の端部分領域の定位位置が遠くなるように、左眼用画像および／または右眼用画像上における被写体の端部分領域の視差を調整する。
　この立体画像処理装置では、被写体の端部分領域の定位位置が遠くなるように、被写体の端部分領域の視差が調整されるので、立体画像を立体表示させたときに、被写体の端部領域が丸み感を帯びて表示されることになる。その結果、この立体画像処理装置による処理を行った立体画像は、被写体の立体感・厚み感を適切に表現でき、かつ、書き割り感の少ない高品位な立体画像となる。

　なお、「３次元空間での距離情報」とは、例えば、左眼用画像または右眼用画像を立体撮影したと仮定したときの第１視点（例えば、左眼用画像を取得するときの左眼視点）または第２視点（例えば、右眼用画像を取得するときの右眼視点）に相当する３次元空間内の点（撮影点）と、左眼用画像上の画素である第１画素と、第１画素に対応する右眼用画像上の画素である第２画素に対応する３次元空間（左眼用画像または右眼用画像を立体撮影したと仮定したときの撮影空間）内の点までの距離のことをいう。

　また、「被写体についての３次元空間での距離情報」（被写体の距離に関する情報である距離情報）とは、被写体距離と相関のある情報のことをいう。
　「被写体距離」とは、撮像部の撮像素子（例えば、ＣＣＤ型イメージセンサやＣＭＯＳ型イメージセンサ）面上に焦点を結んでいる物体からカメラ（立体撮像装置）までの距離をいい、物点距離と、共役距離（物像間距離）を含む概念である。また、「被写体距離」は、立体撮像装置から被写体までの概略の距離を含む概念であり、例えば、（１）立体撮像装置の光学系のレンズ全体（第１視点用レンズおよび／または第２視点用レンズ）の重心位置から被写体までの距離、（２）撮像部の撮像素子の撮像素子面から被写体までの距離、（３）立体撮像装置の重心（あるいは中心）から被写体までの距離、（４）第１視点および第２視点を結ぶ線分から被写体までの距離等を含む概念である。

　第２の発明は、第１の発明であって、画像補正部は、左眼用画像補正部と、右眼用画像補正部と、を備える。
　左眼用画像補正部は、以下の処理を行う。
（１）デプス取得部により取得された距離情報に基づいて、左眼用画像に含まれる被写体と背景との距離の変化を左眼用距離変化情報として検出し、当該左眼用距離変化情報を用いて左眼用画像上における前記被写体の左端部分領域を検出する。
（例えば、左眼用距離画像に対して微分処理を行い、当該微分処理結果画像および左眼用距離画像から、左眼用画像上における被写体の左端部分領域を検出する。）
（２）左眼用画像上において、検出した被写体の左端部分領域が左方向に拡大するように、左眼用画像を補正する。

　右眼用画像補正部は、以下の処理を行う。
（１）デプス取得部により取得された距離情報に基づいて、右眼用距離画像に含まれる被写体と背景との距離の変化を右眼用距離変化情報として検出し、当該右眼用距離変化情報を用いて右眼用画像上における被写体の右端部分領域を検出する。
（例えば、右眼用距離画像に対して微分処理を行い、当該微分処理結果画像および右眼用距離画像から、右眼用画像上における被写体の右端部分領域を検出する。）
（２）右眼用画像上において、検出した被写体の右端部分領域が右方向に拡大するように、左眼用画像を補正する。

　この立体画像処理装置では、左眼用画像補正部および右眼用画像補正部により、被写体のデプス値と、デプス値の変化量（微分値）とに基づいて、被写体の端部分領域を適切に検出することができる。さらに、この立体画像処理装置では、（１）左眼用画像上の被写体の左端部分領域を左方向に拡大（水平方向に伸張）し、かつ、（２）右眼用画像上の被写体の右端部分領域を右方向に拡大（水平方向に伸張）することができる。その結果、この立体画像処理装置で取得される立体画像において、被写体の端部分領域以外の視差を変化させずに、被写体の端部分領域を少し後方に曲げるような微小な相対視差を付加することができる。そのため、被写体について、立体画像を表示させたときに、被写体の端部領域が丸み感を帯びて表示されることになる。その結果、この立体画像処理装置による処理を行った立体画像は、被写体の立体感・厚み感を適切に表現でき、かつ、書き割り感の少ない高品位な立体画像となる。

　第３の発明は、第１または第２の発明であって、画像補正部は、左眼用画像補正部と、右眼用画像補正部と、を備える。
　左眼用画像補正部は、以下の処理を行う。
（１）デプス取得部により取得された距離情報に基づいて、左眼用画像に含まれる被写体と背景との距離の変化を左眼用距離変化情報として検出し、当該左眼用距離変化を用いて左眼用画像上における被写体の右端部分領域を検出する。
（例えば、左眼用距離画像に対して微分処理を行い、当該微分処理結果画像および左眼用距離画像から、左眼用画像上における被写体の右端部分領域を検出する。）
（２）左眼用画像上において、検出した被写体の右端部分領域が左方向に収縮するように、左眼用画像を補正する。

　右眼用画像補正部は、以下の処理を行う。
（１）デプス取得部により取得された距離情報に基づいて、右眼用距離画像に含まれる被写体と背景との距離の変化を右眼用距離変化情報として検出し、当該右眼用距離変化を用いて右眼用画像上における被写体の右端部分領域を検出する。
（例えば、右眼用距離画像に対して微分処理を行い、当該微分処理結果画像および右眼用距離画像から、右眼用画像上における被写体の右端部分領域を検出する。）
（２）右眼用画像上において、検出した被写体の左端部分領域が右方向に収縮するように、左眼用画像を補正する。

　この立体画像処理装置では、左眼用画像補正部および右眼用画像補正部により、被写体のデプス値と、デプス値の変化量（微分値）とに基づいて、被写体の端部分領域を適切に検出することができる。さらに、この立体画像処理装置では、（１）左眼用画像上の被写体の右端部分領域を左方向に収縮（水平方向に圧縮）し、かつ、（２）右眼用画像上の被写体の右端部分領域を右方向に収縮（水平方向に圧縮）することができる。その結果、この立体画像処理装置で取得される立体画像において、被写体の端部分領域以外の視差を変化させずに、被写体の端部分領域を少し後方に曲げるような微小な相対視差を付加することができる。そのため、被写体（仮想スクリーンより手前に定位する被写体）について、立体画像を表示させたときに、被写体の端部領域が丸み感を帯びて表示されることになる。その結果、この立体画像処理装置による処理を行った立体画像は、被写体の立体感・厚み感を適切に表現でき、かつ、書き割り感の少ない高品位な立体画像となる。

　第４の発明は、多視点方式により取得されるＮ枚（Ｎは２以上の自然数）の画像である画像Ｐ（１）～Ｐ（Ｎ）（画像Ｐ（ｘ）の変数ｘは、左から右方向に昇順に付された自然数）に対して画像補正処理を行う立体画像処理装置であって、デプス取得部と、画像補正部とを備える。
　デプス取得部は、画像Ｐ（ｋ）（１≦ｋ≦Ｎ－１、ｋは自然数）および画像Ｐ（ｊ＋１）（ｋ≦ｊ≦Ｎ－１、ｊは自然数）に含まれる被写体についての３次元空間での距離情報を取得する。

　画像補正部は、
（１）デプス取得部が取得した被写体の距離情報に基づいて、画像Ｐ（ｋ）および／または画像Ｐ（ｋ＋１）上における被写体の端部分領域を検出し、
（２）立体画像を立体表示させたときに、検出した被写体の端部分領域の定位位置が遠くなるように、画像Ｐ（ｋ）および／または画像Ｐ（ｊ＋１）における被写体の端部分領域の視差を調整する。

　この立体画像処理装置では、立体視用の多視点方式により取得されるＮ枚（Ｎは２以上の自然数）の画像に対しても、被写体の端部分領域の定位位置が遠くなるように、被写体の端部分領域の視差が調整することができる。したがって、この立体画像処理装置により取得される立体画像を立体表示させたときに、被写体の端部領域が丸み感を帯びて表示されることになる。その結果、この立体画像処理装置による処理を行った立体画像は、被写体の立体感・厚み感を適切に表現でき、かつ、書き割り感の少ない高品位な立体画像となる。

　第５の発明は、第４の発明であって、画像補正部は、以下の処理を行う。
　つまり、画像補正部は、
　画像Ｐ（１）～Ｐ（Ｎ）の画像上の被写体の左端部分領域および右端部分領域を検出し、
　画像Ｐ（ｍ）（１≦ｍ≦Ｎ、ｋは自然数）上において、検出した被写体の画像上の左方向の伸張量をΔＬ（ｍ）とし、検出した被写体の画像上の右方向の伸張量をΔＲ（Ｎ－ｍ＋１）とするとき、１≦ｘ≦Ｎ－２の任意の自然数ｘについて、
　　ΔＲ（ｘ）＞ΔＲ（ｘ＋１）
　　ΔＬ（ｘ）＞ΔＬ（ｘ＋１）
となる右方向の伸張量および左方向の伸張量を用いて、
（１）画像Ｐ（１）について、被写体の左端部分領域が左方向に伸張量ΔＬ（１）だけ拡大するように画像Ｐ（１）を補正し、
（２）画像Ｐ（ｘ）（２≦ｘ≦Ｎ－１、ｘ：自然数）について、被写体の左端部分領域が左方向に伸張量をΔＬ（ｘ）だけ拡大するようにし、かつ、被写体の右端部分領域が右方向に伸張量をΔＲ（Ｎ－ｘ＋１）だけ拡大するように画像Ｐ（ｘ）を補正し、
（３）画像Ｐ（Ｎ）について、被写体の右端部分領域が右方向に伸張量ΔＲ（１）だけ拡大するように画像Ｐ（Ｎ）を補正する。

　これにより、画像Ｐ（１）～Ｐ（Ｎ）から２枚の画像を抽出し、抽出した画像を右眼用画像および左眼用画像としたとき、仮想スクリーンより手前に存在する被写体オブジェクトの視差が小さくなる、つまり、立体画像の視差が遠ざかる方向に変化することとなる。そのため、被写体オブジェクトの内部（画像上の内側の領域）に比べて、被写体オブジェクト輪郭近傍（左端部分領域および右端部分領域）はわずかに遠ざかることになる。その結果、上記処理後の立体画像において、被写体オブジェクト輪郭近傍が遠方に向かって湾曲している丸み感が表現されることになる。
　これにより、この立体画像処理装置では、書き割り感が低減された立体画像を取得することができる。

　第６の発明は、第４の発明であって、画像補正部は、以下の処理を行う。
　つまり、画像補正部は、
　画像Ｐ（１）～Ｐ（Ｎ）の画像上の被写体の左端部分領域および右端部分領域を検出し、
　画像Ｐ（ｍ）（１≦ｍ≦Ｎ、ｋは自然数）上において、検出した被写体の画像上の右方向の圧縮量をΔＲ（ｍ）とし、検出した被写体の画像上の左方向の圧縮量をΔＬ（Ｎ－ｍ＋１）とするとき、１≦ｘ≦Ｎ－２の任意の自然数ｘについて、
　　ΔＲ（ｘ）＞ΔＲ（ｘ＋１）
　　ΔＬ（ｘ）＞ΔＬ（ｘ＋１）
となる右方向の圧縮量および左方向の圧縮量を用いて、
（１）画像Ｐ（１）について、被写体の右端部分領域が右方向に圧縮量ΔＲ（１）だけ収縮するように画像Ｐ（１）を補正し、
（２）画像Ｐ（ｘ）（２≦ｘ≦Ｎ－１、ｘ：自然数）について、被写体の右端部分領域が右方向に圧縮量をΔＲ（ｘ）だけ収縮するようにし、かつ、被写体の左端部分領域が左方向に圧縮量をΔＬ（Ｎ－ｘ＋１）だけ収縮するように画像Ｐ（ｘ）を補正し、
（３）画像Ｐ（Ｎ）について、被写体の左端部分領域が左方向に圧縮量ΔＬ（１）だけ収縮するように画像Ｐ（Ｎ）を補正する。

　これにより、画像Ｐ（１）～Ｐ（Ｎ）から２枚の画像を抽出し、抽出した画像を右眼用画像および左眼用画像としたとき、仮想スクリーンより手前に存在する被写体オブジェクトの視差が小さくなる、つまり、立体画像の視差が遠ざかる方向に変化することとなる。そのため、被写体オブジェクトの内部（画像上の内側の領域）に比べて、被写体オブジェクト輪郭近傍（左端部分領域および右端部分領域）はわずかに遠ざかることになる。その結果、上記処理後の立体画像において、被写体オブジェクト輪郭近傍が遠方に向かって湾曲している丸み感が表現されることになる。
　これにより、この立体画像処理装置では、書き割り感が低減された立体画像を取得することができる。

　第７の発明は、２眼方式または多視点方式による立体画像に含まれる左眼用画像および右眼用画像に対して画像補正処理を行う立体画像処理方法であって、デプス取得ステップと、画像補正ステップと、を備える。
　デプス取得ステップでは、左眼用画像および右眼用画像から、左眼用画像および右眼用画像に含まれる被写体についての距離情報を算出し、左眼用距離画像および右眼用距離画像を生成する。
　画像補正ステップでは、
（１）デプス取得ステップが取得した被写体の距離情報に基づいて、左眼用画像および／または右眼用画像上における被写体の端部分領域を検出し、
（２）立体画像を立体表示させたときに、検出した被写体の端部分領域の定位位置が遠くなるように、左眼用画像および／または右眼用画像上における被写体の端部分領域の視差を調整する。
　これにより、第１の発明と同様の効果を奏する立体画像処理方法を実現することができる。

　第８の発明は、２眼方式または多視点方式による立体画像に含まれる左眼用画像および右眼用画像に対して画像補正処理を行う立体画像処理方法をコンピュータに実行させるためのプログラムである。立体画像処理方法は、デプス取得ステップと、画像補正ステップと、を備える。
　デプス取得ステップでは、左眼用画像および右眼用画像から、左眼用画像および右眼用画像に含まれる被写体についての距離情報を算出し、左眼用距離画像および右眼用距離画像を生成する。
　画像補正ステップでは、
（１）デプス取得ステップが取得した被写体の距離情報に基づいて、左眼用画像および／または右眼用画像上における被写体の端部分領域を検出し、
（２）立体画像を立体表示させたときに、検出した被写体の端部分領域の定位位置が遠くなるように、左眼用画像および／または右眼用画像上における被写体の端部分領域の視差を調整する。
　これにより、第１の発明と同様の効果を奏する立体画像処理方法をコンピュータに実行させるためのプログラムを実現することができる。

　本発明によれば、いかなる要因で発生した書き割り現象であっても、被写体の立体感・厚み感を復元し、書き割り感の少ない高品位な立体画像を取得することができる。

撮影環境（撮影シーン）を含めた第１実施形態の立体撮像装置１０００の概略構成図 第１実施形態の画像補正部１０４の構成図 撮影環境と被写体についての説明図 視差マッチングによる第１デプス情報（Ｒデプス情報）および第２デプス情報（Ｌデプス情報）の生成方法を説明するための図 第１実施形態における強度生成部１４２の信号波形図 第１実施形態における強度生成部の処理フローチャート 第１実施形態における伸張モードにおけるアドレス変換特性を説明するための図 第１実施形態における伸張モードにおけるアドレス変換特性を説明するための図 第１実施形態における伸張モードにおけるアドレス変換特性を説明するための図 第１実施形態における伸張モードにおけるアドレス変換処理および補間処理を説明するための図 第１実施形態の立体撮像装置１０００による伸張モードにおける処理の処理結果 第１実施形態における圧縮モードにおけるアドレス変換特性を説明するための図 第１実施形態における圧縮モードにおけるアドレス変換特性を説明するための図 第１実施形態における圧縮モードにおけるアドレス変換特性を説明するための図 第１実施形態の立体撮像装置１０００による圧縮モードにおける処理の処理結果 ４視点の空間的な配置を模式的に示した図 他の実施形態における４視点の場合の圧縮モードの処理を説明するための図 他の実施形態における４視点の場合の伸張モードの処理を説明するための図

　以下、本発明の実施形態について、図面を参照しながら説明する。
　［第１実施形態］
　第１実施形態では、立体画像処理装置として、２眼方式の立体撮像装置（デジタルカメラやビデオカメラなど）を例に、以下、説明する。
　＜１．１：立体撮像装置の構成＞
　図１に、第１実施形態に係る立体撮像装置１０００の概略図を示す。なお、図１では、立体撮像装置１０００とともに、立体撮像装置１０００で撮像するシーン２００（撮像シーン２００）を模式的に図示している。

　立体撮像装置１０００は、図１に示すように、第１視点から被写体光を集光し第１画像信号（例えば、右眼用画像信号（Ｒ画像信号））を取得する第１撮像部１０１Ｒと、第２視点から被写体光を集光し第２画像信号（例えば、左眼用画像信号（Ｌ画像信号））を取得する第２撮像部１０１Ｌと、第１画像信号（例えば、Ｒ画像信号）および第２画像信号（例えば、Ｌ画像信号）を、それぞれ、デジタル信号に変換する画像入力部１０２と、を備える。
　また、立体撮像装置１０００は、デジタル信号に変換された第１画像信号（例えば、Ｒ画像信号）および第２画像信号（例えば、Ｌ画像信号）から、それぞれ、被写体距離情報を算出し、第１デプス情報（例えば、Ｒデプス情報）および第２デプス情報（例えば、Ｌデプス情報）として出力するデプス取得部と、第１デプス情報（例えば、Ｒデプス情報）および第２デプス情報（例えば、Ｌデプス情報）を用いて、第１画像信号（例えば、Ｒ画像信号）および第２画像信号（例えば、Ｌ画像信号）に画像補正処理を行う画像補正部１０４と、を備える。

　また、立体撮像装置１０００は、図１に示すように、上記各機能部を制御する制御部１０５を備える。なお、制御部１０５と、立体撮像装置１０００の各機能部とは、相互に直接接続されていてもよいし、あるいは、相互にバスを介して接続されていてもよい。
　なお、説明便宜のため、第１撮像部１０１Ｒにより右眼用画像（映像）が撮像され、第２撮像部１０１Ｌにより左眼用画像（映像）が撮像されるものとして、以下、説明する。
　第１撮像部１０１Ｒは、第１視点に設置されており、被写体光を集光する光学系と、集光した被写体光から光電変換により第１画像信号（右眼用画像信号（Ｒ画像信号））を取得する撮像素子と、を備える。そして、第１撮像部１０１Ｒは、取得した第１画像信号（Ｒ画像信号）を画像入力部１０２に出力する。
　第２撮像部１０１Ｌは、第１視点とは異なる位置である第２視点に設置されており、被写体光を集光する光学系と、集光した被写体光から光電変換により第２画像信号（左眼用画像信号（Ｌ画像信号））を取得する撮像素子と、を備える。そして、第２撮像部１０１Ｌは、取得した第２画像信号（Ｌ画像信号）を画像入力部１０２に出力する。

　画像入力部１０２は、第１撮像部１０１Ｒにより取得された第１画像信号（Ｒ画像信号）を入力とし、入力された第１画像信号に対して、Ａ／Ｄ変換を行い、Ａ／Ｄ変換した第１画像信号（Ｒ画像信号）をデプス取得部１０３および画像補正部１０４に出力する。
　また、画像入力部１０２は、第２撮像部１０１Ｌにより取得された第２画像信号（Ｌ画像信号）を入力とし、入力された第２画像信号に対して、Ａ／Ｄ変換を行い、Ａ／Ｄ変換した第２画像信号（Ｌ画像信号）をデプス取得部１０３および画像補正部１０４に出力する。

　デプス取得部１０３は、画像入力部１０２から出力される第１画像信号（Ｒ画像信号）および第２画像信号（L画像信号）を入力とする。デプス取得部１０３は、第１画像信号（Ｒ画像信号）により形成される第１画像（Ｒ画像）および第２画像信号（L画像信号）から形成される第２画像（Ｌ画像）から、第１画像（Ｒ画像）用のデプス情報である第１デプス情報（Ｒデプス情報）および第２画像（Ｌ画像）用のデプス情報である第２デプス情報（Ｌデプス情報）を生成する。そして、デプス取得部１０３は、生成した第１デプス情報（Ｒデプス情報）および第２デプス情報（Ｌデプス情報）を画像補正部１０４に出力する。

　なお、デプス情報の生成は、例えば、視差マッチングにより生成することが好ましい。
　画像補正部１０４は、図２に示すように、Ｌ画像用画像補正部１０４Ｌと、Ｒ画像用画像補正部１０４Ｒとを備える。画像補正部１０４は、画像入力部１０２から出力される第１画像信号（Ｒ画像信号）および第２画像信号（L画像信号）と、デプス取得部１０３から出力される第１デプス情報（Ｒデプス情報）および第２デプス情報（Lデプス情報）と、を入力とする。画像補正部１０４は、第１デプス情報（Ｒデプス情報）に基づいて、第１画像信号（Ｒ画像信号）に補正処理を行い、補正処理後の第１画像信号（Ｒ画像信号）を出力する。また、画像補正部１０４は、第２デプス情報（Lデプス情報）に基づいて、第２画像信号（L画像信号）に補正処理を行い、補正処理後の第２画像信号（Ｌ画像信号）を出力する。

　Ｌ画像用画像補正部１０４Ｌは、図２に示すように、メモリ部１４１と、強度生成部１４２と、座標変換部１４３と、補間部１４４とを備える。
　メモリ部１４１は、図２に示すように、画像入力部１０２から出力されるＬ画像信号Ｌｉｎと、制御部１０５から出力される書き込みアドレスＷＡＤ＿Ｌと、座標変換部１４３から出力される読み出しアドレスＲＡＤ２＿Ｌの整数部であるＲＡＤ２＿Ｌ＿Ｉｎｔと、を入力とする。メモリ部１４１は、Ｌ画像信号Ｌｉｎのデータ（信号値）を、所定のタイミングで、書き込みアドレスＷＡＤ＿Ｌで指示されるアドレスに書き込む。そして、メモリ部１４１は、所定のタイミングで、読み出しアドレス（整数部）ＲＡＤ２＿Ｌ＿Ｉｎｔで指示されるアドレスから、Ｌ画像信号Ｌｉｎのデータ（信号値）を読み出す。そして、メモリ部１４１は、読み出したＬ画像信号Ｌｉｎのデータ（信号値）を補間部１４４に出力する。

　メモリ部１４１として、例えば、ラインメモリを用いることができる。
　強度生成部１４２は、デプス取得部１０３から出力される第２デプス情報（Lデプス情報）を入力とし、第２デプス情報（Lデプス情報）から強度信号Ｋ１＿Ｌを生成する。そして、強度生成部１４２は、生成した強度信号Ｋ１＿Ｌを座標変換部１４３に出力する。
　座標変換部１４３は、強度生成部１４２から出力される強度信号Ｋ１＿Ｌと、デプス取得部１０３から出力される第２デプス情報（Lデプス情報）と、制御部１０５から出力される読み出しアドレスＲＡＤ＿Ｌおよびモード設定信号ＭＯＤＥと、を入力とする。モード設定信号ＭＯＤＥは、画像補正部１０４による補正処理方法のモードを設定するための信号である。

　モード設定信号ＭＯＤＥにより設定されるモードとして、以下の２つのモードがある。
（１）Ｌ画像上の被写体の左端側を伸張し、かつ、Ｒ画像上の当該被写体の右端側を伸張する「伸張モード」
（２）Ｌ画像上の被写体の右端側を圧縮し、かつ、Ｒ画像上の当該被写体の右端側を圧縮する「圧縮モード」
　座標変換部１４３は、モード設定信号ＭＯＤＥにより設定されるモードにより指示される処理が実行されるように、第２デプス情報（Lデプス情報）および強度信号Ｋ１＿Ｌに基づいて、読み出しアドレスＲＡＤ＿Ｌを、読み出しアドレスＲＡＤ２＿Ｌに変換する。そして、座標変換部１４３は、変換後の読み出しアドレスＲＡＤ２＿Ｌの整数部ＲＡＤ２＿Ｌ＿Ｉｎｔをメモリ部１４１に出力し、変換後の読み出しアドレスＲＡＤ２＿Ｌの小数部ＲＡＤ２＿Ｌ＿Ｄｅｃｉを補間部１４４に出力する。
　補間部１４４は、メモリ部１４１から出力されるＬ画像信号と、座標変換部１４３から出力される読み出しアドレスＲＡＤ２＿Ｌの小数部ＲＡＤ２＿Ｌ＿Ｄｅｃｉとを入力とする。そして、補間部１４４は、読み出しアドレス（小数部）ＲＡＤ２＿Ｌ＿Ｄｅｃｉに基づいて、Ｌ画像信号のデータ（信号値）に対して補間処理を行う（補間処理の詳細については後述）。そして、補間部１４４は、補間処理を施したＬ画像信号を、Ｌ画像信号Ｌｏｕｔとして出力する。

　以上のようにして、Ｌ画像用画像補正部１０４Ｌが構成される。
　なお、Ｒ画像用画像補正部１０４Ｒは、Ｌ画像用画像補正部１０４Ｌと同様の構成を有しており、入力される信号が、Ｒ画像信号およびＲデプス情報である点だけが、Ｌ画像用画像補正部１０４Ｌとは相違する。
　制御部１０５は、図１に示すように、第１撮像部１０１Ｒ、第２撮像部１０１Ｌ、画像入力部１０２、デプス取得部、および、画像補正部１０４と、双方向に必要な信号をやり取りできるように接続されている。制御部１０５は、所定のタイミングで、Ｒ画像信号、Ｌ画像信号に対する信号処理や、データ読み出し／書き込み処理が実行されるように、所定の制御信号（駆動信号や同期信号等）により、立体撮像装置１０００の上記各機能部を制御する。

　＜１．２：立体撮像装置の動作＞
　以上のように構成された立体撮像装置１０００の動作について、以下、説明する。
　例えば、立体画像上の被写体オブジェクト内部の陰影を強調し、立体視における輪郭の不自然さ改善したとしても、まだ書き割り感が残る場合（書き割り現象が発生する場合）がある。このような場合に発生する書き割り現象は、人間の脳内の高度な認知機構によるものと推測され、具体的な原因は不明である。そのため、本実施形態では、立体画像上の被写体オブジェクトの左右端付近のある範囲について、微小な視差調整を行うことにより、当該被写体オブジェクトの丸み感を実際以上に強調することにより書き割り感を低減させるものである。

　なお、図１において、撮影シーン２００は、背景２０１と、前景２０２とを含む。そして、前景２０２が主被写体である。このような図１に示した撮影シーン（図３に示した撮影シーン）を立体撮像装置１０００で立体撮像する場合を例に、以下、立体撮像装置１０００の動作について、説明する。
　また、図３は、立体撮像装置１０００を用いて立体撮影を行う場合の撮影環境と被写体との関係（一例）を模式的に示した図であり、図１の撮影シーンを上から見た図である。図３（ａ）は、撮影環境（撮影シーン）２００と、第１撮像部１０１Ｒおよび第２撮像部１０１Ｌとを上から見た図である。撮影環境（撮影シーン）２００では、前景の主被写体２０２、および、背景の被写体２０１は、図３（ａ）に示すような位置関係となっている。なお、説明を簡単にするため、背景の被写体２０１は、絵が描かれた壁のようなものとしているが、このような被写体に限定されず、例の被写体であってもよいことは言うまでもない。
　図３（ｂ）は、背景の被写体２０１に描かれている絵の輝度分布を表しており、図３（ｃ）は、前景の主被写体２０２を立体撮像装置１０００側（カメラ側）から見た正面の輝度分布を表している。
　なお、図３（ｂ）、（ｃ）において、横軸は水平方向の位置であり、縦軸は輝度を示している。

　なお、説明を簡単にするため、立体撮像装置１０００の第１撮像部１０１Ｒが撮影する画角の中心線（図３の１０１Ｒから出ている一点鎖線）と第２撮像部１０１Ｌが撮影する画角の中心線（図３の１０１Ｌから出ている一点鎖線）とは、背景２０１の配置されている距離（ｄ２）で交差するように輻輳角を設定している。
　また、前景２０２（主被写体２０２）は、例えば、立体的な丸みを持ったオブジェクト（例えば、上から見たときに所定の幅を有する略楕円形のオブジェクト（例えば、人物））であるものとする。
　なお、説明便宜のために、輻輳角を上記のように設定したが、上記に限定されず、輻輳角を他の角度に設定してもよい。

　撮像シーン２００からの被写体光は、第１視点に配置された第１撮像部１０１Ｒで集光され、第１撮像部１０１Ｒの撮像素子により、第１画像信号（Ｒ画像信号）に変換される。同様に、撮像シーン２００からの被写体光は、第２視点に配置された第２撮像部１０１Ｌで集光され、第２撮像部１０１Ｌの撮像素子により、第２画像信号（Ｌ画像信号）に変換される。
　なお、第１撮像部１０１Ｒおよび第２撮像部１０１Ｌは、立体撮像装置１０００において立体画像（左眼用画像および右眼用画像）を取得できるように、基線長（ステレオベース長）分だけ離して配置されている。
　第１撮像部１０１Ｒから出力された第１画像信号（Ｒ画像信号）および第２撮像部１０１Ｌから出力された第２画像信号（Ｌ画像信号）は、それぞれ、画像入力部１０２に入力され、画像入力部１０２によりデジタル信号に変換される。そして、デジタル信号に変換された第１画像信号（Ｒ画像信号）および第２画像信号（Ｌ画像信号）は、それぞれ、デプス取得部１０３および画像補正部１０４に出力される。

　デプス取得部１０３では、第１画像信号（Ｒ画像信号）により形成される第１画像（Ｒ画像）および第２画像信号（L画像信号）から形成される第２画像（Ｌ画像）から、第１画像（Ｒ画像）用のデプス情報である第１デプス情報（Ｒデプス情報）および第２画像（Ｌ画像）用のデプス情報である第２デプス情報（Ｌデプス情報）が、例えば、視差マッチングにより、生成される。
　ここで、視差マッチングによる第１デプス情報（Ｒデプス情報）および第２デプス情報（Ｌデプス情報）の生成方法について、図４を用いて説明する。
　図４は、三角形のオブジェクトが奥に配置されており、円形のオブジェクトが手前に配置されている撮影シーンを立体撮像装置１０００で立体撮影したときの立体画像を模式的に示す図である。図４（ａ）は、Ｌ画像（左眼用画像）を模式的に示した図であり、図４（ｂ）は、Ｒ画像（右眼用画像）を模式的に示した図であり、図４（ｃ）は、Ｒ画像およびＬ画像を１つの画像として重ねて表示させた図である。

　視差マッチングによる第１デプス情報（Ｒデプス情報）および第２デプス情報（Ｌデプス情報）の生成方法は、例えば、以下の（１）～（３）の処理を実行することで、実現される。
（１）まず、デプス取得部１０３は、Ｌ画像（左眼用画像）およびＲ画像（右眼用画像）を用いて、例えば、図４（ａ）のＬ画像上の点ＡＬに対応する被写体Ａ（図４の三角形の頂点）が、図４（ｂ）のＲ画像上の点ＡＲに対応していることを検出する。
（２）そして、検出した２つの点ＡＬおよび点ＡＲのずれ量（視差）Ｄｉｆｆ（Ａ）を算出する。

　なお、視差は、ずれ方向により、正負の符号を有するものとする。例えば、Ｒ画像上の点が、Ｌ画像上の点に対して左方向にずれている場合をプラスとし、逆の場合をマイナスとする。
　例えば、図４の場合、被写体Ａについての視差の絶対値がα（≧０）であるとすると、Ｒ画像上のＡＲ点が、Ｌ画像上のＡＬ点より右方向にずれているので、被写体Ａについての視差を「－α」として算出する。そして、被写体Ｂ（図４の円の中心点）についての視差の絶対値がβ（≧０）であるとすると、Ｒ画像上のＢＲ点が、Ｌ画像上のＢＬ点より左方向にずれているので、被写体Ｂについての視差を「＋β」として算出する。

（３）デプス取得部１０３は、（１）、（２）の処理を、画像上の全ての点（全ての画素）について行い、算出したずれ量（視差）を画素値とする視差画像を生成する。そして、Ｌ画像の各画素に算出した視差を画素値として生成した視差画像を、Ｌデプス情報（Ｌデプス情報画像（左眼画像用距離画像））とし、Ｒ画像の各画素に算出した視差を画素値として生成した視差画像を、Ｒデプス情報（Ｒデプス情報画像（右眼画像用距離画像））とする。
　例えば、Ｌデプス情報（Ｌデプス情報画像（左眼画像用距離画像））では、図４（ａ）のＬ画像のＡＬ点に相当する画素の値が、被写体Ａの視差である－αとなり、Ｒデプス情報（Ｒデプス情報画像（右眼画像用距離画像））では、図４（ｂ）のＲ画像のＡＲ点に相当する画素の値が、被写体Ａの視差である－αとなる。

　なお、「距離画像」とは、各画素に、当該各画素に相当する被写体の実際の位置（３次元空間内の位置）と立体撮像装置１０００の位置との距離に相関性のある値をマッピングした画像のことである。
　なお、上記視差マッチングによる第１デプス情報（Ｒデプス情報）および第２デプス情報（Ｌデプス情報）の生成方法は、一例であり、これに限定されるものではない。例えば、上記と視差の符号の取り方を逆にしても構わない。また、デプス取得部１０３は、他の方法により、左眼画像用距離画像および右眼画像用距離画像を取得し、Ｌデプス情報およびＲデプス情報を取得するものであってもよい。
　以上のようにして生成されたＬデプス情報およびＲデプス情報は、それぞれ、画像補正部１０４に出力される。

　（１．２．１：画像補正部１０４の動作）
　以下、画像補正部１０４の動作について、説明する。
　なお、Ｌ画像に対しては、Ｌデプス情報を用いて、Ｌ画像用画像補正部１０４Ｌにより処理が実行され、Ｒ画像に対しては、Ｒデプス情報を用いて、Ｒ画像用画像補正部１０４Ｒにより処理が実行されるが、その処理内容は同一であるため、以下では、主として、Ｌ画像用画像補正部１０４Ｌについて、説明する。

　まず、Ｌ画像用画像補正部１０４Ｌの強度生成部１４２の動作について、説明する。
　図５は、強度生成部１４２の動作を説明するための図である。図５の最上図は、横軸が水平方向の位置であり、縦軸がＬデプス情報の値である。つまり、図５の最上図におけるＤＬは、Ｌ画像における画素位置に対するＬ画像のデプス情報（距離情報）であり、デプス取得部１０３から与えられるＬ画像のデプス情報（距離情報）を表している。ここでは、ＤＬの値は、遠方であるほど（被写体距離が大きい程）小さい値を取り、近景である程（被写体距離が小さい程）、大きい値を取るものとする。
　したがって、図５の最上図に示すように、主被写体２０２のデプス情報（距離情報）が背景被写体２０１のデプス情報（距離情報）より大きい値を取る。そして、図５の最上図に示すように、主被写体２０２のＬデプス情報の値がＤ２＿ｆ～Ｄ２＿ｎの範囲の値をとる。つまり、主被写体２０２の最近点のＬデプス情報の値が、Ｄ２＿ｎであり、主被写体２０２の最遠点のＬデプス情報の値が、Ｄ２＿ｆである。そして、背景被写体２０１は、平坦な壁であるため、背景被写体２０１のＬデプス情報は、Ｄ１で一定である。

　強度生成部１４２の動作について、図５および図６に示すフローチャートを用いて、説明する。
（Ｓ１０１、Ｓ１０２）：
　強度生成部１４２は、入力されたＬデプス情報（Ｌデプス値）に対して、輪郭補正処理（例えば、ＬＰＦ処理）を行うことで、輪郭補正Ｌデプス値ＤＬ’（図５中の曲線Ｃｒｖ１に相当）を取得する。
（Ｓ１０３）：
　強度生成部１４２は、輪郭補正Ｌデプス値ＤＬ’を水平位置（図５のＸ軸方向の値）について微分（差分）することで、Ｌデプス微分信号ΔＤＬを取得する。
（Ｓ１０４）：
　強度生成部１４２は、Ｌデプス微分信号ΔＤＬの絶対値をとることで、Ｌデプス微分絶対値信号ΔＤＬ１を取得する。
（Ｓ１０５）：
　強度生成部１４２は、取得したＬデプス微分絶対値信号ΔＤＬ１を、Ｌ画像用強度信号Ｋ１＿Ｌとして、座標変換部１４３に出力する。

　以上により、立体撮像装置１０００では、強度生成部１４２により生成されたＬ画像用強度信号Ｋ１＿Ｌにより、デプス値の異なる輪郭付近を正確に検出することが出来る。
　座標変換部１４３では、強度生成部１４２により生成されたＬ画像用強度信号Ｋ１＿Ｌにより、被写体オブジェクトの左端部分領域および右端部分領域を検出する。例えば、図５では、座標変換部１４３は、Ｌ画像用強度信号Ｋ１＿Ｌが所定の値以上（例えば、図５に示す点線の値ＴＨ１以上）となる領域Ｐ１およびＰ２を検出する。

　そして、座標変換部１４３は、
（１）図５の領域Ｐ１において、デプス値ＤＬが、デプス値Ｄ１からＤ２＿ｆ以上の値に変化していることから、領域Ｐ１が主被写体２０２の左端部分領域であることを判定し、
（２）図５の領域Ｐ２において、デプス値ＤＬが、デプス値Ｄ２＿ｆ以上の値からＤ１に変化していることから、領域Ｐ２が主被写体２０２の右端部分領域であることを判定する。

　次に、座標変換部１４３は、制御部１０５から出力されたモード設定信号ＭＯＤＥに基づいて、処理モードを、
（１）Ｌ画像上の被写体の左端側を伸張し、かつ、Ｒ画像上の当該被写体の右端側を伸張する「伸張モード」、
（２）Ｌ画像上の被写体の右端側を圧縮し、かつ、Ｒ画像上の当該被写体の右端側を圧縮する「圧縮モード」、
のいずれかに設定する。

　以下では、「伸張モード」の場合の処理と、「圧縮モード」の場合の処理とに分けて説明する。
　≪伸張モードの処理≫
　まず、伸張モードの場合の処理について、説明する。
　図７は、伸張モードの場合のアドレス変換特性を示す図である。図７において、横軸は入力アドレス（変換前の読み出しアドレス）であり、縦軸は出力アドレス（変換後の読み出しアドレス）である。

　具体的には、図７（ａ）は、Ｌ画像の主被写体２０２の左端部分領域を広げる（伸張する）ためのアドレス変換特性（Ｌ画像用画像補正部１０４Ｌの座標変換部のアドレス変換特性）を示すグラフであり、図７（ｂ）は、Ｒ画像の主被写体２０２の右端部分領域を広げる（伸張する）ためのアドレス変換特性（Ｒ画像用画像補正部１０４Ｒの座標変換部のアドレス変換特性）を示すグラフである。なお、図７において、「Ｒ１」、「Ｌ１」、「Ｒ２」および「Ｌ２」で示したアドレスは、それぞれ、図３および図５の「Ｒ１」、「Ｌ１」、「Ｒ２」および「Ｌ２」に相当するデータ（信号値）が（メモリ部１４１に）格納されているアドレスを示している。

　座標変換部１４３は、制御部１０５から指示された読み出しアドレスＲＡＤ＿Ｌに基づいて、アドレス変換処理を行うことで、変換後の読み出しアドレスＲＡＤ２＿Ｌを取得する。
　具体的には、座標変換部１４３は、以下の処理（１）、（２）によりアドレス変換処理を行う。なお、メモリ部１４１には、制御部１０５から指示された書き込みアドレスＷＡＤ＿Ｌにより、Ｌ画像信号のデータ（信号値）が順次書き込まれているものとし、メモリ部１４１のアドレスＷＡＤ＿Ｌに書き込まれたデータは、当該書き込みアドレスＷＡＤ＿Ｌと同じアドレス値である読み出しアドレスＲＡＤ＿Ｌにより、メモリ部１４１から読み出すことができるものとする。
（１）読み出しアドレスＲＡＤ＿Ｌが、図５の領域Ｐ１以外の領域に対応するＬ画像信号のデータ（信号値）を書き込んだアドレスである場合、座標変換部１４３は、図７に示すアドレス変換特性に従い、
　　ＲＡＤ２＿Ｌ＝ＲＡＤ＿Ｌ
として、つまり、読み出しアドレスＲＡＤ＿Ｌと同一アドレス値を、読み出しアドレスＲＡＤ２＿Ｌとして取得する。そして、座標変換部１４３は、取得した読み出しアドレスＲＡＤ２＿Ｌの整数部ＲＡＤ２＿Ｌ＿Ｉｎｔをメモリ部１４１へ出力し、取得した読み出しアドレスＲＡＤ２＿Ｌの小数部ＲＡＤ２＿Ｌ＿Ｄｅｃｉを補間部１４４へ出力する。

（２）読み出しアドレスＲＡＤ＿Ｌが、図５の領域Ｐ１の領域に対応するＬ画像信号のデータ（信号値）を書き込んだアドレスである場合、座標変換部１４３は、図７に示すアドレス変換特性に従うアドレス変換を行う。このアドレス変換について、図８を用いて、説明する。
　図８は、図７（ａ）にＡＲＥＡ１で示す領域を拡大した図である。
　座標変換部１４３は、図８に示すように、読み出しＲＡＤ＿Ｌが、領域Ｐ１内に相当するアドレス値である場合、主被写体２０２に左端部分領域が拡張されるように、アドレス変換を行い、アドレス変換後の読み出しアドレスＲＡＤ２＿Ｌを取得する。
　つまり、図８に示すように、ＲＡＤ＿Ｌ＝（Ｌ１－β）（「Ｌ１－β」に対応するアドレス値を単に「Ｌ１－β」と表記することがある。以下、同様。）のとき、
　　ＲＡＤ２＿Ｌ＝Ｌ１
とアドレス変換される。座標変換部１４３が、この変換後の読み出しアドレスＲＡＤ２＿Ｌ（＝Ｌ１）により、メモリ部１４１からＬ画像信号Ｌｉｎのデータ（信号値）を読み出すことで、Ｌ画像上において「Ｌ１－β」に対応する位置に、「Ｌ１」に対応する位置のデータ（信号値）を読み出すことができる。

　これと同様にして、領域Ｐ１内に相当するアドレス値（Ｌ１－β～Ｌ１＋α）は、アドレス値（Ｌ１～Ｌ１＋α）にアドレス変換される。
　つまり、上記のように、座標変換部１４３がアドレス変換処理を行い、アドレス変換後のアドレス値により、メモリ部１４１からＬ画像Ｌｉｎのデータ（信号値）を読み出すことで、図８の下段の図に示したように、主被写体２０２の左端部分領域を伸張することができる。具体的には、上記のように、座標変換部１４３がアドレス変換処理を行い、アドレス変換後のアドレス値により、メモリ部１４１からＬ画像Ｌｉｎのデータ（信号値）を読み出すことで、図８の下段の図に示すように、入力Ｌ画像Ｌｉｎの主被写体２０２の左端部分（Ｌ１～Ｌ１＋αの領域）を、Ｌ１－β～Ｌ１＋αの領域に伸張することができる。（背景２の部分が伸張された主被写体２０２の左端部分領域に置換される。）

　なお、図８に示すアドレス変換特性の曲線部分（Ｌ１－β～Ｌ１＋αの部分）の変換特性は、入力アドレス値ＲＡＤ＿Ｌについて、出力アドレス値ＲＡＤ２＿Ｌが単調増加する特性曲線（直線でもよい）であることが好ましい。
　例えば、座標変換部１４３は、強度信号Ｋ１＿ＬであるΔＤＬ１の信号値に適当なゲイン（μ）を乗算することで、
　　ＲＡＤ２＿Ｌ＝ＲＡＤ＿Ｌ＋μ・Ｋ１＿Ｌ
により、アドレス変換処理を行ってもよい。
　なお、上式において、μの大きさは最大でも単調性が損なわれないレベル以下に設定する。
　以上のようにして、座標変換部１４３は、アドレス変換処理を行う。

　ここで、伸張モードにおけるＲ画像用画像補正部１０４Ｒの座標変換部１４３の処理についても説明する。
　Ｒ画像用画像補正部１０４Ｒの座標変換部１４３は、図７（ｂ）に示すアドレス変換特性により、アドレス変換処理を行う。基本的な処理については、Ｌ画像用画像補正部１０４Ｌの座標変換部１４３の処理と同様であるので、以下では、異なる点について説明する。
　Ｒ画像用画像補正部１０４Ｒの座標変換部１４３は、制御部１０５から指示された読み出しアドレスＲＡＤ＿Ｒに基づいて、アドレス変換処理を行うことで、変換後の読み出しアドレスＲＡＤ２＿Ｒを取得する。

　具体的には、Ｒ画像用画像補正部１０４Ｒの座標変換部１４３は、以下の処理（１）、（２）によりアドレス変換処理を行う。なお、メモリ部１４１には、制御部１０５から指示された書き込みアドレスＷＡＤ＿Ｒにより、Ｌ画像信号のデータ（信号値）が順次書き込まれているものとし、メモリ部１４１のアドレスＷＡＤ＿Ｒに書き込まれたデータは、当該書き込みアドレスＷＡＤ＿Ｒと同じアドレス値である読み出しアドレスＲＡＤ＿Ｒにより、メモリ部１４１から読み出すことができるものとする。
（１）読み出しアドレスＲＡＤ＿Ｌが、図５の領域Ｑ２以外の領域に対応するＲ画像信号のデータ（信号値）を書き込んだアドレスである場合、座標変換部１４３は、図７（ｂ）に示すアドレス変換特性に従い、
　　ＲＡＤ２＿Ｒ＝ＲＡＤ＿Ｒ
として、つまり、読み出しアドレスＲＡＤ＿Ｒと同一アドレス値を、読み出しアドレスＲＡＤ２＿Ｒとして取得する。そして、座標変換部１４３は、取得した読み出しアドレスＲＡＤ２＿Ｒの整数部ＲＡＤ２＿Ｒ＿Ｉｎｔをメモリ部１４１へ出力し、取得した読み出しアドレスＲＡＤ２＿Ｒの小数部ＲＡＤ２＿Ｒ＿Ｄｅｃｉを補間部１４４へ出力する。

（２）読み出しアドレスＲＡＤ＿Ｒが、図５の領域Ｑ２の領域に対応するＬ画像信号のデータ（信号値）を書き込んだアドレスである場合、座標変換部１４３は、図７（ｂ）に示すアドレス変換特性に従うアドレス変換を行う。このアドレス変換について、図９を用いて、説明する。
　図９は、図７（ｂ）にＡＲＥＡ２で示す領域を拡大した図である。
　座標変換部１４３は、図９に示すように、読み出しＲＡＤ＿Ｒが、領域Ｑ２内に相当するアドレス値である場合、主被写体２０２に右端部分領域が拡張されるように、アドレス変換を行い、アドレス変換後の読み出しアドレスＲＡＤ２＿Ｒを取得する。
　つまり、図９に示すアドレス変換特性曲線において、
（Ａ）ＲＡＤ＿ＲがＲ２－β～Ｒ２の領域に含まれる場合、当該アドレス変換特性曲線の傾きが小さく、
（Ｂ）ＲＡＤ＿ＲがＲ２～Ｒ２＋αの領域に含まれる場合、当該アドレス変換特性曲線の傾きが大きい。

　座標変換部１４３が、この図９に示すアドレス変換特性曲線Ｃｕｒｖｅ１を用いて、アドレス変換処理を行うことで、主被写体２０２に右端部分領域を拡張（伸張）することができる。
　つまり、上記のように、座標変換部１４３がアドレス変換処理を行い、アドレス変換後のアドレス値により、メモリ部１４１からＲ画像Ｒｉｎのデータ（信号値）を読み出すことで、図９の下段の図に示したように、主被写体２０２の右端部分領域を伸張することができる。具体的には、上記のように、座標変換部１４３がアドレス変換処理を行い、アドレス変換後のアドレス値により、メモリ部１４１からＲ画像Ｒｉｎのデータ（信号値）を読み出すことで、図９の下段の図に示すように、入力Ｒ画像Ｒｉｎの主被写体２０２の右端部分（Ｒ２－β～Ｒ２の領域）を、Ｒ２－β～Ｒ２＋αの領域に伸張することができる。（入力Ｒ画像Ｒｉｎの背景１の部分（Ｒ２～Ｒ２＋αの部分）は、（Ｒ２＋γ～Ｒ２＋α）の領域に圧縮（収縮）される。）
　なお、図９に示すアドレス変換特性の曲線部分（Ｒ２－β～Ｒ２＋αの部分）の変換特性は、入力アドレス値ＲＡＤ＿Ｒについて、出力アドレス値ＲＡＤ２＿Ｒが単調増加する特性曲線（直線でもよい）であることが好ましい。

　例えば、座標変換部１４３は、強度信号Ｋ１＿ＲであるΔＤＲ１の信号値に適当なゲイン（μ）を乗算することで、
　　ＲＡＤ２＿Ｒ＝ＲＡＤ＿Ｒ－μ・Ｋ１＿Ｒ
により、アドレス変換処理を行ってもよい。
　なお、上式において、μの大きさは最大でも単調性が損なわれないレベル以下に設定する。

　上記のようにして、Ｒ画像用画像補正部１０４Ｒの座標変換部１４３は、アドレス変換処理を行う。
　なお、Ｒ画像用画像補正部１０４Ｒの座標変換部１４３は、アドレス変換処理において、図９の点線で示した曲線Ｃｕｒｖｅ２により、アドレス変換処理を行うようにしてもよい。つまり、図９の点線で示した曲線Ｃｕｒｖｅ２では、図９の曲線Ｃｕｒｖｅ１に比べて、領域Ｒ２＋γ～Ｒ２＋αにおいて、曲線の傾きが小さく、曲線Ｃｕｒｖｅ２は、なだらかに上昇して、ＲＡＤ２＿Ｒ＝ＲＡＤ＿Ｒの直線と一致するように変化する。したがって、Ｒ画像用画像補正部１０４Ｒの座標変換部１４３が、曲線Ｃｕｒｖｅ２により、アドレス変換を行うことで、図９の下段の図に示した背景１が、急激に圧縮されることを防止することができ、その結果、背景１の部分が滑らかに圧縮されたＲ画像を取得することができる。

　以上のようにしてアドレス変換されたＲＡＤ２＿ＬおよびＲＡＤ２＿Ｒは、それぞれ、Ｌ画像用画像補正部１０４ＬおよびＲ画像用画像補正部１０４Ｒにおいて、座標変換部１４３からメモリ部１４１および補間部１４４に出力される。
　なお、入力アドレスＲＡＤ＿ＬおよびＲＡＤ＿Ｒは、整数であるのに対し、出力アドレスＲＡＤ２＿ＬおよびＲＡＤ２＿Ｒは、小数部を持つ。ここでは、出力アドレスＲＡＤ２＿ＬおよびＲＡＤ２＿Ｒは、小数以下４ｂｉｔ有するものとする。

　メモリ部１４１では、座標変換部１４３から出力された読み出しアドレスＲＡＤ２＿Ｌの整数部であるＲＡＤ２＿Ｌ＿Ｉｎｔで指定されているアドレスから、格納しているＬ画像Ｌｉｎのデータ（信号値）を読み出す。具体的なメモリ部１４１でのデータ読み出し処理について、図１０を用いて、説明する。
　図１０は、図８と同様の図であり、図７のＡＲＥＡ１の部分を拡大した図である。なお、図１０において示したアドレス値Ａ１～Ａ５は、整数値であるものとする。
（出力アドレス値の小数部が「０」の場合）：
　図１０に示すように、ＲＡＤ＿Ｌ＝Ａ１（Ｌ１－βに対応するアドレス値Ａ１）の場合、座標変換部１４３は、ＲＡＤ２＿Ｌ＝Ａ３（Ｌ１に対応するアドレス値Ａ３）として、変換アドレスＲＡＤ２＿Ｌを出力する。

　このとき、ＲＡＤ２＿Ｌ＝Ａ３であり、ＲＡＤ２＿Ｌの小数部ＲＡＤ２＿Ｌ＿Ｄｅｃｉは「０」であるので、座標変換部１４３は、メモリ部１４１に対して、ＲＡＤ２＿Ｌ＿Ｉｎｔ＝Ａ３のアドレスに格納されているデータ（信号値）Ｖａｌ（Ａ３）（Ｖａｌ（Ｘ）は、アドレス値Ｘに格納されているデータ値を示すものとする。）を読み出すように指示する。また、座標変換部１４３は、補間部１４４に対して、ＲＡＤ２＿Ｌの小数部ＲＡＤ２＿Ｌ＿Ｄｅｃｉ（＝０）を出力する。

　そして、補間部１４４では、ＲＡＤ２＿Ｌ＿Ｄｅｃｉ＝０であるので、補間処理を実行せず、メモリ部１４１から入力されたデータ（信号値）Ｖａｌ（Ａ３）をそのまま出力Ｌ画像信号Ｌｏｕｔとして出力する。
（出力アドレス値の小数部が「０」ではない場合）：
　一方、図１０に示すように、ＲＡＤ＿Ｌ＝Ａ２の場合、座標変換部１４３は、ＲＡＤ２＿Ｌ＝Ａ４＋θ１として、変換アドレスＲＡＤ２＿Ｌを出力する。

　このとき、
　　ＲＡＤ２＿Ｌ＿Ｉｎｔ＝Ａ４
　　ＲＡＤ２＿Ｌ＿Ｄｅｃｉ＝θ１　（０＜θ１≦１）
であるので、座標変換部１４３は、メモリ部１４１に対して、ＲＡＤ２＿Ｌ＿Ｉｎｔ＝Ａ４のアドレスに格納されているデータ（信号値）Ｖａｌ（Ａ４）と、ＲＡＤ２＿Ｌ＿Ｉｎｔ＝Ａ５のアドレス（Ａ４のアドレス値よりアドレス値が「１」大きいアドレス値Ａ５）に格納されているデータ（信号値）Ｖａｌ（Ａ５）と、を読み出すように指示する。

　また、座標変換部１４３は、補間部１４４に対して、ＲＡＤ２＿Ｌの小数部ＲＡＤ２＿Ｌ＿Ｄｅｃｉ（＝θ１）を出力する。
　そして、補間部１４４では、ＲＡＤ２＿Ｌ＿Ｄｅｃｉ＝θ１であるので、メモリ部１４１から入力されたデータ（信号値）Ｖａｌ（Ａ４）およびＶａｌ（Ａ５）を用いて、
　　Ｌｏｕｔ＝（１－θ１）×Ｖａｌ（Ａ４）＋θ１×Ｖａｌ（Ａ５）
に相当する補間処理を実行する。

　補間部１４４は、上記補間処理により取得した値を、出力Ｌ画像信号Ｌｏｕｔとして出力する。
　なお、ＲＡＤ＿Ｌ＝Ａ２、Ａ３、Ａ４の場合も同様に、出力アドレス値の小数部が「０」ではないので、上記と同様の処理が実行される。
　また、出力アドレス値の小数部が「０」の場合に上記補間演算を行っても、補間演算を行わない場合と同様の出力アドレスが得られるため、具体的な補間演算の構成はどちらでも良い。

　上記のように処理を行うことで、立体撮像装置１０００では、主被写体２０２の左端部分領域において、Ｌ画像上の微妙な座標変換を滑らかに行うことができる。
　なお、主被写体２０２の右端部分領域（図７のＡＲＥＡ２で示した領域、領域Ｑ２）についても上記と同様の処理が実行される。
　立体撮像装置１０００において、以上の処理を行った場合の処理結果（伸張モードにおける処理結果）を図１１に示す。

　図１１から分かるように、Ｌ画像の主被写体２０２の左の輪郭付近（左端部分領域）が、図１１の矢印ＡＬ１で示すように、滑らかに左に引き延ばされている。
　同様に、Ｒ画像の主被写体２０２の右側の輪郭（右端部分領域）も、図１１の矢印ＡＲ１で示すように、滑らかに右に引き延ばされている。
　この結果、立体撮像装置１０００による上記処理を行った立体画像において、被写体オブジェクト（主被写体２０２）の内部（内側の領域）については、視差はＳであり入力の原画と変わらないため、立体視した場合、被写体距離（視点から当該被写体オブジェクトの定位位置までの距離）は同じである。

　一方、（１）Ｌ画像において、主被写体２０２の左の輪郭（左端部分領域）が左に引き延ばされているため、左の輪郭（左端部分領域）での視差はＳＬ１になり、また、（２）Ｒ画像において、主被写体２０２の右の輪郭（右端部分領域）が右に引き延ばされているため、左の輪郭（左端部分領域）での視差はＳＲ１になる。
　　ＳＬ１＜Ｓ
　　ＳＲ１＜Ｓ
であるため、立体撮像装置１０００により取得される立体画像の視差が遠ざかる方向に変化する。そのため、被写体オブジェクト（主被写体２０２）の内部に比べて、被写体オブジェクト（主被写体２０２）輪郭近傍（左端部分領域および右端部分領域）はわずかに遠ざかることになる。その結果、立体撮像装置１０００により取得される立体画像において、被写体オブジェクト（主被写体２０２）輪郭近傍が遠方に向かって湾曲している丸み感が表現されることになる。
　輪郭近傍の丸み感が認知されると、脳での認識が平板ではなく立体物であると認識されることになるため、書き割り感が低減される。したがって、立体撮像装置１０００において、上記のように処理を行うことで、書き割り感が低減された立体画像を取得することができる。

　≪圧縮モードの処理≫
　次に、圧縮モードの場合の処理について、説明する。
　なお、伸張モードの処理と同様の部分については、説明を省略する。
　図１２は、圧縮モードの場合のアドレス変換特性を示す図である。図１２において、横軸は入力アドレス（変換前の読み出しアドレス）であり、縦軸は出力アドレス（変換後の読み出しアドレス）である。

　具体的には、図１２（ａ）は、Ｌ画像の主被写体２０２の右端部分領域を狭める（圧縮する）ためのアドレス変換特性（Ｌ画像用画像補正部１０４Ｌの座標変換部のアドレス変換特性）を示すグラフであり、図１２（ｂ）は、Ｒ画像の主被写体２０２の左端部分領域を狭める（圧縮する）ためのアドレス変換特性（Ｒ画像用画像補正部１０４Ｒの座標変換部のアドレス変換特性）を示すグラフである。なお、図１２において、「Ｒ１」、「Ｌ１」、「Ｒ２」および「Ｌ２」で示したアドレスは、それぞれ、図３および図５の「Ｒ１」、「Ｌ１」、「Ｒ２」および「Ｌ２」に相当するデータ（信号値）が（メモリ部１４１に）格納されているアドレスを示している。

　座標変換部１４３、メモリ部１４１および補間部１４４での処理は、伸張モードの処理で説明した、座標変換部１４３、メモリ部１４１および補間部１４４の処理と同様である。
　相違点は、伸張モードでのアドレス変換特性が図７に示すものであるのに対して、圧縮モードでのアドレス変換特性が図１２に示すものである点である。
　圧縮モードでは、図１２のアドレス変換特性により、座標変換部１４３、メモリ部１４１および補間部１４４での処理が実行されるため、L画像において、主被写体２０２の右端部分領域が圧縮（収縮）され、Ｒ画像において、主被写体２０２の左端部分領域が圧縮（収縮）される。
　具体的には、図１２（ａ）は、Ｌ画像の主被写体２０２の右端部分領域を狭める（圧縮する）ためのアドレス変換特性（Ｌ画像用画像補正部１０４Ｌの座標変換部のアドレス変換特性）を示すグラフであり、図１２（ｂ）は、Ｒ画像の主被写体２０２の左端部分領域を狭める（圧縮する）ためのアドレス変換特性（Ｒ画像用画像補正部１０４Ｒの座標変換部のアドレス変換特性）を示すグラフである。なお、図１２において、「Ｒ１」、「Ｌ１」、「Ｒ２」および「Ｌ２」で示したアドレスは、それぞれ、図３および図５の「Ｒ１」、「Ｌ１」、「Ｒ２」および「Ｌ２」に相当するデータ（信号値）が（メモリ部１４１に）格納されているアドレスを示している。

　座標変換部１４３は、制御部１０５から指示された読み出しアドレスＲＡＤ＿Ｌに基づいて、アドレス変換処理を行うことで、変換後の読み出しアドレスＲＡＤ２＿Ｌを取得する。
　具体的には、座標変換部１４３は、以下の処理（１）、（２）によりアドレス変換処理を行う。なお、メモリ部１４１には、制御部１０５から指示された書き込みアドレスＷＡＤ＿Ｌにより、Ｌ画像信号のデータ（信号値）が順次書き込まれているものとし、メモリ部１４１のアドレスＷＡＤ＿Ｌに書き込まれたデータは、当該書き込みアドレスＷＡＤ＿Ｌと同じアドレス値である読み出しアドレスＲＡＤ＿Ｌにより、メモリ部１４１から読み出すことができるものとする。
（１）読み出しアドレスＲＡＤ＿Ｌが、図５の領域Ｐ２以外の領域に対応するＬ画像信号のデータ（信号値）を書き込んだアドレスである場合、座標変換部１４３は、図１２に示すアドレス変換特性に従い、
　　ＲＡＤ２＿Ｌ＝ＲＡＤ＿Ｌ
として、つまり、読み出しアドレスＲＡＤ＿Ｌと同一アドレス値を、読み出しアドレスＲＡＤ２＿Ｌとして取得する。そして、座標変換部１４３は、取得した読み出しアドレスＲＡＤ２＿Ｌの整数部ＲＡＤ２＿Ｌ＿Ｉｎｔをメモリ部１４１へ出力し、取得した読み出しアドレスＲＡＤ２＿Ｌの小数部ＲＡＤ２＿Ｌ＿Ｄｅｃｉを補間部１４４へ出力する。

（２）読み出しアドレスＲＡＤ＿Ｌが、図５の領域Ｐ２の領域に対応するＬ画像信号のデータ（信号値）を書き込んだアドレスである場合、座標変換部１４３は、図１２に示すアドレス変換特性に従うアドレス変換を行う。このアドレス変換について、図１３を用いて、説明する。
　図１３は、図１２（ａ）にＡＲＥＡ３で示す領域を拡大した図である。
　座標変換部１４３は、図１３に示すように、読み出しＲＡＤ＿Ｌが、領域Ｐ２内に相当するアドレス値である場合、主被写体２０２に右端部分領域が圧縮されるように、アドレス変換を行い、アドレス変換後の読み出しアドレスＲＡＤ２＿Ｌを取得する。
　つまり、図１３に示すように、ＲＡＤ＿Ｌ＝（Ｌ２－β）（「Ｌ２－β」に対応するアドレス値を単に「Ｌ２－β」と表記することがある。以下、同様。）のとき、
　　ＲＡＤ２＿Ｌ＝Ｌ２
とアドレス変換される。座標変換部１４３が、この変換後の読み出しアドレスＲＡＤ２＿Ｌ（＝Ｌ２）により、メモリ部１４１からＬ画像信号Ｌｉｎのデータ（信号値）を読み出すことで、Ｌ画像上において「Ｌ２－β」に対応する位置に、「Ｌ２」に対応する位置のデータ（信号値）を読み出すことができる。

　これと同様にして、領域Ｐ２内に相当するアドレス値（Ｌ２－β～Ｌ２＋α）は、アドレス値（Ｌ２～Ｌ２＋α）にアドレス変換される。
　つまり、上記のように、座標変換部１４３がアドレス変換処理を行い、アドレス変換後のアドレス値により、メモリ部１４１からＬ画像Ｌｉｎのデータ（信号値）を読み出すことで、図１３の下段の図に示したように、主被写体２０２の右端部分領域を圧縮することができる。具体的には、上記のように、座標変換部１４３がアドレス変換処理を行い、アドレス変換後のアドレス値により、メモリ部１４１からＬ画像Ｌｉｎのデータ（信号値）を読み出すことで、図１３の下段の図に示すように、入力Ｌ画像Ｌｉｎの主被写体２０２の右端部分（Ｌ２－γ～Ｌ２の領域）を、Ｌ２－γ～Ｌ２－βの領域に圧縮することができる。（Ｌ２～Ｌ２＋αの背景１の部分が、Ｌ２－β～Ｌ２＋αに伸張される。）

　なお、図１３に示すアドレス変換特性の曲線部分（Ｌ２－β～Ｌ２＋αの部分）の変換特性は、入力アドレス値ＲＡＤ＿Ｌについて、出力アドレス値ＲＡＤ２＿Ｌが単調増加する特性曲線（直線でもよい）であることが好ましい。
　例えば、座標変換部１４３は、強度信号Ｋ１＿ＬであるΔＤＬ１の信号値に適当なゲイン（μ）を乗算することで、
　　ＲＡＤ２＿Ｌ＝ＲＡＤ＿Ｌ＋μ・Ｋ１＿Ｌ
により、アドレス変換処理を行ってもよい。
　なお、上式において、μの大きさは最大でも単調性が損なわれないレベル以下に設定する。

　以上のようにして、座標変換部１４３は、アドレス変換処理を行う。
　ここで、圧縮モードにおけるＲ画像用画像補正部１０４Ｒの座標変換部１４３の処理についても説明する。
　Ｒ画像用画像補正部１０４Ｒの座標変換部１４３は、図１２（ｂ）に示すアドレス変換特性により、アドレス変換処理を行う。基本的な処理については、Ｌ画像用画像補正部１０４Ｌの座標変換部１４３の処理と同様であるので、以下では、異なる点について説明する。

　Ｒ画像用画像補正部１０４Ｒの座標変換部１４３は、制御部１０５から指示された読み出しアドレスＲＡＤ＿Ｒに基づいて、アドレス変換処理を行うことで、変換後の読み出しアドレスＲＡＤ２＿Ｒを取得する。
　具体的には、Ｒ画像用画像補正部１０４Ｒの座標変換部１４３は、以下の処理（１）、（２）によりアドレス変換処理を行う。なお、メモリ部１４１には、制御部１０５から指示された書き込みアドレスＷＡＤ＿Ｒにより、Ｌ画像信号のデータ（信号値）が順次書き込まれているものとし、メモリ部１４１のアドレスＷＡＤ＿Ｒに書き込まれたデータは、当該書き込みアドレスＷＡＤ＿Ｒと同じアドレス値である読み出しアドレスＲＡＤ＿Ｒにより、メモリ部１４１から読み出すことができるものとする。

（１）読み出しアドレスＲＡＤ＿Ｌが、図５の領域Ｑ１以外の領域に対応するＲ画像信号のデータ（信号値）を書き込んだアドレスである場合、座標変換部１４３は、図１２（ｂ）に示すアドレス変換特性に従い、
　　ＲＡＤ２＿Ｒ＝ＲＡＤ＿Ｒ
として、つまり、読み出しアドレスＲＡＤ＿Ｒと同一アドレス値を、読み出しアドレスＲＡＤ２＿Ｒとして取得する。そして、座標変換部１４３は、取得した読み出しアドレスＲＡＤ２＿Ｒの整数部ＲＡＤ２＿Ｒ＿Ｉｎｔをメモリ部１４１へ出力し、取得した読み出しアドレスＲＡＤ２＿Ｒの小数部ＲＡＤ２＿Ｒ＿Ｄｅｃｉを補間部１４４へ出力する。

（２）読み出しアドレスＲＡＤ＿Ｒが、図１２の領域Ｑ１の領域に対応するＬ画像信号のデータ（信号値）を書き込んだアドレスである場合、座標変換部１４３は、図１２（ｂ）に示すアドレス変換特性に従うアドレス変換を行う。このアドレス変換について、図１４を用いて、説明する。
　図１４は、図１２（ｂ）にＡＲＥＡ４で示す領域を拡大した図である。
　座標変換部１４３は、図１４に示すように、読み出しＲＡＤ＿Ｒが、領域Ｑ１内に相当するアドレス値である場合、主被写体２０２に左端部分領域が圧縮されるように、アドレス変換を行い、アドレス変換後の読み出しアドレスＲＡＤ２＿Ｒを取得する。
　つまり、図１４に示すアドレス変換特性曲線において、
（Ａ）ＲＡＤ＿ＲがＲ１－β～Ｒ１の領域に含まれる場合、当該アドレス変換特性曲線の傾きが小さく、
（Ｂ）ＲＡＤ＿ＲがＲ１～Ｒ１＋αの領域に含まれる場合、当該アドレス変換特性曲線の傾きが大きい。

　座標変換部１４３が、この図１４に示すアドレス変換特性曲線Ｃｕｒｖｅ１を用いて、アドレス変換処理を行うことで、主被写体２０２に左端部分領域を圧縮することができる。
　つまり、上記のように、座標変換部１４３がアドレス変換処理を行い、アドレス変換後のアドレス値により、メモリ部１４１からＲ画像Ｒｉｎのデータ（信号値）を読み出すことで、図１４の下段の図に示したように、主被写体２０２の左端部分領域を圧縮することができる。具体的には、上記のように、座標変換部１４３がアドレス変換処理を行い、アドレス変換後のアドレス値により、メモリ部１４１からＲ画像Ｒｉｎのデータ（信号値）を読み出すことで、図１４の下段の図に示すように、入力Ｒ画像Ｒｉｎの主被写体２０２の左端部分（Ｒ１～Ｒ１＋αの領域）を、Ｒ１＋γ～Ｒ１＋αの領域に圧縮することができる。（入力Ｒ画像Ｒｉｎの背景２の部分（Ｒ１－β～Ｒ１の部分）は、（Ｒ１－β～Ｒ１＋γ）の領域に伸張される。）

　なお、図１４に示すアドレス変換特性の曲線部分（Ｒ１－β～Ｒ１＋αの部分）の変換特性は、入力アドレス値ＲＡＤ＿Ｒについて、出力アドレス値ＲＡＤ２＿Ｒが単調増加する特性曲線（直線でもよい）であることが好ましい。
　例えば、座標変換部１４３は、強度信号Ｋ１＿ＲであるΔＤＲ１の信号値に適当なゲイン（μ）を乗算することで、
　　ＲＡＤ２＿Ｒ＝ＲＡＤ＿Ｒ－μ・Ｋ１＿Ｒ
により、アドレス変換処理を行ってもよい。
　なお、上式において、μの大きさは最大でも単調性が損なわれないレベル以下に設定する。

　上記のようにして、Ｒ画像用画像補正部１０４Ｒの座標変換部１４３は、アドレス変換処理を行う。
　なお、Ｒ画像用画像補正部１０４Ｒの座標変換部１４３は、アドレス変換処理において、図１４の点線で示した曲線Ｃｕｒｖｅ２により、アドレス変換処理を行うようにしてもよい。つまり、図１４の点線で示した曲線Ｃｕｒｖｅ２では、図１４の曲線Ｃｕｒｖｅ１に比べて、領域Ｒ２＋γ～Ｒ２＋αにおいて、曲線の傾きが小さく、曲線Ｃｕｒｖｅ２は、なだらかに上昇して、ＲＡＤ２＿Ｒ＝ＲＡＤ＿Ｒの直線と一致するように変化する。したがって、Ｒ画像用画像補正部１０４Ｒの座標変換部１４３が、曲線Ｃｕｒｖｅ２により、アドレス変換を行うことで、図１４の下段の図に示したオブジェクト左端部が、急激に圧縮されることを防止することができ、その結果、オブジェクト左端部の部分が滑らかに圧縮されたＲ画像を取得することができる。

　以上のようにしてアドレス変換されたＲＡＤ２＿ＬおよびＲＡＤ２＿Ｒは、それぞれ、Ｌ画像用画像補正部１０４ＬおよびＲ画像用画像補正部１０４Ｒにおいて、座標変換部１４３からメモリ部１４１および補間部１４４に出力される。
　なお、入力アドレスＲＡＤ＿ＬおよびＲＡＤ＿Ｒは、整数であるのに対し、出力アドレスＲＡＤ２＿ＬおよびＲＡＤ２＿Ｒは、小数部を持つ。ここでは、出力アドレスＲＡＤ２＿ＬおよびＲＡＤ２＿Ｒは、小数以下４ｂｉｔ有するものとする。

　なお、以降の処理については、伸張モードの処理と同様である。
　立体撮像装置１０００において、以上の処理を行った場合の処理結果（圧縮モードにおける処理結果）を図１５に示す。
　図１５から分かるように、Ｌ画像の主被写体２０２の右の輪郭付近（右端部分領域）が、図１５の矢印ＡＬ２で示すように、滑らかに左に圧縮されている。
　同様に、Ｒ画像の主被写体２０２の左側の輪郭（左端部分領域）も、図１５の矢印ＡＲ２で示すように、滑らかに右に圧縮されている。
　この結果、立体撮像装置１０００による上記処理を行った立体画像において、被写体オブジェクト（主被写体２０２）の内部（内側の領域）については、視差はＳであり入力の原画と変わらないため、立体視した場合、被写体距離（視点から当該被写体オブジェクトの定位位置までの距離）は同じである。

　一方、（１）Ｌ画像において、主被写体２０２の右の輪郭（右端部分領域）が左に圧縮されているため、右の輪郭（右端部分領域）での視差はＳＲ２になり、また、（２）Ｒ画像において、主被写体２０２の左の輪郭（左端部分領域）が右に圧縮されているため、左の輪郭（左端部分領域）での視差はＳＬ２になる。
　　ＳＲ２＜Ｓ
　　ＳＬ２＜Ｓ
であるため、立体撮像装置１０００により取得される立体画像の視差が遠ざかる方向に変化する。そのため、被写体オブジェクト（主被写体２０２）の内部に比べて、被写体オブジェクト（主被写体２０２）輪郭近傍（左端部分領域および右端部分領域）はわずかに遠ざかることになる。その結果、立体撮像装置１０００により取得される立体画像において、被写体オブジェクト（主被写体２０２）輪郭近傍が遠方に向かって湾曲している丸み感が表現されることになる。

　輪郭近傍の丸み感が認知されると、脳での認識が平板ではなく立体物であることがことになるため、書き割り感が低減される。したがって、立体撮像装置１０００において、上記のように処理を行うことで、書き割り感が低減された立体画像を取得することができる。
　なお、本実施形態では、伸張モードによる処理と、圧縮モードによる処理とを、別々の処理として説明したが、両者を併用する方法も可能である。この方法では、画像に与える歪みが小さくてすみ、かつ被写体オブジェクトの横幅も変化しないため画質的に優れている。

　［他の実施形態］
　上記実施形態では、２視点による立体画像の処理について、説明したが、これに限定されることはなく、例えば、多視点（Ｎ視点、Ｎは３以上の自然数）による立体画像に対して、上記実施形態で説明したのと同様の処理を行うようにしてもよい。
　なお、Ｎ視点の処理を実行する場合、上記実施形態の２つの処理系統（Ｒ画像用の処理系統と、Ｌ画像用の処理系統）を、Ｎ個の処理系統に拡張すればよい。

　以下では、Ｎ＝４の場合、すなわち、4視点の場合の処理について、圧縮モードの処理、および、伸張モードの処理について、説明する。
　≪４視点の場合の圧縮モードの処理≫
　まず、４視点の場合の圧縮モードの処理について、図面を参照しながら、説明する。
　図１６は、４視点の空間的な配置を模式的に示した図である。

　図１６に示すように、最も左側に位置する視点をａ点とし、右側に行くに従い、ｂ点、ｃ点、ｄ点と、４つの視点が等間隔に配置されているものとする。
　以下では、図１６の４視点により取得される画像に対して圧縮モードの処理を実行する場合について、説明する。
　図１７は、撮像シーン２００を、図１６の４つの視点ａ～ｄ点において取得した撮像画像の画像信号波形を示しており、横軸に撮像画像のｘ座標（ｘ方向の位置座標）を、縦軸に輝度（撮像画像の各画素の画素値（輝度値）に相当）をとっている。

　そして、図１７（ａ）に視点ａ点により取得された画像を、図１７（ｂ）に視点ｂ点により取得された画像を、図１７（ｃ）に視点ｃ点により取得された画像を、図１７（ｄ）に視点ｄ点により取得された画像を、それぞれ、示している。また、図１７（ａ）～（ｂ）は、ｘ座標を一致させて描かれている。
　また、図１７（ａ）～（ｂ）において、点線は、４つの視点ａ～ｄ点において取得した撮像画像の処理前の画像信号波形を示しており、実線が処理後の画像信号波形を示している。

　４視点の場合の圧縮モードの処理では、以下のように、オブジェクトの端部の圧縮量を設定すればよい。つまり、図１７に示すように、ａ点画像において、オブジェクト（主被写体２０２）の右端の圧縮量をΔＲ１とし、ｂ点画像において、オブジェクト（主被写体２０２）の右端の圧縮量をΔＲ２、左端の圧縮量をΔＬ３とし、ｃ点画像において、オブジェクト（被写体２０２）の右端の圧縮量をΔＲ３、左端の圧縮量をΔＬ２とし、ｄ点画像において、オブジェクト（被写体２０２）の左端の圧縮量をΔＬ１とした場合、
　　ΔＲ１＞ΔＲ２＞ΔＲ３
　　ΔＬ１＞ΔＬ２＞ΔＬ３
となるように、各画像において、圧縮モードの処理を実行すればよい。

　これにより、（１）ａ点画像をＬ画像とし、ｂ点画像をＲ画像とする場合、（２）ｂ点画像をＬ画像とし、ｃ点画像をＲ画像とする場合、および、（３）ｃ点画像をＬ画像とし、ｄ点画像をＲ画像とする場合、のいずれの場合であっても、オブジェクト端部における視差が、圧縮モードの処理前よりも圧縮モード処理後の方が小さくなる。
　例えば、
　　ΔＲ１＝３×ΔＲ３
　　ΔＲ２＝２×ΔＲ３
　　ΔＬ１＝３×ΔＬ３
　　ΔＬ２＝２×ΔＬ３
とした場合、
（１）ａ点画像をＬ画像とし、ｂ点画像をＲ画像とする場合、オブジェクト（主被写体２０２）の右端の圧縮量は、
　　ΔＲ１－ΔＲ２＝ΔＲ３
となり、オブジェクト（主被写体２０２）の左端の圧縮量は、ΔＬ３となり、
（２）ｂ点画像をＬ画像とし、ｃ点画像をＲ画像とする場合、オブジェクト（主被写体２０２）の右端の圧縮量は、
　　ΔＲ２－ΔＲ３＝ΔＲ３
となり、オブジェクト（主被写体２０２）の左端の圧縮量は、
　　ΔＬ２－ΔＬ３＝ΔＬ３
（３）ｃ点画像をＬ画像とし、ｄ点画像をＲ画像とする場合、オブジェクト（主被写体２０２）の右端の圧縮量は、ΔＲ３となり、左端の圧縮量は、
　　ΔＬ１－ΔＬ２＝ΔＬ３
となる。

　つまり、上記の場合、（１）ａ点画像をＬ画像とし、ｂ点画像をＲ画像とする場合、（２）ｂ点画像をＬ画像とし、ｃ点画像をＲ画像とする場合、および、（３）ｃ点画像をＬ画像とし、ｄ点画像をＲ画像とする場合、のいずれの場合であっても、オブジェクト端部における視差が、圧縮モードの処理前よりも圧縮モード処理後の方が小さくなる。そして、いずれの場合においても、オブジェクト（主被写体２０２）の左端の圧縮量はΔＬ３であり、右端の圧縮量はΔＲ３となる。

　以上のように、４視点の画像に対して圧縮モードの処理を実行することで、仮想スクリーンより手前に存在するオブジェクト（主被写体２０２）の視差が小さくなる、つまり、立体画像の視差が遠ざかる方向に変化することとなる。そのため、被写体オブジェクト（主被写体２０２）の内部（画像上の内側の領域）に比べて、被写体オブジェクト（主被写体２０２）輪郭近傍（左端部分領域および右端部分領域）はわずかに遠ざかることになる。その結果、上記圧縮モード処理後の立体画像において、被写体オブジェクト（主被写体２０２）輪郭近傍が遠方に向かって湾曲している丸み感が表現されることになる。
　輪郭近傍の丸み感が認知されると、脳での認識が平板ではなく立体物であることがことになるため、書き割り感が低減される。したがって、上記のように処理を行うことで、書き割り感が低減された立体画像を取得することができる。

　≪４視点の場合の伸張モードの処理≫
　次に、４視点の場合の伸張モードの処理について、図面を参照しながら、説明する。
　以下では、図１６の４視点により取得される画像に対して伸張モードの処理を実行する場合について、説明する。
　図１８は、撮像シーン２００を、図１６の４つの視点ａ～ｄ点において取得した撮像画像の画像信号波形を示しており、横軸に撮像画像のｘ座標（ｘ方向の位置座標）を、縦軸に輝度（撮像画像の各画素の画素値（輝度値）に相当）をとっている。
　そして、図１８（ａ）に視点ａ点により取得された画像を、図１８（ｂ）に視点ｂ点により取得された画像を、図１８（ｃ）に視点ｃ点により取得された画像を、図１８（ｄ）に視点ｄ点により取得された画像を、それぞれ、示している。また、図１８（ａ）～（ｂ）は、ｘ座標を一致させて描かれている。

　また、図１８（ａ）～（ｂ）において、点線は、４つの視点ａ～ｄ点において取得した撮像画像の処理前の画像信号波形を示しており、実線が処理後の画像信号波形を示している。
　４視点の場合の伸張モードの処理では、以下のように、オブジェクトの端部の伸張量を設定すればよい。つまり、図１８に示すように、ａ点画像において、オブジェクト（主被写体２０２）の左端の伸張量をΔＬ１とし、ｂ点画像において、オブジェクト（主被写体２０２）の左端の伸張量をΔＬ２、右端の伸張量をΔＲ３とし、ｃ点画像において、オブジェクト（被写体２０２）の左端の伸張量をΔＬ３、右端の伸張量をΔＲ２とし、ｄ点画像において、オブジェクト（被写体２０２）の右端の伸張量をΔＲ１とした場合、
　　ΔＲ１＞ΔＲ２＞ΔＲ３
　　ΔＬ１＞ΔＬ２＞ΔＬ３
となるように、各画像において、伸張モードの処理を実行すればよい。

　これにより、（１）ａ点画像をＬ画像とし、ｂ点画像をＲ画像とする場合、（２）ｂ点画像をＬ画像とし、ｃ点画像をＲ画像とする場合、および、（３）ｃ点画像をＬ画像とし、ｄ点画像をＲ画像とする場合、のいずれの場合であっても、オブジェクト端部における視差が、伸張モードの処理前よりも伸張モード処理後の方が小さくなる。
　例えば、
　　ΔＲ１＝３×ΔＲ３
　　ΔＲ２＝２×ΔＲ３
　　ΔＬ１＝３×ΔＬ３
　　ΔＬ２＝２×ΔＬ３
とした場合、
（１）ａ点画像をＬ画像とし、ｂ点画像をＲ画像とする場合、オブジェクト（主被写体２０２）の左端の伸張量は、
　　ΔＬ１－ΔＬ２＝ΔＬ３
となり、オブジェクト（主被写体２０２）の右端の伸張量は、ΔＲ３となり、
（２）ｂ点画像をＬ画像とし、ｃ点画像をＲ画像とする場合、オブジェクト（主被写体２０２）の左端の伸張量は、
　　ΔＬ２－ΔＬ３＝ΔＬ３
となり、オブジェクト（主被写体２０２）の右端の伸張量は、
　　ΔＲ２－ΔＲ３＝ΔＲ３
（３）ｃ点画像をＬ画像とし、ｄ点画像をＲ画像とする場合、オブジェクト（主被写体２０２）の左端の伸張量は、ΔＬ３となり、右端の伸張量は、
　　ΔＲ１－ΔＲ２＝ΔＲ３
となる。

　つまり、上記の場合、（１）ａ点画像をＬ画像とし、ｂ点画像をＲ画像とする場合、（２）ｂ点画像をＬ画像とし、ｃ点画像をＲ画像とする場合、および、（３）ｃ点画像をＬ画像とし、ｄ点画像をＲ画像とする場合、のいずれの場合であっても、オブジェクト端部における視差が、伸張モードの処理前よりも伸張モード処理後の方が小さくなる。そして、いずれの場合においても、オブジェクト（主被写体２０２）の左端の伸張量はΔＬ３であり、右端の伸張量はΔＲ３となる。

　以上のように、４視点の画像に対して伸張モードの処理を実行することで、仮想スクリーンより手前に存在するオブジェクト（主被写体２０２）の視差が小さくなる、つまり、立体画像の視差が遠ざかる方向に変化することとなる。そのため、被写体オブジェクト（主被写体２０２）の内部（画像上の内側の領域）に比べて、被写体オブジェクト（主被写体２０２）輪郭近傍（左端部分領域および右端部分領域）はわずかに遠ざかることになる。その結果、上記伸張モード処理後の立体画像において、被写体オブジェクト（主被写体２０２）輪郭近傍が遠方に向かって湾曲している丸み感が表現されることになる。

　輪郭近傍の丸み感が認知されると、脳での認識が平板ではなく立体物であることがことになるため、書き割り感が低減される。したがって、上記のように処理を行うことで、書き割り感が低減された立体画像を取得することができる。
　なお、上記実施形態で説明した立体撮像装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
　さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。

　また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。

　また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る立体撮像装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。

　また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
　前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕｅ－ｒａｙ　Ｄｉｓｃ）、半導体メモリを挙げることができる。

　上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
　また、上記実施形態では、２つの撮像部により、ステレオ画像（左眼用画像および右眼用画像）を取得（撮像）している場合について説明した。しかし、これに限定されることはなく、例えば、１つの撮像素子により、左眼用画像と右眼用画像とを時分割で交互に取得するようにしてもよいし、また、１つの撮像素子の撮像素子面を２分割して、左眼用画像と右眼用画像とを取得するようにしてもよい。

　また、上記実施形態において、画像入力部１０２には、Ｒ画像およびＬ画像が入力される構成について説明したが、これに限定されることはなく、例えば、多視点方式により取得されたＮ枚（Ｎは２以上の自然数）の画像から、Ｒ画像およびＬ画像を選択し、選択したＲ画像（信号）およびＬ画像（信号）を、画像入力部１０２に入力するようにしてもよい。

　また、立体画像処理装置において、Ｒ画像およびＬ画像は、必ずしも内部で取得されなくてもよい。例えば、Ｒ画像およびＬ画像は、外部から立体画像処理装置に入力されるものであってもよい。
　さらに、立体画像処理装置において、Ｒデプス情報およびＬデプス情報も、必ずしも内部で取得されなくてもよい。例えば、Ｒデプス情報およびＬデプス情報は、外部から立体画像処理装置に入力されるものであってもよい。この場合、立体画像処理装置において、デプス取得部１０３を省略することができる。つまり、立体画像処理装置が、画像補正部１０４のみを備えるものであってもよい。
　また、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。

　本発明に係る立体画像処理装置、立体画像処理方法およびプログラムによれば、いかなる要因で発生した書き割り現象であっても、被写体の立体感・厚み感を復元し、書き割り感の少ない高品位な立体画像を取得することができる。したがって、本発明は、立体画像（立体映像）関連分野において有用であり、当該分野において、実施することができる。

１０００　立体撮像装置（立体画像処理装置）
１０１Ｒ　第１撮像部
１０１Ｌ　第２撮像部
１０２　画像入力部
１０３　デプス取得部
１０４　画像補正部
１０５　制御部
１４１　メモリ部
１４２　強度生成部
１４３　座標変換部
１４４　補間部

Claims (8)

1. 　２眼方式または多視点方式による立体画像に含まれる左眼用画像および右眼用画像に対して画像補正処理を行う立体画像処理装置であって、
   　前記左眼用画像および前記右眼用画像に含まれる被写体についての３次元空間での距離情報を取得するデプス取得部と、
   　前記デプス取得部が取得した前記被写体の前記距離情報に基づいて、前記左眼用画像および／または前記右眼用画像上における前記被写体の端部分領域を検出し、
   　立体画像を立体表示させたときに、検出した前記被写体の端部分領域の定位位置が遠くなるように、前記左眼用画像および／または前記右眼用画像上における前記被写体の端部分領域の視差を調整する画像補正部と、
   を備える立体画像処理装置。
2. 　前記画像補正部は、左眼用画像補正部と、右眼用画像補正部と、を備え、
   　前記左眼用画像補正部は、
   　前記デプス取得部により取得された前記距離情報に基づいて、前記左眼用画像に含まれる被写体と背景との距離の変化を左眼用距離変化情報として検出し、
   　当該左眼用距離変化情報を用いて前記左眼用画像上における前記被写体の左端部分領域を検出し、
   　前記左眼用画像上において、検出した前記被写体の左端部分領域が左方向に拡大するように、前記左眼用画像を補正し、
   　前記右眼用画像補正部は、
   　前記デプス取得部により取得された前記距離情報に基づいて、前記右眼用距離画像に含まれる被写体と背景との距離の変化を右眼用距離変化情報として検出し、
   　当該右眼用距離変化情報を用いて前記右眼用画像上における前記被写体の右端部分領域を検出し、
   　前記右眼用画像上において、検出した前記被写体の右端部分領域が右方向に拡大するように、前記左眼用画像を補正する、
   　請求項１に記載の立体画像処理装置。
3. 　前記画像補正部は、左眼用画像補正部と、右眼用画像補正部と、を備え、
   　前記左眼用画像補正部は、
   　前記デプス取得部により取得された前記距離情報に基づいて、前記左眼用画像に含まれる被写体と背景との距離の変化を左眼用距離変化情報として検出し、
   　当該左眼用距離変化を用いて前記左眼用画像上における前記被写体の右端部分領域を検出し、
   　前記左眼用画像上において、検出した前記被写体の右端部分領域が左方向に収縮するように、前記左眼用画像を補正し、
   　前記右眼用画像補正部は、
   　前記デプス取得部により取得された前記距離情報に基づいて、前記右眼用距離画像に含まれる被写体と背景との距離の変化を右眼用距離変化情報として検出し、
   　当該右眼用距離変化を用いて前記右眼用画像上における前記被写体の右端部分領域を検出し、
   　前記右眼用画像上において、検出した前記被写体の左端部分領域が右方向に収縮するように、前記左眼用画像を補正する、
   　請求項１または２に記載の立体画像処理装置。
4. 　多視点方式により取得されるＮ枚（Ｎは２以上の自然数）の画像である画像Ｐ（１）～Ｐ（Ｎ）（画像Ｐ（ｘ）の変数ｘは、左から右方向に昇順に付された自然数）に対して画像補正処理を行う立体画像処理装置であって、
   　前記画像Ｐ（ｋ）（１≦ｋ≦Ｎ－１、ｋは自然数）および前記画像Ｐ（ｊ＋１）（ｋ≦ｊ≦Ｎ－１、ｊは自然数）に含まれる被写体についての３次元空間での距離情報を取得するデプス取得部と、
   　前記デプス取得部が取得した前記被写体の前記距離情報に基づいて、前記画像Ｐ（ｋ）および／または前記画像Ｐ（ｊ＋１）上における前記被写体の端部分領域を検出し、
   　立体画像を立体表示させたときに、検出した前記被写体の端部分領域の定位位置が遠くなるように、前記画像Ｐ（ｋ）および／または前記画像Ｐ（ｊ＋１）における前記被写体の端部分領域の視差を調整する画像補正部と、
   を備える立体画像処理装置。
5. 　前記画像補正部は、
   　前記画像Ｐ（１）～Ｐ（Ｎ）の画像上の前記被写体の左端部分領域および右端部分領域を検出し、
   　前記画像Ｐ（ｍ）（１≦ｍ≦Ｎ、ｋは自然数）上において、検出した前記被写体の画像上の左方向の伸張量をΔＬ（ｍ）とし、検出した前記被写体の画像上の右方向の伸張量をΔＲ（Ｎ－ｍ＋１）とするとき、１≦ｘ≦Ｎ－２の任意の自然数ｘについて、
   　　ΔＲ（ｘ）＞ΔＲ（ｘ＋１）
   　　ΔＬ（ｘ）＞ΔＬ（ｘ＋１）
   となる右方向の伸張量および左方向の伸張量を用いて、
   （１）画像Ｐ（１）について、前記被写体の左端部分領域が左方向に伸張量ΔＬ（１）だけ拡大するように前記画像Ｐ（１）を補正し、
   （２）画像Ｐ（ｘ）（２≦ｘ≦Ｎ－１、ｘ：自然数）について、前記被写体の左端部分領域が左方向に伸張量をΔＬ（ｘ）だけ拡大するようにし、かつ、前記被写体の右端部分領域が右方向に伸張量をΔＲ（Ｎ－ｘ＋１）だけ拡大するように前記画像Ｐ（ｘ）を補正し、
   （３）画像Ｐ（Ｎ）について、前記被写体の右端部分領域が右方向に伸張量ΔＲ（１）だけ拡大するように前記画像Ｐ（Ｎ）を補正する、
   　請求項４に記載の立体画像処理装置。
6. 　前記画像補正部は、
   　前記画像Ｐ（１）～Ｐ（Ｎ）の画像上の前記被写体の左端部分領域および右端部分領域を検出し、
   　前記画像Ｐ（ｍ）（１≦ｍ≦Ｎ、ｋは自然数）上において、検出した前記被写体の画像上の右方向の圧縮量をΔＲ（ｍ）とし、検出した前記被写体の画像上の左方向の圧縮量をΔＬ（Ｎ－ｍ＋１）とするとき、１≦ｘ≦Ｎ－２の任意の自然数ｘについて、
   　　ΔＲ（ｘ）＞ΔＲ（ｘ＋１）
   　　ΔＬ（ｘ）＞ΔＬ（ｘ＋１）
   となる右方向の圧縮量および左方向の圧縮量を用いて、
   （１）画像Ｐ（１）について、前記被写体の右端部分領域が右方向に圧縮量ΔＲ（１）だけ収縮するように前記画像Ｐ（１）を補正し、
   （２）画像Ｐ（ｘ）（２≦ｘ≦Ｎ－１、ｘ：自然数）について、前記被写体の右端部分領域が右方向に圧縮量をΔＲ（ｘ）だけ収縮するようにし、かつ、前記被写体の左端部分領域が左方向に圧縮量をΔＬ（Ｎ－ｘ＋１）だけ収縮するように前記画像Ｐ（ｘ）を補正し、
   （３）画像Ｐ（Ｎ）について、前記被写体の左端部分領域が左方向に圧縮量ΔＬ（１）だけ収縮するように前記画像Ｐ（Ｎ）を補正する、
   　請求項４に記載の立体画像処理装置。
7. 　２眼方式または多視点方式による立体画像に含まれる左眼用画像および右眼用画像に対して画像補正処理を行う立体画像処理方法であって、
   　前記左眼用画像および前記右眼用画像から、前記左眼用画像および前記右眼用画像に含まれる被写体の距離に関する情報である距離情報を取得するデプス取得ステップと、
   　前記デプス取得ステップが取得した前記被写体の前記距離情報に基づいて、前記左眼用画像および／または前記右眼用画像上における前記被写体の端部分領域を検出し、
   　立体画像を立体表示させたときに、検出した前記被写体の端部分領域の定位位置が遠くなるように、前記左眼用画像および／または前記右眼用画像上における前記被写体の端部分領域の視差を調整する画像補正ステップと、
   を備える立体画像処理方法。
8. 　２眼方式または多視点方式による立体画像に含まれる左眼用画像および右眼用画像に対して画像補正処理を行う立体画像処理方法をコンピュータに実行させるためのプログラムであって、
   　前記左眼用画像および前記右眼用画像から、前記左眼用画像および前記右眼用画像に含まれる被写体の距離に関する情報である距離情報を取得するデプス取得ステップと、
   　前記デプス取得ステップが取得した前記被写体の前記距離情報に基づいて、前記左眼用画像および／または前記右眼用画像上における前記被写体の端部分領域を検出し、
   　立体画像を立体表示させたときに、検出した前記被写体の端部分領域の定位位置が遠くなるように、前記左眼用画像および／または前記右眼用画像上における前記被写体の端部分領域の視差を調整する画像補正ステップと、
   を備える立体画像処理方法をコンピュータに実行させるためのプログラム。

Images