JP5800996B2 - 画像処理装置、方法及びプログラム、プリンタ、表示装置 - Google Patents

Description

本発明は、立体画像の作成及び観察に用いられる画像処理装置、方法及びプログラム、プリンタ、表示装置に関するものである。

多数の円柱形状のレンズ（シリンドリカルレンズ）を左右方向に並べたレンチキュラシートを用いて、立体画像を表示する技術が知られている。これは、レンチキュラシートの背面側に、例えば左右の２視点から撮影した左視点画像及び右視点画像をそれぞれストライプ状に分割したストライプ画像を交互に配置し、かつ１個のレンズの下に、隣接する２つのストライプ画像を位置させたものである。左眼と右眼とが各レンズを介して、視差のある左視点画像及び右視点画像をそれぞれ観察することで、立体画像を観察することができる。また、Ｎ個（Ｎは３以上）の視点画像からなる多視点画像をストライプ状に分割して、１個のレンズの背後にＮ個のストライプ画像を並べて配置することによって、立体感を更に向上させることも知られている（例えば特許文献１参照）。

立体画像に含まれた各像（以下、立体視像という）は、視差に応じた浮き沈み方向の呈示位置にあるように観察者によって認識される。レンチキュラシートに多視点画像を記録する場合には、通常では多視点画像内の１箇所、例えば主要被写体に視差がない状態に各視点画像の相互の位置関係が設定される。これにより、主要被写体の立体視像がレンチキュラシート上に観察され、これよりも手前の被写体の立体視像がレンチキュラシートから浮いて観察され、また奥側の被写体の立体視像がレンチキュラシートから沈んで観察される。

一方、レンチキュラシートを通して多視点画像を観察したときに、レンチキュラシートのレンズの特性によりクロストークが発生することが知られている。クロストークは、１つの視点から一方の眼で観察したときに本来観察されるべき視点画像と、これに隣接した視点画像とが同時に観察される現象であり、複数の視点画像が重なった多重像が観察される。このようなクロストークに関連する技術として、立体画像の観察に使用される立体表示装置に応じて視点画像の視差を自動的に調整するものが知られている（特許文献２を参照）。

上記特許文献２では、ステレオ画像の各視点画像間の視差を取得するステップと、観察に使用される立体表示デバイスに関するデバイス情報を取得するステップと、ステレオ画像から生成すべき複数の視点画像に対応する仮想視点位置を決定するステップと、決定された仮想視点位置に対応した仮想視点画像を生成するステップとを順次に実行する。仮想視点位置は、仮想視点画像を仮想的に撮影したカメラの撮影位置に相当する。この仮想視点位置を決定する際に、使用される立体表示装置に仮想視点画像を表示した場合に、立体画像の全域で隣接した視点画像間の視差が表示視差許容量以下となるように仮想視点を決定している。このときに用いる表示視差許容量は、例えばクロストークにより多重像が観察されたとしても、観察者に強い不快感を与えない程度の値として決めている。

特開平２０１１−１５４３０１号公報 特開平２００６−１１５１９８号公報

ところで、上記のように例えば主要被写体について視差がない状態に各視点画像の相互の位置関係を設定した場合では、隣接した視点画像間においては主要被写体を基準にして被写体距離が大きいほど被写体の視差が大きくなる。このため、主要被写体と被写体距離の差が大きな被写体は、クロストークにより各像のずれが大きな多重像となってしまい明確に観察することができなかった。なお、特許文献２のように視差を表示視差許容量以下に抑えると立体感が低下するという問題がある。

本発明は、視点画像の一部の像だけではなく遠近の広い範囲の像を明確に観察できる多視点画像を生成する画像処理装置、方法及びプログラム、プリンタ、表示装置を提供することを目的とする。

上記課題を解決するために、本発明の画像処理装置は、決定部と、算出部と、シフト部とを備える。決定部は、多視点画像を観察する観察位置を左右方向に移動したときにこの移動にともなって呈示位置が変化する変化態様を決定する。呈示位置は、多視点画像で観察される立体画像中の像の浮き沈み方向における位置である。多視点画像は、３視点以上の各視点画像からなる。算出部は、各視点画像について、決定部で決定した変化態様にしたがって呈示位置を変化させるための視差方向のシフト量をそれぞれ算出する。シフト部は、算出部で算出されたシフト量で各視点画像をそれぞれ視差方向にシフトする。

視点画像内から主要な画像部分を特定する特定部を備えることも好ましい。決定部は、多視点画像を表示する表示面を正面視する第１の観察位置から主要な画像部分の像が表示面上に観察される態様に呈示位置の変化態様を決定する。算出部は、第１の観察位置で観察される各視点画像間の主要な画像部分の視差をなくすための各視点画像のシフト量をそれぞれ算出する。

また、視点画像内で注視点を指定する指定部を備えることが好ましい。決定部は、指定部で指定された注視点に基づいて呈示位置の変化態様を決定する。

また、注視点は、第１の注視点と第２の注視点を含むことが好ましい。決定部は、多視点画像を表示する表示面を正面視する第１の観察位置から第１の注視点の像が表示面上に観察され、正面から左右方向のいずれか一方に移動した第２の観察位置から第２の注視点の像が表示面上に観察される態様に呈示位置の変化態様を決定する。算出部は、第１の観察位置で観察される各視点画像間の第１の注視点の視差をなくし、第２の観察位置で観察される各視点画像間の第２の注視点の視差をなくすための各視点画像のシフト量をそれぞれ算出する。

また、視点画像内から主要な画像部分を特定する特定部を備えることが好ましい。決定部は、特定部が特定した主要な画像部分を第１の注視点とする。

また、視点画像内から主要な画像部分を特定し、特定した主要な画像部分を第１の注視点とする特定部と、視点画像内で第２の注視点を指定する指定部とを備えることも好ましい。

また、決定部は、連続した３視点以上の視点画像間で注視点の視差をなくす態様に呈示位置の変化態様を決定することが好ましい。

また、決定部は、視点画像間の視差範囲に基づいて呈示位置の変化態様を決定することが好ましい。

また、決定部は、視点画像間の視差範囲に基づいて、表示面上に観察される像が、左右一方の端の観察位置から他方の端の観察位置への移動により、最も遠方側の像から最も手前側の像に略連続的に移る態様に呈示位置の変化態様を決定することが好ましい。

また、決定部は、視点画像間の視差の左右方向の分布に応じて、呈示位置の変化態様を決定することが好ましい。

また、隣接した視点画像間における対応する画素同士の視差に基づいたぼかし量を用いて各視点画像内の各画素のぼかしを行うぼかし処理部を備えることも好ましい。ぼかし量は、シフト部によるシフト後の視差に基づいて決める。

また、本発明のプリンタは、上記の画像処理装置と、ストライピング処理部と、プリント部とを備える。ストライピング処理部は、画像処理装置でシフトされた各視点画像からストライプ画像を生成する。プリント部は、ストライプ画像をレンチキュラシートの各レンズまたはパララックスバリアの各スリットに対応した領域に順次に配置して記録する。

また、本発明の表示装置は、上記の画像処理装置と、ストライピング処理部と、表示部とを備える。表示部は、レンチキュラシートまたはパララックスバリアが表示面上に配され、ストライプ画像をレンチキュラシートの各レンズまたは前記パララックスバリアの各スリットに対応した表示面の領域に順次に配置して表示する。

また、本発明の画像処理方法は、決定ステップと、算出ステップと、シフトステップとを有する。決定ステップは、視点画像を観察する観察位置を左右方向に移動したときにこの移動にともなって呈示位置が変化する変化態様を決定する。呈示位置は、多視点画像で観察される立体画像中の像の浮き沈み方向における位置である。多視点画像は、３視点以上の各視点画像からなる。算出ステップは、各視点画像について、決定ステップで決定した変化態様にしたがって呈示位置を変化させるための視差方向のシフト量をそれぞれ算出する。シフトステップは、算出ステップで算出されたシフト量で各視点画像をそれぞれ視差方向にシフトする。

また、本発明の画像処理プログラムは、決定ステップと、算出ステップと、シフトステップとをコンピュータに実行させる。

本発明では、観察位置に応じて視差なく観察される立体像の浮き沈み方向における呈示位置が変化して、視差なく観察される画像部分が三次元空間の遠近方向で移動するため、立体画像を全体的に明確に観察することができる。

レンチキュラシートを示す斜視図である。 画像領域の各サブ領域と観察位置の関係を示す説明図である。 本発明を実施したプリンタを示すブロック図である。 ぼかし処理における視差とぼかし半径の関係を示すグラフである。 多視点画像生成部で生成される多視点画像の一例を示す説明図である。 観察位置とレンチキュラシート上に観察される立体視像の被写体距離との関係の一例を示すグラフである。 図６の例における各視点画像のシフト量の一例を示すグラフである。 シフト後の多視点画像の一例を示す説明図である。 正面視のときの各立体視像の呈示位置を示す説明図である。 正面視のときの各立体視像のぼけの状態を示す説明図である。 左端の観察位置から観察したときの各立体視像の呈示位置を示す説明図である。 左端の観察位置から観察したときの各立体視像のぼけの状態を示す説明図である。 右端の観察位置から観察したときの各立体視像の呈示位置を示す説明図である。 右端の観察位置から観察したときの各立体視像のぼけの状態を示す説明図である。 観察位置とレンチキュラシート上に観察される立体視像の被写体距離との関係の別の例を示すグラフである。 図１５の例における各視点画像のシフト量の一例を示すグラフである。 サブ注視点の１つを指定したときの観察位置とレンチキュラシート上に観察される立体視像の被写体距離との関係の一例を示すグラフである。 図１７の例における各視点画像のシフト量の一例を示すグラフである。 レンチキュラシート上に観察される立体視像の被写体距離が視差範囲で略連続的に変化する例を示すグラフである。 図１９の例における各視点画像のシフト量の一例を示すグラフである。 視点画像の視差分布に応じて立体画像の呈示位置の変化態様を決定する例を示すフローチャートである。 視点画像を４分割した例における観察位置とレンチキュラシート上で観察される立体視像の被写体距離の関係の一例を示すグラフである。 パララックスバリア方式で立体画像を表示する例を示す説明図である。 立体画像を表示する表示装置の構成を示すブロック図である。

図１に示すように、レンチキュラシート１１は、周知のように表面側に多数の略円柱形状のレンズ（シリンドリカルレンズ）１４が配列され、背面１１ａが平面になっている。各レンズ１４は、立体画像を観察する際の左右方向（観察者の両眼を結ぶ線の方向）に配列され、またこの左右方向と直交する方向に延びている。レンチキュラシート１１の背面１１ａに受像層（図示省略）が形成されており、この受像層にカラーインクを付着させて各視点画像を記録する。

図２に示すように、レンチキュラシート１１の背面１１ａは、レンズ１４ごとに画像領域１５が仮想的に区画され、１個のレンズ１４に対して１個の画像領域１５が対応する。なお、図２では、説明の便宜上、背面１１ａに相当する部分に厚みを持たせて描いてある。各画像領域１５は、視点画像の個数に応じて、レンズ１４の配列方向に仮想的に区画される。多視点画像は、３視点以上のものであればよい。この例では第１〜第１２視点画像が用いられ、画像領域１５は、第１〜第１２視点画像に１対１に対応した第１〜第１２サブ領域Ｆ１〜Ｆ１２に区画される。第１〜第１２サブ領域Ｆ１〜Ｆ１２には、対応する視点画像のストライプ画像を記録する。ストライプ画像は、視点画像をストライプ状に分割したものである。

画像領域１５内では、右端に第１サブ領域Ｆ１があり、第１サブ領域Ｆ１から左側に向かって順番に第２サブ領域Ｆ２，第３サブ領域Ｆ３，・・・第１２サブ領域Ｆ１２が並んでいる。第１サブ領域Ｆ１には、第１視点画像のストライプ画像が記録され、第２サブ領域Ｆ２，第３サブ領域Ｆ３，・・・第１２サブ領域Ｆ１２には、第２視点画像，第３視点画像，・・・第１２視点画像のストライプ画像が記録される。

レンチキュラシート１１のレンズ１４を通して、隣接した一対の視点画像のストライプ画像が観察される。例えば、レンチキュラシート１１を左端の観察位置から観察したとときに、第１，２サブ領域Ｆ１，Ｆ２に記録された一対のストライプ画像が観察され、右端の観察位置から観察したときに第１１，１２サブ領域Ｆ１１，１２に記録されたストライプ画像が観察される。これにより、各レンズ１４を通して立体画像を観察することができる。

図３において、プリンタ１０は、ステレオ画像（左視点画像と右視点画像）から１２視点の第１〜第１２視点画像を生成し、各視点画像を多数のストライプ画像に分割してレンチキュラシート１１に記録する。ステレオ画像は、例えばステレオカメラで撮影したものが入力される。なお、例えばコンピュータなどで作成したステレオ画像を入力してもよい。また、ステレオ画像から多視点画像を生成する代りに、撮影によって得られた多視点画像を入力してもよい。

図１に示されるように、プリンタ１０は、入力部２１，画像処理装置２２，ストライピング処理部２３，プリント部２４を有する。入力部２１は、データ入力のためのインターフェース回路などで構成されており、レンチキュラシート１１に記録すべき第１〜第１２視点画像の元となるステレオ画像と撮影時の視点情報とが入力される。ステレオ画像のうち左視点画像は、左右の２視点のうちの左視点から撮影された画像であり、右視点画像は右視点から撮影された画像である。

画像処理装置２２は、入力部２１に入力されたステレオ画像から１２視点の第１視点画像〜第１２視点画像を生成する。また、画像処理装置２２は、左右方向への観察位置の変化に応じた立体画像中の像の浮き沈み方向における呈示位置の変化態様を決定し、その呈示位置を変化させるための処理を行う。この画像処理装置２２は、視差マップ生成部２５，多視点画像生成部２６，特定部２７，変換ユニット２８，ぼかし処理部２９を備えている。画像処理装置２２は、例えばコンピュータで構成され、コンピュータが画像処理プログラムを実行することにより、各部の機能を実現する。

視差マップ生成部２５は、入力部２１に入力されたステレオ画像の左，右視点画像の視差マップを作成して出力する。また、後述するように、多視点画像生成部２６により主要被写体像の視差を「０」とした第１〜第１２視点画像が生成された場合には、隣接した視点の視点画像（以下、隣接視点画像という）同士、すなわち第ｎ視点画像と第（ｎ＋１）視点画像との間の視差マップをそれぞれ作成して出力する。

視差マップは、左視点画像と右視点画像の間、あるいは隣接視点画像間の対応する画素同士の視差を視点画像内の各画素について示したものである。視差は、左右方向についてズレ量（画素数）とズレの方向を示す。この視差は、画素に対応する被写体の三次元空間における奥行き方向（遠近の両方向）の距離、すなわち被写体距離に対応する情報である。この視差が示す距離情報は、一対の視点画像を左右の撮影光学系で撮影した場合におけるそれら撮影光学系の光軸の交点（輻輳点）を基準としたものとなっている。このよう視差を視点画像の各画素について示す視差マップは、被写体距離の分布を示す。

多視点画像生成部２６は、左，右視点画像を撮影した際の左視点と右視点との間に仮想的な視点を複数設定して、それら視点から撮影したものに相当する視点画像を、左，右視点画像と、生成した視差マップとに基づいて生成する。この例では、多視点画像生成部２６は、第１〜第１２視点画像を生成する。具体的には、多視点画像生成部２６は、左視点画像を第１視点画像、右視点画像を第１２視点画像とする。また、右視点と左視点との間を１１等分する１０個の各位置に仮想的な視点を設定して、第１視点画像側から順番に第２〜第１１視点画像を生成する。

また、多視点画像生成部２６は、第１〜第１２視点画像を左右方向にシフトして、隣接視点画像間で主要被写体像の視差を「０」にする初期補正を行う。各視点画像内の主要被写体像の領域は、特定部２７により特定される。初期補正された第１〜第１２視点画像がぼかし処理部２９を介して変換ユニット２８に送られる。なお、視差を「０」とする部分は、主要被写体像に限らず任意に決めることができ、またユーザが指定した画像部分の視差を「０」としてもよい。

特定部２７は、視点画像内の主要な画像部分として主要被写体像の領域を特定する。例えば第６視点画像内における主要被写体像の領域を特定する。特定部２７は、さらにその主要被写体像の領域から１個の画素（以下、特定画素という）を選択する。主要被写体像の領域を特定する際には、特定部２７は、視差マップや視点画像を参照し、視差（被写体距離）の分布、視点画像内の輝度や色、領域のサイズ等に基づき主要被写体像の領域を特定する。特定画素は、例えば、主要被写体像の領域の中心にある画素や、主要被写体像の領域内で同じ被写体距離となる画素数が最も多い画素のうちの１個などとすることができる。

特定画素の位置情報は、特定部２７から多視点画像生成部２６に送られる。多視点画像生成部２６は、初期補正の際には、第６視点画像の特定画素に対応する第１〜第５，第７〜第１２視点画像内の画素（以下、対応画素という）をそれぞれ特定して、第６視点画像を除く各視点画像をそれぞれ全体的に左右方向（視差方向）にシフトすることによって、それら対応画素と特定画素との左右方向の位置を一致させる。

なお、立体的な被写体像の一部分の視差を「０」としても、被写体像の全領域の視差を「０」することはできないが、便宜的に被写体像の一部分、例えば後述する注視点などで指定された画素や、特定画素に対応する部分の視差を「０」とする場合であっても、被写体像の視差が「０」などと表現する。

変換ユニット２８は、レンチキュラシート１１に対する観察位置の左右方向への移動に応じて、立体画像中の像（以下、立体視像という）の浮き沈み方向における呈示位置が変化するように第１〜第１２視点画像を変換する。この変換ユニット２８は、決定部３１，算出部３２，シフト部３３，指定部３４を有する。

決定部３１は、立体視像の呈示位置の変化態様を決定する。呈示位置の変化態様を決定する際には「メイン注視点」（第１の注視点）と最大２箇所の「サブ注視点」（第２の注視点）が指定される。「メイン注視点」は、特定部２７で特定された主要被写体像の領域の特定画素が指定される。したがって、特定部２７は、第１の注視点を指定する手段としても機能する。また、この「サブ注視点」は、指定部３４に対するユーザの操作で指定する。

決定部３１は、例えば「メイン注視点」と２箇所の「サブ注視点」が指定された場合では、ほぼ中央の観察位置からレンチキュラシート１１を正面視するときに「メイン注視点」に対応する立体視像の呈示位置がレンチキュラシート１１上となり、また左端，右端の観察位置で観察したときに「サブ注視点」に対応する立体視像がレンチキュラシート１１上となる変化態様にする。この変化態様では、中央と左端，中央と右端との間で観察位置が移動する際に、立体視像の呈示位置が段階的に変化させる。

また、「メイン注視点」と１箇所の「サブ注視点」が指定された場合では、正面視の観察位置から例えば左端の観察位置までの間では、「メイン注視点」に対応する立体視像の呈示位置がレンチキュラシート１１上となり、右端の観察位置で観察したときに「サブ注視点」に対応する立体視像がレンチキュラシート１１上とする。この変化態様では、中央と右端との間で観察位置が移動する際に、立体視像の呈示位置が段階的に変化する変化態様とする。

なお、変化態様は、「メイン注視点」や「サブ注視点」として指定された被写体像に対応する被写体距離に応じて異なったものになる。

算出部３２は、決定部３１が決定した変化態様にしたがって、第１〜第１２視点画像を左右方向にシフトすべきシフト量（画素数と方向）を算出する。この算出では、例えば隣接視点画像間における相対的なシフト量をそれぞれ求めてから、基準（シフト量「０」）とする１つの視点画像からシフト対象の視点画像までの相対的なシフト量を加算することで絶対的なシフト量を算出する。シフト部３３は、算出部３２の算出したシフト量にしたがって第１〜第１２視点画像のそれぞれを全体的にシフトする。

指定部３４は、モニタや、キーボード，マウスなどで構成されている。モニタには、１つの視点画像、例えば第６視点画像が表示される。指定部３４のキーボードやマウスを操作することにより、モニタに表示された第６視点画像内から「サブ注視点」を最大で２箇所指定する。なお、指定部３４を用いて「メイン注視点」をユーザが指定してもよい。また、「サブ注視点」として３箇所以上を指定可能にしてもよい。

ぼかし処理部２９は、シフト部３３による第１〜第１２視点画像のシフトに先立って、隣接視点画像間の視差の大きさに基づいて視点画像内の各画素に対してぼかし処理を行う。このぼかし処理は、図４に一例を示すように、注目する画素に対応する隣接視点画像内の画素との視差が大きくなるほど、ぼかし半径を大きくして、ぼかしの程度（ぼかし量）を大きくする。視差としては、シフト部３３によるシフト後の隣接視点画像間におけるものを用いる。なお、ぼかし処理は、周知のものを利用できる。例えば注目する画素の画素値と、その画素を中心としたぼかし半径内の各画素の画素値との平均値を算出して、これを注目する画素の画素値に置き換える。

上記のように、ぼかし半径を決める際の視差としては、シフト部３３によるシフト後の隣接視点画像間のものを用いるが、ぼかし処理部２９はシフト部３３のシフトの前にぼかし処理を行う。これは、シフトの前の第１〜第１２視点画像に対して生成された各視差マップを利用してぼかし処理のための視差を取得できるからである。ぼかし半径を決める際の視差は、算出部３２によって算出される相対的なシフト量と視差マップから得られるシフト前の視差との差分として求めればよい。なお、シフト部３３によるシフト後にぼかし処理を行ってもよい。

両端の第１視点画像と第１２視点画像を除く各視点画像は、それぞれ２つの隣接視点画像があるが、ぼかし処理の際には、隣視点画像としては例えば第６視点画像側の視点画像を用いる。また、第６視点画像の隣接視点画像としては、例えば第７視点画像を用いるが、第５視点画像を用いてもよい。

上記ぼかし処理を行うことによって、立体画像を観察したときに、クロストークによって隣接した視点画像が同時に観察されても、明確な多重像ではなく、ぼかし処理でぼかされた状態の各被写体像が重なって１つの立体視として自然に観察されるようにしている。また、視差が大きくなっても、多重像として観察され難いので視差の制限を緩和する効果がある。これにより、視差がかなり大きい視点画像を用いて、より立体感のある立体画像の観察が可能になる。

ストライピング処理部２３は、第１〜第１２視点画像をサブ領域Ｆ１〜Ｆ１２の幅に分割するストライピング処理を行う。プリント部２４は、レンチキュラシート１１にインク等で画像を記録する記録ヘッドなどで構成される。このプリント部２４は、ストライピング処理部２３で分割されたストライプ画像をレンチキュラシート１１に１本ずつ記録する。ストライプ画像を記録するごとに、例えばレンチキュラシート１１を搬送して記録位置を変えることによって、ストライプ画像を並べて記録する。

次に上記構成の作用について説明する。レンチキュラシート１１に多視点画像を記録するには、まずプリンタ１０にステレオ画像を入力する。ステレオ画像は、入力部２１から視差マップ生成部２５及び多視点画像生成部２６に送られる。そして、視差マップ生成部２５により、ステレオ画像を構成する左視点画像と右視点画像の間の視差マップが生成される。

この後、多視点画像生成部２６によって、左視点画像が第１視点画像とされ、右視点画像が第１２視点画像とされる。また、ステレオ画像とともに入力される視点情報等に基づいて、右視点と左視点との間を１１等分する１０個の各位置に仮想的な視点を設定する。そして、それら各視点から撮影した視点画像に相当する第２〜第１１視点画像が左，右視点画像と視差マップとから生成される。

一方、視差マップに基づいた被写体距離の分布や、視点画像内の輝度や色、サイズ等に基づき、第６視点画像内における主要被写体像の領域が特定部２７によって特定される。さらに、その特定された領域内の１個の特定画素が特定される。そして、その特定画素の位置情報が多視点画像生成部２６に送られる。

特定画素の位置情報を受けると、多視点画像生成部２６は、その位置情報に示される第６視点画像内の特定画素に対応した対応画素を第１〜第５，第７〜第１２視点画像のそれぞれから特定する。続いて、第１〜第５，第７〜第１２視点画像のそれぞれについて、特定画素と対応画素との視差をそれぞれ求めて、それら視差を「０」とするためのシフト量（画素数とシフト方向）を求める。そして、求めたシフト量で第１〜第５，第７〜第１２視点画像をそれぞれシフトする。これにより、第１〜第１２視点画像は、相互間で主要被写体像に視差がないものに初期補正される。

以下、一例として図５に示すように、第１〜第１２視点画像Ｍ１〜Ｍ１２が生成されたものとして説明をする。第１〜第１２視点画像Ｍ１〜Ｍ１２は、それら視点画像内の被写体像Ｓ１ｉ（ｉは１〜１２）が主要被写体像の領域として特定されている。このため、初期補正された第１〜第１２視点画像Ｍ１〜Ｍ１２の相互間では、ラインＰ０で示すように、被写体像Ｓ１_１〜Ｓ１_１２には左右方向に位置ずれがなく、視差が「０」になっている。

また、被写体像Ｓ２_ｉは、被写体像Ｓ１_ｉに対応する主要被写体よりも手前にある被写体のものである。さらに、被写体像Ｓ３_ｉは、主要被写体よりも遠方にある被写体のものである。なお、被写体像Ｓ１_ｉ，Ｓ２_ｉ，Ｓ３_ｉによって立体視される立体視像には、符号Ｓ１，Ｓ２，Ｓ３を付して説明する。また、説明を簡単にするために、各被写体像Ｓ１_ｉ〜Ｓ３_ｉに対応する各被写体自体は奥行き方向に凹凸がないものとして説明する。

初期補正が完了すると、第１〜第１２視点画像Ｍ１〜Ｍ１２の視差マップが視差マップ生成部２５により生成される。まず、第１視点画像Ｍ１と第２視点画像Ｍ２との間の対応画素同士の視差が調べられて第１視差マップが生成される。次に、第２視点画像Ｍ２と第３視点画像Ｍ３との間の対応画素同士の視差が調べられて第２視差マップが生成される。以下、同様にして、第３〜第１２視点画像Ｍ３〜Ｍ１２の間の第３〜第１１視差マップが生成される。そして、それら視差マップが変換ユニット２８に送られる。

第１〜第１１視差マップの生成後に、指定部３４のモニタに第６視点画像Ｍ６が表示される。ユーザは、指定部３４のキーボードやマウスを操作して、モニタ上の第６視点画像Ｍ６内を指定することによって「サブ注視点」を最大で２箇所指定する。

この後、決定部３１は、レンチキュラシート１１を正面視したときに「メイン注視点」となる主要被写体像に対応する立体視像の呈示位置をレンチキュラシート１１上となるように設定する。また、「サブ注視点」が指定された場合には、指定された「サブ注視点」の被写体像に対応する立体視像の呈示位置が左端または右端の観察位置で観察したときに、レンチキュラシート１１上となるように設定する。

例えば、１番目の「サブ注視点」として被写体像Ｓ３_６内の画素を、また２番目の「サブ注視点」として被写体像Ｓ２_６内の画素をそれぞれ指定した場合では、図６に一例を示すように、立体視像の呈示位置の変化態様が決定される。なお、図６では、横軸に示す観察位置としては、その観察位置で観察される一対の視点画像の各番号を付して示してある。例えば、観察位置５−６は、第５視点画像と第６視点画像が観察される位置であることを示している。また、縦軸は、レンチキュラシート１１上にあるかのごとく観察される立体視像の被写体距離を示している。

図６の例では、正面視に対応する観察位置６−７では「メイン注視点」である立体視像Ｓ１、及びそれと同じ被写体距離となる立体視像の呈示位置がレンチキュラシート１１上である。また、左端の観察位置１−２では、「サブ注視点」である立体視像Ｓ３及びそれと同じ被写体距離の立体視像の呈示位置がレンチキュラシート１１上である。同様に、右端の観察位置ではもう一方の「サブ注視点」である立体視像Ｓ２及びそれと同じ被写体距離となる立体視像の呈示位置がレンチキュラシート１１上である。

さらに、正面視の観察位置として、観察位置６−７以外に、観察位置５−６，７−８が設定される。すなわち、正面視用に第５〜７視点画像Ｍ５〜Ｍ７を割り当て、これら第５〜７視点画像Ｍ５〜Ｍ７による被写体像Ｓ１_ｉの視差が「０」となるように設定している。このように連続した３視点以上の第５〜７視点画像Ｍ５〜Ｍ７の間で「メイン注視点」の被写体像Ｓ１_５〜Ｓ１_７の視差を「０」とすることにより、観察位置が多少変動した場合でも、立体視像Ｓ１のボケが少なく明瞭に観察ができるようにする。同様な理由から、左端側の観察用には第１〜第３視点画像Ｍ１〜Ｍ３を、右端側の観察用に第１０〜第１２視点画像Ｍ１０〜Ｍ１２を割り当ている。

観察位置２−３と観察位置５−６との間では、呈示位置が滑らかに変化するように設定される。すなわち、観察位置３―４，４−５で観察したときに、「メイン注視点」の被写体距離と遠方側の「サブ注視点」の被写体距離との間を３等分する各被写体距離の立体視像がレンチキュラシート１１上に観察されるように設定する。同様に、観察位置９―１０，１０−１１で観察したときに、「メイン注視点」の被写体距離と手前側の「サブ注視点」の被写体距離との間を３等分した各被写体距離の立体視像がレンチキュラシート１１上に観察されるように設定する。

上記のようにして、立体視像の呈示位置の変化態様が決定されると、算出部３２は、第１〜第１１視差マップを参照しながら、上記変化態様とするために必要な相対的なシフト量を各視点画像Ｍ１〜Ｍ１２について算出する。この後、算出部３２は、相対的なシフト量から第６視点画像Ｍ６を基準にした第１〜第５，第７〜１２視点画像Ｍ１〜Ｍ５，Ｍ７〜Ｍ１２のそれぞれについての絶対的なシフト量を求める。

第５，第７，第８視点画像Ｍ５，Ｍ７，Ｍ８は、第６視点画像Ｍ６との間で「メイン注視点」の被写体像Ｓ１_ｉの視差を「０」とするが、初期補正によってその視差がすでに「０」となっている。このため、図７に示すように、第６視点画像Ｍ６に対する第５，第７視点画像Ｍ５，Ｍ７のシフトすべき相対的なシフト量Ｄ５，Ｄ７、及び第７視点画像Ｍ７に対する第８視点画像Ｍ８シフトすべき相対的なシフト量Ｄ８は、いずれも「０」である。したがって、第５，第７，第８視点画像Ｍ５，Ｍ７，Ｍ８のシフトすべき絶対的なシフト量が「０」となる。

第１，２視点画像Ｍ１，Ｍ２は、「サブ注視点」である被写体像Ｓ３_ｉの視差を「０」とするので、第１視差マップに示される被写体像Ｓ３_ｉの視差を打ち消すシフト量が第１視点画像Ｍ１の第２視点画像Ｍ２に対する相対的なシフト量Ｄ１となる。同様に、第２，第３視点画像Ｍ２，Ｍ３についても、被写体像Ｓ３_ｉの視差を「０」とするので、第２視差マップに示される被写体像Ｓ３_ｉの視差を打ち消すシフト量が第３視点画像Ｍ３に対する第２視点画像Ｍ２の相対的なシフト量Ｄ２となる。なお、この例では、上記のように左右視点間を等分して仮想的な視点を設定しているので、第１，２視点画像Ｍ１，Ｍ２間で「サブ注視点」の視差を打ち消すためのシフト量Ｄ１と、第２，３視点画像Ｍ２，Ｍ３間で「サブ注視点」の視差を打ち消すためのシフト量Ｄ２は等しくなる。

シフト量Ｄ３は、第４視点画像Ｍ４に対して第３視点画像Ｍ３をシフトすべきシフト量であり、シフト量Ｄ４は、第５視点画像Ｍ５に対して第４視点画像Ｍ４をシフトすべきシフト量である。ここで、シフト量Ｄ３，Ｄ４は、「メイン注視点」（被写体像Ｓ１_ｉ）から「サブ注視点」（被写体像Ｓ３_ｉ）までの視差の変化を滑らかにするために、「メイン注視点」の視差を「０」に維持するシフト量「０」と「サブ注視点」の視差を「０」とする相対的なシフト量との間を等分するように決める。

具体的には、第３，第４視点画像Ｍ４，Ｍ３の間で被写体像Ｓ３_ｉの視差を「０」とするために必要な相対的なシフト量は、上述のように、左右視点間を等分して仮想的な視点を設定しているので、シフト量Ｄ１（＝Ｄ２）と同じである。このため、第５視点画像Ｍ５に対する第４視点画像Ｍ４の相対的なシフト量Ｄ４を「Ｄ１×（１／３）」、第４視点画像Ｍ４に対する第３視点画像Ｍ３の相対的なシフト量Ｄ３を「Ｄ１×（２／３）」にする。

そして、上記のようにして求められる第１〜第５視点画像Ｍ１〜Ｍ５の相対的な各シフト量Ｄ１〜Ｄ５を加算することによって、第１視点画像Ｍ１の絶対的なシフト量が算出される。また、第２〜第５視点画像Ｍ２〜Ｍ５の相対的な各シフト量Ｄ２〜Ｄ５を加算することによって、第２視点画像Ｍ２の絶対的なシフト量が算出される。同様に、各シフト量Ｄ３〜Ｄ５を加算することで第３視点画像Ｍ３の絶対的なシフト量が、各シフト量Ｄ４〜Ｄ５を加算することで第４視点画像Ｍ４の絶対的なシフト量がそれぞれ算出される。

さらに、同様な手順で第９〜第１２視点画像Ｍ９〜Ｍ１２の相対的なシフト量Ｄ９〜Ｄ１２が求められて、相対的なシフト量Ｄ９〜Ｄ１２から第９〜第１２視点画像Ｍ９〜Ｍ１２についての絶対的なシフト量が算出される。

第１〜第１２視点画像Ｍ１〜Ｍ１２に対する絶対的なシフト量の算出後には、ぼかし処理部２９により、第１視点画像Ｍ１に対してぼかし処理を行う。まず、上記のように求めた第１視点画像Ｍ１の相対的なシフト量Ｄ１を取得する。次に、第１視点画像Ｍ１の１番目の画素に注目し、この１番目の画素に対応する第２視点画像Ｍ２の画素の視差量を第１視差マップから取得する。そして、相対的なシフト量Ｄ１と第１視差マップから取得した視差との差（絶対値）を１番目の画素のシフト後の視差として求める。

図４に示されるぼかし半径と視差との関係に基づいて、１番目の画素のシフト後の視差がぼかし半径に変換され、そのぼかし半径を用いて１番目の画素に対するぼかし処理が実行される。例えば１番目の画素の視差が３画素であった場合には、ぼかし半径を３画素に設定し、１番目の画素の画素値と、注目した画素から３画素以内の周囲の各画素の画素値との平均値を求め、その平均値を１番目の画素の新たな画素値とする。

上記のように第１視点画像Ｍ１内の１番目の画素についてぼかし処理を行った後、第１視点画像Ｍ１内の２番目の画素について同様にぼかし処理を行う。以下、同様にして、第１視点画像Ｍ１内の残りの画素について順次にぼかし処理を行う。なお、平均値を求める場合の周囲の各画素の画素値としては、ぼかし処理を行う前の画素値を用いることはいうまでもない。

第１視点画像Ｍ１の最終の画素に対するぼかし処理が完了した後に、続いて第２視点画像Ｍ２の各画素についてぼかし処理を同様に行う。この第２視点画像Ｍ２のぼかし処理では、第２視点画像の相対的なシフト量Ｄ２と、第２視差マップから取得した視差との差がシフト後の視差として求められる。第２視点画像Ｍ２に対するぼかし処理が完了した後には、第３視点画像Ｍ３以降の各視点画像に対するぼかし処理を同様に行う。

第１２視点画像Ｍ１２についてのぼかし処理の完了後には、第１〜第１２視点画像Ｍ１〜Ｍ１２がシフト部３３に順次に送られる。そして、先に算出部３２で算出された絶対的なシフト量により、第１〜第１２視点画像Ｍ１〜Ｍ１２がそれぞれ左右方向にシフトされる。

上記シフトにより、図８に示すように、第１視点画像Ｍ１と第２視点画像Ｍ２は、その被写体像Ｓ３_１，Ｓ３_２の視差が「０」となる。また、図示を省略しているが、第３視点画像Ｍ３の被写体像Ｓ３_３についても、被写体像Ｓ３_１，Ｓ３_２との視差が「０」となる。同様に、第１０〜第１２視点画像Ｍ１０〜１２（第１０視点画像Ｍ１０は図示省略）は、その被写体像Ｓ２_１０〜Ｓ２_１２の視差が「０」となる。一方、第５〜８視点画像Ｍ５〜Ｍ８（第５，第８視点画像Ｍ５，Ｍ８は図示省略）は、シフトされないので、被写体像Ｓ１_５〜Ｓ１_８の視差は「0」を維持する。

シフトされた第１〜第１２視点画像Ｍ１〜Ｍ１２は、シフト部３３からストライピング処理部２３に送られ、それぞれサブ領域Ｆ１〜Ｆ１２の幅のストライプ画像に分割される。そして、このストライプ画像が順次にプリント部２４に送られ、このプリント部２４によってレンチキュラシート１１の背面１１ａに記録される。

ストライプ画像の記録では、まず、１番目の画像領域１５の第１サブ領域Ｆ１に第１視点画像Ｍ１の１番目のストライプ画像が記録される。次に、同じ１番目の画像領域１５の第２サブ領域Ｆ２に第２視点画像Ｍ２の１番目のストライプ画像が記録される。以下、同様にして、１番目の画像領域１５の第３〜第１２サブ領域Ｆ３〜Ｆ１２に第３〜第１２視点画像Ｍ３〜Ｍ１２の１番目のストライプ画像がそれぞれ記録される。

１番目の画像領域１５への記録が終わると、２番目の画像領域１５への記録が開始され、２番目の画像領域１５の第１〜第１２サブ領域Ｆ１〜Ｆ１２に第１〜第１２視点画像Ｍ１〜Ｍ１２の２番目のストライプ画像がそれぞれ記録される。以降、同様にして最後の画像領域１５までストライプ画像を順番に記録する。記録が完了したレンチキュラシート１１は、プリンタ１０から排出されて、観察に供される。

上記のようにして第１〜第１２視点画像Ｍ１〜Ｍ１２が記録されたレンチキュラシート１１を観察位置６−７から観察したとき、すなわち正面視のときには、レンチキュラシート１１の各レンズ１４の作用により、観察者の左目で第６視点画像Ｍ６の各ストライプ画像が観察され、右目で第７視点画像Ｍ７の各ストライプ画像が観察される。

第６，７視点画像Ｍ６，Ｍ７は、「メイン注視点」としての被写体像Ｓ１_６，Ｓ１_７の視差が「０」である。このため、被写体像Ｓ１_６，Ｓ１_７により、図９に示すように、浮き沈み方向において、立体視像Ｓ１がレンチキュラシート１１上に観察される。また、立体視像Ｓ２は、レンチキュラシート１１の手前に、立体視像Ｓ３は、レンチキュラシート１１の奥に位置するように観察される。

また、観察位置がずれて第５視点画像Ｍ５と第６視点画像Ｍ６、あるいは第７視点画像Ｍ７と第８視点画像Ｍ８のストライプ画像が観察される場合がある。さらに、正面視しているときには、第６，７視点画像Ｍ６，Ｍ７の被写体像Ｓ１_６，Ｓ１_７と同時に、第５，第８視点画像Ｍ５，Ｍ８の被写体像Ｓ１_５，Ｓ１_８がクロストークにより観察される。しかし、第５視点画像Ｍ５〜第８視点画像Ｍ８の被写体像Ｓ１_５〜Ｓ１_８は、相互に視差がない。このため、図１０に示すように、立体視像Ｓ１は明確に観察される。

一方、立体視像Ｓ２は、正面視しているときには、それに対応する被写体像Ｓ２_６，Ｓ２_７と同時に、被写体像Ｓ２_５，Ｓ２_８がクロストークにより同時に観察されることになる。被写体像Ｓ２_６，Ｓ２_７の間、被写体像Ｓ２_５，Ｓ２_６の間、被写体像Ｓ２_７，Ｓ２_８の間にはそれぞれ視差があり、これら視差を累積した視差が被写体像Ｓ２_５，Ｓ２_８の間にある。これらの視差が大きい場合には、立体視像Ｓ２は、多重像として観察されることになる。しかしながら、このように視差がある被写体像Ｓ２_５〜Ｓ２_８には、隣接視点画像間の視差に応じたぼかし処理が施されている。このため、被写体像Ｓ２_５〜Ｓ２_８は、明確には分離して観察されることはなく、図１０に示されるように、ぼけた１個の立体視像Ｓ２として観察される。立体視像Ｓ３についても、立体視像Ｓ２と同様であるが視差の大きさに応じてぼけの程度が違う。結果的に、立体視像Ｓ２，Ｓ３は、立体視像Ｓ１よりも手前側または奥側に観察され、明確な多重像ではなくぼけた像として観察されるので違和感がない。

観察位置１−２では、左目で第１視点画像Ｍ１の各ストライプ画像が観察され、右目で第２視点画像Ｍ２の各ストライプ画像が観察される。第１，第２視点画像Ｍ１，Ｍ２は、「サブ注視点」としての被写体像Ｓ３_１，Ｓ３_２の視差が「０」である。したがって、図１１に示すように、立体視像Ｓ３がレンチキュラシート１１上に観察される。また、被写体像Ｓ１_１，Ｓ１_２の視差により立体視像Ｓ１が、また被写体像Ｓ２_１，Ｓ２_２の視差により立体視像Ｓ２がそれぞれレンチキュラシート１１の手前に観察される。このときに、立体視像Ｓ１は立体視像Ｓ２とレンチキュラシート１１との間に観察される。

また、この観察位置１−２では、クロストークにより第２視点画像Ｍ２と同時に第３視点画像Ｍ３が観察されるが、被写体像Ｓ３_２と被写体像Ｓ３_３との視差が「０」である。一方、被写体像Ｓ１_１，Ｓ１_２の間、被写体像Ｓ１_２，Ｓ１_３の間には、いずれも視差があり、その視差が大きいと立体視像Ｓ１は、多重像として観察されることになる。しかしながら、このように視差がある被写体像Ｓ１_１〜Ｓ１_３の部分は、その隣接視点画像との視差の大きさに応じたぼかし処理が施されている。被写体像Ｓ２_１〜Ｓ２_３ についても同様である。したがって、図１２に示すように、立体視像Ｓ３は、クロストークの影響を受けることなく明確に観察され、立体視像Ｓ１，Ｓ２は、それぞれぼけた１個の像として観察される。このときに、立体視像Ｓ１，Ｓ２のうち視差が大きくレンチキュラシート１１からの浮き出し量が大きい立体視像Ｓ２の方が立体視像Ｓ１よりもぼけの程度が大きい。したがって、より立体感がある立体画像が観察される。

観察位置を右端の観察位置１１−１２に移した場合では、左目で第１１視点画像Ｍ１１の各ストライプ画像が観察され、右目で第１２視点画像Ｍ１２の各ストライプ画像が観察される。第１１，第１２視点画像Ｍ１１，Ｍ１２は、「サブ注視点」としての被写体像Ｓ２_１１，Ｓ２_１２の視差が「０」である。したがって、図１３に示すように、浮き沈み方向において、立体視像Ｓ２がレンチキュラシート１１上に観察される。また、被写体像Ｓ１_１１，Ｓ１_１２の視差により立体視像Ｓ１が、また被写体像Ｓ３_１１，Ｓ３_１２の視差により立体視像Ｓ３がそれぞれレンチキュラシート１１の奥側にそれぞれ観察される。このときに、立体視像Ｓ１は立体視像Ｓ３とレンチキュラシート１１との間に観察される。

この観察位置１１−１２では、クロストークにより第１１視点画像Ｍ１１と同時に第１０視点画像Ｍ１０が観察されるが、被写体像Ｓ２_１０，Ｓ２_１１の視差は「０」である。一方、被写体像Ｓ１_１０，Ｓ１_１１の間、被写体像Ｓ１_１１，Ｓ１_１２の間には、いずれも視差がある。さらに、被写体像Ｓ３_１０，Ｓ３_１１の間、被写体像Ｓ３_１１，Ｓ３_１２の間には、いずれも視差がある。そして、その視差が大きいと立体視像Ｓ１，Ｓ３は、多重像として観察されることになるが、このように視差がある部分は、ぼかし処理が施されている。このため、図１４に示すように、立体視像Ｓ２は、クロストークの影響を受けることなく明確に観察され、立体視像Ｓ１，Ｓ３は、それぞれぼけた１個の像として観察される。この場合には、立体視像Ｓ１，Ｓ３のうち、視差が大きくレンチキュラシート１１からの沈み込み量が大きい立体視像Ｓ３の方が立体視像Ｓ１よりもぼけの程度が大きい。したがって、この観察位置１１−１２においても、より立体感がある立体画像が観察される。

観察位置を、観察位置６−７と観察位置１−２との間、観察位置６−７と観察位置１１−１２との間で連続的に移動する場合では、観察される視差が、観察位置６−７で観察されるものから観察位置１−２で観察されるものに段階的に変化する。この視差の変化に応じて立体画像中に観察される各立体視像Ｓ１〜Ｓ３の呈示位置、ぼけの程度なども段階的に変化する。例えば、観察位置６−７から観察位置１−２に向けて観察位置が移動すると、レンチキュラシート１１上に呈示される立体視像の被写体距離が次第に大きくなる。したがって、主要被写体像に対応する立体視像Ｓ１の呈示位置が手前側に移動し、その立体視像Ｓ１の飛び出し量が大きくなる。観察位置を逆に移動すれば、レンチキュラシート１１上に呈示される被写体距離が次第に小さくなって、立体視像Ｓ１の呈示位置が奥側に移動する。

このように観察位置を移動することで、立体視像Ｓ１〜Ｓ３のそれぞれが明確に観察され、また観察位置に応じて視差が大きくなった立体視像Ｓ１〜Ｓ３は自然にぼかされて観察者に違和感を与えることがない。

図１５は、２つの「サブ注視点」として、それぞれ主要被写体像に対応する主要被写体よりも遠方にある被写体の被写体像を指定、かつ各「サブ注視点」に対応する被写体の被写体距離が異なる場合の例を示している。この図１５の例では、図６の変化態様と同様な手順で呈示位置の変化態様を決めているが、２点の「サブ注視点」としていずれも主要被写体像よりも被写体距離が大きな遠方側の被写体像を指定しているので、図６の変化態様とは異なったものとなっている。

上記の呈示位置の変化態様に対応して、第１〜第１２視点画像の隣接視点画像間で設定すべき視差が決められ、図１６に一例を示すように、その視差とすべき第１〜第１２視点画像のそれぞれの絶対的なシフト量が算出部３２によって算出する。算出した絶対的なシフト量で、第１〜第１２視点画像がそれぞれ全体的にシフト部３３によってシフトされる。これにより、１番目の「サブ注視点」として指定した被写体像は、観察位置１−２，２−３で観察される第１〜第３視点画像間で視差が「０」とされ、「メイン注視点」である被写体像は、観察位置５−６，６−７，７−８で観察される第５〜８視点画像間で視差が「０」とされる。また、２番目の「サブ注視点」として指定した被写体像は、観察位置１０−１１，１１−１２で観察される第１０〜１２視点画像間で視差が「０」とされる。なお、図１６では、第５〜第８視点画像のシフト量は「０」である。また、シフト量がプラスの第１〜第４視点画像とシフト量がマイナスの第９〜第１２視点画像とでは、シフト方向が互いに逆方向となる。

レンチキュラシート１１を正面視したときには、主要被写体像に対応する立体視像がレンチキュラシート１１上に観察される。正面視から左方向、右方向のいずれの方向に観察位置をずらした場合には、主要被写体像に対応する立体視像の呈示位置が手前に移動し、主要被写体像よりも遠方側の被写体像に対応する立体視像がレンチキュラシート１１上に観察される。そして、例えば観察位置１−２，２−３では、１番目の「サブ注視点」として指定した被写体像に対応する立体視像がレンチキュラシート１１上に観察され、観察位置１０−１１，１１−１２では、２番目の「サブ注視点」として指定した被写体像に対応する立体視像がレンチキュラシート１１上に観察される。

図１７は、「サブ注視点」として１箇所が指定され、その指定された被写体像に対応する被写体距離が「メイン注視点」となる主要被写体像に対応する被写体距離よりも大きい場合の変化態様の例を示している。観察位置１−２から観察位置７−８までの間で主要被写体像に対応する立体視像がレンチキュラシート１１上に観察される。観察位置７−８から右方向に観察位置を移動させると、レンチキュラシート１１上に呈示される立体視像の被写体距離が次第に大きくなる。さらに移動した観察位置１０−１１，観察位置１１−１２では、「サブ注視点」として指定された被写体像に対応する立体視像の呈示位置がレンチキュラシート１１となる。

この例では、図１８に一例を示すシフト量で各視点画像をシフトすることにより、第１〜８視点画像の「メイン注視点」の被写体像の視差を「０」とし、第１０〜第１２視点画像の「サブ注視点」の被写体像の視差を「０」としている。

視点画像間の視差範囲に基づいて立体視像の呈示位置の変化態様を決定してもよい。図１９に示す変化態様の例では、観察位置１−２と観察位置１１−１２との間で観察位置を変化させることにより、レンチキュラシート１１上に観察される立体視像に対応する被写体距離が最小被写体距離（最も近い被写体までの距離）から最大被写体距離（最も遠い被写体までの距離）までの間、すなわち視差範囲で略連続的に変化する。なお、このような変化態様は、「サブ注視点」が指定されなかった場合の呈示位置の変化態様として採用することもできる。

最大被写体距離、最小被写体距離は、視差マップから取得される視差範囲の最小値と最大値に対応するので、視差マップから知ることができる。また、この例では、図２０に一例を示すシフト量で、第６，第７視点画像を除く各視点画像をシフトしている。

また、視点画像間の視差の分布に応じて、立体視像の呈示位置の変化態様を決定してもよい。図２１に示す例は、視点画像内で左側，右側領域に主として配置されている物体の遠近、すなわち左右方向における視差分布に応じて、立体視像の呈示位置の変化態様を決定するものである。この例では、視差すなわち遠近の分布と観察位置を対応付け、左側の観察位置では、立体画像中の左側の立体視像が、また右側の観察位置では、立体画像中の右側の立体視像がレンチキュラシート１１上に観察される変化態様にする。左側領域、右側領域は、視点画像内における「メイン注視点」を基準にしている。

左側、右側領域に主として配置されている物体は、いずれも「サブ注視点」（被写体）として操作者が指定する。「メイン注視点」の特定、及び「サブ注視点」の指定は、最初の実施形態と同じである。正面視となる観察位置では、「メイン注視点」となる主要被写体像に対応する立体視像の呈示位置をレンチキュラシート１１上とする。なお、最初の実施形態と同様に、左側、正面、右側の各観察位置間では、立体視像の呈示位置が段階的に変化するように変化態様を決める。

例えば、「サブ注視点」の一つが「メイン注視点」より左側に指定され、かつその被写体像に対応する被写体距離が「メイン注視点」の主要被写体像のものよりも大きい場合には、左側の観察位置１−２，２−３のときに、その左側の「サブ注視点」の立体視像がレンチキュラシート１１上に観察され、左側の「サブ注視点」よりも手前の被写体像（主要被写体像を含む）に対応する立体視像がレンチキュラシート１１よりも手前側に観察されるように変化態様が決定される。この場合の第１〜第４視点画像のシフト量の変化は、図７に示すグラフと同様に右下がりのものとなる。

逆に、左側に指定された「サブ注視点」の被写体像に対応する被写体距離が主要被写体像のものより小さい場合には、左側の観察位置１−２，２−３における、その左側の「サブ注視点」の立体視像の呈示位置がレンチキュラシート１１上とされるが、この場合には左側の「サブ注視点」よりも手前の被写体（主要被写体像を含む）に対応する立体視像がレンチキュラシート１１よりも奥側に観察されるように変化態様が決定される。この場合の第１〜第４視点画像のシフト量の変化は、図７に示すグラフとは逆に右上がりのものとなる。

一方、「サブ注視点」の一つが「メイン注視点」より右側に指定され、かつその被写体像に対応する被写体距離が「メイン注視点」の主要被写体像のものよりも小さい場合には、右側の観察位置１０−１１，１１−１２のときに、その右側の「サブ注視点」の立体視像がレンチキュラシート１１上に観察され、右側の「サブ注視点」よりも手前の被写体像（主要被写体像を含む）に対応する立体視像がレンチキュラシート１１よりも奥側に観察されるように変化態様が決定される。この場合の第９〜第１２視点画像のシフト量の変化は、図７に示すグラフと同様に右上がりのものとなる。

また、右側に指定された「サブ注視点」の被写体像に対応する被写体距離が「メイン注視点」の主要被写体像のものよりも大きい場合には、右側の観察位置１０−１１，１１−１２のときに、その右側の「サブ注視点」の立体視像がレンチキュラシート１１上に観察され、右側の「サブ注視点」よりも手前の被写体像（主要被写体像を含む）に対応する立体視像がレンチキュラシート１１よりも手前側に観察されるように変化態様が決定される。この場合の第９〜第１２視点画像のシフト量の変化は、図７に示すグラフとは逆に右下がりのものとなる。

以上のように左右方向における視差分布に応じて、立体画像中の立体視像の呈示位置の変化態様を決定して、各視点画像のシフト量を求めてシフトを行った後にレンチキュラシート１１に記録を行う。レンチキュラシート１１を左側から観察したときには、左側の立体視像が明確に観察され、右側から観察したときには右側の立体視像が明確に観察される。これにより、観察者の目に近い側が明確に観察されることになり、観察動作が自然なものとなる。

上記実施形態では、「メイン注視点」として特定された被写体像を基準にして左側，右側の領域としているが、「メイン注視点」を特定，指定せずに視点画像の中心等を基準にして左側，右側の領域としてもよい。また、視点画像内で左側，右側の領域に主として配置されている被写体像として、「メイン注視点」よりも左側，右側に指定された「サブ注視点」を用いているが、主要被写体像を特定する場合と同様に、視差の分布、視点画像内の輝度や色、領域のサイズ等に基づき、例えば主要被写体像の次に注視される被写体像の領域等として自動的に設定してもよい。また、例えば概ね視点画像の左側の領域に相対的に近側の物体があり、右側に遠側の物体がある場合に、図１９に示されるように、観察位置が右側になるほどレンチキュラシート１１上に呈示される立体視像の被写体距離が大きくなる変化態様に決定し、また遠近が左右で逆である場合には、観察位置が右側になるほどレンチキュラシート１１上に呈示される立体視像の被写体距離が小さくなる変化態様に決定してもよい。

また、上記実施形態では、視差の分布として、「メイン注視点」の配される領域とそれを基準にした左右の各領域の３領域のそれぞれについて、主として配置されている被写体像の視差を調べ、それに応じて変化態様を決定しているが、視点画像の中央領域とそれを基準にした左右の各領域の３領域のそれぞれに主として配置されている被写体像の視差を調べ、それに応じて変化態様を決定してもよい。

また、上記のように、視点画像を左右方向の３つの領域の視差に応じて変化態様を決定する以外にも、視点画像を２分割、あるいは４分割以上に分割した各領域の視差に応じて変化態様を決定してもよい。この場合には、分割した各領域と観察位置とを対応付ければよい。

例えば、視点画像を左側から右側に向かって第１〜第４領域に分割した場合には、例えば図２２に示すように、第１領域に観察位置１−２，２−３を、第２領域に観察位置４−５，５−６を、第３領域に観察位置７−８，８−９を、第４領域に観察位置１０−１１，１１−１２をそれぞれ対応付けて、各領域中に主として配置されている被写体像が、その領域に対応する各観察位置でレンチキュラシート１１上に観察されるように立体画像の浮き沈み方向における呈示位置の変化態様を決定する。

上記の例では、レンチキュラシートに多視点画像を記録して立体画像を表示しているが、立体画像を表示する方式は多視点画像を用いるものであれば公知の方式を用いることができる。例えば、パララックスバリア方式で立体画像を表示してもよい。パララックスバリア方式は、レンチキュラシートと同じ視差分割方式の１つであるが、周知のようにレンズに代えてパララックスバリアを用いたものである。パララックスバリア方式では、図２３に示すように、各視点画像のストライプ画像を各サブ領域Ｆ１〜Ｆ１２に記録した記録面４０に対向させてパララックスバリア４１を配し、パララックスバリア４１に形成されたスリット４１ａから視点（観察位置）に応じた視点画像が観察される。

本発明は、画像処理装置として利用することができる。さらに、本発明は、多視点画像をＬＣＤ等に表示してレンチキュラシートやパララックスバリアを通して観察する表示装置として利用することもできる。図２４に一例を示す表示装置５０は、入力部２１、画像処理装置２２、ストライピング処理部２３、表示部５１、この表示部５１を駆動するドライバ５２を備えている。入力部２１、画像処理装置２２、ストライピング処理部２３は、上記実施形態のもとの同様である。画像処理装置２２によって、呈示位置を変化させるためにシフトした各視点画像は、ストライピング処理部２３でストライプ画像にされてドライバ５２に送られる。

表示部５１は、例えばＬＣＤなどのフラットパネルディスプレイ５１ａと、このフラットパネルディスプレイ５１ａの表示面に設けられたレンチキュラシート５１ｂとを備えている。ドライバ５２は、入力されるストライプ画像をレンチキュラシート５１ｂの各レンズに対応したフラットパネルディスプレイ５１ａの領域に所定の順番で配置して表示する。これにより、観察位置によって立体視像の呈示位置が変化する立体画像が表示される。なお、レンチキュラシート５１ｂに代えて、パララックスバリアを用いてもよい。このような表示装置５０は、デジタル・サイネージ（Digital Signage、電子看板）などにも利用することができる。

さらに、上記各実施形態では、左，右視点画像を入力して１２個の視点画像を生成しているが、例えば１２視点のそれぞれで撮影を行うことで得られる１２個の視点画像をプリンタに入力してもよい。また、１２個の視点画像を用いているが、３視点以上の複数の視点画像であればよい。

１０ プリンタ
１１ レンチキュラシート
２２ 画像処理装置
２３ ストライピング処理部
２４ プリント部
２８ 変換部
２９ ぼかし処理部
３１ 決定部
３２ 算出部
３３ シフト部
５０ 表示装置
５１ 表示部
Ｓ１〜Ｓ３ 立体視像
Ｍ１〜Ｍ１２ 視点画像

Claims (15)

1. ３視点以上の多視点画像において、前記多視点画像で観察される立体画像中の像の浮き沈み方向における位置を呈示位置とし、前記多視点画像を観察する観察位置を左右方向に移動したときにこの移動にともなって前記呈示位置が変化する変化態様を決定する決定部と、
   前記多視点画像を構成する各視点画像について、前記決定部で決定した前記変化態様にしたがって前記呈示位置を変化させるための視差方向のシフト量をそれぞれ算出する算出部と、
   前記算出部で算出された前記シフト量で前記各視点画像をそれぞれ視差方向にシフトするシフト部と、
   を備えることを特徴とする画像処理装置。
2. 前記視点画像内から主要な画像部分を特定する特定部を備え、
   前記決定部は、前記多視点画像を表示する表示面を正面視する第１の観察位置から前記主要な画像部分の像が前記表示面上に観察される態様に前記呈示位置の変化態様を決定し、
   前記算出部は、前記第１の観察位置で観察される各視点画像間の前記主要な画像部分の視差をなくすための前記各視点画像のシフト量をそれぞれ算出することを特徴とする請求項１記載の画像処理装置。
3. 前記視点画像内で注視点を指定する指定部を備え、
   前記決定部は、前記指定部で指定された前記注視点に基づいて前記呈示位置の変化態様を決定することを特徴とする請求項１記載の画像処理装置。
4. 前記注視点は、第１の注視点と第２の注視点を含み、
   前記決定部は、前記多視点画像を表示する表示面を正面視する第１の観察位置から前記第１の注視点の像が前記表示面上に観察され、正面から左右方向のいずれか一方に移動した第２の観察位置から前記第２の注視点の像が前記表示面上に観察される態様に前記呈示位置の変化態様を決定し、
   前記算出部は、前記第１の観察位置で観察される各視点画像間の前記第１の注視点の視差をなくし、前記第２の観察位置で観察される各視点画像間の前記第２の注視点の視差をなくすための前記各視点画像のシフト量をそれぞれ算出することを特徴とする請求項３記載の画像処理装置。
5. 前記視点画像内から主要な画像部分を特定する特定部を備え、
   前記決定部は、前記特定部で特定された前記主要な画像部分に基づいて前記呈示位置の変化態様を決定することを特徴とする請求項１記載の画像処理装置。
6. 前記視点画像内から主要な画像部分を特定し、特定した前記主要な画像部分を第１の注視点とする特定部と、
   前記視点画像内で第２の注視点を指定する指定部とを備え、
   前記決定部は、前記多視点画像を表示する表示面を正面視する第１の観察位置から前記第１の注視点の像が前記表示面上に観察され、正面から左右方向のいずれか一方に移動した第２の観察位置から前記第２の注視点の像が前記表示面上に観察される態様に前記呈示位置の変化態様を決定し、
   前記算出部は、前記第１の観察位置で観察される各視点画像間の前記第１の注視点の視差をなくし、前記第２の観察位置で観察される各視点画像間の前記第２の注視点の視差をなくすための前記各視点画像のシフト量をそれぞれ算出することを特徴とする請求項１記載の画像処理装置。
7. 前記決定部は、連続した３視点以上の視点画像間で前記注視点の視差をなくす態様に前記呈示位置の変化態様を決定することを特徴とする請求項３、４、６のうちいずれか１項に記載の画像処理装置。
8. 前記決定部は、視点画像間の視差範囲に基づいて前記呈示位置の変化態様を決定することを特徴とする請求項１記載の画像処理装置。
9. 前記決定部は、表示面上に観察される像が、左右一方の端の観察位置から他方の端の観察位置への移動により、最も遠方側の像から最も手前側の像に略連続的に移る態様に前記呈示位置の変化態様を決定することを特徴とする請求項８記載の画像処理装置。
10. 前記決定部は、視点画像間の視差の左右方向の分布に応じて、前記呈示位置の変化態様を決定することを特徴とする請求項１記載の画像処理装置。
11. 隣接した視点画像間における対応する画素同士の前記シフト部によるシフト後の視差に基づいたぼかし量を用いて各視点画像内の各画素のぼかしを行うぼかし処理部を備えることを特徴とする請求項１ないし６、８ないし１０のうちいずれか１項に記載の画像処理装置。
12. 請求項１記載の画像処理装置と、
    シフトされた各視点画像からストライプ画像を生成するストライピング処理部と、
    前記ストライプ画像をレンチキュラシートの各レンズまたはパララックスバリアの各スリットに対応した領域に順次に配置して記録するプリント部と、
    を備えることを特徴とするプリンタ。
13. 請求項１記載の画像処理装置と、
    シフトされた各視点画像からストライプ画像を生成するストライピング処理部と、
    レンチキュラシートまたはパララックスバリアが表示面上に配され、前記ストライプ画像を前記レンチキュラシートの各レンズまたは前記パララックスバリアの各スリットに対応した前記表示面上の領域に順次に配置して表示する表示部と、
    を備えることを特徴とする表示装置。
14. ３視点以上の多視点画像において、前記多視点画像で観察される立体画像中の像の浮き沈み方向における位置を呈示位置とし、前記多視点画像を観察する観察位置を左右方向に移動したときにこの移動にともなって前記呈示位置が変化する変化態様を決定する決定ステップと、
    前記多視点画像を構成する各視点画像について、前記決定ステップで決定した前記変化態様にしたがって前記呈示位置を変化させるためのシフト量をそれぞれ算出する算出ステップと、
    前記算出ステップで算出された前記シフト量で前記各視点画像をそれぞれシフトするシフトステップと、
    を有することを特徴とする画像処理方法。
15. ３視点以上の多視点画像において、前記多視点画像で観察される立体画像中の像の浮き沈み方向における位置を呈示位置とし、前記多視点画像を観察する観察位置を左右方向に移動したときにこの移動にともなって前記呈示位置が変化する変化態様を決定する決定ステップと、
    前記多視点画像を構成する各視点画像について、前記決定ステップで決定した前記変化態様にしたがって前記呈示位置を変化させるためのシフト量をそれぞれ算出する算出ステップと、
    前記算出ステップで算出された前記シフト量で前記各視点画像をそれぞれシフトするシフトステップと、
    をコンピュータに実行させるための画像処理プログラム。