JP5426785B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、多視点画像の確認を平面表示により容易に行えるようにすることができる画像処理装置および画像処理方法に関する。

複数視点で被写体を撮像する３Ｄデジタルカメラ（立体撮像装置）、および、３Ｄ写真プリントを作成する３Ｄ写真プリンタ（立体画像印刷装置）が提供されている。

例えば、３Ｄデジタルカメラにより左右の２視点で被写体を撮像してステレオ画像（左視点画像および右視点画像）を取得し、そのステレオ画像に基づいて奥行きマップを作成し、ステレオ画像および奥行きマップに基づいて中間視点画像を生成し、ステレオ画像に中間視点画像を追加した多視点画像をレンチキュラーシートに印刷する（特許文献１を参照）。

また、特許文献２には、左視点画像及び右視点画像をクロスフェードさせながら交互に表示させる構成が記載されている。

特開２００１−３４６２２６号公報 特開２００５−２２９５６０号公報

多視点画像から３Ｄ写真プリントを作成する前に、プリントした場合の立体感や画質、歪等に問題が無いかを通常の表示デバイスで事前に確認したいという要求がある。しかし、そのような３Ｄ写真プリントの事前確認を行うためには、３Ｄ写真プリントと同じくらい精細なピッチで３Ｄ表示可能な特別の表示デバイスを用いない限り困難である。たとえ、３Ｄ写真プリントと同様な方法で３Ｄ表示可能な特別の表示デバイスを製造したとしても、そのような特別の表示デバイスがない環境（例えばユーザの自宅）では、事前確認を行うことができない。即ち、３Ｄ写真プリントの見え方を再現しようとすると大掛かりな設備と時間が必要になる。

本発明はこのような事情に鑑みてなされたもので、多視点画像の確認を容易に行うための画像処理装置および画像処理方法を提供することを目的とする。

前記目的を達成するために、本発明は、複数の視点画像を含む多視点画像を取得する多視点画像取得部と、前記多視点画像に含まれる視点画像に基づいて視差の分布を算出する算出部と、前記多視点画像および前記視差の分布に基づいて前記多視点画像の被写体像に画像処理を行う画像処理部であって、前記多視点画像において視差が大きい画素ほどぼかし量を大きく、かつ、前記多視点画像のうち中央側の視点位置の視点画像のぼかし量よりも両端側の視点位置の視点画像のぼかし量を大きくする画像処理部と、前記画像処理部により画像処理された前記多視点画像に含まれる前記複数の視点画像を視点順に切り替えて順次出力する出力部と、を有する画像処理装置を提供する。
また、本発明は、複数の視点画像を含む多視点画像を取得する多視点画像取得部と、前記多視点画像に含まれる視点画像に基づいて視差の分布を算出する算出部と、前記多視点画像および前記視差の分布に基づいて前記多視点画像の被写体像に画像処理を行う画像処理部であって、前記多視点画像において視差が大きい画素ほど彩度、コントラスト、シャープネスのうち少なくともいずれかひとつの低下量を大きく、かつ、前記多視点画像のうち中央側の視点位置の視点画像の前記低下量よりも両端側の視点位置の視点画像の前記低下量を大きくする画像処理部と、前記画像処理部により画像処理された前記多視点画像に含まれる前記複数の視点画像を視点順に切り替えて順次出力する出力部と、を有する画像処理装置を提供する。
また、本発明は、複数の視点画像を含む多視点画像を取得する多視点画像取得部と、前記多視点画像に含まれる視点画像に基づいて視差の分布を算出する算出部と、前記多視点画像および前記視差の分布に基づいて前記多視点画像の被写体像に画像処理を行う画像処理部と、前記画像処理部により画像処理された前記多視点画像に含まれる前記複数の視点画像を視点順に切り替えて順次出力する出力部であって、前記多視点画像のうち中央側の視点位置の視点画像の出力時間よりも両端側の視点位置の視点画像の出力時間を短くする出力部と、を有する画像処理装置を提供する。

即ち、多視点画像に対し視差に応じて被写体像への画像処理量を切り替えて画像処理を行い、その多視点画像に含まれる複数の視点画像を視点順に切り替えて順次出力するので、特別な表示デバイスを使用することなく、通常の表示デバイスに出力可能となり平面画像により多視点画像の事前確認を行うことができる。即ち、多視点画像の確認を容易に行えるようにすることができる。

本発明の一態様では、前記画像処理部により画像処理された前記多視点画像に含まれる前記複数の視点画像を前記出力部としての表示デバイスに視点順に切り替えて平面表示させる表示制御部を備えたことを特徴とする。

本発明の一態様では、前記画像処理部により画像処理された前記多視点画像に含まれる前記複数の視点画像を前記出力部としての表示デバイスに視点順に切り替えて平面表示させるための動画ファイルを作成する動画ファイル作成部を備えたことを特徴とする。

本発明の一態様にて、前記画像処理部は、前記視差の分布を参照し、視差が無い画素を基準にして、前記各視点画像内の被写体像が奧側領域であるか手前側領域であるかを判定し、奧側領域の被写体像は縮小して、手前側領域の被写体像を拡大する画像処理を行うことを特徴とする。

また、本発明は、複数の視点画像を含む多視点画像を取得する画像取得工程と、前記多視点画像に含まれる視点画像に基づいて視差の分布を算出する工程と、前記多視点画像および前記視差の分布に基づいて前記多視点画像の被写体像に画像処理を行う画像処理工程であって、前記多視点画像において視差が大きい画素ほどぼかし量を大きく、かつ、前記多視点画像のうち中央側の視点位置の視点画像のぼかし量よりも両端側の視点位置の視点画像のぼかし量を大きくする画像処理工程と、前記画像処理工程にて画像処理された前記多視点画像を視点順に切り替えて順次出力する出力工程と、を備えた画像処理方法を提供する。

また、本発明は、複数の視点画像を含む多視点画像を取得する画像取得工程と、前記多視点画像に含まれる視点画像に基づいて視差の分布を算出する工程と、前記多視点画像および前記視差の分布に基づいて前記多視点画像の被写体像に画像処理を行う画像処理工程であって、前記多視点画像において視差が大きい画素ほど彩度、コントラスト、シャープネスのうち少なくともいずれかひとつの低下量を大きく、かつ、前記多視点画像のうち中央側の視点位置の視点画像の前記低下量よりも両端側の視点位置の視点画像の前記低下量を大きくする画像処理工程と、前記画像処理工程にて画像処理された前記多視点画像を視点順に切り替えて順次出力する出力工程と、を備えた画像処理方法を提供する。
また、本発明は、複数の視点画像を含む多視点画像を取得する画像取得工程と、前記多視点画像に含まれる視点画像に基づいて視差の分布を算出する工程と、前記多視点画像および前記視差の分布に基づいて前記多視点画像の被写体像に画像処理を行う画像処理工程と、前記画像処理工程にて画像処理された前記多視点画像に含まれる前記複数の視点画像を視点順に切り替えて順次出力する出力工程であって、前記多視点画像のうち中央側の視点位置の視点画像の出力時間よりも両端側の視点位置の視点画像の出力時間を短くする出力工程と、を備えた画像処理方法を提供する。

本発明によれば、多視点画像の確認を容易に行えるようにすることができる。

画像処理装置の一例の全体構成図 視差の説明に用いる説明図 多視点画像の一例を示す図 レンチキュラーシートを模式的に示す斜視図 画像処理の一例の流れを示すフローチャート 第１実施形態における画像処理の説明に用いる説明図 第２実施形態における画像処理の説明に用いる説明図 第３実施形態における画像処理の説明に用いる説明図

以下、添付図面に従って、本発明の実施形態について、詳細に説明する。

図１は、本発明に係る画像処理装置の一例の全体構成を示すブロック図である。

図１において、画像処理装置２は、指示入力部２１、画像取得部２２（多視点画像取得部）、ＣＰＵ２３、記憶部２４、および、表示部２５を含んで構成されている。ＣＰＵ２３は、視差マップ作成部３１（算出部）、多視点画像生成部３２（多視点画像取得部）、画像処理部３３、２Ｄ動画ファイル生成部３４、および、表示制御部３５を有する。

指示入力部２１は、指示を入力するための入力デバイスである。例えば、キーボード、ポインティングデバイスなどによって構成される。タッチセンサでもよい。

画像取得部２２は、画像データ（以下単に「画像」という）の入力に用いられる入力デバイスである。例えば、メモリカードなどのリムーバブルな記録メディアとの間でデータ入出力を行う記録メディアインタフェースや、ネットワークとの間でデータ入出力を行うネットワークインタフェースによって構成される。

本例の画像取得部２２により、右視点および左視点で被写体をそれぞれ撮像して生成された２枚の視点画像（左視点画像および右視点画像）からなる立体画像（以下「２視点画像」という）が入力される。

ＣＰＵ（Central Processing Unit）２３は、画像処理装置２の各部を制御するとともに、各種の画像処理を実行する。

記憶部２４は、各種のデータを記憶する記憶デバイスであり、不揮発性のメモリまたはディスクを含んで構成されている。

表示部２５は、液晶表示デバイスなどの表示デバイスである。本実施形態にて、表示部２５は、２Ｄ表示可能であればよく、３Ｄ（立体）表示可能でなくてもよい。

視差マップ作成部３１は、画像取得部２２により取得された２視点画像に基づいて、視差マップを作成する。

視差マップは、２視点画像の視差の分布を示す情報である。本例では、視差として、互いに対応関係を有する左視点画像内の画素と右視点画像内の画素との座標の差分を用いる。このような視差については後に詳説する。

なお、視差は、被写体の奥行きに対応する情報であることから、「奥行き情報」あるいは「距離情報」ということもある。視差として、奥行き量を用いてもよい。

多視点画像生成部３２は、２視点画像（右視点画像および左視点画像）および視差マップに基づいて、２視点画像よりも多い複数の視点画像を含む多視点画像を生成する。すなわち、２視点画像よりも視点数を増やした３Ｄ写真プリント用の画像データとして多視点画像を生成する。本例では、２視点画像および視差マップに基づいて中間視点の視点画像（以下「中間視点画像」という）を生成することで、即ち２視点画像に１視点以上の中間視点画像を追加することで、３視点以上の視点画像からなる多視点画像を生成する。なお、本発明は、元の２視点画像を含まない多視点画像を生成する場合にも適用可能である。

画像処理部３３は、多視点画像の立体感等を表示部２５により後述の２Ｄ動画ファイルの２Ｄ表示で確認できるようにするため、多視点画像および視差マップに基づいて多視点画像に画像処理を行う。このような画像処理の具体例として、ぼかし処理、コントラスト低下、彩度低下、シャープネス低下、拡大／縮小（拡縮）などが挙げられる。これらの具体例については、後に詳説する。

２Ｄ動画ファイル作成部３４は、画像処理された多視点画像に含まれる複数の視点画像を表示部２５に視点順に切り替えて平面表示させための２Ｄ動画ファイルを作成する。

表示制御部３５は、２Ｄ動画ファイルに従って、多視点画像に含まれる複数の視点画像を表示部２５に視点順に切り替えて平面表示させる。

次に、視差量について、図２を用いて説明する。

図２において、３Ｄデジタルカメラ１は、２視点画像を生成可能な複数の撮像系１１Ｌ、１１Ｒを備える。各撮像系１１Ｌ、１１Ｒは、ズームレンズ、フォーカスレンズおよび絞りを有する撮影光学系と、撮像素子（例えば、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等）を有する。なお、発明の理解を容易にするため、３Ｄデジタルカメラ１にて、基線長ＳＢ（撮像系１１Ｌ、１１Ｒの光軸の間隔）、及び、輻輳角θｃ（撮像系１１Ｌ、１１Ｒの光軸同士が成す角度）は、固定であるものとして説明する。

複数の撮像系１１Ｌ、１１Ｒにより、複数の視点で同一の被写体９１（本例では球体）をそれぞれ撮像することで、２視点画像（左視点画像９２Ｌ及び右視点画像９２Ｒ）が生成される。生成された２視点画像９２Ｌ、９２Ｒは、同一の被写体９１が投影された被写体像９３Ｌ、９３Ｒを、それぞれ含んでいる。２視点画像９２Ｌ、９２Ｒを、３Ｄモニタ６０で重ね合わせて表示することで、立体画像９４が３Ｄ表示（立体表示）される。

３Ｄ写真プリントを行う場合、まず、２視点画像から、図３に示すような多視点画像（視点画像Ａ１〜Ａ６のセット）が作成される。この多視点画像は、合計６視点であり、最も左の視点位置の視点画像Ａ１が図２の３Ｄデジタルカメラ１の左撮像系１１Ｌにより生成された左視点画像９２Ｌに対応し、最も右の視点位置の視点画像Ａ６が図２の３Ｄデジタルカメラ１の右撮像系１１Ｒにより生成された右視点画像９２Ｒに対応し、中間視点位置の視点画像Ａ２〜Ａ５は２視点画像Ａ１，Ａ６から視差マップに基づいて生成された画像（中間視点画像）である。次に、多視点画像Ａ１〜Ａ６を、例えば図４に示すようなレンチキュラーシート１００に印刷する。図４のレンチキュラーシート１００の一方の面には、かまぼこ状で透光性のレンチキュラーレンズ１１０が形成され、他方の面には、インクを受容する受容層１２０が形成されている。多視点画像Ａ１〜Ａ６は、それぞれ、受容層１２０の各帯状領域１２１〜１２６にインクにより印刷される。

観察者は、レンチキュラーシート１００の受容層１２０側に印刷された多視点画像をレンチキュラーレンズ１１０側から両眼で観察することで、図２に示した場合（即ち観察者９５が３Ｄモニタ６０上の立体画像９４を観察した場合）と同様、被写体像を立体視することができる。

図２にて観察者９５が両眼９６Ｌ、９６Ｒから立体画像９４を観察すると、被写体の虚像９７が飛び出して見える。尚、図２では、光軸間の輻輳点９９（クロスポイント）よりも近い位置に被写体９１が存在したので虚像９７が手前側に飛び出して見えるが、輻輳点９９よりも遠い位置に被写体が存在した場合には虚像が奥側に引き込んで見える。

図２にて被写体距離Ｓが輻輳点９９までの距離よりも小さい範囲内では、被写体距離Ｓが小さいほど、被写体像９２Ｌ、９２Ｒの中心座標ＸＬＦ、ＸＲＦの差分｜ＸＬＦ−ＸＲＦ｜が大きくなる。すなわち、被写体距離Ｓが小さいほど、視点画像９２Ｌ、９２Ｒ間で対応画素同士が離れる。ここで、差分｜ＸＬＦ−ＸＲＦ｜はｘ座標のみであり、これをＡＰとして表す。つまり、基線長ＳＢ及び輻輳角θｃが決まっていれば、輻輳点９９よりも前では被写体距離Ｓが小さいほど、ＡＰが大きくなり、観察者９５が体感する虚像９７の飛び出し量ＡＤも大きくなる。

各視点画像における画素の奥行き情報は、基線長ＳＢ、輻輳角θｃおよび焦点距離が定まっていれば、図２のＡＰを用いて表すことができる。例えば、輻輳点９９よりも前に被写体９１がある場合には、ＡＰに正の符号を付した値が奥行き情報（視差）となり、輻輳点９９よりも後に被写体９１がある場合には、ＡＰに負の符号を付した値が奥行き情報（視差）となる。輻輳点９９に対応する奥行き情報は０（ゼロ）である。この場合、奥行き情報が正の場合には、値が大きいほど飛び出し量ＡＤが大きくなり、奥行き情報が負の場合、絶対値が大きいほど引き込み量が大きくなる。なお、奥行き情報は、被写体距離Ｓにも対応するので、被写体距離Ｓを用いて表すことも可能である。

また、基線長ＳＢ及び輻輳角θｃが一定である場合を例に説明したが、輻輳角θｃが可変である構造の場合には、輻輳角θｃ及び被写体距離Ｓに応じて、飛び出し量ＡＤが変化する。また、輻輳角θｃに加えて基線長ＳＢも可変である構造の場合には、基線長ＳＢ及び輻輳角θｃ及び被写体距離Ｓに応じて、飛び出し量ＡＤが変化する。また、基線長ＳＢ及び輻輳角θｃが一定であっても、２視点画像９２Ｌ、９２Ｒ間で画素ずらしを行って視差量ＡＰを変更した場合には、飛び出し量ＡＤも変わってくる。

なお、図２〜図４は、本発明の理解のために一例を紹介したのであって、このような場合に特に限定されない。図２に示した３Ｄデジタルカメラ１を用いないで、例えば、複数のデジタルカメラを用いて被写体を立体撮像した場合や、単一の撮影光学系を用いて瞳分割で被写体を立体撮像した場合でも本発明を適用可能である。また、３Ｄ写真プリントは、レンチキュラーシートに印刷する場合に特に限定されない。

以下では、各種の実施形態に分けて、本発明について説明する。

＜第１実施形態＞
まず、第１実施形態について、説明する。

本実施形態の画像処理部３３は、多視点画像の確認を２Ｄ動画表示で行えるようにするため、視差の大小に応じ、多視点画像の被写体像への画像処理量（例えば、ぼかし量、コントラスト低下量、彩度低下量、シャープネス低下量）の大小を切り替える。

図５は、図１の画像処理装置２における画像処理の一例の流れを示すフローチャートである。

ステップＳ１にて、画像取得部２２により、図６の２視点画像５２を取得する。この２視点画像５２は、左右の２視点で被写体をそれぞれ撮像して生成された左視点画像Ａ１および右視点画像Ａ５からなる。

ステップＳ２にて、視差マップ作成部３１により、右視点画像Ａ５の画素と左視点画像Ａ１の画素との対応関係の検出（対応点検出）を行って対応画素間の視差を算出し、両視点画像Ａ１、Ａ５における視差分布（視差と画素との対応関係）を示す視差マップを作成する。視差は、例えば、左視点画像Ａ１の画素の座標と右視点画像Ａ５の画素の座標との差で表される。本例の視差マップは、符号付き視差の配列で表され、正符号であればクロスポイント（輻輳点）よりも手前側に被写体が位置していたことを示し、負符号であればクロスポイント点よりも奧側に被写体が位置していたことを示す。なお、両視点画像Ａ１、Ａ５の画素間で対応関係を検出できないオクルージョン領域については、その周囲の画素の視差に基づいて、視差の補間を行うことが、好ましい。

ステップＳ３にて、多視点画像生成部３２により、２視点画像５２（Ａ１，Ａ５）および視差マップに基づいて中間視点画像Ａ２、Ａ３、Ａ４を生成し２視点画像５２に追加することで、多視点画像５４（Ａ１〜Ａ５）を生成する。

ステップＳ４にて、画像処理部３３により、多視点画像５４および視差マップに基づいて、多視点画像５４に画像処理を行って被写体像を変更する。本例では、各視点画像Ａ１、Ａ２、Ａ３、Ａ４、Ａ５ごとに、視差マップ上の視差（左視点画像Ａ１と右視点画像Ａ５との画素のずれ量）が大きい画素ほど、より大きくぼかす処理を行う。視差が小さい画素は、あまりぼかさない。視差が無い画素（クロスポイントに対応する画素）は、全くぼかさない。

図６に示すように、クロスポイントに対応する人の像に対しては、ぼかし処理を行わず、近距離の花の像および遠距離の木の像に対しては、視差の大小に応じてぼかし量の大小を切り替える。

また、画像処理部３３は、多視点画像５４に含まれる複数の視点画像Ａ１〜Ａ５のうち、中央の視点位置の視点画像Ａ３のぼかし量よりも、両端の視点位置の視点画像Ａ１，Ａ５のぼかし量を大きくする。詳細には、中央視点から離れるほど、ぼかし量を大きくする。

なお、発明の理解を容易にするため、多視点画像５４が奇数枚である場合を例に説明したが、多視点画像５４が偶数枚であっても同様である。即ち、中央側の視点位置の視点画像よりも両端側の視点位置の視点画像のぼかし量を大きくする。

ぼかし処理は、ガウシアン、移動平均、低周波透過フィルタ等、公知の方法を用いればよく、特に限定されない。

ステップＳ５にて、２Ｄ動画ファイル作成部３４により、視点画像Ａ１〜Ａ５を表示部２５に視点順に切り替えて平面表示させるための２Ｄ動画ファイルを作成する。

２Ｄ動画ファイルのファイル形式は特に限定されず、視点画像Ａ１〜Ａ５が順に表示されるように編集されたものであればよい。指示入力部２１から設定された表示時間（例えば０．１秒〜０．５秒で切り替え）や表示切替方法（フェードイン、フェードアウトの有無など）に従って、２Ｄ動画ファイルを作成するようにしてもよい。

ステップＳ６にて、表示制御部３５により、２Ｄ動画ファイルに従って、多視点画像５４に含まれる複数の視点画像Ａ１〜Ａ６を表示部２５に視点順に切り替えて平面表示させる。例えば、Ａ１→Ａ２→Ａ３→Ａ４→Ａ５の正順に表示した後、Ａ５→Ａ４→Ａ３→Ａ２→Ａ１の逆順に表示し、表示停止操作がされるまで、正順および逆順の表示を繰り返す。

なお、多視点画像の確認を２Ｄ動画表示で行うための画像処理として、ぼかし処理を例に説明したが、コントラスト変更、彩度変更、シャープネス変更などの画像処理でもよい。例えば、視差が大きい画素ほど、コントラスト、彩度、または、シャープネスの低下量を大きくする。即ち、視差が大きい画素ほど視認性の低下量を大きくする画像処理を行う。また、中央側の視点位置の視点画像よりも両端側の視点位置の視点画像の低下量を大きくする。

また、図６に示すように、視差が無い被写体（本例では人）の画素を基準に、手前側の領域の被写体（本例では花）の画素は、奧側の領域の被写体（本例では木）の画素よりも、ぼかし量、コントラスト低下量、彩度低下量、または、シャープネス低下量を大きくする画像処理を行ってもよい。

＜第２実施形態＞
第２実施形態の画像処理部３３は、図５のステップＳ４の画像処理にて、視差マップに基づく被写体像の拡縮処理を行う。図５のステップＳ１〜Ｓ３およびＳ５からＳ６は、第１実施形態と同じである。以下では、第１実施形態と異なる事項のみ説明する。

図７に示すように、２視点画像Ａ１，Ａ２に中間視点画像Ａ２〜Ａ４を追加して多視点画像Ａ１〜Ａ５を生成した場合、画像処理部３３は、２視点画像Ａ１，Ａ５から作成された視差マップを参照し、視差が無い画素（本例では人の画素）を基準にして、各視点画像Ａ１〜Ａ５内の他の被写体像（例えば花や木）が奧側領域であるか手前側領域であるかを判定し、奧側領域の被写体像（本例では木）は縮小して、手前側領域の被写体像（本例では花）を拡大する画像処理（拡縮処理）を行う。

本実施形態によれば、３Ｄ写真プリントを見た場合に飛び出して見える領域の被写体像が拡大されて、引っ込んで見える領域の被写体像が縮小されるため、２Ｄ動画表示での見え方が３Ｄ写真プリントでの見え方に近づくことになる。

＜第３実施形態＞
第３実施形態の２Ｄ動画ファイル作成部３４は、図５のステップＳ５の２Ｄ動画ファイル作成処理にて、視点位置に基づく表示時間の切り替えを行う。図５のステップＳ１〜Ｓ４およびＳ６は、第１実施形態と同じである。以下では、第１実施形態と異なる事項のみ説明する。

図８に示すように、多視点画像Ａ１〜Ａ５が得られた場合、本実施形態の２Ｄ動画ファイル作成部３４は、多視点画像Ａ１〜Ａ５に含まれる視点画像のうち中央の視点位置の視点画像Ａ３の表示時間よりも両端の視点位置の視点画像Ａ１，Ａ５の表示時間を短く設定する。詳細には、中央視点から離れるほど表示時間を短くする。本例では、中央の視点画像Ａ３の表示時間が０．３秒であり、それよりも両端側の視点画像Ａ２およびＡ４の表示時間が０．２秒であり、両端の視点画像Ａ１、Ａ５の表示時間が０．１秒である。

なお、発明の理解を容易にするため、多視点画像５４が奇数枚である場合を例に説明したが、多視点画像５４が偶数枚であっても同様である。即ち、中央側の視点位置の視点画像の表示時間よりも両端側の視点位置の視点画像の表示時間を短くする。

本実施形態によれば、３Ｄ写真プリントを作成した場合にレンチキュラーレンズの屈折が大きくなる両端視点位置の表示時間が中央視点位置の表示時間よりも短く設定されるため、２Ｄ動画表示での見え方が３Ｄ写真プリントでの見え方に近づくことになる。

なお、複数の実施形態に分けて説明したが、実施形態同士をどのように組み合わせて実施してもよく、例えば、第２実施形態と第３実施形態とを組み合わせて実施してもよい。

また、多視点画像に含まれる複数の視点画像を表示部２５に視点順に切り替えて順次出力する場合を例に説明したが、出力部は表示部２５には特に限定されず、他の出力デバイスを用いてもよい。例えば、通信デバイスによりネットワークに出力するようにしてもよいし、印刷デバイスに出力するようにしてもよい。

本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。

２…画像処理装置、２２…画像取得部、２５…表示部、３１…視差マップ作成部、３２…多視点画像生成部、３３…画像処理部、３４…２Ｄ画像ファイル作成部、３５…表示制御部

Claims (11)

1. 複数の視点画像を含む多視点画像を取得する多視点画像取得部と、
   前記多視点画像に含まれる視点画像に基づいて視差の分布を算出する算出部と、
   前記多視点画像および前記視差の分布に基づいて前記多視点画像の被写体像に画像処理を行う画像処理部であって、前記多視点画像において視差が大きい画素ほどぼかし量を大きく、かつ、前記多視点画像のうち中央側の視点位置の視点画像のぼかし量よりも両端側の視点位置の視点画像のぼかし量を大きくする画像処理部と、
   前記画像処理部により画像処理された前記多視点画像に含まれる前記複数の視点画像を視点順に切り替えて順次出力する出力部と、
   を有する画像処理装置。
2. 複数の視点画像を含む多視点画像を取得する多視点画像取得部と、
   前記多視点画像に含まれる視点画像に基づいて視差の分布を算出する算出部と、
   前記多視点画像および前記視差の分布に基づいて前記多視点画像の被写体像に画像処理を行う画像処理部であって、前記多視点画像において視差が大きい画素ほど彩度、コントラスト、シャープネスのうち少なくともいずれかひとつの低下量を大きく、かつ、前記多視点画像のうち中央側の視点位置の視点画像の前記低下量よりも両端側の視点位置の視点画像の前記低下量を大きくする画像処理部と、
   前記画像処理部により画像処理された前記多視点画像に含まれる前記複数の視点画像を視点順に切り替えて順次出力する出力部と、
   を有する画像処理装置。
3. 複数の視点画像を含む多視点画像を取得する多視点画像取得部と、
   前記多視点画像に含まれる視点画像に基づいて視差の分布を算出する算出部と、
   前記多視点画像および前記視差の分布に基づいて前記多視点画像の被写体像に画像処理を行う画像処理部と、
   前記画像処理部により画像処理された前記多視点画像に含まれる前記複数の視点画像を視点順に切り替えて順次出力する出力部であって、前記多視点画像のうち中央側の視点位置の視点画像の出力時間よりも両端側の視点位置の視点画像の出力時間を短くする出力部と、
   を有する画像処理装置。
4. 前記算出部は、前記多視点画像のうち２つの視点画像における対応画素間の視差を算出することで前記視差の分布を算出する請求項１から３のうちいずれか１項に記載の画像処理装置。
5. 前記多視点画像取得部は、複数視点で被写体を撮像して生成された複数視点画像および当該複数視点画像の視差の分布に基づいて、前記撮像して生成された複数視点画像よりも視点数が多い前記多視点画像を生成する多視点画像生成部を含む請求項１から４のうちいずれか１項に記載の画像処理装置。
6. 前記画像処理部により画像処理された前記多視点画像に含まれる前記複数の視点画像を前記出力部としての表示デバイスに視点順に切り替えて平面表示させる表示制御部を備えた請求項１から５のうちいずれか１項に記載の画像処理装置。
7. 前記画像処理部により画像処理された前記多視点画像に含まれる前記複数の視点画像を前記出力部としての表示デバイスに視点順に切り替えて平面表示させるための動画ファイルを作成する動画ファイル作成部を備えた請求項１から６のうちいずれか１項に記載の画像処理装置。
8. 前記画像処理部は、前記視差の分布を参照し、視差が無い画素を基準にして、前記各視点画像内の被写体像が奧側領域であるか手前側領域であるかを判定し、奧側領域の被写体像は縮小して、手前側領域の被写体像を拡大する画像処理を行う請求項１から７のうちいずれか１項に記載の画像処理装置。
9. 複数の視点画像を含む多視点画像を取得する画像取得工程と、
   前記多視点画像に含まれる視点画像に基づいて視差の分布を算出する工程と、
   前記多視点画像および前記視差の分布に基づいて前記多視点画像の被写体像に画像処理を行う画像処理工程であって、前記多視点画像において視差が大きい画素ほどぼかし量を大きく、かつ、前記多視点画像のうち中央側の視点位置の視点画像のぼかし量よりも両端側の視点位置の視点画像のぼかし量を大きくする画像処理工程と、
   前記画像処理工程にて画像処理された前記多視点画像を視点順に切り替えて順次出力する出力工程と、
   を備えた画像処理方法。
10. 複数の視点画像を含む多視点画像を取得する画像取得工程と、
    前記多視点画像に含まれる視点画像に基づいて視差の分布を算出する工程と、
    前記多視点画像および前記視差の分布に基づいて前記多視点画像の被写体像に画像処理を行う画像処理工程であって、前記多視点画像において視差が大きい画素ほど彩度、コントラスト、シャープネスのうち少なくともいずれかひとつの低下量を大きく、かつ、前記多視点画像のうち中央側の視点位置の視点画像の前記低下量よりも両端側の視点位置の視点画像の前記低下量を大きくする画像処理工程と、
    前記画像処理工程にて画像処理された前記多視点画像を視点順に切り替えて順次出力する出力工程と、
    を備えた画像処理方法。
11. 複数の視点画像を含む多視点画像を取得する画像取得工程と、
    前記多視点画像に含まれる視点画像に基づいて視差の分布を算出する工程と、
    前記多視点画像および前記視差の分布に基づいて前記多視点画像の被写体像に画像処理を行う画像処理工程と、
    前記画像処理工程にて画像処理された前記多視点画像に含まれる前記複数の視点画像を視点順に切り替えて順次出力する出力工程であって、前記多視点画像のうち中央側の視点位置の視点画像の出力時間よりも両端側の視点位置の視点画像の出力時間を短くする出力工程と、
    を備えた画像処理方法。

Images