JP6033625B2 - 多視点画像生成装置、画像生成方法、表示装置、プログラム、及び、記録媒体 - Google Patents

Description

本発明は、新たな視点に応じた画像を生成する多視点画像生成装置、及び、多視点画像生成装置の画像生成方法に関する。また、多視点画像生成装置を備えた表示装置、多視点画像生成装置を動作させるためのプログラム、および、そのようなプログラムが記録されている記録媒体に関する。

近年、画像をユーザが立体視可能に表示することのできるテレビジョン受像機（テレビ）が開発されてきている。また、このようなテレビにおいて立体視可能な表示を実現する方式として、眼鏡方式（例えば、アクティブシャッター方式、偏光眼鏡方式など）、裸眼３Ｄディスプレイ方式（例えば、レンチキュラレンズ方式、パララックスバリア方式など）、及び、ヘッドマウンドディスプレイ方式などの方式が提案されている。

裸眼３Ｄディスプレイ方式によって裸眼立体視を実現するための一般的な手法として、例えば、フラットパネルディスプレイ（表示パネル）の前面にレンチキュラレンズを設ける手法、および、パララックスバリアを設ける手法などが挙げられる。これらの手法により、眼鏡などの付属品を使わずに裸眼立体視を可能にすることができるということが知られている。

なお、立体視可能な画像の主要な記録、伝搬および表示の方式として、２視点方式（サイドバイサイド、トップアンドボトム、フレームシーケンシャルなど）、及び、デプスマップ方式などが採用されている。

さらに、近年では、このような裸眼立体視可能に表示可能な表示装置において、多視点からの立体視を可能にする多視点裸眼立体表示の研究が盛んになってきている。多視点裸眼立体表示の方式としては、例えば、表示画像として、複数の視点位置の各々から見たときの画像（以下、多視点画像と称する）を生成し、表示パネルの前面に設けられた特殊なレンズなどを介して、それぞれ異なった方向に向けて表示することで立体表示を行う方式などが挙げられる。

また、このような多視点裸眼立体視が可能な表示装置においては、表示される画像の対応する視点数が十分に多ければ、ユーザは視点位置を変えることによって異なる視点用の画像を見ることができるため、運動視差効果を得ることもできる。

このような、複数の視点位置から画像を立体視可能に表示する技術が、下掲の特許文献１及び２に記載されている。

特許文献１には、ユーザの頭部における３次元位置から特定した視点位置（左目位置並びに右目位置）に基づき、視差のズレを精度よく解消する撮像装置が記載されている。

また、特許文献２には、多視点画像について飛び出し限界を定めることによって、立体画像を表示する際に、ディスプレイから手前方向に飛び出した近景の画質劣化を防ぐ立体画像表示装置が記載されている。

一方、特許文献１及び２のように、入力画像から、新しい視点に応じた画像を生成する場合、入力画像に対して視差をつけるため、入力画像に含まれる前景と背景とが乖離してしまう。これによって、入力画像においては前景によって遮られていた背景（つまり、前景によって隠れていた背景）が、画像の欠けた領域（いわゆる、オクルージョン領域）として表示されることになる。

これに対して、特許文献２には、前景を拡大する処理によってオクルージョン問題を低減する構成が記載されている。

特開２００５−１４２９５７号公報（２００５年６月２日公開） 特開２０１０−２２６５００号公報（２０１０年１０月７日公開）

しかし、特許文献２に記載の構成では、前景を拡大する処理を行う必要があるため、前景と背景との遠近感が入力画像と異なってしまい、前景と背景とのバランスが崩れてしまうため、ユーザに違和感を与えてしまうという問題がある。

ここで、特許文献２に記載の、前景を拡大する処理によってオクルージョン問題を低減する構成について、図１６を参照して簡単に説明する。図１６は、特許文献２に記載の立体画像表示装置における、入力画像に含まれる前景及び背景と、オクルージョン領域との関係の一例を模式的に示す図である。図１６（ａ）は、前景と背景とに視差をつけることによりオクルージョン領域が生じた場合の画像の一例を示し、（ｂ）は、前景を拡大することによりオクルージョン領域を覆う場合の画像の一例を示している。

特許文献２に記載の立体画像表示装置は、図１６（ａ）に示すように、新視点画像を新たに生成する際にオクルージョン領域が生じた場合に、（ｂ）に示すように、該オクルージョン領域を覆うように前景を拡大して表示する。特許文献２に記載の技術では、図１６（ｂ）に示すように、オクルージョン領域を覆うように前景を拡大するため、上述したように、前景と背景との遠近感が入力画像と異なってしまい、前景と背景とのバランスが崩れてしまうため、ユーザに違和感を与えてしまうという問題がある。

本発明は、上記の課題を解決するためになされたものであり、その主たる目的は、ユーザに与える違和感を低減した新視点画像を生成することのできる多視点画像生成装置を提供することにある。

本発明の一態様に係る多視点画像生成装置は、上記の課題を解決するために、立体視可能な画像から、基準となる視点位置とは異なる１または複数の新たな視点位置に応じた画像である新視点画像を生成する新視点画像生成手段と、上記新視点画像に含まれるオクルージョン領域における補間画像を生成する補間画像生成手段と、を備え、上記補間画像生成手段は、上記補間画像を、上記オクルージョン領域に接する複数の領域のうち、より背後に位置する領域における画像に基づいて生成する、ことを特徴としている。

また、本発明の一態様に係る多視点画像生成装置は、上記の課題を解決するために、多視点画像生成装置の画像生成方法であって、立体視可能な画像から、基準となる視点位置とは異なる１または複数の新たな視点位置に応じた画像である新視点画像を生成する新視点画像生成ステップと、上記新視点画像に含まれるオクルージョン領域における補間画像を生成する補間画像生成ステップと、を含み、上記補間画像生成ステップにおいて、上記補間画像を、上記オクルージョン領域に接する複数の領域のうち、より背後に位置する領域における画像に基づいて生成する、ことを特徴としている。

上記の構成によれば、上記補間画像生成手段は、上記オクルージョン領域における補間画像を、上記オクルージョン領域に接する複数の領域のうち、より背後に位置する領域における画像（背景とも呼称する）に基づいて生成する。つまり、上記多視点画像生成装置は、より前方に位置する領域における画像（前景とも呼称する）を用いずに、上記オクルージョン領域における補間画像を生成することができる。

これによって、多視点画像生成装置は、前景を加工（例えば、拡大など）を行うことなく上記オクルージョン領域を補間することができるため、前景と背景との遠近感、及び、前景と背景とのバランスを適切に保つことができる。さらに、多視点画像生成装置は、ユーザに与える違和感を低減した新視点画像を生成することができる。したがって、ユーザは、違和感なく、上記オクルージョン領域の補間された新視点画像を視聴することが出来る。

また、本発明の一実施形態に係る多視点画像生成装置において、上記補間画像生成手段は、上記オクルージョン領域における補間画像であって、上記オクルージョン領域と上記のより背後に位置する領域との境界から行方向にｋ番目（ｋは１以上の整数）の画素に対応する補間画像を、当該ｋ番目の画素を含む行に含まれる画素であって上記境界に隣接した上記のより背後に位置する領域側の画素を中心として設定される対象領域に含まれる画素群のうち、上記のより背後に位置する領域に属する画素のみに基づいて、上記補間画像を生成する、ことが好ましい。

上記の構成によれば、上記補間画像生成手段は、上記ｋ番目の画素を含む行に含まれる画素であって上記境界に隣接した背景側の画素を上記対象領域の中心とする。これによって、上記補間画像生成手段は、上記ｋ番目の画素に最も近い背景側の画素を上記対象領域の中心とすることができる。したがって、上記補間画像生成手段は、上記補間画像を、上記ｋ番目の画素に最も近い背景側の画素を中心とした対象領域の背景に含まれる画素のみに基づいて補間画像を生成することができる。

また、本発明の一実施形態に係る多視点画像生成装置において、上記対象領域は、（２ｋ−１）行（２ｋ−１）列の画素群であり、上記補間画像生成手段は、上記補間画像を、上記対象領域に含まれる画素の各々に重みを積算することによって生成する、ことが好ましい。

上記の構成によれば、上記対象領域は、上記ｋ番目の画素を含む行に含まれる画素であって上記境界に隣接した背景側の画素を中心として設定された、（２ｋ−１）行（２ｋ−１）列の画素群である。また、上記補間画像生成手段は、上記対象領域に含まれる各画素に重みを積算することによって補間画像を生成する。

これによって、上記補間画像生成手段は、上記オクルージョン領域に含まれる上記ｋ番目の画素の補間画像を、上記対象領域に含まれる各画素に重みを積算することによって、適切な補間画像を生成することができる。

また、本発明の一実施形態に係る多視点画像生成装置において、上記対象領域に含まれる画素であって上記オクルージョン領域に属する画素に積算される重みは、０である、ことが好ましい。

上記の構成によれば、上記補間画像生成手段は、上記補間画像を生成する際に、上記対象領域に含まれるオクルージョン領域に属する画素に対し、０を積算することによって、その値を０にすることができる。

また、本発明の一実施形態に係る多視点画像生成装置において、上記対象領域に含まれる画素であって上記のより背後に位置する領域に属する画素に積算される重みは互いに等しい、ことが好ましい。

また、本発明の一実施形態に係る多視点画像生成装置において、上記対象領域に含まれる画素であって上記のより背後に位置する領域に属する画素に積算される重みは、ガウス分布を用いて定められる構成としてもよい。

上記の構成によれば、上記補間画像生成手段は、上記補間画像を生成する際に、上記対象領域に含まれる上記背景（オクルージョン領域以外の領域）に属する画素に対し、互いに等しい重み、または、ガウス分布を用いて定められた重みを積算する。これによって、上記補間画像生成手段は、上記対象領域に含まれる上記背景に属する画素を用いて最適な上記補間画像を生成することができる。

なお、上記多視点画像生成装置を備えた表示装置も本発明の範疇に含まれる。

また、コンピュータを本発明に係る多視点画像生成装置として動作させるためのプログラムであって、上記コンピュータを上記多視点画像生成装置の各手段として機能させることを特徴とするプログラム、及び、当該プログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に含まれる。

本発明の一態様に係る多視点画像生成装置は、上記の課題を解決するために、立体視可能な画像から、基準となる視点位置とは異なる１または複数の新たな視点位置に応じた画像である新視点画像を生成する新視点画像生成手段と、上記新視点画像に含まれるオクルージョン領域における補間画像を生成する補間画像生成手段と、を備え、上記補間画像生成手段は、上記補間画像を、上記オクルージョン領域に接する複数の領域のうち、より背後に位置する領域における画像に基づいて生成する、ことを特徴としている。

また、本発明の一態様に係る多視点画像生成装置は、上記の課題を解決するために、多視点画像生成装置の画像生成方法であって、立体視可能な画像から、基準となる視点位置とは異なる１または複数の新たな視点位置に応じた画像である新視点画像を生成する新視点画像生成ステップと、上記新視点画像に含まれるオクルージョン領域における補間画像を生成する補間画像生成ステップと、を含み、上記補間画像生成ステップにおいて、上記補間画像を、上記オクルージョン領域に接する複数の領域のうち、より背後に位置する領域における画像に基づいて生成する、ことを特徴としている。

これによって、多視点画像生成装置は、前景を加工（例えば、拡大など）を行うことなく上記オクルージョン領域を補間することができるため、前景と背景との遠近感、及び、前景と背景とのバランスを適切に保つことができる。さらに、多視点画像生成装置は、ユーザに与える違和感を低減した新視点画像を生成することができる。したがって、ユーザは、違和感なく、上記オクルージョン領域の補間された新視点画像を視聴することが出来る。

本発明の一実施形態に係る多視点変換部の要部構成を示すブロック図である。 本発明の一実施形態に係る多視点画像生成装置の要部構成を示すブロック図である。 本発明の一実施形態における、２視点立体画像の一例を模式的に示す図である。 本発明の一実施形態における、１視点立体画像の一例を模式的に示す図である。 本発明の一実施形態に係る多視点画像生成装置を備える表示装置と視点との関係を模式的に示す図である。 本発明の一実施形態に係る多視点画像生成装置における、オクルージョン領域の一例を模式的に示す図である。 本発明の一実施形態に係る多視点画像生成装置における、オクルージョン領域の右側が背景である場合における補間画素値の算出方法の一例を模式的に示す図である。 本発明の一実施形態に係る多視点画像生成装置における、３×３の画素群に含まれる各画素の画素値に対して積算する重みを定めた重みテーブルの一例を示す図である。 本発明の一実施形態に係る多視点画像生成装置における、５×５の画素群に含まれる各画素の画素値に対して積算する重みを定めた重みテーブルの一例を示す図である。 本発明の一実施形態に係る多視点画像生成装置における、画素群に含まれる各画素の画素値に対して積算する重みが、ガウス分布を用いて設定されている場合の重みテーブルの一例を示す図である。 本発明の一実施形態に係る多視点画像生成装置における、入力画像に含まれる前景及び背景と、オクルージョン領域との関係の一例を模式的に示す図である。 本発明の一実施形態の変形例に係る多視点画像生成装置における、オクルージョン領域の左側が背景である場合における補間画素値の算出方法の一例を模式的に示す図である。 本発明の他の実施形態に係る多視点画像生成装置によって生成された新視点画像において生じるオクルージョン領域の一例を模式的に示す図である。 本発明の他の実施形態に係る多視点画像生成装置における、背景と背景とに挟まれたオクルージョン領域の生じる過程を模式的に示す図である。 本発明の他の実施形態に係る多視点画像生成装置における、オクルージョン領域の左右が共に背景である場合における補間画素値の算出方法の一例を模式的に示す図である。 特許文献２に記載の立体画像表示装置における、入力画像に含まれる前景及び背景と、オクルージョン領域との関係の一例を模式的に示す図である。

＜実施形態１＞
本発明の一実施形態に係る多視点画像生成装置について、図１から図１１に基づいて説明すれば、以下のとおりである。但し、この実施形態に記載されている構成は、特に特定的な記載がない限り、この発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例に過ぎない。

なお、本実施形態においては、多視点画像生成装置を備える表示装置がテレビジョン受像機（テレビ）によって実現されている場合を例に挙げて説明する。

〔多視点画像生成装置の構成〕
まず、多視点画像生成装置１の要部構成について、図２から図４を参照して説明する。図２は、多視点画像生成装置１の要部構成を示すブロック図である。

図２に示すように、多視点画像生成装置１は、画像取得部１０、多視点変換部２０（新視点画像生成手段）、３Ｄ描画部３０、及び、表示部４０を備えている。

なお、本実施形態では、右目用画像及び左目用画像からなる立体視可能な画像を２視点立体画像と呼称する。また、１視点画像及びデプスマップからなる立体視可能な画像を１視点立体画像と呼称する。

ここで、２視点立体画像、及び、１視点立体画像について、図３及び図４を参照して簡単に説明する。図３は、２視点立体画像の一例を模式的に示す図である。

また、図４は、１視点立体画像の一例を模式的に示す図である。図４（ａ）は、１視点立体画像の画像データを示す２次元画像を示し、（ｂ）は、２次元画像に含まれる前景及び背景の奥行き量を示す奥行きデータを示している。

２視点立体画像は、図３に示すように、左目用画像および右目用画像により１フレームが構成された、サイドバイサイド方式によって供給され、立体視可能に表示される画像である。

なお、本実施形態では、２視点立体画像として、サイドバイサイド方式を用いて表示される画像を例に挙げて説明するが、これに限定されるものではない。例えば、トップアンドボトム方式、及び、フレームシーケンシャル方式などによって供給される画像であってもよい。
・ １視点立体画像は、図４（ａ）に示す２次元画像と、（ｂ）に示す奥行きデータであって２次元画像に含まれる前景及び背景の奥行き量を示す奥行きデータとによって、立体視可能に表示される画像である。

（画像取得部）
画像取得部１０は、外部から供給される立体視可能な画像（以降、入力画像とも呼称する）を取得する。画像取得部１０は、取得した入力画像を多視点変換部２０へ供給する。

（多視点変換部）
多視点変換部２０は、画像取得部１０から供給された入力画像から、基準となる視点位置とは異なる１または複数の新たな視点位置に応じた新視点画像を生成する。本実施形態では、多視点変換部２０は、入力画像に含まれる１または２つの視点に応じた画像と、新視点画像とを含め、合計Ｎ（Ｎは２以上の整数）視点分の画像を生成する（以降では、単に「Ｎ視点分の画像」とも呼称する）。多視点変換部２０は、生成したＮ視点分の画像を３Ｄ描画部３０に供給する。

なお、本実施形態では、多視点変換部２０において、入力画像に含まれる１または２つの視点に応じた画像と、新視点画像とを含めたＮ視点分の画像を生成する構成を例に挙げて説明するが、これに限定されるものではない。例えば、多視点変換部２０において、入力画像に含まれる１または２つの視点に応じた画像を含まず、新視点画像をＮ視点分生成することによってＮ視点分の画像を生成する構成を採用してもよい。

また、多視点変換部２０は、新視点画像を生成するに際し、各視点に応じた新視点画像の視差により前景と背景とが乖離することによって生じるオクルージョン領域を補間する補間画像を生成する。なお、多視点変換部２０の詳細、及び、補間画像の生成については後述する。

（３Ｄ画像描画部）
３Ｄ描画部３０は、多視点変換部２０から供給されたＮ視点分の画像を、立体視可能に表示部４０に表示する。

〔多視点変換部〕
次に、多視点変換部２０の要部構成について、図１及び図５を参照して説明する。図１は、多視点変換部２０の要部構成を示すブロック図である。また、図５は、本実施形態に係る多視点画像生成装置１を備えるテレビ１００と視点との関係を模式的に示す図である。

多視点画像生成装置１は、図５に示すように、ユーザがテレビ１００の表示部４０に表示される画像を何れの方向から見た場合であっても、立体視される画像の前景と背景とがその視点に適した位置関係となるよう、１または複数の新たな視点位置に応じた新視点画像を生成することにより、複数の視点（図５に示す、視点１〜視点Ｎ）の各々に応じた画像を表す複数の画像（すなわち、Ｎ視点分の画像）を生成する。

多視点画像生成装置１の備える多視点変換部２０は、Ｎ視点分の画像を生成するために、図１に示すように、画像種別判定部２１、一致ブロック判定部２２、奥行き量算出部２３、新視差ベクトル算出部２４、レンダリング部２５、補間画像生成部（補間画像生成手段）２６、及び、境界平滑部２７を備えている。

（画像種別判定部）
画像種別判定部２１は、画像取得部１０から供給される入力画像の種別を判定する。具体的には、画像種別判定部２１は、取得した画像が２視点立体画像であるか、１視点立体画像であるかを判定する。

画像種別判定部２１は、入力画像が２視点立体画像であると判定した場合、入力画像を一致ブロック判定部２２に供給する。また、画像種別判定部２１は、入力画像が１視点立体画像であると判定した場合、入力画像を新視差ベクトル算出部２４に供給する。

（一致ブロック判定部）
一致ブロック判定部２２は、画像種別判定部２１から供給される、２視点立体画像と判定された入力画像を構成する右目用画像と左目用画像とから、一致する部分（ブロック）を行方向（水平方向）に見て探索する。

一致ブロック判定部２２は、まず、左目用画像を基準画像とする。次に、一致ブロック判定部２２は、左目用画像を複数のブロックに分割し、右目用画像から、分割された左目用画像のブロックと一致するブロック（一致ブロック）を行方向に見て探索する。

一致ブロック判定部２２は、左目用画像および右目用画像のそれぞれにおける一致ブロックの左上の座標値を奥行き量算出部２３に供給する。

ここで、一致ブロック判定部２２における処理について、具体的に説明する。

一致ブロック判定部２２は、まず、左目用画像をｎ×ｎ画素（ｎは１以上の整数である）の矩形領域（ｎ）に分割する。そして、一致ブロック判定部２２は、分割した領域の１つと水平位置および垂直位置が同じであるｎ×ｎ画素の矩形領域（ｎ）を右目用画像上にも設定する。

次に、一致ブロック判定部２２は、左目用画像および右目用画像のそれぞれのｎ×ｎ画素の矩形領域（ｎ）を中心としたｍ×ｍ（ｍは１以上の整数である）画素の矩形領域（ｍ）を設定する。ただし、ｍはｎ以上の整数である。ｎ×ｎ画素の矩形領域（ｎ）とは別に、ｍ×ｍ画素の矩形領域（ｍ）を設定することにより、探索の精度および画質の鮮明さを両立させることができるためである。

一致ブロック判定部２２は、一致ブロック探索の探索自体は大きいサイズのｍ×ｍ画素で行い、それによって求められた奥行き量は小さいサイズのｎ×ｎ画素に反映させる。これによって、探索の精度が良く、結果の奥行き量は細かく入力画像の絵柄に沿ったものにすることができる。

そして、一致ブロック判定部２２は、左目用画像上のｍ×ｍ画素の矩形領域（ｍ）と、右目用画像上のｍ×ｍ画素の矩形領域（ｍ）との一致度を計算する。一致度とは、左目用画像上の矩形領域（ｍ）に含まれるｍ×ｍ画素の各画素値と右目用画像上の矩形領域（ｍ）に含まれるｍ×ｍ画素の各画素値との違いの度合いを示す値である。なお、求めた一致度が０に近いほど、一致度が高いことになる。

さらに、一致ブロック判定部２２は、右目用画像上のｎ×ｎ画素の矩形領域（ｎ）を、水平方向において予め設定された１画素以上のずらし量ずつ左右にずらしながら、それぞれの矩形領域（ｎ）を中心とするｍ×ｍ画素の矩形領域（ｍ）を新たに取得し、上記の方法で、前記取得された左目用画像における矩形領域（ｍ）との一致度を計算する。

ずらし量は、１画素以上の値であればよいが、計算された奥行き量の精度を高く求める場合には、より小さい値（例えば、１画素）を設定することが好ましい。ずらし量が小さいほど、奥行き量の精度が高くなるためである。

上述のように、一致ブロック探索において求める奥行き量の精度を向上させるためには、ｎ×ｎ画素の矩形領域を細かく（小さく）設定し、ｍ×ｍ画素の矩形領域を粗く（大きく）設定するとともに、ずらし量を細かく（小さく）設定することが好ましい。また、一致ブロック探索の処理速度を向上させるためには、ｎ×ｎ画素の矩形領域を粗く（大きく）設定し、ｍ×ｍ画素の矩形領域を細かく（小さく）（例えば、ｎ×ｎ画素の矩形領域と同じか、それに近く）設定すると共に、ずらし量を大きくすることが好ましい。

さらに、ｎ×ｎ画素の矩形領域の設定、ｍ×ｍ画素の矩形領域の設定、および、ずらし量のそれぞれを、バランスよく適宜設定することにより、一致ブロック探索の処理速度の向上、および、求める奥行き量の精度の向上の両立を図ることも可能である。

次に、一致ブロック判定部２２は、一致度が最も小さい右目用画像上の矩形領域（ｍ）に含まれた矩形領域（ｎ）と、前記左目用画像上の矩形領域（ｍ）に含まれた矩形領域（ｎ）とを、一致ブロックと判定する。そして、一致ブロック判定部２２は、一致ブロックと判定した右目用画像における矩形領域（ｎ）の左上座標値と、左目用画像における矩形領域（ｎ）の左上座標値とを一致ブロック対応関係として対応付けて記憶する。

あるいは、一致度が最も小さい矩形領域（ｍ）を一致ブロックと判定し、一致ブロックと判定した右目用画像における矩形領域（ｍ）の左上座標値と、左目用画像における矩形領域（ｍ）の左上座標値とを一致ブロック対応関係として対応付けて記憶してもよい。

それから、一致ブロック判定部２２は、左目用画像上のすべての矩形領域（ｎ）に対して、上述と同じように、右目用画像上の矩形領域（ｎ）との一致ブロック対応関係を求める。最後に、一致ブロック判定部２２は、記憶された一致ブロック対応関係を奥行き量算出部２３に送信する。

なお、左目用画像を基準画像として左目用画像と右目用画像との一致ブロックを判定する構成を例に挙げて説明したが、本実施形態はこれに限定されるものではない。例えば、右目用画像を基準画像として左目用画像と右目用画像との一致ブロックを判定する構成を採用してもよい。

（奥行き量算出部）
奥行き量算出部２３は、一致ブロック判定部２２から供給された各一致ブロックの左目用画像および右目用画像における座標値から、行方向の座標値の差を計算して、奥行き量を求めるものである。奥行き量算出部２３は、例えば、左目用画像を基準画像として、基準画像をｎ×ｎ画素ごとの矩形領域に細かく分割し、それぞれの画素毎に奥行き量を求める。

具体的には、奥行き量算出部２３は、一致ブロック対応関係にある左目用画像の矩形領域（ｎ）の左上座標値と、右目用画像の矩形領域（ｎ）の左上座標値とから、奥行き量を計算する。

次に、奥行き量算出部２３は、求めた奥行き量を、左目用画像において、注目していた矩形領域（ｎ）に含まれた全ての画素、すなわちｎ×ｎ個の各画素に割り当てる。

そして、奥行き量算出部２３は、左目用画像上のすべての矩形領域（ｎ）の左上座標値について奥行き量を求めることによって、左目用画像上のすべての画素に奥行き量を割り当てる。それから、奥行き量算出部２３は、左目用画像における各画素に割り当てられた奥行き量（以下、「各画素の奥行き量」と称する場合がある）を新視差ベクトル算出部２４に送信する。

なお、上の例では、矩形領域（ｎ）および矩形領域（ｍ）は、正方形であるが、それに限らず、長方形であってもよい。さらに、矩形領域（ｍ）のサイズについては、矩形領域（ｎ）と同じサイズであってもよい。

（新視差ベクトル算出部）
新視差ベクトル算出部２４は、奥行き量算出部２３から供給される奥行き量、又は、画像種別判定部２１から供給される１視点立体画像に含まれるデプスマップと、Ｎ視点分の各視点位置とから、各視点位置に応じたＮ視点分の画像を生成するための、新視差ベクトルを算出する。

具体的には、入力画像が２視点立体画像である場合、新視差ベクトル算出部２４は、奥行き量算出部２３から供給される奥行き量と、各視点位置とから、基準画像としての左目用画像における画素毎の移動量、すなわち、新視差ベクトルを算出する。このとき、行方向（水平方向）において、各視点位置は、新視差ベクトル算出部２４により、左目用画像に対応する視点位置を０．０とし、右目用画像に対応する視点位置を１．０として、その相対値によって決定される。

次に、新視差ベクトル算出部２４は、奥行き量算出部２３から取得した各画素の奥行き量と、新視点位置とから、左目用画像の各画素の新視差ベクトルを求める。具体的には、新視差ベクトル算出部２４は、次式（１）に基づいて、各画素の新視差ベクトルを算出する。

（新視差ベクトル）＝（奥行き量）×（新視点位置）・・・（１）
また、入力画像が１視点立体画像である場合には、新視差ベクトル算出部２４は、１視点立体画像に含まれる１視点画像を基準画像とし、該基準画像における画素毎の移動量、すなわち、新視差ベクトルを、新視点位置とデプスマップとに基づいて算出する。

新視差ベクトル算出部２４は、算出した画素毎の新視差ベクトルをレンダリング部２５に供給する。

なお、新視差ベクトルは、例えば、内挿ベクトルであってもよいし、外挿ベクトルであってもよいし、これらの組み合わせであってもよい。内挿ベクトルとは、左目用画像の視点位置と右目用画像の視点位置との間に位置する新視点位置から求められる新視差ベクトルである。また、外挿ベクトルとは、左目用画像または右目用画像の視点位置よりも外側に位置する新視点位置から求められる新視差ベクトルである。

（レンダリング部）
レンダリング部２５は、Ｎ視点分の各視点位置に応じた、Ｎ視点分の画像を生成する。具体的には、レンダリング部２５は、新視差ベクトル算出部２４から供給された新視差ベクトルに基づいて、基準画像（左目用画像または１視点画像）における各画素を移動させ、Ｎ視点分の画像を生成する。

具体的には、基準画像となる左目用画像（または、１視点画像）に含まれる各画素について、各画素の行方向成分（後述する図７に示すｘ方向成分）と新視差ベクトルとを加算することで、各視点に応じた画像に含まれる画素を生成する。

なお、ある視点に対応する画像において、複数の画素が、新視差ベクトルを加算することによって同一の画素に表示される画素となった場合には、最も奥行き量の小さいものを画素として採用してもよい。これは、奥行き量が小さいほど、その奥行き量に対応する画素がより手前にあることを表しており、異なる奥行き量に対応する複数の画素が重なったときは、より後方の画像を示す画素は、より手前の画像を示す画素に隠されるべきであるためである。

レンダリング部２５は、生成したＮ視点分の画像を、新視差ベクトルと共に補間画像生成部２６に供給する。

（補間画像生成部）
補間画像生成部２６は、レンダリング部２５から供給されたＮ視点分の画像のうち、新視点画像の各々に生じているオクルージョン領域を補間するための補間画像を生成する。このとき、補間画像生成部２６は、新視点画像の各々について、オクルージョン領域とオクルージョン領域でない領域とを判定し、オクルージョン領域と判定した領域を補間するように補間画像を生成する。

例えば、補間画像生成部２６は、補間画像を、オクルージョン領域に接する複数の領域のうち、より背後に位置する領域における画像（つまり、背景）に基づいて生成する。なお、オクルージョン領域の判定、及び、補間画像の生成については、後述する。

補間画像生成部２６は、Ｎ視点分の画像を、境界平滑部２７に供給する。

（境界平滑部）
境界平滑部２７は、新視差ベクトルの差が大きな部分を平滑化する。

境界平滑部２７は、まず、Ｎ視点分の画像の各々における、ある注目画素（１画素）を中心とする一定領域において、該一定領域内の各画素における新視差ベクトルの最大値および最小値の差が大きい場合に、一定領域に対する平滑化処理を実行することで平滑値を求める。すなわち、所定の領域内における新視差ベクトルのばらつきが大きい場合に、一定領域に対する平滑化処理を実行することで平滑値を求める。

そして、境界平滑部２７は、一定領域内の注目画素の画素値を、平滑化処理によって求めた平滑値に置き換えることにより、平滑化されたＮ視点分の画像を生成する。

具体的には、境界平滑部２７は、補間画像生成部２６から供給されたＮ視点分の画像に対して、ある注目画素を中心とする一定領域（例えば、５×５画素の矩形領域）内の各画素における新視差ベクトルを参照する。

次に、境界平滑部２７は、所定の領域における新視差ベクトルのばらつきが基準量を上回る場合、例えば、新視差ベクトルの最小値と最大値との差の絶対値が、あらかじめ決めておいた閾値以上の場合は、所定の領域における画素値を平滑化した値（例えば、５×５画素の矩形領域内における各画素の平均値）を求め、その値を注目画素（１画素）の新しい画素値とする。これらの処理をＮ視点分の画像のすべての画素について行って、Ｎ視点分の画像の変更すべき画素の値を新しい画素値に変更して、平滑化されたＮ視点分の画像を生成する。

なお、ここで、注目画素を１画素として説明したが、注目画素は１画素に限定されず、複数の画素の集合である注目ブロックであってもよい。よって、特に画像のサイズが大きい（画素の数が多い）場合には、処理速度を向上することができるなどの効果を奏する。

また、平滑化処理については、特に限定されず、例えば一般的なローパスフィルタを用いることができる。このような細かい模様をある程度ぼかす平滑化処理には、Ｎ視点分の画像において、物体の輪郭を背景と融合させ、物体の一部分が欠けたり、物体の輪郭の周囲に余計な絵柄がついたりする症状がより目立たなくなり、画質の悪化を軽減する効果がある。

〔オクルージョン領域〕
ここで、オクルージョン領域について、図６を参照して説明する。図６は、本実施形態に係る多視点画像生成装置１によって生成された新視点画像において生じるオクルージョン領域の一例を模式的に示す図である。

多視点変換部２０において、図５に示すようにテレビ１００の表示部４０に垂直な方向に対して、水平方向（表示部４０の長手方向）に角度のある視点に応じた新視点画像を生成する場合、図６に示すように、前景と背景とが乖離する場合がある。これによって、前景と背景とに挟まれた、画像の欠けた領域が生じる。このように、画像の欠けた領域をオクルージョン領域と呼称する。

（オクルージョン領域の判定）
次に、オクルージョン領域の判定について説明する。補間画像生成部２６におけるオクルージョン領域の判定を可能にするため、レンダリング部２５は、下記の機能をさらに備えている。

レンダリング部２５は、基準画像に含まれる全ての画素に対し、オクルージョン領域であるか否かの判定に用いられる判定フラグを設定する。このとき、レンダリング部２５は、判定フラグとして、例えば、全ての画素に対して初期値「−１」を設定する。

次に、レンダリング部２５は、新視点画像の各々を生成するに際し、新視差ベクトルから算出された画素値によって基準画像の画素値が置き換えられた場合には、設定された判定フラグの値を「０」に再設定する。

補間画像生成部２６は、このように判定フラグの設定された新視点画像をレンダリング部２５から取得する。補間画像生成部２６は、新視点画像のそれぞれについて、各新視点画像に含まれる画素に対して設定されている判定フラグの値が「−１」である領域をオクルージョン領域と判定し、判定フラグが「０」である領域をオクルージョン領域以外の領域（例えば、前景及び背景など）と判定する。

また、補間画像生成部２６は、新視点画像を行方向に検索し、新視点画像の各行に含まれる、判定フラグの値の異なる２つの画素の間を、オクルージョン領域とオクルージョン領域以外の領域との境界であると判定する。

具体的には、補間画像生成部２６は、行方向（後述する図７に示すｘ方向）に検索し、判定フラグの値が「０」から「−１」に変化する境界をオクルージョン領域以外の領域（図６においては、前景）とオクルージョン領域との境界と判定する。また、補間画像生成部２６は、判定フラグの値が「０」であるオクルージョン領域以外の領域が背景であるか前景であるかを、奥行き量を参照して判定する。

〔補間画像〕
次に、補間画像生成部２６において実行される、オクルージョン領域を補間するための補間画像を表す補間画像の生成について、図７から図１１を参照して説明する。

図７は、本実施形態に係る多視点画像生成装置１における、オクルージョン領域を補間する補間画像を構成する補間画素の生成方法を模式的に示す図である。図７（ａ）は、オクルージョン領域における、オクルージョン領域と背景との境界に隣接する画素に対応する補間画素の生成に用いる画素を模式的に示している。図７（ｂ）は、オクルージョン領域における、境界から２番目の画素に対応する補間画素の生成を模式的に示している。図７（ｃ）は、オクルージョン領域における、境界からある画素数だけ離れた画素に対応する補間画素の生成を模式的に示している。

図７に示すように、補間画像生成部２６は、複数の画素を用いて補間画像を生成する。具体的には、オクルージョン領域におけるある画素を補間するための補間画素を生成するために、補間画像生成部２６は、当該ある画素を含む行（ｘ方向）に含まれる画素であって境界に隣接する背景側の画素を中心として設定された対象領域に含まれる画素群を構成する画素の各々に対応する画素値を用いて補間画素を生成する。

図７を参照し、オクルージョン領域におけるある画素を（ｘ、ｙ）として、対象領域について説明する。なお、対象領域は、１つ以上の画素を含んでいれば十分である。

図７（ａ）〜（ｃ）に示すように、多視点変換部２０は、補間画素の生成の対象となるある画素Ｉ’をＩ’（ｘ，ｙ）とし、当該ある画素Ｉ’を含む行（ｘ方向）に含まれる画素であって境界に隣接する背景側の画素を中心画素（ｘ０，ｙ０）として設定された対象領域から補間画像を生成する。

図７（ａ）に示すように、ある画素Ｉ’（ｘ，ｙ）が境界に隣接した画素（境界から−ｘ方向（行の負方向）に１番目の画素）である場合、補間画像生成部２６は、当該ある画素に隣接した背景側の中心画素（ｘ０，ｙ０）を中心として設定された対象領域に含まれる１×１の画素の各々に対応する画素値を用いて補間画素を生成する。

また、図７（ｂ）に示すように、ある画素Ｉ’（ｘ，ｙ）が境界から−ｘ方向に２番目の画素である場合、補間画像生成部２６は、当該ある画素を含む行に含まれる画素であって境界に隣接した背景側の中心画素（ｘ０，ｙ０）を中心とした３×３の画素群を用いて補間画素を生成する。

このように、ある画素が境界から−ｘ方向に│ｘ−ｘ０│番目の画素である場合、補間画像生成部２６は、当該ある画素を含む行に含まれる画素であって境界に隣接した背景側の中心画素（ｘ０，ｙ０）を中心として生成された対象領域（２│ｘ−ｘ０│−１）×（２│ｘ−ｘ０│−１）に含まれるの画素の各々に対応する画素を用いて補間画素を生成する。なお、│ｘ−ｘ０│＝ｋ（１≦ｋ）とすると、対象領域は、（２ｋ−１）×（２ｋ−１）とも表現できる。

補間画像生成部２６は、上述のようにして生成した複数の補間画素から、補間画像を生成する。

（補間画素値の算出）
次に、補間画像を構成する補間画素の値（補間画素値）の算出方法の一例について、図７（ｃ）を参照して説明する。

補間画像生成部２６は、補間画素の生成の対象となるある画素が境界から−ｘ方向に│ｘ−ｘ０│番目の画素である場合、当該ある画素を含む行に含まれる画素であって境界に隣接した背景側の画素を中心として設定された対象領域に含まれる各画素の画素値に、重み（パラメータ）を積算し、さらに積算結果を和算することによって補間画素値を算出する。

図７（ｃ）に示すように、対象領域に含まれる中心画素（ｘ０，ｙ０）からｘ軸方向にｉ画素分、ｙ軸方向にｊ画素分離れた位置の画素を（ｉ＋ｘ０，ｊ＋ｙ０）とすると、ある画素Ｉ’の補間画素値は、次式（２）によって求めることができる。

ここで、式（２）におけるＩ（ｉ＋ｘ０，ｊ＋ｙ０）は、対象領域に含まれる各画素Ｉの画素値を示し、ｗ（ｉ，ｊ）は、対象領域に含まれる各画素に積算される重みを表す重み関数を示している。また、重み関数ｗ（ｉ，ｊ）の値は、対象領域に含まれる各画素Ｉの判定フラグＦの値によって、次式のように与えられる。

ｗ（ｉ，ｊ）＝０ （Ｆ（ｉ，ｊ）＝−１のとき）
ｗ（ｉ，ｊ）≠０ （それ以外のとき） ・・・（３）
ここで、対象領域（２ｋ−１）×（２ｋ−１）に含まれる各画素の画素値に積算される重みの一例について、図８から図１０を参照して説明する。

まず、図８を参照して、補間画素値の算出の対象となるある画素が、境界から−ｘ方向に２番目（ｋ＝２）の画素である場合の補間画素値の算出について説明する。図８は、３×３の画素群に含まれる各画素の画素値に対して積算する重みを定めた重みテーブルの一例を示す図である。図８（ａ）は、境界が一直線である場合の重みテーブルの一例を示し、（ｂ）は、境界が一直線でない場合の重みテーブルの一例を示している。

なお、図８に示すように、対象領域中のオクルージョン領域に含まれる画素値に積算される重みとして「０」が設定され、対象領域中の背景に含まれる画素値に積算される重みとして互いに等しい値が設定されている。また、対象領域中の背景に含まれる画素値に積算される重みは、その合計が１に近くなるよう設定される。

補間画像生成部２６は、図７（ｂ）に示すように、ｋ＝２の場合、（ｘ０，ｙ０）を中心とした３×３の画素群に含まれる各画素値を用いて補間画素値を生成する。このとき、補間画像生成部２６は、図８（ａ）に示す３×３の重みテーブルに定められている重みを、（ｘ０，ｙ０）を中心とした３×３の画素群に含まれる各画素のうち対応する画素の画素値に積算する。

具体的には、補間画像生成部２６は、図７（ａ）及び図８（ａ）に示すように、オクルージョン領域に含まれる各画素の画素値に重み「０」を積算し、背景に含まれる各画素の画素値に重み「０．１６６７」を積算する。

そして、補間画像生成部２６は、画素値と重みとの積算結果を和算し、オクルージョン領域における、ある画素を補間するための補間値を算出する。

なお、図８（ａ）に示すように、３×３の画素群のうち、第１列に属する画素が全てオクルージョン領域に含まれる（つまり、３×３の画素群において、オクルージョン領域と背景との境界が一直線となる）場合を例に挙げて説明したが、これに限定されない。例えば、図８（ｂ）に示すように、３×３の画素群において境界が一直線でなくてもよい。

補間画像生成部２６は、このような場合には、図８（ｂ）に示す３×３の重みテーブルに定められている重みを、図７（ｂ）に示す（ｘ０，ｙ０）を中心とした３×３の画素群に含まれる各画素のうち対応する画素の画素値に積算する。

具体的には、補間画像生成部２６は、オクルージョン領域に含まれる各画素の画素値に重み「０」を積算し、背景に含まれる各画素の画素値に重み「０．１４２８」又は「０．１４２９」を積算する。そして、補間画像生成部２６は、画素値と重みとの積算結果を和算し、オクルージョン領域に含まれるある画素を補間するための補間画素値を算出することで、補間画素を生成する。

次に、図９を参照して、補間画素値の算出の対象となるある画素が、境界から−ｘ方向に３番目（ｋ＝３）の画素である場合における、補間画素値の算出について説明する。図９は、５×５の画素群に含まれる各画素の画素値に対して積算する重みを定めた重みテーブルの一例を示す図である。図９（ａ）は、境界が一直線である場合の重みテーブルの一例を示し、（ｂ）は、境界が一直線でない場合の重みテーブルの一例を示している。

補間画像生成部２６は、ｋ＝３の場合、（ｘ０，ｙ０）を中心とした５×５の画素群に含まれる各画素の画素値を用いて補間画素値を算出する。このとき、補間画像生成部２６は、図９（ａ）に示す５×５の重みテーブルに定められている重みを、（ｘ０，ｙ０）を中心とした５×５の画素群に含まれる画素のうち対応する画素の画素値に積算する。

具体的には、補間画像生成部２６は、図９（ａ）に示すように、対象領域中のオクルージョン領域に含まれる各画素の画素値に重み「０」を積算し、対象領域中の背景に含まれる各画素の画素値に重み「０．０６６７」を積算する。そして、補間画像生成部２６は、画素値と重みとの積算結果を和算し、オクルージョン領域に含まれるある画素を補間するための補間画素値を算出する。

なお、図９（ａ）に示すように、５×５の画素群のうち、第１列及び第２列に属する画素が全てオクルージョン領域に含まれる（つまり、５×５の画素群において、オクルージョン領域と背景との境界が一直線となる）場合を例に挙げて説明したが、例えば、図９（ｂ）に示すように、５×５の画素群において境界が一直線でなくてもよい。

補間画像生成部２６は、このような場合には、図９（ｂ）に示す５×５の重みテーブルに定められている重みを、（ｘ０，ｙ０）を中心とした５×５の画素群に含まれる画素のうち対応する画素の画素値に積算する。

具体的には、補間画像生成部２６は、図９（ｂ）に示すように、対象領域中のオクルージョン領域に含まれる各画素の画素値に重み「０」を積算し、対象領域中の背景に含まれる各画素の画素値に重み「０．０４７６」を積算する。そして、補間画像生成部２６は、画素値と重みとの積算結果を和算し、オクルージョン領域に含まれるある画素を補間するための補間画素値を算出することで、補間画素を生成するする。

図８及び図９では、背景に含まれる画素の画素値に積算される重みが等しく設定されている（例えば、１を対象領域中の背景に含まれる画素の数で割ることによって求められる値）場合を例に挙げて説明したが、これに限定されるものではない。例えば、図１０に示すように、背景に含まれる画素の画素値に積算される重みを、ガウス分布を用いて設定してもよいし、他の方法を用いて設定されていてもよい。

なお、背景に含まれる画素値に積算される重みを、単純平均、ガウス分布、及び他の方法の何れの方法を用いて設定する場合であっても、その合計が１に近いことが好ましい。

図１０を参照して、重みがガウス分布を用いて設定されている場合における、補間画素値の算出について説明する。図１０は、画素群に含まれる各画素の画素値に対して積算する重みが、ガウス分布を用いて設定されている場合の重みテーブルの一例を示す図である。図１０（ａ）は、ガウス分布を用いて設定された３×３の重みテーブルの一例を示し、（ｂ）は、ガウス分布を用いて設定された５×５の重みテーブルの一例を示している。

補間画像生成部２６は、ｋ＝２である場合には、図７（ｂ）に示す（ｘ０，ｙ０）を中心とした３×３の画素群に含まれる各画素の画素値を用いて補間画素値を算出する。このとき、補間画像生成部２６は、図１０（ａ）に示す、ガウス分布を用いて３×３の重みテーブルに定められた重みを、３×３の画素群に含まれる画素のうち対応する画素の画素値に積算する。

具体的には、補間画像生成部２６は、図（ａ）に示すように、オクルージョン領域に含まれる画素の画素値に重み「０」を積算し、背景に含まれる画素の画素値にガウス分布を用いて設定された重みを積算する。

また、補間画像生成部２６は、ｋ＝３である場合、（ｘ０，ｙ０）を中心とした５×５の画素群に含まれる各画素の画素値を用いて補間画素値を算出する。このとき、補間画像生成部２６は、図１０（ｂ）に示す、ガウス分布を用いて５×５の重みテーブルに定められた重みを、５×５の画素群に含まれる画素のうち対応する画素の画素値に積算する。

具体的には、補間画像生成部２６は、オクルージョン領域に含まれる各画素の画素値に重み「０」を積算し、背景に含まれる各画素の画素値にガウス分布を用いて設定された重みを積算する。

そして、補間画像生成部２６は、画素値と重みとの積算結果を和算し、オクルージョン領域に含まれるある画素を補間するための補間画素値を算出することで、補間画素を生成する。

なお、図８から図１０に示した重みテーブルは、補間画像生成部２６が補間画素を生成する際に最適に設定すればよいが、これに限定されず、例えば、予め記憶部（不図示）に格納されていてもよい。

上記の構成のように、オクルージョン領域に含まれる画素に「０」を積算することにより、補間画像生成部２６は、補間画素を生成する際に、境界に隣接した背景の画素を中心としつつ、オクルージョン領域を用いないようにすることができる。

また、上記の構成によれば、補間画像生成部２６は、補間画像を生成する際に、対象領域に含まれる背景（オクルージョン領域以外の領域）に属する画素に対し、互いに等しい重み、または、ガウス分布を用いて定められた重みを積算する。これによって、補間画像生成部２６は、対象領域に含まれる背景に属する画素を用いて最適な補間画像を生成することができる。

また、補間画像生成部２６は、オクルージョン領域と背景との境界に隣接した背景側の画素を中心とするため、補間画像を生成する際に、前景の画素が用いられることはない。したがって、補間画像生成部２６は、補間画像を生成するに際し、背景のみを用いて補間画像を生成することができる。

上述の構成によって、補間画像生成部２６は、背景の画素のみから補間画像を生成することができるため、本実施形態に係る多視点画像生成装置１を備えるテレビ１００は、補間画像と背景とが滑らかに繋がった画像を表示部４０に表示させることができる。さらに、テレビ１００は、補間画像と前景とが、その境界で切り離された画像を表示部４０に表示させることができる。

したがって、多視点画像生成装置１は、図１１（ａ）に示すように、新視点画像を新たに生成する際にオクルージョン領域が生じた場合であっても、（ｂ）に示すように、該オクルージョン領域を補間する補間画像を背景のみから生成し、ユーザに自然に知覚される画像を生成することができる。

図１１は、入力画像に含まれる前景及び背景と、オクルージョン領域との関係の一例を模式的に示す図である。図１１（ａ）は、前景と背景とに視差をつけることによりオクルージョン領域が生じた場合の画像の一例を示し、（ｂ）は、背景のみからオクルージョン領域を補間した場合の画像の一例を示している。

また、多視点画像生成装置１は、背景のみを用いて補間画像を生成することにより、オクルージョン領域を補間する際にも前景と背景との遠近感、及び、前景と背景とのバランスを適切に保つことができる。したがって、多視点画像生成装置１は、ユーザに与える違和感を低減した新視点画像を生成することができ、テレビ１００は、ユーザに与える違和感を低減した新視点画像を表示することができる。

これによって、ユーザは、違和感を感じることなく、オクルージョン領域の補間された新視点画像を視聴することができる。

なお、オクルージョン領域に含まれるある画素を含む行（ｘ方向）に含まれる画素であって境界に隣接する背景側の画素を中心として設定される対象領域に含まれる画素を用いて、補間画素を生成する構成を例に挙げて説明したが、これに限定されるものではない。例えば、オクルージョン領域に含まれるある画素を含む列（ｙ方向）に含まれる画素であって境界に隣接する背景側の画素を中心として設定される対象領域に含まれる画素を用いて、補間画素を生成する構成を採用してもよい。

また、テレビ１００の表示部４０に垂直な方向に対して、表示部４０の長手方向に角度を有する視点位置に応じた新視点画像を生成する場合に発生するオクルージョン領域における補間画像を生成する場合を例に挙げて説明したが、これに限定されるものではない。例えば、表示部４０に垂直な方向に対して、表示部４０の短手方向に角度を有する視点位置に応じた新視点画像を生成する場合にも、同様に発生するオクルージョン領域における補間画像を生成することができる。また、表示部４０に垂直な方向に対して、表示部４０の長手方向及び短手方向の双方に角度を有する視点位置に応じた新視点画像を生成する場合においても、同様に発生するオクルージョン領域における補間画像を生成することができる。

換言すれば、テレビ１００は、該テレビ１００を利用するユーザの両眼を結ぶ線分と平行な直線上に位置する新視点位置に応じた新視点画像を生成する場合に発生するオクルージョン領域における補間画像を生成する。

＜変形例＞
本実施形態における補間画素値の、他の算出方法について図１２を参照して説明する。図１２を参照して、オクルージョン領域の左側（ｘ軸負方向）が背景である場合における補間画素値の算出方法について、説明する。

図１２は、本変形例に係る多視点画像生成装置１における、オクルージョン領域の左側が背景である場合における補間画素値の算出方法の一例を模式的に示す図である。図１２（ａ）は、オクルージョン領域における、オクルージョン領域と背景との境界に隣接する画素に対応する補間画素値の算出に用いる画素を模式的に示している。図１２（ｂ）は、オクルージョン領域における、境界から２番目の画素に対応する補間画素値の算出を模式的に示している。図１２（ｃ）は、オクルージョン領域における、境界から所定の画素数だけ離れた画素に対応する補間画素の生成を模式的に示している。

図１２（ａ）〜（ｃ）に示すように、多視点変換部２０は、ある画素Ｉ’（ｘ，ｙ）を含む行（ｘ方向）に含まれる画素であって境界に隣接する背景側の画素を中心画素（ｘ１，ｙ１）として設定された対象領域から補間画素値を算出する。図１２（ｃ）に示すように、中心画素（ｘ１，ｙ１）からｘ軸方向にｉ画素分、ｙ軸方向にｊ画素分離れた位置の画素を（ｉ＋ｘ１，ｊ＋ｙ１）とすると、ある画素Ｉ’（ｘ，ｙ）の補間画素値は、次式（４）によって求めることができる。なお、ｉおよびｊは、負の値をとることもできる。

ここで、式（４）におけるＩ（ｉ＋ｘ１，ｊ＋ｙ１）は、対象領域に含まれる各画素の画素値を示している。また、重み関数ｗ（ｉ，ｊ）の値は、対象領域に含まれる各画素Ｉの判定フラグＦの値によって、式（３）のように与えられる。なお、重み関数ｗ（ｉ，ｊ）の値は、実施形態１において図８から図１０に示した重みと同じ重みの値を用いることができる。

＜実施形態２＞
実施形態１では、背景と前景とによって挟まれたオクルージョン領域を補間する補間画像を生成する構成について説明したが、本発明はこれに限定されるものではない。例えば、オクルージョン領域が背景と背景とによって挟まれた領域であっても、補間画像を生成することが出来る。

背景と背景とによって挟まれたオクルージョン領域における補間画像の生成について、図１３から図１５を参照して以下に説明する。図１３は、本実施形態に係る多視点画像生成装置１によって生成された新視点画像において生じるオクルージョン領域の一例を模式的に示す図である。

また、図１４は、背景と背景とに挟まれたオクルージョン領域の生じる過程を模式的に示す図である。図１４（ａ）は、入力画像に含まれる前景と背景との関係を示す図であり、（ｂ）は、前景と背景とが大きく乖離した際の前景及び背景と、及びオクルージョン領域との関係を示している。

多視点変換部２０において、図１４（ａ）に示す位置関係の前景及び背景を含む入力画像から、テレビ１００の表示部４０に垂直な方向に対して、水平方向に角度を有する視点位置に応じた新視点画像を表示する場合、図１４（ｂ）に示すように、基準画像に含まれる前景と背景とが大きく乖離することもある。このような場合には、図１４（ｂ）に示すように、前景が入力画像における位置と全く重複することのない位置まで視差がつけられるため、図１４に示すように、背景と背景とによって挟まれたオクルージョン領域が生じることになる。

（補間画素値の算出）
次に、補間画像生成部２６において実行される、オクルージョン領域における補間画像を構成する補間画素の補間画素値の算出方法について、図１５を参照して説明する。

図１５は、本実施形態に係る補間画像生成部２６における、オクルージョン領域の左右が共に背景である場合における補間画素値の算出方法の一例を模式的に示す図である。図１５（ａ）は、オクルージョン領域における、オクルージョン領域と背景との境界に隣接するオクルージョン領域側の画素における補間画素値の算出に用いる画素を模式的に示している。図１５（ｂ）は、オクルージョン領域における、境界から２番目の画素に対応する補間画素値の算出を模式的に示している。図１５（ｃ）は、オクルージョン領域における、境界からある画素数だけ離れた画素に対応する補間画素値の算出を模式的に示している。

図１５（ａ）〜（ｃ）に示すように、多視点変換部２０は、ある画素Ｉ’がオクルージョン領域のｘ方向の中心よりも左側（左側オクルージョン領域）に位置している場合には、当該ある画素Ｉ’を含む行に含まれる画素であって境界に隣接する背景側の画素を中心画素（ｘ０，ｙ０）として設定する。また、多視点変換部２０は、ある画素Ｉ’がオクルージョン領域のｘ方向の中心よりも右側（右側オクルージョン領域）に位置している場合には、当該ある画素Ｉ’を含む行に含まれる画素であって境界に隣接する背景側の画素を中心画素（ｘ１，ｙ１）として設定する。

多視点変換部２０は、上記のように中心画素の設定された対象領域から補間画素値を算出する。図１５（ａ）〜（ｃ）に示すように、ある画素Ｉ’の補間画素値は、当該ある画素Ｉ’が左側オクルージョン領域に位置している場合には、式（４）によって求めることができる。また、当該ある画素Ｉ’が右側オクルージョン領域に位置している場合には、式（２）によって求めることができる。

また、重み関数ｗ（ｉ，ｊ）の値は、対象領域に含まれる各画素Ｉの判定フラグＦの値によって、式（３）のように与えられる。なお、重み関数ｗ（ｉ，ｊ）の値は、実施形態１において図８から図１０に示した重みと同じ重みの値を用いることができるため、ここでは説明を省略する。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

〔プログラム、記録媒体〕
最後に、表示部４０を除く多視点画像生成装置１の各ブロック、特に、多視点変換部２０は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、表示部４０を除く多視点画像生成装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ、上記プログラムを展開するＲＡＭ、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである多視点画像生成装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記多視点画像生成装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ（登録商標）／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、多視点画像生成装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

なお、多視点画像生成装置１を備える表示装置がテレビ１００によって実現されている場合を例に挙げて説明したが、上記の実施形態は、これに限定されるものではない。例えば、表示装置は、多視点画像を利用して立体表示を行うことのできるパーソナルコンピュータ、携帯電話、スマートフォン、タブレット端末、タブレット型ＰＣ、カメラ、及び、ＰＤＡなどによって実現されていてもよい。

本発明は、立体表示可能な入力画像から多視点画像を生成する装置に利用することができる。また、多視点画像を利用して立体表示を行う装置に利用することができる。特に、多視点画像を利用して立体表示を行う３Ｄテレビジョン受像機、３Ｄカメラ、パーソナルコンピュータ、携帯電話、スマートフォン、タブレット端末、タブレット型ＰＣ、及び、ＰＤＡなどに好適に利用することができる。

１ 多視点画像生成装置
１０ 画像取得部
２０ 多視点変換部（新視点画像生成手段）
２１ 画像種別判定部
２２ 一致ブロック判定部
２３ 奥行き量算出部
２４ 新視差ベクトル算出部
２５ レンダリング部
２６ 補間画像生成部（補間画像生成手段）
２７ 境界平滑部
３０ ３Ｄ描画部
４０ 表示部

Claims (9)

1. 立体視可能な画像から、基準となる視点位置とは異なる１または複数の新たな視点位置に応じた画像である新視点画像を生成する新視点画像生成手段と、
   上記新視点画像に含まれるオクルージョン領域における補間画像を生成する補間画像生成手段と、を備え、
   上記補間画像生成手段は、上記オクルージョン領域における補間画像であって、上記オクルージョン領域と、上記オクルージョン領域に接する複数の領域のうち、より背後に位置する領域との境界から行方向にｋ番目（ｋは１以上の整数）の画素に対応する補間画像を、当該ｋ番目の画素を含む行に含まれる画素であって上記境界に隣接した上記のより背後に位置する領域側の画素を中心として設定される対象領域に含まれる画素群のうち、上記のより背後に位置する領域に属する画素のみに基づいて、上記補間画像を生成する、
   ことを特徴とする多視点画像生成装置。
2. 上記対象領域は、（２ｋ−１）行（２ｋ−１）列の画素群であり、
   上記補間画像生成手段は、上記補間画像を、上記対象領域に含まれる画素の各々に重みを積算することによって生成する、
   ことを特徴とする請求項１に記載の多視点画像生成装置。
3. 上記対象領域に含まれる画素であって上記オクルージョン領域に属する画素に積算される重みは、０である、
   ことを特徴とする請求項２に記載の多視点画像生成装置。
4. 上記対象領域に含まれる画素であって上記のより背後に位置する領域に属する画素に積算される重みは互いに等しい、
   ことを特徴とする請求項２または３に記載の多視点画像生成装置。
5. 上記対象領域に含まれる画素であって上記のより背後に位置する領域に属する画素に積算される重みは、ガウス分布を用いて定められる、
   ことを特徴とする請求項２または３に記載の多視点画像生成装置。
6. 請求項１から５の何れか１項に記載の多視点画像生成装置を備えている、
   ことを特徴とする表示装置。
7. 多視点画像生成装置の画像生成方法であって、
   立体視可能な画像から、基準となる視点位置とは異なる１または複数の新たな視点位置に応じた画像である新視点画像を生成する新視点画像生成ステップと、
   上記新視点画像に含まれるオクルージョン領域における補間画像を生成する補間画像生成ステップと、を含み、
   上記補間画像生成ステップにおいて、上記オクルージョン領域における補間画像であって、上記オクルージョン領域と、上記オクルージョン領域に接する複数の領域のうち、より背後に位置する領域との境界から行方向にｋ番目（ｋは１以上の整数）の画素に対応する補間画像を、当該ｋ番目の画素を含む行に含まれる画素であって上記境界に隣接した上記のより背後に位置する領域側の画素を中心として設定される対象領域に含まれる画素群のうち、上記のより背後に位置する領域に属する画素のみに基づいて、上記補間画像を生成する、
   ことを特徴とする画像生成方法。
8. コンピュータを請求項１から５の何れか１項に記載の多視点画像生成装置として動作させるためのプログラムであって、上記コンピュータを上記多視点画像生成装置の各手段として機能させるプログラム。
9. 請求項８に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images