JP6208455B2 - ３ｄディスプレイ装置およびその映像処理方法 - Google Patents

Description

本発明は、３Ｄディスプレイ装置およびその映像処理方法に関し、より詳細には、ユーザの視聴位置に応じて発生するＤｅａｄ Ｚｏｎｅを減らせる３Ｄディスプレイ装置およびその映像処理方法に関する。

最近、より臨場感のある視聴のために、３Ｄディスプレイ装置に対する開発への取り組みが加速化している。それにより、従来映画館で主に視聴していた３Ｄ映像信号を家庭でも、テレビのような一般のディスプレイ装置を用いて視聴することができるようになった。

一方、３Ｄ（Ｄｉｍｅｎｓｉｏｎｓ）ディスプレイ装置は、３Ｄ映像視聴用のメガネの使用有無に応じて、メガネ式または非メガネ式システムに分けられてよい。

メガネ式システムの一例としては、シャッタグラス方式のディスプレイ装置がある。シャッタグラス方式とは、左眼イメージおよび右眼イメージを交互に出力しつつ、それと連動してユーザが着用した３Ｄメガネの左右シャッタグラスを交互に開閉させてユーザが立体感を感じることができるようにする方式である。

非メガネ式システムは、オートステレオスコーピ（ａｕｔｏｓｔｅｒｅｏｓｃｏｐｙ）システムともいう。非メガネ方式の３Ｄディスプレイ装置は、光学的に分離された多視点映像をディスプレイしつつ、パララクスバリア（Ｐａｒａｌｌａｘ Ｂａｒｒｉｅｒ）技術またはレンチキュラー（Ｌｅｎｔｉｃｕｌａｒ）レンズを用いて、視聴者の左眼および右眼に異なる視点の映像に該当する光が投射されるようにし、ユーザが立体感を感じることができるようにする。

図１は、一般的な非メガネ３Ｄディスプレイ装置の多視点映像のディスプレイ動作を説明する図である。

図１に示すように、光学的に分離された１視点（Ｖｉｅｗ）から９視点（Ｖｉｅｗ）までの多視点映像を、１視点位置に１視点映像を、９視点映像に９視点映像を配置する方式でレンダリングして多視点映像を再生する。視聴者は、１視点から９視点の間に位置する場合、メガネを掛けずに３Ｄ映像を鑑賞することができ、視聴位置変更による運動視差（ｍｏｔｉｏｎ ｐａｒａｌｌａｘ）を感じることができるようになる。しかし、一般的な３Ｄディスプレイ装置は、１視点から９視点に映像が順次に配置されてディスプレイされるため、視聴位置によるＤｅａｄ Ｚｏｎｅが発生する可能性がある。

Ｄｅａｄ Ｚｏｎｅとは、視聴者の視聴位置がＮ視点から１視点に切り替わる位置を意味し、その位置は、遠く分離された両視点の映像を同時に見るようになるため、深刻なＣｒｏｓｓｔａｌｋが発生し、３Ｄ映像を視聴することができなくなる。図１に示すように、９視点映像と１視点映像とを同時に視聴するようになる位置がＤｅａｄ Ｚｏｎｅに該当する。

図２は、一般的な非メガネ３Ｄディスプレイ装置の多視点映像の配置パターンを示す図である。

図２を参照すると、図１において説明したように、多視点映像が各光学視点に合わせて順次に配置されるため、９視点と１視点との位置で急激な映像視点の差が発生するＤｅａｄ Ｚｏｎｅを確認することができる。

このように、従来の非メガネ３Ｄディスプレイ装置では、Ｄｅａｄ Ｚｏｎｅが発生し、そのＤｅａｄ ＺｏｎｅではＣｒｏｓｓｔａｌｋにより、３Ｄ映像を正常に視聴することができないという問題があった。

ＵＳ６８８８５４０

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、Ｄｅａｄ Ｚｏｎｅを減らす多視点映像処理方法を用いて、視聴者がどの位置からも不都合なく３Ｄ映像を視聴することができる３Ｄディスプレイ装置およびその映像処理方法を提供することにある。

上述の目的を達成するための本発明の一実施形態に係る３Ｄディスプレイ装置は、映像およびデプス情報を入力される映像入力部と、前記入力された映像とデプス情報とを用いて、予め設定されたデプス値より小さいデプス情報を有する多視点前景映像および前記デプス値以上のデプス情報を有する多視点後景映像を生成する多視点映像生成部と、前記多視点前景映像を第１配置パターンで配置し、前記多視点後景映像を第２配置パターンで配置してレンダリングする多視点映像レンダリング部と、前記レンダリングされた多視点映像を出力するディスプレイ部とを含む。

ここで、前記多視点前景映像および前記多視点後景映像の視点は、計Ｎ視点であり、前記第１配置パターンは、Ｎが奇数（２Ｋ−１、Ｋは自然数）である場合、第１視点から第Ｋ視点までは順次に配列し、その後、第Ｋ−１視点から第１視点までは逆順に配列するパターンが繰り返される配置パターンであり、Ｎが偶数（２Ｋ、Ｋは自然数）である場合、第１視点から第Ｋ＋１視点までは順次に配列し、その後、第ｋ視点から第２視点までは逆順に配列するパターンが繰り返される配置パターンであり、前記第２配置パターンは、前記第１配置パターンと同様でありながら、所定視点分だけシフトされて位相差を有するようにする配置パターンであってよい。

この場合、前記多視点前景映像および前記多視点後景映像の視点は、計９視点であり、前記第１配置パターンは、第１、２、３、４、５、４、３、２、１視点前景映像が繰り返し配置される配置パターンであり、前記第２配置パターンは、第２、３、４、５、４、３、２、１、２視点後景映像が繰り返し配置される配置パターンであってよい。

一方、前記多視点前景映像および前記多視点後景映像の視点は、計Ｎ視点であり、前記第１配置パターンは、第１視点から第Ｎ視点までの奇数視点を順次に配列し、その後、第Ｎ視点から第１視点までの偶数視点を逆順に配列するパターンが繰り返される配置パターンであり、前記第２配置パターンは、前記第１配置パターンと同様でありながら、所定視点分だけシフトされて位相差を有するようにする配置パターンであってよい。

この場合、前記多視点前景映像および前記多視点後景映像の視点は、計９視点であり、前記第１配置パターンは、第１、３、５、７、９、８、６、４、２視点前景映像が繰り返し配置される配置パターンであり、前記第２配置パターンは、第３、５、７、９、８、６、４、２、１視点後景映像が繰り返し配置される配置パターンであってよい。

一方、前記多視点前景映像および前記多視点後景映像の視点は、計Ｎ視点であり、前記第１配置パターンは、第１視点から第Ｎ視点までの奇数視点を順次に配列し、その後、第Ｎ視点から第１視点までの偶数視点を逆順に配列するパターンが繰り返される配置パターンであり、前記第２配置パターンは、Ｎが奇数である場合、第１視点を先に配列し、第２視点から第Ｎ視点までの偶数視点を順次に配列し、その後、第Ｎ視点から第２視点までの奇数視点を逆順に配列するパターンが繰り返される配置パターンであり、Ｎが偶数である場合、第１視点から第Ｎ視点までの偶数視点を順次に配列し、その後、第Ｎ視点から第１視点までの奇数視点を逆順に配列するパターンが繰り返される配置パターンであってよい。

この場合、前記多視点前景映像および前記多視点後景映像の視点は、計９視点であり、前記第１配置パターンは、第１、３、５、７、９、８、６、４、２視点前景映像が繰り返し配置される配置パターンであり、前記第２配置パターンは、第１、２、４、６、８、９、７、５、３視点後景映像が繰り返し配置される配置パターンであってよい。

本実施形態に係る３Ｄディスプレイ装置の映像処理方法は、映像およびデプス情報を入力されるステップと、前記入力された映像とデプス情報とを用いて、予め設定されたデプス値より小さいデプス情報を有する多視点前景映像および前記デプス値以上のデプス情報を有する多視点後景映像を生成するステップと、前記多視点前景映像を第１配置パターンで配置し、前記多視点後景映像を第２配置パターンで配置してレンダリングするステップと、前記レンダリングされた多視点映像を出力するステップとを含む。

ここで、前記多視点前景映像および前記多視点後景映像の視点は、計Ｎ視点であり、前記第１配置パターンは、Ｎが奇数（２Ｋ−１、Ｋは自然数）である場合、第１視点から第Ｋ視点までは順次に配列し、その後、第Ｋ−１視点から第１視点までは逆順に配列するパターンが繰り返される配置パターンであり、Ｎが偶数（２Ｋ、Ｋは自然数）である場合、第１視点から第Ｋ＋１視点までは順次に配列し、その後、第ｋ視点から第２視点までは逆順に配列するパターンが繰り返される配置パターンであり、前記第２配置パターンは、前記第１配置パターンと同様でありながら、所定視点分だけシフトされて位相差を有するようにする配置パターンであってよい。

この場合、前記多視点前景映像および前記多視点後景映像の視点は、計Ｎ視点であり、前記第１配置パターンは、第１視点から第Ｎ視点までの奇数視点を順次に配列し、その後、第Ｎ視点から第１視点までの偶数視点を逆順に配列するパターンが繰り返される配置パターンであり、前記第２配置パターンは、前記第１配置パターンと同様でありながら、所定視点分だけシフトされて位相差を有するようにする配置パターンであってよい。

一方、前記多視点前景映像および前記多視点後景映像の視点は、計Ｎ視点であり、前記第１配置パターンは、第１視点から第Ｎ視点までの奇数視点を順次に配列し、その後、第Ｎ視点から第１視点までの偶数視点を逆順に配列するパターンが繰り返される配置パターンであり、前記第２配置パターンは、Ｎが奇数である場合、第１視点を先に配列し、第２視点から第Ｎ視点までの偶数視点を順次に配列し、その後、第Ｎ視点から第２視点までの奇数視点を逆順に配列するパターンが繰り返される配置パターンであり、Ｎが偶数である場合、第１視点から第Ｎ視点までの偶数視点を順次に配列し、その後、第Ｎ視点から第１視点までの奇数視点を逆順に配列するパターンが繰り返される配置パターンであってよい。

本実施形態に係る３Ｄディスプレイ装置の映像処理方法を実行するためのプログラムを含むコンピュータ読み取り可能な記録媒体において、前記映像処理方法は、映像およびデプス情報を入力されるステップと、前記入力された映像とデプス情報とを用いて、予め設定されたデプス値より小さいデプス情報を有する多視点前景映像および前記デプス値以上のデプス情報を有する多視点後景映像を生成するステップと、前記多視点前景映像を第１配置パターンで配置し、前記多視点後景映像を第２配置パターンで配置してレンダリングするステップと、前記レンダリングされた多視点映像を出力するステップとを実行する。

以上説明したように、本発明によれば、映像レンダリング方法を用いて、視聴者がどの位置からも不都合なく３Ｄ映像を視聴することができるようにする効果を提供することができる。

なお、本発明の実施形態によると、映像処理方法は、多視点前景映像と多視点後景映像とを一定の位相差をおいて配置するパターンを用いて、正視区間と逆視区間との切り替えによる衝撃を緩和し、ユーザが不自然に感じかねない逆視区間を減らせる効果を得ることができる。

一般的な非メガネ式３Ｄディスプレイ装置の多視点映像のディスプレイ動作を説明する図である。 一般的な非メガネ式３Ｄディスプレイ装置の多視点映像のレンダリング動作を説明する図である。 本発明の一実施形態に係る３Ｄディスプレイ装置の構成を示すブロック図である。 本発明の一実施形態に係る多視点映像生成部の動作を説明するための図である。 本発明の第１実施形態に係る多視点映像の配置パターンを説明するための図である。 本発明の第１実施形態に係る多視点映像の配置パターンを説明するための図である。 本発明の第２実施形態に係る多視点映像の配置パターンを説明するための図である。 本発明の第２実施形態に係る多視点映像の配置パターンを説明するための図である。 本発明の第３実施形態に係る多視点映像の配置パターンを説明するための図である。 本発明の第３実施形態に係る多視点映像の配置パターンを説明するための図である。 本発明の一実施形態に係る多視点映像レンダリング部の動作を説明するための図である。 本発明の３Ｄディスプレイ装置の映像処理方法を説明するためのフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

図３は、本発明の一実施形態に係る３Ｄディスプレイ装置の構成を示す。３Ｄディスプレイ装置とは、コンテンツを３Ｄ方式でディスプレイし、ユーザに立体感を感じさせるための装置である。テレビやモニタ、パソコン、携帯電話、ラップトップコンピュータ、タブレットパソコン、デジタルフォトフレーム、電子書籍、ＰＤＡ等のような多様な装置が３Ｄディスプレイ装置で実現されてよい。一方、本発明の３Ｄディスプレイ装置は、非メガネ３Ｄディスプレイ方式で実現される。

図３を参照すると、３Ｄディスプレイ装置１００は、映像入力部１１０と、多視点映像生成部１２０と、多視点映像レンダリング部１３０およびディスプレイ部１４０を含む。

映像入力部１１０には、映像およびデプス情報が入力される。具体的に、映像入力部１１０は、外部の保存媒体、放送局、ウェブサーバ等のような各種外部装置から映像と映像のデプス情報とを受信されてよい。

ここで、入力される映像は、単一視点映像、ステレオ（ｓｔｅｒｅｏ）映像、多視点映像のうち、何れか一つの映像である。単一視点映像は、一般的な撮影装置によって撮影された映像であり、ステレオ映像（ｓｔｅｒｅｏｓｃｏｐｉｃ ｉｍａｇｅ）は、左眼映像と右眼映像のみで表現された３次元ビデオ映像として、ステレオ撮影装置によって撮影された立体映像である。一般的に、ステレオ撮影装置は、２つのレンズを具備した撮影装置として、立体映像を撮影するのに使用される。そして、多視点映像（ｍｕｌｔｉｖｉｅｗ ｉｍａｇｅ）は、一台以上の撮影装置を通じて撮影された映像を幾何学的に矯正して空間的な合成等を通じて様々な方向の多様な視点をユーザに提供する３次元ビデオ映像を意味する。

一方、映像入力部１１０は、映像のデプス情報を受信することができる。

ここで、デプス情報（ｄｅｐｔｈ）は、映像の各々のピクセル別に与えられたデプス値として、一例として、８ｂｉｔのデプス情報は０〜２５５までの値を有してよい。デプス情報は、一般的に、ステレオ整合（ｓｔｅｒｅｏ ｍａｔｃｈｉｎｇ）等のように、映像の２次元的な特性のみを有して得る受動的な方法と、デプスカメラ（ｄｅｐｔｈ ｃａｍｅｒａ）のような装備を用いる能動的な方法を通じて獲得することができる。一方、デプス情報は、デプスマップ（ｄｅｐｔｈ ｍａｐ）であってよい。

一般的に、距離が近い部分であるほど値が小さく、距離が遠い部分であるほど値が大きくなる。無論、その反対の場合も存在し、それは定義に応じて異なるが、本明細書では、説明の便宜のために、距離が近いほど値が小さくなる場合についてのみ考慮して説明を進める。

多視点映像生成部１２０は、入力された映像とデプス情報とを用いて、予め設定されたデプス値より小さいデプス情報を有する多視点前景映像およびデプス値以上のデプス情報を有する多視点後景映像を生成する。具体的に、多視点映像生成部１２０は、入力されたデプス情報を用いて、前景映像と後景映像とを分離し、区分された前景映像および後景映像を映像の種類に合った映像処理を通じて、多視点前景映像および多視点後景映像を生成することができる。

入力された映像から、前景映像および後景映像は映像のデプス情報を用いて分離することができる。以下では、前景映像および後景映像の分離方法を説明する。

８ｂｉｔのデプス情報を用いる実施形態を例に挙げて説明すると、ピクセル別に０から２５５のデプス値を有するようになる。この場合、前景と後景とを区分する基準となるデプス値は１２８に設定されてよい。ここで、ピクセルのデプス情報が１２８より小さい場合は前景映像に、１２８以上である場合は後景映像に分離することができる。すなわち、前景映像は、デプス値が１２８より小さいピクセルの集合であり、後景映像は、デプス値が１２８以上のピクセルの集合である。

ここで、予め設定されたデプス値は１２８であり、それはデプス情報をもつことができるデプス値の中間に該当する値である。上記のように、前景映像と後景映像とを分離する予め設定されたデプス値は、中間値に設定されるのが一般的であるが、それは変更されてよい。

前景映像および後景映像の分離方法についての更なる説明は、図４を参照して更に説明し、以下では、分離された前景映像および後景映像を用いて多視点前景映像および多視点後景映像を生成する方法について説明する。

無論、本発明の３Ｄディスプレイ装置１００で定められたｎ視点に対応してｎ視点の映像が与えられるとしたら、多視点映像生成は必要ない。しかし、実質的に、第Ｎ視点映像を撮影するためには、Ｎ個の撮影装置で同じ時間帯に撮影しなければならず、その容量も大きいため、実質的に受信することが困難といえる。

よって、単一視点映像またはＮ視点より少ない視点の映像を用いて仮想のｎ視点映像を生成しなければならない。

仮想の多視点映像の生成方法は、各視点のデプス情報と周辺視点における映像を利用する。

一例として、２視点映像を利用する場合、２視点映像の間にいくつかの新たな視点を作り、入力されたデプス情報を用いて１視点映像と２視点映像とを３次元空間に送った後、所望の視点で生成することができる。

このような映像処理技術を、３次元ワーピング（ｗａｒｐｉｎｇ）という。通常、単一視点映像よりは２次元映像を用いて生成した多視点映像のほうが、歪曲が少ない。

以上説明したように、多視点映像生成部１２０は、入力された映像およびデプス情報を用いて、多視点前景映像および多視点後景映像を生成することができるようになる。

多視点映像レンダリング部１３０は、多視点前景映像を第１配置パターンで配置し、多視点後景映像を第２配置パターンで配置してレンダリングする。ここで、第２配置パターンは、実施形態に応じて第１配置パターンと同様であってよい。

Ｄｅａｄ Ｚｏｎｅを減らすために、各実施形態に係る配置パターンについて説明する。

第１実施形態に係る第１配置パターンおよび第２配置パターンは、以下のとおりである。

ここで、多視点前景映像および前記多視点後景映像の視点は、計Ｎ視点とする。第１実施形態に係る第１配置パターンおよび第２配置パターンは、計Ｎ視点が奇数である場合と偶数である場合との実施形態が異なるため、それを区分して説明する。

Ｎが奇数（２Ｋ−１、Ｋは自然数）である場合、第１配置パターンは、第１視点から第Ｋ視点までは順次に配列し、その後、第Ｋ−１視点から第１視点までは逆順に配列するパターンが繰り返される配置パターンと定義されてよい。そして、それによる第２配置パターンは、第１配置パターンと同様でありながら、所定の視点分だけシフトされて位相差を有するようにする配置パターンで定義されてよい。

一例として、計９視点である場合、第１実施形態に係る第１配置パターンは、第１、２、３、４、５、４、３、２、１視点前景映像が繰り返し配置される配置パターンであり、第２配置パターンは、第２、３、４、５、４、３、２、１、２視点後景映像が繰り返し配置される配置パターンで定義される。

一方、Ｎが偶数（２Ｋ、Ｋは自然数）である場合、第１視点から第Ｋ＋１視点までは順次に配列し、その後、第ｋ視点から第２視点までは逆順に配列するパターンが繰り返される配置パターンで定義されてよい。そして、それによる第２配置パターンは、第１配置パターンと同様でありながら、所定の視点分だけシフトされて位相差を有するようにする配置パターンで定義されてよい。

一例として、計８視点である場合、第１実施形態に係る第１配置パターンは、第１、２、３、４、５、４、３、２視点前景映像が繰り返し配置される配置パターンであり、第２配置パターンは、第２、３、４、５、４、３、２、１視点後景映像が繰り返し配置される配置パターンで定義される。

上述のような第１実施形態に係る配置パターンは、図５および図６を参照して、詳細に説明する。

第２実施形態に係る第１配置パターンおよび第２配置パターンは、以下のとおりである。

ここで、多視点前景映像および多視点後景映像の視点は、第１実施形態のように、計Ｎ視点とする。しかし、第１実施形態と違って、第２実施形態に係る第１配置パターンおよび第２配置パターンは、計Ｎ視点が奇数である場合と偶数である場合との実施形態が同様であるため、それを区分せずに説明を進める。

第１配置パターンは、第１視点から第Ｎ視点までの奇数視点を順次に配列し、その後、第Ｎ視点から第１視点までの偶数視点を逆順に配列するパターンが繰り返される配置パターンで定義されてよい。そして、前記第２配置パターンは、第１配置パターンと同様でありながら、所定視点分だけシフトされて位相差を有するようにする配置パターンで定義されてよい。

一例として、計９視点である場合、第２実施形態に係る前記第１配置パターンは、第１、３、５、７、９、８、６、４、２視点前景映像が繰り返し配置される配置パターンで定義される。そして、前記第２配置パターンは、第３、５、７、９、８、６、４、２、１視点後景映像が繰り返し配置される配置パターンで定義される。

一方、計８視点である場合、第２実施形態に係る第１配置パターンは、第１、３、５、７、８、６、４、２視点前景映像が繰り返し配置される配置パターンで定義される。そして、第２配置パターンは、第３、５、７、８、６、４、２、１視点後景映像が繰り返し配置される配置パターンで定義される。

上述のような第２実施形態に係る配置パターンは、図７および図８を参照して、詳細に説明する。

第３実施形態に係る第１配置パターンおよび第２配置パターンは、以下のとおりである。

ここで、多視点前景映像および多視点後景映像の視点は、第１、２実施形態と同様に計Ｎ視点とする。しかし、第１、２実施形態と違って、第３実施形態に係る第１配置パターンおよび第２配置パターンは完全に異なる配置パターンで設計されている。

第３実施形態に係る第１配置パターンは、第１視点から第Ｎ視点までの奇数視点を順次に配列し、その後、第Ｎ視点から第１視点までの偶数視点を逆順に配列するパターンが繰り返される配置パターンで定義されてよい。そして、第２配置パターンは、Ｎが奇数である場合、第１視点を先に配列し、第２視点から第Ｎ視点までの偶数視点を順次に配列し、その後、第Ｎ視点から第２視点までの奇数視点を逆順に配列するパターンが繰り返される配置パターンであり、Ｎが偶数である場合、第１視点から第Ｎ視点までの偶数視点を順次に配列し、その後、第Ｎ視点から第１視点までの奇数視点を逆順に配列するパターンが繰り返される配置パターンで定義されてよい。

一例として、計９視点である場合、第３実施形態に係る第１配置パターンは、第１、３、５、７、９、８、６、４、２視点前景映像が繰り返し配置される配置パターンで定義される。そして、前記第２配置パターンは、第１、２、４、６、８、９、７、５、３視点後景映像が繰り返し配置される配置パターンで定義される。

一方、計８視点である場合、第３実施形態に係る第１配置パターンは、第１、３、５、７、８、６、４、２視点前景映像が繰り返し配置される配置パターンで定義される。そして、前記第２配置パターンは、第２、４、６、８、７、５、３、１視点後景映像が繰り返し配置される配置パターンで定義される。

上述のような第３実施形態に係る配置パターンは、図９および図１０を参照して詳細に説明する。

以上のような配置パターンをもつように設計することにより、視聴者の位置がどこであっても、急激な映像視点の変化が存在しないため、Ｄｅａｄ Ｚｏｎｅが消える効果を得ることができる。

一方、前景映像および後景映像を分離していない多視点映像を、第１、２、３実施形態の第１配置パターンのように配置してレンダリングする場合にも、急激な映像視点の変化を減らすことができるため、上述の効果を得ることができる。

しかし、前景映像および後景映像を分離しない多視点映像では、視点が順次に配置される正視（Ｓｔｅｒｅｏ）区間と視点が逆順に配置される逆視（Ｐｓｅｕｄｏ Ｓｔｅｒｅｏ）区間が発生することにより、ユーザの位置に応じて正視区間と逆視区間の切り替えによる衝撃が発生しかねない。

よって、本発明は、多視点前景映像と多視点後景映像とを一定の位相差をおいて配置するパターンを用いて、正視区間と逆視区間の切り替えによる衝撃を緩和し、ユーザが不自然と感じる可能性のある逆視区間を減らすことができる効果を更に得ることができる。

ディスプレイ部１４０は、レンダリングされた多視点映像を出力する。具体的に、多視点映像レンダリング１３０でレンダリングされた多視点映像を光学的に分離し、視聴者に分離された多視点映像をディスプレイすることができる。ここで、多視点映像の光学的な分離方法には、視差障壁（Ｐａｒａｌｌａｘ Ｂａｒｒｉｅｒ）を用いる方法と、レンチキュラーレンズを利用する方法とがある。上述の光学的な分離方法によって分離された多視点映像は、３Ｄディスプレイ装置１００の前に繰り返し分離されて現れるため、視聴者は両眼視差による３Ｄ映像を視聴することができる。

以上のように説明した３Ｄディスプレイ装置１００は、Ｄｅａｄ Ｚｏｎｅを減らす多視点映像処理方法を用いて、視聴者がどの位置からも不都合なく３Ｄ映像を視聴することができるようにする効果をもたらす。

図４は、本発明の一実施形態に係る多視点映像生成部１２０の動作を説明するための図である。具体的に、図４は、映像入力部１１０で入力された映像をデプス情報を用いて、前景映像および後景映像に分離する動作について説明する。

全映像は、前景映像と後景映像とを含んでいる。図１において説明したように、前景映像は予め設定されたデプス値より小さいデプス情報を有するピクセルの集合であり、後景映像は予め設定されたデプス値以上のデプス情報を有するピクセルの集合である。

以下、説明の便宜のため、デプス情報は８ｂｉｔとし、０〜２５５の値を有することができると仮定する。

図４において、斜線で表示された木４１０を示すピクセル値のデプス情報は７０であり、黒で表示された木４２０を示すピクセル値のデプス情報は１５０であり、背景４３０を示すピクセル値のデプス情報は２５５とすると、１２５を基準として１２５より低いデプス値を有する斜線で表示された木４１０を示すピクセルは前景映像に、１２５より大きい値を有する黒で表示された木４２０と背景４３０は後景映像に分離することができる。

以上、図４において説明したように、多視点映像生成部４２０は、予め設定された基準を用いて前景映像と後景映像とを分離することができる。

以下、図５ないし図１０では、多視点映像レンダリング部４３０で多視点映像を配置するパターンについて説明する。ここで、多視点前景映像および多視点後景映像は、計９視点で構成されたものとして仮定して説明するが、３Ｄディスプレイ装置１００の設定により、８視点等、別の多視点で構成された場合も適用されてよい。

図５および図６は、本発明の第１実施形態に係る多視点映像の配置パターンを説明するための図である。

第１実施形態に係る第１配置パターン、すなわち、多視点前景映像の配置パターンは、第１視点から第Ｋ視点までは順次に配列し、その後、第Ｋ−１視点から第１視点まで逆順に配列するパターンが繰り返される配置パターンで定義されてよい。そして、第２配置パターンは、すなわち、多視点後景映像の配置パターンは、第１配置パターンと同様でありながら、所定の視点分だけシフトされて位相差を有するようにする配置パターンで定義されてよい。ここで、所定の視点を１視点とすることが望ましいが、ユーザの設定により変更されてよい。

図５を参照すると、以下の表１のように、光学視点に多視点前景映像および多視点後景映像が配置されてよい。

図５に示すように、光学視点５、６区間で、前景映像視点は逆視（Ｐｓｅｕｄｏ Ｓｔｅｒｅｏ）に該当し、後景映像視点は正視（Ｓｔｅｒｅｏ）に該当する。前景映像視点は、光学視点５、６区間で正視から逆視に切り替わり、後景映像視点は、光学視点６、７区間で正視から逆視に切り替わる。それは、前景映像が先に正視から逆視に切り替わった後、後景が正視から逆視に切り替わるため、正／逆視切り替えによる衝撃を緩和する効果をもたらす。なお、前景および後景を分離していない多視点映像の場合より逆視区間が少なくなるため、ユーザが不自然に感じる可能性のある逆視区間を減らすことができるという効果を更に得ることができる。

図６は、３Ｄディスプレイ装置１００が、第１実施形態によってレンダリングされた多視点映像を光学的に分離してディスプレイする動作を示す。各光学視点に対応して第１実施形態によって配置された前景映像および後景映像の視点を示している。一例として、視聴者が光学視点５、６区間に位置する場合、視聴者の左眼には４視点の前景映像と３視点の後景映像とが映り、右眼には５視点の前景映像と４視点の後景映像とが映ってよい。

図７および図８は、本発明の第２実施形態に係る多視点映像の配置パターンを説明するための図である。

第２実施形態に係る第１配置パターン、すなわち、多視点前景映像の配置パターンは、第１視点から第Ｎ視点までの奇数視点を順次に配列し、その後、第Ｎ視点から第１視点までの偶数視点を逆順に配列するパターンが繰り返される配置パターンで定義されてよい。そして、第２配置パターンは、すなわち、多視点後景映像の配置パターンは、第１配置パターンと同様でありながら、所定の視点分だけシフトされて位相差を有するようにする配置パターンで定義されてよい。ここで、所定の視点を１視点とすることが望ましいが、ユーザの設定により変更されてよい。

図７を参照すると、以下の表２のように、光学視点に多視点前景映像および多視点後景映像が配置されてよい。

図７に示すように、光学視点５、６区間で、前景映像視点は逆視（Ｐｓｅｕｄｏ Ｓｔｅｒｅｏ）に該当し、後景映像視点は正視（Ｓｔｅｒｅｏ）に該当する。前景映像視点は、光学視点５、６区間で正視から逆視に切り替わり、後景映像視点は、光学視点６、７区間で正視から逆視に切り替わる。それは、前景映像が先に正視から逆視に切り替わった後、後景が正視から逆視に切り替わるため、正／逆視切り替えによる衝撃を緩和する効果をもたらす。なお、前景および後景を分離していない多視点映像の場合より逆視区間が少なくなるため、ユーザが不自然に感じる可能性のある逆視区間を減らすことができるという効果を更に得ることができる。

図８は、３Ｄディスプレイ装置１００が、第２実施形態によってレンダリングされた多視点映像を光学的に分離してディスプレイする動作を示す。各光学視点に対応して第１実施形態によって配置された前景映像および後景映像の視点を示している。一例として、視聴者が光学視点５、６区間に位置する場合、視聴者の左眼には９視点の前景映像と７視点の後景映像とが映り、右眼には８視点の前景映像と９視点の後景映像とが映ってよい。

図９および図１０は、本発明の第３実施形態に係る多視点映像の配置パターンを説明するための図である。

第３実施形態に係る第１配置パターン、すなわち、多視点前景映像の配置パターンは、第１視点から第Ｎ視点までの奇数視点を順次に配列し、その後、第Ｎ視点から第１視点までの偶数視点を逆順に配列するパターンが繰り返される配置パターンで定義されてよい。そして、第２配置パターンは、Ｎが奇数である場合、第１視点を先に配列し、第２視点から第Ｎ視点までの偶数視点を順次に配列し、その後、第Ｎ視点から第２視点までの偶数視点を逆順に配列するパターンが繰り返される配置パターンであり、Ｎが偶数である場合、第１視点から第Ｎ視点までの偶数視点を順次に配列し、その後、第Ｎ視点から第１視点までの奇数視点を逆順に配列するパターンが繰り返される配置パターンで定義されてよい。

図９を参照すると、以下の表３のように、光学視点に多視点前景映像および多視点後景映像が配置されてよい。

図９に示すように、光学視点５、６区間で、前景映像視点は逆視（Ｐｓｅｕｄｏ Ｓｔｅｒｅｏ）に該当し、後景映像視点は正視（Ｓｔｅｒｅｏ）に該当する。前景映像視点は、光学視点５、６区間で正視から逆視に切り替わり、後景映像視点は、光学視点６、７区間で正視から逆視に切り替わる。それは、前景映像が先に正視から逆視に切り替わった後、後景が正視から逆視に切り替わるため、正／逆視切り替えによる衝撃を緩和する効果をもたらす。なお、前景および後景を分離していない多視点映像の場合より逆視区間が少なくなるため、ユーザが不自然に感じる可能性のある逆視区間を減らすことができるという効果を更に得ることができる。

図１０は、３Ｄディスプレイ装置１００が、第３実施形態によってレンダリングされた多視点映像を光学的に分離してディスプレイする動作を示す。各光学視点に対応して第１実施形態によって配置された前景映像および後景映像の視点を示している。一例として、視聴者が光学視点５、６区間に位置する場合、視聴者の左眼には９視点の前景映像と８視点の後景映像とが映り、右眼には８視点の前景映像と９視点の後景映像とが映ってよい。

図１１は、本発明の一実施形態に係る多視点映像レンダリング部１３０の動作を説明するための図である。具体的に、予め設定された配置パターンによって配置されてディスプレイされる一つのフレームでレンダリングする方法について説明する。ここで、多視点前景映像および多視点後景映像は、計８視点で構成されたものを仮定して説明する。

図１１を参照すると、多視点映像生成部１２０で分離された映像の前景領域１１１０および後景領域１１２０に対して、前景領域１１１０には多視点前景映像が予め設定された配置パターンで配置されたピクセルのみをもってレンダリングを行い、後景領域１１２０には多視点後景映像が予め設定された配置パターンで配置されたピクセルのみをもってレンダリングを行うことができる。

ここで、各領域に対するピクセル（Ｐｉｘｅｌ）配置図は、第３実施形態に係る配置パターンが適用されたものであり、各ピクセルに配置された数字は視点の番号を意味し、ｆは前景、ｂは後景を意味する。

以上、説明したように、多視点映像レンダリング部１３０は、予め設定された配置パターンによって配置された前景映像および多視点後景映像を一つのフレームでレンダリングし、ディスプレイ部１４０にレンダリングされた多視点映像を提供することができる。

図１２は、本発明の３Ｄディスプレイ装置１００の映像処理方法を説明するためのフローチャートである。

図１２を参照すると、３Ｄディスプレイ装置１００は、映像およびデプス情報が入力される（Ｓ１２１０）。

そして、３Ｄディスプレイ装置１００は、入力された映像とデプス情報とを用いて、予め設定されたデプス値より小さいデプス情報を有する多視点後景映像および前記デプス値以上のデプス情報を有する多視点後景映像を生成する（Ｓ１２２０）。

多視点前映像および多視点後景映像の生成方法については、図１を参照して説明しているため、繰り返し説明は省略する。

そして、３Ｄディスプレイ装置１００は、多視点前景映像を第１配置パターンで配置し、多視点後景映像を第２配置パターンで配置してレンダリングする（Ｓ１２３０）。

ここで、多視点前景映像および多視点後景映像の視点は、計Ｎ視点であってよい。

一方、本発明の第１実施形態によると、第１配置パターンは、Ｎが奇数（２Ｋ−１、Ｋは自然数）である場合、第１視点から第Ｋ視点までは順次に配列し、その後、第Ｋ−１視点から第１視点までは逆順に配列するパターンが繰り返される配置パターンであり、Ｎが偶数（２Ｋ、Ｋは自然数）である場合、第１視点から第Ｋ＋１視点までは順次に配列し、その後、第ｋ視点から第２視点までは逆順に配列するパターンが繰り返される配置パターンで定義されてよい。そして、第２配置パターンは、第１配置パターンと同様でありながら、所定視点分だけシフトされて位相差を有するようにする配置パターンで定義されてよい。

一方、本発明の第２実施形態によると、前記第１配置パターンは、第１視点から第Ｎ視点までの奇数視点を順次に配列し、その後、第Ｎ視点から第１視点までの偶数視点を逆順に配列するパターンが繰り返される配置パターンで定義されてよい。そして、第２配置パターンは、第１配置パターンと同様でありながら、所定視点分だけシフトされて位相差を有するようにする配置パターンで定義されてよい。

一方、本発明の第３実施形態によると、前記第１配置パターンは、第１視点から第Ｎ視点までの奇数視点を順次に配列し、その後、第Ｎ視点から第１視点までの偶数視点を逆順に配列するパターンが繰り返される配置パターンで定義されてよい。そして、前記第２配置パターンは、Ｎが奇数である場合、第１視点を先に配列し、第２視点から第Ｎ視点までの偶数視点を順次に配列し、その後、第Ｎ視点から第２視点までの奇数視点を逆順に配列するパターンが繰り返される配置パターンであり、Ｎが偶数である場合、第１視点から第Ｎ視点までの偶数視点を順次に配列し、その後、第Ｎ視点から第１視点までの奇数視点を逆順に配列するパターンが繰り返される配置パターンで定義されてよい。

レンダリングが完了すると、３Ｄディスプレイ装置１００は、レンダリングされた多視点映像を出力する（Ｓ１２４０）。

一方、図１２のような３Ｄディスプレイ装置１００の映像処理方法は、図３の構成を有する３Ｄディスプレイ装置１００で実施されてよく、その他の構成を有する３Ｄディスプレイ装置でも実行されてよい。

以上のように、本発明の実施形態に係る３Ｄディスプレイ装置１００の映像処理方法は、Ｄｅａｄ Ｚｏｎｅを減らす映像レンダリング方法を用いて、視聴者がどの位置からも不都合なく３Ｄ映像を視聴することができるようにする効果を提供することができる。

なお、本発明の実施形態に係る３Ｄディスプレイ装置１００の映像処理方法は、多視点前景映像と多視点後景映像を一定の位相差をおいて配置するパターンを用いて、正視区間と逆視区間との切り替えによる衝撃を緩和し、ユーザが不自然に感じかねない逆視区間を減らすことができる効果を更にもたらすことができる。

一方、このような多様な実施形態に係る方法は、プログラミングされて各種保存媒体に保存されてよい。それにより、保存媒体を実行する多様な電子装置で上述の多様な実施形態に係る方法が実現されてよい。

なお、上述のような映像処理方法は、コンピュータで実行される実行可能なアルゴリズムを含むプログラムで実行されてよく、前記プログラムは非一時的な読み取り可能な媒体（Ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）に保存された提供されてよい。

非一時的な読み取り可能な媒体とは、レジスタやキャッシュ、メモリ等のような短い間データを保存する媒体ではなく、半永久的にデータを保存し、機器によって読み取り（Ｒｅａｄｉｎｇ）が可能な媒体を意味する。具体的には、上述の多様なアプリケーションまたはプログラムは、ＣＤやＤＶＤ、ハードディスク、ブルーレイディスク、ＵＳＢ、メモリカード、ＲＯＭ等のような非一時的な読み取り可能な媒体に保存されて提供されてよい。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

Claims (12)

1. ３Ｄディスプレイ装置において、
   映像およびデプス情報を入力される映像入力部と、
   前記入力された映像とデプス情報とを用いて、予め設定されたデプス値より小さいデプス情報を有する多視点前景映像および前記デプス値以上のデプス情報を有する多視点後景映像を生成する多視点映像生成部と、
   前記多視点前景映像を第１配置パターンで配置し、前記多視点後景映像を第２配置パターンで配置してレンダリングする多視点映像レンダリング部と、
   前記レンダリングされた多視点映像を出力するディスプレイ部と
   を含み、
   前記第２配置パターンは、前記第１配置パターンが所定視点分シフトされた配置パターンである
   ３Ｄディスプレイ装置。
2. 前記多視点前景映像および前記多視点後景映像の視点は、計Ｎ視点であり、
   前記第１配置パターンは、
   Ｎが奇数（２Ｋ−１、Ｋは自然数）である場合、第１視点から第Ｋ視点までは順次に配列し、その後、第Ｋ−１視点から第１視点までは逆順に配列するパターンが繰り返される配置パターンであり、Ｎが偶数（２Ｋ、Ｋは自然数）である場合、第１視点から第Ｋ＋１視点までは順次に配列し、その後、第ｋ視点から第２視点までは逆順に配列するパターンが繰り返される配置パターンであることを特徴とする請求項１に記載の３Ｄディスプレイ装置。
3. 前記多視点前景映像および前記多視点後景映像の視点は、計９視点であり、
   前記第１配置パターンは、
   第１、２、３、４、５、４、３、２、１視点前景映像が繰り返し配置される配置パターンであり、
   前記第２配置パターンは、
   第２、３、４、５、４、３、２、１、２視点後景映像が繰り返し配置される配置パターンであることを特徴とする請求項２に記載の３Ｄディスプレイ装置。
4. 前記多視点前景映像および前記多視点後景映像の視点は、計Ｎ視点であり、
   前記第１配置パターンは、
   第１視点から第Ｎ視点までの奇数視点を順次に配列し、その後、第Ｎ視点から第１視点までの偶数視点を逆順に配列するパターンが繰り返される配置パターンであることを特徴とする請求項１に記載の３Ｄディスプレイ装置。
5. 前記多視点前景映像および前記多視点後景映像の視点は、計９視点であり、
   前記第１配置パターンは、
   第１、３、５、７、９、８、６、４、２視点前景映像が繰り返し配置される配置パターンであり、
   前記第２配置パターンは、
   第３、５、７、９、８、６、４、２、１視点後景映像が繰り返し配置される配置パターンであることを特徴とする請求項４に記載の３Ｄディスプレイ装置。
6. ３Ｄディスプレイ装置において、
   映像およびデプス情報を入力される映像入力部と、
   前記入力された映像とデプス情報とを用いて、予め設定されたデプス値より小さいデプス情報を有する多視点前景映像および前記デプス値以上のデプス情報を有する多視点後景映像を生成する多視点映像生成部と、
   前記多視点前景映像を第１配置パターンで配置し、前記多視点後景映像を第２配置パターンで配置してレンダリングする多視点映像レンダリング部と、
   前記レンダリングされた多視点映像を出力するディスプレイ部と
   を含み、
   前記多視点前景映像および前記多視点後景映像の視点は、計Ｎ視点であり、
   前記第１配置パターンは、
   第１視点から第Ｎ視点までの奇数視点を順次に配列し、その後、第Ｎ視点から第１視点までの偶数視点を逆順に配列するパターンが繰り返される配置パターンであり、
   前記第２配置パターンは、
   Ｎが奇数である場合、第１視点を先に配列し、第２視点から第Ｎ視点までの偶数視点を順次に配列し、その後、第Ｎ視点から第２視点までの奇数視点を逆順に配列するパターンが繰り返される配置パターンであり、Ｎが偶数である場合、第１視点から第Ｎ視点までの偶数視点を順次に配列し、その後、第Ｎ視点から第１視点までの奇数視点を逆順に配列するパターンが繰り返される配置パターンであることを特徴とする３Ｄディスプレイ装置。
7. 前記多視点前景映像および前記多視点後景映像の視点は、計９視点であり、
   前記第１配置パターンは、
   第１、３、５、７、９、８、６、４、２視点前景映像が繰り返し配置される配置パターンであり、
   前記第２配置パターンは、
   第１、２、４、６、８、９、７、５、３視点後景映像が繰り返し配置される配置パターンであることを特徴とする請求項６に記載の３Ｄディスプレイ装置。
8. ３Ｄディスプレイ装置の映像処理方法において、
   映像およびデプス情報を入力されるステップと、
   前記入力された映像とデプス情報とを用いて、予め設定されたデプス値より小さいデプス情報を有する多視点前景映像および前記デプス値以上のデプス情報を有する多視点後景映像を生成するステップと、
   前記多視点前景映像を第１配置パターンで配置し、前記多視点後景映像を第２配置パターンで配置してレンダリングするステップと、
   前記レンダリングされた多視点映像を出力するステップと
   を含み、
   前記第２配置パターンは、前記第１配置パターンが所定視点分シフトされた配置パターンである
   映像処理方法。
9. 前記多視点前景映像および前記多視点後景映像の視点は、計Ｎ視点であり、
   前記第１配置パターンは、
   Ｎが奇数（２Ｋ−１、Ｋは自然数）である場合、第１視点から第Ｋ視点までは順次に配列し、その後、第Ｋ−１視点から第１視点までは逆順に配列するパターンが繰り返される配置パターンであり、Ｎが偶数（２Ｋ、Ｋは自然数）である場合、第１視点から第Ｋ＋１視点までは順次に配列し、その後、第ｋ視点から第２視点までは逆順に配列するパターンが繰り返される配置パターンであることを特徴とする請求項８に記載の映像処理方法。
10. 前記多視点前景映像および前記多視点後景映像の視点は、計Ｎ視点であり、
    前記第１配置パターンは、
    第１視点から第Ｎ視点までの奇数視点を順次に配列し、その後、第Ｎ視点から第１視点までの偶数視点を逆順に配列するパターンが繰り返される配置パターンであることを特徴とする請求項８に記載の映像処理方法。
11. ３Ｄディスプレイ装置の映像処理方法において、
    映像およびデプス情報を入力されるステップと、
    前記入力された映像とデプス情報とを用いて、予め設定されたデプス値より小さいデプス情報を有する多視点前景映像および前記デプス値以上のデプス情報を有する多視点後景映像を生成するステップと、
    前記多視点前景映像を第１配置パターンで配置し、前記多視点後景映像を第２配置パターンで配置してレンダリングするステップと、
    前記レンダリングされた多視点映像を出力するステップと
    を含み、
    前記多視点前景映像および前記多視点後景映像の視点は、計Ｎ視点であり、
    前記第１配置パターンは、
    第１視点から第Ｎ視点までの奇数視点を順次に配列し、その後、第Ｎ視点から第１視点までの偶数視点を逆順に配列するパターンが繰り返される配置パターンであり、
    前記第２配置パターンは、
    Ｎが奇数である場合、第１視点を先に配列し、第２視点から第Ｎ視点までの偶数視点を順次に配列し、その後、第Ｎ視点から第２視点までの奇数視点を逆順に配列するパターンが繰り返される配置パターンであり、Ｎが偶数である場合、第１視点から第Ｎ視点までの偶数視点を順次に配列し、その後、第Ｎ視点から第１視点までの奇数視点を逆順に配列するパターンが繰り返される配置パターンであることを特徴とする映像処理方法。
12. ３Ｄディスプレイ装置の映像処理方法を実行するためのコンピュータプログラムであって、前記３Ｄディスプレイ装置の処理部に、
    前記映像処理方法の
    映像およびデプス情報を入力されるステップと、
    前記入力された映像とデプス情報とを用いて、予め設定されたデプス値より小さいデプス情報を有する多視点前景映像および前記デプス値以上のデプス情報を有する多視点後景映像を生成するステップと、
    前記多視点前景映像を第１配置パターンで配置し、前記多視点後景映像を第２配置パターンで配置してレンダリングするステップと、
    前記レンダリングされた多視点映像を出力するステップと
    を実行し、
    前記第２配置パターンは、前記第１配置パターンが所定視点分シフトされた配置パターンである
    非一時的読み取り可能な記録媒体。

Images