JP6449428B2 - 曲面状多視点映像ディスプレイ装置及びその制御方法 - Google Patents

Description

本発明は、曲面状多視点映像ディスプレイ装置及びその制御方法に関し、より詳細には、裸眼式の曲面状多視点映像ディスプレイ装置及びその制御方法に関する。

電子技術の発達により、多様な電子機器が開発及び普及されている。特に、一般家庭で最も使われている家電製品の１つであるテレビのようなディスプレイ装置はここ数年間急ピッチで発展しつつある。

ディスプレイ装置の性能が高級化するにつれて、ディスプレイ装置でディスプレイするコンテンツの種類も多様化しつつある。特に、最近は、３Ｄコンテンツまで視聴することのできる立体ディスプレイシステムが開発及び普及されている。

一方、立体ディスプレイシステムは、３Ｄ映像視聴用メガネの使用有無に応じて、メガネ式または裸眼式システムに分かれている。

メガネ式システムの一例としては、シャッタグラフ方式のディスプレイ装置がある。シャッタグラス方式とは、左眼イメージ及び右眼イメージを交互に出力しつつ、それと連動して視聴者が着用した３Ｄメガネの左右シャッタグラスを交互に開閉させて視聴者が立体感を感じることができるようにする方式である。

裸眼式システムは、オートステレオスコピ（Ａｕｔｏｓｔｅｒｅｏｓｃｏｐｙ）システムともいう。裸眼式方式の３Ｄディスプレイ装置は、光学的に分離された多視点映像をディスプレイしつつパララックスバリア（Ｐａｒａｌｌａｘ Ｂａｒｒｉｅｒ）技術またはレンチキュラ（Ｌｅｎｔｉｃｕｌａｒ）レンズを用いて視聴者の左眼及び右眼に異なる視点の映像に該当する光が投射するようにし、視聴者が立体感を感じることができるようにする。

一方、裸眼式システムがＮの光学ビューを有する場合、入力された映像に対するレンダリングを通じてＮの多視点映像を生成して映像を提供することができる。ただ、ディスプレイ装置が曲面状の場合、従来のレンダリング方法としてはＮの多視点映像を生成して映像を提供するとしても、視聴者の左眼及び右眼に異なる視点の映像に該当する光が正確に投射されずに、視聴者が鮮明な映像を視聴することができない。

図１は、従来の平面状多視点映像ディスプレイ装置と曲面状多視点映像ディスプレイ装置とを示す図である。

従来の平面状多視点映像ディスプレイ装置は、図１に示すように、５つの光学ビューが存在する場合、それぞれの光学ビューに該当する映像の光が投射されて視聴者の視聴に不都合が生じない。

しかし、曲面状多視点映像ディスプレイ装置は、図１に示すように、視聴者の集中度を高めることができるが、５つの光学ビューが存在する場合、それぞれの光学ビューに該当する映像の光が視聴者の左眼及び右眼に正確に投射されないため、視聴者に鮮明な映像を提供することができないという問題点があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、多視点映像提供において平面状多視点映像ディスプレイ装置のように鮮明な映像を提供可能な曲面状多視点映像ディスプレイ装置及びその制御方法を提供することにある。

本発明の上述の目的を達成するための一実施形態に係る曲面状多視点映像ディスプレイ装置は、複数のサブピクセルを含み、予め設定された曲率を有するディスプレイパネル部と、前記ディスプレイパネル部の前面に配置されて視域を分離して複数の光学ビューを提供する視域分離部と、前記ディスプレイパネル部に出力される多視点映像をレンダリングするレンダリング部と、前記複数の光学ビュー別に、前記予め設定された曲率に基づいてレンダリングピッチ（Ｒｅｎｄｅｒｉｎｇ Ｐｉｔｃｈ）を決定し、決定されたレンダリングピッチに基づいて前記複数のサブピクセルのうち、少なくとも一部がそれぞれ複数の多視点映像に対応するピクセル値を出力するように前記レンダリング部を制御する制御部とを含む。

なお、前記視域分離部は、レンチキュラレンズで実現され、前記制御部は、前記レンチキュラレンズの中心部と第１光学ビューとがなす角度に基づいて前記第１光学ビューに対応するレンダリングピッチを決定し、前記レンチキュラレンズの中心部と第２光学ビューとがなす角度に基づいて前記第２光学ビューに対応するレンダリングピッチを決定してよい。

なお、前記視域分離部は、パララックスバリアで実現され、前記制御部は、隣接するバリアスリットの中心と第１光学ビューとがなす角度に基づいて前記第１光学ビューに対応するレンダリングピッチを決定し、前記隣接するバリアスリットの中心と第２光学ビューとがなす角度に基づいて前記第２光学ビューに対応するレンダリングピッチを決定してよい。

なお、前記制御部は、前記予め設定された曲率に基づいて、前記視域分離部と第１光学ビューとの距離情報を用いてレンダリングピッチを決定し、前記視域分離部と第２光学ビューとの距離情報を用いてレンダリングピッチを決定してよい。

なお、前記制御部は、前記複数のサブピクセルのうち、少なくとも一部が第１多視点映像の第１ピクセル値及び第２多視点映像の第２ピクセル値によって算出された第３ピクセル値を出力するように前記レンダリング部を制御してよい。

なお、前記制御部は、前記レンダリングピッチに基づいて決定された、前記第１ピクセル値及び前記第２ピクセル値の混合比に基づいて前記第３ピクセル値を算出してよい。

なお、前記視域分離部は、レンチキュラレンズで実現され、前記レンチキュラレンズのピッチは以下の数式を通じて算出されてよい。

ここで、θは、
であることを特徴とし、ここで、Ｐ２はレンチキュラレンズのピッチ、θは真ん中に位置する光学ビューから真ん中に位置したレンチキュラレンズと隣接するレンチキュラレンズとがなす角度、Ｌ１はディスプレイパネル部と視域分離部との間の距離、Ｌ２は最適視聴距離、Ｐ１はディスプレイパネル部に形成される各視点の間隔、ＶＮは奇数個の視点数を示す。

なお、前記視域分離部は、レンチキュラレンズで実現され、それぞれのレンチキュラレンズに対して変更されるレンダリングピッチは以下の数式を通じて算出されてよい。

ここで、Ｐ１はレンダリングピッチ、ＶＮは奇数個の光学ビューの数、ＬＮは真ん中に位置したレンチキュラレンズから何番目のレンチキュラかを示し、Ｌ１はディスプレイパネル部と視域分離部との間の距離、Ｌ２は最適視聴距離、θは真ん中に位置する光学ビューからＬＮ番目のレンチキュラレンズと前記真ん中に位置したレンチキュラレンズとがなす角度、ｘ、ｙは計算の便宜のための変数、ｎは１からＶＮ／２−１までの整数で前記真ん中に位置する光学ビューからそれ以外の光学ビューが離れた程度を示し、ＶＷは両眼距離、βはＬＮ番目のレンチキュラレンズから前記真ん中に位置する光学ビューと前記それ以外の光学ビューとがなす角度、Ｄは変更されたレンダリングピッチを示す。

なお、前記ディスプレイパネル部と前記視域分離部との間には予め設定された空いた空間が形成されてよい。

なお、前記予め設定された空いた空間に対応する前記ディスプレイパネル部と前記視域分離部との間の距離は、以下の数式を通じて算出されてよい。

ここで、Ｄは予め設定された距離、ＴＳはＳｐａｃｅｒの厚さ、ＲＳはＳｐａｃｅｒの屈折率を示す。

なお、視聴者の両眼位置を検知する検知部を更に含み、前記制御部は、前記検知された視聴者の両眼位置に基づいて、前記レンダリングピッチを補償してよい。

一方、本発明の一実形態に係る曲面状多視点映像ディスプレイ装置の制御方法は、出力される多視点映像をレンダリングするステップと、複数の光学ビュー別に、予め設定された曲率に基づいてレンダリングピッチ（Ｐｉｔｃｈ）を決定するステップと、前記決定されたレンダリングピッチに基づいて複数のサブピクセルのうち、少なくとも一部がそれぞれ複数の多視点映像に対応するピクセル値を出力するステップとを含む。

なお、前記レンダリングピッチを決定するステップは、レンチキュラレンズの中心部と第１光学ビューとがなす角度に基づいて前記第１光学ビューに対応するレンダリングピッチを決定し、前記レンチキュラレンズの中心部と第２光学ビューとがなす角度に基づいて前記第２光学ビューに対応するレンダリングピッチを決定してよい。

なお、前記レンダリングピッチを決定するステップは、隣接するバリアスリットの中心と第１光学ビューとがなす角度に基づいて前記第１光学ビューに対応するレンダリングピッチを決定し、前記隣接するバリアスリットの中心と第２光学ビューとがなす角度に基づいて前記第２光学ビューに対応するレンダリングピッチを決定してよい。

なお、前記レンダリングピッチを決定するステップは、前記予め設定された曲率に基づいて前記視域分離部と第１光学ビューとの距離情報を用いてレンダリングピッチを決定し、前記視域分離部と第２光学ビューとの距離情報を用いてレンダリングピッチを決定してよい。

以上説明したように、本発明によれば、曲面状多視点映像ディスプレイ装置でそれぞれの光学ビューに該当する映像の光が投射されないため、発生する鮮明度の低下する現象を低減させることができるようになる。

従来の平面状多視点映像ディスプレイ装置と曲面状多視点映像ディスプレイ装置とを示す図である。 本発明の一実施形態に係る曲面状多視点映像ディスプレイ装置の構成を示すブロック図である。 本発明の一実施形態に係るレンチキュラレンズのピッチを求める方法を説明するための図である。 本発明の理解を促すために、曲面状多視点映像ディスプレイ装置で光学ビューに該当する映像の光が投射されない問題を説明するための図である。 本発明の一実施形態によって、それぞれのレンチキュラレンズに対して変更されたレンダリングピッチを求める方法を説明するための図である。 本発明の一実施形態に係る変更されたレンダリングピッチの誤差率を示す図である。 本発明の一実施形態によって、それぞれのレンチキュラレンズに対するレンダリングピッチの補償アルゴリズムを説明するための図である。 本発明の一実施形態に係るレンダリングピッチの補償結果を示す図である。 本発明の一実施形態に係るレンダリングピッチの補償結果を示す図である。 本発明の一実施形態に係るレンダリング方法を説明するための図である。 本発明の一実施形態に係るレンダリング方法を説明するための図である。 本発明の一実施形態に係るレンダリング方法を説明するための図である。 本発明の理解を促すための多視点映像ディスプレイ装置の構成上の問題を説明するための図である。 本発明の理解を促すための多視点映像ディスプレイ装置の構成上の問題を説明するための図である。 本発明の一実施形態に係る曲面状多視点映像ディスプレイ装置の構成を説明するための図である。 本発明の一実施形態に係る曲面状多視点映像ディスプレイ装置のレンダリング方法を説明するための図である。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。本発明を説明するうえで、関連する公知機能或いは構成に対する具体的な説明が本発明の要旨を曖昧とすると判断された場合、その詳細な説明は省略する。そして、後述の用語は、本発明における機能を考慮して定義された用語として、それはユーザや、運用者の意図または慣例等によって異なってよい。そのため、その定義は、本明細書全般に亘った内容を基に下すべきである。

図２は、本発明の一実施形態に係る曲面状多視点映像ディスプレイ装置１００の構成を示すブロック図である。

曲面状多視点ディスプレイ装置１００は、マルチビュー提供のためのレンダリング部１１０、ディスプレイパネル部１３０、視域分離部１４０及び制御部１２０を含む。

曲面状多視点映像ディスプレイ装置１００は、テレビ、モニタ、パソコン、キヨスク端末、タブレットパソコン、デジタルフォトフレーム、携帯電話などのような多様なディスプレイ装置で実現されてよい。

映像入力部（図示せず）には、映像が入力される。具体的に、映像入力部（図示せず）は、外部の保存媒体、放送局、ウェブサーバなどのような各種外部装置から映像が入力されてよい。ここで、入力される映像は、単一視点映像、ステレオ（Ｓｔｅｒｅｏ）映像、多視点映像のうちいずれかの映像である。単一視点映像は、一般的な撮影装置によって撮影された映像であり、ステレオ映像（Ｓｔｅｒｅｏｓｃｏｐｉｃ ｉｍａｇｅ）は、左眼映像と右眼映像とのみで表現された３次元ビデオ映像として、ステレオ撮影装置によって撮影された立体映像である。通常、ステレオ撮影装置は、２つのレンズを備えた撮影装置として立体映像を撮影するのに使用される。そして、多視点映像（Ｍｕｌｔｉｖｉｅｗ ｉｍａｇｅ）は、一台以上の撮影装置を通じて撮影された映像を幾何学的に矯正し、空間的な合成などを通じていろんな方向からの多様な視点を視聴者に提供する３次元ビデオ映像を意味する。

なお、映像入力部（図示せず）は、映像のデプス情報を受信することができる。一般的に、映像のデプス（Ｄｅｐｔｈ）は、映像のそれぞれピクセル別に付与されたデプス値であって、一例として、８ｂｉｔのデプスは、０〜２５５までのグレースケール（Ｇｒａｙｓｃａｌｅ）値を有してよい。例えば、黒／白を基準に表す際、黒（低い値）が視聴者から遠い所を示し、白（高い値）が視聴者から近い所を示してよい。

デプス情報とは、３Ｄ映像のデプスを示す情報として、３Ｄ映像を構成する左眼映像と右眼映像との間の両眼時差の度合いに対応する情報である。デプス情報によって人の感じる立体感の度合いが変化する。すなわち、デプスが大きい場合、左右両眼時差が大きくなるため、立体感が相対的に大きく感じられ、デプスが小さい場合、左右両眼時差が小さくなるため、立体感が相対的に小さく感じられるようになる。デプス情報は、通常ステレオ整合（Ｓｔｅｒｅｏ ｍａｔｃｈｉｎｇ）などのように、映像の２次元的特性のみをもって得る受動的方法と、デプスカメラ（Ｄｅｐｔｈ ｃａｍｅｒａ）のような装備を用いる能動的方法とを通じて獲得されてよい。一方、デプス情報は、デプスマップの形態であってよい。デプスマップとは、映像の各領域別デプス情報を含んでいるテーブルを意味する。

レンダリング部１１０は、デプス調整部でデプスの調整された映像を用いて多視点映像をレンダリングすることができる。レンダリング部１１０は、２Ｄ映像の場合、２Ｄ／３Ｄ切り替えに抽出されたデプス情報を基に多視点映像をレンダリングすることができる。または、レンダリング部１１０は、マルチビュー、すなわち、Ｎのビュー及び対応するＮのデプス情報が入力される場合、入力されたＮのビュー及びデプス情報のうち少なくとも１つのビュー及びデプス情報に基づいて多視点映像をレンダリングすることができる。または、レンダリング部１１０は、Ｎのビューのみが入力される場合、Ｎのビューからデプス情報の抽出後、抽出されたデプス情報に基づいて多視点映像をレンダリングすることができる。

ただ、上述のレンダリング部１１０の詳細な動作は、一例として挙げたものであり、レンダリング部１１０は上述の動作の他に多様な方法によって多視点映像をレンダリングすることができることは勿論である。

ディスプレイパネル部１３０は、曲面状に形成されてよい。特に、一定の曲率を維持しつつ曲面状に形成されてよい。ディスプレイパネル部１３０が曲面状に形成されることで視域分離部１４０及びバックライト部（図示せず）も曲面状に形成されてよい。

ディスプレイパネル部１３０は、複数のサブピクセルで構成された複数のピクセルを含む。ここで、サブピクセルは、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）で構成されてよい。すなわち、Ｒ、Ｇ、Ｂのサブピクセルで構成されたピクセルが複数の行及び列方向に配列されてディスプレイパネル部１３０を構成することができる。この場合、ディスプレイパネル部１３０は液晶ディスプレイパネル（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ Ｐａｎｅｌ：ＬＣＤ Ｐａｎｅｌ）、プラズマディスプレイパネル（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ：ＰＤＰ）、有機発光素子（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ：ＯＬＥＤ）、ＶＦＤ（Ｖａｃｕｕｍ Ｆｌｕｏｒｅｓｃｅｎｔ Ｄｉｓｐｌａｙ）、ＦＥＤ（Ｆｉｅｌｄ Ｅｍｉｓｓｉｏｎ Ｄｉｓｐｌａｙ）、ＥＬＤ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などのような多様なディスプレイユニットで実現されてよい。

ディスプレイパネル部１３０は、映像フレームをディスプレイする。具体的に、ディスプレイパネル部１３０は相互異なる時点の複数イメージが順次に繰り返し配置されたレンダリング済みの映像をディスプレイすることができる。

一方、図２に示していないが、ディスプレイパネル部１３０がＬＣＤパネルで実現される場合、曲面状多視点映像ディスプレイ装置１００は、ディスプレイパネル部１３０にバックライトを供給するバックライト部（図示せず）及び映像フレームを構成する各ピクセルのピクセル値に応じて、ディスプレイパネル部１３０のピクセルを駆動するパネル駆動部（図示せず）を更に備えてよい。

視域分離部１４０は、ディスプレイパネル部１３０の前面に配置され、視聴領域別に異なる視点、すなわち、マルチビューを提供することができる。この場合、視域分離部１４０はレンチキュラレンズまたはパララックスバリアで実現されてよい。

視域分離部１４０が複数のレンズ領域を含むレンチキュラレンズで実現された場合、レンチキュラレンズは複数のレンズ領域を通じてディスプレイパネル部１３０でディスプレイされる映像を屈折させてよい。各レンズ領域は少なくとも１つのピクセルに対応する大きさで形成され、各ピクセルを透過する光を視聴領域別に異なるように分散させてよい。

レンチキュラレンズ方式の場合には、レンズ部（図示せず）を含んでよい。レンズ部は、基板、電極、液晶層及び媒質層を含んでよい。レンズ部は、電極による電界印加有無に基づいて光学的特性が変化し、レンズ部を通過する多視点映像に該当する光の屈折を制御することができる。

なお、視域分離部１４０がパララックスバリアで実現された場合、パララックスバリアは複数のバリア領域を含む透明スリットアレイで実現される。それにより、バリア領域間のスリット（Ｓｌｉｔ）を通じて光を遮断して視聴領域別に異なる視点の映像が投射されるようにすることができる。

一方、レンチキュラレンズまたはパララックスバリアで構成された視域分離部１４０は画質改善のために、一定の角度に傾いて形成されてよい。すなわち、視聴者は、垂直または水平方向の領域を視聴するのではなく、特定方向に傾いた領域を視聴することができる。それにより、視聴者は１つの完全なサブピクセルではない各サブピクセルの一部を視聴することができる。例えば、図７ないし図９において、視聴者の右眼が１視点映像を視聴し、左眼が２視点映像を視聴するようになる場合、視聴者の右眼は１視点に対応する領域１０を、左眼は２視点に対応する領域２０を視聴することができる。すなわち、視聴者は１つの完全なサブピクセルではない各サブピクセルの一部を視聴することができる。

一方、制御部１２０は、複数の光学ビュー別に、予め設定された曲率に基づいてレンダリングピッチを変更し、変更されたレンダリングピッチに基づいて複数のサブピクセルのうち、少なくとも一部がそれぞれ複数の多視点映像に対応するピクセル値を出力するようにレンダリング部１１０を制御することができる。ここで、レンダリングピッチとは、複数の多視点映像のうちの１つの映像がレンダリングされる最小単位のサブピクセルの数を意味する。例えば、６つのサブピクセルそれぞれに１視点ないし６視点映像が表示される場合、１つの視点の映像が１つのサブピクセルに表示されるため、レンダリングピッチは１になることができる。ただ、曲面状多視点映像ディスプレイ装置１００の場合には、レンダリングピッチが変更されることで、レンダリング方法が異なってくるが、それについては後述することとする。

一方、視域分離部１４０がレンチキュラレンズで実現された場合、制御部１２０はレンチキュラレンズの中心部とそれぞれの光学ビューとがなす角度に基づいて、それぞれの光学ビューに対応するレンダリングピッチを決定することができる。そして、視域分離部１４０がパララックスバリアで実現された場合、制御部１２０は隣接するバリアスリットの中心とそれぞれの光学ビューとがなす角度に基づいてそれぞれの光学ビューに対応するレンダリングピッチを決定することができる。なお、制御部１２０は、予め設定された曲率に基づいて、視域分離部１４０とそれぞれの光学ビューとの距離情報を用いてレンダリングピッチを決定することができる。具体的に、制御部１２０がレンダリングピッチを決定する過程については後述する。

一方、制御部１２０は、複数のサブピクセルのうち少なくとも一部が第１多視点映像の第１ピクセル値及び第２多視点映像の第２ピクセル値によって算出された第３ピクセル値を出力するようにレンダリング部１１０を制御することができる。このとき、制御部１２０は、レンダリングピッチに基づいて決定された第１ピクセル値及び第２ピクセル値の混合比に基づいて第３ピクセル値を算出することもできる。

一方、曲面状多視点映像ディスプレイ装置１００は、検知部（図示せず）を更に含んでよい。この場合、制御部１２０は、検知部によって検知された視聴者の両眼位置に基づいてレンダリングピッチを変更することもできる。

図３は、本発明の一実施形態に係るレンチキュラレンズのピッチを求める方法を説明するための図である。

レンチキュラレンズのピッチは、複数のレンチキュラレンズのうち、隣接するレンチキュラレンズとの間の距離を意味し、以下の数式（１）のように、図３で扇形の中心角と弧との関係式に基づいてレンチキュラレンズのピッチを算出することができる。

ここで、Ｐ２はレンチキュラレンズのピッチ、θは真ん中に位置する光学ビューから真ん中に位置したレンチキュラレンズと隣接するレンチキュラレンズとがなす角度、Ｌ１はディスプレイパネル部１３０と視域分離部１４０との間の距離、Ｌ２は最適視聴距離、Ｐ１はレンダリングピッチ、ＶＮは奇数個の視点数を示す。ただ、Ｐ１とＰ２とは、数式（１）上では扇形の弧に該当し、直線距離を示すレンチキュラレンズのピッチとは若干の誤差があり得るが、レンチキュラのレンズのピッチとレンダリングピッチとは非常に小さいため、誤差は無視されてよい。

一方、図３においては、レンチキュラレンズのピッチを求める方法として説明したが、当該方法はレンチキュラレンズで実現された視域分離部にのみ提供されるわけではなく、パララックスバリアで実現された視域分離部にも類似するように適用できることは勿論である。

図４は、本発明の理解を促すために、曲面状多視点映像ディスプレイ装置１００で光学ビューに該当する映像の光が投射されない問題を説明するための図である。

図４によると、５つの光学ビューを仮定しており、数式（１）によってレンチキュラレンズのピッチを決定した状態を仮定している。多視点映像ディスプレイ装置を曲面状で実現することで真ん中に位置する光学ビューには該当する映像の光が投射されるように、数式（１）によってレンチキュラレンズのピッチを決定することができたが、その他の光学ビューには該当する映像の光が投射されなくなる。よって、真ん中に位置する光学ビュー以外の光学ビューには該当する映像の光が投射されなくなり、視聴者に多視点映像視聴の際に鮮明な映像を提供することができなくなる。

図４の下図は、それぞれの光学ビューに該当する映像の光が投射するための条件が示されている。すなわち、それぞれの光学ビューに該当する映像の光が正確に投射するためにレンダリングピッチが異なるようにしてよい。それに対する具体的な説明は図５を参照して行う。

図５は、本発明の一実施形態によって、それぞれのレンチキュラレンズに対して変更されたレンダリングピッチを求める方法を説明するための図である。

図５において、三角関数を用いて変更されたレンダリングピッチに関連し、以下の数式（２）が成立してよい。数式（２）によってそれぞれのレンチキュラレンズに対する変更されたレンダリングピッチを算出することができる。

ここで、Ｐ１はレンダリングピッチ、ＶＮは奇数個の光学ビューの数、ＬＮは真ん中に位置したレンチキュラレンズから何番目のレンチキュラかを示し、Ｌ１はディスプレイパネル部１３０と視域分離部１４０との間の距離、Ｌ２は最適視聴距離、θは真ん中に位置する光学ビューからＬＮ番目のレンチキュラレンズと真ん中に位置したレンチキュラレンズとがなす角度、ｘ、ｙは計算の便宜のための変数、ｎは１からＶＮ／２−１までの整数で真ん中に位置する光学ビューからそれ以外の光学ビューが離れた程度を示し、ＶＷは両眼距離、βはＬＮ番目のレンチキュラレンズから真ん中に位置する光学ビューとそれ以外の光学ビューとがなす角度、Ｄは変更されたレンダリングピッチを示す。

数式（２）による変更されたレンダリングピッチの従来のレンダリングピッチに対する誤差率は図６に示している。

図６によると、曲面状多視点映像ディスプレイ装置１００の真ん中に位置したレンチキュラレンズから遠くなるにつれて誤差が大きくなることが分かる。なお、真ん中に位置した光学ビューから同一の位置にある光学ビューであるとしても誤差率が異なることがある。よって、レンダリングピッチを変更する場合、真ん中に位置したレンチキュラレンズを中心にレンダリングピッチの変更は左右対称であってよい。しかし、真ん中に位置していないレンチキュラレンズに対して真ん中に位置した光学ビューを中心に対称となる光学ビューの間にはレンダリングピッチの変更値が対称ではなくなる。レンダリングピッチ補償アルゴリズムについては、図７を参照して説明する。

図７は、本発明の一実施形態によって、それぞれのレンチキュラレンズに対するレンダリングピッチの補償アルゴリズムを説明するための図である。

補償アルゴリズムに基づいて補償されたレンダリングピッチは、次の数式（３）を通じて求めてよい。

ここで、ＣＶはＶＮ／２を四捨五入した整数の値であり、ＶＮは奇数個の光学ビューの数、ｎは１からＣＶ−１までの整数で真ん中に位置する光学ビューからそれ以外の光学ビューが離れた程度を示し、Ｄは変更されたレンダリングピッチ、Ｐ１はレンダリングピッチ、Ｄ’は計算の便宜のための変数、Ｍは補償されたレンダリングピッチを示す。

一方、図８及び図９は、Ｐ１＝０．１０５ｍｍ、ＶＷ＝６３ｍｍ、視点数：５視点、Ｌ１：５ｍｍ、Ｌ２：３０００ｍｍである場合を仮定し、数式（３）による結果を示している。

図１０ないし図１２は、本発明の一実施形態に係るレンダリング方法を説明するための図である。特に、図１０は、レンダリングピッチが１である場合のレンダリング方法を説明するための図である。図１０を参照すると、第１行（ｒｏｗ）の第１サブピクセルは６視点映像と１視点映像とが混合されたピクセル値を出力することができる。第１行の第２サブピクセルは１視点映像と２視点映像とが混合されたピクセル値を出力することができる。

ここで、各サブピクセルのピクセル値は、レンダリングピッチに基づいて決定され、それにより、１つのピクセル内でそれぞれの視点の占める面積に基づいて決定されてよい。レンダリングピッチが１に決定された場合、第１サブピクセルで６視点映像と１視点映像とが占める面積の割合は１：１になる。よって、第１サブピクセルは１視点映像のＲ値及び６視点映像のＲ値が１：１で混合されたピクセル値が算出されてよい。

図１１は、レンダリングピッチが１より大きい場合のレンダリング方法を説明するための図である。図１１を参照すると、第１行の第１サブピクセルは６視点映像と１視点映像とが混合されたピクセル値を出力することができる。第１行の第２サブピクセルは１視点映像と２視点映像とが混合されたピクセル値を出力することができる。なお、第１行の第３サブピクセルは１視点映像、２視点映像及び３視点映像が混合されたピクセル値を出力することができる。

ここで、各サブピクセルのピクセル値はレンダリングピッチに基づいて決定される。図１１に示すように、レンダリングピッチが１．２５に決定された場合、第２サブピクセルで１視点映像及び２視点映像の占める面積の割合は２３：９になる。よって、第２サブピクセルは１視点映像のＧ値及び２視点映像のＧ値が２３：９で混合されたピクセル値が算出されてよい。

図１２は、レンダリングピッチが１より小さい場合のレンダリング方法を説明するための図である。図１２を参照すると、第１行の第１サブピクセルは５視点映像、６視点映像、１視点映像及び２視点映像が混合されたピクセル値を出力することができる。第１行の第２サブピクセルは１視点映像、２視点映像及び３視点映像が混合されたピクセル値を出力することができる。なお、第１行の第３サブピクセルは２視点映像、３視点映像及び４視点映像が混合されたピクセル値を出力することができる。

ここで、各サブピクセルのピクセル値はレンダリングピッチに基づいて決定される。図１２に示すように、レンダリングピッチが０．７５に決定された場合、第２サブピクセルで１視点映像、２視点映像及び３視点映像の占める面積の割合は９：１９：４になる。よって、第２サブピクセルは１視点映像のＧ値、２視点映像のＧ値及び３視点映像のＧ値が９：１９：４で混合されたピクセル値が算出されてよい。

図１０ないし図１２では、多視点映像が計６視点である場合を例に挙げて説明したが、２視点、４視点、９視点、１８視点、３０視点または３６視点などの場合にも同様に適用されてよい。

一方、図１０ないし図１２では、レンダリングピッチによってレンダリングされる映像の間隔が同様であるものとして説明したが、実施形態によってそれぞれの多視点映像がレンダリングされる間隔が異なってよい。なお、図１０ないし図１２によるレンダリング方法は一実施形態に過ぎず、その他の方法でも実現可能である。

図１３及び図１４は、本発明の理解を促すための多視点映像ディスプレイ装置の構成上の問題を説明するための図である。

図１３は、平面状多視点映像ディスプレイ装置として示されているが、曲面状多視点映像ディスプレイ装置１００にも曲面状であることを除いて同様に構成されてよく、説明の便宜上、平面状多視点映像ディスプレイ装置として説明を進める。

図１３によると、ディスプレイ装置は、ディスプレイパネル部１３０、視域分離部１４０、Ｓｐａｃｅｒ１３１及びバックライトユニット１３２を含む。

バックライトユニット１３２は、ディスプレイパネル部１３０に光を提供する。バックライトユニット１３２から提供される光によって、ディスプレイパネル部１３０に形成される各イメージは視域分離部１４０に投射され、視域分離部１４０は投射される各イメージの光を分散させて視聴者方向に伝達する。

一方、ディスプレイパネル部１３０と視域分離部１４０との間に一定の距離を維持するために、Ｓｐａｃｅｒ１３１が用いられてよい。Ｓｐａｃｅｒ１３１の材料としては、ＧｌａｓｓまたはＰＭＭＡが用いられてよく、ディスプレイパネル部１３０と視域分離部１４０との間隔を一定に維持させることができるが、ディスプレイ装置の重さを増大させる。特に、曲面状多視点映像ディスプレイ装置１００の場合には、Ｓｐａｃｅｒ１３１の材料として用いられるＧｌａｓｓまたはＰＭＭＡが簡単に反らないために、製造する上で問題が生じるおそれがある。

図１４によると、平面状多視点映像ディスプレイ装置は、ディスプレイパネル部１３０、視域分離部１４０及びバックライトユニット１３２を含み、ただ、Ｓｐａｃｅｒ１３１の代わりにＳｕｐｐｏｒｔｅｒ１４１が使用されている。Ｓｕｐｐｏｒｔｅｒ１４１の材料としては、薄いＧｌａｓｓまたは薄いＰＭＭＡが用いられてよく、Ｓｕｐｐｏｒｔｅｒ１４１を用いてディスプレイパネル部１３０と視域分離部１４０とを離隔させてよい。なお、ディスプレイパネル部１３０と視域分離部１４０との間は空いた空間で構成され、ディスプレイ装置の重さを軽減させることができる。

しかし、Ｓｕｐｐｏｒｔｅｒ１４１が使用された平面状多視点映像ディスプレイ装置の場合には、視域分離部１４０がその面積に比べて非常に薄いため、次第に反ってしまう問題が発生しかねない。ただ、曲面状多視点映像ディスプレイ装置の場合には、Ｓｕｐｐｏｒｔｅｒ１４１が使用されたほうがより効果的であってよく、それは図１２を参照して説明する。

図１５は、本発明の一実施形態に係る曲面状多視点映像ディスプレイ装置１００の構成を説明するための図である。

図１５によると、曲面状多視点映像ディスプレイ装置１００は、ディスプレイパネル部１３０、視域分離部１４０、Ｓｕｐｐｏｒｔｅｒ１４１及びバックライトユニット１３２を含む。図１３及び図１４と重複する構成に対する説明は省略とする。

曲面状多視点映像ディスプレイ装置１００の場合には、Ｓｕｐｐｏｒｔｅｒ１４１を利用するとしても、図１４でのような問題が発生しない。具体的に、視域分離部１４０は反っているため、平らに戻ろうとする力とＳｕｐｐｏｒｔｅｒ１４１によって固定されて平らになろうとする力を相殺させるため、平面状多視点映像ディスプレイ装置でのように、反る問題は発生しなくなる。よって、曲面状多視点映像ディスプレイ装置１００の場合には、視聴者の集中度を高める他にも、Ｓｐａｃｅｒ１３１を利用しなくなり、製造単価を下げ、ディスプレイ装置を軽量化することができる。

一方、ディスプレイパネル部１３０と視域分離部１４０との間の距離は次のような数式（４）を通じて算出されてよい。

ここで、Ｄは予め設定された距離、ＴＳはＳｐａｃｅｒの厚さ、ＲＳはＳｐａｃｅｒの屈折率を示す。

空気中の屈折率は１であり、それによって、数式（４）からは空気中の屈折率が省略されている。ただ、ディスプレイパネル部１３０と視域分離部１４０との間に特定気体を注入するようになる場合なら、特定気体の屈折率を考慮して数式の一部変形があってよい。

図１６は、本発明の一実施形態に係る曲面状多視点映像ディスプレイ装置１００のレンダリング方法を説明するための図である。

まず、複数の光学ビュー別に、予め設定された曲率に基づいてレンダリングピッチを決定する（Ｓ１６１０）。そして、決定されたレンダリングピッチに基づいて複数のサブピクセルのうち少なくとも一部がそれぞれ複数の多視点映像に対応するピクセル値を出力する（Ｓ１６２０）。

なお、レンダリングピッチを決定するステップ（Ｓ１６１０）は、レンチキュラレンズの中心部と第１光学ビューとがなす角度に基づいて、第１光学ビューに対応するレンダリングピッチを決定し、レンチキュラレンズの中心部と第２光学ビューとがなす角度に基づいて、第２光学ビューに対応するレンダリングピッチを決定することができる。

なお、レンダリングピッチを決定するステップ（Ｓ１６１０）は、隣接するバリアスリットの中心と第１光学ビューとがなす角度に基づいて、第１光学ビューに対応するレンダリングピッチを決定し、隣接するバリアスリットの中心と第２光学ビューとがなす角度に基づいて、第２光学ビューに対応するレンダリングピッチを決定することができる。

なお、レンダリングピッチを決定するステップ（Ｓ１６１０）は、予め設定された曲率に基づいて視域分離部と第１光学ビューとの距離情報を用いてレンダリングピッチを決定し、視域分離部と第２光学ビューとの距離情報を用いてレンダリングピッチを決定することができる。

なお、複数の多視点映像に対応するピクセル値を出力するステップ（Ｓ１６２０）は、複数のサブピクセルのうち少なくとも一部が第１多視点映像の第１ピクセル値及び第２多視点映像の第２ピクセル値によって算出された第３ピクセル値を出力することができる。

なお、複数の多視点映像に対応するピクセル値を出力するステップ（Ｓ１６２０）は、レンダリングピッチに応じて決定された、第１ピクセル値及び第２ピクセル値の混合比に基づいて第３ピクセル値を算出してよい。

なお、視聴者の両眼位置を検知し、検知された視聴者の両眼位置に基づいてレンダリングピッチを補償することができる。

以上のような曲面状多視点映像ディスプレイ装置１００を用いて、視聴者は映像を視聴するうえでより集中度を高めつつ、鮮明な映像を提供されることができるため、視聴者の満足度を向上させることができる。

一方、上述の本発明の多様な実施形態に係る曲面状多視点映像ディスプレイ装置の制御方法は、コンピュータで実行可能なプログラムコードで実現されて多様な非一時的な読み取り可能な媒体（Ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）に保存された状態でプロセッサによって実行されるように各装置に提供されてよい。

一例として、複数の光学ビュー別に、予め設定された曲率に基づいてレンダリングピッチを決定するステップ及び決定されたレンダリングピッチに基づいて複数のサブピクセルのうち少なくとも一部がそれぞれ複数の多視点映像に対応するピクセル値を出力するステップを行うプログラムが保存された非一時的な読み取り可能な媒体が提供されてよい。

非一時的な読み取り可能な媒体とは、レジスタやキャッシュ、メモリ等のような短い間データを保存する媒体ではなく、半永久的にデータを保存し、機器によって読み取り（Ｒｅａｄｉｎｇ）が可能な媒体を意味する。具体的には、上述の多様なアプリケーションまたはプログラムは、ＣＤやＤＶＤ、ハードディスク、ブルーレイディスク、ＵＳＢ、メモリカード、ＲＯＭ等のような非一時的な読み取り可能な媒体に保存されて提供されてよい。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

Claims (14)

1. 複数のサブピクセルを含み、予め設定された曲率を有するディスプレイパネル部と、
   前記ディスプレイパネル部の前面に配置されて視域を分離して複数の光学ビューを提供する視域分離部と、
   前記ディスプレイパネル部に出力される多視点映像をレンダリングするレンダリング部と、
   前記複数の光学ビュー別に、前記予め設定された曲率に基づいてレンダリングピッチ（Ｒｅｎｄｅｒｉｎｇ Ｐｉｔｃｈ）を決定し、決定されたレンダリングピッチに基づいて前記複数のサブピクセルのうち、少なくとも一部がそれぞれ複数の多視点映像に対応するピクセル値を出力するように前記レンダリング部を制御する制御部と
   を含み、
   前記制御部は、
   前記複数のサブピクセルのうち、少なくとも一部が第１多視点映像の第１ピクセル値及び第２多視点映像の第２ピクセル値によって算出された第３ピクセル値を出力するように前記レンダリング部を制御する、
   曲面状多視点映像ディスプレイ装置。
2. 前記視域分離部は、レンチキュラレンズで実現され、
   前記制御部は、
   前記レンチキュラレンズの中心部と第１光学ビューとがなす角度に基づいて前記第１光学ビューに対応するレンダリングピッチを決定し、前記レンチキュラレンズの中心部と第２光学ビューとがなす角度に基づいて前記第２光学ビューに対応するレンダリングピッチを決定することを特徴とする請求項１に記載の曲面状多視点映像ディスプレイ装置。
3. 前記視域分離部は、パララックスバリアで実現され、
   前記制御部は、
   隣接するバリアスリットの中心と第１光学ビューとがなす角度に基づいて前記第１光学ビューに対応するレンダリングピッチを決定し、前記隣接するバリアスリットの中心と第２光学ビューとがなす角度に基づいて前記第２光学ビューに対応するレンダリングピッチを決定することを特徴とする請求項１に記載の曲面状多視点映像ディスプレイ装置。
4. 前記制御部は、
   前記予め設定された曲率に基づいて、前記視域分離部と第１光学ビューとの距離情報を用いてレンダリングピッチを決定し、前記視域分離部と第２光学ビューとの距離情報を用いてレンダリングピッチを決定することを特徴とする請求項１に記載の曲面状多視点映像ディスプレイ装置。
5. 前記制御部は、
   前記レンダリングピッチによって決定された、前記第１ピクセル値及び前記第２ピクセル値の混合比に基づいて前記第３ピクセル値を算出することを特徴とする請求項１に記載の曲面状多視点映像ディスプレイ装置。
6. 前記視域分離部は、レンチキュラレンズで実現され、
   前記レンチキュラレンズのピッチＰ２は、以下の数式を通じて算出されることを特徴とする請求項１に記載の曲面状多視点映像ディスプレイ装置。
   ここで、θは、
   であり、
   Ｐ２はレンチキュラレンズのピッチ、θは真ん中に位置する光学ビューから真ん中に位置したレンチキュラレンズと隣接するレンチキュラレンズとがなす角度、Ｌ１はディスプレイパネル部と視域分離部との間の距離、Ｌ２は最適視聴距離、Ｐ１はレンダリングピッチ、ＶＮは奇数個の視点数を示す。
7. 前記視域分離部は、レンチキュラレンズで実現され、
   それぞれのレンチキュラレンズに対して変更されるレンダリングピッチは、以下の数式を通じて算出されることを特徴とする請求項１に記載の曲面状多視点映像ディスプレイ装置。
   ここで、Ｐ１はレンダリングピッチ、ＶＮは奇数個の光学ビューの数、ＬＮは真ん中に位置したレンチキュラレンズから何番目のレンチキュラかを示し、Ｌ１はディスプレイパネル部と視域分離部との間の距離、Ｌ２は最適視聴距離、θは真ん中に位置する光学ビューからＬＮ番目のレンチキュラレンズと前記真ん中に位置したレンチキュラレンズとがなす角度、ｘ、ｙは計算の便宜のための変数、ｎは１からＶＮ／２−１までの整数で前記真ん中に位置する光学ビューからそれ以外の光学ビューが離れた程度を示し、ＶＷは両眼距離、βはＬＮ番目のレンチキュラレンズから前記真ん中に位置する光学ビューと前記それ以外の光学ビューとがなす角度、Ｄは変更されたレンダリングピッチを示す。
8. 前記ディスプレイパネル部と前記視域分離部との間には予め設定された空いた空間が形成されることを特徴とする請求項１に記載の曲面状多視点映像ディスプレイ装置。
9. 前記予め設定された空いた空間に対応する前記ディスプレイパネル部と前記視域分離部との間の距離は、以下の数式を通じて算出されることを特徴とする請求項８に記載の曲面状多視点映像ディスプレイ装置。
   ここで、Ｄは予め設定された距離、ＴＳはＳｐａｃｅｒの厚さ、ＲＳはＳｐａｃｅｒの屈折率を示す。
10. 視聴者の両眼位置を検知する検知部を更に含み、
    前記制御部は、
    前記検知された視聴者の両眼位置に基づいて、前記レンダリングピッチを補償することを特徴とする請求項１に記載の曲面状多視点映像ディスプレイ装置。
11. 複数の光学ビュー別に、予め設定された曲率に基づいてレンダリングピッチ（Ｐｉｔｃｈ）を決定するステップと、
    前記決定されたレンダリングピッチに基づいて複数のサブピクセルのうち、少なくとも一部がそれぞれ複数の多視点映像に対応するピクセル値を出力するステップと、を含み、
    前記出力するステップは、前記複数のサブピクセルのうち、少なくとも一部が第１多視点映像の第１ピクセル値及び第２多視点映像の第２ピクセル値によって算出された第３ピクセル値を出力する、
    曲面状多視点映像ディスプレイ装置の制御方法。
12. 前記レンダリングピッチを決定するステップは、
    レンチキュラレンズの中心部と第１光学ビューとがなす角度に基づいて前記第１光学ビューに対応するレンダリングピッチを決定し、前記レンチキュラレンズの中心部と第２光学ビューとがなす角度に基づいて前記第２光学ビューに対応するレンダリングピッチを決定することを特徴とする請求項１１に記載の曲面状多視点映像ディスプレイ装置の制御方法。
13. 前記レンダリングピッチを決定するステップは、
    隣接するバリアスリットの中心と第１光学ビューとがなす角度に基づいて前記第１光学ビューに対応するレンダリングピッチを決定し、前記隣接するバリアスリットの中心と第２光学ビューとがなす角度に基づいて前記第２光学ビューに対応するレンダリングピッチを決定することを特徴とする請求項１１に記載の曲面状多視点映像ディスプレイ装置の制御方法。
14. 前記レンダリングピッチを決定するステップは、
    前記予め設定された曲率に基づいて視域分離部と第１光学ビューとの距離情報を用いてレンダリングピッチを決定し、前記視域分離部と第２光学ビューとの距離情報を用いてレンダリングピッチを決定することを特徴とする請求項１１に記載の曲面状多視点映像ディスプレイ装置の制御方法。