JP6412690B2 - 深さ情報を取得する方法及びディスプレイ装置 - Google Patents

Description

以下の実施形態は、深さ情報を取得する方法及びその方法を実現するディスプレイ装置に関する。

次世代マルチメディアサービスで注目されている３次元映像提供サービスは、２つ以上の視点の映像を用いてユーザに立体感を感じさせるサービスである。

この３次元映像提供サービスを実現する方法として、例えば、深さカメラ（ｄｅｐｔｈ ｃａｍｅｒａ）を用いて撮影しようとする物体で光を放出し、放出された光が戻ってくる時間差を算出して物体の深さを算出し、これにより立体感のある立体映像を作成する方式がある。

本発明の目的は、深さ情報を取得する方法及びディスプレイ装置を提供することにある。

実施形態に係る深さ情報を取得する方法は、ディスプレイパネル及びセンサパネルを含むディスプレイ装置で深さ情報を取得する方法において、前記センサパネルのセンサ領域を変更するステップと、前記変更されたセンサ領域に基づいてオブジェクトの深さ情報を取得するステップとを含む。

また、実施形態に係る深さ情報を取得する方法は、ディスプレイパネル及びセンサパネルを含むディスプレイ装置でオブジェクトの深さ情報を取得する方法において、基準距離を推定するステップと、前記センサパネルで、前記基準距離によるセンサデータを選択するステップと、前記センサデータを用いて前記オブジェクトに対するマルチビュー映像を生成するステップと、前記マルチビュー映像を用いて前記オブジェクトの深さ映像を取得するステップとを含む。

また、実施形態に係る深さ情報を取得する方法は、ディスプレイパネル及びセンサパネルを含むディスプレイ装置でオブジェクトの深さ情報を推定する方法において、基準距離に応じて前記センサパネルで選択されるセンサデータを用いて前記オブジェクトに対するマルチビュー映像を生成するステップと、前記マルチビュー映像を用いて複数のリフォーカス映像を生成するステップと、前記マルチビュー映像及び前記複数のリフォーカス映像を用いて前記オブジェクトの深さ映像を取得するステップとを含む。

実施形態に係るディスプレイパネル及びセンサパネルを含むディスプレイ装置は、基準距離を推定する基準決定部と、前記センサパネルで前記基準距離によるセンサデータを選択するセンサ選択部と、前記センサデータを用いてオブジェクトに対するマルチビュー映像を生成するデータ復号化部と、前記マルチビュー映像を用いて前記オブジェクトの深さ映像を取得する深さ取得部とを備える。

実施形態に係るディスプレイパネル及びセンサパネルを含むディスプレイ装置は、基準距離に応じて前記センサパネルで選択されるセンサデータを用いてオブジェクトに対するマルチビュー映像を生成し、前記マルチビュー映像を用いて複数のリフォーカス映像を生成するデータ復号化部と、前記マルチビュー映像及び前記複数のリフォーカス映像を用いて前記オブジェクトの深さ映像を取得する深さ取得部とを備える。

一実施形態に係るディスプレイ装置は、複数のピクセルから構成されるディスプレイパネルを含み、予め決定された第１時間中にディスプレイモードとして動作し、予め決定された第２時間中に映像取得モードとして動作するように前記ディスプレイパネルを制御することを特徴とする。

一実施形態に係るディスプレイパネル及びセンサパネルを含むディスプレイ装置でオブジェクトの深さ情報を取得する方法は、基準距離を推定するステップと、前記基準距離に基づいて前記センサパネルからのセンサデータを選択するステップと、前記センサデータを用いて生成されたマルチビュー映像との組合せによって第１深さ映像を生成するステップと、前記マルチビュー映像を用いて生成されたリフォーカス映像との組合せによって取得されたマルチビュー映像との組合せによって第２深さ映像を生成するステップと、前記第１深さ映像と前記第２深さ映像とを再結合して前記オブジェクトの深さ映像を取得するステップとを含む。

一実施形態に係るディスプレイ装置は、複数のピクセルから構成されるディスプレイパネルと、映像取得のために、前記ディスプレイパネルの後方に位置するセンサパネルとを含み、前記複数のピクセルを用いて映像信号をディスプレイし、同時に、前記ディスプレイパネルによって前記映像信号が表示される間に前記センサパネルで外部光を用いて映像を取得できるように、前記外部光が、前記ディスプレイパネルを通過して前記センサパネルに伝達するよう前記ディスプレイパネルを制御することを特徴とする。

本発明によると、無レンズ方式の符号化されたアパーチャ映像を用いて符号化されたセンサ領域から可変的にセンサ領域を選択し、マルチビュー映像及びリフォーカス映像を生成し、２つの映像の組合せにより精密な深さ映像を生成することができる。

本発明によると、ディスプレイパネル内のアパーチャーをレンズの代わりに用いて深さ推定を行うことができ、フラットパネルディスプレイにおける最適な適用を可能にする。

本発明によると、従来のセンシング陰影領域のようなオブジェクトの認知できない領域がないため、オブジェクトの距離に関わらず深さ推定が可能であり、タッチ、高解像度スキャン、空間操作などの立体映像が活用される、あらゆる分野で適用可能である。

本発明によると、３Ｄディスプレイと結合する場合、スクリーンの外で物体を操作するユーザの手を画面の正面で取り込む深さ映像を生成することによって、ユーザが実感することのできる相互作用を提供できる。

一実施形態に係る深さ情報を取得するディスプレイ装置の概略的な構造を説明する図である。 センサパネルの映像取得領域とマルチビュー映像に対する一例を説明するための図である。 センサデータを検出する映像取得領域とセンサ領域との関係を詳細に説明するための図である。 一実施形態によりセンサ領域の大きさを、オブジェクトとの距離に応じて変更する一例を説明するための図である。 一実施形態に係る深さ情報を取得するディスプレイ装置の具体的な構成を示す図である。 一実施形態によりセンサ領域を選択するための基準距離を決定する方法を説明するための図である。 センサパネルで検出されたセンサデータを可変的に選択する一例を説明するための図である。 対応点を用いてマルチビュー映像をマッチングして深さ映像を取得する一例を説明するための図である。 対応点を用いてマルチビュー映像をマッチングして深さ映像を取得する一例を説明するための図である。 マルチビュー映像からリフォーカス映像を生成する概念を説明するための図である。 マルチビュー映像からリフォーカス映像を生成する実例を説明するための図である。 境界面を用いてリフォーカス映像をマッチングして深さ映像を取得する一例を説明するための図である。 第１深さ映像及び第２深さ映像を再び組合わせてオブジェクトの深さ映像を取得することを説明するための図である。 一実施形態に係るディスプレイ装置の深さ情報を取得する方法を具体的に示した作業フローチャートである。

以下、実施形態を添付する図面を参照しながら詳細に説明する。しかし、実施可能な例示は、明細書に記載された実施形態によって制限されたり限定されることはない。各図面に提示された同一の参照符号は同一の部材を示す。

一実施形態に係るディスプレイ装置はイメージングパターンを含み、このイメージングパターン内のアパーチャーを介してオブジェクトの入力光を通過させるディスプレイパネルと、前記イメージングパターンを通過した入力光によって符号化されたデータ（以下、センサデータとする）を検出して前記オブジェクトの映像を復元するためのセンサパネルを含んでもよい。前記センサパネルは、前記センサデータが検出される最大領域としての映像取得領域を含んでもよい。前記映像取得領域の大きさは、前記イメージングパターンの大きさに対応して設定されてもよい。

ディスプレイ装置は、オブジェクトからの距離、例えば、オブジェクトとディスプレイパネルとの間の距離を考慮して、前記映像取得領域のうち少なくとも一部をセンサ領域として選択する。前記センサ領域は、前記オブジェクトの映像を復元するための復号化処理で実際活用されるセンサデータを選択するための領域であってもよい。

一実施形態に係るディスプレイ装置は、オブジェクトが位置する距離に基づいたセンサ領域の可変的な選択によって最適の深さ映像を生成することができる。

図１は、一実施形態に係る深さ情報を取得するディスプレイ装置の概略的な構造を説明する図である。

図１に示すように、ディスプレイ装置１００は、ディスプレイパネル１１０とセンサパネル１２０を備える。

ディスプレイパネル１１０は映像を表示するためのパネルである。例えば、ディスプレイパネル１１０にはＬＣＤピクセル構成のパネル、または、ＯＬＥＤピクセル構成のパネルを用いてもよく、これに限定されることはない。実施形態にかかるディスプレイパネル１１０は、外部からの入力光を通過させてセンサパネル１２０がセンサデータを取得できるようにする。センサデータは、センサパネル１２０に含まれたセンサによって検出されたデータである。

入力光を通過させるために、ディスプレイパネル１１０は複数のイメージングパターン１１２を含んでもよい。イメージングパターン１１２は、ディスプレイパネル１１０を構成しているディスプレイピクセルの種類に応じて形成する過程において異なっていて良い。

一例として、ディスプレイピクセルをＬＣＤピクセルから構成する場合、ディスプレイパネル１１０は、複数ＬＣＤピクセルの組合せに基づいてイメージングパターン１１２を光学的に形成してもよい。ここで、ＬＣＤピクセルのディスプレイパネル１１０は、時分割されて予め決定された時間、例えば、放送映像信号が表示されない時間中にイメージングパターン１１２を形成して外部の前記入力光を通過させてもよい。

例えば、ＬＣＤピクセルのディスプレイパネル１１０は、時分割方式を用いて一定の時間中にディスプレイモードとして動作し、異なる一定の時間中に映像取得モードとして区分して動作してもよい。

ディスプレイモードでディスプレイパネル１１０は、ＬＣＤピクセルを用いて放送映像信号を表示する。また、映像取得モードでディスプレイパネル１１０は、ＬＣＤピクセルの光学的な組合でイメージングパターン１１２を形成し、形成されたイメージングパターン１１２で外部の入力光を通過させてディスプレイパネル１１０の後面にあるセンサパネル１２０はセンサデータを検出することができる。

ＬＣＤピクセルの光学的な組合せで形成されるイメージングパターン１１２は、例えば、透明なピクセルが組合わせられる映像と不透明なピクセルが組合わせられる映像を、選定された規則により配列し、様々な様態に設計してもよい。

一例として、イメージングパターン１１２は、透明なピクセルが組合わせられる映像の周囲に不透明なピクセルが組合わせられる映像を複数配置してピンホールパターンに設計してもよい。他の一例として、イメージングパターン１１２は、透明なピクセルが組合わせられる映像と、透明なピクセルが組合わせられる映像を、交差して決定した模様になるよう配置し、ＭＵＲＡ（Ｍｏｄｉｆｉｅｄ Ｕｎｉｆｏｒｍｌｙ Ｒｅｄｕｎｄａｎｔ Ａｒｒａｙ）パターンに設計してもよい。他の一例として、ディスプレイピクセルをＯＬＥＤピクセルから構成する場合、ディスプレイパネル１１０は、パネルの製造ステップで予め設計されたイメージングパターン１１２を含んでもよい。

イメージングパターン１１２の設計において、ディスプレイパネル１１０を構成するＯＬＥＤピクセルの一部は、透明ウィンドウを含んで入力光を通過させるようにする。透明ウィンドウを含むＯＬＥＤピクセルは、例えば、ＯＬＥＤピクセル内のウィンドウを透明に調整して製作してもよい。

また、ＯＬＥＤピクセルの他の一部は、不透明ウィンドウを含んで入力光を通過させなくてもよい。不透明ウィンドウを含むＯＬＥＤピクセルは、例えば、ＯＬＥＤピクセル内のウィンドウを不透明に調整して製作してもよい。

イメージングパターン１１２は、透明ウィンドウを含むＯＬＥＤピクセルと、不透明ウィンドウを含むＯＬＥＤピクセルを選定された規則により配列し、様々な様態に設計してもよい。例えば、イメージングパターン１１２は、透明ウィンドウを含むＯＬＥＤピクセルの周囲で不透明ウィンドウを含むＯＬＥＤピクセルを複数配置してピンホールパターンに設計してもよい。他の一例として、イメージングパターン１１２は、透明ウィンドウを含むＯＬＥＤピクセルと、不透明ウィンドウを含むＯＬＥＤピクセルとを交差して決定した文様になるよう配置し、ＭＵＲＡパターンに設計してもよい。図１では、イメージングパターン１１２として、４個のＭＵＲＡパターンを正方形にタイリング（ｔｉｌｉｎｇ）することが例示されている。

ディスプレイパネル１１０におけるイメージングパターン１１２の個数とイメージングパターン１１２の位置は、前記入力光を受入れるディスプレイパネル１１０の大きさ、パネルの製造環境などを考慮して決定されてもよい。

入力光の通過において、ＯＬＥＤピクセルのディスプレイパネル１１０は、時分割方式を用いて一定の時間中にディスプレイモードとして動作し、異なる一定の時間中に映像取得モードに区分して動作してもよい。

ディスプレイモードでディスプレイパネル１１０は、ＯＬＥＤピクセルを用いて放送映像信号を表示する。また、映像取得モードでディスプレイパネル１１０は、予め設計されてパネルに含まれているイメージングパターン１１２に外部の入力光を通過させて、ディスプレイパネル１１０の後面にあるセンサパネル１２０がセンサデータを検出できるようにする。

また、ＯＬＥＤピクセルのディスプレイパネル１１０は、イメージングパターン１１２がパネル内に含まれているため、実施形態に係る放送映像信号を表示しながら同時に入力光を通過させてもよい。

例えば、ＯＬＥＤピクセルのディスプレイパネル１１０は、ＯＬＥＤピクセルに含まれる透明ウィンドウまたは不透明ウィンドウを用いて時分割することなく、表示しながら同時に入力光を通過させてもよい。この場合、放送映像信号を表示する光が、オブジェクトに反射して追加的に入力されることで、ディスプレイパネル１１０はより多い光量の入力光を通過させると共に、これにより後端のセンサパネル１２０に検出されるセンサデータの品質を向上させることができる。

ディスプレイパネル１１０のイメージングパターン１１２を通過した入力光は、映像に関するセンサデータに符号化され、センサデータはセンサパネル１２０によって検出される。例えば、センサパネル１２０は、複数のイメージングパターン１１２それぞれを通過した入力光によるセンサデータを、複数の映像取得領域として検出してもよい。

その後、ディスプレイ装置１００は、センサパネル１２０で検出されたセンサデータを復号化処理することで、前記入力光と関連するオブジェクトの映像を映像取得領域ごとに複数復元し、マルチビュー映像を生成する。

このような実施形態に係るディスプレイ装置１００は、別途の深さカメラを使用しなくても深さ映像を取得することができる。

図２は、センサパネルの映像取得領域とマルチビュー映像に対する一例を説明するための図である。

マルチビュー映像は、１つのオブジェクトに対して視点をそれぞれ異にする複数映像であってもよく、実施形態において、複数の映像取得領域と関連して生成される映像の通称であってもよい。ディスプレイ装置は、個別の映像取得領域で検出されるセンサデータをそれぞれ復号化し、映像取得領域の個数に相応する複数の映像をマルチビュー映像に生成してもよい。

センサデータの検出において、センサパネルは、イメージングパターンに含まれたアパーチャ（ａｐｅｒｔｕｒｅ）（例えば、透明ウィンドウを含むＯＬＥＤピクセルの透明ウィンドウ）を通過する入力光からイメージングパターン数に対応する複数のセンサデータを検出してもよい。

図２（ａ）には、ディスプレイパネルが３×３の９個のイメージングパターンを含む場合、９個のイメージングパターンを通過した入力光によるセンサデータを、センサパネルの映像取得領域２１０で検出する一例を示している。例えば、オブジェクトの入力光は、９個のイメージングパターンでそれぞれ相異なる角度で通過し、センサパネルは、９個のイメージングパターン１１２によって符号化されたセンサデータを、３ｘ３の９個の映像取得領域２１０でそれぞれ検出してもよい。

映像取得領域２１０に検出されるセンサデータは、入力光と関連するオブジェクトとの距離（オブジェクトとディスプレイパネルとの間の離隔距離）により、映像取得領域２１０内の特定部分に集中して分布する。これによって、ディスプレイ装置は、オブジェクトとの距離を考慮してセンサパネルの映像取得領域２１０から、実際に復号化するときセンサデータを決定するためのセンサ領域２２０を選択してもよい。

例えば、ディスプレイ装置は、オブジェクトとの距離を基準距離として推定し、基準距離に基づいてセンサパネルの映像取得領域２１０の少なくとも一部をセンサ領域２２０として選択してもよい。基準距離の推定については後述する。

図２（ｂ）には、９個の映像取得領域２１０でそれぞれ選択されたセンサ領域２２０内のセンサデータを独立的に復号化処理し、３×３の９個のマルチビュー映像２３１〜２３９を生成することが例示されている。

図２（ｂ）に示すように、マルチビュー映像２３１〜２３９は、１つのオブジェクトに対して、複数の視点を有する複数の映像（複数の映像のそれぞれは各視点に対応）であってもよい。

例えば、図２（ｂ）に示す９個のマルチビュー映像において、中央に生成される映像２３５（以下、「センター映像」とする）は、前記オブジェクトの入力光がイメージングパターンを垂直に近似する角度で通過し、センサパネル内の中央に位置する映像取得領域２２０として検出されるセンサデータを復号化することにより生成される映像である。前記センター映像２３５の視点はオブジェクトを正面から眺めた角度であってもよい。

また、センター映像２３５と隣接している映像２３４、２３６は、センター映像２３５と水平視点で差をもって生成される映像として、オブジェクトを、センター映像２３５に比べて左側または右側から眺めた映像である。

類似に、センター映像２３５と縦に隣接する映像２３２、２３８は、センター映像２３５と垂直視点で差をもって生成される映像として、オブジェクトを、センター映像２３５に比べて上方または下方から眺めた映像である。

また、センター映像２３５と対角に隣接する映像２３１、２３３、２３７、２３９は、センター映像２３５と水平及び垂直視点の全てが差をもって生成される映像である。例えば、マルチビュー映像２３１は、センター映像２３５に比べて、左側の上方に見上げる映像である。

図２（ｂ）に示すマルチビュー映像２３１〜２３９は、センター映像２３５を基準として、前記オブジェクトを眺める視点が少しずつずれてみえる複数の映像に生成されてもよい。

図２（ｂ）に示すマルチビュー映像は説明の目的として提示されたものであり、実施形態に係るマルチビュー映像は、９個以上または９個以下の映像から構成されてもよい。

図３は、センサデータを検出する映像取得領域とセンサ領域との関係を詳細に説明するための図である。

上述したように、ディスプレイパネルには複数のイメージングパターンが含まれてもよく、図３には、一例に係る複数のイメージングパターンのうち１つのイメージングパターン３１０が図示されている。一例によると、それぞれのイメージングパターン３１０は、図３に示すように、一辺がｒである４個のＭＵＲＡパターン３２１〜３２４を正方形（ｓｑｕａｒｅ）に配置して構成してもよい。

ＭＵＲＡパターン３２１〜３２４は内部に形成されたアパーチャ、例えば、透明ウィンドウを含むＯＬＥＤピクセルによってオブジェクト３５０からの入力光を通過させて符号化することで、後端のセンサパネル１２０からセンサデータが検出されるようにする。

センサパネル１２０は映像取得領域３３０を含み、イメージングパターン３１０によって符号化されるセンサデータを映像取得領域３３０で検出してもよい。

映像取得領域３３０は前記センサデータが検出される最大領域であってもよく、図３ではイメージングパターン３１０の大きさに応じて、一辺を２ｒ（前記ｒはＭＵＲＡパターン３２０の一辺の長さ）として有する正四角の領域として設定されてもよい。

一実施形態のディスプレイ装置３００は、オブジェクト３５０からの距離を考慮して、センサ領域３４０の範囲を変更して選択してもよい。ここで、センサ領域３４０は映像取得領域３３０に含まれる領域として、例えば、映像取得領域３３０のうち深さ映像取得のために用いられる領域を指す。または、例えば、センサ領域３４０は、映像取得領域３３０のうちセンサデータが実際に分布する領域を指す。実施形態に係るセンサ領域３４０は、オブジェクト３５０からの距離に基づいてその範囲が決定されてもよい。

例えば、ディスプレイ装置３００は、オブジェクト３５０とディスプレイパネル１１０との距離を用いて、映像取得領域３３０の少なくとも一部をセンサ領域３４０として選択してもよい。

図３に示すオブジェクト３５０とディスプレイパネル１１０との間の距離（オブジェクト３５０からの距離）はＺであると参照される。前述したように、ディスプレイパネル１１０はイメージングパターン３１０を含む。

ディスプレイパネル１１０とセンサパネル１２０との間の距離はＦであると参照される。ここで、映像取得領域３３０の一辺の長さが２ｒである場合、実施形態に係るディスプレイ装置３００は、長さが（１＋（Ｆ／Ｚ））ｒの一辺を有するセンサ領域３４０を、映像取得領域３３０から選択してもよい。

図３に示すように、センサ領域３４０に選択される（１＋（Ｆ／Ｚ））ｒは、例えば、オブジェクト３５０との距離に応じて、入力光がＭＵＲＡパターン３２４を通過して映像取得領域３３０に達する左側終端と、ＭＵＲＡパターン３２３を通過して映像取得領域３３０に達する右側終端との間の長さに相当する。

オブジェクト３５０との距離を考慮して映像取得領域３３０から選択される、センサ領域３４０には前記入力光により生成されるセンサデータが集中的に分布する。

実施形態において、ディスプレイ装置３００は、オブジェクト３５０からの距離が変化されることでセンサ領域３４０の大きさを変更して選択してもよい。例えば、ディスプレイ装置３００は、オブジェクト３５０とディスプレイパネル１１０との間の離隔された距離が遠くなるほど、センサ領域３４０の大きさはよりも小さく変更して選択してもよい。前記（１＋（Ｆ／Ｚ））ｒにおいてＺの増加により、選択されるセンサ領域３４０の大きさは小さくなる。

逆に、ディスプレイ装置３００は、オブジェクト３５０とディスプレイパネル１１０との間の離隔された距離が近くなるほど、センサ領域３４０の大きさはより大きく変更して選択してもよい。例えば、前記（１＋（Ｆ／Ｚ））ｒにおいてＺの減少により、選択されるセンサ領域３４０の大きさは大きくなる。

センサ領域３４０は、イメージングパターン３１０の個数に応じて複数決定され、ディスプレイ装置３００は決定されたセンサ領域３４０に属するそれぞれのセンサデータを用いた復号化処理によって多視点マルチビュー映像を生成することができる。

したがって、実施形態によると、オブジェクト３５０からの距離に基づいてセンサ領域３４０の大きさを調節することで、ディスプレイ装置３００から遠く位置するオブジェクトのみならず、ディスプレイ装置３００に近接するオブジェクトの深さ映像も生成することができる。

また、本実施形態によると、ディスプレイ装置３００から近接するユーザの手動作などを認識し、それに対応する処理ができることからユーザにタッチスクリーンのようなユーザ経験を提供することができる。

また、一実施形態に係るディスプレイ装置３００は、オブジェクト３５０との距離を考慮して可変的に選択されるセンサ領域３４０内のセンサデータを用いた、復号化処理によってマルチビュー映像を生成し、前記マルチビュー映像を組合わせることで窮極的にオブジェクト３５０に関する深さ映像を取得する環境を設けることができる。

図４は、一実施形態に係るセンサ領域の大きさをオブジェクトとの距離に応じて変更する一例を説明する図である。

図４には、オブジェクト４２０からの距離に応じてセンサ領域の大きさを変更する動作について説明している。

図４は、ディスプレイパネル４３０とセンサパネル４４０との間の距離がＦである場合、オブジェクト４２０をディスプレイパネル４３０とＺ_０だけ離隔するとき選択されるセンサ領域の大きさ、オブジェクト４２０を前記Ｚ_０よりも遠いＺ_１だけ離隔するとき選択されるセンサ領域の大きさを比較するための例示図である。

図４（ａ）において、ディスプレイ装置は、ディスプレイパネル４３０からＺ_０だけ離れた距離にあるオブジェクト４２０に関するセンサデータをセンサパネル４４０で検出する。ここで、オブジェクト４２０の入力光は、イメージングパターンのアパーチャ４１０を角度θ_０として通過し、ディスプレイ装置は、イメージングパターンによって符号化されたセンサデータをセンサパネル４４０の範囲Ｓ_０で検出してもよい。ディスプレイ装置は、前記範囲Ｓ_０をセンサ領域として選択してもよい。

前記角度θ０は数式（１）を満足するように算出される。

また、図４（ｂ）において、ディスプレイ装置は、ディスプレイパネル４３０からＺ_１だけ離れた距離にあるオブジェクト４２０に対する映像を取得する。Ｚ_１は図４（ａ）のＺ_０よりもディスプレイパネル４３０からさらに遠く離れた距離である。

ここで、オブジェクト４２０の入力光は、イメージングパターンのアパーチャ４１０を角度θ_１として通過してもよい。ここで、角度θ_１は、距離Ｚ_１が前述の図４（ａ）のＺ_０よりも相対的に離れ、図４（ａ）に示すθ_０よりも小さい角を有する。

また、ディスプレイ装置は、イメージングパターンによって符号化されたセンサデータをセンサパネル４４０の範囲Ｓ_１として検出してもよい。ディスプレイ装置は、範囲Ｓ_１をセンサ領域として選択してもよい。Ｓ_１は、入力光がアパーチャ４１０を通過する角度の減少により図４（ａ）に示すＳ_０よりも狭い。

言い換えれば、ディスプレイ装置は、オブジェクト４２０からの距離が遠いほどセンサ領域の大きさをよりも小さく選択してもよい。

角度θ_１は数式（２）を満足するように算出される。

ディスプレイ装置は、オブジェクト４２０からの距離に応じてセンサパネル４４０のセンサ領域の大きさを変更して決定することで、距離を考慮したマルチビュー映像への復元を可能にし、窮極的には、オブジェクト４２０の深さ情報を推定できる環境を設けることができる。

例えば、ディスプレイ装置は、オブジェクト４２０からの距離に応じてセンサパネル４４０のセンサ領域を変更し、変更されたセンサ領域に基づいてオブジェクト４２０の深さ情報を取得する。ここで、センサ領域の変更は、オブジェクト４２０からの距離に応じてセンサパネル４４０のセンサ領域の大きさを変更してもよい。例えば、オブジェクト４２０からの距離が遠いほど、センサ領域の大きさは小さくなる。一方、オブジェクト４２０からの距離が小さくなるほど、センサ領域の大きさは大きくなる。

図５は、一実施形態に係る深さ情報を取得するディスプレイ装置の具体的な構成を示す図である。

ディスプレイ装置５００は、ディスプレイパネル５５０及びセンサパネル５６０に加えて、基準決定部５１０、センサ選択部５２０、データ復号化部５３０及び深さ取得部５４０をさらに備える。

まず、基準決定部５１０は基準距離を推定する。基準距離はいずれかの距離にオブジェクトがあることを仮定し、後述するセンサ選択部５２０でセンサ領域を優先して選択するようにする距離であってもよい。

一実施形態によると、基準距離の推定において、基準決定部５１０は複数の候補距離を選択し、複数の候補距離それぞれに対応してセンサパネル５６０と関連して生成された映像の鮮明度に応じて複数の候補距離の中から基準距離を決定してもよい。

例えば、基準決定部５１０は、各候補距離に対してセンサパネル５６０から候補センサ領域をそれぞれ選択し、選択された候補センサ領域のセンサデータを復号化して生成されたマルチビュー映像の鮮明度を比較する。鮮明度の比較において、基準決定部５１０は、各候補距離と関連する生成されたマルチビュー映像のうちセンター映像の鮮明度を比較してもよい。ここで、センター映像は、マルチビュー映像のうち、イメージングパターンのアパーチャーを垂直に近似する角度で通過した入力光によって生成される映像であってもよい（図２で２３５で示す映像）。

基準決定部５１０は、鮮明度の比較によって鮮明度が最も優れるセンター映像をリファレンス映像として決定し、前記リファレンス映像の生成と関連する候補距離を基準距離として決定してもよい。例えば、基準決定部５１０は、センター映像のうち、映像内に含まれるブラー（ｂｌｕｒ）が小さいほど鮮明度が高いものと判断する。

実施形態に係る基準決定部５１０は、選択された第１距離に応じてセンサパネル５６０から第１センサ領域を選択し、第１センサ領域に基づいて生成されるマルチビュー映像のうちセンター映像を選別する。類似に、基準決定部５１０は、第１距離と相異なる第２距離に応じてセンサパネル５６０から第２センサ領域を選択し、第２センサ領域に基づいて生成されるマルチビュー映像のうちセンター映像を選別する。その後、基準決定部５１０は、選別された各センター映像のうち、鮮明度が相対的に優れるリファレンス映像と関連する距離を基準距離として選定してもよい。

図６は、一実施形態によりセンサ領域を選択するための基準距離を決定する方法を説明するための図である。

図６には、複数の候補距離に応じて複数の候補センサ領域を選択し、選択された候補センサ領域内のセンサデータを用いた復号化の処理結果に応じて、複数の候補距離の中から基準距離を決定する一例が図示されている。

まず、図５に示す基準決定部５１０は、複数の候補距離による複数の候補センサデータを選択し、候補センサデータを復号化して第１映像を生成する。例えば、基準決定部５１０は、図６（ａ）のように、任意の候補距離３０ｃｍと５０ｃｍそれぞれに対して候補センサ領域を選択し、選択された候補センサ領域に属する候補センサデータを用いて復号化し（Ｓ６１０）、候補距離３０ｃｍに対応する第１映像６７０及び候補距離５０ｃｍに対応する第１映像６８０を生成する。

また、基準決定部５１０は、第１映像に対して雑音除去処理を行って第２映像を生成する。例えば、基準決定部５１０は、候補距離３０ｃｍと５０ｃｍと関連して生成された第１映像に対し、非局所平均（Ｎｏｎ−Ｌｏｃａｌ Ｍｅａｎｓ）アルゴリズムなどを用いて雑音除去の処理を行う（Ｓ６２０）。

また、基準決定部５１０は、第２映像に対して２進化を行い（Ｓ６３０）、第３映像を生成する。

他の実施形態によると、基準決定部５１０は、各候補距離に対するセンサ映像６７０、６８０及び２進化された第３映像を組合わせて生成された映像間の鮮明度を比較してもよい。例えば、基準決定部５１０は、候補距離３０ｃｍのセンサ映像６７０及び候補距離３０ｃｍの２進化された第３映像を組合わせる。２進化された映像は、各ピクセルに対してセグメントされた２つの値（例えば、０及び２５５）のみを有してもよい。基準決定部５１０は、候補距離３０ｃｍのセンサ映像６７０及び候補距離３０ｃｍの２進化された第３映像を、例えば、ＡＮＤ演算により組合わせた映像を生成してもよい。基準決定部５１０は、このように候補距離３０ｃｍ及び５０ｃｍに対してそれぞれ組合わせた映像を生成し、組合わせた映像間の鮮明度を比較する。

ここで、鮮明度を比較するためには、エッジ領域の平均絶対変化率（Ｍｅａｎ Ａｂｓｏｌｕｔｅ Ｇｒａｄｉｅｎｔ）値を用いる（Ｓ６４０）。

鮮明度の比較結果、基準決定部５１０は、ブラーが発生しなくて平均絶対変化率の優れる候補距離３０ｃｍのセンサ映像６７０が相対的に鮮明であると判断する（Ｓ６５０）。

また、基準決定部５１０は、鮮明度が高いと判断される候補距離３０ｃｍのセンサ映像６７０をリファレンス映像として決定し、決定されたリファレンス映像と関連する距離（例えば、３０ｃｍ）を基準距離として決定する（Ｓ６６０）。

このような基準距離の推定によって、ディスプレイ装置はオブジェクトの深さ映像を取得するときに推定された基準距離に応じてセンサ領域を早く選択することができる。

再び図５を詳説すると、センサ選択部５２０は、センサパネル５６０から基準距離によるセンサデータを選択してもよい。例えば、センサ選択部５２０は、基準距離と関連して可変的に選択されるセンサ領域を考慮し、センサデータを選択してもよい。

センサデータを選択するとき、センサ選択部５２０は、基準距離に応じて選択されるセンサデータ数を変化させてもよい。ここで、センサ選択部５２０は、基準距離が遠いほど前記センサデータ数を減少して選択してもよい。一方、基準距離が小さくなるほど、センサ選択部５２０は選択するセンサデータ数を増加させてもよい。

図７は、センサパネルで検出されたセンサデータを可変的に選択する一例を説明するための図である。

前述したように、センサパネル７００は、イメージングパターンのアパーチャ（例えば、ＯＬＥＤピクセルの透明ウィンドウ）を通過する入力光から、イメージングパターンの数に対応する複数のセンサデータを検出する。前記イメージングパターンは、４個のＭＵＲＡパターンを正方形でタイリングして構成してもよい（図１、図３参照）。

図７には、３×３の９個のイメージングパターンを通過した入力光によるセンサデータを、センサパネル７００の映像取得領域７１０で検出する一例を示している。

図５に示すセンサ選択部５２０は、映像取得領域７１０から前記基準距離によるセンサ領域７２０を選択することによって、オブジェクトの映像復元のために実際に復号化されるセンサデータを選択する。

例えば、基準距離をＺ、ディスプレイパネル５５０とセンサパネル５６０との間の距離をＦといい、イメージングパターンを構成する正方形の４個のＭＵＲＡパターンのいずれか一辺の長さがｒである場合、センサ領域７２０は長さが（１＋（Ｆ／Ｚ））ｒの一辺を有する正方形であってもよい。

（１＋（Ｆ／Ｚ））ｒから分かるように、もし、基準距離が遠くてＺが大きくなる場合、センサ選択部５２０はセンサ領域７２０の一辺の長さをより短く選択してもよい。一方、基準距離が短くなりＺが小さくなると、センサ選択部５２０はセンサ領域７２０の一辺の長さをより長く選択してもよい

選択されたセンサ領域７２０に含まれるセンサデータ数は、センサピクセル個数Ｒｐを用いて表現してもよい。

センサピクセル個数Ｒｐは数式（３）を満足するように決定される。

ここで、（１＋（Ｆ／Ｚ））ｒはセンサ選択部５２０により選択されたセンサ領域７２０の一辺の長さであり、Ｓｐはピクセルピッチを意味する。

数式（３）によるセンサピクセルの個数Ｒｐは、センサ領域７２０の一辺の長さと、センサ領域７２０のピクセルピッチとの比に対する四捨五入値であることが分かる。

選択されたセンサ領域７２０に含まれるセンサデータ数は、センサピクセル個数Ｒｐの自乗（Ｒｐ×Ｒｐ）として表現されてもよい。

図７及び数式（３）から分かるように、センサ選択部５２０は、オブジェクトとの距離として推定された基準距離を考慮し、映像取得領域７１０から可変的にセンサ領域、または、センサ領域に含まれるセンサデータを選択してもよい。

再び図５を参照すると、データ復号化部５３０は、センサデータを用いてオブジェクトに対するマルチビュー映像を生成する。データ復号化部５３０は選択されたセンサデータを復号化して解釈することで、オブジェクトに関して様々な視点から眺めた多視点のマルチビュー映像を生成してもよい（図２（ｂ）参照）。

センサデータの復号化の一例として、データ復号化部５３０は、センサデータ及びイメージングパターンを畳み込んで（ｃｏｎｖｏｌｕｔｉｏｎ）オブジェクトに対するマルチビュー映像を生成する。例えば、データ復号化部５３０は、センサ領域に含まれるセンサデータを、イメージングパターン内のＭＵＲＡパターンと畳み込み演算して復号化することで、オブジェクトから送出された様々な角度の入力光に基づいて生成される複数の映像を視覚化して復元することができる。

また、深さ取得部５４０は、前記マルチビュー映像からオブジェクトの深さ映像を取得する。例えば、深さ取得部５４０はオブジェクトに対する対応点を決定し、前記対応点を用いて前記マルチビュー映像それぞれをマッチングして深さ映像を取得してもよい。

図８Ａ及び図８Ｂは、対応点を用いてマルチビュー映像をマッチングして深さ映像を取得する一例を説明するための図である。

図８Ａでは、マルチビュー映像の生成のためのディスプレイパネル８０２及びセンサパネル８０４を例示している。

図８Ａに示すように、ディスプレイ装置８００は、ディスプレイパネル８０２とセンサパネル８０４を含み、オブジェクト（手）８０６と関連する入力光が入力される。入力光は、ディスプレイパネル８０２に含まれる複数のイメージングパターンを通過しながら映像に関するセンサデータに符号化され、センサデータは、センサパネル８０４の複数の映像取得領域で検出される。マルチビュー映像を生成するための復号化の場合、センサパネル８０４では、推定された基準距離に応じて復号化に関与するセンサデータ数が前記映像取得領域ごとに可変的に選択されてもよい。その後、図５に示すデータ復号化部５３０は、選択されたセンサデータを映像取得領域ごとに復号化することで、オブジェクト８０６に関して様々な視点で眺めた多視点のマルチビュー映像を生成することができる。

図８Ｂでは、マルチビュー映像を単一の深さ映像でマッチングすることを例示している。

まず、図５に示す深さ取得部５４０は、図８Ａに示すオブジェクト８０６を眺める基準視点の映像８３０−１、８３０−２と、基準視点と視点が相異なる複数のマルチビュー映像の対８１０、８２０のそれぞれからオブジェクト８０６の特徴部位を対応点として抽出してもよい。ここで、マルチビューの対のうち、第１マルチビュー映像８１０はオブジェクト８０６に対する左側視点からの映像であり、前記マルチビューの対のうち第２マルチビュー映像８２０はオブジェクト８０６に対する右側視点からの映像である。また、基準視点の映像８３０−１、８３０−２は、オブジェクト８０６に対する中央視点からの映像である。

深さ取得部５４０は、基準視点の映像８３０−１、８３０−２と、マルチビュー映像の対８１０、８２０のそれぞれから対応点を抽出する。例えば、図８Ｂに示すように、深さ取得部５４０は、第１マルチビュー映像８１０と基準視点の映像８３０−１に対して、手のひら部位の特徴部を点に表示して対応点を抽出してもよい。また、深さ取得部５４０は、第２マルチビュー映像８２０と基準視点の映像８３０−２に対して、手首部位の特徴部を点に表示して対応点を抽出してもよい。図８Ｂにおいて、対応点は手のひらと手首に特徴部を点に表示しているが、これは説明のためのものであり、それよりも多い対応点または少ない対応点が選択され得ることは技術分野で通常の知識を有する者は理解できる。

また、深さ取得部５４０は、基準視点の映像８３０−１に表示される特徴部を参照して、第１マルチビュー映像８１０に表示された手のひら部位内の特徴部を調整して確定する。類似に、深さ取得部５４０は、基準視点の映像８３０−２に表示される特徴部を参照して、第２マルチビュー映像８２０に表示された手首部位内の特徴部を調整して確定する。

その後、深さ取得部５４０は、手のひら部位内の特徴部を表示する第１マルチビュー映像８１０と、手首部位内の特徴部を表示する第２マルチビュー映像８２０を組合わせ、オブジェクト８０６に関する深さ映像８４０を取得することができる。例えば、深さ取得部５４０は、複数のマルチビュー映像の対８１０、８２０間の対応点、または、対応点を含む対応領域を用いてオブジェクト８０６に関する深さ映像８４０を取得してもよい。対応点を求める方法として、特徴整合法、ステレオ整合方式などが挙げられ、深さ取得部５４０は、作業環境により方式を柔軟に選択して対応点を求めるために利用してもよい。

これによって、一実施形態に係るディスプレイ装置は、基準距離に応じて選択されるセンサデータと関連して生成されたマルチビュー映像から対応点を識別し、対応点に対応する深さ情報を有するオブジェクトの深さ映像を取得することができる。

他の実施形態において、ディスプレイ装置は、マルチビュー映像からリフォーカス映像を生成し、リフォーカス映像を用いてオブジェクトの深さ映像を取得してもよい。

そのために、図５に示すデータ復号化部５３０は、マルチビュー映像を用いて複数のリフォーカス映像を生成する。例えば、データ復号化部５３０は、マルチビュー映像のうちセンター映像を中心にマルチビュー映像それぞれをピクセル単位にシフトし、シフトによりセンター映像に対して重なる映像を前記リフォーカス映像として生成する。リフォーカス映像それぞれは、シフトされるピクセル値に基づいて前記オブジェクトの一部を鮮明に表現する映像である。

図９は、マルチビュー映像からリフォーカス映像を生成する概念を説明するための図である。図９（ａ）には、相異なる深さを有する第１〜第３オブジェクト９１０、９２０、９３０の入力光がピンホールパターンを通過することによって、センサパネルで深さ情報を有するマルチビュー映像（映像＃１〜＃３）を検出することが例示されている。図９（ａ）に示されたピンホールパターンは、イメージングパターンの一例として、ピンホールパターン以外のパターンを用いてもよい。

例えば、センサパネルは、ピンホールと各オブジェクト９１０、９２０、９３０との視点差によってマルチビュー映像（映像＃１〜＃３）内のオブジェクト関連映像の間の距離を互いに異なる距離として検出してもよい。

その後、図５に示すデータ復号化部５３０は、マルチビュー映像のうちセンター映像（映像＃２）を中心に、映像＃１と映像＃３をピクセル単位にシフトする。

例えば、図９（ｂ）において、データ復号化部５３０は、センター映像の映像＃２を中心に映像＃１を右側に３ピクセルシフトし、映像＃３を左側に３ピクセルシフトすることで、最も大きい深さを有する深さ３の第３オブジェクト９３０関連の映像間で重複が行われ、第３オブジェクト９３０を鮮明に表現するリフォーカシング映像９４０を生成する。ここで、第１オブジェクト９１０と第２オブジェクト９２０に関する映像は、重複のためのシフト量が不足してリフォーカシングできない。

また、データ復号化部５３０は、映像＃２を中心に映像＃１を右側に２ピクセルシフトし、映像＃３を左側に２ピクセルシフトすることで、中間深さを有する深さ２のオブジェクト９２０関連映像の間で重複が行われ、第２オブジェクト９２０を鮮明に表現するリフォーカシング映像９５０を生成することができる。ここで、第１オブジェクト９１０に関する映像は重複のためのシフト量が不足してリフォーカシングできず、一方、第３オブジェクト９３０に関する映像は重複のためのシフト量が多すぎてリフォーカシングできない。

また、データ復号化部５３０は、センター映像の映像＃２を中心に映像＃１を右側に１ピクセルシフトし、映像＃３を左側に１ピクセルシフトすることで、最も小さい深さを有する深さ１の第１オブジェクト９１０に関する映像の間で重複が行われ、第１オブジェクト９１０を鮮明に表現するリフォーカシング映像９６０を生成することができる。ここで、第２オブジェクト９２０と第３オブジェクト９３０に関する映像は重複のためのシフト量が多すぎてリフォーカシングできない。

このように、データ復号化部５３０は、シフトされるピクセル値に基づいてオブジェクトの一部を鮮明に表現するリフォーカス映像を生成することができる。

図１０は、マルチビュー映像からリフォーカス映像を生成する実例を説明するための図である。

まず、図５に示す基準決定部５１０は、基準距離に応じてセンサパネルからセンサ領域を選択し、選択されたセンサ領域に基づいてマルチビュー映像１０００を生成する。図１０では、生成されたマルチビュー映像１０００に対して、センター映像１００５を中心にマルチビュー映像１０００それぞれをピクセル単位で、例えば、横方向、縦方向、対角線方向などにシフトすることについて例示している。図１０において、マルチビュー映像１０００は２５個のマルチビュー映像を含んでいる。

例えば、図５に示すデータ復号化部５３０は、センター映像１００５を除いた全てのマルチビュー映像１０００を、センター映像１００５を中心に１６ピクセル（実際に約２３ｃｍ）シフトし、シフトによりセンター映像１００５に対して重なる映像を、リフォーカス映像１０１０として生成してもよい。ここで、リフォーカス映像１０１０はオブジェクト部位のうち、例えば、左側の腕部位が鮮明に表現される映像である。

また、データ復号化部５３０は、センター映像１００５を除いた全てのマルチビュー映像１０００を前記センター映像１００５を中心に１３ピクセル（実際に約２８ｃｍ）シフトし、シフトにより前記センター映像１００５に対して重なる映像をリフォーカス映像１０２０として生成してもよい。ここで、リフォーカス映像１０２０はオブジェクトの部位のうち、例えば、胸部位が鮮明に表現される映像である。

また、データ復号化部５３０は、センター映像１００５を除いた全てのマルチビュー映像１０００を前記センター映像１００５を中心に１０ピクセル（実際に約３７ｃｍ）シフトし、シフトによりセンター映像１００５に対して重なる映像をリフォーカス映像１０３０として生成してもよい。ここで、リフォーカス映像１０３０はオブジェクトの部位のうち、例えば、右側の腕部位が鮮明に表現される映像である。

これによって、データ復号化部５３０は、オブジェクトの一部（左側の腕部位、胸部位、右側の腕部位）を特徴的に鮮明に表現する複数のリフォーカス映像１０１０、１０２０、１０３０をそれぞれ生成することができる。

リフォーカス映像を生成した後、図５に示す深さ取得部５４０は、複数のリフォーカス映像１０１０、１０２０、１０３０から前記オブジェクトの深さ映像を取得する。例えば、深さ取得部５４０は、複数のリフォーカス映像１０１０、１０２０、１０３０それぞれから境界面を決定し、境界面を用いてリフォーカス映像１０１０、１０２０、１０３０それぞれをマッチングして深さ映像を取得することができる。

図１１は、境界面を用いてリフォーカス映像をマッチングして深さ映像を取得する一例を説明するための図である。図１１では、複数のリフォーカス映像を単一の深さ映像にマッチングすることを例示している。

まず、図５に示す深さ取得部５４０は、リフォーカス映像１１１０〜１１４０それぞれから映像の境界面を抽出する。

例えば、深さ取得部５４０は、オブジェクトの指にリフォーカスされた第１リフォーカス映像１１１０から周辺に比べて明るく表現された指を含むエッジに関する境界面映像を抽出してもよい。また、深さ取得部５４０は、オブジェクトの手のひらにリフォーカスされた第２リフォーカス映像１１２０から周辺に比べて明るく表現された手のひらを含むエッジに関する境界面映像を抽出してもよい。

類似に、深さ取得部５４０は、オブジェクトの手首と腕にそれぞれリフォーカスされた第３、４リフォーカス映像１１３０、１１４０から周辺に比べて明るく表現された前記手首を含むエッジに関する境界面映像と前記腕を含むエッジに関する境界面映像をそれぞれ抽出してもよい。

その後、深さ取得部５４０は、抽出された複数のエッジに関する境界面映像を、エッジの鮮明度を考慮して１つの映像に組合わせることによって、オブジェクトに関する深さ映像１１５０を取得することができる。前記複数のエッジに関する境界面を組合わせる方法として、例えば、ＤＦＦ（Ｄｅｐｔｈ−Ｆｒｏｍ−Ｆｏｃｕｓ）、輪郭線映像マッチング法（ｂｏｕｎｄａｒｙ ｉｍａｇｅ ｍａｔｃｈｉｎｇ）方式などを活用してもよい。

これによって、一実施形態に係るディスプレイ装置は、基準距離と関連して生成されたマルチビュー映像から、オブジェクトの特定部位に対するエッジ値が相対的に高いリフォーカシング映像を生成して組合わせることで、オブジェクトの各部位を最適に表現しながら深さ情報を有するオブジェクトの深さ映像を取得することができる。

他の実施形態として、ディスプレイ装置は、マルチビュー映像を組合わせて取得した第１深さ映像と、リフォーカス映像を組合わせて取得した第２深さ映像とを再び組合わせて、オブジェクトに関するより鮮明な深さ映像の取得について説明する。

図５に示す深さ取得部５４０は、マルチビュー映像の点に関する深さ情報及びリフォーカス映像のエッジに関する深さ情報を用いてオブジェクトの深さ映像を取得する。

例えば、深さ取得部５４０は、オブジェクトに対する対応点を用いてマルチビュー映像それぞれをマッチングしてマルチビュー映像に関する第１深さ映像を生成し、リフォーカス映像内の境界面を用いてリフォーカス映像それぞれをマッチングしてリフォーカス映像に関する第２深さ映像を生成し、第１深さ映像と第２深さ映像を再び組合わせて深さ映像を取得することができる。

図１２は、第１深さ映像及び第２深さ映像を再び組合わせてオブジェクトの深さ映像の取得について説明するための図である。

まず、ディスプレイ装置は、基準距離に応じてセンサパネル内でセンサ領域１２１２を選択する（Ｓ１２１０）。例えば、ディスプレイ装置は、オブジェクト（例えば、人の手）に関する入力光がイメージングパターンを通過することによって、符号化されたセンサデータをセンサパネルから検出し、センサデータが集中して分布する領域を基準距離を考慮してセンサ領域１２１２に選択してもよい。

センサ領域１２１２は、１つの辺を「（１＋Ｆ／ｚ）ｒ」の長さを有するように選択される。ここで、Ｚはオブジェクトとディスプレイパネルとの間の距離であり、前記Ｆはディスプレイパネルとセンサパネルとの間の距離であり、ｒは映像取得領域の１／２辺の長さである。

また、ディスプレイ装置は、選択されたセンサ領域１２１２と関連してマルチビュー映像を生成する（Ｓ１２２０）。例えば、ディスプレイ装置は、イメージングパターンの個数に該当する複数のセンサ領域１２１２を選択してもよく、記複数のセンサ領域１２１２に含まれるセンサデータそれぞれに対して、復号化処理によって多視点のマルチビュー映像を生成してもよい。

また、ディスプレイ装置は、マルチビュー映像を用いて複数のリフォーカス映像を生成する（Ｓ１２３０）。例えば、ディスプレイ装置は、マルチビュー映像内のセンター映像を中心にマルチビュー映像それぞれをピクセル単位にシフトし、シフトによりセンター映像に対して重なる映像を、リフォーカス映像として生成してもよい。

続いて、ディスプレイ装置は、ステップＳ１２２０で生成されたマルチビュー映像に対して特徴整合法などを実行し、オブジェクトの対応点と関連するマルチビュー映像の第１深さ映像を生成する（Ｓ１２４０）。例えば、ディスプレイ装置は、マルチビュー映像それぞれからオブジェクトの特徴部位（手のひら、手首、腕）を対応点として抽出し、特徴部位と関連する部分映像を組合わせ、マルチビュー映像の点に関する深さ情報を有する第１深さ映像を生成してもよい。

また、ディスプレイ装置は、ステップＳ１２３０によって生成されたリフォーカス映像の各ピクセルに対してＤＦＦ（Ｄｅｐｔｈ−Ｆｒｏｍ−Ｆｏｃｕｓ）などを実行し、境界面と関連する前記リフォーカス映像の第２深さ映像を生成する（Ｓ１２５０）。例えば。オブジェクトの特徴部位（指、手のひら、手首、腕）にそれぞれリフォーカスされた複数のリフォーカシング映像からそれぞれ複数の境界面の映像を抽出し、この境界面の映像を組合わせ、リフォーカス映像のエッジに関する深さ情報を有する第２深さ映像を生成する（Ｓ１２５０）。

その後、ディスプレイ装置は、ステップＳ１２４０及びステップＳ１２５０の結果を再び組合わせて、オブジェクトに関する深さ映像を生成する（Ｓ１２６０）。例えば、ディスプレイ装置は、第２深さ映像を介してオブジェクトの手及び腕の境界面（例、輪郭線）を表現し、第１深さ映像を介してオブジェクトの手及び腕の内部点などを表現するよう再び組合わせてもよい。

これによって、一実施形態に係るディスプレイ装置は、無レンズ方式の符号化されたアパーチャ映像を用いて、符号化されたセンサ領域から可変的にセンサ領域を選択し、マルチビュー映像及びリフォーカス映像を生成し、２つの映像の組合せにより精密な深さ映像を生成することができる。

以下、深さ情報を取得するディスプレイ装置の動作に対する流れを詳細に説明する。

図１３は、一実施形態に係るディスプレイ装置の深さ情報を取得する方法を具体的に示した作業フローチャートである。

実施形態に係る深さ情報取得方法は、ディスプレイパネル及びセンサパネルを含む図５に示すディスプレイ装置５００によって行われる。

一実施形態におけるディスプレイ装置５００は、マルチビュー映像の点に関する深さ情報を取得する。

一実施形態におけるディスプレイ装置５００は、基準距離を推定する（Ｓ１３１０）。このステップＳ１３１０において、ディスプレイ装置５００はいずれかの距離にオブジェクトがあることを仮定し、センサ領域を優先して選択する距離としての基準距離を決定する。実施形態によると、オブジェクトからの距離に応じて映像取得領域内でセンサ領域の大きさを決定するが、センサ領域の大きさを決定するための距離がステップＳ１３１０で推定される。

基準距離の推定において、ディスプレイ装置５００は複数の候補距離を選択し、複数の候補距離それぞれに対応してセンサパネルと関連して生成された映像の鮮明度に応じて複数の候補距離の中から基準距離を決定してもよい。候補距離は、ディスプレイ装置５００からオブジェクトまでの距離を推定した値である。

ディスプレイ装置５００は、各候補距離に対してセンサパネルから候補センサ領域をそれぞれ選択し、選択された候補センサ領域のセンサデータを復号化して生成されたマルチビュー映像の鮮明度を比較する。鮮明度を比較することにおいて、ディスプレイ装置５００は、候補センサ領域のセンサデータを用いて生成されるマルチビュー映像の鮮明度として、平均絶対変化率値を算出してもよい。例えば、ディスプレイ装置５００は、平均絶対変化率が優れて映像内のブラーが少なく含まれたと判断されるマルチビュー映像を鮮明度が高いものと判断する。

これによって、ディスプレイ装置５００は、鮮明度が高いと判断されたマルチビュー映像をリファレンス映像として決定し、決定されたリファレンス映像と関連する距離を前記基準距離として決定してもよい。

また、ディスプレイ装置５００は、センサパネルで基準距離によるセンサデータを選択し、選択されたセンサデータを用いてオブジェクトに対するマルチビュー映像を生成する（Ｓ１３２０）。このステップＳ１３２０において、ディスプレイ装置５００は、基準距離と関連して可変的に選択されるセンサ領域を考慮してセンサデータを選択してもよい。

センサデータを選択するとき、ディスプレイ装置５００は、基準距離に応じて選択されるセンサデータ数を変化させ得る。ここで、ディスプレイ装置５００は、基準距離が遠いほどセンサデータ数を減少して選択してもよい。一方、基準距離が狭いほど、ディスプレイ装置５００は選択するセンサデータ数を増加させてもよい。

このステップＳ１３２０において、ディスプレイ装置５００は、選択されたセンサデータを復号化し視覚化することで、オブジェクトに関して様々な視点から眺めた多視点のマルチビュー映像を生成することができる。

センサデータの復号化の一例として、ディスプレイ装置５００は、センサデータ及びイメージングパターンを畳み込んでオブジェクトに対するマルチビュー映像を生成してもよい。例えば、ディスプレイ装置５００は、センサ領域に含まれるセンサデータを、イメージングパターン内のＭＵＲＡパターンと畳み込み演算して復号化することで、オブジェクトから送出された様々な角度の入力光に起因して生成される複数の映像を視覚化して復元してもよい。

次に、ディスプレイ装置５００は、対応点を用いてマルチビュー映像から第１深さ映像を生成する（Ｓ１３３０）。ステップＳ１３３０において、ディスプレイ装置は、マルチビュー映像の点に関する深さ情報を生成する。例えば、ディスプレイ装置は、オブジェクトに対する対応点を用いてマルチビュー映像それぞれをマッチングしてマルチビュー映像に関する第１深さ映像を生成してもよい。

例えば、ディスプレイ装置は、３つのマルチビュー映像で対応点としてそれぞれ抽出されたオブジェクトの手のひら、手首、腕に関する部分映像を、特徴整合法などにより組合わせることによって、オブジェクトに関する前記第１深さ映像を取得することができる（図８Ｂ参照）。

これによって、一実施形態に係るディスプレイ装置は、基準距離に応じて選択されるセンサデータと関連して生成されたマルチビュー映像から対応点を識別し、前記対応点に対応する深さ情報を有するオブジェクトの深さ映像を取得することができる。

他の実施形態として、ディスプレイ装置５００は、リフォーカス映像のエッジに関する深さ情報を取得してもよい。

他の実施形態として、ディスプレイ装置５００は、基準距離を推定し（Ｓ１３１０）、推定された基準距離に応じて選択されたセンサデータを用いてオブジェクトに対するマルチビュー映像を生成する（Ｓ１３２０）。ステップＳ１３１０及びステップＳ１３２０は、上述の一実施形態で説明したものに代替し、ここでは省略する。

ステップＳ１３１０及びステップＳ１３２０を行った後、ディスプレイ装置５００は、マルチビュー映像からリフォーカス映像を生成する（Ｓ１３４０）。ステップＳ１３４０において、ディスプレイ装置５００は、マルチビュー映像内のセンター映像を中心に、マルチビュー映像それぞれをピクセル単位にシフトし、シフトによりセンター映像に対して重なる映像をリフォーカス映像に生成してもよい。リフォーカス映像それぞれは、シフトされるピクセル値に基づいてオブジェクトの一部を鮮明に表現する映像である。

例えば、ディスプレイ装置５００は、センター映像を除いた全てのマルチビュー映像を、センター映像を中心にピクセル単位で順次シフトし、各シフトによりオブジェクトの指が鮮明に表現されるリフォーカス映像、オブジェクトの手のひら部位が鮮明に表現されるリフォーカス映像、オブジェクトの手首が鮮明に表現されるリフォーカス映像、オブジェクトの腕が鮮明に表現されるリフォーカス映像を生成してもよい。

続いて、ディスプレイ装置５００は、境界面を用いて第２深さ映像を生成する（Ｓ１３５０）。ステップＳ１３５０において、ディスプレイ装置は、リフォーカス映像のエッジに関する深さ情報を生成してもよい。ディスプレイ装置５００は、リフォーカス映像内の境界面を用いてリフォーカス映像それぞれをマッチングしてリフォーカス映像に関する第２深さ映像を生成してもよい。

例えば、ディスプレイ装置５００は、４個のリフォーカス映像でフォーカスされたオブジェクトの指、手のひら、手首、腕をそれぞれ含むエッジに関する境界面映像を、ＤＦＦ（Ｄｅｐｔｈ−Ｆｒｏｍ−Ｆｏｃｕｓ）などを用いて１つの映像で組合わせることで、オブジェクトに関する前記第２深さ映像を取得することができる（図１１参照）。

これによって、他の実施形態に係るディスプレイ装置は、基準距離と関連して生成されたマルチビュー映像から、オブジェクトの特定部位に対するエッジ値が相対的に高いリフォーカシング映像を生成して組合わせることで、オブジェクトの各部位を最適に表現しながらも深さ情報を有するオブジェクトの深さ映像を取得することができる。

更なる実施形態におけるディスプレイ装置５００は、第１深さ映像及び第２深さ映像を再び組合わせてオブジェクトの深さ映像を取得してもよい。

更なる実施形態におけるディスプレイ装置５００は、基準距離を推定し（Ｓ１３１０）、マルチビュー映像と第１深さ映像を生成し（Ｓ１３２０、Ｓ１３３０）、リフォーカス映像と第２深さ映像を生成する（Ｓ１３４０、Ｓ１３５０）。ステップＳ１３１０〜ステップＳ１３５０は上述の一実施形態及び他の実施形態で説明したものに代替し、ここでは省略する。

ステップＳ１３１０〜ステップＳ１３５０を行った後、ディスプレイ装置５００は、マルチビュー映像及び複数のリフォーカス映像を用いてオブジェクトの深さ映像を取得する（Ｓ１３６０）。このステップＳ１３６０は、マルチビュー映像の点に関する深さ情報及びリフォーカス映像のエッジに関する深さ情報を用いてオブジェクトの深さ映像を取得する。

例えば、ディスプレイ装置５００は、マルチビュー映像と関連して組合わせた第１深さ映像、及びリフォーカス映像と関連して組合わせた第２深さ映像を再び組合わせてオブジェクトの深さ映像を生成してもよい。

第１及び第２深さ映像を再び組み合わせることにおいて、ディスプレイ装置５００は、オブジェクトの特定部位のエッジを鮮明に表現する第２深さ映像に対して、当該部位の内部点などを鮮明に表現している第１深さ映像をマッチングして組合わせる。例えば、ディスプレイ装置５００は、第２深さ映像を介してオブジェクトの手及び腕の境界面（例、輪郭線）を表現し、第１深さ映像を介してオブジェクトの手及び腕の内部点などを表現するよう組合わせる（図１２参照）。

これによって、一実施形態に係る深さ情報取得方法は、無レンズ方式の符号化されたアパーチャ映像を用いて符号化されたセンサ領域から可変的にセンサ領域を選択し、マルチビュー映像及びリフォーカス映像を生成し、２つの映像の組合せにより精密な深さ映像を生成することができる。

実施形態に係る深さ情報取得方法は、ディスプレイパネル内のアパーチャーをレンズの代わりに用いて深さ推定を行うことができ、フラットパネルディスプレイにおける最適な適用を可能にする。

また、実施形態に係る深さ情報取得方法は、従来のセンシング陰影領域のようなオブジェクトの認知できない領域がないため、オブジェクトの距離に関わらず深さ推定が可能であり、タッチ、高解像度スキャン、空間操作などの立体映像が活用される、あらゆる分野で適用可能である。

また、実施形態に係る深さ情報取得方法は、３Ｄディスプレイと結合する場合、スクリーンの外で物体を操作するユーザの手を画面の正面で取り込む深さ映像を生成することによって、ユーザが実感することのできる相互作用を提供できる。

実施形態に係る方法は、様々なコンピュータ手段によって実行されることができるプログラム命令形態で実現され、コンピュータで読み取り可能な媒体に記録されることができる。コンピュータで読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むことができる。媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものであってもよく、コンピュータソフトウェア当業者に開示されて使用可能なものであってもよい。

上述したように、本発明は限定された実施形態と図面によって説明されたが、本発明が上述した実施形態に限定されるものではなく、本発明が属する分野において通常の知識を有する者であれば、このような記載から多様な修正および変形が可能である。

したがって、本発明の範囲は上述した実施形態に限定されて定められてはならず、添付の特許請求の範囲だけではなく、この特許請求の範囲と均等なものによって定められなければならない。

５００：ディスプレイ装置
５１０：基準決定部
５２０：センサ選択部
５３０：データ復号化部
５４０：深さ取得部
５５０：ディスプレイパネル
５６０：センサパネル

Claims (38)

1. ディスプレイパネル及びセンサパネルを含むディスプレイ装置で深さ情報を取得する方法において、
   オブジェクトの位置を想定して選択される基準距離に基づいて前記センサパネルのセンサ領域を変更するステップと、
   前記変更されたセンサ領域に基づいてオブジェクトの深さ情報を取得するステップと、
   を含むことを特徴とする深さ情報を取得する方法。
2. 前記センサパネルのセンサ領域を変更するステップは、前記オブジェクトからの推定された距離に応じて前記センサパネルの前記センサ領域の大きさを変更するステップを含むことを特徴とする請求項１に記載の深さ情報を取得する方法。
3. 前記オブジェクトからの推定された距離が遠いほど前記センサ領域の大きさは小さくなることを特徴とする請求項１又は２に記載の深さ情報を取得する方法。
4. ディスプレイパネル及びセンサパネルを含むディスプレイ装置でオブジェクトの深さ情報を取得する方法において、
   基準距離を推定するステップと、
   前記センサパネルで、前記基準距離によるセンサデータを選択するステップと、
   前記センサデータを用いて前記オブジェクトに対するマルチビュー映像を生成するステップと、
   前記マルチビュー映像を用いて前記オブジェクトの深さ映像を取得するステップと、
   を含むことを特徴とする深さ情報を取得する方法。
5. 前記マルチビュー映像を用いて前記オブジェクトの深さ映像を取得するステップは、
   前記オブジェクトに対する対応点を決定するステップと、
   前記対応点を用いて前記マルチビュー映像それぞれをマッチングして前記深さ映像を取得するステップと、
   を含むことを特徴とする請求項４に記載の深さ情報を取得する方法。
6. 前記マルチビュー映像を用いて複数のリフォーカス映像を生成するステップをさらに含み、
   前記オブジェクトの深さ映像を取得するステップは、前記複数のリフォーカス映像から前記オブジェクトの深さ映像を取得するステップを含むことを特徴とする請求項４又は５に記載の深さ情報を取得する方法。
7. 前記複数のリフォーカス映像を生成するステップは、
   前記マルチビュー映像内のセンター映像を中心に、前記マルチビュー映像それぞれをピクセル単位にシフトするステップと、
   前記シフトにより前記センター映像に対して重なる映像を前記複数のリフォーカス映像として生成するステップと、
   を含むことを特徴とする請求項６に記載の深さ情報を取得する方法。
8. 前記複数のリフォーカス映像のそれぞれは、シフトされるピクセル値に基づいて前記オブジェクトの一部を鮮明に表現する映像であることを特徴とする請求項６又は７に記載の深さ情報を取得する方法。
9. 前記複数のリフォーカス映像から前記オブジェクトの深さ映像を取得するステップは、
   前記複数のリフォーカス映像それぞれで境界面を決定するステップと、
   前記境界面を用いて前記複数のリフォーカス映像それぞれをマッチングして前記深さ映像を取得するステップと、
   を含むことを特徴とする請求項６乃至８のうちいずれか一項に記載の深さ情報を取得する方法。
10. 前記基準距離によるセンサデータを選択するステップは、前記基準距離に応じて前記センサデータの数を変更して選択するステップを含むことを特徴とする請求項４乃至９のうちいずれか一項に記載の深さ情報を取得する方法。
11. 前記基準距離が遠いほど前記センサデータの数は減少することを特徴とする請求項１０に記載の深さ情報を取得する方法。
12. 前記基準距離を推定するステップは、
    複数の候補距離を選択するステップと、
    前記複数の候補距離それぞれに対応し、前記センサパネルと関連して生成された映像の鮮明度に応じて前記複数の候補距離の中から前記基準距離を決定するステップと、
    を含むことを特徴とする請求項４乃至１１のうちいずれか一項に記載の深さ情報を取得する方法。
13. 前記複数の候補距離の中から前記基準距離を決定するステップは、前記映像内のブラーが少なく含まれるほど前記鮮明度が高いものと判断するステップを含むことを特徴とする請求項１２に記載の深さ情報を取得する方法。
14. 前記複数の候補距離の中から前記基準距離を決定するステップは、
    前記センサパネルで、前記複数の候補距離による複数の候補センサデータを選択するステップと、
    前記候補センサデータを用いて生成される前記映像の鮮明度として、平均絶対変化率値を算出するステップと、
    を含むことを特徴とする請求項１２又は１３に記載の深さ情報を取得する方法。
15. 前記平均絶対変化率値を算出するステップは、
    前記候補センサデータを復号化して第１映像を生成するステップと、
    前記第１映像に対して非局所平均化法（ｎｏｎ−ｌｏｃａｌ ｍｅａｎｓ）を行って第２映像を生成するステップと、
    前記第２映像に対して２進化を行って第３映像を生成するステップと、
    前記第３映像に対して前記平均絶対変化率値を算出するステップと、
    を含むことを特徴とする請求項１４に記載の深さ情報を取得する方法。
16. ディスプレイパネル及びセンサパネルを含むディスプレイ装置でオブジェクトの深さ情報を取得する方法において、
    基準距離に応じて前記センサパネルで選択されるセンサデータを用いて前記オブジェクトに対するマルチビュー映像を生成するステップと、
    前記マルチビュー映像を用いて複数のリフォーカス映像を生成するステップと、
    前記マルチビュー映像及び前記複数のリフォーカス映像を用いて前記オブジェクトの深さ映像を取得するステップと、
    を含むことを特徴とする深さ情報を取得する方法。
17. 前記オブジェクトの深さ映像を取得するステップは、前記マルチビュー映像の点に関する深さ情報、及び前記リフォーカス映像のエッジに関する深さ情報を用いて前記オブジェクトの深さ映像を取得するステップを含むことを特徴とする請求項１６に記載の深さ情報を取得する方法。
18. 前記オブジェクトの深さ映像を取得するステップは、
    前記オブジェクトに対する対応点を用いて前記マルチビュー映像それぞれをマッチングし、前記マルチビュー映像に関する第１深さ映像を生成するステップと、
    前記リフォーカス映像内の境界面を用いて前記リフォーカス映像それぞれをマッチングし、前記リフォーカス映像に関する第２深さ映像を生成するステップと、
    前記第１深さ映像と前記第２深さ映像とを組み合わせて前記深さ映像を取得するステップと、
    を含むことを特徴とする請求項１６又は１７に記載の深さ情報を取得する方法。
19. ディスプレイパネル及びセンサパネルを含むディスプレイ装置において、
    基準距離を推定する基準決定部と、
    前記センサパネルで前記基準距離によるセンサデータを選択するセンサ選択部と、
    前記センサデータを用いてオブジェクトに対するマルチビュー映像を生成するデータ復号化部と、
    前記マルチビュー映像を用いて前記オブジェクトの深さ映像を取得する深さ取得部と、
    を備えることを特徴とする深さ情報を取得するディスプレイ装置。
20. 前記深さ取得部は、前記オブジェクトに対する対応点を決定し、前記対応点を用いて前記マルチビュー映像それぞれをマッチングして前記深さ映像を取得することを特徴とする請求項１９に記載の深さ情報を取得するディスプレイ装置。
21. 前記データ復号化部は、前記マルチビュー映像を用いて複数のリフォーカス映像を生成し、
    前記深さ取得部は、前記複数のリフォーカス映像から前記オブジェクトの深さ映像を取得することを特徴とする請求項１９又は２０に記載の深さ情報を取得するディスプレイ装置。
22. 前記データ復号化部は、前記マルチビュー映像内のセンター映像を中心に、前記マルチビュー映像それぞれをピクセル単位にシフトし、前記シフトにより前記センター映像に対して重なる映像を前記リフォーカス映像として生成することを特徴とする請求項１９乃至２１のうちのいずれか一項に記載の深さ情報を取得するディスプレイ装置。
23. 前記リフォーカス映像はそれぞれ、シフトされるピクセル値に基づいて前記オブジェクトの一部を鮮明に表現する映像であることを特徴とする請求項２１又は２２に記載の深さ情報を取得するディスプレイ装置。
24. 前記深さ取得部は、前記リフォーカス映像それぞれで境界面を決定し、前記境界面を用いて前記リフォーカス映像それぞれをマッチングして前記深さ映像を取得することを特徴とする請求項２１乃至２３のうちのいずれか一項に記載の深さ情報を取得するディスプレイ装置。
25. 前記センサ選択部は、前記基準距離に応じて前記センサデータの数を変更して選択することを特徴とする請求項１９乃至２３のうちのいずれか一項に記載の深さ情報を取得するディスプレイ装置。
26. 前記基準距離が遠いほど前記センサデータの数は減少することを特徴とする請求項２５に記載の深さ情報を取得するディスプレイ装置。
27. 前記基準決定部は、複数の候補距離を選択して前記複数の候補距離それぞれに対応し、前記センサパネルと関連して生成された映像の鮮明度に応じて前記複数の候補距離の中から前記基準距離を決定することを特徴とする請求項１９乃至２６のうちのいずれか一項に記載の深さ情報を取得するディスプレイ装置。
28. 前記基準決定部は、前記映像内に含まれるブラーが少ないほど前記鮮明度が高いものと判断することを特徴とする請求項２７に記載の深さ情報を取得するディスプレイ装置。
29. 前記基準決定部は、前記センサパネルで前記複数の候補距離による複数の候補センサデータを選択し、前記候補センサデータを用いて生成される前記映像の鮮明度として平均絶対変化率値を算出することを特徴とする請求項２７に記載の深さ情報を取得するディスプレイ装置。
30. 前記基準決定部は、前記候補センサデータを復号化して第１映像を生成し、前記第１映像に対して非局所平均化法を行って第２映像を生成し、前記第２映像に対して２進化を行って第３映像を生成し、前記第３映像に対して前記平均絶対変化率値を算出することを特徴とする請求項２９に記載の深さ情報を取得するディスプレイ装置。
31. ディスプレイパネル及びセンサパネルを含むディスプレイ装置において、
    基準距離に応じて前記センサパネルで選択されるセンサデータを用いてオブジェクトに対するマルチビュー映像を生成し、前記マルチビュー映像を用いて複数のリフォーカス映像を生成するデータ復号化部と、
    前記マルチビュー映像及び前記複数のリフォーカス映像を用いて前記オブジェクトの深さ映像を取得する深さ取得部と、
    を備えることを特徴とする深さ情報を取得するディスプレイ装置。
32. 前記深さ取得部は、前記マルチビュー映像の点に関する深さ情報、及び前記リフォーカス映像のエッジに関する深さ情報を用いて前記オブジェクトの深さ映像を取得することを特徴とする請求項３１に記載の深さ情報を取得するディスプレイ装置。
33. 前記深さ取得部は、前記オブジェクトに対する対応点を用いて前記マルチビュー映像それぞれをマッチングして前記マルチビュー映像に関する第１深さ映像を生成し、前記リフォーカス映像内の境界面を用いて前記リフォーカス映像それぞれをマッチングして前記リフォーカス映像に関する第２深さ映像を生成し、前記第１深さ映像と前記第２深さ映像とを組み合わせて前記深さ映像を取得することを特徴とする請求項３１又は３２に記載の深さ情報を取得するディスプレイ装置。
34. 前記ディスプレイパネルは複数のピクセルから構成され、
    予め決定された第１時間中にディスプレイモードとして動作し、予め決定された第２時間中に映像取得モードとして動作するように前記ディスプレイパネルを制御することを特徴とする請求項１９に記載のディスプレイ装置。
35. 前記ディスプレイパネルは、前記映像取得モード中に映像を取得するセンサパネルを含むことを特徴とする請求項３４に記載のディスプレイ装置。
36. 前記ディスプレイパネルは、前記第１時間中に前記複数のピクセルを用いて放送映像信号をディスプレイし、前記第２時間中に外部光が、前記ディスプレイパネルを通過して前記センサパネルに伝達するように許容し、
    前記センサパネルは、前記外部光に基づいてセンサデータを取得することを特徴とする請求項３４又は３５に記載のディスプレイ装置。
37. ディスプレイパネル及びセンサパネルを含むディスプレイ装置でオブジェクトの深さ情報を取得する方法において、
    基準距離を推定するステップと、
    前記基準距離に基づいて前記センサパネルからのセンサデータを選択するステップと、
    前記センサデータを用いて生成されたマルチビュー映像との組合せによって第１深さ映像を生成するステップと、
    前記マルチビュー映像を用いて生成されたリフォーカス映像との組合せによって取得されたマルチビュー映像との組合せによって第２深さ映像を生成するステップと、
    前記第１深さ映像と前記第２深さ映像とを再結合して前記オブジェクトの深さ映像を取得するステップと、
    を含むことを特徴とする深さ情報を取得する方法。
38. 前記ディスプレイパネルは複数のピクセルから構成され、
    前記センサパネルは、映像取得のために前記ディスプレイパネルの後方に位置し、
    前記複数のピクセルを用いて映像信号をディスプレイし、同時に、前記ディスプレイパネルによって前記映像信号が表示される間に前記センサパネルで外部光を用いて映像を取得できるように、前記外部光が、前記ディスプレイパネルを通過して前記センサパネルに伝達するよう前記ディスプレイパネルを制御することを特徴とする、請求項１９に記載のディスプレイ装置。