JP6179282B2 - ３次元画像表示装置及び３次元画像表示方法 - Google Patents

Description

本発明は、運動視差を表現することが可能な複数の表示面を用いた３次元画像表示方法及び３次元画像表示装置に関する。

３次元の画像を表示可能な画像表示装置としては、例えば、液晶シャッター方式又は偏向方式などの方式がある。液晶シャッター方式は、左眼用と右眼用との両眼視差が付いた画像をフラットパネルディスプレイ等に時分割で表示する。観察者は、時分割で表示される画像と連動して動く液晶シャッター眼鏡をかけて３次元画像を観察する。液晶シャッター方式は、フレームシーケンシャル方式とも呼ばれる。偏向方式は、左眼用と右眼用との両眼視差が付いた画像をそれぞれ異なる方向の偏光で表示する。観察者は、左眼と右眼とで異なる方向の偏光を透過させる偏光眼鏡をかけて３次元画像を観察する。液晶シャッター方式及び偏向方式などの方式の画像表示装置は、総称して眼鏡式と言われる。

この他にも、視差バリア方式及びレンチキュラレンズ方式などの方式は、特別な眼鏡をかけることなく、裸眼で３次元画像を観察可能な３次元画像表示装置である。視差バリア方式は、フラットパネルディスプレイ等に視差バリアを組み合わせることで、両眼視差を与える。レンチキュラレンズ方式は、フラットパネルディスプレイ等にレンチキュラレンズを組み合わせることで、両眼視差を与える。視差バリア方式及びレンチキュラレンズ方式などの方式の画像表示装置は、総称して裸眼式と言われる。また、視差バリア及びレンチキュラレンズは、視差光学素子である。

上記に示した眼鏡式の３次元画像表示装置及び裸眼式の３次元画像表示装置は、いずれも２次元の表示面に対し左眼用と右眼用との画像を表示する。眼鏡式及び裸眼式の３次元画像表示装置は、ピントの調節が常に表示面に対して行われる。このため、知覚される立体感の不一致が発生する。「知覚される立体感の不一致」とは、表示面に対して前面側又は後面側に知覚される画像とピント調節面（表示面）との不一致である。眼鏡式及び裸眼式の３次元画像表示装置は、この不一致により、視差をある程度以上に大きくすると、融合限界により右目と左目との画像が融合せず、２重像が見えてしまい立体視が得られなくなるという問題がある。「前面側」とは、表示面に対して観察者側である。「後面側」とは、表示面に対して観察者と反対側である。

この問題に対し、特許文献１は、積層した表示面を用いて３次元画像を表示する方法及び装置を開示している。この表示装置は、人間が立体視を行う際の生理的要因を満足させることができ、より自然な立体視を実現できる。また、この表示装置は、電気的に書き換えが可能な３次元画像を表示できる。

また、特許文献１は、観察者の前後方向の視点の移動、左右方向の視点の移動又は上下方向の視点の移動を検出する技術を開示している。特許文献１は、この検出された視点の移動に応じて、積層した各表示面に表示する２次元画像を平行移動、拡大又は縮小などの変換処理を行って表示する。これらの変換処理は、組み合わせて処理されることも可能である。これらの変換処理により、特許文献１に示された表示装置は、観察者から見た立体視が可能な位置の範囲を広げることができる。

特許文献１は、平行移動、拡大または縮小のうちいずれか１つの変換処理の手法を用いることを記している。また、特許文献１は、これらの複数の変換処理の手法を組み合わせて用いることを記している。特許文献１に記された手法は、観察者の移動に対して積層した各表示面に表示する２次元像が観察者から見て常に重なりあうように表示を制御するものである。つまり、特許文献１に記された手法は、観察者から立体視を見ることのできる位置の範囲を広げるものである。

特開２０００−１５６８７６号公報

特許文献１は、観察者が移動して表示面に対する視線が変化しても同様な立体視を見ることができる。しかし、特許文献１は、観察者の移動に応じて立体物の方向が変化するため、本来の立体物であれば見えるような別の面（例えば、側面）等を見ることはできない。

本発明の目的は、立体視可能な位置の範囲が広く、運動視差を表現することが可能な複数の表示面を用いた３次元画像表示装置及び方法を提供することである。つまり、観察者が移動して表示面に対する視線が変化した際には、例えば、立体物の側面方向から見た画像を見ることができる３次元画像表示装置及び方法を提供することである。なお、「運動視差」とは、観察者が視線を動かしながら奥行きのあるものを観察したときに像の位置が変化して見えることを言う。

観察者から見て異なった奥行き位置に配置される複数の表示面と、２次元画像及び前記２次元画像の各画素に対応する深度情報を示すデプスマップを入力し、前記複数の表示面で挟まれる空間内において、前記深度情報を用いて前記２次元画像の各画素の前記空間内の表示位置を決定する奥行き情報正規化部と、前記観察者の視点位置を検出する視点位置検出部と、前記視点位置及び前記表示位置を結ぶ直線が前記複数の表示面の各面に交わる交点を示す位置情報を出力するとともに、前記交点に対応する前記２次元画像の画素の階調値を前記交点に分配した階調値を出力するマッピング部と、前記位置情報及び前記階調値から前記複数の表示面それぞれに表示する画像を生成する層画像生成部とを備え、前記マッピング部は、前記２次元画像の各画素を表示する位置と前記視点位置とに応じて、前記２次元画像の各画素の前記複数の表示面に対する表示位置を決定するマッピング処理を行い、前記２次元画像の各画素を表示する位置のうち奥行き方向の表示位置に応じて前記２次元画像の各画素の階調値について、前記マッピング処理を行った画素に対して分配処理を行い、表現する３次元形状において遮蔽され見えない位置関係にある画素を、前記マッピング処理を行わない無効画素とすることを特徴とする。

本発明は、視点位置及び表示位置を結ぶ直線が複数の表示面の各面に交わる交点を示す位置情報を出力するとともに交点に前記２次元画像の各画素の値を分配した階調値を出力するマッピング処理を行うことで、視点位置が移動しても、立体視を維持でき、運動視差を表現できる。

実施の形態１の３次元画像表示装置１００およびその周辺の構成を概略的に示すブロック図である。 実施の形態１の制御部１０５の構成を概略的に示すブロック図である。 奥行き値と画素の水平位置の関係を示した説明図である。 表示面１０１および表示面１０２で挟まれる空間における立体表示の視覚上の位置を示した説明図である。 実施の形態１のマッピング部２４におけるマッピング処理についての説明図である。 実施の形態１のマッピング部２４におけるオクルージョンの発生についての説明図である。 実施の形態１のマッピング部２４が出力する画素群情報の一例を示す説明図である。 実施の形態１の画素群情報に対するドロネー図の一例を示す説明図である。 実施の形態２の制御部１０５の構成を概略的に示すブロック図である。 実施の形態２のマッピング部におけるマッピング処理についての説明図である。 実施の形態２の表示面１０１上へのマッピング処理についての説明図である。 実施の形態２の表示面１０２上へのマッピング処理についての説明図である。

以下、本発明の実施の形態を図面に従って説明する。
実施の形態１．
本実施の形態で示す立体画像を表示する方法は、表示対象物をある１つの視点から撮像した１組の２次元画像と奥行き情報（デプスマップ）とを入力とする。そして、観察者の位置を検出した結果を利用して、積層した複数の表示面に表示する画像を生成する。それら画像を各表示面で表示することで運動視差まで再現した立体画像を表示する。

図１は、本発明の実施の形態１の３次元画像表示装置１００およびその周辺の構成を概略的に示したものである。図１において、３次元画像表示装置１００は、制御部１０５、表示面１０１、表示面１０２、バックライト１０３及び観察者位置検出センサ１０４を有する。

信号の流れに沿って、図１に示した各要素について説明する。

画像取得装置１１０は、ある視点から被写体１１１を見た時の２次元画像及びこの２次元画像に対応する奥行き情報としてデプスマップを取得し、これらを制御部１０５に出力する。「デプスマップ」とは、各画素に対応する深度情報を示すものである。「深度」とは、深さの程度、又は、度合いのことであり、基準位置と対象物との距離をいう。なお、「基準位置」は、例えば深度情報の取得時においては測定装置の位置である。画像取得装置１１０は、例えばＲＧＢ−Ｄカメラと呼ばれる３次元画像センサである。画像取得装置１１０が出力する２次元画像は、水平方向及び垂直方向に並んだ画素毎にＲ（赤色）の輝度の強さ、Ｇ（緑色）の輝度の強さ及びＢ（青色）の輝度の強さを示したデータ群である。また、画像取得装置１１０が出力する２次元画像は、例えば０から２５５までの８ビットの値（階調値）で示したデータ群である。画像取得装置１１０が出力する２次元画像は、一般的なデジタルカメラで撮影した２次元画像と同じ信号フォーマットである。なお、２次元画像は、必ずしもＲＧＢの階調値を含むカラー画像である必要はない。２次元画像は、モノクロ画像であっても良い。「ＲＧＢの階調値」とは、画素毎のＲ（赤色）の輝度の強さ、Ｇ（緑色）の輝度の強さ及びＢ（青色）の輝度の強さのことである。

また、画像取得装置１１０が出力するデプスマップは、２次元画像の各画素で表現される被写体の部分の画像取得装置１１０からの奥行き位置（距離）を示したデータ群である。デプスマップは、２次元画像と同じく水平方向及び垂直方向に並んだデータ群である。画像取得装置１１０が出力するデプスマップは、例えば手前に来るほうが大きい値をとるように０から４０９５までの１２ビットの値（奥行き値）で示したデータ群である。デプスマップは、一般にモノクロ画像として表現される。デプスマップの取得方法は、ＴｉｍｅＯｆＦｌｉｇｈｔ方式又はＬｉｇｈｔＣｏｄｉｎｇ方式がある。本発明は、これらの方式に特に限るものではない。

観察者位置検出センサ１０４は、３次元画像表示装置１００に対して観察者１０６がどの位置にいるのかを示す情報を取得するセンサである。観察者は、３次元画像表示装置に対して、水平方向軸１０７、垂直方向軸１０８及び奥行き方向軸１０９の３軸で表現される空間内を移動する。水平方向軸１０７は、３次元画像表示装置１００の左右方向の軸である。表示面１０１に向かって右側がプラス方向である。垂直方向軸１０８は、３次元画像表示装置１００の上下方向の軸である。３次元画像表示装置１００の上側がプラス方向である。奥行き方向軸１０９は、３次元画像表示装置１００の前後方向の軸である。表示面１０１に向かって手前側がプラス方向である。なお、本明細書内において、「水平方向」とは、水平方向軸１０７の方向であり、「垂直方向」とは、垂直方向軸１０８の方向である。

観察者位置検出センサ１０４は、この３軸で表現される空間内における観察者の位置を示す情報を取得する。ただし、観察者位置検出センサ１０４は、他の形式で空間を表した軸を用いても構わない。観察者位置検出センサ１０４は、例えばＲＧＢ−Ｄカメラである。観察者位置検出センサ１０４は、３次元画像表示装置１００に対して、決められた位置に置かれる。そして、観察者位置検出センサ１０４は、観察者１０６を画像内に含む２次元画像及びデプスマップを取得する。「観察者位置検出センサ１０４における位置検出」とは、例えば、２次元画像に対して顔検出を行うなどの解析をすることである。つまり、２次元画像の中から観察者１０６の顔を検出することで、観察者１０６の位置を特定する。顔検出を行うなどの解析は、２次元画像から水平方向軸１０７及び垂直方向軸１０８に対する観察者１０６の位置を検出することを可能にする。また、２次元画像で顔検出を行うなどの解析は、デプスマップから奥行き方向軸１０９に対する観察者の位置を検出することを可能にする。

観察者位置検出センサ１０４は、観察者１０６の位置を検出できる情報を取得するものであれば、ＲＧＢ−Ｄカメラに限られるものではない。観察者１０６の位置を検出できる情報を取得するものとは、例えば、水平方向にずれた位置に置かれた２つのカメラで構成されるステレオカメラ、赤外線センサ、超音波距離センサ及び光センサなどである。観察者位置検出センサ１０４が観察者１０６の位置を検出しやすくするために、観察者１０６は自らの位置を示すＬＥＤ又は画像パターンを身につけていても良い。観察者位置検出センサ１０４で取得した観察者１０６の位置を示す情報は、制御部１０５に出力される。

制御部１０５は、観察者位置検出センサ１０４から出力された観察者１０６の位置を示す情報を受け取る。「観察者の位置を示す情報」とは、画像取得装置１１０から出力される２次元画像、デプスマップ及び視点位置を知るための情報である。これらの情報は、３次元画像表示装置１００が３次元で画像を表示するための画像情報である。制御部１０５は、これら入力情報に対して処理を行う。制御部１０５は、積層された複数の表示面１０１，１０２に表示する２次元画像を生成する。制御部１０５は、生成した２次元画像を表示面１０１及び表示面１０２に対してそれぞれ出力する。

表示面１０１と表示面１０２とは、制御部１０５からそれぞれ２次元画像を受け取り、これらを観察者１０６に対して表示する。表示面１０１と表示面１０２とは、それぞれ２次元画像を表示する表示面を備えている。表示面１０１，１０２は、水平方向軸１０７及び垂直方向軸１０８を含む平面に平行な表示面を有する。表示面１０１と表示面１０２とは、奥行き方向軸１０９方向に間隔を持って、各表示面が平行になるよう積層されている。表示面１０１と表示面１０２との位置関係については、表示面１０１の表示面が観察者１０６の近くに配置され、表示面１０２の表示面が観察者１０６から遠くに配置されている。本実施の形態１において、表示面１０１及び表示面１０２は、透過型の液晶セルである。表示面１０１及び表示面１０２は、共通のバックライト１１２を有している。バックライト１１２は、表示面１０１及び表示面１０２を照明する光源である。バックライト１１２は、積層した表示面１０１，１０２の最後面の背部に置かれている。すなわち、バックライト１１２は、表示面１０２の背部に置かれている。なお、ここでは２つの表示面を記載しているが、本発明の３次元画像表示装置については表示面の数は３枚又は４枚など複数枚であっても良い。

なお、一般的な液晶セルの前面と後面とには偏光フィルムが貼られており、これらは互いに直交する方向の偏光を透過する。バックライトからの光は、後面側の偏光フィルムを透過した後、液晶セル内の液晶により偏光角が変えられる。偏光角は、液晶の各画素に与える電圧により調整できる。例えば、液晶で偏光を９０度回転させた場合には、光は前面側の偏光フィルムを全て透過するため液晶セルの表示面は白となる。液晶で偏光を回転させない場合には、光は前面側の偏光フィルムを透過できず液晶セルの表示面は黒となる。液晶セルの表示面において白と黒との間の中間階調を表示したい場合には、液晶による偏光角を０度から９０度までの間の値にすればよい。

上記の説明のように、液晶セルを透過した光は偏光となっている。このため、３次元画像表示装置１００のように液晶セルを積層する場合には、バックライト１０３に近い下層の液晶セルを透過した偏光が観察者に近い上層の液晶セルでも透過するようにしておく必要がある。なお、バックライトに近い層を下層と呼び、観察者に近い層を上層と呼ぶ。これには、いくつかの方法がある。例えば３次元画像表示装置１００のように２枚の液晶セルを積層する場合には、バックライトに近い下層の液晶セルの前面側の偏光フィルムが透過する偏光角と、観察者１０６に近い上層の液晶セルの後面側の偏光フィルムが透過する偏光角とが等しくなるように、それぞれの液晶セルの偏光フィルムを構成する。このような構成の場合には、２枚の液晶セルの中間位置に画像を知覚させるため、表示したい画像の奥行き情報に合わせて２枚の液晶セルの透過率の割合を制御する。透過率の割合を制御するということは、各表示面に表示する画像の輝度を制御することと等しい。

もしくは、バックライトに近い下層の液晶セルの前面側の偏光フィルムと観察者に近い上層の液晶セルの後面側の偏光フィルムとを無くす。そして、バックライトに近い下層の液晶セルの後面側の偏光フィルムと観察者に近い上層の液晶セルの前面側の偏光フィルムとが互いに直交するように構成する。このような構成の場合には、２枚の液晶セルの中間位置に画像を知覚させるため、表示したい画像の奥行き情報に合わせて２枚の液晶セルの偏光角調整量の割合を制御する。

次に、制御部１０５における処理について詳しく説明する。図２は、制御部１０５における処理の概略を示したブロック図である。制御部１０５は、奥行き情報正規化部２２、視点位置検出部２３、マッピング部２４及び層画像生成部２５を備える。以下、各部の動作について説明する。

奥行き情報正規化部２２は、２次元画像とこれに対応するデプスマップとを入力する。２次元画像及びデプスマップは、３次元で表示するための画像情報である。図１において、２次元画像とデプスマップとは、画像取得装置１１０で取得したものを制御部１０５に入力している。しかし、他の手段で取得したものを入力しても良い。例えば、ハードディスク又はＵＳＢメモリといった記憶装置にあらかじめ蓄積されている２次元画像とこれに対応するデプスマップとを入力しても良い。他にも、２Ｄグラフィックエンジンで描画した２次元画像とこれに対応するデプスマップとを入力しても良い。また、ステレオカメラで撮影した２視点の視差画像のうち１枚と、視差画像を解析して得られるデプスマップとを入力しても良い。以降の説明では、２次元画像はＲＧＢの３色の階調値を持つカラー画像として扱うが、画像の濃淡を示す階調値だけを持つモノクロ画像であっても良い。

奥行き情報正規化部２２は、最初に入力された２次元画像の各画素について、デプスマップで示される奥行き値を割り当てる。２次元画像及びデプスマップの示す空間（撮影画角）が解像度（水平方向の画素数と垂直方向の画素数）と等しい場合には、そのまま２次元画像の画素とデプスマップの画素との関係は一対一で対応するので問題ない。「画角」とは、撮影された光景の範囲を角度で表したものである。「画角」は、視野角ともいう。

２次元画像及びデプスマップの取得方法によっては、両者が示す空間（画角）が一緒であっても、水平方向の画素数と垂直方向の画素数とが異なる場合がある。例えば、２次元画像に対しデプスマップの解像度が低い場合には、デプスマップの拡大処理を行うか、又は２次元画像の縮小処理を行うことで、両者の解像度を揃える処理が必要となる。

また、２次元画像及びデプスマップの示す空間（画角）が異なる場合もある。例えば、２次元画像は、左右方向に１２０度の空間を撮影し、上下方向に９０度の空間を撮影したものである。一方、デプスマップはこれよりもせまい左右方向に１１０度の空間を撮影し、上下方向に８０度の空間を撮影したものである。このような場合には、２次元画像の位置とデプスマップの位置とをあわせる必要があり、解像度の調整を行う必要がある。また、２次元画像の端部領域では、対応するデプスマップが無い場合がある。このような場合には、この２次元画像の端部領域を表示対象領域から除外するか、該当するデプスマップの奥行き値を、仮の値（例えば最も奥を意味するゼロ）とする必要がある。

次に、奥行き情報正規化部２２は、デプスマップが示す２次元画像の各画素の奥行き位置を、表示面１０１および表示面１０２で挟まれる空間内のどの位置に表示するかを決定する。

図３は、奥行き値をプロットしたグラフの一例である。奥行き情報正規化部２２は、２次元画像の垂直方向軸１０８のある位置における画素を、水平方向軸１０７に平行なラインで切り出す。つまり、画像の一部をライン状に抜き出すのである。奥行き情報正規化部２２は、このライン上に並ぶ各画素に対応する奥行き値をデプスマップに記録する。図３の横軸は画素の水平位置（何画素目か）を示し、縦軸は奥行き値を示す。これらは実際には離散データとして入力されるが、図３ではこれらの離散データを曲線で結んだグラフ３０で表している。

先にも説明したように、デプスマップには、例えば手前側が大きい値をとるように０から４０９５までの奥行き値が記録されている。「手前」とは、奥行き方向軸１０９のプラス方向である。例えば、この奥行き値をそのまま用いて、積層した表示面の間で３次元画像を表示することが可能である。また、奥行き情報正規化部２２は、奥行き値のある範囲の画素を切り出して、積層した表示面間に割り振る。これにより、表示したい物体の凹凸形状をより意図通りに表示することも可能である。デプスマップの奥行き値の範囲を、３次元画像表示装置１００で表現する奥行き値の範囲に変換する正規化処理は、以下に示す方法で行われる。図３における破線３１および破線３２で囲まれた範囲の奥行き値を切り出す。破線３１を超える奥行き値は全て破線３１が示す奥行き値にクリップする。破線３２を下回る奥行き値は全て破線３２が示す奥行き値にクリップする。クリップされた値（切り出された値）は、０から１０２４までの範囲に正規化されて出力される。すなわち、図３における破線３１は、表示面１０１の奥行き位置に相当する。図３における破線３２は、表示面１０２の奥行き位置に相当する。３次元画像表示装置１００は、破線３１と破線３２とで囲まれる奥行き値の範囲の画素を、表示面１０１と表示面１０２とで挟まれる空間内で、立体的に表示をする。

図４は、図３に示した２次元画像のあるライン上の画素が、表示面１０１および表示面１０２で挟まれる空間内のどの位置に表示されるかを示した図である。画素が表示される位置を実線４０で示している。図４の横軸は画素の水平位置（何画素目か）を示し、縦軸は奥行き値を示す。

上述の正規化処理により、デプスマップの奥行き値のダイナミックレンジと３次元画像表示装置１００で表現する奥行き（立体感）のダイナミックレンジとを揃えることができる。

３次元画像表示装置１００で表現する奥行きのダイナミックレンジは、物理的な制約に依存する。すなわち、表示面１０１と表示面１０２とをどの程度の間隔で積層するかに依存する。一方で、デプスマップの奥行き値のダイナミックレンジは、被写体がどの奥行き位置に存在するかによって変化する。このため、デプスマップの奥行き値の分布状況に応じて、デプスマップのどの奥行き値の範囲の画像を、３次元画像表示装置１００で表示するかについては、適宜判断する必要がある。

奥行き情報正規化部２２は、以上の処理を行って得られた２次元画像及び正規化後のデプスマップ（奥行き値）をマッピング部２４に出力する。

視点位置検出部２３には、観察者位置検出センサ１０４が出力した観察者位置を示す情報が入力される。ここでは、ＲＧＢ−Ｄカメラが撮影した観察者の２次元画像とこの画像に対応するデプスマップとが視点位置検出部２３に入力される場合を例として説明を行う。

視点位置検出部２３では、入力された２次元画像から、３次元画像表示装置１００に対する観察者１０６の視点位置を求める。例えば、２次元画像を解析し、顔認識処理を行って観察者１０６の顔を検出する。そして、観察者の左右の眼を結ぶ線分を二等分する位置から、水平方向軸１０７および垂直方向軸１０８における視点位置を求めることができる。さらに、２次元画像の観察者１０６の左右の眼を結ぶ線分を二等分する位置におけるデプスマップの奥行き値を参照することで、奥行き方向軸１０９における視点位置を求めることができる。

視点位置検出部２３は、検出した観察者１０６の視点位置をマッピング部２４に出力する。なお、２次元画像内から顔検出ができない時には視点位置を求めることができない。２次元画像内から顔検出ができない時とは、例えば、観察者が席を離れるなどして存在しない場合又は観察者が画面に対して横を向くなどしている場合である。このような場合には、観察者１０６が存在しないという情報をマッピング部２４に対して出力する。

マッピング部２４は、２次元画像、正規化後の奥行き値及び観察者の視点位置を入力する。また、マッピング部２４は、視点位置に応じて２次元画像の各画素を、積層した表示面上にマッピングする。さらに、マッピング部２４は、マッピング処理された各画素に対して、輝度、透過率又は偏光角変化量の分配処理を行う。

具体的には、マッピング部２４は、２次元画像の各画素が複数の表示面１０１，１０２で挟まれる空間上に表示される位置と視点位置とを結ぶ直線を視線と定義する。表示面１０１，１０２で挟まれる空間上に表示される位置は、正規化後の奥行き値にしたがって決定される。そして、マッピング部２４は、この視線と各表示面との交点を求める。この交点は、２次元画像の各画素を投影する表示面上の水平位置及び垂直位置である。「マッピング処理」とは、この交点を求めることである。

そして、分配処理は、２次元画像の各画素の階調値が示す輝度、透過率又は偏光角変化量を分配する。分配処理は、２次元画像の画素を挟むように存在する表示面それぞれに求められる２つの交点に対しておこなう。分配処理は、表示面間における２次元画像の画素の奥行き位置に応じておこなう。分配処理により、各表示面に表示する画像を求める元となるＲＧＢの階調値が、表示面毎に得られることになる。

以降では、マッピング部２４で行うマッピング処理の詳細について説明する。マッピング処理は、２次元画像の各画素に対して水平方向（水平方向軸１０７の方向）と垂直方向（垂直方向軸１０８の方向）それぞれに対して独立に行う。ここでは、まず、水平方向に対する処理について説明する。

図５は、マッピング部２４におけるマッピング処理についての説明図である。図５に、正規化後の奥行き値と視点位置５０１との関係を表す一例を示す。図５に示す画素５０７は、２次元画像のある垂直位置（垂直方向軸１０８の方向の位置）の画素を、水平方向（水平方向軸１０７の方向）に伸びるラインとして切り出したものである。図５は、水平方向に伸びるライン上にある各画素の奥行き値及び視点位置５０１を示している。図５において、２次元画像の各画素５０７は実線５０６上にある丸印で示されている。図５において、実線５０６は２次元画像の隣り合う画素５０７をなめらかな曲線で結んだものである。実線５０６は、表示面１０１および表示面１０２で表現したい３次元形状（凹凸形状）を示すものである。

２次元画像の画素５０７に対するマッピング処理について説明する。観察者が画素５０７を見た時の視線５０８は、視点位置５０１と画素５０７を結ぶ線で表される。図５において、視線５０８は破線で表されている。この視線５０８は、横軸を水平位置（水平方向軸１０７の方向の位置）とし、縦軸を正規化後の奥行き値とする２次元平面において、１次関数として表される。この視線５０８に対し、表示面１０１との交点５０９、および表示面１０２との交点５１０を求める。図５において、表示面１０１と表示面１０２とは、それぞれ正規化後の奥行き値が一定の直線と捉えている。視線５０８を示す１次関数（直線の式）に表示面１０１および表示面１０２に対応する正規化後の奥行き値を代入する。図５において、表示面１０１の奥行き値は１０２４であり、表示面１０２の奥行き値は０（ゼロ）である。これにより、表示面１０１および表示面１０２における交点の水平位置（水平方向軸１０７の方向の位置）を求めることができる。

図５において、視線５０８と表示面１０１との交点５０９は、三角印で示されている。また、視線５０８と表示面１０２との交点５１０も、三角印で示されている。交点５０９，５１０の水平位置は、表示面１０１上の画素５０３，５０４の水平位置と一致しない場合がある。図５では、交点５０９の水平位置は画素５０３の水平位置と一致していない。また、交点５１０の水平位置は画素５０４の水平位置と一致している。表示面上の画素の水平位置が整数で与えられるとすれば、交点５０９の水平位置は小数の精度で求める必要がある。これは、交点５１０においても同様であり、表示面１０２上の画素５０４の水平位置が整数で与えられるとすれば、交点５１０の水平位置は小数の精度で求める必要がある。

このように、視点位置５０１と２次元画像の各画素の奥行き値とに従い、２次元画像の各画素を表示面１０１および表示面１０２に表示する水平位置を決定するのがマッピングである。

ここで重要なのが、マッピング処理ではオクルージョン問題を考慮する必要があることである。「オクルージョン」とは、表示したい３次元形状によっては、視点位置５０１から見えなくなる２次元画像の画素が生じることである。オクルージョンの様子を図６に示す。図６は、マッピング部２４におけるオクルージョンの発生についての説明図である。図６は、図５と同様に、正規化後の奥行き値と視点位置６０１との関係を表す一例を示した図である。図６に示す画素６０７は、２次元画像のある垂直位置（垂直方向軸１０８の方向の位置）の画素を、水平方向（水平方向軸１０７の方向）に伸びるラインとして切り出したものである。図６は、水平方向に伸びるラインの上にある各画素の奥行き値及び視点位置６０１を示した図である。図６において、２次元画像の各画素６０７は実線６０２上にある丸印で示されている。図６において、実線６０２は２次元画像の隣り合う画素６０７をなめらかな曲線で結んだものである。実線６０２は、表示面１０１および表示面１０２で表現したい３次元形状（凹凸形状）を示すものである。

図６において、視点６０１から２次元画像の画素６０３を見た場合について説明する。この時、視線６０４は、視点６０１と画素６０３とを結ぶ線で示される。図６において、視線６０１は、破線で表されている。視線６０４は、位置６１１（黒塗りの三角印で示す）で実線６０２と交わっている。位置６１１は、画素６０３よりも視点位置６０１に近い。よって、視点位置６０１から見て、表現したい３次元形状の画素６０３は位置６１１の後ろ側（奥行き方向軸１０９のマイナス方向）に位置する。このため、視点位置６０１から画素６０３を見ることはできない。このように物体などの後ろ側に位置することで見えないことを、オクルージョンと呼ぶ。

オクルージョンが発生した画素は、観察者１０６からは見えないため、マッピングの対象から外す必要がある。オクルージョンが発生しているか否かを判断する処理について説明する。

画素６０３に対してマッピング処理を行う前に、画素６０７に対してマッピング処理を行う。画素６０７は、画素６０３と隣接し、その水平位置がより視点位置６０１に近い画素である。視線６０８は、画素６０７に対する視線である。図６において、視線６０８は、破線で表されている。これにより、画素６０７に対する視線が破線６０８となり、視線６０８と表示面１０１との交点６０９の水平位置が求められる。また、表示面１０２との交点６１０の水平位置が求められる。

続いて、画素６０３に対してマッピング処理を行い、同様に交点６０５および交点６０６の水平位置を求める。交点６０５は、視線６０４と表示面１０１との交点である。交点６０６は、視線６０４と表示面１０２との交点である。ここで、交点６０５の水平位置と交点６０９の水平位置とを比較する。交点６０５の水平位置が交点６０９の水平位置よりも視点位置６０１の水平位置に近い場合には、オクルージョンが発生していると判断する。

このようにオクルージョンの発生を、画素毎に判断しながらマッピング処理を行う。視点位置６０１から表示面１０１，１０２に対して垂直な視線方向にある２次元画像の画素については、オクルージョンが発生しないことは明らかである。よって、マッピング処理は視点位置６０１と同じ水平位置にある２次元画像の画素から行う。そして、視点位置６０１の水平位置と同じ水平位置にある２次元画像の画素を起点に、オクルージョンの発生を判断しながらマッピング処理を行う。つまり、起点とした画素から離れる方向に順番に、２次元方向の各画素に対してオクルージョンの発生を判断しながらマッピング処理を行う。視点位置６０１の水平位置が２次元画像の水平位置の範囲外である場合には、視点位置６０１の水平位置に対して最も近い２次元画像の水平位置にある画素からマッピング処理を行えば良い。

ここまでに、水平方向に対するマッピング処理について説明したが、垂直方向についても全く同様の処理を行うことができる。オクルージョンの判断についても同様で、視点位置と同じ垂直位置（垂直方向軸１０８の方向の位置）にある２次元画像の画素からマッピング処理を開始する。そして視点位置と同じ垂直位置にある２次元画像の画素を起点に視点位置の垂直位置から上側または下側へ離れる方向に順番に２次元方向の各画素に対してオクルージョンの発生を判断しながらマッピング処理を行う。つまり、最初のマッピング処理は、視点位置の水平位置及び垂直位置と等しい、もしくは視点位置の水平位置及び垂直位置に最も近い２次元画像の画素に対して行うことになる。

オクルージョンについては、水平方向では発生せず、垂直方向のみで発生する場合がある。逆に水平方向で発生し、垂直方向では発生しない場合もある。どちらか一方の方向でオクルージョンが発生した場合には、この画素は観察者１０６からは見えない画素と判断されるため、マッピング処理を行わずに無効画素として判断する。「無効画素」とは、表示しない画素のことである。

オクルージョンが発生しなかった２次元画像の画素については、その画素のＲＧＢの階調値の分配処理を行う。つまり、赤色（Ｒ）、緑色（Ｇ）及び青色（Ｂ）の各色に対して、別々に分配処理を行う。分配処理は、表示面１０１上および表示面１０２上にマッピングした交点に対して行う。また、分配処理は、その画素の正規化後の奥行き値に従い行う。分配処理は、観察者１０６からその画素が表示面１０１と表示面１０２との間の奥行き位置に見えるように行うものである。分配処理は、その画素の奥行き値に従い、その画素のＲＧＢの階調値が示す輝度、透過率または偏光角変化量を分配するものである。輝度、透過率又は偏光角変化量を分配した結果、表示面１０１上にマッピングした交点に対するＲＧＢの階調値と、表示面１０２上にマッピングした交点に対するＲＧＢの階調値が得られる。

なお、ここまでに示したマッピング処理及び分配処理は、視点位置検出部２３が視点位置を正常に検出できた場合に行うものである。視点位置検出部２３で視点位置が検出できず、観察者１０６がいないという情報がマッピング部２４に入力された場合には、以下の処理を行う。

マッピング部２４は、マッピング処理として入力された２次元画像の各画素の水平位置及び垂直位置を最前面にある表示面の各画素にそのまま対応させる。実施の形態１では、最前面にある表示面は、表示面１０１である。マッピング部２４は、同様に分配処理として２次元画像の各画素のＲＧＢの階調値をそのまま最前面の表示面の各画素に割り当てる。最前面にある表示面以外の表示面に対してはマッピング処理と分配処理を行わずに出力する。

マッピング部２４は、このようなマッピング処理及び分配処理を行って求められた値を層画像生成部２５に対して出力する。マッピング部２４が求めた値は、次の４つである。第１に、表示面１０１上にマッピングした各交点の水平位置及び垂直位置（表示面１０１の表示面上の座標）、第２に、表示面１０１上にマッピングした各交点の分配処理後のＲＧＢの階調値、第３に、表示面１０２上にマッピングした各交点の水平位置及び垂直位置（表示面１０２の表示面上の座標）、第４に、表示面１０２上にマッピングした各交点の分配処理後のＲＧＢの階調値である。

層画像生成部２５は、マッピング部２４から次の４つの値を入力する。第１に、表示面１０１上にマッピングした各交点の水平位置及び垂直位置（表示面１０１の表示面上の座標）、第２に、表示面１０１上にマッピングした各交点の分配処理後のＲＧＢの階調値、第３に、表示面１０２上にマッピングした各交点の水平位置及び垂直位置（表示面１０２の表示面上の座標）、第４に、表示面１０２上にマッピングした各交点の分配処理後のＲＧＢの階調値である。

また、層画像生成部２５は、表示面１０１に表示する画像と表示面１０２に表示する画像とをそれぞれ生成して出力する。ここで、表示面１０１に表示される画像は、表示面１０１上にマッピングした各交点の水平位置及び垂直位置と、分配処理後のＲＧＢの階調値とに基づいて層画像生成部２５が生成する。表示面１０２に表示される画像は、表示面１０２上にマッピングした各交点の水平位置及び垂直位置と、分配処理後のＲＧＢの階調値とに基づいて層画像生成部２５が生成する。

表示面１０１上に表示される画像の生成方法と、表示面１０２上に表示される画像の生成方法とは、基本的に同様である。以降は表示面１０１上に表示する画像を生成する方法について説明する。

上述のように、表示面１０１上にマッピングした各交点の水平位置及び垂直位置は、表示面１０１上の画素に対して、ずれた位置となる場合がある。例えば、図５に示す交点５０９である。図７は、マッピング部２４が出力する画素群情報の一例を示す説明図である。図７では、水平方向及び垂直方向に存在する表示面１０１上の画素を白丸印で示している。また、表示面１０１上にマッピングした交点の位置を黒丸印で示している。このように、表示面１０１上の画素は、水平方向及び垂直方向の両方向に対して等間隔のサンプリング点である。一方、マッピングした各交点は、水平方向及び垂直の両方向に対して不等間隔のサンプリング点となる。「不等間隔」とは、等間隔では無いことを示す。層画像生成部２５は、この不等間隔のサンプリング点であるマッピングした交点群に対して補間処理を行う。これにより、層画像生成部２５は、等間隔サンプリング点である表示面１０１の画素に対応するＲＧＢの階調値を求める。また、層画像生成部２５は、表示面１０１に表示すべき画像を生成する。

この手法は様々であり、例えば、表示面１０１の各画素に対し、最も近傍にあるマッピングした交点のＲＧＢの階調値を補間する方法がある。

このほかに、ドロネー図を用いた方法がある。図８は、画素群情報に対するドロネー図の一例を示す説明図である。ドロネー図を用いた方法は、以下の手順によるものである。まず、マッピングした交点のペアに対して垂直二等分線を引き、マッピングした各交点以外の点が最も近いマッピングした交点毎に領域分割を行う。領域分割した図は、ボロノイ図と呼ばれる。分割後の領域が隣接するマッピングした交点を線分で結び、図８のようなドロネー図を作成する。ドロネー図で作成された三角形の内に存在する表示面１０１上の画素のＲＧＢの階調値は、三角形の頂点に存在するマッピングした交点のＲＧＢの階調値から線形補間して求められる。

この時、三角形で囲まれない外周部の画素には、黒もしくは白に相当する階調を補間するのが良い。このような階調を補間することで、表示面を透過状態あるいは遮蔽状態とすることができる。

これと同様の処理を行い、層画像生成部２５は、表示面１０２上にマッピングした各交点の水平位置及び垂直位置と、分配後のＲＧＢの階調値とから、表示面１０２上に表示する画像を生成する。

視点位置検出部２３で視点位置が検出できなかった場合には、マッピング部２４は、最前面の表示面である表示面１０１の画素に対して、２次元画像の各画素を対応づけた結果を層画像生成部２５に出力する。つまり、マッピング部２４は、２次元画像の全ての画素の奥行き値を１０２４とする。層画像生成部２５では、この入力信号に対し、表示面１０１に表示する画像として２次元画像をそのまま出力する。そして、層画像生成部２５は、バックライトの光が最前面の表示面までそのまま透過するように、最前面の表示面以外の表示面に全面で均一な階調を持つ画像を表示する。また、層画像生成部２５は、入力された２次元画像を最前面の表示面に表示することで、３次元画像表示装置１００を一般的な２次元画像表示装置として使用する。

観察者位置検出センサ１０４は、３次元画像表示装置１００に対する観察者１０６の位置を検出するためのものである。しかし、その検出範囲には制限がある場合が多い。このため、観察者位置検出センサ１０４の検出範囲外に観察者１０６がいる場合には、観察者１０６の位置情報を利用した表示制御を行うことができない。また、視点位置検出部２３において、観察者１０６が横を向くなどして顔検出ができない場合にも、同様に観察者１０６の位置情報を利用した表示制御を行うことができない。

このように、観察者１０６の位置が把握できない場合には、３次元画像表示装置１００の複数の表示面１０１，１０２用いて３次元画像を表示すると、観察者１０６が見る複数の表示面１０１，１０２に表示された各画像の重なりが破綻する。よって、観察者１０６の位置が把握できない場合には、観察者１０６は立体感が得られない。そして、観察者１０６の位置が把握できない場合には、観察者１０６は不自然な画像を見る結果となる。

そこで本実施の形態１においては、観察者１０６の位置が検出できない場合には、最前面の表示面のみを用いて、入力された２次元画像をそのまま２次元の平面画像として表示する。このような表示を行うことで、観察者１０６は立体感を得ることはできないものの、いかなる方向から見ても破綻の無い表示を行うことが可能になる。

層画像生成部２５は、各表示面１０１，１０２に表示する層画像を生成して出力する。この出力は、制御部１０５から表示面１０１および表示面１０２に出力され、それぞれ観察者１０６に対して表示される。画像のチラツキの発生を抑えるため、表示面１０１および表示面１０２の画像は、同期を取って表示されることが望ましい。もしくは、表示面１０１および表示面１０２は、６０Ｈｚ以上の高いフレーム周波数で駆動することが望ましい。

このように、本実施の形態１における３次元画像表示装置１００は、表示対象物（被写体１１１）をある１つの視点から撮像した１組の２次元画像及び奥行き情報（デプスマップ）を入力とする。また、本実施の形態１における３次元画像表示装置１００は、観察者１０６の位置を検出した結果を利用して、積層した複数の表示面１０１，１０２に表示する画像を生成する。さらに、本実施の形態１における３次元画像表示装置１００は、それら画像を各表示面１０１，１０２で表示する。

このような表示を行うことから、本実施の形態１における３次元画像表示装置１００は、３次元画像表示装置１００に対して観察者１０６が移動しても、観察者１０６は常に破綻の無い立体画像を観察することができる。

また、本実施の形態１における３次元画像表示装置１００は、入力された２次元画像の各画素に対し、観察者１０６の位置情報及び各画素の奥行き情報を利用したマッピング処理を行う。また、３次元画像表示装置１００は、観察者１０６の位置情報及び各画素の奥行き情報を利用した分配処理を行う。このため、本実施の形態１における３次元画像表示装置１００は、観察者１０６が移動することで積層した複数の表示面１０１，１０２に表示する画像を変化させる。これにより、３次元画像表示装置１００は、１視点から撮像した２次元画像とデプスマップ入力とから運動視差を再現した表示を行うことが可能になる。

さらに、本実施の形態１における３次元画像表示装置１００は、運動視差を表現する際に問題となるオクルージョンの発生を、２次元画像の各画素に対して判定しながらマッピング処理と分配処理とを行う。これにより、３次元画像表示装置１００は、オクルージョンが発生した画素が持つＲＧＢの階調値を、複数の表示面１０１，１０２に表示する画像を生成する際に用いない。このため、本実施の形態１における３次元画像表示装置１００は、斜め方向から見ると、ある面が見えなくなるといった表現でき、より自然な運動視差を実現できる。

また、本実施の形態１における３次元画像表示装置１００は、観察者１０６の位置が特定できない場合には、入力された２次元画像を最も観察者１０６に近い最前面の表示面に表示し、２次元画像表示装置として使用する。このため、いかなる方向から観察しても破綻の無い画像を表示することができる。

なお、本実施の形態１においては、２つの表示面１０１，１０２を用いて立体画像を表示する手法について説明した。しかし、表示面の数に制約はなく、３つ以上の表示面を持つ場合にも適用可能なものである。

実施の形態２．
本実施の形態２では、実施の形態１のマッピング部２４におけるマッピング処理を簡易化するものである。実施の形態１のマッピング部２４は、水平方向及び垂直方向に対して別々の処理を行い、２つの処理結果を合わせて層画像生成部２５で処理していた。また、実施の形態１のマッピング部２４は、水平方向及び垂直方向に対して正規化後の奥行き値と視点位置とを用いて、表示面１０１および表示面１０２に対するマッピング先を求めていた。これに対して、実施の形態２のマッピング部２４は、垂直方向には正規化後の奥行き値を用いないマッピング処理を行う点で実施の形態１のマッピング部２４と異なる。以下の説明では、実施の形態１と同様の部分については、同一の符号を用い、説明を省略または簡略化することとする。実施の形態１と同様の部分は、表示面１０１、表示面１０２、バックライト１０３、観察者位置検出センサ１０４及び画像取得装置１１０である。

図９は、制御部１０５における処理の概略を示したブロック図である。制御部１０５は、奥行き情報正規化部２２、視点位置検出部２３、マッピング部２７及び層画像生成部２８を備える。以降では、実施の形態２におけるマッピング部２７と層画像生成部２８の処理について、説明する。

実施の形態１におけるマッピング部２４のマッピング処理は、２次元画像の各画素が持つ正規化後の奥行き値と視点位置とを用いて、表示面１０１および表示面１０２に対するマッピング先を求めるものである。一方で、２次元画像の各画素が持つ正規化後の奥行き値を利用しないマッピング処理も存在する。本実施の形態２のマッピング部２７は、２次元画像の各画素に対し、水平方向には正規化後の奥行き値を用いたマッピング処理を行い、垂直方向には正規化後の奥行き値を用いないマッピング処理を行う。

正規化後の奥行き値を用いないマッピング処理について、図１０を用いて説明する。図１０は、マッピング部２７におけるマッピング処理についての説明図である。図１０は、正規化後の奥行き値と視点位置検出部２３が出力した視点位置との関係の一例を示す図である。図１０に示す画素９０３は、２次元画像のある水平位置（水平方向軸１０７の方向の位置）の画素を垂直方向（垂直方向軸１０８の方向）に伸びるラインとして切り出したものである。また、図１０の奥行き値と視点位置９０１は、切り出したライン上にある垂直方向に並ぶ各画素に対応するものである。

図１０において、２次元画像の各画素は、実線９０２上にある白丸印で示されている。実線９０２は、２次元画像の垂直方向に隣り合う画素９０３をなめらかな曲線で結んだものである。実線９０２は、いわば表現したい３次元形状（凹凸形状）を示すものである。奥行き情報正規化部２２は、２次元画像の各画素が、表示面１０１と表示面１０２とで挟まれる空間内で表現されるように、それぞれの画素の奥行き値を正規化する。

２次元画像の画素９０３に注目して、正規化後の奥行き値を用いないマッピング処理について具体的に説明する。まず、画素９０３を挟むように存在する２つの表示面１０１，１０２のうち、表示面１０１に対するマッピング処理を行う。表示面１０１は、観察者１０６に近い前面側にある表示面である。この処理では、正規化後の奥行き値に関係なく、表示面１０１において画素９０３と同じ水平位置及び垂直位置にある画素９０４をマッピング先として選択する。

次に、画素９０３を挟むように存在する２つの表示面１０１，１０２のうち、観察者１０６に遠い後面側にある表示面１０２に対するマッピング処理を行う。表示面１０２は、観察者１０６から遠い位置である後面側にある表示面である。この処理では、画素９０３の表示面１０１に対するマッピング先である画素９０４と、視点位置９０１とを結ぶ直線を視線９０５と定義する。そしてこの処理では、直線９０５と表示面１０２との交点９０６をマッピング先として求める。

このような処理により、２次元画像の各画素を、これらの画素を挟むように配置された２つの表示面１０１，１０２に対しマッピングすることが可能となる。この正規化後の奥行き値を用いないマッピング処理は、２次元画像をまず前面側の表示面１０１に投影する。そして、表示面１０１に投影された画素と視点位置９０１とを直線で結び、その直線と後面側の表示面１０２との交点９０６を求める。つまり、前面側の表示面１０１に投影された２次元画像画素を、視点位置９０１を基準として後面側の表示面１０２に投影するものである。この処理は、後面側の表示面１０２に投影する際に、視点位置９０１を基準に投影している。つまり、この処理は、視点位置９０１を基準にマッピングを行っている。よって、この処理は、視点の垂直位置から離れて行くに従い、拡大率が上がっていく拡大処理を行っていることと等しい。

なお、前面側の表示面１０１に対する処理と、後面側の表示面１０２に対する処理とは、入れ替えても良い。すなわち、２次元画像の各画素を、水平位置及び垂直位置が同じ後面側の表示面１０２の画素にマッピングする。そして、マッピング先の画素と視点位置９０１とを直線で結ぶ。そして、この直線と前面側の表示面１０１との交点を求める。この場合には、前面側の表示面１０１に対するマッピング処理は、視点位置９０１の垂直位置から離れて行くに従い、縮小率が上がっていく縮小処理を行っていることと等しい。

なお、正規化後の奥行き値を用いないマッピング処理では、オクルージョン問題は発生しないため、オクルージョンの発生を判定する必要は無い。

このようなマッピング処理では、２次元画像の各画素が持つ正規化後の奥行き値をマッピングに用いない。このため、実施の形態１で説明した正規化後の奥行き値を用いるマッピング処理に比べて、運動視差を表現しづらくなる。

本実施の形態１においては、２次元画像の各画素について、水平方向では正規化後の奥行き値を用いたマッピング処理を行っている。また、垂直方向では正規化後の奥行き値を用いないマッピング処理を行っている。これにより、水平方向には運動視差を表現できるが、垂直方向には運動視差を表現しづらくなる。

一般的に、表示装置の表示面は、床に対して垂直に配置されている。このような場合には、観察者１０６は、表示面に対して左右方向に動くことで、３次元画像を左側又は右側から見ることができる。しかし、観察者１０６は、表示面に対して上下方向に動くことは難しいため、３次元画像を上側又は下側から見ることは稀である。このことより、表現すべき運動視差の方向にあえて優先順位を付けることができる。つまり、垂直方向よりも水平方向の運動視差を優先して表現すべきと言える。実施の形態２におけるマッピング処理は、これに対応したものである。

なお、水平方向に対しては、正規化後の奥行き値を利用したマッピング処理を行うため、各画素についてオクルージョンの発生を判定する。オクルージョンが発生した画素は、無効画素として扱う点は、実施の形態１と同じである。

また、分配処理については、実施の形態１と同じく、表示面１０１上のマッピング先及び表示面１０２上のマッピング先に対して、各画素の正規化後の奥行き値に従い、そのＲＧＢの階調値を分配する。

本実施の形態２におけるマッピング部２７は、実施の形態１のマッピング部２４と同様に、マッピング処理と分配処理とを行っている。これらの処理で求められた次の４つの値を、マッピング部２７は、層画像生成部に対して出力する。４つの値は、第１に、表示面１０１上にマッピングした各交点の水平位置及び垂直位置（表示面上の座標）、第２に、表示面１０１上にマッピングした各交点の分配処理後のＲＧＢの階調値、第３に、表示面１０２上にマッピングした各交点の水平位置及び垂直位置（表示面上の座標）、第４に、表示面１０２上にマッピングした各交点の分配処理後のＲＧＢの階調値である。

本実施の形態２における層画像生成部２８は、やはり実施の形態１の層画像生成部２５８と同様に、マッピング部２７から入力された情報を基にして、表示面１０１および表示面１０２に表示する画像を生成する。

ここで、本実施の形態２におけるマッピング後の交点の位置について説明する。マッピング後の交点の位置は、マッピング部２７が出力し、層画像生成部２８に入力される。

図１１は、表示面１０１上へのマッピング処理についての説明図である。図１２は、表示面１０２上へのマッピング処理についての説明図である。図１１は、水平方向及び垂直方向に存在する表示面１０１上の画素を白丸印で示し、表示面１０１上にマッピングした交点の位置を黒丸印で示している。同様に、図１２は、水平方向及び垂直方向に存在する表示面１０２上の画素を白丸印で示し、表示面１０２上にマッピングした交点の位置を黒丸印で示している。

図１１及び図１２に示すように、本実施の形態２においては、マッピング部２７は、垂直方向には正規化後の奥行き値を用いないマッピング処理を行う。このため、２次元画像のある垂直位置で、水平方向に並んだライン上に存在する画素は、マッピング後の交点の垂直位置が等しくなる。一方、マッピング部２７は、水平方向には正規化後の奥行き値を用いたマッピング処理を行う。このため、各交点の水平位置は基となる２次元画像の画素の正規化後の奥行き値に依存して変化する。つまり、２次元画像のある水平位置で、垂直方向に並んだライン上に存在する画素は、マッピング後の交点の水平位置が等しくなるとは限らない。図１１及び図１２では、マッピングした交点の位置を示す黒丸印は、水平方向軸１０７方向には一列に並んでいる。しかし、垂直方向軸１０８方向には一列に並んでいない。

層画像生成部２８が、マッピング後の交点におけるＲＧＢの階調値を基にして、表示面１０１，１０２の各画素に表示するＲＧＢの階調値を補間して求める際には、層画像生成部２８は、このようなマッピング後の交点の垂直方向の位置特性を利用することが可能である。

例えば、水平方向に並んだ垂直位置が同じ交点群を、ライン上の不等間隔サンプリング点と捉える。そして、このライン上の不等間隔サンプリング点のＲＧＢの階調値を基にして、対応する水平位置に並んだ等間隔に存在する表示面１０１上の画素のＲＧＢの階調値を補間して求めることができる。これにより、図１１に示した表示面１０１上の各画素に表示する画像が求められる。

また、等間隔に存在する表示面１０１上の画素に対応する水平位置のＲＧＢの階調値を補間して求めた後に、表示面１０２上の各画素に表示する画像を求める。垂直方向に並んだ補間後の水平位置が等しい補間点群を、ライン上の不等間隔サンプリング点と捉える。このライン上の不等間隔サンプリング点のＲＧＢの階調値を基にして、対応する垂直位置に並んだ等間隔に存在する表示面１０２上の画素のＲＧＢの階調値を補間して求めることができる。これにより、図１２に示した表示面１０２上の各画素に表示する画像が求められる。

実施の形態１の層画像生成部２５では、２次元の面内における不等間隔サンプリング点を基にして等間隔サンプリング点のＲＧＢの階調値を求める補間処理を行う必要があった。なお、この補間処理は、表示面上の各画素に対し、例えばドロネー図による三角形を作成し、表示面上の各画素の水平方向又は垂直方向に近傍となる交点を探索するなどの処理である。この交点が画素のマッピング先となる。

これに対し、本実施の形態２の層画像生成部２８は、水平方向又は垂直方向に処理を分離することが可能である。よって、本実施の形態２の層画像生成部２８は、ライン上に存在する不等間隔サンプリング点を基にして等間隔サンプリング点のＲＧＢの階調値を求める補間処理を行えば良い。両者の処理量を比較した場合、圧倒的に本実施の形態２の層画像生成部２８の処理のほうが処理量を抑えることが可能である。また、本実施の形態２の層画像生成部２８は、実施の形態１の層画像生成部２５に対してより低コスト化を図ることが可能である。

このように、本実施の形態２における３次元画像表示装置１２０は、表示対象物（被写体１１１）をある１つの視点から撮像した１組の２次元画像と奥行き情報（デプスマップ）とを入力とする。また、本実施の形態２における３次元画像表示装置１２０は、観察者１０６の位置を検出した結果を利用して、積層した複数の表示面１０１，１０２に表示する画像を生成する。さらに、本実施の形態２における３次元画像表示装置１２０は、それら画像を各表示面１０１，１０２で表示する。

このような表示を行うので、３次元画像表示装置１２０に対して観察者１０６が移動しても、観察者１０６は常に破綻の無い立体画像を観察することができる。

また、本実施の形態２における３次元画像表示装置１２０は、入力された２次元画像の各画素に対し、水平方向には観察者１０６の位置情報及び各画素の奥行き情報を利用したマッピング処理を行う。一方、３次元画像表示装置１２０は、垂直方向には観察者１０６の位置情報のみを利用したマッピング処理を行う。そして、本実施の形態２における３次元画像表示装置１２０は、各画素の奥行き情報を利用した分配処理を行う。この分配処理により、本実施の形態２における３次元画像表示装置１２０は、観察者１０６が水平方向に移動することで、積層した複数の表示面１０１，１０２に表示する画像が変化する。つまり、１視点から撮像した２次元画像及びデプスマップ入力を基にして特に水平方向の運動視差を再現した表示を行うことが可能になる。

さらに、本実施の形態２における３次元画像表示装置１２０は、層画像生成部２８の処理を水平方向又は垂直方向に分離して行うことができる。このため、処理量が少ない補間処理で、積層した各表示面１０１，１０２に表示する画像を生成することができる。ライン上に存在する不等間隔サンプリング点を基に等間隔サンプリング点のＲＧＢの階調値を求める。この処理量の少ない補間処理で、積層した各表示面１０１，１０２に表示する画像を生成することができる。

２０ 入力端
２１ 入力端
２２ 奥行き情報正規化部
２３ 視点位置検出部
２４ マッピング部
２５ 層画像生成部
２６ 出力端
２７ マッピング部
２８ 層画像生成部
１００ ３次元画像表示装置
１０１ 表示面
１０２ 表示面
１０３ バックライト
１０４ 観察者位置検出センサ
１０５ 制御部
１０６ 観察者
１０７ 水平方向軸
１０８ 垂直方向軸
１０９ 奥行き方向軸
１１０ 画像取得装置
１１１ 被写体
５０１ 視点位置

Claims (7)

1. 観察者から見て異なった奥行き位置に配置される複数の表示面と、
   ２次元画像及び前記２次元画像の各画素に対応する深度情報を示すデプスマップを入力し、前記複数の表示面で挟まれる空間内において、前記深度情報を用いて前記２次元画像の各画素の前記空間内の表示位置を決定する奥行き情報正規化部と、
   前記観察者の視点位置を検出する視点位置検出部と、
   前記視点位置及び前記表示位置を結ぶ直線が前記複数の表示面の各面に交わる交点を示す位置情報を出力するとともに、前記交点に対応する前記２次元画像の画素の階調値を前記交点に分配した階調値を出力するマッピング部と、
   前記位置情報及び前記階調値から前記複数の表示面それぞれに表示する画像を生成する層画像生成部と
   を備え、
   前記マッピング部は、前記２次元画像の各画素を表示する位置と前記視点位置とに応じて、前記２次元画像の各画素の前記複数の表示面に対する表示位置を決定するマッピング処理を行い、前記２次元画像の各画素を表示する位置のうち奥行き方向の表示位置に応じて前記２次元画像の各画素の階調値について、前記マッピング処理を行った画素に対して分配処理を行い、表現する３次元形状において遮蔽され見えない位置関係にある画素を、前記マッピング処理を行わない無効画素とする
   ことを特徴とする３次元画像表示装置。
2. 前記マッピング部は、前記視点位置に対して前記２次元画像上の水平位置及び垂直位置が等しい、又は最も近い画素を起点に、前記起点の位置から離れる方向に順番に２次元方向の各画素に対して、表現する３次元形状の画素が遮蔽され見えない位置関係にあることを判断する
   ことを特徴とする請求項１に記載の３次元画像表示装置。
3. 前記マッピング部は、水平方向に正規化後の奥行き値を用いたマッピング処理を行い、垂直方向に正規化後の奥行き値を用いないマッピング処理を行う
   ことを特徴とする請求項１または２に記載の３次元画像表示装置。
4. 前記マッピング部は、垂直方向に正規化後の奥行き値を用いたマッピング処理を行い、水平方向に正規化後の奥行き値を用いないマッピング処理を行う
   ことを特徴とする請求項１または２に記載の３次元画像表示装置。
5. 前記マッピング部は、観察者がいないという情報が入力された場合に、入力された２次元画像の各画素の水平・垂直位置を最前面にある表示面の各画素にそのまま出力するマッピング処理をおこない、２次元画像の各画素のＲＧＢの階調値をそのまま最前面の表示面の各画素に割り当てる分配処理をおこなう
   ことを特徴とする請求項１から４のいずれかに記載の３次元画像表示装置。
6. 前記マッピング部は、観察者がいないという情報が入力された場合に、最前面にある表示面以外の表示面に対してはマッピング処理と分配処理をおこなわない
   ことを特徴とする請求項５に記載の３次元画像表示装置。
7. ２次元画像及び前記２次元画像の各画素に対応する深度情報を示すデプスマップを入力し、観察者から見て異なった奥行き位置に配置される複数の表示面で挟まれる空間内において、前記２次元画像の各画素の表示位置を決定するステップと、
   前記観察者の視点位置を検出するステップと、
   前記視点位置及び前記表示位置を結ぶ直線が前記複数の表示面の各面に交わる交点を示す位置情報を出力するとともに、前記交点に分配した階調値を出力するステップと、
   前記位置情報及び前記階調値から前記複数の表示面それぞれに表示する画像を生成するステップと
   を備え、
   前記交点に分配した階調値を出力するステップは、前記２次元画像の各画素を表示する位置と前記視点位置とに応じて、前記２次元画像の各画素の前記複数の表示面に対する表示位置を決定するマッピング処理を行い、前記２次元画像の各画素を表示する位置のうち奥行き方向の表示位置に応じて前記２次元画像の各画素の階調値について、前記マッピング処理を行った画素に対して分配処理を行い、表現する３次元形状において遮蔽され見えない位置関係にある画素を、前記マッピング処理を行わない無効画素とする
   ことを特徴とする３次元画像表示方法。

Images