JP3667250B2 - ３次元映像ディスプレイ装置及び方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は実時間で３次元映像をディスプレイする３次元映像ディスプレイ装置及び方法に関する。
【０００２】
【従来の技術】
最近、３次元映像処理技術が教育、医療、映画、コンピュータゲームに至るまで様々な分野で活用されており、２次元映像に比べて現場感・現実感、自然感等が感じられるという長所があって、現在、かかる３次元映像ディスプレイ装置の実現のための多くの研究が行われている。３次元映像ディスプレイ装置の構成には入力技術、処理技術、伝送技術、表示技術、ソフトウェア技術など多様な技術が要求され、特にディスプレイ技術、デジタル映像処理技術、コンピュータグラフィック技術、人間の視覚システムに関する研究が必須のことになっている。
【０００３】
３次元映像ディスプレイ装置の最も基本的な方法は眼鏡を用いた方法である。例えば、互いに異なる波長の光を用いてユーザーが色眼鏡を通して映像を見る色分離方式、光の振動方向が異なる性質を用いた偏光眼鏡方式、そして、左右映像を時分割方式に分離して見る液晶シャッター方式などがある。
【０００４】
このように、眼鏡を用いる方式は画質が鮮明ではあるが、二つの大きな短所がある。第一は眼鏡着用の不便さであり、第二は固定した点でしか遠近感が感じられないということである。
このような問題点のため、現在眼鏡を用いない方式の３次元映像ディスプレイに関する研究が活発に進められている。
【０００５】
この無眼鏡式３次元映像ディスプレイは眼鏡を使わずに左右映像を分離する方法であって、パララックスバリア、レンティキューラー板、フライアイ(fly eye）レンズ板などを使用して、特定の観察位置で左右の眼に入射する映像を分離する方式である。
このうち最も知られているのがインテグラルフォトグラフィー方式で、これはフライアイ状のマイクロレンズアレイにより形成される３次元映像を記録及び伝送して再現する方式である。
【０００６】
即ち、図１に示すように、フライアイ状のマイクロレンズ１１が配列されたマイクロレンズアレイ１０を用いて、各マイクロレンズ１１を介して入る被写体の数多いマイクロイメージ１３をマイクロイメージの焦点面１２にある印画紙上に記録する。その記録された印画紙の後ろから光を当てると、印画紙に記録された各マイクロイメージ１３は被写体を撮影する時と同様の経路に進行して、元の被写体の位置に３次元映像１４を再現する。
【０００７】
しかし、このように再現した３次元映像を観察できる安定した可視領域は３次元映像１４の境界にのみ制限されるという短所があった。
例えば、一般的なＣＲＴ、ＰＤＰ、ＬＣＤなどに基づいた２次元ディスプレイ装置の視野角は約１２０°に近いが、インテグラルフォトグラフィのような３次元ディスプレイ装置の視野角は約２０°以下である。
【０００８】
図２ａ及び図２ｂは３次元ディスプレイ装置の視野角内と視野角外の領域で観察される３次元映像の模様を示す図である。
図２ａに示すように、スクリーン２２のマイクロイメージはマイクロレンズアレイ２１を介して３次元映像２３として合成され、その実像を再現する。ここで、主可視範囲２６の境界２５内、即ち、３次元ディスプレイ装置の視野角内に位置した観察者２４は再現した３次元映像２３を観察することができる。再現した３次元映像２３を観察できる視野角２ωは３次元映像の境界に制限される。
【０００９】
図２ｂに示すように、観察者２７が点線に示した主可視範囲２６の外へ移動すると、実線で示した新たな可視範囲の従属可視範囲２９が形成される。
この従属可視範囲２９で、観察者２７は従属映像２８を観察するが、従属映像２８は図２ｂのように視野角２ω内で観察される。
従属可視範囲２９で観察した従属映像２８は図２ａの主可視範囲で観察した映像２３と同様であるが、３次元映像が激しくゆがんで現れる。その理由は、再現した従属映像２８の縦方向と横方向の間の角度と、図２ａで再現した映像２３の角度とに差があるからである。
このように、既存の３次元映像ディスプレイ装置は３次元映像を安定的に観察できる視野角の範囲が狭いという短所がある。かかる短所は３次元映像ディスプレイ装置の使用範囲を大きく制限している。
【００１０】
【発明が解決しようとする課題】
本発明は上記問題点を解決するためのもので、可視領域の外からもゆがみのない３次元映像を安定的に観察できるような３次元映像ディスプレイ装置及び方法を提供しようとするものである。
【００１１】
【課題を解決するための手段】
本発明による３次元映像ディスプレイ装置は２次元マイクロイメージを合成して３次元映像に再現するもので、３次元映像を観察する観察者の頭の移動を実時間で追跡して観察者の頭の位置を検出する検出部と、検出部から入力される信号に従って３次元映像の可視領域の調節及び／又は３次元映像のひずみを補償する補償部とを含むことを特徴とする。
【００１２】
ここで、検出部は、３次元映像を観察する観察者の頭の移動を実時間で追跡する頭トラッキング部と、頭トラッキング部で追跡した観察者の頭の位置を計算する頭位置検出部とから構成され、補償部は、頭位置検出部から入力される信号に従ってマイクロイメージを移動させ、３次元映像の可視領域を調節する可視領域調節部と、頭位置検出部から入力される信号に従ってマイクロイメージを再生して、３次元映像のひずみを補償するマイクロイメージ再生部とのうち少なくともある一つから構成されることを特徴とする。
【００１３】
本発明の他の実施態様は、実時間で表示される多数の２次元マイクロイメージと、２次元マイクロイメージを合成して３次元映像に再現させるマイクロレンズアレイと、３次元映像を観察する観察者の頭の移動を実時間で追跡する頭トレッキング部と、頭トラッキング部で追跡した前記観察者の頭の位置を計算する頭位置検出部と、頭位置検出部から入力される信号に従って前記マイクロイメージを移動させ、３次元映像の可視領域を調節する可視領域調節部とを備えていることを特徴とする。
ここで、頭位置検出部から入力される信号に従ってマイクロイメージを再生して、３次元映像のひずみを補償するマイクロイメージ再生部を更に含むこともできる。また、再生したマイクロイメージは可視領域調節部によって前記移動した観察者の頭の可視領域中心部へ移動されることを特徴とする。
【００１４】
本発明のまた他の実施態様は、実時間で表示される多数の２次元マイクロイメージと、２次元マイクロイメージを合成して３次元映像に再現させるマイクロレンズアレイと、３次元映像を観察する観察者の頭の移動を実時間で追跡する頭トラッキング部と、頭トラッキング部から追跡した観察者の頭の位置を計算する頭位置検出部と、頭位置検出部から入力される信号に従ってマイクロイメージを再生して、３次元映像のひずみを補償するマイクロイメージ再生部とを備えていることを特徴とする。
ここで、頭位置検出部とマイクロイメージ再生部から入力される信号に従って再生したマイクロイメージを移動した観察者の頭の可視領域中心部へ移動させ、３次元映像の可視領域を調節する可視領域調節部を更に含むこともできる。
【００１５】
本発明による３次元映像ディスプレイ方法は、２次元マイクロイメージを合成して３次元映像に再現する３次元映像ディスプレイ方法であって、再現した３次元映像を観察する観察者の頭を実時間で追跡する段階と、追跡した観察者の頭の位置を計算する段階と、計算した観察者の頭の位置によって、３次元映像の可視領域調節及び／又は３次元映像のひずみを補償する段階とを備えていることを特徴とする。
３次元映像の可視領域調節方法は、２次元マイクロイメージを移動させ、３次元映像を移動した観察者の頭の可視領域中心部へ移動させる方法であり、３次元映像のひずみ補償方法は２次元マイクロイメージを再生して、３次元映像のひずみを補償する方法である。
【００１６】
このように構成された本発明は、３次元映像を観察する観察者の頭が可視領域の外へ移動すると、頭トラッキング部で観察者の頭を追跡して、その信号をマイクロイメージ再生部及び可視領域調節部へ送り、マイクロイメージ再生部はマイクロイメージを移動した観察者の頭位置でもひずまないように再生し、可視領域調節部は再生したマイクロイメージを観察者の頭の可視領域中心部へ移動させることにより、可視領域の外からもゆがみのない３次元映像を観察することができ、安定した視野角の範囲が広い。
【００１７】
【発明の実施の形態】
以下、本発明による３次元映像ディスプレイ装置及び方法の好ましい実施形態を添付の図面を参照して説明する。
【００１８】
図３は本発明の第１実施形態による３次元映像ディスプレイ装置を示す図である。図３に示すように、スクリーン３２で２次元マイクロイメージが提供され、マイクロイメージはマイクロレンズアレイ３１を介して３次元映像３９に合成され、その実像を再現するが、従来のシステムとは異なって、頭トラッキング部３３と、頭位置検出部３４と、可視領域調節部３５とを更に備えている。
【００１９】
ここで、頭トラッキング部３３は３次元映像を観察する観察者の頭の移動を実時間で追跡し、頭位置検出部３４は頭トラッキング部３３で追跡した観察者の頭の位置を計算し、可視領域調節部３５は頭位置検出部３４から入力される信号に従ってマイクロイメージを移動した観察者の頭の可視領域中心部へ移動させるようにして３次元映像の可視領域を調節する。
【００２０】
このように構成された本発明の第１実施形態の動作は次の通りである。
【００２１】
まず、観察者の頭４０が主可視領域の中心部から主可視領域の境界部３８へ移動すると、頭トラッキング部３３は観察者の頭の移動を追跡し、それに従う信号を頭位置検出部３４へ送る。すると、頭位置検出部３４は頭トラッキング部３３の信号に従って観察者の頭の位置を計算した後、計算した信号を可視領域調節部３５へ送る。
可視領域調節部３５は入力される信号に従ってディスプレイ装置のスクリーン３２で表示される２次元マイクロイメージを移動させ、新たな観察者の頭４０の位置に対応するよう像がゆがまない範囲である可視領域を調整する。観察者の頭４０が移動した後に生じる新たな可視領域を点線４１で示してある。
【００２２】
しかし、本発明の第１実施形態のような可視領域調整方法は、観察者の頭４０が移動しても安定して３次元映像を観察できるような可視領域を提供するものの、依然として若干のひずみを有する３次元映像４２が観察される。
【００２３】
図４は本発明の第２実施形態による３次元映像ディスプレイ装置を示す図である。本第２実施形態の構造は、第１実施形態の可視領域調節部３５の代わりにマイクロイメージ再生部３６を用いたことである。ここで、マイクロイメージ再生部３６は頭位置検出部３４から入力される信号に従ってマイクロイメージを再生して、３次元映像のひずみを補償する。
【００２４】
このように構成した本発明の第２実施形態の動作を以下に説明する。
【００２５】
まず、観察者の頭４３が制限された主可視領域の境界３８をはずれ、従属可視領域の境界４４へ移動すると、頭トラッキング部３３は実時間で観察者の頭の移動を検出した後、それによる信号を頭位置検出部３４へ送る。
すると、頭位置検出部３４は頭トラッキング部３３の信号に従って観察者の頭の位置を計算した後、計算した信号をマイクロイメージ再生部３６へ送る。マイクロイメージ再生部３６は入力される信号に従ってディスプレイ装置のスクリーン３２で表示される２次元マイクロイメージを、ひずみの補償された新たなマイクロイメージに再生させる。
【００２６】
このように、ひずみの補償されたマイクロイメージの再生により、観察者は主可視領域の外の従属可視領域でもひずみが発生してない３次元映像を観察することができる。しかし、観察者の移動に従って安定して３次元映像を観察できる可視領域を提供できないため、３次元映像が一方向に傾ける傾向があった。
【００２７】
図５は本発明の第３実施形態による３次元映像ディスプレイ装置を示す図であって、本第３実施形態は第１実施形態の可視領域調節部３５と、第２実施形態のマイクロイメージ再生部３６とをともに備えるように構成したものである。
【００２８】
このように構成した本発明の第３実施形態の動作は以下の通りである。
図５に示すように、スクリーン３２が提供した２次元マイクロイメージをマイクロレンズアレイ３１を介して合成して表示される３次元映像３９を、観察者３７は制限された主可視範囲の境界３８内で観察する。
観察者の頭３７が主可視範囲内にあれば、頭位置検出部４１では何の信号も現れない。しかし、観察者の頭４６が主可視範囲の境界または境界の外へその位置が移動すると、頭トラッキング部３３は直ちに観察者の頭の移動を追跡し、それによる信号を頭位置検出部３４へ送る。すると、頭位置検出部３４は頭トラッキング部３３の信号に従って観察者の頭の位置を計算した後、計算した信号をマイクロイメージ再生部３６と可視領域調節部３５へ同時に送る。
【００２９】
マイクロイメージ再生部３６は入力された信号に従ってディスプレイ装置のスクリーン３２で表示される２次元マイクロイメージをひずみの補償された新たなマイクロイメージに再生させ、可視領域調節部３５は入力される信号に従ってディスプレイ装置のスクリーン３２で再生したひずみの補償された新たなマイクロイメージを移動させ、新たな観察者の頭４６の位置に対応するよう可視領域を調整する。
【００３０】
本発明の第３実施形態は最も好ましい実施形態であって、広い範囲の視野角を有し、かつ、ゆがみのない安定した３次元映像を観察することができる。
【００３１】
本発明はＬＣＤ、ＰＤＰ、ＣＲＴ、プロゼクションシステム有するスクリーンなどのようなあらゆるディスプレイ装置で提供されるマイクロイメージに適用可能である。
【００３２】
【発明の効果】
本発明による３次元映像ディスプレイ装置及び方法によれば、観察者の頭が主可視範囲の外へ移動してもゆがんでない３次元映像を提供するので、視野角が広い。
【図面の簡単な説明】
【図１】 一般的な３次元映像のディスプレイ過程を示す図。
【図２】 従来技術による３次元映像ディスプレイ装置で、観察者の頭の移動に従って再現する３次元映像を示す図。
【図３】本発明の第１、第２、第３実施形態による３次元映像ディスプレイ装置を示す図。
【図４】本発明の第１、第２、第３実施形態による３次元映像ディスプレイ装置を示す図。
【図５】 本発明の第１、第２、第３実施形態による３次元映像ディスプレイ装置を示す図。
【符号の説明】
３１：マイクロレンズアレイ
３２：ディスプレイ装置スクリーン
３３：頭トラッキング部
３４：頭位置検出部
３５：可視領域調節部
３６：マイクロイメージ再生部
３７，４０，４３，４６：観察者
３８：主可視領域境界
３９：本来の３次元映像
４１，４４，４７：従属可視領域境界
４２：ひずみした３次元映像
４８：ゆがみのない３次元映像

Claims (9)

1. ２次元マイクロイメージを合成して３次元映像に再現する３次元映像ディスプレイ装置であって、
   前記３次元映像を観察する観察者の頭の移動を実時間で追跡して前記観察者の頭の位置を検出する検出部と、
   少なくとも前記検出部から入力される信号に従って前記３次元映像のひずみを補償する補償部と
   を含み、更に前記検出部から入力される信号に従って前記マイクロイメージを再生して、前記３次元映像のひずみを補償するマイクロイメージ再生部を含むことを特徴とする３次元映像ディスプレイ装置。
2. 前記検出部は、
   前記３次元映像を観察する観察者の頭の移動を実時間で追跡する頭トラッキング部と、
   前記頭トラッキング部で追跡した前記観察者の頭の位置を計算する頭位置検出部と
   を備えていることを特徴とする請求項１記載の３次元映像ディスプレイ装置。
3. 前記補償部は、
   前記検出部から入力される信号に従って前記マイクロイメージを移動させ、前記３次元映像の可視領域を調節する可視領域調節部を備えることを特徴とする請求項１記載の３次元映像ディスプレイ装置。
4. 実時間で表示される多数の２次元マイクロイメージと、
   前記２次元マイクロイメージを合成して３次元映像に再現させるマイクロレンズアレイと、
   前記３次元映像を観察する観察者の頭の移動を実時間で追跡する頭トラッキング部と、
   前記頭トラッキング部で追跡した前記観察者の頭の位置を計算する頭位置検出部と、
   前記頭位置検出部から入力される信号に従って前記マイクロイメージを移動させ、前記３次元映像の可視領域を調節する可視領域調節部と
   を備え、更に前記頭位置検出部から入力される信号に従って前記マイクロイメージを再生して、前記３次元映像のひずみを補償するマイクロイメージ再生部を備えていることを特徴とする３次元映像ディスプレイ装置。
5. 前記再生したマイクロイメージは前記可視領域調節部によって前記移動した観察者の頭の可視領域中心部へ移動されることを特徴とする請求項４記載の３次元映像ディスプレイ装置。
6. 実時間で表示される多数の２次元マイクロイメージと、
   前記２次元マイクロイメージを合成して３次元映像に再現させるマイクロレンズアレイと、
   前記３次元映像を観察する観察者の頭の移動を実時間で追跡する頭トラッキング部と、
   前記頭トラッキング部から追跡した前記観察者の頭の位置を計算する頭位置検出部と、
   前記頭位置検出部から入力される信号に従って前記マイクロイメージを再生して、前記３次元映像のひずみを補償するマイクロイメージ再生部と
   を備えていることを特徴とする３次元映像ディスプレイ装置。
7. 前記頭位置検出部及び前記マイクロイメージ再生部から入力される信号に従って前記再生したマイクロイメージを前記移動した観察者の頭の可視領域中心部へ移動させ、前記３次元映像の可視領域を調節する可視領域調節部を更に含むことを特徴とする請求項６記載の３次元映像ディスプレイ装置。
8. ２次元マイクロイメージを合成して３次元映像に再現する３次元映像ディスプレイ方法であって、
   前記再現した３次元映像を観察する観察者の頭を実時間で追跡する段階と、
   前記追跡した観察者の頭の位置を計算する段階と、
   少なくとも前記計算した観察者の頭の位置によって、前記３次元映像のひずみを補償する段階と
   を備え、前記３次元映像のひずみを補償する段階は、前記２次元マイクロイメージを再 生して、前記３次元映像のひずみを補償する段階を備えていることを特徴とする３次元映像ディスプレイ方法。
9. 前記計算した観察者の頭の位置によって、前記３次元映像の可視領域調節する段階を備え、前記３次元映像の可視領域調節段階は、前記２次元マイクロイメージを移動させ、前記３次元映像を移動した観察者の頭の可視領域中心部へ移動するようにする段階であることを特徴とする請求項８記載の３次元映像ディスプレイ方法。

Images