JP7403862B2

JP7403862B2 - 浮遊画像システム

Info

Publication number: JP7403862B2
Application number: JP2022000565A
Authority: JP
Inventors: 鈞翔楊; 志宏丁; 凱傑張
Original assignee: 幻景▲ケイ▼動股▲フン▼有限公司
Priority date: 2021-01-06
Filing date: 2022-01-05
Publication date: 2023-12-25
Anticipated expiration: 2042-01-05
Also published as: JP2022106294A; TW202227880A; US11448898B2; TWI782384B; US20220214560A1

Description

本発明は、浮遊画像システムに関し、特に平面画像情報及び立体浮遊画像情報を同時に表示する浮遊画像システムに関する。

従来の映像表示装置は、主に２次元の平面表示装置である。近年、ユーザーにより良い視覚体験を提供するために、表示装置の解像度が向上しているが、表示装置から提供される画像情報は、依然として一定の角度で表示される。

そのため、マルチアングル背景の浮遊画像システムの提供は、この業界が取り組むべき最重要課題の一つとなっている。

本発明が解決しようとする課題は既存の技術の不足に対し次のような浮遊画像システムを提供することである。

上記技術的課題を解決するために、本発明に採用された技術的手段の一つは、次のような浮遊画像システムを提供することである。浮遊画像システムは、コントローラと、前記コントローラに電気的に接続される第１の浮遊画像表示装置と、脱着可能に第１の浮遊画像表示装置に接続されると共に、前記コントローラに電気的に接続される第２の浮遊画像表示装置とを含む。前記第１の浮遊画像表示装置及び前記第２の浮遊画像表示装置はそれぞれ、複数の第１の浮遊画像情報及び複数の第２の浮遊画像情報を提供することによって、統合浮遊画像情報を共同表示する。

本発明による有益の効果の１つとしては、本発明に適用される浮遊画像システムは、１つの浮遊画像表示装置または複数の浮遊画像表示装置によって、平面画像情報の背景情報及び立体浮遊画像情報を同時に表示することができるため、ユーザーエクスペリエンスを高めるリッチなビジュアル環境を提供することができる。

本発明にかかる１の実施形態の浮遊画像システムを示す模式図である。第１の浮遊画像表示装置及び第２の浮遊画像表示装置が統合浮遊画像情報を共同表示すること示す模式図である。第１の浮遊画像情報及び第２の浮遊画像情報を示す模式図である。本発明にかかる浮遊画像表示システムを示す他の模式図である。本発明にかかる浮遊画像表示システムを示す他の模式図である。本発明にかかる浮遊画像表示システムを示す他の模式図である。本発明第２の実施形態の浮遊画像システムを示す模式図である。本発明第２の実施形態の浮遊画像システムを示す他の模式図である。本発明にかかる１の浮遊画像表示装置を示す模式図である。本発明にかかる１の浮遊画像表示装置を示す分解模式図である。本発明にかかる１の浮遊画像表示装置のレンズアレイが整合的に配列されることを示す模式図である。本発明にかかる１の浮遊画像表示装置のレンズアレイが千鳥に配列されることを示す模式図である。本発明にかかる１の浮遊画像表示装置において単一のレンズのフォーカスの状況を示す模式図である。第１の浮遊画像表示装置または第２の浮遊画像表示装置の浮遊画像情報とオブジェクトとが対話する状況を示す模式図である。第１の浮遊画像表示装置または第２の浮遊画像表示装置の浮遊画像情報とオブジェクトとが対話する状況を示す他の模式図である。第１の浮遊画像表示装置または第２の浮遊画像表示装置の浮遊画像情報とオブジェクトとが対話する状況を示す他の模式図である。第１の浮遊画像表示装置または第２の浮遊画像表示装置の浮遊画像情報とオブジェクトとが対話する状況を示す他の模式図である。

発明の特徴及び技術内容がより一層分かるように、以下本発明に関する詳細な説明と添付図面を参照する。しかし、提供される添付図面は参考と説明のために提供するものに過ぎず、本発明の特許請求の範囲を制限するためのものではない。

下記より、具体的な実施例で本発明が開示する実施形態を説明する。当業者は本明細書の公開内容により本発明のメリット及び効果を理解し得る。本発明は他の異なる実施形態により実行又は応用できる。本明細書における各細節も様々な観点又は応用に基づいて、本発明の精神逸脱しない限りに、均等の変形と変更を行うことができる。また、本発明の図面は簡単で模式的に説明するためのものであり、実際的な寸法を示すものではない。以下の実施形態において、さらに本発明に係る技術事項を説明するが、公開された内容は本発明を限定するものではない。また、本明細書に用いられる「又は」という用語は、実際の状況に応じて、関連する項目中の何れか一つ又は複数の組合せを含み得る。
［第１の実施形態］

図１、図２及び図３を参照されたい。図１は本発明にかかる１の実施形態の浮遊画像システムを示す模式図である。図２は第１の浮遊画像表示装置及び第２の浮遊画像表示装置が統合浮遊画像情報を共同表示すること示す模式図である。図３は第１の浮遊画像表示装置及び第２の浮遊画像表示装置がそれぞれ第１の浮遊画像情報及び第２の浮遊画像情報を表示する状況を示す模式図である。

本実施形態において、浮遊画像システム１はコントローラ１１、記憶モジュール１２、通信モジュール１３、第１の浮遊画像表示装置１４、第２の浮遊画像表示装置１５、環境検知装置１６、電源モジュール１７、及び視線追跡センサー１８を含む。

コントローラ１１は、接続記憶モジュール１２、通信モジュール１３、第１の浮遊画像表示装置１４、第２の浮遊画像表示装置１５、環境検知装置１６、電源モジュール１７及び視線追跡センサー１８に電気的に接続される。

第２の浮遊画像表示装置１５は脱着可能に第１の浮遊画像表示装置１４に接続される。即ち、第１の浮遊画像表示装置１４と第２の浮遊画像表示装置１５は別々に作動してもよいし、協働するように作動してもよい。第１の浮遊画像表示装置１４は第２の浮遊画像表示装置１５の一方側に接続される。本実施形態において、第１の浮遊画像表示装置１４は、接続モジュール１９を介して第２の浮遊画像表示装置１４と接続する。接続モジュール１９としては蝶番（ｈｉｎｇｅ）が挙げられる。他の実施形態において、両方の協働をさらに最適化するために、第１の浮遊画像表示装置１４は、第２の浮遊画像表示装置１５に電気的に接続されてもよい。

接続モジュール１９は、第１の浮遊画像表示装置１４と第２の浮遊画像表示装置１５との間に配置される。第１の浮遊画像表示装置１４と第２の浮遊画像表示装置１５とは角度θをなす。

本実施形態において、第１の浮遊画像表示装置１４が第２の浮遊画像表示装置１５に接続すると、第１の浮遊画像表示装置１４と第２の浮遊画像表示装置１５はそれぞれ複数の第１の浮遊画像情報Ｇ１及び複数の第２の浮遊画像情報Ｇ２を提供することによって、統合浮遊画像情報ＧＩＮを共同表示する。複数の第１の浮遊画像情報Ｇ１、複数の第２の浮遊画像情報Ｇ２及び統合浮遊画像情報ＧＩＮはいずれも立体な浮遊画像情報である。即ち、ユーザーはいかなる視角からもそれらの浮遊画像情報を見ることができる。

即ち、第１の浮遊画像表示装置１４及び第２の浮遊画像表示装置１５は別々に複数の浮遊画像情報を表示することが可能であるが、一方、第１の浮遊画像表示装置１４及び第２の浮遊画像表示装置１５は、複数の浮遊画像情報をそれぞれ提供することで、統合浮遊画像情報ＧＩＮを共同表示することも可能である。

また、本実施形態において、第１の浮遊画像表示装置１４は複数の第１の浮遊画像情報Ｇ１を第１の浮遊画像表示装置１４における第１の側方の空間で表示させる。第２の浮遊画像表示装置１５も、複数の第２の浮遊画像情報を前記第２の浮遊画像情報Ｇ２表示装置１５における第１の側方の空間で表示させる。即ち、統合浮遊画像情報ＧＩＮは、第１の浮遊画像表示装置１４と第２の浮遊画像表示装置１５との間の空間に表示される。

本実施形態において、環境検知装置１６は、第１の浮遊画像表示装置１４の第２の側方に配置される。環境検知装置１６は、第１の浮遊画像表示装置１４における第２の側方における複数の第１の環境画像情報ＥＩＮ１を検知するために用いられる。

他の実施形態において、第１の浮遊画像表示装置１４の第２の側方における複数の第１の環境画像情報、或いは第２の浮遊画像表示装置１５の第２の側方における複数の第２の環境画像情報を検知するために、環境検知装置１６は第１の浮遊画像表示装置１４の第２の側方、或いは第２の浮遊画像表示装置１５の第２の側方に設けられる。本実施形態において、第１の浮遊画像表示装置１４における第１の側方と第２の側方とは互いに反対する側である。また、第２の浮遊画像表示装置１５における第１の側方と第２の側方とは互いに反対する側である。第２の浮遊画像表示装置１５における第２の側方は下方であり、第２の浮遊画像表示装置１５における第１の側方は上方である。環境検知装置１６は第１の環境画像情報または第２の環境画像情報をコントローラ１１に送信する。

コントローラ１１は、複数の第１の環境画像情報ＥＩＮ１に基づいて複数の第１の環境画像調整情報ＭＥＩＮ１を第１の浮遊画像表示装置１４における第１の側方にある第１の表示モジュール１４１に表示させる。

他の実施形態において、コントローラ１１は、複数の第２の環境画像情報ＥＩＮ２に基づいて複数の第２の環境画像調整情報ＭＥＩＮ２を第２の浮遊画像表示装置１５における第１の側方の第２の表示モジュール１５１で表示させる。

また、第１の環境画像調整情報ＭＥＩＮ１及び第２の環境画像調整情報ＭＥＩＮ２は、所定の平面画像情報または立体視画像情報（深度情報に関わる画像情報）を計算して得られるものであってもよい。

視線追跡センサー１８は、第１の浮遊画像表示装置１４の第１の側方、或いは第２の浮遊画像表示装置１５の第１の側方に設けられ、ユーザー視線信号を検知するために用いられる。本実施形態において、視線追跡センサー１８は第１の浮遊画像表示装置１４の第１の側方に配置される。視線追跡センサー１８はカメラユニットであってもよい。視線追跡センサー１８が検知するユーザー視線信号は、ユーザーの瞳の位置及び視線の角度を含む。

コントローラ１１はユーザー視線信号に基づいて、第１の表示モジュール１４１で表示する複数の第１の環境画像調整情報ＭＥＩＮ１、又は第２の表示モジュール１５１で表示する複数の第２の環境画像調整情報ＭＥＩＮ２を調整するように構成される。

また、浮遊画像システム１におけるコントローラ１１は、通信モジュールを介してサーバー９に通信接続される。浮遊画像システム１におけるコントローラ１１は、複数の第１の浮遊画像情報Ｇ１、第２の浮遊画像情報Ｇ２、統合浮遊画像情報ＧＩＮ、複数の第１の環境画像情報ＥＩＮ１、複数の第２の環境画像情報ＥＩＮ２、複数の第１の環境画像調整情報ＭＥＩＮ１、及び複数の第２の環境画像調整情報ＭＥＩＮ２に対し計算を行うために、それらの情報をサーバー９に送信してもよい。即ち、浮遊画像システム１における複数の第１の環境画像調整情報ＭＥＩＮ１及び複数の第２の環境画像調整情報ＭＥＩＮ２は、ユーザーの視線角度に応じて調整することが可能である。この場合、ユーザーの視線角度から見る環境と、複数の第１の環境画像調整情報ＭＥＩＮ１と、複数の第２の環境画像調整情報ＭＥＩＮ２とは互いに絡み合っている。即ち、ユーザーどの方向を見ていても、複数の第１の環境画像調整情報ＭＥＩＮ１及び複数の第２の環境画像調整情報ＭＥＩＮ２は、その視角の画像情報を表示するのである。ユーザーは第１の浮遊画像表示装置１４及び第２の浮遊画像表示装置１５によって視野が遮られることを感じることはない。その代わり、ユーザーは、第１の浮遊画像表示装置１４および第２の浮遊画像表示装置１５を通して、その背後の環境も見ることができるので、視界が開けた、または透明な印象を与えることができる。

電源モジュール１７は、コントローラ１１、記憶モジュール１２、通信モジュール１３、第１の浮遊画像表示装置１４、第２の浮遊画像表示装置１５、環境検知装置１６及び視線追跡センサー１８に電力を給電するために用いられる。

なかでも、複数の第１の浮遊画像情報Ｇ１、第２の浮遊画像情報Ｇ２、統合浮遊画像情報ＧＩＮ、複数の第１の環境画像情報ＥＩＮ１、複数の第２の環境画像情報ＥＩＮ２、複数の第１の環境画像調整情報ＭＥＩＮ１及び複数の第２の環境画像調整情報ＭＥＩＮ２は、記憶モジュール１２またはサーバー９に格納される。

ユーザー視線信号は、環境画像情報の表現に直接影響する。すなわち、ユーザーは、統合浮遊画像情報ＧＩＮを浮遊画像システム１の左側または右側から見た場合、第１の環境画像調整情報を見る感覚は視点に応じて異なる。また、第２の浮遊画像表示装置１５が複数の第２の環境画像調整情報ＭＥＩＮ２も提供する場合、ユーザーは統合浮遊画像情報ＧＩＮを異なる角度で見ることができ、異なる角度から見る第２の環境画像調整情報による視聴体験を得ることが可能である。

コントローラ１１は、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）またはマイクロプロセッサ（ＭＣＵ）である。

記憶モジュール１２は、フラッシュメモリ、ＲＯＭ、プログラマブルＲＯＭ、電気的書替え可能ＲＯＭ、消去可能プログラマブルＲＯＭ、または電気的消去可能プログラマブルＲＯＭである。

通信モジュール１３は有線通信ユニット（図示せず）、及び無線通信ユニット（図示せず）を含む。有線通信ユニット（図示せず）は、独立してサーバー９と通信し、サーバー９からの制御信号やサーバー９のデータベースからのデータを受信するように設定することも可能である。通信モジュール１３が無線通信ユニットである場合、通信モジュール１３としては、Ｗｉ－Ｆｉ（登録商標）通信ユニット、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信ユニット、Ｚｉｇｂｅｅ（登録商標）通信ユニット、ＬｏＲａ通信ユニット、Ｓｉｇｆｏｘ（登録商標）通信ユニットまたはＮＢ－ＩｏＴ通信ユニットであることが挙げられる。

環境検知装置１６は、少なくとも１つの画像取得ユニットを備えている。環境検知装置１６は、可視画像取得ユニット、赤外線画像取得ユニット、または熱画像取得ユニットであってもよい。他の実施形態では、環境検知装置１６は、光学センサー、画像取得モジュール、タイマー、ジャイロセンサー、多次元加速度センサー、または臭気センサーで構成されてもよい。

電源モジュール１７は、直流－直流変換器、交流－直流変換器であってもよい。また、電源モジュール１７は、電池ユニット（図示せず）を含んでもよい。電池ユニット（図示せず）としては、リチウムイオン電池、リチウムマンガン電池、リチウムポリマー電池、またはニッケル水素電池が挙げられる。

視線追跡センサー１８は、画像取得ユニットである。視線追跡センサー１８は、可視画像取得ユニット、赤外線画像取得ユニット、又は熱感画像取得ユニットであってもよい。

また、浮遊画像システム１はマイクＭＰ、及びスピーカーＳＰを含む。マイクＭＰ及びスピーカーＳＰは接続コントローラ１１に電気的に接続される。ユーザーは、マイクＭＰ及びスピーカーＳＰを介し、音声制御信号を用いて、第１の浮遊画像情報Ｇ１、第２の浮遊画像情報Ｇ２又は統合浮遊画像情報ＧＩＮに対し制御または対話を行うことができる。

また、コントローラ１１、記憶モジュール１２、通信モジュール１３、第１の浮遊画像表示装置１４、第２の浮遊画像表示装置１５、環境検知装置１６、電源モジュール１７、視線追跡センサー１８、マイクＭＰ及びスピーカーＳＰは、ケーシング（図示せず）に配置されてもよい。

他の実施形態において、コントローラ１１、記憶モジュール１２、通信モジュール１３、環境検知装置１６、電源モジュール１７、視線追跡センサー１８、マイクＭＰ及びスピーカーＳＰは、第１の浮遊画像表示装置１４または第２の浮遊画像表示装置１５に配置されてもよい。即ち、第１の浮遊画像表示装置１４または第２の浮遊画像表示装置１５のいずれも独立して平面画像情報または立体浮遊画像情報を処理することができる。第１の浮遊画像表示装置１４と第２の浮遊画像表示装置１５が電気的に接続された場合、第１の浮遊画像表示装置１４と第２の浮遊画像表示装置１５に搭載された各種コンポーネントは、リソースを共有し、互いに協調して動作することが可能である。

完全な三次元画像を表示する前に、コンピュータアルゴリズムは完全な画像を異なるブロックに分割し、計算後、各ブロックの画像を形成し、第１の浮遊画像表示装置の表示ユニットが発した光を空間に集光してブロックを形成し、異なるブロックの画像を合成して完全な立体視画像を形成する。第１の浮遊画像表示装置１４のディスプレイは完全な立体視画像の一部を表示し、第２の浮遊画像表示装置１５のディスプレイはこの完全な立体視画像の別の一部を表示し、上記２つを合成して完全な立体視画像とすることができる。

図４、図５及び図６を参照されたい。本実施形態において、浮遊画像表示システム１は、複数の浮遊画像表示装置を介して、例えば、図４、図５及び図６に示した方式で接続されてもよい。

例えば、図４に示すように、第１の浮遊画像表示装置１４及び第２の浮遊画像表示装置１５のそれぞれの両側方に浮遊画像表示装置ＦＤ０１、ＦＤ０２を脱着可能に配置してもよい。

図５に示すように、浮遊画像表示装置ＦＤ０１、ＦＤ０２、ＦＤ０３は、互いに脱着可能に横方向に沿って接続されている。

図６は、６つの浮遊画像表示装置ＦＤ０１、ＦＤ０２、ＦＤ０３、ＦＤ０４、ＦＤ０５、ＦＤ０６を用いて、表示用の空間を構築する。６つの浮遊画像表示装置がそれぞれ各自の浮遊画像情報を表示するか、或いは複数の浮遊画像表示装置が相俟って複数の統合浮遊画像情報を共同表示するようにしてもよい。他の実施形態において、浮遊画像システム１は、複数の浮遊画像表示装置を様々な接続方式で組み合わせることによって、多種の浮遊画像情報を提供することが可能である。

この実施形態では、浮動画像システム１が完全な浮動立体視画像を表示する前に、コントローラ１１はまずこの完全な画像をコンピュータアルゴリズムに従って異なるブロックに分割し、計算後に各ブロックの画像を区画するようになる。第１の浮遊画像表示装置１４の表示ユニットまたは第２の浮遊画像表示装置１５の複数の表示ユニットから複数の光線が供給され、空間に集光してブロックを形成し、異なるブロックの画像を合成して完全な浮遊立体視画像を形成することができる。すなわち、第１の浮遊画像表示装置１４は、完全な統合浮遊画像情報ＧＩＮの一部を表示する。第２の浮遊画像表示装置１５は、統合浮遊画像情報ＧＩＮの別の部分を表示し、上記２つを組み合わせて、完全な統合浮遊画像情報ＧＩＮにするようになる。

さらに、コントローラ１１は、第１の浮遊画像表示装置１４と第２の浮遊画像表示装置１５との間の角度に応じて、コンピュータアルゴリズム、第１の浮遊画像表示装置１４の複数の表示ユニット、及び第２の浮遊画像表示装置１５の複数の表示ユニットを調整し、空間内の集光を集光するために適切な角度で光を供給することによって、統合浮遊画像情報ＧＩＮを形成するようにする。
［第２の実施形態］

図７及び図８を参照されたい。図７は、本発明に係る第２の実施形態の浮遊画像システムを示す模式図である。図８は、本発明に係る第２の実施形態の浮遊画像システムを示す他の模式図である。

本実施形態において、浮遊画像システム３は、コントローラ３１、記憶モジュール３２、通信モジュール３３、第１の浮遊画像表示装置３４、環境検知装置３６、電源モジュール３７、及び視線追跡センサー３８を含む。コントローラ３１は、接続記憶モジュール３２、通信モジュール３３、第１の浮遊画像表示装置３４、環境検知装置３６、電源モジュール３７及び視線追跡センサー３８に電気的に接続される。

浮遊画像システム３と浮遊画像システム１とは同様であるが、それらの相違点は主に、浮遊画像システム３における第１の浮遊画像表示装置３４が折り畳み可能な表示装置である点にある。即ち、第１の浮遊画像表示装置３４的表示モジュールとケーシングとの構造設計によって、第１の浮遊画像表示装置３４を２つの表示領域となるように折り畳むことができる。即ち、第１の浮遊画像表示装置３４を折り畳んだ時、第１の浮遊画像表示装置３４は、少なくとも第１の浮遊画像表示領域３４－１、及び第２の浮遊画像表示領域３４－２を含むようになる。第１の浮遊画像表示領域３４－１と第２の浮遊画像表示領域３４－２とは隣り合って配置される。即ち、第１の浮遊画像表示装置３４は２つの表示領域を形成するように折り畳まれた。第１の浮遊画像表示領域３４－１及び第２の浮遊画像表示領域３４－２の間に表示角度αが形成される。表示角度αは、０度～１７９度であってもよい。他の実施形態において、表示角度αは鈍角であってもよい。

第１の浮遊画像表示装置３４における第１の浮遊画像表示領域３４－１及び第２の浮遊画像表示領域３４－２はそれぞれ異なる浮遊画像情報を表示することができる。第１の浮遊画像表示領域３４－１及び第２の浮遊画像表示領域３４－２もそれぞれ、複数の第１の浮遊画像情報及び複数の第２の浮遊画像情報を提供することによって、統合浮遊画像情報ＧＩＮを共同表示することが可能である。

図８に示すように、第１の浮遊画像表示装置３４は、３つの表示領域を形成するように折り畳まれることができるように構成される。即ち、図８において、第１の浮遊画像表示装置３４は、第１の浮遊画像表示領域３４－１、第２の浮遊画像表示領域３４－２及び第３の浮遊画像表示領域３４－３を含む。第１の浮遊画像表示領域３４－１、第２の浮遊画像表示領域３４－２及び第３の浮遊画像表示領域３４－３は互いに隣り合って配置される。同様的に、第１の浮遊画像表示領域３４－１、第２の浮遊画像表示領域３４－２及び第３の浮遊画像表示領域３４－３はそれぞれ、複数の浮遊画像情報を提供する。第１の浮遊画像表示領域３４－１、第２の浮遊画像表示領域３４－２及び第３の浮遊画像表示領域３４－３もそれぞれ、第１の浮遊画像情報、第２の浮遊画像情報及び第３の浮遊画像情報を提供することによって、統合浮遊画像情報ＧＩＮを共同表示することができる。

図９、図１０、図１１、図１２及び図１３を参照されたい。図９は、本発明にかかる１の浮遊画像表示装置を示す模式図である。図１０は、本発明にかかる１の浮遊画像表示装置を示す分解模式図である。図１１は、本発明にかかる１の浮遊画像表示装置のレンズアレイが整合的に配列されることを示す模式図である。図１２は、本発明にかかる１の浮遊画像表示装置におけるレンズアレイが千鳥に配列されることを示す模式図である。図１３は、本発明にかかる１の浮遊画像表示装置における単一のレンズフォーカスの状況を示す模式図である。

第１の浮遊画像表示装置１４及び第２の浮遊画像表示装置１５の構成と機能は同様であるため、第１の浮遊画像表示装置１４の実施例のみを詳しく説明し、第２の浮遊画像表示装置１５の構造や機能についての説明は繰り返さない。

第１の浮遊画像表示装置１４は、第１の表示モジュール１４１、レンズアレイ層１４２、及び微小構造層１４３を含む。このように、表示画像を変えることで、立体視画像の角度を変え、別の角度から立体視をすることができる。

さらに、微小構造層１４３は、動的光学部品層である。すなわち、微小構造層１４３は、微小構造機能モード及び非微小構造機能モードを有する。微小構造層１４３は、制御信号に従って、微小構造機能モードまたは非微小構造機能モードに調整することができる。微小構造層１４３を微小構造機能モードに切り替えると、光の角度方向を変える。微小構造層１４３が非微小構造機能モードに切り替えられると、第１の浮遊画像表示装置１４は平面画像情報の表示に用いられ、第１の浮遊画像表示装置１４の側方の空間に浮かぶ立体画像情報を表示しないようになる。しかし、本実施形態では、第１の浮遊画像表示装置１４は、平面画像情報及び浮遊画像情報の両方を表示することが可能である。

微小構造層１４３は液晶レンズアレイ層（ＬｉｑｕｉｄＬｅｎｓＬａｙｅｒ）であって、複数の微小構成液晶レンズを含む。レンズアレイ層も、液晶レンズアレイ層（ＬｉｑｕｉｄＬｅｎｓＬａｙｅｒ）複数の光学調整液晶レンズを含む。即ち、第１の浮遊画像表示装置１４は少なくとも２層の液晶レンズアレイ層を含む表示装置である。他の実施形態において、光線を調整するために、第１の浮遊画像表示装置１４はさらに多い層の液晶レンズアレイ層を含むように構成されてもよい。また、他の実施形態において、第１の浮遊画像表示装置１４は、光線を調整するために、異なる領域に第１の浮遊画像表示装置１４を配置するようにしてもよい。また、レンズアレイ層１４２は、第１の構成レンズアレイ層（図示せず）、及び第２の構成レンズアレイ層（図示せず）を含む。第１の構成レンズアレイ層（図示せず）は光フィールドを変調するためにレンズ構成を有し、一方、第２の構成レンズアレイ層（図示せず）はレンズ構成を有しない。

レンズアレイ層１４２は、第２の層（中間層）に配置することで、ライトフィールドを規制する効果がある。集光レンズは、立体物に当てる光の角度をコントロールできるため、角度を変えて立体像をユーザーに見せることで、奥行き感を演出することができる。異なる集光レンズは、オブジェクトに関わる各点の角度を与えることができ、異なるレンズからの光が空中で収束し、奥行き情報を持つ点を形成し、空間内の点を示す情報は異なる光の角度に分割して異なるレンズのピクセルに記録する。集光レンズの曲率は、レンズの材質によって決まり、第１層にあるフラットパネルディスプレイ１４１と組み合わせて、立体画像の高さ、視野角範囲、鮮明度を決定することになる。表示面１４１１に表示された未構成の画像は、レンズアレイ層１４２を通してレンズの上面ではなく、レンズの上方の空間に焦点を当てる。他の実施形態では、微小構造層は含まれなくてもよい。

第１の表示モジュール１４１は、通用のフラットパネルディスプレイであってもよい。第１の表示モジュール１４１は画像を表示するために用いられる表示面１４１１を有する。レンズアレイ層１４２は、第１の表示モジュール１４１の近傍にある表示面１４１１に配置される。即ち、レンズアレイ層１４２は第１の表示モジュール１４１の上方に配置される。レンズアレイ層１４２は、第１の表示モジュール１４１の表示面１４１１に接触してもよい。レンズアレイ層１４２は、第１の表示モジュール１４１の表示面１４１１と間隔をあけて配置されてもよいし、第１の表示モジュール１４１における表示面１４１１とレンズアレイ層１４２との間に配置された中間層であってもよい。

第１の表示モジュール１４１は、最下層に配置されてもよく、それは光再生が未だされていない平面画像を表示する役割を果たす。また、レンズアレイ層１４２のレンズアレイを介して光は再分配・合成されることで、再構成された立体画像を表示するようになる。第１層の第１の表示モジュール１４１は、対象画像を表示できればよいので、携帯電話、フラットパネル、フラットスクリーンなど、どのようなハードウェア構成であってもよく、ディスプレイ１の種類や構成は限定されるものではない。また、第１の表示モジュール１４１は、自発光型ディスプレイであってもよい。

レンズアレイ層１４２は、最上層に配置し、光場を調節する効果を有する。レンズアレイ層１４２は、立体物の光角を調節し、元々再構成されていない平面画像を再分配して再構成し、視聴者に立体画像を見ることができるようにする。

レンズアレイ層１４２は、光学特性の良い材料で作られており、レンズアレイ層１４２の材料は、特に限定されない。レンズアレイ層１４２は、基部１４２１及び複数のレンズ１４２２を含む。複数のレンズ１４２２は、基部１４２１の一面に配置される。即ち、複数のレンズ１４２２は基部１４２１における第１の表示モジュール１４１から離れる一面に配置される。レンズアレイ層１４２の配列及び構造は上記の例に制限されない。複数のレンズ１４２２は焦点を当てる機能を有する。表示面１４１１は未だ再構築されていない画像はレンズアレイ層１４２によって、統合された画像を再構成し、立体視画像を形成する。

第１の表示モジュール１４１は、アルゴリズムの適用が可能であれば、どのような構成であってもよく、すなわち、第１の表示モジュール１４１は、図画像計算ユニット１４１２を有する。ディスプレイ１で使用される画像は、画像アルゴリズム計算の対象となり、この計算は、レンズアレイの構造と連動して、その光が通るさまざまな経路を予測し、画像の相対的な位置を計算する。

本発明のレンズアレイ層１４２は，ディスプレイの効果に大きな関連性を有する。図９に示すように、レンズアレイは、隣接する２つの列のそれぞれのレンズ１４２２が互いに整合的に配列するように、矩形パターンで配置されてもよい。図１０に示すように、レンズアレイはまた、レンズ１４２２の２つの隣接する列の各々が千鳥状に配置されるように、六角形のパターンで配置されてもよい。

レンズアレイ層１４２上の微細構造は集光レンズである。この微細レンズの仕様は、材料の屈折率ｎ値によって集光能力が決まり、使用できる光の波長範囲は３００ｎｍから１１００ｎｍである。小型レンズ１枚の焦点距離は図１１のようになり、レンズメーカーの公式：１／ｆ＝（ｎ－１）（１／Ｒ１－１／Ｒ２）に準拠する。ここで、Ｒ１、Ｒ２はレンズの両側の曲率半径、ｆはレンズの焦点距離、ｎはレンズの屈折率である。また、レンズの直径は、表示デバイスの画素サイズに合わせて、１００ｕｍから５ｍｍまで幅広く対応する。他の実施形態において、レンズアレイ層１４２の微小構造は、本発明において限定されることなく、非球面レンズまたは上記レンズメーカーの数式とは異なる光学特性を有する厚膜レンズであってもよい。他の実施形態では、レンズアレイ層１４２はまた、いかなる微小構造も含まなくてもよい。

図１４、図１５、図１６及び図１７を参照されたい。図１４は、第１の浮遊画像表示装置または第２の浮遊画像表示装置による浮遊画像情報とオブジェクトとが対話することを示す模式図である。図１５は、第１の浮遊画像表示装置または第２の浮遊画像表示装置による浮遊画像情報とオブジェクトとが対話することを示す他の模式図である。図１６は、第１の浮遊画像表示装置または第２の浮遊画像表示装置による浮遊画像情報とオブジェクトとが対話することを示す他の模式図である。図１７は、第１の浮遊画像表示装置または第２の浮遊画像表示装置による浮遊画像情報とオブジェクトとが対話することを示す他の模式図である。

ユーザーは、指、電子対話用手袋ＥＣＬ、電子対話用手袋ＰＴを用いて、第１の浮遊画像情報Ｇ１、第２の浮遊画像情報Ｇ２、または統合浮遊画像情報ＧＩＮと対話することができる。

すなわち、第１の浮遊画像表示装置１４のセンサー１４９は、オブジェクトＯＢ（ユーザの手）の所定の検出点の座標、例えばユーザーの人差し指、電子対話用手袋ＥＣＬの所定の座標、ペン型対話部材ＰＴのペン先の所定の座標の少なくとも１つを検出するために使用することができる。センサー１４９は、オブジェクトＯＢの所定の検出点の軌跡を所定時間にわたって連続的に記録する。センサー１４９は、オブジェクトＯＢの所定の検出点の軌跡の複数の座標を、所定期間、コントローラ１１に送信する。コントローラ１１は、ユーザーの人差し指、電子対話用手袋ＥＣＬの所定座標、又はペン型対話部材のペン先の所定座標の少なくとも一方に基づいて、第１の浮遊画像情報Ｇ１の対話ステータスを決定する。本実施形態では、センサー１４９は、３Ｄセンサー、光学センサー、赤外線センサー、２軸カメラセンサー、またはレーダセンサーである。

同様に、第２の浮遊画像表示装置１５に表示される第２の浮遊画像情報Ｇ２、第１の浮遊画像表示装置１４及び第２の浮遊画像表示装置１５が共同表示する統合浮遊画像情報ＧＩＮは、指、或いは、電子対話用手袋ＥＣＬ、ペン型対話部材Ｐ等で対話を行うことによって次に表示する画像を決めるようになる。

さらに言えば、ユーザーは、第１の浮遊画像表示装置１４、第２の浮遊画像表示装置１５、または第１の浮遊画像表示装置１４及び第２の浮遊画像表示装置１５によって、空中に浮かぶ線、平面及び立体画像を表示してもよい。

図１４、図１５、図１６及び図１７に示すように、ユーザーは手（オブジェクト）ＯＢ、ペン型対話部材ＰＴ、電子対話用手袋ＥＣＬによって、第１の浮遊画像表示装置１４における側方の空間において複数の軌跡ＰＨ１－ＰＨＮを描くことが可能である。また、それらの軌跡をさらに、移動、調整または接続することによって、第１の浮遊画像情報Ｇ１を構築するようにしてもよい。

また、第１の浮遊画像表示装置１４はさらにプログラムを含んでもよい。プログラムは複数の立体機能トリガーＦＢＮに対応した複数の機能処理プロセスを含む。複数の立体機能トリガーＦＢＮは、第１の表示モジュール１４１を介して、第１の浮遊画像情報Ｇ１と同じように、第１の浮遊画像表示装置１４における側方の空間で表示される。

ユーザーは、着色、ズーム、素材の調整など、複数の立体機能トリガーＦＢＮの中から１つを選択して、第１の浮遊画像情報Ｇ１の一部または全部の領域を編集することができる。

つまり、平面領域、立体領域、あるいは複数の軌跡で形成された領域全体を、ユーザーが選択的に処理することができる。先の実施形態と同様に、第１の浮遊画像情報Ｇ１は、第１の浮遊画像表示装置１４の一側方の空間に分解図として表示させることが可能である。

さらに、第１の浮遊画像表示装置１４は、コントローラ１１及び通信モジュールを介してサーバー９に接続することができる。サーバーは、第１の浮遊画像情報Ｇ１の多数の軌跡の算出を負担できる。本実施形態では、平面画像情報及び立体画像情報の算出を、第１の浮遊画像表示装置１４及びコントローラ１１で処理し、又はクラウドコンピューティング用のリモートのサーバー９で処理し、算出した平面画像情報及び立体画像情報をコントローラ１１に送信するようにしてもよい。
［実施形態の有益效果］

本発明の有益な効果の１つは、本発明によって提供される浮遊画像システムが、単一の浮遊画像表示装置または複数の浮遊画像表示装置によって、背景に平面画像情報を表示すると同時に立体画像情報を表示することができ、豊かな視覚環境を作り出すことができ、ユーザー体験を効果的に高めることができることである。

以上に開示された内容は本発明の好ましい実施形態に過ぎず、これにより本発明の特許請求の範囲を制限するものではない。そのため、本発明の明細書及び添付図面の内容に基づき為された等価の技術変形は、全て本発明の特許請求の範囲に含まれるものとする。

１、３：浮遊画像システム
１１、３１：コントローラ
１２、３２：記憶モジュール
１３、３３：通信モジュール
１４、３４：第１の浮遊画像表示装置
１５：第２の浮遊画像表示装置
１６：接続モジュール
１７、３７：電源モジュール
１８、３８：視線追跡センサー
１９：接続モジュール
ＭＰ：マイク
ＳＰ：スピーカー
ＧＩＮ：統合浮遊画像情報
ＥＩＮ１：第１の環境画像情報
ＥＩＮ２：第２の環境画像情報
ＭＥＩＮ１：第１の環境画像調整情報
ＭＥＩＮ２：第２の環境画像調整情報
１４１：第１の表示モジュール
１５１：第２の表示モジュール
１４９：センサー
Ｇ１：第１の浮遊画像情報
Ｇ２第２の浮遊画像情報
ＰＴ：ペン型対話部材
ＰＨ１－ＰＨＮ：軌跡
ＦＢＮ：立体機能トリガー
ＯＢ：オブジェクト
ＥＣＬ：電子対話用手袋
１４２：レンズアレイ層
１４３：微小構造層
１４２１、１４２２：レンズ
１４１１：表示面
９：サーバー
ＦＤ０１、ＦＤ０２、ＦＤ０３、ＦＤ０４、ＦＤ０５、ＦＤ０６：浮遊画像表示装置
３４－１：第１の浮遊画像表示領域
３４－２：第２の浮遊画像表示領域
３４－３：第３の浮遊画像表示領域
１４１２：図画像計算ユニット

Claims

コントローラと、
前記コントローラに電気的に接続される第１の浮遊画像表示装置と、
前記コントローラに電気的に接続されると共に、脱着可能に前記第１の浮遊画像表示装置に接続する、第２の浮遊画像表示装置と、
を備え、
前記第１の浮遊画像表示装置と前記第２の浮遊画像表示装置はそれぞれ、複数の第１の浮遊画像情報及び複数の第２の浮遊画像情報を提供することによって、統合浮遊画像情報を共同表示し、
前記第１の浮遊画像表示装置は、複数の第１の浮遊画像情報を前記第１の浮遊画像表示装置における第１の側方の空間で表示させ、前記第２の浮遊画像表示装置は、複数の第２の浮遊画像情報を前記第２の浮遊画像表示装置における第１の側方の空間に表示させ、統合浮遊画像は、前記第１の浮遊画像表示装置と前記第２の浮遊画像表示装置との間の空間で表示され、
前記第１の浮遊画像表示装置における第２の側方複数の第１の環境画像情報、或いは前記第２の浮遊画像表示装置における第２の側方複数の第２の環境画像情報を検知する環境検知装置をさらに備え、前記環境検知装置は前記コントローラに接続し、前記第１の環境画像情報及び前記第２の環境画像情報のいずれも前記コントローラに送信される、
ことを特徴とする浮遊画像システム。
前記第１の浮遊画像表示装置と前記第２の浮遊画像表示装置との間に配置される接続モジュールをさらに備え、前記第１の浮遊画像表示装置は、前記接続モジュールを介して前記第２の浮遊画像表示装置に接続され、前記第１の浮遊画像表示装置と前記第２の浮遊画像表示装置とは所定の角度をなす、請求項１に記載の浮遊画像システム。
前記コントローラは、前記複数の第１の環境画像情報に基づいて、複数の第１の環境画像調整情報を前記第１の浮遊画像表示装置における前記第１の側方にある第１の表示モジュールで表示させる、請求項１に記載の浮遊画像システム。
前記コントローラは、前記複数の第２の環境画像情報に基づいて、複数の第２の環境画像調整情報を前記第２の浮遊画像表示装置における前記第１の側方にある第２の表示モジュールで表示させる、請求項３に記載の浮遊画像システム。
前記第１の浮遊画像表示装置における前記第１の側方、或いは前記第２の浮遊画像表示装置における前記第１の側方に配置され、ユーザー視線信号を検知するために用いられる、視線追跡センサーをさらに備える、請求項４に記載の浮遊画像システム。
前記視線追跡センサーが検知する前記ユーザー視線信号は、ユーザーの瞳の位置及び視線の角度を含む、請求項５に記載の浮遊画像システム。
前記コントローラは、前記ユーザー視線信号に基づいて、前記第１の表示モジュールで表示された前記複数の第１の環境画像調整情報、或いは前記第２の表示モジュールで表示された前記複数の第２の環境画像調整情報を調整する、請求項６に記載の浮遊画像システム。
前記コントローラは、サーバーに通信接続され、前記浮遊画像システムにおける前記コントローラは、前記複数の第１の浮遊画像情報、前記第２の浮遊画像情報、前記統合浮遊画像情報、前記複数の第１の環境画像情報、前記複数の第２の環境画像情報、前記複数の第１の環境画像調整情報及び前記複数の第２の環境画像調整情報を前記サーバーに送信して前記サーバーで計算を行う、請求項７に記載の浮遊画像システム。
前記コントローラに電気的に接続される記憶モジュールと、
前記コントローラに電気的に接続される通信モジュールと、
前記コントローラ、前記記憶モジュール、前記通信モジュール、前記第１の浮遊画像表示装置、前記第２の浮遊画像表示装置、前記環境検知装置及び前記視線追跡センサーに給電するために、前記コントローラに電気的に接続される電源モジュールと、
をさらに備え、
前記複数の第１の浮遊画像情報、前記第２の浮遊画像情報、前記統合浮遊画像情報、前記複数の第１の環境画像情報、前記複数の第２の環境画像情報、前記複数の第１の環境画像調整情報及び前記複数の第２の環境画像調整情報は、前記記憶モジュールに記憶され、
前記コントローラは、前記通信モジュールを介して、前記サーバーに通信接続する、請求項８に記載の浮遊画像システム。
前記浮遊画像システムは、オブジェクトの立体座標値を検知することによって、前記オブジェクトと、前記浮遊画像システムで表示された前記複数の第１の浮遊画像情報、前記複数の第２の浮遊画像情報または前記統合浮遊画像情報との対話を可能にする、請求項１に記載の浮遊画像システム。