JP3242079U - 浮遊画像表示装置、及び浮遊画像表示システム - Google Patents

Abstract

【課題】浮遊画像表示装置を利用する対話システムを提供する。【解決手段】対話は浮遊画像表示装置で実行される。浮遊画像表示装置は、コンピュータシステムに接続される。コンピュータシステムで、コンピュータシステムと浮遊画像表示装置との間の通信インターフェースを構築するためにドライバープログラムが実行される。浮遊画像表示装置は、コンピュータシステムから画像データを受信し、浮遊画像に変換した後、表示パネルに浮遊画像を表示させる。使用者が浮遊画像の位置でジェスチャーをすると、浮遊画像表示装置で実行されるプロセスは、ジェスチャーによる三次元座標の変化量に基づいて対話コマンドを決定し、対話コマンドをコンピュータシステムに送信して、コンピュータシステムが対話コマンドに応じて新たな画像データを生成させ、新たな画像データを浮遊画像表示装置が新たな浮遊画像に変換して表示する。【選択図】図２

Description

本考案は、浮遊画像表示技術の応用に関し、特に浮遊画像表示装置、及び当該表示装置とコンピュータシステムが組み合わされて形成したシステムに関する。

従来、立体表示装置の多くは、人間の目の視差を利用して脳内に奥行きのある立体画像を構成する技術を用いている。一般的に、表示装置で表示される画像は２つの異なる画像として設計されている。一使用者が特定の装置、例えば赤と青のメガネ、偏光メガネやシャッターメガネ、さらにはヘッドマウントディスプレイなどを使用する場合、ディスプレイからの２つの異なる画像をそれぞれの目に投影し、立体視画像として脳内で合成することができる。

光学要素（レンズ、グレーティング）の設計によって裸眼立体視表示の技術もあり、デ
ィスプレイ内の映像を人間の目に直接投影することができるので、特別な装置を使わずに
立体感を直接感じることができる。

様々な立体表示技術のうち、いずれも表示技術であることに変わりはないが、使用者が直接に立体画像を操作できるような対話技術は提案されていない。その主な理由は、一般的な立体視ディスプレイ技術は、脳内で組み立てられた仮想画像であり、画像との直接の対話ができないためである。

ビデオ対話技術の場合、そのうちの一つは、静電容量式または抵抗膜式ディスプレイ上での使用者によるジェスチャー操作で実現させるものがある。このようなタッチ技術による対話は、ジェスチャーを感知するタッチディスプレイによって行われ、ソフトウェアプログラムでジェスチャーに基づいた対話後の画像を表示するようになる。その際、対話アクションとは、例えば、フラットパネルディスプレイ上での一点または多点ジェスチャーによる二次元平面上での移動や回転などとなる。

また、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ，ＡＲ）や仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ，ＶＲ）技術において対話な操作方法も提出されている。拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）または仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）は、一般に、フラットパネルディスプレイまたはヘッドマウントディスプレイ（Ｈｅａｄ－Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：ＨＭＤ）を介して表示され、ここで、ユーザはジェスチャーで画像を操作することができ、さらにカメラでジェスチャーをキャプチャすることができ、画像処理後に対話な画像を生成して対話な効果を果たすことができる。

本考案は、浮遊画像表示システム及びその浮遊画像表示装置を開示する。なかでも、浮遊画像表示装置は、浮遊画像を表示するために用いられ、そして、コンピュータシステムに接続した後、三次元画像を操作する斬新な使用者体験を提供することができる。

前記浮遊画像表示システムは主に、浮遊画像表示装置、ジェスチャーセンサー、及びコンピュータシステムで実行されるドライバープログラムを含む。なかでも、浮遊画像表示装置にジェスチャーセンサーが設けられてもよい。浮遊画像表示装置はコンピュータシステムに内蔵してコンピュータシステムと接続されてもよいが、外部部材としてコンピュータシステムと接続されてもよい。

特定の実施形態によれば、前記浮遊画像表示装置を利用した対話方法は、浮遊画像表示装置において実行される。浮遊画像表示装置がコンピュータシステムに接続するために、ケーブルを介してコンピュータ装置に接続してもよいが、モジュール化されてコンピュータ装置に内蔵されてもよい。

浮遊画像表示装置の対話方法において、浮遊画像表示装置では、コンピュータシステムから画像データが受信されてから、画像データに基づいて浮遊画像データが取得され、浮遊画像データが浮遊画像に変換されて、表示パネルに浮遊画像が表示される。その後、ジェスチャーで使用者が浮遊画像を操作すると、そのジェスチャーはジェスチャーセンサーで検知され、ジェスチャーに対応する三次元座標の変化量を取得して、その三次元座標の変化量に基づいて、対話コマンドを決めるようになる。

そして、対話コマンドをコンピュータシステムに送信して、コンピュータシステムが当該対話コマンドに応じて、当該三次元座標の変化量に対応する新たな画像データを導出することができる。その後、得られた新たな画像データを浮遊画像表示装置に送信することによって、浮遊画像表示装置は、新たな画像データを新たな浮遊画像データに変換し、表示パネルに新たな浮遊画像を表示するようになる。

さらに、コンピュータシステムにおいてソフトウェアプログラムが実行される。ソフトウェアプログラムは、対話コマンドに基づいて、対応的なプロセスを実行することによって、コンピュータシステムが三次元座標の変化量に応じて新たな画像データを生成することができる。当該新たな画像データは、浮遊画像表示装置に表示される新たな浮遊画像であり、即ち、ジェスチャーの操作で生成された新たな画像である。

好ましくは、前記ジェスチャーは、使用者の指、手のひら及び指関節の位置が三次元座標での変化として検知され、その三次元座標の変化量に応じて対話コマンドが決定される。その対話コマンドは、移動、回転、ズームの動作の中の１つか又はそれらの任意の組み合わせを示すものであり、ソフトウェアプログラムが対応的なプロセスを実行するためにソフトウェアプログラムを命令するように用いられる。

さらに、コンピュータシステムにおいて、ドライバープログラムが実行される。ドライバープログラムは、コンピュータシステムと浮遊画像表示装置との通信インターフェースを構築して、コンピュータシステムと浮遊画像表示装置とが交換するメッセージをインタプリタ又はコンパイルするように利用される。コンピュータシステムにおいて、ドライバープログラムは、コンピュータシステムが対話コマンドに応じて生成したメッセージに基づいて、画像サーバーにリクエストを送ることで、浮遊画像表示装置に提供するための画像データ又は新たな画像データを画像サーバーからダウンロードできる。好ましくは、データに、浮遊画像に係るカラー情報及び三次元空間情報が記載されている。

浮遊画像表示装置の１つの実施形態によれば、主回路は、画像プロセッサー、入力インターフェース、表示駆動ユニット、及びコンピュータ接続ユニットを含む。画像プロセッサーは、浮遊画像を形成するための画像データを処理するために用いられる。入力インターフェースは、ジェスチャーセンサーに接続し、ジェスチャーセンサーが検出したジェスチャーから生み出すメッセージを受信するように利用される。受信されたメッセージを画像プロセッサーによって三次元座標の変化量を算出し対話コマンドを形成する。表示駆動ユニットは、浮遊画像データに基づいて、浮遊画像を形成させ表示ユニットに表示させる。コンピュータ接続ユニットは、浮遊画像表示装置をコンピュータ装置に連接するように利用される。

浮遊画像表示装置は、コンピュータシステムから画像データを受信すると、画像データに基づいて、浮遊画像データを得ることができる。そして、浮遊画像データは、表示駆動ユニットによって浮遊画像データに変換された後、表示ユニットを介して浮遊画像として表示される。そしてその浮遊画像は、使用者がジェスチャーで操作できる。コンピュータシステムとの間に行ったり来たりするメッセージによって、使用者は、浮遊画像を操作して、コンピュータシステムにおけるソフトウェアプログラムを制御できる。

浮遊画像表示装置の実施形態を示す模式図である。 浮遊画像表示システムの実施形態を示すブロック図である。 浮遊画像がコンピュータシステムを介して外部システムに接続する実施形態を示す模式図である。 浮遊画像表示装置で対話方法を実行する実施形態を示すプロセス図その１である。 浮遊画像表示装置で対話方法を実行する実施形態を示すフローチャートその２である。 浮遊画像表示システムが表示装置を介して対話方法を実行する実施形態を示すフローチャートその３である。 コンピュータ装置に配置される浮遊画像表示装置の実施形態を示す模式図である。 コンピュータ装置に浮遊画像表示モジュールが内蔵された実施形態を示す模式図である。 コンピュータ装置に浮遊画像表示装置が外付けの形式で接続され利用される実施形態を示す模式図その１である。 コンピュータ装置に浮遊画像表示装置が外付けの形式で接続され利用される実施形態を示す模式図である。 コンピュータ装置に浮遊画像表示装置が外付けの形式で接続され利用される実施形態を示す模式図その３である。 浮遊画像表示装置に表示されるバーチャルアシスタントの実施形態を示す模式図である。

考案の特徴及び技術内容がより一層分かるように、以下本考案に関する詳細な説明と添付図面を参照する。しかし、提供される添付図面は参考と説明のために提供するものに過ぎず、本考案の実用新案登録請求の範囲を制限するためのものではない。

下記より、具体的な実施例で本考案が開示する実施形態を説明する。当業者は本明細書の公開内容により本考案のメリット及び効果を理解し得る。本考案は他の異なる実施形態により実行又は応用できる。本明細書における各細節も様々な観点又は応用に基づいて、本考案の精神逸脱しない限りに、均等の変形と変更を行うことができる。また、本考案の図面は簡単で模式的に説明するためのものであり、実際的な寸法を示すものではない。以下の実施形態において、さらに本考案に係る技術事項を説明するが、公開された内容は本考案を限定するものではない。

なお、本明細書において「第１」、「第２」、「第３」等の用語で各種の部品又は信号を説明する可能性があるが、これらの部品又は信号はこれらの用語によって制限されるものではない。これらの用語は、主として一つの部品と別の部品、又は一つの信号と別の信号を区分するためのものであることが理解されたい。また、本明細書に用いられる「又は」という用語は、実際の状況に応じて、関連する項目中の何れか一つ又は複数の組合せを含み得る。

本考案は、浮遊画像表示装置、及び関連浮遊画像の表示システムを開示する。浮遊画像を利用して対話を行う技術では、使用者が浮遊画像表示装置に表示された浮遊画像を見る時、ジェスチャーによって、浮遊画像を操作できる技術である。その技術を果たせる主な手段は、ジェスチャーセンサーによって、浮遊画像の位置に行う、例えば、移動、回転、ズーム等のジェスチャーを検知してから、ジェスチャーに対応する三次元座標の変化量を導出して、三次元座標の変化量によって対話コマンドを決定する。そして、決定された対話コマンドに基づいて、ジェスチャーに従って生成された新たな浮遊画像を表示する。そのように、使用者がジェスチャーによって浮遊画像と対話できる技術目的を果たせることができる。ところで、浮遊画像は、静的なオブジェクトとなる浮遊画像であってもよいが、動的なオブジェクトとなる連続浮遊画像であってもよい。

特定の実施形態において、前記浮遊画像表示装置における表示技術は、宙に立体画像を表示する技術であってもよく、そのような技術は、平面表示パネルで複数のサブ画像（単位画像）を表示し、複数のサブ画像が完全な画像（統合画像）を形成するものである。表示時には、平面表示パネルに表示された画像が光学素子の層（レンズアレイなど）を介して表示され、各サブ画像が対応するレンズを介して生じされることで、複数のレンズを介して表示装置上に完全な画像が形成されるため、浮遊画像表示効果を得ることができる。

なお、拡張現実（ＡＲ）や仮想現実（ＶＲ）の表示技術と、本願の表示技術との相違には、表示装置の違いに加えて、立体映像を投影する技術や効果も異なることは特筆に値する。前記ＡＲまたはＶＲに用いられる表示技術は、利用者の目の前のスクリーンに立体視画像を投影し、その画像に、利用者の左右の目の視差を通して立体映像の効果を与える表示技術であるのに対し、本考案で提案されている浮遊画像表示技術は、光学素子を介して利用者の目の前の位置に実際に立体画像を投影して表示する技術である。本考案では、使用者は、ジェスチャーによって浮遊画像を操作することができる。詳しくは、ジェスチャーを介して、操作ジェスチャーを取得してから、ジェスチャーに基づいた新たな浮遊画像を算出して、立体映像を操作できる対話効果を体験できるようにする。

図１は、浮遊画像表示装置の実施形態を示す模式図である。

本実施形態では、浮遊画像表示装置１０を開示している。上記に描いた実施形態のように、浮遊画像表示装置１０は、一層の光学ユニット１０１及び表示パネル１０２で構成され、その中に、表示コンテンツを処理でき、外部から浮遊画像データを取得するための通信機能も備える画像プロセッサーが設けられる。浮遊画像表示装置１０において、浮遊画像データが映像処理されて、浮遊画像１０３を表示するようになる。

さらに、浮遊画像表示装置１０に、使用者の手１２が浮遊画像１０３での動作を検知するジェスチャーセンサー１０５が設けられる。前記ジェスチャーセンサー１０５は、映像検知手段で実現されてもよい。映像検知手段は例えば、カメラで手１２のいくつかのキーパーツ（例えば、指、手のひら、指の関節）の連続画像を撮像して、映像処理によって、所定の時間間隔前後の映像変化を取得する。詳しくは、キーパーツのそれぞれがジェスチャーセンサー座標系での三次元座標（例えば、カルテシアン座標系で表示されたＸｓｅｎｓｏｒ， Ｙｓｅｎｓｏｒ， Ｚｓｅｎｓｏｒ、または球面座標系で表示されたγ， θ， φ）を連続取得することによって、三次元座標の変化量を得ることができる。そして、三次元座標の変化量を浮遊画像表示装置１０の座標系での三次元座標（Ｘｄｅｖｉｃｅ， Ｙｄｅｖｉｃｅ， Ｚｄｅｖｉｃｅ）の変化量（例えば、ベクトル（変位、方向）、速度（距離と時間）またはその他の情報）に変換し、最後に、移動、回転、ズームの動作の中の１つ又は任意な組み合わせを表すための対話コマンドを取得できる。

他の実施形態において、ジェスチャーセンサー１０５は、光線遮断の原理でジェスチャーを検知することができる。詳しくは、光源で検知用光線を射出して、手１２がその光線が形成した範囲に入ると、光センサーで光線が手に形成した部分を検出して、その中からキーパーツが反射した光線の強度（変化しているパーツを検知する）及び光線が反射される時間差（変化深さを検知する）を取得する。同様にそれらの光線情報を連続で取得することによって、ジェスチャーによる三次元座標の変化量を得てから、移動、回転、ズームの動作の中の１つ又は任意の組み合わせを表す対話コマンドを決定する。

さらに他の実施形態において、ジェスチャーセンサー１０５は、音波発生器及び受信器を備えて、音波の反射による情報を利用してジェスチャーを判断してもよい。詳しくは、手１２がジェスチャーセンサー１０５の検知範囲に位置する場合、音波を遮断するため、光線と同じように反射波が発生する。そのように、音波受信器は、音波の変化に基づいて、手１２のいくつかのキーパーツが空間内の変化量を検知できるようになり、さらにその変化量を三次元座標の変化量に変換することによって、移動、回転、ズームの動作の中の１つ又は任意の組み合わせを表す対話コマンドを決定することができる。

そのように、ジェスチャーを検知するため各種のジェスチャーセンサー１０５で実現される対話方法は、ジェスチャーによる手１２の指、手のひら及び指関節の三次元座標の変化量に基づいて、移動、回転、ズームの動作の中の１つ又は任意の組み合わせを表す対話コマンドを決定できる。その後、画像データベースに対応して記憶されている浮遊画像データを対応的に見つかり、浮遊画像１０３が各種のジェスチャーで操作された結果として、次の浮遊画像データを決定して、次の浮遊画像を表示するようになる。浮遊画像データは、静態的な浮遊画像であってもよいが、または連続的な浮遊動画であってもよい。静態的な浮遊画像であってもよいが、または連続的な浮遊動画のある位置にジェスチャーが検出されると、座標の変換及び三次元画像アルゴリズム等の処理プロセスでは高速な計算ができ、ジェスチャーにリアルタイムで反応してリアルタイムの対話な効果が得られる。

図２は、浮遊画像表示装置の回路の実施形態を示す模式図である。

図２に示された浮遊画像表示装置２０は、ジェスチャーセンサー２２に接続されており、実施形態によっては、両方が別々の内蔵モジュールとして、同じ装置に統合されてもよいが、或いは、浮遊画像表示装置２０とジェスチャーセンサー２２は、互いに通信接続される、各々に独立した装置であってもよい。

浮遊画像表示装置２０において、映像処理及び上記説明した対話方法を実行するための画像プロセッサー２０３が配置される。画像プロセッサー２０３は、例えば、入力インターフェース２０１等の他の回路モジュールに接続され、浮遊画像表示装置２０は、入力インターフェース２０１を介してジェスチャーセンサー２２から検知されたジェスチャーに係る情報を受信するようになる。入力インターフェース２０１は通信インターフェースである。実施形態に応じて、入力インターフェース２０１を介して受信する情報は、ジェスチャーセンサー２２が検出したジェスチャーで形成した三次元座標の変化量であってもよい。その三次元座標の変化量に基づいて、画像プロセッサー２０３は、対話コマンドを決めて、さらに対話コマンドに基づいて、新たな浮遊画像の画像座標情報を算出することができる。

画像プロセッサー２０３において、ジェスチャーセンサー２２が取得したジェスチャーに対応する三次元座標の変化量を取得した後、回転、移動、ズーム等対話コマンドを算出できる。それらの対話コマンドに基づいて、記憶ユニット２０６における画像データベースをチェックすることによって、対応的に変化下浮遊画像データを得ることができるが、または、画像プロセッサー２０３が対話コマンドに基づいて、リアタイムで新たな浮遊画像データを算出してもよい。かつ、新たな浮遊画像データは、静態的な浮遊画像または連続的な画像で形成された立体動画のいずれであってもよい。なかでも、浮遊画像データは、浮遊画像表示装置２０で表示した浮遊画像のカラー情報及び三次元空間情報を述べるために用いられる。画像プロセッサー２０３は、表示駆動ユニット２０４に電気的に接続され、浮遊画像データに基づいて、浮遊画像を表示ユニット２０５に介して表示することができる。

浮遊画像表示装置２０は、有線又は無線の方式でジェスチャーセンサー２２におけるインターフェイスユニット２２３に接続される。インターフェイスユニット２２３は、メッセージを送受信するための通信インターフェースである。ジェスチャーセンサー２２に、光線、音波、または映像を利用したジェスチャーセンシング技術を実現するセンサーユニット２２１が設けられる。ジェスチャーとは、人間の手におけるいくつかのキーパーツが姿勢を変化する場合、それらのキーパーツ（例えば、指、手のひら、指関節）の位置の変化により検出した特定の姿勢という。

制御ユニット２２２は、ジェスチャーセンサー２２における制御回路であり、インターフェイスユニット２２３を介して浮遊画像表示装置２０に接続される。制御ユニット２２２は、センサーユニット２２１が得られた検知メッセージに基づいて、ジェスチャーによる三次元座標の変化量を取得できる。

ところで、ジェスチャーセンサー２２が検出したジェスチャーによる三次元座標の変化量は、ジェスチャーセンサー２２の座標系を基づいた座標情報であり、その後、三次元座標の変化量が浮遊画像表示装置２０に提供される時、座標の変換は行わなければならない。そのように、対話コマンドを、ジェスチャーセンサー２２の座標系での座標情報から、浮遊画像表示装置２０の座標系に変換しないと、表示すべき浮遊画像の画像座標情報に対応することができない。

なかでも、浮遊画像表示装置２０で表示する浮遊画像は、何れも既に記憶されておくものであるため、ジェスチャーが座標変換された後の同じ座標系であれば、浮遊画像とジェスチャーとの関連性を対応的に知ることができる。その関連性は、ジェスチャーで形成した三次元座標と、表示最中の浮遊画像との関係を表している。例えば、移動ジェスチャーは、浮遊画像をある方向に移動させるとされているため、浮遊画像の三次元座標は当該移動方向のある変化量を加えて、新たな位置に、新たな浮遊画像を表示するようになる。画像プロセッサー２０３において、新たな浮遊画像データをリアルタイムに照会またはリアルタイムに計算して表示駆動ユニット２０４に提供して表示画像を形成するようになる。回転ジェスチャーは、浮遊画像を一方向に向かって回転させるとされているため、元の浮遊画像の三次元座標に回転の変化量を加えて、新たな浮遊画像データを形成することによって、新たな浮遊画像データを表示する。同じように、ズームジェスチャーであれば、浮遊画像の大きさを同じ参考点の位置に対する三次元座標を参照して変化させる。画像プロセッサー２０３は、画像データベースを調べるか又はリアルタイムで計算することによって、新たな浮遊画像データを生成して、表示駆動ユニット２０４に表示するために提供する。

対話コマンドを形成するために、上記移動、回転、ズーム等のジェスチャーを任意に組み合わせることができる。対話コマンドを形成してから、それを画像プロセッサー２０３で計算して新たな浮遊画像データを生成するようになる。浮遊画像データは、浮遊画像表示装置２０が直接に浮遊画像を表示するためのデータである。

本考案が提出した浮遊画像表示装置を利用して実行される対話方法についてさらに他の実施形態において、浮遊画像表示装置２０にコンピュータ接続ユニット２０２が設けられる。コンピュータ接続ユニット２０２は、表示装置における画像プロセッサー２０３に電気的に接続される。コンピュータ接続ユニット２０２によって、浮遊画像表示装置２０は、所定の通信インターフェースに介して無線（例えば、ＷｉＦｉ（登録商標）、ブルートゥース（登録商標））又は有線（ＵＳＢ、ＲＳ２３２等の業界標準のインターフェース）手段でコンピュータ装置２５に接続する。コンピュータ装置２５にコンピュータシステムが執行されており、浮遊画像表示装置２０と送受信するためのドライバープログラムが実行されている。それにより、ジェスチャーで浮遊画像表示装置２０を操作して生成した対話コマンドは、コンピュータシステムに送信され、コンピュータシステムが対話コマンドに基づいて、コンピュータシステムにおけるプロセスに介して計算して新たな浮遊画像データを生成してから、浮遊画像表示装置２０に新たな浮遊画像データを新たな浮遊画像を表示するために送信する。

特定の実施形態では、コンピュータシステムで執行されるドライバープログラムは、コンピュータシステムと浮遊画像表示装置２０との通信インターフェースを構築するように、コンピュータシステムと浮遊画像表示装置２０との間に交換させるメッセージをインタプリタ及びコンパイルする。さらに、ドライバープログラムは、コンピュータシステムが対話コマンドに基づいて生成したメッセージを基にして、外部システム（例えば、画像サーバー）にリクエストを発信して、そのように、浮遊画像表示装置２０に提供するための画像データまたは新たな画像データをダウンロードする許可を取得する。画像データとしては、例えば、上記浮遊画像リソースファイルが挙げられる。リソースファイルに、浮遊画像に係るカラー情報及び三次元空間情報が記憶されている。表示装置における画像プロセッサー２０３は、リソースファイルに基づいて、表示パネルからある高さを離れた浮遊画像を算出できる。

図３は、浮遊画像表示装置がコンピュータシステムを介して外部システムに接続する実施形態を示す模式図である。この実施形態において、浮遊画像表示装置１０は、コンピュータシステム３５によりネットワーク３０を介して画像サーバー３０１に接続する。上記浮遊画像データは、画像サーバー３０１が提供するものであってもよい。画像サーバー３０１に画像データベース３０３が設けられ、各種の対話コマンドが対応する浮遊画像データが記憶されている。

実際の運用方法では、使用者が浮遊画像で対話を行う時、まず、現時点に浮遊画像表示装置１０に記憶されたデータに、対話コマンドに対応する次の表示画像が含まれているか否かについて確認する。新たな（次の）表示画像が含まれている場合、浮遊画像表示装置１０は自力で計算して浮遊画像データを生成して表示してもよい。一方、対話による新たな（次の）表示画像が含まれていない場合、対話コマンドがコンピュータシステム３５に送信される次第、即刻にネットワーク３０を介して画像サーバー３０１に新たな（次の）浮遊画像リソースファイルをダウンロードするリクエストを送信し得、すると、新たな浮遊画像データをダウンロードできるようになり、さらに、ダウンロードされた新たな浮遊画像データをコンピュータシステム３５に介して浮遊画像表示装置１０に送信し、次の対話による浮遊画像を表示するようになる。

図１を参照されたい。使用者が手１２により浮遊画像表示装置１０において、浮遊画像と交流している時、それにより生成したジェスチャーは、三次元座標の変化量を形成して、それに基づいて、対話コマンドが得られる。この時、特定された通信インターフェースを介して、対話コマンドをコンピュータシステム３５に送信し、コンピュータシステム３５で実行されるソフトウェアプログラムは、対話コマンドに基づいて、所定のプロセスを実行して、さらに、ネットワーク３０を介して対話コマンドを画像サーバー３０１に送信し、画像サーバー３０１が対話コマンドに基づいて、新たな浮遊画像データを提供するようにしてもよい。

さらに、図４を参照されたい。図４のフローチャートは、浮遊画像表示装置がコンピュータシステムと協働して対話方法を実行する実施形態を示している。

浮遊画像表示装置がコンピュータ装置に接続方法の１つとしては、モジュール化されてコンピュータ装置内に内蔵されてもよいが、或いは、または所定の通信手段を介してコンピュータ装置に外部接続してもよい。この実施形態のプロセスにおいて、浮遊画像表示装置が表示する浮遊画像は、主にコンピュータシステムで実行される所定のソフトウェアプログラムに基づいて、対話を行って生成した画像である。実施形態のプロセスは、初めに浮遊画像表示装置とコンピュータシステムとを通信接続してから、コンピュータシステムからデータ（ステップＳ４０１）を受信し得る。そのデータでは、浮遊画像に係るカラー情報及び三次元空間情報が含まれて、浮遊画像表示装置における画像プロセッサーはそのデータに基づいて、画像データを導出する（ステップＳ４０３）。さらに画像データを浮遊画像データ（ステップＳ４０５）として変換させる。

さらに、ステップＳ４０７に示すように、浮遊画像表示装置に浮遊画像を表示すると共に、使用者が浮遊画像表示装置で操作を行うことができるようにする。例えば、ステップＳ４０９では、浮遊画像表示装置におけるジェスチャーセンサーは、ジェスチャーを検知する。ステップＳ４１１では、ジェスチャーに対応する座標の変化を取得する。ステップＳ４１３では、ジェスチャーに対応する座標の変化を浮遊画像表示装置の画像プロセッサーで計算され、三次元座標の変化量を形成する。三次元座標の変化量は、特定された部分が特定された方向に移動、回転及び／又はズームすることにより生じた三次元座標の変化量という。三次元座標の変化量によって、対話コマンドが決定される。

また、ステップＳ４１５では、対話コマンドをコンピュータシステムの通信インターフェースを介してコンピュータシステムに送信する。ステップＳ４１７では、コンピュータシステムにおいて実行されるソフトウェアプログラムによって、対話コマンドに基づいて、対応的なプロセスを行う。なかでも、当該プロセスは、コンピュータシステムが、例えば、ソフトウェアプログラムにおける現画像の次の動作に係る画像など、新たな画像を表示するようにコンピュータシステムを駆動する。この時、例えば、ステップＳ４１９では、コンピュータシステムは、ソフトウェアプログラムによって、当該対話コマンドに応じて生じた動作（三次元座標の変化量に対応した動作）を浮遊画像表示装置に送信するための画像データまたは新たな画像データに変換する。また、ソフトウェアプログラムによって、浮遊画像表示装置から受信したジェスチャーを対話コマンドに形成した後、対話コマンドに基づいて、対応的なプロセスを実行した後、使用者がコンピュータシステムにおけるソフトウェアプログラムを操作して、新たなコメントを生成し、そして、オペレーティングプログラムは、ソフトウェアプログラムに新しく生成したコメントを浮遊画像表示装置に提供するための新たな画像データに変換するようにしてもよい。

ステップＳ４２１において、コンピュータシステムは、このジェスチャーで形成された対話コマンドに対応する新たな画像データ、即ち、新しい色彩及び三次元座標情報を、浮遊画像表示装置に送信する。ステップＳ４２３において、浮遊画像表示装置は新しい色彩及び三次元座標情報に基づいて、新たな浮遊画像データを導出してから、新たな浮遊画像を表示する。

図５は、ジェスチャーセンサーがジェスチャーに基づいて対話コマンドを生成することによって、対話方法を実行する実施形態の流れを示す別のフローチャートである。

この実施形態において、まずはステップＳ５０１に示すように、使用者が浮遊画像表示装置で浮遊画像を見ると共に、ジェスチャーでその画像を操作し得る。表示装置は、ジェスチャーセンサーによって、使用者が浮遊画像表示装置で表示された浮遊画像でしたジェスチャーを検知する。この場合、例えば、ステップＳ５０３のように、ジェスチャーセンサーによって、キーパーツ（例えば、指、指関節、手のひら等）に係る三次元座標に変化を取得できる。ステップＳ５０５では、三次元座標の変化量は、ジェスチャーセンサーが所定の期間においてジェスチャーを検知して形成したものであり、ニーズによって、ジェスチャーセンサーが付けた座標系の座標情報を、浮遊画像表示装置で使用される座標系に変換してもよい。同じ座標系にすることによって、画像プロセッサーは、ジェスチャーで形成した対話コマンドと浮遊画像との関連性を導出できる。

ステップＳ５０７において、ジェスチャーから１つ又は複数のキーパーツによる三次元座標の変化量を判断し、それに基づいて対話コマンドを決定する。特定の実施形態において、その対話コマンドをコンピュータシステムに送信し、元の表示浮遊画像の画像座標情報と比較して、新たな浮遊画像の画像座標情報（ステップＳ５０９）を算出する。なかでも、特定の実施形態においては、浮遊画像表示装置において、ジェスチャーに基づいて対話コマンドを決定すると、表示装置における画像プロセッサーはその対話コマンドに基づいて記憶ユニットにおける画像データをチェックする。当該ジェスチャーと対応する画像データが存在する場合、三次元座標の変化量に対応する浮遊画像データを取得できる。或いは、画像プロセッサーが対話コマンドに基づいて三次元座標の変化量に対応する浮遊画像データを即刻に算出してもよい。

特定の実施形態において、コンピュータシステムで実行されるドライバープログラムは、コンピュータシステムが当該対話コマンドに応じて生成したメッセージに基づいて、画
像サーバーに保存した画像データベースをチェックするように画像サーバーにリクエストを発信してもよい。その後、対応的な画像データがあったと確認した場合、対応的な画像データをダウンロードすることによって、浮遊画像表示装置は、コンピュータシステムから、浮遊画像を各種ジェスチャーで操作された後表示すべき次の浮遊画像データを得ることができる（ステップＳ５１１）。そして、その次の浮遊画像データにより、新たな浮遊画像を表示する（ステップＳ５１３）。

続いて、図６は、浮遊画像表示装置が対話方法を執行する実施形態フローチャートである。このフローチャートは、ジェスチャーセンサー６１、浮遊画像表示装置６２、コンピュータシステム６３及びアプリケーションサーバ６４の間の対話プロセスを示している。

当該対話プロセスの実施形態によって、対話方法を適用されるコンピュータ装置は、浮遊画像表示装置６２に接続される。使用者がコンピュータシステム６３におけるアプリケーションプログラムを操作して、ソフトウェアプログラムを起動すると、そのソフトウェアプログラムは、アプリケーションサーバ６４から例えば、Ｗｅｂコンテンツ等のコンテンツを読み込む（ステップＳ６０１）。この時、コンピュータシステム６３にコンピュータ画像が表示される（ステップＳ６０３）。浮遊画像を表示するために、まず浮遊画像に係る関連情報を含むコマンドデータを生成して、そのコマンドデータを所定の通信インターフェースに介して浮遊画像表示装置６２に送信する（ステップＳ６０５）。浮遊画像表示装置６２における画像プロセッサーは、浮遊画像に係るカラー情報及び三次元空間情報に基づいて、浮遊画像データを算出する（ステップＳ６０７）。浮遊画像データは、表示パネルに浮遊画像を表示するために用いられる。

そのように、使用者は、浮遊画像表示装置６２に表示された浮遊画像を見ることができる。そして、ジェスチャーを介して浮遊画像を操作できる。浮遊画像表示装置６２は、ジェスチャーセンサー６１によって、ジェスチャーを検知する（ステップＳ６０９）。そして、得られたジェスチャーによる移動、回転、ズーム等の動作が計算され三次元座標の変化量に変換した。三次元座標の変化量によっては、対応的な対話コマンドが生成される（ステップＳ６１１）。

その後、浮遊画像表示装置６２から対話コマンドがコンピュータシステム６３に送信される（ステップＳ６１３）。そして、コンピュータシステム６３に執行されるソフトウェアプログラムは、対話コマンドに基づいて、例えば、対話によるコンピュータ画像を表示する対応的なプロセスを実行できる（ステップＳ６１５）。この場合、コンピュータシステム６３が対話コマンドを処理する間に、アプリケーションサーバ６４から更なるコンテンツを取得する工程が実行されてもよい。また、同時に三次元座標の変化量に対応する新たな画像データを得って、その更なるコンテンツ又は三次元座標の変化量に対応する新たな画像データをコマンドパケットとして形成して、浮遊画像表示装置６２に送信する工程が実行されてもよい（ステップＳ６１７）。

浮遊画像表示装置６２では、受信したコマンドパケットから画像データを取得して、その画像データを計算して浮遊画像を表示するためのデータに変換してから、表示パネルに今回の対話により形成した浮遊画像が表示される（ステップＳ６１９）。そして、浮遊画像表示装置６２は、次のジェスチャーを検知するようになる（ステップＳ６２１）。

異なる実施形態において、前記浮遊画像表示装置とコンピュータ装置と協働する方法は、様々な変化ができる。例えば、浮遊画像表示装置をモジュール化してコンピュータシステムの構造に内蔵してもよい。また、ジェスチャーセンサーは、自身のセンサー技術によって、ジェスチャーが検知できる位置に配置さればよい。

特定の実施形態では、例えば、図７を参照されたい。図７は、コンピュータ装置に浮遊画像表示装置が配置された実施形態を示す模式図である。

図７では、例えば、ラップトップ等のコンピュータ装置７０が示されて、そのキーボードの部分に、モジュール化された浮遊画像表示装置が配置される。即ち、図７では、コンピュータ装置７０に内蔵した浮遊画像表示モジュール７２が示されている。その詳細な構造又は回路は、図１及び図２に示した実施形態を参考できる。

浮遊画像表示モジュール７２における処理回路は、コンピュータシステムが提供した画像データを変換することによって浮遊画像７２１を表示できる。コンピュータ装置７０における所定の位置にジェスチャーセンサー７４が配置される。ジェスチャーセンサー７４は、浮遊画像表示モジュール７２と電気的に接続されており、映像検知手段、光線遮断手段または音波反射手段等の検知技術で、使用者のジェスチャーを取得する。得られたジェスチャーは、使用者の指、手のひら及び指関節の三次元座標に変化、或いは、他のオブジェクトまたは人体部分が浮遊画像で行った対話である。精確に言えば、ジェスチャーセンサー７４で使用される技術は、３次元空間タッチ技術を実現している。空間センサーは、例えば、２次元カメラ（２Ｄ Ｃａｍｅｒａ）、深度カメラ（Ｄｅｐｔｈ Ｃａｍｅｒａ）、グレーティングセンサ等の光学センサーであるか、またはレーダ（Ｒａｄａｒ）、超音波（Ｕｌｔｒａｓｏｎｉｃ）等の音波センサーを基に、フローティングタッチ（Ｈｏｖｅｒｉｎｇ ｔｏｕｃｈ）を実現したセンサーをいう。そのように、前記ジェスチャーセンサー技術によれば、使用者の手部（又は所定のオブジェクト、人体部分）の動作を継続的に追跡できる。また、ジェスチャーセンサー７４に、追跡計算、手部関節位置分析、座標の転換等の機能が含まれてもよい。そのように、ジェスチャーセンサー７４は、予めに設定したジェスチャーと対話コマンドとの対照表を用意して、所定の人体部分が浮遊画像の表示範囲内の移動、回転、またはズームの動作の１つ又は任意の組み合わせに基づいて、対話コマンドを決定することができる。

図８は、コンピュータ装置８０に浮遊画像表示モジュール８２が内蔵した実施形態を示
す模式図である。これは、構造を介して内蔵されモジュール化された浮遊画像表示装置の
実施形態である。浮遊画像表示モジュール８２によって、コンピュータ装置８０の所定の
位置に浮遊画像８２１が表示され、コンピュータ装置８０で実行されるソフトウェアプロ
グラムに応じて、対応的なコンピュータ画像８０１が表示される。

図９は、別の実施形態を示す模式図である。図９は、コンピュータ装置９０が外部のアプリケーションサーバからコンテンツを取得する例を示している。この実施形態において、外部のアプリケーションサーバとしては、Ｅコマースプラットフォームである。図９において、商品画像９０１に、商品名、価格など、又は使用者が選択をすることができる（コレクト、カートに入れる）等の選択肢が標示されている商品画像９０１が、コンピュータ装置９０に表示される。また、外部接続でコンピュータ装置９０と接続された浮遊画像表示装置９２には、同期に商品浮遊画像９２１が表示される。

この時、使用者は、浮遊画像表示装置９２に介して商品の浮遊画像９２１を見ることができる他、ジェスチャーで商品を見る角度を変更するように商品の三次元画像を操作できる。商品浮遊画像９２１が三次元画像であるため、ジェスチャーは、例えば、図９に記載された矢印の示すように、左右の水平回転、上下の垂直回転など、空間内の様々な方向への回転を含めることができる。なかでも、ジェスチャーを浮遊画像に変換するための方法では、上記の実施形態に説明しました。なお、浮遊画像表示装置９２の内部にその商品の立体画像を示すための全て画像データが予めに記憶されてもよいが、実際のニーズに応じて、コンピュータ装置９０または外部画像サーバーからその画像データを取り込むようにしてもよい。

例えば、浮遊画像表示装置９２に使用者が興味を持つ１つまたは複数のアイテムを表示する。使用者は単一または複数のジェスチャーの組み合わせで選択することができ、アイテムを前進、後退、左右水平移動、垂直上下移動などあらゆる方向に移動させることができ、また、アイテムを自由に回転させたり、ズームインして詳細を確認したり、ズームアウトして他のアイテムと一緒に確認したりと、あらゆる角度からアイテムを見ることができる。また、ジェスチャーを使って、前または次のアイテムのリストに移動し、或いは、購入を完了するためにある商品の立体画像を選択するなどができる。

図１０は、コンピュータ装置９０におけるコンピュータシステムが１つまたは複数のアプリケーションプログラムを実行すると、表示モニターにアプリケーション画像９０２が表示されることを示す模式図である。この時、外付けの浮遊画像表示装置９２に、１つ又は複数のアプリケーションプログラムのソフトウェア浮遊画像９２２が表示される。なかでも、メニュー表の形式で複数のアプリケーションプログラムのアイコン（ｉｃｏｎ）が表示されてもよい。使用者は、ジェスチャーでソフトウェア浮遊画像９２２を操作することによって、執行又は見るアプリケーションプログラムコンテンツを選択する。その場合、関連対話コマンドは、コンピュータシステムに送信され、対応的なアプリケーション画像９０２が表示される。

例えば、使用者が浮遊画像表示装置９２を利用して複数のアプリケーションプログラムのアイコンを見る時、浮遊画像表示装置９２に、１つまたは複数のフローティングアイコンを表示させるために、ソフトウェア浮遊画像９２２をフローティング操作できる。その上で、使用者は、１つ又は複数の組み合わせたジェスチャーで見たい浮遊画像をズームインしたりズームアウトしたりすることができる。

図１１は、コンピュータ装置９０にビデオ再生プログラムが実行されることを示している。それに対応的に表示されたのは、音声・動画再生画像９０３である。この実施形態において、外付けの浮遊画像表示装置９２に表示された浮遊画像は、使用者がそのビデオ再生機能を操作するための音楽再生ツールの浮遊画像９２３である。図１１は模式的に、一時停止、停止、再生、早送り、早戻しなど、いくつかのオーディオおよびビデオ再生機能のためのボタンが表示される。使用者は、浮遊画像表示装置９２に表示された音楽再生ツール浮遊画像９２３を利用して、オーディオおよびビデオコンテンツを一時停止、停止、再生、早送り、早戻すように操作できる。

例えば、使用者が浮遊画像表示装置９２に表示された音楽再生ツールの浮遊画像９２３を操作して、動画の再生を選択することによって、例えば、図１１に示した音声・動画再生画像９０３'等に構成した動画を再生できる。使用者は、浮遊画像表示装置９２を利用して、ジェスチャーで動画を回転して異なる角度から動画のコンテンツを見ることができるが。他のジェスチャーでの操作は、例えば、浮遊画像のズームイン、ズームアウト、動画のフローティング再生、動画の一時停止、前の動画の再生、次の動画の再生等が挙げられる。

図１２にコンピュータ装置１２０が示されている。コンピュータ装置１２０のある位置に浮遊画像表示モジュール１２２が内蔵されている。コンピュータシステムの作動によって、浮遊画像表示モジュール１２２にバーチャルアシスタントの浮遊画像１２３が表示されると共に、それと同時にコンピュータ装置１２０に、バーチャルアシスタントの浮遊画像１２３が操作された結果を示すためのコンピュータ画像１２１が表示されてもよい。

例えば、コンピュータシステムでは、浮遊画像表示モジュール１２２に、バーチャルアシスタントを実現するためのバーチャルアシスタントの浮遊画像１２３が表示される。使用者は、そのフローティングアシスタントと対話することができる。実例を挙げれば、バーチャルアシスタントの浮遊画像１２３の異なる部分を形式的に触ることによって、浮遊画像１２３に異なる反応をトリガーしてもよい。例えば、浮遊画像の頭に触るとバーチャルアシスタントが挨拶をするようになり、浮遊画像の脚に触るとバーチャルアシスタントが転んでなるという対話効果が果たせる。

上記を踏まえて、本考案は、浮遊画像表示技術の応用を開示する。特に、システムとなるように、コンピュータシステムに接続して対話方法を実行する浮遊画像表示装置が開示される。浮遊画像表示装置が生成した浮遊画像は、複数の光束が投射するように形成したリアルイメージであり、非遠近両用視差による立体視効果ではないため、当該表示装置を利用して生成した対話効果、及びコンピュータシステムとの対話プロセスは、従来の技術に対して斬新な発想であることも明らかである。

以上に開示された内容は本考案の好ましい実施形態に過ぎず、これにより本考案の実用新案登録請求の範囲を制限するものではない。そのため、本考案の明細書及び添付図面の内容に基づき為された等価の技術変形は、全て本考案の実用新案登録請求の範囲に含まれるものとする。

１２：手
１０：浮遊画像表示装置
１０１：光学ユニット
１０２：表示パネル
１０３：浮遊画像
１０５：ジェスチャーセンサー
２０：浮遊画像表示装置
２０１：入力インターフェース
２０３：画像プロセッサー
２０４：表示駆動ユニット
２０５：表示ユニット
２０６：記憶ユニット
２２：ジェスチャーセンサー
２２１：センサーユニット
２２２：制御ユニット
２２３：インターフェイスユニット
２０２：コンピュータ接続ユニット
２５：コンピュータシステム
３０：ネットワーク
３０１：画像サーバー
３０３：画像データベース
３５：コンピュータシステム
６１：ジェスチャーセンサー
６２：浮遊画像表示装置
６３：コンピュータシステム
６４：アプリケーションサーバ
７０：コンピュータ装置
７２：浮遊画像表示モジュール
７２１：浮遊画像
７４：ジェスチャーセンサー
８０：コンピュータ装置
８０１：コンピュータ画像
８２：浮遊画像表示モジュール
８２１：浮遊画像
９０：コンピュータ装置
９０１：商品画像
９２：浮遊画像表示装置
９２１：商品浮遊画像
９０２：アプリケーション画像
９２２：ソフトウェア浮遊画像
９０３， ９０３'：音声・動画再生画像
９２３：音楽再生ツール浮遊画像
１２０：コンピュータ装置
１２１：コンピュータ画像
１２２：浮遊画像表示モジュール
１２３：バーチャルアシスタント浮遊画像
ステップＳ４０１～Ｓ４２３
ステップＳ５０１～Ｓ５１３
ステップＳ６０１～Ｓ６２１

Claims (9)

1. 浮遊画像の画像データを形成する画像プロセッサーと、
   映像検知手段または音波反射手段を利用したジェスチャーセンサーによりジェスチャーを検知して、前記ジェスチャーセンサーの座標系でのジェスチャーによるメッセージを生成するジェスチャーセンサーと、前記画像プロセッサーとに電気的に接続される、入力インターフェースと、
   前記画像プロセッサーに電気的に接続され、前記浮遊画像の画像データに基づいて、前記浮遊画像を取得し、表示ユニットに前記浮遊画像を表示する表示駆動ユニットと、
   前記画像プロセッサーに電気的に接続されると共に、通信インターフェースに介して、コンピュータシステムを実行するコンピュータ装置に接続される、コンピュータ接続ユニットと、
   を備える、浮遊画像表示装置であって、
   前記浮遊画像表示装置は、前記コンピュータシステムから画像データを受信し、画像データを浮遊画像データに変換し、前記浮遊画像データは前記表示駆動ユニットによって前記浮遊画像に変換し、前記表示ユニットに前記浮遊画像が表示され、
   前記浮遊画像表示装置は、前記ジェスチャーセンサーから前記ジェスチャーによるメッセージを受信し、前記ジェスチャーセンサーの座標系での前記ジェスチャーによるメッセージを三次元座標の変化量に変換して、
   前記三次元座標の変化量で対話コマンドを決定し、
   前記浮遊画像表示装置は、前記コンピュータ接続ユニットに介して、前記対話コマンドを前記コンピュータシステムに送信し、前記対話コマンドに基づいて前記ジェスチャーセンサーの座標系での前記三次元座標の変化量を前記浮遊画像表示装置の座標系での三次元座標の変化量に変換した後、前記対話コマンドに応じて、前記浮遊画像表示装置の座標系での三次元座標の変化量に対応する新たな画像データを生成させ、
   前記浮遊画像表示装置は、前記コンピュータシステムから前記新たな画像データを取得し、前記新たな画像データを新たな浮遊画像データに変換し、前記新たな浮遊画像データがさらに新たな浮遊画像に変換され、前記表示ユニットに表示されることを特徴とする浮遊画像表示装置。
2. 前記浮遊画像表示装置はモジュール化された後、前記コンピュータシステムの構造に内蔵され、
   前記ジェスチャーセンサーは、前記コンピュータシステムにおいて、前記ジェスチャーを検知できる位置に配置される、請求項１に記載の浮遊画像表示装置。
3. 前記ジェスチャーセンサーの座標系での前記三次元座標の変化量は、前記ジェスチャーセンサーが前記映像検知手段、または前記音波反射手段で、手の指、手のひら及び指関節の位置に対応する前記ジェスチャーを検知して変換したものであり、前記対話コマンドは、移動、回転、ズームの動作の中の１つ又は任意の組み合わせを示すものである、請求項２に記載の浮遊画像表示装置。
4. 前記画像プロセッサーは、前記対話コマンドに基づいて記憶ユニットに記憶される画像データをチェックすることによって、前記浮遊画像表示装置の座標系での前記三次元座標の変化量に対応する浮遊画像データを取得するか、または、前記対話コマンドに基づいて即刻に前記浮遊画像表示装置の座標系での前記三次元座標の変化量に対応する浮遊画像データを算出する、請求項１に記載の浮遊画像表示装置。
5. 浮遊画像表示装置及びコンピュータシステムを含む、浮遊画像表示システムであって、 前記浮遊画像表示装置は、
   浮遊画像の画像データを形成する画像プロセッサーと、
   映像検知手段または音波反射手段を利用したジェスチャーセンサーによりジェスチャーを検知して、前記ジェスチャーセンサーの座標系でのジェスチャーによるメッセージを生成するジェスチャーセンサーと、前記画像プロセッサーとに電気的に接続される、入力インターフェースと、
   前記画像プロセッサーに電気的に接続され、前記浮遊画像の画像データに基づいて、前記浮遊画像を取得し、表示ユニットに前記浮遊画像を表示する表示駆動ユニットと、
   前記画像プロセッサーに電気的に接続されると共に、通信インターフェースに介して、コンピュータシステムを実行するコンピュータ装置に接続される、コンピュータ接続ユニットと、
   を備え、
   前記コンピュータシステムでドライバープログラムが実行され、前記ドライバープログラムは、前記コンピュータシステムと前記浮遊画像表示装置との間の通信インターフェースを構築し、前記コンピュータシステムと前記浮遊画像表示装置との間に送受信されるメッセージをンタプリタ又はコンパイルするために機能され、
   前記浮遊画像表示装置は、前記コンピュータシステムから画像データを受信し、画像データを前記浮遊画像データに変換し、前記浮遊画像データは前記表示駆動ユニットによって前記浮遊画像に変換し、前記表示ユニットに前記浮遊画像が表示され、
   前記浮遊画像表示装置は、前記ジェスチャーセンサーから前記ジェスチャーによるメッセージを受信し、前記ジェスチャーセンサーの座標系での前記ジェスチャーによるメッセージを三次元座標の変化量に変換して、前記三次元座標の変化量で対話コマンドを決定し、
   前記浮遊画像表示装置は、前記コンピュータ接続ユニットに介して、前記対話コマンドを前記コンピュータシステムに送信し、前記対話コマンドに基づいて前記ジェスチャーセンサーの座標系での前記三次元座標の変化量を前記浮遊画像表示装置の座標系での三次元座標の変化量に変換した後、前記対話コマンドに応じて、前記浮遊画像表示装置の座標系での三次元座標の変化量に対応する新たな画像データを生成させ、
   前記浮遊画像表示装置は、前記コンピュータシステムから前記新たな画像データを取得し、前記新たな画像データを新たな浮遊画像データに変換し得て、前記新たな浮遊画像データが新たな浮遊画像に変換された後、前記表示ユニットに前記新たな浮遊画像が表示される、
   ことを特徴とする浮遊画像表示システム。
6. 前記コンピュータシステムでソフトウェアプログラムが実行され、
   前記ソフトウェアプログラムは、前記対話コマンドに応じて対応的なプロセスを実行することによって、前記コンピュータシステムで実行される前記ドライバープログラムが前記浮遊画像表示装置の座標系での前記三次元座標の変化量に応じて前記新たな画像データを生成する、請求項５に記載の浮遊画像表示システム。
7. 前記コンピュータシステムが前記ジェスチャーによる前記対話コマンドを受信すると、前記ソフトウェアプログラムが前記対話コマンドに応じて対応的なプロセスを実行し、新しいコマンドパケットを生成し、
   前記コンピュータシステムは、新しい前記コマンドパケットを、前記浮遊画像表示装置に提供するための前記新たな画像データに変換する、請求項６に記載の浮遊画像表示シス
   テム。
8. 前記ジェスチャーは、手部の指、手のひら、及び指関節の位置に対応する三次元座標の変化量であり、
   前記対話コマンドは、移動、回転、ズーム動作の中の１つ又は任意の組み合わせを示すものであり、
   前記対話コマンドに応じて、前記ソフトウェアプログラムが前記対応的なプロセス行う、請求項５に記載の浮遊画像表示システム。
9. 前記ドライバープログラムは、前記コンピュータシステムが前記対話コマンドに応じて生成したメッセージを基づいて、前記浮遊画像表示装置に提供するための前記画像データまたは前記新たな画像データをダウンロードするリクエストを、画像サーバーに発信し、前記浮遊画像表示装置に提供するための前記画像データまたは前記新たな画像データは、前記浮遊画像のカラー情報及び三次元空間情報が含まれる、請求項５～８の何れか１項に記載の浮遊画像表示システム。

Images