JP7416391B2 - ポインティング装置 - Google Patents

Description

本発明は、ユーザが操作体を用いて対象領域内にポインティングを行うためのポインティング装置に関する。

従来より、プロジェクタの投影画像等に対して離れた場所からポインティングを行うために、レーザーポインタが用いられている。さらに、特許文献１および非特許文献１～３には、レーザーポインタに代わるポインティング技術が開示されている。

特許文献１には、ユーザの指をポインティングデバイスとして撮影し、撮影した画像に基づいてプロジェクタの投影画像における指示位置を特定し、特定された指示位置にアイコンを表示する技術が開示されている。さらに、特許文献１には、複数のユーザの指示位置の対応関係をわかりやすく提示する技術も開示されている。

非特許文献１は、任意の空間に自由に手書きで文字や絵を書き込むことのできる装置に関する従来技術である。非特許文献１では、空中に手書きで書き込むために、ユーザの立ち位置やペンの空間座標を取り込むための位置センサ、ペンの動きや顔の向きを検出する加速度センサ、ユーザごとのペンの動きを記録し複数のユーザに配信するためのサーバと無線ＬＡＮ、サーバからの情報を視覚化する小型ＰＣ、および、書き込まれた情報を見るためのＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を用いている。

同様に、非特許文献２は、任意の空間に自由に手書きで文字や絵を書き込むことのできる装置に関する従来技術である。非特許文献２では、仮想空間に指によって描かれた軌跡を手書き情報として共有するために、スマートグラスを用いている。

非特許文献３は、インタラクティブな３Ｄディスプレイで、ペンで示した空間中に３次元的なスケッチを描いたり、商品や展示物などの現実物体の上に立体映像を重ねたり、展示台の上に立体映像を投影して展示台を動かした時に３Ｄ映像も動くように実物体を介したインタラクションを行う、といった現実空間と情報空間とが３次元的に融合したインタラクティブ体験を提供する従来技術である。非特許文献３では、３Ｄ表示について、モーションキャプチャセンサ、液晶ディスプレイ、フレネルレンズ、およびアクティブシャッターを用いて両眼視差により実現している。

特開２０１７－６８４６８号公報

山本吉紳、椎尾一郎、「空気ペン―空間への描画による情報共有－」、情報処理学会第59回全国大会講演論文集 第４分冊、pp.39-40、1999年 長田剛典、佐々木雅茂、島田秀輝、佐藤健哉、「スマートグラスを用いた仮想空間への手書き情報共有システム」、情報処理学会第77回全国大会講演論文集、第１分冊、pp.205-206、2015年 Y. Ueda、H. Nii、K. Minamizawa、S. Tachi、「HaptoMIRAGE: An Active-Shuttered Real Imaged Auto-Stereoscopic Display」、Proceedings of International Display Workshops、vol.22、pp.796-799、2015年

しかしながら、特許文献１の従来技術では、アイコンがプロジェクタによって表示されるため、平坦ではない３次元的な物体の表面に対しては、アイコンの焦点を合わすことができないという問題がある。また、非特許文献１および２の従来技術では、ＨＭＤやスマートグラスといった専用の装置が必要になるという問題がある。また、非特許文献３の従来技術では、システムが大規模となる、３Ｄ表示できる空間の大きさがＬＣＤパネルの大きさに依存している、ポインティングデバイスに専用のペンが必要となる、といった問題があり、両眼視差を用いていることによる視覚疲労も懸念される。

本発明は、上記問題を解決するためになされたものであって、専用のデバイスを用いることなく、容易にポインティング操作を行うことができるポインティング装置を提供することを課題とする。

本発明者らは、鋭意研究を重ねた結果、計算機合成ホログラム（ＣＧＨ）による立体像を指示位置に表示することにより、上記課題を解決できることを見出した。

本発明はかかる知見に基づいて完成したものであり、下記の態様を有する。
項１．
ユーザが操作体を用いて対象領域内にポインティングを行うためのポインティング装置であって、
前記操作体が前記対象領域内において指し示す位置である指示位置を特定する指示位置特定手段と、
前記指示位置特定手段によって特定された指示位置に、計算機合成ホログラムによる立体像を表示させる立体像表示手段と、
を備えた、ポインティング装置。
項２．
前記立体像表示手段は、前記指示位置が移動した場合に、移動前の指示位置における立体像の表示を継続させる、項１に記載のポインティング装置。
項３．
前記対象領域とは異なる場所に設けられた第２の対象領域における前記指示位置と対応する位置に、計算機合成ホログラムによる第２の立体像を表示させる第２の立体像表示手段をさらに備えた、項１または２に記載のポインティング装置。
項４．
前記第２の対象領域は、前記対象領域と合同または相似である、項３に記載のポインティング装置。
項５．
前記第２の立体像表示手段は、前記指示位置が移動した場合に、移動前の指示位置に対応する第２の立体像の表示を継続させる、項３または４に記載のポインティング装置。
項６．
前記立体像表示手段の代わりに、
前記指示位置特定手段によって特定された指示位置に、立体像ではないポインタを表示させるポインタ表示手段を備えた、項３～５のいずれかに記載のポインティング装置。
項７．
前記操作体の映像を取得する撮影手段をさらに備え、
前記指示位置特定手段は、前記操作体の映像に基づいて、前記指示位置を特定する、項１～６のいずれかに記載のポインティング装置。
項８．
前記撮影手段は、前記操作体の位置座標を測定可能な深度カメラであり、
前記指示位置特定手段は、前記操作体の映像および位置座標に基づいて、前記指示位置を特定する、項７に記載のポインティング装置。

本発明によれば、専用のデバイスを用いることなく、容易にポインティング操作を行うことができるポインティング装置を提供することができる。

本発明の一実施形態に係るポインティング装置の概略図である。 図１に示すポインティング装置のブロック図である。 空間光位相変調器に表示されるＣＧＨの一例である。 立体像の軌跡を描くためのポインティング操作の説明図である。 立体像の軌跡を描くためのポインティング操作の説明図である。 本発明の一適用例の説明図である。 本発明の他の適用例の説明図である。 本発明の変形例の説明図である。 本発明の変形例に係るポインティング装置のブロック図である。

以下、本発明の実施形態について添付図面を参照して説明する。なお、本発明は、下記の実施形態に限定されるものではない。

（装置構成）
図１は、本発明の一実施形態に係るポインティング装置１の概略図であり、図２は、ポインティング装置１のブロック図である。ポインティング装置１は、ユーザが操作体を用いて対象領域内にポインティングを行うためのシステムであり、本実施形態では、ホワイトボードＢを用いて講師が受講生（ユーザ）に対し講義を行う会場に設置されている。図１に示すように、ポインティング装置１は、２台の深度カメラ２ａ，２ｂと、情報処理装置３と、ホログラフィックプロジェクタ４とを備えている。深度カメラ２ａ，２ｂおよびホログラフィックプロジェクタ４は、有線または無線によって情報処理装置３に接続されている。

深度カメラ２ａは、操作体の映像を取得する撮影手段である。本実施形態において、操作体はユーザの指Ｆであるが、ペンやスティックなど、ホワイトボードＢの任意の位置を指し示すことができるものであれば特に限定されない。受講生が複数である場合、深度カメラ２ａは、受講生全員を撮影可能な位置に設置されることが好ましい。深度カメラ２ａは、被写体の位置座標を計測することが可能であり、深度カメラ２ａによって取得された映像および位置座標のデータは、情報処理装置３に送信される。

深度カメラ２ｂは、ホワイトボードＢを撮影可能な位置に設置されている。深度カメラ２ｂによって取得された映像および位置座標のデータは、情報処理装置３に送信される。

情報処理装置３は、操作体が対象領域内において指し示す位置である指示位置を特定する指示位置特定手段である。前記対象領域は、ユーザが指し示す対象となる領域であり、本実施形態では、ホワイトボードＢの表面である。

情報処理装置３は、例えば汎用のパーソナルコンピュータで構成することができる。図２に示すように、情報処理装置３は機能ブロックとして、受信部３１と、操作体／対象領域検出部３２と、指示位置算出部３３と、ＣＧＨ作成部３４とを備えている。これらの機能ブロックは、情報処理装置３のＣＰＵ（Central Processing Unit）および／またはＧＰＵ（Graphics Processing Unit）が所定のプログラムを実行することによりソフトウェア的に実現してもよいし、集積回路などによってハードウェア的に実現してもよい。

受信部３１は、深度カメラ２ａ，２ｂから映像および被写体の座標位置のデータを受信する。

操作体／対象領域検出部３２は、受信部３１が受信したデータに基づいて、操作体および対象領域の形状および位置座標を検出する。操作体の検出は、公知の画像認識手法により、指Ｆの形状を映像から検出することにより行われる。対象領域の検出は、公知の画像認識手法により、ホワイトボードＢの表面の形状および位置座標を検出することにより行われる。

指示位置算出部３３は、操作体／対象領域検出部３２によって検出された操作体および対象領域の形状および位置座標に基づき、操作体が対象領域内において指し示す位置である指示位置を算出する。本実施形態では、操作体である指Ｆの指し示す方向（人差し指の長手方向）とホワイトボードＢの表面との交点を指示位置として算出する。以上のようにして、情報処理装置３は、操作体が対象領域内において指し示す位置である指示位置を特定する。

なお、指Ｆの指し示す方向がホワイトボードＢの表面を通過しない場合、指示位置算出部３３は指示位置が無いと判定する。

ＣＧＨ作成部３４は、ホログラフィックプロジェクタ４が計算機合成ホログラム（ＣＧＨ）による立体像を表示させるためのホログラムデータ（ＣＧＨデータ）を作成する機能ブロックである。より詳細には、ＣＧＨ作成部３４は、指示位置算出部３３が算出した指示位置に基づき、ホワイトボードＢにおける当該指示位置に立体像を表示するためのＣＧＨデータを作成する。作成されたＣＧＨデータは、ホログラフィックプロジェクタ４に送信される。

ホログラフィックプロジェクタ４は、情報処理装置３によって特定された指示位置にＣＧＨによる立体像Ｓを表示させる立体像表示手段であり、少なくともホワイトボードＢの表面を含む領域に立体像Ｓを表示させることができる位置に設置されている。図２に示すように、ホログラフィックプロジェクタ４は、光源４１と、対物レンズ４２と、コリメータレンズ４３と、空間光位相変調器４４とを備えている。

光源４１は、立体像の再生に使用される光源であり、コヒーレント光もしくは部分的なコヒーレント光を参照光として発生する。光源４１としては、このような参照光を発生するものであれば特に限定されず、例えば、レーザ光源やＬＥＤ光源を用いることができる。また、光源４１の個数および光源４１が発生する参照光の色も、特に限定されない。例えば、３つの光源からＲ、Ｇ、Ｂの３色の参照光を発生させることにより、あらゆる色の立体像を再生することができる。

対物レンズ４２およびコリメータレンズ４３は、光源４１から出射された参照光を平行光にするために用いる光学素子である。なお、コリメータレンズ４３を通過した光は、必ずしも平行でなくてもよい。

空間光位相変調器４４は、前記参照光を回折させることによって立体像Ｓを再生させる素子である。ＣＧＨ作成部３４からのＣＧＨデータに基づき、空間光位相変調器４４にはＣＧＨが表示され、ＣＧＨが空間光位相変調器４４に入射した参照光を回折させることにより、空間光位相変調器４４の参照光の入射面と反対側の空間上に立体像Ｓが再生される。空間光位相変調器４４として、透過型または反射型の液晶ディスプレイ（ＬＣＤ）やデジタルマイクロミラーデバイス（ＤＭＤ）を用いることができる。

図３は、空間光位相変調器４４に表示されるＣＧＨ６の一例を示している。ＣＧＨ６の白い部分は、参照光が空間光位相変調器４４を透過する領域であり、ＣＧＨ６の黒い部分は、参照光が空間光位相変調器４４を透過しない領域である。ＣＧＨ６によって、参照光が回折することにより、図１および図２に示すような立体像Ｓが現実空間に再生される。

このようにして、ホログラフィックプロジェクタ４は、情報処理装置３によって特定された指示位置に、ＣＧＨによる立体像Ｓを表示させる。立体像Ｓの形状および大きさは、特に限定されないが、本実施形態では、直径が１ｃｍ程度の球形である。また、立体像Ｓの色および輝度も特に限定されないが、立体像Ｓが表示される位置の背景の色や明るさ等に応じて、適宜設定される。なお、ホログラフィックプロジェクタ４は、情報処理装置３の一部または全部の機能を兼ね備えていてもよい。

ポインティング装置１を以上のように構成することにより、図１に示すように、受講生がホワイトボードＢの所望の地点を指Ｆで指し示した場合、深度カメラ２ａ，２ｂが指ＦおよびホワイトボードＢの映像および位置座標を取得し、情報処理装置３が指示位置を特定する。そして、ホログラフィックプロジェクタ４が、情報処理装置３によって特定された指示位置に、ＣＧＨによる立体像Ｓを表示させる。これにより、受講生は、ホワイトボードＢ上の所望の位置を指し示すだけで、当該位置に点状の光を生成することができ、座席から移動することなく質問等を容易に行うことができる。

さらに、本実施形態では、ホログラフィックプロジェクタ４は、指示位置が移動した場合に、移動前の指示位置における立体像の表示を継続させることができる。具体的には、図２に示すＣＧＨ作成部３４は、指示位置算出部３３が算出する指示位置が変化するたびに、新たな指示位置に対応する現実空間の位置に立体像Ｓが追加的に表示されるようにＣＧＨデータを更新する。これにより、指示位置の軌跡が表示されるため、線分、図形、さらには、これらを組み合わせた絵をＣＧＨによって描くことができる。

例えば、図４に示すように、円周を描くように指Ｆを移動させた場合、これに伴い立体像Ｓも円周方向に移動する。このとき、立体像Ｓが移動するたびに、移動前の立体像Ｓの表示が継続するため、図５に示すように、立体像Ｓの円形の軌跡が示される。

このように、ポインティング装置１によって表示される立体像ＳはＣＧＨによる立体像であるため、非特許文献１および２の従来技術のように、ＨＭＤやスマートグラスのような専用の装置を用いることなく、立体像Ｓを多人数で共有することができる。また、非特許文献３の従来技術とは異なり、立体像を表示できる空間の大きさの制約もなく、ポインティングのための専用のペンも不要であり、両眼視差を用いることによる視覚疲労の懸念もない。

したがって、ユーザは、専用のデバイスを用いることなく、容易にポインティング操作を行うことができる。

（適用例）
ポインティング装置１は、立体像Ｓをポインタとして表示するため、ホワイトボードのような平面だけでなく、凹凸のある３次元的な立体面にも明瞭でぼけがなく、ピントの合った立体像Ｓを表示することができる。

例えば、図６に示すように、展示されている車を指Ｆで指し示すことにより、車の表面上に立体像Ｓを表示することができる。これにより、展示物の説明やディスカッションを容易にすることができる。

また、図７に示すように、カップの側面を指Ｆによって非接触でなぞることにより、カップの表面に立体像Ｓからなる絵を描くことができ、且つ、何度も描き直すことができる。これにより、カップのデザインの検討が容易になる。なお、立体像Ｓによる線分の描写を開始および終了する方法は特に限定されないが、例えば、指の動き、もしくは、手の動きによるジェスチャによって行うことができる。

（変形例）
上述の実施形態では、ユーザと立体像が表示される領域とが近接していたが、本変形例では、ユーザと立体像が表示される領域とが離れた場所に存在している形態について説明する。なお、本変形例において、上述の実施形態と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。

図８は、本変形例の説明図であり、図９は、本変形例に係るポインティング装置１’のブロック図である。

図８に示すように、講師と受講生（ユーザ）とは互いに離れた場所に存在している。受講生が閲覧するホワイトボードＢ、および、講師が閲覧するホワイトボードＢ’には、それぞれプロジェクタ５，５’によって、同一の画像（円、正方形および正三角形）が表示されている。

ホワイトボードＢ’の表面は、特許請求の範囲に記載の第２の対象領域に対応する。ホワイトボードＢ’の表面は、ホワイトボードＢの表面と合同または相似であってもよいし、形状および大きさが多少異なってもよい。

図９に示すように、ポインティング装置１’は、深度カメラ２ａ，２ｂと、情報処理装置３と、ホログラフィックプロジェクタ４と、情報処理装置３’と、ホログラフィックプロジェクタ４’とを備えている。情報処理装置３と情報処理装置３’とは、インターネットなどの通信ネットワークＮによって接続されており、情報処理装置３’とホログラフィックプロジェクタ４’とは、有線または無線によって接続されている。なお、図８においては、ポインティング装置１’の構成部材のうちホログラフィックプロジェクタ４，４’のみ示されている。

情報処理装置３’は、例えば汎用のパーソナルコンピュータで構成することができる。図９に示すように、情報処理装置３’は、機能ブロックとして、受信部３５と、ＣＧＨ作成部３６とを備えている。

受信部３５は、情報処理装置３の指示位置算出部３３が算出した指示位置のデータを受信する。

ＣＧＨ作成部３６は、ホログラフィックプロジェクタ４’がＣＧＨによる立体像を表示させるためのＣＧＨデータを作成する機能ブロックである。より詳細には、ＣＧＨ作成部３６は、情報処理装置３の指示位置算出部３３が算出した指示位置に基づき、ホワイトボードＢ’における当該指示位置と対応する位置に立体像を表示するためのＣＧＨデータを作成する。作成されたＣＧＨデータは、ホログラフィックプロジェクタ４’に送信される。なお、情報処理装置３でホワイトボードＢ’に表示するＣＧＨを作成し、作成されたＣＧＨを受信部３５へ転送してもかまわない。その場合は、ＣＧＨ作成部３６はＣＧＨデータの画像表示のみ行う。

ホログラフィックプロジェクタ４’は、ＣＧＨによる立体像（第２の立体像）Ｓ’を表示させる機器であり、特許請求の範囲に記載の第２の立体表示手段に対応する。ホログラフィックプロジェクタ４’は、少なくともホワイトボードＢ’の表面を含む領域に立体像Ｓ’を表示させることができる位置に設置されている。ホログラフィックプロジェクタ４’の具体的な構成は、ホログラフィックプロジェクタ４と同一であることができ、ホログラフィックプロジェクタ４と同様、指示位置が移動した場合に、移動前の指示位置における立体像の表示を継続させることができる。また、ホログラフィックプロジェクタ４’は、情報処理装置３’の機能の一部または全部を兼ね備えていてもよい。

ポインティング装置１’を上述のように構成することにより、図８に示すように、受講生がホワイトボードＢ上の正三角形の図形を囲うように指し示した場合、上述の実施形態と同様に、深度カメラ２ａ，２ｂおよび情報処理装置３によって指示位置が特定され、ホログラフィックプロジェクタ４によって、ホワイトボードＢ上における正三角形の周囲に立体像Ｓの軌跡が描かれる。同時に、指示位置のデータが情報処理装置３’にも転送され、ホログラフィックプロジェクタ４’によって、ホワイトボードＢ’上における同じ位置、すなわち、正三角形の周囲に立体像Ｓ’の軌跡が描かれる。

このように、ポインティング装置１’を遠隔講義システムに適用することにより、離れた場所で受講する受講生からの意志伝達をリアルタイムで容易に行うことができる。なお、本変形例は、図６および図７に示すような立体面に対するポインティング操作にも適用可能である。

（付記事項）
本発明は上記の実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、実施形態に開示された技術的手段を適宜組み合わせて得られる形態も本発明の技術的範囲に含まれる。

例えば、上記の実施形態では、深度カメラ２ａ，２ｂを用いて操作体および対象領域の映像および位置情報を取得し、これに基づいて指示位置を特定していたが、指示位置を特定する手法は特に限定されない。例えば、被写体の位置情報を検知しない通常のカメラを用いて操作体の映像を取得し、映像のみに基づいて指示位置を特定してもよい。また、対象領域の位置情報を情報処理装置３に設定しておけば、深度カメラ２ｂを省略することができる。さらには、カメラなどの撮像装置を用いずに、指示位置を特定してもよい。

また、図８に示す例では、ホワイトボードＢ’だけでなく、受講生が閲覧しているホワイトボードＢ上にも立体像Ｓが表示される構成であったが、例えば、特許文献１に記載の技術のように、ホワイトボードＢ上には立体像ではないポインタを表示する構成としてもよい。すなわち、ホログラフィックプロジェクタ４の代わりに、情報処理装置３によって特定された指示位置に、立体像ではないポインタを表示させるポインタ表示手段を設けた構成としてもよい。

１ ポインティング装置
１’ ポインティング装置
２ａ 深度カメラ（撮影手段）
２ｂ 深度カメラ
３ 情報処理装置（指示位置特定手段）
３１ 受信部
３２ 操作体／対象領域検出部
３３ 指示位置算出部
３４ ＣＧＨ作成部
３’ 情報処理装置
３５ 受信部
３６ ＣＧＨ作成部
４ ホログラフィックプロジェクタ（立体像表示手段）
４１ 光源
４２ 対物レンズ
４３ コリメータレンズ
４４ 空間光位相変調器
４’ ホログラフィックプロジェクタ（第２の立体像表示手段）
５ プロジェクタ
５’ プロジェクタ
６ ＣＧＨ
Ｂ ホワイトボード（対象領域）
Ｂ’ ホワイトボード（第２の対象領域）
Ｆ 指（操作体）
Ｓ 立体像
Ｓ’ 立体像

Claims (6)

1. ユーザが操作体を用いて該操作体から離間した対象領域内にポインティングを行うためのポインティング装置であって、
   前記操作体の映像を取得する撮影手段と、
   前記操作体の映像に基づいて、前記操作体が前記対象領域内において指し示す位置である指示位置を特定する指示位置特定手段と、
   前記指示位置特定手段によって特定された指示位置に、計算機合成ホログラムによる点状の立体像を表示させる立体像表示手段と、
   を備えた、ポインティング装置。
2. 前記立体像表示手段は、前記指示位置が移動した場合に、移動前の指示位置における立体像の表示を継続させる、請求項１に記載のポインティング装置。
3. 前記対象領域とは異なる場所に設けられた第２の対象領域における前記指示位置と対応する位置に、計算機合成ホログラムによる第２の立体像を表示させる第２の立体像表示手段をさらに備えた、請求項１または２に記載のポインティング装置。
4. 前記第２の対象領域は、前記対象領域と合同または相似である、請求項３に記載のポインティング装置。
5. 前記第２の立体像表示手段は、前記指示位置が移動した場合に、移動前の指示位置に対応する第２の立体像の表示を継続させる、請求項３または４に記載のポインティング装置。
6. 前記撮影手段は、前記操作体の位置座標を測定可能な深度カメラであり、
   前記指示位置特定手段は、前記操作体の映像および位置座標に基づいて、前記指示位置を特定する、請求項１～５のいずれかに記載のポインティング装置。