JP5212991B2 - 空中映像インタラクション装置及びそのプログラム - Google Patents

空中映像インタラクション装置及びそのプログラム Download PDF

Info

Publication number
JP5212991B2
JP5212991B2 JP2009509249A JP2009509249A JP5212991B2 JP 5212991 B2 JP5212991 B2 JP 5212991B2 JP 2009509249 A JP2009509249 A JP 2009509249A JP 2009509249 A JP2009509249 A JP 2009509249A JP 5212991 B2 JP5212991 B2 JP 5212991B2
Authority
JP
Japan
Prior art keywords
light
mirror
image
interaction
bending
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009509249A
Other languages
English (en)
Other versions
JPWO2008123500A1 (ja
Inventor
聡 前川
Original Assignee
独立行政法人情報通信研究機構
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2007091786 priority Critical
Priority to JP2007091786 priority
Application filed by 独立行政法人情報通信研究機構 filed Critical 独立行政法人情報通信研究機構
Priority to JP2009509249A priority patent/JP5212991B2/ja
Priority to PCT/JP2008/056349 priority patent/WO2008123500A1/ja
Publication of JPWO2008123500A1 publication Critical patent/JPWO2008123500A1/ja
Application granted granted Critical
Publication of JP5212991B2 publication Critical patent/JP5212991B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/56Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/12Reflex reflectors
    • G02B5/122Reflex reflectors cube corner, trihedral or triple reflector type
    • G02B5/124Reflex reflectors cube corner, trihedral or triple reflector type plural reflecting elements forming part of a unitary plate or sheet
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/12Reflex reflectors
    • G02B5/136Reflex reflectors plural reflecting elements forming part of a unitary body
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/18Stereoscopic photography by simultaneous viewing
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures

Description

本発明は、空中に投影された映像とユーザが双方向にアクセスできるようにする装置と、それに利用されるプログラムに関するものである。
空中に投影された映像(以下、「空中映像」と称する。2次元映像、3次元映像の何れをも含む)に対してユーザ(観察者)にアクセスを行わせ、それに対応して映像を動作させるという技術が開発され、また実用にも供されるようになってきている(例えば、特許文献1、非特許文献1参照)。空中映像に対するユーザのアクセスを検知する方法としては、3次元位置を検出するセンサをユーザの手やユーザが手に持ったアクセス用の指し棒等に取り付ける方法、赤外線の発光・センサ対を投影装置の一部に取り付けて赤外線が遮られることをセンサで検知する方法、投影装置やそれが設置される屋内の天井や壁等にカメラを取り付けて空中映像とアクセスするユーザの手等を上方から撮影し、撮影した映像を画像解析することによりそのアクセスを検知する方法などが考えられている。また、空中映像が投影可能な新規な結像光学系として、1つの平面において光線の屈曲が観察される光学系であって、光路が屈曲することとなる光線屈曲面に対して前後関係が反転する結像を特徴とする結像光学系が案出されている。このような結像光学系では、光学系を適切に設定すると、屈曲面に対する面対称位置へと結像可能、すなわち鏡映像を実像として結像可能であることが知られており、この場合、2次元像だけでなく、3次元像の結像を歪み無く行えるという特徴を持つ。
本発明者は鏡面による光の反射作用を利用する結像光学系を複数種提案しており、その一つは前記素子面に垂直もしくはそれに近い角度で配置された1つ以上の鏡面(マイクロミラー)による光の反射を行う単位光学素子を複数配置した結像光学素子である(特許文献2参照)。この結像光学素子は、その素子面の一方側に配置した被投影物(実体のある物体、映像を含む)から発せられる光を、単位光学素子内の鏡面でそれぞれ反射させつつ前記結像光学素子を透過させることで、素子面の他方側における空間に当該被投影物の実像を結像させるという、新規な結像様式を備えるものである。この結像光学系では、素子面を透過する際に鏡面反射によって光路が屈曲するため、この素子面が光線屈曲面として機能する。
さらに本発明者の提案による別の結像光学系は、再帰反射機能を備えたレトロリフレクタアレイとハーフミラーとを利用するものである(特許文献3参照)。この結像光学系は、被観察物から出てハーフミラーで反射した光をレトロリフレクタアレイにより再帰反射させ更にハーフミラーを透過させることにより、もしくは被観察物から出てハーフミラーを透過した光をレトロリフレクタアレイにより再帰反射させ更にハーフミラーで反射させることにより、ハーフミラー面を光線屈曲面として、被観察物の実像を鏡映像として面対称位置に鏡映像として歪み無く結像させるものであり、2面コーナーリフレクタアレイと同様に、2次元の被観察物であれば2次元の実像を、被観察物が3次元であれば3次元の実像を、ハーフミラー面に対して斜め方向から被観察物の実鏡映像の観察を可能とするものである。
特開2005−141102号公報 WO2007/116639国際公開公報 特願2007−163323出願明細書 "3D floating vision"、[online]、パイオニアコミュニケーション株式会社、[平成19年1月12日検索]、インターネット<URL:http://www.pioneer-pcc.jp/corp/haruka.html>
上述した空中映像へのアクセスを検知する方法のうち、3次元位置検出用のセンサを用いる場合、ユーザの手等にセンサを取り付けたり、ユーザがセンサを手で持ったり、センサが取り付けられた指し棒等をユーザが手で持ったりする必要があり、例えば通りすがりの者などの斯かるセンサを付帯しないユーザによる空中映像へのアクセスを検知することができず、ユーザへのセンサの付帯が必須となるため、一定の不便さが生じる。また、赤外線・センサ対を用いる場合、空中映像を取り囲むように多くのセンサ群を配置する必要があるため、ユーザのアクセスを3次元的に検知することは事実上困難であるといえる。
これらの方法と比べて、カメラを用いる方法では上述のような問題は生じ難いため、ある程度実用的にも優れているといえる。しかしながら、ユーザの体や他の物体に遮られることなく空中映像を直接見通すことができる位置にカメラを配置する必要があるため、ユーザにカメラの存在が見えてしまっても構わない場合を除いて、カメラの配置場所に物理的な制約が生じる場合がある。また、これまでに提案されている空中映像の投影技術では、歪みの無い3次元像をテーブルのような平面上に浮遊させ、かつ上下左右の運動視差に対しても空中に定位させることは困難であった。
これらの問題に対しては、本発明者の提案による結像光学系(前述の特許文献2、特許文献3を参照)を利用することで解決可能である。特許文献2に開示した結像光学系(結像光学素子)は、当該結像光学素子における素子面の一方側に配置した被投影物(実体のある物体、映像を含む)から発せられる光を、前記2つの鏡面(以下、2面コーナーリフレクタ)でそれぞれ反射させつつ前記結像光学素子を透過させることで、素子面の他方側における空間に当該被投影物の歪みの少ない実像を結像させ、2次元の被投影物に対しては2次元像を、3次元の被投影物に対しては3次元像を得ることができるという、新規な結像様式を備えるものであり、2面コーナーリフレクタアレイと称している。この2面コーナーリフレクタアレイは、鏡面反射を利用しているため、素子面に対して斜め方向からの観察が可能であり、平面上に浮遊する空中映像を提示することができる。また、前記結像光学素子は、2面コーナーリフレクタとして動作した空中映像の結像のための好適な結像様式とは別に、反射を行わずに素子面を透過してしまう直接光モードあるいは、透過する際に1回だけ鏡面反射を行う1回反射モードなどの別動作モードが存在している(特願2006−271191出願明細書参照)。また、特許文献3に開示した結像光学系も、2面コーナーリフレクタアレイにおける素子面と同様に、ハーフミラー面を被投影物と実像との光線屈曲面として機能させ、ハーフミラー面に対して斜め方向からの実像の観察を可能とするものである。また、光線屈曲面がハーフミラーであることから、光線屈曲面を直接透過する光線によって、光線屈曲面の反対側にある物体を直接観察することも可能となる。
そこで本発明は、以上のような問題に鑑みて、前記結像光学系を利用し、また空中映像の結像に利用される結像様式以外の動作モードをも利用することで、装置の簡素化を実現しつつ、映像に対するユーザのアクセスを的確に把握することができ、実像にアクセスするユーザの手等の物体を検出するための位置検出手段をユーザからは見えない位置に配置することが可能な、映像とユーザとの好適なインタラクションをもたらすことができる空中映像インタラクション装置とそれに用いられるコンピュータプログラムを提供するものである。
すなわち本発明の空中映像インタラクション装置は、光線の光路が屈曲することとなる1つの平面を構成する光線屈曲面と、光線を反射する複数の鏡面とを有する結像光学系であって、光線屈曲面の一方面側に配置される被投影物の実像を、被投影物から発せられる光線が光線屈曲面を透過し且つ複数の鏡面で合計2回以上反射することによってその光線屈曲面の反対面側に前後を反転させて結像する結像光学系と、この結像光学系により結像された実像に近接させた物体の位置、又は位置及び形状を特定する物体特定手段と、を具備してなることを特徴とするものである。
このような構成の空中映像インタラクション装置であれば、まず、結像光学系により、被投影物(光線屈曲面を挟んで一方に配置される物体又は表示装置の映写された映像からなる被投影物、2次元であっても3次元であってもよい)からの光が、複数の鏡面における2回以上の反射と光線屈曲面における光線の屈曲によって、光線屈曲面の反対側の空中に結像する。このような結像方式において、例えば前述したマイクロミラーを結像光学系に用いる場合には、光線屈曲面において急角度で光線を屈曲させることが可能なため、光線屈曲面に対して斜めからの実像の観察が可能となる。また、被投影物の実像の結像を行うことから、この実像は実体は無いが空中に視覚的にのみ存在する仮想的な物体として提示を行うことができ、その仮想的物体に対してユーザが手指や指し棒等の物体で触れ又はポインティングする行為が可能となる。そして、物体特定手段によって、ユーザの手等の物理的な実体のある物体の3次元的な位置、又は位置及び形状を正確に特定することが可能となり、実像とユーザ(物体)とのインタラクション(相互作用)を従前よりも容易に行うことができる。物体特定手段によって、ユーザの手等の物体の少なくとも位置を特定することが必要であるが、物体の位置と形状の両方が特定できることが好ましい。なお、本発明において物体特定手段は、前記物体と併せて実像の位置も特定するように構成することも可能である。その場合、物体特定手段によって、実像とそれに近接する物体の両方の位置関係を特定して、ユーザ(物体)と映像との相互作用に役立てることができる。ただし、通常は結像光学系の性質および、被投影物の位置を把握することによって、実像の位置を計算することが可能であり、実際に実像の位置を計測する必要は必ずしもない。
上述した本発明の空中映像インタラクション装置において、被投影物の実像である空中映像とユーザとのインタラクションを実現するためには、物体特定手段により特定された物体の位置、又は位置及び形状を利用して、実像を変化させる実像変化手段をさらに具備することが望ましい。すなわち、実像変化手段は、実像に対する物体の位置や形状に基づいて被投影物の位置や形状等の状態を追従させて変化させることによって、実像の状態を変化させるものである。例えば、物体が手指であり、実像を指で押すという動作を行った場合、指との相対位置を保存するように実像も動かすことで、実体の無い実像が指で押されている、あるいは指に実像が張り付いているという状態を表現することが可能となる。また、指によって実像をつまむ動作を行った場合には、その手指の位置および形状認識を行うことによって、以後指と実像の相対位置を保存させるように実像を動かすことによって、実像を実際につまんでいるかのような表現が可能となる。このように実像を変化させるには、実像変化手段を、被投影物が物理的実体のある物であればそれを動作させ、被投影物が画像であればその画像を変化させるものとすることが好適である。このために、被投影物が実体物である場合には、例えば物体特定手段により特定された情報により、その実体物を動作させるプログラムや動作機構によって、実像変化手段を構成することができる。また、被投影物が画像である場合には、例えば物体特定手段により特定された情報により、その画像を動作させるプログラムや、画像を表示しているディスプレイを動作させるプログラム及び動作機構によって、実像変化手段を構成することができる。特に被投影物が3次元画像であれば、その3次元画像を所定のプログラムに従って3次元的に動かすことが可能であるが、被投影物が2次元画像の場合、例えばディスプレイを3次元的に動作させることで、その実像を3次元的に動かすことができる。
また、物体の位置や形状に基づく実像の変化のみならず、空中映像である実像にアクセするユーザの手等の物体に対して、実像に触れているかのような反応が生じるようにしても、空中映像とユーザとのインタラクションを実現することができる。例えば、指もしくは、手指によって保持された物体が実像に接触した際に、反力を与えることができれば、実体がないにもかかわらず、高い実在感を感じさせることが可能である。また、正確な反力でなくとも、実像との接触時に何らかの触覚刺激を与えることで、その実在感を高めることが可能である。さらに、実像をなぞったときに、適切な振動刺激を与えることで、表面形状を感じさせることが可能となる。そのための構成として、本発明の空中映像インタラクション装置には、物体特定手段により特定された物体の位置、又は位置及び形状を利用して、物体に力を及ぼす対物体作用機構をさらに設けることが好適となる。すなわち、対物体作用機構は、実像の位置や形状に基づいて、その実像に近づくユーザの手等の物体に対して物理的作用を与えるものである。このために、対物体作用機構には、例えば物体特定手段により特定された情報に基づいて対物体作用機構を作動させるプログラムが必要となる。
ここで、対物体作用機構の一例としては、機械的なリンク機構を有するものを挙げることができる。このようなリンク機構としては、例えば物体特定手段により特定された物体の位置、又は位置及び形状を力覚情報として利用し、空中映像である実像に触れているかのように動作するもの(例えば、SensAble Technologies社製、商品名「PHANTOM」参考URL;http://www.sensable.com/products-haptic-devices.htm)を例示することができる。なお、リンク機構を利用した場合、リンク機構の各関節角を計測することで、リンク先端の位置計測を行うことが可能となる。
その他にも、対物体作用機構の一例としては、空気の流れを発生させる空気流発生機構を有するもの、例えば物体特定手段により特定された物体の位置、又は位置及び形状に応じて、ユーザの手指等に対して細いノズルから空気を噴射するエアジェットや、空気の渦輪を発生する空気砲等を例示することができる。
本発明に適用される結像光学系の具体的態様の一つは、光線屈曲面となる素子面に垂直もしくはそれに近い角度で配置された複数の鏡面による光の反射を行う単位光学素子を複数備え、これら複数の単位光学素子により素子面の一方面側に配置される被投影物の実像を素子面の反対面側に結像する結像光学素子である。
ここで各単位光学素子は、素子面を貫通する方向に想定される光学的な穴の内壁を鏡面として利用するものと考えればよい。ただし、このような単位光学素子は、概念的な物であり、必ずしも物理的な境界などにより決定される形状を反映している必要は無く、例えば前記光学的な穴は相互に独立させることなく連結させたものとすることができる。このような構成の空中映像インタラクション装置であれば、まず、結像光学素子により、被投影物からの光がその素子面を透過する際に各単位光学素子の鏡面で回以上反射して、素子面の反対側の空中に結像する。このような結像方式においては、鏡面反射によって、素子面を透過する際に急角度で光線が屈曲されるため、素子面に対して斜めからの観察が可能となる。
この結像光学素子のさらに具体的に好ましいものとしては、単位光学素子が、直交する2つの鏡面によって構成され2面コーナーリフレクタとして機能する2面コーナーリフレクタアレイを挙げることができる。この場合、被投影物からの光は各2面コーナーリフレクタの2つの鏡面で1回ずつ反射させて素子面の反対側の空中における被投影物とは素子面に対して面対称位置に結像させることができる。このような2面コーナーリフレクタを利用した結像方式を採用すれば、2次元の被投影物は2次元の実像として、3次元の被投影物は3次元の実像として、いずれも歪みの無い実像を投影することができる。なお、被投影物が3次元の立体物である場合は、視線方向の奥行きが反転するものの、この奥行き反転に対しては、被投影物である3次元物体又は3次元映像をあらかじめ奥行き反転させるか、もしくはこの結像光学素子を2つ利用して被投影物からの光をこの2つの結像光学素子を順次透過させることで、奥行きが正常な空中像を表示させることもできる。
その他にも、本発明に適用される結像光学系の具体的態様の一つは、光線屈曲面となるハーフミラー面を有するハーフミラーと、該ハーフミラーからの透過光若しくは反射光を再帰反射させる位置に配置され複数の鏡面からなる単位再帰反射素子の集合であるレトロリフレクタアレイとを具備したものを挙げることができる。レトロリフレクタアレイは、ハーフミラー面に対して被投影物と同じ側に配置しても反対側に配置してもよく、その両方に配置しても構わない。レトロリフレクタアレイをハーフミラー面に対して被投影物と同じ側に配置する場合、被投影物から発してハーフミラー面で反射した光は、レトロリフレクタアレイが有する鏡面で複数回の反射を伴って再帰反射し、さらにハーフミラーを透過して結像する。他方、再帰反射素子をハーフミラー面に対して被投影物とは反対側に配置する場合、被投影物から発してハーフミラー面を透過した光は、再帰反射素子が有する鏡面で複数回の反射を伴って再帰反射し、さらにハーフミラーで反射して結像する。この結像光学系の場合、ハーフミラー面において光線が透過する際にその光線が屈曲されるわけではなく、実際の屈曲は反射の際に起きているが、結果的に光線が光線屈曲面を透過する際に屈曲する場合と等価な光線経路が再現される。そのため、この結像光学素子においてもハーフミラー面を光線屈曲面としている。この光線屈曲面において急角度で光線が屈曲するのと同様な光線が再現されるため、ハーフミラー面に対して斜めからの観察が可能となる。なお、レトロリフレクタアレイには、例えば立方体内角の1つの角を利用するコーナーキューブの集合であるコーナーキューブアレイや、キャッツアイレトロリフレクタ等を適用することができる。
このような空中映像インタラクション装置においては、物体特定手段を、光線屈曲面に対して固定された相対位置に配置することにより、予め結像光学系と物体特定手段との相対的な位置関係を与えることができ、物体の位置の特定が容易となる。なお、被投影物の位置をあらかじめ把握しておけば、実像位置は結像光学系の性質を利用することで計算可能であり、これによって実像と物体の相対位置を把握することができる。
特に、物体特定手段の具体的態様としては、前記物体を撮影する1台以上のカメラと、当該カメラで撮影された映像から前記物体の位置、又は位置及び形状を解析する画像解析装置とを具備して構成されるものを挙げることができる。なお、上述したとおり、カメラによって実像も撮影して、物体と実像の位置を画像解析装置で解析するように構成しても構わない。また、カメラに関しては、固定した最低限2台のカメラを配置すれば、画像解析装置において三角測量の手法を用いて物体各点の3次元位置を計測することができ、これによって物体の形状データを得ることもできる。実像も撮影した場合には、物体と実像の3次元位置及び形状を特定することができる。さらに3台以上のカメラを利用して、より精度の高い位置計測や形状計測を行うようにしてもよい。なお、カメラを利用する位置計測の方法は任意である。例えばカメラで撮影する映像の対応点による距離計測法としては、実像に接近するユーザの手指や物体のテクスチャを対応点として利用したり、マーカーを配置しておきそれを目印として対応点として利用する方法や、被投影物及びその実像とは別にグリッドや縞模様を投影して対応点として利用する方法を挙げることができる。その他にも、TOF(Time of Flight)による距離画像計測方法も利用することができる。距離画像を取得した場合には、カメラ1台での3次元位置・形状計測が可能となる。物体の3次元位置および形状に関する計測データが得られると、形状認識手段によって物体形状の認識を行う。形状認識手段は、形状認識プログラムとそれを作動させるコンピュータにより実現できる。これにより、例えば物体が手指である場合には、手指の形状が認識され、親指と人差し指の接触(例えば、実像を仮想的につまんでいる状態)等が判別可能となる。次にこの形状認識結果が動作認識手段に入力され、時系列的に連続した形状変化によって動作認識が行われる。これにより、例えば親指と人差し指が接触していく過程によって、つまむという動作等の判別が可能となる。この認識結果を利用することによって、空中映像をつまんでいるというユーザの意図を検出することができ、つまんだ瞬間の実像と手指との相対位置を記録し、以後手指がつまんだ状態を維持したまま動いた場合には、その相対位置を保持するように実像を変化させることによって、ユーザが実像をつまんでいるかのような効果を表現することが可能となる。
このように、物体特定手段の一部として1台以上のカメラを用いる場合、これらのカメラを、結像光学系の光線屈曲面に対して前記被投影物と同じ側に配置すれば、ユーザから隠れた場所にカメラを配置することができるため、装置自体の小型化や外観の向上を図ることが可能である。
カメラによる物体の撮影は、直接的に光線屈曲面を透して行うことが可能である。特に、上述した複数の単位光学素子を備えた結像光学系や、その一態様である2面コーナーリフレクタアレイを適用する場合、光線屈曲面である素子面に対して被投影物と同じ側に配置される複数のカメラを、前記素子面を透して各単位光学素子の鏡面に1度も反射させることなく前記物体を撮影し得る位置に配置すれば、カメラにより実像に接近するユーザ(物体)を結像光学素子を経て直接撮影することが可能となる。このことは、結像光学素子においては、反射回数の違いによる複数の動作モードが存在することから可能となる。単位光学素子は、光学的な穴の内壁に鏡面要素が形成されているものであることから、観察方向によってはこの穴を無反射で透過する光を観察でき、これは単にたくさんの穴を通して物体を観察できることを示している。また、ハーフミラーとレトロリフレクタアレイとを備えた結像光学系の場合でも、ハーフミラーを直接透過する光線を利用することで、光線屈曲面であるハーフミラー面を透してカメラにより物体の撮影を行うことができる。
また、光線屈曲面と被投影物との間にハーフミラーを配置し、カメラを、このハーフミラーにより反射された物体に対する結像光学系による実像を撮影するように配置するように構成することも可能である。本発明に適用される結像光学系は、上述したとおり被投影物の実像を当該結像光学系の光線屈曲面に対して面対称となる位置に結像させるものであるが、その作用は光線屈曲面に対して対称的であるため、被投影物の実像に近づくユーザの手指等の物体の実像も、光線屈曲面に対する面対称位置に結像する。このとき、被投影物の実像のごく近くに物体を接近させると、被投影物のごく近くに物体の実像が結像することとなる。したがって、光線屈曲面と被投影物との間、より具体的には物体から発した光線の光線屈曲面で屈曲点と結像点との光路の間にハーフミラーを配置すれば、その光線は本来の結像点のハーフミラーに対する面対称位置に実像として結像するため、この物体の実像を被投影物から分離することができる。その結果、ハーフミラーで分離した物体の実像をカメラで撮影することで、物体を直接的に撮影しなくても、物体の位置や形状を正確に取得することができることとなる。
また、複数の単位光学素子を備えた結像光学系や、その一態様である2面コーナーリフレクタアレイを適用する場合には、各単位光学素子の鏡面に1回だけ反射して透過した光による結像があるため、この像を撮影することによって前記物体を撮影し得る位置に1台以上のカメラを配置することも可能である。
さらに、前記光線屈曲面を透すことなく直接に前記物体を撮影し得る位置にカメラを配置しても、同様にユーザ(物体)を撮影することもできる。具体的には、例えば光線屈曲面の周囲の一部に貫通孔を設けておき、その貫通孔を通じて被投影物と同じ側から実像に接近するユーザ(物体)をカメラで撮影するという態様を採用することができる。
以上のようなカメラの配置場所以外にも、結像光学系の光線屈曲面に対して前記実像と同じ側にカメラを配置しても、物体、又は物体と実像を撮影してそれらの位置計測をすることは十分に可能である。但し、カメラの存在をユーザに見せないように装置を構成する場合には、カメラの配置場所を十分に工夫する必要はある。
なお、物体特定手段としてカメラを用いる場合、カメラの少なくとも1台は、距離画像を取得できる距離測定カメラとすることが望ましい。この場合、物体までの距離および方位を1つのカメラで測定可能であることから、1台のカメラによる位置計測が可能となる。さらに2台以上の距離測定カメラを利用して、より精度の高い位置計測を行うようにしてもよい。
以上のような空中映像インタラクション装置において、空中に投影される実像とユーザ(物体)とのインタラクションを好適に実現させるために、本装置で利用される本発明のコンピュータプログラムは、前記物体特定手段により前記物体の位置、又は位置及び形状を計測し、その計測結果に基づいて当該物体の位置、又は位置及び形状を特定する物体特定工程と、前記物体特定工程で特定した前記物体の位置、又は位置及び形状に係る情報を、前記物体の位置、又は位置及び形状に対応して前記被投影物を制御する所定のインタラクションプログラムへ出力する物体情報出力工程とを備えていることを特徴とするプログラムである。物体特定工程では、上述したような物体特定手段により計測結果として得られた物体の3次元位置、もしくは当該物体各点の3次元位置に基づいて、物体の位置、又は形状の認識を行う。特に、物体の形状認識を行う場合には、例えば形状認識プログラムを物体特定工程を処理するプログラムとして含めておき、例えば物体が実像にアクセスする手指である場合には、手指の形状が認識され、親指と人差し指の接触(例えば、実像を仮想的につまんでいる状態)等が判別するようにするとよい。さらに、この形状認識結果に基づいて物体の動作まで特定する場合には、物体特定工程を処理するプログラムに動作認識プログラムを含めておき、形状認識プログラムによる出力を入力として、時系列的に連続した形状変化によって動作認識を行うようにするとよい。これにより、例えば親指と人差し指が接触していく過程によって、つまむという動作等の判別が可能となる。この認識結果を利用することによって、空中映像をつまんでいるというユーザの意図を検出することができ、つまんだ瞬間の実像と手指との相対位置を記録し、以後手指がつまんだ状態を維持したまま動いた場合には、その相対位置を保持するように実像を変化させることによって、ユーザが実像をつまんでいるかのようなインタラクション効果を表現することが可能となる。
本発明の空中映像インタラクション装置は、前述した2面コーナーリフレクタ等の素子面とほぼ垂直な鏡面を有する単位光学素子を備えた結像光学素子や、ハーフミラーとレトロリフレクタアレイとを備えた結像光学系を利用して被投影物の実像(空中映像)を結像させることができるものであるため、被投影物が2次元又は3次元であるか、物体であるか映像であるかに拘らず、空中に2次元又は3次元の空中映像を投影することが可能であり、さらにその空中映像に近付くユーザの手等の物体の3次元位置を特定することが可能であるため、ユーザのアクセスにより空中映像を変化させるというようなユーザと空中映像とのインタラクション技術に大きなメリットをもたらすものである。特に、物体特定手段に複数のカメラを利用する場合、結像光学系に対するそれらカメラの配置態様如何により、空中映像インタラクション装置自体の小型化が容易となり、その設置や移動を容易なものとすることが可能である。
本発明の第1実施形態に係る空中映像インタラクション装置の基本構成を概略的に示す図。 同実施形態に適用される2面コーナーリフレクタアレイを示す平面図。 同2面コーナーリフレクタアレイの一部を拡大して示す斜視図。 同2面コーナーリフレクタアレイによる結像様式を模式的に示す平面図。 同2面コーナーリフレクタアレイによる結像様式を模式的に示す側面図。 同2面コーナーリフレクタアレイによる結像様式を模式的に示す斜視図。 同実施形態で用いるプログラムの動作手順の一例を示すフローチャート。 同実施形態の空中映像インタラクション装置の別の例を示す図。 同実施形態の空中映像インタラクション装置のさらに別の例を示す図。 同実施形態に適用可能な2面コーナーリフレクタアレイの他の例を示す斜視図。 本発明の第2実施形態に係る空中映像インタラクション装置の基本構成を概略的に示す図。 同実施形態に適用される結像光学系におけるレトロリフレクタアレイの一例を示す図。 同実施形態に適用される結像光学系におけるレトロリフレクタアレイの一例を示す図。 同実施形態に適用される結像光学系による結像様式を模式的に示す側面図。 ハーフミラーを用いてユーザの実像を撮影するための構成を有する本発明の一例を模式的に示す側面図。
以下、本発明の一実施形態を、図面を参照して説明する。
<第1実施形態> 図1に示すこの実施形態は、空中映像インタラクション装置1の基本構成の一例を概略的に示したものである。この空中映像インタラクション装置1は、多数の2面コーナーリフレクタ2が形成された実鏡映像結像光学素子(以下、「2面コーナーリフレクタアレイ」という)3を備えた基盤31を上蓋とする筐体4と、筐体4内に収容された2台のカメラ51と、これらカメラ51と接続された画像解析装置52とによって構成される。2台のカメラ51と画像解析装置52は、物体特定手段5を構成するものである。筐体4内には、基盤11の上方空間に投影される実像の元となる被投影物Oが収容される。なお、2面コーナーリフレクタ2は2面コーナーリフレクタアレイ3の全体と比べて非常に微小であるので、同図においては2面コーナーリフレクタ2の集合全体をグレーで表し、その内角の向きをV字形状で誇張して大きく表し、また実像Pの観察方向を矢印で表している。
被投影物Oは、例えば紙に描いた図形のような2次元(的な)物体、3次元形状のある物体、2次元又は3次元の映像の何れでも採用することができる。被投影物Oとして物体を採用する場合、その物体が自ら発光するものではない場合には、物体に対して投光する照明器具(図示省略)を筐体4内に配置することができる。また、被投影物Oとして映像を適用する場合には、筐体4内にスクリーンやディスプレイ(図示省略)を設置し、必要に応じて映像をスクリーンやディスプレイに映し出す映写装置やコンピュータを接続することができる。
2面コーナーリフレクタアレイ3は、図2に示すように、平板状の基盤31に、平らな基盤表面に対して垂直に肉厚を貫通する穴32を多数形成し、各穴32の内壁面を2面コーナーリフレクタ2として利用するために、穴32の内壁面うち直交する2つにそれぞれ鏡面要素21,22を形成したものである。
基盤31は、厚み寸法が例えば50〜200μm、本実施形態では100μmの薄板状のものであり、本実施形態では、一辺がそれぞれ約5cmの平面視正方形状のものを適用しているが、基盤31の厚さや平面寸法はこれらに限られることなく適宜設定することができる。図2のA部を拡大して図3に示すように、各2面コーナーリフレクタ2は、光を透過させるために基盤31に形成した物理的・光学的な穴32を利用して形成したものである。本実施形態では、まず基盤31に平面視ほぼ矩形状(具体的に本実施形態では正方形状)の穴32を多数形成し、各穴32のうち隣接して直交する2つの内壁面に平滑鏡面処理を施して鏡面要素21,22とし、これら鏡面要素21,22を反射面として機能する2面コーナーリフレクタ2としている。なお、穴32の内壁面のうち2面コーナーリフレクタ2以外の部分には鏡面処理を施さず光が反射不能な面とするか、もしくは角度をつけるなどして多重反射光を抑制することが好ましい。各2面コーナーリフレクタ2は、基盤31上において鏡面要素21,22がなす内角が全て同じ向きとなるように形成している。以下、この鏡面要素21,22の内角の向きを、2面コーナーリフレクタ1の向き(方向)と称することがある。鏡面要素21,22の形成にあたって本実施形態では、金属製の金型をまず作成し、鏡面要素21,22を形成すべき内壁面をナノスケールの切削加工処理をすることによって鏡面形成を行い、これらの面粗さを10nm以下とし、可視光スペクトル域に対して一様に鏡面となるようにしている。
具体的に、各2面コーナーリフレクタ2を構成する鏡面要素21,22は、一辺が例えば50〜200μm、本実施形態では基盤31の厚さに対応させた100μmであり、先に作成した金型を用いたプレス工法をナノスケールに応用したナノインプリント工法又は電鋳工法により、1つの基盤21に所定ピッチで複数形成されている。本実施形態では、各2面コーナーリフレクタ2を有する2面コーナーリフレクタアレイ3の素子面3S上でV字形状をなす各辺を、基盤31の巾方向又は奥行き方向に対して45度傾斜させるとともに、全ての2面コーナーリフレクタ2が素子面3S上に想定される規則的な格子点上に整列されて同一方向を向くようにしている。なお、隣り合う2面コーナーリフレクタ2同士の離間寸法を極力小さく設定することで、透過率を向上させることができる。そして、前記基盤31のうち、2面コーナーリフレクタ2を形成した部分以外の部位には遮光処理を施し、基盤31の上面及び下面に図示しない薄板状をなす透明な補強材を設けている。本実施形態では、このような2面コーナーリフレクタ2を基盤31に数万ないし数十万個設けた2面コーナーリフレクタアレイ3を採用している。
なお、電鋳工法によりアルミやニッケル等の金属で基盤31を形成した場合、鏡面要素21,22は、金型の面粗さが十分小さければ、それによって自然に鏡面となる。また、ナノインプリント工法を用いて、基盤31を樹脂製などとした場合には、鏡面要素21,22を作成するには、スパッタリング等によって、鏡面コーティングを施す必要がある。
このようにして基盤31に形成した2面コーナーリフレクタ2は、基盤31の下面側(又は上面側)から穴32に入った光を一方の鏡面要素(21又は22)で反射させ、さらにその反射光を他方の鏡面要素(22又は21)で反射させて基盤31の上面側(又は下面側)へと通過させる機能を有し、この光の経路を側方から見れば光の進入経路と射出経路とが基盤31(素子面3S)を挟んで面対称をなすことから、上述のように基盤31上に多数の2面コーナーリフレクタ2を形成することでは、2面コーナーリフレクタアレイ3として機能する。すなわち、斯かる2面コーナーリフレクタアレイ3の素子面3S(基盤31の肉厚の中央部を通り各鏡面要素と直交する面を仮定し、図中に想像線で示す。)は、基盤31の一方側にある被投影物Oの空中映像である実像P(図1参照)を他方側の面対称位置に結像させる面となる。本実施形態では、上述した2面コーナーリフレクタアレイ3の素子面3Sを、2面コーナーリフレクタアレイ3を透過する光線の光路が屈曲することとなる光線屈曲面として機能させている。
ここで、本実施形態で用いられる2面コーナーリフレクタアレイ3による結像様式を、被投影物Oから発せられた光の経路とともに説明する。図4に平面的な模式図で示し、図5に側面から見た模式図でそれぞれ示すように、被投影物O(同図では点で表す)から発せられる光(矢印方向、実線で示す。図4では3次元的には紙面奥側から紙面手前側へ進行する)は、2面コーナーリフレクタアレイ3の基盤31に形成した穴32を通過する際に、2面コーナーリフレクタ2を構成する一方の鏡面要素21(又は22)で反射して更に他方の鏡面要素22(又は21)で反射することで(透過光の光線を破線で示す)、2面コーナーリフレクタアレイ3の素子面3Sに対して被投影物Oの面対称位置に、実像Pとして結像する。この実像Pは、図6に模式的に示すように、当該2面コーナーリフレクタアレイ3における2面コーナーリフレクタ2の鏡面要素21,22が見える位置である基盤31の斜め上方(図中、矢印方向)から観察することで視認可能となる。詳述すれば、相互に直交する鏡面要素21,22に対して光が2回反射すると、光の成分のうち、基盤31の面方向に平行な成分(換言すれば素子面3Sと平行な成分)は入射方向に戻る一方、鏡面要素21,22の面方向に平行な成分(換言すれば素子面3Sに対して垂直な成分)はその成分を保存する。その結果、2面コーナーリフレクタアレイ3を透過した2回反射光は、素子面3Sに対して面対称な点を必ず通過することとなる。そして、光源である被投影物Oからはあらゆる方向の光の出ることから、それらの光が2面コーナーリフレクタアレイ3を透過する際に各2面コーナーリフレクタ2で2回反射し、全て同一点に集まって焦点を結ぶ。
このように、各2面コーナーリフレクタアレイ3を透過した2回反射光は面対称位置へ集束するため、深さ方向(素子面3Sに対して垂直な方向)に対して広い範囲で焦点を結ぶことが可能となる。なお、図4では入射光と反射光とが平行をなすように表されているが、これは同図では被投影物Oに対して2面コーナーリフレクタ2を誇張して大きく記載しているためであり、実際には各2面コーナーリフレクタ2は極めて微小なものであるため、同図のように2面コーナーリフレクタアレイ3を上方から見た場合には、入射光と反射光とは殆ど重なってみえる。すなわち、結局は被投影物Oの素子面3Sに対する面対称位置に透過光が集まり、図5においてPの位置に実鏡映像として結像することになる。そして、基盤31の下面側の空間に被投影物Oとして3次元物体又は3次元映像を配置する場合には、基盤31の上面側に3次元の実像Pが浮かぶこととなる。ただし、その3次元実像Pは、凹凸が反転するので、この実像Pにおける凹凸の発生を防止するには、基盤31の下面側の空間に配置する3次元の被投影物Oの凹凸を予め逆転するか、2面コーナーリフレクタアレイ3を2枚適当に離間して配置すればよい。
2台のカメラ51には、例えばCCDやCMOS等の固体撮像素子を利用したデジタルビデオカメラ等を用いることができる。これらのカメラ51は、本実施形態では筐体4内において実像Pを向けて、被投影物Oの周囲に固定して設置され、基盤31に形成した穴32を直接透過する光(直接光)により空中に投影される実像Pの周辺領域を撮影する。すなわち、実像Pにアクセスしてくるユーザ(物体)U(図1参照)がカメラ51によって撮影されることになる。なお、実像Pは、下方より上方に向けて投影されているため、筐体4内に配置したカメラ51では撮影されずに、ユーザ(物体)Uのみが撮影される。
そして、2台のカメラ51で撮影した映像は画像解析装置52へ送信される。画像解析装置52では、画像解析及び物体特定プログラムが作動しており、2台のカメラ51からの映像に基づいて、ユーザ(物体)Uの映像を特定し(図7に示すフローチャート、S1)、三角測量の要領でユーザ(物体)Uの各点における3次元位置を計測して求める(S2)。
なお、筐体4における2面コーナーリフレクタアレイ3の位置及び被投影物Oの位置が既知であれば、実像Pは素子面3Sに対して必ず被投影物Oの面対称位置に結像するという規則性を利用して、実像Pの3次元位置は算出することができる。
また、カメラ51を適当に配置すると、ユーザ(物体)Uからの直接光ではなく、2面コーナーリフレクタ2の鏡面要素21,22の何れか一方で1回反射した光(1回反射光)による結像を利用してユーザ(物体)Uを観察することができる。この像は、面対称位置への結像ではないが、一定のルールに従って結像するためあらかじめ計算でき、これからユーザ(物体)Uの位置を同定することも可能である。直接光とは異なる方向からユーザ(物体)Uを観察することが可能となるため、被投影物Oの形状や位置によって、直接光での観察が困難な場合には有効である。
このようにして得られるユーザ(物体)Uの3次元位置情報(又はそれに加えて実像Pの3次元位置情報)は、前述した物体特定プログラムの一部に含まれる形状認識プログラムにより演算処理がなされ、ユーザ(物体)Uの形状認識が行われる(同図;S3)。さらに、ユーザ(物体)Uの動作(例えば、実像Pをつかむ、つまむ、なでる等)の認識を行い、それに対する実像の変化やユーザ(物体)Uへの応答といったフィードバックに用いる場合には、物体特定プログラムの一部に動作認識プログラムを含めておき、形状認識プログラムによる演算結果に基づく時系列的に連続した形状変化によってユーザ(物体)Uの動作を特定する(同図;S4)。なお、ユーザ(物体)Uの形状認識や動作認識を行わない場合には、同図のフローチャートにおける工程S2において、ユーザ(物体)Uの3次元位置計測のみを行い、工程S3の形状認識や工程S4の動作認識は行わなくてもよい。そして、例えば被投影物Oが所定の制御プログラムに従って動作する実体物又は映像である場合には、当該制御プログラムに対して出力される(S5)。このような制御プログラムは、例えばユーザ(物体)Uによる実像Pへのアクセスに応じた3次元的な相対位置に対応して、被投影物Oの形状や位置を変化させるものであり、例えば後述するような実像変化手段の一部を構成するプログラムや、対物体作用機構を動作させるプログラム等が該当する。特に被投影物Oが映像である場合には、制御プログラムは被投影物Oを別の映像に変化させるようなものであってもよい。なお、ユーザ(物体)Uの位置と形状の両方を利用する場合には、ステップS3においてユーザ(物体)Uの各点を含む3次元位置情報を出力し、その情報に基づいてユーザ(物体)Uの形状認識処理を行った後、制御プログラムへの出力を行えばよい。形状認識処理には、例えば一般的な形状認識プログラムを適用することができる。
以上の通り、本実施形態の空中映像インタラクション装置1を上述のように利用することで、素子面3Sの上方の空中に被投影物Oの実像Pを2次元的又は3次元的に投影することができる上に、その実像Pにアクセスするユーザ(物体)Uの3次元位置を容易に特定することが可能である。したがって、ユーザ(物体)Uの3次元位置情報を例えば被投影物Oの動作を制御する制御プログラムで処理することで、ユーザ(物体)Uの位置に応じて被投影物O及び実像Pを動作又は変化させることが容易となり、実像Pとユーザ(物体)Uとの仮想的なインタラクションを容易に実現ならしめることができる。また、本空中映像インタラクション装置1では、ユーザ(物体)Uにその3次元位置を特定するためのセンサを付帯させる必要がないため、例えば通りすがりに本空中映像インタラクション装置1を利用するユーザにも、何ら負担をかけることなく利用させることができる。また、空中映像インタラクション装置1の外部にユーザ(物体)Uの位置を特定する赤外線・センサ対を設置する必要がないため、空中映像インタラクション装置1自体を非常にコンパクトなものとして、設置場所や移動を比較的自由に設定することが可能である。
なお、本実施形態は上述した実施形態に限定されるものではない。例えば、上記実施形態で物体特定手段5として用いたカメラ51の配置位置を次のように変更することができる。すなわち、例えば図8に空中映像インタラクション装置1’を示すように、基盤31において2面コーナーリフレクタアレイ3の外側に2つの小孔33を形成できるのであればこれを形成しておき、これら小孔33を通じてカメラ51でユーザ(物体)Uを撮影するように構成することができる。この場合、カメラ51は実像Pの周辺領域を撮影できるように傾けた姿勢で配置すればよい。このようにすることで、カメラ51ではユーザ(物体)Uを直接撮影することができるため、2面コーナーリフレクタアレイ3を透過することに伴う減光、ボケなどの影響を当初から排除することができる。また例えば図8に空中映像インタラクション装置1’’を示すように、基盤31の上方空間にカメラ51を配置する態様も採用することができる。図示例では、カメラ51を実像Pの周辺領域を斜め上方から撮影するように、例えば図示しない支柱等を介して配置した態様を示しているが、その他にも、基盤31の上面付近にカメラ51を設置して斜め下方から実像Pの周辺領域を撮影するようにしてもよい。このようにした場合にも、カメラ51ではユーザ(物体)Uを直接光のみで撮影することができるため、2面コーナーリフレクタアレイ3を透過することに伴う影響を当初から排除することができる。
また、例えば、2面コーナーリフレクタアレイ3を構成する2面コーナーリフレクタ2としては単に直交する2枚の反射面が存在すればよく、この反射面としては、光を反射する物質の鏡面精度の平坦度を持つ端面もしくは膜による反射および、屈折率の異なる透明な媒質同士の鏡面精度の平坦度を持つ境界における全反射などの現象を利用することができる。より具体的には、上述した実施形態では、2面コーナーリフレクタアレイ3において、光学的な穴として薄板状の基盤31に正方形状の穴を形成し、その穴の内周壁のうち隣接する2つを鏡面21,22として2面コーナーリフレクタ2を形成した例を示したが、例えば、このような構成に変えて、図10に示すように、基盤31’の厚み方向に突出する透明な筒状体により単位光学素子2’を構成し、このような筒状体を碁盤目状に多数形成した2面コーナーリフレクタアレイ3’であっても構わない。この場合、各筒状体32’の内壁面のうち、直交する第1内壁面及び第2内壁面を鏡面21’,22’として2面コーナーリフレクタ2’を構成することができる。この場合、前記実施形態と同様に、2面コーナーリフレクタ2’で2回反射する光が、基盤31’の面方向すなわち素子面3S’に対して面対称な点を通過することにより、所定の空間に2次元像のみならず3次元像をも結像させることができる。なお、筒状体の鏡面21’,22’以外の壁面23’,24’を鏡面としないか、もしくは素子面3S’に対して垂直以外の角度をつけることにより、余分な反射をなくして、より鮮明な像を得ることができる。また、2面コーナーリフレクタ2’を構成する2つの鏡面21’,22’は全反射を利用することもできるし、反射膜による反射を利用することも可能である。特に、鏡面21’,22’の全反射を利用する場合、全反射には臨界角が存在するため、多重反射は起こりにくくなることが期待できる。さらに、鏡面を形成すべき筒状体の2つの面に金属反射膜を付け、筒状体同士を接着することも可能である。この場合、鏡面以外の面への非鏡面化等の多重反射対策は必要であるが、開口率が高くなり、透過率が高い2面コーナーリフレクタアレイを得ることができる。
その他、2面コーナーリフレクタを構成する2つの鏡面は、直交する2枚の反射面さえ形成できれば相互に接触させずに相互に間隙を空けて配置されていてもよく、さらに上述した穴や筒状体において2面コーナーリフレクタを構成する鏡面として機能する2つの面と他の面同士の角度については特に制約はない。単位光学素子として、平面形状が矩形状以外の多角形状のもの、三角形のもの、或いは2つの鏡面の反交点側の端部同士を接続する面が平面視ほぼ部分円弧状のものを適用しても構わない。なお、単位光学素子の平面形状を直角三角形とした場合には、単位光学素子として直角プリズムを利用することを意味する。
<第2実施形態> 図11に示すこの実施形態は、空中映像インタラクション装置1’’’の基本構成の一例を概略的に示したものである。この空中映像インタラクション装置1’’’は、第1実施形態における一変形例としての空中映像インタラクション装置1’と適用される結像光学系の構成のみが異なり、他の構成はほぼ同じであるため、共通の構成部材については第1実施形態と共通の符号を用いて説明するものとする。すなわち本実施形態では、結像光学系6として、ハーフミラー7と再帰反射素子(以下、「レトロリフレクタアレイ」と称する)8とを備えた実鏡映像結像光学系を利用しており、ハーフミラー7を嵌め込んだ上蓋71を有する筐体4と、筐体4内に収容された2台のカメラ51と、これらカメラ51と接続された画像解析装置52とによって構成される。上蓋71におけるハーフミラー71の外側には2つの小孔72を形成しており、これら小孔72を通じてカメラ51でユーザ(物体)Uを撮影するように構成することができるようにしている。筐体4内には、ハーフミラー7の上方空間に投影される実像の元となる被投影物Oが収容される。
ハーフミラー7は、例えば透明樹脂やガラス等の透明薄板の一方の面に薄い反射膜をコーティングしたものを利用することができる。ハーフミラー7において光を透過し且つ反射する面であるハーフミラー面7Sが、本実施形態の空中映像インタラクション装置1’’’に適用される結像光学系6における光線屈曲面として機能している。
一方、レトロリフレクタアレイ8には、入射光を厳密に逆反射させるものであればあらゆる種類のものを適用することができ、素材表面への再帰反射膜や再帰反射塗料のコーティングなども考えられる。また、本実施形態ではレトロリフレクタアレイ8として平面的な形状のものを利用しているが、その形状は曲面としてもよい。例えば、図12(a)に正面図の一部を拡大して示すレトロリフレクタアレイ8は、立方体内角の1つの角を利用するコーナーキューブの集合であるコーナーキューブアレイである。個々のレトロリフレクタ8Aは、3つの同形同大の直角二等辺三角形をなす鏡面8Aa,8Ab,8Acを1点に集合させて正面視した場合に正三角形を形成するものであり、これら3つの鏡面8Aa,8Ab,8Acは互いに直交してコーナーキューブを構成している。また、図13(a)に正面図の一部を拡大して示すレトロリフレクタアレイ8も、立方体内角の1つの角を利用するコーナーキューブの集合であるコーナーキューブアレイである。個々のレトロリフレクタ8Bは、3つの同形同大の正方形をなす鏡面8Ba,8Bb,8Bcを1点に集合させて正面視した場合に正六角形を形成するものであり、これら3つの鏡面8Ba,8Bb,8Bcは互いに直交している。このレトロリフレクタアレイ8は、図12(a)のレトロリフレクタアレイ8とは形状が異なるだけで再帰反射の原理は同じである。図12(b)及び図13(b)に、図12(a)及び図13(a)にそれぞれ示したレトロリフレクタアレイ8を例にして説明すると、各レトロリフレクタ8A,8Bの鏡面のうちの一つ(例えば8Aa,8Ba)に入射した光は、他の鏡面(8Ab,8Bb)、さらに他の鏡面(8Ac,8Bc)で順次反射することで、レトロリフレクタ8A,8Bへ光が入射してきた元の方向へ反射する。なおレトロリフレクタアレイ8に対する入射光と出射光の経路は、厳密には重ならず平行であるが、レトロリフレクタ8A,8Bがレトロリフレクタアレイ8と比べて十分小さい場合には、入射光と出射光の経路が重なっているとみなしてもよい。これら2種類のコーナーキューブアレイの違いは、鏡面が二等辺三角形のものは比較的作成しやすいが反射率が若干低くなり、鏡面が正方形のものは二等辺三角形のものと比較して作成がやや難しい反面、反射率が高い、ということである。
図14に、本実施形態に適用される結像光学系6の結像の原理図を、光線の反射・透過の状態を横方向から見た図で示す模式図として示す。この結像光学系6では、水平方向にハーフミラー7を配置し、このハーフミラー7の一端側(反観察側)においてハーフミラー面7Sの下面側、すなわち筐体4内に1枚のレトロリフレクタアレイ8を鉛直姿勢で配置することで、ハーフミラー7とレトロリフレクタアレイ8とがほぼ直交するようにしている。まず、被投影物O(図中、点光源として示す)から様々な方向に出た光がハーフミラー7のハーフミラー面7Sで反射し、レトロリフレクタアレイ8で反射して同じ方向へ再帰反射し、さらにハーフミラー面7Sを透過することによって、ハーフミラー7の上面の上方空間の一点で再び1点に集まる。すなわち、この集光は結像を意味する。この集光点は、被投影物Oのハーフミラー面7Sに対する面対称位置である。なお、本実施形態ではレトロリフレクタアレイ8が実像Pの観察の障害とならないように考慮して、レトロリフレクタアレイ8をハーフミラー7の下面側における筐体4内に収容しているが、実像Pの観察の障害とならない範囲であれば、レトロリフレクタアレイ8をハーフミラーの上面側に配置したり、ハーフミラー7の上下両面側に亘って配置することが可能である。すなわち、レトロリフレクタアレイ8をハーフミラー7の上面側に配置する場合には、被投影物Oから様々な方向に出た光がハーフミラー7を直線的に透過してレトロリフレクタアレイ8で同じ方向へ再帰反射し、さらにハーフミラー7で反射することによって、ハーフミラー7の上面の上方空間の一点で結像する。また、レトロリフレクタアレイ8をハーフミラー7の上下両面側に亘って配置する場合には、被投影物Oから出た光は上述した2つの光路を経て、共に被投影物Oのハーフミラー面7Sに対する面対称位置に結像する。すなわち、いずれの光路を通る光線も、被投影物Oのハーフミラー7(より詳細にはハーフミラー面7S)に対する面対称位置を通過するため、同じ位置に実像Pが共栄像として結像し、これを一定の視点から観察することができる。ここで、実像Pの被投影物Oに対する明るさ(光線の透過率)は、光路ごとに「ハーフミラー透過率」と「ハーフミラー反射率」と「コーナーキューブ反射率」の3つを乗じることによって得られる。仮に理想的な最大値として、「ハーフミラー透過率」及び「ハーフミラー反射率」を共に0.5、「コーナーキューブ反射率」をrとすれば、何れか一方の光路を通った実像Pの透過率は共に0.25rとなり、両光路L1、L2を合わせると実像P全体の透過率はその合計の0.5rとなる。
このように、本実施形態の空中映像インタラクション装置1’’’では、被投影物Oから出た光を、結像光学系6におけるハーフミラー7で斜め下方に反射させ、レトロリフレクタアレイ8で再帰反射させ、さらにハーフミラー7を直線的に透過させることにより、ハーフミラー面7Sを光線屈曲面として面対称位置に実鏡映像として結像させることで、実像Pをハーフミラー7の斜め上方から観察することができる。この実像Pの3次元位置は、第1実施形態の場合と同様に、筐体4におけるハーフミラー7の位置及び被投影物Oの位置を既知とすれば、実像Pはハーフミラー面7Sに対して必ず被投影物Oの面対称位置に結像するという規則性を利用して算出することができる。そして、実像Pにアクセスするユーザ(物体)Uは、筐体4の上蓋71の小孔72を通じて2台のカメラ51によって直接撮影されることになる。2台のカメラ51で撮影された映像が画像解析装置52へ送信され、その映像情報に基づいて画像解析装置52における画像解析及び位置特定プログラムによりユーザ(物体)Uの映像の特定及び3次元位置の計測が行われるのは、図7にフローチャートで示したとおり、第1実施形態の場合と同様である。さらに、得られたユーザ(物体)Uの3次元位置情報(又はそれに加えて実像Pの3次元位置情報)は、例えば被投影物Oが所定の制御プログラムに従って動作する物体又は映像である場合には、当該制御プログラムに対して出力されることについても第1実施形態で説明したとおりである。もちろん、被投影物Oが映像である場合には、制御プログラムは被投影物Oを別の映像に変化させるようなものであってもよいのも同様である。
以上の通り、本実施形態の空中映像インタラクション装置1’’’を上述のように利用することで、第1実施形態の場合と同様に、ハーフミラー面7Sの上方の空中に被投影物Oの実像Pを2次元的又は3次元的に投影することができる上に、その実像Pにアクセスするユーザ(物体)Uの3次元位置を容易に特定することが可能である。したがって、ユーザ(物体)Uの3次元位置情報を例えば被投影物Oの動作を制御する制御プログラムで処理することで、ユーザ(物体)Uの位置に応じて被投影物O及び実像Pを動作又は変化させることが容易となり、実像Pとユーザ(物体)Uとの仮想的なインタラクションを容易に実現ならしめることができる。また、本空中映像インタラクション装置1では、ユーザ(物体)Uにその3次元位置を特定するためのセンサを付帯させる必要がないため、例えば通りすがりに本空中映像インタラクション装置1を利用するユーザにも、何ら負担をかけることなく利用させることができる。また、空中映像インタラクション装置1’’’の外部にユーザ(物体)Uの位置を特定する赤外線・センサ対を設置する必要がないため、空中映像インタラクション装置1’’’自体を非常にコンパクトなものとして、設置場所や移動を比較的自由に設定することが可能である。
なお、ハーフミラー7及びレトロリフレクタアレイ8から構成される結像光学系6を備えた空中映像インタラクション装置1’’’の具体的構成は、上述した実施形態に限られるものではない。例えば第1実施形態の空中映像インタラクション装置1のように、カメラ51によりハーフミラー7越しにユーザ(物体)Uの撮影を行うようにしてもよいし、その変形例である空中映像インタラクション装置1’’のように、カメラ51をハーフミラー7の上方空間に配置してユーザ(物体)Uを直接撮影するようにしてもよいのはもちろんである。また、上述したように、レトロリフレクタアレイ8をハーフミラー7の上面側のみに配置したり、ハーフミラー7の上下両面側に亘って配置することも可能である。
また、本発明においては、カメラによりユーザ(物体)を撮影してその位置や形状を特定するのではなく、結像光学系により結像するユーザ(物体)の実像をハーフミラーにより被投影物とは分離して撮影することにより、そのユーザ(物体)の位置や形状を特定するように構成することも可能である。例えば図15は、空中映像インタラクション装置1’’’’を側方から見た模式図であり、この例では、結像光学系として第1実施形態と同様の2面コーナーリフレクタアレイ3を適用している。同図に示されるように、被投影物Oからの光は、2面コーナーリフレクタアレイ3における各2面コーナーリフレクタ2で2回反射し、素子面3Sを屈曲しつつ透過することにより、素子面3Sに対する面対称位置に実像Pとして結像する。この2面コーナーリフレクタアレイ3による結像様式は、素子面3Sに対して対称的である。すなわち、実像Pに近づいてきたユーザ(物体)Uから出た光も、2面コーナーリフレクタアレイ3における各2面コーナーリフレクタ2で2回反射して、素子面3Sに対する面対称位置に実像Vとして結像する。ただし、ユーザ(物体)Uと実像Pとの位置関係によっては、実像Vが被投影物Oにより遮蔽されてしまい、部分的にしか、もしくは全く結像しないことがある。そこで本例では、素子面3Sと被投影物Oとの間、より詳細には、ユーザ(物体)Uから出て素子面3Sで屈曲した光線の、当該屈曲点から実像Vまでの光路の間にハーフミラー9を配置している。図示例では、ハーフミラー9を素子面3Sに対してほぼ垂直に配置した状態を示しているが、ハーフミラー9の素子面3Sに対する配置角度は適宜変更することができる。ハーフミラー9は、被投影物Oから出た光を直線的に透過させるため、実像Pの結像に問題は生じない。このように、ハーフミラー9を配置することで、ユーザ(物体)Uから出た光は、2面コーナーリフレクタアレイ3における各2面コーナーリフレクタ2で2回反射して素子面3Sを透過し、その透過光の一部は、ハーフミラー9で反射して、実像Vのハーフミラー9に対する面対称位置に実像V’として結像する。この実像V’をカメラ51により撮影することで、ユーザ(物体)の位置や形状を特定することが可能となる。なお、ハーフミラー9の角度を調整することによって、カメラ51から実像V’を観測したときに、その背景に被投影物Oが重ならないように配置することが可能となり、実像V’と被投影物Oとは分離した状態で、その位置や形状を特定することが可能となる。なお、本例では結像光学系として、2面コーナーリフレクタアレイ3を適用した例で説明したが、ハーフミラー7とレトロリフレクタアレイ8とを用いた結像光学系6や、他の結像光学系を適用することも可能である。
さらに本発明において、空中映像にアクセするユーザ(物体)の位置計測は、カメラを用いる方法のみならず、レーザースキャナによる位置計測、リンク機構における各間接の角度計測による位置計測、磁気センサ、超音波センサ、電波等による位置計測等の各方法を利用することができる。
また、実像Pとユーザ(物体)Uとの3次元位置が特定された場合、ユーザ(物体)Uと実像Pとが仮想的にインタラクションを行ったことへのフィードバックにより、実像Pを変化させる実像変化手段を空中映像インタラクション装置に設けることも考えられる。実像Pを容易に変化させるためには、上述したように被投影物Oを映像とすることが望ましく、その映像表示プログラムに被投影物Oの動的な変化を組み込む必要がある。具体的には、例えばユーザ(物体)Uの位置や形状に応じて実像を変化させる手法として、ユーザ(物体)Uの各点の位置計測を行うことでユーザ(物体)U3次元位置及び形状の測定を行い、計測した形状からユーザ(物体)Uの形状認識を行い、さらに認識した形状から動作認識を行うことで、例えば実像Pをつまむ、つかむ、なでる等のユーザ(物体)Uの動作を識別する。そして、計測された位置と実像の相対位置関係、及び形状・動作の情報から、被投影物Oに適切な変化を与えることで、実像Pに変化を生じさせ、ユーザ(物体)Uと実像Pとのインタラクションを実現することができる。
また、インタラクションによる他のフィードバックの手法としては、上述した実像変化手段と併せて又はそれとは別に、物体に力を及ぼす対物体作用機構を空中映像インタラクション装置に設けることも考えられる。対物体作用機構としては、例えば、ユーザが手指に前述のリンク機構の操作部を把持し、それを位置計測したうえで力覚情報を加味することにより、リンク機構からユーザの手指に反力を与えるというフォースフィードバックを利用する機能を例示することができる。この場合、リンク機構を構成する各リンクの長さは既知であり、さらに実像Pにアクセスしたユーザの手指につながる各リンクの角度情報を取得すれば、リンク機構の先端部(ユーザの手指)の座標を求めることができる。また、対物体作用機構の別の例としては、実像Pにアクセスするユーザの手指に空気流を与える空気流発生機構を利用することもできる。この場合、例えば上記実施形態における光線屈曲面の周囲(例えば上蓋31,71)に穴を形成し、その穴に渦輪もしくはエアジェットによる空気流を放出できるエアーノズルを配置しておき、ユーザの手指が実像を横切ったことを位置認識により特定した時点で空気流を放出することにより、ユーザに触覚を与えるようにすることができる。エアーノズルは、空気流の方向制御(方位角、仰角の2軸制御が可能なもの)機構を備え、位置を特定したユーザの手指に対して空気流を噴射できるようなものが望ましく、この場合、上述のリンク機構とは異なり、ユーザに装具の装着の必要がないという利点がある。その他、対物体作用機構には、実像Pにアクセスするユーザ(物体)Uに取り付けたワイヤによるフォースフィードバック、ユーザ(物体)Uに取り付けた振動モータによる触覚フィードバック等を利用することができる。
その他、各部の具体的構成についても上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で種々変形が可能である。
本発明の空中映像インタラクション装置は、空中映像とユーザとのインタラクションを可能とする映像機器、アトラクション装置、教育機器、医療機器等の分野に応用することが可能である。

Claims (18)

  1. 光線の光路が屈曲することとなる1つの平面を構成する光線屈曲面と、前記光線を反射する複数の鏡面とを有する結像光学系であって、前記光線屈曲面の一方面側に配置される被投影物の実像を、前記被投影物から発せられる光線が前記光線屈曲面を透過し且つ前記複数の鏡面で合計2回以上反射することによって当該光線屈曲面の反対面側に前後を反転させて結像する結像光学系と、
    前記実像に近接させた物体の位置、又は位置及び形状を特定する物体特定手段と、を具備してなることを特徴とする空中映像インタラクション装置。
  2. 前記物体特定手段により特定された前記物体の位置、又は位置及び形状を利用して、前記実像を変化させる実像変化手段をさらに具備している請求項1に記載の空中映像インタラクション装置。
  3. 前記物体特定手段により特定された前記物体の位置、又は位置及び形状を利用して、前記物体に力を及ぼす対物体作用機構をさらに具備している請求項1又は2の何れかに記載の空中映像インタラクション装置。
  4. 前記対物体作用機構は、機械的なリンク機構を有するものである請求項3に記載の空中映像インタラクション装置。
  5. 前記対物体作用機構は、空気の流れを発生させる空気流発生機構を有するものである請求項3又は4の何れかに記載の空中映像インタラクション装置。
  6. 前記結像光学系は、前記光線屈曲面となる素子面に垂直もしくはそれに近い角度で配置された前記複数の鏡面による光の反射を行う単位光学素子を複数備え、これら複数の単位光学素子により前記素子面の一方面側に配置される被投影物の実像を当該素子面の反対面側に結像する結像光学素子である請求項1乃至5の何れかに記載の空中映像インタラクション装置。
  7. 前記結像光学素子は、前記単位光学素子が、直交する2つの鏡面によって構成され2面コーナーリフレクタとして機能する2面コーナーリフレクタアレイである請求項6に記載の空中映像インタラクション装置。
  8. 前記結像光学系は、前記光線屈曲面となるハーフミラー面を有するハーフミラーと、該ハーフミラーからの透過光若しくは反射光を再帰反射させる位置に配置され前記複数の鏡面からなる単位再帰反射素子の集合であるレトロリフレクタアレイとを具備するものである請求項1乃至5の何れかに記載の空中映像インタラクション装置。
  9. 前記物体特定手段を、前記光線屈曲面に対して固定された相対位置に配置している請求項1乃至8の何れかに記載の空中映像インタラクション装置。
  10. 前記物体特定手段は、前記物体を撮影する1台以上のカメラと、当該カメラで撮影された映像から前記物体の位置、又は位置及び形状を解析する画像解析装置とを具備して構成される請求項1乃至9の何れかに記載の空中映像インタラクション装置。
  11. 前記カメラを、前記光線屈曲面に対して前記被投影物と同じ側に配置している請求項10に記載の空中映像インタラクション装置。
  12. 前記カメラを、前記光線屈曲面を透して直接前記物体を撮影し得る位置に配置している請求項11に記載の空中映像インタラクション装置。
  13. 前記光線屈曲面と前記被投影物との間にハーフミラーを配置し、前記カメラを、前記ハーフミラーにより反射された前記物体に対する前記結像光学系による実像を撮影するように配置している請求項11に記載の空中映像インタラクション装置。
  14. 前記物体特定手段は、前記物体を撮影する1台以上のカメラと、当該カメラで撮影された映像から前記物体の位置を解析する画像解析装置とを具備して構成されるものであり、前記カメラを、前記各単位光学素子の鏡面に1度だけ反射させて前記物体を撮影し得る位置に配置している請求項6又は7の何れかに記載の空中映像インタラクション装置。
  15. 前記カメラを、前記光線屈曲面を透すことなく直接に前記物体を撮影し得る位置に配置している請求項10に記載の空中映像インタラクション装置。
  16. 前記カメラを、前記光線屈曲面に対して前記実像と同じ側に配置している請求項10に記載の空中映像インタラクション装置。
  17. 前記カメラの少なくとも1台が、距離画像を取得できる距離測定カメラである請求項10乃至16の何れかに記載の空中映像インタラクション装置。
  18. 請求項1乃至12の何れかに記載の空中映像インタラクション装置において利用されるコンピュータプログラムであって、
    前記物体特定手段により前記物体の位置、又は位置及び形状を計測し、その計測結果に基づいて当該物体の位置、又は位置及び形状を特定する物体特定工程と、
    前記物体特定工程で特定した前記物体の位置、又は位置及び形状に係る情報を、前記物体の位置、又は位置及び形状に対応して前記被投影物を制御する所定のインタラクションプログラムへ出力する物体情報出力工程とを備えていることを特徴とするプログラム。
JP2009509249A 2007-03-30 2008-03-31 空中映像インタラクション装置及びそのプログラム Active JP5212991B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007091786 2007-03-30
JP2007091786 2007-03-30
JP2009509249A JP5212991B2 (ja) 2007-03-30 2008-03-31 空中映像インタラクション装置及びそのプログラム
PCT/JP2008/056349 WO2008123500A1 (ja) 2007-03-30 2008-03-31 空中映像インタラクション装置及びそのプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009509249A JP5212991B2 (ja) 2007-03-30 2008-03-31 空中映像インタラクション装置及びそのプログラム

Publications (2)

Publication Number Publication Date
JPWO2008123500A1 JPWO2008123500A1 (ja) 2010-07-15
JP5212991B2 true JP5212991B2 (ja) 2013-06-19

Family

ID=39830977

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009509249A Active JP5212991B2 (ja) 2007-03-30 2008-03-31 空中映像インタラクション装置及びそのプログラム

Country Status (5)

Country Link
US (1) US8985774B2 (ja)
EP (1) EP2144448B1 (ja)
JP (1) JP5212991B2 (ja)
CN (1) CN101641964B (ja)
WO (1) WO2008123500A1 (ja)

Families Citing this family (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4989383B2 (ja) * 2007-09-10 2012-08-01 キヤノン株式会社 情報処理装置、情報処理方法
US20110102570A1 (en) * 2008-04-14 2011-05-05 Saar Wilf Vision based pointing device emulation
JP5410776B2 (ja) * 2009-02-16 2014-02-05 スタンレー電気株式会社 表示装置
JP2010262229A (ja) * 2009-05-11 2010-11-18 National Institute Of Information & Communication Technology 表示装置
GB2483168B (en) 2009-10-13 2013-06-12 Pointgrab Ltd Computer vision gesture based control of a device
WO2011052588A1 (ja) * 2009-10-28 2011-05-05 シャープ株式会社 光学システム
WO2011108139A1 (ja) * 2010-03-03 2011-09-09 シャープ株式会社 テレビ会議システム
JP5498853B2 (ja) * 2010-05-21 2014-05-21 スタンレー電気株式会社 表示装置
JP5598232B2 (ja) * 2010-10-04 2014-10-01 ソニー株式会社 情報処理装置、情報処理システムおよび情報処理方法
US9043732B2 (en) * 2010-10-21 2015-05-26 Nokia Corporation Apparatus and method for user input for controlling displayed information
WO2012073362A1 (ja) * 2010-12-02 2012-06-07 パイオニア株式会社 デスクトップディスプレイシステム
US8686943B1 (en) * 2011-05-13 2014-04-01 Imimtek, Inc. Two-dimensional method and system enabling three-dimensional user interaction with a device
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
WO2012133279A1 (ja) * 2011-03-30 2012-10-04 シャープ株式会社 光学システム
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
US8773512B1 (en) * 2011-06-30 2014-07-08 Aquifi, Inc. Portable remote control device enabling three-dimensional user interaction with at least one appliance
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
TW201303368A (zh) * 2011-07-10 2013-01-16 Ind Tech Res Inst 顯示裝置
US9097904B2 (en) 2011-07-10 2015-08-04 Industrial Technology Research Institute Display apparatus
CN102880337B (zh) * 2011-07-10 2015-08-19 财团法人工业技术研究院 显示装置
JP5763464B2 (ja) * 2011-08-01 2015-08-12 矢崎総業株式会社 位置特定装置及び車両
JP2013033344A (ja) * 2011-08-01 2013-02-14 Yazaki Corp 表示装置
US20130100008A1 (en) * 2011-10-19 2013-04-25 Stefan J. Marti Haptic Response Module
DE102011117979A1 (de) * 2011-11-09 2013-05-16 Deutsche Telekom Ag Verfahren zum Bereitstellen von Daten und/oder Interaktionsmöglichkeiten zwischen einem Nutzer und einer Datenverarbeitungsanordnung
CN110275607A (zh) 2011-11-21 2019-09-24 株式会社尼康 显示装置及显示控制程序
WO2013089490A1 (ko) * 2011-12-15 2013-06-20 한양대학교 산학협력단 디스플레이 장치와 연동하는 촉감 제공 장치 및 방법
GB2498184A (en) * 2012-01-03 2013-07-10 Liang Kong Interactive autostereoscopic three-dimensional display
US9851574B2 (en) 2012-01-20 2017-12-26 Empire Technology Development Llc Mirror array display system
US9092953B1 (en) * 2012-01-24 2015-07-28 Bruce J. P. Mortimer System and method for providing a remote haptic stimulus
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
WO2013124845A1 (en) * 2012-02-22 2013-08-29 Pointgrab Ltd. Computer vision based control of an icon on a display
JP5987395B2 (ja) * 2012-03-27 2016-09-07 セイコーエプソン株式会社 表示装置
JP2013205730A (ja) * 2012-03-29 2013-10-07 Seiko Epson Corp 電子機器、及び表示システム
JP2014130305A (ja) * 2012-03-30 2014-07-10 Nitto Denko Corp 表示装置
JP6143161B2 (ja) * 2012-03-30 2017-06-07 日東電工株式会社 表示装置
JP2014130309A (ja) * 2012-03-30 2014-07-10 Nitto Denko Corp 表示装置
JP2013242850A (ja) * 2012-04-27 2013-12-05 Nitto Denko Corp 表示入力装置
US8938124B2 (en) 2012-05-10 2015-01-20 Pointgrab Ltd. Computer vision based tracking of a hand
US9098739B2 (en) 2012-06-25 2015-08-04 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching
JP2014021305A (ja) * 2012-07-19 2014-02-03 Nitto Denko Corp 表示入力装置
JP2014032600A (ja) * 2012-08-06 2014-02-20 Nitto Denko Corp 表示入力装置
JP2014081617A (ja) * 2012-09-28 2014-05-08 Nlt Technologies Ltd 空間結像素子及びその製造方法、表示装置および端末機
US10241638B2 (en) 2012-11-02 2019-03-26 Atheer, Inc. Method and apparatus for a three dimensional interface
JP5992302B2 (ja) * 2012-11-27 2016-09-14 日東電工株式会社 表示装置
US9129155B2 (en) 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
CN104077013B (zh) * 2013-03-28 2019-02-05 联想(北京)有限公司 指令识别方法和电子设备
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
JP2014203323A (ja) * 2013-04-08 2014-10-27 船井電機株式会社 空間入力装置
US9619027B2 (en) * 2013-07-12 2017-04-11 Disney Enterprises, Inc. Using vortices to provide tactile sensations corresponding to a visual presentation
CN103412410B (zh) * 2013-07-19 2015-10-14 京东方科技集团股份有限公司 一种立体触感装置及显示装置
US9798388B1 (en) 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
JP2015060296A (ja) * 2013-09-17 2015-03-30 船井電機株式会社 空間座標特定装置
US9965034B2 (en) * 2013-12-30 2018-05-08 Immersion Corporation Systems and methods for a haptically-enabled projected user interface
KR101534745B1 (ko) * 2013-12-31 2015-07-07 현대자동차 주식회사 제스처 인식 장치
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US20150199011A1 (en) * 2014-01-14 2015-07-16 Microsoft Corporation Attractive and repulsive force feedback
DE102014201578A1 (de) * 2014-01-29 2015-07-30 Volkswagen Ag Vorrichtung und Verfahren zur Signalisierung eines Eingabebereiches zur Gestenerkennung einer Mensch-Maschine-Schnittstelle
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
US20170090518A1 (en) * 2014-03-31 2017-03-30 Sony Corporation Electronic apparatus
JP6390171B2 (ja) * 2014-05-29 2018-09-19 船井電機株式会社 レーザー装置
US9841844B2 (en) * 2014-06-20 2017-12-12 Funai Electric Co., Ltd. Image display device
JP6427981B2 (ja) * 2014-06-20 2018-11-28 船井電機株式会社 画像表示装置
JP6314688B2 (ja) * 2014-06-25 2018-04-25 船井電機株式会社 入力装置
EP3260956B1 (en) * 2015-02-16 2019-11-06 Asukanet Company, Ltd. Non-contact input device and method
FR3034053B1 (fr) * 2015-03-26 2017-03-17 Continental Automotive France Systeme de palette tactile mobile ou deformable formant une interface homme-machine adapte sur un volant de vehicule
US9613406B2 (en) 2015-03-31 2017-04-04 Nokia Technologies Oy Method and apparatus for providing specular surface reconstruction
JP6573101B2 (ja) * 2015-04-02 2019-09-11 株式会社コト インタラクション実行方法及び該方法を採用する装置並びにプログラム
JP6361828B2 (ja) * 2015-06-11 2018-07-25 コニカミノルタ株式会社 空中映像表示装置
JP6536350B2 (ja) 2015-10-26 2019-07-03 船井電機株式会社 入力装置
WO2017122256A1 (ja) * 2016-01-14 2017-07-20 パナソニックIpマネジメント株式会社 洗濯機
JP6493240B2 (ja) 2016-02-08 2019-04-03 三菱電機株式会社 空中映像表示装置
JP6428665B2 (ja) 2016-02-10 2018-11-28 三菱電機株式会社 空中映像表示装置
JPWO2017141956A1 (ja) * 2016-02-19 2018-08-02 パナソニックIpマネジメント株式会社 空間表示装置
KR20170129022A (ko) * 2016-05-16 2017-11-24 삼성전자주식회사 입체 영상 장치 및 그를 포함하는 전자 장치
US10409470B2 (en) 2016-09-14 2019-09-10 Microsoft Technology Licensing, Llc Touch-display accessory with relayed display plane
JP2018077438A (ja) * 2016-11-11 2018-05-17 株式会社ジャパンディスプレイ 表示装置
JP2020013171A (ja) * 2016-11-16 2020-01-23 パナソニックIpマネジメント株式会社 センサシステム
JP6390736B2 (ja) * 2017-03-15 2018-09-19 船井電機株式会社 空間入力装置
WO2018179826A1 (ja) * 2017-03-27 2018-10-04 富士フイルム株式会社 視覚触覚統合呈示装置
JP6315127B2 (ja) * 2017-04-10 2018-04-25 船井電機株式会社 入力装置、空中像インタラクションシステム、及び入力方法
JP6389547B1 (ja) * 2017-06-29 2018-09-12 ピクシーダストテクノロジーズ株式会社 撮像装置及び眼底検査装置
US10091482B1 (en) 2017-08-04 2018-10-02 International Business Machines Corporation Context aware midair projection display
CN107831558A (zh) * 2017-12-09 2018-03-23 安徽省东超科技有限公司 多排多列等效负折射率平板透镜
JP2019128726A (ja) * 2018-01-23 2019-08-01 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
WO2019163339A1 (ja) * 2018-02-22 2019-08-29 株式会社アスカネット 非接触入力装置及び非接触入力方法
JP6712609B2 (ja) * 2018-02-28 2020-06-24 コイト電工株式会社 非接触入力装置
US10949554B2 (en) 2018-08-08 2021-03-16 International Business Machines Corporation Content security for midair projection display
CN111522146B (en) * 2020-05-11 2021-02-26 北京航空航天大学 Large-size seamless spliced integrated imaging desktop 3D display device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0955152A (ja) * 1995-08-11 1997-02-25 Tietech Co Ltd タッチレスパネルスイッチにおける物体検出手段
JPH10326148A (ja) * 1997-03-21 1998-12-08 Takenaka Komuten Co Ltd ハンドポインティング装置
JP2001022499A (ja) * 1999-07-05 2001-01-26 Nippon Telegr & Teleph Corp <Ntt> 仮想空間における風圧による力覚提示装置
JP2004213351A (ja) * 2002-12-27 2004-07-29 Seiko Epson Corp 力覚提示装置及び力覚提示システム
WO2007013215A1 (ja) * 2005-07-25 2007-02-01 Pioneer Corporation 画像表示装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3057256A (en) * 1952-03-10 1962-10-09 Richard T Erban Optical screen
US4509837A (en) * 1980-08-29 1985-04-09 Michiel Kassies Real image projection device
US5701140A (en) * 1993-07-16 1997-12-23 Immersion Human Interface Corp. Method and apparatus for providing a cursor control interface with force feedback
GB2284680A (en) * 1993-12-13 1995-06-14 Central Research Lab Ltd Apparatus for displaying a suspended image
GB2369451B (en) * 2000-07-27 2002-07-17 Michael John Downs Jamin-type interferometers
CN1223878C (zh) * 2001-01-16 2005-10-19 亚特科研公司 立体三维图像显示方法
JP3847593B2 (ja) * 2001-02-20 2006-11-22 シャープ株式会社 コーナーキューブアレイなどの光学素子及びそれを備える反射型表示装置
US8035612B2 (en) * 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
JP2005141102A (ja) * 2003-11-07 2005-06-02 Pioneer Electronic Corp 立体的二次元画像表示装置及び方法
CN2682483Y (zh) * 2004-03-11 2005-03-02 钟煜曦 一种基于图像的互动输入控制系统
US7787009B2 (en) * 2004-05-10 2010-08-31 University Of Southern California Three dimensional interaction with autostereoscopic displays
EP1768011B1 (en) * 2004-07-15 2012-07-11 Nippon Telegraph And Telephone Corporation Inner force sense presentation device, inner force sense presentation method, and inner force sense presentation program
JP2006317708A (ja) * 2005-05-12 2006-11-24 Yasuaki Tanaka 空中浮遊映像投影装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0955152A (ja) * 1995-08-11 1997-02-25 Tietech Co Ltd タッチレスパネルスイッチにおける物体検出手段
JPH10326148A (ja) * 1997-03-21 1998-12-08 Takenaka Komuten Co Ltd ハンドポインティング装置
JP2001022499A (ja) * 1999-07-05 2001-01-26 Nippon Telegr & Teleph Corp <Ntt> 仮想空間における風圧による力覚提示装置
JP2004213351A (ja) * 2002-12-27 2004-07-29 Seiko Epson Corp 力覚提示装置及び力覚提示システム
WO2007013215A1 (ja) * 2005-07-25 2007-02-01 Pioneer Corporation 画像表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6007015633; 前川 聡 他: '微小2面コーナーリフレクタアレイを用いた面対称結像光学素子-実像を結像する「鏡」-' 映像情報メディア学会技術報告 Vol.30,No.52, 20061018, 49-52頁 *

Also Published As

Publication number Publication date
WO2008123500A1 (ja) 2008-10-16
CN101641964B (zh) 2012-01-18
EP2144448A1 (en) 2010-01-13
EP2144448B1 (en) 2019-01-09
CN101641964A (zh) 2010-02-03
EP2144448A4 (en) 2011-12-21
US20100110384A1 (en) 2010-05-06
US8985774B2 (en) 2015-03-24
JPWO2008123500A1 (ja) 2010-07-15

Similar Documents

Publication Publication Date Title
US10712571B2 (en) Holograghic waveguide eye tracker
JP2018010653A (ja) コンピュータ装置の遠隔制御
US20200257488A1 (en) Spatial location presentation in head worn computing
US9767613B1 (en) Systems and method of interacting with a virtual object
CN107407727B (zh) 用于光检测与测距光学对准的方法与系统
US9852545B2 (en) Spatial location presentation in head worn computing
US10670928B2 (en) Wide angle beam steering for virtual reality and augmented reality
JP2019141620A (ja) 三次元物体上の注視点決定方法及び装置
US10241616B2 (en) Calibration of sensors and projector
US9342728B2 (en) System and method for contactless multi-fingerprint collection
US10712818B2 (en) Fiducial rings in virtual reality
Wilson et al. Steerable augmented reality with the beamatron
US10466036B2 (en) Attachable depth and orientation tracker device and method of depth and orientation tracking using focal plane polarization and color camera
ES2768033T3 (es) Three-dimensional tracking of a user control device in a volume
US20150228120A1 (en) Spatial location presentation in head worn computing
CN103828341B (zh) 便携式投影捕捉装置
KR101136231B1 (ko) 다시점 공중 영상 표시 장치
TWI339347B (en) Method and device for optical navigation
RU2521725C2 (ru) Система и способ трехмерного измерения формы материальных объектов
US8339378B2 (en) Interactive input system with multi-angle reflector
US7292269B2 (en) Context aware projector
CN102325242B (zh) 多图像投影装置
Chen et al. Active sensor planning for multiview vision tasks
KR101331543B1 (ko) 스페클 패턴을 이용한 3차원 센싱
KR100910024B1 (ko) 선형 적외선 발광체를 이용한 카메라 방식의 터치 스크린

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120529

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130219

R150 Certificate of patent or registration of utility model

Ref document number: 5212991

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160308

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250