JPWO2015049866A1 - インターフェース装置、モジュール、制御部品、制御方法およびコンピュータプログラム - Google Patents

インターフェース装置、モジュール、制御部品、制御方法およびコンピュータプログラム Download PDF

Info

Publication number
JPWO2015049866A1
JPWO2015049866A1 JP2015540396A JP2015540396A JPWO2015049866A1 JP WO2015049866 A1 JPWO2015049866 A1 JP WO2015049866A1 JP 2015540396 A JP2015540396 A JP 2015540396A JP 2015540396 A JP2015540396 A JP 2015540396A JP WO2015049866 A1 JPWO2015049866 A1 JP WO2015049866A1
Authority
JP
Japan
Prior art keywords
image
laser light
interface device
light receiving
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015540396A
Other languages
English (en)
Inventor
藤男 奥村
藤男 奥村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2015049866A1 publication Critical patent/JPWO2015049866A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/06Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the phase of light
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/18Diffraction gratings
    • G02B5/1828Diffraction gratings having means for producing variable diffraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1639Details related to the display arrangement, including those related to the mounting of the display in the housing the display being based on projection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3173Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1662Details related to the integrated keyboard
    • G06F1/1673Arrangements for projecting a virtual keyboard

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Projection Apparatus (AREA)
  • Mechanical Light Control Or Optical Switches (AREA)
  • Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

小型及び軽量であるプロジェクタにおいて、複数の方向に対して同時に明るい像を照射できる技術を提供する。インターフェース装置1003は、レーザ光を照射するレーザ光源311と、入射したレーザ光の位相を変調して出射する素子232と、対象物を撮影する撮像部101と、撮像部101が撮影した対象物を認識し、この認識結果に基づいて素子323が出射する光に基づいて形成される像を決定し、この決定した像が形成されるように素子323を制御する制御部203とを備える。

Description

本発明は、インターフェース装置、モジュール、制御部品、制御方法およびプログラム記憶媒体に関する。
近年、カメラなどの画像認識機器とプロジェクタを組み合わせたインターフェース装置が開発されている。これらのインターフェース装置(ユーザーインターフェース装置、またはマンマシンインターフェース装置)は、物体、手、又は指によるジェスチャをカメラで撮影する。そして、これらのインターフェース装置は、撮影した物体を画像処理によって識別もしくは認識し、または撮影したジェスチャを画像処理によって認識する。さらに、これらのインターフェース装置は、画像処理の結果に応じた情報に基づいて、どのような画像をプロジェクタから照射するかを決定する。
また、これらのインターフェース装置は、プロジェクタによって照射された像に対する手または指によるジェスチャを読み取ることにより、入力情報として取得することができる。このようなインターフェース装置の例が、非特許文献1〜3に記載されている。
上記のようなインターフェース装置においてプロジェクタは重要な構成要素である。インターフェース装置を小型かつ軽量にするためには、プロジェクタを小型かつ軽量にする必要がある。現在、このような、小型かつ軽量なプロジェクタは、ピコプロジェクタと呼ばれている。
ここで、プロジェクタを小型及び軽量にすることと、プロジェクタの出力を大きくすることは、トレードオフの関係にある。例えば非特許文献4が開示するピコプロジェクタは、出力(すなわち、照射する像)の明るさがピコプロジェクタの中で最高の部類である一方、大きさもピコプロジェクタの中で最大の部類である。具体的には、このプロジェクタは、体積が160cm、重量が200gである。そして、このプロジェクタは、12W(ワット)のLED(Light Emitting Diode)光源によって、33lm(ルーメン:lumen) の光束を出力する。一方、非特許文献5が開示するピコプロジェクタは、非特許文献4が開示するプロジェクタより小型及び軽量であるものの、出力の明るさは特許文献4が開示するプロジェクタの半分程度である。具体的には、非特許文献5が開示するプロジェクタは、同文献に含まれる仕様によれば、体積が100cm、重量が112g、消費電力が4.5W、かつ、明るさは15lmである。
特開2003−140108号公報 特開2006−267887号公報 特開2006−285561号公報
Pranav Mistry、「SixthSense」、MIT Media Lab、[2013年9月12日検索]、インターネット(URL:http://www.pranavmistry.com/projects/sixthsense) Hrvoje Benko、Scott Saponas、「Omnitouch」、Microsoft、[2013年9月12日検索]、インターネット(URL: http://research.microsoft.com/en-us/news/features/touch-101711.aspx) NEC、Mobile World Congress 2012、[2013年9月12日検索]、インターネット(URL: http://www.nec.com/en/event/mwc/movie.html) 「Shenzhen YSF社製小型プロジェクタGP-091」、[2013年9月12日検索]、インターネット(URL:http://trade.e-to-china.com/product-p1A6DEA1/Mini_led_Lcos_projector_GP_091_Portable_home_theater_Projector.html) 「Microvision社の小型レーザプロジェクタ」、[2013年9月12日検索]、インターネット(URL: http://www.itmedia.co.jp/lifestyle/articles/1107/06/news098.html) 「Sixthsenseに用いられるプロジェクタの性能」、[2013年9月12日検索]、インターネット(URL:http://www.picopros.com/article/sixthsense-technology-using-microvision-picop%C2%AE-technology) 小館香椎子、神谷武志、「回折光学素子の数値解析とその応用」、丸善出版株式会社、2011年12月、p.175−179
本発明者は、小型及び軽量であるプロジェクタにおいて、画像を表示すべき複数の場所に対して、明るい画像を照射する方法を検討した。前述したように、現在、プロジェクタにおいて、小型及び軽量にすることと、画像を明るくすることとは、トレードオフの関係にある。現状のピコプロジェクタは、小型化及び軽量化というニーズに起因して、表示できる画像が暗くなっており、近い距離かつ環境光の強さが弱いところでしか使えない。
しかし、上述したインターフェース装置に求められる使用範囲は近距離に限らない。すなわち、ユーザは、このようなインターフェース装置を、少し離れたところにある物体に画像を表示したり、机の上に像を表示したりするために用いたい場合もある。しかし、既存のプロジェクタをそのように照射距離が長い状況で用いる場合、プロジェクタにより照射される画像が暗くなることから、照射された画像を見ることが難しい。
ここで、非特許文献3が開示する装置は、プロジェクタが画像を照射する方向を絞ることで、表示される画像を明るくすることができる。しかし、この装置は、画像を照射する方向を絞る結果、複数の方向に対して同時に画像を照射することができなくなる。
本発明は、上述の課題に鑑みてなされたものである。本発明の主な目的は、小型及び軽量であるプロジェクタにおいて、複数の方向に対して同時に明るい像を照射できる技術を提供することにある。
上記目的を達成するために、本発明のインターフェース装置における様相の一つは、レーザ光を照射するレーザ光源と、前記レーザ光が入射されると当該レーザ光の位相を変調して出射する素子と、対象物を撮像する撮像部と、前記撮像部が撮像した対象物を認識し、その認識した結果に基づいて前記素子が出射する光に基づいて形成される像を決定し、前記決定された像が形成されるように前記素子を制御する制御部と、を備える。
本発明のモジュールにおける様相の一つは、対象物を撮像する撮像部と、撮像部が撮像した対象物を認識する処理部と、を備える電子機器に組み込まれて用いられるモジュールであって、前記モジュールは、レーザ光を照射するレーザ光源と、前記レーザ光が入射されると当該レーザ光の位相を変調して出射する素子と、前記処理部が認識した結果を表す情報に基づいて、前記素子が出射する光に基づいて形成される像を決定し、前記決定された像が形成されるように前記素子を制御する制御部とを備える。
本発明の電子部品における様相の一つは、レーザ光を照射するレーザ光源と、前記レーザ光が入射されると当該レーザ光の位相を変調して出射する素子と、対象物を撮像する撮像部と、撮像部が撮像した対象物を認識する処理部と、を備える電子機器を制御する電子部品であって、前記処理部が認識した結果に基づいて前記素子が出射する光に基づいて形成される像を決定し、前記決定された像が形成されるように前記素子を制御する。
本発明の制御方法における様相の一つは、レーザ光を照射するレーザ光源と、前記レーザ光が入射されると当該レーザ光の位相を変調して出射する素子と、対象物を撮像する撮像部と、を備えるインターフェース装置を制御するコンピュータによって実行される制御方法であって、前記撮像部が撮像した対象物を認識し、前記認識した結果に基づいて前記素子が出射する光に基づいて形成される像を決定し、前記決定された像が形成されるように前記素子を制御する。
本発明のプログラム記憶媒体における様相の一つは、レーザ光を照射するレーザ光源と、前記レーザ光が入射されると当該レーザ光の位相を変調して出射する素子と、対象物を撮像する撮像部と、を備えるインターフェース装置を制御するコンピュータに、前記撮像部が撮像した対象物を認識する処理と、前記認識した結果に基づいて前記素子が出射する光に基づいて形成される像を決定する処理と、前記決定された像が形成されるように前記素子を制御する処理とを実行させるコンピュータプログラムを保持している。
なお、本発明の前記主な目的は、本発明のインターフェース装置に対応する制御方法によっても達成される。また、本発明の前記主な目的は、本発明のインターフェース装置および本発明の制御方法に対応するコンピュータプログラム及びこのコンピュータプログラムが格納されたコンピュータ読み取り可能なプログラム記憶媒体によっても達成される。
本発明によれば、小型及び軽量であるプロジェクタにおいて、複数の方向に対して同時に明るい像を照射できる。
本発明の第1実施形態にかかるインターフェース装置を示すブロック図である。 MEMS(Micro Electro Mechanical System)により実現される素子の構成を説明する図である。 素子によって回折されたレーザ光が形成する像を例示する図である。 第1実施形態にかかる投射部を実現する光学系の一例を示す図である。 第1実施形態にかかるインターフェース装置の動作を例示するフローチャートである。 第1実施形態にかかるインターフェース装置の動作の説明に用いる図である。 第1実施形態にかかる制御部を実現可能なハードウェア構成の一例を示す図である。 第1実施形態にかかるインターフェース装置を実装したリストバンドを表す図である。 第1実施形態にかかるインターフェース装置を胸ポケットに入れて利用する人物を表す図である。 第1実施形態にかかるインターフェース装置を実装した眼鏡等を表す図である。 第1実施形態にかかるインターフェース装置が実装された端末を首から掛けて利用する人物を表す図である。 第1実施形態にかかるインターフェース装置が実装されたタブレット端末の一例を表す図である。 第1実施形態にかかるインターフェース装置が実装されたスマートフォンの一例を表す図である。 第1実施形態にかかるインターフェース装置を、翻訳支援装置に応用した態様を表す図である。 第1実施形態にかかるインターフェース装置を、作業支援装置に応用した態様を表す図である。 第1実施形態にかかるインターフェース装置を、作業支援装置に応用した態様を表す図である。 第1実施形態にかかるインターフェース装置を、図書返却支援装置に応用した態様を表す図である。 第1実施形態にかかるインターフェース装置を、車盗難防止装置に応用した態様を表す図である。 第1実施形態にかかるインターフェース装置を、医療用装置に応用した態様を表す図である。 第1実施形態にかかるインターフェース装置を、医療用装置に応用した態様を表す図である。 第1実施形態にかかるインターフェース装置を、救急用装置に応用した態様を表す図である。 第1実施形態にかかるインターフェース装置を商品入れ替え作業の支援に応用した態様を表す図である。 第1実施形態にかかるインターフェース装置を、商品を選び出す作業の支援に応用した態様を表す図である。 第1実施形態にかかるインターフェース装置を、会議室におけるプレゼンテーションの支援に応用した態様を表す図である。 第1実施形態にかかるインターフェース装置を、移動先で会議環境を構築することに応用した様子を表す図である。 第1実施形態にかかるインターフェース装置を、入出管理システムに応用した態様を表す図である。 第1実施形態にかかるインターフェース装置を、配送業務支援に応用した態様を表す図である。 本発明の第2実施形態にかかるモジュールを示すブロック図である。 本発明の第3実施形態にかかる制御部品を示すブロック図である。 本発明の第4実施形態にかかるインターフェース装置を示すブロック図である。
以下に、本発明に係る実施形態を図面を用いて説明する。なお、すべての図面において、同様な構成要素には同一符号を付し、適宜説明を省略する。
なお、以下に示す説明において、各装置の各構成要素は、ハードウェア単位の構成ではなく、機能単位のブロックを示す。各装置の各構成要素は、コンピュータのCPU(Central Processing Unit)、メモリ、構成要素を実現するプログラム、プログラムを格納する記憶媒体、ネットワーク接続用インターフェースを中心にハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置には様々な変形例がある。ただし、各構成要素は、ハードウェアデバイスにより構成されてもよい。すなわち、各構成要素は、回路又は物理デバイスにより構成されてもよい。
<第1実施形態>
図1は、第1実施形態のインターフェース装置の機能構成を表すブロック図である。図1において、点線はレーザ光の流れを表し、実線は情報の流れを表す。
インターフェース装置1000は、撮像部(撮像手段)100と、制御部(制御手段)200と、照射部(照射手段)300とを備える。以下に、それぞれについて説明する。
照射部300は、レーザ光源310と、素子320とを備える。レーザ光源310は、レーザ光を照射する構成を備えている。レーザ光源310が照射するレーザ光が素子320に入射するように、レーザ光源310と素子320が配置されている。素子320は、レーザ光が入射されたことに応じて当該レーザ光の位相を変調して出射する機能を備えている。照射部300は、さらに、図示しない結像光学系または照射光学系などを備えていてもよい。照射部300は、素子320が出射した光から形成される像を照射する。
撮像部100は、インターフェース装置1000の外部に存在する対象物を撮影することにより、当該対象物またはその動きなど(以下、「対象物等」とも記載する)の情報を、インターフェース装置1000に入力する(取り込む)。撮像部100は、例えば、CMOS(Complementary Metal-Oxide Semiconductor)などの撮像素子、または、3次元深度検出素子などにより実現される。
制御部200は、撮像部100が撮影した対象物等を、パターン認識などの画像処理によって、識別または認識する。(以下、識別と認識とを区別せずに「認識」と記載する)。制御部200は、その認識結果に基づいて素子320を制御する。すなわち、制御部200は、認識結果に基づいて照射部300が照射する像を決定し、素子320が出射する光によって形成される像がその決定した像となるように、素子320を制御する。
第1実施形態における制御部200と素子320とについてさらに説明する。素子320は、位相変調型の回折光学素子により実現される。素子320は、空間光位相変調器(Spatial Light Phase Modulator)または位相変調型空間変調素子とも呼ばれる。以下、詳細に説明する。
素子320は、複数の受光領域を備える(詳細は後述する)。受光領域は、素子320を構成するセルである。受光領域は、例えば、1次元または2次元のアレイ状に配列される。制御部200は、制御情報に基づいて、素子320を構成する複数の受光領域のそれぞれについて、当該受光領域に入射した光の位相と当該受光領域から出射する光の位相との差分を決定付けるパラメータが変化するように制御する。具体的には、制御部200は、複数の受光領域のそれぞれについて、例えば屈折率または光路長などの光学的特性が変化するよう制御する。素子320に入射した入射光の位相の分布は、各受光領域の光学的特性の変化に応じて変化する。これにより、素子320は、制御情報を反映した光を出射する。
素子320は、例えば、強誘電性液晶、ホモジーニアス液晶、または、垂直配向液晶などを有し、例えばLCOS(Liquid Crystal On Silicon)の技術を用いて実現される。この場合には、制御部200は、素子320を構成する複数の受光領域のそれぞれについて、受光領域に印加する電圧を制御する。受光領域の屈折率は、印加された電圧に応じて変化する。このため、制御部200は、素子320を構成する各受光領域の屈折率を制御することにより、受光領域間に屈折率の差を発生させることができる。素子320では、その制御部200の制御により、入射されたレーザ光が各受光領域において適宜に回折する。
素子320は、例えば、MEMS(Micro Electro Mechanical System)の技術によって実現することもできる。図2は、MEMSにより実現される素子320の構造を説明する図である。素子320は、基板321と、当該基板上の各受光領域に割り当てられた複数のミラー322とを備える。素子320が有する複数の受光領域のそれぞれは、ミラー322によって構成される。基板321は、例えば、素子320の受光面に平行、あるいは、レーザ光の入射方向に略垂直である。
制御部200は、素子320が備える複数のミラー322のそれぞれについて、基板321とミラー322との距離を制御する。これにより、制御部200は、受光領域毎に、入射した光が反射する際の光路長を変更する。素子320は、回折格子と同様の原理により入射された光を回折する。
図3は、素子320によって回折されたレーザ光が形成する像を例示する図である。例えば、素子320によって回折したレーザ光によって形成される像は、中空の図形(項目A)または線状の図形(項目B)である。また、素子320によって回折したレーザ光によって形成される像は、中空の図形と線状の図形との組み合わせである、例えば、文字または記号などの形状の像(項目C,D,EまたはF)である。
素子320は、入射したレーザ光を回折することにより、理論上、どのような像も形成できる。このような回折光学素子については、例えば、非特許文献7に詳しく説明されている。また、制御部200が素子320を制御することにより、任意の像を形成する方法については、例えば下記の非特許文献8に説明されている。そのため、ここでは、その説明を省略する。
[非特許文献8] Edward Buckley, ”Holographic Laser Projection Technology”, Proc, SID Symposium 70.2, pp.1074-1079, 2008.
通常のプロジェクタが照射する像と、インターフェース装置1000が照射する像との違いについて説明する。通常のプロジェクタの場合、強度変調型素子に形成された像が、照射レンズを介してそのまま照射される。言い換えると、強度変調型素子に形成された像と、通常のプロジェクタが照射する像とは相似の関係にある。プロジェクタから照射された像は広がっていき、像の明るさは距離の二乗に反比例して暗くなる。
これに対して、インターフェース装置1000の場合、素子320における、屈折率のパターンまたはミラーの高さのパターンと、素子320が出射する光に基づいて形成される像とは、非相似の関係である。インターフェース装置1000の場合、素子320に入射された光が回折され、レンズによるフーリエ変換を経て、制御部200が決定した像が形成される。素子320は、制御部200による制御に応じて、光を所望の部分のみに集めることが可能である。インターフェース装置1000が照射する像は、レーザ光の光束が一部に集約された状態で拡散していく。これにより、インターフェース装置1000は遠くにある物体に対しても、明るい像を照射することができる。
図4は、照射部300を実現する光学系の一例を示す図である。照射部300は、例えば、レーザ光源310と、素子320と、第1の光学系330と、第2の光学系340とにより実現することができる。
レーザ光源310から照射されたレーザ光は、第1の光学系330により、後の位相変調に適する態様に整形される。具体例を挙げると、第1の光学系330は、例えばコリメータを有し、当該コリメータにより、レーザ光を、素子320に適した態様(つまり、平行光)にする。また、第1の光学系330は、レーザ光の偏光を、後の位相変調に適するように調整する機能を備える場合もある。つまり、素子320が位相変調型である場合には、当該素子320には、製造段階で定まる設定の偏光方向を持つ光を照射する必用がある。レーザ光源310が半導体レーザである場合には、半導体レーザから出射される光は偏光していることから、素子320に入射する光の偏光方向が設定の偏光方向に合うようにレーザ光源310(半導体レーザ)を設置すればよい。これに対し、レーザ光源310から出射される光が偏光していない場合には、第1の光学系330は、例えば偏光板を備え、当該偏光板によって素子320に入射する光の偏光方向が設定の偏光方向となるように調整する必用がある。第1の光学系330が偏光板を備える場合には、例えば、その偏光板は、コリメータよりも素子320側に配置される。このような第1の光学系330から素子320に導かれたレーザ光は、素子320の受光面に入射する。素子320は、複数の受光領域を有している。制御装置200は、素子320の各受光領域の光学的特性(例えば屈折率)を、照射しようとする像の画素毎の情報に応じて、例えば各受光領域に印加する電圧を可変することによって、制御する。素子320により位相変調されたレーザ光は、フーリエ変換レンズ(図示せず)を透過し、また、第2の光学系340に向けて集光される。第2の光学系340は、例えば、投射レンズを有している。その集光された光は、第2の光学系340によって結像され、外部に照射される。
なお、図4では、反射型の素子320を用いて照射部300を実現する光学系の一例を表しているが、照射部300は、透過型の素子320を用いて実現されてもよい。
第1実施形態にかかるインターフェース装置1000による動作の流れを、図5と図6を用いて説明する。図5は、第1実施形態にかかるインターフェース装置1000による動作の流れを説明するフローチャートである。図6は、第1実施形態にかかるインターフェース装置1000による動作の流れを説明する図である。
撮像部100は、インターフェース装置1000の外部に存在する対象物を撮影することにより、当該対象物またはその動きなど(以下、「対象物等」とも記載する)の情報を、インターフェース装置1000に入力する(ステップS101)。ここで言う対象物とは、例えば、本、食料品、又は医薬品のような商品であったり、人間の身体、手、又は指である。図6の例では、撮像部100は、対象物である3つのリンゴ20A,20B,20Cを撮影する。
制御部200は、撮像部100が撮影した画像を認識する(ステップS102)。制御部200は、例えば、撮像部100が撮影した画像に基づいて、自装置と対象物との位置関係を認識する。
制御部200は、撮像部100が撮影した画像に基づいて、照射部300が照射すべき像を決定する(ステップS103)。図6の例では、制御部200は、3つのリンゴのうちのリンゴ20Cに星型の像10を映すことを決定したとする。制御部200は、インターフェース装置1000とリンゴ20Cとの位置関係に基づいて、リンゴ20Cの位置に星型のマークが映されるような像10を照射することを決定する。
なお、以降、説明の便宜のため、インターフェース装置1000が照射する像を、図面において一点鎖線で囲って表示する場合がある。
制御部200は、ステップS103の動作において決定した像が決定した位置に形成されるように、素子320が備える複数の受光領域のそれぞれについて光学的特性(例えば屈折率)を、各受光領域に印加する電圧を可変することによって制御する(ステップS104)。レーザ光源310は、レーザ光を照射する(ステップS105)。素子320では、入射したレーザ光が回折する(ステップS106)。
インターフェース装置1000の動作は、上述した動作には限定されない。以下、上述した動作の変形例について、いくつか説明する。
動作の順序の変形例について説明する。インターフェース装置1000は、レーザ光源310がレーザ光を照射した後に、制御部200による制御を行ってもよい。
ステップS104の動作の変形例について説明する。制御部200は、素子320が備える複数の受光領域のうち、全ての受光領域の光学的特性を制御する必要は必ずしもない。制御部200は、素子320が備える複数の受光領域のうち、一部の受光領域の光学的特性を制御する構成であってもよい。
ステップS103およびS104に示す動作の変形例について説明する。制御部200は、対象物に映す像の形状を素子320を制御することにより実現するが、制御部200は、その像が決定された位置に映されるように、照射部300における第2の光学系340を制御してもよい。
ステップS102およびステップS103に示す動作の変形例について説明する。撮像部100が撮影した画像を認識することにより照射する像を決定する処理は、インターフェース装置1000の外部装置が行ってもよい。この場合、撮像部100および制御部200は以下に示すように動作する。撮像部100は、対象物を撮影し、撮影した画像を外部装置に送信する。外部装置は、画像を認識し、インターフェース装置1000が照射すべき像、および当該像を照射すべき位置を決定する。外部装置は、決定した情報を、インターフェース装置1000に送信する。インターフェース装置1000は、当該情報を受信する。制御部200は、受信した情報に基づいて、素子320を制御する。
ステップS101に示す動作の変形例について説明する。インターフェース装置1000は、必ずしも自装置の内部に撮像部100を備える必要はない。インターフェース装置1000は、外部装置が撮影した画像を受信したり、自装置に接続される外部メモリ(例えばUSB(Universal Serial Bus)メモリまたはSD(Secure Digital)カード等)から読み込んでもよい。
図7は、制御部200を実現可能なハードウェア構成の一例を説明する図である。
制御部200(コンピュータ)を構成するハードウェアは、CPU(Central Processing Unit)1、記憶部2を備える。制御部200は、図示しない入力装置、出力装置を備えていてもよい。制御部200の機能は、例えばCPU1が、記憶部2に読み出されたコンピュータプログラム(ソフトウェアプログラム、以下単に「プログラム」とも記載する)を実行することにより実現される。
制御部200は、図示しない通信インターフェース(I/F)を備えていてもよい。制御部200は、通信インターフェースを介して外部装置にアクセスし、当該外部装置から取得した情報に基づいて、照射する像を決定してもよい。
なお、第1実施形態および後述する各実施形態を例として説明される本発明は、係るプログラムが格納されたコンパクトディスク等の不揮発性の記憶媒体によっても構成される。なお、制御部200は、上述したような機能を実行する専用の装置であってもよい。また、制御部200のハードウェア構成は、上述の構成に限定されない。
(効果)
第1実施形態にかかるインターフェース装置1000が奏する効果を説明する。インターフェース装置1000は、小型かつ軽量な装置において、複数の方向に対して同時に明るい像を照射することができるプロジェクタを提供できる。
その理由は、インターフェース装置1000が照射する像は、素子320がレーザ光源310から照射されたレーザ光を回折することにより形成される像であるからである。このように形成された像は、既存のプロジェクタが形成する像よりも明るい。また、制御部200が素子320を制御することにより、インターフェース装置1000は複数の方向に対して同時に像を照射することができる。
例えば日本において法的に認められているクラス2のレーザの場合、レーザの出力はわずか1mW(ミリワット)と小さい。そのため、例えば緑色のレーザ光の場合、光束は0.68lm(ルーメン:lumen)程度である。しかし、これが 1cm 角の中に照射された場合、照度は 6800lx(ルクス:lux) にもなる。第1実施形態では、インターフェース装置1000は、レーザ光が一部の領域に集中するように照射される。このため、インターフェース装置1000によって照射される像は明るい。
また、一般的に、既存のプロジェクタにおいては、レーザ光の平面形状を、強度変調型素子の矩形形状に合わせるため、レーザ光源から照射される略円形のビーム形状を、矩形に変換する。この変換を行う光学系には、光の強度を均一化するホモジナイザ(回折光学素子)やフライアイレンズが含まれる。そのホモジナイザやフライアイレンズを通る際にレーザ光の一部が損失するので、上記変換の際に、レーザ光の強度が低下する。場合によっては、この変換により、レーザ光の強度が、20〜30%減少する。
一方、インターフェース装置1000は、既存のプロジェクタのように、ビーム形状を変換する必要がない。つまり、光を損失する光学系が少なくて済むため、インターフェース装置1000において、既存のプロジェクタと比較した場合、装置内部におけるレーザ光の強度低下が小さい。ただし、インターフェース装置1000においても、ビーム形状を素子320の受光面の形状に変換する構成を有していてもよい。
さらに、インターフェース装置1000は構造がシンプルであるため、装置を小型及び軽量にできる。また、インターフェース装置1000が、図3に表すような比較的シンプルな像を照射する場合、レーザ光源310は、単色のレーザ光源のみを有すればよい。そのため、消費電力が小さい。なお、インターフェース装置1000は、設定された形成位置で設定された像が形成されるように調整したレーザ光を照射するため、焦点調節が不要である。つまり、インターフェース装置1000は、設定された形成位置(投影位置)に、フラウンフォーファー回折と呼ばれる回折によって像が形成されるように光学系が構成される。フラウンフォーファー回折による像は、光路上のどこでも焦点が合っているという特性を持つ。このため、インターフェース装置1000は、焦点調節が不要である。したがって、インターフェース装置1000は、当該装置1000から像を形成する位置までの距離の変動が想定される使用形態となる例えばモバイル機器(携行機器)への適用に好適である。なお、素子320から十分離れた場所に小さな像を作るだけなら、素子320よりも光の出射側に配置されているフーリエ変換レンズも、投射レンズ(第2の光学系340)も省略することができる。実際に、本発明者は、フーリエ変換レンズと投射レンズを省略した状態で、素子320から1〜2メートル離れた位置に、像が形成されることを確認している。ただ、この第1実施形態では、インターフェース装置1000は、非常に近い位置に像を形成することをも考慮した光学系を備えている。そのように近い位置に像を形成する場合には、当該像は、素子320による像がフーリエ変換された像となる。この像の拡大率は、フーリエ変換レンズの焦点距離をF1とし、投射レンズの焦点距離をF2とした場合には、F1/F2(=F1÷F2)となる。
第1実施形態における素子320の代わりに、透明な材料の表面に波長レベルの細かな凹凸を設けた回折格子を用いることも考えられる。この場合、インターフェース装置1000が照射できる像の形状は、当該回折格子のパターンに対応する像の形状のみである。
これに対して、第1実施形態においては、制御部200は、撮像部100が撮影した対象物を認識し、認識した結果に基づいて照射部300が照射する像を決定し、決定した像が形成されるように素子320を制御する。この際、制御部200は、素子320が備える受光領域毎に、その光学的特性を制御する。このため、制御部200は、素子320に入射したレーザ光が回折の結果、任意の像を形成するように、素子320を制御することができる。したがって、インターフェース装置1000は、任意の方向に、任意の形状の像を照射することができる。
以下、インターフェース装置1000の具体例について説明する。以下の各具体例におけるインターフェース装置1000は、入力された情報に従って制御情報を生成する機能を有しているとする。例えばインターフェース装置1000には、カメラなどの撮像素子による画像、3次元深度検出素子による3次元的な物体の画像などによって、物体やその動きなどの情報が入力される。ここで言う物体とは、例えば、本、食料品、又は医薬品のような商品であったり、人間の身体、手、又は指である。また、インターフェース装置1000には、光学センサや赤外センサなどによって、人や物の動きなどの情報が入力される。その他にも、例えば、インターフェース装置1000には、電子コンパス、GPS (Global Positioning System)、振動センサ、又は傾きセンサなどにより、インターフェース装置1000自体の状態を表す情報が入力される。また、インターフェース装置1000には、無線の受信機によって、環境に関する情報が入力される。環境に関する情報は、例えば、天気情報や交通情報、店舗内での位置情報や商品情報などである。ここで、インターフェース装置1000による像の照射が先に行われ、照射された像に基づいて情報が入力する場合もある。
なお、インターフェース装置1000が利用される国や地域において、レーザ光の出力に関する規制がある場合、インターフェース装置1000は、出力する光(レーザ光)の強さを調整する機能を有していることが好ましい。例えば日本で利用する場合、インターフェース装置1000から出力するレーザ光の強さは、クラス2以下の強さに制限することが好ましい。
図8乃至図11には、具体例としてのインターフェース装置1000を実装したウェアラブル端末が表されている。つまり、インターフェース装置1000は、上述した通り、サイズ、重量および消費電力の観点から、従来型のプロジェクタよりも優れている。本発明者は、これらの利点を活かして、インターフェース装置1000をウェアラブル端末として用いることを考えた。なお、以下に述べるような、インターフェース装置1000を実装した各種ウェアラブル端末は、例えば、超小型な光学系およびカメラを搭載したCPU(Central Processing Unit)ボードの技術を利用して実現することが可能である。より述べれば、レンズの小型化技術は、既に実用化されている小型な携帯電話機や、腕時計型端末や、メガネ型端末等に搭載されている技術を利用することができる。このような小型なレンズは、例えばプラスチックのレンズである。また、レーザ光源310に関しては、例えば参考文献:ソーラボジャパン株式会社、“製品情報”、[online]、[2014年9月26日検索]、インターネット(http://www.thorlabs.co.jp/thorproduct.cfm?partnumber=PL520)に表されているように、小型なものが開発され、更なる小型化が進められている。さらに、素子320に関しても、例えば参考文献:Syndiant Inc. 、“Technology”、[online]、[2014年9月26日検索]、インターネット(http://www.syndiant.com/tech_overview.html)に表されているような製品の小型化技術を利用することにより小型化が可能であり、更なる小型化が進められている。
図8は、インターフェース装置1000を実装したリストバンドを表す図である。図9は、胸ポケットにインターフェース装置1000を入れている人物を表した図である。図10は、眼鏡、サングラス等の、アイウェア(eyewear)に実装されたインターフェース装置1000を表す図である。図11は、インターフェース装置1000が実装された端末を首から掛けて利用する人物を表す図である。そのほか、インターフェース装置1000は、靴、ベルト、ネクタイまたは帽子などにウェアラブル端末として実装されてもよい。
図8乃至図11に表すインターフェース装置1000においては、撮像部100と照射部300は互いに離れて(光軸の位置を異ならせて)設けられている。しかし、撮像部100と照射部300とは、互いに光軸が同軸となるように設計されていてもよい。
また、インターフェース装置1000は、そのサイズの小ささ、または、軽さの利点を活かすことにより、天井からぶら下げて用いたり、壁に掛けて用いることが考えられる。
インターフェース装置1000は、スマートフォンまたはタブレット等の携帯電子機器に実装されてもよい。
図12は、タブレット端末に実装されたインターフェース装置1000の一例を表す図である。図13は、スマートフォンに実装されたインターフェース装置1000の一例を表す図である。
照射部300は、例えば、キーボート等の入力インターフェースを表す像を照射する。インターフェース装置1000の利用者は、キーボード等の像に対して、操作を行う。撮像部100は、照射部300が照射したキーボードの像と、利用者の手30とを撮影する。制御部200は、撮影されたキーボードの像と、利用者の手30との位置関係から、利用者がキーボードの像に対して行った操作を識別する。
図14は、インターフェース装置1000を翻訳支援装置に応用した例を表す図である。インターフェース装置1000を胸付近に装着した利用者が、英文34が印刷された本35を読んでいる状況を想定する。利用者は、「mobility」という単語の日本語訳を知りたいと考えている。利用者は、「mobility」という単語が印刷されている位置を指32で指し示す。
撮像部100は、「mobility」という単語と、当該単語の近くに位置する利用者の指とを含む画像を、撮影する。制御部200は、撮像部100が撮影した画像に基づいて、画像に含まれる「mobility」という英単語、および、利用者の指が当該英単語を指し示していることを認識する。制御部200は、「mobility」という英単語の日本語訳の情報を取得する。なお、制御部200は、インターフェース装置1000と通信可能に接続される外部装置から当該情報を受信してもよいし、インターフェース装置1000が備える内部メモリから当該情報を読み出してもよい。
制御部200は、日本語訳を表す文字列の形状を、照射すべき像10Bとして決定する。制御部200は、当該像10Bを、本に印刷された「mobility」という英単語の位置または当該英単語の近傍に照射することを決定する。制御部200は、日本語訳を表す文字列を表す形状の像10Bが、撮像部100が撮影した「mobility」という英単語の近くに照射されるように、素子320が有する各受光領域の光学的特性を制御する。素子320は、入射したレーザ光を回折する。照射部300は、「mobility」という英単語の近くに、像10Bを照射する。図14は、「mobility」という英単語の近くに日本語訳を表す文字列を表す形状の像10Bが照射されている様子を表している。
なお、制御部200が認識するジェスチャは、「指が単語を指し示す」というジェスチャには限定されない。制御部200は、他のジェスチャを認識することを動作のトリガーとしてもよい。
インターフェース装置1000を翻訳支援装置に応用した場合、インターフェース装置1000は、利用者が翻訳を希望する単語に応じた訳語を表す様々な形状の像を照射する必要がある。例えば、利用者が「apple」という英単語を指し示した場合、インターフェース装置1000はその日本語訳に相当する単語の文字列を表す形状の像を照射する必要がある。続けて利用者が「grape」という英単語を指し示した場合、インターフェース装置1000はその日本語訳に相当する単語の文字列を表す形状の像を照射する必要がある。このように、インターフェース装置1000は、利用者が指し示した単語に応じて、異なる形状の像を次から次へと照射する必要がある。
インターフェース装置1000は、上述したように、任意の方向に、任意の形状の像を照射することができるので、上述したような様々な形状の像を照射する必要が有る翻訳支援装置を実現することができる。
インターフェース装置1000は、上述したように、明るい像を照射できるので、利用者が本を読むような明るい環境においても、十分な視認性を持って、訳語を照射することができる。また、インターフェース装置1000を翻訳支援装置に応用することにより、利用者は、訳語を調べたい単語を、例えば単に指で指し示すだけで、当該単語の訳語を知ることができる。
上述した翻訳支援装置は、例えば、インターフェース装置1000に所定のプログラムをインストールすることにより実現可能である。
図15は、インターフェース装置1000を工場等における作業支援装置に応用した例を表す図である。インターフェース装置1000を首に掛けて利用する利用者36が、工場において電化製品38を組み立てている状況を想定する。利用者36は、電化製品38を組み立てる際の作業手順を知りたいと考えているとする。
撮像部100は、電化製品38を撮影する。制御部200は、撮像部100が撮影した画像に基づいて、電化製品38の種類、形状等を認識する。制御部200は、撮像部100が撮影した画像に基づいて、電化製品38の組み立て作業がどの程度進んでいるかを表す情報を取得してもよい。また、制御部200は、撮像部100が撮像した画像に基づいて、自装置と、電化製品38との位置関係を認識する。
制御部200は、認識した結果に基づいて、電化製品38の組み立て手順を示す情報を取得する。制御部200は、インターフェース装置1000と通信可能に接続される外部装置から当該情報を受信してもよいし、インターフェース装置1000が備える内部メモリから当該情報を読み出してもよい。
制御部200は、電化製品38の組み立て手順を表す文字列の形状または画を、照射すべき像10C(図16参照)として決定する。制御部200は、像10Cが、撮像部100が撮影した電化製品38に照射されるように、素子320が有する複数の受光領域のそれぞれについて光学的特性を制御する。素子320は、入射されたレーザ光を回折する。照射部300は、電化製品38の位置に、当該像10Cを照射する。
図16は、インターフェース装置1000が照射した像の一例を表す図である。図16に表すように、インターフェース装置1000は、電化製品38の組み立ての次工程がネジ止めである旨を表す像10C1、および、ネジ止めすべき箇所を表す像10C2を、利用者36が視認できるように照射する。
インターフェース装置1000を作業支援装置に応用した場合、インターフェース装置1000が照射する像の形状は、非常に多岐に亘ることが予想される。なぜなら、工場等における作業手順は、対象製品や作業の進捗状況などによって様々であるからである。インターフェース装置1000は、撮像部100が撮影した状況に応じて、適切な像を表示する必要がある。
インターフェース装置1000は、上述したように、任意の方向に、任意の形状の像を照射することができるので、そのような作業支援装置を実現することができる。
インターフェース装置1000は、明るい像を照射できるので、利用者が作業を行うような明るい環境においても、十分な視認性を持って、作業手順を照射することができる。
上述した作業支援装置は、例えば、インターフェース装置1000に所定のプログラムをインストールすることにより実現可能である。
図17は、インターフェース装置1000を図書館等における返本業務支援装置に応用した例を表す図である。利用者(例えば図書館の職員)が、返却対象の本40を図書館の棚44に返却する業務を行っている状況を想定する。図17においてインターフェース装置1000は、返却対象の本40などを運ぶカート42(手押し車)に設置されている。
返却対象の本40、および、図書館の棚に格納されている本45の背表紙には、分類番号46が記載されたシールが貼り付けられている。分類番号は、当該番号が付与された本が、図書館のどの棚のどの位置に収納されるべきかを表す番号である。図書館の棚44において、本は、分類番号の番号順に収納されるとする。図17に表す状況は、「721/33N」という分類番号が付与された本40を、どの位置に返却すべきか、職員が探している状況である。
撮像部100は、本が収納されている棚44を撮影する。制御部200は、撮像部100が撮影した画像に基づいて、棚44に収納されている本45の背表紙に張られたシールの分類番号を認識する。図17の例では、撮像部100は、分類番号「721/31N」から「721/35N」が付与された本45が収納された棚44の画像を撮影している。制御部200は、返却すべき本40の分類番号「721/33N」と、撮像部100が撮像した画像と、分類番号の番号順に本が収納されるという規則とに基づいて、返却対象の本の収納位置を決定(検知)する。また、制御部200は、撮像部100が撮影した画像に基づいて、自装置と、当該決定した位置との位置関係を認識する。制御部200は、決定した収納位置に、利用者が視認可能な像(目印)10Dが照射されるように、素子320が有する各受光領域について光学的特性を制御する。照射部300は、目印の像10Dを、決定された位置に照射する。
図17の例では、インターフェース装置1000は、返却すべき本の分類番号「721/33N」を表す文字列の形状の像10Dを、決定された位置に照射している。利用者は、インターフェース装置1000が照射した像10Dを目印として、返却対象の本40を、像が照射されている位置に格納する。
図18は、インターフェース装置1000を車盗難防止装置に応用した例を表す図である。図18において、インターフェース装置1000は、車48における任意の位置に設置されている。インターフェース装置1000は、駐車場の天井または壁に設置されていてもよい。撮像部100および制御部200は、車48(すなわち、インターフェース装置1000が設置された車)に近づく人物50を監視する。制御部200は、車48に近付く人物50の行動パターンを検知し、この検知した行動パターンおよび予め与えられた不審行動パターンの情報に基づいて、人物50が不審者であるか否かを判断する機能を備える。そして、制御部200は、人物50が不審者であると判断した場合、その人物(不審者)50に対する警告メッセージを表す像10Eを、人物(不審者)50が視認できる位置に照射する制御を実行する。
図18の例では、インターフェース装置1000は、バールのような物を持った人物(不審者)50を検知している。インターフェース装置1000は、人物(不審者)50の顔を撮影した旨を表すメッセージを表す像10E、および、警察に通報した旨のメッセージを表す像10Eを、人物(不審者)50が視認できるように、車48に照射している。また、インターフェース装置1000は、人物(不審者)50の顔を、撮像部100により撮像し、記憶してもよい。
図19は、インターフェース装置1000を医療用装置に応用した例を表す図である。図19の例では、インターフェース装置1000は、手術を行う医師54が視認できるように、医療情報を表す像10Fを患者の体52に照射している。その医療情報を表す像10Fとは、この例では、患者の脈拍と血圧を示す像10F1、および、手術においてメス56にて切開すべき場所を示す像10F2である。インターフェース装置1000は、例えば、手術室の天井または壁に固定されていてもよい。また、インターフェース装置1000は、医師の衣服に固定されていてもよい。
この例においては、撮像部100は、患者の体を撮影する。制御部200は、撮像部100が撮影した画像に基づいて、自装置と患者の体52との位置関係を認識する。制御部200は、患者の脈拍と血圧の情報、および、切開すべき場所を示す情報を取得する。制御部200は、制御部200は、インターフェース装置1000と通信可能に接続される外部装置から当該情報を受信してもよいし、インターフェース装置1000が備える内部メモリから当該情報を読み出してもよい。あるいは、インターフェース装置1000に備えられた入力部から、医師等が当該情報を入力してもよい。制御部200は、取得した情報に基づいて、照射すべき像の形状を決定する。また、制御部200は、自装置と患者の体52との位置関係に基づいて、像10Fを表示すべき位置を決定する。
制御部200は、決定した表示位置に、決定した像10Fが表示されるように、素子320が有する各受光領域の光学的特性を制御する。照射部300は、像10Fを、決定された位置に照射する。
図20は、インターフェース装置1000を医療用装置に応用した別の例を表す図である。図20の例では、インターフェース装置1000は、患者の腕58に、外部から入力された情報に基づき、骨折した箇所を表す像10Gを照射している。この例では、インターフェース装置1000は、例えば、部屋の天井または壁に固定されていてもよい。インターフェース装置1000は、医師または患者の衣服に固定されていてもよい。
図21は、インターフェース装置1000を救急医療に応用した例を表す図である。図21の例では、インターフェース装置1000は、心臓マッサージが必要な急病人60の体に、圧迫すべき箇所を示す像10Hを表示(照射)している。
この例では、インターフェース装置1000は、例えば、病室の天井または壁に固定されていてもよい。また、インターフェース装置1000は、例えば、スマートフォンまたはタブレット端末に組み込まれていてもよい。
撮像部100は、急病人60の体を撮影する。制御部200は、撮像部100が撮影した画像に基づいて、自装置と急病人60の体との位置関係を認識する。制御部200は、急病人60の体における圧迫すべき箇所を示す情報を取得する。制御部200は、インターフェース装置1000と通信可能に接続される外部装置から当該情報を受信してもよいし、インターフェース装置1000が備える内部メモリから当該情報を読み出してもよい。あるいは、インターフェース装置1000に備えられた入力部から、医師等が当該情報を入力してもよい。あるいは、インターフェース装置1000と通信ネットワークを介して接続される他の端末から、医師等が当該情報を指示してもよい。
インターフェース装置1000は、撮像部100が撮像した急病人60の画像を、通信ネットワークを介して、外部端末に送信してもよい。その外部端末は、例えば医師が操作する端末である。医師は、外部端末のディスプレイに表示された急病人60の画像を確認し、圧迫すべき場所を指示する。インターフェース装置1000は、外部端末から当該情報を受信する。
制御部200は、取得(受信)した情報および自装置と急病人60の体との位置関係に基づいて、圧迫すべき場所を指示する像10Hを表示すべき位置を決定する。制御部200は、決定した位置に、圧迫すべき箇所を示す像10Hが照射されるように、素子320が有する各受光領域の光学的特性を制御する。照射部300は、像10Hを、決定された位置に照射する。
図22は、インターフェース装置1000を、書店やコンビニエンスストアなどにおける商品入れ替え作業を支援するために利用する具体例を示す図である。図22の例では、商品は、雑誌66である。天井62にインターフェース装置1000が設置され、雑誌棚64に雑誌66が置かれている。雑誌には、週刊、月刊、又は季刊など、決められた期間のみ棚に置くものがある。そのため店舗では、このような雑誌の入れ替え作業が頻繁に行われる。この作業は通常、店員などの作業担当者が行う。例えば作業担当者は、返本対象の雑誌をリストアップした返本リストを持ち、雑誌棚に置かれている各雑誌の表紙と返本リストとを見比べながら、入れ替えるべき雑誌を選別していく。この作業は、この作業に慣れている店員にとっても、労力を要する作業である。
インターフェース装置1000は、そのような商品入れ替え作業にかかる労力を大きく削減できる。この例では、インターフェース装置1000の撮像部(カメラ)100は、雑誌66の表紙を撮影する。制御部200には、雑誌66の表紙と当該雑誌66の取り扱い期限日とが関連付けられた情報が雑誌管理情報として予め与えられる。制御部200は、撮像部100によって撮影された各雑誌66の表紙の画像と、雑誌管理情報とに基づいて、取り扱い期限日が迫っている雑誌66、又は取り扱い期限日が過ぎている雑誌66を選び出す。制御部200は、選び出した雑誌66の方向を表す制御情報を生成する。そして、制御部200は、制御情報に基づいた雑誌66の方向に、作業担当者の注意を促す像(返本表示マーク)10Iが照射されるように、素子320が有する各受光領域の光学的特性を制御する。照射部300は、制御情報に基づいた雑誌66の方向に返本表示マーク10Iを照射する。
インターフェース装置1000は、その特長である明るい像の表示が可能であることにより、書店やコンビニエンスストアなどの環境光が明るい場所でも十分な視認性を持って像(返本表示マーク)10Iが表示されるように像の明るさ調整が容易となる。なお、インターフェース装置1000は、取り扱い期限日が迫っている雑誌66の表紙と、取り扱い期限日が過ぎている雑誌66の表示とに、それぞれ別のマークを照射することも可能である。
このようにインターフェース装置1000を利用することで、作業担当者は、返本表示マーク10Iを頼りに本を回収するという簡単な作業で、商品の入れ替えを行うことができる。作業担当者は、返本リストのような資料を持つ必要がないため、両手を使うことができ、作業担当者の作業効率は、格段に高まる。
なお、インターフェース装置1000に情報を入力する方法は、カメラによる撮影以外の方法でもよい。例えば、各雑誌66にIC(Integrated Circuit)タグを埋め込んでおき、雑誌棚64に、ICタグリーダ、及びICタグリーダが読み取った情報を送信する装置を備えておく。そして、インターフェース装置1000に、この装置から送信された情報を取得する機能を設ける。こうすることで、インターフェース装置1000は、各雑誌66に埋め込まれたICタグから取得された情報を入力情報として受け取り、その情報に基づいて、制御情報を生成することできる。
図23は、インターフェース装置1000が、棚にある複数の物品の中から目的の物品を選び出す作業を支援する具体例を表す図である。例えば薬局において、店員は、顧客から渡された処方箋を見て、棚にある複数の薬の中から、目的の薬を選び出す。また、工場において、作業員は、棚にある複数の部品から、目的の部品を選び出す。例えばこのような棚には、数十個や数百個といった引き出しが設けられている。そのため作業員は、各引き出しに貼られたラベル等を頼りに、大量の引き出しの中から、目的の物品が入っている引き出しを選び出さなければいけない。
この例では、インターフェース装置1000は、そのような作業を支援する。なお、この例において、作業員68は、モバイル機器に組み込まれたインターフェース装置1000を用いることが考えられる。例えば、作業員68は、このモバイル機器を首からさげて使用する。前述した通り、インターフェース装置1000は小型であるため、モバイル機器に組み込むことが可能である。
インターフェース装置1000には撮像部(カメラ)100が備えられており、このカメラから情報が入力される。薬局における利用を想定して説明する。まずインターフェース装置1000には予め、処方箋から得たデータが入力されている。そして、作業員68が薬品棚の前に立つと、撮像部100は、カメラを用いて各引き出し70に貼られているラベルを読み取る。そして、制御部200は、処方箋から得たデータと、カメラから読み取ったラベルとを比較することで、像を照射すべき引き出し70の方向を表す制御情報を生成する。制御部200は、その制御情報に基づいて、素子320が有する各受光領域の光学的特性を制御する。照射部300は、引き出し70に向けて像(表示マーク)10Jを照射する。表示マーク10Jは、作業員68の注意を促すような像である。
インターフェース装置1000を用いれば、作業員68は、表示マーク10Jが照射された引き出し70を開けるだけで、目的の物品を得ることができる。大量の引き出しの中から目的の引き出しを探したり、作業効率を上げるために引き出しの位置を覚えたりする必要がない。また、物品を取り間違えるといった、人為的なミスが軽減される。さらに、この例における処方箋のような、目的の物品を記したメモ等を持つ必要が無くなるため、作業員68は両手を使うことができる。そのため、作業効率が高まる。
なお、インターフェース装置1000が情報の入力を受け付ける方法は、ICタグなどを利用した方法でもよい。
図24は、インターフェース装置1000が、会議室におけるプレゼンテーションを支援する具体例を表す図である。通常、会議室においてプレゼンテーションが行われる場合、スクリーンに画像を照射するプロジェクタの操作を1台のPC(Personal Computer)で行う。プレゼンターは、そのPCを操作しながら話を進める。画像の切替えはマウスクリックなどで行われる。広い会議室では、プレゼンターは、PCから離れた位置に立つことが多く、PCを操作するために移動することになる。PCを操作する度にプレゼンターが移動することは、プレゼンターにとって煩わしい上、会議進行の妨げにもなる。
インターフェース装置1000を用いることで、このような煩わしさを軽減し、かつ会議の進行をスムーズにすることができる。この場合には、天井72に、会議室の大きさに応じて単数または複数のインターフェース装置1000が設置される。インターフェース装置1000は、撮像部(カメラ)100を用いて、情報の入力を受け付ける。例えばインターフェース装置1000は、会議に参加している各参加者の動作を監視し、参加者の希望に応じた例えば像10K〜10Oなどを会議机上に照射する。参加者は、手のひらを上に向けるなど、予め定めたジェスチャを行うことで、自身の希望を提示する。インターフェース装置1000は、撮像部100を用いてこの動作を検知する。そして、制御部200は、検知したジェスチャに基づいて、照射すべき像及び照射すべき方向を示す制御情報を生成する。制御部200は、その制御情報に基づいて、素子320が有する各受光領域の光学的特性を制御する。照射部300は、参加者の希望に応える像を照射する。
例えば、像10Kは、メニュー選択画面である。この中の所望のボタンを選択することにより、像10L〜10Oの画像を選ぶことができる。例えば像10Lは、頁を進めたり戻したりするボタンを示している。像10M及び像10Nは、マウスパッドを示している。また、像10Oはテンキーを示している。例えばインターフェース装置1000は、カメラを用いて、会議参加者による、これらの像に対する操作を検知する。例えば、参加者が、ページを進めるボタンを押す動作を行った場合、インターフェース装置1000は、PCに対して、ページを進める指示を送信する。PCはこの指示を受けて、ページを進める。なお、像に対する参加者の操作を検知する機能や、PCに対して指示を送信する機能は、インターフェース装置1000の外部に設けられてもよい。
このように、インターフェース装置1000を用いることで、ジェスチャによる情報の入力と、像を用いた情報の出力とによる、バーチャルなインターフェース環境を提供することができる。会議参加者は、椅子から立ち上がることなく、好きなときに画面の操作を行うことができる。そのため、インターフェース装置1000は、会議の時間短縮及び効率化に寄与することができる。
図25は、モバイル機器に組み込まれたインターフェース装置1000を利用することにより、移動先で会議環境を構築する具体例を表す図である。例えば、会議室以外の部屋、テントの中、又は木の下などの色々な場所を、簡易的な会議場所にすることが考えられる。この例では、インターフェース装置1000は、地図を広げて情報共有を行うために、簡易的な会議環境を構築している。なお、この例においても、インターフェース装置1000は、撮像部(カメラ)100を用いて情報を受け付ける。
インターフェース装置1000が組み込まれたモバイル機器は、やや高い位置に吊るされる。この例では、インターフェース装置1000の下には机74が置かれ、机74の上に地図76が広げられている。インターフェース装置1000は、撮像部100によって地図76を認識する。具体的には、インターフェース装置1000は、地図に付された識別コード78を読み取ることで、地図76を認識する。そして、インターフェース装置1000は、地図76に像を照射することで、色々な情報を地図に照射(表示)する。
すなわち、制御部200は、地図76のどこにどのような像を照射すべきかを決定する。制御部200は、その決定に基づいて、素子320が有する各受光領域の光学的特性を制御する。照射部300は、地図76における決定した表示位置に、制御部200が決定した像を照射する。
例えば、インターフェース装置1000は、像10P(操作用パッドの像)、像10Q(船の像)、像10R(建物を表す像)、及び像10S(船の像)を照射する。インターフェース装置1000が照射すべき情報は、インターフェース装置1000の内部に格納されていてもよいし、インターネットや無線通信を利用して収集されてもよい。
前述したように、インターフェース装置1000は、消費電力が小さく、かつ小型である。このため、インターフェース装置1000は、電池駆動が可能である。その結果、インターフェース装置1000のユーザは、インターフェース装置1000を様々な場所へ持ち運び、その場所で会議環境等を構築できる。なお、インターフェース装置1000が照射する像は焦点調整が不要であるため、湾曲した場所や凸凹したものの上にでも、見やすい像を照射することができる。また、インターフェース装置1000は、明るい表示が可能であるため、明るい環境でも使うことができる。つまり、インターフェース装置1000は、環境を選ばないという、携帯利用形態における必須な要件を満たしていることになる。
図26は、インターフェース装置1000を入出管理システムに応用する具体例を表す図である。例えば、家庭において、玄関80の天井や軒先などに設置したインターフェース装置1000は、人間及びその動作を監視する。
入室管理に関して、入室資格のある人間についてのデータベースが予め作成される。入室の際、インターフェース装置1000又は別の装置によって、顔認証、指紋認証、又は虹彩認証機能などの個人認証が行われる。制御部200は、この個人認証の結果に基づいて生成された制御情報に基づき、素子320が有する各受光領域の光学的特性を制御する。照射部300は、図26における例A〜Dに表される像10U〜10Wのような像を照射する。
例Aは、入室資格を持った者に対応する場合の具体例である。インターフェース装置1000は、例えばメッセージを表す像10Tを照射する。また、インターフェース装置1000は、パスワード入力パッドを表す像10Uを照射する。撮像部100は、例えば、人間の指が像10Uと重なっている画像を撮影し、制御部200は当該画像に基づいて、人間が像10Uに対して行う操作に関する情報を取得する。
例Bは、一般の訪問者に対応する場合の具体例である。この場合には、インターフェース装置1000は何もしない。例えば、インターフォンなど通常の接客システムが使われる。
例Cは、不審者に対応する場合の具体例である。。インターフェース装置1000は、ピッキングなど、無理に侵入しようとする動作が認められた場合、警告を示す像10Vを照射して、不審者を撃退する。また、インターフェース装置1000は、警備会社への通報などをさらに行ってもよい。
例Dは、窓から侵入しようとする不審者を撃退する場合の具体例である。窓を割る振動を検知することで不審者を撃退する既存システムもあるが、インターフェース装置1000を用いれば、窓を割られる前に撃退することが可能である。
この例における照射画像について、さらに説明する。一般のプロジェクタを用いて図26に表す像10Wを窓82に表示しようとすると、かなり大きな装置を設置する必要がある。インターフェース装置1000においても、レーザ光は窓82を透過し窓82に映り難いことから、1本のレーザ光源から照射されたレーザ光だけで像10Wの全体を窓82に表示しようとすると、像10Wが多少暗くなる可能性がある。そこで、この例においては、別々のレーザ光源から放射された光が、広がらずに明るさの低減が少ない状態で例えば1文字ずつ又は1キーずつ形成するようにしてもよい。この場合、インターフェース装置1000は、複数のレーザ光源を有する。これにより、インターフェース装置1000は、像10Wを窓82に、より明るく表示することが可能となる。
この例のようなインターフェース装置1000を利用すれば、カギを持たずに入室が可能であり、かつ不審者撃退にも効果が期待できる。
図27は、インターフェース装置1000を配送業務支援に利用する具体例を表す図である。不慣れな場所に荷物を届ける場合、配達員は、地図で進行方向をチェックしながら行動する必要がある。しかし、通常、配達員は、荷物を両手で持つため、両手がふさがっている場合が多い。また、配達先が非常にわかりにくい場所の場合、両手がふさがっていなかったとしても、地図から進行方向を読み取ることが難しい場合がある。
この例のインターフェース装置1000は、配達員が進むべき方向を像として表示することで、配送業務を支援する。例えば、配達員は、インターフェース装置1000を首から提げておく。ここで、インターフェース装置1000は、GPSを備えているとする。また、制御部200は、GPSから取得する位置情報と地図データとを用いて進行方向を割り出すことで、制御情報を生成する機能を有しているとする。なお、GPSや、GPSを用いて制御情報を生成する機能は、インターフェース装置1000の外部に設けられていてもよい。制御部200は、当該制御情報に基づき、素子320が有する各受光領域の光学的特性を制御する。照射部300は、進行方向を表す像10Ya〜10Yeを配達員が持っている荷物84の表面に照射する。
例えば、インターフェース装置1000は、撮像部(カメラ)100を備えておくことで、配達員が持っている荷物の方向を検知する。なお、進行方向を表す像は、足下などへ照射されてもよい。配達員は、荷物84に照射される像(矢印)10Ya〜10Yeを見ることで、地図を確認することなく、進行方向を知ることができる。
このようにインターフェース装置1000を利用することで、配達員は、地図を見るために荷物を下ろして確認する必要が無くなる。そのため、インターフェース装置1000は、配送作業の時間短縮や、配送作業に伴う煩わしさを軽減できる効果を得ることができる。
<第2実施形態>
図28は、本発明に係る第2実施形態のモジュールの機能構成を表すブロック図である。図28において、各ブロックは、ハードウェア単位の構成ではなく、説明の便宜上の機能単位の構成を示す。図28において、点線はレーザ光の流れを表し、実線は情報の流れを表す。図1に表す構成と実質的に同一の構成には同一の符号を付し、その説明は省略する。
モジュール1001は、制御部201と、レーザ光源310と素子320を備える照射部300とを有する。照射部300は、レーザ光源310と、素子320に加え、さらに、第1の光学系330および第2の光学系340を備えていてもよい。
モジュール1001は、例えば、スマートフォンやタブレット端末など、撮像部100に相当する機能を有している電子機器900に接続して用いられる部品である。電子機器900は、撮像部100に相当する機能と、撮影された画像に対して画像認識処理を実行する処理部901とを備える。
制御部201は、処理部901が認識した結果を表す情報に基づいて、素子320が出射する光に基づいて形成される像を決定し、決定した像が形成されるように素子320を制御する。モジュール1001と接続した電子機器900は、第1実施形態のインターフェース装置1000と同様の機能を備えることができる。
<第3実施形態>
図29は、本発明に係る第3実施形態の電子部品の機能構成を表すブロック図である。図29において、各ブロックは、ハードウェア単位の構成ではなく、説明の便宜上の機能単位の構成を示す。図29において、点線はレーザ光の流れを表し、実線は情報の流れを表す。図1に示した構成と実質的に同一の構成には同一の符号を付し、その説明は省略する。
電子部品1002は、制御部202を備える。電子部品1002は、電子機器800に接続して用いられる部品である。電子機器800は、撮像部100および照射部300に相当する機能、並びに、撮影された画像に対して画像認識処理を実行する処理部801を備える。
制御部202は、処理部801が認識した結果を表す情報に基づいて、素子320が出射する光に基づいて形成される像を決定し、決定した像が形成されるように素子320を制御する。電子部品1002と接続した電子機器800は、第1実施形態のインターフェース装置1000と同様の機能を備えることができる。
<第4実施形態>
図30は、本発明に係る第4実施形態のインターフェース装置を表すブロック図である。図30において、各ブロックは、ハードウェア単位の構成ではなく、説明の便宜上の機能単位の構成を示す。図30において、点線はレーザ光の流れを表し、実線は情報の流れを表す。
インターフェース装置1003は、レーザ光源311と、素子323と、撮像部101と、制御部203とを備える。
レーザ光源311は、レーザ光を照射する。素子323は、レーザ光が入射すると当該レーザ光の位相を変調して出射する。撮像部101は、対象物を撮影する。制御部203は、撮像部101が撮影した対象物を認識し、その認識した結果に基づいて素子320が出射する光により形成される像を決定し、この決定した像が形成されるように素子323を制御する。
以上、本発明を実施するための形態について説明したが、上記各実施の形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明はその趣旨を逸脱することなく変更、改良され得ると共に、本発明にはその等価物も含まれる。
この出願は、2013年10月2日に出願された日本出願特願2013−207107を基礎とする優先権を主張し、その開示の全てをここに取り込む。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
レーザ光を照射するレーザ光源と、
前記レーザ光が入射されると当該レーザ光の位相を変調して出射する素子と、
対象物を撮像する撮像部と、
前記撮像部が撮像した対象物を認識し、その認識した結果に基づいて前記素子が出射する光に基づいて形成される像を決定し、前記決定された像が形成されるように前記素子を制御する制御部と、
を備えるインターフェース装置。
(付記2)
前記素子は、複数の受光領域を有し、それぞれの前記受光領域は、当該受光領域に入射されたレーザー光の位相を変調して出射し、
前記制御部は、それぞれの前記受光領域について、当該受光領域に入射された光の位相と当該受光領域が出射する光の位相との差分を決定付けるパラメータを変化させるよう前記素子を制御する、
付記1に記載のインターフェース装置。
(付記3)
前記素子は、位相変調型の回折光学素子である、
付記1または付記2のいずれかに記載のインターフェース装置。
(付記4)
前記受光領域の屈折率は、当該受光領域に印加された電圧に応じて変化し、
前記制御部は、前記決定された像が形成されるように、前記それぞれの受光領域に印加する電圧を制御することで前記素子を制御する、
付記2に記載のインターフェース装置。
(付記5)
前記素子は基板とミラーとを含み、
前記素子が有する前記複数の受光領域のそれぞれは、ミラーによって構成され、
前記制御部は、前記基板と前記ミラーとの距離を制御することで前記素子を制御する、
付記2に記載のインターフェース装置。
(付記6)
前記素子は、前記撮像部が撮像する領域のうち、前記領域の一部の領域である1つまたは複数の部分領域に対して前記像を形成するよう光を出射する、
付記1から付記5のいずれかに記載のインターフェース装置。
(付記7)
前記素子は、前記撮像部が撮像した対象物に対して前記像を形成するよう光を出射する、
付記1から付記5のいずれかに記載のインターフェース装置。
(付記8)
前記制御部は、前記認識した結果に基づいて自装置と前記対象物との位置関係に関する情報を生成し、前記位置関係に関する情報に基づいて、前記対象物に前記像が形成するように、前記素子を制御する、
付記7に記載のインターフェース装置。
(付記9)
付記1から付記8のいずれかに記載のインターフェース装置が組み込まれた携帯電子機器。
(付記10)
付記1から付記8のいずれかに記載のインターフェース装置が組み込まれた装身具。
(付記11)
対象物を撮像する撮像部と、撮像部が撮像した対象物を認識する処理部と、を備える電子機器に組み込まれて用いられるモジュールであって、
前記モジュールは、
レーザ光を照射するレーザ光源と、
前記レーザ光が入射されると当該レーザ光の位相を変調して出射する素子と、
前記処理部が認識した結果に基づいて、前記素子が出射する光に基づいて形成される像を決定し、前記決定された像が形成されるように前記素子を制御する制御部と、
を備えるモジュール。
(付記12)
前記素子は、複数の受光領域を有し、それぞれの前記受光領域は、当該受光領域に入射されたレーザー光の位相を変調して出射し、
前記制御部は、それぞれの前記受光領域について、当該受光領域に入射された光の位相と当該受光領域が出射する光の位相との差分を決定付けるパラメータを変化させるよう前記素子を制御する、
付記11に記載のモジュール。
(付記13)
前記素子は、位相変調型の回折光学素子である、
付記11または付記12のいずれかに記載のモジュール。
(付記14)
前記受光領域の屈折率は、当該受光領域に印加された電圧に応じて変化し、
前記制御部は、前記決定された像が形成されるように、前記それぞれの受光領域に印加する電圧を制御することで前記素子を制御する、
付記12に記載のモジュール。
(付記15)
前記素子は基板とミラーとを含み、
前記素子が有する前記複数の受光領域のそれぞれは、ミラーによって構成され、
前記制御部は、前記基板と前記ミラーとの距離を制御することで前記素子を制御する、
付記12に記載のモジュール。
(付記16)
前記素子は、前記撮像部が撮像する領域のうち、前記領域の一部の領域である1つまたは複数の部分領域に対して前記像を形成するよう光を出射する、
付記11から付記15のいずれかに記載のモジュール。
(付記17)
前記素子は、前記撮像部が撮像した対象物に対して前記像を形成するよう光を出射する、
付記11から付記15のいずれかに記載のモジュール。
(付記18)
前記制御部は、前記認識した結果に基づいて自装置と前記対象物との位置関係に関する情報を生成し、前記位置関係に関する情報に基づいて、前記対象物に前記像が形成するように、前記素子を制御する、
付記17に記載のモジュール。
(付記19)
レーザ光を照射するレーザ光源と、前記レーザ光が入射されると当該レーザ光の位相を変調して出射する素子と、対象物を撮像する撮像部と、撮像部が撮像した対象物を認識する処理部と、を備える電子機器を制御する電子部品であって、
前記処理部が認識した結果に基づいて、前記素子が出射する光に基づいて形成される像を決定し、前記決定された像が形成されるように前記素子を制御する電子部品。
(付記20)
前記素子は、複数の受光領域を有し、それぞれの前記受光領域は、当該受光領域に入射されたレーザー光の位相を変調して出射し、
前記電子部品は、それぞれの前記受光領域について、当該受光領域に入射された光の位相と当該受光領域が出射する光の位相との差分を決定付けるパラメータを変化させるよう前記素子を制御する、
付記19に記載の電子部品。
(付記21)
前記受光領域の屈折率は、当該受光領域に印加された電圧に応じて変化し、
前記電子部品は、前記決定された像が形成されるように、前記それぞれの受光領域に印加する電圧を制御することで前記素子を制御する、
付記20に記載の電子部品。
(付記22)
前記素子は基板とミラーとを含み、
前記素子が有する前記複数の受光領域のそれぞれは、ミラーによって構成され、
前記電子部品は、前記基板と前記ミラーとの距離を制御することで前記素子を制御する、
付記20に記載の電子部品。
(付記23)
前記電子部品は、前記素子が出射した光が前記撮像部が撮像する領域のうち、前記領域の一部の領域である1つまたは複数の部分領域に対して前記像を形成するよう、前記素子を制御する、
付記19乃至付記22のいずれかに記載の電子部品。
(付記24)
前記電子部品は、前記素子が出射した光が前記撮像部が撮像した対象物に対して前記像を形成するよう、前記素子を制御する、
付記19乃至付記22のいずれかに記載の電子部品。
(付記25)
前記電子部品は、前記認識した結果に基づいて自装置と前記対象物との位置関係に関する情報を生成し、前記位置関係に関する情報に基づいて、前記対象物に前記像が形成するように、前記素子を制御する、
付記24に記載の電子部品。
(付記26)
レーザ光を照射するレーザ光源と、前記レーザ光が入射されると当該レーザ光の位相を変調して出射する素子と、対象物を撮像する撮像部と、を備えるインターフェース装置を制御するコンピュータによって実行される制御方法であって、
前記撮像部が撮像した対象物を認識し、
前記認識した結果に基づいて前記素子が出射する像を決定し、
前記決定された像が形成されるように前記素子を制御する、
制御方法。
(付記27)
前記素子は、複数の受光領域を有し、それぞれの前記受光領域は、当該受光領域に入射されたレーザー光の位相を変調して出射し、
前記制御方法は、それぞれの前記受光領域について、当該受光領域に入射された光の位相と当該受光領域が出射する光の位相との差分を決定付けるパラメータを変化させるよう前記素子を制御する、
付記26に記載の制御方法。
(付記28)
前記受光領域の屈折率は、当該受光領域に印加された電圧に応じて変化し、
前記制御方法は、前記決定された像が形成されるように、前記それぞれの受光領域に印加する電圧を制御することで前記素子を制御する、
付記27に記載の制御方法。
(付記29)
前記素子は基板とミラーとを含み、
前記素子が有する前記複数の受光領域のそれぞれは、ミラーによって構成され、
前記制御方法は、前記基板と前記ミラーとの距離を制御することで前記素子を制御する、
付記27に記載の制御方法。
(付記30)
前記制御方法は、前記素子が出射した光が前記撮像部が撮像する領域のうち前記領域の一部の領域である1つまたは複数の部分領域に対して前記像を形成するように、前記素子を制御する付記26乃至付記29のいずれかに記載の制御方法。
(付記31)
前記制御方法は、前記素子が出射した光が前記撮像部が撮像した対象物に対して前記像を形成するよう、前記素子を制御する付記26乃至付記29のいずれかに記載の制御方法。
(付記32)
前記制御方法は、前記認識した結果に基づいて自装置と前記対象物との位置関係に関する情報を生成し、前記位置関係に関する情報に基づいて、前記対象物に前記像が形成するように、前記素子を制御する、
付記31に記載の制御方法。
(付記33)
レーザ光を照射するレーザ光源と、前記レーザ光が入射されると当該レーザ光の位相を変調して出射する素子と、対象物を撮像する撮像部と、を備えるインターフェース装置を制御するコンピュータに、
前記撮像部が撮像した対象物を認識する処理と、
前記認識した結果に基づいて前記素子が出射する光に基づいて形成される像を決定する処理と、
前記決定された像が形成されるように前記素子を制御する処理と、
を実行させるプログラム。
(付記34)
前記素子は、複数の受光領域を有し、それぞれの前記受光領域は、当該受光領域に入射されたレーザー光の位相を変調して出射し、
前記コンピュータに、それぞれの前記受光領域について、当該受光領域に入射された光の位相と当該受光領域が出射する光の位相との差分を決定付けるパラメータを変化させるよう前記素子を制御する処理を実行させる、
付記33に記載のプログラム。
(付記35)
前記受光領域の屈折率は、当該受光領域に印加された電圧に応じて変化し、
前記コンピュータに、前記決定された像が形成されるように、前記それぞれの受光領域に印加する電圧を制御することで前記素子を制御する処理を実行させる、
付記34に記載のプログラム。
(付記36)
前記素子は基板とミラーとを含み、
前記素子が有する前記複数の受光領域のそれぞれは、ミラーによって構成され、
前記コンピュータに、前記基板と前記ミラーとの距離を制御することで前記素子を制御する処理を実行させる、
付記34に記載のプログラム。
(付記37)
前記コンピュータに、前記素子が出射した光が前記撮像部が撮像する領域のうち前記領域の一部の領域である1つまたは複数の部分領域に対して前記像を形成するように、前記素子を制御する処理を実行させる付記33乃至付記36のいずれかに記載のプログラム。
(付記38)
前記コンピュータに、前記素子が出射した光が前記撮像部が撮像した対象物に対して前記像を形成するよう、前記素子を制御する処理を実行させる付記33乃至付記36のいずれかに記載のプログラム。
(付記39)
前記コンピュータに、前記認識した結果に基づいて自装置と前記対象物との位置関係に関する情報を生成し、前記位置関係に関する情報に基づいて、前記対象物に前記像が形成するように、前記素子を制御する処理を実行させる、
付記38に記載のプログラム。
本発明は例えば、小型かつ軽量であり、複数の方向に対して同時に明るい像を照射できるプロジェクタの実現に用いることができる。
1 CPU
2 記憶部
10 像
20 対象物
30 手
32 指
34 英文
36 利用者
38 電化製品
40 本
42 カート
44 棚
46 分類番号
48 車
50 人物
52 患者の体
54 医師
56 メス
58 患者の腕
60 急病人
62 天井
64 雑誌棚
66 雑誌
68 作業員
70 引き出し
72 天井
74 机
76 地図
78 識別コード
80 玄関
82 窓
84 荷物
100 撮像部
200 制御部
201 制御部
300 照射部
310 レーザ光源
320 素子
321 基板
322 ミラー
330 第1の光学系
340 第2の光学系
1000 インターフェース装置
1001 モジュール
1002 制御部品
1003 インターフェース装置

Claims (14)

  1. レーザ光を照射するレーザ光源と、
    入射したレーザ光の位相を変調して出射する素子と、
    対象物を撮影する撮像手段と、
    前記撮像手段が撮影した対象物を認識し、その認識した結果に基づいて前記素子が出射する光により形成される像を決定し、この決定した像が形成されるように前記素子を制御する制御手段と、
    を備えるインターフェース装置。
  2. 前記素子は、複数の受光領域を有し、これら各受光領域は、当該受光領域に入射したレーザー光の位相を変調して出射する構成を有し、
    前記制御手段は、前記素子において、前記受光領域に入射した光の位相と当該受光領から出射する光の位相との差分を変化させる制御を受光領域毎に行う
    請求項1に記載のインターフェース装置。
  3. 前記素子は、位相変調型の回折光学素子である、
    請求項1または請求項2に記載のインターフェース装置。
  4. 前記受光領域の屈折率は、当該受光領域に印加された電圧に応じて変化し、
    前記制御手段は、前記決定された像が形成されるように、前記素子の前記各受光領域に印加する電圧をそれぞれ制御する、
    請求項2に記載のインターフェース装置。
  5. 前記素子は基板とミラーを含み、
    前記素子が有する前記各受光領域は、ミラーによって構成され、
    前記制御手段は、前記基板と前記ミラーとの距離を制御する、
    請求項2に記載のインターフェース装置。
  6. 前記素子は、前記撮像手段が撮影する領域のうちの一つあるいは複数の部分領域に、前記決定された像が形成されるように光を出射する、
    請求項1乃至請求項5のいずれか一つに記載のインターフェース装置。
  7. 前記素子は、前記撮像手段が撮影した対象物に前記像が形成されるように光を出射する、
    請求項1乃至請求項5のいずれか一つに記載のインターフェース装置。
  8. 前記制御手段は、前記認識した結果に基づいて自装置と前記対象物の位置関係に関する情報を生成し、前記位置関係に関する情報に基づいて、前記対象物に前記像が形成されるように前記素子を制御する、
    請求項7に記載のインターフェース装置。
  9. 請求項1乃至請求項8のいずれか一つに記載のインターフェース装置が組み込まれている携帯電子機器。
  10. 請求項1乃至請求項8のいずれか一つに記載のインターフェース装置が組み込まれている装身具。
  11. レーザ光を照射するレーザ光源と、
    入射したレーザ光の位相を変調して出射する素子と、
    前記素子を制御する制御手段と、
    を備えており、
    前記制御手段は、対象物を撮像する撮像手段と、当該撮像手段が撮影した対象物を認識する処理手段とを備える電子機器における前記処理手段が認識した結果に基づいて、前記素子が出射する光に基づいて形成される像を決定し、この決定した像が形成されるように前記素子を制御する
    モジュール。
  12. レーザ光を照射するレーザ光源と、入射したレーザ光の位相を変調して出射する素子と、対象物を撮影する撮像手段と、撮像手段が撮影した対象物を認識する処理手段と、を備える電子機器を制御する制御手段を備え、
    前記制御手段は、前記処理手段が認識した結果に基づいて、前記素子が出射する光に基づいて形成される像を決定し、この決定した像が形成されるように前記素子を制御する
    電子部品。
  13. コンピュータが、
    レーザ光を照射するレーザ光源と、入射したレーザ光の位相を変調して出射する素子と、対象物を撮影する撮像手段とを備えるインターフェース装置の前記撮像手段が撮影した対象物を認識し、
    前記認識した結果に基づいて前記素子が出射する像を決定し、
    前記決定された像が形成されるように前記素子を制御する
    制御方法。
  14. レーザ光を照射するレーザ光源と、入射したレーザ光の位相を変調して出射する素子と、対象物を撮影する撮像手段とを備えるインターフェース装置を制御するコンピュータに、
    前記撮像手段が撮影した対象物を認識する処理と、
    前記認識した結果に基づいて前記素子が出射する光に基づいて形成される像を決定する処理と、
    前記決定した像が形成されるように前記素子を制御する処理と
    を実行させるコンピュータプログラムを保持するプログラム記憶媒体。
JP2015540396A 2013-10-02 2014-10-01 インターフェース装置、モジュール、制御部品、制御方法およびコンピュータプログラム Pending JPWO2015049866A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013207107 2013-10-02
JP2013207107 2013-10-02
PCT/JP2014/005017 WO2015049866A1 (ja) 2013-10-02 2014-10-01 インターフェース装置、モジュール、制御部品、制御方法およびプログラム記憶媒体

Publications (1)

Publication Number Publication Date
JPWO2015049866A1 true JPWO2015049866A1 (ja) 2017-03-09

Family

ID=52778471

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015540396A Pending JPWO2015049866A1 (ja) 2013-10-02 2014-10-01 インターフェース装置、モジュール、制御部品、制御方法およびコンピュータプログラム

Country Status (3)

Country Link
US (1) US20160238833A1 (ja)
JP (1) JPWO2015049866A1 (ja)
WO (1) WO2015049866A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9710160B2 (en) * 2014-10-21 2017-07-18 International Business Machines Corporation Boundless projected interactive virtual desktop
US10225529B2 (en) 2015-07-17 2019-03-05 Nec Corporation Projection device using a spatial modulation element, projection method, and program storage medium
GB2542117B (en) * 2015-09-04 2022-04-06 Smidsy Ltd Laser projection device
DE102015219538A1 (de) * 2015-10-08 2017-04-13 Robert Bosch Gmbh Verfahren zur Aufnahme eines Bildes mit einem Mobilgerät
FI127833B (fi) * 2016-04-15 2019-03-29 Merivaara Oy Valaisinjärjestely
FI127839B (fi) * 2016-04-15 2019-03-29 Merivaara Oy Valaisin leikkaussalikäyttöön ja valaisinta hyödyntävä menetelmä
US10317939B2 (en) * 2016-04-26 2019-06-11 Westunitis Co., Ltd. Neckband type computer
WO2018056199A1 (ja) 2016-09-21 2018-03-29 日本電気株式会社 距離測定システム、距離測定方法およびプログラム記録媒体
JP6763434B2 (ja) * 2016-10-27 2020-09-30 日本電気株式会社 情報入力装置および情報入力方法
JP6665949B2 (ja) * 2016-11-30 2020-03-13 日本電気株式会社 投射装置、投射方法およびプログラム
JP7304184B2 (ja) * 2019-03-27 2023-07-06 株式会社Subaru 車両の非接触操作装置、および車両
JP6949927B2 (ja) 2019-12-12 2021-10-13 Necプラットフォームズ株式会社 送光装置、通信システム、および送光方法
KR102597069B1 (ko) * 2021-04-23 2023-11-01 네이버 주식회사 포인팅에 기반한 정보 제공 방법 및 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001211372A (ja) * 2000-01-27 2001-08-03 Nippon Telegr & Teleph Corp <Ntt> 映像投影装置
JP2010058742A (ja) * 2008-09-05 2010-03-18 Mazda Motor Corp 車両用運転支援装置
JP2010533889A (ja) * 2007-07-17 2010-10-28 エクスプレイ・リミテッド レーザ投影のコヒーレントな画像化及びその装置
JP2012237814A (ja) * 2011-05-10 2012-12-06 Dainippon Printing Co Ltd 照明装置、投射型映像表示装置及び光学装置
WO2013111376A1 (ja) * 2012-01-24 2013-08-01 日本電気株式会社 インターフェース装置およびインターフェース装置の駆動方法
WO2013111374A1 (ja) * 2012-01-24 2013-08-01 日本電気株式会社 インターフェース装置、インターフェース装置の駆動方法、インターフェースシステムおよびインターフェースシステムの駆動方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9521072D0 (en) * 1995-10-14 1995-12-20 Rank Xerox Ltd Calibration of an interactive desktop system
DE10037573B4 (de) * 2000-08-02 2005-05-19 Robert Bosch Gmbh Navigationsverfahren in einem Kraftfahrzeug
KR100811232B1 (ko) * 2003-07-18 2008-03-07 엘지전자 주식회사 턴 바이 턴 네비게이션 시스템 및 차기 안내방법
US20070205875A1 (en) * 2006-03-03 2007-09-06 De Haan Ido G Auxiliary device with projection display information alert
ITBO20060282A1 (it) * 2006-04-13 2007-10-14 Ferrari Spa Metodo e sitema di ausilio alla guida per un veicolo stradale
TWM322044U (en) * 2007-04-03 2007-11-11 Globaltop Technology Inc Portable navigation device with head-up display
US8125558B2 (en) * 2007-12-14 2012-02-28 Texas Instruments Incorporated Integrated image capture and projection system
US8423431B1 (en) * 2007-12-20 2013-04-16 Amazon Technologies, Inc. Light emission guidance
KR20110056003A (ko) * 2009-11-20 2011-05-26 삼성전자주식회사 휴대 단말기의 길 안내 방법 및 장치
JP5740822B2 (ja) * 2010-03-04 2015-07-01 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US20120140096A1 (en) * 2010-12-01 2012-06-07 Sony Ericsson Mobile Communications Ab Timing Solution for Projector Camera Devices and Systems
GB2501402B (en) * 2010-12-21 2015-06-24 Syndiant Inc Spatial light modulator with storage reducer
US8733939B2 (en) * 2012-07-26 2014-05-27 Cloudcar, Inc. Vehicle content projection
TWI454968B (zh) * 2012-12-24 2014-10-01 Ind Tech Res Inst 三維互動裝置及其操控方法
US9232200B2 (en) * 2013-01-21 2016-01-05 Devin L. Norman External vehicle projection system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001211372A (ja) * 2000-01-27 2001-08-03 Nippon Telegr & Teleph Corp <Ntt> 映像投影装置
JP2010533889A (ja) * 2007-07-17 2010-10-28 エクスプレイ・リミテッド レーザ投影のコヒーレントな画像化及びその装置
JP2010058742A (ja) * 2008-09-05 2010-03-18 Mazda Motor Corp 車両用運転支援装置
JP2012237814A (ja) * 2011-05-10 2012-12-06 Dainippon Printing Co Ltd 照明装置、投射型映像表示装置及び光学装置
WO2013111376A1 (ja) * 2012-01-24 2013-08-01 日本電気株式会社 インターフェース装置およびインターフェース装置の駆動方法
WO2013111374A1 (ja) * 2012-01-24 2013-08-01 日本電気株式会社 インターフェース装置、インターフェース装置の駆動方法、インターフェースシステムおよびインターフェースシステムの駆動方法

Also Published As

Publication number Publication date
US20160238833A1 (en) 2016-08-18
WO2015049866A1 (ja) 2015-04-09

Similar Documents

Publication Publication Date Title
WO2015049866A1 (ja) インターフェース装置、モジュール、制御部品、制御方法およびプログラム記憶媒体
JP6632979B2 (ja) 拡張現実感のための方法とシステム
US9390561B2 (en) Personal holographic billboard
US8179604B1 (en) Wearable marker for passive interaction
US8451344B1 (en) Electronic devices with side viewing capability
EP3286619B1 (en) A scene image analysis module
KR20210047373A (ko) 이미지를 분석하기 위한 웨어러블기기 및 방법
JP6240000B2 (ja) ピッキング支援装置及びプログラム
US20140160157A1 (en) People-triggered holographic reminders
US10514755B2 (en) Glasses-type terminal and control method therefor
JP2013521576A (ja) 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
EP3316573B1 (en) Information display system and information display terminal
CN112990509B (zh) 预约码显示方法、装置、设备及存储介质
CN115512534A (zh) 远程设备的发现和连接
JP2017016599A (ja) 表示装置、表示装置の制御方法、及び、プログラム
KR101198199B1 (ko) 피부 관리 지원 시스템 및 방법과 이를 지원하는 휴대 단말기
CN105334955A (zh) 一种信息处理方法及电子设备
US9869924B2 (en) Interface device and control method
JP2020095581A (ja) 情報処理方法、情報処理装置、情報処理システム、および店舗
Czuszynski et al. Septic safe interactions with smart glasses in health care
JP6445118B2 (ja) ウェアラブル端末、方法及びシステム
JP2018016493A (ja) 作業支援装置及びプログラム
JP6262177B2 (ja) ウェアラブル端末、方法及びシステム
Imabuchi et al. Visible-spectrum remote eye tracker for gaze communication
KR102560158B1 (ko) 카메라 연동 거울 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181120

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190521