JP6102750B2 - インターフェース装置、インターフェース装置の駆動方法、インターフェースシステムおよびインターフェースシステムの駆動方法 - Google Patents

インターフェース装置、インターフェース装置の駆動方法、インターフェースシステムおよびインターフェースシステムの駆動方法 Download PDF

Info

Publication number
JP6102750B2
JP6102750B2 JP2013555100A JP2013555100A JP6102750B2 JP 6102750 B2 JP6102750 B2 JP 6102750B2 JP 2013555100 A JP2013555100 A JP 2013555100A JP 2013555100 A JP2013555100 A JP 2013555100A JP 6102750 B2 JP6102750 B2 JP 6102750B2
Authority
JP
Japan
Prior art keywords
unit
head
image
light
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013555100A
Other languages
English (en)
Other versions
JPWO2013111374A1 (ja
Inventor
藤男 奥村
藤男 奥村
高梨 伸彰
伸彰 高梨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2013111374A1 publication Critical patent/JPWO2013111374A1/ja
Application granted granted Critical
Publication of JP6102750B2 publication Critical patent/JP6102750B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • EFIXED CONSTRUCTIONS
    • E03WATER SUPPLY; SEWERAGE
    • E03CDOMESTIC PLUMBING INSTALLATIONS FOR FRESH WATER OR WASTE WATER; SINKS
    • E03C1/00Domestic plumbing installations for fresh water or waste water; Sinks
    • E03C1/02Plumbing installations for fresh water
    • E03C1/05Arrangements of devices on wash-basins, baths, sinks, or the like for remote control of taps
    • E03C1/055Electrical control devices, e.g. with push buttons, control panels or the like
    • E03C1/057Electrical control devices, e.g. with push buttons, control panels or the like touchless, i.e. using sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Hydrology & Water Resources (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、インターフェース装置、インターフェース装置の駆動方法、インターフェースシステムおよびインターフェースシステムの駆動方法に関する。
従来、コンピュータ、デジタル機器を中心とする機械と人とのインターフェースは、ボタン、キーボード、マウス等であった。近年では、インターフェースは、前述のものから、画面に直接触れるタッチインターフェースへと発展しており、さらに、ジェスチャーによる空間操作型インターフェースも開発されている。空間操作型インターフェースは、例えば、非特許文献1から3のものがあげられる。
非特許文献1には、マサチューセッツ工科大学で開発されている「SixthSense」が開示されている。「SixthSense」では、小型プロジェクタとカメラとを組み合わせたインターフェースにより、カメラが指にはめた色サックの位置を認識し、様々なインタラクティブな操作を行える。
非特許文献2には、マイクロソフト社で開発されている「Omnitouch」が開示されている。「Omnitouch」は、人の肩に装置を乗せたインターフェースであり、小型プロジェクタと、対象物との3次元計測を行う「Xtion」(特許文献1参照)と呼ばれる装置が組み合わされており、色サックを用いず、直接手のジェスチャーを認識できる。
非特許文献3には、マサチューセッツ工科大学で開発されている「LuminAR」が開示されている。「LuminAR」は、ライトスタンド型のインターフェースであり、ライトスタンドのライトの部分に小型プロジェクタとカメラとが設けられており、機械的に動くアームを備える。
米国特許出願公開第2010/0118123号明細書
Pranav Mistry, SixthSense, MIT Media Lab, [平成23年12月16日検索]、インターネット(URL:http://www.pranavmistry.com/projects/sixthsense) Hrvoje Benko and Scott Saponas, Omnitouch, Microsoft, [平成23年12月16日検索]、インターネット(URL:http://research.microsoft.com/en-us/news/features/touch-101711.aspx) Natan Linder and Pattie Maes, LuminAR, MIT Media Lab, [平成23年12月16日検索]、インターネット(URL:http://fluid.media.mit.edu/people/natan/current/luminar.html)
「SixthSense」および「Omnitouch」は、操作するために投射する画像の位置を人が制御する必要がある。また、「SixthSense」および「Omnitouch」は、肩、手等を動かして、画像がそこに投射されるようにしなければならず、インターフェースを行う装置を人が装着していなくてはならない。「LuminAR」は、人は何も装着する必要はないが、ライトスタンドのライトの下に手を持っていかなくてはならない。これらは、人が機械に合わせる旧来型のインターフェースであり、ユビキタス型と呼ばれている。これからの世界において、機械と人とのインターフェースは、アンビエント型と呼ばれる、機械が人に合わせるインターフェースに変わっていくとされている。例えば、デジタルサイネージのような大型のものから、携帯端末、携帯電話等の小型のものまで、機械が人とその動きを認識して、状況にあったインタラクションを自律的に行うようになるのである。
アンビエント型のインターフェースを実現するには、「SixthSense」および「Omnitouch」のように、インターフェースを行う装置を人が装着することはできない。また、LuminARのような大きなアームを必要とするものは、例えば、携帯端末、携帯電話等の小型のものに組み込むことは困難である。
本発明の目的は、アンビエント型のインターフェースを実現するために、インターフェースを行う装置を人が装着する必要がなく、携帯端末、携帯電話等の小型のものに組み込むことが可能なインターフェース装置、インターフェース装置の駆動方法、インターフェースシステムおよびインターフェースシステムの駆動方法を提供することにある。
前記目的を達成するために、本発明のインターフェース装置は、
光源と、可撓性導光手段と、走査手段および撮像手段を含むヘッドと、回転手段と、制御手段とを含み、
前記撮像手段により、対象物の位置が認識され、
前記回転手段により、前記対象物の位置に応じて、前記ヘッドを回転可能であり、
前記光源から、光が発せられ、
前記可撓性導光手段により、前記光が、前記光源から前記走査手段に導かれ、
前記走査手段により、前記対象物に前記光が走査されることで画像が形成され、
前記撮像手段により、前記画像が認識され、
前記制御手段により、前記光源と、前記走査手段と、前記撮像手段と、前記回転手段とが制御され、かつ、前記撮像手段により認識された画像の状態に応じて、予め前記状態に対し定められた所定の動作を行う信号が発せられる。
本発明のインターフェース装置の駆動方法は、
光源と、可撓性導光手段と、走査手段および撮像手段を含むヘッドと、回転手段と、制御手段とを含むインターフェース装置を用い、
前記撮像手段により、対象物の位置を認識する位置認識工程と、
前記回転手段により、前記対象物の位置に応じて、前記ヘッドの向きを調整する調整工程と、
前記光源から、光を発する光発生工程と、
前記可撓性導光手段により、前記光を、前記光源から前記走査手段に導く導光工程と、
前記走査手段により、前記対象物に前記光を走査することで画像を形成する画像形成工程と、
前記撮像手段により、前記画像を認識する画像認識工程と、
前記制御手段により、前記光源と、前記走査手段と、前記撮像手段と、前記回転手段とを制御し、かつ、前記画像認識工程において認識した画像の状態に応じて、予め前記状態に対し定められた所定の動作を行う信号を発する動作工程とを含む。
本発明のインターフェースシステムは、
前記本発明のインターフェース装置と、プロジェクタとを含み、
前記制御手段により、前記プロジェクタに所望の位置に画像を投射するように指示する信号が発せられる。
本発明のインターフェースシステムの駆動方法は、
光源と、可撓性導光手段と、走査手段および撮像手段を含むヘッドと、回転手段と、制御手段とを含むインターフェース装置、およびプロジェクタを含むインターフェースシステムを用い、
前記撮像手段により、対象物の位置を認識する位置認識工程と、
前記回転手段により、前記対象物の位置に応じて、前記ヘッドの向きを調整する調整工程と、
前記光源から、光を発する光発生工程と、
前記可撓性導光手段により、前記光を、前記光源から前記走査手段に導く導光工程と、
前記走査手段により、前記対象物に前記光を走査することで画像を形成する画像形成工程と、
前記撮像手段により、前記画像を認識する画像認識工程と、
前記制御手段により、前記光源と、前記走査手段と、前記撮像手段と、前記回転手段とを制御し、かつ、前記画像認識工程において認識した画像の状態に応じて、予め前記状態に対し定められた所定の動作を行う信号を発する動作工程とを含み、
前記動作工程において、前記制御手段により、前記プロジェクタに所望の位置に画像を投射するように指示する信号を発する。
本発明によれば、アンビエント型のインターフェースを実現するための、インターフェースを行う装置を人が装着する必要がなく、携帯端末、携帯電話等の小型のものに組み込むことが可能なインターフェース装置、インターフェース装置の駆動方法、インターフェースシステムおよびインターフェースシステムの駆動方法を提供できる。
図1は、本発明のインターフェース装置の一例の構成を示すブロック図である。 図2は、本発明のインターフェース装置の駆動方法の一例を示す図である。 図3は、本発明のインターフェース装置およびその駆動方法のその他の例を示す図である。 図4は、本発明のインターフェース装置のさらにその他の例の構成を示す図である。 図5は、本発明のインターフェース装置の光源、可撓性導光手段および走査手段の一例の構成を示す概略図である。 図6は、本発明のインターフェース装置のさらにその他の例の構成を示す図である。 図7は、本発明のインターフェース装置のさらにその他の例の構成を示す図である。 図8は、本発明のインターフェース装置の適用例を示す図である。 図9は、本発明のインターフェースシステムの一例を示す図である。 図10は、本発明のインターフェースシステムのその他の例を示す図である。 図11(a)は、本発明のインターフェース装置の駆動方法における画像形成工程の一例を示す図であり、図11(b)は、Xtionの基本的な原理および課題を示す図である。 図12は、関連技術のインターフェース装置の駆動方法の一例を示す図である。
以下、本発明のインターフェース装置、インターフェース装置の駆動方法、インターフェースシステムおよびインターフェースシステムの駆動方法について、例を挙げて詳細に説明する。ただし、本発明は、以下の実施例に限定されない。なお、以下の図において、同一部分には、同一符号を付している。また、図面においては、説明の便宜上、各部の構造は適宜簡略化して示す場合があり、各部の寸法比等は、実際とは異なる場合がある。
[実施例1]
図1のブロック図に、本発明のインターフェース装置の一例の構成を示す。図1に示すとおり、このインターフェース装置は、光源105と、可撓性導光手段106と、走査手段101および撮像手段102を含むヘッド103と、回転手段104と、制御手段109とを主要な構成要素として含む。
光源105は、例えば、可視光光源、赤外光光源等があげられる。前記可視光光源は、赤、緑および青の可視光を出力するものであることが好ましい。この可視光光源は、赤、緑および青の可視光を合成した出力を有するものであることが好ましいが、赤色光源、緑色光源および青色光源の集合体であってもよい。光源105は、レーザであることが好ましい。
可撓性導光手段106は、光源105から発せられた光を、走査手段101に導く。可撓性導光手段106は、例えば、光ファイバ、可撓性導波路等があげられる。
走査手段101は、対象物に前記光を走査する。走査手段101は、前記光を走査し得るものであればいかなるものであってもよく、例えば、集光レンズ、ミラーおよび走査素子等を含む従来公知のものを用いることができる。光源105が、可視光を出力する可視光光源を含む場合には、走査手段101は、可視光画像を投射するプロジェクタとして機能し得る。本発明では、後述のように、走査手段101により、前記対象物に赤外光を走査して画像を形成し、3次元計測を行うことが好ましい。図1において、110は、走査手段101による投射画像を示している。
撮像手段102は、前記対象物の位置および走査手段101による前記光の走査により形成された画像を認識する。撮像手段102は、例えば、デジタルカメラ、CCD(Charge Coupled Device)カメラ、CMOS(Complementary Metal Oxide Semiconductor)カメラ等があげられる。
ヘッド103は、走査手段101および撮像手段102を搭載し得るものであれば、その材質、形状等は特に制限されない。ヘッド103の具体例については、後述する。
回転手段104は、ヘッド103を回転し得るものであれば、いかなるものであってもよい。回転手段104の具体例については、後述する。
制御手段109は、光源105と、走査手段101と、撮像手段102と、回転手段104とを制御し、かつ、撮像手段102により認識された画像の状態に応じて、予め前記状態に対し定められた所定の動作を行う信号を発する。制御手段109は、例えば、中央処理手段(CPU)等があげられる。制御手段109は、光源105、走査手段101、撮像手段102および回転手段104を、無線で制御し得るものであることが好ましい。有線制御の場合には、電線等に可撓性のものを用いる。
図2に、本発明のインターフェース装置の駆動方法の一例を示す。本例では、光源105が、前記可視光光源および前記赤外光光源を含み、可撓性導光手段106が、光ファイバであり、ヘッド103が、走査手段101および撮像手段102を包む直方体状の筐体であり、回転手段104が、ヘッド103を左右に回転させるモータであり、前記対象物が、手206である。図2において、制御手段109は、省略している。
(位置認識工程および調整工程)
まず、図2(a)に示すように、撮像手段102が、対象物(手)206を認識する。近年、画像認識の技術が進んできており、顔認証等は一般のデジタルカメラでも当たり前のものになってきている。手の認識も、同様にして実施可能である。ついで、図2(b)に示すように、手206の位置に応じて、必要であれば、回転手段104によりヘッド103を回転させ、ヘッド103の向きを調整する。ここで、一度、手206を認識すれば、撮像手段102の画角205から外れるように手206が動いても追跡することが可能である。使用の形態によっては、ヘッド103を周期的に回転させて、対象物である人や手の動きを認識することも可能である。
(光発生工程、導光工程、画像形成工程および画像認識工程)
つぎに、図2(b)に示すように、光源105が発した赤外光が光ファイバ106により走査手段101に導かれ、走査手段101により、手206に前記赤外光を走査することで画像を形成する。本例では、ストライプ状のパターン画像208を形成している。ついで、撮像手段102により、パターン画像208を認識し、3次元計測を行う(3次元計測工程)。3次元計測の方法としては、例えば、撮像手段と走査手段の走査素子との位置のずれを利用した三角測量、手206で反射して戻ってくるパターン画像208の位相変化をとらえるタイムオブフライト法等があげられる。本発明によれば、走査手段101および撮像手段102を含むヘッド103の向きを、任意かつ高速に変えることができる。これは、光源105および制御手段109と、走査手段101とを分離することにより、ヘッド103の体積を大幅に縮小可能なことによる。これを可能にしているのが、光源105から走査手段101に光を導く光ファイバ106である。また、デジタルカメラ等の撮像手段102は、近年、携帯電話等に搭載されていることから分かるように大幅な小型化が進んでおり、走査手段101および撮像手段102を含むヘッド103を、極めて小さく、軽く製造することが可能である。例えば、ヘッド103は、1cm以下にすることが充分に可能である。例えば、走査手段101および撮像手段102は、それぞれ、およそ数mmの径の中に収めることができる。実際、現在、いわゆるピコプロジェクタと呼ばれる小型のレーザプロジェクタに搭載されている走査系は、5mm程度である。このような小さなヘッド103には、小さいが故に早い応答性を持たせることが容易である。特に、装置に対して対象物である手等が近くにある場合、この高速応答性は大きな効果となる。また、ヘッド103が小さいため、これを回転させる回転手段104も小さくて済む。ヘッド103および回転手段104の合計体積も、1〜2cm程度で実現可能である。また、通常、光ファイバ106は、径が0.1mm程度であり、曲げにもフレキシブルに追随するため、ヘッド103の動きを阻害することがない。図2(b)において、207は、走査手段101の投射範囲を示している。
(動作工程)
つぎに、制御手段109により、撮像手段102により認識された画像の状態に応じて、予め前記状態に対し定められた所定の動作を行う信号を発する。図2(c)に示した例では、走査手段101により、選択画面の可視光画像209を投射している。これによって、インタラクティブな操作が可能である。例えば、手206によるジェスチャーによって可視光画像の表示を促し、それに応じて、手206の極近傍に何らかのオペレーションを促す可視光画像を投射し、それに手206が触れることによって動作を行う等である。本例では、可視光画像を用いているが、ジェスチャーで他のものをコントロールするのみであってもよい。
(実施例2)
図11(a)に、本発明のインターフェース装置の駆動方法における画像形成工程の一例を示す。本例では、前記画像形成工程において、前記位置認識工程で認識した手206の位置に応じて、パターン画像208のパターンの密度を変更している。この点を除き、本例は、実施例1のインターフェース装置の駆動方法と同様である。
アンビエント型のインターフェースを実現するためには、機械が人を認識するために、広い認識空間を持たなくてはならない。認識空間が狭いということは、人の動きを制限することになるからである。この点において、現状の技術は多くの課題を抱えている。例えば、現在最も有力なジェスチャー入力装置であるXtionは、つぎのような課題を抱えている。
図11(b)に、Xtionの基本的な原理および課題を示す。図11(b)に示すとおり、Xtionは、赤外光パターン発生装置1101およびカメラ1102を備える。Xtionの基本原理は、いわゆる三角測量による3次元的な対象物認証である。赤外光パターン発生装置1101から投射される赤外光パターン1108が対象物(本例では、手)1106に当たり、手1106の形状に応じて発生する画像歪みを、カメラ1102で読み取る。赤外光パターン発生装置1101の投射範囲とカメラ1102の画角との重複する領域が認識空間となる。
投射した赤外光パターンは、投射距離が長くなるほど広がるため、装置に近い領域では密に、離れた領域では疎になる。したがって、手1106が装置に近すぎると判別できなくなり、手1106が装置から離れすぎると解像度が落ちる。現行の製品では、有効距離は、80cm〜3m程度となっている。また、図11(b)に示すように、認識空間が限られており、この空間から外れたものは認識できない。装置に近づくほど、この空間から外れやすいということになる。このように、現状の技術は、認識空間の狭いものとなっている。
これを解決するために、LuminARが備える機械的に動くアームで装置を制御すればよさそうである。しかし、小型プロジェクタとカメラとを人等の対象物の動きに合わせて動かすには、大きなアームが必要となり、例えば、携帯端末、携帯電話等の小型のものに組み込むことは困難である。
図11(b)に示した例では、投射距離によって粗密が発生するため認識空間が狭かったが、本例では、実施例1のインターフェース装置の駆動方法に加えて、さらに、投射距離によって前記パターンの密度を変更することにより、これを防止している。これにより、実施例1のインターフェース装置の駆動方法のように携帯端末、携帯電話等の小型のものに組み込むことを可能にしつつ、手206に対するパターンの密度をほぼ一定にすることができ、投射距離にかかわらず認識精度を一定に保つことが可能である。本例において、前記パターンの密度に代えて、パターン画像208そのものを変更してもよい。
(実施例3)
図3に、本発明のインターフェース装置およびその駆動方法のその他の例を示す。図3に示すとおり、本例のインターフェース装置およびその駆動方法は、回転手段104が、走査手段101の投射方向の軸を中心にヘッド103を回転させるモータであり、前記動作工程において、前記画像認識工程で認識した画像に応じて、回転手段104によりヘッド103を回転することで、可視光画像209を回転すること以外、実施例1のインターフェース装置およびその駆動方法と同様である。
本例では、図3(a)に示すように、前記画像認識工程で認識した手206の向きと、可視光画像209の向きとに不整合があったとき、図3(b)に示すように、回転手段104によりヘッド103を回転することで、可視光画像209を回転し、正常な向きとすることが可能である。可視光画像209は、電気的に反転できるので、例えば、最大180度までの回転手段104があれば済む。
「SixthSense」および「Omnitouch」は、人の体に装置を装着しているため、人に対する可視光画像の向きは一定である。しかし、アンビエント型のインターフェースでは、人と装置の位置は、一定ではない。「SixthSense」および「Omnitouch」では、人の向きに合わせようとすると、図12に示すような不具合が出てくる。図12において、1201は小型プロジェクタ、1202は投射画像範囲、1203はその一部を使った可視光画像である。図12に示すように、「SixthSense」および「Omnitouch」では、可視光画像1203の制御は、投射画像範囲1202の一部を使って行わざるを得ない。例えば、手で持っている新聞紙上への投射においては、新聞紙の位置が時々刻々と変わるため、その形に合わせて可視光画像1203を変えなければならず、より広い投射画像範囲1202の一部を用いてこれを実現している。可視光画像1203の明るさは、投射画像範囲1202の面積に反比例する。したがって、このような使用形態では、可視光画像1203は不必要に暗くなってしまう。
図12に示したように、「SixthSense」および「Omnitouch」では、輝度低下を起こさずに可視光画像の向きを変えることは難しい。これに対し、本例によれば、輝度低下を起こすことなく、可視光画像の向きを変えることが可能である。
(実施例4)
図4に、本発明のインターフェース装置のさらにその他の例の構成を示す。図4に示すとおり、このインターフェース装置は、ヘッド103が、走査手段101および撮像手段102が乗せられた断面ほぼU字状の板(gimbal)であり、回転手段が、ヘッド103を左右に回転させるモータ104aと、ヘッド103を上下に回転させるモータ104bと、走査手段101の投射方向の軸を中心にヘッド103を回転させるモータ104cの3つを含むこと以外、実施例1のインターフェース装置と同様であり、ヘッド103の回転方向を増やせること以外、実施例1のインターフェース装置の駆動方法と同様にして駆動できる。
(実施例5)
図5の概略図に、本発明のインターフェース装置の光源、可撓性導光手段および走査手段の一例の構成を示す。図5に示すとおり、本例では、前記光源が、赤色レーザ、緑色レーザおよび青色レーザの3種のレーザの出力を組合せ、1つのビームを出力する可視光レーザ105aと、赤外光レーザ105bとを含む。可視光レーザ105aおよび赤外光レーザ105bの出力は、それぞれ、異なる可撓性導光手段106aおよび106bにより、走査手段101に導かれている。可撓性導光手段106aおよび106bは、固定部506で束ねられ、走査手段101内へと延びている。走査手段101は、固定部507と、レンズ508と、走査素子512とを主要な構成要素として含む。走査素子512は、ミラー511を含む。レンズ508は、可撓性導光手段106aおよび106bから出力される可視光レーザビーム509および赤外光レーザビーム510を走査素子512のミラー511に集光する。本例は、図5に示した部分を除き、実施例1と同様である。
一般に、レーザは、シングルモードである。シングルモードでは、可視光波長域は1本の可撓性導光手段で伝搬できるが、赤外光波長域までを1本の可撓性導光手段で伝搬するのは困難であり、赤外光が大きく減衰する。赤外光の波長によっては、完全に遮断される。そこで、本例では、可視光レーザ105aの出力と赤外光レーザ105bの出力とを、それぞれ、異なる可撓性導光手段106aおよび106bにより、走査手段101に導いている。最終的に、これらのビームを合成光学系で合成してもよいが、本例では、単に2本のビームを並べて投射させている。可視光の赤、緑および青のレーザは、可視光画像を形成するために、完全に1本のビームとして揃っていることが好ましいが、赤外光パターンは別の像になるので、可撓性導光手段1本分(例えば、約0.1mm)程度ずれていても問題はない。このようにすることで、赤外光の減衰、遮断の問題を解決できる。また、可撓性導光手段を2本束ねた程度では、ヘッドの動きを阻害することもない。
(実施例6)
図6に、本発明のインターフェース装置のさらにその他の例の構成を示す。本例は、ヘッド103が、走査手段101および撮像手段102を球形の筐体で包んだ形状であり、かつ、その周囲をリング状の支持体604で支持され、回転手段が、ヘッド103と支持体604との間に配置された超音波モータ104a、104b、104cである点を除き、実施例4と同様である。本例のインターフェース装置は、支持体604の内側に、ベアリングが設置されていてもよい。
本例によれば、回転手段を平面とし、ヘッドおよび回転手段の合計の体積をさらに小さくすることが可能である。具体的には、実施例4と同じ走査手段および撮像手段を用いて、ヘッドおよび回転手段の合計体積を、1/4以下にすることが可能である。
(実施例7)
図7に、本発明のインターフェース装置のさらにその他の例の構成を示す。本例は、回転手段が、前記筐体の外側に配置された3本のピン104d、および3本のピン104dに振動を与える3つのアクチュエータ104eである点を除き、実施例6と同様である。図7(b)において、707は、3本のピン104dの打点位置を示している。アクチュエータ104eは、例えば、圧電素子等があげられる。
本例は、実施例6の変形例であり、超音波モータの代わりに圧電素子の振動による打撃でヘッド103を回転する。本例によれば、支持体604と回転手段とを別々に形成することができ、調整が容易である。
(実施例8)
図8に、本発明のインターフェース装置の適用例を示す。図8において、100が、本発明のインターフェース装置である。図8(a)に示すように、本例では、前記動作工程において、前記制御手段により、蛇口801からシンク803に水を出すという動作を行う信号を発している。
本例は、洗面台、キッチン、風呂場等での蛇口801のインタラクティブな制御を示している。手を下に持ってくると水が出る蛇口は、トイレの洗面台等で使われている。その場合は、水が出る、出ない、の2つの状態しかない。本例によれば、例えば、図8(b)および(c)に示すように、手806の平を上に上げる、または、手806の甲を下に下げるというジェスチャーによる温度の上げ下げの制御、および、図8(d)に示すように、手806の人差し指を右に回すというジェスチャーによる流量の制御等も行うことができる。より具体的な適用例について説明すると、まず、人がシンク803に近づくと、本発明のインターフェース装置100が、人が使いたいと考えていると認識し、シンク803内、もしくはその周辺にアクティブになったことを知らせる可視光画像や使い方を示した可視光画像を投射する。デパート、商店、レストラン等のトイレでは、ここで宣伝を流すことも可能である。その後は、人がやりたいことのジェスチャーを行うことで、それに従って蛇口801が動作する。このとき、前記走査手段により、状態を知らせる可視光画像810を、図8(b)および(c)に示すように手806に投射してもよい。
(実施例9)
図9に、本発明のインターフェースシステムの一例を示す。本例においては、天井901に設置した本発明のインターフェース装置100とそれに連動したプロジェクタ903が、遠隔操作手段(リモコン)なしでの空調機904の制御を可能にする。図9(a)に示すように、手906を、手の平を上に向けた状態で数秒保持すると、本発明のインターフェース装置100が、人がリモコン操作をしたいと考えていると判断する。つぎに、図9(b)に示すように、本発明のインターフェース装置100の前記走査手段が、可視光画像(本例では、○印)910をその手の平に投射して、リモコン機能がアクティブになったことを人に知らせる。これにより、別のジェスチャーで状態を解除するまで、本発明のインターフェース装置100は、手906がリモコンになっていると認識する。この状態で、図9(c)に示すように、空調機904を指さすと、本発明のインターフェース装置100は、人が空調機904を操作したいと考えたと判断し、図9(d)に示すように、空調の情報、操作ボタン等の投射画像907を空調機904に投射するよう、プロジェクタ903に信号を発する。その投射画像907にもとづき、何らかのジェスチャーを行えば遠隔操作ができることになる。図9(e)では、室温を下げる操作を行っている。
日常生活で手の平を上に向けて数秒保持することは少ない。本例では、このジェスチャーを起点とすることで、手906のなにげない動きで空調機904を操作してしまう可能性を下げている。また、本発明のインターフェース装置100の前記走査手段から可視光画像(本例では、○印)910を投射することで、人は安心して次の操作を行うことができる。
本例のようなインターフェースシステムにおいては、操作可能な電子機器等を予め登録しておくことになる。本例では、空調機904を例に取ったが、テレビ、オーディオ機器、ラジオ、照明器具、扇風機、ストーブ、カーテン、シャッタ等、様々なものに応用可能である。プロジェクタ903からの画像の投射は、テレビ等自体、もしくは周辺の壁、床、天井等に対して行えばよい。
(実施例10)
図10に、本発明のインターフェースシステムのその他の例を示す。図10において、100aおよび100bが、天井1001に設置した本発明のインターフェース装置であり、1003が、プロジェクタである。
本例は、会議室でのプレゼンテーション支援システムを示している。図10に示すように、人1005は、プロジェクタ1003から投射された投射画像1009上のスライドを切り替える操作をジェスチャーで行っている。これは、本発明のインターフェース装置100aが人1005のジェスチャーを認識してプロジェクタ1003を操作することにより実行されている。人1006は、本発明のインターフェース装置100bを使ってテーブル1007上に操作用の投射画像1008を投射させている。このとき、本発明のインターフェース装置100bは、前記走査手段により、人の向き、やりたいことを認識して適切な向きに投射画像1008を投射している。このように、本発明のインターフェースシステムにより、何も持たない状態で全ての操作が行うことが可能となる。
上記の実施例の一部または全部は、以下の付記のようにも記載しうるが、以下には限定されない。
(付記1)
光源と、可撓性導光手段と、走査手段および撮像手段を含むヘッドと、回転手段と、制御手段とを含み、
前記撮像手段により、対象物の位置が認識され、
前記回転手段により、前記対象物の位置に応じて、前記ヘッドを回転可能であり、
前記光源から、光が発せられ、
前記可撓性導光手段により、前記光が、前記光源から前記走査手段に導かれ、
前記走査手段により、前記対象物に前記光が走査されることで画像が形成され、
前記撮像手段により、前記画像が認識され、
前記制御手段により、前記光源と、前記走査手段と、前記撮像手段と、前記回転手段とが制御され、かつ、前記撮像手段により認識された画像の状態に応じて、予め前記状態に対し定められた所定の動作を行う信号が発せられる、インターフェース装置。
(付記2)
前記光源は、可視光光源と、赤外光光源とを含み、
前記赤外光光源を用いて、3次元計測が行われる、付記1記載のインターフェース装置。
(付記3)
前記可視光光源は、赤色レーザ、緑色レーザおよび青色レーザの3種のレーザの出力を組合せ、1つのビームを出力する可視光レーザであり、
前記赤外光光源は、赤外光レーザである、付記2記載のインターフェース装置。
(付記4)
前記可視光レーザの出力および前記赤外光レーザの出力は、それぞれ、異なる可撓性導光手段により、前記走査手段に導かれる、付記3記載のインターフェース装置。
(付記5)
前記回転手段は、前記走査手段の投射方向の軸を中心に前記ヘッドを回転させる回転手段を含む、付記1から4のいずれかに記載のインターフェース装置。
(付記6)
前記ヘッドは、前記走査手段および前記撮像手段を球形の筐体で包んだ形状であり、
前記ヘッドは、その周囲をリング状の支持体で支持され、
前記回転手段は、前記ヘッドと前記支持体との間に配置された超音波モータを含む、付記1から5のいずれかに記載のインターフェース装置。
(付記7)
前記ヘッドは、前記走査手段および前記撮像手段を球形の筐体で包んだ形状であり、
前記ヘッドは、その周囲をリング状の支持体で支持され、
前記回転手段は、前記筐体の外側に配置されたピン、および前記ピンに振動を与えるアクチュエータを含む、付記1から5のいずれかに記載のインターフェース装置。
(付記8)
前記可撓性導光手段は、光ファイバである、付記1から7のいずれかに記載のインターフェース装置。
(付記9)
前記対象物が、人体の特定部位であり、
前記制御手段により、前記特定部位が遠隔操作手段と認識され、
前記走査手段により、前記遠隔操作手段と認識されたことを知らせる可視光画像が前記特定部位に投射される、付記2から8のいずれかに記載のインターフェース装置。
(付記10)
光源と、可撓性導光手段と、走査手段および撮像手段を含むヘッドと、回転手段と、制御手段とを含むインターフェース装置を用い、
前記撮像手段により、対象物の位置を認識する位置認識工程と、
前記回転手段により、前記対象物の位置に応じて、前記ヘッドの向きを調整する調整工程と、
前記光源から、光を発する光発生工程と、
前記可撓性導光手段により、前記光を、前記光源から前記走査手段に導く導光工程と、
前記走査手段により、前記対象物に前記光を走査することで画像を形成する画像形成工程と、
前記撮像手段により、前記画像を認識する画像認識工程と、
前記制御手段により、前記光源と、前記走査手段と、前記撮像手段と、前記回転手段とを制御し、かつ、前記画像認識工程において認識した画像の状態に応じて、予め前記状態に対し定められた所定の動作を行う信号を発する動作工程とを含む、インターフェース装置の駆動方法。
(付記11)
前記光源は、可視光光源と、赤外光光源とを含み、
前記光発生工程は、前記赤外光光源を用いて、3次元計測を行う3次元計測工程を含む、付記10記載のインターフェース装置の駆動方法。
(付記12)
前記可視光光源は、赤色レーザ、緑色レーザおよび青色レーザの3種のレーザの出力を組合せ、1つのビームを出力する可視光レーザであり、
前記赤外光光源は、赤外光レーザである、付記11記載のインターフェース装置の駆動方法。
(付記13)
前記導光工程において、前記可視光レーザの出力および前記赤外光レーザの出力を、それぞれ、異なる可撓性導光手段により、前記走査手段に導く、付記12記載のインターフェース装置の駆動方法。
(付記14)
前記回転手段は、前記走査手段の投射方向の軸を中心に前記ヘッドを回転させる回転手段を含み、
前記動作工程において、前記走査手段から可視光画像を投射し、かつ、前記画像認識工程において認識した画像に応じて、前記回転手段により前記ヘッドを回転することで、前記可視光画像を回転する、付記11から13のいずれかに記載のインターフェース装置の駆動方法。
(付記15)
前記対象物が、人体の特定部位であり、
前記動作工程において、前記制御手段により、前記特定部位を遠隔操作手段と認識し、かつ、前記走査手段により、前記遠隔操作手段と認識したことを知らせる可視光画像を前記特定部位に投射する、付記11から14のいずれかに記載のインターフェース装置の駆動方法。
(付記16)
前記画像形成工程において、パターン画像を形成し、かつ、前記位置認識工程において認識した前記対象物の位置に応じて、前記パターンの密度および前記パターンの少なくとも一方を変更する、付記10から15のいずれかに記載のインターフェース装置の駆動方法。
(付記17)
付記1から9のいずれかに記載のインターフェース装置と、プロジェクタとを含み、
前記制御手段により、前記プロジェクタに所望の位置に画像を投射するように指示する信号が発せられる、インターフェースシステム。
(付記18)
光源と、可撓性導光手段と、走査手段および撮像手段を含むヘッドと、回転手段と、制御手段とを含むインターフェース装置、およびプロジェクタを含むインターフェースシステムを用い、
前記撮像手段により、対象物の位置を認識する位置認識工程と、
前記回転手段により、前記対象物の位置に応じて、前記ヘッドの向きを調整する調整工程と、
前記光源から、光を発する光発生工程と、
前記可撓性導光手段により、前記光を、前記光源から前記走査手段に導く導光工程と、
前記走査手段により、前記対象物に前記光を走査することで画像を形成する画像形成工程と、
前記撮像手段により、前記画像を認識する画像認識工程と、
前記制御手段により、前記光源と、前記走査手段と、前記撮像手段と、前記回転手段とを制御し、かつ、前記画像認識工程において認識した画像の状態に応じて、予め前記状態に対し定められた所定の動作を行う信号を発する動作工程とを含み、
前記動作工程において、前記制御手段により、前記プロジェクタに所望の位置に画像を投射するように指示する信号を発する、インターフェースシステムの駆動方法。
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は、上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解しうる様々な変更をすることができる。
この出願は、2012年1月24日に出願された日本出願特願2012−12158を基礎とする優先権を主張し、その開示の全てをここに取り込む。
100、100a、100b インターフェース装置
101 走査手段
102 撮像手段
103 ヘッド
104 回転手段
104a、104b、104c モータ(超音波モータ)
104d ピン
104e アクチュエータ
105 光源
105a 可視光レーザ
105b 赤外光レーザ
106、106a、106b 可撓性導光手段
109 制御手段
110、907、1008、1009 投射画像
205 画角
206、806、906、1106 手(対象物)
207 投射範囲
208 パターン画像
209、810、910、1203 可視光画像
506、507 固定部
508 レンズ
509 可視光レーザビーム
510 赤外光レーザビーム
511 ミラー
512 走査素子
604 支持体
707 ピンの打点位置
801 蛇口
803 シンク
901、1001 天井
903、1003 プロジェクタ
904 空調機
1005、1006 人
1007 テーブル
1101 赤外光パターン発生装置
1102 カメラ
1108 赤外光パターン
1201 小型プロジェクタ
1202 投射画像範囲

Claims (12)

  1. 光源と、可撓性導光手段と、走査手段および撮像手段を含むヘッドと、回転手段と、制御手段とを含み、
    前記撮像手段により、対象物の位置が認識され、
    前記回転手段により、前記対象物の位置に応じて、前記ヘッドを回転可能であり、
    前記光源から、光が発せられ、
    前記可撓性導光手段により、前記光が、前記光源から前記走査手段に導かれ、
    前記走査手段により、前記対象物に前記光が走査されることで画像が形成され、
    前記撮像手段により、前記画像が認識され、
    前記制御手段により、前記光源と、前記走査手段と、前記撮像手段と、前記回転手段とが制御され、かつ、前記撮像手段により認識された画像の状態に応じて、予め前記状態に対し定められた所定の動作を行う信号が発せられ、
    下記条件(1)または下記条件(2)を満たす、インターフェース装置。

    条件(1):前記ヘッドは、前記走査手段および前記撮像手段を球形の筐体で包んだ形状であり、
    前記ヘッドは、その周囲をリング状の支持体で支持され、
    前記回転手段は、前記ヘッドと前記支持体との間に配置された超音波モータを含む。

    条件(2):前記ヘッドは、前記走査手段および前記撮像手段を球形の筐体で包んだ形状であり、
    前記ヘッドは、その周囲をリング状の支持体で支持され、
    前記回転手段は、前記筐体の外側に配置されたピン、および前記ピンに振動を与えるアクチュエータを含む。
  2. 前記光源は、可視光光源と、赤外光光源とを含み、
    前記赤外光光源を用いて、3次元計測が行われる、請求項1記載のインターフェース装置。
  3. 前記可視光光源は、赤色レーザ、緑色レーザおよび青色レーザの3種のレーザの出力を組合せ、1つのビームを出力する可視光レーザであり、
    前記赤外光光源は、赤外光レーザである、請求項2記載のインターフェース装置。
  4. 前記可視光レーザの出力および前記赤外光レーザの出力は、それぞれ、異なる可撓性導光手段により、前記走査手段に導かれる、請求項3記載のインターフェース装置。
  5. 前記回転手段は、前記走査手段の投射方向の軸を中心に前記ヘッドを回転させる回転手段を含む、請求項1から4のいずれか一項に記載のインターフェース装置。
  6. 前記対象物が、人体の特定部位であり、
    前記制御手段により、前記特定部位が遠隔操作手段と認識され、
    前記走査手段により、前記遠隔操作手段と認識されたことを知らせる可視光画像が前記特定部位に投射される、請求項2から5のいずれか一項に記載のインターフェース装置。
  7. 前記ヘッドの体積は、1cm以下である、請求項1から6のいずれか一項に記載のインターフェース装置。
  8. 前記ヘッドおよび前記回転手段の合計体積が、1〜2cmである、請求項1から7のいずれか一項に記載のインターフェース装置。
  9. 光源と、可撓性導光手段と、走査手段および撮像手段を含むヘッドと、回転手段と、制御手段とを含むインターフェース装置を用い、
    前記撮像手段により、対象物の位置を認識する位置認識工程と、
    前記回転手段により、前記対象物の位置に応じて、前記ヘッドの向きを調整する調整工程と、
    前記光源から、光を発する光発生工程と、
    前記可撓性導光手段により、前記光を、前記光源から前記走査手段に導く導光工程と、
    前記走査手段により、前記対象物に前記光を走査することで画像を形成する画像形成工程と、
    前記撮像手段により、前記画像を認識する画像認識工程と、
    前記制御手段により、前記光源と、前記走査手段と、前記撮像手段と、前記回転手段とを制御し、かつ、前記画像認識工程において認識した画像の状態に応じて、予め前記状態に対し定められた所定の動作を行う信号を発する動作工程とを含み、
    下記条件(1)または下記条件(2)を満たす、インターフェース装置の駆動方法。

    条件(1):前記ヘッドは、前記走査手段および前記撮像手段を球形の筐体で包んだ形状であり、
    前記ヘッドは、その周囲をリング状の支持体で支持され、
    前記回転手段は、前記ヘッドと前記支持体との間に配置された超音波モータを含む。

    条件(2):前記ヘッドは、前記走査手段および前記撮像手段を球形の筐体で包んだ形状であり、
    前記ヘッドは、その周囲をリング状の支持体で支持され、
    前記回転手段は、前記筐体の外側に配置されたピン、および前記ピンに振動を与えるアクチュエータを含む。
  10. 前記光源は、可視光光源を含み、
    前記回転手段は、前記走査手段の投射方向の軸を中心に前記ヘッドを回転させる回転手段を含み、
    前記動作工程において、前記走査手段から可視光画像を投射し、かつ、前記画像認識工程において認識した画像に応じて、前記回転手段により前記ヘッドを回転することで、前記可視光画像を回転する、請求項記載のインターフェース装置の駆動方法。
  11. 請求項1からのいずれか一項に記載のインターフェース装置と、プロジェクタとを含み、
    前記制御手段により、前記プロジェクタに所望の位置に画像を投射するように指示する信号が発せられる、インターフェースシステム。
  12. 光源と、可撓性導光手段と、走査手段および撮像手段を含むヘッドと、回転手段と、制御手段とを含むインターフェース装置、およびプロジェクタを含むインターフェースシステムを用い、
    前記撮像手段により、対象物の位置を認識する位置認識工程と、
    前記回転手段により、前記対象物の位置に応じて、前記ヘッドの向きを調整する調整工程と、
    前記光源から、光を発する光発生工程と、
    前記可撓性導光手段により、前記光を、前記光源から前記走査手段に導く導光工程と、
    前記走査手段により、前記対象物に前記光を走査することで画像を形成する画像形成工程と、
    前記撮像手段により、前記画像を認識する画像認識工程と、
    前記制御手段により、前記光源と、前記走査手段と、前記撮像手段と、前記回転手段とを制御し、かつ、前記画像認識工程において認識した画像の状態に応じて、予め前記状態に対し定められた所定の動作を行う信号を発する動作工程とを含み、
    前記動作工程において、前記制御手段により、前記プロジェクタに所望の位置に画像を投射するように指示する信号を発し、
    下記条件(1)または下記条件(2)を満たす、インターフェースシステムの駆動方法。

    条件(1):前記ヘッドは、前記走査手段および前記撮像手段を球形の筐体で包んだ形状であり、
    前記ヘッドは、その周囲をリング状の支持体で支持され、
    前記回転手段は、前記ヘッドと前記支持体との間に配置された超音波モータを含む。

    条件(2):前記ヘッドは、前記走査手段および前記撮像手段を球形の筐体で包んだ形状であり、
    前記ヘッドは、その周囲をリング状の支持体で支持され、
    前記回転手段は、前記筐体の外側に配置されたピン、および前記ピンに振動を与えるアクチュエータを含む。
JP2013555100A 2012-01-24 2012-09-18 インターフェース装置、インターフェース装置の駆動方法、インターフェースシステムおよびインターフェースシステムの駆動方法 Active JP6102750B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012012158 2012-01-24
JP2012012158 2012-01-24
PCT/JP2012/073789 WO2013111374A1 (ja) 2012-01-24 2012-09-18 インターフェース装置、インターフェース装置の駆動方法、インターフェースシステムおよびインターフェースシステムの駆動方法

Publications (2)

Publication Number Publication Date
JPWO2013111374A1 JPWO2013111374A1 (ja) 2015-05-11
JP6102750B2 true JP6102750B2 (ja) 2017-03-29

Family

ID=48873123

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013555100A Active JP6102750B2 (ja) 2012-01-24 2012-09-18 インターフェース装置、インターフェース装置の駆動方法、インターフェースシステムおよびインターフェースシステムの駆動方法

Country Status (2)

Country Link
JP (1) JP6102750B2 (ja)
WO (1) WO2013111374A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160238833A1 (en) * 2013-10-02 2016-08-18 Nec Corporation Interface apparatus, module, control component, control method, and program storage medium
WO2016152109A1 (ja) * 2015-03-25 2016-09-29 日本電気株式会社 制御装置、制御方法およびプログラム記録媒体
KR101656802B1 (ko) * 2015-05-12 2016-09-12 현대자동차주식회사 제스처 입력 장치 및 이를 포함하는 차량
US10620511B2 (en) 2015-06-23 2020-04-14 Nec Corporation Projection device, projection system, and interface apparatus
US20200209897A1 (en) * 2018-12-31 2020-07-02 Kohler Co. Systems and methods for automatically controlling a faucet
JP7474127B2 (ja) 2020-06-17 2024-04-24 株式会社ニチベイ 遮蔽材制御装置及び遮蔽材制御方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4838694B2 (ja) * 2006-11-28 2011-12-14 富士フイルム株式会社 電子的手書入力装置

Also Published As

Publication number Publication date
JPWO2013111374A1 (ja) 2015-05-11
WO2013111374A1 (ja) 2013-08-01

Similar Documents

Publication Publication Date Title
JP6102750B2 (ja) インターフェース装置、インターフェース装置の駆動方法、インターフェースシステムおよびインターフェースシステムの駆動方法
US10528154B2 (en) System for projecting content to a display surface having user-controlled size, shape and location/direction and apparatus and methods useful in conjunction therewith
US9880619B2 (en) Virtual reality system with a finger-wearable control
US9961337B2 (en) Flexible display device and computer with sensors and control approaches
JP5277703B2 (ja) 電子機器
JP6134804B2 (ja) 映像投射装置
JP2010244484A (ja) 画像表示装置、画像表示方法および画像表示プログラム
CN105765494B (zh) 投影型影像显示装置和投影型影像显示方法
JP5589644B2 (ja) 周辺画像表示装置及びその表示方法
WO2009143878A1 (en) Portable projector and method of operating a portable projector
JP2010243576A (ja) 画像表示装置および画像表示システム
JPH1124839A (ja) 情報入力装置
TW201626166A (zh) 以手勢爲基礎之三維影像操控技術
JP6102751B2 (ja) インターフェース装置およびインターフェース装置の駆動方法
US9052583B2 (en) Portable electronic device with multiple projecting functions
JP2014106698A (ja) 表示装置、頭部装着型表示装置および表示装置の制御方法
AU2011219427B2 (en) A system for projecting content to a display surface having user-controlled size, shape and location/direction and apparatus and methods useful in conjunction therewith
JP2012029180A (ja) 周辺画像表示装置及びその表示方法
JP2017146564A (ja) 空間表示装置
KR20190035373A (ko) 혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법
US10506290B2 (en) Image information projection device and projection device control method
JP4687820B2 (ja) 情報入力装置及び情報入力方法
TWI464630B (zh) 影像互動系統及其操控裝置
JP5554683B2 (ja) 携帯電子機器
JP2007025801A (ja) 情報処理装置および情報処理方法、表示制御装置および表示制御方法、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160606

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160804

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160929

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161228

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170213

R150 Certificate of patent or registration of utility model

Ref document number: 6102750

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150