JP6693495B2 - 情報処理装置、情報処理方法及び記録媒体 - Google Patents

情報処理装置、情報処理方法及び記録媒体 Download PDF

Info

Publication number
JP6693495B2
JP6693495B2 JP2017240512A JP2017240512A JP6693495B2 JP 6693495 B2 JP6693495 B2 JP 6693495B2 JP 2017240512 A JP2017240512 A JP 2017240512A JP 2017240512 A JP2017240512 A JP 2017240512A JP 6693495 B2 JP6693495 B2 JP 6693495B2
Authority
JP
Japan
Prior art keywords
display
user
target device
information processing
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017240512A
Other languages
English (en)
Other versions
JP2019109578A (ja
Inventor
健太郎 井田
健太郎 井田
誠司 鈴木
誠司 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2017240512A priority Critical patent/JP6693495B2/ja
Priority to KR1020207015915A priority patent/KR20200099523A/ko
Priority to US16/770,681 priority patent/US11221684B2/en
Priority to CN201880079302.9A priority patent/CN111448541A/zh
Priority to EP18887675.9A priority patent/EP3726355A4/en
Priority to PCT/JP2018/037291 priority patent/WO2019116692A1/ja
Publication of JP2019109578A publication Critical patent/JP2019109578A/ja
Application granted granted Critical
Publication of JP6693495B2 publication Critical patent/JP6693495B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Selective Calling Equipment (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本開示は、情報処理装置、情報処理方法及び記録媒体に関する。
人が生活する空間には、家電製品、情報機器などの様々な電化製品が存在している。近年では、ユーザがこのような電化製品を、レーザーポインタ、リモコン等のデバイスを用いることなく遠隔操作する技術が開発されている。
例えば、特許文献１には、ユーザの手によるジェスチャなどの様な、ユーザの直感的な操作に基づいて操作対象機器への制御コマンドを入力する技術が開示されている。
特開２０１３−２０５９８３号公報
しかし、引用文献１等に記載された技術では、所定の実空間内に複数の操作対象機器が存在する場合に、操作対象である対象機器を選択できたか否かが分からない場合があった。また、所定の実空間内に複数の操作ユーザが存在する場合、複数の操作ユーザのうち誰が操作権限を持っているかわからない場合があった。すなわち、引用文献１等に記載された技術では、操作が実際に操作対象機器に反映されるまで、操作が認識できなかった。
上記事情に鑑みれば、操作対象として選択された対象機器と操作ユーザが視認できる表示を行うことで、利便性を向上させることが望ましい。
本開示によれば、所定の実空間内における対象機器の位置情報と、前記対象機器の操作権限を有するユーザの位置情報と、に基づいて、前記ユーザと前記対象機器との位置関係に応じた表示を前記実空間内で前記ユーザが視認可能なように制御する表示制御部、を備える情報処理装置が提供される。
また、本開示によれば、所定の実空間内における対象機器の位置情報と、前記対象機器の操作権限を有するユーザの位置情報と、に基づいて、前記ユーザと前記対象機器との位置関係に応じた表示を前記実空間内で前記ユーザが視認可能なように制御すること、を含む情報処理方法が提供される。
また、本開示によれば、コンピュータを、所定の実空間内における対象機器の位置情報と、前記対象機器の操作権限を有するユーザの位置情報と、に基づいて、前記ユーザと前記対象機器との位置関係に応じた表示を前記実空間内で前記ユーザが視認可能なように制御する表示制御部、として機能させるためのプログラムを記録した記録媒体が提供される。
本開示によれば、対象機器の位置情報と、対象機器の操作権限を有するユーザの位置情報と、に基づいて、ユーザと対象機器との位置関係に応じた表示を実空間内でユーザが視認可能なように制御することができる。これにより、ユーザは、操作対象として対象機器を選択したこと及び操作権限がユーザにあることを認識できるため、ユーザの利便性を向上させることができる。
以上説明したように本開示によれば、操作対象として選択された対象機器と操作ユーザが視認できる表示を行うことで、利便性を向上させることができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る動作フローを示す概略図である。 同実施形態に係る概念図である。 同実施形態に係るシステムの構成の一例を示すブロック図である。 同実施形態に係るシステムにおいて実行される表示制御の流れの一例を示すシーケンス図である。 同実施形態に係るシステムにより投影される場所の概念を説明する概念図である。 同実施形態に係るシステムにより投影される表示の一例を示す図である。 同実施形態に係るシステムにより投影される表示の一例を示す図である。 同実施形態に係るシステムにより投影される表示の一例を示す図である。 同実施形態に係るシステムにより投影される表示の一例を示す図である。 同実施形態に係るシステムにより投影される表示の一例を示す図である。 同実施形態に係るシステムにより投影される表示の一例を示す図である。 同実施形態に係るシステムにより投影される表示の一例を示す図である。 同実施形態に係るシステムにより投影される表示の一例を示す図である。 同実施形態に係るシステムにより投影される表示の一例を示す図である。 同実施形態に係るシステムにより投影される場所の概念を説明する概念図である。 同実施形態に係るシステムにより投影される表示の一例を示す図である。 同実施形態に係るシステムにより投影される表示の一例を示す図である。 同実施形態に係るシステムにより投影される表示の一例を示す図である。 同実施形態に係るシステムにより投影される表示の一例を示す図である。 同実施形態に係るシステムにより投影される表示の一例を示す図である。 同実施形態に係るシステムにより投影される表示の一例を示す図である。 同実施形態に係るシステムにより投影される表示の一例を示す図である。 同実施形態に係るシステムにより投影される表示の一例を示す図である。 同実施形態に係るシステムにより投影される表示の一例を示す図である。 変形例に係るシステムにより投影される表示の一例を示す図である。 変形例に係るシステムにより投影される表示の一例を示す図である。 変形例に係るシステムにより投影される表示の一例を示す図である。 変形例に係るシステムにより投影される表示の一例を示す図である。 変形例に係るシステムにより投影される表示の一例を示す図である。 変形例に係るシステムにより投影される表示の一例を示す図である。 変形例に係るシステムにより投影される表示の一例を示す図である。 変形例に係るシステムにより投影される表示の一例を示す図である。 変形例に係るシステムにより投影される表示の一例を示す図である。 変形例に係るシステムにより投影される表示の一例を示す図である。 変形例に係るシステムにより投影される表示の一例を示す図である。 変形例に係るシステムにより投影される表示の一例を示す図である。 変形例に係るシステムにより投影される表示の一例を示す図である。 変形例に係るシステムにより投影される表示の一例を示す図である。 変形例に係るシステムにより投影される表示の一例を示す図である。 変形例に係るシステムにより投影される表示の一例を示す図である。 変形例に係るシステムにより投影される表示の一例を示す図である。 変形例に係るシステムにより投影される表示の一例を示す図である。 変形例に係るシステムにより投影される表示の一例を示す図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．システムの概要
２．構成例
３．処理の流れ
４．表示場所の決定
４．１．対象機器の近傍への投影
４．２．対象機器と離隔した場所への投影
４．３．スマートフォンまたはＨＭＤにて表示する場合
５．変形例
５．１．操作権限が委譲される場合
５．２．対象機器への操作が認識不能である場合
５．３．対象機器があるユーザに対してロックされている場合
６．ハードウェア構成例
７．まとめ
＜実施形態＞
＜＜１．システムの概要＞＞
まず、図１を参照して、本開示の実施形態に係る情報処理装置のシステム概要について説明する。図１は、所定の実空間内（以下、実空間内とも称す。）において遠隔操作にて対象機器の操作が行われる場合のフローを示している。所定の実空間内とは、ユーザ及び操作対象機器が存在する空間であり、例えば、外環境と区切られた屋内であり、部屋、会議室等のユーザ及び対象機器が一定数含まれる空間を示す。
図１に示すフローにて、ユーザは、まず、操作対象とする対象機器を選択する（Ｓ１０）。ユーザは対象機器を選択することにより、操作対象とする対象機器に対して、操作権限を有することができる。操作権限とは、対象機器を操作する前に、該対象機器を操作する権利のことであり、ユーザは操作権限を有することで、後に対象機器を実際に操作できる。次に、操作権限を有したユーザは、コマンドの入力などを行うことによって、選択された対象機器を操作する（Ｓ１２）。コマンド内容が対象機器に反映されることで、ユーザは操作が終了したことを把握する（Ｓ１４）。
上記のフローにおいて、所定の空間内に複数の機器があり、該複数の機器の中からジェスチャ等の遠隔操作によって操作対象機器を選択する場合、選択された機器がユーザに明示されなければ、ユーザは操作が完了するまで操作したい機器を正しく選択しているか否かの判断ができない。
また、所定の空間内に複数のユーザがいる場合、どのユーザがどの機器を操作対象機器として選択しているのかわからないことがあり得る。この際には、複数のユーザによって入力されるコマンドが競合することによって、各ユーザの意図と反した操作の入力が対象機器に対して行われる可能性があり、キャンセル操作が増える等により、ユーザの利便性が低下する可能性がある。
そこで、本開示の技術では、ユーザと対象機器とを相互に関連付けした表示をユーザに対して表示することで、選択された対象機器と、該対象機器の操作権限を有するユーザとを明示することで、選択操作の迅速な把握と、ユーザ間における入力コマンドの競合の抑制とを可能にすることができる。
図２は、本開示の一実施形態の概念図である。図２に示すように、所定の空間内に１以上のユーザ、例えば、ユーザＡ、Ｂ及びＣが存在する。さらに、この空間内には、表示を投影する投影装置Ｐｒが設置されている。投影装置Ｐｒは、ユーザＡが操作対象機器Ｏｂを操作する場合に、ユーザＡが選択した対象機器ＯｂとユーザＡとを、例えば、矢印線で示す表示Ｅｆを行う。これにより、ユーザＡは、ユーザＡが対象機器Ｏｂを選択しており、かつユーザＡに操作権限があることを視認することができる。図２では、表示Ｅｆを行う対象の例として、例えば投影装置Ｐｒを挙げたが、表示Ｅｆは、対象機器Ｏｂの表示部にて表示されてもよく、対象機器Ｏｂの筐体部のランプ等にて表示されてもよい。また、表示Ｅｆは、スマートフォンまたはＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などの機器を介して視認される仮想空間内に表示されてもよい。
以下で説明する本実施形態においては、主に投影装置により、投影される表示に関して説明を行う。さらに、本実施形態のバリエーションとして、投影場所による表示の変形例、表示装置が対象機器である場合の表示、操作権限の有無等による表示等、ユーザに対する表示等に関して説明を行う。
＜＜２．構成例＞＞
図３は、本実施形態に係るシステム１０００の構成の一例を示すブロック図である。図３に示すように、システム１０００は情報処理装置１１００、表示装置１２００、センサ装置１３００を含む。本実施形態においては、システム１０００は情報処理装置１１００、表示装置１２００、センサ装置１３００が別の構成として示されているが、表示装置１２００は、情報処理装置１１００に含まれてもよく、センサ装置１３００も情報処理装置１１００に含まれてもよい。
（１）表示装置１２００
表示装置１２００は、ユーザと対象機器との位置関係に応じた表示を実空間内でユーザが視認可能に呈示する機能を有する。表示装置１２００は、プロジェクタ１２１０、ＴＶ１２２０、タブレット１２３０、スマートフォン１２４０、又はＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）１２５０のいずれかを少なくとも１つ以上含む。本実施形態においては、ユーザが選択した対象機器、及びユーザが該対象機器の操作権限を有することを示すために視認可能な表示を用いる旨を例示したが、本実施形態はかかる例示に限定されない。例えば、ユーザが選択した対象機器、及びユーザが該対象機器の操作権限を有することは、音声などを用いてユーザに呈示してもよいことはいうまでもない。その場合、表示装置１２００は、スピーカ、又は単一指向性スピーカを含み、音声出力装置としての機能を有する。これにより、表示装置１２００は、ユーザと対象機器との位置関係に応じた音声をユーザに対して呈示する。
プロジェクタ１２１０は、所定の空間内の任意の場所に表示を投影する投影装置である。プロジェクタ１２１０は、例えば固定型の広角プロジェクタであってもよいし、Ｐａｎ／Ｔｉｌｔ駆動型等の投影方向を変更可能な可動部を備えるいわゆるムービングプロジェクタであってもよい。ＴＶ１２２０は、テレビジョン放送の電波を受信して、画像及び音声を出力する装置である。タブレット１２３０は、典型的にはスマートフォン１２４０より大きな画面を有し、画像、音声及び振動等を出力する無線通信可能なモバイル機器である。スマートフォン１２４０は、典型的にはタブレット１２３０より小さな画面を有し、画像、音声及び振動等を出力する無線通信可能なモバイル機器である。ＰＣ１２５０は、画像及び音声等を出力可能な固定型のデスクトップＰＣ又はモバイル型のノートＰＣである。
上記のような表示装置１２００は、画像表示の機能を有しているため、本開示の技術におけるユーザと対象機器との位置関係に応じた表示を実空間内でユーザが視認可能に呈示することができる。
本開示の技術は、上述したように、表示ではなく、音声により、ユーザと対象機器との位置関係に応じた呈示を行ってもよい。その際には、表示装置が音声出力装置として機能し、スピーカまたは、単一指向性スピーカを有する。スピーカは、ＤＡＣ（Ｄｉｇｉｔａｌ Ａｎａｌｏｇ Ｃｏｎｖｅｒｔｅｒ）およびアンプを介して、音声データをアナログ信号に変換し、ユーザに対して出力（再生）する。単一指向性スピーカは、単一の方向に指向性を形成可能なスピーカであり、ユーザに対して音声を出力することができる。
表示装置１２００は、情報処理装置１１００による制御に基づいて表示を出力する。情報処理装置１１００は、表示する情報または内容に加えて、表示の態様も制御可能である。例えば、情報処理装置１１００は、表示を投影するプロジェクタ１２１０の投影方向を制御することができる。
なお、表示装置１２００は、上述した構成要素以外の任意の表示出力が可能な構成要素を含んでいてもよい。例えば、表示装置１２００は、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）グラス等を含んでいてもよい。
（２）センサ装置１３００
センサ装置１３００は、カメラ１３１０、デプスセンサ１３２０又はマイクロフォン１３３０のいずれかを少なくとも１つ以上含む。
カメラ１３１０は、ＲＧＢカメラまたはサーモカメラ等の画像（静止画像又は動画像）を撮像する撮像装置であり、レンズ系、駆動系、及び撮像素子を有する。デプスセンサ１３２０は、赤外線測距装置、超音波測距装置、ＬｉＤＡＲ（Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）又はステレオカメラ等であり、深度情報を取得する装置である。マイクロフォン１３３０は、周囲の音を収音し、アンプおよびＡＤＣ（Ａｎａｌｏｇ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）を介してデジタル信号に変換した音声データを出力する装置である。
センサ装置１３００は、情報処理装置１１００による制御に基づいて情報をセンシングしてもよい。例えば、情報処理装置１１００は、カメラ１３１０のズーム率及び撮像方向を制御することができる。
なお、センサ装置１３００は、上述した構成要素以外の任意のセンシングが可能な構成要素を含んでいてもよい。例えば、センサ装置１３００は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報を入力可能な装置を含んでいてもよい。また、センサ装置１３００は、ＴｏＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサ、超音波センサ、気圧センサ及びガスセンサ（ＣＯ２）等の各種のセンサを含み得る。
（３）情報処理装置１１００
情報処理装置１１００は、Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）部１１３０、検出部１１２０、制御部１１１０及び記憶部１１４０を含む。
・Ｉ／Ｆ部１１３０
Ｉ／Ｆ部１１３０は、情報処理装置１１００と他の機器とを接続するための接続装置である。Ｉ／Ｆ部１１３０は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクタ等により実現され、表示装置１２００及びセンサ装置１３００の各構成要素との間で情報の入出力を行う。
・検出部１１２０
検出部１１２０は、ユーザ検出部１１２１、トリガ検出部１１２３、環境検出部１１２５及び機器検出部１１２６を含む。検出部１１２０は、センサ装置１３００から取得したセンサ情報から、対象とする検出データを各構成要素にて抽出し、かつ制御部１１１０において制御の基となる検出データを制御部１１１０に出力する機能を有する。
（ユーザ検出部１１２１）
ユーザ検出部１１２１は、センサ装置１３００によりセンシングされた情報に基づいてユーザ情報を検出する機能を有する。ユーザ情報は、ユーザに関する情報である。
ユーザ情報は、センサ装置１３００によりセンシングされる所定の空間内におけるユーザの位置を示す情報を含み得る。ユーザの位置は、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサ、サーモカメラ、ＲＧＢカメラ、超音波センサ、気圧センサ、ガス（ＣＯ２）センサ等により検出され得る。これらのセンサは、複数のユーザが所定の空間内にいた場合、ユーザの人数を検出することも可能である。
ユーザ情報は、ユーザの視線を示す情報を含み得る。ユーザの視線を示す情報は、ユーザの視点の位置及び視線方向を示す情報を含む。また、ユーザの視線を示す情報は、ユーザの顔や頭の向きを示す情報を含んでもよく、さらに眼球の向きを示す情報を含んでもよい。例えば、ユーザの視線を示す情報は、ＲＧＢカメラ、赤外線カメラ、又はユーザに装着された接眼カメラ等により得られるユーザの目の画像を解析することで検出され得る。
（トリガ検出部１１２３）
トリガ検出部１１２３は、センサ装置１３００によりセンシングされた情報に基づいてトリガ情報を検出する機能を有する。
トリガ情報は、ユーザのジェスチャを示す情報を含み得る。ユーザのジェスチャを示す情報は、ＲＧＢカメラ、赤外線カメラ等により得られる画像を解析することで検出され得る。
ユーザのジェスチャを示す情報は、空中ポインティングジェスチャ、タッチジェスチャ等のユーザが行うジェスチャを含み得る。例えば、対象機器Ｏｂに向けて、指をさすジェスチャなどが含まれる。
トリガ情報は、上記のようなジェスチャを示す情報でなくともユーザが発する音声による情報を含んでもよい。ユーザが発する音声の情報は、マイクロフォン等により収音された音声を解析することで検出され得る。例えば、トリガ検出部１１２３は、「テレビ」等の音声指示により対象機器Ｏｂが指定された場合、トリガが検知されたとしてもよい。これにより、ユーザがジェスチャ等の動作ができなくても、トリガ検出部１１２３は、音声によりトリガを検知することができる。
（環境検出部１１２５）
環境検出部１１２５は、センサ装置１３００によりセンシングされた情報に基づいて環境情報を検出する機能を有する。環境情報は、ユーザがいる所定の空間に関する情報である。環境情報は、多様な情報を含み得る。
環境情報は、ユーザがいる所定の空間の形状を示す情報を含み得る。空間の形状を示す情報は、例えば、壁面、天井、床、ドア、家具、置物及び生活用品等の空間を形成する形状を示す情報を含む。空間の形状を示す情報は２次元情報であってもよいし、ポイントクラウド等の３次元情報であってもよい。
環境情報は、空間を形成する物体の表面状態を示す情報を含み得る。表面状態は、例えば表面の凹凸及び色を含む。表面の凹凸は、例えばＬｉＤＡＲ、デプスセンサにより得られる深度情報に基づいて検出され得る。表面の色は、例えばＲＧＢカメラにより撮像された画像を解析することで検出され得る。
環境情報は、空間を形成する物体の表面の照度を示す情報を含み得る。物体の表面の照度は、照度センサまたはＲＧＢカメラにより検出され得る。物体の表面の照度は、所定の空間内における物体の表面の照度をマッピングした環境光マップを作成するために使用され得る。環境光マップは、所定の空間内における照度の分布を示し、ユーザにより視認されやすい表示方法を適宜選択するために使用される。
環境情報は、空間内の物体の位置を示す情報を含み得る。例えば、部屋の中のコップ、椅子、テーブル、雑誌、リモコン、及び電子機器などの位置は、画像認識により検出され得る。空間内の物体の位置を示す情報は、もちろん壁面、天井、床、ドア、家具、置物等の所定の空間内にて固定されている可能性が高い物体の位置情報も含み得る。
環境情報は、物体の位置を示す情報の中で、物体が動く頻度に応じて段階的に階層わけされていてもよい。例えば、深層学習（ＤｅｅｐＬｅａｒｎｉｎｇ）を用いた機械学習アルゴリズムを用いて、ユーザが頻繁に持ち運んで位置を移動させるコップなどをよく動く物体として分類し、動かない壁または天井等を不動体として分類する。センサ装置１３００では、多くの検出情報が得られるため、得られたすべての検出情報を考慮して表示を制御した場合、情報処理装置１１００の負荷が大きくなる可能性が高い。そのため、よく動く物体に分類されたものの差分に関してのみ考慮して表示を制御することによって、情報処理装置１１００に対する負荷を抑制しつつ、情報処理装置１１００は、高精度かつ高速の表示制御を行うことが可能である。
環境情報は、所定の空間内における環境音に関する情報を含み得る。環境音を把握することにより、ユーザと対象機器との位置関係に応じた表示または音声のいずれをユーザに呈示するのかを選択することができる。また、ユーザと対象機器との位置関係に応じた音声をユーザに呈示する場合、環境音に応じて、音声の音量を変化させることで、ユーザへの認識性の向上を図ることができる。
（機器検出部１１２６）
機器検出部１１２６は、所定の空間内においてユーザの操作対象となる対象機器の存在及び位置を検出する機能を有する。例えば、対象機器の存在を検出するために、ＤＬＮＡ（Ｄｉｇｉｔａｌ Ｌｉｖｉｎｇ Ｎｅｔｗｏｒｋ Ａｌｌｉａｎｃｅ、登録商標）、Ｗｉｆｉ（登録商標）、ＵＳＢ接続、その他専用機等による情報処理装置１１００に対する接続により対象機器の存在を検出してもよい。この際に、対象機器の種類やメーカー名等の情報を検出してもよい。
また、対象機器の存在及び位置を検出する際に、対象機器に再帰性反射材を貼付けることによって、赤外線カメラ等により対象機器の存在及び位置を検出してもよい。また、対象機器の表面上に刻印されたメーカー名、対象機器の表面上に付与された２次元バーコードをカメラにより検出することによって、対象機器の存在及び位置を検出してもよい。
また、対象機器の存在及び位置を検出する際に、対象機器毎にユニークな超音波を発生させて、その超音波をマイクロフォン等で収音することで、対象機器の存在及び位置を検出してもよい。超音波は、例えば、人の可聴域と異なる範囲の周波数を有してもよい。
また、対象機器の存在及び位置は、上記の様に機器検出部１１２６により検出されてもよく、ユーザの登録操作により検出されてもよい。またこれらは併用して行われてもよい。
例えば、ユーザの登録操作は、ユーザの指さしと音声の発声によって行われる。具体的には、カメラ等を使用して、ユーザの指先方向に存在する機器を対象機器として存在位置を検出し、マイクロフォン等によりユーザの音声を収集、解析することにより、対象機器の種類または位置を登録することができる。ここでは、ユーザによる指さしを一例としたが、ユーザによるタッチ、視線、マーカーにより対象機器の存在位置を検出し、ユーザによるＵＩ選択等により対象機器の登録操作が行われてもよい。
・制御部１１１０
制御部１１１０は、各種プログラムに従って情報処理装置１１００内の動作全般を制御する。制御部１１１０は、表示制御部１１１１、解析部１１１５を含む。表示制御部１１１１は表示装置１２００による表示を制御する。本実施形態においては、表示制御部１１１１により、ユーザに対して表示を制御する例を示すが、表示に限らず音声によってユーザへの呈示を行ってもよい。その場合、制御部１１１０には、音響制御部が含まれる。
解析部１１１５は、制御部１１１０が表示を制御する際に必要なデータの解析を行う機能を有する。解析部１１１５は、ユーザ検出部１１２１、環境検出部１１２５及び機器検出部１１２６から得られた情報に基づいて、ユーザがトリガ動作を行ったか否かを判定し、操作対象機器の特定及び操作ユーザの特定を行う機能を有する。
例えば、機器検出部１１２６から得られた所定の実空間内において、対象機器がどの位置に配置されているかを示す位置情報または対象機器の名称を示すＩＤ情報等と、ユーザ検出部１１２１から得られたユーザが所定の実空間内でどこに存在するのかを表す位置情報またはトリガ動作等とにより、解析部１１１５が操作ユーザ及び操作対象機器の特定を行う。
詳しくは、ユーザのトリガ動作により、ユーザのジェスチャ、音声等をユーザ検出部１１２１が検出するため、解析部１１１５は、トリガ動作を行ったユーザを所定の実空間内における一以上のユーザの中から操作ユーザと特定し、ユーザ検出部１１２１で得られたユーザの位置情報及びジェスチャ等と、機器検出部１１２６で得られた対象機器の位置情報及び対象機器の名称等とを照らし合わせて、操作ユーザがどの対象機器を操作対象としているかを解析して、操作対象機器の特定を行う。
また、トリガ動作が音声であれば、例えば、所定のトリガ音声「テレビ」をユーザが発することにより、ユーザ検出部１１２１が、「テレビ」との音声を発したユーザを検出し、解析部１１１５が、複数のユーザの中からトリガ動作を行ったユーザを操作ユーザとして特定する。さらに、解析部１１１５は、機器検出部１１２６により検出されていた対象機器の中から、テレビである対象機器を抽出し、操作対象機器として特定する。
（表示制御部１１１１）
表示制御部１１１１は、解析部１１１５によって特定された所定の実空間内における対象機器の位置情報と、対象機器の操作権限を有するユーザの位置情報と、に基づいて、ユーザと対象機器との位置関係に応じた表示を実空間内でユーザが視認可能なように表示装置１２００により表示させる。これにより、ユーザは、該表示を視認することによって、ユーザが選択した対象機器Ｏｂに操作を行う前に把握でき、かつ操作権限をどのユーザが持っているのかを把握することができる。
対象機器の位置情報とは、所定の実空間内においてどの位置に対象機器が配置されているかを示す情報を含み、対象機器の操作権限を有するユーザの位置情報とは、所定の実空間内においてどの位置にユーザが存在しているかを示す情報を含む。これらの操作権限を有するユーザと対象機器との位置情報に基づいて、解析部１１１５は、該ユーザと該対象機器との位置関係を解析する。位置関係とは、操作権限を有するユーザ及び対象機器との相互の配置位置の関係を示し、対象機器及び操作権限を有するユーザ位置のどちらかから、一方が存在する位置への距離または方向に関する相互の関係を含んでもよい。解析部１１１５により得られた位置関係から、表示制御部１１１１は、表示の制御を行ってもよい。
例えば、表示制御部１１１１は、対象機器の位置から、操作ユーザが存在する位置への距離が近いか遠いかに応じて、表示を変更制御してもよい。操作ユーザが対象機器に近ければ、対象機器近傍にて表示を行っても、他のユーザと混同することなく、操作ユーザは、操作ユーザが操作対象機器を操作する権限を得ていると認識することができる。一方で、操作ユーザが対象機器から遠ければ、対象機器と操作ユーザとの間には、他のユーザまたは他の対象機器等が存在する場合が大いに考えられる。そのため、表示制御部１１１１は、対象機器近傍の表示ではなく、操作ユーザの位置まで連続性を持った表示、詳しくは対象機器と操作ユーザとをつなぐ線分または曲線表示等を用いることにより表示を制御することで、他のユーザと操作ユーザとの混同を抑制することができる。
また、例えば、表示制御部１１１１は、操作ユーザの位置から対象機器の位置への方向がどの方向であるかによって、表示を変更制御してもよい。例えば、操作ユーザから見て対象機器の方向において、太陽光が差し込み、該方向の実空間内において輝度が高く、ユーザに対する表示の視認性が低下する場合には、表示制御部１１１１は、操作ユーザと対象機器とを繋ぐ直線表示を用いるのではなく、操作ユーザから見て対象機器の方向とは別の方向を経由した曲線表示を用いて、表示の制御を行ってもよい。
表示制御部１１１１は、選択した表示装置、ユーザ検出部１１２１、環境検出部１１２５及び機器検出部１１２６から得られた情報に基づいて、表示を制御してもよく、対象機器の選択に基づいて、前記ユーザと前記対象機器とに対して相互に関連付けされた表示を制御してもよい。
対象機器の選択とは、所定の実空間内に存在する一以上の対象機器の中から、ユーザが操作したい対象機器を選択することであり、対象機器がユーザに選択されることで、表示制御部１１１１は、操作権限を有するユーザと該対象機器とに対して相互に関連付けされた表示を制御してもよい。例えば、表示制御部１１１１は、第１のユーザが一対象機器の選択を行った際に、第１のユーザと該対象機器とに対して相互に関連付けされた表示の制御を行い、該対象機器に対して第１のユーザが操作権限を有することを表示により表現してもよい。
また、該対象機器に対して操作権限を有する第１のユーザとは別の第２のユーザが、該対象機器を操作しようと該対象機器を選択した場合に、表示制御部１１１１は、操作権限を有する第１のユーザと該対象機器とに対して相互に関連付けされた表示の制御を行い、該対象機器に対して第１のユーザが操作権限を有することを表示により表現してもよい。ここでは、操作権限を有するユーザを一人として説明したが、操作権限を有するユーザは複数であってもよく、対象機器を選択した第２のユーザが複数であってもよい。
対象機器の選択は、操作権限を有するユーザのトリガ動作に応じたトリガ検出と同様に、ユーザ検出部１１２１及びトリガ検出部１１２３により検出されたユーザによるジェスチャ、音声入力の少なくともいずれかによって対象機器の選択が行われてもよい。
表示は、ユーザと対象機器とに対して相互に関連付けされた表示であればいかなる表示であってもよい。相互に関連付けされた表示とは、ユーザと対象機器との間に、関係があることを示す表示であり、例えば、ユーザの方向を対象機器が表示する、対象機器近傍にてユーザの方向を示す表示を投影する等の表示を含む。ユーザに対する表示の表示内容等は適宜各条件又は場合分けによって、選択され得る。これらの各条件や場合分けに関しては後述する。
表示制御部１１１１は、表示制御部１１１１が制御を行う先である表示装置１２００の各構成を選択してもよい。本実施形態においては、例えば表示装置として投影装置であるプロジェクタ１２１０あるいは、表示部を有するＴＶ１２２０を選択する場合を例に主に説明を行う。表示装置１２００の選択は、各条件又は場合分けによって適する形態が選択され得る。これらの各条件や場合分けに関しては、後述する。
＜＜３．処理の流れ＞＞
これまでに説明した各構成を用いた本開示技術における処理の流れを、図４を参照して説明する。図４は、本開示に係る技術における処理の流れを示している。
図４に示すように、システム１０００は、例えば、電源ボタン等が押下されることで、環境認識、ユーザ認識及び機器認識の動作を開始する。具体的には、環境認識は、環境検出部１１２５が行い、ユーザ認識は、ユーザ検出部１１２１が行い、機器認識は機器検出部１１２６がそれぞれ行う。これらの各部は、一斉に動作を開始してもよく、それぞれが個々に動作を開始してもよい。また、動作が開始する順番は問わない。
環境認識では、環境検出部１１２５が環境情報を検出する（Ｓ１０２）。例えば、環境検出部１１２５は、壁の位置及び形状、ドアの開閉、マグカップの位置及び形状などを検出する。
システム１０００は、環境認識と並行して、ユーザ認識を行う。ユーザ認識では、ユーザ検出部１１２１がユーザ情報を検出する（Ｓ１０４）。例えば、ユーザ検出部１１２１は、ユーザの位置又は人数を検出したり、ユーザが向いている方向を検出したり、等をすることによって、ユーザに関する情報の検出を行う。
システム１０００は、環境認識及びユーザ認識と並行して、機器認識を行う。機器認識では、機器検出部１１２６は、ユーザが操作する対象となり得る電子機器等の位置、形状、名称等を検出する（Ｓ１０６）。
次に、トリガ検出部１１２３がユーザの動作及びジェスチャ等のトリガ検知を行う（Ｓ１０８）。トリガ検知の対象は、ユーザの動作及びジェスチャ以外にも、ユーザが発する音声等でもよい。
トリガ検知では、ユーザが所定のジェスチャを行ったり、音声等を発したりすることで、トリガ信号の検知を行う。ジェスチャ又は音声等をシステム１０００が検知できなかった場合、システム１０００は、再度、環境認識、ユーザ認識及び機器認識を開始する。ジェスチャまたは音声は、それぞれ単独のトリガとして行われてもよく、複数のジェスチャおよび音声による組み合わせによるトリガとして行われてもよい。
トリガ検知にて、所定のジェスチャまたは音声等が検知されると、解析部１１１５により、操作ユーザ及び操作対象とする対象機器が解析される（Ｓ１１０）。解析部１１１５では、操作ユーザが操作対象とする対象機器が解析されると、ユーザが操作権限を有する対象機器及び該対象機器の操作権限を有するユーザが特定される（Ｓ１１２、Ｓ１１４）。
次に、表示制御部１１１１が、特定された操作対象機器の位置情報及びユーザの位置情報に基づいて、表示装置１２００を選択する。そして、表示装置１２００の位置情報並びに環境情報及びユーザ情報に基づいて、操作権限を有するユーザに視認可能な表示を作成する（Ｓ１１６）。このとき、表示制御部１１１１は、操作権限を有するユーザに対する視認性のほうが操作権限を有しない他のユーザに対する視認性よりも高くなるように、作成する表示の態様を制御してもよい。視認性とは、ユーザが表示を確認する際に、認識しやすい度合いを示す指標である。視認性が高いほど、ユーザは表示を容易に把握でき、視認性が低い程、表示を把握しづらくなる。
次に、表示装置１２００を表示制御部１１１１が制御する（Ｓ１１８）。例えば、表示装置１２００として、プロジェクタ１２１０が選択された場合、表示制御部１１１１がプロジェクタ１２１０に対して表示の投影を行わせる。これにより、システム１０００は、ユーザと対象機器との位置関係に応じた表示を実空間内でユーザが視認可能なように制御することが可能になる。したがって、ユーザの遠隔操作に対する利便性が向上する。本開示に係る技術において、表示装置１２００の選択及び表示に関しては、様々なバリエーションが存在する。次項にて、これら本開示に係る技術のバリエーションについて詳しく説明する。
＜＜４．表示場所の決定＞＞
ここでは、情報処理装置１１００にて制御する表示をプロジェクタ１２１０にて投影する場合を例示して、実施形態を説明する。ただし、表示場所及び表示は、操作権限を持つユーザと選択された対象機器とをユーザが視認できればよいため、表示を呈示する装置はプロジェクタ１２１０に限定されない。
表示は、操作権限を有するユーザと対象機器とに対して相互に関連付けされた表示であればよい。解析部１１１５にて解析された操作権限を有するユーザＵ１及び対象機器Ｏｂの位置情報に基づいて、表示制御部１１１１は、表示を制御する。相互に関連付けされた表示とは、対象機器Ｏｂと操作権限を有するユーザＵ１との間に関係性があることを示す表示であり、例えば、対象機器Ｏｂの位置から操作権限を有するユーザＵ１が存在する位置への方向を示す表示であってもよく、対象機器ＯｂとユーザＵ１とをつなぐ線分の表示であってもよい。
＜４．１．対象機器の近傍への投影＞
まず、表示が対象機器Ｏｂの位置から操作権限を有するユーザＵ１が存在する位置への方向を示す表示であり、かつ該表示の制御が対象機器の近傍にて行われる場合を説明する。所定の空間内において、ユーザＵ１及びＵ２が存在する場合に、操作権限を有するユーザＵ１と対象機器Ｏｂとを結ぶ直線、及び操作権限を有しない他のユーザＵ２と対象機器とを結ぶ直線がなす角度に応じて、表示を対象機器の近傍に表示するか否かが決定される。ここでは、図５を参照して、対象機器の近傍にて表示を制御する場合に関して説明する。対象機器の近傍とは、対象機器の周囲及び周辺を示し、対象機器の周囲及び周辺へ表示を行うことで他の対象機器と操作対象機器との混同を抑制する。
図５は、所定の空間内におけるユーザＵ１及びＵ２並びに対象機器Ｏｂの配置例を示す図である。所定の空間内において、ユーザＵ１及びＵ２が存在する場合に、操作権限を有するユーザＵ１と対象機器Ｏｂとを結ぶ直線と、及び操作権限を有しない他のユーザＵ２と対象機器とを結ぶ直線とがなす角度を角度Ａ°とする。例えば、ユーザＵ１及びユーザＵ２が対象機器Ｏｂに近くなる場合、角度Ａ°は大きくなると考えられる。この場合、ユーザＵ１及びＵ２は、対象機器Ｏｂの位置からユーザＵ１の位置への方向のみの表示でも、該表示がそれぞれお互いのどちらを示しているのかを認識することができる。このように、対象機器Ｏｂの位置から操作ユーザの位置への方向の表示のみでも、操作権限を有し得るユーザＵ１及びＵ２を識別できる場合は、システム１０００は、対象機器Ｏｂの近傍で表示を制御してもよい。このような表示によれば、ユーザＵ１及びユーザＵ２は、対象機器Ｏｂが操作対象として選択されたことと、操作権限を有するユーザがユーザＵ１及びユーザＵ２のいずれであるのか、とを同時に認知することができる。
角度Ａ°が大きくなる場合としては、ユーザＵ１及びユーザＵ２が対象機器Ｏｂに近くなる場合の他には、ユーザＵ１及びＵ２が対象機器Ｏｂの左端及び右端等に十分に離隔して存在している場合が考えられる。この場合においても、対象機器Ｏｂの近傍にて表示を制御してもよい。これにより、システム１０００は、ユーザＵ１及びＵ２が対象機器Ｏｂの近くにいなくても、対象機器Ｏｂが操作対象として選択されたことと、操作権限を有するユーザがユーザＵ１及びユーザＵ２のいずれであるのか、とを同時に認知することができる。
図６は、対象機器Ｏｂの近傍に表示を行った一例を表した図である。図６では、対象機器Ｏｂのフレーム部のエッジ箇所に表示が投影されていることを表している。このように、ユーザＵ１及びＵ２が対象機器Ｏｂに対して、それぞれがどの方向に存在するか認識できる場合、対象機器のエッジ箇所に表示の投影を行うことで、ユーザは、対象機器Ｏｂに対してどちらのユーザが操作権限を有しているかを確認することができる。かかる構成によれば、システム１０００が作成した表示が対象機器Ｏｂのフレームに表示されるため、対象機器Ｏｂにて表示されるコンテンツの内容に影響することなく、対象機器とその対象機器の操作権限を有するユーザがユーザＵ１及びユーザＵ２のいずれであるのか、とを同時に認知することができる。
図７は、表示部を有する対象機器Ｏｂの表示部の表示領域上に重畳させて、表示制御部１１１１が表示を制御する一例である。表示制御部１１１１は、対象機器Ｏｂの表示部にて表示されるコンテンツの表示範囲が表示部の表示領域を占有する領域の割合に応じて、表示を表示部の表示領域上に重畳させて投影を行うか、又は表示部の表示領域外の対象機器Ｏｂに表示を投影するかを選択してもよい。例えば、表示部上のコンテンツの表示範囲が表示部の表示領域の中心から一部の範囲である場合、投影される表示は、表示部の表示領域上のエリアに重畳するように投影されてもよい。かかる構成により、対象機器Ｏｂの領域内で表示の投影を完結させることができるため、複数の対象機器が隣接して存在する場合に、表示が示す対象機器が誤解されることを抑制することができる。
一方で、表示部上のコンテンツの表示範囲が、表示部の表示領域の大部分を占有している場合、表示の投影は、表示部の表示領域上ではなく、表示部の表示領域外側にて行われてもよい。図８は、表示部の表示領域上ではなく、表示部の表示領域外側にて表示制御を行った一例である。図８では、対象機器Ｏｂの近傍にてフレームとは重ならないように表示の投影を行っている様子が示されている。かかる構成により、システム１０００は、表示部上のコンテンツに影響を与えることなく、表示の投影を行うことができる。
上記では、表示部を有する対象機器Ｏｂにおいて、投影装置にて投影を行う表示の投影場所に関して説明を行った。しかしながら、対象機器Ｏｂが表示部を有する場合、システム１０００は、プロジェクタ１２１０による投影ではなく、対象機器Ｏｂの表示部に該表示を出力してもよい。表示が呈示される場所は、上述した場合と同様に、対象機器Ｏｂの表示部の表示領域にて表示されるコンテンツの表示範囲が表示部の表示領域を占有する割合に応じて、制御されてもよい。対象機器Ｏｂによる表示は、表示部により行われてもよく、対象機器Ｏｂのフレーム等にランプ等が設けてある場合にはランプ等の部分が光る等によって、表示が行われてもよい。この様に、対象機器Ｏｂ自らにより表示が呈示されることで、別途プロジェクタ１２１０等の投影装置を準備せずとも、ユーザに対象機器と操作権限を有するユーザとの相互に関連付けされた表示を呈示することができる。
対象機器Ｏｂの近傍にて表示を制御する場合の例を図９Ａ〜図９Ｆの図を用いて説明する。図９Ａ〜図９Ｆは、表示態様の一例を表す図である。図９Ａ〜図９Ｆでは、ユーザＵ１が操作権限を有する状態を表している。
図９Ａは、対象機器Ｏｂのフレーム近傍の全周に亘って表示が投影されており、かつユーザＵ１がいる方向に凸形状を有する表示表現を行うことで、ユーザＵ１が操作権限を有する対象機器とユーザＵ１が操作権限を有していることを同時に認識できるようにしている。図９Ａにおける凸形状は、ユーザがいる方向に存在する対象機器Ｏｂのフレームの一辺を底辺として、フレームを起点として表示部がある側とは反対側に凸部を有する二等辺三角形にて表示表現が行われている。
図９Ｂは、対象機器Ｏｂの表示部上に歪みを持った波紋の表示を投影することで、方向性を持った表現を行っている。波紋は、楕円が大きい楕円から小さい楕円の順に、内包されていき、かつ大きい楕円から小さい楕円となるにつれて、各楕円の中心がユーザＵ１の方向に移動する波紋表現による表示を行っている。図９Ｂでは、楕円間の間隔が狭い方向にてユーザＵ１のいる方向を示すことで、ユーザＵ１が操作権限を有する対象機器とユーザＵ１が操作権限を有していることを同時に認識できるようにしている。
図９Ｃは、対象機器Ｏｂの表示部上に矢印の表示を投影する様子を表している。矢印の矢頭方向がユーザＵ１のいる方向を示すことで、ユーザＵ１が操作権限を有する対象機器とユーザＵ１が操作権限を有していることを同時に認識できるようにしている。
図９Ｄは、対象機器Ｏｂの近傍におけるパーティクル表現により、方向性を示す表示を行った一例である。パーティクル表現は台形形状にて表現され得る。図９Ｄにおける台形は、等脚台形の形状であり、ユーザがいる方向に存在する対象機器Ｏｂのフレームの一辺側の対象機器Ｏｂの近傍にて、投影される。パーティクルが示す台形形状は、下底が該フレームのユーザＵ１がいる側の一辺に沿って配置され、上底は下底を始点としてユーザＵ１がいる方向に配置される。この際に上底の長さは、下底よりも短い。このようなパーティクル表現により、ユーザＵ１が操作権限を有する対象機器とユーザＵ１が操作権限を有していることを同時に認識できるようにしている。
図９Ｅは、対象機器Ｏｂの表示部上に波紋の表示を投影することで、ユーザＵ１がいる方向を示す一例である。半径の異なる３つの同心円の円弧の一部により波紋を表現している。円弧線が徐々に長くなる方向がユーザＵ１のいる方向を示すことで、ユーザＵ１が操作権限を有する対象機器とユーザＵ１が操作権限を有していることを同時に認識できるようにしている。
図９Ｆは、対象機器Ｏｂが表示するコンテンツが、複数の大小のサイズを持ったコンテンツとして複製され、対象機器Ｏｂを始点として、コンテンツの傾きを変化させながら、大小のコンテンツが小さいサイズのものからユーザＵ１方向に重畳する表示を投影する様子を表している。重畳されたコンテンツのうち、最下コンテンツの中心を始点として、最上コンテンツの中心がある方向が、ユーザＵ１の方向を示すことで、ユーザＵ１が操作権限を有する対象機器とユーザＵ１が操作権限を有していることを同時に認識できるようにしている。
このように、対象機器Ｏｂの近傍にて表示を制御する場合には、様々な表示態様が含まれ得る。これらは適宜、環境情報、ユーザ情報、機器情報に応じて選択され、操作権限を有するユーザに対して視認性が高い表示が選択され得る。ここに挙げた例は、一例であり、かかる例に限定されない。
＜４．２．対象機器と離隔した場所への投影＞
次に、対象機器と離隔した場所に表示を投影する場合に関して説明を行う。かかる投影は、例えば、ユーザが３人以上の複数である場合または、対象機器とユーザとの距離が遠い場合に行われ得る。対象機器と離隔した場所に投影する場合に関して図１０を参照して説明する。
図１０は、ユーザＵ１及びＵ２並びに対象機器Ｏｂの配置例を示している。所定の空間内において、ユーザＵ１及びＵ２が存在する場合に、操作権限を有するユーザＵ１と対象機器Ｏｂとを結ぶ直線、及び操作権限を有しない他のユーザＵ２と対象機器とを結ぶ直線がなす角度Ｂ°に応じて、表示制御部１１１１は表示を制御する。図５と図１０では、それぞれユーザＵ１及びＵ２がなす角Ａ°とＢ°には、Ａ＞Ｂの関係がある。例えば、ユーザＵ１及びユーザＵ２の位置がより対象機器Ｏｂからの距離が遠くなる場合、角度Ｂ°が小さくなることが考えられる。この場合、ユーザＵ１及びＵ２は、対象機器Ｏｂを始点とする方向のみの表示では、互いを判別しにくい。また、ユーザが３人以上である場合は、対象機器Ｏｂを始点とする方向のみの表示では、複数のユーザを示してしまう可能性がある。このような際には、システム１０００は、対象機器Ｏｂの位置から操作権限を有するユーザＵ１の位置へ直線又は曲線にて繋ぐ表示を制御してもよい。
図１１を参照して、対象機器Ｏｂを始点として、操作権限を有するユーザＵ１まで線分又は曲線にて繋ぐ表示に関して説明する。線分又は曲線は、始点及び終点が操作ユーザ及び操作対象機器の表面領域および該領域の周辺にあり、始点及び終点をつなぐ連続性を持った表示であればよい。図１１では、図１０と同様に、ユーザＵ１及びＵ２の間には、操作権限を有するユーザＵ１と対象機器Ｏｂとを結ぶ直線、及び操作権限を有しない他のユーザＵ２と対象機器とを結ぶ直線がなす角度Ｂ°の関係があるものとする。図１１は、ユーザＵ１と対象機器Ｏｂを線でつなぐ表示を行った図である。このように、ユーザＵ１と対象機器Ｏｂとを線でつなぐことで、対象機器Ｏｂが操作対象として選択されたことと、操作権限を有するユーザとをユーザが視認することが可能となる。このような表示によれば、より高い識別性にて、操作権限を有するユーザが、ユーザＵ１であることを特定することができる。
ここで、表示は、操作権限を有しない他のユーザよりも、操作権限を有するユーザに対する視認性が高い表示であればよい。図１２では、ユーザＵ１に対する視認性が、ユーザＵ２に対する視認性よりも高い表示である場合の一例を示す。
図１２では、表示Ｅｆ１はユーザＵ１と対象機器Ｏｂとを線分により繋いだ表示である。対象機器Ｏｂは、ＴＶでありＴＶ台の上に配置されている。ユーザＵ１と対象機器Ｏｂとの間には、テーブルが配置されている。環境情報には、ユーザＵ１と対象機器Ｏｂの間に存在するＴＶ台の形状、表示部に関する情報及びテーブルに関する情報が含まれており、デプス情報等が含まれるため、ユーザＵ１がＴＶ台及びテーブルが配置される箇所にて、表示Ｅｆ１の線分を繋がった一つの線分として視認できるように、表示制御部１１１１が表示を制御することができる。この場合、ユーザＵ１とは別の角度から表示を視認するユーザＵ２は、線分が分断された状態で視認されるため、各線分が何を意味しているのか把握することが困難となる。例えば、この様な表示が、ユーザＵ２よりもユーザＵ１に対する視認性が高い表示である。
図１２では、表示Ｅｆ１はユーザＵ１と対象機器Ｏｂとを線分により繋いだ表示であったが、表示は線分に限らず、ユーザＵ１の視点から見て、破綻しない表示であればよい。
図１３は、ユーザＵ１と表示に関する概念を示す図である。表示の態様に限らず、ユーザＵ１が表示を視認できればよく、ユーザＵ１に対する視認性が他のユーザに対する視認性よりも高ければよい。例えば、ユーザＵ１と対象機器Ｏｂの間に、遠近差を有する物体Ｘ１、Ｘ２及びＸ３が存在する環境を想定する。例えば、物体Ｘ１、Ｘ２及びＸ３にかけて連続した表示Ｅｆ２を呈示した場合、ユーザＵ１側から見ることによって、連続した直線として認識することが可能な表示となる。この表示は、環境情報に含まれる所定の空間内における物体の形状に関するデプス情報などを用いて、物体Ｘ１、Ｘ２及びＸ３に対して、ユーザＵ１からの距離または目線に応じた表示Ｅｆ２を投影させることでユーザＵ１に対して連続的な表示を視認させることができる。かかる構成により、別の角度から表示を視認した他のユーザに対しては破綻した表示が見えることとなり、表示の意味をなさない。この様な表示方法を用いることで、所定の空間内の物体の数や大きさ形状にかかわらず、ユーザＵ１に対して視認性の高い表示を視認させることができる。
図１４Ａでは、ユーザＵ１と対象機器Ｏｂとをつなぐ表示として線分の一部に曲線を用いた場合を示している。ユーザＵ１と対象機器Ｏｂを直線の線分でつないだ場合、遮蔽物Ｘ１により、対象機器ＯｂとユーザＵ１とのつながりが分かりにくい可能性がある。この場合は、表示は、遮蔽物Ｘ１を避ける曲線として作成されてもよい。ただし、曲線の始点と終点は、それぞれ対象機器Ｏｂ、ユーザＵ１となるように制御される。これによれば、システム１０００は、表示の視認性を向上させることが可能である。また、遮蔽物Ｘ１による表示の遮蔽の影響が大きく、ユーザＵ１に対する表示の視認性が著しく低い場合には、例えば、ユーザＵ１に対して音声による呈示を表示に替えて、又は表示と一緒に行うことで、ユーザＵ１が対象機器Ｏｂの操作権限を有していることをユーザＵ１に認識させてもよい。例えば、システム１０００は、サウンドエフェクト等を用いた指向性のある表現にて、ユーザＵ１にユーザＵ１が対象機器Ｏｂの操作権限を有していることを認識させてもよい。
図１４Ｂは、対象機器ＯｂとユーザＵ１を繋ぐ直線の線分の間に、遮蔽ユーザＵ３がいる場合に、遮蔽ユーザＵ３を突き抜ける直線表示を制御する場合を示している。遮蔽ユーザＵ３を突き抜ける形で表示を行うことで、ユーザＵ１に対する表示の視認性をより直観的に向上させることができる。
図１４Ｃは、図１４Ａの遮蔽物Ｘ１が遮蔽ユーザＵ４である場合を示している。遮蔽ユーザＵ４を回避する表示を行うことにより、ユーザＵ４が過って操作権限を有していると認識する可能性を低くすることができる。
図１４Ｄは、環境光に応じて、曲線表示の表示制御を行う場合を示している。環境情報には、所定の空間における照度情報が含まれており、システム１０００は照度情報に基づいて表示を制御してもよい。例えば、太陽光が当たっており、照度が高い領域Ｙに表示を投影する場合、投影された表示が見づらくなる。見づらさを抑制するために、より照度の低い領域に表示を行ってもよい。これによれば、システム１０００は、ユーザＵ１に対する表示の視認性を向上させることができる。
これまでは、対象機器Ｏｂが一つである場合に関して説明したが、対象機器Ｏｂは、複数であってもよい。図１５Ａは、操作対象機器が複数である場合の表示の一例を示した図である。図１５Ａでは、ユーザが、複数の対象機器に対して操作権限を有する場合、線分または曲線で、対象機器間を繋ぐように表示を制御している。例えば、図１５Ａでは、ユーザＵ１は、対象機器Ｏｂ１及び対象機器Ｏｂ２に対して操作権限を有している。この場合、対象機器Ｏｂ１と対象機器Ｏｂ２が線分又は曲線により繋がれるように表示が制御されてもよく、繋がれた線分の途中から枝分かれするような表示にて対象機器Ｏｂ１、対象機器Ｏｂ２及びユーザＵ１が繋がれるように表示が制御されてもよい。かかる構成により、操作権限を有する対象機器が複数であっても、ユーザＵ１が操作権限を有していることをユーザＵ１に呈示することができる。
図１５Ｂは、対象機器Ｏｂが複数あった場合に、ユーザＵ１と対象機器Ｏｂ１及びＯｂ２を結ぶ表示が図１５Ａと異なる一例を示した図である。対象機器が複数ある場合に、それぞれの対象機器Ｏｂ１及びＯｂ２からそれぞれユーザＵ１と繋ぐ線分により、表示制御を行ってもよい。これにより、対象機器間が複数隣接している場合に、対象機器間を繋ぐことで、表示が重複する可能性を抑制することができユーザＵ１に対する表示の視認性が向上する。
＜４．３．スマートフォンまたはＨＭＤにて表示する場合＞
ここまでは、プロジェクタ１２１０及び対象機器Ｏｂを介して、所定の空間内における表示が制御される場合を説明した。ただし、これらの表示は、スマートフォンの表示部を通して制御されてもよく、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）の表示部を通して制御されてもよい。すなわち、これらの表示は、スマートフォン又はＨＭＤ等の仮想空間上で表示および制御されてもよい。
例えば、ユーザＵ１がスマートフォンを通して、所定の空間を視認する場合、システム１０００の表示制御部１１１１は、環境情報、ユーザ情報、機器情報に基づいて、スマートフォンの表示部に対して表示の制御を行ってもよい。スマートフォンを保持するユーザは、操作権限を有するユーザであってもよく、操作権限を有しないユーザであってもよい。表示制御部１１１１は、環境情報、ユーザ情報、機器情報に基づいて、ユーザが見ている方向、スマートフォンの位置およびユーザの位置情報に応じて、スマートフォンの表示部に対して表示の制御を行ってもよい。
例えば、ユーザＵ１が装着しているＨＭＤの表示部を介して所定の空間を視認する場合、システム１０００の表示制御部１１１１は、スマートフォンと同様に、ユーザが見ている方向、対象機器の位置、ＨＭＤの位置およびユーザの位置情報に応じて、ＨＭＤの表示部に対して表示の制御を行ってもよい。
＜＜５．変形例＞＞
＜５．１．操作権限が委譲される場合＞
ここまでは、操作権限を有したユーザＵ１が、対象機器Ｏｂが選択されたことと、操作権限を有しているのがユーザＵ１であることとを示す表示を表示制御部１１１１が制御する説明を行った。次に、操作が行われる前に操作権限が他のユーザに委譲される場合を説明する。
操作権限は、操作対象機器Ｏｂが操作される前に、委譲されてもよい。例えば、ユーザＵ１が対象機器を選択し、対象機器の操作を行わずにユーザＵ２に操作権限を委譲することによって、ユーザＵ２が操作権限を取得し、対象機器の操作を実行してもよい。図１６は、操作権限が委譲される概念図を示した図である。図１６では、ユーザＵ１が対象機器Ｏｂを選択することによって、手元に対象機器Ｏｂの操作画面Ｓを引き寄せる。手元に引き寄せられた操作画面Ｓの上でユーザＵ１が、ユーザ２の方向に手を滑らせることで操作画面Ｓ（すなわち、対象機器Ｏｂの操作権限）をユーザ２の手元に渡すことができる。この操作画面Ｓの委譲がなされたときに、例えばユーザＵ１と対象機器Ｏｂとを繋いでいた線分Ｅｆ３は、ユーザ２と対象機器Ｏｂとをつなぐ線分Ｅｆ４に切り替わってもよい。
図１７では、ユーザが２人いる場合に関して説明を行ったが、所定の空間内には、ユーザが３人以上いてもよい。この場合、操作画面Ｓ上の手を滑らせる方向を任意のユーザの方向に滑らせることで、任意のユーザに対象機器Ｏｂの操作権限を委譲することができる。
以上では、操作権限を有するユーザが１人の場合に関して、説明を行った。しかし、本開示の技術では、操作権限を有するユーザは一人である場合に限らず、複数人であってもよい。この時、表示は、複数のユーザに対して、方向性を示す表示であってもよい。例えば、一対象機器に対して、複数のユーザが操作権限を有する場合に、複数のユーザに対して、対象機器の位置から操作ユーザの位置への方向を表す表示であってもよい。
また、操作権限を有する複数のユーザに対する表示は、それぞれ異なる表示であってもよい。例えば、操作権限を有する第１のユーザが第２のユーザよりも操作対象機器の近くにいる場合、該対象機器の近傍にて表示を行うことで、第１のユーザに操作権限があることを示すことができる。この時、操作権限を有する第２のユーザが第１のユーザよりも操作対象機器から遠く離れた場所にいる場合、第２のユーザと操作対象機器とをつなぐ線分又は曲線等の連続性を有する表示を行うことで、第２のユーザに操作権限があることを示すことができる。この様に、表示は、操作権限を有する複数のユーザに対して異なる表示であってもよい。
操作権限を有する複数のユーザに対して異なる表示は、他には、対象機器を操作する際に、操作権限を有している複数のユーザの中で操作の序列がある場合が挙げられる。その場合の表示は、第１番目に対象機器を操作可能なユーザと対象機器とをつなぐ線分表示を行い、該線分から枝分かれするように、第２番目に対象機器を操作可能なユーザと対象機器とをつなぐ線分表示を行う等、操作可能なユーザの序列を表現する表示であってもよい。
また、表示制御部１１１１は、複数のユーザがあらかじめ設定した表示態様を使用して、表示制御を行ってもよい。例えば、各ユーザがお気に入りの表示態様を設定し、線分表示が設定されたユーザには線分表示を用いる、曲線表示が設定されたユーザには曲線表示を用いる等を行うことで、表示制御部１１１１は、各ユーザにより異なる表示を行ってもよい。
＜５．２．対象機器への操作が認識不能である場合＞
次に、表示の多様性に関して説明する。ここまでは、ユーザＵ１のトリガ動作を検知して、解析部１１１５が解析を行い、対象機器Ｏｂと操作権限を有するユーザＵ１を特定し、対象機器Ｏｂと操作権限を有するユーザＵ１の位置情報を基に、表示制御部１１１１が表示の制御を行う場合の説明をした。
ここでは、トリガの検知が行われたものの、システム１０００において、ユーザが行う操作の認識が不能である場合の表示例について説明する。具体的には、解析部１１１５にて一以上の対象機器及びユーザの中から、操作ユーザ及び操作対象機器を特定したものの、その後の操作が認識できない場合が挙げられる。この時、表示は、方向性を持たない表示となってもよい。このような場合、ユーザＵ１は、対象機器を操作することができないため、操作権限を確実に有している場合と区別する目的で、対象機器とユーザとの方向性を持たない表示を呈示してもよい。図１７Ａから図１７Ｈに、方向性を持たない表示の具体例を示す。
図１７Ａは、対象機器Ｏｂの近傍、特にフレーム部全周の近傍に亘って表示の投影を行い、かつ該フレーム部上を玉状の表示が周回移動する表示の投影を行った例である。周回移動する表示は、方向性が常に移動するため方向性を持たない表現をすることができる。この表示により、システム１０００は、対象機器への操作が認識不能であることを示してもよい。
図１７Ｂは、対象機器Ｏｂの表示部上に径の異なる楕円表現が重畳した表示を行った例である。各楕円は、中心の位置が同位置であり、図９Ｂの様に各楕円の位置にて方向性を持つ表現とは異なる。楕円表現に、方向性を持たせない表示を行うことで、システム１０００は、対象機器への操作が認識不能であることを示してもよい。
図１７Ｃは、対象機器Ｏｂの表示部上に疑問符等の特定の表示を行った例である。疑問符等の特定の表示を示すことで、システム１０００は、対象機器への操作が認識不能であることを示してもよい。表示は、疑問符に限らず、ユーザからの操作が認識できないことを示す内容であってもよい。
図１７Ｄでは、対象機器Ｏｂのフレーム部の全周に亘って表示が投影されている。この表示により、システム１０００は、対象機器への操作が認識不能であることを示してもよい。
図１７Ｅは、対象機器Ｏｂの近傍で、対象機器Ｏｂの位置からユーザがいる位置への方向ではない方向に線分を伸ばす表示を行った例である。線分は、直線としてもよく、曲線としてもよい。このように、操作権限を有し得るユーザに対して、線分を伸ばさない表示を用いることで、システム１０００は、対象機器への操作が認識不能であることを示してもよい。
図１７Ｆは、対象機器Ｏｂの近傍または表示部の表示領域上にて、パーティクルの表示を投影した例である。該パーティクルは、偏在することなく、対象機器Ｏｂの全周に亘って散在しており、方向性を持たない表示である。この様な表示により、システム１０００は、対象機器への操作が認識不能であることを示してもよい。
図１７Ｇでは、大きさの異なる楕円が、対象機器Ｏｂの近傍にて、対象機器Ｏｂを囲むように表示されている例である。図９Ｂのように各楕円の中心位置が異なることで、方向性を示す表示とは異なり、図１７Ｇでは、各楕円は、中心の位置を同じくしており、方向性を示さない。このような表示により、システム１０００は、対象機器への操作が認識不能であることを示してもよい。
図１７Ｈは、表示されたコンテンツがユーザＵ１に向けて図９Ｆのように投射されずに、対象機器Ｏｂの表示部から移動しない表示が行われた例である。この様な表示により、システム１０００は、対象機器への操作が認識不能であることを示してもよい。
以上の様に方向性を示さない表現として具体例にて説明を行ったが、ユーザＵ１に対して、方向性を示さない表現であればいかなる表示でもよく、かかる例に限定されない。
＜５．３．対象機器があるユーザに対してロックされている場合＞
対象機器があるユーザに対してロックされている場合（操作不可状態となっている場合）、図９Ａから図９Ｆに示すような方向性を示す表示に加えて、ロック状態を示す鍵のマークなどの特定の表示を付加して表示を行ってもよい。表示は、図９Ａから図９Ｆに示すような方向性を有する表示に特定の表示が付加された表示でもよく、図１７Ａから図１７Ｈに示すような方向性を有しない表示に特定の表示が付加された表示であってもよい。
図１８Ａ〜図１８Ｈは、ユーザＵ１に対して、対象機器Ｏｂの操作がロックされている場合の表示例を示している。
図１８Ａは、図９Ａに示す表示に加えて、さらに鍵マークのような特定のマークが付加される例を表した図である。この表示により、ユーザＵ１に対して、ユーザＵ１が選択した対象機器とユーザＵ１が選択を行ったこと、かつ対象機器の操作がロックされていることを示してもよい。
図１８Ｂは、図９Ｂに示す表示に加えて、さらに鍵マークのような特定のマークが付加される例を表した図である。この表示により、ユーザＵ１に対して、ユーザＵ１が選択した対象機器とユーザＵ１が選択を行ったこと、かつ対象機器の操作がロックされていることを示してもよい。
図１８Ｃは、図９Ｃに示す表示に加えて、さらに鍵マークのような特定のマークを付加された例を表した図である。この表示により、ユーザＵ１に対して、ユーザＵ１が選択した対象機器とユーザＵ１が選択を行ったこと、かつ対象機器の操作がロックされていることを示してもよい。
図１８Ｄは、対象機器Ｏｂの筐体のフレーム部のエッジ箇所に表示を投影することで、エッジ箇所方向にユーザＵ１がいる方向を示した表示の例を表した図である。この表示にさらに、対象機器Ｏｂの表示部上に、鍵マークのような特定のマークを付加することで、ユーザＵ１に対して、ユーザＵ１が選択した対象機器とユーザＵ１が選択を行ったこと、かつ対象機器の操作がロックされていることを示してもよい。
図１８Ｅは、対象機器ＯｂとユーザＵ１をつなぐ表示を行うことで、ユーザＵ１が選択した対象機器とユーザＵ１が選択を行ったこと、を表した図である。その表示に加えて、さらに鍵マークのような特定のマークを付加することで、ユーザＵ１に対して、ユーザＵ１が選択した対象機器とユーザＵ１が選択を行ったこと、かつ対象機器の操作がロックされていることを示してもよい。
図１８Ｆは、図９Ｄに示す表示に加えて、さらにパーティクルと重畳させて鍵マークのような特定のマークを付加した表示を表した図である。この表示により、ユーザＵ１に対して、ユーザＵ１が選択した対象機器とユーザＵ１が選択を行ったこと、かつ対象機器の操作がロックされていることを示してもよい。
図１８Ｇは、図９Ｅに加えて、さらに鍵マークのような特定のマークを付加した表示を表した図である。この表示により、ユーザＵ１に対して、ユーザＵ１が選択した対象機器とユーザＵ１が選択を行ったこと、かつ対象機器の操作がロックされていることを示してもよい。
図１８Ｈは、図９Ｆに加えて。さらに、鍵マークのような特定のマークを付加させた表示を表した図である。この表示により、ユーザＵ１に対して、ユーザＵ１が選択した対象機器とユーザＵ１が選択を行ったこと、かつ対象機器の操作がロックされていることを示してもよい。
図１９Ａは、図１８Ａから図１８ＨがユーザＵ１に対して方向性を示す表示であるのに対して、ユーザＵ１に対して方向性を示さずに、対象機器Ｏｂがロックされていることを示す一例である。図１９Ａでは、対象機器Ｏｂの表示部上に、鍵マークのような特定の表示を行っており、この表示により、対象機器Ｏｂの操作がロックされていることを示してもよい。
図１９Ｂは、図１９Ａと同様に、ユーザに対して方向性を示さずに、対象機器Ｏｂがロックされていることを示す一例である。図１９Ｂでは、対象機器Ｏｂが表示部を有しないため、対象機器Ｏｂの近傍を囲む表示に加えて、鍵マークのような特定の表示を行っており、この表示により、対象機器Ｏｂの操作がロックされていることを示してもよい。
ここでは、特定のマークとして、鍵マークを一例に挙げたが、ユーザＵ１がロックされていることを把握できれば、かかる例に限定されない。例えば、文字等の表示を行ってもよい。
＜＜６．ハードウェア構成例＞＞
最後に、図２０を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図２０は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図２０に示す情報処理装置９００は、例えば、図３に示した情報処理装置１１００を実現し得る。本実施形態に係る情報処理装置１１００による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
図２０に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、表示装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１及び通信装置９１３を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、電気回路、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図３に示す検出部１１２０及び制御部１１１０を形成し得る。
ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
表示装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置等がある。表示装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置９０７は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置を用いる場合は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、図３に示す記憶部１１４０を形成し得る。
ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。接続ポート９１１は、例えば、図３に示すＩ／Ｆ部１１３０を形成し得る。そして、接続ポート９１１は、図３に示す表示装置１２００及びセンサ装置１３００に接続される。
通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、図３に示すＩ／Ｆ部１１３０を形成し得る。そして、通信装置９１３は、図３に示す表示装置１２００及びセンサ装置１３００と通信し得る。
なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
また、情報処理装置１１００に内蔵されるＣＰＵ、ＲＯＭ及びＲＡＭなどのハードウェアを上述した本実施形態に係る情報処理装置１１００の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記録媒体も提供される。
＜＜７．まとめ＞＞
以上、図１〜図２０を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係るシステム１０００は、所定の空間内における対象機器の位置情報およびユーザの位置情報に基づいて、対象機器およびユーザの位置関係に応じた表示を行う。これにより、対象機器の操作権限を有するユーザと対象機器とを操作前に視認することが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、本明細書において説明した各装置は、単独の装置として実現されてもよく、一部または全部が別々の装置として実現されても良い。例えば、図３に示した情報処理装置１１００、表示装置１２００及びセンサ装置１３００は、単独の装置として構成されてもよい。また、例えば、図３に示した情報処理装置１１００が、表示装置１２００及びセンサ装置１３００とネットワーク等で接続されたサーバ装置として構成されてもよい。また、例えば、図３に示した情報処理装置１１００の機能構成例のうち、制御部１１１０が、Ｉ／Ｆ部１１３０、検出部１１２０とネットワーク等で接続されたサーバ等の装置に備えられていても良い。
また、本明細書においてフローチャートを用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
所定の実空間内における対象機器の位置情報と、前記対象機器の操作権限を有するユーザの位置情報と、に基づいて、前記ユーザと前記対象機器との位置関係に応じた表示を前記実空間内で前記ユーザが視認可能なように制御する表示制御部、を備える情報処理装置。
（２）
前記表示制御部は、前記対象機器の選択に基づいて、前記ユーザと前記対象機器とに対して相互に関連付けされた前記表示を制御する、前記（１）に記載の情報処理装置。
（３）
前記表示は、前記対象機器の位置から前記ユーザの位置への方向を表す表示である、前記（１）または（２）に記載の情報処理装置。
（４）
前記表示は、前記操作権限を有しない他のユーザよりも前記ユーザに対する視認性が高い表示である、前記（１）〜（３）のいずれか一項に記載の情報処理装置。
（５）
前記表示は、前記ユーザと前記対象機器とを結ぶ線分または曲線である、前記（１）〜（４）のいずれか一項に記載の情報処理装置。
（６）
前記対象機器は、表示部を備え、
前記表示制御部は、前記表示を前記表示部に表示させる、前記（１）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記表示制御部は、前記表示を投影装置により投影させる、前記（１）〜（５）のいずれか一項に記載の情報処理装置。
（８）
前記投影装置は、投影方向を変更可能な可動部を備え、
前記表示制御部は、前記投影装置の投影方向を変更させることで前記表示の投影場所を変更する、前記（７）に記載の情報処理装置。
（９）
前記表示制御部は、前記実空間に関する環境情報に基づいて、前記投影場所を決定する、前記（８）に記載の情報処理装置。
（１０）
前記環境情報は、前記実空間内の輝度、色、音、又は前記実空間を形成する物体に関するデプス情報を含む、前記（９）に記載の情報処理装置。
（１１）
前記表示制御部は、前記操作権限を有する前記ユーザと前記対象機器とを結ぶ直線、及び前記操作権限を有しない他のユーザと前記対象機器とを結ぶ直線がなす角度により、前記表示を変更する、前記（１）〜（１０）のいずれか一項に記載の情報処理装置。
（１２）
前記角度が、所定の角度より大きい場合、前記表示は、前記対象機器の近傍または前記対象機器に重畳して表示され、前記角度が所定の角度より小さい場合、前記表示は、前記ユーザと前記対象機器とを結ぶ線分または曲線にて表示される、前記（１１）に記載の情報処理装置。
（１３）
前記表示制御部は、前記対象機器の前記表示部にて表示されるコンテンツの表示範囲が前記表示部の表示領域を占有する領域の割合に応じて、前記表示を、前記表示部の表示領域内に表示させるか、前記表示領域の外側に表示させるかの選択を行う、前記（６）に記載の情報処理装置。
（１４）
前記表示を前記表示領域の外側に表示させる場合、投影装置により投影させる、前記（１３）に記載の情報処理装置。
（１５）
前記対象機器の選択は、所定の空間内におけるユーザのジェスチャ、音声入力の少なくともいずれかにより行われる、前記（２）に記載の情報処理装置。
（１６）
前記ユーザが、前記操作権限を複数の前記対象機器に対して有する場合、前記線分または前記曲線は、前記対象機器間を繋ぐ線分または曲線をさらに含む前記（５）に記載の情報処理装置。
（１７）
前記表示制御部は、前記操作権限が前記ユーザから他のユーザへ委譲された場合に、前記対象機器の位置から前記ユーザがいる位置への方向を表す表示を、前記他のユーザがいる方向を表す表示に変更する、前記（５）に記載の情報処理装置。
（１８）
前記表示制御部は、前記表示を前記対象機器の筐体と重畳するように、又は前記対象機器の筐体の近傍に投影させる、前記（８）に記載の情報処理装置。
（１９）
所定の実空間内における対象機器の位置情報と、前記対象機器の操作権限を有するユーザの位置情報と、に基づいて、前記ユーザと前記対象機器との位置関係に応じた表示を前記実空間内で前記ユーザが視認可能なように制御すること、を含む情報処理方法。
（２０）
コンピュータを、
所定の実空間内における対象機器の位置情報と、前記対象機器の操作権限を有するユーザの位置情報と、に基づいて、前記ユーザと前記対象機器との位置関係に応じた表示を前記実空間内で前記ユーザが視認可能なように制御する表示制御部、として機能させるためのプログラムを記録した記録媒体。
１０００ システム
１１００ 情報処理装置
１１１０ 制御部
１１１１ 表示制御部
１１１５ 解析部
１１２０ 検出部
１１２１ ユーザ検出部
１１２３ トリガ検出部
１１２５ 環境検出部
１１２６ 機器検出部
１１３０ Ｉ／Ｆ部
１１４０ 記憶部
１２００ 表示装置
１３００ センサ装置

Claims (20)

  1. 所定の実空間内における対象機器の位置情報と、前記対象機器の操作権限を有するユーザの位置情報と、に基づいて、前記ユーザと前記対象機器との位置関係に応じた表示を前記実空間内で前記ユーザが視認可能なように制御する表示制御部、を備える情報処理装置。
  2. 前記表示制御部は、前記対象機器の選択に基づいて、前記ユーザと前記対象機器とに対して相互に関連付けされた前記表示を制御する、請求項１に記載の情報処理装置。
  3. 前記表示は、前記対象機器の位置から前記ユーザの位置への方向を表す表示である、請求項１または２に記載の情報処理装置。
  4. 前記表示は、前記操作権限を有しない他のユーザよりも前記ユーザに対する視認性が高い表示である、請求項１〜３のいずれか一項に記載の情報処理装置。
  5. 前記表示は、前記ユーザと前記対象機器とを結ぶ線分または曲線である、請求項１〜４のいずれか一項に記載の情報処理装置。
  6. 前記対象機器は、表示部を備え、
    前記表示制御部は、前記表示を前記表示部に表示させる、請求項１〜５のいずれか一項に記載の情報処理装置。
  7. 前記表示制御部は、前記表示を投影装置により投影させる、請求項１〜５のいずれか一項に記載の情報処理装置。
  8. 前記投影装置は、投影方向を変更可能な可動部を備え、
    前記表示制御部は、前記投影装置の投影方向を変更させることで前記表示の投影場所を変更する、請求項７に記載の情報処理装置。
  9. 前記表示制御部は、前記実空間に関する環境情報に基づいて、前記投影場所を決定する、請求項８に記載の情報処理装置。
  10. 前記環境情報は、前記実空間内の輝度、色、音、又は前記実空間を形成する物体に関するデプス情報を含む、請求項９に記載の情報処理装置。
  11. 前記表示制御部は、前記操作権限を有する前記ユーザと前記対象機器とを結ぶ直線、及び前記操作権限を有しない他のユーザと前記対象機器とを結ぶ直線がなす角度により、前記表示を変更する、請求項１〜１０のいずれか一項に記載の情報処理装置。
  12. 前記角度が、所定の角度より大きい場合、前記表示は、前記対象機器の近傍または前記対象機器に重畳して表示され、前記角度が所定の角度より小さい場合、前記表示は、前記ユーザと前記対象機器とを結ぶ線分または曲線にて表示される、請求項１１に記載の情報処理装置。
  13. 前記表示制御部は、前記対象機器の前記表示部にて表示されるコンテンツの表示範囲が前記表示部の表示領域を占有する領域の割合に応じて、前記表示を、前記表示部の表示領域内に表示させるか、前記表示領域の外側に表示させるかの選択を行う、請求項６に記載の情報処理装置。
  14. 前記表示を前記表示領域の外側に表示させる場合、投影装置により投影させる、請求項１３に記載の情報処理装置。
  15. 前記対象機器の選択は、所定の空間内におけるユーザのジェスチャ、音声入力の少なくともいずれかにより行われる、請求項２に記載の情報処理装置。
  16. 前記ユーザが、前記操作権限を複数の前記対象機器に対して有する場合、前記線分または前記曲線は、前記対象機器間を繋ぐ線分または曲線をさらに含む請求項５に記載の情報処理装置。
  17. 前記表示制御部は、前記操作権限が前記ユーザから他のユーザへ委譲された場合に、前記対象機器の位置から前記ユーザがいる位置への方向を表す表示を、前記他のユーザがいる方向を表す表示に変更する、請求項５に記載の情報処理装置。
  18. 前記表示制御部は、前記表示を前記対象機器の筐体と重畳するように、又は前記対象機器の筐体の近傍に投影させる、請求項８に記載の情報処理装置。
  19. 所定の実空間内における対象機器の位置情報と、前記対象機器の操作権限を有するユーザの位置情報と、に基づいて、前記ユーザと前記対象機器との位置関係に応じた表示を前記実空間内で前記ユーザが視認可能なように制御すること、を含む情報処理方法。
  20. コンピュータを、
    所定の実空間内における対象機器の位置情報と、前記対象機器の操作権限を有するユーザの位置情報と、に基づいて、前記ユーザと前記対象機器との位置関係に応じた表示を前記実空間内で前記ユーザが視認可能なように制御する表示制御部、として機能させるためのプログラムを記録した記録媒体。
JP2017240512A 2017-12-15 2017-12-15 情報処理装置、情報処理方法及び記録媒体 Active JP6693495B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2017240512A JP6693495B2 (ja) 2017-12-15 2017-12-15 情報処理装置、情報処理方法及び記録媒体
KR1020207015915A KR20200099523A (ko) 2017-12-15 2018-10-05 정보 처리 장치, 정보 처리 방법 및 기록 매체
US16/770,681 US11221684B2 (en) 2017-12-15 2018-10-05 Information processing device, information processing method, and recording medium
CN201880079302.9A CN111448541A (zh) 2017-12-15 2018-10-05 信息处理装置、信息处理方法和记录介质
EP18887675.9A EP3726355A4 (en) 2017-12-15 2018-10-05 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND RECORDING MEDIA
PCT/JP2018/037291 WO2019116692A1 (ja) 2017-12-15 2018-10-05 情報処理装置、情報処理方法及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017240512A JP6693495B2 (ja) 2017-12-15 2017-12-15 情報処理装置、情報処理方法及び記録媒体

Publications (2)

Publication Number Publication Date
JP2019109578A JP2019109578A (ja) 2019-07-04
JP6693495B2 true JP6693495B2 (ja) 2020-05-13

Family

ID=66819117

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017240512A Active JP6693495B2 (ja) 2017-12-15 2017-12-15 情報処理装置、情報処理方法及び記録媒体

Country Status (6)

Country Link
US (1) US11221684B2 (ja)
EP (1) EP3726355A4 (ja)
JP (1) JP6693495B2 (ja)
KR (1) KR20200099523A (ja)
CN (1) CN111448541A (ja)
WO (1) WO2019116692A1 (ja)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2421252A1 (en) * 2010-08-17 2012-02-22 LG Electronics Display device and control method thereof
JP5779641B2 (ja) * 2011-02-28 2015-09-16 株式会社Pfu 情報処理装置、方法およびプログラム
US9723293B1 (en) * 2011-06-21 2017-08-01 Amazon Technologies, Inc. Identifying projection surfaces in augmented reality environments
KR101885295B1 (ko) * 2011-12-26 2018-09-11 엘지전자 주식회사 전자기기 및 그 제어방법
JP2013205983A (ja) * 2012-03-27 2013-10-07 Sony Corp 情報入力装置及び情報入力方法、並びにコンピューター・プログラム
US9542544B2 (en) * 2013-11-08 2017-01-10 Microsoft Technology Licensing, Llc Correlated display of biometric identity, feedback and user interaction state
WO2015098189A1 (ja) * 2013-12-27 2015-07-02 ソニー株式会社 表示制御装置、表示制御方法及びプログラム
KR102211123B1 (ko) * 2014-07-23 2021-02-02 삼성전자주식회사 디스플레이 드라이버, 디스플레이 시스템 및 디스플레이 드라이버의 동작방법
JP2016099732A (ja) * 2014-11-19 2016-05-30 セイコーエプソン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
CN107408027B (zh) * 2015-03-31 2020-07-28 索尼公司 信息处理设备、控制方法及程序
KR102594792B1 (ko) * 2016-09-30 2023-10-30 엘지디스플레이 주식회사 유기발광표시장치 및 그 제어방법

Also Published As

Publication number Publication date
CN111448541A (zh) 2020-07-24
US20210165503A1 (en) 2021-06-03
EP3726355A4 (en) 2021-02-17
JP2019109578A (ja) 2019-07-04
WO2019116692A1 (ja) 2019-06-20
EP3726355A1 (en) 2020-10-21
KR20200099523A (ko) 2020-08-24
US11221684B2 (en) 2022-01-11

Similar Documents

Publication Publication Date Title
US10528154B2 (en) System for projecting content to a display surface having user-controlled size, shape and location/direction and apparatus and methods useful in conjunction therewith
US9880619B2 (en) Virtual reality system with a finger-wearable control
US11373650B2 (en) Information processing device and information processing method
JP6569726B2 (ja) 情報処理装置、情報処理方法及びプログラム
US10564712B2 (en) Information processing device, information processing method, and program
WO2018163637A1 (ja) 情報処理装置、情報処理方法及び記録媒体
US20220057922A1 (en) Systems and interfaces for location-based device control
JP7294350B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2015198729A1 (ja) 表示制御装置、表示制御方法およびプログラム
JP6693495B2 (ja) 情報処理装置、情報処理方法及び記録媒体
WO2017033544A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6414079B2 (ja) 情報処理システム、情報処理方法およびプログラム
WO2019123754A1 (ja) 情報処理装置、情報処理方法、および記録媒体
WO2019082520A1 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190212

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190212

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190521

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200317

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200330

R151 Written notification of patent or utility model registration

Ref document number: 6693495

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151