JPWO2019235263A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JPWO2019235263A1
JPWO2019235263A1 JP2020523633A JP2020523633A JPWO2019235263A1 JP WO2019235263 A1 JPWO2019235263 A1 JP WO2019235263A1 JP 2020523633 A JP2020523633 A JP 2020523633A JP 2020523633 A JP2020523633 A JP 2020523633A JP WO2019235263 A1 JPWO2019235263 A1 JP WO2019235263A1
Authority
JP
Japan
Prior art keywords
processing
information
user
target
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020523633A
Other languages
English (en)
Other versions
JP7306386B2 (ja
Inventor
文彦 飯田
文彦 飯田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019235263A1 publication Critical patent/JPWO2019235263A1/ja
Application granted granted Critical
Publication of JP7306386B2 publication Critical patent/JP7306386B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/70—Device selection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/91—Remote control based on location and proximity

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

空間内のユーザ指示位置情報及び前記空間内の対象位置情報に基づいて、前記空間内の複数の選択対象の中からユーザが連続的に選択した複数の処理対象を検出する検出処理、及び検出された前記複数の処理対象に対して前記ユーザが指定した処理方針を示す処理方針情報に基づいて、検出された前記複数の処理対象に対して一括操作を実行する一括操作処理を実行する制御部（１４０）、を備える情報処理装置。

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
現在、スマートホームに関する技術が普及している。当該技術により、例えば、ユーザは、ジェスチャ又は音声等により、生活空間に存在する機器の選択及び操作を行うことができる。
上述の技術に関連し、例えば、下記特許文献１には、ユーザの視線に基づき操作対象の機器を検出し、当該機器を操作するための操作オブジェクトをユーザの付近に表示し、当該操作オブジェクトを用いてユーザが機器を操作する技術が開示されている。当該技術では、ユーザが複数の機器の各々に対して視線を向けることで、複数の機器を一括で選択し、選択された各々の機器を操作するための操作オブジェクトがユーザの付近（例えば手元）に表示される。そして、ユーザは、操作オブジェクト上で操作対象となる機器を１つ選択し、選択した機器に対する操作指示を入力することで、手元で機器を操作することができる。
国際公開第２０１８／００８２１８号
しかしながら、上記の技術は、ユーザが操作オブジェクト上に表示された複数の機器の内の１つを選択し、選択された機器の処理を逐次的に実行することを前提とした技術である。そのため、ユーザは、複数の機器を選択して各々の機器の処理をまとめて実行させることはできず、１つの機器を選択して操作指示を入力するという動作を操作対象の機器の数だけ繰り返す必要がある。よって、ユーザが複数の機器の処理をまとめて実行したい場合の操作性はよくない。
そこで、本開示では、ユーザが複数の物体を一括で選択した際の操作性を向上することが可能な、新規かつ改良された情報処理装置、情報処理方法、及びプログラムを提案する。
本開示によれば、空間内のユーザ指示位置情報及び前記空間内の対象位置情報に基づいて、前記空間内の複数の選択対象の中からユーザが連続的に選択した複数の処理対象を検出する検出処理、及び検出された前記複数の処理対象に対して前記ユーザが指定した処理方針を示す処理方針情報に基づいて、検出された前記複数の処理対象に対して一括操作を実行する一括操作処理を実行する制御部、を備える情報処理装置が提供される。
また、本開示によれば、空間内のユーザ指示位置情報及び前記空間内の対象位置情報に基づいて、前記空間内の複数の選択対象の中からユーザが連続的に選択した複数の処理対象を検出する検出処理、及び検出された前記複数の処理対象に対して前記ユーザが指定した処理方針を示す処理方針情報に基づいて、検出された前記複数の処理対象に対して一括操作を実行する一括操作処理を実行すること、を含むプロセッサにより実行される情報処理方法が提供される。
また、本開示によれば、コンピュータを、空間内のユーザ指示位置情報及び前記空間内の対象位置情報に基づいて、前記空間内の複数の選択対象の中からユーザが連続的に選択した複数の処理対象を検出する検出処理、及び検出された前記複数の処理対象に対して前記ユーザが指定した処理方針を示す処理方針情報に基づいて、検出された前記複数の処理対象に対して一括操作を実行する一括操作処理を実行する制御部、として機能させるためのプログラムが提供される。
以上説明したように本開示によれば、ユーザが複数の物体を一括で選択した際の操作性を向上することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態に係る情報処理システムの概要を示す説明図である。 同実施形態に係る複数の処理対象の選択時におけるポインティング装置の操作例を示す説明図である。 同実施形態に係る軌跡の記録開始時又は終了時におけるポインティング装置の操作例を示す説明図である。 同実施形態に係る処理対象の選択時における軌跡の形状例を示す説明図である。 同実施形態に係る処理対象に関する情報の提示例を示す説明図である。 同実施形態に係る処理対象の選択状態の提示例を示す説明図である。 同実施形態に係る情報処理装置の機能構成例を示すブロック図である。 同実施形態に係る記憶部が記憶するデータ例を示す説明図である。 同実施形態に係る選択対象上における軌跡の形状に基づく選択判定の例を示す説明図である。 同実施形態に係る選択対象上におけるポインタの滞留時間に基づく選択判定の例を示す説明図である。 同実施形態に係る選択対象上におけるポインタの軌跡の屈曲に基づく選択判定の例を示す説明図である。 同実施形態に係る選択対象上におけるポインタの移動速度の加減速に基づく選択判定の例を示す説明図である。 同実施形態に係る選択対象上の軌跡の形状の重心位置に基づく選択判定の例を示す説明図である。 同実施形態に係る選択対象上の軌跡の形状の面積に基づく選択判定の例を示す説明図である。 同実施形態に係る非選択対象が選択された際の処理の例を示す説明図である。 同実施形態に係るユーザの視線に基づく選択判定の例を示す説明図である。 同実施形態に係るユーザの指示に基づく指定された位置への情報の表示例を示す説明図である。 同実施形態に係る処理対象に応じた位置への情報の表示例を示す説明図である。 同実施形態に係る位置指定がない場合の情報の表示例を示す説明図である。 同実施形態に係る位置指定がなく表示位置の推定ができない場合の情報の表示例を示す説明図である。 同実施形態に係る重みに基づく情報の提示例を示す説明図である。 同実施形態に係る動作処理の例を示す説明図である。 同実施形態に係る情報処理システムの動作例について説明する。 同実施形態に係る情報処理サーバのメイン処理を示すフローチャートである。 同実施形態に係る一括操作処理を示すフローチャートである。 同実施形態に係る情報処理サーバのハードウェア構成例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．本開示の実施形態
１．１．システム概要
１．２．システム構成例
１．３．情報処理装置の機能構成例
１．４．動作例
２．ハードウェア構成例
３．まとめ
＜＜１．本開示の実施形態＞＞
近年、スマートホームに関する技術が普及している。スマートホームとは、例えば、生活空間に存在する家電製品等の機器をインターネットに接続し、家電製品の動作等を制御することで、より快適な生活をすることができる家のことである。具体的に、ユーザは、音声により生活空間内の機器を選択し、選択した機器を音声により操作することができる。音声だけでは機器の操作が困難な場合があるため、ジェスチャにより機器の選択及び操作が可能な技術もある。
しかしながら、上記の技術は、ユーザが複数の機器の内の１つを選択し、選択された機器の処理を逐次的に実行することを前提とした技術である。そのため、ユーザは、複数の機器を選択して各々の機器の処理をまとめて実行させることはできず、１つの機器を選択して操作指示を入力するという動作を機器の数だけ繰り返す必要がある。よって、ユーザが複数の機器の処理をまとめて実行したい場合の操作性はよくない。
本開示の実施形態では、上記の点に着目して発想されたものであり、ユーザが複数の物体を一括で選択した際の操作性を向上することが可能な技術を提案する。なお、以下では、ユーザが居住空間に設置された家電製品等の物体を複数選択した際の操作性について説明する。
＜１．１．システム概要＞
以下では、図１を参照しながら、本開示の実施形態に係る情報処理システムの概要について説明する。図１は、本開示の実施形態に係る情報処理システムの概要を示す説明図である。なお、本開示の実施形態に係る情報処理システムは、図１に示す情報処理サーバ１０、ポインティング装置２０、環境評価装置３０、センサ装置４０、及び投射装置５０で構成される。また、情報システムの各構成要素は、ネットワーク６０を介して互いに接続されている。
図１に示す空間は、居住空間であり、当該居住空間には、ポインティング装置２０を把持したユーザ９０が存在する。ユーザ９０は、ポインティング装置２０を操作することで、操作処理の対象となる機器（以下では、処理対象とも称される）を選択する。ここで、操作処理とは、情報処理サーバ１０が実行する処理対象に関する処理である。例えば、処理対象に関する情報（以下では、処理対象情報とも称される）が存在する場合、情報処理サーバ１０は、複数の処理対象情報を他の装置（例えば、投射装置５０）に表示させる処理（以下では、表示処理とも称される）を操作処理として実行する。また、複数の処理対象が家電製品等の情報処理機器である場合、情報処理サーバ１０は、複数の処理対象を動作させる処理（以下では、動作処理とも称される）を操作処理として実行する。
また、図１に示す空間には、ユーザが処理対象として選択可能な物体（以下では、選択対象とも称される）が複数存在する。選択対象は、空間内に実在する実オブジェクト、または空間内に投射装置５０により投射された仮想オブジェクトの２つに分類される。実オブジェクトは、さらに、情報処理機器である物体と情報処理機器以外の物体の２つに分類される。本実施形態における情報処理機器である物体とは、例えば、図１に示すテレビ７２、冷蔵庫７３、及び照明７４である。また、本実施形態における情報処理機器でない物体とは、例えば、図１に示すアナログ時計７０、卓上カレンダー７１、及びテーブル７５である。また、観葉植物７６のように、情報処理機器でない物体であり、ユーザに提示する情報を特に有していない物体は、選択対象から除外するように設定されてもよい。また、選択対象から除外する物体の判定基準は、例えば、食料品のような消費材であること、または人や動物等の動体であること等であってもよい。
また、仮想オブジェクトは、基本的には、実オブジェクト、及び仮想オブジェクトに関する情報を提示する。また、仮想オブジェクトは、選択されることで機能を実行してもよい。当該機能とは、例えば、情報処理機器の機能である。具体的に、仮想オブジェクトは、ユーザにポインティング装置２０で選択されると、テレビの電源をオンにしてもよい。このように、仮想オブジェクトは、選択されることで情報処理機器等の機能を実行するショートカット機能を有してもよい。
また、仮想オブジェクトは、別室や遠隔地に関する情報を表示してもよい。例えば、仮想オブジェクトは、別室に配置されている情報処理機器等の情報を表示する。例えば、ユーザが仮想オブジェクトに表示された別室のテレビをポインティング装置２０で選択した場合、仮想オブジェクトは別室のテレビの電源をオンにしてもよい。
ユーザ９０は、選択対象から処理対象を選択する際には、ポインティング装置２０から出力される光等のポインタの位置（ユーザ指示位置）を移動させる。ユーザ９０は、ポインタの位置を移動し、連続的に複数の選択対象にポインタを当てること（以下では、一筆書きとも称される）で複数の処理対象を選択する。ユーザ９０は、ポインティング装置２０を用いて一筆書きを行うことで、複数の処理対象を一括で選択することができる。
情報処理サーバ１０は、環境評価装置３０から選択対象の位置情報（以下では、対象位置情報とも称される）を取得する。また、情報処理サーバ１０は、センサ装置４０から取得するセンシングデータに基づき、ポインタの位置を検出することでポインタの位置情報（ユーザ指示位置情報）を取得する。情報処理サーバ１０は、当該ポインタの位置情報に基づき、ポインタが移動した経路（以下では、軌跡とも称される）を把握することができる。そして、情報処理サーバ１０は、取得した対象位置情報と軌跡に基づき、ユーザに一括で選択された複数の処理対象を検出する処理（以下では、検出処理とも称される）を行う。
ユーザ９０が複数の処理対象を一括で選択した場合、情報処理サーバ１０は、各々の機器に対する操作処理をまとめて実行する処理（以下では、一括操作処理とも称される）を行う。なお、一括操作処理は、ユーザ９０の特定の操作に基づき実行されてもよい。ユーザ９０の特定の操作は、例えば、一括操作処理を実行する旨を示す操作であり、ユーザ９０は、ポインティング装置２０を用いて特定の操作を行う。
一括操作処理では、例えば、複数の機器に対して同一の操作が行われる。具体的に、複数の機器の電源をオンにする操作が一括で行われる。また、一括操作処理では、同一カテゴリの操作が行われてもよい。具体的に、操作のカテゴリが情報表示である場合、複数の機器の各々は、情報表示という同一の操作を行うが、表示する情報は各々の機器に応じた情報であってよい。また、一括操作処理では、機器ごとに予め設定された操作がまとめて同時に実行されてもよい。具体的に、処理対象として冷蔵庫７３、及び照明７４が一括で選択された場合、情報処理サーバ１０は、冷蔵庫７３に対しては庫内の画像を表示する処理を実行し、照明７４に対してはトグルの操作により電源のオンとオフを切り替える処理を実行してもよい。なお、以下では、操作処理として一括操作処理が行われるものとして説明する。
また、ユーザ９０は、ポインタを移動することで形成される形状（以下では、軌跡の形状とも称される）により、どの一括操作処理を情報処理サーバ１０に実行させるかの方針を示す情報（以下では、処理方針情報とも称される）を示すことができる。情報処理サーバ１０は、センサ装置４０が計測するポインタの位置情報に基づき、処理方針情報を検出し、検出した処理方針情報に基づき一括操作処理を実行する。なお、軌跡の形状は、操作物体の位置から軌跡を見た際の形状である。具体的に、軌跡の形状は、ポインティング装置２０の出力部から軌跡を見た際の形状である。即ち、ポインティング装置２０の出力部から見て奥行き方向の違いを無視して、軌跡の形状が検出されるものとする。例えば、テレビ７２からテレビ７２の奥の壁に一部はみ出すように円形で移動したポインタの軌跡の形状は、円形であるものとする。なお、操作物体は、ユーザ９０が処理対象の選択、または処理方針情報の提示等に用いる物体であり、ポインティング装置２０、またはユーザ９０の手指等を含み得る。また、操作物体の位置は、例えば、ポインティング装置２０の出力部の位置、またはユーザ９０の指の先端の位置等である。また、ユーザ９０がポインティング装置２０を操作して処理方針情報を示すことは、上述したユーザ９０の特定の操作の一例である。
上述のように、情報処理サーバ１０が検出処理、及び一括操作処理を実行することで、ユーザが複数の物体を一括で選択した際の操作性を向上することが実現される。
以上、図１を参照しながら、本開示の実施形態に係る情報処理システムの概要について説明した。続いて、本開示の実施形態に係る情報処理システムの構成例について説明する。
＜１．２．システム構成例＞
以下では、図２〜図６を参照しながら、本開示の実施形態に係る情報処理システムの構成例について説明する。
（１）情報処理サーバ１０
情報処理サーバ１０は、情報処理システムを構成する他の構成要素から受信する情報に基づく処理を実行する機能を有する情報処理装置である。例えば、情報処理サーバ１０は、環境評価装置３０とセンサ装置４０から受信する情報に基づき、検出処理を実行する。また、情報処理サーバ１０は、センサ装置４０から受信する情報に基づき、一括操作処理を実行する。
また、情報処理サーバ１０は、情報処理システムを構成する他の構成要素の処理を制御する機能を有する情報処理装置である。例えば、情報処理サーバ１０は、一括操作処理が表示処理である場合、投射装置５０が処理対象情報を提示するための投射処理を制御する。なお、情報処理サーバ１０は、環境評価装置３０による環境評価処理、及びセンサ装置４０によるセンシングデータの取得処理を制御してもよい。
（２）ポインティング装置２０
ポインティング装置２０は、ユーザ９０が空間中の物体を選択するために用いられる装置である。ポインティング装置２０の操作時、ユーザ９０は、例えば、ポインティング装置２０を把持して操作する。また、ユーザ９０は、ポインティング装置２０が備えるスイッチを押下することで、ポインティング装置２０にポインタの投射を開始させる。また、ユーザ９０は、ポインティング装置２０がポインタを投射している最中に、再度スイッチを押下することで、ポインティング装置２０にポインタの投射を終了させる。
ポインティング装置２０は、ポインティングしている位置を示す機能を有する。例えば、ポインティング装置２０は、ＩＲ ＬＥＤ（Ｉｎｆｒａｒｅｄ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ：赤外線発光ダイオード）などの光を投射し、当該光の投射先をポインティングしている位置として示す。
また、ポインティング装置２０は、通信機能を有している。当該通信機能により、ポインティング装置２０は、起動状態であるか否かを示す情報を情報処理サーバ１０へ送信する。例えば、ポインティング装置２０は、ユーザにスイッチを押下されてポインタの投射を開始した時、起動状態である旨を示す情報を情報処理サーバ１０に送信する。また、ポインティング装置２０は、起動状態である時にユーザに再度スイッチを押下されてポインタの投射を終了した時、非起動状態である旨を示す情報を情報処理サーバ１０へ送信してもよい。
また、ポインティング装置２０は、加速度センサ等のセンサ群を備えてもよい。ポインティング装置２０は、当該センサ群を用いて、ポインティング装置２０の姿勢に関するデータをセンシングする。そして、ポインティング装置２０は、当該データを、情報処理サーバ１０がポインタの位置を特定するためのデータとして、情報処理サーバ１０へ送信する。
ここで、図２〜図４を参照しながら、本開示の実施形態に係るポインティング装置２０の操作例について説明する。図２は、本開示の実施形態に係る複数の処理対象の選択時におけるポインティング装置２０の操作例を示す説明図である。図３は、本開示の実施形態に係る軌跡の記録開始時又は終了時におけるポインティング装置２０の操作例を示す説明図である。図４は、本開示の実施形態に係る処理対象の選択時における軌跡の形状例を示す説明図である。
図２には、ユーザ９０がポインティング装置２０を用いて、照明７４、冷蔵庫７３、及びテレビ７２を選択する例が示されている。まず、ユーザ９０は、ポインティング装置２０のスイッチを押下し、ポインティング装置２０にポインタを任意の位置（例えば開始位置２３Ａ）に投射させる。
ポインタを開始位置２３Ａに投射後、ユーザ９０は、ポインタを移動して処理対象を選択する。この時、ユーザ９０は、軌跡２２のように、処理対象とする照明７４、冷蔵庫７３、及びテレビ７２にポインタが投射されるように、ポインティング装置２０を操作してポインタを移動する。処理対象の選択後、ユーザ９０は、ポインティング装置２０のスイッチを再度押下し、ポインタの投射を終了する。
なお、本開示の実施形態では、ユーザ９０によるポインティング装置２０のスイッチの操作をトリガーとして、軌跡の記録が開始又は終了される。例えば、図３の操作例１に示すように、ポインティング装置２０のスイッチが押下され、ポインタの投射が開始される開始位置２３Ａから軌跡の記録が開始される。そして、ポインティング装置２０のスイッチが再度押下され、ポインタの投射が終了される終了位置２３Ｂまでユーザ９０がポインタを移動した際の軌跡２２が記録される。
また、本開示の実施形態では、特定の軌跡が検出されたことをトリガーとして、軌跡の記録が開始されてもよい。例えば、図３の操作例２に示すように、三角形の軌跡が検出された位置を開始位置２４Ａとし、円形の軌跡が検出された位置を終了位置２４Ｂとしてもよい。
また、本開示の実施形態では、ユーザは、選択対象上でポインタを移動させて、選択対象上に特定の形状をした軌跡を形成することで、当該選択対象を処理対象として選択したことを示してもよい。例えば、テレビ７２を処理対象として選択したい時、図４の選択例１に示すように、ユーザは、軌跡が複数回屈曲した形状を示すようにポインタを移動することで、テレビ７２を処理対象として選択したことを示す。また、図４の選択例２に示すように、ユーザは、軌跡が円形の形状を示すようにポインタを移動することで、テレビ７２を処理対象として選択したことを示してもよい。
なお、ユーザ９０は、ポインティング装置２０の代わりに、自身の手指で選択対象を指し示したり、手指を選択対象に向けて上述の特定の形状を空中で描くように動かしたりすることで、選択対象を選択したことを示してもよい。
（３）環境評価装置３０
環境評価装置３０は、空間をセンシングして得られるセンシングデータを評価し、当該空間内の選択対象の認識等のいわゆる空間認識を行う機能を有する。例えば、環境評価装置３０は、空間における壁面までの距離、及び当該空間内の選択対象までの距離等をセンシングデータとして取得する。環境評価装置３０は、取得したセンシングデータを評価し、空間における選択対象の位置情報を取得する。そして、環境評価装置３０は、取得した選択対象の位置情報を情報処理サーバ１０に送信する。
環境評価装置３０は、例えば、デプスセンサ、カメラ、またはライダー（ＬＩＤＡＲ：Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）等の測距装置を用いて空間のセンシングを行う。なお、環境評価装置３０はがセンシングを行うために備える装置は、上述の装置に限定されず、任意の装置を備えてもよい。また、空間内における環境評価装置３０の設置場所、設置台数は特に限定されず、任意の場所に任意の台数の環境評価装置３０が設置されてもよい。
また、選択対象が近接無線通信（ＮＦＣ：Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）機能等の位置情報を特定可能な機能を有する場合、環境評価装置３０は、当該機能に基づく位置情報を取得してもよい。
また、選択対象が無体物である仮想オブジェクトである場合、環境評価装置３０は、仮想オブジェクトを投射している投射装置５０から仮想オブジェクトの位置情報を取得してもよい。また、環境評価装置３０は、仮想オブジェクトを投射している投射装置５０の状態に関する情報をセンシングデータとして取得し、当該センシングデータに基づき投射装置５０の位置、姿勢、及び投射方向等を推定し、推定結果に基づき仮想オブジェクトの位置を推定してもよい。また、仮想オブジェクトがテレビ７２等の位置が固定された情報処理機器に表示されている場合、環境評価装置３０は、当該情報処理機器の位置に基づき、仮想オブジェクトの位置情報を取得してもよい。
（４）センサ装置４０
センサ装置４０は、センシングデータを取得する機能を有する装置である。例えば、センサ装置４０は、ポインタの状態をセンシングデータとして取得し、当該センシングデータを情報処理サーバ１０に送信する。具体的に、センサ装置４０は、カメラによりポインタの状態を撮像し、撮像した画像（静止画像／動画像）を情報処理サーバ１０に送信する。また、センサ装置４０は、加速度センサによりポインタの加速度データを計測し、当該加速度データを情報処理サーバ１０に送信してもよい。
また、センサ装置４０は、ユーザジェスチャ等のユーザの動作をセンシングデータとして取得し、当該センシングデータを情報処理サーバ１０に送信する。具体的に、センサ装置４０は、デプスセンサ、またはカメラを用いて、ユーザの姿勢を示す姿勢情報を取得し、取得した姿勢情報を情報処理サーバ１０に送信する。
なお、センサ装置４０がセンシングを行うために備える装置は、上述の装置に限定されず、任意の装置を備えてもよい。また、空間内におけるセンサ装置４０の設置場所、設置台数は特に限定されず、任意の場所に任意の台数のセンサ装置４０が設置されてもよい。
（５）投射装置５０
投射装置５０は、コンテンツを投射する装置である。例えば、投射装置５０として、駆動型の光学投射装置が挙げられる。投射装置５０は、複数の処理対象に関する情報を投射し、ユーザに提示するために用いられる。
ここで、図５、図６を参照しながら、本開示の実施形態に係る投射装置５０による情報の提示例について説明する。図５は、本開示の実施形態に係る処理対象に関する情報の提示例を示す説明図である。例えば、ユーザ９０がポインティング装置２０により処理対象として卓上カレンダー７１とテレビ７２を選択したとする。この場合、投射装置５０は、図５に示すように処理対象情報５１として、卓上カレンダー７１に関する情報であるカレンダー情報５２と、テレビ７２に関する情報である番組情報５３を投射する。
図６は、本開示の実施形態に係る処理対象の選択状態の提示例を示す説明図である。例えば、ユーザ９０がポインティング装置２０により処理対象として冷蔵庫７３を選択した場合、投射装置５０は、冷蔵庫７３に対して視覚効果を投射するＶＦＢ（Ｖｉｓｕａｌ Ｆｅｅｄｂａｃｋ）を行ってもよい。例えば、投射装置５０は、図６に示すように冷蔵庫７３の外周部が発光して見えるようなコンテンツ５４を投射するＶＦＢを行う。これにより、ユーザは、処理対象の選択状態を視認することができる。
なお、処理対象に関する情報、及び処理対象の選択状態を提示する方法は、上述の例に限定されず、任意の方法が用いられてもよい。例えば、処理対象に関する情報、及び処理対象の選択状態は、投射装置５０ではなく、音声出力装置により音声で提示されてもよい。また、処理対象に関する情報、及び処理対象の選択状態は、触覚を提示可能な装置により触覚で提示されてもよい。
また、上述した処理対象に関する情報、及び処理対象の選択状態を提示する装置は、上述した投射装置５０等の光学投影装置に限定されず、任意の装置が用いられてもよい。例えば、アイウェア等の装着型のデバイスが用いられてもよい。
以上、図２〜図６を参照しながら、本開示の実施形態に係る情報処理システムの構成例について説明した。続いて、本開示の実施形態に係る情報処理装置の機能構成例について説明する。
＜１．３．情報処理装置の機能構成例＞
以下では、図７〜図２２を参照しながら、本開示の実施形態に係る情報処理サーバ１０の機能構成例について説明する。図７は、本開示の実施形態に係る情報処理装置の機能構成例を示すブロック図である。
図７に示すように、本開示の実施形態に係る情報処理サーバ１０は、通信部１３０、制御部１４０、及び記憶部１５０を備える。
（１）通信部１３０
通信部１３０は、外部装置と通信を行う機能を有する。例えば、通信部１３０は、外部装置との通信において、外部装置から受信した情報を制御部１４０へ出力する。具体的に、通信部１３０は、ポインティング装置２０から受信した起動状態であるか否かを示す情報を制御部１４０へ出力する。また、通信部１３０は、環境評価装置３０から受信した選択対象の位置情報を制御部１４０へ出力する。また、通信部１３０は、センサ装置４０から受信したセンシングデータを制御部１４０へ出力する。また、通信部１３０は、処理対象から受信した処理対象情報を制御部１４０へ出力する。
また、通信部１３０は、外部装置との通信において、制御部１４０から入力された情報を外部装置へ送信する。具体的に、通信部１３０は、制御部１４０から入力された表示処理に関する情報を投射装置５０へ送信する。また、通信部１３０は、制御部１４０から入力された処理対象の一括操作処理に関する情報を処理対象へ送信する。
（２）制御部１４０
制御部１４０は、情報処理サーバ１０の全体を制御する機能を有する。例えば、制御部１４０は、通信部１３０における通信処理を制御する。具体的に、制御部１４０は、制御部１４０で実行した処理に応じて出力される情報を通信部１３０へ出力し、当該情報を外部装置に対して通信部１３０に送信させる。
また、制御部１４０は、記憶部１５０における記憶処理を制御する。具体的に、制御部１４０は、制御部１４０で実行した処理に応じて出力される情報を記憶部１５０へ出力し、当該情報を記憶部１５０に記憶させる。
また、制御部１４０は、一括操作処理を制御する機能を有する。例えば、制御部１４０は、一括操作処理の制御に必要な情報を検出する。具体的に、制御部１４０は、通信部１３０から入力されるセンシングデータに基づき、ポインタを検出し、ポインタの位置情報を取得する。また、制御部１４０は、取得したポインタの位置情報に基づき、ポインタが移動した際の軌跡を検出する。また、制御部１４０は、通信部１３０から入力される選択対象の位置情報と検出した軌跡に基づき、処理対象と処理方針を検出する。そして、制御部１４０は、検出した処理対象と処理方針に基づき、実行する一括操作処理を決定し、実行する。
なお、制御部１４０は、一括操作処理に関する要求を複数の処理対象の各々に対して、通信部１３０による通信を介して送信する。
上述の機能を実現するために、本開示の実施形態に係る制御部１４０は、図７に示すように、検出制御部１４２、記憶制御部１４４、選択制御部１４６、及び操作処理制御部１４８を備える。
（検出制御部１４２）
検出制御部１４２は、ポインタの位置情報を検出する機能を有する。例えば、検出制御部１４２は、通信部１３０から入力されるセンサ装置４０がセンシングしたセンシングデータに基づき、ポインタを検出する。例えば、カメラが撮像した画像（静止画像／動画像）がセンシングデータである場合、検出制御部１４２は、当該画像にポインタが写っているか否かを確認する。ポインタが写っている場合、検出制御部１４２は、ポインタが写っている位置情報を取得する。
また、ポインティング装置２０が備える加速度センサ等のセンサ群がセンシングしたポインティング装置２０の姿勢に関するデータがセンシングデータである場合、検出制御部１４２は、当該センサデータに基づき、ポインティング装置２０の姿勢を推定する。そして、検出制御部１４２は、推定した姿勢に基づき、ポインティングしている方向を推定し、ポインティングしている位置を特定してもよい。
また、検出制御部１４２は、連続的に検出されるポインタの位置情報に基づく軌跡を検出し、当該軌跡が示す形状に基づき、ユーザが入力した処理方針を検出する機能を有する。検出制御部１４２は、予め記憶部１５０に登録された軌跡の形状と、ポインタの位置情報に基づき検出した軌跡が示す形状とを比較する。比較した結果、両軌跡の形状が一致する場合、検出制御部１４２は、予め記憶部１５０に登録された軌跡の形状と対応付けて登録されている処理を実行する。
また、検出制御部１４２は、連続的に検出されるポインタの位置情報が示す形状に基づき、一括操作処理の対象範囲を設定する。例えば、軌跡の検出を開始することを示す形状が検出された時、検出制御部１４２は、その時のポインタの位置情報の位置を、一括操作処理の対象範囲の開始位置とする。また、軌跡の検出を終了することを示す形状が検出された時、検出制御部１４２は、その時のポインタの位置情報の位置を、一括操作処理の対象範囲の終了位置とする。
なお、検出制御部１４２は、ユーザ９０が一筆書きをしている最中のポインタの位置をロストする（即ち、ポインタの位置の検出に失敗する）可能性がある。ポインタの位置をロストしてから所定の時間が経過するまでにポインタを再検出した場合、検出制御部１４２は、再検出したポインタに対応する一筆書きがロスト前の一筆書きと同一であると判定してもよい。また、所定の時間に関係なく検出されたポインタに対応する一筆書きの軌跡が、ロスト前の一筆書きの軌跡の延長線上にある場合、検出制御部１４２は、再検出したポインタに対応する一筆書きがロスト前の一筆書きと同一であると判定してもよい。
また、検出制御部１４２は、ユーザ９０がポインティングしている位置をユーザ９０の動作に基づき検出する機能を有してもよい。例えば、検出制御部１４２は、カメラ、またはデプスセンサ等がセンシングした情報に基づき、ユーザ９０の手指の動きを認識する。次いで、検出制御部１４２は、認識したユーザ９０の手指の動きを解析することで、手指の位置、及び姿勢等を検出する。そして、検出制御部１４２は、検出したユーザ９０の手指の位置、及び姿勢等に基づき、ユーザ９０が手指により指し示している位置をポインティング位置として検出する。
（記憶制御部１４４）
記憶制御部１４４は、記憶部１５０に記憶させる情報に関する処理を制御する機能を有する。例えば、記憶制御部１４４は、記憶部１５０に軌跡に関する情報を記憶させる軌跡記憶処理と、記憶部１５０に空間配置に関する情報を記憶させる空間配置記憶処理を制御する。
・軌跡記憶処理の制御
軌跡記憶処理は、検出制御部１４２が検出するポインタの位置情報を記憶部１５０が記憶する処理である。記憶制御部１４４は、記憶部１５０がポインタの位置情報の記憶を開始するタイミング、及び終了するタイミングを制御する。
例えば、連続的に検出されるポインタの位置情報が示す形状が、軌跡の検出を開始することを示す形状であることが検出された時、記憶制御部１４４は、その時のポインタの位置情報の位置から、記憶部１５０に軌跡の記憶を開始させる。また、連続的に取得されるポインタの位置情報が示す形状が、軌跡の検出を終了することを示す形状であることが検出された時、記憶制御部１４４は、その時のポインタの位置情報の位置で、記憶部１５０に軌跡の記憶を終了させる。
また、連続的に取得されるポインタの位置情報が示す形状が、処理対象を検出することを示す形状であることが検出された時、記憶制御部１４４は、その時のポインタの位置情報の位置から、記憶部１５０に軌跡の記憶を開始させる。
ここで、図８を参照しながら、記憶制御部１４４が記憶部１５０に記憶させるポインタの位置情報の例について説明する。図８は、本開示の実施形態に係る記憶部が記憶するデータ例を示す説明図である。
図８のデータ例１に示すように、ポインタが平面Ａの座標（ｘ１、ｙ１）に位置する場合、記憶制御部１４４は、座標（ｘ１、ｙ１）を記憶部１５０に記憶させる。また、データ例２に示すように、ポインタが原点に対して座標（ｘ１、ｙ１、ｚ１）に位置する場合、記憶制御部１４４は、座標（ｘ１、ｙ１、ｚ１）を記憶部１５０に記憶させる。
また、データ例３に示すように、ポインティング装置２０が座標（ｘ１、ｙ１、ｚ１）に位置し、ポインタが座標（ｘ２、ｙ２、ｚ２）に位置しているとする。この場合、記憶制御部１４４は、座標（ｘ１、ｙ１、ｚ１）と座標（ｘ２、ｙ２、ｚ２）とを結ぶベクトルデータを記憶部１５０に記憶させる。
上述のように、記憶制御部１４４が記憶部１５０に記憶させるポインタの位置情報は、２次元座標、３次元座標、またはベクトルデータのいずれであってもよい。
また、記憶制御部１４４は、軌跡記憶処理として、軌跡の形状と対応する処理を予め記憶部１５０に記憶させてもよい。例えば、記憶制御部１４４は、円形を示す軌跡の形状が処理対象の選択を示す形状であることを記憶部１５０に記憶させる。また、三角形を示す軌跡の形状が軌跡の記録の終了を示す形状であることを記憶部１５０に記憶させる。また、四角形を示す軌跡の形状が処理対象の情報を表示させるという処理方針を示す形状であることを記憶部１５０に記憶させる。なお、軌跡の形状と対応する処理の組み合わせは、上述の例に限定されず、任意の組み合わせであってよい。ただし、記憶制御部１４４は、ユーザが処理対象を選択したことを示す軌跡の形状と、処理方針を示す軌跡の形状とは異なるように記憶部１５０の記憶処理を制御する。
・空間配置記憶処理の制御
空間配置記憶処理は、空間に配置されている選択対象の名称、及び位置情報を記憶部１５０が記憶する処理である。記憶制御部１４４は、通信部１３０から入力される環境評価装置３０が取得した選択対象の位置情報に基づき、空間に配置されている選択対象の名称、及び位置情報を取得する。例えば、選択対象の位置情報として冷蔵庫の位置情報が取得された場合、記憶制御部１４４は、選択対象名として「冷蔵庫」を記憶部１５０に記憶させる。また、記憶制御部１４４は、選択対象名の「冷蔵庫」と対応付けて冷蔵庫の位置情報を記憶部１５０に記憶させる。
選択対象の名称、及び位置情報がユーザにより予め記憶部１５０に登録されている場合、記憶制御部１４４は、環境評価装置３０が取得した選択対象の位置情報に基づく空間に配置されている選択対象の名称、及び位置情報の取得を行わなくてもよい。
また、記憶部１５０に記憶させる選択対象の情報の中にユーザが選択し得ない物体等の情報が含まれている場合、記憶制御部１４４は、当該物体等を選択対象から除外してもよい。
（選択制御部１４６）
選択制御部１４６は、処理対象を検出する機能を有する。例えば、選択制御部１４６は、ポインティング装置２０により提示されるポインタの位置情報の連続的な１つの軌跡に基づき、連続的に選択された複数の処理対象を検出する。また、選択制御部１４６は、ユーザによる指さし、またはユーザの視線の移動により検出される連続的な１つの軌跡に基づき、連続的に選択された複数の処理対象を検出してもよい。以下では、図９〜図１６を参照しながら、軌跡に基づき選択制御部１４６が選択対象から処理対象を選択する例について説明する。
・軌跡の形状に基づく選択判定
図９は、本開示の実施形態に係る選択対象上における軌跡の形状に基づく選択判定の例を示す説明図である。図９に示す例では、ユーザ９０がポインティング装置２０を操作し、開始位置２３Ａから終了位置２３Ｂまで軌跡２２のようにポインタを移動して、卓上カレンダー７１、テレビ７２、及び冷蔵庫７３を処理対象として選択する例を示している。
選択制御部１４６は、処理対象を検出することを示す軌跡の形状の少なくとも一部が選択対象上に形成されているか否かに基づき、選択対象が処理対象として選択されたか否かを判定する。例えば、処理対象を検出することを示す軌跡の形状が円形の形状であるとする。図９に示す例では、ユーザ９０は、卓上カレンダー７１、テレビ７２、及び冷蔵庫７３を選択する際に、軌跡２２の形状が円形となるようにポインタを移動しており、処理対象を検出することを示す軌跡の形状の少なくとも一部が各選択対象上に形成されている。よって、選択制御部１４６は、卓上カレンダー７１、テレビ７２、及び冷蔵庫７３が処理対象として選択されたと判定する。
・ポインタの滞留時間に基づく選択判定
図１０に示すように、選択制御部１４６は、ポインタが選択対象上に滞留した時間に基づき、選択対象が処理対象として選択されたか否かを判定してもよい。図１０は、本開示の実施形態に係る選択対象上におけるポインタの滞留時間に基づく選択判定の例を示す説明図である。図１０に示す例では、ユーザ９０がポインティング装置２０を操作し、開始位置２３Ａから終了位置２３Ｂまで軌跡２２のようにポインタを移動して、卓上カレンダー７１、及び冷蔵庫７３を処理対象として選択する例を示している。
例えば、選択対象上でポインタが所定の時間以上滞留した場合、選択制御部１４６は、当該選択対象が処理対象として選択されたと判定する。具体的に、所定の時間が２秒に設定されているとする。図１０に示す例では、ポインタが卓上カレンダー７１上では４秒、テレビ７２上では１秒、冷蔵庫７３上では２秒だけ滞留している。よって選択制御部１４６は、卓上カレンダー７１と冷蔵庫７３が処理対象として選択されたと判定する。
・軌跡の屈曲に基づく選択判定
図１１に示すように、選択制御部１４６は、ポインタの軌跡が選択対象上で屈曲したか否かに基づき、選択対象が処理対象として選択されたか否かを判定してもよい。図１１は、本開示の実施形態に係る選択対象上におけるポインタの軌跡の屈曲に基づく選択判定の例を示す説明図である。図１１に示す例では、ユーザ９０がポインティング装置２０を操作し、開始位置２３Ａから終了位置２３Ｂまで軌跡２２のようにポインタを移動して、冷蔵庫７３を処理対象として選択する例を示している。
例えば、選択制御部１４６は、選択対象上のポインタの軌跡が所定の角度以内で屈曲している選択対象が処理対象として選択されたと判定する。具体的に、所定の角度が９０度に設定されているとする。図１１に示す例では、ポインタの軌跡２２が卓上カレンダー７１、及びテレビ７２上ではほぼ直線であるが、冷蔵庫７３上では９０度以内の角度で屈曲している。よって選択制御部１４６は、冷蔵庫７３が処理対象として選択されたと判定する。
・ポインタの移動速度に基づく選択判定
図１２に示すように、選択制御部１４６は、選択対象上におけるポインタの移動速度の加減速に基づき、選択対象が処理対象として選択されたか否かを判定してもよい。図１２は、本開示の実施形態に係る選択対象上におけるポインタの移動速度の加減速に基づく選択判定の例を示す説明図である。図１２に示す例では、ユーザ９０がポインティング装置２０を操作し、開始位置２３Ａから終了位置２３Ｂまで軌跡２２のようにポインタを移動して、卓上カレンダー７１、及び冷蔵庫７３を処理対象として選択する例を示している。
なお、図１２に示す軌跡２２の付近に示されている「＞」の記号は、ポインタの移動速度の加減速を示している。「＞」は４つで１まとまりであり、４つの「＞」の間隔が狭くなるとポインタの移動速度が加速したことを示し、４つの「＞」の間隔が広くなるとポインタの移動速度が減速したことを示している。
例えば、選択対象上のポインタの移動速度が加速した場合、選択制御部１４６は、当該選択対象が処理対象として選択されたと判定する。図１２に示す例では、ポインタの移動速度が、卓上カレンダー７１上で加速し、テレビ７２上で減速し、冷蔵庫７３上で加速している。よって、選択制御部１４６は、卓上カレンダー７１と冷蔵庫７３が処理対象として選択されたと判定する。
・軌跡の形状の重心位置に基づく選択判定
図１３に示すように、軌跡２２の形状と選択対象が部分的に重複する場合、選択制御部１４６は、軌跡の形状の重心が選択対象上に存在するか否かに基づき、選択対象が処理対象として選択されたか否かを判定してもよい。図１３は、本開示の実施形態に係る選択対象上の軌跡の形状の重心位置に基づく選択判定の例を示す説明図である。図１３に示す例では、ユーザ９０がポインティング装置２０を操作し、開始位置２３Ａから終了位置２３Ｂまで軌跡２２のようにポインタを移動して、卓上カレンダー７１、及びテレビ７２を処理対象として選択する例を示している。
例えば、選択対象を処理対象として選択したことを示す軌跡の形状の重心が選択対象上に存在する場合、選択制御部１４６は、当該選択対象が処理対象として選択されたと判定する。図１３に示す例では、選択対象を処理対象として選択したことを示す軌跡の形状の重心２５Ａが卓上カレンダー７１上に存在し、重心２５Ｂがテレビ７２上に存在し、重心２５Ｃが冷蔵庫７３上に存在しない。よって、選択制御部１４６は、卓上カレンダー７１と冷蔵庫７３が処理対象として選択されたと判定する。
上述のように、軌跡の形状の重心位置に基づく選択判定を行うことで、ユーザ９０は、複数の選択対象が近接している際の処理対象の選択を容易に行うことができる。
・軌跡の形状の面積に基づく選択判定
図１４に示すように、軌跡の形状と選択対象が部分的に重複する場合、選択制御部１４６は、重複している部分の面積に基づき、選択対象が処理対象として選択されたか否かを判定してもよい。図１４は、本開示の実施形態に係る選択対象上の軌跡の形状の面積に基づく選択判定の例を示す説明図である。図１４に示す例では、ユーザ９０がポインティング装置２０を操作し、開始位置２３Ａから終了位置２３Ｂまで軌跡２２のようにポインタを移動して、卓上カレンダー７１、及びテレビ７２を処理対象として選択する例を示している。
例えば、選択対象を処理対象として選択したことを示す軌跡の形状と、選択対象とが重複する部分の面積が所定の面積以上である場合、選択制御部１４６は、当該選択対象が処理対象として選択されたと判定する。具体的に、所定の面積が軌跡の形状の４分の１以上と設定されているとする。図１４に示す例では、選択対象を処理対象として選択したことを示す軌跡の形状と選択対象とが重複する部分の面積が、卓上カレンダー７１上では４分の１以上、テレビ７２上では４分の１以上、冷蔵庫７３上では４分の１未満である。よって、選択制御部１４６は、卓上カレンダー７１とテレビ７２が処理対象として選択されたと判定する。
上述のように、軌跡の形状の面積に基づく選択判定を行うことで、ユーザ９０は、複数の選択対象が近接している際の処理対象の選択を容易に行うことができる。
・選択対象の設定に基づく選択判定
図１５に示すように、ポインティング装置２０の出力部とポインタとの間に複数の選択対象が存在する場合、選択制御部１４６は、複数の選択対象の内、処理方針に基づき実行される処理が設定されていない選択対象を複数の選択対象から除外してもよい。図１５は、本開示の実施形態に係る非選択対象が選択された際の処理の例を示す説明図である。図１５に示す例では、ユーザ９０がポインティング装置２０を操作し、ポインタをテレビ７２に投射した際に、ポインティング装置２０の出力部とテレビ７２の間に他の選択対象であるマグカップ７７が存在する例を示している。
例えば、マグカップ７７は、提示する情報を特に有していないため、処理方針に基づき情報を提示することができない。また、マグカップ７７は、情報処理機器でもないため、処理方針に基づき動作することもできない。そのため、ユーザ９０は、マグカップ７７を選択対象として登録する際に、対象名のみを登録し、処理方針に基づき実行される処理を登録しない。これにより、選択制御部１４６は、ポインティング装置２０の出力部とテレビ７２の間に他の選択対象であるマグカップ７７が存在した場合にマグカップ７７を選択対象から除外する。そして、選択制御部１４６は、テレビ７２を選択対象として絞り込むことができる。
・ユーザの視線に基づく選択判定
図１６に示すように、ポインティング装置２０の出力部の位置（操作物体の位置）とポインタの位置情報が示す位置とを結ぶ直線上に選択対象が複数存在しているとする。この場合、選択制御部１４６は、ユーザの視線に基づき、複数の選択対象から１つの処理対象を選択してもよい。図１６は、本開示の実施形態に係るユーザの視線に基づく選択判定の例を示す説明図である。図１６の左側に示す図では、テレビ７２の手前にマグカップ７７が存在する場合に、選択対象を処理対象として選択したことを示す軌跡がテレビ７２とマグカップ７７の両方にまたがる例を示している。図１６の右側の図では、選択対象を処理対象として選択したことを示す軌跡の形状が複数の選択対象にまたがる場合に、１つの選択対象上に軌跡を再配置する例を示している。
例えば、ユーザ９０が複数の選択対象の内の１つの選択対象を見ていることをユーザの視線に基づき判定できる場合、選択制御部１４６は、当該１つの選択対象が処理対象として選択されたと判定する。図１６の左側の図に示す例では、選択対象を処理対象として選択したことを示す軌跡の形状が分割されて、テレビ７２とマグカップ７７上にそれぞれ軌跡２６Ａ、軌跡２６Ｂとして存在する。即ち、複数の選択対象としてテレビ７２とマグカップ７７が選択されている。しかし、選択制御部１４６は、ユーザ９０の視線９１に基づき、ユーザ９０がテレビ７２を見ていると判定できる。よって、選択制御部１４６は、テレビ７２が処理対象として選択されたと判定する。
また、ポインティング装置２０の出力部の位置（操作物体の位置）とポインタの位置情報が示す位置とを結ぶ直線上に選択対象が複数存在し、軌跡が複数の選択対象と重複しているとする。この場合、選択制御部１４６は、複数の選択対象から選択された１つの処理対象に、軌跡を再配置してもよい。
例えば、選択制御部１４６は、図１６の左側の図を用いて説明したように、ユーザ９０の視線に基づき、複数の選択対象から１つの処理対象を選択し、当該処理対象上に軌跡を再配置する。具体的に、選択制御部１４６は、ユーザ９０の視線９１に基づき、テレビ７２が処理対象として選択されたと判定する。そして、選択制御部１４６は、軌跡２６Ａと軌跡２６Ｂを合成し、図１６の右側の図に示す軌跡２３Ｃを生成し、テレビ７２上に軌跡２３Ｃを配置する。
・その他の選択判定
ユーザがポインティング装置２０を用いず、指さしや視線の移動等の動作により処理対象を選択する場合、選択制御部１４６は、当該動作をカメラが撮像した画像（静止画像／動画像）に基づき検出し、処理対象として選択された選択対象を判定してもよい。
また、ユーザ９０が所定の数の選択対象を選択した場合、選択制御部１４６は、ユーザ９０がそれ以上選択対象を選択できないように制御してもよい。例えば、選択制御部１４６は、ポインタの付近に警告を表示するようにポインティング装置２０を制御してもよい。また、選択制御部１４６は、ポインタの移動速度を遅くする等、ポインタの応答性が悪くなるようにポインティング装置２０を制御してもよい。
また、ユーザ９０がポインタを大きく移動させることで、選択対象を処理対象として選択したことを示す１つの軌跡の形状内に複数の選択対象が含まれる場合、選択制御部１４６は、一旦、当該複数の選択対象の全てが処理対象として選択されたと判定してもよい。そして、後に、ユーザ９０が手元で処理対象を取捨選択できるように、操作処理制御部１４８が表示処理を制御してもよい。
また、選択制御部１４６は、ユーザ９０の音声による選択指示に基づき、選択対象から選択された処理対象を判定してもよい。例えば、選択制御部１４６は、ユーザ９０が「これ」、「それ」などの指示語などを発話した際に、発話時のポインタの位置により近い選択対象が処理対象として選択されたと判定する。また、また、選択制御部１４６は、ユーザ９０が処理対象の選択をキャンセルする発話をした際には、処理対象の選択をキャンセルしてもよい。
（操作処理制御部１４８）
操作処理制御部１４８は、操作処理を制御する機能を有する。例えば、操作処理制御部１４８は、軌跡の記録の開始前又は終了後に検出される処理方針情報に基づき、複数の処理対象に対して一括操作処理を実行する。具体的に、検出される処理方針が複数の処理対象の各々の処理対象情報を表示させる表示処理を実行する旨を示す場合、操作処理制御部１４８は、処理対象情報を取得し、表示処理を一括操作処理として実行する。また、検出される処理方針が複数の処理対象を動作させる動作処理を実行する旨を示す場合、操作処理制御部１４８は、動作処理を一括操作処理として実行する。
・処理対象情報取得処理
処理方針が表示処理の実行である場合、操作処理制御部１４８は、処理対象の各々に関する処理対象情報を取得する。処理対象情報の取得先は、処理対象が通信可能な情報処理機器であるか否かに応じて異なる。例えば、処理対象が通信可能な情報処理機器である場合、操作処理制御部１４８は、通信部１３０に処理対象と通信を行わせ、通信部１３０が処理対象から受信した情報を処理対象情報として取得する。具体的に、処理対象が通信可能なテレビ７２である場合、操作処理制御部１４８は、テレビ７２と通信部１３０との通信により取得される番組情報を処理対象情報として取得する。一方、処理対象が通信できない情報処理機器である場合、操作処理制御部１４８は、処理対象以外から処理対象情報を取得する。また、処理対象が情報処理機器でない物体である場合も同様に、操作処理制御部１４８は、処理対象以外から処理対象情報を取得する。具体的に、処理対象が通信できないテレビ７２である場合、操作処理制御部１４８は、例えば、通信部１３０に外部のサーバ装置と通信を行わせ、通信部１３０が外部のサーバ装置から受信したテレビ７２の番組情報を処理対象情報として取得する。また、処理対象が卓上カレンダー７１のように情報処理機器でない物体である場合、操作処理制御部１４８は、例えば、記憶部１５０からカレンダー情報を処理対象情報として取得する。そして、操作処理制御部１４８は、ユーザが指定した位置へ、取得した複数の処理対象情報を一括で投射装置５０に投射させる。なお、操作処理制御部１４８が処理対象以外から処理対象情報を取得する場合の処理対象情報の取得先は、上述の例に限定されない。続いて、図１７〜図２１を参照しながら、操作処理制御部１４８が実行する表示処理の例について説明する。
・軌跡の形状に基づく処理対象情報のレイアウト構成
図１７は、本開示の実施形態に係るユーザの指示に基づく指定された位置への情報の表示例を示す説明図である。図１７に示す例では、ユーザ９０がポインティング装置２０を操作し、開始位置２３Ａから軌跡２２のようにポインタを移動して、卓上カレンダー７１、テレビ７２、及び冷蔵庫７３を処理対象として選択している。そして、処理対象として選択された卓上カレンダー７１に関する情報であるカレンダー情報５２、テレビ７２に関する情報である番組映像５６、及び冷蔵庫７３に関する情報である庫内画像５５が処理対象情報５１として投射される例を示している。
操作処理制御部１４８は、一括操作処理として表示処理を実行する際に、例えば、処理対象を検出することを示す軌跡の形状に基づき、表示する処理対象情報５１のレイアウトを変更する。具体的に、操作処理制御部１４８は、処理対象上の軌跡２２の屈曲回数が多い順に、各々の処理対象情報が大きく表示されるように、処理対象情報５１内のレイアウトを構成する。図１７に示す例では、ユーザ９０が卓上カレンダー７１、テレビ７２、及び冷蔵庫７３を選択する際の軌跡２２の形状は、卓上カレンダー７１、冷蔵庫７３、テレビ７２の順で、軌跡２２が屈曲している回数が多くなっている。よって、操作処理制御部１４８は、図１７に示すように、カレンダー情報５２を１番大きく表示し、庫内画像５５を２番目に大きく表示し、番組映像５６を１番小さく表示する。
上述のように、操作処理制御部１４８は、処理対象の選択状況に基づき、処理対象情報を提示する際のレイアウトを自動生成することができる。
・処理対象情報に応じた位置への情報表示
図１８に示すように、ユーザが複数の処理対象情報を表示する位置を指定していない場合、操作処理制御部１４８は、複数の処理対象情報の各々の内容に基づき、複数の処理対象情報の各々を表示する場所を決定する。そして、操作処理制御部１４８は、決定した各々の場所へ対応する処理対象情報を投射装置５０に投射させる。図１８は、本開示の実施形態に係る処理対象に応じた位置への情報の表示例を示す説明図である。図１８に示す例では、ユーザ９０がポインティング装置２０を操作し、開始位置２３Ａから軌跡２２のようにポインタを移動して、卓上カレンダー７１、テレビ７２、及び冷蔵庫７３を処理対象として選択している。そして、処理対象として選択された卓上カレンダー７１に関する情報であるカレンダー情報５２と冷蔵庫７３に関する情報である庫内画像５５が処理対象情報５１Ａとして空間の壁面に投射される。また、テレビ７２に関する情報であるリモートコントローラ画像５７が処理対象情報５１Ｂとしてテーブル７５上に投射される例を示している。なお、ユーザ９０は、リモートコントローラ画像５７のボタンに触れることで、テレビ７２を操作することができる。
操作処理制御部１４８は、一括操作処理として表示処理を実行する際に、例えば、取得した処理対象情報の内容に基づき、処理対象情報ごとに表示する場所を決定する。例えば、カレンダー情報５２、及び庫内画像５５は、より大きく表示された方が視認性がよい。そのため、操作処理制御部１４８は、カレンダー情報５２、及び庫内画像５５を処理対象情報５１Ａとして空間の壁面に大きく表示させる。また、リモートコントローラ画像５７は、ユーザ９０の手元により近い方がユーザにとっての利便性が向上する。そのため、操作処理制御部１４８は、リモートコントローラ画像５７を処理対象情報５１Ｂとしてユーザ９０に近いテーブル７５上に表示させる。
・ユーザによる位置指定がない場合の情報表示
図１９は、本開示の実施形態に係る位置指定がない場合の情報の表示例を示す説明図である。図１９に示す例では、ユーザ９０がポインティング装置２０を操作し、開始位置２３Ａから軌跡２２のようにポインタを移動して、卓上カレンダー７１、テレビ７２、及び冷蔵庫７３を処理対象として選択している。そして、処理対象として選択された卓上カレンダー７１、テレビ７２、冷蔵庫７３に関する情報が処理対象情報５１として空間の壁面に投射される。
ユーザによる位置指定がない場合、操作処理制御部１４８は、例えば、処理対象情報の内容、及びユーザ９０の位置等に基づき、より適した位置に処理対象情報を表示してもよい。図１９に示す例の場合、処理対象情報５１には文字を含む卓上カレンダー７１に関する情報が含まれるため、より大きく表示することができる壁面に表示された方が視認性がよい。また、ユーザ９０により近い位置に表示された方が、ユーザ９０は、処理対象情報５１を容易に視認できる。よって、操作処理制御部１４８は、図１９に示すユーザ９０により近い壁面に処理対象情報５１を表示させる。
・ユーザによる位置指定がなく、表示位置を推定できない場合の情報表示
図２０は、本開示の実施形態に係る位置指定がなく表示位置の推定ができない場合の情報の表示例を示す説明図である。図２０の上側に示す図は、ユーザ９０が処理対象選択後に情報の表示位置を指定するように指示されている図である。図２０の下側に示す図は、ユーザ９０が情報の表示場所を指定している図である。
図２０の上側に示す図では、ユーザ９０がポインティング装置２０を操作し、開始位置２３Ａから終了位置２３Ｂまで軌跡２２のようにポインタを移動して、卓上カレンダー７１、テレビ７２、及び冷蔵庫７３を処理対象として選択している。ただし、処理対象情報を表示させる位置指定をしていないものとする。
上述のように、ユーザによる位置指定がない場合、操作処理制御部１４８は、例えば、処理対象情報の内容、及びユーザ９０の位置等に基づき、より適した位置に処理対象情報を表示してもよい。ただし、適切な位置の推定ができなかった場合、操作処理制御部１４８は、スピーカ８０を用いて音声により、処理対象情報を表示する位置を指定する旨の指示をユーザ９０に対して行ってもよい。例えば、操作処理制御部１４８は、図２０の上側の図に示すように、「情報を表示する場所を指定してください」とスピーカ８０に音声出力をさせる。
操作処理制御部１４８による指示を受けたユーザ９０は、図２０の下側の図に示すように、「ここ。」と発話しながら、ポインティング装置２０で処理対象情報を表示させる位置をテーブル７５の上の位置２５に指定する。そして、操作処理制御部１４８は、ユーザ９０による位置指定を検出すると、検出した位置２５に処理対象情報を表示させる。
・重みによる処理対象情報の内容の変更
図２１は、本開示の実施形態に係る重みに基づく情報の提示例を示す説明図である。１つの処理対象が複数の処理対象情報を有する場合、操作処理制御部１４８は、複数の処理対象情報の各々に対して重みを設定し、処理対象上で検出される軌跡の状態に対応する重みが設定された処理対象情報を表示させてもよい。例えば、操作処理制御部１４８は、複数の処理対象情報の各々に対して重みを設定し、操作処理制御部１４８は、ポインタが処理対象上を移動した時間に応じた重みが設定された処理対象情報を投射装置５０に投射させる。
例えば、テレビが処理対象情報としてリモートコントローラ画像５３Ａと番組情報５３Ｂを有する場合、操作処理制御部１４８は、リモートコントローラ画像５３Ａには重み１を設定し、番組情報５３Ｂを設定する。また、操作処理制御部１４８は、ポインタが処理対象上を移動した時間が所定の時間未満であれば重み１の処理対象情報、ポインタが処理対象上を移動した時間が所定の時間以上であれば重み２の処理対象情報を選択するという条件を設定する。
図１９の重み例１では、処理対象であるテレビ７２上をポインタが移動した際の時間が所定の時間未満であるとする。この場合、上述の重みと条件の設定例に従うと、表示例１のように処理対象情報としてリモートコントローラ画像５３Ａが表示される。また、図１９の重み例２では、処理対象であるテレビ７２上をポインタが移動した際の時間が所定の時間以上であるとする。この場合、上述の重みと条件の設定例に従うと、表示例２のように処理対象情報として番組情報５３Ｂが表示される。
・処理対象が仮想オブジェクトである場合の情報提示
投射装置５０が投射している仮想オブジェクトを処理対象としてユーザ９０が選択した場合、操作処理制御部１４８は、例えば、仮想オブジェクトに関する情報をさらに仮想オブジェクトとして投射装置５０に投射させてもよい。
・実オブジェクトの動作処理
以下では、図２２を参照しながら、操作処理制御部１４８が実行する動作処理の例について説明する。図２２は、本開示の実施形態に係る動作処理の例を示す説明図である。図２２の上側に示す図は、ユーザ９０が処理対象を選択していることを示す図である。図２２の下側に示す図は、ユーザ９０が動作処理を指定していることを示す図である。
一括操作処理が複数の処理対象の各々に同一の動作をさせる動作処理である場合、操作処理制御部１４８は、ユーザが指定した動作処理を複数の処理対象の各々に一括で実行させる。例えば、図２２の上側に示す図では、ユーザ９０がポインティング装置２０を操作し、開始位置２３Ａから終了位置２３Ｂまで軌跡２２のようにポインタを移動して、テレビ７２、及び照明７４を処理対象として選択している。処理対象の選択後、図２２の下側の図に示すように、ユーザ９０は、「つけて。」と発話することで動作処理に関する指示を行う。当該指示を検出した操作処理制御部１４８は、指示に従い電源をオンにする動作処理を処理対象であるテレビ７２と照明７４に対して一括で実行させる。
（３）記憶部１５０
記憶部１５０は、情報処理装置における処理にて取得されるデータを記憶する機能を有する。例えば、記憶部１５０は、記憶制御部１４４が出力するポインタの位置情報、選択対象の名称、及び選択対象の位置情報を記憶する。なお、記憶部１５０が記憶する情報は、上述の軌跡データに限定されない。例えば、記憶部１５０は、処理対象の処理対象情報を記憶してもよい。また、記憶部１５０は、制御部１４０の処理において出力されるデータ、各種アプリケーション等のプログラム、及びデータ等を記憶してもよい。
以上、図６〜図２２を参照しながら、本開示の実施形態に係る情報処理サーバ１０の機能構成例について説明した。続いて、本開示の実施形態に係る動作例について説明する。
＜１．４．動作例＞
（１）情報処理システムの動作例
以下では、図２３を参照しながら、本開示の実施形態に係る情報処理システムの動作例について説明する。図２３は、本開示の実施形態に係る情報処理システムの動作例を示すシーケンス図である。なお、以下では、ユーザがポインティング装置２０を用いて、冷蔵庫７３、テレビ７２、及び卓上カレンダー７１の順に処理対象を選択した際の表示処理について説明する。また、冷蔵庫７３、及びテレビ７２は、通信可能な情報処理機器である物体であり、卓上カレンダー７１は、情報処理機器でない物体であるとする。
図２３に示すように、まず、ポインティング装置２０は、ユーザの操作等をトリガーとして起動すると、起動した旨を情報処理サーバ１０に通知する（ステップＳ１０００）。ポインティング装置２０が起動した旨の通知を受けると、情報処理サーバ１０は、ポインタの軌跡を記録可能な状態となる（ステップＳ１００２）。センサ装置４０は、空間をセンシングして取得するセンシングデータを情報処理サーバ１０へ送信する（ステップＳ１００４）。
情報処理サーバ１０は、センシングデータに基づき、ポインタを検出すると、ポインタの軌跡の記録処理、及び処理対象の検出処理を開始する（ステップＳ１００６）。
検出処理にて冷蔵庫７３が検出されたため、情報処理サーバ１０は、冷蔵庫７３が通信可能な情報処理機器であると判定した上で、冷蔵庫７３が処理対象として選択された旨を冷蔵庫７３に通知する（ステップＳ１００８）。処理対象として選択された旨の通知を受けると、冷蔵庫７３は、処理対象に関する情報として冷蔵庫内の画像を情報処理サーバ１０へ送信する（ステップＳ１０１０）。情報処理サーバ１０は、冷蔵庫内の画像を冷蔵庫７３から受信すると、冷蔵庫７３に対してＶＦＢ出力を行う指示を投射装置５０へ送信する（ステップＳ１０１２）。
続いて、検出処理にてテレビ７２が検出されたため、情報処理サーバ１０は、テレビ７２が通信可能な情報処理機器であると判定した上で、テレビ７２が処理対象として選択された旨をテレビ７２に通知する（ステップＳ１０１４）。処理対象として選択された旨の通知を受けると、テレビ７２は、処理対象に関する情報として番組情報を情報処理サーバ１０へ送信する（ステップＳ１０１６）。情報処理サーバ１０は、番組情報をテレビ７２から受信すると、テレビ７２に対してＶＦＢ出力を行う指示を投射装置５０へ送信する（ステップＳ１０１８）。
続いて、検出処理にて卓上カレンダー７１が検出されたため、情報処理サーバ１０は、卓上カレンダー７１が情報処理機器でない物体であると判定した上で、卓上カレンダー７１に関する情報を記憶部１５０から取得する（ステップＳ１０１９）。
情報処理サーバ１０は、センシングデータに基づき、ポインタの軌跡の記録処理を終了する旨を検出すると、ポインタの軌跡の記録処理を終了する。また、情報処理サーバ１０は、一筆書き全体において選択された処理対象を評価する（ステップＳ１０２０）。情報処理サーバ１０は、評価結果に基づき、投射装置５０に投射させる表示情報を生成し、生成した表示情報を投射させる位置を決定する（ステップＳ１０２２）。そして、情報処理サーバ１０は、決定した位置に表示情報を投射させる指示を投射装置５０へ送信する（ステップＳ１０２４）。
（２）情報処理装置の動作例
以下では、図２４、図２５を参照しながら、本開示の実施形態に係る情報処理サーバ１０の動作例について説明する。
（メイン処理）
以下では、図２４を参照しながら、本開示の実施形態に係る情報処理サーバ１０のメイン処理のフローについて説明する。図２４は、本開示の実施形態に係る情報処理装置のメイン処理を示すフローチャートである。
図２４に示すように、まず、情報処理サーバ１０は、軌跡の記録開始を検出したか否かを確認する（ステップＳ２０００）。軌跡の記録開始を検出していない場合（ステップＳ２０００／ＮＯ）、情報処理サーバ１０は、軌跡の記録開始を検出するまでステップＳ２０００の処理を繰り返す。
軌跡の記録開始を検出した場合（ステップＳ２０００／ＹＥＳ）、情報処理サーバ１０は、ユーザによる処理対象が選択されたことを検出したか否かを確認する（ステップＳ２００２）。処理対象が選択されたことを検出していない場合（ステップＳ２００２／ＮＯ）、情報処理サーバ１０は、処理対象が選択されたことを検出するまでステップＳ２００２の処理を繰り返す。
処理対象が選択されたことを検出した場合（ステップＳ２００２／ＹＥＳ）、情報処理サーバ１０は、処理対象を選択した際の軌跡の形状がユーザの視界内であるか否かを確認する（ステップＳ２００４）。エリアがユーザの視界内でない場合（ステップＳ２００４／ＮＯ）、情報処理サーバ１０は、後述されるステップＳ２００８の処理を実行する。
検出された軌跡の形状がユーザの視界内である場合（ステップＳ２００４／ＹＥＳ）、情報処理サーバ１０は、検出された軌跡の形状を再配置し（ステップＳ２００６）、ステップＳ２００８の処理を実行する。
ステップＳ２００８では、情報処理サーバ１０は、検出された軌跡の形状の延長方向に存在する物体を検出する（ステップＳ２００８）。物体の検出後、情報処理サーバ１０は、検出した物体が選択対象であるか否かを確認する（ステップＳ２０１０）。検出した物体が選択対象でない場合（ステップＳ２０１０／ＮＯ）、情報処理サーバ１０は、後述されるステップＳ２０２２の処理を実行する。
検出した物体が選択対象である場合（ステップＳ２０１０／ＹＥＳ）、情報処理サーバ１０は、選択対象が複数存在するか否かを確認する（ステップＳ２０１２）。選択対象が複数存在しない場合（ステップＳ２０１２／ＮＯ）、情報処理サーバ１０は、検出された物体を処理対象として選択し（ステップＳ２０１８）、後述されるステップＳ２０２０の処理を実行する。
選択対象が複数存在する場合（ステップＳ２０１２／ＹＥＳ）、情報処理サーバ１０は、各々の選択対象と軌跡に囲まれたエリアが重複する部分の面積を算出する（ステップＳ２０１４）。面積を算出後、情報処理サーバ１０は、面積がより大きい選択対象を処理対象として選択し（ステップＳ２０１６）、ステップＳ２０２０の処理を実行する。
ステップＳ２０２０の処理では、情報処理サーバ１０は、選択された処理対象から処理対象情報を取得するか否かを確認する。処理対象から処理対象情報を取得する場合（ステップＳ２０２０／ＹＥＳ）、情報処理サーバ１０は、処理対象との通信により処理対象から処理対象情報を取得し（ステップＳ２０２２）、ステップＳ２０２６の処理を実行する。一方、処理対象から処理対象情報を取得しない場合（ステップＳ２０２０／ＮＯ）、情報処理サーバ１０は、記憶部１５０、または外部サーバ等の処理対象以外から処理対象情報を取得し（ステップＳ２０２４）、ステップＳ２０２６の処理を実行する。
ステップＳ２０２６の処理では、情報処理サーバ１０は、ステップＳ２０１４にて算出した面積の内、エリアと処理対象とが重複する部分の面積を記憶し（ステップＳ２０２６）、ステップＳ２０２８の処理を実行する。
ステップＳ２０２８の処理では、情報処理サーバ１０は、軌跡の記録終了を検出したか否かを確認する（ステップＳ２０２８）。軌跡の記録終了を検出した場合（ステップＳ２０２８／ＹＥＳ）、情報処理サーバ１０は、一括操作処理を実行し（ステップＳ２０３０）、処理を終了する。なお、一括操作処理の詳細処理フローは後述される。
軌跡の記録終了を検出していない場合（ステップＳ２０２８／ＮＯ）、情報処理サーバ１０は、軌跡の記録終了を検出するまで、上述したステップＳ２００２からステップＳ２０２６までの処理を繰り返す。
（一括操作処理）
続いて、図２５を参照しながら、本開示の実施形態に係る情報処理サーバ１０の一括操作処理のフローについて説明する。図２５は、本開示の実施形態に係る一括操作処理を示すフローチャートである。
図２５に示すように、まず、情報処理サーバ１０は、実行する一括操作処理がユーザに指定されているか否かを確認する（ステップＳ３０００）。一括操作処理が指定されている場合（ステップＳ３０００／ＹＥＳ）、情報処理サーバ１０は、後述されるステップＳ３００８の処理を実行する。
一括操作処理が指定されていない場合（ステップＳ３０００／ＮＯ）、情報処理サーバ１０は、ユーザから位置を指定されているか否かを確認する（ステップＳ３００２）。位置が指定されている場合（ステップＳ３００２／ＹＥＳ）、情報処理サーバ１０は、ユーザから指定された位置へ処理対象に関する情報を投射装置５０に投射させ（ステップＳ３００６）、一括操作処理を終了する。
位置が指定されていない場合（ステップＳ３００２／ＮＯ）、情報処理サーバ１０は、位置を決定し（ステップＳ３００４）、決定した位置へ処理対象に関する情報を投射装置５０に投射させ（ステップＳ３００６）、一括操作処理を終了する。
ステップＳ３００８では、情報処理サーバ１０は、ユーザから指定された一括操作処理を実行するために位置の指定が必要であるか否かを確認する（ステップＳ３００８）。位置の指定が必要である場合（ステップＳ３００８／ＹＥＳ）、情報処理サーバ１０は、後述されるステップＳ３０１２の処理を実行する。
位置の指定が必要でない場合（ステップＳ３００８／ＮＯ）、情報処理サーバ１０は、ユーザから指定された一括操作処理を実行し（ステップＳ３０１０）、一括操作処理を終了する。
ステップＳ３０１２では、情報処理サーバ１０は、ユーザから位置を指定されているか否かを確認する（ステップＳ３０１２）。位置が指定されている場合（ステップＳ３０１２／ＹＥＳ）、情報処理サーバ１０は、指定された位置にて指定された処理を実行し（ステップＳ３０１４）、一括操作処理を終了する。
位置が指定されていない場合（ステップＳ３０１２／ＮＯ）、情報処理サーバ１０は、指定された処理を実行する位置を決定することが可能であるか否かを確認する（ステップＳ３０１６）。位置を決定することが可能である場合（ステップＳ３０１６／ＹＥＳ）、情報処理サーバ１０は、位置を決定し（ステップＳ３０１８）、決定した位置にて指定された処理を実行し（ステップＳ３０１４）、一括操作処理を終了する。
位置を決定することが可能でない場合（ステップＳ３０１６／ＮＯ）、情報処理サーバ１０は、処理を実行する位置を指定するようにユーザに対して指示を行う（ステップＳ３０２０）。ユーザに対して指示後、情報処理サーバ１０は、ユーザからの位置の指定を検出したか否かを確認する（ステップＳ３０２２）。ユーザからの位置の指定を検出した場合（ステップＳ３０２２／ＹＥＳ）、情報処理サーバ１０は、指定された位置にて指定された処理を実行し（ステップＳ３０１４）、一括操作処理を終了する。
ユーザからの位置の指定を検出しなかった場合（ステップＳ３０２２／ＮＯ）、情報処理サーバ１０は、一定の時間が経過したか否かを確認する（ステップＳ３０２４）。一定の時間が経過していない場合（ステップＳ３０２４／ＮＯ）、ステップＳ３０２２の処理を再度実行する。
一定の時間が経過した場合（ステップＳ３０２４／ＹＥＳ）、情報処理サーバ１０は、指定された処理を実行せずに、一括操作処理を終了する。
以上、図２３〜図２５を参照しながら、本開示の実施形態に係る動作例について説明した。
以上、図１〜図２５を参照しながら、本開示の実施形態について説明した。続いて、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。
＜＜２．ハードウェア構成例＞＞
以下では、図２６を参照しながら、本開示の実施形態に係る情報処理装置のハードウェア構成例について説明する。図２６は、本開示の実施形態に係る情報処理サーバ１０のハードウェア構成例を示すブロック図である。図２６に示すように、情報処理サーバ１０は、例えば、ＣＰＵ１０１、ＲＯＭ１０３、ＲＡＭ１０５、ホストバス１０７、ブリッジ１０９、外部バス１１１、及びインタフェース１１３を有する。また、情報処理サーバ１０は、入力装置１１５、出力装置１１７、音声出力装置１１９、ストレージ装置１２１、ドライブ１２３、リムーバブル記録媒体１２５、及び通信装置１２７を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ハードウェア構成は、ここで示される構成要素以外の構成要素をさらに含んでもよい。
（ＣＰＵ１０１、ＲＯＭ１０３、ＲＡＭ１０５）
ＣＰＵ１０１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ１０３、ＲＡＭ１０５、ストレージ装置１２１、又はリムーバブル記録媒体１２５に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ１０３は、ＣＰＵ１０１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ１０５には、例えば、ＣＰＵ１０１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。これらはＣＰＵバスなどから構成されるホストバス１０７により相互に接続されている。ＣＰＵ１０１、ＲＯＭ１０３およびＲＡＭ１０５は、例えば、ソフトウェアとの協働により、図７を参照して説明した制御部１４０の機能を実現し得る。
（ホストバス１０７、ブリッジ１０９、外部バス１１１、インタフェース１１３） ＣＰＵ１０１、ＲＯＭ１０３、ＲＡＭ１０５は、例えば、高速なデータ伝送が可能なホストバス１０７を介して相互に接続される。一方、ホストバス１０７は、例えば、ブリッジ１０９を介して比較的データ伝送速度が低速な外部バス１１１に接続される。また、外部バス１１１は、インタフェース１１３を介して種々の構成要素と接続される。
（入力装置１１５）
入力装置１１５には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置１１５としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラが用いられることもある。また、入力装置１１５には、マイクロフォンなどの音声入力装置が含まれる。
（出力装置１１７、音声出力装置１１９）
出力装置１１７は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置などの表示装置を含む。また、出力装置１１７は、プロジェクタ装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。また、音声出力装置１１９は、スピーカおよびヘッドホンなどの装置である。
（ストレージ装置１２１）
ストレージ装置１２１は、各種のデータを格納するための装置である。ストレージ装置１２１としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。ストレージ装置１２１は、例えば、図７を参照して説明した記憶部１５０の機能を実現し得る。
（ドライブ１２３）
ドライブ１２３は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体１２５に記録された情報を読み出し、又はリムーバブル記録媒体１２５に情報を書き込む装置である。
（リムーバブル記録媒体１２５）
リムーバブル記録媒体１２５は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙ（登録商標）メディア、ＨＤ ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体１２５は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
（通信装置１２７）
通信装置１２７は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。
以上、図２６を参照しながら、本開示の実施形態に係る情報処理装置のハードウェア構成例について説明した。
＜＜３．まとめ＞＞
以上説明したように、本開示の実施形態に係る情報処理装置は、空間内のポインタの位置情報及び空間内の選択対象の位置情報に基づいて、空間内の複数の選択対象の中からユーザが連続的に選択した複数の処理対象を検出する。また、本開示の実施形態に係る情報処理装置は、検出された複数の処理対象に対してユーザが指定した処理方針を示す処理方針情報に基づいて、検出された複数の処理対象に対して一括操作を実行する一括操作処理を実行する。
情報処理装置は、複数の処理対象の選択を行った後で、当該複数の処理対象に対する一括操作処理を実行することで、複数の処理対象に対する操作処理を一括で実行することができる。
その結果、情報処理装置は、ユーザが複数の物体を一括で選択した際の操作性を向上することが可能な、新規かつ改良された情報処理装置、情報処理方法、及びプログラムを提供することが可能である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書において説明した各装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記録媒体（非一時的な媒体：ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｍｅｄｉａ）に予め格納される。そして、各プログラムは、例えば、コンピュータによる実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。
また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
空間内のユーザ指示位置情報及び前記空間内の対象位置情報に基づいて、前記空間内の複数の選択対象の中からユーザが連続的に選択した複数の処理対象を検出する検出処理、及び検出された前記複数の処理対象に対して前記ユーザが指定した処理方針を示す処理方針情報に基づいて、検出された前記複数の処理対象に対して一括操作を実行する一括操作処理を実行する制御部、
を備える情報処理装置。
（２）
前記制御部は、提示される前記ユーザ指示位置情報の連続的な軌跡に基づき、連続的に選択された前記複数の処理対象を検出する、前記（１）に記載の情報処理装置。
（３）
前記制御部は、連続的に取得される前記ユーザ指示位置情報が示す形状が、前記軌跡の検出を開始することを示す形状であることが検出された前記ユーザ指示位置情報の位置から、連続的に取得される前記ユーザ指示位置情報が示す形状が、前記軌跡の検出を終了することを示す形状であることが検出された前記ユーザ指示位置情報の位置までを前記一括操作処理の対象範囲に設定する、前記（２）に記載の情報処理装置。
（４）
前記制御部は、連続的に取得される前記ユーザ指示位置情報が示す形状が、前記処理対象を検出することを示す形状であることが検出された前記ユーザ指示位置情報の位置から前記軌跡の検出を開始する、前記（２）に記載の情報処理装置。
（５）
前記制御部は、前記処理対象を検出することを示す前記軌跡の形状の少なくとも一部が前記選択対象上に形成されているか否かに基づき、前記選択対象が前記処理対象として選択されたか否かを判定する、前記（２）〜（４）のいずれか一項に記載の情報処理装置。
（６）
前記処理対象を検出することを示す前記軌跡の形状と前記選択対象が部分的に重複する場合、
前記制御部は、前記処理対象を検出することを示す前記軌跡の形状の重心が前記選択対象上に存在するか否かに基づき、前記選択対象が前記処理対象として選択されたか否かを判定する、前記（５）記載の情報処理装置。
（７）
前記処理対象を検出することを示す前記軌跡の形状と前記選択対象が部分的に重複する場合、
前記制御部は、重複している部分の面積に基づき、前記選択対象が前記処理対象として選択されたか否かを判定する、前記（５）に記載の情報処理装置。
（８）
操作物体の位置と前記ユーザ指示位置情報の位置とを結ぶ直線上に前記選択対象が複数存在する場合、
前記制御部は、前記ユーザの視線に基づき、複数の前記選択対象から１つの前記処理対象を選択する、前記（２）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記操作物体の位置と前記ユーザ指示位置情報の位置とを結ぶ直線上に前記選択対象が複数存在し、前記軌跡が複数の前記選択対象と重複する場合、
前記制御部は、複数の前記選択対象から選択された１つの前記処理対象に、前記軌跡を再配置する、前記（８）に記載の情報処理装置。
（１０）
前記制御部は、複数の前記選択対象の内、前記処理方針に基づき実行される処理が設定されていない選択対象を複数の前記選択対象から除外する、前記（２）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
前記制御部は、前記軌跡の記録の開始前又は終了後に検出される前記処理方針情報を示す前記ユーザの動作に基づき、前記一括操作処理を実行する、前記（２）〜（１０）のいずれか一項に記載の情報処理装置。
（１２）
前記制御部は、前記一括操作処理に関する要求を前記複数の処理対象の各々へ通信を介して送信する、前記（１１）に記載の情報処理装置。
（１３）
前記一括操作処理が前記複数の処理対象の各々に関する処理対象情報を表示させる表示処理である場合、
前記制御部は、前記処理対象情報を取得し、前記ユーザが指定した位置へ、取得した複数の前記処理対象情報を一括で投射装置に投射させる、前記（１１）または（１２）に記載の情報処理装置。
（１４）
前記ユーザが前記複数の処理対象情報を表示する位置を指定していない場合、
前記制御部は、前記複数の処理対象情報の各々の内容に基づき、前記複数の処理対象情報の各々を表示する場所を決定し、決定した各々の場所へ対応する前記処理対象情報を投射装置に投射させる、前記（１３）に記載の情報処理装置。
（１５）
前記制御部は、前記ユーザ指示位置情報が前記処理対象上を移動した時間に応じて、前記投射装置に投射させる前記処理対象情報を変更する、前記（１３）または（１４）に記載の情報処理装置。
（１６）
前記一括操作処理が前記複数の処理対象の各々に同一の動作をさせる動作処理である場合、
前記制御部は、前記ユーザが指定した前記動作処理を、前記複数の処理対象の各々に一括で実行させる、前記（１１）〜（１５）のいずれか一項に記載の情報処理装置。
（１７）
前記ユーザが前記処理対象を選択したことを示す前記軌跡の形状は、前記処理方針を示す前記軌跡の形状とは異なる、前記（２）〜（１６）のいずれか一項に記載の情報処理装置。
（１８）
前記選択対象は、前記空間内に実在する実オブジェクト、または前記空間内に投射装置により投射された仮想オブジェクトである、前記（１）〜（１７）のいずれか一項に記載の情報処理装置。
（１９）
空間内のユーザ指示位置情報及び前記空間内の対象位置情報に基づいて、前記空間内の複数の選択対象の中からユーザが連続的に選択した複数の処理対象を検出する検出処理、及び検出された前記複数の処理対象に対して前記ユーザが指定した処理方針を示す処理方針情報に基づいて、検出された前記複数の処理対象に対して一括操作を実行する一括操作処理を実行すること、
を含むプロセッサにより実行される情報処理方法。
（２０）
コンピュータを、
空間内のユーザ指示位置情報及び前記空間内の対象位置情報に基づいて、前記空間内の複数の選択対象の中からユーザが連続的に選択した複数の処理対象を検出する検出処理、及び検出された前記複数の処理対象に対して前記ユーザが指定した処理方針を示す処理方針情報に基づいて、検出された前記複数の処理対象に対して一括操作を実行する一括操作処理を実行する制御部、
として機能させるためのプログラム。
１０ 情報処理サーバ
２０ ポインティング装置
３０ 環境評価装置
４０ センサ装置
５０ 投射装置
１３０ 通信部
１４０ 制御部
１４２ 検出制御部
１４４ 記憶制御部
１４６ 選択制御部
１４８ 操作処理制御部
１５０ 記憶部

Claims (20)

  1. 空間内のユーザ指示位置情報及び前記空間内の対象位置情報に基づいて、前記空間内の複数の選択対象の中からユーザが連続的に選択した複数の処理対象を検出する検出処理、及び検出された前記複数の処理対象に対して前記ユーザが指定した処理方針を示す処理方針情報に基づいて、検出された前記複数の処理対象に対して一括操作を実行する一括操作処理を実行する制御部、
    を備える情報処理装置。
  2. 前記制御部は、提示される前記ユーザ指示位置情報の連続的な軌跡に基づき、連続的に選択された前記複数の処理対象を検出する、請求項１に記載の情報処理装置。
  3. 前記制御部は、連続的に取得される前記ユーザ指示位置情報が示す形状が、前記軌跡の検出を開始することを示す形状であることが検出された前記ユーザ指示位置情報の位置から、連続的に取得される前記ユーザ指示位置情報が示す形状が、前記軌跡の検出を終了することを示す形状であることが検出された前記ユーザ指示位置情報の位置までを前記一括操作処理の対象範囲に設定する、請求項２に記載の情報処理装置。
  4. 前記制御部は、連続的に取得される前記ユーザ指示位置情報が示す形状が、前記処理対象を検出することを示す形状であることが検出された前記ユーザ指示位置情報の位置から前記軌跡の検出を開始する、請求項２に記載の情報処理装置。
  5. 前記制御部は、前記処理対象を検出することを示す前記軌跡の形状の少なくとも一部が前記選択対象上に形成されているか否かに基づき、前記選択対象が前記処理対象として選択されたか否かを判定する、請求項２に記載の情報処理装置。
  6. 前記処理対象を検出することを示す前記軌跡の形状と前記選択対象が部分的に重複する場合、
    前記制御部は、前記処理対象を検出することを示す前記軌跡の形状の重心が前記選択対象上に存在するか否かに基づき、前記選択対象が前記処理対象として選択されたか否かを判定する、請求項５に記載の情報処理装置。
  7. 前記処理対象を検出することを示す前記軌跡の形状と前記選択対象が部分的に重複する場合、
    前記制御部は、重複している部分の面積に基づき、前記選択対象が前記処理対象として選択されたか否かを判定する、請求項５に記載の情報処理装置。
  8. 操作物体の位置と前記ユーザ指示位置情報の位置とを結ぶ直線上に前記選択対象が複数存在する場合、
    前記制御部は、前記ユーザの視線に基づき、複数の前記選択対象から１つの前記処理対象を選択する、請求項２に記載の情報処理装置。
  9. 前記操作物体の位置と前記ユーザ指示位置情報の位置とを結ぶ直線上に前記選択対象が複数存在し、前記軌跡が複数の前記選択対象と重複する場合、
    前記制御部は、複数の前記選択対象から選択された１つの前記処理対象に、前記軌跡を再配置する、請求項８に記載の情報処理装置。
  10. 前記制御部は、複数の前記選択対象の内、前記処理方針に基づき実行される処理が設定されていない選択対象を複数の前記選択対象から除外する、請求項２に記載の情報処理装置。
  11. 前記制御部は、前記軌跡の記録の開始前又は終了後に検出される前記処理方針情報を示す前記ユーザの動作に基づき、前記一括操作処理を実行する、請求項２に記載の情報処理装置。
  12. 前記制御部は、前記一括操作処理に関する要求を前記複数の処理対象の各々へ通信を介して送信する、請求項１１に記載の情報処理装置。
  13. 前記一括操作処理が前記複数の処理対象の各々に関する処理対象情報を表示させる表示処理である場合、
    前記制御部は、前記処理対象情報を取得し、前記ユーザが指定した位置へ、取得した複数の前記処理対象情報を一括で投射装置に投射させる、請求項１１に記載の情報処理装置。
  14. 前記ユーザが前記複数の処理対象情報を表示する位置を指定していない場合、
    前記制御部は、前記複数の処理対象情報の各々の内容に基づき、前記複数の処理対象情報の各々を表示する場所を決定し、決定した各々の場所へ対応する前記処理対象情報を投射装置に投射させる、請求項１３に記載の情報処理装置。
  15. 前記制御部は、前記ユーザ指示位置情報が前記処理対象上を移動した時間に応じて、前記投射装置に投射させる前記処理対象情報を変更する、請求項１３に記載の情報処理装置。
  16. 前記一括操作処理が前記複数の処理対象の各々に同一の動作をさせる動作処理である場合、
    前記制御部は、前記ユーザが指定した前記動作処理を、前記複数の処理対象の各々に一括で実行させる、請求項１１に記載の情報処理装置。
  17. 前記ユーザが前記処理対象を選択したことを示す前記軌跡の形状は、前記処理方針を示す前記軌跡の形状とは異なる、請求項２に記載の情報処理装置。
  18. 前記選択対象は、前記空間内に実在する実オブジェクト、または前記空間内に投射装置により投射された仮想オブジェクトである、請求項１に記載の情報処理装置。
  19. 空間内のユーザ指示位置情報及び前記空間内の対象位置情報に基づいて、前記空間内の複数の選択対象の中からユーザが連続的に選択した複数の処理対象を検出する検出処理、及び検出された前記複数の処理対象に対して前記ユーザが指定した処理方針を示す処理方針情報に基づいて、検出された前記複数の処理対象に対して一括操作を実行する一括操作処理を実行すること、
    を含むプロセッサにより実行される情報処理方法。
  20. コンピュータを、
    空間内のユーザ指示位置情報及び前記空間内の対象位置情報に基づいて、前記空間内の複数の選択対象の中からユーザが連続的に選択した複数の処理対象を検出する検出処理、及び検出された前記複数の処理対象に対して前記ユーザが指定した処理方針を示す処理方針情報に基づいて、検出された前記複数の処理対象に対して一括操作を実行する一括操作処理を実行する制御部、
    として機能させるためのプログラム。
JP2020523633A 2018-06-06 2019-05-24 情報処理装置、情報処理方法、及びプログラム Active JP7306386B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018108860 2018-06-06
JP2018108860 2018-06-06
PCT/JP2019/020705 WO2019235263A1 (ja) 2018-06-06 2019-05-24 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2019235263A1 true JPWO2019235263A1 (ja) 2021-07-08
JP7306386B2 JP7306386B2 (ja) 2023-07-11

Family

ID=68770358

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020523633A Active JP7306386B2 (ja) 2018-06-06 2019-05-24 情報処理装置、情報処理方法、及びプログラム

Country Status (5)

Country Link
US (1) US11570017B2 (ja)
JP (1) JP7306386B2 (ja)
CN (1) CN112204505A (ja)
DE (1) DE112019002866T5 (ja)
WO (1) WO2019235263A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117874399A (zh) * 2024-03-11 2024-04-12 合肥坤颐建筑科技合伙企业(有限合伙) 空间净距的批量检测方法、装置、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1049700A (ja) * 1996-08-02 1998-02-20 Canon Inc ペン入力装置、ペン入力方法、入力装置及び入力方法
JP2003018672A (ja) * 2001-07-03 2003-01-17 Hitachi Ltd ネットワーク・システム
JP2004246856A (ja) * 2002-12-18 2004-09-02 National Institute Of Advanced Industrial & Technology インタフェース装置
JP2007259329A (ja) * 2006-03-24 2007-10-04 Fujifilm Corp 遠隔制御装置、システムおよび方法
WO2011027397A1 (ja) * 2009-09-03 2011-03-10 株式会社 東芝 ユーザーインターフェース装置
JP2011523800A (ja) * 2008-04-28 2011-08-18 ベックホフ オートメーション ゲーエムベーハー リモートコントロール方法
JP2011254291A (ja) * 2010-06-02 2011-12-15 Sony Corp 制御装置、制御方法、プログラム
JP2013120623A (ja) * 2011-12-06 2013-06-17 Panasonic Corp 照明システム
JP2015232928A (ja) * 2014-06-09 2015-12-24 株式会社ディスコ 照明器具及び照明器具の点灯管理方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471578A (en) * 1993-12-30 1995-11-28 Xerox Corporation Apparatus and method for altering enclosure selections in a gesture based input system
US7086013B2 (en) * 2002-03-22 2006-08-01 Xerox Corporation Method and system for overloading loop selection commands in a system for selecting and arranging visible material in document images
WO2007145566A1 (en) * 2006-06-11 2007-12-21 Volvo Technology Corporation Method and apparatus for determining and analyzing a location of visual interest
US8423916B2 (en) * 2008-11-20 2013-04-16 Canon Kabushiki Kaisha Information processing apparatus, processing method thereof, and computer-readable storage medium
JP5455364B2 (ja) * 2008-12-26 2014-03-26 キヤノン株式会社 情報処理装置及び軌跡データ認識方法
KR20100114572A (ko) * 2009-04-16 2010-10-26 삼성전자주식회사 터치스크린을 구비한 단말기의 컨텐츠 표시 방법 및 장치
AU2011292026B2 (en) * 2010-08-17 2014-08-07 Google Llc Touch-based gesture detection for a touch-sensitive device
US20150248166A1 (en) * 2014-01-26 2015-09-03 Shangkar Meitei Mayanglambam System for spontaneous recognition of continuous gesture input
US9696798B2 (en) * 2014-04-09 2017-07-04 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Eye gaze direction indicator
CN104297748B (zh) * 2014-10-20 2017-03-08 西安电子科技大学 一种基于轨迹增强的雷达目标检测前跟踪方法
US9823764B2 (en) * 2014-12-03 2017-11-21 Microsoft Technology Licensing, Llc Pointer projection for natural user input
WO2018008218A1 (ja) 2016-07-05 2018-01-11 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
EP3324270A1 (en) * 2016-11-16 2018-05-23 Thomson Licensing Selection of an object in an augmented reality environment

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1049700A (ja) * 1996-08-02 1998-02-20 Canon Inc ペン入力装置、ペン入力方法、入力装置及び入力方法
JP2003018672A (ja) * 2001-07-03 2003-01-17 Hitachi Ltd ネットワーク・システム
JP2004246856A (ja) * 2002-12-18 2004-09-02 National Institute Of Advanced Industrial & Technology インタフェース装置
JP2007259329A (ja) * 2006-03-24 2007-10-04 Fujifilm Corp 遠隔制御装置、システムおよび方法
JP2011523800A (ja) * 2008-04-28 2011-08-18 ベックホフ オートメーション ゲーエムベーハー リモートコントロール方法
WO2011027397A1 (ja) * 2009-09-03 2011-03-10 株式会社 東芝 ユーザーインターフェース装置
JP2011254291A (ja) * 2010-06-02 2011-12-15 Sony Corp 制御装置、制御方法、プログラム
JP2013120623A (ja) * 2011-12-06 2013-06-17 Panasonic Corp 照明システム
JP2015232928A (ja) * 2014-06-09 2015-12-24 株式会社ディスコ 照明器具及び照明器具の点灯管理方法

Also Published As

Publication number Publication date
US11570017B2 (en) 2023-01-31
US20210167982A1 (en) 2021-06-03
WO2019235263A1 (ja) 2019-12-12
CN112204505A (zh) 2021-01-08
DE112019002866T5 (de) 2021-04-15
JP7306386B2 (ja) 2023-07-11

Similar Documents

Publication Publication Date Title
US11818455B2 (en) Devices, methods, and graphical user interfaces for depth-based annotation
US11257295B2 (en) Projection casting in virtual environments
JP6721713B2 (ja) 動作−音声の多重モード命令に基づいた最適制御方法およびこれを適用した電子装置
JP6364505B2 (ja) レーダベースのジェスチャ認識
JP5334450B2 (ja) ジェスチャを行うことによってユーザ・インターフェース内のオブジェクトを選択するための方法
US20180356898A1 (en) Sessionless pointing user interface
US8866781B2 (en) Contactless gesture-based control method and apparatus
US20170068416A1 (en) Systems And Methods for Gesture Input
WO2015113503A1 (zh) 一种指环式无线指感控制器、控制方法及控制系统
US20150054630A1 (en) Remote Controller and Information Processing Method and System
US20210090331A1 (en) Projection casting in virtual environments
Kang et al. Minuet: Multimodal interaction with an internet of things
WO2013124845A1 (en) Computer vision based control of an icon on a display
US20180260044A1 (en) Information processing apparatus, information processing method, and program
US20160147294A1 (en) Apparatus and Method for Recognizing Motion in Spatial Interaction
CN115496850A (zh) 家居设备控制方法、智能穿戴设备和可读存储介质
JP2012022458A (ja) 情報処理装置およびその制御方法
US11287945B2 (en) Systems and methods for gesture input
US20230066091A1 (en) Interactive touch cord with microinteractions
JPWO2019235263A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN109445568A (zh) 投影对象控制方法、装置及主机
CN104951211B (zh) 一种信息处理方法和电子设备
JP2010079848A (ja) 項目選択方法および装置
US20190377423A1 (en) User interface controlled by hand gestures above a desktop or a keyboard
CN108804007A (zh) 图像采集方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220405

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230612

R151 Written notification of patent or utility model registration

Ref document number: 7306386

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151