WO2019235263A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2019235263A1
WO2019235263A1 PCT/JP2019/020705 JP2019020705W WO2019235263A1 WO 2019235263 A1 WO2019235263 A1 WO 2019235263A1 JP 2019020705 W JP2019020705 W JP 2019020705W WO 2019235263 A1 WO2019235263 A1 WO 2019235263A1
Authority
WO
WIPO (PCT)
Prior art keywords
processing
information
target
user
selection
Prior art date
Application number
PCT/JP2019/020705
Other languages
English (en)
French (fr)
Inventor
文彦 飯田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2020523633A priority Critical patent/JP7306386B2/ja
Priority to US17/051,843 priority patent/US11570017B2/en
Priority to CN201980035921.2A priority patent/CN112204505A/zh
Priority to DE112019002866.9T priority patent/DE112019002866T5/de
Publication of WO2019235263A1 publication Critical patent/WO2019235263A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/70—Device selection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/91—Remote control based on location and proximity

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • a user can select and operate a device that exists in a living space by using a gesture or voice.
  • an operation target device is detected based on a user's line of sight, an operation object for operating the device is displayed near the user, and the operation object is displayed.
  • a technique in which a user operates a device the user directs his / her eyes to each of a plurality of devices, so that a plurality of devices are selected at once, and an operation object for operating each selected device is near the user (for example, at hand) Is displayed.
  • the user can operate one device at hand by selecting one device to be operated on the operation object and inputting an operation instruction for the selected device.
  • the above technique is based on the premise that the user selects one of a plurality of devices displayed on the operation object and sequentially executes the processing of the selected device. Therefore, the user cannot select a plurality of devices and execute the processing of each device collectively, and repeats the operation of selecting one device and inputting an operation instruction by the number of operation target devices. There is a need. Therefore, the operability when the user wants to execute the processing of a plurality of devices collectively is not good.
  • the present disclosure proposes a new and improved information processing apparatus, information processing method, and program capable of improving operability when a user selects a plurality of objects at once.
  • a plurality of processing targets continuously selected by the user from the plurality of selection targets in the space are detected.
  • Detection processing and batch operation processing for executing batch operation on the detected plurality of processing targets based on processing policy information indicating a processing policy specified by the user for the detected processing targets An information processing apparatus including a control unit that executes
  • a plurality of processing targets that are continuously selected by a user from a plurality of selection targets in the space based on user-instructed position information in the space and target position information in the space.
  • Collective processing for performing a collective operation on the plurality of detected processing targets based on detection processing to be detected and processing policy information indicating a processing policy specified by the user for the detected plurality of processing targets An information processing method executed by a processor including performing an operation process is provided.
  • the computer is configured to select a plurality of continuous selections from a plurality of selection targets in the space based on the user-instructed position information in the space and the target position information in the space. Based on detection processing for detecting a processing target, and processing policy information indicating a processing policy specified by the user for the detected processing targets, a batch operation is performed on the detected processing targets.
  • a program for functioning as a control unit that executes batch operation processing to be executed is provided.
  • a smart home is a house where a more comfortable life can be achieved by connecting a device such as a home appliance in a living space to the Internet and controlling the operation of the home appliance, for example.
  • the user can select a device in the living space by voice and can operate the selected device by voice. Since it may be difficult to operate a device with only voice, there is a technology that allows a device to be selected and operated by a gesture.
  • the above technique is a technique on the premise that the user selects one of a plurality of devices and sequentially executes the processing of the selected device. Therefore, the user cannot select a plurality of devices and execute the processing of each device collectively, and needs to repeat the operation of selecting one device and inputting an operation instruction by the number of devices. . Therefore, the operability when the user wants to execute the processing of a plurality of devices collectively is not good.
  • the embodiment of the present disclosure has been conceived by paying attention to the above points, and proposes a technique capable of improving operability when a user selects a plurality of objects at once.
  • operability when the user selects a plurality of objects such as home appliances installed in the living space will be described.
  • FIG. 1 is an explanatory diagram illustrating an overview of an information processing system according to an embodiment of the present disclosure.
  • the information processing system according to the embodiment of the present disclosure includes the information processing server 10, the pointing device 20, the environment evaluation device 30, the sensor device 40, and the projection device 50 illustrated in FIG.
  • Each component of the information system is connected to each other via a network 60.
  • the space shown in FIG. 1 is a living space, and a user 90 holding the pointing device 20 exists in the living space.
  • the user 90 operates the pointing device 20 to select a device (hereinafter also referred to as a processing target) that is an operation processing target.
  • the operation process is a process related to a processing target executed by the information processing server 10.
  • the information processing server 10 displays a plurality of processing target information on another device (for example, the projection device 50) ( Hereinafter, it is also referred to as a display process).
  • the plurality of processing targets are information processing devices such as home appliances
  • the information processing server 10 executes processing for operating the plurality of processing targets (hereinafter also referred to as operation processing) as the operation processing.
  • the selection target is classified into two types: a real object that exists in the space, or a virtual object that is projected by the projection device 50 in the space.
  • Real objects are further classified into two types: objects that are information processing devices and objects other than information processing devices.
  • the objects that are information processing devices in the present embodiment are, for example, the television 72, the refrigerator 73, and the illumination 74 shown in FIG. Further, the objects that are not information processing devices in the present embodiment are, for example, the analog clock 70, the desk calendar 71, and the table 75 shown in FIG.
  • an object that is not an information processing device and does not particularly have information to be presented to the user such as a foliage plant 76
  • the criterion for determining an object to be excluded from the selection target may be, for example, a consumer material such as food or a moving object such as a person or an animal.
  • the virtual object basically presents information about the real object and the virtual object. Further, the virtual object may execute a function by being selected.
  • the said function is a function of information processing equipment, for example.
  • the virtual object may be turned on when the user selects the virtual object with the pointing device 20.
  • the virtual object may have a shortcut function for executing a function of the information processing device or the like when selected.
  • the virtual object may display information related to a separate room or a remote place.
  • the virtual object displays information on information processing devices and the like arranged in a separate room.
  • the virtual object may turn on the television in the separate room.
  • the user 90 When the user 90 selects the processing target from the selection targets, the user 90 moves the position of the pointer such as the light output from the pointing device 20 (user instruction position). The user 90 moves the position of the pointer, and selects a plurality of processing targets by continuously placing the pointer on the plurality of selection targets (hereinafter also referred to as one stroke writing). The user 90 can select a plurality of processing objects at once by performing a single stroke using the pointing device 20.
  • the position of the pointer such as the light output from the pointing device 20 (user instruction position).
  • the user 90 moves the position of the pointer, and selects a plurality of processing targets by continuously placing the pointer on the plurality of selection targets (hereinafter also referred to as one stroke writing).
  • the user 90 can select a plurality of processing objects at once by performing a single stroke using the pointing device 20.
  • the information processing server 10 acquires position information (hereinafter also referred to as target position information) of the selection target from the environment evaluation apparatus 30. Further, the information processing server 10 acquires the position information of the pointer (user instruction position information) by detecting the position of the pointer based on the sensing data acquired from the sensor device 40. Based on the position information of the pointer, the information processing server 10 can grasp the path along which the pointer has moved (hereinafter also referred to as a locus). Then, the information processing server 10 performs processing (hereinafter also referred to as detection processing) for detecting a plurality of processing targets selected by the user at once based on the acquired target position information and trajectory.
  • detection processing processing for detecting a plurality of processing targets selected by the user at once based on the acquired target position information and trajectory.
  • the information processing server 10 When the user 90 selects a plurality of processing targets at once, the information processing server 10 performs processing (hereinafter also referred to as collective operation processing) that collectively executes operation processing for each device.
  • collective operation processing processing
  • the collective operation process may be executed based on a specific operation of the user 90.
  • the specific operation of the user 90 is, for example, an operation indicating that batch operation processing is executed, and the user 90 performs a specific operation using the pointing device 20.
  • the same operation is performed on a plurality of devices. Specifically, the operation of turning on the power of a plurality of devices is performed at once.
  • operations in the same category may be performed. Specifically, when the operation category is information display, each of the plurality of devices performs the same operation of displaying information, but the information to be displayed may be information corresponding to each device.
  • operations set in advance for each device may be simultaneously executed. Specifically, when the refrigerator 73 and the illumination 74 are selected as processing objects at once, the information processing server 10 executes a process of displaying an image in the cabinet for the refrigerator 73, and May execute a process of switching power on and off by a toggle operation. In the following description, it is assumed that a batch operation process is performed as the operation process.
  • the user 90 also has information (hereinafter referred to as a policy) indicating which batch operation processing is to be executed by the information processing server 10 based on a shape formed by moving the pointer (hereinafter also referred to as a trajectory shape). Can also be referred to as processing policy information).
  • the information processing server 10 detects the processing policy information based on the position information of the pointer measured by the sensor device 40, and executes a batch operation process based on the detected processing policy information.
  • the shape of the locus is a shape when the locus is viewed from the position of the operation object. Specifically, the shape of the locus is a shape when the locus is viewed from the output unit of the pointing device 20.
  • the operation object is an object used by the user 90 for selecting a processing target or presenting processing policy information, and may include the pointing device 20 or the finger of the user 90. Further, the position of the operation object is, for example, the position of the output unit of the pointing device 20 or the position of the tip of the finger of the user 90.
  • the user 90 operating the pointing device 20 to indicate the processing policy information is an example of the specific operation of the user 90 described above.
  • the information processing server 10 executes the detection process and the batch operation process, thereby improving the operability when the user selects a plurality of objects at once.
  • the information processing server 10 is an information processing apparatus having a function of executing processing based on information received from other components constituting the information processing system. For example, the information processing server 10 executes a detection process based on information received from the environment evaluation device 30 and the sensor device 40. In addition, the information processing server 10 executes a batch operation process based on information received from the sensor device 40.
  • the information processing server 10 is an information processing apparatus having a function of controlling processing of other components constituting the information processing system. For example, when the collective operation process is a display process, the information processing server 10 controls the projection process for the projection device 50 to present the processing target information.
  • the information processing server 10 may control the environment evaluation process by the environment evaluation apparatus 30 and the sensing data acquisition process by the sensor apparatus 40.
  • the pointing device 20 is a device used by the user 90 to select an object in space.
  • the user 90 holds and operates the pointing device 20, for example.
  • the user 90 causes the pointing device 20 to start projecting a pointer by pressing a switch included in the pointing device 20. Further, the user 90 presses the switch again while the pointing device 20 is projecting the pointer, thereby causing the pointing device 20 to finish projecting the pointer.
  • the pointing device 20 has a function of indicating a pointing position.
  • the pointing device 20 projects light such as an IR LED (Infrared Light Emitting Diode) and shows the projection destination of the light as a pointing position.
  • IR LED Infrared Light Emitting Diode
  • the pointing device 20 has a communication function. By the communication function, the pointing device 20 transmits information indicating whether or not it is in the activated state to the information processing server 10. For example, the pointing device 20 transmits information indicating that it is in the activated state to the information processing server 10 when the user presses a switch to start projecting a pointer. In addition, the pointing device 20 may transmit information indicating that the pointing device 20 is in the non-starting state to the information processing server 10 when the user presses the switch again when it is in the starting state to end the projection of the pointer.
  • the pointing device 20 may include a sensor group such as an acceleration sensor.
  • the pointing device 20 senses data related to the posture of the pointing device 20 using the sensor group. Then, the pointing device 20 transmits the data to the information processing server 10 as data for the information processing server 10 to specify the position of the pointer.
  • FIG. 2 is an explanatory diagram illustrating an operation example of the pointing device 20 when selecting a plurality of processing targets according to the embodiment of the present disclosure.
  • FIG. 3 is an explanatory diagram illustrating an operation example of the pointing device 20 at the start or end of recording of a trajectory according to the embodiment of the present disclosure.
  • FIG. 4 is an explanatory diagram illustrating a shape example of a trajectory when a processing target is selected according to the embodiment of the present disclosure.
  • FIG. 2 shows an example in which the user 90 selects the lighting 74, the refrigerator 73, and the television 72 using the pointing device 20.
  • the user 90 presses the switch of the pointing device 20 and causes the pointing device 20 to project a pointer to an arbitrary position (for example, the start position 23A).
  • the user 90 After projecting the pointer to the start position 23A, the user 90 moves the pointer and selects a processing target. At this time, the user 90 moves the pointer by operating the pointing device 20 so that the pointer is projected onto the illumination 74, the refrigerator 73, and the television 72 to be processed as indicated by the locus 22. After selecting the processing target, the user 90 presses the switch of the pointing device 20 again and ends the projection of the pointer.
  • the recording of the trajectory is started or ended with the user 90 operating the switch of the pointing device 20 as a trigger.
  • the recording of the locus is started from the start position 23A where the switch of the pointing device 20 is pressed and the projection of the pointer is started. Then, the switch 22 of the pointing device 20 is pressed again, and the locus 22 when the user 90 moves the pointer to the end position 23B where the projection of the pointer is finished is recorded.
  • the recording of the trajectory may be started with the detection of the specific trajectory as a trigger.
  • a position where a triangular locus is detected may be a start position 24A
  • a position where a circular locus is detected may be an end position 24B.
  • the user moves the pointer on the selection target to form a trajectory having a specific shape on the selection target, thereby indicating that the selection target is selected as the processing target.
  • the user wants to select the television 72 as a processing target, as shown in the selection example 1 in FIG. 4, the user moves the pointer so that the locus shows a bent shape a plurality of times, thereby setting the television 72 as the processing target. Indicates selection.
  • the user may indicate that the television 72 has been selected as a processing target by moving the pointer so that the locus has a circular shape.
  • the user 90 indicates the selection target by pointing the selection target with his / her finger or moving the finger toward the selection target so as to draw the specific shape described above in the air. It may indicate that it has been selected.
  • the environment evaluation device 30 has a function of evaluating sensing data obtained by sensing space and performing so-called space recognition such as recognition of a selection target in the space. For example, the environment evaluation device 30 acquires the distance to the wall surface in the space, the distance to the selection target in the space, and the like as sensing data. The environment evaluation device 30 evaluates the acquired sensing data and acquires position information of a selection target in the space. Then, the environment evaluation device 30 transmits the acquired position information of the selection target to the information processing server 10.
  • the environment evaluation device 30 performs space sensing using a distance measuring device such as a depth sensor, a camera, or a rider (LIDAR: Laser Imaging Detection and Ranging).
  • a distance measuring device such as a depth sensor, a camera, or a rider
  • the apparatus with which the environment evaluation apparatus 30 is equipped for sensing is not limited to the above-mentioned apparatus, You may provide arbitrary apparatuses.
  • the installation location and the number of installed environment evaluation devices 30 in the space are not particularly limited, and an arbitrary number of environment evaluation devices 30 may be installed in any location.
  • the environment evaluation device 30 may acquire position information based on the function.
  • NFC near field communication
  • the environment evaluation device 30 may acquire the position information of the virtual object from the projection device 50 that projects the virtual object. Further, the environment evaluation device 30 acquires information regarding the state of the projection device 50 that is projecting the virtual object as sensing data, estimates the position, orientation, projection direction, and the like of the projection device 50 based on the sensing data, The position of the virtual object may be estimated based on the estimation result.
  • the environment evaluation device 30 may acquire the position information of the virtual object based on the position of the information processing device. .
  • the sensor device 40 is a device having a function of acquiring sensing data. For example, the sensor device 40 acquires the state of the pointer as sensing data, and transmits the sensing data to the information processing server 10. Specifically, the sensor device 40 captures the state of the pointer with a camera, and transmits the captured image (still image / moving image) to the information processing server 10. Further, the sensor device 40 may measure the acceleration data of the pointer using an acceleration sensor and transmit the acceleration data to the information processing server 10.
  • the sensor device 40 acquires a user action such as a user gesture as sensing data, and transmits the sensing data to the information processing server 10. Specifically, the sensor device 40 acquires posture information indicating the posture of the user using a depth sensor or a camera, and transmits the acquired posture information to the information processing server 10.
  • the device provided for the sensor device 40 to perform sensing is not limited to the above-described device, and may include any device. Further, the installation location and the number of installed sensor devices 40 in the space are not particularly limited, and an arbitrary number of sensor devices 40 may be installed at an arbitrary location.
  • the projection device 50 is a device that projects content.
  • a drive-type optical projection device can be cited.
  • the projection device 50 is used for projecting information related to a plurality of processing targets and presenting the information to the user.
  • FIG. 5 is an explanatory diagram illustrating a presentation example of information related to the processing target according to the embodiment of the present disclosure.
  • the projection device 50 projects, as processing target information 51, calendar information 52 that is information related to the desk calendar 71 and program information 53 that is information related to the television 72.
  • FIG. 6 is an explanatory diagram illustrating a presentation example of the selection state of the processing target according to the embodiment of the present disclosure.
  • the projection device 50 may perform VFB (Visual Feedback) that projects a visual effect on the refrigerator 73.
  • VFB Visual Feedback
  • the projection device 50 performs VFB for projecting the content 54 such that the outer periphery of the refrigerator 73 appears to emit light as shown in FIG. Thereby, the user can visually recognize the selection state of the processing target.
  • the method for presenting the information related to the processing target and the selection state of the processing target is not limited to the above example, and any method may be used.
  • the information regarding the processing target and the selection state of the processing target may be presented by the voice output device instead of the projection device 50.
  • the information regarding the processing target and the selection state of the processing target may be presented by a tactile sensation by a device capable of presenting the tactile sense.
  • the apparatus for presenting the information related to the processing target and the selection state of the processing target is not limited to the optical projection apparatus such as the projection apparatus 50 described above, and an arbitrary apparatus may be used.
  • a wearable device such as eyewear may be used.
  • FIG. 7 is a block diagram illustrating a functional configuration example of the information processing apparatus according to the embodiment of the present disclosure.
  • the information processing server 10 includes a communication unit 130, a control unit 140, and a storage unit 150.
  • the communication unit 130 has a function of communicating with an external device. For example, the communication unit 130 outputs information received from the external device to the control unit 140 in communication with the external device. Specifically, the communication unit 130 outputs to the control unit 140 information indicating whether or not the activation state is received from the pointing device 20. In addition, the communication unit 130 outputs the position information of the selection target received from the environment evaluation device 30 to the control unit 140. In addition, the communication unit 130 outputs the sensing data received from the sensor device 40 to the control unit 140. In addition, the communication unit 130 outputs the processing target information received from the processing target to the control unit 140.
  • the communication unit 130 transmits information input from the control unit 140 to the external device in communication with the external device. Specifically, the communication unit 130 transmits information related to display processing input from the control unit 140 to the projection device 50. In addition, the communication unit 130 transmits information on the batch operation processing to be processed input from the control unit 140 to the processing target.
  • Control unit 140 has a function of controlling the entire information processing server 10.
  • the control unit 140 controls communication processing in the communication unit 130.
  • the control unit 140 outputs information output according to the processing executed by the control unit 140 to the communication unit 130 and causes the external device to transmit the information to the communication unit 130.
  • control unit 140 controls storage processing in the storage unit 150. Specifically, the control unit 140 outputs information output according to the processing executed by the control unit 140 to the storage unit 150 and causes the storage unit 150 to store the information.
  • control unit 140 has a function of controlling batch operation processing. For example, the control unit 140 detects information necessary for controlling the batch operation process. Specifically, the control unit 140 detects a pointer based on sensing data input from the communication unit 130 and acquires pointer position information. Further, the control unit 140 detects a locus when the pointer moves based on the acquired position information of the pointer. Further, the control unit 140 detects the processing target and the processing policy based on the position information of the selection target input from the communication unit 130 and the detected locus. Then, the control unit 140 determines and executes a batch operation process to be executed based on the detected processing target and processing policy.
  • control unit 140 transmits a request for batch operation processing to each of a plurality of processing targets via communication by the communication unit 130.
  • control unit 140 includes a detection control unit 142, a storage control unit 144, a selection control unit 146, and an operation processing control unit 148, as illustrated in FIG. Prepare.
  • the detection control unit 142 has a function of detecting pointer position information. For example, the detection control unit 142 detects a pointer based on sensing data sensed by the sensor device 40 input from the communication unit 130. For example, when an image (still image / moving image) captured by the camera is sensing data, the detection control unit 142 confirms whether or not a pointer is captured in the image. When the pointer is shown, the detection control unit 142 acquires position information where the pointer is shown.
  • the detection control unit 142 estimates the posture of the pointing device 20 based on the sensor data. . Then, the detection control unit 142 may estimate the pointing direction based on the estimated posture, and specify the pointing position.
  • the detection control unit 142 has a function of detecting a trajectory based on continuously detected pointer position information and detecting a processing policy input by the user based on the shape indicated by the trajectory.
  • the detection control unit 142 compares the shape of the locus registered in advance in the storage unit 150 with the shape indicated by the locus detected based on the position information of the pointer. As a result of the comparison, when the shapes of the two trajectories match, the detection control unit 142 executes a process registered in association with the shape of the trajectory registered in the storage unit 150 in advance.
  • the detection control unit 142 sets a target range for batch operation processing based on the shape indicated by the position information of the pointers that are continuously detected. For example, when a shape indicating the start of locus detection is detected, the detection control unit 142 sets the position of the position information of the pointer at that time as the start position of the target range of the batch operation process. When a shape indicating the end of the locus detection is detected, the detection control unit 142 sets the position information of the pointer at that time as the end position of the target range of the batch operation process.
  • the detection control unit 142 may lose the position of the pointer while the user 90 is writing a stroke (that is, the detection of the position of the pointer may fail).
  • the detection control unit 142 determines that the one-stroke writing corresponding to the re-detected pointer is the same as the one-stroke writing before the lost. May be.
  • the detection control unit 142 selects the stroke stroke corresponding to the re-detected pointer. May be determined to be the same as the one stroke before the lost.
  • the detection control unit 142 may have a function of detecting the position where the user 90 is pointing based on the operation of the user 90. For example, the detection control unit 142 recognizes the movement of the finger of the user 90 based on information sensed by a camera, a depth sensor, or the like. Next, the detection control unit 142 analyzes the movement of the recognized finger of the user 90 to detect the position and posture of the finger. Then, the detection control unit 142 detects the position pointed by the user 90 with the finger as the pointing position based on the detected position and posture of the user 90 finger.
  • the storage control unit 144 has a function of controlling processing related to information stored in the storage unit 150.
  • the storage control unit 144 controls a trajectory storage process in which information related to the trajectory is stored in the storage unit 150 and a spatial arrangement storage process in which information related to the spatial arrangement is stored in the storage unit 150.
  • the locus storage process is a process in which the storage unit 150 stores the position information of the pointer detected by the detection control unit 142.
  • the storage control unit 144 controls the timing at which the storage unit 150 starts and ends the storage of the pointer position information.
  • the storage control unit 144 determines the position of the pointer position information at that time. Then, the storage unit 150 starts storing the locus. Further, when it is detected that the shape indicated by the pointer position information acquired continuously is a shape indicating that the detection of the trajectory is completed, the storage control unit 144 determines the position of the pointer position information at that time. Thus, the storage of the trajectory is terminated in the storage unit 150.
  • the storage control unit 144 determines from the position of the pointer position information at that time. Then, the storage unit 150 starts storing the locus.
  • FIG. 8 is an explanatory diagram illustrating an example of data stored in the storage unit according to the embodiment of the present disclosure.
  • the storage control unit 144 stores the coordinates (x 1 , y 1 ) in the storage unit 150. . Further, as shown in data example 2, when the pointer is located at coordinates (x 1 , y 1 , z 1 ) with respect to the origin, the storage control unit 144 sets the coordinates (x 1 , y 1 , z 1 ). The data is stored in the storage unit 150.
  • the storage control unit 144 causes the storage unit 150 to store vector data connecting the coordinates (x 1 , y 1 , z 1 ) and the coordinates (x 2 , y 2 , z 2 ).
  • the pointer position information stored in the storage unit 150 by the storage control unit 144 may be any of two-dimensional coordinates, three-dimensional coordinates, or vector data.
  • the storage control unit 144 may store the processing corresponding to the shape of the trajectory in the storage unit 150 in advance as the trajectory storage processing. For example, the storage control unit 144 causes the storage unit 150 to store that the shape of the locus indicating the circle is a shape indicating selection of the processing target. In addition, the storage unit 150 stores that the shape of the locus indicating the triangle is the shape indicating the end of recording of the locus. Further, the storage unit 150 stores that the shape of the locus indicating the rectangle is a shape indicating a processing policy of displaying information to be processed. In addition, the combination of the process corresponding to the shape of a locus
  • the spatial arrangement storage process is a process in which the storage unit 150 stores the name of the selection target arranged in the space and the position information.
  • the storage control unit 144 acquires the name of the selection target arranged in the space and the position information based on the position information of the selection target acquired by the environment evaluation device 30 input from the communication unit 130. For example, when the position information of the refrigerator is acquired as the position information of the selection target, the storage control unit 144 stores “refrigerator” in the storage unit 150 as the selection target name. In addition, the storage control unit 144 stores the position information of the refrigerator in the storage unit 150 in association with the “refrigerator” of the selection target name.
  • the storage control unit 144 is arranged in a space based on the position information of the selection target acquired by the environment evaluation device 30. The name and the position information need not be acquired.
  • the storage control unit 144 may exclude the object or the like from the selection target. .
  • the selection control unit 146 has a function of detecting a processing target. For example, the selection control unit 146 detects a plurality of processing targets that are continuously selected based on one continuous trajectory of pointer position information presented by the pointing device 20. Further, the selection control unit 146 may detect a plurality of processing targets that are continuously selected based on one continuous locus detected by pointing by the user or by movement of the user's line of sight.
  • the selection control unit 146 selects a processing target from the selection targets based on the trajectory will be described with reference to FIGS. 9 to 16.
  • FIG. 9 is an explanatory diagram illustrating an example of selection determination based on the shape of the locus on the selection target according to the embodiment of the present disclosure.
  • the user 90 operates the pointing device 20, moves the pointer as the locus 22 from the start position 23 ⁇ / b> A to the end position 23 ⁇ / b> B, and uses the desk calendar 71, the television 72, and the refrigerator 73 as processing targets.
  • An example of selection is shown.
  • the selection control unit 146 determines whether or not the selection target is selected as the processing target based on whether or not at least a part of the shape of the locus indicating that the processing target is detected is formed on the selection target. For example, it is assumed that the shape of the locus indicating that the processing target is detected is a circular shape. In the example illustrated in FIG. 9, when the user 90 selects the desktop calendar 71, the television 72, and the refrigerator 73, the user 90 moves the pointer so that the shape of the trajectory 22 is circular, and detects the processing target. Is formed on each selection target. Therefore, the selection control unit 146 determines that the desk calendar 71, the television 72, and the refrigerator 73 have been selected as processing targets.
  • the selection control unit 146 determines whether or not the selection target is selected as a processing target based on the time that the pointer stays on the selection target. Good.
  • FIG. 10 is an explanatory diagram illustrating an example of selection determination based on the staying time of the pointer on the selection target according to the embodiment of the present disclosure.
  • the user 90 operates the pointing device 20, moves the pointer like a locus 22 from the start position 23 ⁇ / b> A to the end position 23 ⁇ / b> B, and selects the desk calendar 71 and the refrigerator 73 as processing targets. Is shown.
  • the selection control unit 146 determines that the selection target is selected as the processing target. Specifically, it is assumed that the predetermined time is set to 2 seconds. In the example shown in FIG. 10, the pointer stays on the desk calendar 71 for 4 seconds, on the television 72 for 1 second, and on the refrigerator 73 for 2 seconds. Therefore, the selection control unit 146 determines that the desktop calendar 71 and the refrigerator 73 have been selected as processing targets.
  • the selection control unit 146 determines whether the selection target is selected as a processing target based on whether the pointer trajectory is bent on the selection target. May be.
  • FIG. 11 is an explanatory diagram illustrating an example of selection determination based on the bending of the pointer trajectory on the selection target according to the embodiment of the present disclosure.
  • the user 90 operates the pointing device 20, moves the pointer like a locus 22 from the start position 23 ⁇ / b> A to the end position 23 ⁇ / b> B, and selects the refrigerator 73 as a processing target.
  • the selection control unit 146 determines that the selection target in which the locus of the pointer on the selection target is bent within a predetermined angle is selected as the processing target. Specifically, it is assumed that the predetermined angle is set to 90 degrees. In the example shown in FIG. 11, the locus 22 of the pointer is substantially a straight line on the desk calendar 71 and the television 72, but is bent at an angle of 90 degrees or less on the refrigerator 73. Therefore, the selection control unit 146 determines that the refrigerator 73 has been selected as a processing target.
  • FIG. 12 is an explanatory diagram illustrating an example of selection determination based on acceleration / deceleration of the moving speed of the pointer on the selection target according to the embodiment of the present disclosure.
  • the user 90 operates the pointing device 20, moves the pointer like a locus 22 from the start position 23 ⁇ / b> A to the end position 23 ⁇ / b> B, and selects the desk calendar 71 and the refrigerator 73 as processing targets. Is shown.
  • the symbol “>” shown in the vicinity of the locus 22 shown in FIG. 12 indicates acceleration / deceleration of the moving speed of the pointer.
  • “>” Is a group of four, indicating that the movement speed of the pointer is accelerated when the interval between the four ">” is narrowed, and the movement speed of the pointer is reduced when the interval between the four ">” is widened. It is shown that.
  • the selection control unit 146 determines that the selection target is selected as the processing target.
  • the moving speed of the pointer is accelerated on the desk calendar 71, decelerated on the television 72, and accelerated on the refrigerator 73. Therefore, the selection control unit 146 determines that the desk calendar 71 and the refrigerator 73 have been selected as processing targets.
  • FIG. 13 is an explanatory diagram illustrating an example of selection determination based on the barycentric position of the shape of the trajectory on the selection target according to the embodiment of the present disclosure.
  • the user 90 operates the pointing device 20, moves the pointer like a locus 22 from the start position 23 ⁇ / b> A to the end position 23 ⁇ / b> B, and selects the desk calendar 71 and the television 72 as processing targets. Is shown.
  • the selection control unit 146 determines that the selection target is selected as the processing target.
  • the center of gravity 25A of the locus shape indicating that the selection target is selected as the processing target is present on the desk calendar 71
  • the center of gravity 25B is present on the television 72
  • the center of gravity 25C is present on the refrigerator 73. not exist. Therefore, the selection control unit 146 determines that the desk calendar 71 and the refrigerator 73 have been selected as processing targets.
  • the user 90 can easily select a processing target when a plurality of selection targets are close to each other.
  • FIG. 14 is an explanatory diagram illustrating an example of selection determination based on the area of the shape of the locus on the selection target according to the embodiment of the present disclosure.
  • the user 90 operates the pointing device 20, moves the pointer like a locus 22 from the start position 23 ⁇ / b> A to the end position 23 ⁇ / b> B, and selects the desk calendar 71 and the television 72 as processing targets. Is shown.
  • the selection control unit 146 selects the selection target as the processing target. It is determined that Specifically, it is assumed that the predetermined area is set to one quarter or more of the shape of the trajectory. In the example illustrated in FIG. 14, the area of the portion where the selection target overlaps the shape of the trajectory indicating that the selection target is selected as the processing target is one quarter or more on the desk calendar 71 and four minutes on the television 72. 1 or more and less than a quarter on the refrigerator 73. Therefore, the selection control unit 146 determines that the desktop calendar 71 and the television 72 have been selected as processing targets.
  • the user 90 can easily select a processing target when a plurality of selection targets are close to each other.
  • FIG. 15 is an explanatory diagram illustrating an example of processing when a non-selection target according to an embodiment of the present disclosure is selected.
  • the user 90 operates the pointing device 20 and projects a pointer onto the television 72
  • An example is shown.
  • the selection control unit 146 excludes the mug 77 from the selection target when the mug 77 which is another selection target exists between the output unit of the pointing device 20 and the television 72. Then, the selection control unit 146 can narrow down the television 72 as a selection target.
  • FIG. 16 is an explanatory diagram illustrating an example of selection determination based on the user's line of sight according to the embodiment of the present disclosure. In the diagram shown on the left side of FIG.
  • FIG. 16 illustrates an example in which a trajectory is rearranged on one selection target when the shape of the trajectory indicating that the selection target is selected as a processing target spans a plurality of selection targets.
  • the selection control unit 146 determines that the one selection target has been selected as a processing target. To do. In the example shown on the left side of FIG. 16, the shape of the trajectory indicating that the selection target is selected as the processing target is divided and exists as a trajectory 26 ⁇ / b> A and a trajectory 26 ⁇ / b> B on the television 72 and the mug 77, respectively. That is, the television 72 and the mug 77 are selected as a plurality of selection targets. However, the selection control unit 146 can determine that the user 90 is watching the television 72 based on the line of sight 91 of the user 90. Therefore, the selection control unit 146 determines that the television 72 has been selected as a processing target.
  • the selection control unit 146 may rearrange the trajectory to one processing target selected from a plurality of selection targets.
  • the selection control unit 146 selects one processing target from a plurality of selection targets based on the line of sight of the user 90 as described with reference to the left side of FIG. Deploy. Specifically, the selection control unit 146 determines that the television 72 has been selected as a processing target based on the line of sight 91 of the user 90. Then, the selection control unit 146 combines the trajectory 26A and the trajectory 26B, generates the trajectory 23C shown in the right diagram of FIG. 16, and arranges the trajectory 23C on the television 72.
  • the selection control unit 146 displays an image (still image / moving image) captured by the camera. ) And the selection target selected as the processing target may be determined.
  • the selection control unit 146 may perform control so that the user 90 cannot select any more selection targets. For example, the selection control unit 146 may control the pointing device 20 to display a warning near the pointer. In addition, the selection control unit 146 may control the pointing device 20 so that the response of the pointer is deteriorated, for example, by reducing the moving speed of the pointer.
  • the selection control unit 146 When a plurality of selection targets are included in the shape of one trajectory indicating that the user 90 has moved the pointer greatly to select the selection target as the processing target, the selection control unit 146 temporarily displays the plurality of selection targets. It may be determined that all of the selection targets are selected as processing targets. Then, the operation processing control unit 148 may control the display processing so that the user 90 can select the processing target at hand later.
  • the selection control unit 146 may determine the processing target selected from the selection targets based on the selection instruction by the voice of the user 90. For example, when the user 90 utters an instruction word such as “this” or “it”, the selection control unit 146 determines that a selection target closer to the position of the pointer at the time of utterance has been selected as a processing target. Further, the selection control unit 146 may cancel the selection of the processing target when the user 90 speaks to cancel the selection of the processing target.
  • the operation process control unit 148 has a function of controlling the operation process. For example, the operation processing control unit 148 performs batch operation processing on a plurality of processing targets based on processing policy information detected before or after the start of trajectory recording. Specifically, when the detected processing policy indicates that display processing for displaying processing target information of each of a plurality of processing targets is to be executed, the operation processing control unit 148 acquires the processing target information and performs display processing. Execute as a batch operation process. When the detected processing policy indicates that an operation process for operating a plurality of processing targets is to be executed, the operation process control unit 148 executes the operation process as a batch operation process.
  • the operation processing control unit 148 acquires processing target information regarding each processing target.
  • the acquisition destination of the processing target information varies depending on whether or not the processing target is an information processing device capable of communication.
  • the operation processing control unit 148 causes the communication unit 130 to communicate with the processing target, and obtains information received from the processing target as the processing target information. To do.
  • the processing target is the communicable television 72
  • the operation processing control unit 148 acquires program information acquired by communication between the television 72 and the communication unit 130 as processing target information.
  • the operation processing control unit 148 acquires processing target information from other than the processing target.
  • the operation processing control unit 148 acquires processing target information from other than the processing target. Specifically, when the processing target is the television 72 that cannot communicate, the operation processing control unit 148, for example, causes the communication unit 130 to communicate with an external server device, and the communication unit 130 receives the television from the external server device. 72 program information is acquired as processing target information. When the processing target is an object that is not an information processing device such as the desk calendar 71, the operation processing control unit 148 acquires, for example, calendar information from the storage unit 150 as processing target information. Then, the operation processing control unit 148 causes the projection device 50 to project the acquired plurality of pieces of processing target information collectively to the position specified by the user. Note that the acquisition destination of the processing target information when the operation processing control unit 148 acquires the processing target information from other than the processing target is not limited to the above example. Next, an example of display processing executed by the operation processing control unit 148 will be described with reference to FIGS.
  • FIG. 17 is an explanatory diagram illustrating a display example of information at a specified position based on a user instruction according to the embodiment of the present disclosure.
  • the user 90 operates the pointing device 20, moves the pointer from the start position 23 ⁇ / b> A like the locus 22, and selects the desk calendar 71, the television 72, and the refrigerator 73 as processing targets.
  • calendar information 52 which is information related to the desktop calendar 71 selected as a processing target
  • a program image 56 which is information related to the television 72
  • an internal image 55 which is information related to the refrigerator 73
  • the operation processing control unit 148 changes the layout of the processing target information 51 to be displayed, for example, based on the shape of a trajectory indicating that the processing target is detected when the display processing is executed as the batch operation processing. Specifically, the operation processing control unit 148 configures a layout in the processing target information 51 so that each processing target information is displayed in a larger order in descending order of the number of times the trajectory 22 on the processing target is bent.
  • the shape of the locus 22 when the user 90 selects the desktop calendar 71, the television 72, and the refrigerator 73 is the locus 22 bent in the order of the desktop calendar 71, the refrigerator 73, and the television 72. There are many times. Therefore, as shown in FIG. 17, the operation processing control unit 148 displays the calendar information 52 in the largest size, displays the internal image 55 in the second largest size, and displays the program video 56 in the smallest size.
  • the operation processing control unit 148 can automatically generate a layout for presenting the processing target information based on the selection status of the processing target.
  • FIG. 18 is an explanatory diagram illustrating a display example of information at a position corresponding to a processing target according to the embodiment of the present disclosure. In the example illustrated in FIG.
  • the user 90 operates the pointing device 20, moves the pointer from the start position 23 ⁇ / b> A like the locus 22, and selects the desk calendar 71, the television 72, and the refrigerator 73 as processing targets.
  • the calendar information 52 which is the information regarding the desk calendar 71 selected as a process target
  • chamber which is the information regarding the refrigerator 73 are projected on the wall surface of space as the process target information 51A.
  • a remote controller image 57 that is information related to the television 72 is projected on the table 75 as the processing target information 51B. Note that the user 90 can operate the television 72 by touching a button on the remote controller image 57.
  • the operation processing control unit 148 determines a display location for each piece of processing target information, for example, based on the content of the acquired processing target information when executing the display processing as the batch operation processing. For example, the calendar information 52 and the internal image 55 are more visible when they are displayed larger. Therefore, the operation processing control unit 148 displays the calendar information 52 and the in-compartment image 55 as processing target information 51A on a wall surface of the space.
  • the remote controller image 57 is more convenient for the user when it is closer to the user 90. Therefore, the operation processing control unit 148 displays the remote controller image 57 on the table 75 close to the user 90 as the processing target information 51B.
  • FIG. 19 is an explanatory diagram illustrating a display example of information when there is no position designation according to the embodiment of the present disclosure.
  • the user 90 operates the pointing device 20, moves the pointer from the start position 23 ⁇ / b> A as the locus 22, and selects the desk calendar 71, the television 72, and the refrigerator 73 as processing targets.
  • the information regarding the desk calendar 71 selected as a process target, the television 72, and the refrigerator 73 is projected as the process target information 51 on the wall surface of space.
  • the operation processing control unit 148 may display the processing target information at a more suitable position based on, for example, the content of the processing target information, the position of the user 90, and the like.
  • the processing target information 51 includes information related to the desk calendar 71 including characters. Therefore, visibility is better when displayed on a wall that can be displayed larger.
  • the user 90 can easily visually recognize the processing target information 51 when displayed closer to the user 90. Therefore, the operation processing control unit 148 displays the processing target information 51 on the wall surface closer to the user 90 shown in FIG.
  • FIG. 20 is an explanatory diagram illustrating a display example of information when the display position cannot be estimated without the position designation according to the embodiment of the present disclosure.
  • the figure shown in the upper side of FIG. 20 is a diagram in which the user 90 is instructed to designate the display position of information after selecting the processing target.
  • the figure shown in the lower side of FIG. 20 is a diagram in which the user 90 designates the display location of information.
  • the user 90 operates the pointing device 20 to move the pointer as the locus 22 from the start position 23A to the end position 23B, thereby processing the desk calendar 71, the television 72, and the refrigerator 73. Selected as a target. However, it is assumed that the position for displaying the processing target information is not designated.
  • the operation processing control unit 148 may display the processing target information at a more suitable position based on the content of the processing target information, the position of the user 90, and the like. Good. However, if the appropriate position cannot be estimated, the operation processing control unit 148 may give an instruction to the user 90 to specify the position for displaying the processing target information by voice using the speaker 80. Good. For example, as illustrated in the upper diagram of FIG. 20, the operation processing control unit 148 causes the speaker 80 to output a sound “Specify a location for displaying information”.
  • the user 90 that has received an instruction from the operation processing control unit 148 utters “here.” While pointing the position where the pointing device 20 displays the processing target information in the table 75. Specify the upper position 25.
  • the operation processing control unit 148 detects the position designation by the user 90, the operation processing control unit 148 displays the processing target information at the detected position 25.
  • FIG. 21 is an explanatory diagram illustrating a presentation example of information based on the weight according to the embodiment of the present disclosure.
  • the operation processing control unit 148 sets a weight for each of the plurality of processing target information, and a weight corresponding to the state of the trajectory detected on the processing target.
  • the processing target information for which is set may be displayed.
  • the operation processing control unit 148 sets a weight for each of a plurality of pieces of processing target information, and the operation processing control unit 148 sets a weight according to the time when the pointer moves over the processing target. Information is projected on the projection device 50.
  • the operation processing control unit 148 sets the weight 1 to the remote controller image 53A and sets the program information 53B.
  • the operation processing control unit 148 determines that the processing target information of weight 1 is the time when the pointer has moved over the processing target is less than the predetermined time, and the time when the pointer has moved over the processing target is equal to or longer than the predetermined time. A condition for selecting processing target information of weight 2 is set.
  • weight example 1 in FIG. 19 it is assumed that the time when the pointer moves on the television 72 to be processed is less than a predetermined time.
  • the remote controller image 53A is displayed as the processing target information as in display example 1.
  • the time when the pointer moves on the television 72 to be processed is a predetermined time or more.
  • the program information 53B is displayed as the processing target information as in display example 2.
  • the operation processing control unit 148 further displays information about the virtual object, for example, May be projected onto the projection device 50.
  • FIG. 22 is an explanatory diagram illustrating an example of the operation process according to the embodiment of the present disclosure.
  • the figure shown on the upper side of FIG. 22 is a diagram showing that the user 90 has selected the processing target. 22 is a diagram showing that the user 90 has designated an operation process.
  • the operation processing control unit 148 causes the plurality of processing targets to collectively execute the operation process specified by the user.
  • the user 90 operates the pointing device 20, moves the pointer like the locus 22 from the start position 23 ⁇ / b> A to the end position 23 ⁇ / b> B, and the television 72 and the illumination 74 are processed. Selected.
  • the user 90 gives an instruction related to the operation processing by saying “Turn on”.
  • the operation processing control unit 148 that has detected the instruction causes the television 72 and the illumination 74 that are processing targets to collectively execute an operation process of turning on the power according to the instruction.
  • Storage unit 150 has a function of storing data acquired by processing in the information processing apparatus.
  • the storage unit 150 stores pointer position information, a selection target name, and selection target position information output from the storage control unit 144.
  • the information stored in the storage unit 150 is not limited to the trajectory data described above.
  • the storage unit 150 may store processing target information to be processed.
  • the storage unit 150 may store data output in the processing of the control unit 140, programs such as various applications, data, and the like.
  • FIG. 23 is a sequence diagram illustrating an operation example of the information processing system according to the embodiment of the present disclosure.
  • display processing when the user selects a processing target in the order of the refrigerator 73, the television 72, and the desk calendar 71 using the pointing device 20 will be described.
  • the refrigerator 73 and the television 72 are objects that are communicable information processing devices
  • the desk calendar 71 is an object that is not an information processing device.
  • the pointing device 20 when the pointing device 20 is activated using a user operation or the like as a trigger, the pointing device 20 notifies the information processing server 10 of the activation (step S1000).
  • the information processing server 10 Upon receiving a notification that the pointing device 20 has been activated, the information processing server 10 is in a state where the pointer locus can be recorded (step S1002).
  • the sensor device 40 transmits sensing data acquired by sensing space to the information processing server 10 (step S1004).
  • the information processing server 10 When the information processing server 10 detects the pointer based on the sensing data, the information processing server 10 starts a recording process of the locus of the pointer and a processing target detection process (step S1006).
  • the information processing server 10 determines that the refrigerator 73 is an information processing device capable of communication, and notifies the refrigerator 73 that the refrigerator 73 is selected as a processing target. (Step S1008).
  • the refrigerator 73 transmits an image in the refrigerator to the information processing server 10 as information regarding the processing target (step S1010).
  • the information processing server 10 receives the image in the refrigerator from the refrigerator 73, the information processing server 10 transmits an instruction to perform a VFB output to the refrigerator 73 to the projection device 50 (step S1012).
  • the information processing server 10 determines that the television 72 is an information processing device with which the television 72 can communicate, and then indicates that the television 72 is selected as a processing target. (Step S1014).
  • the television 72 transmits the program information as information regarding the processing target to the information processing server 10 (step S1016).
  • the information processing server 10 receives the program information from the television 72, the information processing server 10 transmits an instruction to perform a VFB output to the television 72 to the projection device 50 (step S1018).
  • the information processing server 10 determines that the desk calendar 71 is an object that is not an information processing device, and acquires information about the desk calendar 71 from the storage unit 150. (Step S1019).
  • the information processing server 10 When the information processing server 10 detects that the recording process of the pointer locus is finished based on the sensing data, the information processing server 10 ends the recording process of the pointer locus. Further, the information processing server 10 evaluates the processing target selected in the entire stroke writing (step S1020). The information processing server 10 generates display information to be projected on the projection device 50 based on the evaluation result, and determines a position at which the generated display information is projected (step S1022). And the information processing server 10 transmits the instruction
  • FIG. 24 is a flowchart illustrating a main process of the information processing apparatus according to the embodiment of the present disclosure.
  • the information processing server 10 confirms whether or not the start of recording of the locus has been detected (step S2000). When the recording start of the trajectory is not detected (step S2000 / NO), the information processing server 10 repeats the process of step S2000 until the recording start of the trajectory is detected.
  • step S2000 When detecting the start of locus recording (step S2000 / YES), the information processing server 10 confirms whether or not it has been detected that the processing target by the user has been selected (step S2002). When it is not detected that the processing target has been selected (step S2002 / NO), the information processing server 10 repeats the process of step S2002 until it is detected that the processing target has been selected.
  • step S2002 When it is detected that the processing target has been selected (step S2002 / YES), the information processing server 10 checks whether or not the shape of the trajectory when the processing target is selected is within the user's field of view (step S2004). ). If the area is not within the user's field of view (step S2004 / NO), the information processing server 10 executes a process of step S2008 described later.
  • step S2004 If the detected locus shape is within the user's field of view (step S2004 / YES), the information processing server 10 rearranges the detected locus shape (step S2006), and executes the process of step S2008.
  • step S2008 the information processing server 10 detects an object that exists in the extending direction of the detected locus shape (step S2008). After detecting the object, the information processing server 10 checks whether or not the detected object is a selection target (step S2010). When the detected object is not a selection target (step S2010 / NO), the information processing server 10 executes a process of step S2022 described later.
  • step S2010 If the detected object is a selection target (step S2010 / YES), the information processing server 10 checks whether there are a plurality of selection targets (step S2012). When a plurality of selection targets do not exist (step S2012 / NO), the information processing server 10 selects the detected object as a processing target (step S2018), and executes a process of step S2020 described later.
  • the information processing server 10 calculates the area of a portion where each selection target and the area surrounded by the trajectory overlap (step S2014). After calculating the area, the information processing server 10 selects a selection target having a larger area as a processing target (step S2016), and executes the process of step S2020.
  • the information processing server 10 confirms whether or not to acquire processing target information from the selected processing target.
  • the information processing server 10 acquires the processing target information from the processing target through communication with the processing target (step S2022), and executes the process of step S2026.
  • the information processing server 10 acquires the processing target information from other than the processing target such as the storage unit 150 or an external server (step S2024). The process of S2026 is executed.
  • step S2026 the information processing server 10 stores the area of the area where the area and the process target overlap among the areas calculated in step S2014 (step S2026), and executes the process of step S2028.
  • step S2028 the information processing server 10 confirms whether or not the recording end of the locus has been detected (step S2028).
  • step S2028 / YES the information processing server 10 executes a batch operation process (step S2030) and ends the process. The detailed process flow of the batch operation process will be described later.
  • step S2028 / NO the information processing server 10 repeats the processing from step S2002 to step S2026 described above until the end of recording of the locus is detected.
  • FIG. 25 is a flowchart illustrating a batch operation process according to an embodiment of the present disclosure.
  • the information processing server 10 checks whether or not the batch operation processing to be executed is designated by the user (step S3000). When the batch operation process is designated (step S3000 / YES), the information processing server 10 executes the process of step S3008 described later.
  • the information processing server 10 checks whether or not the position is designated by the user (step S3002). If the position is designated (step S3002 / YES), the information processing server 10 causes the projection device 50 to project information related to the processing target to the position designated by the user (step S3006), and ends the collective operation process.
  • the information processing server 10 determines the position (step S3004), causes the projection device 50 to project information on the processing target to the determined position (step S3006), and collects them. End the operation process.
  • step S3008 the information processing server 10 checks whether it is necessary to specify a position in order to execute the batch operation process specified by the user (step S3008). When designation of a position is necessary (step S3008 / YES), the information processing server 10 executes a process of step S3012 described later.
  • step S3010 the information processing server 10 executes the batch operation process specified by the user (step S3010) and ends the batch operation process.
  • step S3012 the information processing server 10 confirms whether or not the position is designated by the user (step S3012).
  • step S3012 the position is designated (step S3012 / YES)
  • step S3014 the designated process at the designated position (step S3014) and ends the batch operation process.
  • step S3012 the information processing server 10 checks whether it is possible to determine the position for executing the specified process (step S3016). If it is possible to determine the position (step S3016 / YES), the information processing server 10 determines the position (step S3018), executes the process specified at the determined position (step S3014), and collects all End the operation process.
  • step S3016 If it is not possible to determine the position (step S3016 / NO), the information processing server 10 instructs the user to specify the position to execute the process (step S3020). After instructing the user, the information processing server 10 confirms whether or not the designation of the position from the user has been detected (step S3022). When the designation of the position from the user is detected (step S3022 / YES), the information processing server 10 executes the process designated at the designated position (step S3014) and ends the batch operation process.
  • step S3022 If the position designation from the user is not detected (step S3022 / NO), the information processing server 10 checks whether or not a certain time has passed (step S3024). If the certain time has not elapsed (step S3024 / NO), the process of step S3022 is executed again.
  • step S3024 / YES If the predetermined time has elapsed (step S3024 / YES), the information processing server 10 ends the batch operation process without executing the designated process.
  • FIG. 26 is a block diagram illustrating a hardware configuration example of the information processing server 10 according to the embodiment of the present disclosure.
  • the information processing server 10 includes, for example, a CPU 101, a ROM 103, a RAM 105, a host bus 107, a bridge 109, an external bus 111, and an interface 113.
  • the information processing server 10 also includes an input device 115, an output device 117, an audio output device 119, a storage device 121, a drive 123, a removable recording medium 125, and a communication device 127.
  • the hardware configuration shown here is an example, and some of the components may be omitted.
  • the hardware configuration may further include components other than the components shown here.
  • the CPU 101 functions as, for example, an arithmetic processing device or a control device, and controls the overall operation of each component or a part thereof based on various programs recorded in the ROM 103, the RAM 105, the storage device 121, or the removable recording medium 125.
  • the ROM 103 is a means for storing a program read by the CPU 101, data used for calculation, and the like.
  • a program read by the CPU 101 various parameters that change as appropriate when the program is executed, and the like are temporarily or permanently stored.
  • These are connected to each other by a host bus 107 including a CPU bus.
  • CPU101, ROM103, and RAM105 can implement
  • the CPU 101, the ROM 103, and the RAM 105 are connected to each other via, for example, the host bus 107 capable of high-speed data transmission.
  • the host bus 107 is connected to the external bus 111 having a relatively low data transmission speed via the bridge 109, for example.
  • the external bus 111 is connected to various components via the interface 113.
  • the input device 115 for example, a mouse, a keyboard, a touch panel, a button, a switch, a lever, or the like is used. Furthermore, as the input device 115, a remote controller capable of transmitting a control signal using infrared rays or other radio waves may be used.
  • the input device 115 includes a voice input device such as a microphone.
  • the output device 117 includes a display device such as a CRT (Cathode Ray Tube) display device or a liquid crystal display (LCD) device. Further, the output device 117 includes a display device such as a projector device, an OLED (Organic Light Emitting Diode) device, and a lamp.
  • the audio output device 119 is a device such as a speaker and headphones.
  • the storage device 121 is a device for storing various data.
  • a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like is used.
  • the storage device 121 can realize the function of the storage unit 150 described with reference to FIG.
  • the drive 123 is a device that reads information recorded on the removable recording medium 125 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, or writes information to the removable recording medium 125.
  • the removable recording medium 125 is, for example, a DVD medium, a Blu-ray (registered trademark) medium, an HD DVD medium, or various semiconductor storage media.
  • the removable recording medium 125 may be, for example, an IC card on which a non-contact IC chip is mounted, an electronic device, or the like.
  • the communication device 127 is a communication device for connecting to a network.
  • the information processing apparatus is based on the position information of the pointer in the space and the position information of the selection target in the space. A plurality of processing objects selected in succession are detected.
  • the information processing apparatus can collectively process a plurality of detected processing targets based on processing policy information indicating a processing policy specified by the user for the detected plurality of processing targets. Execute batch operation processing that executes operations.
  • the information processing apparatus can perform operation processing for a plurality of processing targets at once by executing a batch operation processing for the plurality of processing targets after selecting a plurality of processing targets.
  • the information processing apparatus can provide a new and improved information processing apparatus, information processing method, and program capable of improving the operability when the user selects a plurality of objects at once. Is possible.
  • the series of processing by each device described in this specification may be realized using any of software, hardware, and a combination of software and hardware.
  • a program constituting the software is stored in advance in a recording medium (non-transitory medium) provided inside or outside each device.
  • Each program is read into a RAM when executed by a computer and executed by a processor such as a CPU.
  • Detection processing for detecting a plurality of processing targets selected by the user continuously from a plurality of selection targets in the space, based on user-instructed position information in the space and target position information in the space, and detected
  • a control unit for executing a batch operation process for executing a batch operation on the plurality of detected processing targets based on processing policy information indicating a processing policy specified by the user for the plurality of processing targets;
  • An information processing apparatus comprising: (2) The information processing apparatus according to (1), wherein the control unit detects the plurality of processing targets that are continuously selected based on a continuous locus of the presented user-instructed position information.
  • the control unit continuously detects the shape indicated by the user-instructed position information acquired continuously from the position of the user-indicated position information detected as a shape indicating that the detection of the locus is started.
  • the shape indicated by the user-instructed position information acquired in the step is set as the target range of the collective operation processing up to the position of the user-instructed position information that is detected to be a shape indicating that the detection of the locus is finished.
  • the information processing apparatus according to (2).
  • the control unit detects the trajectory from the position of the user-instructed position information that has been detected that the shape indicated by the user-indicated position information continuously acquired is a shape that indicates that the processing target is to be detected.
  • the information processing apparatus wherein (5) Whether the selection target is selected as the processing target based on whether at least a part of the shape of the locus indicating that the processing target is detected is formed on the selection target.
  • the information processing apparatus according to any one of (2) to (4), wherein: (6) If the selection target partially overlaps the shape of the trajectory indicating that the processing target is detected, The control unit determines whether or not the selection target is selected as the processing target based on whether or not the center of gravity of the shape of the locus indicating detection of the processing target exists on the selection target.
  • the information processing apparatus according to (5).
  • the information processing apparatus determines whether the selection target is selected as the processing target based on an area of an overlapping portion.
  • the control unit selects one processing target from a plurality of the selection targets based on the line of sight of the user.
  • the information processing apparatus When there are a plurality of the selection targets on a straight line connecting the position of the operation object and the position of the user instruction position information, and the trajectory overlaps with the plurality of selection targets,
  • the information processing apparatus according to (8), wherein the control unit rearranges the trajectory in one processing target selected from a plurality of the selection targets.
  • the control unit excludes, from among the plurality of selection targets, a selection target for which processing to be executed based on the processing policy is not set, from among the plurality of selection targets.
  • the information processing apparatus according to one item.
  • the control unit executes the batch operation process based on the user's action indicating the processing policy information detected before or after the start of the recording of the trajectory, any one of (2) to (10) The information processing apparatus according to one item.
  • the information processing apparatus according to (13), wherein projection is performed.
  • the information processing unit according to (13) or (14), wherein the control unit changes the processing target information to be projected on the projection device according to a time when the user-instructed position information moves on the processing target. apparatus.
  • the batch operation process is an operation process that causes each of the plurality of processing targets to perform the same operation
  • the information processing apparatus according to any one of (11) to (15), wherein the control unit causes the plurality of processing targets to collectively execute the operation process specified by the user.
  • the information processing apparatus according to any one of (2) to (16), wherein a shape of the trajectory indicating that the user has selected the processing target is different from a shape of the trajectory indicating the processing policy. .

Abstract

空間内のユーザ指示位置情報及び前記空間内の対象位置情報に基づいて、前記空間内の複数の選択対象の中からユーザが連続的に選択した複数の処理対象を検出する検出処理、及び検出された前記複数の処理対象に対して前記ユーザが指定した処理方針を示す処理方針情報に基づいて、検出された前記複数の処理対象に対して一括操作を実行する一括操作処理を実行する制御部（１４０）、を備える情報処理装置。

Description

情報処理装置、情報処理方法、及びプログラム
　本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
　現在、スマートホームに関する技術が普及している。当該技術により、例えば、ユーザは、ジェスチャ又は音声等により、生活空間に存在する機器の選択及び操作を行うことができる。
　上述の技術に関連し、例えば、下記特許文献１には、ユーザの視線に基づき操作対象の機器を検出し、当該機器を操作するための操作オブジェクトをユーザの付近に表示し、当該操作オブジェクトを用いてユーザが機器を操作する技術が開示されている。当該技術では、ユーザが複数の機器の各々に対して視線を向けることで、複数の機器を一括で選択し、選択された各々の機器を操作するための操作オブジェクトがユーザの付近（例えば手元）に表示される。そして、ユーザは、操作オブジェクト上で操作対象となる機器を１つ選択し、選択した機器に対する操作指示を入力することで、手元で機器を操作することができる。
国際公開第２０１８／００８２１８号
　しかしながら、上記の技術は、ユーザが操作オブジェクト上に表示された複数の機器の内の１つを選択し、選択された機器の処理を逐次的に実行することを前提とした技術である。そのため、ユーザは、複数の機器を選択して各々の機器の処理をまとめて実行させることはできず、１つの機器を選択して操作指示を入力するという動作を操作対象の機器の数だけ繰り返す必要がある。よって、ユーザが複数の機器の処理をまとめて実行したい場合の操作性はよくない。
　そこで、本開示では、ユーザが複数の物体を一括で選択した際の操作性を向上することが可能な、新規かつ改良された情報処理装置、情報処理方法、及びプログラムを提案する。
　本開示によれば、空間内のユーザ指示位置情報及び前記空間内の対象位置情報に基づいて、前記空間内の複数の選択対象の中からユーザが連続的に選択した複数の処理対象を検出する検出処理、及び検出された前記複数の処理対象に対して前記ユーザが指定した処理方針を示す処理方針情報に基づいて、検出された前記複数の処理対象に対して一括操作を実行する一括操作処理を実行する制御部、を備える情報処理装置が提供される。
　また、本開示によれば、空間内のユーザ指示位置情報及び前記空間内の対象位置情報に基づいて、前記空間内の複数の選択対象の中からユーザが連続的に選択した複数の処理対象を検出する検出処理、及び検出された前記複数の処理対象に対して前記ユーザが指定した処理方針を示す処理方針情報に基づいて、検出された前記複数の処理対象に対して一括操作を実行する一括操作処理を実行すること、を含むプロセッサにより実行される情報処理方法が提供される。
　また、本開示によれば、コンピュータを、空間内のユーザ指示位置情報及び前記空間内の対象位置情報に基づいて、前記空間内の複数の選択対象の中からユーザが連続的に選択した複数の処理対象を検出する検出処理、及び検出された前記複数の処理対象に対して前記ユーザが指定した処理方針を示す処理方針情報に基づいて、検出された前記複数の処理対象に対して一括操作を実行する一括操作処理を実行する制御部、として機能させるためのプログラムが提供される。
　以上説明したように本開示によれば、ユーザが複数の物体を一括で選択した際の操作性を向上することが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態に係る情報処理システムの概要を示す説明図である。 同実施形態に係る複数の処理対象の選択時におけるポインティング装置の操作例を示す説明図である。 同実施形態に係る軌跡の記録開始時又は終了時におけるポインティング装置の操作例を示す説明図である。 同実施形態に係る処理対象の選択時における軌跡の形状例を示す説明図である。 同実施形態に係る処理対象に関する情報の提示例を示す説明図である。 同実施形態に係る処理対象の選択状態の提示例を示す説明図である。 同実施形態に係る情報処理装置の機能構成例を示すブロック図である。 同実施形態に係る記憶部が記憶するデータ例を示す説明図である。 同実施形態に係る選択対象上における軌跡の形状に基づく選択判定の例を示す説明図である。 同実施形態に係る選択対象上におけるポインタの滞留時間に基づく選択判定の例を示す説明図である。 同実施形態に係る選択対象上におけるポインタの軌跡の屈曲に基づく選択判定の例を示す説明図である。 同実施形態に係る選択対象上におけるポインタの移動速度の加減速に基づく選択判定の例を示す説明図である。 同実施形態に係る選択対象上の軌跡の形状の重心位置に基づく選択判定の例を示す説明図である。 同実施形態に係る選択対象上の軌跡の形状の面積に基づく選択判定の例を示す説明図である。 同実施形態に係る非選択対象が選択された際の処理の例を示す説明図である。 同実施形態に係るユーザの視線に基づく選択判定の例を示す説明図である。 同実施形態に係るユーザの指示に基づく指定された位置への情報の表示例を示す説明図である。 同実施形態に係る処理対象に応じた位置への情報の表示例を示す説明図である。 同実施形態に係る位置指定がない場合の情報の表示例を示す説明図である。 同実施形態に係る位置指定がなく表示位置の推定ができない場合の情報の表示例を示す説明図である。 同実施形態に係る重みに基づく情報の提示例を示す説明図である。 同実施形態に係る動作処理の例を示す説明図である。 同実施形態に係る情報処理システムの動作例について説明する。 同実施形態に係る情報処理サーバのメイン処理を示すフローチャートである。 同実施形態に係る一括操作処理を示すフローチャートである。 同実施形態に係る情報処理サーバのハードウェア構成例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．本開示の実施形態
　　１．１．システム概要
　　１．２．システム構成例
　　１．３．情報処理装置の機能構成例
　　１．４．動作例
　２．ハードウェア構成例
　３．まとめ
　＜＜１．本開示の実施形態＞＞
　近年、スマートホームに関する技術が普及している。スマートホームとは、例えば、生活空間に存在する家電製品等の機器をインターネットに接続し、家電製品の動作等を制御することで、より快適な生活をすることができる家のことである。具体的に、ユーザは、音声により生活空間内の機器を選択し、選択した機器を音声により操作することができる。音声だけでは機器の操作が困難な場合があるため、ジェスチャにより機器の選択及び操作が可能な技術もある。
　しかしながら、上記の技術は、ユーザが複数の機器の内の１つを選択し、選択された機器の処理を逐次的に実行することを前提とした技術である。そのため、ユーザは、複数の機器を選択して各々の機器の処理をまとめて実行させることはできず、１つの機器を選択して操作指示を入力するという動作を機器の数だけ繰り返す必要がある。よって、ユーザが複数の機器の処理をまとめて実行したい場合の操作性はよくない。
　本開示の実施形態では、上記の点に着目して発想されたものであり、ユーザが複数の物体を一括で選択した際の操作性を向上することが可能な技術を提案する。なお、以下では、ユーザが居住空間に設置された家電製品等の物体を複数選択した際の操作性について説明する。
　＜１．１．システム概要＞
　以下では、図１を参照しながら、本開示の実施形態に係る情報処理システムの概要について説明する。図１は、本開示の実施形態に係る情報処理システムの概要を示す説明図である。なお、本開示の実施形態に係る情報処理システムは、図１に示す情報処理サーバ１０、ポインティング装置２０、環境評価装置３０、センサ装置４０、及び投射装置５０で構成される。また、情報システムの各構成要素は、ネットワーク６０を介して互いに接続されている。
　図１に示す空間は、居住空間であり、当該居住空間には、ポインティング装置２０を把持したユーザ９０が存在する。ユーザ９０は、ポインティング装置２０を操作することで、操作処理の対象となる機器（以下では、処理対象とも称される）を選択する。ここで、操作処理とは、情報処理サーバ１０が実行する処理対象に関する処理である。例えば、処理対象に関する情報（以下では、処理対象情報とも称される）が存在する場合、情報処理サーバ１０は、複数の処理対象情報を他の装置（例えば、投射装置５０）に表示させる処理（以下では、表示処理とも称される）を操作処理として実行する。また、複数の処理対象が家電製品等の情報処理機器である場合、情報処理サーバ１０は、複数の処理対象を動作させる処理（以下では、動作処理とも称される）を操作処理として実行する。
　また、図１に示す空間には、ユーザが処理対象として選択可能な物体（以下では、選択対象とも称される）が複数存在する。選択対象は、空間内に実在する実オブジェクト、または空間内に投射装置５０により投射された仮想オブジェクトの２つに分類される。実オブジェクトは、さらに、情報処理機器である物体と情報処理機器以外の物体の２つに分類される。本実施形態における情報処理機器である物体とは、例えば、図１に示すテレビ７２、冷蔵庫７３、及び照明７４である。また、本実施形態における情報処理機器でない物体とは、例えば、図１に示すアナログ時計７０、卓上カレンダー７１、及びテーブル７５である。また、観葉植物７６のように、情報処理機器でない物体であり、ユーザに提示する情報を特に有していない物体は、選択対象から除外するように設定されてもよい。また、選択対象から除外する物体の判定基準は、例えば、食料品のような消費材であること、または人や動物等の動体であること等であってもよい。
　また、仮想オブジェクトは、基本的には、実オブジェクト、及び仮想オブジェクトに関する情報を提示する。また、仮想オブジェクトは、選択されることで機能を実行してもよい。当該機能とは、例えば、情報処理機器の機能である。具体的に、仮想オブジェクトは、ユーザにポインティング装置２０で選択されると、テレビの電源をオンにしてもよい。このように、仮想オブジェクトは、選択されることで情報処理機器等の機能を実行するショートカット機能を有してもよい。
　また、仮想オブジェクトは、別室や遠隔地に関する情報を表示してもよい。例えば、仮想オブジェクトは、別室に配置されている情報処理機器等の情報を表示する。例えば、ユーザが仮想オブジェクトに表示された別室のテレビをポインティング装置２０で選択した場合、仮想オブジェクトは別室のテレビの電源をオンにしてもよい。
　ユーザ９０は、選択対象から処理対象を選択する際には、ポインティング装置２０から出力される光等のポインタの位置（ユーザ指示位置）を移動させる。ユーザ９０は、ポインタの位置を移動し、連続的に複数の選択対象にポインタを当てること（以下では、一筆書きとも称される）で複数の処理対象を選択する。ユーザ９０は、ポインティング装置２０を用いて一筆書きを行うことで、複数の処理対象を一括で選択することができる。
　情報処理サーバ１０は、環境評価装置３０から選択対象の位置情報（以下では、対象位置情報とも称される）を取得する。また、情報処理サーバ１０は、センサ装置４０から取得するセンシングデータに基づき、ポインタの位置を検出することでポインタの位置情報（ユーザ指示位置情報）を取得する。情報処理サーバ１０は、当該ポインタの位置情報に基づき、ポインタが移動した経路（以下では、軌跡とも称される）を把握することができる。そして、情報処理サーバ１０は、取得した対象位置情報と軌跡に基づき、ユーザに一括で選択された複数の処理対象を検出する処理（以下では、検出処理とも称される）を行う。
　ユーザ９０が複数の処理対象を一括で選択した場合、情報処理サーバ１０は、各々の機器に対する操作処理をまとめて実行する処理（以下では、一括操作処理とも称される）を行う。なお、一括操作処理は、ユーザ９０の特定の操作に基づき実行されてもよい。ユーザ９０の特定の操作は、例えば、一括操作処理を実行する旨を示す操作であり、ユーザ９０は、ポインティング装置２０を用いて特定の操作を行う。
　一括操作処理では、例えば、複数の機器に対して同一の操作が行われる。具体的に、複数の機器の電源をオンにする操作が一括で行われる。また、一括操作処理では、同一カテゴリの操作が行われてもよい。具体的に、操作のカテゴリが情報表示である場合、複数の機器の各々は、情報表示という同一の操作を行うが、表示する情報は各々の機器に応じた情報であってよい。また、一括操作処理では、機器ごとに予め設定された操作がまとめて同時に実行されてもよい。具体的に、処理対象として冷蔵庫７３、及び照明７４が一括で選択された場合、情報処理サーバ１０は、冷蔵庫７３に対しては庫内の画像を表示する処理を実行し、照明７４に対してはトグルの操作により電源のオンとオフを切り替える処理を実行してもよい。なお、以下では、操作処理として一括操作処理が行われるものとして説明する。
　また、ユーザ９０は、ポインタを移動することで形成される形状（以下では、軌跡の形状とも称される）により、どの一括操作処理を情報処理サーバ１０に実行させるかの方針を示す情報（以下では、処理方針情報とも称される）を示すことができる。情報処理サーバ１０は、センサ装置４０が計測するポインタの位置情報に基づき、処理方針情報を検出し、検出した処理方針情報に基づき一括操作処理を実行する。なお、軌跡の形状は、操作物体の位置から軌跡を見た際の形状である。具体的に、軌跡の形状は、ポインティング装置２０の出力部から軌跡を見た際の形状である。即ち、ポインティング装置２０の出力部から見て奥行き方向の違いを無視して、軌跡の形状が検出されるものとする。例えば、テレビ７２からテレビ７２の奥の壁に一部はみ出すように円形で移動したポインタの軌跡の形状は、円形であるものとする。なお、操作物体は、ユーザ９０が処理対象の選択、または処理方針情報の提示等に用いる物体であり、ポインティング装置２０、またはユーザ９０の手指等を含み得る。また、操作物体の位置は、例えば、ポインティング装置２０の出力部の位置、またはユーザ９０の指の先端の位置等である。また、ユーザ９０がポインティング装置２０を操作して処理方針情報を示すことは、上述したユーザ９０の特定の操作の一例である。
　上述のように、情報処理サーバ１０が検出処理、及び一括操作処理を実行することで、ユーザが複数の物体を一括で選択した際の操作性を向上することが実現される。
　以上、図１を参照しながら、本開示の実施形態に係る情報処理システムの概要について説明した。続いて、本開示の実施形態に係る情報処理システムの構成例について説明する。
　＜１．２．システム構成例＞
　以下では、図２～図６を参照しながら、本開示の実施形態に係る情報処理システムの構成例について説明する。
　（１）情報処理サーバ１０
　情報処理サーバ１０は、情報処理システムを構成する他の構成要素から受信する情報に基づく処理を実行する機能を有する情報処理装置である。例えば、情報処理サーバ１０は、環境評価装置３０とセンサ装置４０から受信する情報に基づき、検出処理を実行する。また、情報処理サーバ１０は、センサ装置４０から受信する情報に基づき、一括操作処理を実行する。
　また、情報処理サーバ１０は、情報処理システムを構成する他の構成要素の処理を制御する機能を有する情報処理装置である。例えば、情報処理サーバ１０は、一括操作処理が表示処理である場合、投射装置５０が処理対象情報を提示するための投射処理を制御する。なお、情報処理サーバ１０は、環境評価装置３０による環境評価処理、及びセンサ装置４０によるセンシングデータの取得処理を制御してもよい。
　（２）ポインティング装置２０
　ポインティング装置２０は、ユーザ９０が空間中の物体を選択するために用いられる装置である。ポインティング装置２０の操作時、ユーザ９０は、例えば、ポインティング装置２０を把持して操作する。また、ユーザ９０は、ポインティング装置２０が備えるスイッチを押下することで、ポインティング装置２０にポインタの投射を開始させる。また、ユーザ９０は、ポインティング装置２０がポインタを投射している最中に、再度スイッチを押下することで、ポインティング装置２０にポインタの投射を終了させる。
　ポインティング装置２０は、ポインティングしている位置を示す機能を有する。例えば、ポインティング装置２０は、ＩＲ　ＬＥＤ（Ｉｎｆｒａｒｅｄ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ：赤外線発光ダイオード）などの光を投射し、当該光の投射先をポインティングしている位置として示す。
　また、ポインティング装置２０は、通信機能を有している。当該通信機能により、ポインティング装置２０は、起動状態であるか否かを示す情報を情報処理サーバ１０へ送信する。例えば、ポインティング装置２０は、ユーザにスイッチを押下されてポインタの投射を開始した時、起動状態である旨を示す情報を情報処理サーバ１０に送信する。また、ポインティング装置２０は、起動状態である時にユーザに再度スイッチを押下されてポインタの投射を終了した時、非起動状態である旨を示す情報を情報処理サーバ１０へ送信してもよい。
　また、ポインティング装置２０は、加速度センサ等のセンサ群を備えてもよい。ポインティング装置２０は、当該センサ群を用いて、ポインティング装置２０の姿勢に関するデータをセンシングする。そして、ポインティング装置２０は、当該データを、情報処理サーバ１０がポインタの位置を特定するためのデータとして、情報処理サーバ１０へ送信する。
　ここで、図２～図４を参照しながら、本開示の実施形態に係るポインティング装置２０の操作例について説明する。図２は、本開示の実施形態に係る複数の処理対象の選択時におけるポインティング装置２０の操作例を示す説明図である。図３は、本開示の実施形態に係る軌跡の記録開始時又は終了時におけるポインティング装置２０の操作例を示す説明図である。図４は、本開示の実施形態に係る処理対象の選択時における軌跡の形状例を示す説明図である。
　図２には、ユーザ９０がポインティング装置２０を用いて、照明７４、冷蔵庫７３、及びテレビ７２を選択する例が示されている。まず、ユーザ９０は、ポインティング装置２０のスイッチを押下し、ポインティング装置２０にポインタを任意の位置（例えば開始位置２３Ａ）に投射させる。
　ポインタを開始位置２３Ａに投射後、ユーザ９０は、ポインタを移動して処理対象を選択する。この時、ユーザ９０は、軌跡２２のように、処理対象とする照明７４、冷蔵庫７３、及びテレビ７２にポインタが投射されるように、ポインティング装置２０を操作してポインタを移動する。処理対象の選択後、ユーザ９０は、ポインティング装置２０のスイッチを再度押下し、ポインタの投射を終了する。
　なお、本開示の実施形態では、ユーザ９０によるポインティング装置２０のスイッチの操作をトリガーとして、軌跡の記録が開始又は終了される。例えば、図３の操作例１に示すように、ポインティング装置２０のスイッチが押下され、ポインタの投射が開始される開始位置２３Ａから軌跡の記録が開始される。そして、ポインティング装置２０のスイッチが再度押下され、ポインタの投射が終了される終了位置２３Ｂまでユーザ９０がポインタを移動した際の軌跡２２が記録される。
　また、本開示の実施形態では、特定の軌跡が検出されたことをトリガーとして、軌跡の記録が開始されてもよい。例えば、図３の操作例２に示すように、三角形の軌跡が検出された位置を開始位置２４Ａとし、円形の軌跡が検出された位置を終了位置２４Ｂとしてもよい。
　また、本開示の実施形態では、ユーザは、選択対象上でポインタを移動させて、選択対象上に特定の形状をした軌跡を形成することで、当該選択対象を処理対象として選択したことを示してもよい。例えば、テレビ７２を処理対象として選択したい時、図４の選択例１に示すように、ユーザは、軌跡が複数回屈曲した形状を示すようにポインタを移動することで、テレビ７２を処理対象として選択したことを示す。また、図４の選択例２に示すように、ユーザは、軌跡が円形の形状を示すようにポインタを移動することで、テレビ７２を処理対象として選択したことを示してもよい。
　なお、ユーザ９０は、ポインティング装置２０の代わりに、自身の手指で選択対象を指し示したり、手指を選択対象に向けて上述の特定の形状を空中で描くように動かしたりすることで、選択対象を選択したことを示してもよい。
　（３）環境評価装置３０
　環境評価装置３０は、空間をセンシングして得られるセンシングデータを評価し、当該空間内の選択対象の認識等のいわゆる空間認識を行う機能を有する。例えば、環境評価装置３０は、空間における壁面までの距離、及び当該空間内の選択対象までの距離等をセンシングデータとして取得する。環境評価装置３０は、取得したセンシングデータを評価し、空間における選択対象の位置情報を取得する。そして、環境評価装置３０は、取得した選択対象の位置情報を情報処理サーバ１０に送信する。
　環境評価装置３０は、例えば、デプスセンサ、カメラ、またはライダー（ＬＩＤＡＲ：Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）等の測距装置を用いて空間のセンシングを行う。なお、環境評価装置３０はがセンシングを行うために備える装置は、上述の装置に限定されず、任意の装置を備えてもよい。また、空間内における環境評価装置３０の設置場所、設置台数は特に限定されず、任意の場所に任意の台数の環境評価装置３０が設置されてもよい。
　また、選択対象が近接無線通信（ＮＦＣ：Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）機能等の位置情報を特定可能な機能を有する場合、環境評価装置３０は、当該機能に基づく位置情報を取得してもよい。
　また、選択対象が無体物である仮想オブジェクトである場合、環境評価装置３０は、仮想オブジェクトを投射している投射装置５０から仮想オブジェクトの位置情報を取得してもよい。また、環境評価装置３０は、仮想オブジェクトを投射している投射装置５０の状態に関する情報をセンシングデータとして取得し、当該センシングデータに基づき投射装置５０の位置、姿勢、及び投射方向等を推定し、推定結果に基づき仮想オブジェクトの位置を推定してもよい。また、仮想オブジェクトがテレビ７２等の位置が固定された情報処理機器に表示されている場合、環境評価装置３０は、当該情報処理機器の位置に基づき、仮想オブジェクトの位置情報を取得してもよい。
　（４）センサ装置４０
　センサ装置４０は、センシングデータを取得する機能を有する装置である。例えば、センサ装置４０は、ポインタの状態をセンシングデータとして取得し、当該センシングデータを情報処理サーバ１０に送信する。具体的に、センサ装置４０は、カメラによりポインタの状態を撮像し、撮像した画像（静止画像／動画像）を情報処理サーバ１０に送信する。また、センサ装置４０は、加速度センサによりポインタの加速度データを計測し、当該加速度データを情報処理サーバ１０に送信してもよい。
　また、センサ装置４０は、ユーザジェスチャ等のユーザの動作をセンシングデータとして取得し、当該センシングデータを情報処理サーバ１０に送信する。具体的に、センサ装置４０は、デプスセンサ、またはカメラを用いて、ユーザの姿勢を示す姿勢情報を取得し、取得した姿勢情報を情報処理サーバ１０に送信する。
　なお、センサ装置４０がセンシングを行うために備える装置は、上述の装置に限定されず、任意の装置を備えてもよい。また、空間内におけるセンサ装置４０の設置場所、設置台数は特に限定されず、任意の場所に任意の台数のセンサ装置４０が設置されてもよい。
　（５）投射装置５０
　投射装置５０は、コンテンツを投射する装置である。例えば、投射装置５０として、駆動型の光学投射装置が挙げられる。投射装置５０は、複数の処理対象に関する情報を投射し、ユーザに提示するために用いられる。
　ここで、図５、図６を参照しながら、本開示の実施形態に係る投射装置５０による情報の提示例について説明する。図５は、本開示の実施形態に係る処理対象に関する情報の提示例を示す説明図である。例えば、ユーザ９０がポインティング装置２０により処理対象として卓上カレンダー７１とテレビ７２を選択したとする。この場合、投射装置５０は、図５に示すように処理対象情報５１として、卓上カレンダー７１に関する情報であるカレンダー情報５２と、テレビ７２に関する情報である番組情報５３を投射する。
　図６は、本開示の実施形態に係る処理対象の選択状態の提示例を示す説明図である。例えば、ユーザ９０がポインティング装置２０により処理対象として冷蔵庫７３を選択した場合、投射装置５０は、冷蔵庫７３に対して視覚効果を投射するＶＦＢ（Ｖｉｓｕａｌ　Ｆｅｅｄｂａｃｋ）を行ってもよい。例えば、投射装置５０は、図６に示すように冷蔵庫７３の外周部が発光して見えるようなコンテンツ５４を投射するＶＦＢを行う。これにより、ユーザは、処理対象の選択状態を視認することができる。
　なお、処理対象に関する情報、及び処理対象の選択状態を提示する方法は、上述の例に限定されず、任意の方法が用いられてもよい。例えば、処理対象に関する情報、及び処理対象の選択状態は、投射装置５０ではなく、音声出力装置により音声で提示されてもよい。また、処理対象に関する情報、及び処理対象の選択状態は、触覚を提示可能な装置により触覚で提示されてもよい。
　また、上述した処理対象に関する情報、及び処理対象の選択状態を提示する装置は、上述した投射装置５０等の光学投影装置に限定されず、任意の装置が用いられてもよい。例えば、アイウェア等の装着型のデバイスが用いられてもよい。
　以上、図２～図６を参照しながら、本開示の実施形態に係る情報処理システムの構成例について説明した。続いて、本開示の実施形態に係る情報処理装置の機能構成例について説明する。
　＜１．３．情報処理装置の機能構成例＞
　以下では、図７～図２２を参照しながら、本開示の実施形態に係る情報処理サーバ１０の機能構成例について説明する。図７は、本開示の実施形態に係る情報処理装置の機能構成例を示すブロック図である。
　図７に示すように、本開示の実施形態に係る情報処理サーバ１０は、通信部１３０、制御部１４０、及び記憶部１５０を備える。
　（１）通信部１３０
　通信部１３０は、外部装置と通信を行う機能を有する。例えば、通信部１３０は、外部装置との通信において、外部装置から受信した情報を制御部１４０へ出力する。具体的に、通信部１３０は、ポインティング装置２０から受信した起動状態であるか否かを示す情報を制御部１４０へ出力する。また、通信部１３０は、環境評価装置３０から受信した選択対象の位置情報を制御部１４０へ出力する。また、通信部１３０は、センサ装置４０から受信したセンシングデータを制御部１４０へ出力する。また、通信部１３０は、処理対象から受信した処理対象情報を制御部１４０へ出力する。
　また、通信部１３０は、外部装置との通信において、制御部１４０から入力された情報を外部装置へ送信する。具体的に、通信部１３０は、制御部１４０から入力された表示処理に関する情報を投射装置５０へ送信する。また、通信部１３０は、制御部１４０から入力された処理対象の一括操作処理に関する情報を処理対象へ送信する。
　（２）制御部１４０
　制御部１４０は、情報処理サーバ１０の全体を制御する機能を有する。例えば、制御部１４０は、通信部１３０における通信処理を制御する。具体的に、制御部１４０は、制御部１４０で実行した処理に応じて出力される情報を通信部１３０へ出力し、当該情報を外部装置に対して通信部１３０に送信させる。
　また、制御部１４０は、記憶部１５０における記憶処理を制御する。具体的に、制御部１４０は、制御部１４０で実行した処理に応じて出力される情報を記憶部１５０へ出力し、当該情報を記憶部１５０に記憶させる。
　また、制御部１４０は、一括操作処理を制御する機能を有する。例えば、制御部１４０は、一括操作処理の制御に必要な情報を検出する。具体的に、制御部１４０は、通信部１３０から入力されるセンシングデータに基づき、ポインタを検出し、ポインタの位置情報を取得する。また、制御部１４０は、取得したポインタの位置情報に基づき、ポインタが移動した際の軌跡を検出する。また、制御部１４０は、通信部１３０から入力される選択対象の位置情報と検出した軌跡に基づき、処理対象と処理方針を検出する。そして、制御部１４０は、検出した処理対象と処理方針に基づき、実行する一括操作処理を決定し、実行する。
　なお、制御部１４０は、一括操作処理に関する要求を複数の処理対象の各々に対して、通信部１３０による通信を介して送信する。
　上述の機能を実現するために、本開示の実施形態に係る制御部１４０は、図７に示すように、検出制御部１４２、記憶制御部１４４、選択制御部１４６、及び操作処理制御部１４８を備える。
　（検出制御部１４２）
　検出制御部１４２は、ポインタの位置情報を検出する機能を有する。例えば、検出制御部１４２は、通信部１３０から入力されるセンサ装置４０がセンシングしたセンシングデータに基づき、ポインタを検出する。例えば、カメラが撮像した画像（静止画像／動画像）がセンシングデータである場合、検出制御部１４２は、当該画像にポインタが写っているか否かを確認する。ポインタが写っている場合、検出制御部１４２は、ポインタが写っている位置情報を取得する。
　また、ポインティング装置２０が備える加速度センサ等のセンサ群がセンシングしたポインティング装置２０の姿勢に関するデータがセンシングデータである場合、検出制御部１４２は、当該センサデータに基づき、ポインティング装置２０の姿勢を推定する。そして、検出制御部１４２は、推定した姿勢に基づき、ポインティングしている方向を推定し、ポインティングしている位置を特定してもよい。
　また、検出制御部１４２は、連続的に検出されるポインタの位置情報に基づく軌跡を検出し、当該軌跡が示す形状に基づき、ユーザが入力した処理方針を検出する機能を有する。検出制御部１４２は、予め記憶部１５０に登録された軌跡の形状と、ポインタの位置情報に基づき検出した軌跡が示す形状とを比較する。比較した結果、両軌跡の形状が一致する場合、検出制御部１４２は、予め記憶部１５０に登録された軌跡の形状と対応付けて登録されている処理を実行する。
　また、検出制御部１４２は、連続的に検出されるポインタの位置情報が示す形状に基づき、一括操作処理の対象範囲を設定する。例えば、軌跡の検出を開始することを示す形状が検出された時、検出制御部１４２は、その時のポインタの位置情報の位置を、一括操作処理の対象範囲の開始位置とする。また、軌跡の検出を終了することを示す形状が検出された時、検出制御部１４２は、その時のポインタの位置情報の位置を、一括操作処理の対象範囲の終了位置とする。
　なお、検出制御部１４２は、ユーザ９０が一筆書きをしている最中のポインタの位置をロストする（即ち、ポインタの位置の検出に失敗する）可能性がある。ポインタの位置をロストしてから所定の時間が経過するまでにポインタを再検出した場合、検出制御部１４２は、再検出したポインタに対応する一筆書きがロスト前の一筆書きと同一であると判定してもよい。また、所定の時間に関係なく検出されたポインタに対応する一筆書きの軌跡が、ロスト前の一筆書きの軌跡の延長線上にある場合、検出制御部１４２は、再検出したポインタに対応する一筆書きがロスト前の一筆書きと同一であると判定してもよい。
　また、検出制御部１４２は、ユーザ９０がポインティングしている位置をユーザ９０の動作に基づき検出する機能を有してもよい。例えば、検出制御部１４２は、カメラ、またはデプスセンサ等がセンシングした情報に基づき、ユーザ９０の手指の動きを認識する。次いで、検出制御部１４２は、認識したユーザ９０の手指の動きを解析することで、手指の位置、及び姿勢等を検出する。そして、検出制御部１４２は、検出したユーザ９０の手指の位置、及び姿勢等に基づき、ユーザ９０が手指により指し示している位置をポインティング位置として検出する。
　（記憶制御部１４４）
　記憶制御部１４４は、記憶部１５０に記憶させる情報に関する処理を制御する機能を有する。例えば、記憶制御部１４４は、記憶部１５０に軌跡に関する情報を記憶させる軌跡記憶処理と、記憶部１５０に空間配置に関する情報を記憶させる空間配置記憶処理を制御する。
　・軌跡記憶処理の制御
　軌跡記憶処理は、検出制御部１４２が検出するポインタの位置情報を記憶部１５０が記憶する処理である。記憶制御部１４４は、記憶部１５０がポインタの位置情報の記憶を開始するタイミング、及び終了するタイミングを制御する。
　例えば、連続的に検出されるポインタの位置情報が示す形状が、軌跡の検出を開始することを示す形状であることが検出された時、記憶制御部１４４は、その時のポインタの位置情報の位置から、記憶部１５０に軌跡の記憶を開始させる。また、連続的に取得されるポインタの位置情報が示す形状が、軌跡の検出を終了することを示す形状であることが検出された時、記憶制御部１４４は、その時のポインタの位置情報の位置で、記憶部１５０に軌跡の記憶を終了させる。
　また、連続的に取得されるポインタの位置情報が示す形状が、処理対象を検出することを示す形状であることが検出された時、記憶制御部１４４は、その時のポインタの位置情報の位置から、記憶部１５０に軌跡の記憶を開始させる。
　ここで、図８を参照しながら、記憶制御部１４４が記憶部１５０に記憶させるポインタの位置情報の例について説明する。図８は、本開示の実施形態に係る記憶部が記憶するデータ例を示す説明図である。
　図８のデータ例１に示すように、ポインタが平面Ａの座標（ｘ１、ｙ１）に位置する場合、記憶制御部１４４は、座標（ｘ１、ｙ１）を記憶部１５０に記憶させる。また、データ例２に示すように、ポインタが原点に対して座標（ｘ１、ｙ１、ｚ１）に位置する場合、記憶制御部１４４は、座標（ｘ１、ｙ１、ｚ１）を記憶部１５０に記憶させる。
　また、データ例３に示すように、ポインティング装置２０が座標（ｘ１、ｙ１、ｚ１）に位置し、ポインタが座標（ｘ２、ｙ２、ｚ２）に位置しているとする。この場合、記憶制御部１４４は、座標（ｘ１、ｙ１、ｚ１）と座標（ｘ２、ｙ２、ｚ２）とを結ぶベクトルデータを記憶部１５０に記憶させる。
　上述のように、記憶制御部１４４が記憶部１５０に記憶させるポインタの位置情報は、２次元座標、３次元座標、またはベクトルデータのいずれであってもよい。
　また、記憶制御部１４４は、軌跡記憶処理として、軌跡の形状と対応する処理を予め記憶部１５０に記憶させてもよい。例えば、記憶制御部１４４は、円形を示す軌跡の形状が処理対象の選択を示す形状であることを記憶部１５０に記憶させる。また、三角形を示す軌跡の形状が軌跡の記録の終了を示す形状であることを記憶部１５０に記憶させる。また、四角形を示す軌跡の形状が処理対象の情報を表示させるという処理方針を示す形状であることを記憶部１５０に記憶させる。なお、軌跡の形状と対応する処理の組み合わせは、上述の例に限定されず、任意の組み合わせであってよい。ただし、記憶制御部１４４は、ユーザが処理対象を選択したことを示す軌跡の形状と、処理方針を示す軌跡の形状とは異なるように記憶部１５０の記憶処理を制御する。
　・空間配置記憶処理の制御
　空間配置記憶処理は、空間に配置されている選択対象の名称、及び位置情報を記憶部１５０が記憶する処理である。記憶制御部１４４は、通信部１３０から入力される環境評価装置３０が取得した選択対象の位置情報に基づき、空間に配置されている選択対象の名称、及び位置情報を取得する。例えば、選択対象の位置情報として冷蔵庫の位置情報が取得された場合、記憶制御部１４４は、選択対象名として「冷蔵庫」を記憶部１５０に記憶させる。また、記憶制御部１４４は、選択対象名の「冷蔵庫」と対応付けて冷蔵庫の位置情報を記憶部１５０に記憶させる。
　選択対象の名称、及び位置情報がユーザにより予め記憶部１５０に登録されている場合、記憶制御部１４４は、環境評価装置３０が取得した選択対象の位置情報に基づく空間に配置されている選択対象の名称、及び位置情報の取得を行わなくてもよい。
　また、記憶部１５０に記憶させる選択対象の情報の中にユーザが選択し得ない物体等の情報が含まれている場合、記憶制御部１４４は、当該物体等を選択対象から除外してもよい。
　（選択制御部１４６）
　選択制御部１４６は、処理対象を検出する機能を有する。例えば、選択制御部１４６は、ポインティング装置２０により提示されるポインタの位置情報の連続的な１つの軌跡に基づき、連続的に選択された複数の処理対象を検出する。また、選択制御部１４６は、ユーザによる指さし、またはユーザの視線の移動により検出される連続的な１つの軌跡に基づき、連続的に選択された複数の処理対象を検出してもよい。以下では、図９～図１６を参照しながら、軌跡に基づき選択制御部１４６が選択対象から処理対象を選択する例について説明する。
　・軌跡の形状に基づく選択判定
　図９は、本開示の実施形態に係る選択対象上における軌跡の形状に基づく選択判定の例を示す説明図である。図９に示す例では、ユーザ９０がポインティング装置２０を操作し、開始位置２３Ａから終了位置２３Ｂまで軌跡２２のようにポインタを移動して、卓上カレンダー７１、テレビ７２、及び冷蔵庫７３を処理対象として選択する例を示している。
　選択制御部１４６は、処理対象を検出することを示す軌跡の形状の少なくとも一部が選択対象上に形成されているか否かに基づき、選択対象が処理対象として選択されたか否かを判定する。例えば、処理対象を検出することを示す軌跡の形状が円形の形状であるとする。図９に示す例では、ユーザ９０は、卓上カレンダー７１、テレビ７２、及び冷蔵庫７３を選択する際に、軌跡２２の形状が円形となるようにポインタを移動しており、処理対象を検出することを示す軌跡の形状の少なくとも一部が各選択対象上に形成されている。よって、選択制御部１４６は、卓上カレンダー７１、テレビ７２、及び冷蔵庫７３が処理対象として選択されたと判定する。
　・ポインタの滞留時間に基づく選択判定
　図１０に示すように、選択制御部１４６は、ポインタが選択対象上に滞留した時間に基づき、選択対象が処理対象として選択されたか否かを判定してもよい。図１０は、本開示の実施形態に係る選択対象上におけるポインタの滞留時間に基づく選択判定の例を示す説明図である。図１０に示す例では、ユーザ９０がポインティング装置２０を操作し、開始位置２３Ａから終了位置２３Ｂまで軌跡２２のようにポインタを移動して、卓上カレンダー７１、及び冷蔵庫７３を処理対象として選択する例を示している。
　例えば、選択対象上でポインタが所定の時間以上滞留した場合、選択制御部１４６は、当該選択対象が処理対象として選択されたと判定する。具体的に、所定の時間が２秒に設定されているとする。図１０に示す例では、ポインタが卓上カレンダー７１上では４秒、テレビ７２上では１秒、冷蔵庫７３上では２秒だけ滞留している。よって選択制御部１４６は、卓上カレンダー７１と冷蔵庫７３が処理対象として選択されたと判定する。
　・軌跡の屈曲に基づく選択判定
　図１１に示すように、選択制御部１４６は、ポインタの軌跡が選択対象上で屈曲したか否かに基づき、選択対象が処理対象として選択されたか否かを判定してもよい。図１１は、本開示の実施形態に係る選択対象上におけるポインタの軌跡の屈曲に基づく選択判定の例を示す説明図である。図１１に示す例では、ユーザ９０がポインティング装置２０を操作し、開始位置２３Ａから終了位置２３Ｂまで軌跡２２のようにポインタを移動して、冷蔵庫７３を処理対象として選択する例を示している。
　例えば、選択制御部１４６は、選択対象上のポインタの軌跡が所定の角度以内で屈曲している選択対象が処理対象として選択されたと判定する。具体的に、所定の角度が９０度に設定されているとする。図１１に示す例では、ポインタの軌跡２２が卓上カレンダー７１、及びテレビ７２上ではほぼ直線であるが、冷蔵庫７３上では９０度以内の角度で屈曲している。よって選択制御部１４６は、冷蔵庫７３が処理対象として選択されたと判定する。
　・ポインタの移動速度に基づく選択判定
　図１２に示すように、選択制御部１４６は、選択対象上におけるポインタの移動速度の加減速に基づき、選択対象が処理対象として選択されたか否かを判定してもよい。図１２は、本開示の実施形態に係る選択対象上におけるポインタの移動速度の加減速に基づく選択判定の例を示す説明図である。図１２に示す例では、ユーザ９０がポインティング装置２０を操作し、開始位置２３Ａから終了位置２３Ｂまで軌跡２２のようにポインタを移動して、卓上カレンダー７１、及び冷蔵庫７３を処理対象として選択する例を示している。
　なお、図１２に示す軌跡２２の付近に示されている「＞」の記号は、ポインタの移動速度の加減速を示している。「＞」は４つで１まとまりであり、４つの「＞」の間隔が狭くなるとポインタの移動速度が加速したことを示し、４つの「＞」の間隔が広くなるとポインタの移動速度が減速したことを示している。
　例えば、選択対象上のポインタの移動速度が加速した場合、選択制御部１４６は、当該選択対象が処理対象として選択されたと判定する。図１２に示す例では、ポインタの移動速度が、卓上カレンダー７１上で加速し、テレビ７２上で減速し、冷蔵庫７３上で加速している。よって、選択制御部１４６は、卓上カレンダー７１と冷蔵庫７３が処理対象として選択されたと判定する。
　・軌跡の形状の重心位置に基づく選択判定
　図１３に示すように、軌跡２２の形状と選択対象が部分的に重複する場合、選択制御部１４６は、軌跡の形状の重心が選択対象上に存在するか否かに基づき、選択対象が処理対象として選択されたか否かを判定してもよい。図１３は、本開示の実施形態に係る選択対象上の軌跡の形状の重心位置に基づく選択判定の例を示す説明図である。図１３に示す例では、ユーザ９０がポインティング装置２０を操作し、開始位置２３Ａから終了位置２３Ｂまで軌跡２２のようにポインタを移動して、卓上カレンダー７１、及びテレビ７２を処理対象として選択する例を示している。
　例えば、選択対象を処理対象として選択したことを示す軌跡の形状の重心が選択対象上に存在する場合、選択制御部１４６は、当該選択対象が処理対象として選択されたと判定する。図１３に示す例では、選択対象を処理対象として選択したことを示す軌跡の形状の重心２５Ａが卓上カレンダー７１上に存在し、重心２５Ｂがテレビ７２上に存在し、重心２５Ｃが冷蔵庫７３上に存在しない。よって、選択制御部１４６は、卓上カレンダー７１と冷蔵庫７３が処理対象として選択されたと判定する。
　上述のように、軌跡の形状の重心位置に基づく選択判定を行うことで、ユーザ９０は、複数の選択対象が近接している際の処理対象の選択を容易に行うことができる。
　・軌跡の形状の面積に基づく選択判定
　図１４に示すように、軌跡の形状と選択対象が部分的に重複する場合、選択制御部１４６は、重複している部分の面積に基づき、選択対象が処理対象として選択されたか否かを判定してもよい。図１４は、本開示の実施形態に係る選択対象上の軌跡の形状の面積に基づく選択判定の例を示す説明図である。図１４に示す例では、ユーザ９０がポインティング装置２０を操作し、開始位置２３Ａから終了位置２３Ｂまで軌跡２２のようにポインタを移動して、卓上カレンダー７１、及びテレビ７２を処理対象として選択する例を示している。
　例えば、選択対象を処理対象として選択したことを示す軌跡の形状と、選択対象とが重複する部分の面積が所定の面積以上である場合、選択制御部１４６は、当該選択対象が処理対象として選択されたと判定する。具体的に、所定の面積が軌跡の形状の４分の１以上と設定されているとする。図１４に示す例では、選択対象を処理対象として選択したことを示す軌跡の形状と選択対象とが重複する部分の面積が、卓上カレンダー７１上では４分の１以上、テレビ７２上では４分の１以上、冷蔵庫７３上では４分の１未満である。よって、選択制御部１４６は、卓上カレンダー７１とテレビ７２が処理対象として選択されたと判定する。
　上述のように、軌跡の形状の面積に基づく選択判定を行うことで、ユーザ９０は、複数の選択対象が近接している際の処理対象の選択を容易に行うことができる。
　・選択対象の設定に基づく選択判定
　図１５に示すように、ポインティング装置２０の出力部とポインタとの間に複数の選択対象が存在する場合、選択制御部１４６は、複数の選択対象の内、処理方針に基づき実行される処理が設定されていない選択対象を複数の選択対象から除外してもよい。図１５は、本開示の実施形態に係る非選択対象が選択された際の処理の例を示す説明図である。図１５に示す例では、ユーザ９０がポインティング装置２０を操作し、ポインタをテレビ７２に投射した際に、ポインティング装置２０の出力部とテレビ７２の間に他の選択対象であるマグカップ７７が存在する例を示している。
　例えば、マグカップ７７は、提示する情報を特に有していないため、処理方針に基づき情報を提示することができない。また、マグカップ７７は、情報処理機器でもないため、処理方針に基づき動作することもできない。そのため、ユーザ９０は、マグカップ７７を選択対象として登録する際に、対象名のみを登録し、処理方針に基づき実行される処理を登録しない。これにより、選択制御部１４６は、ポインティング装置２０の出力部とテレビ７２の間に他の選択対象であるマグカップ７７が存在した場合にマグカップ７７を選択対象から除外する。そして、選択制御部１４６は、テレビ７２を選択対象として絞り込むことができる。
　・ユーザの視線に基づく選択判定
　図１６に示すように、ポインティング装置２０の出力部の位置（操作物体の位置）とポインタの位置情報が示す位置とを結ぶ直線上に選択対象が複数存在しているとする。この場合、選択制御部１４６は、ユーザの視線に基づき、複数の選択対象から１つの処理対象を選択してもよい。図１６は、本開示の実施形態に係るユーザの視線に基づく選択判定の例を示す説明図である。図１６の左側に示す図では、テレビ７２の手前にマグカップ７７が存在する場合に、選択対象を処理対象として選択したことを示す軌跡がテレビ７２とマグカップ７７の両方にまたがる例を示している。図１６の右側の図では、選択対象を処理対象として選択したことを示す軌跡の形状が複数の選択対象にまたがる場合に、１つの選択対象上に軌跡を再配置する例を示している。
　例えば、ユーザ９０が複数の選択対象の内の１つの選択対象を見ていることをユーザの視線に基づき判定できる場合、選択制御部１４６は、当該１つの選択対象が処理対象として選択されたと判定する。図１６の左側の図に示す例では、選択対象を処理対象として選択したことを示す軌跡の形状が分割されて、テレビ７２とマグカップ７７上にそれぞれ軌跡２６Ａ、軌跡２６Ｂとして存在する。即ち、複数の選択対象としてテレビ７２とマグカップ７７が選択されている。しかし、選択制御部１４６は、ユーザ９０の視線９１に基づき、ユーザ９０がテレビ７２を見ていると判定できる。よって、選択制御部１４６は、テレビ７２が処理対象として選択されたと判定する。
　また、ポインティング装置２０の出力部の位置（操作物体の位置）とポインタの位置情報が示す位置とを結ぶ直線上に選択対象が複数存在し、軌跡が複数の選択対象と重複しているとする。この場合、選択制御部１４６は、複数の選択対象から選択された１つの処理対象に、軌跡を再配置してもよい。
　例えば、選択制御部１４６は、図１６の左側の図を用いて説明したように、ユーザ９０の視線に基づき、複数の選択対象から１つの処理対象を選択し、当該処理対象上に軌跡を再配置する。具体的に、選択制御部１４６は、ユーザ９０の視線９１に基づき、テレビ７２が処理対象として選択されたと判定する。そして、選択制御部１４６は、軌跡２６Ａと軌跡２６Ｂを合成し、図１６の右側の図に示す軌跡２３Ｃを生成し、テレビ７２上に軌跡２３Ｃを配置する。
　・その他の選択判定
　ユーザがポインティング装置２０を用いず、指さしや視線の移動等の動作により処理対象を選択する場合、選択制御部１４６は、当該動作をカメラが撮像した画像（静止画像／動画像）に基づき検出し、処理対象として選択された選択対象を判定してもよい。
　また、ユーザ９０が所定の数の選択対象を選択した場合、選択制御部１４６は、ユーザ９０がそれ以上選択対象を選択できないように制御してもよい。例えば、選択制御部１４６は、ポインタの付近に警告を表示するようにポインティング装置２０を制御してもよい。また、選択制御部１４６は、ポインタの移動速度を遅くする等、ポインタの応答性が悪くなるようにポインティング装置２０を制御してもよい。
　また、ユーザ９０がポインタを大きく移動させることで、選択対象を処理対象として選択したことを示す１つの軌跡の形状内に複数の選択対象が含まれる場合、選択制御部１４６は、一旦、当該複数の選択対象の全てが処理対象として選択されたと判定してもよい。そして、後に、ユーザ９０が手元で処理対象を取捨選択できるように、操作処理制御部１４８が表示処理を制御してもよい。
　また、選択制御部１４６は、ユーザ９０の音声による選択指示に基づき、選択対象から選択された処理対象を判定してもよい。例えば、選択制御部１４６は、ユーザ９０が「これ」、「それ」などの指示語などを発話した際に、発話時のポインタの位置により近い選択対象が処理対象として選択されたと判定する。また、また、選択制御部１４６は、ユーザ９０が処理対象の選択をキャンセルする発話をした際には、処理対象の選択をキャンセルしてもよい。
　（操作処理制御部１４８）
　操作処理制御部１４８は、操作処理を制御する機能を有する。例えば、操作処理制御部１４８は、軌跡の記録の開始前又は終了後に検出される処理方針情報に基づき、複数の処理対象に対して一括操作処理を実行する。具体的に、検出される処理方針が複数の処理対象の各々の処理対象情報を表示させる表示処理を実行する旨を示す場合、操作処理制御部１４８は、処理対象情報を取得し、表示処理を一括操作処理として実行する。また、検出される処理方針が複数の処理対象を動作させる動作処理を実行する旨を示す場合、操作処理制御部１４８は、動作処理を一括操作処理として実行する。
　・処理対象情報取得処理
　処理方針が表示処理の実行である場合、操作処理制御部１４８は、処理対象の各々に関する処理対象情報を取得する。処理対象情報の取得先は、処理対象が通信可能な情報処理機器であるか否かに応じて異なる。例えば、処理対象が通信可能な情報処理機器である場合、操作処理制御部１４８は、通信部１３０に処理対象と通信を行わせ、通信部１３０が処理対象から受信した情報を処理対象情報として取得する。具体的に、処理対象が通信可能なテレビ７２である場合、操作処理制御部１４８は、テレビ７２と通信部１３０との通信により取得される番組情報を処理対象情報として取得する。一方、処理対象が通信できない情報処理機器である場合、操作処理制御部１４８は、処理対象以外から処理対象情報を取得する。また、処理対象が情報処理機器でない物体である場合も同様に、操作処理制御部１４８は、処理対象以外から処理対象情報を取得する。具体的に、処理対象が通信できないテレビ７２である場合、操作処理制御部１４８は、例えば、通信部１３０に外部のサーバ装置と通信を行わせ、通信部１３０が外部のサーバ装置から受信したテレビ７２の番組情報を処理対象情報として取得する。また、処理対象が卓上カレンダー７１のように情報処理機器でない物体である場合、操作処理制御部１４８は、例えば、記憶部１５０からカレンダー情報を処理対象情報として取得する。そして、操作処理制御部１４８は、ユーザが指定した位置へ、取得した複数の処理対象情報を一括で投射装置５０に投射させる。なお、操作処理制御部１４８が処理対象以外から処理対象情報を取得する場合の処理対象情報の取得先は、上述の例に限定されない。続いて、図１７～図２１を参照しながら、操作処理制御部１４８が実行する表示処理の例について説明する。
　・軌跡の形状に基づく処理対象情報のレイアウト構成
　図１７は、本開示の実施形態に係るユーザの指示に基づく指定された位置への情報の表示例を示す説明図である。図１７に示す例では、ユーザ９０がポインティング装置２０を操作し、開始位置２３Ａから軌跡２２のようにポインタを移動して、卓上カレンダー７１、テレビ７２、及び冷蔵庫７３を処理対象として選択している。そして、処理対象として選択された卓上カレンダー７１に関する情報であるカレンダー情報５２、テレビ７２に関する情報である番組映像５６、及び冷蔵庫７３に関する情報である庫内画像５５が処理対象情報５１として投射される例を示している。
　操作処理制御部１４８は、一括操作処理として表示処理を実行する際に、例えば、処理対象を検出することを示す軌跡の形状に基づき、表示する処理対象情報５１のレイアウトを変更する。具体的に、操作処理制御部１４８は、処理対象上の軌跡２２の屈曲回数が多い順に、各々の処理対象情報が大きく表示されるように、処理対象情報５１内のレイアウトを構成する。図１７に示す例では、ユーザ９０が卓上カレンダー７１、テレビ７２、及び冷蔵庫７３を選択する際の軌跡２２の形状は、卓上カレンダー７１、冷蔵庫７３、テレビ７２の順で、軌跡２２が屈曲している回数が多くなっている。よって、操作処理制御部１４８は、図１７に示すように、カレンダー情報５２を１番大きく表示し、庫内画像５５を２番目に大きく表示し、番組映像５６を１番小さく表示する。
　上述のように、操作処理制御部１４８は、処理対象の選択状況に基づき、処理対象情報を提示する際のレイアウトを自動生成することができる。
　・処理対象情報に応じた位置への情報表示
　図１８に示すように、ユーザが複数の処理対象情報を表示する位置を指定していない場合、操作処理制御部１４８は、複数の処理対象情報の各々の内容に基づき、複数の処理対象情報の各々を表示する場所を決定する。そして、操作処理制御部１４８は、決定した各々の場所へ対応する処理対象情報を投射装置５０に投射させる。図１８は、本開示の実施形態に係る処理対象に応じた位置への情報の表示例を示す説明図である。図１８に示す例では、ユーザ９０がポインティング装置２０を操作し、開始位置２３Ａから軌跡２２のようにポインタを移動して、卓上カレンダー７１、テレビ７２、及び冷蔵庫７３を処理対象として選択している。そして、処理対象として選択された卓上カレンダー７１に関する情報であるカレンダー情報５２と冷蔵庫７３に関する情報である庫内画像５５が処理対象情報５１Ａとして空間の壁面に投射される。また、テレビ７２に関する情報であるリモートコントローラ画像５７が処理対象情報５１Ｂとしてテーブル７５上に投射される例を示している。なお、ユーザ９０は、リモートコントローラ画像５７のボタンに触れることで、テレビ７２を操作することができる。
　操作処理制御部１４８は、一括操作処理として表示処理を実行する際に、例えば、取得した処理対象情報の内容に基づき、処理対象情報ごとに表示する場所を決定する。例えば、カレンダー情報５２、及び庫内画像５５は、より大きく表示された方が視認性がよい。そのため、操作処理制御部１４８は、カレンダー情報５２、及び庫内画像５５を処理対象情報５１Ａとして空間の壁面に大きく表示させる。また、リモートコントローラ画像５７は、ユーザ９０の手元により近い方がユーザにとっての利便性が向上する。そのため、操作処理制御部１４８は、リモートコントローラ画像５７を処理対象情報５１Ｂとしてユーザ９０に近いテーブル７５上に表示させる。
　・ユーザによる位置指定がない場合の情報表示
　図１９は、本開示の実施形態に係る位置指定がない場合の情報の表示例を示す説明図である。図１９に示す例では、ユーザ９０がポインティング装置２０を操作し、開始位置２３Ａから軌跡２２のようにポインタを移動して、卓上カレンダー７１、テレビ７２、及び冷蔵庫７３を処理対象として選択している。そして、処理対象として選択された卓上カレンダー７１、テレビ７２、冷蔵庫７３に関する情報が処理対象情報５１として空間の壁面に投射される。
　ユーザによる位置指定がない場合、操作処理制御部１４８は、例えば、処理対象情報の内容、及びユーザ９０の位置等に基づき、より適した位置に処理対象情報を表示してもよい。図１９に示す例の場合、処理対象情報５１には文字を含む卓上カレンダー７１に関する情報が含まれるため、より大きく表示することができる壁面に表示された方が視認性がよい。また、ユーザ９０により近い位置に表示された方が、ユーザ９０は、処理対象情報５１を容易に視認できる。よって、操作処理制御部１４８は、図１９に示すユーザ９０により近い壁面に処理対象情報５１を表示させる。
　・ユーザによる位置指定がなく、表示位置を推定できない場合の情報表示
　図２０は、本開示の実施形態に係る位置指定がなく表示位置の推定ができない場合の情報の表示例を示す説明図である。図２０の上側に示す図は、ユーザ９０が処理対象選択後に情報の表示位置を指定するように指示されている図である。図２０の下側に示す図は、ユーザ９０が情報の表示場所を指定している図である。
　図２０の上側に示す図では、ユーザ９０がポインティング装置２０を操作し、開始位置２３Ａから終了位置２３Ｂまで軌跡２２のようにポインタを移動して、卓上カレンダー７１、テレビ７２、及び冷蔵庫７３を処理対象として選択している。ただし、処理対象情報を表示させる位置指定をしていないものとする。
　上述のように、ユーザによる位置指定がない場合、操作処理制御部１４８は、例えば、処理対象情報の内容、及びユーザ９０の位置等に基づき、より適した位置に処理対象情報を表示してもよい。ただし、適切な位置の推定ができなかった場合、操作処理制御部１４８は、スピーカ８０を用いて音声により、処理対象情報を表示する位置を指定する旨の指示をユーザ９０に対して行ってもよい。例えば、操作処理制御部１４８は、図２０の上側の図に示すように、「情報を表示する場所を指定してください」とスピーカ８０に音声出力をさせる。
　操作処理制御部１４８による指示を受けたユーザ９０は、図２０の下側の図に示すように、「ここ。」と発話しながら、ポインティング装置２０で処理対象情報を表示させる位置をテーブル７５の上の位置２５に指定する。そして、操作処理制御部１４８は、ユーザ９０による位置指定を検出すると、検出した位置２５に処理対象情報を表示させる。
　・重みによる処理対象情報の内容の変更
　図２１は、本開示の実施形態に係る重みに基づく情報の提示例を示す説明図である。１つの処理対象が複数の処理対象情報を有する場合、操作処理制御部１４８は、複数の処理対象情報の各々に対して重みを設定し、処理対象上で検出される軌跡の状態に対応する重みが設定された処理対象情報を表示させてもよい。例えば、操作処理制御部１４８は、複数の処理対象情報の各々に対して重みを設定し、操作処理制御部１４８は、ポインタが処理対象上を移動した時間に応じた重みが設定された処理対象情報を投射装置５０に投射させる。
　例えば、テレビが処理対象情報としてリモートコントローラ画像５３Ａと番組情報５３Ｂを有する場合、操作処理制御部１４８は、リモートコントローラ画像５３Ａには重み１を設定し、番組情報５３Ｂを設定する。また、操作処理制御部１４８は、ポインタが処理対象上を移動した時間が所定の時間未満であれば重み１の処理対象情報、ポインタが処理対象上を移動した時間が所定の時間以上であれば重み２の処理対象情報を選択するという条件を設定する。
　図１９の重み例１では、処理対象であるテレビ７２上をポインタが移動した際の時間が所定の時間未満であるとする。この場合、上述の重みと条件の設定例に従うと、表示例１のように処理対象情報としてリモートコントローラ画像５３Ａが表示される。また、図１９の重み例２では、処理対象であるテレビ７２上をポインタが移動した際の時間が所定の時間以上であるとする。この場合、上述の重みと条件の設定例に従うと、表示例２のように処理対象情報として番組情報５３Ｂが表示される。
　・処理対象が仮想オブジェクトである場合の情報提示
　投射装置５０が投射している仮想オブジェクトを処理対象としてユーザ９０が選択した場合、操作処理制御部１４８は、例えば、仮想オブジェクトに関する情報をさらに仮想オブジェクトとして投射装置５０に投射させてもよい。
　・実オブジェクトの動作処理
　以下では、図２２を参照しながら、操作処理制御部１４８が実行する動作処理の例について説明する。図２２は、本開示の実施形態に係る動作処理の例を示す説明図である。図２２の上側に示す図は、ユーザ９０が処理対象を選択していることを示す図である。図２２の下側に示す図は、ユーザ９０が動作処理を指定していることを示す図である。
　一括操作処理が複数の処理対象の各々に同一の動作をさせる動作処理である場合、操作処理制御部１４８は、ユーザが指定した動作処理を複数の処理対象の各々に一括で実行させる。例えば、図２２の上側に示す図では、ユーザ９０がポインティング装置２０を操作し、開始位置２３Ａから終了位置２３Ｂまで軌跡２２のようにポインタを移動して、テレビ７２、及び照明７４を処理対象として選択している。処理対象の選択後、図２２の下側の図に示すように、ユーザ９０は、「つけて。」と発話することで動作処理に関する指示を行う。当該指示を検出した操作処理制御部１４８は、指示に従い電源をオンにする動作処理を処理対象であるテレビ７２と照明７４に対して一括で実行させる。
　（３）記憶部１５０
　記憶部１５０は、情報処理装置における処理にて取得されるデータを記憶する機能を有する。例えば、記憶部１５０は、記憶制御部１４４が出力するポインタの位置情報、選択対象の名称、及び選択対象の位置情報を記憶する。なお、記憶部１５０が記憶する情報は、上述の軌跡データに限定されない。例えば、記憶部１５０は、処理対象の処理対象情報を記憶してもよい。また、記憶部１５０は、制御部１４０の処理において出力されるデータ、各種アプリケーション等のプログラム、及びデータ等を記憶してもよい。
　以上、図６～図２２を参照しながら、本開示の実施形態に係る情報処理サーバ１０の機能構成例について説明した。続いて、本開示の実施形態に係る動作例について説明する。
　＜１．４．動作例＞
　（１）情報処理システムの動作例
　以下では、図２３を参照しながら、本開示の実施形態に係る情報処理システムの動作例について説明する。図２３は、本開示の実施形態に係る情報処理システムの動作例を示すシーケンス図である。なお、以下では、ユーザがポインティング装置２０を用いて、冷蔵庫７３、テレビ７２、及び卓上カレンダー７１の順に処理対象を選択した際の表示処理について説明する。また、冷蔵庫７３、及びテレビ７２は、通信可能な情報処理機器である物体であり、卓上カレンダー７１は、情報処理機器でない物体であるとする。
　図２３に示すように、まず、ポインティング装置２０は、ユーザの操作等をトリガーとして起動すると、起動した旨を情報処理サーバ１０に通知する（ステップＳ１０００）。ポインティング装置２０が起動した旨の通知を受けると、情報処理サーバ１０は、ポインタの軌跡を記録可能な状態となる（ステップＳ１００２）。センサ装置４０は、空間をセンシングして取得するセンシングデータを情報処理サーバ１０へ送信する（ステップＳ１００４）。
　情報処理サーバ１０は、センシングデータに基づき、ポインタを検出すると、ポインタの軌跡の記録処理、及び処理対象の検出処理を開始する（ステップＳ１００６）。
　検出処理にて冷蔵庫７３が検出されたため、情報処理サーバ１０は、冷蔵庫７３が通信可能な情報処理機器であると判定した上で、冷蔵庫７３が処理対象として選択された旨を冷蔵庫７３に通知する（ステップＳ１００８）。処理対象として選択された旨の通知を受けると、冷蔵庫７３は、処理対象に関する情報として冷蔵庫内の画像を情報処理サーバ１０へ送信する（ステップＳ１０１０）。情報処理サーバ１０は、冷蔵庫内の画像を冷蔵庫７３から受信すると、冷蔵庫７３に対してＶＦＢ出力を行う指示を投射装置５０へ送信する（ステップＳ１０１２）。
　続いて、検出処理にてテレビ７２が検出されたため、情報処理サーバ１０は、テレビ７２が通信可能な情報処理機器であると判定した上で、テレビ７２が処理対象として選択された旨をテレビ７２に通知する（ステップＳ１０１４）。処理対象として選択された旨の通知を受けると、テレビ７２は、処理対象に関する情報として番組情報を情報処理サーバ１０へ送信する（ステップＳ１０１６）。情報処理サーバ１０は、番組情報をテレビ７２から受信すると、テレビ７２に対してＶＦＢ出力を行う指示を投射装置５０へ送信する（ステップＳ１０１８）。
　続いて、検出処理にて卓上カレンダー７１が検出されたため、情報処理サーバ１０は、卓上カレンダー７１が情報処理機器でない物体であると判定した上で、卓上カレンダー７１に関する情報を記憶部１５０から取得する（ステップＳ１０１９）。
　情報処理サーバ１０は、センシングデータに基づき、ポインタの軌跡の記録処理を終了する旨を検出すると、ポインタの軌跡の記録処理を終了する。また、情報処理サーバ１０は、一筆書き全体において選択された処理対象を評価する（ステップＳ１０２０）。情報処理サーバ１０は、評価結果に基づき、投射装置５０に投射させる表示情報を生成し、生成した表示情報を投射させる位置を決定する（ステップＳ１０２２）。そして、情報処理サーバ１０は、決定した位置に表示情報を投射させる指示を投射装置５０へ送信する（ステップＳ１０２４）。
　（２）情報処理装置の動作例
　以下では、図２４、図２５を参照しながら、本開示の実施形態に係る情報処理サーバ１０の動作例について説明する。
　（メイン処理）
　以下では、図２４を参照しながら、本開示の実施形態に係る情報処理サーバ１０のメイン処理のフローについて説明する。図２４は、本開示の実施形態に係る情報処理装置のメイン処理を示すフローチャートである。
　図２４に示すように、まず、情報処理サーバ１０は、軌跡の記録開始を検出したか否かを確認する（ステップＳ２０００）。軌跡の記録開始を検出していない場合（ステップＳ２０００／ＮＯ）、情報処理サーバ１０は、軌跡の記録開始を検出するまでステップＳ２０００の処理を繰り返す。
　軌跡の記録開始を検出した場合（ステップＳ２０００／ＹＥＳ）、情報処理サーバ１０は、ユーザによる処理対象が選択されたことを検出したか否かを確認する（ステップＳ２００２）。処理対象が選択されたことを検出していない場合（ステップＳ２００２／ＮＯ）、情報処理サーバ１０は、処理対象が選択されたことを検出するまでステップＳ２００２の処理を繰り返す。
　処理対象が選択されたことを検出した場合（ステップＳ２００２／ＹＥＳ）、情報処理サーバ１０は、処理対象を選択した際の軌跡の形状がユーザの視界内であるか否かを確認する（ステップＳ２００４）。エリアがユーザの視界内でない場合（ステップＳ２００４／ＮＯ）、情報処理サーバ１０は、後述されるステップＳ２００８の処理を実行する。
　検出された軌跡の形状がユーザの視界内である場合（ステップＳ２００４／ＹＥＳ）、情報処理サーバ１０は、検出された軌跡の形状を再配置し（ステップＳ２００６）、ステップＳ２００８の処理を実行する。
　ステップＳ２００８では、情報処理サーバ１０は、検出された軌跡の形状の延長方向に存在する物体を検出する（ステップＳ２００８）。物体の検出後、情報処理サーバ１０は、検出した物体が選択対象であるか否かを確認する（ステップＳ２０１０）。検出した物体が選択対象でない場合（ステップＳ２０１０／ＮＯ）、情報処理サーバ１０は、後述されるステップＳ２０２２の処理を実行する。
　検出した物体が選択対象である場合（ステップＳ２０１０／ＹＥＳ）、情報処理サーバ１０は、選択対象が複数存在するか否かを確認する（ステップＳ２０１２）。選択対象が複数存在しない場合（ステップＳ２０１２／ＮＯ）、情報処理サーバ１０は、検出された物体を処理対象として選択し（ステップＳ２０１８）、後述されるステップＳ２０２０の処理を実行する。
　選択対象が複数存在する場合（ステップＳ２０１２／ＹＥＳ）、情報処理サーバ１０は、各々の選択対象と軌跡に囲まれたエリアが重複する部分の面積を算出する（ステップＳ２０１４）。面積を算出後、情報処理サーバ１０は、面積がより大きい選択対象を処理対象として選択し（ステップＳ２０１６）、ステップＳ２０２０の処理を実行する。
　ステップＳ２０２０の処理では、情報処理サーバ１０は、選択された処理対象から処理対象情報を取得するか否かを確認する。処理対象から処理対象情報を取得する場合（ステップＳ２０２０／ＹＥＳ）、情報処理サーバ１０は、処理対象との通信により処理対象から処理対象情報を取得し（ステップＳ２０２２）、ステップＳ２０２６の処理を実行する。一方、処理対象から処理対象情報を取得しない場合（ステップＳ２０２０／ＮＯ）、情報処理サーバ１０は、記憶部１５０、または外部サーバ等の処理対象以外から処理対象情報を取得し（ステップＳ２０２４）、ステップＳ２０２６の処理を実行する。
　ステップＳ２０２６の処理では、情報処理サーバ１０は、ステップＳ２０１４にて算出した面積の内、エリアと処理対象とが重複する部分の面積を記憶し（ステップＳ２０２６）、ステップＳ２０２８の処理を実行する。
　ステップＳ２０２８の処理では、情報処理サーバ１０は、軌跡の記録終了を検出したか否かを確認する（ステップＳ２０２８）。軌跡の記録終了を検出した場合（ステップＳ２０２８／ＹＥＳ）、情報処理サーバ１０は、一括操作処理を実行し（ステップＳ２０３０）、処理を終了する。なお、一括操作処理の詳細処理フローは後述される。
　軌跡の記録終了を検出していない場合（ステップＳ２０２８／ＮＯ）、情報処理サーバ１０は、軌跡の記録終了を検出するまで、上述したステップＳ２００２からステップＳ２０２６までの処理を繰り返す。
　（一括操作処理）
　続いて、図２５を参照しながら、本開示の実施形態に係る情報処理サーバ１０の一括操作処理のフローについて説明する。図２５は、本開示の実施形態に係る一括操作処理を示すフローチャートである。
　図２５に示すように、まず、情報処理サーバ１０は、実行する一括操作処理がユーザに指定されているか否かを確認する（ステップＳ３０００）。一括操作処理が指定されている場合（ステップＳ３０００／ＹＥＳ）、情報処理サーバ１０は、後述されるステップＳ３００８の処理を実行する。
　一括操作処理が指定されていない場合（ステップＳ３０００／ＮＯ）、情報処理サーバ１０は、ユーザから位置を指定されているか否かを確認する（ステップＳ３００２）。位置が指定されている場合（ステップＳ３００２／ＹＥＳ）、情報処理サーバ１０は、ユーザから指定された位置へ処理対象に関する情報を投射装置５０に投射させ（ステップＳ３００６）、一括操作処理を終了する。
　位置が指定されていない場合（ステップＳ３００２／ＮＯ）、情報処理サーバ１０は、位置を決定し（ステップＳ３００４）、決定した位置へ処理対象に関する情報を投射装置５０に投射させ（ステップＳ３００６）、一括操作処理を終了する。
　ステップＳ３００８では、情報処理サーバ１０は、ユーザから指定された一括操作処理を実行するために位置の指定が必要であるか否かを確認する（ステップＳ３００８）。位置の指定が必要である場合（ステップＳ３００８／ＹＥＳ）、情報処理サーバ１０は、後述されるステップＳ３０１２の処理を実行する。
　位置の指定が必要でない場合（ステップＳ３００８／ＮＯ）、情報処理サーバ１０は、ユーザから指定された一括操作処理を実行し（ステップＳ３０１０）、一括操作処理を終了する。
　ステップＳ３０１２では、情報処理サーバ１０は、ユーザから位置を指定されているか否かを確認する（ステップＳ３０１２）。位置が指定されている場合（ステップＳ３０１２／ＹＥＳ）、情報処理サーバ１０は、指定された位置にて指定された処理を実行し（ステップＳ３０１４）、一括操作処理を終了する。
　位置が指定されていない場合（ステップＳ３０１２／ＮＯ）、情報処理サーバ１０は、指定された処理を実行する位置を決定することが可能であるか否かを確認する（ステップＳ３０１６）。位置を決定することが可能である場合（ステップＳ３０１６／ＹＥＳ）、情報処理サーバ１０は、位置を決定し（ステップＳ３０１８）、決定した位置にて指定された処理を実行し（ステップＳ３０１４）、一括操作処理を終了する。
　位置を決定することが可能でない場合（ステップＳ３０１６／ＮＯ）、情報処理サーバ１０は、処理を実行する位置を指定するようにユーザに対して指示を行う（ステップＳ３０２０）。ユーザに対して指示後、情報処理サーバ１０は、ユーザからの位置の指定を検出したか否かを確認する（ステップＳ３０２２）。ユーザからの位置の指定を検出した場合（ステップＳ３０２２／ＹＥＳ）、情報処理サーバ１０は、指定された位置にて指定された処理を実行し（ステップＳ３０１４）、一括操作処理を終了する。
　ユーザからの位置の指定を検出しなかった場合（ステップＳ３０２２／ＮＯ）、情報処理サーバ１０は、一定の時間が経過したか否かを確認する（ステップＳ３０２４）。一定の時間が経過していない場合（ステップＳ３０２４／ＮＯ）、ステップＳ３０２２の処理を再度実行する。
　一定の時間が経過した場合（ステップＳ３０２４／ＹＥＳ）、情報処理サーバ１０は、指定された処理を実行せずに、一括操作処理を終了する。
　以上、図２３～図２５を参照しながら、本開示の実施形態に係る動作例について説明した。
　以上、図１～図２５を参照しながら、本開示の実施形態について説明した。続いて、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。
　＜＜２．ハードウェア構成例＞＞
　以下では、図２６を参照しながら、本開示の実施形態に係る情報処理装置のハードウェア構成例について説明する。図２６は、本開示の実施形態に係る情報処理サーバ１０のハードウェア構成例を示すブロック図である。図２６に示すように、情報処理サーバ１０は、例えば、ＣＰＵ１０１、ＲＯＭ１０３、ＲＡＭ１０５、ホストバス１０７、ブリッジ１０９、外部バス１１１、及びインタフェース１１３を有する。また、情報処理サーバ１０は、入力装置１１５、出力装置１１７、音声出力装置１１９、ストレージ装置１２１、ドライブ１２３、リムーバブル記録媒体１２５、及び通信装置１２７を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ハードウェア構成は、ここで示される構成要素以外の構成要素をさらに含んでもよい。
　（ＣＰＵ１０１、ＲＯＭ１０３、ＲＡＭ１０５）
　ＣＰＵ１０１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ１０３、ＲＡＭ１０５、ストレージ装置１２１、又はリムーバブル記録媒体１２５に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ１０３は、ＣＰＵ１０１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ１０５には、例えば、ＣＰＵ１０１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。これらはＣＰＵバスなどから構成されるホストバス１０７により相互に接続されている。ＣＰＵ１０１、ＲＯＭ１０３およびＲＡＭ１０５は、例えば、ソフトウェアとの協働により、図７を参照して説明した制御部１４０の機能を実現し得る。
　（ホストバス１０７、ブリッジ１０９、外部バス１１１、インタフェース１１３）　ＣＰＵ１０１、ＲＯＭ１０３、ＲＡＭ１０５は、例えば、高速なデータ伝送が可能なホストバス１０７を介して相互に接続される。一方、ホストバス１０７は、例えば、ブリッジ１０９を介して比較的データ伝送速度が低速な外部バス１１１に接続される。また、外部バス１１１は、インタフェース１１３を介して種々の構成要素と接続される。
　（入力装置１１５）
　入力装置１１５には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置１１５としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラが用いられることもある。また、入力装置１１５には、マイクロフォンなどの音声入力装置が含まれる。
　（出力装置１１７、音声出力装置１１９）
　出力装置１１７は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置などの表示装置を含む。また、出力装置１１７は、プロジェクタ装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。また、音声出力装置１１９は、スピーカおよびヘッドホンなどの装置である。
　（ストレージ装置１２１）
　ストレージ装置１２１は、各種のデータを格納するための装置である。ストレージ装置１２１としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。ストレージ装置１２１は、例えば、図７を参照して説明した記憶部１５０の機能を実現し得る。
　（ドライブ１２３）
　ドライブ１２３は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体１２５に記録された情報を読み出し、又はリムーバブル記録媒体１２５に情報を書き込む装置である。
　（リムーバブル記録媒体１２５）
　リムーバブル記録媒体１２５は、例えば、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、ＨＤ　ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体１２５は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
　（通信装置１２７）
　通信装置１２７は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。
　以上、図２６を参照しながら、本開示の実施形態に係る情報処理装置のハードウェア構成例について説明した。
　＜＜３．まとめ＞＞
　以上説明したように、本開示の実施形態に係る情報処理装置は、空間内のポインタの位置情報及び空間内の選択対象の位置情報に基づいて、空間内の複数の選択対象の中からユーザが連続的に選択した複数の処理対象を検出する。また、本開示の実施形態に係る情報処理装置は、検出された複数の処理対象に対してユーザが指定した処理方針を示す処理方針情報に基づいて、検出された複数の処理対象に対して一括操作を実行する一括操作処理を実行する。
　情報処理装置は、複数の処理対象の選択を行った後で、当該複数の処理対象に対する一括操作処理を実行することで、複数の処理対象に対する操作処理を一括で実行することができる。
　その結果、情報処理装置は、ユーザが複数の物体を一括で選択した際の操作性を向上することが可能な、新規かつ改良された情報処理装置、情報処理方法、及びプログラムを提供することが可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書において説明した各装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記録媒体（非一時的な媒体：ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ　ｍｅｄｉａ）に予め格納される。そして、各プログラムは、例えば、コンピュータによる実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。
　また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　空間内のユーザ指示位置情報及び前記空間内の対象位置情報に基づいて、前記空間内の複数の選択対象の中からユーザが連続的に選択した複数の処理対象を検出する検出処理、及び検出された前記複数の処理対象に対して前記ユーザが指定した処理方針を示す処理方針情報に基づいて、検出された前記複数の処理対象に対して一括操作を実行する一括操作処理を実行する制御部、
を備える情報処理装置。
（２）
　前記制御部は、提示される前記ユーザ指示位置情報の連続的な軌跡に基づき、連続的に選択された前記複数の処理対象を検出する、前記（１）に記載の情報処理装置。
（３）
　前記制御部は、連続的に取得される前記ユーザ指示位置情報が示す形状が、前記軌跡の検出を開始することを示す形状であることが検出された前記ユーザ指示位置情報の位置から、連続的に取得される前記ユーザ指示位置情報が示す形状が、前記軌跡の検出を終了することを示す形状であることが検出された前記ユーザ指示位置情報の位置までを前記一括操作処理の対象範囲に設定する、前記（２）に記載の情報処理装置。
（４）
　前記制御部は、連続的に取得される前記ユーザ指示位置情報が示す形状が、前記処理対象を検出することを示す形状であることが検出された前記ユーザ指示位置情報の位置から前記軌跡の検出を開始する、前記（２）に記載の情報処理装置。
（５）
　前記制御部は、前記処理対象を検出することを示す前記軌跡の形状の少なくとも一部が前記選択対象上に形成されているか否かに基づき、前記選択対象が前記処理対象として選択されたか否かを判定する、前記（２）～（４）のいずれか一項に記載の情報処理装置。
（６）
　前記処理対象を検出することを示す前記軌跡の形状と前記選択対象が部分的に重複する場合、
　前記制御部は、前記処理対象を検出することを示す前記軌跡の形状の重心が前記選択対象上に存在するか否かに基づき、前記選択対象が前記処理対象として選択されたか否かを判定する、前記（５）記載の情報処理装置。
（７）
　前記処理対象を検出することを示す前記軌跡の形状と前記選択対象が部分的に重複する場合、
　前記制御部は、重複している部分の面積に基づき、前記選択対象が前記処理対象として選択されたか否かを判定する、前記（５）に記載の情報処理装置。
（８）
　操作物体の位置と前記ユーザ指示位置情報の位置とを結ぶ直線上に前記選択対象が複数存在する場合、
　前記制御部は、前記ユーザの視線に基づき、複数の前記選択対象から１つの前記処理対象を選択する、前記（２）～（７）のいずれか一項に記載の情報処理装置。
（９）
　前記操作物体の位置と前記ユーザ指示位置情報の位置とを結ぶ直線上に前記選択対象が複数存在し、前記軌跡が複数の前記選択対象と重複する場合、
　前記制御部は、複数の前記選択対象から選択された１つの前記処理対象に、前記軌跡を再配置する、前記（８）に記載の情報処理装置。
（１０）
　前記制御部は、複数の前記選択対象の内、前記処理方針に基づき実行される処理が設定されていない選択対象を複数の前記選択対象から除外する、前記（２）～（９）のいずれか一項に記載の情報処理装置。
（１１）
　前記制御部は、前記軌跡の記録の開始前又は終了後に検出される前記処理方針情報を示す前記ユーザの動作に基づき、前記一括操作処理を実行する、前記（２）～（１０）のいずれか一項に記載の情報処理装置。
（１２）
　前記制御部は、前記一括操作処理に関する要求を前記複数の処理対象の各々へ通信を介して送信する、前記（１１）に記載の情報処理装置。
（１３）
　前記一括操作処理が前記複数の処理対象の各々に関する処理対象情報を表示させる表示処理である場合、
　前記制御部は、前記処理対象情報を取得し、前記ユーザが指定した位置へ、取得した複数の前記処理対象情報を一括で投射装置に投射させる、前記（１１）または（１２）に記載の情報処理装置。
（１４）
　前記ユーザが前記複数の処理対象情報を表示する位置を指定していない場合、
　前記制御部は、前記複数の処理対象情報の各々の内容に基づき、前記複数の処理対象情報の各々を表示する場所を決定し、決定した各々の場所へ対応する前記処理対象情報を投射装置に投射させる、前記（１３）に記載の情報処理装置。
（１５）
　前記制御部は、前記ユーザ指示位置情報が前記処理対象上を移動した時間に応じて、前記投射装置に投射させる前記処理対象情報を変更する、前記（１３）または（１４）に記載の情報処理装置。
（１６）
　前記一括操作処理が前記複数の処理対象の各々に同一の動作をさせる動作処理である場合、
　前記制御部は、前記ユーザが指定した前記動作処理を、前記複数の処理対象の各々に一括で実行させる、前記（１１）～（１５）のいずれか一項に記載の情報処理装置。
（１７）
　前記ユーザが前記処理対象を選択したことを示す前記軌跡の形状は、前記処理方針を示す前記軌跡の形状とは異なる、前記（２）～（１６）のいずれか一項に記載の情報処理装置。
（１８）
　前記選択対象は、前記空間内に実在する実オブジェクト、または前記空間内に投射装置により投射された仮想オブジェクトである、前記（１）～（１７）のいずれか一項に記載の情報処理装置。
（１９）
　空間内のユーザ指示位置情報及び前記空間内の対象位置情報に基づいて、前記空間内の複数の選択対象の中からユーザが連続的に選択した複数の処理対象を検出する検出処理、及び検出された前記複数の処理対象に対して前記ユーザが指定した処理方針を示す処理方針情報に基づいて、検出された前記複数の処理対象に対して一括操作を実行する一括操作処理を実行すること、
を含むプロセッサにより実行される情報処理方法。
（２０）
　コンピュータを、
　空間内のユーザ指示位置情報及び前記空間内の対象位置情報に基づいて、前記空間内の複数の選択対象の中からユーザが連続的に選択した複数の処理対象を検出する検出処理、及び検出された前記複数の処理対象に対して前記ユーザが指定した処理方針を示す処理方針情報に基づいて、検出された前記複数の処理対象に対して一括操作を実行する一括操作処理を実行する制御部、
として機能させるためのプログラム。
　１０　　情報処理サーバ
　２０　　ポインティング装置
　３０　　環境評価装置
　４０　　センサ装置
　５０　　投射装置
　１３０　通信部
　１４０　制御部
　１４２　検出制御部
　１４４　記憶制御部
　１４６　選択制御部
　１４８　操作処理制御部
　１５０　記憶部

Claims (20)

  1. 　空間内のユーザ指示位置情報及び前記空間内の対象位置情報に基づいて、前記空間内の複数の選択対象の中からユーザが連続的に選択した複数の処理対象を検出する検出処理、及び検出された前記複数の処理対象に対して前記ユーザが指定した処理方針を示す処理方針情報に基づいて、検出された前記複数の処理対象に対して一括操作を実行する一括操作処理を実行する制御部、
    を備える情報処理装置。
  2. 　前記制御部は、提示される前記ユーザ指示位置情報の連続的な軌跡に基づき、連続的に選択された前記複数の処理対象を検出する、請求項１に記載の情報処理装置。
  3. 　前記制御部は、連続的に取得される前記ユーザ指示位置情報が示す形状が、前記軌跡の検出を開始することを示す形状であることが検出された前記ユーザ指示位置情報の位置から、連続的に取得される前記ユーザ指示位置情報が示す形状が、前記軌跡の検出を終了することを示す形状であることが検出された前記ユーザ指示位置情報の位置までを前記一括操作処理の対象範囲に設定する、請求項２に記載の情報処理装置。
  4. 　前記制御部は、連続的に取得される前記ユーザ指示位置情報が示す形状が、前記処理対象を検出することを示す形状であることが検出された前記ユーザ指示位置情報の位置から前記軌跡の検出を開始する、請求項２に記載の情報処理装置。
  5. 　前記制御部は、前記処理対象を検出することを示す前記軌跡の形状の少なくとも一部が前記選択対象上に形成されているか否かに基づき、前記選択対象が前記処理対象として選択されたか否かを判定する、請求項２に記載の情報処理装置。
  6. 　前記処理対象を検出することを示す前記軌跡の形状と前記選択対象が部分的に重複する場合、
    　前記制御部は、前記処理対象を検出することを示す前記軌跡の形状の重心が前記選択対象上に存在するか否かに基づき、前記選択対象が前記処理対象として選択されたか否かを判定する、請求項５に記載の情報処理装置。
  7. 　前記処理対象を検出することを示す前記軌跡の形状と前記選択対象が部分的に重複する場合、
    　前記制御部は、重複している部分の面積に基づき、前記選択対象が前記処理対象として選択されたか否かを判定する、請求項５に記載の情報処理装置。
  8. 　操作物体の位置と前記ユーザ指示位置情報の位置とを結ぶ直線上に前記選択対象が複数存在する場合、
    　前記制御部は、前記ユーザの視線に基づき、複数の前記選択対象から１つの前記処理対象を選択する、請求項２に記載の情報処理装置。
  9. 　前記操作物体の位置と前記ユーザ指示位置情報の位置とを結ぶ直線上に前記選択対象が複数存在し、前記軌跡が複数の前記選択対象と重複する場合、
    　前記制御部は、複数の前記選択対象から選択された１つの前記処理対象に、前記軌跡を再配置する、請求項８に記載の情報処理装置。
  10. 　前記制御部は、複数の前記選択対象の内、前記処理方針に基づき実行される処理が設定されていない選択対象を複数の前記選択対象から除外する、請求項２に記載の情報処理装置。
  11. 　前記制御部は、前記軌跡の記録の開始前又は終了後に検出される前記処理方針情報を示す前記ユーザの動作に基づき、前記一括操作処理を実行する、請求項２に記載の情報処理装置。
  12. 　前記制御部は、前記一括操作処理に関する要求を前記複数の処理対象の各々へ通信を介して送信する、請求項１１に記載の情報処理装置。
  13. 　前記一括操作処理が前記複数の処理対象の各々に関する処理対象情報を表示させる表示処理である場合、
    　前記制御部は、前記処理対象情報を取得し、前記ユーザが指定した位置へ、取得した複数の前記処理対象情報を一括で投射装置に投射させる、請求項１１に記載の情報処理装置。
  14. 　前記ユーザが前記複数の処理対象情報を表示する位置を指定していない場合、
    　前記制御部は、前記複数の処理対象情報の各々の内容に基づき、前記複数の処理対象情報の各々を表示する場所を決定し、決定した各々の場所へ対応する前記処理対象情報を投射装置に投射させる、請求項１３に記載の情報処理装置。
  15. 　前記制御部は、前記ユーザ指示位置情報が前記処理対象上を移動した時間に応じて、前記投射装置に投射させる前記処理対象情報を変更する、請求項１３に記載の情報処理装置。
  16. 　前記一括操作処理が前記複数の処理対象の各々に同一の動作をさせる動作処理である場合、
    　前記制御部は、前記ユーザが指定した前記動作処理を、前記複数の処理対象の各々に一括で実行させる、請求項１１に記載の情報処理装置。
  17. 　前記ユーザが前記処理対象を選択したことを示す前記軌跡の形状は、前記処理方針を示す前記軌跡の形状とは異なる、請求項２に記載の情報処理装置。
  18. 　前記選択対象は、前記空間内に実在する実オブジェクト、または前記空間内に投射装置により投射された仮想オブジェクトである、請求項１に記載の情報処理装置。
  19. 　空間内のユーザ指示位置情報及び前記空間内の対象位置情報に基づいて、前記空間内の複数の選択対象の中からユーザが連続的に選択した複数の処理対象を検出する検出処理、及び検出された前記複数の処理対象に対して前記ユーザが指定した処理方針を示す処理方針情報に基づいて、検出された前記複数の処理対象に対して一括操作を実行する一括操作処理を実行すること、
    を含むプロセッサにより実行される情報処理方法。
  20. 　コンピュータを、
    　空間内のユーザ指示位置情報及び前記空間内の対象位置情報に基づいて、前記空間内の複数の選択対象の中からユーザが連続的に選択した複数の処理対象を検出する検出処理、及び検出された前記複数の処理対象に対して前記ユーザが指定した処理方針を示す処理方針情報に基づいて、検出された前記複数の処理対象に対して一括操作を実行する一括操作処理を実行する制御部、
    として機能させるためのプログラム。
PCT/JP2019/020705 2018-06-06 2019-05-24 情報処理装置、情報処理方法、及びプログラム WO2019235263A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020523633A JP7306386B2 (ja) 2018-06-06 2019-05-24 情報処理装置、情報処理方法、及びプログラム
US17/051,843 US11570017B2 (en) 2018-06-06 2019-05-24 Batch information processing apparatus, batch information processing method, and program
CN201980035921.2A CN112204505A (zh) 2018-06-06 2019-05-24 信息处理装置、信息处理方法和程序
DE112019002866.9T DE112019002866T5 (de) 2018-06-06 2019-05-24 Informationsverarbeitungseinrichtung, informationsverarbeitungsverfahren undprogramm

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018108860 2018-06-06
JP2018-108860 2018-06-06

Publications (1)

Publication Number Publication Date
WO2019235263A1 true WO2019235263A1 (ja) 2019-12-12

Family

ID=68770358

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/020705 WO2019235263A1 (ja) 2018-06-06 2019-05-24 情報処理装置、情報処理方法、及びプログラム

Country Status (5)

Country Link
US (1) US11570017B2 (ja)
JP (1) JP7306386B2 (ja)
CN (1) CN112204505A (ja)
DE (1) DE112019002866T5 (ja)
WO (1) WO2019235263A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117874399A (zh) * 2024-03-11 2024-04-12 合肥坤颐建筑科技合伙企业(有限合伙) 空间净距的批量检测方法、装置、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1049700A (ja) * 1996-08-02 1998-02-20 Canon Inc ペン入力装置、ペン入力方法、入力装置及び入力方法
JP2003018672A (ja) * 2001-07-03 2003-01-17 Hitachi Ltd ネットワーク・システム
JP2004246856A (ja) * 2002-12-18 2004-09-02 National Institute Of Advanced Industrial & Technology インタフェース装置
JP2007259329A (ja) * 2006-03-24 2007-10-04 Fujifilm Corp 遠隔制御装置、システムおよび方法
WO2011027397A1 (ja) * 2009-09-03 2011-03-10 株式会社 東芝 ユーザーインターフェース装置
JP2011523800A (ja) * 2008-04-28 2011-08-18 ベックホフ オートメーション ゲーエムベーハー リモートコントロール方法
JP2011254291A (ja) * 2010-06-02 2011-12-15 Sony Corp 制御装置、制御方法、プログラム
JP2013120623A (ja) * 2011-12-06 2013-06-17 Panasonic Corp 照明システム
JP2015232928A (ja) * 2014-06-09 2015-12-24 株式会社ディスコ 照明器具及び照明器具の点灯管理方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471578A (en) * 1993-12-30 1995-11-28 Xerox Corporation Apparatus and method for altering enclosure selections in a gesture based input system
US7086013B2 (en) * 2002-03-22 2006-08-01 Xerox Corporation Method and system for overloading loop selection commands in a system for selecting and arranging visible material in document images
BRPI0712837B8 (pt) * 2006-06-11 2021-06-22 Volvo Tech Corporation método para determinação e análise de uma localização de interesse visual
US8423916B2 (en) * 2008-11-20 2013-04-16 Canon Kabushiki Kaisha Information processing apparatus, processing method thereof, and computer-readable storage medium
JP5455364B2 (ja) * 2008-12-26 2014-03-26 キヤノン株式会社 情報処理装置及び軌跡データ認識方法
KR20100114572A (ko) * 2009-04-16 2010-10-26 삼성전자주식회사 터치스크린을 구비한 단말기의 컨텐츠 표시 방법 및 장치
WO2012024442A2 (en) * 2010-08-17 2012-02-23 Google Inc. Touch-based gesture detection for a touch-sensitive device
US20150248166A1 (en) * 2014-01-26 2015-09-03 Shangkar Meitei Mayanglambam System for spontaneous recognition of continuous gesture input
US9696798B2 (en) * 2014-04-09 2017-07-04 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Eye gaze direction indicator
CN104297748B (zh) * 2014-10-20 2017-03-08 西安电子科技大学 一种基于轨迹增强的雷达目标检测前跟踪方法
US9823764B2 (en) * 2014-12-03 2017-11-21 Microsoft Technology Licensing, Llc Pointer projection for natural user input
WO2018008218A1 (ja) 2016-07-05 2018-01-11 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
EP3324270A1 (en) * 2016-11-16 2018-05-23 Thomson Licensing Selection of an object in an augmented reality environment

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1049700A (ja) * 1996-08-02 1998-02-20 Canon Inc ペン入力装置、ペン入力方法、入力装置及び入力方法
JP2003018672A (ja) * 2001-07-03 2003-01-17 Hitachi Ltd ネットワーク・システム
JP2004246856A (ja) * 2002-12-18 2004-09-02 National Institute Of Advanced Industrial & Technology インタフェース装置
JP2007259329A (ja) * 2006-03-24 2007-10-04 Fujifilm Corp 遠隔制御装置、システムおよび方法
JP2011523800A (ja) * 2008-04-28 2011-08-18 ベックホフ オートメーション ゲーエムベーハー リモートコントロール方法
WO2011027397A1 (ja) * 2009-09-03 2011-03-10 株式会社 東芝 ユーザーインターフェース装置
JP2011254291A (ja) * 2010-06-02 2011-12-15 Sony Corp 制御装置、制御方法、プログラム
JP2013120623A (ja) * 2011-12-06 2013-06-17 Panasonic Corp 照明システム
JP2015232928A (ja) * 2014-06-09 2015-12-24 株式会社ディスコ 照明器具及び照明器具の点灯管理方法

Also Published As

Publication number Publication date
JP7306386B2 (ja) 2023-07-11
CN112204505A (zh) 2021-01-08
US20210167982A1 (en) 2021-06-03
US11570017B2 (en) 2023-01-31
DE112019002866T5 (de) 2021-04-15
JPWO2019235263A1 (ja) 2021-07-08

Similar Documents

Publication Publication Date Title
US11561519B2 (en) Systems and methods of gestural interaction in a pervasive computing environment
JP6721713B2 (ja) 動作−音声の多重モード命令に基づいた最適制御方法およびこれを適用した電子装置
US10642371B2 (en) Sessionless pointing user interface
JP6669073B2 (ja) 情報処理装置、制御方法、およびプログラム
JP6364505B2 (ja) レーダベースのジェスチャ認識
CN103890695B (zh) 基于手势的接口系统和方法
US8823642B2 (en) Methods and systems for controlling devices using gestures and related 3D sensor
US20170068416A1 (en) Systems And Methods for Gesture Input
WO2014113507A1 (en) Dynamic user interactions for display control and customized gesture interpretation
US20130285904A1 (en) Computer vision based control of an icon on a display
Kang et al. Minuet: Multimodal interaction with an internet of things
US20210081029A1 (en) Gesture control systems
US20180260044A1 (en) Information processing apparatus, information processing method, and program
CN109725727A (zh) 有屏设备的手势控制方法和装置
CN115496850A (zh) 家居设备控制方法、智能穿戴设备和可读存储介质
WO2019235263A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US11287945B2 (en) Systems and methods for gesture input
CN109445568A (zh) 投影对象控制方法、装置及主机
CN104951211B (zh) 一种信息处理方法和电子设备
JP2010079848A (ja) 項目選択方法および装置
TWI587175B (zh) Dimensional pointing control and interaction system
TW201243333A (en) Operation controlling system
CN111492339A (zh) 信息处理设备、信息处理方法以及记录介质
Ruser et al. Evaluating the accuracy and user experience of a gesture-based infrared remote control in smart homes
CN207965847U (zh) 一种触控控制设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19814166

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020523633

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 19814166

Country of ref document: EP

Kind code of ref document: A1