WO2018074055A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2018074055A1
WO2018074055A1 PCT/JP2017/030147 JP2017030147W WO2018074055A1 WO 2018074055 A1 WO2018074055 A1 WO 2018074055A1 JP 2017030147 W JP2017030147 W JP 2017030147W WO 2018074055 A1 WO2018074055 A1 WO 2018074055A1
Authority
WO
WIPO (PCT)
Prior art keywords
selection
information processing
target
processing apparatus
unit
Prior art date
Application number
PCT/JP2017/030147
Other languages
English (en)
French (fr)
Inventor
拓也 池田
健太郎 井田
陽方 川名
麻紀 井元
龍一 鈴木
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/336,615 priority Critical patent/US20210294482A1/en
Publication of WO2018074055A1 publication Critical patent/WO2018074055A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • Patent Document 1 discloses a technique for identifying a user's hand existing in a certain environment, recognizing the direction of the hand, and pointing to a device based on the recognition result.
  • Patent Document 1 it is necessary to move the hand in the air and point the fingertip toward the operation target device. In this case, the direction of the hand is not stable, and the pointing recognition error becomes large, so that it is difficult for the user to select the operation target.
  • the present disclosure proposes a new and improved information processing apparatus, information processing method, and program capable of facilitating selection of an operation target.
  • the first selection unit that controls the selection of the selection target based on the information related to the first operation by the operation subject with respect to the selection target including the operation target, and the operation region corresponding to the selected selection target
  • a second selection unit that controls selection of the operation target based on information related to a second operation by the operation subject with respect to the first object in which the operation region is set.
  • the processor controls the selection of the selection target based on the information related to the first operation by the operation subject with respect to the selection target including the operation target, and corresponds to the selected selection target.
  • Information including setting an operation region to the first object and controlling selection of the operation target based on information related to a second operation by the operation subject with respect to the operation region set to the first object.
  • the computer includes a first selection unit that controls selection of the selection target based on information related to the first operation by the operation subject with respect to the selection target including the operation target, and the selected selection target.
  • a setting unit that sets an operation area corresponding to the first object, and a selection unit that controls selection of the operation target based on information related to a second operation performed by the operation subject on the first object in which the operation area is set.
  • a program for functioning as two selection units is provided.
  • selection of an operation target can be facilitated.
  • FIG. 3 is a block diagram illustrating a hardware configuration example of an information processing apparatus 900 according to an embodiment of the present disclosure.
  • First Embodiment >> ⁇ 1.1.
  • Overview of Information Processing System> 1 and 2 are diagrams illustrating an overview and a configuration example of an information processing system 1A according to the first embodiment of the present disclosure.
  • the information processing system 1 ⁇ / b> A according to the present embodiment includes an information processing device 10, an object detection device 20, and a display device 30.
  • the information processing system 1A according to the present embodiment is applied to an arbitrary space in which an operation target is provided (space 2 in FIG. 1), and information related to an operation on the operation target by the user U1 existing in the space 2 by the object detection device 20 And the operation target is selected based on the detection information.
  • a virtual object displayed in a display area or the like of the display device 30 described later is an example of an operation target according to the present embodiment.
  • the operation target may be a physical object such as a button, switch, lever, or knob provided on the wall surface of the space 2 or the wall surface of the space 2 itself.
  • the shape, size, position, type, and the like of the operation target are not particularly limited as long as the display mode accepts an input based on a user operation.
  • each device will be described.
  • the information processing apparatus 10 is an apparatus having an information processing function for acquiring detection information obtained from the object detection apparatus 20 and performing a predetermined control process based on the detection information.
  • the information processing apparatus 10 can include a processing circuit, a storage device, a communication device, and the like.
  • the information processing apparatus 10 can be realized by any apparatus such as a PC (Personal Computer), a tablet, and a smartphone. Further, as illustrated in FIG. 1, the information processing apparatus 10 may be realized by an information processing apparatus arranged in the space 2 or may be realized by one or a plurality of information processing apparatuses on the network such as cloud computing. May be.
  • the information processing apparatus 10 includes a control unit 100, a communication unit 110, and a storage unit 120.
  • the control unit 100 controls the overall operation of the information processing apparatus 10 according to the present embodiment.
  • the function of the control unit 100 is realized by a processing circuit such as a CPU (Central Processing Unit) included in the information processing apparatus 10.
  • the control unit 100 includes functions realized by each functional unit shown in FIG. 3 to be described later, and performs the operation of the information processing apparatus 10 according to the present embodiment. The functions of each functional unit included in the control unit 100 will be described later.
  • the communication unit 110 is a communication unit included in the information processing apparatus 10 and performs various types of communication with an external apparatus wirelessly or by wire via a network (or directly).
  • the function of the communication unit 110 is realized by a communication device provided in the information processing apparatus 10.
  • the communication unit 110 includes a communication antenna and an RF (Radio Frequency) circuit (wireless communication), an IEEE 802.15.1 port and a transmission / reception circuit (wireless communication), an IEEE 802.11b port and a transmission / reception circuit (wireless communication).
  • a communication device such as a LAN (Local Area Network) terminal and a transmission / reception circuit (wired communication).
  • LAN Local Area Network
  • the communication unit 110 communicates with the object detection device 20 and the display device 30 via the network NW. Specifically, the communication unit 110 acquires detection information from the object detection device 20 and outputs information related to display control generated by the control unit 100 to the display device 30. Communication unit 110 may communicate with other devices not shown in FIGS. 1 and 2.
  • the storage unit 120 is a storage unit included in the information processing apparatus 10, and stores information acquired by the communication unit 110, information obtained by processing by each functional unit included in the control unit 100, and the like.
  • the storage unit 120 is realized by, for example, a magnetic recording medium such as a hard disk or a non-volatile memory such as a flash memory.
  • the storage unit 120 appropriately outputs stored information in response to a request from each functional unit included in the control unit 100 or the communication unit 110.
  • the storage unit 120 stores a pattern such as a hand aspect related to a gesture by the user in advance, and when the control unit 100 recognizes the detected gesture, the pattern such as the hand aspect is stored in the control unit 100. It may be output.
  • the object detection device 20 is an example of a detection device for detecting an aspect of the user's body.
  • the object detection apparatus 20 detects an object (detection body) such as a user's body and generates three-dimensional position information of the detection body as detection information.
  • the generated three-dimensional position information is output to the information processing apparatus 10 via the network NW (or directly).
  • the object detection apparatus 20 according to the present embodiment is provided at a position (such as a ceiling or a wall) where the user U1 can be detected in a space 2 in which the information processing system 1A is used, for example, as illustrated in FIG.
  • the object detection device 20 can be realized by a depth sensor. Further, the object detection device 20 may be realized by a stereo camera or the like, for example. The object detection device 20 may be realized by a sensor capable of distance measurement using an infrared sensor, a TOF (Time of Flight) type sensor, an ultrasonic sensor, or the like, or by an apparatus that projects an IR laser pattern. It may be realized. That is, the object detection device 20 is not particularly limited as long as it can detect the position of the body of the user U1 from the space 2.
  • TOF Time of Flight
  • the information processing system 1A may include a device capable of detecting a user's line of sight or the like instead of the object detection device 20.
  • a device capable of detecting a user's line of sight or the like instead of the object detection device 20.
  • Such an apparatus may be realized by, for example, an image recognition sensor that can determine a user's line of sight or the like by image recognition on an image obtained by imaging the user's face.
  • the object detection device 20 has been described as being disposed on the ceiling or wall of the space 2, but the present technology is not limited to such an example.
  • the object detection apparatus 20 may be a device that is gripped by a user's hand.
  • a device may be a pointing device using a gyro mouse or an infrared sensor.
  • the object detection device 20 may be a wearable device worn on the user's head or arm.
  • a wearable device may be provided with various inertial sensors or mechanical sensors such as a gyro sensor, a potentiometer, and an encoder, and each sensor may detect the form of the user's body.
  • a marker may be provided on the user's head or upper limb, and the object detection device 20 may recognize the marker to detect the user's body mode or the like.
  • the display device 30 is arranged in the space 2 to which the information processing system 1A is applied, and displays a predetermined screen and information about information output from the information processing device 10 via the network NW (or directly). This is a device for the display area 31. Although details will be described later, display on the display area of the display device 30 according to the present embodiment is controlled by the information processing device 10, for example.
  • the display device 30 is a display such as a liquid crystal display or an organic EL (Electro Luminescence) display that is disposed on a wall portion of a space 2 to which the information processing system 1 ⁇ / b> A is applied.
  • the display device 30 may be a fixed display device that is fixedly provided at an arbitrary location in the space 2.
  • the display device 30 may be a portable display device having a display area such as a tablet, a smartphone, or a laptop PC. When the portable display device is used without being fixed, it is preferable that the position information of the display device 30 can be acquired.
  • the display device 30 may be a projection display device that sets a display area for an arbitrary wall body such as a projector and projects a display on the display area. Further, the shape of the display area is not particularly limited. Further, the display area may be a flat surface or a curved surface.
  • a virtual object that is an operation target displayed in the display area 31 of the display device 30 is specified by a gesture or a pointing operation using the user U1's hand. Thereby, the operation target is selected by the user U1.
  • a remote operation target such as a gesture or a pointing operation, such as a hand or the like
  • it becomes difficult to accurately select the operation target due to an error due to recognition accuracy of a sensor that detects a hand mode or movement, or a drift phenomenon when a gyro sensor or the like is used. That is, if an operation target is to be selected accurately, a strict operation of the hand mode and movement by the user is required. However, in that case, since the user operates with his hand floating in the air, the physical burden on the user increases.
  • the present disclosure proposes a technique that allows the user to more easily select an operation target.
  • a selection target including an operation target is selected by the first operation, and an operation region corresponding to the selected selection target is set as an object such as a hand.
  • the operation target is selected by the second operation on the object in which the operation area is set.
  • the selection target includes the operation target displayed in the display area. Is selected, the operation area corresponding to the selection target is set to the left hand of the user, and the selection operation for the operation area set to the left hand is performed by the user's right hand (second operation) as an example of the second object. It will be explained as a thing.
  • the selection target is configured by a region including at least one operation target, and can be a selection target by a first operation described later.
  • one operation target is selected from an operation target group including a plurality of operation targets will be described.
  • the left hand according to the present embodiment is an example of the first object, but the first object is not limited to such an example.
  • the first object may be a part of the body of the user who is the operation subject, or an object (for example, clothes, wristband, Gloves).
  • the first object may be a portable object (paper sheet, board, sundries, etc.) that can be carried or used by the user, or a fixed object (for example, a desk, a wall, etc.) that can be contacted by the user. There may be.
  • FIG. 3 is a block diagram illustrating a functional configuration example of the control unit 100 according to the present embodiment.
  • the control unit 100 includes an operated position estimation unit 101, an operation recognition unit 102, a first selection unit 103, a setting unit 104, a second selection unit 105, and a display control unit 106.
  • the operated position estimation unit 101 has a function of estimating an operated position (a pointing position in the present embodiment) in the display area 31 based on detection information generated by detecting an object by the object detection device 20.
  • the pointing position here means a position where the user holds the left hand over the display area 31.
  • the operation of holding the left hand is an example of the first operation, and the pointing position is estimated by the first operation.
  • the point of intersection of the display area 31 with the extension line of the arm and the left hand when the user extends his arm and holds his left hand is the pointing position.
  • the operated position estimation unit 101 recognizes the position of the user's left hand and the direction of the left hand based on the three-dimensional position information of the left hand generated by a depth sensor that is an example of the object detection device 20. Further, the operated position estimation unit 101 estimates the pointing position based on the recognized position and direction of the left hand and the position of the display area 31.
  • a known technique can be used for estimating the pointing position. For example, the technique disclosed in Japanese Patent Laid-Open No. 2013-205983 described above may be used for estimating the pointing position. Such a pointing position can be estimated as coordinates in the plane coordinate system of the display area 31, for example. Information related to the estimated pointing position is output to the first selection unit 103.
  • the pointing position which concerns on this embodiment was estimated based on the position of the left hand held over the display area 31, this technique is not limited to this example.
  • the pointing position may be estimated based on the aspect of the user's body.
  • the user's body aspect includes, for example, a left hand (or right hand) pointing, a user's body posture, a user's line of sight, etc., in addition to an aspect of holding the left hand.
  • the position pointed to by the pointing device may be estimated. Pointing by use of this pointing device is an example of the first operation.
  • the operated position estimation unit 101 may not be provided.
  • the pointing position according to the present embodiment is an example of the operated position, but the present technology is not limited to such an example.
  • the operated position may be not only a pointing position by a pointing operation using a hand but also an operated position specified by a gesture using a hand. More specifically, a position where the above-described at least one operation target group exists (or can be displayed) is stored in advance as a candidate for the operated position, and the operated position estimation unit 101 performs a gesture using a hand or the like.
  • the operation position may be estimated based on the recognition result (that is, the operation target group to be selected is changed).
  • Such a gesture is an example of the first operation, and can be recognized based on detection information related to the manner and movement of the hand detected by the object detection device 20 or the like.
  • the operation recognition unit 102 has a function of recognizing a user's operation based on detection information generated by detecting an object by the object detection device 20.
  • the recognition of an operation here means recognition of some aspects and actions of the user's body.
  • the operation recognizing unit 102 according to the present embodiment recognizes an operation by the user based on the detection information regarding the mode and operation of the user's hand detected by the object detection device 20.
  • Known techniques can be used to recognize such operations.
  • the operation by the user will be described in detail later, but may include a contact operation or a proximity operation of the right hand with respect to the left hand. Further, the operation by the user may include a gesture with the left hand or the right hand. Specific examples of such user operations will be described later.
  • Information related to the recognition result of the operation by the user gesture by the operation recognition unit 102 is output to the first selection unit 103 and the second selection unit 105.
  • the first selection unit 103 has a function of controlling selection of the selection target based on information related to the first operation on the selection target.
  • the first operation according to the present embodiment corresponds to an operation of holding the left hand (operation using the first object), and the information related to the first operation may include, for example, information related to the above-described pointing position.
  • the first selection unit 103 according to the present embodiment can select an operation target group based on information related to the pointing position. More specifically, the first selection unit 103 can select the operation target group corresponding to the pointing position when the pointing position exists in the region constituting the operation target group.
  • Information related to selection control by the first selection unit is output to the setting unit 104.
  • the information can be output to the display control unit 106.
  • the first selection unit 103 may perform control to determine selection of the operation target group corresponding to the pointing position based on the operation recognition result output from the operation recognition unit 102. In this case, information regarding the operation target group for which selection has been determined can be output to the setting unit 104.
  • the first selection unit 103 is a control (so-called control) that holds the selection state of the operation target group corresponding to the pointing position based on the operation recognition result output from the operation recognition unit 102. Lock control). As a result, frequent switching of the selection of the operation target group due to blurring of the left hand can be prevented. Therefore, it is possible to reduce the burden on the user in operation and further improve operability.
  • the first selection unit 103 may perform control to directly select the operation target at this point. Thereby, processing by the setting unit 104 and the second selection unit 105, which will be described later, can be omitted, so that the burden on the user's operation can be reduced.
  • the information related to the first operation is information related to the pointing position, but the present technology is not limited to such an example.
  • the information related to the first operation is not particularly limited as long as it is information related to the operated position obtained by the operated position estimation unit 101.
  • the setting unit 104 has a function of setting the operation region corresponding to the selection target selected by the first selection unit 103 as the first object (left hand in the present embodiment).
  • the setting of the operation area here means that an area corresponding to at least one operation object included in the operation object group which is an example of the selection object is assigned (set) to a part of the left hand.
  • the operation area means an area composed of each of the areas corresponding to the operation target assigned to each part of the left hand.
  • the operation area setting method will be described later.
  • Information related to the operation area set for the first object is output to the second selection unit 105.
  • the information can be output to the display control unit 106.
  • the second selection unit 105 has a function of controlling selection of an operation target based on information related to the second operation on the first object (the left hand in the present embodiment) in which the operation region is set.
  • the second operation here is an operation using the right hand, which is an example of the second object.
  • the information related to the second operation may include information such as a gesture recognized by the operation recognition unit 102 based on detection information obtained by detecting the aspect or motion of the right hand.
  • the second object is not particularly limited as long as it is an object different from the first object.
  • the second operation may include, for example, a contact operation or a proximity operation with respect to the left hand that is an example of the first object. A specific example of the second operation will be described later.
  • the second selection unit 105 identifies an operation on the region corresponding to the operation target assigned to the left hand, based on the information related to the operation using the right hand for the left hand (that is, the recognition result of the operation by the user). Then, the operation target corresponding to the area is selected. That is, the second selection unit 105 identifies the right hand operation (for example, contact or proximity) for any region assigned to the left hand based on the recognition result, and the operation target corresponding to the identified region. Select.
  • Information related to selection control by the second selection unit 105 may be output to the display control unit 106.
  • the display control unit 106 has a function of controlling display of selection by at least one of the first selection unit 103 and the second selection unit 105.
  • the display control unit 106 controls the display of the selection on the display area 31 of the display device 30. For example, when the selection of the operation target group is determined by the first selection unit 103, the display control unit 106 may control display of an object for presenting the operation target group for which the selection has been determined. Similarly, when an operation target is selected by the second selection unit 105, the display control unit 106 may control display of an object for presenting the selected operation target.
  • the display control unit 106 may control the display for the operation area set by the setting unit 104.
  • the display control unit 106 may control the display for each area assigned to the left hand corresponding to each operation target. Thereby, the user can confirm which area is assigned to which part of the left hand.
  • region can be displayed on the display area 31 in this embodiment, you may display on a user's left hand (namely, 1st object).
  • Examples of display control by the display control unit 106 will be described in detail in processing examples and display control examples.
  • control unit 100 The configuration example of the control unit 100 according to the present embodiment has been described above.
  • the processing by the information processing system 1A according to the present embodiment is performed in two stages.
  • the first stage is a process for selecting a selection target.
  • the second stage is a process of setting an operation area corresponding to the selection target and selecting the operation target from an operation on the left hand in which the operation area is set.
  • FIG. 4 is a flowchart showing an example of the flow of the first stage processing by the information processing system 1A according to the present embodiment.
  • description of the content mentioned above about the process in each step is abbreviate
  • the object detection device 20 detects the left hand (step S103).
  • the object detection device 20 generates three-dimensional position information of the detected left hand as detection information.
  • the generated detection information is output to the control unit 100.
  • the operated position estimation unit 101 estimates the pointing position that is the operated position based on the three-dimensional position information of the left hand and the position information of the display area 31 included in the detection information (step S105).
  • the first selection unit 103 identifies an operation target group that is a selection target from the pointing position (step S107).
  • the display control unit 106 displays a display related to the specified operation target group in the display area 31 (step S109).
  • a display related to the operation target group by the display control unit 106 will be described with reference to FIGS.
  • FIG. 5 is a diagram for explaining a first example of display control by the display control unit 106 according to the present embodiment.
  • the display device 30 is arranged on the wall portion of the space 2 where the user U1 exists, and the selection target objects 1001 and 1002 each including four operation target objects in the display region 31 of the display device 30. Is displayed.
  • the selection target object 1001 includes operation target objects 1001A to 1001D.
  • the user U1 holds the left hand H1 toward the selection target object 1001 in the remote display area 31.
  • the operated position estimation unit 101 estimates the pointing position Pt1 corresponding to the left hand H1 held up, and the first selection unit 103 selects the pointing position Pt1 because it is included in the area formed by the selection target object 1001.
  • a target object 1001 is selected. Since the area constituting the selection target object 1001 is larger than the operation target objects 1001A to 1001D, the pointing operation of the left hand H1 by the user U1 can be easy.
  • the display control unit 106 can display the ring-shaped object 1011 around the selection target object 1001 in order to present that the selection target object 1001 is selected. Thereby, the user U1 can recognize that the selection target object 1001 is selected.
  • the pointing position Pt1 also changes.
  • the ring-shaped object 1011 may be moved along the arrow Mv2 and displayed around the selection target object 1002.
  • the display control unit 106 may hold the state where the ring-shaped object 1011 is displayed. Thereby, it is possible to continue receiving feedback as to which selection target object the user has selected.
  • FIG. 6 is a diagram for explaining a second example of display control by the display control unit 106 according to the present embodiment.
  • the display control unit 106 blurs other selection target objects (for example, the selection target object 1002). Or may be displayed in a transparent manner.
  • the display control unit 106 may emphasize the outline portion 1012 of the selected selection target object 1001.
  • FIG. 7 is a diagram for explaining a third example of display control by the display control unit 106 according to the present embodiment. As shown in FIG. 7, when the selection target object 1001 is selected based on the operation of the left hand H1 of the user U1, the display control unit 106 displays the selected selection target object 1001 and its surroundings with a highlight 1013. May be.
  • FIG. 8 is a diagram for explaining a fourth example of display control by the display control unit 106 according to the present embodiment. As illustrated in FIG. 8, when the selection target object 1001 is selected based on the operation of the left hand H1 of the user U1, the display control unit 106 superimposes an object 1014 that simulates a hand on the selected selection target object 1001. You may let them.
  • the display control example by the display control unit 106 and the display control example by the display control unit 106 are not limited to the examples shown in FIGS.
  • the display mode is not particularly limited as long as the selected selection target object can be presented to the user.
  • the display control unit 106 performs display control for presenting the selected selection target object, but the present technology is not limited to such an example.
  • the selection target is an area including a switch or the like provided on a wall or the like of the space 2 where the user U1 exists
  • a light source or the like provided in the space 2 irradiates the area when the area is selected. May be.
  • the user U1 can recognize that the area has been selected.
  • step S111 It is determined whether or not a predetermined gesture has been detected with the operation target group selected (step S111).
  • the first selection unit 103 determines the selection of the operation target group (step S113).
  • the predetermined gesture may be recognized based on the detection information acquired by the operation recognition unit 102.
  • the predetermined gesture may be, for example, a left hand gesture, a right hand gesture, or a gesture using a part of the body.
  • the predetermined gesture may be an operation of closing and holding the left hand held up, an operation of tapping the left hand held up with the right hand, or the like.
  • the selection of the selection target is determined by detecting a predetermined gesture, but the present technology is not limited to such an example. For example, based on an operation using a physical switch such as a toggle switch of a remote controller connected to the network NW shown in FIG. 1 or an operation by a voice command using a voice input device and a voice processing device, the selection target The selection may be determined.
  • the selection of the selection target may be determined based on the fact that the state in which the selection target is selected by the first selection unit 103 continues for a predetermined time. That is, the selection of a selection target can be determined by any operation that can be detected by a known sensing technique.
  • the first stage process of the information processing system 1A ends.
  • the selection target including the operation target can be configured by a larger area than the operation target, so that pointing by an operation such as a user gesture is easy. Therefore, even if the operation target is not directly selected in the first stage, the operation region corresponding to the selection target including the operation target is set in the left hand in the second stage described later. For this reason, it is possible to reliably select the operation target in the second stage described below.
  • FIG. 9 is a flowchart showing an example of the flow of the second stage process by the information processing system 1A according to the present embodiment.
  • description of the content mentioned above about the process in each step is abbreviate
  • the setting unit 104 sets an operation area corresponding to the operation target group to the left hand (step S201).
  • FIG. 10 is a diagram illustrating an example of setting of the operation area by the setting unit 104 according to the present embodiment.
  • an operation area 1101 is set in the left hand H1.
  • the areas 1101A to 1101D are areas corresponding to the operation target objects 1001A to 1001D, and these areas 1101A to 1101D are assigned to the upper left, upper right, lower left and lower right of the left hand H1, respectively. Yes.
  • These areas 1101A to 1101D may be displayed on the back of the left hand H1 by a predetermined projection device or the like, and more specifically, may be displayed in the display area 31 as described later. Thereby, the user U1 can recognize which part of the left hand H1 is a desired operation target.
  • FIG. 11 is a diagram illustrating another example of setting the operation area.
  • the setting unit 104 may set the areas 1102A to 1102D corresponding to the operation target objects 1001A to 1001D, respectively, on the index finger, middle finger, ring finger, and little finger of the left hand H1 of the user U1.
  • selection control by the second selection unit 105 described later is based on information related to an operation by tapping a finger corresponding to the operation target with the right hand, or information related to an operation such as bending the finger corresponding to the operation target. May be performed on the basis. Since each finger is independent, the accuracy of selection control by the second selection unit 105 can be improved.
  • the second selection unit 105 controls the selection of the operation target based on the information related to the tap operation to the left hand by the right hand based on the recognition result by the operation recognition unit 102 (step S203).
  • the second selection unit 105 selects an operation target corresponding to the region including the tapped left hand portion.
  • the display control unit 106 displays a display related to the selected operation target in the display area 31 (step S205).
  • a display related to the selected operation target by the display control unit 106 will be described with reference to FIG.
  • FIG. 12 is a diagram for explaining an example of display control by the display control unit 106 according to the present embodiment.
  • the operation area 1101 corresponding to the selected selection target object 1001 is set to the left hand H1 of the user U1, and the areas 1101A to 1101D corresponding to the operation target objects 1001A to 1001D are assigned to the left hand H1. It has been.
  • the second selection unit 105 selects the operation target object 1001B corresponding to the area 1101B based on the information related to the tap operation.
  • the display control unit 106 can highlight the operation target object 1001B with the highlight 1021 in order to present that the operation target object 1001B is selected. Thereby, the user U1 can recognize that the operation target object 1001B is selected.
  • the display control unit 106 performs display control for presenting the selected operation target object, but the present technology is not limited to such an example.
  • the operation target is a switch or the like provided on a wall or the like of the space 2 where the user exists
  • a light source or the like provided in the space 2 irradiates the switch or the like when the switch or the like is selected. Also good. As a result, the user can recognize that the switch or the like has been selected.
  • the processing example of the second stage of the information processing system 1A according to the present embodiment has been described.
  • the selection target including the operation target is selected in the first stage, and in the second stage, the operation target is selected by an operation on the left hand in which the operation area corresponding to the selection target is set. You can choose. In this way, by selecting a remote operation target at hand, the remote operation target can be selected more reliably, and the burden on the body related to the user's remote operation can be reduced. be able to. Therefore, the user can select the operation target more easily.
  • the operation target and the selection target according to the present embodiment are assumed to exist remotely from the user, the present technology is not limited to such an example.
  • the present system can also be applied to an operation target and a selection target that can be directly touched by the user. More specifically, when the selection target is provided on the wall body, when the user touches the selection target with the left hand, the operation region corresponding to the selection target may be set to the left hand by the setting unit 104. . Accordingly, the user can move away from the selection target while holding the operation area in the left hand.
  • the first selection unit 103 controls to hold the selection state of the operation target group corresponding to the pointing position based on the recognition result of the operation (third operation) output from the operation recognition unit 102 in the first stage process. (So-called lock control) may be performed. As a result, frequent switching of the selection of the operation target group due to blurring of the left hand can be prevented. Therefore, the burden on the user in operation can be reduced.
  • the flow of the lock process will be specifically described below.
  • FIG. 13 is a flowchart showing a flow of processing in the first stage according to the first modification of the information processing system 1A according to the present embodiment.
  • the object detection device 20 detects the left hand (step S303).
  • the object detection device 20 generates three-dimensional position information of the detected left hand as detection information.
  • the generated detection information is output to the control unit 100.
  • the operated position estimation unit 101 estimates the pointing position that is the operated position based on the three-dimensional position information of the left hand and the position information of the display area 31 included in the detection information (step S305).
  • the first selection unit 103 identifies an operation target group that is a selection target from the pointing position (step S307).
  • the display control unit 106 displays a display related to the specified operation target group in the display area 31 (step S309).
  • step S311 it is determined whether or not a predetermined operation (third operation) related to the lock control is detected in a state where the operation target group is selected (step S311).
  • a predetermined operation is detected (step S311 / YES)
  • the first selection unit 103 performs lock control that maintains the state in which the operation target group is selected (step S313). Thereby, for example, even if the pointing position is out of the region constituting the operation target group, the operation target group is still selected. This eliminates the need for the user to continuously maintain the pointing position, thereby reducing the burden on the user.
  • step S315 when the state where the operation target group is selected is held, it is determined whether or not a lock control release operation (fourth operation) is detected (step S315).
  • the first selection unit 103 cancels the lock control, and the process of step S303 is performed again.
  • the first selection unit 103 determines the selection of the operation target group (step S317).
  • the third operation which is an operation related to lock control
  • the fourth operation which is a lock control release operation
  • Table 1 below.
  • the first selection unit 103 may release the lock control when the left hand operation (so-called second operation) is not performed for a certain period.
  • each row of Table 1 describes an operation related to lock control and a corresponding release operation
  • each operation does not necessarily correspond.
  • the operation related to the lock control may be an operation using the right hand
  • the unlocking operation of the lock control may be an operation using the head.
  • the lock control described above is not limited to the one performed based on the recognition result of the gesture or the like by the operation recognition unit 102, but is performed based on the detection result of the gesture or the like detected by another sensor (not shown). There may be.
  • Each operation shown in Table 1 is merely an example, and is not particularly limited as long as the operation can be detected by a known sensing technique.
  • (2. Modification of operation target, operation area display) 14 and 15 are diagrams illustrating a control example according to the second modification of the information processing system 1A according to the present embodiment.
  • a selection target object 1003 is displayed in the display area 31.
  • the selection target object 1003 includes a selector switch object 1003A and a slider object 1003B. That is, in the present modification, an example will be described in which not only the operation target is selected by the second operation but also the operation target state can be changed simultaneously with the selection of the operation target by the second operation.
  • the selection target object 1003 is selected by the first selection unit 103 based on information related to an operation of the user U1 holding the left hand H1 over the display area 31.
  • a ring-shaped object 1015 can be displayed around the selection target object 1003.
  • the setting unit 104 sets an operation area 1102 corresponding to the selection target object 1003 on the back of the left hand H1 of the user U1. That is, the setting unit 104 assigns areas corresponding to the selector switch object 1003A and the slider object 1003B to the back of the left hand H1. Then, as shown in FIG. 15, areas 1102A and 1102B are allocated to the back of left hand H1. These areas 1102A and 1102B are not displayed on the back of the left hand H1. Therefore, in this state, it is difficult to operate the selector switch object 1003A and the slider object 1003B with the right hand H2.
  • the display control unit 106 may control the display related to the setting state in the left hand H1 of the operation area 1102. Specifically, as shown in FIG. 15, the display control unit 106 displays the display corresponding to the areas 1102A and 1102B as the selector switch object 1022A and the slider object 1022B, and further displays the left hand object 1022C corresponding to the left hand H1. It may be displayed in the display area 31. At this time, the selector switch object 1022A and the slider object 1022B can be displayed on the left hand object 1022C so as to correspond to the assigned positions of the areas 1102A and 1102B assigned to the back of the left hand H1. Thereby, the user U1 can perform an operation while confirming which operation target is being operated to what extent. The display control unit 106 may further control the display of the position at which the right hand H2 contacts the left hand H1 and the degree of operation of the operation target. As a result, the user U1 can receive an operation feedback, and thus the operation becomes easier.
  • the operation target is not limited to this example.
  • the shape, size, position, type, and the like of the operation target are not particularly limited as long as the display mode accepts input based on the user's operation.
  • the display of the selector switch object 1003A and the slider object 1003B, which are the operation targets is different from the display of the selector switch object 1022A and the slider object 1022B corresponding to the operation area, but these displays are the same. There may be. That is, the display of the selector switch object 1003A and the slider object 1003B that are the operation targets may be controlled as the display of the selector switch object 1022A and the slider object 1022B corresponding to the operation area as they are.
  • the selection target object 1004 is displayed in the display area 31.
  • the selection target object 1004 is an object indicating a drawable range, and indicates a range in which an object such as a character or an illustration can be drawn by an operation of the user U1.
  • the operation target is a unit pixel included in an area constituting the selection target object 1004.
  • the position, size, and shape of the selection target object 1004 may be specified by, for example, a gesture using the right hand H2 as well as the left hand H1.
  • the selection target object 1004 is selected by the first selection unit 103 based on information related to an operation of the user U1 holding the left hand H1 over the display area 31.
  • the setting unit 104 sets the operation area 1103 on the back of the left hand H1 of the user U1.
  • the operation area 1103 may be set to the palm of the left hand H1.
  • Such an operation area 1103 becomes a drawing canvas.
  • the operation area 1103 is not displayed on the back of the left hand H1 of the user U1, and therefore it is difficult for the user U1 to recognize the operation area 1103 that is a drawing canvas. .
  • the display control unit 106 may control the display related to the setting state in the left hand H1 of the operation area 1103. Specifically, as illustrated in FIG. 17, the display control unit 106 may display a left hand object 1024 corresponding to the back of the left hand H1 of the user U1 in the display area 31 together with the selection target object 1004. At this time, the left hand object 1024 can be displayed such that the selection target object 1004 is positioned corresponding to the position of the operation area 1103 on the back of the left hand H1. Accordingly, the user U1 can draw the character Tr1 and the like on the selection target object 1004 using the right hand H2 while looking at the display area 31. The character object 1025 corresponding to the character Tr1 can be displayed in the display area 31.
  • the object corresponding to the left hand H1 can be displayed in the display area 31, but the present technology is not limited to such an example. That is, during the second operation, the control for displaying the object corresponding to the left hand H1 (first object) in the display area 31 may not be performed.
  • the second selection unit 105 controls the selection of the operation target based on the information related to the contact operation such as the tap operation of the right hand with respect to the left hand. Is not limited to such an example.
  • the second selection unit 105 may control selection of an operation target based on information related to a proximity operation such as a hover operation. The information related to the proximity operation may be obtained based on the recognition result by the operation recognition unit 102, for example.
  • FIG. 18 is a flowchart showing the flow of processing in the second stage according to the fourth modification of the information processing system 1A according to this embodiment.
  • FIG. 19 is a diagram illustrating a control example according to a fourth modification of the information processing system 1A according to the present embodiment. Here, it demonstrates along the flowchart shown in FIG.
  • the setting unit 104 sets the operation area corresponding to the operation target group to the left hand (step S401). Next, it is determined whether or not an approach of the right hand to the area corresponding to the operation target assigned to the left hand (that is, a hover operation) has been detected (step S403). When the approach of the right hand to the area is detected (step S403 / YES), the second selection unit 105 selects an operation target corresponding to the adjacent area. Then, the display control unit 106 controls display related to the operation target corresponding to the adjacent area (step S405).
  • an operation area 1104 corresponding to the selected selection target object 1001 is set to the left hand H1 of the user U1, and areas 1104A to 1104D corresponding to the operation target objects 1001A to 1001D are assigned to the left hand H1. It has been.
  • the second selection unit 105 specifies the operation target object 1001B corresponding to the area 1101B based on the information related to the hover operation.
  • a highlight 1026 can be displayed on the operation target object 1001B.
  • the user U1 can recognize that the operation target object 1001B is specified by the hover operation.
  • step S407 it is determined whether or not it has been detected that the right hand H2 has left the region once approached.
  • step S407 when it is not detected that the right hand H2 has moved away from the adjacent region (step S407 / NO), the second selection unit 105 moves the right hand H2 to the left hand H1 based on the recognition result by the operation recognition unit 102. Based on the information related to the tap operation, the selection of the operation target is controlled (step S409).
  • step S409 / YES the second selection unit 105 selects an operation target corresponding to the region including the tapped left hand H1 portion.
  • the display control unit 106 displays a display related to the selected operation target in the display area 31 (step S411).
  • the second operation may include a contact operation and a proximity operation.
  • a contact operation may include, for example, a turning operation, a slide operation, a flick operation, a drag operation, a pinch operation or a knob operation.
  • the proximity operation may include not only a hover operation but also a gesture using a finger in the vicinity of the first object such as the left hand.
  • the second operation is a right-hand operation, but the present technology is not limited to such an example.
  • it may be an operation with a part of the body other than the right hand, or an operation with another device such as a remote controller. By performing the second operation with the right hand, it is possible to perform an operation utilizing the somatic sense of the body. Thereby, operability can be improved.
  • the information processing system 1 ⁇ / b> B according to the present embodiment includes an operation tool detection device 40 in addition to the information processing device 10, the object detection device 20, and the display device 30. Since the configuration and function of each device other than the operating tool detection device 40 are the same as those of the first embodiment, description thereof will be omitted.
  • the operating tool detection device 40 is an example of a detecting device used for detecting an operating tool.
  • the operating tool detection apparatus 40 according to the present embodiment generates operating tool detection information related to the hand H1 of the user U1 that is an example of the operating tool.
  • the generated operation tool detection information is output to the information processing apparatus 10 via the network NW (or directly).
  • NW or directly.
  • the operating tool detection device 40 according to the present embodiment is provided on a workbench, for example, as illustrated in FIG. 20, and detects a hand H1 that may exist on the operating tool detection device 40.
  • the above-described operating tool detection information includes, for example, information related to the position (in the local coordinate system or the global coordinate system) of the detected operating tool in the three-dimensional space.
  • the operating tool detection information includes information related to the position of the operating tool in the coordinate system of the space 2.
  • the operating tool detection information may include a model generated based on the shape of the operating tool.
  • the operation tool detection device 40 acquires information related to an operation performed by the user U1 on the operation tool detection device 40 as operation tool detection information.
  • the operating tool detection apparatus 40 can be realized by an infrared irradiation light source, an infrared camera, or the like. Further, the operating tool detection device 40 may be realized by various sensors such as a depth sensor, a camera, a magnetic sensor, and a microphone. That is, the operating tool detection device 40 is not particularly limited as long as the position and / or mode of the operating tool can be acquired.
  • the operation tool detection device 40 has been described as being placed on a workbench, but the present technology is not limited to such an example.
  • the operating tool detection device 40 may be a device that is gripped by a hand that is an operating tool, or a wearable device that is worn on a wrist or an arm.
  • a wearable device may be provided with various inertial sensors or mechanical sensors such as a gyro sensor, a potentiometer, and an encoder, and the position of a hand as an operating body may be detected by each sensor.
  • a marker may be provided on the hand H1 of the user U1, and the position of the hand H1 may be detected by the operating tool detection device 40 recognizing the marker.
  • the operating tool detection device 40 may be a touch panel or the like that generates operating tool detection information with the touch of the hand H1 as an input.
  • the operating tool detection information generated by the operating tool detection device 40 is transmitted to the information processing device 10.
  • the control unit 100 acquires the operation tool detection information via the communication unit 110.
  • the operated position estimation unit 101 estimates the operated position based on the operating tool detection information. The details of such estimation processing are the same as those in the first embodiment, and thus description thereof is omitted.
  • the operation position such as the pointing position is detected by the operation body detection device 40 according to this embodiment, so that the operation position can be specified more reliably. Further, since the operating tool detection device 40 according to the present embodiment is provided on the work table, the operation can be performed without lifting the hand H1. Therefore, the burden of the operation of the hand H1 by the user U1 can be reduced.
  • FIG. 22 and 23 are diagrams illustrating an overview and a configuration example of an information processing system 1C according to the third embodiment of the present disclosure.
  • the information processing system 1 ⁇ / b> C according to the present embodiment includes an operated device 50 in addition to the information processing device 10, the object detection device 20, and the display device 30. Since the configuration and function of each device other than the operated device 50 are the same as those of the first embodiment, description thereof will be omitted.
  • the operated device 50 is a device controlled by an operation on the operation target selected by the user U1.
  • FIG. 22 shows a lighting device as an example of the operated device 50.
  • the operated device 50 includes home appliances such as an air conditioner, a television, a refrigerator, a washing machine, and an audio device, and devices related to a building such as a lighting device, a locking device, and an interphone.
  • the operated device 50 may include all devices existing in the space 2 to which the information processing system 1C according to the present embodiment is applied.
  • the operated device 50 is connected to the information processing apparatus 10 via a network NW in a wired or wireless manner.
  • the operated device 50 is controlled based on an output signal acquired from the information processing apparatus 10 via the network NW (or directly).
  • FIG. 24 is a block diagram illustrating a functional configuration example of the control unit 100C according to the present embodiment.
  • the control unit 100C further controls the device in addition to the operated position estimation unit 101, the operation recognition unit 102, the first selection unit 103, the setting unit 104, the second selection unit 105, and the display control unit 106.
  • Part 107 is provided. Note that the configuration of the functional units other than the device control unit 107 and the functions of the functional units are the same as those of the functional units according to the first embodiment, and a description thereof will be omitted.
  • the device control unit 107 has a function of controlling the operated device 50 corresponding to the operation target selected by the second selection unit 105. For example, when the operation target is a switch and the switch is selected by the second selection unit 105, the device control unit 107 performs control related to the switching of the operated device 50 corresponding to the switch. To do. If the operated device 50 is a lighting device as illustrated in FIG. 22, the device control unit 107 may control switching of lighting of the lighting device.
  • An output signal for controlling the operated device 50 may be generated based on the changed state.
  • the device control unit 107 may generate an output signal corresponding to the switched state. More specifically, when the selector switch object 1003A, which is an example of the operation target, switches the illuminance level of the lighting device, which is an example of the operated device 50, the device control unit 107 selects the selector switch object 1003A.
  • the operated device 50 may be controlled to have an illuminance corresponding to the state indicated by. Thereby, detailed control of the operated device 50 becomes possible.
  • the display control of the selection can be performed by the display control unit 106, but the present technology is not limited to such an example. For example, if feedback by displaying the selection to the user is unnecessary, the function related to the display control unit 106 may not be provided.
  • FIG. 25 is a block diagram illustrating a hardware configuration example of the information processing apparatus 900 according to an embodiment of the present disclosure.
  • the illustrated information processing apparatus 900 can realize, for example, the information processing apparatus in the above embodiment.
  • the information processing device 900 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 903, and a RAM (Random Access Memory) 905.
  • the information processing apparatus 900 may include a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 925, and a communication device 929.
  • the information processing apparatus 900 may include a processing circuit called a DSP (Digital Signal Processor) or ASIC (Application Specific Integrated Circuit) instead of or in addition to the CPU 901.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls all or a part of the operation in the information processing apparatus 900 according to various programs recorded in the ROM 903, the RAM 905, the storage apparatus 919, or the removable recording medium 923.
  • the ROM 903 stores programs and calculation parameters used by the CPU 901.
  • the RAM 905 temporarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901, the ROM 903, and the RAM 905 can realize the function of the control unit 100 in the above embodiment.
  • the CPU 901, the ROM 903, and the RAM 905 are connected to each other by a host bus 907 configured by an internal bus such as a CPU bus. Further, the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 915 is a device operated by the user, such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever.
  • the input device 915 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device 927 such as a mobile phone that supports the operation of the information processing device 900.
  • the input device 915 includes an input control circuit that generates an input signal based on information input by the user and outputs the input signal to the CPU 901. The user operates the input device 915 to input various data and instruct processing operations to the information processing device 900.
  • the output device 917 is a device that can notify the user of the acquired information visually or audibly.
  • the output device 917 can be, for example, a display device such as an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), an OELD (Organic Electro-Luminescence Display), an audio output device such as a speaker and headphones, and a printer device.
  • the output device 917 outputs the result obtained by the processing of the information processing device 900 as video such as text or an image, or outputs it as audio such as voice or sound.
  • the storage device 919 is a data storage device configured as an example of a storage unit of the information processing device 900.
  • the storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the drive 921 is a reader / writer for a removable recording medium 923 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or externally attached to the information processing apparatus 900.
  • the drive 921 reads information recorded on the attached removable recording medium 923 and outputs the information to the RAM 905.
  • the drive 921 writes a record in the mounted removable recording medium 923.
  • the storage device 919 or at least one of the drive 921 and the removable recording medium 923 can realize the function of the storage unit 120 according to the embodiment.
  • the connection port 925 is a port for directly connecting a device to the information processing apparatus 900.
  • the connection port 925 can be, for example, a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, or the like. Further, the connection port 925 may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, or the like.
  • the communication device 929 is a communication interface configured with, for example, a communication device for connecting to the communication network NW.
  • the communication device 929 may be, for example, a communication card for wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 929 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various communication.
  • the communication device 929 transmits and receives signals and the like using a predetermined protocol such as TCP / IP with the Internet and other communication devices, for example.
  • the communication network NW connected to the communication device 929 is a network connected by wire or wireless, and is, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, or the like. Note that at least one of the connection port 925 and the communication device 929 can realize the function of the communication unit 110 according to the embodiment.
  • each step in the processing of the information processing apparatus of the present specification does not necessarily have to be processed in time series in the order described as a flowchart.
  • each step in the processing of the information processing apparatus may be processed in an order different from the order described in the flowchart, or may be processed in parallel.
  • a first selection unit that controls selection of the selection target based on information related to the first operation by the operating subject with respect to the selection target including the operation target;
  • a setting unit that sets an operation region corresponding to the selected selection target as the first object;
  • An information processing apparatus comprising: a second selection unit that controls selection of the operation target based on information related to a second operation performed by the operation subject on the first object in which the operation region is set.
  • the information processing apparatus includes an operation on a sensor that acquires a position and / or an aspect of the first object.
  • the information processing apparatus according to any one of (1) to (5), wherein the first selection unit holds a state where the selection target is selected based on information related to a third operation.
  • the information processing apparatus according to (6), wherein the first selection unit releases holding of the state where the selection target is selected based on information related to a fourth operation.
  • the information related to the first operation includes information related to the operated position estimated by the first operation.
  • the information processing apparatus includes an operation using a second object different from the first object.
  • the information processing apparatus includes an operation performed in a state where the second object is brought close to the first object.
  • the information processing apparatus includes an operation performed in a state where the first object and the second object are in contact with each other.
  • the information processing apparatus according to any one of (9) to (11), wherein the second object is a part of a body of the operation subject.
  • the information processing apparatus controls display related to a setting state of the first object in the operation area.
  • the information processing apparatus controls a device to be operated corresponding to the selected operation target.
  • the second operation includes an operation for changing a state of the operation target.
  • the first selection unit selects the operation target.
  • the information processing apparatus includes a virtual object displayed in a display area.
  • An information processing method comprising: controlling selection of the operation target based on information related to a second operation by the operation subject with respect to the operation area set for the first object.
  • Computer A first selection unit that controls selection of the selection target based on information related to the first operation by the operating subject with respect to the selection target including the operation target; A setting unit that sets an operation region corresponding to the selected selection target as the first object; A second selection unit that controls selection of the operation target based on information related to a second operation by the operation subject on the first object in which the operation region is set; Program to function as.
  • Information processing system 10 Information processing device 20 Object detection device 30 Display device 31 Display area 40 Operating body detection device 50 Operated device 100, 100C Control unit 101 Operated position estimation unit 102 Operation recognition unit 103 First selection Unit 104 setting unit 105 second selection unit 106 display control unit 107 device control unit 110 communication unit 120 storage unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】操作対象の選択をより容易にすること。 【解決手段】本開示に係る情報処理装置は、操作対象を含む選択対象に対する操作主体による第１操作に係る情報に基づいて上記選択対象の選択を制御する第１選択部と、選択された上記選択対象に対応する操作領域を第１物体に設定する設定部と、上記操作領域が設定された上記第１物体に対する上記操作主体による第２操作に係る情報に基づいて上記操作対象の選択を制御する第２選択部とを備える。

Description

情報処理装置、情報処理方法及びプログラム
　本開示は、情報処理装置、情報処理方法及びプログラムに関する。
　家電製品または情報機器等の機器を遠隔操作する技術が提案されている。例えば、ユーザの手や身体等を用いたジェスチャによりこれらの機器を遠隔操作する技術の開発が進められている。
　下記特許文献１には、ある環境内に存在するユーザの手先を識別し、当該手先の向く方向を認識し、その認識結果に基づいて機器に対するポインティングを行う技術が開示されている。
特開２０１３－２０５９８３号公報
　しかし、上記特許文献１に開示された技術では、手先を空中で動かし、操作対象の機器に対して指先を向ける必要がある。そうすると、手先の向く方向が安定せず、ポインティングの認識誤差が大きくなるので、ユーザにとって操作対象の選択が困難であった。
　そこで、本開示では、操作対象の選択をより容易にすることが可能な、新規かつ改良された情報処理装置、情報処理方法及びプログラムを提案する。
　本開示によれば、操作対象を含む選択対象に対する操作主体による第１操作に係る情報に基づいて上記選択対象の選択を制御する第１選択部と、選択された上記選択対象に対応する操作領域を第１物体に設定する設定部と、上記操作領域が設定された上記第１物体に対する上記操作主体による第２操作に係る情報に基づいて上記操作対象の選択を制御する第２選択部とを備える情報処理装置が提供される。
　また、本開示によれば、プロセッサが、操作対象を含む選択対象に対する操作主体による第１操作に係る情報に基づいて上記選択対象の選択を制御することと、選択された上記選択対象に対応する操作領域を第１物体に設定することと、上記第１物体に設定された上記操作領域に対する上記操作主体による第２操作に係る情報に基づいて上記操作対象の選択を制御することとを含む情報処理方法が提供される。
　また、本開示によれば、コンピュータを、操作対象を含む選択対象に対する操作主体による第１操作に係る情報に基づいて上記選択対象の選択を制御する第１選択部と、選択された上記選択対象に対応する操作領域を第１物体に設定する設定部と、上記操作領域が設定された上記第１物体に対する上記操作主体による第２操作に係る情報に基づいて上記操作対象の選択を制御する第２選択部と、として機能させるためのプログラムが提供される。
　以上説明したように本開示によれば、操作対象の選択をより容易にすることが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の第１の実施形態に係る情報処理システム１Ａの概要を示す図である。 同実施形態に係る情報処理システム１Ａの構成例を示す図である。 同実施形態に係る制御部１００の機能構成例を示すブロック図である。 同実施形態に係る情報処理システム１Ａによる第１段階の処理の流れの一例を示すフローチャートである。 同実施形態に係る表示制御部１０６による表示制御の第１の例を説明するための図である。 同実施形態に係る表示制御部１０６による表示制御の第２の例を説明するための図である。 同実施形態に係る表示制御部１０６による表示制御の第３の例を説明するための図である。 同実施形態に係る表示制御部１０６による表示制御の第４の例を説明するための図である。 同実施形態に係る情報処理システム１Ａによる第２段階の処理の流れの一例を示すフローチャートである。 同実施形態に係る設定部１０４による操作領域の設定の一例を示す図である。 操作領域の設定の他の例を示す図である。 同実施形態に係る表示制御部１０６による表示制御の一例を説明するための図である。 同実施形態に係る情報処理システム１Ａの第１の変形例に係る第１段階の処理の流れを示すフローチャートである。 同実施形態に係る情報処理システム１Ａの第２の変形例に係る制御例を示す図である。 同実施形態に係る情報処理システム１Ａの第２の変形例に係る制御例を示す図である。 同実施形態に係る情報処理システム１Ａの第３の変形例に係る制御例を示す図である。 同実施形態に係る情報処理システム１Ａの第３の変形例に係る制御例を示す図である。 同実施形態に係る情報処理システム１Ａの第４の変形例に係る第２段階の処理の流れを示すフローチャートである。 同実施形態に係る情報処理システム１Ａの第４の変形例に係る制御例を示す図である。 本開示の第２の実施形態に係る情報処理システム１Ｂの概要を示す図である。 同実施形態に係る情報処理システム１Ｂの構成例を示す図である。 本開示の第３の実施形態に係る情報処理システム１Ｃの概要を示す図である。 同実施形態に係る情報処理システム１Ｃの構成例を示す図である。 同実施形態に係る制御部１００Ｃの機能構成例を示すブロック図である。 本開示の一実施形態に係る情報処理装置９００のハードウェア構成例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．第１の実施の形態
　　１．１．情報処理システムの概要
　　１．２．制御部の構成例
　　１．３．処理例
　　１．４．変形例
　２．第２の実施形態
　３．第３の実施形態
　　３．１．情報処理システムの概要
　　３．２．制御部の構成例
　４．ハードウェア構成例
　５．まとめ
　＜＜１．第１の実施形態＞＞
　　＜１．１．情報処理システムの概要＞
　図１および図２は、本開示の第１の実施形態に係る情報処理システム１Ａの概要および構成例を示す図である。図１に示すように、本実施形態に係る情報処理システム１Ａは、情報処理装置１０、物体検出装置２０、および表示装置３０を含む。
　本実施形態に係る情報処理システム１Ａは、操作対象が設けられる任意の空間（図１では空間２）に適用され、物体検出装置２０により空間２に存在するユーザＵ１による操作対象に対する操作に係る情報を取得し、かかる検出情報に基づいて操作対象の選択を行うものである。後述する表示装置３０の表示領域等に表示される仮想オブジェクトは、本実施形態に係る操作対象の一例である。
　なお、かかる操作対象は、空間２の壁面等に設けられるボタン、スイッチ、レバーまたはノブ等の物理的なオブジェクトであってもよいし、空間２の壁面そのものであってもよい。また、操作対象が仮想オブジェクトである場合、ユーザの操作に基づく入力を受け付ける表示態様であれば、操作対象の形状、大きさ、位置、種類等は特に限定されない。以下、各装置について説明する。
　（情報処理装置）
　情報処理装置１０は、物体検出装置２０から得られる検出情報を取得し、当該検出情報に基づく所定の制御処理をする情報処理機能を有する装置である。情報処理装置１０は、処理回路、記憶装置および通信装置等を含み得る。情報処理装置１０は、ＰＣ（Personal　Computer）、タブレット、スマートフォン等のあらゆる装置により実現され得る。また、情報処理装置１０は、図１に示すように、空間２に配置される情報処理装置によって実現されてもよいし、クラウドコンピューティングなど、ネット上の１または複数の情報処理装置によって実現されてもよい。
　図２に示すように、情報処理装置１０は、制御部１００、通信部１１０および記憶部１２０を備える。
　（制御部）
　制御部１００は、本実施形態に係る情報処理装置１０の動作全般を制御する。制御部１００の機能は、情報処理装置１０が備えるＣＰＵ（Central　Processing　Unit）等の処理回路により実現される。また、制御部１００は、後掲する図３に示す各機能部により実現される機能を含み、本実施形態に係る情報処理装置１０の動作を主導的に行う。制御部１００に含まれる各機能部の有する機能については後述する。
　（通信部）
　通信部１１０は、情報処理装置１０が備える通信手段であり、ネットワークを介して（あるいは直接的に）、外部装置と無線または有線により各種通信を行う。通信部１１０の機能は、情報処理装置１０が備える通信装置により実現される。具体的には、通信部１１０は、通信アンテナおよびＲＦ（Radio　Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local　Area　Network）端子および送受信回路（有線通信）等の通信デバイスにより実現される。例えば、通信部１１０は、図１に示すように、ネットワークＮＷを介して、物体検出装置２０および表示装置３０と通信を行う。具体的には、通信部１１０は、物体検出装置２０から検出情報を取得し、制御部１００により生成される表示の制御に係る情報を表示装置３０に出力する。なお、通信部１１０は、図１および図２に図示されていない他の装置と通信を行ってもよい。
　（記憶部）
　記憶部１２０は、情報処理装置１０が備える記憶手段であり、通信部１１０により取得された情報、または制御部１００の有する各機能部による処理により得られる情報等を記憶する。記憶部１２０は、例えば、ハードディスク（Hard　Disk）などの磁気記録媒体や、フラッシュメモリ（flash　memory）などの不揮発性メモリ（nonvolatile　memory）などにより実現される。また、記憶部１２０は、制御部１００の有する各機能部、または通信部１１０からの要求に応じて、記憶されている情報を適宜出力する。例えば、記憶部１２０は、ユーザによるジェスチャに係る手の態様等のパターンを予め記憶しておき、制御部１００が検出されたジェスチャを認識する際に、手の態様等のパターンを制御部１００に出力してもよい。
　（物体検出装置）
　物体検出装置２０は、ユーザの身体の態様を検出するための検出装置の一例である。本実施形態に係る物体検出装置２０は、ユーザの身体等の物体（検出体）を検出し、検出情報として、検出体の３次元位置情報を生成する。生成された３次元位置情報は、ネットワークＮＷを介して（または直接的に）情報処理装置１０に出力される。なお、本実施形態に係る物体検出装置２０は、例えば図１に示すように、情報処理システム１Ａが用いられる空間２のうち、ユーザＵ１を検出可能な位置（天井または壁等）に設けられる。
　本実施形態に係る物体検出装置２０は、デプスセンサにより実現され得る。また、物体検出装置２０は、例えば、ステレオカメラ等により実現されてもよい。また、物体検出装置２０は、赤外線センサ、ＴＯＦ（Time　of　Flight）方式のセンサ、超音波センサ等を用いた距離測定が可能なセンサにより実現されてもよいし、ＩＲレーザパターンを投影する装置により実現されてもよい。すなわち、物体検出装置２０は、空間２中からユーザＵ１の身体の位置を検出可能なものであれば、特に限定されない。
　また、他の実施形態において、情報処理システム１Ａは、物体検出装置２０の代わりに、ユーザの視線等を検出可能な装置を備えてもよい。かかる装置は、例えば、ユーザの視線等を、ユーザの顔を撮像して得られる画像に対する画像認識により判別可能な画像認識センサ等により実現されてもよい。
　さらに、図１に示した例では、物体検出装置２０は空間２の天井または壁等に配置されるものとして説明したが、本技術はかかる例に限定されない。例えば、他の実施形態では、物体検出装置２０は、ユーザの手により把持されるデバイスであってもよい。かかるデバイスは、ジャイロマウスまたは赤外線センサ等を用いたポインティングデバイスであってもよい。
　また、他の実施形態では、物体検出装置２０は、ユーザの頭もしくは腕等に装着されるウェアラブルデバイスであってもよい。かかるウェアラブルデバイスには、ジャイロセンサ、ポテンショメータ、エンコーダ等の各種慣性センサまたは機械式センサが設けられ、各センサによりユーザの身体の態様等が検出されてもよい。また、他の実施形態では、ユーザの頭または上肢にマーカが設けられ、物体検出装置２０がかかるマーカを認識することによりユーザの身体の態様等を検出してもよい。
　（表示装置）
　表示装置３０は、情報処理システム１Ａが適用される空間２に配置され、所定の画面の表示、および情報処理装置１０からネットワークＮＷを介して（または直接的に）出力される情報についての表示を表示領域３１に対して行う装置である。詳細は後述するが、本実施形態に係る表示装置３０の表示領域に対する表示は、例えば、情報処理装置１０により制御される。
　本実施形態に係る表示装置３０は、例えば図１に示すように、情報処理システム１Ａが適用される空間２の壁部に配置される、液晶ディスプレイ、または有機ＥＬ（Electro　Luminescence）ディスプレイ等のディスプレイ装置により実現され得るが、本技術はかかる例に限定されない。例えば、表示装置３０は、空間２の任意の箇所に固定されて設けられる、固定型の表示装置であってもよい。また、表示装置３０は、タブレット、スマートフォン、ラップトップ型ＰＣ等、表示領域を有する可搬型の表示装置であってもよい。当該可搬型の表示装置を固定せずに用いる場合、当該表示装置３０の位置情報を取得できることが好ましい。また、表示装置３０は、プロジェクタ等、任意の壁体に対して表示領域を設定し、当該表示領域に対して表示を投影する投影型の表示装置であってもよい。また、かかる表示領域の形状は特に限定されない。また、表示領域は平面であってもよいし、曲面であってもよい。
　かかる情報処理システム１Ａでは、表示装置３０の表示領域３１に表示されている、操作対象である仮想オブジェクトが、ユーザＵ１の手を使ったジェスチャまたはポインティング操作等により特定される。これにより、当該操作対象がユーザＵ１により選択される。
　しかしながら、ジェスチャまたはポインティング操作など、手等の態様または動作により遠隔にある操作対象を選択しようとする場合、当該操作対象を正確に選択することが困難な場合がある。例えば、手の態様または動作を検出するセンサの認識精度による誤差、またはジャイロセンサ等を用いた場合におけるドリフト現象等により、当該操作対象を正確に選択することが困難となる。すなわち、正確に操作対象を選択しようとすれば、ユーザによる手の態様および動作の厳密な操作が要求される。しかしながら、その場合、ユーザは手を空中で浮かした状態で操作するので、ユーザへの身体的な負担が大きくなる。
　そこで、本開示では、ユーザがより容易に操作対象の選択をすることが可能な技術を提案する。具体的には、本開示では、操作対象を含む選択対象が第１操作によって選択され、選択された選択対象に対応する操作領域が手等の物体に設定される。そして、本開示では、操作領域が設定された当該物体に対する第２操作により、上記操作対象が選択される。かかる技術により、操作対象に対する操作を、操作がより容易となる物体（例えば、ユーザの身体の一部）に対して行うことができる。したがって、操作対象が遠隔に存在していたとしても、ユーザが操作対象をより容易に選択することができる。よって、操作対象の選択精度を向上することができ、かつ、ユーザの操作の負担を減らすことが可能となる。
　以下、本実施形態に係る情報処理システム１Ａの詳細について説明する。なお、本実施形態では、後述するように、ユーザが、第１物体の一例である左手を表示領域にかざす操作（第１操作）により、当該表示領域に表示されている操作対象を含む選択対象を選択し、当該選択対象に対応する操作領域をユーザの左手に設定し、左手に設定された操作領域に対する選択操作を第２物体の一例であるユーザの右手による操作（第２操作）を行うものとして説明する。
　ここで、本実施形態において、選択対象とは、少なくとも一の操作対象を含む領域により構成され、後述する第１操作による選択の対象となり得るものである。本実施形態では、複数の操作対象を含む操作対象群から一の操作対象を選択する例について、説明する。
　また、本実施形態に係る左手は第１物体の一例であるが、第１物体はかかる例に限定されない。例えば、第１物体は、手の他に、操作主体であるユーザの身体の一部であってもよいし、ユーザの身体の一部に付着または装着される物体（例えば、衣服、リストバンド、手袋等）であってもよい。また、第１物体は、ユーザにより所持または使用され得る可搬物体（紙葉類、板、雑貨等）であってもよいし、ユーザにより接触され得る固定物体（例えば、机、壁等）であってもよい。
　　＜１．２．制御部の構成例＞
　本開示の第１の実施形態に係る制御部１００の構成および機能の一例について説明する。図３は、本実施形態に係る制御部１００の機能構成例を示すブロック図である。図３を参照すると、制御部１００は、被操作位置推定部１０１、操作認識部１０２、第１選択部１０３、設定部１０４、第２選択部１０５および表示制御部１０６を備える。
　（被操作位置推定部）
　被操作位置推定部１０１は、物体検出装置２０による物体の検出により生成される検出情報に基づいて、表示領域３１における被操作位置（本実施形態では、ポインティング位置）を推定する機能を有する。ここでいうポインティング位置とは、ユーザによる、表示領域３１に対する左手のかざす先の位置を意味する。この左手をかざす操作は、第１操作の一例であり、当該第１操作によりポインティング位置が推定される。ユーザが腕を伸ばして左手をかざしたときの腕と左手の延長線と、表示領域３１との交点がポインティング位置となる。
　本実施形態に係る被操作位置推定部１０１は、物体検出装置２０の一例であるデプスセンサにより生成された左手の３次元位置情報に基づいてユーザの左手の位置および左手の向く方向を認識する。さらに、被操作位置推定部１０１は、認識した左手の位置および方向、並びに表示領域３１の位置に基づいてポインティング位置を推定する。かかるポインティング位置の推定には、公知の技術が用いられ得る。例えば、上述した特開２０１３－２０５９８３号公報に開示された技術がポインティング位置の推定に用いられてもよい。かかるポインティング位置は、例えば、表示領域３１の平面座標系における座標として推定され得る。推定されたポインティング位置に係る情報は、第１選択部１０３に出力される。
　なお、本実施形態に係るポインティング位置は、表示領域３１に対してかざされた左手の位置に基づいて推定されたが、本技術はかかる例に限定されない。例えば、当該ポインティング位置は、ユーザの身体の態様に基づいて推定されてもよい。ユーザの身体の態様とは、例えば、左手をかざす態様の他、左手（または右手）による指差し、ユーザの身体の姿勢、ユーザの視線等が含まれる。
　また、物体検出装置２０として上述したポインティングデバイスが使用される場合、当該ポインティングデバイスによりポインティングされる位置が推定されてもよい。このポインティングデバイスの使用によるポインティングは、第１操作の一例である。なお、上記ポインティングデバイスによりポインティング位置が推定される場合は、被操作位置推定部１０１は備えられなくてもよい。
　また、本実施形態に係るポインティング位置は被操作位置の一例であるが、本技術はかかる例に限定されない。例えば、被操作位置は、手を用いたポインティング操作によるポインティング位置だけではなく、手を用いたジェスチャ等により特定される被操作位置であってもよい。より具体的には、上述した少なくとも一の操作対象群が存在する（または表示され得る）位置が予め被操作位置の候補として記憶され、被操作位置推定部１０１は、手を用いたジェスチャ等の認識結果により被操作位置を推定する（すなわち選択したい操作対象群を変更する）ものであってもよい。かかるジェスチャは第１操作の一例であり、物体検出装置２０等により検出される手の態様および動作に係る検出情報に基づいて認識され得る。
　（操作認識部）
　操作認識部１０２は、物体検出装置２０による物体の検出により生成される検出情報に基づいて、ユーザによる操作を認識する機能を有する。ここでいう操作の認識とは、ユーザの身体の一部の態様および動作の認識を意味する。例えば、本実施形態に係る操作認識部１０２は、物体検出装置２０により検出されたユーザの手の態様および動作に係る検出情報に基づいて、ユーザによる操作を認識する。かかる操作の認識には、公知の技術が用いられ得る。ユーザによる操作は、詳しくは後述するが、左手に対する右手の接触操作または近接操作が含まれ得る。また、ユーザによる操作は、左手または右手によるジェスチャが含まれ得る。このようなユーザによる操作の具体例については後述する。
　操作認識部１０２によるユーザのジェスチャによる操作の認識結果に係る情報は、第１選択部１０３および第２選択部１０５に出力される。
　（第１選択部）
　第１選択部１０３は、選択対象に対する第１操作に係る情報に基づいて選択対象の選択を制御する機能を有する。本実施形態に係る第１操作は、左手をかざす操作（第１物体を用いた操作）に相当し、第１操作に係る情報とは、例えば、上述したポインティング位置に係る情報を含み得る。本実施形態に係る第１選択部１０３は、例えば、ポインティング位置に係る情報に基づいて、操作対象群を選択し得る。より具体的には、第１選択部１０３は、操作対象群を構成する領域内にポインティング位置が存在する場合に、当該ポインティング位置に対応する操作対象群を選択し得る。
　選択された操作対象群等、第１選択部による選択の制御に係る情報は、設定部１０４に出力される。また、当該情報は、表示制御部１０６に出力され得る。
　また、第１選択部１０３は、操作認識部１０２から出力された操作の認識結果に基づいて、ポインティング位置に対応する操作対象群の選択を決定する制御をしてもよい。この場合、選択の決定がなされた操作対象群に係る情報が、設定部１０４に出力され得る。
　また、具体的には後述するが、第１選択部１０３は、操作認識部１０２から出力された操作の認識結果に基づいて、ポインティング位置に対応する操作対象群の選択状態を保持する制御（いわゆるロック制御）をしてもよい。これにより、左手のブレによる操作対象群の選択の頻繁な切り替わりを防ぐことができる。したがって、操作におけるユーザの負担を軽減し、かつ、操作性をより向上することができる。
　また、操作対象群に一つの操作対象のみが含まれる場合は、第１選択部１０３は、この時点で操作対象を直接選択する制御をしてもよい。これにより、後述する設定部１０４および第２選択部１０５による処理を省略できるので、ユーザの操作に係る負担が減少し得る。
　なお、本実施形態に係る第１操作に係る情報はポインティング位置に係る情報としたが、本技術はかかる例に限定されない。第１操作に係る情報は、被操作位置推定部１０１により得られる被操作位置に係る情報であれば、特に限定されない。
　（設定部）
　設定部１０４は、第１選択部１０３により選択された選択対象に対応する操作領域を第１物体（本実施形態では左手）に設定する機能を有する。ここでいう操作領域の設定とは、選択対象の一例である操作対象群に含まれる少なくとも一の操作対象に対応する領域を、左手の一部にそれぞれ割り当てる（設定する）ことを意味する。すなわち、操作領域は、左手の各部分に割り当てられた、操作対象に対応する領域の各々からなる領域を意味する。なお、操作領域の設定方法については、後述する。
　第１物体に設定された操作領域に係る情報は、第２選択部１０５に出力される。また、当該情報は、表示制御部１０６に出力され得る。
　（第２選択部）
　第２選択部１０５は、上記の操作領域が設定された第１物体（本実施形態では左手）に対する第２操作に係る情報に基づいて、操作対象の選択を制御する機能を有する。ここでいう第２操作は、本実施形態では、第２物体の一例である右手を用いた操作である。すなわち、第２操作に係る情報には、右手の態様または動作を検出して得られる検出情報に基づいて操作認識部１０２により認識されるジェスチャ等の情報が含まれ得る。なお、第２物体は、第１物体と異なる物体であれば、特に限定されない。また、第２操作は、例えば、第１物体の一例である左手に対する接触操作または近接操作が含まれ得る。第２操作の具体例については後述する。
　本実施形態に係る第２選択部１０５は、左手に対する右手を用いた操作に係る情報（すなわちユーザによる操作の認識結果）に基づいて、左手に割り当てられた操作対象に対応する領域に対する操作を特定し、かかる領域に対応する操作対象を選択する。つまり、第２選択部１０５は、左手に割り当てられたいずれかの領域に対する右手の操作（例えば、接触または近接）を、上記の認識結果に基づいて特定し、特定された領域に対応する操作対象を選択する。
　これにより、上記のポインティング操作では選択が困難であった操作対象を、より確実に選択することが可能となる。さらに、右手を用いた左手に対する操作というような、ユーザの身体を利用した操作に基づいた選択制御を行うことにより、選択操作に係る触覚のフィードバックをユーザは受けることができる。これにより、人体の体性感覚を活用した操作を実現することができ、例えば、ユーザが手元を見なくても、感覚的に操作をすることが可能となる。よって、操作性を向上させることが可能となる。
　第２選択部１０５による選択の制御に係る情報は、表示制御部１０６に出力され得る。
　（表示制御部）
　表示制御部１０６は、第１選択部１０３、および第２選択部１０５の少なくともいずれかによる選択の表示を制御する機能を有する。本実施形態に係る表示制御部１０６は、表示装置３０の表示領域３１に対して、上記の選択の表示を制御する。例えば、第１選択部１０３により操作対象群の選択が決定された場合、表示制御部１０６は、当該選択が決定された操作対象群を提示するためのオブジェクトの表示を制御してもよい。同様に、第２選択部１０５により操作対象が選択された場合、表示制御部１０６は、当該選択された操作対象を提示するためのオブジェクトの表示を制御してもよい。
　また、表示制御部１０６は、設定部１０４により設定された操作領域についての表示を制御してもよい。例えば、表示制御部１０６は、各操作対象に対応して左手に割り当てられた各領域についての表示を制御してもよい。これにより、左手のどの部分にどの領域が割り当てられているかをユーザは確認することができる。なお、かかる操作領域についての表示は、本実施形態では表示領域３１に表示され得るが、ユーザの左手（すなわち第１物体）に表示されてもよい。
　表示制御部１０６による表示制御の例については、処理例および表示制御例にて詳細に説明する。
　以上、本実施形態に係る制御部１００の構成例について説明した。
　＜１．３．処理例＞
　次に、図４～図１２を参照して、本実施形態に係る情報処理システム１Ａによる処理の流れについて説明する。
　本実施形態に係る情報処理システム１Ａによる処理は、２段階で行われる。第１段階は、選択対象を選択する処理である。第２段階は、選択対象に対応する操作領域を設定し、操作領域が設定された左手に対する操作から操作対象を選択する処理である。まず、本実施形態に係る情報処理システム１Ａによる第１段階の処理について、図４～図８を参照しながら説明する。
　図４は、本実施形態に係る情報処理システム１Ａによる第１段階の処理の流れの一例を示すフローチャートである。なお、各ステップにおける処理について、上述した内容の説明は省略する。
　図４を参照すると、まず、ユーザが左手を表示領域３１の方向へかざすと（ステップＳ１０１／ＹＥＳ）、物体検出装置２０が当該左手を検出する（ステップＳ１０３）。ここで、物体検出装置２０は、検出情報として、検出された左手の３次元位置情報を生成する。生成された検出情報は、制御部１００に出力される。
　次に、被操作位置推定部１０１は、検出情報に含まれる左手の３次元位置情報および表示領域３１の位置情報に基づいて、被操作位置であるポインティング位置を推定する（ステップＳ１０５）。次いで、第１選択部１０３は、ポインティング位置から、選択対象である操作対象群を特定する（ステップＳ１０７）。
　次に、表示制御部１０６は、特定された操作対象群に関する表示を表示領域３１に表示する（ステップＳ１０９）。ここで、表示制御部１０６による、操作対象群に関する表示の例について、図５～図８を参照しながら説明する。
　図５は、本実施形態に係る表示制御部１０６による表示制御の第１の例を説明するための図である。図５に示すように、ユーザＵ１が存在する空間２の壁部には表示装置３０が配置され、表示装置３０の表示領域３１には、それぞれ４つの操作対象オブジェクトを含む選択対象オブジェクト１００１および１００２が表示されている。なお、例えば、選択対象オブジェクト１００１は、操作対象オブジェクト１００１Ａ～１００１Ｄにより構成されている。
　図５を参照すると、ユーザＵ１は、遠隔にある表示領域３１の選択対象オブジェクト１００１に向かって左手Ｈ１をかざしている。被操作位置推定部１０１は、かざした左手Ｈ１に対応するポインティング位置Ｐｔ１を推定し、第１選択部１０３は、当該ポインティング位置Ｐｔ１が選択対象オブジェクト１００１の構成する領域に含まれていることから選択対象オブジェクト１００１を選択する。選択対象オブジェクト１００１を構成する領域は操作対象オブジェクト１００１Ａ～１００１Ｄと比較して大きいので、ユーザＵ１による左手Ｈ１のポインティング操作は容易であり得る。そして、表示制御部１０６は、選択対象オブジェクト１００１が選択されていることを提示するため、選択対象オブジェクト１００１の周囲にリング状オブジェクト１０１１を表示し得る。これにより、ユーザＵ１は、選択対象オブジェクト１００１が選択されていることを認識することができる。
　なお、図５に示すように、左手Ｈ１を矢印Ｍｖ１の方向に動かした場合、ポインティング位置Ｐｔ１も変わる。これにより、例えば、リング状オブジェクト１０１１が、矢印Ｍｖ２に沿って移動し、選択対象オブジェクト１００２の周囲に表示されることもあり得る。また、後述するステップＳ１１３において選択対象オブジェクト１００２の選択が決定された後においても、表示制御部１０６は、リング状オブジェクト１０１１を表示した状態を保持してもよい。これにより、ユーザがどの選択対象オブジェクトを選択したかについてフィードバックを受け続けることができる。
　図６は、本実施形態に係る表示制御部１０６による表示制御の第２の例を説明するための図である。図６に示すように、ユーザＵ１の左手Ｈ１の操作に基づいて選択対象オブジェクト１００１が選択された場合、表示制御部１０６は、他の選択対象オブジェクト（例えば、選択対象オブジェクト１００２）を、ぼかしたり、透過させたりして表示してもよい。また、その際に、表示制御部１０６は、選択された選択対象オブジェクト１００１の輪郭部分１０１２を強調してもよい。
　図７は、本実施形態に係る表示制御部１０６による表示制御の第３の例を説明するための図である。図７に示すように、ユーザＵ１の左手Ｈ１の操作に基づいて選択対象オブジェクト１００１が選択された場合、表示制御部１０６は、選択された選択対象オブジェクト１００１およびその周囲をハイライト１０１３により表示してもよい。
　図８は、本実施形態に係る表示制御部１０６による表示制御の第４の例を説明するための図である。図８に示すように、ユーザＵ１の左手Ｈ１の操作に基づいて選択対象オブジェクト１００１が選択された場合、表示制御部１０６は、選択された選択対象オブジェクト１００１に、手を模したオブジェクト１０１４を重畳させてもよい。
　表示制御部１０６による表示制御の例は、表示制御部１０６による表示制御の例は、図５～図８に示した例に限定されない。選択された選択対象オブジェクトをユーザに対して提示させることが可能であれば、その表示態様は特に限定されない。また、本実施形態では、表示制御部１０６は、選択された選択対象オブジェクトを提示するための表示制御を行うが、本技術はかかる例に限定されない。例えば、選択対象が、ユーザＵ１の存在する空間２の壁等に設けられたスイッチ等を含む領域である場合、当該領域が選択されたときに空間２に設けられた光源等が当該領域を照射してもよい。これにより、当該領域が選択されたことをユーザＵ１は認識することができる。
　再び図４を参照して、情報処理システム１Ａの第１段階の処理例について説明する。操作対象群が選択された状態で所定のジェスチャが検出されたか否かが判定される（ステップＳ１１１）。所定のジェスチャが検出された場合（ステップＳ１１１／ＹＥＳ）、第１選択部１０３は、当該操作対象群の選択を決定する（ステップＳ１１３）。当該所定のジェスチャは、操作認識部１０２が取得した検出情報に基づいて認識されたものであってもよい。
　ここで、所定のジェスチャとは、例えば、左手によるジェスチャ、右手によるジェスチャ、または身体の一部を用いたジェスチャであってもよい。具体的には、所定のジェスチャは、かざした左手を閉じて掴む動作、またはかざした左手を右手でタップする動作等であってもよい。また、本実施形態では所定のジェスチャを検出することにより選択対象の選択を決定するとしたが、本技術はかかる例に限定されない。例えば、図１に示したネットワークＮＷに接続されたリモートコントローラのトグルスイッチ等の物理スイッチを用いた操作、または音声入力装置および音声処理装置を用いた音声コマンドによる操作等に基づいて、選択対象の選択が決定されてもよい。また、第１選択部１０３により選択対象が選択されている状態が所定時間継続したことに基づいて、当該選択対象の選択が決定されてもよい。すなわち、選択対象の選択の決定は、公知のセンシング技術により検出可能なあらゆる操作により行われ得る。
　選択対象の選択が決定されると、本実施形態に係る情報処理システム１Ａの第１段階の処理が終了する。かかる第１段階の処理において、操作対象を含む選択対象は操作対象よりも大きな領域により構成され得るので、ユーザのジェスチャ等の操作によるポインティングが容易である。したがって、第１段階で直接操作対象を選択しなくとも、後述する第２段階で操作対象を含む選択対象に対応する操作領域が左手に設定される。そのため、以下に説明する２段階目で操作対象を確実に選択することが可能となる。
　次に、本実施形態に係る情報処理システム１Ａによる第２段階の処理について、図９～図１２を参照しながら説明する。
　図９は、本実施形態に係る情報処理システム１Ａによる第２段階の処理の流れの一例を示すフローチャートである。なお、各ステップにおける処理について、上述した内容の説明は省略する。
　図９を参照すると、まず、設定部１０４は、操作対象群に対応する操作領域を左手に設定する（ステップＳ２０１）。
　図１０は、本実施形態に係る設定部１０４による操作領域の設定の一例を示す図である。図１０に示すように、左手Ｈ１には操作領域１１０１が設定されている。具体的には、領域１１０１Ａ～１１０１Ｄは、それぞれ操作対象オブジェクト１００１Ａ～１００１Ｄに対応する領域であり、これらの領域１１０１Ａ～１１０１Ｄが左手Ｈ１の甲の左上、右上、左下および右下にそれぞれ割り当てられている。これらの領域１１０１Ａ～１１０１Ｄは、所定の投影装置等により左手Ｈ１の甲に表示されてもよいし、具体的には後述するが、表示領域３１に表示されてもよい。これにより、ユーザＵ１は、左手Ｈ１のどの部分が所望の操作対象であるかを認識することができる。
　なお、設定部１０４による操作領域の設定は、図１０に示した例に限定されない。図１１は、操作領域の設定の他の例を示す図である。図１１に示すように、設定部１０４は、例えば、操作対象オブジェクト１００１Ａ～１００１Ｄのそれぞれに対応する領域１１０２Ａ～１１０２Ｄを、ユーザＵ１の左手Ｈ１の人差し指、中指、薬指および小指に設定してもよい。この場合、後述する第２選択部１０５による選択の制御は、操作対象に対応する指を右手でタップすることによる操作に係る情報、または操作対象に対応する指を折り曲げる等の動作に係る情報に基づいて行われてもよい。各指は独立しているので、第２選択部１０５による選択の制御の精度が向上し得る。
　再び図９を参照して、情報処理システム１Ａの第２段階の処理例について説明する。次に、第２選択部１０５は、操作認識部１０２による認識結果に基づく右手による左手へのタップ操作に係る情報に基づいて、操作対象の選択を制御する（ステップＳ２０３）。ここで、右手による左手へのタップ操作があった場合（ステップＳ２０３／ＹＥＳ）、第２選択部１０５は、タップされた左手の部分を含む領域に対応する操作対象を選択する。
　次に、表示制御部１０６は、選択された操作対象に関する表示を表示領域３１に表示する（ステップＳ２０５）。ここで、表示制御部１０６による、選択された操作対象に関する表示の一例について、図１２を参照しながら説明する。
　図１２は、本実施形態に係る表示制御部１０６による表示制御の一例を説明するための図である。図１２に示すように、選択された選択対象オブジェクト１００１に対応する操作領域１１０１がユーザＵ１の左手Ｈ１に設定されており、操作対象オブジェクト１００１Ａ～１００１Ｄに対応する領域１１０１Ａ～１１０１Ｄが左手Ｈ１に割り当てられている。
　ユーザＵ１が右手Ｈ２を用いて左手Ｈ１に割り当てられた領域１１０１Ｂをタップ操作したとする。この場合、第２選択部１０５により当該タップ操作に係る情報に基づいて領域１１０１Ｂに対応する操作対象オブジェクト１００１Ｂが選択される。このとき、表示制御部１０６は、操作対象オブジェクト１００１Ｂが選択されていることを提示するため、操作対象オブジェクト１００１Ｂをハイライト１０２１によりハイライト表示し得る。これにより、ユーザＵ１は、操作対象オブジェクト１００１Ｂが選択されていることを認識することができる。
　なお、図５～図８に示したような第１段階の処理例における表示制御と同様に、第２段階の処理においても、選択された操作対象オブジェクトをユーザに対して提示させることが可能であれば、その表示態様は特に限定されない。また、本実施形態では、表示制御部１０６は、選択された操作対象オブジェクトを提示するための表示制御を行うが、本技術はかかる例に限定されない。例えば、操作対象が、ユーザの存在する空間２の壁等に設けられたスイッチ等である場合、当該スイッチ等が選択されたときに空間２に設けられた光源等が当該スイッチ等を照射してもよい。これにより、当該スイッチ等が選択されたことをユーザは認識することができる。
　以上、本実施形態に係る情報処理システム１Ａの第２段階の処理例について説明した。本実施形態に係る情報処理システム１Ａでは、第１段階において操作対象を含む選択対象を選択し、第２段階において、当該選択対象に対応する操作領域が設定された左手に対する操作により当該操作対象を選択することができる。このように、遠隔に存在する操作対象の選択を手元などで行うことにより、遠隔に存在する操作対象をより確実に選択することができ、かつ、ユーザの遠隔操作に係る身体の負担を低減することができる。ゆえに、ユーザが操作対象をより容易に選択することが可能となる。なお、本実施形態に係る操作対象および選択対象は、ユーザの遠隔に存在するものとしたが、本技術はかかる例に限定されない。例えば、本システムは、ユーザが直接接触することが可能である操作対象および選択対象に対しても適用可能である。より具体的には、壁体に選択対象が設けられている場合、ユーザが左手により選択対象に接触した際に、選択対象に対応する操作領域が設定部１０４により当該左手に設定されてもよい。これにより、ユーザは、当該操作領域を左手に保持したまま、選択対象から離れて移動することができる。
　＜１．４．変形例＞
　次に、本実施形態に係る情報処理システム１Ａにおける処理の変形例について説明する。
　（１．ロック制御）
　第１選択部１０３は、第１段階の処理において、操作認識部１０２から出力された操作（第３操作）の認識結果に基づいて、ポインティング位置に対応する操作対象群の選択状態を保持する制御（いわゆるロック制御）をしてもよい。これにより、左手のブレによる操作対象群の選択の頻繁な切り替わりを防ぐことができる。したがって、操作におけるユーザの負担を軽減することができる。ロック処理の流れについて、以下、具体的に説明する。
　図１３は、本実施形態に係る情報処理システム１Ａの第１の変形例に係る第１段階の処理の流れを示すフローチャートである。
　図１３を参照すると、まず、ユーザが左手を表示領域３１の方向へかざすと（ステップＳ３０１／ＹＥＳ）、物体検出装置２０が当該左手を検出する（ステップＳ３０３）。ここで、物体検出装置２０は、検出情報として、検出された左手の３次元位置情報を生成する。生成された検出情報は、制御部１００に出力される。
　次に、被操作位置推定部１０１は、検出情報に含まれる左手の３次元位置情報および表示領域３１の位置情報に基づいて、被操作位置であるポインティング位置を推定する（ステップＳ３０５）。次いで、第１選択部１０３は、ポインティング位置から、選択対象である操作対象群を特定する（ステップＳ３０７）。次に、表示制御部１０６は、特定された操作対象群に関する表示を表示領域３１に表示する（ステップＳ３０９）。
　次に、操作対象群が選択されている状態において、ロック制御に係る所定の操作（第３操作）が検出されたか否かが判定される（ステップＳ３１１）。所定の操作が検出された場合（ステップＳ３１１／ＹＥＳ）、第１選択部１０３は、当該操作対象群が選択されている状態を保持するロック制御を行う（ステップＳ３１３）。これにより、例えば、ポインティング位置が操作対象群を構成する領域から外れた場合であっても、引き続き当該操作対象群が選択されている状態となる。したがって、ユーザは継続的にポインティング位置を維持する必要がなくなるので、ユーザの負担が減少する。
　次に、操作対象群が選択されている状態が保持されている場合において、ロック制御の解除操作（第４操作）が検出されたか否かが判定される（ステップＳ３１５）。ロック制御の解除操作が検出された場合（ステップＳ３１５／ＹＥＳ）、第１選択部１０３はロック制御の解除を行い、再度ステップＳ３０３の処理が行われる。一方、ロック制御の解除操作が検出されなかった場合（ステップＳ３１５／ＮＯ）、第１選択部１０３は、操作対象群の選択を決定する（ステップＳ３１７）。
　なお、ロック制御に係る操作である第３操作、およびロック制御の解除操作である第４操作には、例えば、以下の表１に示すような操作が含まれる。例えば、左手を表示領域３１にかざしている場合に右手の指でつまむ操作、図１に示したネットワークＮＷに接続されたリモートコントローラのトグルスイッチ等の物理スイッチを用いた操作、音声入力装置および音声処理装置を用いた音声コマンドによる操作、デプスセンサまたは加速度センサ等により検出される頭のうなずきまたは首振り等の動作による操作等が、ロック制御に係る操作およびロック制御の解除操作に含まれ得る。また、ロック制御の操作が成された後に、一定期間、左手に対する操作（いわゆる第２操作）がなされなかった場合に、第１選択部１０３は、ロック制御の解除をしてもよい。
Figure JPOXMLDOC01-appb-T000001
　なお、表１の各行には、ロック制御に係る操作およびそれに対応する解除操作がそれぞれ記載されているが、必ずしも各操作は対応しなくてもよい。例えば、ロック制御に係る操作が右手を用いた操作であり、ロック制御の解除操作が、頭を用いた操作であってもよい。また、上記のロック制御は、操作認識部１０２によるジェスチャ等の認識結果に基づいて行われるものに限られず、不図示の他のセンサにより検出されたジェスチャ等の検出結果に基づいて行われるものであってもよい。また、表１に示した各操作はあくまでも一例であり、公知のセンシング技術により検出可能な操作であれば特に限定されない。
　（２．操作対象の変形例、操作領域の表示）
　図１４および図１５は、本実施形態に係る情報処理システム１Ａの第２の変形例に係る制御例を示す図である。まず、図１４を参照すると、表示領域３１には、選択対象オブジェクト１００３が表示されている。選択対象オブジェクト１００３は、セレクタスイッチオブジェクト１００３Ａおよびスライダオブジェクト１００３Ｂを含む。すなわち、本変形例では、単に第２操作により操作対象を選択するのみならず、当該第２操作により当該操作対象を選択すると同時に操作対象の状態を変更することが可能な例を説明する。
　図１４に示すように、ユーザＵ１が表示領域３１に左手Ｈ１をかざす操作に係る情報に基づいて、第１選択部１０３により選択対象オブジェクト１００３が選択されたとする。このとき、選択対象オブジェクト１００３が選択されたことを提示するために、リング状オブジェクト１０１５が選択対象オブジェクト１００３の周囲に表示され得る。
　次に、設定部１０４がユーザＵ１の左手Ｈ１の甲に、選択対象オブジェクト１００３に対応する操作領域１１０２を設定する。すなわち、設定部１０４は、左手Ｈ１の甲に、セレクタスイッチオブジェクト１００３Ａおよびスライダオブジェクト１００３Ｂに対応する領域を割り当てる。そうすると、図１５に示すように、領域１１０２Ａおよび１１０２Ｂがそれぞれ左手Ｈ１の甲に割り当てられる。これらの領域１１０２Ａおよび１１０２Ｂは左手Ｈ１の甲に表示されていない。そのため、このままでは右手Ｈ２によるセレクタスイッチオブジェクト１００３Ａおよびスライダオブジェクト１００３Ｂの操作は困難である。
　そこで、表示制御部１０６は、操作領域１１０２の左手Ｈ１における設定状態に係る表示を制御してもよい。具体的には、図１５に示すように、表示制御部１０６は、領域１１０２Ａおよび１１０２Ｂに対応する表示をセレクタスイッチオブジェクト１０２２Ａおよびスライダオブジェクト１０２２Ｂとして表示し、さらに、左手Ｈ１に対応する左手オブジェクト１０２２Ｃを表示領域３１に表示してもよい。このとき、セレクタスイッチオブジェクト１０２２Ａおよびスライダオブジェクト１０２２Ｂは、左手Ｈ１の甲に割り当てられた領域１１０２Ａおよび１１０２Ｂの割り当て位置に対応するように、左手オブジェクト１０２２Ｃ上に表示され得る。これにより、ユーザＵ１は、どの操作対象をどの程度操作しているかを確認しながら操作することができる。なお、表示制御部１０６は、さらに、右手Ｈ２が左手Ｈ１に接触した位置および操作対象の操作の程度についての表示等を制御してもよい。そうすると、ユーザＵ１は操作のフィードバックを受けることができるので、操作がより容易となる。
　なお、操作対象の変形例として、セレクタスイッチおよびスライダについて記載したが、操作対象はかかる例に限定されない。ユーザの操作に基づく入力を受け付ける表示態様であれば、操作対象の形状、大きさ、位置、種類等は特に限定されない。また、本変形例では、操作対象であるセレクタスイッチオブジェクト１００３Ａおよびスライダオブジェクト１００３Ｂの表示と、操作領域に対応するセレクタスイッチオブジェクト１０２２Ａおよびスライダオブジェクト１０２２Ｂの表示は異なるとしたが、これらの表示は同一であってもよい。すなわち、操作対象であるセレクタスイッチオブジェクト１００３Ａおよびスライダオブジェクト１００３Ｂの表示が、そのまま操作領域に対応するセレクタスイッチオブジェクト１０２２Ａおよびスライダオブジェクト１０２２Ｂの表示として制御されてもよい。
　（３．描画可能オブジェクト）
　図１６および図１７は、本実施形態に係る情報処理システム１Ａの第３の変形例に係る制御例を示す図である。図１６を参照すると、表示領域３１には、選択対象オブジェクト１００４が表示されている。かかる選択対象オブジェクト１００４は、描画可能範囲を示すオブジェクトであり、ユーザＵ１の操作により文字またはイラスト等のオブジェクトを描画することができる範囲を示している。この場合、操作対象は、選択対象オブジェクト１００４を構成する領域に含まれる単位画素である。このような選択対象オブジェクト１００４の位置、大きさおよび形状は、例えば、左手Ｈ１のみならず右手Ｈ２を用いたジェスチャ等により特定されてもよい。
　図１６に示すように、ユーザＵ１が表示領域３１に左手Ｈ１をかざす操作に係る情報に基づいて、第１選択部１０３により選択対象オブジェクト１００４が選択されたとする。この場合、設定部１０４は、ユーザＵ１の左手Ｈ１の甲に操作領域１１０３を設定する。なお、操作領域１１０３は、左手Ｈ１の掌に設定されてもよい。かかる操作領域１１０３が描画カンバスとなる。ただし、第２の変形例でも述べたように、操作領域１１０３はユーザＵ１の左手Ｈ１の甲には表示されていないため、ユーザＵ１は描画カンバスである操作領域１１０３を認識することは困難である。
　そこで、表示制御部１０６は、操作領域１１０３の左手Ｈ１における設定状態に係る表示を制御してもよい。具体的には、図１７に示すように、表示制御部１０６は、選択対象オブジェクト１００４とともに、ユーザＵ１の左手Ｈ１の甲に対応する左手オブジェクト１０２４を表示領域３１に表示してもよい。このとき、左手オブジェクト１０２４は、左手Ｈ１の甲における操作領域１１０３の位置に対応して選択対象オブジェクト１００４が位置するように表示され得る。これにより、ユーザＵ１は、表示領域３１を見ながら右手Ｈ２を使って文字Ｔｒ１等を選択対象オブジェクト１００４に描画することができる。かかる文字Ｔｒ１に対応する文字オブジェクト１０２５は、表示領域３１に表示され得る。
　なお、上記の第２の変形例および第３の変形例では、左手Ｈ１に対応するオブジェクトが表示領域３１に表示され得るとしたが、本技術はかかる例に限定されない。すなわち、第２操作の際において、左手Ｈ１（第１物体）に対応するオブジェクトを表示領域３１に表示する制御は行われなくてもよい。
　（４．ホバー操作）
　上述した情報処理システム１Ａの第２段階の処理では、第２選択部１０５は、左手に対する右手のタップ操作等の接触操作に係る情報に基づいて操作対象の選択の制御をするとしたが、本技術はかかる例に限定されない。例えば、第２選択部１０５は、ホバー操作等の近接操作に係る情報に基づいて操作対象の選択の制御をしてもよい。かかる近接操作に係る情報は、例えば、操作認識部１０２による認識結果に基づいて得られるものであってもよい。
　図１８は、本実施形態に係る情報処理システム１Ａの第４の変形例に係る第２段階の処理の流れを示すフローチャートである。また、図１９は、本実施形態に係る情報処理システム１Ａの第４の変形例に係る制御例を示す図である。ここでは、図１８に示すフローチャートに沿って説明する。
　まず、設定部１０４は、操作対象群に対応する操作領域を左手に設定する（ステップＳ４０１）。次に、左手に割り当てられた操作対象に対応する領域に対する右手の接近（すなわちホバー操作）が検出されたか否かが判断される（ステップＳ４０３）。当該領域に対する右手の接近が検出された場合（ステップＳ４０３／ＹＥＳ）、第２選択部１０５は、近接された領域に対応する操作対象を選択する。そして、表示制御部１０６は、近接された領域に対応する操作対象に関する表示を制御する（ステップＳ４０５）。
　図１９に示すように、選択された選択対象オブジェクト１００１に対応する操作領域１１０４がユーザＵ１の左手Ｈ１に設定されており、操作対象オブジェクト１００１Ａ～１００１Ｄに対応する領域１１０４Ａ～１１０４Ｄが左手Ｈ１に割り当てられている。
　ユーザＵ１が、左手Ｈ１に割り当てられた領域１１０１Ｂに対して右手Ｈ２の指を近接させたとする（ホバー操作）。この場合、第２選択部１０５により当該ホバー操作に係る情報に基づいて領域１１０１Ｂに対応する操作対象オブジェクト１００１Ｂが特定される。このとき、表示制御部１０６は、操作対象オブジェクト１００１Ｂがホバー操作により特定されていることを提示するため、操作対象オブジェクト１００１Ｂにはハイライト１０２６が表示され得る。これにより、ユーザＵ１は、操作対象オブジェクト１００１Ｂがホバー操作により特定されていることを認識することができる。
　次に、一度近接した領域から右手Ｈ２が離れたことが検出されたか否かが判断される（ステップＳ４０７）。ここで、一度近接した領域から右手Ｈ２が離れたことが検出されなかった場合（ステップＳ４０７／ＮＯ）、第２選択部１０５は、操作認識部１０２による認識結果に基づく右手Ｈ２による左手Ｈ１へのタップ操作に係る情報に基づいて、操作対象の選択を制御する（ステップＳ４０９）。ここで、右手Ｈ２による左手Ｈ１へのタップ操作があった場合（ステップＳ４０９／ＹＥＳ）、第２選択部１０５は、タップされた左手Ｈ１の部分を含む領域に対応する操作対象を選択する。次に、表示制御部１０６は、選択された操作対象に関する表示を表示領域３１に表示する（ステップＳ４１１）。
　このように、ホバー操作により操作対象に対応する領域に近接した場合の表示のフィードバックを行うことにより、目標の操作対象の選択の操作をより確実に行うことが可能となる。
　なお、本実施形態に係る第２操作には、接触操作および近接操作が含まれ得る。かかる接触操作には、例えば、回す操作、スライド操作、フリック操作、ドラッグ操作、ピンチ操作またはつまみ操作等が含まれ得る。また、近接操作には、ホバー操作のみならず、左手等の第１物体の近傍における、手指を用いたジェスチャが含まれ得る。また、本実施形態において第２操作は右手による操作であるが、本技術はかかる例に限定されない。例えば、右手以外の身体の一部による操作であってもよいし、リモートコントローラ等、他の機器による操作であってもよい。第２操作を右手で行うことにより、身体の体性感覚を活かした操作を行うことができる。これにより、操作性が向上し得る。
　以上、本開示の第１の実施形態について説明した。
　＜＜２．第２の実施形態＞＞
　次に、本開示の第２の実施形態について説明する。図２０および図２１は、本開示の第２の実施形態に係る情報処理システム１Ｂの概要および構成例を示す図である。図２０に示すように、本実施形態に係る情報処理システム１Ｂは、情報処理装置１０、物体検出装置２０、および表示装置３０に加えて、操作体検出装置４０を含む。操作体検出装置４０以外の各装置の第１の実施形態と構成および機能は同一であるので、説明を省略する。
　（操作体検出装置）
　操作体検出装置４０は、操作体を検出するために用いられる検出装置の一例である。本実施形態に係る操作体検出装置４０は、操作体の一例であるユーザＵ１の手Ｈ１に係る操作体検出情報を生成する。生成された操作体検出情報は、ネットワークＮＷを介して（または直接的に）情報処理装置１０に出力される。なお、本実施形態に係る操作体検出装置４０は、例えば図２０に示すように、作業台上に設けられ、操作体検出装置４０上において存在し得る手Ｈ１を検出する。
　上記の操作体検出情報には、例えば、検出された操作体の３次元空間における位置（ローカル座標系、またはグローバル座標系における）に係る情報が含まれる。本実施形態では、操作体検出情報には、空間２の座標系における操作体の位置に係る情報が含まれる。また、操作体検出情報には、操作体の形状に基づいて生成されるモデル等が含まれてもよい。このように、ユーザＵ１が操作体検出装置４０に対して行う操作に係る情報を、操作体検出装置４０は操作体検出情報として取得する。
　本実施形態に係る操作体検出装置４０は、赤外線照射光源および赤外線カメラ等により実現され得る。また、操作体検出装置４０は、デプスセンサ、カメラ、磁気センサ、マイクロフォン等の各種センサにより実現されてもよい。すなわち、操作体検出装置４０は、操作体の位置および／または態様等を取得可能なものであれば、特に限定されない。
　また、図２０に示した例では、操作体検出装置４０は作業台上に載置されるものとして説明したが、本技術はかかる例に限定されない。例えば、他の実施形態では、操作体検出装置４０は、操作体である手により把持されるデバイス、または手首もしくは腕等に装着されるウェアラブルデバイスであってもよい。かかるウェアラブルデバイスには、ジャイロセンサ、ポテンショメータ、エンコーダ等の各種慣性センサまたは機械式センサが設けられ、各センサにより操作体である手の位置等が検出されてもよい。また、他の実施形態では、ユーザＵ１の手Ｈ１にマーカが設けられ、操作体検出装置４０がかかるマーカを認識することにより手Ｈ１の位置等を検出してもよい。また、操作体検出装置４０は、タッチパネルなど、手Ｈ１の接触を入力として操作体検出情報を生成するものであってもよい。
　操作体検出装置４０により生成された操作体検出情報は、情報処理装置１０に送信される。制御部１００は、通信部１１０を介して当該操作体検出情報を取得する。本実施形態に係る被操作位置推定部１０１は、当該操作体検出情報に基づいて、被操作位置を推定する。かかる推定処理の詳細は、第１の実施形態と同様であるので、説明を省略する。
　このように、ポインティング位置等の被操作位置の検出を本実施形態に係る操作体検出装置４０により行うことで、より確実に被操作位置を特定することが可能となる。また、本実施形態に係る操作体検出装置４０は作業台上に設けられるので、手Ｈ１を浮かせなくても操作が可能となる。したがって、ユーザＵ１による手Ｈ１の操作の負担が軽減され得る。
　以上、本開示の第２の実施形態について説明した。
　＜＜３．第３の実施形態＞＞
　　＜３．１．情報処理システムの概要＞
　次に、本開示の第３の実施形態について説明する。図２２および図２３は、本開示の第３の実施形態に係る情報処理システム１Ｃの概要および構成例を示す図である。図２２に示すように、本実施形態に係る情報処理システム１Ｃは、情報処理装置１０、物体検出装置２０、および表示装置３０に加えて、被操作機器５０を含む。被操作機器５０以外の各装置の第１の実施形態と構成および機能は同一であるので、説明を省略する。
　（被操作機器）
　被操作機器５０は、ユーザＵ１が選択した操作対象に対する操作により制御される機器である。図２２には、被操作機器５０の一例として、照明機器が記載されている。被操作機器５０には、空調機器、テレビ、冷蔵庫、洗濯機およびオーディオ機器等の家電製品、並びに照明機器、施錠機器、インターホン等の建屋に関する機器が含まれる。すなわち、被操作機器５０には、本実施形態に係る情報処理システム１Ｃが適用される空間２に存在する全ての機器が含まれ得る。
　図２２および図２３に示すように、被操作機器５０は、ネットワークＮＷを介して情報処理装置１０と有線または無線により接続されている。被操作機器５０は、ネットワークＮＷを介して（または直接的に）情報処理装置１０から取得される出力信号に基づいて制御される。
　　＜３．２．制御部の構成例＞
　図２４は、本実施形態に係る制御部１００Ｃの機能構成例を示すブロック図である。図２４を参照すると、制御部１００Ｃは、被操作位置推定部１０１、操作認識部１０２、第１選択部１０３、設定部１０４、第２選択部１０５および表示制御部１０６に加えて、さらに機器制御部１０７を備える。なお、機器制御部１０７以外の機能部の構成および各機能部の有する機能は第１実施形態に係る各機能部と同一であるので、説明を省略する。
　（機器制御部）
　機器制御部１０７は、第２選択部１０５により選択された操作対象に対応する被操作機器５０を制御する機能を有する。例えば、操作対象がスイッチであった場合に、第２選択部１０５によりスイッチが選択された場合、機器制御部１０７は、当該スイッチに対応する被操作機器５０について、当該スイッチの切り替えに係る制御をする。被操作機器５０が図２２に示すような照明機器であれば、機器制御部１０７は、照明機器の照明の切り替えの制御を行ってもよい。
　また、図１４に示すようなセレクタスイッチオブジェクト１００３Ａまたはスライダオブジェクト１００３Ｂのように、第２操作により操作対象の選択と同時に操作対象の状態の変更が可能である場合、機器制御部１０７は、操作対象の変更された状態に基づいて、被操作機器５０の制御のための出力信号を生成してもよい。例えば、ユーザの左手の操作領域に対する操作に基づいてセレクタスイッチオブジェクト１００３Ａのスイッチの切り替えがされたときに、機器制御部１０７は、切り替えられた状態に対応する出力信号を生成してもよい。より具体的には、操作対象の一例であるセレクタスイッチオブジェクト１００３Ａが被操作機器５０の一例である照明機器の照度の段階の切り替えを行うものである場合、機器制御部１０７は、セレクタスイッチオブジェクト１００３Ａの示す状態に対応する照度となるよう被操作機器５０を制御してもよい。これにより、被操作機器５０の詳細な制御が可能となる。
　なお、本実施形態では、表示制御部１０６による選択の表示の制御が行われ得るが、本技術はかかる例に限定されない。例えば、ユーザに対する選択の表示によるフィードバックが不要であれば、表示制御部１０６に係る機能は設けられなくてもよい。
　＜＜４．ハードウェア構成例＞＞
　次に、図２５を参照して、本開示の実施形態に係る情報処理装置９００のハードウェア構成について説明する。図２５は、本開示の一実施形態に係る情報処理装置９００のハードウェア構成例を示すブロック図である。図示された情報処理装置９００は、例えば、上記の実施形態における情報処理装置を実現し得る。
　情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０３、およびＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０５を含む。また、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インタフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２５および通信装置９２９を含んでもよい。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）と呼ばれるような処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２３に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時記憶する。例えば、ＣＰＵ９０１、ＲＯＭ９０３およびＲＡＭ９０５は、上記実施形態における制御部１００の機能を実現し得る。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。
　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２７であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。
　出力装置９１７は、取得した情報をユーザに対して視覚的にまたは聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ　Ｄｉｓｐｌａｙ　Ｐａｎｅｌ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ　Ｄｉｓｐｌａｙ）などの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などであり得る。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。
　ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard　Disk　Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
　ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２３のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２３に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２３に記録を書き込む。なお、ストレージ装置９１９、またはドライブ９２１およびリムーバブル記録媒体９２３の少なくともいずれかは、上記実施形態に係る記憶部１２０の機能を実現し得る。
　接続ポート９２５は、機器を情報処理装置９００に直接接続するためのポートである。接続ポート９２５は、例えば、ＵＳＢ（Universal　Serial　Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small　Computer　System　Interface）ポートなどでありうる。また、接続ポート９２５は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface）ポートなどであってもよい。接続ポート９２５に外部接続機器９２７を接続することで、情報処理装置９００と外部接続機器９２７との間で各種のデータが交換されうる。
　通信装置９２９は、例えば、通信ネットワークＮＷに接続するための通信デバイスなどで構成された通信インタフェースである。通信装置９２９は、例えば、有線または無線ＬＡＮ（Local　Area　Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless　USB）用の通信カードなどでありうる。また、通信装置９２９は、光通信用のルータ、ＡＤＳＬ（Asymmetric　Digital　Subscriber　Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２９は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２９に接続される通信ネットワークＮＷは、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。なお、接続ポート９２５または通信装置９２９の少なくともいずれかは、上記実施形態に係る通信部１１０の機能を実現し得る。
　以上、情報処理装置９００のハードウェア構成の一例を示した。
　＜＜５．まとめ＞＞
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　なお、本明細書の情報処理装置の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、情報処理装置の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
　また、情報処理装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述した情報処理装置の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムが格納された読取可能な記録媒体も提供される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　操作対象を含む選択対象に対する操作主体による第１操作に係る情報に基づいて前記選択対象の選択を制御する第１選択部と、
　選択された前記選択対象に対応する操作領域を第１物体に設定する設定部と、
　前記操作領域が設定された前記第１物体に対する前記操作主体による第２操作に係る情報に基づいて前記操作対象の選択を制御する第２選択部と
　を備える情報処理装置。
（２）
　前記第１操作に係る情報は、前記選択対象に向けた、前記操作主体の身体の態様を推定して得られる情報を含む、前記（１）に記載の情報処理装置。
（３）
　前記第１操作は、前記第１物体を用いた操作を含む、前記（１）または（２）に記載の情報処理装置。
（４）
　前記第１操作は、前記第１物体の位置および／または態様等を取得するセンサに対する操作を含む、前記（３）に記載の情報処理装置。
（５）
　前記第１物体は、前記操作主体の身体の一部である、前記（３）または（４）に記載の情報処理装置。
（６）
　前記第１選択部は、第３操作に係る情報に基づいて、前記選択対象が選択されている状態を保持する、前記（１）～（５）のいずれか１項に記載の情報処理装置。
（７）
　前記第１選択部は、第４操作に係る情報に基づいて、前記選択対象が選択された状態の保持を解除する、前記（６）に記載の情報処理装置。
（８）
　第１操作に係る情報は、前記第１操作により推定される被操作位置に係る情報を含む、前記（１）～（７）のいずれか１項に記載の情報処理装置。
（９）
　前記第２操作は、前記第１物体とは異なる第２物体を用いた操作を含む、前記（１）～（８）のいずれか１項に記載の情報処理装置。
（１０）
　前記第２操作は、前記第１物体に前記第２物体を近接させた状態で行う操作を含む、前記（９）に記載の情報処理装置。
（１１）
　前記第２操作は、前記第１物体と前記第２物体とが接触した状態で行う操作を含む、前記（９）または（１０）に記載の情報処理装置。
（１２）
　前記第２物体は、前記操作主体の身体の一部である、前記（９）～（１１）のいずれか１項に記載の情報処理装置。
（１３）
　前記第１選択部および前記第２選択部の少なくともいずれかによる前記選択に係る表示を制御する表示制御部をさらに備える、前記（１）～（１２）のいずれか１項に記載の情報処理装置。
（１４）
　前記表示制御部は、前記操作領域の前記第１物体における設定状態に係る表示を制御する、前記（１３）に記載の情報処理装置。
（１５）
　選択された前記操作対象に対応する被操作機器を制御する機器制御部をさらに備える、前記（１）～（１４）のいずれか１項に記載の情報処理装置。
（１６）
　前記第２操作は、前記操作対象の状態を変更するための操作を含む、前記（１）～（１５）のいずれか１項に記載の情報処理装置。
（１７）
　前記選択対象に一つの前記操作対象のみが含まれる場合、
　前記第１選択部は、前記操作対象を選択する、前記（１）～（１６）のいずれか１項に記載の情報処理装置。
（１８）
　前記操作対象は、表示領域に表示される仮想オブジェクトを含む、前記（１）～（１７）のいずれか１項に記載の情報処理装置。
（１９）
　プロセッサが、
　操作対象を含む選択対象に対する操作主体による第１操作に係る情報に基づいて前記選択対象の選択を制御することと、
　選択された前記選択対象に対応する操作領域を第１物体に設定することと、
　前記第１物体に設定された前記操作領域に対する前記操作主体による第２操作に係る情報に基づいて前記操作対象の選択を制御することと
　を含む情報処理方法。
（２０）
　コンピュータを、
　操作対象を含む選択対象に対する操作主体による第１操作に係る情報に基づいて前記選択対象の選択を制御する第１選択部と、
　選択された前記選択対象に対応する操作領域を第１物体に設定する設定部と、
　前記操作領域が設定された前記第１物体に対する前記操作主体による第２操作に係る情報に基づいて前記操作対象の選択を制御する第２選択部と、
　として機能させるためのプログラム。
　１Ａ、１Ｂ、１Ｃ　　情報処理システム
　１０　　　　情報処理装置
　２０　　　　物体検出装置
　３０　　　　表示装置
　３１　　　　表示領域
　４０　　　　操作体検出装置
　５０　　　　被操作機器
　１００、１００Ｃ　　　制御部
　１０１　　　被操作位置推定部
　１０２　　　操作認識部
　１０３　　　第１選択部
　１０４　　　設定部
　１０５　　　第２選択部
　１０６　　　表示制御部
　１０７　　　機器制御部
　１１０　　　通信部
　１２０　　　記憶部

Claims (20)

  1. 　操作対象を含む選択対象に対する操作主体による第１操作に係る情報に基づいて前記選択対象の選択を制御する第１選択部と、
    　選択された前記選択対象に対応する操作領域を第１物体に設定する設定部と、
    　前記操作領域が設定された前記第１物体に対する前記操作主体による第２操作に係る情報に基づいて前記操作対象の選択を制御する第２選択部と
    　を備える情報処理装置。
  2. 　前記第１操作に係る情報は、前記選択対象に向けた、前記操作主体の身体の態様を推定して得られる情報を含む、請求項１に記載の情報処理装置。
  3. 　前記第１操作は、前記第１物体を用いた操作を含む、請求項１に記載の情報処理装置。
  4. 　前記第１操作は、前記第１物体の位置および／または態様等を取得するセンサに対する操作を含む、請求項３に記載の情報処理装置。
  5. 　前記第１物体は、前記操作主体の身体の一部である、請求項３に記載の情報処理装置。
  6. 　前記第１選択部は、第３操作に係る情報に基づいて、前記選択対象が選択されている状態を保持する、請求項１に記載の情報処理装置。
  7. 　前記第１選択部は、第４操作に係る情報に基づいて、前記選択対象が選択された状態の保持を解除する、請求項６に記載の情報処理装置。
  8. 　第１操作に係る情報は、前記第１操作により推定される被操作位置に係る情報を含む、請求項１に記載の情報処理装置。
  9. 　前記第２操作は、前記第１物体とは異なる第２物体を用いた操作を含む、請求項１に記載の情報処理装置。
  10. 　前記第２操作は、前記第１物体に前記第２物体を近接させた状態で行う操作を含む、請求項９に記載の情報処理装置。
  11. 　前記第２操作は、前記第１物体と前記第２物体とが接触した状態で行う操作を含む、請求項９に記載の情報処理装置。
  12. 　前記第２物体は、前記操作主体の身体の一部である、請求項９に記載の情報処理装置。
  13. 　前記第１選択部および前記第２選択部の少なくともいずれかによる前記選択に係る表示を制御する表示制御部をさらに備える、請求項１に記載の情報処理装置。
  14. 　前記表示制御部は、前記操作領域の前記第１物体における設定状態に係る表示を制御する、請求項１３に記載の情報処理装置。
  15. 　選択された前記操作対象に対応する被操作機器を制御する機器制御部をさらに備える、請求項１に記載の情報処理装置。
  16. 　前記第２操作は、前記操作対象の状態を変更するための操作を含む、請求項１に記載の情報処理装置。
  17. 　前記選択対象に一つの前記操作対象のみが含まれる場合、
    　前記第１選択部は、前記操作対象を選択する、請求項１に記載の情報処理装置。
  18. 　前記操作対象は、表示領域に表示される仮想オブジェクトを含む、請求項１に記載の情報処理装置。
  19. 　プロセッサが、
    　操作対象を含む選択対象に対する操作主体による第１操作に係る情報に基づいて前記選択対象の選択を制御することと、
    　選択された前記選択対象に対応する操作領域を第１物体に設定することと、
    　前記第１物体に設定された前記操作領域に対する前記操作主体による第２操作に係る情報に基づいて前記操作対象の選択を制御することと
    　を含む情報処理方法。
  20. 　コンピュータを、
    　操作対象を含む選択対象に対する操作主体による第１操作に係る情報に基づいて前記選択対象の選択を制御する第１選択部と、
    　選択された前記選択対象に対応する操作領域を第１物体に設定する設定部と、
    　前記操作領域が設定された前記第１物体に対する前記操作主体による第２操作に係る情報に基づいて前記操作対象の選択を制御する第２選択部と、
    　として機能させるためのプログラム。
PCT/JP2017/030147 2016-10-19 2017-08-23 情報処理装置、情報処理方法及びプログラム WO2018074055A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/336,615 US20210294482A1 (en) 2016-10-19 2017-08-23 Information processing device, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016204952 2016-10-19
JP2016-204952 2016-10-19

Publications (1)

Publication Number Publication Date
WO2018074055A1 true WO2018074055A1 (ja) 2018-04-26

Family

ID=62018352

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/030147 WO2018074055A1 (ja) 2016-10-19 2017-08-23 情報処理装置、情報処理方法及びプログラム

Country Status (2)

Country Link
US (1) US20210294482A1 (ja)
WO (1) WO2018074055A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6957695B1 (ja) * 2020-07-30 2021-11-02 株式会社ジンズホールディングス プログラム、情報処理方法、及び情報処理装置
US11170476B1 (en) 2020-10-15 2021-11-09 Aeva, Inc. Techniques for fast point cloud filtering using a series cascaded filter

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09190325A (ja) * 1996-01-09 1997-07-22 Canon Inc 表示装置
JP2014067388A (ja) * 2012-09-06 2014-04-17 Toshiba Alpine Automotive Technology Corp アイコン操作装置
WO2014162762A1 (ja) * 2013-04-02 2014-10-09 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2015201161A (ja) * 2014-04-09 2015-11-12 由田新技股▲ふん▼有限公司 電子装置とその操作方法
JP2015225493A (ja) * 2014-05-28 2015-12-14 京セラ株式会社 携帯端末、ジェスチャ制御プログラムおよびジェスチャ制御方法
WO2016017101A1 (ja) * 2014-07-30 2016-02-04 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09190325A (ja) * 1996-01-09 1997-07-22 Canon Inc 表示装置
JP2014067388A (ja) * 2012-09-06 2014-04-17 Toshiba Alpine Automotive Technology Corp アイコン操作装置
WO2014162762A1 (ja) * 2013-04-02 2014-10-09 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2015201161A (ja) * 2014-04-09 2015-11-12 由田新技股▲ふん▼有限公司 電子装置とその操作方法
JP2015225493A (ja) * 2014-05-28 2015-12-14 京セラ株式会社 携帯端末、ジェスチャ制御プログラムおよびジェスチャ制御方法
WO2016017101A1 (ja) * 2014-07-30 2016-02-04 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
US20210294482A1 (en) 2021-09-23

Similar Documents

Publication Publication Date Title
EP3218781B1 (en) Spatial interaction in augmented reality
US20190129607A1 (en) Method and device for performing remote control
US10444908B2 (en) Virtual touchpads for wearable and portable devices
KR101844390B1 (ko) 사용자 인터페이스 제어를 위한 시스템 및 기법
US10055064B2 (en) Controlling multiple devices with a wearable input device
KR101872426B1 (ko) 깊이 기반 사용자 인터페이스 제스처 제어
US20170293351A1 (en) Head mounted display linked to a touch sensitive input device
US20170329488A1 (en) Two-handed object manipulations in virtual reality
JP5333397B2 (ja) 情報処理端末およびその制御方法
JPWO2017033513A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2016109409A1 (en) Virtual lasers for interacting with augmented reality environments
KR20110095144A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
CN103729054A (zh) 多显示设备及其控制方法
US20180032139A1 (en) Interactive system control apparatus and method
CN113728293A (zh) 用于基于位所的设备控制的系统和界面
US11886643B2 (en) Information processing apparatus and information processing method
WO2018074055A1 (ja) 情報処理装置、情報処理方法及びプログラム
KR101233793B1 (ko) 손 동작 인식을 이용한 가상 마우스 구동 방법
WO2017033544A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN107924272B (zh) 信息处理装置、信息处理方法和程序
JP6289655B2 (ja) 画面操作装置及び画面操作方法
JP2016015078A (ja) 表示制御装置、表示制御方法、及び、プログラム
JP7070245B2 (ja) 情報処理装置、動作制御プログラム、及び動作制御方法
WO2018131245A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US11570017B2 (en) Batch information processing apparatus, batch information processing method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17861956

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17861956

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP