WO2019244437A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2019244437A1
WO2019244437A1 PCT/JP2019/014643 JP2019014643W WO2019244437A1 WO 2019244437 A1 WO2019244437 A1 WO 2019244437A1 JP 2019014643 W JP2019014643 W JP 2019014643W WO 2019244437 A1 WO2019244437 A1 WO 2019244437A1
Authority
WO
WIPO (PCT)
Prior art keywords
candidate point
candidate
information processing
point
user
Prior art date
Application number
PCT/JP2019/014643
Other languages
English (en)
French (fr)
Inventor
純二 大塚
正樹 半田
健志 後藤
哲男 池田
英佑 藤縄
光祐 吉富
克次 宮澤
祥次 渡邊
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/052,674 priority Critical patent/US20210181864A1/en
Priority to CN201980038813.0A priority patent/CN112292658A/zh
Priority to EP19823056.7A priority patent/EP3809249A4/en
Publication of WO2019244437A1 publication Critical patent/WO2019244437A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/18—Details relating to CAD techniques using virtual or augmented reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/12—Geometric CAD characterised by design entry means specially adapted for CAD, e.g. graphical user interfaces [GUI] specially adapted for CAD

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • Patent Document 1 Conventionally, a device for displaying a position designated by a user has been proposed (for example, see Patent Document 1 below).
  • An object of the present disclosure is to provide an information processing apparatus, an information processing method, and a program that are capable of presenting a candidate (hereinafter, appropriately referred to as a candidate point) of a location that the user wants to point, which is located in a user's operation direction.
  • a candidate point hereinafter, appropriately referred to as a candidate point
  • a control unit that detects at least two or more candidate points located in the detected operation direction, switches to select a predetermined candidate point from the two or more candidate points, and displays at least the selected candidate point. Processing device.
  • the control unit detects at least two or more candidate points located in the detected operation direction, switches to select a predetermined candidate point from the two or more candidate points, and displays at least the selected candidate point. Processing method.
  • the control unit detects at least two or more candidate points located in the detected operation direction, switches to select a predetermined candidate point from the two or more candidate points, and displays at least the selected candidate point.
  • This is a program that causes a computer to execute the processing method.
  • a candidate point located in the user's operation direction can be presented.
  • the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
  • the contents of the present disclosure are not to be construed as being limited by the illustrated effects.
  • FIG. 1 is a diagram illustrating a configuration example of a projection mapping system according to an embodiment.
  • 2A and 2B are diagrams for explaining a problem to be considered in one embodiment.
  • FIG. 3 is a diagram for explaining a problem to be considered in one embodiment.
  • FIG. 4 is a block diagram illustrating a configuration example of the information processing apparatus according to the embodiment.
  • 5A and 5B are diagrams illustrating an example of a feature point of a hand.
  • 6A to 6D are diagrams for explaining an example of the feature points of the body.
  • FIG. 7 is a diagram for describing a first example of displaying candidate points.
  • 8A and 8B are diagrams for explaining a second example regarding the display of candidate points.
  • 9A and 9B are diagrams for explaining a second example regarding the display of candidate points.
  • FIGS. 10A and 10B are diagrams illustrating a first example of detection of candidate points.
  • FIGS. 11A and 11B are diagrams illustrating a second example of detection of candidate points.
  • 12A and 12B are diagrams for explaining a third example of detecting a candidate point.
  • FIG. 13A to FIG. 13C are diagrams for explaining setting examples regarding candidate points.
  • FIG. 14 is a diagram for explaining that region information is input to the candidate point detection unit.
  • FIG. 15 is a diagram for explaining a display example of the selected candidate point.
  • FIG. 16 is a diagram for describing a first example of a gesture for switching the selected candidate point.
  • FIG. 17 is a diagram for explaining a second example of the gesture for switching the selected candidate point.
  • FIG. 18 is a diagram illustrating a third example of the gesture for switching the selected candidate point.
  • FIG. 19 is a diagram illustrating a modification of the third example of the gesture for switching the selected candidate point.
  • FIG. 20 is a diagram illustrating a modification of the third example of the gesture for switching the selected candidate point.
  • FIG. 21 is a diagram illustrating a fourth example of the gesture for switching the selected candidate point.
  • FIG. 22 is a diagram illustrating a fifth example of the gesture for switching the selected candidate point.
  • FIG. 23 is a diagram illustrating a sixth example of the gesture for switching the selected candidate point.
  • FIG. 24 is a diagram for explaining a processing example when a candidate point inside an object is determined as a determination point.
  • FIG. 24 is a diagram for explaining a processing example when a candidate point inside an object is determined as a determination point.
  • FIG. 25 is a diagram for explaining a processing example when a candidate point inside an object is determined as a determination point.
  • FIG. 26 is a flowchart illustrating a flow of a process performed in the information processing device according to the embodiment.
  • FIGS. 27A and 27B are diagrams illustrating an example in which the operation direction according to the user's gesture is detected.
  • FIG. 28 is a diagram for explaining another example in which the operation direction according to the user's gesture is detected.
  • FIG. 29 is a diagram for describing an example in which the operation direction is reflected by an object such as a wall.
  • FIG. 30 is a diagram for explaining an example of projection display for notifying the presence and position of a candidate point that is invisible to the user.
  • FIG. 1 is a diagram illustrating a configuration example of a projection mapping system (projection mapping system 1) according to an embodiment.
  • the projection mapping system 1 includes an information processing device 2 that controls projection display according to projection mapping, and a table 3. Under the control of the information processing device 2, predetermined information is projected and displayed on a predetermined projection area 3a on the surface of the table 3. For example, the intersection between the operation direction indicated by the index finger F of the user (operator) and the surface of the table 3 is displayed as the designated point P1 in the projection area 3a.
  • FIG. 1 shows a configuration in which the information processing device 2 is disposed above the table 3, but the configuration is not limited to this.
  • a configuration in which four information processing devices 2 are arranged near four corners of the table 3 may be employed. That is, as long as predetermined information can be displayed in the projection area 3a, the number and arrangement of the information processing devices 2 can be made appropriate.
  • the projection area 3a is not limited to the surface of the table 3. For example, projection display may be performed on the surface of the object placed on the table 3.
  • FIG. 2A is an overhead view of the projection area 3a as viewed from above
  • FIG. 2B is a side view of the projection area 3a as viewed from the side of the table 3.
  • a cylindrical object 4a, a quadrangular prism-shaped object 4b, and a triangular prism-shaped object 4c are placed side by side on the projection area 3a.
  • an object 4a, an object 4b, and an object 4c are sequentially present in the operation direction FD, which is a direction in which a predetermined direction is indicated by the pointing finger F of the user, which is a direction extending the direction. .
  • intersections Pa, Pb, and Pc as intersections between the operation direction FD and the surface of each object.
  • the intersection Pa which is the first intersection with the operation direction FD, is set as a point that the user wants to indicate.
  • the intersection Pb, the intersection Pc, or another location may be a location that the user wants to indicate.
  • FIG. 4 is a block diagram illustrating a configuration example of the information processing apparatus 2 according to the embodiment.
  • the information processing device 2 includes, for example, an input unit 200, an environment recognition unit 201, a person recognition unit 202, a candidate point detection unit 203, a selection unit 204, a display control unit 205, and an output unit 206.
  • the input unit 200 is a general term for a device that detects the state of the table surface of the table 3 or an object on the table 3, an input device that receives a user operation, and the like.
  • the input unit 200 includes, for example, a device having an image sensor, and more specifically, an RGB (Red / Green / Blue) camera.
  • the input unit 200 may be a distance measuring sensor, and examples of such a distance measuring sensor include a stereo camera, a ToF (Time of Flight) camera, and a Structured light camera. Sensors other than those exemplified above may be applied as the input unit 200.
  • the environment recognition unit 201 receives input information input from the input unit 200 and estimates the three-dimensional structure information of the table 3 and the object on the table 3. For example, when the input unit 200 includes a distance measurement sensor, a known 3D model is applied to a three-dimensional point group obtained from the distance measurement sensor, or a plane is applied to a local point group to perform reconstruction. To estimate three-dimensional structure information. Of course, other methods may be applied as a method for estimating three-dimensional structure information. The three-dimensional structure information acquired by the environment recognition unit 201 is supplied to the candidate point detection unit 203.
  • the person recognizing unit 202 receives input information input from the input unit 200 and estimates posture information of the user.
  • the posture information of the user includes at least information on hands (including fingers).
  • As a method of estimating the posture information of the user for example, there is a method of estimating the position of the user by using a set of feature points such as hands and joints of the body and estimating the position by a Neural Network. Of course, another method may be applied as a method for estimating the posture information of the user.
  • the characteristic points of the hand include a fingertip, a finger joint, a base of a finger, a center of a palm, a wrist, and the like, as shown by a white circle in FIGS. 5A and 5B.
  • the feature points of the finger may be not a single point but a combination of a finger vector and a fingertip position.
  • main joints of the body and the like can be exemplified as indicated by black circles shown in FIGS. 6A to 6D.
  • the posture information of the user acquired by the human recognition unit 202 is supplied to each of the candidate point detection unit 203 and the selection unit 204.
  • the candidate point detecting unit 203 receives the posture information supplied from the human recognizing unit 202 and the three-dimensional structure information supplied from the environment recognizing unit 201, and indicates the pointing direction based on these information.
  • a candidate point located in the operation direction is detected.
  • a straight line (finger) that passes through the fingertip position of the index finger (for example, the fingertip position corresponding to No. 7 in FIG. 5A) and the finger joint position of the index finger (for example, the position of the finger joint corresponding to No. 8 in FIG. 5A)
  • the extension of the insertion line is defined as the operation direction.
  • an intersection between the operation direction and the surface of the object estimated from the three-dimensional structure information (for example, the surface of the table 3 or the surface of the object placed on the table 3) is detected as a candidate point.
  • the candidate points detected by the candidate point detecting unit 203 may be one candidate point or a candidate point group including a plurality of candidate points.
  • the candidate point information on the candidate points detected by the candidate point detection unit 203 is supplied to each of the selection unit 204 and the display control unit 205.
  • the pointing line may not be a straight line.
  • the candidate points may be not only intersections with the object surface but also points between the surfaces.
  • the candidate points to be detected may be narrowed down by a preset condition or area. Details of these will be described later.
  • the selection unit 204 receives the candidate point information supplied from the candidate point detection unit 203 and the posture information supplied from the person recognizing unit 202, and specifies the decision point at which the selection has been determined among the plurality of candidate points.
  • the candidate points and the decision points are areas corresponding to predetermined positions, and are not necessarily limited to point-like areas.
  • the selected candidate point is switched according to the gesture of the user. For example, the selection unit 204 detects the presence or absence of a predetermined gesture based on the posture information. Then, when a predetermined gesture is detected, the selection unit 204 switches (switches) the selected candidate point.
  • the selection of the candidate point being selected is determined according to a gesture for determining the selection, the passage of time during the selection, and the like, and is specified as the determination point.
  • the number of candidate points is one, the switching of the candidate points is not performed.
  • Selection information obtained by operating the selection unit 204 is supplied to the display control unit 205.
  • the display control unit 205 mainly performs control related to projection display. For example, the display control unit 205 performs control for projecting and displaying the candidate points on the surface of the table 3 and the object on the table 3 based on the candidate point information supplied from the candidate point detection unit 203. Further, the display control unit 205 performs control related to display for switching the currently selected candidate point based on the selection information input from the selection unit 204.
  • the output unit 206 is a device that outputs information according to the control by the display control unit 205.
  • the output unit 206 is, for example, a projector or a HUD (Head Up Display). Note that a device other than the projector (for example, a display or a speaker) may be included in the output unit 206.
  • a control unit is configured by the candidate point detection unit 203, the selection unit 204, and the display control unit 205.
  • the environment recognizing unit 201 acquires three-dimensional structure information based on input information input from the input unit 200. Further, based on the input information input from the input unit 200, the person recognizing unit 202 acquires the posture information of the user.
  • the candidate point detection unit 203 detects the operation direction based on the posture information. Then, the candidate point detection unit 203 detects a candidate point located in the operation direction.
  • Candidate point information on the detected candidate points is supplied to the display control unit 205.
  • the display control unit 205 performs control related to projection display of candidate points based on the candidate point information.
  • the output unit 206 operates according to the control by the display control unit 205, and thereby the candidate points are presented to the user.
  • the selection unit 204 detects whether a predetermined gesture has been made based on the posture information. When the gesture is performed, the selection information is output to the display control unit 205.
  • the display control unit 205 controls the output unit 206 based on the selection information so that the projection display for switching the selected candidate point is performed. For example, the display control unit 205 generates display data such that the currently selected candidate point is switched, and controls the output unit 206 so that projection display based on the display data is performed.
  • the output unit 206 operates in accordance with the control by the display control unit 205, whereby the mode in which the selected candidate point is switched is presented to the user. At least the selected candidate point is presented to the user by projection display by projection.
  • the selection unit 204 detects whether or not a gesture for determining the currently selected candidate point as a determination point has been performed based on the posture information. If the gesture has been made, decision information indicating that fact is output. Processing corresponding to the application is performed based on the determination information. For example, a process of projecting and displaying predetermined information such as fireworks at the location of the decision point, and a process of reproducing sound or the like from the location of the decision point are performed.
  • the determination information output from the selection unit 204 is supplied to a configuration that executes the above-described processing.
  • the configuration may be included in the information processing device 2.
  • FIG. 7 is a diagram for describing a first example regarding the presentation of candidate points.
  • box-shaped objects 31A and 31B are arranged side by side at a certain distance on the projection area 3a of the table 3.
  • the user U exists near the corner of the table 3 (near the lower left corner in FIG. 7). From the user U, it looks as if the respective objects are arranged in the order of the objects 31A and 31B.
  • an environment is assumed in which the objects 31A and 31B are relatively small objects and the user U can see the entire projection area 3a.
  • the information processing apparatus 2 detects the operation direction FD that is the direction pointed by the pointing finger F.
  • the operation direction FD is described as a line that is not actually visible, but may be visually recognized using a hologram or the like.
  • the information processing apparatus 2 detects a candidate point located in the operation direction FD.
  • Intersections with the area 3a (the surface of the table 3) are detected as candidate points PA, PB, and PC.
  • the detected candidate points PA, PB, and PC are projected and displayed by the processing of the information processing device 2.
  • the information processing device 2 projects and displays the candidate point PA at a corresponding position on the surface of the object 31A.
  • the information processing device 2 projects and displays the candidate point PB at a corresponding position on the surface of the object 31B.
  • the information processing device 2 projects and displays the candidate point PC at a position corresponding to the projection area 3a.
  • the candidate point PA is recognized as the designated point, and various processes are performed. For this reason, it cannot be pointed out that at least one location, such as the candidate points PB and PC, which cannot be designated from the operation position of the user U, more specifically, a candidate point located on the back side of the object 31A which is a shield. There was a problem.
  • the candidate points PB and PC are also displayed and can be selected. Therefore, when the point to be pointed is the candidate point PB or the candidate point PC, the user U may select the candidate point PB or the candidate point PC.
  • the user U may select the candidate point PA when the point to be pointed is the candidate point PA. This allows the user U to select a location shielded by the object 31A as a location indicating the location. Note that another example of a location that cannot be designated from the operation position of the user U may be a shield located in the operation direction FD.
  • FIG. 8A An example is assumed in which objects 41A and 41B are arranged side by side at a fixed distance in projection area 3a.
  • the user U points at the corner of the table 3 (near the lower left corner in FIG. 8A).
  • the object 41A is a relatively large object and the user U cannot or cannot see the back side of the object 41A.
  • FIG. 8B a pattern M1 imitating a cat's face is drawn on the surface of the object 41B (the surface on the user U side).
  • FIG. 9A is an overhead view of the arrangement shown in FIG. 8A as viewed from above.
  • a pattern M2 imitating a black cat is drawn behind the object 41B on the projection area 3a.
  • the information processing apparatus 2 detects the operation direction FD that is the direction pointed by the pointing finger. Then, the candidate points located in the operation direction FD are detected by the information processing device 2.
  • intersections between the operation direction FD and both surfaces (front and back surfaces) of the object 41A are detected as candidate points PA and PB.
  • intersections between the operation direction FD and both surfaces (front and back surfaces) of the object 41B are detected as candidate points PC and PD.
  • the intersection between the operation direction FD and the projection area 3a is detected as a candidate point PE.
  • the detected candidate points are projected and displayed by the processing of the information processing device 2.
  • the user U can recognize only the candidate point PA by simply projecting and displaying each candidate point at each position. That is, since the candidate point PB is behind the object 41A, the candidate point PB is shielded by the object 41A, and the user U cannot recognize the candidate point PB. The same applies to the candidate points PC to PE.
  • the display control unit 205 generates image data that allows the user U to recognize the candidate points PB to PE existing on the back side of the object 41A. Then, the display control unit 205 controls the output unit 206 such that the image data is projected and displayed on the surface of the object 41A that is visible to the user U, for example. With this processing, candidate points PA to PE are projected and displayed on the surface of the object 41A as shown in FIG. 9B. Thereby, the user U can recognize the candidate points PB to PE that cannot be actually seen. Then, the user U can appropriately select the candidate points PA to PE and determine a decision point as described later.
  • the front candidate point is displayed large and the rear candidate point is displayed small so that the user U can recognize the positional relationship (for example, depth) between the candidate points. May be.
  • the display of the candidate points on the near side may be made darker, and the display of the candidate points on the rear side may be made lighter.
  • a line L1 obtained by projecting the operation direction FD onto the projection area 3a or a perpendicular drawn from each candidate point to the line L1 (such as perpendiculars L2 and L3 in FIG. 9B) may be projected and displayed.
  • a pattern M1 or M2 which is shielded by the object 41A and cannot be visually recognized by the user U may be projected and displayed on the surface of the object 41A together with the candidate point PA or the like.
  • Such projection display allows the user U to appropriately select a candidate point. For example, it is assumed that the user U has previously recognized that a pattern M2 imitating a black cat is drawn in the projection area 3a, and wants to point to the vicinity of the pattern M2. In such a case, the pattern M2 is projected and displayed together with the candidate points PA and the like, so that the user U can recognize that the candidate points PE near the pattern M2 should be selected.
  • candidate points detected based on a candidate point detection example described later are presented by projection display in a manner that allows the user to recognize the candidate points.
  • FIGS. 10A and 10B are diagrams illustrating a first example of detection of candidate points.
  • FIG. 10A is an overhead view as viewed from above the table 3
  • FIG. 10B is a side view as viewed from the side of the table 3.
  • the candidate point detection unit 203 sets a direction extending a straight line (pointing line) passing through the fingertip position corresponding to No. 7 and the position of the finger joint corresponding to No. 8 (see FIG. 5) as the operation direction FD.
  • the operation direction FD To detect.
  • the first example is an example in which the candidate point detection unit 203 detects an intersection between the operation direction FD and the surface of the object as a candidate point. As shown in FIGS. 10A and 10B, the intersection between the operation direction FD and the object 51A is detected as candidate points PA and PB, and the intersection between the operation direction FD and the projection area 3a (the surface of the table 3) is set as the candidate point PC. Is detected.
  • FIGS. 11A and 11B are diagrams illustrating a second example of detection of candidate points.
  • the second example is an example in which a predetermined location inside the object is further detected as a candidate point in the first example.
  • the candidate points PA, PB, and PC described in the first example are detected as candidate points.
  • a predetermined portion inside the object 51 is detected as the candidate points PD and PE.
  • the area between the candidate point PA and the candidate point PB existing on the surface of the object 51 is divided into N parts (in the illustrated example, divided into three parts), and the division points are detected as candidate points PD and PE.
  • a predetermined location inside the object 51 may be detected as a candidate point.
  • the candidate points PD and PE may be detected by a division method different from equal division.
  • the object 51 is, for example, a real object (a real object whose content is not hollow). Therefore, the candidate points PD and PE cannot be presented to the user U as they are.
  • the display control unit 205 generates image data in which candidate points PD and PE exist inside the object 51, and generates an image based on the image data.
  • the image is projected and displayed on the surface 51.
  • image data is generated such that the display density of the candidate points PD and PE is lower than the display density of the other candidate points, and an image based on the image data is projected and displayed on the surface of the object 51. Marks corresponding to the candidate points PD and PE may be indicated by dotted circles or the like.
  • the user U can recognize the existence of the candidate points PD and PE, which are the candidate points inside the selectable object 51.
  • a candidate point inside the object 51 is determined as a decision point
  • image data that allows the inside of the object 51 to be seen through is generated by the display control unit 205, and An image based on the image data may be projected and displayed on the surface of the object 51.
  • the user U may determine the candidate points PD and PE inside the object 51 as decision points.
  • FIGS. 12A and 12B are diagrams for explaining a third example of detecting a candidate point.
  • a quadrangular prism-shaped object 52 and a cup-shaped object 53 having a cavity 53A inside are placed on the projection area 3a.
  • the pointing of the user U is performed from the lateral direction of the object 52.
  • the operation direction FD is detected in the same manner as in the first example.
  • the third example is an example in which a predetermined point between the surfaces of the object in the operation direction FD is detected as a candidate point.
  • the vicinity of the center between the fingertip of the index finger F and the surface of the object 52 is detected as the candidate point PF.
  • the vicinity of the center between the object 52 and the object 53 is detected as the candidate point PG.
  • the vicinity of the center between the inner peripheral surfaces of the object 53 is detected as the candidate point PH.
  • the vicinity of the center between the object 53 and the table 3 is detected as the candidate point PI.
  • a predetermined portion between objects may be detected as a candidate point. Note that a portion other than near the center between objects may be detected as a candidate point.
  • a display corresponding to the candidate point is made by AR (Augmented Reality), VR (Virtual Reality), or the like.
  • AR Augmented Reality
  • VR Virtual Reality
  • a predetermined display for example, a character display
  • an indication such as a drink being poured into the cup-shaped object 53 is displayed by AR or the like.
  • the intersection between the operation direction FD and the surface of the object may be detected as a candidate point, as in the first example. Further, in the third example described above, as in the second example, a predetermined portion inside the object may be detected as a candidate point.
  • a dot-like mark or the like indicating the candidate point is projected and displayed on the object surface.
  • the predetermined detection rule is a setting related to an area or a position where a candidate point is detected.
  • the setting relating to the detection area in which the candidate point is detected will be mainly described. Is also good.
  • the detection rule is, for example, as follows.
  • a rule indicating which pattern in the first to third examples is used to detect a candidate point. (Note that the pattern may be switched by a gesture or the like.)
  • the setting of the candidate points is performed by an appropriate method such as input by gesture, input to an input device such as a remote control device or a button, and voice input.
  • FIGS. 13A to 13C are views for explaining setting examples regarding candidate points, and all are overhead views viewed from above the projection area 3a.
  • FIG. 13A assume an example in which a columnar object 61, a square columnar object 62, and a triangular columnar object 63 are placed on the projection area 3a.
  • the arrangement position and the three-dimensional shape of each object are acquired by the environment recognition unit 201 as three-dimensional structure information.
  • the user U performs an operation of pointing the projection area 3a with the index finger F from the left side (the object 61 side) with respect to the drawing.
  • the intersection between the operation direction FD of the index finger F and the surface of the projection area 3a is projected and displayed by the information processing device 2 as a pointer P5.
  • an operation of turning the index finger F is performed by the user U.
  • the position of the pointer P5 changes in response to such an operation, and the trajectory accompanying the movement of the pointer P5 is projected and displayed on the projection area 3a.
  • a locus 65 surrounding the object 61 and the object 62 is projected and displayed.
  • An area AR1 defined by the locus 65 is set as an area where the candidate point is detected by the candidate point detection unit 203.
  • candidate points PJ, PK, PL, and PM located in the area AR1 are detected as shown in FIG. 13C.
  • the switching of the candidate points to be described later is performed within the detected four candidate points.
  • the information indicating the set area AR1 is input to the candidate point detection unit 203 as area information, as shown in FIG.
  • the candidate point detection unit 203 appropriately limits an area for detecting a candidate point based on the region information.
  • the area information is generated by the environment recognition unit 201 based on, for example, an image obtained by a camera.
  • the area information is defined, for example, by the XY coordinates of the projection area 3a, but may be defined by other contents.
  • the candidate point detection rule is not limited to the setting by the user, and the candidate point detection unit 203 may have the rule in advance.
  • the candidate point detection unit 203 may have a rule that excludes candidate points at positions where projection display is impossible.
  • settings related to candidate points more specifically, settings related to areas for detecting candidate points and settings for excluding candidate points from the detected candidate points, for example, many candidate points
  • the inconvenience caused by being presented to U can be avoided. For example, it is possible to avoid the difficulty of viewing due to projection display of many candidate points and the inconvenience of increasing the number of times of switching candidate points when determining a decision point.
  • the detected candidate points are appropriately projected and displayed.
  • a predetermined candidate point is selected, and if the position corresponding to the selected candidate point is a point that the user U wants to point to, the candidate point is determined as a decision point. Note that at least the currently selected candidate point is projected and displayed. In the present embodiment, the selected candidate point is projected and displayed together with other candidate points.
  • the selected candidate point is switched according to a predetermined gesture by the user U.
  • the selection unit 204 detects a predetermined gesture or the like based on the posture information, and switches the selected candidate point when the gesture is performed.
  • Selection information indicating the selected candidate point is supplied to the display control unit 205.
  • the display control unit 205 performs control related to presentation for switching the currently selected candidate point based on the selection information.
  • FIG. 15 is a diagram for explaining a display example of the selected candidate point.
  • box-shaped objects 71 and 72 are placed on the projection area 3a.
  • the object 71 is an object larger than the object 72.
  • a pointing operation using the index finger F by the user U is performed from the near side of the object 71, and the operation direction FD based on the operation is detected.
  • a candidate point located in the operation direction FD is detected.
  • candidate points PN, PO, and PP are detected according to the above-described candidate point detection example (first example). Each candidate point is assumed to be visible to the user U.
  • FIG. 15 shows an example in which the selected candidate point is the candidate point PN.
  • the selected candidate point PN is presented in a more emphasized manner than the other candidate points PO and PP.
  • the candidate point PN is made brighter or brighter than other candidate points, the display color is made darker, the display color is made vivid, or an icon (in this example, a circle) indicating the candidate point is displayed. The icon is enlarged or the icon indicating the candidate point blinks.
  • the candidate point PO is presented in an emphasized manner.
  • FIG. 16 is a diagram for describing a first example of a gesture for switching the selected candidate point.
  • the gesture of clicking the thumb F1 is a gesture of moving the thumb F1 so as to once narrow the gap between the index finger F and the thumb F1 and then returning the thumb F1 to the original position.
  • candidate points PN, PO, and PP are detected as candidate points.
  • the candidate point PN closest to the user U is set as the selected candidate point.
  • the candidate point PO and the candidate point PP may be the selected candidate point in the initial state.
  • the selected candidate point switches from the candidate point PN to the candidate point PO.
  • a gesture (second click) of clicking the thumb F1 is made, the selected candidate point switches from the candidate point PO to the candidate point PP.
  • a gesture (third click) of clicking the thumb F1 is performed, the switch is performed so that the selected candidate point returns from the candidate point PP to the candidate point PN.
  • FIG. 17 is a diagram for explaining a second example of the gesture for switching the selected candidate point.
  • candidate points PN, PO, and PP are detected according to the gesture of pointing at the index finger F.
  • the candidate point PN closest to the user U is set as the selected candidate point.
  • the selection unit 204 determines that the mode has transitioned to the switch mode for switching the selected candidate point, and performs a process of switching the selected candidate point.
  • a gesture of bending the index finger F is performed.
  • the selected candidate point is switched according to the gesture. For example, in the initial state, when a gesture of bending the index finger F once is performed, the selected candidate point switches from the candidate point PN to the candidate point PO. When a gesture of bending the index finger F is performed once more, the selected candidate point switches from the candidate point PO to the candidate point PP. When the gesture of bending the index finger F is performed once more, the switch is performed so that the selected candidate point returns from the candidate point PP to the candidate point PN.
  • the candidate point being selected is continuously switched.
  • FIG. 18 is a diagram for explaining a third example of the gesture for switching the selected candidate point.
  • candidate points PN, PO, and PP are detected according to the gesture of pointing at the index finger F.
  • the candidate point PN closest to the user U is set as the selected candidate point.
  • the third example of the gesture for switching the selected candidate point is an example in which the selected candidate point is switched according to the angle ⁇ 1 between the index finger F and the thumb F1.
  • two thresholds Th1 and Th2 are set for the angle ⁇ 1.
  • the candidate point PN is set as the selected candidate point.
  • a gesture of increasing the angle between the index finger F and the thumb F1 is performed and the angle ⁇ 1 becomes equal to or greater than the threshold Th1, the candidate point being selected is switched from the candidate point PN to the candidate point PO.
  • the selected candidate point is switched from the candidate point PO to the candidate point PP.
  • the candidate point being selected is shifted from the candidate point PP.
  • Switch to candidate point PN for example, in response to an operation of increasing ⁇ 1 at a time, a switch may be made (discontinuously) so that the selected candidate point jumps from the candidate point PN to the candidate point PP.
  • the reason why the number of thresholds is two is that there are three candidate points.
  • the set number of thresholds and the like can be changed as appropriate.
  • the candidate point being selected is switched according to the angle formed by the index finger F and the thumb F1 of one hand.
  • one of the candidate points is switched.
  • the selected candidate point may be switched according to the angle between the index finger F of the hand and the index finger F2 of the other hand.
  • the candidate point located on the near side is switched so as to be the candidate point being selected, and as shown in FIG.
  • the switch may be made such that the candidate point located on the far side becomes the selected candidate point.
  • the candidate point located on the near side is switched so as to be the selected candidate point, and as the angle ⁇ 2 increases, the candidate point located on the back side is selected as the candidate point. May be switched so that
  • the candidate point being selected by the following gesture. For example, when a gesture of making the index finger F and the index finger F2 substantially parallel is performed, the selected candidate point may be sequentially switched from the near side candidate point to the deep side candidate point. Also, for example, when a gesture of intersecting the index finger F and the index finger F2 in, for example, a figure of eight is made, the candidate point being selected is sequentially switched from the candidate point on the back side to the candidate point on the near side. May be.
  • FIG. 21 is a diagram for explaining a fourth example of the gesture for switching the selected candidate point.
  • candidate points PN, PO, and PP are detected according to the gesture of pointing at the index finger F.
  • information for assisting selection of a candidate point is projected and displayed near the candidate point. For example, as shown in FIG. 21, a number “1” is projected and displayed near the candidate point PN on the same plane as the object 71 on which the candidate point PN is projected and displayed. Further, a number “2” is projected and displayed near the candidate point PO on the same plane as the object 72 on which the candidate point PO is projected and displayed. Further, a number “3” is projected and displayed near the candidate point PP on the same surface as the surface of the table 3 on which the candidate point PP is projected and displayed.
  • the user U performs a gesture indicating a number using the finger on the opposite side of the hand having the index finger F.
  • the selected candidate point switches according to the gesture.
  • FIG. 21 illustrates an example in which a gesture indicating “2”, specifically, a gesture of raising two fingers is performed, and a candidate point PO located near “2” is selected.
  • the user U only needs to raise one finger when he wants to select the candidate point PN, and only has to raise three fingers when he wants to select the candidate point PP.
  • the currently selected candidate point can be switched continuously, and the currently selected candidate point can be switched discontinuously.
  • FIG. 22 is a diagram for explaining a fifth example of the gesture for switching the selected candidate point.
  • candidate points PN, PO, and PP are detected according to the gesture of pointing at the index finger F.
  • the fifth example is an example in which a candidate point located near an intersection between operation directions is set as a candidate point being selected.
  • the user U performs pointing with the index finger F of one hand and pointing with the index finger F2 of the other hand.
  • the operation directions FD and FD2 corresponding to the respective pointing are detected.
  • the candidate point located at the intersection of the operation directions FD and FD2 or the candidate point closest to the intersection is set as the candidate point being selected.
  • the user U can switch the currently selected candidate point by changing the direction in which the index finger F2 is pointed.
  • FIG. 23 is a diagram for explaining a sixth example of the gesture for switching the selected candidate point.
  • candidate points PN, PO, and PP are detected according to the gesture of pointing at the index finger F.
  • the sixth example is an example in which the currently selected candidate point is switched in accordance with the line-of-sight direction of the user U.
  • the gaze direction of the user U is detected by, for example, the human recognition unit 202, and information indicating the detected gaze direction is included in the posture information.
  • the selection unit 204 switches the selected candidate point based on the gaze direction included in the posture information.
  • a candidate point PN exists on the side of the detected line of sight ED1.
  • the candidate point PN is set as the selected candidate point.
  • a new line-of-sight direction ED2 is detected based on a change in the posture of the user U.
  • a candidate point PO exists on the side of the detected line of sight ED2.
  • the selected candidate point switches from the candidate point PN to the candidate point PO.
  • the candidate point being selected may be switched according to the line-of-sight direction of the user U.
  • an eye movement that changes the line of sight direction is also included in one of the gestures. Also, by detecting a gesture that changes not only the gaze direction but also the direction of the head, the attention direction of the user U is identified, and the candidate point located in that direction is set as the candidate point being selected. Is also good.
  • one candidate point is determined as a determination point from the plurality of candidate points. For example, when a certain candidate point is being selected and a gesture different from the gesture for switching the selected candidate point is detected, the selected candidate point is determined as a decision point. When a certain candidate point is being selected, the selected candidate point may be determined as a decision point in response to a voice input such as “determine to”.
  • the decision point may be determined without a specific input. As in the example shown in FIG. 21, when a gesture indicating a number is detected with one hand, the candidate point being selected is designated, and the candidate point is determined as a decision point. good. In addition, when a certain candidate point is selected, if a gesture for switching the selected candidate point is not performed for a predetermined period (for example, about 10 seconds to 30 seconds), the selected candidate point is determined as a decision point. It may be determined.
  • a predetermined image (either a still image or a moving image) is projected and displayed at the location of the decision point.
  • the image is not limited to the projection, and a predetermined image may be displayed at the position of the decision point by AR or the like. It is also assumed that a three-dimensional map model is placed on the projection area 3a.
  • a commentary (for example, a commentary or description about the origin) corresponding to the location determined as the decision point may be reproduced.
  • ⁇ Only a specific location or person in a certain space may be specified. For example, in a press conference or a classroom, for example, even if the speaker points to a listener located behind, since there is also a listener in front, who is the listener pointed by the speaker? In some cases, the surroundings may not understand. If the technique according to the present embodiment is applied, when a speaker points, for example, a candidate point is set for each listener located in the operation direction. The speaker determines a decision point from the candidate points and highlights the decision point, so that the surroundings can recognize which listener has been designated by the speaker. In such a usage example, for example, candidate points are projected and displayed on the human body of the listener.
  • the fish model 75 is placed on the projection area 3a, and in this state, the pointing finger F of the user U is pointed.
  • candidate points PQ, PR, and PS are detected.
  • the candidate point PR corresponding to the inside of the model 75 is determined as a determination point.
  • image data that transmits the internal state of the model 75 is generated by the display control unit 205, and processing is performed such that an image based on the image data is projected and displayed on the surface of the model 75. May be.
  • processing for example, as shown in FIG.
  • the model 75 is not limited to a fish, and may be a human body, other animals, a building, or the like. By performing such transparent display, application of the present disclosure in education, medical care, and the like becomes possible.
  • step ST12 the human recognition unit 202 estimates the feature points of the human body.
  • the human recognition unit 202 generates posture information based on the feature points of the human body, and outputs the posture information to each of the candidate point detection unit 203 and the selection unit 204. Then, the process proceeds to step ST14.
  • step ST13 the environment recognition unit 201 recognizes the three-dimensional structure on the table 3, more specifically, the projection area 3a, and generates three-dimensional structure information.
  • the dimensional structure information is output to the candidate point detection unit 203. Then, the process proceeds to step ST14.
  • step ST14 the candidate point detection unit 203 performs a candidate point detection process of detecting the operation direction and detecting candidate points existing in the operation direction. Then, the process proceeds to step ST15.
  • step ST15 the candidate point detection unit 203 determines whether or not a candidate point has been detected.
  • no candidate point for example, when the pointing is not performed, the process returns to step ST11.
  • step ST15 when a candidate point is detected, the display control unit 205 controls to project and display the detected candidate point. Then, the detected candidate points are presented to the user U via the output unit 206. Then, the process proceeds to step ST16.
  • step ST16 it is determined whether or not a specific gesture by the user U has been detected. This determination processing is performed by, for example, the selection unit 204 based on the posture information.
  • the specific gesture is a gesture for switching the selected candidate point. If a specific gesture has been made, the process proceeds to step ST17.
  • step ST17 the selection unit 204 switches the selected candidate point according to the detected specific gesture. Then, the selection unit 204 outputs selection information indicating the selected candidate point to the display control unit 205. Then, the process proceeds to step ST18.
  • step ST18 the display control unit 205 performs a display control process. For example, based on the selection information, the display control unit 205 performs control so that the selected candidate point is emphasized compared to other candidate points. In accordance with such control, the selected candidate point is highlighted and presented to the user U via the output unit 206. Then, the process proceeds to step ST19.
  • step ST19 the selection unit 204 detects whether or not a determination input (for example, a gesture) for determining the selected candidate point as a determination point has been performed.
  • a determination input for example, a gesture
  • processing corresponding to the application is performed at a location near the decision point, and the processing ends. If no decision input has been made, the process returns to step ST16.
  • step ST16 when a specific gesture by the user U is not detected, the process proceeds to step ST20.
  • step ST20 the selection unit 204 determines whether or not there is a candidate point being selected in the previous frame of the image. Here, if there is a candidate point being selected in the previous frame, the process proceeds to step ST21.
  • step ST21 although no specific gesture has been made, since there is a candidate point being selected in the previous frame, the specific gesture was made before (for example, about several tens of frames before), and a certain candidate point was selected. It is possible. Therefore, in step ST21, the selection unit 204 does not switch the currently selected candidate point in the previous frame, in other words, generates selection information that holds the currently selected candidate point, and sends the generated selection information to the display control unit 205. Output. Then, the process proceeds to step ST18. In step ST18, a display control process for projecting and displaying the selected candidate point so as not to switch the selected candidate point, that is, to maintain a state in which a predetermined candidate point is currently presented as the selected candidate point, is performed by the display control unit. 205. Then, the process proceeds to step ST19, and the processes after step ST19 are performed. Since the processing after step ST19 has already been described, redundant description will be omitted.
  • step ST20 when there is no candidate point being selected in the previous frame, the process proceeds to step ST22.
  • the detected candidate point is the first stage (initial stage) presented to the user U, for example, the candidate point closest to the user U among the plurality of candidate points is the selected candidate point. It is said.
  • the process proceeds to step ST18, and the display control unit 205 performs a display control process of projecting and displaying the candidate point closest to the user U among the plurality of candidate points so as to be the selected candidate point.
  • step ST19 the processes after step ST19 are performed. Since the processing after step ST19 has already been described, redundant description will be omitted.
  • the candidate point currently selected and presented to the user U in the initial stage can be appropriately changed as to which candidate point among the plurality of candidate points.
  • the candidate point being selected may not be presented to the user U. Further, even when there is a candidate point being selected in the previous frame, if a large movement of the user U is detected, the selection regarding the candidate point may be canceled.
  • the direction in which the index finger F with the pointing finger is extended in a straight line is defined as the operation direction FD, but is not limited to this.
  • the operation direction FD may be a curve or a line obtained by combining a straight line and a curve.
  • the candidate point detection unit 203 may detect the operation direction FD according to the gesture of the user U.
  • FIGS. 27A and 27B are diagrams for explaining an example in which the operation direction FD according to the gesture of the user U is detected.
  • FIG. 27A is an overhead view of the projection area 3a as viewed from above
  • FIG. 27B is a side view of the projection area 3a as viewed from the side of the table 3.
  • FIG. 27A an example is assumed in which a columnar object 81, a quadrangular columnar object 82, and a triangular columnar object 83 are placed on the projection area 3a.
  • the operation direction FD10 is detected, and the intersection between the operation direction FD10 and the object surface is detected as a candidate point.
  • candidate points PT, PU, PV, PW, and PX are detected as candidate points as shown in FIG. 27A.
  • a parabolic operation direction FD11 is detected as shown in FIG. 27B.
  • the intersection between the operation direction FD11 and the surfaces of the objects 82 and 83 is detected as a candidate point.
  • the operation direction may be a parabolic trajectory.
  • the user U can set the operation direction by appropriately changing the direction of the index finger F, and detect a candidate point in an unintended location (in the example shown in FIG. 27, a candidate point located on the surface of the object 81). Can be prevented beforehand.
  • FIG. 28 is a diagram for explaining another example in which the operation direction FD according to the gesture of the user U is detected.
  • the operation direction FD extending from the index finger F is detected as a parabolic trajectory.
  • the curvature of the parabolic trajectory is changed according to the angle ⁇ 3 formed between the index finger F and the thumb F1.
  • the curvature increases as the angle ⁇ 3 increases.
  • the user U can prevent, for example, the user U from detecting a candidate point for an object located on the near side.
  • the operation direction FD may be reflected by an object such as a wall.
  • FIG. 29 is a diagram illustrating an example in which the operation direction FD is reflected by an object such as a wall.
  • a wall portion 90 is arranged on the side surface of the table 3, and a columnar object 91, a square columnar object 92, and a triangular columnar object 93 are placed on the projection area 3a. Suppose that it is.
  • the position of the wall 90 is recognized by the environment recognition unit 201.
  • the index finger F of the user U points at the wall 90, and the operation direction FD corresponding to the pointing is detected.
  • the operation direction FD intersects the surface of the wall 90 that is not the object on the table 3.
  • the candidate point detection unit 203 sets the operation direction FD to be reflected by the wall portion 90, and sets the candidate points located in the reflected operation direction FD (for example, the reflected operation direction FD and the object 92, 93).
  • the user can also reflect the operation direction FD, and it is possible to prevent the user U from detecting a candidate point regarding an object (for example, the object 91) located on the near side.
  • arrows 95B to 95E indicating positions corresponding to the candidate points PB to PE located at positions invisible to the user U are in the horizontal direction of the respective positions of the candidate points PB to PE. , And is projected and displayed at a position where the user U can see.
  • information indicating the position of the detected candidate point (for example, map information of a relatively small size in which the position of the candidate point is mapped together with the object on the projection area 3a) is projected and displayed near the user U. good.
  • the user U can know each position of the candidate point by looking at the information, and can use it as a reference when selecting the candidate point.
  • Such information may be displayed on an electronic device such as a smartphone owned by the user U, or may be projected and displayed on the ceiling.
  • the user U described in the above embodiment is generally assumed to be a person, but may be a robot.
  • the object to be projected and displayed may be a resin product, pottery, a light-transmitting member such as glass, air, or the like.
  • the size of the projection area can be changed as appropriate, and an appropriate number of information processing devices may be used according to the size of the projection area and the like.
  • the projection area is not limited to the surface of the table but may be a floor or the like. Further, the operation direction may be detected based on an act of pointing with a pen or the like instead of pointing.
  • the present disclosure can also be realized by an apparatus, a method, a program, a system, and the like.
  • a program that performs the function described in the above-described embodiment can be downloaded, and a device that does not have the function described in the embodiment downloads and installs the program, thereby explaining the program in the embodiment. Control can be performed.
  • the present disclosure can also be realized by a server that distributes such a program. Further, the technical items and the items described in the modified examples in the embodiments can be appropriately combined.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

検出された操作方向に位置する少なくとも２以上の候補点を検出し、前記２以上の候補点から所定の候補点を選択するようにスイッチさせ、少なくとも選択された候補点を表示する制御部を有する情報処理装置である。

Description

情報処理装置、情報処理方法及びプログラム
　本開示は、情報処理装置、情報処理方法及びプログラムに関する。
　従来から、ユーザが指示した箇所を表示する装置が提案されている（例えば、下記特許文献１を参照のこと）。
特許第５６１４０１４号公報
　特許文献１に記載の装置では、ユーザの指示方向に位置する物体の表面が、ユーザが指示した箇所とされている。従って、ユーザが指し示したい箇所が限定されてしまうと共に、指示点の位置と実際の表示位置との間に齟齬が生じる虞がある。
　本開示は、ユーザの操作方向に位置する、ユーザが指し示したい箇所の候補（以下、候補点と適宜、称する）を提示可能とした情報処理装置、情報処理方法及びプログラムを提供することを目的の一つとする。
　本開示は、例えば、
　検出された操作方向に位置する少なくとも２以上の候補点を検出し、２以上の候補点から所定の候補点を選択するようにスイッチさせ、少なくとも選択された候補点を表示する制御部を有する
　情報処理装置である。
　また、本開示は、例えば、
　制御部が、検出された操作方向に位置する少なくとも２以上の候補点を検出し、２以上の候補点から所定の候補点を選択するようにスイッチさせ、少なくとも選択された候補点を表示する
　情報処理方法である。
　また、本開示は、例えば、
　制御部が、検出された操作方向に位置する少なくとも２以上の候補点を検出し、２以上の候補点から所定の候補点を選択するようにスイッチさせ、少なくとも選択された候補点を表示する
　情報処理方法をコンピュータに実行させるプログラムである。
　本開示の少なくとも一つの実施の形態によれば、ユーザの操作方向に位置する候補点を提示することができる。ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれの効果であっても良い。また、例示された効果により本開示の内容が限定して解釈されるものではない。
図１は、一実施の形態に係るプロジェクションマッピングシステムの構成例を示す図である。 図２Ａ及び図２Ｂは、一実施の形態において考慮すべき問題を説明するための図である。 図３は、一実施の形態において考慮すべき問題を説明するための図である。 図４は、一実施の形態に係る情報処理装置の構成例を示すブロック図である。 図５Ａ及び図５Ｂは、手の特徴点の一例を説明するための図である。 図６Ａ～図６Ｄは、体の特徴点の一例を説明するための図である。 図７は、候補点の表示に関する第１の例を説明するための図である。 図８Ａ及び図８Ｂは、候補点の表示に関する第２の例を説明するための図である。 図９Ａ及び図９Ｂは、候補点の表示に関する第２の例を説明するための図である。 図１０Ａ及び図１０Ｂは、候補点の第１の検出例を説明するための図である。 図１１Ａ及び図１１Ｂは、候補点の第２の検出例を説明するための図である。 図１２Ａ及び図１２Ｂは、候補点の第３の検出例を説明するための図である。 図１３Ａ～図１３Ｃは、候補点に関する設定例を説明するための図である。 図１４は、候補点検出部に領域情報が入力されることを説明するための図である。 図１５は、選択中の候補点の表示例を説明するための図である。 図１６は、選択中の候補点をスイッチさせるジェスチャの第１の例を説明するための図である。 図１７は、選択中の候補点をスイッチさせるジェスチャの第２の例を説明するための図である。 図１８は、選択中の候補点をスイッチさせるジェスチャの第３の例を説明するための図である。 図１９は、選択中の候補点をスイッチさせるジェスチャの第３の例の変形例を説明するための図である。 図２０は、選択中の候補点をスイッチさせるジェスチャの第３の例の変形例を説明するための図である。 図２１は、選択中の候補点をスイッチさせるジェスチャの第４の例を説明するための図である。 図２２は、選択中の候補点をスイッチさせるジェスチャの第５の例を説明するための図である。 図２３は、選択中の候補点をスイッチさせるジェスチャの第６の例を説明するための図である。 図２４は、物体内部の候補点が決定点として決定された場合の処理例を説明するための図である。 図２５は、物体内部の候補点が決定点として決定された場合の処理例を説明するための図である。 図２６は、一実施の形態に係る情報処理装置において行われる処理の流れを示すフローチャートである。 図２７Ａ及び図２７Ｂは、ユーザのジェスチャに応じた操作方向が検出される例を説明するための図である。 図２８は、ユーザのジェスチャに応じた操作方向が検出される他の例を説明するための図である。 図２９は、操作方向が壁等の物体により反射される例を説明するための図である。 図３０は、ユーザから見えない候補点の存在や位置を報知する投影表示の一例を説明するための図である。
　以下、本開示の実施の形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜一実施の形態＞
＜変形例＞
　以下に説明する実施の形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施の形態等に限定されるものではない。
＜一実施の形態＞
［一実施の形態の概要］
　始めに、一実施の形態の概要について説明する。本実施の形態は、所定の物体に種々の情報を投影表示（プロジェクション）する、所謂、プロジェクションマッピングシステムにより実現される。図１は、一実施の形態に係るプロジェクションマッピングシステム（プロジェクションマッピングシステム１）の構成例を示す図である。
　プロジェクションマッピングシステム１は、プロジェクションマッピングに係る投影表示を制御する情報処理装置２と、テーブル３とを有している。情報処理装置２による制御に応じて、テーブル３の表面における所定の投影エリア３ａに、所定の情報が投影表示される。例えば、ユーザ（操作者）の人差し指Ｆが指し示す操作方向とテーブル３の表面との交点が、指示点Ｐ１として投影エリア３ａに表示される。
　なお、図１では、テーブル３の上方に情報処理装置２が配置された構成が示されているが、これに限定されるものではない。例えば、テーブル３の４つのコーナー付近に、４つの情報処理装置２が配置された構成であっても良い。即ち、投影エリア３ａに所定の情報が表示できるのであれば、情報処理装置２の個数、配置は、適宜なものとすることができる。また、詳細は後述するが、投影エリア３ａは、テーブル３の表面に限定されるものではない。例えば、テーブル３上に置かれた物体の表面に投影表示がなされても良い。
［一実施の形態において考慮すべき問題］
　ここで、一実施の形態の理解を容易とするために、一実施の形態において考慮すべき問題について説明する。図２Ａは、投影エリア３ａを上方から見た俯瞰図であり、図２Ｂは、投影エリア３ａをテーブル３の側面から見た側面図である。図２Ａに示すように、投影エリア３ａ上に、円柱状の物体４ａ、四角柱状の物体４ｂ及び三角柱状の物体４ｃが並んで置かれている場合を想定する。そして、ユーザの人差し指Ｆを用いた指差しにより所定の方向が示され、その方向を延長した方向である操作方向ＦＤに物体４ａ、物体４ｂ及び物体４ｃが順次、存在している例を想定する。
　係る例の場合、図２Ｂに示すように、操作方向ＦＤと各物体の表面との交点として、交点Ｐａ、交点Ｐｂ及び交点Ｐｃが存在する。なお、操作方向ＦＤの方向によっては、操作方向ＦＤとテーブル３の表面との交点も存在し得る。一般的な技術では、操作方向ＦＤに対する最初の交点である交点Ｐａが、ユーザが指し示したい箇所として設定されていた。しかしながら、交点Ｐｂ、交点Ｐｃ若しくはその他の箇所が、ユーザが指し示したい箇所である場合もあり得る。このように、操作方向ＦＤ上に物体が存在する場合には、当該物体による遮蔽やユーザの視点の違い等により、ある特定の箇所をユーザＵが指し示したい箇所とすることが困難となる問題がある。
　また、図３に示すように、投影エリア３ａ上に、ユーザの手前側から見て物体４ｄ及び物体４ｅが順次、配置されている例を考える。この場合、候補点として候補点Ｐｄ、候補点Ｐｅ及び候補点Ｐｆが検出されたとする。係る例において、ユーザの手前側に配置された物体４ｄが比較的大きな物体の場合、即ち、物体４ｄにより遮蔽され物体４ｄの裏側をユーザが見ることができない場合には、物体４ｄより奥側にある候補点Ｐｅ、Ｐｆを認識できないという問題がある。以上説明した点を考慮しつつ、本実施の形態について、詳細に説明する。
［情報処理装置の構成例］
　図４は、一実施の形態に係る情報処理装置２の構成例を示すブロック図である。情報処理装置２は、例えば、入力部２００、環境認識部２０１、人認識部２０２、候補点検出部２０３、選択部２０４、表示制御部２０５及び出力部２０６を有している。
　入力部２００は、テーブル３のテーブル面やテーブル３上の物体の状態を検出する装置や、ユーザ操作などを受け付ける入力装置等を総称したものである。入力部２００としては、例えば、画像センサを有する装置が挙げられ、より具体的には例としては、ＲＧＢ（Red/Green/Blue）カメラを挙げられる。また、入力部２００は、測距センサでも良く、係る測距センサとしてはステレオカメラ、ＴｏＦ(Time of Flight)カメラ、Structured lightカメラを挙げることができる。これら例示した以外のセンサが入力部２００として適用されても良い。
　環境認識部２０１は、入力部２００から入力される入力情報を受け付け、テーブル３とテーブル３上の物体の３次元構造情報を推定する。例えば、入力部２００に測距センサが含まれる場合には、当該測距センサから得た３次元点群に既知の３Ｄモデルを当てはめたり、局所的な点群に平面を当てはめて再構成することにより、３次元構造情報を推定する。勿論、３次元構造情報を推定する方法として、他の方法が適用されても良い。環境認識部２０１により取得された３次元構造情報が、候補点検出部２０３に供給される。
　人認識部２０２は、入力部２００から入力される入力情報を受け付け、ユーザの姿勢情報を推定する。ユーザの姿勢情報には、少なくとも手（指を含む）に関する情報が含まれる。ユーザの姿勢情報を推定する方法としては、例えば、手や体の関節などの特徴点の集合で表し、Neural Networkでそれらの位置を推定する方法が挙げられる。勿論、ユーザの姿勢情報を推定する方法として、他の方法が適用されても良い。なお、手の特徴点としては、図５Ａ及び図５Ｂに白丸で示した箇所のように、指先、指の関節、指の付け根、手の平の中央、手首等を挙げることができる。指の特徴点は、個々の点ではなく、指のベクトルと指先位置とを組み合わせたものであっても良い。また、体の特徴点としては、図６Ａ～図６Ｄに示した黒丸の箇所のように、体の主な関節等を挙げることができる。人認識部２０２により取得されたユーザの姿勢情報が候補点検出部２０３及び選択部２０４のそれぞれに供給される。
　候補点検出部２０３は、人認識部２０２から供給される姿勢情報と、環境認識部２０１から供給される３次元構造情報とを受け付け、これらの情報に基づいて、指差しがなされた方向である操作方向に位置する候補点を検出する。例えば、人差し指の指先位置（例えば、図５Ａにおける７番に対応する指先位置）と、人差し指の指関節の位置（例えば、図５Ａにおける８番に対応する指関節の位置）とを通る直線（指差し線）を延長したものを操作方向として規定する。
　一例として、操作方向と、３次元構造情報により推定された物体表面（例えば、テーブル３の表面やテーブル３に置かれた物の表面）との交点が候補点として検出される。なお、候補点検出部２０３により検出される候補点は１個の候補点である場合もあれば、複数の候補点からなる候補点群となる場合もある。候補点検出部２０３により検出された候補点に関する候補点情報は、選択部２０４及び表示制御部２０５のそれぞれに供給される。
　なお、例えば指差し線は直線でなくても良い。また、候補点として物体表面との交点だけでなく、表面と表面の間の点であっても良い。更に、検出する候補点を事前に設定された条件や領域で絞り込んでも良い。これらについての詳細は、後述する。
　選択部２０４は、候補点検出部２０３から供給される候補点情報と、人認識部２０２から供給される姿勢情報を受け付け、複数の候補点うち、選択が決定された決定点を特定する。なお、候補点、決定点とは、所定の位置に対応する領域であり、必ずしも点状の領域に限られるものではない。本実施の形態では、候補点検出部２０３により検出された候補点が複数、存在する場合に、ユーザのジェスチャに応じて選択中の候補点がスイッチされるようにしている。例えば、選択部２０４は、姿勢情報に基づいて所定のジェスチャの有無を検出する。そして、所定のジェスチャが検出された場合に、選択部２０４は、選択中の候補点をスイッチする（切り替える）。選択中の候補点は、選択を決定するためのジェスチャや選択中である時間の経過等に応じて選択が決定され、決定点として特定される。なお、候補点が１点である場合は、候補点のスイッチは行われない。選択部２０４が動作することで得られる選択情報が、表示制御部２０５に供給される。
　表示制御部２０５は、主に投影表示に係る制御を行う。例えば、表示制御部２０５は、候補点検出部２０３から供給される候補点情報に基づいて、テーブル３の表面やテーブル３上の物体に対して、候補点を投影表示するための制御を行う。また、表示制御部２０５は、選択部２０４から入力される選択情報に基づいて、選択中の候補点をスイッチさせる表示に関する制御を行う。
　出力部２０６は、表示制御部２０５による制御に応じた情報を出力する装置である。出力部２０６は、例えば、プロジェクタやＨＵＤ(Head Up Display)である。なお、プロジェクタ以外の装置（例えば、ディスプレイやスピーカ）が出力部２０６に含まれても良い。
　本実施の形態では、一例として、候補点検出部２０３、選択部２０４及び表示制御部２０５によって、制御部が構成される。
［情報処理装置の動作例］
　情報処理装置２の動作例について概略的に説明する。入力部２００から入力される入力情報に基づいて、環境認識部２０１が３次元構造情報を取得する。また、入力部２００から入力される入力情報に基づいて、人認識部２０２がユーザの姿勢情報を取得する。候補点検出部２０３は、姿勢情報に基づいて操作方向を検出する。そして、候補点検出部２０３は、当該操作方向に位置する候補点を検出する。検出された候補点に関する候補点情報が表示制御部２０５に供給される。表示制御部２０５は、候補点情報に基づいて、候補点の投影表示に係る制御を行う。表示制御部２０５による制御に応じて出力部２０６が動作し、これにより候補点がユーザに提示される。
　選択部２０４は、姿勢情報に基づいて所定のジェスチャがなされたか否かを検出する。当該ジェスチャがなされた場合は、選択情報を表示制御部２０５に対して出力する。表示制御部２０５は、選択情報に基づいて、選択中の候補点をスイッチさせる投影表示が行われるように出力部２０６を制御する。例えば、表示制御部２０５は、選択中の候補点がスイッチされるような表示データを生成し、当該表示データに基づく投影表示が行われるように出力部２０６を制御する。表示制御部２０５による制御に応じて出力部２０６が動作し、これにより選択中の候補点がスイッチする態様がユーザに提示される。少なくとも、選択中の候補点がプロジェクションによる投影表示によりユーザに提示される。
　なお、選択部２０４は、姿勢情報に基づいて、選択中の候補点を決定点として決定するジェスチャがなされたか否かを検出する。当該ジェスチャがなされた場合には、その旨を示す決定情報を出力する。決定情報に基づいてアプリケーションに応じた処理が行われる。例えば、決定点の箇所に花火等の所定の情報が投影表示される処理や、決定点の箇所から音声等が再生される処理が行われる。選択部２０４から出力される決定情報は、上述した処理を実行する構成に対して供給される。当該構成が情報処理装置２に含まれていても良い。
［候補点の提示の具体例］
（第１の例）
　次に、候補点の提示に関する具体例について説明する。図７は、候補点の提示に関する第１の例を説明するための図である。図７に示すように、テーブル３の投影エリア３ａ上に、箱状の物体３１Ａ、３１Ｂが、一定の距離を隔てて並んで置かれている例を想定する。ユーザＵは、テーブル３のコーナー付近（図７における左下のコーナー付近）に存在している。ユーザＵからは、物体３１Ａ、３１Ｂの順に、それぞれの物体が配置されているように見える。なお、本例では、物体３１Ａ、３１Ｂが比較的小さな物体であり、ユーザＵが投影エリア３ａ全体を見渡せるような環境を想定している。
　ユーザＵの人差し指Ｆによる指差しがなされると、指差しにより指し示された方向である操作方向ＦＤが情報処理装置２によって検出される。なお、本実施の形態では、操作方向ＦＤは、実際には見えない線として説明するがホログラム等により視認可能としても良い。
　そして、情報処理装置２により、操作方向ＦＤに位置する候補点が検出される。図７に示す例では、操作方向ＦＤと物体３１Ａの表面（ユーザＵ側の表面）との交点、操作方向ＦＤと物体３１Ｂの表面（ユーザＵ側の表面）との交点及び操作方向ＦＤと投影エリア３ａ（テーブル３の表面）との交点が候補点ＰＡ、ＰＢ及びＰＣとして検出される。検出された候補点ＰＡ、ＰＢ及びＰＣが情報処理装置２の処理により投影表示される。情報処理装置２は、物体３１Ａの表面の対応する位置に候補点ＰＡを投影表示する。情報処理装置２は、物体３１Ｂの表面の対応する位置に候補点ＰＢを投影表示する。情報処理装置２は、投影エリア３ａの対応する位置に候補点ＰＣを投影表示する。
　上述したように、一般的な技術では、操作方向ＦＤに物体３１Ａのような遮蔽物がある場合に、候補点ＰＡが指示点であると認識され各種の処理が行われてしまう。このため、候補点ＰＢ、ＰＣのような、ユーザＵの操作位置から指示できない少なくとも一つの箇所、より具体的には、遮蔽物である物体３１Ａの裏側に位置する候補点を指し示すことができないという問題があった。しかしながら、本実施の形態では、候補点ＰＢ、ＰＣも表示しており選択可能としている。従って、ユーザＵは、指し示したい箇所が候補点ＰＢや候補点ＰＣである場合は、候補点ＰＢ若しくは候補点ＰＣを選択すれば良い。勿論、ユーザＵは、指し示したい箇所が候補点ＰＡである場合は、候補点ＰＡを選択すれば良い。これにより、ユーザＵは、物体３１Ａにより遮蔽される箇所も指し示す箇所として選択することが可能となる。なお、ユーザＵの操作位置から指示できない箇所の他の例としては、操作方向ＦＤに位置する遮蔽物の中を挙げることができる。
　そして、少なくとも選択された候補点である決定点が投影表示される。これにより、投影エリア３ａの周囲にいる他のユーザ（不図示）は、指示点がどの箇所であるかを認識することができる。
（第２の例）
　候補点の提示に関する第２の例について、図８及び図９を参照して説明する。図８Ａに示すように、投影エリア３ａに物体４１Ａ及び物体４１Ｂが一定の距離を隔てて並んで配置される例を想定する。ユーザＵは、テーブル３のコーナー付近（図８Ａにおける左下のコーナー付近）から指差しを行う。なお、本例では、物体４１Ａが比較的大きな物体であって、ユーザＵが物体４１Ａの裏側を視認することができない、若しくは困難である場合を想定する。なお、図８Ｂに示すように、物体４１Ｂの表面（ユーザＵ側の表面）には、猫の顔を模した模様Ｍ１が描かれている。
　図９Ａは、図８Ａに示した配置を上方から見た俯瞰図である。ユーザＵ側から見て、投影エリア３ａ上における物体４１Ｂの奥側には、黒猫を模した模様Ｍ２が描かれている。ユーザＵの人差し指Ｆによる指差しがなされると、指差しにより指し示された方向である操作方向ＦＤが情報処理装置２によって検出される。そして、情報処理装置２により、操作方向ＦＤに位置する候補点が検出される。
　図９Ａに示す例では、操作方向ＦＤと物体４１Ａの両面（表面及び裏面）との交点が候補点ＰＡ、ＰＢとして検出される。また、操作方向ＦＤと物体４１Ｂの両面（表面及び裏面）との交点が候補点ＰＣ、ＰＤとして検出される。操作方向ＦＤと投影エリア３ａとの交点が候補点ＰＥとして検出される。検出された候補点が、情報処理装置２の処理により投影表示される。しかしながら、各候補点を各位置に単純に投影表示するだけでは、ユーザＵは、候補点ＰＡしか認識することができないという問題がある。即ち、候補点ＰＢは物体４１Ａの裏側にあることから物体４１Ａに遮蔽され、ユーザＵは候補点ＰＢを認識することができない。候補点ＰＣ～候補点ＰＥに関しても同様である。
　そこで、表示制御部２０５は、物体４１Ａの裏側に存在する候補点ＰＢ～ＰＥをユーザＵが認識できるような画像データを生成する。そして、表示制御部２０５は、当該画像データが、例えばユーザＵが視認可能な物体４１Ａの表面に投影表示されるように、出力部２０６を制御する。係る処理により、図９Ｂに示すように、物体４１Ａの表面に、候補点ＰＡ～ＰＥが投影表示される。これにより、ユーザＵは、実際には見ることができない候補点ＰＢ～ＰＥを認識することができる。そして、ユーザＵは、後述するようにして候補点ＰＡ～ＰＥを適宜選択し、決定点を決定することが可能となる。
　なお、図９Ｂに示すように、候補点間の位置関係（例えば、奥行き）をユーザＵが認識できるように、手前側の候補点を大きく表示し、後側の候補点を小さく表示するようにしても良い。また、手前側の候補点の表示を濃くし、後側の候補点の表示を薄くしても良い。また、操作方向ＦＤを投影エリア３ａに投影したラインＬ１や各候補点からラインＬ１に対して引かれた垂線（図９Ｂにおける垂線Ｌ２、Ｌ３等）を投影表示しても良い。
　また、図９Ｂに示すように、物体４１Ａに遮蔽され、ユーザＵが視認することができない模様である模様Ｍ１や模様Ｍ２を候補点ＰＡ等に併せて物体４１Ａの表面に投影表示しても良い。係る投影表示により、ユーザＵが候補点を適切に選択することができる。例えば、ユーザＵが投影エリア３ａに黒猫を模した模様Ｍ２が描かれていることを予め認識しており、模様Ｍ２の近傍を指し示したい場合を想定する。このような場合に、模様Ｍ２が候補点ＰＡ等と併せて投影表示されることにより、ユーザＵは、模様Ｍ２の近傍にある候補点ＰＥを選択すれば良いことを認識することができる。
　なお、上述した提示例はあくまで一例であってこれに限定されるものではない。情報処理装置２の処理により、後述する候補点の検出例に基づいて検出された候補点が、ユーザが認識できるような態様で投影表示により提示される。
［候補点の検出例］
　次に、候補点検出部２０３により行われる候補点の検出処理において、候補点検出部２０３がどの箇所を候補点として検出するかについての例について説明する。
（第１の例）
　図１０Ａ及び図１０Ｂは、候補点の第１の検出例を説明するための図である。図１０Ａはテーブル３の上方から見た俯瞰図であり、図１０Ｂは、テーブル３の側面から見た側面図である。例えば、投影エリア３ａ上に円筒状の物体５１が置かれている状態を想定する。なお、物体５１の配置位置や３次元構造情報については、環境認識部２０１により認識される。そして、ユーザＵの人差し指Ｆにより指差しがなされる。また、候補点検出部２０３は、７番に対応する指先位置と、８番に対応する指関節の位置（図５参照）とを通る直線（指差し線）を延長した方向を操作方向ＦＤとして検出する。
　第１の例は、候補点検出部２０３が、操作方向ＦＤと物体の表面との交点を候補点として検出する例である。図１０Ａ及び図１０Ｂに示すように、操作方向ＦＤと物体５１Ａとの交点が候補点ＰＡ、ＰＢとして検出され、操作方向ＦＤと投影エリア３ａ（テーブル３の表面）との交点が候補点ＰＣとして検出される。
（第２の例）
　図１１Ａ及び図１１Ｂは、候補点の第２の検出例を説明するための図である。第２の例は、第１の例に対して、更に、物体内部の所定箇所を候補点として検出する例である。図１１Ａ及び図１１Ｂに示すように、第１の例で説明した候補点ＰＡ、ＰＢ及びＰＣが候補点として検出される。更に、物体５１内部の所定箇所が候補点ＰＤ、ＰＥとして検出される。例えば、物体５１の表面に存在する候補点ＰＡと候補点ＰＢとの間をＮ分割（図示の例では３分割）し、分割する箇所を候補点ＰＤ、ＰＥとして検出する。このように、物体５１の内部の所定箇所が候補点として検出されるようにしても良い。なお、等分割とは異なる分割方法によって候補点ＰＤ、ＰＥを検出するようにしても良い。
　なお、物体５１は、例えば実物体（中身が空洞でない実物体）である。従って、候補点ＰＤ、ＰＥをそのままユーザＵに対して提示することができない。係る場合は、図９を参照して説明したように、表示制御部２０５が、物体５１の内部に候補点ＰＤ、ＰＥが存在するような画像データを生成し、当該画像データに基づく画像を物体５１の表面に投影表示する。例えば、候補点ＰＤ、ＰＥの表示の濃さが他の候補点の表示の濃さより薄くなるような画像データを生成し、当該画像データに基づく画像を物体５１の表面に投影表示する。候補点ＰＤ、ＰＥに対応するマークを点線の丸印等により示しても良い。これにより、ユーザＵは、選択可能な物体５１内部の候補点である候補点ＰＤ、ＰＥの存在を認識することができる。
　なお、詳細は後述するが、物体５１の内部の候補点が決定点として決定された場合には、例えば、物体５１の内部が透けて見えるような画像データが表示制御部２０５により生成され、当該画像データに基づく画像が物体５１の表面に投影表示されるようにしても良い。ユーザＵは、物体５１の内部の構造や状態を知りたい場合には、物体５１の内部における候補点ＰＤ、ＰＥを決定点として決定すれば良い。
（第３の例）
　図１２Ａ及び図１２Ｂは、候補点の第３の検出例を説明するための図である。例えば、投影エリア３ａ上に、四角柱状の物体５２と、内側に空洞部５３Ａを有するコップ状の形状をした物体５３が置かれている例を想定する。物体５２の横方向からユーザＵによる指差しがなされる。
　第１の例と同様にして操作方向ＦＤが検出される。第３の例は、操作方向ＦＤにおける物体の表面間における所定箇所を候補点として検出する例である。例えば、人差し指Ｆの指先と物体５２の面（ユーザＵ側に位置する面）との間の中央付近が候補点ＰＦとして検出される。また、物体５２と物体５３との間の中央付近が候補点ＰＧとして検出される。また、物体５３の内周面間の中央付近が候補点ＰＨとして検出される。また、物体５３とテーブル３との間の中央付近が候補点ＰＩとして検出される。このように、物体間の所定箇所が候補点として検出されるようにしても良い。なお、物体間の中央付近以外の箇所が候補点として検出されるようにしても良い。
　なお、候補点ＰＦ等に対応する物体間の箇所は、画像を投影表示する物体が存在しない。従って、本例のようにして候補点が検出される場合は、ＡＲ(Augmented Reality)、ＶＲ(Virtual Reality)等により、候補点に対応する箇所への表示がなされる。例えば、候補点ＰＧが決定点として選択された場合には、物体５２と物体５３との間にＡＲ等を応用した所定の表示（例えば、キャラクターの表示）がなされる。また、候補点ＰＨが決定点として選択された場合には、コップ状の物体５３の内部に飲み物が注がれたりする等の表示がＡＲ等によりなされる。
　上述した第３の例において、第１の例と同様に、操作方向ＦＤと物体の表面との交点が候補点として検出されるようにしても良い。また、上述した第３の例において、第２の例と同様に、物体の内部の所定箇所が候補点として検出されるようにしても良い。
　以上、候補点の検出例について説明した。検出された個々の候補点に対応する位置に、候補点を示す点状のマーク等が物体表面に投影表示される。
［候補点に関する設定］
　候補点の検出例については、上述した。本実施の形態では、候補点検出部２０３により検出される候補点に対して所定の検出ルールを設定することが可能とされる。所定の検出ルールは、候補点が検出されるエリアや位置に関する設定である。なお、以下では、主に候補点が検出される検出エリアに関する設定について説明するが、候補点の投影表示に関する設定（例えば、候補点を投影表示する際の色や大きさ）が可能とされても良い。
　検出ルールは、例えば、次のようなものである。
・ユーザＵから見て物体の裏面に位置する候補点は除外するルール。
・上述した第１～第３の例の中の何れのパターンで候補点を検出するかを示すルール。
（なお、パターンの切り替えは、ジェスチャ等でなされても良い。）
・アプリケーションで、選択のアクションが未定義なら候補点から除外するルール。
　候補点に関する設定は、ジェスチャによる入力、リモートコントロール装置やボタン等の入力装置に対する入力、音声入力等の適宜な方法によって行われる。
　候補点が検出されるエリアをユーザＵが具体的に設定できるようにしても良い。図１３Ａ～図１３Ｃは、候補点に関する設定例を説明するための図であり、何れも投影エリア３ａの上方から見た俯瞰図である。
　例えば、図１３Ａに示すように、投影エリア３ａ上に、円柱状の物体６１、四角柱状の物体６２及び三角柱状の物体６３が置かれている例を想定する。各物体の配置位置や３次元形状は、環境認識部２０１により３次元構造情報として取得される。
　ここで、図面に向かって左側（物体６１側）からユーザＵが投影エリア３ａを人差し指Ｆで指さす操作がなされた場合を考える。人差し指Ｆの操作方向ＦＤと投影エリア３ａの表面との交点がポインタＰ５として、情報処理装置２により投影表示される。そして、図１３Ｂに示すように、ユーザＵにより人差し指Ｆを回す操作がなされる。係る操作に応じてポインタＰ５の位置が変化し、ポインタＰ５の移動に伴う軌跡が投影エリア３ａ上に投影表示される。図１３Ｂに示すように、例えば、物体６１及び物体６２を囲むような軌跡６５が投影表示される。軌跡６５で区画されるエリアＡＲ１が、候補点検出部２０３により候補点が検出されるエリアとして設定される。
　候補点の検出例に関して第１の例が適用された場合には、図１３Ｃに示すように、エリアＡＲ１内に位置する候補点ＰＪ、ＰＫ、ＰＬ及びＰＭが検出される。なお、後述する候補点のスイッチは、検出された４個の候補点内で行われる。
　なお、設定されたエリアＡＲ１を示す情報は、図１４に示すように、領域情報として候補点検出部２０３に入力される。候補点検出部２０３は、領域情報に基づいて、候補点を検出するエリアを適宜、限定する。領域情報は、例えば、カメラにより得られた画像等に基づいて環境認識部２０１により生成される。領域情報は、例えば、投影エリア３ａのＸ－Ｙ座標により規定されるが、他の内容によって規定されても良い。
　候補点の検出ルールは、ユーザによる設定だけでなく、候補点検出部２０３が予め有していても良い。例えば、投影表示が不可能な位置の候補点は除外するというルール等を候補点検出部２０３が有していても良い。
　候補点に関する設定、より具体的には、候補点を検出するエリアに関する設定や、検出された候補点の中から候補点を除外する設定を可能とすることで、例えば、多くの候補点がユーザＵに提示されてしまうことによる不都合を回避することができる。例えば、多くの候補点が投影表示されてしまうことによる見づらさや、決定点を決める際に候補点をスイッチさせる回数が多くなってしまうという煩わしさを回避することができる。
［候補点の選択について］
　上述したように、検出された候補点が適宜、投影表示される。複数の候補点が存在する場合には所定の候補点が選択され、当該選択された候補点に対応する位置がユーザＵが指し示したい箇所であれば、当該候補点が決定点として決定される。なお、少なくとも選択中の候補点が投影表示される。本実施の形態では、選択された候補点が他の候補点と共に投影表示されるようにしている。
　本実施の形態の形態では、複数の候補点が存在する場合に、ユーザＵによる所定のジェスチャに応じて、選択中の候補点がスイッチされる。具体的には、選択部２０４は、所定のジェスチャ等を姿勢情報に基づいて検出し、当該ジェスチャがなされた場合に選択中の候補点をスイッチする。選択中の候補点を示す選択情報が、表示制御部２０５に供給される。表示制御部２０５は、選択情報に基づいて、選択中の候補点をスイッチさせる提示に関する制御を行う。
（選択中の候補点の提示について）
　図１５は、選択中の候補点の表示例を説明するための図である。図１５に示すように、投影エリア３ａ上に箱状の物体７１、７２が置かれている例を想定する。物体７１は、物体７２よりも大きい物体である。物体７１の手前側から、ユーザＵによる人差し指Ｆを用いた指差し操作がなされ、当該操作に基づく操作方向ＦＤが検出される。操作方向ＦＤに位置する候補点が検出される。本例では、上述した候補点の検出例（第１の例）に従って候補点ＰＮ、ＰＯ、ＰＰが検出される。各候補点は、ユーザＵが視認可能であるものとする。
　図１５は、選択中の候補点が候補点ＰＮである例を示している。このように、選択中の候補点ＰＮが他の候補点ＰＯ、ＰＰよりも強調して提示される。例えば、候補点ＰＮが他の候補点よりも明るくされたり、光るようにされたり、表示色が濃くされたり、表示色が鮮やかにされたり、候補点を示すアイコン（本例では丸印）が大きくされたり、候補点を示すアイコンが点滅されたりする。なお、選択中の候補点が例えば候補点ＰＮから候補点ＰＯにスイッチされた場合には、候補点ＰＯが強調して提示される。
（選択中の候補点のスイッチについて）
　次に、選択中の候補点をスイッチさせるジェスチャの例について説明する。図１６は、選択中の候補点をスイッチさせるジェスチャの第１の例を説明するための図である。第１の例では、人差し指Ｆによる指差しがなされた状態で、親指Ｆ１をクリックするジェスチャが検出された場合に、選択中の候補点がスイッチされる。親指Ｆ１をクリックするジェスチャとは、人差し指Ｆと親指Ｆ１との間隔が拡げられた状態から１回狭めるように親指Ｆ１を動かし、その後親指Ｆ１を元の位置に戻すジェスチャである。
　図１６に示すように、候補点として候補点ＰＮ、ＰＯ及びＰＰが検出される。なお、初期状態（検出された候補点が提示される最初の状態）では、例えば、ユーザＵに最も近い候補点ＰＮが選択中の候補点として設定される。勿論、候補点ＰＯや候補点ＰＰが、初期状態における選択中の候補点であっても構わない。
　例えば、親指Ｆ１をクリックするジェスチャ（１クリック目）がなされると、選択中の候補点が候補点ＰＮから候補点ＰＯにスイッチする。更に、親指Ｆ１をクリックするジェスチャ（２クリック目）がなされると、選択中の候補点が候補点ＰＯから候補点ＰＰにスイッチする。更に、親指Ｆ１をクリックするジェスチャ（３クリック目）がなされると、選択中の候補点が候補点ＰＰから候補点ＰＮに戻るようにスイッチする。
　図１７は、選択中の候補点をスイッチさせるジェスチャの第２の例を説明するための図である。上述した例と同様に、人差し指Ｆを指さすジェスチャに応じて、候補点ＰＮ、ＰＯ及びＰＰが検出される。初期状態では、例えば、ユーザＵに最も近い候補点ＰＮが選択中の候補点として設定される。
　ここで、例えば、手をひねるジェスチャがなされたとする。係るジェスチャを検出した選択部２０４は、選択中の候補点をスイッチさせるスイッチモードにモードが遷移したと判別し、選択中の候補点をスイッチする処理を行う。この状態で、例えば、人差し指Ｆを曲げるジェスチャがなされる。当該ジェスチャに応じて、選択中の候補点がスイッチされる。例えば、初期状態において、１回人差し指Ｆを曲げるジェスチャがなされると、選択中の候補点が候補点ＰＮから候補点ＰＯにスイッチする。更に１回、人差し指Ｆを曲げるジェスチャがなされると、選択中の候補点が候補点ＰＯから候補点ＰＰにスイッチする。更に１回、人差し指Ｆを曲げるジェスチャがなされると、選択中の候補点が候補点ＰＰから候補点ＰＮに戻るようにスイッチする。このように、第１の例及び第２の例では、選択中の候補点が連続的にスイッチされる。
　図１８は、選択中の候補点をスイッチさせるジェスチャの第３の例を説明するための図である。上述した例と同様に、人差し指Ｆを指さすジェスチャに応じて、候補点ＰＮ、ＰＯ及びＰＰが検出される。初期状態では、例えば、ユーザＵに最も近い候補点ＰＮが選択中の候補点として設定される。
　選択中の候補点をスイッチさせるジェスチャの第３の例は、人差し指Ｆと親指Ｆ１とがなす角度θ１の大きさに応じて、選択中の候補点をスイッチさせる例である。角度θ１に対して、例えば、２つの閾値Ｔｈ１、Ｔｈ２が設定される。人差し指Ｆと親指Ｆ１とがなす角度が小さい場合、具体的には、角度θ１が閾値Ｔｈ１未満であれば、候補点ＰＮが選択中の候補点とされる。そして、人差し指Ｆと親指Ｆ１とがなす角度を大きくするジェスチャがなされ、角度θ１が閾値Ｔｈ１以上となった場合には、選択中の候補点が候補点ＰＮから候補点ＰＯにスイッチする。更に人差し指Ｆと親指Ｆ１とがなす角度を大きくするジェスチャがなされ、角度θ１が閾値Ｔｈ２以上となった場合には、選択中の候補点が候補点ＰＯから候補点ＰＰにスイッチする。なお、例えば、人差し指Ｆと親指Ｆ１とがなす角度を小さくするジェスチャがなされた場合、具体的には、角度θ１が閾値Ｔｈ１未満となった場合には、選択中の候補点が候補点ＰＰから候補点ＰＮにスイッチする。なお、本例では、例えば、一度にθ１を大きくする操作に応じて、選択中の候補点が候補点ＰＮから候補点ＰＰにジャンプするように（非連続的に）スイッチするようにしても良い。なお、本例において閾値が２個であるのは、候補点が３個だからである。勿論、閾値の設定数等は、適宜、変更可能である。
　なお、上述した第３の例では、片方の手の人差し指Ｆ及び親指Ｆ１がなす角度に応じて選択中の候補点をスイッチさせるようにしたが、図１９及び図２０に示すように、一方の手の人差し指Ｆと他方の手の人差し指Ｆ２とがなす角度に応じて、選択中の候補点をスイッチさせるようにしても良い。
　例えば、図１９に示すように、人差し指Ｆと人差し指Ｆ２とがなす角度θ２が大きい場合には、手前側に位置する候補点が選択中の候補点となるようにスイッチされ、図２０に示すように、人差し指Ｆと人差し指Ｆ２とがなす角度θ２が小さくなるほど、奥側に位置する候補点が選択中の候補点となるようにスイッチされるようにしても良い。反対に、角度θ２が小さい場合には、手前側に位置する候補点が選択中の候補点となるようにスイッチされ、角度θ２が大きくなるほど、奥側に位置する候補点が選択中の候補点となるようにスイッチされるようにしても良い。
　両手それぞれの指を用いたジェスチャの場合は、以下のようなジェスチャによって、選択中の候補点をスイッチさせることも可能である。例えば、人差し指Ｆと人差し指Ｆ２とを略並行にするジェスチャがなされると、選択中の候補点が手前側の候補点から奥側の候補点に向かって順次スイッチするようにしても良い。また、例えば、人差し指Ｆと人差し指Ｆ２とを例えば８の字状に交差させるジェスチャがなされると、選択中の候補点が奥側の候補点から手前側の候補点に向かって順次スイッチするようにしても良い。
　図２１は、選択中の候補点をスイッチさせるジェスチャの第４の例を説明するための図である。上述した例と同様に、人差し指Ｆを指さすジェスチャに応じて、候補点ＰＮ、ＰＯ及びＰＰが検出される。
　第４の例では、候補点の近傍に、候補点の選択を補助するための情報を投影表示する。例えば、図２１に示すように、候補点ＰＮの近傍に「１」という数字が、候補点ＰＮが投影表示されている物体７１と同じ面に投影表示される。また、候補点ＰＯの近傍に「２」という数字が、候補点ＰＯが投影表示されている物体７２と同じ面に投影表示される。更に、候補点ＰＰの近傍に「３」という数字が、候補点ＰＰが投影表示されているテーブル３の表面と同じ面に投影表示される。
　ユーザＵは、人差し指Ｆを有する手とは反対側の手の指を使って、番号を示すジェスチャを行う。係るジェスチャに応じて、選択中の候補点がスイッチする。なお、図２１では、「２」を示すジェスチャ、具体的には、２本の指を立てるジェスチャがなされ、「２」の近傍に位置する候補点ＰＯが選択された例が示されている。ユーザＵは、候補点ＰＮを選択したい場合には１本の指を立てれば良く、候補点ＰＰを選択したい場合には３本の指を立てれば良い。本例の場合は、立てる指の本数を適宜変更することにより、選択中の候補点を連続的にスイッチすることができると共に、選択中の候補点を非連続的にスイッチすることもできる。
　図２２は、選択中の候補点をスイッチさせるジェスチャの第５の例を説明するための図である。上述した例と同様に、人差し指Ｆを指さすジェスチャに応じて、候補点ＰＮ、ＰＯ及びＰＰが検出される。
　第５の例は、操作方向同士の交点付近に位置する候補点が、選択中の候補点とされる例である。ユーザＵは、一方の手の人差し指Ｆを用いた指差しと他方の手の人差し指Ｆ２を用いた指差しを行う。それぞれの指差しに応じた操作方向ＦＤ、ＦＤ２が検出される。操作方向ＦＤ、ＦＤ２の交点に位置する候補点若しくは当該交点に最も近い候補点が選択中の候補点とされる。ユーザＵは、人差し指Ｆ２を向ける方向を変化させることにより、選択中の候補点をスイッチさせることができる。
　図２３は、選択中の候補点をスイッチさせるジェスチャの第６の例を説明するための図である。上述した例と同様に、人差し指Ｆを指さすジェスチャに応じて、候補点ＰＮ、ＰＯ及びＰＰが検出される。
　第６の例では、ユーザＵの視線方向に応じて、選択中の候補点がスイッチされる例である。ユーザＵの視線方向は、例えば、人認識部２０２により検出され、検出された視線方向を示す情報は姿勢情報に含まれる。選択部２０４は、姿勢情報に含まれる視線方向に基づいて、選択中の候補点をスイッチする。
　図２３に示すように、例えば、検出された視線方向ＥＤ１側には、候補点ＰＮが存在する。この場合には、候補点ＰＮが選択中の候補点とされる。そして、ユーザＵが姿勢を変化させ、視線を候補点ＰＯに向けた場合を考える。ユーザＵの姿勢変化により新たな視線方向ＥＤ２が検出される。検出された視線方向ＥＤ２側には、候補点ＰＯが存在する。この場合には、選択中の候補点が候補点ＰＮから候補点ＰＯにスイッチする。このように、ユーザＵの視線方向に応じて、選択中の候補点がスイッチするようにしても良い。本例のように、視線方向を変化させる目の動きもジェスチャの一つに含まれる。また、視線方向だけでなく、頭部の向き等を変化させるジェスチャを検出することによりユーザＵの注目方向を識別し、その方向に位置する候補点が選択中の候補点とされるようにしても良い。
［決定点について］
（決定点の決定について）
　検出された候補点が複数、存在する場合は、その中から例えば１個の候補点が決定点として決定される。例えば、ある候補点が選択中である場合に、選択中の候補点をスイッチさせるジェスチャとは別のジェスチャが検出されると、当該選択中の候補点が決定点として決定される。ある候補点が選択中である場合に「それに決定」等の音声入力がなされることに応じて、当該選択中の候補点が決定点として決定されるようにしても良い。
　特定の入力無しで決定点が決定されるようにしても良い。図２１に示した例のように、一方の手により番号を示すジェスチャが検出された場合に、選択中の候補点が指定されると共に、当該候補点が決定点として決定されるようにしても良い。また、ある候補点が選択されている場合に、所定期間（例えば、１０秒～３０秒程度）、選択中の候補点をスイッチさせるジェスチャ等がなされなければ、選択中の候補点が決定点と決定されるようにしても良い。
（決定点が決定された場合の処理例）
　次に、決定点が決定された場合に行われる処理の例について説明する。勿論、以下の処理例は一例であり、決定点が決定された場合に如何なる処理を行うかについては情報処理装置２の用途等に応じて適宜、設定できる。決定点が決定された場合に行われる処理を行うための構成が、上述した情報処理装置２の構成に適宜、追加される。
　例えば、決定点の箇所に所定の画像（静止画像でも動画像でも良い）が投影表示される。プロジェクションに限らず、決定点の箇所に所定の画像がＡＲ等により表示されても構わない。また、投影エリア３ａ上に、３次元状の地図の模型が置かれているとする。決定点として決定された箇所に対応する解説（例えば、由来に関する解説や説明文）が再生されるようにしても良い。
　ある空間における特定の箇所や人物に関する指定だけが行われても良い。例えば、記者会見場や教室などでは、例えば、後方に位置する聴取者を話者が指差しした場合でも、前方にも聴取者が存在するため、話者が指差した聴取者が誰であるかを周囲が理解できない場合もある。本実施の形態に係る技術を適用すれば、話者が指差しを行うと、例えば、操作方向に位置する聴取者毎に候補点が設定される。話者がその候補点の中から決定点を決定し、当該決定点を強調表示することにより、周囲はどの聴取者が話者により指定されたのかを認識することができる。なお、このような利用例では、例えば、聴取者の人体に候補点が投影表示される。
　なお、上述したように、本実施の形態では、テーブル３の投影エリア３ａ上の物体内部にも候補点を設定することも可能である（図１１参照）。ここで、物体内部の候補点が決定点として決定された場合の処理例について説明する。
　図２４に示すように、投影エリア３ａ上に魚の模型７５が置かれており、この状態で、ユーザＵの人差し指Ｆによる指差しがなされる。候補点として、候補点ＰＱ、ＰＲ、ＰＳが検出される。ここで、模型７５の内部に対応する候補点ＰＲが決定点として決定された場合を想定する。このような場合には、模型７５の内部状態を透過するような画像データが表示制御部２０５により生成され、当該画像データに基づく画像が模型７５の表面に投影表示されるような処理が行われても良い。係る処理により、例えば、図２５に示すように、魚の中身（臓器や骨格）を示す画像が模型７５の表面に投影表示され、ユーザＵは、模型７５の内部構造を知ることができる。模型７５は、魚に限らず、人体その他の動物、建物等であっても良い。このような透過表示を行うことにより、本開示の教育、医療等における応用が可能となる。
［処理の流れ］
　図２６は、一実施の形態に係る処理の流れを示すフローチャートである。ステップＳＴ１１では、環境認識部２０１及び人認識部２０２のそれぞれが、入力部２００を介して得られる情報を受け取る。そして、処理がステップＳＴ１２及びＳＴ１３のそれぞれに進む。
　ステップＳＴ１２では、人認識部２０２により人体の特徴点が推定される。人認識部２０２は、人体の特徴点に基づく姿勢情報を生成し、当該姿勢情報を候補点検出部２０３及び選択部２０４のそれぞれに出力する。そして、処理がステップＳＴ１４に進む。
　一方、ステップＳＴ１３では、環境認識部２０１が、テーブル３上、より具体的には投影エリア３ａ上の３次元構造を認識し、３次元構造情報を生成する、環境認識部２０１は、生成した３次元構造情報を候補点検出部２０３に出力する。そして、処理がステップＳＴ１４に進む。
　ステップＳＴ１４では、候補点検出部２０３が操作方向を検出し、操作方向に存在する候補点を検出する候補点検出処理を行う。そして、処理がステップＳＴ１５に進む。
　ステップＳＴ１５では、候補点が検出されたか否かが、例えば候補点検出部２０３により判断される。ここで、例えば、指差しがなされていない場合等、候補点が検出されない場合は、処理がステップＳＴ１１に戻る。
　ステップＳＴ１５の判断処理において、候補点が検出された場合は、検出された候補点を投影表示するための制御が表示制御部２０５により行われる。そして、出力部２０６を介して、検出された候補点がユーザＵに対して提示される。そして、処理がステップＳＴ１６に進む。
　ステップＳＴ１６では、ユーザＵによる特定のジェスチャが検出されたか否かが判断される。この判断処理は、例えば選択部２０４が姿勢情報に基づいて行う。ここで、特定のジェスチャとは、選択中の候補点をスイッチさせるジェスチャである。特定のジェスチャがなされた場合は、処理がステップＳＴ１７に進む。
　ステップＳＴ１７では、選択部２０４が、検出された特定のジェスチャに応じて、選択中の候補点をスイッチする。そして、選択部２０４は、選択中の候補点を示す選択情報を表示制御部２０５に出力する。そして、処理がステップＳＴ１８に進む。
　ステップＳＴ１８では、表示制御部２０５による表示制御処理が行われる。例えば、表示制御部２０５は、選択情報に基づいて、選択中の候補点が他の候補点に比べて強調されるようにする制御を行う。係る制御に応じて、出力部２０６を介して、選択中の候補点がユーザＵに対して強調されて提示される。そして、処理がステップＳＴ１９に進む。
　ステップＳＴ１９は、選択中の候補点を決定点として決定する決定入力（例えば、ジェスチャ）がなされたか否かが選択部２０４により検出される。ここで、決定入力がなされた場合には、決定点付近の箇所で、アプリケーションに応じた処理が行われ、処理が終了する。決定入力がなされていない場合には、処理がステップＳＴ１６に戻る。
　ステップＳＴ１６の判断処理において、ユーザＵによる特定のジェスチャが検出されない場合には、処理がステップＳＴ２０に進む。ステップＳＴ２０では、画像の前フレームに選択中の候補点があるか否かが選択部２０４により判断される。ここで、前フレームに選択中の候補点がある場合には、処理がステップＳＴ２１に進む。
　ステップＳＴ２１では、特定のジェスチャがなされていないものの、前フレームに選択中の候補点があることから、以前（例えば、数十フレーム前程度）に特定のジェスチャがなされ、ある候補点が選択されたことが考えられる。従って、ステップＳＴ２１では、選択部２０４が前フレームにおいて選択中の候補点をスイッチしない、換言すれば、選択中の候補点を保持する選択情報を生成し、生成した選択情報を表示制御部２０５に出力する。そして、処理がステップＳＴ１８に進む。ステップＳＴ１８では、選択中の候補点をスイッチしないように、即ち、現在、所定の候補点が選択中の候補点として提示されている状態を維持するように投影表示する表示制御処理が表示制御部２０５により行われる。そして、処理がステップＳＴ１９に進み、ステップＳＴ１９以降の処理が行われる。ステップＳＴ１９以降の処理については既に説明しているため、重複した説明を省略する。
　ステップＳＴ２０の判断処理において、前フレームに選択中の候補点がない場合は、処理がステップＳＴ２２に進む。この場合は、検出された候補点がユーザＵに対して提示された最初の段階（初期段階）であるので、例えば、複数の候補点のうちユーザＵに最も近い候補点が選択中の候補点とされる。そして、処理がステップＳＴ１８に進み、複数の候補点のうちユーザＵに最も近い候補点が選択中の候補点となるように投影表示する表示制御処理が表示制御部２０５により行われる。そして、処理がステップＳＴ１９に進み、ステップＳＴ１９以降の処理が行われる。ステップＳＴ１９以降の処理については既に説明しているため、重複した説明を省略する。
　なお、勿論、初期段階でユーザＵに提示される選択中の候補点を複数の候補点のうちどの候補点にするかについては適宜、変更することができる。また、初期段階では、選択中の候補点がユーザＵに提示されなくても良い。また、前フレームに選択中の候補点がある場合でもユーザＵの大きな動きが検出された場合には、当該候補点に関する選択を解除するようにしても良い。
＜変形例＞
　以上、本開示の実施の形態について具体的に説明したが、本開示の内容は上述した実施の形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。以下、変形例について説明する。
［操作方向に関する変形例］
　上述した実施の形態では、指差しをした人差し指Ｆを直線で延長した方向を操作方向ＦＤとして規定したが、これに限定されるものではない。操作方向ＦＤは、曲線や直線と曲線とを組み合わせた線等であっても構わない。
　候補点検出部２０３は、ユーザＵのジェスチャに応じた操作方向ＦＤを検出するようにしても良い。図２７Ａ及び図２７Ｂは、ユーザＵのジェスチャに応じた操作方向ＦＤが検出される例を説明するための図である。図２７Ａは投影エリア３ａの上方から見た俯瞰図であり、図２７Ｂは投影エリア３ａをテーブル３の側面側から見た側面図である。図２７Ａに示すように、投影エリア３ａ上に、円柱状の物体８１、四角柱状の物体８２及び三角柱状の物体８３が置かれている例を想定する。
　図２７Ｂに示すように、人差し指Ｆを手の甲と略並行にした指差しによる場合は、操作方向ＦＤ１０が検出され、操作方向ＦＤ１０と物体表面との交点が候補点として検出される。例えば、図２７Ａに示すように、候補点として候補点ＰＴ、ＰＵ、ＰＶ、ＰＷ及びＰＸが検出されたとする。これに対して、人差し指Ｆの指先をやや上向きにした場合には、図２７Ｂに示すように、放物線状の操作方向ＦＤ１１が検出される。そして、操作方向ＦＤ１１と物体８２、８３の表面との交点が候補点として検出される。このように、操作方向は放物線軌道でも良い。また、ユーザＵは、人差し指Ｆの向きを適宜、変化させることにより操作方向を設定でき、意図しない箇所における候補点の検出（図２７に示した例では、物体８１の表面に位置する候補点）を未然に防止することができる。
　図２８は、ユーザＵのジェスチャに応じた操作方向ＦＤが検出される他の例を説明するための図である。例えば、人差し指Ｆから延びる操作方向ＦＤが放物線軌道として検出される。この放物線軌道の曲率が、人差し指Ｆと親指Ｆ１とが成す角度θ３に応じて変化される。例えば、図２８に示すように、角度θ３が大きいほど曲率が大きくされる。ユーザＵは、角度θ３を適宜、変化させることにより、例えば、ユーザＵによって手前側に位置する物体に関する候補点が検出されてしまうことを防止することができる。
　操作方向ＦＤが、壁等の物体により反射されるようにしても良い。図２９は、操作方向ＦＤが壁等の物体により反射される例を説明するための図である。図２９の俯瞰図に示すように、例えば、テーブル３の側面側に壁部９０が配置され、投影エリア３ａ上に円柱状の物体９１、四角柱状の物体９２及び三角柱状の物体９３が置かれている状態を想定する。
　壁部９０の位置は、環境認識部２０１により認識される。例えば、ユーザＵの人差し指Ｆによる壁部９０に向けた指差しがなされ、指差しに応じた操作方向ＦＤが検出される。操作方向ＦＤは、テーブル３上の物体ではない壁部９０の表面と交差する。係る場合、候補点検出部２０３は、操作方向ＦＤが壁部９０で反射されるように設定し、反射後の操作方向ＦＤに位置する候補点（例えば、反射後の操作方向ＦＤと物体９２、９３のそれぞれの表面との交点）を検出する。このように、ユーザは、操作方向ＦＤを反射させることも可能となり、ユーザＵによって手前側に位置する物体（例えば、物体９１）に関する候補点が検出されてしまうことを防止することができる。
［その他の変形例］
　上述した実施の形態において、ユーザＵから隠れて見えない箇所に候補点が存在することを、ユーザＵに提示することができる点について説明した（図９参照）。この場合、隠れて見えない位置に存在する候補点が手前側の物体表面に投影表示された場合でも、当該候補点の存在や具体的な位置をユーザＵがイメージしづらい虞もある。そこで、ユーザＵから見えない候補点の存在や位置を報知する投影表示がユーザＵから見える箇所になされても良い。例えば、図３０に示すように、ユーザＵから見えない位置にある候補点ＰＢ～ＰＥのそれぞれに対応する位置を示す矢印９５Ｂ～９５Ｅを、候補点ＰＢ～ＰＥのそれぞれの位置の横方向であり、且つ、ユーザＵが見える位置に投影表示する。
　また、検出された候補点の位置を示す情報（例えば、候補点の位置が投影エリア３ａ上の物体と共にマッピングされた比較的、小さなサイズの地図情報）をユーザＵの近傍に投影表示しても良い。ユーザＵは、係る情報を見ることにより候補点の各位置を知ることができ、候補点を選択する際の参考にすることができる。係る情報が、ユーザＵが有するスマートフォン等の電子機器に表示されても良いし、天井に投影表示されるようにしても良い。
　上述した実施の形態で説明したユーザＵは一般的には人物が想定されるが、ロボットであっても構わない。上述した実施の形態において投影表示がされる物体は、樹脂製品、陶器、ガラス等の光透過性部材、空気等なんでも良い。また、投射エリアの大きさは適宜、変更することができ、投射エリアの大きさ等に応じて適宜な数の情報処理装置が使用されても良い。投射エリアは、テーブルの表面に限らず床等であっても良い。また、操作方向は、指差しでなく、ペン等で指し示す行為に基づいて検出されるものであっても良い。
　本開示は、装置、方法、プログラム、システム等により実現することもできる。例えば、上述した実施の形態で説明した機能を行うプログラムをダウンロード可能とし、実施の形態で説明した機能を有しない装置が当該プログラムをダウンロードしてインストールすることにより、当該装置において実施の形態で説明した制御を行うことが可能となる。本開示は、このようなプログラムを配布するサーバにより実現することも可能である。また、実施の形態で各技術的事項及び変形例で説明した事項は、適宜組み合わせることが可能である。
　本開示は、以下の構成も採ることができる。
（１）
　検出された操作方向に位置する少なくとも２以上の候補点を検出し、前記２以上の候補点から所定の候補点を選択するようにスイッチさせ、少なくとも選択された候補点を表示する制御部を有する
　情報処理装置。
（２）
　前記候補点は、ユーザの操作位置から指示できない少なくとも１つの箇所を含む
　（１）に記載の情報処理装置。
（３）
　前記箇所は、前記操作方向に位置する遮蔽物の裏側である
　（２）に記載の情報処理装置。
（４）
　前記箇所は、前記操作方向に位置する遮蔽物の中である
　（２）に記載の情報処理装置。
（５）
　前記制御部は、前記操作方向に位置する所定の物体に対する投影表示により前記候補点を表示する
　（１）から（４）の何れかに記載の情報処理装置。
（６）
　前記制御部は、検出された前記候補点の位置を示す情報をユーザの近傍に投影表示する
　（５）に記載の情報処理装置。
（７）
　前記制御部は、前記操作方向に位置する物体のユーザ側の表面に、前記物体の内部及び前記物体の裏側の少なくとも一方に存在する候補点を投影表示する
　（１）から（６）の何れかに記載の情報処理装置。
（８）
　前記制御部は、前記選択された候補点を強調して表示する
　（１）から（７）の何れかに記載の情報処理装置。
（９）
　前記制御部は、前記操作方向と、前記操作方向に位置する物体の表面とが交わる交点を前記候補点として検出する
　（１）から（８）の何れかに記載の情報処理装置。
（１０）
　前記候補点に関する設定が可能とされている
　（１）から（９）の何れかに記載の情報処理装置。
（１１）
　前記候補点に関する設定は、候補点が検出されるエリアに関する設定である
　（１０）に記載の情報処理装置。
（１２）
　前記制御部は、検出されたジェスチャに応じて、前記候補点をスイッチさせる
　（１）から（１１）の何れかに記載の情報処理装置。
（１３）
　ユーザの指差しに基づいて前記操作方向が検出され、
　前記ジェスチャは、前記ユーザの指を用いたジェスチャである
　（１２）に記載の情報処理装置。
（１４）
　前記制御部は、前記候補点を連続的にスイッチする
　（１）から（１３）の何れかに記載の情報処理装置。
（１５）
　前記制御部は、前記候補点を非連続的にスイッチする
　（１）から（１３）の何れかに記載の情報処理装置。
（１６）
　前記制御部は、ユーザのジェスチャに応じて前記操作方向を設定する
　（１）から（１５）の何れかに記載の情報処理装置。
（１７）
　前記遮蔽物の中に対応する候補点が決定点として決定された場合に、前記遮蔽物の内部構造が当該遮蔽物に投影表示される
　（４）に記載の情報処理装置。
（１８）
　制御部が、検出された操作方向に位置する少なくとも２以上の候補点を検出し、前記２以上の候補点から所定の候補点を選択するようにスイッチさせ、少なくとも選択された候補点を表示する
　情報処理方法。
（１９）
　制御部が、検出された操作方向に位置する少なくとも２以上の候補点を検出し、前記２以上の候補点から所定の候補点を選択するようにスイッチさせ、少なくとも選択された候補点を表示する
　情報処理方法をコンピュータに実行させるプログラム。
１・・・プロジェクションマッピングシステム、２・・・情報処理装置、３・・・テーブル、２０１・・・環境認識部、２０２・・・人認識部、２０３・・・候補点検出部、２０４・・・選択部、２０５・・・表示制御部、２０６・・・出力部、Ｆ・・・人差し指、ＦＤ・・・操作方向ＦＤ、ＰＡ～ＰＸ・・・候補点

Claims (19)

  1. 　検出された操作方向に位置する少なくとも２以上の候補点を検出し、前記２以上の候補点から所定の候補点を選択するようにスイッチさせ、少なくとも選択された候補点を表示する制御部を有する
    　情報処理装置。
  2. 　前記候補点は、ユーザの操作位置から指示できない少なくとも１つの箇所を含む
    　請求項１に記載の情報処理装置。
  3. 　前記箇所は、前記操作方向に位置する遮蔽物の裏側である
    　請求項２に記載の情報処理装置。
  4. 　前記箇所は、前記操作方向に位置する遮蔽物の中である
    　請求項２に記載の情報処理装置。
  5. 　前記制御部は、前記操作方向に位置する所定の物体に対する投影表示により前記候補点を表示する
    　請求項１に記載の情報処理装置。
  6. 　前記制御部は、検出された前記候補点の位置を示す情報をユーザの近傍に投影表示する
    　請求項５に記載の情報処理装置。
  7. 　前記制御部は、前記操作方向に位置する物体のユーザ側の表面に、前記物体の内部及び前記物体の裏側の少なくとも一方に存在する候補点を投影表示する
    　請求項１に記載の情報処理装置。
  8. 　前記制御部は、前記選択された候補点を強調して表示する
    　請求項１に記載の情報処理装置。
  9. 　前記制御部は、前記操作方向と、前記操作方向に位置する物体の表面とが交わる交点を前記候補点として検出する
    　請求項１に記載の情報処理装置。
  10. 　前記候補点に関する設定が可能とされている
    　請求項１に記載の情報処理装置。
  11. 　前記候補点に関する設定は、候補点が検出されるエリアに関する設定である
    　請求項１０に記載の情報処理装置。
  12. 　前記制御部は、検出されたジェスチャに応じて、前記候補点をスイッチさせる
    　請求項１に記載の情報処理装置。
  13. 　ユーザの指差しに基づいて前記操作方向が検出され、
    　前記ジェスチャは、前記ユーザの指を用いたジェスチャである
    　請求項１２に記載の情報処理装置。
  14. 　前記制御部は、前記候補点を連続的にスイッチする
    　請求項１に記載の情報処理装置。
  15. 　前記制御部は、前記候補点を非連続的にスイッチする
    　請求項１に記載の情報処理装置。
  16. 　前記制御部は、ユーザのジェスチャに応じて前記操作方向を設定する
    　請求項１に記載の情報処理装置。
  17. 　前記遮蔽物の中に対応する候補点が決定点として決定された場合に、前記遮蔽物の内部構造が当該遮蔽物に投影表示される
    　請求項４に記載の情報処理装置。
  18. 　制御部が、検出された操作方向に位置する少なくとも２以上の候補点を検出し、前記２以上の候補点から所定の候補点を選択するようにスイッチさせ、少なくとも選択された候補点を表示する
    　情報処理方法。
  19. 　制御部が、検出された操作方向に位置する少なくとも２以上の候補点を検出し、前記２以上の候補点から所定の候補点を選択するようにスイッチさせ、少なくとも選択された候補点を表示する
    　情報処理方法をコンピュータに実行させるプログラム。
PCT/JP2019/014643 2018-06-18 2019-04-02 情報処理装置、情報処理方法及びプログラム WO2019244437A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/052,674 US20210181864A1 (en) 2018-06-18 2019-04-02 Information processing device, information processing method, and program
CN201980038813.0A CN112292658A (zh) 2018-06-18 2019-04-02 信息处理装置、信息处理方法和程序
EP19823056.7A EP3809249A4 (en) 2018-06-18 2019-04-02 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-115140 2018-06-18
JP2018115140 2018-06-18

Publications (1)

Publication Number Publication Date
WO2019244437A1 true WO2019244437A1 (ja) 2019-12-26

Family

ID=68983884

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/014643 WO2019244437A1 (ja) 2018-06-18 2019-04-02 情報処理装置、情報処理方法及びプログラム

Country Status (4)

Country Link
US (1) US20210181864A1 (ja)
EP (1) EP3809249A4 (ja)
CN (1) CN112292658A (ja)
WO (1) WO2019244437A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021157379A1 (ja) * 2020-02-07 2021-08-12 ソニーグループ株式会社 情報処理装置、情報処理方法、並びにプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5614014B2 (ja) 1974-08-13 1981-04-01
JP2002366974A (ja) * 2001-06-12 2002-12-20 Hitachi Software Eng Co Ltd オブジェクトの選択制御方法
JP2008040556A (ja) * 2006-08-01 2008-02-21 Canon Inc 複合現実感提示装置及びその制御方法、プログラム
JP2012008808A (ja) * 2010-06-24 2012-01-12 Canon Inc 情報処理装置
WO2018042923A1 (ja) * 2016-08-31 2018-03-08 ソニー株式会社 情報処理システム、情報処理方法、およびプログラム
JP2018081694A (ja) * 2016-11-16 2018-05-24 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 拡張又は仮想現実環境におけるオブジェクトの選択

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0877231A (ja) * 1994-09-05 1996-03-22 Matsushita Electric Ind Co Ltd ３次元図形操作装置
JP3276068B2 (ja) * 1997-11-28 2002-04-22 インターナショナル・ビジネス・マシーンズ・コーポレーション オブジェクトの選択方法およびそのシステム
JP2001291115A (ja) * 2000-04-05 2001-10-19 Nippon Telegr & Teleph Corp <Ntt> ３次元図形描画方法およびこの方法を記録した記録媒体
KR20100050103A (ko) * 2008-11-05 2010-05-13 엘지전자 주식회사 맵 상에서의 3차원 개체 제어방법과 이를 이용한 이동 단말기
US20120139915A1 (en) * 2010-06-07 2012-06-07 Masahiro Muikaichi Object selecting device, computer-readable recording medium, and object selecting method
CN102760308B (zh) * 2012-05-25 2014-12-03 任伟峰 一种点选三维虚拟现实场景中物体的方法和装置
US9483873B2 (en) * 2013-03-26 2016-11-01 Autodesk, Inc. Easy selection threshold
US9262012B2 (en) * 2014-01-03 2016-02-16 Microsoft Corporation Hover angle

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5614014B2 (ja) 1974-08-13 1981-04-01
JP2002366974A (ja) * 2001-06-12 2002-12-20 Hitachi Software Eng Co Ltd オブジェクトの選択制御方法
JP2008040556A (ja) * 2006-08-01 2008-02-21 Canon Inc 複合現実感提示装置及びその制御方法、プログラム
JP2012008808A (ja) * 2010-06-24 2012-01-12 Canon Inc 情報処理装置
WO2018042923A1 (ja) * 2016-08-31 2018-03-08 ソニー株式会社 情報処理システム、情報処理方法、およびプログラム
JP2018081694A (ja) * 2016-11-16 2018-05-24 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 拡張又は仮想現実環境におけるオブジェクトの選択

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3809249A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021157379A1 (ja) * 2020-02-07 2021-08-12 ソニーグループ株式会社 情報処理装置、情報処理方法、並びにプログラム

Also Published As

Publication number Publication date
EP3809249A1 (en) 2021-04-21
US20210181864A1 (en) 2021-06-17
CN112292658A (zh) 2021-01-29
EP3809249A4 (en) 2021-08-11

Similar Documents

Publication Publication Date Title
US11366512B2 (en) Systems and methods for operating an input device in an augmented/virtual reality environment
US11954808B2 (en) Rerendering a position of a hand to decrease a size of a hand to create a realistic virtual/augmented reality environment
EP3311250B1 (en) System and method for spawning drawing surfaces
US11487353B2 (en) Systems and methods for configuring a hub-centric virtual/augmented reality environment
US10261594B2 (en) Systems and methods of creating a realistic displacement of a virtual object in virtual reality/augmented reality environments
EP3599532B1 (en) A system for importing user interface devices into virtual/augmented reality
US8643569B2 (en) Tools for use within a three dimensional scene
KR20220030294A (ko) 인공 현실 환경들에서 주변 디바이스를 사용하는 가상 사용자 인터페이스
CN114402290A (zh) 用于与三维环境进行交互的设备、方法和图形用户界面
CN116719452A (zh) 用于与用于移动虚拟环境中的虚拟对象的虚拟控件和/或示能表示交互的方法
US11176745B2 (en) Projection casting in virtual environments
KR20220018559A (ko) 자가-햅틱 가상 키보드를 갖는 인공 현실 시스템
EP3549127B1 (en) A system for importing user interface devices into virtual/augmented reality
US11714540B2 (en) Remote touch detection enabled by peripheral device
US11294475B1 (en) Artificial reality multi-modal input switching model
KR20220016984A (ko) 디지트-매핑된 자가-햅틱 입력 방법을 갖는 인공 현실 시스템
WO2022067054A1 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
WO2019244437A1 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19823056

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019823056

Country of ref document: EP

Effective date: 20210118

NENP Non-entry into the national phase

Ref country code: JP