WO2017208637A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2017208637A1
WO2017208637A1 PCT/JP2017/014910 JP2017014910W WO2017208637A1 WO 2017208637 A1 WO2017208637 A1 WO 2017208637A1 JP 2017014910 W JP2017014910 W JP 2017014910W WO 2017208637 A1 WO2017208637 A1 WO 2017208637A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
virtual object
information processing
information
processing apparatus
Prior art date
Application number
PCT/JP2017/014910
Other languages
English (en)
French (fr)
Inventor
麻紀 井元
拓也 池田
健太郎 井田
陽方 川名
龍一 鈴木
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP17806197.4A priority Critical patent/EP3467620A4/en
Priority to US16/301,295 priority patent/US20200319834A1/en
Publication of WO2017208637A1 publication Critical patent/WO2017208637A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Definitions

  • This disclosure relates to an information processing apparatus, an information processing method, and a program.
  • the operation intended by the user may not be recognized by the device.
  • a part or all of the operation may be performed outside the operation area.
  • the apparatus does not recognize an operation performed outside the operation area.
  • processing related to an operation intended by the user may not be executed, or processing related to an operation different from the operation intended by the user may be executed.
  • Patent Document 1 a captured image that shows the user performing the operation and a black image that indicates the outside of the operation area are displayed, and an image that notifies the user that the user has approached the operation area is superimposed on the black image.
  • An image processing apparatus is disclosed.
  • the operability may be lowered when the display area where the virtual object related to the operation is visually recognized is different from the operation area.
  • the display area matches the operation area. Therefore, the user can confirm his / her operation while looking at the display area.
  • the display area and the operation area are different. Therefore, the user cannot confirm his / her operation while looking at the display area. As a result, the user may make an operation error.
  • the present disclosure proposes a mechanism capable of suppressing a decrease in operability when the display area and the operation area are different.
  • the operation object recognized in the operation area different from the display area where the virtual object is visually recognized and the input recognition area in the operation area where the input by the operation object is recognized change according to the distance
  • an information processing apparatus including an input unit that obtains distance information to be performed and an output control unit that controls an output related to the virtual object based on the distance information.
  • an operation body recognized in an operation area different from a display area where a virtual object is visually recognized, and an input recognition area in which an input by the operation body in the operation area is recognized An information processing method is provided that includes obtaining distance information that changes in accordance with the distance of and controlling output related to the virtual object based on the distance information.
  • the present disclosure according to the distance between the operation body recognized in the operation area different from the display area where the virtual object is visually recognized and the input recognition area in the operation area where the input by the operation body is recognized.
  • a program for causing a computer to realize an input function for obtaining distance information that changes and an output control function for controlling an output related to the virtual object based on the distance information.
  • a mechanism capable of suppressing a decrease in operability when the display area and the operation area are different is provided. Note that the above effects are not necessarily limited, and any of the effects shown in the present specification, or other effects that can be grasped from the present specification, together with or in place of the above effects. May be played.
  • FIG. 2 is a block diagram schematically illustrating an example of a functional configuration of an information processing apparatus according to an embodiment of the present disclosure.
  • FIG. It is a figure showing an example of an input recognition field in an information processing system concerning one embodiment of this indication. It is a figure showing an example of an input recognition field in an information processing system concerning one embodiment of this indication. It is a figure showing an example of an input recognition field in an information processing system concerning one embodiment of this indication. It is a figure showing an example of an input recognition field in an information processing system concerning one embodiment of this indication. It is a figure showing an example of an input recognition field in an information processing system concerning one embodiment of this indication.
  • FIG. 16 is a flowchart conceptually illustrating an example of processing in which control of a first threshold value using operation object information or user information in an information processing apparatus according to a fifth modification of an embodiment of the present disclosure is added.
  • FIG. 3 is an explanatory diagram illustrating a hardware configuration of an information processing apparatus according to an embodiment of the present disclosure.
  • FIG. 1 is a diagram illustrating a configuration example of an information processing system according to an embodiment of the present disclosure.
  • the information processing system includes an information processing apparatus 100, a measurement apparatus 200, and a projection apparatus 300.
  • the information processing apparatus 100, the measurement apparatus 200, and the projection apparatus 300 are connected for communication.
  • the information processing apparatus 100 controls the projection of the projection apparatus 300 using the measurement result of the measurement apparatus 200. Specifically, the information processing apparatus 100 recognizes a part of the user's body as the operation body from the measurement result provided from the measurement apparatus 200. Then, the information processing apparatus 100 performs projection of the projection by the projection apparatus 300 based on the positional relationship between the recognized body part and the area where the input by the operating body in the operation area is recognized (hereinafter also referred to as the input recognition area). Control aspects. For example, the information processing apparatus 100 controls the projection position of the virtual object 20 to be projected on the projection apparatus 300 based on the position of the user's hand measured by the measurement apparatus 200 and the position of the input recognition area 50A. The operation area corresponds to the measurement range of the measurement apparatus 200. Details of the information processing apparatus 100 will be described later.
  • the measuring device 200 measures the situation around the measuring device 200. Specifically, the measurement apparatus 200 measures a phenomenon in which the position or state of an object existing around the measurement apparatus 200, for example, a user or an operating body is grasped. Then, the measuring apparatus 200 provides information obtained by the measurement (hereinafter also referred to as measurement information) to the information processing apparatus 100 as a measurement result.
  • the measurement apparatus 200 is a depth sensor, and by attaching a marker to a body part (for example, a hand) of a user, the positional relationship between the body part on which the marker is attached and a surrounding object (that is, the body part and The position of the surrounding object in the three-dimensional space) can be measured.
  • the measurement information may be 3D image information.
  • Measurement device 200 may be an inertial sensor worn by a user or a ring-type or bracelet-type wearable device having the inertial sensor. Moreover, the measuring apparatus 200 may be installed in any way as long as an operation area can be secured. For example, the measuring apparatus 200 may be provided on a table whose upper surface shown in FIG. 1 is the input recognition area 50A.
  • Projection apparatus 300 projects an image based on instruction information from information processing apparatus 100. Specifically, the projection apparatus 300 projects an image provided from the information processing apparatus 100 onto a designated location. For example, the projection apparatus 300 projects the virtual object 20 onto the projection area 10 shown in FIG. In FIG. 1, the projection apparatus 300 is a 2D (Dimension) projector, but the projection apparatus 300 may be a 3D projector. In addition, a real object may exist in the projection area 10. For example, in the example of FIG. 1, the switch 1 ⁇ / b> A exists as a real object in the projection region 10.
  • the switch 1 ⁇ / b> A exists as a real object in the projection region 10.
  • an operation region including the input recognition region 50A, a projection region 10 (that is, a display region) on which the virtual object 20 and the like are projected Exist in different places.
  • the operation area and the display area match.
  • a display screen corresponding to the display area and an input unit corresponding to the operation area are integrated.
  • the GUI corresponding to the display area matches the area corresponding to the operation area.
  • the operability may be deteriorated.
  • FIG. 1 when a virtual object related to an operation is projected onto a wall surface or the like in the projection area 10 and the operation is performed in the operation area on the table, the operating body is in the field of view of the user who views the projection area 10. not enter. Therefore, it is difficult for the user to confirm the operation performed by the user while looking at the projection area 10. As a result, the user performs the operation while confirming the degree to which the operation of the user affects the display, and cannot perform the operation intuitively. That is, the user has to learn the information related to the operation such as the operation area or the input recognition area to the extent that the operation affects the display.
  • the present disclosure proposes an information processing system capable of suppressing a decrease in operability when a display area and an operation area are different, and an information processing apparatus 100 for realizing the information processing system.
  • FIG. 2 is a block diagram schematically illustrating an example of a functional configuration of the information processing apparatus 100 according to an embodiment of the present disclosure.
  • the information processing apparatus 100 includes a communication unit 102, a recognition unit 104, a distance information generation unit 106, and a control unit 108.
  • the communication unit 102 communicates with a device external to the information processing device 100. Specifically, the communication unit 102 receives a measurement result from the measurement apparatus 200 and transmits projection instruction information to the projection apparatus 300. For example, the communication unit 102 communicates with the measurement apparatus 200 and the projection apparatus 300 using a wired communication method. Note that the communication unit 102 may communicate using a wireless communication method.
  • the recognition unit 104 performs recognition processing based on the measurement result of the measurement device 200. Specifically, the recognition unit 104 recognizes the operating tool based on the measurement information received from the measurement device 200.
  • the operation body includes a part of the user's body. For example, the recognition unit 104 recognizes the user's finger or hand based on the three-dimensional image information obtained from the measurement apparatus 200. Note that the operation body recognized by the recognition unit 104 may be a pen-type or stick-type operation device.
  • the recognition unit 104 recognizes the position of the operation tool. Specifically, the recognition unit 104 recognizes the position of the operation body in the operation area where the operation body is recognized. For example, the recognition unit 104 Based on the distance between the measuring device 200 and the operating tool measured by the measuring device 200, the position of the operating tool in the three-dimensional space in the operating region is recognized. Note that the recognition unit 104 may recognize the position of the operating tool based on the recognized size of the operating tool.
  • the recognition unit 104 recognizes the operation area. Specifically, the recognition unit 104 recognizes the operation area and the input recognition area included in the operation area based on the measurement result of the measurement apparatus 200. For example, the operation area and the input recognition area are associated with an object, and the recognition unit 104 recognizes the operation area and the input recognition area by recognizing the object.
  • the table 2 and the operation area are associated with each other, and the operation area is a predetermined area based on the table 2.
  • the upper surface of the table 2 is associated with the input recognition area 50 ⁇ / b> A, and the input recognition area 50 ⁇ / b> A is at least a part of the upper surface of the table 2.
  • the recognition unit 104 recognizes the position of the operation area and the input recognition area 50 ⁇ / b> A by recognizing the position of the table 2. Further, the input recognition area will be described in detail with reference to FIGS. 3 to 6 are diagrams each illustrating an example of an input recognition area in the information processing system according to an embodiment of the present disclosure.
  • the input recognition area is associated with the object as described above.
  • the input recognition area is not limited to a plane such as the upper surface of the table 2 shown in FIG. 1, and may have various shapes.
  • the input recognition area there is the input recognition area 50B associated with the surface having the step shown in FIG. 3 or the input recognition area 50C associated with the slope shown in FIG.
  • the object associated with the input recognition area may be a part of the user's body.
  • the input recognition area there is an input recognition area 50D associated with the vicinity of the user's knee shown in FIG. Of course, parts other than the knee may be associated with the input recognition area.
  • the input recognition area may be associated with a position in space without being associated with an object.
  • the recognition unit 104 recognizes an operation target by the operation body. Specifically, the recognition unit 104 recognizes an operation target that is a real object existing in the display area. For example, the recognition unit 104 recognizes the switch 1A existing in the projection area 10 as illustrated in FIG. 1 as an operation target.
  • the distance information generation unit 106 generates distance information that changes in accordance with the distance between the operating tool and the input recognition area as an input unit. Specifically, the distance information generation unit 106 calculates the distance between the operating tool and the input recognition area based on the recognition result of the recognition unit 104. For example, the distance information generation unit 106 calculates a distance in the three-dimensional space between the recognized position of the operating tool and the position of the input recognition area. Then, distance information indicating the calculated distance is provided to the control unit 108.
  • the distance information may be an index corresponding to the distance between the operating tool and the input recognition area, in addition to the calculated value described above.
  • the distance information may be information related to a distance in a specific direction between the operating tool and the input recognition area. For example, the distance information may be information related to the distance between the operating tool and the input recognition area in the depth direction for the user.
  • the control unit 108 controls the processing of the information processing apparatus 100 as a whole. Specifically, the control unit 108 controls output related to the virtual object based on the distance information as an output control unit. More specifically, the control unit 108 of at least one first virtual object (hereinafter also referred to as a first feedback image or a first FB image) visually recognized in the display area based on the distance information. Control the display.
  • a first feedback image or a first FB image visually recognized in the display area based on the distance information.
  • the control unit 108 controls whether to display the first FB image based on the distance information and the threshold value of the distance information. Specifically, when the value of the distance information is equal to or less than a first threshold value that is determined in advance, the control unit 108 sends the first FB image to the projection apparatus 300 when the first FB image is unprojected. When the first FB image is being projected, the projection apparatus 300 continues to project the first FB image. Conversely, the control unit 108 causes the projection apparatus 300 to stop projecting the first FB image when the distance information value exceeds the first threshold and the first FB image is being projected. When the first FB image is not projected, the projection apparatus 300 does not project it.
  • the display position of the first FB image is a position on the display area corresponding to the position of the operating body with respect to the operation area.
  • control unit 108 may cause the projection apparatus 300 to stop projecting the first FB image when the distance between the operating tool and the input recognition area is equal to or smaller than the second threshold value.
  • the second threshold value may be a value in which the distance between the operating tool and the input recognition area is considered to be 0 or 0, and the control unit 108 determines that the first threshold value is less than or equal to the second threshold value.
  • the projection apparatus 300 stops the projection of the FB image. That is, when the operating tool reaches the input recognition area, the first FB image disappears.
  • the display and non-display of the first FB image may be switched while the display is changed over a predetermined time. For example, when the first FB image is projected, the control unit 108 performs control so that the transparency of the first FB image decreases with the passage of time. In addition, when the projection of the first FB image is stopped, the control unit 108 performs control so that the transparency of the first FB image increases with time.
  • the change in display is not limited to the change in transparency, and may be blurring, hue, saturation, brightness, luminance, or the like, or a change in which the first FB image is partially erased. Further, whether or not to execute the display change may be switched according to a user setting.
  • the control unit 108 controls the display mode of the first FB image based on the distance information.
  • the display of the first FB image is controlled in various patterns.
  • the display control pattern of the first FB image will be described with reference to FIGS.
  • the control unit 108 controls the mode of the first FB image related to the display range of the first FB image based on the distance information provided from the distance information generation unit 106.
  • the mode of the first FB image to be controlled includes the size of the first FB image.
  • FIG. 7 is a diagram illustrating an example of a first pattern of display control of the first FB image in the information processing apparatus 100 according to an embodiment of the present disclosure. For example, as shown in the left diagram of FIG. 7, the virtual object 20 and the first FB image 30 ⁇ / b> A corresponding to the user's hand are projected onto the projection area 10.
  • the first FB image 30A becomes smaller as shown in the right diagram of FIG. Conversely, when the user's finger moves away from the input recognition area, the first FB image 30A becomes larger.
  • the first FB image 30A is not limited to a circular image, and may be a polygonal or other graphic image.
  • FIG. 8 is a diagram illustrating an example of a second pattern of display control of the first FB image in the information processing apparatus 100 according to an embodiment of the present disclosure.
  • a first FB image 30 ⁇ / b> B like a set of a virtual object 20 and a particle-like object corresponding to the user's hand is projected onto the projection area 10.
  • the particle-like objects are gathered as shown in the right diagram of FIG. 8, so that the first FB image 30B has a predetermined shape (for example, Circle).
  • the particle-like object is dispersed, so that the shape of the first FB image 30B is broken.
  • the degree of shaping of the first FB image is changed according to the distance information.
  • the shape of the first FB image may be changed from an amoeba shape to a circular shape or vice versa based on the distance information.
  • the control unit 108 controls the display of the first FB image having a shape corresponding to the operating body based on the distance information.
  • the first FB image having a shape corresponding to the operating body there is an image pronounced of the shadow of the operating body (hereinafter also simply referred to as the shadow of the operating body).
  • the control unit 108 controls the shadow density of the operation tool based on the distance information.
  • FIG. 9 is a diagram illustrating an example of a third pattern of display control of the first FB image in the information processing apparatus 100 according to an embodiment of the present disclosure. For example, as shown in the left diagram of FIG.
  • the projection area 10 includes a virtual object 20 corresponding to the user's hand and a first FB image 30 ⁇ / b> C such as a shadow of the virtual object 20 (that is, a shadow of the user's hand). Projected. Then, when the user's finger as the operating body approaches the input recognition area, the first FB image 30C becomes dark as shown in the right diagram of FIG. 9 (that is, the light transmittance decreases). On the other hand, when the user's finger moves away from the input recognition area, the first FB image 30C becomes thin (that is, the light transmittance increases).
  • the control unit 108 may control display of a second virtual object (hereinafter also referred to as an operation object image) corresponding to the operation object, and the first FB image may be displayed based on the operation object image.
  • the operation body image there is a generated image such as a captured image or an illustration image of the body part of the user who performs the operation or the operation device.
  • the first FB image having a shape corresponding to the operating tool is determined based on the operating tool image.
  • the operation body image may be the virtual object 20 corresponding to the user's hand as shown in FIG. 9, and the first FB image 30C is generated when the virtual object 20 is irradiated with virtual light. This may be a simulated shadow.
  • the display of the operation tool image may be controlled according to the operation of the operation tool by the user. For example, the operation tool image may be moved or rotated according to the movement or rotation of the operation tool.
  • the control unit 108 controls the visual effect on the first FB image based on the distance information.
  • the visual effect for the first FB image means a visual effect that does not affect the display range such as the size or shape of the first FB image.
  • Such visual effect control for the first FB image includes the transparency of the first FB image. This will be described with reference to FIG. For example, when the user's finger as the operating body approaches the input recognition area, the transparency of the first FB image 30A is the first FB image shown in the left diagram of FIG. 7, as shown in the right diagram of FIG. It becomes lower than 30A. Conversely, when the user's finger moves away from the input recognition area, the transparency of the first FB image 30A increases.
  • the control of the visual effect on the first FB image includes the color of the first FB image. This will be described with reference to FIG.
  • the hue of the first FB image 30B is the first FB image shown in the left diagram of FIG. It is changed to a cold hue (blue) rather than 30B (red).
  • the hue of the first FB image 30B is changed to a warm hue. Note that the texture may be controlled instead of or together with the color.
  • the outline of the first FB image 30C is the first FB image shown in the left diagram of FIG. More blur than 30C.
  • the outline of the first FB image 30C is clarified.
  • control unit 108 controls the display density of the first FB image based on the distance information. This will be described with reference to FIG. For example, when the user's finger, which is the operation body, approaches the input recognition area, parts such as dots forming the first FB image 30B are shown in the left diagram of FIG. 8 as shown in the right diagram of FIG. The first FB image 30B is made denser than the parts forming the first FB image 30B. On the other hand, when the user's finger moves away from the input recognition area, the parts forming the first FB image 30B are dispersed. Note that the display density of the first FB image may be changed within a fixed display range. For example, the number of parts forming the first FB image may be increased or decreased while the display range of the first FB image is fixed.
  • FIG. 10 is a diagram illustrating an example of a fourth pattern of display control of the first FB image in the information processing apparatus 100 according to an embodiment of the present disclosure.
  • the virtual object 20 corresponding to the user's hand and the first FB images 30D1 and 30D2 are projected onto the projection area 10. Then, when the user's finger as the operating body approaches the input recognition area, the first FB images 30D1 and 30D2 approach each other as shown in the right diagram of FIG.
  • the first FB images 30D1 and 30D2 move away.
  • the first FB image 30D is not limited to a triangular image, and may be a circle or quadrilateral or more polygonal image, or an image of a character such as an animal or a person.
  • FIG. 11 is a diagram illustrating an example of a fifth pattern of display control of the first FB image in the information processing apparatus 100 according to an embodiment of the present disclosure.
  • the first FB image 30 ⁇ / b> E indicating the virtual object 20 corresponding to the user's hand and the distance information value in the length in the vertical direction is projected onto the projection area 10. Then, when the user's finger as the operating body approaches the input recognition area, the length of the first FB image 30E becomes shorter as shown in the right diagram of FIG.
  • the first FB image indicating the value of the distance information may be an image indicating a numerical value corresponding to the value of the distance information.
  • the second threshold value described above may be expressed in the first FB image.
  • the second threshold value may be expressed as a center line of the first FB image 30E illustrated in FIG.
  • the first threshold value may be expressed in the first FB image.
  • control unit 108 may control the operation body image as the first FB image. Specifically, the control unit 108 controls the display of the operation tool image based on the distance information.
  • the display control of the operating body image may be substantially the same as a part of the display control of the first FB image described above.
  • FIG. 12 is a diagram illustrating an example of a sixth pattern of display control of the first FB image in the information processing apparatus 100 according to an embodiment of the present disclosure. For example, as shown in the left diagram of FIG. 12, a virtual object 20 that is an operation body image corresponding to the user's hand is projected onto the projection region 10.
  • the virtual object 20 works as the first FB image, the first FB image is not separately projected.
  • the outline of the virtual object 20 is clearer than the virtual object 20 as shown in the left figure of FIG. 12 as shown in the right figure of FIG. Is done.
  • the outline of the virtual object 20 is blurred.
  • the control unit 108 further controls the display of the first FB image based on information related to the operation target (hereinafter also referred to as operation target information).
  • the operation target information includes information related to the mode of the operation target.
  • the control unit 108 controls the display of the first FB image based on information related to the size or shape of the operation target.
  • FIG. 13 is a diagram illustrating an example of display control of the first FB image based on the operation target information in the information processing apparatus 100 according to an embodiment of the present disclosure.
  • the control unit 108 acquires operation target information before starting to display the first FB image. For example, when it is determined to display the first FB image, the control unit 108 acquires information such as the size, shape, or color of the operation target recognized as the operation target information from the recognition unit 104.
  • the control unit 108 controls display of the first FB image based on the operation target information.
  • the control unit 108 performs the first FB image based on the size of the operation target acquired from the recognition unit 104 in addition to the display control of the first FB image determined based on the distance information.
  • Determine the size of For example, in the case 1 of FIG. 13, the size of the first FB image 30H is determined to be a size that includes a predetermined range or more of the operation target 1A. In the example of Case 2 in FIG.
  • the operation target 1C is smaller than the operation target 1A, and therefore the size of the first FB image 30H is determined to be smaller than the size of the first FB image 30H in Case 1. Note that the processing order of the first display control and the second display control may be reversed.
  • the first FB image when the size of the first FB image is smaller than a predetermined size when the size of the first FB image is determined according to the size of the operation target, the first FB image
  • the visual effect of the first FB image may be changed instead of or together with changing the size of.
  • the control unit 108 may increase the transparency of the first FB image while reducing the first FB image to a predetermined size.
  • the operation target when the operation target is a virtual object that is not a real object, the operation target may be enlarged. For example, an icon virtual object such as a magnifying glass is displayed, and when a selection operation is recognized for the icon, the operation target is enlarged and displayed. Thereby, it can suppress that a 1st FB image becomes small too much.
  • the control unit 108 further displays a third virtual object (hereinafter also referred to as a second feedback image or a second FB image) corresponding to an object to be operated by the operating body based on recognition of the input by the operating body.
  • a third virtual object hereinafter also referred to as a second feedback image or a second FB image
  • the control unit 108 determines that an input has been performed by the operating body when the distance information value has reached the second threshold value or less (that is, the operating body has reached the input recognition area). Perform the corresponding process. Further, when the value of the distance information reaches the second threshold value or less, the control unit 108 causes the projection device 300 to project the second FB image corresponding to the operation target.
  • display control of the second FB image will be described with reference to FIG.
  • FIG. 14 is a diagram illustrating an example of display control of the second FB image in the information processing apparatus 100 according to an embodiment of the present disclosure.
  • the control unit 108 determines whether the value of the distance information has reached a second threshold value or less. For example, the control unit 108 periodically determines whether the value of the distance information has reached the second threshold value or less while the first FB image is being projected.
  • the control unit 108 executes processing for the operation target corresponding to the input by the operating tool. For example, when it is determined that the value of the distance information has reached the second threshold value or less, the control unit 108 switches the switch 1B as illustrated in FIG. 14 on or off.
  • the switch 1B itself is not controlled, and the activation or function of the device connected to the switch 1B is turned on or off. Note that the switch 1B itself may be controlled, and the switch 1B may be actually switched on or off.
  • control unit 108 causes the projection device 300 to project the second FB image. For example, if it is determined that the value of the distance information has reached the second threshold value or less, the control unit 108 changes the second FB image 40A as illustrated in the right diagram of FIG. 14 to the position and shape of the switch 1B. In response, the projection device 300 projects the image.
  • the recognition of the input by the operating tool may be realized using information other than the distance information.
  • the control unit 108 controls the display of the second FB image based on the pressure from the operating tool on the input recognition area.
  • the control unit 108 controls the display presence / absence of the second FB image according to the information on the presence / absence of pressure provided from a pressure sensor or the like installed in the input recognition area as the measurement apparatus 200.
  • the display mode of the second FB image may be controlled in accordance with information on the degree of pressure provided from the pressure sensor.
  • control unit 108 may control the display of the second FB image based on a change in the shape of the operation body. For example, the control unit 108 controls whether or not the second FB image is displayed according to the presence or absence of a change in the shape of the user's finger recognized by the recognition unit 104 (for example, a change to a shape to which force is applied). Furthermore, the display mode of the second FB image may be controlled according to the degree of change in shape.
  • FIG. 15 is a flowchart conceptually showing an example of processing of the information processing apparatus 100 according to an embodiment of the present disclosure.
  • the information processing apparatus 100 acquires distance information related to the distance between the position of the operating tool and the input recognition area (step S402). Specifically, the recognition unit 104 recognizes the operating tool and the input recognition area based on the measurement result of the measuring apparatus 200, and the distance information generation unit 106 relates to the distance between the recognized operating tool and the input recognition area. Generate distance information.
  • the information processing apparatus 100 determines whether the value of the distance information is equal to or less than the first threshold (step S404). Specifically, the control unit 108 determines whether the value of the generated distance information is equal to or less than the first threshold value.
  • the information processing apparatus 100 acquires the operation target information (step S406). Specifically, when it is determined that the value of the distance information is equal to or less than the first threshold value, the recognition unit 104 recognizes the operation target aspect and provides it to the control unit 108.
  • the information processing apparatus 100 determines the control content of the first FB image based on the distance information and the operation target information (step S408). Specifically, the control unit 108 determines the first display control for the first FB image based on the distance information, and further performs the second display based on the mode of the operation target recognized by the recognition unit 104. Determine control.
  • the information processing apparatus 100 displays the first FB image on the display device (step S410).
  • the control unit 108 causes the projection device 300 to project the first FB image by executing the determined first and second display controls.
  • the information processing apparatus 100 determines whether the value of the distance information is equal to or less than the second threshold (step S412). Specifically, the control unit 108 determines whether the value of the distance information has become equal to or smaller than the second threshold after the first FB image is projected.
  • the information processing apparatus 100 displays the second FB image on the display device (step S414). Specifically, when it is determined that the value of the distance information is equal to or less than the second threshold, the control unit 108 causes the projection device 300 to project the second FB image.
  • the information processing apparatus 100 determines whether the value of the distance information exceeds the second threshold (step S416). Specifically, the control unit 108 determines whether the value of the distance information has exceeded the second threshold value after the second FB image is projected.
  • step S416 If it is determined that the value of the distance information exceeds the second threshold (step S416 / YES), the information processing apparatus 100 stops displaying the FB image (step S418). Specifically, when it is determined that the distance information value exceeds the second threshold value, control unit 108 causes projection device 300 to stop projecting the first and second FB images. Note that the control unit 108 may cause the projection apparatus 300 to stop projecting the first FB image when the second FB image is projected in step S414.
  • the information processing apparatus 100 recognizes an operation body recognized in an operation area different from a display area where a virtual object is visually recognized, and an input by the operation body in the operation area.
  • the output related to the virtual object is controlled based on distance information that changes according to the distance to the input recognition area.
  • a guideline for the distance between the position of the operating tool and the position where the input of the operation by the operating tool is recognized (hereinafter also referred to as a sense of distance related to the operation). Can be presented to the user. Therefore, the user can intuitively operate the operating tool while looking at the display area. Therefore, it is possible to suppress a decrease in operability when the display area and the operation area are different.
  • the information processing apparatus 100 is meaningful because an operation in the depth direction for a user in a three-dimensional space is more difficult for the user to grasp a sense of distance than an operation in another direction (for example, up, down, left, and right directions).
  • intuitive operation is possible, learning about input operation can be accelerated.
  • the output includes a display of at least one first virtual object. For this reason, it is possible to make it easier for the user who views the display area to grasp the sense of distance related to the operation.
  • visual sense makes it easy to understand a lot of information at a time compared to other senses, so that a sense of distance related to the operation can be grasped in a relatively short time.
  • the output may be an output other than the display of the first FB image.
  • the output may be sound or haptic vibration.
  • generation of sound such as mechanical sound or sound or tactile vibration is started.
  • the value of the distance information becomes equal to or less than the second threshold value.
  • the sound or haptic vibration is stopped.
  • the type of sound or haptic vibration may be switched instead of stopping the sound or haptic vibration.
  • sound or tactile vibration may be used together with the display of the first FB image.
  • a sound or haptic vibration output based on the distance information may be output instead of or together with the display of the first FB image. May be done. In this case, even in a situation where the visibility of the first FB image cannot be ensured, the user can be made aware of the sense of distance related to the operation.
  • the information processing apparatus 100 controls the aspect of the first virtual object related to the display range of the first virtual object based on the distance information. For this reason, when the display range of the first FB image changes, it is possible to make the user easily notice a change in the sense of distance related to the operation. Therefore, it is possible to promote improvement in the accuracy of operation by the user.
  • the aspect of the first virtual object includes the size or shape of the first virtual object. Therefore, by changing the size or shape of the first FB image according to the distance information, the user can intuitively understand the sense of distance related to the operation.
  • the information processing apparatus 100 controls the positional relationship between the plurality of first virtual objects based on the distance information. For this reason, for example, when the distances of the plurality of first FB images change according to the distance information, the user can intuitively and more accurately understand the sense of distance related to the operation.
  • the information processing apparatus 100 controls the visual effect on the first virtual object based on the distance information. For this reason, the visual effect that does not change the display range of the first FB image is used, so that even when a display range sufficient for displaying the first FB image cannot be secured, the sense of distance related to the operation can be obtained. It can be presented to the user. Therefore, it is possible to achieve both visibility of the display area and transmission of a sense of distance related to the operation.
  • control of the visual effect for the first virtual object includes control of transparency, blurring or color of the first virtual object. For this reason, it is possible to make the user effectively recognize the sense of distance related to the operation without changing the display range.
  • the information processing apparatus 100 controls the display density of the first virtual object based on the distance information. For this reason, by controlling the height of the display density according to the distance information, the user can intuitively understand the sense of distance related to the operation.
  • the first virtual object includes a virtual object having a shape corresponding to the operation body. For this reason, it can be made easy for the user to understand that the first FB image is related to the operating tool operated by the user.
  • the first virtual object includes a virtual object that expresses a value of distance information. For this reason, it is possible to present a sense of distance related to an accurate operation by the user. Therefore, learning about input operation can be further accelerated.
  • the information processing apparatus 100 further controls the display of the second virtual object corresponding to the operating body, and the first virtual object includes a virtual object displayed based on the second virtual object. For this reason, by displaying the operation tool image corresponding to the operation tool, it is possible to make it easier for the user to grasp the location corresponding to the user operation in the display area. Furthermore, by displaying the first FB image based on the operating body image, it is possible to reduce the user's uncomfortable feeling with respect to the first FB image. Therefore, the user can naturally understand the sense of distance related to the operation.
  • the display area includes an area that includes an operation target by the operating tool
  • the information processing apparatus 100 further controls display of the first virtual object based on information related to the operation target. For this reason, for example, when the display of the first FB image is controlled according to the mode of the operation target, either the visibility of the first FB image or the visibility of the operation target is unilaterally reduced. This can be suppressed. Therefore, it is possible to achieve both maintenance or improvement of the operability of the operation target and grasping a sense of distance related to the operation.
  • the information processing apparatus 100 controls whether or not the first virtual object is displayed based on the threshold value of the distance information. Therefore, the first FB image can be displayed only in a situation where it is estimated that the user desires a sense of distance related to the operation. Accordingly, it is possible to present the user with a sense of distance related to the operation while suppressing a decrease in the visibility of the display area.
  • the information processing apparatus 100 further controls the display of the third virtual object corresponding to the target of the operation by the operation body based on the recognition of the input by the operation body. For this reason, it can be shown to the user that the input has been accepted. Therefore, the user can move to the next operation or cancel the operation, and usability can be improved.
  • the first FB image may be displayed without displaying the operation tool image.
  • the control unit 108 displays only the first FB image in the display area.
  • the display control pattern of the first FB image in the present modification will be described with reference to FIGS.
  • the display control patterns that are substantially the same as the first to sixth display control patterns described above will be described briefly, and the other display control patterns will be described in detail.
  • the control unit 108 controls the aspect and visual effect of the first FB image related to the display range of the first FB image based on the distance information. Specifically, the size of the first FB image and the transparency of the first FB image are controlled.
  • FIG. 16 is a diagram illustrating an example of a seventh pattern of display control of the first FB image in the information processing apparatus 100 according to the first modification example of the embodiment of the present disclosure. For example, as shown in the left diagram of FIG. 16, the virtual object 20 corresponding to the user's hand is not projected on the projection area 10, and only the first FB image 30F is projected.
  • the first FB image 30F has two parts, an outer circle and an inner circle.
  • the outer circle of the first FB image 30F becomes smaller and the transparency of the inner circle becomes lower as shown in the right diagram of FIG.
  • the outer circle of the first FB image 30F increases and the transparency of the inner circle increases.
  • FIG. 17 is a diagram illustrating an example of an eighth pattern of display control of the first FB image in the information processing apparatus 100 according to the first modification example of the embodiment of the present disclosure.
  • the virtual object 20 corresponding to the user's hand is not projected on the projection area 10, and only the first FB image 30B such as a set of particle-like objects is projected.
  • the particle-like objects are gathered as shown in the right diagram of FIG. 17 so that the first FB image 30B has a predetermined shape (for example, Circle).
  • FIG. 18 is a diagram illustrating an example of a ninth pattern of display control of the first FB image in the information processing apparatus 100 according to the first modification example of the embodiment of the present disclosure.
  • the virtual object 20 corresponding to the user's hand is not projected on the projection area 10, and only the first FB image 30 ⁇ / b> C like the shadow of the user's hand is projected. .
  • the first FB image 30C becomes dark as shown in the right diagram of FIG.
  • FIG. 19 is a diagram illustrating an example of a tenth pattern of display control of the first FB image in the information processing apparatus 100 according to the first modification example of the embodiment of the present disclosure.
  • the virtual object 20 corresponding to the user's hand is not projected on the projection area 10
  • the first FB images 30G1 and 30G2 and the first FB images 30G1 and 30G2 are displayed. Only the connecting line image 30G3 is projected.
  • the first FB images 30G1 and 30G2 approach as shown in the right diagram of FIG. 19, and the first FB image 30G3 is shortened.
  • FIG. 20 is a diagram illustrating an example of an eleventh pattern of display control of the first FB image in the information processing apparatus 100 according to the first modification example of the embodiment of the present disclosure.
  • the virtual object 20 corresponding to the user's hand is not projected on the projection area 10, and only the first FB image 30E indicating the distance information value in the length in the vertical direction. Is projected. Then, when the user's finger as the operating body approaches the input recognition area, the length of the first FB image 30E becomes shorter as shown in the right diagram of FIG.
  • the information processing apparatus 100 displays the first FB image on the display device without displaying the operation tool image. For this reason, the visibility of the first FB image can be improved. In addition, when the operation target exists in the display area, the visibility of the operation target can be improved.
  • the information processing apparatus 100 may control display of the first FB image based on the position of the operation target. Specifically, the control unit 108 causes the display device to display the first FB image while avoiding the operation target. Furthermore, with reference to FIG. 21, the process of this modification is demonstrated.
  • FIG. 21 is a diagram illustrating an example of display control of the first FB image based on the operation target information in the information processing apparatus 100 according to the second modification example of the embodiment of the present disclosure.
  • the control unit 108 causes the display device to display the first FB image when the value of the distance information is equal to or less than the first threshold value. For example, as shown in the left diagram of FIG. 21, the first FB image 30H and the virtual object 20 are projected.
  • control unit 108 moves the first FB image according to the movement of the operating body.
  • the control unit 108 causes the projection device 300 to change the projection position of the first FB image 30H to a position on the display area according to the movement of the user's finger.
  • the virtual object 20 is also moved in the same manner as the first FB image 30H.
  • the control unit 108 determines the position of the first FB image as a position separated from the operation target. For example, when the virtual object 20 is moved in accordance with the movement of the operating body as shown in the right diagram of FIG. 21, the switch 1A whose operation target is the destination of the first FB image according to the movement of the operating body. It is. Therefore, the control unit 108 determines the moving destination of the first FB image at a position adjacent to the switch 1A without overlapping the switch 1A as shown in the right diagram of FIG. Further, the control unit 108 determines a change destination of the movement destination of the first FB image based on the position of the virtual object 20. For example, the control unit 108 determines a position that is within a predetermined range from the virtual object 20 and does not overlap the switch 1A as the movement destination of the first FB image.
  • the information processing apparatus 100 controls the display of the first FB image based on the position of the operation target. Therefore, the first FB image can be displayed at a position where the operation target and the first FB image do not overlap. Therefore, both the visibility of the first FB image and the visibility of the operation target can be made compatible, and it is possible to more reliably suppress a decrease in operability.
  • the information processing apparatus 100 may select the first FB image based on the operation target or the color, pattern, or texture of the display area.
  • the control unit 108 causes the projection device 300 to project a first FB image having a color, pattern, or texture that is not the same as or similar to the operation target or the display area. In this case, the visibility of the first FB image can be ensured.
  • FIG. 22 is a diagram illustrating a display example of a plurality of first FB images in the information processing apparatus 100 according to the third modification example of the embodiment of the present disclosure.
  • the control unit 108 causes the display device to display the first FB image for each of the plurality of operating bodies recognized by the recognition unit 104.
  • the control unit 108 recognizes two fingers (thumb and index finger) as shown in FIG. 22 by the recognition unit 104, and when the value of the distance information regarding the two fingers is equal to or less than a first threshold value, The first FB image 30A is projected onto the projection device 300 for each of the two fingers.
  • the value of the distance information is not more than the first threshold for only some of the operating bodies, even if the first FB image is displayed only for the some operating bodies,
  • the first FB image may be displayed for all of the plurality of operating bodies, and the first FB image may not be displayed for all of the plurality of operating bodies.
  • any of the first FB images described above may be projected as the first FB image.
  • control unit 108 may control the display of the second FB image based on operations by a plurality of operating bodies. Specifically, the control unit 108 displays the second FB image on the display device when the inputs from the plurality of operating bodies are recognized, and changes the mode of the second FB image in accordance with the subsequently input operation. Control. With reference to FIG. 23, the display control of the second FB image based on operations by a plurality of operating bodies will be described in detail.
  • FIG. 23 is a diagram illustrating an example of display control of the second FB image in the information processing apparatus 100 according to the third modification example of the embodiment of the present disclosure.
  • the control unit 108 causes the display device to display the second FB image when the value of the distance information for the plurality of operating objects reaches the second threshold value or less. For example, when the user's thumb and forefinger are operating objects, and each of the distance information values related to the operating object reaches a second threshold value or less, the triangular second FB as shown in the middle diagram of FIG. The image 40B is projected at a predetermined position on the scale of the dial 1D that is the operation target.
  • the control unit 108 controls the display mode of the second FB image based on an operation performed while the value of the distance information remains below the second threshold value. For example, when an operation of rotating the hand with two fingers that are operating bodies fixed to the hand is performed, the position of the second FB image 40B is the rotation angle of the hand as shown in the right diagram of FIG. Accordingly, the dial 1D is rotated around the dial 1D. Further, the control unit 108 may actually rotate the dial 1D. For example, the control unit 108 causes the device to rotate the dial 1D by transmitting a rotation instruction for the dial 1D to the device including the dial 1D.
  • the information processing apparatus 100 controls the display of the first FB image according to the number of operating bodies. Therefore, it is possible to present a sense of distance to the user even in a complicated operation using a plurality of operation bodies. Therefore, the operability in the complicated operation can be improved.
  • the information processing apparatus 100 controls the display of the second FB image based on operations by a plurality of operating bodies. For this reason, the user can operate an operation target that requires a more complicated operation than an operation with a single operation body. Therefore, the application range of the information processing apparatus 100 can be expanded.
  • the information processing apparatus 100 controls display of the first FB image based on information related to a user who operates the operating tool (hereinafter also referred to as user information). .
  • user information there is information (hereinafter also referred to as proficiency level information) related to the user's proficiency level for the operation.
  • the recognition unit 104 identifies a user who performs an operation, and the control unit 108 acquires proficiency level information of the identified user. Then, the control unit 108 controls the display of the first FB image based on the proficiency level information.
  • FIG. 24 is a diagram illustrating an example of display control of the first FB image in the information processing apparatus 100 according to the fourth modification example of an embodiment of the present disclosure.
  • the recognition unit 104 recognizes a user who performs an operation in the operation area. For example, the recognizing unit 104 acquires image information of a user who performs an operation in the operation area from the measurement apparatus 200 via the communication unit 102. And the recognition part 104 recognizes a user using a face recognition technique based on the acquired image information.
  • the user recognition method is not limited to this, and any other method may be used.
  • control unit 108 acquires the proficiency level information of the recognized user. For example, the control unit 108 calculates the proficiency level of the operation from the operation history for the user recognized by the recognition unit 104.
  • the proficiency level information may be stored in the information processing apparatus 100 or may be stored in an external apparatus.
  • the control part 108 determines the aspect of a 1st FB image based on the acquired proficiency level information. Specifically, the control unit 108 causes the display device to display a first FB image having a size corresponding to the proficiency level information. For example, the control unit 108 causes the projection device 300 to project a larger first FB image as the calculated or acquired proficiency level is higher. As shown in FIG. 24, the first FB image 30H one week after the start of use is projected smaller than the first FB image 30H three days after the start of use of the information processing apparatus 100. This is because the proficiency level for the operation is considered to increase as the elapsed time from the start of use increases.
  • the aspect according to the proficiency level may be the shape, the display position, or the visual effect as described above.
  • the user information includes user identification information.
  • the control unit 108 controls the aspect of the first FB image according to the individual user identified by the recognition unit 104.
  • the user information includes user attribute information.
  • the control unit 108 controls the mode of the first FB image according to the age, sex, address, nationality, etc. of the user recognized by the recognition unit 104.
  • the information processing apparatus 100 further controls the display of the first FB image based on the information related to the user who operates the operating tool.
  • the operation action generally differs from user to user based on the proficiency level or nature of the user. Therefore, as in the present modification, the first FB image is changed according to the user, thereby providing a sense of distance related to an operation more suitable for each user.
  • the first threshold value of the distance information may be variable.
  • the control unit 108 controls the first threshold value based on the distance information. For example, when the difference between the value of the distance information and the first threshold is within a predetermined range, the control unit 108 changes the first threshold to a value that increases the difference between the value of the distance information and the first threshold. change. With reference to FIG. 25, the process of this modification is demonstrated.
  • FIG. 25 is a diagram illustrating an example of control of the first threshold value of the distance information in the information processing apparatus 100 according to the fifth modification example of the embodiment of the present disclosure.
  • the control of the first threshold before displaying the first FB image will be described with reference to Case 3 in FIG.
  • the control unit 108 decreases the first threshold value. For example, when the user's finger as the operating body is brought close to a predetermined height higher than the first threshold 60A, the first threshold is lowered from the first threshold 60A to 60B.
  • the control unit 108 causes the display device to display the first FB image. For example, after the first threshold value is lowered to the first threshold value 60B, when the user's finger is further lowered to the first threshold value 60B or less, the input by the user's finger is recognized. That is, the first FB image is projected onto the projection area.
  • the control unit 108 increases the first threshold value. For example, when the user's finger as the operating body is brought close to a predetermined height lower than the first threshold 60A, the first threshold is raised from the first threshold 60A to 60C.
  • the control unit 108 causes the display device to stop displaying the first FB image. For example, after the first threshold value is raised to the first threshold value 60C, the projection of the first FB image is stopped when the user's finger is further raised to exceed the first threshold value 60C.
  • control unit 108 may control the first threshold value based on information related to the operating tool (hereinafter also referred to as operating tool information).
  • operating tool information there is information relating to the mode of the operating tool.
  • the control unit 108 controls the first threshold value based on the size of the operation tool. For example, the first threshold is set such that the larger the user's finger, the higher the first threshold.
  • the control unit 108 may control the first threshold value based on the speed of movement of the operating tool. For example, the first threshold value is set such that the higher the moving speed or acceleration of the user's finger, the higher the first threshold value.
  • control unit 108 may control the first threshold value based on the user information. Specifically, the control unit 108 may control the first threshold value based on user attribute information.
  • User attribute information includes information such as the user's age, gender or dominant hand.
  • the first threshold is set such that the first threshold increases as the user's age increases.
  • FIG. 26 conceptually illustrates an example of processing in which control of the first threshold value using the operating tool information or user information is added in the information processing apparatus 100 according to the fifth modification example of the embodiment of the present disclosure. It is a flowchart.
  • the information processing apparatus 100 acquires operating tool information or user information (step S502). Specifically, the recognizing unit 104 recognizes the operating tool and the mode of the operating tool existing in the operation area, and provides the control unit 108 with information related to the recognized operating tool mode. The recognizing unit 104 recognizes a user existing in the operation area by using a face recognition technique or the like, and provides the control unit 108 with identification information of the recognized user.
  • the information processing apparatus 100 determines the first threshold value based on the operating tool information or the user information (step S504). Specifically, the control unit 108 changes the first threshold value from the reference value based on the acquired information related to the operation object. In addition, the control unit 108 changes the first threshold value from the reference value based on the user attribute information acquired based on the acquired user identification information. Of course, the first threshold value may not be changed as a result.
  • steps S506 to S522 The processing after the determination of the first threshold (steps S506 to S522) is substantially the same as the processing described with reference to FIG.
  • a plurality of first threshold values of distance information may be provided.
  • the control unit 108 selects the first threshold value used for the display control process of the first FB image from the plurality of first threshold values based on the operating tool information or the user information. For example, when the speed of movement of the operating tool is equal to or higher than a predetermined value, the control unit 108 selects a first threshold value that is higher than the reference value (that is, the distance between the operating tool and the input recognition area is long). Then, when the value of the distance information reaches the selected first threshold value or less, the control unit 108 causes the projection device 300 to project the first FB image.
  • the information processing apparatus 100 controls the first threshold value based on the distance information. For this reason, the display time of a 1st FB image can be optimized by changing the 1st threshold according to a situation. Therefore, it is possible to make the user more surely sense the sense of distance related to the operation, and to suppress a reduction in the visibility of the display area due to the display of the first FB image.
  • the information processing apparatus 100 controls the first threshold value based on information related to the operating tool.
  • the larger the operating body or the faster the operating body moves the shorter the time it takes for the operating body to reach the input recognition area, and the shorter the display time of the first FB image. Therefore, the display time of the first FB image can be optimized by setting the first threshold according to the operating tool. This makes it possible for the user to reliably grasp the sense of distance related to the operation.
  • the information processing apparatus 100 controls the first threshold based on information related to the user.
  • the time required for grasping the sense of distance related to the operation varies depending on the user. For example, the longer the user's age, the longer it takes to grasp the sense of distance related to the operation. Therefore, the display time of the first FB image can be optimized for the user by setting the first threshold according to the user. This makes it possible for the user to reliably grasp the sense of distance related to the operation.
  • the information processing apparatus 100 selects a first threshold used for display control of the first FB image from a plurality of first thresholds. For this reason, the control process of the first threshold value can be simplified as compared with the case where the single first threshold value fluctuates. Therefore, it is possible to speed up the control process of the first threshold value, and it is possible to suppress the time lag between the user operation and the display of the first FB image.
  • a plurality of users may perform operations.
  • the control unit 108 performs display control of the first FB image based on the distance information for each operating body operated by a plurality of users.
  • the recognizing unit 104 recognizes a plurality of users who perform operations in the operation area, and recognizes an operating body operated by each user.
  • the distance information generation unit 106 generates distance information for each recognized operating tool.
  • the control unit 108 causes the projection device 300 to project the first FB image based on whether the value of the generated distance information is equal to or less than the first threshold value for each of the operating bodies.
  • control unit 108 causes the display device to display the first FB image and the operation tool image corresponding to each of the operation tools related to the user.
  • a first FB image having an identification mode corresponding to each user is displayed.
  • a first FB image that is a color, pattern, shape, or figure corresponding to each user is projected.
  • the identification mode of the first FB image may be determined based on information related to the recognized user.
  • the color of the first FB image may be determined from the color of clothes worn by the recognized user.
  • an operation body image of an identification mode corresponding to each user is displayed.
  • the control unit 108 acquires each image of the operating body related to a plurality of users from the captured image, and causes the projection device 300 to project each acquired image.
  • the operation body image may be a generated image such as an illustration image as described above, and in this case, a generated image corresponding to each user is used.
  • the first FB image corresponding to the operating tool related to the user may be displayed only when the operating tool image corresponding to the operating tool related to the user is not displayed.
  • the information processing apparatus 100 performs display control of the first FB image based on the distance information for each of the operating bodies operated by a plurality of users. For this reason, even when a plurality of users perform operations at the same time in an operation area provided at a location different from the display area, the operability of each user is reduced by presenting a sense of distance to each user. Can be suppressed. In addition, since the first FB image is displayed so as to be individually identifiable for each user, each user can perform an operation without being confused.
  • FIG. 27 is an explanatory diagram illustrating a hardware configuration of the information processing apparatus 100 according to an embodiment of the present disclosure.
  • the information processing apparatus 100 includes a processor 132, a memory 134, a bridge 136, a bus 138, an interface 140, an input device 142, an output device 144, a storage device 146, a drive 148, a connection port 150, and a communication device. 152.
  • the processor 132 functions as an arithmetic processing unit, and realizes the functions of the recognition unit 104, the distance information generation unit 106, and the control unit 108 in the information processing apparatus 100 in cooperation with various programs.
  • the processor 132 operates various logical functions of the information processing apparatus 100 by executing a program stored in the memory 134 or another storage medium using the control circuit.
  • the processor 132 may be a central processing unit (CPU), a graphics processing unit (GPU), a digital signal processor (DSP), or a system-on-a-chip (SoC).
  • the memory 134 stores a program used by the processor 132 or an operation parameter.
  • the memory 134 includes a RAM (Random Access Memory), and temporarily stores a program used in the execution of the processor 132 or a parameter that changes as appropriate in the execution.
  • the memory 134 includes a ROM (Read Only Memory), and the function of the storage unit is realized by the RAM and the ROM. Note that an external storage device may be used as part of the memory 134 via the connection port 150 or the communication device 152.
  • processor 132 and the memory 134 are connected to each other by an internal bus including a CPU bus or the like.
  • the bridge 136 connects the buses. Specifically, the bridge 136 connects an internal bus to which the processor 132 and the memory 134 are connected and a bus 138 to be connected to the interface 140.
  • the input device 142 is used for a user to operate the information processing apparatus 100 or input information to the information processing apparatus 100.
  • the input device 142 includes input means for a user to input information, an input control circuit that generates an input signal based on an input by the user, and outputs the input signal to the processor 132.
  • the input means may be a mouse, keyboard, touch panel, switch, lever, microphone, or the like.
  • a user of the information processing apparatus 100 can input various data or instruct a processing operation to the information processing apparatus 100 by operating the input device 142.
  • the output device 144 is used to notify the user of information.
  • the output device 144 may be a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device, a projector, a speaker, a headphone, or the like, or a module that performs output to the device.
  • LCD liquid crystal display
  • OLED Organic Light Emitting Diode
  • the input device 142 or the output device 144 may include an input / output device.
  • the input / output device may be a touch screen.
  • the storage device 146 is a device for storing data.
  • the storage device 146 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 146 stores programs executed by the CPU 132 and various data.
  • the drive 148 is a storage medium reader / writer, and is built in or externally attached to the information processing apparatus 100.
  • the drive 148 reads information stored in a mounted removable storage medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and outputs the information to the memory 134.
  • the drive 148 can also write information on a removable storage medium.
  • connection port 150 is a port for directly connecting a device to the information processing apparatus 100.
  • the connection port 150 may be a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, or the like.
  • the connection port 150 may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, or the like. Data may be exchanged between the information processing apparatus 100 and the external device by connecting the external device to the connection port 150.
  • the communication device 152 mediates communication between the information processing device 100 and the external device, and realizes the function of the communication unit 102. Specifically, the communication device 152 executes communication according to a wireless communication method or a wired communication method. For example, the communication device 152 performs wireless communication according to a cellular communication method such as WCDMA (registered trademark) (Wideband Code Division Multiple Access), WiMAX (registered trademark), LTE (Long Term Evolution), or LTE-A.
  • WCDMA registered trademark
  • WiMAX registered trademark
  • LTE Long Term Evolution
  • LTE-A Long Term Evolution
  • the communication device 152 may be a short-range wireless communication method such as Bluetooth (registered trademark), NFC (Near Field Communication), wireless USB or TransferJet (registered trademark), or a wireless LAN (Local trademark) such as Wi-Fi (registered trademark).
  • Wireless communication may be executed according to an arbitrary wireless communication method such as an area network method.
  • the communication device 152 may execute wired communication such as signal line communication or wired LAN communication.
  • the information processing apparatus 100 may not have a part of the configuration described with reference to FIG. 27, or may have any additional configuration. Further, a one-chip information processing module in which all or part of the configuration described with reference to FIG. 27 is integrated may be provided.
  • a reference (hereinafter, also referred to as a sense of distance related to an operation) about a distance between a position of an operation body and a position where an operation input by the operation body is recognized is described.
  • the information processing apparatus 100 is meaningful because an operation in the depth direction for a user in a three-dimensional space is more difficult for the user to grasp a sense of distance than an operation in another direction (for example, up, down, left, and right directions).
  • intuitive operation is possible, learning about input operation can be accelerated.
  • the distance information is information related to the distance in the depth direction for the user
  • the present technology is not limited to such an example.
  • the distance information may be any one of the up, down, left, and right directions for the user or a specific direction other than that.
  • the measurement device 200 may be a visible light imaging device, a laser distance sensor, an ultrasonic sensor, or the like.
  • the virtual object is generated by another display apparatus having a different operation area and display area. May be displayed.
  • the virtual object is a HUD (Head Up Display) in which the image of the external image is transmitted and the image is displayed on the display unit, or the image light related to the image is projected on the user's eyes, or the captured external image and image. May be displayed by HMD (Head Mount Display) or the like.
  • the operation area and the input recognition area may be recognized by the recognition unit 104 .
  • the operation area and the input recognition area may be acquired by other methods.
  • information such as the positions and sizes of the operation area and the input recognition area may be stored in advance in the information processing apparatus 100 or may be acquired from an external apparatus via communication. Further, the operation area and the input recognition area may be fixed.
  • the information processing system may be a server client type system or a cloud service type system.
  • the information processing apparatus 100 may be a server installed at a place different from the place where the measurement apparatus 200 and the projection apparatus 300 are installed.
  • Input that obtains distance information that varies depending on the distance between an operation body that is recognized in an operation area different from the display area where the virtual object is visually recognized and an input recognition area in which the input by the operation body is recognized in the operation area.
  • An output control unit that controls an output related to the virtual object based on the distance information;
  • An information processing apparatus comprising: (2) The output includes a display of at least one first virtual object; The information processing apparatus according to (1). (3) The output control unit controls an aspect of the first virtual object related to a display range of the first virtual object based on the distance information. The information processing apparatus according to (2). (4) The aspect of the first virtual object includes the size or shape of the first virtual object. The information processing apparatus according to (3).
  • the output control unit controls a positional relationship between the plurality of first virtual objects based on the distance information;
  • the information processing apparatus according to any one of (2) to (4).
  • the output control unit controls a visual effect of the first virtual object based on the distance information;
  • Controlling visual effects for the first virtual object includes controlling transparency, blurring or color of the first virtual object;
  • the output control unit controls a display density of the first virtual object based on the distance information.
  • the first virtual object includes a virtual object having a shape corresponding to the operation body.
  • the first virtual object includes a virtual object representing a value of the distance information.
  • the information processing apparatus according to any one of (2) to (9).
  • the output control unit further controls display of a second virtual object corresponding to the operation body, The first virtual object includes a virtual object displayed based on the second virtual object.
  • the display area includes an area that includes an object to be operated by the operating body, The output control unit further controls display of the first virtual object based on information related to the operation target.
  • the output control unit further controls display of the first virtual object according to the number of the operating bodies.
  • the output control unit further controls display of the first virtual object based on information relating to a user who operates the operating body.
  • the information processing apparatus according to any one of (2) to (13).
  • the output control unit controls whether to display the first virtual object based on a threshold value of the distance information;
  • the output control unit controls the threshold based on the distance information;
  • the output control unit controls the threshold based on information on the operating tool or information on a user operating the operating tool;
  • the output control unit further controls display of a third virtual object according to an operation target by the operating body based on recognition of an input by the operating body.
  • the information processing apparatus according to any one of (2) to (17).
  • (19) Using a processor Obtaining distance information that varies depending on the distance between an operation body recognized in an operation area different from a display area where a virtual object is visually recognized and an input recognition area in the operation area where an input by the operation body is recognized.
  • Controlling output related to the virtual object based on the distance information An information processing method including: (20) Input that obtains distance information that varies depending on the distance between an operation body that is recognized in an operation area different from the display area where the virtual object is visually recognized and an input recognition area in which the input by the operation body is recognized in the operation area.
  • Function and An output control function for controlling an output related to the virtual object based on the distance information;

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

表示領域と操作領域とが異なる場合における操作性の低下を抑制することが可能な仕組みを提供する。仮想オブジェクトが視認される表示領域と異なる操作領域において認識される操作体と、前記操作領域における前記操作体による入力が認識される入力認識領域と、の距離に応じて変化する距離情報を得る入力部と、前記距離情報に基づいて前記仮想オブジェクトに関する出力を制御する出力制御部と、を備える情報処理装置ならびに前記情報処理装置に係る情報処理方法およびプログラム。

Description

情報処理装置、情報処理方法およびプログラム
　本開示は、情報処理装置、情報処理方法およびプログラムに関する。
　近年、情報処理技術の発展に伴い、装置を操作するための入力に関して様々な技術が研究開発されている。具体的には、タッチスクリーンなどを用いた二次元空間における入力に関する技術または認識されるユーザのジェスチャなどに基づく三次元空間における入力に関する技術がある。
　ここで、ユーザの意図する操作が装置に認識されない場合がある。例えば、操作が認識される領域（以下、操作領域とも称する。）を意識せずにユーザが操作を行うと、操作の一部または全部が操作領域外で行われることがある。この場合、装置では操作領域外で行われた操作が認識されない。その結果、ユーザの意図する操作に関する処理が実行されなかったり、ユーザの意図する操作と異なる操作に関する処理が実行されたりしかねない。
　これに対し、特許文献１では、操作を行うユーザが映る撮像画像および操作領域外を示す黒画像を表示し、操作領域外にユーザが近づいたことをユーザへ通知する画像を当該黒画像に重畳する画像処理装置が開示されている。
特開２０１３－２５７７６２号公報
　しかし、特許文献１の開示に代表される従来の技術では、操作に係る仮想オブジェクトが視認される表示領域と操作領域とが異なる場合に、操作性が低下するおそれがある。例えば、上述したタッチスクリーンなどの装置では、表示領域と操作領域とが一致する。そのため、ユーザは表示領域を見ながら自身の操作を確認することができる。しかし、ジェスチャ操作などを認識する装置では、表示領域と操作領域とが異なる。そのため、ユーザは表示領域を見ている間は自身の操作を確認することができない。その結果、ユーザは操作を誤るおそれがある。
　そこで、本開示では、表示領域と操作領域とが異なる場合における操作性の低下を抑制することが可能な仕組みを提案する。
　本開示によれば、仮想オブジェクトが視認される表示領域と異なる操作領域において認識される操作体と、前記操作領域における前記操作体による入力が認識される入力認識領域と、の距離に応じて変化する距離情報を得る入力部と、前記距離情報に基づいて前記仮想オブジェクトに関する出力を制御する出力制御部と、を備える情報処理装置が提供される。
　また、本開示によれば、プロセッサを用いて、仮想オブジェクトが視認される表示領域と異なる操作領域において認識される操作体と、前記操作領域における前記操作体による入力が認識される入力認識領域と、の距離に応じて変化する距離情報を得ることと、前記距離情報に基づいて前記仮想オブジェクトに関する出力を制御することと、を含む情報処理方法が提供される。
　また、本開示によれば、仮想オブジェクトが視認される表示領域と異なる操作領域において認識される操作体と、前記操作領域における前記操作体による入力が認識される入力認識領域と、の距離に応じて変化する距離情報を得る入力機能と、前記距離情報に基づいて前記仮想オブジェクトに関する出力を制御する出力制御機能と、をコンピュータに実現させるためのプログラムが提供される。
　以上説明したように本開示によれば、表示領域と操作領域とが異なる場合における操作性の低下を抑制することが可能な仕組みが提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理システムの構成例を示す図である。 本開示の一実施形態に係る情報処理装置の機能構成の例を概略的に示すブロック図である。 本開示の一実施形態に係る情報処理システムにおける入力認識領域の例を示す図である。 本開示の一実施形態に係る情報処理システムにおける入力認識領域の例を示す図である。 本開示の一実施形態に係る情報処理システムにおける入力認識領域の例を示す図である。 本開示の一実施形態に係る情報処理システムにおける入力認識領域の例を示す図である。 本開示の一実施形態に係る情報処理装置における第１のＦＢ画像の表示制御の第１のパターンの例を示す図である。 本開示の一実施形態に係る情報処理装置における第１のＦＢ画像の表示制御の第２のパターンの例を示す図である。 本開示の一実施形態に係る情報処理装置における第１のＦＢ画像の表示制御の第３のパターンの例を示す図である。 本開示の一実施形態に係る情報処理装置における第１のＦＢ画像の表示制御の第４のパターンの例を示す図である。 本開示の一実施形態に係る情報処理装置における第１のＦＢ画像の表示制御の第５のパターンの例を示す図である。 本開示の一実施形態に係る情報処理装置における第１のＦＢ画像の表示制御の第６のパターンの例を示す図である。 本開示の一実施形態に係る情報処理装置における操作対象情報に基づく第１のＦＢ画像の表示制御の例を示す図である。 本開示の一実施形態に係る情報処理装置における第２のＦＢ画像の表示制御の例を示す図である。 本開示の一実施形態に係る情報処理装置の処理の例を概念的に示すフローチャートである。 本開示の一実施形態の第１の変形例に係る情報処理装置における第１のＦＢ画像の表示制御の第７のパターンの例を示す図である。 本開示の一実施形態の第１の変形例に係る情報処理装置における第１のＦＢ画像の表示制御の第８のパターンの例を示す図である。 本開示の一実施形態の第１の変形例に係る情報処理装置における第１のＦＢ画像の表示制御の第９のパターンの例を示す図である。 本開示の一実施形態の第１の変形例に係る情報処理装置における第１のＦＢ画像の表示制御の第１０のパターンの例を示す図である。 本開示の一実施形態の第１の変形例に係る情報処理装置における第１のＦＢ画像の表示制御の第１１のパターンの例を示す図である。 本開示の一実施形態の第２の変形例に係る情報処理装置における操作対象情報に基づく第１のＦＢ画像の表示制御の例を示す図である。 本開示の一実施形態の第３の変形例に係る情報処理装置における複数の第１のＦＢ画像の表示例を示す図である。 本開示の一実施形態の第３の変形例に係る情報処理装置における第２のＦＢ画像の表示制御の例を示す図である。 本開示の一実施形態の第４の変形例に係る情報処理装置における第１のＦＢ画像の表示制御の例を示す図である。 本開示の一実施形態の第５の変形例に係る情報処理装置における距離情報の第１の閾値の制御の例を示す図である。 本開示の一実施形態の第５の変形例に係る情報処理装置における操作体情報またはユーザ情報を用いた第１の閾値の制御が追加された処理の例を概念的に示すフローチャートである。 本開示の一実施形態に係る情報処理装置のハードウェア構成を示した説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．本開示の一実施形態
　　１．１．システム構成
　　１．２．装置の構成
　　１．３．装置の処理
　　１．４．本開示の一実施形態のまとめ
　　１．５．変形例
　２．本開示の一実施形態に係る情報処理装置のハードウェア構成
　３．むすび
　＜１．本開示の一実施形態＞
　本開示の一実施形態に係る情報処理システムおよび当該情報処理システムを実現するための情報処理装置について説明する。
　　＜１．１．システム構成＞
　まず、図１を参照して、本開示の一実施形態に係る情報処理システムの構成について説明する。図１は、本開示の一実施形態に係る情報処理システムの構成例を示す図である。
　図１に示したように、情報処理システムは、情報処理装置１００、測定装置２００および投影装置３００を備える。情報処理装置１００と測定装置２００および投影装置３００との間はそれぞれ通信接続される。
　情報処理装置１００は、測定装置２００の測定結果を用いて投影装置３００の投影を制御する。具体的には、情報処理装置１００は、測定装置２００から提供される測定結果から操作体としてのユーザの身体の部位を認識する。そして、情報処理装置１００は、認識された身体の部位と操作領域における操作体による入力が認識される領域（以下、入力認識領域とも称する。）との位置関係に基づいて投影装置３００による投影の態様を制御する。例えば、情報処理装置１００は、測定装置２００により測定されるユーザの手の位置と入力認識領域５０Ａの位置とに基づいて投影装置３００に投影させる仮想オブジェクト２０の投影位置などを制御する。なお、操作領域は、測定装置２００の測定範囲に対応する。情報処理装置１００の詳細については後述する。
　測定装置２００は、測定装置２００の周辺の状況を測定する。具体的には、測定装置２００は、測定装置２００の周辺に存在する物体、例えばユーザまたは操作体などの位置または状態が把握される現象を測定する。そして、測定装置２００は、測定により得られる情報（以下、測定情報とも称する。）を測定結果として情報処理装置１００へ提供する。例えば、測定装置２００は、デプスセンサであり、ユーザの身体の部位（例えば手）にマーカを装着させることにより、マーカが装着された身体の部位と周辺の物体との位置関係（すなわち身体の部位および周辺の物体の三次元空間上の位置）を測定することができる。測定情報は、三次元画像情報であってよい。なお、測定装置２００は、ユーザに装着される慣性センサまたは当該慣性センサを有する指輪型もしくは腕輪型のウェアラブル装置であってもよい。また、測定装置２００は、操作領域を確保できればどのように設置されてもよい。例えば、測定装置２００は、図１に示した上面が入力認識領域５０Ａであるテーブルに設けられてよい。
　投影装置３００は、情報処理装置１００の指示情報に基づいて画像を投影する。具体的には、投影装置３００は、情報処理装置１００から提供される画像を指示される場所へ投影する。例えば、投影装置３００は、情報処理装置１００に指示される図１に示した投影領域１０に仮想オブジェクト２０を投影する。なお、図１では、投影装置３００は２Ｄ（Dimension）プロジェクタである例をしめしたが、投影装置３００は３Ｄプロジェクタであってもよい。また、投影領域１０には実物体が存在してよい。例えば、図１の例では、投影領域１０には実物体としてスイッチ１Ａが存在する。
　図１に示したように、本開示の一実施形態に係る情報処理システムでは、入力認識領域５０Ａを包含する操作領域と、仮想オブジェクト２０などが投影される投影領域１０（すなわち表示領域）と、がそれぞれ異なる場所に存在する。
　これに対し、従来では操作領域および表示領域が一致する技術がある。例えば、スマートフォンまたはタブレット端末などのようなタッチスクリーンを備えるデバイスについては、表示領域に対応する表示画面と操作領域に対応する入力部とが一体である。また、壁面などに投影されるＧＵＩ（Graphical　User　Interface）にユーザが触れることにより操作入力を受け付ける装置についても、表示領域に対応するＧＵＩと操作領域に対応する領域が一致する。このため、表示画面を見るユーザの視界に操作体が入ることにより、ユーザは表示画面を見ながら自身の行う操作を確認することができる。従って、ユーザは操作を直感的に行うことができる。
　しかし、従来では、操作領域および表示領域がそれぞれ異なる場所に存在する場合に、操作性が低下するおそれがあった。例えば、図１に示したように投影領域１０に操作に係る仮想オブジェクトが壁面などに投影され、当該操作はテーブル上の操作領域で行われる場合、投影領域１０を見るユーザの視界に操作体が入らない。そのため、ユーザは、投影領域１０を見ながら自身の行う操作を確認することが困難である。それにより、ユーザは自身の操作が表示へ及ぼす程度などを確認しながら操作を行うことになり、直感的に操作することができない。すなわち、ユーザは操作が表示へ及ぼす程度、操作領域または入力認識領域などの操作に関する情報を学習しなければならない。
　そこで、本開示では、表示領域と操作領域とが異なる場合における操作性の低下を抑制することが可能な情報処理システムおよび当該情報処理システムを実現するための情報処理装置１００を提案する。
　　＜１．２．装置の構成＞
　次に、図２を参照して、本開示の一実施形態に係る情報処理装置１００の構成について説明する。図２は、本開示の一実施形態に係る情報処理装置１００の機能構成の例を概略的に示すブロック図である。
　図２に示したように、情報処理装置１００は、通信部１０２、認識部１０４、距離情報生成部１０６および制御部１０８を備える。
　　　（通信部）
　通信部１０２は、情報処理装置１００の外部の装置と通信する。具体的には、通信部１０２は、測定装置２００から測定結果を受信し、投影装置３００へ投影指示情報を送信する。例えば、通信部１０２は、有線通信方式を用いて測定装置２００および投影装置３００と通信する。なお、通信部１０２は、無線通信方式を用いて通信してもよい。
　　　（認識部）
　認識部１０４は、測定装置２００の測定結果に基づいて認識処理を行う。具体的には、認識部１０４は、測定装置２００から受信される測定情報に基づいて操作体を認識する。操作体としては、ユーザの身体の部位がある。例えば、認識部１０４は、測定装置２００から得られる三次元画像情報に基づいてユーザの指または手などを認識する。なお、認識部１０４により認識される操作体は、ペン型またはスティック型などの操作機器であってもよい。
　さらに、認識部１０４は、操作体の位置を認識する。具体的には、認識部１０４は、操作体が認識される操作領域における操作体の位置を認識する。例えば、認識部１０４は、
測定装置２００により測定された測定装置２００と操作体との距離に基づいて、操作領域における三次元空間上の操作体の位置を認識する。なお、認識部１０４は、認識された操作体の大きさに基づいて操作体の位置を認識してもよい。
　また、認識部１０４は、操作領域を認識する。具体的には、認識部１０４は、測定装置２００の測定結果に基づいて操作領域および操作領域に包含される入力認識領域を認識する。例えば、操作領域および入力認識領域は物体と対応付けられ、認識部１０４は当該物体を認識することにより操作領域および入力認識領域を認識する。図１の例では、テーブル２と操作領域とが対応付けられ、操作領域はテーブル２を基準とする所定の領域となる。また、テーブル２の上面と入力認識領域５０Ａとが対応付けられ、入力認識領域５０Ａはテーブル２の上面のうちの少なくとも一部の領域となる。そこで、認識部１０４は、テーブル２の位置を認識することにより、操作領域および入力認識領域５０Ａの位置を認識する。さらに、図３～図６を参照して、入力認識領域について詳細に説明する。図３～図６は、それぞれ本開示の一実施形態に係る情報処理システムにおける入力認識領域の例を示す図である。
　入力認識領域は、上述したように物体と対応付けられる。入力認識領域は、図１に示したテーブル２の上面のような平面に限られず、様々な形状であってよい。例えば、入力認識領域としては、図３に示した段差を有する面と対応付けられる入力認識領域５０Ｂ、または図４に示した斜面と対応付けられる入力認識領域５０Ｃがある。また、入力認識領域と対応付けられる物体はユーザの身体の部位であってもよい。例えば、入力認識領域としては、図５に示したユーザの膝付近と対応付けられる入力認識領域５０Ｄがある。当然ながら、膝以外の部位が入力認識領域と対応付けられてもよい。また、入力認識領域は、物体と対応付けられず、空間上の位置と対応付けられてもよい。例えば、入力認識領域としては、図６に示したユーザの前面の空間であって、ユーザの手が届く空間における所定の位置と対応付けられる入力認識領域５０Ｅがある。
　また、認識部１０４は、操作体による操作の対象を認識する。具体的には、認識部１０４は、表示領域に存在する実物体である操作対象を認識する。例えば、認識部１０４は、図１に示したような投影領域１０内に存在するスイッチ１Ａを操作対象として認識する。
　　　（距離情報生成部）
　距離情報生成部１０６は、入力部として、操作体と入力認識領域との距離に応じて変化する距離情報を生成する。具体的には、距離情報生成部１０６は、認識部１０４の認識結果に基づいて操作体と入力認識領域との距離を算出する。例えば、距離情報生成部１０６は、認識された操作体の位置と入力認識領域の位置との間の三次元空間上の距離を算出する。そして、算出された距離を示す距離情報が制御部１０８に提供される。なお、距離情報は、上述した算出値のほか、操作体と入力認識領域との距離に対応するインデックスなどであってもよい。また、距離情報は、操作体と入力認識領域との間の特定の方向における距離に係る情報であってもよい。例えば、距離情報は、ユーザにとっての奥行き方向における操作体と入力認識領域との距離に係る情報であってよい。
　　　（制御部）
　制御部１０８は、情報処理装置１００の処理を全体的に制御する。具体的には、制御部１０８は、出力制御部として、距離情報に基づいて仮想オブジェクトに関する出力を制御する。より具体的には、制御部１０８は、距離情報に基づいて、表示領域において視認される少なくとも１つの第１の仮想オブジェクト（以下、第１のフィードバック画像または第１のＦＢ画像とも称する。）の表示を制御する。
　　　　（１．入力認識前の第１のＦＢ画像の表示有無の制御）
　まず、制御部１０８は、距離情報と距離情報の閾値とに基づいて第１のＦＢ画像の表示有無を制御する。具体的には、制御部１０８は、距離情報の値が予め決定される第１の閾値以下である場合、第１のＦＢ画像が未投影であるときは第１のＦＢ画像を投影装置３００に投影させ、第１のＦＢ画像が投影中であるときは第１のＦＢ画像の投影を投影装置３００に継続させる。反対に、制御部１０８は、距離情報の値が第１の閾値超過である場合で、第１のＦＢ画像が投影中であるときは第１のＦＢ画像の投影を投影装置３００に中止させ、第１のＦＢ画像が投影されていないときは投影装置３００に投影させない。また、第１のＦＢ画像の表示位置は、操作領域についての操作体の位置に対応する表示領域上の位置である。
　また、制御部１０８は、操作体と入力認識領域との距離が第２の閾値以下である場合、第１のＦＢ画像の投影を投影装置３００に中止させてもよい。例えば、第２の閾値は操作体と入力認識領域との距離が０または０とみなされる値であってよく、制御部１０８は、距離情報の値が第２の閾値以下である場合、第１のＦＢ画像の投影を投影装置３００に中止させる。すなわち、操作体が入力認識領域に達した際に第１のＦＢ画像が消える。
　なお、第１のＦＢ画像の表示および非表示は、所定の時間をかけて表示が変化させられながら切り替えられてもよい。例えば、制御部１０８は、第１のＦＢ画像が投影される際に、第１のＦＢ画像の透明度が時間経過に応じて低くなるように制御する。また、制御部１０８は、第１のＦＢ画像の投影が中止される際に、第１のＦＢ画像の透明度が時間経過に応じて高くなるように制御する。なお、当該表示の変化は、透明度の変化に限られず、ぼかし、色相、彩度、明度または輝度などであってもよく、第１のＦＢ画像が部分的に消されるといった変化でもよい。また、当該表示の変化は、ユーザの設定に応じて実行有無が切り替えられてもよい。
　　　　（２．距離情報に基づく第１のＦＢ画像の表示態様の制御）
　制御部１０８は、距離情報に基づいて第１のＦＢ画像の表示態様を制御する。ここで、第１のＦＢ画像の表示は、様々なパターンで制御される。以下、図７～図１２を参照して、第１のＦＢ画像の表示制御パターンについて説明する。
　制御部１０８は、距離情報生成部１０６から提供される距離情報に基づいて第１のＦＢ画像の表示範囲に関する第１のＦＢ画像の態様を制御する。制御される第１のＦＢ画像の態様としては、第１のＦＢ画像の大きさがある。図７は、本開示の一実施形態に係る情報処理装置１００における第１のＦＢ画像の表示制御の第１のパターンの例を示す図である。例えば、図７の左図に示したように投影領域１０にはユーザの手に対応する仮想オブジェクト２０および第１のＦＢ画像３０Ａが投影される。そして、操作体であるユーザの指が入力認識領域へ近づく（すなわち距離情報の示す距離が短くなる）と、図７の右図に示したように第１のＦＢ画像３０Ａが小さくなる。反対に、ユーザの指が入力認識領域から遠ざかると、第１のＦＢ画像３０Ａが大きくなる。なお、第１のＦＢ画像３０Ａは、円形状の画像に限られず、多角形またはその他の図形の画像であってもよい。
　また、制御される第１のＦＢ画像の態様としては、第１のＦＢ画像の形状がある。図８は、本開示の一実施形態に係る情報処理装置１００における第１のＦＢ画像の表示制御の第２のパターンの例を示す図である。例えば、図８の左図に示したように投影領域１０にはユーザの手に対応する仮想オブジェクト２０およびパーティクル状の物体の集合のような第１のＦＢ画像３０Ｂが投影される。そして、操作体であるユーザの指が入力認識領域へ近づくと、図８の右図に示したようにパーティクル状の物体が集結させられることにより、第１のＦＢ画像３０Ｂが所定の形状（例えば円）へ整形される。反対に、ユーザの指が入力認識領域から遠ざかると、パーティクル状の物体が分散させられることにより、第１のＦＢ画像３０Ｂの形状が崩れる。このように、距離情報に応じて第１のＦＢ画像の整形の程度が変化させられる。なお、別の例として、第１のＦＢ画像の形状は、距離情報に基づいてアメーバ状の形状から円形状へ、またはその逆に変化させられてもよい。
　また、制御部１０８は、距離情報に基づいて、操作体に対応する形状の第１のＦＢ画像の表示を制御する。操作体に対応する形状の第１のＦＢ画像としては、操作体の影を想起させる画像（以下、単に操作体の影とも称する。）がある。そして、制御部１０８は、距離情報に基づいて当該操作体の影の濃さを制御する。図９は、本開示の一実施形態に係る情報処理装置１００における第１のＦＢ画像の表示制御の第３のパターンの例を示す図である。例えば、図９の左図に示したように投影領域１０にはユーザの手に対応する仮想オブジェクト２０および仮想オブジェクト２０の影（すなわちユーザの手の影）のような第１のＦＢ画像３０Ｃが投影される。そして、操作体であるユーザの指が入力認識領域へ近づくと、図９の右図に示したように第１のＦＢ画像３０Ｃが濃くなる（すなわち光の透過度が低くなる）。反対に、ユーザの指が入力認識領域から遠ざかると、第１のＦＢ画像３０Ｃが薄くなる（すなわち光の透過度が高くなる）。
　なお、制御部１０８は操作体に対応する第２の仮想オブジェクト（以下、操作体画像とも称する。）の表示を制御し、第１のＦＢ画像は操作体画像に基づいて表示されてもよい。操作体画像としては、操作を行うユーザの身体の部位または操作機器の撮像画像またはイラストレーション画像のような生成画像がある。具体的には、操作体に対応する形状の第１のＦＢ画像は、操作体画像に基づいて決定される。例えば、操作体画像は、図９に示したようなユーザの手に対応する仮想オブジェクト２０であってよく、第１のＦＢ画像３０Ｃは仮想オブジェクト２０に仮想的な光が照射された際に生じることがシミュレートされる仮想的な影であってよい。なお、操作体画像の表示は、ユーザによる操作体の操作に応じて制御されてもよい。例えば、操作体画像は、操作体の移動または回転に応じて移動させられまたは回転させられてよい。
　また、制御部１０８は、距離情報に基づいて第１のＦＢ画像についての視覚的効果を制御する。ここでは、第１のＦＢ画像についての視覚的効果とは、第１のＦＢ画像の大きさまたは形状などの表示範囲に影響を及ぼさない視覚的な効果を意味する。このような第１のＦＢ画像についての視覚的効果の制御としては、第１のＦＢ画像の透明度がある。図７を参照して説明する。例えば、操作体であるユーザの指が入力認識領域へ近づくと、図７の右図に示したように、第１のＦＢ画像３０Ａの透明度が図７の左図に示した第１のＦＢ画像３０Ａよりも低くなる。反対に、ユーザの指が入力認識領域から遠ざかると、第１のＦＢ画像３０Ａの透明度が高くなる。
　また、第１のＦＢ画像についての視覚的効果の制御としては、第１のＦＢ画像の色がある。図８を参照して説明する。例えば、操作体であるユーザの指が入力認識領域へ近づくと、図８の右図に示したように、第１のＦＢ画像３０Ｂの色相が図８の左図に示した第１のＦＢ画像３０Ｂ（赤）よりも寒色系の色相（青）に変更される。反対に、ユーザの指が入力認識領域から遠ざかると、第１のＦＢ画像３０Ｂの色相が暖色系の色相に変更させられる。なお、色の代わりにまたはそれと共にテクスチャが制御されてもよい。
　また、第１のＦＢ画像についての視覚的効果の制御としては、第１のＦＢ画像のぼかしがある。図９を参照して説明する。例えば、操作体であるユーザの指が入力認識領域へ近づくと、図９の右図に示したように、第１のＦＢ画像３０Ｃの輪郭が図９の左図に示した第１のＦＢ画像３０Ｃよりもぼかされる。反対に、ユーザの指が入力認識領域から遠ざかると、第１のＦＢ画像３０Ｃの輪郭が明確にされる。
　また、制御部１０８は、距離情報に基づいて第１のＦＢ画像の表示密度を制御する。図８を参照して説明する。例えば、操作体であるユーザの指が入力認識領域へ近づくと、図８の右図に示したように、第１のＦＢ画像３０Ｂを形成するドットのようなパーツが図８の左図に示した第１のＦＢ画像３０Ｂを形成するパーツよりも密集させられる。反対に、ユーザの指が入力認識領域から遠ざかると、第１のＦＢ画像３０Ｂを形成するパーツが分散させられる。なお、第１のＦＢ画像の表示密度は、固定された表示範囲内で変更させられてもよい。例えば、第１のＦＢ画像の表示範囲は固定されたまま、第１のＦＢ画像を形成するパーツの数が増減させられてよい。
　また、制御部１０８は、距離情報に基づいて複数の第１のＦＢ画像の位置関係を制御する。具体的には、制御部１０８は、距離情報に応じて複数の第１のＦＢ画像間の距離を制御する。図１０は、本開示の一実施形態に係る情報処理装置１００における第１のＦＢ画像の表示制御の第４のパターンの例を示す図である。例えば、図１０の左図に示したように投影領域１０にはユーザの手に対応する仮想オブジェクト２０および第１のＦＢ画像３０Ｄ１および３０Ｄ２が投影される。そして、操作体であるユーザの指が入力認識領域へ近づくと、図１０の右図に示したように第１のＦＢ画像３０Ｄ１と３０Ｄ２とが互いに近づく。反対に、ユーザの指が入力認識領域から遠ざかると、第１のＦＢ画像３０Ｄ１と３０Ｄ２とが遠ざかる。なお、第１のＦＢ画像３０Ｄは、三角形の画像に限られず、円もしくは四角形以上の多角形の画像または動物もしくは人のようなキャラクタの画像であってもよい。
　また、制御部１０８は、距離情報に基づいて、距離情報の値を表現する第１のＦＢ画像の表示を制御する。具体的には、制御部１０８は、距離情報の値を示すインジケータの表示を制御する。図１１は、本開示の一実施形態に係る情報処理装置１００における第１のＦＢ画像の表示制御の第５のパターンの例を示す図である。例えば、図１１の左図に示したように投影領域１０にはユーザの手に対応する仮想オブジェクト２０および距離情報の値を縦方向の長さで示す第１のＦＢ画像３０Ｅが投影される。そして、操作体であるユーザの指が入力認識領域へ近づくと、図１１の右図に示したように第１のＦＢ画像３０Ｅの長さが短くなる。反対に、ユーザの指が入力認識領域から遠ざかると、第１のＦＢ画像３０Ｅの長さが長くなる。なお、距離情報の値を示す第１のＦＢ画像は、距離情報の値に相当する数値を示す画像であってもよい。また、上述した第２の閾値が第１のＦＢ画像において表現されてもよい。例えば、第２の閾値は、図１１に示した第１のＦＢ画像３０Ｅの中央線として表現されてよい。同様に、第１の閾値が第１のＦＢ画像において表現されてもよい。
　また、制御部１０８は、操作体画像を第１のＦＢ画像として制御してもよい。具体的には、制御部１０８は、距離情報に基づいて操作体画像の表示を制御する。操作体画像の表示制御は、上述してきた第１のＦＢ画像の表示制御のうちの一部と実質的に同一であってよい。図１２は、本開示の一実施形態に係る情報処理装置１００における第１のＦＢ画像の表示制御の第６のパターンの例を示す図である。例えば、図１２の左図に示したように投影領域１０にはユーザの手に対応する操作体画像である仮想オブジェクト２０が投影される。ここでは、仮想オブジェクト２０が第１のＦＢ画像として働くため、別途に第１のＦＢ画像は投影されない。そして、操作体であるユーザの指が入力認識領域へ近づくと、図１２の右図に示したように仮想オブジェクト２０の輪郭が図１２の左図に示したような仮想オブジェクト２０よりも明確にされる。反対に、ユーザの指が入力認識領域から遠ざかると、仮想オブジェクト２０の輪郭がぼかされる。
　　　　（３．操作対象情報に基づく第１のＦＢ画像の表示態様の制御）
　制御部１０８はさらに、操作の対象に係る情報（以下、操作対象情報とも称する。）に基づいて第１のＦＢ画像の表示を制御する。操作対象情報としては、操作対象の態様に係る情報がある。例えば、制御部１０８は、操作対象の大きさまたは形状に係る情報に基づいて第１のＦＢ画像の表示を制御する。さらに、図１３を参照して、操作対象情報に基づく第１のＦＢ画像の表示制御について説明する。図１３は、本開示の一実施形態に係る情報処理装置１００における操作対象情報に基づく第１のＦＢ画像の表示制御の例を示す図である。
　まず、制御部１０８は、第１のＦＢ画像の表示を開始する前に、操作対象情報を取得する。例えば、制御部１０８は、第１のＦＢ画像を表示する旨が決定されると、操作対象情報として認識された操作対象の大きさ、形状または色などの情報を認識部１０４から取得する。
　次に、制御部１０８は、距離情報に基づく第１のＦＢ画像の表示制御（以下、第１の表示制御とも称する。）を決定した後、操作対象情報に基づく第１のＦＢ画像の表示制御（以下、第２の表示制御とも称する。）を決定する。具体的には、制御部１０８は、距離情報に基づいて決定された第１のＦＢ画像の表示制御に加えて、認識部１０４から取得された操作対象の大きさに基づいて第１のＦＢ画像の大きさを決定する。例えば、図１３のＣａｓｅ１の例では、第１のＦＢ画像３０Ｈの大きさは、操作対象１Ａの所定の範囲以上が包含される程度の大きさに決定される。また、図１３のＣａｓｅ２の例では、操作対象１Ｃが操作対象１Ａよりも小さいため、第１のＦＢ画像３０Ｈの大きさは、Ｃａｓｅ１における第１のＦＢ画像３０Ｈの大きさよりも小さく決定される。なお、第１の表示制御および第２の表示制御の処理順は逆であってもよい。
　なお、操作対象の大きさに応じて第１のＦＢ画像の大きさが決定される際に、第１のＦＢ画像の大きさが所定のサイズよりも小さくなる場合には、第１のＦＢ画像の大きさを変更する代わりにまたはそれと共に第１のＦＢ画像の視覚的効果が変更されてもよい。例えば、制御部１０８は、第１のＦＢ画像を所定のサイズまで縮小しながら、第１のＦＢ画像の透明度を上昇させてよい。
　また、操作対象が実物体でない仮想物体である場合には、操作対象が拡大させられてもよい。例えば、虫眼鏡のようなアイコンの仮想オブジェクトが表示され、当該アイコンについて選択操作が認識されると操作対象が拡大して表示される。これにより、第１のＦＢ画像が小さくなりすぎることを抑制できる。
　　　　（４．入力認識後の第２のＦＢ画像の表示制御）
　制御部１０８はさらに、操作体による入力の認識に基づいて、操作体による操作の対象に応じた第３の仮想オブジェクト（以下、第２のフィードバック画像または第２のＦＢ画像とも称する。）の表示を制御する。具体的には、制御部１０８は、距離情報の値が第２の閾値以下に達する（すなわち操作体が入力認識領域に達する）と、操作体により入力が行われたとして、操作体による入力に対応する処理を実行する。また、制御部１０８は、距離情報の値が第２の閾値以下に達すると、操作対象に応じた第２のＦＢ画像を投影装置３００に投影させる。さらに、図１４を参照して、第２のＦＢ画像の表示制御について説明する。図１４は、本開示の一実施形態に係る情報処理装置１００における第２のＦＢ画像の表示制御の例を示す図である。
　制御部１０８は、距離情報の値が第２の閾値以下に達したかを判定する。例えば、制御部１０８は、第１のＦＢ画像が投影されている間、定期的に距離情報の値が第２の閾値以下に達したかを判定する。
　距離情報の値が第２の閾値以下に達したと判定されると、制御部１０８は、操作体による入力に対応する操作対象についての処理を実行する。例えば、制御部１０８は、距離情報の値が第２の閾値以下に達したと判定されると、図１４に示したようなスイッチ１Ｂをオンまたはオフに切り替える。ここでは、スイッチ１Ｂ自体は制御されず、スイッチ１Ｂと接続される装置の起動または機能などのオンまたはオフが切り替えられる。なお、スイッチ１Ｂ自体が制御され、スイッチ１Ｂのオンまたはオフが実際に切り替えられてもよい。
　また、制御部１０８は、第２のＦＢ画像を投影装置３００に投影させる。例えば、制御部１０８は、距離情報の値が第２の閾値以下に達したと判定されると、図１４の右図に示したような第２のＦＢ画像４０Ａをスイッチ１Ｂの位置および形状に応じて投影装置３００に投影させる。
　なお、操作体による入力の認識は、距離情報以外の情報を用いて実現されてもよい。例えば、制御部１０８は、入力認識領域への操作体からの圧力に基づいて第２のＦＢ画像の表示を制御する。例えば、制御部１０８は、測定装置２００としての入力認識領域に設置される圧力センサなどから提供される圧力の有無の情報に応じて第２のＦＢ画像の表示有無を制御する。さらに、圧力センサから提供される圧力の程度の情報に応じて第２のＦＢ画像の表示態様が制御されてもよい。
　また、制御部１０８は、操作体の形状の変化に基づいて第２のＦＢ画像の表示を制御してもよい。例えば、制御部１０８は、認識部１０４により認識されるユーザの指の形状の変化（例えば力を加える形状への変化など）の有無に応じて第２のＦＢ画像の表示有無を制御する。さらに、形状の変化の程度に応じて第２のＦＢ画像の表示態様が制御されてもよい。
　　＜１．３．装置の処理＞
　次に、図１５を参照して、情報処理装置１００の処理について説明する。図１５は、本開示の一実施形態に係る情報処理装置１００の処理の例を概念的に示すフローチャートである。
　情報処理装置１００は、操作体の位置と入力認識領域との距離に係る距離情報を取得する（ステップＳ４０２）。具体的には、認識部１０４は、測定装置２００の測定結果に基づいて操作体および入力認識領域を認識し、距離情報生成部１０６は、認識された操作体と入力認識領域との距離に係る距離情報を生成する。
　次に、情報処理装置１００は、距離情報の値が第１の閾値以下であるかを判定する（ステップＳ４０４）。具体的には、制御部１０８は、生成された距離情報の値が第１の閾値以下であるかを判定する。
　距離情報の値が第１の閾値以下であると判定される（ステップＳ４０４／ＹＥＳ）と、情報処理装置１００は、操作対象情報を取得する（ステップＳ４０６）。具体的には、認識部１０４は、距離情報の値が第１の閾値以下であると判定されると、操作対象の態様を認識し、制御部１０８へ提供する。
　次に、情報処理装置１００は、距離情報と操作対象情報とに基づいて第１のＦＢ画像の制御内容を決定する（ステップＳ４０８）。具体的には、制御部１０８は、第１のＦＢ画像について、距離情報に基づいて第１の表示制御を決定し、さらに認識部１０４により認識された操作対象の態様に基づいて第２の表示制御を決定する。
　次に、情報処理装置１００は、第１のＦＢ画像を表示装置に表示させる（ステップＳ４１０）。具体的には、制御部１０８は、決定された第１および第２の表示制御を実行することにより、投影装置３００に第１のＦＢ画像を投影させる。
　次に、情報処理装置１００は、距離情報の値が第２の閾値以下であるかを判定する（ステップＳ４１２）。具体的には、制御部１０８は、第１のＦＢ画像の投影後に距離情報の値が第２の閾値以下となったかを判定する。
　距離情報の値が第２の閾値以下であると判定される（ステップＳ４１２／ＹＥＳ）と、情報処理装置１００は、第２のＦＢ画像を表示装置に表示させる（ステップＳ４１４）。具体的には、制御部１０８は、距離情報の値が第２の閾値以下であると判定されると、第２のＦＢ画像を投影装置３００に投影させる。
　次に、情報処理装置１００は、距離情報の値が第２の閾値超過であるかを判定する（ステップＳ４１６）。具体的には、制御部１０８は、第２のＦＢ画像の投影後に距離情報の値が第２の閾値超過となったかを判定する。
　距離情報の値が第２の閾値超過であると判定される（ステップＳ４１６／ＹＥＳ）と、情報処理装置１００は、ＦＢ画像の表示を中止する（ステップＳ４１８）。具体的には、制御部１０８は、距離情報の値が第２の閾値超過であると判定されると、第１および第２のＦＢ画像の投影を投影装置３００に中止させる。なお、制御部１０８は、ステップＳ４１４にて第２のＦＢ画像が投影される際に、第１のＦＢ画像の投影を投影装置３００に中止させてもよい。
　　＜１．４．本開示の一実施形態のまとめ＞
　このように、本開示の一実施形態によれば、情報処理装置１００は、仮想オブジェクトが視認される表示領域と異なる操作領域において認識される操作体と、操作領域における操作体による入力が認識される入力認識領域と、の距離に応じて変化する距離情報に基づいて前記仮想オブジェクトに関する出力を制御する。
　従来では、表示領域と操作領域とが異なる場所に設けられる場合、ユーザは表示領域を見ながら操作体を用いた操作の状況を把握することが困難であった。そのため、ユーザは、表示領域における操作結果を確認しながら操作体による操作を行うことになり、直感的な操作が妨げられていた。
　これに対し、本開示の一実施形態によれば、操作体の位置と操作体による操作の入力が認識される位置との間の距離についての目安（以下、操作に係る距離感とも称する。）をユーザに提示することができる。そのため、ユーザは表示領域を見ながら操作体の操作を直感的に行うことができる。従って、表示領域と操作領域とが異なる場合における操作性の低下を抑制することが可能となる。特に、三次元空間におけるユーザにとっての奥行き方向の操作は他の方向（例えば上下左右方向）の操作よりもユーザは距離感を把握しづらいため、情報処理装置１００は有意義である。また、直感的な操作が可能であるため、入力操作についての習熟を早期化することができる。
　また、上記出力は、少なくとも１つの第１の仮想オブジェクトの表示を含む。このため、表示領域を見るユーザに操作に係る距離感を把握させやすくすることができる。また、視覚は他の感覚に比べて多くの情報を一度に理解しやすいため、操作に係る距離感を比較的短時間で把握させることができる。
　なお、上記出力は、第１のＦＢ画像の表示以外の出力であってもよい。具体的には、上記出力は、音または触覚振動であってよい。例えば、距離情報の値が第１の閾値以下になると、機械音もしくは音声などの音または触覚振動の発生が開始される。また、距離情報の値が第２の閾値以下になると、音または触覚振動が停止される。なお、音または触覚振動の停止の代わりに、音または触覚振動の種類が切り替えられてもよい。また、第１のＦＢ画像の表示とともに音または触覚振動が用いられてもよい。例えば、投影領域に光が差し込まれる場合または投影装置３００による投影が妨げられる恐れがある場合には、第１のＦＢ画像の表示の代わりにまたはそれと共に距離情報に基づく音または触覚振動の出力が行われてよい。この場合、第１のＦＢ画像の視認性が確保できない状況であっても操作に係る距離感をユーザに把握させることができる。
　また、情報処理装置１００は、距離情報に基づいて第１の仮想オブジェクトの表示範囲に関する第１の仮想オブジェクトの態様を制御する。このため、第１のＦＢ画像の表示範囲が変化することにより、ユーザに操作に係る距離感の変化を気づかせやすくすることができる。従って、ユーザによる操作の精度の向上を助長させることが可能となる。
　また、上記第１の仮想オブジェクトの態様は、第１の仮想オブジェクトの大きさまたは形状を含む。このため、距離情報に応じて第１のＦＢ画像の大きさまたは形状が変化させられることにより、操作に係る距離感を直感的にユーザに理解させることができる。
　また、情報処理装置１００は、距離情報に基づいて複数の第１の仮想オブジェクトの位置関係を制御する。このため、例えば距離情報に応じて複数の第１のＦＢ画像の距離が変化することにより、操作に係る距離感を直感的かつより正確にユーザに理解させることができる。
　また、情報処理装置１００は、前記距離情報に基づいて前記第１の仮想オブジェクトについての視覚的効果を制御する。このため、第１のＦＢ画像の表示範囲を変更しない視覚的効果が用いられることにより、第１のＦＢ画像の表示に十分な表示範囲が確保できない場合であっても、操作に係る距離感をユーザに提示することができる。従って、表示領域の視認性と操作に係る距離感の伝達とを両立させることが可能となる。
　また、上記第１の仮想オブジェクトについての視覚的効果の制御は、第１の仮想オブジェクトの透明度、ぼかしまたは色の制御を含む。このため、表示範囲の変化なしでユーザに操作に係る距離感を効果的に認識させることができる。
　また、情報処理装置１００は、距離情報に基づいて第１の仮想オブジェクトの表示密度を制御する。このため、距離情報に応じて表示密度の高さを制御することにより、操作に係る距離感を直感的にユーザに理解させることができる。
　また、上記第１の仮想オブジェクトは、操作体に対応する形状の仮想オブジェクトを含む。このため、第１のＦＢ画像がユーザにより操作される操作体と関連していることをユーザに理解させやすくすることができる。
　また、上記第１の仮想オブジェクトは、距離情報の値を表現する仮想オブジェクトを含む。このため、ユーザにより正確な操作に係る距離感を提示することができる。従って、入力操作についての習熟をさらに早期化することができる。
　また、情報処理装置１００はさらに、操作体に対応する第２の仮想オブジェクトの表示を制御し、上記第１の仮想オブジェクトは、第２の仮想オブジェクトに基づいて表示される仮想オブジェクトを含む。このため、操作体に対応して操作体画像が表示されることにより、表示領域におけるユーザの操作に対応する場所をユーザに把握させやすくすることができる。さらに、当該操作体画像に基づいて第１のＦＢ画像が表示されることにより、第１のＦＢ画像に対するユーザの違和感を緩和することができる。従って、ユーザは自然に操作に係る距離感を理解することが可能となる。
　また、上記表示領域は、操作体による操作の対象を包含する領域を含み、情報処理装置１００はさらに、操作の対象に係る情報に基づいて第１の仮想オブジェクトの表示を制御する。このため、例えば操作対象の態様に応じて第１のＦＢ画像の表示が制御されることにより、第１のＦＢ画像の視認性または操作対象の視認性のうちのいずれかが一方的に低下することを抑制することができる。従って、操作対象についての操作性の維持または向上と操作に係る距離感の把握とを両立させることが可能となる。
　また、情報処理装置１００は、距離情報の閾値に基づいて第１の仮想オブジェクトの表示有無を制御する。このため、ユーザが操作に係る距離感を所望すると推定される状況においてのみ第１のＦＢ画像を表示させることができる。従って、表示領域の視認性の低下を抑制しながら、操作に係る距離感をユーザに提示することが可能となる。
　また、情報処理装置１００はさらに、操作体による入力の認識に基づいて、操作体による操作の対象に応じた第３の仮想オブジェクトの表示を制御する。このため、入力が受け付けられた旨をユーザに提示することができる。従って、ユーザは次の操作に移ることまたは操作を中止することができ、ユーザビリティを向上させることが可能となる。
　　＜１．５．変形例＞
　以上、本開示の一実施形態について説明した。なお、本開示の一実施形態は、上述の例に限定されない。以下に、本開示の一実施形態の第１～第６の変形例について説明する。
　　（第１の変形例）
　本開示の一実施形態の第１の変形例として、操作体画像の表示なしで第１のＦＢ画像が表示されてもよい。具体的には、制御部１０８は、第１のＦＢ画像のみを表示領域に表示させる。以下、図１６～図２０を参照して、本変形例における第１のＦＢ画像の表示制御パターンについて説明する。なお、上述した表示制御の第１～第６のパターンと実質的に同一である表示制御のパターンについては説明を簡略化し、それ以外の表示制御のパターンについては詳細に説明する。
　制御部１０８は、距離情報に基づいて第１のＦＢ画像の表示範囲に関する第１のＦＢ画像の態様と視覚的効果とを制御する。具体的には、第１のＦＢ画像の大きさおよび第１のＦＢ画像の透明度が制御される。図１６は、本開示の一実施形態の第１の変形例に係る情報処理装置１００における第１のＦＢ画像の表示制御の第７のパターンの例を示す図である。例えば、図１６の左図に示したように投影領域１０にはユーザの手に対応する仮想オブジェクト２０は投影されず、第１のＦＢ画像３０Ｆのみが投影される。第１のＦＢ画像３０Ｆは、外円および内円の２つのパーツを有する。そして、操作体であるユーザの指が入力認識領域へ近づくと、図１６の右図に示したように第１のＦＢ画像３０Ｆの外円が小さくなると共に内円の透明度が低くなる。反対に、ユーザの指が入力認識領域から遠ざかると、第１のＦＢ画像３０Ｆの外円が大きくなると共に内円の透明度が高くなる。
　また、制御部１０８は、距離情報に基づいて第１のＦＢ画像の形状を制御する。図１７は、本開示の一実施形態の第１の変形例に係る情報処理装置１００における第１のＦＢ画像の表示制御の第８のパターンの例を示す図である。例えば、図１７の左図に示したように投影領域１０にはユーザの手に対応する仮想オブジェクト２０は投影されず、パーティクル状の物体の集合のような第１のＦＢ画像３０Ｂのみが投影される。そして、操作体であるユーザの指が入力認識領域へ近づくと、図１７の右図に示したようにパーティクル状の物体が集結させられることにより、第１のＦＢ画像３０Ｂが所定の形状（例えば円）へ整形される。
　また、制御部１０８は、距離情報に基づいて操作体の影のような第１のＦＢ画像の表示を制御する。図１８は、本開示の一実施形態の第１の変形例に係る情報処理装置１００における第１のＦＢ画像の表示制御の第９のパターンの例を示す図である。例えば、図１８の左図に示したように投影領域１０にはユーザの手に対応する仮想オブジェクト２０は投影されず、ユーザの手の影のような第１のＦＢ画像３０Ｃのみが投影される。そして、操作体であるユーザの指が入力認識領域へ近づくと、図１８の右図に示したように第１のＦＢ画像３０Ｃが濃くなる（すなわち光の透過度が低くなる）。
　また、制御部１０８は、距離情報に応じて複数の第１のＦＢ画像間の距離、および当該複数の第１のＦＢ画像間の関係を示す別の第１のＦＢ画像の表示、を制御する。図１９は、本開示の一実施形態の第１の変形例に係る情報処理装置１００における第１のＦＢ画像の表示制御の第１０のパターンの例を示す図である。例えば、図１９の左図に示したように投影領域１０にはユーザの手に対応する仮想オブジェクト２０は投影されず、第１のＦＢ画像３０Ｇ１および３０Ｇ２ならびに第１のＦＢ画像３０Ｇ１と３０Ｇ２とを結ぶ線条画像３０Ｇ３のみが投影される。そして、操作体であるユーザの指が入力認識領域へ近づくと、図１９の右図に示したように第１のＦＢ画像３０Ｇ１と３０Ｇ２とが近づき、第１のＦＢ画像３０Ｇ３は短縮される。
　また、制御部１０８は、距離情報に基づいて、距離情報の値を表現する第１のＦＢ画像の表示を制御する。図２０は、本開示の一実施形態の第１の変形例に係る情報処理装置１００における第１のＦＢ画像の表示制御の第１１のパターンの例を示す図である。例えば、図２０の左図に示したように投影領域１０にはユーザの手に対応する仮想オブジェクト２０は投影されず、距離情報の値を縦方向の長さで示す第１のＦＢ画像３０Ｅのみが投影される。そして、操作体であるユーザの指が入力認識領域へ近づくと、図２０の右図に示したように第１のＦＢ画像３０Ｅの長さが短くなる。
　このように、第１の変形例によれば、情報処理装置１００は、操作体画像を表示させることなく、第１のＦＢ画像を表示装置に表示させる。このため、第１のＦＢ画像の視認性を向上させることができる。また、操作対象が表示領域に存在する場合には、操作対象の視認性も向上され得る。
　　（第２の変形例）
　本開示の一実施形態の第２の変形例として、情報処理装置１００は、操作対象の位置に基づいて第１のＦＢ画像の表示を制御してもよい。具体的には、制御部１０８は、操作対象を避けて第１のＦＢ画像を表示装置に表示させる。さらに、図２１を参照して、本変形例の処理について説明する。図２１は、本開示の一実施形態の第２の変形例に係る情報処理装置１００における操作対象情報に基づく第１のＦＢ画像の表示制御の例を示す図である。
　制御部１０８は、距離情報の値が第１の閾値以下になると、第１のＦＢ画像を表示装置に表示させる。例えば、図２１の左図に示したように、第１のＦＢ画像３０Ｈおよび仮想オブジェクト２０が投影される。
　次に、制御部１０８は、操作体の移動に応じて第１のＦＢ画像を移動させる。例えば、制御部１０８は、ユーザの指の移動に応じた表示領域上の位置に第１のＦＢ画像３０Ｈの投影位置を投影装置３００に変更させる。なお、仮想オブジェクト２０も第１のＦＢ画像３０Ｈと同様に移動させられる。
　また、制御部１０８は、移動先において第１のＦＢ画像と操作対象とが重なると判定される場合、第１のＦＢ画像の位置を操作対象から離隔した位置に決定する。例えば、操作体の移動に応じて図２１の右図に示したように仮想オブジェクト２０が移動させられる場合、操作体の移動に応じた第１のＦＢ画像の移動先が操作対象であるスイッチ１Ａである。そのため、制御部１０８は、第１のＦＢ画像の移動先を図２１の右図に示したようなスイッチ１Ａと重ならずスイッチ１Ａと隣接する位置に決定する。さらに、制御部１０８は、仮想オブジェクト２０の位置に基づいて第１のＦＢ画像の移動先の変更先を決定する。例えば、制御部１０８は、仮想オブジェクト２０から所定の範囲内であってスイッチ１Ａと重ならない位置を第１のＦＢ画像の移動先に決定する。
　このように、第２の変形例によれば、情報処理装置１００は、操作対象の位置に基づいて第１のＦＢ画像の表示を制御する。このため、操作対象と第１のＦＢ画像とが重ならない位置に第１のＦＢ画像を表示することができる。従って、第１のＦＢ画像の視認性と操作対象の視認性とを両立させることができ、操作性の低下をより確実に抑制することが可能となる。
　なお、情報処理装置１００は、操作対象または表示領域の色、模様または質感に基づいて第１のＦＢ画像を選択してもよい。例えば、制御部１０８は、操作対象または表示領域と同一でないまたは類似でない色、模様または質感である第１のＦＢ画像を投影装置３００に投影させる。この場合、第１のＦＢ画像の視認性を確保することができる。
　　（第３の変形例）
　本開示の一実施形態の第３の変形例として、操作対象を操作するための操作体は複数であってもよい。具体的には、制御部１０８は、操作体の数に応じて第１のＦＢ画像の表示を制御する。例えば、制御部１０８は、操作体の数に対応する数の第１のＦＢ画像を表示装置に表示させる。さらに、図２２を参照して、本変形例の処理について説明する。図２２は、本開示の一実施形態の第３の変形例に係る情報処理装置１００における複数の第１のＦＢ画像の表示例を示す図である。
　制御部１０８は、認識部１０４により認識される複数の操作体の各々について第１のＦＢ画像を表示装置に表示させる。例えば、制御部１０８は、認識部１０４により図２２に示したような２つの指（親指および人差し指）が認識され、当該２つの指に係る距離情報の値が第１の閾値以下になると、当該２つの指の各々についてそれぞれ第１のＦＢ画像３０Ａを投影装置３００に投影させる。なお、複数の操作体のうちの一部の操作体のみについて距離情報の値が第１の閾値以下である場合、当該一部の操作体についてのみ第１のＦＢ画像が表示されても、当該複数の操作体の全てについて第１のＦＢ画像が表示されてもよく、当該複数の操作体の全てについて第１のＦＢ画像が表示されなくてもよい。また、第１のＦＢ画像は、第１のＦＢ画像３０Ａのほか上述した第１のＦＢ画像のうちのいずれが投影されてもよい。
　さらに、制御部１０８は、複数の操作体による操作に基づいて第２のＦＢ画像の表示を制御してもよい。具体的には、制御部１０８は、複数の操作体による入力が認識されると第２のＦＢ画像を表示装置に表示させ、続けて入力される操作に応じて第２のＦＢ画像の態様を制御する。図２３を参照して、複数の操作体による操作に基づく第２のＦＢ画像の表示制御について詳細に説明する。図２３は、本開示の一実施形態の第３の変形例に係る情報処理装置１００における第２のＦＢ画像の表示制御の例を示す図である。
　制御部１０８は、複数の操作体についての距離情報の値が第２の閾値以下に達すると、第２のＦＢ画像を表示装置に表示させる。例えば、ユーザの親指および人差し指が操作体であり、当該操作体に係る距離情報の値の各々が第２の閾値以下に達すると、図２３の中図に示したような三角形の第２のＦＢ画像４０Ｂが操作対象であるダイヤル１Ｄの目盛の所定の位置に投影される。
　次に、制御部１０８は、距離情報の値が第２の閾値以下のままで行われる操作に基づいて第２のＦＢ画像の表示態様を制御する。例えば、操作体である２つの指を手に対して固定したまま手を回転させる操作が行われると、図２３の右図に示したように第２のＦＢ画像４０Ｂの位置が手の回転角に応じてダイヤル１Ｄを中心に回転移動させられる。また、制御部１０８は、ダイヤル１Ｄを実際に回転させてもよい。例えば、制御部１０８は、ダイヤル１Ｄを備える装置にダイヤル１Ｄの回転指示を送信することにより、当該装置にダイヤル１Ｄを回転させる。
　このように、第３の変形例によれば、情報処理装置１００は、操作体の数に応じて第１のＦＢ画像の表示を制御する。このため、複数の操作体を用いた複雑な操作においても操作に係る距離感をユーザに提示することができる。従って、当該複雑な操作における操作性を向上させることが可能となる。
　また、情報処理装置１００は、複数の操作体による操作に基づいて第２のＦＢ画像の表示を制御する。このため、ユーザは単一の操作体による操作よりも複雑な操作が求められる操作対象を操作することができる。従って、情報処理装置１００の適用範囲を広げることが可能となる。
　　（第４の変形例）
　本開示の一実施形態の第４の変形例として、情報処理装置１００は、操作体を操るユーザに係る情報（以下、ユーザ情報とも称する。）に基づいて第１のＦＢ画像の表示を制御する。ユーザ情報としては、操作に対するユーザの習熟度に係る情報（以下、習熟度情報とも称する。）がある。例えば、認識部１０４は操作を行うユーザを識別し、制御部１０８は識別されたユーザの習熟度情報を取得する。そして、制御部１０８は、習熟度情報に基づいて第１のＦＢ画像の表示を制御する。さらに、図２４を参照して、本変形例の処理について詳細に説明する。図２４は、本開示の一実施形態の第４の変形例に係る情報処理装置１００における第１のＦＢ画像の表示制御の例を示す図である。
　認識部１０４は、操作領域において操作を行うユーザを認識する。例えば、認識部１０４は、操作領域において操作を行うユーザの映る画像情報を測定装置２００から通信部１０２を介して取得する。そして、認識部１０４は、取得された画像情報に基づいて顔認識技術を用いてユーザを認識する。なお、ユーザの認識方法はこれに限られず、他のいずれの方法であってもよい。
　次に、制御部１０８は、認識されたユーザの習熟度情報を取得する。例えば、制御部１０８は、認識部１０４により認識されたユーザについての操作履歴から操作の習熟度を算出する。なお、習熟度情報は、情報処理装置１００に記憶されていてもよく、外部の装置において記憶されていてもよい。
　そして、制御部１０８は、取得された習熟度情報に基づいて第１のＦＢ画像の態様を決定する。具体的には、制御部１０８は、習熟度情報に応じた大きさの第１のＦＢ画像を表示装置に表示させる。例えば、制御部１０８は、算出されまたは取得された習熟度が高いほど大きい第１のＦＢ画像を投影装置３００に投影させる。図２４に示したように、情報処理装置１００の利用開始から三日後における第１のＦＢ画像３０Ｈよりも、利用開始から一週間後における第１のＦＢ画像３０Ｈの方が小さく投影される。これは、利用開始からの経過時間が長いほど操作についての習熟度が高くなると考えられるからである。なお、習熟度に応じた態様は、大きさのほか、上述したような形状、表示位置または視覚的効果などであってもよい。
　また、上記ユーザ情報としては、ユーザの識別情報がある。例えば、制御部１０８は、認識部１０４により識別されたユーザ個人に応じて第１のＦＢ画像の態様を制御する。また、上記ユーザ情報としては、ユーザの属性情報がある。例えば、制御部１０８は、認識部１０４により認識されたユーザの年齢、性別、住所または国籍などに応じて第１のＦＢ画像の態様を制御する。
　このように、第４の変形例によれば、情報処理装置１００はさらに、操作体を操るユーザに係る情報に基づいて第１のＦＢ画像の表示を制御する。ここで、操作行為は概して、ユーザの習熟度または性質などを要因としてユーザ毎に異なる。そのため、本変形例のように、第１のＦＢ画像がユーザに合わせて変化させられることにより、個々のユーザにより適した操作に係る距離感を提供することができる。
　　（第５の変形例）
　本開示の一実施形態の第５の変形例として、距離情報の第１の閾値は可変であってもよい。具体的には、制御部１０８は、距離情報に基づいて第１の閾値を制御する。例えば、制御部１０８は、距離情報の値と第１の閾値との差分が所定の範囲内である場合、第１の閾値を当該距離情報の値と第１の閾値との差分が広がる値へ変更する。図２５を参照して、本変形例の処理について説明する。図２５は、本開示の一実施形態の第５の変形例に係る情報処理装置１００における距離情報の第１の閾値の制御の例を示す図である。
　まず、図２５のＣａｓｅ３を参照して第１のＦＢ画像の表示前における第１の閾値の制御について説明する。制御部１０８は、距離情報の値が第１の閾値超過である場合に、距離情報の値が第１の閾値について所定の範囲内に到達すると、第１の閾値を引き下げる。例えば、操作体であるユーザの指が第１の閾値６０Ａより高い所定の高さまで近づけられると、第１の閾値が第１の閾値６０Ａから６０Ｂへ引き下げられる。
　その後、距離情報の値が引き下げ後の第１の閾値以下に到達すると、制御部１０８は、第１のＦＢ画像を表示装置に表示させる。例えば、第１の閾値が第１の閾値６０Ｂまで引き下げられた後、さらにユーザの指が第１の閾値６０Ｂ以下まで下げられると、ユーザの指による入力が認識される。すなわち、第１のＦＢ画像が投影領域に投影される。
　次に、図２５のＣａｓｅ４を参照して第１のＦＢ画像の表示後における第１の閾値の制御について説明する。制御部１０８は、距離情報の値が第１の閾値以下である場合に、距離情報の値が第１の閾値について所定の範囲に到達すると、第１の閾値を引き上げる。例えば、操作体であるユーザの指が第１の閾値６０Ａより低い所定の高さまで近づけられると、第１の閾値が第１の閾値６０Ａから６０Ｃへ引き上げられる。
　その後、距離情報の値が引き上げ後の第１の閾値超過に到達すると、制御部１０８は、第１のＦＢ画像の表示を表示装置に中止させる。例えば、第１の閾値が第１の閾値６０Ｃまで引き上げられた後、さらにユーザの指が第１の閾値６０Ｃ超過まで上げられると、第１のＦＢ画像の投影が中止される。
　なお、制御部１０８は、操作体に係る情報（以下、操作体情報とも称する。）に基づいて第１の閾値を制御してもよい。操作体情報としては、操作体の態様に係る情報がある。具体的には、制御部１０８は、操作体の大きさに基づいて第１の閾値を制御する。例えば、ユーザの指が大きいほど、第１の閾値が高くなるように第１の閾値が設定される。また、制御部１０８は、操作体の移動の速さに基づいて第１の閾値を制御してもよい。例えば、ユーザの指の移動速度または加速度が速いほど、第１の閾値が高くなるように第１の閾値が設定される。
　また、制御部１０８は、ユーザ情報に基づいて第１の閾値を制御してもよい。具体的には、制御部１０８は、ユーザの属性情報に基づいて第１の閾値を制御してもよい。ユーザの属性情報としては、ユーザの年齢、性別または利き手などの情報がある。例えば、ユーザの年齢が高いほど、第１の閾値が高くなるように第１の閾値が設定される。
　さらに、図２６を参照して、操作体情報またはユーザ情報に基づいて第１の閾値を制御する処理について説明する。図２６は、本開示の一実施形態の第５の変形例に係る情報処理装置１００における操作体情報またはユーザ情報を用いた第１の閾値の制御が追加された処理の例を概念的に示すフローチャートである。
　情報処理装置１００は、操作体情報またはユーザ情報を取得する（ステップＳ５０２）。具体的には、認識部１０４は、操作領域に存在する操作体および操作体の態様を認識し、認識された操作体の態様に係る情報を制御部１０８に提供する。また、認識部１０４は、操作領域に存在するユーザを、顔認識技術などを用いて認識し、認識されたユーザの識別情報などを制御部１０８に提供する。
　次に、情報処理装置１００は、操作体情報またはユーザ情報に基づいて第１の閾値を決定する（ステップＳ５０４）。具体的には、制御部１０８は、取得された操作体の態様に係る情報に基づいて第１の閾値を基準値から変更する。また、制御部１０８は、取得されたユーザの識別情報に基づいて取得されるユーザの属性情報に基づいて第１の閾値を基準値から変更する。当然ながら結果として第１の閾値が変更されない場合があってもよい。
　第１の閾値の決定後の処理（ステップＳ５０６～Ｓ５２２）は、図１５を参照して説明した処理と実質的に同一であるため説明を省略する。
　また、距離情報の第１の閾値は複数設けられてもよい。具体的には、制御部１０８は、操作体情報またはユーザ情報に基づいて、複数の第１の閾値から第１のＦＢ画像の表示制御処理に用いられる第１の閾値を選択する。例えば、制御部１０８は、操作体の移動の速さが所定値以上である場合、基準値よりも高い（すなわち操作体と入力認識領域との距離が長い）第１の閾値を選択する。そして、制御部１０８は、距離情報の値が選択された第１の閾値以下に達すると、第１のＦＢ画像を投影装置３００に投影させる。
　このように、第５の変形例によれば、情報処理装置１００は、距離情報に基づいて第１の閾値を制御する。このため、状況に応じて第１の閾値が変更されることにより、第１のＦＢ画像の表示時間を適正化することができる。従って、操作に係る距離感をより確実にユーザに把握させること、および第１のＦＢ画像の表示による表示領域の視認性の低下を抑制することが可能となる。
　また、情報処理装置１００は、操作体に係る情報に基づいて第１の閾値を制御する。ここで、操作体が大きいほどまたは操作体の移動が速いほど操作体が入力認識領域に到達するまでの時間が短くなり、第１のＦＢ画像の表示時間が短くなる。そこで、第１の閾値を操作体に応じて設定することにより、第１のＦＢ画像の表示時間を適正化することができる。それにより、操作に係る距離感をユーザにより確実に把握させることが可能となる。
　また、情報処理装置１００は、ユーザに係る情報に基づいて第１の閾値を制御する。ここで、第１のＦＢ画像が提示される場合であってもユーザによって操作に係る距離感の把握にかかる時間は概して異なる。例えば、ユーザの年齢が高いほど操作に係る距離感を把握するまでにかかる時間が長くなる。そこで、第１の閾値をユーザに応じて設定することにより、第１のＦＢ画像の表示時間をユーザについて適正化することができる。それにより、操作に係る距離感をユーザにより確実に把握させることが可能となる。
　また、情報処理装置１００は、複数の第１の閾値から第１のＦＢ画像の表示制御に用いられる第１の閾値を選択する。このため、単一の第１の閾値が変動する場合に比べて第１の閾値の制御処理を簡素化することができる。従って、第１の閾値の制御処理を高速化することができ、ユーザの操作と第１のＦＢ画像の表示とのタイムラグを抑制することが可能となる。
　　（第６の変形例）
　本開示の一実施形態の第６の変形例として、操作を行うユーザは複数であってもよい。具体的には、制御部１０８は、複数のユーザが操作する操作体の各々について、距離情報に基づく第１のＦＢ画像の表示制御を行う。例えば、認識部１０４は、操作領域で操作を行う複数のユーザを認識し、各ユーザが操作する操作体をそれぞれ認識する。距離情報生成部１０６は、認識された操作体の各々について距離情報を生成する。制御部１０８は、操作体の各々について、生成された距離情報の値が第１の閾値以下であるかに基づいて第１のＦＢ画像をそれぞれ投影装置３００に投影させる。
　また、制御部１０８は、ユーザに係る操作体の各々に応じた第１のＦＢ画像および操作体画像をそれぞれ表示装置に表示させる。具体的には、ユーザの各々に応じた識別態様の第１のＦＢ画像がそれぞれ表示される。例えば、ユーザの各々に応じた色、模様、形状または図形である第１のＦＢ画像がそれぞれ投影される。さらに、認識されたユーザに係る情報に基づいて第１のＦＢ画像の識別態様が決定されてもよい。例えば、認識されたユーザが着ている服の色などから第１のＦＢ画像の色が決定されてよい。
　また、ユーザの各々に応じた識別態様の操作体画像が表示される。例えば、制御部１０８は、撮像画像から複数のユーザに係る操作体の各々の画像を取得し、取得された画像の各々を投影装置３００に投影させる。なお、操作体画像は、上述したようにイラストレーション画像のような生成画像であってもよく、この場合はユーザの各々に対応する生成画像が用いられる。
　なお、ユーザに係る操作体に応じた操作体画像が表示されない場合にのみ、ユーザに係る操作体に応じた第１のＦＢ画像が表示されてもよい。
　このように、第６の変形例によれば、情報処理装置１００は、複数のユーザが操作する操作体の各々について、距離情報に基づく第１のＦＢ画像の表示制御を行う。このため、表示領域と異なる場所に設けられる操作領域において複数のユーザが同時に操作を行う場合であっても、各ユーザへ操作に係る距離感を提示することにより、各ユーザについて操作性の低下を抑制することができる。また、第１のＦＢ画像が各ユーザについてそれぞれ個別に識別可能に表示されることにより、各ユーザは混乱することなく操作を行うことができる。
　＜２．本開示の一実施形態に係る情報処理装置のハードウェア構成＞
　以上、本開示の一実施形態に係る情報処理装置１００について説明した。上述した情報処理装置１００の処理は、ソフトウェアと、以下に説明する情報処理装置１００のハードウェアとの協働により実現される。
　図２７は、本開示の一実施形態に係る情報処理装置１００のハードウェア構成を示した説明図である。図２７に示したように、情報処理装置１００は、プロセッサ１３２、メモリ１３４、ブリッジ１３６、バス１３８、インタフェース１４０、入力装置１４２、出力装置１４４、ストレージ装置１４６、ドライブ１４８、接続ポート１５０および通信装置１５２を備える。
　　（プロセッサ）
　プロセッサ１３２は、演算処理装置として機能し、各種プログラムと協働して情報処理装置１００内の認識部１０４、距離情報生成部１０６および制御部１０８の機能を実現する。プロセッサ１３２は、制御回路を用いてメモリ１３４または他の記憶媒体に記憶されるプログラムを実行することにより、情報処理装置１００の様々な論理的機能を動作させる。例えば、プロセッサ１３２は、ＣＰＵ（Central　Processing　Unit）、ＧＰＵ（Graphics　Processing　Unit）、ＤＳＰ（Digital　Signal　Processor）またはＳｏＣ（System-on-a-Chip）であり得る。
　　（メモリ）
　メモリ１３４は、プロセッサ１３２が使用するプログラムまたは演算パラメタなどを記憶する。例えば、メモリ１３４は、ＲＡＭ（Random　Access　Memory）を含み、プロセッサ１３２の実行において使用するプログラムまたは実行において適宜変化するパラメタなどを一時記憶する。また、メモリ１３４は、ＲＯＭ（Read　Only　Memory）を含み、ＲＡＭおよびＲＯＭにより記憶部の機能が実現される。なお、接続ポート１５０または通信装置１５２などを介して外部のストレージ装置がメモリ１３４の一部として利用されてもよい。
　なお、プロセッサ１３２およびメモリ１３４は、ＣＰＵバスなどから構成される内部バスにより相互に接続されている。
　　（ブリッジおよびバス）
　ブリッジ１３６は、バス間を接続する。具体的には、ブリッジ１３６は、プロセッサ１３２およびメモリ１３４が接続される内部バスと、インタフェース１４０と接続するバス１３８と、を接続する。
　　（入力装置）
　入力装置１４２は、ユーザが情報処理装置１００を操作しまたは情報処理装置１００へ情報を入力するために使用される。例えば、入力装置１４２は、ユーザが情報を入力するための入力手段、およびユーザによる入力に基づいて入力信号を生成し、プロセッサ１３２に出力する入力制御回路などから構成されている。なお、当該入力手段は、マウス、キーボード、タッチパネル、スイッチ、レバーまたはマイクロフォンなどであってもよい。情報処理装置１００のユーザは、入力装置１４２を操作することにより、情報処理装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。
　　（出力装置）
　出力装置１４４は、ユーザに情報を通知するために使用される。例えば、出力装置１４４は、液晶ディスプレイ（ＬＣＤ：Liquid　Crystal　Display）装置、ＯＬＥＤ（Organic　Light　Emitting　Diode）装置、プロジェクタ、スピーカまたはヘッドフォンなどの装置または当該装置への出力を行うモジュールであってよい。
　なお、入力装置１４２または出力装置１４４は、入出力装置を含んでよい。例えば、入出力装置は、タッチスクリーンであってよい。
　　（ストレージ装置）
　ストレージ装置１４６は、データ格納用の装置である。ストレージ装置１４６は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されるデータを削除する削除装置等を含んでもよい。ストレージ装置１４６は、ＣＰＵ１３２が実行するプログラムや各種データを格納する。
　　（ドライブ）
　ドライブ１４８は、記憶媒体用リーダライタであり、情報処理装置１００に内蔵、あるいは外付けされる。ドライブ１４８は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記憶されている情報を読み出して、メモリ１３４に出力する。また、ドライブ１４８は、リムーバブル記憶媒体に情報を書込むこともできる。
　　（接続ポート）
　接続ポート１５０は、機器を情報処理装置１００に直接接続するためのポートである。例えば、接続ポート１５０は、ＵＳＢ（Universal　Serial　Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small　Computer　System　Interface）ポートなどであり得る。また、接続ポート１５０は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface）ポートなどであってもよい。接続ポート１５０に外部機器を接続することで、情報処理装置１００と当該外部機器との間でデータが交換されてもよい。
　　（通信装置）
　通信装置１５２は、情報処理装置１００と外部装置との間の通信を仲介し、通信部１０２の機能を実現する。具体的には、通信装置１５２は、無線通信方式または有線通信方式に従って通信を実行する。例えば、通信装置１５２は、ＷＣＤＭＡ（登録商標）（Wideband　Code　Division　Multiple　Access）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（Long　Term　Evolution）もしくはＬＴＥ－Ａなどのセルラ通信方式に従って無線通信を実行する。なお、通信装置１５２は、Bluetooth（登録商標）、ＮＦＣ（Near　Field　Communication）、ワイヤレスＵＳＢもしくはTransferJet（登録商標）などの近距離無線通信方式、またはＷｉ－Ｆｉ（登録商標）などの無線ＬＡＮ（Local　Area　Network）方式といった、任意の無線通信方式に従って無線通信を実行してもよい。また、通信装置１５２は、信号線通信または有線ＬＡＮ通信などの有線通信を実行してよい。
　なお、情報処理装置１００は、図２７を用いて説明した構成の一部を有しなくてもよく、または任意の追加的な構成を有していてもよい。また、図２７を用いて説明した構成の全体または一部を集積したワンチップの情報処理モジュールが提供されてもよい。
　＜３．むすび＞
　以上、本開示の一実施形態によれば、操作体の位置と操作体による操作の入力が認識される位置との間の距離についての目安（以下、操作に係る距離感とも称する。）をユーザに提示することができる。そのため、ユーザは表示領域を見ながら操作体の操作を直感的に行うことができる。従って、表示領域と操作領域とが異なる場合における操作性の低下を抑制することが可能となる。特に、三次元空間におけるユーザにとっての奥行き方向の操作は他の方向（例えば上下左右方向）の操作よりもユーザは距離感を把握しづらいため、情報処理装置１００は有意義である。また、直感的な操作が可能であるため、入力操作についての習熟を早期化することができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態では、距離情報がユーザにとっての奥行き方向の距離に係る情報である例を主に説明したが、本技術はかかる例に限定されない。例えば、距離情報はユーザにとっての上下左右方向のうちのいずれかの方向またはそれ以外の特定の方向であってもよい。
　また、上記実施形態では、測定装置２００がデプスセンサである例を主に説明したが、測定装置２００は、可視光撮像装置、レーザ測距センサまたは超音波センサなどであってもよい。
　また、上記実施形態では、投影装置３００により第１のＦＢ画像などの仮想オブジェクトが投影される例を主に説明したが、当該仮想オブジェクトは、操作領域と表示領域とが異なる他の表示装置により表示されてもよい。例えば、当該仮想オブジェクトは、外界像の光を透過し表示部に画像が表示されまたはユーザの眼に画像に係る画像光が投射されるＨＵＤ（Head　Up　Display）、または撮像された外界像と画像とが表示されるＨＭＤ（Head　Mount　Display）などにより表示されてもよい。
　また、上記実施形態では、操作領域および入力認識領域が認識部１０４により認識される例を説明したが、操作領域および入力認識領域は他の方法で取得されてもよい。例えば、操作領域および入力認識領域の位置および広さなどの情報は、情報処理装置１００に予め記憶されていてもよく、外部の装置から通信を介して取得されてもよい。また、操作領域および入力認識領域は固定されていてもよい。
　また、本開示の一実施形態に係る情報処理システムは、サーバクライアント型のシステムまたはクラウドサービス型のシステムであってもよい。例えば、情報処理装置１００は、測定装置２００および投影装置３００が設置される場所と異なる場所に設置されるサーバであってよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　また、上記の実施形態のフローチャートに示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的にまたは個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
　また、情報処理装置１００に内蔵されるハードウェアに上述した情報処理装置１００の各論理構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムが記憶された記憶媒体も提供される。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　仮想オブジェクトが視認される表示領域と異なる操作領域において認識される操作体と、前記操作領域における前記操作体による入力が認識される入力認識領域と、の距離に応じて変化する距離情報を得る入力部と、
　前記距離情報に基づいて前記仮想オブジェクトに関する出力を制御する出力制御部と、
　を備える情報処理装置。
（２）
　前記出力は、少なくとも１つの第１の仮想オブジェクトの表示を含む、
　前記（１）に記載の情報処理装置。
（３）
　前記出力制御部は、前記距離情報に基づいて前記第１の仮想オブジェクトの表示範囲に関する前記第１の仮想オブジェクトの態様を制御する、
　前記（２）に記載の情報処理装置。
（４）
　前記第１の仮想オブジェクトの態様は、前記第１の仮想オブジェクトの大きさまたは形状を含む、
　前記（３）に記載の情報処理装置。
（５）
　前記出力制御部は、前記距離情報に基づいて複数の前記第１の仮想オブジェクトの位置関係を制御する、
　前記（２）～（４）のいずれか１項に記載の情報処理装置。
（６）
　前記出力制御部は、前記距離情報に基づいて前記第１の仮想オブジェクトについての視覚的効果を制御する、
　前記（２）～（５）のいずれか１項に記載の情報処理装置。
（７）
　前記第１の仮想オブジェクトについての視覚的効果の制御は、前記第１の仮想オブジェクトの透明度、ぼかしまたは色の制御を含む、
　前記（６）に記載の情報処理装置。
（８）
　前記出力制御部は、前記距離情報に基づいて前記第１の仮想オブジェクトの表示密度を制御する、
　前記（２）～（７）のいずれか１項に記載の情報処理装置。
（９）
　前記第１の仮想オブジェクトは、前記操作体に対応する形状の仮想オブジェクトを含む、
　前記（２）～（８）のいずれか１項に記載の情報処理装置。
（１０）
　前記第１の仮想オブジェクトは、前記距離情報の値を表現する仮想オブジェクトを含む、
　前記（２）～（９）のいずれか１項に記載の情報処理装置。
（１１）
　前記出力制御部はさらに、前記操作体に対応する第２の仮想オブジェクトの表示を制御し、
　前記第１の仮想オブジェクトは、前記第２の仮想オブジェクトに基づいて表示される仮想オブジェクトを含む、
　前記（２）～（１０）のいずれか１項に記載の情報処理装置。
（１２）
　前記表示領域は、前記操作体による操作の対象を包含する領域を含み、
　前記出力制御部はさらに、前記操作の対象に係る情報に基づいて前記第１の仮想オブジェクトの表示を制御する、
　前記（２）～（１１）のいずれか１項に記載の情報処理装置。
（１３）
　前記出力制御部はさらに、前記操作体の数に応じて前記第１の仮想オブジェクトの表示を制御する、
　前記（２）～（１２）のいずれか１項に記載の情報処理装置。
（１４）
　前記出力制御部はさらに、前記操作体を操るユーザに係る情報に基づいて前記第１の仮想オブジェクトの表示を制御する、
　前記（２）～（１３）のいずれか１項に記載の情報処理装置。
（１５）
　前記出力制御部は、前記距離情報の閾値に基づいて前記第１の仮想オブジェクトの表示有無を制御する、
　前記（２）～（１４）のいずれか１項に記載の情報処理装置。
（１６）
　前記出力制御部は、前記距離情報に基づいて前記閾値を制御する、
　前記（１５）に記載の情報処理装置。
（１７）
　前記出力制御部は、前記操作体に係る情報または前記操作体を操るユーザに係る情報に基づいて前記閾値を制御する、
　前記（１５）または（１６）に記載の情報処理装置。
（１８）
　前記出力制御部はさらに、前記操作体による入力の認識に基づいて、前記操作体による操作の対象に応じた第３の仮想オブジェクトの表示を制御する、
　前記（２）～（１７）のいずれか１項に記載の情報処理装置。
（１９）
　プロセッサを用いて、
　仮想オブジェクトが視認される表示領域と異なる操作領域において認識される操作体と、前記操作領域における前記操作体による入力が認識される入力認識領域と、の距離に応じて変化する距離情報を得ることと、
　前記距離情報に基づいて前記仮想オブジェクトに関する出力を制御することと、
　を含む情報処理方法。
（２０）
　仮想オブジェクトが視認される表示領域と異なる操作領域において認識される操作体と、前記操作領域における前記操作体による入力が認識される入力認識領域と、の距離に応じて変化する距離情報を得る入力機能と、
　前記距離情報に基づいて前記仮想オブジェクトに関する出力を制御する出力制御機能と、
　をコンピュータに実現させるためのプログラム。
　１００　　情報処理装置
　１０２　　通信部
　１０４　　認識部
　１０６　　距離情報生成部
　１０８　　制御部
　２００　　測定装置
　３００　　投影装置

Claims (20)

  1. 　仮想オブジェクトが視認される表示領域と異なる操作領域において認識される操作体と、前記操作領域における前記操作体による入力が認識される入力認識領域と、の距離に応じて変化する距離情報を得る入力部と、
    　前記距離情報に基づいて前記仮想オブジェクトに関する出力を制御する出力制御部と、
    　を備える情報処理装置。
  2. 　前記出力は、少なくとも１つの第１の仮想オブジェクトの表示を含む、
    　請求項１に記載の情報処理装置。
  3. 　前記出力制御部は、前記距離情報に基づいて前記第１の仮想オブジェクトの表示範囲に関する前記第１の仮想オブジェクトの態様を制御する、
    　請求項２に記載の情報処理装置。
  4. 　前記第１の仮想オブジェクトの態様は、前記第１の仮想オブジェクトの大きさまたは形状を含む、
    　請求項３に記載の情報処理装置。
  5. 　前記出力制御部は、前記距離情報に基づいて複数の前記第１の仮想オブジェクトの位置関係を制御する、
    　請求項２に記載の情報処理装置。
  6. 　前記出力制御部は、前記距離情報に基づいて前記第１の仮想オブジェクトについての視覚的効果を制御する、
    　請求項２に記載の情報処理装置。
  7. 　前記第１の仮想オブジェクトについての視覚的効果の制御は、前記第１の仮想オブジェクトの透明度、ぼかしまたは色の制御を含む、
    　請求項６に記載の情報処理装置。
  8. 　前記出力制御部は、前記距離情報に基づいて前記第１の仮想オブジェクトの表示密度を制御する、
    　請求項２に記載の情報処理装置。
  9. 　前記第１の仮想オブジェクトは、前記操作体に対応する形状の仮想オブジェクトを含む、
    　請求項２に記載の情報処理装置。
  10. 　前記第１の仮想オブジェクトは、前記距離情報の値を表現する仮想オブジェクトを含む、
    　請求項２に記載の情報処理装置。
  11. 　前記出力制御部はさらに、前記操作体に対応する第２の仮想オブジェクトの表示を制御し、
    　前記第１の仮想オブジェクトは、前記第２の仮想オブジェクトに基づいて表示される仮想オブジェクトを含む、
    　請求項２に記載の情報処理装置。
  12. 　前記表示領域は、前記操作体による操作の対象を包含する領域を含み、
    　前記出力制御部はさらに、前記操作の対象に係る情報に基づいて前記第１の仮想オブジェクトの表示を制御する、
    　請求項２に記載の情報処理装置。
  13. 　前記出力制御部はさらに、前記操作体の数に応じて前記第１の仮想オブジェクトの表示を制御する、
    　請求項２に記載の情報処理装置。
  14. 　前記出力制御部はさらに、前記操作体を操るユーザに係る情報に基づいて前記第１の仮想オブジェクトの表示を制御する、
    　請求項２に記載の情報処理装置。
  15. 　前記出力制御部は、前記距離情報の閾値に基づいて前記第１の仮想オブジェクトの表示有無を制御する、
    　請求項２に記載の情報処理装置。
  16. 　前記出力制御部は、前記距離情報に基づいて前記閾値を制御する、
    　請求項１５に記載の情報処理装置。
  17. 　前記出力制御部は、前記操作体に係る情報または前記操作体を操るユーザに係る情報に基づいて前記閾値を制御する、
    　請求項１５に記載の情報処理装置。
  18. 　前記出力制御部はさらに、前記操作体による入力の認識に基づいて、前記操作体による操作の対象に応じた第３の仮想オブジェクトの表示を制御する、
    　請求項２に記載の情報処理装置。
  19. 　プロセッサを用いて、
    　仮想オブジェクトが視認される表示領域と異なる操作領域において認識される操作体と、前記操作領域における前記操作体による入力が認識される入力認識領域と、の距離に応じて変化する距離情報を得ることと、
    　前記距離情報に基づいて前記仮想オブジェクトに関する出力を制御することと、
    　を含む情報処理方法。
  20. 　仮想オブジェクトが視認される表示領域と異なる操作領域において認識される操作体と、前記操作領域における前記操作体による入力が認識される入力認識領域と、の距離に応じて変化する距離情報を得る入力機能と、
    　前記距離情報に基づいて前記仮想オブジェクトに関する出力を制御する出力制御機能と、
    　をコンピュータに実現させるためのプログラム。
PCT/JP2017/014910 2016-05-31 2017-04-12 情報処理装置、情報処理方法およびプログラム WO2017208637A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP17806197.4A EP3467620A4 (en) 2016-05-31 2017-04-12 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
US16/301,295 US20200319834A1 (en) 2016-05-31 2017-04-12 Information processing device, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-108409 2016-05-31
JP2016108409 2016-05-31

Publications (1)

Publication Number Publication Date
WO2017208637A1 true WO2017208637A1 (ja) 2017-12-07

Family

ID=60479477

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/014910 WO2017208637A1 (ja) 2016-05-31 2017-04-12 情報処理装置、情報処理方法およびプログラム

Country Status (3)

Country Link
US (1) US20200319834A1 (ja)
EP (1) EP3467620A4 (ja)
WO (1) WO2017208637A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019128941A (ja) * 2018-01-24 2019-08-01 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． ３ｄモデルのシステム全体の挙動のためのデバイス、方法、及びグラフィカルユーザーインターフェース
WO2020050186A1 (ja) * 2018-09-06 2020-03-12 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
US11163417B2 (en) 2017-08-31 2021-11-02 Apple Inc. Systems, methods, and graphical user interfaces for interacting with augmented and virtual reality environments

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011175623A (ja) * 2010-01-29 2011-09-08 Shimane Prefecture 画像認識装置および操作判定方法並びにプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120056989A1 (en) * 2010-09-06 2012-03-08 Shimane Prefectural Government Image recognition apparatus, operation determining method and program
JP5812054B2 (ja) * 2012-08-23 2015-11-11 株式会社デンソー 操作デバイス

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011175623A (ja) * 2010-01-29 2011-09-08 Shimane Prefecture 画像認識装置および操作判定方法並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3467620A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11163417B2 (en) 2017-08-31 2021-11-02 Apple Inc. Systems, methods, and graphical user interfaces for interacting with augmented and virtual reality environments
US11740755B2 (en) 2017-08-31 2023-08-29 Apple Inc. Systems, methods, and graphical user interfaces for interacting with augmented and virtual reality environments
JP2019128941A (ja) * 2018-01-24 2019-08-01 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． ３ｄモデルのシステム全体の挙動のためのデバイス、方法、及びグラフィカルユーザーインターフェース
WO2020050186A1 (ja) * 2018-09-06 2020-03-12 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体

Also Published As

Publication number Publication date
EP3467620A1 (en) 2019-04-10
EP3467620A4 (en) 2019-05-22
US20200319834A1 (en) 2020-10-08

Similar Documents

Publication Publication Date Title
US20220121344A1 (en) Methods for interacting with virtual controls and/or an affordance for moving virtual objects in virtual environments
CN110603509B (zh) 计算机介导的现实环境中直接和间接交互的联合
US10928975B2 (en) On-the-fly adjustment of orientation of virtual objects
JP6074170B2 (ja) 近距離動作のトラッキングのシステムおよび方法
US9218113B2 (en) Information processing device, information processing method and program
CN106605187B (zh) 信息处理装置、信息处理方法以及程序
WO2017098822A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP5916037B2 (ja) 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
JP2013037675A5 (ja)
EP2180400A2 (en) Image processing apparatus, image processing method, and program
US20180005440A1 (en) Universal application programming interface for augmented reality
WO2017208637A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2017187952A (ja) 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム
WO2017169273A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6911834B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2022000787A (ja) 画像制御方法およびプログラム
JP6270495B2 (ja) 情報処理装置、情報処理方法、コンピュータプログラム、及び記憶媒体
US9961293B2 (en) Method for providing interface using mobile device and wearable device
JPWO2014061310A1 (ja) 表示物制御システム、表示物制御方法及びプログラム
WO2017169272A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20230042447A1 (en) Method and Device for Managing Interactions Directed to a User Interface with a Physical Object
JP2018185567A (ja) 情報処理方法、情報処理プログラム、情報処理システムおよび情報処理装置
US20230376110A1 (en) Mapping a Computer-Generated Trackpad to a Content Manipulation Region
CN117616365A (zh) 用于动态选择对象的操作模态的方法和设备
JP2024018909A (ja) スマートウォッチを用いたｘｒ操作機能

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17806197

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017806197

Country of ref document: EP

Effective date: 20190102

NENP Non-entry into the national phase

Ref country code: JP