WO2016151958A1 - 情報処理装置、情報処理システム、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理システム、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2016151958A1
WO2016151958A1 PCT/JP2015/084326 JP2015084326W WO2016151958A1 WO 2016151958 A1 WO2016151958 A1 WO 2016151958A1 JP 2015084326 W JP2015084326 W JP 2015084326W WO 2016151958 A1 WO2016151958 A1 WO 2016151958A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
user
sight
line
sound
Prior art date
Application number
PCT/JP2015/084326
Other languages
English (en)
French (fr)
Inventor
安田　亮平
野田　卓郎
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2016151958A1 publication Critical patent/WO2016151958A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing system, an information processing method, and a program.
  • UI User Interface
  • Such a UI includes a UI based on a user's line of sight, a user's gesture, and the like.
  • Patent Document 1 discloses an invention relating to an information processing apparatus that controls an operation based on a captured image depending on whether a user's viewpoint is moved during a user's predetermined gesture.
  • Patent Document 1 when it is difficult for the user to perform a predetermined gesture, it is difficult to control the operation. For example, while the user is performing a manual operation, it becomes difficult to operate the apparatus based on a gesture using the hand.
  • the determination unit that determines the operation position based on the line-of-sight information related to the user's line of sight and the sound information related to the sound emitted by the user, and the user notification process at the operation position determined by the determination unit
  • an information processing apparatus including the processing unit.
  • a line-of-sight information acquisition device that acquires line-of-sight information related to a user's line of sight
  • a sound information acquisition device that acquires sound information related to sound emitted by the user
  • the line-of-sight information acquisition device and the sound
  • An information processing apparatus comprising: a determination unit that determines an operation position based on the line-of-sight information and the sound information obtained from an information acquisition device; and a processing function that performs a user notification process at the operation position determined by the determination unit And an output device that performs an output related to the user notification process of the information processing device.
  • the determination unit determines the operation position based on the line-of-sight information related to the user's line of sight and the sound information related to the sound emitted by the user, and performs the user notification process at the operation position.
  • a method comprising:
  • a determination function that determines an operation position based on line-of-sight information related to a user's line of sight and sound information related to a sound emitted by the user, and a user at the operation position determined by the determination function
  • a program for causing a computer to perform a processing function for performing notification processing is provided.
  • an information processing apparatus an information processing system, an information processing method, and a program that allow a user to easily perform an operation in parallel with the operation while performing the operation separately. Is done. Note that the above effects are not necessarily limited, and any of the effects shown in the present specification, or other effects that can be grasped from the present specification, together with or in place of the above effects. May be played.
  • FIG. 2 is a block diagram illustrating an example of a schematic functional configuration of an information processing apparatus according to a first embodiment of the present disclosure.
  • FIG. It is a figure showing an example of application of an information processing system concerning the embodiment. It is a figure for demonstrating the sharing process of the marker information of the information processing apparatus which concerns on the embodiment.
  • 3 is a flowchart conceptually showing processing of the information processing apparatus according to the embodiment. It is a block diagram showing a schematic functional composition of an information processor concerning a 2nd embodiment of this indication. It is a figure showing an example of application of an information processing system concerning the embodiment. It is a figure for demonstrating the sharing process of the marker information of the information processing apparatus which concerns on the embodiment.
  • FIG. 3 is an explanatory diagram illustrating a hardware configuration of an information processing apparatus according to an embodiment of the present disclosure.
  • An information processing apparatus includes a line-of-sight information acquisition function and a display control function.
  • the line-of-sight information acquisition function acquires information related to the user's line of sight (hereinafter also referred to as line-of-sight information).
  • the display control function generates an image including a display object and causes the display device to display the image. Therefore, the information processing apparatus can display on the display device an image in which a predetermined display object is positioned ahead of the user's line of sight estimated based on the line-of-sight information.
  • an operation body such as a mouse or a body such as a hand is generally used for the user operation. Therefore, it is difficult to perform another operation while the user is operating using the operating tool or the like.
  • an operation for communication between users may be added.
  • the user performs switching such as temporarily stopping his / her operation and performing an operation for communication.
  • the user's operation is generally an operation using the user's body, when the user is not used to the operation or the operation target moves, not only the operation takes time but also the operation itself is difficult. There was.
  • the present disclosure proposes an information processing apparatus that allows a user to easily operate in parallel with the operation while performing the operation separately.
  • the information processing apparatus 100 will be described in detail as the information processing apparatus.
  • each of the information processing apparatuses 100 according to the first and second embodiments is denoted by a number corresponding to the embodiment at the end like the information processing apparatuses 100-1 and 100-2. It distinguishes by attaching.
  • FIG. 1 is a block diagram illustrating an example of a schematic functional configuration of the information processing system according to the first embodiment of the present disclosure.
  • the information processing system includes an information processing device 100-1, a line-of-sight detection device 200, a sound detection device 300, and a display device 400, as shown in FIG. Each device of the information processing system is connected via communication.
  • the line-of-sight detection device 200, the sound detection device 300, and the display device 400 are arranged around the user.
  • the information processing apparatus 100-1 includes a communication unit 102, a control unit 104, and a storage unit 106.
  • the communication unit 102 communicates with the line-of-sight detection device 200, the sound detection device 300, and the display device 400. Specifically, the communication unit 102 receives information related to the user's line of sight from the line-of-sight detection device 200, and receives information related to the sound emitted by the user from the sound detection device 300 (hereinafter also referred to as sound information). . Further, the communication unit 102 transmits image information to the display device 400. For example, the communication performed by the communication unit 102 may be wired communication or wireless communication.
  • the storage unit 106 stores information related to the control process of the control unit 104. Specifically, the storage unit 106 stores an image to be displayed on the display device 400, a display object described later, marker information, and the like.
  • the control unit 104 has a plurality of functions. Specifically, the control unit 104 has an operation position determination and marking function, a marking sharing function, a marking tracking function, a marking deletion function, and a plurality of marking display control functions. Each function will be described in detail below.
  • the control unit 104 controls the operation of the information processing apparatus 100-1 based on line-of-sight information and sound information as a determination unit and a processing unit. Specifically, the control unit 104 determines a position related to a user operation (hereinafter also referred to as an operation position) based on line-of-sight information and sound information, and performs a user notification process for the determined operation position. . More specifically, the control unit 104 superimposes (hereinafter also referred to as marking) a display object (hereinafter also referred to as a marker object) with respect to an operation position determined based on line-of-sight information and sound information. Further, the processing of the control unit 104 will be described in detail with reference to FIG. FIG. 2 is a diagram illustrating an application example of the information processing system according to the present embodiment.
  • the control unit 104 obtains line-of-sight information from the line-of-sight detection device 200.
  • the control unit 104 acquires line-of-sight information indicating the line of sight of the user U1 as illustrated in the left diagram of FIG.
  • the control unit 104 may request line-of-sight information from the line-of-sight detection device 200 via the communication unit 102, and the line-of-sight information may be spontaneously transmitted from the line-of-sight detection device 200.
  • the sound information described later is the same as the line-of-sight information.
  • the control unit 104 displays a display object (hereinafter also referred to as a line-of-sight object) indicating the position of the line-of-sight destination (hereinafter also referred to as the line-of-sight position) specified from the line-of-sight information. It is displayed on the device 400.
  • the control unit 104 specifies the line-of-sight position based on the acquired line-of-sight information, and generates an image so that the line-of-sight object 10 is superimposed on the specified line-of-sight position. Then, the control unit 104 causes the display device 400A to display the generated image via the communication unit 102.
  • the control unit 104 operates the operation position based on the line-of-sight position specified from the line-of-sight information when the sound indicated by the sound information includes a predetermined sound. To decide. For example, when the sound information related to the user's voice is acquired, the control unit 104 determines whether the keyword “here” as illustrated in the left diagram of FIG. 2 is included in the user's voice. When it is determined that a keyword is included in the user's voice, the control unit 104 displays a position corresponding to the line-of-sight position specified based on the line-of-sight information, that is, the line-of-sight object 10 as shown in the left diagram of FIG. Is determined as a reference operation position related to the user's operation.
  • the operation position may be a position obtained by a correction process for the line-of-sight position.
  • voice is not limited to said example, A various keyword can be employ
  • the keyword may be determined in advance, and may be added and changed by a setting change.
  • the sound information is a trigger for user notification processing of the control unit 104, it is also referred to as trigger information below.
  • the control unit 104 superimposes the marker object on the determined operation position on the image. For example, when the operation position is determined, the control unit 104 superimposes the marker object 20 as illustrated in the right diagram of FIG. 2 on a position corresponding to the operation position in the image. Then, the control unit 104 causes the display device 400A to display an image on which the marker object 20 is superimposed via the communication unit 102. When the user's line-of-sight position changes, the control unit 104 moves the line-of-sight object 10 to the line-of-sight position after the change, but does not move the marker object 20.
  • the sound emitted by the user may be a sound generated by the user's action.
  • the sound generated by the user's action is a sound generated by the user using a body such as finger snaps, or a sound generated by the user operating an instrument or device that generates a sound such as an instrument or a buzzer. obtain.
  • the line-of-sight information is information indicating the line of sight
  • the control unit 104 specifies the line-of-sight position.
  • the line-of-sight information may be information indicating the line-of-sight position.
  • the line-of-sight information may be image information related to an image obtained by imaging in the line-of-sight detection apparatus 200 described later, and in this case, the control unit 104 performs line-of-sight detection and specification of the line-of-sight position.
  • the sound information is information indicating sound.
  • the sound information may be information indicating whether or not a keyword is included.
  • the control unit 304 of the sound detection device 300 determines whether or not a keyword is included in the collected sound. If the keyword is included, sound information indicating that the keyword is uttered is generated.
  • the control unit 104 of the information processing apparatus 100-1 determines a position corresponding to the line-of-sight position as the operation position.
  • the marker object may have various other forms.
  • the marker object may be a polygon or an ellipse, and may be a symbol or an icon.
  • the marker object may be a display object such as an arrow pointing to the operation position or a flag, or may be a display object on which highlighting such as blinking or temporal change in color or luminance is performed. Note that various forms can be adopted for the display object indicating the line-of-sight position as well as the marker object.
  • the marker object may be determined in advance by the information processing apparatus 100-1 or the user, or may be changed by changing the setting.
  • the control unit 104 shares marker object information (hereinafter also referred to as marker information) with other information processing apparatuses. Specifically, the control unit 104 provides marker information to another information processing apparatus via the communication unit 102. Furthermore, the sharing of marker information will be described in detail with reference to FIG. FIG. 3 is a diagram for explaining marker information sharing processing of the information processing apparatus 100-1 according to the present embodiment.
  • the marker information is information including a marker object and a superimposed position, and is transmitted to another information processing apparatus via a server connected to the information processing apparatus 100-1 or directly. Then, the other information processing apparatus superimposes the marker object 20 on the image based on the shared marker information, and the image is displayed on the display device 400B that is the viewing destination of the other user U2 as illustrated in FIG. Display.
  • the transmission destination of the marker information may be specified by group member information or the like of the information processing system, or may be all users who can access the information processing system, that is, all information processing apparatuses.
  • the information processing apparatus 100-1 may be a server.
  • the information processing apparatus 100-1 acquires information about each user such as line-of-sight information, sound information, and operation information via communication, and uses the information on an image generated based on the acquired information on each user.
  • the information is distributed to the display device 400 or an information processing device serving as a client.
  • the control unit 104 superimposes the display object on the object present at the operation position, and controls the superimposed display of the display object so as to correspond to the form of the object. Specifically, the control unit 104 superimposes a display object on another display object (hereinafter, also referred to as an existing object) displayed on the image as the above-described object, and corresponds to the aspect of the existing object. Controls the overlay display of display objects.
  • an existing object another display object
  • the control unit 104 when there is an existing object at the determined operation position, the control unit 104 superimposes the marker object on the existing object. For example, when the operation position is determined, the control unit 104 superimposes the marker object 20 on the existing object 30 such as a monster displayed at the operation position as illustrated in the left diagram of FIG.
  • the control unit 104 controls the superimposed display of the marker object so as to follow the movement of the existing object. For example, the control unit 104 moves the marker object 20 in accordance with the movement of the existing object 30 as shown in the right diagram of FIG.
  • the control unit 104 may determine the appearance of the marker object 20 in accordance with the appearance, such as the size, shape, or color of an existing object, or a change in the appearance. Further, the control unit 104 may perform a change different from the change of the existing object. For example, the control unit 104 may change the color of the marker object when the size of the existing object changes.
  • control unit 104 may erase the marker object superimposed on the existing object from the image. For example, when the existing object is deleted from the image due to the movement of the existing object or the user's viewpoint change, the control unit 104 deletes the marker object from the image.
  • control unit 104 may superimpose the marker object superimposed on the existing object again on the existing object. Further, while the existing object on which the marker object is superimposed is erased from the image, a separate display object such as an arrow indicating the direction to the marker object may be displayed on the image. In this case, the user is guided in the direction of the arrow.
  • control unit 104 may superimpose the marker object on the location. For example, when the existing object and the marker object are hidden behind the obstacle in the image, the control unit 104 superimposes the marker object on the image so as to pass through the obstacle.
  • the marker object may be determined according to the type of the existing object. For example, when the existing object is a character object, different marker objects are superimposed depending on whether the attribute of the character object is an enemy or a friend.
  • the marker object may be determined according to the form of the existing object. For example, when an existing object is a surface that extends in the horizontal direction such as the ground or a surface that extends in the vertical direction such as a wall, it stands upright in a direction that is attached to the surface or intersects the surface. Thus, the marker object is superimposed. Further, when the existing object is a background indicating air, the marker object is superimposed so as to float in the air. When the space related to the displayed image has the concept of a three-dimensional space, a marker object in which the depth is taken into consideration based on information related to the congestion of the eyes of the user included in the line-of-sight information may be superimposed.
  • the control unit 104 deletes the marker object separately from the temporary deletion of the marker object from the image. Specifically, the control unit 104 deletes the marker object when a predetermined time (hereinafter also referred to as a deletion grace time) elapses. For example, the control unit 104 deletes the marker object when the deletion grace time elapses after the marker object is superimposed.
  • the start of the deletion grace period may be another event. For example, when the existing object on which the marker object is superimposed is a moving object, the stillness of the existing object is the beginning of the deletion grace period.
  • control unit 104 changes the marker object in accordance with the elapse of time until the deletion grace time elapses. For example, the control unit 104 changes the marker object so that it looks thin as time elapses after the marker object is superimposed.
  • the change in the marker object may be a change in color, shape, size, etc., in addition to the change in transparency as described above.
  • control unit 104 may change the marker object with the passage of time after a predetermined time has elapsed from the deletion grace time.
  • the marker object may be deleted when an event different from the elapsed time occurs. For example, when an existing object that is a superimposition destination of the marker object is deleted, the marker object may be deleted. In addition, the marker object may be deleted when the entire image is switched to another image by switching the virtual space map being played in the game or the like to another map.
  • the control unit 104 superimposes one or more marker objects on the image. Specifically, when the number of marker objects is set to 1, when the operation position is determined, the control unit 104 deletes the marker object that has already been displayed from the image and adds a new marker object to the image. Superimpose. In addition, when the number of marker objects is set to a plurality, the control unit 104 superimposes a new marker object on the image every time the operation position is determined. When an upper limit is set for the number of marker objects, the control unit 104 deletes and newly superimposes the marker objects according to a FIFO (First In First Out) method or a priority method, and keeps the number of marker objects below the upper limit. .
  • FIFO First In First Out
  • the plurality of marker objects may be different for each user. For example, when the line-of-sight information and sound information of a plurality of different users are acquired, the control unit 104 superimposes a marker object corresponding to each user on the image.
  • the line-of-sight detection device 200 includes a communication unit 202, a control unit 204, and an imaging unit 206 as the line-of-sight information acquisition device as illustrated in FIG.
  • the communication unit 202 communicates with the information processing apparatus 100-1. Specifically, the communication unit 202 transmits line-of-sight information provided from the control unit 204 to the information processing apparatus 100-1.
  • the control unit 204 controls the overall operation of the line-of-sight detection device 200. Specifically, the control unit 204 instructs the imaging unit 206 to perform imaging, and generates line-of-sight information based on an image obtained by imaging of the imaging unit 206. Then, the control unit 204 causes the communication unit 202 to transmit the line-of-sight information generated toward the information processing apparatus 100-1. More specifically, the control unit 204 detects the user's line of sight by analyzing the user included in the image provided from the imaging unit 206. And the control part 204 produces
  • the imaging unit 206 images the user based on an instruction from the control unit 204. Specifically, the imaging unit 206 performs imaging in the vicinity of the user so that the user becomes a subject, and provides the control unit 204 with an image obtained by imaging.
  • the imaging unit 206 may include an imaging optical system such as a photographing lens and a zoom lens that collects light, and a signal conversion element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the imaging unit 206 may be an IR (Infrared) camera or a combination of the visible light camera and the IR camera.
  • the sound detection device 300 includes a communication unit 302, a control unit 304, and a sound collection unit 306 as a sound information acquisition device as illustrated in FIG.
  • the communication unit 302 communicates with the information processing apparatus 100-1. Specifically, the communication unit 302 transmits sound information provided from the control unit 304 to the information processing apparatus 100-1.
  • the control unit 304 controls the operation of the sound detection apparatus 300 as a whole. Specifically, the control unit 304 instructs the sound collection unit 306 to start and stop sound collection, and directs the sound information obtained by the sound collection of the sound collection unit 306 to the communication unit 302 toward the information processing apparatus 100-1. Send it. Note that the control unit 304 may remove noise included in the sound information.
  • the sound collection unit 306 detects sounds around the sound detection device 300. Specifically, the sound collection unit 306 collects sound around the sound detection device 300, that is, around the user, based on an instruction from the control unit 304. Then, the sound collection unit 306 generates sound information indicating the collected sound, and provides the generated sound information to the control unit 304.
  • the sound collection unit 306 may be a sound collector such as a microphone or a microphone array. Note that the sound collecting unit 306 may provide a signal related to the collected sound to the control unit 304, and the control unit 304 may generate sound information.
  • the display device 400 includes a communication unit 402, a control unit 404, and a display unit 406 as output devices as illustrated in FIG.
  • the communication unit 402 communicates with the information processing apparatus 100-1. Specifically, the communication unit 402 receives image information from the information processing apparatus 100-1 and provides the received image information to the control unit 404.
  • the control unit 404 controls the operation of the display device 400 as a whole. Specifically, when the image information is received by the communication unit 402, the control unit 404 provides the received image information to the display unit 406 and instructs the display of the image.
  • the display unit 406 displays an image based on the image information provided from the control unit 404.
  • the display unit 406 may be a liquid crystal panel or an organic EL (Electro Luminescence).
  • FIG. 4 is a flowchart conceptually showing processing of the information processing apparatus 100-1 according to the present embodiment.
  • the information processing apparatus 100-1 acquires line-of-sight information (step S502). Specifically, the communication unit 102 receives line-of-sight information from the line-of-sight detection device 200. When the line-of-sight information is not received for a predetermined time, for example, until the next frame display, the control unit 404 advances the process to step S510.
  • the information processing apparatus 100-1 waits until trigger information is acquired (step S504). Specifically, the control unit 404 waits until sound information as trigger information is received from the sound detection device 300 by the communication unit 102. If the sound information is not received within a predetermined time from the reception of the line-of-sight information, the control unit 404 advances the process to step S510.
  • the information processing apparatus 100-1 determines the operation position based on the line-of-sight information and the trigger information (step S506). Specifically, when the sound information is received within a predetermined time from the reception of the line-of-sight information, the control unit 104 determines the operation position based on the line-of-sight information and the sound information.
  • the information processing apparatus 100-1 executes a user notification process for the operation position (step S508). Specifically, the control unit 104 generates an image of the next frame, and superimposes a marker object on the generated image for the determined operation position.
  • the information processing apparatus 100-1 updates the display (step S510). Specifically, the control unit 104 causes the communication unit 102 to transmit image information related to the generated image to the display device 400, and the display device 400 updates the display of the image based on the received image information. To do. When the process proceeds from step S502 or S504 to this step, an image of the next frame is generated at this step. At this time, the display of the line-of-sight object can also be updated.
  • the sound information is acquired after the line-of-sight information is acquired is shown, but the sound information may be acquired before the line-of-sight information.
  • the information processing apparatus 100-1 determines the operation position based on the line-of-sight information related to the user's line-of-sight and the sound information related to the sound emitted by the user.
  • the user notification process at the operation position is performed. For this reason, processing is performed on the operation position determined based on the action that can be performed by the user even during an operation such as a manual operation, so that the user can easily perform the operation in parallel with the operation.
  • the operation can be performed.
  • the information processing apparatus 100-1 determines the operation position based on the user's line-of-sight position specified from the line-of-sight information. For this reason, it becomes possible to suppress that a process is performed by the scene or timing etc. which do not follow a user's intention by reacting only to a keyword.
  • the sound related to the sound information includes the user's voice. For this reason, the user can specify the operation position intuitively, and the convenience of the user can be improved.
  • the sound related to the sound information includes sound generated by the user's action. For this reason, even if it is difficult for the user to speak, it is possible to perform an operation with sound.
  • the above user notification process includes superimposition of display objects on the operation position. For this reason, when the user notification is visually performed, the user can easily grasp the notification contents and share the notification contents among a plurality of users.
  • the user notification process may be another user notification process such as voice output or haptic vibration output.
  • the information processing apparatus 100-1 superimposes the display object on the object existing at the operation position, and controls the superimposed display of the display object so as to correspond to the form of the object. For this reason, it becomes possible for the user to improve the convenience of the user by making it easier for the user to grasp the mode of the object on which the marker object is superimposed or a change in the mode.
  • the above-described object mode includes the movement of the object. For this reason, even if the object moves or the like, it is possible to prevent the user from losing sight of the marking target object by indicating the object as a marker object.
  • the superimposition of the display object includes superimposition on the image, and the object includes another display object displayed on the image. For this reason, by marking other display objects, that is, existing objects, it becomes possible to facilitate communication between users via images.
  • the information processing apparatus 100-1 deletes the display object when a predetermined time has elapsed. For this reason, it becomes possible to improve a user's convenience by deleting a marker object, without a user operating.
  • the information processing apparatus 100-1 determines the operation position based on the line-of-sight information and user aspect information indicating the visually recognized user aspect as trigger information. May be.
  • the user aspect includes a user action
  • the control unit 104 based on the line-of-sight position specified from the line-of-sight information when the user action indicated by the user aspect information includes a predetermined action. Determine the operating position.
  • the information processing apparatus 100-1 is separately connected to the user aspect detection apparatus via communication, and the communication unit 102 receives user aspect information transmitted from the user aspect detection apparatus. And the control part 104 determines an operation position based on user aspect information and line-of-sight information.
  • the user mode detection apparatus includes an imaging unit that images the user, and detects the user mode by analyzing an image obtained by imaging of the imaging unit. And a user mode detection device presumes a user's operation based on a detected user's mode, and generates user mode information which shows a user's operation estimated. Note that the user's action may be nodding, pointing, blinking, spread eyes, or the like.
  • the control unit 104 may determine the operation position based on the position indicated by the indicated action and the line-of-sight position. Specifically, the control unit 104 determines whether or not the action indicated by the user action indicated by the user mode information is included. When it is determined that the action indicated by the user action is included, the control part 104 indicates the indicated action. Estimate the position. Then, when the distance between the position indicated by the estimated pointing operation and the line-of-sight position falls within a predetermined range, the control unit 104 determines a position corresponding to the line-of-sight position as the operation position.
  • the pointing operation can be a pointing finger or the like. In this case, when the user performs an operation indicated for a purpose different from the determination of the operation position, it is possible to suppress execution of processing not intended by the user.
  • the user aspect may be the user attitude.
  • the posture of the user can be a posture of a finger, a hand, and an arm in a pointing finger as an action.
  • the information processing apparatus 100-1 determines the operation position based on the line-of-sight information and the user aspect information indicating the visually recognized user aspect. To do. For this reason, even when it is difficult for the user to make a sound, the user can intuitively specify the operation position, and the convenience of the user can be further improved.
  • the user mode described above includes a user action
  • the information processing apparatus 100-1 determines that the user action specified by the line-of-sight information is included in the user action indicated by the user condition information.
  • the operation position is determined based on the line-of-sight position. For this reason, it becomes possible to suppress that a process is performed in the scene or timing etc. which do not follow a user's intention by reacting only to the operation
  • the information processing apparatus 100-1 may determine an operation position based on line-of-sight information and operation information indicating a user's operation using an operation body as trigger information. Good. Specifically, when the operation indicated by the operation information is a predetermined operation, the control unit 104 determines the operation position based on the line-of-sight position specified from the line-of-sight information.
  • the operation body related to the operation information may be a button, a mouse, a touch panel, an input device including a pressure-sensitive sensor or a capacitance sensor, or a controller including an acceleration sensor, an angular velocity sensor, or a vibration sensor.
  • the information processing apparatus 100-1 determines the operation position based on the line-of-sight information and the operation information indicating the user's operation using the operation tool. For this reason, since the determination process of operation information is simpler than the case where an operation position is determined based on sound information or user mode information, it is possible to shorten the time from acquisition of trigger information to user notification. Become.
  • the information processing apparatus 100-1 may extend the deletion grace time when the user views the marker object before the deletion grace time elapses. Specifically, when the line-of-sight information relating to the line-of-sight position corresponding to the display position of the marker object is obtained before the deletion of the marker object, the control unit 104 extends the time until the deletion of the marker object.
  • the start of time is changed to a time later than the initial start, for example, the current time.
  • the end of the deletion grace time may be changed, and the length of the deletion grace time may be changed.
  • the control unit 104 returns the marker object to the original state when the line-of-sight information corresponding to the line-of-sight position corresponding to the display position of the marker object is obtained. Also good. In this case, the user can intuitively understand that the time until the marker object is deleted is extended or reset.
  • the information processing apparatus 100-1 obtains the line-of-sight information related to the line-of-sight position corresponding to the display position of the marker object before deleting the marker object. In this case, the time until the marker object is deleted is extended. For this reason, it becomes possible to improve a user's convenience by continuing marking according to a user's intention.
  • the information processing apparatus 100-1 may delete the marker object in accordance with an explicit instruction from the user. Specifically, the control unit 104 deletes the marker object based on information indicating the user's behavior. More specifically, the information indicating the user's behavior includes sound information, user mode information or operation information, and the control unit 104 deletes the marker object based on the sound information, user mode information or operation information.
  • the control unit 104 performs trigger information, for example, sound information including a predetermined sound, user aspect information including a predetermined action, or a predetermined operation.
  • trigger information for example, sound information including a predetermined sound, user aspect information including a predetermined action, or a predetermined operation.
  • the operation information including it is acquired, the marker object superimposed on the image is deleted.
  • the trigger information (hereinafter also referred to as “deletion trigger information”) may be the same as the trigger information (hereinafter also referred to as “superimposition trigger information”) related to the overlay of the marker object on the image. May be different.
  • the information processing apparatus 100-1 may delete the marker object based on the operation content for the image. Specifically, when the operation on the image is an operation for instructing deletion of the marker object, the control unit 104 deletes the marker object.
  • control unit 104 deletes the marker object from the image when an operation for switching the toggle for switching the marker object display to the marker object non-display is performed. Further, when an operation to instruct deletion of the marker object selected in the marker object list is performed, the control unit 104 deletes the selected marker object from the image. Note that all the marker objects shown in the list may be deleted at once.
  • the information processing apparatus 100-1 may delete the marker object that the user is viewing. Specifically, the control unit 104 selects a marker object based on line-of-sight information, sound information, user mode information, or operation information, and deletes the selected marker object.
  • the control unit 104 when the sound information or the like that is the deletion trigger information is acquired, the control unit 104 has a gaze position specified from the gaze information already acquired or the gaze information acquired after that, or around the gaze position. Determine whether a marker object exists. When the marker object exists at the line-of-sight position or the like, the control unit 104 deletes the marker object from the image.
  • the information processing apparatus 100-1 may delete the marker object when another user confirms the marking. Specifically, the control unit 104 deletes the marker object when the line-of-sight information related to the line-of-sight position corresponding to the display position of the marker object is obtained for another user different from the user related to the overlay of the marker object. To do.
  • the control unit 104 when superimposing the marker object on the image, the control unit 104 causes the storage unit 106 to store information that can identify the user related to the acquired line-of-sight information. Thereafter, when the line-of-sight information about a user different from the user stored in the storage unit 106 is acquired, the control unit 104 deletes the marker object superimposed on the position corresponding to the line-of-sight position specified from the line-of-sight information. To do.
  • the other user may be a user who is in the same place as a user (hereinafter also referred to as a main user) on which a marker object is superimposed, and is a place where a line-of-sight detection device is installed, which is different from the main user. May be a user located in
  • a deletion notification may be sent to the main user.
  • the control unit 104 superimposes a display object indicating that the marker object is deleted or deleted on the image before or after the deletion of the marker object, or together with the deletion, based on the line-of-sight information of another user. obtain.
  • the deletion notification may be performed by voice output.
  • the marker object may be deleted based on the line-of-sight information and trigger information about other users.
  • the information processing apparatus 100-1 deletes the marker object based on the information indicating the user's behavior. For this reason, since the marker object is not automatically deleted against the user's intention, the convenience of the user can be improved.
  • the information indicating the user behavior includes sound information, user mode information, or operation information
  • the information processing apparatus 100-1 deletes the marker object based on the sound information, user mode information, or operation information. For this reason, trigger information is used for marker object deletion determination in the same way as marker object superimposition determination, so that new processing and configuration are not added for deletion determination, and an increase in cost can be suppressed. It becomes.
  • the information processing apparatus 100-1 selects a marker object based on the line-of-sight information, sound information, user mode information, or operation information, and deletes the selected marker object. For this reason, by deleting the marker object only when the user is looking, it is possible to suppress deletion that is not intended by the user. Further, when a plurality of marker objects are superimposed on the image, only the marker object that the user desires to delete can be deleted, and the convenience for the user can be improved.
  • the information processing apparatus 100-1 deletes the marker object when the line-of-sight information related to the line-of-sight position corresponding to the display position of the marker object is obtained for another user different from the user related to the overlay of the marker object To do. For this reason, it is possible to improve the visibility of the image without deteriorating the convenience of the user by deleting the marker object for which the purpose of communication of intention between users has been achieved.
  • Second Embodiment of the Present Disclosure (Marking in an External Image)> The information processing apparatus 100-1 according to the first embodiment of the present disclosure has been described above. Subsequently, the information processing apparatus 100-2 according to the second embodiment of the present disclosure will be described. In the second embodiment, a marker object is superimposed on the external image.
  • FIG. 5 is a block diagram showing a schematic functional configuration of the information processing apparatus 100-2 according to the present embodiment. Note that description of functions that are substantially the same as the functions according to the first embodiment will be omitted.
  • the information processing apparatus 100-2 includes an imaging unit 108, a sound collection unit 110, and a display unit 112 in addition to the communication unit 102, the control unit 104, and the storage unit 106, as shown in FIG. Note that the information processing apparatus 100-2 may be a wearable device or the like worn on the head of a human body.
  • the function of the control unit 104 according to the present embodiment is different from that of the first embodiment in that the marker object is not an image but an external image. Specifically, the control unit 104 superimposes the marker object on the external image by causing the display unit 112 that transmits light related to the external image to display the marker object. Only the operation position determination and marking function, the marking tracking function, and the marking sharing function will be described below.
  • the control unit 104 estimates the position of the information processing apparatus 100-2 and the surrounding space, and determines the operation position based on the estimated position and space (hereinafter also referred to as an apparatus surrounding environment), line-of-sight information, and trigger information. decide. Specifically, the control unit 104 estimates the position and surrounding space of the information processing apparatus 100-2 based on the acquired sensor information, and the line of sight based on the estimated apparatus peripheral environment and the line of sight indicated by the line of sight information. Identify the location. Then, when the trigger information is acquired, the control unit 104 determines the operation position based on the identified line-of-sight position. Furthermore, with reference to FIG. 6, the process of the control part 104 in this embodiment is demonstrated in detail. FIG. 6 is a diagram illustrating an application example of the information processing system according to the present embodiment.
  • the control unit 104 estimates device peripheral information based on the sensor information. For example, the control unit 104 estimates the environment around the apparatus based on information obtained from an imaging sensor (imaging unit 108), a distance measuring sensor, or the like. An environment map may be generated based on the sensor information. For estimating the operation position, a technique related to spatial recognition and position identification such as SLAM (Simultaneous Localization and Mapping) can be used.
  • SLAM Simultaneous Localization and Mapping
  • control unit 104 acquires line-of-sight information.
  • control unit 104 acquires line-of-sight information indicating the line of sight of the user U3 as illustrated in the left diagram of FIG.
  • the control unit 104 causes the display unit 112 to display a line-of-sight object indicating the line-of-sight position specified from the estimated device surrounding environment and the line-of-sight information.
  • the control unit 104 specifies the line-of-sight position from the operation position and the line-of-sight information, and generates an image so that the line-of-sight object 10 is superimposed on the specified line-of-sight position.
  • the control unit 104 causes the display unit 112 to display the generated image.
  • the line-of-sight object 10 as shown in the left diagram of FIG. 6 appears to be superimposed on the external image.
  • the control unit 104 determines the operation position based on the line-of-sight position specified from the operation position and the line-of-sight information when the trigger information includes information determined in advance. For example, when sound information is acquired as trigger information, the control unit 104 determines whether or not the keyword “here” as illustrated in the left diagram of FIG. 6 is included in the sound information. When it is determined that a keyword is included in the sound information, the control unit 104 determines a position corresponding to the line-of-sight position, that is, a position where the line-of-sight object 10 as shown in the left diagram of FIG.
  • the control unit 104 superimposes the marker object on the external image for the determined operation position. For example, when the operation position is determined, the control unit 104 arranges the marker object 22 as illustrated in the right diagram of FIG. 6 so as to indicate a position corresponding to the operation position on the screen of the display unit 112. Then, the control unit 104 causes the display unit 112 to display an image on which the marker object 22 is arranged, thereby superimposing the marker object 22 on the external image.
  • the control unit 104 provides marker information to other information processing apparatuses via the communication unit 102. Furthermore, the sharing of marker information will be described in detail with reference to FIG. FIG. 7 is a diagram for explaining marker information sharing processing of the information processing apparatus 100-2 according to the present embodiment.
  • the marker information is transmitted to another information processing apparatus held by the user U4 as shown in FIG. 7 via a server connected to the information processing apparatus 100-2 or directly. Then, the other information processing apparatus causes the marker object 22 to be superimposed on the external image as shown in FIG. 7 by displaying the marker object 22 on the display unit based on the shared marker information.
  • the information processing apparatus 100-2 may provide marker information to another information processing apparatus when the other information processing apparatus approaches the overlapping position of the marker object.
  • the control unit 104 acquires position information of another information processing apparatus via the communication unit 102, and determines whether the other information processing apparatus is located within a predetermined range from the position related to the marking. When it is determined that another information processing apparatus is located within the predetermined range, the control unit 104 provides marker information to the other information processing apparatus.
  • the control unit 104 superimposes the marker object on the object image included in the external image, and controls the superimposed display of the marker object so as to correspond to the aspect of the object image. Specifically, when an object image exists at the determined operation position, the control unit 104 superimposes the marker object on the object image. Furthermore, with reference to FIG. 8, the tracking function of marking in this embodiment will be described in detail.
  • FIG. 8 is a diagram for explaining the marking tracking function of the information processing apparatus 100-2 according to the present embodiment.
  • the control unit 104 first determines the operation position based on the device peripheral environment, line-of-sight information, and trigger information. For example, when the surrounding environment of the apparatus is estimated and the line-of-sight information indicating the line of sight about the user U5 and the sound information indicating the sound including the keyword “that” as illustrated in FIG. The operation position is determined based on the environment around the apparatus, the line-of-sight information, and the sound information.
  • the control unit 104 determines whether an object exists at the operation position. For example, the control unit 104 determines the presence or absence of an object at the operation position based on the estimated environment around the apparatus.
  • the determination of the presence / absence of the object may be a determination of the presence / absence of an object recognized using a general object recognition process, and the determination of the presence / absence of a predetermined feature amount is not performed until the object is recognized. There may be. Further, the object recognition or the grasping of the feature amount of the object may be performed periodically.
  • the control unit 104 If it is determined that an object is present at the operation position, the control unit 104 superimposes the marker object on the object. For example, the control unit 104 generates an image such that the marker object 24 is superimposed on the ray 40 as shown in FIG. Then, the control unit 104 causes the display unit 112 to display the generated image. Note that the marker information of the marker object 24 is provided to the information processing apparatus 100-2 worn by the user U6, and the user U6 can also see the external image on which the marker object 24 is superimposed and displayed.
  • control part 104 changes the position of a marker object according to the change of the position of the object in an external field image. For example, when the ray 40 moves in the external image, that is, the user's field of view as shown in FIG. 8, the control unit 104 moves the marker object 24 so as to follow the movement of the ray 40.
  • the marker object may be superimposed on another display object superimposed on the external image.
  • the control unit 104 superimposes the marker object on the other display object.
  • control unit 104 includes a gaze detection function of the gaze detection apparatus 200 in the first embodiment, a sound detection function of the sound detection apparatus 300, and / or a user aspect detection function of a user aspect detection function in the modification.
  • the imaging unit 108 performs two types of imaging. Specifically, the imaging unit 108 performs imaging of the periphery of the information processing apparatus 100-2 and imaging for line-of-sight detection.
  • the imaging unit 108 includes a first imaging unit that captures an image of the periphery of the information processing apparatus 100-2, and a second imaging unit that performs imaging for line-of-sight detection. Since the first imaging unit is substantially the same as the imaging unit 206 of the line-of-sight detection device 200 in the first embodiment, description thereof is omitted.
  • the second imaging unit images the eyes or eyes of the user wearing the information processing apparatus 100-2 and the periphery thereof, and provides an image obtained by the imaging to the control unit 104.
  • the sound collection unit 110 collects sound around the information processing apparatus 100-2. Note that the function of the sound collection unit 110 is substantially the same as the function of the sound collection unit 306 of the sound detection device 300 in the first embodiment, and thus description thereof is omitted.
  • the display unit 112 displays an image based on an instruction from the control unit 104.
  • the display unit 112 has a structure in which transmitted external light and image light are incident on the user's eyes, and the image light related to the image provided from the control unit 104 is received by the user's eyes.
  • the image light is emitted so as to be incident.
  • the display unit 112 projects an image on a display provided separately, or emits image light directly to the user's eyes.
  • the processing of the information processing device 100-2 according to the second embodiment of the present disclosure is substantially the same as the processing of the first embodiment except for the processing for estimating the surrounding environment of the device, and thus description thereof is omitted.
  • the information processing apparatus 100-2 superimposes the display object on the external image. For this reason, it is possible to more smoothly communicate with other people in the user's daily life by overlaying the marker object in the real space.
  • the information processing apparatus 100-2 superimposes the display object on the object image included in the external image, and controls the superimposed display of the display object so as to correspond to the form of the object image. For this reason, it is possible to reduce the possibility of losing sight of the object to be marked by marking following the movement of the object in the real space.
  • the marker information may be associated with map information.
  • the control unit 104 associates the determined operation position, that is, the superimposed position of the marker object with the position in the map information, and generates information indicating the association. Furthermore, the process of this modification is demonstrated with reference to FIG. FIG. 9 is a diagram illustrating an example of map information associated with marker information in the first modification of the present embodiment.
  • the control unit 104 associates the operation position, that is, the superimposed position of the marker object and the coordinates in the map information.
  • the coordinates in the map information may be coordinates obtained from a GPS (Global Positioning System) sensor.
  • the control part 104 displays the map information as shown in FIG. 9 on the display part 112 based on user operation etc.
  • FIG. 9 the map information
  • the marker object 22 itself is displayed as a display object indicating the superimposed position of the marker object.
  • the display object displayed in the map information may be a display object different from the marker object.
  • map information or the association information associated with the superimposed position of the marker object may be shared with other information processing apparatuses.
  • the marker information is associated with the map information. For this reason, the user can check the superimposed position of the marker object from a bird's-eye view, and the convenience for the user can be improved.
  • FIG. 10 is an explanatory diagram illustrating a hardware configuration of the information processing apparatus 100 according to an embodiment of the present disclosure.
  • the information processing apparatus 100 includes a CPU (Central Processing Unit) 132, a ROM (Read Only Memory) 134, a RAM (Random Access Memory) 136, a bridge 138, a bus 140, and an interface. 142, an input device 144, an output device 146, a storage device 148, a drive 150, a connection port 152, and a communication device 154.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 132 functions as an arithmetic processing unit and realizes the operation of the control unit 104 in the information processing apparatus 100 in cooperation with various programs.
  • the CPU 132 may be a microprocessor.
  • the ROM 134 stores programs or calculation parameters used by the CPU 132.
  • the RAM 136 temporarily stores programs used in the execution of the CPU 132 or parameters that change as appropriate during the execution. Part of the storage unit 106 in the information processing apparatus 100 is realized by the ROM 134 and the RAM 136.
  • the CPU 132, the ROM 134, and the RAM 136 are connected to each other by an internal bus including a CPU bus.
  • the input device 144 is, for example, as an example of the imaging unit 108 and the sound collection unit 110 of the information processing device 100, an input unit for a user to input information such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, and a lever, and An input control circuit that generates an input signal based on an input by a user and outputs the input signal to the CPU 132 is configured.
  • a user of the information processing apparatus 100 can input various data to the information processing apparatus 100 and instruct a processing operation by operating the input device 144.
  • the output device 146 outputs to a device such as a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device, or a lamp as an example of the display unit 112 of the information processing device 100. Further, the output device 146 may output sound such as a speaker and headphones.
  • a device such as a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device, or a lamp as an example of the display unit 112 of the information processing device 100. Further, the output device 146 may output sound such as a speaker and headphones.
  • LCD liquid crystal display
  • OLED Organic Light Emitting Diode
  • the storage device 148 is a device for storing data.
  • the storage device 148 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 148 stores programs executed by the CPU 132 and various data.
  • the drive 150 is a reader / writer for a storage medium, and is built in or externally attached to the information processing apparatus 100.
  • the drive 150 reads information recorded on a mounted removable storage medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and outputs the information to the RAM 134.
  • the drive 150 can also write information to a removable storage medium.
  • connection port 152 is, for example, a bus for connecting to an information processing apparatus outside the information processing apparatus 100 or a peripheral device.
  • the connection port 152 may be a USB (Universal Serial Bus).
  • the communication device 154 is a communication interface configured by a communication device for connecting to a network as an example of the communication unit 102 of the information processing device 100.
  • the communication device 154 may be a wireless LAN (Local Area Network) compatible communication device, an LTE (Long Term Evolution) compatible communication device, or a wire communication device that performs wired communication.
  • LTE Long Term Evolution
  • a process is performed on an operation position determined based on an action that a user can perform even during an operation such as a manual operation, so that the user can perform an operation separately. While performing, it becomes possible to easily operate in parallel with the operation. Further, according to the second embodiment of the present disclosure, the marker object is superimposed on the real space, so that it is possible to more smoothly communicate with others in the user's daily life.
  • the user related to the line-of-sight information and the user related to the trigger information are the same, but the present technology is not limited to such an example.
  • the users related to the line-of-sight information and the trigger information may be different users.
  • a case is assumed in which a user related to line-of-sight information (hereinafter also referred to as a first user) is looking for a specific object in an external image.
  • a second user finds that the specific object is present at the position viewed by the first user and utters including the keyword
  • the sound information related to the utterance of the second user is used as trigger information, and the marker object is superimposed and displayed on the external image at the position viewed by the first user.
  • the marker object may be determined according to the content of the trigger information.
  • the trigger information is sound information
  • the keyword included in the sound information is “marking”
  • a circular marker object is selected
  • the keyword is “leftward”
  • the marker object may be determined according to the type of trigger information.
  • a marker object is displayed on a display device outside the information processing apparatus 100 or the display unit 112 included in the information processing apparatus 100 has been described.
  • the marker object is projected on a wall surface, a ceiling, or the like. Also good.
  • a marker object may be projected on the windshield or side glass of a car.
  • the information processing apparatus 100 and the information processing system according to each embodiment of the present disclosure may be applied to the medical field or the agricultural field.
  • a marker object is superimposed on a radiograph or MRI (Magnetic Resonance Imaging) image by the information processing apparatus 100, or a marker object is superimposed on a surgical image or an operating room space.
  • MRI Magnetic Resonance Imaging
  • a specific tree is marked by the information processing apparatus 100, and a user different from the user who performed the marking performs the agricultural work such as spraying agricultural chemicals using the marker object related to the marking as a landmark. .
  • a determination unit that determines an operation position based on line-of-sight information related to a user's line of sight and sound information related to a sound emitted by the user, and a process that performs user notification processing at the operation position determined by the determination unit
  • An information processing apparatus When the sound indicated by the sound information includes a predetermined sound, the determination unit determines an operation position based on a user's line-of-sight position specified from the line-of-sight information. The information processing apparatus described. (3) The information processing apparatus according to (2), wherein the sound related to the sound information includes a user's voice.
  • the information processing apparatus according to (2) or (3), wherein the sound related to the sound information includes a sound generated by a user operation. (5) Any one of (1) to (4), wherein the determination unit further determines the operation position based on the line-of-sight information and user aspect information indicating a user aspect visually grasped.
  • the information processing apparatus according to item 1.
  • the user's aspect includes a user's action, and when the user's action indicated by the user aspect information includes a predetermined action, the user's line of sight identified from the line-of-sight information
  • the information processing apparatus according to (5), wherein the operation position is determined based on the position.
  • the information processing apparatus includes superimposition of a display object on the operation position.
  • the processing unit performs superimposition of the display object on the object present at the operation position, and controls the superimposed display of the display object so as to correspond to the form of the object.
  • Information processing device The information processing apparatus according to (8), wherein the aspect of the object includes a movement of the object.
  • the information processing apparatus (11) The information processing apparatus according to (8) or (9), wherein the superimposition of the display object includes superimposition on an external image, and the object includes an object image included in the external image. (12) The information processing apparatus according to any one of (7) to (11), wherein the processing unit deletes the display object when a predetermined time has elapsed. (13) When the line-of-sight information relating to the line-of-sight position corresponding to the display position of the display object is obtained before the display object is deleted, the processing unit extends the time until the display object is deleted. The information processing apparatus according to (12). (14) The information processing apparatus according to any one of (7) to (13), wherein the processing unit deletes the display object based on information indicating a user's behavior.
  • the information indicating the user's behavior includes the sound information, user aspect information indicating a user aspect visually grasped, or operation information indicating a user operation using an operation tool
  • the processing unit includes: The information processing apparatus according to (14), wherein the display object is deleted based on the sound information, the user mode information, or the operation information.
  • Information processing device includes the sound information, user aspect information indicating a user aspect visually grasped, or operation information indicating a user operation using an operation tool
  • the processing unit includes: The information processing apparatus according to (14), wherein the display object is deleted based on the sound information, the user mode information, or the operation information.
  • the processing unit selects a display object based on the line-of-sight information and the sound information, the user mode information, or the operation information, and deletes the selected display
  • the processing unit displays the display object
  • the information processing apparatus according to any one of (14) to (16), which is deleted.
  • An information processing apparatus comprising: a determination unit that determines an operation position based on the line-of-sight information and the sound information; and a processing function that performs a user notification process at the operation position determined by the determination unit;
  • An information processing system comprising: an output device that performs output related to the user notification process of the device.
  • the determination unit includes determining an operation position based on line-of-sight information relating to the user's line of sight and sound information relating to sound emitted by the user, and performing user notification processing at the operation position.
  • Method. (20) A determination function for determining an operation position based on line-of-sight information relating to a user's line of sight and sound information relating to a sound emitted by the user, and a process for performing a user notification process at the operation position determined by the determination function

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザが別途に動作を行いながら、当該動作と並行して容易に操作を行うことが可能な情報処理装置、情報処理システム、情報処理方法およびプログラムを提供する。 【解決手段】ユーザの視線に係る視線情報とユーザによって発せられる音に係る音情報とに基づいて操作位置を決定する決定部と、前記決定部によって決定される前記操作位置におけるユーザ通知処理を行う処理部と、を備える情報処理装置。ならびに、情報処理システム、情報処理方法およびプログラム。

Description

情報処理装置、情報処理システム、情報処理方法およびプログラム
　本開示は、情報処理装置、情報処理システム、情報処理方法およびプログラムに関する。
　近年、情報処理技術の発展に伴い、装置を操作するための様々なユーザインタフェース（以下、ＵＩ（User　Interface）とも称する。）が開発されている。このようなＵＩには、ユーザの視線およびユーザのジェスチャ等に基づくＵＩが存在する。
　例えば、特許文献１では、ユーザの所定のジェスチャの間にユーザの視点が移動されたかに応じて撮像画像に基づく操作を制御する情報処理装置に係る発明が開示されている。
特開２０１４－１７４７４７号公報
　しかし、特許文献１で開示される発明では、ユーザが所定のジェスチャを行うことが困難な場合、操作を制御することが難しくなる。例えば、ユーザが手作業をしている間は、手を用いるジェスチャに基づく装置の操作が困難となる。
　そこで、本開示では、ユーザが別途に動作を行いながら、当該動作と並行して容易に操作を行うことが可能な、新規かつ改良された情報処理装置、情報処理システム、情報処理方法およびプログラムを提案する。
　本開示によれば、ユーザの視線に係る視線情報とユーザによって発せられる音に係る音情報とに基づいて操作位置を決定する決定部と、前記決定部によって決定される前記操作位置におけるユーザ通知処理を行う処理部と、を備える情報処理装置が提供される。
　また、本開示によれば、ユーザの視線に係る視線情報を取得する視線情報取得装置と、ユーザによって発せられる音に係る音情報を取得する音情報取得装置と、前記視線情報取得装置および前記音情報取得装置から得られる前記視線情報および前記音情報に基づいて操作位置を決定する決定部と、前記決定部によって決定される前記操作位置におけるユーザ通知処理を行う処理機能と、を備える情報処理装置と、前記情報処理装置の前記ユーザ通知処理に係る出力を行う出力装置と、を備える情報処理システムが提供される。
　また、本開示によれば、決定部によって、ユーザの視線に係る視線情報とユーザによって発せられる音に係る音情報とに基づいて操作位置を決定することと、前記操作位置におけるユーザ通知処理を行うことと、を含む方法が提供される。
　また、本開示によれば、ユーザの視線に係る視線情報とユーザによって発せられる音に係る音情報とに基づいて操作位置を決定する決定機能と、前記決定機能によって決定される前記操作位置におけるユーザ通知処理を行う処理機能と、をコンピュータに実現させるためのプログラムが提供される。
　以上説明したように本開示によれば、ユーザが別途に動作を行いながら、当該動作と並行して容易に操作を行うことが可能な情報処理装置、情報処理システム、情報処理方法およびプログラムが提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の第１の実施形態に係る情報処理装置の概略的な機能構成の例を示すブロック図である。 同実施形態に係る情報処理システムの適用例を示す図である。 同実施形態に係る情報処理装置のマーカ情報の共有処理を説明するための図である。 同実施形態に係る情報処理装置の処理を概念的に示すフローチャートである。 本開示の第２の実施形態に係る情報処理装置の概略的な機能構成を示すブロック図である。 同実施形態に係る情報処理システムの適用例を示す図である。 同実施形態に係る情報処理装置のマーカ情報の共有処理を説明するための図である。 同実施形態に係る情報処理装置のマーキングの追従機能を説明するための図である。 本実施形態の第１の変形例におけるマーカ情報が対応付けられた地図情報の例を示す図である。 本開示の一実施形態に係る情報処理装置のハードウェア構成を示した説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．本開示の一実施形態に係る情報処理装置の概要
　２．本開示の第１の実施形態（画像におけるマーキング）
　３．本開示の第２の実施形態（外界像におけるマーキング）
　４．本開示の一実施形態に係る情報処理装置のハードウェア構成
　５．むすび
　＜１．本開示の一実施形態に係る情報処理装置の概要＞
　まず、本開示の一実施形態に係る情報処理装置の概要について説明する。本開示の一実施形態に係る情報処理装置（以下、概要の説明において本情報処理装置とも称する。）は、視線情報取得機能および表示制御機能を備える。視線情報取得機能は、ユーザの視線に係る情報（以下、視線情報とも称する。）を取得する。また、表示制御機能は、表示オブジェクトを含む画像を生成し、当該画像を表示装置に表示させる。このため、本情報処理装置は、視線情報に基づいて推定されるユーザの視線の先に所定の表示オブジェクトが位置するような画像を表示装置に表示させることが可能である。
　ここで、表示装置に表示される画像がユーザの操作によって制御される場合、当該ユーザの操作には、概してマウスのような操作体または手等の身体が用いられる。そのため、ユーザが操作体等を用いて操作をしている間は、別の操作を行うことが難しい。
　他方で、画像が複数のユーザで共有され、当該複数のユーザによって共同で操作される場合、ユーザ間のコミュニケーションのための操作が追加される場合がある。かかる場合には、ユーザは、自身の操作を一時的に停止し、コミュニケーションのための操作を行うといった切り替えを行うことになる。また、ユーザの操作は概してユーザの身体を用いた動作であるため、ユーザが操作に慣れていない場合または操作対象が移動する場合には、操作に時間がかかるだけでなく、操作自体が困難となることがあった。
　そこで、本開示では、ユーザが別途に動作を行いながら、当該動作と並行して容易に操作を行うことが可能な情報処理装置を提案する。以下、本情報処理装置として、情報処理装置１００について詳細に説明する。なお、説明の便宜上、第１および第２の実施形態による情報処理装置１００の各々を、情報処理装置１００－１、および情報処理装置１００－２のように、末尾に実施形態に対応する番号を付することにより区別する。
　＜２．本開示の第１の実施形態（画像におけるマーキング）＞
　以上、本開示の一実施形態に係る情報処理装置の概要について説明した。次に、本開示の第１の実施形態に係る情報処理装置１００－１について説明する。第１の実施形態では、ユーザの視線およびユーザに係る音に基づいて、表示される画像についてのマーキングが行われる。
　　＜２－１．装置の構成＞
　まず、図１を参照して、本開示の第１の実施形態に係る情報処理装置１００－１を備える情報処理システムの機能構成について説明する。図１は、本開示の第１の実施形態に係る情報処理システムの概略的な機能構成の例を示すブロック図である。
　情報処理システムは、図１に示したように、情報処理装置１００－１、視線検出装置２００、音検出装置３００および表示装置４００を備える。なお、情報処理システムの各装置は通信を介して接続される。また、視線検出装置２００、音検出装置３００および表示装置４００はユーザの周辺に配置される。
　　　（（情報処理装置の機能構成））
　情報処理装置１００－１は、図１に示したように、通信部１０２、制御部１０４および記憶部１０６を備える。
　通信部１０２は、視線検出装置２００、音検出装置３００および表示装置４００と通信を行う。具体的には、通信部１０２は、視線検出装置２００からユーザの視線に係る情報を受信し、音検出装置３００からユーザによって発せられる音に係る情報（以下、音情報とも称する。）を受信する。また、通信部１０２は、表示装置４００に画像情報を送信する。例えば、通信部１０２の行う通信は、有線通信であってもよく、また無線通信であってもよい。
　記憶部１０６は、制御部１０４の制御処理に係る情報を記憶する。具体的には、記憶部１０６は、表示装置４００に表示させる画像、後述する表示オブジェクトおよびマーカ情報等を記憶する。
　制御部１０４は、複数の機能を有する。具体的には、制御部１０４は、操作位置の決定およびマーキング機能、マーキングの共有機能、マーキングの追従機能、マーキングの削除機能および複数のマーキングの表示制御機能を有する。以下に、各機能についてそれぞれ詳細に説明する。
　　　　（操作位置の決定およびマーキング機能）
　制御部１０４は、決定部および処理部として、視線情報と音情報とに基づいて情報処理装置１００－１の動作を制御する。具体的には、制御部１０４は、視線情報と音情報とに基づいてユーザの操作に係る位置（以下、操作位置とも称する。）を決定し、決定される操作位置についてのユーザ通知処理を行う。より具体的には、制御部１０４は、視線情報と音情報とに基づいて決定される操作位置について表示オブジェクト（以下、マーカオブジェクトとも称する。）の重畳（以下、マーキングとも称する。）を行う。さらに、図２を参照して、制御部１０４の処理について詳細に説明する。図２は、本実施形態に係る情報処理システムの適用例を示す図である。
　まず、制御部１０４は、視線検出装置２００から視線情報を得る。例えば、制御部１０４は、通信部１０２を介して図２の左図に示したようなユーザＵ１の視線を示す視線情報を視線検出装置２００から取得する。なお、制御部１０４は、通信部１０２を介して、視線検出装置２００に視線情報を要求してもよく、視線情報は、視線検出装置２００から自発的に送信されてもよい。また、後述する音情報についても視線情報と同様である。
　次に、視線情報が得られると、制御部１０４は、当該視線情報から特定される視線先の位置（以下、視線位置とも称する。）を示す表示オブジェクト（以下、視線オブジェクトとも称する。）を表示装置４００に表示させる。例えば、制御部１０４は、取得される視線情報に基づいて視線位置を特定し、特定される視線位置に視線オブジェクト１０が重畳表示されるように画像を生成する。そして、制御部１０４は、通信部１０２を介して、生成される画像を表示装置４００Ａに表示させる。
　次に、制御部１０４は、音検出装置３００から音情報が得られると、当該音情報の示す音に予め決定される音が含まれる場合、視線情報から特定される視線位置に基づいて操作位置を決定する。例えば、制御部１０４は、ユーザの音声に係る音情報が取得されると、当該ユーザの音声に図２の左図に示したようなキーワード「ここ」が含まれているかを判定する。ユーザの音声にキーワードが含まれると判定される場合、制御部１０４は、視線情報に基づいて特定された視線位置に相当する位置すなわち図２の左図に示したような視線オブジェクト１０が表示される位置を、ユーザの操作に係る基準となる操作位置に決定する。
　なお、操作位置は、視線位置についての補正処理により得られる位置であってもよい。また、上記の音声に係るキーワードは、上記の例に限定されず、種々のキーワードが採用され得る。また、キーワードは、予め決定されてもよく、設定変更によって追加され、および変更されてもよい。また、上記の音情報は、制御部１０４のユーザ通知処理のトリガとなるため、以下ではトリガ情報とも称する。
　次に、制御部１０４は、ユーザ通知処理として、決定される操作位置についてのマーカオブジェクトの画像への重畳を行う。例えば、制御部１０４は、操作位置が決定されると、図２の右図に示したようなマーカオブジェクト２０を画像における操作位置に対応する位置に重畳させる。そして、制御部１０４は、通信部１０２を介して、マーカオブジェクト２０が重畳された画像を表示装置４００Ａに表示させる。なお、制御部１０４は、ユーザの視線位置が変化した場合、変化後の視線位置に視線オブジェクト１０を移動させるが、マーカオブジェクト２０は移動させない。
　なお、上記では、ユーザによって発せられる音がユーザの音声である例を説明したが、ユーザによって発せられる音はユーザの動作によって発生する音であってもよい。例えば、ユーザの動作によって発生する音は、フィンガースナップ等のユーザが身体を用いて発生させる音、または楽器もしくはブザー等の音を発生させる器具もしくは装置をユーザが操作することによって発生する音であり得る。
　また、上記では、視線情報が視線を示す情報であり、制御部１０４が視線位置を特定する例を説明したが、視線情報は、視線位置を示す情報であってもよい。また、視線情報は、後述する視線検出装置２００における撮像により得られる画像に係る画像情報であってもよく、この場合、制御部１０４が視線検出および視線位置の特定を行う。
　また、上記では、音情報は、音を示す情報である例を説明したが、音情報は、キーワードを含むか否かを示す情報であってもよい。例えば、音検出装置３００の制御部３０４が、集音された音についてキーワードが含まれるかを判定し、キーワードが含まれる場合、キーワードが発話された旨を示す音情報を生成する。そして、当該音情報が受信されると、情報処理装置１００－１の制御部１０４は、視線位置に相当する位置を操作位置に決定する。
　また、図２では、マーカオブジェクトが円形である例を説明したが、当該マーカオブジェクトは他の様々な形態であってもよい。例えば、マーカオブジェクトは、形状が多角形または楕円形であってもよく、記号またはアイコンであってもよい。また、マーカオブジェクトは、操作位置を指し示す矢印または旗等の表示オブジェクトであってもよく、点滅または色彩もしくは輝度の時間的な変化といったような強調表示が行われる表示オブジェクトであってもよい。なお、視線位置を示す表示オブジェクトについてもマーカオブジェクトと同様に様々な形態が採用され得る。
　また、マーカオブジェクトは、情報処理装置１００－１またはユーザによって予め決定されてもよく、設定変更により変更されてもよい。
　　　　（マーキングの共有機能）
　制御部１０４は、マーカオブジェクトの情報（以下、マーカ情報とも称する。）を他の情報処理装置と共有する。具体的には、制御部１０４は、通信部１０２を介して他の情報処理装置にマーカ情報を提供する。さらに、図３を参照して、マーカ情報の共有について詳細に説明する。図３は、本実施形態に係る情報処理装置１００－１のマーカ情報の共有処理を説明するための図である。
　例えば、マーカ情報は、マーカオブジェクトおよび重畳位置を含む情報であり、情報処理装置１００－１と接続されるサーバを介してまたは直接的に他の情報処理装置に送信される。そして、他の情報処理装置は、共有されるマーカ情報に基づいて、マーカオブジェクト２０を画像に重畳させ、図３に示したように当該画像を他のユーザＵ２の視聴先である表示装置４００Ｂに表示させる。なお、マーカ情報の送信先は、情報処理システムのグループメンバ情報等によって特定されてもよく、当該情報処理システムにアクセス可能なユーザすなわち情報処理装置の全てであってもよい。
　なお、情報処理装置１００－１がサーバであってもよい。例えば、情報処理装置１００－１は、通信を介して視線情報、音情報および操作情報等の各ユーザの情報を取得し、取得される各情報に基づいて生成される画像の情報を各ユーザの表示装置４００またはクライアントとなる情報処理装置に配信する。
　　　　（マーキングの追従機能）
　制御部１０４は、処理部として、操作位置に存在する物体について表示オブジェクトの重畳を行い、物体の態様に対応するように表示オブジェクトの重畳表示を制御する。具体的には、制御部１０４は、上記の物体としての、画像に表示される他の表示オブジェクト（以下、既存オブジェクトとも称する。）について表示オブジェクトを重畳し、当該既存オブジェクトの態様に対応するように表示オブジェクトの重畳表示を制御する。
　より具体的には、制御部１０４は、決定される操作位置に既存オブジェクトが存在する場合、マーカオブジェクトを当該既存オブジェクトに重畳させる。例えば、制御部１０４は、操作位置が決定されると、図２の左図に示したような、操作位置に表示されているモンスターのような既存オブジェクト３０にマーカオブジェクト２０を重畳させる。
　そして、制御部１０４は、既存オブジェクトの動きに追従するようにマーカオブジェクトの重畳表示を制御する。例えば、制御部１０４は、図２の右図に示したような既存オブジェクト３０の移動に応じてマーカオブジェクト２０を移動させる。なお、制御部１０４は、既存オブジェクトの大きさ、形状もしくは色彩等の外観または当該外観の変化に応じてマーカオブジェクト２０の外観を決定してもよい。また、制御部１０４は、既存オブジェクトの変化と異なる変化を行ってもよい。例えば、制御部１０４は、既存オブジェクトの大きさが変化した際に、マーカオブジェクトの色彩を変化させてもよい。
　なお、制御部１０４は、既存オブジェクトが画像から消されると、当該既存オブジェクトに重畳されているマーカオブジェクトを画像から消してもよい。例えば、既存オブジェクトの移動またはユーザの視点変化等によって画像から既存オブジェクトが消されると、制御部１０４は、マーカオブジェクトを画像から消す。
　さらに、既存オブジェクトが画像から消された後、再び画像に含まれるようになった場合、制御部１０４は、当該既存オブジェクトに重畳されていたマーカオブジェクトを再び当該既存オブジェクトに重畳させてもよい。また、マーカオブジェクトが重畳されていた既存オブジェクトが画像から消されている間、当該マーカオブジェクトへの方向を示す、矢印のような別途の表示オブジェクトが画像に表示されてもよい。この場合、ユーザは当該矢印の方向に誘導される。
　また、制御部１０４は、画像内であって既存オブジェクトが画像から消される場所にマーカオブジェクトが位置する場合、マーカオブジェクトを当該場所に重畳させてもよい。例えば、既存オブジェクトおよびマーカオブジェクトが画像内の障害物の影に隠れている場合、制御部１０４は、当該障害物を透過するようにマーカオブジェクトを画像に重畳させる。
　また、マーカオブジェクトは、既存オブジェクトの種類に応じて決定されてもよい。例えば、既存オブジェクトがキャラクタのオブジェクトである場合、当該キャラクタのオブジェクトの属性が敵か味方かに応じて異なるマーカオブジェクトが重畳される。
　また、マーカオブジェクトは、既存オブジェクトの形態に応じて決定されてもよい。例えば、既存オブジェクトが地面等の水平方向に広がる面である場合または壁等の垂直方向に広がる面である場合、当該面に張り付けられたように、または当該面に対して交差する方向に直立するようにマーカオブジェクトが重畳される。また、既存オブジェクトが空中を示す背景等である場合、当該空中に浮いたようにマーカオブジェクトが重畳される。なお、表示される画像に係る空間が三次元空間の概念を有する場合、視線情報に含まれるユーザの目の輻輳に係る情報に基づいて奥行が考慮されたマーカオブジェクトが重畳されてもよい。
　　　　（マーキングの削除機能）
　制御部１０４は、上記のマーカオブジェクトの画像からの一時的な消去とは別に、マーカオブジェクトを削除する。具体的には、制御部１０４は、予め決定される時間（以下、削除猶予時間とも称する。）が経過すると、マーカオブジェクトを削除する。例えば、制御部１０４は、マーカオブジェクトの重畳から削除猶予時間が経過すると、マーカオブジェクトを削除する。なお、削除猶予時間の始期は、他のイベントであってもよい。例えば、マーカオブジェクトの重畳先の既存オブジェクトが移動するオブジェクトである場合、当該既存オブジェクトの静止が削除猶予時間の始期となる。
　さらに、制御部１０４は、削除猶予時間が経過するまでの間における時間経過に応じて、マーカオブジェクトを変化させる。例えば、制御部１０４は、マーカオブジェクトの重畳から時間が経過するにつれてマーカオブジェクトが薄く見えるように変化させる。なお、マーカオブジェクトの変化は、上述したような透明度の変化のほか、色彩、形状または大きさ等の変化であってもよい。また、制御部１０４は、削除猶予時間から所定の時間が経過した後に、時間経過に伴うマーカオブジェクトの変化を行ってもよい。
　なお、マーカオブジェクトは、時間経過と異なるイベントを機に削除されてもよい。例えば、マーカオブジェクトの重畳先である既存オブジェクトが削除された場合、マーカオブジェクトが削除されてもよい。また、ゲーム等においてプレイ中の仮想空間のマップが別のマップに切り替えられる等によって画像全体が別の画像に切り替わる際に、マーカオブジェクトが削除されてもよい。
　　　　（複数のマーキングの表示制御機能）
　制御部１０４は、１つまたは複数のマーカオブジェクトを画像に重畳させる。具体的には、制御部１０４は、マーカオブジェクト数が１つに設定される場合、操作位置が決定されると、既に表示されていたマーカオブジェクトを画像から削除すると共に新たなマーカオブジェクトを画像に重畳させる。また、制御部１０４は、マーカオブジェクト数が複数に設定される場合、操作位置が決定される度に、新たなマーカオブジェクトを画像に重畳させる。なお、マーカオブジェクト数に上限が設定される場合、制御部１０４は、ＦＩＦＯ（First　In　First　Out）方式または優先度方式等に従ってマーカオブジェクトの削除および新規重畳を行い、マーカオブジェクト数を上限以下に保つ。
　なお、複数のマーカオブジェクトは、ユーザ毎に異なってもよい。例えば、制御部１０４は、複数の異なるユーザの視線情報および音情報が取得される場合、ユーザの各々に対応するマーカオブジェクトをそれぞれ画像に重畳させる。
　　　（（視線検出装置の機能構成））
　続いて、視線検出装置２００は、視線情報取得装置として、図１に示したように、通信部２０２、制御部２０４および撮像部２０６を備える。
　通信部２０２は、情報処理装置１００－１と通信を行う。具体的には、通信部２０２は、制御部２０４から提供される視線情報を情報処理装置１００－１に送信する。
　制御部２０４は、視線検出装置２００の動作を全体的に制御する。具体的には、制御部２０４は、撮像部２０６に撮像を指示し、撮像部２０６の撮像により得られる画像に基づいて視線情報を生成する。そして、制御部２０４は、通信部２０２に生成される視線情報を情報処理装置１００－１に向けて送信させる。より具体的には、制御部２０４は、撮像部２０６から提供される画像に含まれるユーザを解析することによってユーザの視線を検出する。そして、制御部２０４は、検出される視線を示す視線情報を生成する。なお、ユーザの視線の検出には、例えば虹彩もしくは瞳孔の位置または人体の頭部の動き等に基づく視線検出技術等の一般的な技術が用いられる。
　撮像部２０６は、制御部２０４の指示に基づいてユーザを撮像する。具体的には、撮像部２０６は、ユーザが被写体となるようにユーザ周辺において撮像を行い、撮像により得られる画像を制御部２０４に提供する。例えば、撮像部２０６は、光を集光する撮影レンズおよびズームレンズなどの撮像光学系、およびＣＣＤ（Charge　Coupled　Device）またはＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）等の信号変換素子を備え得る。また、撮像部２０６は、ＩＲ（Infrared）カメラであってもよく、上記の可視光カメラおよびＩＲカメラの組合せであってもよい。
　　　（（音検出装置の機能構成））
　続いて、音検出装置３００は、音情報取得装置として、図１に示したように、通信部３０２、制御部３０４および集音部３０６を備える。
　通信部３０２は、情報処理装置１００－１と通信を行う。具体的には、通信部３０２は、制御部３０４から提供される音情報を情報処理装置１００－１に送信する。
　制御部３０４は、音検出装置３００の動作を全体的に制御する。具体的には、制御部３０４は、集音部３０６に集音開始および停止を指示し、通信部３０２に集音部３０６の集音により得られる音情報を情報処理装置１００－１に向けて送信させる。なお、制御部３０４は、音情報に含まれるノイズの除去等を行ってもよい。
　集音部３０６は、音検出装置３００の周辺の音を検出する。具体的には、集音部３０６は、制御部３０４の指示に基づいて音検出装置３００の周辺すなわちユーザの周辺における集音を行う。そして、集音部３０６は、集音された音を示す音情報を生成し、生成される音情報を制御部３０４に提供する。例えば、集音部３０６は、マイクロホンまたはマイクロホンアレイ等の集音器であり得る。なお、集音部３０６は集音された音に係る信号を制御部３０４に提供し、制御部３０４が音情報を生成してもよい。
　　　（（表示装置の機能構成））
　続いて、表示装置４００は、出力装置として、図１に示したように、通信部４０２、制御部４０４および表示部４０６を備える。
　通信部４０２は、情報処理装置１００－１と通信を行う。具体的には、通信部４０２は、情報処理装置１００－１から画像情報を受信し、受信される画像情報を制御部４０４に提供する。
　制御部４０４は、表示装置４００の動作を全体的に制御する。具体的には、制御部４０４は、画像情報が通信部４０２によって受信されると、表示部４０６に受信された画像情報を提供すると共に画像の表示を指示する。
　表示部４０６は、制御部４０４から提供される画像情報に基づいて画像を表示する。例えば、表示部４０６は、液晶パネルまたは有機ＥＬ（Electro　Luminescence）等であり得る。
　　＜２－２．装置の処理＞
　続いて、図４を参照して、本実施形態に係る情報処理装置１００－１の処理について説明する。図４は、本実施形態に係る情報処理装置１００－１の処理を概念的に示すフローチャートである。
　まず、情報処理装置１００－１は、視線情報を取得する（ステップＳ５０２）。具体的には、通信部１０２は、視線検出装置２００から視線情報を受信する。なお、視線情報が所定の時間、例えば次のフレーム表示までに受信されない場合、制御部４０４は、ステップＳ５１０に処理を進める。
　次に、情報処理装置１００－１は、トリガ情報が取得されるまで待機する（ステップＳ５０４）。具体的には、制御部４０４は、トリガ情報としての音情報が音検出装置３００から通信部１０２によって受信されるまで待機する。なお、視線情報の受信から所定の時間内に音情報が受信されない場合、制御部４０４は、ステップＳ５１０に処理を進める。
　トリガ情報が取得されると、情報処理装置１００－１は、視線情報とトリガ情報とに基づいて操作位置を決定する（ステップＳ５０６）。具体的には、視線情報の受信から所定の時間内に音情報が受信されると、制御部１０４は、視線情報と音情報とに基づいて操作位置を決定する。
　次に、情報処理装置１００－１は、操作位置についてユーザ通知処理を実行する（ステップＳ５０８）。具体的には、制御部１０４は、次のフレームの画像を生成し、決定された操作位置についてマーカオブジェクトを生成された画像に重畳させる。
　次に、情報処理装置１００－１は、表示を更新する（ステップＳ５１０）。具体的には、制御部１０４は、通信部１０２に生成された画像に係る画像情報を表示装置４００に向けて送信させ、表示装置４００は、受信される画像情報に基づいて画像の表示を更新する。なお、ステップＳ５０２またはＳ５０４から本ステップに処理が進められる場合には、本ステップにて次のフレームの画像が生成される。また、この際に、視線オブジェクトの表示も更新され得る。
　なお、上記のフローチャートでは、視線情報が取得された後に音情報が取得される例を示したが、音情報が視線情報よりも先に取得されてもよい。
　このように、本開示の第１の実施形態によれば、情報処理装置１００－１は、ユーザの視線に係る視線情報とユーザによって発せられる音に係る音情報とに基づいて操作位置を決定し、当該操作位置におけるユーザ通知処理を行う。このため、手作業等の動作中であってもユーザが行える行為に基づいて決定される操作位置について処理が行われることにより、ユーザが別途に動作を行いながら、当該動作と並行して容易に操作を行うことが可能となる。
　また、情報処理装置１００－１は、音情報の示す音に予め決定される音が含まれる場合、視線情報から特定されるユーザの視線位置に基づいて操作位置を決定する。このため、キーワードにのみ反応することにより、ユーザの意図に沿わない場面またはタイミング等で処理が実行されることを抑制することが可能となる。
　また、上記の音情報に係る音は、ユーザの音声を含む。このため、ユーザは直感的に操作位置を指定することができ、ユーザの利便性を向上させることが可能となる。
　また、上記の音情報に係る音は、ユーザの動作によって発生する音を含む。このため、ユーザが発話することが困難な場合であっても、音による操作を行うことが可能となる。
　また、上記のユーザ通知処理は、操作位置についての表示オブジェクトの重畳を含む。このため、視覚的にユーザ通知が行われることにより、ユーザは通知内容の把握および複数のユーザにおける通知内容の共有を容易に行うことが可能となる。なお、ユーザ通知処理は、音声出力または触覚振動出力等の他のユーザ通知処理であってもよい。
　また、情報処理装置１００－１は、操作位置に存在する物体について表示オブジェクトの重畳を行い、当該物体の態様に対応するように表示オブジェクトの重畳表示を制御する。このため、マーカオブジェクトが重畳された物体の態様または態様の変化がユーザにとって把握しやすくされることにより、ユーザの利便性を向上させることが可能となる。
　また、上記の物体の態様は、物体の動きを含む。このため、物体が移動等をしても当該物体がマーカオブジェクトで示されることにより、マーキング対象の物体をユーザが見失うことを抑制することが可能となる。
　また、上記の表示オブジェクトの重畳は、画像への重畳を含み、上記の物体は、画像に表示される他の表示オブジェクトを含む。このため、他の表示オブジェクトすなわち既存オブジェクトについてマーキングが行われることにより、画像を介したユーザ同士のコミュニケーションをより円滑にすることが可能となる。
　また、情報処理装置１００－１は、予め決定される時間が経過すると、表示オブジェクトを削除する。このため、ユーザが操作することなくマーカオブジェクトが削除されることにより、ユーザの利便性を向上させることが可能となる。
　　＜２－３．変形例＞
　以上、本開示の第１の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の第１～第４の変形例について説明する。
　　　（第１の変形例）
　本実施形態の第１の変形例として、情報処理装置１００－１は、視線情報と、トリガ情報としての視覚的に把握されるユーザの態様を示すユーザ態様情報とに基づいて操作位置を決定してもよい。具体的には、ユーザの態様はユーザの動作を含み、制御部１０４は、ユーザ態様情報の示すユーザの動作に予め決定される動作が含まれる場合、視線情報から特定される視線位置に基づいて操作位置を決定する。
　より具体的には、情報処理装置１００－１は、別途にユーザ態様検出装置と通信を介して接続され、通信部１０２は、当該ユーザ態様検出装置から送信されるユーザ態様情報を受信する。そして、制御部１０４は、ユーザ態様情報と視線情報とに基づいて操作位置を決定する。
　また、ユーザ態様検出装置は、ユーザを撮像する撮像部を備え、当該撮像部の撮像により得られる画像を解析することによってユーザの態様を検出する。そして、ユーザ態様検出装置は、検出されるユーザの態様に基づいてユーザの動作を推定し、推定されるユーザの動作を示すユーザ態様情報を生成する。なお、ユーザの動作は、うなずき、指さし、まばたき、または目の見開き等であり得る。
　さらに、制御部１０４は、ユーザの動作に指し示す動作が含まれる場合、指し示す動作によって示される位置と視線位置とに基づいて操作位置を決定してもよい。具体的には、制御部１０４は、ユーザ態様情報の示すユーザの動作に指し示す動作が含まれるかを判定し、ユーザの動作に指し示す動作が含まれると判定される場合、当該指し示す動作によって示される位置を推定する。そして、制御部１０４は、推定される当該指し示す動作によって示される位置と視線位置との間の距離が所定の範囲内に収まる場合、視線位置に相当する位置を操作位置に決定する。例えば、指し示す動作は、指さし等であり得る。この場合、ユーザが操作位置の決定と異なる目的で指し示す動作を行う場合に、ユーザの意図しない処理が実行されることを抑制することが可能となる。
　なお、上記では、ユーザの態様がユーザの動作である例を説明したが、ユーザの態様はユーザの姿勢であってもよい。例えば、ユーザの姿勢は、動作としての指さしにおける指、手および腕の構え等であり得る。
　このように、本実施形態の第１の変形例によれば、情報処理装置１００－１は、視線情報と視覚的に把握されるユーザの態様を示すユーザ態様情報とに基づいて操作位置を決定する。このため、ユーザが音を立てることが困難な場合であっても、ユーザは直感的に操作位置を指定することができ、さらにユーザの利便性を向上させることが可能となる。
　また、上記のユーザの態様は、ユーザの動作を含み、情報処理装置１００－１は、ユーザ態様情報の示すユーザの動作に予め決定される動作が含まれる場合、視線情報から特定されるユーザの視線位置に基づいて操作位置を決定する。このため、予め決定される動作にのみ反応することにより、ユーザの意図に沿わない場面またはタイミング等で処理が実行されることを抑制することが可能となる。
　　　（第２の変形例）
　本実施形態の第２の変形例として、情報処理装置１００－１は、視線情報と、トリガ情報としての操作体を用いたユーザの操作を示す操作情報とに基づいて操作位置を決定してもよい。具体的には、制御部１０４は、操作情報の示す操作が予め決定される操作である場合、視線情報から特定される視線位置に基づいて操作位置を決定する。
　例えば、操作情報に係る操作体は、ボタン、マウス、タッチパネル、感圧センサもしくは静電容量センサを備える入力装置、または加速度センサ、角速度センサもしくは振動センサを備えるコントローラ等であり得る。
　このように、本実施形態の第２の変形例によれば、情報処理装置１００－１は、視線情報と操作体を用いたユーザの操作を示す操作情報とに基づいて操作位置を決定する。このため、操作情報の判別処理が音情報またはユーザ態様情報に基づいて操作位置が決定される場合と比べて簡易であるため、トリガ情報の取得からユーザ通知までの時間を短縮することが可能となる。
　　　（第３の変形例）
　本実施形態の第３の変形例として、情報処理装置１００－１は、削除猶予時間の経過までにユーザがマーカオブジェクトを見た場合、削除猶予時間を延長してもよい。具体的には、制御部１０４は、マーカオブジェクトの削除前に当該マーカオブジェクトの表示位置に相当する視線位置に係る視線情報が得られた場合、マーカオブジェクトの削除までの時間を延長する。
　例えば、制御部１０４は、マーカオブジェクトの画像への重畳から削除猶予時間の経過までの間に取得される視線情報に基づいて特定される視野位置が当該マーカオブジェクトの位置に相当する場合、削除猶予時間の始期を当初の始期よりも後の時点、例えば現時点に変更する。なお、削除猶予時間の終期が変更されてもよく、削除猶予時間の長さが変更されてもよい。
　さらに、制御部１０４は、時間経過に応じてマーカオブジェクトが変化される場合、マーカオブジェクトの表示位置に相当する視線位置に係る視線情報が得られた際に、マーカオブジェクトを元の状態に戻してもよい。この場合、マーカオブジェクトの削除までの時間が延長され、またはリセットされたことをユーザは直感的に理解することが可能となる。
　このように、本実施形態の第３の変形例によれば、情報処理装置１００－１は、マーカオブジェクトの削除前に当該マーカオブジェクトの表示位置に相当する視線位置に係る視線情報が得られた場合、マーカオブジェクトの削除までの時間を延長する。このため、マーキングがユーザの意図に従って継続されることにより、ユーザの利便性を向上させることが可能となる。
　　　（第４の変形例）
　本実施形態の第４の変形例として、情報処理装置１００－１は、ユーザの明示的な指示に従ってマーカオブジェクトを削除してもよい。具体的には、制御部１０４は、ユーザの振舞いを示す情報に基づいてマーカオブジェクトを削除する。より具体的には、ユーザの振舞いを示す情報は、音情報、ユーザ態様情報または操作情報を含み、制御部１０４は、音情報、ユーザ態様情報または操作情報に基づいてマーカオブジェクトを削除する。
　例えば、制御部１０４は、マーカオブジェクトが画像に重畳された状態において、トリガ情報、例えば予め決定される音を含む音情報、予め決定される動作を含むユーザ態様情報、または予め決定される操作を含む操作情報が取得されると、画像に重畳されているマーカオブジェクトを削除する。なお、当該トリガ情報（以下、削除トリガ情報とも称する。）は、マーカオブジェクトの画像への重畳にかかるトリガ情報（以下、重畳トリガ情報とも称する。）と同じであってもよく、重畳トリガ情報と異なってもよい。
　さらに、情報処理装置１００－１は、画像に対する操作内容に基づいてマーカオブジェクトを削除してもよい。具体的には、制御部１０４は、画像に対する操作がマーカオブジェクトの削除を指示する操作である場合、マーカオブジェクトを削除する。
　例えば、制御部１０４は、マーカオブジェクトの表示有無を切り替えるトグルをマーカオブジェクトの非表示に切り替える操作が行われると、マーカオブジェクトを画像から削除する。また、制御部１０４は、マーカオブジェクトの一覧において選択されたマーカオブジェクトの削除を指示する操作が行われると、選択されたマーカオブジェクトを画像から削除する。なお、一覧に示されるマーカオブジェクトの全てが一括で削除されてもよい。
　また、情報処理装置１００－１は、ユーザの見ているマーカオブジェクトを削除してもよい。具体的には、制御部１０４は、視線情報と音情報、ユーザ態様情報または操作情報とに基づいてマーカオブジェクトを選択し、選択されるマーカオブジェクトを削除する。
　例えば、制御部１０４は、削除トリガ情報である音情報等が取得された際に、既に取得されている視線情報またはその後に取得された視線情報から特定される視線位置または当該視線位置の周辺にマーカオブジェクトが存在するかを判定する。マーカオブジェクトが当該視線位置等に存在する場合、制御部１０４は、当該マーカオブジェクトを画像から削除する。
　また、情報処理装置１００－１は、他のユーザがマーキングを確認したことを機に、マーカオブジェクトを削除してもよい。具体的には、制御部１０４は、マーカオブジェクトの重畳に係るユーザと異なる他のユーザについての、当該マーカオブジェクトの表示位置に相当する視線位置に係る視線情報が得られた場合、マーカオブジェクトを削除する。
　例えば、制御部１０４は、マーカオブジェクトを画像に重畳させる際に、取得された視線情報等に係るユーザを識別可能な情報を記憶部１０６に記憶させる。その後、制御部１０４は、記憶部１０６に記憶されるユーザと異なるユーザについての視線情報が取得されると、当該視線情報から特定される視線位置に相当する位置に重畳されているマーカオブジェクトを削除する。
　なお、上記の他のユーザは、マーカオブジェクトを重畳させたユーザ（以下、メインユーザとも称する。）と同じ場所にいるユーザであってもよく、メインユーザと異なる、視線検出装置が設置される場所に位置するユーザであってもよい。
　また、マーカオブジェクトが削除された際に、メインユーザに削除通知が行われてもよい。例えば、制御部１０４は、他のユーザの視線情報に基づいてマーカオブジェクトの削除前もしくは削除後、または削除と供に、マーカオブジェクトを削除する旨または削除した旨を示す表示オブジェクトを画像に重畳させ得る。なお、削除通知は音声出力で行われてもよい。
　また、他のユーザについての視線情報とトリガ情報とに基づいてマーカオブジェクトが削除されてもよい。
　このように、本実施形態の第４の変形例によれば、情報処理装置１００－１は、ユーザの振舞いを示す情報に基づいてマーカオブジェクトを削除する。このため、ユーザの意図に反して自動的にマーカオブジェクトが削除されないことにより、ユーザの利便性を向上させることが可能となる。
　また、上記のユーザの振舞いを示す情報は、音情報、ユーザ態様情報または操作情報を含み、情報処理装置１００－１は、音情報、ユーザ態様情報または操作情報に基づいてマーカオブジェクトを削除する。このため、マーカオブジェクトの重畳判定と同様にマーカオブジェクトの削除判定にトリガ情報が用いられることにより、削除判定のために新たな処理および構成が追加されずに済み、コスト増加を抑制することが可能となる。
　また、情報処理装置１００－１は、視線情報と音情報、ユーザ態様情報または操作情報とに基づいてマーカオブジェクトを選択し、選択されるマーカオブジェクトを削除する。このため、ユーザが見ている場合のみマーカオブジェクトが削除されることにより、ユーザの意図しない削除の抑制が可能となる。また、複数のマーカオブジェクトが画像に重畳されている場合、ユーザが削除を望むマーカオブジェクトのみを削除することができ、ユーザの利便性を向上させることが可能となる。
　また、情報処理装置１００－１は、マーカオブジェクトの重畳に係るユーザと異なる他のユーザについての、当該マーカオブジェクトの表示位置に相当する視線位置に係る視線情報が得られた場合、マーカオブジェクトを削除する。このため、ユーザ間の意思の伝達という目的が達成されたマーカオブジェクトが削除されることにより、ユーザの利便性を損なうことなく、画像の視認性を向上させることが可能となる。
　＜３．本開示の第２の実施形態（外界像におけるマーキング）＞
　以上、本開示の第１の実施形態に係る情報処理装置１００－１について説明した。続いて、本開示の第２の実施形態に係る情報処理装置１００－２について説明する。第２の実施形態では、外界像にマーカオブジェクトが重畳される。
　　＜３－１．装置の構成＞
　まず、図５を参照して、本開示の第２の実施形態に係る情報処理装置１００－２の機能構成について説明する。図５は、本実施形態に係る情報処理装置１００－２の概略的な機能構成を示すブロック図である。なお、第１の実施形態に係る機能と実質的に同一である機能については説明を省略する。
　情報処理装置１００－２は、図５に示したように、通信部１０２、制御部１０４および記憶部１０６に加えて、撮像部１０８、集音部１１０および表示部１１２を備える。なお、情報処理装置１００－２は、人体の頭部に装着されるウェアラブルデバイス等であり得る。
　本実施形態に係る制御部１０４の機能は、マーカオブジェクトの重畳先が画像ではなく、外界像である点で第１の実施形態と異なる。具体的には、制御部１０４は、外界像に係る光を透過する表示部１１２にマーカオブジェクトを表示させることによって外界像にマーカオブジェクトを重畳させる。以下では、操作位置の決定およびマーキング機能、マーキングの追従機能およびマーキングの共有機能についてのみ説明する。
　　　　（操作位置の決定およびマーキング機能）
　制御部１０４は、情報処理装置１００－２の位置および周辺の空間を推定し、推定される位置および空間（以下、装置周辺環境とも称する。）と視線情報およびトリガ情報とに基づいて操作位置を決定する。具体的には、制御部１０４は、取得されるセンサ情報に基づいて情報処理装置１００－２の位置および周辺の空間を推定し、推定される装置周辺環境および視線情報の示す視線に基づいて視線位置を特定する。そして、制御部１０４は、トリガ情報が取得されると、特定される視線位置に基づいて操作位置を決定する。さらに、図６を参照して、本実施形態における制御部１０４の処理について詳細に説明する。図６は、本実施形態に係る情報処理システムの適用例を示す図である。
　制御部１０４は、センサ情報に基づいて装置周辺情報を推定する。例えば、制御部１０４は、撮像センサ（撮像部１０８）または測距センサ等から得られる情報に基づいて装置周辺環境を推定する。なお、センサ情報に基づいて環境マップが生成されてもよい。なお、操作位置の推定には、ＳＬＡＭ（Simultaneous　Localization　and　Mapping）等の空間認識および位置同定に係る技術が用いられ得る。
　また、制御部１０４は、視線情報を取得する。例えば、制御部１０４は、通信部１０２を介して図６の左図に示したようなユーザＵ３の視線を示す視線情報を取得する。
　次に、視線情報が取得されると、制御部１０４は、推定される装置周辺環境と視線情報とから特定される視線位置を示す視線オブジェクトを表示部１１２に表示させる。例えば、制御部１０４は、操作位置と視線情報とから視線位置を特定し、特定される視線位置に視線オブジェクト１０が重畳表示されるように画像を生成する。そして、制御部１０４は、生成される画像を表示部１１２に表示させる。これにより、表示部１１２を通して外界像を見るユーザには、図６の左図に示したような視線オブジェクト１０が外界像に重畳されて見える。
　次に、制御部１０４は、トリガ情報が取得されると、当該トリガ情報が予め決定される情報を含む場合、操作位置と視線情報とから特定される視線位置に基づいて操作位置を決定する。例えば、制御部１０４は、トリガ情報として音情報が取得されると、当該音情報に図６の左図に示したようなキーワード「ここ」が含まれているかを判定する。音情報にキーワードが含まれると判定される場合、制御部１０４は、視線位置に相当する位置すなわち図６の左図に示したような視線オブジェクト１０が表示される位置を操作位置に決定する。
　次に、制御部１０４は、決定される操作位置についてのマーカオブジェクトの外界像への重畳を行う。例えば、制御部１０４は、操作位置が決定されると、図６の右図に示したようなマーカオブジェクト２２を表示部１１２の画面の操作位置に対応する位置を示すように配置させる。そして、制御部１０４は、マーカオブジェクト２２が配置された画像を表示部１１２に表示させることによって外界像にマーカオブジェクト２２を重畳させる。
　　　　（マーキングの共有機能）
　制御部１０４は、通信部１０２を介して他の情報処理装置にマーカ情報を提供する。さらに、図７を参照して、マーカ情報の共有について詳細に説明する。図７は、本実施形態に係る情報処理装置１００－２のマーカ情報の共有処理を説明するための図である。
　例えば、マーカ情報は、情報処理装置１００－２と接続されるサーバを介してまたは直接的に、図７に示したようなユーザＵ４の保持する他の情報処理装置に送信される。そして、他の情報処理装置は、共有されるマーカ情報に基づいてマーカオブジェクト２２を表示部に表示させることによって、図７に示したように外界像にマーカオブジェクト２２を重畳させる。
　なお、情報処理装置１００－２は、他の情報処理装置がマーカオブジェクトの重畳位置に近づくと、当該他の情報処理装置にマーカ情報を提供するとしてもよい。例えば、制御部１０４は、通信部１０２を介して他の情報処理装置の位置情報を取得し、マーキングに係る位置から所定の範囲内に当該他の情報処理装置が位置するかを判定する。所定の範囲内に他の情報処理装置が位置すると判定される場合、制御部１０４は、マーカ情報を当該他の情報処理装置に提供する。
　　　　（マーキングの追従機能）
　制御部１０４は、外界像に含まれる物体像についてマーカオブジェクトの重畳を行い、当該物体像の態様に対応するようにマーカオブジェクトの重畳表示を制御する。具体的には、制御部１０４は、決定される操作位置に物体像が存在する場合、マーカオブジェクトを当該物体像に重畳させる。さらに、図８を参照して、本実施形態におけるマーキングの追従機能について詳細に説明する。図８は、本実施形態に係る情報処理装置１００－２のマーキングの追従機能を説明するための図である。
　制御部１０４は、まず、装置周辺環境、視線情報およびトリガ情報に基づいて操作位置を決定する。例えば、制御部１０４は、装置周辺環境が推定され、図８に示したような、ユーザＵ５についての視線を示す視線情報とキーワード「あの」を含む音声を示す音情報とが取得されると、装置周辺環境と視線情報および音声情報とに基づいて操作位置が決定される。
　そして、制御部１０４は、操作位置において物体が存在するかを判定する。例えば、制御部１０４は、推定される装置周辺環境に基づいて操作位置における物体の有無を判定する。なお、当該物体の有無の判定は、一般的な物体認識処理を用いて認識される物体の有無の判定であってもよく、物体の認識までは行われず、所定の特徴量の有無の判定であってもよい。また、物体認識または物体の特徴量の把握は、定期的に行われていてもよい。
　操作位置において物体が存在すると判定される場合、制御部１０４は、当該物体についてマーカオブジェクトの重畳を行う。例えば、制御部１０４は、操作位置に存在する、図８に示したようなエイ４０についてマーカオブジェクト２４が重畳表示されるように画像を生成する。そして、制御部１０４は、生成される画像を表示部１１２に表示させる。なお、マーカオブジェクト２４のマーカ情報は、ユーザＵ６の装着する情報処理装置１００－２に提供され、当該ユーザＵ６もマーカオブジェクト２４が重畳表示された外界像を見ることができる。
　そして、制御部１０４は、外界像における物体の位置の変化に応じてマーカオブジェクトの位置を変化させる。例えば、制御部１０４は、図８に示したような、外界像すなわちユーザの視界においてエイ４０が移動すると、当該エイ４０の移動に追従するようにマーカオブジェクト２４を移動させる。
　なお、上記では、マーカオブジェクトの重畳先が外界像に含まれる物体像である例を説明したが、マーカオブジェクトの重畳先は外界像に重畳表示される他の表示オブジェクトであってもよい。例えば、制御部１０４は、取得された視線情報から特定される視線位置に他の表示オブジェクトが既に重畳されている場合、当該他の表示オブジェクトについてマーカオブジェクトを重畳させる。
　　　　（視線検出およびトリガ検出機能）
　なお、制御部１０４は、第１の実施形態における視線検出装置２００の視線検出機能ならびに音検出装置３００の音検出機能および／または変形例におけるユーザ態様検出機能のユーザ態様検出機能を備える。
　撮像部１０８は、２種類の撮像を行う。具体的には、撮像部１０８は、情報処理装置１００－２の周辺の撮像および視線検出用の撮像を行う。例えば、撮像部１０８は、情報処理装置１００－２の周辺の撮像を行う第１の撮像部と、視線検出用の撮像を行う第２の撮像部を備える。第１の撮像部は、第１の実施形態における視線検出装置２００の撮像部２０６と実質的に同一であるため、説明を省略する。第２の撮像部は、情報処理装置１００－２を装着するユーザの目または目およびその周辺を撮像し、撮像により得られる画像を制御部１０４に提供する。
　集音部１１０は、情報処理装置１００－２の周辺において集音を行う。なお、集音部１１０の機能は、第１の実施形態における音検出装置３００の集音部３０６の機能と実質的に同一であるため説明を省略する。
　表示部１１２は、制御部１０４の指示に基づいて画像の表示を行う。具体的には、表示部１１２は、透過される外界光および画像光がユーザの目に入射されるような構造を有し、制御部１０４から提供される画像に係る画像光がユーザの目に入射されるように当該画像光を射出する。例えば、表示部１１２は、別途に備えられるディスプレイ等に画像を投影し、またはユーザの目に直接的に画像光を射出する。
　　＜３－２．装置の処理＞
　本開示の第２の実施形態に係る情報処理装置１００－２の処理は、装置周辺環境の推定処理以外は第１の実施形態の処理と実質的に同一であるため説明を省略する。
　このように、本開示の第２の実施形態によれば、情報処理装置１００－２は、表示オブジェクトを外界像に重畳する。このため、現実空間にマーカオブジェクトが重畳されることにより、ユーザの日常生活における他人とのコミュニケーションをより円滑にすることが可能となる。
　また、情報処理装置１００－２は、外界像に含まれる物体像について表示オブジェクトの重畳を行い、当該物体像の態様に対応するように表示オブジェクトの重畳表示を制御する。このため、現実空間における物体の動き等にマーキングが追従されることにより、マーキング対象の物体を見失う可能性を低下させることが可能となる。
　　＜３－３．変形例＞
　以上、本開示の第２の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の変形例について説明する。
　本実施形態の変形例として、マーカ情報は、地図情報と対応付けられてもよい。具体的には、制御部１０４は、決定された操作位置すなわちマーカオブジェクトの重畳位置と地図情報における位置との対応付けを行い、当該対応付けを示す情報を生成する。さらに、図９を参照して、本変形例の処理について説明する。図９は、本実施形態の第１の変形例におけるマーカ情報が対応付けられた地図情報の例を示す図である。
　例えば、制御部１０４は、操作位置が決定され、マーカオブジェクトが外界像に重畳されると、当該操作位置すなわちマーカオブジェクトの重畳位置と地図情報における座標とを対応付ける。なお、地図情報における座標は、ＧＰＳ（Global　Positioning　System）センサから得られる座標であってもよい。
　そして、制御部１０４は、ユーザ操作等に基づいて、表示部１１２に図９に示したような地図情報を表示させる。当該地図情報には、マーカオブジェクトの重畳位置を示す表示オブジェクトとして、例えばマーカオブジェクト２２そのものが表示される。なお、地図情報に表示される表示オブジェクトは、マーカオブジェクトと異なる表示オブジェクトであってもよい。
　なお、マーカオブジェクトの重畳位置と対応付けられた地図情報または対応付け情報は、他の情報処理装置と共有されてもよい。
　このように、本実施形態の変形例によれば、マーカ情報は、地図情報と対応付けられる。このため、ユーザはマーカオブジェクトの重畳位置を俯瞰的に確認することができ、ユーザの利便性を向上させることが可能となる。
　＜４．本開示の一実施形態に係る情報処理装置のハードウェア構成＞
　以上、本開示の各実施形態に係る情報処理装置１００について説明した。上述した情報処理装置１００の処理は、ソフトウェアと、以下に説明する情報処理装置１００のハードウェアとの協働により実現される。
　図１０は、本開示の一実施形態に係る情報処理装置１００のハードウェア構成を示した説明図である。図１０に示したように、情報処理装置１００は、ＣＰＵ（Central　Processing　Unit）１３２と、ＲＯＭ（Read　Only　Memory）１３４と、ＲＡＭ（Random　Access　Memory）１３６と、ブリッジ１３８と、バス１４０と、インターフェース１４２と、入力装置１４４と、出力装置１４６と、ストレージ装置１４８と、ドライブ１５０と、接続ポート１５２と、通信装置１５４とを備える。
　ＣＰＵ１３２は、演算処理装置として機能し、各種プログラムと協働して情報処理装置１００内の制御部１０４の動作を実現する。また、ＣＰＵ１３２は、マイクロプロセッサであってもよい。ＲＯＭ１３４は、ＣＰＵ１３２が使用するプログラムまたは演算パラメータ等を記憶する。ＲＡＭ１３６は、ＣＰＵ１３２の実行にいて使用するプログラムまたは実行において適宜変化するパラメータ等を一時記憶する。ＲＯＭ１３４およびＲＡＭ１３６により、情報処理装置１００内の記憶部１０６の一部が実現される。ＣＰＵ１３２、ＲＯＭ１３４およびＲＡＭ１３６は、ＣＰＵバスなどから構成される内部バスにより相互に接続されている。
　入力装置１４４は、例えば、情報処理装置１００の撮像部１０８および集音部１１０の一例として、マウス、キーボード、タッチパネル、ボタン、マイクロホン、スイッチおよびレバーなどユーザが情報を入力するための入力手段、およびユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１３２に出力する入力制御回路などから構成されている。情報処理装置１００のユーザは、入力装置１４４を操作することにより、情報処理装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置１４６は、例えば、情報処理装置１００の表示部１１２の一例として、液晶ディスプレイ（LCD）装置、ＯＬＥＤ（Organic　Light　Emitting　Diode）装置、ランプなどの装置への出力を行う。さらに、出力装置１４６は、スピーカおよびヘッドフォンなどの音声出力を行ってもよい。
　ストレージ装置１４８は、データ格納用の装置である。ストレージ装置１４８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されるデータを削除する削除装置等を含んでもよい。ストレージ装置１４８は、ＣＰＵ１３２が実行するプログラムや各種データを格納する。
　ドライブ１５０は、記憶媒体用リーダライタであり、情報処理装置１００に内蔵、あるいは外付けされる。ドライブ１５０は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ１３４に出力する。また、ドライブ１５０は、リムーバブル記憶媒体に情報を書込むこともできる。
　接続ポート１５２は、例えば、情報処理装置１００の外部の情報処理装置または周辺機器と接続するためのバスである。また、接続ポート１５２は、ＵＳＢ（Universal　Serial　Bus）であってもよい。
　通信装置１５４は、例えば、情報処理装置１００の通信部１０２の一例として、ネットワークに接続するための通信デバイスで構成される通信インターフェースである。また、通信装置１５４は、無線ＬＡＮ（Local　Area　Network）対応通信装置であっても、ＬＴＥ（Long　Term　Evolution）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
　＜５．むすび＞
　以上、本開示の第１の実施形態によれば、手作業等の動作中であってもユーザが行える行為に基づいて決定される操作位置について処理が行われることにより、ユーザが別途に動作を行いながら、当該動作と並行して容易に操作を行うことが可能となる。また、本開示の第２の実施形態によれば、現実空間にマーカオブジェクトが重畳されることにより、ユーザの日常生活における他人とのコミュニケーションをより円滑にすることが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態では、視線情報に係るユーザとトリガ情報に係るユーザとが同一であるとしたが、本技術はかかる例に限定されない。例えば、視線情報およびトリガ情報に係るユーザがそれぞれ異なるユーザであってもよい。例えば、視線情報に係るユーザ（以下、第１のユーザとも称する。）が外界像における特定の物体を探している場合を想定する。この場合に、第１のユーザが見ている位置に当該特定の物体があることを他のユーザ（以下、第２のユーザとも称する。）が発見し、キーワードを含む発話を行った際に、第２のユーザの発話に係る音情報がトリガ情報として用いられ、第１のユーザが見ていた位置にマーカオブジェクトが外界像に重畳表示される。
　また、上記実施形態では、マーカオブジェクトは、既存オブジェクトの種類に応じて決定される例を説明したが、マーカオブジェクトは、トリガ情報の内容に応じて決定されてもよい。例えば、トリガ情報が音情報である場合、音情報に含まれるキーワードが「マーキング」であるときは、円形のマーカオブジェクトが選択され、キーワードが「左方向」であるときは、左矢印のマーカオブジェクトが選択される。なお、マーカオブジェクトは、トリガ情報の種類に応じて決定されてもよい。
　また、上記実施形態では、情報処理装置１００の外部の表示装置または情報処理装置１００の備える表示部１１２にマーカオブジェクトが表示される例を説明したが、マーカオブジェクトは壁面または天井等に投影されてもよい。例えば、車のフロントガラスまたはサイドガラスにマーカオブジェクトが投影されてもよい。
　また、本開示の各実施形態に係る情報処理装置１００および情報処理システムは、医療分野または農業分野に適用されてもよい。例えば、医療分野においては、情報処理装置１００によって、レントゲン写真またはＭＲＩ（Magnetic　Resonance　Imaging）画像にマーカオブジェクトが重畳されたり、手術映像または手術室の空間にマーカオブジェクトが重畳されたりする。また、農業分野においては、情報処理装置１００によって、特定の木についてマーキングが行われ、マーキングを行ったユーザと異なるユーザが当該マーキングに係るマーカオブジェクトを目印にして、例えば農薬散布等の農作業を行う。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）ユーザの視線に係る視線情報とユーザによって発せられる音に係る音情報とに基づいて操作位置を決定する決定部と、前記決定部によって決定される前記操作位置におけるユーザ通知処理を行う処理部と、を備える情報処理装置。
（２）前記決定部は、前記音情報の示す音に予め決定される音が含まれる場合、前記視線情報から特定されるユーザの視線位置に基づいて操作位置を決定する、前記（１）に記載の情報処理装置。
（３）前記音情報に係る音は、ユーザの音声を含む、前記（２）に記載の情報処理装置。
（４）前記音情報に係る音は、ユーザの動作によって発生する音を含む、前記（２）または（３）に記載の情報処理装置。
（５）前記決定部は、さらに、前記視線情報と視覚的に把握されるユーザの態様を示すユーザ態様情報とに基づいて前記操作位置を決定する、前記（１）～（４）のいずれか１項に記載の情報処理装置。
（６）前記ユーザの態様は、ユーザの動作を含み、前記決定部は、前記ユーザ態様情報の示すユーザの動作に予め決定される動作が含まれる場合、前記視線情報から特定されるユーザの視線位置に基づいて操作位置を決定する、前記（５）に記載の情報処理装置。
（７）前記ユーザ通知処理は、前記操作位置についての表示オブジェクトの重畳を含む、前記（１）～（６）のいずれか１項に記載の情報処理装置。
（８）前記処理部は、前記操作位置に存在する物体について前記表示オブジェクトの重畳を行い、前記物体の態様に対応するように前記表示オブジェクトの重畳表示を制御する、前記（７）に記載の情報処理装置。
（９）前記物体の態様は、前記物体の動きを含む、前記（８）に記載の情報処理装置。
（１０）前記表示オブジェクトの重畳は、画像への重畳を含み、前記物体は、前記画像に表示される他の表示オブジェクトを含む、前記（８）または（９）に記載の情報処理装置。
（１１）前記表示オブジェクトの重畳は、外界像への重畳を含み、前記物体は、前記外界像に含まれる物体像を含む、前記（８）または（９）に記載の情報処理装置。
（１２）前記処理部は、予め決定される時間が経過すると、前記表示オブジェクトを削除する、前記（７）～（１１）のいずれか１項に記載の情報処理装置。
（１３）前記処理部は、前記表示オブジェクトの削除前に前記表示オブジェクトの表示位置に相当する視線位置に係る前記視線情報が得られた場合、前記表示オブジェクトの削除までの時間を延長する、前記（１２）に記載の情報処理装置。
（１４）前記処理部は、ユーザの振舞いを示す情報に基づいて前記表示オブジェクトを削除する、前記（７）～（１３）のいずれか１項に記載の情報処理装置。
（１５）前記ユーザの振舞いを示す情報は、前記音情報、視覚的に把握されるユーザの態様を示すユーザ態様情報または操作体を用いたユーザの操作を示す操作情報を含み、前記処理部は、前記音情報、前記ユーザ態様情報または前記操作情報に基づいて前記表示オブジェクトを削除する、前記（１４）に記載の情報処理装置。
（１６）前記処理部は、前記視線情報と前記音情報、前記ユーザ態様情報または前記操作情報とに基づいて表示オブジェクトを選択し、選択される表示オブジェクトを削除する、前記（１５）に記載の情報処理装置。
（１７）前記処理部は、前記表示オブジェクトの重畳表示に係るユーザと異なる他のユーザについて、前記表示オブジェクトの表示位置に相当する視線位置に係る前記視線情報が得られた場合、前記表示オブジェクトを削除する、前記（１４）～（１６）のいずれか１項に記載の情報処理装置。
（１８）ユーザの視線に係る視線情報を取得する視線情報取得装置と、ユーザによって発せられる音に係る音情報を取得する音情報取得装置と、前記視線情報取得装置および前記音情報取得装置から得られる前記視線情報および前記音情報に基づいて操作位置を決定する決定部と、前記決定部によって決定される前記操作位置におけるユーザ通知処理を行う処理機能と、を備える情報処理装置と、前記情報処理装置の前記ユーザ通知処理に係る出力を行う出力装置と、を備える情報処理システム。
（１９）決定部によって、ユーザの視線に係る視線情報とユーザによって発せられる音に係る音情報とに基づいて操作位置を決定することと、前記操作位置におけるユーザ通知処理を行うことと、を含む方法。
（２０）ユーザの視線に係る視線情報とユーザによって発せられる音に係る音情報とに基づいて操作位置を決定する決定機能と、前記決定機能によって決定される前記操作位置におけるユーザ通知処理を行う処理機能と、をコンピュータに実現させるためのプログラム。
　１００　　情報処理装置
　１０２　　通信部
　１０４　　制御部
　１０６　　記憶部
　１０８　　撮像部
　１１０　　集音部
　１１２　　表示部
　２００　　視線検出装置
　３００　　音検出装置
　４００　　表示装置

Claims (20)

  1. 　ユーザの視線に係る視線情報とユーザによって発せられる音に係る音情報とに基づいて操作位置を決定する決定部と、
    　前記決定部によって決定される前記操作位置におけるユーザ通知処理を行う処理部と、
    　を備える情報処理装置。
  2. 　前記決定部は、前記音情報の示す音に予め決定される音が含まれる場合、前記視線情報から特定されるユーザの視線位置に基づいて操作位置を決定する、請求項１に記載の情報処理装置。
  3. 　前記音情報に係る音は、ユーザの音声を含む、請求項２に記載の情報処理装置。
  4. 　前記音情報に係る音は、ユーザの動作によって発生する音を含む、請求項２に記載の情報処理装置。
  5. 　前記決定部は、さらに、前記視線情報と視覚的に把握されるユーザの態様を示すユーザ態様情報とに基づいて前記操作位置を決定する、請求項１に記載の情報処理装置。
  6. 　前記ユーザの態様は、ユーザの動作を含み、
    　前記決定部は、前記ユーザ態様情報の示すユーザの動作に予め決定される動作が含まれる場合、前記視線情報から特定されるユーザの視線位置に基づいて操作位置を決定する、請求項５に記載の情報処理装置。
  7. 　前記ユーザ通知処理は、前記操作位置についての表示オブジェクトの重畳を含む、請求項１に記載の情報処理装置。
  8. 　前記処理部は、前記操作位置に存在する物体について前記表示オブジェクトの重畳を行い、前記物体の態様に対応するように前記表示オブジェクトの重畳表示を制御する、請求項７に記載の情報処理装置。
  9. 　前記物体の態様は、前記物体の動きを含む、請求項８に記載の情報処理装置。
  10. 　前記表示オブジェクトの重畳は、画像への重畳を含み、
    　前記物体は、前記画像に表示される他の表示オブジェクトを含む、請求項８に記載の情報処理装置。
  11. 　前記表示オブジェクトの重畳は、外界像への重畳を含み、
    　前記物体は、前記外界像に含まれる物体像を含む、請求項８に記載の情報処理装置。
  12. 　前記処理部は、予め決定される時間が経過すると、前記表示オブジェクトを削除する、請求項７に記載の情報処理装置。
  13. 　前記処理部は、前記表示オブジェクトの削除前に前記表示オブジェクトの表示位置に相当する視線位置に係る前記視線情報が得られた場合、前記表示オブジェクトの削除までの時間を延長する、請求項１２に記載の情報処理装置。
  14. 　前記処理部は、ユーザの振舞いを示す情報に基づいて前記表示オブジェクトを削除する、請求項７に記載の情報処理装置。
  15. 　前記ユーザの振舞いを示す情報は、前記音情報、視覚的に把握されるユーザの態様を示すユーザ態様情報または操作体を用いたユーザの操作を示す操作情報を含み、
    　前記処理部は、前記音情報、前記ユーザ態様情報または前記操作情報に基づいて前記表示オブジェクトを削除する、請求項１４に記載の情報処理装置。
  16. 　前記処理部は、前記視線情報と前記音情報、前記ユーザ態様情報または前記操作情報とに基づいて表示オブジェクトを選択し、選択される表示オブジェクトを削除する、請求項１５に記載の情報処理装置。
  17. 　前記処理部は、前記表示オブジェクトの重畳表示に係るユーザと異なる他のユーザについて、前記表示オブジェクトの表示位置に相当する視線位置に係る前記視線情報が得られた場合、前記表示オブジェクトを削除する、請求項１４に記載の情報処理装置。
  18. 　ユーザの視線に係る視線情報を取得する視線情報取得装置と、
    　ユーザによって発せられる音に係る音情報を取得する音情報取得装置と、
    　　前記視線情報取得装置および前記音情報取得装置から得られる前記視線情報および前記音情報に基づいて操作位置を決定する決定部と、
    　　前記決定部によって決定される前記操作位置におけるユーザ通知処理を行う処理機能と、
    　を備える情報処理装置と、
    　前記情報処理装置の前記ユーザ通知処理に係る出力を行う出力装置と、
    　を備える情報処理システム。
  19. 　決定部によって、ユーザの視線に係る視線情報とユーザによって発せられる音に係る音情報とに基づいて操作位置を決定することと、
    　前記操作位置におけるユーザ通知処理を行うことと、
    　を含む方法。
  20. 　ユーザの視線に係る視線情報とユーザによって発せられる音に係る音情報とに基づいて操作位置を決定する決定機能と、
    　前記決定機能によって決定される前記操作位置におけるユーザ通知処理を行う処理機能と、
    　をコンピュータに実現させるためのプログラム。
PCT/JP2015/084326 2015-03-20 2015-12-07 情報処理装置、情報処理システム、情報処理方法およびプログラム WO2016151958A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-057471 2015-03-20
JP2015057471 2015-03-20

Publications (1)

Publication Number Publication Date
WO2016151958A1 true WO2016151958A1 (ja) 2016-09-29

Family

ID=56979011

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/084326 WO2016151958A1 (ja) 2015-03-20 2015-12-07 情報処理装置、情報処理システム、情報処理方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2016151958A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018186031A1 (ja) * 2017-04-03 2018-10-11 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2024116270A1 (ja) * 2022-11-29 2024-06-06 マクセル株式会社 携帯情報端末及び仮想現実表示システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07162826A (ja) * 1993-12-06 1995-06-23 Canon Inc 通信会議システム及び画像表示システム
JPH09258873A (ja) * 1996-03-19 1997-10-03 Mitsubishi Electric Corp 入力装置
JPH1039995A (ja) * 1996-07-19 1998-02-13 Nec Corp 視線・音声入力装置
JPH10244073A (ja) * 1997-03-06 1998-09-14 Konami Co Ltd 射撃ビデオゲーム装置
JPH11345073A (ja) * 1998-06-03 1999-12-14 Matsushita Electric Ind Co Ltd 携帯情報端末操作システム
JP2001117697A (ja) * 1999-10-14 2001-04-27 Fujitsu Ltd 情報処理装置、及び画面表示方法
WO2014196038A1 (ja) * 2013-06-05 2014-12-11 三菱電機株式会社 視線検知による情報処理装置および情報処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07162826A (ja) * 1993-12-06 1995-06-23 Canon Inc 通信会議システム及び画像表示システム
JPH09258873A (ja) * 1996-03-19 1997-10-03 Mitsubishi Electric Corp 入力装置
JPH1039995A (ja) * 1996-07-19 1998-02-13 Nec Corp 視線・音声入力装置
JPH10244073A (ja) * 1997-03-06 1998-09-14 Konami Co Ltd 射撃ビデオゲーム装置
JPH11345073A (ja) * 1998-06-03 1999-12-14 Matsushita Electric Ind Co Ltd 携帯情報端末操作システム
JP2001117697A (ja) * 1999-10-14 2001-04-27 Fujitsu Ltd 情報処理装置、及び画面表示方法
WO2014196038A1 (ja) * 2013-06-05 2014-12-11 三菱電機株式会社 視線検知による情報処理装置および情報処理方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018186031A1 (ja) * 2017-04-03 2018-10-11 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN110546601A (zh) * 2017-04-03 2019-12-06 索尼公司 信息处理装置、信息处理方法和程序
JPWO2018186031A1 (ja) * 2017-04-03 2020-04-23 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11209900B2 (en) 2017-04-03 2021-12-28 Sony Corporation Information processing device and information processing method
JP7099444B2 (ja) 2017-04-03 2022-07-12 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
CN110546601B (zh) * 2017-04-03 2023-09-26 索尼公司 信息处理装置、信息处理方法和程序
WO2024116270A1 (ja) * 2022-11-29 2024-06-06 マクセル株式会社 携帯情報端末及び仮想現実表示システム

Similar Documents

Publication Publication Date Title
US10489981B2 (en) Information processing device, information processing method, and program for controlling display of a virtual object
US8139087B2 (en) Image presentation system, image presentation method, program for causing computer to execute the method, and storage medium storing the program
WO2017134886A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
US10600253B2 (en) Information processing apparatus, information processing method, and program
WO2017187708A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2016208261A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2019187487A1 (ja) 情報処理装置、情報処理方法、およびプログラム
EP3528024B1 (en) Information processing device, information processing method, and program
US20200341284A1 (en) Information processing apparatus, information processing method, and recording medium
US11151804B2 (en) Information processing device, information processing method, and program
JPWO2017213070A1 (ja) 情報処理装置および方法、並びに記録媒体
US20220291744A1 (en) Display processing device, display processing method, and recording medium
US20210058609A1 (en) Information processor, information processing method, and program
JPWO2018100874A1 (ja) 表示制御装置、表示制御方法およびプログラム
CN118103799A (zh) 与远程设备的用户交互
CN117043722A (zh) 用于地图的设备、方法和图形用户界面
WO2016151958A1 (ja) 情報処理装置、情報処理システム、情報処理方法およびプログラム
US20220180583A1 (en) Information processing device, information processing method, and recording medium
CN111515946B (zh) 一种人体辅助机器人的控制方法及装置
US20200380733A1 (en) Information processing device, information processing method, and program
WO2021241110A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN114935975A (zh) 虚拟现实的多用户交互方法、电子设备和可读存储介质
US11240482B2 (en) Information processing device, information processing method, and computer program
WO2022269887A1 (ja) ウェアラブル端末装置、プログラムおよび画像処理方法
WO2023275919A1 (ja) ウェアラブル端末装置、プログラムおよび表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15886510

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 15886510

Country of ref document: EP

Kind code of ref document: A1