WO2023079847A1 - 情報処理装置、情報処理方法および記憶媒体 - Google Patents

情報処理装置、情報処理方法および記憶媒体 Download PDF

Info

Publication number
WO2023079847A1
WO2023079847A1 PCT/JP2022/034886 JP2022034886W WO2023079847A1 WO 2023079847 A1 WO2023079847 A1 WO 2023079847A1 JP 2022034886 W JP2022034886 W JP 2022034886W WO 2023079847 A1 WO2023079847 A1 WO 2023079847A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
avatar
sight
line
information processing
Prior art date
Application number
PCT/JP2022/034886
Other languages
English (en)
French (fr)
Inventor
卓郎 野田
美友 岩船
賢次 森田
皓 上原
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023079847A1 publication Critical patent/WO2023079847A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a storage medium.
  • Japanese Patent Laid-Open No. 2002-200002 discloses a technique for making the avatar's facial expression more natural and more lifelike by moving the avatar's eyes and head independently.
  • Patent Document 1 since the technology described in Patent Document 1 does not use non-herbal behavior such as the direction of the user's line of sight, it was difficult to incorporate prior information before communication into the avatar's actions.
  • the present disclosure proposes a new and improved information processing device, information processing method, and storage medium that enable smoother user communication.
  • an acquisition unit that acquires line-of-sight information indicating the direction of a user's line of sight, an estimation unit that estimates an object viewed by the user based on the line-of-sight information, and based on the object viewed by the user, and a control unit that controls an operation of a target.
  • a computer-implemented method of processing information comprising: controlling the movement of an object.
  • a computer includes an acquisition function for acquiring line-of-sight information indicating the direction of a user's line of sight, an estimation function for estimating an object viewed by the user based on the line-of-sight information, and an object viewed by the user based on the line-of-sight information.
  • a computer-readable non-transitory storage medium storing a program for realizing a control function for controlling an operation of a target based on the created object is provided.
  • FIG. 11 is an explanatory diagram for explaining an example of motion control of the avatar A according to the second embodiment
  • FIG. 11 is an explanatory diagram for explaining an example of motion control of the avatar A according to the second embodiment
  • FIG. 11 is an explanatory diagram for explaining an example of motion control of the avatar A according to the second embodiment
  • FIG. 11 is an explanatory diagram for explaining another example of motion control of avatar A according to the second embodiment
  • FIG. 11 is an explanatory diagram for explaining another example of motion control of avatar A according to the second embodiment
  • FIG. 14 is an explanatory diagram for explaining a specific example of motion control of avatar A according to the third embodiment
  • FIG. 21 is an explanatory diagram for explaining a specific example of motion control of avatar A according to the fourth embodiment
  • FIG. 4 is an explanatory diagram for explaining an example of an overall flow related to operation processing of the information processing apparatus 10 according to the present disclosure
  • FIG. 10 is an explanatory diagram for explaining operation processing for directing a line of sight according to the present disclosure
  • FIG. 10 is an explanatory diagram for explaining an example of operation processing when multiple users are used
  • FIG. 10 is an explanatory diagram for explaining an example of operation processing when multiple users are used
  • 1 is a block diagram showing a hardware configuration of an information processing device 10 according to the present disclosure
  • An embodiment of the present disclosure relates to an information processing system capable of smoother user communication. An overview of the information processing system according to the present disclosure will be described below with reference to FIG.
  • FIG. 1 is an explanatory diagram for explaining an outline of an information processing system according to the present disclosure.
  • An information processing system according to the present disclosure includes an information processing device 10 as shown in FIG. Further, the information processing device 10 according to the present disclosure includes a camera 110 as shown in FIG. 1 .
  • the camera 110 is a device that acquires a user's image by photographing the environment in which it is installed.
  • camera 110 acquires an image including user U1, user U2, and user U3 shown in FIG.
  • the camera 110 according to the present disclosure may be, for example, an RGB camera, a ToF (Time of Flight) camera, a stereo camera, or an infrared camera.
  • the information processing device 10 may include LiDAR (Light Detection and Ranging).
  • LiDAR Light Detection and Ranging
  • the information processing apparatus 10 acquires line-of-sight information indicating the direction of the user's line of sight from the image obtained by the camera 110 .
  • the information processing device 10 also estimates the object visually recognized by the user based on the acquired line-of-sight information. Then, the information processing apparatus 10 controls the target action based on the object visually recognized by the user.
  • the information processing device 10 controls the action of the avatar A, which is an example of a target, based on the objects visually recognized by the user U1, the user U2, and the user U3.
  • the object may be a virtual object or a real object.
  • the virtual object may be avatar A.
  • the information processing device 10 when the user U1 is not visually recognizing any object, and the user U2 and the user U3 are visually recognizing the avatar A, the information processing device 10 according to the present disclosure, as illustrated in FIG. , the action of alternately directing the line of sight of avatar A to user U2 and user U3 may be controlled.
  • the image of the avatar may be displayed on a two-dimensional display such as that shown in FIG. 1, or may be displayed using a device such as a transparent display, a three-dimensional display, or an XR (Extended Reality) device.
  • FIG. 2 is an explanatory diagram for explaining a functional configuration example of the information processing apparatus 10 according to the present disclosure.
  • the information processing apparatus 10 according to the present disclosure includes a camera 110, a microphone 120, a detection unit 130, a speech recognition unit 140, an estimation unit 150, a control unit 160, and a display unit 170. , a voice presenting unit 180 and a communication unit 190 .
  • the function example of the camera 110 has been described above, the following description will be omitted.
  • the microphone 120 is a device that acquires various sounds such as environmental sounds and user's voice.
  • the detection unit 130 detects the user from the video acquired by the camera 110 .
  • the detection unit 130 is an example of an acquisition unit, and detects line-of-sight information indicating the direction of the user's line of sight from the image acquired by the camera 110 .
  • the line-of-sight information detection method is not limited to a detection method based on video.
  • the detection unit 130 may detect line-of-sight information using a pupillary corneal reflection method.
  • the detection unit 130 may detect motion information indicating the motion of the user. Further, the detection unit 130 may detect face information indicating the orientation of the user's face.
  • the voice recognition unit 140 is an example of an acquisition unit, and recognizes voice information indicating words uttered by a user.
  • the speech recognition unit 140 may recognize words uttered by the user from speech acquired by the microphone 120 .
  • the speech recognition unit 140 according to the present disclosure may recognize various types of information such as the user's voice quality and voice volume included in the speech.
  • Estimatiation unit 150 The estimation unit 150 according to the present disclosure estimates the object visually recognized by the user based on the line-of-sight information detected by the detection unit 130 .
  • the estimation unit 150 may estimate a group representing a group moving in the same or similar direction or in the same or similar speed based on the motion information detected by the detection unit 130 . Details regarding the group will be described later.
  • control unit 160 controls the motion of the object based on the object visually recognized by the user estimated by the estimation unit 150 .
  • the control unit 160 controls the action of directing the line of sight of the avatar to the user.
  • control unit 160 may control a predetermined action of the avatar when eye contact is established with the user to whom the avatar's line of sight is directed. The details of the determination as to whether or not eye contact has been established will be described later.
  • control unit 160 may control the action of the avatar based on the voice information recognized by the voice recognition unit 140. For example, the control unit 160 may control an action that causes an avatar to interact with a certain user based on audio information indicating words uttered by the user.
  • Display unit 170 The display unit 170 according to the present disclosure presents various types of information related to video under the control of the control unit 160 .
  • the display unit 170 displays an avatar whose action is controlled by the control unit 160 .
  • the display unit 170 includes, for example, a display.
  • the type of display is not limited.
  • the display included in the display unit 170 may be an LCD (Liquid Crystal Display), an organic EL (Electro-Luminescence) display, or a PDP (Plasma Display Panel). .
  • the audio presentation unit 180 presents various types of information related to audio under the control of the control unit 160 .
  • the voice presentation unit 180 outputs voices produced by avatars controlled by the control unit 160 .
  • the audio presentation unit 180 includes, for example, a speaker.
  • the communication unit 190 performs various communications with terminals used by users. For example, the line-of-sight information of the user is transmitted to terminals used by other users. Further, the communication unit 190 may transmit information related to the avatar's actions controlled by the control unit 160 to terminals used by other users.
  • non-herbal interactions such as eye contact and joint attention can be important elements for communicating the state of the system.
  • the information processing apparatus 10 acquires line-of-sight information indicating the direction of the line-of-sight of the user, and estimates the object visually recognized by the user based on the line-of-sight information. Furthermore, the information processing device 10 according to the present disclosure controls the action of the avatar based on the object visually recognized by the user.
  • control unit 160 controls the action of directing the line of sight of the avatar to the user based on the object visually recognized by the user.
  • control unit 160 may control a predetermined action of the avatar when eye contact is established between the avatar and the user.
  • the predetermined action may include, for example, an action of smiling at the user or an action of interacting with the user.
  • Establishment of eye contact may include, for example, that the line of sight of the avatar and the line of sight of the user to whom the line of sight of the avatar is directed have been present for a predetermined time or longer.
  • Establishing eye contact may also include obtaining specific motion information of the user to whom the avatar's line of sight is directed.
  • Specific action information includes, for example, action information including a hand waving action, action information including a smiling action, and the like.
  • the specific motion information may include motion information including a motion of the user approaching the avatar.
  • the information processing apparatus 10 controls a predetermined action of the avatar depending on whether or not eye contact has been established between the user and the avatar, so that communication between the user and the avatar is enhanced. can be smooth.
  • control unit 160 may control the avatar to turn its line of sight to the user by moving the direction of the eyes of the avatar. By also moving the direction, the avatar's line of sight may be controlled toward the user. A specific example of controlling the action of the avatar will be described below.
  • the avatar may have animation set depending on the situation.
  • the pose of the avatar dynamically changes based on the set animation. Therefore, the control unit 160 according to the present disclosure may control the direction of the eyes and the direction of the head of the avatar while continuing the movement of the set animation.
  • control unit 160 may apply IK (Inverse Kinematics) to superimpose an additional motion on the animation motion set for the avatar.
  • IK Inverse Kinematics
  • the control unit 160 can control the direction of the head including the neck and shoulders of the avatar, thereby controlling the behavior of the avatar with more humanity. can become possible.
  • control unit 160 may control the direction of the avatar's head based on the direction in which the avatar's head is facing and the direction in which the user is. For example, when the angle from the direction in which the avatar's head is facing to the direction in which the user is located is greater than or equal to a predetermined value, the control unit 160 may perform control to move the avatar's head toward the direction in which the user is located. good.
  • control unit 160 may perform control to move the direction of the user's eyes prior to control to move the direction of the avatar's head. For example, when the angle from the direction in which the avatar's head is facing to the direction in which the user is located is equal to or greater than a predetermined value, the control unit 160 directs the avatar's line of sight toward the user, and further directs the avatar's head toward the user. You may perform control to move toward the direction where there is.
  • control unit 160 may control the operation of directing only the line of sight of the avatar toward the user when the angle from the direction in which the avatar's head is facing to the direction in which the user is located is less than a predetermined value.
  • the predetermined value includes the movable range of the avatar's line of sight direction and the movable range of the avatar's head direction.
  • the predetermined value may be determined, for example, based on the avatar's characteristics or characterization.
  • the movable range of the avatar's head orientation may be limited to "within ⁇ 60°" in the horizontal direction and "within ⁇ 30°” in the vertical direction with respect to the orientation of the avatar's body.
  • the angle viewed only by the avatar's eyes may be limited to, for example, "within ⁇ 15°” in the horizontal direction and "within ⁇ 15°” in the vertical direction with respect to the orientation of the avatar's head.
  • the control unit 160 sets the head motion interpolation operation mode to OFF.
  • the control unit 160 controls the action of directing the line of sight to the user only by the eye movement of the avatar.
  • the control unit 160 sets the motion interpolation operation mode of the head to ON.
  • reference values for the direction of the avatar's line of sight and the direction of the avatar's head may be determined according to the avatar's characteristics and personality.
  • the limit of the vertical angle seen only by the avatar's eyes is may be set to “within ⁇ 15°”. That is, the limit of the angle seen only by the eyes of the avatar has a lower limit of "-30 degrees” and an upper limit of "0 degrees”.
  • the reference value for the direction of the line of sight in the vertical direction may be set to "+5°".
  • control unit 160 controls the action of directing the line of sight of the avatar to the user, You may perform control which moves the direction which faces with respect to the direction in which a user exists.
  • control unit 160 moves the avatar's head in the direction of the user at a speed corresponding to the size of the user's motion or the size of the angle from the direction in which the avatar's head is facing to the direction in which the user is. may be controlled.
  • FIG. 3 is an explanation for explaining an example of motion control of the avatar A according to the first embodiment.
  • FIG. 3 shows an example of a virtual space in which avatar A and each avatar of a plurality of users are arranged.
  • an avatar operated by a user may simply be referred to as a user.
  • user U1 is more precisely an avatar operated by user U1.
  • avatar A is an NPC (Non Player Character)
  • avatar A may be a PC (Player Character).
  • control unit 160 may control the action of directing the line of sight of the avatar A toward the user U1.
  • control unit 160 may control the action of directing the line of sight of avatar A preferentially to a user with whom eye contact is likely to be established.
  • the control unit 160 directs the line of sight of the avatar A to the user U1 who is closer to the avatar A than the user U1 and the user U2. Aiming may be controlled. In this way, determination of a user with whom eye contact is likely to be established may include the closeness of the distance to the avatar, the moving speed of the user, and the like.
  • control unit 160 controls the action of directing the line of sight of avatar A to user U2 who is the other user viewing avatar A.
  • control unit 160 controls the operation of directing the line of sight of the avatar A to the users U1 to U4 in order as shown in FIG. good too.
  • control unit 160 may control the action of directing the line of sight of the avatar A to the user who is likely to have the avatar A in their field of vision. For example, the control unit 160 may control an operation of sequentially directing the line of sight of the avatar A to a user whose face is within a range of “within ⁇ 94°” in the horizontal direction.
  • user U3 does not have avatar A within the range of “within ⁇ 94°”.
  • the motion of directing the line of sight of avatar A in turn may be controlled.
  • “within ⁇ 94°” is an example of the range of human vision, and the range for the user's face is not limited to such an example.
  • another range may be applied, a range may be specified for the user's face in the vertical direction, or a range may be specified in each of the horizontal and vertical directions. may be specified.
  • control unit 160 may control the action of directing the line of sight of the avatar A to a user whose distance from the avatar A is within a certain value. For example, when the user U1 and the user U2 exist within a certain distance, the control unit 160 may control the action of directing the line of sight of the avatar A to the user U1 and the user U2 in order.
  • control unit 160 performs control to direct the line of sight of the avatar A only to the user U1. You may try contact.
  • control unit 160 may control a predetermined action of avatar A.
  • the control unit 160 may control an action of the avatar A smiling at the user U1, or may control an action of the avatar A speaking to the user U1.
  • control unit 160 may control the action of turning the line of sight of avatar A in order until eye contact is established with any user.
  • the information processing apparatus 10 directs the line of sight of the avatar to a plurality of users even when there is no user visually recognizing the avatar.
  • the likelihood of making eye contact can be improved.
  • FIG. 4 shows an example of a virtual space in which avatar A, virtual objects O1 and O2, and avatars of a plurality of users are arranged.
  • user U1 visually recognizes virtual object O1 placed next to avatar A, as shown in FIG. At this time, it is assumed that the user U2, the user U3, and the user U4 are not visually recognizing the avatar A, the virtual object O1, and the virtual object O2.
  • control unit 160 may control the action of directing the line of sight of the avatar A toward the virtual object O1 visually recognized by the user U1.
  • control unit 160 may control the action of directing the line of sight of the avatar A toward the user U1 who has visually recognized the virtual object O1.
  • control unit 160 can guide the line of sight of the user U1 in the direction of the avatar A through joint attention, and eye contact between the user U1 and the avatar A can be easily established.
  • control unit 160 may control the action of directing the line of sight of the avatar A to the virtual objects visually recognized by the users for a longer period of time.
  • the control unit 160 directs the line of sight of the avatar A to the virtual object O1. You can control the action.
  • control unit 160 may control the action of directing the line of sight of the avatar A toward the user U1 who has visually recognized the virtual object O1. Then, when eye contact between user U1 and avatar A is not established, control unit 160 may control the action of directing the line of sight of avatar A to virtual object O2 that has been visually recognized for the next longest time.
  • FIG. 7 is an explanatory diagram for explaining another example of motion control of avatar A according to the second embodiment.
  • FIG. 7 a case where user U1 visually recognizes avatar A will be described.
  • control unit 160 controls the action of directing the line of sight of the avatar A toward the user U1.
  • control unit 160 may control the action of directing the line of sight of the avatar A toward the virtual object O1, as shown in FIG.
  • control unit 160 controls the action of directing the line of sight of avatar A to virtual object O1 around avatar A.
  • control unit 160 can induce gaze guidance that guides the user's line of sight in a certain direction of the virtual object. For example, if the virtual object is information including information that the user wants the user to visually recognize, the user may more easily visually recognize the information.
  • FIG. 8 is an explanatory diagram for explaining a specific example of motion control of avatar A according to the third embodiment.
  • the estimating unit 150 according to the present disclosure may estimate a group G representing a group of people moving in the same or similar directions or at the same or similar speeds based on motion information of each of multiple users.
  • the estimation unit 150 may estimate a plurality of users moving in the same or similar directions as one group G. Also, the estimation unit 150 may estimate a plurality of users moving in the same or similar directions as one group G.
  • control unit 160 may perform control to direct the line of sight of the avatar A in order.
  • control unit 160 may control the action of directing the line of sight of the avatar A evenly to the user U1, the user U2, and the user U3 included in the group G shown in FIG.
  • the estimation unit 150 may estimate the user with the largest movement among the users included in the group. Then, the control unit 160 may control the action of directing the line of sight of the avatar A to the user who moves the most among the users included in the group G.
  • FIG. 1 A is a diagrammatic representation of the estimation unit 150 .
  • control unit 160 may control the action of directing the line of sight of avatar A to the user who moves the next most.
  • control unit 160 directs the line of sight of the avatar to the users included in the same group, thereby determining the possibility of establishing eye contact with the users included in the group. and facilitate smooth communication.
  • a specific example of the motion control of avatar A according to the third embodiment has been described above.
  • specific examples of motion control of the avatar A in the virtual space have been mainly described, but the motion control of the avatar A according to the present disclosure is not limited to such examples.
  • the motion control of avatar A according to the present disclosure is applicable to DOOH (Digital Out Of Home) as shown in FIG. 1, and the like. In this case, the user becomes an actual user, not an avatar in the virtual space.
  • DOOH Digital Out Of Home
  • FIG. 9 is an explanatory diagram for explaining a specific example of motion control of avatar A according to the fourth embodiment.
  • FIG. 9 illustrates a case where a store clerk U1 serves a customer U2 remotely.
  • the terminal on the customer U2 side is assumed to be the information processing apparatus 10 according to the present disclosure
  • the terminal on the clerk U1 side is assumed to be a terminal other than the information processing apparatus 10.
  • both the terminals of the clerk U1 and the customer U2 are It may be the information processing device 10 .
  • the display D provided in the terminal on the clerk U1 side displays an image P1 including the clerk U1 obtained by the camera C and an image P2 including the customer U2 obtained by the camera 110 provided in the information processing apparatus 10 on the customer U2 side. may be displayed.
  • the display unit 170 provided in the information processing apparatus 10 on the customer U2 side displays an image P1 including the salesclerk U1 obtained by the camera C provided in the terminal on the salesclerk U1 side, and an image P2 including the customer U2 obtained by the camera 110. and may be displayed.
  • the image P1 may include the products displayed in the background of the store clerk U1 and information related to the products.
  • an avatar image as shown in FIG. 9 may be superimposed on salesclerk U1 included in image P1.
  • the avatar image may be superimposed and displayed on the salesclerk U1's whole body, face, or part of the face (for example, a mask that covers the area around the eyes).
  • control unit 160 may control the actions of the avatar by imitating the actions of the store clerk U1 during normal times.
  • the terminal of the clerk U1 transmits information including that the clerk U1 visually recognized the customer U2 to the customer U2. It may be transmitted to the information processing device 10 .
  • the information processing device 10 of the customer U2 may control the action of the avatar superimposed on the video including the salesclerk U1 based on the information received from the salesclerk U1's terminal.
  • control unit 160 controls the display unit 170 provided in the information processing device 10 of the customer U2 to move the display unit 170 in the direction S2 corresponding to the direction S1 with respect to the camera C.
  • the avatar's gaze is directed toward
  • control unit 160 may control the action of directing the line of sight of the avatar to the customer U2 when information including that the salesclerk U1 has visually recognized the customer U2 is acquired.
  • the line of sight of the avatar is directed in the direction S3 where the customer U2 is, so the customer U2 can more easily recognize whether or not the clerk U1 is visually recognizing the customer U2.
  • control unit 160 may control a predetermined action of the avatar.
  • control unit 160 may control operations related to dialogue such as explaining products to the customer U2.
  • an avatar image is superimposed on the store clerk U1
  • an avatar image may be superimposed on the customer U2 as well.
  • remote control of avatar movements is not limited to customer service.
  • remote motion control of an avatar can also be applied to remote live.
  • the detection unit 130 provided in the information processing device 10 of the remote live viewer detects the direction of the viewer's line of sight or the direction of the face. Subsequently, the estimation unit 150 may estimate the virtual object visually recognized by the viewer.
  • control unit 160 may control the action of directing the line of sight of the avatar of the performer to the viewer.
  • the detection unit 130 may further detect the face orientation of the performer's avatar. Then, the control unit 160 may control the action of directing the line of sight of the avatar of the performer to the viewer when the viewer is within a predetermined range from the orientation of the face of the performer.
  • control unit 160 may dynamically change the ratio between the movement of the avatar's line of sight and the movement of the avatar's face.
  • control unit 160 may control a predetermined action of the avatar.
  • the predetermined action here may include, for example, actions such as tilting the head to the left or right, nodding, waving, or winking in accordance with the movement of the hand.
  • control unit 160 provided in the information processing device 10 on the distributor side may control the action of directing the line of sight of the avatar to the viewer.
  • the communication unit 190 may transmit motion information for directing the line of sight of the avatar to the information processing device 10 on the viewer side.
  • FIG. 10 is an explanatory diagram for explaining an example of an overall flow related to operation processing of the information processing apparatus 10 according to the present disclosure.
  • the detection unit 130 detects a user from an image acquired by the camera 110 (S101).
  • the detection unit 130 detects the line-of-sight information of the user (S105).
  • the estimation unit 150 estimates the object visually recognized by the user from the user's line-of-sight information, and determines whether or not there is a user who visually recognizes the avatar (S109). If it is determined that there is a user viewing the avatar (S109/Yes), the process proceeds to S113, and if it is determined that there is no user viewing the avatar (S109/No), the process returns to S101.
  • control unit 160 determines whether the user viewing the avatar is in conversation (S113). If it is during a dialogue (S113/Yes), the process proceeds to S117, and if it is not during a dialogue (S113/No), the process proceeds to S121.
  • control unit 160 controls the action of directing the avatar's line of sight to the user who visually recognizes the avatar during the dialogue (S117).
  • control unit 160 controls the action of directing the avatar's line of sight to the user viewing the avatar (S121).
  • control unit 160 determines whether eye contact has been established between the avatar and the user (S125). If it is determined that eye contact has been established (S125/Yes), the process proceeds to S129, and if it is determined that eye contact has not been established (S125/No), the process returns to S101.
  • control unit 160 controls the action of causing the avatar to interact with the user with whom eye contact has been established (S129). ends the process.
  • FIG. 11 is an explanatory diagram for explaining operation processing for directing a line of sight according to the present disclosure.
  • the control unit 160 reproduces the animation assigned to the avatar (S201).
  • control unit 160 uses IK to set the orientation of the avatar's body facing the user (S205).
  • the control unit 160 determines whether or not the angle between the direction in which the avatar's head is currently facing and the direction in which the head is turned is equal to or greater than a predetermined value (S209).
  • the direction in which the head is turned may be, for example, half the direction from the current direction in which the avatar's head is facing to the direction in which the user is. If the angle is greater than or equal to the predetermined value (S209/Yes), the process proceeds to S213, and if the angle is less than the predetermined value (S209/No), the process proceeds to S217.
  • control unit 160 sets the head motion interpolation operation mode to ON (S213).
  • the head motion interpolation operation mode is set to OFF (S217).
  • control unit 160 determines whether the angle from the direction in which the avatar's head is facing to the direction in which the user is located is within a predetermined range when the avatar's body is used as a reference (S221). If the angle is within the predetermined range (S221/Yes), the process proceeds to S225, and if the angle is outside the predetermined range (S221/No), the process proceeds to S229.
  • control unit 160 sets the direction in which the user is located as the direction in which the avatar faces (S225).
  • control unit 160 sets the maximum value within the predetermined range as the direction in which the avatar's head is turned (S229).
  • the control unit 160 determines whether or not the head motion interpolation operation mode is ON (S233). If the head motion interpolation operation mode is ON (S233/Yes), the process proceeds to S237, and if the head motion interpolation operation mode is OFF (S233/No), the process proceeds to S241. be done.
  • the control unit 160 controls the avatar's head to turn in the direction set in S225 or S229 (S237).
  • control unit 160 corrects the face orientation according to various predetermined parameters (for example, the movable range of the avatar's head orientation, etc.) determined based on the avatar's characteristics and characterization (S241).
  • control unit 160 controls the action of directing the line of sight of the avatar to the position of the user's eyes (S245), and the control unit 160 according to the present disclosure ends the processing.
  • control unit 160 may perform control so that the movement of the left and right eyes of the avatar is within the movable range.
  • FIG. 12 An example of the operation process for directing the line of sight of the avatar controlled by the control unit 160 according to the present disclosure has been described above. Next, a specific example of operation processing for multiple users will be described with reference to FIGS. 12 and 13. FIG.
  • the detection unit 130 detects a user from an image acquired by the camera 110 (S301).
  • the estimation unit 150 estimates a group from the moving directions and moving speeds of each of the users (S305).
  • the detection unit 130 detects line-of-sight information of each of the users estimated as a group (S309).
  • control unit 160 determines whether or not there is a group in conversation (S313). If it is determined that there is a group in dialogue (S313/Yes), the process proceeds to S317, and if it is determined that there is no group in dialogue (S313/No), the process proceeds to S401 shown in FIG. be done. The case where it is determined that there is no group in conversation (S313/No) will be described later.
  • the estimation unit 150 estimates an object viewed by the user from the line-of-sight information of the user, and determines whether there is a user in the group in dialogue who visually recognizes the avatar. (S317). If it is determined that there is a user viewing the avatar (S317/Yes), the process proceeds to S321, and if it is determined that there is no user viewing the avatar (S317/No), the process proceeds to S325.
  • control unit 160 controls the action of directing the line of sight of the avatar to the user viewing the avatar during the dialogue (S321).
  • control unit 160 controls the action of turning the line of sight of the avatar to a plurality of users included in the group in turn (S325). .
  • control unit 160 determines whether eye contact has been established between the avatar and the user to whom the avatar is looking (S329). If eye contact is established (S329/Yes), the process proceeds to S333, and if eye contact is not established (S329/No), the process returns to S301.
  • control unit 160 controls the action of causing the avatar to interact with the user with whom eye contact has been established (S333), and the control unit 160 according to the present disclosure ends the processing. do.
  • the estimation unit 150 estimates an object visually recognized by the plurality of users from the line-of-sight information of the plurality of users, and determines whether or not there is a user who visually recognizes the avatar. is determined (S401). If it is determined that there is a user viewing the avatar (S401/Yes), the process proceeds to S405, and if it is determined that there is no user viewing the avatar (S401/No), the process proceeds to S409.
  • control unit 160 sets the user viewing the avatar as an eye contact target (S405).
  • control unit 160 determines whether there is a user viewing an object other than an avatar (S409). If it is determined that there is no user viewing the object (S409/No), the process proceeds to S413, and if it is determined that there is a user viewing the object (S409/Yes), the process proceeds to S417.
  • control unit 160 sets an arbitrary user as the target of eye contact (S413).
  • control unit 160 sets the user who views the object for the longest time as the target of eye contact (S417).
  • control unit 160 controls the action of directing the line of sight of the avatar to the object visually recognized by the user set as the target of eye contact (S421).
  • control unit 160 controls the action of directing the line of sight of the avatar to the user set as the target of eye contact (S425), and the process proceeds to S329 shown in FIG.
  • FIG. 14 is a block diagram showing the hardware configuration of the information processing device 10 according to the present disclosure.
  • the information processing apparatus 10 includes a CPU (Central Processing Unit) 1001 , a ROM (Read Only Memory) 1002 , a RAM (Random Access Memory) 1003 and a host bus 1004 .
  • the information processing apparatus 10 also includes a bridge 1005 , an external bus 1006 , an interface 1007 , an input device 1008 , an output device 1010 , a storage device (HDD) 1011 , a drive 1012 and a communication device 1015 .
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the information processing apparatus 10 also includes a bridge 1005 , an external bus 1006 , an interface 1007 , an input device 1008 , an output device 1010 , a storage device (HDD) 1011 , a drive 1012 and a communication device 1015 .
  • HDMI storage device
  • the CPU 1001 functions as an arithmetic processing device and a control device, and controls general operations within the information processing device 10 according to various programs.
  • the CPU 1001 may be a microprocessor.
  • the ROM 1002 stores programs, calculation parameters, and the like used by the CPU 1001 .
  • the RAM 1003 temporarily stores programs used in the execution of the CPU 1001, parameters that change as appropriate during the execution, and the like. These are interconnected by a host bus 1004 comprising a CPU bus or the like. Functions such as the estimation unit 150 and the control unit 160 described with reference to FIG.
  • the host bus 1004 is connected via a bridge 1005 to an external bus 1006 such as a PCI (Peripheral Component Interconnect/Interface) bus.
  • an external bus 1006 such as a PCI (Peripheral Component Interconnect/Interface) bus.
  • PCI Peripheral Component Interconnect/Interface
  • bridge 1005 and external bus 1006 do not necessarily have to be configured separately, and these functions may be implemented in one bus.
  • the input device 1008 includes input means for the user to input information, such as a mouse, keyboard, touch panel, button, microphone, switch, and lever, and an input control circuit that generates an input signal based on the user's input and outputs it to the CPU 1001 . etc.
  • input means for the user to input information such as a mouse, keyboard, touch panel, button, microphone, switch, and lever
  • an input control circuit that generates an input signal based on the user's input and outputs it to the CPU 1001 . etc.
  • the user of the information processing apparatus 10 can input various data to the information processing apparatus 10 and instruct processing operations.
  • the output device 1010 includes display devices such as liquid crystal display devices, OLED devices, and lamps, for example.
  • output device 1010 includes audio output devices such as speakers and headphones.
  • the output device 1010 outputs reproduced content, for example.
  • the display device displays various information such as reproduced video data as text or images.
  • the audio output device converts reproduced audio data and the like into audio and outputs the audio.
  • the storage device 1011 is a device for storing data.
  • the storage device 1011 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 1011 is composed of, for example, an HDD (Hard Disk Drive).
  • the storage device 1011 drives a hard disk and stores programs executed by the CPU 1001 and various data.
  • the drive 1012 is a storage medium reader/writer, and is built in or externally attached to the information processing apparatus 10 .
  • the drive 1012 reads out information recorded in the attached removable storage medium 15 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and outputs the information to the RAM 1003 .
  • the drive 1012 can also write information to the removable storage medium 15 .
  • the communication device 1015 is, for example, a communication interface configured with a communication device or the like for connecting to a network.
  • the communication device 1015 may be a wireless LAN compatible communication device, an LTE (Long Term Evolution) compatible communication device, or a wired communication device that performs wired communication.
  • LTE Long Term Evolution
  • control unit 160 may control an action that facilitates eye contact prior to the action of turning the line of sight. good.
  • Actions that make eye contact easier may include, for example, actions of approaching the user, actions of aligning the line of sight of the avatar with the height of the user, actions of the avatar standing up, and the like.
  • control unit 160 may control the action of directing the avatar's line of sight toward the user behind, avoiding the user in front. This makes it easier for the user behind to visually recognize the avatar, and makes it easier to establish eye contact.
  • control unit 160 may control the action of changing the standing position of the avatar.
  • control unit 160 may change the action of the avatar according to various environmental conditions such as the time of day, day of the week, or holiday. For example, when eye contact is established between the user and the avatar in the morning, the control unit 160 may cause the avatar to say “Good morning.”
  • control target according to the present disclosure is not limited to the avatar.
  • a control target according to the present disclosure may be a mobile object such as a robot.
  • the control unit 160 may direct the line of sight of the robot to the user when the user visually recognizes the robot.
  • the control unit 160 may control the robot to move closer to the user.
  • the avatar according to the present disclosure may be an avatar without eyes (for example, a plant, etc.).
  • the control unit 160 may control the orientation of the face and the orientation of the body of the avatar toward the user when the user visually recognizes the avatar.
  • the information processing apparatus 10 does not have to include all the configurations shown in FIG.
  • the communication section 190 may transmit information related to avatar actions controlled by the control section 160 to the display device.
  • the information processing device 10 according to the present disclosure does not have to include the display unit 170 and the audio presentation unit 180 .
  • another device such as a display device may comprise the camera 110 and the microphone 120.
  • the information processing device 10 does not have to include the camera 110 and the microphone 120 .
  • each step in the processing of the information processing system in this specification does not necessarily have to be processed in chronological order according to the order described as the flowchart.
  • each step in the processing of the information processing system may be processed in an order different from the order described as the flowchart or in parallel.
  • an acquisition unit that acquires line-of-sight information indicating the direction of the user's line of sight; an estimation unit that estimates an object visually recognized by the user based on the line-of-sight information; a control unit that controls an operation of a target based on the object visually recognized by the user;
  • An information processing device (2) the subject includes an avatar, The control unit controlling the action of directing the line of sight of the avatar to the user based on the object viewed by the user; The information processing device according to (1) above.
  • the control unit controlling an action of directing the line of sight of the avatar to the object viewed by the user, and further controlling an action of directing the line of sight of the avatar to the user;
  • the information processing device according to (2) above.
  • the control unit controlling a predetermined action of the avatar when the line of sight of the user to whom the line of sight of the avatar is directed and the line of sight of the avatar match for a predetermined time or longer;
  • the information processing apparatus according to (2) or (3).
  • the acquisition unit Acquiring motion information indicating the motion of the user;
  • the control unit controlling a predetermined action of the avatar when specific action information of the user to whom the line of sight of the avatar is directed is acquired;
  • the information processing apparatus according to (3) or (4).
  • the predetermined action includes an action of directing the line of sight of the avatar to an object in the vicinity of the avatar.
  • the information processing device according to (5) above.
  • the acquisition unit Acquiring audio information indicating words uttered by the user;
  • the control unit controlling the action of the avatar based on the audio information;
  • the information processing apparatus according to (5) or (6).
  • the user is a plurality of users, The control unit When line-of-sight information of any one of the plurality of users is not acquired, controlling the line-of-sight of the avatar to be directed to each user of the plurality of users in order;
  • the information processing apparatus according to (6) or (7).
  • the object comprises a virtual object;
  • the information processing apparatus according to any one of (6) to (8).
  • the virtual object includes the avatar, The control unit When the user visually recognizes the avatar, performing control to direct the line of sight of the avatar to the user, The information processing device according to (9) above.
  • the control unit When the user visually recognizes the avatar and furthermore, when the user is not interacting with another user, the avatar's line of sight is directed to the user; The information processing device according to (10) above.
  • the estimation unit estimating a group representing a group moving in the same or similar direction or in the same or similar speed based on the motion information acquired by the acquisition unit; The control unit Controlling the line of sight of the avatar in order to each user included in the group; The information processing apparatus according to any one of (5) to (11).
  • the estimation unit estimating the user with the largest movement among the users included in the group;
  • the control unit Controlling the line of sight of the avatar to the user who moves the most among the plurality of users included in the group;
  • the information processing device according to (12) above.
  • the control unit controlling the direction of the avatar's head based on the direction in which the avatar's head is facing and the direction in which the user is;
  • the information processing apparatus according to any one of (2) to (13).
  • the control unit When the angle from the direction in which the avatar's head is facing to the direction in which the user is located is equal to or greater than a predetermined value, control is performed to move the avatar's head in the direction in which the user is located;
  • the information processing device according to (14) above.
  • the control unit When the angle is equal to or greater than a predetermined value, control is performed to move the head of the avatar in the direction in which the user is present, and to direct the line of sight of the avatar to the user.
  • the information processing device according to (15) above.
  • the predetermined value is determined based on characteristics set for the avatar, The information processing device according to (16) above.
  • the control unit controlling movement of the head of the avatar in the direction of the user at a speed corresponding to at least one of the magnitude of the user's motion and the magnitude of the angle; The information processing device according to (17) above.
  • a computer-implemented information processing method comprising: (20) to the computer, an acquisition function for acquiring line-of-sight information indicating the direction of the user's line of sight; an estimation function for estimating an object visually recognized by the user based on the line-of-sight information; a control function for controlling the operation of a target based on the object visually recognized by the user;
  • a computer-readable non-temporary storage medium storing a program for realizing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】ユーザのコミュニケーションをより円滑にさせる。 【解決手段】ユーザの視線の向きを示す視線情報を取得する取得部と、前記視線情報に基づき、前記ユーザが視認したオブジェクトを推定する推定部と、前記ユーザが視認したオブジェクトに基づき、対象の動作を制御する制御部と、を備える、情報処理装置。

Description

情報処理装置、情報処理方法および記憶媒体
　本開示は、情報処理装置、情報処理方法および記憶媒体に関する。
　近年、アバターやロボットなどの対象がユーザとコミュニケーションを図る技術が開発されている。例えば、特許文献１では、アバターの瞳と頭を独立して動かすことにより、より自然なアバターの表情をより生命感を高める技術が開示されている。
特開２００４―１４１４２１号公報
　しかし、特許文献１に記載の技術では、ユーザの視線の向きなどのノンハーバルな振る舞いを用いないため、コミュニケーション前の事前情報をアバターの動作に取りいれることが困難であった。
　そこで、本開示では、ユーザのコミュニケーションをより円滑にさせることが可能な、新規かつ改良された情報処理装置、情報処理方法および記憶媒体を提案する。
　本開示によれば、ユーザの視線の向きを示す視線情報を取得する取得部と、前記視線情報に基づき、前記ユーザが視認したオブジェクトを推定する推定部と、前記ユーザが視認したオブジェクトに基づき、対象の動作を制御する制御部と、を備える、情報処理装置が提供される。
　また、本開示によれば、ユーザの視線の向きを示す視線情報を取得することと、前記視線情報に基づき、前記ユーザが視認したオブジェクトを推定することと、前記ユーザが視認したオブジェクトに基づき、対象の動作を制御することと、を含む、コンピュータにより実行される情報処理方法が提供される。
　また、本開示によれば、コンピュータに、ユーザの視線の向きを示す視線情報を取得する取得機能と、前記視線情報に基づき、前記ユーザが視認したオブジェクトを推定する推定機能と、前記ユーザが視認したオブジェクトに基づき、対象の動作を制御する制御機能と、を実現させるための、プログラムが記憶されたコンピュータにより読み取り可能な非一時的な記憶媒体が提供される。
本開示に係る情報処理システムの概要を説明するための説明図である。 本開示に係る情報処理装置１０の機能構成例を説明するための説明図である。 第１の実施例に係るアバターＡの動作制御の一例を説明するための説明である。 第２の実施例に係るアバターＡの動作制御の一例を説明するための説明図である。 第２の実施例に係るアバターＡの動作制御の一例を説明するための説明図である。 第２の実施例に係るアバターＡの動作制御の一例を説明するための説明図である。 第２の実施例に係るアバターＡの動作制御の他の例を説明するための説明図である。 第３の実施例に係るアバターＡの動作制御の具体例を説明するための説明図である。 第４の実施例に係るアバターＡの動作制御の具体例を説明するための説明図である。 本開示に係る情報処理装置１０の動作処理に係る全体フローの一例を説明するための説明図である。 本開示に係る視線を向ける動作処理を説明するための説明図である。 複数ユーザ時における動作処理の一例を説明するための説明図である。 複数ユーザ時における動作処理の一例を説明するための説明図である。 本開示に係る情報処理装置１０のハードウェア構成を示したブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
　　１．情報処理システムの概要
　　１．１．概要
　　１．２．情報処理装置１０の機能構成例
　　２．詳細
　　２．１．アバターの動作制御
　　２．２．第１の実施例
　　２．３．第２の実施例
　　２．４．第３の実施例
　　２．５．第４の実施例
　　３．動作処理例
　　３．１．全体フロー
　　３．２．視線を向ける動作処理に係るフロー
　　３．３．複数ユーザ時における動作処理に係るフロー
　　４．ハードウェア構成例
　　５．補足
　＜＜１．情報処理システムの概要＞＞
　本開示の一実施形態は、ユーザのコミュニケーションをより円滑にさせることが可能な情報処理システムに関する。以下、図１を参照し、本開示に係る情報処理システムの概要を説明する。
　＜１．１．概要＞
　図１は、本開示に係る情報処理システムの概要を説明するための説明図である。本開示に係る情報処理システムは、図１に示すように情報処理装置１０を有する。また、本開示に係る情報処理装置１０は、図１に示すように、カメラ１１０を備える。
　本開示に係るカメラ１１０は、設置された環境を撮影することで、ユーザの映像を取得する装置である。例えば、カメラ１１０は、図１に示すユーザＵ１、ユーザＵ２、ユーザＵ３を含む映像を取得する。なお、本開示に係るカメラ１１０は、例えばＲＧＢカメラ、ＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）、ステレオカメラ、赤外カメラであってもよい。
　また、本開示に係る情報処理装置１０は、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）を備えてもよい。
　そして、本開示に係る情報処理装置１０は、カメラ１１０により得られた映像からユーザの視線の向きを示す視線情報を取得する。
　また、情報処理装置１０は、取得した視線情報に基づき、ユーザが視認したオブジェクトを推定する。そして、情報処理装置１０は、ユーザが視認したオブジェクトに基づき、対象の動作を制御する。
　例えば、本開示に係る情報処理装置１０は、ユーザＵ１、ユーザＵ２およびユーザＵ３が視認したオブジェクトに基づき、対象の一例であるアバターＡの動作を制御する。ここで、オブジェクトとは、仮想オブジェクトまたは実オブジェクトであってもよい。また、仮想オブジェクトは、アバターＡであってもよい。
　例えば、ユーザＵ１がいずれのオブジェクトも視認していなかった場合であって、ユーザＵ２およびユーザＵ３がアバターＡを視認していた場合、本開示に係る情報処理装置１０は、図１に示すように、アバターＡの視線をユーザＵ２とユーザＵ３に交互に向ける動作を制御してもよい。なお、アバターの映像は、図１に示すような２次元ディスプレイにより表示されてもよいし、透明ディスプレイ、３次元ディスプレイ、またはＸＲ（Ｅｘｔｅｎｄｅｄ　Ｒｅａｌｉｔｙ）デバイス等のデバイス用いて表示されてもよい。
　続いて、図２を参照し、本開示に係る情報処理装置１０の機能構成例を説明する。
　＜１．２．情報処理装置１０の機能構成例＞
　図２は、本開示に係る情報処理装置１０の機能構成例を説明するための説明図である。本開示に係る情報処理装置１０は、図２に示すように、カメラ１１０と、マイク１２０と、検出部１３０と、音声認識部１４０と、推定部１５０と、制御部１６０と、表示部１７０と、音声提示部１８０と、通信部１９０と、を備える。なお、カメラ１１０の機能例については上述したため、以下の説明を省略する。
　（マイク１２０）
　本開示に係るマイク１２０は、環境音やユーザの発する声などの各種音声を取得する装置である。
　（検出部１３０）
　本開示に係る検出部１３０は、カメラ１１０により取得された映像からユーザを検出する。
　また、本開示に係る検出部１３０は、取得部の一例であり、カメラ１１０により取得された映像からユーザの視線の向きを示す視線情報を検出する。
　なお、本開示に係る視線情報の検出方法は、映像に基づく検出方法に限定されない。例えば、検出部１３０は、瞳孔角膜反射法を用いて、視線情報を検出してもよい。
　また、検出部１３０は、ユーザの動作を示す動作情報を検出してもよい。また、検出部１３０は、ユーザの顔の向きを示す顔情報を検出してもよい。
　（音声認識部１４０）
　本開示に係る音声認識部１４０は、取得部の一例であり、ユーザの発する言葉を示す音声情報を認識する。例えば、音声認識部１４０は、マイク１２０により取得された音声から、ユーザの発した言葉を認識してもよい。また、本開示に係る音声認識部１４０は、音声に含まれるユーザの声質や声量などの各種情報を認識してもよい。
　（推定部１５０）
　本開示に係る推定部１５０は、検出部１３０により検出された視線情報に基づき、ユーザが視認したオブジェクトを推定する。
　また、推定部１５０は、検出部１３０により検出された動作情報に基づき、同一または類似する方向または同一または類似する速度で動く集団を示すグループを推定してもよい。グループに係る詳細は後述する。
　（制御部１６０）
　本開示に係る制御部１６０は、推定部１５０により推定されたユーザが視認したオブジェクトに基づき、対象の動作を制御する。例えば、制御部１６０は、推定部により推定されたユーザが視認したオブジェクトがアバターであった際に、当該アバターの視線をユーザに向ける動作を制御する。
　また、制御部１６０は、アバターの視線が向けられたユーザとの間でアイコンタクトが成立した際に、アバターの所定の動作を制御してもよい。アイコンタクトが成立したか否かの判定に係る詳細は後述する。
　また、制御部１６０は、音声認識部１４０により認識された音声情報に基づき、アバターの動作を制御してもよい。例えば、制御部１６０は、あるユーザが発した言葉を示す音声情報に基づき、当該ユーザに対してアバターに対話させる動作を制御してもよい。
　（表示部１７０）
　本開示に係る表示部１７０は、制御部１６０による制御に従い、映像に係る各種情報を提示する。例えば、表示部１７０は、制御部１６０により動作が制御されたアバターを表示する。
　また、表示部１７０は、例えば、ディスプレイを含む。ディスプレイの種類は限定されない。例えば、表示部１７０が含むディスプレイは、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）であってもよいし、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイであってもよいし、ＰＤＰ（Ｐｌａｓｍａ　Ｄｉｓｐｌａｙ　Ｐａｎｅｌ）などであってもよい。
　（音声提示部１８０）
　本開示に係る音声提示部１８０は、制御部１６０による制御に従い、音声に係る各種情報を提示する。例えば、音声提示部１８０は、制御部１６０により制御されたアバターが発する音声を出力する。音声提示部１８０は、例えば、スピーカなどを含む。
　（通信部１９０）
　本開示に係る通信部１９０は、ユーザが利用する端末との間で各種通信を行う。例えば、ユーザの視線情報を他のユーザが利用する端末に送信する。また、通信部１９０は、制御部１６０により制御されたアバターの動作に係る情報を他のユーザが利用する端末に送信してもよい。
　以上、本開示に係る情報処理装置１０の機能構成例を説明した。続いて、本開示に係る実施例について詳細に説明する。
　＜＜２．詳細＞＞
　近年、ユーザと機械のインタフェースとして、ＵＩ（Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）ボタンによる操作型のＵＩではなく、人や動物を模したようなアバターとのコミュニケーションが行われるＵＩが普及している。
　このようなユーザとアバターとのコミュニケーションに際して、アイコンタクトや共同注意のようなノンハーバルなインタラクションがシステムの状態を伝えるための重要な要素になり得る。
　そのため、ユーザが視認したオブジェクトに応じてアバターの動作を動的に制御することが望ましい。
　そこで、本開示に係る情報処理装置１０は、ユーザの視線の向きを示す視線情報を取得し、当該視線情報に基づきユーザが視認したオブジェクトを推定する。更に、本開示に係る情報処理装置１０は、ユーザが視認したオブジェクトに基づき、アバターの動作を制御する。
　例えば、本開示に係る制御部１６０は、ユーザが視認したオブジェクトに基づき、アバターの視線をユーザに向ける動作を制御する。
　更に、アバターの視線がユーザに向けられた後、制御部１６０は、アバターとユーザのアイコンタクトが成立した際に、アバターの所定の動作を制御してもよい。ここで、所定の動作とは、例えば、ユーザに対して微笑む動作やユーザに対して対話する動作を含んでもよい。
　本開示に係るアイコンタクトの成立とは、例えば、アバターの視線とアバターの視線が向けられたユーザの視線とが所定の時間以上あったことを含んでもよい。
　また、アイコンタクトの成立とは、アバターの視線が向けられたユーザの特定の動作情報が得られたことを含んでもよい。特定の動作情報とは、例えば、手を振る動作を含む動作情報や笑みを浮かべる動作を含む動作情報などを含む。また、特定の動作情報は、ユーザがアバターに向かって近づく動作を含む動作情報を含んでもよい。
　このように、本開示に係る情報処理装置１０は、ユーザとアバターとのアイコンタクトが成立したか否かに応じて、アバターの所定の動作を制御することにより、ユーザとアバターとのコミュニケーションがより円滑になり得る。
　また、アバターの視線を向ける動作に際して、制御部１６０は、アバターの目の方向を動かすことで、アバターの視線をユーザに向ける制御を行ってもよいし、アバターの目の方向に加え、頭の方向も動かすことで、アバターの視線をユーザに向ける制御を行ってもよい。以下、アバターの動作を制御する具体例について説明する。
　＜２．１．アバターの動作制御＞
　アバターには、状況に応じてアニメーションが設定されている場合がある。この場合、アバターの姿勢は、設定されたアニメーションに基づき、動的に変化する。そのため、本開示に係る制御部１６０は、設定されたアニメーションの動きを継続しつつ、アバターの目の方向や頭の方向を制御してもよい。
　例えば、制御部１６０は、ＩＫ（Ｉｎｖｅｒｓｅ　Ｋｉｎｅｍａｔｉｃｓ）を適用することで、アバターに設定されたアニメーションの動作に対して、追加の動きを重畳してもよい。例えば、制御部１６０は、ＩＫを頭の方向に適用することで、アバターの首や肩などを含めた頭の方向の制御を行うことができ、より人間性を持ったアバターの動作を制御することが可能になり得る。
　また、制御部１６０は、アバターの頭が向いている方向と、ユーザがいる方向とに基づき、アバターの頭の方向を制御してもよい。例えば、制御部１６０は、アバターの頭が向いている方向からユーザがいる方向までの角度が所定値以上であった際に、アバターの頭をユーザがいる方向に向けて動かす制御を行ってもよい。
　また、制御部１６０は、アバターの頭の方向を動かす制御に先行して、ユーザの目の方向を動かす制御を行ってもよい。例えば、制御部１６０は、アバターの頭が向いている方向からユーザがいる方向までの角度が所定値以上であった際に、アバターの視線をユーザに対して向け、更に、アバターの頭をユーザがいる方向に向けて動かす制御を行ってもよい。
　また、制御部１６０は、アバターの頭が向いている方向からユーザがいる方向までの角度が所定値未満であった際に、アバターの視線のみをユーザに対して向ける動作を制御してもよい。
　所定値は、アバターの視線の向きの可動範囲と、アバターの頭の向きの可動範囲を含む。所定値は、例えば、アバターの特性や性格付けに基づき決定されてもよい。
　例えば、アバターの頭の向きの可動範囲は、アバターの体の向きに対して、左右方向に「±６０°以内」、上下方向に「±３０°以内」に制限されてもよい。
　また、アバターの目だけで見る角度は、例えば、アバターの頭の向きに対して、左右方向に「±１５°以内」、上下方向に「±１５°以内」に制限されてもよい。このように、目だけで見る角度内にユーザがいる場合、制御部１６０は、頭の動き補間動作モードをＯＦＦに設定する。この場合、制御部１６０は、アバターの目の動きのみで、ユーザに視線を向ける動作を制御する。また、目に加えて頭の向きを動かす制御に際して、制御部１６０は、頭の動き補間動作モードをＯＮに設定する。
　更に、アバター特性や性格付けに応じて、アバターの視線の向きとアバターの頭の向きの基準値が決定されてもよい。
　例えば、上下方向の視線の向きの基準値が「－１５°」に設定されたアバターの場合、アバターの目だけで見る上下方向の角度の制限は、基準値である「―１５°」に対して、「±１５°以内」に設定されてもよい。即ち、当該アバターの目だけで見る角度の制限は、下限が「―３０°」であり、上限が「０°」である。
　より具体的には、例えば、上目遣いを特性とするアバターの場合、上下方向の視線の向きの基準値が「＋５°」に設定されてもよい。
　このように、アバターの目だけで見る角度を超える方向にいるユーザに対し、アバターの視線を向ける動作を制御する場合、制御部１６０は、アバターの視線をユーザに対して向ける動作に加え、頭の向く方向をユーザがいる方向に対して動かす制御を行ってもよい。
　また、制御部１６０は、ユーザの動作の大きさ、またはアバターの頭が向いている方向からユーザいる方向までの角度の大きさに応じた速度でアバターの頭をユーザがいる方向に対して動かす制御を行ってもよい。
　以上、本開示に係るアバターの動作制御の具体例を説明した。続いて、上述したアバターの動作制御を用いた実施例を順次説明する。なお、本開示に係る第１の実施例、第２の実施例、第３の実施例、および第４の実施例は、いずれか一つが実行されてもよいし、複数が組み合わせられて実行されてもよい。
　＜２．２．第１の実施例＞
　図３は、第１の実施例に係るアバターＡの動作制御の一例を説明するための説明である。図３では、アバターＡと、複数のユーザの各々のアバターが配置された仮想空間の一例を示す。以下の説明では、説明の便宜上、ユーザが操作するアバターを単にユーザと表現する場合がある。例えば、ユーザＵ１は、正確には、ユーザＵ１が操作するアバターを示す。
　また、アバターＡがＮＰＣ（Ｎｏｎ　Ｐｌａｙｅｒ　Ｃｈａｒａｃｔｅｒ）である例を主に説明するが、アバターＡは、ＰＣ（Ｐｌａｙｅｒ　Ｃｈａｒａｃｔｅｒ）であってもよい。
　例えば、ユーザＵ１がアバターＡを視認していた場合、制御部１６０は、アバターＡの視線をユーザＵ１に向ける動作を制御してもよい。
　また、複数のユーザがアバターＡを視認していた場合、制御部１６０は、アイコンタクトが成立しそうなユーザに対して、優先的にアバターＡの視線を向ける動作を制御してもよい。
　例えば、ユーザＵ１とユーザＵ２がアバターＡを視認していた場合、制御部１６０は、ユーザＵ１とユーザＵ２のうち、例えばよりアバターＡとの距離が近いユーザＵ１に対して、アバターＡの視線を向ける動作を制御してもよい。このように、アイコンタクトが成立しそうなユーザの判定には、アバターとの距離の近さやユーザの移動速度などが含まれてもよい。
　そして、制御部１６０は、ユーザＵ１とアバターＡとの間でアイコンタクトが成立しなかった際に、アバターＡを視認するもう一方のユーザであるユーザＵ２にアバターＡの視線を向ける動作を制御してもよい。
　また、制御部１６０は、ユーザＵ１～Ｕ４のいずれもがアバターＡを視認していなかった場合、図３に示すようにアバターＡの視線をユーザＵ１～Ｕ４に対して順に向ける動作を制御してもよい。
　また、制御部１６０は、アバターＡが視界に入っていそうなユーザに対して、アバターＡの視線を向ける動作を制御してもよい。例えば、制御部１６０は、顔に対して、左右方向に「±９４°以内」の範囲にアバターＡが存在するユーザに対して、アバターＡの視線を順に向ける動作を制御してもよい。
　例えば、図３に示す例では、ユーザＵ３は、「±９４°以内」の範囲にアバターＡが存在しないため、制御部１６０は、ユーザＵ３を除く、ユーザＵ１、ユーザＵ２およびユーザＵ４に対して、アバターＡの視線を順に向ける動作を制御してもよい。なお、「±９４°以内」は、人の視野の範囲の一例であり、ユーザの顔に対する範囲は、係る例に限定されない。例えば、「±９４°以内」の代わりに他の範囲が適用されてもよいし、ユーザの顔に対して、上下方向に範囲が指定されてもよいし、左右方向および上下方向の各々に範囲が指定されてもよい。
　また、制御部１６０は、アバターＡとの距離が一定の値以内に存在するユーザに対して、アバターＡの視線を向ける動作を制御してもよい。例えば、ユーザＵ１とユーザＵ２が一定の距離内に存在する場合、制御部１６０は、ユーザＵ１及びユーザＵ２に対して順にアバターＡの視線を向ける動作を制御してもよい。
　そして、例えば、ユーザＵ１がアバターＡの視線に気づき、ユーザＵ１もアバターＡを視認した場合、制御部１６０は、アバターＡの視線をユーザＵ１に対してのみ向ける制御を行いユーザＵ１に対してアイコンタクトを試みてもよい。
　そして、ユーザＵ１とアバターＡのアイコンタクトが成立した場合、制御部１６０は、アバターＡの所定の動作を制御してもよい。例えば、制御部１６０は、ユーザＵ１に対してアバターＡが微笑む動作を制御してもよいし、ユーザＵ１に対してアバターＡが声掛けを行う動作を制御してもよい。
　このように、制御部１６０は、いずれかのユーザとアイコンタクトが成立するまで、アバターＡの視線を順に向ける動作を制御してもよい。
　以上説明した第１の実施例によれば、本開示に係る情報処理装置１０は、アバターを視認するユーザがいなかった場合においても、アバターの視線を複数のユーザに向けることで、アバターとユーザのアイコンタクトを成立させる可能性を向上し得る。
　＜２．３．第２の実施例＞
　図４、図５および図６は、第２の実施例に係るアバターＡの動作制御の一例を説明するための説明図である。図４では、アバターＡと、仮想オブジェクトＯ１および仮想オブジェクトＯ２と、複数のユーザの各々のアバターが配置された仮想空間の一例を示す。
　例えば、ユーザＵ１は、図４に示すように、アバターＡの隣に配置された仮想オブジェクトＯ１を視認する。この際に、ユーザＵ２、ユーザＵ３およびユーザＵ４は、アバターＡ、仮想オブジェクトＯ１、仮想オブジェクトＯ２を視認していないものとする。
　この場合、制御部１６０は、図５に示すように、ユーザＵ１に視認された仮想オブジェクトＯ１に対して、アバターＡの視線を向ける動作を制御してもよい。
　その後、制御部１６０は、図６に示すように、仮想オブジェクトＯ１を視認したユーザＵ１に対して、アバターＡの視線を向ける動作を制御してもよい。
　これにより、制御部１６０は、共同注意によるユーザＵ１の視線をアバターＡの方向に誘導することが可能になり、ユーザＵ１とアバターＡのアイコンタクトが成立されやすくなり得る。
　なお、複数のユーザが複数の仮想オブジェクトを視認した場合、制御部１６０は、より長時間に亘ってユーザに視認された仮想オブジェクトに対して、アバターＡの視線を向ける動作を制御してもよい。
　例えば、ユーザＵ１が仮想オブジェクトＯ１を視認し、ユーザＵ２が仮想オブジェクトＯ２を視認する。そして、ユーザＵ１が仮想オブジェクトＯ１を視認した時間の方が、ユーザＵ２が仮想オブジェクトＯ２を視認した時間よりも長かった場合、制御部１６０は、仮想オブジェクトＯ１に対して、アバターＡの視線を向ける動作を制御してもよい。
　その後、制御部１６０は、上述したように、仮想オブジェクトＯ１を視認したユーザＵ１に対して、アバターＡの視線を向ける動作を制御してもよい。そして、ユーザＵ１とアバターＡのアイコンタクトが成立しなかった場合、制御部１６０は、アバターＡの視線を次に長く視認された仮想オブジェクトＯ２に向ける動作を制御してもよい。
　図７は、第２の実施例に係るアバターＡの動作制御の他の例を説明するための説明図である。図７では、ユーザＵ１が、アバターＡを視認した場合について説明する。
　まず、ユーザＵ１がアバターＡを視認した場合、制御部１６０は、アバターＡの視線をユーザＵ１に向ける動作を制御する。
　その後、制御部１６０は、図７に示すように、アバターＡの視線を仮想オブジェクトＯ１の方向に向ける動作を制御してもよい。例えば、制御部１６０は、アバターＡとユーザＵ１との間でアイコンタクトが成立した場合、制御部１６０は、アバターＡの周辺にある仮想オブジェクトＯ１に対して、アバターＡの視線を向ける動作を制御してもよい。
　以上説明した第２の実施例によれば、制御部１６０は、ユーザの視線を仮想オブジェクトのある方向に誘導する注視誘導を誘発し得る。例えば、仮想オブジェクトがユーザに視認させたい情報を含むインフォメーションであった場合、ユーザは、当該情報をより視認しやすくなり得る。
　以上、本開示に係る第２の実施例に係るアバターＡの動作制御の具体例を説明した。続いて、図８を参照し、第３の実施例に係るアバターＡの動作制御の具体例を説明する。
　＜２．４．第３の実施例＞
　図８は、第３の実施例に係るアバターＡの動作制御の具体例を説明するための説明図である。本開示に係る推定部１５０は、複数のユーザの各々の動作情報に基づき、同一または類似する方向、または同一または類似する速度で動く集団を示すグループＧを推定してもよい。
　例えば、推定部１５０は、同一または類似する方向で動く複数のユーザを一のグループＧとして推定してもよい。また、推定部１５０は、同一または類似する方向で動く複数のユーザを一のグループＧとして推定してもよい。
　例えば、図８に示すユーザＵ１、ユーザＵ２およびユーザＵ３が同一または類似する方向、または同一または類似する速度で動いていた際に、推定部１５０は、ユーザＵ１、ユーザＵ２およびユーザＵ３を一のグループとして推定してもよい。
　そして、制御部１６０は、アバターＡの視線を順に向ける制御を行ってもよい。例えば、制御部１６０は、図８に示すグループＧに含まれるユーザＵ１、ユーザＵ２およびユーザＵ３に対して、均等にアバターＡの視線を向ける動作を制御してもよい。
　また、推定部１５０は、グループに含まれる各々のユーザのうち、最も動きが大きいユーザを推定してもよい。そして、制御部１６０は、グループＧに含まれる複数のユーザのうち、最も動きが大きいユーザに対して、アバターＡの視線を向ける動作を制御してもよい。
　また、最も動きが大きいユーザとアバターＡとのアイコンタクトが成立しなかった場合、制御部１６０は、次に動きが大きいユーザに対してアバターＡの視線を向ける動作を制御してもよい。
　以上説明した第３の実施例によれば、制御部１６０は、同一のグループに含まれるユーザに対してアバターの視線を向けることで、当該グループに含まれるユーザとのアイコンタクトの成立する可能性を向上し、コミュニケーションの円滑化を図り得る。
　以上、第３の実施例に係るアバターＡの動作制御の具体例を説明した。第１の実施例～第３の実施例では、仮想空間上におけるアバターＡの動作制御の具体例を主に説明したが、本開示に係るアバターＡの動作制御は係る例に限定されない。例えば、本開示に係るアバターＡの動作制御は、図１に示したようなＤＯＯＨ（Ｄｉｇｉｔａｌ　Ｏｕｔ　Ｏｆ　Ｈｏｍｅ）等においても適用可能である。この場合、ユーザは、仮想空間上のアバターではなく、実際のユーザになる。続いて、図９を参照し、第４の実施例に係るアバターＡの動作制御の具体例を説明する。
　＜２．５．第４の実施例＞
　図９は、第４の実施例に係るアバターＡの動作制御の具体例を説明するための説明図である。図９では、店員Ｕ１が顧客Ｕ２に対して、遠隔で接客を行う場合について説明する。以下の説明では、顧客Ｕ２側の端末を本開示に係る情報処理装置１０とし、店員Ｕ１側の端末を情報処理装置１０ではない端末として説明するが、店員Ｕ１および顧客Ｕ２の両方の端末が共に情報処理装置１０であってもよい。
　まず、店員Ｕ１側の端末が備えるディスプレイＤは、カメラＣにより得られた店員Ｕ１を含む映像Ｐ１と、顧客Ｕ２側の情報処理装置１０が備えるカメラ１１０により得られた顧客Ｕ２を含む映像Ｐ２とを表示してもよい。
　また、顧客Ｕ２側の情報処理装置１０が備える表示部１７０は、店員Ｕ１側の端末が備えるカメラＣにより得られた店員Ｕ１を含む映像Ｐ１と、カメラ１１０により得られた顧客Ｕ２を含む映像Ｐ２とを表示してもよい。
　また、映像Ｐ１は、店員Ｕ１の背景に陳列された商品や商品に係る情報を含み得る。また映像Ｐ１に含まる店員Ｕ１に対して、図９に示すようなアバター映像が重畳されてもよい。例えば、アバター映像は、店員Ｕ１の全身、顔、または顔の一部分（例えば、目の周辺を覆うマスク等）に重畳されて表示されてもよい。
　例えば、制御部１６０は、通常時では店員Ｕ１の動作を模倣してアバターの動作を制御してもよい。
　そして、カメラＣは、店員Ｕ１の視線が顧客Ｕ２の顔のある方向Ｓ１に向いたことを検出した場合、店員Ｕ１の端末は、店員Ｕ１が顧客Ｕ２を視認したことを含む情報を顧客Ｕ２の情報処理装置１０に送信してもよい。
　顧客Ｕ２の情報処理装置１０は、店員Ｕ１の端末から受信した情報に基づき、店員Ｕ１を含む映像に重畳されたアバターの動作を制御してもよい。
　ここで、店員Ｕ１の動作を模倣してアバターの動作を制御した場合、制御部１６０が顧客Ｕ２の情報処理装置１０が備える表示部１７０は、カメラＣを基準とした方向Ｓ１に対応する方向Ｓ２に向けてアバターの視線が向けられる。
　この場合、顧客Ｕ２は、店員Ｕ１が顧客Ｕ２を視認しているか否かを認識することが困難である。
　そこで、本開示に係る制御部１６０は、店員Ｕ１が顧客Ｕ２を視認したことを含む情報が取得された際に、アバターの視線を顧客Ｕ２に向ける動作を制御してもよい。これにより、アバターの視線は、顧客Ｕ２がいる方向Ｓ３に向けられるため、顧客Ｕ２は、店員Ｕ１が顧客Ｕ２を視認しているか否かをより容易に認識し得る。
　更に、アバターと、アバターの視線が向けられた顧客Ｕ２との間でアイコンタクトが成立した場合、制御部１６０は、アバターの所定の動作を制御してもよい。例えば、制御部１６０は、顧客Ｕ２に商品の説明するような対話に係る動作を制御してもよい。
　なお、映像Ｐ１および映像Ｐ２が表示される大きさや位置は、店員Ｕ１の端末が備えるディスプレイＤと、顧客Ｕ２の情報処理装置１０が備える表示部１７０とで図９に示すように異なっていてもよいし、同一であってもよい。
　また、店員Ｕ１にアバター映像が重畳される一例を説明したが、顧客Ｕ２に対しても同様にアバター映像が重畳されてもよい。
　また、遠隔でのアバターの動作制御は、接客への適用に限定されない。例えば、遠隔でのアバターの動作制御は、リモートライブにも適用可能である。
　例えば、リモートライブの視聴者の情報処理装置１０が備える検出部１３０は、視聴者の視線の向きまたは顔の向きを検出する。続いて、推定部１５０は、視聴者が視認した仮想オブジェクトを推定してもよい。
　そして、推定部１５０が推定した仮想オブジェクトが演者のアバターであった際に、制御部１６０は、演者のアバターの視線を視聴者に向ける動作を制御してもよい。
　この際に、検出部１３０は、演者のアバターの顔の向きを更に検出してもよい。そして、制御部１６０は、演者の顔の向きから所定の範囲内に視聴者がいた際に、演者のアバターの視線を視聴者に向ける動作を制御してもよい。
　なお、遠方にアバターがいた場合、アバターの視線の動きのみでは視聴者は、アバターが視聴者を視認しているかを認識することが困難になる場合がある。そこで、例えば、制御部１６０は、アバターの視線の動きと、アバターの顔の動きの比率を動的に変更してもよい。
　また、視線が向けられた視聴者が手を振るなどの動作を行った際に、制御部１６０は、アバターの所定の動作を制御してもよい。ここでの所定の動作とは、例えば、手の動きに合わせて首を左右にかしげる、うなずく、手を振るまたはウインク等の動作を含んでもよい。
　これにより、リモートライブに参加した視聴者は、実際のライブに参加した臨場感や没入感をより感じ得る。
　また、配信者側の情報処理装置１０が備える制御部１６０がアバターの視線を視聴者に向ける動作を制御してもよい。この場合、通信部１９０は、視聴者側の情報処理装置１０に対して、アバターの視線を向ける動作情報を送信してもよい。
　以上、本開示に係る情報処理装置１０の制御に係る詳細を説明した。続いて、本開示に係る情報処理装置１０の動作処理の具体例を説明する。
　＜＜３．動作処理例＞＞
　＜３．１．全体フロー＞
　図１０は、本開示に係る情報処理装置１０の動作処理に係る全体フローの一例を説明するための説明図である。まず、検出部１３０は、カメラ１１０により取得された映像からユーザを検出する（Ｓ１０１）。
　続いて、検出部１３０は、ユーザの視線情報を検出する（Ｓ１０５）。
　そして、推定部１５０は、ユーザの視線情報から当該ユーザが視認するオブジェクトを推定し、アバターを視認するユーザがいるか否かを判定する（Ｓ１０９）。アバターを視認するユーザがいると判定された場合（Ｓ１０９／Ｙｅｓ）、処理はＳ１１３に進められ、アバターを視認するユーザがいないと判定された場合（Ｓ１０９／Ｎｏ）、処理は再びＳ１０１に戻る。
　アバターを視認するユーザがいると判定された場合（Ｓ１０９／Ｙｅｓ）、制御部１６０は、当該アバターを視認するユーザが対話中か否かを判定する（Ｓ１１３）。対話中であった場合（Ｓ１１３／Ｙｅｓ）、処理はＳ１１７に進められ、対話中でなかった場合（Ｓ１１３／Ｎｏ）、処理はＳ１２１に進められる。
　対話中であった場合（Ｓ１１３／Ｙｅｓ）、制御部１６０は、対話の合間にアバターを視認するユーザに対してアバターの視線を向ける動作を制御する（Ｓ１１７）。
　対話中でなかった場合（Ｓ１１３／Ｎｏ）、制御部１６０は、アバターを視認するユーザに対してアバターの視線を向ける動作を制御する（Ｓ１２１）。
　そして、制御部１６０は、アバターとユーザとの間でアイコンタクトが成立したか否かを判定する（Ｓ１２５）。アイコンタクトが成立したと判定された場合（Ｓ１２５／Ｙｅｓ）、処理はＳ１２９に進められ、アイコンタクトが成立しなかったと判定された場合（Ｓ１２５／Ｎｏ）、処理は再びＳ１０１に戻る。
　アイコンタクトが成立したと判定された場合（Ｓ１２５／Ｙｅｓ）、制御部１６０は、アイコンタクトが成立したユーザに対して、アバターに対話させる動作を制御し（Ｓ１２９）、本開示に係る制御部１６０は、処理を終了する。
　以上、本開示に係る情報処理装置１０の動作処理に係る全体フローの一例を説明した。続いて、図１０のＳ１２１において、制御部１６０により制御されるアバターの視線を向ける動作処理に係るフローの一例を説明する。
　＜３．２．視線を向ける動作処理に係るフロー＞
　図１１は、本開示に係る視線を向ける動作処理を説明するための説明図である。まず、制御部１６０は、アバターに割り当てられたアニメーションを再生する（Ｓ２０１）。
　続いて、制御部１６０は、ＩＫを用いてユーザに向けたアバターの体の向きを設定する（Ｓ２０５）。
　そして、制御部１６０は、アバターの現在の頭の向いている方向と頭を向ける方向との角度が所定値以上か否かを判定する（Ｓ２０９）。この際に、頭を向ける方向は、例えば、現在のアバターの頭の向いている方向からユーザのいる方向までの半分の方向であってもよい。角度が所定値以上であった場合（Ｓ２０９／Ｙｅｓ）、処理はＳ２１３に進められ、角度が所定値未満であった場合（Ｓ２０９／Ｎｏ）、処理はＳ２１７に進められる。
　角度が所定値以上であった場合（Ｓ２０９／Ｙｅｓ）、制御部１６０は、頭の動き補間動作モードをＯＮに設定する（Ｓ２１３）。
　角度が所定値未満であった場合（Ｓ２０９／Ｎｏ）、頭の動き補間動作モードをＯＦＦに設定する（Ｓ２１７）。
　そして、制御部１６０は、アバターの体を基準とした際に、アバターの頭が向いている方向からユーザがいる方向までの角度が所定の範囲内であるか否かを判定する（Ｓ２２１）。角度が所定の範囲内であった場合（Ｓ２２１／Ｙｅｓ）、処理はＳ２２５に進められ、角度が所定の範囲外であった場合（Ｓ２２１／Ｎｏ）、処理はＳ２２９に進められる。
　角度が所定の範囲内であった場合（Ｓ２２１／Ｙｅｓ）、制御部１６０は、ユーザのいる方向をアバターの頭を向ける方向として設定する（Ｓ２２５）。
　角度が所定の範囲外であった場合（Ｓ２２１／Ｎｏ）、制御部１６０は、所定の範囲のうちの最大値をアバターの頭を向ける方向として設定する（Ｓ２２９）。
　そして、制御部１６０は、頭の動き補間動作モードがＯＮになっているか否かを判定する（Ｓ２３３）。頭の動き補間動作モードがＯＮになっている場合（Ｓ２３３／Ｙｅｓ）、処理はＳ２３７に進められ、頭の動き補間動作モードがＯＦＦになっている場合（Ｓ２３３／Ｎｏ）、処理はＳ２４１に進められる。
　頭の動き補間動作モードがＯＮになっている場合（Ｓ２３３／Ｙｅｓ）、制御部１６０は、Ｓ２２５またはＳ２２９において設定された方向にアバターの頭を向ける制御を行う（Ｓ２３７）。
　そして、制御部１６０は、アバターの特性や性格付けに基づき決定された各種所定のパラメータ（例えば、アバターの頭の向きの可動範囲等）に従い、顔の向きを補正する（Ｓ２４１）。
　そして、制御部１６０は、ユーザの目の位置に対し、アバターの視線を向ける動作を制御し（Ｓ２４５）、本開示に係る制御部１６０は処理を終了する。なお、アバターの視線を向ける動作の制御に際して、制御部１６０は、アバターの左右の目の動きが可動範囲内に収まるように制御してもよい。
　以上、本開示に係る制御部１６０により制御されるアバターの視線を向ける動作処理の一例を説明した。続いて、複数ユーザ時における動作処理の具体例を図１２および図１３を参照して説明する。
　＜３．３．複数ユーザ時における動作処理に係るフロー＞
　図１２および図１３は、複数ユーザ時における動作処理の一例を説明するための説明図である。まず、検出部１３０は、カメラ１１０により取得された映像からユーザを検出する（Ｓ３０１）。
　次に、推定部１５０は、複数のユーザの各々の移動方向や移動速度からグループを推定する（Ｓ３０５）。
　そして、検出部１３０は、グループとして推定された複数のユーザの各々の視線情報を検出する（Ｓ３０９）。
　そして、制御部１６０は、対話中のグループがあるか否かを判定する（Ｓ３１３）。対話中のグループがあると判定された場合（Ｓ３１３／Ｙｅｓ）、処理はＳ３１７に進められ、対話中のグループがないと判定された場合（Ｓ３１３／Ｎｏ）、処理は図１３に示すＳ４０１に進められる。なお、対話中のグループがないと判定された場合（Ｓ３１３／Ｎｏ）については、後述する。
　対話中のグループがあると判定された場合（Ｓ３１３／Ｙｅｓ）、推定部１５０は、ユーザの視線情報から当該ユーザが視認するオブジェクトを推定し、対話中のグループにアバターを視認するユーザがいるか否かを判定する（Ｓ３１７）。アバターを視認するユーザがいると判定された場合（Ｓ３１７／Ｙｅｓ）、処理はＳ３２１に進められ、アバターを視認するユーザがいないと判定された場合（Ｓ３１７／Ｎｏ）、処理はＳ３２５に進められる。
　アバターを視認するユーザがいると判定された場合（Ｓ３１７／Ｙｅｓ）、制御部１６０は、対話の合間にアバターを視認するユーザに対してアバターの視線を向ける動作を制御する（Ｓ３２１）。
　アバターを視認するユーザがいないと判定された場合（Ｓ３１７／Ｎｏ）、制御部１６０は、対話の合間にグループに含まれる複数のユーザに対してアバターの視線を順に向ける動作を制御する（Ｓ３２５）。
　そして、制御部１６０は、アバターと、アバターが視線を向けたユーザとの間でアイコンタクトが成立したか否かを判定する（Ｓ３２９）。アイコンタクトが成立した場合（Ｓ３２９／Ｙｅｓ）、処理はＳ３３３に進められ、アイコンタクトが成立しなかった場合（Ｓ３２９／Ｎｏ）、処理は再びＳ３０１に戻る。
　アイコンタクトが成立した場合（Ｓ３２９／Ｙｅｓ）、制御部１６０は、アイコンタクトが成立したユーザに対して、アバターに対話させる動作を制御し（Ｓ３３３）、本開示に係る制御部１６０は処理を終了する。
　続いて、対話中のグループがないと判定された場合（Ｓ３１３／Ｎｏ）について、図１３を参照して説明する。
　対話中のグループがないと判定された場合（Ｓ３１３／Ｎｏ）、推定部１５０は、複数のユーザの視線情報から当該複数のユーザが視認するオブジェクトを推定し、アバターを視認するユーザがいるか否かを判定する（Ｓ４０１）。アバターを視認するユーザがいると判定された場合（Ｓ４０１／Ｙｅｓ）、処理はＳ４０５に進められ、アバターを視認するユーザがいないと判定された場合（Ｓ４０１／Ｎｏ）、処理はＳ４０９に進められる。
　アバターを視認するユーザがいると判定された場合（Ｓ４０１／Ｙｅｓ）、制御部１６０は、当該アバターを視認するユーザをアイコンタクトの対象に設定する（Ｓ４０５）。
　アバターを視認するユーザがいないと判定された場合（Ｓ４０１／Ｎｏ）、制御部１６０は、アバターではないオブジェクトを視認するユーザがいるか否かを判定する（Ｓ４０９）。オブジェクトを視認するユーザがいないと判定された場合（Ｓ４０９／Ｎｏ）、処理はＳ４１３に進められ、オブジェクトを視認するユーザがいると判定された場合（Ｓ４０９／Ｙｅｓ）、処理はＳ４１７に進められる。
　オブジェクトを視認するユーザがいないと判定された場合（Ｓ４０９／Ｎｏ）、制御部１６０は、任意のユーザをアイコンタクトの対象に設定する（Ｓ４１３）。
　オブジェクトを視認するユーザがいると判定された場合（Ｓ４０９／Ｙｅｓ）、制御部１６０は、最も長くオブジェクトを視認するユーザをアイコンタクトの対象に設定する（Ｓ４１７）。
　そして、制御部１６０は、アイコンタクトの対象に設定したユーザが視認するオブジェクトに対して、アバターの視線を向ける動作を制御する（Ｓ４２１）。
　そして、制御部１６０は、アイコンタクトの対象に設定したユーザに対して、アバターの視線を向ける動作を制御し（Ｓ４２５）、処理は、図１２に示したＳ３２９に進められる。
　以上、本開示に係る動作処理の具体例を説明した。続いて、図１４を参照し、本開示に係る情報処理装置１０のハードウェア構成の一例を説明する。
　＜＜４．ハードウェア構成例＞＞
　以上、本開示に係る実施形態を説明した。上述した情報処理は、ソフトウェアと、以下に説明する情報処理装置１０のハードウェアとの協働により実現される。
　図１４は、本開示に係る情報処理装置１０のハードウェア構成を示したブロック図である。情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１００１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１００２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１００３と、ホストバス１００４と、を備える。また、情報処理装置１０は、ブリッジ１００５と、外部バス１００６と、インタフェース１００７と、入力装置１００８と、出力装置１０１０と、ストレージ装置（ＨＤＤ）１０１１と、ドライブ１０１２と、通信装置１０１５とを備える。
　ＣＰＵ１００１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。また、ＣＰＵ１００１は、マイクロプロセッサであってもよい。ＲＯＭ１００２は、ＣＰＵ１００１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ１００３は、ＣＰＵ１００１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス１００４により相互に接続されている。ＣＰＵ１００１、ＲＯＭ１００２およびＲＡＭ１００３とソフトウェアとの協働により、図２を参照して説明した推定部１５０や制御部１６０などの機能が実現され得る。
　ホストバス１００４は、ブリッジ１００５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１００６に接続されている。なお、必ずしもホストバス１００４、ブリッジ１００５および外部バス１００６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
　入力装置１００８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１００１に出力する入力制御回路などから構成されている。情報処理装置１０のユーザは、該入力装置１００８を操作することにより、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置１０１０は、例えば、液晶ディスプレイ装置、ＯＬＥＤ装置およびランプなどの表示装置を含む。さらに、出力装置１０１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。出力装置１０１０は、例えば、再生されたコンテンツを出力する。具体的には、表示装置は再生された映像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、再生された音声データ等を音声に変換して出力する。
　ストレージ装置１０１１は、データ格納用の装置である。ストレージ装置１０１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置１０１１は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）で構成される。このストレージ装置１０１１は、ハードディスクを駆動し、ＣＰＵ１００１が実行するプログラムや各種データを格納する。
　ドライブ１０１２は、記憶媒体用リーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ１０１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体１５に記録されている情報を読み出して、ＲＡＭ１００３に出力する。また、ドライブ１０１２は、リムーバブル記憶媒体１５に情報を書き込むこともできる。
　通信装置１０１５は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置１０１５は、無線ＬＡＮ対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
　＜＜５．補足＞＞
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、制御部１６０は、ユーザとアバターとの間でアイコンタクトが成立することが困難であった際に、視線を向ける動作に先行して、アイコンタクトをより容易にする動作を制御してもよい。アイコンタクトをより容易にする動作とは、例えば、ユーザに近づく動作やアバターの目線をユーザの高さに合わせる動作やアバターが立ち上がる動作などを含んでもよい。
　また、複数のユーザがアバターを視認していた場合、制御部１６０は、前方にいるユーザを避けて後方のユーザに対してアバターの視線を向ける動作を制御してもよい。これにより、後方のユーザがアバターを視認しやすくなり、よりアイコンタクトが成立しやすくなり得る。
　また、ユーザが目を細めていた場合、例えば光の反射によりユーザがアバターを視認しにくい状態であると判定し、制御部１６０は、アバターの立ち位置を変更させる動作を制御してもよい。
また、制御部１６０は、時間帯や曜日、または祝日などの各種環境条件によりアバターの動作を変更してもよい。例えば、制御部１６０は、朝にユーザとアバターのアイコンタクトが成立した場合、アバターに「おはようございます。」といった言葉を最初に発言させてもよい。
　また、上述した例では、制御部１６０がアバターの動作を制御する例を主に説明したが、本開示に係る制御の対象は、アバターに限定されない。例えば、本開示に係る制御の対象は、ロボットなどの移動体であってもよい。この場合、制御部１６０は、ユーザがロボットを視認した際に、ロボットの視線をユーザに向けてもよい。更に、ユーザとロボットとの間でアイコンタクトが成立した場合、制御部１６０は、ロボットをユーザの近くに移動させるように制御してもよい。
　また、本開示に係るアバターは、目のないアバター（例えば、植物など）であってもよい。この場合、制御部１６０は、ユーザがアバターを視認した際に、アバターの顔の向きや体の向きをユーザに向ける制御を行ってもよい。
　また、本開示に係る情報処理装置１０は、図２に示した全ての構成を備えていなくてもよい。例えば、情報処理装置１０がサーバであった場合、制御部１６０により制御されたアバターの動作に係る情報を通信部１９０がディスプレイ装置に送信してもよい。この場合、本開示に係る情報処理装置１０は、表示部１７０および音声提示部１８０を備えていなくてもよい。
　また、ディスプレイ装置などの他の装置がカメラ１１０およびマイク１２０を備えてもよい。この場合、本開示に係る情報処理装置１０は、カメラ１１０およびマイク１２０を備えていなくてもよい。
　また、本明細書の情報処理システムの処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、情報処理システムの処理における各ステップは、フローチャートとして記載した順序と異なる順序や並列的に処理されてもよい。
　また、情報処理装置１０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述した情報処理装置１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させた非一時的な記憶媒体も提供される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　ユーザの視線の向きを示す視線情報を取得する取得部と、
　前記視線情報に基づき、前記ユーザが視認したオブジェクトを推定する推定部と、
　前記ユーザが視認したオブジェクトに基づき、対象の動作を制御する制御部と、
を備える、情報処理装置。
（２）
　前記対象は、アバターを含み、
　前記制御部は、
　前記ユーザが視認したオブジェクトに基づき、前記アバターの視線を前記ユーザに向ける動作を制御する、
前記（１）に記載の情報処理装置。
（３）
　前記制御部は、
　前記ユーザが視認したオブジェクトに対して、前記アバターの視線を前記オブジェクトに向ける動作を制御し、更に、前記アバターの視線を前記ユーザに向ける動作を制御する、
前記（２）に記載の情報処理装置。
（４）
　前記制御部は、
　前記アバターの視線が向けられたユーザの視線と、前記アバターの視線とが所定の時間以上合った際に、前記アバターの所定の動作を制御する、
前記（２）または前記（３）に記載の情報処理装置。
（５）
　前記取得部は、
　前記ユーザの動作を示す動作情報を取得し、
　前記制御部は、
　前記アバターの視線が向けられたユーザの特定の動作情報が取得された際に、前記アバターの所定の動作を制御する、
前記（３）または前記（４）に記載の情報処理装置。
（６）
　前記所定の動作は、前記アバターの周辺にあるオブジェクトに対してアバターの視線を向ける動作を含む、
前記（５）に記載の情報処理装置。
（７）
　前記取得部は、
　前記ユーザの発する言葉を示す音声情報を取得し、
　前記制御部は、
　前記音声情報に基づき、前記アバターの動作を制御する、
前記（５）または前記（６）に記載の情報処理装置。
（８）
　前記ユーザは、複数のユーザであり、
　前記制御部は、
　前記複数のユーザのうちいずれか一つのユーザの視線情報も取得されなかった際に、前記複数のユーザのうちの各々のユーザに対して、前記アバターの視線を順に向ける制御を行う、
前記（６）または前記（７）に記載の情報処理装置。
（９）
　前記オブジェクトは、仮想オブジェクトを含む、
前記（６）から前記（８）までのうちいずれか一項に記載の情報処理装置。
（１０）
　前記仮想オブジェクトは、前記アバターを含み、
　前記制御部は、
　前記ユーザが前記アバターを視認した際に、前記アバターの視線を前記ユーザに向ける制御を行う、
前記（９）に記載の情報処理装置。
（１１）
　前記制御部は、
　前記ユーザが前記アバターを視認し、更に、前記ユーザが他のユーザと対話していない際に、前記アバターの視線を前記ユーザに向ける制御を行う、
前記（１０）に記載の情報処理装置。
（１２）
　前記推定部は、
　前記取得部により取得された前記動作情報に基づき、同一または類似する方向または同一または類似する速度で動く集団を示すグループを推定し、
　前記制御部は、
　前記グループに含まれる各々のユーザに対して、前記アバターの視線を順に向ける制御を行う、
前記（５）から前記（１１）までのうちいずれか一項に記載の情報処理装置。
（１３）
　前記推定部は、
　前記グループに含まれる各々のユーザのうち、最も動きが大きいユーザを推定し、
　前記制御部は、
　前記グループに含まれる複数のユーザのうち、前記最も動きが大きいユーザに対して、前記アバターの視線を向ける制御を行う、
前記（１２）に記載の情報処理装置。
（１４）
　前記制御部は、
　前記アバターの頭が向いている方向と、前記ユーザがいる方向とに基づき、前記アバターの頭の方向を制御する、
前記（２）から前記（１３）までのうちいずれか一項に記載の情報処理装置。
（１５）
　前記制御部は、
　前記アバターの頭が向いている方向から前記ユーザがいる方向までの角度が所定値以上であった際に、前記アバターの頭を前記ユーザがいる方向に対して動かす制御を行う、
前記（１４）に記載の情報処理装置。
（１６）
　前記制御部は、
　前記角度が所定値以上であった際に、前記アバターの頭を前記ユーザがいる方向に対して動かし、更に、前記アバターの視線を前記ユーザに対して向ける制御を行う、
前記（１５）に記載の情報処理装置。
（１７）
　前記所定値は、前記アバターに設定された特性に基づき決定される、
前記（１６）に記載の情報処理装置。
（１８）
　前記制御部は、
　前記ユーザの動作の大きさまたは前記角度の大きさのうち少なくともいずれか一方に応じた速度で前記アバターの頭を前記ユーザがいる方向に対して動かす制御を行う、
前記（１７）に記載の情報処理装置。
（１９）
　ユーザの視線の向きを示す視線情報を取得することと、
　前記視線情報に基づき、前記ユーザが視認したオブジェクトを推定することと、
　前記ユーザが視認したオブジェクトに基づき、対象の動作を制御することと、
を含む、コンピュータにより実行される情報処理方法。
（２０）
　コンピュータに、
　ユーザの視線の向きを示す視線情報を取得する取得機能と、
　前記視線情報に基づき、前記ユーザが視認したオブジェクトを推定する推定機能と、
　前記ユーザが視認したオブジェクトに基づき、対象の動作を制御する制御機能と、
を実現させるための、プログラムが記憶されたコンピュータにより読み取り可能な非一時的な記憶媒体。
１０　　情報処理装置
１１０　　カメラ
１２０　　マイク
１３０　　検出部
１４０　　音声認識部
１５０　　推定部
１６０　　制御部
１７０　　表示部
１８０　　音声提示部
１９０　　通信部

Claims (20)

  1. 　ユーザの視線の向きを示す視線情報を取得する取得部と、
    　前記視線情報に基づき、前記ユーザが視認したオブジェクトを推定する推定部と、
    　前記ユーザが視認したオブジェクトに基づき、対象の動作を制御する制御部と、
    を備える、情報処理装置。
  2. 　前記対象は、アバターを含み、
    　前記制御部は、
    　前記ユーザが視認したオブジェクトに基づき、前記アバターの視線を前記ユーザに向ける動作を制御する、
    請求項１に記載の情報処理装置。
  3. 　前記制御部は、
    　前記ユーザが視認したオブジェクトに対して、前記アバターの視線を前記オブジェクトに向ける動作を制御し、更に、前記アバターの視線を前記ユーザに向ける動作を制御する、
    請求項２に記載の情報処理装置。
  4. 　前記制御部は、
    　前記アバターの視線が向けられたユーザの視線と、前記アバターの視線とが所定の時間以上合った際に、前記アバターの所定の動作を制御する、
    請求項３に記載の情報処理装置。
  5. 　前記取得部は、
    　前記ユーザの動作を示す動作情報を取得し、
    　前記制御部は、
    　前記アバターの視線が向けられたユーザの特定の動作情報が取得された際に、前記アバターの所定の動作を制御する、
    請求項４に記載の情報処理装置。
  6. 　前記所定の動作は、前記アバターの周辺にあるオブジェクトに対してアバターの視線を向ける動作を含む、
    請求項５に記載の情報処理装置。
  7. 　前記取得部は、
    　前記ユーザの発する言葉を示す音声情報を取得し、
    　前記制御部は、
    　前記音声情報に基づき、前記アバターの動作を制御する、
    請求項６に記載の情報処理装置。
  8. 　前記ユーザは、複数のユーザであり、
    　前記制御部は、
    　前記複数のユーザのうちいずれか一つのユーザの視線情報も取得されなかった際に、前記複数のユーザのうちの各々のユーザに対して、前記アバターの視線を順に向ける制御を行う、
    請求項７に記載の情報処理装置。
  9. 　前記オブジェクトは、仮想オブジェクトを含む、
    請求項８に記載の情報処理装置。
  10. 　前記仮想オブジェクトは、前記アバターを含み、
    　前記制御部は、
    　前記ユーザが前記アバターを視認した際に、前記アバターの視線を前記ユーザに向ける制御を行う、
    請求項９に記載の情報処理装置。
  11. 　前記制御部は、
    　前記ユーザが前記アバターを視認し、更に、前記ユーザが他のユーザと対話していない際に、前記アバターの視線を前記ユーザに向ける制御を行う、
    請求項１０に記載の情報処理装置。
  12. 　前記推定部は、
    　前記取得部により取得された前記動作情報に基づき、同一または類似する方向または同一または類似する速度で動く集団を示すグループを推定し、
    　前記制御部は、
    　前記グループに含まれる各々のユーザに対して、前記アバターの視線を順に向ける制御を行う、
    請求項１１に記載の情報処理装置。
  13. 　前記推定部は、
    　前記グループに含まれる各々のユーザのうち、最も動きが大きいユーザを推定し、
    　前記制御部は、
    　前記グループに含まれる複数のユーザのうち、前記最も動きが大きいユーザに対して、前記アバターの視線を向ける制御を行う、
    請求項１２に記載の情報処理装置。
  14. 　前記制御部は、
    　前記アバターの頭が向いている方向と、前記ユーザがいる方向とに基づき、前記アバターの頭の方向を制御する、
    請求項１３に記載の情報処理装置。
  15. 　前記制御部は、
    　前記アバターの頭が向いている方向から前記ユーザがいる方向までの角度が所定値以上であった際に、前記アバターの頭を前記ユーザがいる方向に対して動かす制御を行う、
    請求項１４に記載の情報処理装置。
  16. 　前記制御部は、
    　前記角度が所定値以上であった際に、前記アバターの頭を前記ユーザがいる方向に対して動かし、更に、前記アバターの視線を前記ユーザに対して向ける制御を行う、
    請求項１５に記載の情報処理装置。
  17. 　前記所定値は、前記アバターに設定された特性に基づき決定される、
    請求項１６に記載の情報処理装置。
  18. 　前記制御部は、
    　前記ユーザの動作の大きさまたは前記角度の大きさのうち少なくともいずれか一方に応じた速度で前記アバターの頭を前記ユーザがいる方向に対して動かす制御を行う、
    請求項１７に記載の情報処理装置。
  19. 　ユーザの視線の向きを示す視線情報を取得することと、
    　前記視線情報に基づき、前記ユーザが視認したオブジェクトを推定することと、
    　前記ユーザが視認したオブジェクトに基づき、対象の動作を制御することと、
    を含む、コンピュータにより実行される情報処理方法。
  20. 　コンピュータに、
    　ユーザの視線の向きを示す視線情報を取得する取得機能と、
    　前記視線情報に基づき、前記ユーザが視認したオブジェクトを推定する推定機能と、
    　前記ユーザが視認したオブジェクトに基づき、対象の動作を制御する制御機能と、
    を実現させるための、プログラムが記憶されたコンピュータにより読み取り可能な非一時的な記憶媒体。
PCT/JP2022/034886 2021-11-02 2022-09-20 情報処理装置、情報処理方法および記憶媒体 WO2023079847A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021179266 2021-11-02
JP2021-179266 2021-11-02

Publications (1)

Publication Number Publication Date
WO2023079847A1 true WO2023079847A1 (ja) 2023-05-11

Family

ID=86241284

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/034886 WO2023079847A1 (ja) 2021-11-02 2022-09-20 情報処理装置、情報処理方法および記憶媒体

Country Status (1)

Country Link
WO (1) WO2023079847A1 (ja)

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Eye communication with avatar in VR space", ITE TECHNICAL REPORT, vol. 42, no. 17, 7 June 2018 (2018-06-07), pages 21 - 26, XP009546061, ISSN: 1342-6893 *
"Generating Motion in Explanation Scene using gaze information", IEICE TECHNICAL REPORT, vol. 104, no. 168, 1 July 2004 (2004-07-01), pages 7 - 12, XP009545605, ISSN: 0913-5685 *
"Virtual Shop Assistant System Working on Customer's Conditions in Real Environment", vol. 147, 15 April 2012 (2012-04-15), pages 1 - 8, XP009546062, ISSN: 2186-2583 *

Similar Documents

Publication Publication Date Title
GB2556347B (en) Virtual Reality
US10489960B2 (en) Virtual reality presentation of eye movement and eye contact
US10438393B2 (en) Virtual reality presentation of body postures of avatars
WO2020203999A1 (ja) コミュニケーション支援システム、コミュニケーション支援方法、および画像制御プログラム
US9479736B1 (en) Rendered audiovisual communication
US8514262B2 (en) Information processing apparatus and network conference system
US11620780B2 (en) Multiple device sensor input based avatar
US20190005732A1 (en) Program for providing virtual space with head mount display, and method and information processing apparatus for executing the program
US11645823B2 (en) Neutral avatars
US20220254125A1 (en) Device Views and Controls
WO2022252866A1 (zh) 一种互动处理方法、装置、终端及介质
US11553009B2 (en) Information processing device, information processing method, and computer program for switching between communications performed in real space and virtual space
CN114787759A (zh) 交流支持程序、交流支持方法、交流支持系统、终端装置以及非语言表达程序
Nijholt Capturing obstructed nonverbal cues in augmented reality interactions: a short survey
JP2018124981A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
US20200175739A1 (en) Method and Device for Generating and Displaying an Electronic Avatar
WO2023079847A1 (ja) 情報処理装置、情報処理方法および記憶媒体
CN115086594A (zh) 虚拟会议处理方法、装置、设备和存储介质
CN114979789A (zh) 一种视频展示方法、装置以及可读存储介质
US10885716B1 (en) Mixed reality system user interface placement
WO2024080135A1 (ja) 表示制御装置、表示制御方法および表示制御プログラム
WO2023228600A1 (ja) 情報処理装置、情報処理方法および記憶媒体
US11321893B2 (en) Simulation method and system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22889671

Country of ref document: EP

Kind code of ref document: A1