WO2017141530A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2017141530A1
WO2017141530A1 PCT/JP2016/087096 JP2016087096W WO2017141530A1 WO 2017141530 A1 WO2017141530 A1 WO 2017141530A1 JP 2016087096 W JP2016087096 W JP 2016087096W WO 2017141530 A1 WO2017141530 A1 WO 2017141530A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
action
information processing
processing apparatus
distance
Prior art date
Application number
PCT/JP2016/087096
Other languages
English (en)
French (fr)
Inventor
麗子 桐原
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201680081621.4A priority Critical patent/CN108701455A/zh
Priority to KR1020187019102A priority patent/KR20180113503A/ko
Priority to US16/073,939 priority patent/US11237794B2/en
Priority to EP16890667.5A priority patent/EP3419020B1/en
Publication of WO2017141530A1 publication Critical patent/WO2017141530A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/065—Adaptation
    • G10L15/07—Adaptation to the speaker
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • Patent Document 1 discloses a robot that controls an action to a user according to the surrounding environment.
  • an information processing apparatus including an action determination unit that determines an action to the user based on a distance from the user, and an output control unit that outputs the action.
  • an information processing method including: a processor determining an action for the user based on a distance to the user; and outputting the action.
  • a program for causing a computer to realize a function for determining an action to the user based on a distance from the user and a function for outputting the action.
  • FIG. 3 is an explanatory diagram for describing an overview of an information processing apparatus according to an embodiment of the present disclosure. It is a block diagram showing an example of composition of information processor 1 by the embodiment. It is a table
  • FIG. It is a flowchart figure which shows the operation example of the information processing apparatus 1 by the embodiment. It is a flowchart figure which shows the operation example of the information processing apparatus 1 by the embodiment.
  • FIG. 7 is a flowchart showing an operation example of the information processing apparatus 1 when only one user exists around the information processing apparatus 1 according to the embodiment.
  • FIG. 7 is a flowchart showing an operation example of the information processing apparatus 1 when only one user exists around the information processing apparatus 1 according to the embodiment.
  • FIG. 11 is a flowchart showing an operation example of the information processing apparatus 1 according to the embodiment in the scene shown in FIGS.
  • FIG. 11 is a flowchart showing an operation example of the information processing apparatus 1 according to the embodiment in the scene shown in FIGS.
  • FIG. 11 is a flowchart showing an operation example of the information processing apparatus 1 according to the embodiment in the scene shown in FIGS.
  • FIG. 11 is a flowchart showing an operation example of the information processing apparatus 1 according to the embodiment in the scene shown in FIGS.
  • FIG 11 is a flowchart showing an operation example of the information processing apparatus 1 according to the embodiment in the scene shown in FIGS. It is explanatory drawing which shows the scene where a family user and a guest user exist around the information processing apparatus 1 by the embodiment. It is a flowchart figure which shows the operation example of the information processing apparatus 1 by the embodiment in the scene shown in FIG. It is explanatory drawing which shows the hardware structural example.
  • a robot (an example of an information processing device) that outputs an action to a user is known.
  • actions that the robot performs on the user include utterance to the user and display to the user.
  • the action may include, for example, an utterance or display of a content that listens to the user's message (such as "What do you have?") Or an utterance or display that does not require a user response, such as a greeting or a tweet. May be included.
  • the robot described above outputs an action according to the user's intention. For example, even if the user does not have a requirement for the robot, if the utterance is asked to ask the user's requirement, the user may feel uncomfortable.
  • the present embodiment has been created with the above circumstances in mind. According to the present embodiment, it is possible to output an action more in line with the user's intention by determining the action based on the distance to the user.
  • an outline of the information processing apparatus according to the present embodiment having such effects will be described with reference to FIG.
  • FIG. 1 is an explanatory diagram for explaining an overview of an information processing apparatus according to an embodiment of the present disclosure.
  • the information processing apparatus 1 illustrated in FIG. 1 detects surrounding users and outputs actions such as speech to the user by voice and display to the user. Further, the information processing apparatus 1 has a voice UI agent function that can perform voice recognition / semantic analysis on a user's utterance (an example of a user response) and can respond by voice or display.
  • a series of dialogues by a user's utterance and a response by the information processing apparatus 1 may be referred to as a task below.
  • the information processing apparatus 1 can recognize the user's voice in the range from the information processing apparatus 1 to the distance D1 shown in FIG. 1, and can identify the user (person).
  • the distance D1 may be 300 cm, for example.
  • the information processing apparatus 1 can detect a user (person) in the range from the information processing apparatus 1 to the distance D2 shown in FIG.
  • the distance D2 may be 500 cm, for example.
  • the external appearance of the information processing apparatus 1 is not particularly limited, but may be, for example, a cylindrical shape as shown in FIG. 1 and is installed on the floor of a room, a table, or the like. Further, the information processing apparatus 1 is provided with a light-emitting portion 18 formed of light-emitting elements such as LEDs (Light-Emitting-Diode) or the like so as to surround a horizontal central region on the side surface.
  • the information processing apparatus 1 can notify the user of the state of the information processing apparatus 1 by illuminating the entire light emitting unit 18 or illuminating a part thereof.
  • the light emitting unit 18 can cause the user's direction, that is, the speaker direction to partially shine, thereby making it appear as if the line of sight is directed to the user during the conversation. Further, the information processing apparatus 1 can notify the user that the processing is in progress by controlling the light emitting unit 18 so that the light travels on the side surface during response generation or data search. Further, the information processing apparatus 1 has a function of projecting and displaying an image on a wall 80 as shown in FIG. 1, for example, and can output an action by display in addition to an action output (utterance) by voice. .
  • the information processing apparatus 1 shown in FIG. 1 determines and outputs an action to the user based on the distance between the information processing apparatus 1 and the user, for example. For example, the information processing apparatus 1 asks the user U1 existing in the area A1 that is equal to or less than the first distance from the information processing apparatus 1 to receive a message 62 (for example, “Do you have anything?” Etc.) may be displayed. Further, the information processing apparatus 1 displays a message 64 for presenting information such as recommended information to the user U2 existing in the area A2 that is larger than the first distance and less than or equal to the second distance from the information processing apparatus 1. May be. Further, the information processing apparatus 1 may output an utterance that does not require a response such as a greeting to the user U3 existing in the area A3 that is larger than the second distance and less than or equal to the third distance from the information processing apparatus 1. .
  • the third distance may be a distance D1 at which the user's voice can be recognized.
  • the first distance may be 80 cm
  • the second distance may be 200 cm
  • the third distance may be 300 cm.
  • the information processing apparatus 1 can output an action determined based on the distance between the information processing apparatus 1 and the user.
  • the distance between the information processing device 1 and the user is considered to indicate the user's intention.
  • a user closer to the information processing device 1 may have a requirement for the information processing device 1. Therefore, according to such a configuration, it is possible to output an action more in line with the user's intention.
  • the overview of the information processing apparatus 1 according to an embodiment of the present disclosure has been described above.
  • the shape of the information processing apparatus 1 is not limited to the cylindrical shape shown in FIG. 1, and may be a cube, a sphere, a polyhedron, or the like. Subsequently, configuration examples of the information processing apparatus 1 according to the first embodiment of the present disclosure will be sequentially described.
  • FIG. 2 is a block diagram illustrating an example of the configuration of the information processing apparatus 1 according to the present embodiment.
  • the information processing apparatus 1 includes a control unit 10, a communication unit 11, a sound collection unit 12, a speaker 13, a camera 14, a distance measuring sensor 15, a projection unit 16, a storage unit 17, and a light emitting unit 18.
  • a control unit 10 controls the information processing apparatus 1 to the present embodiment.
  • the information processing apparatus 1 includes a control unit 10, a communication unit 11, a sound collection unit 12, a speaker 13, a camera 14, a distance measuring sensor 15, a projection unit 16, a storage unit 17, and a light emitting unit 18.
  • the control unit 10 controls each component of the information processing apparatus 1. Further, as shown in FIG. 2, the control unit 10 according to the present embodiment includes a user recognition unit 101, an utterance prediction unit 102, a user management unit 103, an action determination unit 104, a speech recognition unit 105, a semantic analysis unit 106, and an output. It also functions as the control unit 107.
  • the user recognition unit 101 performs detection and identification of users existing around the information processing apparatus 1. For example, the user recognition unit 101 detects a user using a known face detection technique, person detection technique, or the like based on an image acquired by the camera 14 and a distance acquired by the distance measuring sensor 15. In addition, the user recognition unit 101 identifies a user based on an image acquired by the camera 14 using a known face recognition technique or the like. For example, the user recognition unit 101 may identify a user by matching known user identification information stored in the storage unit 17 with information extracted from the user detected in the image.
  • the user recognition unit 101 When the user is detected, the user recognition unit 101 provides the utterance prediction unit 102 with information such as the number of detected users and the positions of the users. Further, when a user is detected, the user recognition unit 101 provides the user management unit 103 with the number of detected users and identification information obtained by user identification.
  • the utterance prediction unit 102 performs the user's utterance prediction (for example, prediction that the user has an intention to interact with the information processing apparatus 1) for the user detected by the user recognition unit 101.
  • the user's utterance prediction by the utterance prediction unit 102 can be performed by various methods.
  • the utterance prediction unit 102 may predict the user's utterance based on an action that conveys an explicit dialogue intention by the user. For example, the utterance prediction unit 102 predicts the user's utterance when a predetermined activation word (for example, “Hello Agent” or the like) is detected from the user's voice collected by the sound collection unit 12 described later. Also good. Further, the utterance prediction unit 102 may predict the user's utterance when it is detected by a touch sensor or a physical button (not shown) that the user has touched the information processing apparatus 1. Note that the utterance prediction unit 102 predicts the user's utterance when it is detected that the user has touched the information processing apparatus 1 even when the user is not detected by the user recognition unit 101.
  • a predetermined activation word for example, “Hello Agent” or the like
  • the utterance prediction unit 102 may predict the user's utterance when it is detected that the user is waving based on data obtained by the camera 14 or the distance measuring sensor 15 described later. In addition, when the speech prediction unit 102 detects that the user has struck a hand based on data obtained by the camera 14 and the distance measuring sensor 15 described later or sound collected by the sound collection unit 12, The user's utterance may be predicted. In addition, the utterance prediction unit 102 predicts the user's utterance when the user approaches the eyes of the information processing apparatus 1 (for example, when the distance between the information processing apparatus 1 and the user is a predetermined value or less). Good.
  • the above-mentioned action of conveying an explicit dialogue intention may give a load to the user.
  • the user speaks the activation word before speaking the original message, so that an utterance load is applied.
  • the user needs to be present in a range where the information processing apparatus 1 can be touched. Doing so can also be a burden on the user.
  • the utterance prediction unit 102 may predict the user's utterance even when the user does not explicitly perform the action of conveying the intention of dialogue to the information processing apparatus 1 as described above. According to the utterance prediction example described below, the load on the user is reduced as compared with the case where the user explicitly performs an action to convey the intention of dialogue to the information processing apparatus 1 as described above.
  • the utterance prediction unit 102 may estimate the direction of the user's line of sight or the direction of the face based on data obtained by the camera 14 or the distance measuring sensor 15 described later. When facing (gazing at) the information processing apparatus 1, the user's utterance may be predicted. Further, the utterance prediction unit 102 may predict the user's utterance when the user's line of sight or face is directed to the information processing apparatus 1 for a predetermined time or more (gazing).
  • the utterance prediction unit 102 may predict the user's utterance when the distance to the user obtained by the distance measuring sensor 15 is a predetermined value or less.
  • the utterance prediction unit 102 specifies the moving direction and speed of the user based on the data obtained by the distance measuring sensor 15, and when the user approaches the information processing apparatus 1 at a speed equal to or higher than a predetermined value, May be predicted.
  • the utterance prediction unit 102 determines whether or not a task (for example, schedule registration, information search, etc.), which is a series of dialogs with the user, is finished, and the task is not finished (in the middle). ), The user's utterance may be predicted.
  • a task for example, schedule registration, information search, etc.
  • the user's utterance may be predicted.
  • the user management unit 103 performs management related to the user based on the user identification information detected by the user recognition unit 101.
  • the user management unit 103 may manage user attribute information based on the user identification information and the user identification information stored in the storage unit 17.
  • User attributes include, for example, a family user who belongs to the home having the information processing device 1, a known user who is not a family user but has user information stored in the storage unit 17, and a guest user whose user information is not stored in the storage unit 17 Any of these may be sufficient.
  • the user management unit 103 may specify a target user to be an action target when the user recognition unit 101 detects a plurality of users.
  • the user management unit 103 may specify one user as a target user among a plurality of detected users, or may specify a plurality of users as a target user.
  • the user management unit 103 specifies an attention score indicating an intention to interact with the information processing apparatus 1 for each detected user based on the user state, and specifies a target user based on the specified attention score. May be.
  • FIG. 3 is a table showing a specific example of the attention score by the user management unit 103.
  • the user management unit 103 may specify an attention score based on the user state, the distance to the user, and the duration of the state (state duration).
  • is_watching represents a state in which the user's line of sight or face is facing (gazing at) the information processing apparatus 1.
  • not_watching represents a state where the user's line of sight or face is not facing the information processing apparatus 1 (not gazing).
  • the user management unit 103 may specify an attention score for each detected user according to the table shown in FIG. 3, and may specify a user with the highest attention score as a target user. Further, the user management unit 103 may specify that there is no target user (no action target person) when the attention scores of all detected users are 0 or less.
  • the target user identification by the user management unit 103 is not limited to the above example.
  • the user may be specified as the target user.
  • the user management unit 103 may classify users into a plurality of types based on the user status, and may identify the target user based on the classified user types. Such an example will be described later as an operation example 2.
  • the user management unit 103 manages action output information for each user. For example, when an action is output to the user under the control of the output control unit 107 described later, the user management unit 103 stores output information of the action including the time when the action is output to the user in the storage unit 17. Let Further, the user management unit 103 may specify the target user based on the output information. For example, when an action determined by the action determination unit 104 is output to the same user within a predetermined time, the same action is frequently output to the same user by not specifying the user as a target user. It is possible to prevent this.
  • the action determination unit 104 determines an action for the user based on the distance to the user. For example, the action determination unit 104 may determine an action based on the distance between the information processing device 1 obtained by the distance measuring sensor 15 and the user.
  • the action determined by the action determination unit 104 may be, for example, an action for requesting a user response such as a display or utterance for asking a user's business, and a user response such as information presentation, greeting, or tweet. It may be an action that does not ask for.
  • the content of the information presentation may be information corresponding to each user, such as unread mail (unread message), new information on social services, update information on a web site that is always viewed.
  • unread mail unread message
  • new information on social services update information on a web site that is always viewed.
  • private information such as unread mail may be displayed when only one user is detected.
  • information that may be shared with people on the spot such as a TV program that can be viewed now, may be displayed when a plurality of users are detected.
  • the action determination unit 104 When the distance to the user is equal to or smaller than the first distance (for example, when the user exists in the area A1 described with reference to FIG. 1), the action determination unit 104 performs an action for requesting a user response to the user. It may be determined as an action. According to such a configuration, it is possible to start a conversation with a user closer to the information processing apparatus 1 more smoothly.
  • the action determination unit 104 may determine an action that does not require a user response as an action to the user when the distance to the user is greater than the first distance.
  • the action determination unit 104 determines that the user response when the distance to the user is greater than the first distance and equal to or less than the second distance (for example, when the user exists in the area A2 described with reference to FIG. 1). Display that does not ask for may be determined as an action to the user.
  • the action determination unit 104 receives a user response when the distance to the user is greater than the second distance and equal to or less than the third distance (for example, when the user exists in the area A3 described with reference to FIG. 1). An utterance that does not ask for may be determined as an action to the user.
  • the action determining unit 104 determines an action for requesting a user response as an action to the user when the user's utterance is predicted by the utterance predicting unit 102 and the user is specified as the target user by the user managing unit 103. Also good. According to such a configuration, it is possible to start a conversation more smoothly with a user whose utterance is already predicted.
  • the action determination unit 104 may determine an action based on the distance from the target user.
  • the action determination unit 104 may determine an action for the user based on the user type classified by the user management unit 103. For example, the action determination unit 104 may determine an action for the user according to the distance to the user having the smallest distance from the user among the users classified into the predetermined type.
  • the action determination unit 104 may determine an action based on the attention score. For example, when the user whose attention score is a predetermined value or more is a target user, the action determination unit 104 may determine an action for requesting a user response as an action for the user.
  • the action determination unit 104 may determine an action based on user attribute information managed by the user management unit 103. For example, when there is a user having a predetermined attribute among the detected users, the action determination unit 104 may determine an action that does not require a user response as an action to the user.
  • the user having the predetermined attribute may be a user who preferably does not give the operation authority of the information processing apparatus 1, for example, a known user or a guest user. According to such a configuration, for example, it is possible to restrict the operation of the information processing apparatus 1 by a person other than the family user.
  • the action determination unit 104 provides the output control unit 107 with action information related to the determined action. Further, when the determined action is an action for requesting a user response, the action determination unit 104 may notify the voice recognition unit 105 that the determined action is an action for requesting a user response. .
  • the voice recognition unit 105 recognizes the user's voice collected by the sound collection unit 12 to be described later, converts the voice into a character string, and acquires the utterance text.
  • the voice recognition unit 105 can also identify a person who is speaking based on the characteristics of the voice, and can estimate the source of the voice, that is, the direction of the speaker.
  • the voice recognition unit 105 may notify the utterance prediction unit 102 that the activation word has been detected. Note that the voice recognition unit 105 may detect the activation word more robustly against noise compared to other utterance texts.
  • the speech recognition unit 105 may start speech recognition other than the activation word when the action determination unit 104 determines an action for requesting a user response as an action to the user. According to such a configuration, the voice recognition unit 105 can smoothly recognize an utterance response made by the user after the action is output.
  • the semantic analysis unit 106 performs semantic analysis on the uttered text acquired by the speech recognition unit 105 using natural language processing or the like. The result of semantic analysis by the semantic analysis unit 106 is provided to the output control unit 107.
  • the output control unit 107 controls a speaker 13, a projection unit 16, and a light emitting unit 18 which will be described later, and outputs an action to the user determined by the action determination unit 104.
  • the output control unit 107 may control the speaker 13 to output a speech utterance as an action, or may control the projection unit 16 to output a message or information display as an action.
  • the output control unit 107 may output an action to the target user specified by the user management unit 103. Further, when an action is output to the user, the output control unit 107 may provide the user management unit 103 with the output action information and the user information with the action output.
  • the output control unit 107 controls output related to tasks such as a response to the user's utterance and an operation requested by the user in accordance with the semantic analysis result provided from the semantic analysis unit 106.
  • tasks such as a response to the user's utterance and an operation requested by the user in accordance with the semantic analysis result provided from the semantic analysis unit 106.
  • the user's utterance is for “tomorrow's weather”
  • information on “tomorrow's weather” is acquired from a weather forecast server on the network, and the speaker 13, the projection unit 16, or the light emitting unit 18 is controlled.
  • To output the acquired information it may be considered that the task is completed at the time when the information related to “Tomorrow's weather” is output.
  • the communication unit 11 transmits / receives data to / from an external device.
  • the communication unit 11 is connected to a predetermined server (not shown) via a communication network (not shown), and receives information necessary for output control by the output control unit 107.
  • the sound collection unit 12 has a function of collecting peripheral sound and outputting the sound as a sound signal to the control unit 10.
  • the sound collection unit 12 may be realized by, for example, one or a plurality of microphones.
  • the speaker 13 has a function of converting a sound signal into sound according to the control of the output control unit 107 and outputting the sound.
  • the camera 14 has a function of capturing the periphery with an imaging lens provided in the information processing apparatus 1 and outputting the captured image to the control unit 10.
  • the camera 14 may be realized by, for example, a 360 degree camera or a wide angle camera.
  • the distance measuring sensor 15 has a function of measuring the distance between the information processing apparatus 1 and the user or a person around the user.
  • the distance measuring sensor 15 is realized by, for example, an optical sensor (a sensor that measures a distance to an object based on phase difference information of light emission / light reception timing).
  • the projection unit 16 is an example of a display device and has a function of displaying an image by projecting (enlarged) an image on a wall or a screen.
  • the storage unit 17 stores a program and parameters for each component of the information processing apparatus 1 to function.
  • the storage unit 17 may store information related to the user such as user identification information and user attribute information, information related to actions such as output utterance content and display content, and the like.
  • the light-emitting unit 18 is realized by a light-emitting element such as an LED, and can control all lighting, partial lighting, blinking, or lighting position. For example, the light-emitting unit 18 can make it look as if the line of sight of the speaker is directed by turning on a part of the direction of the speaker recognized by the voice recognition unit 105 according to the control of the control unit 10.
  • the configuration of the information processing apparatus 1 according to the present embodiment has been specifically described above.
  • the configuration of the information processing apparatus 1 illustrated in FIG. 2 is an example, and the present embodiment is not limited to this.
  • the information processing apparatus 1 may further include an IR (infrared) camera, a depth camera, a stereo camera, a human sensor, or the like in order to acquire information related to the surrounding environment.
  • the information processing apparatus 1 may further include a touch panel display, a physical button, or the like as a user interface.
  • the installation positions of the sound collection unit 12, the speaker 13, the camera 14, the light emitting unit 18, and the like provided in the information processing apparatus 1 are not particularly limited.
  • each function of the control unit 10 according to the present embodiment may be included in another information processing apparatus connected via the communication unit 11.
  • FIG. 4 and 5 are flowcharts showing an operation example of the information processing apparatus 1 according to the present embodiment.
  • the control unit 10 repeats the user detection process until a user is detected from around the information processing apparatus 1 (S110).
  • the number of detected users is one (YES in S110 and YES in S120)
  • the utterance prediction unit 102 predicts the user's utterance (YES in S130)
  • the action for requesting the user's response is specified.
  • Are output and voice recognition is started (S140).
  • the prediction of the user's utterance is not limited to the prediction based on the action of conveying the user's explicit dialogue intention, but as described above, the prediction based on the user's gaze, the distance to the user, and the moving speed of the user. There may be.
  • the process may return to step S110.
  • the process is ended. If the task has not ended and the user's utterance has not ended (NO in S150 and NO in S160), voice recognition is continued until the task ends. On the other hand, if the task has not ended but the user's utterance has ended (NO in S150 and YES in S160), the process ends. Whether or not the user's utterance has ended may be determined by, for example, the control unit 10, and the control unit 10 ends the user's utterance when the silent period continues for a predetermined time (for example, 15 seconds). May be determined.
  • the user recognition unit 101 and the user management unit 103 identify the user (S210 shown in FIG. 5). Subsequently, the user management unit 103 identifies the attention score described with reference to FIG. 3 for each user (S220), and identifies the user with the highest attention score as the target user (S230). Note that when the utterance prediction unit 102 predicts a user's utterance based on an action (such as an utterance of an activation word) that conveys an explicit intention of dialogue by the user, the user is identified as a target user in step S230. May be.
  • an action for requesting a user's response is specified by the action determination unit 104, the action is output under the control of the output control unit 107, and voice recognition is started (S240).
  • the process is terminated. If the task has not ended and the user's utterance has not ended (NO in S250 and NO in S260), the process returns to step S210 while the speech recognition continues. On the other hand, if the task has not ended but the user's utterance has ended (NO in S250 and YES in S260), the process ends. Note that whether or not the user's utterance has ended may be determined by the control unit 10 as described above.
  • Operation example 2 In the operation example 1 described above, the operation example in the case where the action for obtaining the user's response is performed based on the prediction of the utterance and the speech recognition is started has been described. Subsequently, in an operation example 2 described below, a specific example of an action according to the distance from the user will be specifically described.
  • FIGS. 6 and 7 are flowcharts illustrating an operation example of the information processing apparatus 1 when only one user exists around the information processing apparatus 1 according to the present embodiment.
  • the control unit 10 detects and identifies a user (S302). If the user management unit 103 determines that the state in which the user is gazing at the information processing apparatus 1 (is_watching) has continued for a predetermined time or longer (YES in S304), the process proceeds to step S306. On the other hand, when it is not determined that the state in which the user is watching the information processing apparatus 1 (is_watching) has continued for a predetermined time or longer (NO in S304), for example, the process ends.
  • step S306 when the user management unit 103 determines that the user is a family user (YES in S306), the process proceeds to step S308. On the other hand, if the user management unit 103 determines that the user is not a family user, the process proceeds to step S350 in FIG.
  • step S310 If the action determining unit 104 determines that the user exists in the area A1 (YES in S308), whether or not the user management unit 103 has not asked the user for a predetermined time in step S310. Is determined. If the user has not been asked for a message for a predetermined time (YES in S310), the output control unit 107 displays a message for listening to the message, and voice recognition by the voice recognition unit 105 is started (S312).
  • the processing after the voice recognition is started may be the same as the processing in steps S150 and S160 described with reference to FIG. 4, and the description is omitted.
  • step S310 if the user has been asked for a message for a predetermined time (NO in S310), the process ends.
  • step S316 the control unit 10 determines whether or not there is recommended information (information that can be presented) to the user. If there is no recommended information (NO in S316), the process ends. If there is recommended information (YES in S316), the output control unit 107 displays the recommended information (S318).
  • step S322 the user management unit 103 determines whether or not the user has been greeted for a predetermined time. If the user has not been asked for a message for a predetermined time (YES in S322), the output control unit 107 outputs a greeting by voice utterance to the user (S324). In step S322, if the user is greeted for a predetermined time (NO in S322), the process ends.
  • step S306 when the user management unit 103 determines that the user is not a family user (NO in S306), the process proceeds to step S350 illustrated in FIG.
  • step S354 When the user management unit 103 determines that the user is a known user and the action determination unit 104 determines that the user exists in any of the areas A1 to A3 (YES in S350 and YES in S352), processing Advances to step S354. Since the processes of steps S354 and S356 are the same as the processes of steps S322 and S324, description thereof will be omitted. On the other hand, when it is determined that the user does not exist in any of areas A1 to A3 (NO in S352), the process ends.
  • step S354 When the user management unit 103 determines that the user is a known user and the action determination unit 104 determines that the user exists in any of the areas A1 to A3 (YES in S350 and YES in S352), processing Advances to step S354. Since the processes of steps S354 and S356 are the same as the processes of steps S322 and S324, description thereof will be omitted.
  • step S350 If the user management unit 103 determines that the user is neither a family user nor a known user (a guest user) (NO in step S350), the process proceeds to step S358.
  • step S358 if the action determining unit 104 determines that the user exists in the area A1 or A2 (YES in S358), the output control unit 107 performs unidirectional utterance output to the user ( S360), the process ends.
  • the example of the content which the information processing apparatus 1 murmurs is shown below. The following examples may be spoken one by one, for example.
  • step S358 determines in step S358 that the user does not exist in the area A1 or A2 (NO in S358), the process ends.
  • FIGS. 8 to 10 are explanatory diagrams showing scenes in which a plurality of family users exist around the information processing apparatus 1. 8 to 10, there are family users X, Y, and Z around the information processing apparatus 1. Moreover, the family users X and Y are watching the information processing apparatus 1, and the family user Z is not watching the information processing apparatus 1 but watching the television receiver 8, for example. In the following description, FIGS. 8 to 10 will be referred to as appropriate.
  • FIGS. 11 to 14 are flowcharts showing an operation example of the information processing apparatus 1 according to the present embodiment in any of the scenes shown in FIGS.
  • the user recognition unit 101 and the user management unit 103 identify family users X, Y, and Z, respectively (S402).
  • the user management unit 103 classifies the types of family users X, Y, and Z as existing users (S402).
  • the state of the family user X is first is_watching (S406), then the state of the family user Y is is_watching (S408), and the face of the family user Z is not detected (not_watching ) Assume that the state (S410) is determined. Subsequently, when it is determined that the state of the family user X has continued for a predetermined time (for example, 2 seconds) while being is_watching (S412), the types of the family users X and Y that are in the is_watching state are classified as gaze users. (S414). When a predetermined time (for example, 1 minute) has passed while the face of the family user Z is not detected (not_watching), the family user Z may be deleted from the existing users.
  • a predetermined time for example, 1 minute
  • the gaze user includes a guest user.
  • the gaze user does not include the guest user. It is determined (S416). Note that an example in which a guest user is included as a gaze user will be described with reference to FIGS.
  • step S420 when someone who is a gaze user exists in area A1 (YES in S418), the process proceeds to step S420 in FIG.
  • the output control unit 107 sends a business to the family user X and family user Y.
  • a message to be heard is displayed, and voice recognition by the voice recognition unit 105 is started (S424).
  • the output control unit 107 is used for the family user X.
  • a message for listening to the message is displayed, and voice recognition by the voice recognition unit 105 is started (S426).
  • the output control unit 107 is used for the family user Y.
  • a message for listening to the message is displayed, and voice recognition by the voice recognition unit 105 is started (S430).
  • the process ends.
  • step S440 when there is no watched user in area A1 (NO in S418), the process proceeds to step S440 in FIG.
  • step S440 when someone who is a gaze user exists in area A2 (YES in S440), the process proceeds to step S442.
  • steps S422 and S444 are the same as the processes in steps S316 and S318 in FIG.
  • step S460 if there is no gaze user in area A3 (NO in S460), the process ends. If some of the gaze users exist in area A3 (YES in S460), the process proceeds to step S462.
  • the output control unit 107 When not greeting both the family user X and the family user Y within a predetermined time (YES in S462 and YES in S464), the output control unit 107 greets the family user X and family user Y by voice utterance. Is output (S466). Further, when the user is not greeted within the predetermined time but is greeted with the family user Y (YES in S462 and NO in S464), the output control unit 107 greets the family user X by voice utterance. Is output (S468). Further, when greeting the family user X within a predetermined time but not greeting the family user Y (NO in S462 and YES in S470), the output control unit 107 greets the family user Y by voice utterance. Is output (S472). Further, when both the family user X and the family user Y have been asked for the business within a predetermined time (NO in S462 and NO in S470), the process ends.
  • FIG. 15 is an explanatory diagram showing a scene in which a family user and a guest user exist around the information processing apparatus 1.
  • a family user X and guest users P and Q exist around the information processing apparatus 1.
  • the family user X and the guest users P and Q are watching the information processing apparatus 1.
  • FIG. 15 will be referred to as appropriate.
  • FIG. 16 is a flowchart showing an operation example of the information processing apparatus 1 according to the present embodiment in the scene shown in FIG.
  • guest users P and Q are recognized (S502).
  • the users P and Q are detected by the user recognition unit 101, and the attributes of the users P and Q are specified as a guest user by the user management unit 103.
  • the family user X is identified by the user recognition unit 101 and the user management unit 103 (S504).
  • the user management unit 103 classifies the types of guest users P and Q and family user X into existing users (S506).
  • the status is is_watching in the order of the guest users P and Q and the family user X (S508 to S512). Furthermore, when it is determined that the state of the guest user P has continued for a predetermined time (for example, 2 seconds) while being is_watching (S514), the types of the guest users P and Q and the family user X who are in the is_watching state (S516).
  • a predetermined time for example, 2 seconds
  • the gaze user includes a guest user.
  • the guest users P and Q are classified as gaze users, it is determined that the gaze user includes the guest user. (S518).
  • step S522 the processing in step S522 is the same as the processing in step S360, and thus the description thereof is omitted.
  • the process ends.
  • the operation example in the case where a family user and a guest user exist around the information processing apparatus 1 has been described above.
  • the information processing apparatus 1 other than a family user is determined by determining an action (tweet utterance) that does not require a user response as an action to the user. Can be restricted.
  • an action to the user may be determined based on the user's gaze time. For example, if the gaze time is within the first period (for example, 1 second), the greeting will be given. If the gaze time is greater than the first period and within the second period (for example, 3 seconds), the message will be heard. An action such as explaining how to use it within a third period (for example, 5 seconds) may be determined.
  • the action to the user may be determined based on the speed at which the user approaches the main body. For example, if the speed at which the user approaches the main body is within the first speed (for example, 2 km / h), the greeting is given. If the speed is greater than the first speed and within the second speed (for example, 3 km / h), the message is heard. , Etc. may be determined. Further, if the speed at which the user approaches the main body is greater than the second speed and within the third speed, voice recognition may be started immediately without outputting an action.
  • the speed at which the user approaches the main body is within the first speed (for example, 2 km / h)
  • the greeting is given.
  • the speed is greater than the first speed and within the second speed (for example, 3 km / h)
  • the message is heard.
  • Etc. may be determined.
  • voice recognition may be started immediately without outputting an action.
  • the information processing apparatus 1 may estimate a user's requirement based on the user's information and output a display or utterance related to confirmation of the estimated requirement. For example, for a user who confirms the next day's schedule at a predetermined time every day, the information processing apparatus 1 estimates that the user's business is confirmation of the next day's schedule and displays the next day's schedule while You may display the message which confirms whether a matter is correct. According to such a configuration, a smoother dialog with the user is realized.
  • the information processing apparatus 1 may output an utterance such as “wait for a while until the conversation with the previous user ends” to a user who is not the target user.
  • the information processing apparatus 1 has not yet started a conversation with a user who is not the target user, but outputs that indicates that the user has an intention to interact (for example, the light emitting unit 18 indicates the direction of the user). Etc.) may be performed.
  • Hardware configuration example >> The embodiment of the present disclosure has been described above. Information processing such as user recognition processing, utterance prediction processing, user management processing, action determination processing, speech recognition processing, semantic analysis processing, and output control processing described above is realized by cooperation between software and the information processing apparatus 1. .
  • the hardware structural example of the information processing apparatus 1000 is demonstrated as a hardware structural example of the information processing apparatus 1 which is the information processing apparatus which concerns on this embodiment.
  • FIG. 17 is an explanatory diagram illustrating an example of a hardware configuration of the information processing apparatus 1000.
  • the information processing apparatus 1000 includes a CPU (Central Processing Unit) 1001, a ROM (Read Only Memory) 1002, a RAM (Random Access Memory) 1003, an input device 1004, and an output device 1005.
  • the CPU 1001 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 1000 according to various programs. Further, the CPU 1001 may be a microprocessor.
  • the ROM 1002 stores programs, calculation parameters, and the like used by the CPU 1001.
  • the RAM 1003 temporarily stores programs used in the execution of the CPU 1001, parameters that change as appropriate during the execution, and the like. These are connected to each other by a host bus composed of a CPU bus or the like.
  • the function of the control unit 10 is realized mainly by the cooperation of the CPU 1001, the ROM 1002, the RAM 1003, and the software.
  • the input device 1004 is an input means for a user to input information, such as a mouse, keyboard, touch panel, button, microphone, switch, and lever, and an input control circuit that generates an input signal based on the input by the user and outputs it to the CPU 1001 Etc.
  • a user of the information processing apparatus 1000 can input various data and instruct a processing operation to the information processing apparatus 1000 by operating the input device 1004.
  • the output device 1005 includes a display device such as a liquid crystal display (LCD) device, an OLED device, a see-through display, and a lamp. Furthermore, the output device 1005 includes an audio output device such as a speaker and headphones. For example, the display device displays a captured image, a generated image, and the like. On the other hand, the audio output device converts audio data or the like into audio and outputs it.
  • the output device 1005 corresponds to, for example, the speaker 13, the projection unit 16, and the light emitting unit 18 described with reference to FIG.
  • the storage device 1006 is a device for storing data.
  • the storage device 1006 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 1006 stores programs executed by the CPU 1001 and various data.
  • the storage device 1006 corresponds to the storage unit 17 described with reference to FIG.
  • the imaging apparatus 1007 includes an imaging optical system such as a photographing lens that collects light and a zoom lens, and a signal conversion element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the imaging optical system collects light emitted from the subject and forms a subject image in the signal conversion unit, and the signal conversion element converts the formed subject image into an electrical image signal.
  • the imaging device 1007 corresponds to the camera 14 described with reference to FIG.
  • the communication device 1008 is a communication interface composed of, for example, a communication device for connecting to a communication network.
  • the communication device 1008 may include a wireless LAN (Local Area Network) compatible communication device, an LTE (Long Term Evolution) compatible communication device, a wire communication device that performs wired communication, or a Bluetooth (registered trademark) communication device.
  • the communication device 1008 corresponds to, for example, the communication unit 11 described with reference to FIG.
  • each step in the above-described embodiment does not necessarily have to be processed in time series in the order described as a flowchart.
  • each step in the processing of the above embodiment may be processed in an order different from the order described as the flowchart diagram or may be processed in parallel.
  • the distance to the user is the distance between the information processing apparatus and the user has been described, but the present disclosure is not limited to such an example.
  • the distance from the user may be the distance from the other terminal to the user.
  • An action determining unit that determines an action to the user based on a distance to the user;
  • An output control unit for outputting the action;
  • An information processing apparatus comprising: (2) The distance to the user is the information processing apparatus according to (1), which is a distance between the information processing apparatus and the user. (3) The information processing apparatus according to (1) or (2), further including a user management unit that identifies a target user as a target of the action. (4) The information processing apparatus according to (3), wherein the user management unit identifies the target user based on the state of the user.
  • the information processing apparatus (5) The information processing apparatus according to (4), wherein the user management unit identifies the target user based further on a distance from the user or a duration of the state of the user. (6) The user management unit classifies the user into a plurality of types based on the state of the user, The information processing apparatus according to any one of (3) to (5), wherein the action determination unit determines an action for the user based further on a classified user type. (7) The information processing apparatus according to (6), wherein the action determination unit determines an action according to a distance to a user having the smallest distance from the user among users classified into a predetermined type. (8) The information processing apparatus according to (7), wherein the user management unit specifies the target user based on a user classified into the predetermined type.
  • the information processing apparatus according to any one of (1) to (12), further including a voice recognition unit that starts voice recognition according to the action determined by the action determination unit.
  • the action determination unit determines an action for obtaining a response of the user as an action to the user when the distance to the user is equal to or less than a first distance. Any one of (1) to (13) The information processing apparatus according to claim 1.
  • the information processing unit determines, as an action to the user, a display that does not require the user's response when the distance to the user is equal to or less than a second distance. apparatus.
  • the action determining unit determines an utterance not requiring the user's response as an action to the user when the distance to the user is greater than the second distance and equal to or less than a third distance;
  • the information processing apparatus according to (16).
  • the processor determines an action for the user based on the distance to the user; Outputting the action;
  • An information processing method including: (19) On the computer, A function of determining an action to the user based on a distance to the user; A function for outputting the action;

Abstract

【課題】よりユーザの意思に沿ったアクションを出力することが可能な、情報処理装置、情報処理方法、及びプログラムを提供する。 【解決手段】ユーザとの距離に基づいて、前記ユーザへのアクションを決定するアクション決定部と、前記アクションを出力させる出力制御部と、を備える情報処理装置。

Description

情報処理装置、情報処理方法、及びプログラム
　本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
　ユーザへの発話や情報提供等のアクションを出力するロボットが知られている。例えば、特許文献１には、周辺環境に応じて、ユーザへのアクションを制御するロボットが開示されている。
特開２００８－２５４１２２号公報
　上記のようなロボット（情報処理装置の一例）においては、よりユーザの意思に沿ったアクションを出力することが望まれている。
　本開示によれば、ユーザとの距離に基づいて、前記ユーザへのアクションを決定するアクション決定部と、前記アクションを出力させる出力制御部と、を備える情報処理装置が提供される。
　また、本開示によれば、ユーザとの距離に基づいて、前記ユーザへのアクションをプロセッサが決定することと、前記アクションを出力させることと、を含む情報処理方法が提供される。
　また、本開示によれば、コンピュータに、ユーザとの距離に基づいて、前記ユーザへのアクションを決定する機能と、前記アクションを出力させる機能と、を実現させるための、プログラムが提供される。
　以上説明したように本開示によれば、よりユーザの意思に沿ったアクションを出力することが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理装置の概要を説明するための説明図である。 同実施形態による情報処理装置１の構成の一例を示すブロック図である。 ユーザ管理部１０３によるアテンションスコアの特定例を示す表である。 同実施形態による情報処理装置１の動作例を示すフローチャート図である。 同実施形態による情報処理装置１の動作例を示すフローチャート図である。 同実施形態による情報処理装置１の周囲にユーザが１名のみ存在する場合の、情報処理装置１の動作例を示すフローチャート図である。 同実施形態による情報処理装置１の周囲にユーザが１名のみ存在する場合の、情報処理装置１の動作例を示すフローチャート図である。 同実施形態による情報処理装置１の周囲に複数の家族ユーザが存在するシーンを示す説明図である。 同実施形態による情報処理装置１の周囲に複数の家族ユーザが存在するシーンを示す説明図である。 同実施形態による情報処理装置１の周囲に複数の家族ユーザが存在するシーンを示す説明図である。 図８～１０に示すシーンにおける、同実施形態による情報処理装置１の動作例を示すフローチャート図である。 図８～１０に示すシーンにおける、同実施形態による情報処理装置１の動作例を示すフローチャート図である。 図８～１０に示すシーンにおける、同実施形態による情報処理装置１の動作例を示すフローチャート図である。 図８～１０に示すシーンにおける、同実施形態による情報処理装置１の動作例を示すフローチャート図である。 同実施形態による情報処理装置１の周囲に家族ユーザとゲストユーザが存在するシーンを示す説明図である。 図１５に示すシーンにおける、同実施形態による情報処理装置１の動作例を示すフローチャート図である。 ハードウェア構成例を示す説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　＜＜１．概要＞＞
　＜＜２．構成例＞＞
　＜＜３．動作＞＞
　　＜３－１．動作例１＞
　　＜３－２．動作例２＞
　＜＜４．変形例＞＞
　　＜４－１．変形例１＞
　　＜４－２．変形例２＞
　　＜４－３．変形例３＞
　＜＜５．ハードウェア構成例＞＞
　＜＜６．むすび＞＞
　＜＜１．概要＞＞
　ユーザへのアクションを出力するロボット（情報処理装置の一例）が知られている。ロボットがユーザに対して行うアクションとしては、例えばユーザへの発話や、ユーザへの表示等が含まれる。またアクションは、例えばユーザの用件を聞く内容（「何か御用はありますか？」等）の発話または表示を含んでもよいし、挨拶やつぶやきのような、ユーザ応答を求めない発話または表示を含んでもよい。
　上記のようなロボットはユーザの意思に沿ったアクションを出力することが望ましい。例えば、ユーザがロボットに対する用件を有しないにも関わらず、ユーザの用件を伺う発話が行われると、ユーザは不快に感じる恐れがある。
　そこで、上記事情を一着眼点にして本実施形態を創作するに至った。本実施形態によれば、ユーザとの距離に基づいてアクションを決定することで、よりユーザの意思に沿ったアクションを出力することが可能である。以下、このような効果を有する本実施形態に係る情報処理装置の概要について、図１を参照して説明する。
　図１は、本開示の一実施形態に係る情報処理装置の概要を説明するための説明図である。図１に示す情報処理装置１は、周囲のユーザを検出し、音声によるユーザへの発話や、ユーザへの表示等のアクションを出力する。また、情報処理装置１は、ユーザの発話（ユーザ応答の一例）に対して音声認識・意味解析を行い、音声または表示による応答を行うことが可能な音声ＵＩエージェント機能を有する。ユーザの発話と、情報処理装置１による応答による一連の対話を、以下ではタスクと呼ぶ場合がある。
　情報処理装置１は、情報処理装置１から図１に示す距離Ｄ１までの範囲において、ユーザの音声を認識することが可能であり、また、ユーザ（人物）を識別することが可能である。距離Ｄ１は、例えば３００ｃｍであってもよい。また、情報処理装置１は、情報処理装置１から図１に示す距離Ｄ２までの範囲において、ユーザ（人物）を検出することが可能である。距離Ｄ２は、例えば５００ｃｍであってもよい。
　情報処理装置１の外観は特に限定しないが、例えば図１に示すような円柱形状であってもよく、部屋の床やテーブルの上等に設置される。また、情報処理装置１には、ＬＥＤ（Light Emitting Diode）等の発光素子により形成された発光部１８が側面の水平方向中央領域を囲むよう帯状に設けられている。情報処理装置１は、発光部１８の全体を光らせたり、一部を光らせたりすることで、ユーザに対して情報処理装置１の状態を知らせることが可能である。例えば情報処理装置１は、ユーザと対話している際は発光部１８においてユーザの方向すなわち発話者方向を一部光らせることで、対話中のユーザに視線を向けているように見せることができる。また、情報処理装置１は、応答生成中やデータ検索中は発光部１８で光が側面上を回っているように制御することで、処理中であることをユーザに知らせることができる。また、情報処理装置１は、例えば図１に示すように壁８０に画像を投影して表示する機能を有し、音声によるアクションの出力（発話）の他、表示によるアクションの出力が可能である。
　図１に示す情報処理装置１は例えば、情報処理装置１とユーザとの間の距離に基づいて、ユーザへのアクションを決定して、出力する。例えば、情報処理装置１は、情報処理装置１から第一の距離以下であるエリアＡ１に存在するユーザＵ１へ、ユーザＵ１の用件を聞くメッセージ６２（例えば、「何か御用はありますか？」等）を表示してもよい。また、情報処理装置１は、情報処理装置１から第一の距離より大きく、第二の距離以下であるエリアＡ２に存在するユーザＵ２へ、お勧め情報等の情報提示するためのメッセージ６４を表示してもよい。また、情報処理装置１は、情報処理装置１から第二の距離より大きく、第三の距離以下であるエリアＡ３に存在するユーザＵ３へ、挨拶等の応答を求めない発話を出力してもよい。
　ここで、第三の距離は、ユーザの音声を認識することが可能な距離Ｄ１であってもよい。音声を認識することが不可能なエリアＡ４に存在するユーザにアクションを出力した場合、当該ユーザが応答しても情報処理装置１は音声を認識することが出来ない恐れがある。そこで、情報処理装置１は、音声を認識することが不可能なエリアＡ４に存在するユーザＵ４、Ｕ５へ、アクションを出力しなくてもよい。
　なお、例えば、上記第一の距離は８０ｃｍであってもよく、第二の距離は２００ｃｍであってもよく、第三の距離は３００ｃｍであってもよい。
　このように、本実施形態による情報処理装置１は、情報処理装置１とユーザとの距離に基づいて決定されるアクションを出力することが可能である。情報処理装置１とユーザとの距離は、ユーザの意思を示していると考えられ、例えば、より情報処理装置１に近いユーザは、情報処理装置１に対する用件があるかもしれない。したがって、係る構成によれば、よりユーザの意思に沿ったアクションを出力することが可能である。
　以上、本開示の一実施形態による情報処理装置１の概要について説明した。なお、情報処理装置１の形状は図１に示す円柱形状に限定されず、例えば立方体、球体、多面体等であってもよい。続いて、本開示の第一の実施形態による情報処理装置１の構成例について順次説明する。
　＜＜２．構成例＞＞
　図２は、本実施形態による情報処理装置１の構成の一例を示すブロック図である。図２に示すように、情報処理装置１は、制御部１０、通信部１１、収音部１２、スピーカ１３、カメラ１４、測距センサ１５、投影部１６、記憶部１７、及び発光部１８を有する。
　制御部１０は、情報処理装置１の各構成を制御する。また、本実施形態による制御部１０は、図２に示すように、ユーザ認識部１０１、発話予測部１０２、ユーザ管理部１０３、アクション決定部１０４、音声認識部１０５、意味解析部１０６、及び出力制御部１０７としても機能する。
　ユーザ認識部１０１は、情報処理装置１の周囲に存在するユーザの検出と識別を行う。例えば、ユーザ認識部１０１は、カメラ１４により取得される画像、及び測距センサ１５により取得される距離に基づき、周知の顔検出技術、人物検出技術等を用いて、ユーザの検出を行う。また、ユーザ認識部１０１は、カメラ１４により取得される画像に基づき、周知の顔認識技術等を用いて、ユーザの識別を行う。例えば、ユーザ認識部１０１は、記憶部１７に記憶される既知のユーザの識別情報と、画像において検出されたユーザから抽出される情報とのマッチングにより、ユーザの識別を行ってもよい。
　ユーザ認識部１０１は、ユーザが検出された場合、検出されたユーザの数、及びユーザの位置等の情報を発話予測部１０２に提供する。また、ユーザ認識部１０１は、ユーザが検出された場合、検出されたユーザの数、ユーザの識別により得られる識別情報をユーザ管理部１０３に提供する。
　発話予測部１０２はユーザ認識部１０１により検出されたユーザに対して、ユーザの発話予測（例えば、ユーザに情報処理装置１との対話意思があることの予測）を行う。発話予測部１０２によるユーザの発話予測は、多様な方法で行われ得る。
　例えば、発話予測部１０２は、ユーザによる明示的な対話意思を伝える行動に基づいて、ユーザの発話を予測してもよい。例えば、発話予測部１０２は、後述する収音部１２により収音されたユーザの音声から、所定の起動ワード（例えば、「Hello　Agent」等）を検出した場合に、ユーザの発話を予測してもよい。また、発話予測部１０２は、ユーザが情報処理装置１に触れたことが不図示のタッチセンサや物理ボタンによって検出された場合に、ユーザの発話を予測してもよい。なお、発話予測部１０２は、ユーザ認識部１０１によりユーザが検出されていない場合であっても、ユーザが情報処理装置１に触れたことが検出された場合に、ユーザの発話を予測してもよい。また、発話予測部１０２は、後述するカメラ１４や測距センサ１５により得られたデータに基づいて、ユーザが手を振っていることを検出した場合に、ユーザの発話を予測してもよい。また、発話予測部１０２は、後述するカメラ１４や測距センサ１５により得られたデータ、または収音部１２により収音された音に基づいて、ユーザが手を叩いたことを検出した場合にユーザの発話を予測してもよい。また、発話予測部１０２は、ユーザが情報処理装置１の目の前まで近づいた場合（例えば情報処理装置１とユーザとの距離が所定値以下の場合）に、ユーザの発話を予測してもよい。
　ところで、上記のような明示的な対話意思を伝える行動は、ユーザに負荷を与える恐れがある。例えば、所定の起動ワードの検出により発話が予測される場合、ユーザは本来の用件を発話する前に起動ワードを発話するため、発話負荷がかかる。また、ユーザが情報処理装置１に触れたことの検出により発話が予測される場合、ユーザは情報処理装置１に触れられる範囲に存在する必要があり、また、情報処理装置１に触れたり、操作することもユーザにとって負荷となり得る。
　そこで、本実施形態に係る発話予測部１０２は、上記のような明示的にユーザが情報処理装置１に対話意思を伝える行動を行わない場合であってもユーザの発話を予測してもよい。以下に説明するような発話予測例によれば、上記のように明示的にユーザが情報処理装置１に対話意思を伝える行動を行う場合と比べて、ユーザの負荷が軽減される。
　例えば、発話予測部１０２は、後述するカメラ１４や測距センサ１５により得られたデータに基づいて、ユーザの視線の方向、または顔の方向を推定してもよく、ユーザの視線、または顔が情報処理装置１に向いた（注視した）場合に、ユーザの発話を予測してもよい。また、発話予測部１０２は、ユーザの視線、または顔が情報処理装置１に所定時間以上向いた（注視した）場合に、ユーザの発話を予測してもよい。
　また、発話予測部１０２は、測距センサ１５により得られたユーザとの距離が所定値以下である場合に、ユーザの発話を予測してもよい。
　また、発話予測部１０２は、測距センサ１５により得られたデータに基づいて、ユーザの移動方向と速度を特定し、ユーザが所定値以上の速度で情報処理装置１に近づいた場合に、ユーザの発話を予測してもよい。
　また、発話予測部１０２は、ユーザとの一連の対話であるタスク（例えば、予定の登録、情報の検索等）が終了しているか否かを判定し、タスクが終了していない（途中である）場合に、ユーザの発話を予測してもよい。
　ユーザ管理部１０３は、ユーザ認識部１０１により検出されたユーザの識別情報に基づいて、ユーザに係る管理を行う。
　例えば、ユーザ管理部１０３は、ユーザの識別情報と、記憶部１７に記憶されるユーザの識別情報に基づいて、ユーザの属性情報を管理してもよい。ユーザの属性は、例えば、情報処理装置１を有する家庭に属する家族ユーザ、家族ユーザではないが記憶部１７にユーザ情報が記憶された既知ユーザ、記憶部１７にユーザ情報が記憶されていないゲストユーザのいずれかであってもよい。
　また、ユーザ管理部１０３は、ユーザ認識部１０１により、複数のユーザが検出された場合に、アクションの対象となるターゲットユーザを特定してもよい。ユーザ管理部１０３は、検出された複数のユーザのうち、一のユーザをターゲットユーザとして特定してもよいし、複数のユーザをターゲットユーザとして特定してもよい。
　ユーザ管理部１０３は、例えば、ユーザの状態に基づいて、検出されたユーザごとに情報処理装置１との対話意思を示すアテンションスコアを特定し、特定されたアテンションスコアに基づいてターゲットユーザを特定してもよい。
　図３は、ユーザ管理部１０３によるアテンションスコアの特定例を示す表である。図３に示すように、ユーザ管理部１０３は、ユーザの状態、ユーザとの距離、及び当該状態の継続時間（状態継続時間）に基づいて、アテンションスコアを特定してもよい。なお、図３において、is_watchingは、ユーザの視線、または顔が情報処理装置１に向いた（注視した）状態を表す。また、図３において、not_watchingは、ユーザの視線、または顔が情報処理装置１に向いていない（注視していない）状態を表す。
　ユーザ管理部１０３は、図３に示す表に従って、検出されたユーザごとにアテンションスコアを特定し、アテンションスコアが最も高いユーザをターゲットユーザとして特定してもよい。また、ユーザ管理部１０３は、検出された全てのユーザのアテンションスコアが０以下である場合に、ターゲットユーザなし（アクションの対象者なし）と、特定してもよい。
　なお、ユーザ管理部１０３によるターゲットユーザの特定は上記の例に限定されない。例えば、発話予測部１０２により、ユーザの発話が予測された場合に、当該ユーザをターゲットユーザとして特定してもよい。また、ユーザ管理部１０３は、ユーザの状態に基づいて、ユーザを複数の種別に分類し、分類されたユーザの種別に基づいて、ターゲットユーザを特定してもよい。係る例については、動作例２として後述する。
　また、ユーザ管理部１０３はユーザごとにアクションの出力情報を管理する。例えば、ユーザ管理部１０３は、後述する出力制御部１０７の制御により、ユーザへアクションが出力された場合、当該ユーザに当該アクションが出力された時刻を含む当該アクションの出力情報を記憶部１７に記憶させる。さらに、ユーザ管理部１０３は、当該出力情報に基づいて、ターゲットユーザを特定してもよい。例えば、所定時間以内に同一のユーザにアクション決定部１０４により決定されたアクションが出力されていた場合、当該ユーザをターゲットユーザとして特定しないことで、同一のアクションが同一のユーザに頻繁に出力されることを防ぐことが可能である。
　アクション決定部１０４は、ユーザとの距離に基づいて、ユーザへのアクションを決定する。例えば、アクション決定部１０４は、測距センサ１５により得られる情報処理装置１とユーザとの距離に基づいて、アクションを決定してもよい。
　アクション決定部１０４により決定されるアクションは、例えば、ユーザの用件を伺う表示や発話のように、ユーザ応答を求めるアクションであってもよく、情報提示や挨拶、またはつぶやきのように、ユーザ応答を求めないアクションであってもよい。
　なお、情報提示の内容は、例えば未読メール（未読メッセージ）、ソーシャルサービスの新着情報、いつも見ているＷＥＢサイトの更新情報等、個々のユーザに応じた情報でもよい。また、未読メール等のプライベートな情報は、ユーザが１名のみ検出された場合に表示されてもよい。また、今見れるテレビ番組等、その場にいる人に共有されてもよい情報は、ユーザが複数検出された場合に表示されてもよい。
　アクション決定部１０４は、ユーザとの距離が第一の距離以下である場合（例えば図１を参照して説明したエリアＡ１にユーザが存在する場合）に、ユーザ応答を求めるアクションを、ユーザへのアクションとして決定してもよい。係る構成によれば、より情報処理装置１に近いユーザと、よりスムーズに対話を開始することが可能である。
　また、アクション決定部１０４は、ユーザとの距離が第一の距離より大きい場合に、ユーザ応答を求めないアクションを、ユーザへのアクションとして決定してもよい。
　また、アクション決定部１０４は、ユーザとの距離が第一の距離より大きく、第二の距離以下の場合（例えば図１を参照して説明したエリアＡ２にユーザが存在する場合）に、ユーザ応答を求めない表示を、ユーザへのアクションとして決定してもよい。また、アクション決定部１０４は、ユーザとの距離が第二の距離より大きく、第三の距離以下の場合（例えば図１を参照して説明したエリアＡ３にユーザが存在する場合）に、ユーザ応答を求めない発話を、ユーザへのアクションとして決定してもよい。例えば情報処理装置１の出力機能において、表示によるアクションよりも発話によるアクションの方が、より遠くにいるユーザに認識されやすい場合に、係る構成によれば、ユーザへのアクションがユーザに認識されやすくなる。
　また、アクション決定部１０４は、発話予測部１０２によりユーザの発話が予測され、ユーザ管理部１０３により当該ユーザがターゲットユーザとして特定された場合、ユーザ応答を求めるアクションをユーザへのアクションとして決定してもよい。係る構成によれば、既に発話が予測されているユーザと、よりスムーズに対話を開始することが可能である。
　なお、ユーザ認識部１０１により複数のユーザが検出された場合、アクション決定部１０４は、ターゲットユーザとの距離に基づいて、アクションを決定してもよい。また、ユーザ認識部１０１により複数のユーザが検出された場合、アクション決定部１０４は、ユーザ管理部１０３により分類されたユーザの種別に基づいてユーザへのアクションを決定してもよい。例えば、アクション決定部１０４は、所定の種別に分類されたユーザのうち、ユーザとの距離が最も小さいユーザとの距離に応じて、ユーザへのアクションを決定してもよい。
　また、ユーザ管理部１０３が、図３を参照して説明したアテンションスコアに基づいてターゲットユーザを特定した場合、アクション決定部１０４は、アテンションスコアに基づいて、アクションを決定してもよい。例えば、アクション決定部１０４は、アテンションスコアが所定値以上のユーザがターゲットユーザである場合に、ユーザ応答を求めるアクションをユーザへのアクションとして決定してもよい。
　また、アクション決定部１０４は、ユーザ管理部１０３により管理されるユーザの属性情報に基づいてアクションを決定してもよい。例えば、アクション決定部１０４は、検出されたユーザの中に所定の属性を有するユーザが存在する場合、ユーザ応答を求めないアクションを、ユーザへのアクションとして決定してもよい。所定の属性を有するユーザは、例えば情報処理装置１の操作権限を与えないことが望ましいユーザであってもよく、例えば既知ユーザやゲストユーザであってもよい。係る構成によれば、例えば家族ユーザ以外による情報処理装置１の操作を制限することが可能である。
　アクション決定部１０４は、決定されたアクションに係るアクション情報を出力制御部１０７に提供する。また、アクション決定部１０４は、決定されたアクションが、ユーザ応答を求めるアクションである場合に、音声認識部１０５に、決定されたアクションが、ユーザ応答を求めるアクションであることを通知してもよい。
　音声認識部１０５は、後述する収音部１２により収音されたユーザの音声を認識し、文字列への変換を行い、発話テキストを取得する。また、音声認識部１０５は、音声の特徴に基づいて声を出している人を識別したり、音声の発生源、すなわち発話者の方向を推定したりすることも可能である。
　また、音声認識部１０５は、取得した発話テキストに所定の起動ワードが含まれている場合に、当該起動ワードが検出されたことを発話予測部１０２に通知してもよい。なお、音声認識部１０５は、起動ワードを、他の発話テキストと比較して雑音に対してより頑強に検出してもよい。
　また、音声認識部１０５は、アクション決定部１０４により、ユーザ応答を求めるアクションがユーザへのアクションとして決定された場合に、上記起動ワード以外の音声認識を開始してもよい。係る構成によれば、音声認識部１０５は、当該アクションが出力された後に行われるユーザによる発話応答を、スムーズに認識することが可能となる。
　意味解析部１０６は、音声認識部１０５により取得された発話テキストに対して自然言語処理等を用いて意味解析を行う。意味解析部１０６による意味解析の結果は、出力制御部１０７に提供される。
　出力制御部１０７は、後述するスピーカ１３、投影部１６、発光部１８を制御して、アクション決定部１０４により決定されたユーザへのアクションを出力させる。例えば、出力制御部１０７は、スピーカ１３を制御して、音声の発話をアクションとして出力させてもよいし、投影部１６を制御して、メッセージや情報の表示をアクションとして出力させてもよい。
　出力制御部１０７は、ユーザ管理部１０３により特定されたターゲットユーザにアクションを出力してもよい。また、出力制御部１０７は、ユーザへアクションを出力した場合、出力されたアクションの情報と、アクションが出力されたユーザの情報を、ユーザ管理部１０３に提供してもよい。
　また、出力制御部１０７は、意味解析部１０６から提供される意味解析結果に応じて、ユーザの発話に対する応答や、ユーザが求める動作等のタスクに係る出力を制御する。例えば、ユーザの発話が「明日の天気」を求めるものである場合、ネットワーク上の天気予報サーバから、「明日の天気」に関する情報を取得し、スピーカ１３、投影部１６、または発光部１８を制御して、取得した情報を出力させる。係る例では、「明日の天気」に関する情報が出力された時点で、タスクが終了したとみなされてもよい。
　通信部１１は、外部装置とデータの送受信を行う。例えば、通信部１１は、不図示の通信網を介して、不図示の所定サーバと接続し、出力制御部１０７による出力制御に必要な情報を受信する。
　収音部１２は、周辺の音声を収音し、音声信号として制御部１０に出力する機能を有する。また、収音部１２は、例えば１または複数のマイクロフォンにより実現されてもよい。
　スピーカ１３は、出力制御部１０７の制御に従って音声信号を音声に変換して出力する機能を有する。
　カメラ１４は、情報処理装置１に設けられた撮像レンズにより周辺を撮像し、撮像画像を制御部１０に出力する機能を有する。また、カメラ１４は、例えば３６０度カメラまたは広角カメラ等により実現されてもよい。
　測距センサ１５は、情報処理装置１とユーザやユーザの周辺に居る人物との距離を測定する機能を有する。測距センサ１５は、例えば光センサ（発光・受光タイミングの位相差情報に基づいて対象物までの距離を測定するセンサ）により実現される。
　投影部１６は、表示装置の一例であって、壁やスクリーンに画像を（拡大して）投影することで表示する機能を有する。
　記憶部１７は、情報処理装置１の各構成が機能するためのプログラムやパラメータを記憶する。例えば、記憶部１７は、ユーザの識別情報、ユーザの属性情報などのユーザに係る情報や、出力される発話内容、表示内容等のアクションに係る情報等を記憶してもよい。
　発光部１８は、ＬＥＤ等の発光素子により実現され、全灯、一部点灯、点滅、または点灯位置の制御等が可能である。例えば発光部１８は、制御部１０の制御に従って音声認識部１０５により認識された発話者の方向を一部点灯することで、発話者の方向に視線を向けているように見せることができる。
　以上、本実施形態による情報処理装置１の構成について具体的に説明した。なお、図２に示す情報処理装置１の構成は一例であって、本実施形態はこれに限定されない。例えば、情報処理装置１は、周辺環境に関する情報を取得するために、ＩＲ（infrared：赤外線）カメラ、深度カメラ、ステレオカメラ、または人感センサ等をさらに備えていてもよい。また、情報処理装置１は、ユーザインタフェースとして、タッチパネルディスプレイや物理ボタン等をさらに備えていてもよい。また、情報処理装置１に設けられる収音部１２、スピーカ１３、カメラ１４、及び発光部１８等の設置位置は特に限定されない。また、本実施形態による制御部１０の各機能は、通信部１１を介して接続される他の情報処理装置が有してもよい。
　＜＜３．動作＞＞
　続いて、本実施形態による情報処理装置１のいくつかの動作例について、図４～１６を参照して説明する。
　　＜３－１．動作例１＞
　まず、図４、５を参照し、ユーザ応答を求めるアクションが行われ、音声認識が開始される場合の動作例を動作例１として以下に説明する。
　図４、５は、本実施形態による情報処理装置１の動作例を示すフローチャート図である。図４に示すように、まず、制御部１０は、情報処理装置１の周囲からユーザが検出されるまで、ユーザ検出処理を繰り返す（Ｓ１１０）。検出されたユーザが１名の場合（Ｓ１１０においてＹＥＳ、かつＳ１２０においてＹＥＳ）に、発話予測部１０２により、ユーザの発話が予測されると（Ｓ１３０においてＹＥＳ）、ユーザの応答を求めるアクションが特定され、出力されて、音声認識が開始される（Ｓ１４０）。なお、ユーザの発話の予測は、ユーザによる明示的な対話意思を伝える行動に基づく予測に限定されず、上述したように、ユーザの注視や、ユーザとの距離、ユーザの移動速度に基づく予測であってもよい。本動作例においては、ユーザの発話が予測されない場合（Ｓ１３０においてＮＯ）、処理はステップＳ１１０に戻ってもよい。
　アクションが出力された後、ユーザの発話と、情報処理装置１による応答による一連の対話であるタスクが終了すると（Ｓ１５０においてＹＥＳ）、処理は終了する。また、タスクが終了しておらず、ユーザの発話が終了していない場合（Ｓ１５０においてＮＯかつＳ１６０においてＮＯ）は、タスクが終了するまで音声認識が継続される。一方、タスクが終了していないが、ユーザの発話が終了した場合（Ｓ１５０においてＮＯかつＳ１６０においてＹＥＳ）、処理は終了する。なお、ユーザの発話が終了したか否かは、例えば制御部１０により判定されてもよく、制御部１０は、無音期間が所定時間（例えば１５秒）継続した場合に、ユーザの発話が終了したと判定してもよい。
　また、ユーザ認識部１０１により、複数のユーザが検出された場合（Ｓ１２０においてＮＯ）、ユーザ認識部１０１、ユーザ管理部１０３は、ユーザの識別を行う（図５に示すＳ２１０）。続いて、ユーザ管理部１０３が、図３を参照して説明したアテンションスコアをユーザごとに特定し（Ｓ２２０）、アテンションスコアが最も高いユーザをターゲットユーザとして特定する（Ｓ２３０）。なお、発話予測部１０２が、ユーザによる明示的な対話意思を伝える行動（起動ワードの発話等）に基づいて、ユーザの発話を予測した場合には、ステップＳ２３０において当該ユーザがターゲットユーザとして特定されてもよい。
　続いて、アクション決定部１０４によりユーザの応答を求めるアクションが特定され、出力制御部１０７の制御により当該アクションが出力されて、音声認識が開始される（Ｓ２４０）。
　アクションが出力された後、ユーザの発話と、情報処理装置１による応答による一連の対話であるタスクが終了すると（Ｓ２５０においてＹＥＳ）、処理は終了する。また、タスクが終了しておらず、ユーザの発話が終了していない場合（Ｓ２５０においてＮＯかつＳ２６０においてＮＯ）、音声認識が継続されたまま、処理はステップＳ２１０に戻る。一方、タスクが終了していないが、ユーザの発話が終了した場合（Ｓ２５０においてＮＯかつＳ２６０においてＹＥＳ）、処理は終了する。なお、ユーザの発話が終了したか否かは、上述したように制御部１０により判定されてもよい。
　　＜３－２．動作例２＞
　上述した動作例１では、発話の予測に基づいて、ユーザの応答を求めるアクションが行われて、音声認識が開始される場合の動作例を説明した。続いて、以下に説明する動作例２では、ユーザとの距離に応じたアクションの特定の例について具体的に説明する。
　まず、図６，７を参照して、情報処理装置１により検出されるユーザが１名の場合の動作例について説明した後、図８～１６を参照して、情報処理装置１により検出されるユーザが複数の場合の動作例について説明する。
　図６、７は、本実施形態による情報処理装置１の周囲にユーザが１名のみ存在する場合の、情報処理装置１の動作例を示すフローチャート図である。図６に示すように、まず、制御部１０がユーザを検出し、識別する（Ｓ３０２）。ユーザ管理部１０３により、当該ユーザが情報処理装置１を注視している状態（is_watching）が所定時間以上継続したと判定された場合（Ｓ３０４においてＹＥＳ）、処理はステップＳ３０６に進む。一方、当該ユーザが情報処理装置１を注視している状態（is_watching）が所定時間以上継続したと判定されない場合（Ｓ３０４においてＮＯ）、例えば処理は終了する。
　ステップＳ３０６において、ユーザ管理部１０３により当該ユーザが家族ユーザであると判定された場合（Ｓ３０６においてＹＥＳ）、処理はステップＳ３０８に進む。一方、ユーザ管理部１０３により当該ユーザが家族ユーザではないと判定された場合、処理は図７のステップＳ３５０に進む。
　アクション決定部１０４により、当該ユーザがエリアＡ１に存在すると判定された場合（Ｓ３０８においてＹＥＳ）、ステップＳ３１０において、ユーザ管理部１０３により、当該ユーザに所定時間の間用件を聞いていないか否かが判定される。当該ユーザに所定時間の間用件を聞いていない場合（Ｓ３１０においてＹＥＳ）、出力制御部１０７は、用件を聞くメッセージを表示させ、音声認識部１０５による音声認識が開始される（Ｓ３１２）。なお、ここで、また以降において、音声認識が開始されて以降の処理は図４を参照して説明したステップＳ１５０、Ｓ１６０の処理と同様であってもよく、説明は省略される。ステップＳ３１０において、当該ユーザに所定時間の間に用件を聞いていた場合（Ｓ３１０においてＮＯ）、処理は終了する。
　アクション決定部１０４により、当該ユーザがエリアＡ２に存在すると判定された場合（Ｓ３０８においてＮＯかつＳ３１４においてＹＥＳ）、処理はステップＳ３１６に進む。ステップＳ３１６において、制御部１０が当該ユーザへのお勧め情報（情報提示可能な情報）の有無を判定する。お勧め情報がない場合（Ｓ３１６においてＮＯ）に処理は終了し、お勧め情報がある場合（Ｓ３１６においてＹＥＳ）、出力制御部１０７はお勧め情報を表示させる（Ｓ３１８）。
　アクション決定部１０４により、当該ユーザがエリアＡ３に存在すると判定された場合（Ｓ３０８においてＮＯかつＳ３１４においてＮＯかつＳ３２０においてＹＥＳ）、処理はステップＳ３２２に進む。ステップＳ３２２において、ユーザ管理部１０３により、当該ユーザに所定時間の間挨拶していないか否かが判定される。当該ユーザに所定時間の間用件を聞いていない場合（Ｓ３２２においてＹＥＳ）、出力制御部１０７は、当該ユーザへの音声発話による挨拶を出力させる（Ｓ３２４）。ステップＳ３２２において、当該ユーザに所定時間の間に挨拶していた場合（Ｓ３２２においてＮＯ）、処理は終了する。
　また、当該ユーザがエリアＡ１～Ａ３のいずれにも存在しない場合（Ｓ３０８においてＮＯかつＳ３１４においてＮＯかつＳ３２０においてＮＯ）、処理は終了する。
　ステップＳ３０６において、ユーザ管理部１０３により当該ユーザが家族ユーザではないと判定された場合（Ｓ３０６においてＮＯ）、処理は図７に示すステップＳ３５０に進む。
　ユーザ管理部１０３により当該ユーザが既知ユーザであると判定され、アクション決定部１０４により、当該ユーザがエリアＡ１～Ａ３のいずれかに存在すると判定された場合（Ｓ３５０においてＹＥＳかつＳ３５２においてＹＥＳ）、処理はステップＳ３５４に進む。ステップＳ３５４、Ｓ３５６の処理はステップＳ３２２、Ｓ３２４の処理と同様であるため説明を省略する。一方、当該ユーザがエリアＡ１～Ａ３のいずれにも存在しないと判定された場合（Ｓ３５２においてＮＯ）、処理は終了する。
　ユーザ管理部１０３により当該ユーザが既知ユーザであると判定され、アクション決定部１０４により、当該ユーザがエリアＡ１～Ａ３のいずれかに存在すると判定された場合（Ｓ３５０においてＹＥＳかつＳ３５２においてＹＥＳ）、処理はステップＳ３５４に進む。ステップＳ３５４、Ｓ３５６の処理はステップＳ３２２、Ｓ３２４の処理と同様であるため説明を省略する。
　ユーザ管理部１０３により当該ユーザが家族ユーザでも既知ユーザでもない（ゲストユーザである）と判定された場合（ステップＳ３５０においてＮＯ）、処理はステップＳ３５８に進む。ステップＳ３５８において、アクション決定部１０４により、当該ユーザがエリアＡ１またはＡ２に存在すると判定された場合（Ｓ３５８においてＹＥＳ）、出力制御部１０７の制御により、ユーザへ一方的につぶやく発話出力が行われ（Ｓ３６０）、処理は終了する。以下に情報処理装置１がつぶやく内容の例を示す。以下の例は、例えば一つずつ発話されてもよい。
　「あれ？見慣れない人がいる・・・。」
　「お客さんでしょうか・・・。」
　「なんだか緊張します・・・。」
　「うーん、誰かに似てる気が・・・。」
　「すてきなお洋服ですね。」
　一方、ステップＳ３５８において、アクション決定部１０４により、当該ユーザがエリアＡ１またはＡ２に存在しないと判定された場合（Ｓ３５８においてＮＯ）、処理は終了する。
　以上、情報処理装置１により検出されるユーザが１名の場合の動作例について説明した。続いて、図８～１６を参照して、情報処理装置１により検出されるユーザが複数の場合の動作例について説明する。なお、以下では、図８～１４を参照して、情報処理装置１の周囲に家族ユーザのみが存在する場合の動作例について説明した後、図１５、１６を参照して、情報処理装置１の周囲にゲストユーザが存在する場合の動作例について説明する。
　図８～１０は、情報処理装置１の周囲に複数の家族ユーザが存在するシーンを示す説明図である。図８～１０において、情報処理装置１の周囲に家族ユーザＸ、Ｙ、Ｚが存在する。また、家族ユーザＸ，Ｙは情報処理装置１を注視し、家族ユーザＺは、情報処理装置１を注視せず、例えばテレビ受像機８を注視している。以下の説明では、適宜図８～１０を参照しする。
　図１１～１４は、図８～１０に示すシーンのいずれかにおける、本実施形態による情報処理装置１の動作例を示すフローチャート図である。図１１に示すように、まず、ユーザ認識部１０１、ユーザ管理部１０３により、家族ユーザＸ、Ｙ、Ｚがそれぞれ識別される（Ｓ４０２）。続いて、ユーザ管理部１０３は、家族ユーザＸ、Ｙ、Ｚの種別を存在ユーザに分類する（Ｓ４０２）。
　ここで、家族ユーザＸ、Ｙ、Ｚのうち、まず家族ユーザＸの状態がis_watchingとなり（Ｓ４０６）、続いて家族ユーザＹの状態がis_watchingとなり（Ｓ４０８）、家族ユーザＺの顔が非検出（not_watching）状態（Ｓ４１０）と判定されたとする。続いて、家族ユーザＸの状態がis_watchingのまま所定時間（例えば２秒間）継続したと判定された（Ｓ４１２）時点で、is_watching状態であった家族ユーザＸ，Ｙの種別が注視ユーザと分類される（Ｓ４１４）。なお、家族ユーザＺの顔が非検出（not_watching）状態のまま所定時間（例えば１分間）経過した場合、家族ユーザＺは存在ユーザから削除されてもよい。
　続いて、注視ユーザにゲストユーザが含まれるか否か判定が行われるが、本動作例では家族ユーザＸ，Ｙのみが注視ユーザと分類されているため、注視ユーザにゲストユーザが含まれないと判定される（Ｓ４１６）。なお、注視ユーザにゲストユーザが含まれる例については、図１５、１６を参照して説明する。
　図８に示すように、注視ユーザの誰かがエリアＡ１に存在する場合（Ｓ４１８においてＹＥＳ）、処理は図１２のステップＳ４２０に進む。所定時間以内に家族ユーザＸ、及び家族ユーザＹの双方に用件を聞いていない場合（Ｓ４２０においてＹＥＳかつＳ４２２においてＹＥＳ）、出力制御部１０７は、家族ユーザＸ、及び家族ユーザＹに用件を聞くメッセージを表示させ、音声認識部１０５による音声認識が開始される（Ｓ４２４）。また、所定時間以内に家族ユーザＸに用件を聞いていないが、家族ユーザＹに用件を聞いていた場合（Ｓ４２０においてＹＥＳかつＳ４２２においてＮＯ）、出力制御部１０７は、家族ユーザＸに用件を聞くメッセージを表示させ、音声認識部１０５による音声認識が開始される（Ｓ４２６）。また、所定時間以内に家族ユーザＸに用件を聞いていたが、家族ユーザＹに用件を聞いていない場合（Ｓ４２０においてＮＯかつＳ４２８においてＹＥＳ）、出力制御部１０７は、家族ユーザＹに用件を聞くメッセージを表示させ、音声認識部１０５による音声認識が開始される（Ｓ４３０）。また、所定時間以内に家族ユーザＸ、及び家族ユーザＹの双方に用件を聞いていた場合（Ｓ４２０においてＮＯかつＳ４２８においてＮＯ）、処理は終了する。
　また、図９に示すように、エリアＡ１に注視ユーザが存在しない場合（Ｓ４１８においてＮＯ）、処理は図１３のステップＳ４４０に進む。ステップＳ４４０において、注視ユーザの誰かがエリアＡ２に存在する場合（Ｓ４４０においてＹＥＳ）、処理はステップＳ４４２に進む。ステップＳ４２２、Ｓ４４４の処理は、図６のステップＳ３１６、Ｓ３１８の処理と同様であるため、説明を省略する。
　また、図１０に示すように、エリアＡ１、及びＡ２に注視ユーザが存在しない場合（Ｓ４４０においてＮＯ）、処理は図１４のステップＳ４６０に進む。ステップＳ４６０において、エリアＡ３に注視ユーザが存在しない場合（Ｓ４６０においてＮＯ）処理は終了し、注視ユーザの誰かがエリアＡ３に存在する場合（Ｓ４６０においてＹＥＳ）、処理はステップＳ４６２に進む。
　所定時間以内に家族ユーザＸ、及び家族ユーザＹの双方に挨拶していない場合（Ｓ４６２においてＹＥＳかつＳ４６４においてＹＥＳ）、出力制御部１０７は、家族ユーザＸ、及び家族ユーザＹへの音声発話による挨拶を出力させる（Ｓ４６６）。また、所定時間以内に家族ユーザＸに挨拶していないが、家族ユーザＹに挨拶していた場合（Ｓ４６２においてＹＥＳかつＳ４６４においてＮＯ）、出力制御部１０７は、家族ユーザＸへの音声発話による挨拶を出力させる（Ｓ４６８）。また、所定時間以内に家族ユーザＸに挨拶していたが、家族ユーザＹに挨拶していない場合（Ｓ４６２においてＮＯかつＳ４７０においてＹＥＳ）、出力制御部１０７は、家族ユーザＹへの音声発話による挨拶を出力させる（Ｓ４７２）。また、所定時間以内に家族ユーザＸ、及び家族ユーザＹの双方に用件を聞いていた場合（Ｓ４６２においてＮＯかつＳ４７０においてＮＯ）、処理は終了する。
　以上、情報処理装置１の周囲に複数の家族ユーザのみが存在する場合の動作例について説明した。続いて、図１５、１６を参照して、情報処理装置１の周囲にゲストユーザが存在する場合の動作例について説明する。
　図１５は、情報処理装置１の周囲に家族ユーザとゲストユーザが存在するシーンを示す説明図である。図１５において、情報処理装置１の周囲に家族ユーザＸ、及びゲストユーザＰ、Ｑが存在する。また、家族ユーザＸ、及びゲストユーザＰ、Ｑは情報処理装置１を注視している。以下の説明では、適宜図１５を参照する。
　図１６は、図１５に示すシーンにおける、本実施形態による情報処理装置１の動作例を示すフローチャート図である。図１６に示すように、まず、ゲストユーザＰ，Ｑが認識される（Ｓ５０２）。例えば、ユーザ認識部１０１により、ユーザＰ，Ｑが検出され、ユーザ管理部１０３により、ユーザＰ，Ｑの属性がゲストユーザであると特定される。また、ユーザ認識部１０１、ユーザ管理部１０３により、家族ユーザＸがそれぞれ識別される（Ｓ５０４）。続いて、ユーザ管理部１０３は、ゲストユーザＰ，Ｑ、及び家族ユーザＸの種別を存在ユーザに分類する（Ｓ５０６）。
　ここで、ゲストユーザＰ、Ｑ、及び家族ユーザＸの順に状態がis_watchingとなる（Ｓ５０８～Ｓ５１２）。さらに、ゲストユーザＰの状態がis_watchingのまま所定時間（例えば２秒間）継続したと判定された（Ｓ５１４）時点で、is_watching状態であったゲストユーザＰ，Ｑ、及び家族ユーザＸの種別が注視ユーザと分類される（Ｓ５１６）。
　続いて、注視ユーザにゲストユーザが含まれるか否か判定が行われるが、本動作例ではゲストユーザＰ、Ｑが注視ユーザと分類されているため、注視ユーザにゲストユーザが含まれると判定される（Ｓ５１８）。
　例えば、図１５に示すように、注視ユーザの誰かがエリアＡ１、またはエリアＡ２に存在する場合（Ｓ５２０においてＹＥＳ）、処理はステップＳ５２２に進む。なお、ステップＳ５２２の処理は、ステップＳ３６０の処理と同様であるため、説明を省略する。一方、エリアＡ１、エリアＡ２のいずれにも、注視ユーザが存在しない場合（Ｓ５２０においてＮＯ）、処理は終了する。
　以上、情報処理装置１の周囲に家族ユーザとゲストユーザが存在する場合の動作例について説明した。上述したように、情報処理装置１の周囲にゲストユーザが存在する場合、ユーザ応答を求めないアクション（つぶやきの発話）を、ユーザへのアクションとして決定することで、家族ユーザ以外による情報処理装置１の操作を制限することが可能である。
　＜＜４．変形例＞＞
　以上、本開示の一実施形態を説明した。以下では、本開示の一実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本開示の実施形態に適用されてもよいし、組み合わせで本開示の実施形態に適用されてもよい。また、各変形例は、本開示の実施形態で説明した構成に代えて適用されてもよいし、本開示の実施形態で説明した構成に対して追加的に適用されてもよい。
　　＜４－１．変形例１＞
　上記では、アクション決定部１０４が、ユーザとの距離に基づいて、当該ユーザへのアクションを決定する例を説明したが、本開示は係る例に限定されない。以下に、他のアクション決定例を説明する。
　例えば、ユーザの注視時間に基づいて、ユーザへのアクションが決定されてもよい。例えば、注視時間が第一の期間（例えば１秒）以内であれば挨拶、第一の期間より大きく第二の期間（例えば３秒）以内であれば用件を聞く、第二の期間より大きく第三の期間（例えば５秒）以内であれば使い方を説明する、といったアクションが決定されてもよい。
　また、ユーザが本体に近づく速度に基づいて、ユーザへのアクションが決定されてもよい。例えば、ユーザが本体に近づく速度が、第一の速度（例えば２ｋｍ／ｈ）以内であれば挨拶、第一の速度より大きく第二の速度（例えば３ｋｍ／ｈ）以内であれば用件を聞く、といったアクションが決定されてもよい。また、ユーザが本体に近づく速度が第二の速度より大きく第三の速度以内であれば、アクションが出力されずに、即座に音声認識が開始されてもよい。
　　＜４－２．変形例２＞
　また、上記実施形態では、ユーザ応答を求めるアクションの例として、ユーザの用件を伺う表示や発話を説明したが、本開示は係る例に限定されない。例えば、情報処理装置１は、ユーザの情報に基づいて、ユーザの用件を推測して、推測された用件の確認に係る表示や発話を出力してもよい。例えば、毎日所定の時刻に翌日のスケジュールを確認するユーザに対して、情報処理装置１は、当該ユーザの用件が翌日のスケジュール確認であると推定して、翌日のスケジュールを表示しつつ、用件が正しいか確認するメッセージを表示してもよい。係る構成によれば、よりスムーズなユーザとの対話が実現される。
　　＜４－３．変形例３＞
　また、上記実施形態では、ターゲットユーザにのみアクションが出力される例を説明したが、本開示は係る例に限定されない。例えば、情報処理装置１は、ターゲットユーザではないユーザに対して、「前のユーザとの対話が終わるまで少し待っていて」といった発話を出力してもよい。また、情報処理装置１は、ターゲットユーザではないユーザに対して、まだ対話を開始していないが、対話意思があることに気付いていることを示す出力（例えば発光部１８が当該ユーザの方向を光らせる等）を行ってもよい。
　＜＜５．ハードウェア構成例＞＞
　以上、本開示の実施形態を説明した。上述したユーザ認識処理、発話予測処理、ユーザ管理処理、アクション決定処理、音声認識処理、意味解析処理、出力制御処理等の情報処理は、ソフトウェアと、情報処理装置１との協働により実現される。以下では、本実施形態に係る情報処理装置である情報処理装置１のハードウェア構成例として、情報処理装置１０００のハードウェア構成例について説明する。
　図１７は、情報処理装置１０００のハードウェア構成の一例を示す説明図である。図１１に示したように、情報処理装置１０００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１００１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１００２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１００３と、入力装置１００４と、出力装置１００５と、ストレージ装置１００６と、撮像装置１００７と、通信装置１００８とを備える。
　ＣＰＵ１００１は、演算処理装置及び制御装置として機能し、各種プログラムに従って情報処理装置１０００内の動作全般を制御する。また、ＣＰＵ１００１は、マイクロプロセッサであってもよい。ＲＯＭ１００２は、ＣＰＵ１００１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ１００３は、ＣＰＵ１００１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバス等から構成されるホストバスにより相互に接続されている。主に、ＣＰＵ１００１、ＲＯＭ１００２及びＲＡＭ１００３とソフトウェアとの協働により、制御部１０の機能が実現される。
　入力装置１００４は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１００１に出力する入力制御回路等から構成されている。情報処理装置１０００のユーザは、該入力装置１００４を操作することにより、情報処理装置１０００に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置１００５は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ装置、シースルーディスプレイ、及びランプ等の表示装置を含む。さらに、出力装置１００５は、スピーカ及びヘッドホン等の音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像等を表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。出力装置１００５は、例えば図２を参照して説明したスピーカ１３、投影部１６、発光部１８に対応する。
　ストレージ装置１００６は、データ格納用の装置である。ストレージ装置１００６は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置及び記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置１００６は、ＣＰＵ１００１が実行するプログラムや各種データを格納する。ストレージ装置１００６は、図２を参照して説明した記憶部１７に対応する。
　撮像装置１００７は、光を集光する撮影レンズ及びズームレンズ等の撮像光学系、及びＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の信号変換素子を備える。撮像光学系は、被写体から発せられる光を集光して信号変換部に被写体像を形成し、信号変換素子は、形成された被写体像を電気的な画像信号に変換する。撮像装置１００７は、図２を参照して説明したカメラ１４に対応する。
　通信装置１００８は、例えば、通信網に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置１００８は、無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）対応通信装置、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）対応通信装置、有線による通信を行うワイヤー通信装置、またはブルートゥース（登録商標）通信装置を含んでもよい。通信装置１００８は、例えば図２を参照して説明した通信部１１に対応する。
　　＜＜６．むすび＞＞
　以上、説明したように、本開示の実施形態によれば、ユーザとの距離に基づいてアクションを決定することで、よりユーザの意思に沿ったアクションを出力することが可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理する必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
　また、上記実施形態では、ユーザとの距離が、情報処理装置とユーザとの距離である例を説明したが、本開示は係る例に限定されない。例えば、情報処理装置がスピーカや表示部を有する他の端末の出力を制御する場合、ユーザとの距離は、当該他の端末と、ユーザとの距離であってもよい。
　また、上記実施形態によれば、ＣＰＵ１００１、ＲＯＭ１００２、及びＲＡＭ１００３などのハードウェアを、上述した情報処理装置１の各構成と同様の機能を発揮させるためのコンピュータプログラムも提供可能である。また、該コンピュータプログラムが記録された記録媒体も提供される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　ユーザとの距離に基づいて、前記ユーザへのアクションを決定するアクション決定部と、
　前記アクションを出力させる出力制御部と、
　を備える情報処理装置。
（２）
　前記ユーザとの距離は、前記情報処理装置と前記ユーザとの間の距離である、前記（１）に記載の情報処理装置。
（３）
　前記アクションの対象となるターゲットユーザを特定するユーザ管理部をさらに備える、前記（１）または（２）に記載の情報処理装置。
（４）
　前記ユーザ管理部は前記ユーザの状態に基づいて、前記ターゲットユーザを特定する、前記（３）に記載の情報処理装置。
（５）
　前記ユーザ管理部は前記ユーザとの距離、または前記ユーザの状態の継続時間にさらに基づいて、前記ターゲットユーザを特定する、前記（４）に記載の情報処理装置。
（６）
　前記ユーザ管理部は、前記ユーザの状態に基づいてユーザを複数の種別に分類し、
　前記アクション決定部は、分類されたユーザの種別にさらに基づいて、前記ユーザへのアクションを決定する、前記（３）～（５）のいずれかに記載の情報処理装置。
（７）
　前記アクション決定部は、所定の種別に分類されたユーザのうち、前記ユーザとの距離が最も小さいユーザとの距離に応じて、アクションを決定する、前記（６）に記載の情報処理装置。
（８）
　前記ユーザ管理部は、前記所定の種別に分類されたユーザに基づいて前記ターゲットユーザを特定する、前記（７）に記載の情報処理装置。
（９）
　前記ユーザ管理部は、ユーザの発話が予測された場合に、発話が予測された当該ユーザを前記ターゲットユーザとして特定する、前記（３）～（８）のいずれか一項に記載の情報処理装置。
（１０）
　前記アクション決定部は、前記ユーザの発話が予測された場合、前記ユーザの応答を求めるアクションを、前記ユーザへのアクションとして決定する、前記（９）に記載の情報処理装置。
（１１）
　前記アクション決定部は、さらにユーザの属性情報に基づいて前記アクションを決定する、前記（１）～（１０）のいずれか一項に記載の情報処理装置。
（１２）
　前記アクション決定部は、所定の属性を有するユーザが存在する場合、前記ユーザの応答を求めないアクションを、前記ユーザへのアクションとして決定する、前記（１１）に記載の情報処理装置。
（１３）
　前記アクション決定部により決定された前記アクションに応じて、音声認識を開始する音声認識部をさらに備える、前記（１）～（１２）のいずれか一項に記載の情報処理装置。
（１４）
　前記アクション決定部は、前記ユーザとの距離が、第一の距離以下の場合に、前記ユーザの応答を求めるアクションを、前記ユーザへのアクションとして決定する、前記（１）～（１３）のいずれか一項に記載の情報処理装置。
（１５）
　前記アクション決定部は、前記ユーザとの距離が、前記第一の距離より大きい場合に、前記ユーザの応答を求めないアクションを、前記ユーザへのアクションとして決定する、前記（１４）に記載の情報処理装置。
（１６）
　前記アクション決定部は、前記ユーザとの距離が、第二の距離以下の場合に、前記ユーザの応答を求めない表示を、前記ユーザへのアクションとして決定する、前記（１５）に記載の情報処理装置。
（１７）
　前記アクション決定部は、前記ユーザとの距離が、前記第二の距離より大きく、第三の距離以下の場合に、前記ユーザの応答を求めない発話を、前記ユーザへのアクションとして決定する、前記（１６）に記載の情報処理装置。
（１８）
　ユーザとの距離に基づいて、前記ユーザへのアクションをプロセッサが決定することと、
　前記アクションを出力させることと、
　を含む情報処理方法。
（１９）
　コンピュータに、
　ユーザとの距離に基づいて、前記ユーザへのアクションを決定する機能と、
　前記アクションを出力させる機能と、
　を実現させるための、プログラム。
　１　情報処理装置
　１０　制御部
　１１　通信部
　１２　収音部
　１３　スピーカ
　１４　カメラ
　１５　測距センサ
　１６　投影部
　１７　記憶部
　１８　発光部
　１０１　ユーザ認識部
　１０２　発話予測部
　１０３　ユーザ管理部
　１０４　アクション決定部
　１０５　音声認識部
　１０６　意味解析部
　１０７　出力制御部

Claims (19)

  1. 　ユーザとの距離に基づいて、前記ユーザへのアクションを決定するアクション決定部と、
    　前記アクションを出力させる出力制御部と、
    　を備える情報処理装置。
  2. 　前記ユーザとの距離は、前記情報処理装置と前記ユーザとの間の距離である、請求項１に記載の情報処理装置。
  3. 　前記アクションの対象となるターゲットユーザを特定するユーザ管理部をさらに備える、請求項１に記載の情報処理装置。
  4. 　前記ユーザ管理部は前記ユーザの状態に基づいて、前記ターゲットユーザを特定する、請求項３に記載の情報処理装置。
  5. 　前記ユーザ管理部は前記ユーザとの距離、または前記ユーザの状態の継続時間にさらに基づいて、前記ターゲットユーザを特定する、請求項４に記載の情報処理装置。
  6. 　前記ユーザ管理部は、前記ユーザの状態に基づいてユーザを複数の種別に分類し、
    　前記アクション決定部は、分類されたユーザの種別にさらに基づいて、前記ユーザへのアクションを決定する、請求項３に記載の情報処理装置。
  7. 　前記アクション決定部は、所定の種別に分類されたユーザのうち、前記ユーザとの距離が最も小さいユーザとの距離に応じて、アクションを決定する、請求項６に記載の情報処理装置。
  8. 　前記ユーザ管理部は、前記所定の種別に分類されたユーザに基づいて前記ターゲットユーザを特定する、請求項７に記載の情報処理装置。
  9. 　前記ユーザ管理部は、ユーザの発話が予測された場合に、発話が予測された当該ユーザを前記ターゲットユーザとして特定する、請求項３に記載の情報処理装置。
  10. 　前記アクション決定部は、前記ユーザの発話が予測された場合、前記ユーザの応答を求めるアクションを、前記ユーザへのアクションとして決定する、請求項９に記載の情報処理装置。
  11. 　前記アクション決定部は、さらにユーザの属性情報に基づいて前記アクションを決定する、請求項１に記載の情報処理装置。
  12. 　前記アクション決定部は、所定の属性を有するユーザが存在する場合、前記ユーザの応答を求めないアクションを、前記ユーザへのアクションとして決定する、請求項１１に記載の情報処理装置。
  13. 　前記アクション決定部により決定された前記アクションに応じて、音声認識を開始する音声認識部をさらに備える、請求項１に記載の情報処理装置。
  14. 　前記アクション決定部は、前記ユーザとの距離が、第一の距離以下の場合に、前記ユーザの応答を求めるアクションを、前記ユーザへのアクションとして決定する、請求項１に記載の情報処理装置。
  15. 　前記アクション決定部は、前記ユーザとの距離が、前記第一の距離より大きい場合に、前記ユーザの応答を求めないアクションを、前記ユーザへのアクションとして決定する、請求項１４に記載の情報処理装置。
  16. 　前記アクション決定部は、前記ユーザとの距離が、第二の距離以下の場合に、前記ユーザの応答を求めない表示を、前記ユーザへのアクションとして決定する、請求項１５に記載の情報処理装置。
  17. 　前記アクション決定部は、前記ユーザとの距離が、前記第二の距離より大きく、第三の距離以下の場合に、前記ユーザの応答を求めない発話を、前記ユーザへのアクションとして決定する、請求項１６に記載の情報処理装置。
  18. 　ユーザとの距離に基づいて、前記ユーザへのアクションをプロセッサが決定することと、
    　前記アクションを出力させることと、
    　を含む情報処理方法。
  19. 　コンピュータに、
    　ユーザとの距離に基づいて、前記ユーザへのアクションを決定する機能と、
    　前記アクションを出力させる機能と、
    　を実現させるための、プログラム。
PCT/JP2016/087096 2016-02-18 2016-12-13 情報処理装置、情報処理方法、及びプログラム WO2017141530A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201680081621.4A CN108701455A (zh) 2016-02-18 2016-12-13 信息处理装置、信息处理方法和程序
KR1020187019102A KR20180113503A (ko) 2016-02-18 2016-12-13 정보 처리 장치, 정보 처리 방법 및 프로그램
US16/073,939 US11237794B2 (en) 2016-02-18 2016-12-13 Information processing device and information processing method
EP16890667.5A EP3419020B1 (en) 2016-02-18 2016-12-13 Information processing device, information processing method and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-028899 2016-02-18
JP2016028899A JP2017144521A (ja) 2016-02-18 2016-02-18 情報処理装置、情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2017141530A1 true WO2017141530A1 (ja) 2017-08-24

Family

ID=59625697

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/087096 WO2017141530A1 (ja) 2016-02-18 2016-12-13 情報処理装置、情報処理方法、及びプログラム

Country Status (6)

Country Link
US (1) US11237794B2 (ja)
EP (1) EP3419020B1 (ja)
JP (1) JP2017144521A (ja)
KR (1) KR20180113503A (ja)
CN (1) CN108701455A (ja)
WO (1) WO2017141530A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4036910A1 (en) * 2018-08-21 2022-08-03 Google LLC Dynamic and/or context-specific hot words to invoke automated assistant
US11423890B2 (en) 2018-08-21 2022-08-23 Google Llc Dynamic and/or context-specific hot words to invoke automated assistant

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019072787A (ja) * 2017-10-13 2019-05-16 シャープ株式会社 制御装置、ロボット、制御方法、および制御プログラム
JP2019079083A (ja) * 2017-10-19 2019-05-23 アイシン精機株式会社 運転支援装置
JP2019185389A (ja) * 2018-04-10 2019-10-24 日本電信電話株式会社 情報処理装置、情報処理方法および情報処理プログラム
EP3616034B1 (en) 2018-05-04 2024-04-10 Google LLC Generating and/or adapting automated assistant content according to a distance between user(s) and an automated assistant interface
KR102228866B1 (ko) * 2018-10-18 2021-03-17 엘지전자 주식회사 로봇 및 그의 제어 방법
JP6887035B1 (ja) * 2020-02-26 2021-06-16 株式会社サイバーエージェント 制御システム、制御装置、制御方法及びコンピュータプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0311400A (ja) * 1989-06-08 1991-01-18 Toshiba Corp 音声認識装置
JP2007199552A (ja) * 2006-01-30 2007-08-09 Toyota Motor Corp 音声認識装置と音声認識方法
JP2010204260A (ja) * 2009-03-02 2010-09-16 Brother Ind Ltd 対話装置
JP2015513704A (ja) * 2012-03-16 2015-05-14 ニュアンス コミュニケーションズ， インコーポレイテッド ユーザ専用自動発話認識

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3273620B2 (ja) * 1991-09-30 2002-04-08 株式会社東芝 音声対話装置
JP2007160440A (ja) 2005-12-12 2007-06-28 Honda Motor Co Ltd 脚式移動ロボットの制御装置
JP4751192B2 (ja) * 2005-12-12 2011-08-17 本田技研工業株式会社 移動ロボット
JP4976903B2 (ja) 2007-04-05 2012-07-18 本田技研工業株式会社 ロボット
KR101644421B1 (ko) * 2008-12-23 2016-08-03 삼성전자주식회사 사용자의 관심 정도에 기반한 컨텐츠 제공장치 및 방법
KR101581883B1 (ko) * 2009-04-30 2016-01-11 삼성전자주식회사 모션 정보를 이용하는 음성 검출 장치 및 방법
JP5834941B2 (ja) * 2012-01-19 2015-12-24 富士通株式会社 注目対象特定装置、注目対象特定方法、及びプログラム
JP6171353B2 (ja) * 2013-01-18 2017-08-02 株式会社リコー 情報処理装置、システム、情報処理方法およびプログラム
US20170017501A1 (en) 2013-12-16 2017-01-19 Nuance Communications, Inc. Systems and methods for providing a virtual assistant
EP2911149B1 (en) 2014-02-19 2019-04-17 Nokia Technologies OY Determination of an operational directive based at least in part on a spatial audio property
WO2015130273A1 (en) 2014-02-26 2015-09-03 Empire Technology Development Llc Presence-based device mode modification
EP2933070A1 (en) * 2014-04-17 2015-10-21 Aldebaran Robotics Methods and systems of handling a dialog with a robot
JP2017138476A (ja) 2016-02-03 2017-08-10 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0311400A (ja) * 1989-06-08 1991-01-18 Toshiba Corp 音声認識装置
JP2007199552A (ja) * 2006-01-30 2007-08-09 Toyota Motor Corp 音声認識装置と音声認識方法
JP2010204260A (ja) * 2009-03-02 2010-09-16 Brother Ind Ltd 対話装置
JP2015513704A (ja) * 2012-03-16 2015-05-14 ニュアンス コミュニケーションズ， インコーポレイテッド ユーザ専用自動発話認識

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP3419020A4 *
TAMIO KIHARA ET AL.: "A Composition Method of Situation Conformity Digital-signage Using Human Position and Movement", TRANSACTIONS OF INFORMATION PROCESSING SOCIETY OF JAPAN, vol. 53, no. 2, 15 February 2012 (2012-02-15), pages 868 - 878, XP009508291 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4036910A1 (en) * 2018-08-21 2022-08-03 Google LLC Dynamic and/or context-specific hot words to invoke automated assistant
US11423890B2 (en) 2018-08-21 2022-08-23 Google Llc Dynamic and/or context-specific hot words to invoke automated assistant
US11810557B2 (en) 2018-08-21 2023-11-07 Google Llc Dynamic and/or context-specific hot words to invoke automated assistant

Also Published As

Publication number Publication date
EP3419020B1 (en) 2021-09-22
CN108701455A (zh) 2018-10-23
EP3419020A1 (en) 2018-12-26
EP3419020A4 (en) 2019-02-27
US20190042188A1 (en) 2019-02-07
US11237794B2 (en) 2022-02-01
KR20180113503A (ko) 2018-10-16
JP2017144521A (ja) 2017-08-24

Similar Documents

Publication Publication Date Title
WO2017141530A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6669162B2 (ja) 情報処理装置、制御方法、およびプログラム
WO2017134935A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6516585B2 (ja) 制御装置、その方法及びプログラム
CN108022590B (zh) 语音接口设备处的聚焦会话
CN108268235B (zh) 用于语音接口设备的对话感知主动通知
JP6739907B2 (ja) 機器特定方法、機器特定装置及びプログラム
KR102551715B1 (ko) Iot 기반 알림을 생성 및 클라이언트 디바이스(들)의 자동화된 어시스턴트 클라이언트(들)에 의해 iot 기반 알림을 자동 렌더링하게 하는 명령(들)의 제공
WO2016157650A1 (ja) 情報処理装置、制御方法、およびプログラム
WO2017168936A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2016157658A1 (ja) 情報処理装置、制御方法、およびプログラム
JP2019057297A (ja) 情報処理装置、情報処理方法およびプログラム
WO2013128999A1 (ja) 機器操作システム、機器操作装置、サーバ、機器操作方法およびプログラム
JP2018036902A (ja) 機器操作システム、機器操作方法および機器操作プログラム
JP6973380B2 (ja) 情報処理装置、および情報処理方法
JP6678315B2 (ja) 音声再生方法、音声対話装置及び音声対話プログラム
US20210224066A1 (en) Information processing device and information processing method
US20190035420A1 (en) Information processing device, information processing method, and program
US11818820B2 (en) Adapting a lighting control interface based on an analysis of conversational input
US20200160833A1 (en) Information processor, information processing method, and program
WO2018139050A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2020158435A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2017211798A (ja) ネットワークシステム、情報処理方法、およびサーバ
CN114911346A (zh) 一种终端设备的交互方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16890667

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016890667

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016890667

Country of ref document: EP

Effective date: 20180918