WO2015155977A1 - 連携システム、装置、方法、および記録媒体 - Google Patents

連携システム、装置、方法、および記録媒体 Download PDF

Info

Publication number
WO2015155977A1
WO2015155977A1 PCT/JP2015/001925 JP2015001925W WO2015155977A1 WO 2015155977 A1 WO2015155977 A1 WO 2015155977A1 JP 2015001925 W JP2015001925 W JP 2015001925W WO 2015155977 A1 WO2015155977 A1 WO 2015155977A1
Authority
WO
WIPO (PCT)
Prior art keywords
sns
robot
user
content
cooperation
Prior art date
Application number
PCT/JP2015/001925
Other languages
English (en)
French (fr)
Inventor
敬弘 栗山
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US15/300,380 priority Critical patent/US11271887B2/en
Priority to JP2016512601A priority patent/JP6292295B2/ja
Publication of WO2015155977A1 publication Critical patent/WO2015155977A1/ja
Priority to US16/129,959 priority patent/US11343219B2/en
Priority to US16/129,910 priority patent/US11146526B2/en
Priority to US16/129,937 priority patent/US10951573B2/en
Priority to US17/060,270 priority patent/US20210021560A1/en
Priority to US17/060,304 priority patent/US11374895B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/52—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user

Definitions

  • the present invention relates to a linkage system, a linkage device, a linkage method, a recording medium for storing a linkage program, and the like for linking an SNS system and a device.
  • SNS Social Networking Service
  • PCs Personal Computers
  • Non-Patent Document 1 a SNS that feels like a bulletin board that allows posting of a status indicating the user's own state (that is, status posting) and posting on the status posting (that is, comment posting). Has been.
  • Non-Patent Document 2 A communication robot can sense a lot of information through conversation with a person, such as the content of the conversation, the position and movement of the person, the shape and expression of the face, the body temperature of the person and the ambient temperature. The communication robot can continue the conversation with the person by the large amount of information.
  • an object of the present invention is to provide a linkage system, a linkage device, a linkage method, a recording medium for storing a linkage program, and the like that allow a user to easily use SNS.
  • the cooperation system which concerns on 1 aspect of this invention recognizes a user,
  • the device which performs at least one of the action based on the acquisition of the sensing data regarding the said user, and the contribution content to SNS from the other user, Coordination for performing at least one of processing for transmitting posted content based on sensing data to an SNS system that provides SNS and processing for updating device behavior based on posted content from other users and transmitting it to the device Device.
  • the cooperation apparatus recognizes a user and connects to a device that performs at least one of acquisition of sensing data related to the user and action based on content posted to SNS from another user Processing for transmitting posted content based on sensing data to an SNS system that provides SNS, and processing for updating device behavior based on posted content from other users and transmitting the device to the device Do at least one of the following.
  • the cooperation method recognizes a user, performs at least one of acquisition of sensing data related to the user and action based on the content posted to the SNS from another user. At least one of the process of transmitting the posted content based on the SNS to the SNS system that provides the SNS and the process of updating the action based on the posted content from other users is performed.
  • a recording medium recognizes a user and connects to a device that performs at least one of acquisition of sensing data related to the user and action based on content posted to SNS from another user
  • a program installed in a computer that updates the processing of transmitting posting content based on sensing data to an SNS system that provides SNS to the computer, and device behavior based on posting content from other users
  • the cooperative program for executing at least one of the processes to be transmitted to the device is stored.
  • the object of the present invention is also achieved by a cooperative program stored in the above-described recording medium.
  • the user can easily use SNS.
  • FIG. 1 is a block diagram showing a configuration of an embodiment of a cooperation system according to the present invention.
  • FIG. 2 is a flowchart showing the operation of the embodiment of the cooperation system according to the present invention.
  • FIG. 3 is a flowchart showing a procedure for updating the utterance content of the communication robot.
  • FIG. 4 is a flowchart showing a procedure for determining the utterance content and motion content of the communication robot.
  • FIG. 5 is a flowchart showing a procedure for determining the content posted by the virtual robot character on the SNS group.
  • FIG. 6 is a flowchart showing a procedure for identifying an SNS posting destination by face authentication.
  • FIG. 7 is a flowchart showing a procedure for identifying a posting destination when there are a plurality of communication robots.
  • FIG. 8 is a block diagram showing a configuration of a main part of the cooperation system according to the present invention.
  • FIG. 9 is a block diagram showing an example of a hardware configuration of a computer that can realize the SNS-robot cooperation device 100 according to the present invention.
  • FIG. 1 is a block diagram showing the configuration of the cooperation system of this embodiment.
  • the linkage system shown in FIG. 1 is a system in which a robot platform and a system for realizing SNS are linked.
  • the cooperation system of this embodiment includes an SNS-robot cooperation device 100, a robot PF (Platform) 200, and an SNS system 300.
  • the SNS-robot cooperation device 100 corresponds to, for example, a cooperation device in the present invention.
  • the robot PF 200 corresponds to, for example, a device in the present invention.
  • the SNS-robot cooperation device 100 is a device that is communicably connected between the robot PF 200 and the SNS system 300.
  • the SNS-robot cooperation device 100 is a server, for example.
  • the robot PF 200 includes a robot PF cloud 201 and a robot PF device 202.
  • the robot PF cloud 201 and the robot PF device 202 are connected via a communication network.
  • the SNS system 300 includes an SNS server 301 and a terminal device 302.
  • the SNS system 300 provides SNS.
  • the SNS server 301 and the terminal device 302 are connected via a communication network.
  • the terminal device 302 is a terminal device used for a general SNS system.
  • the terminal device 302 is, for example, a PC, a tablet terminal, a smartphone, or a mobile phone that is connected to the SNS server 301 via a communication network. In the present embodiment, it is assumed that a plurality of terminal devices 302 are connected to the SNS server 301.
  • the SNS-robot cooperation device 100 includes an SNS-robot cooperation control unit 1001, a robot PF-IF (Interface) unit 1002, and an SNS-IF unit 1003.
  • the SNS-robot cooperation device 100 is connected to the robot PF cloud 201 and the SNS server 301 on the cloud via a communication network. Further, the SNS-robot cooperation device 100 may be included in the robot PF cloud 201 or the SNS system 300.
  • the SNS-robot cooperation device 100 communicates with the robot PF cloud 201 via the communication network by the robot PF-IF unit 1002.
  • the SNS-robot cooperation device 100 performs communication with the SNS server 301 via the communication network by the SNS-IF unit 1003.
  • Each element in the SNS-robot cooperation device 100 is realized by, for example, hardware designed to perform specific arithmetic processing or the like, or an information processing device such as a CPU (Central Processing Unit) that operates according to a program.
  • the program is stored in a non-transitory computer-readable storage medium.
  • the robot PF cloud 201 is an information processing device such as a server used for a cloud service.
  • the robot PF cloud 201 includes a robot PF cloud control unit 2011.
  • the robot PF cloud control unit 2011 controls the entire robot PF 200 (both the robot PF cloud 201 and the robot PF device 202).
  • the robot PF cloud control unit 2011 can manage the robot PF device 202.
  • the robot PF cloud control unit 2011 has a function such as an application programming interface that is an interface for controlling and managing the robot from other service applications.
  • the robot PF device 202 is a communication robot capable of communicating with a user, for example.
  • the communication robot is also expressed as a robot.
  • the robot PF device 202 includes a robot PF device control unit 2021, a human detection unit 2022, a voice recognition unit 2023, a voice synthesis utterance unit 2024, and a motion playback unit 2025.
  • the robot PF device 202 acquires sensing data related to the user using the human detection unit 2022, the voice recognition unit 2023, and the like.
  • a user of a communication robot is also expressed as a robot user.
  • Person detection unit 2022 detects a person. Specifically, the human detection unit 2022 acquires sensing data related to the user of the communication robot using, for example, a sensor.
  • the voice recognition unit 2023 detects voice by a sensor such as a microphone, for example, and recognizes the detected voice.
  • the speech synthesis utterance unit 2024 synthesizes speech based on the utterance content representing the utterance content, and reproduces the synthesized speech.
  • the motion playback unit 2025 operates the robot according to the motion content representing the motion of the robot (that is, plays back the motion content).
  • a cloud cooperation type robot PF200 having the robot PF cloud 201 and the robot PF device 202 is assumed, but the configuration is not limited thereto.
  • the robot PF device 202 may be, for example, a robot that can be controlled and managed from another application or the like.
  • the robot PF cloud 201 may perform software processing such as human detection, voice recognition, and voice synthesis in the human detection unit 2022, the voice recognition unit 2023, and the voice synthesis speech unit 2024. That is, the robot PF cloud 201 may operate as the human detection unit 2022, the speech recognition unit 2023, and the speech synthesis utterance unit 2024.
  • a communication robot is used as the robot PF device 202.
  • the robot PF device 202 may not be a communication robot as long as it can recognize a person.
  • a camera that can perform face recognition and verification, or a sensor device that can perform biometric authentication may be used instead of the communication robot.
  • Human detection by the human detection unit 2022 is realized by a sensing technique such as detection of a temperature change by an infrared sensor, detection of a distance from an object by an ultrasonic sensor, and detection of a human face using an imaging device such as a camera. Since a general technique is applied to this sensing technique, detailed description is omitted.
  • Each element of the robot PF cloud 201 and the robot PF device 202 is realized by, for example, hardware designed to perform specific arithmetic processing or the like, or an information processing apparatus such as a CPU that operates according to a program.
  • the program is stored in a non-transitory computer-readable storage medium.
  • the SNS server 301 is a server that performs service operation and data management of the SNS system 300 on the cloud, and includes an SNS server control unit 3011.
  • An application installed on a terminal such as a PC or a smartphone can access data of the SNS system 300 using an application programming interface provided by the SNS server control unit 3011.
  • the application program may be expressed as “application” as described above.
  • the operation of an information processing apparatus such as a CPU that operates according to an application program may be described as the operation of an application program, that is, an application.
  • the terminal device 302 includes an SNS application 3021.
  • the SNS application 3021 is an application installed in a terminal such as a PC or a smartphone.
  • the SNS application 3021 is an application such as a Web browser that can use the SNS.
  • the SNS application 3021 may be realized by a dedicated circuit.
  • the terminal device 302 may be various devices and systems that can use SNS.
  • the SNS server 301 and the terminal device 302 are realized by, for example, hardware designed to perform specific arithmetic processing or the like, or an information processing device such as a CPU that operates according to a program.
  • the program is stored in a non-transitory computer-readable storage medium.
  • the SNS application 3021 is an SNS application that allows a user to share his / her state and a comment to be transmitted using a UI (User Interface) called a status icon or a stamp.
  • the SNS application 3021 is, for example, a bulletin board-like SNS that allows posting of a status indicating the user's own state (that is, status posting) and posting on the status posting (that is, comment posting).
  • Better People see Non-Patent Document 1 is used as such an SNS.
  • Better People has an icon (that is, a status icon) that represents the user's state and a stamp that can be used instead of text.
  • the SNS application 3021 shares the behavior of the robot user on the SNS, the content to be shared relatively strongly with other users (for example, status posting) and the content to be shared relatively weakly (for example, comment posting) Distinguish.
  • the SNS application 3021 displays contents that are desired to be shared relatively strongly and contents that are desired to be shared relatively weakly using different UIs (how to show).
  • the communication robot participates in the SNS system 300 community as a virtual robot character.
  • the community of the SNS system 300 and the SNS group are synonymous.
  • the SNS group only specific users participating in the group can post and browse.
  • the user needs to register with the approval of the group manager.
  • a closed world community for communicating with close family members and friends is often defined as a group. Therefore, also in this embodiment, the community of the SNS system 300 is expressed as an SNS group or simply a group.
  • “posting to an SNS group” is, for example, a post that can be viewed only by users participating in the SNS group.
  • “SNS post” is a post to any SNS group.
  • the SNS post includes, for example, the above-described status post and comment post.
  • the communication robot posts the content of the conversation with the robot user as a comment or stamp via a virtual robot character participating in the SNS group. That is, the communication robot posts the content of the conversation with the robot user as a comment or stamp by a virtual robot character participating in the SNS group. Thereby, another SNS user can share the situation of the robot user on the SNS.
  • the communication robot communicates the content posted by other SNS users on the SNS group by speech synthesis or executes a motion, thereby communicating the status of the other SNS users to the robot user. be able to.
  • the motion is, for example, sound effects, robot body movement, LED (Light Emitting Diode) lighting, blinking, or the like.
  • the communication robot can communicate with the robot user more effectively than the communication using only the spoken voice.
  • data representing specific utterance content is referred to as utterance content.
  • Data representing specific motion content is referred to as motion content.
  • at least one of speech and motion may be described as “action”.
  • FIG. 2 is a flowchart showing the operation of the cooperation system of this embodiment. Specifically, FIG. 2 is a flowchart showing a procedure in which a communication robot posts the content of a conversation with a robot user as a comment or stamp on a SNS group via a virtual robot character participating in the SNS group. It is.
  • the SNS-robot cooperation control unit 1001 updates the content uttered by the communication robot (that is, the utterance content) (step S11). Further, the SNS-robot cooperation control unit 1001 notifies the robot PF cloud control unit 2011 of the update information of the utterance content via the robot PF-IF unit 1002. The robot PF cloud control unit 2011 notifies the robot PF device control unit 2021 of the update information of the utterance content notified from the SNS-robot cooperation control unit 1001. The SNS-robot cooperation control unit 1001 updates the content uttered by the robot as necessary. A specific update procedure will be described separately.
  • the person detection unit 2022 detects a person (step S12). In other words, the human detection unit 2022 acquires measurement data (that is, sensing data) related to the robot user using a sensor. Specifically, the person detection unit 2022 detects the presence, position, movement, change in facial expression, temperature change, or the like of a person. The human detection unit 2022 notifies the robot PF device control unit 2021 of sensing data obtained by the detection. Human detection is realized by sensing techniques such as temperature change detection using an infrared sensor, distance detection with an ultrasonic sensor, and human face detection using a camera.
  • the robot PF device control unit 2021 causes the speech synthesis speech unit 2024 to perform speech processing and causes the motion playback unit 2025 to perform motion processing (step S13). Specifically, the robot PF device control unit 2021 determines the utterance content and motion content of the robot based on sensing data based on human detection. Next, the robot PF device control unit 2021 notifies the speech synthesis speech unit 2024 of the speech content of the robot, and notifies the motion playback unit 2025 of the motion content of the robot. The speech synthesis utterance unit 2024 utters the notified utterance content. That is, the voice synthesis utterance unit 2024 synthesizes a voice representing the notified utterance content.
  • the voice synthesis utterance unit 2024 generates voice data representing the notified utterance content, and reproduces the generated voice data as voice.
  • the motion playback unit 2025 plays back the notified motion content. That is, the motion playback unit 2025 executes the motion represented by the notified motion content.
  • the robot PF device control unit 2021 selects any utterance content from the previously held utterance content or the utterance content notified from the SNS-robot cooperation control unit 1001 in step S11.
  • the robot PF device control unit 2021 determines the selected utterance content as the utterance content uttered by the robot.
  • the robot PF device control unit 2021 selects one of the motion contents from the previously stored motion contents as the motion contents.
  • the robot PF device control unit 2021 determines the selected motion content as the motion content to be reproduced by the robot.
  • the robot PF device control unit 2021 may determine the utterance content and motion content of the robot based on detection of specific sound or specific sound, detection of gesture motion, or the like instead of human detection. A specific method for determining the utterance content and the motion content will be described separately.
  • the speech recognition unit 2023 recognizes the utterance content of the robot user by speech recognition after the speech and motion of the robot in step S13 (step S14).
  • the voice recognition unit 2023 notifies the robot PF device control unit 2021 of voice recognition data representing the utterance content of the robot user obtained by voice recognition as sensing data.
  • the robot PF device control unit 2021 transmits the sensing data obtained from the human detection unit 2022 and the voice recognition unit 2023 and device data related to the robot PF device 202 to the robot PF cloud control unit 2011 (step S15).
  • the sensing data is infrared measurement data, ultrasonic measurement data, camera face detection data, camera image and video data, voice recognition data, and the like.
  • the device data includes the state of the device, the utterance content representing the content of the utterance by the robot, the motion playback content (that is, the motion content played back), and the like.
  • the robot PF cloud control unit 2011 notifies the SNS-robot cooperation control unit 1001 of the sensing data and device data notified from the robot PF device control unit 2021 via the robot PF-IF unit 1002.
  • the SNS-robot cooperation control unit 1001 determines the content to be posted by the virtual robot character in the SNS group based on the sensing data and device data notified from the robot PF cloud control unit 2011 (step S16). That is, in step S16, the SNS-robot cooperation control unit 1001 determines the content posted to the SNS by the virtual robot character. Specific contents of the determination method in step S16 will be described separately.
  • the SNS-robot cooperation control unit 1001 notifies the SNS server control unit 3011 of the posted content determined as the content posted by the virtual robot character (step S17). That is, in step S17, the SNS-robot cooperation control unit 1001 notifies the SNS of the posted content. Specifically, the SNS-robot cooperation control unit 1001 transmits the posted content determined in step S16 to the SNS server control unit 3011 via the SNS-IF unit 1003. The SNS server control unit 3011 updates the posted content data in the SNS system 300 and notifies the updated content of the posted content data to the SNS application 3021 as necessary.
  • the posting content determined by the SNS-robot cooperation control unit 1001 is shared by the virtual robot character being posted on the SNS.
  • the posted contents are contents based on sensing data and device data including sensing contents such as conversation contents with the robot user and movements of the robot user.
  • other SNS users can confirm the posted content as the content posted by the virtual robot character on the SNS group.
  • FIG. 3 is a flowchart showing a procedure for updating the utterance content of the communication robot.
  • the robot autonomous utterance is an utterance autonomously performed by the communication robot itself, and is an utterance spoken to the robot user regardless of the content posted on the SNS group.
  • Robot autonomous utterance for example, "Good morning. Also I'm fine today. Ganbarou!, Or "Hello, today's physical condition is how?" Is the utterance that.
  • the SNS post utterance is an utterance based on contents posted by a user of the SNS group.
  • the SNS-robot cooperation control unit 1001 may change the utterance of the communication robot from autonomous robot utterance to SNS posted utterance.
  • the communication robot may transmit the utterance changed by the SNS-robot cooperation control unit 1001 to the robot user.
  • the SNS-robot cooperation control unit 1001 confirms whether it is necessary to update data representing the content of the utterance that the robot utters autonomously (that is, robot autonomous utterance data) (step S21). If it is necessary to update (YES in step S21), the SNS-robot cooperation control unit 1001 updates the robot autonomous utterance data (step S22). When it is not necessary to update (NO in step S21), the robot autonomous utterance data is not updated in step S22, and the process proceeds to step S23.
  • Robot autonomous utterance data is data that the SNS-robot cooperation control unit 1001 holds in advance.
  • Robot autonomous utterance data may be updated periodically.
  • the robot autonomous utterance data is updated in response to an update instruction by, for example, a robot administrator or a robot service management company.
  • the SNS-robot cooperation control unit 1001 may be set to autonomously update the robot autonomous utterance data based on information such as the Internet such as weather, temperature, and news. In other words, the SNS-robot cooperation control unit 1001 autonomously speaks when, for example, a regular update time comes, an update instruction is given, or information such as the Internet is updated. It may be determined that the content needs to be updated.
  • the SNS-robot cooperation control unit 1001 confirms whether there is an update of a post to the SNS group that the robot does not speak (Step S23).
  • the content of posting to the SNS group is referred to as “SNS posting content”. If there is an update (YES in step S23), the SNS-robot cooperation control unit 1001 creates SNS posted utterance data, which is data representing the content of the SNS posted utterance, based on the updated SNS posted content ( Step S24). If there is no update (NO in step S23), the post utterance data is not created in step S24, and the operation shown in FIG. 3 transitions to step S26.
  • the SNS-robot cooperation control unit 1001 creates SNS posted utterance data according to a template stored in advance. Specifically, the SNS-robot cooperation control unit 1001 holds in advance an utterance pattern corresponding to a poster, posted text content, a posted status icon (an icon representing a user state), and a posted stamp. To do.
  • the SNS-robot cooperation control unit 1001 uses a management table that can create utterance data based on the utterance pattern as a template. For example, when the user A posts the text “Good morning, it's cold today”, the SNS-robot cooperation control unit 1001 says “It's a comment from the user A. Good morning, it ’s cold today”. Create data.
  • user B one of the users, posted a stamp intended to be “OK”
  • the SNS-robot cooperation control unit 1001 reads “OK, OK. User B has pressed the OK stamp” Is created.
  • the SNS-robot cooperation control unit 1001 updates the SNS post utterance data held by the SNS-robot cooperation control unit 1001 using the created SNS post utterance data (step S25).
  • the SNS post utterance data held by the SNS-robot cooperation control unit 1001 only needs to include a plurality of SNS post contents that the robot does not utter.
  • the SNS posted utterance data held by the SNS-robot cooperation control unit 1001 may also include uttered data that has been created and stored in step S24, including data that has been uttered by the robot.
  • the SNS-robot cooperation control unit 1001 notifies the robot PF device control unit 2021 of the robot autonomous utterance data and the SNS posted utterance data (that is, the utterance content) (step S26). Specifically, the SNS-robot cooperation control unit 1001 notifies the robot PF cloud control unit 2011 of the robot autonomous utterance data and SNS posted utterance data uttered by the communication robot via the robot PF-IF unit 1002. Then, the robot PF cloud control unit 2011 notifies the robot PF device control unit 2021 of the robot autonomous utterance data and the SNS posted utterance data notified from the SNS-robot cooperation control unit 1001. If neither the robot autonomous utterance data nor the SNS posted utterance data is updated, the notification in step S26 is not performed.
  • the SNS-robot cooperation control unit 1001 continuously performs the robot autonomous utterance data update and the SNS post utterance data update, but it does not necessarily have to be performed continuously.
  • the SNS-robot cooperation control unit 1001 may update only the robot autonomous utterance data when the robot autonomous utterance content needs to be updated in step S21 (step S22). Then, the SNS-robot cooperation control unit 1001 may notify only the robot autonomous utterance data to the robot PF device control unit 2021 (step S26).
  • the SNS-robot cooperation control unit 1001 may update only the data of the SNS post utterance (step S25). Then, the SNS-robot cooperation control unit 1001 may notify only the SNS posted utterance data to the robot PF device control unit 2021 (step S26).
  • FIG. 4 is a flowchart showing a procedure for determining the utterance content and motion content of the communication robot.
  • the robot PF device control unit 2021 determines whether or not the utterance whose utterance content is determined is the first utterance after a predetermined time (step S31).
  • the predetermined time is, for example, 6 o'clock, 12 o'clock, 18 o'clock or the like.
  • the predetermined time may be set and changed by a robot user, a robot administrator, a robot service operating company, or the like.
  • the robot PF device control unit 2021 determines the autonomous utterance content of the robot for the first utterance based on the robot autonomous utterance data (step) S32).
  • the content of the autonomous utterance of the robot for the first utterance is a content suitable for the first utterance after a predetermined time and is a content for confirming the greeting and the situation of the robot user. This utterance is, for example, an utterance such as “Good morning, how are you today?
  • the robot PF device control unit 2021 checks whether there is SNS posted utterance data (step S33). If there is SNS posted utterance data (YES in step S33), the robot PF device controller 2021 determines the utterance content of the robot based on the SNS posted utterance data (step S34).
  • the SNS posted utterance data is data created by the SNS-robot cooperation control unit 1001 in accordance with the rules and patterns in the SNS posted utterance data creation in step S24 shown in FIG.
  • the robot PF device control unit 2021 determines the utterance content of the robot based on the robot autonomous utterance data (step S35).
  • the robot PF device control unit 2021 determines an utterance suitable for the case where the utterance is not the first utterance after a predetermined time and there is no SNS posted utterance data as the robot autonomous utterance content in step S35.
  • This utterance is an utterance that speaks to the robot user or tells the robot something. For example, it is an utterance “Because it is getting cold, let's be careful with a cold!”.
  • the robot PF device control unit 2021 determines a motion that matches the utterance content (step S36). Specifically, the robot PF device control unit 2021 selects, for example, a motion that matches the utterance content from pre-stored sound effects, motions of the robot's body, LED lighting, blinking, and the like. Good.
  • the robot PF device control unit 2021 selects a motion according to the content of the status icon or stamp, or moves according to the text sentence. Or select.
  • the robot PF cloud control unit 2011 or the SNS-robot cooperation control unit 1001 may determine the motion content based on the utterance content instead of the robot PF device control unit 2021. Then, the robot PF cloud control unit 2011 or the SNS-robot cooperation control unit 1001 may notify the determined content to the robot PF device control unit 2021. In addition, when the SNS-robot cooperation control unit 1001 determines the motion content, the motion content may be determined together with the utterance content based on, for example, the SNS posting content.
  • FIG. 5 is a flowchart showing a procedure for determining the content posted by the virtual robot character on the SNS group.
  • the SNS-robot cooperation control unit 1001 creates SNS posting contents based on the utterance contents of the robot determined in step S32, step S34, or step S35 shown in FIG.
  • a procedure for creating the SNS post content based on the utterance content will be specifically described.
  • the SNS-robot cooperation control unit 1001 quotes the utterance content of the robot and submits it even if the utterance content of the robot is the utterance content determined in any of steps S32, S34, or S35.
  • a sentence is created (step S41).
  • the SNS-robot cooperation control unit 1001 creates a status post indicating the state of the robot user as the SNS post content by the virtual robot character on the SNS.
  • the SNS-robot cooperation control unit 1001 sets the response (for example, utterance) of the robot user to the SNS post content by another SNS user as an SNS post by the virtual robot character.
  • the SNS post created in this case is, for example, a comment post by a virtual robot character for a status post of another SNS user uttered by the robot.
  • the SNS post created in this case is, for example, a comment post by a virtual robot character that responds to a comment post of another SNS user uttered by the robot.
  • the SNS-robot cooperation control unit 1001 creates a comment post by the virtual robot character for the status post of the virtual robot character (indicating the state of the robot user) as the SNS post content.
  • the SNS-robot cooperation control unit 1001 updates the SNS post content based on the user's voice recognition result by the voice recognition unit 2023 (step S42).
  • the SNS-robot cooperation control unit 1001 selects, for example, an icon to be posted in accordance with the user's voice recognition result.
  • the SNS-robot cooperation control unit 1001 updates the SNS post text sentence in such a manner that the text content recognized by voice is quoted and added to the post text sentence created in step S41.
  • the SNS-robot cooperation control unit 1001 selects an icon representing the user's state as the status post status icon by the virtual robot character. Even when voice recognition is not performed or when voice recognition cannot be performed normally, the SNS-robot cooperation control unit 1001 selects a status icon indicating the voice recognition status or uses the voice recognition status as a post text text. It may be updated.
  • the SNS-robot cooperation control unit 1001 selects a stamp to be posted in addition to a comment posting by the virtual robot character. Even when voice recognition is not performed or when voice recognition is not normally performed, the SNS-robot cooperation control unit 1001 selects a stamp indicating the voice recognition status or updates the voice recognition status as a post text. You may do it.
  • the SNS-robot cooperation control unit 1001 updates the posted text sentence by adding it to the posted text sentence created in step S42 based on other sensing data and device data (step S43). Specifically, the SNS-robot cooperation control unit 1001 makes a posting that informs the user's situation based on sensing data and device data.
  • the SNS-robot cooperation control unit 1001 may perform updating when, for example, a person is detected by detecting a face normally.
  • the SNS-robot cooperation control unit 1001 may perform update when a person is detected only by ultrasonic waves.
  • the SNS-robot cooperation control unit 1001 may perform update when a change in temperature information or an abnormality in the body temperature of the robot user is detected.
  • the SNS-robot cooperation control unit 1001 extracts a characteristic change from any type of sensing data, and updates the posted text sentence based on the extracted change.
  • the SNS-robot cooperation control unit 1001 may utilize the distance and positional relationship between the robot and the robot user.
  • the SNS-robot cooperation control unit 1001 detects that the room temperature is T1 degrees Celsius, it posts “The room temperature is T1 degrees Celsius. In addition, when the SNS-robot cooperation control unit 1001 detects that the user's body temperature is T2 degrees Celsius, the SNS-robot cooperation control unit 1001 posts “the body temperature is T2 degrees Celsius”. Further, for example, when the SNS-robot cooperation control unit 1001 detects that the distance between the user and the communication robot is Dcm (centimeter) and detects a face in the direction of 60 degrees diagonally to the left of the robot, The distance to the user is Dcm. I found a face in the direction of 10 o'clock left front.
  • Dcm centimeter
  • the SNS-robot cooperation control unit 1001 may post “No one seems to be. What's wrong?” If the person cannot be detected in step S12 for a predetermined time. In this case, the SNS-robot cooperation control unit 1001 may post that “the room temperature is T1 degrees Celsius and is too cold. Heating does not appear.”
  • the cooperation system of this embodiment allows a person who does not use a PC or a smartphone to simply participate in an SNS community (SNS group) and communicate with other SNS users simply by interacting with a robot. Can do.
  • SNS group SNS community
  • a communication robot posts and shares sensing information such as dialogue contents with a robot user and movements of the robot user on the SNS as a virtual robot character. Therefore, other users (family members and friends) participating in the same community can confirm the behavior of the robot user even when they are away from each other.
  • the cooperation system of the present embodiment distinguishes the content that the user wants to share relatively strongly with the content that the user wants to share relatively weakly on the SNS.
  • Different UI how to show).
  • the content to be shared relatively strongly to other users is, for example, status posting.
  • the content to be shared relatively weakly is, for example, comment posting. Therefore, the cooperation system of this embodiment can convey the behavior of the robot user to other users in an easy-to-understand manner depending on the situation.
  • the cooperation system of this embodiment can accumulate
  • the communication robot uses a face authentication technique to identify a plurality of people.
  • the cooperation system specifies an SNS group to be posted based on the result of face authentication and the like, thereby performing a dialog suitable for the identified person, posting on the SNS, and sharing the posting.
  • the cooperation system in this implementation example may specify not only the SNS group but also the SNS system 300 based on the result of face authentication and the like.
  • FIG. 6 is a flowchart showing a procedure for identifying an SNS posting destination by using face authentication.
  • the person detection unit 2022 of the robot PF device 202 detects a person (step S51). Specifically, the person detection unit 2022 detects the presence, position, movement, change in facial expression, temperature change, or the like of a person.
  • the human detection unit 2022 notifies the robot PF device control unit 2021 of sensing data obtained by the detection.
  • the robot PF device control unit 2021 determines whether a person different from the person detected immediately before is detected. For example, the robot PF device control unit 2021 detects a face (for example, an area including a face) in a photographed image, and compares the detected face with the face detected immediately before.
  • a face for example, an area including a face
  • the robot PF device control unit 2021 may make this determination only by such simple human identification. Since the face authentication for finally identifying a person is performed by the robot PF cloud 201, the person identification in the robot PF device 202 may not be performed strictly.
  • the robot PF device control unit 2021 transmits face image data to the robot PF cloud control unit 2011 when the person detected in step S51 is different from the person detected immediately before (step S52).
  • step S52 face image data is transmitted to the robot PF cloud control unit 2011 at an appropriate frequency for specifying the SNS posting destination. Because. That is, it is for suppressing the communication network load by the increase in transmission frequency, and the fall of the system response of a cooperation system.
  • the robot PF cloud control unit 2011 performs face authentication based on the face image data received from the robot PF device control unit 2021 (step S53).
  • the robot PF cloud control unit 2011 associates the face image data with the robot user identification information (robot user ID (Identification)) and holds it as face authentication management data.
  • the robot PF cloud control unit 2011 identifies the robot user ID by comparing the face authentication management data registered in advance with the received face image data.
  • the SNS-robot cooperation control unit 1001 may hold the face authentication management data and specify the robot user ID.
  • the robot PF cloud control unit 2011 notifies the SNS-robot cooperation control unit 1001 of the robot user ID as a face authentication result. Since this face authentication is generally used, description of a specific procedure is omitted.
  • the SNS-robot cooperation control unit 1001 holds SNS user management data in which identification information (for example, the above-described robot user ID) of a robot user is associated with a posting destination SNS group.
  • the SNS-robot cooperation control unit 1001 specifies an SNS group associated with the robot user ID obtained by face authentication in the SNS user management data as an SNS group that is a posting destination suitable for the robot user. (Step S54). Then, the SNS-robot cooperation control unit 1001 posts to the specified SNS group suitable for the robot user. Also, the SNS-robot cooperation control unit 1001 creates an utterance posted by another SNS user of the SNS group, and notifies the robot PF device control unit 2021 of the contents of the created utterance.
  • the SNS-robot cooperation control unit 1001 may specify not only the posting destination SNS group but also the posting destination SNS system 300 in step S54. In that case, the SNS-robot cooperation control unit 1001 only needs to hold data in which the SNS group and the SNS system 300 are associated with each other.
  • the SNS-robot cooperation control unit 1001 may specify the SNS system 300 associated with the specified SNS group as the posting destination SNS system 300.
  • a plurality of users can post and share information in the SNS group and SNS system 300 to which each user belongs only by interacting with a communication robot without specifying an SNS group or the like. be able to.
  • the reason is that the tie-up system specifies the SNS posting destination suitable for the robot user by using face authentication.
  • FIG. 7 is a flowchart showing a procedure for specifying a posting destination when there are a plurality of communication robots.
  • the SNS-robot cooperation control unit 1001 registers a specific robot A as a virtual robot character in the SNS group (step S61). For example, a case is assumed in which a robot A of a specific individual's home is registered in a specific SNS group as a virtual robot character.
  • the SNS-robot cooperation control unit 1001 holds user management data in which identification information (robot user ID) of a robot user is associated with an SNS group as a posting destination.
  • the SNS-robot cooperation control unit 1001 specifies a specific SNS group based on the robot user ID and SNS user management data obtained by face authentication. Then, the dialogue between the robot A and the user is shared in a specific SNS group associated with the robot user ID of the user of the robot A.
  • the human detection unit 2022 of the robot PF device 202 of the robot B detects a person (step S62).
  • the person detection unit 2022 notifies the robot PF device control unit 2021 of face image data obtained by detecting a person.
  • the robot PF device control unit 2021 of the robot B transmits the human face image data detected in step S62 to the robot PF cloud control unit 2011 (step S63).
  • the robot PF cloud control unit 2011 performs face authentication using the face image data received from the robot PF device control unit 2021 (step S64). Then, the robot PF cloud control unit 2011 notifies the SNS-robot cooperation control unit 1001 of the robot user ID as a result of the face authentication.
  • the SNS-robot cooperation control unit 1001 specifies the SNS group associated with the robot user ID based on the robot user ID and user management data obtained by face authentication (step S65). That is, the SNS-robot cooperation control unit 1001 specifies the SNS group in which the robot A that is personally owned by the user is registered.
  • the SNS-robot cooperation control unit 1001 registers the robot B as a virtual robot character in the SNS group specified in step S65 (step S66).
  • the cooperation system of this implementation example can register (that is, join) a plurality of communication robots to an SNS group without performing a special registration procedure when a user interacts with a plurality of communication robots.
  • the linkage system of this implementation example can be combined with the posting of images and videos and the posting of location information that are possible in general SNS. By combining them in such a manner, it is possible to realize an automatic check-in system in which a person who has performed the dialog automatically checks in to the SNS group only by performing a dialog with a plurality of communication robots. By performing automatic check-in, users can grasp and share the location information and behavior (ie, “Where and what are you doing”) of the person who interacted with the robot on the SNS group. it can.
  • communication robots and sensor devices are registered in the SNS as a plurality of virtual robot characters, participate in the SNS, and the plurality of virtual robot characters speak, so there is a possibility that the robot user will be confused. Therefore, the robot user may predetermine the main virtual robot character for each SNS group. Then, the main virtual robot character may speak a conversation between the virtual robot characters instead. The main virtual robot character may post information obtained from a plurality of registered robots to the SNS.
  • FIG. 8 is a block diagram showing a configuration of a main part of the cooperation system according to the present invention.
  • the cooperation system according to the present invention includes a device 20 and a cooperation apparatus 10 as main components.
  • the device 20 recognizes the user and performs at least one of acquisition of sensing data related to the user and behavior based on the content posted to the SNS from other users.
  • the cooperation apparatus 10 is a process of transmitting the posted content based on the sensing data to the SNS system that provides the SNS, and a process of updating the action of the device 20 based on the posted content from other users and transmitting it to the device 20. Do at least one of them.
  • the SNS-robot cooperation device 100 of the present embodiment can be realized by a computer and a program for controlling the computer, dedicated hardware, or a combination of the computer and the computer control program and dedicated hardware.
  • FIG. 9 is a diagram illustrating an example of a hardware configuration of a computer 10000 that can realize the SNS-robot cooperation device 100.
  • a computer 10000 includes a processor 10001, a memory 10002, a storage device 10003, and an I / O (Input / Output) interface 10004. Further, the computer 10000 can access the recording medium 10005.
  • the memory 10002 and the storage device 10003 are storage devices such as a RAM (Random Access Memory) and a hard disk, for example.
  • the recording medium 10005 is, for example, a storage device such as a RAM or a hard disk, a ROM (Read Only Memory), or a portable recording medium.
  • the storage device 10003 may be the recording medium 10005.
  • the processor 10001 can read and write data and programs from and to the memory 10002 and the storage device 10003.
  • the processor 10001 can access, for example, the robot PF 200 and the SNS system 300 via the I / O interface 10004.
  • the processor 10001 can access the recording medium 10005.
  • the recording medium 10005 stores a program that causes the computer 10000 to operate as the SNS-robot cooperation device 100.
  • the processor 10001 loads, into the memory 10002, a program stored in the recording medium 10005 and causing the computer 10000 to operate as the SNS-robot cooperation device 100. Then, when the processor 10001 executes the program loaded in the memory 10002, the computer 10000 operates as the SNS-robot cooperation device 100.
  • the SNS-robot cooperation control unit 1001, the robot PF-IF unit 1002, and the SNS-IF unit 1003 can realize the function of each unit read into the memory 10002 from a recording medium 10005 for storing a program, for example. It can be realized by a dedicated program and a processor 10001 that executes the program. Also, part or all of the SNS-robot cooperation control unit 1001, the robot PF-IF unit 1002, and the SNS-IF unit 1003 can be realized by a dedicated circuit that realizes these functions.
  • a cooperation system including a device (for example, a robot PF device 202) and a cooperation apparatus (for example, an SNS-robot cooperation apparatus 100).
  • the device recognizes the user and performs at least one of acquisition of sensing data related to the user and behavior (for example, speech and motion) based on the content posted to the SNS from other users.
  • the cooperating apparatus is a process of transmitting the posted content based on the sensing data to the SNS system (for example, the SNS system 300), and a process of updating the behavior of the device based on the posted content from other users and transmitting it to the device. Do at least one of them.
  • the SNS system provides SNS.
  • the linkage system may be configured such that the device is a communication robot that can communicate with the user. According to such a linkage system, even a person who does not use a PC or a smartphone can easily participate in an SNS community (SNS group) and communicate with other SNS users simply by interacting with a robot. be able to.
  • SNS group SNS community
  • the linkage system may be configured as follows.
  • a cooperation apparatus updates at least one of the utterance content and motion of a device based on the content posted by the other user in SNS.
  • the device performs at least one of utterance based on utterance content and motion based on motion.
  • a cooperation system is comprised so that a device may acquire a user's audio
  • the cooperation system is configured such that the device acquires sensing data related to the user's situation, and the cooperation apparatus transmits the sensing data to the posting SNS system for conveying the user's situation based on the sensing data. May be.
  • the device acquires the user's face image, and the cooperation device uses the identification information of the user specified based on the authentication result of the face image, and user management data stored in advance.
  • the posting destination may be identified based on the posting destination. According to such a cooperation system, a plurality of users can automatically post and share information with an SNS group to which each user belongs only by interacting with the communication robot.
  • the linkage system may be configured as follows.
  • the cooperation apparatus holds user management data in which the identification information of the user who uses the first device and the SNS group are associated with each other, and the second device recognizes the user, the second device is And register with the SNS group associated with the user.
  • a plurality of communication robots can be automatically registered in an SNS group only by a user interacting with the plurality of communication robots.

Abstract

　利用者が容易にＳＮＳを利用することができる連携システム、装置、方法およびプログラムを提供する。　連携システムは、利用者を認識し、当該利用者に関するセンシングデータの取得および他の利用者からのＳＮＳへの投稿内容に基づく行動のうちの少なくとも一方を行うデバイス２０と、センシングデータに基づいた投稿内容をＳＮＳを提供するＳＮＳシステムに送信する処理、および他の利用者からの投稿内容に基づくデバイス２０の行動を更新してデバイス２０に送信する処理のうちの少なくとも一方を行う連携装置１０とを備える。

Description

連携システム、装置、方法、および記録媒体
　本発明は、ＳＮＳシステムとデバイスを連携する連携システム、連携装置、連携方法、および連携プログラムを記憶する記録媒体等に関する。
　近年、親しい家族や仲間とコミュニケーションを取るために、ＳＮＳ（Ｓｏｃｉａｌ　Ｎｅｔｗｏｒｋｉｎｇ　Ｓｅｒｖｉｃｅ）が利用され、ＳＮＳを用いたコミュニティが構築されるようになった。一般的なＳＮＳにおいて、利用者は、ＰＣ（パーソナルコンピュータ；Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）やスマートフォン等の端末において実行されるブラウザやアプリケーションを利用して、ＳＮＳのコミュニティ上でメッセージや写真、動画等のコンテンツを閲覧したり、アップロードしたりする。
　ＳＮＳのコミュニティにおいて簡単にコンテンツの送受信ができるように、様々な提案が行われ、ＰＣやスマートフォン等の端末において動作する、ＳＮＳを利用するソフトウェアの実装が行われている。例えば、端末上のアプリケーションにおいて、音声入力によるテキスト入力および表示テキストの音声読み上げにより、利用者が簡単にメッセージを送受信できる技術が用いられている。また、例えば、利用者自身の状態を示すステータスの投稿（すなわちステータス投稿）と、そのステータス投稿に対する投稿（すなわちコメント投稿）が可能である掲示板感覚のＳＮＳとしてＢｅｔｔｅｒＰｅｏｐｌｅ（非特許文献１参照）が利用されている。
　一方で、人と会話をしてコミュニケーションがとれるコミュニケーションロボットが普及しつつある（例えば、非特許文献２参照）。コミュニケーションロボットは、人との会話を通して、その会話の内容、人の位置や動き、顔の形や表情、人の体温や周囲の温度など、多くの情報をセンシングすることができる。コミュニケーションロボットは、その多くの情報により、その人との会話を継続することができる。
NEC Corporation、"BetterPeople"、［online］、［平成26年3月24日検索］、インターネット〈URL：http://n-pj.jp/btp/〉 NEC Corporation、"クラウド連携型ロボットプラットフォーム"、［online］、［平成26年4月3日検索］、インターネット〈URL：http://jpn.nec.com/robot/〉
　しかし、一般的なＳＮＳにおいて、利用者はＰＣやスマートフォン等の端末を利用することが前提となっている。これらの端末を利用できない高齢者や幼児等は、ＳＮＳのコミュニティに参加することができない。また、利用者がそれらの端末を利用することができたとしても、ＳＮＳのコミュニティ上で簡単にコンテンツの送受信をできない場合がある。その理由は、ＳＮＳのコミュニティへのアクセス、コンテンツの閲覧、テキスト入力、画像や映像のコンテンツのアップロード作業など、ＳＮＳのコミュニティ上でのコンテンツの送受信に要する手順が煩雑だからである。
　そこで本発明は、利用者が容易にＳＮＳを利用することができる連携システム、連携装置、連携方法、および連携プログラムを記憶する記録媒体等を提供することを目的の一つとする。
　本発明の一態様に係る連携システムは、利用者を認識し、当該利用者に関するセンシングデータの取得および他の利用者からのＳＮＳへの投稿内容に基づく行動のうちの少なくとも一方を行うデバイスと、センシングデータに基づいた投稿内容をＳＮＳを提供するＳＮＳシステムに送信する処理、および他の利用者からの投稿内容に基づくデバイスの行動を更新してデバイスに送信する処理のうちの少なくとも一方を行う連携装置とを備える。
　本発明の一態様に係る連携装置は、利用者を認識し、当該利用者に関するセンシングデータの取得および他の利用者からのＳＮＳへの投稿内容に基づく行動のうちの少なくとも一方を行うデバイスに接続された連携装置であって、センシングデータに基づいた投稿内容をＳＮＳを提供するＳＮＳシステムに送信する処理、および他の利用者からの投稿内容に基づくデバイスの行動を更新してデバイスに送信する処理のうちの少なくとも一方を行う。
　本発明の一態様に係る連携方法は、利用者を認識し、当該利用者に関するセンシングデータの取得および他の利用者からのＳＮＳへの投稿内容に基づく行動のうちの少なくとも一方を行い、センシングデータに基づいた投稿内容をＳＮＳを提供するＳＮＳシステムに送信する処理、および他の利用者からの投稿内容に基づく行動を更新する処理のうちの少なくとも一方を行う。
　本発明の一態様に係る記録媒体は、利用者を認識し、当該利用者に関するセンシングデータの取得および他の利用者からのＳＮＳへの投稿内容に基づく行動のうちの少なくとも一方を行うデバイスに接続されたコンピュータに搭載されるプログラムであって、コンピュータに、センシングデータに基づいた投稿内容をＳＮＳを提供するＳＮＳシステムに送信する処理、および他の利用者からの投稿内容に基づくデバイスの行動を更新してデバイスに送信する処理のうちの少なくとも一方を実行させる連携プログラムを記憶する。また、本発明の目的は、上述の記録媒体に格納される連携プログラムによっても達成される。
　本発明によれば、利用者が容易にＳＮＳを利用することができる。
図１は、本発明による連携システムの実施形態の構成を示すブロック図である。 図２は、本発明による連携システムの実施形態の動作を示すフローチャートである。 図３は、コミュニケーションロボットの発話内容を更新する手順を示すフローチャートである。 図４は、コミュニケーションロボットの発話内容とモーション内容を決定する手順を示すフローチャートである。 図５は、ＳＮＳグループ上で仮想ロボットキャラクターが投稿する内容を決定する手順を示すフローチャートである。 図６は、顔認証によりＳＮＳ投稿先を識別する手順を示すフローチャートである。 図７は、複数のコミュニケーションロボットがある場合に、投稿先を識別する手順を示すフローチャートである。 図８は、本発明による連携システムの主要部の構成を示すブロック図である。 図９は、本発明によるＳＮＳ－ロボット連携装置１００を実現することができるコンピュータのハードウェア構成の一例を表すブロック図である。
　以下、本発明による連携システムの実施形態を、図面を参照して説明する。図１は、本実施形態の連携システムの構成を示すブロック図である。図１に示す連携システムは、ロボットのプラットフォームとＳＮＳを実現するシステムとを連携させたシステムである。
　図１に示すように、本実施形態の連携システムは、ＳＮＳ－ロボット連携装置１００と、ロボットＰＦ（Ｐｌａｔｆｏｒｍ）２００と、ＳＮＳシステム３００とを備える。ＳＮＳ－ロボット連携装置１００は、例えば、本発明における連携装置に相当する。ロボットＰＦ２００は、例えば、本発明におけるデバイスに相当する。ＳＮＳ－ロボット連携装置１００は、ロボットＰＦ２００とＳＮＳシステム３００との間に通信可能に接続される装置である。ＳＮＳ－ロボット連携装置１００は、例えばサーバである。
　ロボットＰＦ２００は、ロボットＰＦクラウド２０１と、ロボットＰＦデバイス２０２とを含む。ロボットＰＦクラウド２０１とロボットＰＦデバイス２０２とは通信ネットワークを介して接続される。
　ＳＮＳシステム３００は、ＳＮＳサーバ３０１と、端末装置３０２とを含む。ＳＮＳシステム３００は、ＳＮＳを提供する。ＳＮＳサーバ３０１と端末装置３０２とは通信ネットワークを介して接続される。端末装置３０２は、一般的なＳＮＳシステムに用いられる端末装置である。端末装置３０２は、例えば、通信ネットワークを介してＳＮＳサーバ３０１に接続される、ＰＣ、タブレット端末、スマートフォン、または携帯電話等である。また、本実施形態では、複数の端末装置３０２がＳＮＳサーバ３０１に接続されていることを想定する。
　ＳＮＳ－ロボット連携装置１００は、ＳＮＳ－ロボット連携制御部１００１と、ロボットＰＦ－ＩＦ（Ｉｎｔｅｒｆａｃｅ）部１００２と、ＳＮＳ－ＩＦ部１００３とを含む。ＳＮＳ－ロボット連携装置１００は、ロボットＰＦクラウド２０１およびＳＮＳサーバ３０１と、通信ネットワークを介してクラウド上で接続される。また、ＳＮＳ－ロボット連携装置１００は、ロボットＰＦクラウド２０１、またはＳＮＳシステム３００に含まれていてもよい。ＳＮＳ－ロボット連携装置１００は、ロボットＰＦ－ＩＦ部１００２によって、通信ネットワークを介したロボットＰＦクラウド２０１との通信を行う。ＳＮＳ－ロボット連携装置１００は、ＳＮＳ－ＩＦ部１００３によって、通信ネットワークを介したＳＮＳサーバ３０１との通信を行う。
　ＳＮＳ－ロボット連携装置１００内の各要素は、例えば、特定の演算処理等を行うよう設計されたハードウェア、またはプログラムに従って動作するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等の情報処理装置によって実現される。また、そのプログラムは、非一時的でコンピュータが読み取り可能な記憶媒体に記憶される。
　ロボットＰＦクラウド２０１は、クラウドサービスに用いられるサーバ等の情報処理装置である。ロボットＰＦクラウド２０１は、ロボットＰＦクラウド制御部２０１１を含む。ロボットＰＦクラウド制御部２０１１は、ロボットＰＦ２００全体（ロボットＰＦクラウド２０１、及びロボットＰＦデバイス２０２の両方）の制御を行う。ロボットＰＦクラウド制御部２０１１は、例えば、ロボットＰＦデバイス２０２の管理を行うことができる。また、ロボットＰＦクラウド制御部２０１１は、他のサービスアプリケーション等からロボットを制御および管理をするためのインタフェースであるアプリケーションプログラミングインタフェース等の機能を有する。
　ロボットＰＦデバイス２０２は、例えば、利用者とコミュニケーションを行うことができるコミュニケーションロボットである。以下の説明では、コミュニケーションロボットを、ロボットとも表記する。ロボットＰＦデバイス２０２は、ロボットＰＦデバイス制御部２０２１と、人検知部２０２２と、音声認識部２０２３と、音声合成発話部２０２４と、モーション再生部２０２５とを含む。ロボットＰＦデバイス２０２は、人検知部２０２２および音声認識部２０２３等を用いて利用者に関するセンシングデータを取得する。以下の説明では、コミュニケーションロボットの利用者を、ロボット利用者とも表記する。
　人検知部２０２２は、人を検知する。具体的には、人検知部２０２２は、例えばセンサによって、コミュニケーションロボットの利用者に関するセンシングデータを取得する。音声認識部２０２３は、例えばマイクロホンなどのセンサによって音声を検出し、検出した音声を認識する。音声合成発話部２０２４は、発話の内容を表す発話内容をもとに音声を合成し、合成した音声を再生する。モーション再生部２０２５は、ロボットの動作を表すモーション内容に従って、ロボットを動作させる（すなわち、モーション内容を再生する）。
　本実施形態では、ロボットＰＦクラウド２０１とロボットＰＦデバイス２０２とを有するクラウド連携型のロボットＰＦ２００を想定しているがこのような構成に限られない。ロボットＰＦデバイス２０２は、例えば、他のアプリケーション等から制御および管理をすることができるロボットであってもよい。また、人検知部２０２２、音声認識部２０２３、及び音声合成発話部２０２４における人検知、音声認識、及び音声合成等のソフトウェア処理を、ロボットＰＦクラウド２０１が実施してもよい。すなわち、ロボットＰＦクラウド２０１が、人検知部２０２２、音声認識部２０２３、及び音声合成発話部２０２４として動作してもよい。
　また、本実施形態では、ロボットＰＦデバイス２０２として、コミュニケーションロボットが用いられているが、ロボットＰＦデバイス２０２は、人を認識できるデバイスであれば、コミュニケーションロボットでなくてもよい。例えば、コミュニケーションロボットの代わりに、顔認識及び照合をすることができるカメラ、または生体認証をすることができるセンサデバイスを用いてもよい。
　人検知部２０２２による人検知は、赤外線センサによる温度変化の検出、超音波センサによる物体との距離検出、カメラ等の撮影装置を用いた人の顔検出等のセンシング技術により実現される。このセンシング技術には、一般的な技術が適用されるため、詳細な説明を省略する。
　ロボットＰＦクラウド２０１およびロボットＰＦデバイス２０２の各要素は、例えば、特定の演算処理等を行うよう設計されたハードウェア、またはプログラムに従って動作するＣＰＵ等の情報処理装置によって実現される。また、そのプログラムは、非一時的でコンピュータが読み取り可能な記憶媒体に記憶される。
　ＳＮＳサーバ３０１は、クラウド上でＳＮＳシステム３００のサービス運用およびデータ管理を行うサーバであり、ＳＮＳサーバ制御部３０１１を含む。ＰＣやスマートフォン等の端末にインストールされたアプリケーションは、このＳＮＳサーバ制御部３０１１が提供するアプリケーションプログラミングインタフェースを利用して、ＳＮＳシステム３００のデータにアクセスできる。
　なお、本発明の各実施形態の説明において、アプリケーションプログラムを、上述のように、「アプリケーション」と表記することがある。また、アプリケーションプログラムに従って動作するＣＰＵ等の情報処理装置の動作を、上述のように、アプリケーションプログラムすなわちアプリケーションの動作として説明することがある。
　端末装置３０２は、ＳＮＳアプリケーション３０２１を含む。ＳＮＳアプリケーション３０２１は、ＰＣやスマートフォン等の端末にインストールされるアプリケーションである。ＳＮＳアプリケーション３０２１は、ＳＮＳを利用できる、例えばＷｅｂブラウザ等のアプリケーションである。ＳＮＳアプリケーション３０２１は、専用の回路によって実現されていてもよい。端末装置３０２は、ＳＮＳを利用できる様々な装置やシステムであってもよい。
　以上のように、ＳＮＳサーバ３０１および端末装置３０２は、例えば、特定の演算処理等を行うよう設計されたハードウェア、またはプログラムに従って動作するＣＰＵ等の情報処理装置によって実現される。また、そのプログラムは、非一時的でコンピュータが読み取り可能な記憶媒体に記憶される。
　本実施形態のＳＮＳアプリケーション３０２１は、利用者がステータスアイコンやスタンプと呼ばれるＵＩ（Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）を利用して、自らの状態や発信したいコメントを共有することができるＳＮＳアプリケーションである。ＳＮＳアプリケーション３０２１は、例えば、利用者自身の状態を示すステータスの投稿（すなわちステータス投稿）と、そのステータス投稿に対する投稿（すなわちコメント投稿）が可能である掲示板感覚のＳＮＳである。そのようなＳＮＳとして、例えば、ＢｅｔｔｅｒＰｅｏｐｌｅ（非特許文献１参照）が利用される。ＢｅｔｔｅｒＰｅｏｐｌｅでは、利用者の状態を表すアイコン（すなわちステータスアイコン）、テキストの代わりに利用できるスタンプを有している。
　ＳＮＳアプリケーション３０２１は、ロボット利用者の言動をＳＮＳ上で共有する際、他のユーザと比較的強めに共有したい内容（例えばステータス投稿）と、比較的弱めに共有したい内容（例えばコメント投稿）とを区別する。ＳＮＳアプリケーション３０２１は、比較的強めに共有したい内容と比較的弱めに共有したい内容とを、異なるＵＩ（見せ方）を用いて表示する。
　コミュニケーションロボットは、ＳＮＳシステム３００のコミュニティに、仮想ロボットキャラクターとして参加する。本実施形態では、ＳＮＳシステム３００のコミュニティとＳＮＳグループは同義である。ＳＮＳグループでは、当該グループに参加している特定の利用者のみが投稿および閲覧をすることができる。また、利用者は、ＳＮＳグループへ参加するためには、グループ管理者の承認を得て登録する必要がある。一般的なＳＮＳにおいて、親しい家族や仲間とコミュニケーションを取るための閉じた世界のコミュニティをグループと定義していることが多い。そのため、本実施形態でも、ＳＮＳシステム３００のコミュニティをＳＮＳグループ、または、単にグループと表現する。以下の説明では、「ＳＮＳグループへの投稿」は、例えば、そのＳＮＳグループに参加している利用者のみが閲覧できる投稿である。「ＳＮＳ投稿」は、いずれかのＳＮＳグループへの投稿である。ＳＮＳ投稿は、例えば、上述のステータス投稿及びコメント投稿を含む。
　コミュニケーションロボットは、ロボット利用者との会話の内容を、ＳＮＳグループに参加している仮想ロボットキャラクターを介してコメントやスタンプとして投稿する。すなわち、コミュニケーションロボットは、ロボット利用者との会話の内容を、ＳＮＳグループに参加している仮想ロボットキャラクターによるコメントやスタンプとして投稿する。これにより、他のＳＮＳ利用者が、ＳＮＳ上でロボット利用者の状況を共有できる。また、コミュニケーションロボットが、他のＳＮＳ利用者がＳＮＳグループ上で投稿した内容を、音声合成により発話したり、モーションを実行したりすることによって、他のＳＮＳ利用者の状況をロボット利用者に伝えることができる。モーションは、例えば、効果音やロボットの体の動きやＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）の点灯、点滅等である。モーションを用いることにより、コミュニケーションロボットは、発話音声だけによるコミュニケーションよりも効果的にロボット利用者とのコミュニケーションを行うことができる。以下の説明では、具体的な発話の内容を表すデータを、発話内容と表記する。具体的なモーションの内容を表すデータを、モーション内容と表記する。また、発話及びモーションの少なくともいずれかを、「行動」と表記することがある。
　次に、本実施形態の連携システムの動作を説明する。図２は、本実施形態の連携システムの動作を示すフローチャートである。図２は、具体的には、コミュニケーションロボットが、ＳＮＳグループに参加している仮想ロボットキャラクターを介して、ロボット利用者との会話の内容をＳＮＳグループ上でコメントやスタンプとして投稿する手順を示すフローチャートである。
　ＳＮＳ－ロボット連携制御部１００１は、コミュニケーションロボットが発話する内容（すなわち発話内容）を更新する（ステップＳ１１）。また、ＳＮＳ－ロボット連携制御部１００１は、ロボットＰＦ－ＩＦ部１００２を介して、ロボットＰＦクラウド制御部２０１１へ発話内容の更新情報を通知する。ロボットＰＦクラウド制御部２０１１は、ロボットＰＦデバイス制御部２０２１へ、ＳＮＳ－ロボット連携制御部１００１から通知された発話内容の更新情報を通知する。ロボットが発話する内容の更新は、ＳＮＳ－ロボット連携制御部１００１が、必要に応じて行う。具体的な更新手順については、別途説明する。
　人検知部２０２２は、人を検知する（ステップＳ１２）。すなわち、人検知部２０２２は、センサによって、ロボット利用者に関する測定データ（すなわちセンシングデータ）を取得する。人検知部２０２２は、具体的には、人の存在、位置、動き、表情の変化、または温度変化等を検知する。人検知部２０２２は、検知により得たセンシングデータを、ロボットＰＦデバイス制御部２０２１に通知する。人検知は、赤外線センサによる温度変化の検出、超音波センサによる物体との距離検出、カメラによる人の顔検出等のセンシング技術により実現される。
　ロボットＰＦデバイス制御部２０２１は、音声合成発話部２０２４に発話処理をさせ、モーション再生部２０２５にモーション処理をさせる（ステップＳ１３）。ロボットＰＦデバイス制御部２０２１は、具体的には、人検知によるセンシングデータに基づいて、ロボットの発話内容とモーション内容を決定する。次に、ロボットＰＦデバイス制御部２０２１は、音声合成発話部２０２４にロボットの発話内容を通知し、モーション再生部２０２５にロボットのモーション内容を通知する。音声合成発話部２０２４は、通知された発話内容を発話する。すなわち、音声合成発話部２０２４は、通知された発話内容を表す音声を合成する。音声合成発話部２０２４は、通知された発話内容を表す音声データを生成し、生成した音声データを音声として再生する。モーション再生部２０２５は、通知されたモーション内容を再生する。すなわち、モーション再生部２０２５は、通知されたモーション内容によって表されるモーションを実行する。
　ロボットＰＦデバイス制御部２０２１は、予め保持している発話内容またはステップＳ１１においてＳＮＳ－ロボット連携制御部１００１から通知された発話内容から、いずれかの発話内容を選択する。ロボットＰＦデバイス制御部２０２１は、選択した発話内容を、ロボットが発話する発話内容として決定する。また、ロボットＰＦデバイス制御部２０２１は、モーション内容として、予め保持しているモーション内容から、いずれかのモーション内容を選択する。ロボットＰＦデバイス制御部２０２１は、選択したモーション内容を、ロボットが再生するモーション内容として決定する。また、ロボットＰＦデバイス制御部２０２１は、人検知ではなく、特定音や特定音声の検出、又は、ジェスチャー動作の検出等に基づいて、ロボットの発話内容およびモーション内容を決定してもよい。発話内容およびモーション内容を決定する具体的な方法については、別途説明する。
　音声認識部２０２３は、ステップＳ１３のロボットの発話とモーションの後に、音声認識によって、ロボット利用者の発話内容を認識する（ステップＳ１４）。音声認識部２０２３は、音声認識によって得られた、ロボット利用者の発話内容を表す音声認識データを、センシングデータとしてロボットＰＦデバイス制御部２０２１に通知する。
　ロボットＰＦデバイス制御部２０２１は、人検知部２０２２および音声認識部２０２３から得たセンシングデータと、ロボットＰＦデバイス２０２に関するデバイスデータをロボットＰＦクラウド制御部２０１１に送信する（ステップＳ１５）。センシングデータは、具体的には、赤外線測定データ、超音波測定データ、カメラ顔検出データ、カメラ画像および映像データ、音声認識データ等である。デバイスデータは、具体的には、デバイスの状態、ロボットによる発話の内容を表す発話内容、モーション再生内容（すなわち再生されたモーション内容）等である。
　ロボットＰＦクラウド制御部２０１１は、ロボットＰＦデバイス制御部２０２１から通知されたセンシングデータとデバイスデータとを、ロボットＰＦ－ＩＦ部１００２を介して、ＳＮＳ－ロボット連携制御部１００１に通知する。
　ＳＮＳ－ロボット連携制御部１００１は、ロボットＰＦクラウド制御部２０１１から通知されたセンシングデータとデバイスデータとに基づき、ＳＮＳグループにて仮想ロボットキャラクターが投稿する内容を決定する（ステップＳ１６）。すなわち、ステップＳ１６において、ＳＮＳ－ロボット連携制御部１００１は、仮想ロボットキャラクターによる、ＳＮＳへの投稿内容を決定する。ステップＳ１６における決定方法の具体的内容は、別途説明する。
　ＳＮＳ－ロボット連携制御部１００１は、仮想ロボットキャラクターが投稿する内容として決定した投稿内容を、ＳＮＳサーバ制御部３０１１へ通知する（ステップＳ１７）。すなわち、ステップＳ１７において、ＳＮＳ－ロボット連携制御部１００１は、投稿内容をＳＮＳに通知する。ＳＮＳ－ロボット連携制御部１００１は、具体的には、ＳＮＳ－ＩＦ部１００３を介して、ステップＳ１６において決定した投稿内容をＳＮＳサーバ制御部３０１１へ送信する。ＳＮＳサーバ制御部３０１１は、ＳＮＳシステム３００における投稿内容データを更新して、必要に応じて、ＳＮＳアプリケーション３０２１に投稿内容データの更新内容を通知する。
　以上の処理により、ＳＮＳ－ロボット連携制御部１００１が決定した投稿内容は、仮想ロボットキャラクターがＳＮＳ上に投稿され、共有される。その投稿内容は、ロボット利用者との対話内容や、ロボット利用者の動きなどのセンシング情報を含む、センシングデータとデバイスデータに基づく内容である。そして、他のＳＮＳ利用者は、その投稿内容を、仮想ロボットキャラクターがＳＮＳグループ上で投稿した内容として確認することができる。
　次に、ステップＳ１１における発話内容の更新について、具体的に説明する。図３は、コミュニケーションロボットの発話内容を更新する手順を示すフローチャートである。
　コミュニケーションロボットの発話として、ロボット自律発話とＳＮＳ投稿発話の２種類の発話がある。ロボット自律発話は、コミュニケーションロボット自身が自律的に行う発話であり、ＳＮＳグループ上に投稿された内容とは関係なく、ロボット利用者に話しかける発話である。ロボット自律発話は、例えば「おはよう。今日も元気だよ。頑張ろう！」、または「こんにちは、今日の体調はいかが？」という発話である。一方、ＳＮＳ投稿発話は、ＳＮＳグループのある利用者により投稿された内容に基づく発話である。ＳＮＳグループのある利用者によって投稿が行われた場合、ＳＮＳ－ロボット連携制御部１００１は、コミュニケーションロボットの発話を、ロボット自律発話からＳＮＳ投稿発話に変更してもよい。「おはよう、今日も寒いね。」という発話が、利用者の一人である「利用者Ａ」により投稿された場合のＳＮＳ投稿発話は、例えば、「利用者Ａからコメントだよ。おはよう、今日も寒いね。」という発話である。コミュニケーションロボットは、ＳＮＳ－ロボット連携制御部１００１によって変更された発話を、ロボット利用者に伝えればよい。
　以下に、図３を参照して、ロボット自律発話とＳＮＳ投稿発話のそれぞれの内容を更新する手順を説明する。
　ＳＮＳ－ロボット連携制御部１００１は、ロボットが自律的に発話する発話の内容を表すデータ（すなわちロボット自律発話データ）を更新する必要があるかを確認する（ステップＳ２１）。ＳＮＳ－ロボット連携制御部１００１は、更新を行う必要がある場合（ステップＳ２１のＹＥＳ）、ロボット自律発話データの更新を行う（ステップＳ２２）。更新する必要がない場合（ステップＳ２１のＮＯ）、ステップＳ２２におけるロボット自律発話データの更新は行われず、ステップＳ２３に遷移する。
　ロボット自律発話データは、ＳＮＳ－ロボット連携制御部１００１が予め保持するデータである。ロボット自律発話データは、定期的に更新されてもよい。ロボット自律発話データは、例えば、ロボット管理者やロボットのサービス運用会社により更新指示に応じて更新される。また、ＳＮＳ－ロボット連携制御部１００１は、例えば、天気や気温、ニュースなど、インターネット等の情報をもとに、ロボット自律発話データを自律的に更新するように設定されていてもよい。すなわち、ＳＮＳ－ロボット連携制御部１００１は、例えば、定期的な更新時期となった場合、更新指示があった場合、またはインターネット等の情報の更新があった場合に、ロボットが自律的に発話する内容の更新をする必要があると判断してもよい。
　ＳＮＳ－ロボット連携制御部１００１は、ロボットが発話していないＳＮＳグループへの投稿の更新があるかを確認する（ステップＳ２３）。以下では、ＳＮＳグループへの投稿の内容を、「ＳＮＳ投稿内容」と表記する。ＳＮＳ－ロボット連携制御部１００１は、更新がある場合（ステップＳ２３においてＹＥＳ）、更新があったＳＮＳ投稿内容に基づき、ＳＮＳ投稿発話の内容を表すデータである、ＳＮＳ投稿発話データの作成を行う（ステップＳ２４）。更新がない場合（ステップＳ２３においてＮＯ）、ステップＳ２４における投稿発話データの作成は行われず、図３に示す動作はステップＳ２６に遷移する。
　ステップＳ２４において、ＳＮＳ－ロボット連携制御部１００１は、予め保持するテンプレートに従い、ＳＮＳ投稿発話データを作成する。ＳＮＳ－ロボット連携制御部１００１は、具体的には、投稿者、投稿されたテキスト内容、投稿されたステータスアイコン（利用者の状態を表すアイコン）、投稿されたスタンプに応じた発話パターンを予め保持する。ＳＮＳ－ロボット連携制御部１００１は、その発話パターンに基づいて発話データを作成できる管理テーブルをテンプレートとして用いる。例えば、利用者Ａが「おはよう、今日も寒いね。」というテキストを投稿した場合、ＳＮＳ－ロボット連携制御部１００１は、「利用者Ａからコメントだよ。おはよう、今日も寒いね。」という発話データを作成する。また、利用者の一人である利用者Ｂが「オッケー」を意図するスタンプを投稿した場合、ＳＮＳ－ロボット連携制御部１００１は、「オッケー、オッケー。利用者Ｂが、オッケーのスタンプを押したよ」という発話データを作成する。
　ＳＮＳ－ロボット連携制御部１００１は、作成したＳＮＳ投稿発話データを用いて、ＳＮＳ－ロボット連携制御部１００１が保持するＳＮＳ投稿発話データの更新を行う（ステップＳ２５）。ＳＮＳ－ロボット連携制御部１００１が保持するＳＮＳ投稿発話データは、ロボットが発話していない複数のＳＮＳ投稿内容を含んでいればよい。ＳＮＳ－ロボット連携制御部１００１が保持するＳＮＳ投稿発話データは、ロボットが発話済みのデータも含み、ステップＳ２４で作成され、蓄積された発話済みのデータであってもよい。
　ＳＮＳ－ロボット連携制御部１００１は、ロボットＰＦデバイス制御部２０２１に、ロボット自律発話データとＳＮＳ投稿発話データと（すなわち、発話内容）を通知する（ステップＳ２６）。ＳＮＳ－ロボット連携制御部１００１は、具体的には、ロボットＰＦ－ＩＦ部１００２を介して、ロボットＰＦクラウド制御部２０１１に、コミュニケーションロボットが発話するロボット自律発話データとＳＮＳ投稿発話データを通知する。そして、ロボットＰＦクラウド制御部２０１１は、ロボットＰＦデバイス制御部２０２１に、ＳＮＳ－ロボット連携制御部１００１から通知されたロボット自律発話データとＳＮＳ投稿発話データを通知する。なお、ロボット自律発話データおよびＳＮＳ投稿発話データのいずれの更新も無ければステップＳ２６における通知は行われない。
　本実施形態では、ＳＮＳ－ロボット連携制御部１００１は、ロボット自律発話データ更新とＳＮＳ投稿発話データ更新とを続けて実施しているが必ずしも続けて実施しなくてもよい。例えば、ＳＮＳ－ロボット連携制御部１００１は、ステップＳ２１においてロボット自律発話内容の更新の必要がある場合に、ロボット自律発話のデータのみを更新してもよい（ステップＳ２２）。そして、ＳＮＳ－ロボット連携制御部１００１は、ロボットＰＦデバイス制御部２０２１に、ロボット自律発話のデータのみを通知してもよい（ステップＳ２６）。また、ＳＮＳ－ロボット連携制御部１００１は、ステップＳ２３において、ＳＮＳ投稿発話内容に更新の必要がある場合に、ＳＮＳ投稿発話のデータのみを更新してもよい（ステップＳ２５）。そして、ＳＮＳ－ロボット連携制御部１００１は、ロボットＰＦデバイス制御部２０２１に、ＳＮＳ投稿発話のデータのみを通知してもよい（ステップＳ２６）。
　次に、図２に示すステップＳ１３の処理の際に、ロボットＰＦデバイス制御部２０２１が、コミュニケーションロボットの発話内容とモーション内容を決定する手順を説明する。図４は、コミュニケーションロボットの発話内容とモーション内容を決定する手順を示すフローチャートである。
　ロボットＰＦデバイス制御部２０２１は、発話内容が決定される発話が、予め定められた所定時刻後の初めての発話かどうかを判断する（ステップＳ３１）。所定時刻は、例えば、６時、１２時、１８時等である。所定時刻は、ロボット利用者、ロボット管理者、ロボットのサービス運用会社等により設定変更が可能であってもよい。
　その発話が所定時刻後の初めての発話である場合（ステップＳ３１においてＹＥＳ）、ロボットＰＦデバイス制御部２０２１は、ロボット自律発話データに基づいて、初発話用のロボットの自律発話内容を決定する（ステップＳ３２）。初発話用のロボット自律発話内容は、所定時刻後の初発話に適した内容であり、あいさつやロボット利用者の状況を確認するような内容である。この発話は、例えば、「おはよう、今日の体調はいかが？大丈夫？」という発話である。
　その発話が所定時刻後の初めての発話でない場合（ステップＳ３１においてＮＯ）、ロボットＰＦデバイス制御部２０２１は、ＳＮＳ投稿発話データがあるかの確認を行う（ステップＳ３３）。ＳＮＳ投稿発話データがある場合（ステップＳ３３においてＹＥＳ）、ロボットＰＦデバイス制御部２０２１は、ＳＮＳ投稿発話データに基づいて、ロボットの発話内容を決定する（ステップＳ３４）。ＳＮＳ投稿発話データは、図３に示すステップＳ２４のＳＮＳ投稿発話データ作成において、ＳＮＳ－ロボット連携制御部１００１が、ルールやパターンに従って、作成したデータである。
　ＳＮＳ投稿発話データがない場合（ステップＳ３３においてＮＯ）、ロボットＰＦデバイス制御部２０２１は、ロボット自律発話データに基づいて、ロボットの発話内容を決定する（ステップＳ３５）。ロボットＰＦデバイス制御部２０２１は、ステップＳ３５におけるロボット自律発話内容は、発話が所定時刻後の初発話でもなく、ＳＮＳ投稿発話データがない場合に適した発話を決定する。この発話は、ロボット利用者に声をかけたり、ロボットが何かを伝えたりするような発話であり、例えば、「寒くなってきたから、風邪に気を付けようね！」という発話である。
　ステップＳ３２、ステップＳ３４またはステップＳ３５の処理の後、ロボットＰＦデバイス制御部２０２１は、発話内容に合うモーションを決定する（ステップＳ３６）。ロボットＰＦデバイス制御部２０２１は、具体的には、例えば、予め保持された効果音やロボットの体の動きやＬＥＤの点灯、点滅等のモーション内容の中から、発話内容に合うモーションを選択すればよい。
　特に、ロボット発話内容が、ステップＳ３４で決定されたＳＮＳ投稿発話の場合には、ロボットＰＦデバイス制御部２０２１は、ステータスアイコンやスタンプの内容に合わせたモーションを選択したり、テキスト文章に合わせてモーションを選択したりする。
　また、ステップＳ３６において、ロボットＰＦデバイス制御部２０２１ではなくロボットＰＦクラウド制御部２０１１またはＳＮＳ－ロボット連携制御部１００１が、発話内容に基づいてモーション内容を決定してもよい。そして、ロボットＰＦクラウド制御部２０１１またはＳＮＳ－ロボット連携制御部１００１が、決定した内容をロボットＰＦデバイス制御部２０２１へ通知してもよい。また、ＳＮＳ－ロボット連携制御部１００１がモーション内容を決定する場合は、例えばＳＮＳ投稿内容等に基づいて、発話内容と共にモーション内容を決定してもよい。
　次に、図２に示すステップＳ１６において、ＳＮＳ－ロボット連携制御部１００１が、センシングデータとデバイスデータに基づき、ＳＮＳグループ上で仮想ロボットキャラクターが投稿する内容を決定する手順を説明する。図５は、ＳＮＳグループ上で仮想ロボットキャラクターが投稿する内容を決定する手順を示すフローチャートである。
　ＳＮＳ－ロボット連携制御部１００１は、図４に示すステップＳ３２、ステップＳ３４、またはステップＳ３５で決定されたロボットの発話内容に基づいて、ＳＮＳ投稿内容を作成する。以下、発話内容に基づくＳＮＳ投稿内容の作成の手順を具体的に説明する。
　ＳＮＳ－ロボット連携制御部１００１は、ロボットの発話内容がステップＳ３２、ステップＳ３４、またはステップＳ３５のいずれの処理で決定された発話内容であっても、ロボットの発話内容を引用して、投稿するテキスト文章を作成する（ステップＳ４１）。
　発話内容がステップＳ３２で決定された場合、その発話内容はあいさつやロボット利用者の状況を確認するような発話である。そのため、ＳＮＳ－ロボット連携制御部１００１は、ステップＳ４１において、ＳＮＳ上における仮想ロボットキャラクターによるＳＮＳ投稿内容として、ロボット利用者の状態を示すステータス投稿を作成する。
　発話内容がステップＳ３４で決定された場合、その発話内容は他のＳＮＳ利用者の投稿である。そのため、ＳＮＳ－ロボット連携制御部１００１は、ステップＳ４１において、他のＳＮＳ利用者によるＳＮＳ投稿内容に対するロボット利用者の応答（例えば発話）を、仮想ロボットキャラクターによるＳＮＳ投稿とする。この場合に作成されるＳＮＳ投稿は、例えば、ロボットが発話した他のＳＮＳ利用者のステータス投稿に対する、仮想ロボットキャラクターによるコメント投稿である。または、この場合に作成されるＳＮＳ投稿は、例えば、ロボットが発話した他のＳＮＳ利用者のコメント投稿に応答する、仮想ロボットキャラクターによるコメント投稿である。
　発話内容がステップＳ３５で決定された場合、その発話内容は、ロボット利用者の状態を確認するような発話ではなく、ロボット利用者に声をかけたり、ロボットが何かを伝えたりするような発話である。そのため、ＳＮＳ－ロボット連携制御部１００１は、ステップＳ４１において、ＳＮＳ投稿内容として、仮想ロボットキャラクターのステータス投稿（ロボット利用者の状態を示す）に対する、仮想ロボットキャラクターによるコメント投稿を作成する。
　ＳＮＳ－ロボット連携制御部１００１は、音声認識部２０２３による、利用者の音声の認識結果に基づいてＳＮＳ投稿内容を更新する（ステップＳ４２）。ＳＮＳ－ロボット連携制御部１００１は、利用者の音声の認識結果に応じて、例えば、投稿するアイコンを選択する。また、ＳＮＳ－ロボット連携制御部１００１は、音声認識したテキスト内容を引用して、ステップＳ４１で作成した投稿テキスト文章に追加する形で、ＳＮＳ投稿テキスト文章を更新する。
　発話内容がステップＳ３２で決定された場合、ＳＮＳ－ロボット連携制御部１００１は、仮想ロボットキャラクターによるステータス投稿のステータスアイコンとして、利用者の状態を表すアイコンを選択する。音声認識しなかった場合や、音声認識が正常にできなかった場合でも、ＳＮＳ－ロボット連携制御部１００１は、その音声認識状況を示すステータスアイコンを選択したり、その音声認識状況を投稿テキスト文章として更新したりしてもよい。
　発話内容がステップＳ３４またはステップＳ３５で決定された場合、ＳＮＳ－ロボット連携制御部１００１は、仮想ロボットキャラクターによるコメント投稿に加えて投稿するスタンプを選択する。音声認識しなかった場合や、音声認識が正常にできなかった場合でも、ＳＮＳ－ロボット連携制御部１００１は、その音声認識状況を示すスタンプを選択したり、その音声認識状況を投稿テキスト文章として更新したりしてもよい。
　次に、ＳＮＳ－ロボット連携制御部１００１は、その他のセンシングデータやデバイスデータに基づいて、ステップＳ４２で作成した投稿テキスト文章に追加する形で、投稿テキスト文章を更新する（ステップＳ４３）。具体的には、ＳＮＳ－ロボット連携制御部１００１は、センシングデータやデバイスデータに基づいて、利用者の状況を伝える投稿を行う。ＳＮＳ－ロボット連携制御部１００１は、人検知のセンシングデータを活用する場合、例えば、正常に顔が検出されることによって人が検知されたときに更新を行えばよい。ＳＮＳ－ロボット連携制御部１００１は、超音波のみによって人が検知されたときに更新を行ってもよい。ＳＮＳ－ロボット連携制御部１００１は、温度情報の変化又はロボット利用者の体温の異常などが検知されたときに更新を行ってもよい。ＳＮＳ－ロボット連携制御部１００１は、例えばいずれかの種類のセンシングデータから特徴的な変化を抽出し、抽出された変化に基づいて投稿テキスト文章を更新する。ＳＮＳ－ロボット連携制御部１００１は、ロボットとロボット利用者との距離や位置関係を活用してもよい。
　ＳＮＳ－ロボット連携制御部１００１は、例えば、室温が摂氏Ｔ１度であることを検知した場合、「室温は摂氏Ｔ１度です。少し寒いですね。」という投稿をする。また、ＳＮＳ－ロボット連携制御部１００１は、利用者の体温が摂氏Ｔ２度であることを検知した場合、「体温は摂氏Ｔ２度です。」という投稿をする。また、ＳＮＳ－ロボット連携制御部１００１は、例えば、利用者とコミュニケーションロボットとの距離がＤｃｍ（ｃｅｎｔｉｍｅｔｅｒ）であることを検知し、ロボットの左斜め前６０度の方向に顔を検出した場合、「利用者との距離はＤｃｍです。左斜め前１０時の方向に顔を見つけました。」という投稿をする。また、ＳＮＳ－ロボット連携制御部１００１は、予め定められた時間の間、ステップＳ１２における人検知ができない場合、「誰もいないみたい。どうしたのかな？」という投稿をしてもよい。この場合、ＳＮＳ－ロボット連携制御部１００１は、「室温は摂氏Ｔ１度、寒すぎる。暖房が入っていないようです。」という投稿をしてもよい。
　次に、本実施形態の連携システムの効果を説明する。本実施形態の連携システムは、ＰＣやスマートフォンを利用しない人でも、ロボットとの対話をするだけで簡単に、ＳＮＳのコミュニティ（ＳＮＳグループ）に参加して、他のＳＮＳ利用者とコミュニケーションをとることができる。
　本実施形態の連携システムは、コミュニケーションロボットが、仮想ロボットキャラクターとして、ロボット利用者との対話内容や、ロボット利用者の動きなどのセンシング情報を、ＳＮＳ上に投稿し共有する。そのため、同一コミュニティに参加している他のユーザ（家族や友人）は、離れた場所にいても、ロボット利用者の言動を確認できる。
　本実施形態の連携システムでは、実世界のロボットと同じ種類の仮想ロボットキャラクターが、ＳＮＳのコミュニティに参加する。そのため、本実施形態の連携システムでは、ロボット利用者の実世界の生活空間を分かり易くリアルに、ＳＮＳのコミュニティの他のユーザへ伝えることができる。
　本実施形態の連携システムは、ロボット利用者の言動をＳＮＳ上で共有する際、他のユーザへ比較的に強めに共有したい内容と、比較的に弱めに共有したい内容を区別して、ＳＮＳ上にて異なるＵＩ（見せ方）を用いる。他のユーザへ比較的に強めに共有したい内容は、例えばステータス投稿である。比較的に弱めに共有したい内容は、例えばコメント投稿である。そのため、本実施形態の連携システムは、ロボット利用者の言動を、状況に応じて、他のユーザに分かり易く伝えることができる。また、本実施形態の連携システムは、ロボット利用者がロボットと対話するだけで、ロボット利用者の言動の履歴を蓄積できる。
　（第１の実装例）
　本実施形態の連携システムの第１の実装例を説明する。本実装例では、コミュニケーションロボットが、顔認証の技術を活用する、ことにより複数の人を識別する。連携システムは、顔認証の結果等に基づいて投稿するＳＮＳグループを特定することによって、識別した人に合った対話、ＳＮＳ上での投稿、及びその投稿の共有を行う。また、本実装例における連携システムは、顔認証の結果等に基づいて、ＳＮＳグループだけではなく、ＳＮＳシステム３００を特定してもよい。
　図６は、顔認証を使用することによって、ＳＮＳ投稿先を識別する手順を示すフローチャートである。ロボットＰＦデバイス２０２の人検知部２０２２は、人を検知する（ステップＳ５１）。人検知部２０２２は、具体的には、人の存在、位置、動き、表情の変化、または温度変化等を検知する。人検知部２０２２は、検知により得たセンシングデータを、ロボットＰＦデバイス制御部２０２１に通知する。ロボットＰＦデバイス制御部２０２１は、直前に検知された人と異なる人が検知されたかどうか判断する。ロボットＰＦデバイス制御部２０２１は、例えば、撮影された画像において顔（例えば顔を含む領域）を検出し、検出された顔と直前に検出された顔とを比較することによって、直前に検知された人と異なる人が検知されたか否かを判定すればよい。ロボットＰＦデバイス制御部２０２１は、このような簡易的な人の識別のみにより、この判断を行えばよい。最終的に人を識別するための顔認証は、ロボットＰＦクラウド２０１が実施するため、ロボットＰＦデバイス２０２における人の識別は、厳密に行われなくてもよい。
　ロボットＰＦデバイス制御部２０２１は、ステップＳ５１において検知された人が直前に検知された人と異なる場合、顔画像データをロボットＰＦクラウド制御部２０１１に送信する（ステップＳ５２）。
　ステップＳ５１において、ロボットＰＦデバイス２０２により簡易的な人の識別を行う理由は、このステップＳ５２において、ＳＮＳ投稿先の特定のために適切な頻度でロボットＰＦクラウド制御部２０１１へ顔画像データ送信を行うためである。つまり、送信頻度が増加することによる通信ネットワーク負荷と、連携システムのシステムレスポンスの低下とを抑制するためである。
　ロボットＰＦクラウド制御部２０１１は、ロボットＰＦデバイス制御部２０２１から受信した顔画像データにより、顔認証を行う（ステップＳ５３）。ロボットＰＦクラウド制御部２０１１は、顔画像データと、ロボット利用者の識別情報（ロボット利用者ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ））とを関連づけて顔認証管理データとして保持する。ロボットＰＦクラウド制御部２０１１は、顔認証において、予め登録された顔認証管理データと受信した顔画像データとを照合することにより、ロボット利用者ＩＤを特定する。または、ＳＮＳ－ロボット連携制御部１００１が、顔認証管理データを保持し、ロボット利用者ＩＤの特定をしてもよい。ロボットＰＦクラウド制御部２０１１は、顔認証結果としてロボット利用者ＩＤをＳＮＳ－ロボット連携制御部１００１へ通知する。この顔認証は、一般的に用いられているものであるため、具体的手順の説明を省略する。
　ＳＮＳ－ロボット連携制御部１００１は、ロボット利用者の識別情報（例えば前述のロボット利用者ＩＤ）と投稿先のＳＮＳグループとが関連づけられているＳＮＳ利用者管理データを保持している。ＳＮＳ－ロボット連携制御部１００１は、ロボット利用者に合った投稿先であるＳＮＳグループとして、ＳＮＳ利用者管理データにおいて、顔認証によって得られたロボット利用者ＩＤに関連付けられているＳＮＳグループを特定する（ステップＳ５４）。そして、ＳＮＳ－ロボット連携制御部１００１は、特定した、ロボット利用者に合ったＳＮＳグループへ投稿を行う。また、ＳＮＳ－ロボット連携制御部１００１は、そのＳＮＳグループの他のＳＮＳ利用者の投稿の発話を作成し、作成した発話の内容を、ロボットＰＦデバイス制御部２０２１に通知する。ＳＮＳ－ロボット連携制御部１００１は、複数のＳＮＳシステム３００が存在する場合、ステップＳ５４において、投稿先のＳＮＳグループを特定するだけでなく、投稿先のＳＮＳシステム３００を特定してもよい。その場合、ＳＮＳ－ロボット連携制御部１００１は、ＳＮＳグループとＳＮＳシステム３００とが関連付けられているデータを保持していればよい。ＳＮＳ－ロボット連携制御部１００１は、特定したＳＮＳグループに関連付けられているＳＮＳシステム３００を、投稿先のＳＮＳシステム３００として特定すればよい。
　本実装例の連携システムによれば、複数の利用者が、ＳＮＳグループ等を指定せずにコミュニケーションロボットと対話するだけで、各利用者が属するＳＮＳグループ、ＳＮＳシステム３００において投稿や情報共有をすることができる。その理由は、提携システムが、顔認証を利用することによって、ロボット利用者に合ったＳＮＳ投稿先を特定するからである。
　（第２の実装例）
　本実施形態の連携システムの第２の実装例として、ロボット利用者がロボットをＳＮＳグループに登録する作業を行うことなく、そのロボット利用者が使用する複数のロボットがＳＮＳグループへ登録される（参加する）連携システムを説明する。図７は、複数のコミュニケーションロボットがある場合の、投稿先を特定する手順を示すフローチャートである。
　ＳＮＳ－ロボット連携制御部１００１は、ある特定のロボットＡを仮想ロボットキャラクターとしてＳＮＳグループに登録する（ステップＳ６１）。例えば、ある特定の個人の家庭のロボットＡが、仮想ロボットキャラクターとして、ある特定のＳＮＳグループに登録されるケースを想定する。ＳＮＳ－ロボット連携制御部１００１は、ロボット利用者の識別情報（ロボット利用者ＩＤ）と投稿先のＳＮＳグループとが関連づけられた利用者管理データを保持する。ＳＮＳ－ロボット連携制御部１００１は、顔認証により得られるロボット利用者ＩＤとＳＮＳ利用者管理データとをもとに、特定のＳＮＳグループを特定する。そして、ロボットＡとその利用者との対話が、ロボットＡの利用者のロボット利用者ＩＤに関連付けられている特定のＳＮＳグループにおいて、共有される。
　次に、ロボットＡの利用者（ロボットＡを所有する）が、個人所有のロボットＡとは異なる、例えば、他の家庭、他の店舗、または街中の別のロボットＢと対話を行うケースについて説明する。ロボットＢのロボットＰＦデバイス２０２の人検知部２０２２は、人を検知する（ステップＳ６２）。人検知部２０２２は、人を検知することにより得られた顔画像データを、ロボットＰＦデバイス制御部２０２１に通知する。
　ロボットＢのロボットＰＦデバイス制御部２０２１は、ステップＳ６２において検知された人の顔画像データをロボットＰＦクラウド制御部２０１１へ送信する（ステップＳ６３）。
　ロボットＰＦクラウド制御部２０１１は、ロボットＰＦデバイス制御部２０２１から受信した顔画像データを使用して、顔認証を行う（ステップＳ６４）。そして、ロボットＰＦクラウド制御部２０１１は、顔認証の結果として、ロボット利用者ＩＤをＳＮＳ－ロボット連携制御部１００１に通知する。
　ＳＮＳ－ロボット連携制御部１００１は、顔認証によって得られたロボット利用者ＩＤと利用者管理データとをもとに、ロボット利用者ＩＤに関連づけられたＳＮＳグループを特定する（ステップＳ６５）。つまり、ＳＮＳ－ロボット連携制御部１００１は、その利用者の個人所有のロボットＡが登録されているＳＮＳグループを特定する。
　ＳＮＳ－ロボット連携制御部１００１は、ロボットＢを、仮想ロボットキャラクターとして、ステップＳ６５において特定したＳＮＳグループに登録する（ステップＳ６６）。
　本実装例の連携システムは、利用者が複数のコミュニケーションロボットと対話した場合、特別な登録手続きを行わなくても、複数のコミュニケーションロボットをＳＮＳグループに登録する（すなわち参加させる）ことができる。
　本実装例の連携システムを、一般的なＳＮＳにおいて可能な、画像及び映像の投稿や位置情報の投稿と組み合わせることができる。そのように組み合わせることによって、複数のコミュニケーションロボットと対話を行うだけで、その対話を行った人がＳＮＳグループに自動でチェックインする自動チェックインシステムを実現できる。自動チェックインが行われることにより、ロボットと対話をした人の位置情報や言動（すなわち「今、どこで、何をしているのか」）を、利用者がＳＮＳグループ上で把握し共有することができる。
　また、コミュニケーションロボットやセンサデバイスが、複数の仮想ロボットキャラクターとして、ＳＮＳに登録され、そのＳＮＳに参加し、その複数の仮想ロボットキャラクターが発話することにより、ロボット利用者が混乱する可能性がある。そのため、ロボット利用者が、ＳＮＳグループ毎に、メインの仮想ロボットキャラクターを予め決定してもよい。そしてそのメインの仮想ロボットキャラクターが、仮想ロボットキャラクター同士の会話を、代わりに発話してもよい。そのメインの仮想ロボットキャラクターが、登録された複数のロボットから得られる情報を、ＳＮＳに投稿してもよい。
　次に、本発明による連携システムの概要を説明する。図８は、本発明による連携システムの主要部の構成を示すブロック図である。本発明による連携システムは、主要な構成要素として、デバイス２０と、連携装置１０とを備える。デバイス２０は、利用者を認識し、当該利用者に関するセンシングデータの取得および他の利用者からのＳＮＳへの投稿内容に基づく行動のうちの少なくとも一方を行う。連携装置１０は、センシングデータに基づいた投稿内容をＳＮＳを提供するＳＮＳシステムに送信する処理、および他の利用者からの投稿内容に基づくデバイス２０の行動を更新してデバイス２０に送信する処理のうちの少なくとも一方を行う。
　本実施形態のＳＮＳ－ロボット連携装置１００は、コンピュータ及びコンピュータを制御するプログラム、専用のハードウェア、又は、コンピュータ及びコンピュータを制御するプログラムと専用のハードウェアの組合せにより実現することができる。
　図９は、ＳＮＳ－ロボット連携装置１００を実現することができる、コンピュータ１００００のハードウェア構成の一例を表す図である。図９を参照すると、コンピュータ１００００は、プロセッサ１０００１と、メモリ１０００２と、記憶装置１０００３と、Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インタフェース１０００４とを含む。また、コンピュータ１００００は、記録媒体１０００５にアクセスすることができる。メモリ１０００２と記憶装置１０００３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ハードディスクなどの記憶装置である。記録媒体１０００５は、例えば、ＲＡＭ、ハードディスクなどの記憶装置、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、可搬記録媒体である。記憶装置１０００３が記録媒体１０００５であってもよい。プロセッサ１０００１は、メモリ１０００２と、記憶装置１０００３に対して、データやプログラムの読み出しと書き込みを行うことができる。プロセッサ１０００１は、Ｉ／Ｏインタフェース１０００４を介して、例えば、ロボットＰＦ２００及びＳＮＳシステム３００にアクセスすることができる。プロセッサ１０００１は、記録媒体１０００５にアクセスすることができる。記録媒体１０００５には、コンピュータ１００００を、ＳＮＳ－ロボット連携装置１００として動作させるプログラムが格納されている。
　プロセッサ１０００１は、記録媒体１０００５に格納されている、コンピュータ１００００を、ＳＮＳ－ロボット連携装置１００として動作させるプログラムを、メモリ１０００２にロードする。そして、プロセッサ１０００１が、メモリ１０００２にロードされたプログラムを実行することにより、コンピュータ１００００は、ＳＮＳ－ロボット連携装置１００として動作する。
　ＳＮＳ－ロボット連携制御部１００１と、ロボットＰＦ－ＩＦ部１００２と、ＳＮＳ－ＩＦ部１００３は、例えば、プログラムを記憶する記録媒体１０００５からメモリ１０００２に読み込まれた、各部の機能を実現することができる専用のプログラムと、そのプログラムを実行するプロセッサ１０００１により実現することができる。また、ＳＮＳ－ロボット連携制御部１００１と、ロボットＰＦ－ＩＦ部１００２と、ＳＮＳ－ＩＦ部１００３の一部又は全部を、それらの機能を実現する専用の回路によって実現することもできる。
　以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　また、上記の各実施形態には、以下の（１）～（６）に示す連携システムも開示されている。
　（１）デバイス（例えば、ロボットＰＦデバイス２０２）と、連携装置（例えば、ＳＮＳ－ロボット連携装置１００）とを備えた連携システム。デバイスは、利用者を認識し、当該利用者に関するセンシングデータの取得および他の利用者からのＳＮＳへの投稿内容に基づく行動（例えば、発話、及びモーション）のうちの少なくとも一方を行う。連携装置は、センシングデータに基づいた投稿内容をＳＮＳシステム（例えば、ＳＮＳシステム３００）に送信する処理、および他の利用者からの投稿内容に基づくデバイスの行動を更新してデバイスに送信する処理のうちの少なくとも一方を行う。ＳＮＳシステムは、ＳＮＳを提供する。
　（２）連携システムは、デバイスが、利用者とコミュニケーションを行うことができるコミュニケーションロボットであるように構成されていてもよい。このような連携システムによれば、ＰＣやスマートフォンを利用しない人でも、ロボットとの対話をするだけで簡単に、ＳＮＳのコミュニティ（ＳＮＳグループ）に参加して、他のＳＮＳ利用者とコミュニケーションをとることができる。
　（３）連携システムは、次のように構成されていてもよい。連携装置が、ＳＮＳにおける他の利用者から投稿された内容に基づいてデバイスの発話内容およびモーションのうちの少なくとも一方を更新する。デバイスが、発話内容に基づく発話およびモーションに基づくモーションのうちの少なくとも一方を行う。
　（４）連携システムは、デバイスが、センシングデータとして利用者の音声を取得し、連携装置が、前記音声の認識結果に基づいて、ＳＮＳシステムに送信する内容を決定するように構成されていてもよい。
　（５）連携システムは、デバイスが、利用者の状況に関するセンシングデータを取得し、連携装置が、センシングデータに基づいて、利用者の状況を伝えるための投稿ＳＮＳシステムに送信するように構成されていてもよい。
　（６）連携システムは、デバイスが、利用者の顔画像を取得し、連携装置が、顔画像の認証結果に基づいて特定された利用者の識別情報と、予め保持する利用者管理データとに基づいて、投稿先を識別するように構成されていてもよい。このような連携システムによれば、複数の利用者が、コミュニケーションロボットと対話するだけで、各利用者が属するＳＮＳグループで自動的に投稿や情報共有をすることができる。
　（７）連携システムは、次のように構成されていてもよい。連携装置が、第１のデバイスを利用する利用者の識別情報とＳＮＳグループが対応づけられた利用者管理データを保持し、第２のデバイスが利用者を認識した場合に、第２のデバイスを、利用者に対応づけられたＳＮＳグループに登録する。このような連携システムによれば、利用者が複数のコミュニケーションロボットと対話するだけで、複数のコミュニケーションロボットをＳＮＳグループに自動登録させることができる。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１４年４月７日に出願された日本出願特願２０１４－０７８６８３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１０　　連携装置
　２０　　デバイス
　１００　　ＳＮＳ－ロボット連携装置
　２００　　ロボットＰＦ
　２０１　　ロボットＰＦクラウド
　２０２　　ロボットＰＦデバイス
　３００　　ＳＮＳシステム
　３０１　　ＳＮＳサーバ
　３０２　　端末装置
　１００１　　ＳＮＳ－ロボット連携制御部
　２０１１　　ロボットＰＦクラウド制御部
　２０２１　　ロボットＰＦデバイス制御部
　２０２２　　人検知部
　２０２３　　音声認識部
　２０２４　　音声合成発話部
　２０２５　　モーション再生部
　３０１１　　ＳＮＳサーバ制御部
　３０２１　　ＳＮＳアプリケーション
　１００００　　コンピュータ
　１０００１　　プロセッサ
　１０００２　　メモリ
　１０００３　　記憶装置
　１０００４　　Ｉ／Ｏインタフェース
　１０００５　　記録媒体

Claims (10)

  1. 　利用者を認識し、当該利用者に関するセンシングデータの取得および他の利用者からのＳＮＳ（Ｓｏｃｉａｌ　Ｎｅｔｗｏｒｋｉｎｇ　Ｓｅｒｖｉｃｅ）への投稿内容に基づく行動のうちの少なくとも一方を行うデバイスと、
    　前記センシングデータに基づいた投稿内容を前記ＳＮＳを提供するＳＮＳシステムに送信する処理、および前記他の利用者からの投稿内容に基づく前記デバイスの行動の内容を更新して当該行動の内容を前記デバイスに送信する処理のうちの少なくとも一方を行う連携装置と
    　を備える連携システム。
  2. 　前記デバイスは、利用者とコミュニケーションを行うことができるコミュニケーションロボットである
    　請求項１記載の連携システム。
  3. 　前記連携装置は、ＳＮＳにおける他の利用者から投稿された内容に基づいて前記デバイスの発話内容およびモーション内容のうちの少なくとも一方を更新し、
    　前記デバイスは、前記発話内容に基づく発話および前記モーション内容に基づくモーションのうちの少なくとも一方を行う
    　請求項１または請求項２記載の連携システム。
  4. 　前記デバイスは、前記センシングデータとして利用者の音声を取得し、
    　前記連携装置は、前記音声の認識結果に基づいて、前記ＳＮＳシステムに送信する内容を決定する
    　請求項１から請求項３のうちのいずれか１項に記載の連携システム。
  5. 　前記デバイスは、利用者の状況に関する前記センシングデータを取得し、
    　前記連携装置は、前記センシングデータに基づいて、前記利用者の状況を伝えるための投稿内容を前記ＳＮＳシステムに送信する
    　請求項１から請求項４のうちのいずれか１項に記載の連携システム。
  6. 　前記デバイスは、前記センシングデータとして利用者の顔画像を取得し、
    　前記連携装置は、前記顔画像の認証結果に基づいて特定された利用者の識別情報と、予め保持する利用者管理データとに基づいて、投稿先を特定する
    　請求項１から請求項５のうちのいずれか１項に記載の連携システム。
  7. 　前記連携装置は、第１のデバイスを利用する利用者の識別情報とＳＮＳグループとが関連づけられた利用者管理データを保持し、第２のデバイスが前記利用者を認識した場合に、前記第２のデバイスを示す仮想キャラクターを、前記利用者の識別情報に関連づけられた前記ＳＮＳグループに登録する
    　請求項１から請求項６のうちのいずれか１項に記載の連携システム。
  8. 　利用者を認識し、当該利用者に関するセンシングデータの取得および他の利用者からのＳＮＳへの投稿内容に基づく行動のうちの少なくとも一方を行うデバイスに接続され、
    　前記センシングデータに基づいた投稿内容を前記ＳＮＳを提供するＳＮＳシステムに送信する処理、および前記他の利用者からの投稿内容に基づく前記デバイスの行動を更新して前記デバイスに送信する処理のうちの少なくとも一方を行う
    　連携装置。
  9. 　利用者を認識し、当該利用者に関するセンシングデータの取得および他の利用者からのＳＮＳへの投稿内容に基づく行動のうちの少なくとも一方を行い、
    　前記センシングデータに基づいた投稿内容を前記ＳＮＳを提供するＳＮＳシステムに送信する処理、および前記他の利用者からの投稿内容に基づく行動を更新する処理のうちの少なくとも一方を行う
    　連携方法。
  10. 　利用者を認識し、当該利用者に関するセンシングデータの取得および他の利用者からのＳＮＳへの投稿内容に基づく行動のうちの少なくとも一方を行うデバイスに接続されたコンピュータに、
    　前記センシングデータに基づいた投稿内容を前記ＳＮＳを提供するＳＮＳシステムに送信する処理、および前記他の利用者からの投稿内容に基づく前記デバイスの行動を更新して前記デバイスに送信する処理のうちの少なくとも一方を
    　実行させる連携プログラムを記憶する、コンピュータ読み取り可能な記録媒体。
PCT/JP2015/001925 2014-04-07 2015-04-06 連携システム、装置、方法、および記録媒体 WO2015155977A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
US15/300,380 US11271887B2 (en) 2014-04-07 2015-04-06 Updating and transmitting action-related data based on user-contributed content to social networking service
JP2016512601A JP6292295B2 (ja) 2014-04-07 2015-04-06 連携システム、装置、方法、および記録媒体
US16/129,959 US11343219B2 (en) 2014-04-07 2018-09-13 Collaboration device for social networking service collaboration
US16/129,910 US11146526B2 (en) 2014-04-07 2018-09-13 Social networking service collaboration
US16/129,937 US10951573B2 (en) 2014-04-07 2018-09-13 Social networking service group contribution update
US17/060,270 US20210021560A1 (en) 2014-04-07 2020-10-01 Updating and transmitting action-related data based on user-contributed content to social networking service
US17/060,304 US11374895B2 (en) 2014-04-07 2020-10-01 Updating and transmitting action-related data based on user-contributed content to social networking service

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-078683 2014-04-07
JP2014078683 2014-04-07

Related Child Applications (6)

Application Number Title Priority Date Filing Date
US15/300,380 A-371-Of-International US11271887B2 (en) 2014-04-07 2015-04-06 Updating and transmitting action-related data based on user-contributed content to social networking service
US16/129,937 Continuation US10951573B2 (en) 2014-04-07 2018-09-13 Social networking service group contribution update
US16/129,959 Continuation US11343219B2 (en) 2014-04-07 2018-09-13 Collaboration device for social networking service collaboration
US16/129,910 Continuation US11146526B2 (en) 2014-04-07 2018-09-13 Social networking service collaboration
US17/060,304 Continuation US11374895B2 (en) 2014-04-07 2020-10-01 Updating and transmitting action-related data based on user-contributed content to social networking service
US17/060,270 Continuation US20210021560A1 (en) 2014-04-07 2020-10-01 Updating and transmitting action-related data based on user-contributed content to social networking service

Publications (1)

Publication Number Publication Date
WO2015155977A1 true WO2015155977A1 (ja) 2015-10-15

Family

ID=54287563

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/001925 WO2015155977A1 (ja) 2014-04-07 2015-04-06 連携システム、装置、方法、および記録媒体

Country Status (3)

Country Link
US (6) US11271887B2 (ja)
JP (1) JP6292295B2 (ja)
WO (1) WO2015155977A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018047932A1 (ja) * 2016-09-12 2018-03-15 日本電気株式会社 対話装置、ロボット、処理方法、プログラム
CN111433831A (zh) * 2017-12-27 2020-07-17 索尼公司 信息处理装置、信息处理方法和程序

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10762186B1 (en) 2014-08-24 2020-09-01 AI Incorporated Method for robotic devices to authenticate users
US10185815B1 (en) * 2014-08-24 2019-01-22 AI Incorporated Method for robotic devices to authenticate users
CN113163405A (zh) * 2015-04-20 2021-07-23 深圳市大疆创新科技有限公司 用于支持可移动物体环境中的应用开发的系统和方法
JP2019111625A (ja) * 2017-12-25 2019-07-11 カシオ計算機株式会社 情報処理装置、ロボット、情報処理方法及びプログラム
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
AU2019208182B2 (en) 2018-07-25 2021-04-08 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
JP2021005157A (ja) * 2019-06-25 2021-01-14 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置および画像処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009194766A (ja) * 2008-02-15 2009-08-27 Canon Inc 通信システム
JP2012086945A (ja) * 2010-10-20 2012-05-10 Hitachi Ltd 無線ノード・システム、無線ノードを管理する方法及びプログラム
WO2012172721A1 (ja) * 2011-06-14 2012-12-20 パナソニック株式会社 ロボット装置、ロボット制御方法、及びロボット制御プログラム
JP2013037512A (ja) * 2011-08-08 2013-02-21 Ricoh Co Ltd ソーシャルネットワーキングサービスシステム、ソーシャルネットワーキングサービスサーバ及びソーシャルネットワーキングサービスプログラム
JP2013127399A (ja) * 2011-12-19 2013-06-27 Alpine Electronics Inc ナビゲーション装置

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US555393A (en) * 1896-02-25 Automatic weighing-machine
US6718015B1 (en) * 1998-12-16 2004-04-06 International Business Machines Corporation Remote web page reader
JP2000322358A (ja) * 1999-05-11 2000-11-24 Fujitsu Ltd データ表示装置及び情報表示のためのプログラムを記録した記録媒体
US7319992B2 (en) * 2000-09-25 2008-01-15 The Mission Corporation Method and apparatus for delivering a virtual reality environment
US6567502B2 (en) 2000-12-19 2003-05-20 Bellsouth Intellectual Property Corporation Multimedia emergency services
ITFI20010199A1 (it) * 2001-10-22 2003-04-22 Riccardo Vieri Sistema e metodo per trasformare in voce comunicazioni testuali ed inviarle con una connessione internet a qualsiasi apparato telefonico
JP2003205483A (ja) 2001-11-07 2003-07-22 Sony Corp ロボットシステム及びロボット装置の制御方法
EP1486300B1 (en) 2002-03-15 2011-08-17 Sony Corporation Robot behavior control system, behavior control method, and robot device
JP4487730B2 (ja) 2004-11-02 2010-06-23 株式会社日立製作所 生活状態通知システム
JP4629560B2 (ja) 2004-12-01 2011-02-09 本田技研工業株式会社 対話型情報システム
GB2435979A (en) * 2006-03-07 2007-09-12 Helen Theresa Haywood Door intercom telephone device
WO2008001492A1 (fr) 2006-06-28 2008-01-03 Nec Corporation Automate, procédé et programme de commande d'automate
JP4201025B2 (ja) 2006-06-30 2008-12-24 ソニー株式会社 監視装置、監視システム及びフィルタ設定方法、並びに監視プログラム
US8447285B1 (en) 2007-03-26 2013-05-21 Callwave Communications, Llc Methods and systems for managing telecommunications and for translating voice messages to text messages
US20090248200A1 (en) * 2007-10-22 2009-10-01 North End Technologies Method & apparatus for remotely operating a robotic device linked to a communications network
JP4787813B2 (ja) 2007-12-07 2011-10-05 本田技研工業株式会社 検知対象検知システム
KR20090065212A (ko) 2007-12-17 2009-06-22 한국전자통신연구원 로봇 채팅 시스템 및 방법
JP4683240B2 (ja) 2008-06-03 2011-05-18 株式会社デンソー 自動車用情報提供システム
KR20090132704A (ko) 2008-06-23 2009-12-31 삼성전자주식회사 네트워크 기반의 서비스 제공 시스템 및 방법
KR101053875B1 (ko) * 2008-07-14 2011-08-03 삼성전자주식회사 휴대 단말기와 동기화된 로봇의 이벤트 실행 방법 및 그시스템
US9246708B2 (en) 2008-08-06 2016-01-26 Bindu Rama Rao Social networking website system with automatic registration based on location information
US8315994B2 (en) * 2008-10-31 2012-11-20 Disney Enterprises, Inc. System and method for updating digital media content
JP5589848B2 (ja) 2008-11-18 2014-09-17 日本電気株式会社 コンテンツ配信システム
CA2756718A1 (en) 2009-03-26 2010-09-30 John Brasch Personal monitoring system
GB2477793A (en) 2010-02-15 2011-08-17 Sony Corp A method of creating a stereoscopic image in a client device
CN102844780A (zh) 2010-04-23 2012-12-26 日本电气株式会社 信息分发系统
KR20120043865A (ko) 2010-10-27 2012-05-07 주식회사 케이티 이동통신 단말의 위치정보를 활용한 로봇 인터랙션 서비스 제공 시스템, 방법 및 장치
US9037757B2 (en) 2010-12-08 2015-05-19 Microsoft Technology Licensing, Llc Device action service
US9595072B2 (en) * 2010-12-08 2017-03-14 At&T Intellectual Property I, L.P. Security social network
US9153000B2 (en) * 2010-12-13 2015-10-06 Microsoft Technology Licensing, Llc Presenting content items shared within social networks
JP5877351B2 (ja) 2010-12-15 2016-03-08 パナソニックＩｐマネジメント株式会社 通信装置および通信方法
AU2012212517A1 (en) * 2011-02-04 2013-08-22 Google Inc. Posting to social networks by voice
WO2012139270A1 (en) * 2011-04-11 2012-10-18 Intel Corporation Face recognition control and social networking
US20160270717A1 (en) * 2011-06-10 2016-09-22 Aliphcom Monitoring and feedback of physiological and physical characteristics using wearable devices
WO2013000142A1 (zh) * 2011-06-30 2013-01-03 深圳市君盛惠创科技有限公司 手机用户身份认证方法、云服务器以及网络系统
CN102891909B (zh) 2011-07-22 2017-03-29 富泰华工业（深圳）有限公司 手机及健康检测方法
US20130041976A1 (en) * 2011-08-12 2013-02-14 Microsoft Corporation Context-aware delivery of content
US10176725B2 (en) 2011-08-29 2019-01-08 Worcester Polytechnic Institute System and method of pervasive developmental disorder interventions
US20130268119A1 (en) * 2011-10-28 2013-10-10 Tovbot Smartphone and internet service enabled robot systems and methods
US20140157151A1 (en) * 2012-06-06 2014-06-05 Common Sense Exchange, LLC Virtual debate and tagging system and method
JP5899142B2 (ja) * 2012-06-25 2016-04-06 株式会社コナミデジタルエンタテインメント メッセージ閲覧システム、サーバ、端末装置、制御方法およびプログラム
US20130346867A1 (en) * 2012-06-25 2013-12-26 United Video Properties, Inc. Systems and methods for automatically generating a media asset segment based on verbal input
WO2014013447A2 (en) * 2012-07-19 2014-01-23 Ayin Seventies Limited Social network functionalities for visually impaired users
US10555393B1 (en) 2012-08-17 2020-02-04 Kuna Systems Corporation Face recognition systems with external stimulus
US9641653B2 (en) 2012-08-31 2017-05-02 Satyanarayana T. Method and apparatus for determining a synchronization of subscription-notification service subscriptions among multiple entities
JP5666530B2 (ja) 2012-10-01 2015-02-12 シャープ株式会社 制御装置、制御装置の制御方法、サーバ、被制御装置、制御システム、制御プログラム、および記録媒体
US10371472B2 (en) 2012-11-14 2019-08-06 Metropolitan Life Insurance Co. System and method for event triggered information distribution
US9654977B2 (en) * 2012-11-16 2017-05-16 Visa International Service Association Contextualized access control
US20140143352A1 (en) * 2012-11-20 2014-05-22 Linkedln Corporation User profile and geography-based meetings
WO2014081430A2 (en) * 2012-11-21 2014-05-30 Empire Technology Development Conditional disclosure of a response to content posted in a social network
US9147054B1 (en) * 2012-12-19 2015-09-29 Amazon Technolgies, Inc. Dialogue-driven user security levels
KR101988279B1 (ko) 2013-01-07 2019-06-12 삼성전자 주식회사 얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기
US20140288950A1 (en) 2013-03-20 2014-09-25 Samsung Electronics Co., Ltd. System and method for recommending health management device using mobile device connectivity information
US20140304356A1 (en) 2013-04-05 2014-10-09 iDevices, LLC Wireless Aggregator
US9619989B1 (en) 2014-05-01 2017-04-11 Synapse Wireless, Inc. Asset tracking systems and methods
US9531653B2 (en) 2013-06-24 2016-12-27 Tencent Technology (Shenzhen) Company Limited Systems and methods for user group management
US10115287B2 (en) 2013-07-10 2018-10-30 Advanced Wireless Innovations Llc Monitoring system, apparatus and method
US9053622B2 (en) 2013-07-26 2015-06-09 Joseph Frank Scalisi Light socket cameras
US9848786B2 (en) 2013-09-12 2017-12-26 Mattel, Inc. Infant monitoring system and methods
US20150148620A1 (en) 2013-11-24 2015-05-28 iBio Products LLC Monitoring system
CN103761963A (zh) * 2014-02-18 2014-04-30 大陆汽车投资（上海）有限公司 包含情感类信息的文本的处理方法
US9330666B2 (en) * 2014-03-21 2016-05-03 Google Technology Holdings LLC Gesture-based messaging method, system, and device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009194766A (ja) * 2008-02-15 2009-08-27 Canon Inc 通信システム
JP2012086945A (ja) * 2010-10-20 2012-05-10 Hitachi Ltd 無線ノード・システム、無線ノードを管理する方法及びプログラム
WO2012172721A1 (ja) * 2011-06-14 2012-12-20 パナソニック株式会社 ロボット装置、ロボット制御方法、及びロボット制御プログラム
JP2013037512A (ja) * 2011-08-08 2013-02-21 Ricoh Co Ltd ソーシャルネットワーキングサービスシステム、ソーシャルネットワーキングサービスサーバ及びソーシャルネットワーキングサービスプログラム
JP2013127399A (ja) * 2011-12-19 2013-06-27 Alpine Electronics Inc ナビゲーション装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018047932A1 (ja) * 2016-09-12 2018-03-15 日本電気株式会社 対話装置、ロボット、処理方法、プログラム
CN111433831A (zh) * 2017-12-27 2020-07-17 索尼公司 信息处理装置、信息处理方法和程序
US11508344B2 (en) 2017-12-27 2022-11-22 Sony Corporation Information processing device, information processing method and program

Also Published As

Publication number Publication date
US20190014072A1 (en) 2019-01-10
US11146526B2 (en) 2021-10-12
US20170149725A1 (en) 2017-05-25
JP6292295B2 (ja) 2018-03-14
US11271887B2 (en) 2022-03-08
US20190014073A1 (en) 2019-01-10
JPWO2015155977A1 (ja) 2017-04-13
US11374895B2 (en) 2022-06-28
US10951573B2 (en) 2021-03-16
US20210021561A1 (en) 2021-01-21
US11343219B2 (en) 2022-05-24
US20190014074A1 (en) 2019-01-10
US20210021560A1 (en) 2021-01-21

Similar Documents

Publication Publication Date Title
JP6292295B2 (ja) 連携システム、装置、方法、および記録媒体
US9952881B2 (en) Virtual assistant system to enable actionable messaging
US11102624B2 (en) Automated messaging
KR102513297B1 (ko) 전자 장치 및 전자 장치의 기능 실행 방법
KR102619621B1 (ko) 챗봇과 대화하기 위한 전자 장치 및 그의 동작 방법
US9703778B2 (en) Method of remotely controlling external services and selectively sharing control of the same
CN108205627A (zh) 交互式助理模块对访问的有条件提供
KR102616850B1 (ko) 전자 장치, 전자 장치와 결합 가능한 외부 디바이스 및 이의 디스플레이 방법
CN109474658B (zh) 用外部设备支持任务运行的电子设备、服务器和记录介质
KR102389996B1 (ko) 전자 장치 및 이를 이용한 사용자 입력을 처리하기 위한 화면 제어 방법
US11165728B2 (en) Electronic device and method for delivering message by to recipient based on emotion of sender
US9977510B1 (en) Gesture-driven introduction system
US20220270605A1 (en) Electronic apparatus and assistant service providing method thereof
KR102584466B1 (ko) 메타버스 기반의 인형을 이용한 커뮤니티 제공 방법 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15777137

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016512601

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15300380

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15777137

Country of ref document: EP

Kind code of ref document: A1