WO2020174537A1 - 情報処理システムおよび情報処理方法 - Google Patents

情報処理システムおよび情報処理方法 Download PDF

Info

Publication number
WO2020174537A1
WO2020174537A1 PCT/JP2019/007075 JP2019007075W WO2020174537A1 WO 2020174537 A1 WO2020174537 A1 WO 2020174537A1 JP 2019007075 W JP2019007075 W JP 2019007075W WO 2020174537 A1 WO2020174537 A1 WO 2020174537A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
unit
utterance
information processing
person
Prior art date
Application number
PCT/JP2019/007075
Other languages
English (en)
French (fr)
Inventor
修一 廣屋
Original Assignee
株式会社ＱＢＩＴ Ｒｏｂｏｔｉｃｓ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ＱＢＩＴ Ｒｏｂｏｔｉｃｓ filed Critical 株式会社ＱＢＩＴ Ｒｏｂｏｔｉｃｓ
Priority to KR1020217002686A priority Critical patent/KR20210027396A/ko
Priority to PCT/JP2019/007075 priority patent/WO2020174537A1/ja
Priority to CN201980052330.6A priority patent/CN112585642A/zh
Priority to JP2019536236A priority patent/JP6667766B1/ja
Priority to EP19916903.8A priority patent/EP3806022A4/en
Priority to US17/257,425 priority patent/US20210402611A1/en
Priority to TW108134405A priority patent/TWI717030B/zh
Publication of WO2020174537A1 publication Critical patent/WO2020174537A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services
    • G06Q30/015—Providing customer assistance, e.g. assisting a customer within a business location or via helpdesk
    • G06Q30/016—After-sales

Definitions

  • the present invention relates to an information processing system and an information processing method.
  • the robot only performs a certain customer service operation for the customer, and grasps the customer's request from the reaction of the customer to the operation. Therefore, there is a problem in that it is not possible to perform an operation according to the customer and its situation, and it is not possible to flexibly serve the customer.
  • An object of the present invention is to provide an information processing system and an information processing method capable of flexible customer service.
  • the information processing system of the present invention is An imaging unit, An analysis unit that analyzes personal information about a person included in the image captured by the imaging unit, A database that stores the personal information and environment information indicating the environment in which the information processing system is installed; An utterance unit that utters utterance content according to the person information and the environment information, The person information and the environment information are read out from the database, and a first score according to the utterance content is shown for each combination of the read out person information and environment information, indicating the result of the utterance made by the utterance unit. It has a reinforcement learning unit that performs learning and updates based on the result information, The utterance section utters the utterance content associated with the first score having the largest first score for the combination.
  • the information processing device has a camera, a robot, and an information processing device,
  • the information processing device An analysis unit that analyzes person information about a person included in the image captured by the camera,
  • a database that stores the personal information and environment information indicating the environment in which the information processing system is installed;
  • An utterance control unit for instructing the robot to utter an utterance content according to the person information and the environment information,
  • the person information and the environment information are read from the database, and a first score corresponding to the utterance content is set for each combination of the read person information and the environment information, and a result of the utterance instructed by the utterance control unit is obtained.
  • the utterance control unit instructs the robot to utter the utterance content associated with the first score having the largest first score for the combination
  • the robot is It has a voice output unit for outputting a voice indicated by the utterance content instructed by the utterance control unit.
  • the information processing method of the present invention is An information processing method in an information processing system, comprising: A process of analyzing person information about a person included in an image captured by a camera, A process of reading the personal information and the environment information from a database that stores the personal information and environment information indicating the environment in which the information processing system is installed; A process of uttering the utterance content associated with the first score having the largest first score for the combination of the read out personal information and environment information; Learning is performed based on the result information indicating the result of the utterance performed, and a process of updating the first score is performed.
  • FIG. 6 is a diagram for explaining an example of processing for identifying the position of a person imaged by the camera shown in FIG. 5.
  • FIG. 6 is a diagram showing an example of association of events and execution tasks, which the execution task selection unit 171 shown in FIG.
  • FIG. 5 refers to, which can be grasped from a combination of personal information and environment information stored in a database.
  • FIG. 6 is a diagram showing an example of a software configuration in the information processing system shown in FIG. 5. It is a figure which shows an example of the correspondence memorize
  • FIG. 9 is a diagram showing an example of the types of utterance data shown in FIG. 8 and an index to be improved by the utterance data. It is a figure which shows an example of the information registered as the speech data shown in FIG. It is a figure which shows an example of the information registered as the speech data shown in FIG. 6 is a flowchart for explaining an example of an information processing method in the information processing system shown in FIG.
  • FIG. 1 is a diagram showing a first embodiment of an information processing system of the present invention.
  • the information processing system includes an imaging unit 110, an analysis unit 120, a database 130, a speech unit 140, and a reinforcement learning unit 150.
  • the image capturing unit 110 captures an image of a target person.
  • the analysis unit 120 analyzes person information about a person included in the image captured by the image capturing unit 110.
  • the database 130 stores personal information and environment information indicating the environment in which the information processing system is installed.
  • the person information is information about a person included in the image captured by the image capturing unit 110, and includes, for example, the position of the person included in the image captured by the image capturing unit 110, gender, age group, facial expression (for example, smile, surprise). Face, sad face, angry face, etc.), height, clothes, race, relationship between people, etc.
  • the person information also includes a usage language indicating a language used by the person included in the image captured by the image capturing unit 110, and an order content indicating the content ordered by the person.
  • the language used is the information analyzed by the analysis unit 120 based on the sound collected by using a sound collection member (not shown) such as a microphone installed near the imaging unit 110.
  • the order content is the content of the order received by an input unit (not shown) for placing an order.
  • the person information is personal identification information (for example, personal identification information given to the customer if the person included in the image captured by the image capturing unit 110 is authenticated (identified) as a customer who has been registered by then. , Customer ID number, etc.).
  • personal identification information for example, personal identification information given to the customer if the person included in the image captured by the image capturing unit 110 is authenticated (identified) as a customer who has been registered by then. , Customer ID number, etc.
  • the customer's past order details ordered products, the number of orders, etc.
  • the environmental information indicates the number of people, the current date, the time zone, the climate, the operating status of this system (processing load status), the location classification, the number of orders left, the status of stores, etc. It is information.
  • the environment information may be at least one of the above-mentioned information.
  • the operating status of this system is, for example, "a customer has ordered a product", “the food is crowded”, “there are no people around the store”, “the food is being cooked”, or “the order is It is information indicating how the system is currently, such as "the remaining number is zero", “the cooking robot placed the product at the provision position", and the like.
  • the utterance content indicates a specific phrase of the utterance performed by the utterance unit 140.
  • the utterance content indicates the content of utterance around the utterance unit 140, the content of talking to a person included in the image captured by the imaging unit 110, and the like.
  • the utterance content is a content that calls for the purpose of attracting customers, a content that attracts the attention of people in the surrounding area, a content that urges a customer who ordered the product to make an additional order, a soliloquy, current affairs news, a description of the product.
  • Etc. are the same as the contents of the utterances performed by a salesclerk of a general store according to the situation.
  • the score is a value (first score) learned by the reinforcement learning unit 150 based on result information indicating the result of the utterance made by the utterance unit 140.
  • This score is updated by the reinforcement learning unit 150 as the reinforcement learning unit 150 performs reinforcement learning.
  • the result information is, for example, sales information indicating the reaction of the customer after the utterance by the utterance unit 140, changes in sales content and sales amount, and is information including at least one of them.
  • the customer reaction is acquired by the analysis unit 120 analyzing changes in facial expressions regarding a person included in the image captured by the image capturing unit 110.
  • the utterance unit 140 utters the utterance content according to the person information and the environment information.
  • the utterance unit 140 utters the utterance content associated with the first score having the largest first score for the combination of the person information and the environment information according to the person information and the environment information.
  • the reinforcement learning unit 150 reads out person information and environment information from the database 130.
  • the reinforcement learning unit 150 performs learning based on the result information indicating the result of the utterance performed by the utterance unit 140, the first score according to the utterance content for each combination that is the combination of the read out person information and the environment information. Go and update.
  • FIG. 2 is a diagram showing an example of a score included in the reinforcement learning unit 150 shown in FIG.
  • the reinforcement learning unit 150 shown in FIG. 1 is set with a start task according to the operating status of the system in the environment information, and the utterance category according to the started task and the utterance category thereof.
  • personal information is shown as “a1”, “a2”, “b1”, “b2”, and “b3”.
  • the environmental information is shown as “c1”, “c2”, and “d1”.
  • the utterance categories are shown as “Cat1” and “Cat2”. Further, in FIG.
  • the utterance contents corresponding to the utterance category “Cat1” are shown as “Con11”, “Con12”, and “Con13”. Further, in FIG. 2, the utterance contents corresponding to the utterance category “Cat2” are shown as “Con21”, “Con22”, and “Con23”. In FIG. 2, if the personal information “a” is sex, “a1” can be male and “a2” can be female. The same applies to other person information and environment information.
  • FIG. 3 is a diagram showing an example of input/output of reinforcement learning performed in the reinforcement learning unit 150 shown in FIG.
  • the reinforcement learning unit 150 shown in FIG. 1 has a reward calculating unit 1501, an updating unit 1502, and a value function calculating unit 1503.
  • the reinforcement learning unit 150 performs reinforcement learning, calculates a reward, and updates based on the result information and sales data (product, quantity, amount, etc.) after the utterance, It is input to the value function calculation unit 1503. Then, the value (score) of each utterance content is output based on the person information and the environment information.
  • the value function calculation unit 1503 can be realized by using a neural network, but the analysis method performed by the value function calculation unit 1503 is not particularly specified.
  • FIG. 4 is a flowchart for explaining an example of an information processing method in the information processing system shown in FIG.
  • the analyzing unit 120 analyzes person information about a person included in the image captured by the image capturing unit 110 (step S2).
  • the analysis unit 120 writes the analysis result in the database 130.
  • the reinforcement learning unit 150 reads out the person information from the database 130, and calculates the adequacy of the utterance content based on the read out person information, environment information, and utterance content.
  • the utterance unit 140 selects the most suitable utterance content (step S3). Specifically, the utterance unit 140 selects the utterance content associated with the score having the maximum score for the combination of the personal information and the environment information stored in the database 130.
  • the utterance unit 140 utters the selected utterance content (step S4).
  • the reinforcement learning unit 150 performs learning based on the result information after the utterance made by the utterance unit 140 and updates the score (step S5).
  • all the same values may be stored, or a value set in advance according to the prediction of the effect of the utterance content on the combination of the personal information and the environmental information may be stored. You may memorize it.
  • the utterance according to the imaged person or environment is performed, learning is performed based on the result, and the score of the utterance content is updated using the utterance. Therefore, flexible customer service can be provided.
  • FIG. 5 is a diagram showing a second embodiment of the information processing system of the present invention.
  • the information processing system in this embodiment includes a camera 111, an information processing device 101, and a robot 201.
  • the information processing system shown in FIG. 5 is installed in, for example, a store that provides food and drink such as coffee and snacks, and the robot 201 serves customers.
  • the camera 111 captures an image of the surroundings of the store, and the robot 201 performs an utterance or an operation with the person included in the captured image as a customer candidate or customer.
  • the camera 111 is an image capturing unit that captures an image of a target person.
  • the camera 111 may be a camera that captures a still image or a moving image, or may be a camera with a built-in depth sensor that can acquire depth information. The timing at which the camera 111 captures an image is not specified. In addition, the camera 111 is installed at a position where the relative position of the position where the customer exists to the position where the product is provided can be recognized based on the captured image. The number of cameras 111 is not limited to one. Further, the camera 111 may be capable of freely changing the imaging direction based on control from the outside.
  • the information processing device 101 is a device that is connected to the camera 111 and the robot 201 and controls the camera 111 and the robot 201.
  • the information processing apparatus 101 may be a PC (Personal Computer) capable of executing software.
  • the robot 201 outputs a predetermined sound or performs a predetermined operation based on an instruction from the information processing device 101.
  • the robot 201 can perform, for example, cooking and dancing as a predetermined operation.
  • the information processing apparatus 101 includes an analysis unit 121, a database 131, a speech control unit 141, a speech system reinforcement learning unit 1511, a motion control unit 161, a motion system reinforcement learning unit 1512, and an execution unit. It has a task 191, an execution task selection unit 171, and an input unit 181. It should be noted that FIG. 5 shows only the main components related to the present embodiment among the components included in the information processing apparatus 101.
  • the analysis unit 121 analyzes person information about a person included in an image captured by the camera 111.
  • the person information is, for example, the position of the person, sex, age group, facial expression, height, clothes, race, language used, person-to-person relationship, and order contents, as in the first embodiment. Etc.
  • an image recognition method generally used for image recognition may be used, and the analysis method is not particularly specified.
  • the person information is personal identification information (for example, if the person included in the image captured by the camera 111 is authenticated (identified) as a customer who has been registered by that time (for example, Customer ID number).
  • the analysis unit 121 calculates the relative position of the position where the customer is present with respect to the position where the product is provided, based on the position where the camera 111 is installed and the position of the person imaged by the camera 111. In addition, the analysis unit 121 recognizes, as an orderer, a person located in front of an ordering terminal for a customer to input an order at the time of ordering.
  • the database 131 stores personal information and environment information indicating the environment of the information processing system.
  • the database 131 also stores the execution task information selected by the execution task selection unit 171 according to the task firing condition. A specific example of the stored information will be described later.
  • the execution task selection unit 171 selects a task to be executed by the information processing apparatus 101 from a plurality of execution tasks 191, and activates the task, based on the task firing condition.
  • the utterance system reinforcement learning unit 1511 updates and controls the utterance category according to the selected and activated execution task 191 and the score according to the utterance content included in the utterance category.
  • the utterance system reinforcement learning unit 1511 learns a score according to the utterance content for each combination of the personal information and the environment information read from the database 131, based on the result information indicating the utterance result output by the voice output unit 211. Go and update. Result information indicating the result of the utterance made by the voice output unit 211 is collected, learning is performed based on the collected result information, and the score is updated.
  • the learning performed here is the same as that of the first embodiment.
  • the score here is a value (first score) learned based on the result information indicating the result of the utterance made by the voice output unit 211.
  • This score is updated by the utterance system reinforcement learning unit 1511 by performing reinforcement learning.
  • the result information is sales information (for example, Upsell rate or improvement in sales) indicating a reaction (for example, a smile rate) of a customer, a change in sales content or a sales amount after the voice output unit 211 speaks. Rate) and the like, and is information including at least one of them.
  • This sales information may indicate the content of sales of the product sold based on the input to the input unit 181.
  • the above-described customer reaction is acquired by the analysis unit 121 analyzing based on the person information regarding the person included in the image captured by the camera 111.
  • the action-based reinforcement learning unit 1512 updates and controls the score according to the action category according to the selected and activated execution task 191 and the action information included in the action category.
  • the motion system reinforcement learning unit 1512 based on the result information indicating the result of the motion performed by the motion execution unit 221, the score according to the motion information for each combination of the personal information and the environment information read from the database 131. Learn and update.
  • the motion system reinforcement learning unit 1512 performs learning based on the result information indicating the result of the motion performed by the motion executing unit 221, and updates the score.
  • the score here is a value (second score) learned based on the result information indicating the result of the operation performed by the operation execution unit 221. This score is updated by the action-based reinforcement learning unit 1512 by performing reinforcement learning.
  • the result information is sales information (for example, Upsell rate or sales improvement) indicating a reaction (for example, a smile rate) of a customer after the operation execution unit 221 has performed an operation, sales content or a change in sales amount. Rate) and the like, and is information including at least one of them.
  • sales information for example, Upsell rate or sales improvement
  • a reaction for example, a smile rate
  • the above-described customer reaction is acquired by the analysis unit 121 analyzing based on the person information regarding the person included in the image captured by the camera 111.
  • the utterance control unit 141 associates the first score with the largest value among the first scores output by the utterance system reinforcement learning unit 1511 with each other.
  • the voice output unit 211 included in the robot 201 is instructed to utter the specified utterance content.
  • the operation control unit 161 associates the second score having the largest value among the second scores output by the operation system reinforcement learning unit 1512 with each other.
  • the operation execution unit 221 of the robot 201 is instructed to perform the operation indicated by the acquired operation information.
  • the input unit 181 inputs information.
  • the input unit 181 may be one that inputs information based on an operation received from the outside, or one that inputs a numerical value calculated inside or outside the information processing apparatus 101.
  • the input unit 181 may be used for ordering, and in this case, the ordered product is input based on an operation received from the outside.
  • the robot 201 has a voice output unit 211 and an action execution unit 221. It should be noted that FIG. 5 shows only the main components related to the present embodiment among the components included in the robot 201.
  • the voice output unit 211 outputs a voice based on an instruction from the utterance control unit 141.
  • the audio output unit 211 may be a general speaker. It is preferable that the voice output unit 211 is attached to a position where the voice output as if the robot 201 is talking is heard outside. Note that the number of voice output units 211 is not limited to one, and may be installed at a position that is not inside the robot 201.
  • the operation execution unit 221 performs an operation based on the instruction from the operation control unit 161.
  • the operation execution unit 221 may be, for example, an arm portion that operates using the motor of the robot 201 or the like.
  • the utterance control unit 141 and the voice output unit 211 are collectively referred to as an utterance unit
  • the operation control unit 161 and the operation execution unit 221 are collectively referred to as an operation unit.
  • the personal information, environment information, and utterance content in this embodiment may be the same as those described in the first embodiment.
  • the motion information is information for performing a predetermined motion such as cooking and dancing.
  • FIG. 6 is a diagram for explaining an example of processing for specifying the position of a person imaged by the camera 111 shown in FIG.
  • cameras 111-1 to 111-3 are installed in a store, and based on the images captured by the cameras 111-1 to 111-3, the analysis unit 121 determines the position of the person. Specify.
  • the analysis unit 121 identifies that the person included in the image captured by the camera 111-1 and present in the specific area as viewed from the camera 111-1 is located in the area 1 (Zone 1).
  • the analysis unit 121 specifies that a person included in an image captured by the camera 111-2 and present in a specific area as viewed from the camera 111-2 is located in the area 2 (Zone 2). .. Further, the analysis unit 121 specifies that a person included in the image captured by the camera 111-3 and present in a specific area as viewed from the camera 111-3 is located in the area 3 (Zone 3). .. Further, the analysis unit 121 is a person included in an image captured by any of the cameras 111-1 to 111-3, and is a region far from any of the cameras 111-1 to 111-3 capturing the image. The person present inside is specified to be located in area 0 (Zone 0).
  • Zone0 Area around the store. There are a mixture of passing customers and interested customers. Zone1: Place of order. Many customers order products. Zone2: Area adjacent to the store. Many customers wait for the product to be completed after ordering. Zone3: The place where the product is provided. Many customers take away finished products.
  • Zone0 the correspondence between the defined areas and actions (speech, action) is registered in the database 131 in advance.
  • the person present in Zone0 can take the action of calling to the store or performing an action to attract customers. Can be determined.
  • Zone1 with the utterance content asking about the product to be ordered, it is possible to take an action for a person existing in Zone1 to perform an utterance or an action to ask about the product to be ordered. it can. In this way, it is possible to prepare an appropriate action for the target person according to the area.
  • the boundaries of the respective areas are specified using the coordinates of the four vertices.
  • the cameras 111-1 to 111-3 and the Zone 0 to Zone 3 do not necessarily have to be associated with each other.
  • the camera 111-2 and the camera 111-3 may capture the customer existing in the Zone 2 and analyze the person information such as the position of the customer captured by the two cameras.
  • FIG. 7 is a diagram showing an example of correspondence between events and execution tasks that can be grasped from the combination of personal information and environment information stored in the database 131, which is referred to by the execution task selection unit 171 shown in FIG. is there. This association may be stored in advance in the database 131 shown in FIG. As shown in FIG. 7, the tasks are associated with each other according to the position of the person and the environment information indicating the operating status of the system.
  • the cooking task is associated with the event "order is placed.”
  • the execution task selection unit 171 selects the cooking task when the event at that time is “order is placed”.
  • detailed utterance contents and motion information are associated with the cooking task, and when the cooking task is executed, the robot 201 cooks and an action is performed according to these utterance contents and motion information.
  • the utterance contents at this time are, for example, utterances for improving the smile rate and utterances for improving the Repeat rate. These utterance contents are stored in the database 131 in advance.
  • order promotion tasks are associated with the events "person enters a specific area” and "there is an order area”.
  • the execution task selection unit 171 selects the order promotion task when the events at that time are “person enters the specific area” and “there is the order area”.
  • the analysis unit 121 determines whether “there is the order area” by using the information indicating the position of the person. For example, if there is a person in Zone 1 shown in FIG. 6, the analysis unit 121 determines that “there is the order area”.
  • detailed utterance contents and operation information are associated with the order promotion task, and when the order promotion task is executed, an action is performed according to these utterance contents and operation information.
  • the utterance content at this time is, for example, for utterance for ordering a product or utterance for recommending an order for another product. These utterance contents are stored in the database 131 in advance.
  • the customer satisfaction improvement task is associated with the phenomenon that "a person enters a specific area" and "there is other than the order area".
  • the execution task selecting unit 171 selects the customer satisfaction improving task when the event at that time is "a person enters the specific area" and "there is other than the order area”.
  • the analysis unit 121 determines whether “there is other than the order area” by using the information indicating the position of the person. For example, if a person is in the Zones 2 and 3 shown in FIG. 6, the analysis unit 121 determines that the area is “other than the order area”.
  • detailed utterance content and operation information are associated with the customer satisfaction improvement task, and when the customer satisfaction improvement task is executed, actions are performed according to these utterance content and operation information.
  • the utterance contents at this time are, for example, utterances for improving the smile rate and utterances for improving the Repeat rate. These utterance contents are stored in the database 131 in advance.
  • the task of attracting customers is associated with the events "the number of remaining orders has become zero" and "there are no people around or people with a high reaction rate”.
  • the analysis unit 121 determines whether "the number of remaining orders is zero" by using the information indicating the operating status of the system in the environment information. In addition, whether or not “there are no people around” is determined by the analysis unit 121, for example, based on whether there are any people in Zones 0 to 3 shown in FIG.
  • the unit 121 determines. Further, a detailed utterance content and operation information are associated with the customer attraction task, and when the customer attraction task is executed, an action is performed according to the utterance content and operation information.
  • the motion information at this time is, for example, information for executing a flashy robot operation for attracting customers in accordance with music. This operation information is stored in the database 131 in advance.
  • the pinpoint calling task is associated with the events "the number of remaining orders has become zero" and "there are people with a high reaction rate”.
  • the execution task selection unit 171 causes the pinpoint call-in task when the events at that time are "the number of remaining orders has become zero" and "there are people with a high reaction rate”.
  • the analysis unit 121 determines whether "the number of remaining orders is zero" by using the information indicating the operating status of the system in the environment information.
  • the phenomenon that “there is a person having a high reaction rate” is, for example, that a person is included in Zones 0 to 3 shown in FIG.
  • the analysis unit 121 determines if the facial expression or movement is of interest in the order. Further, detailed utterance contents and operation information are associated with the pinpoint calling task, and when the pinpoint calling task is executed, actions according to these utterance contents and operation information are performed.
  • the utterance content and motion information at this time are, for example, for executing utterances and motions that easily attract a specific person.
  • the utterance content and motion information are stored in the database 131 in advance.
  • Priority is also given to each execution task as shown in Fig. 7.
  • a task with a higher priority than the priority assigned to the task is selected, the process with the higher priority task is interrupted. This is the same as the interrupt processing when the processing is executed sequentially.
  • FIG. 8 is a diagram showing an example of a software configuration in the information processing system shown in FIG.
  • the information processing apparatus 101 shown in FIG. 5 can realize its operation using software having the configuration shown in FIG.
  • the image recognition unit performs person recognition, person position detection, and facial expression recognition on the image captured by the camera. Further, the image recognition unit stores information regarding the recognized person in the person position/expression/relationship/attribute database.
  • the relationship is a relationship between a plurality of persons included in the image captured by the camera, and is information indicating, for example, a parent and child, a friend, and the like.
  • the attribute is information indicating the characteristics of the person, such as the sex and age group of the person, height, clothes, race, and language used.
  • This image recognition unit can be realized by the analysis unit 121 shown in FIG.
  • the image recognition unit uses the area definition data to detect the position of the person.
  • the area definition data may be, for example, the data described with reference to FIG. 6 or data that defines coordinates at each position in the area and uses the image captured by the camera and the defined coordinates.
  • the order management unit that manages the information input from the order terminal where the user inputs an order receives the order, associates the person (the user who made the input) with the order content, and confirms the order status.
  • the order management unit manages orders by reading out necessary information from the person position/facial expression/relationship/attribute database and writing necessary data in the person position/facial expression/relationship/attribute database.
  • the event detection unit detects an event that triggers processing based on the person information and environment information stored in the person position/expression/relationship/attribute database and the order accepted by the order management unit, and executes the task. Is selected and activated. When the execution task is selected, the task is switched among the cooking task, the customer attraction task, the order task, and the customer satisfaction improving task.
  • the utterance system reinforcement learning unit based on the person information and environment information stored in the person position/facial expression/relationship/attribute database, state observation, reward calculation, utterance value function update, and utterance target person/utterance content make a selection.
  • the utterance system reinforcement learning unit selects the utterance content from the utterance data stored in advance. Further, the utterance system reinforcement learning unit performs the above-described processing using a database that stores the utterance system learning result.
  • the utterance content/target determination unit determines, as the utterance content and the target person, the utterance target/utterance content selected by the utterance system reinforcement learning unit according to the task to be executed.
  • the voice synthesis unit synthesizes the utterance content determined by the utterance content/target determination unit as a voice and outputs the voice to the speaker.
  • the action system reinforcement learning unit uses the action system learning result data to perform state observation, reward calculation, action value function update, and action selection.
  • the action system reinforcement learning unit selects an action from action data stored in advance.
  • the motion determining unit determines, as a motion to be executed, one of the motions selected by the motion strengthening learning unit according to the task to be executed.
  • the motion instruction unit instructs the robot to perform the motion determined by the motion determination unit.
  • FIG. 9 is a diagram showing an example of associations stored in the person position/facial expression/relationship/attribute database shown in FIG.
  • a person number is given to each person included in the image captured by the camera, and each data is registered for each person number.
  • the items of the person position area type, the person position coordinates, and the certainty of the person position are related information of the existence position of the person.
  • the person location area type is, for example, an area such as an order place, a product providing place, a store adjacent to, and a store periphery as described with reference to FIG.
  • the certainty of the human position is calculated based on the position of the camera, the characteristics of the camera, the position specifying algorithm, and the like.
  • the customer status is information indicating whether the person included in the image captured by the camera is a customer, a prospective customer, a potential customer, an onlooker, or a passerby. ..
  • This is the result of the analysis unit 121 performing face authentication of a person, analysis of facial expressions, and analysis based on existing positions and movements.
  • the relationship with the stranger number is information indicating a relationship with a person included in the image together with the person, such as a parent, child, friend, and lover.
  • the customer past order count and the customer past order content as a result of the analysis unit 121 analyzing the person in the image captured by the camera, if the person is a customer having a registered ID, the customer orders in the past.
  • the customer past order count and the customer past order content are obtained based on the information read from the membership card when the person has the system read the membership card. It may be information indicating the content. These are registered in the database when ordering.
  • by assigning a customer ID to the customer who ordered the product and registering the ordered product and the number of times it is possible to learn the customer's preference, and to recommend the product when visiting the store again. You can also make utterances and actions to guide you.
  • FIG. 10 is a diagram showing an example of the types of utterance data shown in FIG. 8 and indexes to be improved by the utterance data.
  • 11A and 11B are diagrams showing an example of information registered as the speech data shown in FIG. 8. These pieces of information are stored in the database 131 shown in FIG.
  • the speech data is composed of the following items.
  • FIG. 10 shows an arrangement of what utterance should be made to which utterance target according to the result of analysis by the analysis unit 121 of the image captured by the camera 111 and the current operating status of the system. Indicates. Further, FIG. 10 also shows what kind of evaluation result these utterance data improve.
  • the evaluation result indicates the result of utterance, and indicates the degree of change in the call-in rate, order rate, Upsell rate, smile rate, and Repeat rate. For example, when the robot puts the product in the providing position or when the customer takes the product away from the providing position, when the person talks to an individual person, a guideline that the utterance that improves the Repeat rate should be given (Fig. In 10, it is indicated by a circle).
  • More specific utterance data includes, as shown in FIGS. 11A and 11B, a plurality of specific utterances that should be uttered based on the result of analysis of the image captured by the camera 111 by the analysis unit 121 and the current operating status of the system.
  • Utterance content is stored. Some of the utterances are expressed in foreign languages other than Japanese, even if expressions in English, Chinese, Korean, etc. are stored. good.
  • the plurality of utterance contents are stored so that they can be selected according to various attributes of the target person. Further, any one of these plural utterance contents is selected according to the evaluation result. That is, the one with the highest evaluation is selected.
  • the utterance system learning result data output as a result of utterance includes the following items.
  • ⁇ Speech value function learning result data ⁇ Data required for batch learning at multiple stores (speech firing condition, utterance content number, utterance content content, utterance content replacement word, utterance reaction result) These are reinforcement learning based on the variation of the sales content after the utterance and the facial expression of the target person.
  • the operation data is composed of the following items. ⁇ Operation content number and operation type (cooking operation, customer attraction operation, customer service operation) ⁇ Operation ignition conditions (store chain, ordered product type, cooking stage, location classification, congestion status, time zone, season, weather/temperature/humidity, special event) -Contents of motion content-Contents of music content-Total playback time-Maximum interrupt-free time-Facial expression during motion
  • the motion content number is, for example, a number relating to data for moving the arm of the robot 201.
  • the facial expression of the robot 201 has a function of expressing a facial expression on the face of the robot 201 (for example, a display that displays a facial image)
  • the facial expression is information indicating the facial expression displayed on the display.
  • the facial expression during operation may display the following facial expressions, for example. ⁇ Expressive expressions when talking to a specific person ⁇ Exciting facial expressions when waiting for an order ⁇ Expressive expressions of gratitude when receiving an order ⁇ Move quickly while cooking A look that is alive, a look that is chilling when uttering a soliloquy, and a look that is healed when calling a customer when passing a product
  • the motion system learning result data output as a result of the motion is composed of the following items.
  • ⁇ Motion value function learning result data ⁇ Data required for batch learning at multiple stores (motion ignition condition, motion content number, motion content content, music content content, motion reaction result) These are reinforced learning based on the change of the sales content after the operation and the facial expression of the target person.
  • FIG. 12 is a flowchart for explaining an example of the information processing method in the information processing system shown in FIG.
  • the camera 111 captures an image and transmits the captured image to the information processing apparatus 101.
  • the analysis unit 121 analyzes the person information regarding the person including the person position included in the image transmitted from the camera 111, and stores the analyzed person information in the database 130 (step S21). For example, the analysis unit 121 analyzes which area the target person is in and which area is being moved from which area among a plurality of areas as shown in FIG.
  • the execution task selection unit 171 selects the execution task 191 based on the personal information and the environment information (task firing condition) stored in the database 130 (step S22).
  • the operating status of the system included in the environmental information at this time is, for example, a state where cooking is being performed, a state where the store is crowded, a state where the number of remaining orders is zero, a state where customer service is zero, etc. Show.
  • the execution task selection unit 171 selects a task to be executed.
  • the utterance control unit 141 selects the utterance content according to the score output by the utterance system reinforcement learning unit 1511 according to the execution task 191 selected and activated by the execution task selection unit 171.
  • the utterance control unit 141 selects the utterance content having the highest score output from the utterance system reinforcement learning unit 1511 for the combination of the person information and the environment information stored in the database 130.
  • the motion control unit 161 selects the motion information according to the score output by the motion system reinforcement learning unit 1512 according to the execution task 191 selected and activated by the execution task selection unit 171.
  • the motion control unit 161 selects, for the combination of the person information and the environment information stored in the database 130, the motion information having the largest score output by the motion system reinforcement learning unit 1512 (step S23). ).
  • the utterance control unit 141 transmits the selected utterance content to the voice output unit 211, and instructs the voice output unit 211 to utter. Further, the operation control unit 161 transmits the selected operation information to the operation execution unit 221, and instructs the operation execution unit 221 to perform an operation. Then, the voice output unit 211 performs the instructed utterance, and the action execution unit 221 performs the instructed action (step S24).
  • the utterance-based reinforcement learning unit 1511 and the action-based reinforcement learning unit 1512 perform reinforcement learning based on changes in the ordered products, the sales content, the facial expression of the target person, and the like received according to the utterance and the action, and update the score. Yes (step S25). For example, when the amount of sales increases, the utterance type reinforcement learning unit 1511 and the action type reinforcement learning unit 1512 increase the scores of the utterance content and action information performed. When the sales amount decreases, the utterance type reinforcement learning unit 1511 and the action type reinforcement learning unit 1512 lower the score of the utterance content and the action information made. This score may be called “reward” in reinforcement learning.
  • the store status, the customer status, the attributes of the utterance target, the utterance content and the action content when the utterance and the action are performed are set to the learning state, and the reaction result of the target person to the utterance, the reaction result of the target person to the action, and
  • the value function relating to the utterance content and the motion information is updated according to the reward calculation value calculated based on the change in the sales of the product.
  • the reinforcement learning carried out may be carried out across multiple stores. That is, the result learned based on the reaction of the customer may be shared by a plurality of stores.
  • the management system shown in FIG. 8 may manage the results learned in a plurality of stores as a data group and share the managed learning results in a plurality of stores.
  • the unit of learning described above may be each product, each store, or each location area.
  • the utterance and the action are performed according to the person information and the environment information of the person included in the image captured by the camera, the learning is performed based on the result, and the utterance content and the action information are used. Will update the score. In other words, depending on the person or environment in which the image was taken, what kind of person, what kind of situation and what kind of utterance and action should be performed to efficiently serve the customer is learned. Therefore, flexible customer service can be provided.
  • each function is assigned to each function (processing), but this allocation is not limited to the above. Also, regarding the configuration of the constituent elements, the above-described form is merely an example, and the present invention is not limited to this.
  • 101 information processing device 110 imaging unit 111, 111-1 to 111-3 camera 120, 121 analysis unit 130, 131 database 140 utterance unit 141 utterance control unit 150 reinforcement learning unit 161 operation control unit 171 execution task selection unit 181 input unit 191 Execution task 201 Robot 211 Voice output unit 221 Motion execution unit 1501 Reward calculation unit 1502 Update unit 1503 Value function calculation unit 1511 Speech system reinforcement learning unit 1512 Motion system reinforcement learning unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

撮像部（１１０）が撮像した画像に含まれる人物に関する人物情報を解析する解析部（１２０）と、人物情報と当該情報処理システムが設置された環境を示す環境情報とを記憶するデータベース（１３０）と、人物情報と環境情報とに応じた発話内容の発話を行う発話部（１４０）と、人物情報と環境情報との組み合わせごとに発話内容に応じた第１のスコアを、発話部（１４０）が行った発話の結果を示す結果情報に基づいて学習を行って更新する強化学習部（１５０）とを有し、発話部（１４０）は、組み合わせについて第１のスコアが最も大きな値の第１のスコアと対応付けられた発話内容の発話を行う。

Description

情報処理システムおよび情報処理方法
　本発明は、情報処理システムおよび情報処理方法に関する。
　近年、労働力不足・人手不足を解消するために、ＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ：人工知能）を用いて適切な処理を行うシステムが多く見られるようになってきている。例えば、接客を行うロボットが撮影した画像を解析して客の要望を把握して接客アクションを実行するシステムが考えられている（例えば、特許文献１参照。）。
特開２０１８－８４９９８号公報
　上述したような技術においては、ロボットは、客に対して一定の接客動作のみを行い、その動作への客の反応からその客の要望を把握する。そのため、客やその状況に応じた動作を行うことができず、柔軟な接客を行うことができないという問題点がある。
　本発明の目的は、柔軟な接客を行うことができる情報処理システムおよび情報処理方法を提供することにある。
　本発明の情報処理システムは、
　撮像部と、
　前記撮像部が撮像した画像に含まれる人物に関する人物情報を解析する解析部と、
　前記人物情報と当該情報処理システムが設置された環境を示す環境情報とを記憶するデータベースと、
　前記人物情報と前記環境情報とに応じた発話内容の発話を行う発話部と、
　前記データベースから前記人物情報と前記環境情報とを読み出し、該読み出した人物情報と環境情報との組み合わせごとに前記発話内容に応じた第１のスコアを、前記発話部が行った発話の結果を示す結果情報に基づいて学習を行って更新する強化学習部とを有し、
　前記発話部は、前記組み合わせについて前記第１のスコアが最も大きな値の前記第１のスコアと対応付けられた発話内容の発話を行う。
　また、カメラと、ロボットと、情報処理装置とを有し、
　前記情報処理装置は、
　前記カメラが撮像した画像に含まれる人物に関する人物情報を解析する解析部と、
　前記人物情報と当該情報処理システムが設置された環境を示す環境情報とを記憶するデータベースと、
　前記人物情報と前記環境情報とに応じた発話内容の発話を行うように前記ロボットへ指示する発話制御部と、
　前記データベースから前記人物情報と前記環境情報とを読み出し、該読み出した人物情報と環境情報との組み合わせごとに前記発話内容に応じた第１のスコアを、前記発話制御部が指示した発話の結果を示す結果情報に基づいて学習を行って更新する強化学習部とを有し、
　前記発話制御部は、前記組み合わせについて前記第１のスコアが最も大きな値の前記第１のスコアと対応付けられた発話内容の発話を行うように前記ロボットへ指示し、
　前記ロボットは、
　前記発話制御部から指示された発話内容が示す音声を出力する音声出力部を有する。
　また、本発明の情報処理方法は、
　情報処理システムにおける情報処理方法であって、
　カメラが撮像した画像に含まれる人物に関する人物情報を解析する処理と、
　前記人物情報と当該情報処理システムが設置された環境を示す環境情報とを記憶するデータベースから前記人物情報と前記環境情報とを読み出す処理と、
　前記読み出した人物情報と環境情報との組み合わせについての第１のスコアが最も大きな値の前記第１のスコアと対応付けられた発話内容の発話を行う処理と、
　前記行った発話の結果を示す結果情報に基づいて学習を行い、前記第１のスコアを更新する処理とを行う。
　本発明においては、柔軟な接客を行うことができる。
本発明の情報処理システムの第１の実施の形態を示す図である。 図１に示した強化学習部が有するスコアの一例を示す図である。 図１に示した強化学習部において行われる強化学習の入出力の一例を示す図である。 図１に示した情報処理システムにおける情報処理方法の一例を説明するためのフローチャートである。 本発明の情報処理システムの第２の実施の形態を示す図である。 図５に示したカメラが撮像した人物の位置を特定する処理の一例を説明するための図である。 図５に示した実行タスク選択部１７１が参照する、データベース内に記憶された人物情報と環境情報との組み合わせから把握できる事象と実行タスクとの対応付けの一例を示す図である。 図５に示した情報処理システムにおけるソフトウェア構成の一例を示す図である。 図８に示した人位置・表情・関係・属性データベースに記憶されている対応付けの一例を示す図である。 図８に示した発話データの種類と発話データにより向上させたい指標との一例を示す図である。 図８に示した発話データとして登録されている情報の一例を示す図である。 図８に示した発話データとして登録されている情報の一例を示す図である。 図５に示した情報処理システムにおける情報処理方法の一例を説明するためにフローチャートである。
　以下に、本発明の実施の形態について図面を参照して説明する。
（第１の実施の形態）
　図１は、本発明の情報処理システムの第１の実施の形態を示す図である。本形態における情報処理システムは図１に示すように、撮像部１１０と、解析部１２０と、データベース１３０と、発話部１４０と、強化学習部１５０とを有する。
　撮像部１１０は、対象となる人物の撮像を行う。
　解析部１２０は、撮像部１１０が撮像した画像に含まれる人物に関する人物情報を解析する。
　データベース１３０は、人物情報と情報処理システムが設置された環境を示す環境情報とを記憶する。
　人物情報は、撮像部１１０が撮像した画像に含まれる人物に関する情報であって、例えば、撮像部１１０が撮像した画像に含まれる人物の位置や、性別、年齢層、表情（例えば、笑顔、驚いた顔、悲しい顔、怒った顔等）、身長、服装、人種、人と人との間柄等である。また、人物情報には、撮像部１１０が撮像した画像に含まれる人物が使用している言語を示す使用言語や、その人物が注文した内容を示す注文内容も含まれる。使用言語は、撮像部１１０の近くに設置されたマイク等の集音部材（不図示）を用いて集音した音声に基づいて、解析部１２０が解析した情報である。また、注文内容は、注文を行うための入力部（不図示）が受け付けた注文の内容である。また、人物情報は、撮像部１１０が撮像した画像に含まれる人物がそれまでに登録されている顧客であることが認証（特定）されれば、その顧客に付与されている個人識別情報（例えば、顧客ＩＤ番号等）であっても良い。個人識別情報が登録されている場合、その個人識別情報から特定される顧客の過去の注文内容（注文商品や注文回数等）も人物情報に含まれる。
　環境情報は、人物の数、現在の日にち、時間帯、気候、本システムの稼働状況（処理負荷状況）、立地区分、注文残数および注文処理状態等に基づいて判定される店舗状態等を示す情報である。環境情報は、上述した情報の少なくとも１つであっても良い。本システムの稼働状況とは、例えば、「顧客から商品の注文が入った」や、「調理が混雑している」、「店舗周辺に人が見えない」、「調理中である」、「注文残数がゼロである」、「調理を行うロボットが商品を提供位置に置いた」等、そのシステムが現在どのような状態であるかを示す情報である。
　発話内容は、発話部１４０が行う発話の具体的なフレーズを示すものである。発話内容は、発話部１４０周辺へ発話する内容、撮像部１１０が撮像した画像に含まれる人物へ話しかける内容等を示す。例えば、発話内容は、集客を目的とした呼び込みの内容や、周辺の人物の注意を惹くような内容、商品を注文した客に対して追加の注文を促す内容、独り言、時事ネタ、商品の説明等、一般の店舗の店員がその状況に応じて行う発話の内容と同様のものである。
　スコアは、発話部１４０が行った発話の結果を示す結果情報に基づいて、強化学習部１５０が学習を行った値（第１のスコア）である。このスコアは、強化学習部１５０が強化学習を行うことで強化学習部１５０によって更新されていく。ここで、結果情報とは、発話部１４０が発話を行った後の、顧客の反応、売上内容や売上額の変動を示す売上情報等であり、それらのうち少なくとも１つを含む情報である。顧客の反応は、撮像部１１０が撮像した画像に含まれる人物に関する表情の変化等を解析部１２０が解析して取得する。
　発話部１４０は、人物情報と環境情報とに応じた発話内容の発話を行う。発話部１４０は、人物情報と環境情報とに応じた人物情報と環境情報との組み合わせについて第１のスコアが最も大きな値の第１のスコアと対応付けられた発話内容の発話を行う。
　強化学習部１５０は、データベース１３０から人物情報と環境情報とを読み出す。強化学習部１５０は、読み出した人物情報と環境情報との組み合わせである組み合わせごとに発話内容に応じた第１のスコアを、発話部１４０が行った発話の結果を示す結果情報に基づいて学習を行って更新する。
　図２は、図１に示した強化学習部１５０が有するスコアの一例を示す図である。図１に示した強化学習部１５０は図２に示すように、環境情報のうちのシステムの稼動状況に応じた起動タスクが設定されており、起動されたタスクに応じた発話カテゴリおよびその発話カテゴリに含まれる発話内容に応じたスコアを、人物情報と環境情報との組み合わせごとに有している。図２においては、人物情報を「ａ１」、「ａ２」、「ｂ１」、「ｂ２」、「ｂ３」として示している。図２において、環境情報を「ｃ１」、「ｃ２」、「ｄ１」として示している。また、図２において、発話カテゴリを「Ｃａｔ１」、「Ｃａｔ２」として示している。また、図２において、発話カテゴリ「Ｃａｔ１」に対応する発話内容を「Ｃｏｎ１１」、「Ｃｏｎ１２」、「Ｃｏｎ１３」として示している。また、図２において、発話カテゴリ「Ｃａｔ２」に対応する発話内容を「Ｃｏｎ２１」、「Ｃｏｎ２２」、「Ｃｏｎ２３」として示している。なお、図２において、人物情報「ａ」を性別とすると、「ａ１」を男性、「ａ２」を女性とすることができる。他の人物情報や、環境情報についても同様である。
　図３は、図１に示した強化学習部１５０において行われる強化学習の入出力の一例を示す図である。図１に示した強化学習部１５０は図３に示すように、報酬計算部１５０１と、更新部１５０２と、価値関数計算部１５０３とを有する。強化学習部１５０は、発話を行った結果、その結果情報や、発話後の売上データ（商品や数量、金額等）等に基づいて、強化学習を行って報酬を計算し、更新を行って、価値関数計算部１５０３に入力する。その後、人物情報と環境情報とに基づいて、各発話内容の価値（スコア）を出力する。価値関数計算部１５０３は、ニューラルネットワークを用いて実現できるが、価値関数計算部１５０３が行う解析方法については特に規定しない。
　以下に、図１に示した情報処理システムにおける情報処理方法について説明する。図４は、図１に示した情報処理システムにおける情報処理方法の一例を説明するためのフローチャートである。
　まず、撮像部１１０が撮像を行うと（ステップＳ１）、解析部１２０が、撮像部１１０が撮像した画像に含まれる人物に関する人物情報を解析する（ステップＳ２）。解析部１２０は、解析した結果をデータベース１３０に書き込む。すると、強化学習部１５０は、データベース１３０から人物情報を読み出し、読み出した人物情報と環境情報と発話内容とに基づいて、発話内容の適正を計算する。続いて、発話部１４０は、最も適した発話内容を選択する（ステップＳ３）。具体的には、発話部１４０は、データベース１３０に格納された人物情報と環境情報との組み合わせについて、スコアが最大値のスコアと対応付けられた発話内容を選択する。発話部１４０は、選択した発話内容の発話を行う（ステップＳ４）。強化学習部１５０は、発話部１４０が行った発話の後の結果情報に基づいて学習を行い、スコアを更新する（ステップＳ５）。
　ここで、学習を行う前のスコアについては、すべて互いに同じ値を記憶させておいても良いし、人物情報と環境情報との組み合わせに対する発話内容の効果の予測に応じてあらかじめ設定された値を記憶させておいても良い。
　このように、本形態においては、撮像した人物や環境に応じた発話を行い、その結果に基づいて学習し、それを用いて発話内容のスコアを更新していく。そのため、柔軟な接客を行うことができる。
（第２の実施の形態）
　図５は、本発明の情報処理システムの第２の実施の形態を示す図である。本形態における情報処理システムは図５に示すように、カメラ１１１と、情報処理装置１０１と、ロボット２０１とを有する。図５に示した情報処理システムは、例えば、コーヒーや軽食等の飲食物を提供する店舗に設置され、ロボット２０１が接客を行うものである。カメラ１１１は、当該店舗の周囲を撮像し、撮像した画像に含まれる人物を顧客候補や顧客として、ロボット２０１が発話や動作を行う。
　カメラ１１１は、対象となる人物の撮像を行う撮像部である。カメラ１１１は、静止画を撮像するものであっても、動画を撮像するものであっても、奥行き情報を取得できる深度センサ内蔵のカメラでも良い。また、カメラ１１１が撮像を行うタイミングは、特に規定しない。また、カメラ１１１は、撮像した画像に基づいて、商品を提供する位置に対する、客が存在する位置の相対位置が認識できる位置に設置されている。また、カメラ１１１の台数は１台に限らない。また、カメラ１１１は、外部からの制御に基づいて撮像方向を自在に変えられるものであっても良い。
　情報処理装置１０１は、カメラ１１１およびロボット２０１と接続され、カメラ１１１およびロボット２０１を制御する装置である。例えば、情報処理装置１０１は、ソフトウェアを実行可能なＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）であっても良い。
　ロボット２０１は、情報処理装置１０１からの指示に基づいて、所定の音声を出力したり、所定の動作を行ったりする。ロボット２０１は、所定の動作として、例えば、調理やダンスを行うことができる。
　図５に示すように情報処理装置１０１は、解析部１２１と、データベース１３１と、発話制御部１４１と、発話系強化学習部１５１１と、動作制御部１６１と、動作系強化学習部１５１２と、実行タスク１９１と、実行タスク選択部１７１と、入力部１８１とを有する。なお、図５には、情報処理装置１０１が具備する構成要素のうち、本形態に関わる主要な構成要素のみを示した。
　解析部１２１は、カメラ１１１が撮像した画像に含まれる人物に関する人物情報を解析する。ここで人物情報とは、第１の実施の形態と同様に、例えば、人物の位置や、性別、年齢層、表情、身長、服装、人種、使用言語、人と人との間柄、注文内容等である。解析部１２１がこのような人物情報のうち画像からその人物を解析するためには、画像認識に一般的に用いられている画像認識方法を用いれば良く、その解析方法については特に規定しない。また、人物情報は、カメラ１１１が撮像した画像に含まれる人物がそれまでに登録されている顧客であることが認証（特定）されれば、その顧客に付与されている個人識別情報（例えば、顧客ＩＤ番号等）であっても良い。個人識別情報が登録されている場合、その個人識別情報から特定される顧客の過去の注文内容（注文商品や注文回数等）も人物情報に含まれる。また、解析部１２１は、カメラ１１１が設置された位置と、カメラ１１１が撮像した人物の位置とに基づいて、商品を提供する位置に対する、客が存在する位置の相対位置等を算出する。また、解析部１２１は、注文時に客が注文を入力するための注文端末の前に位置する人物を注文者として認識する。
　データベース１３１は、人物情報と情報処理システムの環境を示す環境情報とを記憶する。また、データベース１３１は、タスク発火条件に応じて実行タスク選択部１７１が選択する実行タスク情報を記憶する。記憶されている情報の具体例については後述する。
　実行タスク選択部１７１は、タスク発火条件に基づいて、情報処理装置１０１が実行するタスクを複数の実行タスク１９１の中から選択して起動する。
　発話系強化学習部１５１１は、選択されて起動した実行タスク１９１に応じた発話カテゴリおよびその発話カテゴリに含まれる発話内容に応じたスコアの更新および制御を行う。発話系強化学習部１５１１は、データベース１３１から読み出した人物情報と環境情報との組み合わせごとに発話内容に応じたスコアを、音声出力部２１１が出力した発話の結果を示す結果情報に基づいて学習を行って更新する。音声出力部２１１が行った発話の結果を示す結果情報を収集し、収集した結果情報に基づいて学習を行い、スコアを更新する。ここで行う学習については、第１の実施の形態と同様である。また、ここでのスコアは、音声出力部２１１が行った発話の結果を示す結果情報に基づいて学習を行った値（第１のスコア）である。このスコアは、強化学習を行うことで発話系強化学習部１５１１によって更新されていく。ここで、結果情報とは、音声出力部２１１が発話を行った後の、顧客の反応（例えば、笑顔率等）、売上内容や売上額の変動を示す売上情報（例えば、Ｕｐｓｅｌｌ率や売上向上率等）等であり、それらのうちの少なくとも１つを含む情報である。この売上情報は、入力部１８１への入力に基づいて販売した商品の売上の内容を示すものであっても良い。なお、上述した顧客の反応は、カメラ１１１が撮像した画像に含まれる人物に関する人物情報に基づいて解析部１２１が解析して取得する。
　動作系強化学習部１５１２は、選択されて起動した実行タスク１９１に応じた動作カテゴリおよびその動作カテゴリに含まれる動作情報に応じたスコアの更新および制御を行う。また、動作系強化学習部１５１２は、データベース１３１から読み出した人物情報と環境情報との組み合わせごとに動作情報に応じたスコアを、動作実行部２２１が行った動作の結果を示す結果情報に基づいて学習を行って更新する。動作系強化学習部１５１２は、動作実行部２２１が行った動作の結果を示す結果情報に基づいて学習を行い、スコアを更新する。ここでのスコアは、動作実行部２２１が行った動作の結果を示す結果情報に基づいて学習を行った値（第２のスコア）である。このスコアは、強化学習を行うことで動作系強化学習部１５１２によって更新されていく。ここで、結果情報とは、動作実行部２２１が動作を行った後の、顧客の反応（例えば、笑顔率等）、売上内容や売上額の変動を示す売上情報（例えば、Ｕｐｓｅｌｌ率や売上向上率等）等であり、それらのうちの少なくとも１つを含む情報である。なお、上述した顧客の反応は、カメラ１１１が撮像した画像に含まれる人物に関する人物情報に基づいて解析部１２１が解析して取得する。
　発話制御部１４１は、複数の実行タスク１９１のうちの所定の実行タスクが起動した場合、発話系強化学習部１５１１が出力した第１のスコアのうち、最も大きな値の第１のスコアと対応付けられた発話内容の発話を行うように、ロボット２０１が有する音声出力部２１１へ指示する。
　動作制御部１６１は、複数の実行タスク１９１のうちの所定の実行タスクが起動した場合、動作系強化学習部１５１２が出力した第２のスコアのうち、最も大きな値の第２のスコアと対応付けられた動作情報が示す動作を行うように、ロボット２０１が有する動作実行部２２１へ指示する。
　入力部１８１は、情報を入力する。入力部１８１は、外部から受け付けた操作に基づいて情報を入力するものであっても良いし、情報処理装置１０１の内部や外部で算出した数値を入力するものであっても良い。入力部１８１は、注文に用いられるものであっても良く、この場合、外部から受け付けた操作に基づいて注文された商品を入力する。
　図５に示すようにロボット２０１は、音声出力部２１１と、動作実行部２２１とを有する。なお、図５には、ロボット２０１が具備する構成要素のうち、本形態に関わる主要な構成要素のみを示した。
　音声出力部２１１は、発話制御部１４１からの指示に基づいて、音声を出力する。音声出力部２１１は、一般的なスピーカーであっても良い。音声出力部２１１は、ロボット２０１が恰も話をしているかのように出力された音声が外部に聞こえる位置に取り付けられることが好ましい。なお、音声出力部２１１の数は１つとは限らず、ロボット２０１内ではない位置に設置されていても良い。動作実行部２２１は、動作制御部１６１からの指示に基づいて、動作を行う。動作実行部２２１は、例えば、ロボット２０１のモーター等を用いて動作するアーム部分であっても良い。なお、本形態においては、発話制御部１４１と音声出力部２１１とを併せて発話部とし、動作制御部１６１と動作実行部２２１とを併せて動作部とする。
　なお、本形態における、人物情報、環境情報および発話内容は、第１の実施の形態で説明したものと同じもので良い。動作情報は、調理を行う、ダンスを行う等、所定の動作を行うための情報である。
　以下に、カメラが撮像した人物（顧客）の位置を特定する処理について説明する。図６は、図５に示したカメラ１１１が撮像した人物の位置を特定する処理の一例を説明するための図である。図６に示すように、例えば、店舗にカメラ１１１－１～１１１－３が設置されており、それぞれのカメラ１１１－１～１１１－３が撮像した画像に基づいて、解析部１２１が人物の位置を特定する。解析部１２１は、カメラ１１１－１が撮像した画像に含まれる人物であって、カメラ１１１－１から見て特定の領域内に存在する人物は、領域１（Ｚｏｎｅ１）に位置すると特定する。また、解析部１２１は、カメラ１１１－２が撮像した画像に含まれる人物であって、カメラ１１１－２から見て特定の領域内に存在する人物は、領域２（Ｚｏｎｅ２）に位置すると特定する。また、解析部１２１は、カメラ１１１－３が撮像した画像に含まれる人物であって、カメラ１１１－３から見て特定の領域内に存在する人物は、領域３（Ｚｏｎｅ３）に位置すると特定する。また、解析部１２１は、カメラ１１１－１～１１１－３のいずれかが撮像した画像に含まれる人物であって、その画像を撮像したいずれかのカメラ１１１－１～１１１－３から遠くの領域内に存在する人物は、領域０（Ｚｏｎｅ０）に位置すると特定する。ただし、このように人物の位置を特定するために複数のカメラを用いることに限定せず、１台のカメラを用いて、そのカメラが撮像した画像に基づいて、人物が領域０～３（Ｚｏｎｅ０～３）のどこに存在するのかを判定するものであっても良い。また、これらの領域０～３（Ｚｏｎｅ０～３）を以下のように定義する。
　Ｚｏｎｅ０：店舗周辺の領域。通り過ぎる客と興味がある客とが混在している。
　Ｚｏｎｅ１：注文場所。商品を注文する注文客が多い。
　Ｚｏｎｅ２：店舗隣接の領域。注文後、商品の出来上がりを待つ客が多い。
　Ｚｏｎｅ３：商品の提供場所。出来上がった商品を持ち去る客が多い。
　これらの領域を定義し、定義した領域とアクション（発話、動作）との対応付けをデータベース１３１にあらかじめ登録しておく。例えば、Ｚｏｎｅ０と店舗への呼び込みを行う発話内容とを対応付けておくことで、Ｚｏｎｅ０に存在する人物に対しては、店舗へ呼び込むための発話や集客のための動作を行うというアクションを取ることを決定することができる。また、例えば、Ｚｏｎｅ１と注文する商品を尋ねる発話内容とを対応付けておくことで、Ｚｏｎｅ１に存在する人物に対しては、注文する商品を尋ねるための発話や動作を行うというアクションを取ることができる。このように、対象となる人物に対して、その領域に応じた適当なアクションを準備することができる。なお、それぞれの領域の境界は、４頂点座標等を用いて特定する。なお、カメラ１１１－１～１１１－３とＺｏｎｅ０～Ｚｏｎｅ３とを必ずしも対応付けておく必要はない。例えば、カメラ１１１－２とカメラ１１１－３とがＺｏｎｅ２に存在する客を撮像して、２つのカメラで撮像した客の位置等の人物情報を解析するものであっても良い。
　図７は、図５に示した実行タスク選択部１７１が参照する、データベース１３１内に記憶された人物情報と環境情報との組み合わせから把握できる事象と実行タスクとの対応付けの一例を示す図である。この対応付けは、図５に示したデータベース１３１にあらかじめ記憶されていても良い。図７に示すように、人物の位置や、システムの稼働状況を示す環境情報に応じて、各タスクが対応付けられている。
　例えば、「注文が入る」という事象に対して、調理タスクが対応付けられている。この対応付けを用いることで、実行タスク選択部１７１は、そのときの事象が「注文が入る」である場合、調理タスクを選択する。さらに調理タスクには、詳細な発話内容や動作情報が対応付けられており、調理タスクを実行した際に、ロボット２０１は調理を行い、これらの発話内容や動作情報に従ったアクションが行われる。このときの発話内容は、例えば、笑顔率向上のための発話や、Ｒｅｐｅａｔ率向上の発話を行うためのものである。これらの発話内容は、データベース１３１にあらかじめ記憶されている。
　また、「人物が特定領域に入る」および「そこが注文領域」という事象に対して、注文促進タスクが対応付けられている。この対応付けを用いることで、実行タスク選択部１７１は、そのときの事象が「人物が特定領域に入る」および「そこが注文領域」である場合、注文促進タスクを選択する。「そこが注文領域」であるかどうかは、人物の位置を示す情報を用いて解析部１２１が判定する。例えば、図６に示したＺｏｎｅ１に人物が入っていれば、「そこが注文領域」であると解析部１２１が判定する。さらに注文促進タスクには、詳細な発話内容や動作情報が対応付けられており、注文促進タスクを実行した際に、これらの発話内容や動作情報に従ったアクションが行われる。このときの発話内容は、例えば、商品を注文させるための発話や、他の商品の注文を勧めるための発話を行うためのものである。これらの発話内容は、データベース１３１にあらかじめ記憶されている。
　また、「人物が特定領域に入る」および「そこが注文領域以外」という事象に対して、顧客満足度向上タスクが対応付けられている。この対応付けを用いることで、実行タスク選択部１７１は、そのときの事象が「人物が特定領域に入る」および「そこが注文領域以外」である場合、顧客満足度向上タスクを選択する。「そこが注文領域以外」であるかどうかは、人物の位置を示す情報を用いて解析部１２１が判定する。例えば、図６に示したＺｏｎｅ２，３に人物が入っていれば、「そこが注文領域以外」であると解析部１２１が判定する。さらに顧客満足度向上タスクには、詳細な発話内容や動作情報が対応付けられており、顧客満足度向上タスクを実行した際に、これらの発話内容や動作情報に従ったアクションが行われる。このときの発話内容は、例えば、笑顔率向上のための発話や、Ｒｅｐｅａｔ率向上の発話を行うためのものである。これらの発話内容は、データベース１３１にあらかじめ記憶されている。
　また、「注文残数がゼロになった」および「周りに人がいないか反応率の高い人がいない」という事象に対して、集客タスクが対応付けられている。この対応付けを用いることで、実行タスク選択部１７１は、そのときの事象が「注文残数がゼロになった」および「周りに人がいないか反応率の高い人がいない」である場合、集客タスクを選択する。「注文残数がゼロになった」かどうかは、環境情報のうちのシステムの稼働状況を示す情報を用いて解析部１２１が判定する。また、「周りに人がいないか」どうかは、例えば、図６に示したＺｏｎｅ０～３に人物が入っていないかどうかに基づいて、解析部１２１が判定する。「反応率の高い人がいない」かどうかは、Ｚｏｎｅ０～３に人物が入っているが、その人物の表情や動きが商品の注文に関心の無い表情や動きがないかどうかに基づいて、解析部１２１が判定する。さらに集客タスクには、詳細な発話内容や動作情報が対応付けられており、集客タスクを実行した際に、これらの発話内容や動作情報に従ったアクションが行われる。このときの動作情報は、例えば、派手な集客用ロボット動作を音楽に合わせて実行するための情報である。この動作情報は、データベース１３１にあらかじめ記憶されている。
　また、「注文残数がゼロになった」および「周りに反応率の高い人がいる」という事象に対して、ピンポイント呼び込みタスクが対応付けられている。この対応付けを用いることで、実行タスク選択部１７１は、そのときの事象が「注文残数がゼロになった」および「周りに反応率の高い人がいる」である場合、ピンポイント呼び込みタスクを選択する。「注文残数がゼロになった」かどうかは、環境情報のうちのシステムの稼働状況を示す情報を用いて解析部１２１が判定する。また、「周りに反応率の高い人がいる」という事象は、例えば、図６に示したＺｏｎｅ０～３に人物が入っていて、かつ解析部１２１が解析したその人物の表情や動きが、商品の注文に関心のある表情や動きである場合に解析部１２１が判定する。さらにピンポイント呼び込みタスクには、詳細な発話内容や動作情報が対応付けられており、ピンポイント呼び込みタスクを実行した際に、これらの発話内容や動作情報に従ったアクションが行われる。このときの発話内容および動作情報は、例えば、特定の人を呼び込みやすい発話と動作とを実行するためのものである。この発話内容および動作情報は、データベース１３１にあらかじめ記憶されている。
　また、図７に示すように、実行タスクそれぞれに優先度が付与されている。タスクに付与された優先度よりも高い優先度のタスクが選択されると、その高い優先度のタスクによって処理が割り込まれる。これは、シーケンシャルに処理を実行する際の割り込み処理と同じである。
　図８は、図５に示した情報処理システムにおけるソフトウェア構成の一例を示す図である。図５に示した情報処理装置１０１は、図８に示すような構成のソフトウェアを用いてその動作を実現することができる。
　画像認識部が、カメラが撮像した画像について、人認識、人位置検出および表情認識を行う。また、画像認識部は、認識した人物に関する情報を、人位置・表情・関係・属性データベースに記憶させる。ここで、関係とは、カメラが撮像した画像に含まれる複数の人物の間に持つ関係であって、例えば、親子、友人等を示す情報である。また、属性とは、人物の性別や年齢層、身長、服装、人種、使用言語等、その人物の特徴を示す情報である。この画像認識部は、図５に示した解析部１２１で実現することができる。画像認識部は、人物の位置を検出するために、エリア定義データを用いる。エリア定義データは、例えば、図６を用いて説明したものや、エリア内のそれぞれの位置に座標を定義して、カメラが撮像した画像と定義した座標とを用いたデータであっても良い。
　また、利用者が注文を入力する注文端末から入力された情報を管理する注文管理部が、注文の受付、その人物（入力を行った利用者）と注文内容との紐付けおよびその注文状態の管理を行う。注文管理部は、人位置・表情・関係・属性データベースから、必要な情報を読み出したり、人位置・表情・関係・属性データベースに必要なデータを書き込んだりして、注文の管理を行う。
　イベント検出部が、人位置・表情・関係・属性データベースに記憶されている人物情報および環境情報と、注文管理部が受け付けた注文とに基づいて、処理のトリガとなるイベントを検出し、実行タスクを選択・起動する処理が行われる。実行タスクが選択される際、調理タスクと、集客タスクと、注文タスクと、顧客満足度向上タスクとの間で切り替えが行われる。
　また、発話系強化学習部が、人位置・表情・関係・属性データベースに記憶されている人物情報および環境情報に基づいて、状態観測、報酬計算、発話価値関数更新および発話対象者・発話内容の選定を行う。発話系強化学習部は、あらかじめ記憶されている発話データの中から、発話内容を選定する。また、発話系強化学習部は、発話系学習結果を記憶するデータベースを用いて上述した処理を行う。発話内容・対象決定部は、発話系強化学習部が選定した発話対象者・発話内容のうち、実行されるタスクに応じたものを発話内容および対象者として決定する。音声合成部は、発話内容・対象決定部が決定した発話内容を音声として合成してスピーカーへ出力する。
　また、動作系強化学習部が、動作系学習結果データを用いて、状態観測、報酬計算、動作価値関数更新および動作の選定を行う。動作系強化学習部は、あらかじめ記憶されている動作データの中から、動作を選定する。動作決定部は、動作系強化学習部が選定した動作のうち、実行されるタスクに応じたものを実行する動作として決定する。動作指示部は、動作決定部が決定した動作をロボットに指示する。
　図９は、図８に示した人位置・表情・関係・属性データベースに記憶されている対応付けの一例を示す図である。図９に示すように、カメラが撮像した画像に含まれる人物それぞれに人番号を付与し、その人番号ごとに各データが登録される。人位置エリア種別、人位置座標および人位置の確からしさの項目が、その人物の存在位置の関連情報である。人位置エリア種別は、図６を用いて説明したような、例えば、注文場所、商品提供場所、店舗隣接および店舗周辺といった領域である。人位置の確からしさは、カメラの位置や、カメラの特性、位置特定アルゴリズム等に基づいて算出されるものである。また、顧客ステータスは、カメラが撮像した画像に含まれる人物が、顧客であるのか、見込み客であるのか、潜在顧客であるのか、見物客であるのか、通行人であるのかを示す情報である。これは、解析部１２１が、人物の顔認証や、表情の解析、存在する位置や動きに基づいて解析した結果等である。また、他人番号との関係は、親子や、友人、恋人等、画像の中にその人物と共に含まれている人物との関係を示す情報である。顧客過去注文回数および顧客過去注文内容は、カメラが撮像した画像の中の人物について解析部１２１が解析した結果、その人物が登録済みのＩＤを持った顧客である場合、その顧客が過去に注文した回数と内容とを示す情報である。または、顧客過去注文回数および顧客過去注文内容は、その人物が会員カードをシステムに読み取らせた場合に、会員カードから読み取られた情報に基づいて取得される、その顧客が過去に注文した回数と内容とを示す情報であっても良い。これらは、注文する際にデータベースに登録されている。また、商品を注文した顧客に対して顧客ＩＤを付与しておき、注文商品や回数を登録しておけば、その顧客の好みを学習することができ、再度来店したときにお勧めの商品を案内するための発話や動作も行うことができる。
　図１０は、図８に示した発話データの種類と発話データにより向上させたい指標との一例を示す図である。図１１Ａおよび図１１Ｂは、図８に示した発話データとして登録されている情報の一例を示す図である。これらの情報は、図５に示したデータベース１３１に記憶されている。発話データは、以下に示す項目から構成される。
・発話コンテンツ番号
・発話コンテンツ種別（挨拶ネタ、独り言ネタ、時事ネタ、商品会話ネタ、個人特定ネタ、顧客褒めネタ、外国人向けネタ、Ｕｐｓｅｌｌネタ）
・発話発火条件（店舗チェーン、注文商品種別、調理段階、立地区分、混雑状況、時間帯、季節、天気・気温・湿度、特別イベント、人位置エリア、顧客ステータス、他人との関係、人種・言語、性別、年齢層、表情、服装、身長）
・発話コンテンツ内容（コンテンツ内に差し替えワードを変数で記述可能）
・発話時表情
・発話時動作
　特に図１０は、カメラ１１１が撮像した画像を解析部１２１が解析した結果と現在のシステムの稼働状況とに応じて、どの発話対象に対して、どのような発話を行うべきかを整理したものを示す。また、図１０には、これらの発話データが、どのような評価結果を向上させるかについても示している。評価結果とは、発話を行った結果を示すものであって、呼び込み率や、注文率、Ｕｐｓｅｌｌ率、笑顔率、Ｒｅｐｅａｔ率の変化の度合いを示すものである。例えば、ロボットが商品を提供位置に置いた状態や、顧客が提供位置から商品を持ち去った状態で、個別の人物へ語りかけを行う場合、Ｒｅｐｅａｔ率を向上させる発話を行うべきという指針を示す（図１０では、○で表記）。
　さらに具体的な発話データは、図１１Ａおよび図１１Ｂに示すように、カメラ１１１が撮像した画像を解析部１２１が解析した結果と現在のシステムの稼働状況とにおいて発話すべき、複数の具体的な発話内容が記憶されている。複数の発話内容には、日本語以外に外国の言語を用いて表現されたものも記憶されており、英語や、中国語、韓国語等を用いた表現が記憶されているものであっても良い。また、複数の発話内容は、対象となる人物の様々な属性等に応じて選択できるように記憶されている。また、これらの複数の発話内容は、評価結果に応じていずれか１つが選択されるものである。つまり、評価の最も高いものが選択される。
　発話を行った結果として出力される発話系学習結果データは、以下に示す項目から構成される。
・発話価値関数学習結果データ
・複数店舗でのバッチ学習のために必要なデータ（発話発火条件、発話コンテンツ番号、発話コンテンツ内容、発話コンテンツ差し替えワード、発話リアクション結果）
　これらは、発話を行った後の、売上内容の変動や、対象人物の表情に基づいて強化学習されていくものである。
　動作データは、以下に示す項目から構成される。
・動作コンテンツ番号
・動作種別（調理動作、集客動作、接客動作）
・動作発火条件（店舗チェーン、注文商品種別、調理段階、立地区分、混雑状況、時間帯、季節、天気・気温・湿度、特別イベント）
・動作コンテンツ内容
・音楽コンテンツ内容
・全体再生時間
・割り込み不可最大時間
・動作時表情
　動作コンテンツ番号は、例えば、ロボット２０１のアームを動かすためのデータに関する番号である。動作時表情は、ロボット２０１の顔の部分に表情を表す機能（例えば、顔の画像を表示するディスプレイ）を具備していれば、そのディスプレイに表示させる顔の表情を示す情報である。動作時表情は、例えば、以下のような顔の表情を表示するものであっても良い。
・特定の人物に話しかけるような発話を行う時には眼力のある表情
・注文待ちの状態である時にはわくわくしている感じの表情
・注文を受けた時には感謝を表現する表情
・調理中はてきぱきと動いている表情
・独り言を発話する時にはニヒルな表情
・商品を渡す際に顧客を呼び出す時には癒される表情
　動作を行った結果として出力される動作系学習結果データは、以下に示す項目から構成される。
・動作価値関数学習結果データ
・複数店舗でのバッチ学習のために必要なデータ（動作発火条件、動作コンテンツ番号、動作コンテンツ内容、音楽コンテンツ内容、動作リアクション結果）
　これらは、動作を行った後の、売上内容の変動や、対象人物の表情に基づいて強化学習されていくものである。
　以下に、図５に示した情報処理システムにおける情報処理方法について説明する。図１２は、図５に示した情報処理システムにおける情報処理方法の一例を説明するためにフローチャートである。
　まず、カメラ１１１が撮像を行い、その撮像した画像を情報処理装置１０１へ送信する。すると、解析部１２１が、カメラ１１１から送信されてきた画像に含まれる人物位置を含む人物に関する人物情報を解析し、解析した人物情報をデータベース１３０に格納する（ステップＳ２１）。例えば、図６に示したような複数の領域のうち、対象人物がどの領域にいるのか、どの領域からどの領域へ移動しているのかを解析部１２１は解析する。
　続いて、実行タスク選択部１７１は、データベース１３０に格納された人物情報と環境情報（タスク発火条件）とに基づいて、実行タスク１９１を選択する（ステップＳ２２）。このときの環境情報に含まれるシステムの稼動状況は、例えば、調理中である状態や、店舗が混雑している状態、注文残数がゼロになった状態、接客がゼロになった状態等を示す。図７を用いて説明したように、実行タスク選択部１７１は、実行するタスクを選択する。続いて、発話制御部１４１が、実行タスク選択部１７１が選択して起動した実行タスク１９１に従って、発話系強化学習部１５１１が出力したスコアに応じて、発話内容を選択する。このとき、発話制御部１４１は、データベース１３０に格納された人物情報と環境情報との組み合わせについて、発話系強化学習部１５１１が出力したスコアが最も大きな値のスコアの発話内容を選択する。また、動作制御部１６１が、実行タスク選択部１７１が選択して起動した実行タスク１９１に従って、動作系強化学習部１５１２が出力したスコアに応じて、動作制御部１６１が動作情報を選択する。このとき、動作制御部１６１は、データベース１３０に格納された人物情報と環境情報との組み合わせについて、動作系強化学習部１５１２が出力したスコアが最も大きな値のスコアの動作情報を選択する（ステップＳ２３）。
　続いて、発話制御部１４１は、選択した発話内容を音声出力部２１１へ送信し、発話を行うように指示する。また、動作制御部１６１は、選択した動作情報を動作実行部２２１へ送信し、動作を行うように指示する。すると、音声出力部２１１は指示された発話を行い、動作実行部２２１は指示された動作を行う（ステップＳ２４）。
　その後、発話および動作に応じて受けた、注文商品、売上内容、対象人物の表情等の変化に基づいて、発話系強化学習部１５１１および動作系強化学習部１５１２は強化学習を行い、スコアを更新する（ステップＳ２５）。例えば、売上額が上がった場合は、発話系強化学習部１５１１および動作系強化学習部１５１２は行った発話内容および動作情報のスコアを上げる。また、売上額が下がった場合は、発話系強化学習部１５１１および動作系強化学習部１５１２は行った発話内容および動作情報のスコアを下げる。このスコアは、強化学習においては「報酬」と呼ばれるものであっても良い。このように、発話および動作を行った時の店舗状況、顧客状況、発話対象者の属性、発話内容および動作内容を学習状態とし、発話に対する対象人物のリアクション結果、動作に対する対象人物のリアクション結果や、商品の売上の変化等に基づいて計算される報酬計算値に応じて、発話内容および動作情報に関する価値関数を更新する。これにより、効果の最も高い発話対象、発話内容および動作を強化学習する。
　なお、実施される強化学習は、複数の店舗にまたがって実行されるものであっても良い。つまり、顧客のリアクションに基づいて学習された結果を、複数の店舗で共有するものであっても良い。その場合、図８に示した管理システムが、複数の店舗で学習された結果をデータ群として管理し、管理されている学習結果を複数の店舗で共有するものであっても良い。また、上述した学習の単位は、商品ごとであっても良いし、店舗ごと、立地エリアごとであっても良い。
　このような画像認識の学習における、人認識、人位置検出、表情認識などは、本システムが適用された全店舗で共通学習することで、早期に学習精度が向上することが期待される。また、発話発火条件や動作発火条件に対して、効果が最も高い発話コンテンツ内容や動作・音楽コンテンツ内容を決定する強化学習においては、内容により、チェーン店、提供商品、地区を横断してバッチ学習を行うことで学習結果精度が向上することが期待される。
　このように、本形態においては、カメラが撮像した画像に含まれる人物の人物情報および環境情報に応じて発話および動作を行い、その結果に基づいて学習し、それを用いて発話内容および動作情報のスコアを更新していく。つまり、撮像した人物や環境に応じて、どのような人物に対して、どのような状況のときに、どのような発話や動作を行えば効率的な接客ができるかを学習していく。そのため、柔軟な接客を行うことができる。
　以上、各構成要素に各機能（処理）それぞれを分担させて説明したが、この割り当ては上述したものに限定しない。また、構成要素の構成についても、上述した形態はあくまでも例であって、これに限定しない。
　１０１　　情報処理装置
　１１０　　撮像部
　１１１，１１１－１～１１１－３　　カメラ
　１２０，１２１　　解析部
　１３０，１３１　　データベース
　１４０　　発話部
　１４１　　発話制御部
　１５０　　強化学習部
　１６１　　動作制御部
　１７１　　実行タスク選択部
　１８１　　入力部
　１９１　　実行タスク
　２０１　　ロボット
　２１１　　音声出力部
　２２１　　動作実行部
　１５０１　　報酬計算部
　１５０２　　更新部
　１５０３　　価値関数計算部
　１５１１　　発話系強化学習部
　１５１２　　動作系強化学習部

Claims (8)

  1. 　情報処理システムであって、
    　撮像部と、
    　前記撮像部が撮像した画像に含まれる人物に関する人物情報を解析する解析部と、
    　前記人物情報と当該情報処理システムが設置された環境を示す環境情報とを記憶するデータベースと、
    　前記人物情報と前記環境情報とに応じた発話内容の発話を行う発話部と、
    　前記データベースから前記人物情報と前記環境情報とを読み出し、該読み出した人物情報と環境情報との組み合わせごとに前記発話内容に応じた第１のスコアを、前記発話部が行った発話の結果を示す結果情報に基づいて学習を行って更新する強化学習部とを有し、
    　前記発話部は、前記組み合わせについて前記第１のスコアが最も大きな値の前記第１のスコアと対応付けられた発話内容の発話を行う情報処理システム。
  2. 　請求項１に記載の情報処理システムにおいて、
    　前記人物情報と、前記環境情報のうちの当該情報処理システムの稼動状況とを用いたタスク発火条件に基づいて、実行するタスクを選択して起動する実行タスク選択部を有し、
    　前記発話部は、前記実行タスク選択部が起動したタスクに従って動作する情報処理システム。
  3. 　請求項１に記載の情報処理システムにおいて、
    　所定の動作を行う動作部を有し、
    　前記データベースは、前記動作の動作内容を示す動作情報をさらに対応付けて記憶し、
    　前記動作部は、前記組み合わせについて第２のスコアが最も大きな値の前記第２のスコアと対応付けられた動作情報が示す動作を行い、
    　前記強化学習部は、前記動作部が行った動作の結果を示す結果情報に基づいて学習を行い、前記第２のスコアを更新する情報処理システム。
  4. 　請求項３に記載の情報処理システムにおいて、
    　前記環境情報のうち、当該情報処理システムの稼動状況を示すタスク発火条件に基づいて、実行するタスクを選択して起動する実行タスク選択部を有し、
    　前記動作部は、前記実行タスク選択部が起動したタスクに従って動作する情報処理システム。
  5. 　請求項１から４のいずれか１項に記載の情報処理システムにおいて、
    　情報を入力する入力部を有し、
    　前記結果情報は、前記発話を行った後に前記撮像部が撮像した画像に含まれる人物に関する人物情報と、前記入力部への入力に基づいて販売した商品の売上の内容を示す売上情報との少なくとも一方を含む情報処理システム。
  6. 　請求項１から５のいずれか１項に記載の情報処理システムにおいて、
    　前記環境情報は、前記撮像部が撮像した日時および当該情報処理システムの処理負荷状況の少なくとも１つを含む情報処理システム。
  7. 　カメラと、ロボットと、情報処理装置とを有する情報処理システムであって、
    　前記情報処理装置は、
    　前記カメラが撮像した画像に含まれる人物に関する人物情報を解析する解析部と、
    　前記人物情報と当該情報処理システムが設置された環境を示す環境情報とを記憶するデータベースと、
    　前記人物情報と前記環境情報とに応じた発話内容の発話を行うように前記ロボットへ指示する発話制御部と、
    　前記データベースから前記人物情報と前記環境情報とを読み出し、該読み出した人物情報と環境情報との組み合わせごとに前記発話内容に応じた第１のスコアを、前記発話制御部が指示した発話の結果を示す結果情報に基づいて学習を行って更新する強化学習部とを有し、
    　前記発話制御部は、前記組み合わせについて前記第１のスコアが最も大きな値の前記第１のスコアと対応付けられた発話内容の発話を行うように前記ロボットへ指示し、
    　前記ロボットは、
    　前記発話制御部から指示された発話内容が示す音声を出力する音声出力部を有する情報処理システム。
  8. 　情報処理システムにおける情報処理方法であって、
    　カメラが撮像した画像に含まれる人物に関する人物情報を解析する処理と、
    　前記人物情報と当該情報処理システムが設置された環境を示す環境情報とを記憶するデータベースから前記人物情報と前記環境情報とを読み出す処理と、
    　前記読み出した人物情報と環境情報との組み合わせについての第１のスコアが最も大きな値の前記第１のスコアと対応付けられた発話内容の発話を行う処理と、
    　前記行った発話の結果を示す結果情報に基づいて学習を行い、前記第１のスコアを更新する処理とを行う情報処理方法。
     
PCT/JP2019/007075 2019-02-25 2019-02-25 情報処理システムおよび情報処理方法 WO2020174537A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020217002686A KR20210027396A (ko) 2019-02-25 2019-02-25 정보 처리 시스템 및 정보 처리 방법
PCT/JP2019/007075 WO2020174537A1 (ja) 2019-02-25 2019-02-25 情報処理システムおよび情報処理方法
CN201980052330.6A CN112585642A (zh) 2019-02-25 2019-02-25 信息处理系统和信息处理方法
JP2019536236A JP6667766B1 (ja) 2019-02-25 2019-02-25 情報処理システムおよび情報処理方法
EP19916903.8A EP3806022A4 (en) 2019-02-25 2019-02-25 INFORMATION PROCESSING SYSTEM AND INFORMATION PROCESSING PROCEDURES
US17/257,425 US20210402611A1 (en) 2019-02-25 2019-02-25 Information processing system and information processing method
TW108134405A TWI717030B (zh) 2019-02-25 2019-09-24 資訊處理系統及資訊處理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/007075 WO2020174537A1 (ja) 2019-02-25 2019-02-25 情報処理システムおよび情報処理方法

Publications (1)

Publication Number Publication Date
WO2020174537A1 true WO2020174537A1 (ja) 2020-09-03

Family

ID=70000623

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/007075 WO2020174537A1 (ja) 2019-02-25 2019-02-25 情報処理システムおよび情報処理方法

Country Status (7)

Country Link
US (1) US20210402611A1 (ja)
EP (1) EP3806022A4 (ja)
JP (1) JP6667766B1 (ja)
KR (1) KR20210027396A (ja)
CN (1) CN112585642A (ja)
TW (1) TWI717030B (ja)
WO (1) WO2020174537A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11645498B2 (en) * 2019-09-25 2023-05-09 International Business Machines Corporation Semi-supervised reinforcement learning
DE102022121132A1 (de) 2022-08-22 2024-02-22 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Entwicklung eines technischen Bauteils

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006012171A (ja) * 2004-06-24 2006-01-12 Hitachi Ltd 生体認識を用いたレビュー管理システム及び管理方法
WO2016194173A1 (ja) * 2015-06-03 2016-12-08 株式会社日立システムズ サポート支援システムおよびサポート支援方法ならびにサポート支援プログラム
JP2018027613A (ja) * 2016-08-10 2018-02-22 パナソニックＩｐマネジメント株式会社 接客装置、接客方法及び接客システム
JP2018084998A (ja) 2016-11-24 2018-05-31 田嶋　雅美 接客システム及び接客方法
JP2019018265A (ja) * 2017-07-13 2019-02-07 田嶋　雅美 接客サービスシステム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7319780B2 (en) * 2002-11-25 2008-01-15 Eastman Kodak Company Imaging method and system for health monitoring and personal security
JP2005157494A (ja) * 2003-11-20 2005-06-16 Aruze Corp 会話制御装置及び会話制御方法
US7949529B2 (en) * 2005-08-29 2011-05-24 Voicebox Technologies, Inc. Mobile systems and methods of supporting natural language human-machine interactions
US8793119B2 (en) * 2009-07-13 2014-07-29 At&T Intellectual Property I, L.P. System and method for generating manually designed and automatically optimized spoken dialog systems
JP2011186351A (ja) * 2010-03-11 2011-09-22 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
US9956687B2 (en) * 2013-03-04 2018-05-01 Microsoft Technology Licensing, Llc Adapting robot behavior based upon human-robot interaction
JP5704279B1 (ja) * 2014-10-14 2015-04-22 富士ゼロックス株式会社 関連付プログラム及び情報処理装置
US9818126B1 (en) * 2016-04-20 2017-11-14 Deep Labs Inc. Systems and methods for sensor data analysis through machine learning
JP2018067100A (ja) * 2016-10-18 2018-04-26 株式会社日立製作所 ロボット対話システム
US10289076B2 (en) * 2016-11-15 2019-05-14 Roborus Co., Ltd. Concierge robot system, concierge service method, and concierge robot
JP6642401B2 (ja) * 2016-12-09 2020-02-05 トヨタ自動車株式会社 情報提供システム
US11170768B2 (en) * 2017-04-17 2021-11-09 Samsung Electronics Co., Ltd Device for performing task corresponding to user utterance

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006012171A (ja) * 2004-06-24 2006-01-12 Hitachi Ltd 生体認識を用いたレビュー管理システム及び管理方法
WO2016194173A1 (ja) * 2015-06-03 2016-12-08 株式会社日立システムズ サポート支援システムおよびサポート支援方法ならびにサポート支援プログラム
JP2018027613A (ja) * 2016-08-10 2018-02-22 パナソニックＩｐマネジメント株式会社 接客装置、接客方法及び接客システム
JP2018084998A (ja) 2016-11-24 2018-05-31 田嶋　雅美 接客システム及び接客方法
JP2019018265A (ja) * 2017-07-13 2019-02-07 田嶋　雅美 接客サービスシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3806022A4

Also Published As

Publication number Publication date
EP3806022A1 (en) 2021-04-14
CN112585642A (zh) 2021-03-30
EP3806022A4 (en) 2022-01-12
TW202032491A (zh) 2020-09-01
JP6667766B1 (ja) 2020-03-18
KR20210027396A (ko) 2021-03-10
JPWO2020174537A1 (ja) 2021-03-11
TWI717030B (zh) 2021-01-21
US20210402611A1 (en) 2021-12-30

Similar Documents

Publication Publication Date Title
US11089985B2 (en) Systems and methods for using mobile and wearable video capture and feedback plat-forms for therapy of mental disorders
CN110249360B (zh) 用于推荐产品的装置和方法
CN110447232B (zh) 用于确定用户情绪的电子设备及其控制方法
US20190236361A1 (en) Systems and methods for using persistent, passive, electronic information capturing devices
US11954150B2 (en) Electronic device and method for controlling the electronic device thereof
CN110249304A (zh) 电子设备的视觉智能管理
EP3820369B1 (en) Electronic device and method of obtaining emotion information
US20030039379A1 (en) Method and apparatus for automatically assessing interest in a displayed product
JP7151959B2 (ja) 映像アライメント方法及びその装置
JP7057077B2 (ja) 購買支援システム
CN109933782A (zh) 用户情绪预测方法和装置
WO2020174537A1 (ja) 情報処理システムおよび情報処理方法
KR20190076870A (ko) 연락처 정보를 추천하는 방법 및 디바이스
JP2020091736A (ja) プログラム、情報処理装置及び情報処理方法
KR102586170B1 (ko) 전자 장치 및 이의 검색 결과 제공 방법
JP2019045978A (ja) 対話制御装置、学習装置、対話制御方法、学習方法、制御プログラム、および、記録媒体
JP5910249B2 (ja) インタラクション装置およびインタラクション制御プログラム
CN106951433A (zh) 一种检索方法及装置
JP2020091824A (ja) プログラム、情報処理装置及び情報処理方法
KR102290855B1 (ko) 디지털 사이니지 시스템
JP6972526B2 (ja) コンテンツ提供装置、コンテンツ提供方法、及びプログラム
WO2021095473A1 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
Siqueira An adaptive neural approach based on ensemble and multitask learning for affect recognition
KR20200069251A (ko) 대화형 게임을 제공하는 전자 장치 및 그 동작 방법
KR102643720B1 (ko) 로봇용 인공지능 인터페이스 시스템

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019536236

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19916903

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20217002686

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2019916903

Country of ref document: EP

Effective date: 20210106

NENP Non-entry into the national phase

Ref country code: DE