JP6667766B1 - 情報処理システムおよび情報処理方法 - Google Patents

情報処理システムおよび情報処理方法 Download PDF

Info

Publication number
JP6667766B1
JP6667766B1 JP2019536236A JP2019536236A JP6667766B1 JP 6667766 B1 JP6667766 B1 JP 6667766B1 JP 2019536236 A JP2019536236 A JP 2019536236A JP 2019536236 A JP2019536236 A JP 2019536236A JP 6667766 B1 JP6667766 B1 JP 6667766B1
Authority
JP
Japan
Prior art keywords
information
utterance
unit
person
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019536236A
Other languages
English (en)
Other versions
JPWO2020174537A1 (ja
Inventor
修一 廣屋
修一 廣屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qbit Robotics
Original Assignee
Qbit Robotics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qbit Robotics filed Critical Qbit Robotics
Application granted granted Critical
Publication of JP6667766B1 publication Critical patent/JP6667766B1/ja
Publication of JPWO2020174537A1 publication Critical patent/JPWO2020174537A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services
    • G06Q30/015—Providing customer assistance, e.g. assisting a customer within a business location or via helpdesk
    • G06Q30/016—After-sales

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Manipulator (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

撮像部（１１０）が撮像した画像に含まれる人物に関する人物情報を解析する解析部（１２０）と、人物情報と当該情報処理システムが設置された環境を示す環境情報とを記憶するデータベース（１３０）と、人物情報と環境情報とに応じた発話内容の発話を行う発話部（１４０）と、人物情報と環境情報との組み合わせごとに発話内容に応じた第１のスコアを、発話部（１４０）が行った発話の結果を示す結果情報に基づいて学習を行って更新する強化学習部（１５０）とを有し、発話部（１４０）は、組み合わせについて第１のスコアが最も大きな値の第１のスコアと対応付けられた発話内容の発話を行う。

Description

本発明は、情報処理システムおよび情報処理方法に関する。
近年、労働力不足・人手不足を解消するために、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ：人工知能）を用いて適切な処理を行うシステムが多く見られるようになってきている。例えば、接客を行うロボットが撮影した画像を解析して客の要望を把握して接客アクションを実行するシステムが考えられている（例えば、特許文献１参照。）。
特開２０１８−８４９９８号公報
上述したような技術においては、ロボットは、客に対して一定の接客動作のみを行い、その動作への客の反応からその客の要望を把握する。そのため、客やその状況に応じた動作を行うことができず、柔軟な接客を行うことができないという問題点がある。
本発明の目的は、柔軟な接客を行うことができる情報処理システムおよび情報処理方法を提供することにある。
本発明の情報処理システムは、
撮像部と、
前記撮像部が撮像した画像に含まれる人物に関する人物情報を解析する解析部と、
前記人物情報と当該情報処理システムが設置された環境を示す環境情報とを記憶するデータベースと、
前記人物情報と前記環境情報とに応じた発話内容の発話を行う発話部と、
前記データベースから前記人物情報と前記環境情報とを読み出し、該読み出した人物情報と環境情報との組み合わせごとに前記発話内容に応じた第１のスコアを、前記発話部が行った発話の結果を示す結果情報に基づいて学習を行って更新する強化学習部とを有し、
前記発話部は、前記組み合わせについて前記第１のスコアが最も大きな値の前記第１のスコアと対応付けられた発話内容の発話を行う。
また、カメラと、ロボットと、情報処理装置とを有し、
前記情報処理装置は、
前記カメラが撮像した画像に含まれる人物に関する人物情報を解析する解析部と、
前記人物情報と当該情報処理システムが設置された環境を示す環境情報とを記憶するデータベースと、
前記人物情報と前記環境情報とに応じた発話内容の発話を行うように前記ロボットへ指示する発話制御部と、
前記データベースから前記人物情報と前記環境情報とを読み出し、該読み出した人物情報と環境情報との組み合わせごとに前記発話内容に応じた第１のスコアを、前記発話制御部が指示した発話の結果を示す結果情報に基づいて学習を行って更新する強化学習部とを有し、
前記発話制御部は、前記組み合わせについて前記第１のスコアが最も大きな値の前記第１のスコアと対応付けられた発話内容の発話を行うように前記ロボットへ指示し、
前記ロボットは、
前記発話制御部から指示された発話内容が示す音声を出力する音声出力部を有する。
また、本発明の情報処理方法は、
情報処理システムにおける情報処理方法であって、
カメラが撮像した画像に含まれる人物に関する人物情報を解析する処理と、
前記人物情報と当該情報処理システムが設置された環境を示す環境情報とを記憶するデータベースから前記人物情報と前記環境情報とを読み出す処理と、
前記読み出した人物情報と環境情報との組み合わせについての第１のスコアが最も大きな値の前記第１のスコアと対応付けられた発話内容の発話を行う処理と、
前記行った発話の結果を示す結果情報に基づいて学習を行い、前記第１のスコアを更新する処理とを行う。
本発明においては、柔軟な接客を行うことができる。
本発明の情報処理システムの第１の実施の形態を示す図である。 図１に示した強化学習部が有するスコアの一例を示す図である。 図１に示した強化学習部において行われる強化学習の入出力の一例を示す図である。 図１に示した情報処理システムにおける情報処理方法の一例を説明するためのフローチャートである。 本発明の情報処理システムの第２の実施の形態を示す図である。 図５に示したカメラが撮像した人物の位置を特定する処理の一例を説明するための図である。 図５に示した実行タスク選択部１７１が参照する、データベース内に記憶された人物情報と環境情報との組み合わせから把握できる事象と実行タスクとの対応付けの一例を示す図である。 図５に示した情報処理システムにおけるソフトウェア構成の一例を示す図である。 図８に示した人位置・表情・関係・属性データベースに記憶されている対応付けの一例を示す図である。 図８に示した発話データの種類と発話データにより向上させたい指標との一例を示す図である。 図８に示した発話データとして登録されている情報の一例を示す図である。 図８に示した発話データとして登録されている情報の一例を示す図である。 図５に示した情報処理システムにおける情報処理方法の一例を説明するためにフローチャートである。
以下に、本発明の実施の形態について図面を参照して説明する。
（第１の実施の形態）
図１は、本発明の情報処理システムの第１の実施の形態を示す図である。本形態における情報処理システムは図１に示すように、撮像部１１０と、解析部１２０と、データベース１３０と、発話部１４０と、強化学習部１５０とを有する。
撮像部１１０は、対象となる人物の撮像を行う。
解析部１２０は、撮像部１１０が撮像した画像に含まれる人物に関する人物情報を解析する。
データベース１３０は、人物情報と情報処理システムが設置された環境を示す環境情報とを記憶する。
人物情報は、撮像部１１０が撮像した画像に含まれる人物に関する情報であって、例えば、撮像部１１０が撮像した画像に含まれる人物の位置や、性別、年齢層、表情（例えば、笑顔、驚いた顔、悲しい顔、怒った顔等）、身長、服装、人種、人と人との間柄等である。また、人物情報には、撮像部１１０が撮像した画像に含まれる人物が使用している言語を示す使用言語や、その人物が注文した内容を示す注文内容も含まれる。使用言語は、撮像部１１０の近くに設置されたマイク等の集音部材（不図示）を用いて集音した音声に基づいて、解析部１２０が解析した情報である。また、注文内容は、注文を行うための入力部（不図示）が受け付けた注文の内容である。また、人物情報は、撮像部１１０が撮像した画像に含まれる人物がそれまでに登録されている顧客であることが認証（特定）されれば、その顧客に付与されている個人識別情報（例えば、顧客ＩＤ番号等）であっても良い。個人識別情報が登録されている場合、その個人識別情報から特定される顧客の過去の注文内容（注文商品や注文回数等）も人物情報に含まれる。
環境情報は、人物の数、現在の日にち、時間帯、気候、本システムの稼働状況（処理負荷状況）、立地区分、注文残数および注文処理状態等に基づいて判定される店舗状態等を示す情報である。環境情報は、上述した情報の少なくとも１つであっても良い。本システムの稼働状況とは、例えば、「顧客から商品の注文が入った」や、「調理が混雑している」、「店舗周辺に人が見えない」、「調理中である」、「注文残数がゼロである」、「調理を行うロボットが商品を提供位置に置いた」等、そのシステムが現在どのような状態であるかを示す情報である。
発話内容は、発話部１４０が行う発話の具体的なフレーズを示すものである。発話内容は、発話部１４０周辺へ発話する内容、撮像部１１０が撮像した画像に含まれる人物へ話しかける内容等を示す。例えば、発話内容は、集客を目的とした呼び込みの内容や、周辺の人物の注意を惹くような内容、商品を注文した客に対して追加の注文を促す内容、独り言、時事ネタ、商品の説明等、一般の店舗の店員がその状況に応じて行う発話の内容と同様のものである。
スコアは、発話部１４０が行った発話の結果を示す結果情報に基づいて、強化学習部１５０が学習を行った値（第１のスコア）である。このスコアは、強化学習部１５０が強化学習を行うことで強化学習部１５０によって更新されていく。ここで、結果情報とは、発話部１４０が発話を行った後の、顧客の反応、売上内容や売上額の変動を示す売上情報等であり、それらのうち少なくとも１つを含む情報である。顧客の反応は、撮像部１１０が撮像した画像に含まれる人物に関する表情の変化等を解析部１２０が解析して取得する。
発話部１４０は、人物情報と環境情報とに応じた発話内容の発話を行う。発話部１４０は、人物情報と環境情報とに応じた人物情報と環境情報との組み合わせについて第１のスコアが最も大きな値の第１のスコアと対応付けられた発話内容の発話を行う。
強化学習部１５０は、データベース１３０から人物情報と環境情報とを読み出す。強化学習部１５０は、読み出した人物情報と環境情報との組み合わせである組み合わせごとに発話内容に応じた第１のスコアを、発話部１４０が行った発話の結果を示す結果情報に基づいて学習を行って更新する。
図２は、図１に示した強化学習部１５０が有するスコアの一例を示す図である。図１に示した強化学習部１５０は図２に示すように、環境情報のうちのシステムの稼動状況に応じた起動タスクが設定されており、起動されたタスクに応じた発話カテゴリおよびその発話カテゴリに含まれる発話内容に応じたスコアを、人物情報と環境情報との組み合わせごとに有している。図２においては、人物情報を「ａ１」、「ａ２」、「ｂ１」、「ｂ２」、「ｂ３」として示している。図２において、環境情報を「ｃ１」、「ｃ２」、「ｄ１」として示している。また、図２において、発話カテゴリを「Ｃａｔ１」、「Ｃａｔ２」として示している。また、図２において、発話カテゴリ「Ｃａｔ１」に対応する発話内容を「Ｃｏｎ１１」、「Ｃｏｎ１２」、「Ｃｏｎ１３」として示している。また、図２において、発話カテゴリ「Ｃａｔ２」に対応する発話内容を「Ｃｏｎ２１」、「Ｃｏｎ２２」、「Ｃｏｎ２３」として示している。なお、図２において、人物情報「ａ」を性別とすると、「ａ１」を男性、「ａ２」を女性とすることができる。他の人物情報や、環境情報についても同様である。
図３は、図１に示した強化学習部１５０において行われる強化学習の入出力の一例を示す図である。図１に示した強化学習部１５０は図３に示すように、報酬計算部１５０１と、更新部１５０２と、価値関数計算部１５０３とを有する。強化学習部１５０は、発話を行った結果、その結果情報や、発話後の売上データ（商品や数量、金額等）等に基づいて、強化学習を行って報酬を計算し、更新を行って、価値関数計算部１５０３に入力する。その後、人物情報と環境情報とに基づいて、各発話内容の価値（スコア）を出力する。価値関数計算部１５０３は、ニューラルネットワークを用いて実現できるが、価値関数計算部１５０３が行う解析方法については特に規定しない。
以下に、図１に示した情報処理システムにおける情報処理方法について説明する。図４は、図１に示した情報処理システムにおける情報処理方法の一例を説明するためのフローチャートである。
まず、撮像部１１０が撮像を行うと（ステップＳ１）、解析部１２０が、撮像部１１０が撮像した画像に含まれる人物に関する人物情報を解析する（ステップＳ２）。解析部１２０は、解析した結果をデータベース１３０に書き込む。すると、強化学習部１５０は、データベース１３０から人物情報を読み出し、読み出した人物情報と環境情報と発話内容とに基づいて、発話内容の適正を計算する。続いて、発話部１４０は、最も適した発話内容を選択する（ステップＳ３）。具体的には、発話部１４０は、データベース１３０に格納された人物情報と環境情報との組み合わせについて、スコアが最大値のスコアと対応付けられた発話内容を選択する。発話部１４０は、選択した発話内容の発話を行う（ステップＳ４）。強化学習部１５０は、発話部１４０が行った発話の後の結果情報に基づいて学習を行い、スコアを更新する（ステップＳ５）。
ここで、学習を行う前のスコアについては、すべて互いに同じ値を記憶させておいても良いし、人物情報と環境情報との組み合わせに対する発話内容の効果の予測に応じてあらかじめ設定された値を記憶させておいても良い。
このように、本形態においては、撮像した人物や環境に応じた発話を行い、その結果に基づいて学習し、それを用いて発話内容のスコアを更新していく。そのため、柔軟な接客を行うことができる。
（第２の実施の形態）
図５は、本発明の情報処理システムの第２の実施の形態を示す図である。本形態における情報処理システムは図５に示すように、カメラ１１１と、情報処理装置１０１と、ロボット２０１とを有する。図５に示した情報処理システムは、例えば、コーヒーや軽食等の飲食物を提供する店舗に設置され、ロボット２０１が接客を行うものである。カメラ１１１は、当該店舗の周囲を撮像し、撮像した画像に含まれる人物を顧客候補や顧客として、ロボット２０１が発話や動作を行う。
カメラ１１１は、対象となる人物の撮像を行う撮像部である。カメラ１１１は、静止画を撮像するものであっても、動画を撮像するものであっても、奥行き情報を取得できる深度センサ内蔵のカメラでも良い。また、カメラ１１１が撮像を行うタイミングは、特に規定しない。また、カメラ１１１は、撮像した画像に基づいて、商品を提供する位置に対する、客が存在する位置の相対位置が認識できる位置に設置されている。また、カメラ１１１の台数は１台に限らない。また、カメラ１１１は、外部からの制御に基づいて撮像方向を自在に変えられるものであっても良い。
情報処理装置１０１は、カメラ１１１およびロボット２０１と接続され、カメラ１１１およびロボット２０１を制御する装置である。例えば、情報処理装置１０１は、ソフトウェアを実行可能なＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）であっても良い。
ロボット２０１は、情報処理装置１０１からの指示に基づいて、所定の音声を出力したり、所定の動作を行ったりする。ロボット２０１は、所定の動作として、例えば、調理やダンスを行うことができる。
図５に示すように情報処理装置１０１は、解析部１２１と、データベース１３１と、発話制御部１４１と、発話系強化学習部１５１１と、動作制御部１６１と、動作系強化学習部１５１２と、実行タスク１９１と、実行タスク選択部１７１と、入力部１８１とを有する。なお、図５には、情報処理装置１０１が具備する構成要素のうち、本形態に関わる主要な構成要素のみを示した。
解析部１２１は、カメラ１１１が撮像した画像に含まれる人物に関する人物情報を解析する。ここで人物情報とは、第１の実施の形態と同様に、例えば、人物の位置や、性別、年齢層、表情、身長、服装、人種、使用言語、人と人との間柄、注文内容等である。解析部１２１がこのような人物情報のうち画像からその人物を解析するためには、画像認識に一般的に用いられている画像認識方法を用いれば良く、その解析方法については特に規定しない。また、人物情報は、カメラ１１１が撮像した画像に含まれる人物がそれまでに登録されている顧客であることが認証（特定）されれば、その顧客に付与されている個人識別情報（例えば、顧客ＩＤ番号等）であっても良い。個人識別情報が登録されている場合、その個人識別情報から特定される顧客の過去の注文内容（注文商品や注文回数等）も人物情報に含まれる。また、解析部１２１は、カメラ１１１が設置された位置と、カメラ１１１が撮像した人物の位置とに基づいて、商品を提供する位置に対する、客が存在する位置の相対位置等を算出する。また、解析部１２１は、注文時に客が注文を入力するための注文端末の前に位置する人物を注文者として認識する。
データベース１３１は、人物情報と情報処理システムの環境を示す環境情報とを記憶する。また、データベース１３１は、タスク発火条件に応じて実行タスク選択部１７１が選択する実行タスク情報を記憶する。記憶されている情報の具体例については後述する。
実行タスク選択部１７１は、タスク発火条件に基づいて、情報処理装置１０１が実行するタスクを複数の実行タスク１９１の中から選択して起動する。
発話系強化学習部１５１１は、選択されて起動した実行タスク１９１に応じた発話カテゴリおよびその発話カテゴリに含まれる発話内容に応じたスコアの更新および制御を行う。発話系強化学習部１５１１は、データベース１３１から読み出した人物情報と環境情報との組み合わせごとに発話内容に応じたスコアを、音声出力部２１１が出力した発話の結果を示す結果情報に基づいて学習を行って更新する。音声出力部２１１が行った発話の結果を示す結果情報を収集し、収集した結果情報に基づいて学習を行い、スコアを更新する。ここで行う学習については、第１の実施の形態と同様である。また、ここでのスコアは、音声出力部２１１が行った発話の結果を示す結果情報に基づいて学習を行った値（第１のスコア）である。このスコアは、強化学習を行うことで発話系強化学習部１５１１によって更新されていく。ここで、結果情報とは、音声出力部２１１が発話を行った後の、顧客の反応（例えば、笑顔率等）、売上内容や売上額の変動を示す売上情報（例えば、Ｕｐｓｅｌｌ率や売上向上率等）等であり、それらのうちの少なくとも１つを含む情報である。この売上情報は、入力部１８１への入力に基づいて販売した商品の売上の内容を示すものであっても良い。なお、上述した顧客の反応は、カメラ１１１が撮像した画像に含まれる人物に関する人物情報に基づいて解析部１２１が解析して取得する。
動作系強化学習部１５１２は、選択されて起動した実行タスク１９１に応じた動作カテゴリおよびその動作カテゴリに含まれる動作情報に応じたスコアの更新および制御を行う。また、動作系強化学習部１５１２は、データベース１３１から読み出した人物情報と環境情報との組み合わせごとに動作情報に応じたスコアを、動作実行部２２１が行った動作の結果を示す結果情報に基づいて学習を行って更新する。動作系強化学習部１５１２は、動作実行部２２１が行った動作の結果を示す結果情報に基づいて学習を行い、スコアを更新する。ここでのスコアは、動作実行部２２１が行った動作の結果を示す結果情報に基づいて学習を行った値（第２のスコア）である。このスコアは、強化学習を行うことで動作系強化学習部１５１２によって更新されていく。ここで、結果情報とは、動作実行部２２１が動作を行った後の、顧客の反応（例えば、笑顔率等）、売上内容や売上額の変動を示す売上情報（例えば、Ｕｐｓｅｌｌ率や売上向上率等）等であり、それらのうちの少なくとも１つを含む情報である。なお、上述した顧客の反応は、カメラ１１１が撮像した画像に含まれる人物に関する人物情報に基づいて解析部１２１が解析して取得する。
発話制御部１４１は、複数の実行タスク１９１のうちの所定の実行タスクが起動した場合、発話系強化学習部１５１１が出力した第１のスコアのうち、最も大きな値の第１のスコアと対応付けられた発話内容の発話を行うように、ロボット２０１が有する音声出力部２１１へ指示する。
動作制御部１６１は、複数の実行タスク１９１のうちの所定の実行タスクが起動した場合、動作系強化学習部１５１２が出力した第２のスコアのうち、最も大きな値の第２のスコアと対応付けられた動作情報が示す動作を行うように、ロボット２０１が有する動作実行部２２１へ指示する。
入力部１８１は、情報を入力する。入力部１８１は、外部から受け付けた操作に基づいて情報を入力するものであっても良いし、情報処理装置１０１の内部や外部で算出した数値を入力するものであっても良い。入力部１８１は、注文に用いられるものであっても良く、この場合、外部から受け付けた操作に基づいて注文された商品を入力する。
図５に示すようにロボット２０１は、音声出力部２１１と、動作実行部２２１とを有する。なお、図５には、ロボット２０１が具備する構成要素のうち、本形態に関わる主要な構成要素のみを示した。
音声出力部２１１は、発話制御部１４１からの指示に基づいて、音声を出力する。音声出力部２１１は、一般的なスピーカーであっても良い。音声出力部２１１は、ロボット２０１が恰も話をしているかのように出力された音声が外部に聞こえる位置に取り付けられることが好ましい。なお、音声出力部２１１の数は１つとは限らず、ロボット２０１内ではない位置に設置されていても良い。動作実行部２２１は、動作制御部１６１からの指示に基づいて、動作を行う。動作実行部２２１は、例えば、ロボット２０１のモーター等を用いて動作するアーム部分であっても良い。なお、本形態においては、発話制御部１４１と音声出力部２１１とを併せて発話部とし、動作制御部１６１と動作実行部２２１とを併せて動作部とする。
なお、本形態における、人物情報、環境情報および発話内容は、第１の実施の形態で説明したものと同じもので良い。動作情報は、調理を行う、ダンスを行う等、所定の動作を行うための情報である。
以下に、カメラが撮像した人物（顧客）の位置を特定する処理について説明する。図６は、図５に示したカメラ１１１が撮像した人物の位置を特定する処理の一例を説明するための図である。図６に示すように、例えば、店舗にカメラ１１１−１〜１１１−３が設置されており、それぞれのカメラ１１１−１〜１１１−３が撮像した画像に基づいて、解析部１２１が人物の位置を特定する。解析部１２１は、カメラ１１１−１が撮像した画像に含まれる人物であって、カメラ１１１−１から見て特定の領域内に存在する人物は、領域１（Ｚｏｎｅ１）に位置すると特定する。また、解析部１２１は、カメラ１１１−２が撮像した画像に含まれる人物であって、カメラ１１１−２から見て特定の領域内に存在する人物は、領域２（Ｚｏｎｅ２）に位置すると特定する。また、解析部１２１は、カメラ１１１−３が撮像した画像に含まれる人物であって、カメラ１１１−３から見て特定の領域内に存在する人物は、領域３（Ｚｏｎｅ３）に位置すると特定する。また、解析部１２１は、カメラ１１１−１〜１１１−３のいずれかが撮像した画像に含まれる人物であって、その画像を撮像したいずれかのカメラ１１１−１〜１１１−３から遠くの領域内に存在する人物は、領域０（Ｚｏｎｅ０）に位置すると特定する。ただし、このように人物の位置を特定するために複数のカメラを用いることに限定せず、１台のカメラを用いて、そのカメラが撮像した画像に基づいて、人物が領域０〜３（Ｚｏｎｅ０〜３）のどこに存在するのかを判定するものであっても良い。また、これらの領域０〜３（Ｚｏｎｅ０〜３）を以下のように定義する。
Ｚｏｎｅ０：店舗周辺の領域。通り過ぎる客と興味がある客とが混在している。
Ｚｏｎｅ１：注文場所。商品を注文する注文客が多い。
Ｚｏｎｅ２：店舗隣接の領域。注文後、商品の出来上がりを待つ客が多い。
Ｚｏｎｅ３：商品の提供場所。出来上がった商品を持ち去る客が多い。
これらの領域を定義し、定義した領域とアクション（発話、動作）との対応付けをデータベース１３１にあらかじめ登録しておく。例えば、Ｚｏｎｅ０と店舗への呼び込みを行う発話内容とを対応付けておくことで、Ｚｏｎｅ０に存在する人物に対しては、店舗へ呼び込むための発話や集客のための動作を行うというアクションを取ることを決定することができる。また、例えば、Ｚｏｎｅ１と注文する商品を尋ねる発話内容とを対応付けておくことで、Ｚｏｎｅ１に存在する人物に対しては、注文する商品を尋ねるための発話や動作を行うというアクションを取ることができる。このように、対象となる人物に対して、その領域に応じた適当なアクションを準備することができる。なお、それぞれの領域の境界は、４頂点座標等を用いて特定する。なお、カメラ１１１−１〜１１１−３とＺｏｎｅ０〜Ｚｏｎｅ３とを必ずしも対応付けておく必要はない。例えば、カメラ１１１−２とカメラ１１１−３とがＺｏｎｅ２に存在する客を撮像して、２つのカメラで撮像した客の位置等の人物情報を解析するものであっても良い。
図７は、図５に示した実行タスク選択部１７１が参照する、データベース１３１内に記憶された人物情報と環境情報との組み合わせから把握できる事象と実行タスクとの対応付けの一例を示す図である。この対応付けは、図５に示したデータベース１３１にあらかじめ記憶されていても良い。図７に示すように、人物の位置や、システムの稼働状況を示す環境情報に応じて、各タスクが対応付けられている。
例えば、「注文が入る」という事象に対して、調理タスクが対応付けられている。この対応付けを用いることで、実行タスク選択部１７１は、そのときの事象が「注文が入る」である場合、調理タスクを選択する。さらに調理タスクには、詳細な発話内容や動作情報が対応付けられており、調理タスクを実行した際に、ロボット２０１は調理を行い、これらの発話内容や動作情報に従ったアクションが行われる。このときの発話内容は、例えば、笑顔率向上のための発話や、Ｒｅｐｅａｔ率向上の発話を行うためのものである。これらの発話内容は、データベース１３１にあらかじめ記憶されている。
また、「人物が特定領域に入る」および「そこが注文領域」という事象に対して、注文促進タスクが対応付けられている。この対応付けを用いることで、実行タスク選択部１７１は、そのときの事象が「人物が特定領域に入る」および「そこが注文領域」である場合、注文促進タスクを選択する。「そこが注文領域」であるかどうかは、人物の位置を示す情報を用いて解析部１２１が判定する。例えば、図６に示したＺｏｎｅ１に人物が入っていれば、「そこが注文領域」であると解析部１２１が判定する。さらに注文促進タスクには、詳細な発話内容や動作情報が対応付けられており、注文促進タスクを実行した際に、これらの発話内容や動作情報に従ったアクションが行われる。このときの発話内容は、例えば、商品を注文させるための発話や、他の商品の注文を勧めるための発話を行うためのものである。これらの発話内容は、データベース１３１にあらかじめ記憶されている。
また、「人物が特定領域に入る」および「そこが注文領域以外」という事象に対して、顧客満足度向上タスクが対応付けられている。この対応付けを用いることで、実行タスク選択部１７１は、そのときの事象が「人物が特定領域に入る」および「そこが注文領域以外」である場合、顧客満足度向上タスクを選択する。「そこが注文領域以外」であるかどうかは、人物の位置を示す情報を用いて解析部１２１が判定する。例えば、図６に示したＺｏｎｅ２，３に人物が入っていれば、「そこが注文領域以外」であると解析部１２１が判定する。さらに顧客満足度向上タスクには、詳細な発話内容や動作情報が対応付けられており、顧客満足度向上タスクを実行した際に、これらの発話内容や動作情報に従ったアクションが行われる。このときの発話内容は、例えば、笑顔率向上のための発話や、Ｒｅｐｅａｔ率向上の発話を行うためのものである。これらの発話内容は、データベース１３１にあらかじめ記憶されている。
また、「注文残数がゼロになった」および「周りに人がいないか反応率の高い人がいない」という事象に対して、集客タスクが対応付けられている。この対応付けを用いることで、実行タスク選択部１７１は、そのときの事象が「注文残数がゼロになった」および「周りに人がいないか反応率の高い人がいない」である場合、集客タスクを選択する。「注文残数がゼロになった」かどうかは、環境情報のうちのシステムの稼働状況を示す情報を用いて解析部１２１が判定する。また、「周りに人がいないか」どうかは、例えば、図６に示したＺｏｎｅ０〜３に人物が入っていないかどうかに基づいて、解析部１２１が判定する。「反応率の高い人がいない」かどうかは、Ｚｏｎｅ０〜３に人物が入っているが、その人物の表情や動きが商品の注文に関心の無い表情や動きがないかどうかに基づいて、解析部１２１が判定する。さらに集客タスクには、詳細な発話内容や動作情報が対応付けられており、集客タスクを実行した際に、これらの発話内容や動作情報に従ったアクションが行われる。このときの動作情報は、例えば、派手な集客用ロボット動作を音楽に合わせて実行するための情報である。この動作情報は、データベース１３１にあらかじめ記憶されている。
また、「注文残数がゼロになった」および「周りに反応率の高い人がいる」という事象に対して、ピンポイント呼び込みタスクが対応付けられている。この対応付けを用いることで、実行タスク選択部１７１は、そのときの事象が「注文残数がゼロになった」および「周りに反応率の高い人がいる」である場合、ピンポイント呼び込みタスクを選択する。「注文残数がゼロになった」かどうかは、環境情報のうちのシステムの稼働状況を示す情報を用いて解析部１２１が判定する。また、「周りに反応率の高い人がいる」という事象は、例えば、図６に示したＺｏｎｅ０〜３に人物が入っていて、かつ解析部１２１が解析したその人物の表情や動きが、商品の注文に関心のある表情や動きである場合に解析部１２１が判定する。さらにピンポイント呼び込みタスクには、詳細な発話内容や動作情報が対応付けられており、ピンポイント呼び込みタスクを実行した際に、これらの発話内容や動作情報に従ったアクションが行われる。このときの発話内容および動作情報は、例えば、特定の人を呼び込みやすい発話と動作とを実行するためのものである。この発話内容および動作情報は、データベース１３１にあらかじめ記憶されている。
また、図７に示すように、実行タスクそれぞれに優先度が付与されている。タスクに付与された優先度よりも高い優先度のタスクが選択されると、その高い優先度のタスクによって処理が割り込まれる。これは、シーケンシャルに処理を実行する際の割り込み処理と同じである。
図８は、図５に示した情報処理システムにおけるソフトウェア構成の一例を示す図である。図５に示した情報処理装置１０１は、図８に示すような構成のソフトウェアを用いてその動作を実現することができる。
画像認識部が、カメラが撮像した画像について、人認識、人位置検出および表情認識を行う。また、画像認識部は、認識した人物に関する情報を、人位置・表情・関係・属性データベースに記憶させる。ここで、関係とは、カメラが撮像した画像に含まれる複数の人物の間に持つ関係であって、例えば、親子、友人等を示す情報である。また、属性とは、人物の性別や年齢層、身長、服装、人種、使用言語等、その人物の特徴を示す情報である。この画像認識部は、図５に示した解析部１２１で実現することができる。画像認識部は、人物の位置を検出するために、エリア定義データを用いる。エリア定義データは、例えば、図６を用いて説明したものや、エリア内のそれぞれの位置に座標を定義して、カメラが撮像した画像と定義した座標とを用いたデータであっても良い。
また、利用者が注文を入力する注文端末から入力された情報を管理する注文管理部が、注文の受付、その人物（入力を行った利用者）と注文内容との紐付けおよびその注文状態の管理を行う。注文管理部は、人位置・表情・関係・属性データベースから、必要な情報を読み出したり、人位置・表情・関係・属性データベースに必要なデータを書き込んだりして、注文の管理を行う。
イベント検出部が、人位置・表情・関係・属性データベースに記憶されている人物情報および環境情報と、注文管理部が受け付けた注文とに基づいて、処理のトリガとなるイベントを検出し、実行タスクを選択・起動する処理が行われる。実行タスクが選択される際、調理タスクと、集客タスクと、注文タスクと、顧客満足度向上タスクとの間で切り替えが行われる。
また、発話系強化学習部が、人位置・表情・関係・属性データベースに記憶されている人物情報および環境情報に基づいて、状態観測、報酬計算、発話価値関数更新および発話対象者・発話内容の選定を行う。発話系強化学習部は、あらかじめ記憶されている発話データの中から、発話内容を選定する。また、発話系強化学習部は、発話系学習結果を記憶するデータベースを用いて上述した処理を行う。発話内容・対象決定部は、発話系強化学習部が選定した発話対象者・発話内容のうち、実行されるタスクに応じたものを発話内容および対象者として決定する。音声合成部は、発話内容・対象決定部が決定した発話内容を音声として合成してスピーカーへ出力する。
また、動作系強化学習部が、動作系学習結果データを用いて、状態観測、報酬計算、動作価値関数更新および動作の選定を行う。動作系強化学習部は、あらかじめ記憶されている動作データの中から、動作を選定する。動作決定部は、動作系強化学習部が選定した動作のうち、実行されるタスクに応じたものを実行する動作として決定する。動作指示部は、動作決定部が決定した動作をロボットに指示する。
図９は、図８に示した人位置・表情・関係・属性データベースに記憶されている対応付けの一例を示す図である。図９に示すように、カメラが撮像した画像に含まれる人物それぞれに人番号を付与し、その人番号ごとに各データが登録される。人位置エリア種別、人位置座標および人位置の確からしさの項目が、その人物の存在位置の関連情報である。人位置エリア種別は、図６を用いて説明したような、例えば、注文場所、商品提供場所、店舗隣接および店舗周辺といった領域である。人位置の確からしさは、カメラの位置や、カメラの特性、位置特定アルゴリズム等に基づいて算出されるものである。また、顧客ステータスは、カメラが撮像した画像に含まれる人物が、顧客であるのか、見込み客であるのか、潜在顧客であるのか、見物客であるのか、通行人であるのかを示す情報である。これは、解析部１２１が、人物の顔認証や、表情の解析、存在する位置や動きに基づいて解析した結果等である。また、他人番号との関係は、親子や、友人、恋人等、画像の中にその人物と共に含まれている人物との関係を示す情報である。顧客過去注文回数および顧客過去注文内容は、カメラが撮像した画像の中の人物について解析部１２１が解析した結果、その人物が登録済みのＩＤを持った顧客である場合、その顧客が過去に注文した回数と内容とを示す情報である。または、顧客過去注文回数および顧客過去注文内容は、その人物が会員カードをシステムに読み取らせた場合に、会員カードから読み取られた情報に基づいて取得される、その顧客が過去に注文した回数と内容とを示す情報であっても良い。これらは、注文する際にデータベースに登録されている。また、商品を注文した顧客に対して顧客ＩＤを付与しておき、注文商品や回数を登録しておけば、その顧客の好みを学習することができ、再度来店したときにお勧めの商品を案内するための発話や動作も行うことができる。
図１０は、図８に示した発話データの種類と発話データにより向上させたい指標との一例を示す図である。図１１Ａおよび図１１Ｂは、図８に示した発話データとして登録されている情報の一例を示す図である。これらの情報は、図５に示したデータベース１３１に記憶されている。発話データは、以下に示す項目から構成される。
・発話コンテンツ番号
・発話コンテンツ種別（挨拶ネタ、独り言ネタ、時事ネタ、商品会話ネタ、個人特定ネタ、顧客褒めネタ、外国人向けネタ、Ｕｐｓｅｌｌネタ）
・発話発火条件（店舗チェーン、注文商品種別、調理段階、立地区分、混雑状況、時間帯、季節、天気・気温・湿度、特別イベント、人位置エリア、顧客ステータス、他人との関係、人種・言語、性別、年齢層、表情、服装、身長）
・発話コンテンツ内容（コンテンツ内に差し替えワードを変数で記述可能）
・発話時表情
・発話時動作
特に図１０は、カメラ１１１が撮像した画像を解析部１２１が解析した結果と現在のシステムの稼働状況とに応じて、どの発話対象に対して、どのような発話を行うべきかを整理したものを示す。また、図１０には、これらの発話データが、どのような評価結果を向上させるかについても示している。評価結果とは、発話を行った結果を示すものであって、呼び込み率や、注文率、Ｕｐｓｅｌｌ率、笑顔率、Ｒｅｐｅａｔ率の変化の度合いを示すものである。例えば、ロボットが商品を提供位置に置いた状態や、顧客が提供位置から商品を持ち去った状態で、個別の人物へ語りかけを行う場合、Ｒｅｐｅａｔ率を向上させる発話を行うべきという指針を示す（図１０では、○で表記）。
さらに具体的な発話データは、図１１Ａおよび図１１Ｂに示すように、カメラ１１１が撮像した画像を解析部１２１が解析した結果と現在のシステムの稼働状況とにおいて発話すべき、複数の具体的な発話内容が記憶されている。複数の発話内容には、日本語以外に外国の言語を用いて表現されたものも記憶されており、英語や、中国語、韓国語等を用いた表現が記憶されているものであっても良い。また、複数の発話内容は、対象となる人物の様々な属性等に応じて選択できるように記憶されている。また、これらの複数の発話内容は、評価結果に応じていずれか１つが選択されるものである。つまり、評価の最も高いものが選択される。
発話を行った結果として出力される発話系学習結果データは、以下に示す項目から構成される。
・発話価値関数学習結果データ
・複数店舗でのバッチ学習のために必要なデータ（発話発火条件、発話コンテンツ番号、発話コンテンツ内容、発話コンテンツ差し替えワード、発話リアクション結果）
これらは、発話を行った後の、売上内容の変動や、対象人物の表情に基づいて強化学習されていくものである。
動作データは、以下に示す項目から構成される。
・動作コンテンツ番号
・動作種別（調理動作、集客動作、接客動作）
・動作発火条件（店舗チェーン、注文商品種別、調理段階、立地区分、混雑状況、時間帯、季節、天気・気温・湿度、特別イベント）
・動作コンテンツ内容
・音楽コンテンツ内容
・全体再生時間
・割り込み不可最大時間
・動作時表情
動作コンテンツ番号は、例えば、ロボット２０１のアームを動かすためのデータに関する番号である。動作時表情は、ロボット２０１の顔の部分に表情を表す機能（例えば、顔の画像を表示するディスプレイ）を具備していれば、そのディスプレイに表示させる顔の表情を示す情報である。動作時表情は、例えば、以下のような顔の表情を表示するものであっても良い。
・特定の人物に話しかけるような発話を行う時には眼力のある表情
・注文待ちの状態である時にはわくわくしている感じの表情
・注文を受けた時には感謝を表現する表情
・調理中はてきぱきと動いている表情
・独り言を発話する時にはニヒルな表情
・商品を渡す際に顧客を呼び出す時には癒される表情
動作を行った結果として出力される動作系学習結果データは、以下に示す項目から構成される。
・動作価値関数学習結果データ
・複数店舗でのバッチ学習のために必要なデータ（動作発火条件、動作コンテンツ番号、動作コンテンツ内容、音楽コンテンツ内容、動作リアクション結果）
これらは、動作を行った後の、売上内容の変動や、対象人物の表情に基づいて強化学習されていくものである。
以下に、図５に示した情報処理システムにおける情報処理方法について説明する。図１２は、図５に示した情報処理システムにおける情報処理方法の一例を説明するためにフローチャートである。
まず、カメラ１１１が撮像を行い、その撮像した画像を情報処理装置１０１へ送信する。すると、解析部１２１が、カメラ１１１から送信されてきた画像に含まれる人物位置を含む人物に関する人物情報を解析し、解析した人物情報をデータベース１３０に格納する（ステップＳ２１）。例えば、図６に示したような複数の領域のうち、対象人物がどの領域にいるのか、どの領域からどの領域へ移動しているのかを解析部１２１は解析する。
続いて、実行タスク選択部１７１は、データベース１３０に格納された人物情報と環境情報（タスク発火条件）とに基づいて、実行タスク１９１を選択する（ステップＳ２２）。このときの環境情報に含まれるシステムの稼動状況は、例えば、調理中である状態や、店舗が混雑している状態、注文残数がゼロになった状態、接客がゼロになった状態等を示す。図７を用いて説明したように、実行タスク選択部１７１は、実行するタスクを選択する。続いて、発話制御部１４１が、実行タスク選択部１７１が選択して起動した実行タスク１９１に従って、発話系強化学習部１５１１が出力したスコアに応じて、発話内容を選択する。このとき、発話制御部１４１は、データベース１３０に格納された人物情報と環境情報との組み合わせについて、発話系強化学習部１５１１が出力したスコアが最も大きな値のスコアの発話内容を選択する。また、動作制御部１６１が、実行タスク選択部１７１が選択して起動した実行タスク１９１に従って、動作系強化学習部１５１２が出力したスコアに応じて、動作制御部１６１が動作情報を選択する。このとき、動作制御部１６１は、データベース１３０に格納された人物情報と環境情報との組み合わせについて、動作系強化学習部１５１２が出力したスコアが最も大きな値のスコアの動作情報を選択する（ステップＳ２３）。
続いて、発話制御部１４１は、選択した発話内容を音声出力部２１１へ送信し、発話を行うように指示する。また、動作制御部１６１は、選択した動作情報を動作実行部２２１へ送信し、動作を行うように指示する。すると、音声出力部２１１は指示された発話を行い、動作実行部２２１は指示された動作を行う（ステップＳ２４）。
その後、発話および動作に応じて受けた、注文商品、売上内容、対象人物の表情等の変化に基づいて、発話系強化学習部１５１１および動作系強化学習部１５１２は強化学習を行い、スコアを更新する（ステップＳ２５）。例えば、売上額が上がった場合は、発話系強化学習部１５１１および動作系強化学習部１５１２は行った発話内容および動作情報のスコアを上げる。また、売上額が下がった場合は、発話系強化学習部１５１１および動作系強化学習部１５１２は行った発話内容および動作情報のスコアを下げる。このスコアは、強化学習においては「報酬」と呼ばれるものであっても良い。このように、発話および動作を行った時の店舗状況、顧客状況、発話対象者の属性、発話内容および動作内容を学習状態とし、発話に対する対象人物のリアクション結果、動作に対する対象人物のリアクション結果や、商品の売上の変化等に基づいて計算される報酬計算値に応じて、発話内容および動作情報に関する価値関数を更新する。これにより、効果の最も高い発話対象、発話内容および動作を強化学習する。
なお、実施される強化学習は、複数の店舗にまたがって実行されるものであっても良い。つまり、顧客のリアクションに基づいて学習された結果を、複数の店舗で共有するものであっても良い。その場合、図８に示した管理システムが、複数の店舗で学習された結果をデータ群として管理し、管理されている学習結果を複数の店舗で共有するものであっても良い。また、上述した学習の単位は、商品ごとであっても良いし、店舗ごと、立地エリアごとであっても良い。
このような画像認識の学習における、人認識、人位置検出、表情認識などは、本システムが適用された全店舗で共通学習することで、早期に学習精度が向上することが期待される。また、発話発火条件や動作発火条件に対して、効果が最も高い発話コンテンツ内容や動作・音楽コンテンツ内容を決定する強化学習においては、内容により、チェーン店、提供商品、地区を横断してバッチ学習を行うことで学習結果精度が向上することが期待される。
このように、本形態においては、カメラが撮像した画像に含まれる人物の人物情報および環境情報に応じて発話および動作を行い、その結果に基づいて学習し、それを用いて発話内容および動作情報のスコアを更新していく。つまり、撮像した人物や環境に応じて、どのような人物に対して、どのような状況のときに、どのような発話や動作を行えば効率的な接客ができるかを学習していく。そのため、柔軟な接客を行うことができる。
以上、各構成要素に各機能（処理）それぞれを分担させて説明したが、この割り当ては上述したものに限定しない。また、構成要素の構成についても、上述した形態はあくまでも例であって、これに限定しない。
１０１ 情報処理装置
１１０ 撮像部
１１１，１１１−１〜１１１−３ カメラ
１２０，１２１ 解析部
１３０，１３１ データベース
１４０ 発話部
１４１ 発話制御部
１５０ 強化学習部
１６１ 動作制御部
１７１ 実行タスク選択部
１８１ 入力部
１９１ 実行タスク
２０１ ロボット
２１１ 音声出力部
２２１ 動作実行部
１５０１ 報酬計算部
１５０２ 更新部
１５０３ 価値関数計算部
１５１１ 発話系強化学習部
１５１２ 動作系強化学習部

Claims (8)

  1. 情報処理システムであって、
    撮像部と、
    前記撮像部が撮像した画像に含まれる人物に関する人物情報を解析する解析部と、
    前記人物情報と当該情報処理システムが設置された環境を示す環境情報とを記憶するデータベースと、
    前記人物情報と前記環境情報とに応じた発話内容の発話を行う発話部と、
    前記データベースから前記人物情報と前記環境情報とを読み出し、該読み出した人物情報と環境情報との組み合わせごとに前記発話内容に応じた第１のスコアを、前記発話部が行った発話の結果を示す結果情報に基づいて学習を行って更新する強化学習部と、
    前記人物情報と、前記環境情報のうちの当該情報処理システムの稼動状況とを用いたタスク発火条件に基づいて、実行するタスクを選択して起動する実行タスク選択部とを有し、
    前記発話部は、前記実行タスク選択部が起動したタスクに従って動作し、前記組み合わせについて前記第１のスコアが最も大きな値の前記第１のスコアと対応付けられた発話内容の発話を行う情報処理システム。
  2. 情報処理システムであって、
    撮像部と、
    前記撮像部が撮像した画像に含まれる人物に関する人物情報を解析する解析部と、
    前記人物情報と当該情報処理システムが設置された環境を示す環境情報とを記憶するデータベースと、
    前記人物情報と前記環境情報とに応じた発話内容の発話を行う発話部と、
    前記データベースから前記人物情報と前記環境情報とを読み出し、該読み出した人物情報と環境情報との組み合わせごとに前記発話内容に応じた第１のスコアを、前記発話部が行った発話の結果を示す結果情報に基づいて学習を行って更新する強化学習部と、
    所定の動作を行う動作部と、
    前記環境情報のうち、当該情報処理システムの稼動状況を示すタスク発火条件に基づいて、実行するタスクを選択して起動する実行タスク選択部とを有し、
    前記データベースは、前記動作の動作内容を示す動作情報をさらに対応付けて記憶し、
    前記動作部は、前記実行タスク選択部が起動したタスクに従って動作し、前記組み合わせについて第２のスコアが最も大きな値の前記第２のスコアと対応付けられた動作情報が示す動作を行い、
    前記発話部は、前記組み合わせについて前記第１のスコアが最も大きな値の前記第１のスコアと対応付けられた発話内容の発話を行い、
    前記強化学習部は、前記動作部が行った動作の結果を示す結果情報に基づいて学習を行い、前記第２のスコアを更新する情報処理システム。
  3. 請求項１または請求項２に記載の情報処理システムにおいて、
    情報を入力する入力部を有し、
    前記結果情報は、前記発話を行った後に前記撮像部が撮像した画像に含まれる人物に関する人物情報と、前記入力部への入力に基づいて販売した商品の売上の内容を示す売上情報との少なくとも一方を含む情報処理システム。
  4. 請求項１から３のいずれか１項に記載の情報処理システムにおいて、
    前記環境情報は、前記撮像部が撮像した日時および当該情報処理システムの処理負荷状況の少なくとも１つを含む情報処理システム。
  5. カメラと、ロボットと、情報処理装置とを有する情報処理システムであって、
    前記情報処理装置は、
    前記カメラが撮像した画像に含まれる人物に関する人物情報を解析する解析部と、
    前記人物情報と当該情報処理システムが設置された環境を示す環境情報とを記憶するデータベースと、
    前記人物情報と前記環境情報とに応じた発話内容の発話を行うように前記ロボットへ指示する発話制御部と、
    前記データベースから前記人物情報と前記環境情報とを読み出し、該読み出した人物情報と環境情報との組み合わせごとに前記発話内容に応じた第１のスコアを、前記発話制御部が指示した発話の結果を示す結果情報に基づいて学習を行って更新する強化学習部と、
    前記人物情報と、前記環境情報のうちの当該情報処理システムの稼動状況とを用いたタスク発火条件に基づいて、実行するタスクを選択して起動する実行タスク選択部とを有し、
    前記発話制御部は、前記実行タスク選択部が起動したタスクに従って動作し、前記組み合わせについて前記第１のスコアが最も大きな値の前記第１のスコアと対応付けられた発話内容の発話を行うように前記ロボットへ指示し、
    前記ロボットは、
    前記発話制御部から指示された発話内容が示す音声を出力する音声出力部を有する情報処理システム。
  6. カメラと、ロボットと、情報処理装置とを有する情報処理システムであって、
    前記情報処理装置は、
    前記カメラが撮像した画像に含まれる人物に関する人物情報を解析する解析部と、
    前記人物情報と当該情報処理システムが設置された環境を示す環境情報とを記憶するデータベースと、
    前記人物情報と前記環境情報とに応じた発話内容の発話を行うように前記ロボットへ指示する発話制御部と、
    前記データベースから前記人物情報と前記環境情報とを読み出し、該読み出した人物情報と環境情報との組み合わせごとに前記発話内容に応じた第１のスコアを、前記発話制御部が指示した発話の結果を示す結果情報に基づいて学習を行って更新する強化学習部と、
    所定の動作を行うように前記ロボットへ指示する動作制御部と、
    前記環境情報のうち、当該情報処理システムの稼動状況を示すタスク発火条件に基づいて、実行するタスクを選択して起動する実行タスク選択部とを有し、
    前記データベースは、前記動作の動作内容を示す動作情報をさらに対応付けて記憶し、
    前記動作制御部は、前記実行タスク選択部が起動したタスクに従って動作し、前記組み合わせについて第２のスコアが最も大きな値の前記第２のスコアと対応付けられた動作情報が示す動作を行うように前記ロボットへ指示し、
    前記発話制御部は、前記組み合わせについて前記第１のスコアが最も大きな値の前記第１のスコアと対応付けられた発話内容の発話を行うように前記ロボットへ指示し、
    前記強化学習部は、前記動作制御部が指示した動作の結果を示す結果情報に基づいて学習を行い、前記第２のスコアを更新し、
    前記ロボットは、
    前記発話制御部から指示された発話内容が示す音声を出力する音声出力部を有する情報処理システム。
  7. 情報処理システムにおける情報処理方法であって、
    カメラが撮像した画像に含まれる人物に関する人物情報を解析する処理と、
    前記人物情報と当該情報処理システムが設置された環境を示す環境情報とを記憶するデータベースから前記人物情報と前記環境情報とを読み出す処理と、
    前記人物情報と、前記環境情報のうちの前記情報処理システムの稼動状況とを用いたタスク発火条件に基づいて、実行するタスクを選択して起動する処理と、
    前記起動したタスクに従って動作し、前記読み出した人物情報と環境情報との組み合わせについての第１のスコアが最も大きな値の前記第１のスコアと対応付けられた発話内容の発話を行う処理と、
    前記行った発話の結果を示す結果情報に基づいて学習を行い、前記第１のスコアを更新する処理とを行う情報処理方法。
  8. 情報処理システムにおける情報処理方法であって、
    カメラが撮像した画像に含まれる人物に関する人物情報を解析する処理と、
    前記人物情報と当該情報処理システムが設置された環境を示す環境情報と所定の動作の動作内容を示す動作情報とを記憶するデータベースから前記人物情報と前記環境情報とを読み出す処理と、
    前記環境情報のうち、前記情報処理システムの稼動状況を示すタスク発火条件に基づいて、実行するタスクを選択して起動する処理と、
    前記読み出した人物情報と環境情報との組み合わせについての第１のスコアが最も大きな値の前記第１のスコアと対応付けられた発話内容の発話を行う処理と、
    前記行った発話の結果を示す結果情報に基づいて学習を行い、前記第１のスコアを更新する処理と、
    前記起動したタスクに従って動作し、前記組み合わせについて第２のスコアが最も大きな値の前記第２のスコアと対応付けられた動作情報が示す動作を行う処理と、
    前記行った動作の結果を示す結果情報に基づいて学習を行い、前記第２のスコアを更新する処理とを行う情報処理方法。
JP2019536236A 2019-02-25 2019-02-25 情報処理システムおよび情報処理方法 Active JP6667766B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/007075 WO2020174537A1 (ja) 2019-02-25 2019-02-25 情報処理システムおよび情報処理方法

Publications (2)

Publication Number Publication Date
JP6667766B1 true JP6667766B1 (ja) 2020-03-18
JPWO2020174537A1 JPWO2020174537A1 (ja) 2021-03-11

Family

ID=70000623

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019536236A Active JP6667766B1 (ja) 2019-02-25 2019-02-25 情報処理システムおよび情報処理方法

Country Status (7)

Country Link
US (1) US20210402611A1 (ja)
EP (1) EP3806022A4 (ja)
JP (1) JP6667766B1 (ja)
KR (1) KR20210027396A (ja)
CN (1) CN112585642A (ja)
TW (1) TWI717030B (ja)
WO (1) WO2020174537A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11645498B2 (en) * 2019-09-25 2023-05-09 International Business Machines Corporation Semi-supervised reinforcement learning
DE102022121132A1 (de) 2022-08-22 2024-02-22 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Entwicklung eines technischen Bauteils

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006012171A (ja) * 2004-06-24 2006-01-12 Hitachi Ltd 生体認識を用いたレビュー管理システム及び管理方法
WO2016194173A1 (ja) * 2015-06-03 2016-12-08 株式会社日立システムズ サポート支援システムおよびサポート支援方法ならびにサポート支援プログラム
JP2018027613A (ja) * 2016-08-10 2018-02-22 パナソニックＩｐマネジメント株式会社 接客装置、接客方法及び接客システム
JP2019018265A (ja) * 2017-07-13 2019-02-07 田嶋　雅美 接客サービスシステム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7319780B2 (en) * 2002-11-25 2008-01-15 Eastman Kodak Company Imaging method and system for health monitoring and personal security
JP2005157494A (ja) * 2003-11-20 2005-06-16 Aruze Corp 会話制御装置及び会話制御方法
US7949529B2 (en) * 2005-08-29 2011-05-24 Voicebox Technologies, Inc. Mobile systems and methods of supporting natural language human-machine interactions
US8793119B2 (en) * 2009-07-13 2014-07-29 At&T Intellectual Property I, L.P. System and method for generating manually designed and automatically optimized spoken dialog systems
JP2011186351A (ja) * 2010-03-11 2011-09-22 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
US9956687B2 (en) * 2013-03-04 2018-05-01 Microsoft Technology Licensing, Llc Adapting robot behavior based upon human-robot interaction
JP5704279B1 (ja) * 2014-10-14 2015-04-22 富士ゼロックス株式会社 関連付プログラム及び情報処理装置
US9818126B1 (en) * 2016-04-20 2017-11-14 Deep Labs Inc. Systems and methods for sensor data analysis through machine learning
JP2018067100A (ja) * 2016-10-18 2018-04-26 株式会社日立製作所 ロボット対話システム
US10289076B2 (en) * 2016-11-15 2019-05-14 Roborus Co., Ltd. Concierge robot system, concierge service method, and concierge robot
JP6952453B2 (ja) 2016-11-24 2021-10-20 田嶋　雅美 接客システム及び接客方法
JP6642401B2 (ja) * 2016-12-09 2020-02-05 トヨタ自動車株式会社 情報提供システム
US11170768B2 (en) * 2017-04-17 2021-11-09 Samsung Electronics Co., Ltd Device for performing task corresponding to user utterance

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006012171A (ja) * 2004-06-24 2006-01-12 Hitachi Ltd 生体認識を用いたレビュー管理システム及び管理方法
WO2016194173A1 (ja) * 2015-06-03 2016-12-08 株式会社日立システムズ サポート支援システムおよびサポート支援方法ならびにサポート支援プログラム
JP2018027613A (ja) * 2016-08-10 2018-02-22 パナソニックＩｐマネジメント株式会社 接客装置、接客方法及び接客システム
JP2019018265A (ja) * 2017-07-13 2019-02-07 田嶋　雅美 接客サービスシステム

Also Published As

Publication number Publication date
EP3806022A1 (en) 2021-04-14
JPWO2020174537A1 (ja) 2021-03-11
TWI717030B (zh) 2021-01-21
WO2020174537A1 (ja) 2020-09-03
EP3806022A4 (en) 2022-01-12
CN112585642A (zh) 2021-03-30
KR20210027396A (ko) 2021-03-10
US20210402611A1 (en) 2021-12-30
TW202032491A (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
CN110249360B (zh) 用于推荐产品的装置和方法
KR102374910B1 (ko) 음성 데이터 처리 방법 및 이를 지원하는 전자 장치
CN110998725B (zh) 在对话中生成响应
US20180101776A1 (en) Extracting An Emotional State From Device Data
KR102515023B1 (ko) 전자 장치 및 그 제어 방법
CN111512617B (zh) 推荐联系人信息的装置和方法
KR20180109499A (ko) 사용자의 음성 입력에 대한 답변을 제공하는 방법 및 장치
US20190197427A1 (en) Device and method for recommending contact information
US8954356B2 (en) Evolution of a user interface based on learned idiosyncrasies and collected data of a user
US10836044B2 (en) Robot control device and robot control method
JP6667766B1 (ja) 情報処理システムおよび情報処理方法
WO2019135534A1 (ko) 전자 장치 및 그의 제어 방법
JP2020091736A (ja) プログラム、情報処理装置及び情報処理方法
CN112528004A (zh) 语音交互方法、装置、电子设备、介质和计算机程序产品
JP2020091824A (ja) プログラム、情報処理装置及び情報処理方法
CN106951433A (zh) 一种检索方法及装置
JP2019185201A (ja) 強化学習システム
WO2021095473A1 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
JP2013208681A (ja) インタラクション装置およびインタラクション制御プログラム
JP2017182261A (ja) 情報処理装置、情報処理方法、およびプログラム
JP6972526B2 (ja) コンテンツ提供装置、コンテンツ提供方法、及びプログラム
KR20200069251A (ko) 대화형 게임을 제공하는 전자 장치 및 그 동작 방법
KR102643720B1 (ko) 로봇용 인공지능 인터페이스 시스템
WO2024214707A1 (ja) 行動制御システム
KR102692549B1 (ko) 대화 맥락 및 페르소나를 기반으로 한 생성형 인공지능 통역 장치 및 그것의 제어방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190702

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190702

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200117

R150 Certificate of patent or registration of utility model

Ref document number: 6667766

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250