JP6710562B2 - 受付システム及び受付方法 - Google Patents

受付システム及び受付方法 Download PDF

Info

Publication number
JP6710562B2
JP6710562B2 JP2016066568A JP2016066568A JP6710562B2 JP 6710562 B2 JP6710562 B2 JP 6710562B2 JP 2016066568 A JP2016066568 A JP 2016066568A JP 2016066568 A JP2016066568 A JP 2016066568A JP 6710562 B2 JP6710562 B2 JP 6710562B2
Authority
JP
Japan
Prior art keywords
visitor
unit
reception
information storage
respondent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016066568A
Other languages
English (en)
Other versions
JP2017182334A (ja
Inventor
近藤 宏
宏 近藤
住田 直亮
直亮 住田
あす香 椎名
あす香 椎名
山本 俊一
俊一 山本
一博 中臺
一博 中臺
圭佑 中村
圭佑 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2016066568A priority Critical patent/JP6710562B2/ja
Priority to US15/470,088 priority patent/US10245732B2/en
Publication of JP2017182334A publication Critical patent/JP2017182334A/ja
Application granted granted Critical
Publication of JP6710562B2 publication Critical patent/JP6710562B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • G06V40/173Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/45Nc applications
    • G05B2219/45095Office messenger
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Description

本発明は、受付システム及び受付方法に関する。
利用者の発話内容に対して音声認識を行い、音声認識した結果を用いて処理を行う音声対話システムが求められている。近年、例えば会社やホテルの受け付け等に人型ロボットが採用され始めている。例えば、特許文献1には、来訪者が企業等を訪問したときに、ロボットが来訪者の名前や所属を質問し、さらに、希望する応対者を質問し、必要な応対者に対して来訪者が訪れたことを通知する受付システムが記載されている。
特許第4594857号公報
ロボットを使った受付システムでは、ロボットは、毎回来訪者が訪れる度に、来訪者の名前、応対者の名前等を質問することになる。この場合、来訪者にとっては、毎回同じことを答える必要があるので、冗長であった。
本発明は上記の点に鑑みてなされたものであり、冗長な受付業務が簡素化できる受付システム及び受付方法を提供することを目的とする。
(1)上記目的を達成するため、本発明の一態様に係る受付システムは、画像を撮影する撮像部と、過去に来訪した来訪者の画像と、当該来訪者が過去に来訪した応対者の情報とを関連付けて記憶する受付情報保存部と、前記来訪者への応対に関するシナリオに基づいて来訪者に対する質問を生成し、当該質問に対する来訪者からの応答により情報を取得する行動実行部と、を備え、前記行動実行部は、前記撮像部が撮影した前記画像に対応する画像を前記受付情報保存部が記憶しているか否かに応じて、前記シナリオに基づく前記来訪者へ提示に対する応対を変更し、前記来訪者に対して、当該来訪者が過去に来訪した履歴を前記受付情報保存部に記憶し、前記撮像部が撮影した前記画像に対応する画像が前記受付情報保存部に記憶されている場合、前記受付情報保存部が記憶する前記履歴に基づいて、前記応対者の候補を選択し、選択した前記応対者の候補が複数のとき、前記複数の応対者を候補者として前記来訪者に音声信号を用いて提示し、当該質問に対する応答の音声信号に対して音声認識を行った結果に基づいて、前記来訪者に対応する応対者を選択する
(2)本発明の一態様に係る受付システムは、画像を撮影する撮像部と、過去に来訪した来訪者の画像と、当該来訪者が過去に来訪した応対者の情報とを関連付けて記憶する受付情報保存部と、前記来訪者への応対に関するシナリオに基づいて来訪者に対する質問を生成し、当該質問に対する来訪者からの応答により情報を取得する行動実行部と、を備え、前記行動実行部は、前記撮像部が撮影した前記画像に対応する画像を前記受付情報保存部が記憶しているか否かに応じて、前記シナリオに基づく前記来訪者へ提示に対する応対を変更し、前記来訪者に対して、当該来訪者が過去に来訪した履歴を前記受付情報保存部に記憶し、前記撮像部が撮影した前記画像に対応する画像が前記受付情報保存部に記憶されている場合、前記受付情報保存部が記憶する前記履歴に基づいて、前記応対者の候補を選択し、選択した前記応対者が複数のとき、前記複数の応対者を候補者として前記来訪者に画像を用いて提示する。
)本発明の一態様に係る受付システムは、前記来訪者が希望する応対者に、当該来訪者が訪れた旨を通知する通知部、を備え、前記通知部は、前記行動実行部が選択した前記応対者に、当該来訪者が訪れた旨を通知するようにしてもよい。
)本発明の一態様に係る受付システムにおいて、前記行動実行部は、前記撮像部が撮影した前記画像に対応する画像が前記受付情報保存部に記憶されていない場合、前記来訪者の情報と前記応対者の情報とを取得するための質問を前記シナリオに応じて前記来訪者に音声信号を用いて行い、当該質問に対する応答の音声信号に対して音声認識を行った結果に基づいて、前記来訪者に対応する応対者を選択するようにしてもよい。
)本発明の一態様に係る受付システムにおいて、前記行動実行部は、選択した前記応対者の候補が複数のとき、訪問したことが多い順に前記応対者の候補を提示するようにしてもよい。
)本発明の一態様に係る受付システムにおいて、前記行動実行部は、選択した前記応対者の候補が複数のとき、最近訪問したことがある順に前記応対者の候補を提示するようにしてもよい。
)本発明の一態様に係る受付システムにおいて、前記来訪者の進行方向を検出する検出部、を備え、前記行動実行部は、前記検出部が検出した前記来訪者の進行方向、および前記撮像部が撮像した前記画像から前記来訪者の進行方向を検出した進行方向のうちの少とも1つに基づいて、前記来訪者へ提示に対する応対を変更するようにしてもよい。
)上記目的を達成するため、本発明の一態様に係る受付方法は、撮像部が、画像を撮影する撮像手順と、行動実行部が、過去に来訪した来訪者の画像と、当該来訪者が過去に来訪した応対者の情報とを関連付けて受付情報保存部に記憶する記憶手順と、前記行動実行部が、前記来訪者への応対に関するシナリオに基づいて来訪者に対する質問を生成し、当該質問に対する来訪者からの応答により情報を取得する手順と、前記行動実行部が、前記撮像手順によって撮影された前記画像に対応する画像を前記受付情報保存部が記憶しているか否かに応じて、前記来訪者への応対に関するシナリオに基づく前記来訪者へ提示に対する応対を変更する変更手順と、前記行動実行部が、前記来訪者に対して、当該来訪者が過去に来訪した履歴を前記受付情報保存部に記憶させ、前記撮像手順によって撮影された前記画像に対応する画像が前記受付情報保存部に記憶されている場合、前記受付情報保存部が記憶する前記履歴に基づいて、前記応対者の候補を選択し、選択した前記応対者の候補が複数のとき、前記複数の応対者を候補者として前記来訪者に音声信号を用いて提示し、当該質問に対する応答の音声信号に対して音声認識を行った結果に基づいて、前記来訪者に対応する応対者を選択する手順と、を含む。
(9)上記目的を達成するため、本発明の一態様に係る受付方法は、撮像部が、画像を撮影する撮像手順と、行動実行部が、過去に来訪した来訪者の画像と、当該来訪者が過去に来訪した応対者の情報とを関連付けて受付情報保存部に記憶する記憶手順と、前記行動実行部が、前記来訪者への応対に関するシナリオに基づいて来訪者に対する質問を生成し、当該質問に対する来訪者からの応答により情報を取得する手順と、前記行動実行部が、前記撮像手順によって撮影された前記画像に対応する画像を前記受付情報保存部が記憶しているか否かに応じて、前記来訪者への応対に関するシナリオに基づく前記来訪者へ提示に対する応対を変更する変更手順と、前記行動実行部が、前記来訪者に対して、当該来訪者が過去に来訪した履歴を前記受付情報保存部に記憶させ、前記撮像部によって撮影された前記画像に対応する画像が前記受付情報保存部に記憶されている場合、前記受付情報保存部が記憶する前記履歴に基づいて、前記応対者の候補を選択し、選択した前記応対者が複数のとき、前記複数の応対者を候補者として前記来訪者に画像を用いて提示する手順と、を含む。
上述した(1)、(2)、(8)または(9)によれば、撮像した画像に基づいて、シナリオに基づく来訪者へ提示に対する応対を変更するようにしたので、冗長な受付業務が簡素化できる
また、上述した()、()、(8)、)、又は()によれば、受付履歴に基づいて応対者の候補を来訪者に提示するので、候補者が来訪者の所望する応対者となる確率を上げることができる。
また、上述した(または(9)によれば、来訪者は、応対者を一覧表示で見ることができ、所望の応対者を選択しやすくなるという効果を奏する。
また、上述した()によれば、来訪者の進行方向に応じて応対を変更するようにしたので、冗長な受付業務が簡素化できる。
本実施形態に係る受付システムのイメージ図である。 第1実施形態に係る受付システムの概略構成を示すブロック図である。 第1実施形態に係る受付情報保存部が備えるデータベースの構成の一例を示す図ある。 第1実施形態に係る受付情報保存部に備えられるデータベースの構成の一例の説明図である。 第1実施形態に係る受付システムの受付動作を示すフローチャートである。 第1実施形態に係る来訪者が初めて来訪した場合に認識に成功したときの受付システムの受付動作の具体例を示す図である。 第1実施形態に係る来訪者が初めて来訪した場合に誤認識したときの受付システムの受付動作の具体例を示す図である。 第1実施形態に係る来訪者が2回目以降の来訪者である場合の受け付けシステムの受付動作の具体例を示している。 第2実施形態に係る受付システムの受付動作を示すフローチャートである。 第2実施形態に係る受付システムでの動作の説明図である。 第2実施形態に係る受付システムでの動作の説明図である。 第3実施形態に係る受付システムの概略構成を示すブロック図である。 第3実施形態に係る受付システムの動作の説明図である。
以下、本発明の実施の形態について図面を参照しながら説明する。
<受付システムの概要>
まず、本実施形態における受付システムの概要を説明する。
図1は、本実施形態に係る受付システム1のイメージ図である。
図1に示すように、受付システム1は、人型のロボット2(以下、ロボット2ともいう)が会社等に訪問する来訪者(お客様)3に対する受付業務を行う。
来訪者3は、ドア5から部屋4に入室する。部屋4には、ロボット2が待機している。また、部屋4には、来訪者3が待機するためのソファ6が置かれている。また、部屋4の天井には、来訪者を検出するセンサー31が取り付けられている。来訪者3が部屋4に入室し、センサー31により来訪者3が検出されると、ロボット2が来訪者3を出迎える。
ロボット2は来訪者3に挨拶をし、来訪者3の顔を含む領域を撮像した画像に対して画像認識を行うことで、初めての来訪者か否かを判定する。すなわち、ロボット2は、来訪者の画像と来訪者の情報と関連付けて、来訪者履歴として記憶している。そして、ロボット2は、今回の来訪者3の顔画像を来訪者履歴に登録されている顔画像を用いて顔認識を行っている。ロボット2は、今回の来訪者3の顔画像を来訪者履歴に登録されている顔画像から検索できなければ、今回の来訪者3は、初めての来訪者であると判定する。
初めての来訪者であれば、ロボット2は、来訪者に挨拶した後、ロボット2の役割を説明する。そして、ロボット2は、来訪者3の名前を質問し、来訪者3の名前を聞くと、来訪者3の名前を復唱確認して、来訪者3の情報を取得する。そして、ロボット2は、面会先の応対者を質問し、来訪者3から面会先の応対者の名前を聞くと、面会先の応対者の名前を復唱確認して、面会先の応対者の情報を取得する。それから、ロボット2は、面会先の応対者の連絡先に電話を接続し、応対者に来訪者があることを連絡する。
来訪者3が2回目以降の来訪者であれば、ロボット2は、来訪者3の顔認識を行って、来訪者3の情報を取得する。そして、ロボット2は、来訪者に挨拶した後、ロボット2の役割を説明する処理、来訪者3の名前を質問する処理、面会先の応対者を質問する処理をスキップする。そして、ロボット2は、過去の履歴に基づいて、来訪者3の名前と面会先の応対者を推定する。そして、ロボット2は、面会先の応対者がこれで正しいかを確認し、面会先の応対者の連絡先に電話を接続し、応対者に来訪者があることを連絡する。
このように、本発明に係る受付システム1では、来訪者3が2回目以降の来訪者であれば、ロボット2の役割を説明する処理、来訪者3の名前を質問する処理、及び面会先の応対者を質問する処理をスキップできるので、冗長な受付業務が簡素化できる。
<第1実施形態>
次に、本実施形態に係る受付システム1について詳細に説明する。
図2は、本実施形態に係る受付システム1の概略構成を示すブロック図である。図2に示すように、受付システム1は、受付部10、行動実行部20、センサー31、人検出・人追跡部32、通知部40、及び端末45を備える。
受付部10は、収音部11、音声合成部12、音声出力部13、撮像部14、及び顔検出・顔認識部15を備える。
行動実行部20は、来訪者認識部21、応対者認識部22、シナリオ記憶部24、受付情報保存部25、及び応対者選択部26を備える。来訪者認識部21は、音声認識部221、人情報統合部222、及び言語理解部223を含んで構成される。応対者認識部22は、音声認識部221及び言語理解部223を含んで構成される。応対者選択部26は、行動生成部261、及び呼出者選択部262を備える。
通知部40は、架電部42及び発信部43を備える。なお、通知部40と端末45とは、ネットワーク44を介して接続される。
受付部10は、例えば人型のロボット2である。受付部10は、来訪者の音声を取得し、取得した音声を、行動実行部20に出力する。受付部10は、来訪者の顔を含む領域の画像を撮像し、撮像した画像から顔の画像を抽出し、抽出した結果を行動実行部20に出力する。受付部10は、行動実行部20が出力する発話情報を音声信号に変換し、変換した音声信号を出力する。ここで、発話情報には、来訪者への挨拶、受付システム1の役割の説明、来訪者の確認、応対者の確認、応対者を呼びだしていることのお知らせ等が含まれている。なお、受付部10は、行動実行部20及び通知部40のうち少なくとも1つを備えていてもよい。また、受付部10の形状は、人型のロボットでなくてもよく、受付部10の構成を備えていればよい。
収音部11は、例えばN(Nは2以上の整数)本以上のマイクロホンを備えるマイクロホンアレイである。収音部11は、収音した音声信号を電気信号に変換して、変換した音声信号を音声認識部221に出力する。なお、収音部11は、収録したNチャネルの音声信号を音声認識部221に無線で送信してもよいし、有線で送信してもよい。送信の際にチャネル間で音声信号が同期していればよい。
音声合成部12は、行動実行部20が出力する発話情報を音声信号に変換し、変換した音声信号を音声出力部13に出力する。
音声出力部13は、例えばスピーカーである。音声合成部12が出力する音声信号を発する。
撮像部14は、例えばCCD(Charge Coupled Device;電荷結合素子)イメージセンサーを用いたカメラである。撮像部14は、例えば所定の間隔毎に撮像し、撮像した画像を顔検出・顔認識部15に出力する。所定の間隔とは、例えば5秒間隔である。
顔検出・顔認識部15は、例えばViola&Johnsの手法(参考文献1参照)を用いて、撮像部14が出力した画像から人の顔の画像を検出して認識する。顔検出・顔認識部15は、検出して認識した結果を示す情報を人情報統合部222に出力する。なお、顔検出・顔認識部15が出力する情報には、来訪者の顔を含む画像(以下、顔画像とも言う)が含まれている。
参考文献1;Paul Viola and Michael J. Jones. Rapid Object Detection using a Boosted Cascade of Simple Features. IEEE CVPR, 2001.
センサー31は、例えば、天井に設置されている複数のLRF(Laser Range Finder;レーザレンジファインダー)センサーである。ここで、LRFセンサーは、レーザー光を照射しながら、検知対象の空間を所定のピッチでスキャンして、物体に反射して戻ってくるまでの時間を測定することで、物体との距離と方向を検出する3次元の測域センサーである。LRFセンサーは、検出した物体との距離と方向を含む測距点の情報を測定し、測定した測距点の情報を人検出・人追跡部32に出力する。なお、測距点の情報には、x軸成分、y軸成分、及びz軸成分が含まれる。複数のLRFセンサーは、検知対象の空間の一部が重なるように、人を俯瞰できる位置、例えば検知対象の空間の天井や壁などに設置される。なお、本実施形態では、センサー31の例として、LRFセンサーを用いる例を説明するが、これに限られず、他のセンサーであってもよい。
人検出・人追跡部32は、センサー31が出力する測距点の情報を用いて、例えば最短距離法などの階層的手法によって、所定の周期毎に測距点をクラスタデータに分類する。人検出・人追跡部32は、分類したクラスタ毎の重心位置を算出し、算出した重心位置を、来訪者の位置を示す情報とする。人検出・人追跡部32は、分類したクラスタデータを統合する。人検出・人追跡部32は、統合したクラスタデータを用いて、人毎に識別子(ID)を割り当てる。人検出・人追跡部32は、IDを割り当てた人クラスタデータに対して追跡(トラッキング)を行う。なお、追跡は、例えば、測距点をxy平面に投影し、投影した投影点が分類されたもの、クラスタの重心位置を用いて行う。人検出・人追跡部32は、検出し追跡した結果を示す情報を人情報統合部222に出力する。
音声認識部221は、収音部11が出力する音声信号に対して、音源定位処理、雑音抑圧処理、発話区間の検出処理、音源分離処理、及び音声認識処理を行う。音声認識部221は、収音部11が出力するNチャネルの音声信号に対して、自部が記憶する伝達関数を用いて、例えば、MUSIC(Multiple Signal Classification;多重信号分類)法を用いて方向毎のパワーを示す空間スペクトルを算出する。音声認識部221は、空間スペクトルに基づいて音源毎の音源方向を定める。また、音声認識部221は、例えば室内インパルス応答の逆フィルタ処理によって残響を抑圧する。また、音声認識部221は、例えば自部が記憶する閾値を用いて発話区間を検出し、Nチャネルの音声信号から検出した発話区間内の音源方向情報とNチャネルの音声信号をそれぞれ抽出する。また、音声認識部221は、Nチャネルの音声信号を音源方向情報が示す音源方向に基づいて、例えば、GHDSS(Geometric−constrained High−order Decorrelation−based Source Separation)法を用いて音源毎の音声信号である音源別音声信号に分離する。音声認識部221は、認識した結果を言語理解部223へ出力する。
人情報統合部222は、顔検出・顔認識部15が出力する検出して認識した結果を示す情報と、人検出・人追跡部32が出力する検出し追跡した結果を示す情報を取得し、取得した情報を統合する。
言語理解部223は、音声認識部221が出力する認識した結果に対して、フレームの分離音声信号の音声特徴量を算出する。言語理解部223は、算出した音声特徴量と自部が記憶する音声認識モデルを用いて言語理解処理を行う。言語理解部223は、算出した音声特徴量について音声認識モデルを用いて算出した尤度が最も高い語句を認識結果として定める。言語理解部223は、音源毎の発話内容として認識結果を示すテキストデータを生成する。言語理解部223は、テキストデータに対して係り受け解析を行い、名詞を抽出する。
来訪者認識部21は、人情報統合部222が統合した情報に基づいて、所定の時間以上、受付部10の所定の範囲に人が認識された場合に、受付部10の前に人が存在していると判定し、人が来たことを示す来社情報を応対者選択部26に出力する。なお、応対者選択部26は、LRFセンサー31が検出した結果、および撮像部14が撮像した画像のうちすくなくとも1つを用いて、受付部10の前に人が存在するか否かを判別する。また、来訪者認識部21は、人情報統合部222が取得した顔画像が、受付情報保存部25に記憶されているか否かを、例えばパターンマッチングの手法によって判定する。来訪者認識部21は、判定した結果を、応対者選択部26に出力する。判定した結果には、顔画像が受付情報保存部25に記憶されていることを示す情報、または、顔画像が受付情報保存部25に記憶されていないことを示す情報が含まれている。また、来訪者認識部21は、顔画像が受付情報保存部25に記憶されている場合、受付情報保存部25が格納するデータベースを探索して、少なくとも来訪者の名前を示す名詞を抽出する。なお、来訪者認識部21は、来訪者の所属(会社名、部署名等)を示す名詞や来訪回数等も探索してもよい。来訪者認識部21は、行動生成部261が用件をたずねる発話情報を発話開始したとき、言語理解部223が認識したテキストデータの名詞に対して、受付情報保存部25が格納するデータベースを探索して、来訪者の所属(会社名、部署名等)を示す名詞、来訪者の名前を示す名詞を抽出する。来訪者認識部21は、抽出した顧客の所属を示す名詞、顧客の名前を示す名詞を応対者選択部26に出力する。
応対者認識部22は、行動生成部261が用件をたずねる発話情報を発話開始したとき、テキストデータの名詞のうち、顧客の所属を示す名詞と顧客の名前を示す名詞を除く名詞を抽出する。応対者認識部22は、抽出した名詞に対して、受付情報保存部25が格納する社員のデータベースを参照して、応対者の所属を示す名詞、応対者の名前を示す名詞を抽出する。応対者認識部22は、抽出した応対者の所属を示す名詞、応対者の名前を示す名詞を応対者選択部26に出力する。
シナリオ記憶部24は、来訪者に対する受け答えのシナリオを記憶する。ここで、来訪者に対する受け答えのシナリオとは、例えば、来訪者への挨拶、受付システム1の役割の説明、来訪者の確認、応対者の確認、応対者を呼びだしていることのお知らせ等の順番を含むテキストファイルである。なお、シナリオには、質問や応答毎に、来訪者の来訪回数に応じて、質問や応答を行うか否かを示す情報が対応付けられている。
受付情報保存部25は、所員データベース、来訪履歴データデース等を格納する。なお、受付情報保存部25が格納する情報については、後述する。
応対者選択部26は、受付部10の前に人が存在すると認識したとき、シナリオ記憶部24が記憶するシナリオに基づいて、行動を生成する。応対者選択部26は、来訪者認識部21が出力する判定した結果を取得する。応対者選択部26は、取得した判定結果が、顔画像が受付情報保存部25に記憶されていることを示す情報である場合、シナリオ記憶部24が記憶するシナリオに応じて、来訪者に用件(来訪者の所属と名前、応対者名)の質問をスキップして、受付情報保存部25が記憶する情報から応対者を選択する。また、応対者選択部26は、応対者に対応する電話番号を、受付情報保存部25を参照して抽出し、抽出した電話番号を通知部40に出力する。
行動生成部261は、来訪者認識部21が受付部10の前に人が存在すると認識したとき、シナリオ記憶部24が記憶するシナリオに基づいて、行動を生成する。
行動生成部261は、来訪者認識部21が出力する判定した結果が、顔画像が受付情報保存部25に記憶されていることを示す情報の場合、来訪者3を2回目以降の来訪者と判定する。この場合、行動生成部261は、来訪者認識部21が認識した結果に応じて応対者を選択する指示に、来訪者が2回目以降の来訪者であることを示す情報を対応付けて、呼出者選択部262に出力する。行動生成部261は、呼出者選択部262が選択した応対者を確認する音声と認識した来訪者の名前と確認する音声を出力する。そして、行動生成部261は、来訪者名と応対者名が正しいと確認できた場合、応対者に電話を接続するように行動を生成する。
行動生成部261は、来訪者認識部21が出力する判定した結果が、顔画像が受付情報保存部25に記憶されていないことを示す情報の場合、来訪者3を初めての来訪者と判定する。この場合、行動生成部261は、来訪者への挨拶と受付システム1の役割の説明のテキストファイルをシナリオから選択し、選択したテキストファイルを音声合成部12に出力する。また、行動生成部261は、用件をたずねるテキストファイルをシナリオから選択し、選択したテキストファイルを音声合成部12に出力し、用件をたずねるテキストファイルを出力したことを示す情報を来訪者認識部21と応対者認識部22に出力する。また、行動生成部261は、来訪者認識部21が来訪者の所属と名前の名詞を出力し、応対者認識部22が応対者の所属と名前の名詞を出力したとき、応対者を選択する指示に、来訪者が初めての来訪者であることを示す情報を対応付けて、呼出者選択部262に出力する。なお、行動生成部261は、来訪者認識部21が来訪者の所属と名前の名詞を出力し、応対者認識部22が応対者の所属と名前の名詞を出力したとき、内容を確認するテキストファイルをシナリオから選択し、選択したテキストファイルを音声合成部12に出力するようにしてもよい。また、行動生成部261は、呼出者選択部262が、応対者が不在であることを示す情報と、代理応対者を呼びだしていることを示す情報を出力した場合、応対者が不在であることを示し代理応対者を呼びだしていることを示すテキストファイルをシナリオから選択し、選択したテキストファイルを音声合成部12に出力するようにしてもよい。また、行動生成部261は、架電部42が出力する電話応答可否情報に応答があったことを示す情報が含まれる場合、呼びだしたことを示すテキストファイルをシナリオから選択し、選択したテキストファイルを音声合成部12に出力するようにしてもよい。
呼出者選択部262は、来訪者が2回目以降の来訪者であることを示す情報を行動生成部261から取得したとき、来訪者の名前を用いて、受付情報保存部25が記憶する情報を参照して応対者の候補を抽出し、抽出した応対者を示す情報を行動生成部261に出力する。
また、呼出者選択部262は、来訪者が初めての来訪者であることを示す情報を行動生成部261から取得したとき、応対者認識部22が出力する応対者の所属と名前の名詞を取得し、取得した応対者を選択する。
さらに、呼出者選択部262は、選択した応対者に対応する電話番号を、受付情報保存部25を参照して抽出し、抽出した電話番号を通知部40に出力する。
ネットワーク44は、電話通信回線、インターネット回線、無線回線等のネットワークである。
通知部40は、応対者選択部26が出力する電話番号を取得し、取得した電話番号に対応する端末45へ発信する。通知部40は、電話の応答があったか否かを示す電話応答可否情報を生成し、生成した電話応答可否情報を行動生成部261に出力する。
架電部42は、応対者選択部26が出力する応対者の電話番号を取得し、取得した応対者の電話番号に対応する端末45へ発信部43を制御して発信する。架電部42は、所定の時間内に応対者の応答があったか否かを示す電話応答可否情報を生成し、生成した電話応答可否情報を行動生成部261に出力する。なお、架電部42は、電話がつながっても留守番電話の受け付け等に接続された場合、応対者の応答がなかったと判別するようにしてもよい。この場合、架電部42は、音声認識処理を行うことで、留守番電話に接続されたか、応対者に接続されたかを判別するようにしてもよい。
発信部43は、架電部42の制御に応じて、ネットワーク44を介して端末45に発信する。
端末45は、応対者毎に電話番号が割り当てられている電話機であり、例えば携帯電話である。なお、端末45は、社内で利用されている内線電話用の電話機等であってもよい。
図3及び図4は、第1実施形態に係る受付情報保存部25が備えるデータベースの構成の一例を示す図ある。図3に示すように、受付情報保存部25は、来訪履歴データベース251と所員データベース252を備える。
来訪履歴データベース251は、図4の表g101に示すように、訪問日時(来訪の履歴)と、来訪者名と、来訪者の顔画像と、来訪者の所属と、応対者の名前と、応対者の所属とを対応付けて記憶している。来訪履歴データベース251は、来訪者がある毎に、更新されていく。所員データベース252は、図4の表g102に示すように、所員名と、所員の所属先と、連絡先の電話番号とを対応付けて記憶している。来訪履歴データベース251は、電話の発呼又は着呼がある毎に、行動実行部20または通知部40のうち少なくとも1つによって更新される。
なお、受付情報保存部25に設けられるデータベースは、これらに限定されるものではない。受付情報保存部25には、更に、所員の出勤や退勤の情報、所員のスケジュール情報、会議の開催情報、仕事の関係情報、関連先の企業の職員情報等を保存していてもよい。
次に、本実施形態に係る受付システム1の受付動作について説明する。まず、来訪者3が初めて来訪した場合と2回目以降に来訪した場合に共通の受け付け動作について、図2と図4を参照しつつ説明する。
センサー31の検出信号から、来訪者3が検出されると、行動生成部261は、来訪したお客様である来訪者に挨拶をする発話を音声合成部12に出力する。これにより、音声出力部13から挨拶をする発話が出力される。
撮像部14は来訪者の顔を含む画像を撮影する。顔検出・顔認識部15は、来訪者の顔認識を行う。図4の表g101に示すように、来訪履歴データベース251には、来訪者の顔画像が記憶されている。来訪者認識部21は、顔検出・顔認識部15が検出して認識した来訪者3の顔画像と、来訪履歴データベース251が格納する顔画像とのマッチング演算を行うことで、来訪者3を選択する。また、来訪者認識部21は、顔検出・顔認識部15が検出して認識した来訪者3の顔画像とマッチングする画像を来訪履歴データベース251中に検索できない場合、来訪者3が初めての来訪者であると判定する。
次に、受付システム1の処理手順について説明する。
図5は、本実施形態に係る受付システム1の受付動作を示すフローチャートである。
(ステップS101)来訪者認識部21は、人情報統合部222が統合した情報に基づいて、所定の時間以上、受付部10の所定の範囲に人が認識された場合に、受付部10の前に人が存在していると判定する。行動生成部261は、受付部10の所定の範囲に人がいると判定されたとき、挨拶を発話する音声情報を音声合成部12に出力し、音声出力部13から、挨拶の発話を行う。続けて、撮像部14は、来訪者3の顔を含む領域の画像を撮影する(撮像手順)。
(ステップS102)来訪者認識部21は、人情報統合部222が取得した顔画像が、受付情報保存部25に記憶されているか否かによって、来訪者3が初めての来訪であるか否かを、例えばパターンマッチングの手法によって判定する。来訪者認識部21は、来訪者3が初めての来訪であると判定した場合(ステップS102;YES)、ステップS103の処理に進み、来訪者3が初めての来訪ではないと判定した場合(ステップS102;NO)、ステップS112の処理に進む。すなわち、本実施形態では、来訪者3の来訪回数に基づいて、来訪者3への応対を変更している(変更手順)。
(ステップS103)行動生成部261は、シナリオ記憶部24が記憶するシナリオに応じて、ロボット2(図1)(受付部10)の役割の説明の音声情報を音声合成部12に出力し、音声出力部13からロボット2の役割の説明の音声を発話させる。
(ステップS104)行動生成部261は、シナリオに応じて、来訪者3の名前を質問する音声情報を音声合成部12に出力することで、来訪者3の名前を質問する。
(ステップS105)収音部11は、来訪者3が発した音声信号を収音する。続けて、音声認識部221は、収音部11が集音した来訪者3の音声信号に対して音声認識する。続けて、言語理解部223は、音声認識部221が音声認識した結果に対して係り受け解析等を行って、来訪者の名前を取得する。
(ステップS106)行動生成部261は、シナリオに従って、認識した来訪者3の名前を復唱確認するために、来訪者3の名前を確認するテキストファイルを音声合成部12に出力ことで、来訪者の名前を確認する。
(ステップS107)来訪者3は、認識結果が正しいことを示す発話か正しくないことを示す発話を行う。来訪者認識部21は、収音部11が収音した音声信号に対して音声認識と言語理解を行い、来訪者3の名前の認識結果が正しいか否かを判定する。来訪者認識部21は、例えば、認識結果が「はい」の場合を正しいと判定し、認識結果が「いいえ」の場合を正しくないと判定する。来訪者認識部21は、来訪者3の名前の認識結果が正しいと判定した場合(ステップS107;YES)、ステップS108の処理に進め、来訪者3の名前の認識結果が正しくないと判定した場合(ステップS107;NO)、ステップS104の処理に戻す。
(ステップS108)行動生成部261は、応対者の名前を質問する音声情報を音声合成部12に出力することで、応対者の名前を質問する。
(ステップS109)収音部11は、来訪者3が発話した応対者の名前を収音する。応対者認識部22は、収音部11が収音した音声信号に対して音声認識と言語理解を行い、応対者の名前を取得する。
(ステップS110)行動生成部261は、認識した音声を復唱確認するために、応対者の名前を確認するために、テキストファイルを音声合成部12に出力ことで、応対者の名前を確認する。
(ステップS111)来訪者3は、認識結果が正しいか否か示す発話を行う。応対者認識部22は、収音部11が収音した音声信号に対して音声認識と言語理解を行い、応対者の名前の認識結果が正しいか否かを判定する。応対者認識部22は、応対者の名前の認識結果が正しいと判定した場合(ステップS111;YES)、ステップS116に処理を進め、応対者の名前の認識結果が正しくないと判定した場合(ステップS111;NO)、ステップS108に処理を戻す。
以上のように、来訪者3が初めての来訪の場合は、ステップS103からステップS111の処理が行われる。
(ステップS112)来訪者認識部21は、顔画像が受付情報保存部25に記憶されている場合、受付情報保存部25が格納するデータベースを探索して、少なくとも来訪者の名前を示す名詞を抽出することで来訪者を識別する。
(ステップS113)応対者選択部26は、受付情報保存部25が記憶する来訪者に対応付けられている応対者を選択することで、応対者を推定する。
(ステップS114)行動生成部261は、来訪者3の名前と、推察した応対者の名前を確認する音声情報を音声合成部12に出力することで、来訪者3の名前と応対者の名前を確認する。なお、行動生成部261は、例えば、受付情報保存部25が記憶する来訪者に対応付けられている応対者が1人の場合や、受付情報保存部25が記憶するに基づいて来訪した日から所定の期間(例えば半年)に1人の応対者のみと会っていると判定される場合、ステップS114とステップS115の処理を省略して、ステップS116の処理に進めるようにしてもよい。
(ステップS115)来訪者3は、推察された応対者が正しいか否かを示す発話を行う。応対者認識部22は、収音部11が収音した音声信号に対して音声認識と言語理解を行い、来訪者3の名前と応対者の名前が正しいか否かを判定する。応対者認識部22は、来訪者3の名前と応対者の名前が正しいと判定した場合(ステップS115;YES)、ステップS116の処理に進め、来訪者3の名前と応対者の名前が正しくないと判定した場合(ステップS115;NO)、ステップS104の処理に戻す。
以上のように、本実施形態では、ステップS103で来訪者3が初めての来訪ではないと判定すると、ロボットの役割の説明、来訪者3の名前を質問する処理、応対者の名前を質問する処理であるステップS102からステップS111の処理をスキップして、来訪者3の過去の履歴から応対者を推測する。
(ステップS116)応対者選択部26は、受付情報保存部25の所員データベース252の情報を用いて、応対者の所属する部署の電話番号を検索する。続けて、架電部42は、電話番号に対応する端末45に電話をかける。来訪者が2回目以降の来訪であり且つ応対者の端末45が受電した場合、応対者選択部26は、来訪者3が受け付けに来たことを示す音声メッセージを生成し、生成した音声メッセージを端末45に発信する。または、来訪者3が初めての来訪であり且つ応対者の端末45が受電した場合、応対者選択部26は、来訪者3が発話した音声信号に対して音声認識した後の音声信号を端末45に発信する。なお、応対者選択部26は、来訪者が発話した音声信号に対して音声認識した後の音声信号を、例えば、雑音抑圧を行い、発話区間を検出した結果に基づいて発話毎に区切るようにしてもよい。これにより、応対者は、来訪者3の発話を聞きやすくなる。
(ステップS117)応対者選択部26は、今回の訪問に関する履歴情報を受付情報保存部25の来訪履歴データベース251に書き込む。また、来訪者3の来訪が初めての場合に、来訪者認識部21は、来訪者3の名前と、来訪者3の顔画像とを来訪履歴データベース251に書き込む(記憶手順)。
次に、本実施形態に係る受付システム1の受付動作の具体例を説明する。
図6は、本実施形態に係る来訪者3が初めて来訪した場合に認識に成功したときの受付システム1の受付動作の具体例を示す図である。また、図7は、本実施形態に係る来訪者3が初めて来訪した場合に誤認識したときの受付システム1の受付動作の具体例を示す図である。
図6に示すように、来訪者3が初めてのお客様であれば、受付部10を含むロボット2は、挨拶の発話R11(「こんにちは。」)の後に、ロボットの役割の説明する発話R12(「受け付けシステムです。受け付けシステムは、お客様の訪問先の応対者を呼び出します。」)を出力する。続いて、ロボット2は、来訪者の名前を質問する発話R13(「お客様のお名前を教えて下さい。」)を出力する。なお、ロボット2は、不図示のモーター、センサー、制御部等を有し、画像認識した結果やセンサー31が検出した結果に基づいて、ロボット2の向き、またはロボット2の顔の向きを、来訪者が存在する方へ向けるように制御するようにしてもよい。
来訪者3は、来訪者の名前を質問する音声に応えて、来訪者の名前の発話H11(「田中です。」)を行う。ロボット2は、来訪者3からの発話H11に対して、復唱確認のための発話R14(「田中さんですね?」)を出力する。来訪者3は、復唱確認のための発話R14に応えて、肯定を示す発話H12(「そうです。」)を行う。
なお、ここで、ロボット2が「田中さん」を誤って「竹中さん」と認識したとすると、図7に示すように、ロボット2は、来訪者3からの発話H11に対して、復唱確認のための発話R14A(「竹中さんですね?」)を出力する。来訪者3は、復唱確認のための発話R14Aに応えて、否定を示す発話H12A(「いいえ、違います。」)を行う。ロボット2は、来訪者3の名前の復唱確認の結果が否定であれば、更に、来訪者3の名前を質問する発話R13A(「すいませんが、もう一度、お客様のお名前を教えて下さい。」)を出力する。
図6において、ロボット2は、来訪者3の名前の復唱確認の結果が肯定であれば、面会する相手の名前を質問する発話R15(「訪問先の応対者の名前を教えて下さい。」)を出力する。来訪者3は、面会する相手の名前を質問する発話R15に応えて、面会する相手の名前の発話H13(「三宅さんをお願いします。」)を行う。ロボット2は、面会する相手の名前の発話H13に応えて、復唱確認の発話R16(「第1開発部の三宅さんですね?」)を出力する。来訪者3は、復唱確認のための発話R16に対して、肯定を示す発話H14(「そうです。」)を行う。
ロボット2は、面会する相手の名前の復唱確認の結果が肯定であれば、「第1開発部の三宅さん」の部署に電話を掛け、電話の呼び出し中であることを示す発話R17(「ただいま、三宅さんに電話をつないでいます。しばらくお待ちください。」)を行う。また、ロボット2は、電話の相手先に、「受け付けに田中さんが来たこと」を音声メッセージで伝える。そして、電話が繋がると、ロボット2は、電話が繋がったことを示す発話R18(「呼び出しがつながりました。担当者が来るまで、ソファにお掛けになってお待ち下さい。」)を出力する。
ここで、電話の呼び出しに失敗すると、図7に示すように、ロボット2は、電話が繋がらなかったことを示す発話R18A(「呼び出しがつながりませんでした。代わりの応対者を呼び出しています。」)を出力する。
次に、来訪者3が2回目以降の来訪者である場合のロボット2の受付動作の具体例について説明する。図8は、本実施形態に係る来訪者3が2回目以降の来訪者3である場合の受付システム1の受付動作の具体例を示している。
図8に示すように、来訪者3が2回目以降の訪問のお客様であれば、ロボット2は、挨拶の発話R31(「こんにちは」)を出力する。次に、ロボット2は、来訪者3の顔画像と、過去の履歴に基づいて、来訪者3の名前と面会先の応対者の候補を推定する。来訪者3の名前が「田中」、来訪者3の面会先が「第1開発部の三宅」と推察されたら、ロボット2は、来訪者と応対者とを確認する発話R32(「田中様ですね。訪問先の担当者は、第1開発部の三宅さんでしょうか?」)を出力する。
来訪者3は、発話R32に応えて、面会先が正しいか否かの発話を発する。ここでは、来訪者3は、発話R32に対して、肯定を示す発話H31(「そうです。」)を行う。
ロボット2は、来訪者3の確認の結果が肯定であれば、「第1開発部の三宅さん」の部署に電話を掛け、電話の呼び出し中であることを示す発話R33(「ただいま、三宅さんに電話をつないでいます。しばらくお待ちください。」)を出力する。また、ロボット2は、電話の相手先に、「受け付けに田中さんが来たこと」を音声メッセージで伝える。そして、電話が繋がると、ロボット2は、電話が繋がったことを示す発話R34(「呼び出しがつながりました。応対者が来るまで、ソファにお掛けになってお待ち下さい。」)を出力する。
このように、本発明に係る受付システム1では、来訪者3が初めての来訪である場合、ロボット2は、まず、ロボット2の役割を説明する音声を出力し、来訪者の名前を質問する音声を出力して、来訪者3から名前を取得し、面会先の応対者を質問する音声を出力して、来訪者3から面会先の応対者の名前を取得し、それから、面会先の応対者に電話を接続する。このシナリオでは、初来訪者のお客様に対してはわかりやすく応対し、幅広い来訪者に対応できる。
これに対して、来訪者3が2回目以降の来訪者であれば、受付システム1は、過去の履歴に基づいて推定された来訪者の名前と面会先の応対者を確認する音声を出力し、確認ができた場合、面会先の応対者に電話を接続する。このシナリオでは、ロボット2の役割を説明する音声を出力する処理と、来訪者3の名前を質問する音声を出力する処理と、面会先の応対者を質問する音声を出力する処理がスキップできるので、冗長な受付業務が簡素化できる。
<第2実施形態>
次に、第2実施形態について説明する。なお、本実施形態に係る受付システム1の構成は、前述の第1実施形態と同様であり、その説明は省略する。
前述したように、第1実施形態では、来訪者3が2回目以降の来訪者であれば、行動実行部20が、過去の履歴に基づいて推定された来訪者の名前と面会先の応対者の候補を推定している。ここで、来訪者3が過去に、複数の応対者と面会している場合が想定される。本実施形態では、行動実行部20は、過去の履歴に基づいて、面会先の応対者の候補を複数人推定し、この中から、今回の面会先の応対者を選べるようにしている。
応対者選択部26は、第1実施形態の処理に加えて、以下の処理も行う。応対者選択部26は、応対者の候補が複数の場合、複数の応対者候補の中から応対者を選択してもらう質問をシナリオに応じて生成し、生成した質問のテキストファイルを音声合成部12に出力する。応対者選択部26は、音声認識部221と言語理解部223によって検出結果に応じて、応対者を決定する。
図9は、本実施形態に係る受付システム1の受付動作を示すフローチャートである。
(ステップS201)受付システム1は、ステップS201の処理を、ステップS101(図5)と同様に行い、ステップS202の処理に進める。
(ステップS202)来訪者認識部21は、人情報統合部222が取得した顔画像が、受付情報保存部25に記憶されているか否かによって、来訪者3が初めての来訪であるか否かを、例えばパターンマッチングの手法によって判定する。来訪者認識部21は、来訪者3が初めての来訪であると判定した場合(ステップS202;YES)、ステップS203の処理に進み、来訪者3が初めての来訪ではないと判定した場合(ステップS202;NO)、ステップS212の処理に進む。すなわち、本実施形態でも、第1実施形態と同様に、来訪者3の来訪回数に基づいて、来訪者3への応対を変更している(変更手順)。
(ステップS203)来訪者3が初めての来訪であると判定した場合、受付システム1は、ステップS203〜ステップS211の処理を、ステップS103〜ステップS111(図5)と同様に行い、ステップS219の処理に進める。
このように、ステップS202で来訪者3が初めて来訪したと判定されると、本実施形態においても第1実施形態と同様に、ステップS203でロボットの役割の説明が行われ、ステップS204で来訪者3の名前を質問する処理が行われ、ステップS208で面会する応対者の名前を質問する処理が行われる。
一方、ステップS202において、来訪者3が初めての来訪でなければ(ステップS202:NO)、受付システム1は、第1実施形態と同様にステップS203〜ステップS211の処理をスキップして、ステップS212に処理を進める。
(ステップS212)来訪者認識部21は、ステップS212の処理を、ステップS112(図5)と同様に行い、ステップS213の処理に進める。
(ステップS213)応対者選択部26は、受付情報保存部25の来訪履歴データベース251の情報を用いて、来訪者に対応付けられている応対者が複数の場合、複数の応対者を選択することで、複数の応対者を推定する。
(ステップS214)呼出者選択部262は、複数の応対者の候補をソートする。なお、呼出者選択部262は、面会した回数が多い順にソートしてもよいし、面会日が近い順にソートしてもよい。なお、呼出者選択部262は、ソートした結果、候補の応対者が所定の人数以上の場合、上位から所定の人数の応対者を抽出するようにしてもよい。
(ステップS215)行動生成部261は、シナリオに応じて、ソートされた候補者の順に、来訪者3の名前と、面会する応対者の名前の候補を確認する音声情報を音声合成部12に出力することで、来訪者3に音声で提示する。
(ステップS216)来訪者3は、提示された中に、希望する応対者が存在するか否かを示す発話する。来訪者認識部21は、収音部11が収音した音声信号に対して音声認識と言語理解を行い、肯定を示す発話であるか否かの認識結果に基づいて、応対者の候補者の名前が正しいか否かを判定する。来訪者認識部21は、応対者の候補者の名前が正しいと判定した場合(ステップS216;YES)、ステップS219の処理に進め、応対者の候補者の名前が正しくないと判定した場合(ステップS216;NO)、ステップS217の処理に進める。
(ステップS217)行動生成部261は、面会する応対者を次の候補者に設定しステップS218に進める。
(ステップS218)行動生成部261は、次の候補者があるか否かを判定し、次の候補者があれば(ステップS218:YES)、ステップS215に処理を戻し、次の候補者がなければ(ステップS218:NO)、ステップS204に処理を戻す。受付システム1は、ステップS215からステップS218を繰り返すことで、応対者の候補が複数いる場合であっても、ステップS214でソートした順に、複数の応対者について、来訪者3の名前と、応対者の名前の候補を確認する音声が出力する。受付システム1は、肯定を示す発話が認識されたとき、その候補者を応対者に選択し、ステップS219の処理に進める。
以上のように、受付システム1は、ステップS202で来訪者3が初めての来訪ではないと判定すると、第1実施形態と同様に、ロボットの役割の説明、来訪者3の名前を質問する処理、面会する応対者の名前を質問する処理であるステップS203〜ステップS211の処理をスキップする。そして、受付システム1は、ステップS213及びステップS214で、過去の履歴を基に、複数の応対者の候補を抽出し、ステップS215からステップS218を繰り返すことで、ステップS214でソートした順に、複数の応対者について、来訪者3の名前と、面会する応対者の名前の候補を確認する音声を出力する。
(ステップS219)受付システム1は、ステップS219〜ステップS220の処理を、ステップS116〜ステップS117(図5)と同様に行う。
次に、本実施形態に係る受付システム1の受付動作の具体例を説明する。
図10及び図11は、本実施形態に係る受付システム1での動作の説明図である。本実施形態では、過去の来訪履歴から、来訪者3が過去に訪問したことがある応対者が面会先の候補として抽出される。そして、この応対者の候補が面会した回数が多い順に、又は、面会日が近い順にソートされる。図10は、訪問者(「山田様」)について抽出された3人の応対者を示している。図10の符号g201が示す領域の図は、訪問日時が現在の日時に近い順にソートした例である。訪問先は、直近の訪問先と同じであることが多いことから、訪問日時が近い順に面会先の候補をソートすると、候補者が正しい面会先の応対者となる確率が高くなる。また、図10の符号g202が示す領域の図は、訪問回数が多い順にソートした例である。訪問者は、同じ訪問先を訪問することが多いことから、訪問回数が多い順にソートすると、候補者が正しい面会先の応対者となる確率が高くなる。なお、訪問回数が同じ応対者が複数存在する場合、呼出者選択部262は、訪問日時を比較し、訪問日時が新しい応対者の方を訪問日時が古い応対者より上位にソートするようにしてもよい。または、呼出者選択部262は、あいうえお順やアルファベット順など予め定められている順にソートするようにしてもよい。
面会先の候補者である応対者が決まると、図11に示すように、ロボット2は、図10に示した面会先の候補の順に、訪問先の応対者を確認する発話を行う。ここでは、来訪者3の面会先は、第1開発部の三宅さんであるとする。また、訪問者の候補は、図10の符号g201が示す領域の図に示すように、訪問日時が現在の日時に近い順にソートされているとする。
まず、ロボット2は、訪問先の応対者を確認するR41(「田中様ですね。訪問先の担当者は、第2開発部の鈴木さんでしょうか?」を出力する。
来訪者3は、訪問先の応対者を確認する発話R41に応えて、面会先が正しいか否かの発話を発する。ここでは、来訪者3は、発話R41に対して、否定を示す発話H41(「違います。」)を行う。
ロボット2は、面会先の確認結果が否定であれば、次の候補に移り、訪問先の応対者を確認する発話R42(「訪問先の担当者は、第1開発部の三宅さんでしょうか?」を出力する。
来訪者3は、訪問先の応対者を確認する発話R42に応えて、面会先が正しいか否かの発話を発する。ここでは、来訪者3は、訪問先の応対者を確認する発話R42に対して、肯定を示す発話H42(「そうです。」)を行う。
ロボット2は、面会先の確認結果が肯定であれば、「第1開発部の三宅さん」の部署に電話を掛け、電話の呼び出し中であることを示す発話R43(「ただいま、三宅さんに電話をつないでいます。しばらくお待ちください。」)を行う。また、ロボット2は、電話の相手先に、「受け付けに田中さんが来たこと」を音声メッセージで伝える。そして、電話が繋がると、ロボット2は、電話が繋がったことを示す発話R44(「呼び出しがつながりました。担当者が来るまで、ソファにお掛けになってお待ち下さい。」)を出力する。
以上のように、本実施形態においても、来訪者が2回目以降の来訪の場合、来訪者への名前の確認や用件の質問を行わずに、撮像した画像に基づいて、来訪者と応対者の候補を選択する。そして、本実施形態では、応対者の候補が複数存在する場合、面会回数等に応じた順に、応対者の候補を音声で来訪者へ伝えることで確認する。これにより、来訪者は、音声による対応の手間を省くことができ、且つ適切な応対者を選択して、選択した応対者を呼び出すことができる。
<第3実施形態>
第2実施形態では、応対者の複数の候補を音声で確認する例を説明したが、これに限られない。本実施形態では、応対者の候補が複数存在する場合、表示部上に表示し、来訪者にタッチパネルを操作してもらうことで応対者を選択する例を説明する。
図12は、本実施形態に係る受付システム1Aの概略構成を示すブロック図である。図12に示すように、本実施形態に係る受付システム1Aは、受付部10、行動実行部20A、センサー31、人検出・人追跡部32、通知部40、端末45、表示部51、およびタッチパネル入力部52を備える。なお、受付システム1と同じ機能を有する機能部には、同じ符号を用いて説明を省略する。
行動実行部20Aは、来訪者認識部21、応対者認識部22、シナリオ記憶部24、受付情報保存部25、および応対者選択部26Aを備える。来訪者認識部21は、音声認識部221、人情報統合部222、および言語理解部223を含んで構成される。応対者認識部22は、音声認識部221および言語理解部223を含んで構成される。応対者選択部26Aは、行動生成部261、および呼出者選択部262Aを備える。
表示部51は、例えば液晶パネル、有機EL(エレクトロルミネッセンス)表示装置、電子インク表示装置等である。表示部51は、行動実行部20Aが出力するテキストファイルを表示する。なお、表示部51は、例えばスマートフォンなどの携帯電話、タブレット端末等であってもよく、行動実行部20Aと有線または無線によって接続されていてもよい。
タッチパネル入力部52は、表示部51の上面に設けられているタッチパネルセンサーである。タッチパネル入力部52は、来訪者3の操作を受け付け、受け付けた操作結果を示す情報を行動実行部20Aに出力する。
応対者選択部26Aの呼出者選択部262Aは、タッチパネル入力部52が検出した検出結果に応じて、応対者を決定する。
図13は、本実施形態に係る受付システム1Aの動作の説明図である。本実施形態では、第2実施形態と同様に、過去の来訪履歴から、来訪者3が過去に訪問したことがある応対者を候補として抽出する。そして、この応対者の候補が面会した回数が多い順に、又は、面会日が現在の日時に近い順にソートされる。図13の符号g301が示す領域の図は、訪問者(「山田様」)について抽出された3人の応対者を示している。これら3人の応対者は、面会日が近い順にソートされ、3人の面会先の候補者となる。
面会先の候補者が決まると、図13の符号g302が示す領域の図に示すように、表示部51には、複数の応対者の一覧が表示される。来訪者3は、この複数の応対者の一覧の表示から、タッチパネル入力部52の操作により、今回訪問する応対者を選ぶことができる。すなわち、図13の符号g302が示す領域の図に示すように、表示部51には、面会先の候補として、ソートされた3人の訪問先の応対者の名前と、「その他」とが表示される。訪問先の応対者の名前を選択した場合には、その応対者への電話連絡が行われる。「その他」が選択されると、来訪者3の音声入力により訪問先の応対者が決められ、音声入力により取得された応対者への電話連絡が行われる。
なお、上述した例では、来訪者3が、表示部51上に表示された画像を見て、タッチパネル入力部52を操作して応対者を選択する例を説明したが、これに限られない。受付システム1Aは、来訪者3が、表示部51上に表示された結果を見て、音声で希望する応対者の名前や表示されている番号等を発話した場合、発話された音声信号に対して音声認識を行うことで、応対者を選択するようにしてもよい。
以上のように、本実施形態では、表示部51に応対者の候補の一覧を表示し、その中から希望する応対者をタッチパネル入力部52の操作で来訪者3が選択する。これにより、本実施形態においても、来訪者が2回目以降の来訪の場合、来訪者への名前の確認や用件の質問を行わずに、撮像した画像に基づいて、来訪者と応対者の候補を選択する。そして、本実施形態では、応対者の候補が複数存在する場合、面会回数等に応じた順に、応対者の候補を表示部51上に表示することで来訪者へ伝えることで確認する。これにより、来訪者は、音声による対応の手間を省くことができ、且つ適切な応対者を選択して、選択した応対者を呼び出すことができる。
なお、受付システム1(または1A)は、センサー31の検出値または撮像部14が撮像した画像に基づいて、人の進行方向を検出し、来訪者であるか、打合せが終わって帰る人かを検出するようにしてもよい。そして、受付システム1(または1A)は、来訪者の場合に、受け付けシステムの動作を開始し、帰る人に、用件の質問等を繰り返して行わずに「お疲れ様でした」等の音声を発話するようにしてもよい。
なお、受付システム1(または1A)は、初めての来訪者と2回目以降の来訪者とで、行動を変更する例を説明したが、これに限られない。シナリオ記憶部24が記憶するシナリオに応じて、3回目以降等、来訪回数に応じて行動を切り替え、質問等をスキップしたり、異なる処理を行うようにしてもよい。この場合、シナリオ記憶部24は、予め来訪者の来訪回数に応じたシナリオを記憶する。
例えば、受付システム1(または1A)は、来訪者3の顔画像とともに、来訪者の名前と来訪日時を記憶しておき、最後の来訪から一定期間、例えば1年間見えなかったお客様には、「A様、ご無沙汰しております」と挨拶し、その他のお客様に対しては「A様、いつもご利用ありがとうございます」と挨拶するように、来訪者3の来訪履歴に応じて挨拶を変えるようにしてもよい。来訪者3に応じて挨拶を変えることにより、ロボットはお客様を理解していることをアピールでき、お客様はスムースに対話を開始できる。
また、受付システム1(または1A)は、来訪者3とロボット2が同時に発話した場合、ロボット2の発話を停止したり、次にロボット2が発話する場合に、間を空けてから発話を開始するようにしてもよい。このようにすると、スムースなターンテイキングを実現でき、初来訪のお客様でもスムースな対話ができる。
また、来訪者認識部21が、来訪者3が初めて来訪したか否かを判定する際、撮像部14で撮影した来訪者3の顔画像と、来訪履歴データベース251の顔画像とのマッチング演算を行う。来訪者認識部21は、マッチングの程度に応じて、シナリオを変えるようにしてもよい。例えば、撮像部14で撮影した来訪者3の顔画像と、来訪履歴データベース251の顔画像とのマッチング量に閾値を設け、マッチング量が閾値以上の場合、受付システム1(または1A)は、「A様ですね」と挨拶をし、マッチング量が閾値以下の場合には、「A様でよろしかったでしょうか」と挨拶するようにしてもよい。
以上のように、上述した実施形態によれば、撮像した画像に基づいて、シナリオに基づく来訪者3へ提示に対する応対を変更するようにしたので、冗長な受付業務が簡素化できる。
また、上述した実施形態によれば、複数回訪れている来訪者3に対して、毎回来訪者3の所属や名前を伺う必要がなくなるので、来訪者3の負荷を減らすことができる。
また、上述した実施形態によれば、受付履歴に基づいて応対者の候補を来訪者3に提示するので、候補者が来訪者3の所望する応対者となる確率を上げることができる。
また、上述した実施形態によれば、来訪者3は、応対者を一覧表示で見ることができ、所望の応対者を選択しやすくなるという効果を奏する。
また、上述した実施形態によれば、来訪者3の進行方向に応じて応対を変更するようにしたので、冗長な受付業務が簡素化できる。
なお、受付システム1の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
1、1A…受付システム、10…受付部、11…収音部、12…音声合成部、13…音声出力部、14…撮像部、15…顔検出・顔認識部、20、20A…行動実行部、21…来訪者認識部、22…応対者認識部、24…シナリオ記憶部、25…受付情報保存部、26、26A…応対者選択部、31…センサー、32…人検出・人追跡部、40…通知部、42…架電部、43…発信部、44…ネットワーク、45…端末、51…表示部、52…タッチパネル入力部、221…音声認識部、222…人情報統合部、223…言語理解部、251…来訪履歴データベース、252…所員データベース、261…行動生成部、262、262A…呼出者選択部

Claims (9)

  1. 画像を撮影する撮像部と、
    過去に来訪した来訪者の画像と、当該来訪者が過去に来訪した応対者の情報とを関連付けて記憶する受付情報保存部と、
    前記来訪者への応対に関するシナリオに基づいて来訪者に対する質問を生成し、当該質問に対する来訪者からの応答により情報を取得する行動実行部と、
    を備え、
    前記行動実行部は、
    前記撮像部が撮影した前記画像に対応する画像を前記受付情報保存部が記憶しているか否かに応じて、前記シナリオに基づく前記来訪者へ提示に対する応対を変更し、
    前記来訪者に対して、当該来訪者が過去に来訪した履歴を前記受付情報保存部に記憶し、前記撮像部が撮影した前記画像に対応する画像が前記受付情報保存部に記憶されている場合、前記受付情報保存部が記憶する前記履歴に基づいて、前記応対者の候補を選択し、選択した前記応対者の候補が複数のとき、前記複数の応対者を候補者として前記来訪者に音声信号を用いて提示し、当該質問に対する応答の音声信号に対して音声認識を行った結果に基づいて、前記来訪者に対応する応対者を選択する、
    受付システム。
  2. 画像を撮影する撮像部と、
    過去に来訪した来訪者の画像と、当該来訪者が過去に来訪した応対者の情報とを関連付けて記憶する受付情報保存部と、
    前記来訪者への応対に関するシナリオに基づいて来訪者に対する質問を生成し、当該質問に対する来訪者からの応答により情報を取得する行動実行部と、
    を備え、
    前記行動実行部は、
    前記撮像部が撮影した前記画像に対応する画像を前記受付情報保存部が記憶しているか否かに応じて、前記シナリオに基づく前記来訪者へ提示に対する応対を変更し、
    前記来訪者に対して、当該来訪者が過去に来訪した履歴を前記受付情報保存部に記憶し、前記撮像部が撮影した前記画像に対応する画像が前記受付情報保存部に記憶されている場合、前記受付情報保存部が記憶する前記履歴に基づいて、前記応対者の候補を選択し、選択した前記応対者が複数のとき、前記複数の応対者を候補者として前記来訪者に画像を用いて提示する、
    受付システム。
  3. 前記来訪者が希望する応対者に、当該来訪者が訪れた旨を通知する通知部、を備え
    記通知部は、
    前記行動実行部が選択した前記応対者に、当該来訪者が訪れた旨を通知する、請求項1または請求項2に記載の受付システム。
  4. 前記行動実行部は、
    前記撮像部が撮影した前記画像に対応する画像が前記受付情報保存部に記憶されていない場合、前記来訪者の情報と前記応対者の情報とを取得するための質問を前記シナリオに応じて前記来訪者に音声信号を用いて行い、当該質問に対する応答の音声信号に対して音声認識を行った結果に基づいて、前記来訪者に対応する応対者を選択する、請求項1から請求項3のいずれか1項に記載の受付システム。
  5. 前記行動実行部は、
    選択した前記応対者の候補が複数のとき、訪問したことが多い順に前記応対者の候補を提示する、請求項または請求項に記載の受付システム。
  6. 前記行動実行部は、
    選択した前記応対者の候補が複数のとき、最近訪問したことがある順に前記応対者の候補を提示する、請求項または請求項に記載の受付システム。
  7. 前記来訪者の進行方向を検出する検出部、を備え、
    前記行動実行部は、
    前記検出部が検出した前記来訪者の進行方向、および前記撮像部が撮像した前記画像から前記来訪者の進行方向を検出した進行方向のうちの少なくとも1つに基づいて、前記来訪者へ提示に対する応対を変更する、請求項1から請求項のいずれか1項に記載の受付システム。
  8. 撮像部が、画像を撮影する撮像手順と、
    行動実行部が、過去に来訪した来訪者の画像と、当該来訪者が過去に来訪した応対者の情報とを関連付けて受付情報保存部に記憶する記憶手順と、
    前記行動実行部が、前記来訪者への応対に関するシナリオに基づいて来訪者に対する質問を生成し、当該質問に対する来訪者からの応答により情報を取得する手順と、
    前記行動実行部が、前記撮像手順によって撮影された前記画像に対応する画像を前記受付情報保存部が記憶しているか否かに応じて、前記来訪者への応対に関するシナリオに基づく前記来訪者へ提示に対する応対を変更する変更手順と、
    前記行動実行部が、前記来訪者に対して、当該来訪者が過去に来訪した履歴を前記受付情報保存部に記憶させ、前記撮像手順によって撮影された前記画像に対応する画像が前記受付情報保存部に記憶されている場合、前記受付情報保存部が記憶する前記履歴に基づいて、前記応対者の候補を選択し、選択した前記応対者の候補が複数のとき、前記複数の応対者を候補者として前記来訪者に音声信号を用いて提示し、当該質問に対する応答の音声信号に対して音声認識を行った結果に基づいて、前記来訪者に対応する応対者を選択する手順と、
    を含む受付方法。
  9. 撮像部が、画像を撮影する撮像手順と、
    行動実行部が、過去に来訪した来訪者の画像と、当該来訪者が過去に来訪した応対者の情報とを関連付けて受付情報保存部に記憶する記憶手順と、
    前記行動実行部が、前記来訪者への応対に関するシナリオに基づいて来訪者に対する質問を生成し、当該質問に対する来訪者からの応答により情報を取得する手順と、
    前記行動実行部が、前記撮像手順によって撮影された前記画像に対応する画像を前記受付情報保存部が記憶しているか否かに応じて、前記来訪者への応対に関するシナリオに基づく前記来訪者へ提示に対する応対を変更する変更手順と、
    前記行動実行部が、前記来訪者に対して、当該来訪者が過去に来訪した履歴を前記受付情報保存部に記憶させ、前記撮像部によって撮影された前記画像に対応する画像が前記受付情報保存部に記憶されている場合、前記受付情報保存部が記憶する前記履歴に基づいて、前記応対者の候補を選択し、選択した前記応対者が複数のとき、前記複数の応対者を候補者として前記来訪者に画像を用いて提示する手順と、
    を含む受付方法。
JP2016066568A 2016-03-29 2016-03-29 受付システム及び受付方法 Active JP6710562B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016066568A JP6710562B2 (ja) 2016-03-29 2016-03-29 受付システム及び受付方法
US15/470,088 US10245732B2 (en) 2016-03-29 2017-03-27 Reception system and reception method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016066568A JP6710562B2 (ja) 2016-03-29 2016-03-29 受付システム及び受付方法

Publications (2)

Publication Number Publication Date
JP2017182334A JP2017182334A (ja) 2017-10-05
JP6710562B2 true JP6710562B2 (ja) 2020-06-17

Family

ID=59960148

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016066568A Active JP6710562B2 (ja) 2016-03-29 2016-03-29 受付システム及び受付方法

Country Status (2)

Country Link
US (1) US10245732B2 (ja)
JP (1) JP6710562B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102304701B1 (ko) * 2017-03-28 2021-09-24 삼성전자주식회사 사용자의 음성 입력에 대한 답변을 제공하는 방법 및 장치
CN108932946B (zh) * 2018-06-29 2020-03-13 百度在线网络技术(北京)有限公司 客需服务的语音交互方法和装置
JP7047656B2 (ja) * 2018-08-06 2022-04-05 日本電信電話株式会社 情報出力装置、方法およびプログラム
JP6662979B1 (ja) * 2018-09-26 2020-03-11 セガサミーホールディングス株式会社 訪問者管理システムおよび訪問者管理プログラム
CN109378001A (zh) * 2018-12-27 2019-02-22 北京猎户星空科技有限公司 一种语音交互方法、装置、电子设备及可读存储介质
JP7273538B2 (ja) * 2019-02-26 2023-05-15 パナソニックホールディングス株式会社 装置、方法、及びプログラム
CN110450174A (zh) * 2019-08-02 2019-11-15 深圳市三宝创新智能有限公司 一种前台机器人的导航领路方法
US20220270425A1 (en) * 2020-03-17 2022-08-25 Nec Corporation Visit assistance device, visit assistance system, visit assistance method, and non-transitory computer-readable medium having program stored therein
WO2022009380A1 (ja) * 2020-07-09 2022-01-13 日本電気株式会社 サーバ装置、入退場管理システム、サーバ装置の制御方法及び記憶媒体
CN112102549B (zh) * 2020-09-14 2022-02-15 煤炭工业合肥设计研究院有限责任公司 一种基于云平台的智慧工地管理系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07234694A (ja) * 1994-02-21 1995-09-05 N T T Data Tsushin Kk 自動受付装置
JP2003208493A (ja) * 2002-01-11 2003-07-25 Fujitsu Ltd 企業エントランスにおける自動受付に関する方法
JP4072033B2 (ja) * 2002-09-24 2008-04-02 本田技研工業株式会社 受付案内ロボット装置
JP2004126794A (ja) * 2002-09-30 2004-04-22 Ntt Comware Corp 受付装置および受付方法、並びに受付プログラム
JP4594857B2 (ja) 2005-12-12 2010-12-08 本田技研工業株式会社 受付システム
JP2008083954A (ja) * 2006-09-27 2008-04-10 Brother Ind Ltd 案内先決定装置及び案内先決定プログラム
JP2011076332A (ja) * 2009-09-30 2011-04-14 Brother Industries Ltd 情報処理装置、情報処理システム、サーバ、応対端末、情報処理方法及び情報処理プログラム
US9049259B2 (en) * 2011-05-03 2015-06-02 Onepatont Software Limited System and method for dynamically providing visual action or activity news feed
US10217117B2 (en) * 2011-09-15 2019-02-26 Stephan HEATH System and method for social networking interactions using online consumer browsing behavior, buying patterns, advertisements and affiliate advertising, for promotions, online coupons, mobile services, products, goods and services, entertainment and auctions, with geospatial mapping technology
US8972357B2 (en) * 2012-02-24 2015-03-03 Placed, Inc. System and method for data collection to validate location data
US20160098804A1 (en) * 2014-10-07 2016-04-07 Intuit Inc. Method and system for using interchangeable analytics modules to provide tax return preparation systems
US10026328B2 (en) * 2014-10-21 2018-07-17 i-Human Patients, Inc. Dynamic differential diagnosis training and evaluation system and method for patient condition determination

Also Published As

Publication number Publication date
US10245732B2 (en) 2019-04-02
US20170282373A1 (en) 2017-10-05
JP2017182334A (ja) 2017-10-05

Similar Documents

Publication Publication Date Title
JP6710562B2 (ja) 受付システム及び受付方法
JP6947852B2 (ja) 複数のコンピューティングデバイスを使用したインターホン式の通信
CN112075075B (zh) 用于促进远程会议的方法和计算机化智能助理
US10354295B2 (en) Reception system and reception method
JP4718987B2 (ja) インターフェース装置およびそれを備えた移動ロボット
JP5724125B2 (ja) 音源定位装置
JP6540414B2 (ja) 音声処理装置および音声処理方法
CN108847225B (zh) 一种机场多人语音服务的机器人及其方法
WO2010010736A1 (ja) 会議画像生成方法、会議システム、サーバ装置及び会議装置等
CN103685783A (zh) 信息处理系统和存储介质
KR101584685B1 (ko) 시청 데이터를 이용한 기억 보조 방법
US20120242860A1 (en) Arrangement and method relating to audio recognition
JP2022111128A (ja) 警備システム及び監視表示装置
JP2010109898A (ja) 撮影制御装置、撮影制御方法及びプログラム
Tasaki et al. Dynamic communication of humanoid robot with multiple people based on interaction distance
CN105869631B (zh) 语音预测的方法和装置
US11709065B2 (en) Information providing device, information providing method, and storage medium
JPH07234694A (ja) 自動受付装置
JP2013257418A (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP2021076715A (ja) 音声取得装置、音声認識システム、情報処理方法、及び情報処理プログラム
JP2013115622A (ja) 音声情報解析装置および音声情報解析プログラム
US11961534B2 (en) Identifying user of voice operation based on voice information, voice quality model, and auxiliary information
Tasaki et al. Dynamic communication of humanoid robot with multiple people based on interaction distance
WO2023210052A1 (ja) 音声分析装置、音声分析方法及び音声分析プログラム
JP2018054926A (ja) 音声対話装置および音声対話方法

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181005

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191105

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200519

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200527

R150 Certificate of patent or registration of utility model

Ref document number: 6710562

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150