JP7273637B2 - ロボット管理装置、ロボット管理方法およびロボット管理システム - Google Patents

ロボット管理装置、ロボット管理方法およびロボット管理システム Download PDF

Info

Publication number
JP7273637B2
JP7273637B2 JP2019132083A JP2019132083A JP7273637B2 JP 7273637 B2 JP7273637 B2 JP 7273637B2 JP 2019132083 A JP2019132083 A JP 2019132083A JP 2019132083 A JP2019132083 A JP 2019132083A JP 7273637 B2 JP7273637 B2 JP 7273637B2
Authority
JP
Japan
Prior art keywords
group
visitor
robot
unit
facility
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019132083A
Other languages
English (en)
Other versions
JP2021018481A (ja
Inventor
浩之 坂口
智宏 塚本
夢 ▲柳▼田
敬一郎 新井
由樹 達富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2019132083A priority Critical patent/JP7273637B2/ja
Priority to CN202010642903.5A priority patent/CN112238454B/zh
Publication of JP2021018481A publication Critical patent/JP2021018481A/ja
Application granted granted Critical
Publication of JP7273637B2 publication Critical patent/JP7273637B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Manipulator (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、ロボット管理装置およびロボット管理方法ならびにこれらを用いるロボット管理システムに関する。
昨今、人手不足を解消する手段の一つとして、案内ロボットを用いたロボット制御システムに関する様々な技術が提案されている(例えば特許文献1参照)。特許文献1記載のロボット制御システムでは、案内ロボット(コミュニケーションロボット)が、来訪者に対して、例えば展示物についての説明をしたり、展示会場を案内したりする。
特許第6142306号公報
しかし、施設に来訪する来訪者の中には、施設側からのコミュニケーションを望む者もいれば、該コミュニケーションを望まない者もいる。また施設には、グループで来訪する場合が多い。施設側としては、これらの者(グループ)に対して適当な接客をすることが望ましく、限られた案内ロボットを用いて、施設側が来訪者グループに対して適当な接客を図れる技術が所望されている。
本発明の一態様は、施設に来訪した来訪者グループに対しサービスを行う自走可能な案内ロボットを派遣させるロボット管理装置である。ロボット管理装置は、施設に設置された撮像部により撮像される施設内画像を取得する施設内画像取得部と、施設内画像取得部が取得した施設内画像から施設に来訪した来訪者グループを特定する来訪者グループ特定部と、来訪者グループ特定部にて特定された来訪者グループを構成する複数の来訪者の感情を施設内画像に基づいて推定し、来訪者グループのグループ感情を特定するグループ感情特定部と、グループ感情特定部にて特定されたグループ感情に基づいて、来訪者グループの下に案内ロボットが派遣されるように案内ロボットに移動を指示するロボット移動指示部と、来訪者グループを構成する来訪者を案内ロボットが撮像したロボット撮像画像を取得するロボット画像取得部と、を備え、グループ感情特定部は、ロボット画像取得部が取得したロボット撮像画像に基づいて来訪者の感情を推定し、来訪者グループのグループ感情を更新する。
また本発明の他の態様は、施設に来訪した来訪者グループに対しサービスを行う自走可能な案内ロボットを管理するロボット管理方法である。ロボット管理方法は、コンピュータによりそれぞれ実行される、施設に設置された撮像部により撮像される施設内画像を取得する施設内画像取得ステップと、施設内画像取得ステップにて取得した施設内画像から施設に来訪した来訪者グループを特定する来訪者グループ特定ステップと、来訪者グループ特定ステップにて特定された来訪者グループを構成する複数の来訪者の感情を施設内画像に基づいて推定し、来訪者グループのグループ感情を特定するグループ感情特定ステップと、グループ感情特定ステップにて特定されたグループ感情に基づいて、来訪者グループの下に案内ロボットが派遣されるように案内ロボットに移動を指示するロボット移動指示ステップと、来訪者グループを構成する来訪者を案内ロボットが撮像したロボット撮像画像を取得するロボット画像取得ステップと、を備え、グループ感情特定ステップは、ロボット画像取得ステップにて取得したロボット撮像画像に基づいて来訪者の感情を推定し、来訪者グループのグループ感情を更新する。
さらに本発明の他の態様であるロボット管理システムは、上述のロボット管理装置と、施設に設置され、ロボット管理装置と通信可能な撮像部と、施設に配置され、自走可能かつロボット管理装置と通信可能な案内ロボットと、を備える。
本発明によれば、限られた案内ロボットを用いて、施設に来訪する来訪者グループに対して施設側による適当な接客を図ることができる。
本発明の実施形態に係るロボット管理装置を構成するサーバ装置を用いたロボット管理システムの概略構成図。 図1に示すロボット管理システムを構成する案内ロボットを模式的に示す斜視図。 図1に示すロボット管理システムの要部構成を示すブロック図。 図3に示すサーバ装置の要部構成を示すブロック図。 図3のサーバ装置の演算部で実行される案内ロボット派遣処理の一例を示すフローチャート。 図3のサーバ装置の演算部で実行される来訪者特定処理の一例を示すフローチャート。 図3のサーバ装置の演算部で実行される来訪者グループ特定処理の一例を示すフローチャート。
以下、図1~図7を参照して本発明の一実施形態について説明する。本発明の実施形態に係るロボット管理装置は、施設内に設置された撮像部が撮像する施設内画像に基づいて、施設に来訪した来訪者グループを特定する。例えば、施設内画像に写る来訪者それぞれの顔画像に基づいて来訪者を特定し、これら来訪者により構成される来訪者グループを特定する。
そして、来訪者グループを構成する各来訪者の感情を推定し、来訪者グループのグループ感情を特定する。例えば、各来訪者の顔画像から各来訪者の機嫌の良し悪しを推定し、これらから来訪者グループとしてのグループ感情を特定する。例えば、機嫌の良い来訪者が相対的に多いグループの場合は機嫌の良いグループと特定し、例えば機嫌の良い来訪者が相対的に少ないグループの場合は機嫌の悪いグループと特定する。そして、特定したグループ感情に基づいて、施設内に配置された案内ロボットを来訪者グループの下に派遣させる。例えば、機嫌が悪いグループと特定された来訪者グループを優先して、当該来訪者グループの下に案内ロボットを派遣させる。
このように、グループ感情が悪い(機嫌が悪い)来訪者グループに優先して案内ロボットを派遣して、案内ロボットにコミュニケーションをとらせるので、来訪者グループの機嫌を向上させたり、機嫌の悪化を抑制したりすることができる。例えば長時間待たされて機嫌の悪くなった来訪者グループの下に案内ロボットを派遣してコミュニケーションをとらせることで、機嫌よくさせたり、さらに機嫌が悪くなることを抑制したりすることができる。これにより、その後の施設員等による接客をスムーズに行わせることができる。
また例えば、案内ロボットを施設内に多数配置すると、来場者に威圧感を与えかねず、施設側のコストも増大するが、来訪者グループのグループ感情に基づいて案内ロボットを派遣することで、限られた案内ロボットを用いた効率的なコミュニケーションが可能になる。例えば、グループ感情が悪い(機嫌が悪い)来訪者グループに優先して案内ロボットを派遣することで、限られた案内ロボットによる効率的なコミュニケーションが可能になる。
また例えば、来訪者グループに対して、案内ロボットに予め要件を訊かせたり、簡単な案内をさせたりすることができる。例えば、長時間待たされている来訪者や長い待ち時間が予想される来訪者グループに対して、予め、案内ロボットに要件等を訊かせたり、簡単な案内をさせたりすることができる。これにより、その後の施設員等による効率的な接客が可能になる。
このように、ロボット管理装置を用いることで、例えば、限られた案内ロボットを用いた効率的かつスムーズな接客が可能になる。
本実施形態のロボット管理システムでは、上述のロボット管理装置と、施設内に設置され、ロボット管理装置と通信可能なカメラ等の撮像部と、施設に配置され、自走可能かつロボット管理装置と通信可能な上述の案内ロボットとを用い、上述のようなロボット派遣案内サービスを提供する。このように、ロボット管理システムを用いてロボット派遣案内サービスを提供することで、例えば、限られた案内ロボットを用いた効率的かつスムーズな接客が可能になる。
上述のようなロボット派遣案内サービスを提供する事業体としては、例えば、各種商品を小売販売する販売店、美術館、博物館、画廊およびギャラリー等の美術関連施設、科学館、記念館、展覧会、ワークショップ等が挙げられる。各種商品を小売販売する販売店としては、例えば、デパート、スーパー、専門販売店等が挙げられる。専門販売店としては、各種専門販売店や自動車販売店等が挙げられる。以下の実施形態では、ロボット管理装置をサーバ装置により構成し、このサーバ装置を自動車販売店に設置して、自動車販売店のショールームを来訪した来訪者の下に、該ショールームに配置した案内ロボットを派遣する例を説明する。
図1は、本発明の実施形態に係るロボット管理装置を構成するサーバ装置4を用いたロボット管理システム100の概略構成図である。図1に示すように、本実施形態に係るサーバ装置4を用いたロボット管理システム100では、展示車両2が展示される自動車販売店のショールーム1に自走可能な案内ロボット3が配置される。そして、ショールーム1に訪れる来訪者グループを、ショールーム1の天井10に設置された複数の撮像部11それぞれにて撮像するショールーム内画像から特定する。例えば、ショールーム内画像に写る複数の来訪者それぞれの顔画像に基づいて各来訪者を特定し、これら来訪者により構成される来訪者グループを特定する。
さらにショールーム内画像から、特定した来訪者グループのグループ感情を特定する。例えばショールーム内画像に基づいて特定された複数の来訪者それぞれの感情を推定し、推定した複数の感情からグループ感情を特定する。そして案内ロボット3は、特定されたグループ感情に基づいて、来訪者グループの下に移動する。本実施形態では、案内ロボット3は、相対的に機嫌が悪い来訪者グループの下に優先的に派遣される。
例えば、図1に示すように、三人の来訪者A,B,Cで構成される友人グループ101と、二人の来訪者D,Eで構成される親子グループ102がショールーム1を来訪した場合、サーバ装置4は、複数の撮像部11が撮像したショールーム内画像から、友人グループ101および親子グループ102のグループ感情を特定する。
サーバ装置4は、友人グループ101を構成する来訪者A~Cの感情を推定し、例えば、来訪者Aおよび来訪者Bの機嫌がよく、来訪者Cの機嫌が悪いと推定した場合、友人グループ101のグループ感情を「機嫌やや良」と特定する。同様に、サーバ装置4は、親子グループ102を構成する来訪者D,Eの感情を推定し、例えば、来訪者D(例えば親)の機嫌が良く、来訪者E(例えば子供)の機嫌が悪い場合、親子グループ102のグループ感情を「機嫌やや悪」と特定する。なお、各来訪者の感情は、来訪者の仕草や挙動等に基づいて推定することができる。
そして、サーバ装置4は、相対的に機嫌の悪い方のグループ、すなわち親子グループ102の下に案内ロボット3が派遣されるように、案内ロボット3に親子グループ102の下への移動を指示する。親子グループ102の下に移動した案内ロボット3は、親子グループ102を構成する来訪者Dおよび来訪者Eとコミュニケーションを図るサービスを行う。例えば、来訪者Eの遊び相手になったり、来訪者Dに対して、来訪の要件を訊いたり、簡単な案内をしたりすることで、親子グループ102とコミュニケーションを図る。
ここで、案内ロボット3について、図2を参照しながら簡単に説明する。図2は、図1に示すロボット管理システム100を構成する案内ロボット3を模式的に示す斜視図である。図2に示すように、案内ロボット3は、直立させた略ひょうたん型に形成されており、括れ部302を中心に上方が頭部301を構成し、下方が胴部303を構成する。案内ロボット3は、頭部301が胴部303よりも僅かに大きい略2頭身に形成されており、全体として愛嬌や温かみのある形状となっている。本実施形態では、案内ロボット3は110cm前後の身長を有する。
また案内ロボット3には手足がなく、胴部303の下端に設けられる走行装置304により前後左右および斜め方向等、360度如何なる方向にも移動自在に構成される。なお、走行装置304の具体的構成については、ここではその説明を省略する。このように案内ロボット3は、頭部301が胴部303よりも若干大きく、かつ手足のない形状を有することで、例えば子供が抱きつき易く、子供とのコミュニケーションを図りやすい形状となっている。また案内ロボット3は、走行装置304が前後方向および左右方向に揺れながらの動作を可能とするので、来訪者が接近等に気付き易く、来訪者とのコミュニケーションを図りやすい動き等が可能となっている。
案内ロボット3の頭部301には、水平方向に長い略楕円形状の顔部305が設けられており、顔部305は案内ロボット3の表情や簡単な文字画像等を表示可能に構成される。本実施形態では、案内ロボット3の顔部305には眼を表現する一対の擬似眼306,306が表示されており、一対の擬似眼306,306で色んな表情を表現可能に構成される。例えば、一対の擬似眼306,306の形状を変化させることで、喜怒哀楽等の表情を表現可能になる。本実施形態では、さらに口を表現する擬似口307が表示されており、一対の擬似眼306,306および擬似口307の形状を変化させることで、表情の変化を分かり易くさせている。
また案内ロボット3は、顔部305の中で一対の擬似眼306,306の位置を移動可能に構成される。案内ロボット3は、顔部305内で一対の擬似眼306,306の位置を変えることで視線を動かす動作を表現する。案内ロボット3は、来訪者の前で一対の擬似眼306,306の位置を変えて視線を動かす動作を表現することで、来訪者の視線を誘導する。このとき案内ロボット3に視線の移動に連動させて回転動作等を行わせることで、より来訪者の視線を誘導し易くなる。
上述のように形成された案内ロボット3を例えば親子グループ102の下に派遣させ、案内ロボット3に来訪者Eの遊び相手をさせたり、来訪者Dに対して、来訪の要件を訊いたり、簡単な案内をしたりする。また例えば友人グループ101の下に派遣させ、来訪者A~Cを特定させ易くする。例えば来訪者A~Cのいずれかの顔画像が抽出不能で来訪者を特定不能の場合に、友人グループ101に近づいて撮像部11に撮像させ易くする。このような自動車販売店によるロボット派遣案内サービスの提供を良好に実現するため、本実施形態では、以下のようなサーバ装置4を用いたロボット管理システム100を構成する。
図3は、図1に示すロボット管理システム100の要部構成を示すブロック図であり、図4は、図3に示すサーバ装置4の要部構成を示すブロック図である。図1に示すように、本実施形態に係るロボット管理システム100は、自動車販売店のショールーム1の天井10に設置される撮像部11と、ショールーム1内に配置される自走可能な案内ロボット3と、自動車販売店が有するサーバ装置4とを備える。
図3に示すように、撮像部11、案内ロボット3およびサーバ装置4は、無線通信網、インターネット、電話回線網などの通信ネットワーク5に接続される。図3には、便宜上、1つの撮像部11しか示されていないが、図1に示すように、撮像部11は実際には複数存在する。同様に、図3には、1つの案内ロボット3しか示されていないが、案内ロボット3を複数配置することも可能である。なお、案内ロボット3をショールーム1内に多数配置すると、来場者に威圧感を与えかねず、自動車販売店側のコストも増大することから、案内ロボット3の台数は少ないことが好ましい。
図3に示すように、撮像部11は、通信部111と、カメラ部112と、センサ部113と、記憶部114と、演算部115とを有する。通信部111は、通信ネットワーク5を介してサーバ装置4および案内ロボット3と無線通信可能に構成される。カメラ部112は、CCDやCMOS等の撮像素子を有するカメラであり、ショールーム1を訪れた来訪者を撮像可能に構成される。センサ部113は、動体検知センサや人感センサ等のセンサであり、ショールーム1を訪れた来訪者のショールーム内の位置や動きを検出可能に構成される。カメラ部112およびセンサ部113は、ショールーム1を訪れる来訪者がショールーム1内の何れの位置に居ても撮像および検知可能となるように、ショールーム1の天井10に複数配置される。
記憶部114は、図示しない揮発性または不揮発性メモリを有する。記憶部114には、演算部115が実行する各種プログラムやデータ等が記憶される。例えば記憶部114には、カメラ部112が撮像したショールーム内画像およびセンサ部113が検出した来訪者の位置情報が一時的に記憶させる。
演算部115はCPUを有し、通信部111を介して撮像部11の外部から受信した信号および記憶部114に記憶された各種プログラム等に基づいて所定の処理を実行し、通信部111、カメラ部112、センサ部113および記憶部114に所定の制御信号を出力する。
例えば演算部115は、通信部111を介してサーバ装置4から受信した信号および所定のプログラムに基づいて、カメラ部112にショールーム1を撮像させる制御信号を出力するとともに、センサ部113に来訪者の位置を検出させる制御信号を出力する。そして演算部115は、撮像したショールーム内画像および検出した来訪者の位置情報を、通信部111を介してサーバ装置4に送信させる制御信号を出力する。演算部115でのこの処理により、ショールーム1内が撮像されるとともに来訪者の位置が検出され、サーバ装置4にショールーム内画像および来訪者の位置情報が送信される。
図3に示すように、案内ロボット3は、機能的構成として、通信部31と、入力部32と、出力部33と、カメラ部34と、走行部35と、センサ部36と、記憶部37と、演算部38とを有する。通信部31は、通信ネットワーク5を介してサーバ装置4および撮像部11と無線通信可能に構成される。入力部32は、メンテナンス時等に操作可能な各種スイッチボタン(図示せず)、および来訪者等の音声を入力可能なマイク(図示せず)等を有する。
出力部33は、音声を出力可能なスピーカ(図示せず)と、画像を表示可能な表示部331とを有する。表示部331は案内ロボット3の上述した顔部305を構成し、表示部331には上述した一対の擬似眼306,306や文字画像等が表示される。表示部331は、一対の擬似眼306,306や文字画像等を表示可能に構成されていればよく、例えば液晶パネルや、プロジェクタおよびスクリーン等により構成される。
カメラ部34は、CCDやCMOS等の撮像素子を有するカメラであり、ショールーム1を訪れた来訪者を撮像可能に構成される。カメラ部34は、例えば、案内ロボット3の頭部301に設けられる。頭部301にカメラ部34を設けることで、来訪者の顔を撮像し易くなる。またカメラ部34は、来訪者の顔を撮像する観点から、案内ロボット3の一対の擬似眼306,306の近くに設けることが好ましい。
走行部35は、案内ロボット3を自走させる上述の走行装置304により構成される。走行部35はバッテリおよびモータを有しており、バッテリの電気でモータを駆動して走行するように構成される。走行部35は、公知の電動技術を用いて構成可能である。センサ部36は、走行速度センサ、加速度センサおよびジャイロセンサ等の案内ロボット3の走行および停止状態を検出するセンサや、障害物センサ、人感センサおよび動体センサ等の案内ロボット3の周囲の状態を検出するセンサ等の各種センサを有する。
記憶部37は、図示しない揮発性または不揮発性メモリを有する。記憶部37には、演算部38が実行する各種プログラムやデータ等が記憶される。また記憶部37には、来訪者との接客内容に関するデータ等が一時的に記憶される。例えば、案内ロボット3が訊き出した来訪者の要件や案内ロボット3が行った来訪者への説明等が一時的に記憶される。
記憶部37には、メモリが担う機能的構成の一例として、ショールームデータベース371と、コミュニケーション用データベース372とが記憶される。ショールームデータベース371には、例えば、ショールーム1内に配置される展示車両2やテーブル等の配置に対応したデータが記憶される。ショールームデータベース371は、案内ロボット3がショールーム内を移動する際に参照される。コミュニケーション用データベース372には、案内ロボット3が来訪者とコミュニケーションを図る際の音声認識処理や音声出力処理に対応したデータ等が記憶される。コミュニケーション用データベース372は、案内ロボット3が来訪者とコミュニケーションを図る際に参照される。
演算部38はCPUを有し、通信部31を介して案内ロボット3の外部から受信した信号、入力部32を介して入力された信号、センサ部36により検出された信号、記憶部37に記憶された各種プログラムやデータ等に基づいて所定の処理を実行し、通信部31、出力部33、カメラ部34、走行部35および記憶部37に所定の制御信号を出力する。
例えば演算部38は、通信部31を介してサーバ装置4から受信した信号およびセンサ部36が検出する信号に基づいて、走行部35および記憶部37に制御信号を出力する。演算部38でのこの処理により、案内ロボット3が来訪者の下に派遣される。また例えば演算部38は、通信部31を介してサーバ装置4から受信した信号に基づいて、カメラ部34および通信部31に制御信号を出力する。演算部38でのこの処理により、来訪者の顔が撮像され、撮像された顔画像がサーバ装置4に送信される。
また例えば演算部38は、通信部111を介してサーバ装置4から受信した信号に基づいて、出力部33(表示部331)に制御信号を出力する。演算部38でのこの処理により、案内ロボット3の表情を変えたり、一対の擬似眼306,306の視線を変化させたりする。また例えば演算部38は、入力部32を介して入力された信号に基づいて、出力部33および記憶部37に制御信号を出力する。演算部38でのこの処理により、案内ロボット3が来訪者とコミュニケーションを図れるようになる。
図4に示すように、サーバ装置4は、通信部41と、入力部42と、出力部43と、記憶部44と、演算部45とを有する。サーバ装置4は、クラウド上で仮想サーバ機能を利用して構成することもでき、各機能を分散して構成することもできる。
通信部41は、通信ネットワーク5を介して、撮像部11および案内ロボット3と無線通信可能に構成される(図3参照)。入力部42は、タッチパネルやキーボード等のユーザが操作可能な各種スイッチ、および音声を入力可能なマイク等を有する。なお、ここでいうユーザとは、本実施形態においては、自動車販売店の店員である。出力部43は、例えば文字や画像を表示可能なモニタ、音声を出力可能なスピーカ等を有する。
記憶部44は、図示しない揮発性または不揮発性メモリを有する。記憶部44には、演算部45が実行する各種プログラムや各種データ等が記憶される。記憶部44は、メモリが担う機能的構成として、案内ロボットデータベース441と、ショールームデータベース442と、来訪者データベース443と有する。
案内ロボットデータベース441は、ロボット派遣案内サービスに用いられる案内ロボット3のロボットID等の案内ロボット3に関する基本情報およびメンテナンス情報等を記憶する。ショールームデータベース442は、ショールーム1内に配置される展示車両2やテーブル等の配置に対応したデータを記憶する。なお、ショールームデータベース442は、案内ロボット3の有する記憶部37に記憶されるショールームデータベース371と同様の構成を有しており、どちらかを有する構成であってもよい。
来訪者データベース443は、ショールーム1を来訪する来訪者の来訪者情報を記憶する。来訪者情報としては、来訪者の住所、氏名、年齢、職業、性別といった来訪者の基本情報に加え、来訪者の顔画像および来訪履歴等が含まれる。来訪履歴の中には、来訪時における商談内容に加え、商談前の雑談等も含まれる。
また来訪者データベース443は、来訪者がグループを構成して来訪した場合には、来訪者グループと対応付けて来訪者を記憶する。例えば、来訪者が家族グループで来訪した場合には、当該来訪者をこの家族グループと対応付けて記憶し、来訪者が友人グループで来訪した場合には、当該来訪者をこの友人グループと対応付けて記憶する。このように来訪者は、複数のグループに所属する場合があり、来訪者データベースには、来訪者マップが形成される。
演算部45はCPUを有し、入力部42を介して受信した信号、通信部41を介してサーバ装置4の外部から受信した信号、および記憶部44に記憶された各種プログラムや各種データ等に基づいて所定の処理を実行し、通信部41、出力部43および記憶部44に制御信号を出力する。
図4に示すように、演算部45は、プロセッサが担う機能的構成として、施設内画像取得部451と、ロボット画像取得部452と、ロボット視線指示部453と、来訪者特定部454と、来訪者グループ特定部455と、グループ感情特定部456と、ロボット移動指示部457とを有する。
施設内画像取得部451は、ショールーム1内に設置された複数の撮像部11により撮像されるショールーム内画像を取得する。具体的には、施設内画像取得部451は、複数の撮像部11により撮像されたショールーム1の内部(展示車両2が展示してあるスペース)の画像(静止画および動画を含む)データを、通信部41を介して入力する。本実施形態では、施設内画像取得部451は、複数の撮像部11にショールーム内画像を撮像させ、撮像させたショールーム内画像を取得する。具体的には、施設内画像取得部451は、複数の撮像部11にショールーム1を撮像させる制御信号を通信部41を介して出力し、複数の撮像部11が撮像したショールーム内画像データを通信部41を介して入力する。
ロボット画像取得部452は、ショールーム1に配置された案内ロボット3が撮像した来訪者の顔画像を含む画像を取得する。具体的には、ロボット画像取得部452は、案内ロボット3が撮像した来訪者の顔画像を含む画像(静止画および動画を含む)データを、通信部41を介して入力する。本実施形態では、ロボット画像取得部452は、案内ロボット3に来訪者の顔を撮像させ、撮像させた顔画像を含む画像を取得する。具体的には、ロボット画像取得部452は、案内ロボット3に来訪者の顔を撮像させる制御信号を通信部41を介して出力し、案内ロボット3が撮像した来訪者の顔画像を含む画像データを、通信部41を介して入力する。
ロボット視線指示部453は、案内ロボット3の一対の擬似眼306,306の視線の方向を指示する。具体的には、ロボット視線指示部453は、案内ロボット3の一対の擬似眼306,306の位置および動きを指示する制御信号を、通信部41を介して案内ロボット3に出力する。
案内ロボット3は、通信部31を介して当該制御信号を入力すると、入力した当該制御信号に基づいて表示部331を制御して、一対の擬似眼306,306の位置を変化させる。すなわち、視線を動かす。案内ロボット3が視線を動かすと、来訪者は案内ロボット3の視線につられて、案内ロボット3の視線の方向を見る。このように、案内ロボット3が視線を動かすことで、来訪者の視線を誘導して来訪者の位置または姿勢の変化を促すことができる。例えば、案内ロボット3の視線を撮像部11に向けることで、来訪者の視線を撮像部11に向けることができる。そして、来訪者が撮像部11を見ると、撮像部11によって来訪者の顔を撮像することができる。
来訪者特定部454は、施設内画像取得部451が取得したショールーム内画像からショールーム1に来訪した来訪者を特定する。例えば来訪者特定部454は、ショールーム内画像から人物を抽出し、抽出した人物から顔画像をさらに抽出(認識)する。そして、来訪者データベース443に記憶された来訪者データの中から、抽出した顔画像と一致する顔画像を有する来訪者データを検索し、来訪者を特定する。抽出した顔画像と一致する顔画像を有する来訪者データがない場合には、新規の来訪者として、来訪者データベース443に記憶させる。
また来訪者特定部454は、ショールーム内画像から抽出した人物から顔画像が抽出(認識)できず、来訪者が特定不能と判定した場合には、ロボット移動指示部457に制御信号を出力する。ロボット移動指示部457は、この制御信号を入力すると、この人物の下に案内ロボット3が派遣されるように案内ロボット3に移動を指示する。そして、ロボット画像取得部452が案内ロボット3にこの人物の顔を撮像させる。案内ロボット3が撮像した上記人物の顔画像を含む画像は、通信部41を介してロボット画像取得部452に入力され、来訪者特定部454は、ロボット画像取得部452に入力された上記人物の顔画像を用いて、上述と同様の方法にて来訪者を特定する。
来訪者グループ特定部455は、施設内画像取得部451が取得したショールーム内画像からショールーム1に来訪した来訪者グループを特定する。例えば来訪者グループ特定部455は、ショールーム内画像から複数の来訪者を抽出し、これら来訪者の距離感または顔の向き等から、これら来訪者がグループを構成するか否かを判定する。例えば、所定時間以上、一定の距離を保つ複数の来訪者を来訪者グループと特定する。また例えば、互いが会話をする向きに顔を向け合う行為をする複数の来訪者を来訪者グループと特定する。このとき来訪者グループ特定部455は、来訪者グループを構成する複数の来訪者の人数も特定する。
また来訪者グループ特定部455は、来訪者特定部454が特定した複数の来訪者が来訪者グループを構成するか否かを特定する。例えば来訪者グループ特定部455は、来訪者特定部454が特定した各来訪者の、来訪者データベース443に記憶された来訪者情報から来訪者グループ情報を抽出し、抽出した来訪者グループ情報からこれら来訪者が来訪者グループを構成するか否かを特定する。
グループ感情特定部456は、来訪者グループ特定部455にて特定された来訪者グループを構成する複数の来訪者の感情をショールーム内画像に基づいて推定し、来訪者グループのグループ感情を特定する。グループ感情特定部456は、例えば来訪者グループが機嫌の良いグループ(例えば楽しそうなグループ)であるか、機嫌の悪いグループ(例えばイライラしたり、怒ったりしているグループ)であるかを特定する。
グループ感情特定部456は、推定する複数の来訪者の感情の割合に基づいてグループ感情を特定する。例えばグループ感情特定部456は、グループ内で機嫌の良い来訪者の割合が高い(機嫌の悪い来訪者の割合が低い)グループを機嫌の良いグループと特定し、機嫌の悪い来訪者の割合が高い(機嫌の良い来訪者の割合が低い)グループを機嫌の悪いグループと特定する。すなわち、本実施形態における感情の割合とは、グループ内における各感情(機嫌が悪いや機嫌が良い等)の割合を意味する。
例えばグループ感情特定部456は、図1に示すように、三人の来訪者A,B,Cで構成される友人グループ101と、二人の来訪者D,Eで構成される親子グループ102がショールーム1を来訪した場合、複数の撮像部11が撮像したショールーム内画像から、友人グループ101および親子グループ102のグループ感情を特定する。グループ感情特定部456は、友人グループ101を構成する来訪者A~Cの感情を推定し、例えば、来訪者Aおよび来訪者Bの機嫌がよく、来訪者Cの機嫌が悪いと推定した場合、友人グループ101のグループ感情を「機嫌やや良」と特定する。同様に、グループ感情特定部456は、親子グループ102を構成する来訪者D,Eの感情を推定し、例えば、来訪者D(例えば親)の機嫌が良く、来訪者E(例えば子供)の機嫌が悪いと推定した場合、親子グループ102のグループ感情を「機嫌やや悪」と特定する。
グループ感情としては、例えば、機嫌の良い来訪者のみ「機嫌良」、機嫌の良い来訪者が相対的に多い「機嫌やや良」、機嫌の良い来訪者と機嫌の悪い来訪者とが同程度「普通」、機嫌の悪い来訪者が相対的に多い「機嫌やや悪」、機嫌の悪い来訪者のみ「機嫌悪」がある。またこのとき、来訪者が子供の場合は、子供の来訪者の感情を重視するようにグループ感情を特定してもよく、少しでも機嫌の悪い来訪者がいる来訪者グループを「機嫌やや悪」に特定してもよい。
各来訪者の感情は、来訪者の仕草や挙動等に基づいて推定することができる。例えば、ショールーム内画像から抽出した来訪者の顔画像や、来訪者の動作等から来訪者の感情を推定する。例えば、来訪者が怒った顔をしている場合や、周りを見回していたり、貧乏ゆすりなどしていたりして落ち着きがない場合等は、機嫌が悪いと推定する。一方、来訪者がうれしそうな顔をしている場合や、来訪者同士で会話をしている場合等は、機嫌が良いと推定する。
またグループ感情特定部456は、ロボット画像取得部452が取得したロボット撮像画像に基づいて来訪者の感情を推定し、該来訪者グループのグループ感情を更新する。グループ感情特定部456は、例えば、ショールーム内画像に基づいて来訪者が特定不能等の理由により、来訪者グループの下に案内ロボット3が派遣されて、案内ロボット3により来訪者が撮像された場合には、案内ロボット3が撮像した来訪者の顔画像に基づいて来訪者の感情を推定し、これに基づいてグループ感情を更新する。
ロボット移動指示部457は、グループ感情特定部456にて特定されたグループ感情に基づいて、来訪者グループの下に案内ロボット3が派遣されるように案内ロボット3に移動を指示する。具体的には、ロボット移動指示部457は、来訪者グループの下への案内ロボット3の移動を指示する制御信号を、通信部41を介して案内ロボット3に出力する。
このときロボット移動指示部457は、グループ感情特定部456にて特定したグループ感情が相対的に悪い来訪者グループを優先して、該来訪者グループの下への案内ロボットの移動を指示する。例えば、グループ感情が「機嫌悪」の来訪者グループと、グループ感情が「機嫌やや悪」の来訪者グループとが存在した場合、グループ感情が「機嫌悪」の来訪者グループを優先して、該来訪者グループの下への案内ロボット3の移動を指示する。
またロボット移動指示部457は、グループ感情特定部456が特定したグループ感情が同じとなる来訪者グループが複数存在する場合には、人数の少ない来訪者グループを優先して、該来訪者グループの下への案内ロボット3の移動を指示する。例えば、グループ感情が「機嫌やや悪」と特定された来訪者グループが2グループ存在し、一方の来訪者グループが3人で構成され、他方の来訪者グループが5人で構成されている場合には、3人で構成される来訪者グループを優先して、該来訪者グループの下への案内ロボット3の移動を指示する。
さらにロボット移動指示部457は、来訪者特定部454がショールーム内画像に基づいて来訪者を特定不能と判定した場合には、特定不能と判定された来訪者の下に案内ロボット3が派遣されるように案内ロボット3に移動を指示する。例えばロボット移動指示部457は、来訪者特定部454から出力される来訪者特定不能の制御信号を入力すると、来訪者特定部454にてショールーム内画像から抽出した人物の近傍に、案内ロボット3が派遣されるように案内ロボット3に移動を指示する。
このときロボット移動指示部457は、来訪者特定部454にてショールーム内画像から抽出した人物が来訪者グループを構成する場合には、該人物が属する来訪者グループの近傍に案内ロボット3が派遣されるように案内ロボット3に移動を指示する。そしてロボット移動指示部457は、特定不能と判定された来訪者が施設内画像取得部451により取得されるショールーム内画像により特定可能となるような該来訪者の位置または姿勢の変化を促す動作を案内ロボット3に指示する。例えばロボット移動指示部457は、特定不能と判定された来訪者が撮像部11の方を向く位置または姿勢となるように、案内ロボット3に移動を指示する。
例えばロボット移動指示部457は、案内ロボット3の後方に撮像部11を位置させた状態で、特定不能と判定された来訪者の下への案内ロボット3の移動を指示する。特定不能と判定された来訪者は、近づいて来る案内ロボット3に気付くと案内ロボット3の方を見るので、案内ロボット3の後方に位置する撮像部11により来訪者の顔が撮像可能となる。このとき、案内ロボット3に特定不能と判定された来訪者が気付き易い動作を行わせるとよい。このようにして、来訪者の位置または姿勢の変化を促す。
またロボット視線指示部453が、案内ロボット3の一対の擬似眼306,306の視線の方向を指示することで、該来訪者の視線を誘導して該来訪者の位置または姿勢の変化を促すことが好ましい。例えば一対の擬似眼306,306の視線の方向を撮像部11の方に移動する動作をさせることで、来訪者の視線を撮像部11の方に誘導することが好ましい。このとき、例えばロボット移動指示部457が案内ロボット3に視線の移動に連動させた回転動作等を行わせることで、視線を誘導し易くなる。
図5は、図3のサーバ装置4の演算部45で実行される案内ロボット派遣処理の一例を示すフローチャートである。図6は、図3のサーバ装置4の演算部45で実行される来訪者特定処理の一例を示すフローチャートであり、図7は、図3のサーバ装置4の演算部45で実行される来訪者グループ特定処理の一例を示すフローチャートである。図5に示す案内ロボット派遣処理は、例えば、ショールーム1を開店すると開始され、閉店するまで実行される。
図5に示すように、まず、ステップS1において、施設内画像取得部451での処理により、ショールーム1に設置された複数の撮像部11により撮像されるショールーム内画像を取得する(施設内画像取得ステップ)。次いで、ステップS2で、施設内画像取得ステップにて取得したショールーム内画像からショールーム1に来訪した来訪者を特定する来訪者特定処理を実行する(来訪者特定ステップ)。
来訪者特定処理(来訪者特定ステップ)では、図6に示すように、先ず、ステップS20で、来訪者特定部454での処理により、施設内画像取得ステップにて取得したショールーム内画像から施設に来訪した人物を抽出する。次いで、ステップS21で、来訪者特定部454での処理により、抽出した人物の顔画像を抽出可能(認識可能)か否かを判定する。ステップS21で否定されるとステップS22に進み、ロボット移動指示部457での処理により、抽出不能と判定された人物の下に案内ロボット3が派遣されるように案内ロボット3に移動を指示する。
次いで、ステップS23で、来訪者特定部454での処理により、抽出不能と判定された人物の顔画像を取得可能か否かを判定する。ステップS23で否定されるとステップS24に進み、ロボット視線指示部453での処理により、案内ロボット3の一対の擬似眼306,306の視線の方向を指示し、来訪者の視線を誘導して該来訪者の位置または姿勢の変化を促す(ロボット視線指示ステップ)。
次いで、ステップS25で、来訪者特定部454での処理により、抽出不能と判定された人物の顔画像を取得可能か否かを判定する。ステップS25で否定されるとステップS26に進み、ロボット画像取得部452での処理により、案内ロボット3に顔を撮像させ、抽出不能と判定された人物の顔画像を取得する(ロボット画像取得ステップ)。
一方、ステップS21、ステップS23、ステップS25のそれぞれで肯定されると、またはステップS26で抽出不能(特定不能)と判定された人物の顔画像を取得すると、次いで、ステップS27で、来訪者特定部454での処理により、来訪者の顔画像を抽出(認識)する。次いで、ステップS28で、来訪者特定部454での処理により、来訪者を特定する。
来訪者特定処理(来訪者特定ステップ)を実行すると、図5に示すように、次いで、ステップS3で、来訪者グループを特定する来訪者グループ特定処理を実行する(来訪者グループ特定ステップ)。
来訪者グループ特定処理(来訪者グループ特定ステップ)では、図7に示すように、先ず、ステップS30で、来訪者グループ特定部455での処理により、来訪者特定ステップで特定された来訪者を特定する。次いで、ステップS31で、特定された来訪者が来訪者グループを構成するか否かを判定する。ステップS31で否定されるとステップS1に戻る。一方、ステップS31で肯定されるとステップS32に進み、来訪者グループを特定する。
来訪者グループ特定処理を実行すると、図5に示すように、次いで、ステップS4で、グループ感情特定部456での処理により、複数の来訪者それぞれの感情を推定する(グループ感情特定ステップ)。次いで、ステップS5で、グループ感情特定部456での処理により、推定した複数の来訪者それぞれの感情に基づいて来訪者グループのグループ感情を特定する(グループ感情特定ステップ)。次いで、ステップS6で、ロボット移動指示部457での処理により、来訪者グループのグループ感情に基づいて、来訪者グループの下に案内ロボット3が派遣されるように案内ロボット3に移動を指示する(ロボット移動指示ステップ)。
次いで、ステップS7で、ショールーム1の閉店時間か否かを判定し、ステップS7で否定されるとステップS1に戻り、上述を繰り返す。一方、ステップS7で肯定されると、処理を終了する。
本実施形態によれば以下のような作用効果を奏することができる。
(1)自動車販売店のショールーム1に来訪した来訪者グループに対して接客等のサービスを行う自走可能な案内ロボット3を管理するサーバ装置4である。サーバ装置4は、ショールーム1の天井10に設置された撮像部11により撮像されるショールーム内画像を取得する施設内画像取得部451と、施設内画像取得部451が取得したショールーム内画像からショールーム1に来訪した来訪者グループを特定する来訪者グループ特定部455と、来訪者グループ特定部455にて特定された来訪者グループを構成する複数の来訪者それぞれの感情をショールーム内画像に基づいて推定し、該来訪者グループのグループ感情を特定するグループ感情特定部456と、グループ感情特定部456にて特定されたグループ感情に基づいて、来訪者グループの下に案内ロボット3が派遣されるように該案内ロボット3に移動を指示するロボット移動指示部457と、を備える。
この構成により、限られた案内ロボット3を用いて、自動車販売店のショールーム1に来訪する来訪者グループに対して自動車販売店側による適当な接客を図ることができる。例えば、相対的にグループ感情が悪い(機嫌が悪い)来訪者グループに優先して案内ロボット3を派遣して、案内ロボット3にコミュニケーションをとらせるので、来訪者グループの機嫌を向上させたり、機嫌の悪化を抑制したりすることができる。例えば長時間待たされて機嫌の悪くなった来訪者グループの下に案内ロボット3を派遣してコミュニケーションをとらせることで、機嫌よくさせたり、さらに機嫌が悪くなることを抑制したりすることができる。これにより、その後の自動車販売店側の販売員(例えば営業マン)等による商談等の接客をスムーズに行わせることができる。
また例えば、案内ロボット3をショールーム1内に多数配置すると、来場者に威圧感を与えかねず、自動車販売店側のコストも増大するが、来訪者グループのグループ感情に基づいて案内ロボット3を派遣することで、限られた案内ロボット3を用いた効率的なコミュニケーションが可能になる。例えば、相対的にグループ感情が悪い(機嫌が悪い)来訪者グループに優先して案内ロボット3を派遣することで、限られた案内ロボット3による効率的なコミュニケーションが可能になる。
また例えば、来訪者グループに対して、案内ロボット3に予め要件を訊かせたり、簡単な案内をさせたりすることができる。例えば、長時間待たされている来訪者や長い待ち時間が予想される来訪者グループに対して、予め、案内ロボット3に要件等を訊かせたり、簡単な案内をさせたりすることができる。これにより、その後の販売員(例えば営業マン)等による効率的な接客が可能になる。
このように、本実施形態に係るサーバ装置4を用いることで、例えば、限られた案内ロボット3を用いた効率的かつスムーズな接客が可能になる。
(2)グループ感情特定部456は、推定する複数の来訪者の感情の割合に基づいてグループ感情を特定する。例えばグループ感情特定部456は、グループ内で機嫌の良い来訪者の割合が高い(機嫌の悪い来訪者の割合が低い)グループを機嫌の良いグループと特定し、機嫌の悪い来訪者の割合が高い(機嫌の良い来訪者の割合が低い)グループを機嫌の悪いグループと特定する。これにより、例えば、簡単な構成で、グループ感情を特定することができる。
(3)来訪者グループ特定部455は、来訪者グループを構成する複数の来訪者の人数を特定する。ロボット移動指示部457は、グループ感情特定部456が特定したグループ感情が同じとなる来訪者グループが複数存在する場合には、人数の少ない来訪者グループを優先して、案内ロボット3を派遣させる。これにより、例えば、グループ感情が悪く、案内ロボットとのコミュニケーションを必要としている来訪者グループに対して的確に案内ロボット3を派遣させることができる。例えば、来訪者グループを構成する人数が少ないと互いの話し相手が少ないことから、案内ロボット3を派遣してコミュニケーションを図ることで、機嫌が悪くなることを抑制させたり、機嫌を良くさせたりすることができる。
(4)サーバ装置4は、来訪者グループを構成する来訪者を案内ロボット3が撮像したロボット撮像画像を取得するロボット画像取得部452をさらに備える。グループ感情特定部456は、ロボット画像取得部452が取得したロボット撮像画像に基づいて来訪者の感情を推定し、該来訪者グループのグループ感情を更新する。そのため、例えば、案内ロボット3に来訪者を撮像させることで、来訪者の顔を確実に撮像することができる。これにより、より的確に来訪者の感情を推定することができる。その結果、グループ感情をより的確に特定することができる。また案内ロボットが派遣されることで来訪者の感情に変化が生じた場合においても、その変化に対応したグループ感情を特定することができる。つまり、来訪者の感情の変化に基づくグループ感情の更新を行うことができる。
(5)自動車販売店のショールーム1に来訪した来訪者グループに対しサービスを行う自走可能な案内ロボット3を管理するロボット管理方法である。ロボット管理方法は、サーバ装置4が、ショールーム1に設置された複数の撮像部11により撮像されるショールーム内画像を取得する施設内画像取得ステップと、施設内画像取得ステップにて取得したショールーム内画像から施設に来訪した来訪者グループを特定する来訪者グループ特定ステップと、来訪者グループ特定ステップにて特定された来訪者グループを構成する複数の来訪者の感情をショールーム内画像に基づいて推定し、該来訪者グループのグループ感情を特定するグループ感情特定ステップと、グループ感情特定ステップにて特定されたグループ感情に基づいて、来訪者グループの下に案内ロボット3が派遣されるように案内ロボット3に移動を指示するロボット移動指示ステップと、を実行する。
この方法により、上述のサーバ装置4のように、限られた案内ロボット3を用いて、自動車販売店のショールーム1に来訪する来訪者グループに対して自動車販売店側による適当な接客を図ることができる。例えば、限られた案内ロボット3を用いた効率的かつスムーズな接客が可能になる。
(6)ロボット管理システム100は、上述のサーバ装置4と、ショールーム1に設置され、サーバ装置4と通信可能な複数の撮像部11と、ショールーム1に配置され、自走可能かつサーバ装置4と通信可能な案内ロボット3と、を備える。これにより、限られた案内ロボット3を用いて、自動車販売店のショールーム1に来訪する来訪者グループに対して自動車販売店側による適当な接客を図ることができる。例えば、限られた案内ロボット3を用いた効率的かつスムーズな接客が可能になる。
上記実施形態では、サーバ装置4の演算部45は、施設内画像取得部451と、ロボット画像取得部452と、ロボット視線指示部453と、来訪者特定部454と、来訪者グループ特定部455と、グループ感情特定部456と、ロボット移動指示部457とを備えて構成したが、本発明はこれに限定されない。演算部45は、施設内画像取得部451と、来訪者グループ特定部455と、グループ感情特定部456と、ロボット移動指示部457とを備えていればよい。また演算部45は、ロボット画像取得部452を備えることが好ましい。
上記実施形態では、サーバ装置4の演算部45の有するグループ感情特定部456は、複数の来訪者それぞれの機嫌の良し悪しを推定し、これに基づいてグループ感情を特定したが、本発明はこれに限定されない。例えばグループ感情特定部は、複数の来訪者それぞれの喜怒哀楽を推定し、これに基づいてグループ感情を特定する構成であってもよい。
上記実施形態では、サーバ装置4の演算部45で実行される案内ロボット派遣処理として、施設内画像取得ステップと、来訪者特定ステップと、来訪者グループ特定ステップと、グループ感情特定ステップと、ロボット移動指示ステップとを備えて構成したが、本発明はこれに限定されない。案内ロボット派遣処理は、施設内画像取得ステップと、来訪者グループ特定ステップと、グループ感情特定ステップと、ロボット移動指示ステップとを備えていればよい。
上記実施形態では、ロボット画像取得ステップを来訪者特定処理に含める構成を用いて説明したが、本発明はこれに限定されない。例えばロボット画像取得ステップを来訪者特定処理から独立させて、案内ロボット派遣処理に含める構成にしてもよい。この場合、グループ感情を更新するためにロボット画像取得ステップを実行させる構成であってもよい。
以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施形態により本発明が限定されるものではない。
1 ショールーム(施設)、3 案内ロボット、4 サーバ装置(ロボット管理装置)、5 通信ネットワーク、11 撮像部、100 ロボット管理システム、101 友人グループ(来訪者グループ)、102 親子グループ(来訪者グループ)、306 一対の擬似眼、451 施設内画像取得部、452 ロボット画像取得部、453 ロボット視線指示部、454 来訪者特定部、455 来訪者グループ特定部、456 グループ感情特定部、457 ロボット移動指示部、A~E 来訪者

Claims (5)

  1. 施設に来訪した来訪者グループに対しサービスを行う自走可能な案内ロボットを管理するロボット管理装置であって、
    前記施設に設置された撮像部により撮像される施設内画像を取得する施設内画像取得部と、
    前記施設内画像取得部が取得した前記施設内画像から施設に来訪した来訪者グループを特定する来訪者グループ特定部と、
    前記来訪者グループ特定部にて特定された前記来訪者グループを構成する複数の来訪者の感情を前記施設内画像に基づいて推定し、該来訪者グループのグループ感情を特定するグループ感情特定部と、
    前記グループ感情特定部にて特定された前記グループ感情に基づいて、前記来訪者グループの下に前記案内ロボットが派遣されるように該案内ロボットに移動を指示するロボット移動指示部と、
    前記来訪者グループを構成する来訪者を前記案内ロボットが撮像したロボット撮像画像を取得するロボット画像取得部と、を備え、
    前記グループ感情特定部は、前記ロボット画像取得部が取得した前記ロボット撮像画像に基づいて来訪者の感情を推定し、該来訪者グループのグループ感情を更新する、ことを特徴とするロボット管理装置。
  2. 請求項1に記載のロボット管理装置において、
    前記グループ感情特定部は、推定する複数の来訪者の感情の割合に基づいて前記グループ感情を特定する、ことを特徴とするロボット管理装置。
  3. 請求項1または2に記載のロボット管理装置において、
    前記来訪者グループ特定部は、前記来訪者グループを構成する複数の来訪者の人数を特定し、
    前記ロボット移動指示部は、前記グループ感情特定部が特定した前記グループ感情が同じとなる来訪者グループが複数存在する場合には、人数の少ない来訪者グループを優先して、前記案内ロボットを派遣させる、ことを特徴とするロボット管理装置。
  4. 施設に来訪した来訪者グループに対しサービスを行う自走可能な案内ロボットを管理するロボット管理方法であって、
    コンピュータによりそれぞれ実行される、
    前記施設に設置された撮像部により撮像される施設内画像を取得する施設内画像取得ステップと、
    前記施設内画像取得ステップにて取得した前記施設内画像から施設に来訪した来訪者グループを特定する来訪者グループ特定ステップと、
    前記来訪者グループ特定ステップにて特定された前記来訪者グループを構成する複数の来訪者の感情を前記施設内画像に基づいて推定し、該来訪者グループのグループ感情を特定するグループ感情特定ステップと、
    前記グループ感情特定ステップにて特定された前記グループ感情に基づいて、前記来訪者グループの下に前記案内ロボットが派遣されるように該案内ロボットに移動を指示するロボット移動指示ステップと、
    前記来訪者グループを構成する来訪者を前記案内ロボットが撮像したロボット撮像画像を取得するロボット画像取得ステップと、を備え、
    前記グループ感情特定ステップは、前記ロボット画像取得ステップにて取得した前記ロボット撮像画像に基づいて来訪者の感情を推定し、該来訪者グループのグループ感情を更新する、ことを特徴とするロボット管理方法。
  5. 請求項1から3のいずれか1項に記載のロボット管理装置と、
    前記施設に設置され、前記ロボット管理装置と通信可能な前記撮像部と、
    前記施設に配置され、自走可能かつ前記ロボット管理装置と通信可能な前記案内ロボットと、を備えることを特徴とするロボット管理システム。
JP2019132083A 2019-07-17 2019-07-17 ロボット管理装置、ロボット管理方法およびロボット管理システム Active JP7273637B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019132083A JP7273637B2 (ja) 2019-07-17 2019-07-17 ロボット管理装置、ロボット管理方法およびロボット管理システム
CN202010642903.5A CN112238454B (zh) 2019-07-17 2020-07-06 机器人管理装置、机器人管理方法以及机器人管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019132083A JP7273637B2 (ja) 2019-07-17 2019-07-17 ロボット管理装置、ロボット管理方法およびロボット管理システム

Publications (2)

Publication Number Publication Date
JP2021018481A JP2021018481A (ja) 2021-02-15
JP7273637B2 true JP7273637B2 (ja) 2023-05-15

Family

ID=74170858

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019132083A Active JP7273637B2 (ja) 2019-07-17 2019-07-17 ロボット管理装置、ロボット管理方法およびロボット管理システム

Country Status (2)

Country Link
JP (1) JP7273637B2 (ja)
CN (1) CN112238454B (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008260107A (ja) 2007-04-13 2008-10-30 Yaskawa Electric Corp 移動ロボットシステム
JP2016012342A (ja) 2014-06-05 2016-01-21 ソフトバンク株式会社 行動制御システム及びプログラム
JP2017159396A (ja) 2016-03-09 2017-09-14 大日本印刷株式会社 案内ロボット制御システム、プログラム及び案内ロボット
JP2017222021A (ja) 2016-06-14 2017-12-21 グローリー株式会社 店舗受付システム
JP2018045118A (ja) 2016-09-15 2018-03-22 富士ゼロックス株式会社 対話装置
JP2018139087A (ja) 2017-02-24 2018-09-06 沖電気工業株式会社 感情推定サーバ装置、感情推定方法、提示装置及び感情推定システム
JP2019066700A (ja) 2017-10-02 2019-04-25 株式会社ぐるなび 制御方法、情報処理装置及び制御プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2007043712A1 (ja) * 2005-10-14 2009-04-23 国立大学法人 長崎大学 感情評価方法および感情表示方法、並びに、それらのための、プログラム、記録媒体およびシステム
JP2011186521A (ja) * 2010-03-04 2011-09-22 Nec Corp 感情推定装置および感情推定方法
US9517559B2 (en) * 2013-09-27 2016-12-13 Honda Motor Co., Ltd. Robot control system, robot control method and output control method
KR101887637B1 (ko) * 2016-11-15 2018-08-10 주식회사 로보러스 로봇 시스템
JP6572943B2 (ja) * 2017-06-23 2019-09-11 カシオ計算機株式会社 ロボット、ロボットの制御方法及びプログラム
CN109318239A (zh) * 2018-10-09 2019-02-12 深圳市三宝创新智能有限公司 一种导诊机器人、导诊方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008260107A (ja) 2007-04-13 2008-10-30 Yaskawa Electric Corp 移動ロボットシステム
JP2016012342A (ja) 2014-06-05 2016-01-21 ソフトバンク株式会社 行動制御システム及びプログラム
JP2017159396A (ja) 2016-03-09 2017-09-14 大日本印刷株式会社 案内ロボット制御システム、プログラム及び案内ロボット
JP2017222021A (ja) 2016-06-14 2017-12-21 グローリー株式会社 店舗受付システム
JP2018045118A (ja) 2016-09-15 2018-03-22 富士ゼロックス株式会社 対話装置
JP2018139087A (ja) 2017-02-24 2018-09-06 沖電気工業株式会社 感情推定サーバ装置、感情推定方法、提示装置及び感情推定システム
JP2019066700A (ja) 2017-10-02 2019-04-25 株式会社ぐるなび 制御方法、情報処理装置及び制御プログラム

Also Published As

Publication number Publication date
CN112238454B (zh) 2024-03-01
JP2021018481A (ja) 2021-02-15
CN112238454A (zh) 2021-01-19

Similar Documents

Publication Publication Date Title
KR20200064976A (ko) 휴대용 가상현실 장비
US11307593B2 (en) Artificial intelligence device for guiding arrangement location of air cleaning device and operating method thereof
US7584158B2 (en) User support apparatus
JP5688574B2 (ja) 触覚提示付ロボット
US20160025499A1 (en) Intelligent mobility aid device and method of navigating and providing assistance to a user thereof
KR101088083B1 (ko) 홍보 가능한 지능형 디스플레이 장치 및 그 홍보 방법
JP2005293052A (ja) 顧客応対ロボット
US20180025283A1 (en) Information processing apparatus, information processing method, and program
US20220303607A1 (en) Hardware for entertainment content in vehicles
KR20200066280A (ko) 접이식 가상현실 장비
JP2003050559A (ja) 自律移動ロボット
US20210334640A1 (en) Artificial intelligence server and method for providing information to user
US20210023704A1 (en) Information processing apparatus, information processing method, and robot apparatus
JP7273638B2 (ja) ロボット管理装置、ロボット管理方法およびロボット管理システム
JP7273637B2 (ja) ロボット管理装置、ロボット管理方法およびロボット管理システム
US11994875B2 (en) Control device, control method, and control system
US20220297308A1 (en) Control device, control method, and control system
JP6739017B1 (ja) 観光支援装置、該装置が搭載されたロボット、観光支援システム、及び観光支援方法
JP2011033837A (ja) 対話支援装置、対話支援方法およびプログラム
JP2022093012A (ja) 注目対象共有装置、注目対象共有方法
US20220300982A1 (en) Customer service system, server, control method, and storage medium
US20210256263A1 (en) Information processing apparatus, information processing method, and program
JP2021108072A (ja) レコメンドシステム、レコメンド方法およびプログラム
US20220301029A1 (en) Information delivery system, information delivery method, and storage medium
JP7386739B2 (ja) 表示制御装置、表示制御方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230428

R150 Certificate of patent or registration of utility model

Ref document number: 7273637

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150