JP7476924B2 - ロボット、コミュニケーション方法及びプログラム - Google Patents

ロボット、コミュニケーション方法及びプログラム Download PDF

Info

Publication number
JP7476924B2
JP7476924B2 JP2022100742A JP2022100742A JP7476924B2 JP 7476924 B2 JP7476924 B2 JP 7476924B2 JP 2022100742 A JP2022100742 A JP 2022100742A JP 2022100742 A JP2022100742 A JP 2022100742A JP 7476924 B2 JP7476924 B2 JP 7476924B2
Authority
JP
Japan
Prior art keywords
robot
user
mobile device
location
notification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022100742A
Other languages
English (en)
Other versions
JP2022118200A (ja
Inventor
崇史 山谷
浩一 中込
敬輔 島田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2022100742A priority Critical patent/JP7476924B2/ja
Publication of JP2022118200A publication Critical patent/JP2022118200A/ja
Application granted granted Critical
Publication of JP7476924B2 publication Critical patent/JP7476924B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W8/00Network data management
    • H04W8/22Processing or transfer of terminal data, e.g. status or physical capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W64/00Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H04W64/006Locating users or terminals or network equipment for network management purposes, e.g. mobility management with additional information processing, e.g. for direction or speed determination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W68/00User notification, e.g. alerting and paging, for incoming communication, change of service or the like

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Navigation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、ロボット、コミュニケーション方法及びプログラムに関する。
電気的又は磁気的な作用を用いて人間の動作に似た動作を行い、自律移動を行う装置を移動ロボット(移動装置)という。移動ロボットは自身に備えられているセンサを用いて、SLAM(Simultaneous Localization and Mapping)によって自己位置推定と環境地図の生成を行い、生成した環境地図を参照して目的地へ移動する経路探索を行っている。なお、移動ロボットは自身の移動空間に対して定期的に新しい環境地図を作成して環境地図の更新を行っている(例えば特許文献1参照)。移動ロボットの一種として、ユーザからの音声による呼びかけを認識した場合に、ユーザの存在している方向(音声の発信源方向)に移動する機能を持つ移動ロボットがあることが一般的に知られている。
特開平7-225612号公報
しかしながら、移動ロボットがユーザのいる場所へ移動する経路を探索した場合に、移動ロボットの移動を妨げる障害物がある場合とは、結果的に移動ロボットがユーザへ近づけない事による不具合が発生するという問題も予期される。
本発明はこのような問題点に鑑みてなされたものであり、ユーザのいる場所への経路の候補が見つからない場合であっても、ロボットがユーザへ近づけないことによる不具合を解決することを目的とする。
上記目的を達成するため、本発明に係るロボットは、自律移動可能なロボットであって、ユーザにより発生される呼びかけに基づいて前記ユーザが存在する場所を検出することにより、前記ユーザが存在する場所を前記ロボットの移動先として特定する特定手段と、前記特定手段により特定された移動先に向けて前記ロボットが所定の距離以上の移動が可能な移動経路があるか否かを判断する判断手段と、前記判断手段により前記移動経路があると判断された場合に前記移動経路にしたがって前記ロボットが移動するように駆動手段を制御するとともに、前記判断手段により否と判断された場合に、前記呼びかけへの応答として前記ロボットが所定の報知を行うように報知手段を制御する制御手段と、を備え、前記制御手段は、前記ユーザにより発生される呼びかけが検出されたタイミングに基づいて前記ロボットが一旦所定の方向を向くように前記駆動手段を制御する、ことを特徴とする。
また、本発明に係るコミュニケーション方法は、自律移動可能なロボットが実行するコミュニケーション方法であって、ユーザにより発生される呼びかけに基づいて前記ユーザが存在する場所を検出することにより、前記ユーザが存在する場所を前記ロボットの移動先として特定する特定ステップと、前記特定ステップで特定された移動先に向けて前記ロボットが所定の距離以上の移動が可能な移動経路があるか否かを判断する判断ステップと、前記判断ステップで前記移動経路があると判断された場合に前記移動経路にしたがって前記ロボットが移動するように駆動手段を制御するとともに、前記判断ステップで否と判断された場合に、前記呼びかけへの応答として前記ロボットが所定の報知を行うように報知手段を制御する制御ステップと、を有し、前記制御ステップは、前記ユーザにより発生される呼びかけが検出されたタイミングに基づいて前記ロボットが一旦所定の方向を向くように前記駆動手段を制御する、ことを特徴とする。
また、本発明に係るプログラムは、自律移動可能なロボットのコンピュータを、ユーザにより発生される呼びかけに基づいて前記ユーザが存在する場所を検出することにより、前記ユーザが存在する場所を前記ロボットの移動先として特定する特定手段、前記特定手段により特定された移動先に向けて前記ロボットが所定の距離以上の移動が可能な移動経路があるか否かを判断する判断手段、前記判断手段により前記移動経路があると判断された場合に前記移動経路にしたがって前記ロボットが移動するように駆動手段を制御するとともに、前記判断手段により否と判断された場合に、前記呼びかけへの応答として前記ロボットが所定の報知を行うように報知手段を制御する制御手段、として機能させ、前記制御手段は、前記ユーザにより発生される呼びかけが検出されたタイミングに基づいて前記ロボットが一旦所定の方向を向くように前記駆動手段を制御する、ことを特徴とする。
本発明によれば、ユーザのいる場所への経路の候補が見つからない場合であっても、ロボットがユーザへ近づけないことによる不具合を解決することができる。
本発明を適用した実施の形態の移動装置の概略構成の一例を示すブロック図である。 本発明を適用した実施の形態の移動装置の外観の一例を示す外観図である。 本発明を適用した実施の形態の移動装置の動作処理の一例を示すフローチャートである。 本発明を適用した実施の形態の移動装置の動作処理の変形例を示すフローチャートである。 本発明を適用した実施の形態の移動装置の経路探索処理の一例を示すフローチャートである。
以下、図面を参照して、本発明の実施形態に係る移動装置を説明する。なお、本発明の移動装置は、距離センサなどの検出結果から環境地図を生成し、この環境地図に基づき移動装置の移動経路の探索を行うものとして、以下説明を行う。
図1は、移動装置100の構成を示すブロック図である。図1に示すように、移動装置100は、音声入力部101と、撮像部102と、音声出力部103と、センサ部104と、駆動部105と、記憶部106と、制御部107と、発光部108を備える。
また、図2は、移動装置100の全体図を示す図である。図2に示すように、移動装置100は、上記図1における音声入力部101と、撮像部102と、音声出力部103と、センサ部104と、駆動部105と、発光部108を備える。
音声入力部101は、例えば、ADコンバーター、マイクロホン等を複数備えて周囲の音を音声信号として取得する。
撮像部102は、被写体となるユーザを撮像して撮像画像を生成する。撮像部102は、図示は省略するが、光学系及び撮像素子を備えるカメラと、カメラを制御する撮影制御部とを備えている。撮像素子は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等のイメージセンサである。そして、撮像素子は、光学系を通過した光学像を2次元の画像信号に変換する。
音声出力部103は、例えば、DAコンバーター、アンプ、スピーカー等を備えて、音声信号をアナログの音声出力信号に変換してスピーカーから音声出力する。
センサ部104は、移動装置100の外部状態を示す情報を取得し、適宜、所定の信号に変換して制御部107に供給する。センサ部104は、例えば、加速度センサ、角速度センサ、距離センサ、人感センサ等から構成される。
駆動部105は、移動装置100を移動させるための部位である。移動部105は、移動装置100の底面に設けられた左右の車輪と、左右の車輪を回転駆動するモーターと、モーターを駆動制御する駆動回路から構成される。制御部107からの制御信号に従って、駆動回路はモーターに駆動用のパルス信号を供給する。モーターは、駆動用のパルス信号に従って、左右の車輪を回転駆動させ、移動装置100を移動させる。このように、駆動部105は、移動装置100を移動させる移動手段として機能する。なお、左右の車輪がそれぞれ独立して回転駆動するように構成され、移動装置100が前進、後退、旋回、加減速などの走行が可能であれば、モーターの数は任意である。例えば、連結機構や操舵機構を設けるなどして1つのモーターで左右の車輪を駆動させてもよい。また、モーターの数に合わせて駆動回路の数も適宜変更することができる。
記憶部106は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、EEPROM(Electrically Erasable Programmable Read Only Memory)、フラッシュメモリなどにより構成される。
記憶部106には、制御部107で実行されるシステムプログラムや、各種処理を実行するための処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。
制御部107は、移動装置100全体の動作を制御する。制御部107は、CPU(Central Processing Unit)、RAM(Random Access Memory)を有するマイクロコンピュータにより構成される。制御部107は、CPUが記憶部106に記憶されているシステムプログラムやアプリケーションプログラムを読み出してRAM上で実行することにより、移動装置100の各部を制御する。このように、制御部107は、制御手段として機能する。
発光部108は、LED(Light Emitting Diode)、LD(LASER Diode)等により構成される。この発光部108は、例えば移動装置100の表面部に取り付けられ、制御部107からの制御によって光を発光する。
制御部107は、記憶部106に記憶されているシステムプログラムやアプリケーションプログラムに基づき、例えば、センサ部104から取得した各種データに応じて、移動装置100を移動させるための制御信号を生成して駆動部105に送信することにより、移動装置100の移動動作を制御する。
(第1実施例)
次に、図3に示すフローチャートを参照しながら、本実施形態における移動装置100の動作について説明する。制御部107は、所定の操作により、移動装置100の電源が投入されたことに応答して、図3に示すフローチャートの処理を開始する。
図3に示すように、先ず、制御部107は、音声入力部101にて取得した音声信号から、ユーザからの合図を検出する(ステップS101)。ユーザからの合図の例としては、ユーザの口から発せられる呼びかけの音声や、ユーザが手を叩くなどの動作により発生する音が含まれる。
そして、制御部107は、ステップS101で検出した合図(音声、音)の到来方向角を算出し、ユーザの存在する音源方向を推定する音源定位を行うことで、検出された合図が発せられた場所または方向を特定する(ステップS102)。音源定位の手法としては、例えばMUIC(MUltiple SIgnal Classification)を用いて行い、音源の位置、場所、方向を推定することができるが、公知の技術を用いているためその詳細な説明は省略する。
次に、制御部107は、ステップS102で音源定位が出来た場合に(ステップS102;YES)、ステップS102で算出した音声信号の到来方向角から、ユーザが存在すると推定された音源方向へ撮像部102を正対させるため、駆動部105を駆動させる角度値を算出する。制御部107は、角度値に基づいて、駆動部105を駆動させて、移動装置100を音源方向へ回転させる(ステップS103)。
次に、制御部107は、移動装置100を音源方向へ回転させた後、撮像部102で撮像を行うことで取得した撮像画像から顔領域が検出されたか否かを判断する。詳細には、撮像画像に顔の特徴データが含まれるか否かを判断する(ステップS104)。
次に、制御部107は、撮像画像に顔の特徴データが規定値以上検出された場合、つまり、顔が検出された場合(ステップS104;YES)、経路探索処理を行う(ステップS105)。
次に、図5において経路探索処理について説明する。まず、制御部107は、作成済みの地図情報を用いて、自機位置からユーザの存在する音源方向へ移動する為の経路の探索を行う(ステップS301)。自機位置の推定は、撮像画像と、SLAM法により作成した地図を用いて自機位置の推定を行うといった公知の技術を用いているためその詳細な説明は省略する。
次に、制御部107は、移動装置100が一定距離以上移動可能な移動経路が見つかるか否かを判断する(ステップS302)。一定距離以上移動可能な移動経路とは移動装置100が移動できないような段差が経路上に存在するか否かを判断し、段差がない場合には移動経路が見つかった(ステップS302;YES)として、経路探索処理を終了する。
一方、制御部107は、一定距離以上移動可能な移動経路とは移動装置100が移動できないような段差が経路上に存在するか否かを判断し、段差があると判断した場合には移動経路が見つからなかった(ステップS302;NO)として、制御部107は、所定の報知を行う(ステップS303)。
次に、制御部107は、ステップS303の報知出力の処理回数をカウントし、カウント結果を記憶部に記憶する(ステップS304)。所定の報知とは呼びかけを促す報知のことをいい、移動装置100の音声出力部103から出力される音声による、ユーザに移動装置100の近くに移動を促す呼びかけや、移動装置100との間に障害物がないような見通しの良い場所への移動を促す呼びかけなどによる報知と、移動装置100の各部を動作させ動かすことによる、ユーザに移動装置100へ注目してもらう動作や、移動装置100の近くに移動を促す動作や、移動装置100との間に障害物がないような見通しの良い場所への移動を促す動作などによる報知と、発光部108を発光させることによる、ユーザに移動装置100へ注目してもらう発光や、移動装置100の近くに移動を促す発光や、移動装置100との間に障害物がないような見通しの良い場所への移動を促す発光などによる報知をいう。
次に、制御部107は、報知出力の処理回数のカウント結果を記憶部から取得し、その取得結果が所定回数以上行われている場合は(ステップS305;YES)終了となる。
一方、制御部107は、報知出力の処理回数のカウント結果を記憶部から取得し、その取得結果が所定回数以上行われていない場合は(ステップS305;NO)、ステップS306に進み、それ以降の処理を行う。
次に、制御部107は、撮像部102で撮像した撮像画像から顔領域を検出し、顔の特徴データを抽出して顔検出を行い、顔画像のサイズが所定のサイズ以上であるか否かを判定し、算出された顔画像のサイズが所定のサイズ以上である場合は(ステップS306;YES)は終了となる。
一方、制御部107は、撮像部102で撮像した撮像画像から顔領域を検出し、顔の特徴データを抽出して顔検出を行い、顔画像のサイズが所定のサイズ以上であるか否かを判定し、算出された顔画像のサイズが所定のサイズ以下である場合は(ステップS306;NO)、ステップS303に戻り、それ以降の処理を繰り返し行う。
図3のステップS102に戻り続きを説明する。
制御部107は、ステップS102で音源定位が出来なかった場合に(ステップS102;NO)、制御部107は、ユーザからの呼びかけを促す報知を行い(ステップS109)、ユーザへの呼びかけを促す。
図3のステップS107に戻り続きを説明する。
制御部107は、経路探索処理の後に、駆動部105を駆動させて、移動装置100を音源方向へ移動させる(ステップS107)。
次に、制御部107は、抽出された顔の特徴データから、顔画像のサイズを算出する。算出された顔画像のサイズが所定のサイズ以上であるか否かを判定する(ステップS108)。顔画像のサイズの算出は、撮像部の各種設定をもとに、撮像画像の画角に対しての顔画像の大きさを考慮して顔画像のサイズを算出する方法をとるが、顔画像のサイズの算出方法はこの方法に限らず、他の方法でもよい。また、所定のサイズとは、移動装置100とユーザとの間の距離が一定の距離より短くなる距離の場合の顔画像のサイズのことであり、その一定の距離はユーザが任意に設定できるものとする。算出された顔画像のサイズが所定のサイズ以上である場合は(ステップS108;YES)、本実施形態における移動装置100の動作を終了させる。
一方、制御部107は、抽出された顔の特徴データから、顔画像のサイズを算出して、算出された顔画像のサイズが所定のサイズ以上であるか否かを判定し、算出された顔画像のサイズが所定のサイズ以下である場合は(ステップS108;NO)、ステップS107に戻り、それ以降の処理を繰り返し行う。
ステップS104に戻り続きを説明する。
制御部107は、ステップS104の顔検出において、撮像画像に顔の特徴データが規定値以上検出されなかった場合、つまり、顔が検出されなかった場合(ステップS104;NO)、制御部107は、事前に作成しておいた移動装置100が存在する空間の地図情報を参照する。地図情報をもとに、移動装置100からステップS102で取得した合図が発せられた場所との間に障害物のない場所や、障害物がある場合でも障害物から一定距離以上離れた場所などの音源方向へ見通しの良い位置へ移動装置100を移動させて(ステップS106)、ステップS104に戻り、それ以降の処理を繰り返し行う。
(第1実施例の変形例)
次に、図4で第1実施例の変形例について説明する。
制御部107は、ステップS102で音源定位が出来なかった場合に(ステップS102;NO)、制御部107は、ユーザからの呼びかけを促す報知を行い(ステップS201)、ユーザへの呼びかけを促す。呼びかけを促す報知とは、移動装置100の音声出力部103から出力される音声による報知や、移動装置100の各部を動作させ動かすことによる報知や、発光部108を発光させることによる報知をいう。
また、制御部107は、ステップS104の顔検出において、撮像画像に顔の特徴データが規定値以上検出されなかった場合、つまり、顔が検出されなかった場合(ステップS104;NO)、制御部107は、ユーザからの呼びかけを促す報知を行い(ステップS201)、制御部107は、ステップS101に戻り、それ以降の処理を繰り返し行う。呼びかけを促す報知とは、移動装置100の音声出力部103から出力される音声による報知や、移動装置100の各部を動作させ動かすことによる報知や、発光部108を発光させることによる報知をいう。
以上のように、本実施形態の移動装置100は、合図を検出して、合図があると判定したら、合図が発せられた場所または方向を特定して、合図が発せられた場所または方向へ移動出来なかった場合に所定の制御を行うことになる。このため、移動装置100が合図が発せられた場所へ移動できない場合に所定の制御を行うことで、移動装置100が目的地へ近づけないことによる不具合を解決することが出来るようになる。
また、本実施形態の移動装置100は、報知手段を備え、移動装置100が移動できない場合に、所定の報知を行うことになるので、移動装置100が目的地へ近づけないことによる不具合を解決することが出来るようになる。
また、本実施形態の移動装置100は、移動装置がユーザに対して呼びかけを促す報知を行うことになるので、移動装置100が目的地へ近づけないことによる不具合を解決することが出来るようになる。
また、本実施形態の移動装置100は、探索手段を備え、特定手段によって特定された場所または方向への移動経路を探索し、探索手段により特定手段によって特定された場所または方向への移動経路を探索することが出来ない場合を含むことになるので、移動装置100が目的地へ近づけないことによる不具合を解決することが出来るようになる。
また、本実施形態の移動100は、特定手段により前記合図が発せられた場所または方向を特定することが出来なかった場合を含むことになるので、移動装置100が目的地へ近づけないことによる不具合を解決することが出来るようになる。
また、本実施形態の移動装置100は、更に顔検出手段を備え、顔検出手段による顔の検出結果に基づいて制御を行うことになるので、移動装置100が目的地へ近づけないことによる不具合を解決することが出来るようになる。
また、本実施形態の移動装置100は、注目判定手段を備え、注目判定手段によって顔の検出結果に基づいて検出された顔の向きが移動装置100へ向いているか否かを判定することになるので、移動装置100が目的地へ近づけないことによる不具合を解決することが出来るようになる。
また、本実施形態の移動装置100は、移動制御手段により移動ができない場合に、特定手段で特定された場所または方向へ前記移動装置100から見通しの良い位置へ移動することになるので、移動装置100が目的地へ近づけないことによる不具合を解決することが出来るようになる。
また、本実施形態の移動装置100は、報知手段の報知回数を判定する報知回数判定手段を備え、報知回数の判定結果に基づき移動装置100を制御することになるので、移動装置100が目的地へ近づけないことによる不具合を解決することが出来るようになる。
なお、移動装置100は、ユーザに移動装置100の位置する場所へ来てもらうような呼びかけを促す報知をすることとしたが、移動装置100は駆動部105を制御することで、が、移動装置100を旋回させる動作を行うとしてもよく、左方向への回転と右方向への回転を繰り返すなどの、移動装置100がユーザを探していると思われる動作を行うとしてもよい。
なお、移動装置100は、ユーザから移動装置100への合図を判定するとしているが、ユーザからの合図の信頼度を算出し、算出した信頼度が所定の閾値以上なら、ユーザからの合図であると認識して移動装置100の処理を進めるとし、算出した信頼度が所定の閾値以下なら、合図検出へ戻るとしてもよい。
なお、移動装置100からユーザに対して、報知手段による報知の回数を判定するとしたが、報知の回数が所定回数未満なら、ユーザに来てもらう応答を行うとし、繰り返しの回数が所定回数以上なら、ユーザに来てもらう応答を行わないとしてもよい。また、報知の回数が所定回数以上ならば、移動装置100がユーザに移動装置100の位置する場所へ来てもらうような呼びかけの合図の音声の音量を上げるとしてもよく、呼びかけの言葉の種類を変更するとしてもよく、呼びかけの言葉を連続して発生させるとしてもよい。また、報知の回数が所定回数以上ならば、ユーザが何処に位置するかを教えてもらうように依頼する報知の行動の強度を強くするとしてもよい。
なお、移動装置100が音源方向へ移動する場合には、センサ部104の人感センサを用いて、ユーザが存在するか否かを確認するとしてもよい。移動装置100が音源方向へ移動する場合に、センサ部104の人感センサでユーザの存在を確認する前に、移動装置100が障害物を確認して音源方向へ移動できなくなった場合には、ユーザへの呼びかけを促す報知をするとしてもよい。
なお、ステップS101で検出した合図は音声や音としているが、それに限らない。ユーザからの合図としては、ユーザの動作を伴うジェスチャーや、LED(Light Emitting Diode)などの発光装置による発光を合図としてもよい。この場合、ステップS102の音源定位ではなく撮像部で取得した撮像結果から合図を認識するとしてもよい。
なお、ステップS104の顔検出において、撮像画像に顔の特徴データが規定値以上検出されなかった場合、音源方向へ見通しの良い位置へ移動や、ユーザからの呼びかけを促す報知を行うとしているが、顔検出だけでなく、音による音源定位ができなかった場合や、経路探索が出来なかた場合としてもよい。
また、上記実施形態において、実行されるプログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read - Only Memory)、DVD(Digital Versatile Disc)、MO(Magneto - Optical disc)等のコンピュータで読み取り可能な記録媒体に格納して配布し、そのプログラムをインストールすることにより、上述の処理を実行するシステムを構成することとしてもよい。
また、プログラムをインターネット等のネットワークNW上の所定のサーバが有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、ダウンロード等するようにしてもよい。
なお、上述の機能を、OS(Operating System)が分担して実現する場合又はOSとアプリケーションとの協働により実現する場合等には、OS以外の部分のみを媒体に格納して配布してもよく、また、ダウンロード等してもよい。
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
〔付記〕
<請求項1>
合図を検出する合図検出手段と、
前記合図検出手段によって検出された合図が発せられた場所または方向を特定する特定手段と、
前記合図検出手段によって検出された合図が発せられた場所または方向へ移動する移動制御手段と、
前記移動制御手段により合図が発せられた場所へ移動ができない場合、所定の制御を行う制御手段と、
を備えることを特徴とする移動装置。
<請求項2>
報知手段を更に備え、
前記制御手段は、前記移動制御手段により移動ができない場合、所定の報知を行うことを特徴とする請求項1に記載の移動装置。
<請求項3>
前記所定の報知とは、前記移動装置がユーザに対して呼びかけを促す報知であることを特徴とする請求項2に記載の移動装置。
<請求項4>
前記特定手段によって特定された場所への移動経路を探索する探索手段を更に備え、
前記制御手段は、前記移動制御手段により移動ができなかった場合に、
前記探索手段により前記特定手段によって特定された場所または方向への移動経路を探索することが出来なかった場合を含むことを特徴とする請求項1乃至3のいずれか1項に記載の移動装置。
<請求項5>
前記制御手段は、前記移動制御手段により移動ができなかった場合に、
前記特定手段により合図が発せられた場所または方向を特定することが出来なかった場合を含むことを特徴とする請求項1乃至4のいずれか1項に記載の移動装置。
<請求項6>
顔検出手段を更に備え、
前記制御手段は、更に前記顔検出手段による顔の検出結果に基づいて制御を行うことを特徴とする請求項1乃至5のいずれか1項に記載の移動装置。
<請求項7>
注目判定手段を更に備え、
前記制御手段は、前記注目判定手段によって前記顔の検出結果に基づいて検出された顔の向きが前記移動装置へ向いているか否かを判定することを特徴とする請求項6に記載の移動装置。
<請求項8>
前記制御手段は、前記特定手段によって特定された場所への移動経路を探索する探索手段を更に備え、
前記特定手段で特定された場所または方向へ前記移動装置から見通しの良い位置へ移動することを特徴とする請求項1乃至7のいずれか1項に記載の移動装置。
<請求項9>
前記報知手段の報知回数を判定する報知回数判定手段を更に備え、
前記制御手段は、前記報知回数の判定結果に基づき前記移動装置を制御することを特徴とする請求項2に記載の移動装置。
<請求項10>
移動装置の制御方法であって、
合図を検出する合図検出ステップと、
前記合図検出ステップによって検出された合図が発せられた場所または方向を特定する特定ステップと、
前記合図検出ステップによって検出された合図が発せられた場所または方向へ移動する移動制御ステップと、
前記移動制御ステップにより合図が発せられた場所へ移動ができない場合、所定の制御を行う制御ステップと、
を含むことを特徴とする制御方法。
<請求項11>
移動装置のコンピュータに、
合図を検出する合図検出手段と、
前記合図検出手段によって検出された合図が発せられた場所または方向を特定する特定手段と、
前記合図検出手段によって検出された合図が発せられた場所または方向へ移動する移動制御手段と、
前記移動制御手段により合図が発せられた場所へ移動ができない場合、所定の制御を行う制御手段と、
を備えることを特徴とするプログラム。
100…移動装置、101…音声入力部、102…撮像部、103…音声出力部、104…センサ部、105…駆動部、106…記憶部、107…制御部、108…発光部

Claims (5)

  1. 自律移動可能なロボットであって、
    ユーザにより発生される呼びかけに基づいて前記ユーザが存在する場所を検出することにより、前記ユーザが存在する場所を前記ロボットの移動先として特定する特定手段と、
    前記特定手段により特定された移動先に向けて前記ロボットが所定の距離以上の移動が可能な移動経路があるか否かを判断する判断手段と、
    前記判断手段により前記移動経路があると判断された場合に前記移動経路にしたがって前記ロボットが移動するように駆動手段を制御するとともに、前記判断手段により否と判断された場合に、前記呼びかけへの応答として前記ロボットが所定の報知を行うように報知手段を制御する制御手段と、
    を備え、
    前記制御手段は、前記ユーザにより発生される呼びかけが検出されたタイミングに基づいて前記ロボットが一旦所定の方向を向くように前記駆動手段を制御する、
    ことを特徴とするロボット。
  2. 前記制御手段は、前記ユーザにより発生される呼びかけが検出されたタイミングに基づいて前記所定の方向として前記ユーザに対して正対する方向を向くように前記駆動手段を制御する、
    ことを特徴とする請求項1に記載のロボット。
  3. 前記所定の報知とは、
    前記報知手段としての音声出力手段を制御することによる、前記ロボットの近くへの前記ユーザの移動を促す音声出力と、前記ユーザと前記ロボットとの間に障害物がない場所への前記ユーザの移動を促す音声出力とのいずれか、または、
    前記報知手段としての発光手段を制御することによる、前記ロボットの近くへの前記ユーザの移動を促す発光と、前記ユーザと前記ロボットとの間に障害物がない場所への前記ユーザの移動を促す発光とのいずれかである、
    ことを特徴とする請求項1または2に記載のロボット。
  4. 自律移動可能なロボットが実行するコミュニケーション方法であって、
    ユーザにより発生される呼びかけに基づいて前記ユーザが存在する場所を検出することにより、前記ユーザが存在する場所を前記ロボットの移動先として特定する特定ステップと、
    前記特定ステップで特定された移動先に向けて前記ロボットが所定の距離以上の移動が可能な移動経路があるか否かを判断する判断ステップと、
    前記判断ステップで前記移動経路があると判断された場合に前記移動経路にしたがって前記ロボットが移動するように駆動手段を制御するとともに、前記判断ステップで否と判断された場合に、前記呼びかけへの応答として前記ロボットが所定の報知を行うように報知手段を制御する制御ステップと、
    を有し、
    前記制御ステップは、前記ユーザにより発生される呼びかけが検出されたタイミングに基づいて前記ロボットが一旦所定の方向を向くように前記駆動手段を制御する、
    ことを特徴とするコミュニケーション方法。
  5. 自律移動可能なロボットのコンピュータを、
    ユーザにより発生される呼びかけに基づいて前記ユーザが存在する場所を検出することにより、前記ユーザが存在する場所を前記ロボットの移動先として特定する特定手段、
    前記特定手段により特定された移動先に向けて前記ロボットが所定の距離以上の移動が可能な移動経路があるか否かを判断する判断手段、
    前記判断手段により前記移動経路があると判断された場合に前記移動経路にしたがって前記ロボットが移動するように駆動手段を制御するとともに、前記判断手段により否と判断された場合に、前記呼びかけへの応答として前記ロボットが所定の報知を行うように報知手段を制御する制御手段、
    として機能させ、
    前記制御手段は、前記ユーザにより発生される呼びかけが検出されたタイミングに基づいて前記ロボットが一旦所定の方向を向くように前記駆動手段を制御する、
    ことを特徴とするプログラム。
JP2022100742A 2017-03-31 2022-06-23 ロボット、コミュニケーション方法及びプログラム Active JP7476924B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022100742A JP7476924B2 (ja) 2017-03-31 2022-06-23 ロボット、コミュニケーション方法及びプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017071699A JP6885160B2 (ja) 2017-03-31 2017-03-31 移動装置、移動装置の制御方法及びプログラム
JP2021078860A JP2021108228A (ja) 2017-03-31 2021-05-07 移動装置、移動装置の制御方法及びプログラム
JP2022100742A JP7476924B2 (ja) 2017-03-31 2022-06-23 ロボット、コミュニケーション方法及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021078860A Division JP2021108228A (ja) 2017-03-31 2021-05-07 移動装置、移動装置の制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2022118200A JP2022118200A (ja) 2022-08-12
JP7476924B2 true JP7476924B2 (ja) 2024-05-01

Family

ID=63671857

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017071699A Active JP6885160B2 (ja) 2017-03-31 2017-03-31 移動装置、移動装置の制御方法及びプログラム
JP2021078860A Pending JP2021108228A (ja) 2017-03-31 2021-05-07 移動装置、移動装置の制御方法及びプログラム
JP2022100742A Active JP7476924B2 (ja) 2017-03-31 2022-06-23 ロボット、コミュニケーション方法及びプログラム

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2017071699A Active JP6885160B2 (ja) 2017-03-31 2017-03-31 移動装置、移動装置の制御方法及びプログラム
JP2021078860A Pending JP2021108228A (ja) 2017-03-31 2021-05-07 移動装置、移動装置の制御方法及びプログラム

Country Status (3)

Country Link
US (1) US10419924B2 (ja)
JP (3) JP6885160B2 (ja)
CN (1) CN108687759B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6686977B2 (ja) * 2017-06-23 2020-04-22 カシオ計算機株式会社 音源分離情報検出装置、ロボット、音源分離情報検出方法及びプログラム
TWI790419B (zh) * 2019-07-26 2023-01-21 威鋒電子股份有限公司 音源傳輸裝置及操作系統
CN111399799B (zh) * 2019-07-26 2023-09-05 威锋电子股份有限公司 音频传输装置及操作系统
JP7367231B2 (ja) * 2020-10-19 2023-10-23 株式会社Preferred Robotics 自律走行車、制御装置及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001300876A (ja) 2000-04-20 2001-10-30 Yamatake Corp サービスロボット及びこれを使用する給仕システム
JP2008191800A (ja) 2007-02-02 2008-08-21 Hitachi Ltd 先導者追従車両
JP2015001863A (ja) 2013-06-17 2015-01-05 株式会社リコー 配達装置、自走型フィニッシャ、画像形成システム、及び配達プログラム
JP2015035139A (ja) 2013-08-09 2015-02-19 トヨタ自動車株式会社 自律移動体、障害物判別方法及び障害物回避方法
US20160274580A1 (en) 2013-10-25 2016-09-22 Samsung Electronics Co., Ltd Cleaning robot

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5179329A (en) * 1989-04-25 1993-01-12 Shinko Electric Co., Ltd. Travel control method, travel control device, and mobile robot for mobile robot systems
ATE166170T1 (de) * 1991-07-10 1998-05-15 Samsung Electronics Co Ltd Bewegliche überwachungsvorrichtung
JPH07225612A (ja) 1994-02-15 1995-08-22 Fujitsu Ltd 時間軸を探索空間に取り入れた経路探索方法,及び装置
JP3462640B2 (ja) * 1995-10-31 2003-11-05 三洋電機株式会社 誘導式搬送車及びその誘導路
US6459955B1 (en) * 1999-11-18 2002-10-01 The Procter & Gamble Company Home cleaning robot
JP4689107B2 (ja) * 2001-08-22 2011-05-25 本田技研工業株式会社 自律行動ロボット
JP4189377B2 (ja) * 2004-12-24 2008-12-03 株式会社東芝 移動ロボット、移動ロボットの移動方法および移動プログラム
JP2006251266A (ja) * 2005-03-10 2006-09-21 Hitachi Ltd 視聴覚連携認識方法および装置
EP2000889B1 (en) * 2006-03-15 2018-06-27 Omron Corporation Monitor and monitoring method, controller and control method, and program
US20130150004A1 (en) * 2006-08-11 2013-06-13 Michael Rosen Method and apparatus for reducing mobile phone usage while driving
JP2008046956A (ja) 2006-08-18 2008-02-28 Kansai Electric Power Co Inc:The ロボット誘導システム及びロボット制御装置
US8180486B2 (en) * 2006-10-02 2012-05-15 Honda Motor Co., Ltd. Mobile robot and controller for same
JP2008126329A (ja) * 2006-11-17 2008-06-05 Toyota Motor Corp 音声認識ロボットおよび音声認識ロボットの制御方法
JP2008158868A (ja) * 2006-12-25 2008-07-10 Toyota Motor Corp 移動体、及びその制御方法
JP2010160735A (ja) * 2009-01-09 2010-07-22 Toyota Motor Corp 移動ロボット、走行計画マップ生成方法、管理システム
JP5392028B2 (ja) * 2009-11-26 2014-01-22 富士通株式会社 自律移動ロボット
JP2011203773A (ja) * 2010-03-24 2011-10-13 Toyota Motor Corp バッテリー容量推定装置、その方法及びプログラム
JP5898432B2 (ja) * 2011-08-25 2016-04-06 京セラ株式会社 人体検出システム
WO2013085085A1 (en) * 2011-12-08 2013-06-13 Lg Electronics Inc. Automatic moving apparatus and manual operation method thereof
JP5898022B2 (ja) * 2012-09-18 2016-04-06 シャープ株式会社 自走式機器
JP6079415B2 (ja) 2013-05-01 2017-02-15 村田機械株式会社 自律移動体
KR102094347B1 (ko) * 2013-07-29 2020-03-30 삼성전자주식회사 자동 청소 시스템, 청소 로봇 및 그 제어 방법
US9665179B2 (en) * 2013-10-01 2017-05-30 Mattel, Inc. Mobile device controllable with user hand gestures
JP6726442B2 (ja) * 2014-06-30 2020-07-22 日本信号株式会社 ロボット装置
JP6221158B2 (ja) 2014-08-27 2017-11-01 本田技研工業株式会社 自律行動ロボット、及び自律行動ロボットの制御方法
JP6476077B2 (ja) * 2015-06-18 2019-02-27 シャープ株式会社 自走式電子機器および前記自走式電子機器の走行方法
CN105184214B (zh) * 2015-07-20 2019-02-01 北京进化者机器人科技有限公司 一种基于声源定位和人脸检测的人体定位方法和系统
KR101976419B1 (ko) * 2016-03-18 2019-05-09 엘지전자 주식회사 차량용 도어 제어 장치 및 차량
CN105929827B (zh) * 2016-05-20 2020-03-10 北京地平线机器人技术研发有限公司 移动机器人及其定位方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001300876A (ja) 2000-04-20 2001-10-30 Yamatake Corp サービスロボット及びこれを使用する給仕システム
JP2008191800A (ja) 2007-02-02 2008-08-21 Hitachi Ltd 先導者追従車両
JP2015001863A (ja) 2013-06-17 2015-01-05 株式会社リコー 配達装置、自走型フィニッシャ、画像形成システム、及び配達プログラム
JP2015035139A (ja) 2013-08-09 2015-02-19 トヨタ自動車株式会社 自律移動体、障害物判別方法及び障害物回避方法
US20160274580A1 (en) 2013-10-25 2016-09-22 Samsung Electronics Co., Ltd Cleaning robot

Also Published As

Publication number Publication date
US10419924B2 (en) 2019-09-17
CN108687759A (zh) 2018-10-23
CN108687759B (zh) 2021-12-07
US20180288609A1 (en) 2018-10-04
JP2022118200A (ja) 2022-08-12
JP6885160B2 (ja) 2021-06-09
JP2018173830A (ja) 2018-11-08
JP2021108228A (ja) 2021-07-29

Similar Documents

Publication Publication Date Title
JP7476924B2 (ja) ロボット、コミュニケーション方法及びプログラム
KR102348041B1 (ko) 복수의 이동 로봇을 포함하는 로봇 시스템의 제어 방법
US20180186369A1 (en) Collision Avoidance Using Auditory Data Augmented With Map Data
KR102670610B1 (ko) 공항용 로봇 및 그의 동작 방법
CN107031624B (zh) 钻车缝摩托车的检测
US9996080B2 (en) Collision avoidance using auditory data
US8010231B2 (en) Communication robot
KR20190106891A (ko) 인공 지능 모니터링 장치 및 그의 동작 방법
JPWO2018078713A1 (ja) 周辺情報判定装置
US20030026461A1 (en) Recognition and identification apparatus
US11890747B2 (en) Interactive autonomous robot configured with in-character safety response protocols
US20130218395A1 (en) Autonomous moving apparatus and method for controlling the same
JPH09185412A (ja) 自律移動装置
KR20190105214A (ko) 인공 지능을 통해 구속 상황을 회피하는 로봇 청소기 및 그의 동작 방법
JP7036399B2 (ja) 自律移動ロボット、並びに、その制御装置及び動作制御プログラム
KR20180098040A (ko) 이동 로봇 및 그 제어방법
JP2020042446A (ja) 情報処理システム、情報処理方法、及び情報処理プログラム
WO2019156125A1 (ja) 駐車支援装置及び駐車支援方法
JP6902777B2 (ja) 行動誘導システム及び行動誘導方法
KR102135369B1 (ko) 거리 검출 장치 및 그 방법
WO2021044953A1 (ja) 情報処理システム及び情報処理方法
JP2010238182A (ja) 自律移動体及び不審者検知方法
JP7071847B2 (ja) 自動運転車両を制御するためのシステム、方法、及びプログラム
JP2011216003A (ja) 障害物認識装置
JP7511154B2 (ja) 自律走行型掃除機及び制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220725

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240401

R150 Certificate of patent or registration of utility model

Ref document number: 7476924

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150