JP7451190B2 - 案内システム及び案内ロボット - Google Patents

案内システム及び案内ロボット Download PDF

Info

Publication number
JP7451190B2
JP7451190B2 JP2020010422A JP2020010422A JP7451190B2 JP 7451190 B2 JP7451190 B2 JP 7451190B2 JP 2020010422 A JP2020010422 A JP 2020010422A JP 2020010422 A JP2020010422 A JP 2020010422A JP 7451190 B2 JP7451190 B2 JP 7451190B2
Authority
JP
Japan
Prior art keywords
guide
user
guidance
robot
route
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020010422A
Other languages
English (en)
Other versions
JP2021117095A (ja
Inventor
翠 勝俣
朋紀 鈴木
麻美 瀬畑
航太朗 小澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Signal Co Ltd
Original Assignee
Nippon Signal Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Signal Co Ltd filed Critical Nippon Signal Co Ltd
Priority to JP2020010422A priority Critical patent/JP7451190B2/ja
Publication of JP2021117095A publication Critical patent/JP2021117095A/ja
Application granted granted Critical
Publication of JP7451190B2 publication Critical patent/JP7451190B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明は、利用者に対して目的地への経路案内等を行う案内システム及び案内ロボットに関する。
例えば、案内システムとして、複数の案内部が統括制御部と通信をすることで経路案内を行うものが知られている(特許文献1参照)。また、案内を行うロボット間でのタスクの引継ぎをサーバで確認するもの(特許文献2参照)が知られている。
しかしながら、上記特許文献1や特許文献2に例示するような案内システムでは、統括制御部やサーバで、案内部(ロボット)間での連携を一括管理ができる反面、例えば各案内部について設置位置の変更等がある場合に、簡易迅速な対応ができるとは限らない。
特開2019-215840号公報 特開2005-103722号公報
本発明は上記した点に鑑みてなされたものであり、経路案内の連携を簡易かつ確実に維持できる案内システム及び案内ロボットを提供することを目的とする。
上記目的を達成するための案内システムは、自己の位置を把握し、かつ、利用者を認識して、認識した利用者に対して自己の位置からの経路案内を行う案内部を複数備え、各案内部は、通信可能圏内に自身以外の案内部を1つ以上含み、複数の案内部のうち、一の案内部は、案内すべき経路上にある他の案内部の位置情報を有するとともに、経路案内及び認識した利用者の情報を当該他の案内部に送信する。
上記案内システムでは、各案内部が、通信可能圏内に自身以外の案内部を1つ以上含んでおり、自己の位置情報とともに案内すべき経路上にある他の案内部の位置情報をもった上で、利用者に対して経路案内を行う。また、各案内部は、利用者を認識し、経路上にある他の案内部に対して、経路案内の情報とともに認識した利用者の情報を送信することで、案内部間での経路案内の連携が維持できる。また、この場合、例えば各案内部について設置位置の変更等があっても、統括制御部やサーバ等の連携した案内に関する全体管理を行うものを介さずに、各案内部間で通信を適宜行うことで、迅速に対応して案内部間での連携を維持できる。
本発明の具体的な側面では、一の案内部は、案内すべき経路上にある他の案内部の位置情報を利用者に提供する。この場合、利用者に対して、案内の連携先(引継ぎ先)を明示できる。
本発明の別の側面では、各案内部は、利用者との対話から目的対象を特定し、特定した目的対象に関する経路を選択するとともに、選択された経路上にある他の案内部と通信する。この場合、目的の経路ごとに対応した案内が可能になる。
本発明のさらに別の側面では、各案内部は、利用者に固有の特徴から利用者を個別認証可能に認識する利用者個別認証部を備え、一の案内部は、認識した利用者の情報として、個別認証した利用者の情報を、他の案内部に送信する。この場合、案内を行う対象となっている利用者をより確実に特定でき、案内の連携を円滑に行える。
本発明のさらに別の側面では、利用者個別認証部は、利用者の顔を認識する顔認識部を含む。この場合、例えば撮像部等を備えること等で案内を引き継いだ案内部側で案内を受ける利用者を特定できる。
本発明のさらに別の側面では、各案内部は、新たな案内部が追加された場合に、当該新たな案内部の位置を把握して、通信可能な案内部の位置情報を更新する。この場合、新たな案内部の追加への対応を迅速に行える。
上記目的を達成するための案内ロボットは、自己の位置を把握する自己位置把握部と、利用者を認識する利用者認識部と、認識した利用者に対して自己の位置からの経路案内を行う経路案内部と、通信可能圏内にあり、かつ、案内すべき経路上にある他の案内ロボットの位置情報を格納するロボット位置情報格納部と、他の案内ロボットに対して経路案内及び認識した利用者の情報を送信する通信部とを備える。
上記案内ロボットは、自己の位置情報を有するとともに、通信可能圏内にあり、かつ、案内すべき経路上にある他の案内ロボットの位置情報をもった上で、認識した利用者に対して経路案内を行う。また、経路上にある他の案内ロボットに対して、経路案内の情報とともに認識した利用者の情報を送信することで、当該他の案内ロボットとの間での経路案内の連携が維持できる。また、この場合、例えば設置位置の変更等があっても、統括制御部やサーバ等の連携した案内に関する全体管理を行うものを介さずに、他の案内ロボットとの間で通信を適宜行うことで、迅速に対応して案内ロボット間での連携を維持できる。
第1実施形態に係る案内システムによる案内の様子について一例を示す概念図である。 案内システムによる案内の様子について他の一例を示す概念図である。 案内部としての案内ロボットの一構成例について説明するための正面図である。 案内ロボットの一構成例について説明するためのブロック図である。 一の案内ロボットから他の案内ロボットへの送信の様子を示す概念図である。 案内ロボット間で送信されるデータの一例を示すデータ表である。 案内システムの利用に関する一連の動作を説明するためのシーケンス図である。 案内システムを構成する案内ロボットにおける案内動作についての一例を説明するためのフローチャートである。 (A)及び(B)は、案内システムにおける案内ロボットの配置変更について一例を示す概念図である。 案内ロボットの配置変更に伴う連携の再構成について一連の動作を説明するためのシーケンス図である。 (A)及び(B)は、第2実施形態に係る案内システムによる案内の様子について一例を示す概念図である。 新たな案内ロボットの追加に伴う連携の再構成について一連の動作を説明するためのシーケンス図である。 (A)は、案内ロボットの配置変更について他の一例を示す概念図であり、(B)は、案内ロボットの配置変更に伴う連携の再構成について一連の動作を説明するためのシーケンス図である。
〔第1実施形態〕
以下、図1等を参照して、第1実施形態に係る案内システムの一例について概要を説明する。
本実施形態に係る案内システム100は、利用者HUとの対話から目的対象を特定し、特定した目的対象に関する経路案内を行う案内部としてそれぞれ機能する複数の案内ロボット10(10A,10B,10C,…)を備え、各案内ロボット10が、互いに通信可能となっていることで、経路案内を引き継ぐことすなわち案内の連携が可能になっている。例えば図1に示す場合では、案内システム100は、複数の案内ロボット10A,10B,10C等(以下、単に案内ロボットA,B,C等とすることもある。)で構成されている。図示の例では、案内ロボットAが、利用者HUとの最初の対話を行い、目的地までの経路案内を行っている。より具体的には、図示のように、案内ロボットAが、利用者HUから最初の質問を受ける案内ロボット10である場合、案内ロボットAは、対話内容から利用者HUの目的地がXXであることを認識すると、ルートαへ進んでその先にある案内ロボットBに説明を受ける旨を利用者HUに伝える。すなわち、一の案内部としての案内ロボットAは、案内すべき経路上にある他の案内部としての案内ロボットBの位置情報を利用者HUに提供することで、利用者HUに対して、案内の連携先(引継ぎ先)を明示する。また、並行して、案内ロボットAは、案内ロボットBに対して目的地XXに向かおうとする利用者HUに関する情報を送信する。この際、案内ロボットAは、利用者HUに関する特徴(例えば顔等の外観的特徴)の情報も案内ロボットBに対して送信する。以上により、案内ロボットAからの連絡を受けた案内ロボットBは、予め認識した利用者HUに対して、目的地XXへの経路案内を行うことができる。
また、図1の場合とは別の一例として、図2に示すように、利用者HUとの最初の対話を行った案内ロボットAが、対話内容から利用者HUの目的地がYY(XXとは異なる場所)であることを認識した場合、ルートαとは異なるルートβへ進んでその先にある案内ロボットCに説明を受ける旨を利用者HUに伝える。この場合、案内ロボットAは、利用者HUに関する各種情報を案内ロボットCに対して送信する。案内ロボットAからの連絡を受けた案内ロボットCは、予め認識した利用者HUに対して、目的地YYへの経路案内を行うことができる。つまり、案内ロボットAは、利用者HUとの対話から目的対象を特定し、特定した目的対象に関する経路を選択するとともに、選択された経路上にある他の案内ロボットB,C等と通信する。
なお、上記図1及び図2での例示では、いずれも、案内ロボットAが、利用者との最初の対話を行うものとしているが、他の案内ロボットB,C等が最初の対話を受け付け、通信可能となっているさらに他の案内ロボット10へ引継ぎを行うことも可能である。
以上のように、本実施形態に係る案内システム100では、複数の案内ロボット10A,10B,10C等が、互いに情報を伝送しあうことで、連携した経路案内を可能にしている。
案内システム100の利用態様については、例えば駅構内及びその周辺の各箇所に案内ロボット10を設置し、これらが連携することで、駅内や駅周辺の各施設等に関する経路案内を行うようにすることが考えられる。すなわち、案内システム100は、駅やその周辺の施設についての利用者HUに対して、利用者HUにとっての目的対象たる目的地(行き先)への経路情報を提供するためのシステムとして機能させることができる。このほか、案内システム100は、例えば各種イベント会場や大型ショッピングセンター、あるいはホームセンター等種々の場所に設けることも可能である。また、経路情報の提供に加え、さらに利用者の種々の要求に応じた情報を併せて提供するものとしてもよい。
以下、図3及び図4を参照して、案内ロボット10の一構成例についてより具体的に説明する。図3は、案内部としての案内ロボット10の一構成例について説明するための正面図であり、外部構成について主に示している。また、図4は、案内ロボット10の一構成例について説明するためのブロック図であり、案内ロボット10を構成する各部の諸動作を司る制御装置50の内部構成について主に示している。
まず、図3を参照して、案内ロボット10の一構成例について、外観構造を含めてより詳しく説明する。なお、ここでは、一例として、重力方向(垂直方向)を-Z方向とし、Z方向を上下方向とする。また、Z方向に対して垂直な面(水平面)内において互いに直交する方向をX方向及びY方向とする。すなわち、Z方向に垂直な面をXY面とする。X方向は、案内ロボット10にとっての前後方向すなわち正面方向となっており、Y方向は、案内ロボット10にとっての左右方向となっている。
図3に示す案内ロボット10は、利用者とのコミュニケーションを可能とするコミュニケーションロボットであり、人型の立体構造物で構成されるロボットとなるように、Z方向について最上部に設けられ球形に近い形状を有する頭状部HDと、頭状部HDの下側に設けられて頭状部HDを支持する胴体状部TRと、全体を支持する支持部BTとを有して、人の上半身を模した形状になっている。これらのうち、頭状部HDは、例えばY方向及びZ方向について軸回転し、これらの動きを組み合わせることで、頷いたり、首を横に振ったり等の各種アクションをする。また、胴体状部TRは、上段側に位置する胸部TR1と、下段に位置する腰部TR2とで構成されており、これらが、支持部BTに対して回転駆動することで、姿勢を変えることができる。なお、案内ロボット10を自走型とする場合、例えば、固定部である支持部BTのさらに下部に台車やタイヤ等で構成される走行装置を取り付ける態様とすることが考えられる。
また、案内ロボット10は、利用者とのコミュニケーションを成立させるべく、利用者の声を認識し、認識した音声情報に基づいて対話(発生)や動作等を行うために、パネル部PLと、マイクMCと、撮像部CAと、スピーカーSKと、測位情報受信機REと、通信部CUと、センサー部SEとを備える。このほか、案内ロボット10は、これらの各部の動作制御を、頭状部HD及び胴体状部TRの動作とともに制御する制御装置50を備える。
パネル部PLは、例えば液晶パネルや有機ELパネル等で構成される表示部であり、頭状部HDのうち、顔に相当する箇所である正面側に設けられ、例えば、図示のように、パネル部PLに目の画像を表示させ、頭状部HDがロボットの頭部であることを利用者に認識させる。なお、パネル部PLにおいて、各種案内を行うために必要な画像表示を行うことも可能である。
マイクMCは、頭状部HDに設けられており、利用者の声を集音する。ここでは、一例として、案内システム100は、マイクMCで取得された情報に基づき利用者の認識をする。より具体的には、マイクMCにおいて取得された音声データに基づき、利用者の声の特徴を捉えることで利用者を個別に特定可能に認識する声紋認識がなされる。
撮像部CAは、例えばCCDやCMOS等の固体撮像素子で構成される撮像カメラであり、パネル部PLの上方側に設置され、頭状部HDや胴体状部TRの姿勢の変化によって種々の方向について撮像する。特に、本実施形態では、案内システム100は、撮像部CAで取得された情報に基づき利用者の認識をする。より具体的には、撮像部CAにおいて取得された画像データに基づき、利用者の顔の特徴を捉えることで利用者を個別に特定可能に認識する顔認識や、利用者の服装の特徴を捉えることで利用者を個別に特定可能に認識する服装認識がなされる。
スピーカーSKは、例えば図示のように、頭状部HDに内蔵され、利用者に対して音声による発信を行う。図示の例では、胴体状部TRの胸部TR1に内蔵され、利用者に対して音声による発信を行う音声出力部として機能する。
測位情報受信機REは、例えば、GPSや、Wi-Fi(Wireless Fidelity、登録商標)等の無線LAN、ビーコン、あるいはこれらの組合せ等で構成される。また、測位情報受信機REは、例えば支持部BTに設けられ、案内ロボット10の自己位置を把握するために利用される。すなわち、測位情報受信機REは、自己の位置を把握する自己位置把握部として機能する。
通信部CUは、例えばBluetooth(登録商標)やZigBee(登録商標)、Wi-Fi(Wireless Fidelity、登録商標)等種々の近距離無線通信で構成され、通信可能圏内に自身以外の案内ロボット10との通信を行う。すなわち、一の案内ロボット10は、通信部CUを介して、他の案内ロボット10に対して経路案内及び認識した利用者の情報を送信することができる。
センサー部SEは、例えば赤外線センサーや、レーザー照射を利用するライダー装置等で構成され、案内ロボット10の周囲に人がいるか否かを検知する人検知センサー部である。例えばセンサー部SEでの人検知をトリガーとして、検知方向に撮像部CAを向け、経路案内を行う対象たる利用者の有無を確認する、といった態様にすることが考えられる。
制御装置50は、例えばPC等で構成され、各部の動作制御や、各種演算処理を行い、また、各種データを格納する。このため、制御装置50は、CPU等で構成される主制御部MPと、各種ストレージデバイス等で構成されるデータ記憶部DBと、各部と接続するためのインターフェース部IFとを備える。
以下、図4を参照して、案内ロボット10のうち、主に制御装置50の構成と、制御装置50における動作制御等について説明する。
図示のように、また、既述のように、制御装置50は、主制御部MPと、データ記憶部DBと、インターフェース部IFとを備え、動作制御等のために各部への指令信号送信等の信号処理や、各種演算処理を行うとともに、各種データを管理する。
以下、制御装置50のうち、まず、データ記憶部DBについて説明する。各種ストレージデバイス等で構成されるデータ記憶部DBには、各種データが格納されている。ここでは、例えば、自己位置データSPと、ロボット位置データRPと、構内地図データPMと、引継用データODと、言語データLDとについて、格納領域がそれぞれ設けられている。
まず、自己位置データSPとして、案内ロボット10自身の位置情報が、格納されている。当該情報は、測位情報受信機REを利用して取得され、例えば案内ロボット10の設置位置が変更になる、あるいは、案内ロボット10が自走型である場合には、測位情報受信機REでの受信情報の更新に伴って、自己位置データSPも更新可能となっている。
一方、ロボット位置データRPは、自身以外の案内ロボット10についての位置情報である。見方を変えると、データ記憶部DBのうち、ロボット位置データRPの格納領域は、案内ロボット10の通信可能圏内にあり、かつ、案内ロボット10が案内すべき経路上にある他の案内ロボット10の位置情報を格納するロボット位置情報格納部として機能している。
また、構内地図データPMは、案内を行う範囲に関する地図情報であり、経路案内を行う際に適宜参照される。なお、構内地図データPMの内容は、各案内ロボット10で共通であってもよく、また、各案内ロボット10で異なっていてもよいが、異なる場合、連携(引継ぎ)に必要な範囲については、連携をする案内ロボット10の間で重複している。
また、引継用データODとして、案内ロボット10の撮像部CA等で取得した利用者に関する情報(利用者情報)UDや、案内ロボット10と利用者との間での対話から抽出した案内経路に関する情報(案内経路情報)RDが、格納されている。
このほか、利用者が外国人である場合等を想定して、利用者が使用する言語に対応すべく、言語データLDが格納されている。
次に、制御装置50のうち、主制御部MPの一構成例について説明する。CPU等で構成される主制御部MPは、必要に応じて、データ記憶部DB等に格納された各種データやプログラム等を読み出して、種々の動作制御を行う。ここでの一例では、主制御部MPは、経路案内の動作に加え、他の案内ロボットとの連携を可能とするため、利用者認識部30と、経路案内部40と、対話処理部DLとを有している。
利用者認識部30は、利用者を認識するための処理回路である。ここでの一例では、利用者認識部30は、利用者の顔の特徴を抽出する顔特徴抽出部31と、利用者の服装の特徴を抽出する衣服特徴抽出部32と、利用者の声の特徴を抽出する声特徴抽出部33と、抽出された利用者の特徴からデータ記憶部DBに記録されている利用者のデータとの照合を行う利用者照合部34とを備える。
利用者認識部30のうち、顔特徴抽出部31は、各案内ロボット10の撮像部CAにおいて取得された利用者の画像データから利用者の顔を切り出すとともに、利用者の顔の画像から、他の人と当該利用者とを区別可能にする特徴的なデータを抽出することで、顔による利用者の認識(あるいは特定)を可能とする顔認識部である。
利用者認識部30のうち、衣服特徴抽出部32は、各案内ロボット10の撮像部CAにおいて取得された利用者の画像データから利用者の服装について切り出すとともに、利用者の衣服の画像から、他の人と当該利用者とを区別可能にする特徴的なデータを抽出することで、服装による利用者の認識(あるいは特定)を可能とする服装認識部である。
なお、顔特徴抽出部31や衣服特徴抽出部32において、抽出するデータについては、顔の輪郭や目、鼻、耳等の形状や配置、髪型や肌の色等、あるいは服の大きさや色・柄、スタイル等、種々のものが想定され、顔識別や服装識別のための種々の既存の手法が採用できる。
利用者認識部30のうち、声特徴抽出部33は、各案内ロボット10のマイクMCにおいて取得された音声データから利用者の声を抽出し、抽出した声(声紋)の特徴から他の人と当該利用者とを区別可能にする。すなわち、声特徴抽出部33は、利用者の声に基づき認識をする声紋認識部である。
以上のように、利用者認識部30のうち、顔特徴抽出部31、衣服特徴抽出部32及び声特徴抽出部33は、利用者に固有の特徴から利用者を個別認証可能に認識する利用者個別認証部の1つとしてそれぞれ機能する。
なお、主制御部MPは、利用者認識部30を構成する顔特徴抽出部31、衣服特徴抽出部32及び声特徴抽出部33により抽出された利用者認識のための情報、すなわち利用者に固有の特徴から利用者を個別認証可能に認識するための情報を、データ記憶部DBの引継用データODに格納する。また、これらの情報すなわち個別認証した利用者の情報は、通信部CUを介して、一の案内ロボット10において認識した利用者の情報として、引継ぎ先である他の案内ロボット10に送信される。
利用者認識部30のうち、利用者照合部34は、個別認証した利用者に関するデータの照合を行う。典型例としては、引継ぎ先である他の案内ロボット10において、利用者照合部34は、引継ぎ元である一の案内ロボット10から通信部CUを介して受け取って引継用データODに格納した情報と、顔特徴抽出部31等で抽出された情報とを照合して、引き継いだ案内を行う対象の利用者であるか否かを確認する。すなわち、主制御部MPは、利用者認識部30の利用者照合部34により、案内の引継ぎに関して、引継ぎを受け付けた案内ロボット10から送信された利用者であるか否かの判断を行う。
経路案内部40は、利用者認識部30で認識した利用者に対して自己の位置からの経路案内を行う。すなわち、経路案内部40は、利用者との対話から抽出した目的地について、適宜構内地図データPMを読み出して、自己の位置から当該目的地までの経路を選択するとともに、必要に応じて他の案内ロボット10への引継ぎを設定して案内経路を決定し、決定した案内経路を利用者に提示する。この場合、経路案内部40は、案内経路情報RDを作成する案内経路情報作成部としても機能する。なお、利用者への提示の方法については、スピーカーSKによる音声出力のほか、例えばパネル部PLによる表示等、種々の態様が考えられる。
対話処理部DLは、例えば言語選択ボタン(図示略)による受付選択、あるいは音声分析等による自動選択に基づいて、利用者の使用言語を特定可能にする言語選択部LSを有するとともに、特定された使用言語に応じた言語データLDをデータ記憶部DBから適宜読み出して、利用者との対話を成立させる。
以下、図5を参照して、一の案内ロボットAから他の案内ロボットBへの案内引継ぎのための送信について詳細に説明する。例えば、最初に案内ロボットAにおいて、利用者HUとの対話がなされる場合、案内ロボットAの経路案内部40は、構内地図データPMのほか、測位情報受信機REにより取得された自己位置データSPと、近隣にいる仲間の位置データであるロボット位置データRPとから、利用者HUへの提示や引継ぎ先への情報としての案内経路情報RDを作成する。また、案内ロボットAの利用者認識部30は、マイクMC及び撮像部CAにより取得した利用者個別認証情報としての利用者情報UDを作成する。作成された案内経路情報RD及び利用者情報UDすなわち引継用データODは、案内ロボットAの通信部CUから他の案内ロボットBへ送信される。
一方、案内ロボットBは、通信部CUを介して案内ロボットAから受け取った各種情報UD,RD、すなわち案内ロボットAで決定された経路案内の情報と案内ロボットAが認識した利用者の情報とを、案内ロボットBの引継用データODに格納する。案内ロボットBは、当該情報を利用して、利用者HUに対する経路案内を行う。
図6は、上記の場合において、案内ロボットAから案内ロボットBへ送信される送信情報について一例を示すデータ表であり、図1に例示した経路案内に対応している。この場合、案内経路情報RDとして、利用者HUの目的地が目的地XXであることと、目的地XXに到達するまでの案内経路の情報とが含まれている。また、利用者情報UDとして、利用者個別認証情報、すなわち利用者HUについての顔識別データ、服装識別データ及び声紋識別データが含まれている。このほかに、例えば対話情報DDとして、利用者HUの使用言語や、対話時刻に関する情報を併せて送信するようにしてもよい。例えば使用言語が予め分かっていることで、コミュニケーションの円滑化・迅速化を図ることができる。また、例えば対話時刻に関して分かっていることで、案内ロボットBが利用者HUとのコミュニケーションに要する時間や、案内ロボットAから案内ロボットBまでの距離を加味して利用者HUが案内ロボットBのところに到達する時刻の予測等が可能になる。
以下、図7のシーケンス図を参照して、上記のような態様における案内システム100による連携した経路案内に関する一連の動作について一例を説明する。
まず、利用者HUが、案内ロボットAとの対話を開始すると、案内ロボットAは、対話の内容から利用者HUの目的地情報の取得とともに、利用者を認識するための情報(利用者認識情報)すなわち顔画像等の取得を行う。案内ロボットAは、取得した情報について処理を行う。すなわち、案内ロボットAは、選択すべき経路の解析(経路解析)を行うととともに、利用者認識のための顔の特徴に関する解析等の各種処理(利用者認識処理)を行う。ここで、経路解析の結果、経路上にある案内ロボットBに引継ぎ(連携)を行うものと判断した場合、案内ロボットAは、案内ロボットBに対してアクセスし、引継ぎ依頼を行う。見方を変えると、案内ロボットBは、案内ロボットAからの引継ぎを受け付ける処理(引継ぎ受付処理)を行い、案内ロボットAに対して引き継ぐ旨の応答をする。案内ロボットAは、案内ロボットBからの応答を受けて依頼受理を確認すると(応答確認)、利用者HUに関する情報である経路案内情報や利用者情報を案内ロボットBに対して送信(提供)するとともに、利用者HUに対して、経路案内先すなわち案内ロボットBへの経路案内を行って、一連の処理を終える。
一方、案内ロボットAから利用者HUに関する情報を受け付けて、案内を引き継いだ案内ロボットBは、受け付けた情報に基づいて(情報受付処理)、引継利用者である利用者HUを認識し(引継利用者認識)、認識した利用者HUに対して目的地への経路案内すなわち情報提供(目的地情報提供)を行う。
以下、図8のフローチャートを参照して、一の案内ロボット10における一連の動作について一例を説明する。
一の案内ロボット10(ここでの動作説明では、以下、案内ロボットAとする。)は、動作を開始すると、まず、センサー部SEによる人検知機能等を使って、利用者HUの検出を行い、検出されるまで、この動作を繰り返す(ステップS101)。
ステップS101において、利用者HUが検出されると(ステップS101:Yes)、案内ロボットAは、利用者HUの発話を認識し、目的地を特定設定する(ステップS102)。さらに、案内ロボットAは、ステップS102で特定した目的地について、目的地までの案内経路を設定し、当該案内経路上に他の案内ロボット10(ここでの動作説明では、以下、案内ロボットBとする。)が存在するか否かを、ロボット位置データRPから判定する(ステップS103)。
ステップS103での判定の結果、案内ロボットBが存在する場合(ステップS104:Yes)、案内ロボットBを目印とした経路説明を利用者HUに対して行うとともに(ステップS105)、案内ロボットBに対して、例えば利用者HUの顔画像等の情報すなわち利用者個別認証情報を送信する(ステップS106)。
一方、ステップS103の判定において、案内ロボットBに相当する他の案内ロボット10が存在しない場合(ステップS104:No)、案内ロボットAは、目的地への直接の経路案内を行う(ステップS107)。典型的には、案内システム100を構成する案内ロボット10のうち、案内ロボットAが、利用者HUにとっての目的地に対して最も近い場所にある場合に、かかる状態となる。
ステップS106での情報送信又はステップS107での経路案内の後、利用者HUから別途質問がある場合には(ステップS108:Yes)、案内ロボットAは、利用者HUとの対話を続け、ステップS102からの動作を繰り返し、利用者HUからの質問が無い場合には(ステップS108:No)、一連の動作を終了する。
なお、上記において、案内ロボットAが、他の案内ロボット10から経路案内を引き継いいだものである場合、ステップS101において、引継ぎ元からの利用者HUに関する各種情報を利用して、利用者HUの検出を行う。また、この場合、案内ロボットAは、検出した利用者HUに対して、利用者HUの発話を待つことなく、自ら自己紹介をした上で、引き継いだ経路案内を行うという態様にできる。
以下、図9及び図10を参照して、案内システム100における案内ロボット10の配置変更について一例を説明する。図9(A)は、配置変更前の状態を示す概念図であり、図9(B)は、配置変更後の状態を示す概念図である。図10は、図9に示す案内ロボットの配置変更に伴う連携の再構成について一連の動作を説明するためのシーケンス図である。
図9(A)に示す一例では、配置変更前において、案内システム100は、4つの案内ロボット10A~10D(以下、単に案内ロボットA~D等とする。)を配置して構成されており、案内ロボットDは、案内ロボットB及び案内ロボットCと直接的に通信可能になっているが、案内ロボットAとは直接には通信せず、その他については、互いに通信可能になっている。
これに対して、図9(B)に示す一例では、破線で示すように、図9(A)に示す状態から案内ロボットDを配置変更し、実線で示すように、配置変更後において、案内ロボットDは、案内ロボットA及び案内ロボットCと直接的に通信可能になっているが、案内ロボットBとは直接には通信せず、その他については、互いに通信可能な態様に変更されるものとする。
以上のような配置変更に際しての4つの案内ロボットA~Dの間での通信態様すなわち連携の再構成について、図10のシーケンス図を参照して説明する。
まず、配置変更された案内ロボットDは、測位情報受信機RE(図3等参照)を起動して(測位情報受信機起動)、自己の位置を更新し、これを記憶する(自己位置更新記憶)。次に、案内ロボットDは、自己の配置変更に関する情報、すなわち更新した自己の位置の情報(配置変更情報)を、通信可能な範囲内にある近隣の案内ロボット10に対して送信する。この場合、案内ロボットA及び案内ロボットCが、案内ロボットDからの送信を受け付け可能な範囲にある。したがって、案内ロボットA及び案内ロボットCは、案内ロボットDからの配置変更情報を受け付けこれに応答することで、これらの間で新たな仲間位置確認がなされる。すなわち、案内ロボットA及び案内ロボットCさらには案内ロボットD自身が、ロボット位置データの更新を行う。
また、ロボット位置データの更新を行った案内ロボットA及び案内ロボットCは、案内ロボットDについての配置変更情報を近隣の案内ロボット10に対して送信する。この場合、案内ロボットBは、案内ロボットA及び案内ロボットCの近隣に位置する案内ロボット10として、これらからの配置変更情報を受け取ることで、案内ロボットDについての情報更新を行う。
以上により、案内システム100では、例えば統括制御部やサーバといった連携した案内に関する全体管理を行うものを介さずに、各案内ロボット10間で通信を適宜行うことで、迅速に対応して案内ロボット10間での新たな連携を維持できる。
以上のように、本実施形態に係る案内システム100では、自己の位置を把握し、かつ、利用者HUを認識して、認識した利用者HUに対して自己の位置からの経路案内を行う案内部としての案内ロボット10を複数備え、各案内ロボット10は、通信可能圏内に自身以外の案内ロボット10を1つ以上含み、複数の案内ロボット10のうち、一の案内ロボット10Aが、案内すべき経路上にある他の案内ロボット10B等の位置情報を有するとともに、経路案内の情報や、認識した利用者HUの情報を、案内ロボット10B等に送信する。
この場合、各案内ロボット10が、通信可能圏内に自身以外の案内ロボット10を1つ以上含んでおり、自己の位置情報とともに案内すべき経路上にある他の案内ロボット10の位置情報をもった上で、利用者HUに対して経路案内を行う。また、各案内ロボット10は、利用者HUを認識し、経路上にある他の案内ロボット10に対して、経路案内の情報とともに認識した利用者HUの情報を送信することで、案内ロボット10間での経路案内の連携が維持できる。また、この場合、例えば各案内ロボット10について設置位置の変更等があっても、統括制御部やサーバ等の連携した案内に関する全体管理を行うものを介さずに、各案内ロボット10間で通信を適宜行うことで、迅速に対応して案内部間での連携を維持できる。
〔第2実施形態〕
以下、図11及び図12を参照して、第2実施形態の案内システムの一例について概要を説明する。なお、本実施形態に係る案内システム200は、第1実施形態の案内システム100の変形例であり、案内ロボット10の新規追加を可能としている点を除いて同様であるので、共通する構成要素については同じ符号を付し、詳細な説明は省略する。
図11(A)及び図11(B)は、本実施形態に係る案内システム200による案内の様子について一例を示す概念図であり、図1に対応する図である。また、図12は、新たな案内ロボット10の追加に伴う連携の再構成について一連の動作を説明するためのシーケンス図である。
ここでの一例では、図11(A)に示すように、3つの案内部としての案内ロボット10A,10B,10Cを配置して構成された状態に、新たな案内部としての案内ロボット10Xを追加して、図11(B)に示すように、連携を再構成し、案内システム200を構成する場合を示している。なお、4つの案内ロボット10A~10C,10Xについて、以下では、単に案内ロボットA~C,Xとする。
以下、本実施形態に係る案内システム200の態様について、より具体的に説明する。まず、図11(A)に示す新たな連携の再構成を行う前の状態では、例えば案内ロボットAが、目的地ωへの経路案内を行う場合、利用者HUに対して、ルートαから案内ロボットBを経由して、ルートγを使って目的地ωに到達する順路を紹介していたとする。これに対して、図11(B)に示すように、新たなルートδができ、今後は、案内ロボットAの位置からは、ルートα及びルートγを経由することなく、ルートδを使って目的地ωに到達することが最適となり、これに伴って新たにルートδ上に新規の案内ロボットXを追加配置し、当該追加に伴う連携の再構成を行う。
以下、図12のシーケンス図を参照して、4つの案内ロボットA~C,Xの間での通信態様すなわち連携の再構成について説明する。
まず、新規追加された案内ロボットXは、測位情報受信機RE(図3等参照)を起動して(測位情報受信機起動)、自己の位置を把握し、これを記憶する(自己位置新規記憶)。次に、案内ロボットXは、自己の配置に関する情報、すなわち自己の位置の情報(新規配置情報)を、通信可能な範囲内にある近隣の案内ロボット10に対して送信する。この場合、案内ロボットA及び案内ロボットBが、案内ロボットXからの送信を受け付け可能な範囲にある。したがって、案内ロボットA及び案内ロボットBは、案内ロボットXからの新規配置情報を受け付けこれに応答することで、これらの間で新たな仲間位置確認がなされる。
仲間位置確認がなされると、案内ロボットXは、さらに、新規案内情報を案内ロボットA及び案内ロボットBに提供する。新規案内情報については、案内ロボットXが追加されることに伴う案内経路の変更等の種々の情報を含む。例えば上記一例の場合、新たなルートδに関する情報が、新規案内情報に含まれる。案内ロボットA及び案内ロボットBは、案内ロボットXからの新規案内情報を受け付け、構内地図データを更新することで、新たなルート案内が可能となる。
また、構内地図データの更新を行った案内ロボットA及び案内ロボットBは、案内ロボットXについての情報を近隣の案内ロボット10に対して送信する。この場合、案内ロボットCは、案内ロボットA及び案内ロボットBの近隣に位置する案内ロボット10として、これらからの新規配置情報や新規案内情報を受け取ることで、案内ロボットXの追加やこれに伴う経路案内の変更についての情報更新を行う。以上のようにして、各案内ロボットA~Cは、新たな案内ロボットXが追加された場合に、当該新たな案内ロボットXの位置を把握して、通信可能な案内ロボット10の位置情報を更新する。
以上により、案内システム200では、例えば統括制御部やサーバといった連携した案内に関する全体管理を行うものを介さずに、各案内ロボット10間で通信を適宜行うことで、新規に案内ロボット10を追加した場合にも、これに迅速に対応して案内ロボット10間での新たな連携を維持できる。
〔その他〕
この発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することが可能である。
まず、例えば案内ロボットの配置変更に関して、第1実施形態において図9等を参照して説明した配置場所の変更や、第2実施形態において図11等を参照して説明した新規追加の他に、図13に例示するように、案内ロボットを撤去する際においても、連携を維持する態様にできる。なお、図13(A)は、案内ロボットの配置変更について他の一例として、図9(A)の状態から、案内ロボット10D(案内ロボットD)を撤去した様子を概念的に示している。また、図13(B)は、上記案内ロボットDの撤去に伴う連携の再構成について一連の動作を説明するためのシーケンス図である。
以下、図13(B)のシーケンス図を参照して、上記案内ロボットDの撤去に伴う一連の処理動作について説明する。まず、図9(A)に示した撤去前の状態から、図13(A)に示す案内ロボットDの撤去を行うに際して、案内ロボットDは、自己の配置変更に関する情報、すなわち自己が撤去され存在しなくなる旨の情報(撤去情報)を、通信可能な範囲内にある近隣の案内ロボット10に対して送信する。図9(A)あるいは図13(A)に示す配置の場合、案内ロボットB及び案内ロボットCが、案内ロボットDからの送信を受け付け可能な範囲にある。したがって、図13(B)に示すように、この場合、案内ロボットB及び案内ロボットCは、案内ロボットDからの撤去情報を受け付けこれに応答し、案内ロボットB及び案内ロボットCが、ロボット位置データの更新すなわち案内ロボットDに関する情報の抹消について処理を行う。
また、ロボット位置データの更新(案内ロボットDに関する情報の抹消)を行った案内ロボットB及び案内ロボットCは、案内ロボットDについての撤去情報を近隣の案内ロボット10に対して送信する。この場合、案内ロボットAは、案内ロボットB及び案内ロボットCの近隣に位置する案内ロボット10として、これらからの当該撤去情報を受け取ることで、案内ロボットDについての情報更新すなわち案内ロボットDに関する情報の抹消を行う。以上により、案内ロボット10間での新たな連携を維持できる。
また、上記実施形態において、案内システム100を構成する案内部として、人型の立体構造物で構成される案内ロボット10を採用しているが、これに限らず、種々の態様とすることが考えられる。例えば、駅の券売機や案内表示板等を、案内システム100を構成する複数の案内部の一部として利用する態様も考えられる。また、上記の例では、人型の案内ロボット10は、頭部と胴体部のみを有する構成としているが、例えばさらに手に相当する構造を設け、各種ジェスチャ-が行えるものとしてもよい。例えば手話が可能であったり、行き先を、手を使って示したりしてもよい。さらに、自走型とする、すなわち移動しながら案内を行うものとし、自身の移動経過の情報を含めて他の案内部(案内ロボット10)に引継ぎを行うものとしてもよい。さらに、混雑状況等に応じて、案内ロボット10が移動して、配置を変更するようにしてもよい。
また、上記では、データ記憶部DBが制御装置50に内蔵され、制御装置50によって各案内ロボット10における情報管理を一元化しているが、データ記憶部DBあるいはその一部を制御装置50と通信可能な状態で離間させ、制御装置50が、必要に応じてデータ記憶部DBにアクセスする態様としてもよい。
また、各案内ロボット10は、案内システム100を構成する全ての案内ロボット10に関する情報を持っていることは必須ではなく、例えば、各案内ロボット10は、利用者HUの目的地へ向かう途中にある近隣の案内ロボット10との連携(引継ぎ)のための情報を有していれば、少なくとも引継ぎ先の案内ロボット10の位置を利用者HUに提示可能となる。したがって、各案内ロボット10が、案内システム100を構成する案内ロボット10のうち自己の近隣にある一部のものについての位置情報を有する構成としてもよい。
また、上記では、案内ロボット10に設けた撮像部CAによって利用者を認識するための画像データを取得しているが、案内ロボット10を配置する駅等の構内において別途用意しておいたカメラ等からの情報を、通信回線等により利用可能としてもよい。具体的には、例えば施設内(例えば駅等の天井部分)において監視用に設けた定点カメラのデータを受け付け、これを利用して利用者を認識するための画像データを取得するような構成となっていてもよい。
また、利用者を個別認証可能に認識するための方法について、上記例では、利用者の顔や、服装、声の特徴を利用することを例示したが、これに限らず種々の方法を利用することが考えられる。例えば、空港やアトラクション施設等において、本発明の案内システムを利用する場合、チケットやパスポート等を利用者の個別認証として使用することが考えられる。例えば、利用者が自ら自己のチケットやパスポート等を案内部に対して提示することで、情報提供を受けられるようにする、といったことも考えらえる。すなわち、利用者が個別認証できるものを所持している場合には、これらを利用することも考えられる。
10,10A~10D,10X…案内ロボット、A~D,X…案内ロボット、30…利用者認識部、31…顔特徴抽出部、32…衣服特徴抽出部、33…声特徴抽出部、34…利用者照合部、40…経路案内部、50…制御装置、100,200…案内システム、BT…支持部、CA…撮像部、CU…通信部、DB…データ記憶部、DD…対話情報、DL…対話処理部、HD…頭状部、HU…利用者、IF…インターフェース部、LD…言語データ、LS…言語選択部、MC…マイク、MP…主制御部、OD…引継用データ、PL…パネル部、PM…構内地図データ、PM…適宜構内地図データ、RD…案内経路情報、RE…測位情報受信機、RP…ロボット位置データ、SE…センサー部、SK…スピーカー、SP…自己位置データ、TR…胴体状部、TR1…胸部、TR2…腰部、UD…利用者情報、XX,YY,ω…目的地、α~δ…ルート

Claims (6)

  1. 路案内を行う案内部を複数備え、
    前記各案内部は、通信可能圏内に自身以外の案内部を1つ以上含み、
    の案内部は、案内すべき経路上にある他の案内部の位置情報を、経路案内とともに利用者に提供し、
    前記複数の案内部は、新たな案内部が追加された場合に、互いに通信することにより、当該新たな案内部の位置を把握して、通信可能な案内部の位置情報を更新しつつ、案内すべき経路を再構成する、案内システム。
  2. 前記一の案内部は、自己の位置を把握し、かつ、利用者を認識して、認識した利用者に対して自己の位置からの経路案内を行うとともに、経路案内及び認識した利用者の情報を、案内すべき経路上にある前記他の案内部に送信する、請求項1に記載の案内システム。
  3. 前記各案内部は、利用者との対話から目的対象を特定し、特定した目的対象に関する経路を選択するとともに、選択された経路上にある前記他の案内部と通信する、請求項1及び2のいずれか一項に記載の案内システム。
  4. 前記各案内部は、利用者に固有の特徴から利用者を個別認証可能に認識する利用者個別認証部を備え、
    前記一の案内部は、前記認識した利用者の情報として、個別認証した利用者の情報を、前記他の案内部に送信する、請求項1~3のいずれか一項に記載の案内システム。
  5. 前記利用者個別認証部は、利用者の顔を認識する顔認識部を含む、請求項4に記載の案内システム。
  6. 自己の位置を把握する自己位置把握部と、
    利用者を認識する利用者認識部と、
    認識した利用者に対して自己の位置からの経路案内を行う経路案内部と、
    通信可能圏内にあり、かつ、案内すべき経路上にある他の案内ロボットの位置情報を格納するロボット位置情報格納部と、
    前記他の案内ロボットに対して経路案内及び認識した利用者の情報を送信する通信部と
    を備え
    案内すべき経路上にある前記他の案内ロボットの位置情報を、経路案内とともに利用者に提供し、
    前記経路案内部及び前記ロボット位置情報格納部は、新たな案内ロボットが追加された場合に、自身以外の案内ロボットと通信することにより、当該新たな案内ロボットの位置を把握して、通信可能な案内ロボットの位置情報を更新しつつ、案内すべき経路を再構成する案内ロボット。
JP2020010422A 2020-01-24 2020-01-24 案内システム及び案内ロボット Active JP7451190B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020010422A JP7451190B2 (ja) 2020-01-24 2020-01-24 案内システム及び案内ロボット

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020010422A JP7451190B2 (ja) 2020-01-24 2020-01-24 案内システム及び案内ロボット

Publications (2)

Publication Number Publication Date
JP2021117095A JP2021117095A (ja) 2021-08-10
JP7451190B2 true JP7451190B2 (ja) 2024-03-18

Family

ID=77174634

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020010422A Active JP7451190B2 (ja) 2020-01-24 2020-01-24 案内システム及び案内ロボット

Country Status (1)

Country Link
JP (1) JP7451190B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114237251B (zh) * 2021-12-17 2024-08-02 北京云迹科技股份有限公司 目标地点的接力引领方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005103722A (ja) 2003-09-30 2005-04-21 Toshiba Corp 協調ロボット装置、システム、およびナビゲーションロボット装置
JP2008152504A (ja) 2006-12-18 2008-07-03 Hitachi Ltd 案内ロボット装置及び案内システム
JP2016212462A (ja) 2015-04-28 2016-12-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 移動制御方法および移動制御装置
US20190358814A1 (en) 2016-09-13 2019-11-28 Lg Electronics Inc. Robot and robot system comprising same
JP2019215840A (ja) 2018-06-06 2019-12-19 日本信号株式会社 案内システム
KR102063149B1 (ko) 2018-10-16 2020-01-07 엘지전자 주식회사 협업에 따라 대기위치를 변경하는 방법 및 로봇

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005103722A (ja) 2003-09-30 2005-04-21 Toshiba Corp 協調ロボット装置、システム、およびナビゲーションロボット装置
JP2008152504A (ja) 2006-12-18 2008-07-03 Hitachi Ltd 案内ロボット装置及び案内システム
JP2016212462A (ja) 2015-04-28 2016-12-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 移動制御方法および移動制御装置
US20190358814A1 (en) 2016-09-13 2019-11-28 Lg Electronics Inc. Robot and robot system comprising same
JP2019215840A (ja) 2018-06-06 2019-12-19 日本信号株式会社 案内システム
KR102063149B1 (ko) 2018-10-16 2020-01-07 엘지전자 주식회사 협업에 따라 대기위치를 변경하는 방법 및 로봇

Also Published As

Publication number Publication date
JP2021117095A (ja) 2021-08-10

Similar Documents

Publication Publication Date Title
CN103916875B (zh) 基于wifi无线网络多类控制终端的管理与规划系统
KR100580880B1 (ko) 화상 분배 시스템
JP4460528B2 (ja) 識別対象識別装置およびそれを備えたロボット
JP7164373B2 (ja) 案内システム
JP7243110B2 (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、並びに荷物受け取り支援システム
JP4787813B2 (ja) 検知対象検知システム
JP2007260822A (ja) 道案内ロボット
JP2007190659A (ja) ロボット遠隔操作システム
US20150254511A1 (en) Information processing system, information processing apparatus, storage medium having stored therein information processing program, and information processing method
US11514705B2 (en) Information processing apparatus and non-transitory computer readable medium to allow operation without contact
JP6439806B2 (ja) ロボット装置及びプログラム
CN111372851A (zh) 无人航空器控制系统、无人航空器控制方法、及程序
JP7027601B2 (ja) ロボット制御装置、ロボット制御方法及びロボット
JP7451190B2 (ja) 案内システム及び案内ロボット
JP2005103722A (ja) 協調ロボット装置、システム、およびナビゲーションロボット装置
JP2004299026A (ja) 受付案内システム
JP7155613B2 (ja) 情報処理装置及びプログラム
CN110561444B (zh) 一种机场机器人服务系统及方法、计算机存储介质
JP2005289307A (ja) 飛行案内装置、歩行案内方法、飛行案内プログラム
KR20120053096A (ko) 네트워크 로봇 시스템, 로봇 제어 장치, 로봇 제어 방법 및 로봇 제어 프로그램
JP3913023B2 (ja) 行動支援システムおよび行動支援装置
CN106181958A (zh) 基于手势控制的交互式智能家居服务机器人
JP6358637B1 (ja) 配車システム
JP7295175B2 (ja) ロボット制御方法及びシステム
JP2019196959A (ja) 案内システム及び案内用ロボット

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240306

R150 Certificate of patent or registration of utility model

Ref document number: 7451190

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150