JP7002576B2 - 移動ロボットの歩行者回避方策を実施するためのシステム及び方法 - Google Patents

移動ロボットの歩行者回避方策を実施するためのシステム及び方法 Download PDF

Info

Publication number
JP7002576B2
JP7002576B2 JP2020027791A JP2020027791A JP7002576B2 JP 7002576 B2 JP7002576 B2 JP 7002576B2 JP 2020027791 A JP2020027791 A JP 2020027791A JP 2020027791 A JP2020027791 A JP 2020027791A JP 7002576 B2 JP7002576 B2 JP 7002576B2
Authority
JP
Japan
Prior art keywords
pedestrian
mobile robot
predicted
intersection
predicted intersection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020027791A
Other languages
English (en)
Other versions
JP2020135901A (ja
Inventor
シーユン・ロ
克 山根
謙一郎 杉山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of JP2020135901A publication Critical patent/JP2020135901A/ja
Priority to JP2021169514A priority Critical patent/JP2022009179A/ja
Application granted granted Critical
Publication of JP7002576B2 publication Critical patent/JP7002576B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/225—Remote-control arrangements operated by off-board computers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/40—Control within particular dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)

Description

（関連出願の相互参照）
本出願は、２０１９年２月２２日に出願された米国特許仮出願第６２／８０９，１７８号の優先権を主張し、参照により本明細書に明示的に組み込まれる。
混雑した環境内での移動ロボットのナビゲーションに関する多くの初期研究は、歩行者などの移動障害物の中で、衝突しない経路を計画することに焦点を当てている。しかしながら、いくつかの現在のナビゲーション技術を利用して、移動ロボットの物理的に安全な経路を計画することができるが、これらの技術は、移動ロボットと歩行者との間の物理的距離に関して歩行者の快適性を考慮しない場合がある。例えば、いくつかのナビゲーション技術の利用に基づくと、移動ロボットは、歩行者に不快に近接する可能性があり、歩行者の一部に不快感を引き起こし得る。
一態様によれば、移動ロボットの歩行者回避方策を実施するためのコンピュータ実施方法は、移動ロボットのシステムから歩行者及び移動ロボットの位置データを受信することと、位置データに基づいて歩行者及び移動ロボットの位置を推定することと、を含む。コンピュータ実施方法はまた、歩行者及び移動ロボットの経路の予測交点、及び歩行者が経路の予測交点に到達して横断する予測時間を判定することを含む。コンピュータ実施方法は、歩行者及び移動ロボットの位置と、歩行者が経路の予測交点に到達して横断するときの予測時点とに基づいて、歩行者回避方策を実施することを更に含む。
別の態様によれば、移動ロボットの歩行者回避方策を実施するためのシステムは、命令を記憶するメモリを含み、命令は、プロセッサによって実行されると、プロセッサに、移動ロボットのシステムから歩行者及び移動ロボットの位置データを受信させ、位置データに基づいて歩行者及び移動ロボットの位置を推定させる。命令はまた、プロセッサに、歩行者及び移動ロボットの経路の予測交点と、歩行者が経路の予測交点に到達して横断する予測時間とを判定させる。命令は更に、プロセッサに、歩行者及び移動ロボットの位置と、歩行者が経路の予測交点に到達して横断するときの予測時点とに基づいて、歩行者回避方策を実施させる。
更に別の態様によれば、非一時的コンピュータ可読記憶媒体は、命令を記憶し、命令は、プロセッサを含むコンピュータによって実行されると、移動ロボットのシステムから歩行者及び移動ロボットの位置データを受信することと、位置データに基づいて歩行者及び移動ロボットの位置を推定することと、を含む方法を行う。本方法はまた、歩行者及び移動ロボットの経路の予測交点と、歩行者が経路の予測交点に到達して横断する予測時間とを判定することを含む。本方法は、歩行者及び移動ロボットの位置と、歩行者が経路の予測交点に到達して横断するときの予測時点とに基づいて、歩行者回避方策を実施することを更に含む。
本開示に特徴的であると考えられる新規な特徴は、添付の特許請求の範囲に記載される。以下の説明において、明細書及び図面を通して、同様の部分にはそれぞれ同一の符号を付す。図面は必ずしも縮尺どおりに描画されておらず、明確性及び簡潔さのために、特定の図面は、誇張された又は一般化された形態で示され得る。しかしながら、本開示自体、並びにその好ましい使用モード、更なる目的及び進歩は、添付図面と併せて読むと、例示的な実施形態の以下の詳細な説明を参照することによって最も良く理解されるであろう。
本開示の例示的実施形態による、移動ロボットの歩行者回避方策を実施するための例示的なシステムのハイレベルの概略図である。
本開示の例示的実施形態による、ベースライン歩行者回避方策の実施の図示例である。
本開示の例示的実施形態による、曲線歩行者回避方策の実施の図示例である。
本開示の例示的な実施形態による、加速歩行者回避方策の実施の図示例である。
本開示の例示的な実施形態による、曲線加速歩行者回避方策の実施の図示例である。
本開示の例示的な実施形態による、移動ロボット歩行者回避方策実施アプリケーション（歩行者回避アプリケーション）のモジュールの概略図である。
本開示の例示的実施形態による、移動ロボットの周囲環境に関連付けられたデータを受信し、周囲環境内を走行する移動ロボット及び歩行者に関連付けられたデータを判定するための方法のプロセスフロー図である。
本開示の例示的な実施形態による、特定の歩行者回避方策を実施し、実施された歩行者回避方策に基づいて自律的に制御されるように移動ロボットを制御するための方法のプロセスフロー図である。
本開示の例示的な実施形態による、それぞれの歩行者回避方策の各々を実施するときに実現され得る、移動ロボットの位置及び歩行者の位置の図示例である。
本開示の例示的な実施形態による、移動ロボットの歩行者回避方策を実施するための方法のプロセスフロー図である。
以下は、本明細書で用いられる選択された用語の定義を含む。定義は、用語の範囲内に含まれかつ実施に使用され得る構成要素の様々な実施例及び／又は形態を含む。実施例は、限定することを意図するものではない。
本明細書で使用される場合、「バス」とは、コンピュータ内部又はコンピュータ間の他のコンピュータ構成要素に操作可能に接続された、相互接続されたアーキテクチャを指す。バスは、コンピュータ構成要素間でデータを転送することができる。バスは、とりわけ、メモリバス、メモリコントローラ、周辺バス、外部バス、クロスバースイッチ、及び／又はローカルバスであってもよい。バスはまた、とりわけ、コントローラエリアネットワーク（controller area network、ＣＡＮ）、ローカル相互接続ネットワーク（local interconnect network、ＬＩＮ）などのプロトコルを使用して、車両内部の構成要素を相互接続する車両バスであってもよい。
本明細書で使用される場合、「コンピュータ通信」とは、２つ以上のコンピューティングデバイス（例えば、コンピュータ、パーソナルデジタルアシスタント、セルラー電話、ネットワークデバイス）間の通信を指し、例えば、ネットワーク転送、ファイル転送、アプレット転送、電子メール、ハイパーテキスト転送プロトコル（hypertext transfer protocol、ＨＴＴＰ）転送などであってもよい。コンピュータ通信は、例えば、とりわけ、無線システム（例えば、ＩＥＥＥ８０２．１１）、イーサネットシステム（例えば、ＩＥＥＥ８０２．３）、トークンリングシステム（例えば、ＩＥＥＥ８０２．５）、ローカルエリアネットワーク（local area network、ＬＡＮ）、広域ネットワーク（wide area network、ＷＡＮ）、ポイントツーポイントシステム、回路スイッチングシステム、パケットスイッチングシステムを介して発生し得る。
本明細書で使用される場合、「コンピュータ可読媒体」とは、信号、命令、及び／又はデータを提供する媒体を指す。コンピュータ可読媒体は、限定するものではないが、不揮発性媒体及び揮発性媒体を含む形態をとってもよい。不揮発性媒体としては、例えば、光学ディスク又は磁気ディスクなどを挙げることができる。揮発性媒体としては、例えば、半導体メモリ、ダイナミックメモリなどを挙げることができる。コンピュータ可読媒体の一般的な形態としては、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、他の磁気媒体、他の光学媒体、ＲＡＭ（random access memory（ランダムアクセスメモリ））、ＲＯＭ（read only memory（読み取り専用メモリ））、及びコンピュータ、プロセッサ又は他の電子デバイスが読み取り得る他の媒体を含むが、これらに限定されない。
本明細書で使用される場合、「データストア」とは、例えば、磁気ディスクドライブ、ソリッドステートディスクドライブ、フロッピーディスクドライブ、テープドライブ、Ｚｉｐドライブ、フラッシュメモリカード、及び／又はメモリスティックであってもよい。更に、ディスクは、ＣＤ－ＲＯＭ（コンパクトディスクＲＯＭ）、ＣＤ記録可能ドライブ（CD recordable drive、ＣＤ－Ｒドライブ）、ＣＤ書き換え可能ドライブ（CD rewritable drive、ＣＤ－ＲＷドライブ）、及び／又はデジタルビデオＲＯＭドライブ（digital video ROM、ＤＶＤ－ＲＯＭ）であってもよい。ディスクは、コンピューティングデバイスのリソースを制御する又は割り振るオペレーティングシステムを記憶することができる。データストアとはまた、データベース、例えば、テーブル、テーブルのセット、データストアのセット（例えば、ディスク、メモリ、テーブル、ファイル、リスト、待ち行列、ヒープ（heap）、レジスタ）、並びにこれらのテーブル及びデータストア内のそれらのデータにアクセス及び／又は操作するための方法を指すことができる。データストアは、１つの論理エンティティ及び／若しくは物理エンティティ内に存在することができ、並びに／又は２つ以上の論理エンティティ及び／若しくは物理的エンティティの間に分散されてもよい。
本明細書で使用される場合、「メモリ」は、揮発性メモリ及び／又は不揮発性メモリを含んでもよい。不揮発性メモリとしては、例えば、ＲＯＭ（読み取り専用メモリ）、ＰＲＯＭ（programmable read only memory（プログラム可能な読み取り専用メモリ））、ＥＰＲＯＭ（erasable PROM（消去可能なＰＲＯＭ））、及びＥＥＰＲＯＭ（electrically erasable PROM（電気的に消去可能なＰＲＯＭ））を挙げることができる。揮発性メモリとしては、例えば、ＲＡＭ（ランダムアクセスメモリ）、同期型ＲＡＭ（synchronous RAM、ＳＲＡＭ）、ダイナミックＲＡＭ（dynamic RAM、ＤＲＡＭ）、同期型ＤＲＡＭ（synchronous DRAM、ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（double data rate SDRAM、ＤＤＲ ＳＤＲＡＭ）、及びダイレクトＲＡＭバスＲＡＭ（direct RAM bus RAM、ＤＲＲＡＭ）を挙げることができる。メモリは、コンピューティングデバイスのリソースを制御する又は割り振るオペレーティングシステムを記憶することができる。
「動作可能な接続」、又はエンティティが「操作可能に接続される」接続とは、信号、物理的通信、及び／又は論理的通信が、送信及び／又は受信され得る接続の１つである。動作可能な接続は、物理的インターフェース、データインターフェース、及び／又は電気インターフェースを含んでもよい。
本明細書で使用される場合、「プロセッサ」は、信号を処理し、一般的なコンピューティング及び演算機能を行う。プロセッサによって処理される信号としては、デジタル信号、データ信号、コンピュータ命令、プロセッサ命令、メッセージ、ビット、ビットストリーム、又は受信、送信、及び／若しくは検出され得る他の手段を挙げることができる。一般に、プロセッサは、複数の単一及びマルチコアのプロセッサ及びコプロセッサ並びに他の複数の単一及びマルチコアのプロセッサ及びコプロセッサアーキテクチャを含む、多種の様々なプロセッサであってもよい。プロセッサは、様々な機能を実行するための様々なモジュールを含んでもよい。
本明細書で使用される場合、「ポータブルデバイス」とは、典型的には、ユーザ入力（例えば、タッチ、キーボード）を備えたディスプレイスクリーン及びコンピューティングのためのプロセッサを有するコンピューティングデバイスである。ポータブルデバイスとしては、キーフォブ、ハンドヘルドデバイス、モバイルデバイス、スマートフォン、ラップトップ、タブレット、及び電子ブックリーダが挙げられるが、これらに限定されない。
本明細書で使用される場合、「電気自動車」（electric vehicle、ＥＶ）とは、１人以上の人間の乗員を運ぶことができ、電池によって電力供給される１つ以上の電気モータによって、完全に又は部分的に動力供給される任意の移動車両を指す。ＥＶとしては、電池電気自動車（battery electric vehicles、ＢＥＶ）、プラグインハイブリッド電気自動車（plug-in hybrid electric vehicles、ＰＨＥＶ）及び航続距離延長電気自動車（extended range electric vehicles、ＥＲＥＶ）を挙げることができる。「車両」という用語には、限定するものではないが、自動車、トラック、バン、ミニバン、ＳＵＶ、オートバイ、スクーター、ボート、パーソナルウォータークラフト、及び航空機が含まれる。
本明細書で使用される場合、「値」及び「レベル」とは、とりわけ、百分率、非数値、離散的な状態、離散値、連続値などの数値、又は他の種類の値若しくはレベルを含むことができるが、これらに限定されない。「Ｘの値」又は「Ｘのレベル」という用語は、この詳細な説明全体を通じて、及び特許請求の範囲で使用される場合、Ｘの２つ以上の状態を区別するための任意の数値又は他の種類の値を指す。例えば、場合によっては、Ｘの値又はレベルは、０％～１００％の割合として与えられてもよい。他の場合には、Ｘの値又はレベルは、１～１０の範囲の値であり得る。更に他の場合では、Ｘの値又はレベルは数値でなくてもよいが、「非Ｘ」、「わずかにｘ」、「ｘ」、「非常にｘ」、及び「極ｘ」などの所与の離散した状態と関連付けることができる。
Ｉ．システムの概要
ここで図面を参照すると、表示は、１つ以上の例示的な実施形態を例示する目的のためであり、限定する目的のためではなく、図１は、本開示の例示的な実施形態による、移動ロボット１０２の歩行者回避方策を実施するための例示的なシステム１００のハイレベルの概略図である。システム１００の構成要素、並びに本明細書で考察される他のシステム及びアーキテクチャの構成要素は、様々な実施形態のために異なるアーキテクチャに組み合わされるか、省略されるか、又は編成されてもよい。
図１の例示的な実施形態において、システム１００は、移動ロボット１０２の周囲環境内で複数の歩行者１０４と相互作用し得る複数の移動ロボット１０２を含み得るが、簡潔にするために、本開示は、移動ロボット１０２の周囲環境内で単一の歩行者１０４に対して相互作用する単一の移動ロボット１０２に関するシステム１００の実施形態を説明する。加えて、システム１００の構成要素は、歩行者１０４に加えて１つ以上のタイプの道路ユーザ（図示せず）に適用することにより、移動ロボット１０２に対する道路ユーザ回避方策を実施し得る移動ロボット１０２の方策を実施するように構成されてもよい。しかしながら、簡潔にするために、本開示は、移動ロボット１０２の周囲環境内で歩行者１０４に対して相互作用する移動ロボット１０２に関するシステム１００及びその構成要素を説明する。
例示的な実施形態において、システム１００は、移動ロボット１０２の走行経路が歩行者１０４の走行経路と交差すると予測されるときに、移動ロボット１０２によって及び／又は移動ロボット１０２と通信して移動ロボット１０２の歩行者回避方策を実施するように構成され得る外部ホストサーバインフラストラクチャ（外部サーバ）１０８によって、実行され得る移動ロボット歩行者回避方策実施アプリケーション（歩行者回避アプリケーション）１０６を含み得る。図２Ａ～図２Ｄの例示的な例に示されるように、歩行者回避アプリケーション１０６は、移動ロボット１０２の経路が１つ以上の期間において歩行者１０４の経路と交差することが予測されるときに、複数の歩行者回避方策のうちの１つを実施し得る。
例示的な実施形態において、複数の歩行者回避方策は、１つ以上の測定システム（以下で詳細に説明される）からの歩行者１０４及び移動ロボット１０２の受信位置データの分析に基づいて実施されてもよい。図１及び図２Ａを参照して、歩行者回避アプリケーション１０６は、位置データを分析し得、移動ロボット１０２と歩行者１０４との交点２０２ａ、並びに移動ロボット１０２及び歩行者１０４が、移動ロボット１０２の現在の経路２０６ａ及び歩行者１０４の経路２０４に基づいて交点２０２ａを通過するときの予測時点を推定し得る。
以下で考察されるように、歩行者回避アプリケーション１０６は、機械学習／深層学習技術及び様々なデータポイントの電子的分析を利用して、歩行者１０４及び移動ロボット１０２の位置と、歩行者１０４及び／又は移動ロボット１０２が交点２０２ａに到達して横断するときの予測時点とに基づいて実施される、複数の歩行者回避方策のうちの１つ以上の歩行者回避方策を選択し、実施するように構成され得る。歩行者回避アプリケーション１０６は、それによって、選択された歩行者回避方策を実施して、移動ロボット１０２を制御して、特定の歩行者回避方策の実施に基づいて移動ロボット１０２の経路２０６ａと歩行者１０４の経路２０４との間の同時オーバラップを回避する様態で、目的地２０８（例えば、終点の目的地）に自律的に到達するように構成され得る。
特に、歩行者回避アプリケーション１０６は、移動ロボット１０２の周囲環境内で、歩行者１０４の経路２０４及び移動ロボット１０２の経路２０６ａの予測交点２０２ａに対する歩行者１０４及び移動ロボット１０２の位置に基づいて１つ以上の方策を実施するために、複数の歩行者回避方策（以下で詳細に考察する）を分析するように構成され得る。それに応じて、アプリケーション１０６は、人間とロボットとの交差シナリオ内で歩行者１０４の知覚される安全性及び快適性を向上させ得る。例えば、移動ロボット１０２は、歩行者１０４が移動ロボット１０２と歩行者１０４との間の物理的距離（例えば、空間）に関して快適に感じることを可能にする様態で、歩行者１０４の経路２０４を通過させるために自律的に動作するように制御され得る。
引き続き図１を参照して、移動ロボット１０２は、限定するものではないが、電子制御ユニット（electronic control unit、ＥＣＵ）１１０、記憶ユニット１１２、通信ユニット１１４、カメラシステム１１６、及びレーザ投射システム１１８を含む複数の構成要素を含み得る。例示的な実施形態において、ＥＣＵ１１０は、とりわけ、１つ以上のアプリケーション、オペレーティングシステム、ロボットシステム及びサブシステム実行可能命令を実行し得る。１つ以上の実施形態において、ＥＣＵ１１０は、マイクロプロセッサ、１つ以上の特定用途向け集積回路（application-specific integrated circuit、ＡＳＩＣ）（複数可）、又は他の同様のデバイスを含み得る。ＥＣＵ１１０はまた、内部処理メモリ、インターフェース回路、及びデータを転送し、コマンドを送信し、移動ロボット１０２の複数の構成要素と通信するためのバスラインを含み得る。
ＥＣＵ１１０はまた、移動ロボット１０２の構成要素に内部的にデータを送信し、外部ホスト型コンピューティングシステム（例えば、移動ロボット１０２の外部）と通信するためのそれぞれの通信デバイス（図示せず）を含んでもよい。概して、ＥＣＵ１１０は、記憶ユニット１１２に操作可能に接続され得、記憶ユニット１１２と通信して、記憶ユニット１１２に記憶されている１つ以上のアプリケーション、オペレーティングシステム、車両システム及びサブシステムユーザインターフェースなどを実行し得る。記憶ユニット１１２は、歩行者回避アプリケーション１０６によって実施され得る複数の歩行者回避方策の各々に関連付けられたコンピュータ実施命令に関連付けられたデータを記憶するように構成され得る。
１つ以上実施形態において、ＥＣＵ１１０は、移動ロボット１０２の複数の構成要素を操作可能に制御するように構成され得る。ＥＣＵ１１０はまた、自律的に動作するように移動ロボット１０２を制御するために、限定するものではないが、モータ／エンジン制御ユニット、制動制御ユニット、旋回制御ユニット、トランスミッション制御ユニットなどを含む移動ロボット１０２の１つ以上の制御ユニット（図示せず）に１つ以上のコマンドを提供し得る。以下で考察するように、ＥＣＵ１１０は、交点２０２ａに対する歩行者１０４及び移動ロボット１０２の位置と、歩行者１０４が交点２０２ａを通過するときの予測時点とに基づいて、歩行者回避アプリケーション１０６によって選択かつ実施される１つ以上の歩行者回避方策に基づいて、移動ロボット１０２を自律的に制御し得る。
１つ以上の実施形態において、記憶ユニット１１２は、データ、例えば、１つ以上の画像、ビデオ、カメラシステム１１６によって提供され得る画像座標の１つ以上のセット及び／又はＬｉＤＡＲ座標の１つ以上のセット（例えば、歩行者１０４の位置に関連付けられたＬｉＤＡＲ座標）を記憶するように構成され得る。例示的な実施形態において、移動ロボット１０２のカメラシステム１１６は、移動ロボット１０２の周囲環境（例えば、移動ロボット１０２の近傍）を捕捉するために、移動ロボット１０２の１つ以上の外部部分に位置する１つ以上のカメラを含み得る。カメラシステム１１６のカメラ（複数可）は、移動ロボット１０２の周り（前部／側部／背後）に位置する領域を含む移動ロボット１０２の周囲環境を捕捉する方向に位置決めされ得る。
１つ以上の構成において、カメラシステム１１６の１つ以上のカメラは、限定するものではないが、バンパー、照明ユニット、ボディパネルなどの異なる部分を含む、外部前部、後部、及び／又は側部部分に配設されてもよい。１つ以上のカメラは、１つ以上のカメラの首を振らせて、移動ロボット１０２の周囲環境の画像を捕捉することを可能にする、それぞれの平面走査台座（図示せず）上に位置決めされてもよい。
一実施形態において、カメラシステム１１６は、移動ロボット１０２．の周囲環境のトリミングされていない画像／ビデオに関連付けられ得る画像データを出力し得る。歩行者回避アプリケーション１０６は、画像データを分析し、移動ロボット１０２の周囲環境に関連付けられた移動ロボットベースの観測結果を判定するために、画像論理（例えば、予め訓練されたコンピュータ論理）を実行するように構成され得る。歩行者回避アプリケーション１０６は、画像論理を使用して画像データを分析して、移動ロボット１０２の周囲環境内に位置し得る１人以上の歩行者の位置を分類及び判定するように構成され得る。加えて、歩行者回避アプリケーション１０６は、画像論理を使用して画像データを分析して、移動ロボット１０２の周囲環境内に含まれ得る１つ以上の静的オブジェクト、１つ以上の動的オブジェクト、及び／又は１つ以上の利用可能な経路の位置を分類及び判定するように構成され得る。
例示的な実施形態において、ＥＣＵ１１０はまた、移動ロボット１０２のレーザ投射システム１１８に操作可能に接続され得る。レーザ投射システム１１８は、１つ以上のそれぞれのＬｉＤＡＲ送受信機（図示せず）を含んでもよい。それぞれのレーザ投射システム１１８の１つ以上のそれぞれのＬｉＤＡＲ送受信機は、移動ロボット１０２のバンパー、ボディパネル、照明ユニットなどの外部前部、後部、及び／又は側部部分に配設され得る。
１つ以上のそれぞれのＬｉＤＡＲ送受信機は、移動ロボット１０２の周囲環境に向かって、紫外線、可視光、又は近赤外光のうちの１つ以上のレーザビームを首を振らせて放射するように構成され得る１つ以上の平面走査レーザを含み得る。レーザ投射システム１１８は、ＬｉＤＡＲ送受信機によって放射された１つ以上のレーザビームに基づいて、１つ以上の反射レーザ波を受信するように構成され得る。例えば、１つ以上の反射レーザ波は、移動ロボット１０２の周囲環境内に位置し得る歩行者１０４、１つ以上の動的オブジェクト、１つ以上の静的オブジェクト、１つ以上の境界（例えば、ガードドレール、壁）から反射され得る。
例示的な実施形態において、レーザ投射システム１１８は、１つ以上の反射レーザ波に関連付けられ得るＬｉＤＡＲデータを出力するように構成され得る。歩行者回避アプリケーション１０６は、レーザ投射システム１１８によって通信されたＬｉＤＡＲデータを受信し得、ＬｉＤＡＲ論理（例えば、予め訓練されたコンピュータ論理）を実行してＬｉＤＡＲデータを分析し、移動ロボット１０２の周囲環境に関連付けられたＬｉＤＡＲベースの観測結果を判定し得る。具体的には、歩行者回避アプリケーション１０６は、ＬｉＤＡＲ論理を使用してＬｉＤＡＲデータを分析して、移動ロボット１０２の周囲環境内に位置し得る１人以上の歩行者の位置を分類及び判定するように構成され得る。加えて、歩行者回避アプリケーション１０６は、ＬｉＤＡＲ論理を使用してＬｉＤＡＲデータを分析して、移動ロボット１０２の周囲環境内に含まれ得る１つ以上の静的オブジェクト、１つ以上の動的オブジェクト、及び／又は１つ以上の利用可能な経路の位置を分類及び判定するように構成され得る。
一実施形態において、移動ロボット１０２の通信ユニット１１４は、移動ロボット１０２のＥＣＵ１１０によって操作可能に制御され得る。通信ユニット１１４は、移動ロボット１０２の１つ以上の送受信機（図示せず）に操作可能に接続され得る。通信ユニット１１４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）信号、Ｗｉ－Ｆｉ信号、ＺｉｇＢｅｅ信号、Ｗｉ－Ｍａｘ信号などを含み得るが、これらに限定されない１つ以上の無線通信信号を介してインターネットクラウド１２０を介して通信するように構成され得る。
一実施形態において、通信ユニット１１４は、外部サーバ１０８との間で通信信号を送受信するためにインターネットクラウド１２０に接続するように構成され得る。外部サーバ１０８は、１つ以上のデータセットで予め訓練され得るニューラルネットワーク１２２をホストしてもよく、データセットは、移動ロボット１０２に対する歩行者１０４の１つ以上の相対位置、歩行者１０４の推定軌道、歩行者１０４の推定速度、歩行者１０４の推定経路、歩行者１０４と移動ロボット１０２との間の予測交点２０２ａ、及び／又は歩行者１０４及び／又は移動ロボット１０２に関連付けられた追加データ、を判定するために分析され得る。
以下の考察するように、歩行者回避アプリケーション１０６は、移動ロボット１０２の周囲環境内で走行状態中に、歩行者１０４及び／又は移動ロボット１０２に関連付けられた前述の情報を判定するためにニューラルネットワーク１２２と通信するように構成され得る。このような情報は、歩行者回避アプリケーション１０６によって複数の歩行者回避方策のうちの１つ以上を選択し、実施するために利用され得る。
外部サーバ１０８を引き続き参照して、プロセッサ１２４はメモリ１２６に操作可能に接続され得る。メモリ１２６は、１つ以上のオペレーティングシステム、アプリケーション、関連するオペレーティングシステムデータ、アプリケーションデータ、実行可能データなどを記憶し得る。一実施形態において、プロセッサ１２４は、１つ以上の時間ステップで移動ロボット１０２及び歩行者１０４の位置に関連付けられた情報を処理するように構成され得、ニューラルネットワーク１２２によって分析されるように関連データをメモリ１２６に記憶し得る。例えば、移動ロボット１０２及び歩行者１０４の位置に関連付けられたデータは、移動ロボット１０２及び歩行者１０４が移動ロボット１０２の周囲環境内で走行しているときに、複数の時間ステップについて歩行者回避アプリケーション１０６によって判定されてもよい。歩行者回避アプリケーション１０６は、移動ロボット１０２及び歩行者１０４が移動ロボット１０２の周囲環境内で走行するときに、複数の時間ステップに対する位置データポイントをメモリ１２６に記憶してもよい。記憶されたデータポイントは、移動ロボット１０２の周囲環境内で自律的に走行するように移動ロボット１０２を制御するために実施される複数の歩行者回避方策のうちの１つ以上を選択するために、個別に又は集約して更に分析され得る。
一実施形態において、外部サーバ１０８のプロセッサ１２４は、更に、通信ユニット１２８と通信するように構成され得る。通信ユニット１２８は、Ｂｌｕｅｔｏｏｔｈ（登録商標）信号、Ｗｉ－Ｆｉ信号、ＺｉｇＢｅｅ信号、Ｗｉ－Ｍａｘ信号などを含み得るが、これらに限定されない１つ以上の無線通信信号を介してインターネットクラウド１２０を介して通信するように構成され得る。一実施形態において、通信ユニット１２８は、移動ロボット１０２との間で通信信号を送受信するためにインターネットクラウド１２０に接続するように構成され得る。具体的には、外部サーバ１０８は、カメラシステム１１６及びレーザ投射システム１１８の利用に基づいて、移動ロボット１０２によって通信され得る画像データ及びＬｉＤＡＲデータを受信し得る。以下で考察するように、そのようなデータを利用して、歩行者１０４及び移動ロボット１０２の位置に関連付けられた位置データポイントを判定し、更に評価して移動ロボット１０２を制御して移動ロボット１０２の周囲環境内を自律的に走行し得る。
ＩＩ．移動ロボット歩行者回避方策実施アプリケーション及び関連する方法
ここで、例示的な実施形態に従って、かつ図１を参照して、歩行者回避アプリケーション１０６の構成要素を説明する。例示的な実施形態において、歩行者回避アプリケーション１０６は、メモリ１２６に記憶され、外部サーバ１０８のプロセッサ１２４によって実行されてもよい。別の実施形態において、歩行者回避アプリケーション１０６は、移動ロボット１０２の記憶ユニット１１２に記憶されてもよく、移動ロボット１０２のＥＣＵ１１０によって実行されてもよい。
上記で考察したように、歩行者回避アプリケーション１０６は、経路２０４、２０６ａの予測交点２０２ａに対する歩行者１０４及び移動ロボット１０２の位置と、移動ロボット１０２及び歩行者１０４が、それらのそれぞれの経路２０４、２０６ａの予測交点２０２ａに到達して横断するときの予測時点とに基づいて１つ以上の歩行者回避方策を実施するように構成され得る。１つ以上の歩行者回避方策は、歩行者１０４の視点から混雑の知覚の低減を促進し得る様態で実施され得、それによって、歩行者の視点から高いレベルの安全性及び快適性を促進し得る。例示的な実施形態において、複数の歩行者回避方策は、ベースライン方策、曲線方策、加速方策、及び曲線かつ加速方策を含み得るが、これらに限定されない。
例示的な実施形態において、ベースライン歩行者回避方策の実施中に、移動ロボット１０２は、経路２０６ａをたどって一定速度を維持し、それによって、歩行者１０４が予測交点を横断することが予測される前に、移動ロボット１０２と歩行者１０４との間の予測交点２０２ａを横断するように自律的に制御されてもよい。図２Ａの例示的な例に示すように、歩行者１０４が予測交点２０２ａを横断する前に、移動ロボット１０２が予測交点２０２ａを横断する（移動ロボット１０２のより速いに基づいて）と予測される状況では、歩行者回避アプリケーション１０６は、ベースライン歩行者回避方策を実施してもよい。ベースライン歩行者回避方策の実施中、移動ロボット１０２は、その現在の経路２０６ａをたどって一定速度を維持し、それによって、歩行者の経路２０４が目的地２０８に到達する前に予測交点２０２ａを横断するように自律的に制御されてもよい。
図２Ｂの例示的な例に示されるように、かつ引き続き図２Ａを参照して、曲線歩行者回避方策の実施中、移動ロボット１０２は、移動方向を変え、その結果としての現在の経路２０６ａを修正された経路２０６ｂに変更するように制御されてもよく、それは移動ロボット１０２が移動ロボット１０２と歩行者１０４との間の予測交点２０２ａを横断する前（例えば、３秒前）に移動ロボット１０２が歩行者１０４から離れることを可能にする。
換言すれば、移動ロボット１０２は、移動ロボット１０２が走行していた現在の走行経路２０６ａ（例えば、直進経路）から逸脱するように自律的に制御されてもよく、その軌道を変更することにより、移動ロボット１０２に対する歩行者の通過タイミングを遅らせ得る。この方策を利用している間に、移動ロボット１０２は、修正された予測交点２０２ｂを横断した後、方向転換して目的地２０８に向かって新しい経路２０６ｃに従うことによってその軌道を変更するように更に自律的に制御されてもよい。換言すれば、移動ロボット１０２は、その修正された経路２０６ｂを新たな経路２０６ｃに変更し得、移動ロボット１０２がその意図された目的地２０８に到達することを可能にする。
それに応じて、移動ロボット１０２は、現在の経路２０６ａ（図２Ａに示される）から修正された経路２０６ｂへと逸脱するように自律的に制御され得、それは移動ロボット１０２が、ベースライン歩行者回避方策の実施中と同様の時間（４．１秒）で、移動ロボット１０２と歩行者１０４との間の修正された予測交点２０２ｂを横断することを可能にし得る。換言すれば、歩行者１０４が修正された予測交点２０２ｂを通過し得る時間は、移動ロボット１０２が修正された予測交点２０２ｂに到達して横断する後まで遅延される。そのため、曲線歩行者回避方策の実施は、歩行者１０４が移動ロボット１０２の修正された経路２０６ｂと歩行者１０４の経路２０４との間の修正された予測交点２０２ｂに到達して横断し得る時間を遅延させ得る。
例示的な実施形態において、加速歩行者回避方策を利用して、移動ロボット１０２を自律的に制御して、移動ロボット１０２の速度を加速させ、それによって、ベースライン歩行者回避方策を利用するときよりも早い時点で、移動ロボット１０２と歩行者１０４との予測交点２０２ａを通って加速し得る。加速歩行者回避方策の実施中、移動ロボット１０２は、その目的地２０８へのその現在の軌道及び現在の経路を維持し得る。いくつかの実施形態において、移動ロボット１０２と歩行者１０４との間の予測交点２０２ａに到達する予測時間が、移動ロボット１０２と歩行者１０４との両方で等しいという状況では、移動ロボット１０２は、歩行者１０４が予測交点２０２ａを横断する前に予測交点２０２ａを横断するために、加速するように自律的に制御され得る。
また、移動ロボット１０２の予測交点２０２ａに到達する予測時間が、歩行者１０４の予測交点２０２ａに到達する予測時間よりも短いという状況において、アプリケーション１０６は、歩行者１０４が予測交点２０２ａを横断する前の時点で予測交点２０２ａを横断するために、移動ロボット１０２を加速するように加速歩行者回避方策を実施してもよい。あるいは、移動ロボット１０２の予測交点２０２ａに到達する予測時間が、歩行者１０４の予測交点２０２ａに到達する予測時間よりも短い状況では、上記で考察したように、アプリケーション１０６は、ベースライン歩行者回避方策を実施してもよい。
図２Ｃを参照する例示的な例として、移動ロボット１０２は、歩行者１０４が予測交点２０２ａを横断する前に、その現在の経路２０６ａを維持して予測交点２０２ａを横断する間に加速するように自律的に制御されてもよい。場合によっては、移動ロボット１０２は、ベースライン歩行者回避方策を実施するときよりも早く予測交点２０２ａを横断するために、加速されるように自律的に制御されてもよい。それに応じて、図示のように、移動ロボット１０２は、歩行者１０４が予測交点２０２ａを４．９秒で横断する前に、予測交点２０２ａを３．５秒で横断するように加速されてもよい。ベースライン歩行者回避方策と比較して、移動ロボット１０２は、歩行者回避アプリケーション１０６がベースライン歩行者回避方策（図２Ａに示す４．１秒）を実施する場合よりも、予測交点２０２ａをより短い時間（図２Ｃに示す３．５秒）で横断し得る。
１つ以上の実施形態において、歩行者回避アプリケーション１０６は、図２Ｄに図示されるように、曲線かつ加速歩行者回避方策を実施するように構成されてもよい。曲線かつ加速歩行者回避方策を実施するにあたり、移動ロボット１０２は、移動ロボット１０２が移動ロボット１０２と歩行者１０４との間の修正された予測交点２０２ｂを横断するする前（例えば、３秒前）に、移動方向を変更し、修正された経路２０６ｂを走行して歩行者１０４から離れ得るように、自律的に制御され得る。移動ロボット１０２はまた、曲線歩行者回避方策（図２Ｂに示す）を実施する場合よりも速い時間で修正された予測交点２０２ｂを横断するように、軌道を変更した後同時に加速して速度を上げるように制御され得る。
換言すれば、曲線加速歩行者回避方策の実施中、移動ロボット１０２は、その軌道を変更して歩行者１０４から離れて修正された経路２０６ｂ（図２Ｄに示す）をたどることにより、現在の走行経路２０６ａ（例えば、図２Ｃに示す直線走行経路）から逸脱し、一方曲線歩行者回避方策を利用するときよりも早い時点で修正された予測交点２０２ｂを通過するために加速するように、自律的に制御され得る。一実施形態において、移動ロボット１０２は、加速歩行者回避方策の実施中に、移動ロボット１０２が移動ロボット１０２と歩行者１０４との間の（修正されていない）予測交点２０２ａを横断するのに利用したのと同様の時間で、移動ロボット１０２と歩行者１０４との間の修正された予測交点２０２ｂを横断するように自律的に制御され得る。
例示的な例として、曲線加速歩行者回避方策の実施中に、移動ロボット１０２は、目的地２０８へのその経路２０６ａを修正された経路２０６ｂに変更するように自律的に制御され得る。移動ロボット１０２は、それによって、歩行者１０４から離れるようにその軌道を変更し得る。図２Ｃ及び図２Ｄを参照して、移動ロボット１０２はまた、加速歩行者回避方策の実施中に、移動ロボット１０２が元の予測交点２０２ａを横断するのに利用した時間と同様の時間の３．５秒で、移動ロボット１０２と歩行者１０４との修正された予測交点２０２ｂを横断するために、加速するように自律的に制御され得る。図２Ｄに表されるように、曲線加速方策の実施中に、移動ロボット１０２は、修正された予測交点２０２ｂを横断した後に目的地２０８に向けて方向転換することによって、その軌道を変更するように自律的に制御され得る。換言すれば、移動ロボット１０２は、その修正された経路２０６ｂを新たな経路２０６ｃに変更し得、移動ロボット１０２がその意図された目的地２０８に到達することを可能にする。
図２Ａ、図２Ｂ、図２Ｃ、及び図２Ｄを参照して、曲線加速歩行者回避方策の実施中に、移動ロボット１０２は、曲線歩行者回避方策の実施中の場合と同様に、その経路２０６ａを修正された経路２０６ｂに変更し、それによって、移動ロボット１０２と歩行者１０４との間の予測交点２０２ａを修正された予測交点２０２ｂに修正する。移動ロボット１０２はまた、加速歩行者回避方策の実施中と同様の時間（３．５秒）で修正された予測交点２０２ｂを横断するように速度を加速し増加させる。修正された予測交点２０２ｂを横断すると、移動ロボット１０２は、曲線歩行者回避方策の実施中に従ったのと同様の様態で、その軌道をもう一度変更して、その意図された目的地２０８に到達するように新しい経路２０６ｃに方向転換して従うように、自律的に制御される。
ここで、歩行者回避アプリケーション１０６の一般的な機能性について考察する。図３は、本開示の例示的な実施形態による、歩行者回避アプリケーション１０６の複数のモジュール３０２～３０６の模式的概要である。例示的な実施形態において、歩行者回避アプリケーション１０６は、データ受信モジュール３０２、データ分析モジュール３０４、歩行者回避方策実施モジュール（歩行者方策モジュール）３０６、及び移動ロボット制御モジュール（ロボット制御モジュール）３０８を含み得る。しかしながら、歩行者回避アプリケーション１０６は、モジュール３０２～３０８に加えて含まれる１つ以上の追加のモジュール及び／又はサブモジュールを含んでもよいことを理解されたい。
例示的実施形態において、データ受信モジュール３０２は、カメラシステム１１６及びレーザ投射システム１１８の形態のシステムと通信して、それぞれのシステム１１６、１１８によって出力され得る画像データ及びＬｉＤＡＲデータを受信するように構成され得る。画像データ及びＬｉＤＡＲデータは、１つ以上の時間ステップの間に捕捉され得る移動ロボット１０２の周囲環境に関連付けられた詳細に関係するデータを含み得る。いくつかの実施形態において、データ受信モジュール３０２は、１つ以上の同時時間ステップで捕捉された画像データ及びＬｉＤＡＲデータを集約するように構成されてもよく、それによって、移動ロボット１０２の周囲環境の集約画像及びＬｉＤＡＲベースの観測結果を含む融合環境データとして分析され得る。
上記で考察したように、画像データ及びＬｉＤＡＲデータは、移動ロボット１０２の周囲環境に関連付けられた移動ロボットベースの観測結果を提供し得る。具体的には、データ受信モジュール３０２は、画像論理及び／又はＬｉＤＡＲを使用して画像データ及び／又はＬｉＤＡＲを分析して、移動ロボット１０２の周囲環境内に位置し得る歩行者１０４の位置を分類及び判定するように構成され得る。加えて、データ受信モジュール３０２は、画像データ及び／又はＬｉＤＡＲを分析して、移動ロボット１０２の周囲環境内に含まれ得る１つ以上の静的オブジェクト、１つ以上の動的オブジェクト、及び／又は１つ以上の利用可能な経路の位置を分類及び判定するように構成され得る。移動ロボット１０２の周囲環境に関連付けられた位置を分類及び判定すると、データ受信モジュール３０２は、それぞれのデータをデータ分析モジュール３０４に通信し得る。
例示的な実施形態において、データ分析モジュール３０４は、分類された観測結果及び位置を分析するように構成されてもよく、１つ以上の時間ステップにおいて移動ロボット１０２の周囲環境内の移動ロボット１０２及び歩行者１０４の位置に関連付けられた情報（例えば、ｘ、ｙ、ｚ座標）を抽出してもよい。いくつかの構成では、データ分析モジュール３０４は、外部サーバ１０８上のメモリ１２６にアクセスすることができ、ニューラルネットワーク１２２によって分析されるメモリ１２６内の画像データ及び／又はＬｉＤＡＲデータ内に取り込まれた（感知された）１つ以上の時間ステップの各時間ステップにおける周辺環境内の移動ロボット１０２及び歩行者１０４の位置に関連付けられた位置データを記憶し得る。１つ以上の実施形態において、データ分析モジュール３０４は、ニューラルネットワーク１２２と通信してメモリ１２６にアクセスし、移動ロボット１０２に関連付けられた位置データ、及び１つ以上の時間ステップに関して記憶された歩行者１０４に関連付けられた位置データを検索し得る。
上記で考察したように、ニューラルネットワーク１２２は、移動ロボット１０２、歩行者１０４の推定軌道、歩行者１０４の推定速度、歩行者１０４の経路２０４、歩行者１０４と移動ロボット１０２との間の予測交点２０２ａ、並びに／若しくは歩行者１０４及び／又は移動ロボット１０２に関連付けられた追加のデータに関する歩行者１０４の１つ以上の相対位置を判定するために分析され得る１つ以上のデータセットで予め訓練されてもよい。
データ分析モジュール３０４は、ニューラルネットワーク１２２と通信して、ニューラルネットワーク１２２の前述の判定を判定し得る。具体的には、データ分析モジュール３０４は、ニューラルネットワーク１２２と通信して、移動ロボット１０２及び歩行者１０４の１つ以上の位置及び軌道に基づいて、移動ロボット１０２と歩行者１０４との間の１つ以上の交点を推定するために利用され得る前述のデータポイントを判定し得る。データ分析モジュール３０４は、それによって、それぞれのデータを歩行者方策モジュール３０６に通信し得る。
例示的な実施形態において、移動ロボット１０２が、その目的地２０８に向かって移動するように自律的に制御されているとき、歩行者方策モジュール３０６は、歩行者１０４の位置、推定軌道、及び速度に関してデータ分析モジュール３０４によって通信されるデータを分析するように構成され得、それによって、歩行者１０４が移動ロボット１０２の現在の経路２０６ａと歩行者１０４の経路２０４との予測交点２０２ａ Ｐｉｎｔを横断し得る時間ｔｈを推定する。歩行者方策モジュール３０６は、推定時間ｔｈを更新し続けるように構成され得、交点相互作用判定時間ｔｈ－Ｔｉｎｔに達するまで歩行者１０４が予測交点２０２ａ Ｐｉｎｔに向かって走行するときに、更新された推定時間ｔｈをメモリ１２６に継続的に記憶し得、ここでＴｉｎｔは、所定の相互作用時間である。
交点相互作用判定時間ｔｈ－Ｔｉｎｔに到達するにあたり、歩行者方策モジュール３０６は、歩行者が交点２０２ａ Ｐｉｎｔを横断し得る推定時間ｔｈと、移動ロボット１０２が交点２０２ａ Ｐｉｎｔを横断して目的地２０８に到達し得る推定時間とに基づいて、複数の歩行者回避方策のうちの１つを選択するように構成され得る。それに応じて、このとき、移動ロボット１０２の軌道は、選択された歩行者回避方策に従って、それぞれの様態で生成され得る。
一実施形態において、歩行者方策モジュール３０６は、ベースライン歩行者回避方策及び曲線歩行者回避方策を実施するときに、移動ロボット１０２が交点２０２ａに到達して横断するのにかかる時間をｔｒ＝ｔｈ－Ｔｓに推定してもよく、ここでＴｓ及びＴΔは、既定義のパラメータである。歩行者方策モジュール３０６は、加速歩行者回避方策及び曲線加速歩行者回避方策に対して、移動ロボット１０２が交点２０２ａに到達して横断するのにかかる時間をｔｒ＝ｔｈ－Ｔｓ－ＴΔに推定してもよく、ここでＴｓ及びＴΔは、既定義のパラメータである。歩行者方策モジュール３０６はまた、Ｐｉｎｔ＋ＴΔｖｈを出力するように構成されてもよく、ここでｖｈは、歩行者１０４の歩行速度である。
一実施形態において、歩行者１０４の推定軌道は、画像データ及び／又はＬｉＤＡＲデータに基づいて追跡されてもよい。歩行者方策モジュール３０６は、ｋｐ及び
Figure 0007002576000001
 によってパラメータ化された一次の動的命令として速度追跡を実行してもよく、ここでｖｄは、歩行者方策モジュール３０６に送信される速度コマンドであり、ｖは、現在の速度である。
１つ以上の実施形態において、歩行者方策モジュール３０６は、それによって、歩行者１０４が予測交点２０２ａに到達して横断し得る推定時間、移動ロボット１０２の位置に対する歩行者１０４の位置、移動ロボット１０２が、移動ロボット１０２の現在の速度で予測交点２０２ａに到達して横断するための現在の推定時間、及び１つ以上の歩行者回避方策を選択し、実施するための複数の歩行者回避方策を分析し得る。
一実施形態において、再び図２Ａを参照して、歩行者方策モジュール３０６は、移動ロボット１０２及歩行者１０４の位置、並びに予測交点２０２ａに到達して横断する推定時間に基づいて、ベースライン歩行者回避方策を選択し、実施し得る。ベースライン歩行者回避方策を実施するにあたり、歩行者方策モジュール３０６は、実施されるベースライン歩行者回避方策に関係するデータを、歩行者回避アプリケーション１０６のロボット制御モジュール３０８に通信し得る。
一実施形態において、ロボット制御モジュール３０８は、それによって、ベースライン歩行者回避方策を実施するための命令を移動ロボット１０２のＥＣＵ１１０に通信して、ベースライン歩行者回避方策に従って移動ロボット１０２を自律的に制御し得る。ＥＣＵ１１０は、それによって、移動ロボット１０２の１つ以上の構成要素に命令を通信して、移動ロボット１０２を自律的に制御して、その経路２０６ａに従って一定速度を維持し、それによって、歩行者１０４が予測交点２０２ａを横断することが予測される前に、移動ロボット１０２と歩行者１０４との間の予測交点２０２ａを横断し得る。
別の実施形態において、再び図２Ａ及び図２Ｂを参照して、歩行者方策モジュール３０６は、移動ロボット１０２及び歩行者１０４の位置と、予測交点２０２ａに到達して横断する推定時間とに基づいて、状況においては曲線歩行者回避方策を選択し、実施し得る。曲線歩行者回避方策を実施するにあたり、歩行者方策モジュール３０６は、実施される曲線歩行者回避方策に関係するデータをロボット制御モジュール３０８に通信し得る。
一実施形態において、ロボット制御モジュール３０８は、それによって、曲線歩行者回避方策を実施するための命令を移動ロボット１０２のＥＣＵ１１０に通信して、曲線歩行者ベースライン回避方策に従って移動ロボット１０２を自律的に制御し得る。ＥＣＵ１１０は、それによって、移動ロボット１０２の１つ以上の構成要素に命令を通信して、移動ロボット１０２を自律的に制御して、現在の経路２０６ａ（図２Ａに示す）から修正された経路２０６ｂ（図２Ｂに示す）に逸脱させ得、それは移動ロボット１０２が、ベースライン歩行者回避方策の実施中と同様の時間（４．１秒）で、移動ロボット１０２と歩行者１０４との間の修正された予測交点２０２ｂを横断することを可能にし得る。それに応じて、歩行者１０４が修正された予測交点２０２ｂを通過し得る時間は、移動ロボット１０２が修正された予測交点２０２ｂに到達して横断する後まで遅延される。
１つ以上の実施形態において、再び図２Ａ及び図２Ｃを参照して、歩行者方策モジュール３０６は、移動ロボット１０２及び歩行者１０４の位置、並びに予測交点２０２ａに到達して横断するする推定時間に基づいて、状況においては加速歩行者回避方策を選択し、実施し得る。加速歩行者回避方策を実施するにあたり、歩行者方策モジュール３０６は、加速歩行者回避方策に関係するデータをロボット制御モジュール３０８に通信し得る。
一実施形態において、ロボット制御モジュール３０８は、それによって、加速歩行者回避方策を実施するための命令を移動ロボット１０２のＥＣＵ１１０に通信して、加速歩行者回避方策に従って移動ロボット１０２を自律的に制御し得る。ＥＣＵ１１０は、それによって、移動ロボット１０２の１つ以上の構成要素に命令を通信して、移動ロボット１０２を自律的に制御して、歩行者１０４が予測交点２０２ａを横断する前に、予測交点２０２ａを横断するようにその現在の経路２０６ａを維持しながら加速し得る。
それに応じて、移動ロボット１０２は、歩行者１０４が予測交点を横断する前に、予測交点をうまく横断するように加速され得る。ベースライン歩行者回避方策と比較して、移動ロボット１０２は、歩行者回避アプリケーション１０６がベースライン歩行者回避方策を実施する場合（図２Ａに示す４．１秒）よりも、予測交点２０２ａをより短い時間（図２Ｃに示す３．５秒）で横断し得る。
いくつかの実施形態において、再び図２Ａ及び図２Ｄを参照して、歩行者方策モジュール３０６は、移動ロボット１０２及び歩行者１０４の位置、並びに予測交点２０２ａに到達して横断する推定時間に基づいて、特定の状況においては曲線加速歩行者回避方策を選択し、実施し得る。曲線加速歩行者回避方策を実施するにあたり、歩行者方策モジュール３０６は、実施される曲線歩行者回避方策に関係するデータをロボット制御モジュール３０８に通信し得る。
一実施形態において、ロボット制御モジュール３０８は、それによって、曲線加速歩行者回避方策を実施するための命令を移動ロボット１０２のＥＣＵ１１０に通信して、曲線加速歩行者回避方策に従って移動ロボット１０２を自律的に制御し得る。ＥＣＵ１１０は、それによって、移動ロボット１０２の１つ以上の構成要素に命令を通信して、移動ロボットを自律的に制御して、目的地２０８へのその現在の経路２０６ａ（図２Ａに示す）を修正された経路２０６ｂ（図２Ｄに示す）に変更し得る。移動ロボット１０２は、それによって、歩行者１０４から離れるようにその軌道を変更し得、加速歩行者回避方策の実施中に、移動ロボット１０２が元の予測交点２０２ａを横断するのに利用した時間と同様の時間（例えば、３．５秒）で、移動ロボット１０２と歩行者１０４との修正された予測交点２０２ｂを横断するように加速し得る。
図２Ｄに表されるように、曲線加速方策の実施中に、移動ロボット１０２は、修正された予測交点２０２ｂを横断した後に目的地２０８に向けて方向転換することによって、その軌道を変更するように自律的に制御され得る。換言すれば、移動ロボット１０２は、移動ロボット１０２がその意図された目的地２０８に到達することを可能にする新しい経路２０６ｃに、その修正された経路２０６ｂを再び変更し得る。
図４は、本開示の例示的実施形態による、移動ロボット１０２の周囲環境に関連付けられたデータを受信し、周囲環境内を走行する移動ロボット１０２及び歩行者１０４に関連付けられたデータを判定するための方法４００のプロセスフロー図である。図４は、図１、図２及び図３の構成要素を参照して説明されるが、図４の方法は、他のシステム／構成要素と共に使用されてもよいことを理解されたい。例示的な実施形態において、方法４００は、ブロック４０２で開始することができ、方法４００は、画像データを受信することを含み得る。
一実施形態において、データ受信モジュール３０２は、カメラシステム１１６と通信して、移動ロボット１０２の周囲環境のトリミングされていない画像／ビデオを収集し得る。トリミングされていない画像／ビデオは、移動ロボット１０２の周囲環境の３６０度の外部視界を含んでもよい。状況によっては、このような視界は、移動ロボット１０２．の周囲環境内に位置し得る１人以上の歩行者を含んでもよい。加えて、このような視界は、移動ロボット１０２の周囲環境内に含まれ得る１つ以上の静的オブジェクト、１つ以上の動的オブジェクト、及び／又は１つ以上の利用可能な経路を含んでもよい。
一実施形態において、データ受信モジュール３０２は、画像データを分析し、移動ロボット１０２の周囲環境に関連付けられた移動ロボットベースの観測結果を判定するために、画像論理（例えば、予め訓練されたコンピュータ論理）を実行し得る。具体的には、データ受信モジュール３０２は、画像論理を使用して画像データを分析して、移動ロボット１０２の周囲環境内に位置し得る１人以上の歩行者の位置を分類及び判定するように構成され得る。加えて、データ受信モジュール３０２は、画像論理を使用して画像データを分析して、移動ロボット１０２の周囲環境内に含まれ得る１つ以上の静的オブジェクト、１つ以上の動的オブジェクト、及び／又は１つ以上の利用可能な経路を分類及び判定するように構成され得る。
方法４００は、ブロック４０４に進むことができ、方法４００は、ＬｉＤＡＲデータを受信することを含み得る。例示的な実施形態において、データ受信モジュール３０２は、移動ロボット１０２のレーザ投射システム１１８と通信して、移動ロボット１０２からのＬｉＤＡＲベースの観測結果を含むＬｉＤＡＲデータを収集するように構成され得る。ＬｉＤＡＲベースの観測結果は、移動ロボット１０２の周囲環境内に位置し得る１人以上の歩行者の場所、範囲、及び位置を示し得る。加えて、ＬｉＤＡＲベースの観測結果は、移動ロボット１０２の周囲環境内に含まれ得る１つ以上の静的オブジェクト、１つ以上の動的オブジェクト、及び／又は１つ以上の利用可能な経路の場所、範囲、及び位置を示し得る。
一実施形態において、データ受信モジュール３０２は、ＬｉＤＡＲ論理（例えば、予め訓練されたコンピュータ論理）を実行して、ＬｉＤＡＲデータを分析し、移動ロボット１０２の周囲環境に関連付けられた移動ロボットベースの観測結果を判定し得る。具体的には、データ受信モジュール３０２は、ＬｉＤＡＲ論理を使用してＬｉＤＡＲデータを分析して、移動ロボット１０２の周囲環境内に位置し得る１人以上の歩行者の位置を分類及び判定するように構成され得る。加えて、データ受信モジュール３０２は、ＬｉＤＡＲ論理を使用してＬｉＤＡＲデータを分析して、移動ロボット１０２の周囲環境内に含まれ得る１つ以上の静的オブジェクト、１つ以上の動的オブジェクト、及び／又は１つ以上の利用可能な経路を分類及び判定するように構成され得る。
方法４００は、ブロック４０６に進むことができ、方法４００は、画像ベースの観測結果及びＬｉＤＡＲベースの測定値を融合することを含み得る。例示的な実施形態において、画像データ及びＬｉＤＡＲデータを分析するにあたり、データ受信モジュール３０２は、歩行者１０４（及び追加の歩行者）の分類、１つ以上の静的オブジェクト、１つ以上の動的オブジェクト、及び移動ロボット１０２に対する歩行者１０４の位置をデータ分析モジュール３０４に通信するように構成され得る。１つ以上の実施形態において、データ分析モジュール３０４は、画像データから判定された画像ベースの観測結果及びＬｉＤＡＲデータから判定されたＬｉＤＡＲベースの測定値のマルチモーダル融合を行うように構成されてもよい。データ分析モジュール３０４は、それによって、画像ベースの観測結果及びＬｉＤＡＲベースの測定値を、移動ロボット１０２の周囲環境の画像ベース及びＬｉＤＡＲベースの表現を提供し得る融合環境データに集約してもよい。
方法４００は、ブロック４０８に進むことができ、方法４００は、融合された環境データをニューラルネットワーク１２２に通信して、位置データ、軌道データを判定して、歩行者１０４及び移動ロボット１０２の交点（複数可）を推定することを含み得る。例示的な実施形態において、データ分析モジュール３０４は、外部サーバ１０８と通信して、ニューラルネットワーク１２２．にアクセスするように構成され得る。ニューラルネットワーク１２２にアクセスするにあたり、データ分析モジュール３０４は、融合された環境データをニューラルネットワーク１２２に通信するように構成されてもよい。
ニューラルネットワーク１２２は、予め訓練されたデータセットに対して融合された環境データを評価するために機械学習／深層学習人工知能能力を実行してもよく、移動ロボット１０２に対する歩行者１０４の１つ以上の相対位置、歩行者１０４の推定軌道、歩行者１０４の推定速度、歩行者１０４の経路２０４、歩行者１０４と移動ロボット１０２との間の予測交点２０２ａ、並びに／若しくは歩行者１０４及び／又は移動ロボット１０２に関連付けられた追加データを出力してもよい。データ分析モジュール３０４は、ニューラルネットワーク１２２と通信して、移動ロボット１０２及び歩行者１０４がそれぞれの経路２０４、２０６ａ間の交点１０２ａに到達するそれぞれの時間を推定するために利用され得る前述のデータポイントを判定し得る。データ分析モジュール３０４は、それによって、それぞれのデータを歩行者方策モジュール３０６に通信し得る。
代替実施形態において、ニューラルネットワーク１２２にアクセスするにあたり、データ分析モジュール３０４は、画像データに基づいた画像ベースの観測結果（例えば、ＬｉＤＡＲベースの観測結果とは別個／独立して）及び／又はＬｉＤＡＲデータに基づいたＬｉＤＡＲベースの観測結果（例えば、画像ベースの観測結果とは別個／独立して）をューラルネットワーク１２２へ通信するように構成されてもよい。ニューラルネットワーク１２２は、予め訓練されたデータセットに対して画像ベースの観測結果及び／又はＬｉＤＡＲベースの観測結果を評価するために機械学習／深層学習人工知能能力を実行してもよく、移動ロボット１０２に対する歩行者１０４の１つ以上の相対位置、歩行者１０４の推定軌道、歩行者１０４の推定速度、歩行者１０４の経路２０４、歩行者１０４と移動ロボット１０２との間の予測交点２０２ａ、並びに／若しくは歩行者１０４及び／又は移動ロボット１０２に関連付けられた追加データを出力してもよい。データ分析モジュール３０４は、ニューラルネットワーク１２２と通信して、移動ロボット１０２及び歩行者１０４がそれぞれの経路２０４、２０６ａ間の交点１０２ａに到達するそれぞれの時間を推定するために利用され得る前述のデータポイントを判定し得る。データ分析モジュール３０４は、それによって、それぞれのデータを歩行者方策モジュール３０６に通信し得る。
図５は、本開示の例示的実施形態による、特定の歩行者回避方策を実施し、実施された歩行者回避方策に基づいて自律的に制御されるように移動ロボット１０２を制御するための方法５００のプロセスフロー図である。図５は、図１、図２及び図３の構成要素を参照して説明されるが、図５の方法は、他のシステム／構成要素と共に使用されてもよいことを理解されたい。方法５００は、ブロック５０２で開始することができ、方法５００は、歩行者１０４及び移動ロボット１０２の予測交点（複数可）に到達して横断するための推定時間を判定することを含み得る。
例示的な実施形態において、移動ロボット１０２及び歩行者１０４の１つ以上の位置及び軌道に基づいて、移動ロボット１０２と歩行者１０４との間の１つ以上の交点を推定するために利用され得るデータポイントを受信するにあたり、歩行者方策モジュール３０６は、移動ロボット１０２及び歩行者１０４の位置、移動ロボット１０２及び歩行者１０４の推定速度、移動ロボット１０２及び歩行者１０４の経路２０４、２０６ａを分析するように構成され得る。それに応じて、歩行者方策モジュール３０６は、移動ロボット１０２が移動ロボット１０２と歩行者１０４との間の予測交点（複数可）に到達して横断する予測時間を判定するように構成され得る。
歩行者方策モジュール３０６は、歩行者１０４が、移動ロボット１０２及び歩行者１０４の予測交点（複数可）２０２ａ Ｐｉｎｔを横断し得る推定時間ｔｈを判定するように構成され得る。歩行者方策モジュール３０６は、推定時間ｔｈを更新し続けるように構成され得、交点相互作用判定時間ｔｈ－Ｔｉｎｔに達するまで移動ロボット１０２及び／又は歩行者１０４が予測交点２０２ａ Ｐｉｎｔに向かって走行するときに、更新された推定時間ｔｈをメモリ１２６に連続的に記憶してもよく、ここで、Ｔｉｎｔは、所定の相互作用時間である。
方法５００は、ブロック５０４に進むことができ、方法５００は、実施される歩行者回避方策を選択することを含み得る。例示的な実施形態において、交点相互作用判定時間ｔｈ－Ｔｉｎｔに到達するにあたり、歩行者方策モジュール３０６は、歩行者が交点２０２ａ Ｐｉｎｔを横断し得る推定時間ｔｈと、移動ロボット１０２が交点２０２ａ Ｐｉｎｔを横断して目的地２０８に到達し得る推定時間とに基づいて、複数の歩行者回避方策のうちの１つを選択するように構成され得る。それに応じて、このとき、移動ロボット１０２の軌道は、選択された歩行者回避方策に従って、（上記で考察したように）それぞれの様態で生成され得る。
一実施形態において、歩行者方策モジュール３０６は、ベースライン歩行者回避方策及び曲線歩行者回避方策を実施するときに、移動ロボット１０２が交点に到達して横断するのにかかり得る時間をｔｒ＝ｔｈ－Ｔｓに推定し得、ここでＴｓ及びＴΔは、既定義のパラメータである。歩行者方策モジュール３０６は、加速歩行者回避方策及び曲線加速歩行者回避方策に対して、移動ロボット１０２が交点に到達して横断するのにかかり得る時間をｔｒ＝ｔｈ－Ｔｓ－ＴΔに推定し得、ここでＴｓ及びＴΔは、既定義のパラメータである。
別の実施形態において、歩行者方策モジュール３０６はまた、位置を考慮してもよく、ベースライン歩行者回避方策及び加速歩行者回避方策に対してｔｒの位置をＰｉｎｔに設定し得る。歩行者方策モジュール３０６はまた、ｖｈが歩行者１０４の歩行速度である場合、Ｐｉｎｔ＋ＴΔｖｈを出力するように構成されてもよい。
一実施形態において、歩行者１０４の推定軌道は、画像データ及び／又はＬｉＤＡＲデータに基づいて追跡されてもよい。歩行者方策モジュール３０６は、ｋｐ及び
Figure 0007002576000002
 によってパラメータ化された一次の動的命令として速度追跡を実行してもよく、ここでｖｄは、歩行者方策モジュール３０６に送信される速度コマンドであり、ｖは、現在の速度である。
１つ以上の実施形態において、歩行者方策モジュール３０６は、それによって、歩行者１０４が予測交点２０２ａに到達して横断し得る予測時間、移動ロボット１０２の位置に対する歩行者１０４の位置、移動ロボット１０２が、移動ロボット１０２の現在の速度で予測交点２０２ａに到達して横断するための現在の推定時間、及び複数の歩行者回避方策を分析し得る。歩行者方策モジュール３０６は、それによって、歩行者１０４の経路との同時重なりを回避する様態で、移動ロボット１０２の目的地２０８に到達する１つ以上の歩行者回避方策を選択し、実施し得る。
方法５００は、ブロック５０６に進むことができ、方法５００は、実施される歩行者回避方策に基づいて、自律的に制御されるように移動ロボット１０２を制御することを含み得る。一実施形態において、歩行者方策モジュール３０６が、移動ロボット１０２及び歩行者１０４の位置、並びに予測交点２０２ａに到達して横断する推定時間に基づいて、ベースライン歩行者回避方策を選択して実施する場合、歩行者方策モジュール３０６は、それぞれのデータをロボット制御モジュール３０８に通信し得る。
ロボット制御モジュール３０８は、ベースライン歩行者回避方策に従って移動ロボット１０２を自律的に制御するために、移動ロボット１０２のＥＣＵ１１０に、ベースライン歩行者回避方策を実施するための命令を通信するように構成され得る。図２Ａに表したように、ＥＣＵ１１０は、それによって、移動ロボット１０２の１つ以上の構成要素に命令を通信して、移動ロボット１０２を自律的に制御して、その経路に従って一定速度を維持し、それによって、歩行者１０４が予測交点２０２ａを横断することが予測される前に、移動ロボット１０２と歩行者１０４との間の予測交点２０２ａを横断し得る。
別の実施形態において、歩行者方策モジュール３０６が、移動ロボット１０２及び歩行者１０４の位置、並びに予測交点２０２ａに到達して横断する推定時間に基づいて、曲線歩行者回避方策を選択して実施する場合、歩行者方策モジュール３０６は、それぞれのデータをロボット制御モジュール３０８に通信し得る。図２Ｂに表したように、曲線歩行者回避方策を実施するにあたり、歩行者方策モジュール３０６は、実施される曲線歩行者回避方策に関係するデータをロボット制御モジュール３０８に通信し得る。
一実施形態において、ロボット制御モジュール３０８は、それによって、曲線歩行者回避方策を実施するための命令を移動ロボット１０２のＥＣＵ１１０に通信して、曲線歩行者ベースライン回避方策に従って移動ロボット１０２を自律的に制御し得る。ＥＣＵ１１０は、それによって、移動ロボット１０２の１つ以上の構成要素に命令を通信して、移動ロボット１０２を自律的に制御して、現在の経路２０６ａ（図２Ａに示す）から修正された経路２０６ｂ（図２Ｂに示す）に逸脱させ得、それは移動ロボット１０２が、ベースライン歩行者回避方策の実施中と同様の時間（４．１秒）で、移動ロボット１０２と歩行者１０４との間の修正された予測交点２０２ｂを横断することを可能にし得る。それに応じて、歩行者１０４が修正された予測交点２０２ｂを通過し得る時間は、移動ロボット１０２が修正された予測交点２０２ｂを横断する後まで遅延される。
いくつかの実施形態において、歩行者方策モジュール３０６が、移動ロボット１０２及び歩行者１０４の位置、並びに予測交点２０２ａに到達して横断する推定時間に基づいて、加速歩行者回避方策を選択して実施する場合、歩行者方策モジュール３０６は、それぞれのデータをロボット制御モジュール３０８に通信し得る。加速歩行者回避方策を実施するにあたり、歩行者方策モジュール３０６は、実施される加速歩行者回避方策に関係するデータをロボット制御モジュール３０８に通信し得る。
図２Ｃに表したように、一実施形態において、ロボット制御モジュール３０８は、それによって、加速歩行者回避方策を実施するための命令を移動ロボット１０２のＥＣＵ１１０に通信して、加速歩行者回避方策に従って移動ロボット１０２を自律的に制御し得る。ＥＣＵ１１０は、それによって、移動ロボット１０２の１つ以上の構成要素に命令を通信して、移動ロボット１０２を自律的に制御して、歩行者１０４が予測交点２０２ａを横断する前に、予測交点２０２ａを横断するようにその現在の経路２０６ａを維持しながら加速し得る。
それに応じて、移動ロボット１０２は、歩行者１０４が予測交点２０２ａを横断する前に、予測交点２０２ａを横断するように加速され得る。ベースライン歩行者回避方策と比較して、移動ロボット１０２は、歩行者回避アプリケーション１０６がベースライン歩行者回避方策を実施する場合（図２Ａに示す４．１秒）よりも、予測交点２０２ａをより短い時間（図２Ｃに示す３．５秒）で横断し得る。
図２Ｄに表したように、歩行者方策モジュール３０６が、移動ロボット１０２及び歩行者１０４の位置、並びに予測交点２０２ａに到達して横断する推定時間に基づいて、特定の状況においては曲線加速歩行者回避方策を選択して実施する場合、歩行者方策モジュール３０６は、それぞれのデータをロボット制御モジュール３０８に通信し得る。
一実施形態において、ロボット制御モジュール３０８は、それによって、曲線加速歩行者回避方策を実施するための命令を移動ロボット１０２のＥＣＵ１１０に通信して、曲線加速歩行者回避方策に従って移動ロボット１０２を自律的に制御し得る。ＥＣＵ１１０は、それによって、移動ロボット１０２の１つ以上の構成要素に命令を通信して、移動ロボットを自律的に制御して、目的地２０８へのその現在の経路２０６ａ（図２Ａに示す）を修正された経路２０６ｂ（図２Ｄに示す）に変更し得る。移動ロボット１０２は、それによって、歩行者１０４から離れるようにその軌道を変更し得、加速歩行者回避方策の実施中に、移動ロボット１０２が元の予測交点２０２ａを横断するのに利用した時間と同様の時間（例えば、３．５秒）で、移動ロボット１０２と歩行者１０４との修正された予測交点２０２ｂを横断するように加速し得る。
図６は、本開示の例示的な実施形態による、それぞれの歩行者回避方策の各々を実施するときに実現され得る、移動ロボット１０２の位置及び歩行者１０４の位置の図示例を含む。図６に示すように、０．２５秒毎に捕捉された移動ロボット１０２及び歩行者１０４の速度に基づいて、破線は、同時の時間ステップでの移動ロボット１０２及び歩行者１０４のそれぞれの位置を表す。歩行者回避方策の各々の実施は、移動ロボット１０２及び歩行者１０４の位置と、２つの間の予測交点を横断する推定時間とに基づく。図示のように、複数の歩行者回避方策の各々の実施中に、移動ロボット１０２は、歩行者１０４．の経路との同時重なりを回避する様態で走行するように自律的に制御され得る。
図７は、本開示の例示的な実施形態による、移動ロボット１０２の歩行者回避方策を実施するための方法７００のプロセスフロー図である。図７は、図１、図２、及び図３の構成要素を参照して説明されるが、図７の方法は、他のシステム／構成要素と共に使用されてもよいことを理解されたい。方法７００は、ブロック７０２で開始することができ、方法７００は、移動ロボット１０２のシステムから歩行者及び移動ロボットの位置データを受信することを含み得る。
方法７００は、ブロック７０４に進むことができ、方法７００は、位置データに基づいて歩行者１０４及び移動ロボット１０２の位置を推定することを含み得る。方法７００はブロック７０６に進むことができ、方法７００は、歩行者１０４及び移動ロボット１０２の経路２０４、２０６ａの予測交点２０２ａと、歩行者１０４が経路２０４、２０６ａの予測交点２０２ａに到達して横断するときの予測時点とを判定することを含み得る。方法７００はブロック７０８に進むことができ、方法７００は、歩行者１０４及び移動ロボット１０２の位置と、歩行者１０４が経路２０４、２０６ａの予測交点２０２ａに到達して横断するときの予測時点とに基づいて、歩行者回避方策を実施することを含み得る。
上述の説明から、本発明の様々な例示的な実施形態がハードウェアで実施され得ることが明らかであるべきである。更に、様々な例示的な実施形態は、本明細書で詳細に説明される操作を行うために少なくとも１つのプロセッサによって読み取り及び実行され得る、揮発性又は不揮発性メモリなどの非一時的機械可読記憶媒体上に記憶された命令として実施されてもよい。機械可読記憶媒体は、パーソナルコンピュータ又はラップトップコンピュータ、サーバ、又は他のコンピューティングデバイスなどの機械によって読み取り可能な形態で情報を記憶するための任意の機構を含んでもよい。したがって、非一時的機械可読記憶媒体は、一時信号を除外するが、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイス、及び同様の記憶媒体を含むがこれらに限定されない揮発性及び不揮発性メモリの両方を含んでもよい。
本明細書の任意のブロック図は、本発明の原理を具現化する例示的な回路の概念図を表すことを当業者は理解すべきである。同様に、任意のフローチャート、フロー図、状態遷移図、擬似コードなどは、そのようなコンピュータ又はプロセッサが明示的に示されているか否かにかかわらず、機械可読媒体に実質的に表され、コンピュータ又はプロセッサによって実行され得る様々なプロセスを表すことが理解されるであろう。
上記に開示された及び他の特徴並びに機能又はこれらの代替物若しくは変形の様々な実施が、望ましくは多くの他の異なるシステム又はアプリケーションに組み合わされ得ることが理解されるであろう。また、当業者であれば、現在予測されていない、又は予期されていない様々な代替、修正、変形、又は改良を連続的に行うことができ、これらも添付の特許請求の範囲によって包含されることが意図される。

Claims (12)

  1. 移動ロボットの歩行者回避方策を実施するためのコンピュータ実施方法であって、
    前記移動ロボットのシステムから歩行者及び前記移動ロボットの位置データを受信することと、
    前記位置データに基づいて、前記歩行者及び前記移動ロボットの位置を推定することと、
    前記歩行者及び前記移動ロボットの経路の予測交点と、前記歩行者が前記経路の前記予測交点に到達して横断する予測時間とを判定することと、
    前記歩行者及び前記移動ロボットの前記位置と、前記歩行者が前記経路の前記予測交点に到達して横断するときの予測時点とに基づいて、複数の歩行者回避方策から１つの歩行者回避方策を選択することと、
    前記選択された歩行者回避方策を実施することと、を含み、
    前記複数の歩行者回避方策は、
    前記歩行者が前記予測交点に到達して横断する前に、前記移動ロボットが現在の経路を利用して一定速度で走行し、前記予測交点に到達して横断するように構成されている、ベースライン歩行者回避方策と、
    前記移動ロボットが方向を変えて前記現在の経路を修正された経路に変更するように構成されている曲線歩行者回避方策であって、前記修正された経路により、前記移動ロボットは、前記移動ロボットが前記予測交点に到達して横断する前に前記歩行者から離れることが可能になるとともに、前記歩行者が修正された予測交点を通過する前に、前記ベースライン歩行者回避方策の実施中に前記移動ロボットが前記予測交点に到達して横断するのに利用したであろう時間と同様の時間で、前記修正された予測交点に到達して横断することが可能になり、前記修正された予測交点は、前記移動ロボットの前記修正された経路と前記歩行者の前記経路との間の交点である、曲線歩行者回避方策と、
    前記歩行者が前記予測交点に到達して横断する前に、前記移動ロボットが前記現在の経路を利用して加速速度で走行し、前記予測交点に到達して横断するように構成されている、加速歩行者回避方策と、
    前記移動ロボットが方向を変えて前記現在の経路を前記修正された経路に変更するように構成され、前記修正された経路により、前記移動ロボットが前記修正された予測交点に到達して横断する前に、前記移動ロボットが前記歩行者から離れ、かつ加速することが可能になる曲線加速歩行者回避方策であって、前記歩行者が前記修正された予測交点を通過する前に、前記加速歩行者回避方策の実施中に前記移動ロボットが前記予測交点に到達して横断するのに利用したであろう時間と同様の時間で、前記移動ロボットが前記修正された予測交点に到達して横断するべく加速するように構成される曲線加速歩行者回避方策と、を含む、コンピュータ実施方法。
  2. 前記歩行者及び前記移動ロボットの前記位置を推定することが、前記移動ロボットのカメラシステムによって提供される画像データから画像ベースの観測結果を判定することを含む、請求項１に記載のコンピュータ実施方法。
  3. 前記歩行者及び前記移動ロボットの経路の前記予測交点と、前記歩行者が前記経路の前記予測交点に到達して横断する前記予測時間とを判定することが、前記画像ベースの観測結果をニューラルネットワークに通信して、位置データ、軌道データを判定することと、前記ニューラルネットワークによって使用される予め訓練されたデータセットの分析に基づいて前記予測交点を判定することと、を含む、請求項２に記載のコンピュータ実施方法。
  4. 前記歩行者及び前記移動ロボットの経路の前記予測交点と、前記歩行者が前記経路の前記予測交点に到達して横断する前記予測時間とを判定することが、前記移動ロボットの位置、前記歩行者の位置、前記移動ロボットの速度、及び前記歩行者の速度を分析して、前記経路の前記予測交点に到達して横断する前記予測時間を判定することを含む、請求項３に記載のコンピュータ実施方法。
  5. 前記実施された歩行者回避方策に従って、前記歩行者の前記経路との同時重なりを回避する様態で目的地に到達するように前記移動ロボットを制御することを更に含む、請求項１に記載のコンピュータ実施方法。
  6. 移動ロボットの歩行者回避方策を実施するためのシステムであって、
    命令を記憶するメモリを備え、前記命令は、プロセッサによって実行されると、前記プロセッサに、
    前記移動ロボットのシステムから歩行者及び前記移動ロボットの位置データを受信することと、
    前記位置データに基づいて、前記歩行者及び前記移動ロボットの位置を推定することと、
    前記歩行者及び前記移動ロボットの経路の予測交点と、前記歩行者が前記経路の前記予測交点に到達して横断する予測時間とを判定することと、
    前記歩行者及び前記移動ロボットの前記位置と、前記歩行者が前記経路の前記予測交点に到達して横断するときの予測時点とに基づいて、複数の歩行者回避方策から１つの歩行者回避方策を選択することと、
    前記選択された歩行者回避方策を実施することと、を行わせ、
    前記複数の歩行者回避方策は、
    前記歩行者が前記予測交点に到達して横断する前に、前記移動ロボットが現在の経路を利用して一定速度で走行し、前記予測交点に到達して横断するように構成されている、ベースライン歩行者回避方策と、
    前記移動ロボットが方向を変えて前記現在の経路を修正された経路に変更するように構成されている曲線歩行者回避方策であって、前記修正された経路により、前記移動ロボットは、前記移動ロボットが前記予測交点に到達して横断する前に前記歩行者から離れることが可能になるとともに、前記歩行者が修正された予測交点を通過する前に、前記ベースライン歩行者回避方策の実施中に前記移動ロボットが前記予測交点に到達して横断するのに利用したであろう時間と同様の時間で、前記修正された予測交点に到達して横断することが可能になり、前記修正された予測交点は、前記移動ロボットの前記修正された経路と前記歩行者の前記経路との間の交点である、曲線歩行者回避方策と、
    前記歩行者が前記予測交点に到達して横断する前に、前記移動ロボットが前記現在の経路を利用して加速速度で走行し、前記予測交点に到達して横断するように構成されている、加速歩行者回避方策と、
    前記移動ロボットが方向を変えて前記現在の経路を前記修正された経路に変更するように構成され、前記修正された経路により、前記移動ロボットが前記修正された予測交点に到達して横断する前に、前記移動ロボットが前記歩行者から離れ、かつ加速することが可能になる曲線加速歩行者回避方策であって、前記歩行者が前記修正された予測交点を通過する前に、前記加速歩行者回避方策の実施中に前記移動ロボットが前記予測交点に到達して横断するのに利用したであろう時間と同様の時間で、前記移動ロボットが前記修正された予測交点に到達して横断するべく加速するように構成される曲線加速歩行者回避方策と、を含む、システム。
  7. 前記歩行者及び前記移動ロボットの前記位置を推定することが、前記移動ロボットのカメラシステムによって提供される画像データから画像ベースの観測結果を判定することを含む、請求項６に記載のシステム。
  8. 前記歩行者及び前記移動ロボットの経路の前記予測交点と、前記歩行者が前記経路の前記予測交点に到達して横断する前記予測時間とを判定することが、前記画像ベースの観測結果をニューラルネットワークに通信して、位置データ、軌道データを判定することと、前記ニューラルネットワークによって使用される予め訓練されたデータセットの分析に基づいて前記予測交点を判定することと、を含む、請求項７に記載のシステム。
  9. 前記歩行者及び前記移動ロボットの経路の前記予測交点と、前記歩行者が前記経路の前記予測交点に到達して横断する前記予測時間とを判定することが、前記移動ロボットの位置、前記歩行者の位置、前記移動ロボットの速度、及び前記歩行者の速度を分析して、前記経路の前記予測交点に到達して横断する前記予測時間を判定することを含む、請求項８に記載のシステム。
  10. 前記実施された歩行者回避方策に従って、前記歩行者の前記経路との同時重なりを回避する様態で目的地に到達するように前記移動ロボットを制御することを更に含む、請求項６に記載のシステム。
  11. 命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記命令は、プロセッサを含むコンピュータによって実行されると、
    移動ロボットのシステムから歩行者及び前記移動ロボットの位置データを受信することと、
    前記位置データに基づいて、前記歩行者及び前記移動ロボットの位置を推定することと、
    前記歩行者及び前記移動ロボットの経路の予測交点と、前記歩行者が前記経路の前記予測交点に到達して横断する予測時間とを判定することと、
    前記歩行者及び前記移動ロボットの前記位置と、前記歩行者が前記経路の前記予測交点に到達して横断するときの予測時点とに基づいて、複数の歩行者回避方策から１つの歩行者回避方策を選択することと、
    前記選択された歩行者回避方策を実施することと、を含む、方法を行い、
    前記複数の歩行者回避方策は、
    前記歩行者が前記予測交点に到達して横断する前に、前記移動ロボットが現在の経路を利用して一定速度で走行し、前記予測交点に到達して横断するように構成されている、ベースライン歩行者回避方策と、
    前記移動ロボットが方向を変えて前記現在の経路を修正された経路に変更するように構成されている曲線歩行者回避方策であって、前記修正された経路により、前記移動ロボットは、前記移動ロボットが前記予測交点に到達して横断する前に前記歩行者から離れることが可能になるとともに、前記歩行者が修正された予測交点を通過する前に、前記ベースライン歩行者回避方策の実施中に前記移動ロボットが前記予測交点に到達して横断するのに利用したであろう時間と同様の時間で、前記修正された予測交点に到達して横断することが可能になり、前記修正された予測交点は、前記移動ロボットの前記修正された経路と前記歩行者の前記経路との間の交点である、曲線歩行者回避方策と、
    前記歩行者が前記予測交点に到達して横断する前に、前記移動ロボットが前記現在の経路を利用して加速速度で走行し、前記予測交点に到達して横断するように構成されている、加速歩行者回避方策と、
    前記移動ロボットが方向を変えて前記現在の経路を前記修正された経路に変更するように構成され、前記修正された経路により、前記移動ロボットが前記修正された予測交点に到達して横断する前に、前記移動ロボットが前記歩行者から離れ、かつ加速することが可能になる曲線加速歩行者回避方策であって、前記歩行者が前記修正された予測交点を通過する前に、前記加速歩行者回避方策の実施中に前記移動ロボットが前記予測交点に到達して横断するのに利用したであろう時間と同様の時間で、前記移動ロボットが前記修正された予測交点に到達して横断するべく加速するように構成される曲線加速歩行者回避方策と、を含む、非一時的コンピュータ可読記憶媒体。
  12. 前記実施された歩行者回避方策に従って、前記歩行者の前記経路との同時重なりを回避する様態で目的地に到達するように前記移動ロボットを制御することを更に含む、請求項１１に記載の非一時的コンピュータ可読記憶媒体。
JP2020027791A 2019-02-22 2020-02-21 移動ロボットの歩行者回避方策を実施するためのシステム及び方法 Active JP7002576B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021169514A JP2022009179A (ja) 2019-02-22 2021-10-15 移動ロボットの歩行者回避方策を実施するためのシステム及び方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962809178P 2019-02-22 2019-02-22
US62/809,178 2019-02-22
US16/740,723 US11868132B2 (en) 2019-02-22 2020-01-13 System and method for implementing pedestrian avoidance strategies for a mobile robot
US16/740,723 2020-01-13

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021169514A Division JP2022009179A (ja) 2019-02-22 2021-10-15 移動ロボットの歩行者回避方策を実施するためのシステム及び方法

Publications (2)

Publication Number Publication Date
JP2020135901A JP2020135901A (ja) 2020-08-31
JP7002576B2 true JP7002576B2 (ja) 2022-01-20

Family

ID=72141762

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020027791A Active JP7002576B2 (ja) 2019-02-22 2020-02-21 移動ロボットの歩行者回避方策を実施するためのシステム及び方法
JP2021169514A Pending JP2022009179A (ja) 2019-02-22 2021-10-15 移動ロボットの歩行者回避方策を実施するためのシステム及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021169514A Pending JP2022009179A (ja) 2019-02-22 2021-10-15 移動ロボットの歩行者回避方策を実施するためのシステム及び方法

Country Status (2)

Country Link
US (1) US11868132B2 (ja)
JP (2) JP7002576B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11328603B1 (en) * 2019-10-31 2022-05-10 Amdocs Development Limited Safety service by using edge computing
US11485377B2 (en) * 2020-02-06 2022-11-01 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicular cooperative perception for identifying a connected vehicle to aid a pedestrian
EP4115253A1 (en) * 2020-03-02 2023-01-11 Starship Technologies OÜ Method, system and device for analyzing pedestrian motion patterns
CN112230652A (zh) * 2020-09-04 2021-01-15 安克创新科技股份有限公司 行走机器人及其移动控制的方法、计算机存储介质
WO2024005618A1 (ko) * 2022-07-01 2024-01-04 엘지전자 주식회사 공도에서의 보행자 통행 우선권 보장을 위한 무인 지상 주행 로봇의 주행 및 통행 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008152600A (ja) 2006-12-19 2008-07-03 Toyota Motor Corp 移動経路作成方法、自律移動体および自律移動体制御システム
JP2009110495A (ja) 2007-04-12 2009-05-21 Panasonic Corp 自律移動型装置、自律移動型装置用の制御装置および自律移動型装置用のプログラム
JP2009187343A (ja) 2008-02-07 2009-08-20 Toyota Motor Corp 自律移動体、その制御方法、及び制御システム
JP2018205940A (ja) 2017-06-01 2018-12-27 日立オートモティブシステムズ株式会社 移動体挙動予測装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2686391B2 (ja) * 1991-12-24 1997-12-08 山武ハネウエル株式会社 非線形制御装置及びこれに用いられる演算装置
JPH06337713A (ja) * 1993-05-31 1994-12-06 Toyota Motor Corp 自律移動ロボット走行制御装置
JP5291420B2 (ja) 2008-09-26 2013-09-18 日産自動車株式会社 障害物回避装置及び自走車両
WO2011064821A1 (ja) 2009-11-27 2011-06-03 トヨタ自動車株式会社 自律移動体及びその制御方法
JP2013225253A (ja) 2012-04-23 2013-10-31 Panasonic Corp 自律移動装置、自律移動方法及び自律移動装置用のプログラム
EP3158417B1 (en) * 2015-05-23 2019-09-25 SZ DJI Technology Co., Ltd. Sensor fusion using inertial and image sensors
US10496091B1 (en) * 2016-08-17 2019-12-03 Waymo Llc Behavior and intent estimations of road users for autonomous vehicles
US20200174490A1 (en) * 2017-07-27 2020-06-04 Waymo Llc Neural networks for vehicle trajectory planning
US11104332B2 (en) * 2018-12-12 2021-08-31 Zoox, Inc. Collision avoidance system with trajectory validation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008152600A (ja) 2006-12-19 2008-07-03 Toyota Motor Corp 移動経路作成方法、自律移動体および自律移動体制御システム
JP2009110495A (ja) 2007-04-12 2009-05-21 Panasonic Corp 自律移動型装置、自律移動型装置用の制御装置および自律移動型装置用のプログラム
JP2009187343A (ja) 2008-02-07 2009-08-20 Toyota Motor Corp 自律移動体、その制御方法、及び制御システム
JP2018205940A (ja) 2017-06-01 2018-12-27 日立オートモティブシステムズ株式会社 移動体挙動予測装置

Also Published As

Publication number Publication date
JP2022009179A (ja) 2022-01-14
US11868132B2 (en) 2024-01-09
JP2020135901A (ja) 2020-08-31
US20200272155A1 (en) 2020-08-27

Similar Documents

Publication Publication Date Title
JP7002576B2 (ja) 移動ロボットの歩行者回避方策を実施するためのシステム及び方法
JP7113048B2 (ja) 混雑した道路における協働認識車線変更制御を提供するためのシステム及び方法
CN110647142B (zh) 使用优化方法规划自动驾驶车辆的停车轨迹生成
JP6833936B2 (ja) 自己中心映像に基づく将来の車両位置特定のためのシステム及び方法
CN109725634B (zh) 用于自动驾驶车辆的使用分色镜的3d lidar系统
US11465650B2 (en) Model-free reinforcement learning
CN114391088B (zh) 轨线规划器
EP3751453B1 (en) Detecting adversarial samples by a vision based perception system
CN110654376A (zh) 自动驾驶车辆的停车轨迹的规划
US20210271988A1 (en) Reinforcement learning with iterative reasoning for merging in dense traffic
US11498591B2 (en) System and method for providing adaptive trust calibration in driving automation
JP2021070471A (ja) アクション事前分布を使用して将来予測するためのシステム及び方法
US12072678B2 (en) Systems and methods for providing future object localization
US20210286371A1 (en) Systems and methods for shared cross-modal trajectory prediction
US11460856B2 (en) System and method for tactical behavior recognition
CN115116021A (zh) 用于完成连续多代理轨迹预测的系统和方法
CN115465283A (zh) 自适应信任校准
US12017679B2 (en) Adaptive trust calibration
US20240061435A1 (en) Systems and methods for path planning with latent state inference and graphical relationships
US11958201B2 (en) Systems and methods for visuo-tactile object pose estimation
US12065173B2 (en) System and methods for speed and lane advisory in evaluating lane change events and opportunities
JP2023037575A (ja) 単眼２ｄセマンティックキーポイント検出および追跡
US11597088B2 (en) Systems and methods for fully coupled models for crowd navigation
US11979590B2 (en) Systems and methods for predicting future data using diverse sampling
US12097862B2 (en) System and method for automated merging

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200221

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20200227

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200521

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210325

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211015

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211015

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20211026

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20211102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211227

R150 Certificate of patent or registration of utility model

Ref document number: 7002576

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150