JP7176241B2 - 自律移動体、および自律移動体の制御プログラム - Google Patents

自律移動体、および自律移動体の制御プログラム Download PDF

Info

Publication number
JP7176241B2
JP7176241B2 JP2018114575A JP2018114575A JP7176241B2 JP 7176241 B2 JP7176241 B2 JP 7176241B2 JP 2018114575 A JP2018114575 A JP 2018114575A JP 2018114575 A JP2018114575 A JP 2018114575A JP 7176241 B2 JP7176241 B2 JP 7176241B2
Authority
JP
Japan
Prior art keywords
movement
autonomous mobile
mobile body
task
mobile robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018114575A
Other languages
English (en)
Other versions
JP2019219735A (ja
Inventor
大作 本田
哲也 平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018114575A priority Critical patent/JP7176241B2/ja
Priority to US16/410,012 priority patent/US11353880B2/en
Priority to CN201910505096.XA priority patent/CN110609543B/zh
Publication of JP2019219735A publication Critical patent/JP2019219735A/ja
Application granted granted Critical
Publication of JP7176241B2 publication Critical patent/JP7176241B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0225Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving docking at a fixed facility, e.g. base station or loading bay
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G05D1/0289Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling with means for avoiding collisions between vehicles
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0259Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
    • G05D1/0263Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means using magnetic strips
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS

Description

本発明は、自律移動体、および自律移動体の制御プログラムに関する。
特定の環境下で複数の自律型移動ロボットが与えられたタスクをそれぞれ実行する技術が知られるようになってきた。例えば、特許文献1には複数の掃除ロボットが互いに異なる経路を移動しながら掃除を実行する技術が開示されている。
特開2017-174379号公報
特定の環境下で自律移動する複数の自律移動体が、例えば統括サーバにより単一のシステムで制御されている場合や、共通のフォーマットに則った通信手段により互いにコミュニケーションを取り合える場合であれば、それぞれが円滑な自律移動を行い得る。しかし、近年では互いに独立した自律移動体が特定の環境下で別個のタスクを実行する状況も増えてきている。このような状況においては、自律移動体同士で互いに協調して移動経路や目的地が重ならないように調整することが難しく、円滑な自律移動が妨げられる。
本発明は、このような問題を解決するためになされたものであり、単一のシステムで制御されていなくても、あるいは、互いにコミュニケーションを取らなくても、経由地点や目的地点で互いに衝突することなく、与えられたタスクを効率よく実行することのできる自律移動体およびその制御プログラムを提供するものである。
本発明の第1の態様における自律移動体は、計画された移動経路に沿って移動する自律移動体であって、他の自律移動体とその動作状況とを認識する外界センサと、外界センサによって他の自律移動体が、同時刻に自機の経由地点または目的地点に位置することを予測した場合に、動作状況から推定される他の自律移動体のタスクと、自機のタスクとの優先度の比較に基づいて、移動を継続するか中断するかを判断する移動判断部と、移動判断部の判断に基づいて移動ユニットを制御する移動制御部とを備える。
このように、動作状況から推定される他の自律移動体のタスクと自機のタスクの優先度の比較に基づいて移動を継続するか中断するかを判断しているので、単一のシステムで制御されていなくても、あるいは、互いにコミュニケーションを取らなくても、与えられたタスクを安全かつ効率よく実行することができる。
上記の自律移動体において、移動判断部は、目的地点が充電池に電力を供給する給電ポイントである場合に、他の自律移動体の充電タスクと自機の充電タスクとの、充電に対する優先度の比較に基づいて、移動を継続するか中断するかを判断しても良い。実行中のタスクが共に給電ポイントへ移動して充電作業を行うという充電タスクである場合に、それぞれの電力残容量を比較するなどして調整を行えば、それぞれの自律移動体が安全かつ確実に充電タスクを実行することができる。また、このような判断を行うことにより、たとえ同じシステムの下で制御されていなくても、他の自律移動体と擬似的な協調動作を行うことができる。
この場合、外界センサは、他の自律移動体の呈示部が呈示する電力の残容量情報を読み取り、移動判断部は、残容量情報に基づいて、他の自律移動体の充電に対する優先度を定めると良い。このように、他の自律移動体の呈示部に表示された情報を利用すれば、電力の残容量情報を含め他の自律移動体の情報を比較的容易に取得することができる。
また、上記の自律移動体は、他の自律移動体に自機のタスクに関する情報を呈示する呈示部を備えても良い。呈示部の呈示により他の自律移動体が自機のタスクに関する情報を認識すれば、当該他の自律移動体がそれに応じた移動動作を行ってくれることを期待できる。
また、上記の自律移動体において、移動判断部は、他の自律移動体が、自機と同種の自律移動体でないと認識した場合は、移動を中断すると判断すると良い。他の自律移動体がどのような自律移動体であるか判断できない場合は、外界センサによって取得される外観情報に基づいて動作状況を正確に把握することが難しいことがある。他の自律移動体が同種の自律移動体でない場合に移動を中断することで、より高い安全性を確保できる。
また、上記の自律移動体は、他の自律移動体と相互通信を行う通信部を備え、移動制御部は、相互通信が確立されている間は、移動判断部の判断によらず、相互通信の通信結果に基づいて移動ユニットを制御するようにしても良い。相互通信が可能であれば、通信を利用したコミュニケーションにより他の自律移動体と協調動作を行えば良い。互いにコミュニケーションを行ってそれぞれの移動動作を確定する方がより安全である。一方で、通信が確立されていない場合でも、自律移動体は、移動判断部の判断によって移動動作を安定的に行うことができる。
本発明の第2の態様における自律移動体の制御プログラムは、計画された移動経路に沿って移動する自律移動体の制御プログラムあって、外界センサを用いて他の自律移動体とその動作状況とを認識する認識ステップと、認識ステップによって他の自律移動体が、同時刻に自機の経由地点または目的地点に位置することを予測した場合に、動作状況から推定される他の自律移動体のタスクと、自機のタスクとの優先度の比較に基づいて、移動を継続するか中断するかを判断する移動判断ステップと、移動判断ステップの判断に基づいて移動ユニットを制御する移動制御ステップとをコンピュータに実行させる。
このように、動作状況から推定される他の自律移動体のタスクと自機のタスクの優先度の比較に基づいて移動を継続するか中断するかを判断しているので、単一のシステムで制御されていなくても、あるいは、互いにコミュニケーションを取らなくても、与えられたタスクを安全かつ効率よく実行することができる。
本発明により、単一のシステムで制御されていなくても、あるいは、互いにコミュニケーションを取らなくても、経由地点や目的地点で互いに衝突することなく、与えられたタスクを効率よく実行することのできる自律移動体およびその制御プログラムを提供することができる。
本実施形態に係る移動ロボットの外観斜視図である。 移動ロボットの制御ブロック図である。 一例における移動判断の状況を説明する図である。 他の例における移動判断の状況を説明する図である。 優先して移動する状況を説明する図である。 タスク優先度のルックアップテーブルの例である。 移動ロボットの移動に関する処理フローを示すフロー図である。 他の例における移動判断の状況を説明する図である。
以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。
図1は、本実施形態に係る移動ロボット100の外観斜視図である。移動ロボット100は、自律移動体の一例である。移動ロボット100は、大きく分けて台車部110と本体部120によって構成される。
台車部110は、円筒形状の筐体内に、それぞれが走行面に接地する2つの駆動輪111と1つのキャスター112とを支持している。2つの駆動輪111は、互いに回転軸芯が一致するように配設されている。それぞれの駆動輪111は、不図示のモータによって独立して回転駆動される。駆動輪111は、移動ロボットを移動させるための移動ユニットの一例である。キャスター112は、従動輪であり、台車部110から鉛直方向に延びる旋回軸が車輪の回転軸から離れて車輪を軸支するように設けられており、台車部110の移動方向に倣うように追従する。
移動ロボット100は、例えば、2つの駆動輪111が同じ方向に同じ回転速度で回転されれば直進し、逆方向に同じ回転速度で回転されれば台車部110の2つの駆動輪111のほぼ中央を通る鉛直軸周りに旋回する。すなわち、移動ロボット100は、2つの駆動輪111の回転方向、回転速度がそれぞれ制御されることにより、任意の方向へ並進、旋回することができる。
台車部110は、上面の周縁部にレーザスキャナ132を備える。レーザスキャナ132は、水平面内の一定の範囲をステップ角ごとにスキャンして、それぞれの方向に障害物が存在するか否かを出力する。さらに、障害物が存在する場合には、その障害物までの距離を出力する。
また、台車部110は、外周面に受電端子113を備える。受電端子113は、後述する給電端子と接触して電力の供給を受ける。移動ロボット100は、搭載する充電池の電力残容量が基準値を下回ったことを検出した場合に、給電端子が位置する給電ポイントまで移動し受電端子113を給電端子に接触させて充電池の充電を行う充電タスクを発生させる。
本体部120は、主に、台車部110の上面に搭載された胴部121、胴部121の上面に載置された頭部122、胴部121の側面に支持されたアーム123、アーム123の先端部に設置されたハンド124、およびLEDバー142を備える。アーム123とハンド124は、不図示のモータを介して駆動され、様々な物体を制御された姿勢で把持する。図は、搬送物の一例として容器を把持している様子を示す。胴部121は、不図示のモータの駆動力により、台車部110に対して鉛直軸周りに回転することができる。したがって、移動ロボット100は、把持部が搬送物を把持して特定方向を向く姿勢を保ったまま任意の方向へ移動することもできる。
LEDバー142は、複数のLEDおよび導光材を有する発光装置であり、LEDのそれぞれが鉛直軸に対して放射方向へ発光するように、胴部121の上部の円環状の外周部に設置されている。LEDバー142は、発光色や点滅周期を変化させることができ、そのパターンにより移動ロボット100の動作状況やタスクに関する情報を周囲に呈示することができる。また、胴部121には、コントロールユニット190が設けられている。コントロールユニット190は、後述の制御部とメモリ等を含む。
頭部122は、主に、ステレオカメラ131および表示パネル141を備える。ステレオカメラ131は、同じ画角を有する2つのカメラユニットが互いに離間して配置された構成を有し、それぞれのカメラユニットで撮像された画像を画像データとして出力する。
表示パネル141は、例えば液晶パネルであり、キャラクターの顔をイラストで表示したり、移動ロボット100に関する情報をテキストやアイコンで呈示したりする。表示パネル141にキャラクターの顔を表示すれば、表示パネル141が擬似的な顔部であるかの印象を周囲の観察者に与えることができる。また、表示パネル141は、表示面にタッチパネルを有し、ユーザからの指示入力を受け付けることができる。
頭部122は、不図示のモータの駆動力により、胴部121に対して鉛直軸周りに回転することができる。したがって、ステレオカメラ131は、任意の方向の対象物を撮影することができ、また、表示パネル141は、任意の方向へ向けて表示内容を呈示することができる。なお、以降の説明においては、図示するように、移動ロボット100が移動する移動平面をxy平面、移動平面に対する鉛直軸方向をz軸と定める。
図2は、移動ロボット100の制御ブロック図である。制御部200は、例えばCPUであり、本体部120のコントロールユニット190に格納されている。台車駆動ユニット210は、駆動輪111を駆動するための駆動回路やモータを含む。制御部200は、台車駆動ユニット210へ駆動信号を送ることにより、駆動輪111の回転制御を実行する。また、制御部200は、台車駆動ユニット210からエンコーダ等のフィードバック信号を受け取って、台車の移動方向を把握する。台車駆動ユニット210は、制御部200と協働して、移動制御部としての機能を担う。
上体駆動ユニット220は、アーム123およびハンド124を含む把持部、胴部121および頭部122を駆動するための駆動回路やモータを含む。制御部200は、上体駆動ユニット220へ駆動信号を送ることにより、把持制御や、胴部121および頭部122の回転制御を実行する。また、制御部200は、上体駆動ユニット220からエンコーダ等のフィードバック信号を受け取って、把持部の状態や胴部121および頭部122の向きを把握する。
センサユニット130は、他の移動ロボットや障害物、周囲に存在する人物、把持している搬送対象物などを検出する各種センサを含み、台車部110および本体部120に分散して配置されている。ステレオカメラ131およびレーザスキャナ132は、センサユニット130を構成する要素である。制御部200は、センサユニット130に制御信号を送ることにより、各種センサを駆動してその出力信号や出力データを取得する。制御部200は、これらの出力信号や出力データを解析して、他の移動ロボット100やその動作状況などを認識する。すなわち、センサユニット130は、制御部200と協働して、他の自律移動体やその動作状況などを認識する外界センサとしての機能を担う。
メモリ250は、不揮発性の記憶媒体であり、例えばソリッドステートドライブが用いられる。メモリ250は、移動ロボット100を制御するための制御プログラムの他にも、制御に用いられる様々なパラメータ値、関数、ルックアップテーブル、比較画像データ等を記憶している。メモリ250は、移動ロボット100が自律移動する環境を表現する環境地図を格納していても良い。
ユーザIF260は、ユーザが移動ロボット100へ指示を入力する入力部であり、表示パネル141に重畳されたタッチパネルはその一部である。また、物理的なスイッチに限らず、マイクを用いた音声入力や、ステレオカメラ131を用いたジェスチャー入力などをユーザIF260として組み込んでも良い。
呈示ユニット140は、ユーザや周囲に存在する人物、他の移動ロボットなどに移動ロボット100の動作状況やタスクに関する情報を周囲に直接的または間接的に呈示する呈示部としての機能を担い、台車部110および本体部120に分散して配置されている。表示パネル141およびLEDバー142は、呈示ユニット140を構成する要素である。呈示ユニット140は、他にもスピーカや振動子などを含んでも良い。制御部200は、呈示ユニット140に制御信号を送ることにより、それぞれの要素を動作させる。
充電ユニット270は、受電端子113、充電池、充電池回路を含む。充電池は、例えばニッケル水素充電池である。充電池回路は、受電端子113から供給される電力の入力を調整する充電調整回路、充電池の残容量を検出する残容量検出回路、駆動モータ等の各要素へ電力を供給する電力供給回路を含む。制御部200は、充電を制御するために充電調整回路へ制御信号を送ったり、充電タスクを発生させるために残容量検出回路から残容量信号を受け取ったりする。
制御部200は、制御に関わる様々な演算を実行する機能演算部としての役割も担う。移動判断部201は、他の移動ロボットが同時刻に移動ロボット100の経由地点または目的地点に位置することを外界センサによって予測した場合に、当該他の自律移動体のタスクをその動作状況から推定して、移動を継続するか中断するかを判断する。具体的な判断手法については後に詳述する。
近時、複数の移動ロボットを自律移動させて、さまざまなタスクを同時並行的に実行させたいという要望が高まっている。例えば工場などの管理された環境下で複数の移動ロボットにそれぞれ別個のタスクを実行させる場合には、それらの移動ロボットを統括的に管理するサーバを設置して、サーバがそれぞれの移動ロボットの移動やタスクの実行を制御するようにシステムを構築できる。サーバで統括的な管理を行わなくても、共存する人間が制限されているような管理された環境においては、共通のフォーマットに則った通信手段により互いにコミュニケーションを取り合える移動ロボットのみを利用することもできる。この場合は、それぞれの移動ロボットが通信手段によって互いにコミュニケーションを取り合い、移動経路やタスクの実行を調整し合うことができる。
しかし、複数の移動ロボットに別々のタスクを実行させたい環境は、年々拡がりを見せている。例えば、空港であったり、ショッピングモールであったり、テーマパークであったりする。このような多くの人が集う環境においては、移動ロボットに要求されるタスクもさまざまであり、単一のシステムで管理される移動ロボットのみでこれらのタスクを全て賄うことが困難になってきた。また、困難なだけでなく、例えば、荷物を運搬する移動ロボットと清掃を行う移動ロボットとを単一のシステムで管理することに合理性はあまり認められない。そこで、単一のシステムや共通の通信手段で括られる群に属さずとも、他の移動ロボットと干渉せず、与えられたタスクを安全かつ円滑に実行する移動ロボットが望まれるようになってきている。本実施形態における移動ロボット100は、このような要望に応えるものである。
上述のように、移動ロボット100は、他の移動ロボットとコミュニケーションを取るための通信装置を備えていない。また、複数の移動ロボットを統括的に管理するサーバから指令を受ける通信装置も備えていない。このような移動ロボット100においては、与えられたタスクを安全、円滑かつ着実に実行するために、経由地点や目的地点で他の移動ロボットと衝突しそうな場合に、どのように動作するかがひとつの重要なポイントとなる。このような場合における移動ロボット100の動作を、具体例を用いて説明する。
図3は、一例における移動判断の状況を説明する図である。ここで、移動ロボット101は、緊急度の高いタスクを実行している他の移動ロボットであり、上述の移動ロボット100と同様の構成を備えるものとする。また、移動ロボット102は、充電タスクを実行中の自機であり、やはり上述の移動ロボット100と同様の構成を備えるものとする。移動ロボット101と移動ロボット102は、独立してそれぞれのタスクを実行しており、通信手段を用いて互いにコミュニケーションを取り合うことはない。
他の移動ロボットである移動ロボット101は、x軸方向へ移動している。自機である移動ロボット102は、壁面近くに設けられた給電ユニット810の給電端子811に、自身が備える受電端子113を接触させるべく、y軸方向へ移動している。給電ユニット810は、移動ロボットの充電池に電力を供給する給電ポイントの一例であり、充電タスクを実行する場合の目的地点となる。
自機である移動ロボット102は、給電ユニット810へ向かって計画した移動経路に沿って移動し、ある時刻に点線の円で示す経由地点を通過する予定である。点線の円は、その時刻における移動ロボット102のおよその外形投影領域を表す。他の移動ロボット101は、そのまま計画通りにx軸方向へ移動すると、当該時刻において移動ロボット102の経由地点と交錯する。すなわち、他の移動ロボット101が予定通り移動し、自機である移動ロボット102も予定通り移動すれば、両者は接触してしまう状況である。
自機である移動ロボット102は、ステレオカメラ131やレーザスキャナ132で外界の状況を観察しながら自律移動している。制御部200は、自律移動中に、ステレオカメラ131が捉えた画像を画像解析することにより側方の移動ロボット101を認識すると、続いてその動作状況を確認する。確認すべき動作状況は、予め複数の項目として設定されており、制御部200は、センサユニット130の出力を利用して、移動ロボット101の動作状況を確認する。制御部200は、確認すべき動作状況の一つとしてまず、移動ロボット101の移動方向とその速度を確認する。
制御部200は、ステレオカメラ131から画像データを連続的に取得することにより、その差分から、移動ロボット101の移動方向とその速度を演算する。あるいは、レーザスキャナ132の出力を連続的に取得することにより、移動ロボット101の移動方向とその速度を演算しても良い。制御部200は、認識した移動ロボット101の形状や色などに応じて、いずれのセンサに基づいて移動ロボット101の移動方向とその速度を演算するかを選択しても良い。
演算した移動方向とその速度から、ある時刻における自機(移動ロボット102)の経由地点に当該他の移動ロボット101が位置すると制御部200が認識した場合は、続いて、移動判断部201が、移動を継続するか中断するかを判断する。移動判断部201は、移動を継続するか中断するかの判断を、確認した移動ロボット101の動作状況から推定されるそのタスクと、自機のタスクとの優先度の比較に基づいて行う。
図示するように、移動ロボット101は、与えられたタスクが例えば所定の棚から救命器具を取ってくるような救急タスクである場合に、表示パネル141に救急を示すアイコンを表示し、LEDバー142で救急を表すパターン光を発光している。さらには、頭部122を回転させている。
自機である移動ロボット102の制御部200は、このような表示や発光を認識し、移動ロボット101が救急タスクを実行していることを認識する。そして、移動判断部201は、自機のタスクである充電タスクと比較して、救急タスクの優先度が高いことを確認し、移動を中断すると判断する。この判断を受けて制御部200は、移動ロボット102が停止するように台車駆動ユニット210を制御する。なお、タスク優先度は、例えばメモリ250にルックアップテーブルとして予め格納されている。ルックアップテーブルについては、後述する。このようにして、自機である移動ロボット102は、接触を避けるべく、救急タスクを実行している他の移動ロボット101を先に通過させてから、移動を再開する。
移動ロボット102は、他の移動ロボット101へ自身の充電タスクを示すべく、表示パネル141に充電タスクに関する情報、例えば図示するような電池のアイコンを表示すると良い。また、充電タスクを表す発光パターンでLEDバー142を発光させると良い。移動ロボット101は、同種の移動ロボット100であるので、移動ロボット102を他の移動ロボットとして認識し、表示パネル141のアイコン等を観察して充電タスクを推定し、自身のタスクと優先度を比較して移動を継続する。
図4は、他の例における移動判断の状況を説明する図である。自機である移動ロボット102は、図3の例と同様に、充電タスクを実行中である。本例においては、他の移動ロボット101も充電タスクを実行しており、共に給電ユニット810へ向かって移動している状況である。すなわち、点線の円で示す目的地点が共通し、他の移動ロボット101が予定通り移動し、自機である移動ロボット102も予定通り移動すれば、両者は接触してしまう状況である。
自機である移動ロボット102の制御部200は、ステレオカメラ131やレーザスキャナ132の出力から移動ロボット101を認識すると、その移動方向とその速度を確認し、自機の経由地点または目的地点と交錯するか否かを判断する。移動ロボット101は、表示パネル141に充電タスクの実行を示すアイコンを表示しているので、制御部200は、ステレオカメラ131の出力画像を解析することにより、移動ロボット101が充電タスクを実行していることを認識する。制御部200は、移動ロボット101の移動方向と実行中のタスク(=充電タスク)とから、移動ロボット101の目的地点が給電ユニット810であり、自機の目的地点と重なることを予測する。
移動判断部201は、自機のタスクも移動ロボット101のタスクも共に充電タスクであることを認識したら、同一タスク時の優先判断によりそれぞれのタスクの優先度を決定する。充電タスクとして共通する場合には、充電を急ぐべき事情である「充電に対する優先度」を考慮する。例えば、それぞれの移動ロボットに搭載された充電池の残容量により、優先度を判断する。
図示するように、表示パネル141に表示している電池のアイコンは、セグメントの塗り潰しにより搭載されている充電池の残容量を示している。図中、網掛けがされているセグメントが多いほど、残容量が多いことを表している。図によれば、移動ロボット101の充電池の残容量は、電池のアイコンにおいて5個のセグメントのうち2個のセグメントが網掛けされているので、満充電に対して1/5以上2/5未満である。一方、移動ロボット102の充電池の残容量は、1個のセグメントが網掛けされているので、満充電に対して1/5未満である。
制御部200は、ステレオカメラ131の出力画像から、移動ロボット101の充電池の残容量が1/5以上2/5未満であることを認識する。移動判断部201は、自機の充電池の残容量が1/5未満であることと比較して、自機の方が充電を急ぐべきであり、充電タスクに対して移動ロボット101よりも優先度が高いと判断する。すなわち、目的地である給電ユニット810へ向かう移動を継続すると判断する。この判断を受けて制御部200は、移動ロボット102が移動を継続するように台車駆動ユニット210を制御する。なお、充電池の残容量情報は、このようなアイコン形式に限らず、他の態様をもって呈示ユニット140で呈示しても良い。また、他の情報も同時に呈示されていても構わない。
図5は、自機である移動ロボット102が優先して移動する状況を説明する図である。制御部200は、優先して移動している間は、表示パネル141に優先動作中であることを周囲に示すアイコンや文字を表示させる。このとき、周囲の人や移動ロボットが認識しやすいように、上体駆動ユニット220に制御信号を送って頭部122を回転させても良い。また、制御部200は、優先動作中を表す発光パターンでLEDバー142を発光させる。
移動ロボット102のこのような呈示により、移動を中断する側の移動ロボット101は、移動ロボット102と同種の移動ロボットであれば、コミュニケーションを取るための通信装置を互いに備えていなくても、相手側が優先動作を行っていることを認識できる。すなわち、移動ロボット102の表示パネル141の表示やLEDバー142の発光パターンをステレオカメラ131で捉えることにより、移動ロボット102の優先動作を認識できる。移動ロボット101は、移動ロボット102が充電を終えて退避した後に、給電ユニット810まで移動して充電を開始する。
図6は、タスク優先度のルックアップテーブルの例である。タスク優先度のルックアップテーブルは、共有する環境下を自律移動するそれぞれの移動ロボットがユーザから与えられ得る、あるいは自発的に発生させ得る各タスクに対して、優先順位が定められている。ここでは、タスクとして、「緊急走行」「呼出指令」「ガイド走行」「充電」「搬送物搬送」「帰還」が用意されており、この順に優先順位が下がっていくように定められている。「緊急走行」は、図3の例における移動ロボット101のタスクである「救急タスク」を包含するタスクである。「呼出指令」は、ユーザ等から呼び出された場合に、呼出地点へ移動するタスクである。「ガイド走行」は、ユーザを案内するタスクである。「帰還」は、待機所へ戻るタスクである。これらタスクの種類は、移動ロボットが担う役割に応じて、適宜変更される。また、優先順位についても、システムを設計する設計思想に応じて変更され得る。
移動判断部201は、自機のタスクと、他の移動ロボットのタスクのそれぞれの優先順位を比較し、自機のタスクの方が高ければ移動を継続すると判断し、低ければ移動を中断すると判断する。タスクの優先順位が同じであれば、同一タスク時の優先判断を考慮する。同一タスク時の優先判断は、図4の充電タスクの例では残容量であったように、各タスクに対して予め定められている。「緊急走行」であれば、移動速度が速い方を優先し、「呼出指令」であれば、一般ユーザに呼び出されている場合よりもシステム管理者に呼び出されている場合を優先する。「ガイド走行」であれば、案内している人数の多い方を優先し、「搬送物搬送」であれば、搬送物が大きい方を優先する。「帰還」であれば、帰還後に実行が予定されているタスクの数が多い方を優先する。同一タスクであるときに、何れの事項を優先させるかは、移動ロボットの役割や使用環境に応じて適宜設定され得る。
次に、移動ロボット100の移動に関する処理フローについて説明する。図7は、移動ロボット100の移動に関する処理フローを示すフロー図である。フローは、タスクが与えられて開始し、目的地に到着して終了するまでを表す。
制御部200は、ステップS101で、タスクを実行するために必要な移動の移動経路を計画する。移動経路の計画は、例えば、メモリ250に格納された環境地図を参照して行う。例えば搬送物を搬送するタスクであれば、搬送先はユーザによって指定されるので、制御部200は、環境地図を参照して現在地から搬送先までの移動経路を計画する。現在地は、例えば、センサユニット130として搭載するGPSユニットの出力により認識される。
制御部200は、ステップS102で、計画に沿って自機が移動するように、台車駆動ユニット210を制御する。制御部200は、移動中はセンサユニット130からの出力信号や出力データを継続的に取得して、障害物や接近する移動体が存在しないかを監視する。障害物を発見した場合には、回避する経路を生成して当該障害物を回避する。制御部200は、ステップS103で、自機の移動経路に対し経由地点または目的地点に同時刻に位置すると予測される他の移動体が存在するか否かを確認する。存在しなければステップS114へ進み、存在すればステップS104へ進む。
制御部200は、ステップS104で、発見した移動体が自律移動体であるか否かを判断する。自律移動体でないと判断したら、発見した対象が人である場合を含め、当該対象の移動を優先させるべく、ステップS105で自機の移動を停止させる。そして、ステップS106で当該対象である移動体が退去したと判断できるまで、停止状態を維持して待機する。移動体が退去したと判断できたら、ステップS114へ進む。
制御部200は、ステップS104で、発見した移動体が自律移動体であると判断したら、ステップS107へ進み、当該自律移動体の動作状況を確認する。制御部200は、動作状況を確認した結果から当該自律移動体のタスクを推定する。そして、移動判断部201は、ステップS108で、推定した当該タスクと自機のタスクの優先順位を比較する。推定した当該タスクの優先順位よりも自機のタスクの優先順位の方が高い場合には、移動を継続すると判断して、ステップS109へ進む。制御部200は、ステップS109で、移動ロボット100が移動を継続するように台車駆動ユニット210を制御し、ステップS114へ進む。
ステップS108で、推定した当該タスクの優先順位よりも自機のタスクの優先順位の方が高くない場合には、移動判断部201は、ステップS110へ進み、両者の優先順位が等しいか否かを確認する。等しい場合には、ステップS111へ進み、等しくない場合には、移動を中断すると判断して、ステップS112へ進む。
移動判断部201は、ステップS111へ進んだ場合は、両者のタスクが同一であるとして、当該タスクに設定された優先判断の項目を確認する。そして、当該項目に対する両者の優先度判定を行い、自機の優先度の方が高ければステップS109へ進み、低ければステップS112へ進む。
制御部200は、ステップS112で、移動ロボット100が移動を中断するように台車駆動ユニット210を制御する。すなわち、移動ロボット100を停止させる。制御部200は、移動を中断している間も発見した自律移動体の観察を続ける。そして、ステップS113で、自機が移動を再開すると当該自律移動体と衝突する可能性があるか否かを判断する。衝突する可能性があると判断したら、移動の中断を継続して待機する。衝突する可能性がないと判断したらステップS114へ進む。
制御部200は、ステップS114で、目的地に到着したか否かを確認する。目的地に到着していない場合には、ステップS102へ戻り、移動制御を継続する。目的地に到着した場合には、一連の移動制御を終了する。
なお、タスクの優先度の比較の結果、自機が移動を継続した場合に(ステップS109へ進んだ場合に)、他の自律移動体が移動を中断せず接近してきた場合には、自機である移動ロボット100は、接触を回避すべく移動を中断するか退避動作を行うと良い。また、ステップS107で、接近する他の自律移動体のタスクを推定できない場合には、ステップS112へスキップするようにしても良い。
次に、他の例における移動判断について説明する。図8は、他の例における移動判断の状況を説明する図である。図8の状況は、接近する他の移動ロボット103が、自機である移動ロボット102とは異種の自律移動体である点でこれまでの状況と異なる。移動ロボット103は、移動ロボット102とは異なる性質を有し、その性質に応じたタスクが与えられている。もちろん、移動ロボット103にタスクを与えるユーザは、移動ロボット102のユーザとは異なる場合もある。
このような状況において制御部200が点線の円で示す経由地点において移動ロボット103と交錯すると予想した場合には、移動判断部201は、移動を中断すると判断する。対象が他種の自律移動体である場合には、センサユニット130から取得される外観情報に基づいて動作状況を正確に把握することが難しいことがあるので、このように移動動作を中断することで高い安全性を確保できる。ただし、他種の自律移動体であっても、その外観情報から動作状況を正確に把握することができ、そのタスクを推定できる場合には、移動判断部201は、移動を継続すると判断しても良い。
以上、移動ロボット100により本実施形態を説明したが、本実施形態を実施し得る移動ロボットは、通信装置を備えないものに限らない。例えば、一つの群に属する複数の移動ロボットは、通信装置を使ってコミュニケーションを取ってそれぞれの移動を互いに調整し、群に属さない他の移動ロボットを認識した場合に、上記の制御を行うようにしても良い。あるいは、他の移動ロボットと相互通信が確立されている間は、移動判断部201の判断によらず当該相互通信の通信結果に基づいて移動制御を行い、相互通信が確立されていない場合に、移動判断部201の判断で移動制御を行うようにしても良い。他の移動ロボットと通信装置を介してコミュニケーションを取る場合は、サーバを介しても良い。その場合、サーバが主体的にコミュニケーションを制御しても構わない。
100、101、102、103 移動ロボット、110 台車部、111 駆動輪、112 キャスター、113 受電端子、120 本体部、121 胴部、122 頭部、123 アーム、124 ハンド、130 センサユニット、131 ステレオカメラ、132 レーザスキャナ、140 呈示ユニット、141 表示パネル、142 LEDバー、190 コントロールユニット、200 制御部、201 移動判断部、210 台車駆動ユニット、220 上体駆動ユニット、250 メモリ、260 ユーザIF、270 充電ユニット、810 給電ユニット、811 給電端子

Claims (5)

  1. 計画された移動経路に沿って移動する自律移動体であって、
    他の自律移動体とその動作状況とを認識する外界センサと、
    前記外界センサによって前記他の自律移動体が、同時刻に自機の経由地点または目的地点に位置することを予測した場合に、前記動作状況から推定される前記他の自律移動体のタスクと、自機のタスクとの優先度の比較に基づいて、移動を継続するか中断するかを判断する移動判断部と、
    前記移動判断部の判断に基づいて移動ユニットを制御する移動制御部と
    を備える自律移動体。
  2. 前記移動判断部は、前記目的地点が充電池に電力を供給する給電ポイントである場合に、前記他の自律移動体の充電タスクと自機の充電タスクとの、充電に対する優先度の比較に基づいて、移動を継続するか中断するかを判断する請求項1に記載の自律移動体。
  3. 前記外界センサは、前記他の自律移動体の呈示部が呈示する電力の残容量情報を読み取り、
    前記移動判断部は、前記残容量情報に基づいて、前記他の自律移動体の充電に対する優先度を定める請求項2に記載の自律移動体。
  4. 前記他の自律移動体に自機のタスクに関する情報を呈示する呈示部を備える請求項1から3のいずれか1項に記載の自律移動体。
  5. 計画された移動経路に沿って移動する自律移動体の制御プログラムあって、
    外界センサを用いて他の自律移動体とその動作状況とを認識する認識ステップと、
    前記認識ステップによって前記他の自律移動体が、同時刻に自機の経由地点または目的地点に位置することを予測した場合に、前記動作状況から推定される前記他の自律移動体のタスクと、自機のタスクとの優先度の比較に基づいて、移動を継続するか中断するかを判断する移動判断ステップと、
    前記移動判断ステップの判断に基づいて移動ユニットを制御する移動制御ステップと
    をコンピュータに実行させる制御プログラム。
JP2018114575A 2018-06-15 2018-06-15 自律移動体、および自律移動体の制御プログラム Active JP7176241B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018114575A JP7176241B2 (ja) 2018-06-15 2018-06-15 自律移動体、および自律移動体の制御プログラム
US16/410,012 US11353880B2 (en) 2018-06-15 2019-05-13 Autonomous moving body and control program for autonomous moving body
CN201910505096.XA CN110609543B (zh) 2018-06-15 2019-06-12 自主移动体和用于自主移动体的控制程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018114575A JP7176241B2 (ja) 2018-06-15 2018-06-15 自律移動体、および自律移動体の制御プログラム

Publications (2)

Publication Number Publication Date
JP2019219735A JP2019219735A (ja) 2019-12-26
JP7176241B2 true JP7176241B2 (ja) 2022-11-22

Family

ID=68839476

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018114575A Active JP7176241B2 (ja) 2018-06-15 2018-06-15 自律移動体、および自律移動体の制御プログラム

Country Status (3)

Country Link
US (1) US11353880B2 (ja)
JP (1) JP7176241B2 (ja)
CN (1) CN110609543B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112171665A (zh) * 2020-09-14 2021-01-05 深圳优地科技有限公司 运动控制方法、装置、终端设备及存储介质
JP2022085379A (ja) * 2020-11-27 2022-06-08 株式会社日立製作所 移動制御支援装置および方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006231421A (ja) 2005-02-22 2006-09-07 Honda Motor Co Ltd ロボット制御装置、ロボット制御方法およびロボット制御プログラム、ならびに移動ロボット
JP2008254134A (ja) 2007-04-06 2008-10-23 Honda Motor Co Ltd 移動装置、ならびにその制御方法および制御プログラム
JP2009134642A (ja) 2007-11-30 2009-06-18 Honda Motor Co Ltd 移動装置および移動装置システム
JP2017142659A (ja) 2016-02-10 2017-08-17 村田機械株式会社 自律移動体システム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5604181B2 (ja) * 2010-05-31 2014-10-08 トヨタホーム株式会社 充電装置
JP5560979B2 (ja) * 2010-07-13 2014-07-30 村田機械株式会社 自律移動体
JP2014197294A (ja) * 2013-03-29 2014-10-16 株式会社日立産機システム 位置同定装置、及びそれを備えた移動ロボット
JP6135289B2 (ja) * 2013-05-07 2017-05-31 村田機械株式会社 自律移動体の移動制御装置、自律移動体、及び自律移動体の制御方法
JP5880498B2 (ja) 2013-08-09 2016-03-09 トヨタ自動車株式会社 自律移動体、障害物判別方法及び障害物回避方法
US10126747B1 (en) * 2015-09-29 2018-11-13 Amazon Technologies, Inc. Coordination of mobile drive units
US9864918B2 (en) * 2015-11-04 2018-01-09 Ford Global Technologies, Llc Predicting vehicle movements based on driver body language
WO2017115342A1 (en) * 2016-01-03 2017-07-06 Yosef Mintz System and methods to apply robust predictive traffic load balancing control and robust cooperative safe driving for smart cities
JP6761309B2 (ja) 2016-03-18 2020-09-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 自律移動装置、自律移動方法及び自律移動システム
CN107198499B (zh) 2016-03-18 2021-03-05 松下电器(美国)知识产权公司 自主移动装置、自主移动方法以及自主移动系统
US10037696B2 (en) 2016-03-31 2018-07-31 Delphi Technologies, Inc. Cooperative automated vehicle system
US10152891B2 (en) * 2016-05-02 2018-12-11 Cnh Industrial America Llc System for avoiding collisions between autonomous vehicles conducting agricultural operations
US10081357B2 (en) * 2016-06-23 2018-09-25 Honda Motor Co., Ltd. Vehicular communications network and methods of use and manufacture thereof
CN106251016B (zh) 2016-08-01 2019-05-07 江苏海事职业技术学院 一种基于动态时间窗的泊车系统路径规划方法
KR20180060339A (ko) * 2016-11-28 2018-06-07 주식회사 유진로봇 이동 로봇의 충전을 제어하기 위한 로봇 청소기 시스템 및 그 방법
KR101984101B1 (ko) * 2017-03-06 2019-05-30 엘지전자 주식회사 청소기 및 그 제어방법
US10678228B2 (en) * 2018-04-04 2020-06-09 Invia Robotics, Inc. Autonomous robots performing concerted operation based on shared sensory access and holistic flow of information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006231421A (ja) 2005-02-22 2006-09-07 Honda Motor Co Ltd ロボット制御装置、ロボット制御方法およびロボット制御プログラム、ならびに移動ロボット
JP2008254134A (ja) 2007-04-06 2008-10-23 Honda Motor Co Ltd 移動装置、ならびにその制御方法および制御プログラム
JP2009134642A (ja) 2007-11-30 2009-06-18 Honda Motor Co Ltd 移動装置および移動装置システム
JP2017142659A (ja) 2016-02-10 2017-08-17 村田機械株式会社 自律移動体システム

Also Published As

Publication number Publication date
CN110609543A (zh) 2019-12-24
US20190384307A1 (en) 2019-12-19
CN110609543B (zh) 2023-06-02
US11353880B2 (en) 2022-06-07
JP2019219735A (ja) 2019-12-26

Similar Documents

Publication Publication Date Title
CN110945450B (zh) 人机交互自动导引车辆
US11086328B2 (en) Autonomous cart for manufacturing and warehouse applications
JP7087708B2 (ja) 自律移動体、および自律移動体の制御プログラム
ES2827192T3 (es) Sistema de gestión de tareas para una flota de robots móviles autónomos
JP7095427B2 (ja) 自律移動体、および自律移動体の制御プログラム
KR102107555B1 (ko) 차량용 센서 궤적 플래닝
ES2812568T3 (es) Robot móvil autónomo para ejecutar asignaciones de trabajo en un entorno físico en el que hay obstáculos estacionarios y no estacionarios
JP7176241B2 (ja) 自律移動体、および自律移動体の制御プログラム
Gienger et al. Human-robot cooperative object manipulation with contact changes
US11426873B2 (en) Sorting system, mobile robot, method for operating a sorting system, computer program product and computer-readable medium
CN112631269A (zh) 自主移动机器人及自主移动机器人的控制程序
US20220291685A1 (en) Method and system to improve autonomous robotic systems responsive behavior
US11914363B2 (en) Mobile robot, transport system, method, and computer-readable medium
Levratti et al. Safe navigation and experimental evaluation of a novel tire workshop assistant robot
CN114800481B (zh) 自主移动系统、自主移动方法以及存储介质
JP7254973B1 (ja) 走行ロボットシステム
WO2021235141A1 (ja) 移動体及びその制御装置、方法及びプログラム
JP2022115296A (ja) 自律移動システム、自律移動方法及び自律移動プログラム
KR20210130942A (ko) 자율주행 무인운반차 제어 시스템 및 방법
CN115847428A (zh) 一种基于ar技术的机械装配辅助引导系统及方法
WO2023102319A1 (en) Robotic cart

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220113

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220909

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220909

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220920

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221024

R151 Written notification of patent or utility model registration

Ref document number: 7176241

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151