JP7330162B2 - ロボットの目的地を制御するための方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体 - Google Patents

ロボットの目的地を制御するための方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体 Download PDF

Info

Publication number
JP7330162B2
JP7330162B2 JP2020204177A JP2020204177A JP7330162B2 JP 7330162 B2 JP7330162 B2 JP 7330162B2 JP 2020204177 A JP2020204177 A JP 2020204177A JP 2020204177 A JP2020204177 A JP 2020204177A JP 7330162 B2 JP7330162 B2 JP 7330162B2
Authority
JP
Japan
Prior art keywords
destination
area
robot
obstacle
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020204177A
Other languages
English (en)
Other versions
JP2022075442A (ja
Inventor
レオ ポン,ブライアント
リ,ファンウェイ
エー. レインホス,ヘンリー
Original Assignee
ベアー ロボティックス,インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベアー ロボティックス,インコーポレイテッド filed Critical ベアー ロボティックス,インコーポレイテッド
Publication of JP2022075442A publication Critical patent/JP2022075442A/ja
Application granted granted Critical
Publication of JP7330162B2 publication Critical patent/JP7330162B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666Avoiding collision or forbidden zones
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676Avoiding collision or forbidden zones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0217Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with energy consumption, time reduction or distance reduction criteria
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0259Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
    • G05D1/0263Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means using magnetic strips
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Navigation (AREA)

Description

本発明はロボットの目的地を制御するための方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体に関する。
ロボットは難しい作業や反復的な操作などを自動化して遂行できるため、多様な分野で人間に代わって、または人間の補助に活用されている。最近このようなロボットが所望の目的地まで円滑に移動できるように支援する技術について多様な研究が進行されている。
これに関する従来技術の一例として、韓国公開特許公報第10-2016-0150380号に開示された技術が挙げられるが、これによると、パッド(pad)上に配置されたロボットを目的地に誘導するためのシステムにおいて、赤外線を放出する発光部と赤外線を受信する受信部をそれぞれ含む複数の光学モジュールが配置されたパッド、および前記パッド上に配置されて目的地点まで移動するロボットを含み、前記パッドは前記複数の光学モジュールを動作させて前記ロボットによる赤外線の反射の有無を検出し、前記複数の光学モジュールのうち前記赤外線の反射が検出された光学モジュールに対応する位置を前記ロボットの現在位置として決定した後、前記決定されたロボットの現在位置と前記目的地点の位置に対する情報を前記ロボットに伝送する、赤外線を利用した目的地誘導システムが紹介されている。
しかし、前記のような従来技術をはじめとしてこれまで紹介された技術によると、ロボットを定められた目的地まで正確かつ効率的に移動させる方式に対してのみ関心があるだけであって、該当目的地に到達することが不可能な状態(例えば、障害物によって該当目的地に到達できない状態)ではロボットがどのような方法で移動すべきかについては具体的に取り扱われたことがない。前記のように目的地までの到達が不可能な状態では、大多数のロボットは移動および経路の探索を取り消し、そのような到達不可能状態を使用者に知らせるだけであった。しかし、レストラン、マートなどのような商業施設でロボットが移動中に止まることになると、安全事故を誘発するだけでなく美観上にもよくない問題があった。
そこで、本発明者等は、ロボットの既設定された目的地に対する到達障害情報が獲得されると、代替目的地を探索して該当ロボットがその代替目的地に移動できるように支援する新規かつ進歩した技術を提案するところである。
本発明は、前述した従来技術の問題点をすべて解決することをその目的とする。
また、本発明は、既設定された目的地に対してロボットが到達不可能な状態になっても、ロボットが作動を止めずに代替目的地を効率的に探索してその代替目的地に移動できるように支援することをさらに他の目的とする。
また、本発明は、状況に合う代替目的地を動的に設定して安定したロボットの制御が可能なように支援することをさらに他の目的とする。
また、本発明は、過度な演算の負荷なしに代替目的地を効率的に迅速に探索することをさらに他の目的とする。
前記目的を達成するための本発明の代表的な構成は次の通りである。
本発明の一態様によると、ロボットの目的地を制御するための方法であって、ロボットの既設定された第1目的地に対する到達障害情報が獲得されると、前記第1目的地を中心に隣接領域をクラスタリング(clustering)して前記到達障害情報と関連する障害領域を決定する段階、前記ロボットの大きさを参照して前記障害領域を中心に目的地候補領域を決定する段階、および前記目的地候補領域のうち、前記ロボットの位置に基づいて定められる領域を前記ロボットの第2目的地として決定する段階を含む方法が提供される。
本発明の他の態様によると、ロボットの目的地を制御するためのシステムであって、ロボットの既設定された第1目的地に対する到達障害情報が獲得されると、前記第1目的地を中心に隣接領域をクラスタリングして前記到達障害情報と関連する障害領域を決定する障害領域決定部、前記ロボットの大きさを参照して前記障害領域を中心に目的地候補領域を決定する目的地候補領域決定部、および前記目的地候補領域のうち、前記ロボットの位置に基づいて定められる領域を前記ロボットの第2目的地として決定する目的地決定部を含むシステムが提供される。
この他にも、本発明を具現するための他の方法、他のシステムおよび前記方法を実行するためのコンピュータプログラムを記録した非一過性のコンピュータ読み取り可能な記録媒体がさらに提供される。
本発明によると、既設定された目的地に対してロボットが到達不可能な状態になっても、ロボットが作動を止めずに代替目的地を効率的に探索してその代替目的地に移動させることができる。
また、本発明によると、状況に合う代替目的地を動的に設定して安定したロボットの制御が可能になる。
また、本発明によると、過度な演算の負荷なしに代替目的地を効率的に迅速に探索することができる。
本発明の一実施例によりロボットの目的地を制御するための全体システムの構成を概略的に示す図面。 本発明の一実施例に係る目的地制御システムの内部構成を例示的に示す図面。 本発明の一実施例によりロボットの目的地が制御される過程を例示的に示す図面。 本発明の一実施例によりロボットの目的地が制御される過程を例示的に示す図面。 本発明の一実施例によりロボットの目的地が制御される過程を例示的に示す図面。 本発明の一実施例によりロボットの目的地が制御される過程を例示的に示す図面。 本発明の一実施例に係るロボットの構造を例示的に示す図面。 本発明の一実施例に係るロボットの構造を例示的に示す図面。
後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施例を例示として図示する添付図面を参照する。このような実施例は、当業者が本発明を充分に実施できるように充分かつ詳細に説明される。本発明の多様な実施例は互いに異なるが互いに排他的である必要はないことが理解されるべきである。例えば、本明細書に記載されている特定の形状、構造および特性は、本発明の精神と範囲を逸脱することなく一実施例から他の実施例に変更されて具現され得る。また、それぞれの実施例内の個別の構成要素の位置または配置も本発明の精神と範囲を逸脱することなく変更され得ることが理解されるべきである。したがって、後述する詳細な説明は限定的な意味として行われるものではなく、本発明の範囲は特許請求の範囲の請求項が請求する範囲およびそれと均等なすべての範囲を包括するものと受け入れられるべきである。図面で類似する参照符号は多様な側面に亘って同一または類似する構成要素を示す。
以下では、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の多様な好ましい実施例について添付された図面を参照して詳細に説明する。
全体システムの構成
図1は、本発明の一実施例によりロボットの目的地を制御するための全体システムの構成を概略的に示す図面である。
図1に図示された通り、本発明の一実施例に係る全体システムは、通信網100、目的地制御システム200およびロボット300を含むことができる。
まず、本発明の一実施例によると、通信網100は有線通信や無線通信のような通信様態にかかわらず構成され得、近距離通信網(LAN;Local Area Network)、都市圏通信網(MAN;Metropolitan Area Network)、広域通信網(WAN;Wide Area Network)などの多様な通信網で構成され得る。好ましくは、本明細書でいう通信網100は公知のインターネットまたはワールドワイドウェブ(WWW;World Wide Web)であり得る。しかし、通信網100は、これに限定されず、公知の有無線データ通信網、公知の電話網、または公知の有無線テレビ通信網をその少なくとも一部において含んでもよい。
例えば、通信網100は無線データ通信網であって、ワイファイ(WiFi)通信、ワイファイダイレクト(WiFi-Direct)通信、ロングタームエボリューション(LTE;Long Term Evolution)通信、ブルートゥース通信(さらに具体的には、低電力ブルートゥース(BLE;Bluetooth Low Energy)通信)、赤外線通信、超音波通信などのような従来の通信方法を少なくともその一部分において具現するものであり得る。
次に、本発明の一実施例に係る目的地制御システム200は通信網100を通じて後述するロボット300と通信を遂行することができ、ロボット300の第1目的地に対する到達障害情報が獲得されると、第1目的地を中心に隣接領域をクラスタリング(clustering)して到達障害情報と関連する障害領域を決定し、ロボット300の大きさを参照して障害領域を中心に目的地候補領域を決定し、目的地候補領域のうちロボット300の位置に基づいて定められる領域をロボット300の第2目的地として決定する機能を遂行することができる。
本発明の一実施例に係る隣接領域、障害領域および目的地候補領域は、ロボットと関連する2次元または3次元マップ(例えば、ロボットが位置する場所に関する2次元または3次元マップ)で定義される少なくとも一つのセル(cell)またはピクセル(pixel)に基づいて特定されるものであり得る。ここで、セルはロボットと関連するマップ(具体的には、マップイメージ)を同じ大きさまたは互いに異なる大きさに区分および分割(例えば、格子、グリッドに区分)する場合に、その分割されたそれぞれの単位図形(例えば、円、楕円、三角形、四角形、菱形、球、正六面体、直六面体)を意味し得る。
一方、目的地制御システム200について前記のように説明したが、このような説明は例示的なものであり、目的地制御システム200に要求される機能や構成要素の少なくとも一部が必要に応じて後述するロボット300または外部システム(図示されず)内で実現され得たり、ロボット300または外部システム内に含まれ得ることは当業者に自明である。また、場合によっては、目的地制御システム200のすべての機能とすべての構成要素がロボット300内ですべて実現されたりロボット300内にすべて含まれてもよい。
次に、本発明の一実施例に係るロボット300は通信網100を通じて目的地制御システム200と通信することができ、使用者による操作がなくても所定の機能や付与された作業(例えば、飲食のサービング、容器の回収など)を自律的に遂行できる機器であって、客体(例えば、飲食トレイ)のローディングおよびアンローディングのためのモジュール(例えば、グラブ(grab)、ロボットアームモジュールなど)、周辺の映像を獲得するための映像モジュール(例えば、可視光線カメラ、赤外線カメラなど)およびロボット300の移動のための駆動モジュール(例えば、モータなど)のうち少なくとも一つのモジュールを含むことができる。例えば、このようなロボット300は案内ロボット、運搬ロボット、清掃ロボット、医療ロボット、エンターテインメントロボット、ペットロボットおよび無人飛行ロボットのうち少なくとも一つと類似する特性や機能を有するロボットであり得る。
一方、本発明の一実施例によると、ロボット300にはロボット300の目的地を制御するためのアプリケーションが含まれていてもよい。このようなアプリケーションは、目的地制御システム200または外部のアプリケーション配布サーバー(図示されず)からダウンロードされたものであり得る。
目的地制御システムの構成
以下では、本発明の具現のために重要な機能を遂行する目的地制御システム200の内部構成および各構成要素の機能について詳察する。
図2は、本発明の一実施例に係る目的地制御システム200の内部構成を例示的に示す図面である。
図2を参照すると、本発明の一実施例に係る目的地制御システム200は障害領域決定部210、目的地候補領域決定部220、目的地決定部230、通信部240および制御部250を含むことができる。本発明の一実施例によると、障害領域決定部210、目的地候補領域決定部220、目的地決定部230、通信部240および制御部250は、そのうちの少なくとも一部が外部システム(図示されず)と通信するプログラムモジュールであり得る。このようなプログラムモジュールは、運営システム、アプリケーションモジュールおよびその他のプログラムモジュールの形態で目的地制御システム200に含まれ得、物理的には多様な公知の記憶装置上に保存され得る。また、このようなプログラムモジュールは目的地制御システム200と通信可能な遠隔記憶装置に保存されてもよい。一方、このようなプログラムモジュールは本発明により後述する特定の業務を遂行したり特定の抽象データの類型を実行するルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを包括するが、これに制限されはしない。
まず、本発明の一実施例に係る障害領域決定部210はロボット300の既設定された第1目的地に対する到達障害情報が獲得されると、その第1目的地を中心に隣接領域をクラスタリング(clustering)して該当到達障害情報と関連する障害領域を決定する機能を遂行することができる。本発明の一実施例によると、障害領域決定部210はロボット300に含まれたり相互に連動され得る映像センサ、レーダーセンサ、ライダーセンサなどのようなセンサモジュールに基づいて前記のような到達障害情報を獲得したり、外部システムから到達障害情報を獲得することができる。本発明の一実施例に係る到達障害情報は、ロボット300が第1目的地まで到達することが不可能であると判断されるということを示す情報を含むことができ、例えば、第1目的地周辺に動的に配置される少なくとも一つの障害物によってロボット300が第1目的地に接近または到達することができないと判断されるということを示す情報であり得る。
例えば、障害領域決定部210は前記のようなクラスタリングを遂行するために、ロボットと関連するマップ(例えば、マップイメージ)で第1目的地を中心にフラッドフィルアルゴリズム(flood fill algorithm)を適用することによって、到達障害情報と関連する少なくとも一つの障害客体が存在する閉領域(closed area)を特定することができ、その閉領域を基準として障害領域を決定することができる。ここで、ロボットと関連するマップで少なくとも一つの障害客体が存在するかどうかを特定するために、ロボット300のセンサモジュールまたは外部システム(例えば、前述した到達障害情報を獲得する外部システム)を通じてリアルタイムにまたは所定時間ごとに獲得される周辺環境センシング情報(例えば、障害物、壁などの存在の有無に関する情報)が利用され得る。
より具体的には、障害領域決定部210はロボットと関連するマップで第1目的地が含まれるセルまたは第1目的地と隣接したセルを開始点として、到達障害情報と関連する障害客体が存在すると判断されるセル(または領域)を連続してクラスタリングすることによって、そのクラスタリングされる複数のセルを含む閉領域を特定することができ、その閉領域を基準として障害領域(例えば、該当閉領域と同一または所定の水準だけ拡張された領域)を決定することができる。また、前記のようなクラスタリングは、すべての境界において空きセル(または自由セル)が発見される前まで隣接したセルを対象に連続して進行され得る。ここで、隣接したセルはすぐに接しているセルまたは所定の水準まで離れたセルを意味し得る。
次に、本発明の一実施例に係る目的地候補領域決定部220はロボット300の大きさを参照して障害領域を中心に目的地候補領域を決定する機能を遂行することができる。
例えば、目的地候補領域決定部220はロボット300の大きさと同じであるか、ロボット300の大きさより所定の水準だけ大きい大きさを有する領域をバッファー領域として特定することができ、障害領域の境界を基準として該当バッファー領域だけ拡張された領域を目的地候補領域として決定することができる。
また、目的地候補領域決定部220は障害領域の大きさおよび形状のうち少なくとも一つを参照して、障害領域の境界からバッファー領域が拡張される程度を異なるように決定することができる。
例えば、目的地候補領域決定部220は障害領域の大きさが小さいほどバッファー領域が拡張される程度が小さくなるように決定することができる。また、目的地候補領域決定部220は障害領域の大きさが大きいほどバッファー領域が拡張される程度が大きくなるように決定することができる。また、目的地候補領域決定部220は障害領域の形状の屈曲が激しいほどバッファー領域が拡張される程度が大きくなるように決定することができる。また、目的地候補領域決定部220は障害領域の形状の屈曲が緩やかであるほどバッファー領域が拡張される程度が小さくなるように決定することができる。一方、目的地候補領域決定部220は障害領域の各境界からバッファー領域が拡張される程度を互いに異なるように決定してもよい。
次に、本発明の一実施例に係る目的地決定部230は、目的地候補領域のうちロボット300の位置に基づいて定められる領域をロボット300の第2目的地として決定する機能を遂行することができる。
例えば、目的地決定部230は目的地候補領域のうち、ロボット300の位置に対して最短距離を有するものと特定される領域を第2目的地として決定することができる。本発明に係る距離はユークリッド(Euclidean)距離、マンハッタン(Manhattan)距離、使用者定義距離関数(custom distance function)等によって特定される距離を意味し得、前記のような最短距離を算出するために、ロボット300の位置を基準として幅優先探索(breadth-first search;BFS)アルゴリズムが利用され得る。
他の例として、目的地決定部230は目的地候補領域のうち、ロボット300の位置および第1目的地を連結する仮想の直線と交差する領域を第2目的地として決定することもできる。
次に、本発明の一実施例によると、通信部240は障害領域決定部210、目的地候補領域決定部220および目的地決定部230からの/へのデータの送受信を可能とする機能を遂行することができる。
最後に、本発明の一実施例によると、制御部250は障害領域決定部210、目的地候補領域決定部220、目的地決定部230および通信部240間のデータの流れを制御する機能を遂行することができる。すなわち、本発明の一実施例に係る制御部250は、目的地制御システム200の外部からの/へのデータの流れまたは目的地制御システム200の各構成要素間のデータの流れを制御することによって、障害領域決定部210、目的地候補領域決定部220、目的地決定部230および通信部240でそれぞれ固有機能を遂行するように制御することができる。
図3~図6は、本発明の一実施例によりロボット300の目的地が制御される過程を例示的に示す図面である。
図3を参照すると、第1テーブル501の一側面にロボット300の第1目的地410が設定される場合に、ロボット300は現在位置から直線経路420に沿って第1目的地410まで移動することができる(図3の(a)参照)。しかし、ロボット300が第2テーブル502によって(例えば、第2テーブル502の移動によって)第1目的地410に到達し難い状況が発生し得(図3の(b)参照)、このような場合、本発明に係る目的地制御システム200を通じて代替目的地が再設定され得る。
まず、図4を参照すると、本発明の一実施例によりロボットの300の第1目的地410に対する到達障害情報が獲得されると、第1目的地410を中心に隣接領域をクラスタリングして到達障害情報と関連する障害領域601が決定され得る。
例えば、第1目的地410を中心として到達障害情報と関連する障害客体(すなわち、第1テーブル501および第2テーブル502)が存在すると判断される領域を連続してクラスタリングすることによって、そのクラスタリングされる複数の領域を含む閉領域が特定され得、その閉領域を基準として障害領域601が決定され得る。
その次に、図5を参照すると、本発明の一実施例によりロボット300の大きさを参照して障害領域601を中心に目的地候補領域602が決定され得る。
例えば、ロボット300の大きさと同じであるか、ロボット300の大きさより所定の水準だけ大きい大きさを有する領域がバッファー領域として特定され得、障害領域601の境界を基準としてそのバッファー領域だけ拡張された領域が目的地候補領域602として決定され得る
その次に、図6を参照すると、本発明の一実施例により目的地候補領域602のうち、ロボット300の位置に基づいて定められる領域がロボット300の第2目的地603として決定され得る。
例えば、目的地候補領域602のうち、ロボット300の位置に対して最短距離を有するものと特定される領域が第2目的地603として決定され得る。
その後、本発明の一実施例に係るロボット300は第1目的地401の代替目的地である第2目的地603に移動することができる。一方、第2目的地603まで移動する過程で第2目的地603に対する到達障害情報が獲得されると、以上の過程を繰り返してロボット300の第3目的地が決定され得、さらにその第3目的地にロボット300が移動され得る。
ロボットの構成
本発明の一実施例に係るロボット300は、案内ロボット、サービングロボット、運搬ロボット、清掃ロボット、医療ロボット、エンターテインメントロボット、ペットロボットおよび無人飛行ロボットのうち、少なくとも一つが遂行する作業と類似する作業を遂行するロボットであり得、このために各作業に符合する多様な形状で具現され得る。
図7を参照すると、ロボット300は本体710、駆動部720およびプロセッサ730を含んで構成され得る。
例えば、本発明の一実施例に係る本体710には、運送対象客体または回収対象客体を積載するための少なくとも一つの積載空間が含まれ得る。本発明の一実施例に係るこのような運送対象客体および回収対象客体は移動され得るすべての類型物を総称する概念であり、例えば、事物、動物、人などを含む概念であり得る。例えば、運送対象客体は飲食物であり、回収対象客体は該当飲食物が入っている容器であり得る。
図8を参照すると、例えばロボット300がサービングロボットである場合に、運送対象客体の提供および回収対象客体の回収のための第1空間810および第2空間820を含むことができる。また、ロボット300は着脱式の柱を通じて提供される拡張空間である第3空間830をさらに含むことができ、必要に応じて拡張空間をさらに追加することによってより多くの積載空間を具備することができる。また、ロボット300は運送対象客体または回収対象客体専用のトレイ840をさらに含んでもよい。例えば、トレイ840は上から見る時、その上面に複数個の円形溝が形成された構成を有することができる。それぞれの円形溝は飲み物が入っているカップの下部が載置されて、容易にある程度固定され得るように形成されていてもよい。このような円形溝の大きさは多様であり得る。また、ロボット300の第1空間810の下部にはロボット300の側面を通じて取り出され得る第4空間850がさらに含まれ得る。本発明の一実施例に係る第4空間850はその内部に空いた空間が形成されており、側面は閉塞しており、上面は開放しており、下面は閉塞している、籠と類似する形態を有し得る。ただし、本発明に係るロボット300の積載空間は前記列挙された内容に限定されて具現されるものではなく、本発明の目的を達成できる範囲内で異なる形態の積載空間等で多様に具現され得る。
一方、再び図7を参照すると、本体710には周辺の映像および障害物情報を獲得するための撮影モジュール(例えば、可視光線カメラ、赤外線カメラなど)(図示されず)およびスキャナモジュール(例えば、ライダ(LIDAR)センサなど)がさらに含まれ得る。
次に、本発明の一実施例に係る駆動部720は、本体710を他の地点に移動させるためのモジュールまたは運送対象客体および回収対象客体をローディングおよびアンローディングするためのモジュールを含んで構成され得る。
例えば、駆動部720は本体710を他の地点に移動させるためのモジュールとして、電気式、機械式、または油圧式で駆動される車輪、プロペラなどに関するモジュールなどを含むことができ、運送対象客体および回収対象客体をローディングおよびアンローディングするためのモジュールとして、運送対象客体および回収対象客体を装着して運ぶためのロボットアームモジュールなどを含むことができる。
次に、本発明の一実施例に係るプロセッサ730は、駆動部720と電気的に連結されて駆動部720を制御する機能を遂行することができ(外部システムとの通信のための通信モジュールをさらに含んでもよい)、例えば、プログラム内に含まれたコードまたは命令で表現された機能を遂行するために物理的に構造化された回路を有する、ハードウェアに内蔵されたデータ処理装置を意味し得る。例えば、このようにハードウェアに内蔵されたデータ処理装置は、マイクロ・プロセッサ(microprocessor)、中央処理装置(central processing unit)、プロセッサコア(processor core)、マルチプロセッサ(multiprocessor)、ASIC(application-specific integrated circuit)、FPGA(field programmable gate array)等の処理装置を含むことができる。
また、プロセッサ730は本発明に係る目的地制御システム200の障害領域決定部210、目的地候補領域決定部220および目的地決定部230のうち少なくとも一つの機能を遂行することができ(例えば、該当機能がモジュール化されてプロセッサ730に含まれ得る)、障害領域決定部210、目的地候補領域決定部220および目的地決定部230のうち少なくとも一つの機能を遂行する外部システム(図示されず)との通信を通じて駆動部720を制御する機能を遂行することもできる。
具体的には、プロセッサ730はロボット300の第1目的地に対する到達障害情報が獲得されると、第1目的地を中心に隣接領域をクラスタリングして到達障害情報と関連する障害領域を決定し、ロボット300の大きさを参照して障害領域を中心に目的地候補領域を決定し、目的地候補領域のうちロボット300の位置に基づいて定められる領域をロボット300の第2目的地として決定する機能を遂行することができる。
以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて実行され得るプログラム命令語の形態で具現されてコンピュータ読み取り可能な記録媒体に記録され得る。前記コンピュータ読み取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知になっていて使用可能なものであり得る。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスクおよび磁気テープのような磁気媒体、CD-ROMおよびDVDのような光記録媒体、フロプティカルディスク(floptical disk)のような磁気-光媒体(magneto-optical medium)、およびROM、RAM、フラッシュメモリなどのような、プログラム命令語を保存し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを使ってコンピュータによって実行され得る高級言語コードも含まれる。ハードウェア装置は本発明に係る処理を遂行するために、一つ以上のソフトウェアモジュールに変更され得、その逆も同じである。
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例および図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明は前記実施例に限定されるものではなく、本発明が属する技術分野で通常の知識を有する者であればこのような記載から多様な修正と変更を図ることができる。
したがって、本発明の思想は前記説明された実施例に限定されて定められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等なまたはこれから等価的に変更されたすべての範囲は本発明の思想の範疇に属するものと言える。
100:通信網
200:目的地制御システム
210:障害領域決定部
220:目的地候補領域決定部
230:目的地決定部
240:通信部
250:制御部
300:ロボット

Claims (9)

  1. ロボットの目的地を制御するための方法であって、
    ロボットの既設定された第1目的地に対する到達障害情報が獲得されると、前記第1目的地を中心に隣接領域を前記到達障害情報と関連する少なくとも1つのテーブルが存在する閉領域を特定するクラスタリング(clustering)して前記到達障害情報と関連する障害領域を決定する段階、
    前記ロボットの大きさを参照して前記障害領域を中心に目的地候補領域を決定する段階、および
    前記目的地候補領域のうち、前記ロボットの位置に基づいて定められる領域を前記ロボットの第2目的地として決定する段階を含み、
    前記到達障害情報は、前記ロボットが前記第1目的地まで到達することが不可能であると判断されるということを示す情報であって、
    前記障害領域を決定する段階では、前記ロボットと関連するマップの前記第1目的地が含まれる領域または前記第1目的地と隣接した領域を前記クラスタリングの開始点として、前記到達障害情報と関連する前記テーブルが存在すると判断される領域を連続して前記クラスタリングすることによって、前記クラスタリングされる複数の領域を含む閉領域を特定し、その閉領域を基準として前記障害領域を決定し
    前記障害領域を決定する段階では、前記第1目的地周囲の前記隣接した領域を、前記マップにおいてフラッドフィルアルゴリズム(flood fill algorithm)を適用することによりクラスタリングし
    前記クラスタリングは、前記閉領域のすべての境界において前記テーブルが存在しない領域が発見される前まで隣接した領域を対象に連続して進行され、
    前記目的地候補領域を決定する段階では、前記ロボットの大きさと同じであるか、前記ロボットの大きさより所定の水準だけ大きい大きさを有する領域をバッファー領域として特定し、前記障害領域の境界を基準として前記バッファー領域だけ拡張された領域を前記目的地候補領域として決定することを特徴とする、方法。
  2. 前記隣接領域、前記障害領域および前記目的地候補領域は、前記ロボットと関連する2次元または3次元マップで定義される少なくとも1つのセルに基づいて特定される、請求項1に記載の方法。
  3. 前記第2目的地の決定段階で、前記目的地候補領域のうち、前記ロボットの位置に対して最短距離を有するものと特定される領域を第2目的地として決定する、請求項1に記載の方法。
  4. 前記第2目的地の決定段階で、前記目的地候補領域のうち、前記ロボットの位置および前記第1目的地を連結する仮想の直線と交差する領域を第2目的地として決定する、請求項1に記載の方法。
  5. 請求項1に記載された方法を実行するためのコンピュータプログラムを記録した、非一過性のコンピュータ読み取り可能記録媒体。
  6. ロボットの目的地を制御するためのシステムであって、
    ロボットの既設定された第1目的地に対する到達障害情報が獲得されると、前記第1目的地を中心に隣接領域を前記到達障害情報と関連する少なくとも1つのテーブルが存在する領域を特定するクラスタリングして前記到達障害情報と関連する障害領域を決定する障害領域決定部、
    前記ロボットの大きさを参照して前記障害領域を中心に目的地候補領域を決定する目的地候補領域決定部、および
    前記目的地候補領域のうち、前記ロボットの位置に基づいて定められる領域を前記ロボットの第2目的地として決定する目的地決定部を含み、
    前記到達障害情報は、前記ロボットが前記第1目的地まで到達することが不可能であると判断されるということを示す情報であって、
    前記障害領域決定部は、前記ロボットと関連するマップの前記第1目的地が含まれる領域または前記第1目的地と隣接した領域を前記クラスタリングの開始点として、前記到達障害情報と関連する前記テーブルが存在すると判断される領域を連続して前記クラスタリングすることによって、前記クラスタリングされる複数の領域を含む閉領域を特定し、その閉領域を基準として前記障害領域を決定し、
    前記障害領域決定部は、前記マップにおいてフラッドフィルアルゴリズムを適用することにより、前記第1目的地周辺の前記隣接した領域をクラスタリングし、
    前記クラスタリングは、前記閉領域のすべての境界において前記テーブルが存在しない領域が発見される前まで隣接した領域を対象に連続して進行され、
    前記目的地候補領域決定部は、前記ロボットの大きさと同じであるか、前記ロボットの大きさより所定の水準だけ大きい大きさを有する領域をバッファー領域として特定し、前記障害領域の境界を基準として前記バッファー領域だけ拡張された領域を前記目的地候補領域として決定することを特徴とする、システム。
  7. 前記隣接領域、前記障害領域および前記目的地候補領域は、前記ロボットと関連する2次元または3次元マップで定義される少なくとも1つのセルに基づいて特定される、請求項6に記載のシステム。
  8. 前記目的地決定部は、前記目的地候補領域のうち、前記ロボットの位置に対して最短距離を有するものと特定される領域を第2目的地として決定する、請求項6に記載のシステム。
  9. 前記目的地決定部は、前記目的地候補領域のうち、前記ロボットの位置および前記第1目的地を連結する仮想の直線と交差する領域を第2目的地として決定する、請求項6に記載のシステム。
JP2020204177A 2020-11-06 2020-12-09 ロボットの目的地を制御するための方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体 Active JP7330162B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/091,574 2020-11-06
US17/091,574 US11597089B2 (en) 2020-11-06 2020-11-06 Method, system, and non-transitory computer-readable recording medium for controlling a destination of a robot

Publications (2)

Publication Number Publication Date
JP2022075442A JP2022075442A (ja) 2022-05-18
JP7330162B2 true JP7330162B2 (ja) 2023-08-21

Family

ID=78725220

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020204177A Active JP7330162B2 (ja) 2020-11-06 2020-12-09 ロボットの目的地を制御するための方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体

Country Status (4)

Country Link
US (1) US11597089B2 (ja)
EP (1) EP3995923B1 (ja)
JP (1) JP7330162B2 (ja)
KR (1) KR102521970B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7426909B2 (ja) 2020-06-23 2024-02-02 株式会社ジャノメ ねじ供給装置及びねじ締めロボット

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024111680A1 (ko) * 2022-11-21 2024-05-30 엘지전자 주식회사 로봇, 로봇의 제어 시스템 및 로봇의 제어 방법
WO2024162151A1 (ja) * 2023-01-31 2024-08-08 株式会社Preferred Robotics 自律走行車および端末

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018124676A (ja) 2017-01-30 2018-08-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 管理装置、配送支援方法及びプログラム
WO2020167613A1 (en) 2019-02-11 2020-08-20 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
JP2020149665A (ja) 2019-03-12 2020-09-17 ベアー ロボティックス コリア,インコーポレイテッド 食べ物および/または飲み物のサービングのためのロボット

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002288637A (ja) * 2001-03-23 2002-10-04 Honda Motor Co Ltd 環境情報作成方法
KR200256086Y1 (ko) 2001-08-29 2001-12-13 주식회사 하나엘 영상을 이용한 출입 이동 물체 계수 장치
US7474945B2 (en) * 2004-12-14 2009-01-06 Honda Motor Company, Ltd. Route generating system for an autonomous mobile robot
KR101553654B1 (ko) * 2009-02-13 2015-10-01 삼성전자 주식회사 이동 로봇 및 이동 로봇의 이동 방법
JP5560978B2 (ja) 2010-07-13 2014-07-30 村田機械株式会社 自律移動体
JP6014484B2 (ja) * 2012-12-21 2016-10-25 セコム株式会社 自律移動ロボット
JP5897517B2 (ja) 2013-08-21 2016-03-30 シャープ株式会社 自律移動体
KR20160150380A (ko) 2015-06-22 2016-12-30 (주)새로운교육 적외선을 이용한 목적지 유도 시스템, 로봇 주행용 패드 및 그를 이용한 로봇 이동 제어 방법
DE102015119501A1 (de) 2015-11-11 2017-05-11 RobArt GmbH Unterteilung von Karten für die Roboternavigation
US10365656B2 (en) * 2017-11-22 2019-07-30 Locus Robotics Corp. Robot charger docking localization
KR102090590B1 (ko) * 2018-06-08 2020-04-23 엘지전자 주식회사 장애물 회피에 기반하여 경유 지점을 주행하는 로봇 및 주행하는 방법
CN114503043A (zh) * 2019-08-06 2022-05-13 波士顿动力公司 受限移动性建图
WO2021040104A1 (ko) * 2019-08-30 2021-03-04 엘지전자 주식회사 로봇
US11858741B2 (en) * 2020-10-19 2024-01-02 Gideon Brothers d.o.o. Safety mode toggling by autonomous robots in a facility context

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018124676A (ja) 2017-01-30 2018-08-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 管理装置、配送支援方法及びプログラム
WO2020167613A1 (en) 2019-02-11 2020-08-20 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
JP2020149665A (ja) 2019-03-12 2020-09-17 ベアー ロボティックス コリア,インコーポレイテッド 食べ物および/または飲み物のサービングのためのロボット

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7426909B2 (ja) 2020-06-23 2024-02-02 株式会社ジャノメ ねじ供給装置及びねじ締めロボット

Also Published As

Publication number Publication date
KR20220061781A (ko) 2022-05-13
EP3995923A1 (en) 2022-05-11
US20220143832A1 (en) 2022-05-12
US11597089B2 (en) 2023-03-07
KR102521970B1 (ko) 2023-04-13
CN114527743A (zh) 2022-05-24
JP2022075442A (ja) 2022-05-18
EP3995923B1 (en) 2024-07-10

Similar Documents

Publication Publication Date Title
JP7330162B2 (ja) ロボットの目的地を制御するための方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体
US10705528B2 (en) Autonomous visual navigation
US11219852B2 (en) Apparatus and method of harvesting airborne moisture
JP7242667B2 (ja) ロボットの移動経路を決定する方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体
KR102703506B1 (ko) 로봇을 제어하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN114756020A (zh) 生成机器人用地图的方法、系统及计算机可读记录介质
US11911906B2 (en) Method, system, and non-transitory computer-readable recording medium for controlling a patrolling robot
CN114527743B (zh) 用于控制机器人的目的地的方法、系统及记录介质
US20220410392A1 (en) Method, system, and non-transitory computer-readable recording medium for controlling a robot
WO2024215574A1 (en) Method and system for controlling a robot
US11983785B2 (en) Method, system, and non-transitory computer-readable recording medium for controlling a serving robot
US11759949B2 (en) Method, system, and non-transitory computer-readable recording medium for controlling a robot
WO2024215573A2 (en) Method and system for controlling a robot
WO2024172885A1 (en) Method, system, and non-transitory computer-readable recording medium for controlling a serving robot

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20201225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20201225

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220809

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221206

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230718

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230808

R150 Certificate of patent or registration of utility model

Ref document number: 7330162

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150