JP7386772B2 - 自走式移動機器、その制御方法、画像生成装置、および段差走行システム - Google Patents

自走式移動機器、その制御方法、画像生成装置、および段差走行システム Download PDF

Info

Publication number
JP7386772B2
JP7386772B2 JP2020144950A JP2020144950A JP7386772B2 JP 7386772 B2 JP7386772 B2 JP 7386772B2 JP 2020144950 A JP2020144950 A JP 2020144950A JP 2020144950 A JP2020144950 A JP 2020144950A JP 7386772 B2 JP7386772 B2 JP 7386772B2
Authority
JP
Japan
Prior art keywords
self
mobile device
propelled mobile
section
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020144950A
Other languages
English (en)
Other versions
JP2022039769A (ja
Inventor
敏弘 妹尾
裕二 大西
正士 松本
Original Assignee
ソフトバンクロボティクス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソフトバンクロボティクス株式会社 filed Critical ソフトバンクロボティクス株式会社
Priority to JP2020144950A priority Critical patent/JP7386772B2/ja
Publication of JP2022039769A publication Critical patent/JP2022039769A/ja
Application granted granted Critical
Publication of JP7386772B2 publication Critical patent/JP7386772B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Electric Vacuum Cleaner (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明は、床面を走行する自走式移動機器などに関する。
特許文献1には、本体の底面左端部に2つの段差検知センサを左右に並べて備える自走式掃除機が開示されている。当該自走式掃除機は、段差を検知した場合には、左内側段差検知センサで床面を検出し、左外側段差検知センサで段差を検出しながら本体を走行させることにより、本体が段差に落下しないように、段差の手前側の床面に沿って本体を走行させる。
特開2006-87507号公報
自走式掃除機が走行する場所には、例えばエレベータの乗場と乗りかごとの間の溝など、実際には走行可能な段差が存在する場合がある。しかしながら、特許文献1に開示されている自走式掃除機は、このような段差を乗り越えて走行することはできない。
本発明の一態様は、乗り越え可能な段差を回避せずに走行する自走式移動機器などを実現することを目的とする。
上記の課題を解決するために、本発明の一態様に係る自走式移動機器は、床面を走行する自走式移動機器であって、前記床面の段差を検知する段差検知部と、前記自走式移動機器の周囲の画像を撮影する撮影部と、前記撮影した画像に所定画像が含まれるか否かを判定する判定部と、前記判定の結果に応じて特定される段差乗越区間内を走行中は前記段差を乗り越えるように前記自走式移動機器の走行を制御する走行制御部と、を備える。
また、本発明の一態様に係る自走式移動機器の制御方法は、床面を走行する自走式移動機器の制御方法であって、前記床面の段差を検知する段差検知ステップと、前記自走式移動機器の周囲の画像を撮影する撮影ステップと、前記撮影した画像に所定画像が含まれるか否かを判定する判定ステップと、前記判定の結果に応じて特定される段差乗越区間内を走行中は前記段差を乗り越えるように前記自走式移動機器の走行を制御する走行制御ステップと、を含む。
本発明の一態様に係る自走式移動機器およびその制御方法によれば、乗り越え可能な段差を回避せずに走行する自走式移動機器などを実現できる。
実施形態1に係る自走式移動機器の外観を示す模式図である。 実施形態1に係る自走式移動機器の要部の構成を示すブロック図である。 実施形態1に係る自走式移動機器の走行領域およびマーカー配設箇所の一例を示す図である。 マーカー配設箇所の、別の例を示す図である。 マーカー配設箇所の、別の例を示す図である。 マーカー配設箇所の、別の例を示す図である。 実施形態1に係る自走式移動機器における処理の流れの一例を示すフローチャートである。 実施形態1に係る自走式移動機器の走行領域およびマーカー配設箇所の適用例を示す図である。 実施形態1に係る自走式移動機器の走行領域およびマーカー配設箇所の適用例を示す図である。 マーカー配設箇所の詳細例を示す図である。 実施形態1に係る自走式移動機器がエレベータに乗って階床を移動する処理の流れの一例を示すフローチャートである。 実施形態2に係る自走式移動機器の要部の構成を示すブロック図である。 実施形態2に係る自走式移動機器における処理の流れの一例を示すフローチャートである。
〔実施形態1〕
以下、本発明の一実施形態について、詳細に説明する。
(自走式移動機器1の構成)
本実施形態に係る自走式移動機器1について説明する。自走式移動機器1の典型例は、床面を掃除するロボット掃除機であるが、これに限定されるものではない。自走式移動機器1の走行場所は、自走式移動機器1が乗り越え可能な段差が存在する床面である。段差の典型例は、エレベータの乗り場とエレベータの乗りかごとの間の隙間である。
図1は、自走式移動機器1の外観を示す模式図である。図1においては、自走式移動機器1の側面図が符号1001で、底面図が符号1002でそれぞれ示されている。図1に示すように、自走式移動機器1は、カメラ10、距離センサ20、クリフセンサ30、制御部40、通信部50、車輪60、および補助輪65を備える。その他に、自走式移動機器1がロボット掃除機である場合、自走式移動機器1は清掃機能を備える。また、自走式移動機器1は、自機の位置を特定するためにGPS(Global Positioning System)、SLAM(Simultaneous Localization And Mapping)、またはオドメトリ(車輪60に設けられたエンコーダ)などの位置特定機能を備えることが好ましい。
制御部40は、自走式移動機器1の動作を制御する。制御部40の具体的な構成については後述する。
通信部50は、自走式移動機器1と外部装置(不図示)との間で情報の送受信を行うための通信モジュールである。通信部50は、例えば自走式移動機器1がエレベータに乗って階床を移動しようとする場合に、エレベータを呼び出す等の制御を行うために当該エレベータとの通信に用いられる。
カメラ10は、自走式移動機器1の周囲の画像を撮影する撮影装置である。カメラ10は、好ましくは、自走式移動機器1の前進方向を撮影する。カメラ10は、例えば画素として複数のCCD(Charge Coupled Device)を備える。カメラ10の主な撮影対象物は、自走式移動機器1が走行する領域に設けられるマーカーMである。マーカーMが画角に収まり易くするために、カメラ10としては、画角が広いものを用いることが好ましく、例えば水平方向の画角が150°以上のものを用いることができる。
マーカーMは、自走式移動機器1が乗り越え可能な段差が存在することを示す標識としての画像である。マーカーMは、カメラ10にて撮影可能な箇所に設けられる。また、マーカーMは、自走式移動機器1が乗り越え可能な段差の近辺に設けられることが好ましい。また、マーカーMは、所定の図柄が描かれた画像であってもよいが、好ましくは、バーコード等の一次元コードまたはQRコード(登録商標)等の二次元コードである。マーカーMがこれらのコードである場合、マーカーMには、自走式移動機器1が乗り越え可能な段差が存在する区間(以下、「段差乗越区間」と表記する)を示す情報が、読み取り可能に埋め込まれていることが好ましい。段差乗越区間は、段差が存在する位置(緯度・経度等により表される絶対位置、または、マーカーMに対する相対位置)、段差のサイズなどに応じて定められればよい。なお、段差とマーカーMとは1対1の関係である必要はない。つまり、1つの段差に対して複数のマーカーMが対応づけられていてもよいし、複数の段差に対して1つのマーカーMが対応づけられていてもよい。
距離センサ20は、自走式移動機器1の前進方向に存在する物体までの距離を測定するセンサである。距離センサ20は、例えば赤外線を照射する発光部と、自走式移動機器1の前進方向に存在する物体で反射された赤外線を受光する受光部とを備えるものである。距離センサ20は、例えばLIDAR(Laser Image Detection And Ranging)に代表されるような、前進方向を中心とする180°の範囲の物体までの距離を測定するものであるが、これに限らない。
車輪60は、制御部40により制御されて駆動する駆動輪である。図1に示した例では、自走式移動機器1は2つの車輪60を備える。補助輪65は、自走式移動機器1の走行を安定させるための補助的な接地部位である。図1に示した例では、自走式移動機器1は1つの補助輪65を備える。ただし、自走式移動機器1が備える車輪60および補助輪65の数はこれに限られない。
クリフセンサ30は、自走式移動機器1の底部に配され、自走式移動機器1が走行する床面の段差を、赤外線、レーザー、または超音波などを用いて検知するセンサである。クリフセンサ30は、例えば距離センサ20と同様の構成を有するものである。クリフセンサ30は、車輪60の前進方向側に配される。また、自走式移動機器1は、さらに多くのクリフセンサ30を備えていてもよい。また、クリフセンサ30は、自走式移動機器1の側面から突出する突出部の下面側に設けられてもよい。
なお、図2以降では、図1で説明した各部の図示を省略することがある。
図2は、自走式移動機器1の要部の構成を示すブロック図である。図2には、後述する画像生成装置2の要部の構成を示すブロック図についても併記している。
図2に示すように、自走式移動機器1は、図1を用いて説明した部材に加えて、記憶部70を備える。記憶部70は、制御部40による自走式移動機器1の制御に必要な情報を記憶する記憶媒体である。なお、記憶部70は、必ずしも自走式移動機器1が備える必要はなく、通信部50を介して接続可能な外部の記憶装置として存在してもよい。
自走式移動機器1の制御部40は、撮影部41、判定部42、特定部43、走行制御部44、および段差検知部45を備える。
撮影部41は、自走式移動機器1の周囲の画像(特に、前進方向の画像)をカメラ10により撮影する。撮影される画像は、静止画像であってもよいし、動画像であってもよい。撮影部41は、撮影した画像を判定部42に出力する。
判定部42は、撮影部41が撮影した画像にマーカーMの画像(所定画像)が含まれるか否かを判定する。判定基準となるマーカーMの画像は、予め記憶部70に格納されているものとする。判定部42は、判定結果を特定部43に出力する。
特定部43は、判定部42の判定結果に応じて段差乗越区間を特定する。具体的には、特定部43は、撮影部41が撮影した画像にマーカーMの画像が含まれると判定部42が判定した場合に、段差乗越区間を特定する。特定部43は、撮影部41が撮影した画像にマーカーMの画像が含まれないと判定部42が判定した場合は、段差乗越区間を特定しない。段差乗越区間の特定方法については後述する。特定部43は、特定した段差乗越区間を走行制御部44へ出力する。
段差検知部45は、クリフセンサ30により床面の段差を検知する。段差検知部45は、段差の検知結果を走行制御部44へ出力する。上述したとおり、クリフセンサ30は、車輪60の前進方向側に配されるため、車輪60が段差に到達する前に当該段差を検知できる。
走行制御部44は、自走式移動機器1の走行を制御する。具体的には、走行制御部44は、車輪60の回転および方向を制御する。走行制御部44は、通常時は、段差検知部45が検知した段差を回避するように自走式移動機器1の走行を制御する。
ただし、走行制御部44は、段差乗越区間内を走行中は段差を乗り越えるように自走式移動機器1の走行を制御する。したがって、自走式移動機器1は、段差乗越区間において乗り越え可能な段差を回避せずに乗り越えて走行することができる。
本実施形態では、走行制御部44は、特定部43が特定した段差乗越区間における段差検知部45の検知結果を無視し、自走式移動機器1の走行を制御する。すなわち、本実施形態では、特定部43が特定する段差乗越区間は、段差検知部45による検知結果を走行制御部44が無視する区間である。このため、自走式移動機器1は、段差乗越区間においては、段差検知部45が検知した段差を乗り越えて走行する。無論、段差乗越区間から外れたら、走行制御部44は、通常どおり、段差検知部45が検知した段差を回避するように自走式移動機器1の走行を制御する。言い換えれば、自走式移動機器1が乗越え可能な段差であっても、(i)段差検知部45がクリフセンサ30によりその段差を検知し、かつ、(ii)撮影部41が撮影した画像にマーカーMの画像が含まれていないと判定部42が判定した場合には、走行制御部44は、当該段差を回避するように自走式移動機器1の走行を制御する。
画像生成装置2は、マーカーMを生成する装置である。画像生成装置2は、入力部80と、生成部90とを備える。入力部80は、段差乗越区間を示す情報の入力を受け付ける。入力部80は、例えばキーボードまたはタッチパネルである。生成部90は、入力部80が入力を受け付けた情報が読み取り可能に埋め込まれたマーカーMを生成する。したがって、画像生成装置2は、段差乗越区間を示す情報が読み取り可能に埋め込まれたマーカーMを生成できる。なお、画像生成装置2は、図示しない出力部を介してマーカーMを出力する。出力部は、例えば印刷装置である。
自走式移動機器1と画像生成装置2とを含む段差走行システム100によれば、画像生成装置2により生成したマーカーMを、自走式移動機器1が乗り越え可能な段差の近辺に配設することで、自走式移動機器1が段差を乗り越えて走行することができる。
(自走式移動機器1の走行領域、およびマーカー配設箇所)
図3は、自走式移動機器1の走行領域、およびマーカー配設箇所の一例を示す図である。自走式移動機器1が走行中の領域を「領域R1」(走行中領域)と表記する。領域R1の前進方向に存在し、自走式移動機器1が進入する予定の領域を「領域R2」(進入予定領域)と表記する。領域R1と領域R2との間の床面には段差Cが存在する。図3の例では、領域R2内であって領域R2の入口付近にはマーカーMが設けられている。この状況において、通常の段差回避機能を有する従来の自走式移動機器は、段差Cを回避するように走行するため、領域R1から段差Cを乗り越えて領域R2へ進入することはできない。
一方、自走式移動機器1では、撮影部41により前進方向(つまり、領域R2の方向)を撮影しているため、マーカーMが撮影される。そして、撮影部41が撮影した画像にマーカーMの画像が含まれると判定部42により判定された場合、特定部43が段差乗越区間を特定する。
特定部43による段差乗越区間の特定方法は、例えば、次の(1)~(3)が挙げられる。(1)判定部42にてマーカーMの画像が含まれると判定された地点から領域R2への進入が完了する地点までの区間を段差乗越区間として特定する。(2)マーカーMから読み取られる情報に基づき段差乗越区間を特定する。(3)判定部42にてマーカーMの画像が含まれると判定された地点を始点として予め定められた規定範囲内(例えば、数メートル)を段差乗越区間として特定する。なお、これら(1)~(3)を行うにあたり、自走式移動機器1の位置が必要となる場合は、上述したGPS、SLAM、またはオドメトリなどの位置特定機能を用いればよい。
そして、走行制御部44は、特定部43が特定した段差乗越区間内を走行する間は、段差検知部45の検知結果を無視する。したがって、自走式移動機器1は、領域R1から段差Cを乗り越えて領域R2へ進入できる。
図3では、マーカーMを領域R2内であって領域R2の入口付近に設ける例を示したが、マーカーMの配設箇所はこれに限定されるものではない。図4~図6は、マーカーMの配設箇所の、別の例を示す図である。図4は、領域R2内であって入口より奥まった箇所にマーカーMを設ける例を示している。図5は、領域R1内であって領域R1の出口付近にマーカーMを設ける例を示している。図6は、領域R1から領域R2へ至る通路R3にマーカーMを設ける例を示している。図3~図6のいずれのケースにおいても、マーカーMの配設箇所は、自走式移動機器1が段差Cに到達する以前に撮影部41にてマーカーMが撮影できる箇所である。
以上のように、領域R1と領域R2との間に段差Cが存在する場合において自走式移動機器1が領域R1から領域R2へ進入するにあたり、マーカーMは、領域R2内、領域R2の入口、領域R1の出口、および、領域R1から領域R2へ至る通路R3、の少なくともいずれかに設けられればよい。これらの場所にマーカーMを設けることで、領域R1から領域R2へ向けて自走式移動機器1が走行中に撮影部41が撮影する画像にマーカーMの画像が含まれる。これにより、自走式移動機器1は、段差Cを乗り越えて領域R2へ進入することが可能となる。
図7は、自走式移動機器1における処理の流れの一例を示すフローチャートである。図7を参照して、自走式移動機器1における処理の流れについて説明する。図7において自走式移動機器1は走行を開始済みであるものとする。まず、撮影部41は、カメラ10により自走式移動機器1の周囲の画像(特に、前進方向の画像)を撮影する(SA1、撮影ステップ)。次に、判定部42は、撮影部41が撮影した画像にマーカーMの画像が含まれるか否かを判定する(SA2、判定ステップ)。マーカーMの画像が含まれる場合(SA2でYES)、特定部43は、段差乗越区間を特定する(SA3、特定ステップ)。マーカーMの画像が含まれない場合(SA2でNO)、特定部43は、段差乗越区間を特定しない。制御部40は、ステップSA1~SA3の処理を繰り返し実行する。
一方、段差検知部45は、クリフセンサ30により段差検知を実行する(SB1、段差検知ステップ)。そして、段差を検知した場合(SB2でYES)、走行制御部44は、自走式移動機器1が段差乗越区間内を走行中であるか判定する(SB3)。段差乗越区間内を走行中である場合(SB3でYES)、走行制御部44は、段差検知部45が検知した段差を無視し(SB4)、自走式移動機器1の走行を制御する(SB6、走行制御ステップ)。一方、段差乗越区間内を走行中でない場合(SB3でNO)、走行制御部44は、段差検知部45が検知した段差を回避し(SB5)、自走式移動機器1の走行を制御する(SB6)。なお、段差検知部45が段差を検知しなかった場合(SB2でNO)、走行制御部44は、通常どおりの走行制御を行う(SB6)。制御部40は、ステップSB1~SB6の処理を繰り返し実行する。
制御部40は、ステップSA1~SA3の処理と、ステップSB1~SB6の処理とを、並列に実行する。
(自走式移動機器1の走行領域およびマーカー配設箇所の適用例)
図8および図9は、自走式移動機器1の走行領域およびマーカー配設箇所の適用例を示す図である。図10は、マーカー配設箇所の詳細例を示す図である。
図8に示す例では、自走式移動機器1がエレベータの乗場230からエレベータの乗りかご210へ乗り込もうとする様子を示している。この場合において、領域R1は、エレベータの乗場230を含む領域であり、領域R2は、エレベータの乗りかご210内の領域である。図9に示す例では、自走式移動機器1が乗りかご210から乗場230へ降りようとする様子を示している。この場合において、領域R1は、エレベータの乗りかご210内の領域であり、領域R2は、エレベータの乗場230を含む領域である。
乗場230と乗りかご210との間には段差Cが存在する。段差Cは、(i)乗りかご210の出入口を開閉する扉240が移動する隙間、および(ii)乗りかご210と乗場230との間の隙間を総称したものである。また、扉240は、乗場230側に設けられた扉、および乗りかご210側に設けられた扉を総称したものである。乗りかご210内における乗りかご210の出入口付近にマーカーM1が配設されている。また、乗場230内における乗場230の出入口付近に位置する壁面220にマーカーM2が配設されている。マーカーM1およびマーカーM2は、いずれも、乗場230と乗りかご210との間の段差Cの存在を示すものであり、これに基づき自走式移動機器1が段差乗越区間を特定可能であるものとする。なお、マーカーM1およびマーカーM2の配設箇所の詳細例は、図10に示すとおりである。図10は、扉240が開状態のときに乗場230側から乗りかご210を左下方向に見た図である。図10に示すように、マーカーM1およびマーカーM2は近接して配設されていることが好ましい。これにより両者を同時に撮影し易くなる。
図8~図10で示す例において、撮影部41が撮影した画像にマーカーM1およびマーカーM2の少なくとも一方が含まれることを判定部42が判定すると、特定部43は段差Cを含む段差乗越区間を特定し、走行制御部44は当該段差乗越区間において段差検知部45の検知結果を無視する。したがって、自走式移動機器1は、段差Cを乗り越えて乗場230と乗りかご210との間を乗降できる。
2つのマーカー(マーカーM1およびマーカーM2)を配設している理由は、扉240が存在することを考慮しているためである。自走式移動機器1が乗場230に存在する場合において、扉240が閉状態のときはマーカーM2のみが撮影可能であり、扉240が開状態のときはマーカーM1も撮影可能となる。よって、自走式移動機器1が乗場230に存在する場合において撮影部41が撮影した画像にマーカーM1が含まれることを契機として、走行制御部44は、乗りかご210へ乗り込むように走行を制御してもよい。一方、自走式移動機器1が乗りかご210に存在する場合において、扉240が閉状態のときはマーカーM1のみが撮影可能であり、扉240が開状態のときはマーカーM2も撮影可能となる。よって、自走式移動機器1が乗りかご210に存在するときにおいて撮影部41が撮影した画像にマーカーM2が含まれることを契機として、走行制御部44は、乗りかご210から降りるように走行を制御してもよい。
なお、マーカーM2は、その場が乗場230であることを示す標識としての役割を担ってもよい。この場合、撮影部41が撮影した画像にマーカーM2が含まれると、自走式移動機器1は、乗場230に到着したか、または、間もなく乗場230に到着するものと判断し、通信部50を介してエレベータを呼び出す機能を有していてもよい。もちろん、自走式移動機器1は、マーカーM2に頼らずに、位置特定機能を用いて自機が乗場230に位置することを特定してもよい。
また、マーカーM1およびM2の配設箇所は、図8~10で示した例に限られない。例えばマーカーM1を、乗りかご210内の、扉240と対向する壁面に設けてもよい。この場合において、マーカーM1が乗りかご210内の利用者の背後に隠れて乗場230側から見えないことがある。つまり、扉240が開状態であっても撮影部41が撮影する画像にマーカーM1が含まれない場合がある。この場合、自走式移動機器1は、乗りかご210内に乗り込まない。これにより、自走式移動機器1の無理な乗り込みを避けることができ、エレベータの利用者の利便性を向上させることができる。
図11は、自走式移動機器1がエレベータに乗って階床を移動する処理の流れの一例を示すフローチャートである。参考のために、図11には、エレベータの動作についても併記している。図11において自走式移動機器1は走行を開始済みであるものとする。
まず、撮影部41がカメラ10により自走式移動機器1の周囲の画像(特に、前進方向の画像)を撮影する(SC1)。次に、判定部42は、撮影部41が撮影した画像にマーカーM2が含まれるか否かを判定する(SC2)。マーカーM2が含まれない場合(SC2でNO)、制御部40はステップSC1の処理を再度実行する。マーカーM2が含まれる場合(SC2でYES)、制御部40は、エレベータを呼び出すための呼び出し信号を、通信部50を介してエレベータへ送信する(SC3)。
エレベータは、呼び出し信号を自走式移動機器1から受信すると(SD1)、呼び出し階へ乗りかご210を移動させる(SD2)。乗りかご210が呼び出し階へ到着した後、エレベータは、扉240を開く(SD3)。
一方、自走式移動機器1では、ステップSC3の後、撮影部41が、扉240の方向の画像を撮影する(SC4)。判定部42は、撮影部41が撮影した画像にマーカーM1が含まれるか否かを判定する(SC5)。このとき、乗りかご210が呼び出し階に到着して扉240が開くまでは、撮影部41が撮影した画像にはマーカーM1は含まれないため(SC5でNO)、制御部40はステップSC4の処理を再度実行する。
乗りかご210が呼び出し階に到着して扉240が開くと、撮影部41が撮影した画像にマーカーM1が含まれるようになる(SC5でYES)。そうすると、マーカーM1およびマーカーM2の少なくともいずれかにより特定部43が特定した段差乗越区間内において、走行制御部44は、段差検知部45が検知する段差Cを無視し、自走式移動機器1を乗場230から乗りかご210内へ移動させたうえで、自走式移動機器1の向きを反転させて扉240の方向を向く(SC6)。乗り込み完了の条件は、例えば、自走式移動機器1と乗りかご210の奥側の壁面との距離が所定値(例えば10cm)以下になること、乗場230から乗りかご210への移動距離が所定長(例えば、乗りかご210の奥行+自走式移動機器1の全長)に達したこと、撮影部41が撮影した画像にマーカーM2が含まれなくなってから所定時間が経過したこと、等である。
エレベータは、自走式移動機器1の乗り込み完了を検出すると、扉240を閉じる(SD4)。例えば、自走式移動機器1がステップSC6の完了を示す信号をエレベータに送信する。そして、エレベータは、当該信号を受信することを契機としてステップSD4を実行する。その後、エレベータは、乗りかご210を目的階へ移動させ(SD5)、目的階に到着後、扉240を開く(SD6)。
ステップSC6の後、撮影部41は、エレベータの扉240の方向の画像を撮影する(SC7)。判定部42は、撮影部41が撮影した画像に目的階の乗場230の出入口付近に位置する壁面220に配設されたマーカーM2が含まれるか判定する(SC8)。乗りかご210が目的階に到着して扉240が開くまでは、撮影部41が撮影した画像にはマーカーM2は含まれないため(SC8でNO)、制御部40はステップSC7の処理を再度実行する。
乗りかご210が目的階に到着して扉240が開くと、撮影部41が撮影した画像にマーカーM2が含まれるようになる(SC8でYES)。そうすると、マーカーM1およびマーカーM2の少なくともいずれかにより特定部43が特定した段差乗越区間内において、走行制御部44は、段差検知部45が検知する段差Cを無視し、自走式移動機器1を乗りかご210内から乗場230へ移動させる(SC9)。乗場230への移動完了の条件は、例えば、乗りかご210から乗場230への移動距離が所定長(例えば、乗りかご210の奥行+自走式移動機器1の全長)に達したこと、撮影部41が撮影した画像にマーカーM1が含まれなくなってから所定時間が経過したこと、位置特定機能を用いて乗場230に位置することが検知されたこと、等である。
以上のとおり、判定部42は、撮影部41が撮影した画像にマーカーMの画像が含まれるか否か判定する。マーカーMの画像が含まれる場合、特定部43は段差乗越区間を特定する。段差乗越区間において走行制御部44は、段差検知部45の検知結果を無視して自走式移動機器1の走行を制御する。したがって、自走式移動機器1が乗り越え可能な段差Cの近辺に、マーカーMを設けることで、自走式移動機器1は、当該段差Cを乗り越えることができる。
なお、判定部42は、撮影部41が撮影した画像に含まれるマーカーMの画像が所定サイズ以上であるか否かをさらに判定し、所定サイズ以上である場合にのみ判定結果を特定部43に出力してもよい。これにより、自走式移動機器1がマーカーMにある程度近づいてから段差乗越区間を特定することができる。これにより、マーカーMを段差の近辺に設けるユースケースにおいて、段差乗越区間を適切に特定することが可能となる。上記所定サイズは、マーカーM自体のサイズ、および、段差に対するマーカーMの相対位置などに応じて適宜設定されればよい。
また、段差乗越区間内に、自走式移動機器1が乗り越え不可能な段差が存在することも考えられる。例えば、段差乗越区間内において段差検知部45が段差を連続して検知したまま自走式移動機器1の移動距離が所定距離を超えた場合は、自走式移動機器1が乗り越え不可能な段差が存在する可能性がある。この場合、走行制御部44は、緊急措置として、段差乗越区間内であっても段差を回避するように自走式移動機器1の走行を制御してもよい。なお、上記所定距離は、クリフセンサ30と車輪60との位置関係、および車輪60のサイズなどに応じて適宜設定されればよい。
〔実施形態2〕
本発明の他の実施形態について、以下に説明する。実施形態1は、段差乗越区間における段差検知部45の検知結果を無視する構成について説明したが、本実施形態では、段差乗越区間において段差検知部45による検知を停止する構成について説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
図12は、本実施形態に係る自走式移動機器1Aの要部の構成を示すブロック図である。なお、図12には、画像生成装置2の要部の構成を示すブロック図についても併記している。図12に示すように、自走式移動機器1Aは、制御部40の代わりに制御部40Aを備える点で、自走式移動機器1と相違する。制御部40Aは、特定部43および段差検知部45の代わりに特定部43Aおよび段差検知部45Aを備える点で、制御部40と相違する。
特定部43Aは、特定部43と同様にして、段差乗越区間を特定する。特定部43Aは、特定した段差乗越区間を示す情報を、段差検知部45Aへ出力する。
段差検知部45Aは、段差検知部45と同様にして段差を検知する。ただし、段差検知部45Aは、特定部43Aが特定した段差乗越区間では段差検知を停止する。すなわち、本実施形態においては、特定部43Aが特定する段差乗越区間は、段差検知部45Aが段差検知を停止する区間である。これにより、段差乗越区間では、段差検知部45の検知結果が走行制御部44へ出力されないため、走行制御部44は段差を回避するように自走式移動機器1の走行を制御することはない。したがって、自走式移動機器1Aも、自走式移動機器1と同様の効果を奏する。
自走式移動機器1Aと画像生成装置2とを含む段差走行システム100Aによれば、画像生成装置2により生成したマーカーMを、自走式移動機器1Aが乗り越え可能な段差の近辺に設けることで、自走式移動機器1Aが段差を乗り越えて走行することができる。
図13は、自走式移動機器1Aにおける処理の流れの一例を示すフローチャートである。図13を参照して、自走式移動機器1Aにおける処理の流れについて説明する。図13において自走式移動機器1Aは走行を開始済みであるものとする。まず、段差検知部45Aが段差検知を実行する(SE)。その後、制御部40Aは、ステップSF1~SF3の処理と、ステップSG1~SG4の処理と、ステップSH1~SH2の処理と、を並列に実行する。
撮影部41は、カメラ10により自走式移動機器1の周囲の画像(特に、前進方向の画像)を撮影する(SF1、撮影ステップ)。判定部42は、撮影部41が撮影した画像にマーカーMの画像が含まれるか否かを判定する(SF2、判定ステップ)。マーカーMの画像が含まれる場合(SF2でYES)、特定部43Aは、段差乗越区間を特定する(SF3、特定ステップ)。マーカーMの画像が含まれない場合(SF2でNO)、特定部43Aは、段差乗越区間を特定しない。制御部40Aは、ステップSF1~SF3の処理を再度実行する。
一方、走行制御部44は、段差検知部45Aが段差検知を実行中であるか否かを判定する(SG1)。段差検知部45Aが段差検知を実行中である場合(SG1でYES)、走行制御部44は、段差検知部45Aが段差を検知したか判定する(SG2)。段差を検知した場合(SG2でYES)、走行制御部44は、段差を回避するように自走式移動機器1の走行方向を決定し(SG3)、走行を制御する(SG4、走行制御ステップ)。また、段差検知部45Aが段差検知を実行中でない場合(SG1でNO)、および段差検知部45Aが段差を検知しなかった場合(SG2でNO)、走行制御部44は、通常どおりの走行制御を行う(SG4)。走行制御部44は、ステップSG1~SG4の処理を再度実行する。
他方、段差検知部45Aは、自走式移動機器1Aが段差乗越区間内を走行中であるか判定する(SH1)。段差乗越区間内を走行中である場合(SH1でYES)、段差検知部45Aは段差検知を停止する(SH2)。段差乗越区間内を走行中でない場合(SH1でNO)、段差検知部45Aは段差検知を実行する(SH3、段差検知ステップ)。段差検知部45Aは、SH1~SH2の処理を再度実行する。
〔他の適用例〕
自走式移動機器1の典型例は、掃除ロボットであるが、これに限られるものではない。自走式移動機器1は、搬送ロボット、案内ロボット、警備ロボットなどであってもよい。また、自走式移動機器1が走行する領域は限定されるものではなく、屋内外を問わない。
また、自走式移動機器1が乗り越え可能な段差の典型例は、上述したとおり、(i)乗りかご210の出入口を開閉する扉240が移動する隙間、および(ii)乗りかご210と乗場230との間の隙間であるが、これに限られるものではない。自走式移動機器1が乗り越え可能な段差は、電車の乗降口とホームとの間の隙間であってもよいし、水路等に設けられる格子状の溝蓋(グレーチング)などであってもよい。これらの近辺にマーカーMを配設することで、自走式移動機器1、1Aは段差を乗り越えて走行することが可能となる。
〔ソフトウェアによる実現例〕
自走式移動機器1、1A、画像生成装置2の制御ブロック(特に撮影部41、判定部42、特定部43、43A、走行制御部44、段差検知部45、45A、生成部90)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
後者の場合、自走式移動機器1、1A、画像生成装置2は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも1つのプロセッサ(制御装置)を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも1つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
〔まとめ〕
本発明の態様1に係る自走式移動機器は、床面を走行する自走式移動機器であって、前記床面の段差を検知する段差検知部と、前記自走式移動機器の周囲の画像を撮影する撮影部と、前記撮影した画像に所定画像が含まれるか否かを判定する判定部と、前記判定の結果に応じて特定される段差乗越区間内を走行中は前記段差を乗り越えるように前記自走式移動機器の走行を制御する走行制御部と、を備える。
上記の構成によれば、自走式移動機器は、撮影部が撮影した画像に所定画像が含まれると判定した場合、段差乗越区間に存在する段差を乗り越えて走行する。したがって、自走式移動機器は、段差乗越区間において乗り越え可能な段差を回避せずに乗り越えて走行することができる。
本発明の態様2に係る自走式移動機器は、上記態様1において、前記走行制御部は、前記段差乗越区間における前記段差検知部の検知結果を無視し、前記自走式移動機器の走行を制御することが好ましい。
上記の構成によれば、走行制御部は、段差乗越区間における段差検知部の検知結果を無視する。したがって、自走式移動機器は、段差乗越区間において乗り越え可能な段差を回避せずに乗り越えて走行することができる。
本発明の態様3に係る自走式移動機器は、上記態様1において、前記段差検知部は、前記段差乗越区間では前記段差の検知を停止することが好ましい。
上記の構成によれば、自走式移動機器は、段差乗越区間において段差検知部による検知を停止する。したがって、自走式移動機器は、段差乗越区間において乗り越え可能な段差を回避せずに乗り越えて走行することができる。
本発明の態様4に係る自走式移動機器は、上記態様1から3のいずれかにおいて、前記走行制御部は、前記自走式移動機器の走行中領域から進入予定領域へ進入するように前記自走式移動機器の走行を制御し、前記判定部により前記所定画像が含まれると判定された地点から前記進入が完了する地点までを前記段差乗越区間として特定する特定部を備えることが好ましい。
上記の構成によれば、自走式移動機器は、所定画像が含まれると判定された地点から進入予定領域への進入が完了する地点までの区間に存在する段差を乗り越えて走行することができる。
本発明の態様5に係る自走式移動機器は、上記態様1から3のいずれかにおいて、前記所定画像は、前記段差乗越区間を示す情報が読み取り可能に埋め込まれた画像であり、前記判定部により前記所定画像が含まれると判定されたとき、当該所定画像から読み取られる前記情報に基づき前記段差乗越区間を特定する特定部を備えることが好ましい。
上記の構成によれば、自走式移動機器は、所定画像に埋め込まれた段差乗越区間を示す情報に基づき段差乗越区間を特定する。したがって、所定画像に応じた段差乗越区間を特定することができる。
本発明の態様6に係る自走式移動機器は、上記態様1から5のいずれかにおいて、前記所定画像は、前記自走式移動機器の進入予定領域内、前記進入予定領域の入口、前記自走式移動機器の走行中領域の出口、および、前記走行中領域から前記進入予定領域へ至る通路、の少なくともいずれかに設けられることが好ましい。
上記の構成によれば、自走式移動機器は、進入予定領域の方向の画像を撮影することにより所定画像を含む画像が撮影されるため、当該所定画像に基づいて段差乗越区間を特定することができる。
本発明の態様7に係る自走式移動機器は、上記態様4または6において、前記走行中領域は、エレベータの乗場を含む領域であり、前記進入予定領域は、前記エレベータの乗りかご内の領域であることが好ましい。
上記の構成によれば、自走式移動機器は、エレベータの乗場から乗りかご内へ進入する(つまり、乗りかごに乗り込む)場合において、乗場と乗りかごとの間に存在する段差を乗り越えて走行できる。
本発明の態様8に係る自走式移動機器は、上記態様4または6において、前記走行中領域は、エレベータの乗りかご内の領域であり、前記進入予定領域は、前記エレベータの乗場を含む領域であることが好ましい。
上記の構成によれば、自走式移動機器は、エレベータの乗りかご内から乗場へ進入する(つまり、乗りかごから降りる)場合において、乗りかごと乗場との間に存在する段差を乗り越えて走行できる。
本発明の態様9に係る画像生成装置は、上記態様1から8のいずれかの自走式移動機器が走行する前記段差乗越区間を示す情報の入力を受け付ける入力部と、前記情報が読み取り可能に埋め込まれた前記所定画像を生成する生成部と、を備える。
上記の構成によれば、画像生成装置は、段差乗越区間を示す情報が読み取り可能に埋め込まれた画像を生成できる。
本発明の態様10に係る段差走行システムは、上記態様1から8のいずれかの自走式移動機器と、前記段差乗越区間を示す情報が読み取り可能に埋め込まれた前記所定画像を生成する画像生成装置と、を含む。
上記の構成によれば、段差走行システムにおいて、画像生成装置は、段差乗越区間を示す情報が読み取り可能に埋め込まれた所定画像を生成する。自走式移動機器は、画像生成装置が生成した所定画像から、段差乗越区間を示す情報を読み取り、当該段差乗越区間において段差を乗り越えて走行する。したがって、段差走行システムによれば、段差乗越区間において、自走式移動機器に段差を乗り越えて走行させることができる。
本発明の態様11に係る自走式移動機器の制御方法は、床面を走行する自走式移動機器の制御方法であって、前記床面の段差を検知する段差検知ステップと、前記自走式移動機器の周囲の画像を撮影する撮影ステップと、前記撮影した画像に所定画像が含まれるか否かを判定する判定ステップと、前記判定の結果に応じて特定される段差乗越区間内を走行中は前記段差を乗り越えるように前記自走式移動機器の走行を制御する走行制御ステップと、を含む。
上記の構成によれば、態様1と同様の効果を奏する。
本発明の各態様に係る自走式移動機器は、コンピュータによって実現してもよく、この場合には、コンピュータを上記自走式移動機器が備える各部(ソフトウェア要素)として動作させることにより上記自走式移動機器をコンピュータにて実現させる自走式移動機器の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
1、1A 自走式移動機器
2 画像生成装置
41 撮影部
42 判定部
43、43A 特定部
44 走行制御部
45、45A 段差検知部
80 入力部
90 生成部
100、100A 段差走行システム

Claims (11)

  1. 床面を走行する自走式移動機器であって、
    前記床面の段差を検知する段差検知部と、
    前記自走式移動機器の周囲の画像を撮影する撮影部と、
    前記撮影した画像に所定画像が含まれるか否かを判定する判定部と、
    前記所定画像から、前記自走式移動機器が乗り越え可能な段差が存在する区間である段差乗越区間を特定する特定部と、
    前記特定された段差乗越区間内を走行中は前記段差検知部によって検知された段差を回避せず乗り越えるように前記自走式移動機器の走行を制御し、前記特定された段差乗越区間外を走行中は前記段差検知部によって検知された段差を回避するように前記自走式移動機器の走行を制御する走行制御部と、
    を備える自走式移動機器。
  2. 床面を走行する自走式移動機器であって、
    前記床面の段差を検知する段差検知部と、
    前記自走式移動機器の周囲の画像を撮影する撮影部と、
    前記撮影した画像に所定画像が含まれるか否かを判定する判定部と、
    前記所定画像から、前記自走式移動機器が乗り越え可能な段差が存在する区間である段差乗越区間を特定する特定部とを備え、
    前記段差検知部は、前記特定された段差乗越区間では前記段差の検知を停止し、前記特定された段差乗越区間外では前記段差を検知し、
    前記段差検知部によって前記段差乗越区間外において検知された段差を回避するように前記自走式移動機器の走行を制御する走行制御部をさらに備える、自走式移動機器。
  3. 前記走行制御部は、前記自走式移動機器の走行中領域から進入予定領域へ進入するように前記自走式移動機器の走行を制御し、
    前記特定部は、前記判定部により前記所定画像が含まれると判定された地点から前記進入が完了する地点までを前記段差乗越区間として特定する、請求項1または2に記載の自走式移動機器。
  4. 前記所定画像は、前記段差乗越区間を示す情報が読み取り可能に埋め込まれた画像であり、
    前記特定部は、前記判定部により前記所定画像が含まれると判定されたとき、当該所定画像から読み取られる前記情報に基づき前記段差乗越区間を特定する、請求項1または2に記載の自走式移動機器。
  5. 前記所定画像は、前記自走式移動機器の進入予定領域内、前記進入予定領域の入口、前記自走式移動機器の走行中領域の出口、および、前記走行中領域から前記進入予定領域へ至る通路、の少なくともいずれかに設けられる、請求項1からのいずれか1項に記載の自走式移動機器。
  6. 前記走行中領域は、エレベータの乗場を含む領域であり、
    前記進入予定領域は、前記エレベータの乗りかご内の領域である、請求項またはに記載の自走式移動機器。
  7. 前記走行中領域は、エレベータの乗りかご内の領域であり、
    前記進入予定領域は、前記エレベータの乗場を含む領域である、請求項またはに記載の自走式移動機器。
  8. 請求項1からのいずれか1項に記載の自走式移動機器が走行する前記段差乗越区間を示す情報の入力を受け付ける入力部と、
    前記情報が読み取り可能に埋め込まれた前記所定画像を生成する生成部と、
    を備える画像生成装置。
  9. 請求項1からのいずれか1項に記載の自走式移動機器と、
    前記段差乗越区間を示す情報が読み取り可能に埋め込まれた前記所定画像を生成する画像生成装置と、
    を含む段差走行システム。
  10. 床面を走行する自走式移動機器の制御方法であって、
    前記床面の段差を検知する段差検知ステップと、
    前記自走式移動機器の周囲の画像を撮影する撮影ステップと、
    前記撮影した画像に所定画像が含まれるか否かを判定する判定ステップと、
    前記所定画像から、前記自走式移動機器が乗り越え可能な段差が存在する区間である段差乗越区間を特定する特定ステップと、
    前記特定された段差乗越区間内を走行中は前記段差検知ステップによって検知された段差を回避せず乗り越えるように前記自走式移動機器の走行を制御し、前記特定された段差乗越区間外を走行中は前記段差検知ステップによって検知された段差を回避するように前記自走式移動機器の走行を制御する走行制御ステップと、
    を含む自走式移動機器の制御方法。
  11. 床面を走行する自走式移動機器の制御方法であって、
    前記床面の段差を検知する段差検知ステップと、
    前記自走式移動機器の周囲の画像を撮影する撮影ステップと、
    前記撮影した画像に所定画像が含まれるか否かを判定する判定ステップと、
    前記所定画像から、前記自走式移動機器が乗り越え可能な段差が存在する区間である段差乗越区間を特定する特定ステップとを含み、
    前記段差検知ステップは、前記特定された段差乗越区間内では実行されず、前記特定された段差乗越区間外では実行され、
    前記段差検知ステップによって前記段差乗越区間外において検知された段差を回避するように前記自走式移動機器の走行を制御する走行制御ステップをさらに含む、自走式移動機器の制御方法。
JP2020144950A 2020-08-28 2020-08-28 自走式移動機器、その制御方法、画像生成装置、および段差走行システム Active JP7386772B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020144950A JP7386772B2 (ja) 2020-08-28 2020-08-28 自走式移動機器、その制御方法、画像生成装置、および段差走行システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020144950A JP7386772B2 (ja) 2020-08-28 2020-08-28 自走式移動機器、その制御方法、画像生成装置、および段差走行システム

Publications (2)

Publication Number Publication Date
JP2022039769A JP2022039769A (ja) 2022-03-10
JP7386772B2 true JP7386772B2 (ja) 2023-11-27

Family

ID=80498683

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020144950A Active JP7386772B2 (ja) 2020-08-28 2020-08-28 自走式移動機器、その制御方法、画像生成装置、および段差走行システム

Country Status (1)

Country Link
JP (1) JP7386772B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024042616A1 (ja) * 2022-08-23 2024-02-29 三菱電機ビルソリューションズ株式会社 扉状態判定装置、扉状態判定システム及び扉状態判定装置を搭載した移動体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002323925A (ja) 2001-04-26 2002-11-08 Matsushita Electric Ind Co Ltd 移動作業ロボット
JP2005157625A (ja) 2003-11-25 2005-06-16 Matsushita Electric Works Ltd 自律移動装置
JP2010176203A (ja) 2009-01-27 2010-08-12 Panasonic Electric Works Co Ltd 自律移動ロボットシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002323925A (ja) 2001-04-26 2002-11-08 Matsushita Electric Ind Co Ltd 移動作業ロボット
JP2005157625A (ja) 2003-11-25 2005-06-16 Matsushita Electric Works Ltd 自律移動装置
JP2010176203A (ja) 2009-01-27 2010-08-12 Panasonic Electric Works Co Ltd 自律移動ロボットシステム

Also Published As

Publication number Publication date
JP2022039769A (ja) 2022-03-10

Similar Documents

Publication Publication Date Title
US8090193B2 (en) Mobile robot
US11684526B2 (en) Patient support apparatuses with navigation and guidance systems
US8244403B2 (en) Visual navigation system and method based on structured light
US11407116B2 (en) Robot and operation method therefor
US10131348B2 (en) Information processor and movable body apparatus
US20230039466A1 (en) Method and a system for conveying a robot in an elevator
KR100773184B1 (ko) 자율 이동로봇
JP4262196B2 (ja) 自律移動ロボット
US8019475B2 (en) Routing apparatus for autonomous mobile unit
US11675373B2 (en) Method for determining self-driving vehicle behavior models, a self-driving vehicle, and a method of navigating a self-driving vehicle
JP2002250607A (ja) 物体検知センサ
Hinkel et al. Environment perception with a laser radar in a fast moving robot
JP6828579B2 (ja) 環境整備ロボットおよびその制御プログラム
JP2008260107A (ja) 移動ロボットシステム
JP7386772B2 (ja) 自走式移動機器、その制御方法、画像生成装置、および段差走行システム
EP3919084A1 (en) Method of detecting human/and or animal motion and performing mobile disinfection
JP2002505651A (ja) 閉動作中のドアに近づく小さな障害物を検出する安全システム
JP4886572B2 (ja) ロボット
KR102560462B1 (ko) 이동 로봇
JP2007200070A (ja) 移動ロボット
JP2010176203A (ja) 自律移動ロボットシステム
JP4774401B2 (ja) 自律移動体の経路設定装置
Poomarin et al. Automatic docking with obstacle avoidance of a differential wheel mobile robot
KR102288635B1 (ko) 자율 이동 로봇의 장애물 감지 장치
CN114905503A (zh) 机器人控制系统、机器人控制方法和存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200909

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20201111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20201111

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231114

R150 Certificate of patent or registration of utility model

Ref document number: 7386772

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150