JP7459733B2 - 自己位置推定装置 - Google Patents

自己位置推定装置 Download PDF

Info

Publication number
JP7459733B2
JP7459733B2 JP2020150494A JP2020150494A JP7459733B2 JP 7459733 B2 JP7459733 B2 JP 7459733B2 JP 2020150494 A JP2020150494 A JP 2020150494A JP 2020150494 A JP2020150494 A JP 2020150494A JP 7459733 B2 JP7459733 B2 JP 7459733B2
Authority
JP
Japan
Prior art keywords
self
estimation
estimator
forklift
moving body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020150494A
Other languages
English (en)
Other versions
JP2022045026A (ja
Inventor
晋悟 服部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Industries Corp
Original Assignee
Toyota Industries Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Industries Corp filed Critical Toyota Industries Corp
Priority to JP2020150494A priority Critical patent/JP7459733B2/ja
Publication of JP2022045026A publication Critical patent/JP2022045026A/ja
Application granted granted Critical
Publication of JP7459733B2 publication Critical patent/JP7459733B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)

Description

本発明は、自己位置推定装置に関する。
従来の自己位置推定装置としては、例えば特許文献1に記載されているような技術が知られている。特許文献1に記載の自己位置推定装置は、自律移動ロボットに設けられ、自律移動ロボットと障害物との距離を計測するレーザ距離センサと、このレーザ距離センサからの計測データと地図記憶部に記憶された地図データとを照合することで、自律移動ロボットの位置及び姿勢を推定する位置姿勢推定部と、パーティクルの分散を計算して、位置姿勢推定部の位置姿勢推定結果の信頼度の評価値を算出する位置姿勢推定評価値算出部とを備えている。
特許第5909486号
ところで、移動体の自己位置の推定精度を上げるために、3Dのレーザ距離センサを使用することがある。ただし、この場合には、複雑な3次元処理の計算によって自己位置推定の信頼性の評価(判定)が難しくなる。また、近年では、ディープラーニングを利用した自己位置推定の信頼性の判定が行われている。しかし、ディープラーニングを利用すると、データ量及び計算量が多くなるため、複雑なネットワークに使用されるGPU等の特別なハードウェアが必要となる。
本発明の目的は、特別なハードウェアを不要としつつ、移動体の自己位置推定の信頼性を容易に判定することができる自己位置推定装置を提供することである。
本発明の一態様に係る自己位置推定装置は、移動体の自己位置を推定する自己位置推定器と、移動体の状態に関する情報を取得する第1情報取得部と、自己位置推定器による自己位置推定処理に関する情報を取得する第2情報取得部と、第1情報取得部により取得された移動体の状態に関する情報と第2情報取得部により取得された自己位置推定器による自己位置推定処理に関する情報とに基づいて、自己位置推定器による移動体の自己位置推定の信頼性を判定する信頼性判定部とを備える。
このような自己位置推定装置においては、第1情報取得部によって移動体の状態に関する情報が取得されると共に、第2情報取得部によって移動体の自己位置を推定する自己位置推定器による自己位置推定処理に関する情報が取得される。そして、信頼性判定部において、移動体の状態に関する情報と自己位置推定器による自己位置推定処理に関する情報とに基づいて、自己位置推定器による移動体の自己位置推定の信頼性が判定される。このように移動体の状態に関する情報と自己位置推定器による自己位置推定処理に関する情報とを、信頼性判定部の入力データとして使用することにより、信頼性判定部において処理されるデータ量及び計算量が少なくて済む。これにより、特別なハードウェアを不要としつつ、移動体の自己位置推定の信頼性が容易に判定される。
信頼性判定部は、自己位置推定器による移動体の自己位置推定の信頼性として、自己位置推定器による自己位置推定誤差の予測値と自己位置推定器による自己位置推定の信頼度とを判定してもよい。このような構成では、自己位置推定器による自己位置推定誤差の予測値が自己位置推定器による自己位置推定の信頼度と共に判定されるため、移動体の自己位置推定の信頼性が高精度に判定される。
第1情報取得部は、移動体の状態に関する情報として、移動体の速度及び角速度の実測値を取得してもよい。このような構成では、信頼性判定部の入力データとして適切な移動体の状態に関する情報が、移動体に搭載された既存のセンサによって容易に取得される。
第2情報取得部は、自己位置推定器による自己位置推定処理に関する情報として、自己位置推定器による推定回数及び推定時間と、自己位置推定器により得られた移動体の自己位置推定値、速度及び角速度の計算値とを取得してもよい。このような構成では、信頼性判定部の入力データとして適切な自己位置推定処理に関する情報が取得される。
自己位置推定器は、移動体の周囲にレーザを照射し、移動体の周囲に位置する物体で反射されたレーザを受光することにより、移動体から物体までの距離を検出するレーザセンサと、レーザセンサにより検出された移動体から物体までの距離データと移動体の周囲環境の地図情報とに基づいて、移動体の自己位置の推定演算を行う推定演算部とを有してもよい。このような構成では、レーザセンサの受光データを使用して移動体の自己位置が推定されても、移動体の自己位置推定の信頼性の判定処理には、レーザセンサの受光データは使用されない。従って、信頼性判定部において処理されるデータ量及び計算量が一層少なくて済む。
本発明によれば、特別なハードウェアを不要としつつ、移動体の自己位置推定の信頼性を容易に判定することができる。
本発明の一実施形態に係る自己位置推定装置を備えた走行制御装置の概略構成を示すブロック図である。 フォークリフトの走行路の一例を示す概念図である。 図1に示された信頼性判定部により実行される信頼性判定処理の手順を示すフローチャートである。
以下、本発明の実施形態について図面を参照して詳細に説明する。
図1は、本発明の一実施形態に係る自己位置推定装置を備えた走行制御装置の概略構成を示すブロック図である。図1において、走行制御装置1は、図2に示されるように、移動体であるフォークリフト2を目的地に向けて自動的に走行させるように制御する装置である。
フォークリフト2は、産業車両の一つである。フォークリフト2は、図示しない駆動輪及び操舵輪を有する走行装置3と、この走行装置3の前側に配置された荷役装置4とを備えている。荷役装置4は、図示しないパレットを保持して昇降させる1対のフォーク5を有している。
走行制御装置1は、自己位置推定器6と、車速センサ7と、ジャイロセンサ8と、制御ユニット9と、駆動部10とを備えている。走行制御装置1は、フォークリフト2に搭載されている。
自己位置推定器6は、フォークリフト2の現在の自己位置を推定する。自己位置推定器は、レーザセンサ11と、推定演算ユニット12とを有している。
レーザセンサ11は、図2に示されるように、フォークリフト2の周囲にレーザLを照射し、フォークリフト2の周囲に位置する物体13で反射するレーザLを受光することにより、フォークリフト2から物体13までの距離を検出する。物体13は、例えばフォークリフト2が走行する走行路Sの左右両側に設置された柱または壁等であり、地図情報(後述)として登録されている。
レーザセンサ11は、例えばフォークリフト2の前方直進を中心とした所定の角度範囲(例えば270度)でレーザLを照射する。レーザセンサ11としては、例えば3次元にレーザLを照射する3Dのレーザレンジファインダが使用される。
推定演算ユニット12は、CPU、RAM、ROM及び入出力インターフェース等により構成されている。推定演算ユニット12は、レーザセンサ11により検出されたフォークリフト2から物体13までの距離データとフォークリフト2の周囲環境の地図情報とに基づいて、フォークリフト2の自己位置の推定演算を行う推定演算部である。
推定演算ユニット12は、例えばレーザSLAM(simultaneous localization andmapping)手法を用いて、フォークリフト2の自己位置の推定演算を行う。SLAMは、センサデータ及び地図データを用いて自己位置推定を行う自己位置推定技術である。推定演算ユニット12は、フォークリフト2から物体13までの距離とフォークリフト2の周囲環境の地図とをマッチングさせて、フォークリフト2の自己位置の推定演算を行う。これにより、フォークリフト2の自己位置推定値が得られる。フォークリフト2の自己位置は、フォークリフト2の2次元座標(XY座標)及び向き(角度)で表される。
また、推定演算ユニット12は、フォークリフト2の現在及び過去の自己位置推定値を用いて、フォークリフト2の速度及び角速度を算出する。これにより、フォークリフト2の速度及び角速度の計算値が得られる。フォークリフト2の速度の計算値は、フォークリフト2の現在及び過去の自己位置推定値から得られた移動距離を時間で除することで求まる。フォークリフト2の角速度の計算値は、フォークリフト2の現在及び過去の自己位置推定値から得られた移動角度を時間で除することで求まる。
推定演算ユニット12は、自己位置推定器6による推定回数(イテレーション)及び推定時間と、自己位置推定器6により得られたフォークリフト2の自己位置推定値、速度及び角速度の計算値を、制御ユニット9に出力する。これらの推定回数、推定時間、フォークリフト2の自己位置推定値、速度及び角速度の計算値は、自己位置推定器6による自己位置推定処理に関する情報である。
車速センサ7は、フォークリフト2の速度を検出するセンサである。車速センサ7によりフォークリフト2の速度の実測値が得られる。ジャイロセンサ8は、フォークリフト2の角速度を検出するセンサである。ジャイロセンサ8によりフォークリフト2の角速度の実測値が得られる。フォークリフト2の速度及び角速度の実測値は、フォークリフト2の状態に関する情報である。
制御ユニット9は、CPU、RAM、ROM及び入出力インターフェース等により構成されている。制御ユニット9は、自己位置推定器6の出力データと車速センサ7及びジャイロセンサ8の出力データとを入力し、所定の処理を実行し、フォークリフト2を目的地まで走行させるように駆動部10を制御する。
駆動部10は、特に図示はしないが、フォークリフト2の駆動輪(前述)を回転させる走行モータと、フォークリフト2の操舵輪(前述)を転舵させる操舵モータとを有している。
制御ユニット9は、車両情報取得部14と、自己位置情報取得部15と、信頼性判定部16と、駆動制御部17とを有している。
車両情報取得部14は、車速センサ7により得られたフォークリフト2の速度の実測値と、ジャイロセンサ8により得られたフォークリフト2の角速度の実測値とを取得する。車両情報取得部14は、車速センサ7及びジャイロセンサ8と協働して、フォークリフト2の状態に関する情報を取得する第1情報取得部を構成している。
自己位置情報取得部15は、自己位置推定器6による推定回数及び推定時間と、自己位置推定器6により得られたフォークリフト2の自己位置推定値、速度及び角速度の計算値とを取得する。自己位置情報取得部15は、自己位置推定器6による自己位置推定処理に関する情報を取得する第2情報取得部を構成している。
信頼性判定部16は、車両情報取得部14により取得されたフォークリフト2の状態に関する情報と自己位置情報取得部15により取得された自己位置推定器6による自己位置推定処理に関する情報とに基づいて、自己位置推定器6によるフォークリフト2の自己位置推定の信頼性を判定する。
信頼性判定部16は、自己位置推定器6によるフォークリフト2の自己位置推定の信頼性として、自己位置推定器6による自己位置推定誤差の予測値と、自己位置推定器6による自己位置推定の信頼度とを判定する。
自己位置推定器6による自己位置推定誤差の予測値は、自己位置推定器6によるフォークリフト2の自己位置推定値とフォークリフト2の真位置との差の予測値である。自己位置推定器6による自己位置推定の信頼度は、自己位置推定器6による自己位置推定の誤差の予測値に応じて、高いか低いかの二値で表される。自己位置推定誤差の予測値が予め決められた規定値以下であるときは、自己位置推定の信頼度が高いとされる。自己位置推定誤差の予測値が規定値よりも大きいときは、自己位置推定の信頼度が低いとされる。
信頼性判定部16は、例えばサポートベクターマシン(SVM)またはニューラルネットワーク等の機械学習法を用いて、自己位置推定器6によるフォークリフト2の自己位置推定の信頼性を判定する。
ここで、機械学習により得られる正解データであるラベルは、シミュレーションを用いて生成される。具体的には、シミュレーションによって、自己位置推定器6によるフォークリフト2の自己位置推定値とフォークリフト2の真位置との差が得られる。そして、自己位置推定器6によるフォークリフト2の自己位置推定値とフォークリフト2の真位置との差に基づいて、自己位置推定器6による自己位置推定誤差の予測値と自己位置推定器6による自己位置推定の信頼度とが機械学習の出力データ(ラベル)として生成される。
そして、ラベルの生成時に車速センサ7及びジャイロセンサ8からそれぞれ出力されたフォークリフト2の速度及び角速度の実測値と、ラベルの生成時に自己位置推定器6から出力された推定回数、推定時間、フォークリフト2の自己位置推定値、速度及び角速度の計算値とが、機械学習の入力データとなる。
このように機械学習の入力データとしてカメラの画像データ及びレーザの受光データが使用されないため、機械学習の入力データの量が少なくなり、全結合層において層数が少ない単純なネットワークの生成が可能となる。
図3は、信頼性判定部16により実行される信頼性判定処理の手順を示すフローチャートである。図3において、信頼性判定部16は、まず車両情報取得部14により取得されたフォークリフト2の速度及び角速度の実測値を入力する(手順S101)。また、信頼性判定部16は、自己位置情報取得部15により取得された自己位置推定器6の推定回数及び推定時間とフォークリフト2の自己位置推定値、速度及び角速度の計算値とを入力する(手順S102)。
続いて、信頼性判定部16は、フォークリフト2の速度及び加速度の実測値と、自己位置推定器6の推定回数、推定時間、フォークリフト2の自己位置推定値、速度及び角速度の計算値とに基づいて機械学習を行い、自己位置推定器6による自己位置推定誤差の予測値及び自己位置推定器6による自己位置推定の信頼度を判定する(手順S103)。
そして、信頼性判定部16は、自己位置推定器6による自己位置推定誤差の予測値及び自己位置推定器6による自己位置推定の信頼度のデータを駆動制御部17に出力する(手順S104)。なお、信頼性判定部16は、自己位置推定器6による自己位置推定の信頼度のデータのみを駆動制御部17に出力してもよい。
駆動制御部17は、信頼性判定部16からの出力データに基づいて、駆動部10を制御する。具体的には、駆動制御部17は、信頼性判定部16により自己位置推定の信頼度が高いと判定されたときは、自己位置推定器6により得られたフォークリフト2の自己位置推定値に基づいて、フォークリフト2を目的地まで走行させるように駆動部10を制御する。駆動制御部17は、信頼性判定部16により自己位置推定の信頼度が低いと判定されたときは、フォークリフト2を停止させるように駆動部10を制御する。
ここで、自己位置推定器6、車速センサ7、ジャイロセンサ8、制御ユニット9の車両情報取得部14、自己位置情報取得部15及び信頼性判定部16は、本実施形態の自己位置推定装置18を構成している。
ところで、ディープラーニングを用いて、自己位置推定器6による自己位置推定の信頼性の判定を行う場合には、例えば畳み込み層を利用した複雑なニューラルネットワークに使用されるGPU(Graphics Processing Unit)等の特別なハードウェアが必要となる。特に3Dのレーザセンサ11が使用されると、処理されるデータ量及び計算量が増加するため、高性能かつ高価なGPUが必要となる。
そのような課題に対し、本実施形態では、車両情報取得部14によってフォークリフト2の状態に関する情報が取得されると共に、自己位置情報取得部15によってフォークリフト2の自己位置を推定する自己位置推定器6による自己位置推定処理に関する情報が取得される。そして、信頼性判定部16において、フォークリフト2の状態に関する情報と自己位置推定器6による自己位置推定処理に関する情報とに基づいて、自己位置推定器6によるフォークリフト2の自己位置推定の信頼性が判定される。このようにフォークリフト2の状態に関する情報と自己位置推定器6による自己位置推定処理に関する情報とを、信頼性判定部16の入力データとして使用することにより、信頼性判定部16において処理されるデータ量及び計算量が少なくて済む。これにより、GPU等の特別なハードウェアを不要としつつ、フォークリフト2の自己位置推定の信頼性が容易に判定される。
また、本実施形態では、自己位置推定器6によるフォークリフト2の自己位置推定の信頼性として、自己位置推定器6による自己位置推定誤差の予測値が自己位置推定器6による自己位置推定の信頼度と共に判定されるため、フォークリフト2の自己位置推定の信頼性が高精度に判定される。
また、本実施形態では、フォークリフト2の状態に関する情報として、フォークリフト2の速度及び角速度の実測値が取得される。このため、信頼性判定部16の入力データとして適切なフォークリフト2の状態に関する情報が、フォークリフト2に搭載された既存の車速センサ7及びジャイロセンサ8によって容易に取得される。
また、本実施形態では、自己位置推定器6による自己位置推定処理に関する情報として、自己位置推定器6による推定回数及び推定時間と、自己位置推定器6により得られたフォークリフト2の自己位置推定値、速度及び角速度の計算値とが取得される。このため、信頼性判定部16の入力データとして適切な自己位置推定処理に関する情報が取得される。
また、本実施形態では、レーザセンサ11の受光データを使用してフォークリフト2の自己位置が推定されても、フォークリフト2の自己位置推定の信頼性の判定処理には、レーザセンサ11の受光データは使用されない。従って、信頼性判定部16において処理されるデータ量及び計算量が一層少なくて済む。
なお、本発明は、上記実施形態には限定されない。例えば上記実施形態では、自己位置推定器6によるフォークリフト2の自己位置推定の信頼性として、自己位置推定器6による自己位置推定誤差の予測値と自己位置推定器6による自己位置推定の信頼度とが判定されているが、特にその形態には限られず、自己位置推定器6による自己位置推定の信頼度のみを判定してもよい。
また、上記実施形態では、フォークリフト2の状態に関する情報として、車速センサ7及びジャイロセンサ8により検出されたフォークリフト2の速度及び角速度の実測値が取得されているが、特にその形態には限られず、例えばフォークリフト2の加速度及び重量等の実測値も取得してもよい。
また、上記実施形態では、車両情報取得部14、自己位置情報取得部15、信頼性判定部16及び駆動制御部17は、1つの制御ユニット9に含まれているが、特にそのような形態には限られない。信頼性判定部16は、車両情報取得部14、自己位置情報取得部15及び駆動制御部17とは別の制御ユニットで構成されていてもよい。
また、上記実施形態では、3次元にレーザLを照射する3Dのレーザセンサ11が使用されているが、特にその形態には限られず、2次元にレーザLを照射する2Dのレーザセンサ11を使用してもよい。
また、上記実施形態では、レーザSLAM手法を用いて、フォークリフト2の自己位置の推定演算が行われているが、特にその形態には限られず、カメラの画像データを利用したVisual SLAM手法等を用いて、フォークリフト2の自己位置の推定演算を行ってもよい。
また、上記実施形態の自己位置推定装置18は、フォークリフト2の自己位置を推定しているが、本発明は、特にフォークリフト2には限られず、他の車両や移動ロボット等といった移動体にも適用可能である。
2…フォークリフト(移動体)、6…自己位置推定器、7…車速センサ(第1情報取得部)、8…ジャイロセンサ(第1情報取得部)、11…レーザセンサ、12…推定演算ユニット(推定演算部)、13…物体、14…車両情報取得部(第1情報取得部)、15…自己位置情報取得部(第2情報取得部)、16…信頼性判定部、18…自己位置推定装置、L…レーザ。

Claims (4)

  1. 移動体の自己位置を推定する自己位置推定器と、
    前記移動体の状態に関する情報を取得する第1情報取得部と、
    前記自己位置推定器による自己位置推定処理に関する情報を取得する第2情報取得部と、
    前記第1情報取得部により取得された前記移動体の状態に関する情報と前記第2情報取得部により取得された前記自己位置推定器による自己位置推定処理に関する情報とに基づいて、前記自己位置推定器による前記移動体の自己位置推定の信頼性を判定する信頼性判定部とを備え
    前記第2情報取得部は、前記自己位置推定器による自己位置推定処理に関する情報として、前記自己位置推定器による推定回数及び推定時間と、前記自己位置推定器により得られた前記移動体の自己位置推定値、速度及び角速度の計算値とを取得する自己位置推定装置。
  2. 前記信頼性判定部は、前記自己位置推定器による前記移動体の自己位置推定の信頼性として、前記自己位置推定器による自己位置推定誤差の予測値と前記自己位置推定器による自己位置推定の信頼度とを判定する請求項1記載の自己位置推定装置。
  3. 前記第1情報取得部は、前記移動体の状態に関する情報として、前記移動体の速度及び角速度の実測値を取得する請求項1または2記載の自己位置推定装置。
  4. 前記自己位置推定器は、前記移動体の周囲にレーザを照射し、前記移動体の周囲に位置する物体で反射されたレーザを受光することにより、前記移動体から前記物体までの距離を検出するレーザセンサと、前記レーザセンサにより検出された前記移動体から前記物体までの距離データと前記移動体の周囲環境の地図情報とに基づいて、前記移動体の自己位置の推定演算を行う推定演算部とを有する請求項1~の何れか一項記載の自己位置推定装置。
JP2020150494A 2020-09-08 2020-09-08 自己位置推定装置 Active JP7459733B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020150494A JP7459733B2 (ja) 2020-09-08 2020-09-08 自己位置推定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020150494A JP7459733B2 (ja) 2020-09-08 2020-09-08 自己位置推定装置

Publications (2)

Publication Number Publication Date
JP2022045026A JP2022045026A (ja) 2022-03-18
JP7459733B2 true JP7459733B2 (ja) 2024-04-02

Family

ID=80682041

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020150494A Active JP7459733B2 (ja) 2020-09-08 2020-09-08 自己位置推定装置

Country Status (1)

Country Link
JP (1) JP7459733B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5909486B2 (ja) 2011-06-29 2016-04-26 株式会社日立産機システム 自己位置姿勢推定システム
JP2016218043A (ja) 2015-05-15 2016-12-22 株式会社デンソー 移動体位置検出装置、移動体位置検出方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5909486B2 (ja) 2011-06-29 2016-04-26 株式会社日立産機システム 自己位置姿勢推定システム
JP2016218043A (ja) 2015-05-15 2016-12-22 株式会社デンソー 移動体位置検出装置、移動体位置検出方法

Also Published As

Publication number Publication date
JP2022045026A (ja) 2022-03-18

Similar Documents

Publication Publication Date Title
US9880558B2 (en) Travel control device
JP2020004095A (ja) 自律移動体制御装置及び自律移動体
KR20200084938A (ko) 차량 동작 계획방법 및 그를 위한 장치
JP2018194937A (ja) 無人搬送車の走行制御装置および走行制御方法
JP7459733B2 (ja) 自己位置推定装置
JP7040308B2 (ja) 無人搬送車の走行制御装置及び走行制御方法
Kumagai et al. Achievement of recognition guided teleoperation driving system for humanoid robots with vehicle path estimation
JP7501444B2 (ja) 走行経路設定装置
JP2022075256A (ja) 座標変換用パラメータ取得方法及び装置、自己位置推定装置
JP2020119214A (ja) 走行制御装置
JP7468392B2 (ja) 自己位置推定装置
JP7275973B2 (ja) 位置推定装置
JP7056591B2 (ja) 走行制御システム
JP7459732B2 (ja) 自己位置推定システム
JP7322799B2 (ja) 自己位置推定装置
JP7283085B2 (ja) 走行制御装置
JP2023137764A (ja) 自動走行車両
JP7347226B2 (ja) 自己位置推定装置、及び自己位置推定方法
JP2983527B1 (ja) 車両の計測装置
JP5463628B2 (ja) 位置推定装置
JP7060231B2 (ja) 移動体制御装置
US20240034310A1 (en) Method and control device for determining a collision-relevant time variable for a motor vehicle
JP7205220B2 (ja) 走行制御装置及び走行制御システム
WO2023017624A1 (en) Drive device, vehicle, and method for automated driving and/or assisted driving
JP7205206B2 (ja) 走行制御装置及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240304

R150 Certificate of patent or registration of utility model

Ref document number: 7459733

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150