JP7039514B2 - 自己位置推定装置 - Google Patents

自己位置推定装置 Download PDF

Info

Publication number
JP7039514B2
JP7039514B2 JP2019048720A JP2019048720A JP7039514B2 JP 7039514 B2 JP7039514 B2 JP 7039514B2 JP 2019048720 A JP2019048720 A JP 2019048720A JP 2019048720 A JP2019048720 A JP 2019048720A JP 7039514 B2 JP7039514 B2 JP 7039514B2
Authority
JP
Japan
Prior art keywords
map data
observation
weight
self
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019048720A
Other languages
English (en)
Other versions
JP2020148730A (ja
Inventor
貴行 杉浦
友樹 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2019048720A priority Critical patent/JP7039514B2/ja
Priority to US16/554,669 priority patent/US10914840B2/en
Publication of JP2020148730A publication Critical patent/JP2020148730A/ja
Application granted granted Critical
Publication of JP7039514B2 publication Critical patent/JP7039514B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/46Indirect determination of position data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data

Description

本発明の実施形態は、地図中における移動体の自己位置を推定する自己位置推定装置に関する。
自動運転や運転者支援において、地図中における移動体の自己位置を推定することにより、地図に紐付いた情報を活用した高度な判断や、移動体の運動推定の高精度化が期待されている。移動体の自己位置の推定は、移動体に搭載されたセンサにより取得された観測データを地図データに対応付けることによりおこなわれる。
特開2018-116014号公報
従来、移動体の自己位置の推定において、対応付けの対象の物体を移動体に搭載されたセンサが、地図データと同じように観測できるかは考慮されていない。観測する際の移動体の自己位置の微小な変化によって観測箇所が大きく変化する場合には、推定精度が低下してしまう。
本発明が解決しようとする課題は、移動体の自己位置の微小な変化に対して観測箇所が大きく変化する物体が存在する場合でも、移動体の自己位置をロバストに推定することができる自己位置推定装置を提供することである。
実施形態に係る自己位置推定装置は、地図データを取得する取得部と、移動体の周辺の観測データを取得する観測部と、前記地図データに設定した仮想観測地点を始点とする観察ベクトルの走査方向に対する前記仮想観測地点から障害物までの距離である奥行の変動量に基づいて、前記観測データと前記地図データの位置合わせにおける前記地図データの有効度を示す指標である重みを算出する算出部と、前記重みに基づいて、前記地図データと前記観測データを位置合わせすることにより、前記地図中における前記移動体の位置を推定する推定部とを備えている。前記算出部は、前記変動量が大きい程、有効でない地図データとみなすような重みを算出する。
図1は、第1の実施形態に係る自己位置推定装置の構成を示す図である。 図2は、第1の実施形態に係る自己位置推定装置の動作を示すフローチャートである。 図3Aは、植物を対象とする観測例を模式的に示した図であり、植物の手前側で反射された光に基づいて観測された様子を示した図である。 図3Bは、植物を対象とする観測例を模式的に示した図であり、植物の奥側で反射された光に基づいて観測された様子を示した図である。 図4Aは、水平面に対して斜めになっている土手を対象とする観測例を模式的に示した図であり、移動体が水平な状態において観測された様子を示した図である。 図4Bは、水平面に対して斜めになっている土手を対象とする観測例を模式的に示した図であり、移動体が傾いた状態において観測された様子を示した図である。 図4Cは、水平面に対して斜めになっている土手を対象とする観測例を模式的に示した図であり、図4Bに示された状態とは反対側に移動体が傾いた状態において観測された様子を示した図である。 図5は、観測の対象とする領域の3次元地図を示した図である。 図6は、観測の対象とする領域の水平面における2次元地図を示した図である。 図7Aは、図6に示された左領域における回転方向に対する奥行の変動量を示した図である。 図7Bは、図6に示された右領域における回転方向に対する奥行の変動量を示した図である。 図8Aは、手前側のみの障害物が観測される仮想観測地点を示した図である。 図8Bは、奥側のみの障害物が観測される仮想観測地点を示した図である。 図9Aは、図8Aと図8Bに示された仮想観測地点に対する左領域における奥行の変動量を示した図である。 図9Bは、図8Aと図8Bに示された仮想観測地点に対する右領域における奥行の変動量を示した図である。 図10は、移動体の周辺の障害物を観測点の集合として示した、観測部によって取得された観測データの図である。 図11は、地図データに基づく地図と、観測データに含まれる複数の観測点を示した図である。 図12は、図11に示された複数の観測点が地図中の障害物に位置合わせされる様子を示した図である。 図13は、図12に示された位置合わせ後における地図中における移動体の自己位置を示した図である。 図14は、移動体の構成例を示した図である。 図15は、図14に示された移動体のブロック図である。 図16は、第1の実施形態における第1の変形例による重みの算出を説明するための図である。 図17は、ガウス分布で近似された物体を説明するための図である。 図18Aは、第1の実施形態における第2の変形例による重みの算出を説明するための図であり、想定形状を示す図である。 図18Bは、第1の実施形態における第2の変形例による重みの算出を説明するための図であり、想定形状上のサンプリングした点を示す図である。 図18Cは、第1の実施形態における第2の変形例による重みの算出を説明するための図であり、想定形状上のサンプリングした点と障害物の実際形状を示す図である。 図19は、第2の実施形態に係る自己位置推定装置の構成を示す図である。
[第1の実施形態]
〔自己位置推定装置100の構成〕
図1は、第1の実施形態に係る自己位置推定装置100の構成を示す図である。自己位置推定装置100は、移動体200に搭載される。移動体200は、たとえば、車両(自動二輪車、自動四輪車、自転車)、台車、ロボットである。車両は、たとえば、人による運転操作を介して走行する車両や、人による運転操作を介さずに自動的に走行可能な車両である。自動的に走行可能な車両は、たとえば、自動運転車両である。ここでは、移動体200が自動運転車両である例が説明される。
自己位置推定装置100は、取得部110と、算出部120と、観測部130と、推定部140と、記憶部150を備えている。取得部110と算出部120と推定部140と記憶部150は、たとえば、専用または汎用コンピュータで構成される。取得部110と算出部120と推定部140の機能は、たとえば記憶部150に格納されたプログラムをCPUなどのハードウェアプロセッサに実行させることにより実現される。
取得部110は、地図データを取得するように構成されている。取得部110はまた、取得した地図データD1を算出部120と推定部140に出力するように構成されている。
観測部130は、移動体200の周辺の環境を観測して観測データD3を取得するように構成されている。観測部130はまた、取得した観測データD3を推定部140に出力するように構成されている。
観測部130は、たとえば、距離センサを有している。距離センサは、たとえば、LIDARセンサで構成される。LIDARセンサは、レーザ光を照射しながら走査方向に走査するとともに、物体で反射されたレーザ光を受光し、受光したレーザ光の照射方向と、レーザ光の照射から受光までの経過時間とから、その照射方向における物体までの距離を算出するように構成されている。
算出部120は、取得部110から入力された地図データD1から、地図中における移動体200の位置を推定するための地図データD1と観測データD3の対応付けの重みを算出するように構成されている。詳しくは、算出部120は、地図データD1において、所定の方向における奥行の変動量に基づいて、対応付けの重みを算出するように構成されている。ここでは、奥行は、地図データD1において、仮想観測地点から物体たとえば障害物までの距離である。障害物は、移動体200が衝突を避けるべき物体である。算出部120はまた、算出した対応付けの重みの情報すなわち重みデータD2を推定部140に出力するように構成されている。
推定部140は、算出部120から入力された対応付けの重みデータD2に基づいて、取得部110から入力された地図データD1と観測部130から入力された観測データD3とを対応付けて、地図中における移動体200の自己位置を推定するように構成されている。移動体200の自己位置は、地図中における移動体200の位置の座標と、移動体200の移動の方向とを含んでいる。推定部140はまた、推定した移動体200の自己位置の情報すなわち自己位置データD4を出力するように構成されている。自己位置データD4は、地図データD1と、地図データD1に関連付けられた移動体200の自己位置のデータとを含んでいる。
記憶部150は、各種データを記憶するように構成されている。記憶部150は、たとえば、地図データD1と重みデータD2と観測データD3と自己位置データD4のいずれかまたはすべてを記憶するように構成されている。記憶部150は、たとえば、RAM、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等で構成されてよい。
〔自己位置推定装置100の動作の概略〕
図2は、第1の実施形態に係る自己位置推定装置100の動作を示すフローチャートである。以下、自己位置推定装置100の動作について簡単に説明する。
まず、ステップS10において、取得部110が、移動体200の周辺の地図データD1を取得する。
次に、ステップS20において、算出部120が、入力された地図データD1に基づく地図中に仮想観測地点を設定する。
さらに、ステップS30において、算出部120は、観測ベクトルを所定の方向に走査し、観測ベクトルの各方向における奥行を取得する。ここで、観測ベクトルとは、仮想観測地点を始点とするベクトルである。奥行の取得は、仮想観測地点から、観測ベクトル上に位置する物体たとえば障害物までの距離を算出することによりおこなわれる。
さらに、ステップS40において、算出部120は、所定の方向における奥行の変動量に基づいて、地図中の各領域における地図データD1と観測データD3の対応付けの重みを算出する。
また、ステップS50において、観測部130が、移動体200の周辺の環境を観測して観測データD3を取得する。
次に、ステップS60において、推定部140が、地図データD1と重みデータD2と観測データD3を用いて、地図中における移動体200の自己位置を推定する。具体的には、地図中の各領域の対応付けの重みデータD2に基づいて、各領域の地図データD1と観測データD3の一致度に従って、地図データD1に基づく物体と観測データD3に基づく物体を位置合わせすることにより、地図中における移動体200の自己位置を推定する。
最後に、ステップS70において、推定部140は、地図中における移動体200の自己位置の情報を出力する。
〔移動体200の自己位置の推定における課題〕
ここで、自己位置推定装置100の動作について詳しく説明する前に、移動体200の自己位置の推定における課題について説明する。
移動体200の自己位置の推定においては、移動体200の周辺に存在する物体は、移動体の自己位置の微小な変化に対して、観測箇所(たとえば水平方向の位置)がほとんど変化しないことが望ましい。地面に実質垂直な平面を有する物体、たとえば塀やビルの壁などは、そのような好ましい物体である。一方、移動体200の周辺には、移動体200の自己位置の微小な変化に対して観測箇所が大きく変化する物体が存在することもある。そのような物体としては、植え込みや生垣のような植物や、地面に対して傾斜している土手などがあげられる。このような物体の観測データは、移動体200の自己位置を推定する際に、地図データとの対応付けには不向きである。
図3A~図3Bは、植え込みや生垣のような植物310を対象とする観測例を模式的に示している。対象が植物310である場合、枝葉に隙間があるため、観測方向に応じて、異なる奥行が観測される。図3Aは、植物310の手前側で反射された光に基づいて観測された様子を示している。また、図3Bは、植物310の奥側で反射された光に基づいて観測された様子を示している。このように、植物310に対して観測される奥行は、観測方向に応じて、植物310の表から裏までの空間的な広がり分のばらつきを有する。このため、植物310の観測データを地図データと対応付けて得られる移動体200の自己位置は、精度が低いものとなる。
図4A~図4Cは、水平面に対して斜めになっている土手320を対象とする、水平面を観測する距離センサを用いた観測例を模式的に示している。同じ地点から観測しても、移動体200の姿勢変化たとえばローリング角の変化により観測平面の角度が変わると、これに伴い土手320の観測位置の高さが変わり、その結果、観測される奥行が変動する。たとえば、図4Aに示されるように移動体200が水平な状態において観測される奥行に比べて、図4Bに示されるように移動体200が傾いた状態では、観測される奥行は長くなり、反対に、図4Cに示されるように移動体200が傾いた状態では、観測される奥行は短くなる。このように、土手320に対して観測される奥行は、移動体200のたとえばローリング角の変化に応じて変動する。このため、土手320の観測データを地図データと対応付けて得られる移動体200の自己位置は、精度が低いものとなる。
〔自己位置推定装置100の動作の詳細〕
以下、自己位置推定装置100による移動体200の自己位置の推定の動作の詳細について、図5と図6に示される地図の例に沿って説明する。図5は、観測の対象とする領域の3次元地図を示しており、図6は、観測の対象とする領域の水平面における2次元地図を示している。この地図の例では、移動体200の走行領域(たとえば道路)に対して、右側に障害物410が存在し、左側に障害物420と障害物430が存在している。障害物410と障害物420は、たとえば、塀のように、水平面に対して実質垂直な平面を有している物体である。障害物430は、柵のように、水平面に対して実質垂直に延びた複数の細長い物体たとえば支柱を有し、これら複数の細長い物体は、移動体200の走行方向に沿って間隔を置いて並んでいる。このような柵状の障害物430が、移動体200の走行領域に対して、塀状の障害物420の手前に位置している。
〈地図データD1の取得(S10)〉
まず、取得部110は、地図データD1を取得する。地図データD1は、図5と図6に示された地図を表現するものである。地図データD1は、図5に示された3次元地図を表現することなく、図6に示された2次元地図だけを表現するものであってもよい。地図データD1は、任意の既知の取得方法で取得してよい。たとえば、記憶部150が地図データをあらかじめ記憶しており、観測の対象とする領域の地図データを取得部110が記憶部150から必要に応じて読み出してよい。あるいは、GPS等のセンサや直前の位置を利用して大まかな位置を用いて、観測の対象とする範囲の地図データを外部の記憶装置等から通信によって取得してもよい。
また、地図データD1は、観測の対象となる物体を表現するものであれば、上に示したものに限らない。たとえば、地図データD1は、点の集合であってもよいし、局所領域の表面形状を関数で表現したものでもよいし、いくつかの典型的な建物のポリゴンモデルを用いたものでもよい。地図データD1は、障害物に限らず、特定のマークを示すテクスチャやベクトルで表現されていてもよい。さらに、地図データD1は、水平面における2次元地図を表現するものである必要もなく、水平ではない平面に投影したものでもよい。地図データD1は、地図座標系と対応が付いている各観測位置でのカメラ画像や奥行距離センサのデータを保持していてもよい。
〈対応付けの重みの算出の概要〉
次に、算出部120は、地図データD1から、地図中における移動体200の位置を推定するための対応付けの重みを算出する。本実施形態では、図6に示されるように、地図データD1に基づく地図を等間隔のグリッドに分割し、その各領域450における対応付けの重みを算出する。ここで、対応付けの重みは、後述する対応付けにおいて、各領域450が対応付けに有効か否かを示す指標であり、移動体200の自己位置の微小な変化に対して観測箇所が大きく変化する物体であるか否かを示す。
領域450は、右領域452と、中央領域454と、左領域456を有している。右領域452内に障害物410が存在し、左領域456内に障害物420と障害物430が存在している。また、中央領域454内に、移動体200が走行する領域が存在している。
ここでは、重みを算出する単位を、等間隔のグリッドとしたが、この限りではない。重みを算出する単位は、後述する対応付けにおいて地図データD1と観測データD3の比較をおこなう際に参照できることが好ましい。たとえば、特定の位置から距離と方位で表現された極座標表現でもよいし、等間隔でなくてもよい。また、対応付けの重みは、障害物や点ごとに算出してもよいし、地図データを構成する要素ごとに算出してもよい。後述する算出部120の変形例を用いて、複数の重みを同じ領域に対して算出してもよい。
〈仮想観測地点の設定(S20)〉
算出部120は、まず、取得部110から入力された地図データD1に対して、図5と図6に示されるように、仮想観測地点460を設定する。仮想観測地点460の高さは、移動体200の高さの範囲内に、好ましくは比較的低い位置に設定される。仮想観測地点460の設定方法としては、たとえば、等間隔に配置した複数の地点から選択する方法や、地図データ中に目標経路がある場合、その経路上の1地点を選択する方法、周辺に障害物が少ない開けた領域に設定するといった方法、地図データを生成する際のセンサ位置を利用する方法などがあげられる。地図データD1において、移動体200が存在できる地点に設定することが好ましいが、この限りではない。
〈観測ベクトルの走査と奥行の取得(S30)〉
算出部120は、次に、仮想観測地点460を始点とする観測ベクトル462を所定の方向に走査して、地図データD1中の障害物410,420,430までの奥行を取得する。
観測ベクトル462の走査は、たとえば、仮想観測地点460を中心として、観測ベクトル462を水平面内で回転させることによりおこなう。
また、障害物410,420,430までの奥行の取得は、次のようにおこなう。まず、地図データを参照して、観測ベクトル462の各回転方向θにおいて、仮想観測地点460から最も近くに存在する障害物410,420,430を特定する。次に、特定した障害物410,420,430と、観測ベクトル462を包含する直線との交点412,422,432を求める。続いて、仮想観測地点460と交点412,422,432との間の距離を算出する。最後に、算出した距離を、その観測ベクトル462の方向における奥行として取得する。
ここでは、観測ベクトル462を水平面内で回転させることにより、観測ベクトル462を走査する例を示したが、観測ベクトル462を走査する方向は、この限りではなく、水平から角度のある面に沿っていてもよい。さらに、複数の回転方向を組み合わせて、仮想観測地点460から見て正対する平面の領域に対して観測ベクトル462を走査してもよい。特に、観測ベクトル462の走査方向は、観測部130内の距離センサによって想定される走査方向に設定することが好ましい。また、観測ベクトル462の走査方向は、重みを算出する領域を網羅できるような走査方向に設定してもよい。たとえば、観測ベクトル462は、あらかじめ定めた角度範囲において走査してもよいし、地図データの領域ごとに走査してもよい。また、観測ベクトル462は、地図データD1中の障害物や3次元点の周辺毎に走査してもよい。
〈重みの算出(S40)〉
算出部120は、続いて、観測ベクトル462を所定の方向に走査して取得した奥行から、所定の方向すなわち回転方向θにおける奥行の変動量を算出する。図7Aは、障害物420と障害物430が存在する左領域456における、回転方向θに対する奥行DPの変動量を示している。また、図7Bは、障害物410が存在する右領域452における、回転方向θに対する奥行DPの変動量を示している。左領域456では、図7Aに示されるように、奥行DPの変動量は激しく変化している。一方、右領域452では、図7Bに示されるように、奥行DPの変動量は一定量で変化している。
算出部120は、さらに、算出した奥行DPの変動量に基づいて、地図中の各領域450における地図データD1と観測データD3の対応付けの重みを算出する。具体的には、算出部120は、奥行DPの変動量が大きい左領域456については、観測データD3との対応付けに有効でない領域でないとする重みを算出し、奥行DPの変動量が小さい右領域452については、観測データD3との対応付けに有効な領域であるとする重みを算出する。言い換えれば、算出部120は、奥行DPの変動量が大きい程、有効でない地図データとみなすような重みを算出し、奥行DPの変動量が小さい程、有効な地図データとみなすような重みを算出する。また、算出部120は、奥行DPの変動量が一定である場合、有効な地図データとみなすような重みを算出する。
左領域456のように複数の奥行DPが存在する場合、極端な場合には、仮想観測地点460として、図8Aに示されるように、手前側のみの障害物430が観測される仮想観測地点460aや、図8Bに示されるように、奥側のみの障害物420が観測される仮想観測地点460bが存在することがある。これにより、左領域456では、図9Aに示されるように、奥行DPの変動が激しい。一方、右領域452では、一定量の変化のため、図9Bに示されるように、仮想観測地点460の多少の変化では、奥行DPに大きな変化が現れない。このように、複数の奥行DPが存在する場合は、地図データ中の障害物420,430のいずれを観測しているか定めることが難しくなる場合がある。
前述したように、奥行の変動量に基づいて、対応付けの重みを算出することにより、地図データD1に基づく地図中の各領域が、対応付けに有効であるか否かを判定することができる。対応付けの重みの算出は、具体的には、回転方向θに対する奥行DPの微分値や変動回数、関数あてはめの誤差等を用いればよい。重みの高低については、後述する対応付けにおいて、地図データD1と観測データD3の一致度と誤差のいずれを評価するかに対応させて、大小関係を適切に反転させる。
ここまで、ただ1つの仮想観測地点460について、一度の走査により対応付けの重みを算出する形態を示したが、複数の仮想観測地点を設定し、各仮想観測地点について算出した重みを統合する形態であってもよい。さらに、複数の走査方向に対する重みを算出し、それを統合する形態でもよい。統合の方法は、観測地点ごとでもよいし、地図データの特定の位置に対する重みを統合してもよい。さらに、走査する際の奥行を取得する間隔や計測範囲を複数変更して重みを算出する形態でもよい。地図データから取得した奥行に、移動体に搭載されるセンサの誤差を模擬して付与する形態でもよい。
ここまで、ただ1つの仮想観測地点460を設定し、その仮想観測地点460について、ただ1つの走査方向に対する重みを算出する形態を示したが、複数の仮想観測地点を設定し、各仮想観測地点について算出した重みを統合する形態でもよい。さらに、複数の走査方向に対する重みを算出し、それを統合する形態でもよい。統合の方法は、仮想観測地点ごとでもよいし、地図データの特定の位置に対する重みを統合してもよい。さらに、走査する際の奥行を取得する間隔や計測範囲を複数変更して重みを算出する形態でもよい。地図データから取得した奥行に、観測部130内の距離センサの誤差を模擬して付与する形態でもよい。
〈重みの具体例〉
ここで、奥行の変動量を走査する所定の方向と、算出する重みの具体例を述べる。
ポールや柵のように、一定の間隔で同じ形状と隙間が繰り返される対象の場合、繰り返し方向に対する移動の推定誤差が大きくなる。そこで、繰り返し方向における奥行の変動を走査することで、対応付けの重みに反映する。こうした形状の場合でも、奥行方向等、繰り返し方向と異なる方向においては位置推定に有用な場合がある。そこで、複数の方向に走査し、繰り返し形状か否かの重みを算出する構成も可能である。
対象が、植え込みや生垣のような植物の場合、枝葉に隙間があるため、植物を観測した範囲の各観測ベクトルで異なる奥行が観測されることにより、奥行方向に植え込み分の幅を持つ。そこで、観測方向に対して奥行の分散を重みとして用いる。これにより、複数の奥行が観測できる物体か否かに対応した重みとする。
後述する対応付けを評価する領域の大きさや、観測ベクトルの解像度によっては、ゴミや廃材のように異なる形状の物体が雑多にある環境や、ねじ等の細かな部品が山積みされている工場、複数のフェンスが重なって観測される環境のように、解像度よりも細かい変動が生じうる場合は奥行方向に分散を考慮する。
倉庫内を移動する場合、荷物が移動する場合や、袋や布のように荷物の形状自体が変化することで、棚に収納されている荷物により位置精度が悪化する場合がある。そこで、配置図や別の既知の処理で検出した棚の配置に基づいて、棚の整列方向に対して走査することで荷物に対する重みを算出する。荷物を収納できる領域全体に一括して重みを算出するよりも、荷物の配置ごとに重みを算出できる。また、形状については袋や布のような奥行に細かなうねりがある対象の重みを算出してもよく、箱や棚のような平面の多い対象に重みを算出してもよい。
水平面を観測する距離センサを用いて、水平面に対して斜めになっている土手や建物の壁面を観測する場合、同じ地点から観測していても、移動体のローリング角等の姿勢変化により観測面の角度が変わり、対象における観測する高さが変化すると奥行が変動する。そこで鉛直方向に対する奥行の変動量を用いる。これにより、水平面から傾きに対応した重みとする。同様に、特定の平面内での距離を観測する場合、観測平面に対する法線方向について対象が傾いているか否かを奥行の変動量から算出し、重みとする。
〈周辺の観測(S50)〉
次に、観測部130が、移動体200の周辺の環境を観測し、観測データD3を取得する。観測部130は、地図データD1が表現する障害物410,420,430の形状を観測できることが好ましい。たとえば、本実施形態では、距離センサを用いて、移動体200の自己位置からの各方向における障害物410,420,430までの距離を観測し、図10に示されるように、移動体200の周辺の障害物410,420,430の形状を観測点530の集合として観測データD3を取得する。移動体200の自己位置510は、移動体200の位置座標512と、移動体200の移動方向514を含んでいる。観測データD3の取得方法は、カメラ画像を用いて観測できる物体の属性を推定し、その属性の典型的な形状モデルを用いて観測データを取得する方法や、幾何的な拘束を用いて移動体からの距離を推定する方法があり、この限りではない。
〈自己位置の推定(S60)〉
次に、推定部140が、地図データD1と観測データD3を重みデータD2に基づいて対応付けることにより、観測データD3を取得した移動体200の地図中における自己位置を推定する。対応付けに用いる手法は、対応付けの重みを算出した領域450ごとに、地図データD1と観測データD3の一致度または誤差を評価できるような手法であることが好ましい。
たとえば、重みを3次元点毎に算出した場合はIterative Closest Point (ICP)、重みをグリッドのセルごとに算出した場合はNormal Distributions Transform(NDT)による対応付けを用いることができる。対応付けに用いる単位が、重みを算出した領域と異なる場合でも、対応する領域を参照すればよく、必ずしも領域450が対応付けの手法と一致する必要はない。対応付けの重みは、対応付けを評価する単位ごとの相対的な重みとして用いてもよいし、適当な閾値を用いて対応付けを評価する単位の選択に用いてもよい。地図データD1と観測データD3が対応付けられると、観測データD3を尤もらしく再現する地図データD1に基づく地図における移動体200の自己位置が推定される。
重みデータD2に基づく地図データD1と観測データD3の対応付けは、地図データD1に基づく物体と観測データD3に基づく物体を位置合わせすることによりおこなわれる。具体的には、観測データD3に含まれる観測点530の位置を、地図データD1中の障害物410,420,430の位置に合わせることによりおこなわれる。その際、複数の観測点530の位置合わせがおこなわれるが、対応付けの重みの高い領域が優先される。
図11は、地図データD1に基づく地図と、観測データD3に含まれる複数の観測点530を示している。また、図12は、複数の観測点530が地図中の障害物410,420,430に位置合わせされる様子を示している。図12において、対応付けの重みの高さが矢印の幅で表現されている。位置合わせの結果、図13に示されるように、地図データD1に基づく地図中における移動体200の自己位置510すなわち移動体200の位置座標512と移動体200の移動方向514が変更される。推定部140は、変更された移動体200の位置座標512と移動体200の移動方向514を、移動体200の自己位置510と推定する。
〈自己位置の出力(S70)〉
続いて、推定部140は、推定した移動体200の自己位置510の情報を、自己位置データD4として出力する。つまり、自己位置データD4は、地図データD1と、地図データD1に基づく地図に対する相対的な移動体200の位置座標512と移動方向514の情報とを含んでいる。
〔自動運転〕
自己位置推定装置100から出力される自己位置データD4は、移動体200の自動運転に利用される。図14は、移動体200の構成例を示した図である。図15は、移動体200のブロック図である。たとえば、移動体200は、走行方向(矢印X方向)に走行する。
移動体200は、自己位置推定装置100と、出力装置210と、入力装置230と、動力制御装置240と、動力装置250とを備えている。自己位置推定装置100と出力装置210と入力装置230と動力制御装置240は、バスを介して接続されている。
出力装置210は、各種の出力情報を出力する。出力装置210は、たとえば、出力情報を送信する通信機能、出力情報を表示する表示機能、出力情報を示す音を出力する音出力機能を有している。たとえば、出力装置210は、通信装置212と、ディスプレイ214と、スピーカ216を含んでいる。
入力装置230は、ユーザからの各種指示や情報入力を受け付ける。入力装置230は、たとえば、マウスやトラックボール等のポインティングデバイス、あるいはキーボード等の入力デバイスである。
動力装置250は、移動体200を駆動する装置である。動力装置250は、たとえば、エンジンやモータ、車輪、アクセル装置、ブレーキ装置、操舵装置等を有している。
動力制御装置240は、動力装置250を制御する。動力装置250は、動力制御装置240の制御によって駆動する。たとえば、動力制御装置240は、自己位置推定装置100で生成された出力情報に基づいて、周辺の状況を判断し、アクセル量、ブレーキ量、操舵角などの制御をおこなう。たとえば、動力制御装置240は、障害物を避けて現在走行中の車線を保つように移動体200の制御をおこなう。
〔効果〕
以上、本実施形態によれば、所定の方向における奥行の変動量に基づいて移動体の周辺の観測データと地図データの対応付けの重みを算出することによって、移動体の自己位置の微小な変化に対して観測箇所が大きく変化する物体が存在する場合であっても、移動体の自己位置をロバストに推定することができる。
[第1の変形例]
算出部120の第1の変形例を示す。本変形例では、算出部120は、仮想観測地点は設定せず、地図データD1中の物体の表面の凹凸の形状を利用して重みを算出する。
算出部120は、地図データD1における障害物の表面形状を算出し、表面形状の凹凸,つまり法線方向から観測した際の奥行の変動量に基づいて、地図データD1と観測データD3の対応付けの重みを算出する。ここで、表面形状は法線方向を取得できれば任意である。たとえば、NDTの場合、図16に示すように、地図データD1に基づく地図610をグリッドに区切り、各セル620に含まれる障害物の3次元点群の分布をガウス分布で近似する。ガウス分布で近似された障害物630,640は、ガウス分布の共分散の固有値とその固有ベクトルにより、点の広がりの方向とその分布が表現される。
図17は、ガウス分布で近似された物体650を説明するための図である。ガウス分布で近似された物体650は、最大固有値に対する固有ベクトル652と、最小固有値に対する固有ベクトル654を有している。
最大固有値と最小固有値の比を用いて、ガウス分布で定義される点の広がりが得られる。ここでは、ガウス分布の中心からの距離を奥行とする。これにより、法線方向には広がりが少ない平らな障害物630か、各方向に広がりがあり等方に点が分布している形状の障害物640か判定できる。これにより、植物のような枝葉に隙間がある障害物が地図データに含まれる場合でも、点が等方に広がっている形状を判定することにより,自己位置が微小に変化することで奥行の変動量が大きくなる対象として重みを算出することができる。
ここでは、セル620ごとに、ガウス分布により点の広がりを算出する方法について述べたが、障害物の凹凸形状が算出できれば、この限りではない。たとえば、障害物毎に仮想観測地点をその障害物の周りを移動させる構成でもよいし、平面当てはめにより法線と平面までの距離を求めてもよい。凹凸形状の判定方向も,法線方向に限ったことではない。
本変形例では、地図データD1における障害物の表面の法線方向に奥行を設定する。仮想観測地点を設定する第1の実施形態とは異なり、重みを算出するセル620ごとに適切な方向に点の広がりを評価するため、移動体200の自己位置をロバストに推定することができる。
[第2の変形例]
算出部120の第2の変形例を示す。本変形例では、算出部120は、地図データD1に仮想モデルをあてはめ、仮想モデルを基準とした奥行の変動量を用いて重みを算出する。以下、図18A~図18Cを参照しながら、本変形例による重みの算出について説明する。
まず、算出部120は、図18Aに示されるように、仮想観測地点460において想定形状710を設定する。想定形状710は、仮想観測地点460の周辺において、想定される障害物の形状である。ここでは、想定形状710は、仮想観測地点460が水平面712上にあり、周辺の障害物が水平面に垂直な鉛直面714,716を有しているものとして想定されている。
人工物が多い環境や、室内の地図データを用いる場合には、想定される障害物の形状を利用する。地図データに存在すると想定される形状を設定できれば、この限りではなく、高度が利用できる場合には、傾いた路面の形状を用いる構成や、典型的な障害物のモデルを配置する構成でもよい。
次に、算出部120は、図18Bに示されるように、想定形状710上の点720をサンプリングする。これらの点720は、後述する奥行を取得する点に対応する。サンプリングは、適当な等間隔でおこなってもよいし、想定形状710の特徴的な領域たとえばエッジ部分などに応じて密度を変えてもよい。
続いて、算出部120は、図18Cに示されるように、サンプリングした各点720毎に、移動体200の周辺の地図データD1を参照して奥行を取得する。ここでは、奥行は、サンプリングした点720から、地図データD1における障害物の実際形状750までの距離である。実際形状750は、水平面752と鉛直面754と傾斜面756を有している。奥行の取得は、サンプリングした点720から実際形状750までの距離を算出することによりおこなわれる。奥行の方向は、これに限らないが、たとえば、鉛直面714,716の法線方向である。さらに、算出部120は、想定形状710の表面に沿ってサンプリングした点720を走査することにより、奥行の変動量を取得する。
次に、算出部120は、サンプリングした各点720における奥行の変動量に基づいて、対応付けの重みを算出する。重みの算出は、サンプリングした点720毎におこなってもよいし、地図データにおける領域毎におこなってもよい。
これにより、想定形状から外れた地図データの対応付けの重みを変更できるため、あらかじめ有効な形状を指定して、対応付けの重みを算出することにより、移動体200の自己位置をロバストに推定することができる。
[第2の実施形態]
図19は、第2の実施形態に係る自己位置推定装置100Aの構成を示す図である。図19において、図1に示された要素と同一の参照符号が付された要素は同様の部材であり、その詳しい要素は省略する。以下、相違部分に重点をおいて説明する。つまり、以下の説明で触れない部分は、第1の実施形態と同様である。
第2の実施形態に係る自己位置推定装置100Aでは、取得部110と算出部120は移動体200の外部に設けられている。たとえば、取得部110と算出部120は、クラウド上で処理を実行するクラウドサーバに搭載される。
自己位置推定装置100Aは、第1の実施形態に係る自己位置推定装置100の要素に加えて、更新部160を備えている。更新部160は、観測部130から観測データD3を取得し、取得した観測データD3に基づいて地図データD1を更新するように構成されている。更新部160は、更新された地図データを更新地図データD5として取得部110に出力ように構成されている。
取得部110は、更新部160から更新地図データD5を取得し、これを新たな地図データD1として算出部120に出力する。算出部120は、入力された新たな地図データD1から、新たな地図データD1と観測データD3の対応付けの重みを算出する。対応付けの重みの算出の手法は、第1の実施形態と同様である。
更新部160は、たとえば、観測部130によって新たに観測された地図データD1の範囲外の観測データD3を取得し、これを地図データD1に統合することにより、地図データD1の範囲を拡大するように構成される。更新部160はまた、たとえば、地図データD1の一部の物体が消失したことが観測された場合に、その物体のデータを地図データD1から削除するように構成される。更新部160の構成は、地図データD1を変更する処理をおこなえれば、この限りではない。
さらに、更新部160が取得する観測データは、複数のセンサによって取得された観測データであってもよく、これにより、より効率良く地図データD1を更新することが可能である。また、地図データD1に基づく地図中における移動体200の位置は、自己位置推定装置100Aの対応付けの重みを用いて推定してもよいし、他のセンサを用いて推定した結果を用いて推定してもよい。
本実施形態に係る自己位置推定装置100Aでは、取得部110は、更新された更新地図データD5が更新部160から入力されるたびに、入力された更新地図データD5を新たな地図データD1として算出部120に出力し、算出部120は、新たな地図データD1が入力されるたびに、地図データD1と観測データD3の対応付けの重みを算出する。
第1の実施形態では、あらかじめ定めた重みの算出法を用いるが、本実施形態では、更新に用いた観測データを利用して算出法を変更することができる。たとえば、更新に用いた観測データD3の観測位置を仮想観測位置に設定したり、観測データD3の解像度を奥行の取得の解像度に設定したりすることができる。
これにより、与えられた地図データD1を用いて対応付けの重みを算出する第1の実施形態に係る自己位置推定装置100とは異なり、本実施形態に係る自己位置推定装置100Aは、随時更新される地図データD1を用いて対応付けの重みを算出するため、現在の環境に即した対応付けの重みを算出することができる。更新後の地図データにおける対応付けの重みを用いて、地図データD1と観測データD3の対応付けをおこなうため、地図データD1における移動体200の自己位置をよりロバストに推定することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
100,100A…自己位置推定装置、110…取得部、120…算出部、130…観測部、140…推定部、150…記憶部、160…更新部、200…移動体、210…出力装置、212…通信装置、214…ディスプレイ、216…スピーカ、230…入力装置、240…動力制御装置、250…動力装置、310…植物、320…土手、410,420,430…障害物、412,422,432…交点、450…領域、452…右領域、454…中央領域、456…左領域、460,460a,460b…仮想観測地点、462…観測ベクトル、510…自己位置、512…位置座標、514…移動方向、530…観測点、620…セル、630,640…障害物、650…物体、652,654…固有ベクトル、710…想定形状、712…水平面、714,716…鉛直面、720…点、750…実際形状、752…水平面、754…鉛直面、756…傾斜面、D1…地図データ、D2…重みデータ、D3…観測データ、D4…自己位置データ、D5…更新地図データ。

Claims (9)

  1. 地図中における移動体の位置を推定する自己位置推定装置であって、
    地図データを取得する取得部と、
    前記移動体の周辺の観測データを取得する観測部と、
    前記地図データに設定した仮想観測地点を始点とする観察ベクトルの走査方向に対する前記仮想観測地点から障害物までの距離である奥行の変動量に基づいて、前記観測データと前記地図データの位置合わせにおける前記地図データの有効度を示す指標である重みを算出する算出部と
    前記重みに基づいて、前記地図データと前記観測データを位置合わせすることにより、前記地図中における前記移動体の位置を推定する推定部とを備え
    前記算出部は、前記変動量が大きい程、有効でない地図データとみなすような重みを算出する、自己位置推定装置。
  2. 地図中における移動体の位置を推定する自己位置推定装置であって、
    地図データを取得する取得部と、
    前記移動体の周辺の観測データを取得する観測部と、
    前記地図データにおける障害物の表面の凹凸による奥行の変動量に基づいて、前記観測データと前記地図データの位置合わせにおける前記地図データの有効度を示す指標である重みを算出する算出部と
    前記重みに基づいて、前記地図データと前記観測データを位置合わせすることにより、前記地図中における前記移動体の位置を推定する推定部とを備え
    前記算出部は、前記変動量が大きい程、有効でない地図データとみなすような重みを算出する、自己位置推定装置。
  3. 前記地図データを更新する更新部をさらに備え、
    前記取得部は、更新された地図データを取得し、
    前記算出部は、前記更新された地図データを前記取得部が取得すると、前記重みを算出する、請求項1または請求項2に記載の自己位置推定装置。
  4. 前記算出部は、前記変動量が小さい程、有効な地図データとみなすような重みを算出する、請求項1から請求項までのいずれかひとつに記載の自己位置推定装置。
  5. 前記算出部は、前記変動量が一定である場合、有効な地図データとみなすような重みを算出する、請求項1から請求項までのいずれかひとつに記載の自己位置推定装置。
  6. 前記算出部は、前記奥行の変動量に加えて、前記観測データに基づいて、前記重みを算出する、請求項1から請求項5までのいずれかひとつに記載の自己位置推定装置。
  7. 地図中における移動体の位置を推定する自己位置推定方法であって、
    地図データを取得するステップと、
    前記移動体の周辺の観測データを取得するステップと、
    前記地図データに設定した仮想観測地点を始点とする観察ベクトルの走査方向に対する前記仮想観測地点から障害物までの距離である奥行の変動量に基づいて、前記観測データと前記地図データの位置合わせにおける前記地図データの有効度を示す指標である重みを算出するステップと
    前記重みに基づいて、前記地図データと前記観測データを位置合わせすることにより、前記地図中における前記移動体の位置を推定するステップとを有し、
    前記重みを算出するステップは、前記変動量が大きい程、有効でない地図データとみなすような重みを算出する、自己位置推定方法。
  8. 地図中における移動体の位置を推定する自己位置推定方法であって、
    地図データを取得するステップと、
    前記移動体の周辺の観測データを取得するステップと、
    前記地図データにおける障害物の表面の凹凸である奥行の変動量に基づいて、前記観測データと前記地図データの位置合わせにおける前記地図データの有効度を示す指標である重みを算出するステップと
    前記重みに基づいて、前記地図データと前記観測データを位置合わせすることにより、前記地図中における前記移動体の位置を推定するステップとを有し、
    前記重みを算出するステップは、前記変動量が大きい程、有効でない地図データとみなすような重みを算出する、自己位置推定方法。
  9. 請求項1から請求項までのいずれかひとつに記載の自己位置推定装置の各要素の機能または請求項または請求項に記載の自己位置推定方法の各ステップの処理をコンピュータに実行させるプログラム。
JP2019048720A 2019-03-15 2019-03-15 自己位置推定装置 Active JP7039514B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019048720A JP7039514B2 (ja) 2019-03-15 2019-03-15 自己位置推定装置
US16/554,669 US10914840B2 (en) 2019-03-15 2019-08-29 Self position estimation apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019048720A JP7039514B2 (ja) 2019-03-15 2019-03-15 自己位置推定装置

Publications (2)

Publication Number Publication Date
JP2020148730A JP2020148730A (ja) 2020-09-17
JP7039514B2 true JP7039514B2 (ja) 2022-03-22

Family

ID=72422427

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019048720A Active JP7039514B2 (ja) 2019-03-15 2019-03-15 自己位置推定装置

Country Status (2)

Country Link
US (1) US10914840B2 (ja)
JP (1) JP7039514B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7401273B2 (ja) * 2019-11-26 2023-12-19 日立Astemo株式会社 移動体の制御装置及び方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007047271A (ja) 2005-08-08 2007-02-22 Denso Corp 地図情報更新システム
JP2010127619A (ja) 2008-11-25 2010-06-10 Nec Corp 情報提示装置、情報提示システム、情報提示方法、及びプログラム
WO2018221454A1 (ja) 2017-05-31 2018-12-06 パイオニア株式会社 地図作成装置、制御方法、プログラム及び記憶媒体
JP2018200501A (ja) 2017-05-25 2018-12-20 日産自動車株式会社 車線情報出力方法および車線情報出力装置
JP2019040459A (ja) 2017-08-25 2019-03-14 トヨタ自動車株式会社 自動運転装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107408356B (zh) * 2015-03-16 2020-02-28 三菱电机株式会社 地图显示控制装置及地图的自动滚动方法
JP6889561B2 (ja) 2017-01-20 2021-06-18 パイオニア株式会社 自車位置推定装置、制御方法、プログラム及び記憶媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007047271A (ja) 2005-08-08 2007-02-22 Denso Corp 地図情報更新システム
JP2010127619A (ja) 2008-11-25 2010-06-10 Nec Corp 情報提示装置、情報提示システム、情報提示方法、及びプログラム
JP2018200501A (ja) 2017-05-25 2018-12-20 日産自動車株式会社 車線情報出力方法および車線情報出力装置
WO2018221454A1 (ja) 2017-05-31 2018-12-06 パイオニア株式会社 地図作成装置、制御方法、プログラム及び記憶媒体
JP2019040459A (ja) 2017-08-25 2019-03-14 トヨタ自動車株式会社 自動運転装置

Also Published As

Publication number Publication date
US20200292704A1 (en) 2020-09-17
JP2020148730A (ja) 2020-09-17
US10914840B2 (en) 2021-02-09

Similar Documents

Publication Publication Date Title
CN110832279B (zh) 对准由自主车辆捕获的数据以生成高清晰度地图
EP3367199B1 (en) Moving robot and method of controlling the same
US6728608B2 (en) System and method for the creation of a terrain density model
Wang et al. Intelligent vehicle self-localization based on double-layer features and multilayer LIDAR
CN108663681A (zh) 基于双目摄像头与二维激光雷达的移动机器人导航方法
CN104714547A (zh) 带有相机的自主园林车辆
WO2019041755A1 (zh) 清洁机器人控制方法和清洁机器人
US11568559B2 (en) Localization of a surveying instrument
CN102831646A (zh) 一种基于扫描激光的大尺度三维地形建模方法
CN111862215B (zh) 一种计算机设备定位方法、装置、计算机设备和存储介质
CN111862214B (zh) 计算机设备定位方法、装置、计算机设备和存储介质
JP6435781B2 (ja) 自己位置推定装置及び自己位置推定装置を備えた移動体
CN114119920A (zh) 三维点云地图构建方法、系统
CN113566808A (zh) 一种导航路径规划方法、装置、设备以及可读存储介质
CN110220517A (zh) 一种结合环境语意的室内机器人鲁棒slam方法
Schulz et al. Efficient map representations for multi-dimensional normal distributions transforms
JP7039514B2 (ja) 自己位置推定装置
Fournier et al. Mapping and exploration of complex environments using persistent 3D model
JP2009198382A (ja) 環境地図取得装置
Guo et al. Occupancy grid based urban localization using weighted point cloud
KR101242253B1 (ko) 지형분류 기반 고도 지도 작성 방법
US20230316567A1 (en) Localization of a surveying instrument
Dehbi et al. Improving gps trajectories using 3d city models and kinematic point clouds
Dupuis et al. TOWARDS AUTONOMOUS LONG-RANGE NAVIGATION ‘ISAIRAS 2005 CONFERENCE’, MUNICH, 5-8 SEPTEMBER 2005
Kita et al. 3D map building using mobile robot with scan device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200907

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210907

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20211105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220309

R151 Written notification of patent or utility model registration

Ref document number: 7039514

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151