JP7298536B2 - 物体認識装置 - Google Patents
物体認識装置 Download PDFInfo
- Publication number
- JP7298536B2 JP7298536B2 JP2020080182A JP2020080182A JP7298536B2 JP 7298536 B2 JP7298536 B2 JP 7298536B2 JP 2020080182 A JP2020080182 A JP 2020080182A JP 2020080182 A JP2020080182 A JP 2020080182A JP 7298536 B2 JP7298536 B2 JP 7298536B2
- Authority
- JP
- Japan
- Prior art keywords
- detection
- detection points
- point
- unit
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Traffic Control Systems (AREA)
Description
本開示は物体認識装置に関する。
物体認識装置が特許文献1に開示されている。物体認識装置は、レーザレーダ等を用いて物体を認識する。
物体認識装置は、レーザレーダ等を用いて取得した検出点を用いて物体を認識する。取得した検出点の中に、空間浮遊物等に起因する検出点が含まれることがある。この場合、物体を正確に認識することが困難になる。本開示の1つの局面では、空間浮遊物等に起因する検出点が物体の認識に用いられることを抑制できる物体認識装置を提供することが好ましい。
(1)本開示の1つの局面は、センサ(31)を用いて、複数の方位における検出点(33)を取得するように構成された検出点取得ユニット(7)と、前記検出点取得ユニットが取得した前記検出点の少なくとも一部を用いて物体を認識するように構成された物体認識ユニット(9)と、を備える物体認識装置(1)である。
本開示の1つの局面である物体認識装置は、複数の前記検出点のそれぞれについて、以下で定義する立体点条件を充足するか否かを判断するように構成された立体点判断ユニット(11)と、複数の前記検出点のそれぞれについて、以下で定義する検出点数を算出するように構成された検出点数算出ユニット(13)と、複数の前記検出点のそれぞれについて、以下で定義する欠落検出点が多いほど高くなる不連続性指標を算出するように構成された不連続性指標算出ユニット(15)と、前記検出点取得ユニットが取得した前記検出点から、前記立体点条件を充足しない前記検出点、前記検出点数が閾値以下である前記検出点、及び、前記不連続性指標が閾値以上である前記検出点を除外する除外ユニット(19)と、を備える。
前記物体認識ユニットは、前記検出点取得ユニットが取得した前記検出点のうち、前記除外ユニットにより除外されなかった前記検出点を用いて、前記物体を認識するように構成されている。
立体点条件:前記立体点条件を充足するか否かの判断対象である前記検出点(43)を含む所定の領域(45)内に、高さが異なる他の前記検出点が存在する。
検出点数:前記検出点数を算出する対象となる前記検出点(43)を含む所定の領域(47)内に存在する前記検出点の数。
検出点数:前記検出点数を算出する対象となる前記検出点(43)を含む所定の領域(47)内に存在する前記検出点の数。
欠落検出点:前記不連続性指標の算出対象である前記検出点(43)を含む所定の基準領域(47)に存在するいずれか2つの前記検出点を第1の検出点及び第2の検出点としたとき、前記第1の検出点の前記方位と、前記第2の検出点の前記方位との間の前記方位にあり、前記基準領域の外にある前記検出点。
本開示の1つの局面である物体認識装置は、空間浮遊物等に起因する検出点が物体の認識に用いられることを抑制できる。
(2)本開示の別の局面は、センサ(31)を用いて、複数の方位における検出点(33)を取得するように構成された検出点取得ユニット(7)と、前記検出点取得ユニットが取得した前記検出点の少なくとも一部を用いて物体を認識するように構成された物体認識ユニット(9)と、を備える物体認識装置(1)である。
(2)本開示の別の局面は、センサ(31)を用いて、複数の方位における検出点(33)を取得するように構成された検出点取得ユニット(7)と、前記検出点取得ユニットが取得した前記検出点の少なくとも一部を用いて物体を認識するように構成された物体認識ユニット(9)と、を備える物体認識装置(1)である。
本開示の別の局面である物体認識装置は、複数の前記検出点のそれぞれについて、以下で定義する立体点条件を充足するか否かを判断するように構成された立体点判断ユニット(11)と、複数の前記検出点のそれぞれについて、以下で定義する検出点数を算出するように構成された検出点数算出ユニット(13)と、複数の前記検出点のそれぞれについて、以下で定義する不規則性指標を算出するように構成された不規則性指標算出ユニット(17)と、前記検出点取得ユニットが取得した前記検出点から、前記立体点条件を充足しない前記検出点、前記検出点数が閾値以下である前記検出点、及び、前記不規則性指標が閾値以上である前記検出点を除外する除外ユニット(19)と、を備える。
前記物体認識ユニットは、前記検出点取得ユニットが取得した前記検出点のうち、前記除外ユニットにより除外されなかった前記検出点を用いて、前記物体を認識するように構成されている。
立体点条件:前記立体点条件を充足するか否かの判断対象である前記検出点(43)を含む所定の領域(45)内に、高さが異なる他の前記検出点が存在する。
検出点数:前記検出点数を算出する対象となる前記検出点(43)を含む所定の領域(47)内に存在する前記検出点の数。
検出点数:前記検出点数を算出する対象となる前記検出点(43)を含む所定の領域(47)内に存在する前記検出点の数。
不規則性指標:前記不規則性指標の算出対象である前記検出点(43)を含む所定の範囲(47)内に存在する前記検出点の位置の不規則性が高いほど大きい指標。
本開示の別の局面である物体認識装置は、空間浮遊物等に起因する検出点が物体の認識に用いられることを抑制できる。
本開示の別の局面である物体認識装置は、空間浮遊物等に起因する検出点が物体の認識に用いられることを抑制できる。
(3)本開示の別の局面は、センサ(31)を用いて、複数の方位における検出点(33)を取得するように構成された検出点取得ユニット(7)と、前記検出点取得ユニットが取得した前記検出点の少なくとも一部を用いて物体を認識するように構成された物体認識ユニット(9)と、を備える物体認識装置(1)である。
本開示の別の局面である物体認識装置は、複数の前記検出点のそれぞれについて、以下で定義する立体点条件を充足するか否かを判断するように構成された立体点判断ユニット(11)と、複数の前記検出点のそれぞれについて、以下で定義する検出点数を算出するように構成された検出点数算出ユニット(13)と、複数の前記検出点のそれぞれについて、以下で定義する欠落検出点が多いほど高くなる不連続性指標を算出するように構成された不連続性指標算出ユニット(15)と、複数の前記検出点のそれぞれについて、以下で定義する不規則性指標を算出するように構成された不規則性指標算出ユニット(17)と、前記検出点取得ユニットが取得した前記検出点から、前記立体点条件を充足しない前記検出点、前記検出点数が閾値以下である前記検出点、前記不連続性指標が閾値以上である前記検出点、及び、前記不規則性指標が閾値以上である前記検出点を除外する除外ユニット(19)と、を備える。
前記物体認識ユニットは、前記検出点取得ユニットが取得した前記検出点のうち、前記除外ユニットにより除外されなかった前記検出点を用いて、前記物体を認識するように構成されている。
立体点条件:前記立体点条件を充足するか否かの判断対象である前記検出点(43)を含む所定の領域(45)内に、高さが異なる他の前記検出点が存在する。
検出点数:前記検出点数を算出する対象となる前記検出点(43)を含む所定の領域(47)内に存在する前記検出点の数。
検出点数:前記検出点数を算出する対象となる前記検出点(43)を含む所定の領域(47)内に存在する前記検出点の数。
欠落検出点:前記不連続性指標の算出対象である前記検出点(43)を含む所定の基準領域(47)に存在するいずれか2つの前記検出点を第1の検出点及び第2の検出点としたとき、前記第1の検出点の前記方位と、前記第2の検出点の前記方位との間の前記方位にあり、前記基準領域の外にある前記検出点。
不規則性指標:前記不規則性指標の算出対象である前記検出点(43)を含む所定の範囲(47)内に存在する前記検出点の位置の不規則性が高いほど大きい指標。
本開示の別の局面である物体認識装置は、空間浮遊物等に起因する検出点が物体の認識に用いられることを抑制できる。
本開示の別の局面である物体認識装置は、空間浮遊物等に起因する検出点が物体の認識に用いられることを抑制できる。
本開示の例示的な実施形態について図面を参照しながら説明する。
<第1実施形態>
1.物体認識装置1の構成
物体認識装置1の構成を、図1及び図2に基づき説明する。物体認識装置1は、例えば、車両に搭載される。物体認識装置1は、CPU3と、例えば、RAM又はROM等の半導体メモリ(以下、メモリ5とする)と、を有するマイクロコンピュータを備える。
<第1実施形態>
1.物体認識装置1の構成
物体認識装置1の構成を、図1及び図2に基づき説明する。物体認識装置1は、例えば、車両に搭載される。物体認識装置1は、CPU3と、例えば、RAM又はROM等の半導体メモリ(以下、メモリ5とする)と、を有するマイクロコンピュータを備える。
物体認識装置1の各機能は、CPU3が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ5が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、物体認識装置1は、1つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。
物体認識装置1は、図2に示すように、検出点取得ユニット7と、物体認識ユニット9と、立体点判断ユニット11と、検出点数算出ユニット13と、不連続性指標算出ユニット15と、不規則性指標算出ユニット17と、除外ユニット19と、立体面再判断ユニット21と、を備える。なお、立体面再判断ユニット21は、クラスタ形成ユニット及び無効化ユニットに対応する。
図1に示すように、物体認識装置1は、センサ31と接続している。センサ31は、例えば、ライダーである。センサ31は、ライダー以外のセンサであってもよい。ライダー以外のセンサとして、例えば、カメラ、ミリ波レーダ等が挙げられる。カメラとして、例えば、ステレオカメラ、単眼カメラ等が挙げられる。センサ31は、例えば車両に搭載されている。センサ31は、例えば、車両の周囲に存在する物体を検出する。センサ31は、検出結果を表す信号を物体認識装置1に送る。
2.物体認識装置1が実行する処理
物体認識装置1が実行する処理を、図3~図12に基づき説明する。図3のステップ1では、検出点取得ユニット7が、センサ31を用いて測定を行い、複数の方位における検出点33を取得する。方位とは、センサ31を基準とする方位である。方位には、垂直方向での方位(以下では垂直方向方位とする)と、水平方向での方位(以下では水平方向方位42とする)とがある。それぞれの検出点33は、垂直方向方位と、水平方向方位42とを有する。
物体認識装置1が実行する処理を、図3~図12に基づき説明する。図3のステップ1では、検出点取得ユニット7が、センサ31を用いて測定を行い、複数の方位における検出点33を取得する。方位とは、センサ31を基準とする方位である。方位には、垂直方向での方位(以下では垂直方向方位とする)と、水平方向での方位(以下では水平方向方位42とする)とがある。それぞれの検出点33は、垂直方向方位と、水平方向方位42とを有する。
図4のF1に、取得した検出点33の例を示す。検出点33は、例えば、周辺車両35、路面37、路側物39、空間浮遊物41等からの反射により得られる。空間浮遊物41は、例えば、排気ガスに含まれる微粒子である。
ステップ2では、除外ユニット19が、前記ステップ1で取得した検出点33から、1つの検出点33を選定する。選定した検出点33を以下では判断対象点43とする。ステップ2の処理は、後述するステップ10で肯定判断がなされるまで繰り返し実行される。除外ユニット19が選定する検出点33は、過去のステップ2の処理において未だ判断対象点43として選定されていない検出点33である。
ステップ3では、直前の前記ステップ2で選定した判断対象点43が立体点条件を充足するか否かを立体点判断ユニット11が判断する。立体点条件を、図5に基づき説明する。立体点判断ユニット11は、判断対象点43を含む領域45を設定する。
領域45は、垂直方向及び水平方向における一定の幅を有する。立体点判断ユニット11は、領域45内に存在する、判断対象点43以外の検出点33(以下では領域内検出点33Aとする)を特定する。立体点判断ユニット11は、領域内検出点33Aのうち、判断対象点43とは垂直方向方位が異なるものの数Xを算出する。立体点条件は、例えば、Xが予め設定された閾値以上という条件である。
また、立体点条件は、高さ幅Wが予め設定された閾値以上という条件であってもよい。高さ幅Wは、領域内検出点33Aのうち、最も高いものと、最も低いものとの、垂直方向における距離である。
立体点条件は、領域45内に、判断対象点43とは高さが異なる他の検出点33が存在することに対応する。立体点条件が充足される場合、本処理はステップ4に進む。立体点条件が充足されない場合、本処理はステップ9に進む。
なお、ステップ3の処理は、後述するステップ10で肯定判断がなされるまで繰り返し実行される。ステップ3の処理の対象となる判断対象点43は、ステップ3の処理ごとに異なる。よって、立体点判断ユニット11は、前記ステップ1で取得された複数の検出点33のそれぞれについて、立体点条件を充足するか否かを判断する。
ステップ4では、検出点数算出ユニット13が、直前の前記ステップ2で選定した判断対象点43の検出点数を算出する。検出点数の算出方法を図6に基づき説明する。検出点数算出ユニット13は、判断対象点43を含む領域47を設定する。領域47は、水平方向における一定の広がりを有する。垂直方向から見たとき、領域47の形状は、例えば、矩形である。判断対象点43は、例えば、領域47の中心に位置する。
検出点数算出ユニット13は、垂直方向方位が判断対象点43と同じであって、水平方向での座標が領域47内に存在する検出点33(以下では領域内検出点33Bとする)を特定する。検出点数算出ユニット13は、領域内検出点33Bの数を検出点数とする。
なお、ステップ4の処理は、後述するステップ10で肯定判断がなされるまで繰り返し実行される。ステップ4の処理の対象となる判断対象点43は、ステップ4の処理ごとに異なる。よって、検出点数算出ユニット13は、複数の検出点33のそれぞれについて、検出点数を算出する。
ステップ5では、不連続性指標算出ユニット15が、直前の前記ステップ2で選定した判断対象点43の不連続性指標Dを算出する。不連続性指標Dの算出方法を、図7に基づき説明する。不連続性指標算出ユニット15は、前記ステップ4の処理で算出した領域内検出点33Bを使用する。
不連続性指標算出ユニット15は、判断対象点43及び領域内検出点33Bの方位番号を抽出する。なお、方位番号とは、センサ31が電磁波を照射する全ての水平方向方位42に付されている番号である。水平方向方位42が一定の方向Yに変化するにつれて、方位番号は大きくなる。任意の方位番号と、隣接する方位番号との差Δdは一定である。
図7に示す例では、抽出された方位番号は、i1、i2、i3、i4、i5である。i1とi2との間には、領域47内にない検出点33の方位番号が1つある。そのため、i1とi2との差は、2Δdである。また、i4とi5との間には、領域47内にない検出点33の方位番号が1つある。そのため、i4とi5との差は、2Δdである。
i2とi3との間には、抽出されなかった方位番号はない。そのため、i2とi3との差はΔdである。i3とi4との間には、抽出されなかった方位番号はない。そのため、i3とi4との差はΔdである。不連続性指標算出ユニット15は、式(1)により、不連続性指標Dを算出する。
nの値は、図7に示す事例では、1~4の自然数である。Nは、領域内検出点33Bの数と、判断対象点43の数との和である。図7に示す事例では、Nは5である。m(n、n+1)は、α×Δdである。αは、inとin+1との間にある、未観測点の方位番号の数である。未観測点の方位番号とは、検出点33が得られなかった水平方向方位42の方位番号である。γは定数の閾値である。
不連続性指標Dは、欠落検出点が多いほど高くなる指標である。欠落検出点とは、領域47に存在するいずれか2つの領域内検出点33Bを第1の検出点及び第2の検出点としたとき、第1の検出点の水平方向方位42と、第2の検出点の水平方向方位42との間の水平方向方位42にあり、領域47の外にある検出点33である。図7に示す事例では、方位番号がi1とi2との間である水平方向方位42にある検出点33と、方位番号がi4とi5との間である水平方向方位42にある検出点33とが、欠落検出点に該当する。
ステップ6では、不規則性指標算出ユニット17が、直前の前記ステップ2で選定した判断対象点43の不規則性指標Iを算出する。不規則性指標Iの算出方法を、図8に基づき説明する。不規則性指標算出ユニット17は、前記ステップ4の処理と同様に、領域47を設定する。また、不規則性指標算出ユニット17は、前記ステップ4の処理と同様に、領域内検出点33Bを特定する。
不規則性指標算出ユニット17は、回帰直線49を算出する。回帰直線49は、回帰誤差を最小にする直線である。回帰誤差とは、判断対象点43と直線との距離、及び、それぞれの領域内検出点33Bと直線との距離の二乗和である。不規則性指標Iは、直線が回帰直線49である場合の回帰誤差である。不規則性指標Iは、式(2)で表される。
dnは、判断対象点43及び領域内検出点33Bのうちのいずれか1つと回帰直線49との距離である。不規則性指標Iは、領域内検出点33Bの位置の不規則性が高いほど大きい指標である。
ステップ7では、直前の前記ステップ2で選定した判断対象点43が立体面条件を充足するか否かを除外ユニット19が判断する。立体面条件を充足するとは、以下のJ1~J3の全てを充足することである。
ステップ7では、直前の前記ステップ2で選定した判断対象点43が立体面条件を充足するか否かを除外ユニット19が判断する。立体面条件を充足するとは、以下のJ1~J3の全てを充足することである。
J1:前記ステップ4で算出した検出点数が予め設定された閾値を超える。
J2:前記ステップ5で算出した不連続性指標Dが予め設定された閾値未満である。
J3:前記ステップ6で算出した不規則性指標Iが予め設定された閾値未満である。
J2:前記ステップ5で算出した不連続性指標Dが予め設定された閾値未満である。
J3:前記ステップ6で算出した不規則性指標Iが予め設定された閾値未満である。
直前の前記ステップ2で選定した判断対象点43が立体面条件を充足する場合、本処理はステップ8に進む。直前の前記ステップ2で選定した判断対象点43が立体面条件を充足しない場合、本処理はステップ9に進む。
ステップ8では、除外ユニット19が、直前の前記ステップ2で選定した判断対象点43について、立体面フラグをオンにする。
ステップ9では、除外ユニット19が、直前の前記ステップ2で選定した判断対象点43について、立体面フラグをオフにする。
ステップ9では、除外ユニット19が、直前の前記ステップ2で選定した判断対象点43について、立体面フラグをオフにする。
図4のF2に、立体面フラグをオン又はオフにした事例を示す。33Cは、立体面フラグがオンである検出点33である。33Dは、立体面フラグがオフである検出点33である。周辺車両35からの反射により得られる検出点33に比べて、路面37からの反射により得られる検出点33、及び、空間浮遊物41からの反射により得られる検出点33は、立体面フラグがオフになり易い。
ステップ10では、前記ステップ1で取得した全ての検出点33を前記ステップ2で判断対象点43として選定し終えたか否かを、除外ユニット19が判断する。全ての検出点33を判断対象点43として選定し終えた場合、本処理はステップ11に進む。いずれかの検出点33を未だ判断対象点43として選定していない場合、本処理はステップ2に進む。
ステップ11では、立体面再判断ユニット21が立体面再判断を行う。この処理を、図9~図12に基づき説明する。図9のステップ21では、立体面再判断ユニット21が、前記ステップ1で取得した検出点33の垂直方向方位の中から、1つの垂直方向方位を選定する。ステップ21の処理は、後述するステップ39で肯定判断がなされるまで繰り返し実行される。立体面再判断ユニット21が選定する垂直方向方位は、過去のステップ21の処理において未だ選定されていない垂直方向方位である。
ステップ22では、立体面再判断ユニット21が、着目点を選定する。着目点は、直前の前記ステップ21で選定した垂直方向方位にある1つの検出点33である。ステップ22の処理は、後述するステップ39で肯定判断がなされるまで繰り返し実行される。立体面再判断ユニット21が選定する着目点は、過去のステップ22の処理において未だ選定されていない検出点33である。立体面再判断ユニット21は、順次選定する着目点の水平方向方位42が、図11に示す方向Yに変化するように、着目点を選定する。
ステップ23では、直前の前記ステップ22で選定された着目点の立体面フラグがオンであるか否かを立体面再判断ユニット21が判断する。着目点の立体面フラグがオンである場合、本処理はステップ24に進む。着目点の立体面フラグがオフである場合、本処理はステップ29に進む。
ステップ24では、立体面クラスタが存在するか否かを立体面再判断ユニット21が判断する。立体面クラスタとは、検出点33の集合である。立体面クラスタが存在する場合、本処理はステップ25に進む。立体面クラスタが存在しない場合、本処理はステップ27に進む。
ステップ25では、直前の前記ステップ22で選定された着目点と立体面クラスタとが接続可能であるか否かを立体面再判断ユニット21が判断する。着目点と立体面クラスタとが接続可能であるとは、着目点と、立体面クラスタに含まれるいずれかの検出点33との距離が予め設定された閾値以下であることである。着目点と立体面クラスタとが接続可能である場合、本処理はステップ26に進む。着目点と立体面クラスタとが接続可能ではない場合、本処理はステップ30に進む。
ステップ26では、立体面再判断ユニット21が、立体面クラスタを、直前の前記ステップ22で選定された着目点を含むように更新する。立体面再判断ユニット21は、更新された立体面クラスタの連続スキップ回数を初期化し、0にする。
ステップ27では、立体面再判断ユニット21が、直前の前記ステップ22で選定された着目点から成る立体面クラスタを新規作成する。
ステップ27では、立体面再判断ユニット21が、直前の前記ステップ22で選定された着目点から成る立体面クラスタを新規作成する。
ステップ28では、直前の前記ステップ22で選定された着目点の水平方向方位42が、水平最終方位であるか否かを立体面再判断ユニット21が判断する。水平最終方位とは、直前の前記ステップ21で選定した垂直方向方位にある検出点33の水平方向方位42のうち、最も方向Yに進んだ水平方向方位42である。着目点の水平方向方位42が水平最終方位である場合、本処理はステップ32に進む。着目点の水平方向方位42が水平最終方位ではない場合、本処理はステップ22に進む。
ステップ29では、立体面クラスタが存在するか否かを立体面再判断ユニット21が判断する。立体面クラスタが存在する場合、本処理はステップ30に進む。立体面クラスタが存在しない場合、本処理はステップ28に進む。
ステップ30では、立体面再判断ユニット21が、接続スキップ回数をインクリメントする。
ステップ31では、接続スキップ回数が予め設定された閾値より大きいか否かを立体面再判断ユニット21が判断する。接続スキップ回数が閾値より大きい場合、本処理はステップ32に進む。接続スキップ回数が閾値以下である場合、本処理はステップ28に進む。
ステップ31では、接続スキップ回数が予め設定された閾値より大きいか否かを立体面再判断ユニット21が判断する。接続スキップ回数が閾値より大きい場合、本処理はステップ32に進む。接続スキップ回数が閾値以下である場合、本処理はステップ28に進む。
ステップ32では、立体面再判断ユニット21が、立体面クラスタを確定する。図4のF3に、確定した立体面クラスタ51、53、55を示す。
ステップ33では、立体面再判断ユニット21が、立体面クラスタの線形回帰誤差を算出する。
ステップ33では、立体面再判断ユニット21が、立体面クラスタの線形回帰誤差を算出する。
立体面クラスタの線形回帰誤差とは、立体面クラスタに含まれるそれぞれの検出点33Cと回帰直線との距離の二乗和である。立体面再判断ユニット21は、算出した線形回帰誤差が予め設定された閾値より大きいか否かを判断する。立体面クラスタの線形回帰誤差が閾値より大きい場合、本処理はステップ34に進む。立体面クラスタの線形回帰誤差が閾値以下である場合、本処理は図10のステップ35に進む。
ステップ34では、立体面再判断ユニット21が、線形回帰誤差が閾値より大きいと判断された立体面クラスタを2つの立体面クラスタに分割する。立体面クラスタを分割する方法を、図11及び図12に示す事例に基づき説明する。
図11に示す立体面クラスタ51の線形回帰誤差は閾値より大きかった。立体面再判断ユニット21は、図12に示すように、立体面クラスタ51を2つの立体面クラスタ51A、51Bに分割する複数のパターンP1~P5を想定する。
立体面再判断ユニット21は、パターンP1~P5のそれぞれについて、立体面クラスタ51Aの線形回帰誤差と、立体面クラスタ51Bの線形回帰誤差との和(以下では、総合誤差とする)を算出する。立体面再判断ユニット21は、パターンP1~P5の中から、総合誤差が最小となる1つのパターンを選択する。
図11、図12に示す事例では、パターンP3における総合誤差が最小であった。立体面再判断ユニット21は、パターンP3における立体面クラスタ51A、51Bを、分割後の立体面クラスタ51A、51Bとする。立体面クラスタ51が、立体面クラスタ51A、51Bに分割された状態を図4のF4に示す。
立体面再判断ユニット21は、分割後の立体面クラスタ51A、51Bのうち、水平方向方位42が方向Yの上流側にある立体面クラスタ51Aのみを残し、立体面クラスタ51Bを削除する。立体面再判断ユニット21は、図11に示すように、立体面クラスタ51Aに含まれる検出点33Cのうち、方向Yに最も進んだ水平方向方位42にある検出点33Cを、最新の着目点33Eとする。
立体面再判断ユニット21は、立体面クラスタ51Bに含まれていた検出点33Cを、未だ着目点として選定されていないものとする。よって、今後の前記ステップ22の処理では、立体面クラスタ51Bに含まれていた検出点33Cが、着目点として順次選定される。
例えば、図4のF5に示すように、立体面クラスタ51Bに含まれていた検出点33Cの少なくとも一部により、新たな立体面クラスタ57が形成される。なお、新たな立体面クラスタ57の線形回帰誤差が閾値より大きい場合、立体面クラスタ57に対し、ステップ34の処理が実行される。
ステップ35では、立体面再判断ユニット21が、立体面クラスタの大きさを算出する。
ステップ36では、立体面再判断ユニット21が、前記ステップ35で算出した大きさが予め設定された閾値以下であった立体面クラスタに含まれている検出点33Cの立体面フラグをオフにする。その結果、大きさが閾値以下であった立体面クラスタに含まれている検出点33Cは検出点33Dに変化する。
また、立体面再判断ユニット21は、線形回帰誤差が予め設定された閾値以上であった立体面クラスタに含まれている検出点33Cの立体面フラグをオフにする。その結果、線形回帰誤差が閾値以上であった立体面クラスタに含まれている検出点33Cは検出点33Dに変化する。
なお、ステップ36で使用する線形回帰誤差とは、前記ステップ34の処理を行わなかった場合は、前記ステップ33で算出した線形回帰誤差である。前記ステップ34で立体面クラスタを分割した場合は、前記ステップ34で算出した、分割後の立体面クラスタの線形回帰誤差である。
図4のF5に示す事例では、立体面クラスタ55の大きさは閾値以下であった。そのため、立体面クラスタ55に含まれている検出点33Cは、図4のF6に示すように、検出点33Dに変化した。また、立体面クラスタ53の大きさは閾値以上であったが、立体面クラスタ53の線形回帰誤差は閾値以上であった。そのため、立体面クラスタ53に含まれている検出点33Cは、図4のF6に示すように、検出点33Dに変化した。
立体面クラスタ51A、57の大きさは閾値以上であり、立体面クラスタ51A、57の線形回帰誤差は閾値未満であった。そのため、立体面クラスタ51A、57に含まれている検出点33Cは、図4のF6に示すように、検出点33Cのままであった。
ステップ37では、立体面再判断ユニット21が、クラスタ情報をリセットする。
ステップ38では、最新の着目点33Eの水平方向方位42が水平最終方位であるか否かを立体面再判断ユニット21が判断する。最新の着目点33Eの水平方向方位42が水平最終方位である場合、本処理はステップ39に進む。最新の着目点33Eの水平方向方位42が水平最終方位ではない場合、本処理はステップ22に進む。
ステップ38では、最新の着目点33Eの水平方向方位42が水平最終方位であるか否かを立体面再判断ユニット21が判断する。最新の着目点33Eの水平方向方位42が水平最終方位である場合、本処理はステップ39に進む。最新の着目点33Eの水平方向方位42が水平最終方位ではない場合、本処理はステップ22に進む。
ステップ39では、前記ステップ1で取得した検出点33の垂直方向方位の全てを前記ステップ21で選定し終えたか否かを立体面再判断ユニット21が判断する。垂直方向方位の全てを選定し終えた場合、立体面再判断の処理を終了し、図3のステップ12に進む。未だ選定していない垂直方向方位が残っている場合、本処理はステップ21に進む。
図3に戻り、ステップ12では、物体認識ユニット9が、検出点33Cを用いて物体を認識する。
3.物体認識装置1が奏する効果
(1A)物体認識装置1は、センサ31を用いて取得した検出点33から、立体点条件を充足しない検出点33、検出点数が閾値以下である検出点33、不連続性指標Dが閾値以上である検出点33、及び、不規則性指標Iが閾値以上である検出点33を除外する。物体認識装置1は、除外されなかった検出点33を用いて物体を認識する。
3.物体認識装置1が奏する効果
(1A)物体認識装置1は、センサ31を用いて取得した検出点33から、立体点条件を充足しない検出点33、検出点数が閾値以下である検出点33、不連続性指標Dが閾値以上である検出点33、及び、不規則性指標Iが閾値以上である検出点33を除外する。物体認識装置1は、除外されなかった検出点33を用いて物体を認識する。
空間浮遊物41に起因する検出点33は、空間的にランダムに分布する。そのため、空間浮遊物41に起因する検出点33は、除外され易い。車両のボディー等の物体に起因する検出点33の群は、垂直方向への広がりを持った平面状に分布するため、除外され難い。その結果、物体認識装置1は、空間浮遊物41に起因する検出点33が物体の認識に用いられることを抑制できる。
(1B)物体認識装置1は、検出点33Cを用いて立体面クラスタを形成する。検出点33Cは、除外ユニット19により除外されなかった検出点33に対応する。物体認識装置1は、立体面クラスタのうち、大きさが閾値以下であるもの、及び、線形回帰誤差が閾値以上であるものに含まれる検出点33Cの立体面フラグをオフにする。この処理は、所定の無効条件に該当する立体面クラスタに含まれる検出点33Cを無効化することに対応する。立体面クラスタの大きさが閾値以下であること、及び、立体面クラスタの線形回帰誤差が閾値以上であることは、無効化条件に対応する。
物体認識装置1は、上記の処理の後でも残った検出点33Cを用いて物体を認識する。大きさが閾値以下である立体面クラスタに含まれる検出点33Cは、路側物39等に起因する検出点33Cである可能性が高い。線形回帰誤差が閾値以上である立体面クラスタに含まれる検出点33Cは、空間浮遊物41等に起因する検出点33Cである可能性が高い。
物体認識装置1は、路側物39や空間浮遊物41に起因する検出点33が物体の認識に用いられることを抑制できる。
<他の実施形態>
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
<他の実施形態>
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
(1)立体面条件を充足することは、J1及びJ2を充足することであってもよい。この場合も、第1実施形態の効果を奏することができる。立体面条件を充足することは、J1及びJ3を充足することであってもよい。この場合も、第1実施形態の効果を奏することができる。
(2)物体認識装置1は、前記ステップ11の立体面再判断の処理を行わなくてもよい。この場合、物体認識装置1は、例えば、前記ステップ10で肯定判断をした時点での検出点33Cを用いて、前記ステップ12の物体認識処理を行うことができる。物体認識装置1は、前記ステップ11の立体面再判断の処理を行わない場合でも、第1実施形態の効果(1A)を奏することができる。
(2)物体認識装置1は、前記ステップ11の立体面再判断の処理を行わなくてもよい。この場合、物体認識装置1は、例えば、前記ステップ10で肯定判断をした時点での検出点33Cを用いて、前記ステップ12の物体認識処理を行うことができる。物体認識装置1は、前記ステップ11の立体面再判断の処理を行わない場合でも、第1実施形態の効果(1A)を奏することができる。
(3)本開示に記載の物体認識装置1及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の物体認識装置1及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の物体認識装置1及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。物体認識装置1に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。
(4)上記実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。
(5)上述した物体認識装置1の他、当該物体認識装置1を構成要素とするシステム、当該物体認識装置1としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、物体認識方法等、種々の形態で本開示を実現することもできる。
1…物体認識装置、7…検出点取得ユニット、9…物体認識ユニット、11…立体点判断ユニット、13…検出点数算出ユニット、15…不連続性指標算出ユニット、17…不規則性指標算出ユニット、19…除外ユニット、21…立体面再判断ユニット、42…水平方向方位、43…判断対象点、45、47…領域、49…回帰直線、51、51A、51B、53、55、57…立体面クラスタ
Claims (4)
- センサ(31)を用いて、複数の方位における検出点(33)を取得するように構成された検出点取得ユニット(7)と、
前記検出点取得ユニットが取得した前記検出点の少なくとも一部を用いて物体を認識するように構成された物体認識ユニット(9)と、
を備える物体認識装置(1)であって、
複数の前記検出点のそれぞれについて、以下で定義する立体点条件を充足するか否かを判断するように構成された立体点判断ユニット(11)と、
複数の前記検出点のそれぞれについて、以下で定義する検出点数を算出するように構成された検出点数算出ユニット(13)と、
複数の前記検出点のそれぞれについて、以下で定義する欠落検出点が多いほど高くなる不連続性指標を算出するように構成された不連続性指標算出ユニット(15)と、
前記検出点取得ユニットが取得した前記検出点から、前記立体点条件を充足しない前記検出点、前記検出点数が閾値以下である前記検出点、及び、前記不連続性指標が閾値以上である前記検出点を除外する除外ユニット(19)と、
を備え、
前記物体認識ユニットは、前記検出点取得ユニットが取得した前記検出点のうち、前記除外ユニットにより除外されなかった前記検出点を用いて、前記物体を認識するように構成された物体認識装置。
立体点条件:前記立体点条件を充足するか否かの判断対象である前記検出点(43)を含む所定の領域(45)内に、高さが異なる他の前記検出点が存在する。
検出点数:前記検出点数を算出する対象となる前記検出点(43)を含む所定の領域(47)内に存在する前記検出点の数。
欠落検出点:前記不連続性指標の算出対象である前記検出点(43)を含む所定の基準領域(47)に存在するいずれか2つの前記検出点を第1の検出点及び第2の検出点としたとき、前記第1の検出点の前記方位と、前記第2の検出点の前記方位との間の前記方位にあり、前記基準領域の外にある前記検出点。 - センサ(31)を用いて、複数の方位における検出点(33)を取得するように構成された検出点取得ユニット(7)と、
前記検出点取得ユニットが取得した前記検出点の少なくとも一部を用いて物体を認識するように構成された物体認識ユニット(9)と、
を備える物体認識装置(1)であって、
複数の前記検出点のそれぞれについて、以下で定義する立体点条件を充足するか否かを判断するように構成された立体点判断ユニット(11)と、
複数の前記検出点のそれぞれについて、以下で定義する検出点数を算出するように構成された検出点数算出ユニット(13)と、
複数の前記検出点のそれぞれについて、以下で定義する不規則性指標を算出するように構成された不規則性指標算出ユニット(17)と、
前記検出点取得ユニットが取得した前記検出点から、前記立体点条件を充足しない前記検出点、前記検出点数が閾値以下である前記検出点、及び、前記不規則性指標が閾値以上である前記検出点を除外する除外ユニット(19)と、
を備え、
前記物体認識ユニットは、前記検出点取得ユニットが取得した前記検出点のうち、前記除外ユニットにより除外されなかった前記検出点を用いて、前記物体を認識するように構成された物体認識装置。
立体点条件:前記立体点条件を充足するか否かの判断対象である前記検出点(43)を含む所定の領域(45)内に、高さが異なる他の前記検出点が存在する。
検出点数:前記検出点数を算出する対象となる前記検出点(43)を含む所定の領域(47)内に存在する前記検出点の数。
不規則性指標:前記不規則性指標の算出対象である前記検出点(43)を含む所定の範囲(47)内に存在する前記検出点の位置の不規則性が高いほど大きい指標。 - センサ(31)を用いて、複数の方位における検出点(33)を取得するように構成された検出点取得ユニット(7)と、
前記検出点取得ユニットが取得した前記検出点の少なくとも一部を用いて物体を認識するように構成された物体認識ユニット(9)と、
を備える物体認識装置(1)であって、
複数の前記検出点のそれぞれについて、以下で定義する立体点条件を充足するか否かを判断するように構成された立体点判断ユニット(11)と、
複数の前記検出点のそれぞれについて、以下で定義する検出点数を算出するように構成された検出点数算出ユニット(13)と、
複数の前記検出点のそれぞれについて、以下で定義する欠落検出点が多いほど高くなる不連続性指標を算出するように構成された不連続性指標算出ユニット(15)と、
複数の前記検出点のそれぞれについて、以下で定義する不規則性指標を算出するように構成された不規則性指標算出ユニット(17)と、
前記検出点取得ユニットが取得した前記検出点から、前記立体点条件を充足しない前記検出点、前記検出点数が閾値以下である前記検出点、前記不連続性指標が閾値以上である前記検出点、及び、前記不規則性指標が閾値以上である前記検出点を除外する除外ユニット(19)と、
を備え、
前記物体認識ユニットは、前記検出点取得ユニットが取得した前記検出点のうち、前記除外ユニットにより除外されなかった前記検出点を用いて、前記物体を認識するように構成された物体認識装置。
立体点条件:前記立体点条件を充足するか否かの判断対象である前記検出点(43)を含む所定の領域(45)内に、高さが異なる他の前記検出点が存在する。
検出点数:前記検出点数を算出する対象となる前記検出点(43)を含む所定の領域(47)内に存在する前記検出点の数。
欠落検出点:前記不連続性指標の算出対象である前記検出点(43)を含む所定の基準領域(47)に存在するいずれか2つの前記検出点を第1の検出点及び第2の検出点としたとき、前記第1の検出点の前記方位と、前記第2の検出点の前記方位との間の前記方位にあり、前記基準領域の外にある前記検出点。
不規則性指標:前記不規則性指標の算出対象である前記検出点(43)を含む所定の範囲(47)内に存在する前記検出点の位置の不規則性が高いほど大きい指標。 - 請求項1~3のいずれか1項に記載の物体認識装置であって、
前記検出点取得ユニットが取得した前記検出点のうち、前記除外ユニットにより除外されなかった前記検出点を用いてクラスタ(51、53、55)を形成するように構成されたクラスタ形成ユニット(21)と、
前記クラスタのうち、所定の無効条件に該当する前記クラスタ(53、55)に含まれる前記検出点を無効化する無効化ユニット(21)と、
をさらに備え、
前記物体認識ユニットは、前記検出点取得ユニットが取得した前記検出点のうち、前記除外ユニットにより除外されず、前記無効化ユニットにより無効化されなかった前記検出点を用いて、前記物体を認識するように構成された物体認識装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020080182A JP7298536B2 (ja) | 2020-04-30 | 2020-04-30 | 物体認識装置 |
PCT/JP2021/016021 WO2021220882A1 (ja) | 2020-04-30 | 2021-04-20 | 物体認識装置 |
DE112021002587.2T DE112021002587T5 (de) | 2020-04-30 | 2021-04-20 | Objekterkennungsvorrichtung |
US18/050,323 US20230075000A1 (en) | 2020-04-30 | 2022-10-27 | Object recognition device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020080182A JP7298536B2 (ja) | 2020-04-30 | 2020-04-30 | 物体認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021174430A JP2021174430A (ja) | 2021-11-01 |
JP7298536B2 true JP7298536B2 (ja) | 2023-06-27 |
Family
ID=78279733
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020080182A Active JP7298536B2 (ja) | 2020-04-30 | 2020-04-30 | 物体認識装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230075000A1 (ja) |
JP (1) | JP7298536B2 (ja) |
DE (1) | DE112021002587T5 (ja) |
WO (1) | WO2021220882A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009110168A (ja) | 2007-10-29 | 2009-05-21 | Fuji Heavy Ind Ltd | 物体検出装置および接触回避システム |
US20120098935A1 (en) | 2010-10-21 | 2012-04-26 | Sony Corporation | 3d time-of-flight camera and method |
JP2018159570A (ja) | 2017-03-22 | 2018-10-11 | 株式会社Ihiエアロスペース | 障害物検出装置と障害物検出方法 |
JP2019105654A (ja) | 2019-03-26 | 2019-06-27 | 株式会社デンソー | ノイズ除去方法および物体認識装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6093261B2 (ja) | 2013-07-19 | 2017-03-08 | 株式会社日本自動車部品総合研究所 | 監視装置およびプログラム |
JP6944557B2 (ja) | 2019-02-25 | 2021-10-06 | ホーチキ株式会社 | 警報システムの警報報知方法 |
-
2020
- 2020-04-30 JP JP2020080182A patent/JP7298536B2/ja active Active
-
2021
- 2021-04-20 WO PCT/JP2021/016021 patent/WO2021220882A1/ja active Application Filing
- 2021-04-20 DE DE112021002587.2T patent/DE112021002587T5/de active Pending
-
2022
- 2022-10-27 US US18/050,323 patent/US20230075000A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009110168A (ja) | 2007-10-29 | 2009-05-21 | Fuji Heavy Ind Ltd | 物体検出装置および接触回避システム |
US20120098935A1 (en) | 2010-10-21 | 2012-04-26 | Sony Corporation | 3d time-of-flight camera and method |
JP2018159570A (ja) | 2017-03-22 | 2018-10-11 | 株式会社Ihiエアロスペース | 障害物検出装置と障害物検出方法 |
JP2019105654A (ja) | 2019-03-26 | 2019-06-27 | 株式会社デンソー | ノイズ除去方法および物体認識装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2021220882A1 (ja) | 2021-11-04 |
JP2021174430A (ja) | 2021-11-01 |
DE112021002587T5 (de) | 2023-02-16 |
US20230075000A1 (en) | 2023-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6440411B2 (ja) | 物体検出装置 | |
CN107766405B (zh) | 自动车辆道路模型定义系统 | |
CN109188459B (zh) | 一种基于多线激光雷达的坡道小障碍物识别方法 | |
CN111077541B (zh) | 一种障碍物识别方法、障碍物识别装置及移动机器人 | |
CN110349260B (zh) | 一种路面标线自动提取方法及装置 | |
JP2008304344A (ja) | 物標検出装置 | |
EP3318890B1 (en) | Method to provide a vehicle environment contour polyline from detection data | |
CN107491065B (zh) | 利用障碍物的地面边界信息检测物体的侧面的方法和装置 | |
JP6320016B2 (ja) | 対象物検出装置、対象物検出方法およびプログラム | |
CN110807781A (zh) | 一种保留细节与边界特征的点云精简方法 | |
WO2018150921A1 (ja) | 車載環境認識装置 | |
CN111308500A (zh) | 基于单线激光雷达的障碍物感知方法、装置和计算机终端 | |
JP2015152319A (ja) | 物体識別方法、および物体識別装置 | |
US10380743B2 (en) | Object identifying apparatus | |
JP2016125999A (ja) | ピッチング判定装置 | |
JP7298536B2 (ja) | 物体認識装置 | |
Lari et al. | Alternative methodologies for the estimation of local point density index: Moving towards adaptive LiDAR data processing | |
JP6397386B2 (ja) | 領域分割処理装置、方法、及びプログラム | |
CN111937037B (zh) | 物体识别装置、物体识别方法和非暂时性计算机可读介质 | |
JP6388806B2 (ja) | 射影画像生成装置と射影画像生成プログラムと射影画像生成方法 | |
CN115880354A (zh) | 一种基于点云自适应切片的计算树冠体积的方法 | |
CN111742242A (zh) | 点云处理方法、系统、设备及存储介质 | |
Kim et al. | New approach for planar patch segmentation using airborne laser data | |
JP6569416B2 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法及び画像処理プログラム | |
CN112508970B (zh) | 一种点云数据分割方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220907 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230516 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230529 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7298536 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |