JP7412665B2 - Ｓｌａｍ装置、ｓｌａｍ攻撃対策プログラムおよび自律型モビリティ - Google Patents
Ｓｌａｍ装置、ｓｌａｍ攻撃対策プログラムおよび自律型モビリティ Download PDFInfo
- Publication number
- JP7412665B2 JP7412665B2 JP2023569752A JP2023569752A JP7412665B2 JP 7412665 B2 JP7412665 B2 JP 7412665B2 JP 2023569752 A JP2023569752 A JP 2023569752A JP 2023569752 A JP2023569752 A JP 2023569752A JP 7412665 B2 JP7412665 B2 JP 7412665B2
- Authority
- JP
- Japan
- Prior art keywords
- slam
- distance
- point cloud
- map
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002265 prevention Effects 0.000 title 1
- 238000001514 detection method Methods 0.000 claims description 24
- 238000005259 measurement Methods 0.000 claims description 23
- 230000000007 visual effect Effects 0.000 claims description 7
- 230000000052 comparative effect Effects 0.000 claims description 4
- 238000000034 method Methods 0.000 description 26
- 230000006870 function Effects 0.000 description 22
- 238000004364 calculation method Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 238000002347 injection Methods 0.000 description 4
- 239000007924 injection Substances 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- -1 mirrors Substances 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
Description
本開示は、ＳＬＡＭに対する攻撃の対策に関するものである。
ＳＬＡＭは、自己位置の推定と環境地図の構成を同時に行う技術である。
ＳＬＡＭは、周囲の環境データに基づき地図を構成し、同時にその地図に自己位置を投影する。これにより、地図がリアルタイムに更新されていく。
ＳＬＡＭは、屋外だけでなく屋内の環境下でも、地図の作成と自己位置の推定を行うことができる。
ＳＬＡＭは、Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇの略称である。
ＳＬＡＭは、周囲の環境データに基づき地図を構成し、同時にその地図に自己位置を投影する。これにより、地図がリアルタイムに更新されていく。
ＳＬＡＭは、屋外だけでなく屋内の環境下でも、地図の作成と自己位置の推定を行うことができる。
ＳＬＡＭは、Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇの略称である。
ＳＬＡＭは、ＬｉＤＡＲ等のセンサから得られる測距データを用いて実行される。
ＬｉＤＡＲは、近赤外線光を用いる測距装置であり、物体または周囲環境との距離を計測する。
ＬｉＤＡＲの主な測定原理は直接測距である。直接測距には、ＴｏＦと呼ばれる原理が利用される。
ＴｏＦは、光が物体とセンサの間を往復する時間に基づいて距離を算出する方法である。
ＬｉＤＡＲは、Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇの略称である。
ＴｏＦは、Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔの略称である。
ＬｉＤＡＲは、近赤外線光を用いる測距装置であり、物体または周囲環境との距離を計測する。
ＬｉＤＡＲの主な測定原理は直接測距である。直接測距には、ＴｏＦと呼ばれる原理が利用される。
ＴｏＦは、光が物体とセンサの間を往復する時間に基づいて距離を算出する方法である。
ＬｉＤＡＲは、Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇの略称である。
ＴｏＦは、Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔの略称である。
ＳＬＡＭは、自動運転システムに利用される。
自動運転システムは、人の目を介さないシステムであり、完全自動運転車および自動搬送車などのモビリティに搭載される。
自動運転システムは、人の目を介さないシステムであり、完全自動運転車および自動搬送車などのモビリティに搭載される。
ＳＬＡＭに対する光照射インジェクション攻撃が知られている。
光照射インジェクション攻撃は、自動運転システムにおいて致命的な問題になる可能性がある。
この攻撃は、ＬｉＤＡＲに対してレーザー光を照射する。これにより、ＳＬＡＭによって作成される地図が壊れてしまう。図はレーザー光に対する後段の信号処理で生成されるが、カルマンフィルタが後段の信号処理で使われる場合であっても、この攻撃は可能である。
光照射インジェクション攻撃は、自動運転システムにおいて致命的な問題になる可能性がある。
この攻撃は、ＬｉＤＡＲに対してレーザー光を照射する。これにより、ＳＬＡＭによって作成される地図が壊れてしまう。図はレーザー光に対する後段の信号処理で生成されるが、カルマンフィルタが後段の信号処理で使われる場合であっても、この攻撃は可能である。
ＳＬＡＭに対する攻撃により、自動運転システムが搭載されたモビリティの動作が妨害される。
この問題を解決するために、ＳＬＡＭによって作成された２つの地図（現在の地図およい過去の地図）を比較し、一方の地図の中で欠けている箇所を見つけ、欠けている箇所を補完する、という方法が考えられる。
しかし、モビリティは移動する。例えば、時速５０キロメートルの車は１秒間に約１４メートル進む。そのため、地図の比較に時間がかかる場合、この解決方法は実用的ではない。地図の比較は地図の更新に要求される間隔よりも短い時間で終わることが望ましい。
この問題を解決するために、ＳＬＡＭによって作成された２つの地図（現在の地図およい過去の地図）を比較し、一方の地図の中で欠けている箇所を見つけ、欠けている箇所を補完する、という方法が考えられる。
しかし、モビリティは移動する。例えば、時速５０キロメートルの車は１秒間に約１４メートル進む。そのため、地図の比較に時間がかかる場合、この解決方法は実用的ではない。地図の比較は地図の更新に要求される間隔よりも短い時間で終わることが望ましい。
特許文献１は、ＳＬＡＭに対する攻撃の対策になり得る技術を開示している。具体的には、複数のＳＬＡＭアルゴリズムのそれぞれによって自己位置を推定し、推定された複数の自己位置に基づいて実際の自己位置を特定する、という方法が開示されている。
具体的な複数のＳＬＡＭアルゴリズムは、カメラを利用したＳＬＡＭ用のアルゴリズムとＬｉＤＡＲを利用したＳＬＡＭ用のアルゴリズムである。カメラを利用したＳＬＡＭは、Ｖｉｓｕａｌ ＳＬＡＭと呼ばれる。
Ｖｉｓｕａｌ ＳＬＡＭでは、画像の認識とＳＬＡＭの実行の２段階処理が実行される。そのため、Ｖｉｓｕａｌ ＳＬＡＭの処理時間は長い。
具体的な複数のＳＬＡＭアルゴリズムは、カメラを利用したＳＬＡＭ用のアルゴリズムとＬｉＤＡＲを利用したＳＬＡＭ用のアルゴリズムである。カメラを利用したＳＬＡＭは、Ｖｉｓｕａｌ ＳＬＡＭと呼ばれる。
Ｖｉｓｕａｌ ＳＬＡＭでは、画像の認識とＳＬＡＭの実行の２段階処理が実行される。そのため、Ｖｉｓｕａｌ ＳＬＡＭの処理時間は長い。
ＳＬＡＭに対する攻撃は、自動運転システムが搭載されたモビリティの動作を妨害できる。従来技術には、この問題を解決するために技術的な課題がある。具体的には、対策のための処理に時間がかかり自動運転システムの要求を満たすことができない、という課題がある。その原因は、ＳＬＡＭに対する攻撃が新しく提案されている攻撃であるため対策が十分に確立されていないことである。
本開示は、ＳＬＡＭに対する攻撃の対策にかかる時間を短くできるようにすることを目的とする。
本開示のＳＬＡＭ装置は、ＬｉＤＡＲセンサとカメラが設置される自律型モビリティに搭載される。
前記ＳＬＡＭ装置は、
前記ＬｉＤＡＲセンサから計測点群データを取得し、前記計測点群データに基づいて第１三次元点群データを生成し、前記第１三次元点群データを用いてＳＬＡＭを実行することによって位置の推定と地図の生成を行う点群処理部と、
前記カメラから画像データを取得し、前記画像データに示される画像の中の特徴物体を認識し、前記カメラから前記特徴物体までの距離を相対距離として算出し、前記画像データを第２三次元点群データに変換する画像処理部と、
生成された地図に前記第２三次元点群データに示される三次元点群を重畳して前記地図における推定された位置から前記特徴物体までの距離を比較距離として算出し、前記比較距離を前記相対距離と比較し、前記比較距離と前記相対距離の差が許容範囲外の値である場合に前記第２三次元点群データを用いて前記ＳＬＡＭに対する補間を行う攻撃検知部と、を備える。
前記ＳＬＡＭ装置は、
前記ＬｉＤＡＲセンサから計測点群データを取得し、前記計測点群データに基づいて第１三次元点群データを生成し、前記第１三次元点群データを用いてＳＬＡＭを実行することによって位置の推定と地図の生成を行う点群処理部と、
前記カメラから画像データを取得し、前記画像データに示される画像の中の特徴物体を認識し、前記カメラから前記特徴物体までの距離を相対距離として算出し、前記画像データを第２三次元点群データに変換する画像処理部と、
生成された地図に前記第２三次元点群データに示される三次元点群を重畳して前記地図における推定された位置から前記特徴物体までの距離を比較距離として算出し、前記比較距離を前記相対距離と比較し、前記比較距離と前記相対距離の差が許容範囲外の値である場合に前記第２三次元点群データを用いて前記ＳＬＡＭに対する補間を行う攻撃検知部と、を備える。
本開示によれば、画像データから得られる三次元点群を地図に重畳してＳＬＡＭに対する攻撃を検知し、その三次元点群を用いて対策（補間）を講じることができる。その結果、ＳＬＡＭに対する攻撃の対策にかかる時間を短くすることが可能になる。
実施の形態および図面において、同じ要素または対応する要素には同じ符号を付している。説明した要素と同じ符号が付された要素の説明は適宜に省略または簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。
実施の形態１．
自律型モビリティ１００について、図１から図６に基づいて説明する。
自律型モビリティ１００について、図１から図６に基づいて説明する。
＊＊＊構成の説明＊＊＊
図１に基づいて、自律型モビリティ１００の構成を説明する。
自律型モビリティ１００は、自律して走行する車両である。
図１に基づいて、自律型モビリティ１００の構成を説明する。
自律型モビリティ１００は、自律して走行する車両である。
自律型モビリティ１００には、ＬｉＤＡＲセンサ１０１とカメラ１０２が設置される。
ＬｉＤＡＲセンサ１０１は、ＬｉＤＡＲを実行するセンサであり、レーザースキャナ、レーザーレーダーまたは光学式レーダーともいう。ＬｉＤＡＲにより、レーザー光が各方向に照射され、レーザー光を反射した各地点からの反射光が受光され、レーザー光を反射した各地点への距離および方向が計測される。
ＬｉＤＡＲセンサ１０１は、周囲約１００メートルの範囲を計測できる。
ＬｉＤＡＲセンサ１０１によって得られるデータを計測点群データと称する。計測点群データは計測点群を示す。具体的には、計測点群データは、レーザー光を反射した地点（計測地点）ごとに計測距離および計測方向を示す。
ＬｉＤＡＲセンサ１０１は、周囲約１００メートルの範囲を計測できる。
ＬｉＤＡＲセンサ１０１によって得られるデータを計測点群データと称する。計測点群データは計測点群を示す。具体的には、計測点群データは、レーザー光を反射した地点（計測地点）ごとに計測距離および計測方向を示す。
カメラ１０２は、周囲を撮影し、周囲が映った画像を生成する。
カメラ１０２によって得られるデータを画像データと称する。画像データは画像を示す。
カメラ１０２によって得られるデータを画像データと称する。画像データは画像を示す。
自律型モビリティ１００は、ＳＬＡＭ装置２００を備える。
ＳＬＡＭ装置２００は、計測点群データに基づいてＳＬＡＭを実行する。ＳＬＡＭにより、位置の推定および地図の生成が行われる。地図の生成には、地図の拡大および地図の更新が含まれる。
ＳＬＡＭは、自己位置の推定を手助けするのでナビゲーション機能に活用することができる。自動運転における速度を考慮すると、地図更新の時間的間隔は１０ヘルツ程度で十分であり、自己位置推定の時間的間隔は１ヘルツ程度で十分である。
ＳＬＡＭ装置２００は、画像データを用いて、ＬｉＤＡＲセンサ１０１に対する攻撃を検知する。ＬｉＤＡＲセンサ１０１に対する攻撃が検知された場合、ＳＬＡＭ装置２００は、画像データに基づいてＳＬＡＭに対する補間を行う。
ＬｉＤＡＲセンサ１０１に対する攻撃の具体例は、光照射インジェクション攻撃である。
ＳＬＡＭ装置２００は、計測点群データに基づいてＳＬＡＭを実行する。ＳＬＡＭにより、位置の推定および地図の生成が行われる。地図の生成には、地図の拡大および地図の更新が含まれる。
ＳＬＡＭは、自己位置の推定を手助けするのでナビゲーション機能に活用することができる。自動運転における速度を考慮すると、地図更新の時間的間隔は１０ヘルツ程度で十分であり、自己位置推定の時間的間隔は１ヘルツ程度で十分である。
ＳＬＡＭ装置２００は、画像データを用いて、ＬｉＤＡＲセンサ１０１に対する攻撃を検知する。ＬｉＤＡＲセンサ１０１に対する攻撃が検知された場合、ＳＬＡＭ装置２００は、画像データに基づいてＳＬＡＭに対する補間を行う。
ＬｉＤＡＲセンサ１０１に対する攻撃の具体例は、光照射インジェクション攻撃である。
ＳＬＡＭ装置２００は、物体認識機能を有する。物体認識機能は、自律型モビリティ１００の進行方向にある障害物などを検知し、物体検知情報を得る。物体検知情報は、数百メートル先までに存在する物体を示す。
ＳＬＡＭ装置２００は、ビジュアルオドメトリ機能を有する。ビジュアルオドメトリ機能は、連続する複数の画像に基づいてカメラ１０２の移動量（方向および距離）を推定し、移動量情報を記録する。移動量情報は、特定の座標系においてカメラ１０２がどの方向にどれだけ進んだかを示す。
ＳＬＡＭ装置２００は、ビジュアルオドメトリ機能を有する。ビジュアルオドメトリ機能は、連続する複数の画像に基づいてカメラ１０２の移動量（方向および距離）を推定し、移動量情報を記録する。移動量情報は、特定の座標系においてカメラ１０２がどの方向にどれだけ進んだかを示す。
自律型モビリティ１００は、自律運転システム１１０とモータ１０３を備える。
自律運転システム１１０は、地図および位置に基づいて自律型モビリティ１００を運転する。
自律運転システム１１０は、ナビゲーション機能とモータ制御機能を有する。ナビゲーション機能は、自律型モビリティ１００を自動的に目的地に到達させる。モータ制御機能は、モータ１０３を制御し、モータ１０３によって回転される車輪の回転情報を記録する。実空間の尺度を示すスケール係数は、車輪の回転情報に基づいて算出される。
自律運転システム１１０は、ナビゲーション機能とモータ制御機能を有する。ナビゲーション機能は、自律型モビリティ１００を自動的に目的地に到達させる。モータ制御機能は、モータ１０３を制御し、モータ１０３によって回転される車輪の回転情報を記録する。実空間の尺度を示すスケール係数は、車輪の回転情報に基づいて算出される。
モータ１０３は、自律型モビリティ１００を動かす駆動装置である。
モータ１０３は、自律型モビリティ１００の車輪を回転させ、車輪の回転情報を自律運転システム１１０に送る。
モータ１０３は、自律型モビリティ１００の車輪を回転させ、車輪の回転情報を自律運転システム１１０に送る。
図２に基づいて、ＳＬＡＭ装置２００の構成を説明する。
ＳＬＡＭ装置２００は、プロセッサ２０１とメモリ２０２と補助記憶装置２０３と入出力インタフェース２０４といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
ＳＬＡＭ装置２００は、プロセッサ２０１とメモリ２０２と補助記憶装置２０３と入出力インタフェース２０４といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
プロセッサ２０１は、演算処理を行うＩＣであり、他のハードウェアを制御する。例えば、プロセッサ２０１は、ＣＰＵ、ＤＳＰまたはＧＰＵである。
ＩＣは、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略称である。
ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。
ＤＳＰは、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒの略称である。
ＧＰＵは、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。
ＩＣは、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略称である。
ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。
ＤＳＰは、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒの略称である。
ＧＰＵは、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。
メモリ２０２は揮発性または不揮発性の記憶装置である。メモリ２０２は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ２０２はＲＡＭである。メモリ２０２に記憶されたデータは必要に応じて補助記憶装置２０３に保存される。
ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。
ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。
補助記憶装置２０３は不揮発性の記憶装置である。例えば、補助記憶装置２０３は、ＲＯＭ、ＨＤＤ、フラッシュメモリまたはこれらの組み合わせである。補助記憶装置２０３に記憶されたデータは必要に応じてメモリ２０２にロードされる。
ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。
ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略称である。
ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。
ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略称である。
入出力インタフェース２０４は、ＬｉＤＡＲセンサ１０１、カメラ１０２および自律運転システム１１０などが接続されるポートである。
ＳＬＡＭ装置２００は、点群処理部２１０と画像処理部２２０と攻撃検知部２３０といった要素を備える。これらの要素はソフトウェアで実現される。
補助記憶装置２０３には、点群処理部２１０と画像処理部２２０と攻撃検知部２３０としてコンピュータを機能させるためのＳＬＡＭ攻撃対策プログラムが記憶されている。ＳＬＡＭ攻撃対策プログラムは、メモリ２０２にロードされて、プロセッサ２０１によって実行される。
補助記憶装置２０３には、さらに、ＯＳが記憶されている。ＯＳの少なくとも一部は、メモリ２０２にロードされて、プロセッサ２０１によって実行される。
プロセッサ２０１は、ＯＳを実行しながら、ＳＬＡＭ攻撃対策プログラムを実行する。
ＯＳは、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍの略称である。
補助記憶装置２０３には、さらに、ＯＳが記憶されている。ＯＳの少なくとも一部は、メモリ２０２にロードされて、プロセッサ２０１によって実行される。
プロセッサ２０１は、ＯＳを実行しながら、ＳＬＡＭ攻撃対策プログラムを実行する。
ＯＳは、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍの略称である。
ＳＬＡＭ攻撃対策プログラムの入出力データは記憶部２９０に記憶される。
メモリ２０２は記憶部２９０として機能する。但し、補助記憶装置２０３、プロセッサ２０１内のレジスタおよびプロセッサ２０１内のキャッシュメモリなどの記憶装置が、メモリ２０２の代わりに、又は、メモリ２０２と共に、記憶部２９０として機能してもよい。
メモリ２０２は記憶部２９０として機能する。但し、補助記憶装置２０３、プロセッサ２０１内のレジスタおよびプロセッサ２０１内のキャッシュメモリなどの記憶装置が、メモリ２０２の代わりに、又は、メモリ２０２と共に、記憶部２９０として機能してもよい。
ＳＬＡＭ装置２００は、プロセッサ２０１を代替する複数のプロセッサを備えてもよい。
ＳＬＡＭ攻撃対策プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録（格納）することができる。
図３に基づいて、ＳＬＡＭ装置２００の機能構成を説明する。
点群処理部２１０は、点群生成部２１１とＳＬＡＭ部２１２を備える。
ＳＬＡＭ部２１２は、位置推定部２１３と地図生成部２１４を備える。
点群処理部２１０は、点群生成部２１１とＳＬＡＭ部２１２を備える。
ＳＬＡＭ部２１２は、位置推定部２１３と地図生成部２１４を備える。
画像処理部２２０は、物体認識部２２１と特徴物体選定部２２２と相対距離算出部２２３と画像変換部２２４を備える。
攻撃検知部２３０は、比較距離算出部２３１と距離比較部２３２とＳＬＡＭ補間部２３３と動作切り替え部２３４を備える。
＊＊＊動作の説明＊＊＊
ＳＬＡＭ装置２００の動作の手順はＳＬＡＭ攻撃対策方法に相当する。また、ＳＬＡＭ装置２００の動作の手順はＳＬＡＭ攻撃対策プログラムによる処理の手順に相当する。
ＳＬＡＭ装置２００の動作の手順はＳＬＡＭ攻撃対策方法に相当する。また、ＳＬＡＭ装置２００の動作の手順はＳＬＡＭ攻撃対策プログラムによる処理の手順に相当する。
図４に基づいて、ＳＬＡＭ攻撃対策方法を説明する。
ステップＳ１０１において、ＬｉＤＡＲセンサ１０１が計測を実行し、計測点群データを生成する。
点群生成部２１１は、ＬｉＤＡＲセンサ１０１から計測点群データを取得する。
計測点群データは、計測地点ごとに計測距離および計測方向を示す。
ステップＳ１０１において、ＬｉＤＡＲセンサ１０１が計測を実行し、計測点群データを生成する。
点群生成部２１１は、ＬｉＤＡＲセンサ１０１から計測点群データを取得する。
計測点群データは、計測地点ごとに計測距離および計測方向を示す。
ステップＳ１０２において、点群生成部２１１は、自己位置と計測点群データを用いて、三次元点群データを生成する。生成される三次元点群データを、第１三次元点群データと称する。
三次元点群データは三次元点群を示す。第１三次元点群データは、計測地点ごとに三次元座標値を示す。
ＬｉＤＡＲセンサ１０１の三次元座標値に計測距離と計測方向を示すベクトルを足すことによって、計測地点の三次元座標値が算出される。ＬｉＤＡＲセンサ１０１の三次元座標値は、自己位置を基準にして特定される。
三次元点群データは三次元点群を示す。第１三次元点群データは、計測地点ごとに三次元座標値を示す。
ＬｉＤＡＲセンサ１０１の三次元座標値に計測距離と計測方向を示すベクトルを足すことによって、計測地点の三次元座標値が算出される。ＬｉＤＡＲセンサ１０１の三次元座標値は、自己位置を基準にして特定される。
ステップＳ１０３において、位置推定部２１３は、第１三次元点群データを用いてＳＬＡＭを実行することにより、自己位置を推定する。
ステップＳ１０４において、地図生成部２１４は、第１三次元点群データを用いてＳＬＡＭを実行することにより、地図データを生成する。
地図データは、自律型モビリティ１００の周囲の地図を示す。地図データに示される地図は、環境地図またはＳＬＡＭ地図ともいう。
地図データは、自律型モビリティ１００の周囲の地図を示す。地図データに示される地図は、環境地図またはＳＬＡＭ地図ともいう。
ステップＳ１０３およびステップＳ１０４は、ＳＬＡＭにおいて並行して実行される。
ステップＳ１１１において、カメラ１０２が撮影を行い、画像データを生成する。
物体認識部２２１は、カメラ１０２から画像データを取得する。
物体認識部２２１は、カメラ１０２から画像データを取得する。
ステップＳ１１２において、物体認識部２２１は、画像データを用いて物体認識処理を実行する。物体認識処理では、画像データに対する画像処理が行われ、画像に映った物体が認識される。
特徴物体選定部２２２は、認識された物体の中から特徴物体を選定する。特徴物体は、予め決められる。
具体的には、特徴物体選定部２２２は、特定の特徴を有する物体を選定する。選定される物体が特徴物体である。特定の特徴は予め決められる。
特徴物体の具体例は壁である。壁は、頻繁に出現する物体であり、地図データにも反映される。
具体的には、特徴物体選定部２２２は、特定の特徴を有する物体を選定する。選定される物体が特徴物体である。特定の特徴は予め決められる。
特徴物体の具体例は壁である。壁は、頻繁に出現する物体であり、地図データにも反映される。
但し、カメラ１０２が攻撃されている場合、特徴物体が画像に映らず特徴物体が選定されないことがある。
ステップＳ１１３において、相対距離算出部２２３は、カメラ１０２から特徴物体までの距離を算出する。算出される距離を相対距離と称する。
壁（特徴物体）は、撮影される範囲の多くの部分を占めると考えられる。撮影された範囲における壁の中心とカメラ１０２の距離が相対距離となる。壁の中心は壁の輪郭に基づいて判定される。
相対距離の算出方法は、ステップＳ１１４で三次元座標値を求める方法と同じである。
壁（特徴物体）は、撮影される範囲の多くの部分を占めると考えられる。撮影された範囲における壁の中心とカメラ１０２の距離が相対距離となる。壁の中心は壁の輪郭に基づいて判定される。
相対距離の算出方法は、ステップＳ１１４で三次元座標値を求める方法と同じである。
但し、ステップＳ１１２で特徴物体が選定されなかった場合、ステップＳ１１３は実行されず相対距離が算出されない。
ステップＳ１１４において、画像変換部２２４は、画像データを変換して三次元点群データを生成する。
画像データは次のように三次元点群データに変換される。画像変換部２２４は、カメラ１０２の視野角と画像の中心から各画素までの距離とに基づいて、カメラ１０２を基点にして各画素に映った物体が見える角度を算出する。画像変換部２２４は、この算出操作を２回行う。これにより、カメラ１０２を基点にして物体の三次元座標値が求まる。そして、画像変換部２２４は、画素ごとに画素に映った物体の三次元座標値を示すデータを生成する。生成されるデータが三次元点群データである。
生成される三次元点群データを、第２三次元点群データと称する。
第２三次元点群データは、画素ごとに画素に映った地点の三次元座標値を示す。
画像データは次のように三次元点群データに変換される。画像変換部２２４は、カメラ１０２の視野角と画像の中心から各画素までの距離とに基づいて、カメラ１０２を基点にして各画素に映った物体が見える角度を算出する。画像変換部２２４は、この算出操作を２回行う。これにより、カメラ１０２を基点にして物体の三次元座標値が求まる。そして、画像変換部２２４は、画素ごとに画素に映った物体の三次元座標値を示すデータを生成する。生成されるデータが三次元点群データである。
生成される三次元点群データを、第２三次元点群データと称する。
第２三次元点群データは、画素ごとに画素に映った地点の三次元座標値を示す。
ステップＳ１０１からステップＳ１０４までの処理とステップＳ１１１からステップＳ１１４までの処理は並行して実行される。
ステップＳ１２１において、比較距離算出部２３１は、第２三次元点群データを用いて、地図データに示される地図における自己位置から特徴物体までの距離を算出する。算出される距離を比較距離と称する。
比較距離は、以下のように算出される。
まず、比較距離算出部２３１は、第２三次元点群データに示される三次元点群を地図データに示される地図に重畳する。つまり、比較距離算出部２３１は三次元点群を地図にマッピングする。
次に、比較距離算出部２３１は、地図の中で特徴物体の三次元点群が反映された部分（対象部分）を特定する。
そして、比較距離算出部２３１は、自己位置から対象部分の中心までの距離を算出する。算出される距離が比較距離となる。
まず、比較距離算出部２３１は、第２三次元点群データに示される三次元点群を地図データに示される地図に重畳する。つまり、比較距離算出部２３１は三次元点群を地図にマッピングする。
次に、比較距離算出部２３１は、地図の中で特徴物体の三次元点群が反映された部分（対象部分）を特定する。
そして、比較距離算出部２３１は、自己位置から対象部分の中心までの距離を算出する。算出される距離が比較距離となる。
但し、ＬｉＤＡＲセンサ１０１が攻撃されている場合、特徴物体が地図に示されず比較距離が算出されないことがある。
ステップＳ１２２において、比較距離算出部２３１は、相対距離と比較距離の比較が可能であるか判定する。
相対距離と比較距離の両方が算出された場合、相対距離と比較距離の比較が可能である。
相対距離と比較距離の比較が可能である場合、処理はステップＳ１２３に進む。
相対距離と比較距離の比較が可能でない場合、処理はステップＳ１３３に進む。
相対距離と比較距離の両方が算出された場合、相対距離と比較距離の比較が可能である。
相対距離と比較距離の比較が可能である場合、処理はステップＳ１２３に進む。
相対距離と比較距離の比較が可能でない場合、処理はステップＳ１３３に進む。
ステップＳ１２３において、距離比較部２３２は、比較距離を相対距離と比較する。
比較距離と相対距離の差が許容範囲内の値である場合、距離比較部２３２は、比較距離が相対距離と等しい、と判定する。許容範囲は予め決められる。
比較距離と相対距離の差が許容範囲内の値である場合、距離比較部２３２は、比較距離が相対距離と等しい、と判定する。許容範囲は予め決められる。
許容範囲は、統計処理によって決定することができる。
例えば、許容範囲は、３σに相当する範囲である。「σ」は、ＬｉＤＡＲセンサ１０１とカメラ１０２の両方が攻撃を受けていないときの比較距離と相対距離の差の信頼区間である。３σは、信頼区間σの３倍の区間である。
ＬｉＤＡＲセンサ１０１が計測できる最長距離が１００メートル程度である場合、信頼区間σが１メートル以上１０メートル以下であることが妥当である、と考えられる。
信頼区間σが５メートルである場合、３σは１５メートルである。
比較距離と相対距離の差がマイナス７．５メートル以上またはプラス７．５メートル以上である場合、距離比較部２３２は、比較距離が相対距離と等しくない、と判定する。
例えば、許容範囲は、３σに相当する範囲である。「σ」は、ＬｉＤＡＲセンサ１０１とカメラ１０２の両方が攻撃を受けていないときの比較距離と相対距離の差の信頼区間である。３σは、信頼区間σの３倍の区間である。
ＬｉＤＡＲセンサ１０１が計測できる最長距離が１００メートル程度である場合、信頼区間σが１メートル以上１０メートル以下であることが妥当である、と考えられる。
信頼区間σが５メートルである場合、３σは１５メートルである。
比較距離と相対距離の差がマイナス７．５メートル以上またはプラス７．５メートル以上である場合、距離比較部２３２は、比較距離が相対距離と等しくない、と判定する。
比較距離が相対距離と等しい場合、ＬｉＤＡＲセンサ１０１が攻撃されていない、と考えられる。この場合、処理はステップＳ１３１に進む。
比較距離が相対距離と等しくない場合、ＬｉＤＡＲセンサ１０１が攻撃されている、と考えられる。この場合、処理はステップＳ１３２に進む。
比較距離が相対距離と等しくない場合、ＬｉＤＡＲセンサ１０１が攻撃されている、と考えられる。この場合、処理はステップＳ１３２に進む。
ステップＳ１３１において、ＳＬＡＭ装置２００は通常動作を継続する。
通常動作は、点群処理部２１０と画像処理部２２０と攻撃検知部２３０が動作するモードである。
具体的には、ＳＬＡＭ装置２００は、図４に示される流れで処理を継続する。
つまり、処理は、ステップＳ１０１およびステップＳ１１１に進む。
通常動作は、点群処理部２１０と画像処理部２２０と攻撃検知部２３０が動作するモードである。
具体的には、ＳＬＡＭ装置２００は、図４に示される流れで処理を継続する。
つまり、処理は、ステップＳ１０１およびステップＳ１１１に進む。
ステップＳ１３２において、ＳＬＡＭ補間部２３３は、ＳＬＡＭに対する補間（ＳＬＡＭ補間）を実行することによって、自己位置と地図を補間する。
具体的には、ＳＬＡＭ補間部２３３は、ビジュアルオドメトリ機能によって自己位置を推定する。そして、ＳＬＡＭ補間部２３３は、第２三次元点群データに示される三次元点群を自己位置に基づいて地図に反映することによって、地図を更新する。
ステップＳ１３２の後、処理はステップＳ１０１およびステップＳ１１１に進む。
具体的には、ＳＬＡＭ補間部２３３は、ビジュアルオドメトリ機能によって自己位置を推定する。そして、ＳＬＡＭ補間部２３３は、第２三次元点群データに示される三次元点群を自己位置に基づいて地図に反映することによって、地図を更新する。
ステップＳ１３２の後、処理はステップＳ１０１およびステップＳ１１１に進む。
ステップＳ１３３において、ＳＬＡＭの補間または動作の切り替えが行われる。
相対距離が算出されたが比較距離が算出されなかった場合、カメラ１０２は攻撃されていないがＬｉＤＡＲセンサ１０１が攻撃されている、と考えられる。この場合、ＳＬＡＭ補間部２３３はＳＬＡＭ補間を実行する。その後、処理はステップＳ１０１およびステップＳ１１１に進む。
相対距離が算出されたが比較距離が算出されなかった場合、カメラ１０２は攻撃されていないがＬｉＤＡＲセンサ１０１が攻撃されている、と考えられる。この場合、ＳＬＡＭ補間部２３３はＳＬＡＭ補間を実行する。その後、処理はステップＳ１０１およびステップＳ１１１に進む。
相対距離が算出されなかった場合、動作切り替え部２３４は、特徴物体が地図に示されているか判定する。
特徴物体が地図に示されている場合、ＬｉＤＡＲセンサ１０１は攻撃されていないがカメラ１０２が攻撃されている、と考えられる。この場合、動作切り替え部２３４は、ＳＬＡＭ装置２００の動作を通常動作から簡略動作に切り替える。その後、ＳＬＡＭ装置２００は、通常動作の代わりに簡略動作を実行する。
簡略動作は、点群処理部２１０は動作するが画像処理部２２０と攻撃検知部２３０が動作しないモードである。
簡略動作において、ＳＬＡＭ装置２００は、ステップＳ１０１からステップＳ１０４までの処理だけを継続する。
特徴物体が地図に示されている場合、ＬｉＤＡＲセンサ１０１は攻撃されていないがカメラ１０２が攻撃されている、と考えられる。この場合、動作切り替え部２３４は、ＳＬＡＭ装置２００の動作を通常動作から簡略動作に切り替える。その後、ＳＬＡＭ装置２００は、通常動作の代わりに簡略動作を実行する。
簡略動作は、点群処理部２１０は動作するが画像処理部２２０と攻撃検知部２３０が動作しないモードである。
簡略動作において、ＳＬＡＭ装置２００は、ステップＳ１０１からステップＳ１０４までの処理だけを継続する。
相対距離が算出されず特徴物体が地図に示されていない場合、ＬｉＤＡＲセンサ１０１とカメラ１０２の両方が攻撃されている、と考えられる。この場合、動作切り替え部２３４は、ＳＬＡＭ装置２００を停止させる。その後、ＳＬＡＭ装置２００は動作を停止する。
＊＊＊実施例の説明＊＊＊
ＬｉＤＡＲは近赤外線を利用してＴｏＦ原理で計測を行うため、鏡、ガラスまたは黒色塗料などの特定の物質に対する計測がし難い。計測は、特定の物質を一瞬で通り過ぎることもあるし、継続することもある。特定の物質が数メートルであり、特定の物質に対する計測が１回だけである場合、正しい距離が計測されなくても地図を壊すほどの影響を受けない、と考えられる。
ＳＬＡＭ装置２００は、比較距離が相対距離と１回等しくないときではなく、既定の複数回連続して（例えば２回連続して）等しくないときに、ＳＬＡＭ補間（ステップＳ１３２）を実行してもよい。これにより、誤動作を防ぐことができる。
ＬｉＤＡＲは近赤外線を利用してＴｏＦ原理で計測を行うため、鏡、ガラスまたは黒色塗料などの特定の物質に対する計測がし難い。計測は、特定の物質を一瞬で通り過ぎることもあるし、継続することもある。特定の物質が数メートルであり、特定の物質に対する計測が１回だけである場合、正しい距離が計測されなくても地図を壊すほどの影響を受けない、と考えられる。
ＳＬＡＭ装置２００は、比較距離が相対距離と１回等しくないときではなく、既定の複数回連続して（例えば２回連続して）等しくないときに、ＳＬＡＭ補間（ステップＳ１３２）を実行してもよい。これにより、誤動作を防ぐことができる。
自律型モビリティ１００が他のセンサを備えず、ＬｉＤＡＲセンサ１０１とカメラ１０２の両方が攻撃されている場合、センサフュージョンによるロバストな運用ができない。
自律型モビリティ１００は、センサフュージョンをより強固にするために、ＬｉＤＡＲセンサ１０１とカメラ１０２の代わりとなる代替センサを備えてもよい。代替センサの具体例は、レーダーおよびＩＭＵである。
レーダーは、ＬｉＤＡＲセンサ１０１と同様のセンサであり、レーザー光の代わりに電波を使う。
ＩＭＵは、慣性航法に用いられる装置であり、３次元角速度および３次元加速度を計測する。慣性航法により、位置および速度が求まる。ＩＭＵは慣性計測装置の略称である。
ＬｉＤＡＲセンサ１０１とカメラ１０２の両方が攻撃されている場合、動作切り替え部２３４は、ＳＬＡＭ装置２００の動作を通常動作から代替動作に切り替える。その後、ＳＬＡＭ装置２００は、通常動作の代わりに代替動作を実行する。
代替動作は、ＬｉＤＡＲセンサ１０１とカメラ１０２の代わりに代替センサを利用するモードである。
代替動作において、ＳＬＡＭ装置２００は、例えば、ＬｉＤＡＲセンサ１０１の代わりに代替センサを利用してステップＳ１０１からステップＳ１０４までの処理を実行する。
自律型モビリティ１００は、センサフュージョンをより強固にするために、ＬｉＤＡＲセンサ１０１とカメラ１０２の代わりとなる代替センサを備えてもよい。代替センサの具体例は、レーダーおよびＩＭＵである。
レーダーは、ＬｉＤＡＲセンサ１０１と同様のセンサであり、レーザー光の代わりに電波を使う。
ＩＭＵは、慣性航法に用いられる装置であり、３次元角速度および３次元加速度を計測する。慣性航法により、位置および速度が求まる。ＩＭＵは慣性計測装置の略称である。
ＬｉＤＡＲセンサ１０１とカメラ１０２の両方が攻撃されている場合、動作切り替え部２３４は、ＳＬＡＭ装置２００の動作を通常動作から代替動作に切り替える。その後、ＳＬＡＭ装置２００は、通常動作の代わりに代替動作を実行する。
代替動作は、ＬｉＤＡＲセンサ１０１とカメラ１０２の代わりに代替センサを利用するモードである。
代替動作において、ＳＬＡＭ装置２００は、例えば、ＬｉＤＡＲセンサ１０１の代わりに代替センサを利用してステップＳ１０１からステップＳ１０４までの処理を実行する。
＊＊＊実施の形態１の効果＊＊＊
実施の形態１は、ＳＬＡＭを用いたナビゲーションシステムによって走行する自律型モビリティに対する妨害攻撃の対策に関する。
実施の形態１は、ＬｉＤＡＲへの妨害を検知し、ＳＬＡＭを補間することができる。
実施の形態１は、ＳＬＡＭを用いたナビゲーションシステムによって走行する自律型モビリティに対する妨害攻撃の対策に関する。
実施の形態１は、ＬｉＤＡＲへの妨害を検知し、ＳＬＡＭを補間することができる。
実施の形態１により、ＬｉＤＡＲを介したＳＬＡＭに対する光照射インジェクション攻撃の対策を講じることができる。その結果、自律型モビリティの安全な運転を提供できる。
既存の技術として、カメラの点群データをＬｉＤＡＲの補助のために使用する、という方法がある。しかしながら、既存の技術において、カメラとＬｉＤＡＲのどちらが攻撃されたか判断することが難しい。
実施の形態１は、ＳＬＡＭ地図における距離の比較を行うことによって、その判断を容易にすることができる。
実施の形態１は、ＳＬＡＭ地図における距離の比較を行うことによって、その判断を容易にすることができる。
＊＊＊実施の形態１の特徴＊＊＊
自律型モビリティ１００は、以下のような機能を備える。
第１機能は、ＬｉＤＡＲセンサ１０１を使って物体までの距離を検知する。
第２機能は、カメラ１０２を使って物体までの距離を検知する。
第３機能は、両距離を比較する。
第４機能は、両距離が異なる場合、自己位置の補間を行う。このとき、第４機能は、カメラ１０２の物体検知情報とＬｉＤＡＲセンサ１０１のＳＬＡＭ地図を比較することによって、自己位置の推定を補間する。第４機能は、別センサに頼った動作への切り替えを行ってもよい。
物体検知情報とＳＬＡＭ地図が直接比較されることで、地図更新の間隔と攻撃検知の間隔に差異が生じない。そのため、地図の更新間隔に対する要件を満たしたまま対策を講じることができる。
自律型モビリティ１００は、以下のような機能を備える。
第１機能は、ＬｉＤＡＲセンサ１０１を使って物体までの距離を検知する。
第２機能は、カメラ１０２を使って物体までの距離を検知する。
第３機能は、両距離を比較する。
第４機能は、両距離が異なる場合、自己位置の補間を行う。このとき、第４機能は、カメラ１０２の物体検知情報とＬｉＤＡＲセンサ１０１のＳＬＡＭ地図を比較することによって、自己位置の推定を補間する。第４機能は、別センサに頼った動作への切り替えを行ってもよい。
物体検知情報とＳＬＡＭ地図が直接比較されることで、地図更新の間隔と攻撃検知の間隔に差異が生じない。そのため、地図の更新間隔に対する要件を満たしたまま対策を講じることができる。
＊＊＊実施の形態１の補足＊＊＊
図５に基づいて、自律型モビリティ１００のハードウェア構成例を説明する。
自律型モビリティ１００は、信号処理プロセッサ１２１と補間処理プロセッサ１２２と生成データメモリ１２９を備える。
信号処理プロセッサ１２１は、プロセッサ２０１に相当し、ステップＳ１０１からステップＳ１０４およびステップＳ１１１からステップＳ１１４を実行する。
補間処理プロセッサ１２２は、プロセッサ２０１に相当し、ステップＳ１２１からステップＳ１２３およびステップＳ１３１からステップＳ１３３を実行する。
生成データメモリ１２９は、メモリ２０２に相当する。
自律型モビリティ１００は、運転制御プロセッサ１３１と回転情報メモリ１３９を備える。
運転制御プロセッサ１３１は、自律運転システム１１０のプロセッサである。
回転情報メモリ１３９は、自律運転システム１１０のメモリである。
図５に基づいて、自律型モビリティ１００のハードウェア構成例を説明する。
自律型モビリティ１００は、信号処理プロセッサ１２１と補間処理プロセッサ１２２と生成データメモリ１２９を備える。
信号処理プロセッサ１２１は、プロセッサ２０１に相当し、ステップＳ１０１からステップＳ１０４およびステップＳ１１１からステップＳ１１４を実行する。
補間処理プロセッサ１２２は、プロセッサ２０１に相当し、ステップＳ１２１からステップＳ１２３およびステップＳ１３１からステップＳ１３３を実行する。
生成データメモリ１２９は、メモリ２０２に相当する。
自律型モビリティ１００は、運転制御プロセッサ１３１と回転情報メモリ１３９を備える。
運転制御プロセッサ１３１は、自律運転システム１１０のプロセッサである。
回転情報メモリ１３９は、自律運転システム１１０のメモリである。
＊＊＊実施の形態の補足＊＊＊
図６に基づいて、ＳＬＡＭ装置２００のハードウェア構成を説明する。
ＳＬＡＭ装置２００は処理回路２０９を備える。
処理回路２０９は、点群処理部２１０と画像処理部２２０と攻撃検知部２３０を実現するハードウェアである。
処理回路２０９は、専用のハードウェアであってもよいし、メモリ２０２に格納されるプログラムを実行するプロセッサ２０１であってもよい。
図６に基づいて、ＳＬＡＭ装置２００のハードウェア構成を説明する。
ＳＬＡＭ装置２００は処理回路２０９を備える。
処理回路２０９は、点群処理部２１０と画像処理部２２０と攻撃検知部２３０を実現するハードウェアである。
処理回路２０９は、専用のハードウェアであってもよいし、メモリ２０２に格納されるプログラムを実行するプロセッサ２０１であってもよい。
処理回路２０９が専用のハードウェアである場合、処理回路２０９は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡまたはこれらの組み合わせである。
ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略称である。
ＦＰＧＡは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略称である。
ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略称である。
ＦＰＧＡは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略称である。
ＳＬＡＭ装置２００は、処理回路２０９を代替する複数の処理回路を備えてもよい。
処理回路２０９において、一部の機能が専用のハードウェアで実現されて、残りの機能がソフトウェアまたはファームウェアで実現されてもよい。
このように、ＳＬＡＭ装置２００の機能はハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせで実現することができる。
実施の形態１は、好ましい形態の例示であり、本開示の技術的範囲を制限することを意図するものではない。実施の形態１は、部分的に実施してもよいし、他の形態と組み合わせて実施してもよい。フローチャート等を用いて説明した手順は、適宜に変更してもよい。
ＳＬＡＭ装置２００の要素である「部」は、「処理」、「工程」、「回路」または「サーキットリ」と読み替えてもよい。
１００ 自律型モビリティ、１０１ ＬｉＤＡＲセンサ、１０２ カメラ、１０３ モータ、１１０ 自律運転システム、１２１ 信号処理プロセッサ、１２２ 補間処理プロセッサ、１２３ 動作プロセッサ、１２９ 生成データメモリ、１３１ 運転制御プロセッサ、１３９ 回転情報メモリ、２００ ＳＬＡＭ装置、２０１ プロセッサ、２０２ メモリ、２０３ 補助記憶装置、２０４ 入出力インタフェース、２０９ 処理回路、２１０ 点群処理部、２１１ 点群生成部、２１２ ＳＬＡＭ部、２１３ 位置推定部、２１４ 地図生成部、２２０ 画像処理部、２２１ 物体認識部、２２２ 特徴物体選定部、２２３ 相対距離算出部、２２４ 画像変換部、２３０ 攻撃検知部、２３１ 比較距離算出部、２３２ 距離比較部、２３３ ＳＬＡＭ補間部、２３４ 動作切り替え部、２９０ 記憶部。
Claims (10)
- ＬｉＤＡＲセンサとカメラが設置される自律型モビリティに搭載され、
前記ＬｉＤＡＲセンサから計測点群データを取得し、前記計測点群データに基づいて第１三次元点群データを生成し、前記第１三次元点群データを用いてＳＬＡＭを実行することによって位置の推定と地図の生成を行う点群処理部と、
前記カメラから画像データを取得し、前記画像データに示される画像の中の特徴物体を認識し、前記カメラから前記特徴物体までの距離を相対距離として算出し、前記画像データを第２三次元点群データに変換する画像処理部と、
生成された地図に前記第２三次元点群データに示される三次元点群を重畳して前記地図における推定された位置から前記特徴物体までの距離を比較距離として算出し、前記比較距離を前記相対距離と比較し、前記比較距離と前記相対距離の差が許容範囲外の値である場合に前記第２三次元点群データを用いて前記ＳＬＡＭに対する補間を行う攻撃検知部と、
を備えるＳＬＡＭ装置。 - 前記攻撃検知部は、１回だけ前記差が前記許容範囲外の値であったときではなく規定の複数回以上連続して前記差が前記許容範囲外の値であったときに、前記補間を行う
請求項１に記載のＳＬＡＭ装置。 - 前記攻撃検知部は、前記補間として、ビジュアルオドメトリによる前記位置の推定と、前記第２三次元点群データを用いた前記地図の更新と、を行う
請求項１または請求項２に記載のＳＬＡＭ装置。 - 前記攻撃検知部は、前記比較距離を算出できず前記比較距離を前記相対距離と比較できなかった場合、前記補間を行う
請求項３に記載のＳＬＡＭ装置。 - 前記攻撃検知部は、前記相対距離が算出されず前記比較距離を前記相対距離と比較できなかった場合であり且つ前記特徴物体が前記地図に示されている場合、前記ＳＬＡＭ装置の動作を簡略動作に切り替え、
前記簡略動作は、前記点群処理部が動作するが前記画像処理部と前記攻撃検知部が動作しないモードである
請求項１から請求項４のいずれか１項に記載のＳＬＡＭ装置。 - 前記攻撃検知部は、前記相対距離が算出されず前記比較距離を前記相対距離と比較できなかった場合であり且つ前記特徴物体が前記地図に示されていない場合、前記ＳＬＡＭ装置を停止させる
請求項１から請求項５のいずれか１項に記載のＳＬＡＭ装置。 - 前記ＳＬＡＭ装置は、前記ＬｉＤＡＲセンサを代替する代替センサを備え、
前記攻撃検知部は、前記相対距離が算出されず前記比較距離を前記相対距離と比較できなかった場合であり且つ前記特徴物体が前記地図に示されていない場合、前記ＳＬＡＭ装置の動作を代替動作に切り替え、
前記代替動作は、前記ＬｉＤＡＲセンサの代わりに前記代替センサを利用するモードである
請求項１から請求項５のいずれか１項に記載のＳＬＡＭ装置。 - 前記特徴物体が壁である請求項１から請求項７のいずれか１項に記載のＳＬＡＭ装置。
- ＬｉＤＡＲセンサとカメラが設置される自律型モビリティに搭載されるコンピュータのＳＬＡＭ攻撃対策プログラムであり、
前記ＬｉＤＡＲセンサから計測点群データを取得し、前記計測点群データに基づいて第１三次元点群データを生成し、前記第１三次元点群データを用いてＳＬＡＭを実行することによって位置の推定と地図の生成を行う点群処理と、
前記カメラから画像データを取得し、前記画像データに示される画像の中の特徴物体を認識し、前記カメラから前記特徴物体までの距離を相対距離として算出し、前記画像データを第２三次元点群データに変換する画像処理と、
生成された地図に前記第２三次元点群データに示される三次元点群を重畳して前記地図における推定された位置から前記特徴物体までの距離を比較距離として算出し、前記比較距離を前記相対距離と比較し、前記比較距離と前記相対距離の差が許容範囲外の値である場合に前記第２三次元点群データを用いて前記ＳＬＡＭに対する補間を行う攻撃検知処理と、
を前記コンピュータに実行させるためのＳＬＡＭ攻撃対策プログラム。 - 計測を行って計測点群データを生成するＬｉＤＡＲセンサと、
撮影を行って画像データを生成するカメラと、
前記計測点群データに基づいて位置の推定と地図の生成を行うＳＬＡＭ装置と、
推定された位置と生成された地図に基づいて自律運転を行う自律運転システムと、
を備え、
前記ＳＬＡＭ装置は、
前記ＬｉＤＡＲセンサから前記計測点群データを取得し、前記計測点群データに基づいて第１三次元点群データを生成し、前記第１三次元点群データを用いてＳＬＡＭを実行することによって前記位置の前記推定と前記地図の前記生成を行う点群処理部と、
前記カメラから前記画像データを取得し、前記画像データに示される画像の中の特徴物体を認識し、前記カメラから前記特徴物体までの距離を相対距離として算出し、前記画像データを第２三次元点群データに変換する画像処理部と、
生成された前記地図に前記第２三次元点群データに示される三次元点群を重畳して前記地図における推定された前記位置から前記特徴物体までの距離を比較距離として算出し、前記比較距離を前記相対距離と比較し、前記比較距離と前記相対距離の差が許容範囲外の値である場合に前記第２三次元点群データを用いて前記ＳＬＡＭに対する補間を行う攻撃検知部と、を備える
自律型モビリティ。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2022/002458 WO2023139793A1 (ja) | 2022-01-24 | 2022-01-24 | Ｓｌａｍ装置、ｓｌａｍ攻撃対策プログラムおよび自律型モビリティ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2023139793A1 JPWO2023139793A1 (ja) | 2023-07-27 |
| JP7412665B2 true JP7412665B2 (ja) | 2024-01-12 |
Family
ID=87348539
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023569752A Active JP7412665B2 (ja) | 2022-01-24 | 2022-01-24 | Ｓｌａｍ装置、ｓｌａｍ攻撃対策プログラムおよび自律型モビリティ |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7412665B2 (ja) |
| WO (1) | WO2023139793A1 (ja) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019028861A (ja) | 2017-08-02 | 2019-02-21 | ソニー株式会社 | 信号処理装置、および信号処理方法、プログラム、並びに移動体 |
| JP2019207220A (ja) | 2018-03-13 | 2019-12-05 | 本田技研工業株式会社 | 動的な交通参加者の除去による位置推定と地図生成の安定した同時実行 |
| CN112785643A (zh) | 2021-02-02 | 2021-05-11 | 武汉科技大学 | 一种基于机器人平台的室内墙角二维语义地图构建方法 |
| JP2021135580A (ja) | 2020-02-25 | 2021-09-13 | 三菱重工業株式会社 | 位置推定装置、制御装置、産業用車両、物流支援システム、位置推定方法およびプログラム |
-
2022
- 2022-01-24 WO PCT/JP2022/002458 patent/WO2023139793A1/ja active Application Filing
- 2022-01-24 JP JP2023569752A patent/JP7412665B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019028861A (ja) | 2017-08-02 | 2019-02-21 | ソニー株式会社 | 信号処理装置、および信号処理方法、プログラム、並びに移動体 |
| JP2019207220A (ja) | 2018-03-13 | 2019-12-05 | 本田技研工業株式会社 | 動的な交通参加者の除去による位置推定と地図生成の安定した同時実行 |
| JP2021135580A (ja) | 2020-02-25 | 2021-09-13 | 三菱重工業株式会社 | 位置推定装置、制御装置、産業用車両、物流支援システム、位置推定方法およびプログラム |
| CN112785643A (zh) | 2021-02-02 | 2021-05-11 | 武汉科技大学 | 一种基于机器人平台的室内墙角二维语义地图构建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 吉田 康太, 藤野 毅，「LiDAR-based SLAMにおける姿勢推定のためのICPアルゴリズムに対する敵対的スキャン生成攻撃」，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，2020年07月13日，Vol.120, No.114，pages.81-86，ISSN 2432-6380 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023139793A1 (ja) | 2023-07-27 |
| JPWO2023139793A1 (ja) | 2023-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108352056B (zh) | 用于校正错误深度信息的系统和方法 | |
| US11132611B2 (en) | Information processing apparatus and information processing method for determining presence probability of object | |
| KR102508843B1 (ko) | 서라운드 뷰 영상에서 차량의 자차 동작을 산정하는 방법 및 장치 | |
| KR101956447B1 (ko) | 그래프 구조 기반의 무인체 위치 추정 장치 및 그 방법 | |
| US9151626B1 (en) | Vehicle position estimation system | |
| US9863775B2 (en) | Vehicle localization system | |
| US8295547B1 (en) | Model-based feature tracking in 3-D and 2-D imagery | |
| US11222438B2 (en) | Information processing apparatus, vehicle, and information processing method for presence probability of object | |
| KR20200044420A (ko) | 위치 추정 방법 및 장치 | |
| JP7404010B2 (ja) | 位置推定装置及び方法 | |
| US11321572B2 (en) | Self-position estimation method and self-position estimation device | |
| Nieuwenhuisen et al. | Multimodal obstacle detection and collision avoidance for micro aerial vehicles | |
| US11143511B2 (en) | On-vehicle processing device | |
| JP2009294214A (ja) | 地形構造を用いたナビゲーション方法及びシステム | |
| CN111308415B (zh) | 一种基于时间延迟的在线估计位姿的方法和设备 | |
| Vivet et al. | Radar-only localization and mapping for ground vehicle at high speed and for riverside boat | |
| KR102288609B1 (ko) | 다중 모듈 기반의 그래프 구조를 이용한 무인체 위치 추정 시스템 및 그 방법 | |
| JP7412665B2 (ja) | Ｓｌａｍ装置、ｓｌａｍ攻撃対策プログラムおよび自律型モビリティ | |
| US10249056B2 (en) | Vehicle position estimation system | |
| Broßeit et al. | Fusion of doppler radar and geometric attributes for motion estimation of extended objects | |
| WO2023234384A1 (ja) | 地図生成装置、地図生成方法、及びコンピュータ読み取り可能な記録媒体 | |
| US20240077623A1 (en) | Host vehicle position measuring device and host vehicle position measuring method | |
| WO2023017624A1 (en) | Drive device, vehicle, and method for automated driving and/or assisted driving | |
| US20240098231A1 (en) | Image processing device, image processing method, and computer-readable medium | |
| CN111486837B (zh) | 基于图结构的交通工具位置估计方法和使用其的交通工具 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231109 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20231109 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231205 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231226 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7412665 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |