JP7144491B2 - フォークリフト、位置推定方法、及びプログラム - Google Patents
フォークリフト、位置推定方法、及びプログラム Download PDFInfo
- Publication number
- JP7144491B2 JP7144491B2 JP2020138765A JP2020138765A JP7144491B2 JP 7144491 B2 JP7144491 B2 JP 7144491B2 JP 2020138765 A JP2020138765 A JP 2020138765A JP 2020138765 A JP2020138765 A JP 2020138765A JP 7144491 B2 JP7144491 B2 JP 7144491B2
- Authority
- JP
- Japan
- Prior art keywords
- feature points
- forklift
- vehicle body
- marker
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 133
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 238000012545 processing Methods 0.000 claims description 164
- 239000003550 marker Substances 0.000 claims description 96
- 238000003384 imaging method Methods 0.000 claims description 35
- 238000010586 diagram Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000006866 deterioration Effects 0.000 description 5
- 238000011835 investigation Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Forklifts And Lifting Vehicles (AREA)
Description
以下、本開示の第1の実施形態に係るフォークリフトについて、図1~図4を参照しながら説明する。
図1は、本開示の第1の実施形態に係るフォークリフトの全体構成を示す図である。
図1に示すように、本実施形態に係るフォークリフト1は、倉庫等の屋内の作業領域R0で運用される産業機械である。なお、フォークリフト1は、運転者により操作される有人フォークリフト、及び無人で自律走行を行う無人フォークリフトの何れであってもよい。
図2は、本開示の第1の実施形態に係るフォークリフトの機能構成を示す図である。
図2に示すように、フォークリフト1は、CPU11と、撮影装置12と、記憶媒体13と、通信インタフェース14とを備えている。
図3は、本開示の第1の実施形態に係るフォークリフトの処理の一例を示すフローチャートである。
図4は、本開示の第1の実施形態に係るフォークリフトの機能を説明するための図である。
以下、図3~図4を参照しながら、本実施形態に係るフォークリフト1の位置推定処理について詳細に説明する。
以上のように、本実施形態に係るフォークリフト1において、切替部114は、撮影装置12により撮影した画像から取得した特徴点と、地図データの特徴点との照合結果が所定の条件を満たしていない場合、マップマッチング処理部112による第1処理から、位置推定部113による第2処理に切り替える。
このようにすることで、フォークリフト1は、高精度な三次元地図である地図データが作業領域R0の一部の領域(第1領域R1)のみでしか作成できなかった場合であっても、地図データ未作成の領域(第2領域R2)を走行中は、V-SLAMを用いて位置推定処理を継続して実行することができる。これにより、フォークリフト1は、地図データの有無に関わらず自己位置を推定することができる。
更に、切替部114は、マップマッチング処理部112により推定されたフォークリフト1の位置が第2領域R2に含まれる場合、マップマッチング処理部112による第1処理から、位置推定部113による第2処理に切り替えてもよい。
このようにすることで、例えばフォークリフト1が地図データを未作成の第2領域R2に進入した場合等、マップマッチングが適切に行えないときは、V-SLAMを用いて位置推定処理を継続して実行することができる。
次に、本開示の第2の実施形態に係るフォークリフト1について、図5~図6を参照しながら説明する。第1の実施形態と共通の構成要素には同一の符号を付して詳細説明を省略する。
図5は、本開示の第2の実施形態に係るフォークリフトの処理の一例を示すフローチャートである。
図6は、本開示の第2の実施形態に係るフォークリフトの機能を説明するための図である。
以下、図5~図6を参照しながら、本実施形態に係るフォークリフト1の位置推定部113の処理について詳細に説明する。
以上のように、本実施形態に係るフォークリフト1において、位置推定部113は、第2領域R2への進入前のT秒間、及び第2領域R2から退出後のT秒間の両期間において、スケール計算を行い、V-SLAMモード時は、計算したスケールを使用してフォークリフト1の位置を推定する。
このようにすることで、フォークリフト1は、スケールから実距離を算出可能となるため、V-SLAMモード時でも高い精度で自己位置を推定することができる。
次に、本開示の第3の実施形態に係るフォークリフト1について、図7~図12を参照しながら説明する。第1及び第2の実施形態と共通の構成要素には同一の符号を付して詳細説明を省略する。
図7は、本開示の第3の実施形態に係るフォークリフトの機能構成を示す図である。
図7に示すように、本実施形態に係るフォークリフト1は、マーカ処理部115を更に備える点において、第1及び第2の実施形態と異なっている。
図8は、本開示の第3の実施形態に係るフォークリフトの処理の一例を示すフローチャートである。
図9は、本開示の第3の実施形態に係るマーカ処理を説明するための図である。
以下、図8~図9を参照しながら、本実施形態に係るフォークリフト1の位置推定処理について詳細に説明する。
図10は、本開示の第3の実施形態に係るマーカ配置処理の一例を示すフローチャートである。
図11は、本開示の第3の実施形態に係るマーカ配置処理を説明するための第1の図である。
図12は、本開示の第3の実施形態に係るマーカ配置処理を説明するための第2の図である。
本実施形態において、マーカは、フォークリフト1の運用前に、作業領域R0内の各所に予め配置される。以下、図10~図12を参照しながら、マーカの配置処理の例について説明する。
以上のように、本実施形態に係るフォークリフト1は、撮影装置12が撮影した画像からマーカを検出し、検出したマーカに基づいてフォークリフト1の位置を推定する第3処理を実行するマーカ処理部115を更に備える。
このようにすることで、フォークリフト1は、例えば天井の特徴点が少ない場所等、マップマッチング又はV-SLAMによる位置推定が困難な場所においても、マーカに基づいて、自己位置を容易且つ精度よく推定することができる。
画像の端部においては、レンズの歪みの影響により、マーカの認識精度が低下する可能性がある。しかしながら、マーカ処理部115は、画像の中心Cに最も近いマーカのみに基づいて位置の推定を行うことにより、このような認識精度の低下を抑制可能である。
このようにすることで、マーカ処理部115は、フォークリフト1の位置を推定する精度が低下することを抑制可能である。
次に、本開示の第4の実施形態に係るフォークリフト1について、図13~図14を参照しながら説明する。第1~第3の実施形態と共通の構成要素には同一の符号を付して詳細説明を省略する。
図13は、本開示の第4の実施形態に係るフォークリフトの機能構成を示す図である。
図13に示すように、本実施形態に係るフォークリフト1は、センサ15と、オドメトリ処理部116を更に備える点において、第3の実施形態と異なっている。
図14は、本開示の第4の実施形態に係るフォークリフトの処理の一例を示すフローチャートである。
以下、図14を参照しながら、本実施形態に係るフォークリフト1の位置推定処理について詳細に説明する。
以上のように、本実施形態に係るフォークリフト1は、V-SLAMモードにおいて、画像から検出可能な特徴点が少ない場合は、オドメトリモードに切り替えて、自己位置の推定処理を継続して実行することができる。
これにより、フォークリフト1は、例えば天井の特徴点が少なく、且つ、マーカの配置が漏れている場所においても、オドメトリ計算を使用して、位置の推定精度が低下することを抑制可能である。
図15は、本開示の一実施形態に係るフォークリフトのハードウェア構成の一例を示す図である。
以下、図15を参照しながら、本実施形態に係るフォークリフト1のハードウェア構成について説明する。
さらに、当該プログラムは、前述した機能を補助記憶装置903に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル(差分プログラム)であってもよい。
上述の実施形態に記載のフォークリフト、位置推定方法、及びプログラムは、例えば以下のように把握される。
10 車体
11 CPU
111 特徴点取得部
112 マップマッチング処理部
113 位置推定部
114 切替部
115 マーカ処理部
116 オドメトリ処理部
12 撮影装置
13 記憶媒体
14 通信インタフェース
15 センサ
2 データベース
900 コンピュータ
901 プロセッサ
Claims (10)
- 車体に設けられた撮影装置が撮影した画像から特徴点を取得する特徴点取得部と、
前記特徴点取得部が取得した前記特徴点と、作業領域の特徴点を予め記録した地図データとを照合し、前記車体の位置を推定する第1処理を実行するマップマッチング処理部と、
前記特徴点取得部が取得した前記特徴点から地図を生成しながら、前記車体の位置を推定する第2処理を実行する位置推定部と、
前記特徴点取得部が取得した前記特徴点と前記地図データの特徴点との照合結果が所定の条件を満たしていない場合、前記第1処理から前記第2処理に切り替える切替部と、
を備え、
前記作業領域は、前記地図データを作成済みの第1領域と、前記地図データを未作成の第2領域とを含み、
前記切替部は、前記マップマッチング処理部により推定された前記位置が前記第2領域に含まれる場合、前記第1処理から前記第2処理に切り替え、
前記位置推定部は、
前記マップマッチング処理部により推定された前記位置が前記第1領域に含まれ、且つ、前記第1領域と前記第2領域との境界から所定範囲以内に含まれている場合、前記特徴点取得部が取得した前記特徴点と、前記地図データとに基づいて、前記特徴点間の距離、又は前記撮影装置から前記特徴点までの距離を位置推定用のスケールとして計算し、
前記第2処理を実行する際に、前記スケールを使用して前記車体の位置を推定する、
フォークリフト。 - 前記マップマッチング処理部は、前記特徴点取得部が取得した前記特徴点の数、及び当該特徴点と前記地図データの特徴点との一致度合いに基づくスコアを前記照合結果として算出し、
前記切替部は、前記スコアが閾値未満である場合、前記マップマッチング処理部による前記第1処理から、前記位置推定部による前記第2処理に切り替える、
請求項1に記載のフォークリフト。 - 前記撮影装置が撮影した画像からマーカを検出し、前記マーカに基づいて前記車体の位置を推定する第3処理を実行するマーカ処理部を更に備え、
前記切替部は、前記画像から前記マーカが検出された場合、前記第1処理又は前記第2処理から前記第3処理に切り替える、
請求項1又は2に記載のフォークリフト。 - 前記マーカ処理部は、前記画像に複数の前記マーカが含まれている場合、前記画像の中心に最も近いマーカに基づいて、前記車体の位置を推定する、
請求項3に記載のフォークリフト。 - 前記マーカ処理部は、前記画像に複数の前記マーカが含まれている場合、前記マーカそれぞれから推定される位置について、前記画像の中心からの距離に応じて重み付け平均して、前記車体の位置を推定する、
請求項3に記載のフォークリフト。 - 前記車体に設けられたセンサから取得したセンサ値から推測される車速、操舵角及びヨーレートに基づいてオドメトリ計算を行い、前記車体の位置を推定する第4処理を実行するオドメトリ処理部を更に備え、
前記切替部は、前記特徴点取得部が取得した前記特徴点の数が所定数未満である場合、前記第2処理から前記第4処理に切り替える、
請求項1から5の何れか一項に記載のフォークリフト。 - フォークリフトの車体に設けられた撮影装置が撮影した画像から特徴点を取得するステップと、
取得した前記特徴点と、作業領域の特徴点を予め記録した地図データとを照合し、前記車体の位置を推定する第1処理を実行するステップと、
取得した前記特徴点から地図を生成しながら、前記車体の位置を推定する第2処理を実行するステップと、
取得した前記特徴点と前記地図データの特徴点との照合結果が所定の条件を満たしていない場合、前記第1処理から前記第2処理に切り替えるステップと、
を有し、
前記作業領域は、前記地図データを作成済みの第1領域と、前記地図データを未作成の第2領域とを含み、
前記第1処理から前記第2処理に切り替えるステップは、前前記第1処理により推定された前記位置が前記第2領域に含まれる場合、前記第1処理から前記第2処理に切り替え、
前記第2処理を実行するステップは、
前記第1処理により推定された前記位置が前記第1領域に含まれ、且つ、前記第1領域と前記第2領域との境界から所定範囲以内に含まれている場合、前記画像から取得した前記特徴点と、前記地図データとに基づいて、前記特徴点間の距離、又は前記撮影装置から前記特徴点までの距離を位置推定用のスケールとして計算し、
前記第2処理を実行する際に、前記スケールを使用して前記車体の位置を推定する、
位置推定方法。 - フォークリフトの車体に設けられた撮影装置が撮影した画像から特徴点を取得するステップと、
取得した前記特徴点と、作業領域の特徴点を予め記録した地図データとを照合し、前記車体の位置を推定する第1処理を実行するステップと、
取得した前記特徴点から地図を生成しながら、前記車体の位置を推定する第2処理を実行するステップと、
取得した前記特徴点と前記地図データの特徴点との照合結果が所定の条件を満たしていない場合、前記第1処理から前記第2処理に切り替えるステップと、
をフォークリフトのコンピュータに実行させるプログラムであって、
前記作業領域は、前記地図データを作成済みの第1領域と、前記地図データを未作成の第2領域とを含み、
前記第1処理から前記第2処理に切り替えるステップは、前記第1処理により推定された前記位置が前記第2領域に含まれる場合、前記第1処理から前記第2処理に切り替え、
前記第2処理を実行するステップは、
前記第1処理により推定された前記位置が前記第1領域に含まれ、且つ、前記第1領域と前記第2領域との境界から所定範囲以内に含まれている場合、前記画像から取得した前記特徴点と、前記地図データとに基づいて、前記特徴点間の距離、又は前記撮影装置から前記特徴点までの距離を位置推定用のスケールとして計算し、
前記第2処理を実行する際に、前記スケールを使用して前記車体の位置を推定する、
プログラム。 - 車体に設けられた撮影装置が撮影した画像から特徴点を取得する特徴点取得部と、
前記特徴点取得部が取得した前記特徴点と、作業領域の特徴点を予め記録した地図データとを照合し、前記車体の位置を推定する第1処理を実行するマップマッチング処理部と、
前記特徴点取得部が取得した前記特徴点から地図を生成しながら、前記車体の位置を推定する第2処理を実行する位置推定部と、
前記特徴点取得部が取得した前記特徴点と前記地図データの特徴点との照合結果が所定の条件を満たしていない場合、前記第1処理から前記第2処理に切り替える切替部と、
前記撮影装置が撮影した画像からマーカを検出し、前記マーカに基づいて前記車体の位置を推定する第3処理を実行するマーカ処理部と、
を備え、
前記切替部は、前記画像から前記マーカが検出された場合、前記第1処理又は前記第2処理から前記第3処理に切り替え、
前記マーカ処理部は、前記画像に複数の前記マーカが含まれている場合、前記画像の中心に最も近いマーカに基づいて、前記車体の位置を推定する、
フォークリフト。 - 車体に設けられた撮影装置が撮影した画像から特徴点を取得する特徴点取得部と、
前記特徴点取得部が取得した前記特徴点と、作業領域の特徴点を予め記録した地図データとを照合し、前記車体の位置を推定する第1処理を実行するマップマッチング処理部と、
前記特徴点取得部が取得した前記特徴点から地図を生成しながら、前記車体の位置を推定する第2処理を実行する位置推定部と、
前記特徴点取得部が取得した前記特徴点と前記地図データの特徴点との照合結果が所定の条件を満たしていない場合、前記第1処理から前記第2処理に切り替える切替部と、
前記撮影装置が撮影した画像からマーカを検出し、前記マーカに基づいて前記車体の位置を推定する第3処理を実行するマーカ処理部と、
を備え、
前記マーカ処理部は、前記画像に複数の前記マーカが含まれている場合、前記マーカそれぞれから推定される位置について、前記画像の中心からの距離に応じて重み付け平均して、前記車体の位置を推定する、
フォークリフト。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020138765A JP7144491B2 (ja) | 2020-08-19 | 2020-08-19 | フォークリフト、位置推定方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020138765A JP7144491B2 (ja) | 2020-08-19 | 2020-08-19 | フォークリフト、位置推定方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022034861A JP2022034861A (ja) | 2022-03-04 |
JP7144491B2 true JP7144491B2 (ja) | 2022-09-29 |
Family
ID=80443231
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020138765A Active JP7144491B2 (ja) | 2020-08-19 | 2020-08-19 | フォークリフト、位置推定方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7144491B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2024060968A (ja) | 2022-10-20 | 2024-05-07 | 三菱ロジスネクスト株式会社 | 位置推定システム、フォークリフト、位置推定方法及びプログラム |
JP2024090081A (ja) | 2022-12-22 | 2024-07-04 | 三菱ロジスネクスト株式会社 | 視界補助システム、産業車両、視界補助方法及びプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019159354A (ja) | 2018-03-07 | 2019-09-19 | カシオ計算機株式会社 | 自律移動装置、メモリ整理方法及びプログラム |
WO2019187816A1 (ja) | 2018-03-30 | 2019-10-03 | 日本電産シンポ株式会社 | 移動体および移動体システム |
JP6711555B1 (ja) | 2019-02-28 | 2020-06-17 | 三菱ロジスネクスト株式会社 | 搬送システム、領域決定装置、および、領域決定方法 |
-
2020
- 2020-08-19 JP JP2020138765A patent/JP7144491B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019159354A (ja) | 2018-03-07 | 2019-09-19 | カシオ計算機株式会社 | 自律移動装置、メモリ整理方法及びプログラム |
WO2019187816A1 (ja) | 2018-03-30 | 2019-10-03 | 日本電産シンポ株式会社 | 移動体および移動体システム |
JP6711555B1 (ja) | 2019-02-28 | 2020-06-17 | 三菱ロジスネクスト株式会社 | 搬送システム、領域決定装置、および、領域決定方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2022034861A (ja) | 2022-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6759307B2 (ja) | センサデータの空間的集約を用いる適応マッピング | |
KR101503903B1 (ko) | 이동 로봇의 지도 구성 장치 및 방법 | |
US20200353914A1 (en) | In-vehicle processing device and movement support system | |
JP6456405B2 (ja) | 3次元情報算出装置、3次元情報算出方法、および自律移動装置 | |
US20220012509A1 (en) | Overhead-view image generation device, overhead-view image generation system, and automatic parking device | |
US11493930B2 (en) | Determining changes in marker setups for robot localization | |
JP7144491B2 (ja) | フォークリフト、位置推定方法、及びプログラム | |
US11768503B2 (en) | Position estimation device, control device, industrial vehicle, logistics support system, position estimation method, and program | |
KR101333496B1 (ko) | 과거 지도 데이터 기반의 이동 로봇 제어 장치 및 방법 | |
CN111664857A (zh) | 自己位置估算装置、自己位置估算方法及记录介质 | |
JP6647125B2 (ja) | 位置同定システム | |
JP6956305B2 (ja) | 制御装置、制御方法及びプログラム | |
US20240067211A1 (en) | Method and apparatus for operating a vehicle for highly automated driving, and vehicle for highly automated driving | |
JP2018096935A (ja) | 自車位置推定装置、プログラム、記録媒体、および自車位置推定方法 | |
JP2024526082A (ja) | 自動運転および/または支援運転のための駆動装置、車両、および方法 | |
CN117419733A (zh) | 用于识别周围环境的有错地图的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210331 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220308 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220426 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220830 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220915 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7144491 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |