JP7144491B2 - フォークリフト、位置推定方法、及びプログラム - Google Patents

Description

本開示は、フォークリフト、位置推定方法、及びプログラムに関する。

移動体が自己位置を推定する技術として、例えば特許文献１には、センサ情報と環境地図とを照合して自己位置を推定する方法が記載されている。

例えば倉庫等の屋内の作業領域で運用されるフォークリフトは、運用前に取得した作業領域の環境地図と、運用時にフォークリフトが取得する環境情報とを照合させて、自己位置を推定する。環境地図として、作業領域の天井の三次元地図（地図データ）等が用いられる。地図データは、運用を開始する前に、ＬｉＤＡＲ（Light Detection and Ranging）技術等を利用したレーザセンサ、及び画像を撮影するカメラを取り付けた地図作成用のフォークリフトを作業領域内で走行させて取得したデータに基づいて生成される。具体的には、地図データは、作業領域の各位置においてレーザセンサが取得した三次元計測データ（点群データ）、及び、カメラが撮影した天井画像から、三次元復元により生成される。

また、実際の運用時には、フォークリフトにはカメラのみが取り付けられ、このカメラにより撮影された天井画像と、運用前に生成された地図データとを照合（マップマッチング）させて、フォークリフトの位置を推定する。

国際公開第２０１８／１７９９６０

しかしながら、作業領域に棚、障害物等が設置されており、地図作成用のフォークリフトが走行できない場所がある場合、この場所の地図データを作成することができない。また、地図データを作成するためのデータを取得するための時間、コストが不足している場合、作業領域の主要箇所のみ地図データを作成し、他の箇所は地図データを作成しない場合がある。

そうすると、フォークリフトは、地図データがない場所を走行した場合に、マップマッチングができず自己位置の推定が困難となる可能性がある。

本開示は、このような課題に鑑みてなされたものであって、地図データの有無に関わらず自己位置を推定することができるフォークリフト、位置推定方法、及びプログラムを提供する。

本開示の一態様によれば、フォークリフトは、車体に設けられた撮影装置が撮影した画像から特徴点を取得する特徴点取得部と、前記特徴点取得部が取得した前記特徴点と、作業領域の特徴点を予め記録した地図データとを照合し、前記車体の位置を推定する第１処理を実行するマップマッチング処理部と、前記特徴点取得部が取得した前記特徴点から地図を生成しながら、前記車体の位置を推定する第２処理を実行する位置推定部と、前記特徴点取得部が取得した前記特徴点と前記地図データの特徴点との照合結果が所定の条件を満たしていない場合、前記第１処理から前記第２処理に切り替える切替部と、を備える。

本開示の一態様によれば、位置推定方法は、フォークリフトの車体に設けられた撮影装置が撮影した画像から特徴点を取得するステップと、取得した前記特徴点と、作業領域の特徴点を予め記録した地図データとを照合し、前記車体の位置を推定する第１処理を実行するステップと、取得した前記特徴点から地図を生成しながら、前記車体の位置を推定する第２処理を実行するステップと、取得した前記特徴点と前記地図データの特徴点との照合結果が所定の条件を満たしていない場合、前記第１処理から前記第２処理に切り替えるステップと、を有する。

本開示の一態様によれば、プログラムは、フォークリフトの車体に設けられた撮影装置が撮影した画像から特徴点を取得するステップと、取得した前記特徴点と、作業領域の特徴点を予め記録した地図データとを照合し、前記車体の位置を推定する第１処理を実行するステップと、取得した前記特徴点から地図を生成しながら、前記車体の位置を推定する第２処理を実行するステップと、取得した前記特徴点と前記地図データの特徴点との照合結果が所定の条件を満たしていない場合、前記第１処理から前記第２処理に切り替えるステップと、をフォークリフトのコンピュータに実行させる。

本開示に係るフォークリフト、位置推定方法、及びプログラムによれば、地図の有無に関わらず高い精度で自己位置を推定することができる。

本開示の第１の実施形態に係るフォークリフトの全体構成を示す図である。 本開示の第１の実施形態に係るフォークリフトの機能構成を示す図である。 本開示の第１の実施形態に係るフォークリフトの処理の一例を示すフローチャートである。 本開示の第１の実施形態に係るフォークリフトの機能を説明するための図である。 本開示の第２の実施形態に係るフォークリフトの処理の一例を示すフローチャートである。 本開示の第２の実施形態に係るフォークリフトの機能を説明するための図である。 本開示の第３の実施形態に係るフォークリフトの機能構成を示す図である。 本開示の第３の実施形態に係るフォークリフトの処理の一例を示すフローチャートである。 本開示の第３の実施形態に係るマーカ処理を説明するための図である。 本開示の第３の実施形態に係るマーカ配置処理の一例を示すフローチャートである。 本開示の第３の実施形態に係るマーカ配置処理を説明するための第１の図である。 本開示の第３の実施形態に係るマーカ配置処理を説明するための第２の図である。 本開示の第４の実施形態に係るフォークリフトの機能構成を示す図である。 本開示の第４の実施形態に係るフォークリフトの処理の一例を示すフローチャートである。 本開示の一実施形態に係るフォークリフトのハードウェア構成の一例を示す図である。

＜第１の実施形態＞
以下、本開示の第１の実施形態に係るフォークリフトについて、図１～図４を参照しながら説明する。

（フォークリフトの全体構成）
図１は、本開示の第１の実施形態に係るフォークリフトの全体構成を示す図である。
図１に示すように、本実施形態に係るフォークリフト１は、倉庫等の屋内の作業領域Ｒ０で運用される産業機械である。なお、フォークリフト１は、運転者により操作される有人フォークリフト、及び無人で自律走行を行う無人フォークリフトの何れであってもよい。

また、フォークリフト１の車体１０の上面には、撮影装置１２（カメラ）が設けられている。撮影装置１２は、車体１０の上方に向けられており、フォークリフト１の稼働中は常時、作業領域Ｒ０の天井の画像を撮影する。フォークリフト１は、撮影装置１２により撮影された画像に基づいて、自己位置を推定する。

（フォークリフトの機能構成）
図２は、本開示の第１の実施形態に係るフォークリフトの機能構成を示す図である。
図２に示すように、フォークリフト１は、ＣＰＵ１１と、撮影装置１２と、記憶媒体１３と、通信インタフェース１４とを備えている。

ＣＰＵ１１は、予め用意されたプログラムに従って動作することで種々の機能を発揮し、フォークリフト１全体の動作を司るプロセッサである。ＣＰＵ１１は、特徴点取得部１１１、マップマッチング処理部１１２、位置推定部１１３、切替部１１４として機能する。

特徴点取得部１１１は、撮影装置１２が撮影した画像から特徴点を取得する。

マップマッチング処理部１１２は、特徴点取得部１１１が取得した特徴点と、作業領域Ｒ０の特徴点を予め記録した地図データ（天井地図）とを照合して、フォークリフト１の車体１０の位置を推定する第１処理を実行する。第１処理とは、マップマッチングによる位置推定処理である。

位置推定部１１３は、特徴点取得部１１１が取得した特徴点から地図を生成しながら、フォークリフト１の車体１０の位置を推定する第２処理を実行する。第２処理とは、Ｖ－ＳＬＡＭ（Visual Simultaneous Localization and Mapping）の技術を用いた位置推定処理である。

切替部１１４は、特徴点取得部１１１が取得した特徴点と地図データの特徴点との照合結果が所定の条件を満たしていない場合、第１処理（マップマッチングによる位置推定処理）から第２処理（Ｖ－ＳＬＡＭを用いた位置推定処理）に切り替える。即ち、切替部１１４は、マップマッチング処理部１１２が第１処理を実行するマップマッチングモードと、位置推定部１１３が第２処理を実行するＶ－ＳＬＡＭモードとを切り替える。

記憶媒体１３には、作業領域Ｒ０の地図データ（天井地図）が予め記憶されている。また、記憶媒体１３には、特徴点取得部１１１が取得した特徴点が蓄積される。

本実施形態において、地図データは、予め地図作成用のフォークリフトにより取得されたデータに基づいて作成済みであるとする。例えば、フォークリフト１の運用を開始する前に、レーザセンサ及びカメラを有する地図作成用のフォークリフトを走行させて、作業領域Ｒ０の各位置における三次元計測データと、天井画像とを取得する。また、この三次元計測データ及び天井画像から三次元復元した三次元地図を、地図データとして記憶媒体１３に記憶する。この地図データは、天井画像上に特徴点を重ね合わせたものであり、三次元計測データに基づき、画像内のスケール（特徴点間の距離、カメラから特徴点までの距離等）が特定された高精度な天井地図である。

また、作業領域Ｒ０に棚、障害物等があり、作業領域Ｒ０内の一部の領域において、地図作成用のフォークリフトが走行できない箇所があったとする。この場合、地図データは、地図作成用のフォークリフトが走行済みの第１領域Ｒ１（図４）についてのみ作成される。地図作成用のフォークリフトが走行できなかった第２領域Ｒ２（図４）は、地図データ未作成の領域である。

通信インタフェース１４は、ネットワークＮＷを通じて外部のデータベース２とデータの送受信を行う。通信インタフェース１４は、例えば地図データが更新された場合に、データベース２から新たな地図データを受信して、記憶媒体１３に記憶するようにしてもよい。

（フォークリフトの処理フロー）
図３は、本開示の第１の実施形態に係るフォークリフトの処理の一例を示すフローチャートである。
図４は、本開示の第１の実施形態に係るフォークリフトの機能を説明するための図である。
以下、図３～図４を参照しながら、本実施形態に係るフォークリフト１の位置推定処理について詳細に説明する。

図３に示すように、フォークリフト１の特徴点取得部１１１は、撮影装置１２が撮影した画像に所定の画像処理を施すことにより、画像内に含まれる特徴点を取得する（ステップＳ１０１）。

次に、マップマッチング処理部１１２は、特徴点取得部１１１が取得した特徴点と、地図データの特徴点とを照合する（ステップＳ１０２）。また、マップマッチング処理部１１２は、特徴点取得部１１１が取得した特徴点の数、及びこの特徴点と地図データの特徴点との一致度合いに基づいて、スコアを算出する。

例えば、マップマッチング処理部１１２は、特徴点取得部１１１が取得した特徴点の数が多いほど位置の推定精度が高くなる見込みがあるため、スコアを高くする。また、マップマッチング処理部１１２は、特徴点取得部１１１が取得した特徴点と、地図データの特徴点との一致度合い（一致した割合）が大きいほど位置の推定精度が高くなるため、スコアを高くする。

また、例えば、フォークリフト１が地図データ作成済みの第１領域Ｒ１と、地図データ未作成の第２領域Ｒ２との境界付近を走行中は、画像の一部に第２領域Ｒ２の天井画像が含まれる場合がある。この場合、天井画像内の第２領域Ｒ２に相当する範囲は、第１領域Ｒ１に相当する範囲よりも一致度が低くなる。マップマッチング処理部１１２は、このように、特徴点の一致度の分布にばらつきがある場合は、スコアを低くしてもよい。

次に、切替部１１４は、マップマッチング処理部１１２による照合結果に基づいて、マップマッチングによる位置推定処理（第１処理）、及びＶ－ＳＬＡＭを用いた位置推定処理（第２処理）の何れを実行するかを判断する（ステップＳ１０３）。切替部１１４は、照合結果が所定の条件を満たしていない場合（ステップＳ１０３：ＮＯ）、Ｖ－ＳＬＡＭを用いた位置推定処理に切り替える。

具体的には、切替部１１４は、マップマッチング処理部１１２が算出したスコアが閾値以上である場合、又は、フォークリフト１の位置が第１領域Ｒ１に含まれる場合、所定の条件を満たしたと判断する（ステップＳ１０３：ＹＥＳ）。一方、切替部１１４は、スコアが閾値未満であり、且つ、フォークリフト１の位置が第１領域Ｒ１に含まれない場合、所定の条件を満たしていないと判断する（ステップＳ１０３：ＮＯ）。なお、フォークリフト１の位置は、前回推定された位置を参照してもよいし、ステップＳ１０２においてマップマッチング処理部１１２が位置の推定まで行っていてもよい。また、フォークリフト１がどの領域に位置しているかは、フォークリフト１の任意の場所を示す代表点ＲＰがどの領域に位置しているかに基づいて判断される。代表点ＲＰは、例えば車体１０の後端部中央、撮影装置１２の設置位置等、フォークリフト１のどの場所に設定されてもよい。

例えば、図４に示すように、フォークリフト１が作業領域Ｒ０の第１領域Ｒ１（Ｐ１の位置）にいる（フォークリフト１の代表点ＲＰが第１領域Ｒ１に含まれる）とする。このとき、マップマッチング処理部１１２では、特徴点取得部１１１が取得した特徴点（画像の特徴点）と、地図データの特徴点とを照合した結果、スコアが閾値以上であったとする。この場合、切替部１１４は、所定の条件を満たしたと判断して（ステップＳ１０３：ＹＥＳ）、マップマッチングモードに切り替える。そうすると、マップマッチング処理部１１２は、マップマッチングによる位置推定処理（第１処理）を実行する（ステップＳ１０４）。マップマッチング処理部１１２は、画像の特徴点と地図データの特徴点とを照合してフォークリフト１の位置を推定するとともに、地図上におけるフォークリフト１の方位（進行方向）を推定する。マップマッチングによる位置及び方位を推定する処理は、既存の技術を利用可能である。

また、例えば、図４に示すように、フォークリフト１が作業領域Ｒ０の第２領域Ｒ２（Ｐ２の位置）にいる（フォークリフト１の代表点ＲＰが第２領域Ｒ２に含まれる）とする。更に、マップマッチング処理部１１２が算出したスコアが閾値未満であるとする。この場合、切替部１１４は、所定の条件を満たしていないと判断して（ステップＳ１０３：ＮＯ）、Ｖ－ＳＬＡＭモードに切り替える。そうすると、位置推定部１１３は、Ｖ－ＳＬＡＭを用いた位置推定処理（第２処理）を実行する（ステップＳ１０５）。Ｖ－ＳＬＡＭを用いた位置推定処理は、既存の技術を利用可能である。

フォークリフト１は、稼働中、図３に示す一連の処理を繰り返し実行する。これにより、フォークリフト１は、高精度な三次元地図である地図データが事前に準備された第１領域Ｒ１ではマップマッチングモードによる位置推定を行い、地図データが未作成のためマップマッチングができない第２領域Ｒ２ではＶ－ＳＬＡＭを用いた位置推定に切り替えることができる。

なお、図３の例では、ステップＳ１０３において、切替部１１４は、スコアが閾値以上である場合、又は、フォークリフト１の位置が第１領域内である場合、所定の条件を満たしたと判断して、マップマッチングモードに切り替える態様について説明したが、これに限られることはない。他の実施形態では、切替部１１４は、スコアが閾値以上である場合のみ、マップマッチングモードに切り替える態様であってもよい。この場合、切替部１１４は、スコアが閾値未満、且つフォークリフト１の位置が第１領域外である場合、Ｖ－ＳＬＡＭモードに切り替えるが、スコアが閾値未満、且つフォークリフト１の位置が第１領域内である場合、位置推定が不可能であると判断するようにしてもよい。フォークリフト１の位置が第１領域内であり、且つスコアが閾値未満となるケースは、例えば、記憶媒体１３に記憶された地図データが古く、現実の作業領域Ｒ０のレイアウトと異なっていることが考えられる。このため、このような態様においては、フォークリフト１の位置推定が不可能とならないように、レイアウト変更後は、必ずフォークリフト１の記憶媒体１３に記憶された地図データを更新するように、運用ルールを規定することが望ましい。

また、位置推定部１１３は、Ｖ－ＳＬＡＭモード中に特徴点取得部１１１が取得した特徴点と、位置推定部１１３が推定したフォークリフト１の位置とを関連付けたサンプルデータを記憶媒体１３に蓄積するようにしてもよい。また、このサンプルデータは、通信インタフェース１４を通じてデータベース２に送信し、データベース２に複数のフォークリフト１が取得したサンプルデータを蓄積するようにしてもよい。記憶媒体１３又はデータベース２に所定数以上のサンプルデータが蓄積された場合、これら複数のサンプルデータに基づいて第２領域Ｒ２の天井地図を作成して、地図データに追加してもよい。これにより、フォークリフトを運用し続けることで、運用前に地図データが作成できなかった第２領域Ｒ２の面積を減らし、マップマッチングが可能な第１領域Ｒ１の面積を増やすことができる。

（作用効果）
以上のように、本実施形態に係るフォークリフト１において、切替部１１４は、撮影装置１２により撮影した画像から取得した特徴点と、地図データの特徴点との照合結果が所定の条件を満たしていない場合、マップマッチング処理部１１２による第１処理から、位置推定部１１３による第２処理に切り替える。
このようにすることで、フォークリフト１は、高精度な三次元地図である地図データが作業領域Ｒ０の一部の領域（第１領域Ｒ１）のみでしか作成できなかった場合であっても、地図データ未作成の領域（第２領域Ｒ２）を走行中は、Ｖ－ＳＬＡＭを用いて位置推定処理を継続して実行することができる。これにより、フォークリフト１は、地図データの有無に関わらず自己位置を推定することができる。

また、マップマッチング処理部１１２は、画像の特徴点の数、及び、画像の特徴点と地図データの特徴点との一致度合いに基づくスコアを算出し、切替部１１４は、スコアが閾値未満である場合、マップマッチング処理部１１２による第１処理から、位置推定部１１３による第２処理に切り替えてもよい。
更に、切替部１１４は、マップマッチング処理部１１２により推定されたフォークリフト１の位置が第２領域Ｒ２に含まれる場合、マップマッチング処理部１１２による第１処理から、位置推定部１１３による第２処理に切り替えてもよい。
このようにすることで、例えばフォークリフト１が地図データを未作成の第２領域Ｒ２に進入した場合等、マップマッチングが適切に行えないときは、Ｖ－ＳＬＡＭを用いて位置推定処理を継続して実行することができる。

＜第２の実施形態＞
次に、本開示の第２の実施形態に係るフォークリフト１について、図５～図６を参照しながら説明する。第１の実施形態と共通の構成要素には同一の符号を付して詳細説明を省略する。

本実施形態に係るフォークリフト１は、位置推定部１１３が位置推定用のスケール計算を行う点において、第１の実施形態と異なっている。Ｖ－ＳＬＡＭを用いた位置推定処理では、撮影した画像内におけるスケール（距離単位）が不明であるため、推定位置の誤差が蓄積して精度が低下する可能性がある。また、推定位置と実際の位置とのずれが大きくなると、マップマッチングモードに切り替えた際に、復帰点（マップマッチングの初期値）をサーチする負荷が上がってしまう可能性がある。このため、本実施形態に係る位置推定部１１３は、マップマッチングモード時に画像内におけるスケールを計算しておき、Ｖ－ＳＬＡＭモード時には計算したスケールを用いて位置推定を行うようにしている。

（フォークリフトの処理フロー）
図５は、本開示の第２の実施形態に係るフォークリフトの処理の一例を示すフローチャートである。
図６は、本開示の第２の実施形態に係るフォークリフトの機能を説明するための図である。
以下、図５～図６を参照しながら、本実施形態に係るフォークリフト１の位置推定部１１３の処理について詳細に説明する。

図５に示すように、フォークリフト１の特徴点取得部１１１は、撮影装置１２が撮影した画像内に含まれる特徴点を取得する（ステップＳ２０１）。当該処理は、第１の実施形態（図３のステップＳ１０１）と同様である。

次に、マップマッチング処理部１１２は、特徴点取得部１１１が取得した特徴点と、地図データの特徴点とを照合（マップマッチング）して、フォークリフト１の位置を推定する（ステップＳ２０２）。

次に、位置推定部１１３は、フォークリフト１の位置が第１領域Ｒ１に含まれ、且つ、第１領域Ｒ１と第２領域Ｒ２との境界から所定範囲Ｒ４内に含まれているか判断する（ステップＳ２０３）。位置推定部１１３は、例えば、フォークリフト１の移動速度及び進行方向に基づいて、フォークリフト１がＴ秒以内に第２領域Ｒ２に到達可能な範囲を計算して、所定範囲Ｒ４として設定する。Ｔ秒の具体的な値は、位置推定部１１３がスケール計算に要する時間以上となるように設定される。

例えば図６に示すように、時刻ｔ０におけるフォークリフト１の位置がＰ３であったとする。この場合、位置Ｐ３におけるフォークリフト１の代表点ＲＰは所定範囲Ｒ４に含まれていないため（ステップＳ２０３：ＮＯ）、位置推定部１１３は、スケール計算を行わずに処理を終了する。このとき、位置Ｐ３におけるフォークリフト１の代表点ＲＰは第１領域Ｒ１に含まれているため、切替部１１４によりＶ－ＳＬＡＭモードはＯＦＦにされ、マップマッチングモードがＯＮの状態となっている（図３のステップＳ１０３：ＹＥＳ）。

また、例えば図６に示すように、時刻ｔ１におけるフォークリフト１の位置がＰ４であったとする。この場合、位置Ｐ４におけるフォークリフト１の代表点ＲＰは所定範囲Ｒ４に含まれているため（ステップＳ２０３：ＹＥＳ）、位置推定部１１３は、特徴点取得部１１１が取得した特徴点と、地図データの特徴点とに基づいて、画像内のスケールを計算する（ステップＳ２０４）。このとき、位置Ｐ４におけるフォークリフト１の代表点ＲＰは第１領域Ｒ１に含まれているため、切替部１１４はマップマッチングモードをＯＮのまま維持するが、Ｖ－ＳＬＡＭモードもＯＮにして、位置推定部１１３によるスケール計算を実行可能にする。

また、図６に示すように、時刻ｔ２におけるフォークリフト１の位置がＰ５であったとする。このとき、位置Ｐ５におけるフォークリフト１の代表点ＲＰは第１領域Ｒ１から第２領域Ｒ２に移動したため（ステップＳ２０３：ＮＯ）、位置推定部１１３はスケール計算を停止する。このとき、切替部１１４はマップマッチングモードをＯＦＦにして、Ｖ－ＳＬＡＭモードに切り替える（図３のステップＳ１０３：ＮＯ）。

また、図６に示すように、時刻ｔ３におけるフォークリフト１の位置がＰ６であったとする。この場合、位置Ｐ６におけるフォークリフト１の代表点ＲＰは第１領域Ｒ１、且つ所定範囲Ｒ４に含まれているため（ステップＳ２０３：ＹＥＳ）、位置推定部１１３は、画像内のスケールを計算する（ステップＳ２０４）。このとき、位置Ｐ６におけるフォークリフト１の代表点ＲＰは第１領域Ｒ１に含まれているため、切替部１１４によりマップマッチングモードに切り替えられる（図３のステップＳ１０３：ＹＥＳ）が、スケール計算のためＶ－ＳＬＡＭモードもＯＮのまま維持されている。図６の例では、フォークリフト１の代表点ＲＰが第２領域Ｒ２から第１領域Ｒ１に移動した後も、所定範囲Ｒ４内に位置しているときは、再度第２領域Ｒ２に戻る可能性がある。このため、本実施形態に係る位置推定部１１３は、第２領域Ｒ２への進入前のＴ秒間、及び第２領域Ｒ２から退出後のＴ秒間の両期間において、スケール計算を実行する。

また、図６に示すように、時刻ｔ４におけるフォークリフト１の位置がＰ７であったとする。この場合、位置Ｐ７におけるフォークリフト１の代表点ＲＰは所定範囲Ｒ４に含まれていないため（ステップＳ２０３：ＮＯ）、位置推定部１１３は、スケール計算を停止する。このとき、切替部１１４により、Ｖ－ＳＬＡＭモードがＯＦＦにされる。

位置推定部１１３は、フォークリフト１の稼働中、図５に示す一連の処理を繰り返し実行する。これにより、位置推定部１１３は、フォークリフト１が第２領域Ｒ２に進入する前に画像内のスケールを計算しておき、Ｖ－ＳＬＡＭモードに切り替えた後は計算したスケールを使用して、フォークリフト１の位置を推定する精度が低下することを抑制することができる。

なお、位置推定部１１３がスケール計算に使用する特徴点は、スケール計算中（フォークリフト１が所定範囲Ｒ４内に位置する期間。例えば、図６の時刻ｔ１～ｔ２及び時刻ｔ３～ｔ４の期間。）に時系列的に安定して取得できる特徴点が好ましい。このため、位置推定部１１３は、特徴点取得部１１１が取得した複数の特徴点のうち、マップマッチング処理部１１２による照合時のスコアが高いもの、又は、長期間継続して取得できた特徴点をスケール計算に使用する。

（作用効果）
以上のように、本実施形態に係るフォークリフト１において、位置推定部１１３は、第２領域Ｒ２への進入前のＴ秒間、及び第２領域Ｒ２から退出後のＴ秒間の両期間において、スケール計算を行い、Ｖ－ＳＬＡＭモード時は、計算したスケールを使用してフォークリフト１の位置を推定する。
このようにすることで、フォークリフト１は、スケールから実距離を算出可能となるため、Ｖ－ＳＬＡＭモード時でも高い精度で自己位置を推定することができる。

＜第３の実施形態＞
次に、本開示の第３の実施形態に係るフォークリフト１について、図７～図１２を参照しながら説明する。第１及び第２の実施形態と共通の構成要素には同一の符号を付して詳細説明を省略する。

（フォークリフトの機能構成）
図７は、本開示の第３の実施形態に係るフォークリフトの機能構成を示す図である。
図７に示すように、本実施形態に係るフォークリフト１は、マーカ処理部１１５を更に備える点において、第１及び第２の実施形態と異なっている。

マーカ処理部１１５は、撮影装置１２が撮影した画像から読み取ったマーカに基づいて、フォークリフト１の車体１０の位置を推定する第３処理を実行する。マーカは、二次元バーコード、ＡＲマーカ等であり、作業領域Ｒ０の天井に設けられる。なお、他の実施形態では、撮影装置１２は、天井画像を撮影するためのカメラと、マーカを読み取るためのカメラ（読取装置）とをそれぞれ有していてもよい。

切替部１１４は、マーカ処理部１１５によりマーカが検出された場合、第１処理（マップマッチングによる位置推定処理）又は第２処理（Ｖ－ＳＬＡＭを用いた位置推定処理）から、第３処理（マーカを用いた位置推定処理）に切り替える。即ち、本実施形態に係る切替部１１４は、マップマッチング処理部１１２が第１処理を実行するマップマッチングモード、位置推定部１１３が第２処理を実行するＶ－ＳＬＡＭモード、及びマーカ処理部１１５が第３処理を実行するマーカ処理モードの何れかに切り替える。

また、記憶媒体１３には、作業領域Ｒ０に設けられた複数のマーカそれぞれのＩＤ情報と、設置位置とを関連付けて記録した地図データ（マーカ地図）が予め記憶されている。更に、通信インタフェース１４は、例えばマーカ地図が更新された場合に、データベース２から新たなマーカ地図を受信して、記憶媒体１３に記憶するようにしてもよい。

（フォークリフトの処理フロー）
図８は、本開示の第３の実施形態に係るフォークリフトの処理の一例を示すフローチャートである。
図９は、本開示の第３の実施形態に係るマーカ処理を説明するための図である。
以下、図８～図９を参照しながら、本実施形態に係るフォークリフト１の位置推定処理について詳細に説明する。

図８に示すように、マーカ処理部１１５は、撮影装置１２が撮影した画像からマーカを検出する処理を実行する（ステップＳ３０１）。また、画像の端部においては、レンズの歪みの影響により、マーカの認識精度が低下する可能性がある。このため、マーカ処理部１１５は、図９に示すように、画像内の中心Ｃから所定の範囲（信頼区間Ｆ１）内に位置するマーカ（図９の例では、マーカＭ１、Ｍ２）のみを検出し、信頼区間Ｆ１外に位置するマーカ（図９の例では、マーカＭ２）は除外するようにしてもよい。

次に、切替部１１４は、マーカが検出されたか否かを判断する（ステップＳ３０２）。マーカ処理部１１５によりマーカが検出された場合（ステップＳ３０２：ＹＥＳ）、マップマッチングモード又はＶ－ＳＬＡＭモードからマーカ処理モードに切り替える。

そうすると、マーカ処理部１１５は、検出したマーカのＩＤ情報、サイズ、角度等に基づいて、フォークリフト１の位置を推定する第３処理を実行する（ステップＳ３０３）。マーカから自己位置を推定する処理は、既存の技術を利用可能である。

また、図９に示すように、マーカ処理部１１５は、信頼区間Ｆ１内において複数のマーカＭ１、Ｍ２を検出する場合がある。この場合、マーカ処理部１１５は、画像の中心Ｃに最も近いマーカＭ２に基づいて、フォークリフト１の位置を推定する。更に他の実施形態では、マーカ処理部１１５は、複数のマーカＭ１、Ｍ２から推定される位置について、画像の中心Ｃからの距離に近いほど重みを付けて平均して、フォークリフト１の推定位置を計算するようにしてもよい。

一方、マーカ処理部１１５によりマーカが検出されなかった場合（ステップＳ３０２：ＮＯ）、フォークリフト１は、マップマッチングモード又はＶ－ＳＬＡＭモードによる位置推定処理を実行する（ステップＳ１０１～Ｓ１０５）。これらの処理は、第１実施形態（図３のステップＳ１０１～Ｓ１０５）と同様であるため、説明を省略する。

（マーカの配置処理）
図１０は、本開示の第３の実施形態に係るマーカ配置処理の一例を示すフローチャートである。
図１１は、本開示の第３の実施形態に係るマーカ配置処理を説明するための第１の図である。
図１２は、本開示の第３の実施形態に係るマーカ配置処理を説明するための第２の図である。
本実施形態において、マーカは、フォークリフト１の運用前に、作業領域Ｒ０内の各所に予め配置される。以下、図１０～図１２を参照しながら、マーカの配置処理の例について説明する。

図１０に示すように、マーカの配置を行う作業者は、作業領域Ｒ０の複数の調査地点それぞれの環境について調査を行う（ステップＳ４０１）。調査地点は、例えば作業領域Ｒ０の一定距離ごとに設定される。この距離は、フォークリフト１に設けられる撮影装置１２の撮影範囲等に応じて任意に設定してもよい。例えば、作業者は、各調査地点における照明条件（明るさの変化量の大小）、天井の画像的特徴（形状等の変化）の多寡、フォークリフト１を高速で運用するか否か等を調査する。

次に、作業者は、作業領域Ｒ０の各調査地点における環境に基づいて、マーカを配置するか否かを判断する（ステップＳ４０２）。なお、作業者は、マーカ配置計画用のコンピュータ（不図示）に調査結果を入力して、コンピュータに判断させてもよい。

例えば、窓が近い位置は、時間帯、天候等に応じて明るさが大きく変化するため、撮影装置１２が撮影した画像から特徴点を取得することが困難となる可能性がある。また、天井の画像的特徴に乏しい場所では、撮影装置１２が撮影した画像から十分な数の特徴点を取得することが困難となる可能性がある。更に、フォークリフト１が高速で運用される場所（移動速度、又は旋回速度が速い場所）では、撮影装置１２が撮影した画像にブレ等が生じ、特徴点を取得することが困難となる可能性がある。このため、作業者又はコンピュータは、ある調査地点について、照明条件の変化が基準値よりも大きい場合、天井の画像的特徴（検出される特徴点）が基準値よりも少ない場合、又は、フォークリフト１が基準値よりも高速で運用される場合（ステップＳ４０２：ＹＥＳ）、当該調査地点にマーカを配置すると決定する（ステップＳ４０３）。

また、作業者又はコンピュータは、ある調査地点について、照明条件の変化が基準値よりも小さい場合、天井の画像的特徴が基準値よりも多い場合、且つ、フォークリフト１が基準値以内の速度で運用される場合（ステップＳ４０２：ＮＯ）、当該調査地点にマーカを配置しないと決定する（ステップＳ４０４）。

作業者又はコンピュータは、作業領域Ｒ０の全調査地点について、図１０のステップＳ４０２～Ｓ４０４を実行することにより、作業領域Ｒ０内のマーカ配置パターンを決定する。これにより、画像から取得した特徴点から位置を推定しにくい場所のみに限定してマーカを配置することができるので、位置推定の精度低下を抑制しつつ、マーカの配置数を最小限に抑えることができる。

また、図１１に示すように、作業者は、作業領域Ｒ０内でＬｉＤＡＲ等のレーザセンサ９１と、カメラ９２を有する調査用のフォークリフト９を走行させて、ＬｉＤＡＲ（レーザセンサ９１）による測位結果Ｌ１～Ｌ８と、Ｖ－ＳＬＡＭ（カメラ９２）による測位結果Ｖ１～Ｖ８とを取得する調査を行ってもよい。この場合、作業者又はコンピュータは、ＬｉＤＡＲによる測位結果と、Ｖ－ＳＬＡＭによる測位結果の乖離が基準値よりも大きい場所にマーカを配置すると決定する。図１１の例では、ＬｉＤＡＲによる測位結果Ｌ１、Ｌ２と、Ｖ－ＳＬＡＭによる測位結果Ｖ１、Ｖ２の乖離が基準値よりも大きいため、この地点にマーカを配置すると決定する。このようにすることで、Ｖ－ＳＬＡＭモード時における位置の推定精度が低下する場所にのみマーカを配置すればよいので、位置推定の精度低下を抑制しつつ、マーカの配置数を最小限に抑えることができる。

また、図１２に示すように、作業者又はコンピュータは、作業領域Ｒ０の各調査地点における、ＬｉＤＡＲの測位結果とＶ－ＳＬＡＭの測位結果との乖離度合い段階的に表したヒートマップを作成してもよい。例えば、図１２に示すように、乖離度合いは、大、中、小の三段階に分類される。乖離度合いが「小」の調査地点は、マーカの配置は不要である。乖離度合いが「中」の調査地点は、Ｖ－ＳＬＡＭモード時に位置の推定精度が低下する可能性があるため、マーカを配置することを推奨する。また、乖離度合いが「大」の調査地点は、Ｖ－ＳＬＡＭモード時に位置の推定精度が大きく低下する可能性があるため、マーカの配置を必須とする。このようなヒートマップを作成することにより、マーカをどこにどれだけ配置すればよいかを容易に計画することができる。

更に、作業者は、マーカを配置した後に、再度調査用のフォークリフト９を走行させて、ＬｉＤＡＲによる測位結果、Ｖ－ＳＬＡＭによる測位結果とともに、カメラ９２によりマーカを撮影した画像を取得するようにしてもよい。この時、例えばＬｉＤＡＲによる測位結果（フォークリフト９の位置）と、当該位置において撮影したマーカの画像、当該マーカのＩＤ情報とを関連付けた、マーカ地図を作成してもよい。これにより、マーカ地図を効率的に作成することができる。また、フォークリフト１のマーカ処理部１１５は、撮影装置１２が撮影したマーカの画像と、当該画像から読み取ったＩＤ情報とに基づいて、マーカ地図から略同じ位置で撮影されたマーカの画像を検索する。そして、マーカ処理部１１５は、検索した画像と関連付けられた測位結果に基づいて、フォークリフト１の位置を推定してもよい。これにより、マーカ処理部１１５の処理を簡易化することができる。

（作用効果）
以上のように、本実施形態に係るフォークリフト１は、撮影装置１２が撮影した画像からマーカを検出し、検出したマーカに基づいてフォークリフト１の位置を推定する第３処理を実行するマーカ処理部１１５を更に備える。
このようにすることで、フォークリフト１は、例えば天井の特徴点が少ない場所等、マップマッチング又はＶ－ＳＬＡＭによる位置推定が困難な場所においても、マーカに基づいて、自己位置を容易且つ精度よく推定することができる。

また、マーカ処理部１１５は、画像に複数のマーカが含まれている場合、画像の中心Ｃに最も近いマーカに基づいて、フォークリフト１の位置を推定してもよい。
画像の端部においては、レンズの歪みの影響により、マーカの認識精度が低下する可能性がある。しかしながら、マーカ処理部１１５は、画像の中心Ｃに最も近いマーカのみに基づいて位置の推定を行うことにより、このような認識精度の低下を抑制可能である。

また、マーカ処理部１１５は、画像に複数のマーカが含まれている場合、マーカそれぞれから推定される位置について、画像の中心Ｃからの距離に応じて重み付け平均して、フォークリフト１の位置を推定する。
このようにすることで、マーカ処理部１１５は、フォークリフト１の位置を推定する精度が低下することを抑制可能である。

＜第４の実施形態＞
次に、本開示の第４の実施形態に係るフォークリフト１について、図１３～図１４を参照しながら説明する。第１～第３の実施形態と共通の構成要素には同一の符号を付して詳細説明を省略する。

（フォークリフトの機能構成）
図１３は、本開示の第４の実施形態に係るフォークリフトの機能構成を示す図である。
図１３に示すように、本実施形態に係るフォークリフト１は、センサ１５と、オドメトリ処理部１１６を更に備える点において、第３の実施形態と異なっている。

センサ１５は、フォークリフト１の車輪の回転数を計測するセンサ、操舵角を推定可能な検出値を取得するセンサ、ジャイロセンサ、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）のうち一つ、又は複数を含む。

オドメトリ処理部１１６は、センサ１５を通じて取得したセンサ値から推測される車速操舵角、及びヨーレートに基づいてオドメトリ計算を行い、フォークリフト１の位置を推定する第４処理を実行する。第４処理とは、オドメトリによる位置推定処理である。

切替部１１４は、Ｖ－ＳＬＡＭモードにおいて特徴点取得部１１１が取得した特徴点の数が所定数未満である場合、位置推定部１１３による第２処理から、オドメトリ処理部１１６による第４処理に切り替える。即ち、切替部１１４は、Ｖ－ＳＬＡＭモードと、オドメトリ処理部１１６が第４処理を実行するオドメトリモードとを切り替える。

（フォークリフトの処理フロー）
図１４は、本開示の第４の実施形態に係るフォークリフトの処理の一例を示すフローチャートである。
以下、図１４を参照しながら、本実施形態に係るフォークリフト１の位置推定処理について詳細に説明する。

図１４に示すように、本実施形態に係るフォークリフト１の位置推定処理において、ステップＳ３０１～Ｓ３０３の処理、及びステップＳ１０１～Ｓ１０５の処理は、第３の実施形態における位置推定処理（図８）と同様である。ここでは、第３の実施形態との相違点についてのみ説明する。

本実施形態に係るフォークリフト１の切替部１１４は、撮影装置１２が撮影した画像からマーカが検出されなかった場合（ステップＳ３０２：ＮＯ）、且つ、Ｖ－ＳＬＡＭモードに切り替える場合（ステップＳ１０３：ＮＯ）、更に、特徴点取得部１１１が取得した特徴点の数が所定数以上であるか判断する（ステップＳ５０１）。

切替部１１４は、特徴点取得部１１１が取得した特徴点の数が所定数以上である場合（ステップＳ５０１：ＹＥＳ）、位置推定部１１３による第２処理（Ｖ－ＳＬＡＭモード）に切り替える。そうすると、位置推定部１１３は、Ｖ－ＳＬＡＭを用いた位置推定処理（第２処理）を実行する（ステップＳ１０４）。

一方、切替部１１４は、特徴点取得部１１１が取得した特徴点の数が所定数未満である場合（ステップＳ５０１：ＮＯ）、オドメトリ処理部１１６による第４処理（オドメトリモード）に切り替える。そうすると、オドメトリ処理部１１６は、オドメトリによる位置推定処理（第４処理）を実行する（ステップＳ５０２）。オドメトリによる位置推定処理は、既存の技術を利用可能である。

フォークリフト１は、稼働中、図１４に示す一連の処理を繰り返し実行する。これにより、フォークリフト１は、Ｖ－ＳＬＡＭモードによる自己位置の推定が困難な場合は、オドメトリ処理部１１６による第４処理に切り替えて、自己位置の推定処理を継続して実行することができる。

（作用効果）
以上のように、本実施形態に係るフォークリフト１は、Ｖ－ＳＬＡＭモードにおいて、画像から検出可能な特徴点が少ない場合は、オドメトリモードに切り替えて、自己位置の推定処理を継続して実行することができる。
これにより、フォークリフト１は、例えば天井の特徴点が少なく、且つ、マーカの配置が漏れている場所においても、オドメトリ計算を使用して、位置の推定精度が低下することを抑制可能である。

（ハードウェア構成）
図１５は、本開示の一実施形態に係るフォークリフトのハードウェア構成の一例を示す図である。
以下、図１５を参照しながら、本実施形態に係るフォークリフト１のハードウェア構成について説明する。

コンピュータ９００は、プロセッサ９０１、主記憶装置９０２、補助記憶装置９０３、インタフェース９０４を備える。

上述のフォークリフトは、一つ又は複数のコンピュータ９００に実装される。そして、上述した各機能部の動作は、プログラムの形式で補助記憶装置９０３に記憶されている。プロセッサ９０１は、プログラムを補助記憶装置９０３から読み出して主記憶装置９０２に展開し、当該プログラムに従って上記処理を実行する。また、プロセッサ９０１は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置９０２に確保する。プロセッサ９０１の例としては、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、マイクロプロセッサなどが挙げられる。

プログラムは、コンピュータ９００に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、補助記憶装置９０３に既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、コンピュータ９００は、上記構成に加えて、または上記構成に代えてＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサ９０１によって実現される機能の一部または全部が当該集積回路によって実現されてよい。このような集積回路も、プロセッサの一例に含まれる。

補助記憶装置９０３の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、半導体メモリ等が挙げられる。補助記憶装置９０３は、コンピュータ９００のバスに直接接続された内部メディアであってもよいし、インタフェース９０４または通信回線を介してコンピュータ９００に接続される外部記憶装置９１０であってもよい。また、このプログラムが通信回線によってコンピュータ９００に配信される場合、配信を受けたコンピュータ９００が当該プログラムを主記憶装置９０２に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、補助記憶装置９０３は、一時的でない有形の記憶媒体である。

また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、当該プログラムは、前述した機能を補助記憶装置９０３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、本開示の実施形態について詳細に説明したが、本発明の技術的思想を逸脱しない限り、これらに限定されることはなく、多少の設計変更等も可能である。

＜付記＞
上述の実施形態に記載のフォークリフト、位置推定方法、及びプログラムは、例えば以下のように把握される。

本開示の第１の態様によれば、フォークリフトは、車体に設けられた撮影装置が撮影した画像から特徴点を取得する特徴点取得部と、前記特徴点取得部が取得した前記特徴点と、作業領域の特徴点を予め記録した地図データとを照合し、前記車体の位置を推定する第１処理を実行するマップマッチング処理部と、前記特徴点取得部が取得した前記特徴点から地図を生成しながら、前記車体の位置を推定する第２処理を実行する位置推定部と、前記特徴点取得部が取得した前記特徴点と前記地図データの特徴点との照合結果が所定の条件を満たしていない場合、前記第１処理から前記第２処理に切り替える切替部と、を備える。

このようにすることで、フォークリフトは、高精度な三次元地図である地図データが作業領域の一部の領域のみでしか作成できなかった場合であっても、地図データ未作成の領域を走行中は、第２処理（Ｖ－ＳＬＡＭを用いた位置推定処理）を継続して実行することができる。これにより、フォークリフトは、地図データの有無に関わらず自己位置を推定することができる。

本開示の第２の態様によれば、第１の態様に係るフォークリフトにおいて、前記マップマッチング処理部は、前記特徴点取得部が取得した前記特徴点の数、及び当該特徴点と前記地図データの特徴点との一致度合いに基づくスコアを前記照合結果として算出し、前記切替部は、前記スコアが閾値未満である場合、前記マップマッチング処理部による前記第１処理から、前記位置推定部による前記第２処理に切り替える。

このようにすることで、例えばフォークリフトがマップマッチングが適切に行えないときは、第２処理（Ｖ－ＳＬＡＭを用いた位置推定処理）による位置推定処理を継続して実行することができる。

本開示の第３の態様によれば、第１又は第２の態様に係るフォークリフトにおいて、前記作業領域は、前記地図データを作成済みの第１領域と、前記地図データを未作成の第２領域とを含み、前記切替部は、前記マップマッチング処理部により推定された前記位置が前記第２領域に含まれる場合、前記第１処理から前記第２処理に切り替える。

このようにすることで、例えばフォークリフトが地図データを未作成の領域に進入した場合等、マップマッチングが適切に行えないときは、第２処理（Ｖ－ＳＬＡＭを用いた位置推定処理）による位置推定処理を継続して実行することができる。

本開示の第４の態様によれば、第３の態様に係るフォークリフトにおいて、前記位置推定部は、前記マップマッチング処理部により推定された前記位置が前記第１領域に含まれ、且つ、前記第１領域と前記第２領域との境界から所定範囲以内に含まれている場合、前記特徴点取得部が取得した前記特徴点と、前記地図データとに基づいて、前記特徴点間の距離、又は前記撮影装置から前記特徴点までの距離を位置推定用のスケールとして計算し、前記第２処理を実行する際に、前記スケールを使用して前記車体の位置を推定する。

このようにすることで、フォークリフトは、スケールから実距離を算出可能となるため、Ｖ－ＳＬＡＭモードを用いた第２処理時においても高い精度で自己位置を推定することができる。

本開示の第５の態様によれば、第１から第４の何れか一の態様に係るフォークリフトは、前記撮影装置が撮影した画像からマーカを検出し、前記マーカに基づいて前記車体の位置を推定する第３処理を実行するマーカ処理部を更に備え、前記切替部は、前記画像から前記マーカが検出された場合、前記第１処理又は前記第２処理から前記第３処理に切り替える。

このようにすることで、フォークリフトは、例えば天井の特徴点が少ない場所等、マップマッチング又はＶ－ＳＬＡＭによる位置推定が困難な場所においても、マーカに基づいて、自己位置を容易且つ精度よく推定することができる。

本開示の第６の態様によれば、第５の態様に係るフォークリフトにおいて、前記マーカ処理部は、前記画像に複数の前記マーカが含まれている場合、前記画像の中心に最も近いマーカに基づいて、前記車体の位置を推定する。

画像の端部においては、レンズの歪みの影響により、マーカの認識精度が低下する可能性がある。しかしながら、上述のように画像の中心Ｃに最も近いマーカのみに基づいて位置の推定を行うことにより、このような認識精度の低下を抑制可能である。

本開示の第７の態様によれば、第５の態様に係るフォークリフトにおいて、前記マーカ処理部は、前記画像に複数の前記マーカが含まれている場合、前記マーカそれぞれから推定される位置について、前記画像の中心からの距離に応じて重み付け平均して、前記車体の位置を推定する。

このようにすることで、マーカ処理部は、フォークリフトの位置を推定する精度が低下することを抑制可能である。

本開示の第８の態様によれば、第１から第７の何れか一の態様に係るフォークリフトは、前記車体に設けられたセンサから取得したセンサ値から推測される車速、操舵角及びヨーレートに基づいてオドメトリ計算を行い、前記車体の位置を推定する第４処理を実行するオドメトリ処理部を更に備え、前記切替部は、前記特徴点取得部が取得した前記特徴点の数が所定数未満である場合、前記第２処理から前記第４処理に切り替える。

このようにすることで、フォークリフトは、例えば天井の特徴点が少なく、且つ、マーカの配置が漏れている場所においても、オドメトリ計算を使用して、位置の推定精度が低下することを抑制可能である。

本開示の第９の態様によれば、位置推定方法は、フォークリフトの車体に設けられた撮影装置が撮影した画像から特徴点を取得するステップと、取得した前記特徴点と、作業領域の特徴点を予め記録した地図データとを照合し、前記車体の位置を推定する第１処理を実行するステップと、取得した前記特徴点から地図を生成しながら、前記車体の位置を推定する第２処理を実行するステップと、取得した前記特徴点と前記地図データの特徴点との照合結果が所定の条件を満たしていない場合、前記第１処理から前記第２処理に切り替えるステップと、を有する。

本開示の第１０の態様によれば、プログラムは、フォークリフトの車体に設けられた撮影装置が撮影した画像から特徴点を取得するステップと、取得した前記特徴点と、作業領域の特徴点を予め記録した地図データとを照合し、前記車体の位置を推定する第１処理を実行するステップと、取得した前記特徴点から地図を生成しながら、前記車体の位置を推定する第２処理を実行するステップと、取得した前記特徴点と前記地図データの特徴点との照合結果が所定の条件を満たしていない場合、前記第１処理から前記第２処理に切り替えるステップと、をフォークリフトのコンピュータに実行させる。

１ フォークリフト
１０ 車体
１１ ＣＰＵ
１１１ 特徴点取得部
１１２ マップマッチング処理部
１１３ 位置推定部
１１４ 切替部
１１５ マーカ処理部
１１６ オドメトリ処理部
１２ 撮影装置
１３ 記憶媒体
１４ 通信インタフェース
１５ センサ
２ データベース
９００ コンピュータ
９０１ プロセッサ

Claims (10)

1. 車体に設けられた撮影装置が撮影した画像から特徴点を取得する特徴点取得部と、
   前記特徴点取得部が取得した前記特徴点と、作業領域の特徴点を予め記録した地図データとを照合し、前記車体の位置を推定する第１処理を実行するマップマッチング処理部と、
   前記特徴点取得部が取得した前記特徴点から地図を生成しながら、前記車体の位置を推定する第２処理を実行する位置推定部と、
   前記特徴点取得部が取得した前記特徴点と前記地図データの特徴点との照合結果が所定の条件を満たしていない場合、前記第１処理から前記第２処理に切り替える切替部と、
   を備え、
   前記作業領域は、前記地図データを作成済みの第１領域と、前記地図データを未作成の第２領域とを含み、
   前記切替部は、前記マップマッチング処理部により推定された前記位置が前記第２領域に含まれる場合、前記第１処理から前記第２処理に切り替え、
   前記位置推定部は、
   前記マップマッチング処理部により推定された前記位置が前記第１領域に含まれ、且つ、前記第１領域と前記第２領域との境界から所定範囲以内に含まれている場合、前記特徴点取得部が取得した前記特徴点と、前記地図データとに基づいて、前記特徴点間の距離、又は前記撮影装置から前記特徴点までの距離を位置推定用のスケールとして計算し、
   前記第２処理を実行する際に、前記スケールを使用して前記車体の位置を推定する、
   フォークリフト。
2. 前記マップマッチング処理部は、前記特徴点取得部が取得した前記特徴点の数、及び当該特徴点と前記地図データの特徴点との一致度合いに基づくスコアを前記照合結果として算出し、
   前記切替部は、前記スコアが閾値未満である場合、前記マップマッチング処理部による前記第１処理から、前記位置推定部による前記第２処理に切り替える、
   請求項１に記載のフォークリフト。
3. 前記撮影装置が撮影した画像からマーカを検出し、前記マーカに基づいて前記車体の位置を推定する第３処理を実行するマーカ処理部を更に備え、
   前記切替部は、前記画像から前記マーカが検出された場合、前記第１処理又は前記第２処理から前記第３処理に切り替える、
   請求項１又は２に記載のフォークリフト。
4. 前記マーカ処理部は、前記画像に複数の前記マーカが含まれている場合、前記画像の中心に最も近いマーカに基づいて、前記車体の位置を推定する、
   請求項３に記載のフォークリフト。
5. 前記マーカ処理部は、前記画像に複数の前記マーカが含まれている場合、前記マーカそれぞれから推定される位置について、前記画像の中心からの距離に応じて重み付け平均して、前記車体の位置を推定する、
   請求項３に記載のフォークリフト。
6. 前記車体に設けられたセンサから取得したセンサ値から推測される車速、操舵角及びヨーレートに基づいてオドメトリ計算を行い、前記車体の位置を推定する第４処理を実行するオドメトリ処理部を更に備え、
   前記切替部は、前記特徴点取得部が取得した前記特徴点の数が所定数未満である場合、前記第２処理から前記第４処理に切り替える、
   請求項１から５の何れか一項に記載のフォークリフト。
7. フォークリフトの車体に設けられた撮影装置が撮影した画像から特徴点を取得するステップと、
   取得した前記特徴点と、作業領域の特徴点を予め記録した地図データとを照合し、前記車体の位置を推定する第１処理を実行するステップと、
   取得した前記特徴点から地図を生成しながら、前記車体の位置を推定する第２処理を実行するステップと、
   取得した前記特徴点と前記地図データの特徴点との照合結果が所定の条件を満たしていない場合、前記第１処理から前記第２処理に切り替えるステップと、
   を有し、
   前記作業領域は、前記地図データを作成済みの第１領域と、前記地図データを未作成の第２領域とを含み、
   前記第１処理から前記第２処理に切り替えるステップは、前前記第１処理により推定された前記位置が前記第２領域に含まれる場合、前記第１処理から前記第２処理に切り替え、
   前記第２処理を実行するステップは、
   前記第１処理により推定された前記位置が前記第１領域に含まれ、且つ、前記第１領域と前記第２領域との境界から所定範囲以内に含まれている場合、前記画像から取得した前記特徴点と、前記地図データとに基づいて、前記特徴点間の距離、又は前記撮影装置から前記特徴点までの距離を位置推定用のスケールとして計算し、
   前記第２処理を実行する際に、前記スケールを使用して前記車体の位置を推定する、
   位置推定方法。
8. フォークリフトの車体に設けられた撮影装置が撮影した画像から特徴点を取得するステップと、
   取得した前記特徴点と、作業領域の特徴点を予め記録した地図データとを照合し、前記車体の位置を推定する第１処理を実行するステップと、
   取得した前記特徴点から地図を生成しながら、前記車体の位置を推定する第２処理を実行するステップと、
   取得した前記特徴点と前記地図データの特徴点との照合結果が所定の条件を満たしていない場合、前記第１処理から前記第２処理に切り替えるステップと、
   をフォークリフトのコンピュータに実行させるプログラムであって、
   前記作業領域は、前記地図データを作成済みの第１領域と、前記地図データを未作成の第２領域とを含み、
   前記第１処理から前記第２処理に切り替えるステップは、前記第１処理により推定された前記位置が前記第２領域に含まれる場合、前記第１処理から前記第２処理に切り替え、
   前記第２処理を実行するステップは、
   前記第１処理により推定された前記位置が前記第１領域に含まれ、且つ、前記第１領域と前記第２領域との境界から所定範囲以内に含まれている場合、前記画像から取得した前記特徴点と、前記地図データとに基づいて、前記特徴点間の距離、又は前記撮影装置から前記特徴点までの距離を位置推定用のスケールとして計算し、
   前記第２処理を実行する際に、前記スケールを使用して前記車体の位置を推定する、
   プログラム。
9. 車体に設けられた撮影装置が撮影した画像から特徴点を取得する特徴点取得部と、
   前記特徴点取得部が取得した前記特徴点と、作業領域の特徴点を予め記録した地図データとを照合し、前記車体の位置を推定する第１処理を実行するマップマッチング処理部と、
   前記特徴点取得部が取得した前記特徴点から地図を生成しながら、前記車体の位置を推定する第２処理を実行する位置推定部と、
   前記特徴点取得部が取得した前記特徴点と前記地図データの特徴点との照合結果が所定の条件を満たしていない場合、前記第１処理から前記第２処理に切り替える切替部と、
   前記撮影装置が撮影した画像からマーカを検出し、前記マーカに基づいて前記車体の位置を推定する第３処理を実行するマーカ処理部と、
   を備え、
   前記切替部は、前記画像から前記マーカが検出された場合、前記第１処理又は前記第２処理から前記第３処理に切り替え、
   前記マーカ処理部は、前記画像に複数の前記マーカが含まれている場合、前記画像の中心に最も近いマーカに基づいて、前記車体の位置を推定する、
   フォークリフト。
10. 車体に設けられた撮影装置が撮影した画像から特徴点を取得する特徴点取得部と、
    前記特徴点取得部が取得した前記特徴点と、作業領域の特徴点を予め記録した地図データとを照合し、前記車体の位置を推定する第１処理を実行するマップマッチング処理部と、
    前記特徴点取得部が取得した前記特徴点から地図を生成しながら、前記車体の位置を推定する第２処理を実行する位置推定部と、
    前記特徴点取得部が取得した前記特徴点と前記地図データの特徴点との照合結果が所定の条件を満たしていない場合、前記第１処理から前記第２処理に切り替える切替部と、
    前記撮影装置が撮影した画像からマーカを検出し、前記マーカに基づいて前記車体の位置を推定する第３処理を実行するマーカ処理部と、
    を備え、
    前記マーカ処理部は、前記画像に複数の前記マーカが含まれている場合、前記マーカそれぞれから推定される位置について、前記画像の中心からの距離に応じて重み付け平均して、前記車体の位置を推定する、
    フォークリフト。

Images