JP7473914B2 - 自己位置推定システム、及び建設機械位置推定システム - Google Patents

Description

本願発明は、移動体の位置を計測する技術であり、より具体的には、移動体から撮影された画像を用いて移動体の位置を推定する自己位置推定システムと、これを利用した建設機械位置推定システムに関するものである。

近年、我が国では少子高齢化の進行もあって労働者不足が大きな問題となっている。平成３０年１２月に「出入国管理及び難民認定法（いわゆる入管法）」の改正法が成立したのも、国内の人材不足を改善すべく外国人労働者を受け入れやすくするためといわれている。

特に建設業では、東日本大震災の復興事業や東京オリンピック関連工事に多くの人材が集中し、また度重なる自然災害の発生により至るところで頻繁に災害対策工事が行われるなど、慢性的な労働者不足に陥っている。そのため、これまでにも増して自動化施工への取り組みが積極的となり、建設機械の自動運転化や簡易作業等を行うためのロボット化なども精力的に進められている。このうち建設機械の自動運転化に関しては、情報通信技術や測位技術の飛躍的な進歩もあって既に実用化の段階にあるといえる。盛土工事の例では、ダンプトラックによる盛土材の運搬や、ブルドーザによる盛土材の敷き均し、振動ローラによる締め固めといった作業で自動化の試みが行われているところである。

建設機械による自動化施工を行う場合、無人の建設機械が自走しつつ所定の作業を行うことが多い。例えば、ダンプトラックであれば目的地まで自走するとともにそこでダンプアップして盛土材を降ろし、振動ローラであれば計画された経路を自走しながら締め固めを行う。そして無人の建設機械が目的地まで自走し、あるいは計画された経路を自走するにあたっては、建設機械の現在位置（以下、「自己位置」という。）を把握しながら自走するのが一般的である。これにより、自己位置と目的地の関係から今後の経路を修正することができ、また目的地周辺に到達したことを確認することができるわけである。

従来、建設機械をはじめとする移動体の自己位置を把握するにあたっては、屋外であれば衛星測位システム（ＧＮＳＳ：Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）による測位が主流であるものの、状況によっては他の測位手法も適宜採用されていた。例えば、トータルステーション（ＴＳ：Ｔｏｔａｌ Ｓｔａｔｉｏｎ）を用いて移動体の位置を計測する手法や、レーザーセンサーや光学センサー（カメラ等）を用いたＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）による測位などを挙げることができる。このうちＳＬＡＭによる測位は、即時的に（リアルタイムで）自己位置を求めることができるうえ、衛星測位システムのように電波環境に依存することなく測位することができ、さらに画像に基づいて解析するＳＬＡＭ（Ｖｉｓｕａｌ ＳＬＡＭ）に関しては比較的廉価なセンサー（カメラ等）を利用することができるという特長も備えおり、極めて高い位置精度が求められないケースでは有効な測位手法となり得る。

これまでもＶｉｓｕａｌ ＳＬＡＭを活用した種々の技術が提案されており、例えば特許文献１では、画像内のうち特徴点としては不向きなものを除去したうえで点群データを生成する技術について提案している。

特開２０２０－０６０４９６号公報

Ｖｉｓｕａｌ ＳＬＡＭによる測位は、カメラやビデオカメラといった光学センサー（以下、これらを総称して「カメラ等」という。）が移動しながら取得した画像を用い、複数の画像に共通する特徴点を抽出してカメラ等の位置や姿勢を求めるとともに、画像に含まれる地物等の位置（座標）を算出して「環境地図」を作成する技術である。様々な方向から撮影された画像に収められた特徴点は、当然ながらそれぞれ画像ごとにその位置（画像内における位置）は異なるものの実際には同じ位置（座標）にあるという条件を利用し、すべての写真に対してバンドル調整法といった調整計算を行うことによってカメラ等の位置や姿勢を求めるとともに、地物等の３次元座標を算出するわけである。

上記したとおりＶｉｓｕａｌ ＳＬＡＭでは、特徴点は同じ位置にあるという条件を利用して計算することから、特徴点は原則として不動点であることが前提とされる。そのため移動している点を特徴点とすると誤った条件で計算を実行することとなり、求められるカメラ等や地物等の位置（座標）はその精度が低下する。すなわち、移動している物を構成する点は特徴点として採用することは避け、むしろノイズとして取り扱うことが望ましいわけである。

ところが、屋外で移動する物を収めることなく画像を取得することは難しい。特に盛土工事などの建設現場では、多種多様な建設機械が稼働しているうえ、作業者も移動していることがあるため、移動物を除いて画像を取得することは著しく困難である。したがって、屋外で取得した画像を用いてＶｉｓｕａｌ ＳＬＡＭによる解析を行う場合、ノイズとして取り扱うべき移動点を特徴点として処理することは回避し難く、低精度の位置（座標）を算出してしまうおそれもある。

この点、特許文献１が開示する技術では、地図情報を利用してノイズとすべき特徴点を除くこととしている。例えば、画像内の点が地図情報で道路とされている範囲内にあるときは、これを車両や歩行者を構成する点と考え、特徴点からは除くわけである。しかしながらこの場合、あらかじめ地図情報を用意する必要があり、しかもＶｉｓｕａｌ ＳＬＡＭによる測位とは別に衛星測位システムなど他の測位手段が必要となり、比較的廉価なセンサーで実施できるというＶｉｓｕａｌ ＳＬＡＭの特長が半減する結果となる。

本願発明の課題は、従来技術が抱える問題を解決することであり、すなわち、移動点を特徴点とすることを抑制したうえで画像に基づいて自己位置を推定することができる自己位置推定システムと、これを利用した建設機械位置推定システムを提供することである。

本願発明は、画像内にある移動体を検出するとともに、移動体が除去された画像を用いて空間演算を行うことにより自己位置を求める、という点に着目してなされたものであり、これまでにない発想に基づいて行われた発明である。

本願発明の自己位置推定システムは、画像取得手段、矩形領域設定手段、演算用領域設定手段、演算手段を備えたものである。このうち画像取得手段は、移動主体（移動体）に搭載され定期的（あるいは断続的）に画像を取得する手段であり、矩形領域設定手段は、画像に移動客体（移動主体とは異なる移動体）が含まれるときこの移動客体を包含する「矩形領域」を画像内で設定する手段である。また演算用領域設定手段は、矩形領域をマスク領域とするとともに画像からマスク領域を除いた領域を「演算用領域」として設定する手段であり、演算手段は、複数の画像に基づいて移動主体の自己位置を算出する手段である。なお矩形領域設定手段は、機械学習によって構築された学習済みモデルを用いて矩形領域を設定し、演算手段は、画像のうち演算用領域を用いて空間演算を行う。

本願発明の自己位置推定システムは、矩形領域判定手段と形状領域設定手段をさらに備えたものとすることもできる。矩形領域判定手段は、画像のうち矩形領域が占める「矩形領域割合」を算出するとともに、矩形領域割合が割合閾値を超えるときは矩形領域を大領域として判定する手段である。形状領域設定手段は、矩形領域判定手段によって大領域として判定された矩形領域に係る移動客体に対して、画像内における移動客体に対応する画素の集合である「形状領域」を設定する手段である。なお形状領域設定手段は、機械学習によって構築された学習済みモデルを用いて形状領域を設定する。この場合、演算用領域設定手段は、形状領域が設定された画像に対しては、矩形領域に代えて形状領域をマスク領域とする。

本願発明の自己位置推定システムは、移動量算出手段とマスク対象判定手段をさらに備えたものとすることもできる。移動量算出手段は、異なる２つの画像（変化前画像と変化後画像）に含まれる矩形領域に基づいて矩形領域の移動量を算出する手段である。マスク対象判定手段は、矩形領域の移動量が距離閾値を超えるときは矩形領域に係る移動客体を「マスク対象」として判定し、矩形領域の移動量が距離閾値を下回るときは矩形領域に係る移動客体を「マスク非対象」として判定する手段である。この場合、演算手段は、変化前画像内の矩形領域に含まれる特徴点の位置（座標）を算出するとともに、変化後画像内の矩形領域に含まれる特徴点の位置（座標）を算出する。そして、移動量算出手段は、演算手段によって算出された特徴点の位置に基づいて矩形領域の移動量を算出し、演算用領域設定手段は、マスク対象判定手段によってマスク対象と判定された移動客体に係る矩形領域（あるいは形状領域）をマスク領域とする。

本願発明の自己位置推定システムは、条件設定手段をさらに備えたものとすることもできる。条件設定手段は、矩形領域に係る移動客体の種別に応じて画像間隔や距離閾値を設定する手段である。この場合、矩形領域設定手段は、矩形領域に係る移動客体の種別を推定し、移動量算出手段は、条件設定手段によって設定された画像間隔に基づいて変化前画像と変化後画像を選出し、マスク対象判定手段は、条件設定手段によって設定された距離閾値に基づいてマスク対象／マスク非対象を判定する。

本願発明の建設機械位置推定システムは、同一の施工範囲内で他の建設機械と同時に稼働する建設機械の自己位置を推定するシステムであって、本願発明の自己位置推定システムを構成する画像取得手段と矩形領域設定手段、演算用領域設定手段、演算手段を備えたものである。なお画像取得手段は、当該建設機械（自己位置を推定する建設機械）に搭載される。

本願発明の建設機械位置推定システムは、同一の施工範囲内で同時に稼働する２以上の当該建設機械の自己位置を推定するものとすることもできる。この場合、それぞれの当該建設機械に画像取得手段が搭載され、演算手段は、当該建設機械ごとにそれぞれ自己位置を算出する。

本願発明の建設機械位置推定システムは、作業用センサーと出力手段をさらに備えたものとすることもできる。この作業用センサーは、当該建設機械によって行われる作業の状況を計測するセンサーであり、当該建設機械に搭載される。また出力手段は、複数の分割領域によって構成される基盤図を出力する手段である。なお出力手段は、作業用センサーによって計測された計測結果と当該建設機械の自己位置に基づいて、分割領域を作業状況に応じた表示に変更して基盤図を出力する。

本願発明の自己位置推定システム、及び建設機械位置推定システムには、次のような効果がある。
（１）他の移動体がある環境であっても画像を用いた空間演算によって、従来に比して高い精度で自己位置を推定することができる。
（２）衛星測位システムのように環境に制約されることなく、屋内を含め様々な環境で自己位置を推定することができる。
（３）比較的廉価なセンサー（カメラ等）を利用することができ、すなわち従来に比して実施に係るコストを抑えることができる。

（ａ）は移動客体である建設機械が含まれた画像を示すモデル図、（ｂ）は建設機械を包含する矩形領域を示すモデル図、（ｃ）は建設機械に対応する画素の集合である形状領域を示すモデル図。 変化前画像と変化後画像、画像間隔を説明するモデル図。 本願発明の自己位置推定システムの主な構成を示すブロック図。 本願発明の自己位置推定システムの主な処理の流れを示すフロー図。 移動客体領域がマスク対象かマスク非対象の判定を行ったうえで移動主体の自己位置を推定する主な処理の流れを示すフロー図。 変化前画像と変化後画像から抽出された３つの特徴点を模式的に示すモデル図。 （ａ）は施工範囲に１機の当該建設機械が配置され、その当該建設機械に本願発明の自己位置推定システムが搭載された建設機械位置推定システムの主な構成を示すブロック図、（ｂ）は施工範囲に１機の当該建設機械が配置され、解析システムが施工範囲とは異なる場所に設置された建設機械位置推定システムの主な構成を示すブロック図。 （ａ）は施工範囲に複数機の当該建設機械が配置され、それぞれの当該建設機械に本願発明の自己位置推定システムが搭載された建設機械位置推定システムの主な構成を示すブロック図、（ｂ）は施工範囲に複数機の当該建設機械が配置され、解析システムが施工範囲とは異なる場所に設置された建設機械位置推定システムの主な構成を示すブロック図。

本願発明の自己位置推定システム、及び建設機械位置推定システムの実施の例を図に基づいて説明する。

１．定義
本願発明の実施形態の例を説明するにあたって、はじめにここで用いる用語の定義を示しておく。

（移動主体と移動客体）
本願発明は、カメラやビデオカメラといった光学センサー（以下、「画像取得手段」という。）を搭載した移動体が移動しながら画像を取得し、この画像を用いて移動体の自己位置を推定することを特徴の一つとしている。ただし、画像取得手段を搭載した移動体が移動する環境には他の移動体も移動しており、取得される画像内には他の移動体が含まれることがある。つまり、本願発明を説明するうえでは、自己位置を推定する（画像取得手段を搭載した）移動体と、画像に含まれる他の移動体の２種類の移動体が混在することとなる。便宜上ここでは、自己位置を推定する移動体のことを「移動主体」と、移動主体とは異なる他の移動体のことを「移動客体」ということとする。なお本願発明における「移動体」には、平面上を移動する自動車や建設機械、船舶、歩行者など、あるいは空中を移動する航空機やドローンといった飛行体、そのほか水中を移動する潜水体など、移動可能なあらゆるものが含まれる。

（矩形領域と形状領域）
本願発明は、取得した画像内に移動客体が含まれるとき、この移動客体の領域（以下、「移動客体領域」という。）を除いた画像を用いることも特徴の一つとしている。そして、移動客体領域を設定するにあたっては、矩形によって設定する手法と、画素の集合によって設定する手法が適宜用いられる。例えば、図１（ａ）に示すように移動客体である建設機械ＣＭ（振動ローラ）が画像内に含まれる場合、図１（ｂ）に示すように建設機械ＣＭ（移動客体）を包含する矩形によって移動客体領域を設定し、あるいは図１（ｃ）に示すように画像内で建設機械ＣＭ（移動客体）に対応する画素の集合によって移動客体領域を設定する。便宜上ここでは、移動客体を包含する矩形によって設定された領域のことを「矩形領域ＳＲ（図１（ｂ））」と、移動客体に対応する（移動客体を構成する）画素の集合によって設定された領域のことを「形状領域ＣＲ（図１（ｃ））」ということとする。

図１（ｂ）と図１（ｃ）を比べると、当然ながら矩形領域ＳＲよりも形状領域ＣＲの方がより正確に建設機械ＣＭ（移動客体）を表しており、すなわち形状追従性が高い。また、本願発明では矩形領域ＳＲや形状領域ＣＲを除いた画像を用いることになるが、矩形領域ＳＲよりも形状領域ＣＲの方が除外する面積は小さくなる傾向にあり、つまり形状領域ＣＲの方が利用できる画像範囲（画素数）は大きくなる。これに対して、形状領域ＣＲよりも矩形領域ＳＲの方が単純な形状であり、移動客体領域を設定する処理も、画像からその領域を除く処理も、後述する移動主体の自己位置を算出する処理も、矩形領域ＳＲの方が高速となる。

そこで、矩形領域ＳＲによって画像から広い範囲が除かれるケースでは形状領域ＣＲを採用し、そうでないときは計算速度を重視して矩形領域ＳＲを採用することが考えられる。具体的には、画像のうち矩形領域ＳＲが占める割合（以下、「矩形領域割合」という。）を求め、この矩形領域割合があらかじめ定めた閾値（以下、特に「割合閾値」という。）を超えるときは矩形領域ＳＲを大きな領域（以下、単に「大領域」という。）と判定し、逆に矩形領域割合が割合閾値を下回るときは矩形領域ＳＲを適正な領域（以下、単に「適正領域」という。）と判定するとともに、矩形領域ＳＲが大領域と判定されたときは移動客体領域として形状領域ＣＲを採用し、矩形領域ＳＲが適正領域と判定されたときは移動客体領域としてこの矩形領域ＳＲを採用するわけである。

（マスク領域と演算用領域）
矩形領域ＳＲと形状領域ＣＲのうち移動客体領域として採用された領域、つまり画像から除外する領域のことを、便宜上ここでは「マスク領域」ということとする。また画像のうちマスク領域が除かれた領域、つまり後続の演算処理に利用する領域のことを、便宜上ここでは「演算用領域」、さらに演算用領域内に含まれる画素の集合のことを「演算用画像」ということとする。

（客体種別）
矩形領域ＳＲや形状領域ＣＲを設定するにあたっては、まずは画像内にある移動客体を認識する必要があり、この認識技術には機械学習を利用することができる。すなわち、機械学習によって構築された学習済みモデルを用いることによって、その画像内に既に学習した移動客体が含まれるか否かを判定する。そして、学習済みモデルを用いて移動客体を認識した場合、その移動客体に対して矩形領域ＳＲや形状領域ＣＲを設定し、さらに振動ローラや乗用車、ドローンといった移動客体の種別を推定することもできる。便宜上ここでは、推定された移動客体の種別のことを「客体種別」ということとする。

（移動量）
学習済みモデルによって移動客体を認識する場合、その確度によっては誤って抽出されることもある。そこで、その移動客体が移動した距離に基づいて、移動体か否かを判断することが考えられる。便宜上ここでは、移動客体が移動した距離のことを「移動量」ということとする。移動量を求めるにあたっては、同一の移動客体を含む異なる２枚の画像を用いることができる。以下、移動量を求める一例について説明する。

まず比較する２枚の画像（以下、撮影時刻における先の画像を「変化前画像」、後の画像を「変化後画像」という。）を選出する。なお、変化前画像と変化後画像を選出するにあたっては、図２に示すようにあらかじめ設定された「画像間隔」を用いるとよい。ここで画像間隔とは、画像の枚数で設定される間隔（例えば６０枚）や、画像取得時刻で設定される間隔（例えば１秒間）のことである。例えば、最新の画像を変化後画像とし、画像間隔（６０枚や１秒間）だけ遡った画像を変化前画像とするわけである。

変化前画像と変化後画像が選出されると、変化前画像に設定された矩形領域ＳＲの中から特徴点（以下、「変化前特徴点」という。）を抽出するとともに、変化後画像に設定された矩形領域ＳＲの中から変化前特徴点に対応する特徴点（以下、「変化後特徴点」という。）を抽出する。そして、変化前特徴点と変化後特徴点の３次元座標を求め、変化前特徴点と変化後特徴点の距離（つまり、移動量）を求める。変化前画像を取得した時刻と変化後画像を取得した時刻は把握されているため、算出された移動客体の移動量が移動体として適しているか否かを判断することができる。すなわち、算出された移動客体の移動量があらかじめ定めた閾値（以下、特に「距離閾値」という。）を超えるときは移動客体として認定し、逆に移動量が距離閾値を下回るときは移動客体ではないとして処理する。

２．自己位置推定システム
次に、本願発明の自己位置推定システムについて詳しく説明する。なお、本願発明の建設機械位置推定システムは、本願発明の自己位置推定システムを利用して建設機械の自己位置を推定するものである。したがって、まずは本願発明の自己位置推定システムについて説明し、その後に本願発明の建設機械位置推定システムについて説明することとする。

図３は、本願発明の自己位置推定システム１００の主な構成を示すブロック図である。この図に示すように本願発明の自己位置推定システム１００は、画像取得手段１０１と矩形領域設定手段１０２、演算用領域設定手段１０３、演算手段１０４を含んで構成され、さらに矩形領域判定手段１０５や形状領域設定手段１０６、条件設定手段１０７、移動量算出手段１０８、マスク対象判定手段１０９、移動主体１１０、出力手段１１１、画像記憶手段１１２、第１モデル記憶手段１１３、第２モデル記憶手段１１４を含んで構成することもできる。

自己位置推定システム１００を構成する主な要素のうち、画像取得手段１０１と移動主体１１０、各記憶手段（画像記憶手段１１２～第２モデル記憶手段１１４）を除いた各手段（つまり、矩形領域設定手段１０２～出力手段１１１）は、専用のものとして製造することもできるし、汎用的なコンピュータ装置を利用することもできる。このコンピュータ装置は、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリ、マウスやキーボード等の入力手段やディスプレイ（出力手段１１１）を具備するもので、パーソナルコンピュータ（ＰＣ）やサーバ、ｉＰａｄ（登録商標）といったタブレット型ＰＣ、スマートフォンを含む携帯端末などによって構成することができる。なお便宜上ここでは、汎用的なコンピュータ装置を利用することができる各手段（矩形領域設定手段１０２～出力手段１１１）のことを総じて「解析システム１００Ａ」ということとする。

また、画像記憶手段１１２や第１モデル記憶手段１１３、第２モデル記憶手段１１４は、汎用的コンピュータの記憶装置を利用することもできるし、データベースサーバに構築することもできる。データベースサーバに構築する場合、ローカルなネットワーク（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）に置くこともできるし、インターネット経由（つまり無線通信）で保存するクラウドサーバとすることもできる。

以下、自己位置推定システム１００を構成する主な要素ごとに詳しく説明する。

（移動主体と画像取得装置）
既述したとおり移動主体１１０は、自己位置を推定しようとする移動体であり、平面上を移動するものに限らず空中や水中を移動するものなど、移動可能なあらゆるものが対象となる。

移動主体１１０には、画像取得手段１０１が搭載される（図３）。画像取得手段１０１は、移動主体１１０の自己位置演算に用いるための画像を取得するものであり、デジタルカメラやデジタルビデオカメラなど従来用いられている光学センサーを利用することができる。また画像取得手段１０１は、比較的短い間隔で画像を取得することができるもので、しかも人が操作することなく自動的に画像を取得することができるものを用いるとよい。例えば、毎秒２４～６０枚（つまり、２４～６０ｆｐｓ）で定期的かつ自動的に画像を取得する画像取得手段１０１や、あるいは短期間で不定期（断続的）かつ自動的に画像を取得する画像取得手段１０１を用いることができる。なお、取得された画像は、その取得時刻（撮影時刻）と関連付けられた（紐づけられた）うえで、画像記憶手段１１２（図３）に記憶される。

画像取得手段１０１は、例えば移動主体１１０が移動する方向に対して側方の環境が取得されるように配置することもできるし、移動方向の前方や後方の環境が取得されるように配置することも、あるいは側方や前方、後方の環境がいずれも取得できるように配置することもできる。また、１個所につき１台の画像取得手段１０１を配置してもよいし、ステレオ撮影が可能となるように２台で１組の画像取得手段１０１を配置してもよい。さらに、画像取得手段１０１に加え、移動主体１１０の自己位置演算に利用可能な情報を計測し得る各種センサー（加速度センサーや磁気センサー、ジャイロなど）を移動主体１１０に搭載してもよい。

（矩形領域設定手段）
矩形領域設定手段１０２（図３）は、画像に含まれる移動客体を認識するとともに、認識した移動客体に対して矩形領域ＳＲを設定する手段である。より詳しくは、第１モデル記憶手段１１３（図３）から機械学習によって構築された学習済みモデル（以下、「第１学習モデル」という。）を読み出し、この第１学習モデルを用いて画像内の移動客体を認識し、さらに画像内の移動客体を包含するように矩形領域ＳＲを設定する。また矩形領域設定手段１０２は、既述したように第１学習モデルを用いることによって矩形領域ＳＲに含まれる移動客体の客体種別を推定することもできる。

第１学習モデルを構築するにあたっては、画像認識で多用されているＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）をはじめ従来用いられている種々の機械学習技術を採用することができる。特に、リアルタイムオブジェクト検出アルゴリズムとして知られているＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）は、物体認識とともにバウンディングボックスが得られ、すなわち移動客体の認識とともに矩形領域ＳＲを設定することができることから、第１学習モデルの構築にとって好適である。

（矩形領域判定手段と形状領域設定手段）
矩形領域判定手段１０５（図３）は、矩形領域割合を算出するとともに、矩形領域ＳＲを適正領域か大領域のいずれかに判定する手段である。より詳しくは、画素数や面積に基づいて矩形領域割合（例えば、矩形領域ＳＲを構成する画素数／画像全体を構成する画素数）を求め、この矩形領域割合が割合閾値を下回るときは矩形領域ＳＲを適正領域と判定し、矩形領域割合が割合閾値を超えるときは矩形領域ＳＲを大領域と判定する。

形状領域設定手段１０６（図３）は、矩形領域判定手段１０５が矩形領域ＳＲを大領域と判定したときに、画像に含まれる移動客体を認識するとともに、認識した移動客体に対して形状領域ＣＲを設定する手段である。より詳しくは、第２モデル記憶手段１１４（図３）から機械学習によって構築された学習済みモデル（以下、「第２学習モデル」という。）を読み出し、この第２学習モデルを用いて画像内の移動客体を認識し、さらに画像内の移動客体に対応する（移動客体を構成する）画素の集合によって形状領域ＣＲを設定する。

第２学習モデルを構築するにあたっては、画像認識で多用されているＣＮＮをはじめ従来用いられている種々の機械学習技術を採用することができる。特に、Ｍａｓｋ Ｒ－ＣＮＮ（Ｍａｓｋ Ｒｅｇｉｏｎ－ＣＮＮ）は、物体認識とともに認識した物体のセグメント（物体検出された領域についてのみセグメンテーションした結果）が得られ、すなわち移動客体の認識とともに形状領域ＣＲを設定することができることから、第２学習モデルの構築にとって好適である。なお、第１学習モデルがＣＮＮによって構築されるなど、第１学習モデルを第２学習モデルとしても利用できる場合は、あえて第２学習モデル構築する必要はなく、また第２モデル記憶手段１１４を備える必要もない。

（移動量算出手段とマスク対象判定手段）
移動量算出手段１０８（図３）は、移動客体の移動量を算出する手段である。既述したとおり移動量は、選出された変化前画像と変化後画像を用いて算出することができる。すなわち、変化前画像の矩形領域ＳＲから変化前特徴点を抽出するとともに、変化後画像の矩形領域ＳＲから変化後特徴点を抽出し、それぞれ変化前特徴点と変化後特徴点の３次元座標を求めて、変化前特徴点と変化後特徴点の距離（つまり、移動量）を求める。

マスク対象判定手段１０９（図３）は、矩形領域ＳＲ内にある移動客体が適正な移動体か否かを判定するとともに、移動客体に設定された移動客体領域（矩形領域ＳＲや形状領域ＣＲ）に対して、画像から除去する領域（以下、「マスク対象」という。）あるいは画像から除去しない領域（以下、「マスク非対象」という。）のいずれかを判定する手段である。より詳しくは、移動量が距離閾値を超えるときは、矩形領域ＳＲ内の移動客体を適正な移動体と判定するとともに、その移動客体領域をマスク対象と判定する。一方、移動量が距離閾値を下回るときは、矩形領域ＳＲ内の移動客体を移動体ではないと判定するとともに、その移動客体領域をマスク非対象と判定する。

既述したとおり、第１学習モデルによって移動客体を認識する場合、その確度によっては誤って抽出されることもある。そこで、移動量に基づいて移動客体が適正な移動体か否かを判定したうえで、画像からその移動客体領域（矩形領域ＳＲや形状領域ＣＲ）を除去するわけである。例えば、画像取得手段１０１が６０ｆｐｓで画像を取得し、画像間隔を６０枚とする場合、変化前画像と変化後画像との時間差は１秒であり、１秒間に相当の移動量があれば移動体として適正であってマスク対象と判定し、そうでない場合は移動体として不適であってマスク非対象と判定するわけである。

なおマスク対象判定手段１０９は、矩形領域判定手段１０５によって矩形領域ＳＲが適正領域と判定されたときは、その矩形領域ＳＲ（移動客体領域）に対してマスク対象かマスク非対象の判定を行い、一方、矩形領域判定手段１０５によって矩形領域ＳＲが大領域と判定され形状領域設定手段１０６が形状領域ＣＲを設定したときは、その形状領域ＣＲ（移動客体領域）に対してマスク対象かマスク非対象の判定を行う。

ところで移動客体の客体種別によっては、その移動する速度や移動する距離が異なる。すなわち、マスク対象判定手段１０９が判定に用いる距離閾値や、変化前画像と変化後画像を選出するための画像間隔は、客体種別に応じて適宜設定することが望ましい。そこで、第１学習モデルが矩形領域ＳＲに含まれる移動客体の客体種別を推定する場合、推定された客体種別に応じて（いわば動的に）距離閾値や画像間隔を設定する仕様とすることもできる。例えば、客体種別と距離閾値や画像間隔を対応させたテーブルを用意したうえで、条件設定手段１０７が客体種別を照会することによって距離閾値や画像間隔を読み出すとともに、これを実際に用いる距離閾値や画像間隔として設定するわけである。なお、距離閾値、画像間隔ともに客体種別によって設定する仕様とすることもできるし、距離閾値、画像間隔のうちいずれか一方を客体種別によって設定する仕様とすることもできる。もちろん、客体種別にかかわらず固定値としての距離閾値と画像間隔を用いる仕様とすることもできる。

（演算用領域設定手段と演算手段）
演算用領域設定手段１０３（図３）は、マスク対象判定手段１０９によってマスク対象とされた矩形領域ＳＲや形状領域ＣＲ（以下、「マスク領域」という。）を、画像から除くことによって演算用領域を設定するとともに演算用画像を設定する手段である。

演算手段１０４（図３）は、複数の演算用画像を用いた空間演算を行うことによって、移動中の移動主体１１０の自己位置を算出する手段である。なお演算手段１０４による空間演算は、ＳＬＡＭ（特に、Ｖｉｓｕａｌ ＳＬＡＭ）のほか、写真測量技術を利用したバンドル調整など従来用いられている種々の技術を利用して実行することができる。既述したとおりＶｉｓｕａｌ ＳＬＡＭを用いて空間演算を実行する場合、移動主体１１０とともに移動しながら画像取得手段１０１が取得した画像を用い、複数の画像に共通する特徴点を抽出することによって画像取得手段１０１の位置（３次元座標）や姿勢、あるいは地物や移動客体の特徴点（変化前特徴点や変化後特徴点など）の３次元座標を求めることができる。そして、画像取得手段１０１の位置が得られると、移動主体１１０における画像取得手段１０１の設置位置との関係から、移動主体１１０の自己位置（３次元座標）が求められるわけである。なお、移動主体１１０の自己位置として得られる３次元座標は、任意座標系（ローカル座標系）における座標（任意座標）として求めることもできるし、もちろん世界測地系といったいわゆる絶対座標系の座標（絶対座標）として求めることもできる。

次に、図４を参照しながら本願発明の自己位置推定システム１００を使用したときの主な処理の流れについて説明する。図４は、自己位置推定システム１００の主な処理の流れを示すフロー図であり、中央の列に実施する処理を示し、左列にはその処理に必要な入力情報を、右列にはその処理から生まれる出力情報を示している。

まずは、画像取得手段１０１を搭載した移動主体１１０が移動を開始し、移動しながら画像取得手段１０１が定期的（あるいは断続的）に画像を取得していく（図４のＳｔｅｐ１０１）。画像取得手段１０１によって画像が取得されると、矩形領域設定手段１０２が第１モデル記憶手段１１３から第１学習モデルを読み出し、画像内の移動客体を認識するとともに矩形領域ＳＲを設定する（図４のＳｔｅｐ１０２）。なおこの段階で、演算用領域設定手段１０３が、矩形領域ＳＲをマスク領域として設定したうえで演算用領域と演算用画像を設定する（図４のＳｔｅｐ１１２）とともに、演算手段１０４が、この演算用画像を用いて移動主体１１０の自己位置を算出する（図４のＳｔｅｐ１１３）こともできる。あるいは以下で説明するように、矩形領域ＳＲを適正領域か大領域の判定を行ったうえで処理を進めていくこともできる。

矩形領域設定手段１０２によって矩形領域ＳＲが設定されると、矩形領域判定手段１０５が矩形領域割合を算出する（図４のＳｔｅｐ１０３）とともに、矩形領域ＳＲを適正領域か大領域のいずれかに判定する（図４のＳｔｅｐ１０４）。そして、矩形領域判定手段１０５が矩形領域ＳＲを大領域と判定したときは（図４のＳｔｅｐ１０５のＹｅｓ）、形状領域設定手段１０６が第２モデル記憶手段１１４から第２学習モデルを読み出し、画像内の移動客体を認識するとともに形状領域ＣＲを設定する（図４のＳｔｅｐ１０６）。さらに当該画像に関しては、後続の処理における移動客体領域が形状領域ＣＲであると決定される（図４のＳｔｅｐ１０７）。一方、矩形領域判定手段１０５が矩形領域ＳＲを適正領域と判定したときは（図４のＳｔｅｐ１０５のＮｏ）、形状領域ＣＲを設定することなく、後続の処理における移動客体領域が矩形領域ＳＲであると決定される（図４のＳｔｅｐ１０７）。

当該画像に係る移動客体領域が矩形領域ＳＲか形状領域ＣＲのいずれかに定められると、この段階で、演算用領域設定手段１０３が、移動客体領域（矩形領域ＳＲか形状領域ＣＲ）をマスク領域として設定したうえで演算用領域と演算用画像を設定する（図４のＳｔｅｐ１１２）とともに、演算手段１０４が、この演算用画像を用いて移動主体１１０の自己位置を算出する（図４のＳｔｅｐ１１３）こともできる。あるいは以下で説明するように、移動客体領域（矩形領域ＳＲか形状領域ＣＲ）がマスク対象かマスク非対象の判定を行ったうえで処理を進めていくこともできる。

図５は、移動客体領域がマスク対象かマスク非対象の判定を行ったうえで移動主体１１０の自己位置を推定する主な処理の流れを示すフロー図であり、中央の列に実施する処理を示し、左列にはその処理に必要な入力情報を、右列にはその処理から生まれる出力情報を示している。

当該画像に係る移動客体領域が矩形領域ＳＲか形状領域ＣＲのいずれかに定められると（図４と図５のＳｔｅｐ１０７）、当該画像を変化後画像に設定するとともに画像間隔に基づいて変化前画像を選出し、その変化前画像を画像記憶手段１１２から読み出す。このとき、第１学習モデルが矩形領域ＳＲに含まれる移動客体の客体種別を推定する場合は、条件設定手段１０７が客体種別に応じて画像間隔を設定し、その画像間隔に基づいて変化前画像を選出することもできる。そして移動量算出手段１０８が、変化前画像の矩形領域ＳＲから変化前特徴点を抽出し、変化後画像の矩形領域ＳＲから変化後特徴点を抽出する（図５のＳｔｅｐ１０８）。図６では、変化前画像と変化後画像のうち矩形領域ＳＲの範囲を示しており、それぞれ３つの特徴点（変化前画像と変化後画像）を抽出した状況を示している。もちろん、抽出する特徴点の数は図６に示す３点に限らず、１点のみ抽出してもよいし、２点又は４点以上抽出してもよい。

変化前特徴点と変化後特徴点が抽出されると、演算手段１０４が変化前特徴点と変化後特徴点の３次元座標を求め（図５のＳｔｅｐ１０９）、さらにこれらの３次元座標に基づいて移動量算出手段１０８が移動客体の移動量を算出する（図５のＳｔｅｐ１１０）。そしてマスク対象判定手段１０９が、移動量と距離閾値を照らし合わせる。このとき、第１学習モデルが矩形領域ＳＲに含まれる移動客体の客体種別を推定する場合は、条件設定手段１０７が客体種別に応じて距離閾値を設定するとともに、その距離閾値と移動量を照らし合わせることもできる。

移動量と距離閾値を照らし合わせた結果、移動量が距離閾値を超えるときは（図５のＳｔｅｐ１１１のＹｅｓ）、移動客体領域（矩形領域ＳＲか形状領域ＣＲ）をマスク対象と判定するとともにこれをマスク領域とし、演算用領域設定手段１０３がこのマスク領域を画像から除くことによって演算用領域と演算用画像を設定する（図４と図５のＳｔｅｐ１１２）。このとき、移動客体領域が矩形領域ＳＲとされた（図４と図５のＳｔｅｐ１０７）場合は矩形領域ＳＲをマスク領域とし、移動客体領域が形状領域ＣＲとされた（図４と図５のＳｔｅｐ１０７）場合は形状領域ＣＲをマスク領域とする。一方、移動量が距離閾値を下回るときは（図５のＳｔｅｐ１１１のＮｏ）、移動客体領域をマスク非対象と判定し、マスク領域を設定することなく画像全体を演算用画像として後続の処理に進む。

演算用画像が設定されると、演算手段１０４が複数の演算用画像を用いた空間演算を行うことによって移動中の移動主体１１０の自己位置を算出する（図４と図５のＳｔｅｐ１１３）。そして、移動主体１１０が移動を続けながら一連の処理（Ｓｔｅｐ１０１～Ｓｔｅｐ１１３）を繰り返し行い、都度、即時的に（リアルタイムで）移動主体１１０の自己位置を求めていく。

３．建設機械位置推定システム
続いて本願発明の建設機械位置推定システムについて図を参照しながら説明する。なお、本願発明の建設機械位置推定システムは、ここまで説明した自己位置推定システム１００を利用して建設機械の自己位置を推定するものであり、したがって自己位置推定システム１００で説明した内容と重複する説明は避け、本願発明の建設機械位置推定システムに特有の内容のみ説明することとする。すなわち、ここに記載されていない内容は、「１．定義
」を含め「２．自己位置推定システム」で説明したものと同様である。

本願発明の建設機械位置推定システムは、同一の施工範囲内で他の建設機械と同時に稼働する建設機械の自己位置を推定するシステムであり、この場合は自己位置を推定する建設機械（以下、「当該建設機械２０１」という。）が「移動主体１１０」に相当し、当該建設機械２０１を除く他の建設機械が「移動客体」に相当する。なお、移動主体１１０である当該建設機械２０１と移動客体である他の建設機械は、同じ客体種別のもの（例えば、振動ローラどうし）であってもよいし、異なる客体種別のもの（例えば、振動ローラとダンプトラック）であってもよい。

図７は、同一の施工範囲内で１機の当該建設機械２０１が稼働するケースにおける本願発明の建設機械位置推定システム２００の主な構成を示すブロック図である。この図に示すように本願発明の建設機械位置推定システム２００は、当該建設機械２０１を含んで構成される。この当該建設機械２０１は、オペレーターが運転する有人式建設機械とすることもできるし、無人で自走しつつ所定の作業を行うことができる自動運転式建設機械とすることもできる。この自動運転式建設機械としては、例えば、目的地まで自走するとともにそこでダンプアップして盛土材を降ろすダンプトラックや、計画された経路を自走しながら締め固めを行う振動ローラなど、種々の建設機械を当該建設機械２０１の対象とすることができる。

図７（ａ）に示す例では、当該建設機械２０１に自己位置推定システム１００を搭載することによって建設機械位置推定システム２００を構成している。一方、図７（ｂ）に示す例では、当該建設機械２０１には自己位置推定システム１００のうち画像取得手段１０１のみが搭載され、自己位置推定システム１００のうち解析システム１００Ａ（矩形領域設定手段１０２～出力手段１１１）は施工範囲とは異なる場所（図では管理事務所）に設置されている。この場合、当該建設機械２０１には無線でデータを送受信することができる送受信手段２０２が搭載される。そして、画像取得手段１０１によって取得された画像データは送受信手段２０２を介して管理事務所の解析システム１００Ａに送信され、画像データを受信した解析システム１００Ａは当該建設機械２０１の自己位置を算出し、自己位置データとして送受信手段２０２に送信する。

図８は、同一の施工範囲内で複数機（図では、当該建設機械２０１ａ～当該建設機械２０１ｃの３機）の当該建設機械２０１の自己位置を推定するケースにおける本願発明の建設機械位置推定システム２００の主な構成を示すブロック図である。なおこのケースでは、それぞれ当該建設機械２０１の自己位置を推定するため、当該建設機械２０１が「移動主体１１０」に相当するとともに、「移動客体」にも相当することになる。例えば、当該建設機械２０１ａの自己位置を推定するときは当該建設機械２０１ａが移動主体１１０とされ、当該建設機械２０１ｂや当該建設機械２０１ｃが移動客体として扱われる。これに対して当該建設機械２０１ｂや当該建設機械２０１ｃの自己位置を推定するときは当該建設機械２０１ｂや当該建設機械２０１ｃが移動主体１１０とされ、当該建設機械２０１ａが移動客体として扱われるわけである。

図８（ａ）に示す例では、それぞれの当該建設機械２０１に自己位置推定システム１００を搭載することによって建設機械位置推定システム２００を構成している。一方、図８（ｂ）に示す例では、それぞれの当該建設機械２０１には自己位置推定システム１００のうち画像取得手段１０１のみが搭載され、自己位置推定システム１００のうち解析システム１００Ａは施工範囲とは異なる場所（図では管理事務所）に設置されている。この場合、それぞれの当該建設機械２０１には送受信手段２０２が搭載される。そして、それぞれの当該建設機械２０１が搭載する画像取得手段１０１によって取得された画像データは送受信手段２０２を介して管理事務所の解析システム１００Ａに送信され、画像データを受信した解析システム１００Ａはそれぞれの当該建設機械２０１の自己位置を算出し、自己位置データとして該当する当該建設機械２０１の送受信手段２０２に送信する。

当該建設機械２０１が有人式建設機械である場合、進捗管理や品質管理を含む施工管理等を行う際に、自己位置データを利用することができる。具体的には、当該建設機械２０１によって行われる作業の状況を計測する作業用センサーを当該建設機械２０１に搭載することとし、この作業用センサーによって計測された作業状況データ（計測結果）と自己位置データに基づいて、あらかじめ用意した当該施工範囲の基盤図の分割領域（メッシュ）に対して、作業状況に応じた表示に変更するといった施工管理を行う。例えば、振動ローラを当該建設機械２０１とする場合、締固めの程度を計測するセンサー（作業用センサー）によって得られた締固め状況データ（計測結果）と自己位置データに基づいて、基盤図の分割領域に対して締固めの程度に応じた着色を付すとともに、基盤図をディスプレイやプリンタなどの出力手段１１１に出力し、これを確認しながら施工を行うといった施工管理を行うわけである。これによって、どの範囲まで締固められたか（進捗管理）、しかも十分に締固められたか（品質管理）といった状況を把握することができる。一方、当該建設機械２０１が自動運転式建設機械である場合、自走したり、所定の作業（ダンプアップや締め固めなど）を行ったり、上記したような施工管理を行うなど、自動運転に関する種々の動作に自己位置データを利用することができる。

本願発明の自己位置推定システム、及び建設機械位置推定システムは、造成盛土や道路、河川堤防、海岸堤防、ダム、堰堤などの盛土構造物に利用することができるほか、自動車や飛行体（ドローンなど）の自動運転など移動体が使用される様々な分野で利用することができる。本願発明が、慢性化した建設業界の人手不足を解消することを考えれば、産業上利用できるばかりでなく社会的にも大きな貢献を期待し得る発明といえる。

１００ 本願発明の自己位置推定システム
１００Ａ 解析システム
１０１ 画像取得手段
１０２ 矩形領域設定手段
１０３ 演算用領域設定手段
１０４ 演算手段
１０５ 矩形領域判定手段
１０６ 形状領域設定手段
１０７ 条件設定手段
１０８ 移動量算出手段
１０９ マスク対象判定手段
１１０ 移動主体
１１１ 出力手段
１１２ 画像記憶手段
１１３ 第１モデル記憶手段
１１４ 第２モデル記憶手段
２００ 本願発明の建設機械位置推定システム
２０１ 当該建設機械
２０２ 送受信手段
ＣＭ 建設機械
ＣＲ 形状領域
ＳＲ 矩形領域

Claims (5)

1. 移動可能な移動主体に搭載され、定期的又は断続的に画像を取得する画像取得手段と、
   前記画像に前記移動主体とは異なる移動可能な移動客体が含まれるとき、該移動客体を包含する矩形領域を該画像内で設定する矩形領域設定手段と、
   前記矩形領域をマスク領域とするとともに、前記画像から該マスク領域を除いた領域を演算用領域として設定する演算用領域設定手段と、
   前記画像のうち前記矩形領域が占める矩形領域割合を算出するとともに、該矩形領域割合が割合閾値を超えるときは該矩形領域を大領域として判定する矩形領域判定手段と、
   前記矩形領域判定手段によって前記大領域として判定された前記矩形領域に係る前記移動客体に対して、前記画像内における該移動客体に対応する画素の集合である形状領域を設定する形状領域設定手段と、
   複数の前記画像に基づいて、前記移動主体の自己位置を算出する演算手段と、を備え、
   前記矩形領域設定手段は、機械学習によって構築された学習済みモデルを用いて前記矩形領域を設定し、
   前記形状領域設定手段は、機械学習によって構築された学習済みモデルを用いて前記形状領域を設定し、
   前記演算用領域設定手段は、前記形状領域が設定された前記画像に対しては、前記矩形領域に代えて該形状領域を前記マスク領域とし、
   前記演算手段は、前記画像のうち前記演算用領域を用いて空間演算を行う、
   ことを特徴とする自己位置推定システム。
2. 異なる２つの前記画像である変化前画像と変化後画像に含まれる前記矩形領域に基づいて、該矩形領域の移動量を算出する移動量算出手段と、
   前記矩形領域の移動量が距離閾値を超えるときは該矩形領域に係る前記移動客体をマスク対象として判定し、該矩形領域の移動量が該距離閾値を下回るときは該矩形領域に係る該移動客体をマスク非対象として判定するマスク対象判定手段と、をさらに備え、
   前記演算手段は、前記変化前画像内の前記矩形領域に含まれる特徴点の位置を算出するとともに、前記変化後画像内の該矩形領域に含まれる該特徴点の位置を算出し、
   前記移動量算出手段は、前記演算手段によって算出された前記特徴点の位置に基づいて前記矩形領域の移動量を算出し、
   前記演算用領域設定手段は、前記マスク対象判定手段によって前記マスク対象と判定された前記移動客体に係る前記矩形領域、又は前記形状領域を、前記マスク領域とする、
   ことを特徴とする請求項１記載の自己位置推定システム。
3. 前記矩形領域に係る前記移動客体の種別に応じて、画像間隔又は／及び前記距離閾値を設定する条件設定手段を、さらに備え、
   前記矩形領域設定手段は、前記矩形領域に係る前記移動客体の前記種別を推定し、
   前記移動量算出手段は、前記条件設定手段によって設定された前記画像間隔に基づいて前記変化前画像と前記変化後画像を選出し、
   前記マスク対象判定手段は、前記条件設定手段によって設定された前記距離閾値に基づいて前記マスク対象又は前記マスク非対象を判定する、
   ことを特徴とする請求項２記載の自己位置推定システム。
4. 同一の施工範囲内で他の建設機械と同時に稼働する建設機械の自己位置を推定するシステムであって、
   自己位置を推定する当該建設機械に搭載され、定期的又は断続的に画像を取得する画像取得手段と、
   前記画像に前記他の建設機械が含まれるとき、該他の建設機械を包含する矩形領域を該画像内で設定する矩形領域設定手段と、
   前記矩形領域をマスク領域とするとともに、前記画像から該マスク領域を除いた領域を演算用領域として設定する演算用領域設定手段と、
   複数の前記画像に基づいて、前記当該建設機械の自己位置を算出する演算手段と、
   前記当該建設機械に搭載され、前記当該建設機械によって行われる作業の状況を計測する作業用センサーと、
   複数の分割領域によって構成される基盤図を出力する出力手段と、を備え、
   前記矩形領域設定手段は、機械学習によって構築された学習済みモデルを用いて前記矩形領域を設定し、
   前記演算手段は、前記画像のうち前記演算用領域を用いて空間演算を行い、
   前記出力手段は、前記作業用センサーによって計測された計測結果と、前記当該建設機械の自己位置と、に基づいて、前記分割領域を作業状況に応じた表示に変更して前記基盤図を出力する、
   ことを特徴とする建設機械位置推定システム。
5. 同一の施工範囲内で同時に稼働する２以上の前記当該建設機械に、それぞれ前記画像取得手段が搭載され、
   前記演算手段は、前記当該建設機械ごとにそれぞれ自己位置を算出する、
   ことを特徴とする請求項４記載の建設機械位置推定システム。

Images