JP7313628B2 - 掘削機のバケットの位置姿勢を確定するための方法及び装置 - Google Patents

Description

本出願の実施例はコンピュータ技術分野に関し、具体的に、掘削機分野、特に掘削機のバケットの位置姿勢を確定するための方法及び装置に関する。

無人掘削機は様々なセンサで掘削操作の対象を検知し、操作の動作を計画し、且つ操作コマンドを実行するインテリジェントな掘削設備である。無人掘削機は堆積された材料を掘削するタスクにおいて、バケットを盛り土の目標エリアに移動させて掘削操作を行うように制御する必要があるため、バケットの掘削機の車体に対する位置姿勢を素早く正確に確定する必要がある。現在の解決手段は、掘削機のブーム、アーム、バケットなどのところに角度センサをそれぞれ取り付け、センサの読み取り値によってバケットの位置姿勢を確定することである。

本出願の実施例は掘削機のバケットの位置姿勢を確定するための方法、装置、電子機器及びコンピュータ可読媒体を提供する。

第１態様において、本開示の実施例は掘削機のバケットの位置姿勢を確定するための方法であって、掘削機の車体に設置されるカメラにより撮られた、掘削機のバケットに設置されるプリセットマーカーを含むバケットの画像を取得する取得ステップと、掘削機の掘削アームとバケットに設置される角度センサによって検知された角度検知データを取得し、角度検知データに基づいて、プリセットマーカーの、バケットの画像における目標位置範囲を確定し、目標位置範囲内にマーカー情報を検出し、且つ、プリセットマーカーを識別するように、事前設定されたマーカー情報ライブラリにおいてマッチングを行う識別ステップと、バケットの画像におけるプリセットマーカーの画像座標系における数学的表現と、予め取得したプリセットマーカーの三次元特徴情報から確定されたプリセットマーカーのバケット座標系における数学的表現とに基づいてバケット座標系と画像座標系との変換関係を確定した後、カメラのパラメータに基づいて、カメラのバケットに対する位置姿勢情報を確定する確定ステップと、カメラのバケットに対する位置姿勢情報を、バケットの掘削機の車体に対する位置姿勢情報に変換する変換ステップとを備える方法を提供する。

一部の実施例において、上記プリセットマーカーの三次元特徴情報はプリセットマーカーの特徴点の空間的位置情報を含み、上記確定ステップは、プリセットマーカーの特徴点の空間的位置情報によってプリセットマーカーの特徴点の三次元座標を確定することと、バケットの画像におけるプリセットマーカーの特徴点を検出し、バケットの画像におけるプリセットマーカーの特徴点のピクセル座標を確定することと、プリセットマーカーの特徴点の三次元座標と、バケットの画像におけるプリセットマーカーの特徴点のピクセル座標と、予め取得したカメラの内部パラメータに基づいて、カメラのバケットに対する位置姿勢情報を推定することを備える。

一部の実施例において、上記プリセットマーカーがプリセット二次元コードラベルを含み、上記プリセットマーカーの特徴点がプリセット二次元コードラベルの角点を含む。

第２態様において、本開示の実施例は掘削機のバケットの位置姿勢を確定するための装置であって、掘削機の車体に設置されるカメラにより撮られた、掘削機のバケットに設置されるプリセットマーカーを含むバケットの画像を取得するように構成される取得ユニットと、掘削機の掘削アームとバケットに設置される角度センサによって検知された角度検知データを取得し、角度検知データに基づいて、プリセットマーカーのバケットの画像における目標位置範囲を確定し、目標位置範囲内にマーカー情報を検出し、且つ、プリセットマーカーを識別するように、事前設定されたマーカー情報ライブラリにおいてマッチングを行うように構成される識別ユニットと、バケットの画像におけるプリセットマーカーの画像座標系における数学的表現と、予め取得したプリセットマーカーの三次元特徴情報から確定された前記プリセットマーカーのバケット座標系における数学的表現とに基づいてバケット座標系と画像座標系との変換関係を確定した後、カメラのパラメータに基づいて、カメラのバケットに対する位置姿勢情報を確定するように構成される確定ユニットと、カメラのバケットに対する位置姿勢情報を、バケットの掘削機の車体に対する位置姿勢情報に変換するように構成される変換ユニットを備える装置を提供する。

一部の実施例において、上記プリセットマーカーの三次元特徴情報はプリセットマーカーの特徴点の空間的位置情報を含み、上記確定ユニットはさらに、バケットの画像と、事前取得したプリセットマーカーの三次元特徴情報に基づいて、プリセットマーカーの特徴点の空間的位置情報によってプリセットマーカーの特徴点の三次元座標を確定する方式と、バケットの画像におけるプリセットマーカーの特徴点を検出し、バケットの画像におけるプリセットマーカーの特徴点のピクセル座標を確定する方式と、プリセットマーカーの特徴点の三次元座標と、バケットの画像におけるプリセットマーカーの特徴点のピクセル座標と、予め取得したカメラの内部パラメータに基づいて、カメラのバケットに対する位置姿勢情報を推定する方式によって、カメラのバケットに対する位置姿勢情報を確定するように構成される。

一部の実施例において、上記プリセットマーカーがプリセット二次元コードラベルを含み、上記プリセットマーカーの特徴点がプリセット二次元コードラベルの角点を含む。

第３態様において、本開示の実施例は、１つ又は複数のプロセッサと、１つ又は複数のプログラムを格納する電子機器であって、１つ又は複数のプログラムが１つ又は複数のプロセッサにより実行される際、１つ又は複数のプロセッサに、本開示の第１態様により提供された掘削機のバケットの位置姿勢を確定するための方法を実現させる電子機器を提供する。

第４態様において、本開示の実施例はコンピュータプログラムが格納されているコンピュータ読み取り可能な媒体であって、プログラムがプロセッサにより実行される際に第１態様により提供された掘削機のバケットの位置姿勢を確定するための方法を実現するコンピュータ読み取り可能な媒体を提供する。

本開示の上記実施例は掘削機のバケットの位置姿勢を確定するための方法と装置は、掘削機の車体に設置されるカメラにより撮られた、掘削機のバケットに設置されるプリセットマーカーを含むバケットの画像を取得することを通して、バケットの画像と、予め取得したプリセットマーカーの三次元特徴情報に基づいて、カメラのバケットに対する位置姿勢情報を確定し、カメラのバケットに対する位置姿勢情報を、バケットの掘削機の車体に対する位置姿勢情報に変換し、バケットに設置されたプリセットマーカーの画像に基づくバケットの位置姿勢の正確な計算を実現する。

以下の図面を合わせた非制限性実施例に対する詳しい説明を閲覧することを通して、本出願のほかの特徴、目的及びメリットがさらに明確になる。
本出願の実施例を適用する例示的なシステムアーキテクチャを示す図である。 本出願による掘削機のバケットの位置姿勢を確定するための方法の１つの実施例のフローチャートである。 図２に示される実施例の１つの適用シナリオの概略図である。 本出願による掘削機のバケットの位置姿勢を確定するための方法のほかの１つの実施例のフローチャートである。 本出願による掘削機のバケットの位置姿勢を確定するための装置の１つの実施例の構造概略図である。 本出願の実施例を実施するのに適した電子機器のコンピュータシステムの構造概略図である。

次に図面及び実施例を参照しながら本出願をさらに詳しく説明する。ここに説明する具体的な実施例は関連発明を解釈するためのものであり、該発明を限定するものではないことを理解すべきである。なお、説明の便宜上、図面中に関連発明に関する部分のみを示す。

なお、衝突しない状況において，本出願における実施例及び実施例における特徴は互いに組み合わせることができる。次に図面を合わせて実施例を結合して本発明を詳しく説明する。

図１は、本出願を適用できる掘削機のバケットの位置姿勢を確定するための方法、又は掘削機のバケットの位置姿勢を確定するための装置の例示的なシステムアーキテクチャを示す。

図１に示されるように、システムアーキテクチャ１００は掘削機１０１、掘削機に設置されたカメラ１０２、ネットワーク１０３及びサーバ１０４を含んでもよい。ネットワーク１０３は掘削機１０１、カメラ１０２とサーバ１０４の間に通信リンクの媒体を提供することに用いられる。ネットワーク１０３は様々な接続タイプ、例えば、有線、無線通信リンク又は光ファイバケーブルなどを含んでもよい。

掘削機１０１は自律型無人掘削機であってもよく、自律型無人掘削機に角度センサ、メカニカルセンサ、画像センサなどの様々なセンサが設置されてもよい。掘削機１０１における様々なセンサは掘削対象、道路環境などが含まれる環境情報を検知できる。場合によって、自律型無人掘削機１０１にＣＰＵ、ＧＰＵなどのプロセッサ及び記憶部材などのデータ処理部材がさらに設置されてもよい。データ処理部材はセンサにより検知したデータを取得して処理することができ、記憶部材はセンサにより検知したデータ、及びデータ処理部材がデータ処理タスクを実行する時に呼び出す必要があるデータを格納することができる。

カメラ１０２は自律型無人掘削機１０１に取り付けられた画像センサであってもよく、それは自律型無人掘削機のバケットの画像を撮ることができる。本実施例の適用シナリオにおいて、カメラ１０２は自律型無人掘削機の車体に設置されてもよく、カメラ１０２は無人掘削機の前方に向くことで、自律型無人掘削機１０１のバケットがカメラ１０２の結像範囲内にあることを確保する。

サーバ１０４は自律型無人掘削機のバックグラウンドサーバなどの様々なサービスを提供するサーバであってもよい。自律型無人掘削機のバックグラウンドサーバはカメラ１０２から取得したバケットの画像などのデータに対して分析処理を行い、且つ処理結果（例えば、バケットの位置姿勢）に基づいて掘削機１０１の掘削動作を制御することができる。

なお、サーバ１０４はハードウェアであってもよく、ソフトウェアであってもよい。サーバ１０４はハードウェアである場合、複数のサーバからなる分散型サーバクラスタとして実現されてもよく、さらに、単一のサーバとして実現されてもよい。サーバ１０４はソフトウェアである場合、複数のソフトウェア又はソフトウェアモジュール（例えば、分散型サービスを提供するための複数のソフトウェア又はソフトウェアモジュール）として実現されてもよく、さらに、単一のソフトウェア又はソフトウェアモジュールとして実現されてもよい。ここで特に限定しない。

なお、本出願の実施例により提供される掘削機のバケットの位置姿勢を確定するための方法は、掘削機１０１に設置されたデータ処理部材又はサーバ１０４により実行されてもよく、対応して、掘削機のバケットの位置姿勢を確定するための装置は掘削機１０１のデータ処理部材又はサーバ１０４の中に設置されてもよい。

図１における掘削機、カメラ、ネットワーク及びサーバの数は例示的なものであることを理解すべきである。実現の需要に応じて、任意数の掘削機、カメラ、ネットワーク及びサーバを備えることができることを理解すべきである。

次に、図２と合わせてみれば、それは、本出願による掘削機のバケットの位置姿勢を確定するための方法の１つの実施例のフロー２００を示す。当該掘削機のバケットの位置姿勢を確定するための方法は以下のステップ（ステップ２０１～２０３）を含む。

ステップ２０１：掘削機の車体に設置されるカメラにより撮られたバケットの画像を取得する。

バケットの画像は、掘削機のバケットに設置されるプリセットマーカーを包含する。

本実施例において、掘削機のバケットの位置姿勢を確定するための方法の実行主体は掘削機の車体に設置されたカメラに接続されて、カメラにより撮られたバケットの画像を取得することができる。

上記掘削機は自律型無人掘削機であってもよく、カメラが掘削機の車体に設置され、カメラと掘削機の車体との相対的な位置は一定である。掘削機の掘削アームは車体に対して回転したり伸縮したりすることができ、したがって、バケットを移動させる。バケットは掘削機の掘削アームに対して回転することもできる。掘削過程において、掘削機の車体に対する掘削機のバケットの現在の位置姿勢を検出する必要があり、したがって、需要に応じてバケットの位置姿勢を調整して、材料を掘削する操作を実行する。

上記カメラは車体のバケットに向かう側に設置されてもよい。バケットにプリセットマーカーが設置されてもよい。プリセットマーカーはバケットの位置を標識するための検出可能な特徴付きの物体であり、例えば、ランダムな標識点からなる標識図形が含まれる物体であってもよい。例として、プリセットマーカーはバケットに固定連結される特定形状の部材であってもよく、或いは、バケットに接着された標識用物体の画像であってもよい。

選択可能に、上記プリセットマーカーは図３に示される適用シナリオにおけるバケットに接着されたプリセット二次元コードラベルであってもよい。プリセット二次元コードラベルは既知の固定辺長があり、互いに隣接する異なる色のピクセルブロックからなる二次元コードの図形であってもよい。本実施例の選択可能な実現方式において、事前設定された二次元コードラベルライブラリから二次元コードラベルを選択して、プリセットマーカーとしてバケットに接着することができる。

ステップ２０２：バケットの画像と、予め取得したプリセットマーカーの三次元特徴情報に基づいて、カメラのバケットに対する位置姿勢情報を確定する。

本実施例において、上記実行主体は先に事前設定されたマーカー情報ライブラリから上記プリセットマーカーの三次元特徴情報を取得することができる。ここで、プリセットマーカーの三次元特徴情報はプリセットマーカーにおける形状、サイズ、標識点間の相対的な位置関係などを示す情報であってもよい。上記事前設定されたマーカー情報ライブラリは事前設定された複数のマーカーの標識、二次元画像及び三次元特徴情報を含んでもよい。

バケットに設置されたプリセットマーカーの標識によって対応する三次元特徴情報を検索することができる。例えば、バケットにプリセットマーカーの画像を接着することができ、この時、接着されたプリセットマーカーの画像の番号によって、事前設定されたマーカー情報ライブラリから該画像に対応するマーカーの三次元特徴情報を検索することができる。

次に、バケットの座標系を確立して、バケットにおけるプリセットマーカーの三次元特徴情報によってバケットの座標系における該プリセットマーカーの数学的表現を確定することができる。例えば、プリセットマーカーは格子図形である場合、バケットの座標系における該格子図形の数学的表現は中心点座標、対角線方向及び辺長であってもよく、格子の対角線における２つの頂点の座標であってもよい。また、プリセットマーカーは不規則な形状を有する立体物体である場合、該不規則な形状を有する立体物体は、バケットの座標系における数学的表現が該立体物体の表面にある複数の点の座標であってもよい。

その後、バケットの画像から画像におけるプリセットマーカーの数学的表現を確定することができる。画像におけるプリセットマーカーの数学的表現は、プリセットマーカーの各頂点、或いは、画像平面におけるプリセットマーカーの表面にある点の投影点の画像の座標であってもよい。

その後、プリセットマーカーの、バケットの座標系における数学的表現と、画像における数学的表現によって、バケットの座標系に対するカメラの位置姿勢を推計することができる。具体的に、プリセットマーカーの中心点、頂点、表面の点などの特徴点に基づき、バケットの座標系における三次元座標と、画像座標系における二次元座標に、バケットの座標系と画像座標系との変換関係を確定し、その後に較正されたカメラのパラメータに基づき、画像座標系とカメラの座標系との変換関係を確定し、且つカメラの座標系とバケットの座標系との変換関係を確定することができる。上記変換関係は、相対的に並行移動の距離と相対的な回転角度を含む変換行列であってもよい。それにより、バケットの座標系に対するカメラの座標系の並行移動と回転角度が確定され、即ち、バケットに対するカメラの位置姿勢データが確定される。

ステップ２０３：カメラのバケットに対する位置姿勢情報を、バケットの掘削機の車体に対する位置姿勢情報に変換する。

カメラのバケットに対する並行移動と回転角度をカメラに対するバケットの並行移動と回転角度に変換して、バケットの掘削機の車体に対する位置姿勢情報とすることができる。変換する際、バケットに対するカメラの並行移動パラメータと回転パラメータに対して直接的に反数を取ることで、カメラに対するバケットの並行移動パラメータと回転角度パラメータを得ることができる。

本出願の上記実施例は掘削機のバケットの位置姿勢を確定するための方法は、掘削機の車体に設置されるカメラにより撮られた、掘削機のバケットに設置されるプリセットマーカーを含むバケットの画像を取得して、バケットの画像と、予め取得したプリセットマーカーの三次元特徴情報に基づいて、カメラのバケットに対する位置姿勢情報を確定し、カメラのバケットに対する位置姿勢情報を、バケットの掘削機の車体に対する位置姿勢情報に変換することで、バケットに設置されたプリセットマーカーの画像に基づくバケットの位置姿勢の正確な計算が実現される。従来の異なる位置に設置される角度センサを通してデータを読み取ることでバケットの位置姿勢を確定する方法に比べて、センサの微細な誤差による末端にあるバケットの位置姿勢の推計結果の大きい誤差を回避でき、バケットの位置姿勢の推計の正確性を効果的に高めることができる。

図３に示されるように、図２に示される実施例の１つの適用シナリオの概略図である。図３に示されるように、掘削機の車体に設置されるカメラＣはバケットの画像を収集でき、バケットにマーカーＭが接着され、ここで、例示的に二次元コードラベルをプリセットマーカーとする。掘削過程中に、バケットは掘削動作の制御命令によって位置姿勢を調整し、カメラＣにより撮られた画像におけるマーカーＭのサイズ、形状などの特徴はそれに伴って変化する。カメラＣにより撮られた画像中のマーカーＭの特徴に基づいて、図２に示される方法を用いて、掘削機の車体に対するバケットの並行移動距離と回転角度などのバケットの位置姿勢パラメータを計算することができる。したがって、計算して得たバケットの位置姿勢パラメータに基づいてバケットと堆積された材料との相対的な位置を確定し、さらにバケットを制御する命令を確定する。

次に、図４と合わせてみれば、それは、本出願による掘削機のバケットの位置姿勢を確定するための方法によるほかの１つの実施例のフローチャートを示す。図４に示されるように、本実施例による掘削機のバケットの位置姿勢を確定するための方法のフロー４００は、以下のステップ（ステップ４０１～４０６）を含む。

ステップ４０１：掘削機の車体に設置されるカメラにより撮られたバケットの画像を取得する。

本実施例において、掘削機のバケットの位置姿勢を確定するための方法の実行主体は掘削機の車体に設置されたカメラに接続されて、カメラにより撮られたバケットの画像を取得することができる。ここで、バケットの画像は、掘削機のバケットに設置されるプリセットマーカーを包含する。

ステップ４０２：プリセットマーカーの特徴点の空間的位置情報によってプリセットマーカーの特徴点の三次元座標を確定する。

本実施例において、プリセットマーカーは特徴点を含んでもよい。特徴点はマーカーの特徴を標識するための点であってもよく、例えば、格子図形の中心点又は角点であってもよい。選択可能に、上記プリセットマーカーがプリセット二次元コードラベルを含み、上記プリセットマーカーの特徴点がプリセット二次元コードラベルの角点を含む。

上記プリセットマーカーの三次元特徴情報はプリセットマーカーの特徴点の空間的位置
情報を含む。ここで、プリセットマーカーの特徴点の空間的位置情報は、二次元コードラベルの４つの角点と中心点との相対的な位置などの特徴点同士間の相対的な位置であってもよい。その中の１つの特徴点を原点としてバケットの座標系を構築し、特徴点同士間の相対的な位置によってバケットの座標系における各特徴点の三次元座標を確定することができる。

ステップ４０３：バケットの画像におけるプリセットマーカーの特徴点を検出し、バケットの画像におけるプリセットマーカーの特徴点のピクセル座標を確定する。

ステップ４０１で取得したバケットの画像を検出し、特徴点の色、分布などの特徴によってバケットの画像におけるプリセットマーカーの特徴点を検出することができる。

本実施例において、事前設定されたマーカー情報ライブラリはプリセットマーカーの特徴点の空間的位置情報を格納でき、特徴点の空間的位置情報によって特徴点の色、分布などの特徴情報を確定することができる。或いは、事前設定されたマーカー情報ライブラリから特徴点の色、分布などの特徴情報を直接抽出することができる。その後、特徴点の色、分布などの特徴情報に基づいてバケットの画像において特徴点に対応するピクセル点を検出し、対応するピクセル点の座標を取得して、バケットの画像における上記プリセットマーカーの特徴点のピクセル座標とする。

ステップ４０４：プリセットマーカーの特徴点の三次元座標と、バケットの画像におけるプリセットマーカーの特徴点のピクセル座標と、予め取得したカメラの内部パラメータに基づいて、カメラのバケットに対する位置姿勢情報を推計する。

焦点距離、主点オフセット及び歪み係数などのカメラの内部パラメータを事前取得することができる。その後、カメラの内部パラメータ行列Ｋを構築し、特徴点のピクセル座標Ｐｘをカメラの座標系に変換して、カメラの座標系における特徴点の座標Ｐｃを得る。

バケットに対するカメラの回転行列をＲ、並行移動行列をＴとする場合、特徴点のカメラの座標系における座標Ｐｃと、バケットの座標系における三次元座標ＰｓとはＰｃ＝Ｐｓ×Ｒ＋Ｔの関係がある。したがって、カメラの座標系における複数の特徴点の座標Ｐｃ、及びバケットの座標系における各特徴点の三次元座標Ｐｓに基づいて、回転行列Ｒと並行移動行列Ｔを推計し、即ち、バケットに対するカメラの回転パラメータと並行移動パラメータを確定することができる。

ステップ４０５：カメラのバケットに対する位置姿勢情報を、バケットの掘削機の車体に対する位置姿勢情報に変換する。

カメラのバケットに対する並行移動と回転角度をカメラに対するバケットの並行移動パラメータと回転パラメータに変換して、バケットの掘削機の車体に対する位置姿勢情報とすることができる。変換する際、バケットに対するカメラの並行移動パラメータと回転パラメータに対して直接的に反数を取ることで、カメラに対するバケットの並行移動パラメータと回転角度パラメータを得ることができる。

本実施例による掘削機のバケットの位置姿勢を確定するための方法は、予め取得したマーカーの特徴点の空間的位置情報を通してその三次元座標を確定し、且つバケットの画像における対応する特徴点のピクセル座標を検出し、さらに特徴点の三次元座標とピクセル座標によってカメラの相対的な位置姿勢を確定し、特徴点の三次元座標とピクセル座標との対応関係を確定する正確性をさらに高め、位置姿勢の推計の正確性をさらに高めることができる。

本実施例による一部の選択可能な実現方式において、上記した掘削機のバケットの位置姿勢を確定するための方法のフロー４００はさらにステップ４０６を含んでもよい。

ステップ４０６：プリセットマーカーを識別するように、事前設定されたマーカー情報ライブラリに含まれたマーカー情報に基づいて、バケットの画像に対してマッチングを行う。

ここで、事前設定されたマーカー情報ライブラリは複数のマーカーのマーカー情報を含んでもよい。マーカー情報はマーカーの形状、サイズ、色などの情報を含んでもよく、マーカーの画像の特徴を含んでもよい。

バケットの画像からプリセットマーカーの特徴情報を抽出して、事前設定されたマーカー情報ライブラリにおける各マーカーのマーカー情報とのマッチングを行うことができる。マッチングに成功したマーカーを識別されたプリセットマーカーとする。

さらに、選択可能に、上記ステップ４０６は、掘削機の掘削アームとバケットに設置された角度センサが検知した角度検知データを取得した後、角度検知データに基づいて、バケットの画像におけるプリセットマーカーの目標位置範囲を確定し、最後に、プリセットマーカーを識別するように、目標位置範囲内にマーカー情報を検出し、且つ事前設定されたマーカー情報ライブラリにマッチングを行う方式によって実行される。

角度検知データに基づいてバケットの画像におけるプリセットマーカーの目標位置範囲を確定する際、具体的に角度センサで掘削機の車体に対するバケットの回転角度の初期推計範囲を確定し、且つ掘削機の掘削アームの長さと角度検知データによって、掘削機の車体に対するバケットの並行移動量の初期推計範囲を計算することができる。その後に掘削機の車体に対するバケットの回転角度と並行移動量の初期推計範囲と、カメラの内部パラメータに基づいて、プリセットマーカーの各特徴点（例えば各角点）の、バケットの座標系における三次元座標を画像の座標系の中に変換し、バケットの画像におけるプリセットマーカーの目標位置範囲を取得する。その後に目標位置範囲内にマーカーの情報を検出して識別し、且つ検出して得たマーカーの情報と、事前設定されたマーカー情報ライブラリとをマッチングし、バケットの画像におけるプリセットマーカーの識別結果を取得できる。

角度センサにより取得した角度検知データを利用してプリセットマーカーの画像における目標位置範囲を確定し、その後に目標位置範囲内にプリセットマーカーを検出することで、画像からプリセットマーカーを識別する速度を高め、さらにバケットの位置姿勢推計の速度を高めることができる。且つ、掘削機のアーム、バケットに設けられた角度センサとカメラにより収集されたバケットの画像を合わせてバケットの位置姿勢を確定することで、角度センサに障害が発生した場合、カメラでバケットの位置姿勢を確定し、掘削機の正常な動作を確保することができる。

さらに図５に示されるように、上記各図に示される方法の実現として、本出願は掘削機のバケットの位置姿勢を確定するための装置の１つの実施例を提供し、該装置の実施例は図２と図４に示される方法の実施例に対応し、該装置は具体的に様々な電子機器に適用できる。

図５に示されるように、本実施例による掘削機のバケットの位置姿勢を確定するための装置５００は、取得ユニット５０１、確定ユニット５０２及び変換ユニット５０３を備える。ここで、取得ユニット５０１は、掘削機の車体に設置されるカメラにより撮られた、
掘削機のバケットに設置されたプリセットマーカーが含まれるバケットの画像を取得するように構成され、確定ユニット５０２は、バケットの画像と、予め取得したプリセットマーカーの三次元特徴情報に基づいて、カメラのバケットに対する位置姿勢情報を確定するように構成され、変換ユニット５０３は、カメラのバケットに対する位置姿勢情報を、バケットの掘削機の車体に対する位置姿勢情報に変換するように構成される。

一部の実施例において、上記プリセットマーカーの三次元特徴情報はプリセットマーカーの特徴点の空間的位置情報が含まれ、上記確定ユニット５０２はさらに、バケットの画像と、事前取得したプリセットマーカーの三次元特徴情報に基づいて、プリセットマーカーの特徴点の空間的位置情報によってプリセットマーカーの特徴点の三次元座標を確定する方式と、バケットの画像におけるプリセットマーカーの特徴点を検出し、バケットの画像におけるプリセットマーカーの特徴点のピクセル座標を確定する方式と、プリセットマーカーの特徴点の三次元座標と、バケットの画像におけるプリセットマーカーの特徴点のピクセル座標と、予め取得したカメラの内部パラメータに基づいて、カメラのバケットに対する位置姿勢情報を推計する方式によってカメラのバケットに対する位置姿勢情報を確定するように構成される。

一部の実施例において、上記確定ユニット５０２はさらに、プリセットマーカーを識別するように、事前設定されたマーカー情報ライブラリに含まれたマーカー情報に基づいて、バケットの画像に対してマッチングを行うように構成される。

一部の実施例において、上記確定ユニット５０２はさらに、掘削機の掘削アームとバケットに設置された角度センサが検知した角度検知データを取得する方式と、角度検知データに基づいて、バケットの画像におけるプリセットマーカーの目標位置範囲を確定する方式と、プリセットマーカーを識別するように、目標位置範囲内にマーカー情報を検出し、且つ事前設定されたマーカー情報ライブラリにマッチングを行う方式によって、プリセットマーカーを識別するように構成される。

一部の実施例において、上記プリセットマーカーがプリセット二次元コードラベルを含み、上記プリセットマーカーの特徴点がプリセット二次元コードラベルの角点を含む。

装置５００における各ユニットは図２と図４に示される方法における各ステップに対応することを理解すべきである。それにより、前文に方法に対して説明した操作と特徴は同様に装置５００及びその中に含まれるユニットに適用し、ここで贅言しない。

本出願の上記実施例は掘削機のバケットの位置姿勢を確定するための装置５００は、掘削機の車体に設置されるカメラにより撮られた、掘削機のバケットに設置されるプリセットマーカーを含むバケットの画像を取得し、バケットの画像と、予め取得したプリセットマーカーの三次元特徴情報に基づいて、カメラのバケットに対する位置姿勢情報を確定し、カメラのバケットに対する位置姿勢情報を、バケットの掘削機の車体に対する位置姿勢情報に変換することで、バケットに設置されたプリセットマーカーの画像に基づくバケットの位置姿勢の正確な計算が実現される。

次に図６において、本開示の実施例を実現するための電子機器（例えば、図１に示されるサーバ）６００の構造概略図が示される。図６に示されるサーバは１つの例のみであり、本開示の実施例の機能と使用範囲を制限するものではない。

図６に示されるように、電子機器６００は処理装置（例えば、中央処理装置、図形処理装置など）６０１を含んでもよく、それは読み取り専用メモリ（ＲＯＭ）６０２に格納されたプログラム又は記憶装置６０８からランダムアクセスメモリ（ＲＡＭ）６０３にローディングされたプログラムにより、様々な適切な動作と処理を実行することができる。ＲＡＭ６０３においてさらに、電子機器６００の操作に必要な様々なプログラムとデータが格納されている。処理装置６０１、ＲＯＭ６０２及びＲＡＭ６０３はバス６０４を介して互いに接続される。入力／出力（Ｉ／Ｏ）インターフェース６０５もバス６０４に接続される。

通常、タッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイク、加速度計、ジャイロスコープなどが含まれる入力装置６０６と、液晶ディスプレイ（ＬＣＤ）、スピーカ、発振器などが含まれる出力装置６０７と、ハードディスクなどが含まれる記憶装置６０８と、通信装置６０９などの装置はＩ／Ｏインターフェース６０５に接続され得る。通信装置６０９は、データを交換させるように、電子機器６００とほかの設備を無線又は有線で通信させることができる。図６は様々な装置を備える電子機器６００を示したが、示されたすべての装置を実装するか又は備えることが要求されないことを理解すべきである。より多くの装置又はより少ない装置を備える設備を代替可能に実装するか又は備えることができる。図６に示される各ブロックは１つの装置を表すか、需要に応じて複数の装置を表すことができる。

特に、本開示の実施例により、本明細書でフローチャートを合わせて説明したプロセスは、コンピュータソフトウェアプログラムとして実装することができる。例えば、本開示の実施例はコンピュータプログラム製品を含み、それは、コンピュータ可読媒体に格納されたコンピュータプログラムを包含し、該コンピュータプログラムはフローチャートに示される方法を実行するためのプログラムコードを含有する。このような実施例において、該コンピュータプログラムは通信装置６０９を通してネットワークからダウンロードされてインストールされ、或いは、記憶装置６０８からインストールされ、或いは、ＲＯＭ６０２からインストールされてもよい。該コンピュータプログラムが処理装置６０１により実行される時、本開示の実施例を実行する方法に限定される上記機能を実行する。なお、本開示の実施例に説明されたコンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体又はコンピュータ読み取り可能な記憶媒体又は上記両者のいずれかの組み合わせであってもよい。コンピュータ読み取り可能な記憶媒体は電気、磁気、光学、電磁、赤外線、或いは、半導体のシステム、装置又はデバイス、或いは、以上のいずれかの組み合わせであってもよいが、それらに限定されない。コンピュータ読み取り可能な記憶媒体のさらなる具体的な例は、１本又は複数のワイヤを備える電気コネクタ、ポータブルコンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュディスク）、光ファイバ、ポータブルＣＤ読み取り専用メモリ（ＣＤ－ＲＯＭ）、光記憶装置、磁気記憶装置、又は上記いずれかの適切な組み合わせを含んでもよいが、それらに限定されない。本開示の実施例において、コンピュータ読み取り可能な記憶媒体はプログラムを含むか又は格納するいずれかの有形媒体であってもよく、該プログラムは指示実行システム、装置又はデバイスに使用されるか又はそれと合わせて使用される。本開示の実施例において、コンピュータ読み取り可能な信号媒体はベースバンドで或いは搬送波の一部として伝播されるデータ信号を含んでもよく、その中にコンピュータ読み取り可能なプログラムコードが保持される。このような伝播されるデータ信号は様々な形式を用いて、電磁信号、光信号又は上記信号のいずれかの適切な組み合わせを含んでもよいが、それらに限定されない。コンピュータ読み取り可能な信号媒体はさらに、コンピュータ読み取り可能な記憶媒体以外のいずれかのコンピュータ読み取り可能な媒体であってもよく、該コンピュータ読み取り可能な信号媒体は命令実行システム、装置又はデバイスに使用されるか又はそれらに合わせて使用されるプログラムを送信、伝播又は伝送することができる。コンピュータ読み取り可能な媒体に含まれるプログラムコードはいずれかの適切な媒体で伝送され、ワイヤ、光ファイバケーブル、ＲＦ（無線周波数）など、或いは上記媒体のいずれかの適切な組み合わせを含んでもよいが、それらに限定されない。

上記コンピュータ読み取り可能な媒体は上記電子機器に含まれてもよく、単独的に存在して、該電子機器に組み込まれていないものであってもよい。上記コンピュータ読み取り可能な媒体は１つ又は複数のプログラムを保持し、上記１つ又は複数のプログラムが該電子機器により実行される際、該電子機器は、掘削機の車体に設置されるカメラにより撮られた、掘削機のバケットに設置されるプリセットマーカーが含まれるバケットの画像を取得し、バケットの画像と、予め取得したプリセットマーカーの三次元特徴情報に基づいて、カメラのバケットに対する位置姿勢情報を確定し、カメラのバケットに対する位置姿勢情報を、バケットの掘削機の車体に対する位置姿勢情報に変換する。

１種又は複数種のプログラミング言語又はその組み合わせを用いて本開示の実施例の操作を実行するためのコンピュータプログラムコードを作成でき、プログラミング言語は、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト向けのプログラミング言語を含み、さらに、「Ｃ」言語又は類似するプログラミング言語などの従来の手続き型プログラミング言語を含む。プログラムコードは完全にユーザのコンピュータに実行可能でもよく、部分的にユーザのコンピュータに実行可能でもよく、１つの独立したソフトウェアパッケージとして実行可能であり、一部はユーザのコンピュータに実行され、一部はリモートコンピュータに実行されてもよく、或いは、リモートコンピュータ又はサーバに完全に実行されてもよい。リモートコンピュータに関する状況において、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）が含まれるいずれかの種類のネットワークを介してユーザのコンピュータに接続されてもよく、或いは、外部コンピュータ（例えば、インターネットサービスプロバイダを利用してインターネットに接続される）に接続されてもよい。

図面におけるフローチャートとブロック図は、本出願の様々な実施例によるシステム、方法及びコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能及び操作を示す。この点では、フローチャート又はブロック図における各ブロックは１つのモジュール、プログラムセグメント、又はコードの一部を表すことができ、該モジュール、プログラムセグメント、又はコードの一部は規定されたロジック機能を実現するための１つ又は複数の実行可能な命令を含んでもよい。一部の代替可能な実現において、ブロックに標識された機能は図面に標識された順序とは異なるもので発生してもよいことを注意すべきである。例えば、２つの連続的に表示されるブロックは、実際には関連する機能に応じて、ほぼ並行して実行されてもよく、逆の順序で実行されることもできる。ブロック図及び／又はフローチャートにおける各ブロック、及びブロック図及び／又はフローチャートにおけるブロックの組み合わせは、規定される機能又は操作を実行するためのハードウェアに基づく専用システムで実現されるか、或いは、専用ハードウェアとコンピュータの命令の組み合わせを用いて実現されてもよいことを注意すべきである。

本出願の実施例に記載されるユニットはソフトウェアの方式で実現されてもよく、ハードウェアの方式で実現されてもよい。記載されるユニットはプロセッサに設置されてもよく、例えば、取得ユニット、確定ユニット及び変換ユニットを備えるプロセッサとして記載することができる。ここで、これらのユニットの名称は、特定の状況下ではユニット自体の制限を構成するものではなく、例えば、取得ユニットは、掘削機の車体に設置されるカメラにより収集されたバケットの画像を取得するユニットとして記載されてもよい。

以上の記載は本出願の好ましい実施例、及び活用される技術的原理に対する説明のみである。当業者であれば、本出願で言及される発明の範囲は、上記技術的特徴の特定の組み合わせに限定されず、上記発明の構想から逸脱することなく、上記の技術的特徴又はその同等の特徴の任意の組み合わせによって形成される他の技術的解決手段も同時に含まれることを理解すべきである。例えば、上記特徴と本出願に開示した（それに限定されない）
類似機能付きの技術的特徴とが相互に交換することにより形成される技術的解決手段も包含される。

５０１ 取得ユニット
５０２ 確定ユニット
５０３ 変換ユニット
６０１ 処理装置
６０２ ＲＯＭ
６０３ ＲＡＭ
６０５ Ｉ／Ｏインターフェース
６０６ 入力装置
６０７ 出力装置
６０８ 記憶装置
６０９ 通信装置

Claims (9)

1. 掘削機のバケットの位置姿勢を確定するための方法であって、
   掘削機の車体に設置されるカメラにより撮られた、前記掘削機のバケットに設置されるプリセットマーカーを含むバケットの画像を取得する取得ステップと、
   前記掘削機の掘削アームとバケットに設置される角度センサによって検知された角度検知データを取得し、前記角度検知データに基づいて、前記プリセットマーカーの前記バケットの画像における目標位置範囲を確定し、前記目標位置範囲内にマーカー情報を検出し、且つ、前記プリセットマーカーを識別するように、事前設定されたマーカー情報ライブラリにおいてマッチングを行う識別ステップと、
   前記バケットの画像における前記プリセットマーカーの画像座標系における数学的表現と、予め取得した前記プリセットマーカーの三次元特徴情報から確定された前記プリセットマーカーのバケット座標系における数学的表現とに基づいて、前記バケット座標系と前記画像座標系との変換関係を確定した後、前記カメラのパラメータに基づいて前記カメラの前記バケットに対する位置姿勢情報を確定する確定ステップと、
   前記カメラの前記バケットに対する位置姿勢情報を、前記バケットの前記掘削機の車体に対する位置姿勢情報に変換する変換ステップとを備える方法。
2. 前記プリセットマーカーの三次元特徴情報は前記プリセットマーカーの特徴点の空間的位置情報を含み、
   前記確定ステップは、
   前記プリセットマーカーの特徴点の空間的位置情報によって前記プリセットマーカーの特徴点の三次元座標を確定し、
   前記バケットの画像におけるプリセットマーカーの特徴点を検出し、前記バケットの画像における前記プリセットマーカーの特徴点のピクセル座標を確定し、
   前記プリセットマーカーの特徴点の三次元座標と、バケットの画像における前記プリセットマーカーの特徴点のピクセル座標と、予め取得した前記カメラの内部パラメータに基づいて、前記カメラの前記バケットに対する位置姿勢情報を推定することを備える請求項１に記載の方法。
3. 前記プリセットマーカーは、プリセット二次元コードラベルを含み、前記プリセットマーカーの特徴点が前記プリセット二次元コードラベルの角点を含む請求項２に記載の方法。
4. 掘削機のバケットの位置姿勢を確定するための装置であって、
   掘削機の車体に設置されるカメラにより撮られた、前記掘削機のバケットに設置されるプリセットマーカーを含むバケットの画像を取得するように構成される取得ユニットと、
   前記掘削機の掘削アームとバケットに設置される角度センサによって検知された角度検知データを取得し、前記角度検知データに基づいて、前記プリセットマーカーの前記バケットの画像における目標位置範囲を確定し、前記目標位置範囲内にマーカー情報を検出し、且つ、前記プリセットマーカーを識別するように、事前設定されたマーカー情報ライブラリにおいてマッチングを行うように構成される識別ユニットと、
   前記バケットの画像における前記プリセットマーカーの画像座標系における数学的表現と、予め取得した前記プリセットマーカーの三次元特徴情報から確定された前記プリセットマーカーのバケット座標系における数学的表現とに基づいて、前記バケット座標系と前記画像座標系との変換関係を確定した後、前記カメラのパラメータに基づいて前記カメラの前記バケットに対する位置姿勢情報を確定するように構成される確定ユニットと、
   前記カメラの前記バケットに対する位置姿勢情報を、前記バケットの前記掘削機の車体に対する位置姿勢情報に変換するように構成される変換ユニットを備える装置。
5. 前記プリセットマーカーの三次元特徴情報は前記プリセットマーカーの特徴点の空間的位置情報を含み、
   前記確定ユニットはさらに、前記バケットの画像と、予め取得した前記プリセットマーカーの三次元特徴情報に基づいて、
   前記プリセットマーカーの特徴点の空間的位置情報によって前記プリセットマーカーの特徴点の三次元座標を確定し、
   前記バケットの画像におけるプリセットマーカーの特徴点を検出し、前記バケットの画像における前記プリセットマーカーの特徴点のピクセル座標を確定し、
   前記プリセットマーカーの特徴点の三次元座標と、バケットの画像における前記プリセットマーカーの特徴点のピクセル座標と、予め取得した前記カメラの内部パラメータに基づいて、前記カメラの前記バケットに対する位置姿勢情報を推定する方式によって、
   前記カメラの前記バケットに対する位置姿勢情報を確定するように構成される請求項４に記載の装置。
6. 前記プリセットマーカーは、プリセット二次元コードラベルを含み、前記プリセットマーカーの特徴点が前記プリセット二次元コードラベルの角点を含む請求項５に記載の装置。
7. １つ又は複数のプロセッサと、１つ又は複数のプログラムを格納するための記憶装置を備える電子機器であって、
   前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサにより実行されると、前記１つ又は複数のプロセッサに請求項１～３のいずれか１項に記載の方法を実現させる電子機器。
8. コンピュータプログラムが格納されているコンピュータ読み取り可能な媒体であって、
   前記コンピュータプログラムがプロセッサにより実行される際に、請求項１～３のいずれか１項に記載の方法を実現するコンピュータ読み取り可能な媒体。
9. コンピュータプログラムであって、
   前記コンピュータプログラムがプロセッサにより実行されると、請求項１～３のいずれか１項に記載の方法を実現する、コンピュータプログラム。

Images