JP7283332B2 - 容器計測システム - Google Patents

Description

本発明は、容器の三次元情報を算出する容器計測システムに関する。

例えば特許文献１などに、容器の三次元情報を算出する技術が記載されている。同文献に記載の技術では、容器の４つの特徴点をカメラで撮影し、各特徴点の三次元位置が算出される。

特開２０００－０６４３５９号公報

しかし、特徴点をカメラで適切に撮影できない場合などがあり、特徴点の三次元情報を安定して算出することは困難である。その結果、容器の三次元情報を安定して算出することが困難である。

そこで、本発明は、容器の三次元情報を安定して算出することができる容器計測システムを提供することを目的とする。

容器計測システムは、距離画像取得部と、演算部と、を備える。前記距離画像取得部は、容器への積込作業を行う作業機械に設けられ、前記容器の距離画像を取得可能である。前記演算部は、前記距離画像取得部に取得された前記容器の前記距離画像を処理する。前記演算部は、前記容器の前記距離画像に基づいて、前記容器を構成する平面部の三次元位置を算出する。前記演算部は、前記平面部の三次元位置に基づいて、前記容器の三次元位置および三次元形状を含む三次元情報を算出する。

上記構成により、容器の三次元情報を安定して算出することができる。

容器計測システム３０が用いられる輸送車１０および作業機械２０を横から見た図である。 図１に示す距離画像取得部４０に取得される距離画像Ｄを示す図である。 図１に示す作業機械２０に設けられる容器計測システム３０を示すブロック図である。 図３に示す容器計測システム３０の作動の流れを示す図である。 図２に示す容器１２の三次元情報の表示例を示す図である。 図３に示す容器計測システム３０の変形例の作動を示すフローチャートである。 図２に示す容器１２の一部が距離画像Ｄに映っていない場合の図２相当図である。

図１～図５を参照して、容器計測システム３０（図３参照）、ならびに、容器計測システム３０が用いられる輸送車１０（図１参照）および作業機械２０（図１参照）について説明する。

輸送車１０は、図１に示すように、容器１２を有する車両である。輸送車１０は、作業機械２０によって積み込まれた物（積込対象物）を輸送するための車両であり、ダンプカーでもよく、トラックでもよい。輸送車１０は、本体部１１と、容器１２と、を備える。本体部１１は、走行可能であり、容器１２を支持する。本体部１１は、運転室１１ａを備える。

容器１２は、積込対象物を収容する。容器１２に収容される積込対象物は、例えば、土砂でもよく、廃棄物（産業廃棄物など）でもよい。容器１２は、輸送車１０の荷台である。容器１２は、運転室１１ａよりも、輸送車１０における後側に配置される。以下では、輸送車１０に関する方向について、運転室１１ａから容器１２に向かう側を「輸送車後側」、容器１２から運転室１１ａに向かう側を「輸送車前側」という。容器１２は、本体部１１に対して可動でもよく、本体部１１に固定されてもよい。容器１２は、例えば蓋を有さない箱形などである（図２参照）。容器１２は、平面部１３を備える。なお、容器１２は、輸送車１０の荷台でなくてもよく、例えば地面などに直接置かれてもよい。以下では、容器１２が輸送車１０の荷台である場合について説明する。

平面部１３は、図２に示すように、容器１２のうち、平面状または略平面状の部分である。平面部１３は、全体として平面状または略平面状であればよい。平面部１３は、凹凸を有してもよく、緩やかな曲面を有してもよい。平面部１３は、床面１３ａと、後部あおり板面１３ｂと、側部あおり板面１３ｃと、鳥居面１３ｄと、を備える。床面１３ａは、容器１２の底面（下側の面）である。後部あおり板面１３ｂは、容器１２の輸送車後側の面であり、床面１３ａの輸送車後側の部分から上に突出する。側部あおり板面１３ｃは、容器１２の左右の面であり、床面１３ａの左右の端部から上に突出する。鳥居面１３ｄは、容器１２の輸送車前側の面であり、床面１３ａの輸送車前側の部分から上に突出する。鳥居面１３ｄは、側部あおり板面１３ｃよりも上に突出し、後部あおり板面１３ｂよりも上に突出する。

作業機械２０は、図１に示すように、容器１２に積込対象物を積み込む作業（積込作業）を行う機械である。作業機械２０は、例えば、積込対象物をすくうことが可能でもよく、積込対象物を挟んで掴むことが可能でもよい。作業機械２０は、例えば建設作業を行う建設機械であり、例えばショベルなどである。作業機械２０は、下部走行体２１と、上部旋回体２３と、アタッチメント２５と、を備える。

下部走行体２１は、作業機械２０を走行させる。下部走行体２１は、例えばクローラを備える。上部旋回体２３は、下部走行体２１に旋回可能に搭載される。上部旋回体２３は、キャブ２３ａを備える。アタッチメント２５は、積込対象物を移動させる部分である。アタッチメント２５は、ブーム２５ａと、アーム２５ｂと、先端アタッチメント２５ｃと、を備える。ブーム２５ａは、上部旋回体２３に起伏可能（上下に回転可能）に取り付けられる。アーム２５ｂは、ブーム２５ａに回転可能（押し引き可能）に取り付けられる。先端アタッチメント２５ｃは、アタッチメント２５の先端部に設けられ、アーム２５ｂに回転可能に取り付けられる。先端アタッチメント２５ｃは、積込対象物（例えば土砂）をすくうバケットでもよく、積込対象物を挟んで掴む装置（グラップルなど）でもよい。

容器計測システム３０（図３参照）は、容器１２の三次元の情報（三次元情報）を計測するシステムである。容器計測システム３０は、作業機械２０に対する容器１２の位置、方向、および形状を計測する。図３に示すように、容器計測システム３０は、距離画像取得部４０と、座標情報取得部５１と、演算部５３と、を備える。なお、図３に示す作動情報取得部１５５については後述する。

距離画像取得部４０は、図１に示す容器１２を含む距離画像Ｄ（図２参照）を取得する。距離画像Ｄは、距離の情報（奥行の情報）を含む画像である。距離画像取得部４０は、作業機械２０に設けられる。距離画像取得部４０は、作業機械２０が積込作業を行う際に、容器１２および容器１２の周辺部の距離画像Ｄ（図２参照）を取得可能となる位置に配置される。距離画像取得部４０は、例えば、キャブ２３ａの内部に配置（設置）されてもよく、キャブ２３ａの外部に配置されてもよく、図１に示す例ではキャブ２３ａの上面に配置される。なお、距離画像取得部４０は、容器１２の距離画像Ｄ（図２参照）を取得できるように、容器１２を自動追尾してもよい。距離画像取得部４０は、二次元情報取得部４２と、三次元情報取得部４３と、を備える。

二次元情報取得部４２（撮像手段）は、容器１２を含む二次元の画像情報を取得する（撮像する）。二次元情報取得部４２は、カメラなどである。三次元情報取得部４３（３Ｄセンサ、距離計測手段）は、容器１２の三次元の情報を取得する。三次元情報取得部４３は、三次元情報取得部４３から容器１２の各部（詳細は後述）までの距離を計測する。具体的には例えば、三次元情報取得部４３は、ＬｉＤＡＲ（Light Detection and RangingまたはLaser Imaging Detection and Ranging）を備えてもよく、ステレオカメラを備えてもよく、ＴＯＦ（Time Of Flight）センサを備えてもよい。

座標情報取得部５１（図３参照）は、座標情報（後述）を取得する。例えば、図３に示す座標情報取得部５１は、作業機械２０（図１参照）のオペレータが手作業で入力した座標情報を取得してもよく、記憶媒体などに記憶された座標情報を取得してもよく、通信により座標情報を取得してもよい。座標情報取得部５１は、作業機械２０に設けられてもよく、作業機械２０の外部（作業機械２０から離れた位置）に設けられてもよい（演算部５３も同様）。

演算部５３は、信号の入出力、判定、算出などの演算、情報の記憶などを行う。演算部５３は、距離画像取得部４０に取得された容器１２（図２参照）の距離画像Ｄ（図２参照）を処理する。さらに詳しくは、演算部５３は、図２に示す容器１２の距離画像Ｄに基づいて、容器１２を構成する平面部１３の三次元の位置（三次元位置）を算出する。そして、演算部５３（図３参照）は、平面部１３の三次元位置に基づいて、容器１２の三次元情報を算出する。演算部５３による処理の詳細は次の通りである。なお、図３に示す記憶部１５３ｍについては後述する。

（作動）
容器計測システム３０（図３参照）は、次のように作動するように構成される。以下では、主に図４を参照して、主に演算部５３（図３参照）の処理を説明する。容器１２については、図２を参照して説明し、上記の容器計測システム３０の各構成要素（距離画像取得部４０、演算部５３など）については、図３を参照して説明する。演算部５３は、図４に示すように、二次元情報の処理Ｓ２０と、三次元情報の処理Ｓ３０と、座標情報の取得（Ｓ４１）と、を行う。そして、演算部５３は、これらの情報を組み合わせて、容器１２の三次元情報を算出し（Ｓ５０、Ｓ６１～Ｓ６３、Ｓ７０）、算出した三次元情報を出力する（Ｓ８０）。

（二次元情報の処理Ｓ２０など）
図３に示す演算部５３は、二次元情報の処理Ｓ２０（図４参照）を行う。その理由は次の通りである。三次元情報取得部４３が取得した距離画像Ｄをそのまま演算部５３が処理することは、難しい場合がある。例えば、処理速度が遅い場合などが考えられる。そこで、演算部５３は、二次元情報取得部４２で取得された二次元情報（以下「画像」ともいう）における容器１２（図２参照）の位置を抽出する。そして、演算部５３は、三次元情報取得部４３が取得した距離画像Ｄ（点群データ）のうち、画像における容器１２（図２参照）の位置に対応する部分（点群データの一部）を処理する。このように点群データの一部を抽出するために、演算部５３は、二次元情報の処理Ｓ２０（図４参照）を行う。二次元情報の処理Ｓ２０などに関する容器計測システム３０の作動の具体例は、次の通りである。なお、三次元情報取得部４３に取得された距離画像Ｄをそのまま演算部５３が処理可能である場合は、演算部５３は、二次元情報の処理Ｓ２０を行う必要はない。

二次元情報取得部４２は、容器１２（図２参照）を含む画像を取得する（図４に示すステップＳ２１）。この画像の情報が、演算部５３に入力される。そして、演算部５３は、取得した画像から、容器１２の形状を推定する（図４に示すステップＳ２２）。具体的には、図２に示すように、演算部５３は、特徴点Ｆ（Ｆ１～Ｆ８）の画像における位置、および、リンクＬ（Ｌ１～Ｌ９）の画像における位置を抽出（認識、推定）する。演算部５３は、例えば、画像から特定の形状を抽出するソフトウェアを実行することで、特徴点ＦおよびリンクＬを抽出する。例えば、このソフトウェアは、ディープラーニング技術を用いたものなどである。これにより、演算部５３は、容器１２を含む画像、特徴点Ｆの画像における位置、およびリンクＬの画像における位置を含む二次元情報を取得する（図４に示すステップＳ２３）。

特徴点Ｆは、平面部１３の角に対応する点である。リンクＬは、特徴点Ｆどうしを結んだ線分であり、例えば平面部１３の辺に対応する。図２に示す例では、特徴点Ｆの位置は、鳥居面１３ｄの上端の２点の位置（Ｆ１、Ｆ２）、側部あおり板面１３ｃ・１３ｃの輸送車前側の上端の２点の位置（Ｆ３、Ｆ４）、および、後部あおり板面１３ｂの角の４点の位置（Ｆ５～Ｆ８）にそれぞれ対応する。例えば鳥居面１３ｄの下端が画像に映っている場合は、鳥居面１３ｄ下端の位置が特徴点Ｆとして抽出されてもよい（図１参照）。図２に示す例では、リンクＬの位置は、鳥居面１３ｄのうち側部あおり板面１３ｃよりも上側部分の四角形の４辺の位置（Ｌ１～Ｌ４）の位置にそれぞれ対応する。また、リンクＬの位置は、側部あおり板面１３ｃの上辺の位置（Ｌ５、Ｌ６）、および、後部あおり板面１３ｂの４辺（さらに詳しくは、後部あおり板面１３ｂとほぼ重なる四角形の４辺）（Ｌ７～Ｌ１０）にそれぞれ対応する。

（三次元情報の処理Ｓ３０など）
三次元情報取得部４３（図３参照）は、容器１２を含む距離画像Ｄを取得する（図４に示すステップＳ３１）。この距離画像Ｄの情報が、演算部５３に入力される。具体的には、演算部５３は、距離情報の点群データ（以下、単に「点群」ともいう）を取得する（図４に示すステップＳ３２）。

（座標情報の取得など）
座標情報取得部５１（図３参照）は、座標情報を取得する（図４に示すステップＳ４１）。座標情報は、距離画像取得部４０が取得した情報を、所定の座標で表すための情報（キャリブレーション情報、センサフュージョン情報）である。上記「所定の座標」は、例えば、図１に示す作業機械２０の特定の位置を原点とした座標（機械座標）である。図１において、機械座標の３軸の一例をｘ、ｙ、ｚで示す。機械座標の原点の位置は、様々に設定可能であり、図１に示す例では、下部走行体２１に対する上部旋回体２３の回転軸上、かつ、上部旋回体２３の下端部の点の位置である。なお、所定の座標は、作業機械２０の外部の特定位置（例えば作業現場の特定位置など）を原点とした座標でもよい。以下では、所定の座標が、機械座標である場合について説明する。

座標情報は、二次元情報の処理Ｓ２０（図４参照）で得られた二次元情報を機械座標に変換するための情報を含む。座標情報は、三次元情報の処理Ｓ３０（図４参照）で得られた距離画像Ｄ（図２参照）を機械座標に変換するための情報を含む。座標情報は、二次元情報と三次元情報（距離画像Ｄ）とを重畳させるための情報を含む。座標情報は、二次元情報取得部４２と三次元情報取得部４３との相対位置を表す変換行列を含んでもよい。具体的には例えば、座標情報は、距離画像取得部４０の透視投影変換のためのパラメータを含む。さらに詳しくは、座標情報は、距離画像取得部４０の設置の位置、角度などによって定まる外部パラメータ、および距離画像取得部４０のレンズによる距離画像Ｄ（図２参照）の歪などによって定まる内部パラメータと、を含む。なお、距離画像取得部４０に関するパラメータが変化した場合（例えば設置位置、角度、機種などが変化した場合）は、座標情報取得部５１が新たな座標情報を取得する。

次に、演算部５３は、図４に示すように、二次元情報の処理Ｓ２０で得られた二次元情報と、三次元情報の処理Ｓ３０で得られた三次元情報（距離画像Ｄ（図２参照））と、座標情報と、を組み合わせる（統合する）（図４に示すステップＳ４２）。具体的には、演算部５３は、座標情報に基づいて、二次元情報と三次元情報（距離画像Ｄ）とを、機械座標に変換する。

（特徴点ＦおよびリンクＬの三次元情報（処理Ｓ５０））
演算部５３は、図２に示す特徴点ＦおよびリンクＬの三次元座標を算出する（図４に示す処理Ｓ５０）。演算部５３は、特徴点Ｆの位置に対応する平面部１３の角の三次元座標（機械座標における三次元座標）を算出する。その結果、特徴点ＦをつなぐリンクＬの三次元情報も算出される。この算出により、容器１２（具体的には特徴点ＦおよびリンクＬ）の三次元情報を得ることは可能である。一方、本実施形態では、さらに、下記のように平面部１３の三次元情報を算出することで、容器１２の三次元情報の精度を高めることができる。

（平面部１３の三次元情報の処理（Ｓ６０））
演算部５３は、容器１２の距離画像Ｄに基づいて、容器１２を構成する平面部１３の三次元位置を算出する。具体的には、演算部５３は、次の処理を行う。

演算部５３は、三次元情報取得部４３（図３参照）が取得した距離画像Ｄ（点群の全体）から、平面部１３に対応する部分の情報（点群の一部）を抽出する。演算部５３は、距離画像Ｄから、特定の平面部１３の点群を抽出する。例えば、演算部５３は、距離画像Ｄから、鳥居面１３ｄ（特定面）および後部あおり板面１３ｂ（特定面）に対応する部分の点群を抽出する。演算部５３は、側部あおり板面１３ｃおよび床面１３ａの少なくともいずれかの面（特定面）に対応する部分の点群を抽出してもよい。容器１２が空（または略空）の場合は、演算部５３は、距離画像Ｄから、全ての平面部１３（床面１３ａ、後部あおり板面１３ｂ、側部あおり板面１３ｃ、および鳥居面１３ｄ）の点群を抽出してもよい。なお、以下では、点群の抽出の対象となる平面部１３（特定面）を、単に「平面部１３」という。

具体的には、演算部５３は、距離画像Ｄから抽出する点群を、画像におけるリンクＬの位置に基づいて決定（選択）する。さらに詳しくは、演算部５３は、距離画像Ｄから、リンクＬで囲まれた部分（範囲内）であって平面部１３に対応する部分の点群を抽出する。具体的には、演算部５３は、距離画像Ｄから鳥居面１３ｄの点群を抽出する場合、リンクＬ１、Ｌ２、Ｌ３、およびＬ４で囲まれた部分の点群を抽出する。演算部５３は、距離画像Ｄから後部あおり板面１３ｂの点群を抽出する場合、リンクＬ７、Ｌ８、Ｌ９、およびＬ１０で囲まれた部分の点群を抽出する。

演算部５３は、距離画像Ｄから抽出した点群から、平面部１３の三次元情報を算出するための処理を行う（図４に示すステップＳ６２）。例えば、演算部５３は、点群を構成する点と点との間の情報を補完してもよい。例えば、演算部５３は、外れ値を除外する、または外れ値の影響を減らす処理（ロバスト推定）を行ってもよく、具体的には例えばＲＡＮＳＡＣ（Random Sample Consensus）法などによる処理を行ってもよい。例えば、演算部５３は、平面部１３の各面（鳥居面１３ｄ、後部あおり板面１３ｂなど）に対応する領域を決定する処理（区分け、セグメンテーション）を行ってもよい。例えば、演算部５３は、距離画像Ｄから抽出した点群を、平面部１３の領域と、平面部１３以外の領域と、に区分けしてもよい。例えば、平面部１３と距離画像取得部４０（図１参照）との間に障害物（後述）が存在する場合に、演算部５３は、距離画像Ｄから抽出した点群を、平面部１３の領域と、障害物の領域と、に区分けしてもよい。

演算部５３は、平面部１３の三次元情報を算出する（図４に示すステップＳ６３）。演算部５３が算出する平面部１３の三次元情報には、三次元位置（三次元座標）の情報が含まれる。その結果、演算部５３が算出する平面部１３の三次元情報には、平面部１３の方向（例えば法線の方向）の情報が含まれる。平面部１３の三次元情報は、平面部１３の面内の３点以上の三次元座標を含んでもよい。平面部１３の三次元情報は、平面部１３の法線の方向と、平面部１３の面上の１点以上の三次元座標と、を含んでもよい。

上記の「特徴点ＦおよびリンクＬの三次元情報（処理Ｓ５０）」の処理では、リンクＬの三次元位置が算出される結果、平面部１３の形状（外形）の情報が算出される。一方「平面部１３の三次元情報の処理（Ｓ６０）」では、演算部５３が算出する平面部１３の三次元情報には、平面部１３の形状（外形）の情報が、含まれても含まれなくてもよい。

平面部１３の一部が距離画像Ｄに映らない（含まれない）場合がある。例えば、平面部１３の一部と距離画像取得部４０（図１参照）との間に障害物がある場合や、平面部１３の一部が距離画像Ｄの範囲外にある場合（図７参照）は、平面部１３の一部が距離画像Ｄに映らない。上記「障害物」には、図１に示す作業機械２０の一部（具体的にはアタッチメント２５）、積込対象物（土砂など）、作業機械２０の周囲の雨、雪、砂などが想定される。平面部１３の一部が距離画像Ｄ（図２参照）に映らない場合、距離画像Ｄに映っていない部分から三次元情報取得部４３までの距離を、三次元情報取得部４３によって取得することはできない。一方で、演算部５３は、図２に示す平面部１３のうち距離画像Ｄに映っている部分の三次元位置に基づいて、平面部１３のうち距離画像Ｄに映っていない部分の三次元位置を算出（推定）する。この推定では、距離画像Ｄに映っている部分と映っていない部分とが、同一平面上で連続していると仮定する。なお、演算部５３は、平面部１３の形状が四角形であると仮定して、平面部１３のうち距離画像Ｄに映っている部分の三次元形状に基づいて、平面部１３のうち距離画像Ｄに映っていない部分の三次元形状を算出（推定）してもよい。

次に、演算部５３は、算出した各情報を組み合わせて（統合して）、容器１２の三次元情報（図４では「容器情報」）を取得する（図４に示すステップＳ７０）。さらに詳しくは、上記のように、演算部５３は、上記「特徴点ＦおよびリンクＬの三次元情報（処理Ｓ５０）」（以下、単に「処理Ｓ５０」という）により、特徴点ＦおよびリンクＬの三次元情報を算出する。また、演算部５３は、「平面部１３の三次元情報の処理（Ｓ６０）」（以下「処理Ｓ６０」）により、平面部１３の三次元情報を算出する。そして、演算部５３は、特徴点ＦおよびリンクＬの三次元情報、ならびに、平面部１３の三次元情報を組み合わせて、容器１２の三次元情報を算出する（最終的に出力する情報を決定する）。上記「容器１２の三次元情報」は、三次元位置および三次元形状を含む情報である。

例えば、演算部５３は、処理Ｓ５０で算出した特徴点Ｆの三次元位置を、処理Ｓ６０で算出した平面部１３の三次元情報（より精度の高い情報）に基づいて、補正してもよい。例えば、演算部５３は、処理Ｓ５０で算出したリンクＬで囲まれた部分の形状を、処理Ｓ６０で算出した平面部１３の形状（より精度の高い情報）に基づいて、補正してもよい。

具体的には、容器１２の三次元情報は、特徴点Ｆ（平面部１３の角の部分）の三次元位置の情報を含む。その結果、容器１２の三次元情報は、リンクＬ（平面部１３の辺の部分）の三次元位置の情報を含み、リンクＬの寸法の情報を含み、リンクＬに囲まれた部分（平面部１３の面の部分）の三次元形状の情報を含む。なお、容器１２の三次元情報は、床面１３ａ、後部あおり板面１３ｂ、側部あおり板面１３ｃ、鳥居面１３ｄのうち一部の平面部１３のみ（特定面のみ）の形状の情報を含んでもよい。図２に示す例では、容器１２の三次元情報は、鳥居面１３ｄのうち側部あおり板面１３ｃの上端よりも上側の部分の三次元位置および形状（寸法含む）と、側部あおり板面１３ｃの上端の辺の三次元位置と、後部あおり板面１３ｂの三次元位置および形状と、を含む。

次に、演算部５３は、容器１２の三次元情報を出力する（図４に示すステップＳ８０）。演算部５３は、容器１２の三次元情報を、演算部５３の内部に出力してもよく、例えば、演算部５３が行う他の演算や制御に出力してもよい。演算部５３は、容器１２の三次元情報を、演算部５３の外部に出力してもよい。容器１２の三次元情報は、例えば次のように用いられる。

［利用例１］容器１２の三次元情報は、様々な制御に用いられ得る。［利用例１ａ］容器１２の三次元情報は、図１に示す作業機械２０の自動操作に用いられてもよく、作業機械２０の操作のアシストに用いられてもよい。［利用例１ｂ］容器１２の三次元情報は、作業機械２０と容器１２との衝突を回避するための制御（自動的に作動を制限する制御または報知など）に用いられてもよい。［利用例１ｃ］容器１２の三次元情報は、作業機械２０と容器１２との相対位置に関する制御に用いられてもよい。［利用例１ｃ１］例えば、容器１２の三次元情報は、作業機械２０と容器１２との相対位置を自動的に変える制御に用いられてもよく、作業機械２０と容器１２との相対位置をオペレータなどに知らせる制御に用いられてもよい。［利用例１ｃ２］例えば、容器１２の三次元情報は、先端アタッチメント２５ｃの現在の位置から、積込対象物を解放する位置（解放位置（例えば排土位置））までの先端アタッチメント２５ｃの軌跡の計算に用いられてもよい。容器１２の三次元情報は、積込対象物の解放位置に先端アタッチメント２５ｃを自動的に移動させる、または移動をアシストする制御に用いられてもよい。

［利用例２］容器１２の三次元情報は、画面などの表示部に表示されてもよい。表示部は、輸送車１０の運転室１１ａに設けられてもよく、作業機械２０のキャブ２３ａに設けられてもよく、輸送車１０の外部かつ作業機械２０の外部に設けられてもよい。［利用例２ａ］容器１２の三次元情報は、容器１２の特定部分から、作業機械２０の特定部分までの距離の表示に用いられてもよい。上記「容器１２の特定部分」は、後部あおり板面１３ｂでもよく、側部あおり板面１３ｃでもよく、鳥居面１３ｄでもよい。上記「作業機械２０の特定部分」は、例えば、先端アタッチメント２５ｃでもよく、キャブ２３ａでもよく、機械座標の原点でもよい。［利用例２ｂ］容器１２の三次元情報は、特徴点Ｆの三次元座標の表示に用いられてもよい（図５参照）。なお、この表示における座標の原点は、容器１２の三次元情報を算出する際に用いられた原点（機械座標の原点）と同じである必要はない。［利用例２ｃ］図２に示す容器１２の三次元情報は、容器１２と距離画像取得部４０（図３参照）との間の障害物に関する表示に用いられてもよい。例えば、容器１２の三次元情報は、容器１２内の積込対象物（土など）の量に関する表示に用いられてもよい。

（検討）
演算部５３が、平面部１３の三次元情報を用いずに、特徴点Ｆの三次元情報のみを算出する場合は、次の問題が生じる場合がある。［問題例１］この場合、特徴点Ｆの三次元情報を安定して算出することが困難である（外乱の影響を受けやすい）。［問題例１ａ］例えば、特徴点Ｆと、特徴点Ｆを撮影するカメラとの間に障害物がある場合、カメラが特徴点Ｆを撮影できない。そのため、演算部５３が特徴点Ｆを認識できない。［問題例１ｂ］また、カメラが撮影した画像の中から、点である特徴点Ｆを演算部５３が認識しようとした際に、演算部５３が、間違った点を特徴点Ｆとして認識するおそれがある。すると、演算部５３が、間違った点の三次元位置を、特徴点Ｆの三次元位置として算出してしまう。［問題例１ｃ］また、カメラのノイズの影響により、特徴点Ｆの三次元情報の算出の精度が確保できないおそれがある。一方、ノイズの影響の抑制を図り、現実の（画像中ではなく現実の）容器１２の特徴点Ｆに対応する位置に光源などを設けると、コストがかかる。

演算部５３が、容器１２の距離画像Ｄを用いることなく、容器１２の二次元情報（画像）に基づいて（画像処理のみで）、特徴点Ｆの三次元情報を算出する場合について検討する。なお、例えば特許文献１の段落００２９などに記載のように、容器１２の４点の画像における位置と、容器１２の３点間の既知の距離（現実の距離）の情報と、に基づいて容器１２の４点の三次元位置を算出することはできる。［問題例２ａ］この場合も、上記［問題例１］と同様に、特徴点Ｆの三次元情報を安定して算出することが困難である（外乱の影響を受けやすい）。［問題例２ｂ］さらに、この場合は、容器１２の３点間の距離（現実の距離）が既知である必要がある。そのため、３点間の距離が既知でない容器１２では、容器１２の４点の三次元位置を算出することができない。具体的には例えば、輸送車１０の種類や寸法が変更されると、変更後の輸送車１０の容器１２の３点間の距離が分からなければ、容器１２の４点の三次元位置を算出することができない。

演算部５３が、容器１２の４点であって、左右の側部あおり板面１３ｃ・１３ｃの輸送車前側の端および輸送車後側の端の４点（側部あおり板面１３ｃ・１３ｃの前後４点）のみの三次元情報を算出する場合は、次の問題がある。［問題３］この場合、鳥居面１３ｄの形状の情報は得られない。ここで、鳥居面１３ｄは、側部あおり板面１３ｃよりも上に突出している。そのため、側部あおり板面１３ｃ・１３ｃの前後４点のみの三次元情報が算出される場合は、側部あおり板面１３ｃに対して鳥居面１３ｄがどれだけ上に突出しているかを、演算部５３は認識できない。側部あおり板面１３ｃ・１３ｃの前後４点のみの三次元情報が、作業機械２０の自動操作に用いられた場合は、例えば、先端アタッチメント２５ｃが鳥居面１３ｄに接触するおそれがある。

一方、本実施形態では、演算部５３は、特徴点Ｆのみではなく平面部１３の三次元情報に基づいて、容器１２の三次元情報を算出する。よって、容器１２の三次元情報を安定して算出することができる（ロバスト性が高い）。例えば、平面部１３の点群の一部が外乱の影響を受けたとしても、平面部１３の残りの部分の点群から、平面部１３の三次元情報を算出することができる。また、本実施形態では、演算部５３が算出する容器１２の三次元情報には、容器１２の三次元形状の情報が含まれるので、容器１２の三次元情報を制御に用いやすい。具体的には例えば、容器１２の三次元情報に、鳥居面１３ｄの三次元形状が含まれる場合は、先端アタッチメント２５ｃが鳥居面１３ｄに接触しないように、自動操作の制御や、衝突回避の制御などを行うことができる。また、本実施形態では、容器１２の形状や寸法、作業機械２０（図１参照）に対する容器１２の角度など、容器１２の状態が変わっても、その都度、容器１２の三次元情報が算出される。よって、例えば輸送車１０の種類、作業機械２０に対する輸送車１０の角度などが変わっても、容器１２の三次元情報を算出できる。なお、本実施形態は、上記の各問題のうち一部の問題のみを解決できてもよい。

（効果）
図２に示す容器計測システム３０による効果は、次の通りである。

（第１の発明の効果）
容器計測システム３０は、距離画像取得部４０と、演算部５３と、を備える。距離画像取得部４０は、図１に示す容器１２への積込作業を行う作業機械２０に設けられ、図３に示す容器１２の距離画像Ｄを取得可能である。演算部５３（図３参照）は、距離画像取得部４０（図３参照）に取得された容器１２の距離画像Ｄを処理する。

［構成１］演算部５３（図３参照）は、容器１２の距離画像Ｄに基づいて、容器１２を構成する平面部１３の三次元位置を算出する。演算部５３は、平面部１３の三次元位置に基づいて、容器１２の三次元位置および三次元形状を含む三次元情報を算出する。

上記［構成１］では、平面部１３の三次元位置に基づいて、容器１２の三次元情報が算出される。よって、例えば点（例えば特徴点Ｆ）のみの三次元位置に基づいて容器１２の三次元情報が算出される場合に比べ、安定して精度良く、容器１２の三次元情報を算出することができる。その結果、容器１２の三次元情報を、制御などに適切に適用することができる。

（第２の発明の効果）
［構成２］演算部５３（図３参照）は、平面部１３のうち距離画像Ｄに映っている部分の三次元位置に基づいて、平面部１３のうち距離画像Ｄに映っていない部分の三次元位置を算出する。

上記［構成２］により、平面部１３の一部が距離画像Ｄに映っていなくても、平面部１３の三次元位置を算出できる。よって、平面部１３の一部が距離画像Ｄに映っていなくても、安定して精度良く、容器１２の三次元情報を算出することができる。

（第５の発明の効果）
［構成５］容器１２は、作業機械２０によって積み込まれた物を輸送するための輸送車１０の荷台である。

上記［構成５］では、容器１２が輸送車１０の荷台であるため、容器１２が移動可能である。また、輸送車１０の種類が変わることで、容器１２の形状や寸法が変わることが想定される。このような容器１２の変化があった場合でも、上記［構成１］により、容器１２の三次元情報を算出することができる。

（変形例）
主に図３、６、および７を参照して、図３に示す容器計測システム３０の変形例について、上記実施形態との相違点を説明する。なお、変形例のうち、上記実施形態との共通点については、説明を省略する。変形例の容器計測システム３０は、作動情報取得部１５５を備える。また、演算部５３は、記憶部１５３ｍを備える。

記憶部１５３ｍは、演算部５３が算出した容器１２（図２参照）の三次元情報を記憶する。

作動情報取得部１５５は、図１に示す作業機械２０の作動に関する情報を取得する。作動情報取得部１５５（図３参照）は、下部走行体２１に対する上部旋回体２３の回転の情報（旋回の情報）を取得してもよい。作動情報取得部１５５は、下部走行体２１の走行に関する情報（例えば地面に対する走行距離や走行速度）を取得してもよい。作動情報取得部１５５は、アタッチメント２５の作動の情報を取得してもよい。具体的には、作動情報取得部１５５は、上部旋回体２３に対するブーム２５ａの回転の情報、ブーム２５ａに対するアーム２５ｂの回転の情報、および、アーム２５ｂに対する先端アタッチメント２５ｃの回転の情報を取得してもよい。上記「回転の情報」は、例えば回転角度でもよく、回転角度の変化量（速度など）でもよい。作動情報取得部１５５は、角度センサでもよく、衛星測位システムを用いたものでもよく、トータルステーションを用いたものでもよい。

（作動）
変形例の容器計測システム３０（図３参照）は、次のように作動するように構成される。作業機械２０（図１参照、以下の作業機械２０も同様）が、ある作動（作動αとする）を行ったとき、図２に示す距離画像Ｄにおける容器１２の映り方が変化する。すると、作動αの前に距離画像Ｄに映っていた容器１２の一部が、図７に示すように、距離画像Ｄに映らなくなる場合や、障害物に隠れる場合がある。そこで、作動αが行われる前の、図２に示す容器１２の三次元情報が、記憶部１５３ｍ（図３参照）に記憶される。また、作動αに関する情報が、作動情報取得部１５５（図３参照）に取得される。そして、演算部５３（図３参照）は、作動αが行われる前の容器１２の三次元情報と、作動αに関する情報と、に基づいて、作動αが行われた後の容器１２（図７参照）の三次元情報を算出（推定）する。以下では、主に図６を参照して、主に演算部５３（図３参照、以下の演算部５３も同様）の処理の具体例を説明する。

演算部５３は、記憶部１５３ｍ（図３参照）の情報を初期化するか否かを判定する（図６に示すステップＳ１０１）。この初期化は、例えば、図２に示す容器１２への積込み作業の開始前に行われる。具体的には例えば、演算部５３は、記憶部１５３ｍ（図３参照）の情報を初期化する条件（初期化の条件）が満たされたか否かを判定する。初期化の条件は、演算部５３に予め（図６に示すステップＳ１０１より前に）設定される。例えば、初期化の条件は、容器１２の三次元情報が記憶部１５３ｍ（図３参照）に記憶されていないことを含んでもよい。初期化の条件は、作業機械２０のオペレータの手動操作（ボタン操作など）により、初期化することが選択されたことを含んでもよい。初期化の条件は、容器１２と作業機械２０との距離が所定範囲内になったことを含んでもよい。

記憶部１５３ｍ（図３参照）の情報を初期化する場合（図６に示すステップＳ１０１でＹＥＳの場合）、演算部５３は、容器１２の三次元情報を算出する（図６に示すステップＳ１０２）。この算出は、図４に示す各処理により行われる。そして、演算部５３は、図２に示す容器１２の三次元情報を、記憶部１５３ｍ（図３参照）に記憶させる（図６に示すステップＳ１０３）。

記憶部１５３ｍの情報を初期化しない場合（図６に示すステップＳ１０１でＮＯの場合）、フローはステップＳ１１１（図６参照）に進む。例えば、容器１２の三次元情報が作業開始後に記憶部１５３ｍ（図３参照）に記憶され、かつ、容器１２と作業機械２０との距離が所定範囲内である場合など（例えば積込作業中の場合）には、記憶部１５３ｍの情報は初期化されない。

ステップＳ１１１（図６参照）では、演算部５３は、容器１２の三次元情報を算出する。この算出は、図４に示す各処理により行われる。このステップＳ１１１では、図７に示すように、容器１２の少なくとも一部が距離画像Ｄに映っていないことにより、容器１２の少なくとも一部の三次元情報を演算部５３が算出できない場合がある。また、記憶部１５３ｍ（図３参照）の初期化（ステップＳ１０２）直後は、現在の（最新の）容器１２の三次元情報が算出されているので、演算部５３は、容器１２の三次元情報を算出しなくてもよい。

次に、演算部５３は、容器１２が距離画像Ｄに映っている（含まれている）か否かを判定する（図６に示すステップＳ１１２）。さらに詳しくは、演算部５３は、容器１２の三次元情報を算出できる程度に、容器１２が距離画像Ｄに映っているか否かを判定する。容器１２が距離画像Ｄに映っているか否かの判定基準は、様々に設定され得る。例えば、演算部５３は、容器１２の全体が距離画像Ｄに映っているか否かを判定してもよい。演算部５３は、平面部１３（特定面）の全体が距離画像Ｄに映っているか否かを判定してもよい。例えば、演算部５３は、平面部１３（特定面）の三次元位置を算出できる程度に平面部１３が距離画像Ｄに映っているか否かを判定してもよい。演算部５３は、すべての特徴点Ｆ（Ｆ１～Ｆ８）が距離画像Ｄに映っているか否かを判定してもよい。演算部５３は、すべてのリンクＬ（Ｌ１～Ｌ１０）が距離画像Ｄに映っているか否かを判定してもよい。容器１２が距離画像Ｄに映っている場合（図６に示すステップＳ１１２でＹＥＳの場合）、フローはステップＳ１１３（図６参照）に進む。上記「容器１２が距離画像Ｄに映っている」に該当しない場合（容器１２が距離画像Ｄに映っていない場合）（図６に示すステップＳ１１２でＮＯの場合）、フローはステップＳ１２０（図６参照）に進む。

（容器１２が距離画像Ｄに映っている場合）
ステップＳ１１３（図６参照）では、演算部５３は、記憶部１５３ｍ（図３参照）に記憶された容器１２の三次元情報を更新するか否かを判定する（図６に示すステップＳ１１３）。さらに詳しくは、演算部５３には、演算部５３が算出した容器１２の三次元情報（「現在の三次元情報」という）と、記憶部１５３ｍに記憶された容器１２の三次元情報（「記憶された三次元情報」という）と、の差異の大きさに関する閾値が設定される。この「差異の大きさ」は、具体的には例えば、特徴点Ｆの座標の差異の大きさを含んでもよく、リンクＬの位置や方向の差異の大きさを含んでもよい。作業機械２０および容器１２が移動していない場合（またはほぼ移動していない場合）は、差異の大きさが閾値以内となる。作業機械２０および容器１２の少なくともいずれかが移動した場合は、差異の大きさが閾値を超える。

差異の大きさが閾値以内の場合（図６に示すステップＳ１１３でＹＥＳの場合）、演算部５３は、記憶された三次元情報を、現在の三次元情報に更新しない。この場合、フローはステップＳ１８０（図６参照）に進む。

差異の大きさが閾値を超えた場合（図６に示すステップＳ１１３でＮＯの場合）、演算部５３は、記憶された三次元情報を、現在の三次元情報に更新する（図６に示すステップＳ１１５）。この更新の際に、演算部５３は、演算部５３の内部または外部に信号を出力してもよい（図６に示すステップＳ１１４）。例えば、演算部５３は、三次元情報を更新したことを示す情報を、演算部５３が行う他の処理（例えば制御）に出力してもよい。演算部５３は、例えば作業機械２０のオペレータなどに対する通知（アラームなど）を出力してもよい。この通知は、音によるものでもよく、表示によるものでもよい。この通知を行うか否かは、何らかの条件（オペレータのスイッチ操作、演算部５３の判断など）によって切り換えられてもよい。次に、演算部５３は、現在の三次元情報を、容器１２の三次元情報として出力する（図６に示すステップＳ１８０）。ステップＳ１８０の出力の処理は、図４に示すステップＳ８０の出力と同じ処理である。

（容器１２が距離画像Ｄに映っていない場合）
図７に示す容器１２が距離画像Ｄに映っていない場合（図６に示すステップＳ１１２でＮＯの場合）、演算部５３は、記憶された三次元情報を使用する（図６に示すステップＳ１２０）。さらに詳しくは、演算部５３は、次の処理を行う。

演算部５３は、作動情報取得部１５５（図３参照）で取得された作業機械２０の作動αの情報を取得する。そして、演算部５３は、作業機械２０の作動αの情報に基づいて、記憶された三次元情報を変化（更新）させる。具体的には例えば、図１に示す下部走行体２１に対して上部旋回体２３が旋回（作動α）した場合、容器１２の三次元位置が変化（回転移動）する。このとき、演算部５３は、距離画像取得部４０が取得した情報を用いなくても、上部旋回体２３の旋回角度の変化に基づいて、上部旋回体２３が旋回した後の容器１２の三次元位置を算出（推定）できる。同様に、下部走行体２１が走行（作動α）した場合も、演算部５３は、距離画像取得部４０が取得した情報を用いなくても、下部走行体２１が走行した後の容器１２の三次元情報を算出できる。次に、演算部５３は、作業機械２０の作動αの情報に基づいて更新した後の記憶された三次元情報を、容器１２の三次元情報として出力する（図６に示すステップＳ１８０）。

図７に示す例では、容器１２の一部が距離画像Ｄに映っていない場合を示したが、容器１２の全部が距離画像Ｄに映っていない場合にも、演算部５３は、記憶された三次元情報に基づいて、容器１２の三次元情報を算出してもよい。また、作業機械２０が旋回も走行もしていない場合に、演算部５３は、記憶された三次元情報を用いて、容器１２の三次元情報を算出してもよい。例えば、容器１２と距離画像取得部４０（図１参照）との間に障害物が配置された場合などに、容器１２の少なくとも一部が距離画像Ｄに映らなくなる場合がある。この場合は、記憶された三次元情報を、容器１２の三次元情報として出力してもよい（図６に示すステップＳ１８０）。例えば、上記の障害物がアタッチメント２５である場合は、演算部５３は、作動情報取得部１５５（図３参照）が取得したアタッチメント２５の作動αの情報に基づいて、容器１２のうち距離画像Ｄに映らなくなった部分を特定してもよい。

次に、演算部５３は、作業機械２０による積込対象物の積込作業が完了したか否かを判定する（図６に示すステップＳ１９１）。積込作業は、例えば、容器１２内に積込対象物が所定量入った場合に終了する場合などに完了する。演算部５３は、積込作業が完了したと判断する条件（作業完了の条件）が満たされたか否かを判定する。作業完了の条件は、演算部５３に予め（図６に示すステップＳ１９１の前に）設定される。作業完了の条件は、例えば、作業機械２０から輸送車１０までの距離が所定距離以上となったことなどを含んでもよい。作業完了の条件が満たされた場合（図６に示すステップＳ１９１でＹＥＳの場合）、演算部５３は、容器１２の三次元情報を算出する処理を終了する。作業完了の条件が満たされない場合（図６に示すステップＳ１９１でＮＯの場合）、演算部５３は、容器１２の三次元情報を算出する処理を繰り返し、具体的には例えばステップＳ１１１（図６参照）に戻る。

（効果）
図３に示す変形例の容器計測システム３０による効果は次の通りである。

（第３の発明の効果）
容器計測システム３０は、作動情報取得部１５５を備える。作動情報取得部１５５は、作業機械２０（図１参照）の旋回および走行の少なくともいずれかを含む作動αに関する情報を取得する。

［構成３］演算部５３は、演算部５３が算出した容器１２（図２参照）の三次元情報を記憶する記憶部１５３ｍを備える。演算部５３は、作動αが行われる前に記憶部１５３ｍに記憶された容器１２の三次元情報と、作動情報取得部１５５に取得された作動αに関する情報と、に基づいて、作動αが行われた後の容器１２の三次元情報を算出する（図６に示すステップＳ１２０を参照）。

上記［構成３］により、上記［構成３］の算出が行われない場合に比べ、容器１２（図７参照）の三次元情報を精度よく算出することができる。具体的には、例えば、図１に示す作業機械２０がある作動（作動α）を行うと、距離画像取得部４０が取得した距離画像Ｄに容器１２が映っている状態から（図２参照）、容器１２の一部が映っていない状態（図７参照）になる場合などがある。このように、図７に示す距離画像Ｄに容器１２の少なくとも一部が含まれていない場合でも、記憶された三次元情報と、作動αに関する情報と、に基づいて、演算部５３が、容器１２の三次元情報を精度よく算出することができる。

（第４の発明の効果）
［構成４］演算部５３には、演算部５３が算出した容器１２（図７参照）の三次元情報（現在の三次元情報）と、記憶部１５３ｍに記憶された容器１２（図７参照）の三次元情報（記憶された三次元情報）と、の差異の大きさに関する閾値が設定される。演算部５３は、上記の差異が閾値を超えた場合、記憶部１５３ｍに記憶された容器１２（図７参照）の三次元情報を、演算部５３が算出した容器１２（図７参照）の三次元情報に更新する（図６に示すステップＳ１１５を参照）。

上記［構成４］では、現在の三次元情報と記憶された三次元情報との差異が閾値を超えた場合、記憶された三次元情報が、現在の三次元情報に更新される。よって、図１に示す作業機械２０および容器１２の少なくともいずれかが移動した場合でも、記憶された三次元情報を用いた、容器１２の三次元情報の算出（上記［構成３］の算出）を行うことができる。

（変形例）
上記実施形態および変形例は様々に変形されてもよい。上記実施形態および変形例の、各構成要素の配置や形状が変更されてもよい。例えば、図４および図６に示す各処理の順序が変更されてもよく、処理の一部が行われなくてもよい。例えば、「所定範囲」、「閾値」などの範囲や値は、一定でもよく、手動操作により変えられてもよく、何らかの条件に応じて自動的に変えられてもよい。例えば、構成要素の数が変更されてもよく、構成要素の一部が設けられなくてもよい。例えば、互いに異なる複数の部材や部分として説明したものが、一つの部材や部分とされてもよい。例えば、一つの部材や部分として説明したものが、互いに異なる複数の部材や部分に分けて設けられてもよい。

１０ 輸送車
１２ 容器
１３ 平面部
２０ 作業機械
３０ 容器計測システム
４０ 距離画像取得部
５３ 演算部
１５３ｍ 記憶部
１５５ 作動情報取得部

Claims (5)

1. 容器への積込作業を行う作業機械に設けられ、前記容器の距離画像を取得可能な距離画像取得部と、
   前記距離画像取得部に取得された前記容器の前記距離画像を処理する演算部と、
   を備え、
   前記演算部は、
   前記容器の前記距離画像に基づいて、前記容器を構成する平面部の三次元位置を算出し、
   前記平面部の三次元位置に基づいて、前記容器の三次元位置および三次元形状を含む三次元情報を算出する、
   容器計測システム。
2. 請求項１に記載の容器計測システムであって、
   前記演算部は、前記平面部のうち前記距離画像に映っている部分の三次元位置に基づいて、前記平面部のうち前記距離画像に映っていない部分の三次元位置を算出する、
   容器計測システム。
3. 請求項１または２に記載の容器計測システムであって、
   前記作業機械の旋回および走行の少なくともいずれかを含む作動に関する情報を取得する作動情報取得部を備え、
   前記演算部は、
   前記演算部が算出した前記容器の前記三次元情報を記憶する記憶部を備え、
   前記作動が行われる前に前記記憶部に記憶された前記容器の前記三次元情報と、前記作動情報取得部に取得された前記作動に関する情報と、に基づいて、前記作動が行われた後の前記容器の前記三次元情報を算出する、
   容器計測システム。
4. 請求項３に記載の容器計測システムであって、
   前記演算部には、前記演算部が算出した前記容器の前記三次元情報と、前記記憶部に記憶された前記容器の前記三次元情報と、の差異の大きさに関する閾値が設定され、
   前記差異の大きさが前記閾値を超えた場合、前記記憶部に記憶された前記容器の前記三次元情報を、前記演算部が算出した前記容器の前記三次元情報に更新する、
   容器計測システム。
5. 請求項１～４のいずれか１項に記載の容器計測システムであって、
   前記容器は、前記作業機械によって積み込まれた物を輸送するための輸送車の荷台である、
   容器計測システム。

Images