JP7405607B2 - 三次元データを補間する三次元データ生成装置及びロボットシステム - Google Patents

Description

本発明は、三次元データ生成装置及びロボットシステムに関し、特に三次元データを補間する三次元データ生成装置及びロボットシステムに関する。

対象空間の三次元データを生成する方法として、ステレオ法、ＴＯＦ（time of flight）法といった種々の手法が知られている。ステレオ法では、複数台のカメラで取得した画像間でマッチング処理を行い画像間の視差に基づき三次元データを生成するパッシブステレオ法や、スリット光又はパターン光を被写体に投光してスリット光又はパターン光に基づき三次元データを生成するアクティブステレオ法等がある。またＴＯＦ法では、参照光を被写体に照射して参照光が戻ってくるまでの時間を直接計測して被写体の三次元データを生成する直接法や、参照光と対象空間からの反射光との間の位相差を検出して被写体の三次元データを生成する間接法等がある。しかしながら、対象空間に強反射領域や暗色領域を含む場合、ステレオ法では、物体の形状や模様、スリット光やパターン光といった特徴を取得できず、また、ＴＯＦ法では、いわゆるサチュレーション、ハレーション、露光不足等が発生して、三次元データの欠損領域を生じることがある。斯かる三次元データの欠損領域を補間する技術としては、後述の文献が公知である。

特許文献１には、距離画像中の距離計測が行われなかった画素の距離データを、画素の近傍に位置する距離計測が行われた画素の距離データを参照して補間する方法であって、距離画像の撮像対象についてカラー画像も取得しておき、補間の対象となる着目画素に対応するカラー画像の画素の色と、参照画素に対応するカラー画像の画素の色とを用いて重み付け係数を算出し、算出された重み付け係数を参照画素の距離データに作用させて距離データを補間する方法が開示されている。

特許文献２には、ステレオ計測処理によってモデル計測点の三次元位置データを計測することで物体上のモデル構成点を生成し、そのモデル構成点の集合として三次元形状データを生成した後、データ欠損点についてその左右方向にモデル構成点があるかどうかを検査し、左右方向の双方にモデル構成点が存在する場合は、データ欠損点を補間対象点とし、補間対象点の高さデータを、先に検出した左右のモデル構成点の高さデータの平均によって求め、この高さデータとモデル計測点の位置から補間対象点の三次元位置を計算してモデル構成点を設定することで、データ欠損部のない三次元形状データを生成し、三次元形状モデルを構成することが開示されている。

特許文献３には、複数台のカメラを同時に用いて多方向から得られる三次元形状データを実時間で合成することにより、カメラの死角によって生じたデータ欠損部分を相互に補間し、被計測物の全体的な三次元形状データを得る、三次元形状計測装置が開示されている。

特許文献４には、コンピュータグラフィックスにおける三次元形状の物体について二次元平面に展開したデータとして画素を割り当て、そのデータにおいて画素が割り当てられていない欠損画素であるか否かを判断し、欠損画素の周辺に存在する複数の周辺画素の各々を含む各平面又は各接平面に対する法線方向の基準線に対する角度と、欠損画素を含む平面又は接平面に対する法線方向の基準線に対する角度との角度差に基づき、複数の周辺画像のうちの少なくとも２つの周辺画素を選択し、選択された少なくとも２つの周辺画素に基づき、欠損画素のデータ補間を行うことが開示されている。

特開２０００－２３０８０９号公報 特開２００１－２２７９２６号公報 特開２００１－３２４３１３号公報 特開２０１６－１１９０４１号公報

三次元データの欠損領域に対する他の解決策として、露光時間、絞り、撮像モード等を調整する方法や、照明の強度又は対象物の姿勢を調整する方法も考えられる。しかしながら、最適化のために試行錯誤を必要とするため、多大な工数が掛かる。また、人間が物体と背景の範囲を教示して背景を除去し、二次元画像から物体の三次元構造を推定する方法もあるが、教師あり学習を用いない場合には、物体と背景の判断や凸面か凹面かの判断が難しく、人間による教示が必要となる。一方で、教師あり学習を用いる場合には、高精度の学習モデルを生成するために大量の訓練データが必要となり、推論の際にも大量の計算リソースが求められる。

そこで、三次元データの欠損領域を少ない工数で精度良く補間する技術が求められている。

本開示の一態様は、対象物を含む対象空間の三次元データ及び二次元データをセンサから取得する三次元データ生成装置であって、取得した三次元データ及び二次元データの対象物領域を特定する対象物領域特定部と、三次元データの対象物領域内の欠損領域を特定する欠損領域特定部と、二次元データの対象物領域内で１つ又は複数の類似領域を特定する類似領域特定部と、二次元データの類似領域に対応する三次元データの類似対応領域を特定する類似対応領域特定部と、三次元データの類似対応領域に基づいて欠損領域の三次元データを補間する三次元データ補間部と、を備える、三次元データ生成装置を提供する。対象空間に対象物が複数存在する場合、三次元データ補間部は、対象物領域に類似する別の対象物領域内の類似対応領域の三次元データに基づいて欠損領域の三次元データを補間する。
本開示の別の態様は、前述の三次元データ生成装置を備えたロボットシステムであって、上記三次元データ生成装置で補間した三次元データに基づいてロボットの動作指令を補正するロボット制御装置を備える、ロボットシステムを提供する。

本開示の一態様によれば、二次元データの対象物領域を考慮して三次元データの対象物領域内の欠損領域を補間するため、従来と比べて少ない工数で精度良く三次元データを補間できる。

一実施形態における三次元データ生成装置の概略構成を示すブロック図である。 センサで検出した三次元データ及び二次元データの一例を示す図である。 対象物領域を特定した三次元データ及び二次元データの一例を示す図である。 欠損領域を特定した三次元データの一例を示す図である。 類似領域を特定した二次元データの一例を示す図である。 類似対応領域を特定した三次元データの一例を示す図である。 三次元データ生成装置を備えたロボットシステムの動作を示すフローチャートである。 三次元データ生成装置をロボット制御装置に組込んだロボットシステムの一例を示すブロック図である。

以下、添付図面を参照して本開示の実施形態を詳細に説明する。各図面において、同一又は類似の構成要素には同一又は類似の符号が付与されている。また、以下に記載する実施形態は、特許請求の範囲に記載される発明の技術的範囲及び用語の意義を限定するものではない。

図１は、本実施形態における三次元データ生成装置１０の概略構成を示している。三次元データ生成装置１０は、ＣＰＵ（central processing unit）等のプロセッサを備えたコンピュータ装置（例えばＰＣ（personal computer））でよいが、ＦＰＧＡ（field-programmable gate array）、ＡＳＩＣ（application specific integrated circuit）等の他のプロセッサを備えたコンピュータ装置でもよい。三次元データ生成装置１０は、対象物を含む対象空間の三次元データ及び二次元データをセンサ１１から取得し、二次元データの対象物領域を考慮して三次元データの対象物領域内の欠損領域を補間する。対象物は、ロボットの作業対象となるワークでよい。三次元データ生成装置１０は、対象物領域特定部１２と、欠損領域特定部１３と、類似領域特定部１４と、類似対応領域特定部１５と、三次元データ補間部１６と、を備えている。

図２は、センサ１１で検出した三次元データ及び二次元データの一例を示している。センサ１１は、例えばステレオカメラ、ＴＯＦセンサ等のセンサでよい。センサ１１は、三次元データ及び二次元データの双方を検出するが、三次元データのみを検出する三次元センサでもよい。この場合、センサ１１とは別にカメラ等の二次元センサを設け、二次元センサから二次元データを検出してもよい。但し、後続の処理を容易にするため、検出された三次元データと検出された二次元データとの間で対象空間の画角が一致するようにするとよい。三次元データは、例えば三次元位置（例えばＸＹＺ座標）を表す点群データでよいが、センサ１１からの距離（又は深度）を表す距離画像（深度画像）でもよい。点群データの場合、後続の処理を容易にするため、距離画像に変換するとよい。また、二次元データは、例えば白から黒までの光強度を表すグレースケール画像でよいが、光の三原色（ＲＧＢ）の光強度を表すカラー画像でもよい。

図３は、対象物領域４０を特定した三次元データ及び二次元データの一例を示している。対象物領域特定部１２は、センサ１１から取得した三次元データ及び二次元データの対象物領域４０を特定する。例えば、ユーザの教示に応じて対象物領域４０と対象物領域４０以外の背景領域を特定してもよいが、マッチング処理、ブロブ解析、及びこれらを組み合わせた処理等を行うことによって対象物領域４０を自動的に特定するとよい。

マッチング処理では、例えば対象物のデータ（二次元でも三次元でもよい。）を予め用意しておき、予め用意した対象物のデータの位置姿勢を変化させながら、取得した三次元データ及び取得した二次元データの少なくとも一方との間でマッチング処理を行うことによって対象物領域４０を特定するとよい。三次元データの欠損領域が多い場合、予め用意した対象物のデータと取得したデータとの間の類似度が低くなるため、二次元データのみでマッチング処理を行って対象物領域４０を特定し、特定した対象物領域４０に対応する三次元データの対象物対応領域を特定してもよい。類似度を算出する評価関数としては、例えばＳＡＤ（sum of absolute difference）、ＳＤＤ（sum of squared difference）、ＮＣＣ（normalized cross-correlation）、ＺＮＣＣ（zero-means normalized cross-correlation）等を利用できる。

ブロブ解析では、例えば取得した二次元データについて種々の画像処理フィルタを適用し、エッジ検出、モルフォロジー処理等を行うことによって対象物領域４０を特定するとよい。誤って背景領域のエッジが検出されることがあるため、背景領域に特徴が少ない場合にブロブ解析は有効である。以上のように対象物領域４０を特定した後は、対象物領域４０のみを対象として後続の処理を行うとよい。これにより、誤って背景領域の三次元データに基づき欠損領域を補間するといった二次的エラーを回避できることになる。

図４は、欠損領域４１を特定した三次元データの一例を示している。欠損領域特定部１３は、三次元データの対象物領域４０内で欠損領域４１を特定する。例えば、対象物領域４０以外の背景領域（欠損領域を含む。）のデータを除去してもよいし、又は別のデータで置換してもよい。

図５は、類似領域４２を特定した二次元データの一例を示している。類似領域特定部１４は、二次元データの対象物領域４０内で１つ又は複数の類似領域４２を特定する。類似領域４２とは、センサ１１からの距離（又は深度）が同一又は類似している領域として定義される。例えば、取得した二次元データの光強度に基づいて類似領域４２を特定してもよいし、又は取得した二次元データがカラー画像の場合、ＲＧＢの各光強度に基づいて類似領域４２を特定してもよい。但し、色が同一又は類似でもセンサ１１からの距離（又は深度）が異なる場合があるため、取得した二次元データ（光強度）に加えて、取得した三次元データ（距離）を加味して類似領域４２を特定するとよい。これにより、誤って特定された類似領域４２の三次元データに基づいて欠損領域を補間するといった二次的エラーを回避できることになる。

類似領域４２を特定する方法としては、例えばクラスタリング、マッチング処理、ブロブ解析、及びこれらの組み合わせ等を使用できる。即ち、対象物領域４０をクラスタリングして得られたクラスタ領域を類似領域４２として特定してもよいし、又は対象物領域４０をマッチング処理して得られたマッチング領域を類似領域４２として特定してもよいし、又は対象物領域４０をブロブ解析して得られた解析領域を類似領域４２として特定してもよい。

クラスタリングでは、類似領域４２の数が多くなる程（即ち、クラスタ数が多くなる程）、欠損領域４１の補間精度が向上するため、クラスタ数が多くても比較的少ない計算リソースで実行可能な非階層クラスタリングが好ましい。但し、対象物が無地で単純形状（例えば直方体形状）の場合には、対象物の特徴が少なく、クラスタ数が少なくなるため、比較的多くの計算リソースを必要とするものの分類精度の高い階層クラスタリングを利用してもよい。

非階層クラスタリングの手法としては、例えばk-means法、x-means法等を利用できる。k-means法では、クラスタ数ｋを予め定めておき、クラスタ領域を構成するデータ（光強度、距離等の多次元データでよい。以下同じ。）の初期平均値をｋ個用意しておく。取得した各データについて最も近い初期平均値を選択することによって各データが所属するクラスタ領域を決定する。次に、各クラスタ領域を構成するデータに基づいて平均値を更新し、各データについて最も近い平均値を選択することによって各データが所属するクラスタ領域を更新する。平均値が更新されなくなるか又はループの上限回数に達するまで、このような処理を繰返し、最終的なクラスタ領域を決定する。図５では、１つの対象物領域４０においてクラスタ数ｋを７個に設定した例が示されている。また、x-means法を用いてクラスタ数を自動的に推定してもよいし、又はエルボー法、シルエット分析等によってクラスタ数を評価して最終的なクラスタ領域を決定してもよい。

マッチング処理では、例えば類似領域４２を構成するデータのサンプルデータ（光強度、距離等の多次元データでよい。以下同じ。）を複数個用意しておき、予め用意したサンプルデータと取得した各データとの間でマッチング処理を行うことによってマッチング領域を特定するとよい。類似度を算出する評価関数としては、前述のＳＡＤ、ＳＤＤ、ＮＣＣ、ＺＮＣＣ等を利用できる。また、クラスタ領域にマッチング領域を加算することによって最終的な類似領域４２を特定してもよい。

ブロブ解析では、例えば取得した二次元データの対象物領域４０と、取得した三次元データの対象物領域４０との双方について、種々の画像処理フィルタを適用し、エッジ検出、モルフォロジー処理等を行い、双方の処理結果を加算することによって解析領域を特定するとよい。また、クラスタ領域とマッチング領域の少なくとも一方に解析領域を加算することによって最終的な類似領域４２を特定してもよい。

図６は、類似対応領域４３を特定した三次元データの一例を示している。類似対応領域特定部１５は、二次元データの類似領域４２に対応する三次元データの類似対応領域４３を特定する。そして、三次元データ補間部１６は、三次元データの類似対応領域４３に基づいて欠損領域４１の三次元データを補間する。例えば、欠損領域４１の注目画素が所属している類似対応領域４３の三次元データで注目画素の三次元データを補間するとよい。このとき、注目画素から最も近くある類似対応領域４３の参照画素の三次元データで注目画素の三次元データを補間してもよいし、又は注目画素が所属している類似対応領域４３の複数の三次元データを平均化して注目画素の三次元データを補間してもよい。

但し、欠損領域４１の注目画素が所属する類似対応領域４３が存在しない場合があり、この場合、注目画素の三次元データを補間できなくなる。しかし、対象空間に対象物が複数存在する場合、三次元データ補間部１６は、対象物領域４０に類似する別の対象物領域４０内の類似対応領域４３の三次元データで注目画素の三次元データを補間してもよい。以上のような処理によれば、対象物領域４０内の二次元データ（光強度、距離等）を考慮して対象物領域４０内の三次元データの欠損領域４１を補間するため、従来と比べて少ない工数で精度良く補間できることになる。

図１を再び参照すると、本発明は、三次元データ生成装置１０を備えたロボットシステム１にも適用できる。ロボットシステム１は、三次元データ生成装置によって補間された三次元データに基づき、ロボット３０及びツール３１の少なくとも一方の動作指令を補正するロボット制御装置２０を備えているとよい。ロボット制御装置２０は、一台ではなく、複数台あってもよく、複数台の場合には、三次元データ生成装置１０に対して無線又は有線を介して多対一で接続することになる。即ち、ロボットシステム１は、サーバシステム又はクラウドシステムでもよい。ロボット制御装置２０は、例えばＣＰＵ（central processing unit）等のプロセッサを備えたコンピュータ装置であり、動作プログラムを記憶する記憶部２１と、動作プログラムに従ってロボット３０及びツール３１の少なくとも一方の動作指令を生成する動作制御部２２と、を備えている。動作制御部２２は、補間された三次元データに基づき、ロボット３０及びツール３１の少なくとも一方の動作指令を補正する。ロボット制御装置２０は、補正された動作指令に基づいて、ロボット駆動モータ３２を駆動するロボット駆動部２３と、ツール駆動モータ３３を駆動するツール駆動部２４と、を備えている。ロボット３０及びツール３１は、ロボット制御装置２０と同様に、一台ではなく、複数台あってもよい。

図７は、三次元データ生成装置１０を備えたロボットシステム１の動作を示している。ステップＳ１０では、マッチング処理、ブロブ解析、及びこれらを組み合わせた処理等を行うことにより、センサ１１から取得した三次元データ及び二次元データの対象物領域４０を特定する。ステップＳ１１では、対象物領域４０以外の背景領域を除去するか又は別のデータで置換することによって、三次元データの対象物領域４０内の欠損領域４１を特定する。

ステップＳ１２では、光強度、距離等の多次元データに基づいて、クラスタリング、マッチング処理、ブロブ解析、及びこれらを組み合わせた処理等を行うことにより、二次元データの対象物領域４０内で１つ又は複数の類似領域４２を特定する。ステップＳ１３では、二次元データの類似領域４２に対応する三次元データの類似対応領域４３を特定する。

ステップＳ１４では、類似対応領域４３に基づいて欠損領域４１の三次元データを補間する。このとき、欠損領域４１の注目画素から最も近くある類似対応領域４３の参照画素の三次元データで注目画素の三次元データを補間してもよいし、又は欠損領域４１の注目画素が所属している類似対応領域４３の三次元データを平均化して注目画素の三次元データを補間してもよい。また、対象空間に対象物が複数存在する場合には、対象物領域４０に類似する別の対象物領域４０内の類似対応領域４３の三次元データで注目画素の三次元データを補間してもよい。ステップＳ１５では、補間された三次元データに基づいてロボット３０及びツール３１の少なくとも一方の動作指令を補正する。

図８は、三次元データ生成装置１０をロボット制御装置２０に組込んだロボットシステム１の一例を示している。本例のロボットシステム１は、三次元データ生成装置１０の構成要素のうち少なくとも一つをロボット制御装置２０に組込んでいる。即ち、ロボットシステム１は、スタンドアロンシステムでもよい。

以上の実施形態によれば、対象物領域４０内の二次元データを考慮して対象物領域４０内の三次元データの欠損領域４１を補間するため、従来と比べて少ない工数で精度良く三次元データを補間できることになる。

前述のプロセッサによって実行されるプログラムは、コンピュータ読取り可能な非一時的記録媒体、例えばＣＤ－ＲＯＭ等に記録して提供してもよいし、或いは有線又は無線を介してＷＡＮ（wide area network）又はＬＡＮ（local area network）上のサーバ装置から配信して提供してもよい。

本明細書において種々の実施形態について説明したが、本発明は、前述の実施形態に限定されるものではなく、以下の特許請求の範囲に記載された範囲内において種々の変更を行えることを認識されたい。

１ ロボットシステム
１０ 三次元データ生成装置
１１ センサ
１２ 対象物領域特定部
１３ 欠損領域特定部
１４ 類似領域特定部
１５ 類似対応領域特定部
１６ 三次元データ補間部
２０ ロボット制御装置
２１ 記憶部
２２ 動作制御部
２３ ロボット駆動部
２４ ツール駆動部
３０ ロボット
３１ ツール
３２ ロボット駆動モータ
３３ ツール駆動モータ
４０ 対象物領域
４１ 欠損領域
４２ 類似領域
４３ 類似対応領域

Claims (9)

1. 対象物を含む対象空間の三次元データ及び二次元データをセンサから取得する三次元データ生成装置であって、
   取得した前記三次元データ及び前記二次元データの対象物領域を特定する対象物領域特定部と、
   前記三次元データの前記対象物領域内の欠損領域を特定する欠損領域特定部と、
   前記二次元データの前記対象物領域内で１つ又は複数の類似領域を特定する類似領域特定部と、
   前記二次元データの前記類似領域に対応する前記三次元データの類似対応領域を特定する類似対応領域特定部と、
   前記三次元データの前記類似対応領域に基づいて前記欠損領域の前記三次元データを補間する三次元データ補間部と、
   を備え、
   前記対象空間に前記対象物が複数存在する場合、前記三次元データ補間部は、前記対象物領域に類似する別の対象物領域内の前記類似対応領域の前記三次元データに基づいて前記欠損領域の前記三次元データを補間する、三次元データ生成装置。
2. 前記二次元データが光の三原色の光強度を含み、前記類似領域特定部は前記対象物領域内の前記三原色の光強度に基づいて前記類似領域を特定する、請求項１に記載の三次元データ生成装置。
3. 前記類似領域特定部は、前記二次元データに加えて前記対象物領域内の前記三次元データを加味して前記類似領域を特定する、請求項１又は２に記載の三次元データ生成装置。
4. 前記類似領域特定部は、前記対象物領域をクラスタリングして得られたクラスタ領域を前記類似領域として特定する、請求項１から３のいずれか一項に記載の三次元データ生成装置。
5. 前記類似領域特定部は、前記対象物領域をマッチング処理して得られたマッチング領域を前記類似領域として特定する、請求項１から４のいずれか一項に記載の三次元データ生成装置。
6. 前記類似領域特定部は、前記対象物領域をブロブ解析して得られた解析領域を前記類似領域として特定する、請求項１から５のいずれか一項に記載の三次元データ生成装置。
7. 前記三次元データ補間部は、前記欠損領域の注目画素が所属している前記類似対応領域の複数の前記三次元データを平均化して前記注目画素の前記三次元データを補間する、請求項１から６のいずれか一項に記載の三次元データ生成装置。
8. 請求項１から７のいずれか一項に記載の三次元データ生成装置を備えたロボットシステムであって、前記三次元データ生成装置で補間した前記三次元データに基づいてロボットの動作指令を補正するロボット制御装置を備える、ロボットシステム。
9. 前記三次元データ生成装置を前記ロボット制御装置に組込んだ、請求項８に記載のロボットシステム。

Images