JP5544942B2

JP5544942B2 - 物体情報検出システム、情報検出方法、及びプログラム

Info

Publication number: JP5544942B2
Application number: JP2010054290A
Authority: JP
Inventors: 祐人服部; 絢子渡辺; 克也犬塚
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2010-03-11
Filing date: 2010-03-11
Publication date: 2014-07-09
Anticipated expiration: 2030-03-11
Also published as: JP2011185897A

Description

本発明は、対象物とその対象物に配置されたマーカとの相対位置及び姿勢を検出する物体情報検出システム、情報検出方法、及びプログラムに関するものである。

対象物の形状を、計測センサ等を用いて計測し、その計測値に基づいて対象物の位置及び姿勢を求める場合に、その計測精度が対象物の形状に大きく左右されることがある。これに対し、対象物に配置されたマーカを撮影し、そのマーカの撮影画像に基づいて、対象物の位置及び姿勢を推定する３次元位置姿勢センシング装置が知られている（例えば、特許文献１参照）。

特開２０００−２２７３０９号公報

ところで、上記３次元位置姿勢センシング装置は、予め測定された対象物とマーカとの相対位置及び姿勢を用いて、上記対象物の位置及び姿勢を推定している。しかしながら、測定時に対象物とマーカとの相対位置及び姿勢に誤差が生じる可能性があり、これにより、その相対位置及び姿勢に基づいて推定された対象物の位置及び姿勢の精度も低下する虞がある。

本発明は、このような問題点を解決するためになされたものであり、高精度に対象物とマーカとの相対位置及び姿勢を検出できる物体情報検出システム、情報検出方法、及びプログラムを提供することを主たる目的とする。

上記目的を達成するための本発明の一態様は、複数の姿勢における対象物の形状情報を夫々検出する形状検出手段と、前記対象物に配置されたマーカの位置及び姿勢情報を夫々検出するマーカ検出手段と、前記形状検出手段により検出された前記対象物の形状情報と、前記マーカ検出手段により検出された前記マーカの位置及び姿勢情報と、に基づいて、前記対象物と前記マーカとの相対位置及び姿勢を算出する位置姿勢算出手段と、を備える、ことを特徴とする物体情報検出システムである。

また、この一態様において、前記対象物を移動させる移動手段と、前記移動手段により移動する前記対象物の形状を計測する計測手段と、前記移動手段により移動する前記対象物を撮影する撮影手段と、を更に備え、前記形状検出手段は、前記計測手段により計測された前記対象物の計測結果に基づいて、前記対象物の形状情報を検出し、前記マーカ検出手段は、前記撮影手段により撮影された前記マーカの撮影画像に基づいて、前記マーカの位置及び姿勢情報を検出してもよい。

さらに、この一態様において、前記位置姿勢算出手段により算出された前記対象物とマーカとの相対位置及び姿勢を記憶する記憶手段を更に備えていてもよい。

他方、上記目的を達成するための本発明の一態様は、複数の姿勢における対象物の形状情報を夫々検出する工程と、前記対象物に配置されたマーカの位置及び姿勢情報を夫々検出する工程と、前記検出された対象物の形状情報と、前記検出されたマーカの位置及び姿勢情報と、に基づいて、前記対象物と前記マーカとの相対位置及び姿勢を算出する工程と、を含む、ことを特徴とする情報検出方法であってもよい。

また、上記目的を達成するための本発明の一態様は、複数の姿勢における対象物の形状情報を夫々検出する処理と、前記対象物に配置されたマーカの位置及び姿勢情報を夫々検出する処理と、前記検出された対象物の形状情報と、前記検出されたマーカの位置及び姿勢情報と、に基づいて、前記対象物と前記マーカとの相対位置及び姿勢を算出する処理と、をコンピュータに実行させるプログラムであってもよい。

さらに、上記目的を達成するための本発明の一態様は、複数の姿勢における対象物の形状情報を夫々検出する３次元形状検出処理部と、前記対象物に配置されたコードマーカの位置及び姿勢情報を夫々検出するコードマーカ検出処理部と、前記３次元形状検出処理部により検出された前記対象物の形状情報と、前記コードマーカ検出処理部により検出された前記コードマーカの位置及び姿勢情報と、に基づいて、前記対象物と前記コードマーカとの相対位置及び姿勢を算出する相対位置姿勢算出部と、を備える、ことを特徴とする物体情報検出システムであってもよい。

本発明によれば、高精度に対象物とマーカとの相対位置及び姿勢を検出する物体情報検出システム、情報検出方法、及びプログラムを提供することができる。

本発明の一実施の形態に係る物体情報検出システムの概略的な構成を示すブロック図である。対象物の３次元形状及び各コードマーカの位置及び姿勢を表現する３次元座標系の一例を示す図である。本発明の一実施の形態に係る物体情報検出システムの処理フローの一例を示すフローチャートである。

以下、図面を参照して本発明の実施の形態について、説明する。図１は、本発明の一実施の形態に係る物体情報検出システムの概略的な構成を示すブロック図である。本実施の形態に係る物体情報検出システム１は、任意の形状の対象物１０と、対象物１０に配置された複数のコードマーカ等のマーカ１１と、の相対位置及び姿勢を高精度に検出できるものである。物体情報検出システム１は、回転装置２と、３次元形状計測装置３と、３次元形状検出処理部４と、撮影装置５と、コードマーカ検出処理部６と、相対位置姿勢算出部７と、物体情報記憶部８と、を備えている。

また、物体情報検出システム１は、例えば、制御処理、演算処理等を行うＣＰＵ（Central Processing Unit）と、ＣＰＵによって実行される制御プログラム、演算プログラム等が記憶されたＲＯＭ（Read Only Memory）と、処理データ等を記憶するＲＡＭ（Random Access Memory）と、を有する、マイクロコンピュータを中心にハードウェア構成されている。

回転装置２は、移動手段の一具体例であり、計測する対象物１０がその上面に載置され、対象物１０を時計方向あるいは反時計方向へ回転移動させることができる。なお、回転装置２は、対象物１０を時計方向あるいは反時計方向へ回転移動させているが、これに限らず、後述の撮影あるいは計測が可能であれば、任意の方向へ移動させてもよい。

ここで、対象物１０としては、例えば、直方体の物体が用いられ、直方体の各側面にコードマーカ１１が夫々配置されているが、これに限らず、対象物１０の形状は任意形状でよく、また、対象物１０に配置されるコードマーカ１１の位置及び数も任意でよい。さらに、コードマーカ１１は、例えば、長方形状となっており、コードが格子パターンで形成されているが、これに限らず、コードマーカ１１を適切に認識できれば、円形状や正方形状などの任意形状でよく、コードも任意のパターンで形成してもよい。

３次元形状計測装置３は、計測手段の一具体例であり、回転装置２に載置され回転移動することで複数の姿勢をとる対象物１０の３次元形状を計測することができる。３次元形状計測装置３は、例えば、レーザセンサ、レーダセンサ、超音波センサ等の計測センサを用いて対象物１０の外面を走査し、対象物１０の３次元形状を計測することができる。なお、本実施の形態において、３次元形状計測装置３を用いる代わりに撮影装置５を用いて、対象物１０の３次元形状を計測してもよい。３次元形状計測装置３は、計測した対象物１０の３次元形状の計測データを、３次元形状検出処理部４に対して出力する。

３次元形状検出処理部４は、形状検出手段の一具体例であり、３次元形状計測装置３により計測された対象物１０の３次元形状の計測データに基づいて、周知の演算処理を行い複数の姿勢における対象物１０の３次元形状を検出することができる。ここで、３次元形状検出処理部４は、対象物１０の３次元形状を、所定位置（例えば、対象物１０の角部や計測センサの位置など）を原点Ｏ_ｎとした３次元座標系（ｘ_ｎ、ｙ_ｎ、ｚ_ｎ）において検出する（図２）。３次元形状検出処理部４は、３次元座標系で表現された対象物１０の３次元形状を、相対位置姿勢算出部７に対して出力する。

撮影装置５は、撮影手段の一具体例であり、回転装置２に載置され回転移動する対象物１０に配置された複数のコードマーカ１１を撮影することができる。撮影装置５は、例えば、ステレオカメラ等を用いて、対象物１０の各コードマーカ１１を撮影し、その撮影画像をコードマーカ検出処理部６に対して出力する。なお、本実施の形態において、撮影装置５を用いる代わりに３次元形状計測装置３を用いて、各対象物１０上の各コードマーカ１１を計測し、コードマーカ検出処理部６は、後述の如く、計測されたコードマーカ１１の計測値に基づいて、各コードマーカ１１の位置及び姿勢を夫々検出してもよい。

コードマーカ検出処理部６は、マーカ検出手段の一具体例であり、撮影装置５により撮影された各コードマーカ１１の撮影画像に対して周知の画像処理を行うことで、対象物１０に配置された各コードマーカ１１の位置及び姿勢を夫々検出することができる。ここで、コードマーカ検出処理部６は、上記対象物１０の３次元形状と同様に、各コードマーカ１１の位置及び姿勢を、所定位置（例えば、各コードマーカ１１の角部や撮影装置５の位置）を原点Ｏ_ｍとした３次元座標系（ｘ_ｍ、ｙ_ｍ、ｚ_ｍ）において検出する。コードマーカ検出処理部６は、３次元座標系で表現された各コードマーカ１１の位置及び姿勢を、相対位置姿勢算出部７に対して出力する。

相対位置姿勢算出部７は、位置姿勢算出手段の一具体例であり、３次元形状検出処理部４により検出された対象物１０の３次元形状と、コードマーカ検出処理部６により検出された各コードマーカ１１の位置及び姿勢と、に基づいて、対象物１０と各コードマーカ１１との相対位置及び姿勢を算出する。

相対位置姿勢算出部７は、例えば、対象物１０の３次元形状を表現する３次元座標系と、各コードマーカ１１の位置及び姿勢を表現する３次元座標系と、を整合させた３次元座標系における、対象物１０と各コードマーカ１１との相対位置及び姿勢を算出する。これにより、対象物１０とこの対象物１０に配置された各コードマーカ１１との相対位置及び姿勢を高精度に検出することができる。また、対象物１０の３次元形状と各コードマーカ１１の位置及び姿勢とを同時に取得して、対象物１０と各コードマーカ１１との相対位置及び姿勢を自動的に算出することで、計測対象となる対象物１０の数が増加した場合でも、その算出にかかる処理量を効率的に低減することができる。相対位置姿勢算出部７は、算出した対象物１０と各コードマーカ１１との相対位置及び姿勢を物体情報記憶部８に対して逐次出力する。

物体情報記憶部８は、記憶手段の一具体例であり、例えば、磁気ディスク装置、光ディスク装置、ＲＡＭなどにより構成されている。物体情報記憶部８は、相対位置姿勢算出部７から出力される対象物１０と各コードマーカ１１との相対位置及び姿勢を、データベース化して記憶する。これにより、ユーザは、物体情報記憶部８のデータベースから、必要な対象物１０と各コードマーカ１１との相対位置及び姿勢を、高精度かつ高速に取得することができる。

ところで、従来、対象物とコードマーカとの相対位置及び姿勢を測定する際に、測定誤差等により精度低下を招く可能性がある。また、対象物とコードマーカとの相対位置及び姿勢をコードマーカ毎に計測する必要が生じるため、処理効率が低下する可能性があり、さらに、対象物の数が増加するに従ってその測定の処理量が増加する可能性もある。

そこで、本実施の形態に係る物体情報検出システム１において、上述の如く、相対位置姿勢算出部７は、３次元形状検出処理部４により検出された対象物１０の３次元形状と、コードマーカ検出処理部６により検出された各コードマーカ１１の位置及び姿勢と、に基づいて、対象物１０と各コードマーカ１１との相対位置及び姿勢を算出する。これにより、対象物１０と各コードマーカ１１との相対位置及び姿勢を高精度に検出することができる。また、一回の処理で対象物１０と各コードマーカ１１との相対位置及び姿勢を検出することができ、処理効率の向上も期待できる。

本実施の形態に係る物体情報検出システムの検出方法について詳細に説明する。図３は、本実施の形態に係る物体情報検出システムの処理フローの一例を示すフローチャートである。

まず、３次元形状計測装置３は、回転装置２に載置され回転移動する対象物１０の３次元形状を計測し（ステップＳ１０１）、計測した対象物１０の３次元形状の計測データを、３次元形状検出処理部４に対して出力する。

次に、３次元形状検出処理部４は、３次元形状計測装置３により計測された対象物１０の３次元形状の計測データに基づいて周知の演算処理を行い、対象物１０の３次元形状を３次元座標系（ｘ_ｎ、ｙ_ｎ、ｚ_ｎ）において検出し（ステップＳ１０２）、相対位置姿勢算出部７に対して出力する。

また、撮影装置５は、回転装置２に載置され回転移動する対象物１０に配置された各コードマーカ１１を撮影し（ステップＳ１０３）、その撮影画像をコードマーカ検出処理部６に対して出力する。

次に、コードマーカ検出処理部６は、撮影装置５により撮影された各コードマーカ１１の撮影画像に対して周知の画像処理を行うことで、対象物１０に配置された各コードマーカ１１の位置及び姿勢を、３次元座標系（ｘ_ｍ、ｙ_ｍ、ｚ_ｍ）において検出し（ステップＳ１０４）、相対位置姿勢算出部７に対して出力する。なお、上記（ステップＳ１０１）及び（ステップＳ１０２）と、（ステップＳ１０３）及び（ステップＳ１０４）と、は同時並行で処理が行われている。

その後、相対位置姿勢算出部７は、３次元形状検出処理部４により検出された対象物１０の３次元形状と、コードマーカ検出処理部６により検出された各コードマーカ１１の位置及び姿勢と、に基づいて、対象物１０の３次元形状を表現する３次元座標系と、各コードマーカ１１の位置及び姿勢を表現する３次元座標系と、を整合させた３次元座標系における、対象物１０と各コードマーカ１１との相対位置及び姿勢を算出し（ステップＳ１０５）、物体情報記憶部８に対して逐次出力する。

そして、物体情報記憶部８は、相対位置姿勢算出部７から出力される対象物１０と各コードマーカ１１との相対位置及び姿勢をデータベースに記憶する（ステップＳ１０６）。

以上、本実施の形態に係る物体情報検出システム１において、相対位置姿勢算出部７は、３次元形状検出処理部４により検出された対象物１０の３次元形状と、コードマーカ検出処理部６により検出された各コードマーカ１１の位置及び姿勢と、に基づいて、対象物１０と各コードマーカ１１との相対位置及び姿勢を算出する。これにより、対象物１０と各コードマーカ１１との相対位置及び姿勢を高精度に検出することができる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

例えば、上記一実施の形態において、３次元形状計測装置３及び撮影装置５を固定し対象物１０を回転装置２により移動させているが、これに限らず、対象物１０を固定し３次元形状計測装置３及び撮影装置５を移動させてもよい。

また、上記一実施の形態において、上述の図３に示す処理を、ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の通信媒体を介して伝送することにより提供することも可能である。

さらに、記憶媒体には、例えば、フレキシブルディスク、ハードディスク、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＲＯＭカートリッジ、バッテリバックアップ付きＲＡＭメモリカートリッジ、フラッシュメモリカートリッジ、不揮発性ＲＡＭカートリッジ等が含まれる。さらにまた、通信媒体には、電話回線等の有線通信媒体、マイクロ波回線等の無線通信媒体等が含まれる。

本発明は、例えば、計測対象物と、計測対象物に配置された複数のコードマーカとの相対位置及び姿勢を算出する物体情報検出システム、情報検出方法、及びプログラムに利用可能である。

１物体情報検出システム
２回転装置
３３次元形状計測装置
４３次元形状検出処理部
５撮影装置
６コードマーカ検出処理部
７相対位置姿勢算出部
８物体情報記憶部

Claims

複数の姿勢における対象物の３次元形状を夫々検出する形状検出手段と、
前記対象物に配置されたマーカの位置及び姿勢情報を夫々検出するマーカ検出手段と、
前記形状検出手段により検出された前記対象物の３次元形状と、前記マーカ検出手段により検出された前記マーカの位置及び姿勢情報と、に基づいて、前記対象物の３次元形状を表現する３次元座標系と、前記マーカの位置及び姿勢を表現する３次元座標系と、を整合させた３次元座標系における、前記対象物と前記マーカとの相対位置及び姿勢を算出する位置姿勢算出手段と、を備える、ことを特徴とする物体情報検出システム。
請求項１記載の物体情報検出システムであって、
前記対象物を移動させる移動手段と、
前記移動手段により移動する前記対象物の形状を計測する計測手段と、
前記移動手段により移動する前記対象物を撮影する撮影手段と、を更に備え、
前記形状検出手段は、前記計測手段により計測された前記対象物の計測結果に基づいて、前記対象物の形状情報を検出し、
前記マーカ検出手段は、前記撮影手段により撮影された前記マーカの撮影画像に基づいて、前記マーカの位置及び姿勢情報を検出する、ことを特徴とする物体情報検出システム。
請求項１又は２記載の物体情報検出システムであって、
前記位置姿勢算出手段により算出された前記対象物とマーカとの相対位置及び姿勢を記憶する記憶手段を更に備える、ことを特徴とする物体情報検出システム。
複数の姿勢における対象物の３次元形状を夫々検出する工程と、
前記対象物に配置されたマーカの位置及び姿勢情報を夫々検出する工程と、
前記検出された対象物の３次元形状と、前記検出されたマーカの位置及び姿勢情報と、に基づいて、前記対象物の３次元形状を表現する３次元座標系と、前記マーカの位置及び姿勢を表現する３次元座標系と、を整合させた３次元座標系における、前記対象物と前記マーカとの相対位置及び姿勢を算出する工程と、を含む、ことを特徴とする情報検出方法。
複数の姿勢における対象物の３次元形状を夫々検出する処理と、
前記対象物に配置されたマーカの位置及び姿勢情報を夫々検出する処理と、
前記検出された対象物の３次元形状と、前記検出されたマーカの位置及び姿勢情報と、に基づいて、前記対象物の３次元形状を表現する３次元座標系と、前記マーカの位置及び姿勢を表現する３次元座標系と、を整合させた３次元座標系における、前記対象物と前記マーカとの相対位置及び姿勢を算出する処理と、をコンピュータに実行させるプログラム。
複数の姿勢における対象物の３次元形状を夫々検出する３次元形状検出処理部と、
前記対象物に配置されたコードマーカの位置及び姿勢情報を夫々検出するコードマーカ検出処理部と、
前記３次元形状検出処理部により検出された前記対象物の３次元形状と、前記コードマーカ検出処理部により検出された前記コードマーカの位置及び姿勢情報と、に基づいて、前記対象物の３次元形状を表現する３次元座標系と、前記マーカの位置及び姿勢を表現する３次元座標系と、を整合させた３次元座標系における、前記対象物と前記コードマーカとの相対位置及び姿勢を算出する相対位置姿勢算出部と、を備える、ことを特徴とする物体情報検出システム。