JP5581612B2

JP5581612B2 - 位置計測システム及び位置計測方法

Info

Publication number: JP5581612B2
Application number: JP2009135191A
Authority: JP
Inventors: 岳橋本
Original assignee: Shizuoka University NUC
Current assignee: Shizuoka University NUC
Priority date: 2009-06-04
Filing date: 2009-06-04
Publication date: 2014-09-03
Anticipated expiration: 2029-06-04
Also published as: JP2010281684A

Description

本発明は、対象物のステレオ視によって対象物の位置を計測する位置計測システム及び位置計測方法に関する。

対象物の位置を計測するに際しては、多数の画素の配列によって受光部が構成された撮像素子（例えば、ＣＭＯＳやＣＣＤ等）を有する第１のカメラ及び第２のカメラを用意し、それらのカメラを用いて対象物のステレオ視を行う。すなわち、第１のカメラは、画像を構成する多数の画素のそれぞれの中心を通る第１の視線、及び第１の視線のそれぞれを中心として画素ごとに設定された第１の視線領域を有しており、このとき、対象物を捉えた第１の視線領域を所定の第１の視線領域とする。一方、第２のカメラは、画像を構成する多数の画素のそれぞれの中心を通る第２の視線、及び第２の視線のそれぞれを中心として画素ごとに設定された第２の視線領域を有しており、このとき、対象物を捉えた第２の視線領域を所定の第２の視線領域とする。これにより、対象物の真値（真の座標）は、対象物を捉えた所定の第１の視線領域と所定の第２の視線領域とが重なる重複領域内に存在することになるが、重複領域内のどこに位置するかは分からない。

そこで、例えば、重複領域の重心点を算出して、その重心点を対象物の真値として代用する場合があるが、これでは、対象物の位置の計測に誤差が生じるおそれがある。このような誤差が生じるのは、撮像素子の受光部の各画素が所定の大きさを有していることに起因して、重複領域も所定の大きさを有することになるからである。以下、この誤差を量子化誤差という。

このような量子化誤差を軽減する技術として、特許文献１には、所定の間隔で配置された３台以上のカメラのうち２台のカメラを異なる組合せで選定して、各組合せにおいて対象物までの距離を算出し、その平均値をとる距離計測方法が記載されている。

特開２００６−３８７１８号公報

上述した特許文献１記載の距離計測方法は、量子化誤差を軽減する技術として有効であるが、更なる量子化誤差の軽減が望まれている。

そこで、本発明は、対象物のステレオ視によって対象物の位置を計測するに際し、量子化誤差を軽減することができる位置計測システム及び位置計測方法を提供することを課題とする。

上記課題を解決するため、本発明に係る位置計測システムは、対象物のステレオ視によって対象物の位置を計測する位置計測システムであって、画像を構成する複数の最小要素のそれぞれの中心を通る第１の視線、及び第１の視線のそれぞれを中心として最小要素ごとに設定された第１の視線領域を有し、所定の第１の視線領域にて対象物を捉える第１の撮像光学系と、画像を構成する複数の最小要素のそれぞれの中心を通る第２の視線、及び第２の視線のそれぞれを中心として最小要素ごとに設定された第２の視線領域を有し、所定の第２の視線領域にて対象物を捉える第２の撮像光学系と、第１の撮像光学系と第２の撮像光学系との位置関係をｎ（ｎ：３以上の整数）種設定し、ｎ種の位置関係のそれぞれにおいて、所定の第１の視線領域と所定の第２の視線領域とが重なる重複領域をｎ種取得し、ｎ種の重複領域が重なる領域にて対象物の位置を算出する演算部と、を備え、第１の撮像光学系及び第２の撮像光学系は、３つ以上の撮像光学系から選択された一組であり、演算部は、第１の撮像光学系及び第２の撮像光学系を異なる組合せで選択することにより、位置関係をｎ種設定することを特徴とする。

また、本発明に係る位置計測方法は、対象物のステレオ視によって対象物の位置を計測する位置計測方法であって、画像を構成する複数の最小要素のそれぞれの中心を通る第１の視線、及び第１の視線のそれぞれを中心として最小要素ごとに設定された第１の視線領域を有し、所定の第１の視線領域にて対象物を捉える第１の撮像光学系、並びに、画像を構成する複数の最小要素のそれぞれの中心を通る第２の視線、及び第２の視線のそれぞれを中心として最小要素ごとに設定された第２の視線領域を有し、所定の第２の視線領域にて対象物を捉える第２の撮像光学系を用意する工程と、第１の撮像光学系と第２の撮像光学系との位置関係をｎ（ｎ：３以上の整数）種設定し、ｎ種の位置関係のそれぞれにおいて、所定の第１の視線領域と所定の第２の視線領域とが重なる重複領域をｎ種取得し、ｎ種の重複領域が重なる領域にて対象物の位置を算出する工程と、を含み、第１の撮像光学系及び第２の撮像光学系は、３つ以上の撮像光学系から選択された一組であり、第１の撮像光学系及び第２の撮像光学系を異なる組合せで選択することにより、位置関係をｎ種設定することを特徴とする。

これらの位置計測システム及び位置計測方法においては、第１の撮像光学系の所定の第１の視線領域と第２の撮像光学系の所定の第２の視線領域とが重なる重複領域に対象物の真値（真の座標）が存在することに鑑み、第１の撮像光学系と第２の撮像光学系との位置関係をｎ（ｎ：３以上の整数）種設定し、ｎ種の位置関係のそれぞれにおいて、所定の第１の視線領域と所定の第２の視線領域とが重なる重複領域をｎ種取得し、ｎ種の重複領域が重なる領域にて対象物の位置を算出する。これにより、ｎ種の重複領域から、それらが重なる領域へと、対象物の真値が存在する領域が狭められるので、対象物のステレオ視によって対象物の位置を計測するに際し、量子化誤差を軽減することが可能となる。なお、より多くの位置関係で重複領域を取得し、それらの重複領域が重なる領域にて対象物の位置を算出すれば、対象物の位置の計測精度をより一層向上させることができる。なお、視線とは便宜的に導入した概念であり、視線を特定することができなくても、撮像画像上の対象点の画素を特定することができれば、その視線領域を求めることが可能である。また、第１の撮像光学系及び第２の撮像光学系は、３つ以上の撮像光学系から選択された一組であり、演算部は、第１の撮像光学系及び第２の撮像光学系を異なる組合せで選択することにより、位置関係をｎ種設定することができる。この場合、第１の撮像光学系及び第２の撮像光学系の少なくとも１つを移動させる移動機構が不要となる。

ここで、所定の第１の視線領域及び所定の第２の視線領域は、画像における対象物の重心点又は特徴点を捉えることが好ましい。これにより、第１の撮像光学系及び第２の撮像光学系によって対象物を精度良く捉えることが可能となる。

本発明によれば、対象物のステレオ視によって対象物の位置を計測するに際し、量子化誤差を軽減することができる。

本発明に係る位置計測システムの一実施形態の構成図である。図１の位置計測システムにおいてカメラの位置関係が異なる場合の重複領域を示す図である。図１の位置計測システムにおいてカメラの位置関係が異なる場合の重複領域を示す図である。図１〜３の重複領域の関係を示す図である。

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。なお、各図において同一又は相当部分には同一符号を付し、重複する説明を省略する。

図１に示されるように、位置計測システム１は、Ｙ軸方向に位置する対象物Ｔの位置を、対象物Ｔのステレオ視によって計測するシステムである。位置計測システム１は、Ｘ軸方向に沿って並設された複数台（ここでは、４台）のカメラ（第１の撮像光学系、第２の撮像光学系）２_１〜２_４と、カメラ２_１〜２_４からの画像データの取込みや各種演算処理を行うコンピュータ等の演算部１１と、を備えている。更に、位置計測システム１は、カメラ２_１〜２_４から取り込まれた画像データや演算部１１によって算出された結果等を表示するディスプレイ等の表示部１２と、それらの画像データや結果等を記憶するＨＤＤやメモリカード等の記憶部１３と、を備えている。

カメラ２_１は、多数の画素（画像を構成する最小要素）の配列によって受光部が構成された撮像素子（例えば、ＣＭＯＳやＣＣＤ等）を有しており、各画素の中心を通る視線、及び各視線を中心として画素ごとに設定された視線領域を有し、対象物Ｔを含む画像を撮像する。ここでは、カメラ２_１は、多数の視線領域のうち視線領域ＳＲ１にて対象物Ｔを捉えている。具体的には、カメラ２_１は、視線領域ＳＲ１にて、画像における対象物Ｔの重心点を捉えている（カメラ２_２〜２_４についても同様）。視線領域ＳＲ１は、３次元空間では、視線ＳＬ１を中心とした四角錐状の領域である（視線領域ＳＲ２〜ＳＲ４を始めとして他の視線領域についても同様）。なお、カメラ２_１は、視線領域ＳＲ１にて、画像における対象物Ｔの特徴点を捉えても良い（カメラ２_２〜２_４についても同様）。また、視線領域ＳＲ１は、サブピクセル処理により画像の解像度を上げた際のその最小要素に対応させても良い（視線領域ＳＲ２〜ＳＲ４を始めとして他の視線領域についても同様）。

上述した特徴点の例としては、最輝度点（最も輝度の高い点）、特徴的な色の点、パターンマッチングで最も相関の高い座標、画像エッジ、エッジ線とエッジ線との交点、エッジとエピポーラ線（他方のカメラにおける対象物から視線を一方のカメラの画像に投影した線）との交点等がある。これらの特徴点は、カメラによって撮像された２次元画像から抽出される。ここで、パターンマッチングで最も相関の高い座標について説明する。すなわち、異なるカメラにおいて、計測すべき対象物のターゲットを探索することは極めて困難である（「対応点探索」のことで、例えば、水玉模様を撮影した場合、異なるカメラでは、どの水玉かの判断は極めて困難である）。人間の視覚は、対象物を理解しているために対応点探索を容易に行い得る。各ターゲットが完全に同じ水玉ではなく、良く似ているが異なる形の場合を考える。このときには、ターゲットの形で探索することができる。つまり、パターンマッチングで最も相関の高い座標とは、探したいターゲットの形と、画像に写っているいろいろなターゲットの形との相関を求めて、ターゲットの探索することを意味する。相関係数が最も高くない座標を見つけるには、探したいターゲットの形（テンプレート）を画像上で少しずつ移動させ、移動のたびに、テンプレートと画像との（各画素のグレイレベルの）相関係数を計算する。

以上のように構成された位置計測システム１による位置計測方法について説明する。まず、演算部１１は、図１に示されるように、カメラ２_１〜２_４からカメラ２_１，２_４を選択して、その位置関係を第１の位置関係とする。そして、演算部１１は、カメラ２_１〜２_４の位置関係が第１の位置関係である場合にカメラ２_１の視線領域ＳＲ１とカメラ２_４の視線領域ＳＲ４とが重なる第１の重複領域ＤＲ１を取得する。

また、演算部１１は、図２に示されるように、カメラ２_１〜２_４からカメラ２_１，２_３を選択して、その位置関係を第２の位置関係とする。そして、演算部１１は、カメラ２_１〜２_４の位置関係が第２の位置関係である場合にカメラ２_１の視線領域ＳＲ１とカメラ２_３の視線領域ＳＲ３とが重なる第２の重複領域ＤＲ２を取得する。

更に、演算部１１は、図３に示されるように、カメラ２_１〜２_４からカメラ２_２，２_４を選択して、その位置関係を第３の位置関係とする。そして、演算部１１は、カメラ２_１〜２_４の位置関係が第３の位置関係である場合にカメラ２_２の視線領域ＳＲ２とカメラ２_４の視線領域ＳＲ４とが重なる第３の重複領域ＤＲ３を取得する。

続いて、演算部１１は、図４に示されるように、第１の重複領域ＤＲ１と第２の重複領域ＤＲ２と第３の重複領域ＤＲ３とが重なる領域ＴＲに対象物Ｔの真値が位置すると判断して、領域ＴＲにて対象物Ｔの位置を算出し、更に、対象物Ｔまでの距離等を算出する。そして、演算部１１は、これらの結果等を表示部１２に表示させたり、記憶部１３に記憶させたりする。

以上説明したように、位置計測システム１では、対象物Ｔを捉えた２台のカメラの視線領域が重なる重複領域に対象物Ｔの真値（真の座標）が存在することに鑑み、カメラ２_１〜２_４の位置関係を３種設定し、３種の位置関係のそれぞれにおいて、対象物Ｔを捉えた視線領域同士が重なる重複領域ＤＲ１〜ＤＲ３を取得し、重複領域ＤＲ１〜ＤＲ３が重なる領域ＴＲにて対象物Ｔの位置を算出する。これにより、重複領域ＤＲ１〜ＤＲ３のそれぞれから、それらが重なる領域ＴＲへと、対象物Ｔの真値が存在する領域が狭められるので、対象物Ｔのステレオ視によって対象物Ｔの位置を計測するに際し、量子化誤差を軽減することが可能となる。なお、３種を超えるより多くの位置関係で重複領域を取得し、それらの重複領域が重なる領域にて対象物Ｔの位置を算出しても良く、その場合には、対象物Ｔの位置の計測精度をより一層向上させることができる。

また、位置計測システム１では、カメラ２_１〜２_４の各視線領域ＳＲ１〜ＳＲ４が画像における対象物Ｔの重心点又は特徴点を捉える。これにより、カメラ２_１〜２_４によって対象物Ｔを精度良く捉えることが可能となる。

また、位置計測システム１では、演算部１１が、カメラ２_１〜２_４から２台を異なる組合せで選択することにより、カメラ２_１〜２_４の３種の位置関係を設定する。これにより、カメラ移動用の移動機構等が不要となるので、位置計測システム１の構成の単純化を図ることが可能となる。

本発明は、上述した実施形態に限定されるものではない。

例えば、カメラ等の撮像光学系の一組を異なる組合せで選択する場合には、撮像光学系は３つ以上であればいくつであっても良い。そして、より多くの組合せ（撮像光学系の位置関係）で重複領域を取得し、それらの重複領域が重なる領域にて対象物の位置を算出すれば、対象物Ｔの位置の計測精度をより一層向上させることができる。

また、ＸＹステージ等の移動機構によってカメラ等の撮像光学系を移動させれば、撮像光学系は２つであっても良い。この場合、２つの撮像光学系を用意するだけで、撮像光学系の少なくとも１つを移動させることにより複数の位置関係における重複領域を取得し、それらの重複領域が重なる領域にて対象物の位置を算出することができる。

また、複数の撮像光学系は、複数の光学系（レンズ等）と１つの撮像素子（ＣＣＤやＣＭＯＳ等）との組合せによって構成されても良いし、逆に、１つの光学系と複数の撮像素子との組合せによって構成されても良い。また、撮像光学系に１次元センサを適用しても良い。この場合、複数の１次元センサを同一平面（水平面）上に並設させることが好ましい。このことは、撮像光学系に２次元センサを適用した場合にも同様であり、各水平走査線を同一平面（水平面）上に配置することが好ましい。このとき、対応する水平走査線が同一直線上にあると更に良い。なお、撮像光学系そのものを移動させても良いし、撮像光学系を構成する光学系や撮像素子を相対的に移動させても良い。

また、上記実施形態では、２次元平面における対象物の位置の計測について説明したが、本発明は、３次元空間における対象物の位置の計測にも適用可能である。

１…位置計測システム、２_１〜２_４…カメラ（第１の撮像光学系、第２の撮像光学系）、１１…演算部、ＳＬ１〜ＳＬ４…視線（第１の視線、第２の視線）、ＳＲ１〜ＳＲ４…視線領域（第１の視線領域、第２の視線領域）、ＤＲ１〜ＤＲ３…重複領域、ＴＲ…重なる領域、Ｔ…対象物。

Claims

対象物のステレオ視によって前記対象物の位置を計測する位置計測システムであって、画像を構成する複数の最小要素のそれぞれの中心を通る第１の視線、及び前記第１の視線のそれぞれを中心として前記最小要素ごとに設定された第１の視線領域を有し、所定の前記第１の視線領域にて前記対象物を捉える第１の撮像光学系と、
画像を構成する複数の最小要素のそれぞれの中心を通る第２の視線、及び前記第２の視線のそれぞれを中心として前記最小要素ごとに設定された第２の視線領域を有し、所定の前記第２の視線領域にて前記対象物を捉える第２の撮像光学系と、
前記第１の撮像光学系と前記第２の撮像光学系との位置関係をｎ（ｎ：３以上の整数）種設定し、ｎ種の前記位置関係のそれぞれにおいて、所定の前記第１の視線領域と所定の前記第２の視線領域とが重なる重複領域をｎ種取得し、ｎ種の前記重複領域が重なる領域にて前記対象物の位置を算出する演算部と、を備え、
前記第１の撮像光学系及び前記第２の撮像光学系は、３つ以上の撮像光学系から選択された一組であり、
前記演算部は、前記第１の撮像光学系及び前記第２の撮像光学系を異なる組合せで選択することにより、前記位置関係をｎ種設定することを特徴とする位置計測システム。
所定の前記第１の視線領域及び所定の前記第２の視線領域は、画像における前記対象物の重心点又は特徴点を捉えることを特徴とする請求項１記載の位置計測システム。
対象物のステレオ視によって前記対象物の位置を計測する位置計測方法であって、
画像を構成する複数の最小要素のそれぞれの中心を通る第１の視線、及び前記第１の視線のそれぞれを中心として前記最小要素ごとに設定された第１の視線領域を有し、所定の前記第１の視線領域にて前記対象物を捉える第１の撮像光学系、並びに、画像を構成する複数の最小要素のそれぞれの中心を通る第２の視線、及び前記第２の視線のそれぞれを中心として前記最小要素ごとに設定された第２の視線領域を有し、所定の前記第２の視線領域にて前記対象物を捉える第２の撮像光学系を用意する工程と、
前記第１の撮像光学系と前記第２の撮像光学系との位置関係をｎ（ｎ：３以上の整数）種設定し、ｎ種の前記位置関係のそれぞれにおいて、所定の前記第１の視線領域と所定の前記第２の視線領域とが重なる重複領域をｎ種取得し、ｎ種の前記重複領域が重なる領域にて前記対象物の位置を算出する工程と、を含み、
前記第１の撮像光学系及び前記第２の撮像光学系は、３つ以上の撮像光学系から選択された一組であり、
前記第１の撮像光学系及び前記第２の撮像光学系を異なる組合せで選択することにより、前記位置関係をｎ種設定することを特徴とする位置計測方法。