JP5629874B2 - 三次元座標計測装置及び三次元座標計測方法 - Google Patents

Description

本発明は、異なる視点から対象点が撮影された２枚の画像を用いて、当該対象点の三次元座標を計測する三次元座標計測装置及び三次元座標計測方法に関する。

画像を用いて相対点の座標を計測する方法として、ステレオ法が知られている。

ステレオ法は、異なる位置に置かれた２つのカメラ（撮像装置）で対象点を撮像する、または、１つのカメラで異なる２つの位置から対象点を撮像する。そしてステレオ法は、この２つの画像を用いて、対象点の座標を算出する。具体的には、ステレオ法は、人間の両眼視のように、視差に基づく画像の微妙な違いに基づき、対象点の三次元座標を算出する（例えば、特許文献１及び特許文献２参照）。

特開平９−７９８４５号公報 特開平７−２１８２５１号公報

しかしながら、特許文献１記載の技術では、２台のカメラは平行ステレオ配置にしなければならず、正確なカメラの設定が必要となる。

それに対して、特許文献２記載の技術は、カメラの撮影方向のずれを補正することで、２台のカメラが平行ステレオ配置からずれている場合でも、対象点の三次元座標を算出することを可能としている。

ただし、特許文献２記載の技術では、２台のカメラの配置がステレオ配置から大きくずれる場合には、補正を行うことができないという課題を有する。

そこで、本発明は、２台のカメラの設定の自由度を向上できる三次元座標計測装置を提供することを目的とする。

上記目的を達成するために、本発明の一形態に係る三次元座標計測装置は、対象点の三次元座標を計測する三次元座標計測装置であって、第１の視点から第１の撮像装置により前記対象点が撮像された第１の対象画像と、第２の視点から第２の撮像装置により前記対象点が撮像された第２の対象画像とを取得する画像取得部と、前記第１の撮像装置で撮像された画像における画素毎に、当該画素に投影される三次元座標系の各点と前記第１の視点とを結ぶ線分と、前記第１の撮像装置の光軸とのなす角度である第１の画素視点投影角の情報と、前記第２の撮像装置で撮像された画像における画素毎に、当該画素に投影される前記三次元座標系の各点と前記第２の視点とを結ぶ線分と、前記第２の撮像装置の光軸とのなす角度である第２の画素視点投影角の情報と、前記第１の撮像装置の光軸方向を示す第１の光軸情報と、前記第２の撮像装置の光軸方向を示す第２の光軸情報と、前記第１の視点と前記第２の視点との相対位置を示す視点間情報とを保持する記憶部と、前記第１の画素視点投影角の情報を用いて、前記第１の対象画像に投影される前記対象点に対応する前記第１の画素視点投影角である第１の対象視点投影角を取得する第１の視点投影角抽出部と、前記第２の画素視点投影角の情報を用いて、前記第２の対象画像に投影される前記対象点に対応する前記第２の画素視点投影角である第２の対象視点投影角を取得する第２の視点投影角抽出部と、前記第１及び第２の対象視点投影角と、前記第１及び第２の撮像装置の光軸方向と、前記視点間情報とを用いて、前記対象点の三次元座標を算出する座標算出部とを備える。

この構成によれば、本発明の一形態に係る三次元座標計測装置は、２台のカメラが平行ステレオ配置でない場合でも、視点投影角を用いて対象点の三次元座標を容易に算出できる。このように、本発明の一形態に係る三次元座標計測装置は、２台のカメラの設定の自由度を向上できる。

また、前記記憶部は、さらに、前記第１の撮像装置が、当該第１の撮像装置の光軸を中心として回転している角度である第１の回転角を示す情報と、前記第２の撮像装置が、当該第２の撮像装置の光軸を中心として回転している角度である第２の回転角を示す情報とを保持し、前記座標算出部は、前記第１及び第２の対象視点投影角と、前記第１及び第２の撮像装置の光軸方向と、前記視点間情報と、前記第１及び第２の回転角とを用いて、前記対象点の前記三次元座標を算出してもよい。

この構成によれば、本発明の一形態に係る三次元座標計測装置は、カメラが、当該カメラの光軸を中心に回転している場合でも対象点の三次元座標を容易に算出できる。

また、前記座標算出部は、前記第１の対象視点投影角と、前記第１の撮像装置の光軸方向と、前記第１の回転角とを用いて、前記第１の視点と前記第２の視点とを結ぶ線分と、前記第１の視点と前記対象点とを結ぶ線分とがなす角度である第１の対象角を算出し、前記第２の対象視点投影角と、前記第２の撮像装置の光軸方向と、前記第２の回転角とを用いて、前記第１の視点と前記第２の視点とを結ぶ線分と、前記第２の視点と前記対象点とを結ぶ線分とがなす角度である第２の対象角を算出し、前記視点間情報と、前記第１の対象角と、前記第２の対象角とを用いて、前記対象点の三次元座標を算出してもよい。

また、前記第１の光軸情報は、前記第１の視点を通り、かつ、前記第１の視点と前記第２の視点とを結ぶ線分と垂直である第１の基準線と、前記第１の撮像装置の光軸とのなす角度である第１の撮影角を示す情報であり、前記第２の光軸情報は、前記第２の視点を通り、かつ、前記第１の視点と前記第２の視点とを結ぶ線分と垂直であり、かつ、前記第１の基準線と平行な第２の基準線と、前記第２の撮像装置の光軸とのなす角度である第２の撮影角を示す情報であり、前記座標算出部は、前記第１の視点と前記第２の視点とを結ぶ線分と前記第１の基準線とがなす角度と、前記第１の視点投影角と、前記第１の撮影角と、前記第１の回転角とを用いて前記第１の対象角を算出し、前記第１の視点と前記第２の視点とを結ぶ線分と前記第２の基準線とがなす角度と、前記第２の視点投影角と、前記第２の撮影角と、前記第２の回転角とを用いて前記第２の対象角を算出してもよい。

また、前記画像取得部は、さらに、相対座標が既知である３点以上の基準点のうちのいずれか３点である第１の基準点が、前記第１の視点から前記第１の撮像装置により撮像された第１の基準画像と、前記３点以上の基準点のうちのいずれか３点である第２の基準点が、前記第２の視点から前記第２の撮像装置により撮像された第２の基準画像とを取得し、前記三次元座標計測装置は、さらに、前記第１の画素視点投影角の情報を用いて、前記第１の基準画像に投影される前記３点の第１の基準点に対応する前記第１の画素視点投影角である３つの第１の基準視点投影角を取得する第３の視点投影角抽出部と、前記第２の画素視点投影角の情報を用いて、前記第２の基準画像に投影される前記３点の第２の基準点に対応する前記第２の画素視点投影角である３つの第２の基準視点投影角を取得する第４の視点投影角抽出部と、前記３つの第１の基準視点投影角と前記３点の第１の基準点の相対座標とを用いて、前記第１の基準画像の撮像面である第１の撮像面と前記３点の基準点を含む第１の基準平面とのなす第１の傾斜角を算出する第１の傾斜角算出部と、前記３つの第２の基準視点投影角と前記３点の第２の基準点の相対座標とを用いて、前記第２の基準画像の撮像面である第２の撮像面と前記３点の第２の基準点を含む第２の基準平面とのなす第２の傾斜角を算出する第２の傾斜角算出部と、前記３点の第１の基準点と前記３点の第２の基準点との相対位置関係と、前記第１の傾斜角と、前記第２の傾斜角とを用いて、前記第１の撮像装置の光軸方向と、前記第２の撮像装置の光軸方向と、前記第１の回転角と、前記第２の回転角とを算出する設定情報算出部とを備えてもよい。

この構成によれば、本発明の一形態に係る三次元座標計測装置は、視点投影角を用いて、第１及び第２の撮像装置の光軸方向を容易に算出できる。

また、前記設定情報算出部は、前記３点の第１の基準点と前記３点の第２の基準点との相対位置関係と、前記第１の傾斜角と、前記第２の傾斜角とを用いて、前記第１の視点及び前記第２の視点の三次元座標を算出し、前記第１の視点及び前記第２の視点の三次元座標から、前記視点間情報を算出してもよい。

この構成によれば、本発明の一形態に係る三次元座標計測装置は、視点投影角を用いて視点間距離を容易に算出できる。

なお、本発明は、このような三次元座標計測装置として実現できるだけでなく、三次元座標計測装置に含まれる特徴的な手段をステップとする三次元座標計測方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の非一時的なコンピュータ読み取り可能な記録媒体、及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

本発明は、２台のカメラの設定の自由度を向上できる三次元座標計測装置を提供できる。

図１は、本発明の実施の形態に係る三次元座標計測装置を含むシステムの構成を示す図である。 図２は、本発明の実施の形態に係る三次元座標計測装置のブロック図である。 図３は、本発明の実施の形態に係る三次元座標計測処理を説明するための図である。 図４は、本発明の実施の形態に係る三次元計測処理のフローチャートである。 図５は、本発明の実施の形態に係る、第１の調整動作時における、三次元座標計測装置を含むシステムの構成を示す図である。 図６は、本発明の実施の形態に係るカメラ設定検出部のブロック図である。 図７は、本発明の実施の形態に係る第１の調整動作のフローチャートである。 図８は、本発明の実施の形態に係る、第１の調整動作を説明するための図である。 図９Ａは、本発明の実施の形態に係る、第１の撮像面に投影される基準点を示す図である。 図９Ｂは、本発明の実施の形態に係る、第２の撮像面に投影される基準点を示す図である。 図１０は、本発明の実施の形態に係る傾斜角算出処理のフローチャートである。 図１１は、本発明の実施の形態に係る傾斜角算出処理を説明するための図である。 図１２は、本発明の実施の形態に係る傾斜角算出処理を説明するための図である。 図１３は、本発明の実施の形態に係る第１の調整動作を説明するための図である。 図１４は、本発明の実施の形態に係る、第２の調整動作時における、三次元座標計測装置を含むシステムの構成を示す図である。 図１５は、本発明の実施の形態に係る第２の調整動作のフローチャートである。 図１６は、本発明の実施の形態に係る視点投影角を説明するための図である。 図１７Ａは、本発明の実施の形態に係る、歪み補正前の画像例を示す図である。 図１７Ｂは、本発明に実施の形態に係る、歪み補正後の画像例を示す図である。 図１８は、本発明の実施の形態に係る第２の調整動作を説明するための図である。

以下、本発明の実施の形態について図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。

本発明の実施の形態に係る三次元座標計測装置は、異なる視点より対象点が撮影された２つの画像から、各画像における対象点の視点投影角を抽出する。そして、当該三次元座標計測装置は、当該視点投影角を用いて、対象点の座標を算出する。

これにより、本発明の実施の形態に係る三次元座標計測装置は、２台のカメラが平行ステレオ配置でない場合でも対象点の三次元座標を算出できる。このように、本発明の実施の形態に係る三次元座標計測装置は、２台のカメラの設定の自由度を向上できる。

まず、本発明の実施の形態に係る三次元座標計測装置を含む三次元座標計測システムの構成を説明する。

図１は、本発明の実施の形態に係る三次元座標計測システムの構成を示す図である。

図１に示す三次元座標計測システムは、対象構造物５０に含まれる対象点Ｗの三次元座標を計測する。この三次元座標計測システムは、三次元座標計測装置９０と、撮像装置であるカメラ１０Ａ及び１０Ｂと、ケーブル３０Ａ及び３０Ｂとを含む。

カメラ１０Ａは、対象構造物５０を、第１の視点Ｍ_１から撮像することにより画像データ６０Ａを生成する第１の撮像装置である。カメラ１０Ｂは、対象構造物５０を、第２の視点Ｍ_２から撮像することにより画像データ６０Ｂを生成する第２の撮像装置である。ここで、第１の視点Ｍ_１及び第２の視点Ｍ_２は、カメラ１０Ａ及び１０Ｂの撮影レンズの主点の位置に対応している。また、図１中、２点鎖線で書かれているＯ_１及びＯ_２は、それぞれカメラ１０Ａ及び１０Ｂの光軸（撮影レンズの光軸）を示している。

また、カメラ１０Ａとカメラ１０Ｂとの相対位置関係と、光軸Ｏ_１及びＯ_２とは予め設定されている。例えば、カメラ１０Ａとカメラ１０Ｂとは所定の部材を介して連結されている。これにより、カメラ１０Ａとカメラ１０Ｂとの相対位置関係と、カメラ１０Ａ及びカメラ１０Ｂの向き（光軸）とは固定されている。

カメラ１０Ａで生成された画像データ６０Ａは、ケーブル３０Ａを介して、三次元座標計測装置９０へ送られる。カメラ１０Ｂで生成された画像データ６０Ｂは、ケーブル３０Ｂを介して、三次元座標計測装置９０へ送られる。

ケーブル３０Ａ及び３０Ｂは、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブルである。なお、ケーブル３０Ａ及び３０Ｂは、ＵＳＢ以外のケーブルであってもよい。また、カメラ１０Ａ及び１０Ｂは、画像データ６０Ａ及び６０Ｂを、無線通信を介して、三次元座標計測装置９０へ送ってもよい。また、カメラ１０Ａ、１０Ｂ及び三次元座標計測装置９０に着脱可能な記録媒体を用いて、画像データ６０Ａ及び６０Ｂを三次元座標計測装置９０へ送ってもよい。

三次元座標計測装置９０は、例えば、パーソナルコンピュータである。この三次元座標計測装置９０は、画像データ６０Ａ及び６０Ｂを用いて対象点Ｗの三次元座標を計測する。

図２は、本発明の実施の形態に係る三次元座標計測装置９０の特徴的な機能構成を示すブロック図である。例えば、図２に示す処理部の機能は、パーソナルコンピュータに含まれるプロセッサがプログラムを実行することにより実現される。

この三次元座標計測装置９０は、異なる視点から対象点Ｗが撮影された２枚の画像を用いて、対象点Ｗの三次元座標１１２を算出する。ここで、三次元座標１１２は、例えば、第１の視点Ｍ_１を原点とする三次元座標系における座標である。なお、三次元座標１１２の三次元座標系は、これに限定されるものではなく任意の三次元座標系でもよい。また、三次元座標１１２は、予め定められた点と対象点との相対座標であってもよいし、予め定められた点と対象点Ｗとの距離を示す情報であってもよい。ここで予め定められた点とは、例えば、第１の視点Ｍ_１又は第２の視点Ｍ_２である。なお、この予め定められた点は、第１の視点Ｍ_１と第２の視点Ｍ_２との間に存在する任意の点であってもよい。

図２に示すように三次元座標計測装置９０は、画像取得部１０１と、記憶部１０２と、第１の視点投影角抽出部１０３Ａと、第２の視点投影角抽出部１０３Ｂと、座標算出部１０５と、カメラ設定検出部１０６とを備える。

画像取得部１０１は、第１の視点Ｍ_１からカメラ１０Ａにより対象点Ｗが撮像された第１の対象画像（画像データ６０Ａ）と、第２の視点Ｍ_２からカメラ１０Ｂにより対象点Ｗが撮像された第２の対象画像（画像データ６０Ｂ）とを取得する。

記憶部１０２は、第１の視点投影角情報１１１Ａと、第２の視点投影角情報１１１Ｂと、第１の撮影角θ_Ａと、第２の撮影角θ_Ｂと、視点間距離ｄとを保持する。

図３は、カメラ１０Ａ及び１０Ｂと対象点Ｗとの関係を示す図である。図３に示す第１の基準線Ｌは、第１の視点Ｍ_１を通り、かつ、第１の視点Ｍ_１と第２の視点Ｍ_２とを結ぶ線分Ｍ_１Ｍ_２と垂直な直線である。基準線Ｒは、第２の視点Ｍ_２を通り、かつ、線分Ｍ_１Ｍ_２と垂直な直線である。また、基準線Ｌ及び基準線Ｒは平行線である。

なお、図３では二次元の座標及び角度等を図示しているが、実際には、三次元の座標及び角度等が用いられる。また、この場合でも、以下に示す方法と同様の方法を用いることができるので、ここでは説明の簡略化のために図３を用いて説明を行う。

第１の撮影角θ_Ａは、第１の基準線Ｌと、カメラ１０Ａの光軸Ｏ_１とのなす角度である。第２の撮影角θ_Ｂは、第２の基準線Ｒと、カメラ１０Ｂの光軸Ｏ_２とのなす角度である。言い換えると、第１の撮影角θ_Ａは、カメラ１０Ａの光軸方向を示す第１の光軸情報であり、第２の撮影角θ_Ｂは、カメラ１０Ｂの光軸方向を示す第２の光軸情報である。

視点間距離ｄは、第１の視点Ｍ_１と第２の視点Ｍ_２との間の距離と、第１の視点Ｍ_１と第２の視点Ｍ_２との配置関係とを示す。ここで第１の視点Ｍ_１と第２の視点Ｍ_２との配置関係とは、例えば、カメラ１０Ａ（第１の視点Ｍ_１）及びカメラ１０Ｂ（第１の視点Ｍ_２）のうちいずれか右側に配置されており、いずれが左側に配置されているかを示す情報である。つまり、視点間距離ｄは、第１の視点Ｍ_１と第２の視点Ｍ_２との相対座標（相対位置）を示す相対位置情報である。

第１の視点投影角情報１１１Ａは、カメラ１０Ａで撮影された画像における、各画素の視点投影角（本発明の第１の画素視点投影角に相当）を示す情報である。ここで視点投影角とは、画素に投影される三次元座標系の各点と視点とを結ぶ線分と、撮像装置（カメラ）の光軸とのなす角度である。また、視点投影角は、カメラの設定に応じて決定される値であり、カメラの設定状態ごとに一意に決定される値である。例えば、第１の視点投影角情報１１１Ａは、複数の画素の各々に対応する視点投影角を示すテーブルである。

第２の視点投影角情報１１１Ｂは、カメラ１０Ｂで撮影された画像における、各画素の視点投影角（本発明の第２の画素視点投影角に相当）を示す情報である。例えば、第２の視点投影角情報１１１Ｂは、複数の画素の各々に対応する視点投影角を示すテーブルである。

また、これらの第１の視点投影角情報１１１Ａと、第２の視点投影角情報１１１Ｂと、第１の撮影角θ_Ａと、第２の撮影角θ_Ｂと、視点間距離ｄとは、予め記憶部１０２に記憶されていてもよいし、後述するように、カメラ設定検出部１０６により算出されてもよい。

また、第１の視点投影角情報１１１Ａと、第２の視点投影角情報１１１Ｂと、第１の撮影角θ_Ａと、第２の撮影角θ_Ｂと、視点間距離ｄとは、複数の記憶部１０２に分割して記憶されていてもよい。

第１の視点投影角抽出部１０３Ａは、第１の視点投影角情報１１１Ａを用いて、第１の対象画像に投影される対象点Ｗに対応する視点投影角θ_Ａ１（本発明の第１の対象視点投影角に相当）を取得する。

第２の視点投影角抽出部１０３Ｂは、第２の視点投影角情報１１１Ｂを用いて、第２の対象画像に投影される対象点Ｗに対応する視点投影角θ_Ｂ１（本発明の第２の対象視点投影角に相当）を取得する。

座標算出部１０５は、第１の視点投影角抽出部１０３Ａ及び第２の視点投影角抽出部１０３Ｂにより取得された対象視点投影角θ_Ａ１及びθ_Ｂ１と、第１の撮影角θ_Ａ及び第２の撮影角θ_Ｂと、視点間距離ｄとを用いて、対象点Ｗの三次元座標１１２を算出する。

座標算出部１０５により算出された対象点Ｗの三次元座標１１２は、例えば、三次元座標計測装置９０が備える表示部（図示せず）に表示される。なお、三次元座標１１２は、三次元座標計測装置９０の外部に出力されてもよいし、三次元座標計測装置９０が備える記憶部に記憶されてもよい。

カメラ設定検出部１０６は、第１の視点投影角情報１１１Ａと、第２の視点投影角情報１１１Ｂと、第１の撮影角θ_Ａと、第２の撮影角θ_Ｂと、視点間距離ｄとを算出し、算出した第１の視点投影角情報１１１Ａと、第２の視点投影角情報１１１Ｂと、第１の撮影角θ_Ａと、第２の撮影角θ_Ｂと、視点間距離ｄとを記憶部に記憶する。

次に、三次元座標計測装置９０の動作を説明する。

図４は、三次元座標計測装置９０による三次元座標計測処理のフローチャートである。

まず、画像取得部１０１は、第１の対象画像及び第２の対象画像を取得する（Ｓ１０１）。ここで、第１の対象画像は、第１の視点Ｍ_１からカメラ１０Ａにより対象点Ｗが撮像された画像である。第２の対象画像は、第２の視点Ｍ_２からカメラ１０Ｂにより対象点Ｗが撮像された画像である。

次に、第１の視点投影角抽出部１０３Ａは、第１の対象画像から対象点Ｗの座標を抽出する。そして、第１の視点投影角抽出部１０３Ａは、第１の視点投影角情報１１１Ａを参照して、抽出した対象点Ｗの座標に対応する視点投影角θ_Ａ１を取得する。同様に、第２の視点投影角抽出部１０３Ｂは、第２の対象画像から対象点Ｗの座標を抽出する。そして、第２の視点投影角抽出部１０３Ｂは、第２の視点投影角情報１１１Ｂを参照して、抽出した対象点Ｗの座標に対応する視点投影角θ_Ｂ１を取得する（Ｓ１０２）。

次に、座標算出部１０５は、第１の撮影角θ_Ａと、第２の撮影角θ_Ｂと、視点投影角θ_Ａ１及びθ_Ｂ１とを用いて、図３に示す第１の対象角θ_Ａ２及び第２の対象角θ_Ｂ２を算出する（Ｓ１０３）。ここで、図３に示すように、第１の対象角θ_Ａ２は、線分Ｍ_１Ｍ_２と、線分Ｍ_１Ｗとのなす角度である。第２の対象角θ_Ｂ２は、線分Ｍ_１Ｍ_２と、線分Ｍ_２Ｗとのなす角度である。

具体的には、座標算出部１０５は、下記（式１）を用いて、第１の対象角θ_Ａ２を算出する。また、座標算出部１０５は、下記（式２）を用いて、第２の対象角θ_Ｂ２を算出する。

θ_Ａ２＝θ_Ｌ−θ_Ａ−θ_Ａ１ （式１）
θ_Ｂ２＝θ_Ｒ−θ_Ｂ−θ_Ｂ１ （式２）

ここで、θ_Ｌは、第１の基準線Ｌと線分Ｍ_１Ｍ_２とがなす角度である。θ_Ｒは、第２の基準線Ｒと線分Ｍ_１Ｍ_２とがなす角度である。また、ここでは、θ_Ｌ及びθ_Ｒは、共に９０度である。

次に、座標算出部１０５は、第１の対象角θ_Ａ２と、第２の対象角θ_Ｂ２と、視点間距離ｄとを用いて、対象点Ｗの三次元座標１１２を算出する（Ｓ１０４）。

ここで、第１の対象角θ_Ａ２と第２の対象角θ_Ｂ２とから、対象点Ｗ、第１の視点Ｍ_１及び第２の視点Ｍ_２を頂点とする三角形ＷＭ_１Ｍ_２の３つの内角が分かる。さらに、三角形ＷＭ_１Ｍ_２の一辺Ｍ_１Ｍ_２の長さ（視点間距離ｄ）が既知なので、対象点Ｗの三次元座標１１２を算出する。

また、視点間距離ｄは、第１の視点Ｍ_１と第２の視点Ｍ_２との相対位置関係を示す情報である。言い換えると、この視点間距離ｄを用いて、任意の三次元座標系において、第１の視点Ｍ_１及び第２の視点Ｍ_２の三次元座標を定義できる。例えば、座標算出部１０５は、第１の視点Ｍ_１の座標を原点（０，０，０）とし、第２の視点Ｍ_２の座標を（ｄ，０，０）とする三次元座標系を設定する。そして、座標算出部１０５は、設定した三次元座標系における対象点Ｗの座標を算出する。

また、例えば、三次元座標算出部１０５は、以下の方法で対象点Ｗの三次元座標１１２を算出できる。

まず、座標算出部１０５は、第１の対象角θ_Ａ２を用いて、第１の視点Ｍ_１と対象点Ｗとを通る第１のベクトルを算出する。具体的には、座標算出部１０５は、第１の視点Ｍ_１を通り、かつ、第１の対象角θ_Ａ２で示される方向のベクトルを第１のベクトルとして算出する。なお、座標算出部１０５は、第１の対象角θ_Ａ２の代わりに、第１の撮影角θ_Ａ及び視点投影角θ_Ａ１を用いてもよい。

同様に、座標算出部１０５は、第２の対象角θ_Ｂ２を用いて、第２の視点Ｍ_２と対象点Ｗとを通る第２のベクトルを算出する。また、座標算出部１０５は、第２の対象角θ_Ｂ２の代わりに、第２の撮影角θ_Ｂ及び視点投影角θ_Ｂ１を用いてもよい。

次に、座標算出部１０５は、第１のベクトルと第２のベクトルとの最接近点の座標を、対象点Ｗの三次元座標１１２として算出する。

以上の処理により、三次元座標計測装置９０は、対象点Ｗの三次元座標１１２を算出できる。

このように、本発明の実施の形態に係る三次元座標計測装置９０は、カメラ１０Ａ及びカメラ１０Ｂで撮影された画像の各画素に対する視点投影角を予め保持しておき、保持する視点投影角を用いて、対象点Ｗの三次元座標１１２を算出する。具体的には、三次元座標計測装置９０は、異なる視点より対象点が撮影された２つの画像から、各画像における対象点の視点投影角を抽出する。そして、当該三次元座標計測装置は、当該視点投影角を用いて、対象点の座標を算出する。

これにより、本発明の実施の形態に係る三次元座標計測装置９０は、対象点Ｗの三次元座標を容易に算出できる。さらに、三次元座標計測装置９０は、第１の撮影角θ_Ａ及び第２の撮影角θ_Ｂを用いることで、２台のカメラが平行ステレオ配置でない場合でも対象点Ｗの三次元座標を算出できる。このように、本発明の実施の形態に係る三次元座標計測装置９０は、２台のカメラの設定の自由度を向上できる。

また、上記特許文献１及び特許文献２記載の技術では、撮像画像に必須の情報が必要になる。具体的には、特許文献１ではナンバープレートが必要であり、特許文献２では「実空間における互いに変更な少なくとも２本の直線」が必要である。一方で、本実施の形態に係る三次元座標計測装置９０では、これらの情報が必要ない。

なお、上記説明では、第１の基準線Ｌは、第１の視点Ｍ_１を通り、かつ線分Ｍ_１Ｍ_２に垂直な直線を用いる例を述べたが、第１の基準線Ｌは、第１の視点Ｍ_１を通る直線であればよい。この場合でも、上記と同様の処理を行うことができる。同様に、第２の基準線Ｒは、第２の視点Ｍ_２を通る直線であればよい。言い換えると、第１の撮影角θ_Ａ及び第２の撮影角θ_Ｂは、カメラ１０Ａ及び１０Ｂの光軸方向を示す情報であればよい。例えば、第１の基準線Ｌ及び第２の基準線Ｒは、互いに平行かつ線分Ｍ_１Ｍ_２に対して垂直でない直線であってもよい。また、線分Ｍ_１Ｍ_２と、カメラの光軸とのなす角を、第１の撮影角θ_Ａ及び第２の撮影角θ_Ｂとして用いてもよい。

また、視点間距離ｄは、第１の視点Ｍ_１と第２の視点Ｍ_２との相対位置関係を示す情報であればよい。例えば、視点間距離ｄの代わりに、三次元座標系における第１の視点Ｍ_１の座標及び第２の視点Ｍ_２の座標を用いてもよい。

次に、カメラ設定検出部１０６による第１の撮影角θ_Ａ、第２の撮影角θ_Ｂ及び視点間距離ｄを検出する第１の調整動作を説明する。なお、第１の調整動作時には、第１の視点投影角情報１１１Ａ及び第２の視点投影角情報１１１Ｂは、記憶部１０２に保持されている。

図５は、第１の調整動作時における、本実施の形態に係る三次元座標計測システムの構成を示す図である。

図５に示すように、第１の調整動作時には、カメラ１０Ａは、第１の視点Ｍ_１から基準構造物４０を撮像することで画像データ６１Ａ（第１の基準画像）を生成する。カメラ１０Ｂは、第２の視点Ｍ_２から基準構造物４０を撮像することで、画像データ６１Ｂ（第２の基準画像）を生成する。

基準構造物４０は、三次元座標系において、相対座標が既知である３点の基準点Ａ、Ｂ、Ｃを有している。言い換えると、点Ａ、Ｂ、Ｃによって定義される三角形を基準構造物４０と呼ぶ。

図６は、カメラ設定検出部１０６の構成を示すブロック図である。図６に示すように、カメラ設定検出部１０６は、第３の視点投影角抽出部１２１Ａと、第４の視点投影角抽出部１２１Ｂと、第１の傾斜角算出部１２２Ａと、第２の傾斜角算出部１２２Ｂと、設定情報算出部１２３とを備える。

第３の視点投影角抽出部１２１Ａは、第１の視点投影角情報１１１Ａを用いて、第１の基準画像に投影される基準点Ａ、Ｂ及びＣの各々に対応する３つの視点投影角（本発明の第１の基準視点投影角に相当）を取得する。

第４の視点投影角抽出部１２１Ｂは、第２の視点投影角情報１１１Ｂを用いて、第２の基準画像に投影される基準点Ａ、Ｂ及びＣの各々に対応する３つの視点投影角（本発明の第２の基準視点投影角に相当）を取得する。

第１の傾斜角算出部１２２Ａは、３つの第１の基準視点投影角と、３点の基準点Ａ、Ｂ及びＣの相対座標とを用いて、第１の傾斜角を算出する。ここで、第１の傾斜角は、第１の基準画像の撮像面である第１の撮像面と、３点の基準点Ａ、Ｂ及びＣを含む基準平面とのなす角度である。

第２の傾斜角算出部１２２Ｂは、３つの第２の基準視点投影角と、３点の基準点Ａ、Ｂ及びＣの相対座標とを用いて、第２の傾斜角を算出する。ここで、第２の傾斜角は、第２の基準画像の撮像面である第２の撮像面と、３点の基準点Ａ、Ｂ及びＣを含む基準平面とのなす角度である。

設定情報算出部１２３は、第１の傾斜角と、第２の傾斜角とを用いて、第１の撮影角θ_Ａと、第２の撮影角θ_Ｂとを算出する。また、設定情報算出部１２３は、第１の傾斜角と、第２の傾斜角とを用いて、第１の視点Ｍ_１及び第２の視点Ｍ_２の三次元座標を算出する。そして、設定情報算出部１２３は、第１の視点Ｍ_１及び第２の視点Ｍ_２の三次元座標から、視点間距離ｄを算出する。

図７は、三次元座標計測装置９０による第１の調整動作のフローチャートである。

まず、画像取得部１０１は、図８に示すように、第１の基準画像及び第２の基準画像を取得する（Ｓ１１１）。

なお、本実施の形態では、説明の簡略化のため、第１の基準画像及び第２の基準画像に含まれる３点の基準点が同一である場合を例に説明するが、第１の基準画像及び第２の基準画像に含まれる３点の基準点は異なってもよい。言い換えると、第１の基準画像は、相対座標が既知である３点以上の基準点のうちのいずれか３点である第１の基準点が、第１の視点Ｍ_１からカメラ１０Ａにより撮像された画像であればよい。また、第２の基準画像は、上記３点以上の基準点のうちのいずれか３点である第２の基準点が、第２の視点Ｍ_１からカメラ１０Ｂにより撮像された画像であればよい。この場合、各演算処理において、さらに、第１の基準点と第２の基準点との相対位置関係を考慮することで、第１の基準点と第２の基準点とが同じ場合と同様の処理を行うことができる。

次に、第３の視点投影角抽出部１２１Ａは、図９Ａに示すように、例えば、第１の基準画像における光学中心位置Ｃ_ｐ１を原点として、第１の取得画像に投影される基準点Ａ、Ｂ及びＣである点Ａ_０１、Ｂ_０１及びＣ_０１の座標を第１の基準画像から抽出する。次に、第３の視点投影角抽出部１２１Ａは、第１の視点投影角情報１１１Ａを用いて、抽出した点Ａ_０１、Ｂ_０１及びＣ_０１の座標に対応する第１の基準視点投影角を抽出する。同様に、第４の視点投影角抽出部１２１Ｂは、図９Ｂに示すように、例えば、第２の基準画像における光学中心位置Ｃ_ｐ２を原点として、第２の基準画像に投影される基準点Ａ、Ｂ及びＣである点Ａ_０２、Ｂ_０２及びＣ_０２の座標を第２の基準画像から抽出する。次に、第４の視点投影角抽出部１２１Ｂは、第２の視点投影角情報１１１Ｂを用いて、抽出した点Ａ_０２、Ｂ_０２及びＣ_０２の座標に対応する第２の基準視点投影角を抽出する（Ｓ１１２）。

次に、第１の傾斜角算出部１２２Ａは、第１の基準画像の撮像面である第１の撮像面と、基準点Ａ、Ｂ及びＣを含む基準平面とのなす角である第１の傾斜角を算出する。同様に、第２の傾斜角算出部１２２Ｂは、第２の基準画像の撮像面である第２の撮像面と、基準点Ａ、Ｂ及びＣを含む基準平面とのなす角である第２の傾斜角を算出する（Ｓ１１３）。

以下、この第１及び第２の傾斜角を算出する処理の一例を詳細に説明する。

図１０は、第１の傾斜角及び第２の傾斜角を算出する処理（Ｓ１１３）のフローチャートである。また、図１１は、図１０に示す処理を説明するための図である。以下、図１０及び図１１を用いて、第１の傾斜角を算出する処理を説明する。

まず、第１の傾斜角算出部１２２Ａは、３点の基準点Ａ、Ｂ及びＣのうちいずれか１点、例えば、点Ａを原点とするＸ_１−Ｙ_１−Ｚ_１座標系を設定する（Ｓ１４１）。このとき、第１の傾斜角算出部１２２Ａは、Ｘ_１軸及びＹ_１軸を、第１の視点Ｍ_１より撮像された第１の撮像面と平行になるように設定する。また、第１の傾斜角算出部１２２Ａは、Ｚ_１軸を、第１の視点Ｍ_１より撮像された第１の撮像面と垂直になるように設定する。

次に、第１の傾斜角算出部１２２Ａは、基準点Ｂ及びＣと同等な仮想点Ｂ_１及びＣ_１の座標を設定する（Ｓ１４２）。ここで、点Ｂ_１は点Ｂに相当し、点Ｃ_１は点Ｃに相当する。例えば、本実施の形態では、点Ｂ_１の座標を（Ｂ_１ｘ，０，０）、点Ｃ_１の座標を（０，Ｃ_１ｙ，０）と設定する。

そして、第１の傾斜角算出部１２２Ａは、点Ｂ_１及びＣ_１を、Ｘ_１軸まわりに角度α_１ｎ、Ｙ_１軸まわりに角度β_１ｎ、Ｚ_１軸まわりに角度γ_１ｎ、細かく別々に回転させた複数の変換基準点である、点Ｂ_１ｎ’（Ｂ_１ｎｘ’，Ｂ_１ｎｙ’，Ｂ_１ｎｚ’）及び点Ｃ_１ｎ’（Ｃ_１ｎｘ’，Ｃ_１ｎｙ’，Ｃ_１ｎｚ’）を算出する（Ｓ１４３）。ここで、ｎ＝１、２、３・・・である。

次に、第１の傾斜角算出部１２２Ａは、第３の視点投影角抽出部１２１Ａにより抽出された視点投影角を用いて、点Ｂ_１ｎ’及び点Ｃ_１ｎ’を、Ｘ_１−Ｙ_１平面に投影させた複数の変換投影基準点である、点Ｂ_１ｎ”（Ｂ_１ｎｘ”，Ｂ_１ｎｙ”，０）及び点Ｃ_１ｎ”（Ｃ_１ｎｘ”，Ｃ_１ｎｙ”，０）を算出する（Ｓ１４４）。ここで、ｎ＝１、２、３・・・である。

ここで、第３の視点投影角抽出部１２１Ａにより抽出された、点Ｂ_０１のＺ_１−Ｘ_１面の視点投影角をε_１ｘ、点Ｂ_０１のＺ_１−Ｙ_１面の視点投影角をε_１ｙ、点Ｃ_０１のＺ_１−Ｘ_１面の視点投影角をφ_１ｘ、点Ｃ_０１のＺ_１−Ｙ_１面の視点投影角をφ_１ｙとする。第１の撮像面における基準点Ａ、Ｂ、Ｃである点Ａ_０１、Ｂ_０１、Ｃ_０１を結ぶ三角形Ａ_０１Ｂ_０１Ｃ_０１と、点Ａ、点Ｂ_１ｎ”、点Ｃ_１ｎ”を結ぶ三角形ＡＢ_１ｎ”Ｃ_１ｎ”が相似となるときには、図１２に示すように、∠Ｂ_１ｎ’Ｍ_１Ｃ_ｐ１及び∠Ｂ_１ｎ”Ｍ_１Ｃ_ｐ１はε_１ｘとなる。

したがって、Ｂ_１ｎｘ”は、（式３）で示される。

同様にして、Ｂ_１ｎｙ”、Ｃ_１ｎｘ”及びＣ_１ｎｙ”の各々は、（式４）〜（式６）で表される。

最後に、第１の傾斜角算出部１２２Ａは、三角形Ａ_０１Ｂ_０１Ｃ_０１と、三角形ＡＢ_１ｎ”Ｃ_１ｎ”とが最も相似となる変換投影基準点Ｂ_１”及びＣ_１”を決定することにより、第１の傾斜角（α_１，β_１，γ_１）を算出する（Ｓ１４５）。

具体的な相似比較計算法として、線分Ａ_０１Ｂ_０１を、線分ＡＢ_１ｎ”と同じ長さにするとともに、点Ａ_０１を点Ａと一致させるように点Ｂ_０１及び点Ｃ_０１を移動させる。この状態において、線分Ｂ_０１Ｂ_１ｎ”の長さと線分Ｃ_０１Ｃ_１ｎ”の長さとの和が最小となるように、第１の傾斜角（α_１，β_１，γ_１）を算出する方法がある。

ただし、相似比較計算法は、上記の方法に限られない。例えば、線分Ａ_０１Ｂ_０１を、線分ＡＢ_１ｎ”と同じ長さにするとともに、線分Ａ_０１Ｂ_０１を線分ＡＢ_１ｎ”と一致させるように点Ｃ_０１を移動させる。そして、この状態において、点Ｃ_０１と点Ｃ_１ｎ”とのずれ量が最小となるように、第１の傾斜角（α_１，β_１，γ_１）を算出してもよい。

同様にして、第２の傾斜角算出部１２２Ｂは、第２の撮像面と、基準点を含む平面とのなす角である第２の傾斜角（α_２，β_２，γ_２）を算出する。

このようにして、第１の傾斜角及び第２の傾斜角が算出される。

以上、傾斜角の算出について、実施の形態に基づいて説明したが、第１及び第２の傾斜角の算出方法は、この実施の形態に限定されるものではない。

例えば、本実施の形態では、第１の傾斜角算出部１２２Ａは、座標が既知である３点の基準点Ａ、Ｂ及びＣのうちいずれか１点を原点とするＸ_１−Ｙ_１−Ｚ_１座標系を設定していたが、原点は、座標が既知である３点の基準点以外から選定してもよい。

また、例えば、第１の傾斜角算出部１２２Ａは、点Ａを、点Ａの視点投影角線上のある位置に置く。そして、第１の傾斜角算出部１２２Ａは、点Ｂを、点Ｂの視点投影角線上をある指定ピッチで、かつある範囲内を順次スライドさせる。このとき、第１の傾斜角算出部１２２Ａは、点Ｂの位置ごとに線分ＡＢを軸とした円周上に点Ｃを配置する。そして、第１の傾斜角算出部１２２Ａは、当該円周上の位置のうち、点Ｃが、点Ｃの視点投影角線に最接近した条件を記憶しておく。このように、第１の傾斜角算出部１２２Ａは、点Ｂを順次スライドさせて、その時の点Ｃの最接近点を算出する。そして、第１の傾斜角算出部１２２Ａは、点Ｂの全てのスライド位置に対応する点Ｃの最接近点のうち、最も接近した最接近点の条件から傾斜角を算出してもよい。

また、例えば、第１の傾斜角算出部１２２Ａは、点Ａを点Ａの視点投影角線上のある位置に置くとともに、点Ｂを点Ｂの視点投影角線上又はその近傍に置く。このとき、点Ｃは線分ＡＢを軸とした円周上に存在する。よって、第１の傾斜角算出部１２２Ａは、円周上の位置のうち、点Ｃが、点Ｃの視点投影角線に最接近した条件を記憶しておく。そして、第１の傾斜角算出部１２２Ａは、点Ａをある範囲内を移動させるとともに、移動させた位置ごとに上記の計算を行う。そして、第１の傾斜角算出部１２２Ａは、点Ａの全ての位置に対応する点Ｃの最接近点のうち、最も接近した最接近点の条件から傾斜角を算出してもよい。

再度、図７を用いて、三次元座標計測装置９０による処理を説明する。

図７において、第１及び第２の傾斜角の算出処理（Ｓ１１３）が完了した後、設定情報算出部１２３は、第１の視点Ｍ_１及び第２の視点Ｍ_２の座標（相対座標）を算出する（Ｓ１１４）。

具体的には、設定情報算出部１２３は、２本のベクトルを算出する。ここで、２本のベクトルとは、例えば、ステップＳ１４５において決定した点Ｂ_１”（点Ｂ_１ｎ”）と、そのときの点Ｂ_１ｎ’に対応するＢ_１’とを結ぶ直線Ｂ_１’Ｂ_１”、及び、ステップＳ１４５において決定した点Ｃ_１”（点Ｃ_１ｎ”）と、そのときの点Ｃ_１ｎ’に対応するＣ_１’とを結ぶ直線Ｃ_１’Ｃ_１”とである。

そして、設定情報算出部１２３は、２本のベクトルの最接近点の座標を算出することにより、第１の視点Ｍ_１との三次元座標を算出する。

同様の方法により、設定情報算出部１２３は、第２の視点Ｍ_２の三次元座標を算出する。

なお、以下の方法を用いて、第１の視点Ｍ_１の三次元座標を算出してもよい。

ここで、点Ａと点Ｂと点Ｍ_１とを結ぶ三角形ＡＢＭ_１において、線分ＡＢの長さ並びに∠Ｍ_１ＡＢ及び∠Ｍ_１ＢＡは既知である。よって、三角形ＡＢＭ_１を用いて、第１の視点Ｍ_１の三次元座標を算出することができる。また、∠ＡＭ_１Ｂが視点投影角により既知であるので、同様に、三角形ＡＢＭ_１を用いて、第１の視点Ｍ_１の三次元座標を算出することができる。

次に、設定情報算出部１２３は、第１の視点Ｍ_１の三次元座標と、第２の視点Ｍ_２の三次元座標とを用いて、視点間距離ｄを算出する（Ｓ１１５）。

さらに、設定情報算出部１２３は、第１の撮影角θ_Ａ及び第２の撮影角θ_Ｂを算出する（Ｓ１１６）。具体的には、上記の処理により、第１の視点Ｍ_１と、第２の視点Ｍ_２と、基準点Ａ、Ｂ及びＣとの三次元座標が算出されている。よって、設定情報算出部１２３は、例えば、基準点Ａ、第１の視点Ｍ_１、及び第２の視点Ｍ_２の座標から、図１３に示す角θ_Ａ４及びθ_Ｂ４を算出する。さらに、設定情報算出部１２３は、下記（式７）を用いて、第１の撮影角θ_Ａを算出する。また、設定情報算出部１２３は、下記（式８）を用いて、第２の撮影角θ_Ｂを算出する。

θ_Ａ＝θ_Ｌ−θ_Ａ３−θ_Ａ４ （式７）
θ_Ｂ＝θ_Ｒ−θ_Ｂ３−θ_Ｂ４ （式８）

ここで、θ_Ｌは、第１の基準線Ｌと線分Ｍ_１Ｍ_２とがなす角度である。θ_Ｒは、第２の基準線Ｒと線分Ｍ_１Ｍ_２とがなす角度である。また、ここでは、θ_Ｌ及びθ_Ｒは、共に９０度である。また、θ_Ａ３は、第１の基準画像における基準点Ａの視点投影角であり、θ_Ｂ３は第２の基準画像における基準点Ａの視点投影角である。

このように、設定情報算出部１２３は、第１の撮影角θ_Ａ及び第２の撮影角θ_Ｂを算出できる。

なお、設定情報算出部１２３による第１の撮影角θ_Ａ及び第２の撮影角θ_Ｂの算出方法は上記の方法に限らない。例えば、光軸Ｏ_１は、第１の撮像面に垂直なので、第１の傾斜角から光軸Ｏ_１の方向を算出し、光軸Ｏ_１の方向から第１の撮影角θ_Ａを算出してもよい。なお、第２の撮影角θ_Ｂに関しても同様である。

そして、設定情報算出部１２３により算出された、第１の撮影角θ_Ａ、第２の撮影角θ_Ｂ及び視点間距離ｄは、記憶部１０２に記憶される。

以上より、本実施の形態では、基準構造物４０を用いて容易に第１の撮影角θ_Ａ、第２の撮影角θ_Ｂ及び視点間距離ｄを算出できる。これにより、撮影現場においてカメラ１０Ａ及び１０Ｂの配置等が変わった場合でも、容易に第１の撮影角θ_Ａ、第２の撮影角θ_Ｂ及び視点間距離ｄを算出できる。例えば、対象物又は測定環境に応じて、カメラ１０Ａ及び１０Ｂの配置等を調整する場合、及び、振動等でカメラ１０Ａ及び１０Ｂの配置がずれた場合でも、容易に再調整が可能となる。

次に、カメラ設定検出部１０６による第１の視点投影角情報１１１Ａ及び第２の視点投影角情報１１１Ｂを検出する第２の調整動作を説明する。なお、第２の調整動作時には、２つのカメラ１０Ａ及び１０Ｂの相対位置は固定されている必要はなく、個別に第２の調整動作を行うことが可能である。また、第１の視点投影角情報１１１Ａを検出する処理と、第２の視点投影角情報１１１Ｂを検出する処理とは同様なので、以下では、第１の視点投影角情報１１１Ａを検出する処理のみを説明する。

図１４は、第２の調整動作時における、三次元座標計測装置９０を含むシステムの構成を示す図である。

カメラ１０Ａは、視点Ｍからキャリブレーション板７０を撮像する。ここで、視点Ｍは、カメラ１０Ａの撮影レンズの主点の位置に対応している。また、図１４中、２点鎖線で書かれているＯは、撮影レンズの光軸（カメラの光軸）を示している。

キャリブレーション板７０は、剛性が高い透明な板であり、表面には碁盤の目が記されている。また、キャリブレーション板７０には、糸７１によって錘７２が取り付けられている。

カメラ設定検出部１０６は、視点Ｍより、キャリブレーション板７０、糸７１及び錘７２が撮像された画像データ６２Ａを用いて、画像ピクセルの歪み補正を行う。さらに、カメラ設定検出部１０６は、任意の画像ピクセル（画素）の視点投影角（本発明の第１及び第２の画素視点投影角に相当する）を算出する。

図１５は、第２の調整動作のフローチャートである。

第２の調整動作において、カメラ設定検出部１０６は、撮像面の中心点である光学中心位置Ｃ_ｐを設定し（Ｓ２０１）、歪み補正を行い（Ｓ２０２）、任意の画像ピクセル（画素）の視点投影角θを算出する（Ｓ２０３）。

ここで、任意の画像ピクセルの視点投影角θとは、図１６に示すように、画像上の任意の画像ピクセルＰの二次元座標に投影される三次元空間上の任意の点Ｐ_３と視点Ｍとを結ぶ線分と、カメラの光軸Ｏとのなす角のことである。なお、図１６において、カメラの光軸Ｏと撮像面とは直交する。よって、視点Ｍと、カメラの光軸Ｏと撮像面の交点である光学中心位置Ｃ_ｐとの距離ｘと、例えば、光学中心位置Ｃ_ｐを原点とする、任意の画像ピクセルＰの二次元座標とを用いて、任意の画像ピクセルＰの視点投影角θを算出することができる。

まず、光学中心位置Ｃ_ｐの設定を行う（Ｓ２０１）。ここでキャリブレーション板７０は水準器などにより、水平が保たれているものとする。次に、キャリブレーション板７０を上方からカメラ１０Ａで撮像する。そして、撮像面を、（１）キャリブレーション板７０と糸７１との取り付け位置と、錘７２と糸７１との取り付け位置とが重なるように、（２）糸７１の取り付け位置を中心に、碁盤の目の表示が対称になるように調整する。このときの、キャリブレーション板７０上の糸７１の取り付け位置が光学中心位置Ｃ_ｐとなる。

次に、カメラ設定検出部１０６は、画像の歪み補正を行うためのパラメータを算出する（Ｓ２０２）。図１７Ａに示すように、歪み補正前においては、キャリブレーション板７０を撮影したときの画像は、カメラ１０Ａの撮影レンズの特性により碁盤の目が歪んだ画像となる。カメラ設定検出部１０６は、撮像した画像に正規化処理を行うことにより、撮像した画像を図１７Ｂに示すような画像に調整するためのパラメータを算出する。そして、上述した対象点Ｗの三次元座標の計測処理及び第１の調整動作を含む以降の処理においては、例えば、画像取得部１０１において、当該パラメータを用いた、カメラ１０Ａで撮影された画像に対する、歪み補正が行われる。

最後に、カメラ設定検出部１０６は、任意の画像ピクセルＰの視点投影角θを算出する（Ｓ２０３）。

図１８は、キャリブレーション板と視点との距離を算出するための処理を説明するための図である。

まず、カメラ設定検出部１０６は、図１７Ｂに示すような、キャリブレーション板７０を撮影した歪み補正後の画像である、移動前の板の画像を取得する。次に、キャリブレーション板７０を水平に保ったまま、キャリブレーション板７０を視点Ｍに距離ｙ接近させる。カメラ設定検出部１０６は、この状態において、キャリブレーション板７０を撮像した歪み補正後の画像である、移動後の板の画像を取得する。そして、カメラ設定検出部１０６は、移動前の板の画像と移動後の板の画像を用いて、例えば、光学中心位置Ｃ_ｐを原点とする、点Ｐ_１’、及び点Ｐ_２’の二次元座標を抽出する。

ここで、視点Ｍと光学中心位置Ｃ_ｐとを結ぶ直線と、キャリブレーション板７０の表面との交点をＣ_１とする。また、キャリブレーション板７０表面の任意の点をＰ_１とする。また、視点ＭとＰ_１とを結ぶ直線と、撮像面との交点をＰ_１’とする。また、移動前のキャリブレーション板７０表面のＰ_１に対応する、移動後のキャリブレーション板７０表面の点をＰ_２とする。また、視点ＭとＰ_２とを結ぶ直線と、撮像面との交点をＰ_２’とする。また、点Ｐ_２と点Ｐ_２’とを通る直線と、移動前のキャリブレーション板７０の表面との交点をＱとする。

このとき、線分Ｐ_１Ｑの長さｄ_１は、下記（式９）で表される。

ここで、ｄ_２は線分Ｃ_１Ｐ_１の長さ、ｄ_３は線分Ｐ_１’Ｐ_２’の長さ、ｄ_４は線分Ｃ_ｐＰ_１’の長さを示す。

また、点Ｑの視点投影角θ_１は、下記（式１０）で表される。

したがって、キャリブレーション板７０と視点Ｍとの距離ｚは、下記（式１１）で表される。

ここで、ｄ_５は、線分Ｃ_１Ｑの長さを示す。

そして、キャリブレーション板７０と視点Ｍとの距離ｚを用いて、例えば、図１８に示すＰ_１’の視点投影角θ_２は、（式１２）で表される。

視点Ｍと光学中心位置Ｃ_ｐとを結ぶ線分の長さｘは、（式１３）で表される。

したがって、任意のピクセル点Ｐの視点投影角θは、（式１４）を用いて算出することができる。

ここで、ｄ_６は、線分Ｃ_ｐＰの長さを示す。

つまり、光学中心位置Ｃ_ｐを原点とする、任意の画像ピクセルＰの二次元座標は既知であるため、任意の画像ピクセルＰの視点投影角θを算出することができる。

なお、上記説明では、キャリブレーション板７０には碁盤の目が記されているものとしていたが、キャリブレーション板には、間隔が既知である印が記されていてもよい。

また、上記説明では、キャリブレーション時に糸及び錘を用いる例を述べたが、糸及び錘の代わりに、キャリブレーション板に対して垂直に照射される、ランプ光源からの光線又はレーザ光を用いてもよい。

以上のように、カメラ設定検出部１０６は、カメラ１０Ａにより撮影された画像における画素ごとの視点投影角を算出し、当該画素ごとの視点投影角を示す第１の視点投影角情報１１１Ａを、記憶部１０２に記憶する。同様に、カメラ設定検出部１０６は、カメラ１０Ｂにより撮影された画像における画素ごとの視点投影角を算出し、当該画素ごとの視点投影角を示す第２の視点投影角情報１１１Ｂを、記憶部１０２に記憶する。

以上、本発明の実施の形態に係る三次元座標計測装置について説明したが、本発明は、この実施の形態に限定されるものではない。

例えば、上記説明では、第１の視点投影角情報１１１Ａは、複数の画素の各々に対応する視点投影角を示すテーブルあるとしたが、画素と視点投影角との対応関係を示す式であってもよい。例えば、当該式とは、上記（式１４）である。この場合、第１の視点投影角抽出部１０３Ａは、この（式１４）を用いて、第１の対象画像における対象点Ｗの視点投影角を算出すればよい。なお、この場合、カメラ設定検出部１０６は、上記（式１３）を用いて、視点Ｍと光学中心位置Ｃ_ｐとの距離ｘを求めておく必要がある。同様に、第２の視点投影角情報１１１Ｂは、画素と視点投影角との対応関係を示す式であってもよい。

また、上記説明では、２つの視点から撮影を行う例を述べたが、３つ以上の視点から撮影を行ってもよい。

また、相対座標が既知である基準点の数は、４点以上であってもよい。この場合、第１及び第２の基準画像の各々には、この４点以上の基準点のうち、少なくとも３点の基準点が撮影されていればよい。また、各第１の基準画像及び第２の基準画像に撮影される少なくとも３点の基準点の組み合わせは異なってもよい。さらに、４点以上の基準点は同一平面に配置されるのではなく、立体的に配置されていることが好ましい。例えば、三角錐、又は四角錐の頂点のうち４点以上を基準点として用いることができる。これにより、広範囲で安定的な角度検出を行える。例えば、上述した３点の基準点のみを用いる場合では、３点の基準点を含む平面と視点との角度が無いと誤差が発生しやすくなる。一方で、例えば、２つの視点から、上記三角錐の異なる面を撮影することで、このような場合でも安定して角度検出を行える。

この場合、第１及び第２の傾斜角は、異なる基準平面（第１及び第２の基準平面）に対する角度である。なお、第１及び第２の傾斜角はどちらかの基準平面に合わせたものであってもよい。または、第１及び第２の傾斜角は、三次元座標系で統一された角度で算出されてもよい。

また、相対座標が既知である基準点の数を多く用いて、非線形近似計算を行うことにより、第１の傾斜角及び第２の傾斜角を算出してもよい。

また、例えば、相対座標が既知である３点の基準点Ａ、Ｂ、Ｃと、第１の撮像面における基準点Ａ、Ｂ，Ｃである点Ａ_０１，Ｂ_０１、Ｃ_０１とのうち、点Ａと点Ａ_０１、点Ｂと点Ｂ_０１、点Ｃと点Ｃ_０１のそれぞれが対応づけられない場合には、特別なマーカー又はラインを使用することにより、対応関係を識別することができる。

また、基準点の回転による反転（裏返り）及び誤った解（傾斜角）の算出を防ぐために相対座標が既知の検証用の基準点を用いてもよい。

また、誤った解を算出しないために制限（例えば、回転条件）を加えてもよい。

また、上記説明は、三次元座標計測時において、カメラ１０Ａ及び１０Ｂの撮像面のベースライン（画像の水平画素方向）と、第１の視点Ｍ_１と第２の視点Ｍ_２とを結ぶ線分Ｍ_１Ｍ_２とが平行な場合を前提として説明している。言い換えると、カメラ１０Ａ及びカメラ１０Ｂが光軸を中心として回転していない場合を前提としている。なお、カメラ１０Ａ及びカメラ１０Ｂの少なくとも一方が、光軸を中心として回転して設定されている場合には、以下の処理を行えばよい。

例えば、記憶部１０２は、予めカメラ１０Ａの光軸を中心とした第１の回転角と、カメラ１０Ｂの光軸を中心とした第２の回転角とを保持している。そして、三次元座標計測時には、画像取得部１０１は、カメラ１０Ａから取得した第１の対象画像を第１の回転角に応じて回転する補正を行う。同様に、画像取得部１０１は、カメラ１０Ｂから取得した第２の対象画像を第２の回転角に応じて回転する補正を行う。そして、三次元座標計測装置９０は、補正後の第１の対象画像及び第２の対象画像に対して上述した処理を行うことで対象点Ｗの三次元座標を算出する。

なお、第１の回転角及び第２の回転角に応じて補正を行う対象は、第１及び第２の対象画像に限らない。例えば、座標算出部１０５が、第１及び第２の回転角を加味し、対象点の三次元座標を算出してもよい。

また、この第１及び第２の回転角は、以下の方法で検出できる。例えば、カメラ設定検出部１０６は、上述した方法により、線分Ｍ_１Ｍ_２とベースラインとが平行な場合の各基準点Ａ、Ｂ、Ｃの第１及び第２の基準視点投影角を算出しておく。さらに、カメラ設定検出部１０６は、実際の設定状態（カメラ１０Ａ及びカメラ１０Ｂが光軸を中心として回転している場合）の各基準点Ａ、Ｂ、Ｃの第１及び第２の基準視点投影角を算出する。そして、カメラ設定検出部１０６は、算出した２つの第１の基準視点投影角の角度差に基づき第１の回転角を算出する。同様に、カメラ設定検出部１０６は、算出した２つの第２の基準視点投影角の角度差に基づき第２の回転角を算出する。

また、上記で用いた視点投影角等の角度の情報は、角度そのものを示す値に限らず、例えば、２点の座標で表されるベクトルであってもよい。

また、本発明の実施の形態に係る、三次元座標計測装置の機能の一部または全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。

さらに、構成要素間の接続関係は、本発明を具体的に説明するために例示するものであり、本発明の機能を実現する接続関係はこれに限定されない。

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を上記三次元座標計測装置が並列または時分割に処理してもよい。

さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

また、上記三次元座標計測装置の構成は、本発明を具体的に説明するために例示するためのものであり、本発明に係る三次元座標計測装置は、上記構成の全てを必ずしも備える必要はない。言い換えると、本発明に係る三次元座標計測装置は、本発明の効果を実現できる最小限の構成のみを備えればよい。

例えば、上記説明では、三次元座標計測装置９０は、カメラ設定検出部１０６を備えなくてもよい。または、カメラ設定検出部１０６は、上記第１の調整動作及び第２の調整動作の一方を行う機能のみを有してもよい。

また、上記のステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

さらに、本発明の主旨を逸脱しない限り、本実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。

本発明は、三次元座標計測装置に適用できる。

１０Ａ、１０Ｂ カメラ
３０Ａ、３０Ｂ ケーブル
４０ 基準構造物
５０ 対象構造物
６０Ａ、６０Ｂ、６１Ａ、６１Ｂ、６２Ａ 画像データ
７０ キャリブレーション板
７１ 糸
７２ 錘
９０ 三次元座標計測装置
１０１ 画像取得部
１０２ 記憶部
１０３Ａ 第１の視点投影角抽出部
１０３Ｂ 第２の視点投影角抽出部
１０５ 座標算出部
１０６ カメラ設定検出部
１１１Ａ 第１の視点投影角情報
１１１Ｂ 第２の視点投影角情報
１１２ 三次元座標
１２１Ａ 第３の視点投影角抽出部
１２１Ｂ 第４の視点投影角抽出部
１２２Ａ 第１の傾斜角算出部
１２２Ｂ 第２の傾斜角算出部
１２３ 設定情報算出部

Claims (7)

1. 相対座標が既知である３点以上の基準点のうちのいずれか３点である第１の基準点が、第１の視点から第１の撮像装置により撮像された第１の基準画像と、前記３点以上の基準点のうちのいずれか３点であり、前記３点の第１の基準点と同一又は異なる第２の基準点が、第２の視点から第２の撮像装置により撮像された第２の基準画像とを取得する画像取得部と、
   前記第１の撮像装置で撮像された画像における画素毎に、当該画素に投影される三次元座標系の各点と前記第１の視点とを結ぶ線分と、前記第１の撮像装置の光軸とのなす角度である第１の画素視点投影角の情報と、前記第２の撮像装置で撮像された画像における画素毎に、当該画素に投影される前記三次元座標系の各点と前記第２の視点とを結ぶ線分と、前記第２の撮像装置の光軸とのなす角度である第２の画素視点投影角の情報とを保持する記憶部と、
   前記第１の画素視点投影角の情報を用いて、前記第１の基準画像に投影される前記３点の第１の基準点に対応する前記第１の画素視点投影角である３つの第１の基準視点投影角を取得する第１の視点投影角抽出部と、
   前記第２の画素視点投影角の情報を用いて、前記第２の基準画像に投影される前記３点の第２の基準点に対応する前記第２の画素視点投影角である３つの第２の基準視点投影角を取得する第２の視点投影角抽出部と、
   前記３つの第１の基準視点投影角と前記３点の第１の基準点の相対座標とを用いて、前記第１の基準画像の撮像面である第１の撮像面と前記３点の基準点を含む第１の基準平面とのなす第１の傾斜角を算出する第１の傾斜角算出部と、
   前記３つの第２の基準視点投影角と前記３点の第２の基準点の相対座標とを用いて、前記第２の基準画像の撮像面である第２の撮像面と前記３点の第２の基準点を含む第２の基準平面とのなす第２の傾斜角を算出する第２の傾斜角算出部と、
   前記３点の第１の基準点と前記３点の第２の基準点との相対位置関係と、前記第１の傾斜角と、前記第２の傾斜角とを用いて、前記第１の撮像装置の光軸方向と、前記第２の撮像装置の光軸方向と、前記第１の撮像装置が、当該第１の撮像装置の光軸を中心として回転している角度である第１の回転角と、前記第２の撮像装置が、当該第２の撮像装置の光軸を中心として回転している角度である第２の回転角とを算出する設定情報算出部とを備える
   三次元座標計測装置。
2. 前記画像取得部は、さらに、前記第１の視点から前記第１の撮像装置により対象点が撮像された第１の対象画像と、前記第２の視点から前記第２の撮像装置により前記対象点が撮像された第２の対象画像とを取得し、
   前記記憶部は、さらに、前記第１の視点と前記第２の視点との相対位置を示す視点間情報とを保持し、
   前記三次元座標計測装置は、さらに、
   前記第１の画素視点投影角の情報を用いて、前記第１の対象画像に投影される前記対象点に対応する前記第１の画素視点投影角である第１の対象視点投影角を取得する第３の視点投影角抽出部と、
   前記第２の画素視点投影角の情報を用いて、前記第２の対象画像に投影される前記対象点に対応する前記第２の画素視点投影角である第２の対象視点投影角を取得する第４の視点投影角抽出部と、
   前記第１及び第２の対象視点投影角と、前記第１及び第２の撮像装置の光軸方向と、前記視点間情報と、前記第１及び第２の回転角とを用いて、前記対象点の前記三次元座標を算出する座標算出部とを備える
   請求項１記載の三次元座標計測装置。
3. 前記座標算出部は、
   前記第１の対象視点投影角と、前記第１の撮像装置の光軸方向と、前記第１の回転角とを用いて、前記第１の視点と前記第２の視点とを結ぶ線分と、前記第１の視点と前記対象点とを結ぶ線分とがなす角度である第１の対象角を算出し、
   前記第２の対象視点投影角と、前記第２の撮像装置の光軸方向と、前記第２の回転角とを用いて、前記第１の視点と前記第２の視点とを結ぶ線分と、前記第２の視点と前記対象点とを結ぶ線分とがなす角度である第２の対象角を算出し、
   前記視点間情報と、前記第１の対象角と、前記第２の対象角とを用いて、前記対象点の三次元座標を算出する
   請求項２記載の三次元座標計測装置。
4. 前記設定情報算出部は、
   前記第１の撮像装置の光軸方向を示す情報として、前記第１の視点を通り、かつ、前記第１の視点と前記第２の視点とを結ぶ線分と垂直である第１の基準線と、前記第１の撮像装置の光軸とのなす角度である第１の撮影角を算出し、
   前記第２の撮像装置の光軸方向を示す情報として、前記第２の視点を通り、かつ、前記第１の視点と前記第２の視点とを結ぶ線分と垂直であり、かつ、前記第１の基準線と平行な第２の基準線と、前記第２の撮像装置の光軸とのなす角度である第２の撮影角を算出し、
   前記座標算出部は、
   前記第１の視点と前記第２の視点とを結ぶ線分と前記第１の基準線とがなす角度と、前記第１の視点投影角と、前記第１の撮影角と、前記第１の回転角とを用いて前記第１の対象角を算出し、
   前記第１の視点と前記第２の視点とを結ぶ線分と前記第２の基準線とがなす角度と、前記第２の視点投影角と、前記第２の撮影角と、前記第２の回転角とを用いて前記第２の対象角を算出する
   請求項３記載の三次元座標計測装置。
5. 前記設定情報算出部は、
   前記３点の第１の基準点と前記３点の第２の基準点との相対位置関係と、前記第１の傾斜角と、前記第２の傾斜角とを用いて、前記第１の視点及び前記第２の視点の三次元座標を算出し、
   前記第１の視点及び前記第２の視点の三次元座標から、前記第１の視点と前記第２の視点との相対位置を示す視点間情報を算出する
   請求項１に記載の三次元座標計測装置。
6. 相対座標が既知である３点以上の基準点のうちのいずれか３点である第１の基準点が、第１の視点から第１の撮像装置により撮像された第１の基準画像と、前記３点以上の基準点のうちのいずれか３点であり、前記３点の第１の基準点と同一又は異なる第２の基準点が、第２の視点から第２の撮像装置により撮像された第２の基準画像とを取得するステップと、
   前記第１の撮像装置で撮像された画像における画素毎に、当該画素に投影される三次元座標系の各点と前記第１の視点とを結ぶ線分と、前記第１の撮像装置の光軸とのなす角度である第１の画素視点投影角の情報と、前記第２の撮像装置で撮像された画像における画素毎に、当該画素に投影される前記三次元座標系の各点と前記第２の視点とを結ぶ線分と、前記第２の撮像装置の光軸とのなす角度である第２の画素視点投影角の情報とを保持するステップと、
   前記第１の画素視点投影角の情報を用いて、前記第１の基準画像に投影される前記３点の第１の基準点に対応する前記第１の画素視点投影角である３つの第１の基準視点投影角を取得するステップと、
   前記第２の画素視点投影角の情報を用いて、前記第２の基準画像に投影される前記３点の第２の基準点に対応する前記第２の画素視点投影角である３つの第２の基準視点投影角を取得するステップと、
   前記３つの第１の基準視点投影角と前記３点の第１の基準点の相対座標とを用いて、前記第１の基準画像の撮像面である第１の撮像面と前記３点の基準点を含む第１の基準平面とのなす第１の傾斜角を算出するステップと、
   前記３つの第２の基準視点投影角と前記３点の第２の基準点の相対座標とを用いて、前記第２の基準画像の撮像面である第２の撮像面と前記３点の第２の基準点を含む第２の基準平面とのなす第２の傾斜角を算出するステップと、
   前記３点の第１の基準点と前記３点の第２の基準点との相対位置関係と、前記第１の傾斜角と、前記第２の傾斜角とを用いて、前記第１の撮像装置の光軸方向と、前記第２の撮像装置の光軸方向と、前記第１の撮像装置が、当該第１の撮像装置の光軸を中心として回転している角度である第１の回転角と、前記第２の撮像装置が、当該第２の撮像装置の光軸を中心として回転している角度である第２の回転角とを算出するステップとを含む
   三次元座標計測方法。
7. 請求項６に記載の三次元座標計測方法をコンピュータに実行させるためのプログラム。

Images