JPH08201023A - 三次元計測装置 - Google Patents

Abstract

(57)【要約】 【目的】 安価でかつ高精度の計測が可能な三次元計測
装置を提供する。 【構成】 デジタルカメラ４０は撮影レンズ４１を通過
した入射光５３をプリズム４２，４３，４４で３つに分
割しそれぞれを緑色の光を受光する第１および第２ＣＣ
Ｄセンサ４５，４６と青色および赤色の光を受光する第
３ＣＣＤセンサ４７に入力する。このデジタルカメラ４
０が図示のない対象物に対して所定の基線長だけ離して
配置され、対象物を撮影する。異なる位置で撮影された
第１および第２のＣＣＤセンサからの画像データを用い
てマイクロコンピュータ５０はそれぞれ対応する対応点
を抽出する。抽出された対応点の信頼性が第３ＣＣＤイ
メージセンサ４７からのカラー画像を用いて判断され
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、対象物のデジタルカ
メラを用いて異なった位置から撮影して対象物の複数の
画像を作成し、これら複数の画像上でそれぞれ対応する
対応点の位置関係を用いて対象物の三次元形状を計測す
る三次元計測装置に関する。

【０００２】

【従来の技術】ＣＣＤカメラを用いた三次元計測装置の
一例としての写真測量装置が従来から提供されている。
図２３は従来の写真測量装置の全体構成を示すブロック
図である。図２３を参照して、従来の単板式カラーカメ
ラ２００は、撮影レンズ２０１と、ＣＣＤセンサ２０３
およびＣＣＤセンサ２０３に隣接して設けられた色分解
フィルタ２０２とを含む。色分解フィルタ２０２は、特
定の色の光のみが特定の画素に到達するように位置合せ
して配置されている。カラーカメラ２００にはさらに、
信号処理回路２０４と、Ａ／Ｄコンバータ２０５と、マ
イコン２０６と、撮影した画像を記録するためのメモリ
２０７とを含む。

【０００３】図２４はＣＣＤセンサ２０３の受光面の部
分拡大図である。図２４を参照して、Ｒ、Ｇ、Ｂはそれ
ぞれ赤色光、緑色光、青色光を受光する画素である。

【０００４】図２５は写真測量装置の他の例としてのモ
ノクロカメラ２１０のブロック図である。図２５を参照
して、モノクロカメラ２１０は撮影レンズ２１１と、Ｃ
ＣＤセンサ２１３と、信号処理回路２１４と、Ａ／Ｄコ
ンバータ２１５と、マイコン２１６と、撮影した画像を
記録するためのメモリ２１７とを含む。

【０００５】図２６はＣＣＤセンサ２１３の受光面の部
分拡大図である。図２６を参照して、図中Ｂ／Ｗは１つ
の画素である。図２３のカラーカメラ２００では同じ色
の画素は３画素ごとに並んでいるのに対し、図２５のモ
ノクロカメラ２１０ではすべての画素が同じ分光特性を
持っている。したがって、同じ画素数のＣＣＤを用いた
場合でも、画像の分解能は図２５のモノクロカメラ２１
０のほうは図２３のカラーカメラ２００の約３倍にな
る。

【０００６】

【発明が解決しようとする課題】ところで、写真測量の
原理では、異なった位置で撮影された同一の対象物の複
数の画像上で、それぞれ対応する対応点の位置関係を解
析することが基本になっている。この対応点の解析精度
を上げるために、コンピュータを用いた写真解析装置が
用いられる。

【０００７】このような写真解析装置では、片方の画像
の与えられた点を中心とするある大きさのエリアの画像
と、相関の最も高い画像エリアを他方の上で探し出し、
そのエリアの中心を対応点の位置としている。しかしな
がら、対象物によっては本当の対応点以外のところで相
関が最も高くなってしまうことがあり、対応点の誤検出
が起こり、高精度の計測が困難な場合があった。

【０００８】この発明は上記のような問題点を解消する
ためになされたもので、安価でかつ高精度の計測が可能
な三次元計測装置を提供することを目的とする。

【０００９】

【課題を解決するための手段】この発明に係る、対象物
をデジタルカメラを用いて異なった位置から撮影して対
象物の複数の画像を作成し、その複数の画像上でそれぞ
れ対応する対応点の位置関係を用いて対象物の三次元形
状を計測する三次元計測装置は、デジタルカメラが第１
イメージセンサと、第１イメージセンサとは異なる第２
イメージセンサとを含む。三次元計測装置はさらに、異
なる位置で撮影された第１イメージセンサの複数の画像
上でそれぞれ対応する対応点を抽出する手段と、第２イ
メージセンサで得られた画像データを用いて抽出手段で
抽出された対応点の信頼性を判断する判断手段とを含
む。

【００１０】

【作用】この発明に係る三次元計測装置においては、異
なる位置で撮影された第１イメージセンサの複数の画像
上でそれぞれ対応する対応点を抽出し、その抽出された
対応点の信頼性を第２イメージセンサで得られた画像デ
ータを用いて判断する。

【００１１】

【実施例】以下この発明の実施例を図面を参照して説明
する。

【００１２】まず三次元計測装置において利用する写真
測量の原理について説明する。図１は計測対象物とカメ
ラの位置関係を示す図である。図１を参照して、対象物
３０をその左画像を撮影するための左カメラ３１ａと、
右画像を撮影するための右カメラ３１ｂとで撮影する。
図１では２台のカメラで撮影するように図示されている
が、１台のカメラを用いて３１ａに示す位置で左画像を
撮影し、３１ｂで示す位置へ移動して右画像を撮影して
もよい。左カメラ３１ａ、右カメラ３１ｂの結像面に結
んだ対象物３０の像を図３２ａ、図３２ｂに示す。

【００１３】図中、対象物３０と像の位置が分かりやす
いように、結像面の像をレンズの物体側主点を投影中心
として対象物側に投影してある。投影されている面はそ
れぞれカメラ３１ａ、３１ｂの結像面に平行で、物体側
主点からレンズの焦点距離だけ対象物側に離れた位置に
ある。座標軸Ｘ，Ｙ，Ｚはモデル座標軸と呼ばれ、左カ
メラ３１ａの物体側主点を原点とし、Ｘ軸は右カメラ３
１ｂの物体側主点を通り、Ｚ軸は左カメラ３１ａの光軸
にとっている。κ１、φ１、κ２、φ２、ω２はそれぞ
れカメラの回転角である。画像上の点Ｐ０１〜Ｐ０５お
よびＰ１１〜Ｐ１５は、Ｐ０１とＰ１１、Ｐ０２とＰ１
２、Ｐ０３とＰ１３、Ｐ０４とＰ１４、Ｐ０５とＰ１５
がそれぞれ画像上対応する。ここで左右カメラ３１ａ、
３１ｂの投影中心から各点Ｐ０１〜Ｐ０５、Ｐ１１〜Ｐ
１５へ直線を引きカメラの回転角κ１、φ１、κ２、φ
２、ω２を適当に選ぶと、対応する直線の組がすべて交
わるようにでき、撮影時のカメラと対象物の位置関係が
再現される。このようなκ１、φ１、κ２、φ２、ω２
を求める作業を相互標定と呼び、再現された対象物をモ
デルと呼ぶ。相互標定を行なうときカメラの基線長Ｂの
長さは一般的に１としている。

【００１４】相互標定によってモデルが完成すれば、次
に新しい対応点が与えられたときその点に対する対象物
上の点の座標（Ｘ，Ｙ，Ｚ）は公知の方法で計算でき
る。但し基線長を１としているため、モデルの縮尺は１
／Ｂになっている。対象物の実際の座標を求めるために
は、モデルの縮尺を知る必要がある。本発明ではそのた
めの基準量として、カメラの基線長、対象物上の任意の
部分の寸法、または対象物上の任意の点までの距離を用
いている。

【００１５】図２は本発明に係る三次元計測装置に用い
られるデジタルカメラ４０のブロック図である。図２を
参照して、デジタルカメラ４０は、撮影レンズ４１と、
撮影レンズ４１を透過した光５３を色分解するためのプ
リズム４２，４３，４４と、緑色の光を受光する第１Ｃ
ＣＤセンサ４５と、緑色の光を受光する第２ＣＣＤセン
サ４６と、青色および赤色の光を受光する第３ＣＣＤセ
ンサ４７と、第１〜第３ＣＣＤセンサ４５，４６，４７
からの信号を受けてその処理を行なう信号処理回路４８
と、信号処理されたデータをＡ／Ｄ変換するＡ／Ｄコン
バータ４９と、デジタル信号を処理するマイクロコンピ
ュータ５０と、マイクロコンピュータ５０に接続され
た、撮影した画像を記録するためのメモリ５１と、メモ
リ５１内の画像データを外部へ転送するためのインター
フェース５２とを含む。プリズム４２とプリズム４３の
間およびプリズム４３とプリズム４４の間には空気層が
あり、全反射面を形成している。

【００１６】信号処理回路４８は各ＣＣＤセンサ４５，
４６，４７の出力間のレベル合せおよびγ変換等を行な
う。図３にγ変換の特性を示す。図３を参照して、横軸
はγ変換の入力となるＣＣＤ出力信号であり、縦軸は出
力信号を表わす。

【００１７】図４は三次元計測装置に用いられる画像解
析装置６０の全体構成を示す模式図である。画像解析装
置６０は、図２に示したインターフェース５２を介して
デジタルカメラ４０に接続される。図４を参照して、画
像解析装置６０は、ＣＲＴディスプレイ６１と、キーボ
ード６３と、マウス６４とを含むパーソナルコンピュー
タシステムである。コンピュータ本体６２は、内部に中
央処理装置、メモリ、ディスク装置、インターフェース
などを備えている。

【００１８】図５は第１ＣＣＤセンサ４５の画素Ｇ１
（ｉ，ｊ）（ｉ＝１，２，…，Ｍ、ｊ＝１，２，…，
Ｎ）の部分拡大図であり、図６は第２ＣＣＤセンサ４６
の画素Ｇ２（ｉ，ｊ）（ｉ＝１，２，…，Ｍ、ｊ＝１，
２，…，Ｎ）の部分拡大図であり、図７は第３ＣＣＤセ
ンサ４７の画素Ｒ（ｉ，ｊ）（ｉ＝１，２，…，Ｍ、ｊ
＝２，４，６，…，Ｎ）およびＢ（ｉ，ｊ）（ｉ＝１，
２，…，Ｍ、ｊ＝１，３，５，…，Ｎ）の部分拡大図で
ある。

【００１９】第１ＣＣＤセンサ４５と第２ＣＣＤセンサ
４６は図８に示すように互いに１／２画素ずらせて位置
合せしてある。これは、１／２画素ずれた画像データを
合成して分解能を２倍にした画像データを得るためであ
る。画像解析のときには、この合成された画像をディス
プレイ６１に表示する。第１ＣＣＤセンサ４５と第３Ｃ
ＣＤセンサ４７は図９に示すように画素同士をぴったり
重ねて位置合せしてある。

【００２０】図１０および図１１は合成した画像データ
と元の画像データの位置関係が分かりやすいように、元
の画像データの画素と合成した画像データの画素を重ね
た図である。図１０は第１ＣＣＤセンサ４５と第３ＣＣ
Ｄセンサ４７の部分拡大図を重ね、さらに合成した画像
データの画素を重ねた図である。破線は第１ＣＣＤセン
サ４５および第３ＣＣＤセンサ４７の画素を示し、実線
は合成した画素を示す。図１１は第２ＣＣＤセンサ４６
の部分拡大図に合成した画像データの画素を重ねた図で
ある。破線は第２ＣＣＤセンサ４６の画素を示し、実線
は合成した画素を示す。図１０および図１１において画
素１０１〜１０８は合成された画像の画素の一部であ
る。

【００２１】次に画像の合成方法について説明する。合
成した画像データのＲ、Ｇ、Ｂの画素ごとのデータをそ
れぞれｒ（ｋ，ｌ）、ｇ（ｋ，ｌ）、ｂ（ｋ，ｌ）、
（ｋ＝１，２，…，２Ｍ，ｌ＝１，２，…，２Ｎ）とす
る。図１０および図１１を参照して、合成された画素１
０１〜１０８のＧのデータはそれぞれ １０１：ｇ（２ｉ，２ｊ）＝Ｇ１（ｉ，ｊ） １０２：ｇ（２ｉ，２ｊ＋１）＝（Ｇ１（ｉ，ｊ）＋Ｇ
１（ｉ，ｊ＋１）＋Ｇ２（ｉ−１，ｊ）＋Ｇ２（ｉ，
ｊ））／４ １０３：ｇ（２ｉ，２ｊ＋２）＝（Ｇ１（ｉ，ｊ＋１） １０４：ｇ（２ｉ，２ｊ＋３）＝（Ｇ１（ｉ，ｊ＋１）
＋Ｇ１（ｉ，ｊ＋２）＋Ｇ２（ｉ−１，ｊ＋１）＋Ｇ２
（ｉ，ｊ））／４ １０５：ｇ（２ｉ＋１，２ｊ）＝（Ｇ１（ｉ，ｊ）＋Ｇ
１（ｉ＋１，ｊ）＋Ｇ２（ｉ，ｊ−１）＋Ｇ２（ｉ，ｊ
＋１））／４ １０６：ｇ（２ｉ＋１，２ｊ＋１）＝Ｇ２（ｉ，ｊ） １０７：ｇ（２ｉ＋１，２ｊ＋２）＝（Ｇ１（ｉ，ｊ＋
１）＋Ｇ１（ｉ＋１，ｊ＋１）＋Ｇ２（ｉ，ｊ）＋Ｇ２
（ｉ，ｊ＋１））／４ １０８：ｇ（２ｉ＋１，２ｊ＋３）＝Ｇ２（ｉ，ｊ＋
１） 画素１０１〜１０８のＲのデータはそれぞれ １０１：ｒ（２ｉ，２ｊ）＝（Ｒ（ｉ，ｊ−１）＋Ｒ
（ｉ，ｊ＋１））／２ １０２：ｒ（２ｉ，２ｊ＋１）＝（Ｒ（ｉ，ｊ−１）＋
３Ｒ（ｉ，ｊ＋１））／４ １０３：ｒ（２ｉ，２ｊ＋２）＝Ｒ（ｉ，ｊ＋１） １０４：ｒ（２ｉ，２ｊ＋３）＝（３Ｒ（ｉ，ｊ＋１）
＋Ｒ（ｉ，ｊ＋３））／４ １０５：ｒ（２ｉ＋１，２ｊ）＝（Ｒ（ｉ，ｊ−１）＋
Ｒ（ｉ，ｊ＋１）＋Ｒ（ｉ＋１，ｊ−１）＋Ｒ（ｉ＋
１，ｊ＋１））／４ １０６：ｒ（２ｉ＋１，２ｊ＋１）＝（Ｒ（ｉ，ｊ−
１）＋３Ｒ（ｉ，ｊ＋１）＋Ｒ（ｉ＋１，ｊ−１）＋３
Ｒ（ｉ＋１，ｊ＋１））／８ １０７：ｒ（２ｉ＋１，２ｊ＋２）＝（Ｒ（ｉ，ｊ＋
１）＋Ｒ（ｉ＋１，ｊ＋１））／２ １０８：ｒ（２ｉ＋１，２ｊ＋３）＝（３Ｒ（ｉ，ｊ＋
１）＋Ｒ（ｉ，ｊ＋３）＋３Ｒ（ｉ＋１，ｊ＋１）＋Ｒ
（ｉ＋１，ｊ＋３））／８ 画素１０１〜１０８のＢデータはそれぞれ １０１：ｂ（２ｉ，２ｊ）＝Ｂ（ｉ，ｊ） １０２：ｂ（２ｉ，２ｊ＋１）＝（３Ｂ（ｉ，ｊ）＋Ｂ
（ｉ，ｊ＋２））／４ １０３：ｂ（２ｉ，２ｊ＋２）＝（Ｂ（ｉ，ｊ）＋Ｂ
（ｉ，ｊ＋２））／２ １０４：ｂ（２ｉ，２ｊ＋３）＝（Ｂ（ｉ，ｊ＋３Ｂ
（ｉ，ｊ＋２））／４ １０５：ｂ（２ｉ＋１，２ｊ）＝（Ｂ（ｉ，ｊ）＋Ｂ
（ｉ＋１，ｊ））／２ １０６：ｂ（２ｉ＋１，２ｊ＋１）＝（３Ｂ（ｉ，ｊ）
＋Ｂ（ｉ，ｊ＋２）＋３Ｂ（ｉ＋１，ｊ）＋Ｂ（ｉ＋
１，ｊ＋２））／８ １０７：ｂ（２ｉ＋１，２ｊ＋２）＝（Ｂ（ｉ，ｊ）＋
Ｂ（ｉ，ｊ＋２）＋Ｂ（ｉ＋１，ｊ）＋Ｂ（ｉ＋１，ｊ
＋２））／４ １０８：ｂ（２ｉ＋１，２ｊ＋３）＝（Ｂ（ｉ，ｊ）＋
３Ｂ（ｉ，ｊ＋２）＋Ｂ（ｉ＋１，ｊ）＋３Ｂ（ｉ＋
１，ｊ＋２））／２ 図１２は画像解析装置６０の行なう解析プログラムのメ
インフローを示すフローチャートである。図１２を参照
して、まずコマンド入力を待ち（♯１）、コマンドの判
別をし適当な処理へプログラムを分岐する（♯２〜♯
９）。画像入力であれば（♯２でＹｅｓ）、画像データ
入力を行ない（♯１０）、カメラ４０から画像データを
読込む。相互標定コマンドであれば（♯３でＹｅｓ）、
相互標定の計算を実行する（♯１１）。基準量入力コマ
ンドであれば（♯４でＹｅｓ）、基準量入力を行ない
（♯１２）、相互標定計算時に長さ１としていた基線長
の実際の値を求める。測定点入力コマンドであれば（♯
５でＹｅｓ）、測定点入力を行ない（♯１３）、左右画
像の測定点を入力する。測定点選択コマンドであれば
（♯６でＹｅｓ）、測定点選択を行ない（♯１４）、相
互標定、基準量入力、基準面入力、寸法測定、高さ測定
に用いる測定点を、既に入力されている測定点の中から
選択す。基準面入力コマンドであれば（♯７でＹｅ
ｓ）、基準面入力を行なう（♯１５）。寸法測定コマン
ドであれば（♯８でＹｅｓ）、寸法測定を行ない（♯１
６）、２点間の距離を計算する。高さ測定コマンドであ
れば（♯９でＹｅｓ）、ある点から指定された基準面ま
での距離を計算する高さ測定を行なう（♯１７）。

【００２２】次に左右画像上の対応点決定のための相関
計算について説明する。この発明に係る三次元計測装置
においては、左右画像上の対応点の位置関係を元にして
三次元計測座標を計算する。

【００２３】作業者はディスプレイ６１上に表示された
左右画像を見ながら、どちらかの画像上に対応点の片方
をマウスを用いて入力する。以下、入力されたほうの画
像をレファレンス画像、入力された点をレファレンス点
と呼び、入力されたのとは異なるほうの画像をサンプル
画像、サンプル画像上の対応点をサンプル点と呼ぶ。

【００２４】本実施例では入力されたレファレンス点に
対応するサンプル点を自動的に検出するようにしてい
る。そのためにレファレンス点を含むｍ×ｎ（ｍ，ｎは
整数）画素の領域の画素データとサンプル画像上のｍ×
ｎ画素の領域の画素データとの相関を計算して、左右画
像の最も類似点の多い部分を見つけ出すことによって対
応点を決定している。以下、具体的に説明する。

【００２５】計算に用いられるレファレンス画像の画素
をｐ_r （ｉ，ｊ）、サンプル画像の画素をｐ_s （ｉ，
ｊ）（ｉ＝１，２，…，Ｍ、ｊ＝１，２，…，Ｎ）と
し、対応点の探索範囲を水平方向±ＸＳ、縦方向を±Ｙ
Ｓとする。画素の大きさを水平Ｃｘ、垂直Ｃｙとする。
レファレンス画像のｘｙ座標上に与えられたレファレン
ス座標を（ｘ_r ，ｙ_r ）とし、レファレンス点に最も近
い画素をｐ_r （ｉ_r ，ｊ_r）とし、ｐ_r （ｉ_r ，ｊ_r ）
を中心とするｍ×ｎ画素の領域をレファレンスブロック
とする。サンプル画像のｘｙ座標上にｘ₀ ＝ｘ_r ，ｙ₀
＝ｙ_r とする仮のサンプル点（ｘ₀ ，ｙ₀ ）を取り、こ
の点に最も近い画素をｐ_s （ｉ₀ ，ｊ₀ ）とし、ｐ
_s （ｉ₀ ，ｊ₀ ）を中心とするｍ×ｎ画素の領域をサン
プルブロックとする。相関の評価値をＨ（ｋ，ｌ）、
（ｋ，ｌは整数で、−ＸＳ≦ｋ≦ＸＳ，−ＹＳ≦ｌ≦Ｙ
Ｓ）とし、次の計算により評価値を求める。

【００２６】

【数１】 つまり、サンプル画像上にとったサンプルブロックを水
平方向に±ＸＳ、垂直方向に±ＹＳの範囲で１画素ずつ
シフトしながら相関のＨ（ｋ，ｌ）評価値を計算する。
レファレンスブロックとサンプルブロックの相関が最も
大きくなるｋ，ｌ、つまりＨ（ｋ，ｌ）が最小になる
ｋ，ｌをｋ_m ，ｌ_m とすると、レファレンス点に対応す
るサンプル点（ｘ_s ，ｙ_s ）の座標は、 ｘ_s ＝ｘ₀ ＋Ｃｘ×ｋ_m ｙ_s ＝ｙ₀ ＋Ｃｙ×ｌ_m で決定できる。

【００２７】本実施例ではこの計算に用いる画像データ
として第１ＣＣＤセンサ４５の出力画像Ｇ１，第２ＣＣ
Ｄセンサ４６の出力画像Ｇ２、第３ＣＣＤセンサ４７の
赤色の出力画像Ｒ、および第３ＣＣＤセンサ４７の青色
の出力画像Ｂの４個のすべてを用いる。

【００２８】出力画像Ｇ１，Ｇ２，Ｒ，Ｂをそれぞれ独
立に用いて、上で説明したように相関の評価値Ｈ
_G1（ｋ，ｌ）、Ｈ_G2（ｋ，ｌ）、Ｈ_R （ｋ，ｌ）、Ｈ_B
（ｋ，ｌ）を計算する。Ｈ_G1（ｋ，ｌ）はＧ１データだ
けを用いて計算した相関の評価値、Ｈ_G2（ｋ，ｌ）はＧ
２データだけを用いて計算した相関の評価値、Ｈ
_R （ｋ，ｌ）はＲデータだけを用いて計算した相関の評
価値、Ｈ_B （ｋ，ｌ）はＢデータだけを用いて計算した
相関の評価値である。このうち、評価値Ｈ_G1（ｋ，ｌ）
とＨ _G2（ｋ，ｌ）からそれぞれサンプル点Ｐ_sG1 （ｘ
_sG1 ，ｙ_sG1 ）およびＰ_sG2 （ｘ_sG2 ，ｙ_sG2 ）を求
め、以下の計算式によりサンプル点Ｐｓ（ｘ_s ，ｙ_s ）
を仮に決定する。

【００２９】ｘ_s ＝（ｘ_sG1 ＋ｘ_sG2 ）／２ ｙ_s ＝（ｙ_sG1 ＋ｙ_sG2 ）／２ しかし、対象物の形状によっては、レファレンス点近傍
の画像パターンに似たパターンがサンプル画像上に多数
あって、間違った位置をサンプル点と誤認している可能
性がある。そのため評価値Ｒ_R （ｋ，ｌ）、Ｈ_B （ｋ，
ｌ）からサンプル点Ｐ_R （ｘ_R ，ｙ_R ）およびＰ_B （ｘ
_B ，ｙ_B ）を求めサンプル点の信頼性を確認する。Ｄ
_err を適当な値にして、（ｘ_s −ｘ_R ）² ＋（ｙ_s −ｙ
_R ）² ≧Ｄ _err または（ｘ_s −ｘ_B ）² ＋（ｙ_s −
ｙ_B ）² ≧Ｄ_err のとき、つまりサンプル点Ｐｓ
（ｘ_s ，ｙ_s ）からサンプル点Ｐ_R （ｘ_R ，ｙ_R ）また
はＰ_B （ｘ_B ，ｙ_B ）までの距離がある程度以上大きい
とき、そのサンプル点Ｐｓ（ｘ_s ，ｙ_s）は正しいサン
プル点の位置を示していないと判断する。

【００３０】上で説明したように、本実施例では相関の
評価値は画像データの差を用いて計算している。しか
し、左右の２枚の画像を撮影する間に照明条件が変化し
たり、カメラの露出誤差などでレファレンス画像とサン
プル画像との間に露出レベルの差が発生する可能性があ
る。したがって、本実施例では、カメラ４０の中で行な
われるγ変換の逆関数を用いて画像データＧ１，Ｇ２，
Ｒ，Ｂの画素データをＣＣＤの画素の受光量に比例する
量に変換し、さらに対数変換を施している。したがっ
て、レファレンス画像とサンプル画像の間に露出の差が
あっても画素データの差を用いて相関の評価値を計算す
ることができる。

【００３１】以下、計測の流れにしたがって各プログラ
ムを説明する。 （１） 撮影 まず図１に示すように対象物３０の画像を左右から撮影
する。このとき、モデルの縮尺を求める段階で必要にな
る基準量を測定しておく。測定方法としては次の３つあ
るが、どれか１つだけ測定しておけばよい。

【００３２】（ｉ） 左右カメラ３１ａ、３１ｂ間の基
線長を測定する。 （ｉｉ） 対象物３０上の任意の２点間の間隔（以下基
準長と呼ぶ）を測定する。たとえば、Ｐ₁ とＰ₅ の間隔
である。

【００３３】（ｉｉｉ） 左カメラ３１ａまたは右カメ
ラ３１ｂから対象物上の任意の点までの距離（以下、基
準距離と呼ぶ）を測定する。たとえば、左カメラ３１ａ
から対象物上の点Ｐ₅ までの距離を測定する。

【００３４】（２） 画像データの入力 画像解析装置６０の外部インターフェース（不図示）を
デジタルカメラ４０のインターフェース５２に接続す
る。画像解析装置６０の計測プログラムを起動して、画
像入力コマンドを入力すると、図１２を参照して、プロ
グラムは♯２から画像データ入力ルーチン（♯１０）へ
分岐する。以下このルーチンについて説明する。

【００３５】図１３は画像データ入力のルーチンを示す
フローチャートである。左画像の画像データＧ１，Ｇ
２，Ｒ，Ｂをカメラ４０から画像解析装置６０へ入力す
る（♯３０）。入力された画像データに対し既に説明し
たような処理を加えて表示用画像データを合成し（♯３
１）、ディスプレイ６１に左画像を表示する（♯３
２）。上記と同様に右画像データＧ１，Ｇ２，Ｒ，Ｂの
入力、表示用画像データの合成、ディスプレイ６１の表
示を行なう（♯３３〜♯３５）。次に既に説明したよう
に左右画像のＧ１，Ｇ２，Ｒ，Ｂデータに対して逆γ変
換および対数変換が行なわれ（♯３５）、ディスプレイ
に表示される（♯３６）。次いでプログラムは図１２の
♯１へ戻り、コマンド入力待ちとなる。

【００３６】（３） 測定点の入力 相互標定のためのパスポイントとして用いる測定点の入
力を行なう。測定点入力コマンドを入力すると、図１２
に示したプログラムは♯５から♯１３へ分岐し、測定点
の入力ルーチンに入る。このルーチンについて図１４を
参照して説明する。

【００３７】図１４を参照して、測定点入力ルーチンに
おいては、まずマウスのクリック待ちとなる（♯４
１）。そこで対象物３０上のパスポイントにしたい点を
マウスを用いて入力する。点の入力は左右どちらの画像
でもよい。すると既に説明したように、入力した点をレ
ファレンス点としてサンプル点探索の計算が行なわれ、
左右画像の対応点を決定し（♯４２）、ディスプレイ６
１に表示する（♯４３）。相互標定が既に実行されてい
るかどうかをチェックし（♯４４）、実行されていれば
（♯４４でＹｅｓ）、今入力した測定点のモデル座標を
計算する（♯４５）。まだ相互標定が実行されていなけ
れば（♯４４でＮｏ）、何もせずにメインルーチンへ戻
って図１２の♯１でコマンド待ちとなる。このような測
定点の入力を繰返し、少なくとも５個以上の測定点を入
力する。測定点はパスポイントとして少なくとも５点入
力する必要がある。このとき、パスポイントのための測
定点だけではなくて、三次元計測を行ないたい点もまと
めて入力しておいても差し支えない。

【００３８】（４） 相互標定 相互標定の前に、まずパスポイントとして用いる測定点
を５点以上選択する。ポイント選択コマンドを入力する
と、プログラムは図１２の♯６から♯１４へ分岐する。
次に測定点選択ルーチンについて図１５を参照して説明
する。

【００３９】図１５を参照して、測定点選択ルーチンに
入るとまずマウスのクリック待ちになる（♯５１）。そ
こで画像上の測定点の近傍でマウスをクリックする。ク
リックされた点に最も近い測定点を探し、そこまでの距
離を計算する（♯５２）。計算された距離がある程度の
値より大きいかどうかを判断する（♯５３）。ある程度
の値より小さければ（♯５３でＹｅｓ）、測定点が選択
されたものとみなし、その測定点を選択状態にして図１
２に示したメインルーチンに戻り、♯１でコマンド待ち
となる。

【００４０】同様に、選択の操作を繰返し、パスポイン
トにしたい測定点をすべて選択状態にする。ここで相互
標定コマンドを入力するとプログラムは♯３から♯１１
へ分岐し、相互標定を行なう。図１６は相互標定のサブ
ルーチンを示すフローチャートである。図１６を参照し
て、相互標定ルーチンにおいては、まず選択状態になっ
ている測定点が５個以上あるかどうかをチェックする
（♯６１）。４個以下の場合は（♯６１でＮｏ）、エラ
ー表示をした後（♯６５）、メインルーチンへ戻る。５
個以上ある場合は（♯６１でＹｅｓ）、公知の方法で相
互標定計算を行ない（♯６２）、外部標定要素κ１、φ
１、κ２、φ２、ω２を求めた後、既に入力されている
測定点のモデル座標を計算する（♯６３）。次いで選択
されていた測定点の選択状態を解除し（♯６４）、メイ
ンルーチンへ戻り、♯１でコマンド待ちになる。

【００４１】（５） 基準量の入力 次にモデルの縮尺を求めるための基準量を入力する。方
法は既に説明したように２台のカメラの基線長を用いる
方法、対象物上の任意の部分の寸法（基準長）を用いる
方法、および対象物までの距離（基準距離）を用いる方
法がある。図１２においてまず基準量入力コマンドを入
力するとプログラムは♯４から♯１２へ分岐し、基準量
入力ルーチンに入る。

【００４２】図１７は基準量入力ルーチンの内容を示す
フローチャートである。図１７を参照して、基準長入力
ルーチンにおいては、まず基準量の種類の入力待ちとな
る（♯７１）。ここで基準量として基線長を選び、撮影
時に測定しておいた基線長Ｂ ₀ を入力すると（♯７２で
Ｙｅｓ）、モデルの基線長ＢはＢ₀ ／Ｂの値に更新され
た後（♯７５）、既に入力済の測定点のモデル座標を、
更新されたＢを用いて計算し直す（♯７６）。

【００４３】基準量として対象物の任意の部分の寸法
（基準長）を用いる場合には、予めその部分の両端の点
を測定点として入力しておき、基準量入力コマンドを入
力する前にその点を選択状態にしておかなければならな
い。その状態で基準量入力コマンドを入力し、♯７１で
基準量の種類の入力待ちのときに基準量として基準長を
選び、撮影時に測定しておいた基準長Ｌ₀ を入力する
（♯７３でＹｅｓ）。このときは選択状態の測定点の数
をチェックし２個でなければ（♯７７でＮｏ）、エラー
表示をしてメインルーチンへ戻る（♯８２）。

【００４４】選択状態の測定点の数が２個であれば（♯
７７でＹｅｓ）、選択状態の点間の距離Ｌｓが計算され
（♯７８）、モデルの基線長Ｂは、Ｂ×Ｌ₀ ／Ｌｓの値
に更新された後（♯７９）、既に入力済の測定点のモデ
ル座標を更新されたＢを用いて計算し直す（♯８０）。
次いで測定点の選択状態を解除し（♯８１）、メインル
ーチンへ戻る。

【００４５】基準量として対象物までの距離（基準距
離）を用いる場合には、予め基準距離を測定した対象物
側の点を測定点として入力しておき、基準量入力コマン
ドを入力する前にその点を選択状態にしておかなければ
ならない。その状態で基準量入力コマンドを入力する。
♯７１で基準量の種類の入力待ちのときに基準量とし
て、基準距離を選び、撮影時に測定しておいた基準距離
Ｄ₀ を入力する（♯７４でＹｅｓ）。この場合は、選択
状態の測定点の数をチェックし（♯８３）、１個でなけ
れば（♯８３でＮｏ）、エラー表示をしてメインルーチ
ンへ戻る（♯８８）。選択状態の測定点の数が１個であ
れば（♯８３でＹｅｓ）、選択状態の点までの距離Ｄｓ
が計算され（♯８４）、モデルの基線長ＢはＢ×Ｄ₀ ／
Ｄｓの値に更新され（♯８５）、既に入力済の測定点の
モデル座標を更新されたＢを用いて計算し直す（♯８
６）。次いで測定点の選択状態を解除し（♯８７）、メ
インルーチンへ戻る。

【００４６】（６） 寸法測定 寸法測定のコマンドを入力する前に、測定したい部分の
両端の測定点を選択状態にする。その状態で寸法測定コ
マンドを入力すると、プログラムは図１２の♯８から♯
１６へ分岐する。図１８を参照して寸法測定サブルーチ
ンについて説明する。

【００４７】このルーチンではまず選択状態の測定点の
数をチェックし（♯９１）、２個以外のときは（♯９１
でＮｏ）、エラー表示をした後（♯９５）、メインルー
チンへ戻る。選択状態の測定点が２個の場合は（♯９１
でＹｅｓ）、その２点間の距離を計算する（♯９２）。
選択されている２点のモデル座標をそれぞれ（Ｘ１，Ｙ
１，Ｚ１）、（Ｘ２，Ｙ２，Ｚ２）とすると２点間の距
離は次の式で計算できる。

【００４８】Ｄ＝｛（Ｘ１−Ｘ２）² ＋（Ｙ１−Ｙ２）
² ＋（Ｚ１−Ｚ２）² ｝^1/2 測定結果はディスプレイ６１に表示され（♯９３）、測
定点の選択状態が解除され（♯９４）、メインルーチン
へ戻る。

【００４９】（７） 基準面入力 本実施例の三次元計測装置では、ある点から基準面まで
の高さを計測する「高さ測定」機能を有している。たと
えば樹木の樹高を計測する場合に、木の先端と根元の両
方が見えていれば寸法測定機能を用いて樹高測定は可能
である。しかし、手前に物があって根元が見えないよう
な場合、高さ測定機能を用いて見えている地面を基準面
として樹高を計測することができる。高さ測定に先立
ち、基準面入力コマンドを用いて基準面を入力しておか
なければならない。基準面入力を行なうには、まず基準
面を定義する測定点を３点選択状態にしてから基準面入
力コマンドを入力する。基準面入力のルーチンでは選択
された３点を含む面を基準面としてその面の方程式をた
てる。選択された３点の座標を（Ｘ１，Ｙ１，Ｚ１）、
（Ｘ２，Ｙ２，Ｚ２）、（Ｘ３，Ｙ３，Ｚ３）、面の方
程式をＺ＝ａＸ＋ｂＹ＋ｃとすると、ａ，ｂ，ｃは以下
の式で表される。

【００５０】ａ＝｛（Ｚ２−Ｚ１）・（Ｙ２−Ｙ３）−
（Ｚ２−Ｚ３）・（Ｙ２−Ｙ１）｝／｛（Ｘ２−Ｘ１）
・（Ｙ２−Ｙ１）−（Ｘ２−Ｘ３）・（Ｙ２−Ｙ１）｝ ｂ＝｛（Ｚ２−Ｚ１−ａ）（Ｘ２−Ｘ１）｝／（Ｙ２−
Ｙ１） ｃ＝Ｚ１−ａ・Ｘ１−ｂ・Ｙ１ 図１９は図１２の♯１５で示した基準面入力ルーチンを
示すフローチャートである。図１９を参照して、まず選
択された測定点の数をチェックする（♯１０１）。選択
された測定点が３点でなければ（♯１０１でＮｏ）、エ
ラー表示をしてメインルーチンへ戻る（♯１０４）。選
択された点が３点であれば（♯１０１でＹｅｓ）、上で
説明したように基準面の方程式をたてた後（♯１０
２）、選択された測定点を解除してメインルーチンへ戻
る（♯１０３）。

【００５１】（８） 高さ測定 ある点（Ｘ０，Ｙ０，Ｚ０）から平面Ｚ＝ａＸ＋ｂＹ＋
ｃへ降ろした垂線の長さＨは垂線とこの平面との交点を
点（Ｘｈ，Ｙｈ，Ｚｈ）とすると次の式で表わされる。

【００５２】Ｈ＝｛（Ｘｈ−Ｘ０）² ＋（Ｙｈ−Ｙ０）
² ＋（Ｚｈ−Ｚ０）² ｝^1/2 ただし、 Ｘｈ＝｛（１＋ｂ² ）Ｘ０＋ｂ（Ｚ０−ｂ・Ｙ０−
ｃ）｝／（ａ² ＋ｂ² ＋１） Ｙｈ＝｛（１＋ａ² ）Ｙ０＋ｂ（Ｚ０−ａ・Ｘ０−
ｃ）｝／（ａ² ＋ｂ² ＋１） Ｚｈ＝｛（ａ² ＋ｂ² ）Ｚ０＋ａ・Ｘ０＋ｂ・Ｙ０＋
ｃ）｝／（ａ² ＋ｂ² ＋１） 図２０は図１２の♯１７で示した高さ測定サブルーチン
の内容を示すフローチャートである。図２０を参照して
高さ測定のサブルーチンについて説明する。高さ測定コ
マンドを入力すると、図１２に示したメインルーチンに
おいて♯９から♯１７へ分岐し、図２０のサブルーチン
に入る。まず基準平面が既に入力されているかどうかを
チェックし（♯１１１）、入力されていなければ（♯１
１１でＮｏ）、エラー表示を行ないメインルーチンへ戻
る（♯１１５）。基準平面が入力されていれば（♯１１
１でＹｅｓ）、選択されている点から基準面までの距離
を計算し（♯１１２）、ディスプレイに表示し（♯１１
３）、測定点の選択状態を解除しメインルーチンへ戻る
（♯１１４）。

【００５３】以上、本発明の実施例を基本的な測定の流
れに沿って説明した。この実施例で用いた基線長および
基準距離は、撮影レンズ４１の物体側主点１をカメラ側
の起点と考えた。しかしながら、物体側主点１を起点に
していては、三脚に載せたカメラの角度を変えただけで
起点の位置が変化してしまい、その都度基準量を測定し
直さなけれがならない。ここでたとえばカメラの三脚ね
じの位置などを起点にすれば、カメラの角度を変化させ
ても起点の位置は変化しないので、基準量を測定し直す
必要がなくなる。この場合、測定した基準量の物体側主
点位置を起点とした基準量に換算する必要がある。以
下、その換算の方法を説明する。

【００５４】図２１はカメラの三脚ねじの位置を起点に
した場合の測定した基準量を物体側主点位置を起点にし
た基準量に換算する方法を説明するための図である。図
２１を参照して、カメラボディ１１１は光軸１１３を有
する撮影レンズ１１２と、三脚ねじ１１５とを含む。光
軸１１３上に物体側主点１１４が存在する。ここでは三
脚ねじ１１５の位置を基線長を測定する起点にした場合
について説明する。三脚ねじ１１５を原点として光軸１
１３に平行にｚ軸を、カメラ１１１に水平方向にｘ軸
を、垂直方向にｙ軸を図のようにとる。撮影レンズ１１
２の物体側主点１１４のｘｙｚ座標上の位置を（ｘｃ，
ｙｃ，ｚｃ）とすると、図１を参照して左カメラ３１ａ
の三脚ねじの位置をモデル座標の原点、右カメラ３１ｂ
は三脚ねじの位置をモデル座標の（Ｂ，０，０）とす
る。左カメラ３１ａはその位置で三脚ねじ１１５を中心
に、Ｙ軸の正の方向に向かって右回りにφ１、Ｚ軸の正
の方向に向かって右回りにκ１、回転した方向を向いて
いる。右カメラ３１ｂはその位置で三脚ねじ１１５を中
心に、Ｚ軸の正の方向に向かって右回りにκ２、Ｙ軸の
正の方向に向かって右回りにφ２、Ｘ軸に正の方向に向
かって右回りにω２回転した方向を向いている。したが
って、モデル座標上の左カメラ３１ａの物体側主点の位
置（Ｘ１，Ｙ１，Ｚ１）および右カメラ３１ｂの物体側
主点の位置（Ｘ２、Ｙ２，Ｚ２）は次のように表わされ
る。

【００５５】Ｘ１＝ｘ１・ｃｏｓφ１・ｃｏｓκ１−ｙ
１・ｃｏｓφ１・ｓｉｎκ１−ｚｃ・ｓｉｎφ１ Ｙ１＝ｘ１・ｓｉｎκ１＋ｙ１・ｃｏｓκ１ Ｚ１＝−ｘ１・ｓｉｎφ１・ｃｏｓκ１＋ｙ１ｓｉｎφ
１・ｓｉｎκ１−ｚｃ・ｃｏｓφ１ Ｘ２＝ｘ２・ｃｏｓφ２・ｃｏｓκ２−ｙ２・ｃｏｓφ
２・ｓｉｎκ２−ｚｃ・ｓｉｎφ２＋Ｂ Ｙ２＝ｘ２・（ｃｏｓω２・ｓｉｎκ２＋ｓｉｎω２・
ｓｉｎφ２・ｃｏｓκ２）＋ｙ２・（ｃｏｓω２・ｃｏ
ｓκ２−ｓｉｎω２・ｓｉｎφ２・ｓｉｎκ２）＋ｚｃ
・ｓｉｎω２・２ｃｏｓφ２ Ｚ２＝ｘ２・（ｓｉｎω２・ｓｉｎκ２−ｃｏｓω２・
ｓｉｎφ２・ｃｏｓκ２）＋ｙ２・（ｓｉｎω２・ｃｏ
ｓκ２＋ｃｏｓω２・ｓｉｎφ２・ｃｏｓκ２）−ｚｃ
・ｃｏｓω２・ｃｏｓφ２ 実際には相互標定を行なってκ１、φ１、κ２、φ２、
ω２の値が確定し、基準量として基線長Ｂが入力された
ときに上記の計算を実行してＸ１，Ｙ１，Ｚ１，Ｘ２，
Ｙ２，Ｚ２を求め、次の式を用いて物体側主点を起点と
した基線長Ｂｃを計算すればよい。

【００５６】Ｂｃ＝（（Ｘ１−Ｘ２）² ＋（Ｙ１−Ｙ
２）² ＋（Ｚ１−Ｚ２）² ）^1/2 本実施例では、モデルの縮尺を求めるための基準量とし
てカメラの基線長、カメラから対象物の上の任意の点ま
での距離、または対象物上の任意の部分の寸法が必要で
ある。しかしこれらすべてが直接測定できない場合で
も、間接的に基線長を測定することができる。このこと
を図２２を用いて説明する。

【００５７】図２２は間接的に基線長を測定する方法を
説明するための図である。図２２を参照して、左カメラ
１２３と右カメラ１２４とを用いて対象物１２１を物差
し１２２を用いて測定するものとする。物差し１２２は
必ずしも物差しでなくてもよく、長さの分かっているも
のであれば何でもよい。物差し１２２は左カメラ１２
３、右カメラ１２４のどちらからも見える位置に置かれ
ている。この状態で左カメラで物差し１２２の画像およ
び対象物１２１の画像をそれぞれ撮影し、右カメラで物
差し１２２の画像および対象物１２１の画像をそれぞれ
撮影する。つまり共通の基線長Ｂで対象物１２１および
物差し１２２の画像を撮影する。撮影した画像のうち物
差し１２２の撮影した画像を本実施例の三次元計測装置
を用いて解析し、基準長として物差しの長さを与えてや
ると図１７に示した基準量入力ルーチンの♯７９で基線
長Ｂが計算される。この基線長Ｂは対象物１２１の左右
写真の基線長として用いることができる。

【００５８】なお、本実施例によれば、第１ＣＣＤセン
サ４５と第２ＣＣＤセンサ４６が互いに１／２画素ずら
せて配置されているため、カラーカメラでありながら、
ＣＣＤセンサの画素数が少々少なくても分解能を高くす
ることができる。

【００５９】

【発明の効果】以上のように、この発明に係る三次元計
測装置によれば、異なる位置で撮影された第１イメージ
センサの複数の画像上でそれぞれ対応する対応点を抽出
し、その抽出された対応点の信頼性を第２イメージセン
サで得られた画像データを用いて判断するようにしたた
め、対応点が簡単な構成でかつ誤りなく検出できる。そ
の結果、安価でかつ高精度の計測が可能な三次元計測装
置が提供できる。

【図面の簡単な説明】

【図１】この発明に係る三次元計測装置の計測の原理を
説明するための模式図である。

【図２】この発明に係る三次元計測装置に用いられるカ
メラの構成を示すブロック図である。

【図３】カメラのγ変換特性を示す図である。

【図４】三次元計測装置に用いられるパーソナルコンピ
ュータの外観図である。

【図５】第１ＣＣＤセンサの受光面の部分拡大図であ
る。

【図６】第２ＣＣＤセンサの受光面の部分拡大図であ
る。

【図７】第３ＣＣＤセンサの受光面の部分拡大図であ
る。

【図８】第１ＣＣＤセンサと第２ＣＣＤセンサの画素の
位置関係を示す図である。

【図９】第１ＣＣＤセンサと第３ＣＣＤセンサの画素の
位置関係を示す図である。

【図１０】表示用画像データの画素と第１および第３Ｃ
ＣＤセンサの画素の位置関係を示す図である。

【図１１】表示用画像データの画素と第２ＣＣＤセンサ
の画素の位置関係を示す図である。

【図１２】メインルーチンのフローチャートである。

【図１３】画像データ入力ルーチンのフローチャートで
ある。

【図１４】測定点入力ルーチンのフローチャートであ
る。

【図１５】測定点選択ルーチンのフローチャートであ
る。

【図１６】相互標定ルーチンのフローチャートである。

【図１７】基準量入力ルーチンのフローチャートであ
る。

【図１８】寸法測定ルーチンのフローチャートである。

【図１９】基準面入力ルーチンのフローチャートであ
る。

【図２０】高さ測定メインルーチンのフローチャートで
ある。

【図２１】物体側主点と三脚ねじの位置関係を説明する
ための図である。

【図２２】間接的にカメラの基線長を測定する方法を説
明するための図である。

【図２３】従来の写真測量装置の全体構成を示すブロッ
ク図である。

【図２４】ＣＣＤセンサ２０３の受光面の部分拡大図で
ある。

【図２５】モノクロカメラ２１０のブロック図である。

【図２６】ＣＣＤセンサ２１３の受光面の部分拡大図で
ある。

【符号の説明】

３０ 対象物 ３１ａ 左カメラ ３１ｂ 右カメラ ３２ａ，３２ｂ 像 ４０ デジタルカメラ ４１ 撮影レンズ ４２，４３，４４ プリズム ４５ 第１ＣＣＤセンサ ４６ 第２ＣＣＤセンサ ４３ 第３ＣＣＤセンサ ４８ 信号処理回路 ４９ Ａ／Ｄコンバータ ５０ マイクロコンピュータ

Claims (1)

【特許請求の範囲】
1. 【請求項１】 対象物をデジタルカメラを用いて異なっ
   た位置から撮影して前記対象物の複数の画像を作成し、
   前記複数の画像上でそれぞれ対応する対応点の位置関係
   を用いて前記対象物の三次元形状を計測する三次元計測
   装置であって、 前記デジタルカメラは第１イメージセンサと、前記第１
   イメージセンサとは異なる第２イメージセンサとを含
   み、 異なる位置で撮影された前記第１イメージセンサの複数
   の画像上でそれぞれ対応する対応点を抽出する抽出手段
   と、 前記第２イメージセンサで得られた画像データを用いて
   前記抽出手段で抽出された対応点の信頼性を判断する判
   断手段とを含む、三次元計測装置。