JPH063132A

JPH063132A - 撮像プロセス同定装置

Info

Publication number: JPH063132A
Application number: JP4165745A
Authority: JP
Inventors: Toshiyuki Aoki; 利幸青木; Koji Kameshima; 鉱二亀島
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1992-06-24
Filing date: 1992-06-24
Publication date: 1994-01-11
Anticipated expiration: 2016-11-12
Also published as: JP3227797B2

Abstract

(57)【要約】【構成】照合手段４を設けて、ワイヤフレーム像と影像
に写った物体像を重ね合わせることにより、各倍率に対
する撮影手段１の位置を精度良く計測できる。この各倍
率に対する撮影手段１の位置データに基づき、撮影手段
１の位置，倍率，画面中心のずれを求める。【効果】パターン照合により、撮影手段の位置，倍率，
画面中心のずれに関して精度向上が図られ、パラメータ
推定に必要な測定点の個数が少なく、撮影時の作業が減
少する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はプラントなどの大規模構
造物の建設・保守における計測装置に関する。

【０００２】

【従来の技術】プラント建設の合理化のために、特開平
2−209562 号公報に記載されているアズビルドデータベ
ースを用いた建設プロセスが提案された。このプロセス
においては、次の技術が用いられている。

【０００３】幾何モデルと単眼画像を動的に照合するこ
とにより、対象物の３次元位置を推定する技術として、
次の発明がある。パターン力学の概念に基づく２自由度
照合アルゴリズムが開発された。次いで、照合アルゴリ
ズムを３自由度に拡張された。

【０００４】そこで、画像を用いた計測のためのカメラ
の校正法としては、村井等による非測定用カメラの評定
法と笹沢によるカメラのキャリブレーションがある。

【０００５】前者の評定法では、写真用カメラの位置・
姿勢，写真中心の主点のずれ、焦点距離，レンズの歪み
を表す多項式の二つの係数，フィルムの湾曲を表す多項
式の六つの係数の校正が行われた。その手法として、観
測方程式の線形化を行い、地上での基準点の位置，写真
上での基準点の位置をもとにして、最小二乗法による正
規方程式を求め、その解より近似値の補正を行う。この
作業の繰り返すことにより、未知パラメータを収束させ
た。

【０００６】後者のキャリブレーションでは、ＣＣＤカ
メラを用いて、カメラの位置・姿勢，写真中心の主点の
ずれ，焦点距離，レンズの歪みを表す多項式の二つの係
数の校正が行われた。手法としては、地上での基準点の
位置，画面上での基準点の位置をもとにして、最小二乗
法を用いて正規方程式を求め、正規方程式を解くことに
より未知パラメータを求めた。

【０００７】

【発明が解決しようとする課題】建設系作業では、作業
の進行と共に構造物形状が絶えず変化する。実際、プラ
ント等の構造物の建設に当たっては、事前に作り上げら
れた設計情報を工事の進行に合わせて具体化しながら、
製作・搬入・取付けが行われる。このようなダイナミッ
クな生産を一貫して支援するためには、刻々と変化する
構造物の状況を絶えず設計データとして管理しなければ
ならない。このようなダイナミックな設計情報は、アズ
ビルドデータベースと呼ばれている。

【０００８】さて、アズビルドデータベースの精度は、
一般に、次の２点で規定されることになる。即ち、
（１）物体の形状誤差、（２）物体の取付け誤差、であ
る。このうち、（１）については、工場管理が可能であ
る。したがって、本発明では（２）の問題のみを考察す
る。

【０００９】さて、アズビルドデータベースを生成・維
持するためには、頻繁に構造物を計測しなければならな
い。ここで、設計データが、物体の位置の予測データと
して利用可能なことに着目すると、図３の様な対話型シ
ステムを構成することができる。

【００１０】このシステムは次の手順で設計データベー
スをアズビルド化する。先ず、作業現場に設置したカメ
ラを用いて物体を撮影し、ワークステーションの画面上
に表示する。次に、設計データベースを検索し、計測対
象物体のデータ（クラス）から対象物体の位置・姿勢情
報（物体記述）を取り出し、コンピュータ・グラフィッ
クスの手法を用いて物体のワイヤフレーム像を生成す
る。このワイヤフレーム像は、物体像に重ねて表示す
る。操作者は、このワイヤフレーム像と物体像を画面上
で照合することにより、物体の位置を修正する。このよ
うに更新された位置データを用いて、現実に対応する物
体データ（インスタンス）を作り出す。この手法を物体
ごとに繰り返すことにより、時々刻々変化する構造物の
状況がダイナミックな設計情報として管理されることに
なる。

【００１１】図３に示す方法で物体モデルと物体画像を
照合した場合、カメラ位置を基準とした物体位置が決定
されることになる。この様なカメラ座標基準の位置・姿
勢に関しては、自動計測アルゴリズムが開発され、精度
確認もなされている。

【００１２】従来技術では、画像上での基準点の位置に
基づいて、カメラの校正が行われるため、この基準点の
画面上の計測精度は画面の分解能を超えることはない。
このため、画面の分解能以上の精度を出すには、基準点
を多く計測しなければならない。

【００１３】本発明の目的は、統計効果により精度良く
計測できるパターン照合を用い、撮影手段の位置，倍
率，画面中心のずれを精度良く求める撮像プロセス同定
装置及び手順を提供することにある。

【００１４】

【課題を解決するための手段】上記目的を達成するた
め、本発明の撮像プロセス同定装置は物体を撮影し影像
を生成する撮影手段、前記撮影手段の姿勢を計測する計
測手段、物体の形状・位置の情報を有している物体情報
記憶手段、影像情報を有する影像記憶手段、物体のワイ
ヤフレーム像を生成するワイヤフレーム像生成手段、前
記影像記憶手段より得られる影像に写った物体像と前記
ワイヤフレーム生成手段より得られるワイヤフレーム像
を照合することにより、前記撮影手段の位置を計測する
照合手段、前記影像と前記ワイヤフレーム像を表示する
照合表示手段、前記撮影手段の位置・姿勢、前記照合表
示手段の画面中心と前記撮像手段の光軸とのずれ、前記
撮像手段の倍率の情報を有している撮像プロセス情報記
憶装置、前記照合手段から得られる前記撮影手段の位置
及び前記撮像プロセス情報記憶装置より得られる前記照
合表示手段の画面中心と前記撮像手段の光軸とのずれ、
前記撮像手段の倍率より、前記撮影手段の位置，倍率及
び前記照合表示手段の画面中心と前記撮像手段の光軸と
のずれの補正量を計算するパラメータ計算手段からな
る。

【００１５】

【作用】照合手段を設け、ワイヤフレーム像と物体像を
重ね合わせることにより、各倍率に対する撮影手段の位
置を精度良く計測することができる。この各倍率に対す
る撮影手段の位置データに基づき、撮影手段の位置，倍
率，画面中心のずれを求める。

【００１６】

【実施例】先ず、撮像プロセスの数理モデルの導出を行
う。

【００１７】カメラの位置・姿勢は計測毎に変化するた
め、カメラと測量機を組み合わせた装置を用いた。

【００１８】撮像装置は次の過程を経て影像を作り出
す。先ず受光段階で像は幾何学的な変換を受ける。この
変換はレンズ及び受光素子の位置と大きさによって定ま
る。次に、像は電気的信号に変換され、ディスプレイに
表示される。この段階で、像には電気的変形が発生す
る。本発明では、以上の像発生過程を次のようにモデル
化する。

【００１９】本装置では、構造上測量機中心とカメラ中
心とが異なる。この偏差（カメラオフセット）を用いる
と、計測座標からカメラ座標への変換は次式で表され
る。

【００２０】

【数１】

【００２１】但し、α，β，γ，ｅ_mx，ｅ_my，ｅ_mzはカ
メラオフセットである。本装置では、角度オフセット
（α，β）は０に設計してある。レンズが歪みを持たな
いとすると受光素子上の像は次式にしたがって作られる
ことになる。

【００２２】

【数２】

【００２３】ここで、ｃ_rx、及び、ｃ_ryは、ｘ、ｙ方向
のレンズ倍率である。ここで、レンズに対する受光素子
のずれを考慮すると、受光素子の出力する像は次式で表
現できる。

【００２４】

【数３】

【００２５】ここに、ｅ_sx、ｅ_syは受光素子のずれを表
すものである。受光素子の出力像は、光電変換及び電気
的変換を経てワークステーションのメモリに格納され
る。このような変換において、画像の中心の変位および
倍率の変化が生じる。このような画像の歪みは次式で表
現することができる。

【００２６】

【数４】

【００２７】ここで、ｅ_ix、ｅ_iyは受光素子中心と画像
中心とのずれを、ｃ_ix、ｃ_iyは受光素子と画像との倍率
を表している。本装置の像はワークステーションのメモ
リ上に記憶され、同じメモリ上に生成されるワイヤフレ
ーム像と照合される。したがって、ブラウン管の歪み
は、原理的に考慮する必要がない。以上をまとめると、
次式が得られる。

【００２８】

【数５】

【００２９】

【数６】

【００３０】ここに、ｘ，ｙ，ｚ：測量機に固定された座標系に関する
物体位置ｘ_m，ｙ_m，ｚ_m ：カメラ座標系に関する物体位置ｘ_i，ｙ_i ：画面座標系に関する物体像の位置である。また、ｅ_mx，ｅ_my，ｅ_mz：測量機座標系に関するカメラの位置 α，β，γ ：測量機座標系に関するカメラの姿勢ｃ_x，ｃ_y ：レンズ，光電変換，電気的変換を合
わせた倍率ｅ_x，ｅ_y ：画面座標系に関する光軸の変位であり、いずれも撮像装置の組立・設置状態に依存して
変化するパラメータである。建設・保守作業環境では、
撮像装置の厳格な管理は実際的ではないことを考慮し
て、本発明では、これらｅ_mx，ｅ_my，ｅ_mz，α，β，
γ，ｃ_x，ｃ_y，ｅ_x，ｅ_yを未知パラメータとして扱う。

【００３１】さて、数５の未知パラメータ中のｅ_mx，ｅ
_my，ｅ_mzは計測システムの保守条件に依存するため、精
度管理が容易でない。また、数６のｃ_x，ｃ_yは、映像の
電気的変位に依存するため、カメラとワークステーショ
ンの組み合わせにより、ばらつきが生じると予想され
る。但し、数５のα，β，γおよび数６のｅ_x，ｅ_yは、
カメラ単体の組立精度のみにより決定されるため、比較
的に誤差が小さいと考えられる。そこで、本発明では、
α，βをｅ_x，ｅ_yに含めて同定することにする。この
α，βをｅ_x，ｅ_yに含めたことによる誤差については、
通常の計測条件では、カメラ光軸と測量器光軸とのずれ
角は十分小さいと期待できる。このことに着目して、数
５および数６のｅ_x を次式で定義されるｅ_txで置き換え
る。また、γについてはワイヤフレームを物体像とを重
ね合わせることにより求める。

【００３２】このように未知パラメータを整理した場合
には、撮像プロセスのモデルは次のように単純化され
る。

【００３３】

【数７】

【００３４】

【数８】

【００３５】この時、未知パラメータはθ＝（ｅ_mx，ｅ
_my，ｅ_mz，ｃ_x，ｃ_y，ｅ_x，ｅ_y）となる。

【００３６】

【数９】

【００３７】但し、αはずれ角である。この時、画面中
心と画面端の間には、高々次式で表される測定誤差ｅｒ
αが現われる。

【００３８】

【数１０】

【００３９】ここで、θ_sはカメラの視野角を、ｚ_mはカ
メラと対象物体との距離である。今、θ_s ＝２０度，ｚ
_m ＝５０００mmとし、θ＝０.１度としたとき、測定誤
差は０.２７mm となる。したがって、この置き換えによ
る誤差は、通常の建設系作業では許容範囲にあると考え
られる。

【００４０】数７および数８を用いると撮像プロセスを
シミュレートすることができる。言い換えれば、数７お
よび数８を用いて生成される対象物のワイヤフレームと
物体像を重ね合わせることにより、対象物と撮像装置の
相対的な位置・姿勢が検出できることになる。本発明で
は、このことを利用して、数７および数８の未知パラメ
ータを同定する。

【００４１】さて、対象物のワイヤフレームと物体像を
重ね合わせる時、次の二つの原理が成立する。

【００４２】（１）位置・姿勢の既知の物体像と、同一
条件で生成したワイヤフレーム像は一致する。

【００４３】（２）カメラ位置・姿勢の変化により、ワ
イヤフレーム像と物体像のずれには特有のパターンが生
じる（図４参照）。

【００４４】図４の説明を行う。物体に対して、カメラ
の位置・姿勢が変化したとき、移動形態に対応して特有
の画像の歪みが生じる。この歪みはオプティカルフロー
と呼ばれる。オプティカルフローが入手できる場合に
は、カメラの移動量ｆを逆算できる。但し、ｚはオプテ
ィカルフローであり、ｕ_m，ｕ_rは画像及び物体モデルの
拡散像を表す。また、γはゲインマトリクスである。

【００４５】この原理に基づいて、撮像プロセスモデル
数７および数８を同定する方法を考察する。問題は、
ｘ、ｙ、ｚとｘ_i、ｙ_iを与えて（すなわち形状・位置・
姿勢が既知の物体像を用いて）、パラメータθ＝
(ｅ_mx，ｅ_my，ｅ_mz，ｃ_x，ｃ_y，ｅ_x，ｅ_y ）を求めるこ
とにある。

【００４６】さて、数７および数８は、ｘ_i，ｙ_iが未知
パラメータに非線形に依存することを示している。この
ような状況では、パラメータ推定が困難となる。実際パ
ラメータｅ_mxとｅ_x，ｅ_myとｅ_yの変化に対してワイヤフ
レーム像は同傾向のずれを生じるため、照合時の切り分
けができない。そこで、本発明では、繰り返し計算によ
り、各未知パラメータを分解しながら推定することを試
みた。

【００４７】本発明で導入した繰り返し計算の原理を図
６に示す。

【００４８】図５には、簡単のためにｘ−ｚの関係のみ
が表示されている。繰り返し計算は以下のような手順で
実行する。先ず、ｅ_x に初期値０を与え、物体１・２を
計測する。但し、物体１は近傍に、物体２は遠方に配置
するものとする。この時、各物体像は次式で表される位
置に現われるはずである。

【００４９】

【数１１】

【００５０】

【数１２】

【００５１】ところで、ｃ_xとｅ_mx，ｃ_xとｅ_mzの間には
次の関係が成立する。

【００５２】

【数１３】

【００５３】

【数１４】

【００５４】ただし、

【００５５】

【数１５】

【００５６】

【数１６】

【００５７】

【数１７】

【００５８】

【数１８】

【００５９】である。今、上記のように遠近二つの物体
に関して倍率ｃ_x を変化させながら照合操作を行うと、
数１３および数１４は２本のグラフを作り出すことにな
る。さて、これらの二本のグラフの交点に対応する倍率
ｃ_xは、初めに設定したｅ_xが真値の場合には一致するは
ずである。換言すれば、ｃ_xの不一致はｅ_xの不一致を表
している。この点に着目して、ｃ_xが一致しない場合に
は、ｅ_xを次式にしたがって補正する。

【００６０】

【数１９】

【００６１】但し、ｚ_m1，ｚ_m2はカメラ中心から各モデ
ルまでの距離を、ｎはｅ_x を求める作業の繰返し回数を
表している。この補正されたｅ_x を用いて、数１１以下
を繰り返す。この繰り返しが収束する場合には、全ての
パラメータが推定されたことになる。

【００６２】本発明の一実施例を図１により説明する。
本発明例は、撮影手段１と、計測手段２と、計測手段２
と接続された撮像プロセス情報記憶装置６と、撮像プロ
セス情報記憶装置６と接続されたワイヤフレーム像生成
手段３と、撮影手段１とワイヤフレーム像生成手段３と
接続された照合手段４と、照合手段４とワイヤフレーム
像生成手段３と接続されたパラメータ計算手段５と、ワ
イヤフレーム像生成手段３と接続された物体情報記憶手
段７と、撮影手段１と照合手段４と接続された影像情報
記憶装置８を備えている装置を用いる。

【００６３】撮影手段１では、対象物体を撮影する。計
測手段２は、撮影手段１を組み合わされ、撮影手段１の
姿勢を計測する。撮像プロセス情報記憶装置６は、撮影
手段の位置・姿勢，画面中心の主点のずれ，焦点距離の
情報を有している。ワイヤフレーム像生成手段３では、
撮像プロセス上方と物体情報より、ワイヤフレーム像を
生成する。照合手段４では、映像とワイヤフレーム像を
照合することにより、撮影手段の位置を計測する。パラ
メータ計算手段５では、撮影手段の位置とその時の焦点
距離より、撮影手段の位置，焦点距離と画面中心の補正
量を計算する。物体情報記憶手段７では、物体の形状・
位置の情報を有している。影像情報記憶手段８では、影
像の情報を有している。

【００６４】図１の撮像プロセス同定装置を用いて、図
２に示す手順で撮像プロセスの同定を行う。

【００６５】撮影手段との距離の異なる既知物体１・２
を撮影する（ステップ１）。次に撮影手段の姿勢を、計
測手段により計測する（ステップ２）。そして、照合手
段および照合表示手段において、ワイヤフレームを物体
像とを重ね合わせることにより、γを求める（ステップ
３）。また、照合手段および照合表示手段において、画
面中心のずれｅ_xを固定して、倍率ｃ_xを変化させながら
物体１を計測する。具体的には、各倍率ｃ_x に対して、
撮影手段の位置の横方向の値ｅ_mx、撮影手段の位置の奥
行き方向の値ｅ_mzを計測する。この作業は、数１１にお
いて、画面中心のずれｅ_x，倍率ｃ_xより、撮影手段の位
置の横方向の値ｅ_mx、撮影手段の位置の奥行き方向の値
ｅ_mzを求めることに対応する（ステップ４）。ステップ
５では、物体２についてステップ４の作業を行う。この
作業により、数１２において、画面中心のずれｅ_x，倍
率ｃ_xより、撮影手段の位置の横方向の値ｅ_mx，撮影手
段の位置の奥行き方向の値ｅ_mzが求められたことにな
る。

【００６６】ステップ６で、パラメータ計算手段におい
て、物体１・２に対して最小２乗法を用いて、倍率ｃ_x
と撮影手段の位置の奥行き方向の値ｅ_mzの間の正規方程
式をそれぞれ求め、これらの正規方程式の解を求める。
この解を倍率ｃ_x の推定値とする。この作業は、物体１
・２に対して数１４のａ₁，ｂ₁を求め、これらの式の解
を求めることに対応している。

【００６７】ステップ７；パラメータ計算手段におい
て、物体１・２に対して最小２乗法を用いて、倍率ｃ_x
と撮影手段の位置の奥行き方向の値ｅ_mzの間の正規方程
式をそれぞれ求め、物体１・２に関して倍率の推定値ｃ
_x に対する撮影手段の位置の横方向の値ｅ_mx1，ｅ_mx2を
求める。この作業は、物体１・２に対して数１３の
ａ₂，ｂ₂を求め、これらの式における倍率の推定値ｃ_x
に対する撮影手段の位置の横方向の値を求めることに対
応している。

【００６８】ステップ８；倍率の推定値ｃ_xに対する撮
影手段の位置の横方向の値ｅ_mx1 ，ｅ_mx2の差が０.５mm
以内である場合、計算を終了する。そうでない場合には
数１９を用いて、画面中心のずれｅ_x の補正を行い、ス
テップ４へ戻る。

【００６９】ｙ−ｚの計測にかかわるパラメータに関し
てもステップ４からステップ８の手順で、撮像プロセス
てを同定する。

【００７０】

【発明の効果】本発明によれば、パターン照合により、
撮影手段の位置，倍率，画面中心のずれに関して精度向
上が図られる。また、パラメータ推定に必要な測定点の
個数が少なく、撮影時の作業が減少する。

【図面の簡単な説明】

【図１】本発明の一実施例を示す撮像プロセス同定装置
を示す説明図。

【図２】本発明の一実施例を示す撮像プロセス同定手順
を示す説明図。

【図３】アズビルドデータベース生成システムを示す説
明図。

【図４】オプティカルフローの構造を示す説明図。

【図５】同定プロセスを示す説明図。

【符号の説明】

１…撮影手段、２…計測手段、３…ワイヤフレーム生成
手段、４…照合手段、４Ａ…照合表示手段、５…パラメ
ータ計算手段、６…撮像プロセス情報記憶装置、７…物
体記憶装置、８…影像記憶装置。

Claims

【特許請求の範囲】

【請求項１】物体を撮影し影像を生成する撮影手段、前
記撮影手段の姿勢を計測する計測手段、前記物体の形状
・位置の情報を有している物体情報記憶手段、影像情報
を有する影像記憶手段、前記物体のワイヤフレーム像を
生成するワイヤフレーム像生成手段、前記影像記憶手段
より得られる影像に写った物体像と前記ワイヤフレーム
生成手段より得られる前記ワイヤフレーム像を照合する
ことにより、前記撮影手段の位置を計測する照合手段、
前記影像と前記ワイヤフレーム像を表示する照合表示手
段、前記撮影手段の位置・姿勢、前記照合表示手段の画
面中心と前記撮像手段の光軸とのずれ、前記撮像手段の
倍率の情報を有している撮像プロセス情報記憶装置、前
記照合手段から得られる前記撮影手段の位置及び前記撮
像プロセス情報記憶装置より得られる前記照合表示手段
の画面中心と前記撮像手段の光軸とのずれ、前記撮像手
段の倍率より、前記撮影手段の位置，倍率及び前記照合
表示手段の画面中心と前記撮像手段の光軸とのずれの補
正量を計算するパラメータ計算手段からなることを特徴
とする撮像プロセス同定装置。