JP3110482B2

JP3110482B2 - 画像監視装置

Info

Publication number: JP3110482B2
Application number: JP03098194A
Authority: JP
Inventors: 秀一郎春木; 武石橋; 誠橋本; 武司川村; 新也上町
Original assignee: Tokyo Electric Power Co Inc; Sumitomo Electric Industries Ltd
Current assignee: Tokyo Electric Power Co Inc; Sumitomo Electric Industries Ltd
Priority date: 1991-04-02
Filing date: 1991-04-02
Publication date: 2000-11-20
Anticipated expiration: 2015-11-20
Also published as: JPH04307310A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は一直線上に並べられた
３個以上のカメラにより三角法を応用しかつ冗長性を持
たせて対象物の特徴点の位置を測定する装置であって、
特に運動している物体だけを対象とする場合に特徴点の
数を減らし演算および測定に要する時間を短縮するもの
である。

【０００２】

【従来の技術】２つのカメラを用いて物体の位置を定め
る三角法測量はよく知られている。これは２つのカメラ
の距離ｌと、カメラの回転角θ、傾角φなどから対象の
位置を決定するものである。これは人間が肉眼で測定す
る場合には有効であるが、自動的に測定をしようとする
場合には応用することが難しい。

【０００３】対象物体Ｂのある特徴点Ｐを２つのカメラ
で見るのであるが、同じ特徴点であるかどうかというこ
とは人間が見れば直ちに分かる。しかし人間の眼に頼っ
ていたのでは測定速度が遅いし不正確でもある。測定を
自動化しなければならない。この場合はカメラの向きは
一定不変にしておき画面上で特徴点Ｐの像Ｐ₁ 、Ｐ₂を
得て、Ｐ₁ 、Ｐ₂ から特徴点Ｐまでの距離や方向を求め
る。

【０００４】しかし同一の点Ｐであるかどうかの判定は
難しい。例えば２つのカメラの画像を２値化し、縦、横
方向に少しずつずらせて２つの画像の相関を計算し、相
関値の最も高い時の画像の変位から特徴点Ｐを求めるこ
とができる。

【０００５】しかし、このような方法は人間が肉眼で同
一性を認める場合に比べて信頼性が低い。似たような対
象物体Ｂの特徴点が２つ以上あると同一か、別異か判断
し難い。

【０００６】特徴点の輝度を特に大きくするとか、相関
演算を巧みに行って同一性の判断ができたとしても、肉
眼による場合に比し確度が低いので、他の測定により検
算しなければならない。つまり冗長性のある測定をしな
ければならないということである。

【０００７】３つ以上のカメラを用い冗長性のある位置
測定を行う測定方法は既に提案されている。特願昭６２
−１７２８２３号（Ｓ６２．７．１３出願）「多眼視覚
装置の信号処理方法及びこの方法を用いた多眼視覚装
置」である。本発明は多眼視覚装置のひとつの発展であ
るので、この装置の原理についてまず説明する。

【０００８】図１はこの視覚装置の原理図である。ｎ個
のカメラＣ₁ 、Ｃ₂ ・・・Ｃ_n があり、これらはレンズ
Ｌ₁ 、Ｌ₂ 、・・・Ｌ_n の中心が同一直線上に並びかつ
光軸は平行に、走査線が同一直線上に並ぶように調整す
る。

【０００９】レンズ中心を通る直線をｙ軸とする。走査
線もｙ軸に平行である。ここではイメージセンサＩ₁ ・
・・Ｉ_n が描かれている。イメージセンサのアレイの方
向がｙ軸方向に並んでいる。これは各カメラの配置に関
して強い制限を課しているということである。カメラＣ
₁ とＣ₂ の距離をｌ₁ 、Ｃ₂ とＣ₃ の距離をｌ₂ ・・・
とする。全てのカメラの光軸も平行でこれがｘ軸であ
る。

【００１０】イメージセンサをレンズの結像面に置く場
合は二次元のものを用いる。カメラが並んでいるｙ方向
が主走査方向になり、ｚ方向が副走査方向になる。画素
はｙｚ面に拡がっているのであるがｙ方向を行、ｚ方向
を列と呼ぶ。全てのテレビカメラについて同じ行を走査
するときに特徴点Ｐが像に現れるものとする。

【００１１】特徴点Ｐがｘｙ面にあるとは限らないが、
Ｐをｘｙ面に投影すればｘｙ座標に関しては正しい函数
関係を導くことができる。そこでここでは簡単のため特
徴点Ｐがｘｙ面にあるとする。特徴点Ｐの像がカメラＣ
₁ 、Ｃ₂ ・・・Ｃ_n に対し、ｕ₁ 、ｕ₂ ・・・ｕ_n の点
に結ぶものとする。レンズと像の距離はレンズの焦点距
離にほぼ等しい。レンズから特徴点Ｐまでの距離をＸと
する（ｘ方向の）。レンズＬ_i の光軸に対し、特徴点Ｐ
とレンズ中心を結ぶ直線のなす角をα_i とすると、任意
の２つのレンズについて

【００１２】

【数１】

【００１３】である。ただしｌ_ijはカメラＣ_i 、Ｃ_j の
ｙ軸上の距離である。一方カメラの内部では、レンズよ
りｆの後方に像ができ、これが中心座標をｕ_o として、

【００１４】

【数２】

【００１５】という簡単な式が成り立つ。すると、これ
らから、

【００１６】

【数３】

【００１７】という式が得られる。Ｘを求めるには、任
意の２つのカメラの座標ｕ_i 、ｕ_jがあれば足りる。も
しもカメラが３個以上あれば、独立な解が２つ以上求ま
る。これらが一致すればこれらの計算と特徴点Ｐの同定
が正しいということである。計算は簡単であって間違う
はずがないが、特徴点Ｐの異同は誤ることがあるのでこ
のような手続きが必要である。例えばカメラを５つ用い
る場合を考える。この時はｌ_ijを添字をひとつにして、
カメラｉ、ｉ＋１の距離をｌ_i で表し、４つの独立なＸ
を求める式を得る。

【００１８】

【数４】

【数５】

【数６】

【数７】

【００１９】これら４式から４つのＸの値を求めて全て
一致するかどうかを試べ、一致するときはこれをひとつ
の特徴点として認め、Ｘの値を採用する。これらが一致
しない場合はいずれかのカメラが特徴点の同定を誤って
いるのであるから、これを捨てる。もちろんこのように
する事もできるが、前記の発明ではこのようにせずに、
隣接カメラの距離を全て等しくし（ｌ₁ ＝ｌ₂ ＝ｌ₃ ＝
ｌ₄ ＝ｌ）、両端のカメラＣ₁ 、Ｃ₅ の像の座標ｕ₁ 、
ｕ₅ から、

【００２０】

【数８】

【００２１】をまず求める。中間のカメラＣ₂ 、Ｃ₃ 、
Ｃ₄ の像の座標ｕ₂ 、ｕ₃ 、ｕ₄ はｕ₁ で差し引いて、

【００２２】

【数９】

【数１０】

【数１１】

【００２３】という関係にあるから、Ｑ／４、Ｑ／２、
３Ｑ／４にｕ₁ を加えてｗ₂ 、ｗ₃、ｗ₄ を求める。こ
れとｕ₂ 、ｕ₃ 、ｕ₄ とを比較し、それぞれが一致すれ
ばこの測定は正しいということが分かり、特徴点までの
ｘ方向の距離Ｘが確定する。ｗ₂ 、ｗ₃ 、ｗ₄ がｕ₂ 、
ｕ₃ 、ｕ₄ と異なれば、特徴点の同定が間違っているの
である。

【００２４】特徴点Ｐのｚ座標は、カメラに於ける像の
ｚ方向の位置によって分かるがこれは全てのカメラにつ
いて共通であり主走査線の行の番号によって分かる。中
間点ｖ₀ からの像の存在する主走査線ｖまでの距離をｖ
−ｖ₀ とすると、Ｘが既知であるから、

【００２５】

【数１２】

【００２６】によってｚ座標が分かるし、ｙ座標の値も
同様に簡単に求められ、特徴点Ｐの三次元座標が分かる
ことになる。

【００２７】

【発明が解決しようとする課題】この方法は、対象物が
運動しているものにも静止しているものにも同様に適用
される。静止物体と運動物体の関係を知るには全ての物
体の位置を測定するのが良い。しかしそうすると特徴点
の数が多く処理に時間がかかりすぎるという欠点もあ
る。時間がかかるとリアルタイムで測定ができない。こ
の発明は対象が運動物体だけである場合に、静止物体の
測定を捨象し、演算に要する時間を減少させるものであ
る。

【００２８】

【課題を解決するための手段】本発明に於いては運動物
体のみを対象とするので、カメラで撮像した画像を直接
に時間微分し、微分画像を特徴抽出する。この特徴点に
ついて前記の判定を行い、判定に合格したデ−タについ
て３次元位置演算を行うことにする。時間微分すること
によって静止した対象物は画面から消えてしまうので、
静止物体についての特徴点抽出や判定、３次元位置演算
等の操作を省くことができる。あるいはカメラで撮像
し、特徴点抽出を行った後時間微分し、その後前記の判
定や３次元位置演算を行う。

【００２９】図２、図３によって本発明に於ける特徴点
の位置測定の順序を示す。先ず図２の方式を説明する。
画像入力というのは全てのカメラに於いて対象物を撮像
する事である。カメラは縦横に数多くの画素を有する撮
像面を持ちここに対象物が写る。同じ対象物であっても
カメラの位置が違うので、カメラにより少しずつ像の形
状が相違する。しかし同じ点は同一の行の画素に結像す
る。画素ごとの光強度を電気信号に変換し、デジタル化
する。これを時系列微分操作をすることにより微分画像
を求める。これで静止物体の画像を除去できる。

【００３０】次に特徴点抽出を行う。特徴点は物体のエ
ッジや点である。ｈビットのデジタル画像を空間微分操
作等をすることにより特徴点を求めることができる。こ
れは既に公知の方法がある。続いて特徴点を対応付けす
る。それぞれのカメラの画像にいくつも特徴点がある
が、同一の特徴点に対応する画素を見出す必要がある。

【００３１】カメラと画素の配列から、同一の特徴点は
同じ行の画素に対応し、しかもカメラの位置からその前
後位置が分かっているから一応の対応付けを行うことが
できる。時間微分により０でないデ−タを有する画素の
数が減少しているので対応付けは簡単になる。そして対
応した特徴点について前記の判定を行い、さらに３次元
座標計算をする。

【００３２】図３に示すものは、特徴点抽出と、時系列
微分の順序を逆にしたものである。カメラで撮像したも
のをデジタル変換し、特徴点抽出をする。このあと時系
列微分をする。その他は図２の方法と同じである。

【００３３】

【作用】図４、図５を用いて本発明の操作を説明する。
カメラの画像である図４に於いて棒状の物体Ａと、矩形
状の物体Ｂと、円Ｃが描かれている。実線で書いたもの
がある時刻ｔ₁ の画像であるとする。これは全てのカメ
ラに写っているが少しずつ配置形状が異なる。以下に述
べる操作は全てのカメラに於いて行う。この後ｔ₂ にお
いて、一点鎖線で示すような画像が得られたとする。物
体ＢとＣは静止していてｔ₂ においても同じ位置にあ
る。物体Ａのみは一点鎖線で示す位置Ａ’に移動してい
る。この時間内に移動したものは物体Ａだけであるとす
る。

【００３４】時系列微分すると図５のようになる。破線
で示すのがｔ₁ での物体Ａで、実線で示すのがｔ₂ での
物体Ａである。ここで微分の意味であるが、破線で示す
部分は画素の値が負になるが、これは負とせずに０と置
く。すると時間的に後になるｔ₂ での物体Ａの画像のみ
が残る。これは全てのカメラに共通である。

【００３５】この後物体Ａの画像について特徴点抽出を
する。特徴点として求まったものは運動する物体の特徴
点である。これは既に述べたようにｎ個のカメラで撮像
した画像について行うから、前記の判定操作を行うこと
ができる。この判定をした後に判定に合格したデ−タに
ついて３次元座標計算を行う。

【００３６】同じ事を画面のデ−タについて説明する。
図６はｎ値画像フレ−ムメモリである。横に（Ｉ＋１）
個、縦に（Ｊ＋１）個の画素がある。横に連続するもの
を行と言い、縦に連続するものを列と言う。１行目の画
素の値がｇ₀₀、ｇ₁₀、ｇ₂₀、・・である。一般にｕ列、
ｖ行の画素の値はｇ_uvである。これはｈビットのデ−タ
であり、カメラで撮像して得たアナログデ−タをｈビッ
トのデジタル値に変換したものである。

【００３７】一定のサンプリング時間毎に画像が得られ
るから、時系列微分できる。ｔ＝ｔ₂ の画像デ−タか
ら、ｔ＝ｔ₁ の画像デ−タを差し引くことによってなさ
れる。つまりｇ_ij（ｔ₂ ）−ｇ_ij（ｔ₁ ）の演算を各画
素毎に行う。この結果を微分画像のフレ−ムメモリの
（ｉ，ｊ）番地にｇ_ij（ｔ₂ ）として記憶させる。この
結果が図７に示される。これは図５に対応する。静止し
ている部分の画素の値は０になる。運動した物体の画像
に対応する画素のみが０でない画素値ｇを持つ。

【００３８】この後特徴点抽出を行うと図８に示すよう
になる。僅かなデ−タのみが残る。運動していないもの
や特徴点でない画素のデ−タは０になるからである。残
った特徴点を動的特徴点と呼ぶ、これに対して静止物体
の特徴点を静的特徴点と呼び両者を区別する。ここでは
動的特徴点のデータｇ_uvのみが維持される。図６が動的
特徴点のフレームメモリである。これは全てのカメラＣ
₁ 、Ｃ₂ ・・について得られる動的特徴点のフレームメ
モリである。それぞれのカメラについて別異のものが得
られる。

【００３９】しかし、全ての特徴点について全てのカメ
ラＣ₁ 、Ｃ₂ ・・・Ｃ_n の画像上での位相が対応付けら
れているのであるから、いずれかひとつのカメラＣ_i に
対して動的特徴点が分かっていればそれで良いのであ
る。あるカメラＣ_i の動的特徴点座標をｕ、ｖとする
と、他のカメラではこの特徴点座標（Ｕ、Ｖ）はＶ＝ｖ
であるし、Ｕ＝ｕ＋ｆｌ／Ｘで計算できるからである。
ただしｌはカメラ間の距離である。数３からこの式は簡
単に得られる。

【００４０】この後先述のような全てのカメラの像につ
いて、数３〜数７に示すような判定を行う。判定に合格
したものについて三次元座標の計算を行う。特徴点の
ｘ、ｙ、ｚ座標をＸ、Ｙ、Ｚとすると、Ｘの計算は数３
〜数７の式により冗長演算して得られている。Ｘが確定
すると、ｙ、ｚ座標を求める。これらを並記すると、

【００４１】

【数１３】

【数１４】

【数１５】

【００４２】である。ただし数１３に於いて右辺は行方
向の画素の位置を長さｕ_i 、ｕ_j で表したものと、画素
の番号ｎ_i 、ｎ_j で表したものの両方を記している。数
１４に於いてｍは行番号であり、ｍ₀ は中間行の番号で
ある。σは画素の縦の長さ（列の長さ）、Ｎ_S は縦の画
素数（列の画素数）である。数１５はＹ座標を与えるが
カメラのレンズを原点としてこのように表される。全て
のカメラについてこのような式が成り立つ。ｕ₀ は中間
列の位置である。全てのカメラについてｕの値が異なる
のでＹの値も異なるが、カメラのＹ軸上の位置が違うの
でこのようになるが、実際にはひとつの点として求めら
れる。座標の原点を例えばＣ₁ に固定するというように
決めておけば一義的にＹの座標が決まる。

【００４３】

【実施例】図９〜図１１により本発明の画像監視装置を
送電線接近物監視装置に適用した実施例を説明する。こ
れは送電線近傍で作業する重機（クレーン）が送電線に
異常接近することを防止するための監視装置である。

【００４４】図９はこの地域の概略平面図を示してい
る。鉄塔Ａ、Ｂに支持される送電線Ｊがあり、クレーン
ＣはＡ、Ｂ間にあって作業しているものとする。送電線
の向こう側にはビルＫがある。監視装置Ｍは複数のカメ
ラよりなる本発明の装置である。クレーンＣは鉄塔Ａ、
Ｂ間の送電線Ｊの近傍で作業している。送電線に接触す
ると危険であるので、クレ−ンと送電線の距離を監視し
たい。送電線は静止物体であるが、本発明の手法を使わ
ず最初は送電線の位置を全体にわたって求めておく。こ
の後本発明の操作を行い、クレ−ンの動きを監視する。

【００４５】図１０は特徴点画像である。鉄塔や、ビル
もクレ−ンとともに撮像され特徴点抽出が行われる。こ
れは図３の手法に従っている。静的特徴点、動的特徴点
の両方が現れている。これを時系列微分すると、図１１
のようになる。破線で示すものがｔ₁ のクレ−ン位置で
実線で示すものがｔ₂ のクレ−ン位置である。実線に現
れた特徴点について前記の全てのカメラのデ−タを照合
して前記の判定を行い、判定に合格した動的特徴点につ
いて３次元座標計算する。こうして送電線とクレ−ンの
距離を実時間で測定しクレ−ンた送電線に接触するなど
の危険を回避できる。

【００４６】

【発明の効果】本発明は、時間的に変化する動的特徴点
のみを選択し、静的特徴点を捨てるようにしているか
ら、画像監視装置の処理時間を短縮できる。リアルタイ
ム処理が必要とされる自動監視、自動計測の分野で利用
すると効果的である。

【図面の簡単な説明】

【図１】本発明で用いる復数個のカメラの配置を示す概
略図。

【図２】本発明の画像監視装置の一つの処理順序を示す
フローチャート。

【図３】本発明の画像監視装置の他の処理順序を示すフ
ローチャート。

【図４】ｔ₁ でのカメラ画像とｔ₂ でのカメラ画像を例
示する図。

【図５】図４に於いてｔ₂ の画像値からｔ₁ の画像値を
差し引いた微分画像図。

【図６】ひとつのカメラのｎ値画像フレームメモリの概
略図。

【図７】時間微分後のフレ−ムメモリの概略図。

【図８】特徴点抽出した後のフレ−ムメモリ概略図。

【図９】送電線近傍でクレ−ンが作業している配置を示
す概略平面図。

【図１０】図９の地点をカメラで撮像し特徴点を抽出し
た後の特徴点画像図。

【図１１】図１０を時間微分した後の特徴点画像図。

フロントページの続き (72)発明者橋本誠大阪市此花区島屋一丁目１番３号住友電気工業株式会社大阪製作所内 (72)発明者川村武司大阪市此花区島屋一丁目１番３号住友電気工業株式会社大阪製作所内 (72)発明者上町新也大阪市此花区島屋一丁目１番３号住友電気工業株式会社大阪製作所内 (56)参考文献特開昭64−16907（ＪＰ，Ａ) 特開平１−155207（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G01B 11/00 - 11/30 102 G06T 7/00 G06T 7/60

Claims

(57)【特許請求の範囲】

【請求項１】整然と配列された光電変換機能を有する
受光面と、物体の像を受光面上に結像するレンズを有す
る３つ以上のカメラＣ₁ 、Ｃ₂、．．．Ｃ_nの各レンズの
中心点が同一平面上にあり、このときの各カメラの光軸
を平行になるように機械的にカメラを調整し、且つ、各
カメラの受光面上に写っている同一物体の垂直座標が同
じになるように受光面の座標を調整できるカメラにおい
て、もしくは、各カメラで捕らえた画像に対して同一物
体の垂直座標が同じになるように座標を変換する処理系
を有する装置において、観察対象物の同一の特徴点Ｐの
像が写る画素が各カメラの座標変換後の同一画素列の異
なる位置ｕ₁ 、ｕ₂ 、．．．ｕ_n にあるとき、これら特
徴点に対応する画素の位置を位相と呼び、カメラＣ₁ 、
Ｃ₂ ・・・Ｃ_n の任意の２つＣ_i 、Ｃ_j のレンズ中心の
距離をｌ_ijとして、これらカメラの同一特徴点に対する
位相の差を距離で割ったものが一定、すなわち（ｕ_i −
ｕ_j ）／ｌ_ij＝ｃｏｎｓｔであるという条件を満足すれ
ば特徴点に正しく位相が対応しこの条件を満足しなけれ
ば特徴点に位相が正しく対応していないという判別操作
をした後、正しいと判別された位相についてのみ特徴点
の三次元位置を計算するようにした画像監視装置に於い
て、特徴点を抽出した後、特徴点抽出画像を時間微分
し、残った特徴点についてのみ前記の判別操作を行い三
次元位置を計算するようにした事を特徴とする画像監視
装置。
【請求項２】縦横行列状に並ぶ光電変換機能を有する
多数の画素と、物体の像を画素上に結像するレンズと、
画素ごとの明暗信号を電気信号に変換するため画素を行
方向に走査する主走査と、主走査の行を列方向に１列ず
つずらしてゆく副走査を行う走査機構とを有する３つ以
上のカメラＣ₁ 、Ｃ₂ 、・・・Ｃ_n を、主走査線が全て
のカメラについて一直線上にあり、レンズ中心もこれら
に平行な一直線上に並ぶように設置し、観察対象物の同
一の特徴点Ｐの像が写る画素が各カメラの同一の画素列
の異なる位置ｕ₁ 、ｕ₂ 、・・・ｕ_n にあるとき、これ
ら特徴点に対応する画素の位置を位相と呼び、カメラＣ
₁ 、Ｃ₂ ・・・Ｃ_n の任意の２つＣ_i 、Ｃ_j のレンズ中
心の距離をｌ_ijとして、これらカメラの同一特徴点に対
する位相の差を距離で割ったものが一定、すなわち（ｕ
_i −ｕ_j ）／ｌ_ij＝ｃｏｎｓｔであるという条件を満足
すれば特徴点に正しく位相が対応しこの条件を満足しな
ければ特徴点に位相が正しく対応していないという判別
操作をした後、正しいと判別された位相についてのみ特
徴点の三次元位置を計算するようにした画像監視装置に
於いて、カメラで撮像された画像を時間微分し、特徴点
抽出を行い、抽出された特徴点について前記の判別操作
を行い三次元位置を計算するようにした事を特徴とする
画像監視装置。