JPH0997342A - 樹木離隔距離計測システム - Google Patents

樹木離隔距離計測システム

Info

Publication number
JPH0997342A
JPH0997342A JP7218203A JP21820395A JPH0997342A JP H0997342 A JPH0997342 A JP H0997342A JP 7218203 A JP7218203 A JP 7218203A JP 21820395 A JP21820395 A JP 21820395A JP H0997342 A JPH0997342 A JP H0997342A
Authority
JP
Japan
Prior art keywords
image
parallax
points
transmission line
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7218203A
Other languages
English (en)
Inventor
Cho Nakamura
兆 中村
Shinya Uemachi
新也 上町
Akio Ozawa
明夫 小澤
Takeshi Ishibashi
武 石橋
Yoshiaki Shirai
良明 白井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Electric Industries Ltd
Tokyo Electric Power Company Holdings Inc
Original Assignee
Tokyo Electric Power Co Inc
Sumitomo Electric Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Electric Power Co Inc, Sumitomo Electric Industries Ltd filed Critical Tokyo Electric Power Co Inc
Priority to JP7218203A priority Critical patent/JPH0997342A/ja
Publication of JPH0997342A publication Critical patent/JPH0997342A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【目的】 樹木の繁茂した山岳地において送電線と樹木
の離隔距離を求めること。巡視ヘリコプターによってス
テレオ写真を取り、これを人手によって解析し、送電線
と樹木との離隔距離を得ている。これは時間と費用がか
かる方法である。より迅速により安価に離隔距離を求め
る方法を提供する事が目的である。 【構成】 巡視ヘリコプターを用いて得られた一組のス
テレオ写真をもとに、両眼立体視の原理を用いて、左右
画面において特徴点を探し、特徴点を対応付けし、両画
面における視差を求め、視差から、特徴点の三次元座標
を計算する。送電線については、三次元空間における直
線として直線の方程式によって表現する。樹木について
は対応付けのできた特徴点の全てと直線式の距離を計算
する。これらの距離を最小のものから並べて出力する。
作業の殆どをコンピュ−タによる計算によって行うこと
ができるから樹木の離隔距離を高速かつ自動的に行い正
確な樹木離隔距離を得る。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、主に山間部に設置さ
れた架空送電線と、樹木との離隔距離を計測するシステ
ムに関する。送電線と接触する惧れのある樹木を自動的
に検出し、これを伐採することにより、短絡、地絡事故
を防止するのが距離計測の目的である。ここで離隔距離
というのは、送電線と樹木の最も近い点同士の距離であ
る。以下簡単に距離ということもある。
【0002】
【従来の技術】樹木と送電線の距離を自動的に測定でき
るようにした技術は未だ存在しない。従来技術としてあ
るものは、次のような技術である。ヘリコプタ−に2台
あるはそれ以上のカメラを搭載して山間部へ飛び、送電
線と接近した樹木のある場所を上空から同時に撮影す
る。時間的に同期した複数の異なる地点から見た写真が
得られる。これをステレオ写真という。これをステレオ
スコ−プ(立体視鏡)を用いて解析する。オペレ−タが
樹木を指定し、その樹木と送電線の離隔距離を求める。
これを複数回繰り返す。これは人間の目によるので、送
電線と背景の樹木の区別をつけやすい。肉眼観察は微妙
な色合、反射の変化を、オペレ−タの熟練によるし、人
手を必要とする。
【0003】
【発明が解決しようとする課題】ヘリコプタ−から2台
のカメラにより写真を取りこれを人手により解析する方
法は、優れた熟練者でなければ不可能である。経験の豊
富な技術者が直感と勘によって解析する必要がある。従
って極めてコスト高にならざるをえない。さらに解析に
時間がかかる。一組みの航空写真の解析に1週間かか
る。もしも山脈に沿って長い送電線路の多くの部分での
樹木離隔距離を計測する必要がある場合、現在の方法で
はとても対応できない。また人の判断によるから、判断
の誤りの可能性がある。また送電線に接近している全て
の樹木を検知できず見落とすことがある。
【0004】送電線と樹木の離隔距離をより短い時間内
に、人手を借りる事なく計測できるようにする方法を提
供することが本発明の目的である。直感と経験の豊富な
熟練者がいなくても未熟練者が容易に離隔距離計測でき
るようにした方法を提供することが本発明の第2の目的
である。さらに特徴点の数を増やすことにより送電線に
対して最近接の点を見い出し易くする離隔距離計測方法
を提供することが本発明の第3の目的である。
【0005】
【課題を解決するための手段】本発明の樹木離隔距離計
測システムは、繁茂する樹木の中に架設された送電線と
樹木の離隔距離を計測するために、レンズ焦点距離が同
一でレンズ光軸が平行であって、横方向の線が平行であ
るように配置された複数のカメラにより、架空送電線の
上方より例えば飛行体によって架空送電線と樹木を撮影
し、カメラ撮影した1組の送電線近傍の航空写真を画像
入力装置によってコンピュータに入力し、各々の画像に
おいてコントラストのある点を特徴点として抽出し、そ
れらの画像の一つを基準画像とし、他の画像を参照画像
として、基準画像を縦横に一部が重複するように矩形状
に分割してウインドウとし、ある画像内の特徴点の対応
ペア決定点が他のカメラ画像上に存在する可能性のある
点を結んだものとしてエピポーララインを定義し、ウイ
ンドウ内の各特徴点Si (i=1,2,3,…)に対す
参照画像上の各エピポーラライン上にある特徴点Rj
(j=1,2,3…)のうちコントラストが類似し、視
差が予め定められた範囲内の値となる全ての特徴点Rk
(k=1,2,3…)を、特徴点Siに対する対応候補
点とし、基準画像内の全てのウインドウに対し、ウイン
ドウ毎に視差を横軸にウインドウ内における各視差に対
する対応候補点および対応ペア決定点の出現頻度を縦軸
に取った局所的視差ヒストグラムを作成し、各ウインド
ウの局所的視差ヒストグラムの頻度の最高のピーク値に
なる視差のうち、二つ以上の同等の高さのピークを持た
ない、ピークになる視差とその近傍の視差の度数の総和
が全体の度数のある割合以上であるものをそのウインド
ウの視差候補とし、視差候補の決まったウインドウ内の
各特徴点Si (i=1,2,3,…)のうち視差候補±
1の範囲内に対応候補点が存在するものを対応ペア決定
点とし対応ペアの画面上の差である視差を計算する対応
ペア探索処理を施し、視差候補の決まらなかったウイン
ドウは、隣接するウインドウの対応ペア決定点により局
所的視差ヒストグラムを修正して対応ペア探索処理を施
し、新たに、視差候補の決まるウインドウがなくなるま
で繰り返し、全ての対応ペア決定点の三次元座標を求
め、送電線の対応ペア決定点の列は三次元空間における
直線の式で表現し、樹木の特徴点は全てここに三次元座
標を計算し、送電線を表す直線と、樹木の全ての特徴点
或いは予め指定された範囲の特徴点との距離を計算し、
距離の短いものから順に並べて、最短のものを送電線と
樹木の離隔距離とする事を特徴とする。
【0006】
【作用】本発明は、巡視ヘリコプターによって得られた
一組のステレオ写真をもとに、両眼立体視の原理を利用
し、カメラレンズに固定した座標における送電線と樹木
の三次元座標を計算し、送電線と樹木との離隔距離を自
動的に計算する。本発明は、図1に示すように、イメー
ジスキャナ、コンピュータ、プリンタによって実行する
事ができる。大まかな処理は、
【0007】(A)イメージスキャナにより航空写真を
取り込む。 (B)画像処理により、送電線、樹木の三次元座標を求
める。 (C)送電線に対して接近している、複数の樹木を、送
電線との離隔距離が短い順に列挙したリストをCRT画
面またはプリンタに出力する。 という事である。本発明は総合的な技術の集成を必要と
する。次に挙げるのが要素となる技術である。
【0008】座標計測方式 離隔検出アルゴリズム 樹木三次元座標算出方式 送電線抽出方式 送電線三次元座標算出 離隔距離算出アルゴリズム 以下に要素技術を一つずつ説明する。
【0009】[座標計測方式] (ア)両眼立体視 本発明は複数個のカメラを用いる両眼立体視により対象
物体の座標を決定する。物体と背景との境界部分には、
通常大きなコントラスト(輝度変化)がある。物体の周
りに存在するコントラストの大きい点(特徴点という)
を探しこれの三次元座標を求める。多数の特徴点に対し
て同様の計測、計算を行うことにより物体の位置、外形
を求めることができる。これを送電線と樹木について行
うことにより、送電線の三次元座標、樹木の三次元座標
を求める事ができる。送電線と樹木の最近接の距離をこ
れらの結果から計算することができる。
【0010】複数のカメラを用いて一つの特徴点の三次
元座標を決定する本発明の方法について説明する。これ
は古くからある三角測量とは違う。両眼立体視と呼ぶ。
図2によって原理を説明する。ここではふたつのカメラ
が水平に並んでいるとする。もちろん3以上のカメラを
用いる事もできる。数が多いと計算の数が増えるが精度
が上がる。カメラは焦点距離が同一であり、光軸が互い
に平行で、撮像面が同一平面上に並ぶようにする。そし
て撮像面の一つの軸は全てのカメラについて共通であ
る。両眼立体視はこの様な条件によって初めて成り立つ
計測である。三角測量の場合はカメラを軸回りに回転す
るが、本発明の方法はカメラを回さない。
【0011】カメラの焦点距離をfとする。カメラの撮
像面をXY面とする。これと直角の方向がZである。ふ
たつのカメラのレンズ焦点を結ぶ線分の中点を座標の原
点Oとする。カメラの光軸間の距離を2aとする。物体
点P(X,Y,Z)が左右のカメラの撮像面に結像する
点の座標をpL (xL ,yL )、pR (xR ,yR )と
する。これらのパラメータの間には次の関係がある。
【0012】 Z=2af/(xL −xR ) (1) X=(xL Z/f)−a (2) Y=yL Z/f (3)
【0013】撮像面においてY軸が共通であるものとす
る。すると常にyL =yR である。また共通の軸を画像
の走査方向に取る。つまり同一物体点のふたつのカメラ
における投影点pL とpR は同じ走査線上にある。Δx
=xL −xR はふたつのカメラの投影点の位置のずれで
あるが、これは視差と呼ぶ。焦点距離fとカメラ間距離
2aは既知である。左右のカメラにおいて、同一物体の
同一特徴点の対(対応ペア決定点と呼ぶ)を決定し、視
差Δxを決めることができれば、特徴点PのZ座標が求
められる。これが分かると、画像上のY座標から、物体
点のY座標も分かる。従って物体点Pの三次元座標が決
定される。これが両眼立体視の原理である。投影点が常
に同じ走査線上にあるので、視差の決定は瞬時に行うこ
とができる。特徴点が数多くあっても、これらの対応が
付いていれば特徴点の全ての三次元座標を求めるのは極
めて簡単である。
【0014】(イ)対応探索問題 ただ一つの物体点がありこれの像が複数のカメラに一つ
ずつ現れるというのであれば対応付けは簡単であろう。
しかし実際にはそうでない。多くの物体が存在するの
で、物体の境界線も数多く存在する。特徴点は境界線に
沿って沢山ある。従って数多くの特徴点が一つの画像の
中に存在する。同じ特徴点の像が各カメラに一つ存在す
る。ある特徴点がそれぞれのカメラのどの投影点に対応
するのか?これが問題である。複数のカメラの投影点の
うち同じ特徴点に属する物を組にすることを対応付けと
呼ぶ。投影点間で対応を探索する問題が存在する。特徴
点は多数存在するので対応づけは容易ではない。対応探
索問題は極めて重要な問題である。
【0015】(ウ)対応探索問題の解決 同じ特徴点の異なるカメラでの像点の対応づけの方法と
して、領域ベース法と特徴ベース法がある。領域ベース
法(area−based method)というの
は、画像を小領域に分割し、一方の画像のある小領域
と、他方の画像中の小領域の相関を求めて、相関が高い
領域同士を対応づける方法である。特徴ベース法(fe
ature basedmethod)というのは、2
つの入力画像に対して予め特徴抽出を行う。特徴点画像
上のある特定の小領域について、領域内の特徴点を用い
て視差を決定し、その視差に基づいて特徴点毎の対応付
けをするのである。
【0016】特徴ベース法は特徴点毎に視差を決定する
ので分解能が高い。画像全体で対応づけるのではなく、
領域に分けて、領域内での特徴点の対応づけを行う。領
域に分割するので少しは計算量が減る。しかし特徴点毎
に対応させるので、なお計算量が多くなる。計算が多岐
に渡るのでハード化は困難である。領域ベース法は領域
を単位として視差を決定する。このために分解能が低
い。領域内の全ての点について対応付けの計算をするの
で計算量が多い。計算量は多いが計算そのものは単純で
あるためハード化は容易であろうと考えられる。
【0017】特徴ベース法は比較的計算量が少ないが分
解能は高い。そこで本発明は領域ベース法を捨て、特徴
ベース法を採用する。特徴ベース法を採用するといって
も、特徴ベース法にもいくつかの種類がある。一つは線
単位対応付けである。もう一つは点単位対応付けであ
る。線単位対応付けは画像上の特徴点から連続する特徴
点の組(エッジセグメント)を抽出しエッジセグメント
同士を対応づけるものである。これは特徴点の形状が単
純な場合は有効である。しかし自然物を撮像した画像の
場合は複雑な形状が多数含まれるので連続する特徴点と
してのエッジセグメントの抽出は難しい。
【0018】点単位対応付けはふたつの画像上の特徴点
個々についての対応付けを行おうとする。エッジセグメ
ントを求める必要がない。自然物を撮像した画像におい
ても対応付けを行うことができる。本発明は送電線と樹
木の離隔距離を求めるもので自然物を相手にする。この
場合、点単位の対応付けがより便利である。本発明はそ
れ故点単位の対応付けを行うこととする。点単位の対応
付け法には、弛緩法によるものと、局所的なヒストグラ
ム(Local Display Histogra
m:LDH)によるものがある。両手法ともに、ある特
徴点の近傍での視差はほぼ同じであるという仮定を採用
している。
【0019】弛緩法はある特徴点に視差がdi (i=
1,2,…,n)である確率pi (i=1,2,…,
n)を与え、ある特徴点の視差がdl であると決定する
度に、周囲の特徴点の視差がdl である確率pl を高め
る。視差が未決定の特徴点の視差がdk である確率pk
がしきい値を越えた時、その特徴点の視差をdk とす
る。弛緩法は隣の特徴点に視差を伝搬するのに何度も繰
り返し処理を行う必要がある。このために計算に時間が
かかる。また確率がしきい値を越えず対応ペア決定点が
決定できない場合がある。
【0020】LDH法は任意の小領域において、特徴点
毎の全対応候補点の視差のヒストグラムを作成する。ヒ
ストグラムを評価して小領域の視差dを決定する。視差
dを基にして各特徴点の対応ペア決定点を決定する。L
DH法は小領域で視差を決定してから各特徴点の対応ペ
ア決定点を決定する為、一度の繰り返しにつき小領域の
半分の速度で伝搬する。つまり弛緩法に比べて処理速度
が速い。そこで本発明では処理時間の短いLDH法を採
用する。本発明は特徴点の対応付けに、特徴ベース法−
点単位対応付け−LDH法を利用するのである。
【0021】(エ)LDH法による特徴点対応付け 画像を細かく分割し、小領域(ウインドウと呼ぶ)に分
ける。ウインドウの端は隣接ウインドウと重なるように
する。ウインドウに写る物体の面Sは一般に滑らかであ
る。そうであればカメラから面S迄の距離はほぼ一定に
なるはずである。ウインドウ内の視差面もほぼ一定にな
る。もしもウインドウ内で視差のヒストグラムを作成す
るとすれば、そのウインドウの代表的な視差に当たると
ころに視差のピークが現れるはずである。この視差のピ
−クをウインドウの視差とする。小領域において遠近の
物体が混ざっていない場合はこの様な仮定は十分に成り
立つ。LDH法はこのような仮定と原理を利用するもの
である。
【0022】LDH法による特徴点の対応付けの手順を
説明する。カメラは3台以上あっても良いが、ここでは
簡単の為に2台だとして説明する。図3は特徴点対応付
けの概要を示す。全てのカメラにおいて特徴点が分かっ
ているものとする。まず一方のカメラ(基準カメラ:こ
こでは左のカメラ)の画像(基準画像と呼ぶ)にウイン
ドウ(小領域)を設定する。ウインドウの大きさは後に
述べる方法で決める。ウインドウ内にある特徴点はすで
に分かっているものとする。これを基準特徴点或いは単
に特徴点という。図3において、基準画像のウインドウ
には2本の折れ線が描いてある。線は特徴点の集合であ
る。連続線の全ての点が特徴点である。
【0023】他方のカメラ(参照カメラと呼ぶ。ここで
は右カメラ)の画像(参照画像と呼ぶ)に、ウインドウ
に対応し得る候補領域を設定する。ウインドウに含まれ
る全ての特徴点の対応ペア決定点が含まれる領域として
候補領域が設定される。候補領域は縦の寸法はウインド
ウと同じである。しかし横の寸法はウインドウよりも広
い。対応特徴点は同じ走査線上にあるはずであるから、
縦寸法はウインドウと同じでよい。しかし対応特徴点は
横軸上で遠近によりずれるので、候補領域の横方向はウ
インドウより長くなる。
【0024】また候補領域の右端の点はウインドウの右
端の縦線と視差0の点である。無限遠の点は視差0であ
るし、有限遠の点は視差が正(右カメラの場合)である
から、候補領域の右の端が決まる。この様な条件から候
補領域を定義することができる。この例では候補領域に
は4つの折れ線が書いてある。左の折れ線2本はウイン
ドウの内部の折れ線に対応するが、右の折れ線2本はウ
インドウの内部のものではない。対応付けというのはウ
インドウの特徴点集合としての折れ線2本と、候補領域
の左の折れ線2本をうまく対応づける事である。
【0025】ある特徴点の対応ペア決定点が他のカメラ
画像上に存在する可能性のある点を結んだものがエピポ
ーララインである。これは物体点と、カメラのレンズ中
心を含む面が画面と交差する線である。カメラの相互の
関係が適正なら(光軸平行、画面が同一面上、焦点距離
同一)走査線とエピポーララインは同じになる。ここで
は走査線にエピポーララインが一致する場合を述べる。
【0026】参照画像の候補領域の中の特徴点の内、基
準特徴点と同じ走査線(エピポーラライン)上にある特
徴点を対応候補点とする。一つの基準特徴点に対し、対
応候補点は多数存在する。この例では、一つの特徴点に
対して4つの候補点がある。候補点が決まるので、基準
特徴点と候補点の視差を求める。候補点の数に等しい数
の視差が得られる。ウインドウの中には幾つもの基準特
徴点(この例では2本の折れ線が全て特徴点である)が
あるので、これら全ての基準特徴点と、その候補点の視
差を求める。基準特徴点が持つ候補点の数の総和に等し
い数の視差が求められる。視差の大きさを横軸、出現頻
度を縦軸にしたヒストグラムを作成する。ウインドウの
物体がカメラからほぼ同一の距離にあるので、ヒストグ
ラムが視差頻度にピ−クを持つ。この内最大のピ−クの
視差をこのウインドウの視差dであるとする。これによ
りウインドウの視差dが決定される。ウインドウと候補
領域の視差dが分かるので、これから各特徴点の対応ペ
ア決定点を決定する。
【0027】以上は対応付け処理の概要である。具体的
な処理は次のように行う。ウインドウの大きさは後述す
るラプラシアン・ガウシアン・フィルタ(Laplac
ian・Gaussianフィルタ)によるエッジの平
均出現周期Pを基本単位として2Pに決定する。つまり
ウインドウの寸法は次のようになる。
【0028】 ウインドウの幅=23/2 πσ (4) ウインドウの高さ=23/2 πσ (5)
【0029】このσはラプラシアン・ガウシアン・フィ
ルタに使用するσと同じものである。候補領域はウイン
ドウと対応するものである。一つの特徴点の候補点を探
す場合は、候補領域の中にさらに探索範囲を定義する。
特徴点毎に探索範囲が決められる。基準特徴点sの候補
点tはその特徴点sを含むエピポーララインの上にあ
り、しかも視差が0の点よりも左にあるはずである(基
準カメラが左、参照カメラが右の場合)。さらに左と言
ってもある限界がある。これは物体点が最近接位置にあ
るときの視差とほぼ等しい。だから、探索範囲というの
は、その基準特徴点sを含むエピポーララインの上にあ
り視差0より左側で、ある上限迄という事になる。つま
りほぼ一定の長さの水平の線分として探索範囲が定義さ
れる。
【0030】探索範囲が決まってもこの上の全ての参照
画面上の特徴点が候補点になるのではない。全ての特徴
点を候補点にすると候補点が多くなりすぎて計算量が増
える。これを防ぐために特徴点に類似条件を課して対応
候補点の数を減らす。類似条件というのは、もとの特徴
点とコントラスト、エッジ方向が近似するかどうかとい
う条件である。同じ物体点に起因する特徴点であればコ
ントラストやエッジの方向がよく似ているはずである。
【0031】そこでより正確な対応付けの為に、探索範
囲において、基準特徴点と、コントラスト、エッジ方向
が類似する特徴点を探す。探索範囲にある特徴点は既知
であるし有限個であるからこの内からコントラストの類
似条件により適当な特徴点を選ぶので候補点はかなり絞
られて数が少なくなる。候補点がいくつか決まるので、
基準特徴点と候補点の間の視差(xL −xR )を計算す
る。ウインドウ内部の全ての特徴点について全ての候補
点との間の視差が計算されると、視差を横軸、その視差
の出現頻度を縦軸にするヒストグラムを作成する。図3
に例示したようなヒストグラムが得られる。この際、繰
り返し処理の段階で既に対応が付いている特徴点につい
ては決定した視差のみヒストグラムに算入する。
【0032】基準特徴点に対応する特徴点は、その特徴
点のコントラスト、エッジ方向が近似するはずである。
であるから、参照画面において、対応ペア決定点にはコ
ントラスト、エッジ方向の近似する特徴点が存在するは
ずである。この様な対応はウインドウの内部の殆どの特
徴点について成り立つはずである。同じウインドウ内の
特徴点であるから、物体点の連続する輪郭線にあるであ
ろう。すると距離はほぼ等しい。するとヒストグラム上
で正しい視差の位置には強いピ−クが出現するはずであ
る。
【0033】もしもピ−クが一つならば、このピ−クを
与える視差dをこのウインドウの視差とする。ウインド
ウ固有の視差である。ウインドウ一つについて視差が一
つ決まる。視差が分かると基準特徴点に対応する点を候
補点から決定することができる。つまり視差0の点から
左に視差d±1ピクセル(画素)の点にある候補点が対
応ペア決定点であるとして確定する。この様にして基準
特徴点と、参照画面での対応ペア決定点が決まる。全て
の基準画面での特徴点について同じ方法で対応ペア決定
点が決定される。
【0034】ヒストグラムのピ−クが一つの場合はこの
様に一義的にウインドウの視差が決まる。しかし、視差
のヒストグラムが複数の頻度のピ−クを持つこともあ
る。図3に示すように、候補領域に複数の類似コントラ
スト、エッジ方向の特徴点が含まれる場合は、複数のピ
−クを持つ。ピ−クの高さから対応付けすることができ
ることもある。しかし複数のピ−クを持つ場合はそれだ
けでは対応付け出来ない場合が多い。この場合はこのウ
インドウでの対応付けを一時棚上げにし、他のウインド
ウにおける対応付けを行うようにする。他のウインドウ
で対応づけたものは、前記の対応不能であったウインド
ウの候補点から除外される。するとピ−クが一つになる
から正しい対応づけをすることができる。
【0035】図4によってこれを説明する。左画像(基
準画像)の隣接するふたつのウインドウ21、22があ
る。離して描いてあるが実際は隣接している。ウインド
ウ21にはふたつの曲線F、Gがある。ウインドウ22
には一つの曲線Hがある。曲線は特徴点列である。右画
像(参照画像)はこれらの候補領域23を示す。候補領
域23には3本の曲線f、g、hが現れる。対応する線
は大文字と小文字で書いてある組である。破線で書いて
あるのはこれらが未だ視差決定していないことを示す。
【0036】1回目の演算でのウインドウ21の視差ヒ
ストグラムが24である。5のピーク25、26、2
7、28、29がある。高いピーク28は、F−f、G
−gの視差によるものである。低い方のピーク25、2
6、27、29はそれぞれF−h、F−g、G−h、G
−fの視差によるものである。前者は線上の全ての特徴
点について視差が同じであるから高いピークを与える。
後者は線の形状が違うので、低いピークになる。ここで
例えば曲線F−fの視差を求めるということは次のよう
な操作をいう。曲線F上のある点Pとこれからエピポー
ララインを延ばし曲線fに交差する点Qを求め、これら
の視差を求める。同様の操作を曲線F上の全ての特徴点
に対して行なう事を意味する。画像はピクセル(画素)
よりなるので、連続曲線といっても有限の点からなって
いる。
【0037】ウインドウ22のヒストグラム30は3つ
の同じ程度の高さのピ−ク31、32、33を持つ。こ
れは候補領域に3本の曲線が存在することによる。H−
h間の視差はピ−ク31を与える。H−gとH−f間の
視差は各々ピ−ク32、33を与える。後者は組合せは
異なる曲線間の視差であるが、たまたまGとHの形状が
よく似ているために同じ視差を与え高いピーク32、3
3が出現する。こういうことはよくあることである。線
状のものが存在すると右の端線と左の端線とはほぼ平行
になり、このGとHの関係のようになる。
【0038】ウインドウ22のヒストグラム30を見る
と、同じ程度の高さのピ−クがあるので、どちらを採用
すれば良いのか分からない。しかし隣のウインドウ21
のヒストグラム24においては、ピ−ク25、26、2
7、28、29があり、28が最も高い。そこでピ−ク
28を採用する。ウインドウ21における視差が決ま
る。ウインドウ21の視差の値を用いて、曲線F、Gの
候補領域23における対応曲線を求める。これはf、g
である。つまりF−f、G−gの対応関係が確定する。
対応が決まると実線に書き換える。次いで2回目の計算
(Next Iteration)を行なう。図4の中
段に書いてある操作である。ウインドウ21での曲線
F、GはF−f、G−gの対応があるので、候補領域2
3のhとは視差計算しない。ヒストグラム34は唯一の
ピ−ク35を持つようになる。
【0039】一方、隣接ウインドウ22では、曲線H
が、候補領域のf、gに対応しないことが明らかになる
ので、これらを除外し、hとの視差を計算する。ヒスト
グラム36はただ一つのピ−ク37を持つようになる。
これによりウインドウ22における視差が決まる。する
とHに対して視差分だけ平行移動したhが対応付けられ
る。次の計算では候補領域の全ての特徴点とウインドウ
の特徴点が対応付けされる。視差も確定する。このよう
に隣接ウインドウの作用によりピ−クの数が減ることを
pulling effectと呼ぶ。
【0040】同様の対応付け操作を全てのウインドウに
対して行なう。始めに複数のピ−クを持つために視差が
分からなかったウインドウも隣接ウインドウの対応付け
が進むと、ピ−クが一つに減少するので、ウインドウの
視差が確定し、特徴点の対応付けも可能である。またウ
インドウは重なりあっているので、視差を決定できなか
ったウインドウWでも周辺のウインドウTから視差が伝
搬してくることにより視差が決定されることもある。視
差の決まった周辺のウインドウTと重なっている部分に
存在する特徴点は既に決定された視差でのみヒストグラ
ムに算入される。このためにウインドウWでは、ウイン
ドウTと同じ視差において唯一のピ−クを持つようにな
る。このような処理を新しく対応が決まらなくなるまで
全ウインドウについて繰り返す。
【0041】このように既に決まった対応付け及び視差
は必ず正しいものとして処理を行なう。このため始めに
信頼性の高いエッジから対応を付けてゆくのが望まし
い。始めに誤った対応を付けたり、精度の低い視差を決
定すると、その影響が周辺のウインドウに及び対応付け
を誤らせる。正確な対応付けを行なうために、特徴点に
関してコントラストによるクラスを設ける。これは先述
のコントラスト、エッジ方向による特徴点の類似条件と
は違う話である。コントラストの強いものから弱いもの
に分類するのである。コントラストの高い特徴点は、位
置精度が高い。周辺部分より際立っているのであるから
明度の変化が極めて局在しているということである。だ
から位置精度が高いのである。
【0042】そこで、コントラストの高いクラスの特徴
点に関して始めに対応付けを行なう。高コントラストク
ラスの特徴点に対して対応付けを行い、新しい対応付け
ができなくなるまで繰り返し処理を行なう。この後より
コントラストの低い特徴点に対して同様の処理を順次行
なってゆく。
【0043】[離隔検出アルゴリズム]本発明の目的
は送電線と樹木との離隔距離を求めることである。両方
の三次元座標を求めるのであるが、樹木のように予め形
状が分からず形状が不定であるものと送電線のように単
純な形状のものでは取り扱いを変える方が良い。両眼立
体視による座標計測方式には対応探索問題が存在する。
既に述べたようにこれは難しい処理である。ところが送
電線はほぼ直線であって単純な形状をしているから始め
に抽出し、後に対応付けを行なう方がより正確な結果を
得ることができる。
【0044】そこで本発明では、まず送電線を抽出し、
三次元座標を求める。送電線の抽出、三次元計測におい
ては送電線は直線として扱う。巡視ヘリコプタ−による
航空写真は、焦点距離の大きいレンズを用いて撮影す
る。ために視野内での送電線の曲率が十分に小さい。従
って送電線は直線として近似することができる。直線と
すると抽出が容易であるし、いくつかの三次元座標を求
めると、送電線の三次元方程式を決定することができ
る。この後樹木の三次元座標を求める。両方の三次元座
標が分かったので、送電線と樹木の離隔距離を計算す
る。つまり、画像取込、画像の補正、送電線抽出、送電
線の二次元直線方程式算出、三次元直線方程式算出、樹
木三次元座標算出、送電線離隔距離算出という手順によ
って離隔距離を計算する。これが離隔検出アルゴリズム
である。
【0045】[樹木三次元座標算出方式]送電線の決
定は簡単であるが樹木の位置決定は格段に難しい。樹木
の三次元座標は、特徴点抽出し、先述のLDH法を用い
て算出する。LDH法は先に述べたように基準画面をウ
インドウに分割し、参照画面に候補面を想定し、特徴点
で類似するものの間の視差を求め、ヒストグラムを作っ
てピ−ク視差をそのウインドウの視差とする操作を繰り
返し行なう手法である。ここでは樹木の特徴点抽出につ
いて述べる。
【0046】特徴点は画像の中で輝度が変化する点であ
る。濃淡画像から特徴点を抽出するには画像の輝度の変
化を計算し変化率の大きい点として求める。特徴点抽出
は、輝度の一次微分を用いる方法と二次微分を用いる方
法がある。一次微分を用いる方法で得られた特徴点は真
の特徴点でない場合があるので抽出された特徴点から更
に真の特徴点を選定する処理が必要になる。二次微分を
用いる方法ではノイズを強調しすぎるという欠点があ
る。そこで本発明では原画像をまず正規関数(ガウス関
数)によってぼかしてから二次微分するラプラシアン・
ガウシアン・フィルタ(LGフィルタ)を用いる事とし
た。以下にLGフィルタを用いた特徴点抽出について述
べる。原画像の明度の空間的な分布をf(x,y)によ
って表現する。x,yは画面上に定義した二次元座標で
ある。これに対して平均0、分散σ2 の二次元ガウス関
【0047】
【数6】
【0048】を積和演算する。これにより平滑化画像F
(x,y)を得る。
【0049】 F(x,y)=G(x,y)*f(x,y) (7)
【0050】ただし*は積和演算子である。これは重み
係数行列でいえば、中心部が大きく周辺部ほど値が正値
でゼロに近付く係数である。特徴点を抽出するにはぼか
された画像F(x,y)に対してラプラシアンを計算し
ゼロ交差を検出する。具体的には、原画像fに対するガ
ウス関数のラプラシアン∇2 Gの積和演算結果がゼロに
近い点で、かつコントラスト値が閾値を越えている点を
特徴点とする。∇2 Gは次のようになる。図5にその関
数形を示す。
【0051】
【数8】
【0052】これは原点近くで負(−1/πσ4 )にな
り、r=21/2 σで0、その後増加してr=2σで極大
(e-1/πσ4 )を取りさらに減少する関数である。図
6にはエッジの画像断面に対する∇2 G*fを示す。図
6において(a)はエッジにおける勾配のある方向の輝
度変化を示す。エッジであるから輝度が急に変化してい
る。(b)はエッジにおけるG*fのラプラシアンであ
る。エッジの立ち上がりの近くで最大値を取り、輝度変
化の中心で0になる。エッジを上り詰めたところで最小
値を取る。曲線が横軸を横切る点が輝度変化の中心であ
る。エッジはこのような手法によって検出することがで
きる。
【0053】コントラストはグラデイエント・ガウシア
ン・フィルタによって求めたものを使用した。これは、
LGフィルタのσと同じσのガウス分布による平滑化を
行なった画像に対して一次微分の絶対値を求めることに
よって得られる。
【0054】
【数9】
【0055】ただし、
【0056】
【数10】
【0057】
【数11】
【0058】である。 [送電線抽出方式]航空写真は、カメラを送電線に対
して垂直に並べて取り込む。このため画像上での送電線
の方向はエピポーララインに対してほぼ垂直になる。こ
れは送電線の位置決定に関して最も精度が高くなる方向
である。一般に送電線は上空から見ると、周りより白く
見える。細い帯のようである。そこで本発明では、送電
線を「周りより明るい領域をある範囲内の幅で挟む平行
な直線エッジ対」であるとした。以下に送電線抽出の手
順を述べる。
【0059】(1)モノクロ原画像に対しラプラシアン
・ガウシアン・フィルタを適用し、ゼロクロス点を求め
る。 (2)同じ原画像に対しグラデイエント・ガウシアン・
フィルタを適用し、各特徴点のコントラストとコントラ
スト方向を求める。 (3)コントラストが閾値以下の点はノイズとして除去
する。 (4)コントラスト方向が指定範囲外の特徴点を取り除
く。これは送電線に含まれる特徴点ではあり得ないから
である。 (5)残った特徴点に対してHough変換をする。直
線の式は次のようになる。画面上においては、左上の頂
点を原点にするので原点から下向きにY座標を取ること
になる。
【0060】 Xsinθ−Ycosθ=ρ (12)
【0061】ここでθは直線がX軸となす角度である。
直線とX軸のなす角だというふうにのみ考えると、θは
πの範囲に限定することができる。例えば0≦θ≦πと
できる。さらに航空写真は送電線が画面を縦に切るよう
に撮影することが多いので、θはπ/2に近い値である
ことが多い。ρは直線と原点のXの正の方向に取った距
離である。だから直線がX軸の正の部分を切る場合ρは
正であるが、直線がX軸の負の部分を切る場合はρは負
になる。しかしこれは送電線が画面の右端からはみ出す
という場合であるから写真の取り方がよくないのであ
る。
【0062】もしもこのような悪条件も含ませる必要が
あればρは正負両方の符号を取り得る用にすれば良い。
ρが負になるのが不都合であるという場合は、θの範囲
を0≦θ≦2πとする。こうすればρは正に限定で切
る。しかし多くの場合、送電線が画面を上下に貫くよう
に航空写真を取るので、θは0からπまで、ρは正に限
定することができよう。以下の説明ではρを正のパラメ
−タ、θを0〜πの値としている。一つの特徴点は
(X,Y)を持つだけであるから、ふたつのパラメ−タ
を決めることができない。しかしここでは反対にθとρ
をふたつのパラメ−タとして(θ、ρ)の組を考え、こ
れが成り立つ特徴点の数N(θ、ρ)を求める。そして
(θ,ρ)を独立パラメ−タとし、N(θ,ρ)を頻度
とする二次元ヒストグラムを作成する。さらにこのヒス
トグラムを平滑化する。
【0063】全ての特徴点について直線の式の成立につ
いて調べて頻度を求めていく。送電線の特徴点は平行な
2本の直線であるはずであるから、θが同じでρが2つ
の値を取る2つのピ−クがあるはずである。(6)二次
元ヒストグラムの頻度変数のうち、閾値以上の値を持
ち、かつ周囲の8近傍の値より大きな値を持つ(θ,
ρ)をピ−クとして検出する。これを送電線のエッジ候
補とする。(7)求められた送電線のエッジ候補の任意
の組合せ(θ1 ,ρ1 )(θ2 ,ρ2 )を考える。ふた
つの組合せを考えるのは送電線は平行な2本の直線とみ
なされ、理想的には同じθでρが異なる2直線であるは
ずだからである。この組合せが次の条件を満足すれば送
電線のエッジであるとする。
【0064】 |θ1 −θ2 |<閾値M (13) 下閾値D1 <|ρ1 −ρ2 |<上閾値D2 (14) ρ1 −ρ2 <閾値K (15)
【0065】最初の条件は、エッジの方向が近いことを
表す。送電線は平行2本の直線でありθはX軸に対する
傾きであるから、もしもこれらふたつの組合せが同じ送
電線の両側であれば傾きはほぼ同じのはずである。二番
目の条件(14)式は、2本のエッジ間の距離が短すぎ
たり長すぎたりしないという条件である。ρの差は送電
線の幅に対応するので、これらの組合せが送電線の両側
ならこれを満足するのは当たり前である。最後の条件
(15)式は2本のエッジが明度の高い領域を挟んでい
ることを意味する。送電線は明度の高い帯状に見えるの
でこのような関係が成り立つはずである。同じ事は次の
条件によっても表すことができる。
【0066】 |θ1 −θ2 |<閾値M (16) 下閾値D1 <ρ1 −ρ2 <上閾値D2 (17)
【0067】このようにして送電線のエッジを抽出する
ことができる。パラメ−タであるθとρが決まるので
(12)式が確定する。これは送電線のエッジの片一方
の式であるが、この式を送電線の式ということにする。
ここまでで送電線を直線の式として表すことができてい
る。これを基準画像と参照画像(左右画像)に対してそ
れぞれ独立に行なう。
【0068】[送電線三次元座標算出方式]送電線の
特徴点を左右画像において求め、左右画像(基準画像と
参照画像)の送電線同士を対応させる。この後送電線の
三次元座標を以下の方法によって求める。送電線の画像
上での式は(12)によって与えられる。ただし今まで
は、左右画像において、それぞれ同様の式が成立する。
左画像には添字lを右画像には添字rを付けて区別す
る。左右画像における視差は次の式から計算できる。
【0069】 Xl sinθl −Ycosθl =ρl (18) Xr sinθr −Ycosθr =ρr (19)
【0070】ここでYに添字が付かないのは、対応特徴
点(Yr =Yl )での視差を求めるためである。対応特
徴点はエピポーララインの上にありY座標が同一である
からである。
【0071】
【数20】
【0072】
【数21】
【0073】左右画像における送電線の視差d(y)
は、
【0074】
【数22】
【0075】Yは送電線上に取った任意の点のY座標で
あり、ここではパラメ−タである。ρl 、ρr 、θl
θr は既に決定している。写真では送電線がY軸方向に
ほぼ平行になるように撮影するから、sinθr 、si
nθl は0でない。送電線は直線なのであるから、2点
を定めることによって完全に定義することができる。ど
のようなY座標の2点の組合せでも良い。最も簡単には
画像の上端の点(Y=0)と、下端の点(Y=h)を代
表2点に取ることである。ここでY座標は画面の下向き
に取っているから上端が0で、下端が上下方向の最大座
標hになる。また送電線が画面を上下に貫くように写真
を取るか、あるいはそのような写真を選ぶので、上端点
(Y=0)と下端点(Y=h)に必ず送電線の一部が存
在する。左カメラ(基準カメラ)の画像上端でのX座標
t 、両カメラの上端での視差dt は次のように与えら
れる。
【0076】
【数23】
【0077】
【数24】
【0078】左カメラ(基準カメラ)の画像下端でのX
座標Xb 、両カメラの下端での視差db は次のようにな
る。
【0079】
【数25】
【0080】
【数26】
【0081】これは左カメラの左上の点を原点として下
向きにY座標を取っている。左カメラの画面の中心(h
/2,h/2)を原点にした2次元座標に変換する必要
がある。これはX、Yからh/2、h/2を差し引けば
良い。これは横長さ、縦長さがいずれもhである正方形
の画面を想定しているが、縦横の長さが違っていても同
様に変換することができる。基準画面の中心を原点とす
る座標系における送電線の上端の座標(xt ,yt
と、同じ座標系における送電線下端の座標(xb ,y
b )は、それぞれ
【0082】
【数27】
【0083】
【数28】
【0084】となる。これは基準カメラの画面の中心を
原点とする座標における送電線の画面上端の座標と、画
面下端の座標である。視差の方はこのような変換によっ
ても変わらないので前記の(24)、(26)のままで
ある。カメラの焦点距離をf、基線長をD(2a)とす
る。基線長というのはふたつのカメラの中心間距離であ
る。画面上端(xt ,yt )と画面下端(xb ,yb
に対応する物体点の三次元空間での位置は、カメラの撮
像面の中心を原点とする三次元座標系において、
【0085】
【数29】
【0086】
【数30】
【0087】これらの式は最初に両眼立体視の原理を説
明した時の式と少し違う。Zを与える(1)式は分母に
視差が入り、分子にf、2a(=D)が入っている。両
眼立体視の説明の場合は、レンズと撮像面が前後逆にな
っている。レンズの中心がOであってその前に撮像面が
ある。だからZはレンズ中心からの距離として定義され
(1)のようになる。これは座標変換などを考える時に
関係を単純化するための工夫である。そうであれば、
(1)は正しく、ここで用いているパラメ−タを使えば
Df/dt になる。
【0088】実際はそうでなく、カメラは最も後に撮像
面があり、その前にレンズがある。光線がレンズの中心
を通過するものとして計算するので、三次元座標系はレ
ンズ中心を結ぶ線分の中点を原点とするように取る。つ
まりZはカメラのレンズから前方に取った距離である。
最後部の撮像面からの距離ではない。すると、相似関係
が、レンズ面の前後にあって、相似比が、f:Z=d
t :(D−dt )というようになる。Zがfだけ短くな
るので、(1)式においてDであったものが(D−d
t )に減るのである。
【0089】X、Y座標は(2)、(3)と変わらな
い。これら式に(1)のZを代入したものと同じであ
る。(29)は画面上端の送電線の三次元座標、(3
0)は画面下端の送電線の三次元座標である。三次元空
間において送電線の2点の座標が決まっている。送電線
を表す直線の方程式を簡単に与えることができる。(2
9)、(30)の2点の座標を(Xt ,Yt ,Zt )、
(Xb ,Yb ,Zb )とすると送電線の直線の式は、
【0090】
【数31】
【0091】となる。これによって送電線は完全に定義
されたことになる。 [送電線と樹木との離隔距離の算出]ある直線の方向
余弦をa、b、cとして、点Q(l,m,n)を通る直
線と、ある点R(X,Y,Z)の距離Lは、直線PQと
直線のなす角をΦとして、PQsinΦによって与えら
れる。距離Lの2乗は、L2 =PQ2 sin2 Φ=PQ
2 −PQ2 cos2 Φ=(X−l)2 +(Y−m)2
(Z−n)2 −{a(X−l)+b(Y−m)+c(Z
−n)}2 、によって与えられる。樹木の任意の一点の
三次元座標を(Xtr,Ytr,Ztr)とすると、この点と
直線の距離Lは
【0092】 L2 =(Xtr−Xt2 +(Ytr−Yt2 +(Ztr−Zt2 −{a(Xtr− Xt )+b(Ytr−Yt )+c(Ztr−Zt )}2 (32) となる。ただし、
【0093】
【数33】
【0094】
【数34】
【0095】
【数35】
【0096】
【実施例】以上によって本発明が立脚する離隔距離計測
の原理を説明した。次に実際に送電線近傍の樹木の離隔
距離計測に本発明を適用する具体的な方法と問題点を次
の項目にわたって述べる。 画像取り込み方法 計測精度 装置構成 (10)画像処理デ−タ (11)画像補正方式 (12)装置構成の概略 (13)離隔距離検出実験
【0097】[画像取り込み方法]巡視ヘリコプタ−
により2以上のカメラを用い両眼立体視の原理に基づい
て航空写真を取りこれを解析する。一旦写真を取ってこ
れを画像デ−タとして取り込む必要がある。現在の巡視
ヘリを使う方法では両眼立体視位置に設けたTVカメラ
に直接にデ−タを取り込むということが難しい。どうし
ても一旦写真を取ってからこれを何らかの方法で画像デ
−タとして入力する必要がある。これを画像の取り込み
と言っている。
【0098】まず送電線と樹木が画像デ−タにおいて、
1画素以上を占めるような解像度をもって画像を取り込
むことができなければならない。送電線は写真上で0.
2mm以下の太さである。画像処理により送電線の抽出
を行なうには3画素以上の太さが必要である。すると3
81dpi以上の解像度をもって画像を取り込む必要が
ある。画像取り込みの手段は次のようである。
【0099】(1)光学式スキャナ− 航空写真に単一色の光線を当てて、反射光を読み取る。
一般によく利用されるスキャナ−である。分解能が40
0dpiで、現在入手できる装置では30万円程度であ
る。 (2)機械式スキャナ− ドラムに写真を巻き付けて、光学センサを用いて直接読
み取るスキャナ−。高い分解能をもって画像を読み取る
ことができる。分解能が1000dpi程度である。現
在入手できる装置では300万円程度になる。
【0100】(3)カメラを用いて取り込み 写真取り込み用台座に写真をセットし、写真全体をカメ
ラによって撮影して取り込む。周囲の照明を一定に保つ
必要がある。装置価格は100万円程度である。分解能
は10dpi程度である。これは前記の381dpi以
上という条件を満たすことができない。
【0101】(4)カメラを用いて分割取り込み 写真取り込み用台座に写真をセットし、写真またはカメ
ラの位置をずらしながら写真全体を取り込む。正確に一
定距離ずつ移動させて撮影するため、専用の装置を開発
する必要がある。周囲の照明の強さを一定に保つ必要が
ある。分解能は200dpiである。装置価額は200
万円程度である。これも前記の381dpi以上の分解
能という条件を満たすことができない。これらの4つの
装置のうちでは、現在のところ381dpi以上という
条件に当てはまるのは(1)、(2)だけである。本発
明はどちらの方法によっても実施することができる。ま
た(3)、(4)の方法も将来においては利用できるよ
うになるかもしれない。
【0102】[計測精度]撮像面の座標系を連続座標
系とした時において、測定誤差ΔLはつぎの式によって
与えられる。
【0103】
【数36】
【0104】ここでLはカメラから測定対象までの距離
(mm)、dw は1画素あたりの幅(mm)である。f
はレンズの焦点距離(mm)、Dは左右のカメラ間の距
離(mm)である。Δdは画素単位での視差の誤差であ
る。これは(1)や(29)のように視差の逆数に比例
するものとしてZ座標を与える式から求めることができ
る。(29)はZ=fD/dである。これは視差dをD
に対して無視している。また単に視差をdと書いてい
る。距離Lの誤差はZの誤差である。(29)をdによ
って微分するとΔZ=−fDΔd/d2 となるが、d=
fD/Zを代入し、ΔZ=−Z2 Δd/fDとなる。Z
をLに置き換えて、さらにΔdを1画素を単位として表
現することにすると、dw Δdとなる。さらに誤差は正
であるから、負号を取って、(36)のようになる。と
対象物の距離の誤差であるが、Y方向の誤差、X方向の
誤差もある。これらは同様に
【0105】
【数37】
【0106】
【数38】
【0107】となる。X方向、Y方向の誤差は、視差の
誤差による分の他に、X座標測定、Y座標測定の誤差の
分Δx、Δyが含まれる。これらも画素を単位にして、
画素幾つ分かということにより誤差を表現している。写
真撮像時の撮影系のモデルを図7に示す。これは巡視ヘ
リの適当な箇所に設置されたカメラの配置である。ふた
つのカメラをできるだけ離すのが良い。例えばヘリコプ
タ−の最前の位置と、最後の位置にカメラを取り付ける
ようにする。しかしヘリコプタ−の長さは限られている
ので余り離すことはできない。この例では基線長は43
00mmである。
【0108】両眼立体視というのは撮像面が同一面、光
軸平行、焦点距離同一という条件がある。図7のカメラ
配置ではこの内光軸平行、焦点距離同一という条件を満
足できるが、撮像面が同一平面上にない。ヘリコプタ−
によって山岳地、丘陵地を撮影するが、これらは斜面で
ある。だから斜面に直角方向にカメラを向けようとする
と、カメラ軸が鉛直方向からずれる。ヘリは水平の姿勢
を保って飛行するから、ふたつのカメラの撮像面を共通
にすることが難しい。図7ではカメラは鉛直方向より2
0°傾いた方位に固定されている。カメラAは破線によ
って示す位置にあれば両眼立体視の関係にあるが、実際
にはそれよりDsinθだけ後にある。カメラAによる
写真はそれだけ小さくなっている。両眼立体視の関係に
直すにはこれを拡大しなければならない。
【0109】さらに分解能の話を続ける。写真撮影時に
用いるカメラのフィルムサイズをSf、写真プリント時
の印画紙のサイズをSp、スキャナの解像度をRsとす
る。すると、1画素分の幅dw は、MPI・Sf/Rs
Spとなる。スキャナの解像度は1インチ当たりの分離
可能な線の数で表現しているので、これをmm単位の分
離可能な線の間隔に直すと、MPI/Rsになる。MP
Iは25.4mm/インチである。これが印画紙上での
分離可能な間隔を与えるので、ヘリのカメラによって撮
影した写真での分離可能な間隔は上記のようになる。結
局、カメラと物体の距離測定の誤差は、
【0110】
【数39】
【0111】というふうに与えられる。Dはカメラ間距
離であるが、光軸が基線に対して傾いているので、Dc
osθになる。誤差の一例を述べる。カメラから対象物
までの距離L=50m、レンズの焦点距離60mm、カ
メラ間距離D=4300mm、スキャナの分解能Rs=
400dpi、フィルムサイズSf=50mm、プリン
トサイズSp=211mm、カメラの傾き角θ=20°
とする。この場合(Δd=1とおいて)の分解能は15
5mmである。
【0112】[装置構成]本発明は、最大で約36M
Bのデ−タを扱う。またGUIを用いてシステム操作を
行なうので、コンピュ−タ、スキャナについて次のよう
な条件を満足する必要がある。 コンピュ−タに関する条件 CPU:32bitまたは64bitCPUであるこ
と。 メモリ:64MB以上であること。 HD:1GB以上であること。 CRT:800(H)×600(V)以上の解像度を有
すること。256色以上を同時発色できること。
【0113】OS:32bitOSであること。 その他:プリンタ、スキャナに接続可能なこと。 スキャナに対する条件 解像度:400dpi以上であること。 色調:カラ−対応であること。
【0114】[(10)画像処理デ−タ]カラ−画像からは
様々のデ−タを得ることができる。それぞれの画素は赤
色(R)、緑色(G)、青色(B)の階調の組合せによ
って表現される。各画素はR、G、B、輝度(Y)、刺
激値(T)、色相(I,Q)、彩度(S)などのデ−タ
を含む。始めの3つは画素について指定される原始的な
パラメ−タであり、残りのものはこれらから決まる2次
的なパラメ−タである。この内どれが樹木と送電線の特
徴点抽出に最も有効であるかという問題がある。最も有
効なパラメ−タを用いて樹木と送電線の特徴点抽出を行
なえば良い。Rは赤色成分の強さ、Gは緑色成分の強
さ、Bは青色成分の強さを表す。輝度(Y)はY=0.
30R+0.59G+0.11Bによって定義される。
刺激値TはT=R+G+Bである。色相(I、Q)は画
素毎の色合である。彩度Sは画素毎の色づき度合いを意
味する。
【0115】{(10)の1.画像デ−タ選定実験}上記の
パラメ−タのどれを用いると最も正確に樹木、送電線の
特徴点抽出を行なうことができるのか?これが問題であ
る。上記の内、刺激値、色相、彩度は定義が難しいか直
観的な意味が分かりにくいという欠点がある。R
(赤)、G(緑)、B(青)、Y(輝度)の4つの特性
は人間の視覚から得られるデ−タに類似している。また
定義が明確であるので取り扱いやすい。そこでこれら4
つの特性に絞って、この内どれが最も特徴点抽出に適当
であるかを調べた。以下の手順によって特徴点抽出し結
果を検討する。
【0116】(1)一つのサンプル画像を、R、G、
B、Yの画像デ−タに変換する。4つの異なる画像デ−
タができるわけである。 (2)それぞれの画像に対して以下の処理を行なう。 (3)ラプラシアン・ガウシアン・オペレ−タを作用さ
せて特徴点を抽出する。 (4)グラデイエント・ガウシアン・オペレ−タを作用
させて特徴点のコントラストを求める。 (5)画像全体において、コントラストがある一定値以
上の値を持つ特徴点の数を数える。
【0117】(6)それぞれの画像に対して抽出された
特徴点の数が分かる。この内最も特徴点の数の多いもの
が特徴点抽出の容易な画像であるとする。つまりその画
像を与えることになったパラメ−タの種類をこれによっ
て決定するのである。対象にする画像は樹木を対象にす
るものと送電線を対象にするものがある。樹木を対象に
する場合であっても濃緑、淡緑、濃淡、白色など色々な
場合がある。また樹木といっても枝を対象にすることも
ある。さらに送電線を対象にする場合でも背景としての
樹木の色が異なる。このような様々の場合の対象につい
て前記の4つのパラメ−タにより特徴点抽出する。 {(10)の2.実験結果}
【0118】
【表1】
【0119】これらの画像1〜12は航空写真の一部で
ある。樹木の部分と送電線の部分がある。評価の欄にお
いて、◎は最も特徴点の数が多いものを示す。○は次に
特徴点の多いものを示す。G(緑)をパラメ−タとする
画像は◎が5、○が7である。R(赤)をパラメ−タと
する画像は◎が4、○が3である。B(青)をパラメ−
タとする画像は◎が3、○が1である。Y(輝度)をパ
ラメ−タとする画像は◎が0、○が1である。特徴点抽
出の多さから見るとG(緑)を画像のパラメ−タとする
のが最も良いように思える。これに次いで赤(R)が勝
れている。輝度は特徴点抽出の点では無力に近いことが
分かる。だから、緑(G)画像を用いて特徴点抽出する
のが最も良い。つまり画像の各画素にはR、G、Bにつ
いてそれぞれ階調が与えられているが、R、Bの階調デ
−タは捨てて、Gの階調デ−タだけを使って特徴点抽出
を行なうのが最も正確であるということである。
【0120】[(11)画像補正方式]両眼立体視による座
標計測は、複数のカメラが同じ焦点距離、平行な光軸、
同一平面内の撮像面という条件があった。巡視ヘリの脚
の部分にふたつのカメラを鉛直下方を向いて取り付けて
下方を撮像するようにするのであれば、画像を補正する
必要がない。しかし巡視ヘリに取り付けるカメラは従来
の人手による解析のために、鉛直より傾いた方向に取り
付けられていた。図8に示す通りである。これをそのま
ま使おうとすると、図8のようにカメラが両眼立体視の
条件から外れた条件で使わなければならない。鉄塔のよ
うに鉛直に立っている物体を真上から見ると、上下の距
離が全く分からない。だからこのように鉛直から傾けた
方が良い。こうすると鉄塔がやや斜めに見えるので、上
下の間隔等も分かってくる。
【0121】そうすると、両眼立体視の条件から外れて
しまう。図8で左カメラは実線の位置にある。しかし両
眼立体視の方法を適用しようとすると、破線によって示
す位置において撮影するのでなければならない。ヘリコ
プタ−に特別の部材を斜めに取り付けることにより、撮
像面共通の位置に設定することは不可能ではない。しか
しこれはかなり難しいことである。どうしても両脚の下
に同じ高さにおいて傾けて取り付けるようにするとすれ
ば画像補正をしなければならない。もし左カメラが破線
の位置にあるとしたら、どのような画像になるのかとい
うことを、実線位置で撮影した写真から求める必要があ
る。このためにいずれか一方の画像を拡大、縮小、回転
変換しなければならない。このための式は、次のようで
ある。拡大、縮小のために、
【0122】u=ax (40) v=ay (41) ただしaは拡大率あるいは縮小率である。回転の場合
は、
【0123】 u=xcosθ−ysinθ (42) v=xsinθ+ycosθ (43)
【0124】という変換式を用いて変換する。θは回転
角である。これはカメラの傾き角(例えば20°)とは
違う。上の式は値が連続値であれば常に成り立つ。しか
し実際にはデ−タは画素によって表されており、XやY
は画素幅を単位とする整数値である。(40)〜(4
3)の変換により求められた値は整数値にならない。従
って変換後に画素の中心点(格子点)になるもののR、
G、Bなどのデ−タが分からない。変換前の周囲の格子
点のR、G、Bなどの値を何らかの方法で内挿して、変
換後の格子点での値を求める必要がある。
【0125】内挿の方法として、最近隣接内挿法、共1
次内挿法、3次畳み込み内挿法などがある。いずれの方
法によっても良い。最近隣内挿法はアルゴリズムが簡単
であるという利点がある。しかし位置誤差があるという
欠点がある。共1次内挿法は、平滑化を行なうので先鋭
さが失われる。3次畳み込み内挿法は平滑化、先鋭化の
両方の効果がある。本発明は目的により、費用を勘案し
この内の適当な方法を用いて変換後の格子点での色パラ
メ−タの値を計算する。
【0126】[(12)装置構成の概略]図9は本発明の装
置構成を示す。これはイメ−ジスキャナ、コンピュ−
タ、プリンタよりなる。一例を述べる。CPUはSup
er Sparc(30MHz)、メモリは64MB、
HD容量は1.3GBとする。OSはSunOS4.
1.3(32bitOS)を用いている。これはプリン
タ、スキャナに接続可能である(SCSI−II)。C
RTは1192(H)×1024(V)の画素を持ち、
256色以上を同時発色できるものである。スキャナの
性能は400dpiの解像度であって、カラ−対応であ
る。
【0127】[(13)離隔距離検出実験]以上に説明した
本発明の装置により、神奈川県相模原市の桂川線のある
鉄塔付近の航空写真を取り、従来法(人手による解析)
による樹木離隔距離解析と本発明による離隔距離解析を
行なって両者を比較した。巡視ヘリの脚部に取り付けた
ふたつのカメラの間隔は4.3mである。カメラの鉛直
方向からのフレの角は20°、レンズの焦点距離は60
mmである。手順は既に説明した通りであるがもう一度
繰り返す。
【0128】1.画像取込:オペレ−タがイメ−ジスキ
ャナを用いて航空写真を取り込む。 2.回転補正1:コンピュ−タがスキャナ取込時の回転
ずれ量を自動算出し、回転補正する。 3.拡大補正:オペレ−タが手計算によって、右画像の
拡大率を求める。コンピュ−タは右画像を拡大補正す
る。 4.回転補正2:左画像の右画像に対する回転ずれ量を
手計算によってオペレ−タが求める。コンピュ−タが左
画像を回転補正する。 5.画像の分割:コンピュ−タが画像を適当な大きさに
分割する。ここでは512×480画素の矩形の小画面
に分割している。 6.特徴点抽出:コンピュ−タが原画像から送電線特徴
点を抽出する。
【0129】7.送電線抽出:コンピュ−タ特徴点より
送電線特徴点を抽出する。 8.送電線対応付け:オペレ−タが得られた送電線特徴
点を画面上で対応付けする。 9.送電線三次元座標計測:コンピュ−タが対応付けの
結果から送電線の三次元座標座標算出式を求める。 10.樹木の三次元座標計測:コンピュ−タが樹木の特
徴点対応付けを行なう。 11.誤対応除去:コンピュ−タが誤対応ペア決定点の
除去を行なう。 12.離隔距離算出:コンピュ−タが送電線と樹木の離
隔距離を算出する。 13.近接地点のマ−ク:コンピュ−タが近接地点をマ
−クし、プリントアウトする。
【0130】この実験は、以上の手順によって離隔距離
を計測する。この内オペレ−タの手作業は、1の画像取
込、3の拡大率の計算、4の回転ずれ量の計算、8の送
電線対応付けだけである。その他の、2〜7、9〜13
はコンピュ−タが行なう。図10は本発明で用いた航空
写真の図である。左カメラで撮影したものが左に、右カ
メラによって撮影したものが右にある。写真の真中にあ
るのが鉄塔である。送電線は画面を縦に何本も平行に貫
いている。この図でははっきりしないが送電線は13本
程度存在する。実際はカラ−写真であるが、添付図面と
してはカラ−写真をコピ−した白黒画面となっている。
左画像における鉄塔の方が右画面におけるよりも右方に
ある。このように左右の画面において左画像が右に、右
画像が左に寄るのが視差である。左画面における方が鉄
塔の側面が長く見えている。これらは当たり前のことで
ある。このような航空写真をイメ−ジスキャナによって
オペレ−タがコンピュ−タに取り込む。
【0131】左画像の鉄塔が少し小さいのは図8のよう
にカメラを取り付けるので、左カメラの方が鉄塔からも
樹木からもより遠くなっているからである。このような
点は先述の補正(回転補正と拡大補正)をして比較可能
な画像に変換する。これらの画像を縦横の線により分割
する。先程述べているように、分割画像が周辺部におい
て一部の画素が重複するようにしている。
【0132】図11の(a)は分割された原画像であ
る。図11の(b)は特徴点抽出画像である。コントラ
ストのあるところを特徴点として抽出するので送電線は
2本の平行線として特徴点の連続列として抽出される。
碍子は外形線が特徴点列となる。樹木は葉っぱが何枚も
重なっているから極めて複雑な形状である。しかし濃い
緑から薄い緑に変化する境界において特徴点列が連続線
として現われる。また日光を受けて白く浮かび上がって
いる葉っぱの群は白っぽい部分の外形線が現われる。図
12は送電線、樹木対応付けの結果を示す。縦に3本の
送電線が見える。黒く点在するのが樹木の特徴点であ
る。柱状の枠は鉛直線と水平矩形線の組合せであった、
三次元座標系を示す。この特徴点画像は誤対応を含んで
いる。誤対応の原因を図13によって説明する。
【0133】図13において左カメラと右カメラは地平
面上で同じ領域を見ている訳ではない。そうではなく
て、左カメラと右カメラが送電線の高さにおいてほぼ同
じになる領域を見ている。これは左右のカメラがそれぞ
れの注目範囲を送電線を中心にして決定するためであ
る。ある高さにおいて両カメラの視線の範囲が合致する
としてもその他の高さでは範囲が違ってくる。送電線よ
り低い所において、左カメラには、右カメラの視野外の
範囲L1が含まれる。反対に右カメラには、左カメラの
視野の外にある範囲R1が存在する。右カメラはL1を
見ていないからL1の範囲の左カメラの特徴点(仮に孤
立特徴点と呼ぶ)は対応付けしてはならないはずであ
る。同様にR1の部分は左カメラが見ていないので対応
付けできないはずである。対応付けしてはいけないので
ある。
【0134】さらに、送電線の影になってどちらか一方
のカメラからは見えない所がある。L2とR2である。
この範囲の特徴点(孤立特徴点)も対応付けできないは
ずである。しかし実際に対応付け作業を行なうと、コン
ピュ−タはこれらの領域の対応づけられていない点も何
とか対応付けしようとする。L2の領域に左カメラの孤
立特徴点があり、R2の範囲に右カメラの孤立特徴点が
ある。これらが互いに対応するとコンピュ−タは判断す
る可能性がある。もしもそうなると、対応付けされた特
徴点はa、bに存在するというふうに計算される。こう
すると孤立特徴点が消える。この場合、実際にはa、b
に特徴点がないのに、対応付けされた特徴点が存在する
ようになる。このために送電線の近くに障害物がない場
合でも、a、bの作用によって多くのエッジが検出され
ることがある。これは誤対応である。
【0135】誤対応の特徴点を除去することを考える。
森林の座標は一般に高さ方向にあるまとまりを持つ。そ
のまとまりの上と下は森林が存在しないと考える。そこ
で、対応付けの結果から森林部分の高さを推定した。森
林が高さ方向に局在すると仮定するのである。そして、
L1、L2、R1、R2の領域を求める。これは地面の
高さの領域として決まる。L1、L2、R1、R2の三
次元座標が決まると、これらの交差領域であるa、b領
域は容易に計算することができる。森林の高さの範囲に
あってa、bに対応する特徴点を誤対応として除去す
る。具体的な誤対応ペア決定点除去の手順は次のようで
ある。
【0136】(1)画像全体に対して視差のヒストグラ
ムを作る。このヒストグラムを作る際、ステレオ対応に
よって対応のついた特徴点のみを採用する。 (2)ある閾値Tを用いてヒストグラムの高さを2値化
する。 (3)視差の小さい方からヒストグラムを調べ、連続し
て頻度がTよりも高い部分を探す。その部分を森林部分
の視差であるとする。これは森林がある一定の高さの範
囲にあるはずであるという仮定に対応する。もしもそう
なら森林の特徴点はヒストグラム上で連続して出現頻度
が高くなるはずである。森林部分の視差dというものが
決定される。
【0137】(4)森林部分のある視差dによって決定
される平面に対して、画面上において電線から遠く離れ
ているために注目範囲から外れており、左カメラの範囲
外で右カメラの端にある部分R1を求める。また右カメ
ラの範囲外で左カメラの端にある部分L1を求める。 (5)同じ平面に対して、電線の影になる部分R2とL
2を求める。 (6)ステレオ対応付けによって対応の決まった全ての
特徴点のうち、左画像のL1と右画像のR2に属してい
る特徴点同士の対応を取り消す。同様に、左画像のL2
と右画像のR1に属している特徴点同士の対応を取り消
す。 (7)以上の処理を森林部分の視差全てに対して行な
う。こうしてa、bの部分の誤対応を除去できる。
【0138】(8)再度、ステレオ対応付けを行なう。
この場合は、対応付けの条件を始めの対応付けの場合よ
りも厳しくする。 (9)送電線との距離が閾値以下の特徴点を障害物とす
る。 L1、L2、R1、R2は孤立特徴点を持つ領域である
から、以上に述べたものの他に、L1とR1、R2とL
2の交差点に発生する誤対応もあり得る。しかし本発明
はこのような誤対応の除去はことさら行なわない。その
理由は次のようである。
【0139】L1とR1の対応がつくならばそれはカメ
ラから非常な遠距離にあることになる。またL2とR2
の対応がつくならばその点は送電線の真上にあることに
なる。このような誤対応は、ステレオ対応付けの際に視
差範囲を限定することにより除かれてしまう。だから実
際には問題にならないのである。このような誤対応の除
去作業によって、正答率が増加する。図14に誤対応除
去後の対応付けの結果を示す。殆ど同一に見えるが、図
12において上(左)2本の送電線の間に、2本目の送
電線に接触して現われていた小さい特徴点群が消えてい
る。
【0140】同じ画面における、対応付けの数を数える
と、誤対応除去処理の前においては全対応ペア決定点の
数は5093個であった。誤対応除去処理の後における
全対応ペア決定点の数は5000個であった。93個の
対応ペア決定点が減少している。正解点数は除去前が4
578個、除去後が4820個であった。正解率は除去
前において89.9%、除去後において96.4%であ
る。正解率が6.5%も増加している。ここで正解とい
うのは、手作業で求めた視差と、本発明の方法で自動的
に求めた対応ペア決定点での視差が一致するものを正解
としている。さらに電線付近のa、bの内部に障害物が
あると、これは誤対応除去の作業によって除かれてしま
い検出できないことになる。しかし障害物がa、bの範
囲にすっぽりとはまってしまうというようなことは殆ど
ない。これらの領域外にもはみ出すはずである。だから
電線に近い障害物であっても正しく距離を求めることが
できる。
【0141】図15は本発明の方法によって鉄塔近傍の
送電線と樹木の離隔距離検出をした場合の特徴点抽出を
示す図である。(a)は航空写真の全体図であり、真中
に鉄塔が見える送電線は画面を縦に切る。この図は横に
してあるが実際には縦にして見るべきである。箱で囲ん
だ部分の拡大図が(b)である。これは2本の送電線と
その近くの樹木の写真である。対応付けのできた特徴点
の位置を白丸によって囲んである。かなり高密度の特徴
点抽出ができているということが分かる。たくさんの特
徴点を抽出し対応付けができたということは、樹木のよ
うに不定形の物体を対象として距離計測する場合には重
要なことである。
【0142】最近接の点の所在とその点から送電線まで
の離隔距離が問題である。最近接の点はあまり多くない
と推測されよう。多くの数の特徴点のうち最近接の特徴
点はほんの僅かの割合しかない。大部分の抽出特徴点の
デ−タは無駄になる。そうであれば抽出特徴点の数が少
なくてもよいようにも思える。しかし、特徴点の数が少
ないと、最近接点であるにも拘らず計算に現われないと
いう場合があり得る。これは困る。最近接の特徴点は全
て残らず抽出しなければならない。一つでも漏れてはい
けない。だとすれば特徴点抽出の数が多い方が良い。本
発明の手法の方が従来の手作業による方法よりも多くの
特徴点を抽出し対応付けすることができる。
【0143】図16は従来の方法による離隔距離検出結
果を示す写真である。特徴点を白く表しているが、多い
ので背景の白地と区別がつかない。表2は従来法による
離隔距離計測結果を示す。番号1〜19は代表的な特徴
点である。これは離隔距離の小さいものから順に並べた
ものである。20番目以上は意味がないので省いてい
る。最近接の点と送電線の距離を知るのが目的であるか
らである。
【0144】
【表2】
【0145】最小の離隔距離は7.95mである。2番
目は8.82mである。もちろん樹木の形状は不定形で
しかも連続しているので、1番と2番の間の距離の点が
この他にも多数存在するわけである。しかしこれらの点
が特徴点として抽出されていないので検出されないので
ある。1番目と2番目の離隔距離の違いは1mであるか
ら、この間の距離を持つ多数の点が実際には存在するで
あろう。しかし問題は最近接の点からの離隔距離がいく
らかということである。であるから1番目の特徴点より
も離隔距離の短い点があってこれが計測から漏れていな
いかどうかということが重要である。たとえ抽出された
特徴点の数が少なくても最小の離隔距離を与える点が特
徴点として抽出されていればよいのである。
【0146】それはそうなのである。しかしある点が特
徴点となるかどうかは全くの偶然による。送電線に最も
近い点が、コントラストを利用した特徴点抽出法によっ
て必ず抽出されるとは限らない。送電線から見て最も近
いという条件と、コントラストがあるという条件は全く
無関係である。つぎに本発明による離隔距離計測の結果
の一部を表3に示す。
【0147】
【表3】
【0148】第1欄が特徴点の番号である。第2欄は画
像上のX座標の値である。この例では先述のように画面
上には1192画素が横方向に並んでいる。画素の左か
らの数によってX座標を表わしている。第3欄はY座標
である。縦方向には1024画素ある。Y座標は画面の
上からの数によって表わしている。第3欄は視差であ
る。第4欄は離隔距離である。離隔距離はmm単位によ
って表現している。この表は特徴点のうち離隔距離の小
さいものから順に並べている。1、2の特徴点は誤計測
によるものである。これは省かれる。3番以後の特徴点
において備考に「1番」とあるのは、表2の従来方法に
よる1番目の点(離隔距離7.95m)の周辺の点であ
るということを意味する。「2番」とあるのは表2の従
来方法による2番目(離隔距離8.82m)の近傍の点
であるということを意味する。離隔距離が3番目〜28
番め迄の特徴点は全て従来法により対応付けした特徴点
の1番目と2番目の近傍の特徴点である。
【0149】つまり本発明の方法によると従来の手作業
では2つの特徴点しか抽出できなかったものが、26個
の特徴点を抽出しているのである。これは単に細かく特
徴点を抽出したということではない。従来法の1番
(7.95m)と2番(8.82m)の間に、本発明は
5、6、7、…15の11個の特徴点が含まれる。この
ように2番目の点よりも近い点が幾つもあるということ
である。
【0150】さらに重要なことは、従来法で1番目の特
徴点(7.95m)よりも近い点3、4が存在したとい
うことである。3番目の特徴点は6920mm、4番目
の特徴点は6957mmであるから、従来法ではこの最
近接の点を見落としたということになる。従来法によっ
たものよりも1mも近いところに樹木があるのである。
本発明の勝れた点がここにもある。特徴点抽出の数が多
いので、最近接特徴点をより的確に求めることができ
る。コントラストの大きい点が最近接であるとは限らな
いから、抽出特徴点が多いということは最近接のものを
より正しく指摘できる可能性が高いということである。
【0151】本発明は送電線と樹木の最近接点との距離
を求めるのが目的である。また前述のアルゴリズムは特
徴点と送電線の距離を計算するようになっている。そう
すると、送電線との最近接点が特徴点として現われる必
要がある。最近接点が連続する直線の一部であれば直線
の特徴点として画面上に出現するはずである。滑らかな
円形物体が送電線に接近している場合は、最近接点が特
徴点として現われない可能性がある。しかし対象は樹木
であるので、滑らかな広い面があってこれが送電線に接
近しているというようなことは考えにくい。最近接点が
葉の外形線として特徴点に含まれるであろう。だから、
最近接点と送電線の離隔距離を求めることができる。
【0152】
【発明の効果】樹木と送電線の離隔距離を検出するため
に左右2枚を一組とする航空写真を巡視ヘリコプタ−に
よって撮影しこれを人手によって解析していた。この方
法は熟練者が手作業で解析するので、時間がかかる。多
くの場合一組の写真から樹木離隔距離を検出するのに1
週間は必要であった。人の手による解析であるから、1
日の労働時間は短く延べ時間が短くても日数がかかる。
本発明は航空写真のイメ−ジスキャナによる読取りまで
は人の手を借りて行なうがこれ以後の計算の殆どはコン
ピュ−タによって実行することができる。従って従来の
方法に比較してより多くの特徴点を抽出することができ
る。ために最近接の特徴点を見逃さないという利点があ
る。
【0153】また人の手を借りて行なうところが少ない
ので、処理時間が短くなる。計算量が多いので高性能の
コンピュ−タを使っても計算に約20時間かかる。これ
に人の手による操作時間が加えられるので、1組の写真
の解析に約25時間かかる。このように時間がかかると
してもコンピュ−タの計算時間であるから、日数にする
と1日と少しということになる。解像度の高いイメ−ジ
スキャナや、メモリ容量の大きい高速のコンピュ−タが
必要になる。しかしこれらの装置が多少高額であるとし
ても、熟練の技術者の解析を同程度の精度を保ちつつ殆
どをコンピュ−タに行なわせることができるようになる
ので、費用的にも有利である。
【図面の簡単な説明】
【図1】本発明の装置の概要を示す図。
【図2】本発明において利用する両眼立体視の原理を説
明するための、カメラ、特徴点座標系の斜視図。
【図3】LDH法による特徴点対応付けを説明するため
の図。
【図4】繰り返し対応付けにより、隣接するウインドウ
と候補画面の特徴点対応付けができることにより他のウ
インドウの特徴点の対応付けが可能になることを説明す
る図面。
【図5】ガウシアンにラプラシアンを作用させた関数∇
2 GのX軸上の関数変化を示すグラフ。
【図6】エッジに対する∇2 Gの出力波形図。
【図7】本発明の実施例において用いる撮像系の概略
図。
【図8】樹木離隔距離計測の元になる航空写真を取るた
め巡視ヘリコプタ−の下部に取り付けるカメラの配置
図。
【図9】本発明の樹木離隔距離検出のための試作機の概
略図。
【図10】本発明を行なうために巡視ヘリコプタ−によ
って撮影した、1組の航空写真の例。
【図11】本発明の実施例の実験において用いた航空写
真の分割したものの原画像(a)と特徴点画像(b)。
【図12】図10の例において左右のカメラの画像の特
徴点の対応付けをして、誤対応除去する前の特徴点画
像。
【図13】一方のカメラからの死角になるために対応付
けできない孤立特徴点が誤って対応付けされるためにあ
たかも送電線の近くに物体が存在するかのように見える
ことを説明するためのカメラと送電線、カメラ視線の説
明図。
【図14】図12の図から誤対応除去処理をした後の特
徴点画像。
【図15】本発明の実施例において、樹木離隔検出の結
果を示す図。上の図の一部を拡大して下に示す。白丸に
よって対応付けされた特徴点を表わす。
【図16】従来の人手による離隔距離検出による特徴点
抽出画像。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 小澤 明夫 神奈川県横浜市鶴見区江ケ崎町4番1号東 京電力株式会社電力技術研究所内 (72)発明者 石橋 武 東京都豊島区東池袋3−6−8東京電力株 式会社東京西支店内 (72)発明者 白井 良明 大阪府豊中市新千里西町2丁目11番11号

Claims (14)

    【特許請求の範囲】
  1. 【請求項1】 繁茂する樹木の中に架設された送電線と
    樹木の離隔距離を計測するために、レンズ焦点距離が同
    一でレンズ光軸が平行であって、横方向の線が平行であ
    るように配置された複数のカメラにより、架空送電線の
    上方より例えば飛行体によって架空送電線と樹木を撮影
    し、カメラ撮影した1組の送電線近傍の航空写真を画像
    入力装置によってコンピュータに入力し、各々の画像に
    おいてコントラストのある点を特徴点として抽出し、そ
    れらの画像の一つを基準画像とし、他の画像を参照画像
    として、基準画像を縦横に一部が重複するように矩形状
    に分割してウインドウとし、ある画像内の特徴点の対応
    ペア決定点が他のカメラ画像上に存在する可能性のある
    点を結んだものとしてエピポーララインを定義し、ウイ
    ンドウ内の各特徴点Si (i=1,2,3,…)に対す
    る参照画像上の各エピポーラライン上にある特徴点Rj
    (j=1,2,3…)のうちコントラストが類似し、視
    差が予め定められた範囲内の値となる全ての特徴点Rk
    (k=1,2,3…)を、特徴点Siに対する対応候補
    点とし、基準画像内の全てのウインドウに対し、ウイン
    ドウ毎に視差を横軸にウインドウ内における各視差に対
    する対応候補点および対応ペア決定点の出現頻度を縦軸
    に取った局所的視差ヒストグラムを作成し、各ウインド
    ウの局所的視差ヒストグラムの頻度の最高のピーク値に
    なる視差のうち、二つ以上の同等の高さのピークを持た
    ない、ピークになる視差とその近傍の視差の度数の総和
    が全体の度数のある割合以上であるものをそのウインド
    ウの視差候補とし、視差候補の決まったウインドウ内の
    各特徴点Si (i=1,2,3,…)のうち視差候補±
    1の範囲内に対応候補点が存在するものを対応ペア決定
    点とし対応ペアの画面上の差である視差を計算する対応
    ペア探索処理を施し、視差候補の決まらなかったウイン
    ドウは、隣接するウインドウの対応ペア決定点により局
    所的視差ヒストグラムを修正して対応ペア探索処理を施
    し、新たに視差候補の決まるウインドウがなくなるまで
    繰り返し、全ての対応ペア決定点の三次元座標を求め、
    送電線の対応ペア決定点の列は三次元空間における直線
    の式で表現し、樹木の特徴点は全てここに三次元座標を
    計算し、送電線を表す直線と、樹木の全ての特徴点或い
    は予め指定された範囲の特徴点との距離を計算し、距離
    の短いものから順に並べて、最短のものを送電線と樹木
    の離隔距離とする事を特徴とする樹木離隔距離計測シス
    テム。
  2. 【請求項2】 送電線に近接した特徴点を、特徴点の三
    次元座標と離隔距離とともに、短いものから順に出力す
    るようにしたことを特徴とする請求項1に記載の樹木離
    隔距離計測システム。
  3. 【請求項3】 航空写真を取るべき複数のカメラが焦点
    距離fが同一、光軸平行、撮像面が同一平面上にありカ
    メラ中心の距離(基線長)がDであるという条件を満足
    するように飛行体に取り付けられており、二つのカメラ
    のレンズの中心を原点とし撮像面と直角の方向にZ軸
    を、カメラの中心を結ぶ基線の方向にX軸を、これらに
    直角な方向にY軸を持つ三次元座標系を定義し、これら
    のカメラによって撮影した写真をイメ−ジスキャナによ
    って読み込んで、多数の縦横に並ぶ画素によって表現さ
    れる画像とし、二つの画像において同一点を含む横軸が
    同一のY座標を持ち基線方向がX軸になるように2次元
    座標系を定義し、二つの画像の対応する特徴点の画面上
    のX座標の視差からカメラ位置によって定義した三次元
    座標系におけるその特徴点のZ座標を決定するように
    し、それぞれの画像の二次元座標のX座標、Y座標の値
    に、Zf/Dを掛けることによってその特徴点の三次元
    座標系でのX、Y座標を求めることを特徴とする請求項
    1に記載の樹木離隔距離計測システム。
  4. 【請求項4】 航空写真を取るべき複数のカメラが焦点
    距離fが同一、光軸平行であるが、撮像面が同一平面上
    になく、一方のカメラの光軸上に他方のカメラと同じ平
    面上に撮像面を有する仮想のカメラを想定することによ
    り、その仮想カメラと、他方のカメラの中心を結ぶ基線
    を定義でき、基線長をDとし、基線の中間点を原点と
    し、撮像面と直角の方向にZ軸を、仮想カメラと他方の
    カメラの中心を結ぶ基線の方向にX軸を、これらに直角
    な方向にY軸を持つ三次元座標系を定義し、これらのカ
    メラによって撮影した写真をイメ−ジスキャナによって
    読み込んで、多数の縦横に並ぶ画素によって表現される
    画像とし、一方の画像を回転、拡大し、あるいは回転、
    縮小することによって、前記カメラがその光軸上の仮想
    カメラの位置にあった時に撮影したものと同じ画像に修
    正し、二つの画像において同一点を含む横軸が同一のY
    座標を持ち基線方向がX軸になるように2次元座標系を
    定義し、二つの画像の対応する特徴点の画面上のX座標
    の視差からカメラ位置によって定義した三次元座標系に
    おけるその特徴点のZ座標を決定するようにし、それぞ
    れの画像の二次元座標のX座標、Y座標の値に、Zf/
    Dを掛けることによってその特徴点の三次元座標系での
    X、Y座標を求めることを特徴とする請求項1に記載の
    樹木離隔距離計測システム。
  5. 【請求項5】 横軸が同一になるように画面上に二次元
    座標が定義された二つの画像において、ノイズを除くた
    めに、画像f(x,y)にガウシアン函数G(x,y)
    を掛けた平滑画像F(x,y)=∫f(x−s,y−
    t)G(s,t)dsdtを処理の対象とすることを特
    徴とする請求項1〜4の何れかに記載の樹木離隔距離計
    測システム。
  6. 【請求項6】 横軸が同一になるように画面上に二次元
    座標が定義された二つの画像において、ラプラシアンフ
    ィルタを作用させることにより、コントラストのある点
    を見い出し特徴点を得るようにしたことを特徴とする請
    求項1又は5に記載の樹木離隔距離計測システム。
  7. 【請求項7】 基準画像のある特徴点に対応する参照画
    像上の特徴点の存在する直線をエピポ−ララインと呼ぶ
    時、エピポ−ララインが基準画像の特徴点のY座標と同
    じY座標を持つ横方向直線であり、基準画像の特徴点に
    対応するエピポ−ララインの上にある参照画像の特徴点
    であって、コントラストが類似し、コントラスト変化方
    向が類似であるときに、参照画像の特徴点と前記の基準
    画像を対応させるようにしたことを特徴とする請求項1
    又は6に記載の樹木離隔距離計測システム。
  8. 【請求項8】 直線の式をXsin θ−Ycos θ=ρによ
    って表現し、パラメ−タθ、ρを独立変数とし、その座
    標(X,Y)が前記の式を満足する特徴点の数を従属変
    数とする2次元ヒストグラムを作成し、ヒストグラムの
    ピ−クを与えるΘ、ρの組み合わせを求め、これを送電
    線の両側の直線と推測し、2本の平行な直線が必要であ
    ることから、2組みのθ,ρの組み合わせ(θ1 ,ρ
    1 )、(θ2 ,ρ2 )が存在するとき、|θ1 −θ2
    <閾値、|ρ1 −ρ2 |<閾値である時に、この2直線
    は送電線の両側の線であると判定することを特徴とする
    請求項1に記載の樹木離隔距離計測システム。
  9. 【請求項9】 同じ送電線の直線が、左画像(基準画
    像)においてθ、ρによって定義され、右画像(参照画
    像)においてはθ、ρによって定義され、Xlsinθl
    lcosθl =ρl 、Xrsinθr −Yrcosθr =ρr と表
    現されるとき、基準画像の中心を原点とし、横にh画
    素,縦にh画素を持つ二次元座標系において、画面の上
    端での送電線の座標(xt ,yt )をxt =(ρl /si
    n θl )−(h/2),yt =−h/2によって与え、
    画面の下端での送電線の座標(xb,yb )をxb
    {(ρl +hcos θl )/sin θl )}−(h/2),
    b =h/2 によって決定し、画面上端での視差dt
    と下端での視差db を、dt =(ρl sin θl )−(ρ
    r /sin θr )、db ={(ρl +hcos θl )/sin
    θl }−{(ρr +cos θr /sin θr }によって計算
    し、カメラの基線長をDとして、送電線の一端の三次元
    座標(Xt ,Yt ,Zt )と他端の三次元座標(Xb
    b ,Zb )を、Xt =Dxt /dt 、Yt =Dyt
    t 、Zt =f(D−dt )/dt 及びXb =Dxb
    b 、Yb =Dyb /db 、Zb =f(D−db )/d
    b によって求め、送電線の直線の式を(X−Xt )/
    (Xt −Xb)=(Y−Yt )/(Yt −Yb )=(Z
    −Zt )/(Zt −Zb )によって与えることを特徴と
    する請求項8に記載の樹木離隔距離計測システム。
  10. 【請求項10】 コンピュ−タに取り込まれた赤色
    (R)画像、緑色(G)画像、青色(B)画像、輝度
    (Y)の画像デ−タのうち特定の画像デ−タのみを使用
    することを特徴とする請求項1または9に記載の樹木離
    隔距離計測システム。
  11. 【請求項11】 コンピュ−タに取り込まれた赤色
    (R)画像、緑色(G)画像、青色(B)画像、輝度
    (Y)の画像デ−タのうち緑色(G)デ−タのみを使用
    することを特徴とする請求項10に記載の樹木離隔距離
    計測システム。
  12. 【請求項12】 架空送電線と樹木との離隔距離が指定
    した値以下の樹木の場所をコンピュ−タに取り込んだ写
    真あるいはネガにマ−キングしたハ−ドコピ−を出力す
    ることを特徴とする請求項1〜11の何れかに記載の樹
    木離隔距離計測システム。
  13. 【請求項13】 前記ハ−ドコピ−上にマ−キングを施
    した樹木と、架空送電線との離隔距離を出力することを
    特徴とする請求項12に記載の樹木離隔距離計測システ
    ム。
  14. 【請求項14】 ハ−ドコピ−上の数字・記号などのマ
    −キングと上記の離隔距離が一対一に対応していること
    を特徴とする請求項13に記載の樹木離隔距離計測シス
    テム。
JP7218203A 1995-08-03 1995-08-03 樹木離隔距離計測システム Pending JPH0997342A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP7218203A JPH0997342A (ja) 1995-08-03 1995-08-03 樹木離隔距離計測システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7218203A JPH0997342A (ja) 1995-08-03 1995-08-03 樹木離隔距離計測システム

Publications (1)

Publication Number Publication Date
JPH0997342A true JPH0997342A (ja) 1997-04-08

Family

ID=16716244

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7218203A Pending JPH0997342A (ja) 1995-08-03 1995-08-03 樹木離隔距離計測システム

Country Status (1)

Country Link
JP (1) JPH0997342A (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1087257A2 (en) * 1999-09-22 2001-03-28 Fuji Jukogyo Kabushiki Kaisha Mounting stereo camera system of a vehicle
JP2004333243A (ja) * 2003-05-06 2004-11-25 Pasuko:Kk 画像マッチング方法
JP2006211046A (ja) * 2005-01-25 2006-08-10 Casio Comput Co Ltd 撮影装置、撮影装置の画像処理方法及びプログラム
JP2007107962A (ja) * 2005-10-12 2007-04-26 Yamamoto Denko Kk 測定対象物計測システム、及び送電線下離隔計測システム
JP2008269264A (ja) * 2007-04-19 2008-11-06 Central Res Inst Of Electric Power Ind 画像処理による多導体電線の追跡方法、装置及びプログラム並びにこれを用いた多導体電線の異常検出方法、装置及びプログラム
JP2009236811A (ja) * 2008-03-28 2009-10-15 Fujifilm Corp 画像処理装置および画像処理方法並びにプログラム
JP2013076621A (ja) * 2011-09-30 2013-04-25 Nippon Hoso Kyokai <Nhk> 距離指標情報推定装置及びそのプログラム
JP2013134706A (ja) * 2011-12-27 2013-07-08 Canon Inc 情報処理装置、情報処理方法、及びそのプログラム
CN103795001A (zh) * 2014-01-26 2014-05-14 国家电网公司 架空输电线路通道内结构物智能监测系统
JP5509441B1 (ja) * 2013-12-26 2014-06-04 株式会社ベイビッグ 対応点検出装置および対応点検出方法
CN105113375A (zh) * 2015-05-15 2015-12-02 南京航空航天大学 一种基于线结构光的路面裂缝检测系统及其检测方法
JP2016157197A (ja) * 2015-02-23 2016-09-01 株式会社リコー 自己位置推定装置、自己位置推定方法およびプログラム
JP2018031693A (ja) * 2016-08-25 2018-03-01 一般財団法人電力中央研究所 架空送電線の離隔評価方法,離隔評価装置,及び離隔評価プログラム、並びに、離隔評価データの表示方法
JP2018146457A (ja) * 2017-03-08 2018-09-20 中国電力株式会社 離隔距離測定システム及び方法
CN111627059A (zh) * 2020-05-28 2020-09-04 桂林市思奇通信设备有限公司 一种棉花叶片中心点位置定位方法
CN112489130A (zh) * 2021-01-11 2021-03-12 众芯汉创(北京)科技有限公司 一种输电线路与目标物的距离测量方法、装置及电子设备
US11879732B2 (en) 2019-04-05 2024-01-23 Ikegps Group Limited Methods of measuring structures

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7106365B1 (en) 1999-09-22 2006-09-12 Fuji Jukogyo Kabushiki Kaisha Stereo camera apparatus with a main camera and a sub-camera where the sub-camera has a point of view difference from the point of view of the main camera
EP1087257A3 (en) * 1999-09-22 2003-05-07 Fuji Jukogyo Kabushiki Kaisha Mounting stereo camera system of a vehicle
EP1533653A1 (en) * 1999-09-22 2005-05-25 Fuji Jukogyo Kabushiki Kaisha A stereo camera apparatus
EP1087257A2 (en) * 1999-09-22 2001-03-28 Fuji Jukogyo Kabushiki Kaisha Mounting stereo camera system of a vehicle
JP2004333243A (ja) * 2003-05-06 2004-11-25 Pasuko:Kk 画像マッチング方法
JP4501701B2 (ja) * 2005-01-25 2010-07-14 カシオ計算機株式会社 撮影装置、撮影装置の画像処理方法及びプログラム
JP2006211046A (ja) * 2005-01-25 2006-08-10 Casio Comput Co Ltd 撮影装置、撮影装置の画像処理方法及びプログラム
JP2007107962A (ja) * 2005-10-12 2007-04-26 Yamamoto Denko Kk 測定対象物計測システム、及び送電線下離隔計測システム
JP2008269264A (ja) * 2007-04-19 2008-11-06 Central Res Inst Of Electric Power Ind 画像処理による多導体電線の追跡方法、装置及びプログラム並びにこれを用いた多導体電線の異常検出方法、装置及びプログラム
JP2009236811A (ja) * 2008-03-28 2009-10-15 Fujifilm Corp 画像処理装置および画像処理方法並びにプログラム
JP2013076621A (ja) * 2011-09-30 2013-04-25 Nippon Hoso Kyokai <Nhk> 距離指標情報推定装置及びそのプログラム
US9141873B2 (en) 2011-12-27 2015-09-22 Canon Kabushiki Kaisha Apparatus for measuring three-dimensional position, method thereof, and program
JP2013134706A (ja) * 2011-12-27 2013-07-08 Canon Inc 情報処理装置、情報処理方法、及びそのプログラム
JP5509441B1 (ja) * 2013-12-26 2014-06-04 株式会社ベイビッグ 対応点検出装置および対応点検出方法
WO2015097969A1 (ja) * 2013-12-26 2015-07-02 株式会社ベイビッグ 対応点検出装置および対応点検出方法
CN103795001A (zh) * 2014-01-26 2014-05-14 国家电网公司 架空输电线路通道内结构物智能监测系统
JP2016157197A (ja) * 2015-02-23 2016-09-01 株式会社リコー 自己位置推定装置、自己位置推定方法およびプログラム
CN105113375A (zh) * 2015-05-15 2015-12-02 南京航空航天大学 一种基于线结构光的路面裂缝检测系统及其检测方法
CN105113375B (zh) * 2015-05-15 2017-04-19 南京航空航天大学 一种基于线结构光的路面裂缝检测系统及其检测方法
JP2018031693A (ja) * 2016-08-25 2018-03-01 一般財団法人電力中央研究所 架空送電線の離隔評価方法,離隔評価装置,及び離隔評価プログラム、並びに、離隔評価データの表示方法
JP2018146457A (ja) * 2017-03-08 2018-09-20 中国電力株式会社 離隔距離測定システム及び方法
US11879732B2 (en) 2019-04-05 2024-01-23 Ikegps Group Limited Methods of measuring structures
CN111627059A (zh) * 2020-05-28 2020-09-04 桂林市思奇通信设备有限公司 一种棉花叶片中心点位置定位方法
CN111627059B (zh) * 2020-05-28 2023-05-30 桂林市思奇通信设备有限公司 一种棉花叶片中心点位置定位方法
CN112489130A (zh) * 2021-01-11 2021-03-12 众芯汉创(北京)科技有限公司 一种输电线路与目标物的距离测量方法、装置及电子设备
CN112489130B (zh) * 2021-01-11 2024-03-08 国网江苏省电力有限公司泰州供电分公司 一种输电线路与目标物的距离测量方法、装置及电子设备

Similar Documents

Publication Publication Date Title
US11080911B2 (en) Mosaic oblique images and systems and methods of making and using same
CN111066065B (zh) 用于混合深度正则化的系统和方法
CN105279372B (zh) 一种确定建筑物高度的方法和装置
JPH0997342A (ja) 樹木離隔距離計測システム
Barrow et al. Parametric correspondence and chamfer matching: Two new techniques for image matching
CN105426861B (zh) 车道线确定方法及装置
JP4597391B2 (ja) 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体
JP4521235B2 (ja) 撮影画像の変化抽出装置及び方法
KR20060129332A (ko) 화상중의 인물 후보 영역 추출 방법 및 인물 후보 영역 추출 시스템, 인물 후보 영역 추출 프로그램이 기록된 기록 매체, 및 인물 이미지의 상하 판정 방법 및 상하 판정 시스템, 상하 판정 프로그램이 기록된 기록 매체
CN109166125A (zh) 一种基于多边缘融合机制的三维深度图像分割算法
Serna et al. Data fusion of objects using techniques such as laser scanning, structured light and photogrammetry for cultural heritage applications
JP5297779B2 (ja) 形状測定装置およびプログラム
CN108377374A (zh) 用于产生与图像相关的深度信息的方法和系统
JP2010133752A (ja) 形状測定装置およびプログラム
CN111739031A (zh) 一种基于深度信息的作物冠层分割方法
CN114938410B (zh) 一种手机屏幕画检分区方法和系统
JP3814353B2 (ja) 画像分割方法および画像分割装置
CN116596987A (zh) 一种基于双目视觉的工件三维尺寸高精度测量方法
JP4082718B2 (ja) 画像認識方法および画像表示方法および画像認識装置
JP6006675B2 (ja) マーカ検出装置、マーカ検出方法、及びプログラム
CN113225484B (zh) 快速获取屏蔽非目标前景的高清图片的方法及装置
TWI595446B (zh) 擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法
CN111630569B (zh) 双目匹配的方法、视觉成像装置及具有存储功能的装置
CN110942480A (zh) 一种单目单帧多光谱三维成像方法
CN111489384A (zh) 基于互视角的遮挡评估方法及装置、设备、系统和介质

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040803

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050104