JPH01125680A

JPH01125680A - センサ画像の処理方法

Info

Publication number: JPH01125680A
Application number: JP62283281A
Authority: JP
Inventors: Fuminobu Furumura; 文伸古村
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1987-11-11
Filing date: 1987-11-11
Publication date: 1989-05-18

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明はセンサによる撮影画像の処理方式に係り、特に
移動体に搭載のセンサを用いて広い視野の画像を高い分
解能で得るのに好適な画像データ処理方法に関する。

【従来の技術〕

移動体の搭載したセンサを用いて環境の画像を得るシス
テムにおいて、広い視野の画像を高い分解能で得ること
はセンサの性能の制約から一般に困難である。そこで高
分解能であるが視野の狭いセンサを用い、センサの走査
あるいは搭載した移動体の移動、あるいはさらにそれら
の組合せにより視点、中心視線の方向を時間と共に変化
させることにより複数の画像を得、これらを接合して広
い視野について高分解能の画像とする方法すなわちモザ
イク処理が知られている。その方法は例えば、堀井氏他
による「多数画面のディジタルモザイク処理」、第１０
図りモートセンシングシンポジウム講演集、４７〜４８
頁、１９８４年１１月、に於て講じられている。すなわ
ち各時点に撮影した画像を共通の１つの投影法に従って
座標変換してつなぎ合わせる。この際隣接する２画像の
オーバラップする部分について画像の連続性を確保する
ために次の如き処理を行なう−まずオーバラッブ部分に
複数の画像中の特徴点を基準点として設定する。これは
人手により指示するか或は小画像領域の相関演算により
位置を求めるととにぶり達成される０次に両画像につい
て基準点の位置が合致するように形状の残留歪を補正す
る。さらに両画像の濃度の平均により新たな接合画像を
得る。

この方法により大視野１；ついて高分解能の画像を得る
ことができる。

〔発明が解決しようとする問題点〕

上記従来技術における隣接画像のオーバラップ°部分の
接合処理方式は、人工衛星或は航空機によるリモートセ
ンシングで、資源探査、土地利用探査などＷ１８１ｇ対
象の変化が緩やかで１画像データの処理もオフラインで
時間をかけることが許される場合に適した方式であり、
移動体に搭載したセンサの画像から環境の状態を把握し
、゛目標となる特定物体位置を検出し、その結果を移動
体の制御にフィードバックするためのリアルタイム処理
に対しては次の点で問題がある。

第１に１画像のオーバラップ部分で対応点を検出する処
理は人間の介入を避けるため画像の相関を行なうと一般
に大きな処理時間を要しリアルタイム処理に適さない、
またこの対応点を用いる方式は画像中に特徴点の存在す
ることを前提としているが、リモートセンシング画像と
異なる一般の環境を撮影した画像では、対象、照明条件
等により特徴点が存在しない場合がある。また対応点と
選んだ物体が２画像の撮影の間に空間内を移動する場合
もある。この時は歪補正に誤差を生ずる。

以上から対応点を用いた歪補正方式に頼ることは困難で
ある。

第２に、歪補正後の隣接２画像の平均処理によリオーバ
ラップ部の画像を作り出す方式では、２画像の撮影の間
に移動した物体は像が消失したり２重になったりするこ
とにより情報が失なわれ、後の検出、制御等への利用に
影響を与える。

本発明の目的は上記従来技術の問題点を解決し。

移動体搭載センサによる画像のリアルタイム処理に適し
たモザイク処理方式を提供することにある。

Ｃ問題点を解決するための手段〕上記目的は、移動体に搭載された画像センサと、画像処
理装置と、複数の画像メモリと１画像表示装置より成る
画像処理システムにおいて、相異なる時刻にセンサの撮
影した画像に対し、該時刻におけるセンサの空間におけ
る位置、方位情報に基づいて空間内の１つの位置、方位
に設定した共通の仮想的センサにより撮影した画像に対
する画像の歪を算出し、該歪を補正する処理を画像処理
装置に行なわせ、結果の補正画像を相異なる画像メモリ
に格納し、複数の画像メモリに格納された相異なる時点
の補正画像を交互に或は合成して画像表示装置に表示す
ることにより達成される。

〔作用〕

画像処理装置は、刻々センサの撮影した画像について、
センサの位置、方位情報にもとづいて、空間内の１つの
位置、方位に設定した共通の仮想的センサにより撮影し
た画像に対する画像の歪を幾何学計算により算出し、該
歪量に基づいて観測画像をリサンプリング処理すること
によりその歪を補正して画像メモリに書き込む。さらに
１時刻の異なる画像毎に歪補正処理を行ない、結果の補
正画像を相異なる画像メモリに格納する。この方法によ
れば、（１）　　隣接画像のオーバラップ部１分の特徴点の相
関処理を行なわないので処理時間要短かくできる。また
オーバラップ部分に特徴点が存在しない場合も処理でき
る。さらに特徴点が移動した場合にも歪補正の誤差要因
とならない。

（２）相異なる画像メモリに格納した補正画像を順次交
互に（フリッカ）画像表示装置に表示すること、また任
意の順序で表示することが可能なため、オーバラップ部
の情報を失なわずに人間に表示し、あるいは特定物の検
出。

移動体の制御へ利用することができる。

という特長がある。従って移動体搭載のセンサで広視戟
の高分解能画像をリアルタイムに提供することを可能に
する効果がある。

〔実施例〕

以下１本発明の一実施例を図を用いて説明する。

第１図は本発明による画像処理システムの全体構成図で
ある。センサ１で撮影した画像はバッファメモリｌＯに
蓄えられる６画像処理装置！１１は外から与えられる該
画像撮影時のセンサの空間内の位置・方位情報１２およ
び基準となる画像を定める空間内に設定した仮想的セン
サの位置・方位情報１９に基づいて該画像の歪を後述の
方法により補正し、結果の補正画像をメモリ１３に格納
する。

メモリ１３は複数用意され、異なる時刻の画像を異なる
メモリに格納する。画像表示装置１４はコントローラ１
５とデイスプレィ１６より成る。コントローラは後述の
如く外部から与えられる選択指示１７に従い、メモリ１
３の画像を順位読出し表示する。あるいは必要に応じ移
動体の制御装置１８に送られ、移動体の制御に利用され
る。なお、位置・方位情報１２は移動体搭載の位置、姿
勢センサあるいは予め設定される移動体の誘導プログラ
ムにより与えられる０、第２図は画像処理装置！１１の処理フロー図である。第
３図は画像の歪を示す図、第４図は幾何学的関係を示す
図である。第３図（ａ）の１Ｒ８１！１画像の座標系３
０内の画像３１を、同図（ｂ）の空間内に設定した基準
となる仮想的センサの撮影した画像に対応する補正出力
画像の座標系３２内の画像３３に写像（座標変換）する
ことにより歪は補正できる。そのため第２図のようにま
ず幾何計算２１により、観測画像中の複数（例えば４つ
以上）の代表点について、座標（Ｘｌ’　ｅ　ｙ　ｔ’
　）に対応する座標系３２の座標（ｘｉｔｙｔ）を求め
る。

ここでｉ＝１．・・・、ＮであるＮは代表点の数）。

その計算では第４図に示すごとくまず、空間内のセンサ
中心に固定した座標系４１　　（Ｘ’　ｔ　Ｖ’　ｒｚ
′）を考える。ｘ’　、ｙ’はセンサ面４２上にあり、
２′軸は光軸にとる。いま注目する像点′４４の座標を
（ｘ’　＋　ｙ’　）とすると、それに対応する視線ベ
クトル且は、座標系４１ではｕｓ＝’（ｘ’　ｙ”　　
ｆ）Ｔ’　　　　　（１）式去与えられる。ここにｆは
焦点距離である。一方空間内に基準座標系４０（Ｘ、Ｙ
、乞）を（Ｘ。

Ｙ）面が基準面４６になるように設定する。基準面４６
は例えば水平面とすればよい。このときセンサの位置・
方位情報１２のうち位置からセンサ中心の座標系４０に
おける座標ｒ　ｓ”　（Ｘｓ　　Ｙｓ　Ｚｓ）”　　が、また方位
情報から座標系４０から４１への回転行列Ｍが与えられ
る。これから、像４４に対応した所望の点４５の未知座
標上＝　（Ｘ　”Ｙ　　Ｚ）Ｔ　はｒ＝ｒＢ十ｄｕ　　
　　　　　　　（２）式但し　且＝Ｍユ」（３）式ｚ　＝　ｈ　　　　　　　　　　　　　（４）式をＸ、
Ｙについて解くことにより得られる。ここにｈは点４５
の既知の標高である。補正画像の座標３２（ｘ、ｙ）は
二から次のように求められる。

空間内の基準となる仮想的センサの中心に固定した座標
系４７　　（Ｘ　ｐ　Ｖ　ｐ、　Ｚ　）を考える。Ｘｐ
’ｊはセンサ面４８上にあり、Ｚ軸を光軸とする。

注目する点４５に対する視線ベクトル４９ｕ′は座標系
４７ではｕ’　＝＋Ｍ”　（ニーニー８’）　　　　　（５）式
で与えられる。ここにＬＢ′は基準座標系４０における
仮想的センサ中心の位置座標、また行列Ｍ′は座標系４
０から４７への回転行列で、それぞれ′センサの位置・
方位情報１９により与えられる。

これから１点４５に対応した、仮想的センサ面４８上の
像５０の所望の座標（ｘ、ｅｙ）は、で与えられる。こ
こにｕ１’　ｇ　　２’　Ｈｕ３’はベクトル且′の成
分であり、ｆは焦点距離である。

以上の幾何学計算２１により得られた代表点の（ｘｌ＋
　ｔ　）’　ｉ’　）ｔ　　（Ｘｉ＋　”／　ｉ）の組
に基づき歪補正係数算出２２を実行する。該係数は（ｘ
ｌｔｙｔ）を（ｘ、ｙ）の多項式で近似した時の係数で
１例えば多項式として、アフィン変換あるいは暗線形式を用いることができる。これらの多項式の係数を（ＸＩ
’　　ｅ　　Ｙｉ’　）ｅ　　（Ｘｉｓ　　’ｊ　ｉ’
　）＃　　１＝ｌ。

・・・、Ｎから算出する。必要に応じ最小２乗法を用い
る。歪補正２４では上記係数を用いて観測画像２３の歪
を補正する。すなわち補正画像の座標（ｘｓｙ）に対応
する［測画像の座標（Ｘｔｗｙｉ）を上記係数と多項式
により算出し、該座標での観測画像の強度を読み出す、
ここで一般に（ｘｓｙ）がＩｌ！測画像画像素座標に一
致しないので必要に応じ１周辺画素から補間処理を行な
っても良い、メモリ書込２５では上記強度を補正画像の
座標（ｘｔ　ｙ）に対応するメモリ１３の座標に書き込
む。

第５図は画像表示装置１４の動作を説明するための図、
第６図は画像の表示例を示す図である。

画像処理装置１・ｌの出力である刻々の補正済画像はメ
モリ１３に夫々個別に格納される。外部からの指示１７
に従いコントローラ１５はメモリ１３の内容を順次読み
出しデイスプレィ１６に表示あるいは制御袋ｆｆ１１８
へ送る０表示の方法としては例えば第６図の示すよう”
にスクリーン６０中に各時刻の画像６１，６２．６３を
オーバレイした結果を表示する。このときオーバレイの
上下関係を指示１７により与える１例えば一定周期で上
下を交替、あるいは隣接画像を交互に表示してもよい。

また接合された画像全体をセンサの移動に応じスクロー
ルしてもよい、また部分拡大、全体の縮小表示もコント
ローラにより実現できる。

【発明の効果〕

本発明によれば１時々刻々センサの撮影した画像の歪を
補正し画像メモリに格納し、必要に応じて順序で読み出
し表示できるので、移動体搭載のセンサで広視野で高分
解能な画像を得ることができ、しかも隣接画像のオーバ
ラップ部の情報を失なわないという効果がある。

【図面の簡単な説明】

第１図は本発明の一実施例の全体構成図、第２図は第１
図の画像処理装置の処理フロー図、第３図は画像の歪を
示す図、第４図は幾何学的関係を示す図、第５図は第１
図の画像表示装置の動作を説明するための図、第６図は
画像表示例を示す図である。第２目　　　　″ 第３＠（υ　　　　　　　　　　（ｂ）第夕固第Ｊ！、１

Claims

【特許請求の範囲】

１、移動体に搭載された画像センサと、画像処理装置と
、複数の画像メモリと、画像表示装置より成る画像処理
システムにおいて、相異なる時刻にセンサの撮影した画
像に対し、該時刻におけるセンサの空間における位置、
方位情報に基づいて空間内の１つの位置、方位に設定し
た共通の仮想的センサにより撮影した画像に対する画像
の歪を算出し、該歪を補正する処理を画像処理装置に行
なわせ、結果の補正画像を相異なる画像メモリに格納す
ることを特徴とするセンサ画像の処理方法。