JPS586407A - ステレオ画像再生方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 不発明は相異なる角度から撮影した１組のマルチスペク
トラム画像を用いて、奥行きや高さなどの３次元的ｆ＃
報を得るステレオ闘像再生方法に関するものである。

従来、相異なる角度から撮影した１組の白黒画像を用い
て、奥行きや高さなどの３次元的情報を得る方法がよく
知られている。これには解析型図化機などがあり、計算
機あるいは専用のプロセッサーを用いて２次元的な相関
のピーク位置を求め。

得られた視差の値から奥行きや高さなどの３次元的情報
を抽出している。

しかしながら、この相関を計算する過程で、低コンシラ
ストな領域やノイズの多い領域などにおいて、相関の値
が低くなったり、真の値からズしたりすることが多く、
実眉上の障害となっていた。

本発明の目的は、マルチスペクトラム画像を用い、前記
の誤差を少なくすることを特徴とするステレオ画像再生
方法を提供するも９、である。

以下本発明の詳細な説明する。

本発明は通常用いられる単バンドの相互相関係数、すな
わち１組のデータ列：Ｉ：Ｉ、　２１　、　＋＋＋、　
ｓ％　；　ｙ、　。

ｙ、；・・・ｒ　ｙｎ　（’１　＋・・・、ｎは画素を
サンプリングし　　　　　　、た位置を示す）に対し、
相互のズレ！としたときで表わされる相互相関係数Ｒｘ
ｙ（１）を用い、マルチスペクトラム画像の各スペクト
ラムにこの値を求め、その合成により１組の画像の相関
値とするものである。合成の方法としては例えば単純和
１重みつきａｍ和、積などがある。１組の画像人、Ｂと
は各々員なった角度から同一の地点を撮影した画像を表
わす。

以下本発明の一実施例を図面を参照して説明するＯ 第１図に撮影方法の概略図を示す。第１図において１，
２は同一の人工衛星であり、それぞれ時刻ｔ１＋’！に
おける同一の衛星の位置を示す。

衛星は高度Ｈが９００ｂの太陽同期の円軌道に打ち上げ
る。衛星上には２台のマルチスペクトラムカメラを搭載
する。水平方向の衛星の移動距離Ｂと、高度Ｈから求ま
る比Ｂ／Ｈの値が１に等しくなるように撮影時の衛星の
位置を選び、その位置から地球上の同一地点を撮影でき
るようにカメラを固定する。

衛星は地表面８から一定の高度Ｈの軌道を周回し、前記
時刻’１＊　’ｌにおける衛星の位置を結ぶ直線の中点
から、その直線に重直な直４Ｉ９を引くと、この直線９
が地表面８に対しても直角に交わるように衛星の姿勢、
軌道位置を制御する。第１図において時刻ｔ１における
カメラ＃１の位置を３．カメラ＃２の位置を４とし、時
刻ｔ、におけるカメラ参１の位置を５．カメラ＃２の位
置を６とする。

４の位置にあるカメラ＃２の光軸方向１０に対する撮影
画面ムと、４の位置にあるカメラ＃１の光軸方向１１に
対する撮影画面Ｂの１組の画像を用いて、地上の対象物
の高さを求める。前記撮影画面人と撮影画面Ｂとは地上
の同一の撮影領域７を撮影したものであり、同一の撮影
領域７を異なった角度からみた画面に対応している。前
記Ｂ／Ｈの値を１に選んであるので、鉛直線９と光軸１
０゜１１とのなす角αはそれぞれ−α＝１という関係を
みたす。衛星上の２台のカメラ＃１．＃２のなす角は２
αとなる。Ｂ／Ｈの値はｌに選ぶのが最適である。ｌよ
り大きすぎると、１組の画面Ａ。

Ｂの相違が大きくなり、対応点が見つけにくくなる。１
より小さすぎると高さの測定の精度が低下する。衛星の
向危は鉛直方向を向くのが最適であり、斜め方向を向く
と測定精度が低下する。１組の画像Ａ、Ｂの撮影方法と
しては、前記のように、同一の衛星上に２台のカメラを
備えて、異なった時刻’Ｉｓ　Ｆに撮影するのが最適で
あるが、この他に２台の衛星に各々１台ずつカメラを搭
載し、同一時刻に同一地点を異なった方向から撮影する
方法があり、静止衛星などのように衛星の位置や姿勢が
安定である場合には適しており、また、円軌道を周回す
る衛星では実現性、精度などの点で問題があるが、いず
れも、同一時刻に撮影できることにより１組の画像Ａ、
Ｈの対応がとりやすいなどの利点がある。

−・・　　　　　　　　更に他の方法として回転角のコ
ントロールの精げ権 １）、　、　　　　度や１回転機構の複雑さに問題があ
るが、１つの衛星に１台のカメラを搭載し、カメラを回
転して１、　　異なった時刻に同一の地点を撮影する方
法もある。

このようにして衛星上で得られた画像はマイクロ□波な
どにより地球局に送信する。地球局では送られた画像か
ら地上物の高さの測定を行なう。

第２図に１組の画像Ａ、Ｂ間の視差と地上物の高さの関
係を示す。求めるべき高さをΔｈとする。

１１は地表を示す。撮影点１２．１３から撮影した場合
、高さにより撮影阿面上の地上物の位置がずれる。これ
を視差とよび、その値は第２図からＤ＝Ｘ、　−）（、
＝２Δ１ｉ−αで求まる。−α＝７と選んであるので％
Ｄ＝Δｈとなり、Ｄを求めることにより、Δｈが決定で
きる。Ｄを求めるためには、１対の画像上の対応点を検
出する必要がある。

これには前記相互相関係＊　ＲｚｙＣｌ）を用いる。

第３図に処理の流れのブロック図を示す。５１では撮影
カメラのガンマ値の補正や、シェーディングの補正、セ
ンサー間の感度のばらつきの補正。

太陽照度や地球反射率に対する補正などの画像濃度に影
響する歪の補正を行ない、歪を除去する。

５２では衛星の位置や姿勢、地球の回転、地球の曲率な
どによる幾何学的な画像位置の歪の補正を行ない、歪を
除去する。５３では中心投影から正射影への変換を行な
う。５４では前記相関係数の定義式に基づき各スペクト
ラム毎に相関計算を行なう。マルチスペクトラム画像と
は赤、　！ｉ、　ｉｌ。

赤外などのように異なった波長を持つ光線に感度を有す
るカメラにより撮影された複数の画像であるが、ここで
は−例としてＲ（ｉｔ）、Ｇ（緑）、Ｂ（青）３色のス
ペクトラムからなる画像について述べる。

几、Ｇ、Ｂそれぞれの画像の濃度値を１（’ｔ３’）ｅ
ｙ（ｓ、ｙ）、　　ｂｃｔ、ｙ）とする。ただしＸ。

ｙは画薫の位置を表わす２次元座標値である。

各スペクトラムバンドにおいて前記相関係数を求める。

１組のｉ［！ｉ！像Ａ、Ｈの各スペクトラムバンドにお
ける濃度値を”ＡＩ　ｇＡＩ　ｂＡｙ　”Ｂ＋　！ＩＢ
ｅ　ｂＢ　とすると１１．とｒＢの相関係数を求めその
値をＲｒとする。同様にしてダ＾とｌＢの相関係数をＲ
，、ｂムとｈＢの相関係数をＲｈとする。同一地点を異
なった角度から撮影した１組の画像Ａ、Ｂの相互相関係
数ＲはＲｒ、Ｒｇ、Ｒｈの単純和９重みつき和などのｍ
型和あるいは最大値、ｔ＆小値などの非！ａ型な判別関
数などが考えられる。単純和について示すと次式となる
。

重みつき和については次式となる。

最大値については次式となる。

Ｒ＝　ｗａｘ：　（Ｒ，、Ｒ，、ＩＪ、　）　　　　　
−（４）最小値についても同様である。

求めたＲの値は、濃淡や形のみならず、色のスペクトラ
ム情報を含んでおり１画像中に同一の濃淡、形を持つ複
数の物体が混在している場合には白黒の濃淡情報を用い
たのでは相関がとり出せないが、色が異なれば、複数の
スペクトラム情報を用いることにより明確に相関が゛と
り出せ、白黒だけの場合に比べて誤り率が１７３に減少
する。このことは画像が全画面同じ反射率を持ち、色の
み員なる格子模様からなる場合には特に明白になり、白
黒の濃淡情報のみを用いる場合には全く相関のピークが
検出されないのにもかかわらず、色の情報を用いれば明
瞭に相関のピークが出る。逆に全画面が無彩色からなっ
ている場合には色の情報を用いることによる誤り率の減
少効果は期待できないが、この場合でも色を用いること
により誤り率が増大することはありえない。実際の画像
においては上記の中間の性質を持ち、局所的に誤り率の
低下する部分が必ず存在する。５５では相関係数のピー
クとなる位置の座標Ｃ：ｃ、ｙ）を求める。

５６では位置座標のずれの量を求めることにより視差が
求まる。基準点は撮影直下点に選び、その点の海抜高゛
度を基準とする。撮影直下に海抜高度既知の基準点が存
在しない場合には、その近傍で海抜高度既知の点を設定
する。池などのように広い領域にわたり水平であるよう
な場所を基準とすると都合がよい。５７では５６で求め
た視差により地上物の高さを求める。入力画像Ａ、Ｂと
実際の長さとの縮尺の補正もここで行なう。５８では５
７で求められた高さの値を位置座標をもとに地図上に投
影し、必要に応じて縮尺の変換９等高線の作図などを行
なう。

第４．５図は相関係数を求める回路の一実施例を示すプ
警ツク図である。これは第３図の５４に相当する。各ス
ペクトルに対し同様の回路、が必要であり１１つの回路
を時分割的に使用するか、同一の回路をスペクトル数だ
け用意して同時に使用することにより各スペクトル毎の
相関係数が求められる。ここでは１つ分の回路を示す。

第４図は”＊＋’／　龜＋ｊの積和を求める回路である
。

これは第３図の５４に相当する。メモリ１０３には１組
の画像データをあらかじめかきこんでおく。

１０２はカラ／りであり、画像の領域の走査をするため
の番地を発生する。システムクロックパルスＣＬＫの数
をカウントする。１０１は加算器で、：ｔｉ　（ｉ＝ｌ
　、　２．・・・、Ｎ）のデータが入っている先頭番地
の値ｘ０　　と１０２の出力ｉを加算し１ｘｉのデータ
が入っている番地を求める。１０５はずれ量ｊを発生す
る回路でカウンタにより構成される。１０４は加算器で
ｆｉｉｌ　（ｊ＝Ｌ　Ｌ・・・、Ｎ）の画像の入ってい
る先頭番地ｙ０　　と１０２の出力ｉ、１０５の出力！
を加算する。１０３はメモリであり、たとえばＮＭＯ８
８ＴＡＴＩＣＲＡＭなどのＩＣメモリを用いる。１０１
．ｆｏ＋より発生された値を番地としてアクセスし、読
み出したデータをａｅｉ＊’１ｉ−ｔｌ　とする。１０
６，１１０は乗算器であり、１０７，１０８，１０９は
ルーフケのデータの加算を行う回路である。１１２は減
算器である。１１１は除算器である。１１３は減算器で
ある。１１３の出力はＲ’ｘｙ（１）となり、第５図で
１３４の入力として用いる。

第５図は第４図の出力を受けて相関係数ＲｘｙＶ）を出
力する回路である。これは第３図の５４に相当する。１
１４，１１７は加算器である。１１５゜１１８はカウン
タである。１１６はＮＭＯ８８Ｔ人ＴＩＣＲＡＭ　　な
どにより構成するメモリであり、１０３と同一のデータ
をかきこんでおくものとする。高速処理を行うために１
０３を１１６の両方に同一のデータをかきこんでおくが
、ハードウェアの節約のために１つのメモリをマルチプ
レクサで切り換えて使用してもよい。１１４，１１７で
発生した番地により前記メモリの読み出しを行い、”ｉ
、ｆｆｊ＋ｊのデータを出力する。１１９，１２２は乗
算器であり入力の２乗を求めて出力する。

１２０．１２１はｓ−１ケの入力の総和を求める加算器
である。１２５は減算器で一定値ルとカウンタ１１８の
出力ｊとの引き算を行う。１２３は除算器で１２２の出
力を１２５の出力で割り算する。１２４は減算器で１２
１の出力から１２３の出力を引き算する。１２６，１２
９は乗算器で、１１６．１２８の出力の２乗を求め出力
する。

１２７．１２８はルーフケのデータの総和を求めて出力
する加算器である。１３０は除算器で１２９の出力を１
２５の出力で割り１３１に出力する。

１３１は減算器で１２７の出力から１３０の出力の引き
算を行う。１３２は乗算器で、１３３は平方根を求める
回路である。１３４は除算器で第４図のＲ’５ｃｙ（１
））を１３３の出力で割り算し、Ｒｘｙ（１）とする。

第６図は重みつき平均和を求めるための回路のブロック
図である。これは第３図の５４に相当する。単純平均布
を求めるためにはα＝ｂ＝Ｃ＝了とすればよい。第６図
で２０１，２０２，２０３は乗算器であり、各係数ａ、
ｂ、ｅとＲ（赤）、Ｇ（緑）、Ｂ（青）３色の前記相関
係数Ｒｒ、　Ｒ，、ＲＪ　（各Ｒｒ、　％、　Ｒｈは第
５図の〜ｙＱ）の各スペクトル毎の値に対応するとの積
を求めて２０４に出力する。

２０４は加算器であり、２０１，２０２，２０３の出力
の和をとり、相関係数Ｒを求めて出力する。

第７図はピーク検出回路のブロック図である。

これは第３にの５５に相当する。第７図において３０２
はクロックパルスの発振器であり、矩形波ＣＬＫが出力
され、３０３に出力する。３０３はカウンタであり３０
２の出力であるクロックパルスＣＬＫをカウントアツプ
する。カウンタのサイズは相関係数Ｒの数よりも大きく
しておく。３０３の出力は３０５，３０６に入力する。

、３０５，３０６は比較器でありそれぞれ最初のデータ
であるか最後のデータであるかを置数値１．Ｍとの比較
により判別し、出力パルスを出し、３０７，３０８゜３
１１．３１２に出力する。３０１はラッチであり、第５
図あるいは第６図から求められた相関係数Ｒをうけてそ
の最大値を記憶するためのものである。最初のＲが入力
したときには３０５から一蚊信号が出力され、３０７の
ＯＲゲートを通り３０１に書き込み信号を送るので、最
初のＲはそのまま３０１のラッチに書きこむ。以下この
値を更新していくわけであるが、更新は入力Ｒが３ｏｌ
のラッチよりも大きいときにのみ生ずる。このコン）ｗ
ｚ−ルを行うのが３０４の比較器であり、入力Ｒがラッ
チ３０１の出力よりも大きいときには書きこみパルスを
出し３０７のＯＲゲートを通り３０１に書きこみを指示
する。このようにして相関領域におけるＨの最大値Ｒｎ
ｈａｓｃが３０１に求まるので、これを３０８にコピー
してかきこむ。

３０８には３℃の値が求まる。ＲｌｎｃＬＺの座標値（
！３．　ｙａ）を同時に求めるために入力された座標値
Ｃｘ、ｙ＞をラッチするラッチ３０９，３１０があり、
ラッチ３０１と同期して％３０１にラッチされたＲ、ａ
ｘの値に対応する（　：ｔｒｎ、　ｙｍ　）座標をとり
こむ。相関領域におけるＲの最大値Ｒ，αＸが求まった
とき％　３０８のラッチと同期して％３１１゜３１２の
ラッチに（ｒ叫ｙｉ）の座標をとりこむ。

以上のようにしてＲの最大値Ｒ−ａ、とｋａｚに対応す
る座４１（Ｚｒｍ、　’／ｎＩ）がそれぞれラフ＋３０
８゜３１１．３１２に求まる。

第８図は視差抽出及び高さ計算回路を示すブロック図で
ある。これは第３図の５６．５７に相当する。視差は第
７図に示すう・ツチ３１１の出力である座標値ａｍをう
けて、この値と基準位置ｚｍ。

との差を求めることにより得る。ただし第７図に示すラ
ッチ３１２の出力である座標値ｙ、と基準位置３）ｓｏ
とは、第１図、第２図からもわかるように通常はとんど
一致するので、以下では’Ｊｍ＝’／ｍＯと仮定する。

第８図で４０１は減算器でありｓ　’ｍから”１１６を
引き、４０２に出力する。４０２は高さ計算回・路で、
測定された衛星の高さＨと縮尺係数を用いて求められた
定数αを４０１の出力に乗するための乗算器からなる。

出力は高さｈｔとなり、地図上に投影する値となる。

本発明の主たる効果は複数のスペクトラム情報を用いる
ことにより、単一スペクトラムの場合に比べて、識別率
が向上するところにあり、例えばＲ（赤）、　Ｇ　（！
ｉ）、　Ｂ　（青）の３色を用いると識別率は約３倍の
向上がみられる。ここで約３倍という表現を用いたのは
、元々の画像の含んでいるスペクトルの割合が変化する
Ｋっれてこの値が変化するからであり、Ｒ，Ｇ、８３色
からなるチェックパターンを白黒の輝度のみで検出しよ
うと思うと、几、Ｇ、Ｂそれぞれの輝度が同一である場
合には全く検出できないにもかかわらず、スペクトルを
用いれば明瞭に識別できる。このことは対象となる画像
の含むスペクトルに関する知識があらかじめ与えられて
いれば、それに適合したスペクトルフィルターにより最
高の識別率が得られるということである。ステレオ画像
再生は識別率と不可分であるために１画像固有の特質に
依存している。

スペクトル情報の利用は画像を見る角度によりあまり影
響を受けないので、ステレオ画像再生のように異なった
角度からみてもスペクトルの変化が小さく、有効である
。

【図面の簡単な説明】

第１図は画像撮影方法の概略図、第２図は視差と衛星の
高度との関係を嘘す図、第３図は高さを求める処理の流
れを示す図である。第４１４．９５図は相関係数を求め
る回路の一実施例を示すプルツク図、８６図はマルチス
ペクトラムの相関係数の重みｐき平均を求める回路の一
実施例を示すプルツク図、第７図は相関係数のピークを
検出する回路の一実施例を示すブロック図、第８図は視
差および高さを求める回路の一実施例を示すブロック図
である。 図において、 １．２は衛星における撮影位置、　３．５は時刻’１　
＋　”＊におけるカメラ＃１０位Ｎ、　５．６は時刻’
１　＋　”ｔにおけるカメラ＃２の位置、　７は地球上
の撮影範囲、　８は地１表、　９は高度、　１０゜１１
はカメラ＃２．＋１の光軸方向、　１０１゜１０４．１
０７，１０８，１０９は加算器、１０２．１０５はカウ
ンタ、　　１０３はメモリ、１０６．１１０は乗算器、
　１１１は除算器、１１２．１１３は減算器、　　　１
１４，１１７゜１２０．１２１，１２７，１２８は加算
器、１１５．１１８はカウンタ、　　１１Ｇはメモリ、
１１９．１２２，１２６，１２９，１３２は乗算器、　
１２３，１３０，１３ｔ、は除算器、１２４．１２５，
１３１は減算器、　１３３は平方根を求める回路、　２
０１，２０２，２０３は乗算器、　２０４は加算器、　
３０１，３０８゜３０９．３１０，３１１，３１２はラ
ッチ、３０２は矩形波の発振器、　３０３はカウンタ。 ３０４．３０５，３０６は比較器、　３０７はＯＲゲー
ト、　４０１は減算器、　４０２は乗算器である。 才　１　閃 第２阻 オ　３　図 オフ図 ′ｔ′８　　図

Claims (1)

【特許請求の範囲】
1. 相異なる角度から撮影した１組のマルチスペクトラム画
   像を用いて、各スペクトラム毎に視差を求め、それらの
   合成により３次元情報を得ることを特徴とするステレオ
   画像再生方法。