JP3429784B2 - 複合像を発生する方法 - Google Patents

複合像を発生する方法

Info

Publication number
JP3429784B2
JP3429784B2 JP10152592A JP10152592A JP3429784B2 JP 3429784 B2 JP3429784 B2 JP 3429784B2 JP 10152592 A JP10152592 A JP 10152592A JP 10152592 A JP10152592 A JP 10152592A JP 3429784 B2 JP3429784 B2 JP 3429784B2
Authority
JP
Japan
Prior art keywords
image
pyramid
pyramid transform
spatial frequency
transform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP10152592A
Other languages
English (en)
Other versions
JPH05143713A (ja
Inventor
ベナ・ルイス・カリン
アイマン・アルバート・アブデル−マレク
リチャード・イアン・ハートレイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JPH05143713A publication Critical patent/JPH05143713A/ja
Application granted granted Critical
Publication of JP3429784B2 publication Critical patent/JP3429784B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4007Interpolation-based scaling, e.g. bilinear interpolation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/16Image acquisition using multiple overlapping images; Image stitching

Description

【発明の詳細な説明】
【0001】この発明は記憶媒質に書込む為に、複合像
を記述する電気信号を発生することに関する。
【0002】
【発明の背景】飛行シミュレータの操縦士に呈示する場
面は、コンピュータ・メモリに記憶された情報の制御に
より、空間的に整合した赤、緑及び青の色成分の像をス
クリーンに投影するビデオ投影装置によって発生され
る。コンピュータ・メモリに記憶しなければならないと
共に、飛行シミュレータのコンピュータで前もって処理
しなければならないディジタル・ビデオ・データの量を
減らす為、色情報はY,I,Q色座標で表わすことが好
ましい。国家テレビジョン基準委員会(NTSC)によ
って定められたY,I,Q色座標では、Yが輝度成分で
あり、Iがオレンジ・シアン軸に沿って伸びる色の飽和
度成分であり、Qはもう一方の色の飽和度成分である。
飛行シミュレータでは、所定の輝度(Y)分解能で視野
を記述する為に処理する必要のあるディジタル・サンプ
ルの数を更に減らす為に、I及びQ色成分サンプルは、
水平方向と共に、像の垂直走査方向にも、Y色成分サン
プルに対してサブサンプルが求められる。ゼネラル・エ
レクトリック・カンパニイが市場に提供している飛行シ
ミュレータでは、水平及び垂直の両方向で、Yに対して
4:1のI及びQのサブサンプリングが用いられてい
る。像の記述にY,I,Q色座標及び別の透明度(T)
座標を使うことにより、公知の様に、飛行シミュレータ
でモンタージュ像を発生するのが簡単になった。
【0003】離陸及び着陸のビデオによるシミュレーシ
ョンを発生するのに使う為、樹木、滑走路、建物等の多
角形モデルが飛行シミュレータのコンピュータのメモリ
に記憶される。更に最近の飛行シミュレータでは、ビデ
オ重畳方法によって、多角形モデルの表面に生地を写像
してモデルに一層現実的な感じを与える。こう云う生地
は、こう云う生地又はその写真をヒデオ・カメラで走査
し、ビデオ・カメラのビデオ信号をアナログ・ディジタ
ル変換器でディジタル化することによって作られた像を
出発点として、発生することが出来る。
【0004】シミュレーションでその上を飛ぶ地形の多
角形モデルと、地形の多角形モデルに生地として写像す
べき地形マップがコンピュータのメモリに記憶され、飛
行中に観察した下方にある地形のビデオ・シミュレーシ
ョンの画素を記述するディジタル・サンプルを発生する
為に使われる。地形マップは、多数の重なり合う像から
出発して、複合像として発生することが出来る。重なり
合う像の各々は、空中写真をビデオ・カメラで走査し、
次にビデオ・カメラのビデオ信号をアナログ・ディジタ
ル変換装置を用いてディジタル化することによって作ら
れる。
【0005】複合像を形成する為にそれらを重ね継ぎす
る前に、個々の像にはかなりの処理を加えなければなら
ない。空中カメラ・フィルム、ビデオ・カメラ及びアナ
ログ・ディジタル変換装置に対するガンマ補正をすべき
である。ガンマ補正は、手順内で、ガンマ誤差が発生し
た直後の各々の点で行なうことが好ましいが、アナログ
・ディジタル変換装置によって発生されたディジタル化
したサンプルに対してガンマ補正を施してもよい。カメ
ラの角度及び遠近による歪み効果を補正し、カメラのレ
ンズの光学的な歪みも補正することが出来る。その必要
がある場合、像の間での光学的な色補正も行なうことが
出来る。
【0006】重ね継ぎを実施する為に、重なり合う像の
間の強度の違いは重なり領域で減少しなければならな
い。重なり合う像の間に強度の差を生ずる惧れのあるメ
カニズムが幾つかある。頭上の雲又は中間にあるもや、
スモッグ又は煙の為、露出毎に照度の変化が起り得る。
カメラには、写真をフィルムのダイナミック・レンジ内
に保とうとする自動露出時間制御装置を設けることが出
来る。普通、この様な装置は像の周辺を大部分無視する
様な中心重視光計量方式になっている。
【0007】重要な光学的な像平面効果がcos4 則と
して知られている。像点と、光軸が像平面と出会う主点
との間の「画角」に関係する像の放射照度の減少は、ビ
ネット効果の起らない単レンズでは画角の4乗に従う。
「画角」の関数としての像の放射強度の減少はcos4
関係からずれるが、この効果は複レンズにも影響する。
空中写真に使われる様な広角レンズでは、cos4 則に
よる照射の低下はかなりになる。
【0008】「ビネット効果」は、光学系を通過する光
が多重開口によって制限されることである。光軸からあ
る角度(これが光学系に関係する)以内にある像の場所
はビネット効果の影響を受けない。この角度円錐の外側
の像の位置に達する光量は急速に低下する。複雑な作像
装置では、ビネット効果は重要な問題になることがあ
る。おもしろいことに、fナンバーに関係するビネット
効果ではなく、cos4 の立下がりを補正する為に「反
ビネット・フィルタ」が使われる。こう云うフィルタ
は、中心が一層暗いが、周辺に向って徐々に一層透明に
なり、普通は、像の減光が大きくなり過ぎるのを避ける
為に、完全なcos4 の立下がりよりも、その補正が少
なくなる様に設計されている。
【0009】然し、発明者が解析した空中写真では、c
os4 則以外の効果に帰因する像強度の損失が観測され
た。こう云う像強度の損失の原因はよく判っていない
が、疑いのかゝる別の大きな因子は、カメラ及び太陽に
対する地形の角度の効果である。発明者が解析した空中
写真のカリフォルニア州のマリブ領域は傾斜が急な地形
を持ち、これが照射の見かけの変化に寄与しているかも
知れない。
【0010】像強度レベルの目盛に対して、像又はその
一部分で各々の像強度レベルが発生する頻度を描いたグ
ラフは、「像又はその一部分に於ける像強度レベル発生
のヒストグラム」と呼ばれるが、こゝではそれを省略し
て、単に像又はその一部分の「ヒストグラム」と呼ぶ。
重なる像の間の強度差を減少する標準的な方法は、1つ
の像のヒストグラムをその共通の重なり領域にある別の
像のヒストグラムに写像する様な関数を見つけることで
ある。その後、この写像を像全体に適用し、重なる領域
で2つの像のヒストグラムを等化し、全体にわたって強
度を正規化する。然し、単純に適用する時、この方法は
像に放射分析の歪みが殆んど或いは全くないこと、即
ち、像の対応する要素の間の強度差が実質的に夫々の像
に於けるそれらの要素の位置に略無関係であることに頼
っている。この方法を単純に適用した時、位置に依存す
る強度変動が存在する時には、あまり旨くいかない。
【0011】放射分析の歪みを補正する為にセンサを較
正する幾つかのディジタル像処理方法がある。こう云う
方法は、補正すべき光学系で標準的な入力を処理するこ
とを含む。然し、特に像が既に求められた後に、較正デ
ータを求めることが出来ないことがある。発明者は、位
置依存性を持つ強度変動が一層低い空間周波数の現象に
なる傾向があることを観測した。衛星写真で得られる地
形の全体図は、一層低い高度での飛行を満足にシミュレ
ーションすることが出来る程、飛行シミュレータに十分
詳しい地形マップを発生するのに足りない分解能を持つ
と一般的に考えられるが、こう云う衛星の全体図は大き
な区域に及ぶことが出来る。重なり合う空中写真によっ
て写し出される領域にわたり、この様な衛星の全体図
は、空中写真の一層低い空間周波数成分に対応すること
が出来る。同じ領域に対する衛星データ(又はその他の
非常に高度の高いデータ)は、こう云う一層低い空間周
波数に対してより一定の強度を持つと考えられる。この
発明の方法は、一層低い空間周波数成分を補正しようと
する代りに、空中写真のモザイクの一層低い空間周波数
成分を捨て、空中写真のモザイクの捨てた一層低い空間
周波数成分の代りとして、衛星データ(又はその他の非
常に高度の高いデータ)の低い空間周波数と、所望の細
部を含む空中写真の残存の上側の空間周波数成分とを組
合せる。この組合せ手順により、放射分析歪みが比較的
ない地形マップが発生される。
【0012】衛星カメラは通常はフィルム・カメラでは
なく電子カメラであり、ディジタル化した形式でデータ
を供給する。衛星カメラは幅の広いほうき形である場合
が多く、走査線を発生する衛星の移動方向に対して垂直
に配置された光センサの直線配列を用いており、その軌
道通路に沿った衛星の動きによって線の前進が行なわれ
る。普通は、物体の異なる波長に対する反射が異なるの
で、衛星データを可視スペクトルでだけ使うことが好ま
しい。実際、衛星カメラ像はガンマ補正及び色補正をし
て、空中カメラとそのフィルムを含むと共に、空中写真
を走査するビデオ・カメラをも含むチェーンの演色性と
出来るだけ密接に釣合わせるべきである。
【0013】空中写真のモザイクの捨てる一層低い空間
周波数成分の代りとして、衛星カメラからの一層低い空
間周波数成分を使う為には、衛星カメラ像は、空中写真
からの像又はこう云う写真のモザイクと幾何学的に整合
していなければならない。この整合手順の一部分とし
て、衛星カメラの角度及び遠近による歪み効果は、衛星
カメラからのディジタル・データを供給したコンピュー
タで補正し、カメラのレンズの光学的な歪みを補正する
ことが出来る。その後、空中カメラからの像のモザイク
の低い空間周波数帯を、適当な相対的な強度補正の後、
衛星カメラ像の低い空間周波数帯に置換える。
【0014】空中写真像のモザイクの上側の空間周波数
成分は所望の細部を含むだけでなく、隣合った像の間の
整合外れに帰因する望ましくない上側の空間周波数の人
為効果をも含む傾向がある。この様な整合外れは、モザ
イク形の像に階段状の変化を持込み、像が標本化された
データ項によって記述されることによる空間的な帯域幅
の制約の為に、空間周波数領域ではリンギング現象とな
って現れる。空中写真の残存の上側の空間周波数成分を
衛星データ(又はその他の非常に高度の高いデータ)の
低い空間周波数と組合せる前に、重なり合う像の間の移
行部を平滑することによって、所望の細部を伴う隣合っ
た像の間の整合外れに帰因するこう云う望ましくない上
側の空間周波数の人為効果を抑圧することが望ましい。
【0015】この様な望ましくない人為効果を更に抑圧
する為に、ヒストグラム方法を用いて、重なる領域で像
の強度を等化することに頼る方法を利用することが出来
る。こゝでこう云う等化方法の説明の代りに、ランスレ
ール・ポリテクニク・アンステチュートの教授会に学位
論文要求書類の一部分として、1990年5月にベラー
L.カランが提出した論文「空中モザイクに対する一様
でない像平面放射照度の補償」を引用しておく。この論
文は、飛行シミュレータに使う為、マリブ区域の地形マ
ップを発生する為の像の処理を写真を用いて例示してい
る。カランは、空中写真の上側の空間周波数成分を衛星
データの低い空間周波数と組合せることをも説明してい
る。
【0016】重なり合う像の間の移行部を平滑する別の
旨い方法が、ACMトランザクションズ・オン・グラフ
ィックス誌、1983年10月号、第217頁乃至第2
36頁所載のP.J.バート及びE.H.アーデルソン
の論文「像モザイクに用いた場合の加重分解能重ね継
ぎ」に記載されている。この移行部を平滑する方法は、
ヒストグラム方法を用いて、重なる領域で像の強度の調
節を避ける為又は強める為の何れにも使うことが出来
る。このバート及びアーデルソンの像重ね継ぎ方法は、
「ピラミッド変換」と呼ばれる局部的な空間周波数スペ
クトル解析方法を使う。この発明で述べるこの発明のあ
る面を十分理解するには、この方法を十分に承知してい
ることが必要である。
【0017】バートのピラミッド変換の良い要約が、1
987年6月16日にC.R.カールソン、J.A.ア
ルバイター及びR.F.レスラーに付与された米国特許
第4,674,125号、発明の名称「実時間階層形ピ
ラミッド信号処理装置」(現在はゼネラル・エレクトリ
ック・カンパニイに譲渡されている)の「発明の背景」
の項の内の「従来技術の説明」部分に記されている。
E.H.アーデルソンに1987年4月28日に付与さ
れた米国特許第4,661,986号、発明の名称「焦
点深度作像方法」(現在ではゼネラル・エレクトリック
・カンパニイに譲渡されている)には、同じカメラを使
って焦点合せを変えることにより、同じ視野のもとの像
から、どの様にして焦点を改良した2次元像が導き出さ
れるかゞ記載されている。もとの像の夫々のバートのピ
ラミッド変換を求め、各々がオクターブ単位でもとの像
のスペクトル解析を行なう。焦点を改良した2次元像の
バートのピラミッド変換をオクターブ毎に組立て、最高
の強度レベルを持つもとの像の対応するオクターブを選
ぶ。次に、バートのピラミッド変換から、逆ピラミッド
変換手順を実施することにより、焦点を改良した2次元
像を発生する。従って、何れも同じ視野の他の像のバー
トのピラミッド変換から、オクターブ毎に組立てたバー
トの変換に対して、逆ピラミッド変換手順を実施するこ
とによって合成像を発生することは、一般的に知られて
いる。バートのピラミッド変換に関する初期の文献が、
米国特許第4,661,986号及び同第4,674,
125号の何れもの「発明の背景」に述べられている。
【0018】空間周波数スペクトル解析の為のディジタ
ル・フィルタ作用が、移行部を平滑する為のバートのピ
ラミッド変換を求めることゝ関連している。このディジ
タル・フィルタ作用は、空中写真の上側の空間周波数成
分を下側の空間周波数成分から分離する為にも使うこと
が出来る。バートのピラミッド変換を求める為に衛星デ
ータのディジタル・フィルタ作用を行なうことは、この
バートの変換にある像データの一層低い空間周波数帯
を、空中カメラの写真から発生されたモザイク形の像か
ら求められたバートの変換にある像データの一層高い空
間周波数帯と組合せることを、この組合せに帰因する可
視的な人為効果を招かずに容易にする。
【0019】
【発明の要約】この発明の一面が、空中カメラの写真か
ら得られた地形を記述するビデオ像のモザイクの一層低
い空間周波数成分を、衛星カメラの作像によって得られ
たその地形の全体図のビデオ像の対応する空間周波数と
置換える方法として実施される。この方法のある変形で
は、空中カメラの写真から得られたビデオ像のモザイク
は、像の間の移行部の平滑は実施するが、重なる領域で
ビデオ像の強度レベルを等化せずに組立てられる。この
方法の別の変形では、空中カメラの写真から得られたビ
デオ像のモザイクは、ヒストグラム方法を用いて、重な
る領域で互いに強度レベルを等化する。この変形では、
像の間の移行部の平滑を実施することが好ましい。この
方法の更に別の変形では、空中カメラの写真から得られ
たビデオ像のモザイクは、ヒストグラム方法を用いて、
衛星との重なり領域で強度レベルを等化する。この変形
では、像の間の移行部の平滑を実施することが好まし
い。別の一面では、この発明はこの方法によって作成さ
れた地形マップとして実施される。
【0020】この発明の方法は、その他の場合にも、空
間的な領域の全体像を、その領域内にある部分領域の多
数の詳細像と組合せ、普通は利用し得るカメラ及びカメ
ラ位置ではそう云う細部が得られない位に大きいと考え
られる様な視野にわたって、空間的な領域の詳細像を求
める為に使うことが出来る。
【0021】
【実施例の記載】図1の流れ図に示す様に、衛星写真像
を求める工程1及び衛星写真像をディジタル記録する工
程2が、この発明に従って地形マップを発生する方法の
初期の工程である。空中写真を撮影する工程3、ビデオ
・カメラを用いて写真を走査してアナログ・ビデオ信号
を発生する工程4、アナログ・ビデオ信号をディジタル
化する工程5、及び空中写真像をディジタル記録する工
程6が、この発明に従って地形マップを発生する方法の
その後の初期工程である。ディジタル記録された写真像
は、この発明に従って地形マップを発生する方法の工程
7で、コンピュータに送込むのに適した形である。この
コンピュータで、この発明の残りの工程の大部分を実施
することが出来る。
【0022】工程1を更に詳しく説明すると、衛星カメ
ラ像がディジタル符号に変えられ、無線によって地球に
送返される。ディジタル符号にされた像データが無線受
信装置によって検出され、処理の為にコンピュータ・シ
ステムに送込むことが出来る様な形式に像データを変え
る為に、ディジタル記録される。ディジタル記録する工
程2は、普通はディジタル形式処理により、検出された
ディジタル送信のある初期処理の後に行なうことが出来
る。例えば、像データの内の冗長な符号を復号し、送信
と誤りとを補正し、補正された像データをそれ程冗長で
ない又は冗長性の全くないディジタル形式に記録する。
更に例として、あるほうき形衛星カメラでは、複数個の
並列線形センサ配列に異なるスペクトル・フィルタを設
け、カラー・ビデオ・データが線順次で地球に送信され
る。カラー・ビデオ・データは、相加的な3原色の各々
で像サンプルのフィールドに変換し、その後再符号化す
ることが出来る。再符号化は、線順次ではなく、フィー
ルド順次、ドット順次又は他の何等かの走査方式で行な
うことが出来る。色は、もとの衛星カメラ・データの完
全さを出来るだけ温存する為に、相加的な3原色である
赤(R)、緑(G)及び青(B)と共に、場合によって
は4番目の色の輝度(Y)又は白(W)に基づいて記録
することが出来る。この代りに、色をY,I,Q色座標
に再符号化して、所定の輝度の分解能で視野を記述する
為にディジタル記録する必要のあるディジタル・サンプ
ルの数を減らすことが出来る。衛星カメラの光学的な誤
差も、工程2で像データをディジタル記録する前に、あ
る程度補正することが出来、これが再符号化形式の選択
に影響を及ぼすことがある。
【0023】空中写真を撮影する工程3は、直線コース
を飛行しながら、視野が重なり合う様に一連の写真を撮
影することによって実行するのが最もよい。一連の平行
な直線コースは、直線コースに対して垂直な方向の視野
が重なる写真が得られる様にすべきである。空中写真
は、同じ様な光レベルで、同じ様な照明光を用いて、そ
して同じフィルム及びレンズ・フィルタを用いて撮影し
て、こう云う写真の間の色の釣合いが出来るだけ良好に
なる様に保証することが好ましい。陰影効果がなるべく
同じになる様に、写真は衛星像と、1日についても1年
についても同じ時に撮影すべきである。写真及び衛星像
は、陰影効果が最も小さくなるので、出来るだけその局
地の昼に近い時に撮影することが好ましい。地形マップ
にある陰影情報に首尾一貫しない点があると、特に、複
合像を形成する為に像を組合せる時に入り込む虚偽の陰
影があると、飛行シミュレータで訓練する操縦士に、そ
の訓練過程の妨げになる傾向を持つ様な虚偽の視覚的な
鍵を与える。
【0024】地形上の点の夫々の高度に関する大幅な情
報を利用出来ない場合、地形上の領域の立体写真を撮影
し、この立体写真から、コンピュータの力を借りて、後
で高度情報を演繹することが出来る。必要ではないが、
カメラを搭載した航空機の慣性航行方式(INS)の座
標とカメラの毎回の露出に対するINS座標に対する空
中カメラの空間的な座標とを記録することが役に立つ。
この代りに、慣性変換マトリクス発生器で決定したIN
S座標内でのカメラの位置ぎめも、必要ではないが記録
しておくと役に立つことのある情報である。こう云う装
置が、1991年3月19日にS.J.ラピエコ、D.
S.チャン、D.A.ステーバ及びN.M.クラークに
付与された米国特許第5,001,647号、発明の名
称「慣性変換マトリクス発生器」に記載されている。空
中写真を撮影する航空機は、地形上の点に対するカメラ
の位置を設定する為に、レーザ測量手順に関与するもの
であってもよい。
【0025】空中写真を撮影する工程3の後に、空中写
真をビデオ・カメラで走査する工程4及び、アナログ・
ディジタル変換装置を用いて、ビデオ・カメラからのア
ナログ・ビデオ信号をディジタル化する工程5が続く。
これらの工程は、EIKONIXによって製造される様
な1台のディジタル化カメラで両方とも実施することが
出来る。
【0026】ビデオ・カメラが、空中写真又はその一部
分のラスタ走査に従って、アナログ・ビデオ信号を発生
する。ビデオ・カメラは分解能が高い形式であって、少
なくとも走査線1,000本を持ち、走査線1本当たり
少なくとも1,000個の画素を持つ独立のビデオ・サ
ンプルを発生するものであることが好ましい。空中写真
によって得られる空間的な分解能は、カメラの視野が空
中写真全体に及ぶ場合、この様な分解能の高いビデオ・
カメラによって得られるものよりも更に高くなる傾向が
ある。この為、1つの空中写真にある像データを、もと
の空中写真の空間的な分解能を目立って低下させずに、
ディジタル・サンプルに変換するには、ビデオ・カメラ
の複数個の重なり合う視野が必要になることがある。ビ
デオ・カメラ像の空間的な分解能を、飛行シミュレータ
の投影装置に要求される分解能の2倍より高くすること
は有用ではなく、従って、意味があるとは考えられな
い。
【0027】ビデオ・カメラの分解能を出来るだけ高く
したいと云う希望に沿って、ビデオ・カメラは、順次走
査の1個のカメラ管又はセンサ配列を持つものであるこ
とが好ましい。こうすると、複数個のカメラ管又はセン
サ配列からのビデオ信号を空間的に整合させると云う問
題が避けられる。カラー・パターン・フィルタを持つビ
デオ・カメラは、こう云うフィルタを使うことによって
分解能の低下が起る為に、避けるのが一番よい。1個の
カメラ管又はセンサ配列に1組のカラー・フィルタを設
け、これらを逐次的に用いて、異なる色応答を持つラス
タ走査をする。この手順は、静止写真を走査する時に受
入れることが出来る。同じカラー・フィルタを用いた何
回かの同様なラスター走査を行なって、ディジタル化さ
れた空中カメラ像のコンピュータ処理でフレームの平均
を求めることが出来る。このフレームの平均作用は、ビ
デオ・カメラ及びアナログ・ディジタル変換装置内で発
生し、フレーム間の相関のない雑音に対するビデオ信号
対雑音比を改善することが出来る。
【0028】カラー・フィルタは、時に物理原色と呼ば
れることがあるが、相加的な原色である赤、緑及び青を
夫々透過する3つのフィルタであってよい。これは、フ
ィールド順次の色情報が、特にフレーム平均作用を行な
わない場合、コンピュータで直接的に使うのに一層適し
た形である点で、有利である。フレーム平均作用を行な
う場合、これはフレームの記憶をどこかで必要とする
が、カラー・フィルタは、相加的な原色情報が、他の3
つの色応答のマトリクス作用によって導き出される様な
フィルタであってよい。この様な手順は周知であり、白
(又は純輝度)は選ばれた3つの色応答の内の1つであ
ってよい。この代りに、相加的な3原色の他に白を使っ
て、4色に基づいて処理を進めることが出来る。
【0029】ビデオ・カメラに色補正フィルタを備え
て、コンピュータで行なう必要のある測色調整の規模を
減らすことが出来る。熟練したオペレータが色補正を行
なう手助けとして、写真フィルムからカラー焼付けを行
なう時に使われるのと同様な手順で、ビデオ・カメラが
そのビデオ出力信号を、分割スクリーン・カラー・ビデ
オ・モニタの半スクリーンの一方に供給し、その残り半
分のスクリーンには、視野が重なる様にして、衛星写真
又は空中写真から取出した像データを供給することが出
来る。重なり合う視野の夫々半スクリーンの図にある色
は、半スクリーンの図に於ける輝度レベルが同様になる
様に分割スクリーン・ビデオ信号の直流ペデスタルを調
節し、最善の色補正フィルタを選ぶことにより、オペレ
ータが釣合いをとることが出来る。更に、たゞの半スク
リーンの代りに、多重セグメント分割スクリーンを使う
ことにより、色合せを更に容易にすることが出来る。カ
ラー・フィルムの変動、並びに場面の基準光源の色温度
の変動の様な、位置に無関係な像に於ける色の変動を補
償するのには、光学的な色合せが役立つ。場面の基準光
源の色温度は、例えば撮影する地形の上の煙、スモッグ
又はもやの為、或いは頭上に雲が被さっている為に、変
動することがある。一層著しい色誤差の補正を光学的に
行なうと、その後でコンピュータによって行なわれる測
色補正が色相の誤差を招く惧れが減少する。光学的な視
野全体にわたって一様な色補正をする色補正フィルタを
単に使った場合の問題は、それによる色補正が、適正な
色補正は場所に無関係であると云う仮定に頼っているこ
とであるが、普通はそうはならないことである。
【0030】空中及び衛星カメラから得られた全てのカ
ラー・ビデオ・データを相加的な3原色で表わすこと
は、コンピュータの助けを借りて測色補正をすること、
空中カメラから発した(ACO)像の間の重ね継ぎ、及
び空中カメラ像と衛星カメラからの全体像との整合(マ
ッチング)を簡単にすることが出来る。その簡単化の効
果は、大部分が、像処理工程の間、像をスクリーンに表
示するコンピュータ/オペレータのインターフェース動
作を実施する場合に現れる。何れも実際の物理的な光学
系を持つ相加的な原色に対して、処理が進められる。
【0031】空中及び衛星カメラから発するカラー・ビ
デオ・データが、この代りにY.I.Q座標で表わされ
る場合、空中及び衛星カメラから発するカラー・ビデオ
・データの処理を完了して地形マップを形成するまで、
ACO像のI及びQ成分はACO像はY成分に対してサ
ブサンプリングをすべきではない。I及びQのサブサン
プルが地形マップの拡がり全体にわたって適切な間隔に
なる様に、サブサンプリングを遅らせるべきである。
【0032】ACO像に関する全てのカラー・ビデオ・
データを相加的な3原色で表わすことにより、色の空間
的なサブサンプリングを行なうことが出来ない時、コン
ピュータのメモリに対する記憶条件を縮小することが出
来る。公知の様に、相加的な原色R.G.Bは、輝度に
対する夫々の寄与に基づいて強度分解能を持つ様に標本
化することが出来る。赤原色データに要求されるビット
分解能は、緑原色データに要求されるものより小さく、
青原色データに要求されるビット分解能は更に小さい。
アナログ・ビデオ信号をディジタル化する工程5で使わ
れるアナログ・ディジタル変換装置は、典型的にはフラ
ッシュ・コンバータと呼ばれる形式である。アナログ・
ディジタル変換の前に、ビデオ・カメラからのアナログ
・ビデオ信号のガンマ補正を行なう。ビデオ・カメラ及
びアナログ・ディジタル変換装置を含む装置は、空中写
真像をディジタル記録する工程6を実施する助けとなる
フレーム捕捉装置を含むのが普通である。
【0033】ディジタル化した写真データをコンピュー
タに送込む工程7の後、空中写真像及び衛星写真像を共
通の空間基準フレームに対して関係づける工程8がコン
ピュータで実施される。像の強度レベルを正規化する工
程9がコンピュータで実施され、この工程9は、工程8
が完了した後に完了するが、図1の流れ図に示す様に、
その後に続く代りに、工程8の一部分と重なっていても
よい。地形マップとして役立つ複合像を発生する最後の
工程10で、コンピュータが、衛星カメラ像からの比較
的低い空間周波数成分を空中写真像から形成されたモザ
イク形の像の比較的高い空間周波数成分と組合せる。地
形マップとして役立つ複合像を発生する最後の工程10
の有利な部分工程として、着色地形マップの記述をY,
I,Q座標に変換し、そのI及びQ成分の像部分は、直
交する両方の走査方向で、そのY成分の像部分に対して
サブサンプリングする。
【0034】工程11で、工程10によって発生された
複合像の成分色フィールドを記述するディジタル信号
が、ディジタル電磁記録テープ又はディスクの様なディ
ジタル記録媒質にディジタル記録される。工程12で、
ディジタル記録した複合像を、その上で飛行シミュレー
ションを行なった地形の多角形モデルに対する生地とし
て写像すべき地形マップとして、飛行シミュレータで使
う。工程10で、着色地形マップの記述をY,I,Q座
標に変換し、そのI及びQ成分の像部分を直交する両方
の走査方向で、Y成分の像部分に対してサブサンプリン
グすると、地形マップをディジタル記録する工程11で
記録しなければならないディジタル・サンプルの数が減
少する。工程12の地形マップを使うと、各々の飛行シ
ミュレータで着色地形マップをY,I,Q座標に変換す
る必要がない。
【0035】空中写真像及び衛星カメラ像を共通の空間
基準フレームに対して関係づける工程8は、基本的な2
つの方式の一方又は両方に従って実施する。両方の方式
の目的は同じである。即ち、カメラの角度並びに像から
の遠近による歪み効果を除去すると共に、場合によって
はカメラの光学的な歪みによる歪み効果をも除去するこ
とである。衛星カメラ像の場合、センサ装置の特異性に
よる歪みがあれば、それも除去することが望ましい。
【0036】図2は、空中写真像及び衛星写真像を共通
の空間基準フレームに対して再標本化する手順のフロー
チャートであり、この手順は自動偏位修正工程19を使
う。空中写真像及び衛星写真像を共通の空間基準フレー
ムに対して関係づける為にどちらの方式を使うにして
も、コンピュータのメモリをアクセスする工程13で、
その時々にコンピュータのメモリから読取った像データ
が、像内の1組の「制御点」を確認する予備工程14で
解析される。こう云う制御点は、普通は、像の特徴と、
地上の対応する点の間の確認の形にするのが普通であ
る。典型的には、ユーザは、ビデオ・モニタに表示され
る像内の特徴を確認し、それを(合衆国内の区域に対す
る合衆国沿岸及び測地測量地図の様な)地図上の1点と
合せる。この確認は、ビデオ・モニタを見るオペレータ
が、マウスの様な割出し装置を使って、ビデオ・モニタ
上の確認された特徴の位置をコンピュータに知らせるこ
とによって行なうことが出来る。このマウスが、スクリ
ーン上の矢印の場所(又は1組の並進可能なスクリーン
上の十字線の交点の場所)を制御すると共に、確認され
た特徴がビデオ・モニタのスクリーン上でぴったり合っ
た時に、押すと「カチッ」と音のする押し釦を持ってい
る。一旦この確認が行なわれたら、コンピュータに入力
する為、その点の緯度、経度及び高度を求める工程15
を行なう。ある点に対しては、これはオペレータが自分
の地図から確認したデータを入力することによって行な
うことが出来る。
【0037】世界のある地域では、DMA(国防地図
局)又はその他の供給源から得られるコンピュータで読
取可能なファイルの形をした地形マップを利用すること
が出来る。こう云うファイルをコンピュータの適当なソ
フトウエアと共に使うと、点の緯度、経度及び高度に関
する完全な情報が容易に利用出来るまで、制御点を確立
する工程15がかなり簡単になる。1つの空中写真像毎
に2つ又は更に多くの「制御」点を確認することが好ま
しく、これに対応する「制御」点を確認することが出来
る。
【0038】この他に工程15の手順を実施する方法と
して、コンピュータの助けを借りて、適当な装置を用い
て地図の内容をコンピュータにトレースし、コンピュー
タに、地図からのある点の緯度、経度及び高度に関する
情報と地図を作るのに使われる投影方法に関する情報を
供給することが出来る。その後、コンピュータは空間的
な補間又は外挿サブルーチンにより、制御点として考慮
すべき他の特徴の緯度及び経度を決定することが出来
る。こう云う他の特徴の高度は、立体写真から描いた像
をコンピュータで解析することによって求めることが出
来る。
【0039】オペレータは、重畳された投影テレビジョ
ン像を発生する為の投影テレビジョン装置の様な適当な
ビデオ観察装置を用いて、ビデオ・カメラ像を比較する
ことにより、工程13の一部分として、コンピュータの
メモリからアクセスされた像の間の連係点を確認する工
程16に参加することも出来る。地上制御点と連係点の
間の違いは、次の通りである。地上制御点は、像の特徴
と地上の本物との対応関係であるが、連係点は対の像の
間の像の特徴の間の対応関係である。像の特徴を合せる
為に(場合によってはある像の反らせを用いて)仮想の
ラスタ走査を用いる相関方法を使って、コンピュータに
よって連係点を自動的に確認する研究がなされている。
然し、制御点を確立する為に、像の特徴をマップの特徴
と自動的に合せることは、ずっと困難であり、この点で
は余り研究がなされていない。
【0040】自動偏位修正方法では、像領域の地形デー
タに関する情報と共に、センサの形式(カメラのモデ
ル)に関する情報を必要とするから、パラメータ式カメ
ラ・モデルを特定する予備工程17がある。例えば、普
通のフレーム・カメラでは、モデルは、カメラの焦点で
ある点から平面(焦平面)への投影である。「カメラ・
パラメータ」は、カメラの場所と向き、カメラの焦点距
離(又は倍率)及び主点からの画素のずれの様なもので
ある。主点は、カメラの軸線と焦平面との交点を表わす
像内の点である。カメラの軸線は、焦平面の中心を通
り、焦平面に対して法線方向又は垂直に伸びる線であ
る。工程17で特定されたパラメータ式カメラ・モデル
が判り、そして工程15で求められた制御点が判ってい
ることが、それから像を抽出する為の写真を撮影する空
中カメラの緯度、経度、高度及び指向方向に関するパラ
メータの様なカメラ・モデル・パラメータを決定する工
程18を実施するのに必要である。この情報が空中写真
を撮影する時に記録されゝば、その方が簡単であるが、
空中写真で得られた像から導き出すことが出来る。
【0041】STEREOSYSの様なプログラムを使
って、地形の区域の立体写真から出発して、コンピュー
タによって、地形の一部分の高度に関する情報を抽出す
ることが出来る。この手順の外観は、M.J.ハナーの
下記の論文から得られる。スタンフォード大学コンピュ
ータ・サイアンス・デパートメント報告STAN−CS
−74−438、1974年7月、博士論文「立体像に
於ける区域のコンピュータによる釣合わせ」、 プロシーディングズ:イメージ・アンダースタンディン
グ・ワークショップ、カレッジ・パーグ、MD、194
0年4月号、第201頁乃至208頁所載の「ブートス
トラップ・ステレオ」、 SRI国際人口知能センター技術記録342、1984
年10月号所載の「SRIのベースライン・ステレオ方
式の説明」、 SRI国際人口知能センター技術報告365、1985
年10月号所載の「STEREOSYS対他のステレオ
方式の評価」、 SRI国際人口知能センター技術報告366、1985
年10月号所載の「ステレオへの挑戦のデータベー
ス」。
【0042】1組の地上制御点が与えられた場合、最小
自乗のパラメータはめ合せ過程により、カメラの他の位
置パラメータが決定される。これは、バージニア州のジ
・アメリカ・ソサイアティ・オブ・フォトグラメトリか
ら1980年に出版された「マニアル・オブ・フォトグ
ラメトリ」第4版の第2章に全て記載されている。連係
点と共に地上制御点を使って、幾つかのカメラのパラメ
ータを一度に決定することも可能である。
【0043】一旦制御点及び連係点が決定され、カメラ
のパラメータが決定されたら、自動偏位修正工程19を
実施して、像の正射投影を計算することが出来る。正射
投影は、真上から見た像を、平面に対して平行に投影し
た時の表示である。自動偏位修正工程19によって再標
本化された標本化データ像が、空中写真像及び衛星写真
像を共通の空間基準フレームに再写像する手順の最後の
工程20で、コンピュータのメモリに記憶される。
【0044】図3は、カラー像の正射投影を計算する工
程19の部分的な工程を示すフローチャートであり、こ
の工程は、単純な三角関係に従った動作を実施すること
を基本とする命令を持つプログラムを用いて、各々の原
色に対して分離出来る様に実施される。図4はコンピュ
ータがこう云う部分工程を実施することに伴う投影の幾
何学的な関係を示す略図である。カメラCはその前壁に
単純なピンホール・レンズLを持ち、その後壁に沿って
実像平面RIPを持ち、この後壁の上に光センサの焦点
平面配列が設けられると云うモデルとして示してある。
カメラの光軸OAは実像平面RIPに対して法線方向で
あり、ピンホール・レンズLを通る。収斂レンズや、カ
メラの後壁の弯曲等に対処する為のこの単純なモデルか
らの食違いは光学技術者がよく知る所である。
【0045】図3のフローチャートに戻って説明する
と、特定の色成分の像の自動偏位修正を実施するサブル
ーチンに入る部分工程190の後、選ばれた地上座標系
内で地形TR上の新しい点(x,y)を選ぶ部分工程1
91が続く。部分工程191の後に、点(x,y)の高
度を決定して、地上座標系内の点(x,y,z)を定め
る部分工程192が続く。カメラ・モデルを考慮して、
点(x,y,z)がカメラの実像平面RIPのどこに結
像するかを計算する部分工程193が実行される。
【0046】地上の点(x,y,z)が像内の点(u,
v)に対応するとする。点(u,v)は非整数(u,
v)像座標で表わされるとする。像内の整数座標は、カ
メラCの後壁上の実像平面RIPに配置される実際の光
センサの中心に対応する。次に、像内の点(u,V)に
関連する問題の原色に対する光センサの応答を決定する
部分工程194を実施する。部分工程194は、u及び
vの両方が整数でなければ、点(u,v)に一番近い整
数座標を持つ、実像平面RIP内の点にある光センサの
応答の間の補間を必要とする。
【0047】部分工程194で光線の投影の計算を簡単
にする為に役に立つ仮構は、光センサの配列が、実像平
面RIPからピンホール・レンズまでの距離に等しい様
な、ピンホール・レンズからの距離の所で、光軸OAに
対して垂直に、虚像平面VIP内に位置を置換えたもの
と見なすことである。この様に位置を置換えることに伴
って、光センサの場所を記述するu,v座標を反転す
る。全ての光線の投影は、地上の点(x,y,z)か
ら、ピンホール・レンズLが配置されている点に対する
ものであり、虚像平面VIP内の点(−u,−v)を通
る。
【0048】次の部分工程195で、点(u,v)に関
連するセンサの応答は、像内の点(u,v)に対応する
地上の点(x,y,z)に帰するものとする。x,yの
整数座標を持つ全ての点(x,y)が選ばれたかどうか
を判定する部分工程96を次に実施する。そうなってい
なければ、サブルーチンはループ状に部分工程191に
戻って、選ばれた特定の色成分の像内で見える点に対応
する各々の整数点(x,y)に対して前述の手順を繰返
し、u,v座標系とx,y座標系の間の等角写像を発生
する。部分工程196で、x,y整数座標を持つ全ての
点(x,y)が選ばれたと判定されると、選ばれた特定
の色成分の像に対するサブルーチンから出て行く部分工
程197を実施する。この後、新しく選ばれた特定の色
成分の像に対してこのサブルーチンに再び入ってもよい
し、或いは自動偏位修正手順によって、全ての色成分の
像が再標本化されていれば、コンピュータは、カラー像
の正射投影を計算する工程19が完了したと判定するこ
とが出来る。自動偏位修正を行なう時、全ての像を共通
の基準座標の組(例えば、画素が所定の共通の目盛を持
ち、x整数座標が整合し、y整数座標が整合する)に自
動偏位修正するのが適切である。
【0049】きのこ形衛星カメラ又は空中分割カメラか
らの像の自動偏位修正を行なう時、自動偏位修正手順の
工程193は、線形光センサ配列及び正射投影線に関す
る限り、2次元ではなく1次元で実行する。正射投影手
順の別の変形は、像を球面座標系に写像する別の投影工
程とそれを組合せて、地表面の多角形モデルに使う球の
表面の一部分に地形マップの生地の写像を実施すること
である。
【0050】自動偏位修正手順では、空中写真像の再標
本化は、共通の空間基準フレームに於けるその分解能
(例えばm/画素で測定する)は、衛星の像の分解能の
2の整数べき数倍となる様に行なう。これによって、一
層低い空間周波数レベルに於ける空中カメラから発した
(ACO)像のピラミッド変換の再標本化密度が、衛星
カメラから発した(SCO)像のピラミッド変換のそれ
に対応する。空中写真及びSCO像の重ね継ぎによって
形成されたモザイク形の像を全体的な大きさが同じにな
る様に刈込むと、分解能が対応する様な夫々のピラミッ
ド変換のレベルは大きさが対応する。
【0051】像を1組の空間座標に写像する為に、自動
偏位修正の代りに相当規模の反らしを使うことが出来
る。この反らしの背後にある考えは、「制御点」が出来
るだけ厳密に一直線上に揃う様に、像に対してある数学
的に定義された変換を適用することである。像が互いに
よく揃う様に、一方又は両方の像を反らせることによ
り、対の像を整合させることが可能である。この代り
に、各々の像を個別に反らせて、緯度/経度又は直交す
る局部的なデカルト座標の格子と正確に合う様にしても
よい。
【0052】反らしには種々の方法がある。1つの方法
は、歪みを多項式モデルで表わすことである。例えば、
このモデル方式は次の式によって表わすことが出来る。 dx=f1(x,y) dy=f2(x,y) こゝでf1及びf2は多項式関数であり、x及びyは像
内の1点の座標であり、dx,dyはこの点に加えるべ
き歪みである。像全体に1つの多項式を適用する代り
に、f1及びf2が複数個の異なる多項式の重ね継ぎで
あってよい。別の反らせ関数が、IEEEトランザクシ
ョンズ・オン・ジオサイアンス・アンド・リモート・セ
ンシング誌、第26巻第1号(1988年1月号)、第
60頁乃至第64頁所載のA.ゴシュタスピの論文「幾
何学的な歪みを持つ像の整合」に記載されている。
【0053】反らせを補助的に利用して、自動偏位修正
後の、空中カメラから発した(ACO)像の画素位置を
摂動させ、こう云う像を互いに、並びに衛星カメラから
発した(SCO)像データを出発点として発生された自
動偏位修正像と一層よく合せることが出来る。種々の像
を、それらが共有する空間座標系に変換した時、像の選
ばれた部分を、地形マップとして使うのに適した複合像
に組合せる手順に論議を進めることが出来る。衛星カメ
ラ像は、その一部分の上に雲がかゝりがちであり、こう
云う雲は強度の強い白領域として現れる。可能であれ
ば、全体として、介在する雲のない地形の全ての部分を
示す様な衛星カメラ像をコンピュータのメモリから読取
り、共通の空間基準フレームに関係づける。この結果得
られた正射投影をコンピュータのメモリに書込んで戻
す。これは図1の手順の工程7及び8に従って行なわれ
る。
【0054】図5は、雲のない複合衛星カメラ像を発生
する手順を示すフローチャートである。この手順は、コ
ンピュータのメモリに記憶された個々の衛星カメラ像の
正射投影をアクセスする工程21を含む。コンピュータ
を用いた画素毎に実施される像処理で、この手順の工程
は普通は、コンピュータのメモリから像データの継続的
な読取を行ない、像データを処理し、処理済みの像デー
タをコンピュータのメモリに書込んで戻すことを含むの
が普通である。
【0055】コンピュータのメモリに記憶される衛星像
の個々の正射投影の画素は、R,G,B色座標で記述す
ることが出来る。こゝでR,G及びBは相加的な原色成
分である。衛星像の個々の正射投影をY,I,Q色座標
で表わす対応する記述を発生する工程22が実施される
が、これは画素の記述をR,G,Bの色座標からY,
I,Qへ変換することを必要とする。衛星カメラ・デー
タがR,G,B,Wの4色形式で供給され、白(W)
が、輝度Yに対応する原色である場合、工程22を完了
する為には、各々の画素のI及びQ座標だけを計算すれ
ばよい。コンピュータのメモリに記憶される衛星カメラ
・データが既にY,I,Q座標であれば、勿論工程22
は省略する。
【0056】図6は、各画素に対する色データをR,
G,B色座標からY,I,Q色座標へ変換する周知のカ
ラー・マトリクス方程式を示す。測色法を知る人であれ
ば承知している様に、相加的な原色をどの様に特定する
かに応じて、幾分異なる方程式を使うことが出来る。衛
星カメラによって発生された像にある雲を記述する画素
は、振幅の大きいY成分と振幅の小さいI及びQ成分と
を有する。こう云う画素は、図5のフローチャートに示
す手順の工程23で、それに対するY=0、I=0及び
Q=0である様な黒の画素に置換えられ、白の雲を黒に
反転した像がコンピュータのメモリに記憶される。衛星
カメラ像には放射分析の歪みが余りない。即ち、像の対
応する要素の間の強度差は夫々の像に於ける要素の位置
に略無関係であり、従って、図5のフローチャートに示
す手順の工程24で、黒以外の重なる領域に於けるヒス
トグラムを等化することにより、衛星カメラ像の間の強
度差を抑圧することが出来る。
【0057】続く工程25で、こうして処理されたY,
I,Q色形式の衛星像が、地球の同じ領域を示す同じ様
に処理された他の衛星像の各々の対応するブロックと比
較する為、ブロックに分割される。例えば、像は、解析
の為、16画素×16画素のブロックに分割することが
出来る。比較されるブロックの内、Y成分が最大の1つ
が、衛星カメラの全体図(以下“SCO”像と呼ぶ)に
基づいて複合像内の正しいブロックを表わす最善として
選ばれる。これは、それが雲の頂きを記述する画素又は
地表の雲(又はその他)の影を記述する画素ではないか
らである。衛星カメラ像の選ばれたブロックを重ね継ぎ
する方法は、空中写真から得られた像について述べたも
のと同様である。SCO像のY,I,Q成分とSCO像
の対応するR,G,B成分の両方をコンピュータのメモ
リに保存することが有用である。
【0058】今述べた方法又はその他の方法によって作
成されたSCO像は、準備しようとする地形マップの低
い空間周波数成分の良好な推定値になる。この地形マッ
プの低い空間周波数成分は、空中カメラから発した像と
共通の中間範囲空間周波数の1つ又は更に多くのオクタ
ーブを、その上側の空間周波数側の端に含むと想定され
る。好ましくは何オクターブかだけ、SCO像のR,
G,B成分及びSCO像の対応するY,I,Q成分を帯
域フィルタ作用にかけて、この中央空間周波数帯を隔離
することが有用である。SCO像のR,G,B成分の中
央周波数帯は、自動偏位修正後の空中カメラから発した
(ACO)像の色をそれに対して調節する基準になる。
SCO像のI及びQ成分の中央空間周波数帯は、色相の
角度の記述となるものを計算する為のデータとなり、こ
の記述を、自動偏位修正後のACO像の色をSCO像の
色と対応する様に調節する時の助けとして、自動偏位修
正後のACO像の色相の角度を表わす記述に対して比較
することが出来る。SCO像のY成分の中央空間周波数
帯は、ACO像から得られた地形マップの高い空間周波
数成分をSCO像から得られた低い空間周波数成分と一
緒にする際に、それに対してACO像のY成分の中央空
間周波数帯を等化する為の基準になる。
【0059】これから説明する手順で、R,G,B及び
Y,I,Q座標の両方を発生して使うことが出来るが、
各組の座標で記述した像データを発生して、先に進むこ
とは必要ではない。最終的な地形マップはY,I,Q座
標で表わすのが一番よいから、別の形式の任意の像デー
タをY,I,Q座標に変換した後、その後の全ての動作
(ACO像の重ね継ぎを含む)をY,I,Q座標だけで
実施することを選ぶことが出来る。この代りに、前に述
べた理由で、それを表わすのに最もよいY,I,Q座標
に変換することを除いて、地形マップが完了する点ま
で、R,G,B座標だけでこの後の全ての動作(ACO
像の重ね継ぎを含む)を実施することを選んでもよい。
【0060】それを表わすのに最もよいY,I,Q座標
に変換することを除いて、地形マップが完了する点ま
で、更に別の色成分系を使うことを選んでもよい。例え
ば、この様な別の系としては、Y、I/Y及びQ/Yを
用いる系、Y、R/Y、G/Y及びB/Yを用いる系、
又は色相及び彩度情報を記録する為のカラー・テーブル
・アドレスとYを用い、ピラミッド変換及び逆ピラミッ
ド変換の計算はYに対してだけ行なえばよい様な系であ
ってよい。
【0061】図5のフローチャートでは、工程26は、
複合衛星カメラ正射投影(即ち、SCO像)の種々の色
成分のピラミッド変換を求めて、相異なる色成分像のオ
クターブ毎の空間周波数スペクトル解析を行なう。SC
O像の色成分のピラミッド変換の内、中央空間周波数帯
より低い部分は、それ以上オクターブ(又はラプラース
応答)に分解せず、残存ガウス応答として残す。
【0062】図5のフローチャートでは、工程26の後
に、SCO像のピラミッド変換の上側のオクターブを廃
棄する工程27が続くものとして示してあり、こう云う
オクターブは地形を記述する減衰したエネルギを含んで
いる。その後、次に続く工程28で、SCO像に対する
ピラミッド変換の残りの部分がコンピュータのメモリに
記憶される。
【0063】実質的な重なりがある場合、図2の手順の
工程20でコンピュータのメモリに記憶された空中カメ
ラから発した(ACO)像の正射投影は、モザイク形の
像を形成する様にそれらをはめ合せる前に、種々の方法
で刈取ることが出来る。重なり合う像の間の境界、即ち
重ね継ぎ手順で、この後、像をその境界で刈取ると云う
境界をどこに置くかを決定する為に使われる方式は、解
析の為、像を16画素×16画素のブロックに分割する
ことから始められる。2つ又は更に多くの自動偏位修正
像で、あるブロックが見える場合、選ばれるブロックの
図は、そのブロックが主点に最も近い図である。その理
論は、像の中心の近くでは、歪みがそれ程ひどくないと
云うことである。自動偏位修正像が希望する程ぴったり
と揃わない場合、若干の反らしに頼ってもよい。
【0064】刈取りの後、刈取りをしたACO像から、
地形マップの高い空間周波数成分を確保することは、多
数の方法によって行なうことが出来る。1つの方法は、
夫々の像の強度を調節する手間をかけずに、ACO像を
モザイク形に単に組立てることである。この方法に従う
時、モザイク形の像を形成する様に突合せにすることが
出来る様に刈取った像の間の縁に反って、色が合わない
傾向がある。モザイク形の像を形成する様にそれらを突
合せる前に、単に像を刈取る代りに、重なり合う2つの
像を記述する像データが利用し得ると云う事実を活用し
て、像の間に何等かの滑かな移行を施すことにより、こ
の合わないずれがそれ程目立たなくなる様にすることが
出来る。当然考えられる方式は、カラー像の3つの色成
分のサンプルに対して補間関数を用いて、境界の両側に
伸びる帯の範囲内で、一方の像から別の像への線形の移
行の様な何等かの滑かな移行を施すことである。都合の
悪いことに、実際には、この直接的な方法は、飛行シミ
ュレータの操縦席の占有者にとって、像の間の継目の目
立ちを満足に減少するものではない。
【0065】色の不釣合いを減少する一般的に満足し得
る方法が、ACMトランザクションズ・オン・グラフィ
ックス誌、1983年10月号、第217頁第236頁
所載のP.J.バート及びE.H.アーデルソンの論文
「像のモザイクに応用した多重分解能の重ね継ぎ」に記
載されている。この論文では、像の各々の色成分をオク
ターブ(即ち2対1の周波数範囲)と呼ばれる別々の周
波数帯に分割することを教えている。一方の像から別の
像への移行部での色の急激な変化は、全ての空間周波数
のオクターブで、縁の近くにリンギング・エネルギを生
ずる。リンギング効果は一層高い空間周波数のオクター
ブでは一層局在化し、振幅が一層大きくなる。バート・
アーデルソン方法を用いて、各々のオクターブ範囲の所
で像を別々に重ね継ぎし、像の相異なる空間周波数成分
では異なる割合で移行する様にする。この移行領域は、
高い空間周波数帯では一層幅が狭く、その幅は周波数帯
の空間周波数に反比例する。最後に、別々の周波数帯か
ら複合像を再生する。この方法は、飛行シミュレータの
操縦席の占有者に、像の間の継目が目立つ様にする空間
的な並びに放射分析上の(色の)不釣合いを最小限に抑
えると云う利点を有する。この方法は、色の不釣合いを
完全になくすものではなく、単にその移行を緩かにす
る。この移行部を低域フィルタにかけ、一層低い空間周
波数ではその効果が減少する様にするが、こう云う周波
数では色の不釣合いが持続する。
【0066】この発明では、ACO像から形成されたモ
ザイクの一層低い空間周波数は、持続する色の不釣合り
成分と共に廃棄し、それをSCO像の一層低い空間周波
数に置換える。これは単に、ACO像から形成されたモ
ザイクの低い方のオクターブを廃棄し、それをSCO像
の対応する低い方のオクターブに置換えることによって
行なうことが出来る。然し、特にACO及びSCO像の
ガンマ補正が完全でない場合、この結果得られる地形マ
ップの外観には若干の不規則性が目につくことがある。
これから明細書では、図9について、空中カメラから得
られた像の比較的高い空間周波数成分を、衛星カメラか
ら得られた像の比較的低い空間周波数成分と融合させる
好ましい移行方法を説明する。
【0067】図7は、ACO及びSCO像を融合させる
上に概略的に述べた方法の工程を示すフローチャートで
ある。この手順の工程29は、図2の自動偏位修正手順
の工程20の間、コンピュータのメモリに記憶された再
標本化ACO像をアクセスすることである。その後、工
程29でアクセスされたACO像の色成分のピラミッド
変換を発生する工程30が続く。特定の色成分のサンプ
ルの各フィールドのピラミッド変換は、フィールドを空
間的な2次元で相次いで低域フィルタ作用にかけること
から始まり、各々の空間的な次元で各々の低域フィルタ
応答を2:1でサブサンプリングし、前の低域フィルタ
工程のサブサンプリングした応答から出発して、各々の
相次ぐ低域フィルタ工程を実施することによって、発生
することが出来る。この後、相次ぐ低域フィルタ工程の
応答を減算で組合せることによって、2次元帯域フィル
タ応答(これは「ラプラース」応答と呼ばれることもあ
る)が得られ、それが最後の低域フィルタ工程からの残
存低域フィルタ応答(これは「ガウス」剰余応答とも呼
ばれることがある)と合せて、完全なピラミッド・フィ
ルタ応答になる。オクターブ幅のラプラース応答は、像
の細部を含む高い空間周波数と、SCO像にもあるそれ
程詳細でない情報を含む中位の空間周波数とに対してだ
け抽出する。オクターブ幅のラプラース応答を抽出した
後、一層低い空間周波数のガウス応答が残存する(各々
の空間的な次元に於けるガウス剰余応答の2:1のサブ
サンプリングは省略することが出来る)。工程31で、
ACO像のスペクトル成分がバート・アーデルソン方法
によって重ね継ぎされて、モザイク形の像の色成分のピ
ラミッド変換を形成する。図5の方法の工程28の間に
コンピュータのメモリに記憶されていたSCO像の色成
分のピラミッド変換が、図7の方法の工程32の間、コ
ンピュータのメモリからアクセスされる。
【0068】SCO像、及び重ね継ぎされたACO像か
ら形成されたモザイク形の像の夫々のエネルギ強度を正
規化する工程33が、その空間周波数スペクトルを組合
せる工程34の前の予備工程として実行される。組合さ
れたスペクトルは、SCO像からの低い空間周波数のオ
クターブ、重ね継ぎされたACO像から形成されたモザ
イク形の像の高い空間周波数のオクターブ、及び中位の
空間周波数のオクターブで構成される。こう云う中位の
空間周波数のオクターブは、SCO像からもモザイク形
の像からもとれるが、図9について後で詳しく説明する
様に、SCO像及びモザイク形の像の両方の補間によっ
て求めることが好ましい。組合せた空間周波数スペクト
ルに対して逆ピラミッド変換を実施する工程35が地形
マップを発生し、それが図7の方法の工程36で、コン
ピュータのメモリに記憶され、図1の方法の工程11で
利用出来る様にする。
【0069】ACOとモザイク形の像の空間周波数帯
を、今述べた様に、工程34で、対応するSCO像の空
間周波数帯(又は図9に示す様に両者の加重和)に置換
える前に、工程33で、2つの像の空間周波数帯のエネ
ルギを正規化することが必要である。一般的に、これ
は、平均及び分散の点で、2つの周波数帯を釣合わせる
ことを意味する(これは、分散は、像の(非直流)エネ
ルギ成分として確認することが出来るから)。像のラプ
ラース成分(即ち、オクターブの周波数帯)の場合、周
波数帯の平均はゼロであり、従って、正規化では、2つ
の周波数帯の分散だけを等化すればよい。ガウス成分の
場合、平均と分散の両方を正規化することが必要であ
る。この正規化を行なう為、2つの帯域(一方は置換え
られもの、他方は置換わるもの)の各々の画素の平均及
び分散を計算することが最初に必要である。こう云う値
が、Nを像にある画素の数として、下に定義する平均μ
及び分散vである。
【0070】 A及びBが2つの像成分であり、AをBで置換えると仮
定している。μA 及びμ B を2つの像の夫々の平均と
し、vA 及びvB を2つの像の夫々の平均とし、σ A
びσB を2つの像の標準偏差(分散の平方根)とする。
像成分Aを像成分Bで置換える前に、像成分Bを像成分
Bに対して正規化して、像成分Bの平均及び分散が像成
分Aの平均及び分散と等しくなる様にしなければならな
い。これが、下記の式に従って、画素毎に行なわれる。
この式でB′(i,j)が、像Bの画素(i,j)の正
規化された値である。
【0071】 B′(i,j)=[B(i,j)−μB ]・(σA /σB )+μA 像成分A及びBが夫々ラプラース応答である場合、その
平均は何れもゼロの値であり、上に挙げた式は下記の一
層簡単な形になる。 B′(i,j)=(σA /σB )B(i,j) 図8は図7の方法に代る、ACO及びSCO像を融合さ
せる方法のフローチャートである。ACO像が図8の方
法の工程37の間にアクセスされ、その後にACO像の
色成分のピラミッド変換を発生する工程38と、重なる
領域でACO像の強度レベルを等化する工程39が続
く。
【0072】全体的な輝度に関するACO像の間の変動
は、フィルム速度の変動、像をフィルムのダイナミック
・レンジ内に保つ為の空中カメラ、又はこう云う原因の
種々の組合せによって導入されることのある露出の違い
から生ずる。更に、重なり領域でのACO像の間の局部
的な変動が、ビネット効果、cos4 則効果、フィルタ
作用をする大気中での一層長い光路長、重なり合う像で
の局部的な光レベルが異なることによるフィルム露出の
相反法則の不成立又はこう云う原因の種々の組合せによ
って起ることがある。理想的な完全な等化手順は、大
体、ACO像の間の全体的な輝度、色相及び彩度の誤差
をなくし、その後夫々のヒストグラムが、重なり合う領
域で隣りの像のヒストグラムと最もよく釣合うまで、局
部的な色の変動を調節するように像を処理する部分工程
で構成されるものである。低い空間周波数成分をSCO
像からの低い空間周波数成分と組合せる前に抑圧する様
な、モザイク形の像を発生するACO像処理チェーンの
どこかで行なわなければならないACO像の一層低い空
間周波数の残存ガウス応答を廃棄する工程は、ACO像
の重なる領域での強度レベルを等化する工程で、全体的
な輝度、色相及び彩度の誤差をなくす部分工程を無関係
なものにする。
【0073】局在化する色の変動を調節する為の等化
は、多数の方法によって実施することが出来るが、その
幾つかゞ前掲カランの論文に記載されている。試行錯誤
の1つの方法は、夫々のヒストグラムが、像が重なる領
域で、隣りの像のヒストグラムと最もよく合うまで、一
連の勾配フィルタ応答で像を処理することである。これ
は、空中写真をビデオ信号に変換するのに使われるビデ
オ・カメラの光学系にシェーディング・フィルタを入れ
ると云う光学的なやり方に対し、電気的に相当する方式
である。像を勾配フィルタ応答で処理することは、その
像の各々の画素に、この勾配フィルタ応答に対する勾配
のピッチ及び方向のパラメータによって決定された夫々
の係数を乗ずることによって実施される。コンピュータ
が、各々の像の成分色の像に対するラプラース応答に逆
ピラミッド変換を実施して、各々のACO像の各々の成
分色の像に対する夫々の高域フィルタ応答を求め、この
高域フィルタ作用にかけた成分束の像の画素に各々の勾
配フィルタ部分工程で夫々の係数を乗ずる様に構成する
ことが出来る。この様に等化を実施する時、更にコンピ
ュータが、高域フィルタにかけて等化した成分色の像に
ピラミッド変換を実施して、オクターブ幅のラプラース
応答を復元し、等化したACO像を重ね継ぎしてモザイ
ク形の像の色成分のピラミッド変換を発生するこの後の
工程40に備える。この代りに、ピラミッド変換は分配
形であるから、ラプラース応答を同じ勾配フィルタ関数
(適切に標本化したもの)によって個別に処理して、何
れもその像データを持つ様な領域に対し、1対の像のヒ
ストグラムの間に最善の符合を求めることが出来る。
【0074】重なる領域でACO像を記述するこうして
残されたオクターブ幅のラプラース応答の強度レベルを
等化することは、モザイク形の像に含める為に刈取った
時、像の縁での色のずれを減少する傾向があり、その為
各々のラプラース応答に入り込むリンギング・エネルギ
(像の間の階段形変化の成分としての)が少なくなる。
これは、飛行シミュレータの操縦席の占有者に対し、像
の間の継目が目につくのを更に減らすのに役立つ。AC
O像の等化に伴って起り得る問題は、モザイク形の像に
対するダイナミック・レンジを増加することが必要にな
る傾向があることであり、これはACO像データのクリ
ップ作用を招く惧れがある。
【0075】重なる領域でACO像の強度レベルを等化
する工程39の後、モザイク形の像の色成分のピラミッ
ド変換を発生する為に、バート・アーデルソン方法に従
って等化したACO像を重ね継ぎする工程40を実施す
る。図5の方法の工程28の間にコンピュータのメモリ
に記憶されたSCO像の色成分のピラミッド変換が、図
8の方法の工程41の間、コンピュータのメモリからア
クセスされる。SCO像及び重ね継ぎしたACO像で形
成されたモザイク形の像の夫々のエネルギ強度を正規化
する工程42が、その空間周波数スペクトルを組合せる
工程38の前に実施される。この正規化手順は、モザイ
ク形の像に擬似的な人為効果として導入されるリンギン
グ・エネルギが減少することによって容易になる。組合
されたスペクトルは、SCO像からの低空間周波数のオ
クターブと、重ね継ぎしたACO像から形成されたモザ
イク形の像からの高空間周波数のオクターブと、中位の
空間周波数のオクターブとからなる。こう云う中位の空
間周波数のオクターブは、SCO像からのものでもモザ
イク形の像からのものでもよいが、図9について後で詳
しく説明する様に、SCO像及びモザイク形の像の両方
からの補間によって求めることが好ましい。組合せた空
間周波数スペクトルに対する逆ピラミッド変換を実施す
る工程44が地形マップを発生する。これが図8の方法
の工程45でコンピュータのメモリに記憶され、図1の
方法の工程11で利用出来る様にされる。図9は、空中
カメラから得られた像の比較的高い空間周波数成分を衛
星カメラから得られた像の比較的低い空間周波数成分と
融合させる空間フィルタ方式を示す。この方式はACO
像のモザイクをSCO像の全体図と最も滑かに混合す
る。SCO像のピラミッド変換は、零次ラプラース応答
0-SCO と、空間周波数が1オクターブ低い1次ラプラ
ース応答L1-SCO と、更に空間周波数が1オクターブ低
い2次ラプラース応答L2-SCO と、それより更に低い全
ての空間周波数で構成された残存ガウス応答GSCO とで
構成される。ACO像の部分的なピラミッド変換は、零
次ラプラース応答L0-ACO と、空間周波数が1オクター
ブ低い1次ラプラース応答L1-ACO と、更に空間周波数
が1オクターブ低い2次ラプラース応答L2-ACO と、更
に空間周波数が1オクターブ低い3次ラプラース応答L
3-ACO とで構成される。(最も低い空間周波数で構成さ
れる残存ガウス応答GACO は、ACO像のこの部分的な
ピラミッド変換では捨てられる。)組合せピラミッド変
換は、モザイク形の像のピラミッド変換の零次ラプラー
ス応答L0-ACO に対応する零次ラプラース応答に対応す
るL0 と、1次ラプラース応答L1 と、2次ラプラース
応答L2 と、3次ラプラース応答L3 と、SCO像のピ
ラミッド変換の残存ガウス応答GSCO に対応する残存ガ
ウス応答Gとで構成される。モザイク形の像の1次ラプ
ラース応答L1-ACO と、SCO像の零次ラプラース応答
0-SCO との標本化密度は互いに対応する。モザイク形
の像の2次ラプラース応答L2-ACO と、SCO像の1次
ラプラース応答L1-SCOとの標本化密度は互いに応答す
る。モザイク形の像の3次ラプラース応答L3-ACO とS
CO像の2次ラプラース応答L 2-SCO との標本化密度が
互いに対応する。SCO像の零次ラプラース応答L0-SC
O とモザイク形の像の1次ラプラース応答L1-ACO とに
は、画素毎の加重加算で夫々1/3及び2/3の加重を
し、この加算によってL1 の画素サンプルを発生する。
SCO像の1次ラプラース応答L1-SCO とモザイク形の
像の2次ラプラース応答L2-ACO とは画素毎の加重加算
で夫々1/2を加重し、この加算によってL2 の画素サ
ンプルを発生する。SCO像の2次ラプラース応答L
2-SCO とモザイク形の像の3次ラプラース応答L3-ACO
とには画素毎の加重加算で、夫々2/3及び1/3を加
重し、この加算によってL3 の画素サンプルを発生す
る。組合せたピラミッド変換の中位の空間周波数にある
オクターブL1 ,L2 及びL3 は、空間周波数が高くな
るにつれて、モザイク形の像に対する依存性が優勢にな
る様なサンプルを含む様に、そして空間周波数が低くな
るにつれて、SCO像に対する依存性が優勢になるサン
プルを含む様に、漸進的に加重される。組合せたピラミ
ッド変換の逆ピラミッド変換を発生することにより、地
形マップが発生される。
【0076】図10は、この発明に従って発生された地
形マップを飛行シミュレータでどの様に利用するかを示
すフローチャートである。このシミュレータは、ディジ
タル・コンピュータと表示スクリーンとを含んでおり、
シミュレーションしている航空機の操縦席の窓から見た
視野を模擬するビデオをこのスクリーンに投影すること
が出来る。ディジタル記録された地形マップを飛行シミ
ュレータに送込む工程46、及び飛行シミュレータのデ
ィジタル・コンピュータで、地表の多角形モデルを発生
する工程47が、地形マップを多角形モデルに生地とし
て写像して、背景ビデオ信号を発生する工程48の前に
ある。その後、飛行シミュレータのディジタル・コンピ
ュータが、背景ビデオ信号と共に前景の物体を記述する
ビデオ信号を非相加的に加算してモンタージュ・ビデオ
信号を発生する工程49を実施する。工程49の後、モ
ンタージュ・ビデオ信号に従って、飛行シミュレータの
操縦席の窓の視野を表わすスクリーンに、操縦席の窓か
ら見た操縦士の視野のシミュレーションを投影する工程
50が続く。
【0077】特許請求の範囲では、複雑さを避けると共
に判り易くする為に、ある簡略した用語を用いている。
「像のピラミッド変換」と云った場合、それは成分色の
像のピラミッド変換(例えば、赤成分の像のピラミッド
変換、緑成分の像のピラミッド変換、及び赤成分の像の
ピラミッド変換、又は例えばY成分像のピラミッド変
換、I成分像のピラミッド変換及びQ成分像のピラミッ
ド変換)を包括的に指すものと解されたい。「像のラプ
ラース成分」と云った場合、これは、その像の赤成分の
ラプラース成分、その像の緑成分のラプラース成分、及
びその像の青成分のラプラース成分の内、同じオクター
ブ内に入るものを包括的に指す言葉と解されたい。「像
の残存ガウス成分」と云った場合、これは、その像の赤
成分の残存ガウス成分と、その像の緑成分の残存ガウス
成分と、その像の青成分の残存ガウス成分との内、同じ
空間周波数帯域内に入るものを包括的に指す言葉と解さ
れたい。
【0078】特許請求の範囲で云う「バート・アーデル
ソン手順」と云う言葉は、重ね継ぎすべき像のバート形
ピラミッド変換に特に適応した手順だけでなく、重ね継
ぎすべき像の他の形式のピラミッド変換に適応した対応
する手順をもその範囲内に含むものと解されたい。重ね
継ぎすべき像のピラミッド変換の各々のオクターブ範囲
で、像が別々に重ね継ぎされ、像の相異なる空間周波数
成分に対しては異なる割合で移行を行なわせる。この移
行領域は、高い空間周波数帯では一層狭く、その幅は帯
域の空間周波数に反比例する。
【図面の簡単な説明】
【図1】この発明に従って地形マップを発生する方法を
示すフローチャート。
【図2】空中写真像及び衛星写真像を共通の空間基準フ
レームに対して再標本化する手順を示すフローチャート
で、この手順はこう云う像の自動偏位修正を行なう工程
を含む。
【図3】像の正射投影を計算する為に、像の成分色の各
々に対して分離し得る様に行なわれる自動偏位修正工程
の部分工程を示すフローチャート。
【図4】自動偏位修正工程の部分工程を実施する為に、
コンピュータが実施する投影の線図。
【図5】衛星カメラによって求められた個々の全体図の
像を重畳する様な、雲に覆われていない地球の地形の全
体図の複合像を発生する方法を示すフローチャート。
【図6】画素の色データをR,G,B色座標からY,
I,Q色座標へ変換する為の色マトリクス方程式を表す
図。
【図7】衛星カメラ・データから形成された、雲に覆わ
れていない地球の地形の全体図の複合像を空中カメラ写
真から求められた細部と組合せる相異なる方法を示すフ
ローチャート。
【図8】衛星カメラ・データから形成された、雲に覆わ
れていない地球の地形の全体図の複合像を空中カメラ写
真から求められた細部と組合せる相異なる方法を示すフ
ローチャート。
【図9】空中カメラから求められた像の比較的高い空間
周波数成分を衛星カメラから求められた像の比較的低い
空間周波数成分と融合させる為に使われる空間フィルタ
方式を示す線図。
【図10】この発明に従って発生した地形マップを飛行
シミュレータでどの様に利用するかを示すフローチャー
ト。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 アイマン・アルバート・アブデル−マレ ク アメリカ合衆国、ニューヨーク州、スケ ネクタデイ、ローズダール・ウェイ、 2055番 (72)発明者 リチャード・イアン・ハートレイ アメリカ合衆国、ニューヨーク州、スケ ネクタデイ、ミリントン・ロード、1018 番 (58)調査した分野(Int.Cl.7,DB名) G06T 1/00 285 G06T 3/00 300 G06T 3/00 400 G06T 17/40

Claims (16)

    (57)【特許請求の範囲】
  1. 【請求項1】 比較的大きい視野を持つ細度の低い全体
    像並びに比較的小さい視野を持つ細度が更に高い像から
    出発して複合像を発生する方法に於て、何れも直交する
    2つの次元で規則的に標本化され、共通の空間基準フレ
    ームを基準とする前記像の各々の電気信号の形でのディ
    ジタル化した表示を発生し、前記全体像のディジタル化
    した表示を低域空間フィルタ作用にかけて、前記複合像
    に対するディジタル化した低空間周波数応答を電気信号
    の形で発生し、前記更に細度の高い像のディジタル化し
    た表示を重ね継ぎして、モザイク形の像の規則的な標本
    化のディジタル表示を電気信号の形で発生し、該モザイ
    ク形の像の規則的な標本化のディジタル表示を高域空間
    フィルタ作用にかけて、前記複合像に対するディジタル
    化した高空間周波数応答を電気信号の形で発生し、前記
    複合像に対する高空間周波数及び低空間周波数応答を組
    合せる工程を含む方法。
  2. 【請求項2】 比較的大きい視野を持つ細度の低い全体
    像のディジタル化した表示を電気信号の形で発生するの
    に使う為に衛星カメラからのデータを求め、比較的小さ
    い視野を持つ細度が更に高い像のディジタル化した表示
    を電気信号の形で発生するのに使う為に、空中カメラか
    らのデータを求める予備工程を含む請求項1記載の方
    法。
  3. 【請求項3】 比較的大きい視野を持つ細度の低い全体
    像及び比較的小さい視野を持つ細度が高い像に基づいて
    複合像を発生する方法に於て、 直交する2つの次元で規則的に標本化して、共通の空間
    基準フレームを基準とする、前記細度が高い像及び前記
    全体像の各々の像のピラミッド変換のディジタル化した
    表示を電気信号の形で発生し、各々のピラミッド変換
    は、空間周波数成分の降順のオクターブを夫々構成する
    多数のレベルを含んでおり、前記ピラミッド変換の各々
    の周波数成分の降順のオクターブが特定のオクターブ範
    囲に入るものであり、各々のピラミッド変換は特定の範
    囲の空間周波数成分を含む残存ベースバンドをも含んで
    おり、 バート・アーデルソン手順に従って各々の細度の高い像
    のピラミッド変換のディジタル化した表示を電気信号の
    形で重ね継ぎして、直交する2つの次元で規則的に標本
    化して共通の空間基準フレームを基準とするモザイク形
    の像のピラミッド変換を発生し、該モザイク形の像のピ
    ラミッド変換は、前記特定のオクターブ範囲に入る、空
    間周波数成分の降順のオクターブを夫々構成する多数の
    レベルを含み、前記モザイク形の像のピラミッド変換は
    前記特定の範囲の空間周波数成分を含む残存ベースバン
    をも含み、 前記全体像及びモザイク形の像のピラミッド変換の一部
    分の、電気信号の形をしたディジタル化した表示を組み
    合わせて、前記複合像のピラミッド変換のディジタル表
    示を電気信号の形で発生し、前記複合像の前記 ピラミッド変換の逆ピラミッド変換と
    して、前記複合像のディジタル表示を電気信号の形で発
    生する工程を含む方法。
  4. 【請求項4】 複合像のピラミッド変換のディジタル表
    示を電気信号の形で発生する工程が、前記全体像の残存
    ベースバンドのエネルギ強度を、前記モザイク形の像の
    残存ベースバンドのエネルギ強度と合致する様に正規化
    し、前記複合像のピラミッド変換に含める為に、前記全
    体像のピラミッド変換の正規化した残存ベースバンドを
    選び、前記複合像のピラミッド変換に含める為に、前記
    モザイク形の像のピラミッド変換の空間周波数成分の降
    順のオクターブを選ぶ工程を含む請求項3記載の方法。
  5. 【請求項5】 前記複合像のピラミッド変換のディジタ
    ル表示を電気信号の形で発生する工程が、前記全体像の
    ピラミッド変換の空間周波数成分のオクターブのエネル
    ギ強度を、前記モザイク形の像のピラミッド変換の空
    周波数成分の対応するオクターブのエネルギ強度と合致
    する様に正規化し、前記全体像の残存ベースバンドのエ
    ネルギ強度を前記モザイク形の像の残存ベースバンドの
    エネルギ強度と合致する様に正規化し、前記複合像のピ
    ラミッド変換に含める為に、それに対して前記全体像の
    ピラミッド変換の空間周波数成分の対応するオクターブ
    がない様な、前記モザイク形の像のピラミッド変換の空
    間周波数成分の降順のオクターブを選び、前記複合像の
    ピラミッド変換に含める為に、前記モザイク形の像及び
    全体像のピラミッド変換の空間周波数成分の各対の対応
    するオクターブの加重部分を選び、前記複合像のピラミ
    ッド変換に含める為に、前記全体像のピラミッド変換の
    残存ベースバンドを選ぶ工程を含む請求項3記載の方
    法。
  6. 【請求項6】 各々の像のピラミッド変換のディジタル
    表示を電気信号の形で発生する工程が、重なり合う領域
    で細度が高い像のエネルギ強度を等化する工程を含む請
    求項3記載の方法。
  7. 【請求項7】 前記複合像のピラミッド変換のディジタ
    ル表示を電気信号の形で発生する工程が、前記全体像の
    残存ベースバンドのエネルギ強度を前記モザイク形の像
    の残存ベースバンドのエネルギ強度と合致する様に正規
    化し、前記複合像のピラミッド変換に含める為に、前記
    全体像のピラミッド変換の残存ベースバンドを選び、前
    記複合像のピラミッド変換に含める為に、前記モザイク
    形の像のピラミッド変換の空間周波数成分の降順のオク
    ターブを選ぶ工程を含む請求項6記載の方法。
  8. 【請求項8】 前記複合像のピラミッド変換のディジタ
    ル表示を電気信号の形で発生する工程が、前記全体像の
    ピラミッド変換の空間周波数成分のオクターブのエネル
    ギ強度を、前記モザイク形の像のピラミッド変換の空
    周波数成分の対応するオクターブのエネルギ強度と合致
    する様に正規化し、前記全体像の残存ベースバンドのエ
    ネルギ強度を前記モザイク形の像の残存ベースバンドの
    エネルギ強度と合致する様に正規化し、前記複合像のピ
    ラミッド変換に含める為に、それに対して全体像のピラ
    ミッド変換の空間周波数成分の対応するオクターブがな
    い様な、モザイク形の像のピラミッド変換の空間周波数
    成分の降順のオクターブを選び、前記複合像のピラミッ
    ド変換に含める為に、モザイク形の像及び全体像のピラ
    ミッド変換の空間周波数成分の各対の対応するオクター
    ブの加重部分を選び、前記複合像のピラミッド変換に含
    める為に、全体像のピラミッド変換の残存ベースバンド
    を選ぶ工程を含む請求項6記載の方法。
  9. 【請求項9】 比較的高い高度にあるカメラによって作
    成された全体像、並びに地形の上方の比較的低い高度で
    撮影された重なり合う写真から導き出した像に基づい
    、比較的低い高度で撮影された重なり合う撮影から導
    き出した像を重ね継ぎして複合地形マップを形成した場
    合に該複合地形マップに階段状の放射照度の変動が比較
    的ない様な複合地形マップを発生する方法に於て、 共通の空間基準フレームを基準とした、前記全体像及び
    各々の写真の像のディジタル化した表示を電気信号の形
    で発生し、 各々の像の電気信号の形でディジタル化した表示をピラ
    ミッド・フィルタ作用にかけて、該像のピラミッド変換
    として、空間周波数の降順のオクターブを記述する2次
    元帯域フィルタ応答、及び中央空間周波数の所定の帯域
    より低い空間周波数で構成された夫々の2次元低域フィ
    ルタ応答を電気信号の形で表わしたディジタル表示の夫
    々1組を発生し、各々の組は、Nを少なくとも1である
    整数として、前記中央空間周波数の所定の帯域内にN個
    の夫々の帯域フィルタ応答を持ち、比較的低い高度で撮
    影した写真の内の1つの像のピラミッド変換である各々
    の組は、前記中央空間周波数の所定の帯域より高い空間
    周波数で構成された少なくとも1つの夫々の帯域フィル
    タ応答を持ち、 バート・アーデルソン手順に従って、比較的低い高度で
    撮影した前記写真の像のピラミッド変換の電気信号の形
    で表わしたディジタル表示を重ね継ぎして、モザイク形
    の像のピラミッド変換として、空間周波数の降順のオク
    ターブを記述する2次元帯域フィルタ応答、及び中央空
    間周波数の前記所定の帯域より低い空間周波数で構成さ
    た2次元低域フィルタ応答の電気信号の形で表わし
    組のディジタル表示を発生し、該組は中央空間周波数
    の前記所定の帯域内にN個の帯域フィルタ応答を持ち、
    該組の少なくとも1つの他の帯域フィルタ応答は前記中
    央空間周波数の所定の帯域より高い空間周波数で構成さ
    れ、 前記全体像及びモザイク形の像のピラミッド変換の一部
    分の電気信号で表わしたディジタル表示に応答して、前
    記複合像のピラミッド変換のディジタル表示を電気信号
    の形で発生し、該複合像のピラミッド変換が、ピラミッ
    ド変換の形で表わした前記複合地形マップに対応する様
    にする工程を含む方法。
  10. 【請求項10】 前記ピラミッド変換の逆ピラミッド変
    換として、前記複合像の電気信号の形で表わしたディジ
    タル表示を発生して、前記複合地形マップのディジタル
    表示を電気信号の形で発生する工程を更に含む請求項9
    記載の方法。
  11. 【請求項11】 複合地形マップのディジタル記録を発
    生する方法の予備工程として、前記複合地形マップの電
    気信号の形で表わしたディジタル表示をディジタル記録
    媒質にディジタル記録する工程を含む請求項10記載の
    方法。
  12. 【請求項12】 前記複合像のピラミッド変換のディジ
    タル表示を電気信号の形で発生する工程が、全体像の低
    域フィルタ応答のエネルギ強度をモザイク形の像の低域
    フィルタ応答のエネルギ強度と合致する様に正規化し、
    複合像のピラミッド変換に含める為に、全体像のピラミ
    ッド変換の正規化した低域フィルタ応答を選び、複合像
    のピラミッド変換に含める為に、モザイク形の像のピラ
    ミッド変換の各々の帯域フィルタ応答を選ぶ工程を含む
    請求項9記載の方法。
  13. 【請求項13】 複合像のピラミッド変換のディジタル
    表示を電気信号の形で発生する工程が、全体像のピラミ
    ッド変換の帯域フィルタ応答のエネルギ強度をモザイク
    形の像のピラミッド変換の対応する帯域フィルタ応答の
    エネルギ強度と合致する様に正規化し、全体像の低域フ
    ィルタ応答のエネルギ強度をモザイク形の像の低域フィ
    ルタ応答のエネルギ強度と合致する様に正規化し、複合
    像のピラミッド変換に含める為に、それに対して全体像
    のピラミッド変換の空間周波数成分の対応するオクター
    ブがない様な、モザイク形の像のピラミッド変換の空
    周波数成分の降順のオクターブを選び、複合像のピラミ
    ッド変換に含める為、モザイク形の像及び全体像のピラ
    ミッド変換の空間周波数成分の各対の対応するオクター
    ブの加重部分を選び、複合像のピラミッド変換に含める
    為に、全体像のピラミッド変換の残存ベースバンドを選
    ぶ工程を含む請求項9記載の方法。
  14. 【請求項14】 各像の電気信号の形で表わしたディジ
    タル表示をピラミッド・フィルタ作用にかけて該像のピ
    ラミッド変換を発生する工程、及びバート・アーデルソ
    ン手順に従って、比較的低い高度で撮影した写真の像の
    ピラミッド変換を電気信号の形で表わしたディジタル表
    示を重ね継ぎしてモザイク形の像のピラミッド変換を発
    生する工程の間に、比較的低い高度で撮影した写真の像
    のエネルギ強度を、重なる領域で、等化する工程を含む
    請求項9記載の方法。
  15. 【請求項15】 複合像のピラミッド変換のディジタル
    表示を電気信号の形で発生する工程が、全体像の低域フ
    ィルタ応答のエネルギ強度をモザイク形の像の低域フィ
    ルタ応答のエネルギ強度と合致する様に正規化し、複合
    像のピラミッド変換に含める為に、全体像のピラミッド
    変換の正規化された低域フィルタ応答を選び、複合像の
    ピラミッド変換に含める為に、モザイク形の像のピラミ
    ッド変換の各々の帯域フィルタ応答を選ぶ工程を含む請
    求項14記載の方法。
  16. 【請求項16】 複合像のピラミッド変換のディジタル
    表示を電気信号の形で発生する工程が、全体像のピラミ
    ッド変換の帯域フィルタ応答のエネルギ強度をモザイク
    形の像のピラミッド変換の対応する帯域フィルタ応答の
    エネルギ強度と合致する様に正規化し、全体像の低域フ
    ィルタ応答のエネルギ強度をモザイク形の像の低域フィ
    ルタ応答のエネルギ強度と合致する様に正規化し、複合
    像のピラミッド変換に含める為に、それに対して全体像
    のピラミッド変換の空間周波数成分の対応するオクター
    ブがない様な、モザイク形の像のピラミッド変換の空
    周波数成分の降順のオクターブを選び、複合像のピラミ
    ッド変換に含める為に、モザイク形の像及び全体像のピ
    ラミッド変換の空間周波数成分の各対の対応するオクタ
    ーブの加重部分を選び、複合像のピラミッド変換に含め
    る為に、全体像のピラミッド変換の残存ベースバンドを
    選ぶ工程を含む請求項14記載の方法。
JP10152592A 1991-04-30 1992-04-22 複合像を発生する方法 Expired - Fee Related JP3429784B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US07/693,461 US5187754A (en) 1991-04-30 1991-04-30 Forming, with the aid of an overview image, a composite image from a mosaic of images
US693461 1991-04-30

Publications (2)

Publication Number Publication Date
JPH05143713A JPH05143713A (ja) 1993-06-11
JP3429784B2 true JP3429784B2 (ja) 2003-07-22

Family

ID=24784748

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10152592A Expired - Fee Related JP3429784B2 (ja) 1991-04-30 1992-04-22 複合像を発生する方法

Country Status (3)

Country Link
US (1) US5187754A (ja)
JP (1) JP3429784B2 (ja)
IL (1) IL101576A (ja)

Families Citing this family (162)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3078085B2 (ja) * 1991-03-26 2000-08-21 オリンパス光学工業株式会社 画像処理装置および画像処理方法
GB2256567B (en) * 1991-06-05 1995-01-11 Sony Broadcast & Communication Modelling system for imaging three-dimensional models
US5657402A (en) * 1991-11-01 1997-08-12 Massachusetts Institute Of Technology Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method
US5686960A (en) * 1992-01-14 1997-11-11 Michael Sussman Image input device having optical deflection elements for capturing multiple sub-images
DE69226512T2 (de) * 1992-03-12 1999-04-22 Ibm Verfahren zur Bildverarbeitung
US6205259B1 (en) * 1992-04-09 2001-03-20 Olympus Optical Co., Ltd. Image processing apparatus
US5309522A (en) * 1992-06-30 1994-05-03 Environmental Research Institute Of Michigan Stereoscopic determination of terrain elevation
US6121966A (en) * 1992-11-02 2000-09-19 Apple Computer, Inc. Navigable viewing system
JP2888713B2 (ja) * 1993-01-14 1999-05-10 キヤノン株式会社 複眼撮像装置
JPH06347862A (ja) * 1993-06-08 1994-12-22 Nikon Corp カメラの測光装置
US5613048A (en) * 1993-08-03 1997-03-18 Apple Computer, Inc. Three-dimensional image synthesis using view interpolation
DE69433292T2 (de) * 1993-09-01 2004-08-26 Nippon Telegraph And Telephone Corp. Verfahren und Vorrichtung zur Bildsynthese
US5438336A (en) * 1993-11-12 1995-08-01 Trw Inc. Focal plane imaging array with internal calibration source
US5640468A (en) * 1994-04-28 1997-06-17 Hsu; Shin-Yi Method for identifying objects and features in an image
AU3139295A (en) * 1994-07-22 1996-02-22 Apple Computer, Inc. Method and system for the placement of texture on three-dimensional objects
US5719949A (en) * 1994-10-31 1998-02-17 Earth Satellite Corporation Process and apparatus for cross-correlating digital imagery
US5649032A (en) * 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
US5594853A (en) * 1995-01-03 1997-01-14 University Of Washington Method and system for editing the general sweep and detail of a figure with a curve
US5649173A (en) * 1995-03-06 1997-07-15 Seiko Epson Corporation Hardware architecture for image generation and manipulation
US5696848A (en) * 1995-03-09 1997-12-09 Eastman Kodak Company System for creating a high resolution image from a sequence of lower resolution motion images
US5878356A (en) * 1995-06-14 1999-03-02 Agrometrics, Inc. Aircraft based infrared mapping system for earth based resources
US5963664A (en) * 1995-06-22 1999-10-05 Sarnoff Corporation Method and system for image combination using a parallax-based technique
JPH11509064A (ja) * 1995-07-10 1999-08-03 サーノフ コーポレイション 画像を表現し組み合わせる方法とシステム
JP3622094B2 (ja) * 1995-10-05 2005-02-23 株式会社日立製作所 地図更新支援装置および地図情報の編集方法
TW316965B (ja) * 1995-10-31 1997-10-01 Cirrus Logic Inc
WO1997022201A2 (en) * 1995-12-12 1997-06-19 The Board Of Trustees Of The University Of Illinois Method and system for transmitting real-time video
US5936635A (en) * 1996-06-28 1999-08-10 Cirrus Logic, Inc. System and method of rendering polygons into a pixel grid
US5793386A (en) * 1996-06-28 1998-08-11 S3 Incorporated Register set reordering for a graphics processor based upon the type of primitive to be rendered
US5796861A (en) * 1996-07-12 1998-08-18 Frim International, Inc. Mosaic construction, processing, and review of very large electronic micrograph composites
US6075905A (en) * 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
US5828382A (en) * 1996-08-02 1998-10-27 Cirrus Logic, Inc. Apparatus for dynamic XY tiled texture caching
US5875295A (en) * 1996-09-30 1999-02-23 S3 Incorporated Instruction format for ensuring safe execution of display list
US6348917B1 (en) 1996-09-30 2002-02-19 Cirrus Logic, Inc Dynamic switching of texture mip-maps based on depth
US5987582A (en) * 1996-09-30 1999-11-16 Cirrus Logic, Inc. Method of obtaining a buffer contiguous memory and building a page table that is accessible by a peripheral graphics device
US6173087B1 (en) 1996-11-13 2001-01-09 Sarnoff Corporation Multi-view image registration with application to mosaicing and lens distortion correction
US5841442A (en) * 1996-12-30 1998-11-24 Cirrus Logic, Inc. Method for computing parameters used in a non-homogeneous second order perspective texture mapping process using interpolation
US6157386A (en) * 1997-10-10 2000-12-05 Cirrus Logic, Inc MIP map blending in a graphics processor
US5835097A (en) * 1996-12-30 1998-11-10 Cirrus Logic, Inc. Non-homogenous second order perspective texture mapping using linear interpolation parameters
US6333746B1 (en) 1996-12-30 2001-12-25 Cirrus Logic, Inc. Auto level of detail texture mapping for a software graphics engine
US5844576A (en) * 1996-12-30 1998-12-01 Cirrus Logic, Inc. Tiled linear host texture storage
US5986663A (en) * 1997-10-10 1999-11-16 Cirrus Logic, Inc. Auto level of detail-based MIP mapping in a graphics processor
US6052127A (en) * 1996-12-30 2000-04-18 Cirrus Logic, Inc. Circuit for determining non-homogenous second order perspective texture mapping coordinates using linear interpolation
US6088016A (en) * 1996-12-30 2000-07-11 S3 Incorporated Dithering method and apparatus using ramp probability logic
US5969723A (en) * 1997-01-21 1999-10-19 Mcdonnell Douglas Corporation Method for incorporating high detail normal vector information into polygonal terrain databases and image display system which implements this method
US5982941A (en) * 1997-02-07 1999-11-09 Eastman Kodak Company Method of producing digital image with improved performance characteristic
US5977983A (en) * 1997-02-20 1999-11-02 S3 Incorporated Method and apparatus for adjusting graphics processing procedures based on a selectable speed/quality gauge
US5929869A (en) * 1997-03-05 1999-07-27 Cirrus Logic, Inc. Texture map storage with UV remapping
US6072508A (en) * 1997-03-14 2000-06-06 S3 Incorporated Method and apparatus for shortening display list instructions
US6028613A (en) * 1997-03-20 2000-02-22 S3 Incorporated Method and apparatus for programming a graphics subsystem register set
US6130674A (en) * 1997-03-31 2000-10-10 Cirrus Logic, Inc. Dynamically selectable texture filter for computer graphics
US5949421A (en) * 1997-03-31 1999-09-07 Cirrus Logic, Inc. Method and system for efficient register sorting for three dimensional graphics
US5978895A (en) * 1997-04-04 1999-11-02 Cirrus Logic, Inc. Method for speeding mathematical operations in a processor core
DE19716958A1 (de) * 1997-04-17 1998-10-22 Zbigniew Rybczynski Optisches Abbildungssystem
US5835104A (en) * 1997-04-23 1998-11-10 S3 Incorporated Variable band size compositing buffer method and apparatus
US5940090A (en) * 1997-05-07 1999-08-17 Cirrus Logic, Inc. Method and apparatus for internally caching the minimum and maximum XY pixel address values in a graphics subsystem
US5881321A (en) * 1997-05-09 1999-03-09 Cammotion, Inc.. Camera motion sensing system
US6249616B1 (en) 1997-05-30 2001-06-19 Enroute, Inc Combining digital images based on three-dimensional relationships between source image data sets
US5995681A (en) * 1997-06-03 1999-11-30 Harris Corporation Adjustment of sensor geometry model parameters using digital imagery co-registration process to reduce errors in digital imagery geolocation data
US6266753B1 (en) 1997-07-10 2001-07-24 Cirrus Logic, Inc. Memory manager for multi-media apparatus and method therefor
US6044181A (en) * 1997-08-01 2000-03-28 Microsoft Corporation Focal length estimation method and apparatus for construction of panoramic mosaic images
US6157747A (en) * 1997-08-01 2000-12-05 Microsoft Corporation 3-dimensional image rotation method and apparatus for producing image mosaics
US6097854A (en) * 1997-08-01 2000-08-01 Microsoft Corporation Image mosaic construction system and apparatus with patch-based alignment, global block adjustment and pair-wise motion-based local warping
US6009190A (en) * 1997-08-01 1999-12-28 Microsoft Corporation Texture map construction method and apparatus for displaying panoramic image mosaics
US6078701A (en) * 1997-08-01 2000-06-20 Sarnoff Corporation Method and apparatus for performing local to global multiframe alignment to construct mosaic images
US5987164A (en) * 1997-08-01 1999-11-16 Microsoft Corporation Block adjustment method and apparatus for construction of image mosaics
US6181347B1 (en) 1997-09-17 2001-01-30 Cirrus Logic, Inc. Selectable mode smoothing texture filter for computer graphics
US6054993A (en) * 1997-09-17 2000-04-25 Cirrus Logic, Inc. Chroma-keyed specular texture mapping in a graphics processor
US6002409A (en) * 1997-10-29 1999-12-14 Cirrus Logic, Inc. Arbitration for shared graphics processing resources
US6148120A (en) * 1997-10-30 2000-11-14 Cognex Corporation Warping of focal images to correct correspondence error
CA2260440C (en) 1998-01-28 2007-08-28 Chipworks Inc. Automatic focused ion beam imaging system and method
US6456288B1 (en) 1998-03-31 2002-09-24 Computer Associates Think, Inc. Method and apparatus for building a real time graphic scene database having increased resolution and improved rendering speed
US6404431B1 (en) 1998-04-13 2002-06-11 Northrop Grumman Corporation Virtual map store/cartographic processor
EP0961230A3 (en) * 1998-05-29 2001-03-28 Canon Kabushiki Kaisha Image processing method and apparatus therefor
US6125329A (en) * 1998-06-17 2000-09-26 Earth Satellite Corporation Method, system and programmed medium for massive geodetic block triangulation in satellite imaging
US6252606B1 (en) 1998-06-30 2001-06-26 Cirrus Logic, Inc. Error correction in a graphics processor
US6259455B1 (en) 1998-06-30 2001-07-10 Cirrus Logic, Inc. Method and apparatus for applying specular highlighting with specular components included with texture maps
US7382927B2 (en) * 1999-01-08 2008-06-03 Sharp Laboratories Of America, Inc. System for constructing mosaic images
JP2000276045A (ja) * 1999-03-24 2000-10-06 Toyota Motor Corp 撮影画像を用いた地図作成方法、装置および撮影画像の歪み補正方法
US6532312B1 (en) 1999-06-14 2003-03-11 Eastman Kodak Company Photoquilt
JP3798922B2 (ja) * 1999-06-24 2006-07-19 ペンタックス株式会社 写真測量画像処理装置、写真測量画像処理方法、および写真測量画像処理プログラムを格納した記憶媒体
US6597802B1 (en) * 1999-08-13 2003-07-22 International Business Machines Corp. System and method for generating a rolled surface representation from a set of partial images
IL148278A0 (en) * 1999-08-20 2002-09-12 Yissum Res Dev Co System and method for rectified mosaicing of images recorded by a moving camera
IE990827A1 (en) * 1999-10-04 2001-04-18 Digitech Res Production of a survey animated digital model
US6829383B1 (en) * 2000-04-28 2004-12-07 Canon Kabushiki Kaisha Stochastic adjustment of differently-illuminated images
US6694064B1 (en) * 1999-11-19 2004-02-17 Positive Systems, Inc. Digital aerial image mosaic method and apparatus
JP4484288B2 (ja) 1999-12-03 2010-06-16 富士機械製造株式会社 画像処理方法および画像処理システム
US6738424B1 (en) 1999-12-27 2004-05-18 Objectvideo, Inc. Scene model generation from video for use in video processing
US7262778B1 (en) 2000-02-11 2007-08-28 Sony Corporation Automatic color adjustment of a template design
US6993719B1 (en) 2000-02-11 2006-01-31 Sony Corporation System and method for animated character photo-editing interface and cross-platform education icon
US7136528B2 (en) * 2000-02-11 2006-11-14 Sony Corporation System and method for editing digital images
WO2001078368A2 (en) * 2000-04-07 2001-10-18 Demografx Film and video bi-directional color matching system and method
US7016551B1 (en) * 2000-04-10 2006-03-21 Fuji Xerox Co., Ltd. Image reader
US7518652B2 (en) 2000-05-03 2009-04-14 Aperio Technologies, Inc. Method and apparatus for pre-focus in a linear array based slide scanner
US7738688B2 (en) 2000-05-03 2010-06-15 Aperio Technologies, Inc. System and method for viewing virtual slides
US6711283B1 (en) 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
US7668362B2 (en) 2000-05-03 2010-02-23 Aperio Technologies, Inc. System and method for assessing virtual slide image quality
US6961459B2 (en) * 2000-09-12 2005-11-01 Sony Corporation Three-dimensional data processing device, three-dimensional data processing method, and program providing medium
US6757445B1 (en) 2000-10-04 2004-06-29 Pixxures, Inc. Method and apparatus for producing digital orthophotos using sparse stereo configurations and external models
FR2817694B1 (fr) * 2000-12-05 2003-10-03 Thomson Licensing Sa Procede et dispositif de lissage spatial pour les zones sombres d'une image
US6707464B2 (en) 2001-01-31 2004-03-16 Harris Corporation System and method for identifying tie point collections used in imagery
JP4501321B2 (ja) * 2001-07-24 2010-07-14 パナソニック株式会社 色域圧縮方法
US20030112339A1 (en) * 2001-12-17 2003-06-19 Eastman Kodak Company Method and system for compositing images with compensation for light falloff
AU2003214630A1 (en) * 2002-04-15 2003-10-27 Yitzhak Weissman Stereoscopic display apparatus particularly useful with lcd projectors
KR100488685B1 (ko) * 2002-08-22 2005-05-11 한국과학기술원 자동 영상등록 및 보정을 위한 영상 처리방법
US7893957B2 (en) * 2002-08-28 2011-02-22 Visual Intelligence, LP Retinal array compound camera system
US8994822B2 (en) 2002-08-28 2015-03-31 Visual Intelligence Lp Infrastructure mapping system and method
US8483960B2 (en) 2002-09-20 2013-07-09 Visual Intelligence, LP Self-calibrated, remote imaging and data processing system
US6928194B2 (en) * 2002-09-19 2005-08-09 M7 Visual Intelligence, Lp System for mosaicing digital ortho-images
USRE49105E1 (en) 2002-09-20 2022-06-14 Vi Technologies, Llc Self-calibrated, remote imaging and data processing system
US6856380B2 (en) * 2003-01-06 2005-02-15 Chun-Shan Institute Of Science And Technology Aerial vehicle speed error correlation method for two-dimensional visual reproduction of laser radar imaging
US7116440B2 (en) 2003-02-28 2006-10-03 Aperio Technologies, Inc. Image processing and analysis framework
US7257268B2 (en) 2003-02-28 2007-08-14 Aperio Technologies, Inc. Systems and methods for image pattern recognition
JP2004343222A (ja) * 2003-05-13 2004-12-02 Olympus Corp 画像処理装置
JP2005039785A (ja) * 2003-06-30 2005-02-10 Seiko Epson Corp 画像処理装置、方法及びプログラム
KR100571429B1 (ko) * 2003-12-26 2006-04-17 한국전자통신연구원 지상기준점 영상 칩을 이용한 온라인 기하 보정 서비스제공 방법
US8055100B2 (en) * 2004-04-02 2011-11-08 The Boeing Company Method and system for image registration quality confirmation and improvement
WO2005119575A2 (en) * 2004-05-27 2005-12-15 Aperio Technologies, Inc Systems and methods for creating and viewing three dimensional virtual slides
US20060033752A1 (en) * 2004-08-13 2006-02-16 Gering David T Method and apparatus for displaying pixel data
WO2006028439A1 (en) * 2004-09-01 2006-03-16 Aperio Technologies, Inc. System and method for data management in a linear-array-based microscope slide scanner
US7512260B2 (en) * 2004-09-06 2009-03-31 Omron Corporation Substrate inspection method and apparatus
EP1851726B1 (en) * 2005-01-27 2018-11-28 Leica Biosystems Imaging, Inc. Systems and methods for viewing three dimensional virtual slides
US7634152B2 (en) * 2005-03-07 2009-12-15 Hewlett-Packard Development Company, L.P. System and method for correcting image vignetting
US8164622B2 (en) 2005-07-01 2012-04-24 Aperio Technologies, Inc. System and method for single optical axis multi-detector microscope slide scanner
US8194946B2 (en) * 2005-07-28 2012-06-05 Fujifilm Corporation Aligning apparatus, aligning method, and the program
US8203503B2 (en) * 2005-09-08 2012-06-19 Aechelon Technology, Inc. Sensor and display-independent quantitative per-pixel stimulation system
US7499586B2 (en) * 2005-10-04 2009-03-03 Microsoft Corporation Photographing big things
US8010555B2 (en) 2006-06-30 2011-08-30 Aperio Technologies, Inc. System and method for managing images over a network
US8086077B2 (en) * 2006-06-30 2011-12-27 Aperio Technologies, Inc. Method for storing and retrieving large images via DICOM
US7873238B2 (en) * 2006-08-30 2011-01-18 Pictometry International Corporation Mosaic oblique images and methods of making and using same
US7777718B2 (en) * 2006-12-06 2010-08-17 The Boeing Company Flight portal
CN101583974B (zh) * 2006-12-13 2012-11-14 杜比实验室特许公司 用于拼接数字图像的方法和设备
IL181889A (en) 2007-03-13 2010-11-30 Israel Aerospace Ind Ltd Method and system for providing a known reference point for an airborne imaging platform
EP2153401B1 (en) 2007-05-04 2016-12-28 Leica Biosystems Imaging, Inc. System and method for quality assurance in pathology
JP4578566B2 (ja) * 2007-10-15 2010-11-10 日本電信電話株式会社 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体
AU2008322565B9 (en) * 2007-11-14 2014-04-10 Intergraph Software Technologies Company Method and apparatus of taking aerial surveys
US20090232415A1 (en) * 2008-03-13 2009-09-17 Microsoft Corporation Platform for the production of seamless orthographic imagery
US8675068B2 (en) * 2008-04-11 2014-03-18 Nearmap Australia Pty Ltd Systems and methods of capturing large area images in detail including cascaded cameras and/or calibration features
US8588547B2 (en) 2008-08-05 2013-11-19 Pictometry International Corp. Cut-line steering methods for forming a mosaic image of a geographical area
TW201011259A (en) * 2008-09-12 2010-03-16 Wistron Corp Method capable of generating real-time 3D map images and navigation system thereof
EP3764085A3 (en) 2008-10-24 2021-03-24 Leica Biosystems Imaging Inc. Whole slide fluorescence scanner
ES2341696B1 (es) * 2008-12-23 2011-05-18 Consejo Superior De Investigaciones Cientificas (Csic) Metodo de caracterizacion de vegetacion.
EP2510494B1 (en) 2009-12-11 2021-12-22 Leica Biosystems Imaging, Inc. Improved signal to noise ratio in digital pathology image analysis
WO2011148199A1 (en) 2010-05-28 2011-12-01 Bae Systems Plc Simulating a terrain view from an airborne point of view
EP2390627A1 (en) * 2010-05-28 2011-11-30 BAE Systems PLC Simulating a terrain view from an airborne point of view
US8488907B1 (en) * 2011-08-19 2013-07-16 Google Inc. Hybrid images for maps combining low frequency map data and high frequency satellite image data
US9042674B2 (en) * 2013-03-15 2015-05-26 Digitalglobe, Inc. Automated geospatial image mosaic generation
JP2015186170A (ja) * 2014-03-26 2015-10-22 ソニー株式会社 画像処理装置および画像処理方法
US10089766B2 (en) 2014-03-28 2018-10-02 Konica Minolta Laboratory U.S.A., Inc Method and system of stitching aerial data using information from previous aerial images
CN105205796A (zh) 2014-06-30 2015-12-30 华为技术有限公司 广域图像获取方法和装置
FR3024931B1 (fr) * 2014-08-18 2016-09-02 Jean-Pierre Antikidis Procede de creation de cartes par traitement aleatoire de donnees recues de capteurs en mouvement
US9734599B2 (en) * 2014-10-08 2017-08-15 Microsoft Technology Licensing, Llc Cross-level image blending
US10484601B2 (en) * 2015-08-31 2019-11-19 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
FR3048800B1 (fr) * 2016-03-11 2018-04-06 Bertin Technologies Procede de traitement d'images
US9947108B1 (en) * 2016-05-09 2018-04-17 Scott Zhihao Chen Method and system for automatic detection and tracking of moving objects in panoramic video
US10535119B2 (en) 2017-08-11 2020-01-14 Intermap Technologies Inc. Method and apparatus for enhancing 3D model resolution
US10325349B2 (en) * 2017-08-11 2019-06-18 Intermap Technologies Inc. Method and apparatus for enhancing 3D model resolution
US10002407B1 (en) * 2017-08-11 2018-06-19 Intermap Technologies Inc. Method and apparatus for enhancing 3D model resolution
US10846530B2 (en) * 2018-12-18 2020-11-24 Bell Helicopter Textron Inc. Hyperspectral identification of target
US11216981B2 (en) 2019-07-26 2022-01-04 Cnh Industrial America Llc System and method for calibrating image data during an agricultural operation using a color indicator
US11532093B2 (en) 2019-10-10 2022-12-20 Intermap Technologies, Inc. First floor height estimation from optical images
EP3864615A1 (en) * 2019-12-20 2021-08-18 Google LLC Spatially varying reduction of haze in images
US11551366B2 (en) 2021-03-05 2023-01-10 Intermap Technologies, Inc. System and methods for correcting terrain elevations under forest canopy

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4261018A (en) * 1979-06-18 1981-04-07 Bell Telephone Laboratories, Incorporated Progressive image transmission
US4729127A (en) * 1981-10-20 1988-03-01 The United States Of America As Represented By The Secretary Of The Army Method and system for compression and reconstruction of cultural data for use in a digital moving map display
US4674125A (en) * 1983-06-27 1987-06-16 Rca Corporation Real-time hierarchal pyramid signal processing apparatus
GB8317407D0 (en) * 1983-06-27 1983-07-27 Rca Corp Image transform techniques
US4827528A (en) * 1985-11-15 1989-05-02 Stanford University Error-minimizing noise-reduction system
US4924521A (en) * 1987-12-18 1990-05-08 International Business Machines Corporation Image processing system and method employing combined black and white and gray scale image data
GB2213345B (en) * 1987-12-28 1992-01-15 Mitsubishi Electric Corp Image data filing system
US4876651A (en) * 1988-05-11 1989-10-24 Honeywell Inc. Digital map system

Also Published As

Publication number Publication date
US5187754A (en) 1993-02-16
IL101576A (en) 1995-10-31
JPH05143713A (ja) 1993-06-11
IL101576A0 (en) 1992-12-30

Similar Documents

Publication Publication Date Title
JP3429784B2 (ja) 複合像を発生する方法
US9959653B2 (en) Mosaic oblique images and methods of making and using same
EP3356887B1 (en) Method for stitching together images taken through fisheye lens in order to produce 360-degree spherical panorama
US7724977B2 (en) Method and system for providing formatted data to image processing means in accordance with a standard format
DE60218317T2 (de) Verfahren und system zur herstellung von auf geometrischen verzerrungen bezogenen formatierten informationen
Russ The image processing handbook
US5625765A (en) Vision systems including devices and methods for combining images for extended magnification schemes
US6983082B2 (en) Reality-based light environment for digital imaging in motion pictures
Sheng et al. True orthoimage production for forested areas from large-scale aerial photographs
US20110222757A1 (en) Systems and methods for 2D image and spatial data capture for 3D stereo imaging
US11181367B2 (en) Feature/ground height-based colored image generating apparatus and feature height-based colored image generating program
JP2002514359A (ja) モザイク画像を作成する方法及び装置
JP2011002892A (ja) モザイク画像生成方法、装置及びプログラム
JP4008686B2 (ja) テクスチャ編集装置、テクスチャ編集システムおよび方法
CN111667591A (zh) 基于全景摄影的虚拟现实融合方法
JP3981744B2 (ja) 画像補正方法及び画像補正装置
Bunis et al. Aerial Photography Field Office—National Agriculture Imagery Program (NAIP) Suggested Best Practices–Final Report
Kopelow Architectural photography the digital way
JPS6041169A (ja) 白黒画像に着色する方法
JPH11355807A (ja) ステレオ写真撮影による3次元画像表示方法および装置
JPH07244724A (ja) 地図作成方法および装置
Kelly et al. Image Processing and GIS Integration for Environmental Analysis
Grün Beiträge zum

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090516

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100516

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees