JPH0594514A - 光学撮像装置、および光学撮像装置の画像処理方法 - Google Patents

Abstract

(57)【要約】 【目的】 衛星搭載の画像取得装置の画像幾何歪みを画
像データのみを用いて除去する手段を提供することを目
的とするものである。 【構成】 画像取得装置の光学系結像面に第１の検出器
３とこれに近接して衛星の進行に伴いやや時間遅れをも
って画像を取得する第２の検出器１４を設ける。第１の
検出器から得られる画像中に第２の検出器から得られる
画像の対応点を見付け出すことにより、第１の検出器が
画像を取得してから第２の検出器が画像を取得するまで
の時間の間に生ずる姿勢の変動分を算出、これを積分す
ることにより画像取得装置の姿勢の変動を算出する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は人工衛星等に搭載して
地上の映像を撮影する光学撮像装置および撮像された画
像の処理方法に関するものである。

【０００２】

【従来の技術】図１５は例えば海洋観測衛星１号に搭載
された可視近赤外放射計と称される光学撮像装置を用い
る地球観測システムの全体構成の例を示すものであり、
図において１は衛星搭載撮像装置、２は光学系、３は複
数の光電変換検出器から成る、光電変換器、４は信号処
理装置、５はデータ伝送装置、６はデータ伝送用アンテ
ナ、７は衛星姿勢検出装置、８は地上の画像データ受信
アンテナ、９は姿勢データ受信用アンテナ、１０は画像
データ復調装置、１１は画像処理装置、１２はテレメト
リデータ復調装置、１３は処理済み画像データ、Ｌは光
学系への入射光線、Ｓは撮像装置を搭載する衛星の進行
方向、Ｅは地球方向、Ｗは電波による衛星と地上の回線
経路を表す。

【０００３】以上のように構成された従来の装置におい
て、光学撮像装置１の視野は、地球方向を向いており、
地球からの光線は光線経路Ｌにより、光学系２を経由し
て、検出器列３上に地球の画像を結像し、検出器列で光
電変換されて、信号処理装置４でフォーマットが整えら
れ、データ伝送装置５及びアンテナ６を介して電波伝送
経路Ｗを介して地上に伝送される。一方、衛星に搭載さ
れた姿勢検出装置７は衛星の時々刻々の姿勢変化を抽出
して、画像データと同様にデータ伝送装置５及びアンテ
ナ６、電波伝送経路Ｗを介して地上に伝送される。

【０００４】地上では衛星からの電波信号の内画像デー
タについてはアンテナ８で受信し、データ復調装置１０
で画像信号の復調を行ない、画像処理装置１１で画像中
の各種の歪みを補正して、画像１３を出力する。画像歪
みの内幾何学的歪みについては衛星の姿勢データを姿勢
データ受信用アンテナ９、テレメトリデータ復調装置１
２を介して受信復調し、画像処理装置への入力データと
して取り込まれ使用される。検出器列３は１次元に配列
された複数の光電変換検出器からなり、瞬時には線状の
画像を撮像し、衛星の進行Ｓに伴い、２次元の画像を構
成する。

【０００５】

【発明が解決しようとする課題】従来の光学撮像装置は
以上のように構成されているので、幾何学歪みの補正の
ためには、撮像された画像データの時刻と対応する姿勢
テレメトリデータを抽出しなければならず、また姿勢検
出装置そのものの精度と抽出時間間隔が撮像装置の要求
を満たす細かさでないため、不十分な姿勢データ精度の
データで歪み補正をしなければならず、補正歪みが残留
するなどの問題点があった。また、画像データの受信施
設とテレメトリデータの受信施設が同一地点にあること
がまれであるため、姿勢データを入手するための手続き
等の業務が必要であった。

【０００６】この発明は上記のような課題を解決するた
めになされたもので画像データと同一経路で姿勢データ
を伝送できると共に画像処理に適した高い頻度と精度の
姿勢検出出来る光学撮像装置およびその画像処理方法を
得ることを目的とする。

【０００７】

【課題を解決するための手段】この発明に係る光学撮像
装置およびその画像処理方法は、通常の光電変換検出器
列にもう一つの検出器列を付加し、撮像された画像と僅
かに時間のずれた画像を取得する機能を付加し、通常の
撮像画像と同時に伝送するようにしたものである。

【０００８】

【作用】この発明における光学撮像装置は、主検出器列
と第二の検出器列とにより構成され、二組の検出器列の
画像の対応点を見いだすことにより高精度で光学撮像装
置の姿勢を検出する。

【０００９】

【実施例】

実施例１．以下、この発明の実施例を図について説明す
る。図１において、１は衛星搭載撮像装置、２は光学
系、３は複数の光電変換検出素子から成る、検出器、４
は信号処理装置、５はデータ伝送装置、６はデータ伝送
用アンテナ、８は地上の画像データ受信アンテナ、１０
は画像データ復調装置、１１は画像処理装置、１３は処
理済み画像データ、１４は第２の検出器、Ｌは光学系へ
の入射光線、Ｓは撮像装置を搭載する衛星の進行方向、
Ｅは地球方向、Ｗは電波による衛星と地上の回線経路を
表す。

【００１０】また図２は図１の検出器３あるいは１４の
構成を示すもので、３は複数の光電変換検出素子から成
る、検出器、ｄｌ−ｄｎは複数の光電変換素子、Ｔは電
荷転送器で、ｔｌ−ｔｎは電荷結合素子、Ｄｆは光電変
換された電子が検出器Ｄから電荷転送器Ｔへの電荷移動
方向、Ｄｔは電荷転送器Ｔ内での電荷の転送方向、Ｏは
電荷読みだし端子、Ｂは検出器、電荷転送器を構成する
ベースプレート、Ｅは地球方向、Ｓは衛星進行方向、Ｃ
は衛星の進行と直交する方向である。

【００１１】図３は機能動作原理を説明するための図
で、Ｓは衛星の進行方向、Ｇｉは地上の位置を示すため
に等間隔で引かれた罫線、Ｆは第１の検出器の瞬時の撮
像位置、ＡＦは第１の検出器が撮像する瞬間における第
２の検出器の撮像位置、Ｓｐは第１の検出器と第２の検
出器の撮像位置のずれ、Ｇｒは衛星の姿勢変動によって
撮像画面上に投影される罫線の像を表す。

【００１２】図４はこの発明の光学撮像装置の画像デー
タの利用法の原理を説明するための図で、Ｉｍは第１の
検出器から得られる２次元画像、Ｐｒ１−Ｐｒ３は第２
の検出器から得られる小画像のある時刻の部分、Ｌｏｃ
は部分画像Ｐｒ１−Ｐｒ３の主センサ画像上の対応点の
軌跡を表す。

【００１３】以上のように構成されたこの発明の装置に
おいて、光学撮像装置１の視野は、地球方向を向いてお
り、地球からの光線は光線経路Ｌにより、光学系２を経
由して、第１の検出器３上および、これと位置の異なる
第２の検出器１４に地球の画像を結像し、両方の検出器
の光電変換素子列で光電変換されて、電気信号として図
２の電荷結合素子Ｔ、出力端Ｏ経由で取り出され、図１
の信号処理装置４でフォーマットが整えられ、データ伝
送装置５及びアンテナ６を介して電波伝送経路Ｗを介し
て地上に伝送される。一方、衛星に搭載された姿勢検出
装置７は衛星の時々刻々の姿勢変化を抽出して、画像デ
ータと同様にデータ伝送装置５及びアンテナ６、電波伝
送経路Ｗを介して地上に伝送される。

【００１４】地上では衛星からの電波信号の内画像デー
タについてはアンテナ８で受信、データ復調装置１０で
画像信号の復調を行ない、画像処理装置１１で画像中の
各種の歪みを補正して、画像１３を出力する。画像歪み
の内幾何学的歪みについては衛星の姿勢データを姿勢デ
ータ受信用アンテナ９、テレメトリデータ復調装置１２
を介して受信復調し、画像処理設備への入力データとし
て取り込まれ使用される。

【００１５】検出器列３は１次元に配列された複数の光
電変換検出器からなり、瞬時には線状の画像を撮像し、
衛星の進行Ｓに伴い、２次元の画像を構成する。検出器
３及び１４は図２に示すように構成されており、図１の
光学系２により検出器ｄｌ−ｄｎ上に結像された光信号
は検出器ｄｌ−ｄｎにより電気信号に変換され、瞬時に
対応する電荷結合素子ｔｌ−ｔｎに転送される。電荷結
合素子は隣合う素子の間をいわゆるバケツリレー方式で
電荷転送し端子Ｏに時系列で各検出器ｄｉの電荷を出力
する。従って、衛星から送られた電気信号の内第１の検
出器列から得られる信号を画像処理装置１１で再現した
撮像画面の瞬時の像は図３（ａ）に示すように、地上に
等間隔に引かれたと仮定する格子縞Ｇｉ上で、一定の方
向で等間隔に並んだ画素列Ｆを構成する。また第２の検
出器列からはその一部が伝送されるので、図３のＡＦで
示すような複数のグループに分かれる検出器列の像を構
成する。衛星の時々刻々の姿勢変化に伴い、検出器列の
瞬時の撮像方向が歪むので、地上で再現される画像は図
３（ｂ）に示すように等間隔の格子縞は歪んだものとな
る。この歪みの量は従来の方法では画像だけから計測す
ることは不可能であった。第１の検出器から得られる２
次元の画像上で第２の検出器から得られる小画像Ｐｒ１
−Ｐｒ３の対応点を見つけその軌跡を描いたものを図４
に示す。これは得られた画像のみで行なうことが可能な
閉じた処理である。ある時刻における、衛星姿勢変動が
無いと仮定した時の、対応位置をＰｉ１−Ｐｉ３とする
とき、実際の対応点がＰｒ１−Ｐｒ３であったとすれ
ば、ＰｉｋとＰｒｋのずれは、第１の検出器が画像を取
得してから、第２の検出器が画像を取得するまでの間の
姿勢の変化分を表す。第２の検出器の取得小画像のグル
ープ数を最低２個設ければ、衛星の姿勢変化分の全ての
要素（ロール、ピッチおよびヨー）を分離抽出出来る。
これを積分すれば姿勢が算出可能である。

【００１６】以上述べたようにこの方式によれば、衛星
姿勢を画像の各画素の画像データ取得の時間間隔で抽出
出来るので、極めて高精度で姿勢の算出が可能で画像歪
みの補正を高い精度で実施出来るという利点がある。

【００１７】以上の実施例では第２の検出器のグループ
の数が３の場合について説明したが、この発明ではこれ
に限らず２個以上の任意の場合について全く同様に実施
できる。また１個の場合でも精度の劣化はあるものの同
様に実施できる。

【００１８】実施例２．図５はこの発明の実施例２を示
すものである。図において、Ｆは第１の検出器、ＡＦは
第２の検出器、Ｐｋｇはパッケージ、Ｂはベース、Ｄは
光電変換素子列、Ｃｎｔは信号取りだし及び制御用電極
端子列、Ｆ１１およびＦ１２は光電変換検出素子列の前
方に配置されたフィルタ板である。

【００１９】図において、ＦおよびＡＦを実施例１の光
学撮像装置の３および１４に使用すれば、第１の検出器
には光学系により結像された地上の像の内フィルタＦ１
１の透過波長域の光線のみが光電変換素子列Ｄに到達し
光電変換される。また、第２の検出器には光学系により
結像された地上の像の内フィルタＦ１２の透過波長域の
光線のみが光線変換素子列Ｄに到達し光電変換される。
これらの電気信号は電極Ｃｎｔを経由して外部に取り出
され、実施例１と同様の経路をへて地上へ伝送され画像
処理される。実施例１では対応点を見いだし易くするた
め２個のフィルタ板の透過波長域は同一に設定されてい
たが、このフィルタ板の透過波長をずらせて、やや異な
る波長で観測しても、実施例１とほぼ同様に姿勢検出を
行なえることは、容易に理解される。

【００２０】この方式によれば異なるフィルタ透過波長
域を利用することにより、第１の検出器と第２の検出器
でマルチスペクトル画像を撮像することも可能で、従来
のマルチスペクトル画像撮像装置と同一のデータ伝送量
で姿勢の検出とマルチスペクトル画像の撮像という２個
の機能を果たすことが可能であるという利点がある。

【００２１】実施例３．図６は実施例１の画像取得装置
を用いて人工衛星の姿勢を検出するこの発明の実施例３
を示すものである。図において、１３ａは第１の検出器
から得られる画像データ、１３ｂは第２の検出器から得
られる画像データ、１５は画像復元装置、１６は相関演
算器、１７は姿勢算出器、１８は出力データである。

【００２２】また図７は姿勢算出の概念を示す図であっ
て、図においてＩｍは第１の検出器で得られる２次元画
像、Ｐｒ１およびＰｒ２は第２の検出器で得られる小画
像のある時刻の部分、Ｐｉ１およびＰｉ２は第１の画像
と第２の画像のある時刻における対応位置、Ｓは衛星進
行方向、Ｒ，ＰおよびＹはそれぞれ衛星の姿勢変動のロ
ール、ピッチおよびヨー成分に対応する画素ずれを表
す。

【００２３】以上の構成において、取得画像は図６の画
像データ１３ａおよび１３ｂとして画像復元装置１５に
取り込まれ、第１の検出器から得られて、２次元に復元
された画像は図７のＩｍとなる。図６の相関演算器１６
において第２の検出器からえられた小画像の時々刻々の
部分をＩｍ上で移動させ対応する位置（画像が一致する
位置）を見いだす。ある時刻における対応位置が、図７
のＰｒ１およびＰｒ２となったとする。このとき衛星の
姿勢変化が無いと仮定した時の対応位置は検出器の機械
的配置、光学系の焦点距離と衛星高度より求められ同図
のＰｉ１およびＰｉ２で与えられるものとする。この対
応位置のずれから図７に示すように、衛星の姿勢変化分
Ｒ，ＰおよびＹを分離することが可能である。これは第
１の検出器が画像を取得してから第２の検出器が画像を
取得するまでの時間の姿勢変化であるのでこれを姿勢算
出装置１７で画像取得のはじめから積分することにより
時々刻々の姿勢を算出し姿勢データ１８に出力出来る。

【００２４】以上述べたようにこの構成によれば、画像
データのみで姿勢を算出することが可能であるととも
に、画像取得センサーそのものの姿勢変動が抽出出来る
という大きな利点を有する。

【００２５】実施例４．図８は実施例１の画像取得装置
を用いて画像に含まれる地形の高低に起因するパラパッ
クス歪みを除去するこの発明の一実施例を示すものであ
る。図において、１３ａは第１の検出器から得られる画
像データ、１３ｂは第２の検出器から得られる画像デー
タ、１５は画像復元装置、１９は姿勢算出装置、２０は
パララックス除去装置、１３は出力画像である。

【００２６】また図９は得られる画像の概念を示す図で
あって、図においてＩｍは第１の検出器で得られる２次
元画像、Ｐｒは第２の検出器で得られる２次元画像のあ
る時刻の部分、ＬｏはＩｍ上でＰｒの該当する部分の軌
跡を表す。

【００２７】また図１０は地形の高低に起因するパララ
ックスの要因を示す図である。図においてＳは衛星進行
方向、Ｒ，ＰおよびＹはそれぞれ衛星の姿勢変動のロー
ル、ピッチおよびヨー成分に対応する画素ずれ、Ｉｍは
第１の検出器で得られる２次元画像、Ａｃは第２の検出
器のある時刻における第１の画像への対応点の集合、Ｌ
ｓは対応点の集合の平均直線、Ｉｄは姿勢変化の無い場
合の対応点の軌跡の計算値、Ｒ，ＰおよびＹは算出され
た姿勢変動分、Ｐａｒａは地形の高低に起因するパララ
ックスの量を表す。

【００２８】以上の構成において、実施例３に示すもの
と同様な方法で各画素に対応する姿勢変化分を求める。
第２の検出器列のすべての画素データが取得されている
ので、全ての画素についての画素ずれの平均直線Ｌｓが
求められると同時に、ＬｓとＡｃの差が求められこれは
それぞれ、姿勢変化分とその残差である。残差は地形の
高低により生じたパララックス分と考えられるのでこの
成分による画素ずれを画素間の内挿演算により歪み分ず
れた位置に対応する画素の信号の大きさを求めてやれば
画像の微細な幾何学歪みが除去され歪みの少ない画像を
得られる。

【００２９】以上述べたようにこの発明の方法によれば
画像データのみを用いて歪みを除去することが出来、衛
星画像処理に適用して極めて効果が大きい。

【００３０】実施例５．図１１は実施例１の画像取得装
置を用いて画像に含まれる地形の高低に起因するパラパ
ックス歪みを用いて地形図を作成するこの発明の一実施
例を示すものである。図において、１３ａは第１の検出
器から得られる画像データ、１３ｂは第２の検出器から
得られる画像データ、１５は画像復元装置、１９は姿勢
算出装置、２１は地形図抽出装置、２２は出力地形図で
ある。また図１２は地形の高低に起因するパララックス
の要因を示す図である。

【００３１】図においてＳは衛星進行方向、Ｒ，Ｐおよ
びＹはそれぞれ衛星の姿勢変動のロール、ピッチおよび
ヨー成分に対応する画素ずれ、Ｉｍは第１の検出器で得
られる２次元画像、Ａｃは第２の検出器のある時刻にお
ける第１の画像への対応点の集合、Ｌｓは対応点の集合
の平均直線、Ｉｄは姿勢変化の無い場合の対応点の軌跡
の計算値、Ｒ，ＰおよびＹは算出された姿勢変動分、Ｐ
ａｒａは地形の高低に起因するパララックスの量を表
す。

【００３２】以上の構成において、実施例４に示すもの
と同様な方法で各画素に対応する姿勢変化分を求める。
第２の検出器列のすべての画素データが取得されている
ので、全ての画素についての画素ずれの平均直線Ｌｓが
求められると同時に、ＬｓとＡｃの差が求められこれは
それぞれ、姿勢変化分とその残差である。残差の衛星進
行方向成分は地形の高低により生じたパララックス分と
考えられるので、この成分による歪み量を算出すること
により地形の高低を判別出来地形図を作成することが可
能である。

【００３３】以上述べたようにこの発明の方法によれば
画像データのみを用いて地形の高低を判別出来地形図を
作成することが可能であるという大きな利点がある。

【００３４】実施例６．図１３は実施例１の画像取得装
置において、検出器１及び検出器１４を同一のパッケー
ジに収容した実施例を示すものである。図においてＦは
第１の検出器、ＡＦは第２の検出器、（Ｂ）はベースで
ある。２組の検出器が同一のベース上に構成されるの
で、検出器の配列を極めて精度よく決定でき、歪み補正
あるいはパララックスの抽出精度を高められるという利
点がある。

【００３５】実施例７．図１４は実施例１の画像取得装
置において、検出器１及び検出器１４を互いに並行でな
いように配置した実施例を示すものである。図において
Ｆは第１の検出器、ＡＦは第２の検出器である。２組の
検出器が第１の検出器と並行でないため並行である場合
に生ずる第１の検出器と第２の検出器の間隔の整数分の
１の波長の振動数を持つ姿勢変動に対する不感帯を除去
し高い精度で姿勢算出が出来るという利点がある。

【００３６】

【発明の効果】以上述べたようにこの発明による画像撮
像装置によれば、画像のみで他の方法によらずに、高精
度で姿勢変動の抽出や地形の高低に起因するパララック
スの抽出を行なえ、かつ頻度も多く姿勢データを得られ
るので、歪の少ない画像を容易に得ることが可能で、衛
星搭載のリモートセンサに使用して極めて有効である。

【図面の簡単な説明】

【図１】この発明の実施例１による光学撮像装置の構成
図である。

【図２】この発明の実施例１の検出器の構成図である。

【図３】この発明の実施例１の機能原理を示す図であ
る。

【図４】この発明の実施例１の地上処理の原理図であ
る。

【図５】この発明の実施例２による光学撮像装置の検出
器の構成図である。

【図６】この発明の実施例３による画像処理方式の構成
図である。

【図７】この発明の実施例３による姿勢算出の概念図で
ある。

【図８】この発明の実施例４による画像処理方式の構成
図である。

【図９】この発明の実施例４による取得画像の概念図で
ある。

【図１０】この発明の実施例４によるパララックスの概
念図である。

【図１１】この発明の実施例５による画像処理方式の構
成図である。

【図１２】この発明の実施例５のパララックスの要因図
である。

【図１３】この発明の実施例６による光学撮像装置の検
出器の構造図である。

【図１４】この発明の実施例７による光学撮像装置の検
出器の構造図である。

【図１５】従来の光学撮像装置を示す構成図である。

【符号の説明】

１ 衛星搭載撮像装置 ２ 光学系 ３ 第１の検出器 ５ データ伝送装置 １１ 画像処理装置 １４ 第２の検出器 １６ 相関演算装置 １９ 姿勢算出装置 Ｌ 光学系への入射光線 Ｓ 衛星の進行方向 Ｅ 地球方向 Ｆ１１ フィルタ Ｆ１２ フィルタ Ｆ 第１の検出器 ＡＦ 第２の検出器

Claims (6)

【特許請求の範囲】
1. 【請求項１】 航空機あるいは人工衛星などの飛しょう
   体に搭載し、光学結像系と直線状に配列された検出器ア
   レーとからなる画像取得系を持つ光学撮像装置におい
   て、上記検出器アレーが２組の直線状配列検出器からな
   り、第一組の直線状配列検出器は第二の組と略平行且つ
   結像面上で異なる位置の画像を第一組の検出器と同時刻
   にデータ取得し、第一の組は有効画像のすべてを取得し
   伝送し、また第二の組は有効画像の一部を取り出して伝
   送することを特徴とする光学撮像装置。
2. 【請求項２】 第１の検出器配列の撮像する光の波長と
   第２の検出器配列の撮像する光の波長とが異なるか、異
   なる部分をもつことを特徴とする請求項第１項記載の光
   学撮像装置。
3. 【請求項３】 請求項第１項あるいは第２項記載の光学
   撮像装置の画像から第１の検出器により得られた画像と
   第２の検出器により得られた部分画像の対応点を求め、
   この対応位置の相対変化を利用して、撮像装置の姿勢変
   化を検出することを特徴とする光学撮像装置の画像処理
   方法。
4. 【請求項４】 請求項第１項記載の光学撮像装置におい
   て、第２の検出器配列の組の全てのデータを伝送し、第
   １の検出器により得られた画像と第２の検出器により得
   られた部分画像の対応点を求め、この対応位置の相対変
   化の平均値を利用して、撮像装置の姿勢変化を検出し、
   各画素の相対対応点の変化から上記平均値を差し引いて
   得られる差分値から観測対象の地形の高低に基づくパラ
   ラックスを検出し、その差分値による画像歪みを画素デ
   ータ間の内挿入演算により除去することを特徴とする光
   学撮像装置の画像処理方法。
5. 【請求項５】 請求項第１項記載の光学撮像装置におい
   て、第２の検出器配列の組の全てのデータを伝送し、第
   １の検出器により得られた画像と第２の検出器により得
   られた部分画像の対応点を求め、この対応位置の相対変
   化の平均値を利用して、撮像装置の姿勢変化を検出し、
   各画素の相対対応点の変化から上記平均値を差し引いて
   得られる差分値から観測対象の地形の高低に基づくパラ
   ラックスを検出し、その差分値による画像歪み量から地
   形の高低情報を抽出することを特徴とする光学撮像装置
   の画像処理方法。
6. 【請求項６】 第２の検出器列を第１の検出器列と並行
   でないように構成した事を特徴とする請求項第１項記載
   の光学撮像装置。