JP7058590B2

JP7058590B2 - 画像歪検出装置及び画像歪検出プログラム

Info

Publication number: JP7058590B2
Application number: JP2018224139A
Authority: JP
Inventors: 裕美山本; 諭若林; 善隆豊田; 正浩川口
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2018-11-29
Filing date: 2018-11-29
Publication date: 2022-04-22
Anticipated expiration: 2038-11-29
Also published as: JP2020088760A

Description

本発明は、画像の歪を検出する、画像歪検出装置及び画像歪検出プログラムに関する。例えば、人工衛星に搭載された機器が発生させる微小振動で衛星に搭載される光学センサ装置の視線が動揺する場合に、取得された画像の歪み量を検出する、画像歪検出に関する。

人工衛星に搭載される機器の中にはＣＭＧ（ＣｏｎｔｒｏｌＭｏｍｅｎｔＧｙｒｏＳ）、リアクションホイール及び機械駆動式アンテナのように、微小振動を発生させる機器がある。この微小振動によって、光学センサ装置の視線が正弦波状に動揺することがある。光学センサ装置による画像取得時には、この動揺により取得した画像上で画像歪みが発生する可能性がある。この画像歪みにより画質の低下、及び画像プロダクトの位置精度低下が生じるため、画像歪み量を正確に検出することが求められる。

画像歪み量を検出する方式としては、例えば、特許文献１がある。特許文献１では、主センサとなるＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）に後続するように振動検出用ＣＣＤを設置し、２つの画像から対応点を求めて姿勢変動分を算出し、これらを積分することで姿勢変化を検出していた。

特開平５－９４５１４号公報

特許文献１に記載の方法では、主として利用するＣＣＤに加えて振動検出用にＣＣＤをもう一つ用意する必要がある。

また、特許文献１に記載の方法は、隣接するＣＣＤ間に生じる姿勢の変動分を積分することによって姿勢変動量を検出している。特許文献１では、振動による時刻ごとの姿勢変動量が正確に求まることが前提である。とくに画像の対応点が取りづらい雲及び海のような特徴の少ない領域で精度が低下する課題については言及されていない。

本発明は、人工衛星に搭載された機器が発生させる微小振動によって衛星搭載光学センサの視線が動揺する場合に生じる画像歪み量を、歪み検出用ＣＣＤを追加することなく、かつ、より高い精度で検出することを目的とする。

この発明の画像歪検出装置は、
複数の撮像素子を有する複数のラインセンサがスタガ配置され、隣接するラインセンサどうしは端部がライン方向で対向するように前記ライン方向でずれて配置されている光学センサ装置の取得した画像情報から、第１のラインセンサの前記端部が撮影した画像領域を示す第１の端部領域と、前記第１のラインセンサに隣接する第２のラインセンサの前記端部が撮影した画像領域を示す第２の端部領域とを取得する取得部と、
前記第１の端部領域の画像上の点を示す参照点に対応する前記第２の端部領域の画像上の対応点を前記ライン方向の複数の位置で決定し、前記参照点に対する前記対応点の変動量を決定する対応点決定部と、
前記ライン方向の複数の位置で決定された複数の前記変動量に周期関数を当てはめて前記周期関数の振幅と位相とを決定するフィッティング部と、
前記周期関数の前記振幅及び前記位相と、前記第１のラインセンサと前記第２のラインセンサとの前記ライン方向のずれ量とに基づいて、前記第１のラインセンサで撮影される画像の周期的な歪みと前記第２のラインセンサで撮影される画像の周期的な歪みとを検出する歪検出部と
を備える。

本発明により、人工衛星に搭載された機器が発生させる微小振動によって衛星搭載光学センサの視線が動揺する場合に生じる画像歪み量を、歪み検出用ＣＣＤを追加することなく、かつ、より高い精度で検出する装置を提供できる。

実施の形態１の図で、画像情報伝送システム１０００を示す図。実施の形態１の図で、画像歪検出装置１００のハードウェア構成を示す図。実施の形態１の図で、ラインセンサのスタガ配置を示す図。実施の形態１の図で、画像歪検出装置１００の処理を示すフローチャート。実施の形態１の図で、取得部１１によって取得される画像の模式図。実施の形態１の図で、対応点決定部１２の処理を模式的に示す図。実施の形態１の図で、ライン毎に検出ポイントの設定間隔を設定した状態を示す図。実施の形態１の図で、フィッティング部１３による周期関数フィッティングの処理を模式的に示す図。実施の形態１の図で、隣接するラインセンサ２０１、ラインセンサ２０２のオーバーラップ領域２０１ｃ、２０２ｃにおける画像上の周期的な変動量ｄｘを示す模式図。実施の形態１の図で、変形例１から変形例５に対応する画像歪検出装置１００のハードウェア構成を示す図。

実施の形態１．
図２から図１０を参照して、実施の形態１の画像歪検出装置１００を説明する。

＊＊＊構成の説明＊＊＊
図１は、画像歪検出装置１００が使用される画像情報伝送システム１０００を示す。
画像情報伝送システム１０００は、人工衛星３００と地上装置４００とを備えている。人工衛星３００には、光学センサ装置２００と衛星側通信装置２１０とが搭載されている。地上装置４００は、地上側通信装置４１０と画像解析装置４２０とを備えている。
画像解析装置４２０は画像歪検出装置１００を備えている。
人工衛星３００に搭載された光学センサ装置２００の画像情報が、衛星側通信装置２１０から、衛星側通信装置２１０のアンテナ２１１を介して地上側通信装置４１０にデータ伝送される。地上側通信装置４１０はアンテナ４１１を介して画像情報を衛星側通信装置２１０から受信する。地上側通信装置４１０は、受信した画像情報を画像解析装置４２０の画像歪検出装置１００に伝送する。地上５００における画像解析装置４２０の備える画像歪検出装置１００は、地上側通信装置４１０から伝送された画像情報から後述のオーバーラップ領域を取得し、画像の歪み量を検出する。
図２は、画像歪検出装置１００のハードウェア構成を示す。画像歪検出装置１００は、コンピュータである。画像歪検出装置１００は、プロセッサ１０を備えるとともに、主記憶装置２０、補助記憶装置３０、入力インタフェース４０、出力インタフェース５０及び通信インタフェース６０といった他のハードウェアを備える。図２ではインタフェースはＩＦと表記している。プロセッサ１０は、信号線８０を介して他のハードウェアと接続され、これら他のハードウェアを制御する。

画像歪検出装置１００は、機能要素として、取得部１１、対応点決定部１２，フィッティング部１３、歪検出部１４及び出力部１５を備える。取得部１１、対応点決定部１２，フィッティング部１３、歪検出部１４及び出力部１５の機能は、画像歪検出プログラム１０１により実現される。

プロセッサ１０は、画像歪検出プログラム１０１を実行する装置である。画像歪検出プログラム１０１は、取得部１１、対応点決定部１２，フィッティング部１３、歪検出部１４及び出力部１５の機能を実現するプログラムである。プロセッサ１０は、演算処理を行うＩＣ（ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）である。プロセッサ１０の具体例は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ
ＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）である。ＣＰＵ、ＤＳＰ及びＣＰＵのようなプロセッサは、プロセッシングサーキットリーと呼ばれることもある。

主記憶装置２０は、データを一時的に記憶する記憶装置である。主記憶装置２０の具体例は、ＳＲＡＭ（ＳｔａｔｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）である。主記憶装置２０は、プロセッサ１０の演算結果を保持する。
補助記憶装置３０は、データを不揮発的に保管する記憶装置である。補助記憶装置３０の具体例は、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）である。また、補助記憶装置３０は、ＳＤ（登録商標）（ＳｅｃｕｒｅＤｉｇｉｔａｌ）メモリカード、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）といった可搬記録媒体であってもよい。

入力インタフェース４０は、各種機器が接続され、各種機器のデータが入力されるポートである。図２では入力インタフェース４０には画像情報が入力される。
出力インタフェース５０は、各種機器が接続され、各種機器にプロセッサ１０によりデータが出力されるポートである。
通信インタフェース６０は、各種機器が接続され、各種機器とプロセッサ１０が通信する通信ポートである。

画像歪検出プログラム１０１は、補助記憶装置３０に格納されている。プロセッサ１０は補助記憶装置３０から画像歪検出プログラム１０１を主記憶装置２０にロードし、主記憶装置２０から画像歪検出プログラム１０１を読み込み実行する。主記憶装置２０には、画像歪検出プログラム１０１だけでなく、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）も記憶されている。プロセッサ１０は、ＯＳを実行しながら、画像歪検出プログラム１０１を実行する。

画像歪検出装置１００は、プロセッサ１０を代替する複数のプロセッサを備えていてもよい。例えば、画像歪検出装置１００は、別途、画像処理プロセッサを備えてもよい。これら複数のプロセッサは、画像歪検出プログラム１０１の実行を分担する。それぞれのプロセッサは、プロセッサ１０と同じように、画像歪検出プログラム１０１を実行する装置である。

画像歪検出プログラム１０１により利用、処理または出力されるデータ、情報、信号値及び変数値は、主記憶装置２０、補助記憶装置３０、または、プロセッサ１０内のレジスタあるいはキャッシュメモリに記憶される。

画像歪検出プログラム１０１は、取得部１１、対応点決定部１２，フィッティング部１３、歪検出部１４及び出力部１５の各部の「部」を、「処理」、「手順」あるいは「工程」に読み替えた各処理、各手順あるいは各工程をコンピュータに実行させるプログラムである。
また、画像歪検出方法は、コンピュータである画像歪検出装置１００が画像歪検出プログラム１０１を実行することにより行われる方法である。画像歪検出プログラム１０１は、コンピュータ読取可能な記録媒体に格納されて提供されてもよいし、プログラムプロダクトとして提供されてもよい。

広い観測幅を得るために撮像素子を有するラインセンサがスタガ配置され、かつ、隣接するラインセンサどうしがオーバーラップを有するように配置されている光学センサ装置２００で撮像された画像について、画像歪検出装置１００は、画像歪みを検出する。ラインセンサは、複数の撮像素子がライン方向と垂直な方向にならんだものである。光学センサ装置２００で用いるラインセンサは、撮像素子が一列に配置されたものでもよいし、ＴＤＩ（ＴｉｍｅＤｅｌａｙＩｎｔｅｇｒａｔｉｏｎ）センサのように垂直方向に複数列配置されたものでもよい。
図３は、スタガ配置を示す。図３の光学センサ装置２００では、複数の撮像素子を有する複数のラインセンサ２０１，２０２，２０３，２０４、・・・が、隣接するラインセンサどうしは端部がライン方向で対向するようにライン方向でずれて配置されている。このようなラインセンサの配置をスタガ配置という。

＊＊＊動作の説明＊＊＊
図４は、画像歪検出装置１００の処理を示すフローチャートである。以下、図４に沿って、画像歪検出装置１００の動作を説明する。図４の括弧内は動作の主体を示す。図４に示す画像歪検出装置１００の動作は画像歪検出方法に相当する。また、画像歪検出装置１００の動作は画像歪検出プログラムの処理に相当する。以下では、まず画像歪検出装置１００の処理の概要を述べ、その後に、詳細を説明する。

＜ステップＳ１１＞
ステップＳ１１では、取得部１１が、互いに隣接するラインセンサ２０１、ラインセンサ２０２のオーバーラップ領域２０１ｃ、２０２ｃの画像を取得する。取得部１１は、図１に示すように、地上側通信装置４１０が伝送された画像情報から、オーバーラップ領域２０１ｃ、２０２ｃの画像を抽出して取得する。地上側通信装置４１０が伝送された画像情報は光学センサ装置２００の取得した画像情報である。

＜ステップＳ１２＞
ステップＳ１２では、対応点決定部１２が、隣接する２つのラインセンサ２０１、ラインセンサ２０２で取得した画像２０１ｂ、２０２ｂ上のオーバーラップ領域２０１ｃ、２０２ｃにおける対応点をライン方向の複数の位置で求める。

＜ステップＳ１３＞
ステップＳ１３では、フィッティング部１３が、対応点どうしの相対位置変動量を、周期関数でライン方向にフィッティングする。

＜ステップＳ１４＞
ステップＳ１４では、歪検出部１４が、フィッティング結果の周期関数の振幅Ｃと位相θとから、ラインセンサ２０１とラインセンサ２０２との間のライン方向のずれ量Ｄ（後述の図５）をもとに、ラインセンサ２０１による画像２０１ｂとラインセンサ２０２による画像２０２ｂとに含まれる画像歪の振動の、振幅Ｃと位相θを算出する。

＜ステップＳ１５＞
ステップＳ１５では、出力部１５が、処理結果を出力する。
以下に、それぞれのステップを詳細に説明する。

＜ステップＳ１１＞
図５は、取得部１１によって取得される画像の模式図を示す。取得部１１は、第１のラインセンサであるラインセンサ２０１の端部２０１ａが撮影した画像領域を示す第１の端部領域と、ラインセンサ２０１に隣接する第２のラインセンサであるラインセンサ２０２の端部２０２ａが撮影した画像領域を示す第２の端部領域とを、光学センサ装置２００が撮影した画像情報から抽出することで取得する。第１の端部領域はオーバーラップ領域２０１ｃであり、第２の端部領域はオーバーラップ領域２０２ｃである。図５において、Ｘ方向はラインセンサの画素の並び方向、Ｙ方向はスキャン方向である。スキャン方向はライン方向と呼ばれることもあるが、以下では、Ｙ方向をライン方向Ｙと表記する。

既に述べた図３に示すように、衛星に搭載される光学センサ装置２００では、ライン方向Ｙにずれた位置にラインセンサが２列に配置され、かつ、隣接するラインセンサどうしはオーバーラップ領域を有するように配置されている。図５において、ラインセンサ２０１及びラインセンサ２０１は、スタガ配置されたラインセンサ配列のうち、隣接するラインセンサの対を表している。また、図５では、ラインセンサ２０１で地上をスキャンして撮影された画像を画像２０１ｂ、ラインセンサ２０２で地上をスキャンして撮影された画像を画像２０２ｂとして示している。画像２０１ｂの右端と画像２０２ｂの左端とのそれぞれの領域は、オーバーラップ領域である。画像２０１ｂの右端をオーバーラップ領域２０１ｃ、画像２０２ｂの左端をオーバーラップ領域２０２ｃと表記している。取得部１１は、互いに隣接するラインセンサ２０１及びラインセンサ２０２の、オーバーラップ領域２０１ｃの画像及びオーバーラップ領域２０２ｃの画像を、光学センサ装置２００が取得した画像から取得する。

＜ステップＳ１２＞
図６は、対応点決定部１２の処理を模式的に示す。対応点決定部１２は、第１の端部領域であるーバーラップ領域２０１ｃの画像上の点を示す参照点に対応する第２の端部領域であるオーバーラップ領域２０２ｃの画像上の対応点をライン方向Ｙの複数の位置で決定し、参照点に対する対応点の変動量ｄｘを決定する。参照点は対応点であるが、以下ではオーバーラップ領域２０１ｃの画像上の対応点を参照点と呼び、オーバーラップ領域２０２ｃの画像上の対応点を「対応点」と呼ぶ。
対応点決定部１２は、オーバーラップ領域２０１ｃの画像とオーバーラップ領域２０２ｃの画像とにおける参照点と対応点をライン方向Ｙの複数の位置で求める。図６では、対応点決定部１２は、ライン方向Ｙに等間隔に対応点検出ポイントを設定し、それぞれのポイントで、オーバーラップ領域２０１ｃの画像に対する、オーバーラップ領域２０２ｃの画像の変動量ｄｘを求めている。図６では、点Ｐ１から点Ｐ８がオーバーラップ領域２０１ｃの参照点であり、点Ｑ１から点Ｑ８がオーバーラップ領域２０２ｃの対応点である。数字の同じ点どうしが対応する。つまり、点Ｐ１と点Ｑ１が対応し、点Ｐ２と点Ｑ２が対応し、以下同様に、・・・点Ｐ８と点Ｑ８が対応する。点Ｒ１から点Ｒ８が、点Ｐ１と点Ｑ１から点Ｐ８と点Ｑ８の各変動量を示す。例えば、点Ｑ１は点Ｐ１に対して点Ｒ１の示す変動量ｄｘだけずれている。変動量ｄｘの算出方法は、オーバーラップ領域２０１ｃの画像を固定し、オーバーラップ領域２０１ｃの画像をＸ方向にずらしながら、相関が最も高くなるずらし量を算出する１次元探索により行うことができる。

対応点決定部１２による対応点の検出ポイントの設定間隔は、ライン毎であってもよい。
図７は、ライン毎に検出ポイントの設定間隔を設定した状態を示す。図７においてＬ_１からＬ_８はライン番号である。あるいは、一定の間隔を空けて、ラインを間引いて検出ポイントを設定してもよい。また対応点決定部１２は、特徴的な画像が存在する領域を検出し、対応点検出ポイントを不等間隔に設定してもよい。参照点及び対応点の検出ポイントの設定間隔は、フィッティング対象となる振動の周期が既知である場合には、振動周期の１／２以下よりも十分に小さい間隔で設定すればよい。

＜ステップＳ１３＞
図８は、フィッティング部１３による周期関数フィッティングの処理を模式的に示す。フィッティング部１３は、ライン方向Ｙの複数の位置で決定された複数の変動量ｄｘに周期関数を当てはめて周期関数の振幅と位相とを決定する。ライン毎に検出ポイントの設定間隔を設定した場合を例に説明する。フィッティング部１３は、各ラインで検出された相対位置の変動量ｄｘを、周期関数、例えば、三角関数でフィッティングする。図８の場合、フィッティング部１３は、点Ｒ１から点Ｒ８を周期関数でフィッティングする。対象となる振動の周期が既知である場合、振幅及び位相のみを変数として、最小二乗法によりフィッティングをかけることができる。また、対象となる振動の周期は未知であるがその周期が所定の周期の範囲内にある場合、まず、フィッティング部１３は、所定の範囲内で周期を振って周期の最適値を求めた後、振幅及び位相を変数として、最小二乗法によりフィッティングをかけることができる。

＜ステップＳ１４＞
歪検出部１４は、周期関数の振幅及び位相と、ラインセンサ２０１とラインセンサ２０２とのライン方向Ｙのずれ量Ｄとに基づいて、ラインセンサ２０１で撮影される画像の周期的な歪みと、ラインセンサ２０２で撮影される画像の周期的な歪みとを検出する。
歪検出部１４は、フィッティング部１３によるフィッティング結果の周期関数の振幅と位相から、ラインセンサ２０１とラインセンサ２０２との間のライン方向Ｙのずれ量Ｄ（図５）をもとに、ラインセンサ２０１の画像２０１ｂ、ラインセンサ２０２の画像２０２ｂに含まれる、周期的な歪みの振幅と位相を検出する。
図９は、隣接するラインセンサ２０１、ラインセンサ２０２のオーバーラップ領域２０１ｃ、２０２ｃにおける画像上の周期的な歪みである変動量ｄｘを示す模式図である。ラインセンサ２０１の画像２０１ｂ及びラインセンサ２０２の画像２０２ｂのＸ方向の位置はそろえて切り出すことを前提とすると、画像２０１ｂ、画像２０２ｂに含まれる周期的な歪みは、振幅Ｃと位相θが未知の正弦波関数として、（式１）、（式２）のように表することができる。
式１は画像２０１ｂに含まれる周期的な歪みを示し、式２は画像２０２ｂに含まれる周期的な歪みを示す。
Ｄ_ＣＣＤ１（Ｌ_ｎ）＝－Ｃ＊Ｓｉｎ（２πｆＬ_ｎ＋θ）（式１）
Ｄ_ＣＣＤ２（Ｌ_ｎ）＝－Ｃ＊Ｓｉｎ（２πｆＬ_ｎ＋θ＋φ）（式２）
式１、式２において、ｆは周期的な歪みの周波数であり、ＣＭＧ、リアクションホイール等の微小振動を発生させる機器に基づき、推定することができる。また、Ｌ_ｎはライン番号（図７）を示す。φはライン方向Ｙのずれ量Ｄ（図５）から計算される定数である。
一方、対応点決定部１２にて検出し、フィッティング部１３でフィッティングされた周期関数は、式１と式２の差分に相当する周期関数であり、式３及び式４により示される。
△_{ＣＣＤ２－ＣＣＤ１}（Ｌ_ｎ）
＝－Ｃ＊｛Ｓｉｎ（２πｆＬ_ｎ＋θ）－Ｓｉｎ（２πｆＬ＋θ＋φ）｝（式３）
＝２Ｃ＊Ｓｉｎ（φ／２）＊Ｃｏｓ（２πｆＬ_ｎ＋θ＋φ／２）（式４）
ここで、式４における項を次のように置く。
Ｃ´＝２Ｃ＊Ｓｉｎ（φ／２）（式５）
θ´＝θ＋φ／２（式６）
式５、式６を用いることで、式４が次に示す式７のように変形でき、フィッティング部１３においては式７を用いた最小二乗法により振幅をＣ´、位相をθ´を推定することができる。
△_{ＣＣＤ２－ＣＣＤ１}（Ｌ_ｎ）＝Ｃ´＊Ｃｏｓ（２πｆＬ_ｎ＋θ´）（式７）
フィッティング部１３において、式７を用いてＣ´、θ´について解くことで、式１及び式２における振幅Ｃと位相θが求められ、これらを（式１）、（式２）へ代入することで、画像２０１ｂ、及び画像２０２ｂにおける周期的な歪みを求めることができる。

＊＊＊実施の形態１の効果＊＊＊
（１）画像歪検出装置１００によれば、複数のラインセンサがスタガ配置されている光学センサ装置の画像に歪みが生じた場合、スタガ配置のオーバーラップ部分を利用しているため、歪み検出用ＣＣＤを必要とせず、より高い精度で歪み検出を行うことができる。
（２）画像歪検出装置１００によれば、ライン全体で周期関数フィッティングを行うので、画像の対応点が取りづらい雲または海のように特徴の少ない領域が存在しても、対応点が得られた画像に基づき、精度よく歪み検出を行うことができる。

以下に、実施の形態１の変形例１から変形例５を説明する。
図１０は、変形例１から変形例５に対応する画像歪検出装置１００のハードウェア構成を示す。図１０の画像歪検出装置１００は、図２に対して補正部１６を備えている。

＜変形例１＞
対応点決定部１２による処理に先立って、ラインセンサ２０１及びラインセンサ２０２のずれに相当する固定のずれ量Ｄ（オフセット量、図５）を補正する必要がある。しかし、斜め方向に撮影する場合などにおいて、スキャン方向の視点移動速度が変わる場合に、ずれ量Ｄに変動が生じる場合がある。このような場合には、図２に示す補正部１６は、最初にＸ方向及びＹ方向の２次元探索を粗く行って、ライン方向Ｙのずれ量Ｄを予め補正する。そして、対応点決定部１２は、補正部１６補正後に処理を行う構成でもよい。これにより、斜め方向に撮影する場合などでも対応点決定部１２による相対位置変動量の算出の精度が向上する効果がある。
補正部１６は、第１の端部領域であるオーバーラップ領域２０１ｃの画像と、第２の端部領域であるオーバーラップ領域２０２ｃの画像とに対する二次元探索を行うことにより、第１のラインセンサであるラインセンサ２０１と第２のラインセンサであるラインセンサ２０２とのライン方向Ｙのずれ量を補正する。対応点決定部１２は、ずれ量が補正された後に、対応点を決定する。

＜変形例２＞
周期関数フィッティング３の前に、相対位置変動量のデータに対し、主要な振動周波数（式１、２における周波数ｆ）に基づき、主要な振動成分の周期の２倍以上のウィンドウ幅でライン方向に移動平均を取り、移動平均したものを元のデータから減算することで、一定値または低周波の変動成分を除去してもよい。これにより、緩やかなオフセット変動等、主要な振動成分以外による外乱を受ける場合であっても、外乱の影響を除去し、周期関数によるフィッティングの精度を向上することができる。
対応点決定部１２は、変動量ｄｘを決定した場合に、ライン方向Ｙで複数の変動量ｄｘを対象として低周波の振動成分を除去するフィルタリング処理を行う。フィッティング部１３は、フィルタリング処理が行われた各変動量ｄｘに周期関数を当てはめる。移動平均や低周波成分除去フィルタに限らず、主要な振動周波数成分以外の周波数を除去する目的のフィルタであれば任意のフィルタを用いてもかまわない。

＜変形例３＞
対応点決定部１２は、オーバーラップ領域２０１ｃの画像と、オーバーラップ領域２０２ｃの画像との相関を取る際に、各画素について複数ラインの平均値をとり、平均値をとったラインのデータを使って相関を取るようにしてもよい。これにより、振動がＸ方向のずれ成分だけでなく、Ｙ方向のずれ成分を含む場合であっても、Ｙ方向のずれによる影響を緩和し、より高い検出精度で画像歪み量を検出することができる。
つまり以下のようである。対応点決定部１２は、複数のラインにわたるオーバーラップ領域２０１ｃの画像の画素ごとの画素の持つデータの平均値と、オーバーラップ領域２０２ｃの画像の画素ごとの画素の持つデータの平均値とを計算する。そして対応点決定部１２は、オーバーラップ領域２０１ｃの平均値と、オーバーラップ領域２０２ｃの平均値とを用いて対応点を決定する。

＜変形例４＞
ラインセンサ２０１、ラインセンサ２０２の視差に対応する時間と振動の周期が整数倍の関係となってしまう場合、振動成分が差分として抽出できない。このような場合、視線速度の調整、及びラインセンサ２０１とラインセンサ２０２との間の視差変更を行う。視線速度の調整、及びラインセンサ２０１とラインセンサ２０２との間の視差変更により、ラインセンサ２０１とラインセンサ２０２との間に意図的に位相差を作り、画像歪み量を検出することができる。
つまり、以下のようである。図１に示す光学センサ装置２００の変更部２０９は、ラインセンサ２０１とラインセンサ２０２との視線速度の調整及びラインセンサ２０１とラインセンサ２０２との間の視差変更を行う。視線速度の調整は、光学センサ装置２００において、視線速度を制御することによって行う。視差変更は、光学センサ装置２００のラインセンサ２０１及びラインセンサ２０２の配置を予め意図的にずらしておくことによって行う。取得部１１は、変更部２０９が視線速度の調整及び視差変更を行った後に光学センサ装置２００が取得した画像情報から、オーバーラップ領域２０１ｃと、オーバーラップ領域２０２ｃとを抽出することで取得する。なお、変更部１７は、ラインセンサ２０１とラインセンサ２０２との視線速度の調整と、ラインセンサ２０１とラインセンサ２０２との間の視差変更との、少なくとも一方を行う構成でもよい。

＜変形例５＞
３以上のラインセンサを搭載している場合は、隣接するラインセンサどうしをひと組とするフィッティング結果の誤差量に応じた採否判断、または複数の組の推定結果の多数決を行うことにより、より高い精度で画像歪み量を検出できる。

より幅広い領域を撮像するために、ラインセンサをＸ方向（図３）に３つ以上配置する構成である場合には、ラインセンサ間において位相差を作る（図３においてＹ方向のずれ量Ｄ１、Ｄ２、Ｄ３・・・を設けて配置する）ことで、振動の振幅及び位相について、互いに隣接するラインセンサ２個を一組とする複数の組から、複数の結果を推定できる。このような場合に、最終的な振動の振幅と位相を、複数の組の結果を統合し、検出の信頼度も考慮して、信頼度の高かった組の結果を重視して採用することで、より高い精度で歪み量を検出することができる。
なお、図３において、光学センサ装置２００は、ライン方向Ｙのずれの量であるＤ１、Ｄ２、Ｄ３・・・が、複数の組について異なるように配置されていてもよい。

各組によって、検出の信頼度がばらつく理由はいくつかある。
一つ目は、複数の組がそれぞれ異なる位相差を持たせた場合に、振動の周波数によっては、ラインセンサ間の視差に対応する時間と振動の周期が整数倍の関係に近くなる組とそうでない組ができ、振動成分を差分波形として抽出できるかが組によってばらつくためである。
また、二つ目は、あるラインセンサ間のオーバーラップ領域では雲及び海など、テクスチャの少ない画像のみしか得られていなかった場合であっても、他のラインセンサ間のオーバーラップ領域ではテクスチャの多い画像が得られている場合があることである。テクスチャが少ない領域では画像によるマッチングが取りづらく、振動成分の検出精度が低下する。

各組の検出結果の信頼度は、例えば、三角関数フィッティングにおけるフィッティング結果と実際のデータとの差分の二乗和等によりフィッティング誤差を求め、フィッティング誤差が小さいラインセンサ間の検出結果を信頼度が高く、フィッティング誤差が大きい組の検出結果を信頼度が低いものとして算出することができる。

本変形例５では、各組の振幅及び位相の推定結果を、この信頼度に応じて統合することで、２つのラインセンサからなる一組からの推定結果を採用するよりも精度を向上させることができる。

具体的には変形例５の画像歪検出装置は、以下のようである。
取得部１１には、複数の撮像素子を有する３以上のラインセンサがスタガ配置され、隣接するラインセンサどうしは端部がライン方向Ｙで対向するようにライン方向Ｙでずれて配置されている光学センサ装置２００の取得（撮影）した画像情報が入力される。
図３に示すように、光学センサ装置２００は、ラインセンサ２０１，２０２，２０３、・・・と、３つ以上のラインセンサが配置されている。図３では、ラインセンサ２０１とラインセンサ２０２の組、ラインセンサ２０２とラインセンサ２０３の組、ラインセンサ２０３とラインセンサ２０４の組・・・のように、複数の組が形成される。
ラインセンサ２０１とラインセンサ２０２の組では、ラインセンサ２０１が第１のラインセンサでありラインセンサ２０２が第２のラインセンサである。ラインセンサ２０２とラインセンサ２０３の組では、ラインセンサ２０２が第１のラインセンサでありラインセンサ２０３が第２のラインセンサである。ラインセンサ２０３とラインセンサ２０４の組では、ラインセンサ２０３が第１のラインセンサでありラインセンサ２０４が第２のラインセンサである。
（１）取得部１１は、光学センサ装置２００から画像情報が入力される。取得部１１は、第１のラインセンサの端部が撮影した画像領域を示す第１の端部領域と、第１のラインセンサに隣接する第２のラインセンサの端部が撮影した画像領域を示す第２の端部領域とを、第１のラインセンサと第２のラインセンサとの複数の組のそれぞれが撮影した画像情報から抽出して取得する。
第１の端部領域は上記で述べたオーバーラップ領域２０１ｃ（図５）であり、第２の端部領域は上記で述べたオーバーラップ領域２０２ｃ（図５）である。
（２）対応点決定部１２は、複数の組のそれぞれについて、第１の端部領域の画像上の点を示す参照点に対応する第２の端部領域の画像上の対応点をライン方向Ｙの複数の位置で決定すると共に参照点に対する対応点の変動量ｄｘを決定する。
（３）フィッティング部１３は、複数の組のそれぞれについて、ライン方向Ｙの複数の位置で決定された複数の変動量ｄｘに周期関数を当てはめて周期関数の振幅と位相とを決定する。
（４）歪検出部１４は、複数の組のそれぞれについて、決定された振幅及び位相から決まる周期関数と、複数の変動量ｄｘとの誤差を算出し、誤差に基づいて、第１のラインセンサで撮影される画像の周期的な歪みと第２のラインセンサで撮影される画像の周期的な歪みとを検出する。

信頼度に応じて統合する具体的方法としては、第一の方式として、複数の組のうち、フィッティング誤差のもっとも小さい組の振幅及び位相を採用する方法がある。
第二の方式として、複数の組のそれぞれの組のフィッティング誤差から信頼度を求め、信頼度に応じて振幅及び位相に重み付けし、重み平均を用いて振幅及び位相を決定する方法ある。

以下に第一の方式を示す。歪検出部１４は、複数の組のうち、複数の変動量と決定された振幅及び位相から決まる周期関数との誤差が最も小さい組を決定する。そして、歪検出部１４は、決定した組の周期関数の振幅及び位相と、決定した組の第１のラインセンサと第２のラインセンサとのライン方向Ｙのずれ量とに基づいて、第１のラインセンサで撮影される画像の周期的な歪みと第２のラインセンサで撮影される画像の周期的な歪みとを検出する。

以下に第二の方式を示す。歪検出部１４は、複数の組のそれぞれについて、誤差に応じて振幅及び位相に重み付けし、重み付けされたそれぞれの組の振幅及び位相に基づいて、第１のラインセンサで撮影される画像の周期的な歪みと第２のラインセンサで撮影される画像の周期的な歪みとを検出する。歪検出部１４は、例えば、重み付けされたそれぞれの組の振幅及び位相の加重平均を用いて、第１のラインセンサで撮影される画像の周期的な歪みと第２のラインセンサで撮影される画像の周期的な歪みとを検出する。

以上、実施の形態１について説明したが、実施の形態１のうち、１つを部分的に実施しても構わない。あるいは、実施の形態１のうち、２つ以上を部分的に組み合わせて実施しても構わない。
また、以上の実施の形態１では、画像歪検出装置１００は衛星搭載の光学センサ装置の撮影した画像の歪検出について説明したが、画像歪検出装置１００は衛星搭載の光学センサ装置に限らず、振動を原因として画像歪の生じる光学センサ装置に適用できる。

１０プロセッサ、１１取得部、１２対応点決定部、１３フィッティング部、１４歪検出部、１５出力部、１６補正部、２０主記憶装置、３０補助記憶装置、４０入力インタフェース、５０出力インタフェース、６０通信インタフェース、８０信号線、１００画像歪検出装置、２００光学センサ装置、２０１，２０２，２０３，２０４ラインセンサ、２０１ａ、２０２ａ端部、２０１ｂ，２０２ｂ画像、２０１ｃ、２０２ｃオーバーラップ領域、２１０衛星側通信装置、２０９変更部、２１１アンテナ、３００人工衛星、４００地上装置、４１０地上側通信装置、４１１アンテナ、４２０画像解析装置、５００地上、１０００画像情報伝送システム。

Claims

複数の撮像素子を有する複数のラインセンサがスタガ配置され、隣接するラインセンサどうしは端部がライン方向で対向するように前記ライン方向でずれて配置されている光学センサ装置の取得した画像情報から、第１のラインセンサの前記端部が撮影した画像領域を示す第１の端部領域と、前記第１のラインセンサに隣接する第２のラインセンサの前記端部が撮影した画像領域を示す第２の端部領域とを取得する取得部と、
前記第１の端部領域の画像上の点を示す参照点に対応する前記第２の端部領域の画像上の対応点を前記ライン方向の複数の位置で決定し、前記参照点に対する前記対応点の変動量を決定する対応点決定部と、
前記ライン方向の複数の位置で決定された複数の前記変動量に周期関数を当てはめて前記周期関数の振幅と位相とを決定するフィッティング部と、
前記周期関数の前記振幅及び前記位相と、前記第１のラインセンサと前記第２のラインセンサとの前記ライン方向のずれ量とに基づいて、前記第１のラインセンサで撮影される画像の周期的な歪みと前記第２のラインセンサで撮影される画像の周期的な歪みとを検出する歪検出部と
を備える画像歪検出装置。
前記画像歪検出装置は、さらに、
前記第１の端部領域の画像と前記第２の端部領域の画像とに対する二次元探索を行うことにより、前記第１のラインセンサと前記第２のラインセンサとの前記ライン方向のずれ量を補正する補正部を備え、
対応点決定部は、
前記ずれ量が補正された後に、前記対応点を決定する請求項１に記載の画像歪検出装置。
前記対応点決定部は、
前記変動量を決定した場合に、前記ライン方向で複数の前記変動量を対象として低周波の振動成分を除去するフィルタリング処理を行い、
前記フィッティング部は、
前記フィルタリング処理が行われた各変動量に前記周期関数を当てはめる請求項１または請求項２に記載の画像歪検出装置。
前記対応点決定部は、
複数のラインにわたる前記第１の端部領域の画像の画素ごとの画素の持つデータの平均値と前記第２の端部領域の画像の画素ごとの画素の持つデータの平均値とを計算し、前記第１の端部領域の前記平均値と、前記第２の端部領域の前記平均値とを用いて前記対応点を決定する請求項１から請求項３のいずれか一項に記載の画像歪検出装置。
前記光学センサ装置は、
前記第１のラインセンサと前記第２のラインセンサとの視線速度の調整を行う変更部を備え、
前記取得部は、
前記変更部が視線速度の調整を行った後の、前記第１の端部領域と前記第２の端部領域とを取得する請求項１から請求項３のいずれか一項に記載の画像歪検出装置。
複数の撮像素子を有する３以上のラインセンサがスタガ配置され、隣接するラインセンサどうしは端部がライン方向で対向するように前記ライン方向でずれて配置されている光学センサ装置の取得した画像情報から、第１のラインセンサの前記端部が撮影した画像領域を示す第１の端部領域と、前記第１のラインセンサに隣接する第２のラインセンサの前記端部が撮影した画像領域を示す第２の端部領域とを、前記第１のラインセンサと前記第２のラインセンサとの複数の組のそれぞれから取得する取得部と、
前記複数の組のそれぞれについて、前記第１の端部領域の画像上の点を示す参照点に対応する前記第２の端部領域の画像上の対応点を前記ライン方向の複数の位置で決定すると共に前記参照点に対する前記対応点の変動量を決定する対応点決定部と、
前記複数の組のそれぞれについて、前記ライン方向の複数の位置で決定された複数の前記変動量に周期関数を当てはめて前記周期関数の振幅と位相とを決定するフィッティング部と、
前記複数の組のそれぞれについて、決定された前記振幅及び前記位相から決まる前記周期関数と、複数の前記変動量との誤差を算出し、前記誤差に基づいて、前記第１のラインセンサで撮影される画像の周期的な歪みと前記第２のラインセンサで撮影される画像の周期的な歪みとを検出する歪検出部と、
を備える画像歪検出装置。
前記光学センサ装置は、
前記ライン方向のずれの量が前記複数の組について異なるように配置されている請求項６に記載の画像歪検出装置。
前記歪検出部は、
前記複数の組のうち、複数の前記変動量と決定された前記振幅及び前記位相から決まる前記周期関数との誤差が最も小さい組を決定し、決定した前記組の前記周期関数の前記振幅及び前記位相と、決定した前記組の前記第１のラインセンサと前記第２のラインセンサとの前記ライン方向のずれ量とに基づいて、前記第１のラインセンサで撮影される画像の周期的な歪みと前記第２のラインセンサで撮影される画像の周期的な歪みとを検出する請求項６に記載の画像歪検出装置。
前記歪検出部は、
前記複数の組のそれぞれについて、前記誤差に応じて前記振幅及び前記位相に重み付けし、重み付けされたそれぞれの組の前記振幅及び前記位相に基づいて、前記第１のラインセンサで撮影される画像の周期的な歪みと前記第２のラインセンサで撮影される画像の周期的な歪みとを検出する請求項６に記載の画像歪検出装置。
コンピュータに、
複数の撮像素子を有する複数のラインセンサがスタガ配置され、隣接するラインセンサどうしは端部がライン方向で対向するように前記ライン方向でずれて配置されている光学センサ装置の取得した画像情報から、第１のラインセンサの前記端部が撮影した画像領域を示す第１の端部領域と、前記第１のラインセンサに隣接する第２のラインセンサの前記端部が撮影した画像領域を示す第２の端部領域とを取得する処理、
前記第１の端部領域の画像上の点を示す参照点に対応する前記第２の端部領域の画像上の対応点を前記ライン方向の複数の位置で決定し、前記参照点に対する前記対応点の変動量を決定する処理、
前記ライン方向の複数の位置で決定された複数の前記変動量に周期関数を当てはめて前記周期関数の振幅と位相とを決定する処理、
前記周期関数の前記振幅及び前記位相と、前記第１のラインセンサと前記第２のラインセンサとの前記ライン方向のずれ量とに基づいて、前記第１のラインセンサで撮影される画像の周期的な歪みと前記第２のラインセンサで撮影される画像の周期的な歪みとを検出する処理、
を実行させる画像歪検出プログラム。
コンピュータに、
複数の撮像素子を有する３以上のラインセンサがスタガ配置され、隣接するラインセンサどうしは端部がライン方向で対向するように前記ライン方向でずれて配置されている光学センサ装置の取得した画像情報から、第１のラインセンサの前記端部が撮影した画像領域を示す第１の端部領域と、前記第１のラインセンサに隣接する第２のラインセンサの前記端部が撮影した画像領域を示す第２の端部領域とを、前記第１のラインセンサと前記第２のラインセンサとの複数の組のそれぞれから取得する処理、
前記複数の組のそれぞれについて、前記第１の端部領域の画像上の点を示す参照点に対応する前記第２の端部領域の画像上の対応点を前記ライン方向の複数の位置で決定すると共に前記参照点に対する前記対応点の変動量を決定する処理、
前記複数の組のそれぞれについて、前記ライン方向の複数の位置で決定された複数の前記変動量に周期関数を当てはめて前記周期関数の振幅と位相とを決定する処理、
前記複数の組のそれぞれについて、決定された前記振幅及び前記位相から決まる前記周期関数と、複数の前記変動量との誤差を算出し、前記誤差に基づいて、前記第１のラインセンサで撮影される画像の周期的な歪みと前記第２のラインセンサで撮影される画像の周期的な歪みとを検出する処理、
を実行させる画像歪検出プログラム。