JP7058590B2 - 画像歪検出装置及び画像歪検出プログラム - Google Patents
画像歪検出装置及び画像歪検出プログラム Download PDFInfo
- Publication number
- JP7058590B2 JP7058590B2 JP2018224139A JP2018224139A JP7058590B2 JP 7058590 B2 JP7058590 B2 JP 7058590B2 JP 2018224139 A JP2018224139 A JP 2018224139A JP 2018224139 A JP2018224139 A JP 2018224139A JP 7058590 B2 JP7058590 B2 JP 7058590B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- line sensor
- line
- distortion
- determined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
複数の撮像素子を有する複数のラインセンサがスタガ配置され、隣接するラインセンサどうしは端部がライン方向で対向するように前記ライン方向でずれて配置されている光学センサ装置の取得した画像情報から、第1のラインセンサの前記端部が撮影した画像領域を示す第1の端部領域と、前記第1のラインセンサに隣接する第2のラインセンサの前記端部が撮影した画像領域を示す第2の端部領域とを取得する取得部と、
前記第1の端部領域の画像上の点を示す参照点に対応する前記第2の端部領域の画像上の対応点を前記ライン方向の複数の位置で決定し、前記参照点に対する前記対応点の変動量を決定する対応点決定部と、
前記ライン方向の複数の位置で決定された複数の前記変動量に周期関数を当てはめて前記周期関数の振幅と位相とを決定するフィッティング部と、
前記周期関数の前記振幅及び前記位相と、前記第1のラインセンサと前記第2のラインセンサとの前記ライン方向のずれ量とに基づいて、前記第1のラインセンサで撮影される画像の周期的な歪みと前記第2のラインセンサで撮影される画像の周期的な歪みとを検出する歪検出部と
を備える。
図2から図10を参照して、実施の形態1の画像歪検出装置100を説明する。
図1は、画像歪検出装置100が使用される画像情報伝送システム1000を示す。
画像情報伝送システム1000は、人工衛星300と地上装置400とを備えている。人工衛星300には、光学センサ装置200と衛星側通信装置210とが搭載されている。地上装置400は、地上側通信装置410と画像解析装置420とを備えている。
画像解析装置420は画像歪検出装置100を備えている。
人工衛星300に搭載された光学センサ装置200の画像情報が、衛星側通信装置210から、衛星側通信装置210のアンテナ211を介して地上側通信装置410にデータ伝送される。地上側通信装置410はアンテナ411を介して画像情報を衛星側通信装置210から受信する。地上側通信装置410は、受信した画像情報を画像解析装置420の画像歪検出装置100に伝送する。地上500における画像解析装置420の備える画像歪検出装置100は、地上側通信装置410から伝送された画像情報から後述のオーバーラップ領域を取得し、画像の歪み量を検出する。
図2は、画像歪検出装置100のハードウェア構成を示す。画像歪検出装置100は、コンピュータである。画像歪検出装置100は、プロセッサ10を備えるとともに、主記憶装置20、補助記憶装置30、入力インタフェース40、出力インタフェース50及び通信インタフェース60といった他のハードウェアを備える。図2ではインタフェースはIFと表記している。プロセッサ10は、信号線80を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
Signal Processor)、GPU(Graphics Processing Unit)である。CPU、DSP及びCPUのようなプロセッサは、プロセッシングサーキットリーと呼ばれることもある。
補助記憶装置30は、データを不揮発的に保管する記憶装置である。補助記憶装置30の具体例は、HDD(Hard Disk Drive)である。また、補助記憶装置30は、SD(登録商標)(Secure Digital)メモリカード、NANDフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVD(Digital Versatile Disk)といった可搬記録媒体であってもよい。
出力インタフェース50は、各種機器が接続され、各種機器にプロセッサ10によりデータが出力されるポートである。
通信インタフェース60は、各種機器が接続され、各種機器とプロセッサ10が通信する通信ポートである。
また、画像歪検出方法は、コンピュータである画像歪検出装置100が画像歪検出プログラム101を実行することにより行われる方法である。画像歪検出プログラム101は、コンピュータ読取可能な記録媒体に格納されて提供されてもよいし、プログラムプロダクトとして提供されてもよい。
図3は、スタガ配置を示す。図3の光学センサ装置200では、複数の撮像素子を有する複数のラインセンサ201,202,203,204、・・・が、隣接するラインセンサどうしは端部がライン方向で対向するようにライン方向でずれて配置されている。このようなラインセンサの配置をスタガ配置という。
図4は、画像歪検出装置100の処理を示すフローチャートである。以下、図4に沿って、画像歪検出装置100の動作を説明する。図4の括弧内は動作の主体を示す。図4に示す画像歪検出装置100の動作は画像歪検出方法に相当する。また、画像歪検出装置100の動作は画像歪検出プログラムの処理に相当する。以下では、まず画像歪検出装置100の処理の概要を述べ、その後に、詳細を説明する。
ステップS11では、取得部11が、互いに隣接するラインセンサ201、ラインセンサ202のオーバーラップ領域201c、202cの画像を取得する。取得部11は、図1に示すように、地上側通信装置410が伝送された画像情報から、オーバーラップ領域201c、202cの画像を抽出して取得する。地上側通信装置410が伝送された画像情報は光学センサ装置200の取得した画像情報である。
ステップS12では、対応点決定部12が、隣接する2つのラインセンサ201、ラインセンサ202で取得した画像201b、202b上のオーバーラップ領域201c、202cにおける対応点をライン方向の複数の位置で求める。
ステップS13では、フィッティング部13が、対応点どうしの相対位置変動量を、周期関数でライン方向にフィッティングする。
ステップS14では、歪検出部14が、フィッティング結果の周期関数の振幅Cと位相θとから、ラインセンサ201とラインセンサ202との間のライン方向のずれ量D(後述の図5)をもとに、ラインセンサ201による画像201bとラインセンサ202による画像202bとに含まれる画像歪の振動の、振幅Cと位相θを算出する。
ステップS15では、出力部15が、処理結果を出力する。
以下に、それぞれのステップを詳細に説明する。
図5は、取得部11によって取得される画像の模式図を示す。取得部11は、第1のラインセンサであるラインセンサ201の端部201aが撮影した画像領域を示す第1の端部領域と、ラインセンサ201に隣接する第2のラインセンサであるラインセンサ202の端部202aが撮影した画像領域を示す第2の端部領域とを、光学センサ装置200が撮影した画像情報から抽出することで取得する。第1の端部領域はオーバーラップ領域201cであり、第2の端部領域はオーバーラップ領域202cである。図5において、X方向はラインセンサの画素の並び方向、Y方向はスキャン方向である。スキャン方向はライン方向と呼ばれることもあるが、以下では、Y方向をライン方向Yと表記する。
図6は、対応点決定部12の処理を模式的に示す。対応点決定部12は、第1の端部領域であるーバーラップ領域201cの画像上の点を示す参照点に対応する第2の端部領域であるオーバーラップ領域202cの画像上の対応点をライン方向Yの複数の位置で決定し、参照点に対する対応点の変動量dxを決定する。参照点は対応点であるが、以下ではオーバーラップ領域201cの画像上の対応点を参照点と呼び、オーバーラップ領域202cの画像上の対応点を「対応点」と呼ぶ。
対応点決定部12は、オーバーラップ領域201cの画像とオーバーラップ領域202cの画像とにおける参照点と対応点をライン方向Yの複数の位置で求める。図6では、対応点決定部12は、ライン方向Yに等間隔に対応点検出ポイントを設定し、それぞれのポイントで、オーバーラップ領域201cの画像に対する、オーバーラップ領域202cの画像の変動量dxを求めている。図6では、点P1から点P8がオーバーラップ領域201cの参照点であり、点Q1から点Q8がオーバーラップ領域202cの対応点である。数字の同じ点どうしが対応する。つまり、点P1と点Q1が対応し、点P2と点Q2が対応し、以下同様に、・・・点P8と点Q8が対応する。点R1から点R8が、点P1と点Q1から点P8と点Q8の各変動量を示す。例えば、点Q1は点P1に対して点R1の示す変動量dxだけずれている。変動量dxの算出方法は、オーバーラップ領域201cの画像を固定し、オーバーラップ領域201cの画像をX方向にずらしながら、相関が最も高くなるずらし量を算出する1次元探索により行うことができる。
図7は、ライン毎に検出ポイントの設定間隔を設定した状態を示す。図7においてL1からL8はライン番号である。あるいは、一定の間隔を空けて、ラインを間引いて検出ポイントを設定してもよい。また対応点決定部12は、特徴的な画像が存在する領域を検出し、対応点検出ポイントを不等間隔に設定してもよい。参照点及び対応点の検出ポイントの設定間隔は、フィッティング対象となる振動の周期が既知である場合には、振動周期の1/2以下よりも十分に小さい間隔で設定すればよい。
図8は、フィッティング部13による周期関数フィッティングの処理を模式的に示す。フィッティング部13は、ライン方向Yの複数の位置で決定された複数の変動量dxに周期関数を当てはめて周期関数の振幅と位相とを決定する。ライン毎に検出ポイントの設定間隔を設定した場合を例に説明する。フィッティング部13は、各ラインで検出された相対位置の変動量dxを、周期関数、例えば、三角関数でフィッティングする。図8の場合、フィッティング部13は、点R1から点R8を周期関数でフィッティングする。対象となる振動の周期が既知である場合、振幅及び位相のみを変数として、最小二乗法によりフィッティングをかけることができる。また、対象となる振動の周期は未知であるがその周期が所定の周期の範囲内にある場合、まず、フィッティング部13は、所定の範囲内で周期を振って周期の最適値を求めた後、振幅及び位相を変数として、最小二乗法によりフィッティングをかけることができる。
歪検出部14は、周期関数の振幅及び位相と、ラインセンサ201とラインセンサ202とのライン方向Yのずれ量Dとに基づいて、ラインセンサ201で撮影される画像の周期的な歪みと、ラインセンサ202で撮影される画像の周期的な歪みとを検出する。
歪検出部14は、フィッティング部13によるフィッティング結果の周期関数の振幅と位相から、ラインセンサ201とラインセンサ202との間のライン方向Yのずれ量D(図5)をもとに、ラインセンサ201の画像201b、ラインセンサ202の画像202bに含まれる、周期的な歪みの振幅と位相を検出する。
図9は、隣接するラインセンサ201、ラインセンサ202のオーバーラップ領域201c、202cにおける画像上の周期的な歪みである変動量dxを示す模式図である。ラインセンサ201の画像201b及びラインセンサ202の画像202bのX方向の位置はそろえて切り出すことを前提とすると、画像201b、画像202bに含まれる周期的な歪みは、振幅Cと位相θが未知の正弦波関数として、(式1)、(式2)のように表することができる。
式1は画像201bに含まれる周期的な歪みを示し、式2は画像202bに含まれる周期的な歪みを示す。
DCCD1(Ln)=-C*Sin(2πfLn+θ) (式1)
DCCD2(Ln)=-C*Sin(2πfLn+θ+φ) (式2)
式1、式2において、fは周期的な歪みの周波数であり、CMG、リアクションホイール等の微小振動を発生させる機器に基づき、推定することができる。また、Lnはライン番号(図7)を示す。φはライン方向Yのずれ量D(図5)から計算される定数である。
一方、対応点決定部12にて検出し、フィッティング部13でフィッティングされた周期関数は、式1と式2の差分に相当する周期関数であり、式3及び式4により示される。
△CCD2-CCD1(Ln)
=-C*{Sin(2πfLn+θ)-Sin(2πfL+θ+φ)} (式3)
=2C*Sin(φ/2)*Cos(2πfLn+θ+φ/2) (式4)
ここで、式4における項を次のように置く。
C´=2C*Sin(φ/2) (式5)
θ´=θ+φ/2 (式6)
式5、式6を用いることで、式4が次に示す式7のように変形でき、フィッティング部13においては式7を用いた最小二乗法により振幅をC´、位相をθ´を推定することができる。
△CCD2-CCD1(Ln)=C´*Cos(2πfLn+θ´) (式7)
フィッティング部13において、式7を用いてC´、θ´について解くことで、式1及び式2における振幅Cと位相θが求められ、これらを(式1)、(式2)へ代入することで、画像201b、及び画像202bにおける周期的な歪みを求めることができる。
(1)画像歪検出装置100によれば、複数のラインセンサがスタガ配置されている光学センサ装置の画像に歪みが生じた場合、スタガ配置のオーバーラップ部分を利用しているため、歪み検出用CCDを必要とせず、より高い精度で歪み検出を行うことができる。
(2)画像歪検出装置100によれば、ライン全体で周期関数フィッティングを行うので、画像の対応点が取りづらい雲または海のように特徴の少ない領域が存在しても、対応点が得られた画像に基づき、精度よく歪み検出を行うことができる。
図10は、変形例1から変形例5に対応する画像歪検出装置100のハードウェア構成を示す。図10の画像歪検出装置100は、図2に対して補正部16を備えている。
対応点決定部12による処理に先立って、ラインセンサ201及びラインセンサ202のずれに相当する固定のずれ量D(オフセット量、図5)を補正する必要がある。しかし、斜め方向に撮影する場合などにおいて、スキャン方向の視点移動速度が変わる場合に、ずれ量Dに変動が生じる場合がある。このような場合には、図2に示す補正部16は、最初にX方向及びY方向の2次元探索を粗く行って、ライン方向Yのずれ量Dを予め補正する。そして、対応点決定部12は、補正部16補正後に処理を行う構成でもよい。これにより、斜め方向に撮影する場合などでも対応点決定部12による相対位置変動量の算出の精度が向上する効果がある。
補正部16は、第1の端部領域であるオーバーラップ領域201cの画像と、第2の端部領域であるオーバーラップ領域202cの画像とに対する二次元探索を行うことにより、第1のラインセンサであるラインセンサ201と第2のラインセンサであるラインセンサ202とのライン方向Yのずれ量を補正する。対応点決定部12は、ずれ量が補正された後に、対応点を決定する。
周期関数フィッティング3の前に、相対位置変動量のデータに対し、主要な振動周波数(式1、2における周波数f)に基づき、主要な振動成分の周期の2倍以上のウィンドウ幅でライン方向に移動平均を取り、移動平均したものを元のデータから減算することで、一定値または低周波の変動成分を除去してもよい。これにより、緩やかなオフセット変動等、主要な振動成分以外による外乱を受ける場合であっても、外乱の影響を除去し、周期関数によるフィッティングの精度を向上することができる。
対応点決定部12は、変動量dxを決定した場合に、ライン方向Yで複数の変動量dxを対象として低周波の振動成分を除去するフィルタリング処理を行う。フィッティング部13は、フィルタリング処理が行われた各変動量dxに周期関数を当てはめる。移動平均や低周波成分除去フィルタに限らず、主要な振動周波数成分以外の周波数を除去する目的のフィルタであれば任意のフィルタを用いてもかまわない。
対応点決定部12は、オーバーラップ領域201cの画像と、オーバーラップ領域202cの画像との相関を取る際に、各画素について複数ラインの平均値をとり、平均値をとったラインのデータを使って相関を取るようにしてもよい。これにより、振動がX方向のずれ成分だけでなく、Y方向のずれ成分を含む場合であっても、Y方向のずれによる影響を緩和し、より高い検出精度で画像歪み量を検出することができる。
つまり以下のようである。対応点決定部12は、複数のラインにわたるオーバーラップ領域201cの画像の画素ごとの画素の持つデータの平均値と、オーバーラップ領域202cの画像の画素ごとの画素の持つデータの平均値とを計算する。そして対応点決定部12は、オーバーラップ領域201cの平均値と、オーバーラップ領域202cの平均値とを用いて対応点を決定する。
ラインセンサ201、ラインセンサ202の視差に対応する時間と振動の周期が整数倍の関係となってしまう場合、振動成分が差分として抽出できない。このような場合、視線速度の調整、及びラインセンサ201とラインセンサ202との間の視差変更を行う。視線速度の調整、及びラインセンサ201とラインセンサ202との間の視差変更により、ラインセンサ201とラインセンサ202との間に意図的に位相差を作り、画像歪み量を検出することができる。
つまり、以下のようである。図1に示す光学センサ装置200の変更部209は、ラインセンサ201とラインセンサ202との視線速度の調整及びラインセンサ201とラインセンサ202との間の視差変更を行う。視線速度の調整は、光学センサ装置200において、視線速度を制御することによって行う。視差変更は、光学センサ装置200のラインセンサ201及びラインセンサ202の配置を予め意図的にずらしておくことによって行う。取得部11は、変更部209が視線速度の調整及び視差変更を行った後に光学センサ装置200が取得した画像情報から、オーバーラップ領域201cと、オーバーラップ領域202cとを抽出することで取得する。なお、変更部17は、ラインセンサ201とラインセンサ202との視線速度の調整と、ラインセンサ201とラインセンサ202との間の視差変更との、少なくとも一方を行う構成でもよい。
3以上のラインセンサを搭載している場合は、隣接するラインセンサどうしをひと組とするフィッティング結果の誤差量に応じた採否判断、または複数の組の推定結果の多数決を行うことにより、より高い精度で画像歪み量を検出できる。
なお、図3において、光学センサ装置200は、ライン方向Yのずれの量であるD1、D2、D3・・・が、複数の組について異なるように配置されていてもよい。
一つ目は、複数の組がそれぞれ異なる位相差を持たせた場合に、振動の周波数によっては、ラインセンサ間の視差に対応する時間と振動の周期が整数倍の関係に近くなる組とそうでない組ができ、振動成分を差分波形として抽出できるかが組によってばらつくためである。
また、二つ目は、あるラインセンサ間のオーバーラップ領域では雲及び海など、テクスチャの少ない画像のみしか得られていなかった場合であっても、他のラインセンサ間のオーバーラップ領域ではテクスチャの多い画像が得られている場合があることである。テクスチャが少ない領域では画像によるマッチングが取りづらく、振動成分の検出精度が低下する。
取得部11には、複数の撮像素子を有する3以上のラインセンサがスタガ配置され、隣接するラインセンサどうしは端部がライン方向Yで対向するようにライン方向Yでずれて配置されている光学センサ装置200の取得(撮影)した画像情報が入力される。
図3に示すように、光学センサ装置200は、ラインセンサ201,202,203、・・・と、3つ以上のラインセンサが配置されている。図3では、ラインセンサ201とラインセンサ202の組、ラインセンサ202とラインセンサ203の組、ラインセンサ203とラインセンサ204の組・・・のように、複数の組が形成される。
ラインセンサ201とラインセンサ202の組では、ラインセンサ201が第1のラインセンサでありラインセンサ202が第2のラインセンサである。ラインセンサ202とラインセンサ203の組では、ラインセンサ202が第1のラインセンサでありラインセンサ203が第2のラインセンサである。ラインセンサ203とラインセンサ204の組では、ラインセンサ203が第1のラインセンサでありラインセンサ204が第2のラインセンサである。
(1)取得部11は、光学センサ装置200から画像情報が入力される。取得部11は、第1のラインセンサの端部が撮影した画像領域を示す第1の端部領域と、第1のラインセンサに隣接する第2のラインセンサの端部が撮影した画像領域を示す第2の端部領域とを、第1のラインセンサと第2のラインセンサとの複数の組のそれぞれが撮影した画像情報から抽出して取得する。
第1の端部領域は上記で述べたオーバーラップ領域201c(図5)であり、第2の端部領域は上記で述べたオーバーラップ領域202c(図5)である。
(2)対応点決定部12は、複数の組のそれぞれについて、第1の端部領域の画像上の点を示す参照点に対応する第2の端部領域の画像上の対応点をライン方向Yの複数の位置で決定すると共に参照点に対する対応点の変動量dxを決定する。
(3)フィッティング部13は、複数の組のそれぞれについて、ライン方向Yの複数の位置で決定された複数の変動量dxに周期関数を当てはめて周期関数の振幅と位相とを決定する。
(4)歪検出部14は、複数の組のそれぞれについて、決定された振幅及び位相から決まる周期関数と、複数の変動量dxとの誤差を算出し、誤差に基づいて、第1のラインセンサで撮影される画像の周期的な歪みと第2のラインセンサで撮影される画像の周期的な歪みとを検出する。
第二の方式として、複数の組のそれぞれの組のフィッティング誤差から信頼度を求め、信頼度に応じて振幅及び位相に重み付けし、重み平均を用いて振幅及び位相を決定する方法ある。
また、以上の実施の形態1では、画像歪検出装置100は衛星搭載の光学センサ装置の撮影した画像の歪検出について説明したが、画像歪検出装置100は衛星搭載の光学センサ装置に限らず、振動を原因として画像歪の生じる光学センサ装置に適用できる。
Claims (11)
- 複数の撮像素子を有する複数のラインセンサがスタガ配置され、隣接するラインセンサどうしは端部がライン方向で対向するように前記ライン方向でずれて配置されている光学センサ装置の取得した画像情報から、第1のラインセンサの前記端部が撮影した画像領域を示す第1の端部領域と、前記第1のラインセンサに隣接する第2のラインセンサの前記端部が撮影した画像領域を示す第2の端部領域とを取得する取得部と、
前記第1の端部領域の画像上の点を示す参照点に対応する前記第2の端部領域の画像上の対応点を前記ライン方向の複数の位置で決定し、前記参照点に対する前記対応点の変動量を決定する対応点決定部と、
前記ライン方向の複数の位置で決定された複数の前記変動量に周期関数を当てはめて前記周期関数の振幅と位相とを決定するフィッティング部と、
前記周期関数の前記振幅及び前記位相と、前記第1のラインセンサと前記第2のラインセンサとの前記ライン方向のずれ量とに基づいて、前記第1のラインセンサで撮影される画像の周期的な歪みと前記第2のラインセンサで撮影される画像の周期的な歪みとを検出する歪検出部と
を備える画像歪検出装置。 - 前記画像歪検出装置は、さらに、
前記第1の端部領域の画像と前記第2の端部領域の画像とに対する二次元探索を行うことにより、前記第1のラインセンサと前記第2のラインセンサとの前記ライン方向のずれ量を補正する補正部を備え、
対応点決定部は、
前記ずれ量が補正された後に、前記対応点を決定する請求項1に記載の画像歪検出装置。 - 前記対応点決定部は、
前記変動量を決定した場合に、前記ライン方向で複数の前記変動量を対象として低周波の振動成分を除去するフィルタリング処理を行い、
前記フィッティング部は、
前記フィルタリング処理が行われた各変動量に前記周期関数を当てはめる請求項1または請求項2に記載の画像歪検出装置。 - 前記対応点決定部は、
複数のラインにわたる前記第1の端部領域の画像の画素ごとの画素の持つデータの平均値と前記第2の端部領域の画像の画素ごとの画素の持つデータの平均値とを計算し、前記第1の端部領域の前記平均値と、前記第2の端部領域の前記平均値とを用いて前記対応点を決定する請求項1から請求項3のいずれか一項に記載の画像歪検出装置。 - 前記光学センサ装置は、
前記第1のラインセンサと前記第2のラインセンサとの視線速度の調整を行う変更部を備え、
前記取得部は、
前記変更部が視線速度の調整を行った後の、前記第1の端部領域と前記第2の端部領域とを取得する請求項1から請求項3のいずれか一項に記載の画像歪検出装置。 - 複数の撮像素子を有する3以上のラインセンサがスタガ配置され、隣接するラインセンサどうしは端部がライン方向で対向するように前記ライン方向でずれて配置されている光学センサ装置の取得した画像情報から、第1のラインセンサの前記端部が撮影した画像領域を示す第1の端部領域と、前記第1のラインセンサに隣接する第2のラインセンサの前記端部が撮影した画像領域を示す第2の端部領域とを、前記第1のラインセンサと前記第2のラインセンサとの複数の組のそれぞれから取得する取得部と、
前記複数の組のそれぞれについて、前記第1の端部領域の画像上の点を示す参照点に対応する前記第2の端部領域の画像上の対応点を前記ライン方向の複数の位置で決定すると共に前記参照点に対する前記対応点の変動量を決定する対応点決定部と、
前記複数の組のそれぞれについて、前記ライン方向の複数の位置で決定された複数の前記変動量に周期関数を当てはめて前記周期関数の振幅と位相とを決定するフィッティング部と、
前記複数の組のそれぞれについて、決定された前記振幅及び前記位相から決まる前記周期関数と、複数の前記変動量との誤差を算出し、前記誤差に基づいて、前記第1のラインセンサで撮影される画像の周期的な歪みと前記第2のラインセンサで撮影される画像の周期的な歪みとを検出する歪検出部と、
を備える画像歪検出装置。 - 前記光学センサ装置は、
前記ライン方向のずれの量が前記複数の組について異なるように配置されている請求項6に記載の画像歪検出装置。 - 前記歪検出部は、
前記複数の組のうち、複数の前記変動量と決定された前記振幅及び前記位相から決まる前記周期関数との誤差が最も小さい組を決定し、決定した前記組の前記周期関数の前記振幅及び前記位相と、決定した前記組の前記第1のラインセンサと前記第2のラインセンサとの前記ライン方向のずれ量とに基づいて、前記第1のラインセンサで撮影される画像の周期的な歪みと前記第2のラインセンサで撮影される画像の周期的な歪みとを検出する請求項6に記載の画像歪検出装置。 - 前記歪検出部は、
前記複数の組のそれぞれについて、前記誤差に応じて前記振幅及び前記位相に重み付けし、重み付けされたそれぞれの組の前記振幅及び前記位相に基づいて、前記第1のラインセンサで撮影される画像の周期的な歪みと前記第2のラインセンサで撮影される画像の周期的な歪みとを検出する請求項6に記載の画像歪検出装置。 - コンピュータに、
複数の撮像素子を有する複数のラインセンサがスタガ配置され、隣接するラインセンサどうしは端部がライン方向で対向するように前記ライン方向でずれて配置されている光学センサ装置の取得した画像情報から、第1のラインセンサの前記端部が撮影した画像領域を示す第1の端部領域と、前記第1のラインセンサに隣接する第2のラインセンサの前記端部が撮影した画像領域を示す第2の端部領域とを取得する処理、
前記第1の端部領域の画像上の点を示す参照点に対応する前記第2の端部領域の画像上の対応点を前記ライン方向の複数の位置で決定し、前記参照点に対する前記対応点の変動量を決定する処理、
前記ライン方向の複数の位置で決定された複数の前記変動量に周期関数を当てはめて前記周期関数の振幅と位相とを決定する処理、
前記周期関数の前記振幅及び前記位相と、前記第1のラインセンサと前記第2のラインセンサとの前記ライン方向のずれ量とに基づいて、前記第1のラインセンサで撮影される画像の周期的な歪みと前記第2のラインセンサで撮影される画像の周期的な歪みとを検出する処理、
を実行させる画像歪検出プログラム。 - コンピュータに、
複数の撮像素子を有する3以上のラインセンサがスタガ配置され、隣接するラインセンサどうしは端部がライン方向で対向するように前記ライン方向でずれて配置されている光学センサ装置の取得した画像情報から、第1のラインセンサの前記端部が撮影した画像領域を示す第1の端部領域と、前記第1のラインセンサに隣接する第2のラインセンサの前記端部が撮影した画像領域を示す第2の端部領域とを、前記第1のラインセンサと前記第2のラインセンサとの複数の組のそれぞれから取得する処理、
前記複数の組のそれぞれについて、前記第1の端部領域の画像上の点を示す参照点に対応する前記第2の端部領域の画像上の対応点を前記ライン方向の複数の位置で決定すると共に前記参照点に対する前記対応点の変動量を決定する処理、
前記複数の組のそれぞれについて、前記ライン方向の複数の位置で決定された複数の前記変動量に周期関数を当てはめて前記周期関数の振幅と位相とを決定する処理、
前記複数の組のそれぞれについて、決定された前記振幅及び前記位相から決まる前記周期関数と、複数の前記変動量との誤差を算出し、前記誤差に基づいて、前記第1のラインセンサで撮影される画像の周期的な歪みと前記第2のラインセンサで撮影される画像の周期的な歪みとを検出する処理、
を実行させる画像歪検出プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018224139A JP7058590B2 (ja) | 2018-11-29 | 2018-11-29 | 画像歪検出装置及び画像歪検出プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018224139A JP7058590B2 (ja) | 2018-11-29 | 2018-11-29 | 画像歪検出装置及び画像歪検出プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020088760A JP2020088760A (ja) | 2020-06-04 |
JP7058590B2 true JP7058590B2 (ja) | 2022-04-22 |
Family
ID=70909135
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018224139A Active JP7058590B2 (ja) | 2018-11-29 | 2018-11-29 | 画像歪検出装置及び画像歪検出プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7058590B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140334686A1 (en) | 2013-05-08 | 2014-11-13 | Raytheon Company | Misregistration correction |
JP2015220623A (ja) | 2014-05-19 | 2015-12-07 | 三菱電機株式会社 | 移動体撮像システム |
-
2018
- 2018-11-29 JP JP2018224139A patent/JP7058590B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140334686A1 (en) | 2013-05-08 | 2014-11-13 | Raytheon Company | Misregistration correction |
JP2015220623A (ja) | 2014-05-19 | 2015-12-07 | 三菱電機株式会社 | 移動体撮像システム |
Also Published As
Publication number | Publication date |
---|---|
JP2020088760A (ja) | 2020-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7907177B2 (en) | Method for eliminating error in camera having angular velocity detection system | |
US10638109B2 (en) | Method for the FPGA-based long range multi-view stereo with differential image rectification | |
KR101697512B1 (ko) | 영상 정합 장치 및 방법 | |
EP2224726A2 (en) | Image processing apparatus, image processing method, and program | |
US8538198B2 (en) | Method and apparatus for determining misalignment | |
CN107615159A (zh) | 抖动校正装置、摄像设备和抖动校正方法 | |
US8605159B2 (en) | Image processing apparatus and image processing method with blur correction based on exposure information and angle of rotation | |
JP6138861B2 (ja) | 距離算出装置 | |
JP2019211223A (ja) | 画像処理装置、過積載検出装置、過積載検出システム及びプログラム | |
Lee et al. | Motion blur-free time-of-flight range sensor | |
JP7058590B2 (ja) | 画像歪検出装置及び画像歪検出プログラム | |
JP5079552B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
KR101018518B1 (ko) | 영상 디블러링 기법을 이용한 구조물 점검 시스템 및 그 방법 | |
EP3827405A1 (en) | Image turbulence correction using tile approach | |
US11393116B2 (en) | Information processing apparatus, method thereof, and non-transitory computer-readable storage medium | |
JP2015220623A (ja) | 移動体撮像システム | |
JP6996569B2 (ja) | 計測システム、補正処理装置、補正処理方法、及びプログラム | |
KR101911860B1 (ko) | 깊이 영상에서 카메라 모델 및 필터를 이용한 도로 검출 방법 및 장치 | |
WO2021029206A1 (ja) | 画像処理装置 | |
JP5167614B2 (ja) | 距離画像生成装置、距離画像生成方法及びプログラム | |
WO2021220336A1 (ja) | 画像検査装置および画像検査方法 | |
JP6348883B2 (ja) | 画像撮像装置、画像撮像方法及びコンピュータプログラム | |
JP2011133423A (ja) | 対象推定装置 | |
JP6579934B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体 | |
CN113557709B (zh) | 成像装置、图像处理装置和图像处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210408 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220315 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220412 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7058590 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |