JP6355421B2 - 画像処理装置および撮像装置 - Google Patents

Description

本発明は、画像処理装置および撮像装置に関する。

ビデオカメラやデジタルカメラといった撮像装置の小型化、軽量化が進み、画像を携帯型の撮像装置で撮影する機会が増えている。近年、このような撮像装置の撮像素子には、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサが用いられる機会が増加している。ＣＭＯＳイメージセンサが用いられる主な要因として、低コスト化および多画素化が容易、低消費電力であることが挙げられる。

ＣＭＯＳイメージセンサでは、１画素単位あるいは１ライン単位（通常水平方向であり場合によって垂直方向のものもある）で画像情報が順次読み出されるローリングシャッタ型が主流である。このような順次読み出しの場合、画素ごともしくはラインごとに露光期間にずれが生じる。ただし、１画素単位で順次読み出しする場合であってもライン間の読み出し時間差に比べ、１ライン中の読み出し時間差は無視できるほど小さい。以下の説明では、画素単位の読み出しもライン単位の順次読み出しと同一に扱う。ローリングシャッタ型のセンサで画像を撮影する際、画面の一番上のラインから一番下のラインまでの露光期間の間に被写体が動いてしまった場合や、手ぶれが生じた場合、スキャンラインごとの露光期間のずれによって被写体の像が変形してしまう。これが歪みとなる。以下、この歪みをローリングシャッタ歪みと呼ぶ。

図９は、ローリングシャッタ歪みの発生プロセスを説明する図である。図９（ａ）から（ｄ）の各図の上部は、センサのある行の露光を行い読み出す瞬間のカメラと主被写体の位置関係を表す。下部の左側は、画像の各行をスキャンする期間の各時点におけるカメラ移動速度、言い換えれば画像上での移動速度をあらわすグラフである。丸印はその読み出し行の読みだし時点での速度を表す。下部の右側は、画像上のその瞬間の読み出し行の位置を表す。図９（ｅ）は、最終的に得られる画像を表す。ここでは、カメラが次第に垂直上方に移動していく場合について説明する。

図９（ａ）は、ローリングシャッタ歪み補正の基準行をセンサの画像読み出しの先頭行（図中では最上部行）とした場合の先頭行読みだしの瞬間を表している。図９（ｂ）は、読み出し行が主被写体の最上部を露光し、読み出した瞬間を表している。図９（ｂ）の主被写体の最上部が図９（ｅ）の最終画像の主被写体の最上部となる。図９（ｃ）は、主被写体の高さ方向の真ん中近傍を露光、読み出した瞬間を表している。図９（ｄ）は、主被写体の高さ方向の最下部近傍を露光、読み出した瞬間を表す。図９（ｄ）の主被写体の最下部が図９（ｅ）の最終画像の主被写体の最下部となる。すべてのセンサの行を露光、読み出し終わると、図９（ｅ）に示す画像が得られる。露光、読み出し行が順次移動している間もカメラが移動しているため、図９（ｅ）の画像には垂直方向へ延びるようなローリングシャッタ歪みが生じてしまう。

ローリングシャッタ歪みは最終的に画像処理で補正することが主流となっており、ローリングシャッタ歪みの補正処理としては様々な手法が提案されている。例えば、特許文献１では、姿勢センサからの信号もしくは画像解析に、画像の幾何変形処理を組み合わせて補正を行う手法が提案されている。また、非特許文献１では、センサ信号と同様にラインごとの動きを得て高精度の補正を行なう場合には、モーションの多項式補間と画像との間のフィッティング処理により超解像的にセンサ同等の分解能の動き情報を得る手法が提案されている。

前述したように、ローリングシャッタ歪みは、ＣＭＯＳイメージセンサのラインごとの露光期間のずれにより生じる。非特許文献１にもその一例が例示されているように、ローリングシャッタ歪みは例えば以下のような式によりモデル化できる。

はローリングシャッタ歪みを受けた画像座標、

はローリングシャッタ歪みを受ける前の画像座標、ｍ（）は空間動きモデル関数、

はモデルの動きに関するパラメータである。右辺の第２項は基準行ｙ_１と幾何変形の対象画素を含む行ｙとの露光期間のズレ（ｙ−ｙ_１）τの間に生じた撮像装置の動きによる画像上の動きを再現する項である。ｔ_１は基準行の撮影時刻、ｔは補正対象の画素を含む行の撮影時刻を表す。

例えば、特許文献２では、式（１）の右辺の第２項を移動して得られる式（２）にしたがい、ローリングシャッタ歪みを含む画像をカメラ動きにより生じる画像の動きの積分の逆変換により幾何変換することで補正画像を得ている。このように、計測したカメラもしくは画像の動きの積分の逆の動きにより歪み画像を幾何変形することで補正画像を得る手法をフォワードマッピングという。

特許第４３８９７７９号 特許第３９２５４１５号

Ｓｉｍｏｎ Ｂａｋｅｒ ｅｔ.ａｌ., "Ｒｅｍｏｖｉｎｇ Ｒｏｌｌｉｎｇ Ｓｈｕｔｔｅｒ Ｗｏｂｂｌｅ", ＣＶＰＲ２０１０， ｐ．２３９２−２３９９ Ｗｏｎ−ｈｏ Ｃｈｏ,ｅｔ.ａｌ., "Ａｆｆｉｎｅ Ｍｏｔｉｏｎ Ｂａｓｅｄ ＣＭＯＳ Ｄｉｓｔｏｒｔｉｏｎ Ａｎａｌｙｓｉｓａｎｄ ＣＭＯＳ Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ", ＩＥＥＥ２００７， Ａｕｇ．２００７， Ｖｏｌｕｍｅ．５３， Ｉｓｓｕｅ ３， ｐ．８３３−８４１

しかしながら、フォワードマッピングにより補正画像を得ようとする場合、画質を維持するためには、動き変化の大きさに応じ補正後に不均一となる画素サンプリングが出力画像に対し十分高精細にする必要がある。そのため、補正前の画像もしくはセンサ内の画素のサンプリング密度を十分高精度にしなければならない。結果として、処理回路の大規模化や処理時間の長時間化が生じてしまう。

このような課題を鑑みて、本発明は、補正手段の大規模化を行うことなく、高精度にローリングシャッタ歪みを補正可能である。

本発明の一側面としての画像処理装置は、ローリングシャッタ方式の撮像素子から生成された画像データを入力する入力手段と、装置本体の移動に関する、ローリングシャッタ歪みの影響を受けた歪み画像の像高を引数とする第１の情報を取得する取得手段と、前記第１の情報のうち前記撮像素子の走査方向に関する情報を用いて、ローリングシャッタ歪みの影響を受けない無歪画像の座標に対応するように変換した第２の情報に基づいて、前記画像データの補正量を算出する算出手段と、前記算出手段により算出された前記補正量を用いて、前記画像データを補正する補正手段と、を有し、前記算出手段は、前記第１の情報を、前記撮像素子の走査方向に関する情報を用いて、無歪画像の像高を引数とする第２の情報に変換することを特徴とする。
また、本発明の他の側面としての画像処理装置は、ローリングシャッタ方式の撮像素子から生成された画像データを入力する入力手段と、装置本体の移動に関する、ローリングシャッタ歪みの影響を受けた歪み画像の像高を引数とする第１の情報を取得する取得手段と、前記第１の情報のうち前記撮像素子の走査方向に関する情報を用いて、ローリングシャッタ歪みの影響を受けない無歪画像の座標に対応するように変換した第２の情報に基づいて、前記画像データの補正量を算出する算出手段と、前記算出手段により算出された前記補正量を用いて、前記画像データを補正する補正手段と、を有し、前記算出手段は、前記第１の情報を、前記撮像素子の走査方向に関する情報を用いて、無歪画像の像高を引数とする情報に変換した後、前記情報を補間することで前記第２の情報を取得することを特徴とする。

本発明の他の側面としての撮像装置は、ローリングシャッタ方式で撮影する撮像素子と、前記撮像素子から生成された画像データを入力する入力手段と、装置本体の移動に関する、ローリングシャッタ歪みの影響を受けた歪み画像の像高を引数とする第１の情報を取得する取得手段と、前記第１の情報のうち前記撮像素子の走査方向に関する情報を用いて、ローリングシャッタ歪みの影響を受けない無歪画像の座標に対応するように変換した第２の情報に基づいて、前記画像データの補正量を算出する算出手段と、前記算出手段により算出された前記補正量を用いて、前記画像データを補正する補正手段と、を有し、前記算出手段は、前記第１の情報を、前記撮像素子の走査方向に関する情報を用いて、無歪画像の像高を引数とする第２の情報に変換することを特徴とする。
また、本発明の他の側面としての撮像装置は、ローリングシャッタ方式で撮影する撮像素子と、前記撮像素子から生成された画像データを入力する入力手段と、装置本体の移動に関する、ローリングシャッタ歪みの影響を受けた歪み画像の像高を引数とする第１の情報を取得する取得手段と、前記第１の情報のうち前記撮像素子の走査方向に関する情報を用いて、ローリングシャッタ歪みの影響を受けない無歪画像の座標に対応するように変換した第２の情報に基づいて、前記画像データの補正量を算出する算出手段と、前記算出手段により算出された前記補正量を用いて、前記画像データを補正する補正手段と、を有し、前記算出手段は、前記第１の情報を、前記撮像素子の走査方向に関する情報を用いて、無歪画像の像高を引数とする情報に変換した後、前記情報を補間することで前記第２の情報を取得することを特徴とする。

本発明によれば、補正手段の大規模化を行うことなく、高精度にローリングシャッタ歪みを補正可能である。

本実施形態に係る画像処理装置のブロック図である。 撮像装置の画像のフレームや行と時間方向の関係を表す図である。 ローリングシャッタ歪み補正量の算出手順を説明する図である。 フォワードマッピング処理およびバックワードマッピング処理と各補正量の像高に対する関係を説明する図である。 バックワードマッピング処理において各補正量を近似利用した場合に生じる誤差について説明する図である。 画像動きとローリングシャッタ歪みの関係と種類を説明する図である。 動き情報の再構成について説明する図である。 サンプリングデータの非線形補間処理による均一化を説明する図である。 ローリングシャッタ歪みの発生プロセスを説明する図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

図１は、本実施形態に係る画像処理装置１００のブロック図である。画像処理装置１００は、画像入力手段１０１、姿勢変化取得手段１０２、ローリングシャッタ歪み補正量算出手段１０３およびローリングシャッタ歪み補正手段１０４を有する。なお、本実施形態では、画像処理装置１００を撮像装置に搭載した場合について説明する。

画像入力手段１０１は、被写体を写した画像を入力する。画像入力手段１０１は、具体的には、光学系、撮像素子および撮像系画像処理回路を有する。まず、被写体の光学像は、光学系により撮像素子上に結像され、撮像素子の光電変換作用により電気信号に変換される。次に、電気信号に変換された被写体像は撮像系画像処理回路においてＡＤ変換されて単版センサの場合、ベイヤー補間処理が行なわれる。その後、アパーチャ補正、ガンマ補正、ホワイトバランス処理等からなる撮像系の信号処理が行なわれ、撮影した被写体に関する出力画像が生成される。これらの撮像系画像処理回路は、実際には１つの回路もしくは複数の部分回路として構成される。特に、撮像系画像処理回路は、実際にはアナログの電気信号を扱うアナログフロントエンド、ＡＤ変換後のデジタルバックエンドの２つの構成に分けて構成されることが多い。

姿勢変化取得手段（以下、取得手段という）１０２は、装置本体の動きを検出し、撮像装置の動き情報、もしくは撮像装置の動き情報を画像上の動きに換算した情報を出力する。取得手段は、ジャイロセンサや加速度センサ等の撮像装置の回転量やシフト量を算出するセンサにより構成される。取得手段は、フレームレートもしくは画像の行ごとのサンプリングレートに対応したサンプリング間隔以上の高い周波数で動き情報を取得する。動き情報は、焦点距離情報のようなパラメータとともに任意の時間に対するベクトル量として式（３）で扱うことができる。

式（３）では、ベクトルの各成分要素が、ある瞬間におけるセンサの出力信号もしくは出力信号に係数を乗算して撮像装置の動き情報としたもの、もしくはズーミングにより変化する焦点距離のような可変パラメータ等を含んだものに対応する。

カメラワークに対応する動き情報を画像上の動きに変換して扱う場合、式（４）の空間動きモデル関数を用いて画像上の動きに変換する。

は前述したように撮像装置の動き情報に加え、画素サイズ、焦点距離のようなパラメータを含むパラメータベクトルである。ｍ（）は各種の撮像装置の動き情報を画像上の動きに変化する空間動きモデル関数である。動き情報が速度情報である場合、動き情報にしたがい、単位時間τに画像座標

に生じる動きベクトル

を算出する。

本実施形態の撮像装置では、動き量算出手段として光軸に垂直な２軸を回転軸とするジャイロセンサからなる回転センサを装備する場合を想定している。動き関数モデルを撮像装置の２軸回転に対する光軸近傍の線形近似モデルとした場合には式（５）のように表現できる。

式（５）で表現されるように、単位時間に生じる画像上の変化は、画像上の位置

によらない一様変化となる。Δθ_１（ｔ）、Δθ₂（ｔ）はヨー方向、ピッチ方向に関する撮像装置の動き情報で回転センサから得られる角速度情報、ｆ（ｔ）は撮像装置の焦点距離、ｄ_ｘ、ｄ_yは画素サイズを表す。

本実施形態の空間動きモデル関数は、当然任意のものと代替可能である。例えば、光軸に回転軸が一致するロール軸を追加してもよいし、撮像装置の回転の画像動きへの影響を線形・アフィンカメラで近似することなく射影モデルで扱ってもよい。また、撮像装置の並進移動を検知可能なセンサを追加し、撮像装置の動きを回転だけでなく並進を区別して扱ってもよい。

ローリングシャッタ歪み補正量算出手段（以下、算出手段という）１０３は、ローリングシャッタ歪み補正に必要な幾何変換補正量を算出する。すなわち、算出手段１０３は、ローリングシャッタに起因する画像を形成する行ごとの露光期間のずれの間に撮像装置の動きで生じた幾何学的な歪みを逆変換的な幾何変換で補正するための補正量を算出する。

まず、図２（ａ）は、ローリングシャッタ方式の撮像装置で画像を撮影した場合の画像のフレームや行と時間方向の関係を表す。各フレームは、垂直同期信号に合わせ各フレームの読み込みを開始する。各フレームの各行は、順次、行ごとに露光・読み出しを行い、画像情報を形成して記録する。図２（ａ）に示すように行間の読み出しの遅延時間をτ、画像中の全行数をＨとすると、先頭行と最終行で（Ｈ−１）τの読み出し時間のずれが生じることになる。

画像を構成する各画素についてのローリングシャッタ歪み補正量は、式（２）の第２項で示したように、露光期間の異なる行のうちの１つの行を基準にして、同一露光期間に撮影したように、動きにより生じた歪みを打ち消す幾何変形量として求められる。

図２（ｂ）は、図２（ａ）の撮影画像を算出手段１０３およびローリングシャッタ歪み補正手段（以下、補正手段という）１０４を用いて、グローバルシャッタで撮影した画像のように補正したものである。図２（ｂ）は、撮像装置もしくは画像の変化を先頭行から３行目を基準行とし、補正を行った状態を図示している。図２（ｂ）では、基準行との露光タイミングのずれの間に生じた幾何変化を各行ごとに積分した値を用いることで、仮想的に露光期間を移動させている。これによりあたかも基準行とすべての行を同時タイミングで撮像した画像を図２（ｂ）に図示したように得ることができる。

図３を用いて、補正量の算出手順について説明する。図３（ａ）は図２の撮影により得られた垂直方向に対する撮像装置の移動速度の変化情報と、ローリングシャッタ歪みを含む画像データの組である。撮像装置の移動速度を式（２）の右辺第２項の積分式のように積分し（図３（ｂ））、例えば基準行を先頭行として積分値から減算することにより各行の基準行における露光時からの動き変化量を得る（図３（ｃ））。そして、式（４）で説明したように動き変化量を焦点距離や画素の物理サイズ等のパラメータを用いて画像座標上の動き量に変換した後、その逆変換を各行の補正量とする（図３（ｃ）右図）。このようにして各行に対して算出した補正量により補正手段１０４を用いて各行を補正することにより補正画像を得る（図３（ｄ））。

ただし、ここまでで述べたような式（２）にしたがったフォワードマッピングによる補正処理の場合、動き変化の激しさに依存し、補正後画像の画素分布が不均一となってしまう。そのため、本実施形態においては、ローリングシャッタ歪み補正をバックワードマッピング処理により実現するため、以下で説明する工夫を加える。なお、バックワードマッピングとは、出力画像の座標を基準として入力画像上でサンプリングを行うことで、補正を行うことをいう。

図４は、フォワードマッピング処理およびバックワードマッピング処理と各補正量の像高に対する関係を説明する図である。各図は、撮像装置を鉛直下方に移動した際の速度変化のグラフとその際得られる画像の組である。図４（ａ）は、フォワードマッピングによる補正結果との関係を示す図である。もし、撮像装置の鉛直方向へ移動した場合に補正を行うと、図４（ａ）の右図で表されるように画像が幾何変形されるため、それに合わせて像高を基準に計測された画像の動き変化量の形が変化してしまう。この結果から、もし撮像装置の動きに像高方向の動きが含まれる場合、単純にバックワードマッピング処理により補正を行うことができない。具体的には、図４（ｂ）に示すように、補正画像を基準にバックワードマッピングで補正を行う場合、その際に補正後画像の像高に応じた補正量情報が必要となってしまう。

また、補正後画像の像高に応じた動き変化量を歪み画像の像高に応じた動き変化量で近似して利用した場合（図５（ａ））、実際には幾何学的に矛盾する関係のため、図５（ｂ）で示すように、動き変化の大きい部分に幾何誤差が生じてしまう。

実際には撮像装置の動き、そしてそれにより生じるローリングシャッタ歪みには図６に示すように、（ｂ）水平方向の動き、（ｃ）垂直方向の動き、（ｄ）光軸周りの回転、または図示していない前進等が含まれるため、補正についてさらに考慮する必要がある。

このように、ローリングシャッタ歪み補正をバックワードマッピングにより実現しようとすると、撮像装置の動き変化量がローリングシャッタ歪みを含む像高を基準にしたときだけ計測可能となる。従来、この問題に対しては、フレーム間の動きを等速度と仮定し、解析的に補正量を導き出す手法が提案されている（例えば、非特許文献２参照）。

本実施形態では、ローリングシャッタ歪み補正の精度と厳密性を両立して維持するため、ローリングシャッタ歪みを含む像高で計測された撮像装置の動き情報を無歪画像（補正画像）の像高を引数とする動き情報に再構成している。

図７は、動き情報の再構成について説明する図である。本実施形態では、撮像素子の走査方向である垂直動きの積分情報から得られた補正量を、垂直動きの積分情報から得られた補正量を用いて結び付けられた像高に対して幾何変換している。そうすることで、ローリングシャッタ歪みを含む像高に応じて得られた姿勢変化の情報、例えば水平動き、垂直動き、回転動きを、無歪画像（補正画像）の像高を引数とする動き情報に変換する。補正量は、式（４）より、動き情報の積分値からパラメータにしたがい、画像上の動き量に変換して基準行の動きを減算することにより得る。鉛直方向の動き量を打ち消す補正量を像高から減算することにより、無歪画像（補正画像）の像高を引数とする動き情報に変換できる。しかしながら、幾何変換により無歪画像の像高に対し、不均一になってしまった動き情報のサンプリング点を画像の各行（像高）に対応させるために、最後にスプライン補間等の補間手法を用いて動き情報を再構成する。

図８は、サンプリングデータの非線形補間処理による均一化を説明する図である。幾何変換により無歪像高に対し不均一になってしまった動き情報（図８（ａ））に対する補間を伴う処理により、無歪像高に対し均一分布を持つ動き情報を再構成する（図８（ｂ））。

補正手段１０４は、ローリングシャッタ歪みを幾何変換により補正する。画像および幾何変形のパラメータを入力し、幾何変換によりローリングシャッタ歪みを補正した画像を出力する。算出手段１０３により算出した補正量に基づき各行ごとに拡縮、面内回転および水平垂直並進を行うことにより補正を実施する。補正手段１０４から出力された画像は、記録手段（不図示）によって記録媒体等に記録されるか、表示手段（不図示）に表示される。もしくは別の画像処理手段（不図示）、例えば超解像やＨＤＲ等の複数枚合成、もしくは認識処理の入力画像情報として扱われる。

以上説明したように、本発明を用いることにより、バックワードマッピング処理で効率的にかつ高精度にローリングシャッタ歪みを補正できる。

また、本発明は、撮像装置にのみ適用されるものではなく、例えば撮像装置が取り付けられた携帯情報端末、撮影した映像に対し後処理として加工を加える画像処理装置、このような画像処理装置を含んだ画像表示装置にも適用可能である。例えば、入力手段１０１および取得手段１０２を記録媒体の入出力手段またはネットワークの終端ノードとする画像処理装置であっても良い。

また、本発明はユーザが手で持って撮影を行なう撮像装置のみに限定して適用されるものではなく、監視カメラのように固定的に設置され、通行人や自動車など主に動被写体を撮影する場合にも適用可能である。

さらに上述した撮像装置の機能はそれぞれの機能を有するハードウェアにより実現させることもできるが、ソフトウェアにより実現させることもできる。ソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用ハードウェアに組み込まれたコンピュータ、または各種プログラムを記録媒体またはネットワークからインストールすることで各種機能を実現可能であればよい。例えば、汎用のパーソナルコンピュータを用いて実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 画像処理装置
１０１ 画像入力手段（入力手段）
１０２ カメラ姿勢変化取得手段（取得手段）
１０３ ローリングシャッタ歪み補正量算出手段（算出手段）
１０４ ローリングシャッタ歪み補正手段（補正手段）

Claims (6)

1. ローリングシャッタ方式の撮像素子から生成された画像データを入力する入力手段と、
   装置本体の移動に関する、ローリングシャッタ歪みの影響を受けた歪み画像の像高を引数とする第１の情報を取得する取得手段と、
   前記第１の情報のうち前記撮像素子の走査方向に関する情報を用いて、ローリングシャッタ歪みの影響を受けない無歪画像の座標に対応するように変換した第２の情報に基づいて、前記画像データの補正量を算出する算出手段と、
   前記算出手段により算出された前記補正量を用いて、前記画像データを補正する補正手段と、を有し、
   前記算出手段は、前記第１の情報を、前記撮像素子の走査方向に関する情報を用いて、無歪画像の像高を引数とする第２の情報に変換することを特徴とする画像処理装置。
2. ローリングシャッタ方式の撮像素子から生成された画像データを入力する入力手段と、
   装置本体の移動に関する、ローリングシャッタ歪みの影響を受けた歪み画像の像高を引数とする第１の情報を取得する取得手段と、
   前記第１の情報のうち前記撮像素子の走査方向に関する情報を用いて、ローリングシャッタ歪みの影響を受けない無歪画像の座標に対応するように変換した第２の情報に基づいて、前記画像データの補正量を算出する算出手段と、
   前記算出手段により算出された前記補正量を用いて、前記画像データを補正する補正手段と、を有し、
   前記算出手段は、前記第１の情報を、前記撮像素子の走査方向に関する情報を用いて、無歪画像の像高を引数とする情報に変換した後、前記情報を補間することで前記第２の情報を取得することを特徴とする画像処理装置。
3. 前記補正手段は、出力画像の座標を基準として入力画像上でサンプリングを行うバックワードマッピングにより前記画像データを補正することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第１の情報は、少なくとも装置本体の回転量またはシフト量のいずれかに関する情報であることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. ローリングシャッタ方式で撮影する撮像素子と、
   前記撮像素子から生成された画像データを入力する入力手段と、
   装置本体の移動に関する、ローリングシャッタ歪みの影響を受けた歪み画像の像高を引数とする第１の情報を取得する取得手段と、
   前記第１の情報のうち前記撮像素子の走査方向に関する情報を用いて、ローリングシャッタ歪みの影響を受けない無歪画像の座標に対応するように変換した第２の情報に基づいて、前記画像データの補正量を算出する算出手段と、
   前記算出手段により算出された前記補正量を用いて、前記画像データを補正する補正手段と、を有し、
   前記算出手段は、前記第１の情報を、前記撮像素子の走査方向に関する情報を用いて、無歪画像の像高を引数とする第２の情報に変換することを特徴とする撮像装置。
6. ローリングシャッタ方式で撮影する撮像素子と、
   前記撮像素子から生成された画像データを入力する入力手段と、
   装置本体の移動に関する、ローリングシャッタ歪みの影響を受けた歪み画像の像高を引数とする第１の情報を取得する取得手段と、
   前記第１の情報のうち前記撮像素子の走査方向に関する情報を用いて、ローリングシャッタ歪みの影響を受けない無歪画像の座標に対応するように変換した第２の情報に基づいて、前記画像データの補正量を算出する算出手段と、
   前記算出手段により算出された前記補正量を用いて、前記画像データを補正する補正手段と、を有し、
   前記算出手段は、前記第１の情報を、前記撮像素子の走査方向に関する情報を用いて、無歪画像の像高を引数とする情報に変換した後、前記情報を補間することで前記第２の情報を取得することを特徴とする撮像装置。