JP6732594B2 - 画像処理装置及び光学機器及び画像処理方法 - Google Patents

Description

本発明は、入力画像を分割して画像処理する画像処理装置に関する。本発明の画像処理装置は、デジタルスチルカメラ、デジタルビデオカメラ、等の光学機器に適用される。

近年、カメラは４Ｋ（３８４０×２１６０画素）対応といった一層の高解像度化が進められている。

こうした装置では、１つの画像処理プロセッサ（画像処理ＬＳＩ）だけでは画像処理能力が足りなくなる場合、１枚の入力画像から複数の分割画像を切り出し、複数の画像処理プロセッサで同時に画像処理を施す技術が用いられている。

入力画像を複数に分割して画像処理を行う場合、境界部分で画像の連続性が失われないように、隣接する分割画像同士で、画像の一部をオーバーラップさせて画像処理を施す技術が開示されている。

例えば、特許文献１では、入力画像から複数の分割画像を切り出す際に、互いに隣接する分割画像に対してオーバーラップ領域を設け、オーバーラップ領域を含めて画像処理を行っている。

また、特許文献２では、各画像処理プロセッサが互いに分割画像のオーバーラップ領域を送りあい、画像メモリで分割画像にオーバーラップ領域を貼り合わせてから以降の画像処理を行っている。

一方で、近年のカメラは、いわゆる手ブレなどカメラ本体の動きにより撮像画像に生じたブレを、電子的に補正する機能（電子防振）を備えているものが多い。

こうした装置では、画像処理プロセッサが入力画像を画像メモリに格納して、カメラ本体の動き情報を元に、画素毎に画像メモリからの読み出し位置を変更することで、撮像画像に生じたブレの補正を行っている。

例えば、特許文献３では、撮像画像に生じたブレに加えて、ＣＭＯＳイメージセンサのローリングシャッター歪みや、撮像レンズの歪曲収差歪みを、撮像レンズの焦点距離や角速度センサの検出結果をもとに画像を変形することで補正している。

特開２０１１−９７４７４号公報 特開２０１３−１３１０４２号公報 特開２０１４−６４１４３号公報

しかしながら、入力画像を分割して、複数の画像処理プロセッサで画像処理を行う技術と、画像メモリの読み出し位置を変更することで手ブレなどを補正する技術を両立させることは、これまでに考えられていなかった。

画像メモリに格納された分割画像の読み出し位置を変更して手ブレを補正する。その場合、分割画像同士の境界部分でも読み出し位置が変動するため、それぞれの分割画像に大きなオーバーラップ領域を含める必要がある。

特許文献１の構成で、特許文献３に示されるような手ブレ補正を実現するには、各画像処理プロセッサがより大きなオーバーラップ領域を含む分割画像を処理する画像処理能力を備える必要がある。

例えば、所定時間内に４Ｋ画像を２つの画像処理プロセッサに分割して処理するとする。その場合、各画像処理プロセッサが半分程度の処理能力を持っているだけでは、大きなオーバーラップ領域を含む分割画像を所定時間内に処理することができない。

特許文献２の構成で、同様に手ブレ補正を実現するには、各画像処理プロセッサが互いに分割画像のオーバーラップ領域を送りあう必要がある。その場合、画像メモリで貼り合わせてから読み出しを行う必要があるため、画像を出力するまでの映像遅延量が大きくなってしまう。

そこで、本発明では、入力画像を分割して、複数の画像処理プロセッサで画像処理を行うとする。その場合に、所定の画像処理能力の範囲内で、最小限の映像遅延量で、撮像装置の動きにより撮像画像に生じたブレの補正が可能な撮像装置を提供することを目的とする。

前記課題を解決するため、本発明の画像処理装置は、１枚のフレーム画像を複数の分割画像に分割する分割手段と、前記複数の分割画像に対応して設けられた複数の画像処理手段と、前記複数の画像処理手段の各々にて画像変形処理を行われた前記分割画像を合成する合成手段と、を有する画像処理装置であって、
前記分割手段は、前記画像処理手段にて算出された前記分割画像に行われる画像変形処理の変形量が所定値よりも大きい場合の複数の分割画像同士のオーバーラップ量を前記画像処理手段にて算出された前記分割画像に行われる画像変形処理の変形量が前記所定値よりも小さい場合の複数の分割画像同士のオーバーラップ量よりも大きくすることを特徴とする。

本発明によれば、入力画像を分割して、複数の画像処理プロセッサで画像処理を行う場合に、所定の画像処理能力の範囲内で、撮像装置の動きにより撮像画像に生じたブレの補正が可能となる。

本発明による第１の実施例である撮像装置の構成図。 撮像画像の分割処理の概略図。 撮像画像に生じる変形の概略図。 変形による分割画像のオーバーラップ領域の拡大を示す概略図。 分割処理の動作モードを示すツリー図。 第１の動作モードにおける分割処理の概略図。 第２乃至第４の動作モードにおける分割処理の概略図。 各動作モードにおける拡大率を示すグラフ。 本発明による第２の実施例である撮像装置の構成図。 第２の実施例における撮像画像の分割処理の概略図。 第２の実施例の変形による分割画像のオーバーラップ領域の拡大を示す概略図。 第２の実施例の第１の動作モードにおける分割処理の概略図。 第２の実施例の第２乃至第４の動作モードにおける分割処理の概略図。 撮像装置の動作シーケンスを示すタイミングチャート。 制御マイコン１０１ａの処理内容を示すフローチャート。 変形量演算部１１１ａの処理内容を示すフローチャート。

［実施例１］
（撮像装置のブロック図）
本発明による第１の実施例である光学機器としての撮像装置の構成（ブロック図）について図１を用いて説明する。

１００ａ、１００ｂは第一の画像処理プロセッサと、第二の画像処理プロセッサで、分割して入力された画像データをそれぞれ処理して出力する。

１１１は操作部である。撮像装置本体の外装部分に設けられた記録開始／終了ボタンやタッチパネル等で構成され、使用者の操作を第一の画像処理プロセッサ１００ａに伝える。

１２０は撮像光学系である。変倍光学系１２１などの光学レンズ群を介して被写体像を撮像素子１４１の撮像面上に結像する。

１３１はズームエンコーダである。変倍光学系１２１の位置（ズーム位置）を検出し、第一の画像処理プロセッサ１００ａに出力する。

１４１は撮像素子である。第一の画像処理プロセッサ１００ａの制御に基づき、撮像面に結像された被写体像を光電変換して撮像信号を生成し、Ａ／Ｄ変換して得られた画像データを出力する。

１４２は分割部である。

第一の画像処理プロセッサ１００ａの制御に基づき、撮像素子１４１から出力された画像データから、第一の画像処理プロセッサ１００ａと第二の画像処理プロセッサ１００ｂの処理範囲をそれぞれ切り出して、出力する。

１５１は角速度センサである。撮像装置本体に加わる動きを角速度信号として検出し、その角速度信号を第一の画像処理プロセッサ１００ａに出力する。

ここで、角速度センサ１５１は、光軸方向をＺ軸、鉛直上向き方向をＹ軸、ＹとＺ両軸方向に直交する方向をＸ軸とすると、ヨー（Ｙ軸回り）方向、ピッチ（Ｘ軸回り）方向、ロール方向（Ｚ軸回り）の角度振れを検出する。

１６２は表示デバイスである。第二の画像処理プロセッサ１００ｂから出力された表示用の画像データを表示する。

１７１は記録媒体である。第一の画像処理プロセッサ１００ａによって記録用の符号化された画像データが記録される。

次に、第一の画像処理プロセッサ１００ａの内部の構成を説明する。

１０１ａは制御マイコンで、内部に不揮発メモリとワークメモリを備え、不揮発メモリに格納されたプログラムとデータに基づき、ワークメモリに一時的なデータを読み書きしながら、制御バス１０２ａで接続された各ブロックの制御を行う。

１０２ａは制御バスである。

１０３ａは通信部である。制御マイコン１０１ａは通信部１０３ａを介して、第二の画像処理プロセッサ１００ｂと制御情報を通信する。

１８１ａは画像入力部である。分割部１４２から出力された画像データを受け取る。

１８２ａは第一の画像メモリである。画像入力部１８１ａが受け取った画像データを格納する。

１０４ａは信号処理部である。前段の画像メモリ１８２ａに格納された画像データに対する補正処理や現像処理を行う。

１０５ａは第二の画像メモリである。信号処理部１０４ａが処理した画像データを格納する。

１０６ａは画像変形部である。制御マイコン１０１ａから設定された変形パラメータに基づき、変形後の画像データの画素位置を、画像メモリ１０５ａに格納された画像データの読み出し位置に変換することで、画像データを変形して出力する。

１８３ａは第三の画像メモリである。画像変形部１０６ａが出力した画像データを格納する。

１８４ａは符号化部である。制御マイコン１０１ａからの記録開始／終了の指示に応じて、画像メモリ１８３ａに格納された画像データを符号化して出力する。

１８５ａはデータ受信部である。第二の画像処理プロセッサ１００ｂで符号化された符号データを受け取る。

１８６ａは符号メモリである。符号化部１８４ａから出力された第一の符号化データと、データ受信部１８５ａが受け取った第二の符号化データを格納する。

１０８ａは記録制御部である。制御マイコン１０１ａからの記録開始／終了の指示に応じて、符号メモリ１８６ａに格納された第一の符号化データと第二の符号化データを合成する。そして、記録用データを記録媒体１７１に記録する。

１０９ａはデータ転送部である。画像メモリ１８３ａに格納された画像データを第二の画像処理プロセッサ１００ｂに送信する。

１１０ａはＡ／Ｄ変換部である。角速度センサ１５１からの角速度信号をデジタル化して、角速度データとして出力する。

１１１ａは画像変形量演算部である。ズームエンコーダ１３１の出力を元に、焦点距離を算出する。また、Ａ／Ｄ変換部１１０ａからの角速度データと、前記焦点距離を元に、撮像画像に生じている変形量を算出し、画像変形部１０６ａで補正するための変形パラメータを算出する。

次に、第二の画像処理プロセッサ１００ｂの内部の構成について説明する。第二の画像処理プロセッサ１００ｂの構成は、第一の画像処理プロセッサ１００ａと同じだが、システム構成上、一部のブロックが担う処理内容が異なる。

１８１ｂ、１８２ｂ、１０１ｂ〜１０６ｂの各ブロックの処理内容は、第一の画像処理プロセッサ１００ａの各ブロック１８１ａ、１８１ｂ、１０１ａ〜１０６ａと同等である。

１８５ｂのデータ受信部は、第一の画像処理プロセッサ１００ａから、第二の画像データを受け取る。

１８３ｂの第三の画像メモリは、画像変形部１０６ｂの出力した第一の画像データと、データ受信部１８５が受け取った第二の画像データを、メモリ上でひとつの画像データに貼り合わせて格納する。

１０７ｂは表示処理部である。画像メモリ１８３ｂに格納された画像データを読み出す。そして、表示用にリサイズして、制御マイコン１０１ｂの指示に基づき、文字やアイコンで構成される表示情報を重畳して、表示用画像データを表示デバイス１６２に出力する。

１８４ｂの符号化部は、制御マイコン１０１ａからの記録開始／終了の指示に応じて、画像メモリ１８３ｂに格納された画像データの、画像変形部１０６ｂが出力した部分を符号化する。

１８６ｂの符号メモリは、符号化部１８４ｂの出力した符号データを格納する。

１０９ｂのデータ送信部は、符号メモリ１８６ｂに格納された符号データを画像処理プロセッサ１００ａに送信する。

また、第二の画像処理プロセッサ１００ｂには、ズームエンコーダ１３１と角速度センサ１５１が接続されず、第一の画像処理プロセッサ１００ａの１１０ａ、１１１ａに相当する各ブロックは利用されない。

代わりに、通信部１０３ｂを介して、第一の画像処理プロセッサ１００ａから変形パラメータなどの制御情報を受け取り、制御マイコン１０１ｂが各ブロックの制御を行う。

（撮像画像の分割処理）
次に、図２で撮像画像の分割処理について説明する。

本実施例の撮像装置では、動画撮像時に撮像画像を２つに分割して、２つの画像処理プロセッサ１００ａ、１００ｂでそれぞれの分割画像を処理する。

図２（ａ）は撮像素子１４１で撮像された１フレーム分の撮像画像の例である。ここでは、撮像画像の解像度を水平３８４０ｘ垂直２１６０画素として、撮像のフレームレートを６０ｆｐｓとする。

また、本実施例の撮像装置に用いられている２つの画像処理プロセッサ１００ａ、１００ｂは、撮像のデータレートに対して、それぞれ半分強の処理能力しか持たないものとする。

そのため、撮像された画像を同じフレームレートで処理するためには、２つの画像処理プロセッサ１００ａ、１００ｂに処理を分散する必要がある。

図２（ｂ）は前記撮像画像を分割部１４２で上下に分割した分割画像２１１と分割画像２１２である。本実施例の撮像装置では、撮像画像を上下に分割して、画像処理プロセッサ１００ａ、１００ｂにそれぞれ入力する。

各画像処理プロセッサが個別に信号処理と画像変形を行うため、境界部分で画像の連続性が失われないように、それぞれの分割画像は隣接部分にオーバーラップ領域が設けられている。

図２（ｃ）は画像処理プロセッサ１００ａ、１００ｂがそれぞれ分割画像２１１、２１２を信号処理および画像変形した信号処理・変形済み画像２２１、２２２である。

分割画像２１１、２１２のオーバーラップ領域は、画像処理プロセッサ１００ａ、１００ｂ内部の画像処理で削られ、信号処理・変形済み画像２２１、２２２はオーバーラップ領域を持たずに画像メモリに格納される。

図２（ｄ）は第二の画像処理プロセッサ１００ｂの画像メモリ１８３ｂで信号処理・変形済み画像２２１、２２２を貼り合わせることで、境界部分の連続性が保たれた画像である。

（撮像画像に生じる変形画像）
次に、図３で撮像画像に生じる変形について、３つの観点で説明する。

１つめの観点は、撮像装置に加えられる角度振れによって発生する撮像画像の変形である。

撮像画像に加えられる角度振れに起因して、撮像画像には図３（ａ）乃至（ｆ）に示すような、並進（水平・垂直）、あおり（垂直・水平）、回転、拡大縮小、せん断の各成分を組み合わせた幾何学変形が発生する。

例えば、特許文献１では、撮像装置に加わる角度振れによって撮像画像に生じる変形成分としては、拡大縮小、せん断の成分は他と比較して小さいことが開示されている。

そこで、本実施例の撮像装置でも、並進（水平・垂直）、あおり（水平・垂直）、回転を角度振れに対する補正の対象とする。

２つめの観点は、撮像光学系により発生する歪曲収差である。撮像光学系１２０は、撮像光学系１２０自体と、その変倍光学系１２１の位置（ズーム位置）即ち焦点距離に依存する歪曲収差を持つ。

この歪曲収差によって、撮像画像には撮像光学系の中心位置（以下、光学中心）を基準とした像高方向の伸縮が放射状に発生し、図３（ｇ）に示すような、たる型又は糸巻き型の歪曲収差歪みが発生する。

３つめの観点は、撮像素子１４１の読み出しタイミングに依存するローリングシャッター歪み（以下、ＲＳ歪み）である。

ＣＭＯＳイメージセンサを用いた撮像装置では、ＣＭＯＳイメージセンサの上部から下部に向かって、ライン毎に蓄積された電荷を読み出す制御を行う。

この読み出し方法はローリングシャッター（以下、ＲＳ）方式と呼ばれ、撮像素子の上部と下部とで読み出しタイミングが異なる。

これによって、撮像装置に振れが生じ、撮像面上で被写体の位置が移動したとする。

その場合に、読み出しタイミングが異なることに起因して、撮像画像には図３（ｈ）、（ｉ）、（ｊ）に示すような、ＲＳ歪み（水平・垂直・回転）が発生する。

ＲＳ歪みはライン毎の水平方向の並進成分、垂直方向の並進成分、回転成分によって構成される。

次に、画像処理プロセッサ１００ａの画像変形量演算部１１１ａが、前記３つの観点の変形を補正するための変形パラメータを算出する方法について説明する。

１つめの観点について、画像変形量演算部１１１ａは、角速度センサ１５１の出力をＡ／Ｄ変換した角速度データから、撮像装置に加わったヨー、ピッチ、ロール方向の角度振れを検出する。

また、ズームエンコーダ１３１の出力から撮像光学系１２０の焦点距離を算出する。

例えば、特許文献１には前記３方向の角度振れと焦点距離から、撮像画像に生じた変形を補正するための並進（水平・垂直）成分と、あおり（水平・垂直）成分と、回転成分を求める方法について開示されている。

本実施例の画像変形量演算部１１１ａも同様の方法で、撮像画像に生じた変形を補正するための各成分を求め、画像変形部１０６ａに設定する変形パラメータを求める。

画像変形部１０６ａは射影変換により、これらの変形成分の補正を行う。

なお、撮像光学系１２０がシフトレンズを備える場合についても、前記公知例と同様の方法で、シフトレンズの位置を用いて補正のための各成分を求めることができる。

２つめの観点について、画像変形量演算部１１１ａは、前記焦点距離に対して撮像画像に生じた歪曲収差を補正するための光学中心を基準とした像高方向の伸縮成分を求める。

例えば、特開２００８−２５９０７６号公報には、光学中心からの距離のｎ次多項式で、像高方向の伸縮成分を求める方法が開示されている。

本実施例の画像変形量演算部１１１ａも、内部の不揮発メモリに撮像光学系１２０の焦点距離に対するｎ次多項式の係数を予め備えていて、焦点距離に応じた伸縮成分を求めるものとする。

なお、撮像光学系１２０が交換可能に構成されている場合は、制御マイコン１０１ａの制御に基づき、個々の撮像光学系に対する係数データを選択的に用いたり、不揮発メモリの係数データを書き換えたりして用いることができる。

３つめの観点について、画像変形量演算部１１１ａは、撮像画像に生じたＲＳ歪みを補正するためのライン毎の並進（水平・垂直）成分と回転成分を求める。

例えば、特開２０１４−６４１４３号公報には、撮像画像の読み出し期間に対する前記角速度データの推移と焦点距離から、所定間隔のライン毎に補正量を求め、補間して全ラインのＲＳ歪み補正を行う方法について開示されている。

本実施例の画像変形量演算部１１１ａも、同様の方法でライン毎の並進（水平・垂直）成分と回転成分を求めるものとする。

なお、撮像光学系１２０がシフトレンズを備える場合についても、前記公知例と同様の方法で、撮像光学系１２０の光軸と直交する方向にシフト移動するシフトレンズの位置を用いて補正のための各成分を求めることができる。

画像変形量演算部１１１ａは３つの観点で画像変形部１０６ａに設定する変形パラメータを算出する。

制御マイコン１０１ａは画像変形量演算部１１１ａの求めた変形パラメータを画像変形部１０６ａに設定して、画像メモリ１０５ａに格納された画像を補正させる。

第二の画像処理プロセッサ１００ｂについては、制御マイコン１０１ｂが通信部１０３ｂを介して第一の画像処理プロセッサ１００ａから受け取った変形パラメータを画像変形部１０６ｂに設定して、画像メモリ１０５ｂに格納された画像を補正させる。

（分割画像のオーバーラップ領域の拡大）
次に、図４（ａ）、（ｂ）で変形による分割画像のオーバーラップ領域の拡大について説明する。

画像変形量演算部１１１ａの算出した変形パラメータにより画像変形部１０６ａ、１０６ｂで分割画像の変形を行うとする。

その場合、分割画像同士の境界部分でも読み出し位置が変動するため、それぞれに大きなオーバーラップ領域を含める必要がある。

例えば、図４（ａ）は撮像画像に何れの変形も生じていない場合に、画像変形部１０６ａと１０６ｂが参照する範囲を破線で示している。

なお、破線の範囲が撮像画像全体より小さいのは、撮像装置に角度振れが加わって撮像画像が変形し、補正のために読み出し位置が変動したとする。

そのときに、撮像画像の範囲を超えないように、上下左右の端部分に変形用の余白を設けているためである。

この図に示す撮像画像を上下に分割した分割画像で必要なオーバーラップ領域は、境界部分で画像の連続性が失われないための最小限の大きさでよい。

例えば、画像変形部１０６ａと１０６ｂが各ラインに対して、上３ラインと下３ラインを参照するようなフィルタ処理を内部で行うのであれば、上下の分割画像がそれぞれ３ラインずつのオーバーラップ領域を含んでいればよい。

また、先行して画像処理を行う信号処理部１０４ａ、１０４ｂでも内部でフィルタ処理を行うとする。

その場合は、その参照範囲も含めたオーバーラップ領域を含めた分割画像を各画像処理プロセッサ１００ａ、１００ｂに入力するように分割部１４２は分割処理を行う。

信号処理部１０４ａ、１０４ｂは自身のために設けられたオーバーラップ領域を画像処理後に削る。

その後、画像変形部１０６ａ、１０６ｂが必要なオーバーラップ領域を残して、分割画像を画像メモリ１０５ａ、１０５ｂに格納する。

画像変形部１０６ａ、１０６ｂは自身のために設けられたオーバーラップ領域を画像処理後に削って、記録制御部および表示処理部に変形後の分割画像を出力する。

一方で、図４（ｂ）は撮像画像に回転成分の変形が生じている場合に、画像変形部１０６ａと１０６ｂが参照する範囲を破線で示している。

図４（ａ）に比べて図４（ｂ）では、画像変形部１０６ａと１０６ｂの参照範囲が垂直方向に大きくなり、オーバーラップ領域が拡大している。

このように撮像画像の変形量が大きくなると、オーバーラップ領域が拡大する傾向がある。そのため、最大の変形量をもとにオーバーラップ領域を見積もって、撮像画像から分割画像を切り出す範囲を決める必要がある。

ただし、オーバーラップ領域を単純に拡大すると、各画像処理プロセッサ１００ａと１００ｂが処理する分割画像のサイズが大きくなってしまう。

（撮影画像の利用範囲の変更）
次に、図４（ｃ）、（ｄ）で撮影画像の利用範囲の変更について説明する。

本実施例の画像処理プロセッサ１００ａ、１００ｂは、撮像のデータレートに対して、それぞれ半分強の処理能力しか持たない。そのため、オーバーラップ領域を単純に拡大すると所定のフレームレートでは撮像画像を処理しきれなくなる。

そこで、本実施例の分割部１４２は、分割画像のオーバーラップ領域を拡大する必要があるとする。その場合、それに応じて撮像画像の利用範囲を狭めて分割画像を切り出し、各画像処理プロセッサ１００ａと１００ｂはその範囲の分割画像を処理して、記録と表示を行う。

例えば、図４（ｃ）は撮影画像の全面を利用範囲として分割画像を切り出した場合の、画像処理プロセッサ１００ａの処理範囲と、画像処理プロセッサ１００ｂの処理範囲を示している。

ここでは、オーバーラップ領域を図４（ｂ）のように大きくとっているため、各画像処理プロセッサの処理範囲が大きい。

所定の大きさを超えると、各画像処理プロセッサの信号処理部や画像変形部は、所定のフレームレートで画像を処理しきれなくなってしまう。

一方、図４（ｄ）は撮影画像の利用範囲を狭めて分割画像を切り出した場合の、画像処理プロセッサ１００ａの処理範囲と、画像処理プロセッサ１００ｂの処理範囲を示している。

オーバーラップ領域が大きくても、上下左右の端部分を非処理範囲として、処理範囲を狭めることにより、各画像処理プロセッサの信号処理部や画像変形部が、所定のフレームレートで画像を処理しきれるようにする。

（分割処理の動作モード）
次に、図５で分割処理の動作モードについて説明する。

本実施例の撮像装置は、撮像装置に加わった角度振れに対する変形と、ＲＳ歪みを補正する防振有りモードと、それらを補正しない防振無しモードを備える。

防振有りモードは、撮像者が撮像装置を手に持って撮像したり、歩きながら撮像したりするとする。その際に発生する撮像装置本体の動きが、記録および表示される画像に与える影響を低減することができる。

その半面、撮像画像に変形のための余白領域が必要となるため、記録および表示できる画角が狭まる。

一方、防振無しモードは、撮像装置の振れの影響は低減できないものの、撮像画像の全画角を記録および表示することができ、三脚などに固定しての撮像に適している。

ここでは、第１の動作モードを防振無しモードとして、本モードでは撮像画像に生じる変形のうち、歪曲収差のみを補正するものとする。

一方で防振有りモードは、さらに変倍光学系１２１の位置（ズーム位置）即ち焦点距離をワイド側からテレ側にかけて３つのゾーンに分けて、第２乃至第４の動作モードとする。

撮像装置に加わる角度振れによって発生する変形のうち、並進（水平・垂直）成分は焦点距離に比例して増加し、あおり（水平・垂直）成分は焦点距離に反比例して減少する。

また、歪曲収差の補正量も焦点距離に依存して変動する。さらに、ＲＳ歪みも水平・垂直成分は焦点距離に比例して増加する。

特に、歪曲収差の補正量は、焦点距離に対する変動が非線形なので、これらを組み合わせた最大の変形量の見積もりを簡易化する。

そのため、焦点距離をワイド側からゾーン１、２、３に分けた３つの動作モードで、各焦点距離の範囲に応じた分割処理と変形の補正を行う。

（第１の動作モードにおける分割処理）
次に、図６で第１の動作モードにおける分割処理について説明する。

図６（ａ）は第１の動作モードで、ある焦点距離で撮像された撮像画像に対して、第一の画像処理プロセッサ１００ａの画像変形部１０６ａが参照する範囲を、破線で示している。

本実施例では撮像画像の中心が光学中心であって、分割部１４２は光学中心を通る水平線を境界として撮像画像を上下に分割し、その境界部分にはオーバーラップ領域を設けている。

光学中心を通る水平線上では、歪曲収差による変形は水平方向に変動するだけで読み出し位置は上下には変動しない。

オーバーラップ領域の上下端は、前記水平線から少し離れるが、垂直方向の変形は依然として僅かであり、読み出し位置の上下方向の変動はごく微少である。

例えば、画像変形部１０６ａの内部処理に必要なオーバーラップ領域が境界線から上下に３ライン程度であれば、その上下端の上下方向への変動は最大でも１ラインにも満たない。

このため、本モードにおいて画像変形部１０６ａのためのオーバーラップ領域は１ライン増やして４ラインとすればよい。

図６（ｂ）は図６（ａ）と同じ条件下で、分割部１４２が撮像画像を切り出して画像処理プロセッサ１００ａに入力する範囲を破線で示している。

図６（ａ）の破線で示した範囲に対して、信号処理部１０４ａの内部処理に必要なライン数をオーバーラップ領域に加えた範囲となっている。

例えば、信号処理部１０４ａの内部処理に上下３ラインが必要であれば、前記４ラインに加えて計７ラインのオーバーラップ領域とする。

本実施例の画像処理プロセッサ１００ａの処理能力は、撮像のデータレートの半分強であり、撮像の半分の画角に対して、７ライン程度のオーバーラップ領域を加えて処理することは可能であるものとする。

なお、第二の画像処理プロセッサ１００ｂについても、前記画像処理プロセッサ１００ａに対して処理対象が下半分の分割画像になるだけで、処理内容は同様である。

（第２乃至第４の動作モードにおける分割処理）
次に、図７で第２乃至第４の動作モードにおける分割処理について説明する。

図７（ａ）は第２の動作モードで、ある焦点距離で撮像された撮像画像に対して、第一の画像処理プロセッサ１００ａの画像変形部１１１ａが特定の条件下で参照する範囲を破線で示している。

ここで、前記特定の条件とは、画像変形部１１１ａが焦点距離における歪曲収差の補正に加えて、回転、あおり（水平・垂直）、ＲＳ歪み（回転）を最大限補正した状態である。

回転、あおり（水平・垂直）、ＲＳ歪み（回転）は、何れも補正量が大きいほど、水平・垂直方向に読み出し位置の変動が大きくなる。

並進（水平・垂直）、ＲＳ歪み（水平・垂直）を除くこれらの変形成分のうち、歪曲収差の補正は画像変形部１０６ａの参照範囲を曲線状に歪ませ、回転、あおり（水平・垂直）、ＲＳ歪み（回転）は前記参照範囲を斜めに傾かせる。

回転やあおり（水平・垂直）と歪曲収差の補正を組み合わせた場合、回転やあおり（水平・垂直）だけの補正よりも参照範囲が小さくなる場合もあり、前記参照範囲の算出は比較的、処理負荷が高い。

例えば、特許５４３２６９７号公報には、歪曲収差と回転を組み合わせた補正において、たる型の歪曲収差を補正したとする、その際、参照されなくなる領域が四隅に発生した場合に、その領域を用いて角度振れの回転成分を補正する方法について開示されている。

本実施例の撮像装置では、第２乃至第４の動作モードにおいて、各モードに割り当てられた焦点距離の範囲で、前記特定の条件下において参照範囲が最大どこまで広がるかを予め求めて用いる。

図７（ｂ）は図７（ａ）で示した前記参照範囲に対して、残る変形成分の並進（水平・垂直）、ＲＳ歪み（水平・垂直）の補正に用いる領域を周囲に設け、画像メモリ１０５ａに格納される分割画像を破線で示している。

画像変形量演算部１１１ａはこの領域をはみ出さない範囲で、並進（水平・垂直）、ＲＳ歪み（水平・垂直）の補正を行う。

なお、回転、あおり（水平・垂直）、ＲＳ歪み（回転）の補正を行った際に、前記参照範囲よりも実際の参照範囲が小さかったとする。その場合には、前記参照範囲の余りも活用して、並進（水平・垂直）、ＲＳ歪み（水平・垂直）の補正を行うよう構成しても良い。

ＲＳ歪み（水平）については、画像変形部１０６ａの参照範囲の左端、右端を曲線状に歪ませる成分ではあるが、個々のラインに着目すると水平方向に変動するだけである。そのため、図７（ａ）で示した参照範囲の算出には含めず、並進（水平）と合わせて補正量を算出するものとする。

図７（ｃ）は図７（ｂ）で示した画像メモリ１０５ａの分割画像に対して、信号処理部１０４ａの内部処理に必要なライン数をオーバーラップ領域に加えた画像処理プロセッサ１００ａの処理範囲を破線で示している。

図６（ｂ）で示した第１の動作モードに比べて、境界部分でも読み出し位置が上下に変動するため、オーバーラップ領域が拡大している。

しかし、図７（ｃ）の破線で示す範囲全体が、画像処理プロセッサ１００ａの処理能力で所定時間内に処理可能なサイズである必要がある。

本実施例の撮像装置では、画像変形部１０６ａが撮像画像の変形を行う際に、合わせて所定の拡大率で拡大を行うことで、水平・垂直方向に参照領域を狭めて画像処理プロセッサ１００ａの処理範囲が処理性能に収まるようにしている。

破線で示した画像処理プロセッサ１００ａの処理範囲と、一点鎖線で示した他の画像処理プロセッサの処理範囲に含まれない非処理範囲は、分割部１４２によって捨てられる。

なお、第二の画像処理プロセッサ１００ｂについても、前記第一の画像処理プロセッサ１００ａに対して処理対象が下半分の分割画像になるだけで、処理内容は同様である。

分割部１０２にて、画像変形処理の変形量が所定値よりも大きい場合の複数の分割画像同士のオーバーラップ量を画像変形処理の変形量が所定値よりも小さい場合の複数の分割画像同士のオーバーラップ量よりも大きくしている。

分割部１０２にて、撮像光学系の焦点距離に応じて複数の分割画像同士のオーバーラップ量を変更している。

分割部１０２にて、焦点距離が所定値よりも大きい場合の複数の分割画像同士のオーバーラップ量を焦点距離が所定値よりも小さい場合の複数の分割画像同士のオーバーラップ量よりも小さくしている。

分割部１０２にて、画像処理手段が単位時間あたりに処理可能な画像サイズに応じて、分割画像の切り出し範囲の大きさを変更している。

分割部１０２にて、１枚のフレーム画像を水平方向及び垂直方向の少なくとも一方向に２つ以上に分割している。

画像変形処理は、射影変換補正、歪曲収差補正と、ローリングシャッター歪み補正と、円筒変換補正の少なくとも１つから構成される。

そして、複数の分割画像同士の境界部分に対して、画像変形処理による最大の画素位置の移動量を算出して、オーバーラップ量を算出している。

（各動作モードにおける拡大率）
図８で各動作モードにおける拡大率について説明する。

図８（ａ）は第１の動作モードでの焦点距離に対する拡大率と、画像処理プロセッサ１００ａの処理する分割画像に含まれるオーバーラップ領域のライン数を示している。

本モードではオーバーラップ領域のライン数は焦点距離に関わらず固定である。そのため、画像処理プロセッサ１００ａの処理範囲も変動させる必要はなく、拡大率も焦点距離に関わらず１固定である。

図８（ｂ）は第２乃至第４の動作モードでの焦点距離に対する拡大率と、画像処理プロセッサ１００ａの処理する分割画像に含まれるオーバーラップ領域のライン数を示している。

前述の通り各動作モードにはゾーン１乃至ゾーン３の焦点距離の範囲が割り当てられている。

何れのモードもオーバーラップ領域のライン数は、図８（ａ）に示した第１の動作モードに比べて大きく、さらに焦点距離がテレ端に近いモードほど段階的にライン数が大きくなっている。

これは、焦点距離に比例する並進（水平・垂直）とＲＳ歪み（水平・垂直）の補正による読み出し位置の変動幅が他の成分に比べて大きくなる。

そのため、図中に破線で示す実際に必要なオーバーラップ領域のライン数は、焦点距離に応じて連続的に増加している。

実際に必要なオーバーラップ領域を下回らないように、各動作モードのオーバーラップ領域は定められている。

テレ端に近いモードほど、オーバーラップ領域のライン数が増えるため、画像処理プロセッサ１００ａの処理範囲は狭める必要がある。

そこで、図に示す拡大率のように、テレ端に近いモードほど焦点距離に応じて拡大率を線形に増加させている。

この拡大率の変動は、変倍光学系１２１による焦点距離の変動と連動させて制御することで、使用者に違和感を与えずに行うことができる。

なお、画像処理プロセッサ１００ｂについても、前記画像処理プロセッサ１００ａと処理内容は同様である。

次に図１４のタイミングチャートを用いて、本実施例の撮像装置の動作シーケンスについて説明する。

一番上のパルス信号は撮像垂直同期信号であって、撮像素子と各画像処理プロセッサが同期して、画像データを１フレームずつ連続処理するために分配される。

ただし、図１では撮像垂直同期信号の発信源と分配経路は省略している。ここでＡと記載しているパルスは、あるフレームＡの撮像に対する同期信号である。このフレームＡを基準として、以下の説明にも用いる。

上から二番目に示すパルス信号は垂直ブランキング割り込みであって、撮像素子１４１からの画像データの読み出しの休止期間が開始するタイミングを制御マイコン１０１に通知する。

ただし、図１では垂直ブランキング割り込みの発信源と分配経路も省略している。

次は、撮像素子１４１の駆動タイミングである。

平行四辺形の帯の上端が撮像素子１４１の先頭ライン、下端が終端ラインであって、左辺が各ラインの電荷蓄積開始タイミング、右辺が各ラインの読み出しタイミングを示す。

フレームＡの先頭ラインの電荷蓄積開始は、一つ前の撮像垂直同期信号から、制御マイコン１０１の指示に基づく電荷蓄積開始タイミングを待った後に行われ、先頭ラインの読み出しは、フレームＡの撮像垂直同期信号に同期して行われる。

左辺と右辺の中間に位置するグレー色の破線は、各ラインの電荷蓄積期間の時間軸上の中心を示している。

後述する画像変形量演算部１１１ａの角度データ取得は、この電荷蓄積期間の時間軸上の中心に同期して行われる。

次は分割部１４２が各画像処理プロセッサの処理範囲を切り出すタイミングである。

上の線は第一の画像処理プロセッサ１００ａへ画像データを送っているタイミングで、ここで記載しているＡｕはフレームＡの上半分（ｕｐｐｅｒ）を意味している。

下の線は第二の画像処理プロセッサ１００ｂへ画像データを送っているタイミングで、ここで記載しているＡｌはフレームＡの下半分（ｌｏｗｅｒ）を意味している。

また、薄いグレーの矩形は非処理範囲を捨てているタイミング、濃いグレーの矩形は両方の画像処理プロセッサにオーバーラップ領域を送っているタイミングを示している。

以降の一つめのグレー色の矩形の範囲は第一の画像処理プロセッサ１００ａの処理である。

最初は画像入力部１８１ａが、各フレームの上半分を処理するタイミングである。Ａｕ（フレームＡの上半分）の処理タイミングは、分割部１４２のＡｕのタイミングと一致している。

次は第一の画像処理プロセッサ１００ａの信号処理部１０４ａが、各フレームの上半分を処理するタイミングである。

画像入力部１８１ａが第一の画像メモリ１８２ａに格納し始めると同時に、信号処理部１０４ａは処理を開始するが、信号処理部１０４ａは処理速度が低いため、約２倍の処理時間がかかっている。

次は画像変形量演算部１１１ａの角度データ取得タイミングと、変形量算出タイミングである。

上の線は各フレームに対する角度データを取得する期間と、その期間内に複数回（図中ではフレーム毎・等間隔に１１回）角度データの取得が行われるタイミングを垂直方向の線分で示している。

各フレームに対する取得期間は、撮像素子１４１の各ラインの電荷蓄積期間の時間軸上の中心に同期している。

各フレームに対する角度データの取得が終了次第、変形量算出が開始される。

変形量算出にかかる時間は、特に撮像素子１４１の蓄積時間が短く角度データの取得が撮像データの読み出し終了に近づくほど、全体の映像遅延量に対するボトルネックとなるため、最短の蓄積時間で所望の映像遅延量が満たせるよう処理を行う。

次は画像変形部１０６ａが各フレームの上半分を処理するタイミングである。

画像変形量演算部１１１ａの変形量算出が終了してから、制御マイコン１０１ａのごく僅かなオーバーヘッド（不図示）を経て、処理が開始される。処理にかかる時間は、信号処理部１０４ａとほぼ同等である。

次はデータ送信部１０９ａが第三の画像メモリ１８３ｂに格納された各フレームの上半分の画像データを、第二の画像処理プロセッサ１００ｂへ送るタイミングである。画像変形部１０６ａの処理と並行して、転送が行われる。

以降の二つめのグレー色の矩形の範囲は第二の画像処理プロセッサ１００ｂの処理である。

最初の画像入力部１８１ｂと、次の信号処理部１０４ｂについては、処理対象が各フレームの下半分となるだけで、第一の画像処理プロセッサで示した１８１ａ、１０４ａの内容と同等である。

次は、通信部１０３ｂが第一の画像処理プロセッサ１００の通信部１０３ａから、画像変形量演算部１１１ａで算出された各フレームの画像変形量を受け取るタイミングである。

変形量算出が終了してから、制御マイコン１０１ａのごく僅かなオーバーヘッド（不図示）を経て、通信が開始される。処理にかかる時間は、図に示すようにごく短い。

次は画像変形部１０６ｂが各フレームの下半分を処理するタイミングである。通信部１０３ｂの通信が終了してから、処理が開始される。

次はデータ受信部１８６ｂが各フレームの上半分の画像データを、第一の画像処理プロセッサ１００ｂから受け取って第三の画像メモリ１８３ｂに格納するタイミングである。

次は表示処理部１０７ｂが各フレームを表示デバイス１６２に出力するタイミングである。

第三の画像メモリ１８３ｂで上下半分が張り合わされ、１枚になった各フレームを読み出して出力する。

動作タイミングは、下に示す表示垂直同期信号に同期して開始される。

ただし、垂直同期信号は、撮像素子１４１の蓄積時間が最短になったとする。

その場合に、データ受信部１８６ｂが各フレームの上半分を受け取り終わるタイミングを、表示処理部１０７ｂが各フレームの上半分を読み出し終わるタイミングが、追い抜かさないよう設定する。

図では、データ受信部１８６ｂの処理と、表示処理部１０７ｂの処理の間に引かれている斜めの破線の横幅が、追い抜かさないためのマージンとなっている。

下に示すパルス信号は既に述べている表示垂直同期信号であり、その次は表示デバイス１６２が各フレームを表示するタイミングである。

図に示すようにフレームＡに対する垂直撮像同期信号と、表示垂直同期信号との差異が、表示の映像遅延量となる。

次に、図１５のフローチャートを用いて、画像処理プロセッサ１００ａが画像データに対する変形を１フレームずつ処理する際の、制御マイコン１０１ａの処理内容について説明する。

ステップＳ１５０１では、垂直同期信号が来るのを待つ。

ステップＳ１５０２では、信号処理部１０４が画像データを処理した結果から露出評価を行い、撮像素子１４１の蓄積時間を決定するＡＥ処理を行う。

ステップＳ１５０３では、画像変形量演算部１１１ａからの変形量算出完了の通知を待つ。

ステップＳ１５０４では、画像変形量演算部１１１ａが算出した画像変形量を取得する。

ステップＳ１５０５では、画像変形部１０６ａに画像変形量を設定する。

ステップＳ１０５６では、操作部１１１の入力内容等を元に防振有無を判別する。

ステップＳ１５０７では、画像変形量演算部１１１ａから焦点距離を取得する。

ステップＳ１５０８では、図５に示した動作モードと、図８に示したグラフから、拡大率とオーバーラップ量を決定する。

ステップＳ１５０９では、画像変形量演算部１１１ａに防振有無を設定する。

ステップＳ１５１０では、画像変形量演算部１１１ａに決定した拡大率とオーバーラップ量を設定する。

ステップＳ１５１１では、画像変形量演算部１１１ａにＡＥ処理の結果から、角度データ取得タイミングを設定する。

ステップＳ１５１２では、垂直ブランキングの割り込みを待つ。

ステップＳ１５１３では、ＡＥ処理の結果から、撮像素子１４１の電荷蓄積開始タイミングを設定する。

ステップＳ１５１４では、決定した拡大率とオーバーラップ量から、分割部１４２に各画像処理プロセッサの処理範囲に対する切り出し位置を設定して、ステップＳ１５０１に戻る。

次に、図１６のフローチャートを用いて、画像変形量演算部１１１ａが画像データのフレーム毎に変形量を算出する処理内容について説明する。

画像変形量演算部１１１ａは図１６（ａ）と図１６（ｂ）に示す処理内容を、マルチタスクなどの制御方法で並行して行う。

図１６（ａ）は角度データ取得の処理を行うフローチャートである。

ステップＳ１６０１では、制御マイコン１０１ａから設定済みの角度データ取得タイミングを待つ。

ステップＳ１６０２では、フレーム毎の初期化を行う。具体的には、角速度センサ１５１から得られた角速度データの積分値のリセット、内部カウンタの初期化、不要データの解放などを行う。

ステップＳ１６０３では、制御マイコン１０１ａから設定済みの角度データ取得タイミングを待つ。

ステップＳ１６０４では、角速度センサ１５１から得た角速度データの積分値から、角度データを取得する。

ステップＳ１６０５では、ステップＳ１６０４で取得した角度データがフレーム内で最後のデータであったかを判定する。最後でなければ内部カウンタを進めてステップＳ１６０３に戻り、次の角度データ取得タイミングを待つ。

ステップＳ１６０６では、図１６（ｂ）に示す変形量算出処理を起動して、本フローチャートの処理と並行して行う。

ステップＳ１６０７では、制御マイコン１０１に設定された角度データの取得タイミングを取得し、ステップＳ１６０１に戻って次のフレームに対する処理に用いる。

図１６（ｂ）は変形量算出の処理内容を示すフローチャートで、図１６（ａ）のステップＳ１６０６により起動される。

ステップＳ１６１０では、制御マイコン１０１ａに設定された防振有無を取得する。

ステップＳ１６１１では、制御マイコン１０１ａに設定された拡大率・オーバーラップ量を取得する。

ステップＳ１６１２では、取得した防振有無、拡大率・オーバーラップ量や、図１６（ａ）の処理で取得した角度データ、焦点距離などから、変形量を算出する。

ステップＳ１６１３では、変形量の算出が完了したことを制御マイコン１０１ａに通知して、処理を終える。

本実施例の撮像装置によれば、入力画像を分割して、複数の画像処理プロセッサで画像処理を行う場合に、所定の画像処理能力の範囲内で、最小限の映像遅延量で、撮像装置の動きにより撮像画像に生じたブレの補正が可能となる。

［実施例２］
次に、本発明による第２の実施例について説明する。本実施例の撮像装置は、撮像画像を上下だけでなく左右にも分割して、４つの画像処理プロセッサで処理する点が第１の実施例と異なる。

本発明による第２の実施例である撮像装置の構成について、図１に示した第１の実施例の撮像装置とは異なる点を、図９を用いて説明する。

（撮像装置のブロック図）
１００ｃ、１００ｄは第三の画像処理プロセッサと、第四の画像処理プロセッサで、第二の画像処理プロセッサ１００ｂと同様に、分割して入力された画像データをそれぞれ処理して出力する。

分割部１４２は、撮像素子１４１から出力された画像データから、４つの画像処理プロセッサ１００ａ乃至１００ｄの処理範囲をそれぞれ切り出して、出力する。

合成部１６１は、４つの画像処理プロセッサ１００ａ乃至１００ｄから出力された表示用の画像データを貼り合わせて合成する。

第一の画像処理プロセッサ１００ａにおいて、制御マイコン１０１ａは通信部１０３ａを介して、第二乃至第四の画像処理プロセッサ１００ｂ乃至１００ｄと制御情報を通信する。

また、データ転送部１０９ａは、第二乃至第四の画像処理プロセッサ１００ｂ乃至１００ｄで符号化された記録用画像データを受け取り、記録制御部１０８ａに出力する。

第三の画像処理プロセッサ１００ｃおよび第四の画像処理プロセッサ１００ｄの内部の構成と、各ブロックの処理内容は、第二の画像処理プロセッサ１００ｂと同様である。

そのため、本図では以降の説明に用いる画像変形部１０６ｃ、１０６ｄ以外の図示を省略している。

（撮像画像の分割処理）
次に、図１０で撮像画像の分割処理について説明する。

本実施例の撮像装置では、動画撮像時に撮像画像を４つに分割して、４つの画像処理プロセッサ１００ａ乃至１００ｄでそれぞれの分割画像を処理する。

図１０（ａ）は撮像素子１４１で撮像された１フレーム分の撮像画像の例である。

ここでは、撮像画像の解像度を水平３８４０ｘ垂直２１６０画素として、撮像のフレームレートを１２０ｆｐｓとする。

また、本実施例の撮像装置に用いられている４つの画像処理プロセッサ１００ａ乃至１００ｄは、撮像のデータレートに対して、それぞれ１／４強の処理能力しか持たないものとする。

そのため、撮像された画像を同じフレームレートで処理するためには、４つの画像処理プロセッサ１００ａ乃至１００ｄに処理を分散する必要がある。

図１０（ｂ）は、前記撮像画像を分割部１４２で上下左右に分割した左上の分割画像１０１１、右上の分割画像１０１２、左下の分割画像１０１３、右下の分割画像１０１４である。

本実施例の撮像装置では、撮像画像を上下左右に分割して、画像処理プロセッサ１００ａ乃至１００ｄにそれぞれ入力する。

各画像処理プロセッサが個別に画像処理を行うため、境界部分で画像の連続性が失われないように、それぞれの分割画像は隣接部分にオーバーラップ領域が設けられている。

図１０（ｃ）は画像処理プロセッサ１００ａ乃至１００ｄがそれぞれ分割画像１０１１乃至１０１４を処理して出力した表示用画像１０２１乃至１０２４である。

分割画像１０１１乃至１０１４のオーバーラップ領域は、画像処理プロセッサ１００ａ乃至１００ｄ内部の画像処理で削られ、表示用画像１０２１乃至１０２２はオーバーラップ領域を持たずに出力される。

図１０（ｄ）は合成部１６１が４つの表示用画像１０２１乃至１０２２を合成して、境界部分の連続性が保たれた状態で、表示デバイス１６２で表示された表示画像である。

次に、図１１で変形による分割画像のオーバーラップ領域の拡大と、処理する画角の縮小について説明する。

例えば、図１１（ａ）は撮像画像に何れの変形も生じていない場合に、画像変形部１０６ａ乃至１０６ｄが参照する範囲を破線で示している。

第１の実施例の図４と同様に、角度振れの変形を補正するために周囲には余白領域が設けられている。

また、各分割画像で必要なオーバーラップ領域は、水平方向および垂直方向の何れも、第１の実施例で説明したように、境界部分で画像の連続性が失われないための最小限の大きさでよい。

一方で、図１１（ｂ）は撮像画像に回転成分の変形が生じている場合に、画像変形部１０６ａ乃至１０６ｄが参照する範囲を破線で示している。

図１１（ａ）に比べて図１１（ｂ）では、画像変形部１０６ａ乃至１０６ｄの参照範囲が水平方向および垂直方向に大きくなり、オーバーラップ領域が拡大している。

本実施例では水平方向にも画像を分割するため、垂直方向に加えて水平方向についても、最大の変形量をもとにオーバーラップ領域を見積もって、撮像画像から分割画像を切り出す範囲を決める必要がある。

（第１の動作モードにおける分割処理）
次に、図１２で第１の動作モードにおける分割処理について説明する。第１の実施例と同様に、本実施例でも第１の動作モードでは撮像画像に生じる変形のうち歪曲収差のみを補正する。

図１２（ａ）は第１の動作モードで、ある焦点距離で撮像された撮像画像に対して、第一の画像処理プロセッサ１００ａの画像変形部１０６ａが参照する範囲を、破線で示している。

本実施例では撮像画像の中心が光学中心であって、分割部１４２は光学中心を通る水平線および垂直線を境界として撮像画像を上下および左右に分割し、それぞれの境界部分にはオーバーラップ領域が設けている。

上下分割のためのオーバーラップ領域についての考え方は、第１の実施例の説明と同様である。左右分割のためのオーバーラップ領域についても、光学中心を通る垂直線上では、歪曲収差による変形は垂直方向に変動するだけで、読み出し位置は左右には変動しない。

また、左右分割のためのオーバーラップ領域の左右端は、前記垂直線から少し離れるが、水平方向の変形は依然として僅かであり、読み出し位置の左右方向の変動はごく微少である。

例えば、画像変形部１０６ａの内部処理に必要なオーバーラップ領域が前記境界線から左右に３画素程度であれば、その左右端の左右方向への変動は最大でも１画素にも満たない。

このため、本モードにおいて画像変形部１０６ａの左右分割のためのオーバーラップ領域は１画素増やして４画素とすればよい。

図１２（ｂ）は図１２（ａ）と同じ条件下で、分割部１４２が撮像画像を切り出して画像処理プロセッサ１００ａに入力する範囲を破線で示している。

図１２（ａ）の破線で示した範囲に対して、信号処理部１０４ａの内部処理に必要なライン数をオーバーラップ領域に加えた範囲となっている。

上下分割のためのオーバーラップ領域についての考え方は、第１の実施例の説明と同様である。

左右分割のためのオーバーラップ領域についても、信号処理部１０４ａの内部処理に左右３画素が必要であれば、前記４画素に加えて計７画素のオーバーラップ領域とすればよい。

本実施例の画像処理プロセッサ１００ａの処理能力は、撮像のデータレートの１／４強であり、撮像の１／４の画角に７画素程度のオーバーラップ領域を加えて処理することは可能であるものとする。

なお、第二乃至第四の画像処理プロセッサ１００ｂ乃至１００ｄについても、前記第一の画像処理プロセッサ１００ａに対して処理対象が下半分の分割画像になるだけで、処理内容は同様である。

（第２乃至第４の動作モードにおける分割処理）
次に、図１３で第２乃至第４の動作モードにおける分割処理について説明する。

第１の実施例と同様に、本実施例でも第２乃至第４の動作モードでは、それぞれに割り当てられた焦点距離範囲のゾーンにおいて、角度振れと歪曲収差とＲＳ歪みにより撮像画像に生じる変形を補正する。

図１３（ａ）は第２の動作モードで、ある焦点距離で撮像された撮像画像に対して、第一の画像処理プロセッサ１００ａの画像変形部１１１ａが特定の条件下で参照する範囲を破線で示している。

ここで、前記特定の条件とは、画像変形部１１１ａが当該焦点距離における歪曲収差の補正に加えて、回転、あおり（水平・垂直）、ＲＳ歪み（回転）を最大限補正した状態である。

本実施例でも第１の実施例と同様に、第２乃至第４の動作モードにおいて、各モードに割り当てられた焦点距離の範囲で、前記特定の条件下において参照範囲が最大どこまで広がるかを予め求めて用いる。

図１３（ｂ）は図１３（ａ）で示した前記参照範囲に対して、残る変形成分の並進（水平・垂直）、ＲＳ歪み（水平・垂直）の補正に用いる領域を周囲に設け、画像メモリ１０５ａに格納される分割画像を破線で示している。

画像変形量演算部１１１ａはこの領域をはみ出さない範囲で、並進（水平・垂直）、ＲＳ歪み（水平・垂直）の補正を行う。

図１３（ｃ）は図１３（ｂ）で示した画像メモリ１０５ａの分割画像に対して、信号処理部１０４ａの内部処理に必要な垂直ライン数および水平画素数をオーバーラップ領域に加えた画像処理プロセッサ１００ａの処理範囲を破線で示している。

図１３（ｂ）で示した第１の動作モードに比べて、境界部分でも読み出し位置が上下および左右に変動するため、オーバーラップ領域が拡大している。

しかし、図１３（ｃ）の破線で示す範囲全体が、画像処理プロセッサ１００ａの処理能力で所定時間内に処理可能なサイズである必要がある。

本実施例の撮像装置も第１の実施例と同様に、画像変形部１０６ａが撮像画像の変形を行う際に、合わせて所定の拡大率で拡大を行うことで、参照領域を水平・垂直方向に狭めて画像処理プロセッサ１００ａの処理範囲が処理性能に収まるようにしている。

破線で示した画像処理プロセッサ１００ａの処理範囲と、一点鎖線で示した他の画像処理プロセッサの処理範囲に含まれない非処理範囲は、分割部１４２によって捨てられる。

なお、第二乃至第四の画像処理プロセッサ１００ｂ乃至１００ｄについても、前記第一の画像処理プロセッサ１００ａに対して処理対象が右上、左下、右下の分割画像になるだけで、処理内容は同様である。

本実施例の撮像装置によれば、上下および左右に入力画像を分割して、複数の画像処理プロセッサで画像処理を行うとする。

その場合に、所定の画像処理能力の範囲内で、最小限の映像遅延量で、撮像装置の動きにより撮像画像に生じたブレの補正が可能となる。

第１および第２の実施例において、何れも光学中心を境界線として分割を行う例を示したが、光学中心を通らない境界線で分割を行っても良い。

一例としては、上下方向に短冊状に４分割してもよいし、左右方向に４分割してもよい。

それらの場合、歪曲収差の補正による読み出し位置の変動が境界線やそのオーバーラップ領域でも大きくなるので、それを考慮してオーバーラップ領域の大きさを求めればよい。

また、第１および第２の実施例において、各画像処理プロセッサの画像変形部は、射影変換による角度振れの補正と、歪曲収差の補正と、ＲＳ歪み（水平・垂直・回転）の補正を行っている。

それに加えて、円筒変換などの他の変形を行うよう構成しても良い。その場合は、加えた変形要素を考慮して、分割画像に必要なオーバーラップ領域を求めて処理に用いる。

また、第１の実施例において、焦点距離の範囲を３つのゾーンに分けて、オーバーラップ量や拡大率の算出をしているが、焦点距離が変化する毎に、実際に必要なオーバーラップ量と、その処理に必要な拡大率を求めて用いるように構成しても良い。

また、第１および第２の実施例において、切り出した各分割画像のサイズを同じにしているが、各画像処理プロセッサの処理能力などに応じて、異なるサイズで切り出しても良い。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。

そして、そのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。

また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。

さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。

その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

また、本発明はデジタルカメラのような撮影を主目的とした機器にかぎらず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。

１００ａ 第一の画像処理プロセッサ
１００ｂ 第ニの画像処理プロセッサ
１０１ａ、１０１ｂ １００ａ、１００ｂの制御マイコン
１０２ａ、１０２ｂ １００ａ、１００ｂの制御バス
１０３ａ、１０３ｂ １００ａ、１００ｂの操作部
１０４ａ、１０４ｂ １００ａ、１００ｂの信号処理部
１０５ａ、１０５ｂ １００ａ、１００ｂの画像メモリ
１０６ａ、１０６ｂ １００ａ、１００ｂの画像変形部
１０７ａ、１０７ｂ １００ａ、１００ｂの表示処理部
１０８ａ、１０８ｂ １００ａ、１００ｂの記録制御部
１０９ａ、１０９ｂ １００ａ、１００ｂのデータ転送部
１１０ａ １００ａのＡ／Ｄ変換部
１１１ａ １００ａの画像変形量演算部
１２０ 撮像光学系
１２１ 変倍光学系
１３１ ズームエンコーダ
１４１ 撮像素子
１４２ 分割部
１５１ 角速度センサ
１６１ 合成部
１６２ 表示デバイス
１７１ 記録媒体

Claims (8)

1. １枚のフレーム画像を複数の分割画像に分割する分割手段と、前記複数の分割画像に対応して設けられた複数の画像処理手段と、前記複数の画像処理手段の各々にて画像変形処理を行われた前記分割画像を合成する合成手段と、を有する画像処理装置であって、
   前記分割手段は、前記画像処理手段にて算出された前記分割画像に行われる画像変形処理の変形量が所定値よりも大きい場合の複数の分割画像同士のオーバーラップ量を前記画像処理手段にて算出された前記分割画像に行われる画像変形処理の変形量が前記所定値よりも小さい場合の複数の分割画像同士のオーバーラップ量よりも大きくすることを特徴とする画像処理装置。
2. 前記分割手段は、撮像光学系の焦点距離に応じて前記複数の分割画像同士のオーバーラップ量を変更する請求項１に記載の画像処理装置。
3. 前記分割手段は、前記焦点距離が所定値よりも大きい場合の複数の分割画像同士のオーバーラップ量を前記焦点距離が前記所定値よりも小さい場合の複数の分割画像同士のオーバーラップ量よりも小さくする請求項２に記載の画像処理装置。
4. 前記分割手段は、前記画像処理手段が単位時間あたりに処理可能な画像サイズに応じて、前記分割画像の切り出し範囲の大きさを変更する請求項１乃至３の何れか一項に記載の画像処理装置。
5. 前記分割手段は、前記１枚のフレーム画像を水平方向及び垂直方向の少なくとも一方向に２つ以上に分割する請求項１乃至４の何れか一項に記載の画像処理装置。
6. 前記画像変形処理は、射影変換補正、歪曲収差補正と、ローリングシャッター歪み補正と、円筒変換補正の少なくとも１つから構成され、前記複数の分割画像同士の境界部分に対して、前記画像変形処理による最大の画素位置の移動量を算出して、前記オーバーラップ量を算出する請求項１乃至５の何れか一項に記載の画像処理装置。
7. 請求項１乃至６の何れか一項に記載の画像処理装置を有する光学機器。
8. １枚のフレーム画像を複数の分割画像に分割する分割工程と、前記複数の分割画像に対応して設けられた複数の画像処理工程と、前記複数の画像処理工程の各々にて画像変形処理を行われた前記分割画像を合成する合成工程と、を有する画像処理方法であって、
   前記分割工程は、前記画像処理工程にて算出された前記分割画像に行われる画像変形処理の変形量が所定値よりも大きい場合の複数の分割画像同士のオーバーラップ量を前記画像処理工程にて算出された前記分割画像に行われる画像変形処理の変形量が前記所定値よりも小さい場合の複数の分割画像同士のオーバーラップ量よりも大きくすることを特徴とする画像処理方法。

Images