JP6769440B2 - 画像処理装置、画像処理方法、プログラムおよび撮像システム - Google Patents

Description

この技術は、画像処理装置、画像処理方法、プログラムおよび撮像システムに関し、パノラマ画を容易に生成できるようにする。

従来、複数の撮像部を有する撮像装置、例えば特許文献１の撮像装置では、複数の撮像部における各々の振れ補正前の初期光軸中心を基準として、共通の切り出しサイズで複数の画像の各々から出力用画像を切り出すことが行われている。また、振れ補正前後で光軸中心位置の保たれた出力用画像によって立体視が可能とされている。

国際公開第２０１１／１１４５７２号公報

ところで、複数の撮像部で画像を生成する場合は、立体視に限らず例えば複数の画像をつなげて広画角のパノラマ画を生成することが可能である。しかし、初期光軸中心を基準として、共通の切り出しサイズで複数の画像の各々から切り出した出力用画像をつなげる場合、初期光軸中心が垂直方向にばらつきを生じないように、複数の撮像装置を精度よく水平方向に設置する必要がある。このため、パノラマ画の生成が容易でない。

そこで、この技術では、パノラマ画の生成に用いる画像を容易に生成できる画像処理装置、画像処理方法、プログラムおよび撮像システムを提供することを目的とする。

この技術の第１の側面は、
パノラマ画の生成のための画像であって、第１の撮像部で生成された第１の撮像画像と前記第１の撮像部と異なる第２の撮像部で生成された第２の撮像画像との重なり量に応じて、前記第１の撮像画像に対する振れ補正と前記第２の撮像画像に対する振れ補正のうちの少なくとも一方の振れ補正に関する制御を行う制御部
備える画像処理装置にある。

この技術では、第１の撮像画像と第１の撮像画像に位置合わせした第２の撮像画像とを合成することでパノラマ画を生成する場合に、第１の撮像画像と第２の撮像画像の位置関係に応じて、合成に用いる第１の撮像画像と第２の撮像画像の少なくとも一方に対しての振れ補正に関する制御、例えば位置関係に応じて振れ補正を制御する。この振れ補正の制限では、振れ補正のオンオフ動作、合成する画像の生成に用いるイメージセンサの有効画素領域内に設けられる画像生成領域を、重なり量が少なくなるに伴い大きくして、有効画素領域と画像生成領域との差である余剰領域を削減して振れ補正を制限する動作を行う。また、振れ補正に関する制御では、画像または音声でユーザに対して振れ補正のオンオフや制限に関する通知を行う。

また、制御部は、重なり量が処理順序設定閾値以下である場合に第１の撮像画像と第２の撮像画像の位置合わせを行ってから振れ補正を行い、重なり量が処理順序設定閾値より多い場合に振れ補正を行ってから第１の撮像画像と前記第２の撮像画像の位置合わせを行い、パノラマ画生成部は、振れ補正および位置合わせ後の第１の撮像画像と第２の撮像画像における画像生成領域の画像を合成する。さらに、制御部は、第１の撮像画像と第２の撮像画像の位置合わせを、第１の撮像画像を生成した撮像部と第２の撮像画像を生成した撮像部との位置関係の変化度合いに応じて行い、変化度合いが大きくなるに伴い観測期間または観測間隔を短くして、変化度合いが小さくなるに伴い観測期間または観測間隔を長くする。また、第１の撮像画像を生成する第１の撮像部と第２の撮像画像を生成する第２の撮像部の取付状態の検出結果に応じて位置合わせの頻度を制御する。また、パノラマ画生成部は、第１の撮像画像の画像生成領域と第２の撮像画像の画像生成領域の画質差を調整して合成を行う。また、パノラマ画生成部は、レンズ歪みが補正された第１の撮像画像の画像生成領域と第２の撮像画像の画像生成領域とを合成する。さらに、パノラマ画生成部は、第１の撮像画像と第２の撮像画像の画角合わせを行い、画角合わせ後の第１の撮像画像と第２の撮像画像を合成する。

この技術の第２の側面は、
パノラマ画の生成のための画像であって、第１の撮像部で生成された第１の撮像画像と前記第１の撮像部と異なる第２の撮像部で生成された第２の撮像画像との重なり量に応じて、前記第１の撮像画像に対する振れ補正と前記第２の撮像画像に対する振れ補正のうちの少なくとも一方の振れ補正に関する制御を制御部で行うことを
含む画像処理方法にある。

この技術の第３の側面は、
パノラマ画の生成のための画像であって、第１の撮像部で生成された第１の撮像画像と前記第１の撮像部と異なる第２の撮像部で生成された第２の撮像画像との重なり量に応じて、前記第１の撮像画像に対する振れ補正と前記第２の撮像画像に対する振れ補正のうちの少なくとも一方の振れ補正に関する制御を行う手順
をコンピュータで実行させるプログラムにある。

なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。

この技術の第４の側面は、
パノラマ画の生成のための第１の撮像画像を生成する第１の撮像部と、
前記パノラマ画の生成のための第２の撮像画像を生成する第２の撮像部と、
前記第１の撮像部で生成された第１の撮像画像と前記第１の撮像部と異なる第２の撮像部で生成された第２の撮像画像との重なり量に応じて、前記第１の撮像画像に対する振れ補正と前記第２の撮像画像に対する振れ補正のうちの少なくとも一方の振れ補正に関する制御を行う制御部と
を備える撮像システムにある。

この技術によれば、パノラマ画の生成に用いられる第１の撮像画像と第２の撮像画像の位置関係に応じて、第１の撮像画像と第２の撮像画像の少なくとも一方に対しての振れ補正に関する制御が行われる。このため、第１の撮像画像と第２の撮像画像を位置関係に応じた振れ補正に関する制御によって、第１の撮像画像と第２の撮像画像では同一被写体の撮像画像が重なり合う領域を確保できるようになり、パノラマ画の生成に用いる画像を容易に生成できる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

撮像システムの構成を示す図である。 撮像装置の構成を例示した図である。 情報処理装置の構成を例示した図である。 第１の実施の形態を説明するための図である。 撮像画像の重なりと振れ補正について説明するための図である。 位置調整ベクトルを説明するための図である。 重なり量に応じて振れ補正量を制限する場合を例示した図である。 第１の実施の形態の動作を示すフローチャートである。 第１の実施の形態の他の動作を示すフローチャートである。 表示を用いてユーザに対する通知を行う場合を例示した図である。 撮像画像の重なり量が少ない場合の動作を説明するための図である。 撮像画像の重なり量が多い場合の動作を説明するための図である。 第２の実施の形態の動作を示すフローチャートである。 ５台の撮像装置を用いた場合の動作を例示した図である。 位置関係の変化度合いに応じて空間方向の位置合わせの頻度を制御する動作を説明するための図である。 時間方向の位置合わせを説明するための図である。 空間方向の位置合わせを行わないフレームについての時間方向の位置合わせを説明するための図である。 フレーム毎に空間方向の位置合わせを行う場合の動作を例示した図である。 複数フレーム間隔で空間方向の位置合わせを行う場合の動作を例示した図である。 第３の実施の形態の動作を示すフローチャートである。 位置関係の変化度合いの算出動作を示す図である。 第３の実施の形態の他の動作を示すフローチャートである。 振れの大きさとパノラマ画の生成に用いる画像の画質の関係を説明するための図である。 第４の実施の形態の動作を示すフローチャートである。 画角が異なる撮像装置を用いた場合の動作を示すフローチャートである。 複数の撮像装置をリグ（取付台）に固定して用いる場合を例示した図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．撮像システムの構成
２．撮像装置と情報処理装置の構成
２−１．撮像装置の構成
２−２．情報処理装置の構成
３．第１の実施の形態
３−１．第１の実施の形態の動作
３−２．第１の実施の形態の他の動作
４．第２の実施の形態
４−１．第２の実施の形態の動作
４−２．第２の実施の形態の他の動作
５．第３の実施の形態
５−１．第３の実施の形態の動作
５−２．第３の実施の形態の他の動作
６．第４の実施の形態
６−１．第４の実施の形態の動作
７．他の実施の形態

＜１．撮像システムの構成＞
図１は、この技術の画像処理装置を用いた撮像システムの構成を示しており、撮像システムは、複数の撮像画像を用いてパノラマ画を生成する。

撮像システムは、図１の（ａ）に示すように、撮像画像を生成する撮像機能、振れを補正した撮像画像を生成する振れ補正機能、振れ補正後の複数の撮像画像からパノラマ画を生成するパノラマ画生成機能を有している。撮像機能は複数の撮像部のそれぞれに設ける。また、振れ補正機能は、複数の撮像部のそれぞれに設けてもよく、所定の撮像部を有する撮像装置または各撮像部とは別個に設けられた電子機器例えば情報処理装置等に設けてもよい。また、パノラマ画生成機能は、所定の撮像部を有する撮像装置に設けてもよく、各撮像部とは別個に設けられた情報処理装置等に設けてもよい。パノラマ画の生成では、動画または静止画を生成する。

図１の（ｂ）（ｃ）は、撮像システム１０が例えば２台の撮像装置２０-1，２０-2を用いて構成されている場合を例示している。図１の（ｂ）における撮像装置２０-1は、撮像機能または撮像機能と振れ補正機能を有しており、撮像画像または振れ補正が行われた撮像画像を撮像装置２０-2へ出力する。なお、撮像装置２０-1に振れ補正機能が設けられていない場合、撮像装置２０-1は振れ状態を示す振れ情報（例えば動きベクトルや移動行列等）を撮像装置２０-2へ出力する。

撮像装置２０-2は撮像機能と振れ補正機能およびパノラマ画生成機能を有している。撮像装置２０-2は、振れ補正が行われた撮像画像を生成する。また、撮像装置２０-2は、撮像装置２０-1から供給された撮像画像が振れ補正前であるとき、撮像装置２０-1からの振れ情報に基づき、撮像装置２０-1から供給された撮像画像に対して振れ補正を行う。さらに、撮像装置２０-2は、撮像装置２０-1と撮像装置２０-2のそれぞれで生成された撮像画像を用いてパノラマ画を生成する。

図１の（ｃ）における撮像装置２０-3は、撮像機能または撮像機能と振れ補正機能を有しており、撮像画像または振れ補正が行われた撮像画像を撮像装置２０-4と情報処理装置へ出力する。なお、撮像装置２０-3に振れ補正機能が設けられていない場合、撮像装置２０-3は、振れ状態を示す振れ情報を撮像画像と共に撮像装置２０-4と情報処理装置へ出力する。

撮像装置２０-4は撮像機能または撮像機能と振れ補正機能およびパノラマ画生成機能における一部の機能を有している。撮像装置２０-4は、撮像画像または振れ補正が行われた撮像画像を情報処理装置へ出力する。また、撮像装置２０-4は、撮像装置２０-3から供給された撮像画像が振れ補正前であるとき、撮像装置２０-3からの振れ情報に基づいて振れ補正を行ってもよい。さらに、撮像装置２０-4は、生成した撮像画像と撮像装置２０-3から供給された撮像画像に基づき、パノラマ化情報を生成して情報処理装置へ出力する。パノラマ化情報は、被写体の位置を合わせることができるように、一方の撮像画像に対して他方の撮像画像を移動させるための情報であり、例えば動きベクトルや移動行列等である。

このように撮像システムが構成された場合、情報処理装置は撮像装置２０-4から供給されたパノラマ化情報に基づき、撮像装置２０-3，２０-4から供給された撮像画像をつなぎ合わせてパノラマ画を生成する。

図１の（ｄ）は、撮像システム１０が例えば２台の撮像装置２０-5，２０-6と情報処理装置５０-1を用いて構成されており、情報処理装置５０-1で撮像装置２０-5，２０-6の動作を制御する場合を例示している。撮像装置２０-5は撮像機能または撮像機能と振れ補正機能を有しており、情報処理装置５０-1からの制御信号に基づき、撮像画像または振れ補正が行われた撮像画像を生成して情報処理装置５０-1へ出力する。なお、撮像装置２０-5に振れ補正機能が設けられていない場合、撮像装置２０-5の振れ状態を示す振れ情報を情報処理装置５０-1へ出力する。

撮像装置２０-6は撮像機能または撮像機能と振れ補正機能を有しており、情報処理装置５０-1からの制御信号に基づき、撮像画像または振れ補正が行われた撮像画像を生成して情報処理装置５０-1へ出力する。なお、撮像装置２０-6に振れ補正機能が設けられていない場合、撮像装置２０-6の振れ状態を示す振れ情報を情報処理装置５０-1へ出力する。

情報処理装置５０-1は、撮像装置２０-5，２０-6を制御して、撮像装置２０-5，２０-6から撮像画像または振れ補正が行われた撮像画像を取得する。また、情報処理装置５０-1は、撮像装置２０-5（２０-6）から取得した撮像画像が振れ補正前であるとき、撮像装置２０-5（２０-6）から取得した振れ情報に基づいて振れ補正を行う。さらに、情報処理装置５０-1は、取得した撮像画像または振れ補正後の撮像画像を用いてパノラマ画を生成する。

図１の（ｅ）は、撮像システム１０が例えば２台の撮像装置２０-7，２０-8と情報処理装置５０-2を用いて構成されており、情報処理装置５０-2で撮像装置２０-7，２０-8の動作を制御する場合を例示している。撮像装置２０-7は撮像機能または撮像機能と振れ補正機能を有しており、情報処理装置５０-2からの制御信号に基づき、撮像画像または振れ補正が行われた撮像画像を生成して撮像装置２０-8と情報処理装置５０-2へ出力する。なお、撮像装置２０-7に振れ補正機能が設けられていない場合、撮像装置２０-5の振れ状態を示す振れ情報を撮像装置２０-8と情報処理装置５０-2へ出力する。

撮像装置２０-8は撮像機能または撮像機能と振れ補正機能およびパノラマ画生成機能における一部の機能を有している。撮像装置２０-8は、情報処理装置５０-2からの制御信号に基づき、撮像画像または振れ補正が行われた撮像画像を生成して情報処理装置５０-2へ出力する。また、撮像装置２０-8は、撮像装置２０-7から供給された撮像画像が振れ補正前であるとき、撮像装置２０-7からの振れ情報に基づいて振れ補正を行ってもよい。さらに、撮像装置２０-8は、生成した撮像画像と撮像装置２０-3から供給された撮像画像に基づき、パノラマ化情報を生成して情報処理装置５０-2へ出力する。なお、撮像装置２０-8に振れ補正機能が設けられていない場合、撮像装置２０-8は、振れ状態を示す振れ情報を撮像画像と共に情報処理装置５０-2へ出力する。

情報処理装置５０-2は、撮像装置２０-7，２０-8を制御して、撮像装置２０-7，２０-8から撮像画像または振れ補正が行われた撮像画像を取得する。また、情報処理装置５０-2は、撮像装置２０-7（２０-8）から取得した撮像画像が振れ補正前であるとき、撮像装置２０-7（２０-8）から取得した振れ情報に基づいて振れ補正を行う。さらに、情報処理装置５０-2は、撮像装置２０-8から取得したパノラマ化情報に基づき、撮像画像のつなぎ合わせを行ってパノラマ画を生成する。

さらに、撮像システム１０は、図１の（ｆ）に示すように、撮像画像と振れ補正情報等を記録媒体３０に記録して、記録媒体３０に記録されている撮像画像と振れ補正情報等に基づきパノラマ画を生成してもよい。

なお、撮像システム１０の構成は、撮像機能と振れ補正機能とパノラマ画生成機能を有する構成であれば、上述の構成に限られない。また、上述の構成では２つの撮像装置を用いた場合を例示しているが、３つ以上の撮像装置を用いて撮像システムを構成してもよい。

＜２．撮像装置と情報処理装置の構成＞
＜２−１．撮像装置の構成＞
次に、図２を用いて、撮像装置の構成について説明する。撮像装置２０は、例えばレンズユニット２００、駆動部２０１、イメージセンサ部２０２、ＡＦＥ（アナログフロントエンド）部２０３、画像処理部２０４、表示部２０５、音声入出力部２０６、通信部２０７、記録媒体処理部２０８、バス２０９を備える。また、撮像装置２０は、センサ部２１１、ユーザインタフェース部２１２、制御部２２０を備えている。

レンズユニット２００は、フォーカスレンズやズームレンズ等を用いて構成されており、撮像装置２０の外部から入射された光をイメージセンサ部２０２に集光して、イメージセンサ部２０２の撮像面に被写体光学像を結像させる。駆動部２０１は、後述する制御部２２０からの制御信号に基づきレンズユニット２００に設けられているレンズを駆動して、フォーカス調整やズーム調整を行う。また、撮像装置２０は、振れ補正として光学式振れ補正、例えばレンズシフト方式振れ補正を行う場合、レンズユニット２００には振れ補正レンズが設けられる。撮像装置２０は、振れに応じて振れ補正レンズを駆動部２０１で駆動して振れ補正を行う。また、撮像装置２０は、光学式振れ補正としてレンズユニットスイング方式振れ補正（いわゆる空間光学手振れ補正）を行う場合、レンズユニット２００とイメージセンサ部２０２を一体として、振れに応じて撮像装置２０の本体に対してピッチ方向やヨー方向等に駆動部２０１で駆動して振れ補正を行う。さらに、撮像装置２０は、光学式振れ補正としてイメージセンサシフト方式振れ補正を行う場合、振れに応じて後述するイメージセンサ部２０２をレンズユニット２００の光軸に対して直交する方向に駆動部２０１で駆動して振れ補正を行う。

イメージセンサ部２０２は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device）イメージセンサを用いて構成されている。イメージセンサ部２０２は、光電変換を行い被写体光学像に応じた撮像信号を生成してＡＦＥ部２０３へ出力する。また、撮像装置２０は、振れ補正として電子式振れ補正を行う場合、イメージセンサの有効画素領域内において、実際に画像の抽出を行う画素領域である画像生成領域を振れに応じて移動させて振れ補正を行う。なお、電子式振れ補正は、画像処理部２０４で行うようにしてもよい。

ＡＦＥ（アナログフロントエンド）部２０３は、イメージセンサ部２０２から供給された撮像信号をデジタル信号に変換する処理やノイズ除去処理、欠陥画素の補正処理等を行い、処理後の撮像信号を画像処理部２０４へ出力する。

画像処理部２０４は、撮像信号に対して撮像画像が良好な画質となるようにカメラ信号処理を行う。また、画像処理部２０４は、撮像システム１０における撮像装置の機能に応じて、撮像画像に対して各種の処理を行う。例えば、画像処理部２０４は、電子式振れ補正、後述するようにつなげる撮像画像間の空間方向の位置合わせ、振れ量算出、重なり量算出、画質差算出、画質合わせ、キャリブレーション、レンズ歪補正、射影変換、画角合わせ、パノラマ画の生成等の処理を、撮像システム１０における撮像装置の機能に応じて行う。

表示部２０５は、各種情報例えば撮像画像等を表示する。音声入出力部２０６は、撮像時の音声の取得、取得した音声の再生、ユーザへの音声によるメッセージの出力等を行う。

通信部２０７は、例えばＷｉｆｉ、ＮＦＣなどで構成され、他の機器例えば他の撮像装置や情報処理装置等と通信を行う。なお、通信部２０７は、無線通信に限らず通信ケーブルを介して他の機器と通信を行う構成であってもよい。

記録媒体処理部２０８は、記録媒体に撮像画像を記録する処理、または記録媒体に記録されている撮像画像を読み出す処理を行う。なお、記録媒体は撮像装置２０に固定されていてもよく、着脱可能であってもよい。

バス２０９は、上述の各部を後述する制御部２２０と電気的に接続する。

センサ部２１１は、撮像装置２０の状態等を検出できるように各種センサが設けられている。例えばセンサ部２１１には、加速度センサやジャイロセンサ等が設けられて撮像装置の振れが検出される。また、センサ部２１１には、測距センサ、位置検出センサ（例えばＧＰＳセンサ）等が設けられてもよい。センサ部２１１は、生成したセンサ情報を制御部２２０へ出力する。

ユーザインタフェース（Ｉ／Ｆ）部２１２は、ユーザ操作等に応じた操作信号を生成して制御部２２０へ出力する。

制御部２２０は、ユーザインタフェース部２１２から供給された操作信号や通信部を介して外部機器から供給された通信信号に基づき、撮像装置２０でユーザ操作に応じたモードの動作または外部機器から指示されたモードの動作が行われるように各部を制御する。また、制御部２２０は、センサ部２１１から供給されたセンサ情報に基づいて制御を行う。例えば制御部２２０は、センサ部２１１で検出された撮像装置２０の振れに応じて、駆動部２０１または画像処理部２０４を制御して振れ補正を行う。さらに、制御部２２０は、画像処理部２０４で行われる処理の制御、後述するように振れ補正と空間方向の位置合わせの処理順序の制御、撮像装置間の位置関係の変化度合いの観測期間や観測間隔の制御、パラメータの調整、他の撮像装置との制御情報や撮像画像等のデータの通信、他の撮像装置の同期処理や管理等を行う。

なお、撮像装置２０は、カメラに限らず撮像機能を有する機器であればよく例えばスマートフォンやスマートタブレット等であってもよい。

＜２−２．情報処理装置の構成＞
次に、情報処理装置５０の構成について説明する。図３は、情報処理装置の構成を例示している。情報処理装置５０は、入力部５０１、出力部５０２、通信部５０３、記憶部５０４、制御部５０５、およびバス５０６を備える。入力部５０１は、ユーザからの入力操作を受け付ける装置であり、例えばタッチパネル、マウス、キーボード等である。出力部５０２は、各種情報を提示する装置であり、例えばディスプレイ、スピーカ等である。

通信部５０３は、例えばＷｉｆｉ、ＮＦＣなどで構成され、各撮像装置２０等と通信を行う。なお、通信部５０３は、無線通信に限らず通信ケーブルを介して他の機器と通信を行う構成であってもよい。

記憶部５０４は、情報処理装置５０で所望の動作を行えるようにするためのプログラムを記憶する。このようなプログラムとしては、撮像装置２０の画像処理部２０４と同様な処理を行う画像処理に関するプログラムと、制御部２２０と同様な制御を行う動作制御や撮像装置の制御に関するプログラムが記憶されている。

画像処理に関するプログラムとしては、振れ補正プログラム、空間方向の位置合わせプログラム、振れ量算出プログラム、重なり量算出プログラム、画質差算出プログラム、画質合わせプログラム、キャリブレーションプログラム、レンズ歪補正プログラム、射影変換プログラム、画角合わせプログラム、パノラマ画生成プログラム等が記憶されている。動作制御に関するプログラムとしては、モード切替プログラム、処理順序変更プログラム、パラメータ調整プログラム、観測期間や観測間隔の制御プログラム、通信制御プログラム、撮像装置間同期処理プログラム、撮像装置指示プログラム、撮像装置管理制御プログラム、ユーザインタフェース（ＵＩ）プログラム等が記憶されている。なお、記憶部５０４に記憶されるプログラムは、これらのプログラムの一部であってもよく他のプログラムが記憶されていてもよい。プログラムは、通信ネットワークを介して他の通信機器から取得されるようにしてもよい。

制御部５０５は、記憶部５０４に記憶されたプログラムを読み出して実行することにより、情報処理装置５０で所望の動作が行われるように各部を制御する。バス５０６は、各部を電気的に接続する。

＜３．第１の実施の形態＞
次に、第１の実施の形態について説明する。パノラマ画の生成では、つなぎ合わせる撮像画像間の空間方向の位置合わせを行い、それぞれの撮像画像の接続端部側で被写体の位置がずれないようにつなぎ合わせを行う。このように、被写体の位置合わせを行って画像をつなぎ合わせることでパノラマ画を生成する。そこで、第１の実施の形態では、パノラマ画の生成に用いられる第１の撮像画像と第２の撮像画像の位置関係に応じて、第１の撮像画像と第２の撮像画像の少なくとも一方に対しての振れ補正に関する制御を行う。また、第１の実施の形態では、振れ補正に関する制御として、位置関係に応じて振れ補正を制限する。例えば、第１の撮像画像と第２の撮像画像との重なり量に応じて、合成に用いる第１の撮像画像と第２の撮像画像の少なくとも一方に対しての振れ補正に関する制御を行い、被写体の位置合わせを行って画像をつなぎ合わせてパノラマ画を生成できるようにする。なお、第１の実施の形態では、振れ補正として電子式振れ補正を行う。

図４は、第１の実施の形態を説明するための図である。第１の実施の形態では、例えば２台の撮像装置２０-1，２０-2を用いて撮像を行う場合を例示している。撮像装置２０-2は、重複識別情報を取得して、重複識別情報に基づき撮像装置２０-1と撮像装置２０-2の少なくとも一方の振れ補正動作を制御することで、被写体の位置合わせを行って画像をつなぎ合わせることができるようにする。重複識別情報は、画像の重なり量を算出するための情報であり例えば撮像画像を用いる。また、重複識別情報として、撮像装置の撮像方向や焦点距離を示す撮像設定情報等を用いてもよい。さらに、後述するリグに取り付けたことにより画像の重なり量が決定される場合、また、リグに対する撮像装置の取り付け角度等によって画像の重なり量が決定される場合、リグに取り付けられたことを示すリグ取り付け情報や取り付け角度を示すリグ取り付け情報を、重複識別情報として用いることができる。

図４の（ａ）は撮像装置２０-1の撮像領域(field of view)ＡＲ-1と撮像装置２０-2の撮像領域ＡＲ-2との重なりが多い場合を示している。また、図４の（ｂ）は撮像装置２０-1の撮像領域ＡＲ-1と撮像装置２０-2の撮像領域ＡＲ-2との重なりが少ない場合を示している。

撮像領域の重なりが多い場合、撮像装置２０-1と撮像装置２０-2で振れ補正が行われて、振れに応じて画像生成領域が移動されても、同一被写体が重複する画像領域を確保できる場合が殆どである。しかし、撮像領域の重なりが少ない状態で撮像装置２０-1と撮像装置２０-2で振れ補正が行われると、振れに応じて画像生成領域が移動されたことにより、被写体の位置を合わせて画像をつなぎ合わせることができないおそれがある。この場合、被写体の位置を合わせて画像をつなぎ合わせることができないためパノラマ画を生成できない。

図５は撮像画像の重なりと振れ補正について説明するための図である。なお、パノラマ画の生成でつなぎ合わせる画像は、撮像装置２０-1で取得された撮像領域ＡＲ-1の撮像画像ＰＧ-1における画像生成領域ＡＰ-1の画像と、撮像装置２０-2で取得された撮像領域ＡＲ-2の撮像画像ＰＧ-2における画像生成領域ＡＰ-2の画像とする。

振れ補正では、振れを完全に補正すると振れによって目立たなかった画像のぼけ等が顕著となってしまうおそれがあり、ある程度の振れを残す補正等が行われる場合がある。例えば、振れによって撮像領域が移動しても、画像生成領域ＡＰ-1を画像生成領域ＡＰ’-1、画像生成領域ＡＰ-2を画像生成領域ＡＰ’-2に移動して振れ補正を行う。ここで、図５の（ａ）に示すように撮像画像ＰＧ-1と撮像画像ＰＧ-2との重なりが多い場合、画像生成領域ＡＰ’-1と画像生成領域ＡＰ’-2は一部が重複している。したがって、パノラマ画は、重複部分を利用して画像生成領域ＡＰ’-1の画像と画像生成領域ＡＰ’-2の画像を、被写体の位置を合わせてつなぎ合わせることで生成する。しかし、図５の（ｂ）に示すように撮像画像ＰＧ-1と撮像画像ＰＧ-2との重なりが少ない場合、撮像画像ＰＧ-1と撮像画像ＰＧ-2とで一部が重複しても、画像生成領域ＡＰ’-1と画像生成領域ＡＰ’-2は重複しなくなることがある。このため、画像生成領域ＡＰ’-1の画像と画像生成領域ＡＰ’-2の画像は、被写体の位置を合わせてつなぎ合わせることができない。

したがって、第１の実施の形態では、例えば撮像装置２０-2で撮像画像の重なり量を判別して、重なり量に応じて両方またはいずれか一方の振れ補正を制限して、互いの画像生成領域に同一被写体の画像が残るようにする。振れ補正の制限としては、振れ補正を停止させてもよく、重なり量に応じて振れ補正量を制限してもよい。例えば撮像画像ＰＧ-1と撮像画像ＰＧ-2のいずれか一方を移動して他方の撮像画像と被写体の位置合わせができるように空間方向の位置合わせを行ったとき、一方の撮像画像を他方の撮像画像と被写体の位置合わせができるように移動したときのベクトル（以下「位置調整ベクトル」という）に基づき振れ補正量を制限する。

ここで、位置調整ベクトルについて説明する。位置調整ベクトルは、撮像画像ＰＧ-1と撮像画像ＰＧ-2のいずれか一方の領域を他方の領域と重なるように移動させて、例えば重なり領域における誤差平均値を算出する。ここで、重なり領域で被写体の位置が一致する場合には重なり領域における誤差平均値が少なくなる。したがって、重なり領域の誤差平均値が最小となる位置への移動量と移動方向を位置調整ベクトルとする。図６は位置調整ベクトルを説明するための図である。なお、図では撮像画像ＰＧ-1，ＰＧ-2のサイズを１９２０画素×１０８０画素としている。また、撮像画像ＰＧ-1，ＰＧ-2の座標原点は左上の位置であり、被写体ＯＢは図６の（ａ）に示す撮像画像ＰＧ-2では座標位置（１２０，５００）で、図６の（ｂ）に示す撮像画像ＰＧ-1では座標位置（１８００，５００）であったとする。ここで、撮像画像ＰＧ-1を移動して被写体の位置を撮像画像ＰＧ-2と一致させる場合、図６の（ｃ）に示すように、撮像画像ＰＧ-1の移動量が移動量（−１６８０，０）であると、撮像画像ＰＧ-1と撮像画像ＰＧ-2において被写体の位置が一致する。すなわち、撮像画像ＰＧ-1を移動量（−１６８０，０）だけ移動するベクトルを位置調整ベクトルとする。

このように、被写体の位置が一致するように撮像画像ＰＧ-1と撮像画像ＰＧ-2を横方向に並べてつなぎ合わせる場合、位置調整ベクトルの横方向成分の絶対値が小さくなるに伴い、重なり領域の横方向のサイズが大きくなる。したがって、位置調整ベクトルに基づく振れ補正量の制限では、位置調整ベクトルの移動量（絶対値）が小さく重なり量が多くなるに伴い振れ補正の制限を少なくする。また、例えばＳＩＦＴ（Scale-Invariant Feature Transform），ＳＵＲＦ（Speeded-Up Robust Features）等を用いて撮像画像ＰＧ-1と撮像画像ＰＧ-2から特徴点の抽出を行い、撮像画像ＰＧ-1と撮像画像ＰＧ-2との間で対応付けられた特徴点（特徴点対）の数に基づき振れ補正を制限してもよい。具体的には、撮像画像ＰＧ-1と撮像画像ＰＧ-2で重複部分が多くなると重複部分に含まれる特徴点対の数も大きくなることから、特徴点対の数が多くなるに伴い振れ補正の制限を少なくする。

図７は、重なり量に応じて振れ補正量を制限する場合を例示している。撮像領域（撮像画像）の重なりが少ない場合、撮像装置２０-2は、互いの画像生成領域に同一被写体の画像が含まれるようにパラメータ例えば画像生成領域のサイズを制限する。具体的には、撮像領域の重なり量が少なくなるに伴い画像生成領域ＡＰのサイズを大きくして、有効画素領域（撮像領域ＡＲに相当）と画像生成領域ＡＰの領域差である余剰領域を少なくする。なお、画像生成領域ＡＰの最大サイズは有効画素領域のサイズである。このように、撮像画像の重なり量が少なくなるに伴い余剰領域を狭くして振れ補正の制限を行い、合成する２つの画像生成領域の画像において振れ補正時に同一被写体の画像が重複する領域を確保できるようにする。なお、振れ補正において、一方の画像生成領域のみ重なり量に応じて画像生成領域のサイズを制限すると、撮像装置２０-1と撮像装置２０-2で取得された撮像画像から切り出された画像のサイズが異なる。このため、撮像画像から切り出された画像を同等のサイズとするためには、それぞれで振れ補正の制限を行うようにすればよい。その後、撮像装置２０-2は、画像生成領域ＡＰ’-1と画像生成領域ＡＰ’-2の合成を行い、被写体の位置合わせを行って画像をつなぎ合わせてパノラマ画を生成する。パノラマ画の生成では、撮像画像を仮想投影面に射影変換してつなぎ合わせを行うようにすれば、画像のつなぎ合わせを精度よく行うことができる。

＜３−１．第１の実施の形態の動作＞
図８は、第１の実施の形態の動作を示すフローチャートであり、撮像システム１０は例えば図１の（ｂ）に示す構成とする。また、後述する実施の形態の動作を示すフローチャートの説明においても、撮像システム１０は例えば図１の（ｂ）に示す構成とする。

ステップＳＴ１で撮像装置２０-2は、重複識別情報としての他装置の撮像画像を取得する。撮像装置２０-2は、例えば撮像装置２０-1で生成された撮像領域ＡＲ-1の撮像画像ＰＧ-1を取得してステップＳＴ２に進む。

ステップＳＴ２で撮像装置２０-2は、重複識別情報である撮像画像を用いて重なり量を算出する。撮像装置２０-2は、生成した撮像領域ＡＲ-2の撮像画像ＰＧ-2と撮像装置２０-1から取得した撮像画像ＰＧ-1の空間方向の位置合わせを行い、重なり量を算出する。例えば撮像装置２０-2は、一方の撮像画像を移動させて他方の撮像画像と被写体の位置合わせができる位置調整ベクトルの大きさ、重なり合う特徴点の数等を重なり量として算出してステップＳＴ３に進む。

ステップＳＴ３で撮像装置２０-2は、重なり量が振れ補正制限閾値以下であるか判別する。撮像装置２０-2は、ステップＳＴ２で算出した重なり量が予め設定した振れ補正制限閾値以下である場合ステップＳＴ４に進み、振れ補正制限閾値よりも多い場合ステップＳＴ５に進む。

ステップＳＴ４で撮像装置２０-2は、振れ補正を制限する。撮像装置２０-2は、被写体の位置合わせを行って画像をつなぎ合わせることができるように振れ補正を制限する。例えば撮像装置２０-2は、撮像装置２０-1，２０-2の少なくとも一方の振れ補正を停止させる。また、撮像装置２０-2は、重なり量に応じて振れ補正のパラメータを変更して補正量を制限してもよい。撮像装置２０-2は、例えば振れ補正後の撮像画像で同一被写体の画像が重複する領域を確保できるように振れに応じて画像生成領域のサイズを上述のように制限してステップＳＴ６に進む。

ステップＳＴ５で撮像装置２０-2は、制限なく振れ補正を行う。撮像装置２０-2は、重なり量が多いことから、振れ補正を行っても被写体の位置合わせを行って画像をつなぎ合わせることができるとして、制限なく振れ補正を行いステップＳＴ６に進む。

ステップＳＴ６で撮像装置２０-2は、パノラマ画を生成する。撮像装置２０-2は、撮像画像ＰＧ-1，ＰＧ-2から抽出した画像生成領域の画像を、被写体の位置を合わせてつなぎ合わせることでパノラマ画を生成する。

図８に示すフローチャートの処理は、パノラマ画として静止画を生成する場合、すなわち、静止画撮影時は、ステップＳＴ１からステップＳＴ６の処理を１回行う。また、パノラマ画として動画を生成する場合、静止画や動画の記録前にモニター画を生成する場合等では、ステップＳＴ１からステップＳＴ６の処理をフレーム単位や複数フレーム単位で繰り返す。さらに、パノラマ画の生成をオフラインで行う場合、つまり、撮影と同時に行わない場合には、撮影時はステップＳＴ１からステップＳＴ５の処理を行い、撮像画像ＰＧ-1，ＰＧ-2から抽出した画像生成領域の画像を記録媒体に記憶する。その後、記録媒体に記録された画像を用いて静止画や動画のパノラマ画を生成するようにしてもよい。なお、パノラマ画の生成をオフラインで行う場合は、振れ補正情報を記録媒体に記憶しておいてもよい。

また、図８に示す動作では、重複識別情報として撮像画像を用いた場合を例示したが、重複識別情報は撮像画像に限られない。例えば撮像装置の撮像方向や焦点距離から撮像範囲が明らかとなる。したがって、他装置の撮像画像に代えて撮像装置の撮像方向や焦点距離等を示す撮像設定情報を用いて重なり量を判別して、この重なり量の判別結果を用いてステップＳＴ３、ステップＳＴ５、ステップＳＴ６の処理を行うようにしてもよい。また、図８に示す動作は、重なり量が振れ補正制限閾値以下である場合に振れ補正を制限する場合を例示しているが、ステップＳＴ３，４，５の処理に代えて重なり量に応じて振れ補正量を制限する処理を行うようにしてもよい。

このように第１の実施の形態では、第１の撮像画像と第２の撮像画像との重なり量に応じて、合成に用いる第１の撮像画像と第２の撮像画像の少なくとも一方に対しての振れ補正に関する制御が行われる。このため、第１の撮像画像と第２の撮像画像の重なり量が少ない場合、撮像装置２０-2は、被写体の位置合わせを行って画像をつなぎ合わせることができるように振れ補正が制限されてパノラマ画を生成できるようになる。

＜３−２．第１の実施の形態の他の動作＞
上述の第１の実施の形態の動作では、第１の撮像画像と第２の撮像画像との重なり量に応じて振れ補正の制限を自動的に行う場合について説明した。しかし、振れ補正の制限はユーザが行うようにしてもよい。そこで、第１の実施の形態の他の動作では、第１の撮像画像と第２の撮像画像との重なり量の算出結果に基づき望ましい設定をユーザに通知して、通知に応じてユーザに振れ補正の制限を設定させるようにした場合について説明する。

ユーザに対する通知は、パノラマ画の生成のための静止画や動画を撮像する前に、表示および／または音声で行うことが望ましい。撮像装置２０-2は、表示で通知を行う場合に表示部２０５、音声で通知を行う場合に音声入出力部２０６を通知処理部として用いる。

図９は、第１の実施の形態の他の動作を示すフローチャートである。ステップＳＴ１１で撮像装置２０-2は、他装置の撮像画像を取得する。撮像装置２０-2は、例えば撮像装置２０-1で生成された撮像領域ＡＲ-1の撮像画像ＰＧ-1を取得してステップＳＴ１２に進む。

ステップＳＴ１２で撮像装置２０-2は、重なり量を算出する。撮像装置２０-2は、生成した撮像画像ＰＧ-2と撮像装置２０-1から取得した撮像画像ＰＧ-1の空間方向の位置合わせを行い、重なり量を算出する。例えば撮像装置２０-2は、被写体の位置を一致させる位置調整ベクトルの大きさ、重なり合う特徴点の数等を重なり量として算出してステップＳＴ１３に進む。

ステップＳＴ１３で撮像装置２０-2は、重なり量が振れ補正制限閾値以下であるか判別する。撮像装置２０-2は、ステップＳＴ１２で算出した重なり量が予め設定した振れ補正制限閾値以下である場合ステップＳＴ１４に進み、振れ補正制限閾値よりも多い場合ステップＳＴ１５に進む。

ステップＳＴ１４で撮像装置２０-2は、振れ補正の制限指示通知を行う。撮像装置２０-2は、表示や音声で例えば振れ補正を停止するようユーザに通知する。図１０は、表示を用いてユーザに対する通知を行う場合を例示している。ここで、図１０の（ａ）は振れ補正の制限指示通知を示しており、例えば振れ補正モードをオフ状態とする旨の通知をユーザに対して行う。また、撮像装置２０-2は、重なり量に応じて振れ補正のパラメータを変更して補正量を制限するようユーザに通知をしてもよい。撮像装置２０-2は、振れ補正の制限指示通知を行ってステップＳＴ１６に進む。

ステップＳＴ１５で撮像装置２０-2は、振れ補正の指示通知を行う。撮像装置２０-2は、表示や音声で振れ補正を実行するようユーザに通知する。図１０の（ｂ）は振れ補正指示通知を示しており、例えば振れ補正モードをオン状態とする旨の通知をユーザに対して行いステップＳＴ１６に進む。

なお、ステップＳＴ１４，１５の処理は、撮像装置２０-2で現在設定されている振れ補正モードの状態がステップＳＴ１３の検出結果と異なる場合にのみ行ってもよい。例えば、現在設定されている振れ補正モードがオンの場合には、ステップＳＴ１３で「Ｙｅｓ」の場合に指示通知を行うが、ステップＳＴ１３で「Ｎｏ」の場合には指示通知を行わない。

ステップＳＴ１６で撮像装置２０-2は、パノラマ画を生成する。撮像装置２０-2は、撮像画像ＰＧ-1，ＰＧ-2から抽出した画像生成領域の画像を、被写体の位置を合わせてつなぎ合わせることでパノラマ画を生成する。

なお、図９に示す動作では、重複識別情報として撮像画像を用いた場合を例示したが、重複識別情報は撮像画像に限られない。例えば撮像装置の撮像方向や焦点距離から撮像範囲が明らかとなる。したがって、撮像装置の撮像方向や焦点距離を示す撮像設定情報を重複識別情報として用いて、重なり量を算出してもよい。また、図９に示す動作は、重なり量が振れ補正制限閾値以下である場合に振れ補正を制限する場合を例示しているが、ステップＳＴ１３，１４，１５の処理に代えて重なり量に応じて振れ補正量を制限する処理を行うようにしてもよい。

このように第１の実施の形態の他の動作では、第１の撮像画像と第２の撮像画像との重なり量に応じて、合成に用いる第１の撮像画像と第２の撮像画像の少なくとも一方に対しての振れ補正に関する制御の通知がユーザに対して行われる。このため、第１の撮像画像と第２の撮像画像の重なり量が少ない場合、ユーザによる振れ補正の制限指示に基づき、撮像装置２０-2は画像生成領域の画像をつなぎ合わせてパノラマ画を生成できるように振れ補正の制限を行う。したがって、ユーザの指示に基づきパノラマ画を生成できるようになる。

＜４．第２の実施の形態＞
次に、第２の実施の形態について説明する。上述のように第１の撮像画像と第２の撮像画像との重なり量が少ない場合、撮像装置で振れ補正が行われると、同一被写体の画像が重複する領域を確保することができなくなって、被写体の位置合わせを行って画像をつなぎ合わせることができないおそれがある。そこで、第２の実施の形態では、第１の撮像画像と第２の撮像画像との重なり量が少ない場合、２つの撮像装置のそれぞれで生成される撮像画像の位置関係を、被写体の位置合わせを行って画像をつなぎ合わせることができる位置関係として、この位置関係を保持した状態で振れ補正を行う。また、第１の撮像画像と第２の撮像画像との重なり量が多い場合、振れ補正を行い、振れ補正後の撮像画像を用いて空間方向の位置合わせを行う。さらに振れ補正および空間方向の位置合わせが行われた画像を合成してパノラマ画を生成する。

＜４−１．第２の実施の形態の動作＞
次に、２台の撮像装置を用いた場合の動作について説明する。図１１は、撮像画像の重なり量が少ない場合の動作を説明するための図である。図１１の（ａ）は撮像画像ＰＧ-1，ＰＧ-2を示している。図１１の（ｂ）は、撮像画像間の空間方向の位置合わせを示している。撮像画像ＰＧ-1，ＰＧ-2は、重複領域ＡＣを確保できるように位置合わせを行う。図１１の（ｃ）は、振れ補正後の撮像画像を示している。振れ補正は、位置合わせ後の状態が保たれるように行われて、振れ補正後の撮像画像ＰＧａ-1，ＰＧａ-2では、重複領域が確保された状態となる。したがって、同一被写体の画像が重複するように撮像画像ＰＧａ-1と撮像画像ＰＧａ-2の空間方向の位置合わせを行い、被写体の位置合わせを行って画像をつなぎ合わせることで、パノラマ画ＰＭを生成できる。

なお、図１１の（ｄ）は位置合わせを行うことなく振れ補正を行った場合を示している。ここで、撮像画像ＰＧ-1，ＰＧ-2に対して振れ補正後の画像生成領域が例えば画像生成領域ＡＰ’-1，ＡＰ’-2となると、図１１の（ｅ）に示すように、画像生成領域ＡＰ’-1，ＡＰ’-2では重複領域が確保できない状態となる。したがって、被写体の位置合わせを行って画像をつなぎ合わせることができない。なお、画像の空間方向の位置合わせは撮像画像ＰＧａ-1，ＰＧａ-2を用いる場合に限られない。例えば撮像装置２０-1から撮像画像ＰＧａ-1を撮像装置２０-2に供給して、撮像装置２０-2は振れ補正後の画像生成領域ＡＰ’-2に対して撮像画像ＰＧａ-1の位置を合わせるようにしてもよい。また、例えば撮像装置２０-1から撮像画像ＰＧａ-1と振れ情報を撮像装置２０-2に供給して、撮像装置２０-2は振れ情報に基づいた振れ補正後の画像生成領域ＡＰ’-1に対して撮像画像ＰＧａ-2の位置を合わせるようにしてもよい。

図１２は、撮像画像の重なり量が多い場合の動作を説明するための図である。図１２の（ａ）は、撮像画像ＰＧ-1，ＰＧ-2における振れ補正後の画像生成領域ＡＰ’-1，ＡＰ’-2を示している。また、図１２の（ｂ）は、振れ補正後の画像生成領域ＡＰ’-1，ＡＰ’-2を示している。撮像画像（撮像領域）の重なり量が多い場合、振れ補正が行われても画像生成領域ＡＰ’-1，ＡＰ’-2では、同一被写体の画像が重複する重複領域ＡＣが確保される。したがって、図１２の（ｃ）に示すように、同一被写体の画像が重複するように画像生成領域ＡＰ’-1，ＡＰ’-2の画像をつなぎ合わせることで、パノラマ画ＰＭを生成できる。また、振れ補正後の画像生成領域ＡＰ’-1，ＡＰ’-2の画像を用いて位置合わせを行うことで、撮像画像ＰＧ-1，ＰＧ-2を用いて位置合わせを行う場合よりも、位置合わせの探索範囲を少なくすることが可能となる。

図１３は、第２の実施の形態の動作を示すフローチャートである。ステップＳＴ２１で撮像装置２０-2は、他装置の撮像画像を取得する。撮像装置２０-2は、例えば撮像装置２０-1で生成された撮像領域ＡＲ-1の撮像画像ＰＧ-1を取得してステップＳＴ２２に進む。

ステップＳＴ２２で撮像装置２０-2は、重なり量を算出する。撮像装置２０-2は、生成した撮像画像ＰＧ-2と撮像装置２０-1から取得した撮像画像ＰＧ-1の空間方向の位置合わせを行い、重なり量を算出する。例えば撮像装置２０-2は、同一被写体の画像が重なりを生じる位置調整ベクトルの大きさ、重なり合う特徴点の数等を重なり量として算出してステップＳＴ２３に進む。

ステップＳＴ２３で撮像装置２０-2は、重なり量が処理順設定閾値以下であるか判別する。撮像装置２０-2は、ステップＳＴ２２で算出した重なり量が予め設定した処理順設定閾値以下である場合ステップＳＴ２４に進み、処理順設定閾値よりも多い場合ステップＳＴ２６に進む。

ステップＳＴ２４で撮像装置２０-2は、空間方向の位置合わせを行う。撮像装置２０-2は、撮像画像ＰＧ-1と撮像画像ＰＧ-2との間で例えば重複領域を確保して被写体の位置を合わせて画像をつなぎ合わせることができるように位置合わせを行いステップＳＴ２５に進む。

ステップＳＴ２５で撮像装置２０-2は、振れ補正を行う。撮像装置２０-2は、空間方向の位置合わせ後の状態、例えば図１１の（ｂ）に示すように重複領域ＡＣが確保できる撮像画像ＰＧ-1，ＰＧ-2の位置関係を保って、撮像装置２０-1，２０-2で振れ補正を行うように制御してステップＳＴ２７に進む。

ステップＳＴ２６で撮像装置２０-2は、振れ補正を行う。撮像装置２０-2は、例えば撮像装置２０-1，２０-2で振れ補正を行うように制御してステップＳＴ２７に進む。

ステップＳＴ２７で撮像装置２０-2は、空間方向の位置合わせを行う。撮像装置２０-2は、振れ補正後の撮像画像ＰＧc-1と撮像画像ＰＧc-2との間で同一被写体の画像が重なるように位置合わせを行いステップＳＴ２８に進む。

ステップＳＴ２８で撮像装置２０-2は、パノラマ画を生成する。撮像装置２０-2は、撮像画像ＰＧ-1，ＰＧ-2から抽出した画像生成領域の画像を、同一被写体の画像が重複するようにつなぎ合わせてパノラマ画を生成する。

なお、図１３に示すフローチャートの処理は、パノラマ画として静止画を生成する場合、ステップＳＴ２１からステップＳＴ２８の処理を行う。また、パノラマ画として動画やモニター画を生成する場合は、ステップＳＴ２１からステップＳＴ２８の処理を繰り返す。さらに、パノラマ画の生成をオフラインで行う場合には、ステップＳＴ２１からステップＳＴ２７の処理を行い、画像生成領域の画像を記録媒体に記憶して、その後、記録媒体に記録された画像を用いて静止画や動画のパノラマ画を生成するようにしてもよい。

このように、第２の実施の形態によれば、第１の撮像画像と第２の撮像画像との重なり量が少ない場合、被写体の位置を合わせて画像をつなぎ合わせることができるように撮像装置間で撮像画像の位置合わせを行い、その後、位置合わせ後の状態を保ち振れ補正が行われる。したがって、第１の撮像画像と第２の撮像画像との重なり量が少ない場合でもパノラマ画を生成できるようになる。

＜４−２．第２の実施の形態の他の動作＞
次に、第２の実施の形態の他の動作として、３台以上の撮像装置を用いた場合の動作について説明する。

図１４は、５台の撮像装置を用いた場合の動作を例示している。図１４の（ａ）に示すように、５台の撮像装置で生成された撮像画像ＰＧ-1〜ＰＧ-5は、撮像画像ＰＧ-2と撮像画像ＰＧ-3との重なり量が予め設定した処理順設定閾値以下で、他の撮像画像間の重なり量は処理順設定閾値よりも大きい状態であるとする。なお、重複領域ＡＣ12，ＡＣ23，ＡＣ34，ＡＣ45は、同一被写体の画像が重なる領域を示している。

ここで、いずれかの撮像画像間で重なり量が処理順設定閾値以下となる場合、撮像画像の重なり量が処理順設定閾値以下となる撮像画像間で空間方向の位置合わせを行い、その後振れ補正を行う。したがって、図１４の（ｂ）に示すように撮像画像ＰＧ2と撮像画像ＰＧ-3で空間方向の位置合わせを行い、その後、各撮像画像に対する振れ補正を行う。

図１４の（ｃ）は、振れ補正後の画像生成領域ＡＰ-1，ＡＰ-4，ＡＰ-5を示している。また、空間方向の位置合わせした撮像画像ＰＧ-2,ＰＧ-3の画像生成領域は領域ＡＰ-23に相当する。パノラマ画の生成では、図１４の（ｄ）に示すように、重複領域ＡＣ12，ＡＣ23，ＡＣ34，ＡＣ45の画像が重なるように振れ補正後の画像生成領域ＡＰ-1，ＡＰ-4，ＡＰ-5および領域ＡＰ-23の画像をつなげる。したがって、生成されたパノラマ画は、被写体の位置を合わせてつなぎ合わせた画像となる、
このように、第２の実施の形態の他の動作によれば、撮像装置が３台以上であり、画像間の重なり量が処理順設定閾値以下の場合が生じても、パノラマ画を生成できるようになる。

＜５．第３の実施の形態＞
複数の撮像装置は、どのような移動体に設けられているかに応じて支配的な振れの周期が異なる。例えば複数の撮像装置を自転車や自動車等の車両に取り付けた場合と人が携行する場合とでは振れの周期が異なり、時間方向の撮像画像間の位置関係の変化が振れの周期に応じて異なる。また、複数の撮像装置は、どのような移動体の何れの取り付け位置にどのような状態で取り付けられたか等に応じて振れの大きさや方向が撮像装置間で相違する場合があり、複数の撮像装置で生成された撮像画像間の空間方向の位置関係の変化が振れの大きさや方向の差に応じて異なる。

また、パノラマ画の生成において、各撮像画像内における時間方向の撮像画像間の位置関係、および複数の撮像装置で生成された撮像画像間の空間方向の位置関係が一定であれば、撮像画像からパノラマ画の生成に用いる画像を容易に取得できる。しかし、撮像画像の位置関係が変化する場合には、位置関係の変化に基づいて撮像画像からパノラマ画の生成に用いる画像を取得しなければならない。

時間方向の撮像画像間の位置関係の変化に対しては、振れ補正を行うことで時間方向の撮像画像間の位置関係を略一定に保つことが可能である。また、複数の撮像装置で生成された撮像画像間の空間方向の位置関係を一定に保つためには、画像間の空間方向の位置合わせを行えばよい。しかし、空間方向の位置関係の変化の有無にかかわらず画像間の空間方向の位置合わせを毎フレーム行うと、位置合わせのための計算コストが高くなる。そこで、第３の実施の形態では、撮像画像間の位置関係の変化度合いに応じて撮像画像間の空間方向の位置合わせの頻度を制御する。

＜５−１．第３の実施の形態の動作＞
図１５は、撮像装置間の位置関係の変化度合いに応じて空間方向の位置合わせの頻度を制御する動作を説明するための図である。この動作では、例えば撮像装置２０-1から撮像画像ＰＧ-1と振れ情報を撮像装置２０-2に供給する。また、撮像装置２０-2は、振れ情報に基づき振れ補正後の画像生成領域ＡＰ-2を設定する。また、撮像装置２０-2は、撮像画像ＰＧ-2における画像生成領域ＡＰ-2と撮像装置２０-1から取得した撮像画像ＰＧ-1とで被写体の位置を合わせる空間方向の位置合わせを行うことにより取得した位置調整ベクトルに基づき振れ補正後の画像生成領域ＡＰ-1の設定、または位置調整ベクトルと振れ情報に基づき振れ補正後の画像生成領域ＡＰ-1の設定を行う。さらに、撮像装置２０-2は、画像生成領域ＡＰ-1の画像と画像生成領域ＡＰ-2の画像を用いてパノラマ画像を生成する。なお、図１５および後述する図１８，１９では、位置調整ベクトルの算出および算出した位置調整ベクトルに基づき振れ補正後の画像生成領域ＡＰ-1を設定する撮像画像ＰＧ-1のフレームを細線枠で示しており、位置調整ベクトルと振れ情報に基づき振れ補正後の画像生成領域ＡＰ-1を設定する撮像画像ＰＧ-1のフレームを破線枠で示している。

図１５の（ａ）は、撮像画像（撮像装置）間の位置関係の変化度合いが大きい場合の動作を示しており、図１５の（ｂ）は、撮像画像（撮像装置）間の位置関係の変化度合いが小さい場合の動作を示している。撮像画像（撮像装置）間の位置関係の変化度合いは、撮像装置２０-1の振れ情報と撮像装置２０-2の振れ情報に基づき、撮像装置２０-1と撮像装置２０-2の振れの大きさや方向の違いによって生じる撮像画像ＰＧ-1と撮像画像ＰＧ-2の位置関係の変化が変化判別閾値を超えたか否かを所定期間判別して、変化量が変化判別閾値を超えたフレーム数の割合を変化度合いとする。

撮像画像（撮像装置）間の位置関係の変化度合いが大きい場合、撮像装置２０-2は空間方向の位置合わせの頻度を高くする。例えば、図１５の（ａ）に示すように、撮像装置間の位置関係すなわち撮像画像ＰＧ-1と撮像画像ＰＧ-2の位置関係がフレーム毎に大きく変動している場合、撮像装置２０-2は、画像生成領域ＡＰ-2に対してフレーム毎に振れ補正を行う。すなわち撮像装置２０-2は、画像生成領域ＡＰ-2に対して、時間方向の位置合わせを行う。

図１６は時間方向の位置合わせを説明するための図である。なお、図１６では撮像画像ＰＧ-2のサイズを１９２０画素×１０８０画素としている。また、撮像画像ＰＧ-2の座標原点は左上の位置であるとする。被写体ＯＢは図１６の（ａ）に示すフレーム０の撮像画像ＰＧ-2f0では座標位置（１２０，５００）で、図１６の（ｂ）に示すフレーム１の撮像画像ＰＧ-2f1では座標位置（１２０，５６０）であったとする。さらに、画像生成領域ＡＰ-2の四隅の座標位置は、フレーム０における被写体ＯＢを含む座標位置ＡＺa，ＡＺb，ＡＺc，ＡＺｄであるとする。ここで、フレーム１の撮像画像ＰＧ-2f1を移動して被写体の位置をフレーム０の撮像画像ＰＧ-2f0と一致させる場合、図１６の（ｃ）に示すように、撮像画像ＰＧ-2f1の移動量が移動量（０，−６０）であると、撮像画像ＰＧ-2f1と撮像画像ＰＧ-2f0において画像生成領域ＡＰ-2における被写体ＯＢの位置は一致する。すなわち、時間方向の位置合わせを行うことができる。なお、図１５および後述する図１８，１９では、撮像画像に生じた振れを補正するための振れ補正ベクトルとして、撮像画像ＰＧを基準として振れ補正後の画像生成領域を示すベクトルを例示している。

また、撮像装置２０-2は、フレーム毎に画像生成領域ＡＰ-2と撮像画像ＰＧ-1の空間方向の位置合わせを行い、画像生成領域ＡＰ-1をフレーム毎に設定する。フレーム毎に空間方向の位置合わせを行う場合、撮像装置２０-2は、空間方向の位置合わせによって取得した位置調整ベクトルを用いることで、振れ補正後の画像生成領域ＡＰ-2と被写体の位置が一致するように画像生成領域ＡＰ-1を設定する。

撮像画像（撮像装置）間の位置関係の変化度合いが小さい場合、画像生成領域ＡＰ-1，ＡＰ-2の画像間で重複領域が例えば所定量確保された状態から他の状態への変動が少ないので、空間方向の位置合わせの頻度を低くしても、重複領域が確保された状態が維持される。したがって、例えば図１５の（ｂ）に示すように撮像画像ＰＧ-1と撮像画像ＰＧ-2の位置関係の変動が少ない場合、撮像装置２０-2は、画像生成領域ＡＰ-2に対してフレーム毎に振れ補正、すなわち時間方向の位置合わせを行う。また、撮像装置２０-2は、複数フレーム間隔で画像生成領域ＡＰ-2と、撮像画像ＰＧ-1の空間方向の位置合わせを行い、位置合わせを行わない期間は直前の位置調整ベクトルを保持する。さらに、撮像装置２０-2は、空間方向の位置合わせを行うフレームでは、空間方向の位置合わせによって取得した位置調整ベクトルを用いて、振れ補正後の画像生成領域ＡＰ-2と被写体の位置が一致するように画像生成領域ＡＰ-1を設定する。また、撮像装置２０-2は、空間方向の位置合わせを行わないフレームでは、空間方向の位置合わせを行って設定した直前の画像生成領域ＡＰ-1に対して振れを生じないように時間方向の位置合わせを行う。

図１７は、空間方向の位置合わせを行わないフレームについての時間方向の位置合わせを説明するための図である。なお、図１７では撮像画像ＰＧ-1，ＰＧ-2のサイズを１９２０画素×１０８０画素としている。また、撮像画像ＰＧ-1f0，ＰＧ-1f1，ＰＧ-2f0の座標原点は左上の位置であるとする。フレーム０において、被写体ＯＢは図１７の（ａ）に示す撮像画像ＰＧ-2f0では座標位置（１２０，５００）で、図１７の（ｂ）に示す撮像画像ＰＧ-1f0では座標位置（１８００，５００）であったとする。この場合、図６を用いて説明したように、撮像画像ＰＧ-1f0を図１７の（ｃ）に示すように移動量（−１６８０，０）だけ移動することで、撮像画像ＰＧ-1f0，ＰＧ-2f0の空間方向の位置合わせを行うことができる。なお、画像生成領域ＡＰ-2は被写体ＯＢを含むように四隅の座標位置ＡＺa，ＡＺb，ＡＺc，ＡＺｄを設定して、画像生成領域ＡＰ-1は被写体ＯＢの位置を一致させて画像生成領域ＡＰ-2の画像とつなぎ合わせることでパノラマ画を生成できるように、四隅の座標位置ＡＺe，ＡＺf，ＡＺg，ＡＺhを設定する。なお座標位置ＡＺａ〜ＡＺhは、座標位置（０，０）を基準とした位置である。

次に、図１７の（ｄ）に示すフレーム１の撮像画像ＰＧ-1f1において、被写体ＯＢは撮像装置２０-1の振れによって座標位置（１２０，６００）となったとする。この場合、フレーム１の撮像画像ＰＧ-1f1を図１７の（ｅ）に示すように、フレーム０で空間方向の位置合わせが行われた位置に移動しても、撮像画像ＰＧ-1f0と撮像画像ＰＧ-1f1では被写体ＯＢの位置が一致しない。したがって、空間方向の位置合わせを行わないフレーム１では、空間方向の位置合わせ後の撮像画像ＰＧ-1f0と撮像画像ＰＧ-1f1の時間方向の位置合わせを行う。ここで、図１７の（ｆ）に示すように、フレーム０の空間方向の位置合わせ後の位置からの撮像画像ＰＧ-1f1の移動量が移動量（０，−１００）であると、撮像画像ＰＧ-1f1と撮像画像ＰＧ-1f0において画像生成領域ＡＰ-1における被写体ＯＢの位置は一致する。すなわち、時間方向の位置合わせを行うことができる。したがって、フレーム１では、フレーム０に対して時間方向の位置合わせが行われた撮像画像ＰＧ-1f1における画像生成領域ＡＰ-1の画像を用いることで、振れ補正が行われた画像を得られるようになる。

また、フレーム１において、撮像画像ＰＧ2f1は、図１７の（ｈ）に示すように時間方向の位置合わせが行われることから、図１７の（ｆ）に示すフレーム１の撮像画像ＰＧ-1f1における画像生成領域ＡＰ-1と図１７の（ｈ）に示すフレーム１の撮像画像ＰＧ-2f1における画像生成領域ＡＰ-2における被写体ＯＢの位置を、フレーム０の場合と一致させることができる。すなわち、振れが生じないように且つ被写体の位置が一致するように画像生成領域ＡＰ-1，ＡＰ-2を設定できる。

撮像装置２０-2は、撮像画像（撮像装置）間の位置関係の変化度合いが小さい場合、このような処理を行うことで、空間方向の位置合わせの頻度を低くしても、重複領域が確保された状態を維持できる。また、空間方向の位置合わせのための計算コストやデータ量を削減できる。

図１８はフレーム毎に空間方向の位置合わせを行う場合の動作、図１９は複数フレーム間隔で空間方向の位置合わせを行う場合の動作を例示している。なお、空間方向の位置合わせを撮像装置２０-2で行う場合、撮像装置２０-2は、撮像装置２０-1で生成された撮像画像ＰＧ-1と撮像装置２０-1の振れ状態を示す振れ情報を取得する。また、撮像装置２０-2は、振れ補正後の画像生成領域ＡＰ-2に、撮像装置２０-1で生成された画像の位置を合わせる処理を行う。また、画像の空間方向の位置合わせでは、上述のように撮像画像ＰＧ-1，ＰＧ-2を用いて位置調整ベクトルを算出する。

図１８のフレーム０において、撮像画像ＰＧ-2で生じた振れを補正するためのベクトルを振れ補正ベクトルＶR0とする。また、画像生成領域ＡＰ-2とつなぎ合わせる画像生成領域ＡＰ-1の画像を画像生成領域ＡＰ-2の画像と連続されるために、被写体の位置が一致するベクトルを位置調整ベクトルＱ0とする。この場合、振れ補正ベクトルＶR0を用いて振れを生じないように画像生成領域ＡＰ-2を設定することが可能となり、位置調整ベクトルＱ0を用いることで画像生成領域ＡＰ-2とつなぎ合わせる画像生成領域ＡＰ-1を設定することができる。すなわち、振れ補正ベクトルＶL0を用いなくとも、図１８に示すように振れ補正ベクトルＶR0と位置調整ベクトルＱ0を用いて算出した合成ベクトルＶＭ0を用いることで、振れが生じないように且つ被写体の位置が一致するように画像生成領域ＡＰ-1を設定できる。なお、画像生成領域ＡＰ-1，ＡＰ-2を例えばアルファブレンディング手法等でつなぎ合わせる場合、画像生成領域ＡＰ-1は、画像生成領域ＡＰ-2と被写体が一致する重なり領域を有するように設定する。

次に、フレーム１において、撮像画像ＰＧ-2でフレーム０とフレーム１との間に生じた振れを補正するためのベクトルを振れ補正ベクトルＶR1とする。また、画像生成領域ＡＰ-2とつなぎ合わせる画像生成領域ＡＰ-1の画像を画像生成領域ＡＰ-2の画像と連続されるためのベクトルを位置調整ベクトルＱ1とする。この場合、フレーム０と同様に、振れ補正ベクトルＶL1を用いなくとも、振れ補正ベクトルＶR1と位置調整ベクトルＱ1を用いて算出した合成ベクトルＶＭ1を用いることで、撮像画像ＰＧ-1のフレーム０とフレーム１との間で振れが生じないように且つ画像生成領域ＡＰ-1と画像生成領域ＡＰ-2とのつなぎ部分で被写体の位置合わせできているように画像生成領域ＡＰ-1を設定できる。また、フレーム２乃至フレーム４においてもフレーム０，１と同様に、振れが生じないように且つ被写体の位置合わせできているように画像生成領域ＡＰ-1を設定できる。

図１９のフレーム０において、撮像画像ＰＧ-2で生じた振れを補正するためのベクトルを振れ補正ベクトルＶR0とする。また、画像生成領域ＡＰ-2とつなぎ合わせる画像生成領域ＡＰ-1の画像を画像生成領域ＡＰ-2の画像と連続されるためのベクトルを位置調整ベクトルＱ0とする。この場合、振れ補正ベクトルＶR0を用いて振れを生じないように画像生成領域ＡＰ-2を設定することが可能となり、位置調整ベクトルＱ0を用いることで画像生成領域ＡＰ-2とつなぎ合わせる画像生成領域ＡＰ-1を設定することができる。すなわち、振れ補正ベクトルＶR0と位置調整ベクトルＱ0から算出した合成ベクトルを用いることで、振れが生じないように且つ被写体の位置が一致するように画像生成領域ＡＰ-1を設定できる。例えばフレーム０が最初の画像で振れ動き補正ベクトルＶL0，ＶR0が（０，０）であり被写体ＯＢの位置が図１７の（ａ），（ｂ）である場合、振れが生じないように且つ画像生成領域ＡＰ-2の画像に対して被写体の位置が一致するように画像生成領域ＡＰ-1を設定する合成ベクトルＶＭ0は、式（１）となる。なお、図１７において、振れ補正ベクトルＶR0は（０，０）、位置調整ベクトルＱ0は（−１６８０，０）である。
ＶＭ0 ＝−ＶR0＋Ｑ0
＝−（０，０）＋（−１６８０，０）
＝（−１６８０，０） ・・・（１）

次に、フレーム１において、撮像画像ＰＧ-2で生じた振れを補正するためのベクトルを振れ補正ベクトルＶR1とする。一方で、フレーム１において、撮像画像ＰＧ-1で生じた振れを補正するためのベクトルを補正ベクトルＶL1とする。また、フレーム１では位置調整ベクトルが算出されていない。したがって、位置調整ベクトルの算出が行われた最も近傍のフレームであるフレーム０を基準として撮像画像ＰＧ-1における振れ補正ベクトルを算出する。ここで、撮像画像ＰＧ-1で生じた振れを補正するための振れ補正ベクトルＶR1は、フレーム０を基準としたベクトルである。また、フレーム０において設定される画像生成領域ＡＰ-1は、振れ補正ベクトルＶL0で振れ補正した位置に相当する。したがって、フレーム１において、振れが生じないように且つ被写体の位置が一致する画像生成領域ＡＰ-1の位置は、フレーム０の画像生成領域ＡＰ-1をＶL1だけ移動した位置となる（この分だけ、振れ補正によって撮像装置２０-1が、フレーム０とフレーム１の間で相対的に移動したことになる）。すなわち、振れ補正ベクトルＶR0，ＶR1と位置調整ベクトルＱ0および振れ補正ベクトルＶL1を用いて算出した合成ベクトルを用いることで、振れが生じないように且つ被写体の位置が一致するように画像生成領域ＡＰ-1を設定できる。

例えば、上述の図１７の場合、図１７の（ｇ）に示すフレーム１の撮像画像ＰＧ-2f1に対しては図１７の（ｈ）に示すように時間方向の位置合わせを行う。また、図１７の（ｄ）に示すフレーム１の撮像画像ＰＧ-1f1に対しては、フレーム０の空間方向の位置合わせの位置から図１７の（ｆ）のように時間方向の位置合わせを行う。このように位置合わせを行うと、振れが生じないように且つ画像生成領域ＡＰ-2の画像に対して被写体の位置が一致するように画像生成領域ＡＰ-1を設定できる。ここで、図１７の（ｆ）に示す撮像画像ＰＧ-1f1は、図１７の（ｈ）における撮像画像ＰＧ-2f1に対して合成ベクトルＶＭ1だけ移動した位置であり、合成ベクトルＶＭ1は式（２）の値となる。なお、図１９に示す位置調整ベクトルＱ0は、図１７の場合に（−１６８０，０）である。また、図１９に示す振れ補正ベクトルＶR1，ＶL1は、図１７の場合、振れ補正ベクトルＶR1は（０，６０）であり，振れ補正ベクトルＶL1は（０，１００）である。
ＶＭ1 ＝−（ＶR1＋ＶRO）＋Ｑ0＋ＶL1
＝−（（０，６０）＋（０，０））＋（−１６８０，０）＋（０，１００）
＝（−１６８０，４０） ・・・（２）

したがって、フレーム１の撮像画像ＰＧ-2f1に対して合成ベクトルＶＭ1だけ移動した位置を撮像画像ＰＧ-1f1の位置とすれば、振れが生じないように且つ被写体の位置が一致するように画像生成領域ＡＰ-1を設定できる。すなわち、画像生成領域ＡＰ-1と画像生成領域ＡＰ-2の画像は、振れが生じないように補正されて且つ被写体の位置が一致する画像となる。

また、フレーム２において、撮像画像ＰＧ-2で生じた振れを補正するためのベクトルを振れ補正ベクトルＶR2とする。この補正ベクトルＶL2は、フレーム１を基準としたベクトルである。一方で、フレーム２において、撮像画像ＰＧ-1で生じた振れを補正するためのベクトルを補正ベクトルＶL2とする。また、フレーム２では位置調整ベクトルが算出されていない。したがって、位置調整ベクトルの算出が行われた最も近傍のフレームを基準として撮像画像ＰＧ-1における振れ補正ベクトルを算出する。ここで、撮像画像ＰＧ-1で生じた振れを補正するための振れ補正ベクトルＶL2は、フレーム１を基準としたベクトルである。また、フレーム１において設定される画像生成領域ＡＰ-1は、振れ補正ベクトルＶL1で振れ補正した位置に相当する。したがって、フレーム２において、振れが生じないように且つ被写体の位置が一致する画像生成領域ＡＰ-1の位置は、フレーム０の画像生成領域ＡＰ-1を（ＶL2＋ＶL1）だけ移動した位置となる。同様に、フレーム２の画像生成領域ＡＰ2は、フレーム０の画像生成領域ＡＰ2を（ＶR2＋ＶR1）だけ移動した位置となる。すなわち、振れ補正ベクトルＶR0，ＶR1，ＶR2と位置調整ベクトルＱ0および振れ補正ベクトルＶL1，ＶL2を用いて式（３）の演算を行うことにより得た合成ベクトルＶＭ2を用いることで、振れが生じないように且つ被写体の位置が一致するように画像生成領域ＡＰ-1を設定できる。
ＶＭ2＝−（ＶR2＋ＶR1＋ＶRO）＋Ｑ0＋（ＶL2＋ＶL1） ・・・（３）

フレーム３において、撮像画像ＰＧ-2で生じた振れを補正するためのベクトルを振れ補正ベクトルＶR3とする。また、画像生成領域ＡＰ-2とつなぎ合わせる画像生成領域ＡＰ-1の画像を画像生成領域ＡＰ-2の画像と連続されるためのベクトルを位置調整ベクトルＱ3とする。この場合、振れ補正ベクトルＶR3を用いて振れを生じないように画像生成領域ＡＰ-2を設定することが可能となり、位置調整ベクトルＱ3を用いることで画像生成領域ＡＰ-2とつなぎ合わせる画像生成領域ＡＰ-1を設定することができる。すなわち、式（４）に示すように、振れ補正ベクトルＶR3と位置調整ベクトルＱ3を用いて算出した合成ベクトルＶＭ3を用いることで、振れが生じないように且つ被写体の位置が一致するように画像生成領域ＡＰ-1を設定できる。
ＶＭ3＝−ＶR3＋Ｑ3 ・・・（４）

また、フレーム４では、位置調整ベクトルの算出が行われた最も近傍のフレームであるフレーム３を基準としてフレーム１と同様な処理を行う。すなわち、式（５）に示す合成ベクトルＶＭ4を用いることで、振れが生じないように且つ被写体の位置が一致するように画像生成領域ＡＰ-1を設定できる。
ＶＭ4＝−（ＶR4＋ＶR3）＋Ｑ3＋ＶL4 ・・・（５）

このように、複数フレーム間隔で空間方向の位置合わせを行うことで、例えば空間方向の位置合わせが行われていないフレームの時間方向の位置合わせで生じた誤差が時間の経過と共に蓄積しても、空間方向の位置合わせによって蓄積した誤差をリセットできる。したがって、誤差の蓄積によって画像の重なりのずれ等が発生してしまうことを防止できる。

図２０は、第３の実施の形態の動作を示すフローチャートである。ステップＳＴ３１で撮像装置２０-2は、他装置の撮像画像を取得する。撮像装置２０-2は、例えば撮像装置２０-1で生成された撮像領域ＡＲ-1の撮像画像ＰＧ-1を取得してステップＳＴ３２に進む。

ステップＳＴ３２で撮像装置２０-2は、位置関係の変化度合いを算出する。撮像装置２０-2は、生成した撮像画像ＰＧ-2と撮像装置２０-1から取得した撮像画像ＰＧ-1とで、同一被写体の画像が重なるように空間的な位置合わせを行う。また、撮像装置２０-2は、生成した撮像画像ＰＧ-2と撮像装置２０-1から取得した撮像画像ＰＧ-1との位置関係の変化量が変化判別閾値を超えたか否かを例えばＭ（正の整数）フレーム分の画像について判別して、変化量が変化判別閾値を超えたフレーム数の割合を変化度合いとする。さらに、撮像装置２０-2は、位置関係の変化度合いの算出をＮ（正の整数）フレーム間隔で行う。撮像装置２０-2は、このように位置関係の変化度合いを算出してステップＳＴ３３に進む。

ステップＳＴ３３で撮像装置２０-2は、位置合わせ頻度を制御する。撮像装置２０-2は、位置関係の変化度合いが大きい場合は位置合わせを行う頻度を高くして、位置関係の変化度合いが小さい場合は位置合わせを行う頻度を低くする。

このように、第３の実施の形態によれば、撮像装置間で撮像画像の位置関係の変化度合いに応じてパノラマ画の生成で合成される画像間の空間方向の位置合わせの頻度が制御されるので、被写体の位置合わせを行って画像をつなぎ合わせることができる状態を効率よく保つことが可能となる。

＜５−２．第３の実施の形態の他の動作＞
上述の位置関係の変化度合いは、観測期間と観測間隔を固定して行う場合に限らず、位置関係の変化度合いに応じて調整してもよい。第３の実施の形態の他の動作では、位置関係の変化度合いに応じて、観測期間と観測間隔を調整する動作について説明する。

図２１は、位置関係の変化度合いの算出動作を示す図である。例えば動作開始時には図２１の（ａ）に示すように変化度合いの観測期間をＭａ（正の整数）フレーム、変化度合いの観測間隔をＮａ（正の整数）フレームとする。動作開始後、位置関係の変化度合いが高い場合は、変化度合いの観測期間と観測間隔の少なくとも一方を短くする。図２１の（ｂ）は、位置関係の変化度合いが大きい場合、変化度合いの観測期間と観測間隔を短くした場合を例示している。なお、観測期間は「Ｍｂ＜Ｍａ」、観測間隔は「Ｎｂ＜Ｎａ」である。また、動作開始後、位置関係の変化度合いが小さい場合は、変化度合いの観測期間と観測間隔の少なくとも一方を長くする。図２１の（ｃ）は、位置関係の変化度合いが小さい場合、観測期間と観測間隔を長くした場合を例示している。なお、観測期間は「Ｍｃ＞Ｍａ」、観測間隔は「Ｎｃ＞Ｎａ」である。観測期間または観測間隔は、例えば変化度合いが大きくなるに伴い１フレーム毎に短くして、変化度合いが小さくなるに伴い１フレーム毎に長くしてもよい。

図２２は、第３の実施の形態の他の動作を示すフローチャートである。ステップＳＴ４１で撮像装置２０-2は、他装置の撮像画像を取得する。撮像装置２０-2は、例えば撮像装置２０-1で生成された撮像領域ＡＲ-1の撮像画像ＰＧ-1を取得してステップＳＴ４２に進む。

ステップＳＴ４２で撮像装置２０-2は、位置関係の変化度合いを算出する。撮像装置２０-2は、生成した撮像画像ＰＧ-2と撮像装置２０-1から取得した撮像画像ＰＧ-1とで、同一被写体の画像が重なるように空間的な位置合わせを行う。また、撮像装置２０-2は、生成した撮像画像ＰＧ-2と撮像装置２０-1から取得した撮像画像ＰＧ-1との位置関係の変化量が変化判別閾値を超えたか否かを例えば観測期間分の画像について判別して、変化量が変化判別閾値を超えたフレーム数の割合を変化度合いとする。また、撮像装置２０-2は、位置関係の変化度合いの算出をＮフレーム間隔で行う。撮像装置２０-2は、このように位置関係の変化度合いを算出してステップＳＴ４３に進む。

ステップＳＴ４３で撮像装置２０-2は、位置合わせ頻度を制御する。撮像装置２０-2は、位置関係の変化度合いが大きい場合は位置合わせを行う頻度を高くして、位置関係の変化度合いが小さい場合は位置合わせを行う頻度を低くしてステップＳＴ４４に進む。

ステップＳＴ４４で撮像装置２０-2は、観測期間と観測間隔を更新する。撮像装置２０-2は、位置関係の変化度合いが大きくなるほど観測期間と観測間隔の少なくとも一方が短くなるように調整を行う。また、撮像装置２０-2は、位置関係の変化度合いが小さいくなるほど観測期間と観測間隔の少なくとも一方が長くなるように調整を行う。撮像装置２０-2は、調整後の観測期間と観測間隔で位置関係の変化度合いを算出するように設定を更新してステップＳＴ４５に進む。

ステップＳＴ４５で撮像装置２０-2は、更新後の観測期間と観測間隔を送信する。撮像装置２０-2は、更新後の観測期間と観測間隔を撮像装置２０-1へ送信してステップＳＴ４６に進む。

ステップＳＴ４６で、撮像装置２０-2は終了であるか判別する。撮像装置２０-2は、撮像が終了していない場合、または全フレームの処理が完了していないと判別した場合にステップＳＴ４１に戻り、撮像の終了または全フレームの処理が完了した場合、処理を終了する。

このように、第３の実施の形態の他の動作によれば、位置関係の変化度合いに応じて変化度合いの観測期間や観測間隔が調整されるので、観測期間や観測間隔が固定されている場合に比べて、位置関係の変化度合いに応じて最適な制御動作を行うことが可能となる。なお、第３の実施の形態の他の動作では、観測期間と観測間隔を調整する場合を例示したが、観測期間と観測間隔のいずれか一方のみを調整してもよい。

＜６．第４の実施の形態＞
複数の撮像装置で生成された撮像画像を用いてパノラマ画を生成する場合、振れに応じて画質が劣化して、複数の撮像装置で振れ量が異なると、パノラマ画の生成に用いる撮像画像は、画質差を生じた画像となってしまうおそれがある。したがって、第４の実施の形態では、パノラマ画の生成時に画質差が目立たないように画像処理を行う場合について説明する。

＜６−１．第４の実施の形態の動作＞
図２３は、振れの大きさとパノラマ画の生成に用いる画像の画質の関係を説明するための図である。

撮像装置２０-2は、各撮像装置で生成された例えばフレーム毎の撮像画像または各撮像装置のセンサ部２１１で生成されたセンサ信号に基づいて振れ量を算出する。ここで、振れ量が小さい場合、図２３の（ａ）に示すように撮像画像ＰＧに対して画像生成領域ＡＰを広くすることが可能である。また、図２３の（ｂ）に示すようにレンズ歪みの少ない中央部分を切り出すことが可能である。したがって、振れ量が少ない場合、パノラマ画の生成に用いる画像生成領域ＡＰの画像は、図２３の（ｃ）に示すように画質を良好に保つことができる。

振れ量が大きい場合、図２３の（ｄ）に示すように撮像画像ＰＧに対して画像生成領域ＡＰを狭くする必要がある。また、図２３の（ｅ）に示すようにレンズ歪みの多い部分を切り出さなければならない場合も生じる。したがって、振れ量が大きい場合、パノラマ画の生成に用いる画像生成領域ＡＰの画像は、図２３の（ｆ）に示すように、画質の劣化した画像となってしまう場合がある。

このため、複数の撮像装置で振れ量が異なりパノラマ画の生成に用いる画像で画質差を生じても、画質差が目立たないようにパノラマ画を生成する。

図２４は、第４の実施の形態の動作を示すフローチャートである。ステップＳＴ５１で撮像装置２０-2は、他装置の撮像画像を取得する。撮像装置２０-2は、例えば撮像装置２０-1で生成された撮像領域ＡＲ-1の撮像画像ＰＧ-1を取得してステップＳＴ５２に進む。

ステップＳＴ５２で撮像装置２０-2は、画質差を算出する。撮像装置２０-2は、生成した撮像画像ＰＧ-2と撮像装置２０-1から取得した撮像画像ＰＧ-1との画質差を算出する。撮像装置２０-2は、撮像画像に含まれている高域成分や振れ度合い等の差を画質差として算出する。例えば撮像画像にぼけを生じると高い周波数の成分が失われることから、撮像装置２０-2は、高い周波数の成分が多く含まれている場合は高画質、高い周波数の成分があまり含まれていない場合は低画質とする。また、振れ度合いが大きいと振れによるぼけが大きく、振れ度合いが小さいとぼけが少ない。このため、撮像装置２０-2は、振れ度合いが小さい場合は高画質、振れ度合いが大きい場合は低画質とする。このように、撮像装置２０-2は、撮像画像に含まれている高域成分や振れ度合い等の差を画質差として算出してステップＳＴ５３に進む。

ステップＳＴ５３で撮像装置２０-2は、画質差に応じた合成処理を行う。撮像装置２０-2は、算出した画質差に基づき撮像画像ＰＧ-1と撮像画像ＰＧ-2の画質を揃える画質合わせ処理を行い、画質合わせ処理後の撮像画像をつなげてパノラマ画を生成する。撮像装置２０-2は、例えば高画質の撮像画像に対して低域通過フィルタ処理等を行うことで、画質を低画質の撮像画像に合わせてもよく、低画質の撮像画像に対して高画質化処理等を行うことで、画質を高画質の撮像画像に合わせてもよい。高画質化処理としては、例えばノイズ除去処理、高域強調処理、学習による高画質化画像生成処理、超解像処理等である。また、撮像装置２０-2は、高画質の撮像画像に対して画質を低下させる処理を行い、低画質の撮像画像に対して画質を高める処理を行うことで、２つの撮像画像の画質を揃えるようにしてもよい。また、撮像装置２０-2は、算出した画質差に基づき撮像画像ＰＧ-1と撮像画像ＰＧ-2との合成を制御して、画質差が目立たないようにパノラマ画を生成してもよい。撮像装置２０-2は、例えばアルファブレンディング手法を用いて２つの撮像画像をつなげる場合、ブレンドする領域の幅であるブレンド幅を画質差に応じて調整して、画質差が大きい場合はブレンド幅を広くして画質差が目立たないように撮像画像をつなげる。また、撮像装置２０-2は、画質差に応じてブレンド率の調整を行い、画質差が大きい場合は高画質の撮像画像に対する重みを多くして、高画質の撮像画像のブレンド率を高めてもよい。

このような第４の実施の形態によれば、パノラマ画の生成において、つなぎ合わせる撮像画像間で画質差を生じても、画質の差が目立たないように合成処理が行われるので、画質の違いが目立たないパノラマ画を生成することができる。

＜７．他の実施の形態＞
ところで、上述の実施の形態では、各撮像装置の画角（撮像領域を示す角度：angle of view）が等しい場合を例示しているが、画角が異なる撮像装置を用いてもよい。

図２５は、画角が異なる撮像装置を用いた場合の動作を示すフローチャートである。ステップＳＴ６１で撮像装置２０-2は、他装置の撮像画像を取得する。撮像装置２０-2は、例えば撮像装置２０-1で生成された撮像領域ＡＲ-1の撮像画像ＰＧ-1を取得してステップＳＴ６２に進む。

ステップＳＴ６２で撮像装置２０-2は、調整判別情報を取得する。撮像装置２０-2は、撮像装置２０-1から供給された撮像画像ＰＧ-1のレンズ歪みや画角を示す調整判別情報を取得する。ここで、各撮像装置は、予めキャリブレーションを行って調整判別情報を取得できるようにする。例えば、撮像装置は、テストチャート等を撮像して焦点距離毎のレンズ歪みを予め取得して記憶しておく。同様に、画角も焦点距離毎に予め算出して記憶しておく。さらに、記憶されているレンズ歪みや画角の情報から撮像時の設定に対応した情報を読み出し可能とすることで、調整判別情報を取得できるようにする。撮像装置２０-2は、調整判別情報を取得してステップＳＴ６３に進む。

ステップＳＴ６３で撮像装置２０-2は、取得した撮像画像のレンズ歪み補正を行う。撮像装置２０-2は、ステップＳＴ６２で取得した調整判別情報に基づき、ステップＳＴ６１で撮像装置２０-1から取得した撮像画像ＰＧ-1のレンズ歪みを補正してステップＳＴ６４に進む。

ステップＳＴ６４で撮像装置２０-2は、生成した撮像画像のレンズ歪み補正を行う。撮像装置２０-2は、撮像画像ＰＧ-2を生成したときの調整判別情報に基づき、生成した撮像画像ＰＧ-2のレンズ歪みを補正してステップＳＴ６５に進む。

ステップＳＴ６５で撮像装置２０-2は、拡縮比率を算出する。撮像装置２０-2は、撮像画像ＰＧ-1に関する調整判別情報で示された画角の情報と、撮像画像ＰＧ-2に関する調整判別情報で示された画角の情報から、撮像画像ＰＧ-2の画角に対する撮像画像ＰＧ-1の画角の比率を拡縮比率として算出してステップＳＴ６６に進む。なお、拡縮比率の算出は、取得した調整判別情報を用いる場合に限られない。例えば拡縮を変えた撮像画像ＰＧ-1を複数用意するようにして、撮像画像ＰＧ-2との重複領域における画素間の誤差の絶対値和が最も少ない撮像画像ＰＧ-1ｗｐ判別して拡縮比率を決定するようにしてもよい。

ステップＳＴ６６で撮像装置２０-2は、拡縮比率が１未満であるか判別する。撮像装置２０-2は、拡縮比率が１未満すなわち撮像画像ＰＧ-2よりも撮像画像ＰＧ-1の画角が狭く被写体が大きく写っている場合はステップＳＴ６７に進む。また、撮像装置２０-2は、拡縮比率が１未満でない場合、例えば撮像画像ＰＧ-2よりも撮像画像ＰＧ-1の画角が広く被写体が小さく写っている場合はステップＳＴ６８に進む。

ステップＳＴ６７で撮像装置２０-2は、生成した撮像画像の画角拡大処理を行う。撮像装置２０-2は、生成した撮像画像ＰＧ-2を（１／拡縮比率）の割合で拡大して、撮像画像ＰＧ-1と撮像画像ＰＧ-2の画角合わせを行う。

ステップＳＴ６８で撮像装置２０-2は、取得した撮像画像の画角拡大処理を行う。撮像装置２０-2は、取得した撮像画像ＰＧ-1を拡縮比率の割合で拡大して、撮像画像ＰＧ-1と撮像画像ＰＧ-2の画角合わせを行う。

このような処理を行ったのち、撮像装置２０-2は上述のようにパノラマ画を生成する。したがって、画角が異なる撮像装置を用いる場合であっても、被写体のサイズを揃えてレンズ歪みの影響を除去したパノラマ画を生成することが可能となる。

また、複数の撮像装置をリグ（取付台）に固定して用いる場合、例えば図２６に示すように、リグ４０に撮像装置２０-1，２０-2が取り付けられたことにより画像の重なり量が決まる場合、取り付けに関する情報を重複識別情報として生成する。また、リグに対して撮像装置の取り付け角度が選択可能とされており、選択された取り付け角度に応じて画像の重なり量が決まる場合、取り付け角度を示す情報を重複識別情報として生成する。さらに、撮像装置をリグに取り付けることで撮像装置が所定の焦点距離に設定されて画像の重なり量が決まる場合、または撮像装置が取り付けられたリグにおいて選択された焦点距離に撮像装置が設定されて画像の重なり量が決まる場合、設定される焦点距離を示す情報を重複識別情報に含めてもよい。

このような取り付けに関する重複識別情報は、リグまたは撮像装置の何れで生成してもよい。例えばリグ４０に撮像装置２０-1，２０-2の取り付けを検出する検出部４１を設ける。検出部４１は、通信機能を用いてもよく機械的接続機構を利用してもよい。通信機能を用いる場合、接続端子や接続ケーブル等を介してリグ４０との通信を行うことで取り付けの検出を行う。また、リグ４０と近距離無線通信を行うことでリグ４０への取り付けを検出してもよい。また、機械的接続機構を用いる場合、撮像装置を固定するときに操作される操作レバーの操作位置等に基づき取り付けを検出する。なお、取り付けの検出は、リグに対する撮像装置の取り付けだけでなく、取り付け角度や焦点距離の検出等を行ってもよい。リグ４０は、通信機能を用いて撮像装置２０-2に重複識別情報を送信する。

このように、リグに対して撮像装置を取り付けることによって重複識別情報を生成する場合、撮像動作を行わなくとも画像の重なり量の判別が可能となる。したがって、例えば図８に示す動作では、他装置の撮像画像に代えて取り付けに関する重複識別情報を用いて予めステップＳＴ１からステップＳＴ３の処理を行い、事前に得られたステップＳＴ３の判別結果を用いてステップＳＴ５やステップＳＴ６の処理を行うようにしてもよい。

また、複数の撮像装置をリグに固定する場合、撮像装置２０-1，２０-2の位置関係は変動が少ない。したがって、このような場合には、位置合わせ頻度を低くしたり、位置関係の変化度合いの観測期間や観測間隔を長くして、位置合わせが不必要に行われてしまうことを防止できる。

さらに、振れ補正は振れに応じて画像生成領域の位置を調整する電子式振れ補正に場合に限らず光学式振れ補正であってもよい。例えば、光学式振れ補正としてイメージセンサシフト方式を用いた場合、イメージセンサシフト方式は、イメージセンサの位置を振れに応じて移動させる方式であることから、画像生成領域を移動する場合と同様な処理を行うことができる。また、例えば、光学式振れ補正としてレンズシフト方式を用いた場合、フォーカス調整用のレンズと振れ補正用のレンズが設けられる。レンズシフト方式では、振れを補正するために光軸の位置が、フォーカス調整用のレンズと振れ補正用のレンズの端部側と通る場合があり、光軸の位置によっては撮像画像のレンズ歪が大きくなる。また、イメージセンサシフト方式の場合も、イメージセンサが光軸から離れた位置に移動するとレンズ歪が大きくなる。このような場合、上述の第４の実施の形態を適用することで、画質差の少ないパノラマ画を生成できる。

また、上述の実施の形態において、動作を示すフローチャートの説明では、撮像システム１０を図１の（ｂ）に示す構成としたが、撮像システム１０は、図１の（ｃ）乃至（ｆ）に示す構成であってもよい。この場合、ステップで行う処理を実行できる機能を有した撮像装置または情報処理装置が、ステップ順にステップの処理を実行すればよい。例えば、撮像システム１０を図１の（ｃ）の構成とした場合、撮像装置で生成されたパノラマ化情報に基づき外部機器で重なり量の算出、外部機器で撮像装置の振れ補正の制限、外部機器でパノラマ画の生成等の処理を行うようにする。また、撮像システム１０を図１の（ｄ）の構成とした場合、情報処理装置で重なり量の算出、撮像装置の振れ補正の制限、パノラマ画の等の処理を行ってもよい。

また、上述の実施の形態では、撮像装置２０-2で振れ補正の制御とパノラマ画の生成を行う場合について説明したが、上述のように振れ補正の制御やパノラマ画の生成等を情報処理装置５０で行うようにしてもよい。

さらに、この技術は、撮像部の振れを生じる環境下で広画角の画像を必要とする分野等に広く活用できる。例えば車両に取り付ければ、走行中に振動等が加わっても良好なパノラマ画を生成することが可能となり、運転中に周囲の状況を確認できる。また、自動運転等を行う場合にも周囲の状況を取得できるようになる。また、建設機器や農業機器等に取り付ければ、作業中に振動等が加わっても良好なパノラマ画を生成することが可能となることから、周囲の状況を確認しながら正しく作業を行うことができる。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。

また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） パノラマ画の生成に用いられる第１の撮像画像と第２の撮像画像の位置関係に応じて、前記第１の撮像画像と前記第２の撮像画像の少なくとも一方に対しての振れ補正に関する制御を行う制御部を備える画像処理装置。
（２） 前記制御部は、前記振れ補正に関する制御として、前記位置関係に応じて前記振れ補正を制限する（１）に記載の画像処理装置。
（３） 前記位置関係は重なり量である（２）に記載の画像処理装置。
（４） 前記制御部は、前記重なり量が振れ補正制限閾値以下である場合に前記振れ補正を制限する（３）に記載の画像処理装置。
（５） 前記制御部は、イメージセンサの有効画素領域内に設けられる画像生成領域を、前記重なり量が少なくなるに伴い大きくすることで振れ補正を制限する（３）または（４）に記載の画像処理装置。
（６） 前記制御部は、前記振れ補正に関する制限として前記振れ補正を停止する（２）記載の画像処理装置。
（７） ユーザに対して通知を行う通知処理部をさらに備え、
前記制御部は、前記振れ補正に関する制限として、前記通知処理部を介して前記振れ補正の設定に関する通知を行う（２）乃至（５）の何れかに記載の画像処理装置。
（８） 前記制御部は、前記重なり量が処理順設定閾値以下である場合に前記第１の撮像画像の画像生成領域と前記第２の撮像画像の画像生成領域との位置合わせの実行、前記振れ補正の実行の順で制御を行い、前記重なり量が前記処理順設定閾値より多い場合に前記振れ補正の実行、前記位置合わせの実行の順で制御を行う（３）に記載の画像処理装置。
（９） 前記制御部は、前記第１の撮像画像と前記第２の撮像画像の位置合わせを、前記第１の撮像画像と前記第２の撮像画像との位置関係の変化度合いに応じて行う（１）乃至（８）の何れかに記載の画像処理装置。
（１０） 前記制御部は、前記変化度合いに応じて、前記変化度合いの観測期間または観測間隔を制御する（９）に記載の画像処理装置。
（１１） 前記制御部は、前記変化度合いが大きくなるに伴い前記観測期間または前記観測間隔を短くして、前記変化度合いが小さくなるに伴い前記観測期間または前記観測間隔を長くする（１０）に記載の画像処理装置。
（１２） 前記第１の撮像画像を生成する第１の撮像部と前記第２の撮像画像を生成する第２の撮像部の取付状態に応じて前記位置合わせの頻度を制御する（９）に記載の画像処理装置。
（１３） 前記第１の撮像画像の画像生成領域と前記第２の撮像画像の画像生成領域とからパノラマ画を生成するパノラマ画生成部をさらに備える（１）乃至（１２）の何れかに記載の画像処理装置。
（１４） 前記パノラマ画生成部は、前記第１の撮像画像の画像生成領域と前記第２の撮像画像の画像生成領域の画質差を調整した上で、前記パノラマ画を生成する（１３）に記載の画像処理装置。
（１５） 前記パノラマ画生成部は、レンズ歪みが補正された前記第１の撮像画像の画像生成領域と前記第２の撮像画像の前記画像生成領域とを合成する（１３）または（１４）の何れかに記載の画像処理装置。
（１６） 前記パノラマ画生成部は、前記第１の撮像画像と前記第２の撮像画像の画角合わせをした上で前記パノラマ画を生成する（１３）乃至（１５）の何れかに記載の画像処理装置。

さらに、本技術の画像処理装置は以下のような構成も取ることができる。
第１及び第２の撮像画像の合成処理によりパノラマ画像を生成するため、前記第１の撮像画像と前記第２の撮像画像の生成に関する制御として、前記第１の撮像画像を生成する撮像装置と前記第２の撮像画像を生成する第２の撮像装置の振れの違いに応じて、前記撮像装置の少なくとも一方の振れ補正機能に関する制御を行う制御部を備える画像処理装置。

パノラマ画像の生成に用いられる第１の撮像画像の第１の撮像装置での生成と前記パノラマ画像の生成に用いられる第２の撮像画像の第２の撮像装置での生成に関する制御として、前記第１及び第２の撮像装置の少なくとも一方の振れ補正機能を、前記第１の撮像装置と前記第２の撮像装置の振れの違いに応じて制御する制御部を備える画像処理装置。

この技術の画像処理装置、画像処理方法、プログラムおよび撮像システムでは、パノラマ画の生成に用いられる第１の撮像画像と第２の撮像画像の位置関係に応じて、第１の撮像画像と第２の撮像画像の少なくとも一方に対しての振れ補正に関する制御が行われる。このため、第１の撮像画像と第２の撮像画像を位置関係に応じた振れ補正に関する制御によって、第１の撮像画像と第２の撮像画像では同一被写体の撮像画像が重なり合う領域を確保できるようになり、パノラマ画の生成に用いる画像を容易に生成できる。したがって、撮像部の振れが生じる環境下で広画角の画像を必要とする分野等に広く活用できる。

１０・・・撮像システム
２０，２０-1〜２０-8・・・撮像装置
３０・・・記録媒体
４０・・・リグ
４１・・・取付状態検出部
５０，５０-1，５０-2・・・情報処理装置
２００・・・レンズユニット
２０１・・・駆動部
２０２・・・イメージセンサ部
２０３・・・ＡＦＥ部
２０４・・・画像処理部
２０５・・・表示部
２０６・・・音声入出力部
２０７，５０３・・・通信部
２０８・・・記録媒体処理部
２０９，５０６・・・バス
２１１・・・センサ部
２１２・・・ユーザインタフェース部
２２０，５０５・・・制御部
５０１・・・入力部
５０２・・・出力部
５０４・・・記憶部

Claims (20)

1. パノラマ画の生成のための画像であって、第１の撮像部で生成された第１の撮像画像と前記第１の撮像部と異なる第２の撮像部で生成された第２の撮像画像との重なり量に応じて、前記第１の撮像画像に対する振れ補正と前記第２の撮像画像に対する振れ補正のうちの少なくとも一方の振れ補正に関する制御を行う制御部を
   備える画像処理装置。
2. 前記制御部は、前記振れ補正に関する制御として、前記重なり量に応じて前記振れ補正を制限する
   請求項１に記載の画像処理装置。
3. 前記制御部は、前記重なり量が振れ補正制限閾値以下である場合に前記振れ補正を制限する
   請求項２に記載の画像処理装置。
4. 前記制御部は、イメージセンサの有効画素領域内に設けられる画像生成領域を、前記重なり量が少なくなるに伴い大きくすることで振れ補正を制限する
   請求項２または請求項３に記載の画像処理装置。
5. 前記制御部は、前記振れ補正に関する制限として前記振れ補正を停止する
   請求項２に記載の画像処理装置。
6. ユーザに対して通知を行う通知処理部をさらに備え、
   前記制御部は、前記振れ補正に関する制限として、前記通知処理部を介して前記振れ補正の設定に関する通知を行う
   請求項２乃至請求項４の何れかに記載の画像処理装置。
7. 前記制御部は、前記重なり量が処理順設定閾値以下である場合に前記第１の撮像画像の画像生成領域と前記第２の撮像画像の画像生成領域との位置合わせの実行、前記振れ補正の実行の順で制御を行い、前記重なり量が前記処理順設定閾値より多い場合に前記振れ補正の実行、前記位置合わせの実行の順で制御を行う
   請求項１に記載の画像処理装置。
8. 前記制御部は、前記第１の撮像画像の画像生成領域と前記第２の撮像画像の画像生成領域の位置合わせを、前記第１の撮像画像と前記第２の撮像画像との前記重なり量の変化度合いに応じて行う
   請求項１乃至請求項７の何れかに記載の画像処理装置。
9. 前記制御部は、前記変化度合いに応じて、前記変化度合いの観測期間または観測間隔を制御する
   請求項８に記載の画像処理装置。
10. 前記制御部は、前記変化度合いが大きくなるに伴い前記観測期間または前記観測間隔を短くして、前記変化度合いが小さくなるに伴い前記観測期間または前記観測間隔を長くする
    請求項９に記載の画像処理装置。
11. 前記第１の撮像画像を生成する第１の撮像部と前記第２の撮像画像を生成する第２の撮像部の取付状態に応じて前記位置合わせの頻度を制御する
    請求項８に記載の画像処理装置。
12. 前記第１の撮像画像の画像生成領域と前記第２の撮像画像の画像生成領域とからパノラマ画を生成するパノラマ画生成部をさらに備える
    請求項１乃至請求項１１の何れかに記載の画像処理装置。
13. 前記パノラマ画生成部は、前記第１の撮像画像の画像生成領域と前記第２の撮像画像の画像生成領域の画質差を調整した上で、前記パノラマ画を生成する
    請求項１２に記載の画像処理装置。
14. 前記パノラマ画生成部は、レンズ歪みが補正された前記第１の撮像画像の画像生成領域と前記第２の撮像画像の画像生成領域とを合成する
    請求項１２または請求項１３に記載の画像処理装置。
15. 前記パノラマ画生成部は、前記第１の撮像画像と前記第２の撮像画像の画角合わせをした上で前記パノラマ画を生成する
    請求項１２乃至請求項１４の何れかに記載の画像処理装置。
16. パノラマ画の生成のための画像であって、第１の撮像部で生成された第１の撮像画像と前記第１の撮像部と異なる第２の撮像部で生成された第２の撮像画像との重なり量に応じて、前記第１の撮像画像に対する振れ補正と前記第２の撮像画像に対する振れ補正のうちの少なくとも一方の振れ補正に関する制御を制御部で行うことを
    含む画像処理方法。
17. パノラマ画の生成のための画像であって、第１の撮像部で生成された第１の撮像画像と前記第１の撮像部と異なる第２の撮像部で生成された第２の撮像画像との重なり量に応じて、前記第１の撮像画像に対する振れ補正と前記第２の撮像画像に対する振れ補正のうちの少なくとも一方の振れ補正に関する制御を行う手順
    をコンピュータで実行させるプログラム。
18. パノラマ画の生成のための第１の撮像画像を生成する第１の撮像部と、
    前記パノラマ画の生成のための第２の撮像画像を生成する第２の撮像部と、
    前記第１の撮像部で生成された第１の撮像画像と前記第１の撮像部と異なる第２の撮像部で生成された第２の撮像画像との重なり量に応じて、前記第１の撮像画像に対する振れ補正と前記第２の撮像画像に対する振れ補正のうちの少なくとも一方の振れ補正に関する制御を行う制御部と
    を備える撮像システム。
19. パノラマ画の生成のための画像である第１の撮像装置で生成される第１の撮像画像と前記第１の撮像装置と異なる第２の撮像装置で生成される第２の撮像画像の生成に関する制御として、前記パノラマ画の生成における前記第１の撮像画像と前記第２の撮像画像の重なり量に応じて、前記第１の撮像装置と前記第２の撮像装置の少なくとも一方の振れ補正機能に関する制御を行う制御部を
    備える画像処理装置。
20. パノラマ画の生成のための画像である第１の撮像装置で生成される第１の撮像画像と前記第１の撮像装置と異なる第２の撮像装置で生成される第２の撮像画像の生成に関する制御として、前記第１及び第２の撮像装置の少なくとも一方の振れ補正機能を、前記パノラマ画の生成における前記第１の撮像画像と前記第２の撮像画像の重なり量に応じて制御する制御部を
    備える画像処理装置。

Images