JP6433154B2

JP6433154B2 - 画像処理装置および撮像装置

Info

Publication number: JP6433154B2
Application number: JP2014106289A
Authority: JP
Inventors: 彰太山口
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-05-22
Filing date: 2014-05-22
Publication date: 2018-12-05
Anticipated expiration: 2034-05-22
Also published as: JP2015222864A

Description

本発明は、特に、手振れ補正された画像を得るために用いて好適な画像処理装置、撮像装置、画像処理装置の制御方法及びプログラムに関する。

従来、カメラを手で持ちながら撮影する時に、手振れの影響を抑制するため、手振れの影響が小さいシャッター速度で複数枚の画像を連続して撮影し、各画像間の手振れによる位置ずれを補償して合成する電子的手振れ補正技術が提案されている。

特許文献１及び２には、予め手振れの程度を予測しておき、手振れの予測量から、所望の撮影画角よりもやや広角になるよう制御して連続撮影を行う技術が提案されている。

特開２００５−７９８４１号公報特開２００７−１４２５５６号公報

しかしながら、従来技術においては、手振れの程度によって、撮影後に生成される合成画像の画角が不明なため、撮影中あるいは撮影直後に所望の画角で最終画像である合成画像が生成されるかどうかがわからない。

本発明は前述の問題点に鑑み、所望の画角で手振れ補正による画質的劣化を防止することを確認できるようにすることを目的としている。

本発明に係る画像処理装置は、複数の撮像画像の間の位置ずれを算出する位置ずれ算出手段と、前記位置ずれ算出手段によって算出された位置ずれに基づいて、合成画像の画角を算出する画角算出手段と、前記複数の撮像画像を合成して、前記画角算出手段によって算出された画角に対応する前記合成画像を生成する合成手段と、前記合成手段によって合成された合成画像を記録媒体に記録する記録手段と、複数の撮像画像の間の位置ずれを、前記位置ずれ算出手段よりも簡易的に算出する簡易位置ずれ算出手段と、前記簡易位置ずれ算出手段によって算出された位置ずれに基づいた画角の撮像画像を表示部に表示する表示制御手段と、前記複数の撮像画像の中の１つを、前記簡易位置ずれ算出手段によって算出された位置ずれに基づいた画角に切り取る切り取り手段と、を有し、前記表示制御手段は、前記切り取り手段によって切り取られた撮像画像を前記表示部に表示することを特徴とする。

本発明によれば、所望の画角で手振れ補正による画質的劣化を防止することを確認することができる。

第１の実施形態における撮像装置の構成例を示すブロック図である。第２の実施形態における撮像システムの構成例を示すブロック図である。撮像装置における処理を簡易的に説明するための図である。撮像装置における簡易位置ずれ検出部の動作を説明するための図である。撮像装置における合成後画角算出部の動作を説明するための図である。合成前及び合成後の画像の座標を示す図である。位置合わせ部による位置合わせ処理手順の一例を示すフローチャートである。局所的に合成画像のノイズレベル等が変化する様子を説明するための図である。

（第１の実施形態）
以下、本発明の第１の実施形態について、図面を参照しながら説明する。
図１Ａは、本実施形態における撮像装置１００の構成例を示すブロック図である。本実施形態では、比較的手振れの影響を受けないシャッター速度で撮影した複数枚の画像を合成することにより、電子的に手振れが補正された画像を得ることを目的とする。以下、図１Ａを参照しながら各構成について詳細に説明する。

撮像条件決定部１０２は、被写体を撮像する前に、複数枚撮影時の撮像条件を決定する。ここで、撮像条件とは、焦点位置および露出条件を指す。以下、特に、シャッター速度および感度の設定について説明する。

本実施形態における撮影枚数をＮ枚とし、通常の１枚撮影する場合のシャッター速度をＴとし、撮影感度（ＩＳＯ値）をＳとすると、連写撮影時の各画像のシャッター速度Ｔ'及び撮影感度Ｓ'は以下の式（１）及び式（２）により算出される。
Ｔ'＝Ｔ／Ｎ・・・（１）
Ｓ'＝Ｓ×Ｎ・・・（２）

式（１）より、シャッター速度Ｔ'は通常の１枚撮影のシャッター速度Ｔに比べて短くなるため、撮影される各画像は、１枚撮影に比べて手振れの影響が相対的に小さくなる。一方、１枚撮影に比べて露光量が小さくなり、撮影画像全体が暗くなるため、式（２）に示すように、撮影感度を上げることによって信号レベルを適正露出相当に制御する。

撮像部１０３は、撮像条件決定部１０２で設定された撮像条件に従い、所定枚数の画像を連続的に連写撮影する。連写撮影された各撮影画像は、簡易現像部１０４及び簡易位置ずれ検出部１０５の処理用として、一時的に撮像装置１００内の不図示のメモリに記録される。

次に、簡易現像部１０４、簡易位置ずれ検出部１０５、合成後画角算出部１０６、画角調整部１０７及び画像表示部１０８の構成について説明する。前提として、撮像装置１００には、撮影した画像を簡易的に確認するための画像表示部１０８が設けられている。前述のように、撮影動作とは別に、複数枚の画像の合成処理を行うため、撮影を行った直後のタイミングでは、基本的に合成画像は存在しないが、撮影者が撮影した画像をすぐに確認できるよう画像表示部１０８には、撮影画像がプレビュー表示される。本実施形態の撮像装置１００は、表示用の画像を簡易的に生成して画像表示部１０８に表示する。以下、簡易的に生成された表示用の画像のことを、単に表示用画像と呼ぶ。

＜簡易現像部１０４＞
簡易現像部１０４は、複数枚の画像の中の所定画像を簡易的に現像する。ここで、所定画像とは、複数枚画像のうち、時間的に最も早く撮影された１枚目の画像とする。その理由としては、シャッターレリーズから撮像までのタイミングが最も早いため、撮影者が意図した画角に最も近い画像であると考えられるからである。また、現像処理とは、主にベイヤー信号から輝度信号及び色差信号を算出することであり、さらにノイズリダクション処理をはじめとした所定の信号処理や、画像の縮小処理を行うことである。

一方、表示用画像は、撮影者に違和感を与えないよう、記録用の合成画像の画質になるべく近いほうが好ましい。このため、ノイズリダクション処理のパラメータは、画像合成による効果を見込んで設定する。本実施形態における合成処理では加算平均を用いる。加算平均により画像の暗電流ノイズ成分はＮの平方根の逆数となることが一般的に知られている。従って、撮影感度に対し、合成によるノイズの減少を見込んだパラメータでノイズリダクション処理を行う。例えば、Ｎ＝４の場合には、ランダムノイズ成分が１／２となるため、撮影感度よりも１段分強い効果のパラメータを設定する。また、画像の縮小処理に関しては、縮小後の画像サイズが、おおよそ２Ｍピクセル程度となるように縮小する。

次に、簡易位置ずれ検出部１０５、合成後画角算出部１０６及び画角調整部１０７の処理について説明する。図２に示すように、本実施形態における撮像装置１００では、複数枚の画像から合成画像を生成するとともに、１枚目の画像からプレビュー用の表示用画像を生成する。合成画像を生成する際には、図７に示すように、位置合わせ時の画像変形により、特に画像周辺部に画質的課題が生じるため、周辺部をトリミングして合成画像を生成する。

一方、表示用画像では、１枚目の画角がそのまま維持されるため、簡易的な表示用画像の画角の方が広くなってしまい、後から合成画像を確認した撮影者に違和感を与えてしまう。そこで、予め合成画像における画角の削減分を見込み、表示用画像をトリミングする。なお、画角の削減分とは手振れの大きさであるため、表示用画像を生成する際にも、簡易的に手振れの大きさを求める必要がある。

＜簡易位置ずれ検出部１０５＞
図３は、簡易位置ずれ検出部１０５の動作を説明するための図である。以下、図３を参照しながら、簡易位置ずれ検出部１０５の動作について説明する。
まず、位置ずれ検出の基準となる画像を決定する。本実施形態では、図３に示すように、表示用画像として使用される１枚目の撮影画像を基準画像として設定し、基準画像に対するその他の画像の位置ずれを算出する。

次に、位置ずれを算出する方法について説明する。本実施形態では、基準画像以外の、特にｍ枚目の撮影画像（ｍ≧２）に対する位置ずれを検出する例について説明する。まず、図３に示すように、画角内の所定の小領域毎に、基準画像に対する動きベクトルを算出する。動きベクトルの算出方法は、例えばパターンマッチング処理などが挙げられる。また、小領域の個数や配置についても特に限定はしないが、本処理は簡易処理であるため、後に説明する位置合わせ部１５１による位置合わせ処理よりも少ない数の動きベクトルを用いる。本実施形態では、図３に示すように、画面内で計２０個の動きベクトルを算出する。

次に、算出した動きベクトルの中から、アウトライヤーベクトルを除去する。ここで、アウトライヤーベクトルとは、手振れを表さない動きベクトルのことである。具体的には、局所的な移動体の影響を受けていたり、パターンマッチングが失敗していたりするベクトルのことである。アウトライヤーベクトルを除去する手法は多々知られているが、例えば、ランダムに所定個数の動きベクトルを選択し、動きベクトルの表す動きとは異なる動きベクトルを除外するＲＡＮＳＡＣ法が挙げられる。また、ジャイロセンサーや加速度センサーなど、カメラの動きを検出するセンサー情報を同時に取得している場合は、センサーの示す動きと大きく異なる動きベクトルをアウトライヤーベクトルと定義してもよい。

次に、アウトライヤーベクトルを除去し、残存している動きベクトルからアフィン変換係数を算出する。このアフィン係数が、手振れを表す動き情報となる。アフィン係数の算出方法としては、例えば最小二乗法を用い、残存ベクトルに対する誤差の二乗和が最小となるようなアフィン係数を算出する方法が挙げられる。また、他に手振れを表す動き情報として、射影変換係数が挙げられるが、最小二乗法での演算が複雑であり処理時間を要することと、未知数が多いため、ある程度以上の個数の動きベクトルを入力しないと不安定な結果が算出される可能性がある。このことから、簡易処理として、本実施形態ではアフィン係数を使用する。

以上が、簡易位置ずれ検出部１０５の動作であり、簡易位置ずれ検出部１０５から出力する情報として、基準画像以外の各撮影画像に対する手振れを表すアフィン係数を得る。

＜合成後画角算出部１０６＞
図４は、合成後画角算出部１０６の動作を説明するための図であり、図５は、画像の四隅座標を示す図である。以下、図４および図５を参照しながら、合成後画角算出部１０６の動作について説明する。

まず、図４に示すように、ｍ枚目の撮影画像に対応するアフィン係数Ａ_mを用いて、ｍ枚目の画像の四隅座標のみを座標変換する。ここで、本処理の目的が合成画像の画角（以下、合成後画角）、つまり四隅座標を求めることであり、座標変換後の四隅座標があれば合成後画角の算出が可能であるため、本実施形態では四隅座標のみを座標変換する。

次に、ｍ枚目の撮影画像との合成による合成後画角の始点及び終点の座標をそれぞれＰ_sm，Ｐ_emとする。そして、座標Ｐ_sm，Ｐ_emを、１枚目の画像（基準画像）の始点の座標Ｐ_s1及び終点の座標Ｐ_e1と、ｍ枚目の撮影画像の座標変形後の四隅の座標Ｐ_m1，Ｐ_m2，Ｐ_m3，Ｐ_m4とから算出する。

座標Ｐ_m1，Ｐ_m2，Ｐ_m3，Ｐ_m4が図４に示すような位置関係の場合、例えば座標Ｐ_smのｘ座標は、座標Ｐ_m1，Ｐ_m2および座標Ｐ_s1のｘ座標のうち、最も画角の内側にある座標、つまり、最大となる座標値を選択する。このように、四隅の夫々において、画角の最も内側にある座標を選択するので、各座標値は、図５に示す表のとおりとなる。

上記の処理により、ｍ枚目の撮影画像と合成した際の合成後画角の始点Ｐ_sm及び終点Ｐ_emの座標を算出することができ、座標変換された複数の撮像画像に共通する部分に内接する矩形領域を求めることができる。以上の処理を２枚目〜Ｎ枚目の画像に対して繰り返すことにより、始点及び終点が夫々（Ｎ−１）個ずつ算出される。その後、算出された始点及び終点の座標の中から、同様に最も内側の座標を選択することにより、最終的な合成後画角の始点の座標Ｐ_s及び終点の座標Ｐ_eを算出する。

次に、画角調整部１０７は、算出した合成後画角の座標に従い、１枚目の簡易現像された撮影画像をトリミングする。そして、トリミングされた撮影画像が表示用画像となり、画像表示部１０８に表示用画像をプレビュー表示する表示制御を行う。

次に、現像部１５０、位置合わせ部１５１及び合成部１５２の処理について説明する。
まず、現像部１５０は、連写撮影された複数枚の撮影画像をそれぞれ現像する。現像部１５０は、簡易現像部１０４とは異なり、画像の縮小処理は行わず、また、ノイズリダクション処理のパラメータも撮影感度に準じるものとする。

＜位置合わせ部１５１＞
次に、現像部１５０において現像処理を行った複数枚の撮影画像に対し、位置合わせ部１５１は、位置合わせ処理を行う。図６は、位置合わせ部１５１による位置合わせ処理手順の一例を示すフローチャートである。以下、図６を参照しながら、位置合わせ部１５１の動作について説明する。

現像部１５０は、簡易位置ずれ検出部１０５と同様に、１枚目の画像を基準画像とし、基準画像に対してｍ枚目の撮影画像の位置合わせ処理を行う。まず、ステップＳ６０１において、ｍの初期値としてｍ＝２をセットする。

次に、ステップＳ６０２において、基準画像及びｍ枚目画像の動きベクトルを検出する。この処理は、前述の簡易位置ずれ検出部１０５と同様に、撮影画像内の所定の複数の小領域における動きベクトルを算出する。但し、処理速度を優先していた簡易位置ずれ検出部１０５の処理と比較して、本処理では位置合わせの性能を優先するため、より多くの動きベクトルを検出することが望ましい。

次に、ステップＳ６０３において、手振れを表す動きベクトルを抽出する。この処理に関しても、前述の簡易位置ずれ検出部１０５と同様に、検出した複数の動きベクトルからアウトライヤーベクトルを除去するが、本処理では位置合わせの性能を重視して、新たな処理を追加してもよい。例えば、テンプレートマッチング時に算出した評価値マップを使用し、動きベクトルの信頼度を判定するといった処理などが挙げられる。

次に、ステップＳ６０４において、抽出した動きベクトルから、射影変換係数を算出する。算出方法としては、最小二乗法を用いる。さらに、ステップＳ６０５において、算出した射影変換係数を用いて、ｍ枚目の撮影画像を変形処理する。

続いてステップＳ６０６において、ｍ＝Ｎ（Ｎ：撮影枚数）に達したか否かを判定する。この判定の結果、ｍ＝Ｎに達した場合は、位置合わせ処理を終了する。一方、ｍ＝Ｎに達していない場合は、ステップＳ６０７において、ｍの値をインクリメントさせ、ステップＳ６０２に戻って処理を繰り返す。以上のような位置合わせ部１５１の動作により、基準画像に位置が合うように変形された撮影画像が得られる。

次に、合成部１５２は、位置合わせ処理が施された複数枚の撮影画像を合成する。この合成処理においては、加算平均処理を行う。また、前述の変形処理により、画像の周辺部では合成枚数がばらつくため、周辺部をトリミング処理する。トリミング処理を行う座標の算出方法は前述の合成後画角算出部１０６の処理と同様である。

最後に、画像記録部１５３は、合成画像を不図示の記録媒体に記録する。記録媒体は、撮像装置１００の内部メモリやメディアカードなどが想定される。

以上のように本実施形態によれば、撮像装置１００にプレビュー表示する簡易現像された撮影画像に対しても、合成画像のトリミング分を見込んで画角の調整を行う。このため、所望の画角で最終画像である合成画像が生成されるかどうかを確認することができ、プレビュー画像と合成画像とで画角が異なることにより、撮影者に与える違和感の低減も期待できる。

なお、本実施形態では、連写撮影が行われた後に位置ずれ量を算出した例について説明したが、連写撮影が行われている間に、位置ずれ量を順次算出するようにしてもよい。例えば、３枚目の撮像画像を撮影している間に、１枚目の撮像画像と２枚目の撮像画像とを用いて動きベクトルを算出し、位置ずれ量を算出してもよい。これにより、連写撮影が行われている間に、画像表示部１０８に表示用画像をプレビュー表示するようにしてもよい。具体的には、合成後画角算出部１０６は、順次算出された位置ずれ量から合成後の画角を順次算出し、画角調整部１０７は、１枚目の撮像画像を算出された画角にトリミングし、画像表示部１０８に表示する。このように、位置ずれ量が算出されるたびに合成後の画角が変化するため、合成後の画角が変化するたびに画像表示部１０８に表示する表示用画像を差し替えるようにしてもよい。

（第２の実施形態）
第１の実施形態では、被写体の撮像から現像、合成、記録処理まで撮像装置内で行っていたが、高速に連写する場合など、撮像装置内では、後段の現像処理、合成処理が間に合わない場合も考えられる。そこで第２の実施形態では、撮像装置は表示用の簡易現像回路と記録処理を行う記録処理部を有し、記録用画像の現像処理や合成処理は撮像装置と接続される画像処理装置である本現像装置に行わせることを特徴とする。

図１Ｂは、第２の実施形態における撮像システムの構成例を示すブロック図である。以下、図１Ｂを参照しながら各構成について詳細に説明する。

撮像装置１０１は、主に被写体を撮像したり、撮影者に対して撮像画像を表示したり、合成後の画像を記録したりする。また、本現像装置１０９は、撮像装置１０１で撮影された複数枚の画像の相対的な位置ずれを補正し、合成処理を行う。ここで、本現像装置１０９は、撮像装置１０１とは物理的に異なる装置でもよく、同じ装置でもよい。前者の場合は、撮像装置１０１で撮影した複数枚の画像を本現像装置１０９に送信して、本現像装置１０９で合成処理を行う。一方、後者の場合は、撮像装置１０１で撮影した複数枚の画像を一旦記録しておき、撮影が行われていないタイミングで合成処理を行う。もしくは、合成処理に特化したＣＰＵを別途備えるようにして、撮影動作と並行して合成処理を行う。

このようなシステム構成において、多くの処理時間を要する合成処理を撮影動作とは分けて行うことにより、合成処理によって撮影動作を一定時間停止しないようにすることができる。したがって、撮影者が次回のシャッターチャンスを逃す可能性を低減させることができる。本実施形態では、本現像装置１０９は撮像装置１０１とは異なる装置であるものとして説明する。

まず、撮像装置１０１の各構成について、図１Ａに示す撮像装置１００と重複する構成については説明を省略し、第１の実施形態と異なる点について説明する。

撮像部１０３は、撮像条件決定部１０２で設定された撮像条件に従い、所定枚数の画像を連続的に連写撮影する。連写撮影された各撮影画像は、順次、通信部１１５により本現像装置１０９に送信される。送信手段としては、例えばインターネット等のネットワークを使用した方法などが挙げられる。また、各画像は、簡易現像部１０４及び簡易位置ずれ検出部１０５の処理用として、一時的に撮像装置１０１内の不図示のメモリに記録される。

次に、本現像装置１０９における現像部１１０、位置合わせ部１１１及び合成部１１２の処理について説明する。
まず、撮像装置１０１から連写撮影された各撮影画像が通信部１１６を介して入力されると、現像部１１０は、入力された複数枚の撮影画像をそれぞれ現像する。現像部１１０、位置合わせ部１１１及び合成部１１２は、それぞれ図１Ａに示した現像部１５０、位置合わせ部１５１及び合成部１５２と同様の処理を行う。

最後に、通信部１１６により合成画像を撮像装置１０１に送信し、撮像装置１０１側の画像記録部１１４は、通信部１１５を介して受信した合成画像を不図示の記録媒体に記録する。記録媒体は、撮像装置１０１の内部メモリやメディアカードなどが想定される。また、本現像装置１０９内の画像記録部１１３も合成画像を不図示の記録媒体に記録しておいてもよい。

以上説明したように、本実施形態に示す撮像システムによれば、複数枚の撮影画像の合成処理を撮影処理とは別の装置、もしくは別のタイミングで行うことにより、合成処理中にシャッターチャンスを逃すという問題を解決できる。さらに、位置合わせのための画像変形に起因して、周辺部で合成枚数がばらつくことによって局所的に画質劣化が発生する問題に対しては、周辺部のトリミングを行う。このとき、撮像装置１０１にプレビュー表示する簡易現像された撮影画像に対しても、合成画像のトリミング分を見込んで画角の調整を行うため、プレビュー画像と合成画像とで画角が異なることにより、撮影者に与える違和感の低減も期待できる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００撮像装置
１０５簡易位置ずれ検出部
１０６合成後画角算出部
１０７画角調整部
１０８画像表示部
１５１位置合わせ部
１５２合成部

Claims

複数の撮像画像の間の位置ずれを算出する位置ずれ算出手段と、
前記位置ずれ算出手段によって算出された位置ずれに基づいて、合成画像の画角を算出する画角算出手段と、
前記複数の撮像画像を合成して、前記画角算出手段によって算出された画角に対応する前記合成画像を生成する合成手段と、
前記合成手段によって合成された合成画像を記録媒体に記録する記録手段と、
複数の撮像画像の間の位置ずれを、前記位置ずれ算出手段よりも簡易的に算出する簡易位置ずれ算出手段と、
前記簡易位置ずれ算出手段によって算出された位置ずれに基づいた画角の撮像画像を表示部に表示する表示制御手段と、
前記複数の撮像画像の中の１つを、前記簡易位置ずれ算出手段によって算出された位置ずれに基づいた画角に切り取る切り取り手段と、を有し、
前記表示制御手段は、前記切り取り手段によって切り取られた撮像画像を前記表示部に表示することを特徴とする画像処理装置。
前記位置ずれ算出手段は、前記複数の撮像画像の間の動きベクトルを算出することによって位置ずれを算出し、
前記簡易位置ずれ算出手段は、前記位置ずれ算出手段によって算出される動きベクトルよりも少ない数の動きベクトルを算出することによって位置ずれを算出することを特徴とする請求項１に記載の画像処理装置。
前記画角算出手段は、前記位置ずれ算出手段によって算出された位置ずれを基に前記撮像画像の四隅の座標をそれぞれ座標変換し、前記座標変換された複数の撮像画像に共通する部分に内接する矩形領域として画角を算出することを特徴とする請求項１または２に記載の画像処理装置。
複数の撮像画像の間の位置ずれを算出する位置ずれ算出手段と、
前記位置ずれ算出手段によって算出された位置ずれに基づいて、前記複数の撮像画像に共通する部分に内接する矩形領域として合成画像の画角を算出する画角算出手段と、
前記複数の撮像画像を合成して、前記画角算出手段によって算出された画角に対応する前記合成画像を生成する合成手段と、
前記複数の撮像画像の中の１つを、前記位置ずれ算出手段によって算出された位置ずれに基づいた画角に切り取る切り取り手段と、
前記切り取り手段によって切り取られた撮像画像を表示部に表示する表示制御手段と、
前記複数の撮像画像を外部に出力する出力手段とを有することを特徴とする画像処理装置。
請求項１〜３の何れか１項に記載の画像処理装置と、
前記複数の撮像画像を生成する撮像手段とを有することを特徴とする撮像装置。
前記簡易位置ずれ算出手段は、前記撮像手段により撮像画像が生成されるたびに、複数の撮像画像の間の位置ずれを算出し、
前記表示制御手段は、前記撮像手段により撮像画像が生成されるたびに算出された位置ずれに基づいた画角の撮像画像を順次前記表示部に表示することを特徴とする請求項５に記載の撮像装置。
請求項４に記載の画像処理装置と、
前記複数の撮像画像を生成する撮像手段とを有することを特徴とする撮像装置。
複数の撮像画像の間の位置ずれを算出する位置ずれ算出工程と、
前記位置ずれ算出工程において算出された位置ずれに基づいて、合成画像の画角を算出する画角算出工程と、
前記複数の撮像画像を合成して、前記画角算出工程において算出された画角に対応する前記合成画像を生成する合成工程と、
前記合成工程において合成された合成画像を記録媒体に記録する記録工程と、
複数の撮像画像の間の位置ずれを、前記位置ずれ算出工程よりも簡易的に算出する簡易位置ずれ算出工程と、
前記簡易位置ずれ算出工程において算出された位置ずれに基づいた画角の撮像画像を表示部に表示する表示制御工程と、
前記複数の撮像画像の中の１つを、前記簡易位置ずれ算出工程において算出された位置ずれに基づいた画角に切り取る切り取り工程と、を有し、
前記表示制御工程においては、前記切り取り工程において切り取られた撮像画像を前記表示部に表示することを特徴とする画像処理装置の制御方法。
複数の撮像画像の間の位置ずれを算出する位置ずれ算出工程と、
前記位置ずれ算出工程において算出された位置ずれに基づいて、前記複数の撮像画像に共通する部分に内接する矩形領域として合成画像の画角を算出する画角算出工程と、
前記複数の撮像画像を合成して、前記画角算出工程において算出された画角に対応する前記合成画像を生成する合成工程と、
前記複数の撮像画像の中の１つを、前記位置ずれ算出工程において算出された位置ずれに基づいた画角に切り取る切り取り工程と、
前記切り取り工程において切り取られた撮像画像を表示部に表示する表示制御工程と、
前記複数の撮像画像を外部に出力する出力工程とを有することを特徴とする画像処理装置の制御方法。
複数の撮像画像の間の位置ずれを算出する位置ずれ算出工程と、
前記位置ずれ算出工程において算出された位置ずれに基づいて、合成画像の画角を算出する画角算出工程と、
前記複数の撮像画像を合成して、前記画角算出工程において算出された画角に対応する前記合成画像を生成する合成工程と、
前記合成工程において合成された合成画像を記録媒体に記録する記録工程と、
複数の撮像画像の間の位置ずれを、前記位置ずれ算出工程よりも簡易的に算出する簡易位置ずれ算出工程と、
前記簡易位置ずれ算出工程において算出された位置ずれに基づいた画角の撮像画像を表示部に表示する表示制御工程と、
前記複数の撮像画像の中の１つを、前記簡易位置ずれ算出工程において算出された位置ずれに基づいた画角に切り取る切り取り工程と、をコンピュータに実行させ、
前記表示制御工程においては、前記切り取り工程において切り取られた撮像画像を前記表示部に表示することを特徴とするプログラム。
複数の撮像画像の間の位置ずれを算出する位置ずれ算出工程と、
前記位置ずれ算出工程において算出された位置ずれに基づいて、前記複数の撮像画像に共通する部分に内接する矩形領域として合成画像の画角を算出する画角算出工程と、
前記複数の撮像画像を合成して、前記画角算出工程において算出された画角に対応する前記合成画像を生成する合成工程と、
前記複数の撮像画像の中の１つを、前記位置ずれ算出工程において算出された位置ずれに基づいた画角に切り取る切り取り工程と、
前記切り取り工程において切り取られた撮像画像を表示部に表示する表示制御工程と、
前記複数の撮像画像を外部に出力する出力工程とをコンピュータに実行させることを特徴とするプログラム。