JP7209305B2 - 制御装置、制御方法、プログラム - Google Patents

Description

本発明は、画像処理装置等に関する。

高倍率のズーム撮影では、撮影された画像に手振れが目立つ場合が多い。例えばデジタルズーム（電子ズーム）によってズーム倍率を上げる場合、画像センサ（イメージセンサ）上の狭い範囲を拡大表示するため、手振れの影響がより顕著となる。例えば特許文献１には、ズーム撮影時に手振れ補正の感度を向上させるカメラシステムが開示されている。

特開２０１４－０６４３２３号公報

特許文献１に記載のカメラシステムでは、ズーム倍率を上げるほど、手振れ検出量を増加させることで手振れを軽減させている。しかし、特許文献１に記載のカメラシステムは、光学式手振れ補正を前提としており、電子式手振れ補正については言及していない。

また、特許文献１に記載のカメラシステムでは、例えば高倍率のズーム撮影時において手振れ補正を用いる場合、手振れ補正により光軸調整が行われるため、ユーザーが意図した撮影位置（構図）で撮影することが難しいという問題が生ずる。また、例えば電子式手振れ補正においても、手振れ補正により画像センサ上の撮像に利用される画素である有効画素が変動するため、同様の問題が生ずる。

本発明は上記課題を鑑みなされたものであり、その目的は、意図した構図（撮影場所）が撮影されるように支援する手法を提案することにある。

本発明の一態様によれば、像振れ補正を行うことが可能な補正手段を備え、撮像装置による撮像に基づく画像から切り出した切出領域に基づいて生成した画像を出力可能な画像処理装置は、補正手段による像振れ補正を有効化しつつ切出領域を切り出し可能な範囲に関する報知を制御する制御手段、を備える。

本発明に係る情報処理装置によれば、意図した構図が撮影されるように支援することができる、という効果が得られる。

画像処理装置の機能構成の一例を示すブロック図。 画像処理の流れの一例を示すフローチャート。 補正ベクトルとガイドインジケータの具体例を示す図。 撮像部の変位に伴う各処理後における画像の具体例を示す図。 撮像部の変位に伴う各処理後における画像の具体例を示す図。 撮像部の変位に伴う各処理後における画像の具体例を示す図。 撮像部の変位に伴うスルー画像の遷移の一例を示す図。 スマートフォンの機能構成の一例を示すブロック図。 画像撮像処理の流れの一例を示すフローチャート。 手振れ補正モード設定処理の流れの一例を示すフローチャート。 変形例におけるズーム位置インジケータの別例を示す図。 変形例における撮像部の変位に伴うスルー画像の遷移の一例を示す図。 変形例におけるガイドインジケータの別例を示す図。 記録媒体の一例を示す図。

以下、本発明を実施するための形態の一例について図面を参照して説明する。
なお、図面の説明において同一の要素には同一の符号を付して、重複する説明を省略する場合がある。
また、この実施形態に記載されている構成要素はあくまで例示であり、本発明の範囲をそれらに限定する趣旨のものではない。

［実施形態］
以下、本発明の画像処理技術、画像撮像技術等を実現するための実施形態の一例について説明する。

図１は、本実施形態の一態様に係る画像処理装置１の機能構成の一例を示すブロック図である。画像処理装置１は、画像撮像装置や画像出力装置と言ってもよい。
画像処理装置１は、例えば、事前ズーム部１１０と、手振れ補正ズーム部１４０と、表示制御部１８０とを備える。
事前ズーム部１１０は、例えば、事前切り出し部１２０と、事前超解像処理部１３０とを備える。また、手振れ補正ズーム部１４０は、例えば、電子式手振れ補正部１５０と、切り出し部１６０と、超解像処理部１７０とを備える。
これらは、例えば、画像処理装置１の不図示の処理部（処理装置）や制御部（制御装置）が有する機能部（機能ブロック）であり、ＣＰＵやＤＳＰ等のプロセッサーやＡＳＩＣ等の集積回路を有して構成される。

事前切り出し部１２０は、例えば、画像処理装置１の外部の撮像部３１０によって撮像された画像（以下、「イメージセンサ画像」と呼称する。）を入力として受け付ける。

事前切り出し部１２０は、例えば、予め設定される事前ズーム倍率と、入力されたイメージセンサ画像とに基づいて、イメージセンサ画像中心部における所定領域を切り出す機能を有する。以下では、事前切り出し部１２０によって切り出された画像を「事前切り出し画像」と呼称する。

事前超解像度処理部１３０は、例えば、入力された事前切り出し画像に対して画像解像度を向上させる超解像処理を適用し、事前ズーム画像として出力する機能を有する。
なお、事前超解像度処理部１３０は、超解像処理に加えて、画像の歪み補正処理を実行するようにしてもよい。画像の歪み補正処理としては、例えば、ローリングシャッター歪み補正処理や広角歪み補正処理等が挙げられる。

すなわち、事前ズーム部１１０は、例えば、入力されたイメージセンサ画像の中心部を所定の事前ズーム倍率（例えば、「ｐ」倍（「ｐ」は１より大きい任意の定数）に拡大した（デジタルズームした）事前ズーム画像を出力する機能を有する。

電子式手振れ補正部１５０は、例えば、複数フレームの事前ズーム画像（以下、「事前ズーム画像群」と呼称する。）を入力として受け付ける。
また、電子式手振れ補正部１５０が、例えば、画像処理装置１の外部の慣性計測部（ＩＭＵ：Inertial Measurement Unit）３２０によって取得された慣性情報を入力として加えて受け付けるようにしてもよい。

ここで、慣性情報とは、例えば、撮像部３１０の傾きや並進に関する情報であり、例えば、慣性計測部３２０における３軸ジャイロセンサにより検出された撮像部３１０の傾きや、慣性計測部３２０における加速度センサにより検出された撮像部３１０の並進に関する情報である。

電子式手振れ補正部１５０は、入力された事前ズーム画像群に基づいて、例えば、事前ズーム画像群のフレーム間におけるオプティカルフローを算出する。そして、電子式手振れ補正部１５０は、算出されたオプティカルフローおよび慣性情報の少なくとも一方に基づいて、事前ズーム画像群のフレーム間遷移における手振れ補正変換（手振れ補正写像）を算出する機能を有する。

ここで、手振れ補正変換とは、切り出し部１６０における手振れ補正を行う前の切り出し領域（以下、「補正前切り出し領域」と呼称する。）を手振れ補正後の切り出し領域（以下、「補正後切り出し領域」と呼称する。）に写像するための変換である。
補正後切り出し領域は、例えば、切り出し部１６０に入力される事前ズーム画像に対して手振れ補正変換を適用した結果として得られる、補正前切り出し領域と対応する便宜上の切り出し領域であって、手振れ補正を適用した場合における切り出し領域である。

なお、手振れ補正変換を全て画像の回転として処理する場合、手振れ補正変換を四元数（クォターニオン）によって表現するようにしてもよい。これにより、処理の高速化を実現することができる。

切り出し部１６０は、例えば、予め設定される手振れ補正ズーム倍率と、電子式手振れ補正部１５０によって算出された手振れ補正変換と、入力された事前ズーム画像とに基づいて、事前ズーム画像の中心部付近における所定領域を切り出す機能を有する。以下では、切り出された画像を「切り出し画像」と呼称する。

また、切り出し部１６０は、例えば、補正後切り出し領域に基づいて、後述する補正ベクトルＣを算出する機能を有する。

超解像度処理部１７０は、例えば、入力された切り出し画像に対して画像解像度を向上させる超解像処理を適用し、ズーム画像として出力する機能を有する。

すなわち、手振れ補正ズーム部１４０は、例えば、事前ズーム画像の中心付近を所定の手振れ補正ズーム倍率（例えば、「ｑ」倍（「ｑ」は１以上の任意の定数）に拡大した（デジタルズームした）ズーム画像を出力する機能を有する。また、手振れ補正ズーム部１４０は、後述する手振れ補正条件を満たす場合、ズーム画像に対して電子式手振れ補正を施す機能を有する。

例えば、事前ズーム倍率「ｐ」倍に設定された事前ズーム部１１０と、手振れ補正ズーム倍率「ｑ」倍に設定された手振れ補正ズーム部１４０とを組み合わせることで、得られるズーム画像はイメージセンサ画像の中心付近を「ｐ×ｑ」倍に超拡大した（ウルトラズームした）画像となる。

表示制御部１８０は、例えば、ズーム画像と、そのズーム画像に対応する補正ベクトルＣとを入力として受け付ける。

表示制御部１８０は、例えば、補正ベクトルＣに基づいて、後述するガイドインジケータを生成するインジケータ生成機能を有する。また、表示制御部１８０は、例えば、生成されたガイドインジケータと入力されたズーム画像とを合成し、スルー画像を生成するスルー画像生成機能を有する。

表示部３４０は、例えば、表示制御部１８０によって生成されたスルー画像を入力として受け付けると、これを表示させる機能を有する。

ここで、画像の「表示」とは、画像の「出力」の一種である。
画像の「出力」には、自装置での画像の表示（表示出力）の他、例えば、自装置での他の機能部への画像の出力（内部出力）や、自装置以外の装置（外部装置）への画像の出力（外部出力）や送信（外部送信）等を含めることができる。

［画像処理の手順］
図２は、本実施形態における画像処理の手順例を示すフローチャートである。
図２のフローチャートにおける処理は、例えば画像処理装置１の処理部が、不図示の記憶部に格納されたカメラアプリケーションプログラムのコードを不図示のＲＡＭに読み出して実行することにより実現される。

図２のフローチャートにおける各記号Ｓは、ステップを意味する。
また、以下説明するフローチャートは、あくまでも本実施形態における画像処理の手順の一例を示すものに過ぎず、他のステップを追加したり、一部のステップを削除したりしてもよいことは勿論である。

まず、事前切り出し部１２０は、撮像画像取得処理を行う（Ｓ１０１）。具体的には、例えば、撮像部３１０によって撮像されたイメージセンサ画像を受け付ける。
なお、事前切り出し部１２０は、撮像された「Ｎ」フレーム（「Ｎ」は１以上の任意の整数）のイメージセンサ画像をまとめてイメージセンサ画像群として受け付けるようにしてもよい。

次いで、事前切り出し部１２０は、事前切り出し画像切り出し処理を行う（Ｓ１０３）。具体的には、例えば、事前ズーム倍率に基づいて事前切り出し領域を設定し、事前切り出し領域内のイメージセンサ画像を事前切り出し画像として出力する。
なお、イメージセンサ画像群が入力される場合、イメージセンサ画像群の各フレームにおいてＳ１０３のステップを繰り返し、「Ｎ」フレームの事前切り出し画像群を生成するようにしてもよい。

例えば、イメージセンサ画像の画素数を「ｘ」ピクセル、事前ズーム倍率を「ｐ」倍とするとき、事前切り出し部１２０は、例えば、イメージセンサ画像中心部「ｘ÷ｐ^２」ピクセルの領域を事前切り出し領域として設定する。そして、事前切り出し部１２０は、事前切り出し領域内のイメージセンサ画像を事前切り出し画像として出力する。

すると、事前超解像度処理部１３０は、事前切り出し画像超解像処理を行う（Ｓ１０５）。具体的には、例えば、事前切り出し画像に対して超解像処理を施し、事前ズーム画像として出力する。

例えば、事前超解像度処理部１３０は、超解像処理機能において、「ｘ÷ｐ^２」ピクセルの事前切り出し画像に対して、画像解像度を、例えば、「ｐ」倍とする超解像処理を行い、得られた「ｘ」ピクセルの画像を事前ズーム画像として出力する。

なお、事前超解像度処理部１３０は、事前ズーム倍率と異なる倍率で超解像処理を行うようにしてもよい。この場合には、イメージセンサ画像と事前ズーム画像とのサイズ（ピクセル数）は異なってくる。また、事前超解像度処理部１３０は、事前切り出し画像群が入力される場合、各々のフレーム内における画像の空間的情報と、フレーム間における画像の時間的情報とを用いて超解像処理を行うようにしてもよい。

また、事前ズーム部１１０は、イメージセンサ画像に対して事前超解像度処理部１３０において超解像処理を行い、その後事前切り出し部１２０において超解像された画像をクロップすることで事前ズーム画像を出力するようにしてもよい。

「ｔ」フレーム目（「ｔ」は任意の自然数）の事前ズーム画像が切り出し部１６０に入力されると、切り出し部１６０は、補正前切り出し領域設定処理を行う（Ｓ１０７）。具体的には、例えば、「ｔ－１」フレーム目のズーム切り出し領域を「ｔ」フレーム目の補正前切り出し領域として設定する。
なお、先頭フレームである１フレーム目では、補正前切り出し領域は、例えば、事前ズーム画像の中心を手振れ補正ズーム倍率「ｑ」倍で切り取る（デジタルズームする）ための矩形領域に設定される。

次いで、電子式手振れ補正部１５０は、入力された「ｔ」フレーム目の事前ズーム画像と、「ｔ－１」フレーム目の事前ズーム画像とに基づいて、事前ズーム画像内の局所的な画像要素における局所的な動きベクトル（例えば、オプティカルフロー）を、例えば、Lucas-Kanade法を用いて算出する。
そして、電子式手振れ補正部１５０は、算出された局所的な動きベクトルに基づいて、「ｔ－１」フレーム目から「ｔ」フレーム目の間に発生した撮像部３１０の平行移動・回転移動（手振れ）と対応する手振れ補正変換を算出する（Ｓ１０９）。
なお、先頭フレームである１フレーム目では、手振れ補正変換は、例えば、恒等写像とすることができる。

なお、電子式手振れ補正部１５０は、事前ズーム画像群を用いずに、慣性計測部３２０によって取得された慣性情報に基づいて、手振れ補正変換を算出するようにしてもよい。

また、電子式手振れ補正部１５０は、入力された「ｔ」フレーム目の事前ズーム画像と、「ｔ－１」フレーム目の事前ズーム画像とに基づいて、慣性情報を算出し、算出された慣性情報に基づいて、手振れ補正変換を算出するようにしてもよい。このとき、電子式手振れ補正部１５０は、慣性計測部３２０によって取得された慣性情報を、例えば、初期値として併用し、事前ズーム画像群から慣性情報を算出（再計算）するようにしてもよい。

また、電子式手振れ補正部１５０は、時間軸方向で隣接する２フレームの事前ズーム画像群に基づいて手振れ補正変換を算出することに限定されない。例えば、時間軸で連続する任意の「Ｌ」フレーム（Ｌは任意の正の整数）で構成される事前ズーム画像群に基づいて、オプティカルフローおよび慣性情報の少なくとも一方を算出し、事前ズーム画像群の時間軸方向で隣接するフレーム間での手振れ補正変換を算出するようにしてもよい。

切り出し部１６０は、電子式手振れ補正部１５０から「ｔ－１」フレーム目から「ｔ」フレーム目への手振れ補正変換を取得すると、「ｔ」フレーム目の補正前切り出し領域と手振れ補正変換とに基づいて、「ｔ」フレーム目の補正後切り出し領域を算出する。

すると、切り出し部１６０は、補正ベクトル算出処理を行う（Ｓ１１１）。具体的には、例えば、補正後切り出し領域の中心位置（例えば、重心位置）を補正位置として算出する。そして、例えば、事前ズーム画像の中心位置を始点とし、補正位置を終点とする補正ベクトルＣを算出する（Ｓ１１１）。

なお、事前ズーム画像における長手方向と短手方向との長さが等しくない場合、切り出し部１６０は、長手方向または短手方向の長さに長さを正規化した補正位置を算出し、補正ベクトルＣを算出するようにしてもよい。

あるいは、補正ベクトルＣを算出後、補正ベクトルＣの大きさを事前ズーム画像における長手方向と短手方向の長さに応じて正規化してもよい。

補正ベクトル算出処理によって補正ベクトルＣが算出されると、切り出し部１６０は、補正ベクトルＣの大きさ（例えば、Ｌ２ノルム）が所定値「Ｒ」（「Ｒ」は正の定数）より小さい（所定値未満）か否かを判定する（Ｓ１１３）。この判定条件を「手振れ補正条件」と呼称する。

この手振れ補正条件の所定値「Ｒ」は、例えば、補正後切り出し領域が事前ズーム画像をはみ出さないように設定することができる。

なお、本ステップにおいて、切り出し部１６０は、補正ベクトルＣの大きさが所定値「Ｒ」以下であるか否かを判定するようにしてもよい。

補正ベクトルＣの大きさが所定値「Ｒ」未満である場合（Ｓ１１３：ＹＥＳ）、手振れ補正条件を満たす。そのため、切り出し部１６０は、手振れ補正処理として、「ｔ」フレーム目の補正後切り出し領域をズーム切り出し領域として設定する（Ｓ１１５）。

補正ベクトルＣの大きさが所定値「Ｒ」以上である場合（Ｓ１１３：ＮＯ）、手振れ補正条件を満たさない。そのため、切り出し部１６０は、Ｓ１１５のステップを実行せず、「ｔ」フレーム目の補正前切り出し領域をそのままズーム切り出し領域として設定する。また、切り出し部１６０は、「ｔ」フレーム目の補正ベクトルＣを、「ｔ－１」フレーム目の補正ベクトルＣに戻す（更新する）。

なお、手振れ補正条件を満たさない場合、切り出し部１６０は、ズーム切り出し領域を、例えば、事前ズーム画像の中心領域に設定するようにしてもよい。

そして、切り出し部１６０は、切り出し画像切り出し処理を行う（Ｓ１１７）。具体的には、例えば、設定されたズーム切り出し領域に基づいて、ズーム切り出し領域内の事前ズーム画像を切り出し画像として出力する。

すると、超解像度処理部１７０は、切り出し画像超解像処理を行う（Ｓ１１９）。具体的には、例えば、切り出し画像に対して超解像処理を施し、ズーム画像として出力する。

なお、超解像度処理部１７０は、超解像処理に加えて、画像の歪み補正処理を行うようにしてもよい。画像の歪み補正処理としては、例えば、ローリングシャッター歪み補正処理や広角歪み補正処理等が挙げられる。
また、超解像度処理部１７０は、電子式手振れ補正部１５０または切り出し部１６０から手振れ補正変換を取得し、超解像処理において手振れ補正変換を加味して処理を行うようにしてもよい。また、超解像度処理部１７０は、複数フレームの切り出し画像からなる切り出し画像群が入力される場合、時間軸方向を加味した超解像処理を行うようにしてもよい。

なお、手振れ補正ズーム部１４０は、事前ズーム画像に対して超解像度処理部１７０において超解像処理を行い、その後切り出し部１６０において超解像された画像をクロップすることでズーム画像を出力するようにしてもよい。

表示制御部１８０は、例えば、切り出し部１６０から「ｔ」フレーム目の補正ベクトルＣを取得すると、ガイドインジケータ更新処理を行う（Ｓ１２１）。具体的には、例えば、取得した補正ベクトルＣと手振れ補正条件の所定値「Ｒ」とに基づいて、ガイドインジケータを更新（生成）する。

図３に、補正ベクトルＣにより生成されたガイドインジケータの一例を示す。
図３左側では、全景ＳＣＮ内に破線で示される事前切り出し領域の中心点（重心点）である事前ズーム画像中心位置が、丸に十字の印で示されている。
また、二点鎖線で示される補正前切り出し領域と手振れ補正変換とに基づいて算出される補正後切り出し領域が、実線の四角形領域（図中では台形の領域）として示されている。そして、補正後切り出し領域の中心点（重心点）である補正位置が、四角に十字の印で示されている。
このとき、正規化前の補正ベクトルＣは、事前ズーム画像中心位置を始点とし、補正位置を終点とするベクトルとなる。表示制御部１８０に入力される補正ベクトルＣは、例えば、正規化前の補正ベクトルＣを事前切り出し領域の長手方向および短手方向の長さに応じて正規化したベクトルである。

図３右側には、表示制御部１８０に入力される補正ベクトルＣにより生成されたガイドインジケータの一例を示す。
ガイドインジケータは、例えば、半径を手振れ補正条件の所定値「Ｒ」とする円周状の外縁と、黒い正方形で示されるズーム位置インジケータとで構成される。
なお、図３右側においては、便宜上、ガイドインジケータ外縁の中心位置を灰色の丸印で示している。

補正ベクトルＣの始点をガイドインジケータ外縁の中心位置に配置するとき、ズーム位置インジケータは、例えば、補正ベクトルＣの終点を中心位置とする正方形として配置される。
なお、ズーム位置インジケータの一辺の長さ「Ｚ」は、例えば、「Ｒ」に対して十分小さい任意の値（例えば、「Ｚ＝Ｒ÷２０」）とすることができる。

すなわち、ガイドインジケータ外縁内のズーム位置インジケータの位置は、事前切り出し領域に対するズーム切り出し領域の位置と対応する。

補正ベクトルＣの大きさは「Ｒ」未満となるため、補正ベクトルＣの終点はガイドインジケータ外縁を超えることはない。そのため、ズーム位置インジケータは、外縁を大きく超えることはない。

なお、正方形のズーム位置インジケータがガイドインジケータ外縁を超えないよう、例えば、外縁の半径を「Ｒ´＝Ｒ＋Ｚ／ｓｑｒｔ（２）」で算出される「Ｒ´」に設定するようにしてもよい。なお、「ｓｑｒｔ（ｘ）」は「ｘ」の平方根である。

図２に戻り、表示制御部１８０は、超解像処理部１７０から「ｔ」フレーム目のズーム画像を取得すると、スルー画像表示処理を行う（Ｓ１２３）。具体的には、例えば、「ｔ」フレーム目のズーム画像と更新された「ｔ」フレーム目のガイドインジケータとを合成（オーバーレイ）し、スルー画像として表示部３４０に表示させる。

例えば、不図示の操作部に対する入力（ユーザ操作）に基づいて、撮影を終了することが選択される場合（Ｓ１２５：ＹＥＳ）、画像処理装置１は処理を終了させる。

撮影を終了することが選択されない場合（Ｓ１２５：ＮＯ）、画像処理装置１は、例えば、Ｓ１０１のステップに処理を戻す。

［画像処理の具体例］
図４～図６に、撮像部３１０の変位（位置・角度の変化）に伴う事前切り出し領域の変化と、ズーム切り出し領域の変化との具体例を示す。また、フレーム間での変化に応じて生成されるガイドインジケータと、出力されるズーム画像の具体例も併せて示す。

なお、これらの図では、全景ＳＣＮ中に対する、イメージセンサ画像として切り取られるイメージセンサ領域のバウンディングボックスを一点鎖線で、事前切り出し領域のバウンディングボックスを破線で、補正前切り出し領域のバウンディングボックスを二点鎖線で、補正後切り出し領域のバウンディングボックスを実線で、それぞれ表記することとする。
また、これらのバウンディングボックスは、説明を簡略化するため全て矩形として表記するが、実際には矩形に限定されない。

全景ＳＣＮには、例えば、アーチ橋を左から右に横断する３両編成の列車が描かれている。また、アーチ橋の左右には山体が存在し、アーチ橋の奥には堤防で囲われた港が描かれている。
なお、全景ＳＣＮは実際には全周方向に広がりを持つが、ここでは仮の外枠を設けてその外枠内のみを示す。

図４に、手振れ補正ズーム部１４０において手振れ補正が有効となっている状態の一例を示す。
図４（Ａ）では、例えば、イメージセンサ領域は、列車先頭車両の先端付近を中心に捉えている。補正後切り出し領域には、例えば、先頭車両の顔が捉えられている。

補正後切り出し領域の中心は、事前切り出し領域の中心より正面視でやや右上方にずれている。そのため、ガイドインジケータにおけるズーム位置インジケータは、外縁の中心からやや右上方にずれて表示されている。

このとき、ズーム画像として、イメージセンサ領域の中心付近を超拡大した、アーチ橋を横断しトンネルに向かう先頭車両の顔の画像が出力されている。

図４（Ａ）から、例えば、手振れの影響で撮像部３１０の向きがわずかに右上方に変位した場合、例えば、図４（Ｂ）に各領域が遷移する。

図４（Ｂ）では、イメージセンサ領域上端が図４（Ａ）では範囲外であった堤防の奥側を捉え、イメージセンサ領域左端は図４（Ａ）では収まっていた先頭車両後部のドアを捉えなくなっている。
補正前切り出し領域もイメージセンサ領域の変化に合わせてずれているが、補正後切り出し領域は、手振れ補正変換により図４（Ａ）から変位していない。

補正後切り出し領域の中心は、事前切り出し領域の中心よりやや下方にずれている。そのため、ガイドインジケータにおけるズーム位置インジケータは、外縁の中心からやや下方にずれて表示されている。ズーム位置インジケータは外縁に接していないため、図４（Ｂ）でも手振れ補正ズーム部１４０において手振れ補正が有効である。
このとき、ズーム画像は図４（Ａ）と同じ画像が出力され、ズーム画像にぶれが生じていない。

図５に、手振れ補正ズーム部１４０において手振れ補正が無効に切り替わる状態の一例を示す。
図５（Ｂ）は、図４（Ｂ）の状態である。

図５（Ｂ）から、例えば、列車の後方を撮影するために撮像部３１０の向きを左上方にゆっくりと振る。
すると、ズーム位置インジケータは、ガイドインジケータ外縁内で右下方に移動してゆく。しかし、ズーム位置インジケータが外縁に到達していない状態では、手振れ補正ズーム部１４０において手振れ補正が有効となり、図５（Ｂ）と同じズーム画像が取得され続ける。やがて、ズーム位置インジケータがガイドインジケータ外縁に到達すると、手振れ補正条件を満たさなくなるため、手振れ補正ズーム部１４０において手振れ補正が無効に切り替わり、ズーム画像が事前切り出し画像に追従して変化してゆく。

図５（Ｃ）に、撮像部３１０の向きを左上方に振り続けた場合の各領域の遷移の一例を示す。
図５（Ｃ）では、図５（Ｂ）から撮像部３１０の向きを左上方に振り続けた結果、イメージセンサ領域は列車の２両目を捉えている。
このとき、手振れ補正条件を満たさない状態が続くため、ズーム切り出し領域は、補正前切り出し領域に従って、例えば、事前切り出し領域内の右下端に固定され続ける。
また、ズーム位置インジケータは、例えば、外縁内の右下端に接する形で固定され続ける。
結果として、ズーム切り出し領域はイメージセンサ領域の中心付近を追従する形となり、例えば、ズーム画像として列車の先頭と２両目の連結部付近の画像が出力される。

図６に、手振れ補正ズーム部１４０において手振れ補正が再び有効に切り替わる状態の一例を示す。
図６（Ｄ）では、図５（Ｃ）から撮像部３１０の向きを左上方に振り続けた結果、イメージセンサ領域は列車の最後尾の車両を中央に捉えている。
このとき、手振れ補正条件を満たさない状態が続くため、ズーム切り出し領域は、事前切り出し領域に従って、例えば、事前切り出し領域内の右下端に固定され続ける。このため、ズーム位置インジケータは、例えば、外縁内の右下端に接する形で固定され続ける。
その結果、ズーム切り出し領域は事前切り出し領域内で追従する形となり、例えば、ズーム画像として列車の最後尾の車両の画像が出力される。

図６（Ｄ）から、例えば、列車の最後尾の車両を追従するために撮像部３１０の向きがわずかに右下方に変位した場合、例えば、図６（Ｅ）に各領域が遷移する。

図６（Ｅ）では、イメージセンサ領域左端は図６（Ｄ）では接していた全景ＳＣＮの仮の外枠からわずかに右に外れている。
ガイドインジケータにおけるズーム位置インジケータは、外縁の中心からやや左上方にずれて表示されている。ズーム位置インジケータは外縁に接していないため、図６（Ｅ）では手振れ補正ズーム部１４０において手振れ補正が再び有効となっていることが示されている。
このとき、補正後切り出し領域は、手振れ補正変換により図６（Ｄ）から変位しない。結果として、ズーム画像は図６（Ｄ）と同じ画像が出力され、図６（Ｄ）から図６（Ｅ）への遷移においてズーム画像にはぶれが生じていない。

図７に、図５（Ｂ）～図５（Ｃ）に至るまでの過程におけるスルー画像の遷移の一例を示す。
図７では、例えば、ズーム画像の右上方にガイドインジケータを合成した場合に生成されるスルー画像の遷移例を示す。

なお、ガイドインジケータを合成する位置は、ズーム画像の右上方に限定されない。例えば、左上方でもよいし、右下方でよいし、左下方でもよい。

図７（Ｂ）は、図５（Ｂ）と対応するスルー画像の一例である。この画像では、デジタルズームによって撮像される列車先頭の顔が映っている。そして、ガイドインジケータでは、ズーム領域インジケータが外縁中心付近に表示されているため、手振れ補正が有効であることが示されている。

図７（Ｂ′）は、図７（Ｂ）から、例えば、列車の後方を撮影するために撮像部３１０の向きを左上方にゆっくりと振り始めた場合のスルー画像の一例である。この画像では、ズーム領域インジケータは、ガイドインジケータの外縁内で撮像部３１０の向きの変化と対称な右下方向に移動している。しかし、ズーム領域インジケータは、外縁に接していないため、手振れ補正が有効であることが示されている。
このとき、撮像部３１０の操作者は、撮像部３１０の向きを変えたにもかかわらず、手振れ補正が有効ででありズーム画像は変化しないため、ガイドインジケータが存在しない場合違和感を覚える可能性がある。
しかし、スルー画像中に表示されるガイドインジケータ内のズーム領域インジケータ位置が確認可能なことで、画像処理装置１は、撮像部３１０の操作者に手振れ補正が有効であることを報知することができる。また、これにより、撮像領域を変化させることを意図している撮像部３１０の操作者が撮像部３１０の向きをさらに急激に変化させてしまい、意図しない範囲がイメージセンサ画像として取得されてしまうことを防止することができる。

図７（Ｂ′′）は、図７（Ｂ′）からさらに撮像部３１０の向きを左上方にゆっくりと振り続けた場合のスルー画像の一例である。この画像では、ズーム領域インジケータは、さらに右下方向に移動しガイドインジケータ外縁に接している。そのため、画像処理装置１は、撮像部３１０の操作者に手振れ補正が無効となったことを報知することができる。
このとき、ズーム切り出し領域は撮像部３１０の向きに沿って移動し始めるため、ズーム画像は列車先頭車両の後方に向かって動き始める。そのため、撮像部３１０の操作者は、撮像部３１０の向きを同方向に変化させ続けている間、ズーム画像として取得される撮像対象が変化してゆくことを容易に把握できる。

図７（Ｃ）は、図（Ｂ′′）から撮像部３１０の向きを同方向である左上方に振り続けた場合のスルー画像の一例である。この画像では、ズーム領域インジケータは、ガイドインジケータ外縁に接し続けている。そのため、画像処理装置１は、撮像部３１０の操作者に手振れ補正の無効状態が続いていることを報知することができる。

同様にして、撮像部３１０の操作者は、ズーム画像内に目的とする撮像対象を捉えた場合、ガイドインジケータ内において外縁の中心からズーム領域インジケータの位置を結ぶ方向に向かって撮像部３１０の向きをわずかに戻すように撮像部３１０を保持することで、手振れ補正を再び有効にし、撮影対象を適切にズーム画像としてとらえ続けることができることを容易に把握できる。

［実施形態の作用・効果］
本実施形態における画像処理装置（例えば、画像処理装置１）は、像振れ補正（例えば、手振れ補正）を行うことが可能な補正手段（例えば、電子式手振れ補正部１５０）を備え、撮像装置（例えば、撮像部３１０）による撮像に基づく画像（例えば、事前ズーム画像）から切り出した切出領域（例えば、ズーム切り出し領域）に基づいて生成した画像（例えば、ズーム画像）を出力可能であり、補正手段による像振れ補正を有効化しつつ切出領域を切り出し可能な範囲（例えば、手振れ補正条件を満たす範囲）に関する報知（例えば、ガイドインジケータの表示やピン音の音出力等）を制御する制御手段（例えば、表示制御部１８０）を備える。
これによれば、補正手段による像振れ補正を有効化しつつ切出領域を切り出し可能な範囲に関する報知を制御することで、意図した構図が撮影されるように支援することができる。また、報知を活用することで、撮像装置による撮像に基づく画像から切り出した切り出し領域に基づいて生成した画像を、簡易かつ適切に出力することができる。

また、この場合、制御手段（例えば、表示制御部１８０）は、撮像装置の動きに伴う切出領域の変移（例えば、補正ベクトルＣ）と、像振れ補正が有効となる範囲を定める設定値（例えば、手振れ補正条件の所定値「Ｒ」）とに基づいて、報知を制御する。
これによれば、撮像装置の動きに伴う切出領域の変移に影響を及ぼし得る設定値に基づいて、適確に報知を制御することができる。

また、この場合、画像処理装置は、変移（例えば、補正ベクトルＣ）と設定値（例えば、所定値「Ｒ」）とに基づく情報であって、像振れ補正を有効化しつつ切出領域を切り出し可能な範囲（例えば、手振れ補正条件を満たす範囲）を特定可能にする補助情報（例えば、ガイドインジケータ）を生成する補助情報生成手段（例えば、表示制御部１８０）をさらに備える。
これによれば、像振れ補正を有効化しつつ切出領域を切り出し可能な範囲をユーザーが容易に把握可能な補助情報を生成することができる。

また、この場合、補助情報生成手段（例えば、表示制御部１８０）は、変移に基づく所定位置（例えば、補正位置）に対応するインジケータ（例えば、ズーム位置インジケータ）と像振れ補正を有効化しつつ切出領域を切り出し可能な範囲の外縁（例えば、ガイドインジケータの外縁）とを少なくとも含む補助情報（例えば、ガイドインジケータ）を生成し、制御手段（例えば、表示制御部１８０）は、補助情報を表示装置（例えば、表示部３４０）に表示させて報知を行う。
これによれば、ユーザーは、補助情報の外縁とインジケータとを確認することで、像振れ補正が有効か否かを容易に把握することができる。

また、この場合、制御手段（例えば、表示制御部１８０）は、所定位置（例えば、補正位置）の変化に伴い補助情報（例えば、ガイドインジケータ）に含まれるインジケータ（例えば、ズーム位置インジケータ）の位置を変化させる。
これによれば、インジケータの位置を所定位置と連動させて移動させることができる。結果として、ユーザーは、補助情報の外縁とインジケータとの位置関係から、像振れ補正の状態（有効か否か）や、像振れ補正を有効化する、または無効化するための撮像装置の動きを容易に把握することができる。

また、この場合、制御手段（例えば、表示制御部１８０）は、切出領域に基づいて生成した画像（例えば、ズーム画像）と、補助情報（例えば、ガイドインジケータ）とを表示装置（例えば、表示部３４０）に表示させる。
これによれば、ユーザーは、表示装置を介して画像と補助情報とを確認することができる。結果として、ユーザーは、補助情報を目視しながら撮像装置の動きを調整することができる。その結果、より簡易かつ適切に、ユーザーが意図する切出領域に基づいて生成した画像を取得することができる。

ここで、切出領域に基づいて生成した画像（例えば、ズーム画像）と、補助情報（例えば、ガイドインジケータ）とを表示装置に表示することは、必ずしも両方を一緒に表示することに限定されず、例えば、表示の切り替え等によって、これらをタイミングをずらして表示することや、これらを異なる画面に表示すること、等も含めることができる。

また、この場合、制御手段（例えば、表示制御部１８０）は、ズーム撮影時（例えば、デジタルズーム撮影時）に報知を行うようにすることができる。
これによれば、ズーム撮影時に報知を行うことで、上記の各種の効果がより顕著となる。

［実施例］
次に、上記の画像処理装置１を適用した、または上記の画像処理装置１を備える、端末、電子装置（電子機器）、情報処理装置の実施例について説明する。
ここでは、一例として、カメラ機能付き（撮像機能付き）携帯電話機の一種であるスマートフォンの実施例について説明する。但し、本発明を適用可能な実施例が、この実施例に限定されるわけでないことは勿論である。

図８は、スマートフォン１０の機能構成の一例を示す図である。
スマートフォン１０は、例えば、処理部１００と、記憶部２００と、撮像部３１０と、慣性計測部３２０と、操作部３３０と、表示部３４０と、音入力部３５０と、音出力部３６０と、通信部３７０とを備える。

処理部１００は、記憶部２００に記憶されているシステムプログラム等の各種プログラムに従って映像編集用ＰＣ１０の各部を統括的に制御し、映像編集処理に係る各種の処理を行う処理装置であり、ＣＰＵやＧＰＵ、ＤＳＰ等のプロセッサーやＡＳＩＣ等の集積回路を有して構成される。

処理部１００は、主要な機能部として、事前ズーム部１１０と、手振れ補正ズーム部１４０と、表示制御部１８０とを有する。事前ズーム部１１０は、その機能部として、例えば、事前切り出し部１２０と、事前超解像処理部１３０とを有する。手振れ補正ズーム部１４０は、その機能部として、例えば、電子式手振れ補正部１５０と、切り出し部１６０と、超解像処理部１７０とを有する。
これらの機能部は、図１の画像処理装置１が備える機能部にそれぞれ対応するものである。

記憶部２００は、ＲＯＭやＥＥＰＲＯＭ、フラッシュメモリ、ＲＡＭ等の揮発性又は不揮発性のメモリや、ハードディスク装置等を有して構成される記憶装置である。

記憶部２００には、例えば、カメラアプリケーションプログラム２１０と、カメラ画像一時記憶部２２０と、スルー画像記憶部２３０とが記憶される。

カメラアプリケーションプログラム２１０は、処理部１００により読み出され、カメラアプリケーション処理として実行されるプログラムである。

カメラ画像一時記憶部２２０は、例えば、撮像部３１０によって撮像される撮像画像（イメージセンサ画像）や、事前ズーム部１１０の出力画像（事前ズーム画像）が記憶されるバッファ（フレームバッファ）である。

スルー画像記憶部２３０は、例えば、表示制御部１８０から出力されるスルー画像が記憶（録画）される撮像データ（映像データ）である。

なお、スルー画像記憶部２３０は、通信部３７０を介して接続される不図示の外部記憶装置（例えば、ＮＡＳ（Network Attached Storage）等）に保存されるようにしてもよい。

撮像部３１０は、任意のシーンの画像を撮像可能に構成された撮像デバイスであり、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary MOS）イメージセンサ等の撮像素子（半導体素子）を有して構成される。撮像部３１０は、撮像対象物から発せられた光を、不図示のレンズによって撮像素子の受光平面に結像させ、光電変換によって、像の光の明暗を電気信号に変換する。変換された電気信号は、不図示のＡ／Ｄ（Analog Digital）変換器によってデジタル信号に変換されて、処理部１００に出力される。

慣性計測部３２０は、例えば、３軸（ピッチ・ロール・ヨー）の軸回りの角速度を検出するジャイロセンサや、３軸（ピッチ・ロール・ヨー）の軸方向の慣性力を検出する加速度センサを有して構成される。慣性計測部３２０の検出結果は、処理部１００に随時出力される。

操作部３３０は、操作ボタンや操作スイッチといった、ユーザーがスマートフォン１０に対する各種の操作入力を行うための入力装置を有して構成される。また、操作部３３０は、表示部３４０と一体的に構成された不図示のタッチパネルを有し、このタッチパネルは、ユーザーとスマートフォン１０との間の入力インターフェースとして機能する。操作部３３０からは、ユーザー操作に従った操作信号が処理部１００に出力される。

表示部３４０は、ＬＣＤ（Liquid Crystal Display）やＯＥＬＤ（Organic Electro-luminescence Display）等を有して構成される表示装置であり、表示制御部１８０から出力される表示信号に基づいた各種の表示を行う。

音入力部３５０は、マイクロフォンやＡ／Ｄコンバータ等を有して構成される音入力装置であり、処理部１００へ入力される音入力信号に基づいた各種の音入力を行う。

音出力部３６０は、Ｄ／Ａコンバータやスピーカ等を有して構成される音出力装置であり、処理部１００から出力される音出力信号に基づいた各種の音出力を行う。

通信部３７０は、装置内部で利用される情報を外部の情報処理装置との間で送受するための通信装置である。通信部３７０の通信方式としては、イーサネットやＵＳＢ（Universal Serial Bus）等所定の通信規格に準拠したケーブルを介して有線接続する形式や、Ｗｉ―Ｆｉ（登録商標）や５Ｇ（第５世代移動通信システム）等所定の通信規格に準拠した無線通信技術を用いて無線接続する形式、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信を利用して接続する形式等、種々の方式を適用可能である。

スマートフォン１０の処理部１００は、記憶部２００に記憶されているカメラアプリケーションプログラム２１０に従い、画像撮像処理を行う。

図９は、本実施例における画像撮像処理の手順例を示すフローチャートである。

事前ズーム部１１０は、撮像部３１０によって撮像されたイメージセンサ画像を受け付けると（Ｓ１０１）、例えば、図２のＳ１０３～Ｓ１０５のステップに従い、事前ズーム画像を出力する（Ｓ２０１）。

手振れ補正ズーム部１４０は、事前ズーム画像を入力として受け付けると、ズーム切り出し領域設定処理を行う（Ｓ２０３）。具体的には、例えば、図２のＳ１０７～Ｓ１１１のステップに従い、補正前切り出し領域と、手振れ補正変換と、補正ベクトルＣとを算出する。

なお、図２のＳ１０９のステップにおいて、手振れ補正ズーム部１４０は、例えば、３軸（ピッチ・ロール・ヨー）手振れ補正を対象として手振れ補正変換を算出するようにすることができる。
これは、遠景を望遠で撮像する場合、撮像部３１０の３軸の軸回りの回転に比べて、撮像部３１０の並進は手振れ補正結果にあまり影響を及ぼさない。そのため、並進も含めた５軸手振れ補正の手振れ補正変換を処理する計算コストは、例えば、四元数を用いて高速に演算可能な３軸手振れ補正の手振れ補正変換を処理する計算コストに見合わないためである。

また、ロール軸回りの補正については、補正後切り出し領域が傾き続けることを防ぐために、一定比率を超える場合、強制的に水平に補正するようにしてもよい。

また、撮像対象とスマートフォン１０との位置関係によっては、５軸手振れ補正を対象とした手振れ補正変換を算出するようにしてもよい。

次いで、手振れ補正ズーム部１４０は、手振れ補正モード設定処理を実行する（Ｓ２０４）。

図１０は、手振れ補正モード設定処理の手順例を示すフローチャートである。

まず、手振れ補正ズーム部１４０は、算出された補正ベクトルＣの大きさ（例えば、Ｌ２ノルム）が、手振れ補正条件の所定値「Ｒ」より小さい（所定値未満）か否かを判定する（Ｓ３０１）。

なお、本ステップにおいて、手振れ補正ズーム部１４０は、補正ベクトルＣの大きさが手振れ補正条件の所定値「Ｒ」以下か否かを判定するようにしてもよい。

補正ベクトルＣの大きさが所定値「Ｒ」未満である場合（Ｓ３０１：ＹＥＳ）、手振れ補正ズーム部１４０は、手振れ補正モードを「固定モード」に設定する（Ｓ３０３）。
ここで、固定モードとは、例えば、ズーム切り出し領域内の撮影対象を追跡し、結果として、ズーム画像の変化（例えば、手振れによる揺れ）を抑制するための撮影モードである。

なお、手振れ補正モードが固定モードであることをスマートフォン１０のユーザーに報知するため、手振れ補正ズーム部１４０は、例えば、「手振れ補正オンです」といった音声を音出力部３６０に出力させるようにしてもよい。この音声は、１フレーム前における手振れ補正モードが追従モードであった場合にのみ出力させるようにしてもよい。
また、固定モードに対応付けられた音声以外の所定の音を音出力部３６０に出力させるようにしてもよい。

補正ベクトルＣの大きさが所定値「Ｒ」以上である場合（Ｓ３０１：ＮＯ）、手振れ補正ズーム部１４０は、手振れ補正モードを「追従モード」に設定する（Ｓ３０３）。
ここで、追従モードとは、例えば、撮像部３１０の向きの変化に追従し、ズーム切り出し領域内に収まる撮影対象を変更することで、結果として、ズーム画像として撮像される対象を切り替えるための撮影モードである。

なお、手振れ補正モードが追従モードであることをスマートフォン１０のユーザーに報知するため、手振れ補正ズーム部１４０は、例えば、「手振れ補正オフです」といった音声を音出力部３６０に出力させるようにしてもよい。この音声は、１フレーム前における手振れ補正モードが固定モードであった場合にのみ出力させるようにしてもよい。
また、追従モードに対応付けられた音声以外の所定の音を音出力部３６０に出力させるようにしてもよい。

また、手振れ補正ズーム部１４０は、例えば、補正ベクトルＣの大きさに応じて「ピッピッ」というピン音を音出力部３６０に出力させるようにしてもよい。このピン音の音の出る時間間隔は、例えば、補正ベクトルＣの大きさが大きいほど短くなり、補正ベクトルＣの大きさが所定値「Ｒ」以上の場合にはピン音は「ピー」という連続音に変化するようにすることができる。

なお、この他にも、手振れ補正ズーム部１４０は、例えば、補正ベクトルＣの大きさが大きいほどピン音の音の大きさが大きくなるように音出力部３６０に出力させるようにしてもよい。この場合、補正ベクトルＣの大きさが所定値「Ｒ」以上の場合にはピン音は設定された最大音量となるようにすることができる。

また、手振れ補正ズーム部１４０は、ピン音に変えてスマートフォン１０における不図示の通知ランプの点滅の態様を変化させるようにしてもよい。

図９に戻り、手振れ補正ズーム部１４０は、設定された手振れ補正モードが固定モードか追従モードかを判定する（Ｓ２０５）。

設定された手振れ補正モードが固定モードである場合（Ｓ２０５：固定モード）、手振れ補正ズーム部１４０は、３軸手振れ補正処理を行う（Ｓ２０７）。具体的には、例えば、補正前切り出し領域に対して、３軸手振れ補正変換を適用し、ズーム切り出し領域を設定する。

設定された手振れ補正モードが追従モードである場合（Ｓ２０５：追従モード）、手振れ補正ズーム部１４０は、ロール軸手振れ補正処理を行う（Ｓ２０９）。具体的には、例えば、補正前切り出し領域に対して、ロール軸回りの１軸手振れ補正変換を適用し、ズーム切り出し領域を設定する。

追従モードでは、手振れ補正ズーム部１４０は、例えば、表示制御部１８０に１フレーム前の補正ベクトルＣ（すなわち、手振れ補正前切り出し領域に基づく補正ベクトルＣ）を出力する。これは、ロール軸周りの１軸手振れ補正変換は、補正ベクトルＣのフレーム間変化にほとんど影響を及ぼさないためである。

なお、設定された手振れ補正モードが追従モードである場合（Ｓ２０５：追従モード）、手振れ補正ズーム部１４０は、補正前切り出し領域をそのままズーム切り出し領域として設定するようにしてもよい。この場合には、手振れ補正ズーム部１４０において手振れ補正処理は行われない。

そして、手振れ補正ズーム部１４０は、例えば、図２のＳ１１７～Ｓ１１９のステップに従い、ズーム画像を生成する（Ｓ２１１）。

なお、手振れ補正ズーム部１４０が手振れ補正モードを音出力部３６０からの音出力によって報知する場合、表示制御部１８０はＳ１２１のステップを実行せず、Ｓ１２３のステップにおいて、スルー画像としてズーム画像をそのまま出力させるようにしてもよい。

また、表示制御部１８０は、Ｓ１２３のステップにおいてズーム画像とガイドインジケータとを合成せずに、個別の表示部３４０に表示させるようにしてもよい。この場合、表示制御部１８０は、例えば、ズーム画像を不図示の第１表示部に表示させ、例えば、正方形で示されるズーム位置インジケータを含むガイドインジケータを不図示の第２表示部に表示させるようにすることができる。

また、表示制御部１８０は、Ｓ１２３のステップにおいて、例えば、操作部３３０に対するユーザー操作に基づいて、ガイドインジケータ表示が選択される場合、ズーム画像とガイドインジケータとを合成して表示させるようにしてもよい。

また、表示制御部１８０は、例えば、操作部３３０に対するユーザー操作に基づいて、ズーム画像のズーム倍率（例えば、「ｐ×ｑ」倍）が選択される場合、そのズーム倍率が、例えば、所定倍率以上である場合にのみ、ズーム画像とガイドインジケータとを合成して表示させるようにしてもよい。また、この場合、ズーム倍率が所定倍率より低い場合には、スルー画像にガイドインジケータが表示されないようにしてもよい。つまり、所定の条件を満たす場合に報知を行う（所定の条件を満たさない場合に報知を行わない）ようにしてもよい。

［実施例の作用・効果］
本実施例のスマートフォン１０によれば、前述した実施形態と同様の作用・効果を得ることができる。

また、本実施例のスマートフォン１０では、制御手段（例えば、手振れ補正ズーム部１４０）は、変移（例えば、補正ベクトルＣ）と設定値（例えば、手振れ補正条件の所定値「Ｒ」）とに基づくガイド情報であって、像振れ補正を有効化しつつ切出領域を切り出し可能な範囲（例えば、手振れ補正条件を満たす範囲）を特定可能にするガイド情報（例えば、「手振れ補正オンです」といった音声）を音出力装置（例えば、音出力部３６０）に音出力させて報知を行う。
このような構成にすることで、ユーザーは、報知を目視することが困難な状況下でも、ガイド情報を聞くことで、像振れ補正の状態を容易に把握することができる。

また、本実施例のスマートフォン１０では、制御手段（例えば、手振れ補正ズーム部１４０）は、変移（例えば、補正ベクトルＣ）と設定値（例えば、所定値「Ｒ」）とに基づいて、ガイド情報（例えば、ピン音）の音出力態様（例えば、時間間隔）を変化させる。
このような構成にすることで、ユーザーは、ガイド情報を聞くことで、像振れ補正を有効化しつつ切出領域を切り出し可能な範囲か否かを容易かつ適切に把握することができる。

また、本実施例のスマートフォン１０では、ガイド情報は、所定のガイド音（例えば、ピン音と連続音）を含み、制御手段（例えば、手振れ補正ズーム部１４０）は、変移の大きさ（例えば、補正ベクトルＣのＬ２ノルム）と設定値（例えば、所定値「Ｒ」）との関係に基づいて、ガイド音の音出力態様を変化させる。
このような構成にすることで、ユーザーは、ガイド情報を聞くことで、像振れ補正を有効化しつつ切出領域を切り出し可能な範囲内のどのあたりの状態であるのかを、より的確に把握することができる。結果として、ユーザーは、ガイド音を聞きながら撮像装置の動きを調整することができる。その結果、より簡易かつ適切にユーザーが意図する切出領域に基づいて生成した画像を取得することができる。

また、本実施例のスマートフォン１０では、像振れ補正（例えば、手振れ補正）に関する複数のモード（例えば、固定モードと追従モード）のうちのいずれかのモードを設定可能な設定手段（例えば、手振れ補正ズーム部１４０）をさらに備え、補正手段（例えば、電子式手振れ補正部１５０）は、設定手段によって設定されるモードに応じた像振れ補正を行う。
このような構成にすることで、補正手段は、撮像装置による撮像に基づく画像に対してモードに応じた適切な像振れ補正を行うことができる。

また、本実施例のスマートフォン１０では、複数のモードは、少なくとも、補正手段（例えば、電子式手振れ補正部１５０）が第１処理（例えば、３軸手振れ補正処理）によって像振れ補正を行う第１モード（例えば、固定モード）と、補正手段が第１処理とは異なる第２処理（例えば、１軸手振れ補正処理）によって像振れ補正を行う、または補正手段が像振れ補正を行わない第２モード（例えば、追従モード）とを含む。
このような構成にすることで、補正手段は、撮像装置による撮像に基づく画像に対して第１モードでは第１処理によって強力な像振れ補正を行い、第２モードでは第１処理とは異なる第２処理によって微弱な像振れ補正を行う、あるいは像振れ補正を行わないようにすることができる。

また、本実施例のスマートフォン１０では、制御手段（例えば、手振れ補正ズーム部１４０）は、撮像装置（例えば、撮像部３１０）の動きに伴う切出領域（例えば、補正後切り出し領域）の変移（例えば、補正位置）と、像振れ補正が有効となる範囲を定める設定値（例えば、所定値「Ｒ」）とに基づいて、報知を制御し、設定手段は、変移と設定値とに基づいて、設定するモードを決定する。
このような構成にすることで、モードを、変移と設定値とに基づいて報知と連動させながら適切に決定することができる。

また、本実施例のスマートフォン１０では、制御手段（例えば、手振れ補正ズーム部１４０）は、設定手段（例えば、手振れ補正ズーム部１４０）によって設定されるモードに応じた報知（例えば、ピン音を発するか連続音を発するか）を行う。
このような構成にすることで、ユーザーは報知によってモードを容易に把握することができる。

［変形例］
本発明を適用可能な実施形態は、上記の実施形態に限定されない。以下、変形例について説明する。

＜事前ズーム部１１０を持たない場合の変形例＞
上記の実施形態では、手振れ補正ズーム部１４０は、イメージセンサ画像を予め拡大した（デジタルズームした）事前ズーム画像を入力として受け付けたが、これに限定されない。例えば、手振れ補正ズーム部１４０は、撮像部３１０からイメージセンサ画像を取得するようにしてもよい。
この場合、手振れ補正ズーム部１４０は、イメージセンサ画像を事前ズーム画像として各種の処理を実行すればよい。

このような構成にすることで、同倍率のズーム結果を得る場合、手振れ補正条件の所定値「Ｒ」は事前ズーム画像を入力とする場合と比べて大きくすることができる。すなわち、手振れ補正が可能な領域が広がり、手振れ補正の性能を向上させることができる。
また、画像の切り出しと超解像処理とが一度で済むため、ズーム画像の劣化が避けられる。

ただし、イメージセンサ画像を直接手振れ補正ズーム部１４０に入力すると、ズーム切り出し領域がイメージセンサ画像の中心部から大きく離れてしまう可能があり、撮像部３１０の操作者は、意図した構図にズーム画像を調整することが困難になる可能性はあり得る。また、手振れ補正ズーム部１４０に入力されるイメージセンサ画像群から慣性情報を推定する場合、より広範囲の画像が入力されるため平面近似がより困難となり、慣性情報の推定精度が下がる可能性もあり得る。このため、特に、イメージセンサ画像を高倍率に（例えば、「４倍以上」の倍率）拡大したい場合、イメージセンサ画像を予め拡大した（デジタルズームした）事前ズーム画像を入力として受け付ける方が望ましいと考えることもできる。

なお、手振れ補正ズーム部１４０におけるズーム倍率を等倍（ただしズーム画像はイメージセンサ画像より一回り小さくなる）に設定し、イメージセンサ画像を入力とする場合、ガイドインジケータは、イメージセンサ画像に対して電子式手振れ補正を適用するときのクロップ位置を指し示すインジケータとして用いることもできる。

＜補正後切り出し領域が事前ズーム画像を逸脱する場合の変形例＞
上記の実施形態では、手振れ補正条件の所定値「Ｒ」は、補正後切り出し領域が事前ズーム画像を逸脱しないように設定することとしたが、これに限定されない。例えば、手振れ補正条件の所定値「Ｒ」を、補正後切り出し領域の一部が事前ズーム画像の外部にはみ出すように設定してもよい。

この場合、外部にはみ出た補正後切り出し領域については、例えば、再度事前ズーム部１１０によってイメージセンサ画像から事前切り出し領域を変更して第２事前ズーム画像を生成し、第２事前ズーム画像を入力として補正後切り出し領域からクロップするようにすればよい。

なお、例えば特許第６６８２５５９号に開示されている手振れ補正の手法等に従い、手振れ補正ズーム部１４０に画像生成部を追加し、外部にはみ出た補正後切り出し領域と対応する領域の画像を生成することで手振れ補正処理を行うようにしてもよい。

＜ズーム位置インジケータについての変形例１＞
上記の実施形態では、ズーム位置インジケータを黒色の正方形で示したが、これに限定されない。例えば、ズーム位置インジケータ内に手振れ補正の状態を示すアイコンを配置してもよい。

図１１は、図４（Ａ）～図５（Ｃ）で示したガイドインジケータの別例を示す図である。
図４（Ａ）に対応する図１１（Ａ）では、ズーム位置インジケータは、例えば、「ＯＮ」の文字で示される正方形のアイコンになっている。このズーム位置インジケータは、手振れ補正が有効であることを「ＯＮ」の文字で明示的に示している。

図５（Ｂ）に対応する図１１（Ｂ）では、ズーム位置インジケータが図１１（Ａ）よりも外縁に近づいたことに基づいて、アイコン内の「ＯＮ」の文字が図１１（Ａ）よりも薄くなっている。

図５（Ｃ）と対応する図１１（Ｃ）では、手振れ補正が無効に切り替わっているため、ズーム位置インジケータは、例えば、「ＯＦＦ」の文字で示される正方形のアイコンになっている。

なお、この他にも、例えばズーム位置インジケータの「ＯＮ」の文字を点滅させ、例えば、ガイドインジケータ外縁に近づくほど、点滅の間隔を短くするようにしてもよい。

また、「ＯＮ」や「ＯＦＦ」の文字を、ガイドインジケータ外縁の外側に配置して表示させるようにしてもよい。

また、ズーム位置インジケータの形状は正方形に限定されない。ズーム位置インジケータの形状は、例えば、円形や三角形でもよいし、ガイドインジケータの中心を起点とする矢印としてもよい。

また、ガイドインジケータの外縁中心から遠ざかるにつれ、ズーム位置インジケータの表示色を変化させるようにしてもよい。例えば、中心付近ではズーム位置インジケータの表示色を「青色」とし、外縁に近づくにつれて「赤色」に近づけてもよい。
また、手振れ補正が有効である場合と無効である場合とで、ガイドインジケータ外縁の表示色を変更するようにしてもよい。

本変形例における画像処理装置（例えば、画像処理装置１）では、制御手段（例えば、表示制御部１８０）は、変移（例えば、補正ベクトルＣ）と設定値（例えば、手振れ補正条件の所定値「Ｒ」）とに基づいて、補助情報（例えば、ガイドインジケータ）の表示態様を変化させる。
これによれば、ユーザーは、補助情報の表示態様を確認することで、像振れ補正が有効か否かをより容易に把握することができる。

また、本変形例では、制御手段（例えば、表示制御部１８０）は、変移の大きさ（例えば、補正ベクトルＣの大きさ）と設定値（例えば、所定値「Ｒ」）との関係に基づいて、インジケータ（例えば、ズーム位置インジケータ）の表示態様を変化させる。
これによれば、ユーザーは、インジケータの表示態様を確認することで、補助情報の外縁とインジケータとの関係性を確認せずとも、像振れ補正を有効化する範囲外までの撮像装置の動きに関する許容の度合いを容易かつ適切に把握することができる。

＜ズーム位置インジケータについての変形例２＞
上記の実施形態では、ズーム位置インジケータは、補正ベクトルＣの終点に配置されることとしたが、これに限定されない。例えば、ズーム位置インジケータを、ガイドインジケータの外縁中心に対して、補正ベクトルＣの終点と点対称となる位置に配置するようにしてもよい。

図１２は、この場合に、ズーム位置インジケータを矢印とした場合の、図７の別例である。
各遷移状態でのスルー画像である図１２（Ｂ）～図１２（Ｃ）内の各ズーム画像については、例えば、図７（Ｂ）～図７（Ｃ）と同様になる。

図１２（Ｂ）のガイドインジケータでは、図７（Ｂ）のズーム位置インジケータが中央寄りの左下側に配置されていたのに対して、外縁の中心を始点とし、中央寄りの右上側に終点が伸びる矢印でズーム位置インジケータが示されている。他の遷移状態でも同様である。
この矢印の向きは、撮像部３１０の向きの変化（カメラ移動方向）と一致するため、撮像部３１０の操作者は、より直感的に手振れ補正の状態を把握することができる。

また、図１２（Ｂ′′）と図１２（Ｃ）では、ズーム位置インジケータの先端が外縁に接し、手振れ補正が無効化されていることに基づいて、矢印が、例えば、中心から外縁に向かって流れるように点滅している。
撮像部３１０の操作者は、このアニメーション効果により、矢印が流れる方向に全景中からズーム画像として捉える撮影対象を変更している途中であることを容易に把握することができる。

＜ガイドインジケータについての変形例＞
上記の実施形態では、ガイドインジケータの外縁を円形としたが、これに限定されない。例えば、外縁を矩形としてもよい。

この場合、例えば、ガイドインジケータでは、事前ズーム画像と同じ縦横比となる短径領域を外縁として描画する。そして、補正ベクトルＣを事前ズーム画像の縦横比に対して正規化せずに用いればよい。

なお、スルー画像中の一部（例えば、左上方）にガイドインジケータをまとめて描画しなくてもよい。例えば、スルー画像中の四辺・四隅に、補正ベクトルＣの向きに応じた、例えば、８方向のズーム位置インジケータを表示させ、補正ベクトルＣの大きさに応じてズーム位置インジケータの濃さや色を変えるようにしてもよい。

図１３に、この場合のスルー画像の遷移例を示す。各遷移状態でのスルー画像である図１３（Ｂ）～図１３（Ｂ′′）内の各ズーム画像については、例えば、図７（Ｂ）～図７（Ｂ′′）と同様になる。

図１３（Ｂ）では、スルー画像の四隅には、補正ベクトルＣの大きさが小さいことから、ズーム位置インジケータは表示されていない。

図１３（Ｂ′）では、補正ベクトルＣの大きさが大きくなったことに伴って、補正ベクトルＣの向きと対称な角であるスルー画像の左上に、Ｌ字型のインジケータが表示されている。
補正ベクトルＣの大きさは、例えば、補正条件の所定値「Ｒ」に対して「Ｒ／２」程度であるため、Ｌ字型のインジケータは、例えば、灰色で表示されている。

図１３（Ｂ′′）では、補正ベクトルＣの大きさが所定値「Ｒ」以上であることに基づいて、Ｌ字型のインジケータは、例えば、黒色で表示されている。また、手振れ補正が無効であることをより強く報知させるため、Ｌ字型のインジケータは点滅している。

なお、スルー画像の四隅のみにインジケータを表示させる場合、例えば、左へのカメラ移動と対応するインジケータとして、左上と左下とのインジケータを表示させるようにしてもよい。
また、スルー画像の四辺のみにインジケータを表示させる場合、例えば、左上へのカメラ移動と対応するインジケータとして、左辺と上辺とのインジケータを表示させるようにしてもよい。

また、実施例における手振れ補正のモードを、例えば、文字情報（例えば、「固定モード」）としてスルー画像に合成するようにしてもよい。この場合、例えば、固定モードでは補正ベクトルＣの大きさが大きくなるほど文字情報を早く点滅させ、追従モードでは文字情報を点灯させ続けるようにしてもよい。文字情報を合成する場合、ズーム位置インジケータを表示させないようにしてもよい。

＜報知の態様＞
本発明における報知（補正手段による像振れ補正を有効化しつつ切出領域を切り出し可能な範囲に関する報知）の種類・態様は、表示や音出力に限定されない。この他にも、例えば、振動や発光等を含めてもよい。

＜画像処理装置の構成＞
本発明では、画像処理装置１の構成として、例えば、以下のいずれかの構成を適用することができる。
（１）事前ズーム部１３０でデジタルズームを行い、手振れ補正ズーム部１４０でさらに手振れ補正付きデジタルズームを行う。
（２）事前ズーム部１３０でデジタルズームを行い、手振れ補正ズーム部１４０では手振れ補正のみを行う。
（３）事前ズーム部１３０を用いず、手振れ補正ズーム部１４０で手振れ補正付きデジタルズームを行う。
（４）事前ズーム部１３０を用いず、手振れ補正ズーム部１４０では手振れ補正のみを行う。
なお、手振れ補正ズーム部１４０では手振れ補正のみを行う場合、例えば、手振れ補正ズーム倍率を「１」倍とし、超解像処理部１７０における超解像処理を行わない構成が考えられる。

＜各種の装置＞
上記の実施例では、本発明を、画像処理装置、端末、電子装置（電子機器）、情報処理装置の一例であるスマートフォンに適用した場合を例示したが、これに限定されない。本発明は、デジタル望遠鏡、ビデオカメラ、スチルカメラ、タブレット端末、スマートグラス等のウェアラブル端末といった各種の装置に適用可能である。

＜記録媒体＞
上記の実施形態では、画像処理に係る各種のプログラムやデータが、記憶部２００に記憶されており、処理部がこれらのプログラムを読み出して実行することで、上記の各実施形態における画像処理が実現された。この場合、各装置の記憶部は、ＲＯＭやＥＥＰＲＯＭ、フラッシュメモリ、ハードディスク、ＲＡＭといった内部記憶装置の他に、メモリカード（ＳＤカード）やコンパクトフラッシュ（登録商標）カード、メモリスティック、ＵＳＢメモリ、ＣＤ－ＲＷ（光学ディスク）、ＭＯ（光磁気ディスク）といった、一時的ではない有形の記録媒体（記録メディア、外部記憶装置、記憶媒体）を有していてもよく、これらの記録媒体に上記の各種のプログラムやデータを記憶させることとしてもよい。
これらの記憶媒体は、コンピュータ読み取り可能な一時的ではない記録媒体（記憶媒体）の一例である。

図１４は、この場合における記録媒体の一例を示す図である。
この例において、画像処理装置１には、メモリカード４３０を挿入するためのカードスロット４１０が設けられており、カードスロット４１０に挿入されたメモリカード４３０に記憶された情報を読み取る又はメモリカード４３０に情報を書き込むためのカードリーダライタ（Ｒ／Ｗ）４２０が設けられている。

カードリーダライタ４２０は、処理部の制御に従って、不図示の記憶部に記録されたプログラムやデータをメモリカード４３０に書き込む動作を行う。メモリカード４３０に記録されたプログラムやデータは、画像処理装置１以外の外部装置で読み取ることで、当該外部装置において上記の実施形態における画像処理を実現することが可能に構成されている。

なお、上記の記録媒体は、上記の実施例で説明した画像処理装置１を備える端末（スマートフォン）、画像処理装置、電子装置（電子機器）、情報処理装置といった各種の装置に適用することもできる。

１ 画像処理装置
１０ スマートフォン
１１０ 事前ズーム部
１２０ 事前切り出し部
１３０ 事前超解像処理部
１４０ 手振れ補正ズーム部
１５０ 電子式手振れ補正部
１６０ 切り出し部
１７０ 超解像処理部
１８０ 表示制御部

Claims (18)

1. 撮像装置によって撮像された画像に基づくズーム画像を表示装置に表示し、外縁を前記表示装置に表示し、前記外縁に囲まれた位置にインジケータを表示する制御を行う制御手段、を備え、
   前記外縁と前記インジケータとの最短距離が大きいほど、像振れ補正を無効化する範囲までの前記撮像装置又は被写体の動きに関する許容の度合が大きい、制御装置。
2. 前記制御手段は、前記外縁に囲まれた領域で前記インジケータの位置を変化させることが可能である、請求項１に記載の制御装置。
3. 前記外縁は円形又は矩形であり、
   前記インジケータは、前記撮像装置によって撮像された画像に基づく切出領域の変位が前記撮像に基づく画像の中心点に対して大きいほど前記外縁の中央から遠い点に配置され、
   前記切出領域の変位量があらかじめ定められた量に達すると前記点は前記外縁に接する、請求項２に記載の制御装置。
4. 前記インジケータは文字列を含む、請求項１から３のいずれか１項に記載の制御装置。
5. 前記制御手段は、前記外縁と前記インジケータとの最短距離に応じて、前記文字列の濃さ、色、又は点滅間隔を変化させる、請求項４に記載の制御装置。
6. 前記インジケータは矢印を含む、請求項１から３のいずれか１項に記載の制御装置。
7. 前記外縁と前記インジケータとの最短距離は、前記外縁と前記矢印の先端との最短距離である、請求項６に記載の制御装置。
8. 前記矢印の始点は前記外縁の中央であり、前記矢印の向きは前記撮像装置によって撮像された画像に基づく切出領域の変位方向と一致し、前記矢印の長さは前記切出領域の変位量が大きいほど長い、請求項７に記載の制御装置。
9. 前記制御手段は、前記像振れ補正に関する複数のモードから設定されるモードに応じた前記像振れ補正を行う、請求項１から８のいずれか１項に記載の制御装置。
10. 前記複数のモードは、少なくとも、第１処理によって前記像振れ補正を行う第１モードと、前記第１処理とは異なる第２処理によって前記像振れ補正を行う、又は前記像振れ補正を行わない第２モードとを含み、
    前記制御手段は、前記第１モードである場合、前記インジケータを第１態様で表示させ、前記第２モードである場合、前記インジケータを前記第１態様とは異なる第２態様で表示させる、請求項９に記載の制御装置。
11. 前記インジケータは文字列を含み、
    前記第１態様と、前記第２態様とは、前記文字列が異なる、請求項１０に記載の制御装置。
12. 前記インジケータは矢印の態様であり、
    前記第１態様と、前記第２態様とは、前記矢印の線種が異なる、請求項１０に記載の制御装置。
13. 撮像装置によって撮像された画像に基づくズーム画像を表示装置に表示し、前記ズーム画像のふちにインジケータを表示することが可能であり、前記インジケータの濃さを変化させることが可能な制御手段、を備え、
    前記濃さが濃いほど、像振れ補正を無効化する範囲までの前記撮像装置又は被写体の動きに関する許容の度合が小さい、制御装置。
14. 前記制御手段は、前記像振れ補正に関する複数のモードから設定されるモードに応じた前記像振れ補正を行い、
    前記複数のモードは、少なくとも、第１処理によって前記像振れ補正を行う第１モードと、前記第１処理とは異なる第２処理によって前記像振れ補正を行う、又は前記像振れ補正を行わない第２モードとを含み、
    前記制御手段は、前記第１モードである場合、前記インジケータを第１態様で表示させ、前記第２モードである場合、前記インジケータを前記第１態様とは異なる第２態様で表示させ、
    前記第１態様と、前記第２態様とは、点灯又は点滅の態様である、請求項１３に記載の制御装置。
15. 前記制御手段は、ズーム撮影時に、前記インジケータを表示する制御を行う、請求項１から１４のいずれか一項に記載の制御装置。
16. 撮像装置によって撮像された画像に基づくズーム画像を表示装置に表示することと、
    外縁を前記表示装置に表示することと、
    前記外縁に囲まれた位置にインジケータを表示することと、を含み、
    前記外縁と前記インジケータとの最短距離が大きいほど、像振れ補正を無効化する範囲までの前記撮像装置又は被写体の動きに関する許容の度合が大きい、制御方法。
17. 前記外縁に囲まれた領域で前記インジケータの位置を変化させることが可能である、請求項１６に記載の制御方法。
18. コンピュータに、
    撮像装置によって撮像された画像に基づくズーム画像を表示装置に表示することと、
    外縁を前記表示装置に表示することと、
    前記外縁に囲まれた位置にインジケータを表示することと、を実行させ、
    前記外縁と前記インジケータとの最短距離が大きいほど、像振れ補正を無効化する範囲までの前記撮像装置又は被写体の動きに関する許容の度合が大きい、プログラム。

Images