JP5364625B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

連続して撮像した複数の画像データを貼り合わせてパノラマ画像データを生成するパノラマ撮影機能を有するカメラが存在する。このようなカメラにおいて、ユーザがどの画角で撮影すればよいかを示すガイド情報を表示する技術が特許文献１〜３に開示されている。

これらの技術は、いずれも、ユーザがカメラを所定位置に移動させる毎にシャッタを押して静止画撮像を行うような使い方を前提にしたものである。しかし、パノラマ撮影の手法としては、ユーザがカメラを移動させている間に、カメラ側が所定タイミング毎に撮像を実施し、その撮像によって得られる画像データからパノラマ画像データを生成するものも存在する。

このように、カメラの移動中に自動的に撮像を実施する場合においては、特許文献１〜３に開示された技術のように、次にどの位置にカメラを移動させるべきかといったガイド情報はあまり必要ではない。むしろ、カメラを一定速度で移動させるようにガイドすることが重要となる。

パノラマ撮影時にカメラの移動速度が適正になるようガイドする技術は、特許文献１〜３には当然ながら記載されておらず、このような技術は今まで知られていない。

特開２００９−６０２７８号公報 特開２００６−６０８２６号公報 特開２００５−３０３５９４号公報

本発明は、上記事情に鑑みてなされたものであり、パノラマ撮影に最適な装置の移動速度をガイドすることが可能な撮像装置を提供することを目的とする。

本発明の撮像装置は、固体撮像素子と表示部とを有する撮像装置であって、連続して複数フレームの撮像を実施し、当該複数フレームの撮像の各々によって得られる複数の画像データを合成してパノラマ画像データを生成し記録するパノラマ撮像モードを有し、前記パノラマ撮像モード時に、前記固体撮像素子で順次撮像して得られる画像データに基づく動画像を前記表示部に表示させる表示制御部と、前記複数フレームのうちの任意のフレームと当該任意のフレームよりも後のフレームとの間の画角の移動量である第一の移動量を算出する第一の移動量算出部と、前記任意のフレームと前記後のフレームとの間の画角の移動量であって前記複数の画像データの合成に最適な移動量である第二の移動量と前記第一の移動量とのずれ量である第三の移動量を算出する第三の移動量算出部とを備え、前記表示制御部は、前記第三の移動量を視覚的に認識させるための情報として第一の情報と第二の情報を、前記動画像と共に前記表示部に表示させ、更に、前記第二の情報を、前記一の情報に対して前記第三の移動量に応じた位置関係で表示させ、更に、前記第二の移動量に応じて、前記第一の情報の表示サイズを変更するものである。

本発明によれば、パノラマ撮影に最適な装置の移動速度をガイドすることが可能な撮像装置を提供することができる。

本発明の一実施形態を説明するためのデジタルカメラのパノラマ撮像モードの概略を説明するための図 本発明の一実施形態を説明するためのデジタルカメラのパノラマ撮像モード時のパノラマ画像データの生成方法を示す図 本発明の一実施形態を説明するためのデジタルカメラのパノラマ撮像モード時のパノラマ画像データの生成方法を示す図 本発明の一実施形態を説明するためのデジタルカメラの概略構成を示す図 図４に示したデジタルカメラの表示部への情報の表示方法を説明する図 図１に示した画像データＧ１，Ｇ４，Ｇ７から生成したパノラマ画像データＰ’を示した図 図１に示した画像データＧ１，Ｇ４，Ｇ７から生成したパノラマ画像データＰ’を示した図 図４に示したデジタルカメラの表示部への情報の表示方法を説明する図 図４に示したデジタルカメラの表示部への情報の表示方法を説明する図 図４に示したデジタルカメラの表示部への情報の表示方法を説明する図 図４に示したデジタルカメラの表示部への情報の表示方法を説明する図 図４に示したデジタルカメラの表示部への情報の表示方法を説明する図 図４に示したデジタルカメラの表示部への情報の表示方法を説明する図

以下、本発明の撮像装置の実施形態としてのデジタルカメラについて図面を参照して説明する。このデジタルカメラはパノラマ撮像モードを有しており、以下では、まず、このパノラマ撮像モードの概略について説明する。

図１は、本発明の一実施形態を説明するためのデジタルカメラのパノラマ撮像モードの概略を説明するための図である。

このデジタルカメラは、パノラマ撮像モードに設定され、パノラマ撮像の開始指示（例えばシャッタボタンの押下）がなされると、所定のフレームレートで動画撮像を開始する。続いて、このデジタルカメラは、この動画撮像中の所定フレーム（例えば３フレーム）毎に得られる画像データをパノラマ合成に用いる合成用画像データとしてメモリに記憶していく。パノラマ撮像の終了指示（例えばシャッタボタンを元の状態に戻す）がなされると、デジタルカメラは、メモリに記憶した合成用画像データを合成してパノラマ画像データを生成する。

つまり、このパノラマ撮像モードでは、ユーザが撮像開始指示を行ってから撮像終了指示を行うまでの間は、パノラマ画像データの生成に必要な複数フレームの撮像を、デジタルカメラが自動で連続して実施するものとなっている。そして、このデジタルカメラでは、この撮像開始指示を行ってから撮像終了指示を行うまでの間のデジタルカメラの移動速度がパノラマ合成に適しているかどうかを示すガイド情報をユーザに知らせることで、失敗の少ないパノラマ撮像をユーザに行わせることを可能としている。以下では、このガイド情報の生成方法について説明する。

図１は、このデジタルカメラの動画撮像中に得られる画像データの動きを示した図である。図１に示したｔ１〜ｔ７は、それぞれ動画撮像の１フレームの撮像が実施される時刻を示している。また、図１の時刻ｔ１〜ｔ７のそれぞれの右隣には、各時刻の撮像で得られる画像データＧ１〜Ｇ７を図示している。図１では、デジタルカメラを地面に対して水平に右方向に移動させながら撮像を行った場合の各画像データを図示した。

ここで、合成用画像データを、動画撮像の３フレーム毎に得られる画像データとすると、例えば、画像データＧ１と画像データＧ４と画像データＧ７がメモリに記憶される。

このようにして得られた画像データＧ１，Ｇ４，Ｇ７から、デジタルカメラは次のようにしてパノラマ画像データを生成する。

まず、デジタルカメラは、画像データＧ１と画像データＧ４の特徴点同士を比較することで、画像データＧ１に対する画像データＧ４の移動量（時刻ｔ１時点のデジタルカメラの画角と時刻ｔ４時点のデジタルカメラの画角との間の画角の移動量と同義）Ａ１を算出する。

次に、デジタルカメラは、図２に示すように、画像データＧ１から、その中央にある水平方向の幅がＬのデータＧ１ａをトリミングする。このデータＧ１ａは、その水平方向の中心を通る水平方向に直交する方向の直線（中心線）が、画像データＧ１の中心線と一致するようにトリミングされた領域である。デジタルカメラは、同様にして、画像データＧ４からも、その中心線から左右にＬ／２の距離にあるデータＧ４ａをトリミングする。

画像データＧ１〜Ｇ７の各々の端部はレンズ収差による歪みの影響が大きい。このため、この端部のデータについては、パノラマ合成に使用しないようにすることで、パノラマ画像データの品質を高めることができる。そこで、このデジタルカメラでは、レンズ収差による歪みの影響が大きい領域のデータを使用しないために、予め、各合成用画像データから幅Ｌのデータをトリミングする作業を行っている。

次に、デジタルカメラは、データＧ１ａの水平方向左側の端部から移動量Ａ１の位置が、データＧ１ａとデータＧ４ａの境界となるように、データＧ１ａにデータＧ４ａを移動量Ａ１だけずらして重ねて、パノラマ画像データＰを生成する。ここで、データＧ１ａとデータＧ４ａが重なる部分は、データＧ４ａで上書きする。

なお、データＧ１ａを、その左側端部から移動量Ａ１の範囲でトリミングし、トリミングして得たデータＧ１ａの右側端部と、データＧ４ａの左側端部とを接合することで、パノラマ画像データＰを生成してもよい。

次に、デジタルカメラは、画像データＧ４と画像データＧ７との間の移動量Ａ２を算出し、画像データＧ７から、その中心線から左右にＬ／２の距離にあるデータＧ７ａをトリミングする。

次に、デジタルカメラは、図１に示したパノラマ画像データＰのデータＧ４ａにデータＧ７ａを移動量Ａ２だけずらして重ねることでこのパノラマ画像データＰ’を生成する（図３参照）。

このように、デジタルカメラは、時系列で隣の画像データ同士を、その画像データ間の移動量だけずらしながら重ね合わせ又は接合して合成することで、パノラマ画像データＰ’を生成する。

パノラマ画像データＰ’を生成する際には、合成する２つのトリミングデータ同士に重複する領域が必要となる。この領域の水平方向の幅が０であると合成ができなくなり、幅がＬであると画角が動いていないことになってパノラマ画像が生成できない。このため、この領域の幅Ｂは０＜Ｂ＜Ｌの条件を満たす必要がある。この幅Ｂは、合成する２つのトリミングデータ間の移動量をＶ１とすると、Ｌ−Ｖ１で表すことができる。

また、パノラマ画像データＰ’を最も良好なものにするには、上記幅Ｂを、合成する２つのトリミングデータ間で全て同じにする必要がある。このため、０＜Ｂ＜Ｌの条件とＢ＝Ｌ−Ｖ１の式とから、合成用画像データ同士の間の移動量Ｖ１が０＜Ｖ１＜Ｌの範囲でかつ一定になっていれば、各合成画像データのトリミングデータ同士の重複幅を等しくすることができ、最も良好なパノラマ画像データを得ることができる。

つまり、複数の合成用画像データを合成してパノラマ画像データを生成する際の、各合成用画像データ間の最適な移動量（Ｖ２とする）は、０＜Ｖ１＜Ｌの条件から、以下の式（１）によって事前に決めておくことができる。

Ｖ２＝ａ×Ｌ （１）
ただし、０＜ａ＜１

なお、ここまでは、パノラマ画像データＰ’の画角移動方向（画像合成方向）の幅に制限がないものとして説明した。以下では、この幅に制限がある場合の移動量Ｖ２の決定方法について説明する。

例えば、図２に示したパノラマ画像データＰの幅Ｗが予め決められている場合は、データＧ１ａとデータＧ４ａの重複幅Ｂ１も予め決まってしまう。このため、このような場合には、図１に示した移動量Ａ１が、（Ｗ‐Ｂ１）／２となっていれば、最も良好なパノラマ画像データＰを得ることができる。

また、図３に示したパノラマ画像データＰ’の幅Ｗが予め決められている場合は、データＧ１ａとデータＧ４ａの重複幅Ｂ１、データＧ４ａとデータＧ７ａの重複幅Ｂ２も予め決まってしまう。このため、このような場合には、図１に示した移動量Ａ１，Ａ２が、それぞれ（Ｗ‐Ｂ２）／３となっていれば、最も良好なパノラマ画像データＰ’を得ることができる。

つまり、パノラマ画像データの幅Ｗが予め決まっている場合は、複数の合成用画像データを合成してパノラマ画像データを生成する際の各合成用画像データ間の最適な移動量Ｖ２は、以下の式（２）によって事前に決めておくことができる。

Ｖ２＝（Ｗ−Ｂ）／Ｎ （２）

式（２）において、Ｎは、パノラマ画像データの生成に用いる合成用画像データの総数を示す。

このように、このデジタルカメラでは、各合成用画像データ間の移動量Ｖ１が式（１）又は（２）で事前に決めた移動量Ｖ２となるような速度でデジタルカメラを移動させれば、最も良好なパノラマ画像データを得ることができる。そこで、このデジタルカメラでは、ユーザに対し、パノラマ合成に最適な速度でデジタルカメラを移動させるためのガイド情報を表示部に表示するものとしている。

具体的には、デジタルカメラが、合成用画像データの撮像が行われる複数フレームのうち、任意のフレーム（第一フレームとする）で得られた合成用画像データと、第一フレームの次の第二フレームで得られた合成用画像データとの間の移動量Ｖ１を求める。続いて、デジタルカメラは、この移動量Ｖ１と移動量Ｖ２とのずれ量である移動量Ｖ３を算出する。この移動量Ｖ３は、第一フレームと第二のフレーム間のデジタルカメラの移動速度が、パノラマ合成に最適な移動速度からどれだけずれているかを示す情報となる。

例えば、Ｖ３＝Ｖ２−Ｖ１とすると、Ｖ３＝０のときは、デジタルカメラがパノラマ合成に最適なスピードで移動していることを意味する。また、Ｖ３＞０のときは、デジタルカメラがパノラマ合成に最適なスピードよりも遅いスピードで移動していることを意味する。また、Ｖ３＜０のときは、デジタルカメラがパノラマ合成に最適なスピードよりも速いスピードで移動していることを意味する。

したがって、このデジタルカメラでは、この移動量Ｖ３を視覚的に認識させる情報を表示部に表示させることで、ユーザに対し、デジタルカメラの移動速度の最適速度からのずれを知らせるようにしている。この結果、最適な速度でデジタルカメラを移動させるようユーザに促すことができ、パノラマ撮像の失敗する確率を減らす効果が期待できる。

なお、Ｖ３がＶ２以上のときは画角移動がないことになってパノラマ画像が作れず、Ｖ３が−Ｌ以下のときは、合成用画像データ間に重複領域がなくなってパノラマ合成ができなくなる。このため、移動量Ｖ３にはパノラマ合成を行うのに許容される範囲が存在し、−Ｌ＜Ｖ３＜Ｖ２の条件を満たしていれば、パノラマ画像データの生成が可能となる。

また、ここまでは、合成用画像データを、動画撮像の３フレーム毎に得られる画像データとしたが、勿論、動画撮像の各フレーム毎に得られる画像データとしてもよい。このようにすることで、合成精度を向上させることができる。

以下、このような機能を実現するデジタルカメラの具体的な構成について説明する。

図４は、本発明の一実施形態を説明するための撮像装置の概略構成を示す図である。撮像装置としては、デジタルカメラ及びデジタルビデオカメラ等の撮像装置、カメラ付携帯電話機等に搭載される撮像モジュール、等があり、ここではデジタルカメラを例にして説明する。

図示するデジタルカメラの撮像系は、撮影レンズ１と、ＣＣＤ型イメージセンサ等の固体撮像素子５と、この両者の間に設けられた絞り２と、赤外線カットフィルタ３と、光学ローパスフィルタ４とを備える。

デジタルカメラの電気制御系全体を統括制御するシステム制御部１１は、フラッシュ発光部１２及び受光部１３を制御し、レンズ駆動部８を制御して撮影レンズ１の位置をフォーカス位置に調整したりズーム調整を行ったりし、絞り駆動部９を介し絞り２の開口量を制御して露光量調整を行う。

また、システム制御部１１は、撮像素子駆動部１０を介して固体撮像素子５を駆動し、撮影レンズ１を通して撮像した被写体像を撮像信号として出力させる。システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。

デジタルカメラの電気制御系は、更に、固体撮像素子５の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、このアナログ信号処理部６から出力されたＲＧＢの色信号をデジタル信号に変換するＡ／Ｄ変換回路７とを備え、これらはシステム制御部１１によって制御される。

更に、このデジタルカメラの電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、補間演算やガンマ補正演算，ＲＧＢ／ＹＣ変換処理等を行って画像データを生成するデジタル信号処理部１７と、上述した移動量Ｖ１、Ｖ３の算出を行う移動量算出部１８と、上述した方法でパノラマ画像データを生成するパノラマ合成部１９と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、カメラ背面等に搭載された液晶表示部２３が接続される表示制御部２２とを備える。メモリ制御部１５、デジタル信号処理部１７、移動量算出部１８、パノラマ合成部１９、外部メモリ制御部２０、及び表示制御部２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。

システム制御部１１は、パノラマ撮像モードに設定されると、撮像素子駆動部１０を制御して固体撮像素子５により動画撮像を開始させる。

また、システム制御部１１は、この動画撮像中に、操作部１４に含まれるシャッタボタンの押下によるパノラマ撮像開始指示を受けると、パノラマ撮像開始指示があったことを示す制御信号をデジタル信号処理部１７に送信する。このパノラマ撮像開始信号には、どのフレームの画像データをパノラマ画像データの生成に用いるかを指定するフレーム指定情報も含まれる。

また、システム制御部１１は、シャッタボタンが元の状態に戻ることによるパノラマ撮像終了指示を受けると、パノラマ撮像終了指示があったことを示すパノラマ撮像終了信号をデジタル信号処理部１７に送信する。

デジタル信号処理部１７は、パノラマ撮像モードに設定され動画撮像が開始されると、各フレームの撮像で固体撮像素子５から出力される撮像信号から、表示部２３に表示するための表示用画像データを生成し、表示制御部２２に内蔵されるフレームメモリにこれを順次記憶する。

また、デジタル信号処理部１７は、システム制御部１１からパノラマ撮像開始信号を受信してからパノラマ撮像終了信号を受信するまでの間は、フレーム指定情報で指定されたフレームで固体撮像素子５から出力された撮像信号については、この撮像信号からパノラマ画像データ生成用の合成用画像データも生成し、この合成用画像データをメインメモリ１６に記憶する。

移動量算出部１８は、メインメモリ１６に記憶された任意のフレームの合成用画像データと、その次のフレームの合成用画像データとから、２つの合成用画像データ間の移動量Ｖ１を算出する。

また、移動量算出部１８は、式（１）又は式（２）によって予め決められた移動量Ｖ２と、算出した移動量Ｖ１とのずれ量である移動量Ｖ３を以下の式（３）により算出する。

Ｖ３＝Ｖ２−Ｖ１ （３）

パノラマ合成部１９は、メインメモリ１６に記憶された合成用画像データと、移動量算出部１８で算出された移動量Ｖ１とに基づいて、図１〜図３を用いて説明した方法でパノラマ画像データを生成し、これを記録媒体２１に記録する。

表示制御部２２は、フレームメモリに記憶される表示用画像データに基づく画像を表示部２３に順次表示させることで、動画撮像中の被写体をライブビュー動画として表示部２３にリアルタイムに表示する。

また、表示制御部２２は、移動量算出部１８で算出された移動量Ｖ３を視覚的に認識させるための情報を表示部２３に表示中のライブビュー動画と共に表示させる。

図５は、図１に示したデジタルカメラにおいて、パノラマ撮像開始後に表示部２３に表示される画面例を示した図である。

図５に示すように、移動量Ｖ３を視覚的に認識させるための情報は、第一の情報である矩形の枠２１と、第二の情報である魔女のキャラクタ２２とを含む。

例えば、図示しないカメラのＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Memory）には、矩形の枠２１を表示するためのデータと、魔女のキャラクタ２２を表示するためのデータとが記録されており、表示制御部２２は、表示部２３に表示中のライブビュー動画に、このデータを重畳表示させることで、矩形の枠２１と魔女のキャラクタ２２とを表示する。

表示制御部２２は、矩形の枠２１については、ライブビュー動画における所定位置（図５の例では中央）に表示させる。また、表示制御部２２は、移動量算出部１８で算出された移動量Ｖ３の累積値を算出し、矩形の枠２１の中心から、この累積値に応じた位置に、魔女のキャラクタ２２を表示させる。

表示制御部２２は、移動量Ｖ３の累積値がマイナスであれば、矩形の枠２１の中心から画角移動方向と反対方向である左方向の当該累積値の絶対値に応じた距離にある位置に、魔女のキャラクタ２２を表示させる。また、表示制御部２２は、移動量Ｖ３の累積値がプラスであれば、矩形の枠２１の中心から画角移動方向である右方向の当該累積値の絶対値に応じた距離にある位置に、魔女のキャラクタ２２を表示させる。また、表示制御部２２は、移動量Ｖ３の累積値がゼロであれば、魔女のキャラクタ２２の中心（ここでは、魔女のキャラクタ２２の顔部分を中心としている）を、矩形の枠２１の中心と一致させて表示させる。

なお、累積値が０のときは、原点Ｏと魔女のキャラクタ２２の中心とを必ずしも一致させなくてもよい。例えば、累積値＝０のときは、矩形の枠２１内に魔女のキャラクタ２２の中心が入るように魔女のキャラクタ２２を表示し、累積値＝０でないときは、矩形の枠２１外に魔女のキャラクタ２２の中心が出るように、魔女のキャラクタ２２を表示させるようにしてもよい。矩形の枠２１の外においては、魔女のキャラクタ２２の表示位置を、移動量Ｖ３の累積値に応じた位置とすればよい。

このような制御により、合成用画像データ取得のための撮像が進められるにつれて、魔女のキャラクタ２２が、矩形の枠２１に対し、移動量Ｖ３の累積値に応じた速度で移動していくように表示されることになる。表示制御部２２は、パノラマ撮像モードが設定された時点での初期状態では、魔女のキャラクタ２２の中心を矩形の枠２１の中心と一致させて表示させ、パノラマ撮像開始後は、移動量Ｖ３の累積値に応じた位置に魔女のキャラクタ２２を表示させていく。

以上のように、図４に示したデジタルカメラによれば、パノラマ撮像中、表示部２３には、移動量Ｖ３の累積値に応じた位置に魔女のキャラクタ２２が表示される。魔女のキャラクタ２２が移動しているということは、移動量Ｖ３＝０でないことを意味する。このため、ユーザは、この魔女のキャラクタ２２の動きが止まるように（Ｖ３の累積値が増加あるいは減少しないように）デジタルカメラの移動速度を調整することで、デジタルカメラの移動速度を最適速度で一定に保つことができる。例えば、魔女のキャラクタ２２が左方向に移動しているときには、魔女のキャラクタ２２が右方向に移動するようにデジタルカメラの移動速度を調整することで、デジタルカメラの移動速度が速くなっていた場合でも、その移動速度を最適速度まで戻すことができるようになる。このように、移動量Ｖ３を視覚的に認識させる情報を表示部２３に表示することで、最適なパノラマ撮像を行う支援が可能となる。

また、このデジタルカメラによれば、魔女のキャラクタ２２の位置が、移動量Ｖ３の累積値に対応するため、魔女のキャラクタ２２の位置を見ることで、デジタルカメラの移動速度がどのように変化したのかを把握することができる。

例えば、魔女のキャラクタ２２が矩形の枠２１の右側で静止している場合には、このデジタルカメラが、最適速度よりも遅い速度で一旦移動し、その後、最適速度で一定に移動している状態であると判断することができる。

デジタルカメラがこのような動きをしていた場合、生成されるパノラマ画像データの水平方向の幅は、デジタルカメラを最初から最適速度で移動させてパノラマ撮像を行ったときと比較して大きくなる。以下、この理由を、図６，７を用いて説明する。

図６及び図７は、図１に示した画像データＧ１，Ｇ４，Ｇ７から生成したパノラマ画像データＰ’を示した図である。図６は、合成画像データを得る複数フレームのうちの最初のフレーム間の移動量Ｖ１が移動量Ｖ２であり、次のフレーム間の移動量Ｖ１が移動量Ｖ２であったときのものとした。図７は、最初のフレーム間の移動量Ｖ１が移動量Ｖ２であり、次のフレーム間の移動量Ｖ１が移動量Ｖ２よりも大きいＡであったときのものとした。

図７に示すように、移動量Ｖ１がＶ２よりも大きいＡになると、パノラマ画像データＰ’の幅Ｗは、図６に示した例と比較して、（Ａ−Ｖ２）分だけ広がってしまう。このため、パノラマ画像データＰ’の幅Ｗが予め決められている場合には、パノラマ画像データＰ’の右端にあるデータＧ７ａの端部を（Ａ−Ｖ２）分だけ切り落とす必要が生じる。

この（Ａ−Ｖ２）は上述してきた移動量Ｖ３の符号を逆にしたものに相当する。つまり、パノラマ合成に用いるフレームの撮像が終了した時点での、各隣接フレーム間で算出された移動量Ｖ３の合計がマイナスになっていれば、パノラマ画像データの右端にあるデータを切り落とす必要が生じる。これに対し、この合計がゼロ又はプラスになっていれば、パノラマ画像データの右端にあるデータは切り落とさなくてもよくなる。

このことから、図５に示した表示方式によれば、魔女のキャラクタ２２が移動してしまっても、その魔女のキャラクタ２２の位置が初期状態の位置に戻るようにデジタルカメラの動きを調整する（移動量Ｖ３の累積値がゼロとなるように魔女のキャラクタ２２の位置を調整する）ことで、端部の切り落としのない良好なパノラマ画像データを得ることができる。

なお、パノラマ画像データの幅に制限がない場合には、切り落としを心配する必要がない。このため、このような場合は、移動量Ｖ３＝０になったときには、移動量Ｖ３の累積値に関わらず、図８に示したように、魔女のキャラクタ２２の中心を矩形の枠２１の中心と一致させて、又は、矩形の枠２１内に魔女のキャラクタ２２の中心がくるように表示させるとよい。このようにすることで、ユーザは、今現在、最適な移動速度でデジタルカメラを移動させていることを把握しやすくなり、使い勝手を向上させることができる。

以下では、表示制御部２２による、移動量Ｖ３を視覚的に認識させる情報の表示方法の変形例について説明する。

（第一の変形例）
図９は、図４に示したデジタルカメラの移動量Ｖ３を視覚的に認識させる情報の表示方法の第一の変形例を説明する図である。

図９に示すように、表示制御部２２は、矩形の枠２１については、ライブビュー動画における所定位置（図９の例では中央）に表示させる。また、表示制御部２２は、矩形の枠２１の中心を原点Ｏとして、水平方向に座標を設定する。この座標は、原点Ｏから画角移動方向を正の値とし、原点Ｏから画角移動方向の反対方向を負の値とする。そして、この原点Ｏから移動量Ｖ３に応じた距離ｘの座標位置に、魔女のキャラクタ２２を表示させる。ｘは、例えば移動量Ｖ３に比例する値であり、次の式（３）で求まる値とする。

ｘ＝ｂ×Ｖ３ （３）
ｂは比例係数であり、ｂ＞０である。

例えば、Ｖ３＝０であれば、ｘ＝０となるため、表示制御部２２は、原点Ｏに、魔女のキャラクタ２２の中心を一致させて表示させる。

また、Ｖ３＞０であれば、ｘが正の値となるため、表示制御部２２は、矩形の枠２１の中心から、画角移動方向（図９の右側）の距離ｘの位置に、魔女のキャラクタ２２の中心を一致させて表示させる。

また、Ｖ３＜０であれば、ｘが負の値となるため、表示制御部２２は、矩形の枠２１の中心から、画角移動方向とは反対方向（図９の左側）の距離ｘの位置に、魔女のキャラクタ２２の中心を一致して表示させる。

このようにすることで、矩形の枠２１よりも魔女のキャラクタ２２が左にいれば、デジタルカメラの移動速度が速すぎることを感覚的に理解でき、矩形の枠２１よりも魔女のキャラクタ２２が右にいれば、デジタルカメラの移動速度が遅すぎることを感覚的に理解することができるようになる。

このような魔女のキャラクタ２２を表示させることで、この魔女のキャラクタ２２の位置が矩形の枠２１の中心にくるようにデジタルカメラの移動速度を調整するよう、ユーザに促すことができる。この結果、良好なパノラマ撮像をユーザに行わせることが可能となる。

なお、Ｖ３＝０のときは、原点Ｏと魔女のキャラクタ２２の中心とを必ずしも一致させなくてもよい。例えば、Ｖ３＝０のときは、矩形の枠２１内に魔女のキャラクタ２２の中心が入るように魔女のキャラクタ２２を表示し、Ｖ３＝０でないときは、矩形の枠２１外に魔女のキャラクタ２２の中心が出るように、魔女のキャラクタ２２を表示させるようにしてもよい。矩形の枠２１の外においては、魔女のキャラクタ２２の表示位置を、移動量Ｖ３に応じた位置とすればよい。

（第三の変形例）
これまでは、矩形の枠２１の表示位置を固定としたが、この表示位置を可変とすることが好ましい。

図１０は、第三の変形例の表示方法を説明するための図である。この例では、表示制御部２２が、パノラマ撮像スタート時に画角移動方向の情報を取得し、表示部２３の中心よりも当該情報に基づく画角移動方向の反対方向に、矩形の枠２１の中心位置を初期状態の位置（表示部２３の中心）からずらして表示させる。例えば、画角移動方向が右であれば、表示部２３の中心から左に所定距離の位置に矩形の枠２１を表示し、画角移動方向が左であれば、表示部２３の中心から右に所定距離の位置に矩形の枠２１を表示する。

なお、画角移動方向の情報は、ユーザが操作部１４から手動で設定されたものを取得してもよいし、移動量算出部１８が移動量Ｖ１を算出したときに、画角移動方向の情報も併せて生成しておき、この情報を取得するようにしてもよい。

このようにすることで、ユーザは魔女のキャラクタ２２の矩形の枠２１内に捕らえやすくなり、デジタルカメラの移動速度の調整がしやすくなる。

（第四の変形例）
パノラマ画像データの生成条件によって移動量Ｖ２の値を変更することもあるため、矩形の枠２１の大きさは、図１１に示すように、式（１）又は（２）によって決まる移動量Ｖ２に応じて適宜変更することが好ましい。

この場合、表示制御部２２は、複数サイズの矩形の枠２１のデータの中から、移動量Ｖ２の値に応じたサイズを選択し、このサイズの矩形の枠２１を表示部２３に表示する。例えば、移動量Ｖ２が大きくなれば、矩形の枠２１のサイズも大きいものを選択する。

このようにすることで、ユーザは、矩形の枠２１の大きさを見て、デジタルカメラを速く移動させるべき撮影条件であると判断することができる。このため、デジタルカメラを遅く移動させすぎるといった失敗をなくすことができ、良好なパノラマ撮像を行うことができるようになる。

（第五の変形例）
これまでは、第二の情報を魔女のキャラクタ２２としたが、第二の情報の内容を、図５に示した方法のときは移動量Ｖ３の累積値に応じて変更し、図９に示した方法のときは移動量Ｖ３に応じて変更することが好ましい。

図１２は、移動量Ｖ３の累積値又は移動量Ｖ３、に応じてキャラクタ内容を変更することを説明する図である。

図１２に示すように、Ｖ３＜０（Ｖ１＞Ｖ２）のときは、キャラクタとして、急いで移動している状態の魔女のキャラクタ２２ａを表示し、Ｖ３＝０（Ｖ１＝Ｖ２）のときは、キャラクタとして、これまで説明した魔女のキャラクタ２２を表示し、Ｖ３＞０（Ｖ１＜Ｖ２）のときは、キャラクタとして、歩いている状態の魔女のキャラクタ２２ｂを表示する。

デジタルカメラのＲＯＭには、第二の情報として、魔女のキャラクタ２２のデータの他に、魔女のキャラクタ２２ａのデータと、魔女のキャラクタ２２ｂのデータを記憶しておく。そして、表示制御部２２は、移動量算出部１８で算出された移動量Ｖ３又は移動量Ｖ３の累積値に応じた内容の魔女のキャラクタを読み出して表示させる。

このようにすることで、ユーザは、魔女のキャラクタの状態によって、デジタルカメラの移動速度が速いのか遅いのかを感覚的に知ることができるようになる。

（第六の変形例）
これまでは、画角移動方向が水平右方向であるときを例示してきた。実際には、このデジタルカメラのパノラマ撮像モードは、水平右方向の他に、水平左方向と、水平方向に直交する垂直上方向と、垂直下方向との４方向で、パノラマ撮像を実施することができる。

このため、表示制御部２２は、画角移動方向の情報を取得し、その方向に応じて、第二の情報として表示部２３に表示させるキャラクタの内容を変更することが好ましい。

例えば図１３に示したように、画角移動方向が水平左方向のときは、画角移動方向側を向かせた魔女のキャラクタ２２ｂを表示させる。また、画角移動方向が垂直上方向のときは、画角移動方向側を向かせたロケット２２ｃを表示させる。

このようにすることで、画角移動方向に合わせた向きのキャラクタを表示することができ、違和感のないガイド表示が可能となる。

以上説明してきたように、本明細書には次の事項が開示されている。

開示された撮像装置は、固体撮像素子と表示部とを有する撮像装置であって、連続して複数フレームの撮像を実施し、当該複数フレームの撮像の各々によって得られる複数の画像データを合成してパノラマ画像データを生成し記録するパノラマ撮像モードを有し、前記パノラマ撮像モード時に、前記固体撮像素子で順次撮像して得られる画像データに基づく動画像を前記表示部に表示させる表示制御部と、前記複数フレームのうちの任意のフレームと当該任意のフレームよりも後のフレームとの間の画角の移動量である第一の移動量を算出する第一の移動量算出部と、前記任意のフレームと前記後のフレームとの間の画角の移動量であって前記複数の画像データの合成に最適な移動量である第二の移動量と前記第一の移動量とのずれ量である第三の移動量を算出する第三の移動量算出部とを備え、前記表示制御部は、前記第三の移動量を視覚的に認識させるための情報を、前記動画像と共に前記表示部に表示させるものである。

開示された撮像装置は、前記表示制御部が、前記情報として第一の情報と第二の情報を表示させ、前記第二の情報を、前記一の情報に対して前記第三の移動量に応じた位置関係で表示させるものである。

開示された撮像装置は、前記表示制御部が、前記第一の情報の位置から、前記第三の移動量の累積値に応じた距離に前記第二の情報を表示させるものである。

開示された撮像装置は、前記第一の情報が枠を含み、前記表示制御部が、前記第三の移動量の累積値がゼロのときは、前記枠内に前記第二の情報を表示させ、前記第三の移動量の累積値がゼロでないときは、前記枠外に前記第二の情報を表示させるものである。

開示された撮像装置は、前記表示制御部が、前記第三の移動量がゼロのとき、前記第二の情報を前記第一の情報と同一位置に表示させるものである。

開示された撮像装置は、前記表示制御部が、前記第一の情報の位置から、前記第三の移動量に応じた距離に前記第二の情報を表示させるものである。

開示された撮像装置は、前記第一の情報が枠を含み、前記表示制御部が、前記第三の移動量がゼロのときは、前記枠内に前記第二の情報を表示させ、前記第三の移動量がゼロでないときは、前記枠外に前記第二の情報を表示させるものである。

開示された撮像装置は、前記表示制御部が、前記第三の移動量がゼロのときは、前記第一の情報と前記第二の情報の位置を一致して表示させるものである。

開示された撮像装置は、前記画角の移動方向の情報を取得する移動方向情報取得部を備え、前記表示制御部が、前記移動方向に応じて前記第一の情報の表示位置を変更するものである。

開示された撮像装置は、前記画角の移動方向の情報を取得する移動方向情報取得部を備え、前記表示制御部が、前記移動方向に応じて前記第二の情報の内容を変更するものである。

開示された撮像装置は、前記表示制御部が、前記第二の移動量に応じて、前記第一の情報の表示サイズを変更するものである。

開示された撮像装置は、 前記表示制御部が、前記第三の移動量に応じて、前記第二の情報の内容を変更するものである。

開示された撮像装置は、前記第二の情報がキャラクタであるものである。

開示された撮像装置は、前記パノラマ画像データの画像合成方向の幅と、当該パノラマ画像データの生成に用いる画像データの総数とに基づいて前記第二の移動量を算出する第二の移動量算出部を備えるものである。

２１ 矩形の枠
２２ 魔女のキャラクタ
Ｖ１ フレーム間移動量の算出値
Ｖ２ フレーム間移動量の最適値
Ｖ３ Ｖ１とＶ２のずれ
５ 固体撮像素子
２２ 表示制御部
２３ 表示部

Claims (12)

1. 固体撮像素子と表示部とを有する撮像装置であって、
   連続して複数フレームの撮像を実施し、当該複数フレームの撮像の各々によって得られる複数の画像データを合成してパノラマ画像データを生成し記録するパノラマ撮像モードを有し、
   前記パノラマ撮像モード時に、前記固体撮像素子で順次撮像して得られる画像データに基づく動画像を前記表示部に表示させる表示制御部と、
   前記複数フレームのうちの任意のフレームと当該任意のフレームよりも後のフレームとの間の画角の移動量である第一の移動量を算出する第一の移動量算出部と、
   前記任意のフレームと前記後のフレームとの間の画角の移動量であって前記複数の画像データの合成に最適な移動量である第二の移動量と前記第一の移動量とのずれ量である第三の移動量を算出する第三の移動量算出部とを備え、
   前記表示制御部は、前記第三の移動量を視覚的に認識させるための情報として第一の情報と第二の情報を、前記動画像と共に前記表示部に表示させ、更に、前記第二の情報を、前記一の情報に対して前記第三の移動量に応じた位置関係で表示させ、更に、前記第二の移動量に応じて、前記第一の情報の表示サイズを変更する撮像装置。
2. 請求項１記載の撮像装置であって、
   前記表示制御部が、前記第一の情報の位置から、前記第三の移動量の累積値に応じた距離に前記第二の情報を表示させる撮像装置。
3. 請求項２記載の撮像装置であって、
   前記第一の情報が枠を含み、
   前記表示制御部が、前記第三の移動量の累積値がゼロのときは、前記枠内に前記第二の情報を表示させ、前記第三の移動量の累積値がゼロでないときは、前記枠外に前記第二の情報を表示させる撮像装置。
4. 請求項２又は３記載の撮像装置であって、
   前記表示制御部が、前記第三の移動量がゼロのとき、前記第二の情報を前記第一の情報と同一位置に表示させる撮像装置。
5. 請求項１記載の撮像装置であって、
   前記表示制御部が、前記第一の情報の位置から、前記第三の移動量に応じた距離に前記第二の情報を表示させる撮像装置。
6. 請求項５記載の撮像装置であって、
   前記第一の情報が枠を含み、
   前記表示制御部が、前記第三の移動量がゼロのときは、前記枠内に前記第二の情報を表示させ、前記第三の移動量がゼロでないときは、前記枠外に前記第二の情報を表示させる撮像装置。
7. 請求項５又は６記載の撮像装置であって、
   前記表示制御部が、前記第三の移動量がゼロのときは、前記第一の情報と前記第二の情報の位置を一致して表示させる撮像装置。
8. 請求項１〜７のいずれか１項記載の撮像装置であって、
   前記画角の移動方向の情報を取得する移動方向情報取得部を備え、
   前記表示制御部が、前記移動方向に応じて前記第一の情報の表示位置を変更する撮像装置。
9. 請求項１〜８のいずれか１項記載の撮像装置であって、
   前記画角の移動方向の情報を取得する移動方向情報取得部を備え、
   前記表示制御部が、前記移動方向に応じて前記第二の情報の内容を変更する撮像装置。
10. 請求項１〜９のいずれか１項記載の撮像装置であって、
    前記表示制御部が、前記第三の移動量に応じて、前記第二の情報の内容を変更する撮像装置。
11. 請求項１〜１０のいずれか１項記載の撮像装置であって、
    前記第二の情報がキャラクタである撮像装置。
12. 請求項１〜１１のいずれか１項記載の撮像装置であって、
    前記パノラマ画像データの画像合成方向の幅と、当該パノラマ画像データの生成に用いる画像データの総数とに基づいて前記第二の移動量を算出する第二の移動量算出部を備える撮像装置。

Images