JP6980494B2 - 撮像制御装置およびその制御方法 - Google Patents

Description

本発明は、複数の画像を合成する一連の撮影が可能な撮像制御装置およびその制御方法に関する。

複数の撮影を行い、撮影した画像を合成するパノラマ撮影において、ガイドを表示する方法がある。特許文献１には、パノラマ撮影において撮影を開始した時点からの画像の移動量とパノラマ画像を作成するために必要な画像の移動量を算出し、パノラマ撮影の進行状況を表示することが開示されている。

特開平６−３０３５６２号公報

特許文献１の方法では、パノラマ撮影で合成される合成画像の画角を把握することができず、撮影した後にどのくらいの画角がパノラマ撮影で取得できたのかが分かる。また、パンニングをする前にどのくらいの速さでカメラを移動すればよいか分からない。

本発明は、上記の課題の少なくとも１つを解決し、ユーザがパノラマ撮影をより好適に行えるようにする撮像制御装置を提供することを目的とする。

上記目的を達成するために、本発明の撮像制御装置は、
撮像手段による一連の撮像動作により得られた複数の画像を合成し、前記一連の撮像動作により取得された各画像の画角よりも広い画角の合成画像を生成する合成手段と、
前記一連の撮像動作のために用いられる焦点距離に関する情報を取得する取得手段と、
前記複数の画像を得るための前記一連の撮像動作の前に、前記取得手段により取得された情報に基づく焦点距離を用いた前記撮像手段による撮像動作により得られたライブビュー画像を表示し、前記ライブビュー画像上に、前記取得手段により取得された情報に基づく焦点距離を用いた前記撮像手段による前記一連の撮像動作により得られる複数の画像を用いて生成される前記合成画像の画角を示す長方形のアイテムを表示するように表示手段を制御する制御手段とを備え、
前記制御手段は、前記焦点距離が第１の距離である場合に、前記第１の距離を用いた前記撮像手段による撮像動作により取得されたライブビュー画像上に、前記第1の距離を用いた前記撮像手段による前記一連の撮像動作により得られる複数の画像を用いて生成される前記合成画像の画角を示す長方形のアイテムを第１のアスペクト比で表示し、
前記第１のアスペクト比で表示された前記長方形のアイテムが前記第１の距離を用いた撮像動作により取得されたライブビュー画像上に表示されている状態で、前記焦点距離が前記第１の距離から第２の距離へ変更された場合に、前記第２の距離を用いて前記撮像動作により取得されたライブビュー画像上に、前記第２の距離を用いた前記撮像手段による前記一連の撮像動作により得られる複数の画像を用いて生成される前記合成画像の画角を示す長方形のアイテムを第２のアスペクト比で表示するように制御することを特徴とする。

本発明によれば、ユーザがパノラマ撮影をより好適に行えるようにすることができる。

本実施形態の構成を適用可能な装置の一例としてのデジタルカメラの外観図 本実施形態の構成を適用可能な装置の一例としてのデジタルカメラの構成例を示すブロック図 本実施形態におけるパノラマ撮影処理のフローチャート 本実施形態のパノラマ撮影を説明するための図 本実施形態における表示例を示す図

以下、図面を参照して本発明の好適な実施形態を説明する。

図１（ａ）、（ｂ）に本発明を適用可能な撮像装置の一実施形態としてのデジタルカメラの外観図を示す。図１（ａ）はデジタルカメラ１００の前面斜視図であり、図１（ｂ）はデジタルカメラ１００の背面斜視図である。図１において、表示部２８は画像や各種情報を表示する表示部である。シャッターボタン６１は撮影指示を行うための操作部である。モード切替スイッチ６０は各種モードを切り替えるための操作部である。端子カバー４０は該部機器との接続ケーブルとデジタルカメラ１００とを接続する接続ケーブル等のコネクタ（不図示）を保護するカバーである。メイン電子ダイヤル７１は回転操作部材であり、このメイン電子ダイヤル７１を回すことで、シャッター速度や絞りなどの設定値の変更等が行える。電源スイッチ７２はデジタルカメラ１００の電源のＯＮ及びＯＦＦを切り替える操作部材である。サブ電子ダイヤル７３は選択枠の移動や画像送りなどを行う回転操作部材である。十字キー７４は上、下、左、右部分をそれぞれ押し込み可能な４方向キーである。十字キー７４の押された部分に応じた操作が可能である。ＳＥＴボタン７５は、主に選択項目の決定などに用いられる押しボタンである。シャッターボタン６１は、撮影指示をするためのボタンであり、静止画の撮影指示や動画の撮影指示をすることができる。さらに、シャッターボタン６１の押下によって、パノラマ撮影を開始することができる。パノラマ撮影においては、シャッターボタン６１の押下がされると、複数枚の撮影が行われる。さらに、後述するように複数枚の撮影において取得された画像により、横長または縦長の画像ができるように、合成をする。合成される画像の最大幅は決まっているので、所定の量（ピクセル幅）分の撮影が行われるとパノラマ撮影は終了する。もしくは、パノラマ撮影の開始後、ユーザがシャッターボタン６１を押下するとパノラマ撮影が終了し、それまでに撮影した複数枚の画像より合成画像を生成する。シャッターボタン６１を囲うようにあるレバーは、ズームレバー７８であり、左右に回転させることでレンズの位置を移動させ、光学ズーム倍率を変更することができる。シャッターボタン６１、メイン電子ダイヤル７１、電源スイッチ７２、サブ電子ダイヤル７３、十字キー７４、ＳＥＴボタン７５は、操作部７０に含まれる。接眼ファインダー１６はフォーカシングスクリーン１３を観察することで、レンズユニット１５０を通して得た被写体の光学像の焦点や構図の確認を行うための覗き込み型のファインダーである。

図２は、本実施形態によるデジタルカメラ１００の構成例を示すブロック図である。図２において、レンズユニット１５０は、交換可能な撮影レンズを搭載するレンズユニットである。

レンズ１０３は通常、複数枚のレンズから構成されるが、ここでは簡略して一枚のレンズのみで示している。通信端子６はレンズユニット１５０がデジタルカメラ１００側と通信を行う為の通信端子であり、通信端子１０はデジタルカメラ１００がレンズユニット１５０側と通信を行う為の通信端子である。レンズユニット１５０は、この通信端子６，１０を介してシステム制御部５０と通信し、内部のレンズシステム制御回路４によって絞り駆動回路２を介して絞り１０２の制御を行い、ＡＦ駆動回路３を介して、レンズ１０３の位置を変位させることで焦点を合わせる。

シャッター１０１は、システム制御部５０の制御で撮像部２２の露光時間を制御するためのものである。撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。

Ａ／Ｄ変換器２３は撮像部２２から出力されたアナログ画像信号をＡ／Ｄ変換し、画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、画像処理部２４を介さずメモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。

Ｄ／Ａ変換器１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３においてアナログ変換し、表示部２８に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示（ライブビュー表示）を行える。

不揮発性メモリ５６は、システム制御部５０によって電気的に消去・記録・読出し可能な記録媒体としてのメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのコンピュータプログラムのことである。

システム制御部５０は、少なくとも１つのプロセッサーを内蔵し、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現するコンピュータとして機能する。

システムメモリ５２にはＲＡＭが用いられ、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部５０はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。

モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、パノラマ撮影モード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切替スイッチ６０で、メニュー画面に含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切替スイッチ６０でメニュー画面に一旦切り換えた後に、メニュー画面に含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。

第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２による静止画撮像動作、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。電源スイッチ７２は、デジタルカメラ１００の電源のＯＮ、ＯＦＦを切り替えるためのスイッチである。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。

記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影時に画像を記録するためのメモリカード等の不揮発性の記録媒体であり、半導体メモリや光ディスク、磁気ディスク等から構成される。

通信部５４は、無線または有線ケーブルによって外部機器やネットワークと接続し、映像信号や音声信号等の送受信を行う。通信部５４は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットとも接続可能である。通信部５４は撮像部２２で撮像した画像（スルー画像を含む）や、記録媒体２００に記録された画像を送信可能であり、また、外部機器から画像データやその他の各種情報を受信することができる。

姿勢検知部５５は重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部５５で検知された姿勢に基づいて、撮像部２２で撮影された画像が、デジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像なのかを判別可能である。システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を撮像部２２で撮像された画像の画像ファイルに付加したり、画像を回転して記録することが可能である。姿勢検知部５５としては、加速度センサーやジャイロセンサーなどを用いることができる。

次に、図３を用いて本実施形態におけるパノラマ撮影処理について説明する。この処理は、不揮発性メモリ５６に記録されたプログラムをシステムメモリ５２に展開してシステム制御部５０が実行することで実現する。なお、この処理は、デジタルカメラ１００に電源が入り、パノラマ撮影モードに切り替えられると開始する。

Ｓ３０１では、システム制御部５０は、表示部２８に撮像部２２により取得されたライブビュー画像を表示する。図５（ａ）に示すようにライブビュー画像を表示する。パノラマ撮影では、デジタルカメラ１００を左右または上下に移動させ（パンニング）、撮像する被写体（撮影角度）を少しずつ変えて、撮像画像を合成し、広い画角の合成画像を生成する。図４（ａ）〜（ｄ）を用いてパノラマ撮影における画像の取得方法について説明する。図４（ａ）〜（ｄ）は、デジタルカメラ１００をパンニングさせる方向と画像データから切り抜く切り抜き領域との関係を説明する図である。図４（ａ）は、撮像部２２が有する撮像素子（イメージセンサ）の有効画像領域を示しており、“Ｗｖ”は水平方向の有効画素数であり、“Ｈｖ”は垂直方向の有効画素数である。図４（ｂ）は、撮影画像の画像データから切り抜いた切り抜き領域を示しており、“Ｗｃｒｏｐ”は水平方向の切り抜き画素数であり、“Ｈｃｒｏｐ”は垂直方向の切り抜き画素数である。図４（ｃ）は、矢印で示す水平方向にデジタルカメラ１００をパンニングさせて撮影を行った場合の画像データに対する切り抜き領域を示す図である。図４（ｃ）においてハッチングにて示した領域Ｓ１が画像データからの切り抜き領域を示しており、水平方向の画像データの切り抜きは“Ｗｖ＞Ｗｃｒｏｐ”とし、垂直方向の画像データの切り抜きは“Ｈｖ＝Ｈｃｒｏｐ”とする。図４（ｄ）は、矢印で示す鉛直方向にデジタルカメラ１００をパンニングさせて撮影を行った場合の画像データに対する切り抜き領域を示す図である。図４（ｄ）においてハッチングにて示した領域Ｓ２が画像データの切り抜き領域を示しており、水平方向の画像データの切り抜きは“Ｗｖ＝Ｗｃｒｏｐ”とし、垂直方向の画像データの切り抜きは“Ｈｖ＞Ｈｃｒｏｐ”とする。撮影画像の画像データの切り抜き領域は、画像データ毎に異なるようにしてもよい。また、パンニング開始時とパンニング終了時の画像データについては、画角を広くするために切り抜き領域を広くしてもよい。画像データの切り抜き領域の決定方法は、例えば、撮影直後のデジタルカメラ１００の角度と１フレーム前のデジタルカメラ１００の角度との差等により決定することができる。パノラマ画像の合成処理に必要な画像データのみを切り抜いて保存することにより、メモリ２０９の記憶容量を節約することができる。

このように、パンニングをしながら合成する画像を取得し、同一の被写体が同じ位置にくるように、複数枚の画像を横方向または縦方向に合成していく。これにより、撮像素子において１回に撮像可能な範囲よりもさらに広い範囲（画角）を取得することができる。Ｓ３０１においては、図５（ａ）のアイテム５０２に示すようにデジタルカメラ１００を右方向に移動させることを示すアイテムを表示するようにしてもよい。

Ｓ３０２では、システム制御部５０は、光学系情報を取得する。Ｓ３０２においては、デジタルカメラ１００に装着されているレンズ１０３の情報と設定されているズーム倍率の値をもとに、レンズ１０３から撮像部２２に対する焦点距離情報を取得する。具体的には、システムメモリ５２に展開されている焦点距離に関する撮影情報を取得する。

Ｓ３０３では、システム制御部５０は、パノラマ画像画角算出をする。Ｓ３０２において取得した光学系情報の焦点距離情報をもとに、１枚のパノラマ画像として記録可能な合成画像の画角の大きさを画角情報として算出する。具体的な算出方法について、図４（ｅ）を用いて説明する。図４（ｅ）はレンズと撮像素子に対する焦点距離と画角の関係について模式的に示した図である。４０１は撮像素子、４０２は撮像レンズを示し、４０３は撮像レンズ４０２から撮像素子４０１に対する焦点距離を示す。そして、４０４は撮像素子４０１と撮像レンズ４０２における画角を示す。また本例では水平方向へのパノラマ撮影について取り上げる。ここで、撮像素子４０１の大きさについては幅をＳｗ（ｍｍ）、画角４０４をθ（ｒａｄ）、焦点距離４０３をｒ（ｍｍ）とすると、画角４０４は以下の式（１）から算出できる。
θ＝２×ａｒｃｔａｎ（（Ｓｗ／２）／ｒ） ・・・（１）

ここで示す画角４０４は、撮像素子４０１全面に対する画角なので、合成用の１枚の撮影画像の画角の大きさを示す。

一方、パノラマ画像として記録可能な画角に対する撮像素子４０１全面の画角の割合は、記録可能なパノラマ画像の最大幅に対する合成用の１枚の撮影画像の幅の割合に相当する。つまりパノラマ画像最大幅をＰｗ（ｐｉｘｅｌ）、１枚撮影画像幅をＩｗ（ｐｉｘｅｌ）とすると、１枚のパノラマ画像として記録可能な画角の大きさは画角Ｐθとして以下の式で算出できる。
Ｐθ＝（Ｐｗ／Ｉｗ）×θ ・・・（２）

式（１）と式（２）より、
Ｐθ＝２×（Ｐｗ／Ｉｗ）×ａｒｃｔａｎ（（Ｓｗ／２）／ｒ）・・・（３）

つまり、デジタルカメラ１００によってパノラマ画像最大幅Ｐｗ、１枚撮影画像幅Ｉｗ、画像素子幅Ｓｗが一意に決まっているとした場合、パノラマ画像の記録可能な画角の大きさＰθは焦点距離ｒに依存する。

具体的な数値例をもとにさらに詳細を説明する。デジタルカメラ１００の撮像部２２の撮像素子がＡＰＳ−ＣサイズのＣＭＯＳセンサであり有効画素部の横幅が２２．７ｍｍで、ズームレバー７８によりレンズ１０３と撮像部２２との焦点距離が１８ｍｍに設定されていたとする。そして、合成用の１枚の撮影画像が５０００画素で、記録可能なパノラマ画像の最大幅が２００００画素であるとすると、式（３）よりパノラマ画像の記録可能な画角の大きさは画角として約２５８°と得られる。同様に、焦点距離が３６ｍｍである場合には、記録可能な画角の大きさは画角として約１４０°となる。

これらの算出処理は、システム制御部５０と画像処理部２４で実行される。また、パノラマ画像最大幅、１枚撮影画像幅、画像素子幅といった固定のデータは、システムメモリ５２や記録媒体２００等に記録されているものとしてメモリ制御部１５で展開され画像処理部２４で処理される。焦点距離の情報もズームレバー７８によって操作される度にメモリ３２に更新記録され、算出処理時にはメモリ制御部１５で展開され画像処理部２４で処理される。算出した画角情報はメモリ制御部１５を介してメモリ３２に記録しておく。前述の例では水平方向へのパノラマ画像撮影について言及したが、垂直方向へのパノラマ画像撮影においても適用可能である。垂直方向へのパノラマ画像撮影では、パノラマ画像の最大幅、１枚撮影画像の幅、画像素子の幅情報を高さ情報に変更し、同等の算出処理でパノラマ画像の記録可能な画角の大きさを示す画角を求めることができる。

Ｓ３０４では、システム制御部５０は、表示部２８にパノラマ撮影において撮影可能な画角の範囲を示すアイテムを表示する。Ｓ３０４では、図５（ａ）または（ｂ）に示すアイテム５０３、５０４のようにアイテムを表示する。図５（ａ）、（ｂ）は同じ被写体を撮影した場合のライブビュー画像を示しており、例えば図５（ａ）のライブビュー画像５０１を撮影した際の焦点距離は１８ｍｍ、（ｂ）のライブビュー画像５０５を撮影した際の焦点距離は３６ｍｍであるとする。Ｓ３０３で説明をした例においては、焦点距離１８ｍｍの場合には２５８°、焦点距離３６ｍｍの場合には１４０°が記録可能な画角の大きさとなる。図５（ａ）のアイテム５０３では、最大で２５８°の画角が記録可能であることを示しており、アイテム５０３よりユーザは１８０°以上の広い画角を合成画像によって取得可能であることが分かる。図５（ｂ）のアイテム５０４では、最大１４０°の画角が記録可能であることを示しており、アイテム５０４よりユーザは１８０°未満の画角を合成画像によって取得可能であることが分かる。このように、Ｓ３０３において取得された画角を示すアイテムを表示するとユーザは以下のことが分かる。つまり、ユーザは現在のデジタルカメラ１００の状態（焦点距離、撮像素子等）においては、記録可能なパノラマ画像の最大幅が一定（例えば上記では２００００画素）だった場合に、どのくらいの画角を収めた画像を取得可能か撮影前に把握することができる。パノラマ撮影をする前に、撮影者を囲む３６０度の範囲のうちどのくらいの大きさの画角を収めることができるのか分かるので、ユーザは合成後の画像をイメージして撮影を行うことができる。例えば、ユーザが長い橋の中心を含めてパノラマ撮影したいと思っていても、望遠レンズで撮影をしている場合には、橋の一端から撮影を開始してしまうと中心まで合成画像に含められない可能性がある。しかしながら、予め合成される画像の画角を示すことで、取得可能な画角が分かるので、どのあたりからパノラマの撮影を開始すれば所望の被写体を合成画像に収めることができるのか把握しやすくなる。もしくは、図５（ｂ）のように、望遠で撮影を行っているような場合には、アイテム５０４により取得可能な最大の画角（記録可能な被写界範囲）が１８０度より小さいことが分かる。これにより、橋の一端から中心まで合成画像に収めたいような場合には、事前に広角側に設定を変更することでより広い画角の合成画像が取得可能となる。なお、現在ライブビュー画像として表示されている撮像範囲の画角をアイテム５０３、５０４と共に表示してもよい。

Ｓ３０５では、システム制御部５０は、撮影開始指示がされたか否かを判定する。撮影開始指示は、シャッターボタン６１の押下により可能である。撮影開始指示がされたと判定した場合は、Ｓ３０８へ進み、そうでない場合は、Ｓ３０６へ進む。

Ｓ３０６では、システム制御部５０は、レンズユニット１５０が交換され、装着されているレンズ１０３が変更されたか否かを判定する。レンズ１０３が変更されたと判定した場合は、Ｓ３０２へ進み、そうでない場合は、Ｓ３０７へ進む。

Ｓ３０７では、システム制御部５０は、光学ズーム倍率が変更されたか（レンズ位置が変更されたか）否かを判定する。光学ズーム倍率はズームレバー７８への操作によって変更される。光学ズーム倍率が変更されたと判定した場合は、Ｓ３０２へ進み、そうでない場合は、Ｓ３０５へ進む。光学ズーム倍率またはレンズ１０３が変更された場合には、Ｓ３０３で算出される画角の範囲が変わるので、Ｓ３０２へ進み、再び画角を算出する処理を行う。

Ｓ３０８では、システム制御部５０は、撮像処理を行う。撮像処理は、撮像部２２がシャッターや絞りを制御するとともに静止画像を取得する。

Ｓ３０９では、システム制御部５０は、パノラマ合成処理を行う。Ｓ３０８とＳ３０９の処理について図４（ｆ）−（１）〜図４（ｆ）−（５）を用いて説明する。図４（ｆ）−（１）〜図４（ｆ）−（５）は、パノラマ撮影における撮像処理と、パノラマ画像の合成処理の流れとを説明するための図である。図４（ｆ）−（１）において、ドットハッチングされた領域は、被写界にある並木を模式的に表した領域であり、斜線ハッチングされた領域は、画像データの切り抜き領域を表している。図４（ｆ）−（１）は、シャッターボタン６１が押下された時点で最初に撮影された画像の位置を示し、範囲４０５は１回の撮影（Ｓ３０８の撮像処理）で取得される撮像範囲を示し、合成しようとしているパノラマ画像の一方の端に被写界を設定している。図４（ｆ）−（２）、図４（ｆ）−（３）は、合成しようとしているパノラマ画像の他方の端に向けてデジタルカメラ１００をパンニングさせながら、連続して撮影が行われている状態を模式的に示している。パノラマ撮影においては、図４（ｆ）−（２）、図４（ｆ）−（３）のように連続して１枚ずつ撮影を行いその都度Ｓ３０９で合成処理を行い、後述のＳ３１０〜Ｓ３１２における処理も行なう。さらに、Ｓ３１２において、取得された画像データより合成される画像の幅（ピクセル数）が最大（例えば２００００画素）に達したと判断され撮影が終了するまでＳ３０８〜Ｓ３１２の処理を行なう。ここで、それぞれの撮影においてユーザが撮影指示をしているわけではなく、シャッターボタン６１による撮影の開始指示は図４（ｆ）−（１）の撮影において行った最初の１回である。図４（ｆ）−（４）は、デジタルカメラ１００のパンニングが行われ、取得された画像データより合成される画像の幅（ピクセル数）が最大（例えば２００００画素）まで達し、連続撮影が終了した場合を示している。つまり、Ｓ３０３で算出された最大の画角分まで画像データを取得したことがＳ３１４で判別されたことに応じて連続撮影が終了した状態を示している。このように、ユーザがデジタルカメラ１００をパンニングしながら、合成可能な最大幅の画素数に達するまで撮像範囲を変えて撮影を行っていく。図４（ｆ）−（５）は、撮影された複数の画像（静止画）を逐次合成した結果最終的に得られたパノラマ画像を示している。合成可能な画素数の最大幅はデジタルカメラの種類によって、あるいはマニュアルの選択設定によって決まる。

なお、前出のＳ３１０では、システム制御部５０は、撮影され逐次合成された合成済み画像の画角を算出する。具体的な算出方法を説明する。合成済み画像データに記録されている最大の画角の大きさに対する１枚撮影画像の画角の割合は、合成済み画像の幅の画素数に対する１枚撮影の画像幅の画素数の割合に相当する。つまり、合成済み画像データに記録されている画角の大きさの画角Ｃθ（ｒａｄ）は、合成済み画像幅の画素数をＣｗ（ｐｉｘｅｌ）とすると、式（３）をもとにして、以下の式（４）として求められる。
Ｃθ＝２×（Ｃｗ／Ｉｗ）×ａｒｃｔａｎ（（Ｓｗ／２）／ｒ）・・・（４）

Ｓ３０３で説明した数値例と同様に水平方向へのパノラマ画像撮影を取り上げる。１枚のパノラマ画像撮影で記録できる画像の最大幅が５０００画素であり、撮像部２２が有効画素部の横幅２２．７ｍｍのＣＭＯＳセンサで、レンズ１０３との焦点距離が１８ｍｍに設定されていたとする。このときの合成済みの画像データの横幅が２０００画素であったならば、式（４）より、合成済み画像に記録されている被写界の範囲は画角として約５２°と得られる。これらの算出処理は、システム制御部５０と画像処理部２４で実行され、１枚撮影画像幅、画像素子幅といった固定のデータは、システムメモリ５２や記録媒体２００に記録されているものとしてメモリ制御部１５で展開され画像処理部２４で処理される。合成済みの画像幅のデータは、Ｓ３０９でメモリ３２に記憶した合成済み画像データをメモリ制御部１５で展開して取得し、画像処理部２４で処理される。焦点距離の情報もメモリ３２に記録されたものがメモリ制御部１５で展開され画像処理部２４で処理される。算出した合成済みの画像データの画角情報はメモリ制御部１５を介してメモリ３２に記録しておく。もしくは、Ｓ３０３で算出した画角に、合成済みの画像幅（画素数）を合成可能な最大の画像幅で割った値を掛け合わせることで、画角を算出してもよい。

Ｓ３１１では、システム制御部５０は、プログレスアイテムをパノラマ進捗度として表示更新する。Ｓ３１０で算出した合成済み画像データ（撮影済み画像から合成された画像データ）に記録されている最大の画角の大きさより、プログレスアイテムを更新する。図５（ｃ）、（ｄ）のプログレスアイテム５０６、５０７はそれぞれ図５（ａ）、（ｂ）のアイテム５０３、５０４に対応しており、アイテム５０３、５０４の全体の幅は記録可能な画角の大きさ（被写界の範囲）を示している。プログレスアイテム５０６の領域５０６ａ、プログレスアイテム５０７の領域５０７ａは合成済みの画角の大きさを示している。領域５０６ａ、５０７ａは、Ｓ３１０で求めた画角に相当する角度の円弧を画像データとして生成したものである。つまり、画像の合成が進むと、新たに合成された画角に対応する円弧の角度分プログレスアイテムの表示形態が変わっていく。図５（ｃ）、（ｄ）の例では右方向にパンニングした場合を示しており、プログレスアイテムの左端から右端の方向に向かって、新たに合成された画角分の円弧の角度分表示形態をグレーから黒に変更していく。つまり、一端からカメラのパンニング方向（他端）に向かって表示形態を徐々に変えていく。図５（ｃ）の斜線部分５０６ｂは、実際には表示されないが説明のために記載したものであり、次のＳ３０９の合成処理で新たな撮像画像が合成されると、対応する画角分の円弧の角度αの領域の表示形態がグレーから黒に変わる。つまり、撮影枚数が増え、合成された画角が増えるに応じてバーの表示形態の変わる部分が大きくなっていく。なお、左方向にパンニングした場合には、右端から左端の方向へと徐々にプログレスアイテムの表示形態が変わっていく。なお、Ｓ３１０において画角を算出しなくても、合成可能な最大の画像幅に対する、現在合成済みの画像幅（画素数）の割合を求め、プログレスアイテムの表示形態を変えるようにしてもよい。

Ｓ３１２では、システム制御部５０は、撮影が終了したか否かを判定する。パノラマ撮影は、合成された画像が記録可能な画素数に達した場合と、ユーザにより撮影の終了指示がされたことに応じて終了する。メモリ３２に記録されている合成済み画像データについてメモリ制御部１５を介して取得し、画像処理部２４においてあらかじめ決まっている記録可能なパノラマ画像の最大サイズと比較して、最大サイズを満たしていた場合は撮影を終了する。撮影が終了したと判定された場合は、Ｓ３１３へ進み、そうでない場合は、Ｓ３０８へ進む。Ｓ３１２において撮影が終了したと判定されなければ、Ｓ３０８〜Ｓ３１１の処理、すなわち撮影をして進捗具合を表示するという一連の処理を繰り返す。

Ｓ３１３では、システム制御部５０は、記録処理を行う。すなわちＳ３０９において合成した画像を記録媒体２００に記録する処理を行う。

以上、説明した実施形態によれば、ユーザはパノラマ撮影前に記録可能な画角の大きさと現時点でのパノラマ合成の進捗度を把握することができる。これによりユーザは、撮影前にパノラマ撮影の開始位置や適切な焦点距離の調整を行うことができ、期待している範囲で撮影しやすく、余計なプレ撮影を行う手間を省くことができる。

［パンニング速度の表示］
また、撮像装置の向きを変化させる際のパンニング時の速度を表示するようにしてもよい。パノラマ画像撮影のように、ユーザがデジタルカメラ１００を手で持ってパンニングする際、スイング幅が同じであっても、ズーム倍率を上げるなどして焦点距離が長くなり画角が大きくなればなるほど、撮像素子に結像される被写界の移動量は大きくなる。つまり、画像合成時は以前の撮影画像との重複部分をのり代としているので、重複部分を残すように後続撮影する必要があり、焦点距離が長くなればなるほどパンニングの速度を遅くさせなければならない。しかしながら、ユーザはどれほどの速度でパンニングするのが適切なのかわかりづらい。それ故に、速くパンニングしすぎることでパノラマ画像撮影に失敗してしまったり、遅すぎることで余計な撮影を行ってしまう可能性がある。

そこで、記録可能な画角の範囲と共に、適切なパンニング速度を明示的にユーザに示すためのアイテムを表示してもよい。適切なパンニングの速度は、Ｓ３０３で算出した画角情報、パノラマ画像の最大サイズ、１枚の画像撮影で撮影可能な画像のサイズ、合成で必要となるのり代の画素サイズ情報により求められる。上記の情報より、１枚のパノラマ画像を生成するのに何枚分の撮影を実施するのが適当かを求め、パノラマ合成画像の最大の幅より撮影ごとにパンニングすべき角度を求める。そして、予め定められたデジタルカメラ１００におけるパノラマ撮影における撮影間隔を、撮影速度と合成処理速度から求める。最後に、撮影間隔と、撮影と撮影の間にパンニングすべき角度より、パンニング速度を求める。そして、求めたパンニング速度より、図５（ｅ）、（ｆ）に示すような速度ガイドを表示する。

図５（ｅ）は、図５（ａ）に対応しており、速度ガイド５０８を表示し、図５（ｆ）は、図５（ｂ）に対応しており、速度ガイド５０９を表示する。例えば、図５（ｅ）の場合の焦点距離を１８ｍｍ、図５（ｆ）の場合の焦点距離を３６ｍｍとすると、焦点距離が短い方が早くパンニングをしてもよいので、速度ガイド５０８の矢印は速度ガイド５０９よりも長く、より早くパンニングしてもよいことを示している。一方で、速度ガイド５０９が表示される場合には、ユーザがゆっくりとパンニングをしなければならないことを認識することができる。そしてこのガイドは、例示した矢印状のオブジェクトに限らず、算出した速度でアニメーションするアイコンでもよく、算出した適正な速度を示唆できていればどのような形態でも構わない。例えば速度を数字で表示してもよい。また、パンニング速度を示す表示は、図５（ａ）〜（ｄ）に示したような記録可能な画角の大きさを示すアイテムと共に表示をしてもよい。また、現在のパンニング速度を示すアイテムを共に表示し、適切なパンニング速度に対して現在のパンニング速度が速いのか遅いのかが分かるようにしてもよい。

以上、説明した例によれば、ユーザはどのくらいのパンニング速度でパノラマ撮影を行えばよいか事前に把握することができる。これにより、ユーザは適切な速度でパンニングを実践しやすくなり、パノラマ撮影の失敗や余分な撮影を抑制することができる。

なお、上述した実施形態の説明においては図５（ａ）〜（ｆ）を用いて、記録可能な画角の大きさを示すことを説明したが、アイテムの表示形態はこれに限らない。

図５（ｇ）、（ｈ）は、直線的な矩形状のバーの表示例を示している。図５（ｇ）のアイテム５１０は、アイテム５０３に対応しており、図５（ｈ）のアイテム５１１は、アイテム５０４に対応している。これらのアイテムは、矩形状のバーのテンプレート画像データをもとに、Ｓ３０３で求めた画角の角度の大きさに比例する長さの矩形画像データとして生成する。

図５（ｉ）は、円形立体型での表示例を示している。幅ｌ（エル）で円を一周している領域５１２のうち、扇状の斜線でハッチングしている部分５１３を抜いた角度分、すなわち角度β分が記録可能な画角の大きさを示している。パノラマ撮影が開始されると、ドットハッチングした部分５１４のように、表示形態を元の表示形態から変えていき合成の進捗度を示す。

図５（ｊ）は、記録可能な画角の大きさを示すと共に、合成された画像を帯状に表示していくことで、合成の進捗度を示す表示例を示している。図５（ｊ）では、アイテム５０３で記録可能な画角の大きさを示すと共に、領域５１５において合成された画像を表示している。パノラマ撮影中には領域５１５内において枠５１６を右方向に移動するようにデジタルカメラ１００をパンニングする。ユーザは領域５１５内において画像が合成されていくのを確認しながらパンニングをすることができる。

これらガイド用のアイコンは、例示した円弧状のバーや矩形状のバーに限らず、算出した画角を表示できていればどのような形態でも構わない。また画角を表示できるガイドであればよいので、前述のようなアイコンである必要はなく、算出した画角に相当する数値等を直接示すものであってもよい。

なお、以上の説明においてはズーム倍率情報としてレンズの焦点距離情報を取得する例を示したが、本発明はこれに限定されず、以下のような場合にも適用可能である。つまり、例えば電子ズームのズーム倍率情報を取得し、その情報に応じて画面に表示するパノラマ撮影角度やパンニング速度表示等を変更するようにしてもよいことは言うまでもない。

なお、システム制御部５０が行うものとして説明した上述の各種の制御は１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

また、上述した実施形態においては、本発明をデジタルカメラ１００に適用した場合を例にして説明したが、これはこの例に限定されず、複数の画像を撮影して合成するパノラマ撮影を制御可能な撮像制御装置であれば適用可能である。すなわち、本発明は携帯電話端末や携帯型の画像ビューワ、ファインダーを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなどに適用可能である。

（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記録媒体は本発明を構成することになる。

Claims (18)

1. 撮像手段による一連の撮像動作により得られた複数の画像を合成し、前記一連の撮像動作により取得された各画像の画角よりも広い画角の合成画像を生成する合成手段と、
   前記一連の撮像動作のために用いられる焦点距離に関する情報を取得する取得手段と、
   前記複数の画像を得るための前記一連の撮像動作の前に、前記取得手段により取得された情報に基づく焦点距離を用いた前記撮像手段による撮像動作により得られたライブビュー画像を表示し、前記ライブビュー画像上に、前記取得手段により取得された情報に基づく焦点距離を用いた前記撮像手段による前記一連の撮像動作により得られる複数の画像を用いて生成される前記合成画像の画角を示す長方形のアイテムを表示するように表示手段を制御する制御手段とを備え、
   前記制御手段は、前記焦点距離が第１の距離である場合に、前記第１の距離を用いた前記撮像手段による撮像動作により取得されたライブビュー画像上に、前記第1の距離を用いた前記撮像手段による前記一連の撮像動作により得られる複数の画像を用いて生成される前記合成画像の画角を示す長方形のアイテムを第１のアスペクト比で表示し、
   前記第１のアスペクト比で表示された前記長方形のアイテムが前記第１の距離を用いた撮像動作により取得されたライブビュー画像上に表示されている状態で、前記焦点距離が前記第１の距離から第２の距離へ変更された場合に、前記第２の距離を用いて前記撮像動作により取得されたライブビュー画像上に、前記第２の距離を用いた前記撮像手段による前記一連の撮像動作により得られる複数の画像を用いて生成される前記合成画像の画角を示す長方形のアイテムを第２のアスペクト比で表示することを特徴とする撮像制御装置。
2. 前記一連の撮像動作の開始を指示する指示手段をさらに有し、
   前記制御手段は、前記指示手段への指示が行われたことに応じて、前記一連の撮像動作を開始するように制御することを特徴とする請求項１に記載の撮像制御装置。
3. 前記合成画像は、前記指示手段への指示が行われた後に開始する前記一連の撮像動作によって取得される複数の画像によって順次生成されることを特徴とする請求項２に記載の撮像制御装置。
4. 前記制御手段は、前記長方形のアイテムと共に前記合成画像を表示することを特徴とする請求項１乃至３のいずれか１項に記載の撮像制御装置。
5. 前記合成手段によって生成可能な合成画像の最大の画素数は、前記焦点距離情報に関わらず同じであることを特徴とする請求項１乃至４のいずれか１項に記載の撮像制御装置。
6. 前記一連の撮像動作は、撮像部の向きを変更しながら撮影を行うことを特徴とする請求項１乃至５のいずれか１項に記載の撮像制御装置。
7. 前記焦点距離情報は、ズーム倍率に基づくものであることを特徴とする請求項１乃至６のいずれか１項に記載の撮像制御装置。
8. 前記ズーム倍率は、光学ズームもしくは電子ズームであることを特徴とする請求項７に記載の撮像制御装置。
9. 前記制御手段は、ユーザーが行うズーム操作によって取得した焦点距離情報に応じて、前記焦点距離情報を変化させることを特徴とする請求項１乃至７のいずれか１項に記載の撮像制御装置。
10. 第１のレンズユニットと前記第１のレンズユニットとは異なる第２のレンズユニットとをさらに有し、
    前記制御手段は、前記撮像動作に前記第１のレンズユニットを使用する場合は、前記焦点距離情報が前記第１の距離となり、前記撮像動作に前記第２のレンズユニットを使用する場合は、前記焦点距離情報が前記第２の距離となるように制御することを特徴とする請求項１乃至９のいずれか１項に記載の撮像制御装置。
11. 前記制御手段は、前記一連の撮像動作を行っている間は、前記焦点距離情報の変更を行わないように制御することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像制御装置。
12. 前記制御手段は、前記第１のアスペクト比で表示される長方形のアイテムと、前記第２のアスペクト比で表示される長方形のアイテムは、サイズが異なるように表示することを特徴とする請求項１乃至１１のいずれか１項に記載の撮像制御装置。
13. 前記制御手段は、前記第１のアスペクト比で表示される長方形のアイテムは、前記第２のアスペクト比で表示される長方形のアイテムよりも大きく、前記第１の距離は前記第２の距離よりも短いことを特徴とする請求項１乃至１２のいずれか１項に記載の撮像制御装置。
14. 焦点距離が互いに異なる複数のレンズユニットをさらに有し、
    前記取得手段は前記複数のレンズユニットから前記焦点距離情報を取得し、
    前記複数のレンズユニットは、前記一連の撮像動作の前に前記焦点距離情報を用いた撮像動作によって取得されるライブビュー画像を表示し、前記複数の画像は前記一連の撮像動作を実行することによって取得され、前記一連の撮像動作の間に前記複数のレンズユニットの内、少なくとも１つのレンズユニットを使用することによって前記合成画像を生成することを特徴とする請求項１乃至１３のいずれか１項に記載の撮像制御装置。
15. 前記撮像制御装置は、少なくともデジタルカメラと携帯電話のうちいずれかであることを特徴とする請求項１乃至１４のいずれか１項に記載の撮像制御装置。
16. 撮像制御装置の制御方法であって、
    撮像手段による一連の撮像動作により得られた複数の画像を合成し、前記一連の撮像動作により取得された各画像の画角よりも広い画角の合成画像を生成する合成ステップと、
    前記一連の撮像動作のために用いられる焦点距離に関する情報を取得する取得ステップと、
    前記複数の画像を得るための前記一連の撮像動作の前に、前記取得ステップにより取得された情報に基づく焦点距離を用いた前記撮像手段による撮像動作により得られたライブビュー画像を表示し、前記ライブビュー画像上に、前記取得ステップにより取得された情報に基づく焦点距離を用いた前記撮像手段による前記一連の撮像動作により得られる複数の画像を用いて生成される前記合成画像の画角を示す長方形のアイテムを表示するように表示手段を制御する制御ステップと、があり、
    前記制御ステップは、前記焦点距離が第１の距離である場合に、前記第１の距離を用いた前記撮像手段による撮像動作により取得されたライブビュー画像上に、前記第1の距離を用いた前記撮像手段による前記一連の撮像動作により得られる複数の画像を用いて生成される前記合成画像の画角を示す長方形のアイテムを第１のアスペクト比で表示し、
    前記第１のアスペクト比で表示された前記長方形のアイテムが前記第１の距離を用いた撮像動作により取得されたライブビュー画像上に表示されている状態で、前記焦点距離が前記第１の距離から第２の距離へ変更された場合に、前記第２の距離を用いて前記撮像動作により取得されたライブビュー画像上に、前記第２の距離を用いた前記撮像手段による前記一連の撮像動作により得られる複数の画像を用いて生成される前記合成画像の画角を示す長方形のアイテムを第２のアスペクト比で表示するように制御することを特徴とする撮像制御装置の制御方法。
17. コンピュータを、請求項１乃至１５のいずれか１項に記載された撮像制御装置の各手段として機能させるためのプログラム。
18. コンピュータを、請求項１乃至１５のいずれか１項に記載された撮像制御装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記録媒体。

Images