JP4715913B2 - 撮像装置、画像処理装置、ズーム制御方法およびズーム制御プログラム - Google Patents

Description

本発明は、撮像装置、画像処理装置、ズーム制御方法およびズーム制御プログラムに関する。

近年のデジタルビデオカメラ等の撮像装置は、撮影する画像のアスペクト比を、例えば、４：３や１６：９といった複数のアスペクト比に切り替えて撮影することもできる。さらに、撮像装置には、例えば、１６：９のアスペクト比の動画像を撮影しながら、４：３のアスペクト比の静止画を同時に撮影する機能が備えられることもある。また、ユーザは、撮像装置で記録した画像データを、撮像装置に備えられる表示画面だけでなく、外部接続されたディスプレイに表示させることもできる。

このように、近年の撮像装置や画像再生装置などは、単に画像データを撮影したり再生したりするだけでなく、複数のアスペクト比の画像データを同時撮影したり、同一の画像データを複数のディスプレイで同時再生させたりする機能を備えている。

また、近年のデジタルビデオカメラ等の撮像装置は、撮影対象となる被写体を特定し、特定した被写体が撮影領域内に収まるように自動でズーム処理を行う機能を備えているものもある。また、例えば、特許文献１には、ある画像データを当該画像データと異なるアスペクト比の表示器に表示させる際に、画像データに含まれる所定の被写体が画欠けしないように画像データを調整して表示させる技術が開示されている。

このように、近年の撮像装置や画像再生装置などは、単に画像データを撮影したり再生したりするだけでなく、ユーザによってまたは自動で特定された被写体が撮影領域や表示領域から画欠けしないように制御可能な機能が注目されている。

特開２００２−１０１３９３号公報

しかし、複数のアスペクト比の画像データを同時に撮影する場合、ユーザに対して各アスペクト比の撮影領域を表示画面に呈示させる必要がある。このような場合、例えば、撮影領域内の所定の被写体が一方のアスペクト比の撮影領域から画欠けしないようにズーミングを行っても、他方のアスペクト比の撮影領域から当該被写体が画欠けしてしまう場合があるという問題が生じる。

また、１の画像データをアスペクト比の異なる複数のディスプレイにおいて同時再生させる場合、各ディスプレイに表示される画像データの表示領域は異なる。したがって、例えば、ユーザが、一方のディスプレイを見ながら表示領域内の所定の被写体が表示領域から画欠けしないようにズーミングした場合でも、他方のディスプレイの表示領域から当該被写体が画欠けしてしまう場合があるという問題が生じる。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、アスペクト比の異なる複数の画像データを同時撮影する際、または同一の画像データをアスペクト比の異なる複数のディスプレイに同時再生する際に、設定されたアスペクト比の撮影領域または再生表示領域から所定の被写体が画欠けしないようにズーム機能および表示機能を制御することが可能な、新規かつ改良された画像処理装置、ズーム制御方法およびズーム制御プログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、撮像対象となる被写体の映像から、所定の第１のアスペクト比で構成される第１撮像領域に対応する画像と、前記第１のアスペクト比とは異なる所定の第２のアスペクト比で構成される第２撮像領域に対応する画像と、を抽出する画像記録範囲抽出部と、前記撮像対象となる被写体の映像を拡大または縮小させるズーム制御部と、前記ズーム制御部によるズーム処理により撮像領域から所定の被写体が画欠けすることを防止するために、前記第１撮像領域および前記第２撮像領域のいずれか一方または両方に対してズーム制約を設定するズーム制約設定部と、を備え、ズーム処理により拡大または縮小される前記所定の被写体と、前記ズーム制約が設定された撮像領域と、の関係に応じて、前記ズーム制約が設定された撮像領域から前記所定の被写体が画欠けすることを防止するための所定の処理を実行する、撮像装置が提供される。

係る構成により、撮像装置の画像記録範囲抽出部は、撮像対象となる被写体の映像から、所定の第１のアスペクト比で構成される第１撮像領域に対応する画像と、前記第１のアスペクト比とは異なる所定の第２のアスペクト比で構成される第２撮像領域に対応する画像と、を抽出して記録することができる。また、ズーム制御部は、前記撮像対象となる被写体の映像を拡大または縮小させることができる。さらに、撮像装置は、ズーム処理により拡大または縮小される前記所定の被写体と、前記ズーム制約が設定された撮像領域と、の関係に応じて、前記ズーム制約が設定された撮像領域から前記所定の被写体が画欠けすることを防止するための所定の処理を実行することができる。

また、撮像装置は、前記撮像対象となる被写体の映像から、ディスプレイに表示させる表示画像を抽出する画像表示範囲抽出部と、ズーム処理に応じて前記所定の被写体と、前記ズーム制約が設定された撮像領域と、の関係を示すズーム状態通知アイコンを含む通知画像を生成する通知画像生成部と、前記画像表示範囲抽出部により抽出された表示画像に、前記通知画像生成部により生成された通知画像を合成して合成画像を生成する画像合成部と、前記画像合成部により生成された表示画像を前記ディスプレイに表示させる表示制御部と、をさらに備えることもできる。

また、前記通知画像生成部は、前記所定の被写体がズーム処理により拡大されて、前記ズーム制約が設定された撮像領域内の所定位置に設定される警告境界に到達した場合、前記ズーム状態通知アイコンとして、前記ズーム制約が設定された撮像領域から前記所定の被写体が画欠けするおそれがあることを示すズーム警告アイコンを生成してもよい。

また、前記通知画像生成部は、前記所定の被写体がズーム処理によりさらに拡大されて、前記ズーム制約が設定された撮像領域の境界に到達した場合、前記ズーム状態通知アイコンとして、前記ズーム制約が設定された撮像領域から前記所定の被写体が画欠けすることを防止するにはこれ以上前記所定の被写体をズーム処理により拡大することができないことを示すズーム制限アイコンを生成してもよい。

また、前記ズーム制約が設定された撮像領域よりも前記ズーム制約が設定されていない撮像領域の方が小さい場合において、前記通知画像生成部は、前記所定の被写体がズーム処理により拡大されて、前記ズーム制約が設定されていない撮像領域内の所定位置に設定される警告境界に到達した場合、前記ズーム状態通知アイコンとして、前記ズーム制約が設定されていない撮像領域から前記所定の被写体が画欠けするおそれがあることを注意的に示すズーム警告アイコンを生成してもよい。

また、前記ズーム制約が設定された撮像領域よりも前記ズーム制約が設定されていない撮像領域の方が小さい場合、前記通知画像生成部は、前記所定の被写体がズーム処理により拡大されて、前記ズーム制約が設定されていない撮像領域の境界を超えた場合、前記ズーム状態通知アイコンとして、前記ズーム制約が設定されていない撮像領域から前記所定の被写体が画欠けしていることを注意的に示す画欠け通知アイコンを生成してもよい。

また、前記画像表示範囲抽出部は、前記撮像対象となる被写体の映像から、前記ディスプレイの表示可能領域のアスペクト比で構成される表示画像を、前記第１撮像領域が最大限に表示される範囲で抽出し、前記通知画像生成部は、前記第２撮像領域が前記ディスプレイの表示可能領域外に存在する場合に、前記第２撮像領域が前記ディスプレイの表示可能領域外に存在することを示す領域通知アイコンを含めて前記通知画像を生成してもよい。

また、前記通知画像生成部は、前記ディスプレイの表示可能領域内に前記第２撮像領域の境界の一部が存在する場合には、前記第２撮像領域の境界を示すガイドフレームを含めて前記通知画像を生成してもよい。

また、前記ズーム制約設定部は、前記第１アスペクト比で構成される第１撮像領域と、前記第２アスペクト比で構成される前記第２撮像領域と、の組合せに応じて、前記第１撮像領域および前記第２撮像領域のいずれか一方または両方に対して前記ズーム制約を自動で設定してもよい。

また、前記ズーム制約設定部は、第１撮像領域と、前記第２撮像領域と、の共通領域に対して前記ズーム制約を設定することにより、前記第１撮像領域および前記第２撮像領域から前記所定の被写体が画欠けすることを防止することもできる。

また、前記第２撮像領域が前記ディスプレイの表示可能領域外に存在し、前記第２撮像領域のみに対して前記ズーム制約が設定されている場合において、前記所定の被写体がズーム処理により拡大されて、前記ズーム制約が設定されていない前記第１撮像領域の境界を超えた場合、前記画像表示範囲抽出部は、前記撮像対象となる被写体の映像から、前記ディスプレイの表示可能領域のアスペクト比で構成される表示画像を、前記第２撮像領域が最大限に表示される範囲で抽出してもよい。

また、前記ズーム制御部は、前記所定の被写体がズーム処理によりさらに拡大されて、前記ズーム制約が設定された撮像領域の境界に到達した場合、前記所定の被写体を拡大する方向へのズーム機能を無効にしてもよい。

また、撮像装置は、前記画像記録範囲抽出部により抽出される画像データを再生画像データとして記憶するデータ記憶部をさらに備え、前記データ記憶部に記録されている１の再生画像データを、所定のアスペクト比で構成される第１ディスプレイ、および前記第１ディスプレイのアスペクト比とは異なる所定のアスペクト比で構成される第２ディスプレイに同時に再生表示させる場合において、前記画像表示範囲抽出部は、前記再生画像データから、前記第１ディスプレイに再生表示させる所定の第１再生表示領域に対応する第１再生表示画像と、前記第２ディスプレイに再生表示させる所定の第２再生表示領域に対応する第２再生表示画像と、を抽出し、前記ズーム制御部は、ズーム処理により前記再生画像データを拡大または縮小させ、前記ズーム制約設定部は、前記ズーム制御部によるズーム処理により再生表示領域から前記再生画像データに含まれる所定の被写体が画欠けすることを防止するために、前記第１再生表示領域および前記第２再生表示領域のいずれか一方または両方に対してズーム制約を設定し、前記通知画像生成部は、ズーム処理に応じて、前記所定の被写体と、前記ズーム制約が設定された再生表示領域と、の関係を示すズーム状態通知アイコンを含む通知画像を生成し、前記画像合成部は、前記画像表示範囲抽出部により抽出された各再生表示画像に、前記通知画像生成部により生成された通知画像をそれぞれ合成して第１合成画像および第２合成画像を生成し、前記表示制御部は、前記画像合成部により生成された第１合成画像を前記第１ディスプレイに表示させ、前記画像合成部により生成された第２合成画像を前記第２ディスプレイに表示させることもできる。

また、前記ズーム制御部は、前記所定の被写体がズーム処理によりさらに拡大されて、前記ズーム制約が設定された再生表示領域の境界に到達した場合、前記所定の被写体を拡大する方向へのズーム機能を無効にしてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、画像データを記憶するデータ記憶部と、前記画像データから、前記第１ディスプレイに再生表示させる所定の第１再生表示領域に対応する第１再生表示画像と、前記第２ディスプレイに再生表示させる所定の第２再生表示領域に対応する第２再生表示画像と、を抽出する画像表示範囲抽出部と、前記画像データを拡大または縮小させるズーム制御部と、前記ズーム制御部によるズーム処理により再生表示領域から前記再生画像データに含まれる所定の被写体が画欠けすることを防止するために、前記第１再生表示領域および前記第２再生表示領域のいずれか一方または両方に対してズーム制約を設定するズーム制約設定部と、を備え、ズーム処理により拡大または縮小される前記所定の被写体と、前記ズーム制約が設定された再生表示領域と、の関係に応じて、前記ズーム制約が設定された再生表示領域から前記所定の被写体が画欠けすることを防止するための所定の処理を実行する、画像再生装置が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、撮像対象となる被写体の映像から、所定の第１のアスペクト比で構成される第１撮像領域に対応する画像と、前記第１のアスペクト比とは異なる所定の第２のアスペクト比で構成される第２撮像領域に対応する画像と、を表示するディスプレイに表示させる画像を抽出する画像表示範囲抽出ステップと、撮像領域から所定の被写体が画欠けすることを防止するために、前記第１撮像領域および前記第２撮像領域のいずれか一方または両方に対してズーム制約を設定するズーム制約設定ステップと、前記撮像対象となる被写体の映像を拡大または縮小させるズーム処理ステップと、前記ズーム処理ステップにより拡大または縮小される前記所定の被写体と、前記ズーム制約が設定された撮像領域と、の関係に応じて、前記ズーム制約が設定された撮像領域から前記所定の被写体が画欠けすることを防止するための所定の処理を実行する画欠け防止処理ステップと、を含むズーム制御方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、撮像対象となる被写体の映像から、所定の第１のアスペクト比で構成される第１撮像領域に対応する画像と、前記第１のアスペクト比とは異なる所定の第２のアスペクト比で構成される第２撮像領域に対応する画像と、を表示するディスプレイに表示させる画像を抽出する画像表示範囲抽出処理と、撮像領域から所定の被写体が画欠けすることを防止するために、前記第１撮像領域および前記第２撮像領域のいずれか一方または両方に対してズーム制約を設定するズーム制約設定処理と、前記撮像対象となる被写体の映像を拡大または縮小させるズーム処理と、前記ズーム処理により拡大または縮小される前記所定の被写体と、前記ズーム制約が設定された撮像領域と、の関係に応じて、前記ズーム制約が設定された撮像領域から前記所定の被写体が画欠けすることを防止するための所定の処理を実行する画欠け防止処理と、をコンピュータに実行させるズーム制御プログラムが提供される。

また、上記課題を解決するために、本発明の別の観点によれば、データ記憶部に記録されている１の画像データから、所定の第１のアスペクト比の第１ディスプレイに再生表示させる第１再生表示領域に対応する画像と、前記第１のアスペクト比とは異なる所定の第２のアスペクトの第２ディスプレイに再生表示させる第２再生表示領域に対応する画像と、を抽出する画像表示範囲抽出ステップと、再生表示領域から前記画像データに含まれる所定の被写体が画欠けすることを防止するために、前記第１再生表示領域および前記第２再生表示領域のいずれか一方または両方に対してズーム制約を設定するズーム制約設定ステップと、前記画像データを拡大または縮小させるズーム処理ステップと、前記ズーム処理ステップにより拡大または縮小される前記所定の被写体と、前記ズーム制約が設定された再生表示領域と、の関係に応じて、前記ズーム制約が設定された再生表示領域から前記所定の被写体が画欠けすることを防止するための所定の処理を実行する画欠け防止ステップと、を含むズーム制御方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、データ記憶部に記録されている１の画像データから、所定の第１のアスペクト比の第１ディスプレイに再生表示させる第１再生表示領域に対応する画像と、前記第１のアスペクト比とは異なる所定の第２のアスペクトの第２ディスプレイに再生表示させる第２再生表示領域に対応する画像と、を抽出する画像表示範囲抽出処理と、再生表示領域から前記画像データに含まれる所定の被写体が画欠けすることを防止するために、前記第１再生表示領域および前記第２再生表示領域のいずれか一方または両方に対してズーム制約を設定するズーム制約設定処理と、前記画像データを拡大または縮小させるズーム処理と、前記ズーム処理により拡大または縮小される前記所定の被写体と、前記ズーム制約が設定された再生表示領域と、の関係に応じて、前記ズーム制約が設定された再生表示領域から前記所定の被写体が画欠けすることを防止するための所定の処理を実行する画欠け防止処理と、をコンピュータに実行させるズーム制御プログラムが提供される。

以上説明したように本発明によれば、アスペクト比の異なる複数の画像データを同時撮影する際、または同一の画像データをアスペクト比の異なる複数のディスプレイに同時再生する際に、設定されたアスペクト比の撮影領域または再生表示領域から所定の被写体が画欠けしないようにズーム機能および表示機能を制御することが可能である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。また、説明は以下の順序で行うものとする。
１．第１実施形態（すべてのアスペクト比の撮影領域から画欠けを防止する例）
１−１．第１実施形態に係る撮像装置１００の概要
１−１．撮像装置１００の機能構成
１−２．撮像装置１００のズーム処理に関する処理フロー
２．第２実施形態（優先的なアスペクト比の撮影領域のみから画欠けを防止する例）
２−１．第２実施形態に係る撮像装置２００の概要
２−２．撮像装置２００のズーム処理に関する処理フロー
３．第３実施形態（撮影データを複数のアスペクト比の表示器に表示させる場合の例）
３−１．第３実施形態に係る撮像装置３００の概要
３−２．撮像装置３００の機能構成
４．第４実施形態（主たる撮影領域を表示器に最大限に表示させる場合の例）
４−１．第４実施形態に係る撮像装置４００の概要
４−２．フレームモードの設定
４−３．撮像装置４００のズーム処理に関する処理フロー
５．第５実施形態（ズーム処理に応じて表示領域を切り替える例）
６．各実施形態に係る撮像装置のハードウェア構成
７．まとめ

＜１．第１実施形態＞
［１−１．第１実施形態に係る撮像装置１００の概要］
まず、従来技術の問題点を明確にしたうえで、本発明の第１実施形態に係る撮像装置１００の概要について説明する。

上述したように、従来のデジタルスチルカメラ、デジタルビデオカメラなどの撮像装置には、例えば、例えば、４：３や１６：９といった複数のアスペクト比の画像を同時に撮影する機能を備えていることがある。このように、複数のアスペクト比の画像を同時に撮影可能な機能を備える場合には、ディスプレイなどを介して複数のアスペクト比に対応する適切な撮影領域をユーザに示す必要がある。

図３０は、従来の撮像装置において、複数のアスペクト比の画像に対応する撮影領域をユーザに示す表示例を示す説明図である。図３０は、アスペクト比が４：３の表示器１０に、１６：９のアスペクト比の撮影領域１２と、４：３のアスペクト比の撮影領域１４とが同時に表示されている例である。図３０に示す例では、４：３のアスペクト比の撮影領域１４が４：３のアスペクト比の表示器１０に最大限に表示され、１６：９のアスペクト比の撮影領域１２に対応するフレームが表示されている。この結果、ユーザは、表示器１０に表示されるフレームを見ることにより、４：３のアスペクト比の撮影領域１４および１６：９のアスペクト比の撮影領域１２を確認しながら、ズーミング、フォーカシング、撮影開始などの所定の処理を行うことができる。

ここで、ユーザは、例えば、所定の被写体を撮影するために、撮影領域内に当該被写体が収まるようにズーム処理を行うことが想定される。以下の説明においては、富士山を注目する被写体としてズーム処理を行う例について説明する。図３１は、図３０に示した表示器１０の表示状態においてズーム処理により、注目する被写体である富士山を拡大した場合の概念を示す説明図である。

図３１を参照すると、富士山は、４：３のアスペクト比の撮影領域１４に収まっているが、１６：９のアスペクト比の撮影領域１２から富士山の一部がはみ出している。すなわち、ユーザが、表示器１０に富士山が収まるようにズーム処理を行ったとしても、１６：９のアスペクト比に対応する画像データからは富士山の一部が画欠けしてしまう。

このような問題は、表示器１０のアスペクト比に関わらず発生する。図３２は、従来の撮像装置において、アスペクト比が１６：９の表示器１０に、１６：９のアスペクト比の撮影領域１２と、４：３のアスペクト比の撮影領域１４とが同時に表示されている例である。図３２に示す例では、１６：９のアスペクト比の撮影領域１２が１６：９のアスペクト比の表示器１０に最大限に表示され、４：３のアスペクト比の撮影領域１４に対応するフレームが表示されている。図３３は、図３２に示した表示器１０の表示状態においてズーム処理により、注目する被写体である富士山を拡大した場合の概念を示す説明図である。図３３を参照すると、富士山は、１６：９のアスペクト比の撮影領域１２に収まっているが、４：３のアスペクト比の撮影領域１４から富士山の一部がはみ出していることがわかる。すなわち、ユーザが、表示器１０に富士山が収まるようにズーム処理を行ったとしても、４：３のアスペクト比に対応する画像データからは富士山の一部が画欠けしてしまう。

このように、複数のアスペクト比の画像を同時に撮影する場合、ユーザが所定の被写体を撮像装置の表示器１０に収まるようにズーム処理を行っても、一方のアスペクト比の画像データから当該被写体が画欠けしてしまうことがあるという問題があった。すなわち、従来の撮像装置は、複数のアスペクト比の画像を同時に撮影する場合、表示器１０の表示画面を基準としてズーム処理を行うと、一方のアスペクト比の撮影領域から所定の注目する被写体が画欠けしてしまうという問題があった。

本発明の第１実施形態に係る撮像装置１００は、以上のような従来の撮像装置の問題点を解決するものである。

具体的には、撮像装置１００は、複数のアスペクト比の画像データを同時撮影する際に、小さい撮影領域のアスペクト比の撮影領域に対してズーム制約を設定し、設定されたアスペクト比の画像から所定の被写体が画欠けしないように所定の処理を実行する。撮像装置１００は、例えば、ズーム制約が設定されたアスペクト比の画像の撮影領域から所定の被写体が画欠けする前に、表示画面に警告表示を表示したり、ズーム機能を無効にしたりすることができる。この結果、ユーザは、いずれのアスペクト比の画像データからも所定の被写体が画欠けしないようにズーム処理を行って、複数のアスペクト比の画像データを同時に撮影することができる。

このように、第１実施形態に係る撮像装置１００は、複数のアスペクト比の画像データを同時撮影する際に、すべてのアスペクト比の画像データの撮影領域から所定の被写体が画欠けしないように、表示機能やズーム機能を制御することができる。

以下、このような特徴を有する第１実施形態に係る撮像装置１００の詳細について説明する。なお、以下の説明においては、撮像装置１００によりユーザが所定の被写体を記録することを説明の便宜上「撮影」と表現するが、被写体の映像をそのまま記録する「撮像」の意味も含むものである。

［１−１．撮像装置１００の機能構成］
まず、第１実施形態に係る撮像装置１００の機能構成について説明する。図１は、第１実施形態に係る撮像装置１００のズーム処理に関する機能構成の一例を示すブロック図である。

図１に示すように、撮像装置１００は主に、撮像データ入力部１０２と、画像表示範囲抽出部１０４と、通知画像生成部１０６と、画像合成部１０８と、表示制御部１１０と、表示部１１２と、画像記録範囲抽出部１１４と、データ記憶部１１６と、操作入力部１２０と、ズーム制約設定部１２２と、ズーム制御部１２４と、を含んで構成される。また、撮像装置１００を構成するこれらの各機能構成部は、制御部１２６によって制御されることにより各種機能を実行する。以下、第１実施形態に係る撮像装置１００を構成するこれらの機能構成部の詳細について説明する。

（撮像データ入力部１０２）
撮像データ入力部１０２には、撮影レンズや撮像素子などを介して被写体の画像データが連続的に入力される。撮影レンズは、被写体を結像するためのものであり、ズーム機能を実現するためのズームレンズや、被写体に合焦させるためのフォーカスレンズなどから構成される。撮像素子は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ （Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などから構成される。撮像素子は、撮影レンズにより結像された被写体像を電気信号に変換して、アナログの画像データを生成する。その後、撮像素子から出力された画像データは、ゲイン調整やＡ／Ｄ（Ａｎａｌｏｇｕｅ／Ｄｉｇｉｔａｌ）変換される。

このようにして撮像データ入力部１０２に入力される画像データは、後述する画像表示範囲抽出部１０４などへ転送されて所定の処理が施された後、表示部１１２に表示される。また、ユーザが画像データの記録を指示した場合には、撮像データ入力部１０２に入力された画像データは、後述する画像記録範囲抽出部１１４へ転送された後に、所定のモード（画質、アスペクト比等）によりデータ記憶部１１６に記録される。

（画像表示範囲抽出部１０４）
画像表示範囲抽出部１０４は撮像データ入力部１０２から転送された画像データから、表示部１１２に表示させる領域の画像のみを抽出する。画像表示範囲抽出部１０４は、表示部１１２の表示性能、ユーザによって設定されたアスペクト比、画像サイズ、撮影モードなどに基づく制御部１２６からの指示に応じて画像領域を抽出することができる。画像表示範囲抽出部１０４により抽出された画像は、後述する画像合成部１０８へ転送されて通知画像と合成された後、表示部１１２に表示される。

（通知画像生成部１０６）
通知画像生成部１０６は、表示部１１２に表示させる種々の通知画像を生成する。通知画像生成部１０６が生成する通知画像としては、例えば、撮影可能な領域を表すガイドフレーム１３２や、所定の被写体の画欠けを警告したりズーム機能が制限されたりしていることをユーザに通知するズーム状態通知アイコン１３４などがある。

ユーザが撮影を希望する画像サイズやアスペクト比によっては、必ずしも表示部１１２に表示される画像と、撮影可能な領域が一致するとは限らない。したがって、撮像装置１００は、ユーザが撮影領域を確認するために見る表示部１１２の画像に、撮影可能な領域を示す必要がある。通知画像生成部１０６は、表示部１１２に表示される画像のうち、撮影により記録可能な領域をユーザに示すために、撮影領域を表すガイドフレーム１３２を生成する。通知画像生成部１０６は、例えば、ユーザによって設定されたアスペクト比、画像サイズ、撮影モードなどに基づく制御部１２６からの指示に応じてガイドフレーム１３２を含む通知画像を生成することができる。

さらに、通知画像生成部１０６は、ズーム処理に応じて所定の被写体が撮影領域の境界に近づいた場合、ズーム状態通知アイコン１３４として、画欠けの危険性をユーザに通知するズーム警告アイコン１３６を生成することができる。また、通知画像生成部１０６は、ズーム処理に応じて所定の被写体が撮影領域の境界に到達した場合、ズーム状態通知アイコン１３４として、これ以上拡大方向にズーム処理を行えないことをユーザに通知するズーム制限アイコン１３８を生成することもできる。このように、通知画像生成部１０６は、ズーム処理に応じてズーム状態通知アイコン１３４を適宜変更して通知画像を生成することができる。

また、通知画像生成部１０６によって生成された通知画像は、後述する画像合成部１０８へ転送される。なお、ズーム状態通知アイコン１３４（ズーム警告アイコン１３６やズーム制限アイコン１３８）の表示例については、後述する処理フローにおいて例示する。

（画像合成部１０８）
画像合成部１０８は、画像表示範囲抽出部１０４によって抽出された画像データに、通知画像生成部１０６によって生成された通知画像を合成し、表示部１１２に表示させる画像データを生成する。画像合成部１０８によって生成された画像データは、後述する表示制御部１１０へ転送された後、表示部１１２に表示される。

（表示制御部１１０）
表示制御部１１０は、表示部１１２の表示を制御する。表示制御部１１０は、例えば、メニュー画面表示、詳細設定画面表示、画像編集画面表示、撮影画面表示、メッセージ表示など、表示部１１２への種々の表示を制御する。例えば、ユーザが操作入力部１２０を介してメニュー画面の表示を指示した場合、表示制御部１１０は、所定のメニュー画面を表示部１１２に表示させる。この結果、ユーザは、表示部１１２に表示されたメニュー画面を見ながら、初期設定、撮影モードの選択、画質設定、画像サイズ設定、アスペクト比設定、表示設定、画像編集などの種々の設定に関する操作を行うことができる。このようなユーザの操作に応じて、表示制御部１１０は、表示部１１２に表示されるメニュー画面を適宜変更することができる。

また、例えば、ユーザが操作入力部１２０を介して画像の撮影モードへの切り替えを指示した場合、表示制御部１１０は、画像合成部１０８によって生成された画像データを表示部１１２に表示させる。この結果、ユーザは、表示部１１２に表示されたガイドフレーム１３２やズーム状態通知アイコン１３４などを見て、撮影可能な領域を確認しながらズーム処理を行って撮影を実行することができる。

表示制御部１１０は、操作入力部１２０から入力されたユーザの指示や、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｌｙ）などに格納されている設定情報などに基づく制御部１２６からの指示に応じて表示部１１２への表示を制御することができる。なお、画像撮影モードにおける、表示制御部１１０による表示部１１２の表示制御の例については、後述する処理フローにおいて説明する。

また、表示制御部１１０は、上述した以外にも表示部１１２の表示制御に関する各種機能を追加的に備えることもできる。例えば、表示制御部１１０は、画像合成部１０８によって生成された画像データを、表示部１１２の表示性能に適合するような画像ファイルに圧縮したり、表示部１１２の表示形式に適合するような画像フォーマットに変換したりすることなども当然に可能である。

（表示部１１２）
表示部１１２は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ；液晶ディスプレイ）や有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ ｄｉｓｐｌａｙ）ディスプレイなどからなり、撮像装置１００上に備えられる。表示部１１２には、上述した画像合成部１０８により生成された画像、すなわち、画像表示範囲抽出部１０４により抽出された画像に、通知画像生成部１０６により生成された通知画像が合成された画像が表示されることとなる。また、表示部１１２は、データ記憶部１１６に記録されている画像データや、ユーザに対する通知メッセージ（例えば、撮影モード、空き容量通知、エラー通知）、詳細設定画面などを表示することもできる。表示部１１２を構成するディスプレイは、例えば、１６：９、４：３などのアスペクト比の表示可能領域を有するものであるが、特定のアスペクト比に限定されるものではない。

なお、表示部１１２は、必ずしも撮像装置１００上に備えられる必要はない。例えば、撮像装置１００と接続される（無線・有線問わず）外部装置に外部ディスプレイが備えられている場合、画像合成部１０８により生成された画像は、表示制御部１１０により外部装置１２８に転送される。この結果、ユーザは、外部ディスプレイに表示される画像を見ながら撮像装置１００の各種機能を実行することもできる。

（画像記録範囲抽出部１１４）
画像記録範囲抽出部１１４は、撮像データ入力部１０２に入力された画像データのうち、録画可能な領域の画像のみを抽出する。例えば、ユーザが操作ボタンを操作して動画の撮影開始を指示した場合、画像記録範囲抽出部１１４は、撮像データ入力部１０２に入力された画像データから撮影領域の画像データを連続的に抽出し、所定形式の動画ストリームとしてデータ記憶部１１６に記録する。このとき、画像記録範囲抽出部１１４は、ユーザにより指定された画像サイズやアスペクト比、または撮影モードに応じて自動的に決定される画像サイズやアスペクト比などに基づいて、画像データを抽出することができる。

また、ユーザが静止画の撮影を指示した場合、画像記録範囲抽出部１１４は、撮像データ入力部１０２に入力された１フレーム分の画像データから撮影領域の画像データのみを抽出し、静止画ファイルとしてデータ記憶部１１６に記録する。このとき、画像記録範囲抽出部１１４は、ユーザにより指定された画像サイズやアスペクト比、または撮影モードに応じて自動的に決定される画像サイズやアスペクト比などに基づいて、画像データを抽出することができる。

また、上述したように、撮像装置１００は、複数のアスペクト比の画像を同時に記録することもできる。したがって、ユーザが複数のアスペクト比の画像の撮影開始を指示した場合、画像記録範囲抽出部１１４は、撮像データ入力部１０２に入力された画像データから、それぞれのアスペクト比に対応する撮影領域の画像データを抽出することもできる。例えば、ユーザが１６：９のアスペクト比に対応する動画の撮影中に、４：３のアスペクト比に対応する静止画の撮影を指示した場合を仮定する。この場合、画像記録範囲抽出部１１４は、撮像データ入力部１０２によって生成された画像データから１６：９の撮影領域の画像データを連続的に抽出し、所定の形式の動画ストリームとしてデータ記憶部１１６に継続的に記録する。さらに、画像記録範囲抽出部１１４は、上記動画ストリームの記録と並行して、撮像データ入力部１０２によって生成された１フレーム分の画像データから４：３の撮影領域の画像データを抽出し、所定の形式の静止画ファイルとしてデータ記憶部１１６に記録する。この結果、撮像装置１００は、撮像データ入力部１０２に入力された画像データに対して、１６：９のアスペクト比に対応する動画データを記録しながら、４：３のアスペクト比に対応する静止画データを記録することができる。

このように、画像記録範囲抽出部１１４は、ユーザが撮影開始を指示した場合に、撮像データ入力部１０２に入力された画像データから、撮影領域の画像データのみを抽出してデータ記憶部１１６に記録する。画像記録範囲抽出部１１４は、例えば、ユーザによって設定されたアスペクト比、画像サイズ、撮影モードなどに基づく制御部１２６からの指示に応じて画像データを抽出することができる。なお、画像記録範囲抽出部１１４が抽出可能な画像は特定の画像サイズやアスペクト比に限定されるものではない。

（データ記憶部１１６）
データ記憶部１１６は、画像記録範囲抽出部１１４によって記録された画像データを記憶する不揮発性の記憶領域として機能する。データ記憶部１１６は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成され、複数の画像データを保存可能な不揮発性の記憶装置であれば特定の構成に限定されるものではない。また、データ記憶部１１６は、必ずしも撮像装置１００に内蔵されている必要はない。データ記憶部１１６は、例えば、撮像装置１００に備えられる記録媒体挿入部（図示せず）などに挿入された、メモリスティック（登録商標）やＳＤメモリーカードなどの記録媒体に備えられてもよい。

（操作入力部１２０）
操作入力部１２０は、例えば、タッチパネル、ボタン、スイッチ、レバー、ダイヤルなどの操作部を含んで構成される。ユーザは、これらの操作部を操作することにより、撮像装置１００に対して処理動作（ズーム制約設定、モード変更、アスペクト比設定、画質調整、撮影動作、ズーム・フォーカス・絞り・シャッタースピード変更、再生動作など）を指示することができる。操作入力部１２０は、操作部を介してユーザから受け付けた指示情報を制御部１２６へ伝送する。これを受けて、制御部１２６は、操作入力部１２０から伝送された指示情報に基づいて、撮像装置１００が備える各機能構成部を制御し、ユーザが所望する各種機能を実行する。

（ズーム制約設定部１２２）
ズーム制約設定部１２２は、複数のアスペクト比の画像データを同時に撮影する場合に、いずれか一方またはすべてのアスペクト比の撮影領域に対してズーム制約を設定する。ここで、ズーム制約とは、ユーザによってまたは自動で設定された所定の被写体が撮影領域から画欠けしないように、撮像装置１００の表示機能およびズーム機能を制御することを意味する。すなわち、撮像装置１００は、ズーム制約が設定されたアスペクト比の撮影領域から所定の被写体が画欠けしないように、ズーム状態通知アイコン１３４を表示部１１２などに表示させたり、ズーム機能を制限したりする。このように、第１実施形態に係る撮像装置１００は、複数のアスペクト比の画像データを同時に撮影する際に、設定されたアスペクト比の撮影領域から所定の被写体が画欠けしないように、表示機能やズーム機能を制御することを特徴の１つとしている。

ズーム制約設定部１２２は、操作入力部１２０から入力されたユーザの指示や、ＲＯＭなどに格納されている設定情報などに基づく制御部１２６からの指示に応じて、どのアスペクト比に対してズーム制約を設定するかを決定する。例えば、ユーザが、操作ボタンなどを介して所定のアスペクト比に対してズーム制約を指示した場合、ズーム制約設定部１２２は、制御部１２６からの指示に応じて、ユーザから指示を受けたアスペクト比に対してズーム制約を設定する。

上述したように、第１実施形態に係る撮像装置１００は、小さい撮影領域のアスペクト比に対してズーム制約を設定することにより、ユーザが表示部１１２に表示された画像に基づいてズーム処理を行えるようにすることを特徴の１つとしている。例として、１６：９の画像データおよび４：３の画像データを同時に撮影する際に、４：３の表示部１１２に４：３の撮影領域が最大限に表示され、１６：９のアスペクト比の撮影領域が表示部１１２の表示領域より小さい範囲で表示されている場合を仮定する。この場合、ユーザは、操作ボタンなどを介して１６：９のアスペクト比に対するズーム制約を指示することができる。これを受けて、ズーム制約設定部１２２は、１６：９のアスペクト比に対してズーム制約を設定し、当該設定情報を後述するズーム制御部１２４などに転送する。これにより、ズーム制御部１２４は、転送されたズーム制約の設定情報に基づいて、所定の被写体が１６：９の撮影領域から画欠けしないように、ズーム機能を制御したり、ズーム状態通知アイコン１３４の生成を通知画像生成部１０６に指示したりすることができる。もちろん、ズーム制約設定部１２２は、ユーザからの指示がなくても、複数のアスペクト比の撮影領域のうち、小さいほうの撮影領域のアスペクト比に対して自動でズーム制約を設定してもよい。

（ズーム制御部１２４）
ズーム制御部１２４は、操作入力部１２０から入力されたユーザの指示や、ＲＯＭなどに格納されている設定情報などに基づく制御部１２６からの指示に応じてズーミング制御を行う。例えば、ユーザが操作ボタンなどを介していわゆる光学ズームを指示した場合、ズーム制御部１２４は、撮像データ入力部１０２に対してズーム処理の実行を指示する。これを受けて撮像データ入力部１０２は、ズームレンズを駆動することなどにより撮像する画像領域を変更することができる。また、ズーム制御部１２４は、制御部１２６からの指示に応じて撮影領域に含まれる所定の被写体を検出し、当該被写体が撮影領域に収まるように自動でズーミング制御を行ってもよい。

また、例えば、ユーザが操作ボタンなどを介していわゆるデジタルズームを指示した場合、ズーム制御部１２４は、画像表示範囲抽出部１０４に対してズーム処理の実行を指示する。これを受けて画像表示範囲抽出部１０４は、撮像データ入力部１０２から転送された画像データから抽出する領域を変更することができる。

また、上述したように、複数のアスペクト比の画像データを同時に撮影する場合、ズーム制約設定部１２２によって、いずれかのアスペクト比の画像データに対してズーム制約が設定されることがある。この場合、ズーム制御部１２４は、ズーム制約設定部１２２から転送される情報に基づいて、ズーム制約が設定されているアスペクト比の画像データの撮影領域から所定の被写体が画欠けしないようにズーミング制御を行う。例えば、ズーム制御部１２４は、ズーム制約が設定されたアスペクト比の撮影領域から所定の被写体が画欠けする前にズーム機能を制限して、当該被写体が設定されたアスペクト比の撮影領域に収まるようにする。また、ズーム制御部１２４は、ズーム制約が設定されたアスペクト比の撮影領域の境界に所定の被写体が到達する前に、ズーム警告アイコン１３６の生成を通知画像生成部１０６に指示することなどもできる。

このように、ズーム制御部１２４は、複数のアスペクト比の画像データを同時に撮影する場合において、ズーム制約が設定されたアスペクト比の撮影領域から所定の被写体が画欠けしないように所定の処理を実行することができる。この結果、ユーザは、複数のアスペクト比の画像データを同時に撮影する場合においても、各アスペクト比の画像データから所定の被写体が画欠けしないように画像データを撮影できる。

なお、ズーム制約が設定されているアスペクト比の撮影領域から画欠けを防止する所定の被写体は、種々の方法により決定することができる。例えば、ユーザが操作ボタンなどを操作して所定の被写体を指定した場合には、ズーム制御部１２４は、ズーム制約が設定されているアスペクト比の撮影領域からユーザによって指定された被写体が画欠けしないように各種機能を制御することができる。また、例えば、顔検出機能などのように、所定の被写体を自動検出する機能を備えている場合には、ズーム制御部１２４は、ズーム制約が設定されているアスペクト比の撮影領域から自動検出された所定の被写体が画欠けしないように各種機能を制御することもできる。このように、画欠けを防止する被写体の種類や決定方法は特定のものに限定されるものではない。

（制御部１２６）
制御部１２６は、撮像装置１００全体を制御する演算処理装置および制御装置であり、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などである。制御部１２６は、操作入力部１２０からの指示に応じて、撮像装置１００の上述した各機能構成部に対して所定の処理の実行を指示する。なお、制御部１２６によって上述した各機能構成部が実行する処理の流れについては後述する。

以上、第１実施形態に係る撮像装置１００の機能構成の一例について説明した。なお、図１に示した機能構成は、第１実施形態の特徴の１つであるズーム機能および表示機能の制御を実現するための機能を中心に示したものであり、これらに限定されるものではない。例えば、撮像装置１００は、図１に示した機能構成部の他に、記録機能、音声入出力機能、通信機能、画像編集機能などのように、通常の撮像装置に備えられる各種機能を追加的に備えてもよい。

［１−２．撮像装置１００のズーム処理に関する処理フロー］
次に、上述した機能構成の撮像装置１００によるズーム処理の流れについてフロー図を参照に説明する。図２は、第１実施形態に係る撮像装置１００において、ユーザからズーム指示があった場合の処理の流れの一例を示すフロー図である。なお、図２に示す処理フローは、複数のアスペクト比の画像データを同時に撮影する場合において、より小さい撮影領域のアスペクト比にズーム制約が設定されている場合に行われる処理の流れの一例を示している。例えば、図３は、ユーザからズーム指示を受ける前の表示部１１２の表示例を示す説明図である。図３に示す例では、４：３のアスペクト比の表示可能領域を有する表示部１１２に４：３のアスペクト比の撮影領域１５０が最大限に表示され、表示部１１２の表示可能領域の一部に１６：９のアスペクト比の撮影領域１５２が表示されている。以下、より小さい１６：９のアスペクト比の撮影領域１５２に対してズーム制約が設定され、所定の注目する被写体として「富士山」が設定されている場合を例に、図２の処理フローについて説明する。

まず、ステップ２００において、撮像装置１００は、ユーザによるズーム指示が、ズーム制約が設定されている方向、すなわち被写体を拡大する方向へのズーム指示であるか否かを判断する。制御部１２６は、操作入力部１２０から伝送されたユーザ操作に関する情報に基づいて、被写体を拡大する方向へのズーム指示であるか否かを判断し、判断結果をズーム制御部１２４へ転送する。

ステップ２００により、ユーザによるズーム指示が被写体を縮小する方向へのズーム指示であると判断された場合、ズーム制御部１２４は、ステップ２０２において、ズームレンズの駆動制御などを行う。これにより、表示部１１２には、図３に示した例よりも小さい富士山の画像が表示されることとなる。

一方、ステップ２００により、ユーザによるズーム指示が被写体を拡大する方向へのズーム指示であると判断された場合、撮像装置１００は、ステップ２０４の判断処理を行う。すなわち、ズーム制御部１２４は、ズーム制約が設定されている１６：９のアスペクト比の撮影領域１５２の警告境界に、注目する被写体である富士山が到達しているか否かを判断する。ここで、「警告境界１５４」とは、注目する被写体がこれ以上継続的に拡大された場合に画欠けが発生することをユーザに通知するための境界を意味し、ズーム制約が設定されているアスペクト比の撮影領域内の所定位置に設定される。撮像装置１００は、例えば、ズーム制約が設定されているアスペクト比の撮影領域の８０％の大きさの領域の境界を警告境界１５４として設定することができる。もちろん警告境界１５４の位置は任意に設定・変更することができるものであり、特定の位置に限定されるものではない。また、警告境界１５４の位置は、ユーザによって適宜変更されたり、撮影モードなどに応じて自動で変更されたりすることも当然に可能である。

ステップ２０４により、富士山が１６：９のアスペクト比の撮影領域１５２の警告境界１５４に到達していないと判断された場合、被写体を拡大する方向へズーム処理を行っても１６：９のアスペクト比の撮影領域１５２から富士山が画欠けする危険性はない。したがって、ズーム制御部１２４は、ステップ２０２において、ズームレンズの駆動制御などを行う。これにより、表示部１１２に表示される画像の富士山は、１６：９のアスペクト比の撮影領域１５２内に含まれ、かつ図３に示した例よりも大きくなる。

一方、ステップ２０４により、富士山が１６：９のアスペクト比の撮影領域１５２の警告境界１５４に到達していると判断された場合、これ以上ズーム処理を継続すると１６：９の撮影データから富士山が画欠けしてしまうおそれがある。しかしながら、余裕を持って警告境界１５４を設定している場合などにおいては、まだ被写体を拡大する方向へズーム処理を行っても１６：９のアスペクト比の撮影領域１５２から富士山が画欠けしないため、撮像装置１００は、ステップ２０６の判断処理を行う。すなわち、ズーム制御部１２４は、ズーム制約が設定されている１６：９のアスペクト比の撮影領域１５２の制限境界に、注目する被写体である富士山が到達しているか否かを判断する。ここで、「制限境界」とは、注目する被写体がこれ以上拡大されないように制限するための境界を意味し、ズーム制約が設定されているアスペクト比の撮影領域内に設定される。撮像装置１００は、例えば、ズーム制約が設定されている撮影領域の境界を制限境界として設定することができる。また、撮像装置１００は、ある程度のマージンを考慮して、例えば、ズーム制約が設定されている１６：９のアスペクト比の撮影領域１５２の９５％の大きさの領域の境界を制限境界として設定してもよい。もちろん制限境界の位置は任意に設定・変更することができるものであり、特定の位置に限定されるものではない。また、制限境界の位置は、ユーザによって適宜変更されたり、撮影モードなどに応じて自動で変更されたりすることも当然に可能である。

ステップ２０６により、富士山が１６：９のアスペクト比の撮影領域１５２の制限境界に到達していないと判断された場合、被写体を拡大する方向へズーム処理を行っても１６：９のアスペクト比の撮影領域１５２から富士山が画欠けする危険性はない。しかしながら、これ以上、被写体を拡大する方向へのズーム処理を続けると富士山が１６：９のアスペクト比の撮影領域１５２から画欠けしてしまうおそれがあることをユーザに通知する必要がある。したがって、撮像装置１００は、ステップ２０８において、表示部１１２にズーム警告アイコン１３６を表示させる。すなわち、通知画像生成部１０６は、富士山が１６：９のアスペクト比の撮影領域１５２の警告境界１５４に到達していることを示すズーム警告アイコン１３６を含む通知画像を生成し、画像合成部１０８へ転送する。これを受けて画像合成部１０８は、画像表示範囲抽出部１０４によって抽出された画像と、ズーム警告アイコン１３６を含む通知画像と、を合成して表示制御部１１０へ転送する。これにより、表示部１１２には、ズーム警告アイコン１３６がズーム状態通知アイコン１３４として表示されることとなる。

その後、ステップ２０２において、ズーム制御部１２４は、ズームレンズの駆動制御などを行い、表示部１１２に表示される画像の富士山が拡大される。

図４は、ステップ２０８によりズーム警告アイコン１３６が表示される表示部１１２の表示例を示す説明図である。図４に示すように、富士山は警告境界１５４を超える範囲に存在しているが、制限境界（１６：９のアスペクト比の撮影領域１５２の境界に設定）には到達していない。したがって、表示部１１２には「ＷＡＲＮ」という文字のズーム警告アイコン１３６が表示されている。これによりユーザは、これ以上拡大方向へズーム処理を行うと１６：９の画像データから富士山が画欠けしてしまうおそれがあることを容易に認識することができる。

次に、ステップ２０６により、富士山が１６：９のアスペクト比の撮影領域１５２の制限境界に到達していると判断された場合、これ以上被写体を拡大する方向にズーム処理を行うと１６：９の画像データから富士山が画欠けしてしまうことを意味する。したがって、ズーム制御部１２４は、ズーム機能を無効として、ユーザからのズーム指示に対するズーム処理を行わない。さらに、撮像装置１００は、ステップ２１０において、表示部１１２にズーム制限アイコン１３８を表示させる。すなわち、通知画像生成部１０６は、富士山が１６：９のアスペクト比の撮影領域１５２の制限境界に到達していることを示すズーム制限アイコン１３８を含む通知画像を生成し、画像合成部１０８へ転送する。これを受けて画像合成部１０８は、画像表示範囲抽出部１０４によって抽出された画像と、ズーム制限アイコン１３８を含む通知画像と、を合成して表示制御部１１０へ転送する。これにより、表示部１１２には、ユーザに対してこれ以上被写体を拡大するズーム処理を行えないことを通知するズーム制限アイコン１３８がズーム状態通知アイコン１３４として表示されることとなる。

図５は、ステップ２１０によりズーム制限アイコン１３８が表示される表示部１１２の表示例を示す説明図である。図５に示すように、富士山は制限境界（１６：９のアスペクト比の撮影領域１５２の境界に設定）に到達している。したがって、表示部１１２には「ＳＴＯＰ」という文字のズーム制限アイコン１３８が表示されている。これによりユーザは、これ以上拡大方向へズーム処理を行うことができないことを容易に認識できる。

以上のように、第１実施形態に係る撮像装置１００は、複数のアスペクト比の画像データを同時撮影する場合において、所定の注目する被写体が各アスペクト比の画像データから画欠けしないように、表示機能やズーム機能を制御することができる。すなわち、撮像装置１００は、複数のアスペクト比の撮影領域のうち、より小さい撮影領域のアスペクト比に対してズーム制約を設定する。これにより、撮像装置１００は、ズーム制約が設定されたアスペクト比の撮影領域の境界に所定の注目する被写体が近づいた場合、警告表示（ズーム警告アイコン１３６）を表示部１１２に表示させることができる。また、撮像装置１００は、ズーム制約が設定されたアスペクト比の撮影領域の境界に所定の注目する被写体が到達した場合、ズーム機能を無効とすることにより、注目する被写体が画像データから画欠けすることを防止することができる。さらに、撮像装置１００は、ズーム機能が制限され、これ以上拡大方向にズーム処理を行うことができないことをユーザに通知する通知アイコン（ズーム制限アイコン１３８）を表示部１１２に表示させることができる。すなわち、第１実施形態に係る撮像装置１００は、複数のアスペクト比の画像データを同時に撮影する際に、それぞれのアスペクト比の画像データの撮影領域から所定の被写体が画欠けしないように表示機能およびズーム機能を制御することが可能である。

なお、上記説明では、表示部１１２が４：３のアスペクト比の表示可能領域を有し、１６：９のアスペクト比の画像データおよび４：３のアスペクト比の画像データを同時撮影する場合を例に説明したが、本発明はこれらに限定されるものではない。例えば、表示部１１２が１６：９のアスペクト比の表示可能領域を有している場合や、他のアスペクト比の画像データを同時撮影する場合であってもよい。

また、ズーム警告アイコン１３６やズーム制限アイコン１３８の文字、色、大きさ、表示位置などは図４および図５に示した例に限定されるものではない。すなわち、ズーム警告アイコン１３６やズーム制限アイコン１３８の文字、色、大きさ、表示位置などは、ユーザによって任意に設定・変更することができるものである。また、図４に示す表示例では、説明の便宜上、警告境界１５４を破線で示しているが、実際には警告境界１５４は表示部１１２に表示されなくてもよい。

＜２．第２実施形態＞
［２−１．第２実施形態に係る撮像装置２００の概要］
次に、上述した第１実施形態に係る撮像装置１００の機能を備えた上で、さらにズーム制約の設定の自由度を向上させる、第２実施形態に係る撮像装置２００の概要について説明する。

上記第１実施形態に係る撮像装置１００は、複数のアスペクト比の撮影領域のうち、より小さい撮影領域のアスペクト比に対してズーム制約を設定することにより、各アスペクト比の撮影データから所定の被写体が画欠けすることを防止することができた。しかしながら、ユーザや撮影状況などによっては、すべてのアスペクト比の撮影データから画欠けを防止する必要はなく、優先的に特定のアスペクト比の撮影データのみから画欠けを防止させたい場合も想定される。ここで、複数のアスペクト比の撮影領域のうち、より小さい撮影領域のアスペクト比の撮影データからの画欠けを優先的に防止する場合は、上述した第１実施形態に係る撮像装置１００により実現することができる。これに対して、第２実施形態に係る撮像装置２００は、複数のアスペクト比の撮影領域のうち、より大きい撮影領域のアスペクト比の撮影データからの画欠けを優先的に防止したい場合における表示機能およびズーム機能の制御を特徴の１つとしている。

例えば、図３を例に説明すると、ユーザは、４：３のアスペクト比のデータを主として撮影し、１６：９のアスペクト比のデータを副次的に撮影する場合などには、４：３のアスペクト比の撮影データのみから画欠けを防止したい場合なども想定される。このような場合においても、第２実施形態に係る撮像装置２００は、より大きな４：３のアスペクト比の撮影領域１５０に対してズーム制約を設定することにより、４：３のアスペクト比の撮影データから所定の注目する被写体が画欠けすることを防止することができる。すなわち、第２実施形態に係る撮像装置２００は、ズーム処理に応じて副次的に撮影する１６：９のアスペクト比の撮影領域１５２から所定の注目する被写体が画欠けしても、４：３のアスペクト比の撮影領域１５０の制限境界に当該被写体が到達するまではズーム機能を制限しない。さらに、第２実施形態に係る撮像装置２００は、１６：９の撮影データから画欠けが発生していることを注意的に警告するズーム状態通知アイコン１３４を表示することもできる。

なお、複数のアスペクト比の画像データを同時撮影する場合において、いずれのアスペクト比の撮影領域に対してズーム制約を設定するかは、ユーザが任意に設定したり、撮影モードなどに応じて自動で設定したりすることができる。すなわち、図３に示す例で、より小さい撮影領域の１６：９のアスペクト比の撮影領域１５２に対してズーム制約が設定された場合、上述した実施形態１の撮像装置１００によるズーミング制御が行われる。一方、より大きい撮影領域の４：３のアスペクト比の撮影領域１５０に対してズーム制約が設定された場合、以下に説明する実施形態２の撮像装置２００によるズーミング制御が行われる。

［２−２．撮像装置２００のズーム処理に関する処理フロー］
次に、第２実施形態に係る撮像装置２００によるズーム処理の流れについてフロー図を参照に説明する。図６は、第２実施形態に係る撮像装置２００において、ユーザからズーム指示があった場合の処理の流れの一例を示すフロー図である。なお、図６に示す処理フローは、複数のアスペクト比の画像データを同時に撮影する場合において、より大きい撮影領域のアスペクト比にズーム制約が設定されている場合に行われる処理の流れの一例を示している。以下、図３に示す例において、より大きい４：３のアスペクト比の撮影領域１５０に対してズーム制約が設定され、所定の注目する被写体として「富士山」が設定されている場合を例に、図６の処理フローについて説明する。

まず、ステップ３００において、撮像装置１００は、ユーザによるズーム指示が、ズーム制約が設定されている方向、すなわち被写体を拡大する方向へのズーム指示であるか否かを判断する。

ステップ３００により、ユーザによるズーム指示が被写体を縮小する方向へのズーム指示であると判断された場合、ズーム制御部１２４は、ステップ３０２において、ズームレンズの駆動制御などを行う。これにより、表示部１１２には、図３に示した例よりも小さい富士山の画像が表示されることとなる。

一方、ステップ３００により、ユーザによるズーム指示が被写体を拡大する方向へのズーム指示であると判断された場合、撮像装置１００は、ステップ３０４の判断処理を行う。すなわち、ズーム制御部１２４は、ズーム制約が設定されていない１６：９のアスペクト比の撮影領域１５２の警告境界１５４に、注目する被写体である富士山が到達しているか否かを判断する。第２実施形態に係る撮像装置２００は、警告境界１５４をズーム制約が設定されている４：３のアスペクト比の撮影領域１５０のみでなく、ズーム制約が設定されていない１６：９のアスペクト比の撮影領域１５２にも設定することができる。これにより、撮像装置２００は、ズーム制約が設定されていない１６：９の画像データから画欠けが発生する可能性があることを注意的にユーザに通知することができる。

ステップ３０４により、富士山が１６：９のアスペクト比の撮影領域１５２の警告境界１５４に到達していないと判断された場合、ズーム制御部１２４は、ステップ３０２において、ズームレンズの駆動制御などを行う。

一方、ステップ３０４により、富士山が警告境界１５４に到達していると判断された場合においても、ズーム制約は４：３のアスペクト比の撮影領域１５０に設定されているため、撮像装置２００は、ステップ３０６の判断処理を行う。すなわち、ズーム制御部１２４は、ズーム制約が設定されていない１６：９のアスペクト比の撮影領域１５２を越えた領域に富士山が存在しているか否かを判断する。

ステップ３０６により、ズーム制約が設定されていない１６：９のアスペクト比の撮影領域１５２を越えた領域に富士山が存在していないと判断された場合、撮像装置２００は、ステップ３０８において、表示部１１２にズーム警告アイコン１３６を表示させる。したがって、図４に示した例と同じようなズーム警告アイコン１３６がズーム状態通知アイコン１３４として表示されることとなる。この結果、撮像装置２００は、ズーム制約が設定されていないアスペクト比の撮影領域、すなわちユーザが副次的な撮影を希望している画像データについても、所定の注目する被写体が画欠けしてしまうおそれがあることを注意的に通知することができる。これによりユーザは、副次的な撮影データの重要性や撮影状況の変更などに応じて、被写体を拡大する方向へのズーム処理を容易に止めることができる。

その後、ステップ３０２において、ズーム制御部１２４は、ズームレンズの駆動制御などを行い、表示部１１２に表示される画像の富士山が拡大される。

ここで、ズーム制約は４：３のアスペクト比の撮影領域１５０に設定されている。したがって、ステップ３０６により、１６：９のアスペクト比の撮影領域１５２を越えた領域に富士山が存在していると判断された場合においても、撮像装置２００は、ステップ３１０の判断処理を行う。すなわち、ズーム制御部１２４は、ズーム制約が設定されている４：３のアスペクト比の撮影領域１５０の警告境界１５４に、注目する被写体である富士山が到達しているか否かを判断する。

ステップ３１０により、富士山が４：３のアスペクト比の撮影領域１５０の警告境界１５４に到達していないと判断された場合、被写体を拡大する方向へズーム処理を行っても４：３のアスペクト比の撮影領域１５０から富士山が画欠けする危険性はない。しかしながら、すでにズーム制約が設定されていない１６：９のアスペクト比の撮影領域１５２からは富士山が画欠けしている。このような場合、第２実施形態に係る撮像装置２００は、ズーム制約が設定されていない１６：９の画像データから画欠けが発生していることを注意的にユーザに通知することができる。

すなわち、ステップ３１２において、撮像装置２００は、ズーム制約が設定されていないアスペクト比の撮影領域から注目する被写体が画欠けしていることを注意的に通知するための画欠け通知アイコン１４０を表示部１１２に表示させる。すなわち、通知画像生成部１０６は、富士山が１６：９のアスペクト比の撮影領域１５２から画欠けしていることを示す画欠け通知アイコン１４０を含む通知画像を生成し、画像合成部１０８へ転送する。これを受けて画像合成部１０８は、画像表示範囲抽出部１０４によって抽出された画像と、画欠け通知アイコン１４０を含む通知画像と、を合成して表示制御部１１０へ転送する。これにより、表示部１１２には、画欠け通知アイコン１４０がズーム状態通知アイコン１３４として表示されることとなる。

その後、ステップ３０２において、ズーム制御部１２４は、ズームレンズの駆動制御などを行い、表示部１１２に表示される画像の富士山が拡大される。

図７は、ステップ３１２により画欠け通知アイコン１４０が表示される表示部１１２の表示例を示す説明図である。図７に示すように、富士山は１６：９のアスペクト比の撮影領域１５２を超える領域に存在しているが、４：３のアスペクト比の撮影領域１５０の警告境界１５４には到達していない。したがって、表示部１１２には「ＯＶＥＲ」という文字の画欠け通知アイコン１４０が表示されている。この結果、撮像装置２００は、ズーム制約が設定されていないアスペクト比の撮影領域、すなわちユーザが副次的な撮影を希望している画像データについても、所定の注目する被写体が画欠けしてしまっていることを注意的に通知することができる。これによりユーザは、副次的な撮影データの重要性や撮影状況の変更などに応じて、被写体を縮小する方向にズーム処理を行い、副次的な撮影データからの画欠けを回避することもできる。

一方、ステップ３１０により、富士山が４：３のアスペクト比の撮影領域１５０の警告境界１５４に到達していると判断された場合、これ以上ズーム処理を継続すると４：３の撮影データから富士山が画欠けしてしまうおそれがある。しかしながら、余裕を持って警告境界１５４を設定している場合などにおいては、まだ被写体を拡大する方向へズーム処理を行っても４：３のアスペクト比の撮影領域１５０から富士山が画欠けしないため、撮像装置２００は、ステップ３１４の判断処理を行う。すなわち、ズーム制御部１２４は、ズーム制約が設定されている４：３のアスペクト比の撮影領域１５０の制限境界に、注目する被写体である富士山が到達しているか否かを判断する。

ステップ３１４により、富士山が４：３のアスペクト比の撮影領域１５０の制限境界に到達していないと判断された場合、被写体を拡大する方向へズーム処理を行っても４：３のアスペクト比の撮影領域１５０から富士山が画欠けする危険性はない。しかしながら、これ以上、被写体を拡大する方向へのズーム処理を続けると富士山が４：３のアスペクト比の撮影領域１５０から画欠けしてしまうおそれがあることをユーザに通知する必要がある。したがって、撮像装置１００は、ステップ３１６において、表示部１１２にズーム警告アイコン１３６をズーム状態通知アイコン１３４として表示させる。

その後、ステップ３０２において、ズーム制御部１２４は、ズームレンズの駆動制御などを行い、表示部１１２に表示される画像の富士山が拡大される。

図８は、ステップ３１６によりズーム警告アイコン１３６が表示される表示部１１２の表示例を示す説明図である。図８に示すように、富士山は４：３のアスペクト比の撮影領域１５０の警告境界１５４を超える範囲に存在しているが、制限境界（４：３のアスペクト比の撮影領域１５０の境界に設定）には到達していない。したがって、表示部１１２には「ＷＡＲＮ」という文字のズーム警告アイコン１３６が表示されている。これによりユーザは、これ以上拡大方向へズーム処理を行うと４：３の画像データから富士山が画欠けしてしまうおそれがあることを容易に認識することができる。

次に、ステップ３１４により、富士山が４：３のアスペクト比の撮影領域１５０の制限境界に到達していると判断された場合、これ以上被写体を拡大する方向にズーム処理を行うと４：３の画像データから富士山が画欠けしてしまうことを意味する。したがって、ズーム制御部１２４は、ズーム機能を無効として、ユーザからのズーム指示に対するズーム処理を行わない。さらに、撮像装置２００は、ステップ３１８において、表示部１１２にズーム制限アイコン１３８をズーム状態通知アイコン１３４として表示させる。

図９は、ステップ３１８によりズーム制限アイコン１３８が表示される表示部１１２の表示例を示す説明図である。図９に示すように、富士山は４：３のアスペクト比の制限境界（４：３のアスペクト比の撮影領域１５０の境界に設定）に到達している。したがって、表示部１１２には「ＳＴＯＰ」という文字のズーム制限アイコン１３８が表示されている。これによりユーザは、これ以上拡大方向へズーム処理を行うことができないことを容易に認識することができる。

以上のように、第２実施形態に係る撮像装置２００は、複数のアスペクト比の画像データを同時撮影する場合において、より大きいアスペクト比の撮影領域からのみ所定の注目する被写体が画欠けしないように、表示機能やズーム機能を制御することができる。すなわち、撮像装置２００は、複数のアスペクト比の撮影領域のうち、より大きいアスペクト比の撮影領域に対してズーム制約を設定する。これにより、撮像装置２００は、ズーム制約が設定されたアスペクト比の撮影領域の境界に所定の注目する被写体が到達するまでズーム機能を無効にすることなく、被写体を拡大させることができる。また、撮像装置２００は、ズーム制約が設定されていないアスペクト比の画像データの画欠けに関する状態に関しても、ズーム処理の状況に応じてズーム状態通知アイコン１３４を適宜変更しながら表示部１１２に表示させることもできる。したがって、撮像装置２００は、ズーム制約が設定されていないアスペクト比の画像データに関しても、ズーム処理に応じて画欠けの状態を注意的にユーザに通知することができる。これによりユーザは、副次的な撮影データの重要性や撮影状況の変更などに応じて、ズーム制約が設定されていないアスペクト比の画像データについても容易に画欠けを防止・回避することができる。以上のように、第２実施形態に係る撮像装置２００は、複数のアスペクト比の画像データを同時に撮影する際に、より大きいアスペクト比の画像データの撮影範囲からのみ所定の被写体が画欠けしないように表示機能およびズーム機能を制御することが可能である。

なお、上記説明では、ズーム制約が設定されていない１６：９の画像データからの画欠けに関しても、注意的にズーム状態通知アイコン１３４を表示部１１２に表示させる例を説明したが、本発明はこれらに限定されるものではない。例えば、ユーザがあくまで４：３のアスペクト比の画像データのみを主として撮影したい場合などには、ズーム制約が設定されていないアスペクト比の画像データについては、画欠けを警告等するズーム状態通知アイコン１３４を表示させなくてもよい。ズーム制約が設定されていないアスペクト比の画像データに関するズーム状態通知アイコン１３４の表示の有無については、製品仕様やユーザによる設定変更などにより任意に設定することができる。

＜３．第３実施形態＞
［３−１．第３実施形態に係る撮像装置３００の概要］
上記第１および第２実施形態においては、複数のアスペクト比の画像データを同時撮影する場合の表示機能およびズーム機能の特徴を中心に説明した。次に、撮像データを、アスペクト比が異なる複数のディスプレイに同時再生させる場合の表示機能およびズーム機能の制御を特徴の１つとする、第３実施形態に係る撮像装置３００の概要について以下説明する。

通常の撮像装置において、ユーザは、撮影された画像データを撮像装置に備えられるディスプレイに表示させて閲覧することができる。また、ユーザは、画像データを、撮像装置に備えられるディスプレイのみならず、撮像装置と外部接続される外部ディスプレイに表示させて閲覧することもできる。さらに、ユーザはいずれかのディスプレイに表示された画像データを閲覧しながら、所定の注目する被写体を拡大表示するように撮像装置に対してズーム指示を行うこともできる。しかしながら、例えば、撮像装置に備えられるディスプレイのアスペクト比と、外部接続されたディスプレイのアスペクト比と、が異なる場合、両ディスプレイに表示される画像データの範囲が異なることがある。このような場合において、ユーザが、一方のディスプレイに表示された画像に基づいて注目する被写体を拡大表示させた場合、他方のディスプレイにおいて注目する被写体が表示画面からはみ出してしまうという問題が発生する場合がある。

図１０は、このような問題点を概念的に表した説明図である。図１０に示す例では、撮像装置１６と外部表示装置１２８とが接続され、撮像装置１６に記憶されている所定の画像データが、撮像装置１６に備えられる表示器１０および外部表示装置１２８に同時再生されている。また、撮像装置１６に備えられる表示器１０のアスペクト比は４：３で、外部表示装置１２８のアスペクト比は１６：９である。ここで、注目する被写体を富士山と仮定して、ユーザが撮像装置１６の表示器１０の画像を見ながら富士山を拡大する方向にズームさせた場合、図３１で説明した例と同様の問題が発生する場合がある。すなわち、撮像装置１６の表示器１０には富士山が画欠けすることなく表示されているが、外部表示装置１２８では富士山が画欠けしてしまうという現象が発生する場合がある。

本発明の第３実施形態に係る撮像装置３００は、このような問題点を解消することが可能である。具体的には、第３実施形態に係る撮像装置３００は、１の画像データをアスペクト比の異なる複数のディスプレイに同時再生させる場合においても、上述した第１および第２実施形態の特徴を利用することができる。すなわち、第３実施形態に係る撮像装置３００は、各ディスプレイの表示可能領域から注目する被写体が画欠けして表示されないように、上述した第１実施形態の特徴を利用して、表示機能やズーム機能を制御する。また、撮像装置３００は、優先的にいずれか一方のアスペクト比のディスプレイの表示可能領域からのみ注目する被写体が画欠けして表示されないように、上述した第２実施形態の特徴を利用して、表示機能やズーム機能を制御してもよい。

［３−２．撮像装置３００の機能構成］
図１１は、第３実施形態に係る撮像装置３００の機能構成の一例を示すブロック図である。図１１に示すように、撮像装置３００は、上述した図１に示す第１実施形態に係る撮像装置１００の機能構成に加えて、再生画像入力部１１８をさらに備えている。また、表示制御部１１０は、画像合成部１０８によって合成された画像データを、撮像装置３００に備えられる表示部１１２のみならず外部表示装置１２８にも転送する。

（再生画像入力部１１８）
再生画像入力部１１８は、データ記憶部１１６に記録されている画像データを再生画像として抽出し、画像表示範囲抽出部１０４へ転送する。再生画像入力部１１８は、操作入力部１２０から入力されたユーザの指示や、ＲＯＭなどに格納されている設定情報などに基づいて、データ記憶部１１６に記録されている画像データの中から再生する画像データを抽出することができる。例えば、ユーザが操作ボタンなどを介して所定の画像データの再生を指示した場合、再生画像入力部１１８は、制御部１２６からの指示に応じて当該画像データをデータ記憶部１１６から抽出して画像表示範囲抽出部１０４へ転送する。

これを受けて画像表示範囲抽出部１０４は、再生画像入力部１１８から転送された画像データから、表示部１１２や外部表示装置１２８に表示させる領域の画像のみを抽出する。画像表示範囲抽出部１０４は、表示部１１２や外部表示装置１２８の表示性能、ユーザによって設定されたアスペクト比、画像サイズ、撮影モードなどに基づく制御部１２６からの指示に応じて画像領域を抽出することができる。例えば、表示部１１２と外部表示装置１２８の両方に画像データを表示させる場合、画像表示範囲抽出部１０４は、表示部１１２のアスペクト比に対応した画像と、外部表示装置１２８のアスペクト比に対応した画像を抽出することができる。画像表示範囲抽出部１０４により抽出された画像は、画像合成部１０８へ転送されて通知画像と合成された後、表示部１１２や外部表示装置１２８において再生される。

また、例えば、画像データの再生モード時においてユーザが操作ボタンなどを介していわゆるデジタルズームを指示した場合、ズーム制御部１２４は、画像表示範囲抽出部１０４に対してズーム処理の実行を指示する。これを受けて画像表示範囲抽出部１０４は、再生画像入力部１１８から転送された画像データから抽出する領域を変更することもできる。

以上のような機能構成を備える撮像装置３００により、図１０に示した従来の問題点が解消される例について、図１２を参照に説明する。図１２は、第３実施形態に係る撮像装置３００において、アスペクト比の異なる複数のディスプレイに画像データを同時再生させる場合のズーミング制御の概念を示す説明図である。

図１２に示す例では、撮像装置３００と外部接続された外部表示装置１２８の表示可能領域に対してズーム制約が設定されている。したがって、ユーザが、撮像装置３００の表示部１１２に表示された画像を見ながら富士山を拡大する方向にズームさせた場合においても、外部表示装置１２８の再生表示領域の制限境界に富士山が到達した時点で、ズーム機能が制限される。このとき、表示部１１２には、これ以上拡大する方向にズームできないことを示すズーム制限アイコン１３８が表示される。これにより、ユーザは、撮像装置１００の表示部１１２の表示画面のみを見ながらズーム処理をする場合においても、外部表示装置１２８の表示領域から富士山が画欠けすることを防止することができる。

なお、図１２に示す例では、撮像装置３００の表示部１１２のみにズーム状態通知アイコン１３４が表示されているが、表示部１１２のみならず外部表示装置１２８に表示することも当然に可能である。また、上記例では、ズーム制限アイコン１３８が表示される例のみを説明したが、これに限定されるものではない。すなわち、撮像装置３００は、上記第１および第２実施形態と同様に、ズーム制約が設定されたアスペクト比のディスプレイから画欠けが発生することを防止するために、ズーミング状態に応じて種々のズーム状態通知アイコン１３４を表示させることができる。

また、撮像装置３００は、画像データを再生表示させる場合のみでなく、上記第１および第２実施形態と同様に、アスペクト比の異なる複数の画像データを同時撮影する場合に使用してもよい。例えば、撮像装置３００は、あるアスペクト比の撮影領域を撮像装置３００の表示部１１２に表示させ、別のアスペクト比の撮影領域を外部表示装置１２８に表示させることができる。ここで、いずれか一方のアスペクト比の撮影領域にズーム制約を設定すれば、撮像装置３００は、上記各実施形態で説明したような表示機能およびズーム機能を実行することができる。

このように、第３実施形態に係る撮像装置３００は、１の動画データをアスペクト比の異なる複数のディスプレイに同時再生させる場合において、各ディスプレイの再生表示領域から注目する被写体が画欠けすることを防止することができる。また、撮像装置３００は、１の動画データをアスペクト比の異なる複数のディスプレイに同時再生させる場合において、優先的にいずれかのディスプレイの再生表示領域のみから注目する被写体が画欠けすることを防止することもできる。さらに撮像装置３００は、アスペクト比の異なる複数の画像データを同時撮影する際に、各アスペクト比の撮影領域をそれぞれ異なる複数のディスプレイに表示させる場合においても同様に、各ディスプレイから注目する被写体が画欠けすることを防止できる。

＜４．第４実施形態＞
［４−１．第４実施形態に係る撮像装置４００の概要］
次に、複数のアスペクト比の画像データを同時撮影する場合において、１のアスペクト比の撮影領域を表示部１１２の表示画面に最大限に表示させる機能を備えた上で、上記各実施形態の特徴を利用する第４実施形態に係る撮像装置４００について以下説明する。

従来の撮像装置において、複数のアスペクト比の画像データを同時撮影する場合、各アスペクト比の撮影領域が表示部１１２の表示領域内に表示される。例えば、図１３に示す例では、１６：９のアスペクト比の表示器２０に、４：３のアスペクト比の撮影領域２４が最大限に表示されている。また、表示器２０には、４：３のアスペクト比の撮影領域２４よりも小さい１６：９のアスペクト比の撮影領域２２も表示されている。ここで、ユーザが４：３のアスペクト比の画像データを主として撮影し、１６：９のアスペクト比の画像データを副次的に撮影する場合には、図１３に示した表示で問題ない。しかしながら、ユーザが、１６：９のアスペクト比の画像データを主として撮影し、４：３のアスペクト比の画像データを副次的に撮影する場合には、主として撮影する１６：９のアスペクト比の撮影領域２２を表示器２０に最大限に表示させたほうが好ましい。

図１４は、複数のアスペクト比の撮影領域のうち、より小さいアスペクト比の撮影領域、すなわち、１６：９のアスペクト比の撮影領域２２を表示器２０に最大限に表示させた場合の概念を示す説明図である。図１４に示すように、１６：９のアスペクト比の撮影領域２２は表示器２０に最大限に表示されているが、副次的な撮影を希望する４：３のアスペクト比の撮影領域２４は、表示器２０の表示可能領域に収まっていない。したがって、ユーザは、表示器２０に表示されているスルー画像を見ても、４：３のアスペクト比の撮影領域等を一切認識することができず、ユーザビリティに優れていないという問題がある。

本発明の第４実施形態に係る撮像装置４００は、このような問題点を解消した上で、上述した各実施形態の特徴を利用することにより表示機能やズーム機能を制御することを可能とする。

具体的には、撮像装置４００は、アスペクト比の異なる複数の画像データを同時撮影する場合において、一方のアスペクト比の撮影領域を表示部１１２に最大限に表示させる。この場合において、他方のアスペクト比の撮影領域が表示部１１２の表示可能領域内に収まらない場合には、撮像装置４００は、他方のアスペクト比の撮影領域が表示部１１２の表示可能領域外に存在することをユーザに通知する。

例として、図１４に示した例と比較して説明する。図１５は、撮像装置４００において、アスペクト比の異なる複数の画像データを同時撮影する場合に、一方のアスペクト比の撮影領域を表示部１１２に最大限に表示させた場合の表示例を示す説明図である。図１５に示す例では、１６：９のアスペクト比の表示部１１２に、ユーザが主として撮影を希望する画像（以下、メイン画像ともいう）のアスペクト比（１６：９）の撮影領域１５２が最大限に表示されている。また、ユーザが副次的に撮影を希望する画像（以下、サブ画像ともいう）のアスペクト比（４：３）の撮影領域１５０は、メイン画像の撮影領域よりも大きいため、表示部１１２の表示可能領域外に存在している。このような場合、撮像装置４００は、サブ画像の撮影領域１５０が表示部１１２の表示可能領域外に存在していることを示す領域通知アイコン１３０を表示部１１２に表示させる。

図１５を参照すると、表示部１１２の四隅に、サブ画像の撮影領域１５０が表示部１１２の表示可能領域の上下にも存在していることを示す領域通知アイコン１３０が表示されていることがわかる。これにより、ユーザは、サブ画像の撮影領域１５０が表示部１１２の表示可能領域の上下に存在していることを認識でき、撮影開始ボタン等を押すことにより、表示部１１２のスルー画像よりも上下に広い範囲でサブ画像を撮影できることを容易に認識できる。

なお、領域通知アイコン１３０は、上述した通知画像生成部１０６によって生成される。すなわち、通知画像生成部１０６は、表示部１１２の表示可能領域よりも広い範囲にサブ画像の撮影領域１５０が存在する場合に、領域通知アイコン１３０を含む通知画像を生成する。通知画像生成部１０６は、例えば、ユーザによって設定されたアスペクト比、画像サイズ、撮影モードなどに基づく制御部１２６からの指示に応じて領域通知アイコン１３０を含む通知画像を生成することができる。領域通知アイコン１３０によって生成された領域通知アイコン１３０を含む通知画像は、その後、画像合成部１０８によって画像表示範囲抽出部１０４が抽出した画像と合成された後、表示部１１２に表示される。

図１６は、撮像装置４００において、アスペクト比の異なる複数の画像データを同時撮影する場合に、一方のアスペクト比の撮影領域を表示部１１２に最大限に表示させた場合の別の表示例を示す説明図である。図１６に示す例では、サブ画像の撮影領域１５０は、横方向の撮影領域の境界は表示部１１２の表示可能領域内に存在するが、縦方向の撮影領域の境界は表示部１１２の表示可能領域外に存在している。このような場合、撮像装置４００は、上述した領域通知アイコン１３０と、表示部１１２の表示可能領域内におけるサブ画像の撮影領域１５０を示すガイドフレーム１３２と、を表示部１１２に表示させる。なお、ガイドフレーム１３２も、通知画像生成部１０６によって生成される。

このように、撮像装置４００は、メイン画像やサブ画像のアスペクト比、画像サイズ、撮影モードなどに応じて、適宜表示させる領域通知アイコン１３０やガイドフレーム１３２を変更することができる。なお、図１５や図１６に示した領域通知アイコン１３０やガイドフレーム１３２は一例であり、形状、色、大きさ、位置などはこれらに限定されるものではない。

ユーザは、種々の撮影において、撮像装置４００が備えるこのような特徴を利用することができる。ユーザによる利用例の１つを、図１７を参照にして説明する。図１７は、定点観測や実験撮影などに本実施形態に係る撮像装置４００を利用する際の概念を示す説明図である。図１７に示す例は、ユーザが、メイン画像として１６：９の動画の撮影を行うと同時に、参考データとして４：３の動画（または静止画）のサブ画像を撮影する際の撮像装置４００の利用例である。ユーザは、あくまで１６：９の動画をメイン画像として撮影するため、上述したように、表示部１１２の表示可能領域には１６：９のメイン画像撮影領域１５２が最大限に表示されることとなる。この結果、ユーザは、表示部１１２の表示可能領域に最大限に表示されたメイン画像の撮影領域１５２を見ながら、主として撮影を希望するメイン画像のフレーミングやフォーカシングなどといった撮影に必要な調整や操作を行うことができる。

さらに、４：３のサブ画像の撮影領域１５０の境界が、表示部１１２に画像表示領域から上下方向にはみ出して存在しているため、表示部１１２には領域通知アイコン１３０が表示されることとなる。したがって、ユーザは、表示部１１２の表示可能領域に表示されている画像の範囲外にサブ画像の撮影領域１５０が存在することを視覚的に認識することができる。

定点観測や実験撮影などを行う際には、観測位置や撮影時刻などを画像ファイルに同時に記録することが要求されることが多い。このような場合、ユーザは、図１７に示すように、観測位置や撮影時刻などが記載された撮影データプレートを治具１４２などにより固定することにより、サブ画像のみにプレートに記載された情報を重ねて記録させることができる。ユーザは、表示部１１２の表示を一時的にサブ画像の撮影領域１５０が映るように切り替えて、撮影データプレートが４：３のサブ画像撮影領域に含まれていることを確認する。その後は、上述したように表示部１１２にメイン画像の撮影領域１５２を最大限に表示させて撮影を実行することができる。ユーザは、撮影中においても領域通知アイコン１３０が表示部１１２に表示されていることにより、４：３のサブ画像の撮影領域１５０が表示部１１２の表示可能領域外に存在し、撮影データプレートが同時に記録されていることを認識することができる。すなわち、ユーザは、副次的に撮影するサブ画像の撮影領域を常に確認する必要はなく、主として撮影を希望するメイン画像の撮影領域１５２を確認しながら適切なフレーミングやフォーカシングなどの調整・操作を行うことができる。

なお、図１７に示した撮像装置４００の利用例は、第４実施形態に係る撮像装置４００の利用例の１つであり、第４実施形態に係る撮像装置４００は、その他種々の撮影態様に利用することも当然に可能である。また、上述した図１７の例では、撮影データプレートを治具に固定したが、撮像装置４００自体が観測位置、撮影時刻、撮影者などに関する所定のプレート情報を管理し、自動的にサブ画像に重ねて記録することもできる。撮像装置４００は、サブ画像に記録するプレート情報をＲＯＭなどの記憶部に記憶しておき、サブ画像の記録時に、表示部１１２の表示可能領域外に存在するサブ画像撮影領域にプレート情報を重ねて記録することもできる。これにより、ユーザは、例えば、操作入力部１２０を介して任意の文字や記号などをプレート情報として設定することにより、サブ画像に希望するプレート情報を重ねて記録することもできる。

［４−２．フレームモードの設定］
上述したように、第４実施形態に係る撮像装置４００は、複数のアスペクト比の画像データを同時撮影する際、表示部１１２には、ガイドフレーム１３２や領域通知アイコン１３０などが表示される。したがって、同時撮影する画像のアスペクト比や画像サイズなどによって、表示部１１２に表示されるガイドフレーム１３２や領域通知アイコン１３０などは異なってくる。第４実施形態に係る撮像装置４００は、同時撮影する画像のアスペクト比や画像サイズなどに応じた表示部１１２の表示モード（以下、フレームモードという）を、ＲＯＭなどの不揮発性の記憶領域にあらかじめ登録しておくことができる。ユーザは、表示部１１２に表示されるメニュー画面などを参照し、操作入力部１２０を介して、任意のフレームモードを選択することができる。

図１８は、ユーザが任意に選択可能なフレームモードの種類の一例を示す説明図である。なお、図１８に示した６つのフレームモードは、本実施形態を説明する上での一例であり、本発明はこれらに限定されるものではない。すなわち、図１８に示した例とは異なるアスペクト比、表示部１１２の種類、フレームモード数であってもよい。以下、図１８に示したフレームモードの例について説明する。

図１８に示すように、フレームモードＮｏ．１〜３は、１６：９のアスペクト比の表示可能領域を有する表示部１１２に対応するフレームモードである。また、フレームモードＮｏ．４〜６は、４：３のアスペクト比の表示可能領域を有する表示部１１２に対応するフレームモードである。このように、撮像装置４００は、アスペクト比の異なる複数の表示部１１２に対応するフレームモードを有することもできる。これにより、表示部１１２のアスペクト比と異なるアスペクト比の外部表示装置１２８にスルー画像を表示させる場合においても、ユーザは、表示部１１２や外部表示装置１２８の表示可能領域のアスペクト比に応じて適切なフレームモードを選択することができる。

フレームモードＮｏ．１〜３は、メイン画像として１６：９のアスペクト比の画像を記録し、サブ画像として４：３のアスペクト比の画像を記録する場合のフレームモードである。図１８に示すように、フレームモードＮｏ．１〜３では、１６：９のアスペクト比の表示部１１２に、１６：９のアスペクト比のメイン画像の撮影領域が最大限に表示される。

一方、サブ画像の撮影領域については、４：３のアスペクト比の画像サイズによって異なる。例えば、フレームモードＮｏ．１は、サブ画像とメイン画像の横方向の画像サイズを統一して記録する場合に対応している。すなわち、サブ画像の撮影領域の横方向の境界は、表示部１１２の表示可能領域内に最大限に表示され、サブ画像の撮影領域の縦方向の境界は、表示部１１２の表示可能領域外に存在している。また、フレームモードＮｏ．２は、サブ画像とメイン画像の画像サイズが横方向および縦方向共に異なる場合に対応している。すなわち、サブ画像の撮影領域の縦方向の境界は、表示部１１２の表示可能領域外に存在し、サブ画像の撮影領域の横方向の境界は、表示部１１２の表示可能領域内に存在している。また、フレームモードＮｏ．３は、サブ画像とメイン画像の縦方向の画像サイズを統一して記録する場合に対応している。すなわち、サブ画像の撮影領域の縦方向の境界は、表示部１１２の表示可能領域内に最大限に表示され、サブ画像の撮影領域の横方向の境界は、表示部１１２の表示可能領域内に存在している。

また、フレームモードＮｏ．４〜５は、メイン画像として４：３のアスペクト比の画像を記録し、サブ画像として１６：９のアスペクト比の画像を記録する場合のフレームモードである。図１８に示すように、フレームモードＮｏ．４〜５では、４：３のアスペクト比の表示部１１２には、４：３のアスペクト比のメイン画像の撮影領域が最大限に表示される。

一方、サブ画像の撮影領域については、１６：９のアスペクト比の画像サイズによって異なる。例えば、フレームモードＮｏ．４は、サブ画像とメイン画像の縦方向の画像サイズを統一して記録する場合に対応している。すなわち、サブ画像の撮影領域の縦方向の境界は、表示部１１２の表示可能領域内に最大限に表示され、サブ画像の撮影領域の横方向の境界は、表示部１１２の表示可能領域外に存在している。また、フレームモードＮｏ．５は、サブ画像とメイン画像の画像サイズが横方向および縦方向共に異なる場合に対応している。すなわち、サブ画像の撮影領域の横方向の境界は、表示部１１２の表示可能領域外に存在し、サブ画像の撮影領域の縦方向の境界は、表示部１１２の表示可能領域内に存在している。

また、フレームモードＮｏ．６は、メイン画像として１６：９のアスペクト比の画像を記録し、サブ画像として４：３のアスペクト比の画像を記録する場合のフレームモードである。図１８に示すように、フレームモードＮｏ．６では、あくまでメイン画像は１６：９のアスペクト比の画像であるため、４：３のアスペクト比の表示部１１２の表示可能領域に１６：９のアスペクト比のメイン画像の撮影領域が最大限に表示される。

一方、サブ画像の撮影領域については、４：３のアスペクト比の画像サイズによって異なるが、図１８に示す例では、サブ画像とメイン画像の横方向の画像サイズを統一して記録する場合に対応している。すなわち、サブ画像の撮影領域は表示部１１２の表示可能領域と一致するため、表示部１１２の表示可能領域に最大限に表示される。

ユーザは、複数のアスペクト比の画像を同時撮影する場合において、あらかじめ設定された複数のフレームモードの中から任意のフレームモードを、操作入力部１２０を介して選択することができる。制御部１２６は、ユーザにより選択されたフレームモードに基づいて、画像表示範囲抽出部１０４に対して適切な範囲の画像抽出を指示し、通知画像生成部１０６に対して適切なガイドフレーム１３２や領域通知アイコン１３０の生成を指示することができる。

ここで、上記フレームモードは、必ずしもユーザによる操作により選択されるものではない。例えば、撮像装置４００は、撮影モードに連動して自動的にフレームモードを切り替えることもできる。例えば、ユーザは、動画または静止画を撮影する際に、撮像装置４００が有するＨＤモード、ＳＤモード、パノラマモード、シネマモードなどの種々の撮影モード機能を選択して撮影することができる。したがって、撮像装置４００は、各撮影モードに対応するフレームモードをあらかじめ登録しておくことにより、ユーザが所定の撮影モードを選択した際に、選択された撮影モードに対応するフレームモードに自動で切り替えることができる。

図１８に示したフレームモードを例に説明すると、例えば、１６：９のＨＤ動画を撮影しながら、参考データとして、１６：９の撮影領域から外れた領域に文字列などを含めて４：３の静止画を同時に記録する場合などが想定される。したがって、１６：９のＨＤ動画を撮影中に４：３の静止画を同時撮影する撮影モードが選択された場合、撮像装置４００は、フレームモードＮｏ．１に自動で切り替えてもよい。

また、４：３のＳＤ動画を撮影しながら、参考画像として１６：９のパノラマ静止画を同時に撮影する場合なども想定される。したがって、４：３のＳＤ動画を撮影中に１６：９のパノラマ静止画を同時撮影する撮影モードが選択された場合、撮像装置４００は、フレームモードをフレームモードＮｏ．４に自動で切り替えてもよい。

このように、第４実施形態に係る撮像装置４００は、撮影モードに連動してフレームモードを自動で変更することができる。制御部１２６は、このようにして自動で変更されたフレームモードに基づいて、画像表示範囲抽出部１０４により抽出される画像の範囲や、通知画像生成部１０６により生成される通知画像の変更を適宜指示することができる。この結果、ユーザが希望する撮影モードを選択すれば自動で適切なフレームモードが選択されるため、ユーザは、撮影モードの選択後にフレームモードを毎回指定するといった煩雑な操作が必要ない。

なお、上述した撮影モードや、当該撮影モードに対応するフレームモードの種類は本実施形態を説明する上での一例であり、本発明はこれらに限定されるものではない。すなわち、撮像装置４００は、所定の撮影モードに応じた所定のフレームモードをあらかじめ登録しておくことができ、撮影モードの種類や、対応するフレームモードの種類、組み合わせなどは任意に変更することができるものである。

［４−３．撮像装置４００のズーム処理に関する処理フロー］
次に、上記のような通知画像を表示可能な撮像装置４００が、上述した各実施形態の表示機能やズーム機能を利用する場合の処理の流れの一例について説明する。

（同時撮影モード時における全体処理フロー）
図１９は、第４実施形態に係る撮像装置４００において、アスペクト比の異なる複数の画像データを同時撮影する場合に、継続的に行われるズーム処理に関する一連の流れの一例を示すフロー図である。例えば、ユーザが、アスペクト比の異なる複数の画像データを同時撮影するモードを選択した場合などに図１９に示す処理が開始される。なお、フレームモード１〜６は、上述した図１８に示したフレームモードの例に対応するものである。

まず、ステップ３００において、撮像装置４００は、モードの初期設定を行う。ここで、モードの初期設定とは、上述したフレームモードやズーム制約を設定するアスペクト比などに関する設定である。ユーザは、例えば、操作ボタンなどを操作することにより、任意のフレームモードを選択したり、いずれかのまたはすべてのアスペクト比の撮影領域に対してズーム制約を設定したりすることができる。ズーム制約設定部１２２は、制御部１２６からの指示に応じて、ユーザから指示を受けたアスペクト比に対してズーム制約を設定する。また、通知画像生成部１０６は、制御部１２６からの指示に応じて、ユーザから指示を受けたフレームモードに対応するように、ガイドフレーム１３２や領域通知アイコン１３０を含む通知画像を生成する。

次に、ステップ３０２において、撮像装置４００は、ユーザにより撮影モードの変更指示があったか否かを判断する。上述したように、撮像装置４００は、変更された撮影モードに対応するフレームモードが登録されている場合には、撮影モードの変更に連動してフレームモードを自動で切り替えることができる場合もある。したがって、制御部１２６は、撮影モードの変更指示の有無を判断する。

ステップ３０２により撮影モードの変更指示がないと判断された場合、ステップ３０４において、制御部１２６は、ユーザによりフレームモードの変更指示があったか否かを判断する。上述したように、ユーザは、あらかじめ撮像装置４００に登録されている複数のフレームモードから任意のフレームモードを選択することができる。したがって、制御部１２６は、フレームモードの変更指示の有無を判断し、フレームモードの変更指示があった場合には、選択されたフレームモードに対応した表示をするように各機能構成部に指示する。

ステップ３０４によりフレームモードの変更指示があったと判断された場合、撮像装置４００は、各フレームモードに対応するガイドフレーム１３２等を表示部１１２に表示させ、いずれかのまたはすべてのアスペクト比の撮影領域に対してズーム制約を設定する。まず、ステップ３０６において、制御部１２６は、変更されたフレームモードがフレームモードＮｏ．１であるか否かを判断する。

ステップ３０６によりフレームモードＮｏ．１に変更されたと判断された場合、画像表示範囲抽出部１０４は、撮像データ入力部１０２に入力された画像から、１６：９の表示部１１２に対応した画像を、メイン画像の撮像領域が最大限に表示される範囲で抽出する。また、図１８に示したように、フレームモードＮｏ．１に対応するサブ画像の撮影領域の縦方向の境界は、表示部１１２の表示可能領域外に存在している。したがって、通知画像生成部１０６は、制御部１２６からの指示に応じて、４：３のサブ画像の撮影領域１５０が表示部１１２の表示可能領域外に存在していることをユーザに通知するための領域通知アイコン１３０を含む通知画像を生成する。さらに、画像合成部１０８は、画像表示範囲抽出部１０４によって抽出された画像と、通知画像生成部１０６によって生成された領域通知アイコン１３０を含む通知画像と、を合成した画像を生成する。その後、表示制御部１１０は、制御部１２６からの指示に応じて、画像合成部１０８によって生成された画像を表示部１１２に表示させる。

また、撮像装置４００は、ステップ３０８において、フレームモードＮｏ．１におけるズーム制約モードの設定処理を実行する。撮像装置４００は、ユーザまたは自動で設定された画欠けを防止するアスペクト比の画像データの撮影領域に対してズーム制約を設定する。これにより、撮像装置４００は、上記各実施形態で説明したように、ズーム制約が設定されたアスペクト比の画像データから所定の注目する被写体が画欠けしないように、表示機能やズーム機能を制御することができる。なお、ステップ３０８による、フレームモード１におけるズーム制約の設定処理の詳細については、図２２を参照に後述する。

一方、ステップ３０６によりフレームモードＮｏ．１に変更されていないと判断された場合、ステップ３１０において、制御部１２６は、変更されたフレームモードがフレームモードＮｏ．２であるか否かを判断する。

ステップ３１０によりフレームモードＮｏ．２に変更されたと判断された場合、画像表示範囲抽出部１０４は、撮像データ入力部１０２に入力された画像から、１６：９の表示部１１２に対応した画像を、メイン画像の撮像領域が最大限に表示される範囲で抽出する。図１８に示したように、フレームモードＮｏ．２に対応するサブ画像の撮影領域の縦方向の境界は、表示部１１２の表示可能領域外に存在し、サブ画像の撮影領域の横方向の境界は表示部１１２の表示可能領域内に存在している。したがって、通知画像生成部１０６は、４：３のサブ画像の撮影領域１５０が表示部１１２の表示可能領域の上下方向にはみ出して存在していることを通知する領域通知アイコン１３０を生成する。さらに、通知画像生成部１０６は、表示部１１２の表示可能領域におけるサブ画像の撮影領域１５０の横方向の境界を通知するガイドフレーム１３２を生成する。また、画像合成部１０８は、画像表示範囲抽出部１０４によって抽出された画像と、通知画像生成部１０６によって生成された領域通知アイコン１３０およびガイドフレーム１３２を含む通知画像と、を合成した画像を生成する。その後、表示制御部１１０は、制御部１２６からの指示に応じて、画像合成部１０８によって生成された画像を表示部１１２に表示させる。

また、撮像装置４００は、ステップ３１２において、フレームモードＮｏ．２におけるズーム制約モードの設定処理を実行する。なお、ステップ３１２による、フレームモード２におけるズーム制約の設定処理の詳細については、図２３を参照に後述する。

一方、ステップ３１０によりフレームモードＮｏ．２に変更されていないと判断された場合、ステップ３１４において、制御部１２６は、変更されたフレームモードがフレームモードＮｏ．３であるか否かを判断する。

ステップ３１４によりフレームモードＮｏ．３に変更されたと判断された場合、画像表示範囲抽出部１０４は、撮像データ入力部１０２に入力された画像から、１６：９の表示部１１２に対応した画像を、メイン画像の撮像領域が最大限に表示される範囲で抽出する。図１８に示したように、フレームモードＮｏ．３に対応するサブ画像の撮影領域の横方向の境界は、表示部１１２の表示可能領域内に存在している。したがって、通知画像生成部１０６は、表示部１１２の表示可能領域におけるサブ画像の撮影領域１５０の横方向の境界を通知するガイドフレーム１３２を含む通知画像を生成する。また、画像合成部１０８は、画像表示範囲抽出部１０４によって抽出された画像と、通知画像生成部１０６によって生成されたガイドフレーム１３２を含む通知画像と、を合成した画像を生成する。その後、表示制御部１１０は、制御部１２６からの指示に応じて、画像合成部１０８によって生成された画像を表示部１１２に表示させる。

また、撮像装置４００は、ステップ３１６において、フレームモードＮｏ．３におけるズーム制約モードの設定処理を実行する。なお、ステップ３１６による、フレームモード３におけるズーム制約の設定処理の詳細については、図２４を参照に後述する。

一方、ステップ３１４によりフレームモードＮｏ．３に変更されていないと判断された場合、ステップ３１８において、制御部１２６は、変更されたフレームモードがフレームモードＮｏ．４であるか否かを判断する。

ステップ３１８によりフレームモードＮｏ．４に変更されたと判断された場合、画像表示範囲抽出部１０４は、撮像データ入力部１０２に入力された画像から、４：３の表示部１１２に対応した画像を、メイン画像の撮影領域が最大限に表示される範囲で抽出する。図１８に示したように、フレームモードＮｏ．４に対応するサブ画像の撮影領域の横方向の境界は、表示部１１２の表示可能領域外に存在している。したがって、通知画像生成部１０６は、１６:９のサブ画像の撮影領域が表示部１１２の表示可能領域外に存在していることを通知する領域通知アイコン１３０を含む通知画像を生成する。また、画像合成部１０８は、画像表示範囲抽出部１０４によって抽出された画像と、通知画像生成部１０６によって生成された領域通知アイコン１３０を含む通知画像と、を合成した画像を生成する。その後、表示制御部１１０は、制御部１２６からの指示に応じて、画像合成部１０８によって生成された画像を表示部１１２に表示させる。

また、撮像装置４００は、ステップ３２０において、フレームモードＮｏ．４におけるズーム制約モードの設定処理を実行する。なお、ステップ３２０による、フレームモード４におけるズーム制約の設定処理の詳細については、図２５を参照に後述する。

一方、ステップ３１８によりフレームモードＮｏ．４に変更されていないと判断された場合、ステップ３２２において、制御部１２６は、変更されたフレームモードがフレームモードＮｏ．５であるか否かを判断する。

ステップ３２２によりフレームモードＮｏ．５に変更されたと判断された場合、画像表示範囲抽出部１０４は、撮像データ入力部１０２に入力された画像から、４：３の表示部１１２に対応した画像を、メイン画像の撮像領域が最大限に表示される範囲で抽出する。図１８に示したように、フレームモードＮｏ．５に対応するサブ画像の撮影領域の横方向の境界は、表示部１１２の表示可能領域外に存在し、サブ画像の撮影領域の縦方向の境界は表示部１１２の表示可能領域内に存在している。したがって、通知画像生成部１０６は、１６：９のサブ画像の撮影領域１５２が表示部１１２の表示可能領域の左右方向にはみ出して存在していることを通知する領域通知アイコン１３０を生成する。さらに、通知画像生成部１０６は、表示部１１２の表示可能領域における１６:９のサブ画像の撮影領域１５２の縦方向の境界を通知するガイドフレーム１３２を生成する。また、画像合成部１０８は、画像表示範囲抽出部１０４によって抽出された画像と、通知画像生成部１０６によって生成された領域通知アイコン１３０およびガイドフレーム１３２を含む通知画像と、を合成した画像を生成する。その後、表示制御部１１０は、制御部１２６からの指示に応じて、画像合成部１０８によって生成された画像を表示部１１２に表示させる。

また、撮像装置４００は、ステップ３２４において、フレームモードＮｏ．５におけるズーム制約モードの設定処理を実行する。なお、ステップ３２４による、フレームモード５におけるズーム制約の設定処理の詳細については、図２６を参照に後述する。

一方、ステップ３２２によりフレームモードＮｏ．５に変更されていないと判断された場合、制御部１２６は、フレームモードがフレームモードＮｏ．６に変更されたと判断する。したがって、制御部１２６は、各機能構成部に対して、フレームモードＮｏ．６に対応した撮影領域の表示処理の実行を指示する。具体的には、画像表示範囲抽出部１０４は、撮像データ入力部１０２に入力された画像から、４：３の表示部１１２に対応した画像を、メイン画像の撮影領域が最大限に表示される範囲で抽出する。図１８に示したように、フレームモードＮｏ．６に対応するサブ画像の撮影領域は、表示部１１２の表示可能領域と一致している。したがって、サブ画像の撮影領域に関しては領域通知アイコン１３０やガイドフレーム１３２を生成する必要はない。一方、メイン画像の撮影領域については、４：３の表示部１１２に１６：９の画像を最大限に表示した場合、メイン画像の撮影領域の上下方向の境界が、表示部１１２の表示可能領域内に存在することとなる。したがって、通知画像生成部１０６は、表示部１１２の表示可能領域におけるメイン画像の撮影領域１５２の縦方向の境界を通知するガイドフレーム１３２を生成する。また、画像合成部１０８は、画像表示範囲抽出部１０４によって抽出された画像と、通知画像生成部１０６によって生成されたガイドフレーム１３２を含む領域通知画像と、を合成した画像を生成する。その後、表示制御部１１０は、制御部１２６からの指示に応じて、画像合成部１０８によって生成された画像を表示部１１２に表示させる。

また、撮像装置４００は、ステップ３２６において、フレームモードＮｏ．６におけるズーム制約モードの設定処理を実行する。なお、ステップ３２６による、フレームモード６におけるズーム制約の設定処理の詳細については、図２７を参照に後述する。

以上の各ステップにより、アスペクト比の異なる複数の画像データを同時に撮影する際に、メイン画像の撮影領域を表示部１１２に最大限に表示し、サブ画像の撮影領域を設定されたフレームモードに応じて表示部１１２に表示させることができる。

ここで、ステップ３０２により撮影モードが変更されたと判断された場合、制御部１２６は、ステップ３２８において、変更された撮影モードに対応するフレームモードが登録されているか否かを判断する。ステップ３２８により対応するフレームモードが登録されていないと判断された場合、制御部１２６は、上述した各ステップにより、現在設定されているフレームモードに対応する表示処理の実行を各機能構成部に指示する。

一方、ステップ３２８により対応するフレームモードが登録されていると判断された場合、制御部１２６は、ステップ３３０において、現在のフレームモードから、変更された撮影モードに対して登録されているフレームモードに変更する。また、撮像装置４００は、ステップ３３２において、変更されたフレームモードに対応する領域通知アイコン１３０やガイドフレーム１３２などを表示部１１２に表示させる。さらに、撮像装置４００は、ステップ３３４において、変更されたフレームモードにおけるズーム制約の設定処理を行う（ステップ３０８、３１２、３１６、３２０、３２４または３２６と同様の処理）。このように、撮影モードに連動してフレームモードが登録されている場合、ユーザは、撮影モードを切り替える際に、フレームモードの設定変更という煩雑な操作を行う必要がない。

以上のような処理フローにより、撮像装置４００は、ユーザによって選択されたフレームモードや、撮影モードに連動して自動で設定されたフレームモードなどに応じた表示処理やズーム制約設定処理を行うことができる。

また、フレームモードやズーム制約が設定された後、ステップ３０４によりフレームモードの変更指示がないと判断された場合、撮像装置４００は、ステップ３３６において、ユーザからズーム指示があったか否かを判断する。

ステップ３３６によりユーザからズーム指示があったと判断された場合、撮像装置４００は、ステップ３３８において、ズーム処理を実行する。すなわち、撮像装置４００は、ズーム制約の設定状況に応じて、上述した図２または図６に示した処理を行う。これにより、撮像装置４００は、現在設定されているフレームモードに応じて設定されたズーム制約に基づいて、ズーム制約が設定されたアスペクト比の画像データから注目する被写体が画欠けしないように、表示機能やズーム機能を制御することができる。

例として、上記フレームモードＮｏ．１において、４：３のアスペクト比の撮影領域に対してズーム制約が設定されている場合の表示部１１２の表示例を説明する。図２０および図２１は、フレームモードＮｏ．１における表示部１１２の表示例を示す説明図である。図２０および図２１に示す例では、１６：９のアスペクト比の表示部１１２に１６：９のアスペクト比の撮影領域１５２が最大限に表示され、表示部１１２の表示可能領域外に４：３のアスペクト比の撮影領域１５０が存在している。したがって、表示部１１２には、４：３のアスペクト比の撮影領域１５０が表示部１１２の表示可能領域外に存在していることを通知する領域通知アイコン１３０が表示されている。また、図２０に示す例では、４：３のアスペクト比の撮影領域１５０に対してズーム制約が設定されている。

ここで、図２０に示すように、注目する被写体である富士山が１６：９のアスペクト比の撮影領域１５２の境界を超えるまで拡大された場合、撮像装置４００は、上記第２実施形態で説明した例と同様に、注意的に画欠け通知アイコン１４０を表示させる。また、撮像装置４００は、図２０に示すように、画欠け通知アイコン１４０の表示にあわせて、領域通知アイコン１３０の色や形状などを変更してもよい。これにより、ユーザは、注目する被写体である富士山が、ズーム制約が設定されている４：３のアスペクト比の撮影領域１５０内には存在しているが、ズーム制約が設定されていない１６：９のアスペクト比の撮影領域１５２からは画欠けしていることを認識できる。

その後ズーム制約が設定されている４：３のアスペクト比の撮影領域１５０の限界境界まで富士山が到達した場合、撮像装置４００は、図２１に示すように、上記第２実施形態で説明した例と同様に、ズーム制限アイコン１３８を表示させてズーム機能を無効とする。また、撮像装置４００は、図２１に示すように、ズーム制限アイコン１３８の表示にあわせて、領域通知アイコン１３０の色や形状などを変更してもよい。これにより、ユーザは、注目する被写体である富士山が、表示部１１２の表示可能領域外に存在する４：３のアスペクト比の撮影領域１５０の制限境界に到達して、これ以上拡大方向にズームできないことを認識することができる。

このような例は、例えば、ユーザが、１６：９のアスペクト比のＨＤ動画を主として撮影しながら、定期的に４：３のアスペクト比の静止画を副次的に撮影する場合などに利用することができる。例えば、１６：９のＨＤ動画では常に富士山全体が撮影領域に収まっている必要がないが、副次的に撮影する静止画データから富士山が画欠けすることを防止したい場合などに特に有効である。

次に、図１９で示した処理フローの各フレームモードにおけるズーム制約の設定処理の詳細の流れについて以下説明する。

（フレームモードＮｏ．１におけるズーム制約モードの設定処理）
図２２は、フレームモードＮｏ．１におけるズーム制約モードの設定処理の流れの一例を示すフロー図である。図２２に示すように、撮像装置４００の制御部１２６は、アスペクト比の異なる複数の画像データのうち、いずれのアスペクト比の画像データから所定の注目する被写体が画欠けしないように設定されているかを判断する。ユーザは、例えば、操作ボタンなどを操作することにより、設定モードなどにおいて、注目する被写体の画欠けを防止したい画像データを任意に選択することができる。また、撮像装置４００は、例えば、撮影モードなどに応じて、注目する被写体の画欠けを防止する画像データを自動で設定してもよい。例えば、撮像装置４００は、上述したフレームモードに応じて、いずれのアスペクト比の撮影領域に対してズーム制約を設定するかを自動で決定してもよい。すなわち、撮像装置４００は、メイン画像のアスペクト比の撮影領域と、サブ画像のアスペクト比の撮影領域と、の組み合わせに基づいて、いずれか一方または両方のアスペクト比の撮影領域に対してズーム制約を自動で設定してもよい。

撮像装置４００は、まず、ステップ４００において、すべてのアスペクト比の画像データ、すなわち、１６:９のアスペクト比の画像データおよび４：３のアスペクト比の画像データに対して画欠け防止が設定されているか否かを判断する。

ステップ４００により、すべてのアスペクト比の画像データに対して画欠け防止が設定されていると判断された場合、撮像装置４００は、ステップ４０２の処理を行う。すなわち、ズーム制約設定部１２２は、より小さいアスペクト比の撮影領域である１６：９のアスペクト比の撮影領域１５２に対してズーム制約を設定する（上記第１実施形態に対応）。

一方、ステップ４００によりすべてのアスペクト比の画像データに対して画欠け防止が設定されていないと判断された場合、撮像装置４００は、ステップ４０４において、４：３のアスペクト比の画像データに対して画欠け防止が設定されているか否かを判断する。

ステップ４０４により４：３のアスペクト比の画像データに対して画欠け防止が設定されていると判断された場合、撮像装置４００は、ステップ４０６の処理を行う。すなわち、ズーム制約設定部１２２は、より大きいアスペクト比の撮影領域である４：３のアスペクト比の撮影領域１５０に対してズーム制約を設定する（上記第２実施形態に対応）。

一方、ステップ４０４により、４：３のアスペクト比の画像データに対して画欠け防止が設定されていないと判断された場合、もう一方の１６：９のアスペクト比の画像データに対して画欠け防止が設定されていることを意味する。ここで、フレームモードＮｏ．１は、１６：９のアスペクト比の撮影領域１５２が４：３のアスペクト比の撮影領域１５０内に含まれている。したがって、１６：９のアスペクト比の画像データに対して画欠け防止が設定されている場合、必然的にすべてのアスペクト比の画像データに対して画欠け防止が設定されている場合と同じ処理が行われる。したがって、ズーム制約設定部１２２は、ステップ４０２において、より小さいアスペクト比の撮影領域である１６：９のアスペクト比の撮影領域１５２に対してズーム制約を設定する（上記第１実施形態に対応）。

以上の処理により設定されたフレームモードＮｏ．１におけるズーム制約に基づいて、撮像装置４００は、ユーザからのズーム指示に応じて表示機能やズーム機能を制御することができる。

（フレームモードＮｏ．２におけるズーム制約モードの設定処理）
図２３は、フレームモードＮｏ．２におけるズーム制約モードの設定処理の流れの一例を示すフロー図である。図２３に示すように、撮像装置４００は、まず、ステップ５００において、すべてのアスペクト比の画像データに対して画欠け防止が設定されているか否かを判断する。ここで、フレームモードＮｏ．２では、図１８に示すように、４：３のアスペクト比の撮影領域１５０の縦方向の境界は１６：９のアスペクト比の表示部１１２の表示可能領域外に存在するが、横方向の境界は表示可能領域内に存在している。したがって、いずれかのアスペクト比の撮影領域にズーム制約を設定した場合、他方のアスペクト比の撮影領域から注目する被写体が画欠けしてしまうおそれがある。

そこで、ステップ５００により、すべてのアスペクト比の画像データに対して画欠け防止が設定されていると判断された場合、撮像装置４００は、ステップ５０２の処理を行う。すなわち、ズーム制約設定部１２２は、４：３のアスペクト比の撮影領域１５０と、１６：９のアスペクト比の撮影領域１５２と、の共通領域に対してズーム制約を設定する。これにより、撮像装置４００は、いずれのアスペクト比の撮影領域からも注目する被写体が画欠けしないように表示機能やズーム機能を制御することができる。

一方、ステップ５００によりすべてのアスペクト比の画像データに対して画欠け防止が設定されていないと判断された場合、撮像装置４００は、ステップ５０４において、４：３のアスペクト比の画像データに対して画欠け防止が設定されているか否かを判断する。

ステップ５０４により４：３のアスペクト比の画像データに対して画欠け防止が設定されていると判断された場合、ズーム制約設定部１２２は、ステップ５０６において、４：３のアスペクト比の撮影領域１５０に対してズーム制約を設定する。

一方、ステップ５０４により、４：３のアスペクト比の画像データに対して画欠け防止が設定されていないと判断された場合、もう一方の１６：９のアスペクト比の画像データに対して画欠け防止が設定されていることを意味する。したがって、ズーム制約設定部１２２は、１６：９のアスペクト比の撮影領域１５２に対してズーム制約を設定する。

以上の処理により設定されたフレームモードＮｏ．２におけるズーム制約に基づいて、撮像装置４００は、ユーザからのズーム指示に応じて表示機能やズーム機能を制御することができる。

（フレームモードＮｏ．３におけるズーム制約モードの設定処理）
図２４は、フレームモードＮｏ．３におけるズーム制約モードの設定処理の流れの一例を示すフロー図である。図２４に示すように、撮像装置４００は、まず、ステップ６００において、すべてのアスペクト比の画像データに対して画欠け防止が設定されているか否かを判断する。

ステップ６００により、すべてのアスペクト比の画像データに対して画欠け防止が設定されていると判断された場合、撮像装置４００は、ステップ６０２の処理を行う。すなわち、ズーム制約設定部１２２は、より小さいアスペクト比の撮影領域である４：３のアスペクト比の撮影領域１５０に対してズーム制約を設定する（上記第１実施形態に対応）。

一方ステップ６００によりすべてのアスペクト比の画像データに対して画欠け防止が設定されていないと判断された場合、撮像装置４００は、ステップ６０４において、１６：９のアスペクト比の画像データに対して画欠け防止が設定されているか否かを判断する。

ステップ６０４により１６：９のアスペクト比の画像データに対して画欠け防止が設定されていると判断された場合、撮像装置４００は、ステップ６０６の処理を行う。すなわち、ズーム制約設定部１２２は、より大きいアスペクト比の撮影領域である１６：９のアスペクト比の撮影領域１５２に対してズーム制約を設定する（上記第２実施形態に対応）。

一方、ステップ６０４により、１６：９のアスペクト比の画像データに対して画欠け防止が設定されていないと判断された場合、もう一方の４：３のアスペクト比の画像データに対して画欠け防止が設定されていることを意味する。ここで、フレームモードＮｏ．３は、４：３のアスペクト比の撮影領域１５０が１６：９のアスペクト比の撮影領域１５２内に含まれている。したがって、４：３のアスペクト比の画像データに対して画欠け防止が設定されている場合、必然的にすべてのアスペクト比の画像データに対して画欠け防止が設定されている場合と同じ処理が行われる。したがって、ズーム制約設定部１２２は、ステップ６０２において、より小さいアスペクト比の撮影領域である４：３のアスペクト比の撮影領域１５０に対してズーム制約を設定する（上記第１実施形態に対応）。

以上の処理により設定されたフレームモードＮｏ．３におけるズーム制約に基づいて、撮像装置４００は、ユーザからのズーム指示に応じて表示機能やズーム機能を制御することができる。

（フレームモードＮｏ．４におけるズーム制約モードの設定処理）
図２５は、フレームモードＮｏ．４におけるズーム制約モードの設定処理の流れの一例を示すフロー図である。図２５に示すように、撮像装置４００は、まず、ステップ７００において、すべてのアスペクト比の画像データに対して画欠け防止が設定されているか否かを判断する。

ステップ７００により、すべてのアスペクト比の画像データに対して画欠け防止が設定されていると判断された場合、撮像装置４００は、ステップ７０２の処理を行う。すなわち、ズーム制約設定部１２２は、より小さいアスペクト比の撮影領域である４：３のアスペクト比の撮影領域１５０に対してズーム制約を設定する（上記第１実施形態に対応）。

一方ステップ７００によりすべてのアスペクト比の画像データに対して画欠け防止が設定されていないと判断された場合、撮像装置４００は、ステップ７０４において、１６：９のアスペクト比の画像データに対して画欠け防止が設定されているか否かを判断する。

ステップ７０４により１６：９のアスペクト比の画像データに対して画欠け防止が設定されていると判断された場合、撮像装置４００は、ステップ７０６の処理を行う。すなわち、ズーム制約設定部１２２は、より大きいアスペクト比の撮影領域である１６：９のアスペクト比の撮影領域１５２に対してズーム制約を設定する（上記第２実施形態に対応）。

一方、ステップ７０４により、１６：９のアスペクト比の画像データに対して画欠け防止が設定されていないと判断された場合、もう一方の４：３のアスペクト比の画像データに対して画欠け防止が設定されていることを意味する。ここで、フレームモードＮｏ．４は、４：３のアスペクト比の撮影領域１５０が１６：９のアスペクト比の撮影領域１５２内に含まれている。したがって、４：３のアスペクト比の画像データに対して画欠け防止が設定されている場合、必然的にすべてのアスペクト比の画像データに対して画欠け防止が設定されている場合と同じ処理が行われる。したがって、ズーム制約設定部１２２は、ステップ７０２において、より小さいアスペクト比の撮影領域である４：３のアスペクト比の撮影領域１５０に対してズーム制約を設定する（上記第１実施形態に対応）。

以上の処理により設定されたフレームモードＮｏ．４におけるズーム制約に基づいて、撮像装置４００は、ユーザからのズーム指示に応じて表示機能やズーム機能を制御することができる。

（フレームモードＮｏ．５におけるズーム制約モードの設定処理）
図２６は、フレームモードＮｏ．５におけるズーム制約モードの設定処理の流れの一例を示すフロー図である。図２６に示すように、撮像装置４００は、まず、ステップ８００において、すべてのアスペクト比の画像データに対して画欠け防止が設定されているか否かを判断する。ここで、フレームモードＮｏ．５では、図１８に示すように、１６：９のアスペクト比の撮影領域１５２の横方向の境界は４：３のアスペクト比の表示部１１２の表示可能領域外に存在するが、縦方向の境界は表示可能領域内に存在している。したがって、いずれかのアスペクト比の撮影領域にズーム制約を設定した場合、他方のアスペクト比の撮影領域から注目する被写体が画欠けしてしまうおそれがある。

そこで、ステップ８００により、すべてのアスペクト比の画像データに対して画欠け防止が設定されていると判断された場合、撮像装置４００は、ステップ８０２の処理を行う。すなわち、ズーム制約設定部１２２は、４：３のアスペクト比の撮影領域１５０と、１６：９のアスペクト比の撮影領域１５２と、の共通領域に対してズーム制約を設定する。これにより、撮像装置４００は、いずれのアスペクト比の撮影領域からも注目する被写体が画欠けしないように表示機能やズーム機能を制御することができる。

一方、ステップ８００によりすべてのアスペクト比の画像データに対して画欠け防止が設定されていないと判断された場合、撮像装置４００は、ステップ８０４において、４：３のアスペクト比の画像データに対して画欠け防止が設定されているか否かを判断する。

ステップ８０４により４：３のアスペクト比の画像データに対して画欠け防止が設定されていると判断された場合、ズーム制約設定部１２２は、ステップ８０６において、４：３のアスペクト比の撮影領域１５０に対してズーム制約を設定する。

一方、ステップ８０４により、４：３のアスペクト比の画像データに対して画欠け防止が設定されていないと判断された場合、もう一方の１６：９のアスペクト比の画像データに対して画欠け防止が設定されていることを意味する。したがって、ズーム制約設定部１２２は、ステップ８０６において、１６：９のアスペクト比の撮影領域１５２に対してズーム制約を設定する。

以上の処理により設定されたフレームモードＮｏ．５におけるズーム制約に基づいて、撮像装置４００は、ユーザからのズーム指示に応じて表示機能やズーム機能を制御することができる。

（フレームモードＮｏ．６におけるズーム制約モードの設定処理）
図２７は、フレームモードＮｏ．６におけるズーム制約モードの設定処理の流れの一例を示すフロー図である。図２７に示すように、撮像装置４００は、まず、ステップ９００において、すべてのアスペクト比の画像データに対して画欠け防止が設定されているか否かを判断する。

ステップ９００により、すべてのアスペクト比の画像データに対して画欠け防止が設定されていると判断された場合、撮像装置４００は、ステップ９０２の処理を行う。すなわち、ズーム制約設定部１２２は、より小さいアスペクト比の撮影領域である１６：９のアスペクト比の撮影領域１５２に対してズーム制約を設定する（上記第１実施形態に対応）。

一方、ステップ９００によりすべてのアスペクト比の画像データに対して画欠け防止が設定されていないと判断された場合、撮像装置４００は、ステップ９０４において、４：３のアスペクト比の画像データに対して画欠け防止が設定されているか否かを判断する。

ステップ９０４により４：３のアスペクト比の画像データに対して画欠け防止が設定されていると判断された場合、撮像装置４００は、ステップ９０６の処理を行う。すなわち、ズーム制約設定部１２２は、より大きいアスペクト比の撮影領域である４：３のアスペクト比の撮影領域１５０に対してズーム制約を設定する（上記第２実施形態に対応）。

一方、ステップ９０４により、４：３のアスペクト比の画像データに対して画欠け防止が設定されていないと判断された場合、もう一方の１６：９のアスペクト比の画像データに対して画欠け防止が設定されていることを意味する。ここで、フレームモードＮｏ．１は、１６：９のアスペクト比の撮影領域１５２が４：３のアスペクト比の撮影領域１５０内に含まれている。したがって、１６：９のアスペクト比の画像データに対して画欠け防止が設定されている場合、必然的にすべてのアスペクト比の画像データに対して画欠け防止が設定されている場合と同じ処理が行われる。したがって、ズーム制約設定部１２２は、ステップ９０２において、より小さいアスペクト比の撮影領域である１６：９のアスペクト比の撮影領域１５２に対してズーム制約を設定する（上記第１実施形態に対応）。

以上の処理により設定されたフレームモードＮｏ．６におけるズーム制約に基づいて、撮像装置４００は、ユーザからのズーム指示に応じて表示機能やズーム機能を制御することができる。

以上のように、第４実施形態に係る撮像装置４００は、アスペクト比の異なる複数の画像データを同時撮影する場合において、主として撮影するメイン画像のアスペクト比の撮影領域を表示部１１２に最大限に表示させることができる。また、撮像装置４００は、副次的に撮影するサブ画像のアスペクト比の撮影領域が表示部１１２の表示可能領域外に存在する場合には、サブ画像の撮影領域が表示可能領域外に存在していることを通知する領域通知アイコン１３０等を表示させることができる。また、撮像装置４００は、上述した第１実施形態および第２実施形態と同様に、いずれかのまたはすべてのアスペクト比の撮影領域に対してズーム制約を設定することができる。これにより、撮像装置４００は、表示部１１２の表示可能領域外に存在する撮影領域からも注目する被写体が画欠けしないように、表示機能やズーム機能を制御することができる。すなわち、撮像装置４００は、アスペクト比の異なる複数の画像データを同時に撮影する際に、画像データから所定の被写体が画欠けしないようにズーム機能および表示機能を制御するとともに、ユーザビリティに優れた撮影領域の表示を実現することが可能である。

なお、上記説明において例示したフレームモードの種類や組み合わせは、第４実施形態に係る撮像装置４００の特徴の１つを説明する上での一例であり、本発明はこれらに限定されない。例えば、撮像装置４００は、上述した例以外のアスペクト比の画像も撮影することができ、上述した例以外のアスペクト比の表示部１１２を備えることも当然に可能である。また、撮像装置４００に登録されるフレームモードの数も上記例に限定されるものではなく、撮像装置４００は、撮影モードの種類、数、性能などに応じて、任意の数のフレームモードを管理することができる。

また、図１５、１６、２１、２２に示した領域通知アイコン１３０やガイドフレーム１３２は、第４実施形態に係る撮像装置４００の特徴の１つを説明する上での一例であり、本発明はこれらに限定されない。領域通知アイコン１３０やガイドフレーム１３２は、図１５、１６、２１、２２に示した例と異なる形状、色、大きさ、位置であってもよい。

＜５．第５実施形態＞
次に、上記第４実施形態の特徴を備えた撮像装置であって、ズーム制約の設定状況および注目する被写体のズーム状況に応じて、撮影領域の表示方法を切り替えることを特徴の１つとする第５実施形態に係る撮像装置５００の概要について説明する。

上記第４実施形態の撮像装置４００は、複数のアスペクト比の画像データを同時撮影する場合に、一方のアスペクト比の撮影領域を表示部１１２に最大限に表示させるため、他方のアスペクト比の撮影領域が表示部１１２の表示可能領域外に存在することがあった。このような場合、撮像装置４００は、図１５に示した例のように、領域通知アイコン１３０を表示させることにより、表示部１１２の表示可能領域外にも撮影領域が存在していることをユーザに対して通知することができた。また、表示可能領域外の撮影領域に対してズーム制約が設定されている場合においても、撮像装置４００は、図２１に示した例のように、ズーム処理の状況に応じてズーム制限アイコン１３８等を表示させてズーム機能の無効をユーザに対して通知することができた。

しかしながら、このような場合、ユーザにとっては、表示部１１２に最大限に表示されている撮影領域よりも、ズーム制約が設定されている表示部１１２の表示可能領域外に存在する撮影領域の方が重要であるとも考えられる。例えば、図２０に示す例では、１６：９のアスペクト比のＨＤ動画をメイン画像として撮影中に、副次的なサブ画像として４：３のアスペクト比の静止画データの撮影をする場合に、注目する被写体である富士山を一時的に拡大させる場合が想定される。このような場合、静止画データの撮影時には、被写体のズーム状況によっては、４：３のアスペクト比の撮影領域を、一時的にすべて表示部１１２に表示させたほうがよい場合もある。そこで、第５実施形態に係る撮像装置５００は、表示部１１２の表示可能領域外に存在するサブ画像に対してズーム制約が設定されている場合において、注目する被写体が表示可能領域を超えて拡大されて場合に、各アスペクト比の撮影領域の表示方法を変更する。

具体的には、撮像装置５００は、一時的にサブ画像の撮影領域を表示部１１２に最大限に表示させることにより、注目する被写体をすべて表示部１１２に表示させることができる。図２８は、第４実施形態に係る撮像装置４００における図２０の表示例に対応する、第５実施形態に係る撮像装置５００における表示部１１２の表示例を示す説明図である。図２８を参照すると、注目する被写体である富士山が表示部１１２を超えて拡大された場合には、４：３のアスペクト比の撮影領域１５０が表示部１１２に最大限に表示されるように表示画面が切り替わっていることがわかる。これにより、ユーザは、注目する被写体である富士山全体を表示部１１２に表示させて副次的な静止画撮影を行うこともできる。

また、撮像装置５００は、注目する被写体が再度縮小方向にズームされてメイン画像である１６：９のアスペクト比の撮影領域１５２内に収まった場合には、再度１６：９のアスペクト比の撮影領域１５２を表示部１１２に最大限に表示させてもよい。

以上のように、第５実施形態に係る撮像装置５００は、注目する被写体のズーム状況に応じて、表示部１１２に最大限に表示させる撮影領域を自動で変更することができる。すなわち、撮像装置５００は、アスペクト比の異なる複数の画像データを同時に撮影する際に、画像データから所定の被写体が画欠けしないようにズーム機能および表示機能を制御するとともに、ユーザビリティに優れた撮影領域の表示を実現することが可能である。

＜６．各実施形態に係る撮像装置のハードウェア構成＞
次に、上述した各実施形態に係る撮像装置のハードウェア構成の一例について、図２９を参照しながら説明する。図２９は、本発明の各実施形態の１つに係る撮像装置１００、２００、３００、４００、５００のハードウェア構成の一例を示すブロック図である。なお、以下の説明においては、第１実施形態に係る撮像装置１００を例に説明するが、他の実施形態に係る撮像装置も同様のハードウェア構成を備えるものである。

撮像装置１００は主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、ブリッジ９０９と、インターフェイス９１３と、撮像手段９１４と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、を含んで構成される。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、撮像装置１００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。

撮像手段９１４は、光学系、撮像素子、Ａ／Ｄ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ）変換器、信号処理部などを含んで構成され、被写体を撮像して画像データを生成する。

入力装置９１５は、例えば、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよい。

出力装置９１７は、例えば、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置などの表示装置や、スピーカおよびヘッドホンなどの音声出力装置など、各種情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。なお、出力装置９１７は、上述した表示部１１２を構成するディスプレイとして機能する。

ストレージ装置９１９は、撮像装置１００の記憶部の一例として構成されたデータ格納用の装置であり、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、動画データおよび静止画データなどを格納する。

ドライブ９２１は、記録媒体用リーダライタであり、撮像装置１００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。

接続ポート９２３は、例えば、ＵＳＢポート、光オーディオ端子、ＨＤＭＩポート等の、外部表示装置１２８に直接接続するためのポートである。この接続ポート９２３に、上述した外部表示装置１２８を接続することで、撮像装置１００は、外部表示装置１２８において動画データや静止画データを再生表示させることができる。

以上、本発明の各実施形態に係る撮像装置１００、２００、３００、４００、５００の機能を実現可能なハードウェア構成の一例を示した。なお、上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。

＜７．まとめ＞
以上説明したように、本発明の各実施形態に係る撮像装置は、アスペクト比の異なる複数の画像データを同時撮影する際に、注目する被写体のズーム状況に応じて表示機能およびズーム機能を制御することができる。すなわち、画像処理装置は、いずれかのまたはすべてのアスペクト比の撮影領域に対してズーム制約を設定し、ズーム制約が設定されたアスペクト比の画像データから注目する被写体が画欠けしないように、表示機能およびズーム機能を制御することができる。画像処理装置は、ズーム状態通知アイコン１３４を表示させることにより、ズーム制約が設定されたアスペクト比の撮影領域と、注目する被写体との関係をユーザに対して通知することができる。また、画像処理装置は、ズーム制約が設定されたアスペクト比の撮影領域の境界まで注目する被写体が到達した場合には、自動でズーム機能を無効にすることもできる。

また、画像処理装置は、撮影した画像データをアスペクト比の異なる複数のディスプレイにおいて同時再生する場合においても、注目する被写体のズーム状況に応じて表示機能およびズーム機能を制御することができる。また、画像処理装置は、いずれかのアスペクト比の撮影領域を表示部１１２に最大限に表示させて同時撮影時におけるユーザビリティを向上させた上で、注目する被写体のズーム状況に応じて表示機能およびズーム機能を制御することもできる。

以上、本発明の各実施形態に係る画像処理装置は、アスペクト比の異なる複数の画像データを同時に撮影する際に、設定されたアスペクト比の撮影範囲から所定の被写体が画欠けしないように表示機能およびズーム機能を制御することが可能である。また、画像処理装置は、同一の画像データをアスペクト比の異なる複数のディスプレイに同時再生する際に、設定されたアスペクト比の再生表示領域から所定の被写体が画欠けしないように表示機能およびズーム機能を制御することも可能である。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態で説明した撮像装置としては、例えば、デジタルスチルカメラ、デジタルビデオカメラ、カムコーダ（登録商標）、携帯電話、ＰＤＡ、携帯型ゲームききなどが想定されるが、本発明はこれらに限定されるものではない。また、例えば、上述した第３実施形態において説明したように、撮影された画像データを複数のディスプレイで同時再生させる場合などには、必ずしも撮像機能を備えなくてもよい。すなわち、本発明は、必ずしも撮像機能を備えた装置にのみ適用されるものではなく、第３実施形態において説明したように、画像データを再生する画像再生装置であってもよい。本発明の画像装置としては、例えば、ＨＤＤレコーダ、ＤＶＤレコーダ、Ｂｌｕｅｒａｙ Ｄｉｓｃ（登録商標）レコーダなどの再生装置、ゲーム機器、パーソナルコンピュータなどが想定されるが、本発明はこれらに限定されるものではない。

また、本明細書において、フロー図またはシーケンス図に記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。

本発明の第１実施形態に係る撮像装置１００のズーム処理に関する機能構成の一例を示すブロック図である。 第１実施形態に係る撮像装置１００において、ユーザからズーム指示があった場合の処理の流れの一例を示すフロー図である。 第１実施形態に係る撮像装置１００において、ズーム前の表示部１１２の表示例を示す説明図である。 第１実施形態に係る撮像装置１００において、ズーム警告アイコン１３４の表示例を示す説明図である。 第１実施形態に係る撮像装置１００において、ズーム制限アイコン１３６の表示例を示す説明図である。 本発明の第２実施形態に係る撮像装置２００において、ユーザからズーム指示があった場合の処理の流れの一例を示すフロー図である。 第２実施形態に係る撮像装置２００において、画欠け通知アイコン１４０の表示例を示す説明図である。 第２実施形態に係る撮像装置２００において、ズーム警告アイコン１３４の表示例を示す説明図である。 第２実施形態に係る撮像装置２００において、ズーム制限アイコン１３６の表示例を示す説明図である。 従来の撮像装置において、複数の異なるアスペクト比の表示装置に画像データを同時再生した場合の問題点を示す説明図である。 本発明の第３実施形態に係る撮像装置３００のズーム処理に関する機能構成の一例を示すブロック図である。 第３実施形態に係る撮像装置３００で、アスペクト比が異なる複数のディスプレイに画像データを同時再生させる場合のズーム制御の概念を示す説明図である。 従来の撮像装置において、４：３および１６：９のアスペクト比の画像に対応する撮影領域を１６：９の表示器２０に表示させる例を示す説明図である。 従来の撮像装置で、複数のアスペクト比の撮影領域のうち、より小さいアスペクト比の撮影領域を表示器２０に最大限に表示させた場合の概念を示す説明図である。 本発明の第４実施形態に係る撮像装置４００において、アスペクト比の異なる複数の画像データを同時撮影する場合に、一方のアスペクト比の撮影領域を表示部１１２に最大限に表示させた場合の表示例を示す説明図である。 第４実施形態に係る撮像装置４００において、アスペクト比の異なる複数の画像データを同時撮影する場合に、一方のアスペクト比の撮影領域を表示部１１２に最大限に表示させた場合の別の表示例を示す説明図である。 定点観測や実験撮影などに第４実施形態に係る撮像装置４００を利用する際の概念を示す説明図である。 第４実施形態に係る撮像装置４００において、ユーザが任意に選択可能なフレームモードの種類の一例を示す説明図である。 第４実施形態に係る撮像装置４００において、ズーム処理に関する一連の流れの一例を示すフロー図である。 第４実施形態に係る撮像装置４００において、ズーム処理に応じた表示部１１２の表示例を示す説明図である。 第４実施形態に係る撮像装置４００において、ズーム処理に応じた表示部１１２の別の表示例を示す説明図である。 第４実施形態に係る撮像装置４００において、フレームモードＮｏ．１におけるズーム制約モードの設定処理の流れの一例を示すフロー図である。 第４実施形態に係る撮像装置４００において、フレームモードＮｏ．２におけるズーム制約モードの設定処理の流れの一例を示すフロー図である。 第４実施形態に係る撮像装置４００において、フレームモードＮｏ．３におけるズーム制約モードの設定処理の流れの一例を示すフロー図である。 第４実施形態に係る撮像装置４００において、フレームモードＮｏ．４におけるズーム制約モードの設定処理の流れの一例を示すフロー図である。 第４実施形態に係る撮像装置４００において、フレームモードＮｏ．５におけるズーム制約モードの設定処理の流れの一例を示すフロー図である。 第４実施形態に係る撮像装置４００において、フレームモードＮｏ．６におけるズーム制約モードの設定処理の流れの一例を示すフロー図である。 本発明の第５実施形態に係る撮像装置５００において、ズーム処理に応じた表示部１１２の表示例を示す説明図である。 各実施形態に係る撮像装置のハードウェア構成を示すブロック図である。 従来の撮像装置において、４：３および１６：９のアスペクト比の画像に対応する撮影領域を４：３の表示器１０に表示させる例を示す説明図である。 図３０に示した表示器１０の表示状態においてズーム処理により、注目する被写体を拡大した場合の概念を示す説明図である。複数のアスペクト比の画像を同時に撮影する際に、ズーム処理を行う前後の表示画面の表示例を示す説明図である。 従来の撮像装置において、４：３および１６：９のアスペクト比の画像に対応する撮影領域を１６：９の表示器１０に表示させる例を示す説明図である。 図３２に示した表示器１０の表示状態においてズーム処理により、注目する被写体を拡大した場合の概念を示す説明図である。

符号の説明

１００、２００、３００、４００、５００ 撮像装置
１０４ 画像表示範囲抽出部
１０６ 通知画像生成部
１０８ 画像合成部
１１０ 表示制御部
１１２ 表示部
１１４ 画像記録範囲抽出部
１１６ データ記憶部
１２２ ズーム制約設定部
１２４ ズーム制御部
１２８ 外部表示装置
１３０ 領域通知アイコン
１３２ ガイドフレーム
１３４ ズーム状態通知アイコン
１３６ ズーム警告アイコン
１３８ ズーム制限アイコン
１４０ 画欠け通知アイコン
１５０ ４：３のアスペクト比の撮影領域
１５２ １６：９のアスペクト比の撮影領域
１５４ 警告境界

Claims (19)

1. 撮像対象となる被写体の映像から、所定の第１のアスペクト比で構成される第１撮像領域に対応する画像と、前記第１のアスペクト比とは異なる所定の第２のアスペクト比で構成される第２撮像領域に対応する画像と、を抽出する画像記録範囲抽出部と、
   前記撮像対象となる被写体の映像を拡大または縮小させるズーム制御部と、
   前記ズーム制御部によるズーム処理により撮像領域から所定の被写体が画欠けすることを防止するために、前記第１撮像領域および前記第２撮像領域のいずれか一方または両方に対してズーム制約を設定するズーム制約設定部と、
   前記撮像対象となる被写体の映像から、ディスプレイに表示させる表示画像を抽出する画像表示範囲抽出部と、
   前記ズーム制約が設定された撮像領域から前記所定の被写体が画欠けすることを防止するために、ズーム処理に応じて、前記所定の被写体と、前記ズーム制約が設定された撮像領域との関係を示すズーム状態通知アイコンを含む通知画像を生成する通知画像生成部と、
   前記画像表示範囲抽出部により抽出された表示画像に、前記通知画像生成部により生成された通知画像を合成して合成画像を生成する画像合成部と、
   を備える撮像装置。
2. 前記画像合成部により生成された合成画像を前記ディスプレイに表示させる表示制御部をさらに備える、請求項１に記載の撮像装置。
3. 前記通知画像生成部は、前記所定の被写体がズーム処理により拡大されて、前記ズーム制約が設定された撮像領域内の所定位置に設定される警告境界に到達した場合、前記ズーム状態通知アイコンとして、前記ズーム制約が設定された撮像領域から前記所定の被写体が画欠けするおそれがあることを示すズーム警告アイコンを生成する、請求項２に記載の撮像装置。
4. 前記通知画像生成部は、前記所定の被写体がズーム処理によりさらに拡大されて、前記ズーム制約が設定された撮像領域の境界に到達した場合、前記ズーム状態通知アイコンとして、前記ズーム制約が設定された撮像領域から前記所定の被写体が画欠けすることを防止するにはこれ以上前記所定の被写体をズーム処理により拡大することができないことを示すズーム制限アイコンを生成する、請求項３に記載の撮像装置。
5. 前記ズーム制約が設定された撮像領域よりも前記ズーム制約が設定されていない撮像領域の方が小さい場合において、
   前記通知画像生成部は、前記所定の被写体がズーム処理により拡大されて、前記ズーム制約が設定されていない撮像領域内の所定位置に設定される警告境界に到達した場合、前記ズーム状態通知アイコンとして、前記ズーム制約が設定されていない撮像領域から前記所定の被写体が画欠けするおそれがあることを注意的に示すズーム警告アイコンを生成する、請求項４に記載の撮像装置。
6. 前記ズーム制約が設定された撮像領域よりも前記ズーム制約が設定されていない撮像領域の方が小さい場合において、
   前記通知画像生成部は、前記所定の被写体がズーム処理により拡大されて、前記ズーム制約が設定されていない撮像領域の境界を超えた場合、前記ズーム状態通知アイコンとして、前記ズーム制約が設定されていない撮像領域から前記所定の被写体が画欠けしていることを注意的に示す画欠け通知アイコンを生成する、請求項５に記載の撮像装置。
7. 前記画像表示範囲抽出部は、前記撮像対象となる被写体の映像から、前記ディスプレイの表示可能領域のアスペクト比で構成される表示画像を、前記第１撮像領域が最大限に表示される範囲で抽出し、
   前記通知画像生成部は、前記第２撮像領域が前記ディスプレイの表示可能領域外に存在する場合に、前記第２撮像領域が前記ディスプレイの表示可能領域外に存在することを示す領域通知アイコンを含めて前記通知画像を生成する、請求項６に記載の撮像装置。
8. 前記通知画像生成部は、前記ディスプレイの表示可能領域内に前記第２撮像領域の境界の一部が存在する場合には、前記第２撮像領域の境界を示すガイドフレームを含めて前記通知画像を生成する、請求項７に記載の撮像装置。
9. 前記ズーム制約設定部は、前記第１アスペクト比で構成される第１撮像領域と、前記第２アスペクト比で構成される前記第２撮像領域と、の組合せに応じて、前記第１撮像領域および前記第２撮像領域のいずれか一方または両方に対して前記ズーム制約を自動で設定する、請求項８に記載の撮像装置。
10. 前記ズーム制約設定部は、第１撮像領域と、前記第２撮像領域と、の共通領域に対して前記ズーム制約を設定することにより、前記第１撮像領域および前記第２撮像領域から前記所定の被写体が画欠けすることを防止する、請求項９に記載の撮像装置。
11. 前記第２撮像領域が前記ディスプレイの表示可能領域外に存在し、前記第２撮像領域のみに対して前記ズーム制約が設定されている場合において、
    前記所定の被写体がズーム処理により拡大されて、前記ズーム制約が設定されていない前記第１撮像領域の境界を超えた場合、
    前記画像表示範囲抽出部は、前記撮像対象となる被写体の映像から、前記ディスプレイの表示可能領域のアスペクト比で構成される表示画像を、前記第２撮像領域が最大限に表示される範囲で抽出する、請求項１０に記載の撮像装置。
12. 前記ズーム制御部は、前記所定の被写体がズーム処理によりさらに拡大されて、前記ズーム制約が設定された撮像領域の境界に到達した場合、前記所定の被写体を拡大する方向へのズーム機能を無効にする、請求項１〜１１のいずれかに記載の撮像装置。
13. 前記画像記録範囲抽出部により抽出される画像データを再生画像データとして記憶するデータ記憶部をさらに備え、
    前記データ記憶部に記録されている１の再生画像データを、所定のアスペクト比で構成される第１ディスプレイ、および前記第１ディスプレイのアスペクト比とは異なる所定のアスペクト比で構成される第２ディスプレイに同時に再生表示させる場合において、
    前記画像表示範囲抽出部は、前記再生画像データから、前記第１ディスプレイに再生表示させる所定の第１再生表示領域に対応する第１再生表示画像と、前記第２ディスプレイに再生表示させる所定の第２再生表示領域に対応する第２再生表示画像と、を抽出し、
    前記ズーム制御部は、ズーム処理により前記再生画像データを拡大または縮小させ、
    前記ズーム制約設定部は、前記ズーム制御部によるズーム処理により再生表示領域から前記再生画像データに含まれる所定の被写体が画欠けすることを防止するために、前記第１再生表示領域および前記第２再生表示領域のいずれか一方または両方に対してズーム制約を設定し、
    前記通知画像生成部は、ズーム処理に応じて、前記所定の被写体と、前記ズーム制約が設定された再生表示領域と、の関係を示すズーム状態通知アイコンを含む通知画像を生成し、
    前記画像合成部は、前記画像表示範囲抽出部により抽出された各再生表示画像に、前記通知画像生成部により生成された通知画像をそれぞれ合成して第１合成画像および第２合成画像を生成し、
    前記表示制御部は、前記画像合成部により生成された第１合成画像を前記第１ディスプレイに表示させ、前記画像合成部により生成された第２合成画像を前記第２ディスプレイに表示させる、請求項１２に記載の撮像装置。
14. 前記ズーム制御部は、前記所定の被写体がズーム処理によりさらに拡大されて、前記ズーム制約が設定された再生表示領域の境界に到達した場合、前記所定の被写体を拡大する方向へのズーム機能を無効にする、請求項１３に記載の撮像装置。
15. 画像データを記憶するデータ記憶部と、
    前記画像データから、所定のアスペクト比で構成される第１ディスプレイに再生表示させる所定の第１再生表示領域に対応する第１再生表示画像と、前記第１ディスプレイのアスペクト比とは異なる所定のアスペクト比で構成される第２ディスプレイに再生表示させる所定の第２再生表示領域に対応する第２再生表示画像と、を抽出する画像表示範囲抽出部と、
    前記画像データを拡大または縮小させるズーム制御部と、
    前記ズーム制御部によるズーム処理により再生表示領域から前記再生画像データに含まれる所定の被写体が画欠けすることを防止するために、前記第１再生表示領域および前記第２再生表示領域のいずれか一方または両方に対してズーム制約を設定するズーム制約設定部と、
    前記ズーム制約が設定された再生表示領域から前記所定の被写体が画欠けすることを防止するために、ズーム処理に応じて、前記所定の被写体と、前記ズーム制約が設定された再生表示領域との関係を示すズーム状態通知アイコンを含む通知画像を生成する通知画像生成部と、
    前記画像表示範囲抽出部により抽出された前記第１再生表示領域および前記第２再生表示領域のいずれか一方または両方に、前記通知画像生成部により生成された通知画像を合成して合成画像を生成する画像合成部と、
    を備える、画像再生装置。
16. 撮像対象となる被写体の映像から、所定の第１のアスペクト比で構成される第１撮像領域に対応する画像と、前記第１のアスペクト比とは異なる所定の第２のアスペクト比で構成される第２撮像領域に対応する画像と、を抽出する画像抽出ステップと、
    撮像領域から所定の被写体が画欠けすることを防止するために、前記第１撮像領域および前記第２撮像領域のいずれか一方または両方に対してズーム制約を設定するズーム制約設定ステップと、
    前記撮像対象となる被写体の映像を拡大または縮小させるズーム処理ステップと、
    前記ズーム制約が設定された撮像領域から前記所定の被写体が画欠けすることを防止するために、ズーム処理に応じて、前記所定の被写体と、前記ズーム制約が設定された撮像領域との関係を示すズーム状態通知アイコンを含む通知画像を生成する通知画像生成ステップと、
    ディスプレイに表示させる表示画像に、前記通知画像生成ステップにより生成された通知画像を合成して合成画像を生成する画像合成ステップと、
    を含むズーム制御方法。
17. 撮像対象となる被写体の映像から、所定の第１のアスペクト比で構成される第１撮像領域に対応する画像と、前記第１のアスペクト比とは異なる所定の第２のアスペクト比で構成される第２撮像領域に対応する画像と、を抽出する画像抽出処理と、
    撮像領域から所定の被写体が画欠けすることを防止するために、前記第１撮像領域および前記第２撮像領域のいずれか一方または両方に対してズーム制約を設定するズーム制約設定処理と、
    前記撮像対象となる被写体の映像を拡大または縮小させるズーム処理と、
    前記ズーム制約が設定された撮像領域から前記所定の被写体が画欠けすることを防止するために、ズーム処理に応じて、前記所定の被写体と、前記ズーム制約が設定された撮像領域との関係を示すズーム状態通知アイコンを含む通知画像を生成する通知画像生成処理と、
    ディスプレイに表示させる表示画像に、前記通知画像生成処理により生成された通知画像を合成して合成画像を生成する画像合成処理と、
    をコンピュータに実行させるズーム制御プログラム。
18. データ記憶部に記録されている１の画像データから、所定の第１のアスペクト比の第１ディスプレイに再生表示させる第１再生表示領域に対応する画像と、前記第１のアスペクト比とは異なる所定の第２のアスペクト比の第２ディスプレイに再生表示させる第２再生表示領域に対応する画像と、を抽出する画像表示範囲抽出ステップと、
    再生表示領域から前記画像データに含まれる所定の被写体が画欠けすることを防止するために、前記第１再生表示領域および前記第２再生表示領域のいずれか一方または両方に対してズーム制約を設定するズーム制約設定ステップと、
    前記画像データを拡大または縮小させるズーム処理ステップと、
    前記ズーム制約が設定された再生表示領域から前記所定の被写体が画欠けすることを防止するために、ズーム処理に応じて、前記所定の被写体と、前記ズーム制約が設定された再生表示領域との関係を示すズーム状態通知アイコンを含む通知画像を生成する通知画像生成ステップと、
    前記画像表示範囲抽出ステップにより抽出された前記第１再生表示領域および前記第２再生表示領域のいずれか一方または両方に、前記通知画像生成ステップにより生成された通知画像を合成して合成画像を生成する画像合成ステップと、
    を含むズーム制御方法。
19. データ記憶部に記録されている１の画像データから、所定の第１のアスペクト比の第１ディスプレイに再生表示させる第１再生表示領域に対応する画像と、前記第１のアスペクト比とは異なる所定の第２のアスペクト比の第２ディスプレイに再生表示させる第２再生表示領域に対応する画像と、を抽出する画像表示範囲抽出処理と、
    再生表示領域から前記画像データに含まれる所定の被写体が画欠けすることを防止するために、前記第１再生表示領域および前記第２再生表示領域のいずれか一方または両方に対してズーム制約を設定するズーム制約設定処理と、
    前記画像データを拡大または縮小させるズーム処理と、
    前記ズーム制約が設定された再生表示領域から前記所定の被写体が画欠けすることを防止するために、ズーム処理に応じて、前記所定の被写体と、前記ズーム制約が設定された再生表示領域との関係を示すズーム状態通知アイコンを含む通知画像を生成する通知画像生成処理と、
    前記画像表示範囲抽出処理により抽出された前記第１再生表示領域および前記第２再生表示領域のいずれか一方または両方に、前記通知画像生成処理により生成された通知画像を合成して合成画像を生成する画像合成処理と、
    をコンピュータに実行させるズーム制御プログラム。

Images