JP6147076B2 - 撮像装置、撮像方法、及びプログラム - Google Patents

Description

本発明は、複数の写真からなる組み写真等の画像を生成可能な撮像装置、撮像方法、及びプログラムに関する。

デジタルカメラやデジタルビデオカメラなどの撮影装置では、取得した画像がデジタルデータとして記憶または記録されるため、取得した画像を容易に加工することができる。
このような特徴を活かした撮影装置の用途のひとつに組み写真がある。組み写真とは、複数回の撮影により取得した複数の写真をレイアウトして一枚の写真にする合成写真のことである。

より詳しくは、撮影者が異なる場面、異なる視点による立体感を表現する画像、時間の流れに応じた撮影画像、及び、被写体の動きのある撮影画像から、撮影時の感情や想像を表現するために、複数の画像から構成される組み写真を生成する。そして、その組み画像によって撮影時の感情や想像を見る人に伝えようとする。
このように組み写真は、パノラマ合成写真のような複数の画像を繋ぎ合わせる合成写真の技術とは異なり、撮影者のシナリオに基づいて複数の画像から構成されるよう合成する技術である。

図１５、１６を参照して、組み写真の撮影例を想定して説明する。図１５、１６は、学校の陸上部が湖畔で合宿を行なった際に、撮影者による組み写真の撮影を行なっているシーンを例として説明する図である。図１５は被写界に陸上部員がマラソンをしている風景を撮影している。図１６は、ライブビュー画像が組み写真に合成表示されている表示例である。この例では、撮影者は組み写真のシナリオを頭に描いていて、組み写真のスタイル（テンプレート）は４コマを設定している。すでに３コマの撮影を終えていて、４コマ目の撮影を行なっているところである。３コマの画像はそれぞれ、合宿所近くの湖畔を見渡す風景、合宿所前で部員一同の集合写真、当日の夜明け前の風景が撮影されている。

カメラ１００の背面表示１３５ａの画像を見ると、左上、右上、左下の順で撮影された画像が表示されている。そして当日のマラソンの風景を撮影して上記３コマの画像と組み合わせて一枚の画像として組み写真を完成させる。この例では、撮影者は合宿をテーマにした一連のシナリオを創造して組み写真を作成する。

ところが、一コマ、一コマの撮影時には、これから撮影する画像のシャッターチャンスや最適な構図を意識して撮影することも重要であり、過去に撮影した画像が、撮影時に視野に入るとあれこれ考えてしまい、撮影に集中できず、視線を動かしてしまったことによりせっかくのシャッターチャンスを逃してしまったり、中途半端な構図になってしまったり、あとで見て撮影者にとって納得のいかない画像になることがある。

合成写真を撮影する際、表示部に表示する合成写真のいずれのコマが撮影されたものなのか、またどのコマがライブビュー画像かが分かるようにした撮像装置が提案されている（特許文献１、２参照）。ここでいうコマは、表示部を複数の表示領域に分けた一つの表示領域のことである。

特許第４６１７４１７号公報 特開２００１−１６９１５０号公報

複数の撮影画像を組み込んで組み写真を生成するために撮影を行う際に、１コマ１コマの撮影に集中したい場合には、出来上がりの組み写真ではなく、撮像中のライブビュー画像のみを表示することが望ましい。上述の特許文献１、２では、どのコマがライブビューであるかをユーザは容易に特定することができるが、組み写真として構成するための１枚1枚の写真を撮影する際に、撮影済みの写真が表示されていると、互いの位置関係や画像の構成がわかって便利だが、その反面、気が散って本来の撮影に集中できないという問題がある。

上記不具合の解決策として、切換スイッチ等を設け、１コマの画像を表示するモードと組み写真を表示するモードを切り換えるようにすることが考えられる。しかし、この方法では、スイッチ類が増加し、またＵＩ（User Interface）が煩雑化し、ユーザにとって操作し易い撮像装置とは言い難い。

本発明は、このような事情を鑑みてなされたものであり、組み写真の撮影時に使いやすいようにした撮像装置、撮像方法、及びプログラムを提供することを目的とする。

上記目的を達成するため第１の発明に係る撮影装置は複数の画像を１枚の画像としての組み写真に合成可能であり、かつライブビュー表示可能な撮像装置において、被写体像を画像データに変換し出力する撮像部と、上記画像データを画像処理し表示用画像データを生成する画像処理部と、上記表示用画像データに基づく画像の表示を行なう表示部と、拡大表示モードと、通常表示モードを切り換えて設定する表示切換部と、を具備し、上記通常表示モードの場合には、上記画像処理部により上記組み写真のテンプレートに従って上記表示部の表示範囲を複数の表示領域に分割し、上記複数の表示領域の一つにライブビュー画像を表示し、一方、上記ライブビュー画像を表示しない表示領域には、画像を目立たなくする為のマスク処理を行ない生成した表示用画像データを上記表示部に表示し、上記拡大表示モードの場合には、上記画像処理部は、上記表示部に表示するライブビュー画像を上記組み写真のテンプレートの表示領域のアスペクト比のまま拡大表示し、ライブビュー表示領域の左右もしくは、上下の画像表示されない領域にマスク処理を行う。

第２の発明に係る撮像装置は、上記第1の発明において、上記制御部は、撮影毎にライ
ブビュー画像を表示する表示領域を異ならせる。
第３の発明に係る撮像装置は、上記第１または第２の発明において、表示部はＥＶＦで
ある。

第４の発明に係る撮像装置は、上記第１の発明乃至第３の発明において、上記制御部は、撮影毎に上記表示領域に濃度の異なる上記マスク処理を行う。

第５の発明に係る撮像方法は、複数の画像を１枚の画像としての組み写真に合成し、かつライブビュー表示する撮像方法において、被写体像を画像データに変換して出力し、通常表示の場合には、上記組み写真のテンプレートに従って表示部の表示範囲を複数の表示領域に分割し、上記複数の表示領域の一つにライブビュー画像を表示し、一方、上記ライブビュー画像を表示しない表示領域には画像を目立たなくする為のマスク処理を施した表示用画像データを生成し、上記表示用画像データに基づく画像を表示し、拡大表示の場合には、上記表示部に表示するライブビュー画像を上記組み写真のテンプレートの表示領域のアスペクト比のまま拡大表示し、ライブビュー表示領域の左右もしくは上下の画像表示されない領域にマスク処理を行う

第６の発明に係るコンピュータに実行させるプログラムは、複数の画像を１枚の画像としての組み写真に合成し、かつライブビュー表示をコンピュータに実行させるプログラムにおいて、被写体像を画像データに変換して出力し、通常表示の場合には、上記組み写真のテンプレートに従って表示部の表示範囲を複数の表示領域に分割し、上記複数の表示領域の一つにライブビュー画像を表示し、一方、上記ライブビュー画像を表示しない表示領域には画像を目立たなくする為のマスク処理を施した表示用画像データを生成し、上記表示用画像データに基づく画像を表示し、拡大表示の場合には、上記表示部に表示するライブビュー画像を上記組み写真のテンプレートの表示領域のアスペクト比のまま拡大表示し、ライブビュー表示領域の左右もしくは上下の画像表示されない領域にマスク処理を行う。

本発明によれば、組み写真撮影時に組み写真の構成に応じたライブビュー画像を表示するようにした撮像装置、撮像方法、及びプログラムを提供することができる。

本発明の第１実施形態に係るカメラの主として電気的構成を示すブロック図である。 本発明の第１実施形態に係るカメラのメイン動作を示すフローチャートである。 本発明の第１実施形態に係るカメラのメイン動作を示すフローチャートである。 本発明の第１実施形態に係るカメラの画像処理の動作を示すフローチャートである。 本発明の第１実施形態に係るカメラの基本画像処理の動作を示すフローチャートと、画像処理のＲＧＢガンマ・Ｙガンマの例を示すグラフである。 本発明の第１実施形態に係るカメラの特殊画像処理の動作を示すフローチャートである。 本発明の第１実施形態に係るカメラの組み写真生成の動作を示すフローチャートである。 本発明の第１実施形態におけるカメラにおいて、画像解析の変更例を示す図である。 本発明の第１実施形態に係るカメラの静止画記録の動作を示すフローチャートである。 本発明の第１実施形態に係るカメラの組み写真操作の動作を示すフローチャートである。 本発明の第１実施形態に係るカメラの組み写真操作の動作を示すフローチャートである。 本発明の第１実施形態に係るカメラの画像処理・ライブビュー表示の動作を示すフローチャートである。 本発明の第１実施形態に係るカメラのＥＶＦ表示におけるマスク設定の例を示す図である。 本発明の第１実施形態に係るカメラの画像処理・ライブビュー表示の動作の変形例を示すフローチャートである。 本発明の第１実施形態に係るカメラの外観図の一例を示す図である。 本発明の第１実施形態に係るカメラの外観図の一例を示す図である。

以下、図面に従って本発明に係る撮像装置を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい実施形態に係るカメラは、デジタルカメラである。
このデジタルカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面等に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。

また、カメラ本体の背面部等に設けられた表示部は画面を複数分割し、複数の画像からなる組み写真を再生表示可能である。組み写真は、複数の画像が統一感を有するように組み写真処理を施した後、表示する。また、このデジタルカメラは、電子ビューファインダ（ＥＶＦ）を有しており、この電子ビューファインダには、現在撮像中のライブビュー画像を表示可能である。ライブビュー画像は、組み写真処理を施すことなく、基本画像処理を施した画像を表示する。このように、本発明の好ましい実施形態に係るカメラは、複数の画像を１枚の画像として組み込んだ写真を撮影可能であり、かつライブビュー表示可能である。

図１は、本発明の第１実施形態に係るカメラの主として電気的構成を示すブロック図である。このカメラは、カメラ本体１００と、これに脱着可能な交換式レンズ２００とから構成される。なお、本実施形態においては、撮影レンズは交換レンズ式としたが、これに限らず、カメラ本体に撮影レンズが固定されるタイプのデジタルカメラであっても勿論かまわない。

交換式レンズ２００は、撮影レンズ２０１、絞り２０３、ドライバ２０５、マイクロコンピュータ２０７、フラッシュメモリ２０９から構成され、後述するカメラ本体１００との間にインターフェース（以後、Ｉ／Ｆと称す）１９９を有する。

撮影レンズ２０１は、被写体像を形成するための複数の光学レンズから構成され、単焦点レンズまたはズームレンズである。この撮影レンズ２０１の光軸の後方には、絞り２０３が配置されており、絞り２０３は口径が可変であり、撮影レンズ２０１を通過した被写体光束の光量を制限する。また、撮影レンズ２０１はドライバ２０５によって光軸方向に移動可能であり、マイクロコンピュータ２０７からの制御信号に基づいて、撮影レンズ２０１のピント位置が制御され、ズームレンズの場合には、焦点距離も制御される。また、ドライバ２０５は、絞り２０３の口径の制御も行う。

ドライバ２０５に接続されたマイクロコンピュータ２０７は、Ｉ／Ｆ１９９およびフラッシュメモリ２０９に接続されている。マイクロコンピュータ２０７は、フラッシュメモリ２０９に記憶されているプログラムに従って動作し、後述するカメラ本体１００内のマイクロコンピュータ１２１と通信を行い、マイクロコンピュータ１２１からの制御信号に基づいて交換式レンズ２００の制御を行う。

フラッシュメモリ２０９には、前述したプログラムの他、交換式レンズ２００の光学的特性や調整値等の種々の情報が記憶されている。Ｉ／Ｆ１９９は、交換式レンズ２００内のマイクロコンピュータ２０７とカメラ本体１００内のマイクロコンピュータ１２１の相互間の通信を行うためのインターフェースである。

カメラ本体１００内であって、撮影レンズ２０１の光軸上には、メカシャッタ１０１が配置されている。このメカシャッタ１０１は、被写体光束の通過時間を制御し、公知のフォーカルプレーンシャッタ等が採用される。このメカシャッタ１０１の後方であって、撮影レンズ２０１によって被写体像が形成される位置には、撮像素子１０３が配置されている。

撮像素子１０３は、撮像部としての機能を果たし、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤ―配列のＲＧＢフィルタが配置されている。また、撮像素子１０３は電子シャッタを有している。電子シャッタは、撮像素子１０３の電荷蓄積から電荷読出までの時間を制御することにより露光時間の制御を行う。なお、撮像素子１０３はベイヤ配列に限定されず、例えばＦｏｖｅｏｎ（登録商標）のような積層形式でも勿論かまわない。

撮像素子１０３はアナログ処理部１０５に接続されており、このアナログ処理部１０５は、撮像素子１０３から読み出した光電変換信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに適切な輝度になるようにゲインアップを行う。

アナログ処理部１０５はＡ／Ｄ変換部１０７に接続されており、このＡ／Ｄ変換部１０７は、アナログ画像信号をアナログ―デジタル変換し、デジタル画像信号（以後、画像データという）をバス１１０に出力する。なお、本明細書においては、画像処理部１０９において画像処理される前の生の画像データをＲＡＷデータと称する。

バス１１０は、カメラ本体１００の内部で読み出され若しくは生成された各種データをカメラ本体１００の内部に転送するための転送路である。バス１１０には、前述のＡ／Ｄ変換部１０７の他、画像処理部１０９、ＡＥ（Auto Exposure）処理部１１１、ＡＦ（Auto Focus）処理部１１３、画像圧縮伸張部１１５、組み写真処理部１１７、マイクロコンピュータ１２１、ＳＤＲＡＭ（Synchronous DRAM）１２７、メモリインターフェース（以後、メモリＩ／Ｆという）１２９、表示ドライバ１３３、通信処理部１４５、ＥＶＦドライバ１５１が接続されている。

画像処理部１０９は、基本的な画像処理を行う基本画像処理部１０９ａと、アートフィルタが設定された場合に特殊効果を施すための特殊画像処理部１０９ｂと、画像を解析し、被写体を検出する被写体検出部１０９ｃと、表示モードに応じて、マスク処理を行ないＥＶＦ１５３に表示する画像を生成するマスク処理部１０９ｄを有している（表示モードについては、図１３を用いて後述する）。

基本画像処理部１０９ａは、撮像部で撮像した画像データを画像処理する画像処理部としての機能を果たし、ＲＡＷデータに対して、オプティカルブラック（ＯＢ）減算処理、ホワイトバランス（ＷＢ）補正、ベイヤデータの場合に行う同時化処理、色再現処理、ガンマ補正処理、カラーマトリックス演算、ノイズリダクション（ＮＲ）処理、エッジ強調処理等を行う。１枚撮影で、かつアートフィルタが設定されていない場合には、この基本画像処理部１０９ａによる処理のみで画像処理が完了する。

また、特殊画像処理部１０９ｂは、設定された特殊効果（アートフィルタ）に応じて、周辺の輝度を低下させるピンホール効果、画像をぼかして元画像と合成するソフトフォーカス処理、ノイズ画像と合成するノイズ効果、輝点にクロスパターンを描画するクロスフィルタ効果、周辺部をぼかすミニチュア効果等、基本画像処理部によって処理された画像に対して、種々の特殊効果を施す。

被写体検出部１０９ｃは、画像をパターンマッチング等によって解析し、人の顔やペット等の被写体を検出する。被写体を検出できた場合には、画像内における被写体の種類、大きさ、位置、信頼性等の情報を取得する。

マスク処理部１０９ｄは、表示モードに応じて、ＥＶＦ１５３にライブビュー画像を表示する領域以外の表示領域に、マスクを行なう画像処理を行なう。「通常表示モード」では、ライブビュー画像以外の表示領域には、撮影された画像の表示領域や、未撮影領域があり、目立たなくするようにマスクを行なったり、撮影毎にマスクの濃度を異ならせたり、ライブビュー画像をカラー画像にし、それ以外をモノトーン画像にする。一方、「拡大表示モード」では、組み写真のスタイル（テンプレート）に応じたライブビュー画像の表示領域のアスペクト比を一定にして、ＥＶＦ１５３にライブビュー画像を拡大表示を行なう際に、表示されない余分な領域にマスク設定を行なう。「通常表示モード」、「拡大表示モード」については、図１３を用いて後述する。

ＡＥ処理部１１１は、バス１１０を介して入力した画像データに基づいて被写体輝度を測定し、この被写体輝度情報を、バス１１０を介してマイクロコンピュータ１２１に出力する。被写体輝度の測定のために専用の測光センサを設けても良いが、本実施形態においては、画像データに基づいて被写体輝度を算出する。

ＡＦ処理部１１３は、画像データから高周波成分の信号を抽出し、積算処理により合焦評価値を取得し、バス１１０を介してマイクロコンピュータ１２１に出力する。本実施形態においては、いわゆるコントラスト法によって撮影レンズ２０１のピント合わせを行う。この実施形態では、コントラスト法によるＡＦ制御を例にとって説明したが、被写体光束を分割し、その光路上に位相差センサを設け、または撮像素子上に位相差センサを設け、位相差ＡＦによるＡＦ制御によりピント合わせを行ってもよい。

画像圧縮伸張部１１５は、画像データの記録媒体１３１への記録時に、ＳＤＲＡＭ１２７から読み出した画像データを、静止画の場合にはＪＰＥＧ圧縮方式等、また動画の場合にはＭＰＥＧ等の各種圧縮方式に従って圧縮する。マイクロコンピュータ１２１は、ＪＰＥＧ画像データやＭＰＥＧ画像データに対して、ＪＰＥＧファイルやＭＰＯ（Multi Picture Object：３Ｄ立体視等で用いる画像フォーマット）ファイル、ＭＰＥＧファイルを構成するために必要なヘッダを付加してＪＰＥＧファイルやＭＰＯファイル、ＭＰＥＧファイルを作成し、この作成したファイルをメモリＩ／Ｆ１２９を介して記録媒体１３１に記録する。

また、画像圧縮伸張部１１５は、画像再生表示用にＪＰＥＧ画像データやＭＰＥＧ画像データの伸張も行う。伸張にあたっては、記録媒体１３１に記録されているファイルを読み出し、画像圧縮伸張部１１５において伸張処理を施した上で、伸張した画像データをＳＤＲＡＭ１２７に一時記憶する。なお、本実施形態においては、画像圧縮方式としては、ＪＰＥＧ圧縮方式やＭＰＥＧ圧縮方式を採用するが、圧縮方式はこれに限らずＴＩＦＦ、Ｈ．２６４等、他の圧縮方式でも勿論かまわない。

組み写真処理部１１７は、複数の画像データを組んで１つの画像（組み写真）を生成するための処理を行う。画像の組合せにあたっては、フラッシュメモリ１２５からテンプレートを読み込み、画像の明るさが同様になるように基本画像処理部１０９ａ内のガンマ補正を使用して輝度変更を行う。また、全体のホワイトバランス（ＷＢ）を統一させるために基本画像処理部１０９ａ内の色再現処理を使用してＷＢを変更する。また、合成後に特殊画像処理部１０９ｂを使用してピンホール効果等の特殊効果を適用し、組み画像や置換画像の修正等を行う。

マイクロコンピュータ１２１は、このカメラ全体の制御部としての機能を果たし、カメラの各種シーケンスを総括的に制御する。マイクロコンピュータ１２１には、前述のＩ／Ｆ１９９以外に、操作部１２３およびフラッシュメモリ１２５が接続されている。

操作部１２３は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦、十字キー、ＯＫ釦、削除釦、拡大釦等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をマイクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、操作部１２３からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。電源釦は、当該デジタルカメラの電源のオン／オフを指示するための操作部材である。電源釦が押されると当該デジタルカメラの電源はオンとなり、再度、電源釦が押されると当該デジタルカメラの電源はオフとなる。

レリーズ釦は、半押しでオンになるファーストレリーズスイッチと、半押しから更に押し込み全押しとなるとオンになるセカンドレリーズスイッチからなる。マイクロコンピュータ１２１は、ファーストレリーズスイッチがオンとなると、ＡＥ動作やＡＦ動作等の撮影準備シーケンスを実行する。また、セカンドレリーズスイッチがオンとなると、メカシャッタ１０１等を制御し、撮像素子１０３等から被写体画像に基づく画像データを取得し、この画像データを記録媒体１３１に記録する一連の撮影シーケンスを実行して撮影を行う。

動画釦は、動画撮影の開始と終了を指示するための操作釦であり、最初に動画釦を操作すると動画撮影を開始し、再度、操作すると動画撮影を終了する。再生釦は、再生モードの設定と解除するための操作釦であり、再生モードが設定されると、記録媒体１３１から撮影画像の画像データを読み出し、表示パネル１３５に撮影画像を再生表示する。削除釦は、例えば、再生画像が一覧表示されている場合や組み写真が表示されている場合等に、画像を指定して削除するための操作釦である。拡大釦は、表示画像を拡大するための「拡大表示モード」や拡大した表示画像をを元の大きさに戻す「通常表示モード」に切り換える操作釦である。

メニュー釦は、メニュー画面を表示パネル１３５に表示させるための操作釦である。メニュー画面上では、各種のカメラ設定を行うことができる。カメラ設定としては、例えば、通常撮影モードや組み写真モード等の撮影モードの設定、ナチュラル、ビビッド、フラット、ポートレート、アートフィルタ等のピクチャーモードの設定がある。アートフィルタとしては、ポップアート、トイフォト、ファンタジックフォーカス、ラフモノクローム、ジオラマ、クリスタル等がある。また、予め準備された複数の種類の組み写真のスタイル（テンプレート）の選択、組み写真の置換画像の選択、組み写真編集時に編集前の画像を記録するか否か等、種々の設定も可能である。なお、組み写真の場合、スタイル（テンプレート）と組み画像選択状況に応じてライブビュー（ＬＶ）の表示を変更する（図３のＳ４７参照）。

また、操作部１２３にはタッチ入力部１２３ａが設けてある。表示パネル１３５は、タッチ操作可能であり、タッチ入力部１２３ａは、ユーザがタッチした位置等を検出し、マイクロコンピュータ１２１に出力する。

フラッシュメモリ１２５は、マイクロコンピュータ１２１の各種シーケンスを実行するためのプログラムと、複数の種類の組み写真のスタイル（テンプレート）を記憶している。マイクロコンピュータ１２１はこのプログラムに基づいてカメラ全体の制御を行う。

ＳＤＲＡＭ１２７は、画像データ等の一時記憶用の電気的書き換え可能な揮発性メモリである。このＳＤＲＡＭ１２７は、Ａ／Ｄ変換部１０７から出力された画像データや、画像処理部１０９、画像圧縮伸張部１１５、組み写真処理部１１７等において処理された画像データを一時記憶する。

メモリＩ／Ｆ１２９は、記録媒体１３１に接続されており、画像データや画像データに添付されたヘッダ等のデータを、記録媒体１３１に書き込みおよび読出しの制御を行う。
記録媒体１３１は、例えば、カメラ本体１００に着脱自在なメモリカード等の記録媒体であるが、これに限らず、カメラ本体１００に内蔵されたハードディスク等であっても良い。

表示ドライバ１３３は、表示パネル１３５に接続されており、ＳＤＲＡＭ１２７や記録媒体１３１から読み出され、画像圧縮伸張部１１５によって伸張された画像データに基づいて画像を表示パネル１３５において表示させる。表示パネル１３５は、カメラ本体１００の背面等に配置され、画像表示を行う。表示パネル１３５は、背面等のカメラ本体の外装部に表示面が配置されることから、外光の影響を受け易い表示部であるが、大型の表示パネルを設定することが可能である。なお、表示部としては、液晶表示パネル（ＬＣＤ、ＴＦＴ）、有機ＥＬ等、種々の表示パネルを採用できる。

表示パネル１３５における画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体１３１に記録された静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。また、組み写真処理部１１７において組み写真処理が施された組み写真も表示可能である。

通信処理部１４５は無線有線通信部１４７に接続されている。通信処理部１４５および無線有線通信部１４７は、ＵＳＢ、ＬＡＮ等による有線通信、無線通信（ワイヤレス通信）等によって外部と通信を行い、フラッシュメモリ１２５内に記憶された組み写真の分割用のテンプレートを更新したり、追加する。また、ライブビュー画像（１コマまたは組んだ画像）を、スマートフォンやテレビ等の外部の表示部に送信する。

ＥＶＦドライバ１５１は、ＥＶＦ１５３に接続されており、ＳＤＲＡＭ１２７や記録媒体１３１から読み出され、画像圧縮伸張部１１５によって伸張された画像データに基づいて画像をＥＶＦ１５３において表示させる。ＥＶＦ１５３は、接眼部を介して小型の液晶パネル等に表示される画像を観察するファインダである。ＥＶＦ１５３は、接眼部を介して観察することから、外光の影響を受け難い表示部である。画像表示としては、撮影時のライブビュー表示が可能であり、これ以外にも、レックビュー表示、静止画や動画の画像ファイルの再生表示等を行う。

本実施形態においては、表示部材として、表示パネルとＥＶＦの２つを有している。説明を明確にするために、ＥＶＦ１５３を第１の表示部、表示パネル１３５を第２の表示部として説明する。なお、第１の表示部としては、ＥＶＦ１５３以外にもカメラ本体の前面側に設けた表示パネルや、開閉可能なパネルの内側に設けた表示パネル、有線または無線の伝送により通信可能なデバイス上、もしくは前記デバイスに接続されたの表示パネルでもよい。

ＥＶＦ表示センサ１５５は、ＥＶＦ１５３に表示を行うか否かを判定するためのセンサである。ＥＶＦ表示センサ１５５としては、具体的には、撮影者の眼が接眼部に近づくと検知信号を出力するアイセンサ等を採用する。なお、第１の表示部としては、前述したように、ＥＶＦ１５３に限らず、例えば、本体前面の表示パネル、開閉式の表示パネルでもよい（後述する図１７参照）。本体前面の表示パネルの場合には、ＥＶＦ表示センサ１５５としてはオン／オフスイッチ等を用いればよく、また開閉式の表示パネルの場合には、ホール素子等の開閉検出素子等を用いればよい。オン／オフスイッチの場合にはオンのとき、また開閉検出素子の場合には素子が開状態のときに、ＥＶＦ１５３、カメラ本体の前面側に設けた表示パネルや、開閉可能なパネルの内側に設けた表示パネル等の第１の表示部に表示を行うようにすればよい。なお、ＥＶＦ表示中は、表示パネル１３５は、表示しないようにしてもよい。

次に、図２よび図３に示すフローチャートを用いて、本実施形態におけるカメラのメイン処理について説明する。なお、後述する図２〜図７、図９〜図１２、図１４に示すフローチャートはフラッシュメモリ１２５に記憶されているプログラムに従ってマイクロコンピュータ１２１が各部を制御し実行する。

操作部１２３の内の電源釦が操作され、電源オンとなると、図２に示すメインフローが動作を開始する。動作を開始すると、まず、初期化を実行する（Ｓ１）。初期化としては、機械的初期化や各種フラグ等の初期化等の電気的初期化を行う。各種フラグの１つとして、動画記録中か否かを示す記録中フラグをオフにリセットする（ステップＳ１３、Ｓ１５参照）。

初期化を行うと、次に、再生釦が押されたか否かを判定する（Ｓ３）。ここでは、操作部１２３内の再生釦の操作状態を検知し、判定する。この判定の結果、再生釦が押された場合には、再生を実行する（Ｓ５）。ここでは、記録媒体１３１から画像データを読み出し、ＬＣＤ１３５に静止画と動画の一覧を表示する。ユーザは十字キーを操作することにより、一覧の中から画像を選択し、ＯＫ釦により画像を確定する。また、このステップにおいて、組み写真の編集も行うことができる。

ステップＳ５における再生を実行すると、またはステップＳ３における判定の結果、再生釦が押されていなかった場合には、カメラ設定を行うか否かを判定する（Ｓ７）。操作部１２３の内のメニュー釦が操作された際に、メニュー画面においてカメラ設定を行う。
そこで、このステップでは、このカメラ設定が行われたか否かに基づいて判定する。

ステップＳ７における判定の結果、カメラ設定の場合には、カメラ設定を行う（Ｓ９）。前述したように、種々のカメラ設定をメニュー画面で行うことができる。カメラ設定としては、前述したように、例えば、通常撮影モードや組み写真モード等の撮影モードの設定、ナチュラル、ビビッド、フラット、ポートレート、アートフィルタ等のピクチャーモードの設定がある。アートフィルタとしては、ポップアート、トイフォト、ファンタジックフォーカス、ラフモノクローム、ジオラマ、クリスタル等がある。また、予め準備された複数の種類の組み写真のスタイル（テンプレート）の選択、組み写真の置換画像の選択、組み写真編集時に編集前の画像を記録するか否か、既に記録されている画像を組み写真の所定のコマに嵌め込むための画像を選択する等、種々の設定も可能である。

ステップＳ９においてカメラ設定を行うと、またはステップＳ７における判定の結果、カメラ設定でなかった場合には、次に、動画釦が押されたか否かの判定を行う（Ｓ１１）。ここでは、マイクロコンピュータ１２１は操作部１２３から動画釦の操作状態を入力し、判定する。

ステップＳ１１における判定の結果、動画釦が押された場合には、記録中フラグを判定する（Ｓ１３）。記録中フラグは、動画撮影中にはオン（１）が設定され、動画を撮影していない場合にはオフ（０）にリセットされている。このステップにおいては、フラグを反転、すなわちオン（１）が設定されていた場合には、オフ（０）に反転させ、オフ（０）が設定されていた場合には、オン（１）に反転させる。

ステップＳ１３において記録中フラグの反転を行うと、次に、動画記録中か否を判定する（Ｓ１５）。ここでは、ステップＳ１３において反転された記録中フラグがオンに設定されているか、オフに設定されているかに基づいて判定する。

ステップＳ１５における判定の結果、動画記録中の場合には、動画ファイルを生成する（Ｓ１９）。後述するステップＳ６１において動画の記録を行うが、このステップでは、動画記録用の動画ファイルを生成し、動画の画像データを記録できるように準備する。

一方、判定の結果、動画記録中でない場合には、動画ファイルを閉じる（Ｓ１７）。動画釦が操作され、動画撮影が終了したことから、このステップで動画ファイルを閉じる。動画ファイルを閉じるにあたって、動画ファイルのヘッダにフレーム数を記録する等により、動画ファイルとして再生可能な状態にし、ファイル書き込みを終了する。

ステップＳ１７において動画ファイルを閉じると、またはステップＳ１９において動画ファイルを生成すると、またはステップＳ１１における判定の結果、動画釦が押されていない場合には、次に、組み写真モードで操作部が操作されたか否かを判定する（Ｓ２１）。前述したように、ステップＳ９におけるカメラ設定において、組み写真モードの設定が可能である。このステップでは、この組み写真モードが設定されている状態で、操作部１２３の操作部が操作されたか否かを判定する。

ステップＳ２１における判定の結果、組み写真モードで操作部が操作された場合には、組み写真操作を実行する（Ｓ２３）。この組み写真操作では、組み写真の編集を行うための各種操作、例えば、撮影コマ変更、キャンセル操作、復元操作、一時保存操作、一時保存読み込み操作等の操作がなされると実行される。この組み写真操作の詳しい動作については、図１０および図１１を用いて後述する。

ステップＳ２３において組み写真操作を実行すると、またはステップＳ２１における判定の結果、組み写真モードで操作部が操作されていない場合には、レリーズ釦が半押しされたか否か、言い換えると、ファーストレリーズスイッチがオフからオンとなったか否かの判定を行う（Ｓ３１）。この判定は、レリーズ釦に連動するファーストレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて行う。検知の結果、ファーストレリーズスイッチがオフからオンに遷移した場合には判定結果はＹｅｓとなり、一方、オン状態またはオフ状態が維持されている場合には、判定結果はＮｏとなる。

ステップＳ３１における判定の結果、レリーズ釦が半押しされ、オフからファーストレリーズに遷移した場合には、ＡＥ・ＡＦ動作を実行する（Ｓ３３）。ここでは、ＡＥ処理部１１１が、撮像素子１０３によって取得された画像データに基づいて被写体輝度を検出し、この被写体輝度に基づいて、適正露出となるシャッタ速度、絞り値等を算出する。

また、ステップＳ３３においては、ＡＦ動作を行う。ここでは、ＡＦ処理部１１３によって取得された合焦評価値がピーク値となるように、交換式レンズ２００内のマイクロコンピュータ２０７を介してドライバ２０５が撮影レンズ２０１のピント位置を移動させる。したがって、動画撮影を行っていない場合に、レリーズ釦が半押しされると、その時点で、撮影レンズ２０１のピント合わせを行う。その後、ステップＳ３５へ進む。

ステップＳ３１における判定の結果、レリーズ釦がオフからファーストレリーズに遷移しなかった場合には、次に、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになったか否かの判定を行う（Ｓ３７）。このステップでは、レリーズ釦に連動するセカンドレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて判定を行う。

ステップＳ３７における判定の結果、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになった場合には、メカシャッタによる静止画撮影を行う（Ｓ３９）。ここでは、ステップＳ３３において演算された絞り値で絞り２０３が制御され、また演算されたシャッタ速度でメカシャッタ１０１のシャッタ速度が制御される。そして、シャッタ速度に応じた露光時間が経過すると、撮像素子１０３から画像信号が読み出され、アナログ処理部１０５およびＡ／Ｄ変換部１０７によって処理されたＲＡＷデータがバス１１０に出力される。

メカシャッタによる撮影を行うと、次に、画像処理を行う（Ｓ４１）。ここでは、メカシャッタによる撮影によって撮像素子１０３で取得されたＲＡＷデータを読出し、画像処理部１０９によって画像処理を行う。この画像処理の詳しい動作については、図４を用いて後述する。

画像処理を行うと、次に静止画記録を行う（Ｓ４３）。ここでは、画像処理が施された静止画の画像データを記録媒体１３１に記録する。なお、組み写真で撮影された場合に、組み写真の内の一部の画像をキャンセル（削除）したい場合には、キャンセル操作によって削除可能である。この静止画記録の詳しい動作については、図９を用いて後述する。

静止画記録を行うと、次に、組み写真モードか否かの判定を行う（Ｓ４５）。前述したように、組み写真モードはメニュー画面等において設定されており、このステップではこの組み写真モードが設定されているか否かを判定する。

ステップＳ４５における判定の結果、組み写真モードが設定されていた場合には、ライブビュー（ＬＶ）表示の変更を行う（Ｓ４７）。組み写真モードが設定されている場合には、スタイル（テンプレート）と画像の枚数に応じて、ライブビュー表示を変更する。常に全コマにライブビュー表示を行う場合には、撮影画像以外の部分にライブビュー表示を行うようにする。また１コマずつライブビュー表示する場合には、撮影したら次のコマに順次（例えば、図１５の１３５ａの様に４分割された表示領域のうち、左上→右上→左下→右下のような順）ライブビュー表示を切り換える。いずれの場合にも、撮影したコマは撮影画像を表示する。また、ＯＳＤ（オンスクリーンディスプレイ）を使用し、撮影済みの画像なのかライブビュー表示なのかを分かるように表示してもよく、撮影済みの画像は、撮影順が分かるように表示してもよい。その後、ステ
ップＳ３５へ進む。

ステップＳ３７における判定の結果、レリーズ操作２ｎｄでなかった場合には、次に、ＡＥを行う（Ｓ５１）。前述のステップＳ２１からＳ２７を経た場合は、レリーズ釦に対して何ら操作を行っていない場合であり、この場合には後述するステップＳ５５においてライブビュー表示を行う。ステップＳ５１においては、ライブビュー表示を行うための露出制御を行う。すなわち、適正露出でライブビュー表示を行うための撮像素子１０３の電子シャッタのシャッタ速度およびＩＳＯ感度を算出する。

ＡＥを行うと、次に、電子シャッタによる撮影を行う（Ｓ５３）。ここでは、被写体像を画像データに変換する。すなわち、撮像素子１０３の電子シャッタによって決まる露光時間の間、電荷蓄積を行い、露光時間が経過すると蓄積電荷を読み出することにより画像データを取得する。

電子シャッタによる撮影を行うと、次に、取得した画像データに対して画像処理・ライブビュー表示を行う（Ｓ５５）。ここでの画像処理は、ライブビュー表示用であり、基本画像処理部１０９ａによって基本画像処理を行う。またアートフィルタ等の特殊効果が設定されている場合には、設定に応じた特殊画像処理も行ってもよい。また、表示パネル１３５に表示するための画像処理と、ＥＶＦ１５３に表示するための画像処理は、異ならせている。詳しくは後述するが、表示パネル１３５に表示するための画像処理は基本画像処理のみ行い（図１２のＳ２３３参照）、ＥＶＦ１５３に表示するための画像処理は、基本画像処理に加えて、特殊画像処理、組み写真生成のための画像処理も行う（図１２のＳ２２７、図４参照）。

画像処理を行うと、表示パネル１３５またはＥＶＦ１５３にライブビュー表示を行う。ステップＳ５３において画像データを取得し、画像処理を行ったことから、この処理された画像を用いて、ライブビュー表示の更新を行う。撮影者はこのライブビュー表示を観察することにより、構図やシャッタタイミングを決定することができる。

ライブビュー表示にあたって、ＥＶＦ１５３には１コマのライブビュー表示を行う。すなわち、基本画像処理を施した１コマ分のライブビュー画像を表示する（この１コマ分のライブビュー表示を「１コマライブビュー表示」と略す。さらに「１コマライブビュー表示」には、「通常表示モード」と「拡大表示モード」の２種類がある。「通常表示モード」と「拡大表示モード」の詳しい動作については、図１３を用いて、後述する）。

また表示パネル１３５には、組み写真モードが設定されている場合には、組み写真の画像を表示する。このとき、組み写真を構成する複数の画像の全てが確定していない場合には、その内の１コマ分をライブビュー画像で表示する（この組み写真モード設定時のライブビュー表示を「組み写真ライブビュー表示」と略す）。なお、組み写真モードが設定されていない場合には、表示パネル１３５には、ＥＶＦ１５３と同様に１コマライブビュー画像を表示する。画像処理・ライブビュー表示の詳しい動作については、図１２を用いて後述する。

ステップＳ５５において画像処理・ライブビュー表示を行うと、動画記録中か否かの判定を行う（Ｓ５９）。ここでは、記録中フラグがオンか否かを判定する。この判定の結果、動画記録中であった場合には、動画記録を行う（Ｓ６１）。ここでは、撮像素子１０３から読み出される撮像データを動画用の画像データに画像処理を行い、動画ファイルとして記録媒体１３１に記録する。その後、ステップＳ３５へ進む。

ステップＳ３５では、電源オフか否かの判定を行う。このステップでは、操作部１２３の電源釦が再度、押されたか否かを判定する。この判定の結果、電源オフではなかった場合には、ステップＳ３に戻る。一方、判定の結果、電源オフであった場合には、メインのフローの終了動作を行ったのち、メインフローを終了する。

このように本発明の第１実施形態におけるメインフローにおいては、組み写真モードの設定が可能であり（Ｓ９）、組み写真モードが設定され、ライブビュー表示時には、ＥＶＦ１５３には１コマライブビュー画像が表示され、表示パネル１３５には組み写真が表示される（Ｓ５５）。

次に、ステップＳ４１における画像処理について、図４に示すフローチャートを用いて説明する。画像処理のフローに入ると、まず、基本画像処理を行う（Ｓ７１）。ここでは、基本画像処理部１０９ａが、撮像素子１０３から読み出され、Ａ／Ｄ変換部１０７でＡＤ変換された画像データに対して、オプティカルブラック（ＯＢ）減算、ホワイトバランス（ＷＢ）補正、同時化処理、色再現処理、輝度変更処理、エッジ強調処理、ノイズ除去（ＮＲ）処理等を施す。この基本画像処理の詳しい動作については、図５を用いて後述する。

基本画像処理を行うと、次に、アートフィルタが設定されているか否かを判定する（Ｓ７３）。前述したカメラ設定（Ｓ９）において、アートフィルタが設定されるので、このステップでは、アートフィルタが設定されたか否かを判定する。

ステップＳ７３における判定の結果、アートフィルタが設定されていた場合には、特殊画像処理を行う（Ｓ７５）。ここでは、設定されたアートフィルタの種類に応じて、特殊画像処理を施す。この特殊画像処理の詳しい動作については、図６を用いて後述する。

特殊画像処理を行うと、またはステップＳ７３における判定の結果、アートフィルタが設定されていなかった場合には、次に、組み写真か否かの判定を行う（Ｓ７７）。前述したように、メニュー画面において、組み写真モードが設定される。

ステップＳ７７における判定の結果、組み写真モードが設定されている場合には、組み写真生成を行う（Ｓ７９）。この組み写真生成では、組み写真処理部１１７によって、リサイズや回転等の前処理を行い、色変更や輝度変更を行った後、スタイル（テンプレート）に応じて、画像の合成を行い、組み写真を生成する。動画撮影中には、組み写真機能をオフにするようにしてもよい。組み写真処理によって、複数の画像でありながら、全体的に統一感のある１枚の写真を生成することができる。この組み写真生成の詳しい動作については、図７を用いて後述する。

組み写真生成を行うと、またはステップＳ７７における判定の結果、組み写真モードが設定されていない場合には、元のフローに戻る。

このように、本実施形態における画像処理では、基本画像処理を行い、また必要に応じて特殊画像処理を行った後に、組み写真モードが設定されている場合に、組み写真生成を行っている。

次に、ステップＳ７１（図４）の基本画像処理の詳しい動作について、図５（ａ）に示すフローチャートを用いて説明する。基本画像処理のフローに入ると、まず、オプティカルブラック（ＯＢ）演算を行う（Ｓ８１）。このステップでは、基本画像処理部１０９ａ内のＯＢ演算部によって、画像データを構成する各画素の画素値から、撮像素子１０３の暗電流等に起因するオプティカルブラック値をそれぞれ減算する。

ＯＢ演算を行うと、次に、ホワイトバランス（ＷＢ）補正を行う（Ｓ８３）。このステップでは、予め設定されているホワイトバランスモードに応じて、基本画像処理部１０９ａ内のＷＢ補正部により画像データに対してＷＢ補正を行う。具体的には、ベイヤ配列の画像データに対して、ユーザが設定したホワイトバランスモードに応じたＲゲインとＢゲインをカメラ本体のフラッシュメモリ１２５から読み出し、その値を乗じることで補正を行う。またはオートホワイトバランスの場合には、ＲＡＷデータ等からＲゲインおよびＢゲインを算出し、これらを用いて補正する。

続いて、同時化処理を行う（Ｓ８５）。このステップでは、ホワイトバランス補正を行った画像データに対して、基本画像処理部１０９ａ内の同時化処理部によって、各画素がＲＧＢデータで構成されるデータに変換する。具体的には、その画素にないデータを周辺から補間によって求め、ＲＧＢデータに変換する。しかし、例えば、ＲＡＷデータが既にＲＧＢデータと同様の形式（Ｆｏｖｅｏｎセンサで得られたＲＡＷデータなど）の場合には、同時化処理を行う必要がない。

同時化処理を行うと、次に、色再現処理を行う（Ｓ８７）。このステップでは、基本画像処理部１０９ａ内の色再現処理部によって、画像データに対して設定されているホワイトバランスモードに応じたカラーマトリックス係数を乗じる線形変換を行って画像データの色を補正する。カラーマトリックス係数はフラッシュメモリ１２５に記憶されているので、読み出して使用する。

色再現処理を行うと、次に、輝度変更処理を行う（Ｓ８９）。このステップでは、基本画像処理部１０９ａ内のガンマ処理部によって、フラッシュメモリ１２５に記憶されているガンマテーブルを読み出し、画像データに対してガンマ補正処理を行う。すなわち、ＲＧＢでガンマ変換し、ＹＣｂＣｒに色変換後、Ｙでさらにガンマ変換を行う。

図５（ｂ）に、ステップＳ８９の輝度変更処理におけるＲＧＢガンマとＹガンマの一例を示す。図５（ｂ）において、γＲＧＢは、ＲＧＢガンマの一例であり、ピクチャーモードに応じて変更してもよい。γＹ１は、アートフィルタとしてファンタジックフォーカスが設定されている場合のＹガンマの一例である。γＹ２は、アートフィルタとしてポップアートまたはトイフォトが設定されている場合のＹガンマの一例である。γＹ３は、その他の場合のＹガンマの一例である。

γＹ３のガンマは略直線状であり、γＹ１は低入力値に対して立ち上がりを急にし、高入力値に対して変化を緩くしている。これに対して、γＹ２は低入力値に対して立ち上がりを緩くし高入力値に対して変化が大きくなるようにしている。このように、本実施形態においては、基本画像処理における輝度変更処理において、設定されているアートフィルタ（特殊効果処理）に応じて、最適なガンマとなるように、ガンマを異ならせている。

ステップＳ８９においてガンマ変換を行うと、次に、エッジ強調を行う（Ｓ９１）。このステップでは、ガンマ変換の行われた画像データに対して、基本画像処理部１０９ａ内のエッジ強調処理部が、バンドパスフィルタによりエッジ成分を抽出し、エッジ強調度に応じて係数を乗じて画像データに加算することにより、画像データのエッジを強調する。

次にＮＲ（ノイズ除去）を行う（Ｓ９３）。このステップでは、画像を周波数分解し、周波数に応じてノイズを低減する処理を行う。ノイズ除去処理を行うと、元のフローに戻る。

次に、ステップＳ７５（図４）の特殊画像処理の詳しい動作について、図６に示すフローチャートを用いて説明する。

特殊画像処理のフローに入ると、まず、アートフィルタモードとして、トイフォトが設定されているか否かを判定する（Ｓ１０１）。この判定の結果、トイフォトが設定されていた場合には、シェーディング効果を付加する（Ｓ１０３）。ここでは、特殊画像処理部１０９ｂが、中心からの距離に応じて、徐々に輝度が低下するようなゲインマップ（ゲインの値は１以下）を生成し、画素ごとに画素に応じたゲインを乗ずることにより、画像の周辺にシェーディング効果を付与する。

シェーディング付加を行うと、またはステップＳ１０１における判定の結果、トイフォトでなかった場合には、次に、アートフィルタモードとして、ファンタジックフォーカスが設定されているか否かを判定する（Ｓ１０５）。この判定の結果、ファンタジックフォーカスが設定されていた場合には、ソフトフォーカス処理を行う（Ｓ１０７）。ここでは、特殊画像処理部１０９ｂが、元の画像をぼかし、このぼかした画像と、ぼかす前の画像を、所定の割合（例えば、ぼかし：前＝２：３の割合）で合成する。

ソフトフォーカス処理を行うと、またはステップＳ１０５における判定の結果、ファンタジックフォーカスでなかった場合には、次に、アートフィルタモードとして、ラフモノクロームが設定されているか否かを判定する（Ｓ１０９）。この判定の結果、ラフモノクロームが設定されていた場合には、ノイズ重畳処理を行う（Ｓ１１１）。ここでは、特殊画像処理部１０９ｂが画像データに対してノイズ付加処理を施す。ノイズ付加処理は、予め作成したノイズパターン画像を被写体画像に加算する処理である。ノイズパターン画像は乱数等に基づいて生成してもよい。

ノイズ重畳処理を行うと、またはステップＳ１０９における判定の結果、ラフモノクロームでなかった場合には、次に、アートフィルタモードとしてジオラマが設定されているか否かを判定する（Ｓ１１３）。この判定の結果、ジオラマが設定されていた場合には、ぼかし処理を行う（Ｓ１１５）。ここでは、特殊画像処理部１０９ｂが、元の画像のＡＦターゲットを中心に上下、または左右、または距離に応じて徐々にぼかす処理を行う。

ぼかし処理を行うと、またはステップＳ１１３における判定の結果、ジオラマでなかった場合には、次に、アートフィルタモードとしてクリスタルが設定されているか否かを判定する（Ｓ１１７）。この判定の結果、クリスタルが設定されていた場合には、クロスフィルタ処理を行う（Ｓ１１９）。ここでは、特殊画像処理部１０９ｂが、画像の中から輝点を検出し、この輝点を中心として、十字状や、複数本の放射状の形状に輝きを演出する効果のあるクロスパターンを描画する。

クロスフィルタ処理を行うと、またはステップＳ１１７における判定の結果、クリスタルが設定されていなかった場合には、特殊画像処理のフローを終了し、元のフローに戻る。

次に、ステップＳ７９（図４）の組み写真生成の詳しい動作について、図７に示すフローチャートを用いて説明する。前述したように、図４に示した画像処理のフローでは、まず基本画像処理を行い、次に特殊画像処理を行い、最後に組み写真生成を行う。この組み写真生成では、予め設定しておいたスタイル（テンプレート）に、画像を合成する。スタイル（テンプレート）としては、例えば、画面を上下左右に４分割等があり、適宜、複数のスタイル（テンプレート）の中から撮影者の好みで設定すればよい。

組み写真生成のフローに入ると、まず、画像解析を行う（Ｓ１２１）。合成する元の画像（置換画像）を解析し、画像特徴（例えば、輝度分布と色分布等）を取得する。基本画像処理等の画像処理が完了した画像を用いて解析してもよく、また、その元となるＲＡＷデータを解析してもよい。

画像解析を行うと、次に、色変更を行う（Ｓ１２３）。ここでは、組み写真処理部１１７が、合成する画像が略同様な色になるように、ＣｂＣｒを補正する。このとき、各コマ画像領域のデータを用いて処理を行うが、ＳＤＲＡＭ１２７のコマ画像領域Ｒ１内のデータは変更しないようにする。これは、後ほどＭＰＯ形式でデータを保存するためである。

色変更の補正方法としては、例えば、合成する全ての画像の色分布（ＣｂＣｒ平面での分布）のピークが、各ピークの平均値になるように画像のＣｂＣｒをオフセットさせる。
この補正方法を図８（ｂ）（ｃ）を用いて説明する。図８（ｂ）の（ｂ−１）は画像１および画像２の色差（Ｃｂ）を示し、図８（ｃ）の（ｃ−１）は、色差（Ｃｒ）を示す。画像１、２のそれぞれについて、色分布のピークが平均値となるように色差をオフセットさせると（図８の（ｂ−２）、（ｃ−２）参照）、両画像の色差は略同様になる（図８の（ｂ−３）（ｃ−３）参照）。

ステップＳ１２３において色変更を行うと、次に、輝度変更を行う（Ｓ１２５）。ここでは、組み写真処理部１１７が合成する画像の輝度が同様になるように補正する。補正方法としては、例えば、合成する全ての画像の輝度分布の平均値に、各画像の平均値が略一致するように補正する。このとき、輝度ガンマ（輝度成分のみのガンマ）で変換すると、大きく輝度を変更した場合に、色が不自然に見える。そこで、例えば、ＲＧＢ変換してＲＧＢ色空間でガンマ補正するようにしてもよい。

輝度変更の例を、図８（ａ）を用いて説明する。図８（ａ）の（ａ−１）は、画像１と画像２の輝度を示す。両者をＲＧＢ色空間でテーブル変換する（（ａ−２）参照）。画像２は（ａ−１）から分かるように、全体に低輝度成分が多いことから、テーブル変換によって低輝度側を持ち上げている。変換後は、（ａ−３）に示すように、画像１と画像２は、略同様な輝度分布となる。

ステップＳ１２５において輝度変更を行うと、次に、合成を行う（Ｓ１２７）。ここでは、組み写真処理部１７１が、背景画像上の各画像を合成する。すなわち、予め設定されたスタイル（テンプレート）の各位置に画像を嵌め込み合成することにより、組み写真を生成する。

ステップＳ１２７において合成を行うと、次に、特殊効果を付加する（Ｓ１２９）。ここでは、合成した画像に対して、シェーディングやぼかし等の特殊効果を付加する。なお、各画像に対しては、図４のステップ７５において特殊効果を付加しており、このステップでは、合成画像に対する特殊効果を付加している。

ステップＳ１２９において、特殊効果を付加すると、画像記憶を行ってから、元のフローに戻る。

このように組み写真生成のフローにおいては、画像に対して色変更と輝度変更を行った後（Ｓ１２３、Ｓ１２５）、組み写真の画像を合成している（Ｓ１２７）ので、複数の画像に対して、色や輝度が同様になるように調整しているので、全体に統一感のある組み写真が生成される。

次に、ステップＳ４３（図３）の静止画記録の詳しい動作について、図９に示すフローチャートを用いて説明する。この静止画記録は、前述のメカシャッタによる撮影（Ｓ３９）、画像処理（図３のＳ４１）に引き続いて実行され、画像処理された画像データを記録媒体１３１に記録するための処理を行う。

静止画記録のフローに入ると、まず、組み写真モードか否かの判定を行う（Ｓ１４１）。この判定の結果、組み写真モードでない場合には、通常撮影モードであり、レックビュー表示を行う（Ｓ１５７）。このレックビュー表示は、撮影後に記録媒体１３１に記録する画像を、表示パネル１３５またはＥＶＦ１５３に一時的に所定時間の間、表示する機能のことである。これにより、ユーザは撮影画像を確認することができる。

レックビュー表示を行うと、次に静止画記録を行う（Ｓ１５９）。組み写真以外では、画像処理した画像をＪＰＥＧ圧縮して記録媒体１３１に記録する。しかし、これに限らず、非圧縮形式（例えば、ＴＩＦＦ等）で記録するようにしてもよく、別の圧縮形式でもよい。また、ＲＡＷ画像を記録するようにしても良い。

ステップＳ１４１における判定の結果、組み写真モードであった場合には、撮影画像を記録するか否かを判定する（Ｓ１４３）。組み写真モードでは、予め設定されたスタイル（テンプレート）に各画像を嵌め込むが、組み写真モードが設定されている場合であっても、スタイル（テンプレート）中に嵌め込まない画像を記録するようにしてもよい。より詳しく説明すると、組み写真モードで撮影中に組み写真のシナリオとは関係のないシャッターチャンスに遭遇した場合、撮影者はとにかくシャッターを切りたくて撮影を行なう。その後、撮影した画像が組み写真とは、関係なく通常の撮影と同様に記録媒体１３１に記録できるようにした機能である。このステップでは、図２のステップＳ９のカメラ設定において、ユーザが組み写真の各コマを記録するかどうかの設定をオンにしているか否かを判定する。

ステップＳ１４３における判定の結果、撮影画像記録の場合には、静止画記録を行う（Ｓ１４５）。ここでは、ステップＳ１５９と同様に、組み写真ではない、単独の撮影画像として撮影し、ＪＰＥＧ等によって圧縮等を行って記録媒体１３１に記録する。

ステップＳ１４５において静止画記録を行うと、またはステップＳ１４３における判定の結果、撮影画像記録でない場合には、次に、組み完了か否かの判定を行う（Ｓ１４７）。
ここでは、予め設定されているスタイル（テンプレート）を満たす数の画像が撮影され、合成されているか否かを判定する。例えば、４枚からなる組み写真では、４枚の写真が撮影され、合成されているかを判定する。また、４枚合成の場合であって、２枚を撮影し、２枚を記録画像から選択した場合も組み完了と判定される。

ステップＳ１４７における判定の結果、組み完了であった場合には、レックビュー表示を行う（Ｓ１４９）。ここでは、組み写真として全画像が揃ったことから、この組み写真を表示パネル１３５にレックビュー表示を行う。なお、レックビュー表示中には、後述する再生のフローと同様に、拡大表示ができるようにしてもよい。

レックビュー表示を行うと、次に、キャンセル操作がなされたか否かを判定する（Ｓ１５１）。ユーザがレックビュー表示を観察した際に、一部の写真を削除し、取り換えたいと思う場合がある。そこで、本実施形態においては、レックビュー表示を行い、所定時間（例えば、３秒）内にキャンセル操作を行った場合には、指定したコマをキャンセルして、再撮影を行うことができるようにしている。なお、キャンセル操作としては、タッチパネルで指定してもよく、また削除釦でキャンセルするようにしてもよい。

ステップＳ１５１における判定の結果、キャンセル操作を行った場合には、組み写真操作を行う（Ｓ１５５）。組み写真操作のサブルーチン中において、キャンセル操作が実行される（後述する図１０のＳ１６５〜Ｓ１７３参照）。

一方、ステップＳ１５１における判定の結果、キャンセル操作が行われない場合には、組み写真記録が行われる（Ｓ１５３）。ここでは、完成した組み写真の合成画像データを記録媒体１３１に記録する。

ステップＳ１５３において組み写真記録を行うと、またはステップＳ１５５において組み写真操作を行うと、またはステップＳ１４７における判定の結果、組み完了していない場合には、またはステップＳ１５９において静止画記録を行うと、元のフローに戻る。

このように、静止画記録フローにおいては、スタイル（テンプレート）によって決まる画像の枚数が揃うまでは組み写真の記録を行わず（Ｓ１４７→Ｎｏ）、枚数が揃うと組み写真の記録を行っている（Ｓ１５３）。また、組み写真が完成した後でも、キャンセル操作を行うことにより（Ｓ１５１）、組み写真の指定した画像の削除を行うことができる。

次に、ステップＳ２３（図２）およびステップＳ１５５（図９）の組み写真操作の詳しい動作について、図１０および図１１に示すフローチャートを用いて説明する。この組み写真操作は、前述したように、組み写真の編集を行うための各種操作がなされた際に実行される。

組み写真操作のフローに入ると、まず、撮影コマ変更操作がなされたか否かの判定を行い（Ｓ１６１）、この判定の結果、撮影コマ変更操作が行われた場合には、撮影コマの変更を行う（Ｓ１６３）。組み写真のスタイル（テンプレート）の中でいずれかの枠内に撮影画像を嵌め込むかは適宜変更可能である。十字キーとＯＫ釦の操作や、タッチパネル操作等により、撮影するコマを変更する操作がなされた場合に、撮影するコマを変更する。その際、どのコマを撮影するかを分かるようにするために、コマに枠を表示したり、アイコンを表示したり、撮影コマ以外のコマを暗く表示したり、撮影コマ以外のコマの彩度を低下するようにしてもよい。ライブビュー表示中のコマがタッチされた場合には、レリーズ操作（１ｓｔと２ｎｄ、または１ｓｔのみ）を実行して撮影をおこなう。複数のコマでライブビュー表示を行っている場合には、操作部１２３の十字キーと、レリーズ釦を使用して撮影するコマを選び、撮影を行なう。レリーズ釦を押すたびに順々に異なるタイミングで撮影を行なうこともできる。

ステップＳ１６３において撮影コマの変更を行うと、またはステップＳ１６１における判定の結果、撮影コマの変更操作がなかった場合には、次に、キャンセル操作がなされた否かを判定する（Ｓ１６５）。静止画記録のフローにおいて説明したように、完成した組み写真において、一部の画像を削除し、別の画像に置換したい場合がある。そこで、本実施形態においては、十字キーで撮影したコマを選択し、削除釦を押す操作や、タッチパネルで撮影したコマをゴミ箱アイコンにドラッグ＆ドロップする操作により、撮影したコマをキャンセルすることができる。このステップＳ１６５においては、これらの操作がなされたか否かを判定する。

ステップＳ１６５における判定の結果、キャンセル操作がなされた場合には、次に、タッチ操作でコマサイズが小か否かの判定を行う（Ｓ１６７）。キャンセル操作が、タッチ操作で行われた場合、キャンセルしようとしているコマのサイズ（縦横サイズまたは面積）が小さいか（例えば、面積が１平方センチメートル以下）否かを判定する。コマサイズが小さいと指でタッチ操作を行なう際に誤操作となってしまうからである。

ステップＳ１６７における判定の結果、タッチ操作でコマサイズが所定値より大きい場合には、次に、画像退避し（Ｓ１６９）、ライブビュー表示の変更を行う（Ｓ１７１）。キャンセル操作によって画像を削除した場合でも、復元したい場合がある。そこで、復元を可能とするために（すなわち、キャンセル操作の取り消し）、削除の指定がなされた撮影画像（組み写真のコマの画像）を一旦メモリ内の別領域に退避し、そのコマを未撮影状態とみなしてライブビュー表示を変更している。

ライブビュー表示を行うと、組み写真生成を行う（Ｓ１７３）。この組み写真生成のサブルーチンは、図７を用いて説明した。キャンセル操作によって指定された画像が削除されたので、このステップでは、残りの画像を用いて組み写真を生成し直す。

ステップＳ１７３において組み写真生成を行うと、またはステップＳ１６７における判定の結果、タッチ操作でコマサイズが小さかった場合には、またはステップＳ１６５における判定の結果、キャンセル操作がなされていなかった場合には、次に、復元操作か否かの判定を行う（Ｓ１７５）。復元操作は、十字キーで復元したいコマを選択して削除釦を操作したり、またタッチ操作によりゴミ箱アイコンを復元したいコマへドロップ操作した場合等、操作部１２３やタッチパネル１２３ａの操作によって行う。

ステップＳ１７５における判定の結果、復元操作がなされた場合には、次に、画像を復元し（Ｓ１７７）、ライブビュー表示の変更を行う（Ｓ１７９）。ここでは、退避させた画像を元の位置に戻し、そのコマを撮影したとみなして、ライブビュー表示を変更する。

ライブビュー表示の変更を行うと、組み写真生成を行う（Ｓ１８１）。この組み写真生成のサブルーチンは、図７を用いて説明した。復元操作によって指定された画像が復元されたので、このステップでは、復元された画像も含めて組み写真を生成し直す。

ステップＳ１８１において組み写真生成を行うと、またはステップＳ１７５における判定の結果、復元操作がなされなかった場合には、次に、一時保存操作か否かの判定を行う（図１１のＳ１８３）。短時間の間に複数の撮影を行い、組み写真の作成を行う場合には、連続的に撮影を行える。しかし、朝、昼、夜等と時間間隔をおいて撮影した画像を用いて組み写真を作成する場合には、作成途中の画像を一時保存できると便利である。そこで、本実施形態においては、組み写真を構成する画像の一時保存を可能としている。復元操作としては、メニュー画面またはタッチパネル操作等によって、一時保存メニューの選択操作やアイコンの選択操作等で行う。

ステップＳ１８３における判定の結果、一時保存操作がなされた場合には、組みデータの記録を行う（Ｓ１８５）。ここでは、現在の組み写真の状態、すなわち、どのスタイル（テンプレート）でどの写真を撮影しているか等を、フラッシュメモリ１２５または記録媒体１３１に記録する。記録する組みデータとしては、少なくともスタイル（テンプレート）に関する情報、撮影した写真データ、写真データとテンプレート上の関連情報がある。

組みデータの記録を行うと、次に、組み写真のリセットを行う（Ｓ１８７）。記録後、撮影していた組み写真の情報をリセットし、１枚目撮影と同様の状態、すなわち、ライブビュー表示やＳＤＲＡＭ１２７のリセット等の状態にする。

ステップＳ１８７において組み写真のリセットを行うと、またはステップＳ１８３における判定の結果、一時保存操作がなされなかった場合には、次に、一時保存読み込み操作がなされたか否かを判定する（Ｓ１８９）。この操作は、ステップＳ１８３、Ｓ１８５において組み写真の組みデータを一時保存した場合に、この一時保存された組みデータの読み出しを行う。操作としては、例えば、メニュー画面またはタッチパネル等で、一時保存読み込みメニューやアイコンの選択操作を行う。

ステップＳ１８９における判定の結果、一時保存読み込み操作がなされた場合には、次に、撮影途中か否かの判定を行う（Ｓ１９１）。組み写真を撮影中に、一時保存読み込み操作がなされる場合がある。この場合には、現在、進行している組み写真撮影を一時中断しなければならないことから、ステップＳ１９１〜Ｓ１９５において対応する。このステップでは、組み写真モードであって、かつテンプレートに対して１枚以上撮影されているか否かを判定する。

ステップＳ１９１における判定の結果、組み写真の撮影中であった場合には、次に、一時保存するか否かを確認する（Ｓ１９３）。この場合には、撮影途中の現状の状態を一時保存するか否かの確認画面を表示パネル１３５表示し、ユーザに問い合わせる。この判定の結果、一時保存する場合には、組みデータの記録を行う（Ｓ１９５）。ここでは、現状の状態を一時保存するために、ステップＳ１８５と同様の組みデータを記録する。

ステップＳ１９５において組みデータ記録を行うと、またはステップＳ１９３における判定の結果、一時保存しない場合、またはステップＳ１９１における判定の結果、撮影途中でなかった場合には、次に、組みデータを読み込み（Ｓ１９７）、ライブビュー表示し（Ｓ１９９）、組み写真生成を行う（Ｓ２０１）。ここでは、ステップＳ１８５において一時保存した組みデータを読出し、ステップＳ１７１やＳ１７９と同様にライブビュー表示の変更を行い、ステップＳ１７３やＳ１８１と同様に組み写真の生成を行う。

ステップＳ２０１において組み写真の生成を行うと、またはステップＳ１８９における判定の結果、一時保存読み込み操作が行われなかった場合には、組み写真操作の動作を終了し、元のフローに戻る。

このように、組み写真操作のフローにおいては、スタイル（テンプレート）のコマの中で撮影するコマを変更することができ（Ｓ１６３）、またコマを削除し復元することもできる（Ｓ１６９、Ｓ１７７）。さらに、組み写真撮影中であっても、データを一時保存でき、この一時保存したデータを読出し、組み写真撮影を続行することもできる。

次に、ステップＳ５５（図３）の画像処理・ライブビュー表示の詳しい動作について、図１２に示すフローチャートを用いて説明する。この画像処理・ライブビュー表示は、ライブビュー表示用に画像処理を行った後、ＥＶＦ１５３に１コマライブビュー表示、または表示パネル１３５に組み写真ライブビュー表示を行う。

組み写真操作のフローに入ると、まず、ＥＶＦ表示を行うか否かの判定を行う（Ｓ２１１）。ここでは、第１の表示部として機能するＥＶＦ１５３に表示するか否かを、ＥＶＦ表示センサ１５５からの出力に応じて判定する。前述したように、ＥＶＦ１５３の近傍には、アイセンサ等のＥＶＦ表示センサ１５５が設けられており、撮影者がＥＶＦ１５３の接眼部に近づくとＥＶＦ表示センサ１５５から検知信号が出力される。この検知信号を検出した場合には、ＥＶＦ表示と判定する。なお、本実施形態においては、ＥＶＦ表示センサ１５５からの検知出力に基づいてＥＶＦ１５３の表示／非表示を切り換えるが、ＥＶF１５３を常時表示させるようにしてもよい。

ステップＳ２１１における判定の結果、ＥＶＦ表示を行う場合には、次に、１コマ以上撮影していて、かつ撮影済みのコマ画像の確認を行うか否かの判定を行う（Ｓ２１３）。
ここでは、撮影済みコマ数が１コマ以上であり、しかも撮影者がコマ確認のための操作を行っているか否かを判定する。本実施形態においては、ライブビュー表示中に、組み写真に組み込む画像を変更することが可能である。撮影者がこの変更を行う場合には、操作部１２３中のダイヤルを回すか、または十字キー、ＯＫ釦等の操作部材を操作する。そこで、この実施形態においては、ダイヤルや十字キー等の操作部材を操作した場合には、一定時間、他の撮影済みのコマ画像を確認する機能を有している。

ステップＳ２１３における判定の結果、１コマ以上撮影しており、かつコマ確認操作があった場合には、次に、確認コマ変更操作か否かを判定する（Ｓ２１５）。ここでは、ダイヤルの操作方向・回転量、またいずれの十字キーを操作したか等を判定し、変更操作を判定する。

ステップＳ２１５における判定の結果、変更操作がなされていた場合には、コマ変更を行う（Ｓ２１７）。ここでは、操作部材による変更操作に応じて、コマの位置や撮影順に１コマ表示するコマを切り換える。なお、変更したコマ画像の表示はステップＳ２２３において行う。

ステップＳ２１７においてコマ変更を行うと、またはステップ２１５における判定の結果、変更操作がなされていなかった場合には、次に、コマ画像の基本画像の読み込みを行う（Ｓ２１９）。撮影された画像は、基本画像処理（図５参照）が施され、またアートフィルタ等が設定されている場合には特殊画像処理（図６参照）が施される。このステップでは、選択されているコマの撮影画像の画像データにおいて、基本画像処理のみを行った画像データをＳＤＲＡＭ１２７から読み込む。ＳＤＲＡＭ１２７に撮影画像が格納されていない場合には、組み写真の組んでいる画像のそのコマ部分のみを読み込む。

ステップ２１３における判定の結果、１コマ以上撮影していない場合、つまり、組み写真モードで未撮影の場合、またはコマ確認を行わない場合には、基本画像処理を行う（Ｓ２３３）。ここでは、現在、撮像素子１０３によって撮像され、取得された画像データに対して、図５を用いて説明した基本画像処理を施す。基本画像処理を行った画像データは、ＳＤＲＡＭ１２７に記憶しておくとよい。なお、本実施形態においては、基本画像処理としては、仕上がりとしてはナチュラルで行うが、他の処理を施すようにしてもよく、更に、特殊画像処理を施してもよい。

ステップＳ２３３において基本画像処理の実行後、またはステップＳ２１９においてコマ画像の基本画像を読み込む処理後、次に、マスク設定を行う（Ｓ２２１）。このステップでは、マスク処理部１０９ｄに組み写真のスタイル（テンプレート）、画像データ、画像位置情報、表示モードを入力し、マスク処理された画像データをＥＶＦドライバ１５１に入力しＥＶＦ１５３で表示することでマスク処理された表示が実現される。
組み写真を生成する場合には、スタイル（テンプレート）の指定位置によっては、ＥＶＦ１５３のアスペクト比と、スタイル（テンプレート）のアスペクト比が異なることが発生する。つまり、選択されたコマの画像は、ＥＶＦ１５３の全ての部分に表示されず、上下、もしくは左右に切り取られる部分が発生する。そこで、ＥＶＦ１５３で１コマの画像を表示する際に、組み写真で組み込まれない領域は、半透過グレーや、無彩色処理（モノトーン処理）、あるいはぼかし処理等、組むところと組まないところが明確になるように、マスクを設定する。

例えば、図１３（ａ）に示すようなスタイル（テンプレート）は、４コマの縦長の画像（固１〜固３、ＬＶ）から構成されている。なお、図中、ＬＶはライブビュー画像を示し、固１〜固３は、既に選択された組み込まれた画像を示す。これら画像は、撮影により得られた画像の他に、記録媒体１３１やフラッシュメモリ１２５等に予め記録された画像から読み込むことにより得られる画像である。撮影画像のアスペクト比は、４：３であるが、図１３（ａ）に示す例では、その一部のみが組み込まれている。そこで、図１３（ｂ）に示すように、組まないところを黒色のマスク１５３ａで覆うような画像処理を行う。

また、図１３（ｃ）に示す例では、組み込まれた画像（固１〜固３）とライブビュー画像ＬＶからなるスタイル（テンプレート）の一例である。図１３（ｄ）に示す例では、ライブビュー画像ＬＶのアスペクト比と、撮影画像のアスペクト比が異なっていることから、組まないところを撮影者認識できるようにしている。具体的には、組まないところをモノトーンまたはぼかしのマスク１５３ｂで覆うような画像処理を施し、組まれる部分のライブビュー画像をカラーで表示するようにしている。

また、図１３（ｅ）から（ｈ）に示す例は、図１３（ａ）のスタイル（テンプレート）に従って撮影を進める際のＥＶＦ１５３に表示される画像を示している。撮影者は、撮影に集中したいが為に周囲が見えないようなファインダーを覗いて撮影することを好む場合がある。その際にＥＶＦ１５３には撮影するごとに前に撮影した画像が表示されていると、意識がこれから撮影しようとするライブビュー画像に集中できない場合がある。ＥＶＦ１５３はライブビュー画像のみを表示してそれ以外の画像にはマスク設定を行なうようにしている。図１３（ｂ）と異なる点は、ライブビュー画像をスタイル（テンプレート）のレイアウトに従って表示する点である。１コマ目の撮影が終了すると、図１３（ｆ）にあるように左端が固定され（固１）、左から２番目にライブビュー画像が表示される。撮影画像が固定されたら、図１３（ｇ）のようにライブビュー画像以外にマスク設定される。このようにして、図１３（ｈ）にあるように最後のライブビュー画像を表示する。この撮影が完了したら、図１３（ａ）にあるように全ての画像を表示しても良い。
また、撮影画像が固定されたら、撮影者が確認するために、所定時間、撮影画像を表示した後に図１３（ｇ）のようにライブビュー画像以外にマスク設定されるようにしても良いし、ＥＶＦ１５３に図１３（ｅ）のようなライブビューが表示されているときに撮影された場合、図１３（ｆ）のような表示を行うことなく、図１３（ｇ）や図１３（ｉ）の表示を行ってもよい。

また、図１３（ｉ）、（ｊ）に示すようにマスクの濃さ（透過率または濃度）を撮影が進むにつれて異ならせても良い。具体的な例を示す。４コマで組み写真を生成する例では、１コマ目の撮影が終わり、所定時間、撮影画像を表示し、画像が固定（固１）されたら、透過率７５％でマスク設定を行なう。一方、ライブビュー画像の表示範囲は透過率１００％（マスク設定されていない状態）で表示される。次の撮影が終わり画像が固定（固２）されたら、固２は透過率７５％、固１は透過率５０％、ライブビュー画像の表示範囲は透過率１００％で表示する。次の撮影が終わると、固１は透過率２５％、固２は透過率５０％、固３は透過率７５％、ライブビュー画像の表示範囲は透過率１００％となる。透過率は予め決めたスタイル（テンプレート）や表示領域の数に応じて適宜決めることになる。
このように直近の固定画像の透過率を高くし、最初の固定画像の透過率を低くするようにマスク設定をおこなうことで、視覚的に影響の少ないように工夫したことで、撮影者は、直近に撮影された画像を確認しながら、次の撮影に考えを思い巡らすことが可能となる。

また、図１３（ｋ）は、図１３（ｃ）のライブビュー画像を縦横比（アスペクト比）を一定に保ちながらＥＶＦ１５３の表示範囲一杯に拡大表示した例を示す。上下にマスク設定を行なっても良いし、図１３（ｌ）のように、マスク設定を片方に寄せても良い。
また、ファインダー内部の構造の設計上の都合で、ファインダ内に、ＥＶＦ１５３とＬＥＤランプ、液晶表示パネルを上下、もしくは左右に並べて配置する場合や、カメラ１００を小型化するための構造上の制約や設計上のスペースの都合により、ファインダ中心と、ＥＶＦ１５３の中心とが一致しない場合がある。そのような場合には、上下左右に均等にマスク設定を行なわずにＥＶＦ１５３中心がファインダ中心になるように上下左右のマスク設定の幅を調整することが考えられる。縦長の画像では左右にマスク設定を行なう。このように表示することにより、撮影者は、ファインダ中心に画像中心が位置するので、上下左右均等に視線を配れ、画像の細部にまで注意を払うことができ、ピント調節や、構図の確認シャッターチャンスのタイミング取りが行ないやすい。

一方、図１３（ｍ）は、図１３（ｃ）のライブビュー画像を位置とサイズを変更しないでマスク設定を行ない表示した例である。この例では、スタイル（テンプレート）のレイアウトに従い組み写真として使用されない部分にマスク設定している。そのため、撮影者は組み写真のどの位置の撮影を行なっているかが良くわかる。図１３（ｋ）、（ｌ）、（ｍ）の表示の切換は、拡大釦により行い、ファインダを覗きながら簡単に切り換えられるように、ファインダを覗くようにしてカメラ本体１００を構えたときにカメラ本体１００の人差し指や、親指で操作しやすい箇所に配置された操作釦に割り付けることも可能である。カメラ本体１００には、図１３（ｍ）のようにスタイル（テンプレート）に従った表示を「通常表示モード」、図１３（ｋ）、（ｌ）のようにライブビュー表示部分を拡大する表示を「拡大表示モード」として操作により切り換えることが可能な機能を有する。

操作釦で切り換える方法には、拡大釦以外に、レリーズ釦で切り換える方法も有効である。レリーズ釦を判押し操作していない場合には、「通常表示モード」で表示を行い、レリーズ釦を判押し操作したら、「拡大表示モード」に切り換える。この方法では、レリーズ釦に機能を割り付けた為、拡大釦を必要とせず、釦の配置にもスペースを必要とするため、カメラの小型化にも有効である。また、撮影者がファインダーを覗いたことをEVF表示センサ１５５で検知したら、所定時間、上記「通常表示モード」を行い、その後「拡大表示モード」に切り換える方法も有効である。この方法では、撮影者は、操作釦を操作せずとも表示モードを切り換えることができる。

このように、ライブビュー画像の表示にあたって、組み写真のスタイル（テンプレート）に応じて決まるアスペクト比に従って、マスク１５３ａ、１５３ｂで覆うような画像処理を施している。このため、撮影者は、直感的に、組み写真で組まれる部分と組まれない部分が分かり、組み写真に適したフレーミングを簡単に行うことができる。また、モノトーン、またはぼかしのマスク１５３ｂで覆うようにすると、組まれる部分の周囲の状況を撮影に邪魔にならい程度で把握できるという利点がある。

ステップＳ２２１においてマスク設定を行うと、次に、ＥＶＦ表示を行う（Ｓ２２３）。ここでは、ステップＳ２１７において変更されたコマ画像、またはステップＳ２３３において基本画像処理されたライブビュー画像に対して、ステップＳ２２１においてマスク設定された画像をＥＶＦ１５３に表示する。ライブビュー画像であるか、既に読み込んだ画像であるかが分かるように、画像にアイコン表示を行う。また、撮影コマを確認する場合、基本画像処理のみ行った画像がＳＤＲＡＭ１２７に記憶されている場合と、記憶されていない場合で区別されるように表示してもよい。

ステップＳ２２３におけるＥＶＦ表示を行うと、またはステップＳ２１１における判定の結果、ＥＶＦ表示でない場合には、動画記録中か、表示パネル表示中かの判定を行う（Ｓ２２５）。ここで、動画記録中であるか否かは、記録中フラグ（図２のＳ１３〜Ｓ１９参照）に基づいて判定する。また、表示パネル１３５に表示するか否かは、例えば、ＥＶＦ１５３に表示しないときはＹｅｓと判定する。なお、常に表示パネル１３５に表示するようにしてもよい。

ステップＳ２２５における判定の結果、動画記録中であった場合、または表示パネル１３５に表示する場合には、画像処理を行う（Ｓ２２７）。ここでは、図４に示した画像処理を行う。この画像処理において、基本画像処理、特殊画像処理、組み写真処理が施される。組み写真モードが選択されている場合には、組み込まれている画像およびライブビュー画像に対して組み写真処理が施される。

また、ＥＶＦ１５３に１コマライブビュー表示するために基本画像処理を行っており（Ｓ２３３）、表示パネル１３５に組み写真ライブビュー表示する場合も基本画像処理を行う（Ｓ２２７、図４のＳ７１）。しかし、１コマライブビュー表示用の基本画像処理と、組み写真ライブビュー表示用の基本画像処理では、異なるパラメータで行う。例えば、１コマライブビュー表示用はナチュラルのパラメータとし、一方、組み写真ライブビュー表示用では複数の画像で統一感を得られるようなパラメータとする。

ステップＳ２２７において画像処理を施すと、次に、表示パネル表示か否かを判定する（Ｓ２２９）。ここでは、ステップＳ２２５における判定結果を用いて、表示パネル１３５に表示するか否かを判定する。

ステップＳ２２９における判定の結果、表示パネルに表示の場合には、表示パネル１３５に表示する（ＳＳ２３１）。ここでは、ステップＳ２２７において画像処理された画像を表示パネル１３５に表示する。組み写真モードが設定されている場合には、読み込んだ画像とライブビュー画像に対して組み写真処理を行い、この画像が表示される。

ステップＳ２３１において表示パネルに表示すると、またはステップＳ２２５における判定の結果、動画記録中でないか、または表示パネル表示でない場合、またはステップＳ２２９における判定の結果、表示パネル表示でない場合には、画像処理・ライブビュー表示のフローを終了し、元のフローに戻る。

このように、本実施形態における画像処理・ライブビュー表示においては、ＥＶＦ１５３では１コマのライブビュー画像を表示し（Ｓ２２３）、一方、表示パネル１３５には、組み写真を表示する（Ｓ２２７、Ｓ２３１）。また、組み写真の表示にあたっては、撮像素子１０３によって取得したライブビュー用の画像も用いて組み写真処理を施した画像を表示する。

また、１コマのライブビュー画像は、組み写真の一部拡大ではなく、組み写真とは異なる画像処理（組み写真で行う画像処理の一部の画像処理）を施している。また、１コマのライブビュー画像は、組み写真で組む場所以外はマスク表示を行っている（Ｓ２２１、図１３参照）。また、一旦、撮影したコマであっても、簡易な操作で１コマ表示して確認することができる（Ｓ２１５、Ｓ２１７参照）。

上述したような制御を行うことにより、本実施形態においては、ＥＶＦ１５３において、１コマライブビュー表示を観察することができ、また表示パネル１３５には、組み写真ライブビュー表示によって組んだ画像イメージを観察できるため、撮影者は好みの撮影スタイル（テンプレート）で撮影することができる。

また、組み写真において組まれる位置が表示されるため、予想外の位置に撮影画像が組み込まれることも防止することができる。

さらに、１コマライブビュー表示では、基本画像処理した画像をＥＶＦ１５３に表示するため、余分な効果がかからず、より撮影に集中することができる。

次に、図１４を用いて、画像処理・ライブビュー表示の動作の変形例を説明する。前述の図１２に示した画像処理・ライブビュー表示では、１コマ以上撮影し、かつコマ確認でない場合を除いて、基本画像処理（Ｓ２３３）を行っていた。これに対して、本変形例においては、基本画像処理だけでなく、画像解析、色変更、輝度変更等を行うようにしている。

図１４に示す画像処理・ライブビュー表示のフローチャートの変形例は、図１２に示すフローチャートにおいて、ステップＳ２３５〜Ｓ２３９を追加した点で相違し、その他のステップは、図１２と同様である。

また、ステップＳ２３５の画像解析、ステップＳ２３７の色変更、およびステップＳ２３９の輝度変更は、それぞれ図７のステップＳ１２１、Ｓ１２３、Ｓ１２５と同様な処理を行うことから、詳しい説明を省略する。

このように、本変形例における画像処理・ライブビュー表示においては、基本画像処理に加えて、色変更および輝度変更を行っている。ここでの処理は、１コマのライブビュー表示を行うための画像処理であることから、特殊効果処理は施していない。特殊効果は、撮影に集中するに妨げになるため、行っていない。色変更および輝度変更等の色再現に関する処理は、最終的な仕上がりに影響することから行っている。

次に、図１５、図１６を用いて、本発明の第１の実施形態におけるカメラの外観の変形例を説明する。
図１５に示す変形例では、表示パネル１３５ａは、カメラ本体１００に固定され、外付けＥＶＦ３００を装着可能としている。この例では、外付けＥＶＦ３００に１コマのライブビュー表示を行い、表示パネル１３５ａに組み写真の表示を行うようにしている。図１５の右下の画像は、ＥＶＦ３００にライブビューが表示されているために、この部分にはライブビューを表示しない。そのことを撮影者や撮影者以外に知らせるために、黒い画像を表示するとともに、「ＬＶ」という表示と、「ＥＶＦ」の識別表示がされている。
外付けＥＶＦ３００の表示は、ライブビュー表示位置にライブビュー表示画像を表示し、ライブビュー表示画像以外の表示領域は黒くマスクされて表示されている。

図１６は外付けＥＶＦ３００をカメラ本体１００から外した状態を示す図で、外付けＥＶＦとの通信接点１５９により、カメラ本体１００と外付けＥＶＦ３００は電源供給と、通信を行なう。
ＥＶＦ３００は通信接点１５９を介してカメラ１に挿抜可能にしても良く、ＥＶＦ３００との通信の結果により装着を検出して、本発明のようにＥＶＦ３００の表示を行っても良い。外付けＥＶＦ３００を外した場合には、表示パネル１３５ａにライブビュー画像の表示を行なう。

以上説明したように、本発明の各実施形態や各変形例においては、表示部（ＥＶＦ１５３等）は外光の影響を受けない表示部である。このため、表示部を観察することにより組み写真の撮影中にひとコマ、ひとコマのトリミング状態と組み写真中の配置を確認できるため撮影に集中することが可能となる。

また、本発明の各実施形態や各変形例においては、撮像装置として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラ、ミラーレスカメラ、コンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォンや携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、組み写真を撮影可能な撮像装置であれば、本発明を適用することができる。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１００・・・カメラ本体、１０１・・・メカシャッタ、１０３・・・撮像素子、１０５・・・アナログ処理部、１０７・・・Ａ／Ｄ変換部、１０９・・・画像処理部、１０９ａ・・・基本画像処理部、１０９ｂ・・・特殊画像処理部、１０９ｃ・・・被写体検出部、１０９ｄ・・・マスク処理部、１１０・・・バス、１１１・・・ＡＥ処理部、１１３・・・ＡＦ処理部、１１５・・・画像圧縮伸張部、１１７・・・組写真処理部、１２１・・・マイクロコンピュータ、１２３・・・操作部、１２３ａ・・・タッチ入力部、１２５・・・フラッシュメモリ、１２７・・・ＳＤＲＡＭ、１２９・・・メモリＩ／Ｆ、１３１・・・記録媒体、１３３・・・表示ドライバ、１３５・・・表示パネル、１４５・・・通信部、１４７・・・無線有線通信部、１５１・・・ＥＶＦドライバ、１５３・・・ＥＶＦ、１５５・・・ＥＶＦ表示センサ、１５７・・・通信処理部、１５９・・・通信接点、１６１・・・ヒンジ、１６３・・・光軸、１９９・・・Ｉ／Ｆ、２００・・・交換式レンズ、２０１・・・撮影レンズ、２０３・・・絞り、２０５・・・ドライバ、２０７・・・マイクロコンピュータ、２０９・・・フラッシュメモリ、３００・・・外付けＥＶＦ、３０１・・・ＥＶＦドライバ、３０３・・・ＥＶＦ、３０５・・・ＥＶＦ表示センサ

Claims (6)

1. 複数の画像を１枚の画像としての組み写真に合成可能であり、かつライブビュー表示可能な撮像装置において、
   被写体像を画像データに変換し出力する撮像部と、
   上記画像データを画像処理し表示用画像データを生成する画像処理部と、
   上記表示用画像データの表示を行なう表示部と、
   拡大表示モードと、通常表示モードを切り換えて設定する表示切換部と、
   を具備し、
   上記通常表示モードの場合には、上記画像処理部により上記組み写真のテンプレートに従って上記表示部の表示範囲を複数の表示領域に分割し、上記複数の表示領域の一つにライブビュー画像を表示し、一方、上記ライブビュー画像を表示しない表示領域には、画像を目立たなくする為のマスク処理を行ない生成した表示用画像データに基づく画像を上記表示部に表示し、上記拡大表示モードの場合には、上記画像処理部は、上記表示部に表示するライブビュー画像を上記組み写真のテンプレートの表示領域のアスペクト比のまま拡大表示し、ライブビュー表示領域の左右もしくは、上下の画像表示されない領域にマスク処理を行うことを特徴とする撮像装置。
2. 上記画像処理部は、撮影毎にライブビュー画像を表示する表示領域を異ならせることを特徴とする請求項１記載の撮像装置。
3. 上記表示部はＥＶＦであることを特徴とする請求項１または請求項２に記載の撮像装置。
4. 上記画像処理部は、撮影毎に上記表示領域に濃度の異なる上記マスク処理を行うことを特徴とする請求項１乃至請求項３のいずれか一項に記載の撮像装置。
5. 複数の画像を１枚の画像としての組み写真に合成し、かつライブビュー表示する撮像方法において、
   被写体像を画像データに変換して出力し、
   通常表示の場合には、上記組み写真のテンプレートに従って表示部の表示範囲を複数の表示領域に分割し、上記複数の表示領域の一つにライブビュー画像を表示し、一方、上記ライブビュー画像を表示しない表示領域には画像を目立たなくする為のマスク処理を施した表示用画像データを生成し、上記表示用画像データに基づく画像を表示し、拡大表示の場合には、上記表示部に表示するライブビュー画像を上記組み写真のテンプレートの表示領域のアスペクト比のまま拡大表示し、ライブビュー表示領域の左右もしくは上下の画像表示されない領域にマスク処理を行う、
   ことを特徴とする撮像方法。
6. 複数の画像を１枚の画像としての組み写真に合成し、かつライブビュー表示をコンピュータに実行させるプログラムにおいて、
   被写体像を画像データに変換して出力し、
   通常表示の場合には、上記組み写真のテンプレートに従って表示部の表示範囲を複数の表示領域に分割し、上記複数の表示領域の一つにライブビュー画像を表示し、一方、上記ライブビュー画像を表示しない表示領域には画像を目立たなくする為のマスク処理を施した表示用画像データを生成し、上記表示用画像データに基づく画像を表示し、拡大表示の場合には、上記表示部に表示するライブビュー画像を上記組み写真のテンプレートの表示領域のアスペクト比のまま拡大表示し、ライブビュー表示領域の左右もしくは上下の画像表示されない領域にマスク処理を行う、
   ことをコンピュータに実行させるプログラム。