WO2020189510A1 - 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体 - Google Patents

Abstract

合成処理の有無や種類に応じて画像を適切に判別し処理できる画像処理装置を提供する。　実施例の画像処理装置は、撮影された複数の撮影画像を合成して合成画像を生成する合成手段と、前記撮影画像または前記合成画像を記録部に記録画像として記録する記録制御手段と、撮影モードあるいは前記合成手段で行う合成の方法を判定する判定手段と、を有し、前記記録制御手段は、前記判定手段が判定した撮影モードまたは合成の方法で撮影または合成された記録画像に、該判定による判定結果に基づいて決定される種類データを関連付けて記録することを特徴とする。

Description

画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体

　本発明は複数画像の合成または合成画像の再生が可能な画像処理装置等に関するものである。

　デジタルカメラやカメラ付き携帯端末等の撮像装置では、撮影して得られた画像データの属性情報に、撮影条件などを付帯させて１つの画像ファイルとして記録することが出来る。特許文献１では、撮影時に複数画像を合成する多重露出撮影によって得られた合成画像データを記録する際に、多重の回数をメタデータとしてファイルヘッダに記録する技術の開示がある。特許文献１では多重の回数をもって当該画像データが多重露出撮影された画像であることも判断するとしている。

特開２０１２－０９４９７８号公報

　しかしながら上記既存の技術では、多重露出撮影という１つの合成を伴う撮影モードで撮影された画像であるか否かを識別できるに過ぎない。種々の合成を伴う撮影モード、あるいは種々の合成処理シーケンスによって生成された画像や、当該画像の属性情報を識別するための汎用的な付帯情報については考慮されていなかった。
　本発明はかかる課題に鑑みてなされたものであり、合成処理の有無や種類に応じて画像を適切に判別し処理できる画像処理装置を提供するものである。

　上記課題を解決するため、本発明の１つのアスペクトの画像処理装置は、
　撮影された複数の撮影画像を合成して合成画像を生成する合成手段と、
　前記撮影画像または前記合成画像を記録部に記録画像として記録する記録制御手段と、
　撮影モードあるいは前記合成手段で行う合成の方法を判定する判定手段と、を有し、
　前記記録制御手段は、前記判定手段が判定した撮影モードまたは合成の方法で撮影または合成された記録画像に、該判定による判定結果に基づいて決定される種類データを関連付けて記録することを特徴とする。

　本発明によれば、合成処理の有無や種類に応じて画像を適切に判別し処理できる画像処理装置を得ることが可能になる。

本実施例における画像処理装置のブロック構成図である。 画像データファイルのデータ構造の例を示す図である。 合成情報部のデータ構造の例を示す図である。 実施例における画像処理装置の全体フローチャートである。 実施例における撮影モードのフローチャートである。 実施例における再生モードのフローチャートである。 実施例における画像一覧表示例を示す図である。

　以下、本発明の実施例を、図面を用いて詳細に説明する。なお、本発明の実施例に係る画像処理装置として、撮像装置の例を用いて説明する。しかしながら画像処理装置は、パーソナルコンピュータ等の汎用の画像処理装置（以下、ＰＣとする）、デジタルカメラ、デジタルムービーカメラなどを含む。また、携帯電話、スマートフォン、いわゆるタブレット端末、カーナビゲーション装置など、画像ファイル一覧を表示可能な装置であればいずれにも適用可能であり、本発明の画像処理装置はそれらの製品形態を含む。

　図１は、本実施例の画像処理装置の一例としての撮像装置１００の機能構成を示すブロック図である。制御部１０１はコンピュータとしてのＣＰＵ（中央演算処理装置）を備え、撮像装置全体を制御する制御手段として機能している。
　制御部１０１は、撮像装置１００が備える各構成部を動作させるためのコンピュータプログラムを記憶媒体としてのＲＯＭ（リード・オンリ・メモリ）１０２から読み出し、ＲＡＭ（ランダム・アクセス・メモリ）１０３に展開して実行する。

　ＲＯＭ１０２は書き換え可能な不揮発性メモリであり、ＣＰＵが実行する動作プログラムに加え、撮像装置１００が備える各構成部の動作に必要なパラメータ等を記憶する。ＲＡＭ１０３は書き換え可能な揮発性メモリであり、撮像装置１００が備える各構成部の動作において出力されたデータの一時的な記憶領域として用いられる。

　撮像光学系１０４はレンズや絞り及びそれらの光学部材を駆動する駆動部等を備え、被写体からの光を撮像部１０５に結像させる。撮像部１０５はＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ－Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の撮像素子を備える。撮像素子は、撮像光学系１０４により結像された光学像に対して光電変換を行い、アナログ画像信号を形成し、撮影画像を生成するための撮像手段として機能する。

　前記アナログ画像信号は撮像部１０５のＡ／Ｄ（アナログ／デジタル）変換部によりＡ／Ｄ変換されてデジタル画像データとなりＲＡＭ１０３に記憶される。なお、本実施例では撮像手段を画像処理装置内に有するが画像処理装置は撮像手段を持たないものであっても良い。
　画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、ホワイトバランス調整、色補間、縮小／拡大、フィルタリング等の様々な画像処理を適用する。

　記録媒体１０８は、撮像装置１００に着脱可能なメモリカード等であり、ＲＡＭ１０３に記憶されている画像データを記録するための記録部として機能する。ここで制御部１０１は、記録媒体１０８に撮影画像または前記合成画像を記録画像として記録する記録制御手段としても機能している。画像処理部１０７で処理された画像データや、撮像部１０５によるＡ／Ｄ変換後の画像データ等が、記録画像データとして記録媒体１０８に記録される。また画像処理部１０７は、撮像部１０５による撮影時に予め設定された撮影モードに基づいた方法で、該撮影で得られ撮像部１０５から出力された複数の画像データを合成処理する。

　例えば、操作部１１１によってユーザから設定された撮影モードを示す信号や撮像時に制御部１０１によって画像から判定（取得）された撮影シーンに基づいて決まった撮影モードに従って、制御部１０１は画像処理部１０７に指示を出す。それによって撮影モードに応じた合成処理が行われる。さらに制御部１０１はこのとき撮影モードを判定（取得）することで合成に係る画像の種類を示す種類データを決定し、画像処理部１０７で合成処理が行われた後の合成画像の画像データに対して決定した種類データを関連づけて記録媒体１０８に記録する。

　例えば本実施形態では、ヘッダ情報の少なくとも一部が汎用的な規格（Ｅｘｉｆ規格）に準拠して構成された画像ファイルを生成する。そして、このヘッダ情報の規格に準拠したデータ領域に種類データを記録することで、同じく画像ファイル内の画像データ部に記録される画像データと種類データとを関連づける。
　画像処理部１０７は制御部１０１の指示に基づいて入力される複数の画像データに合成処理を行う。このとき、合成対象となるデータの少なくとも一部がＲＯＭ１０２あるいは記録媒体１０８より読み出されたデータであってもよい。

　また画像処理部１０７は操作部１１１によってユーザから設定された合成処理の方法にしたがって、ＲＯＭ１０２あるいは記録媒体１０８に記録された複数の画像データを再生時に合成する。各撮影モードとそれに対応する合成処理や再生時の各種合成処理については後述する。

　表示部１０９は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）等の表示デバイスを備え、撮像部１０５により取得された撮像画像のスルー画像表示等を行う。また表示部１０９は、文字や画像などのデータや、メニューなどのいわゆるグラフィカルユーザインタフェースを表示する。
　距離マップ取得部１１０は、例えばＴＯＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）方式やステレオカメラ等で被写体の距離分布に関連する情報を距離マップとして作成することによって取得する。

　距離マップまたは撮像画像に関連する視差のある画像間の像ずれ量分布やデフォーカス量分布のデータ等は、被写体の奥行方向における深度情報の分布を表すことになる。以下では、深度情報の分布を表すデータを距離マップデータという。取得された距離マップデータはデジタルデータとしてＲＡＭ１０３に記憶される。マップデータの生成方法については多くの方法が周知であり、いずれを使っても良い。

　操作部１１１は、各種の物理的な操作部材のボタン、ダイヤル、タッチパネル、スライドバー等を含み、使用者の操作を受け付け、制御部１０１等に指示信号を出力する。
　通信部１０６は、外部装置と通信するための無線ＬＡＮインタフェースなどであるが、有線ＬＡＮインタフェース、ＵＳＢインタフェース等、外部装置と通信できるものであれば良く、その種別は問わない。この通信部１０６を介して、外部装置（例えばＰＣやスマートフォン等）と画像ファイルを送受信することができる。
　（画像ファイルのデータ構造）

　図２は、撮像装置１００が生成・管理する画像ファイルのデータ構造を示している。本実施例では、Ｅｘｉｆ規格にしたがったファイル形式を採用するものとする。画像データファイル２０１は、例えば撮像部１０５による撮像時に生成されたり、通信部１０６を介して取得したり、記録媒体１０８あるいはＲＯＭ１０２に保存されていたりする。撮像装置１００が画像データファイル２０１を処理する際には、一時的にＲＡＭ１０３にコピーされることもある。

　画像データファイル２０１は先頭に画像開始を示すマーカーＳＯＩ（２０２）を有し、その後にヘッダ領域としてアプリケーションマーカーＡＰＰ１（２０３）（ＡＰＰ１領域）を有する。

　アプリケーションマーカーＡＰＰ１（２０３）内は、ＡＰＰ１のサイズ（２０４）、ＡＰＰ１の識別コード（２０５）、画像の作成日時を示す　ＤａｔｅＴｉｍｅ（２０６）、画像データが生成された日時を示す　ＤａｔｅＴｉｍｅＯｒｉｇｉｎａｌ（２０７）、画像の関連を示すＲｅｌａｔｉｏｎＩｎｆｏｒｍａｔｉｏｎ（２０８）、撮影情報等（２０９）およびサムネイル画像（２１０）から構成される。

　ＤａｔｅＴｉｍｅ（２０６）および　ＤａｔｅＴｉｍｅＯｒｉｇｉｎａｌ（２０７）にはＲＡＭ１０３に記憶した撮影日時情報を格納する。また、ＲｅｌａｔｉｏｎＩｎｆｏｒｍａｔｉｏｎ（２０８）には例えば合成される複数の撮影画像間において関連がある事を示す所定の情報が記載される。この所定の情報は最初に記録した関連画像の画像番号でも良いし、特定の撮影モードを示す情報でも良い。

　撮影情報等（２０９）としては、たとえば、撮影日時、撮影パラメータ（露光時間、絞り値、ＩＳＯ感度、焦点距離、補助光源の有無等）、本実施例に係る合成情報部２０９１を含む。合成情報部２０９１には、本実施例で生成、処理する合成関連の情報が保持される。
　また記録される本画像データは、量子化テーブルＤＱＴ（２１２）、ハフマンテーブルＤＨＴ（２１２）、フレーム開始マーカーＳＯＦ（２１３）、スキャン開始マーカー（２１４）および圧縮データが格納された画像データ部２１５から構成され、画像データの最後を示すマーカーＥＯＩ（２１６）で終端される。

　本実施例で示したファイル構造はＥｘｉｆ規格の構造に合わせたものとしたのでＥｘｉｆ規格と互換性を持つことができる。しかし、本実施例の合成情報等の各種情報の記録構造は、必ずしもＥｘｉｆ規格の構造に限定されない。例えば画像データファイル２０１とは別のファイルに記録してもよいし、撮像装置１００が持つ特別なデータベースに記録してもよい。

　図３は、合成情報部２０９１に保持されている情報の一例を示している。本実施例では、後段の画像処理部１０７や外部装置のアプリケーション、ネットワークサーバー上などで本合成画像と、本合成画像に係る情報を元に、合成処理の最適化や復元やＡＩ等を用いた学習を行うために、本合成に係る様々な情報を記録する。かつこれらの情報の少なくとも一部を汎用的なＥｘｉｆ領域に格納することで、Ｅｘｉｆ準拠の各種装置と互換性を持たせることができ、汎用的なアプリケーションでも参照可能とすることができる。

　合成情報部２０９１には画像識別情報３０１、合成種別情報３０２、合成画像のソース画像数情報３０３、合成画像情報３０４、合成画像のソース画像情報３０５を記載する領域がそれぞれ配されている。
　画像識別情報３０１は、主に合成に係る画像の種類を示す種類データで、「非合成画像」、「一般合成画像」、「撮影時取得合成画像」などの分類情報からいずれか１つが格納される。

　「撮影時取得合成画像」は、撮影時に撮像素子から取得された一連の複数のソース画像（暫定記録画像）のみ（全数の使用を必須としない）から合成された画像である。かつ全てのソース画像の取得の際に撮影の条件（絞り値、被写体距離、光源、レンズ焦点距離など）と被写体の範囲（撮影視野）がそれぞれ実質的に一定であるとみなせる合成画像に付される分類である。

　「撮影時取得合成画像」には第１の種類データとして「３」が付与される。「一般合成画像」は、複数の撮影画像（ソース画）から合成された合成画像に付される分類であり、合成の方法を限定しない。「一般合成画像」には第２の種類データとして「２」が付与される。

　「非合成画像」は、「一般合成画像」「撮影時取得合成画像」に分類される合成画像とみなせない画像に付与する、例えば合成されていないとみなされる画像に付与される分類である。「非合成画像」には種類データとして「１」が付与される。なお、画像識別情報３０１として上記の「１」～「３」のいずれか以外の値を用意し、用いても良い。例えば、いずれの分類に付されるかが不明な場合は、種類データとして「０」を付与するなどしてもよい。
　（各合成モードとその分類）

　次に各種の撮影モードで合成処理を伴うものによって得られる画像や再生時の各種合成処理によって得られる合成画像に対する画像識別情報３０１の付与例について説明する。
　なお、本実施例では、前述のように、撮影時に合成に使われた複数枚の画像の撮影条件と画角が実質的に同じ場合には第１の種類データとして「３」を生成する。また、合成に使われた複数枚の画像の撮影条件と画角の一方が実質的に異なる場合には第２の種類データとして「２」を生成する。また非合成の場合は第３の種類データとして「１」を生成するものとする。

　例えばマルチショット系（異なるタイミングあるいは撮像光学系で複数の撮影を伴う撮影モードを以降マルチショット系と呼ぶことにする）の合成の種類の一つとして撮影時にＨＤＲ（Ｈｉｇｈ　Ｄｙｎａｍｉｃ　Ｒａｎｇｅ）合成をするモードがある。この撮影時ＨＤＲ合成モードでは、ＩＳＯやシャッタースピードなど、複数のソース画像の中で撮影条件が一定と見なせないものがある。従って画像識別情報として第２の種類データである「２」を付与する。

　なお、撮影時ＨＤＲ合成モードではＩＳＯやシャッタースピード以外の撮影条件は、複数のソース画像の中で実質的に一定と見なして、画像識別情報として第1の種類データである「３」を付与するようにしても良い。ここで撮影時のＨＤＲ合成は、例えば露出（ＩＳＯやシャッタースピード等）の異なる複数枚の画像を撮影し、それぞれの画像を異なるガンマで現像し、現像結果を合成するものである。なお、撮影時ＨＤＲ合成モードは露出条件の異なる複数の画像のなかから、画像の輝度値に応じて適正な画像を抜き出して合成するモードである。

　また、マルチショット系の合成の種類の一つとして再生時に画像処理装置やＰＣアプリなどでＨＤＲ処理をする場合（再生時ＨＤＲ合成モード）でも、画像識別情報として第２の種類データである「２」を付与する。これは、撮影時に合成された画像ではないためである。またＩＳＯやシャッタースピードなど、複数のソース画像の中で撮影条件が一定と見なせないものがあるためである。ここで再生時に画像処理装置やＰＣアプリなどで行うＨＤＲ処理とは、例えばユーザが選択した画像を露出差に応じたガンマでそれぞれ現像し、現像結果を合成するものである。

　また、マルチショット系の合成の種類の一つとして、例えばＨＤＲ絵画調撮影を行うＨＤＲ絵画調撮影モードで得られた合成画像の場合も上記と同様に画像識別情報として「２」を付与する。なお、ＨＤＲ絵画調撮影とは、露出（ＩＳＯやシャッタースピード等）の異なる複数枚の画像から階調処理を行うなどして絵画のような雰囲気を持つ合成画像を生成するモードである。

　また、合成の種類の一つとしてマルチショットノイズ低減機能を達成するために複数撮像を行い、合成画像を生成する撮影モードで得られる合成画像の場合にも画像識別情報として「２」を付与する。これは、撮影条件は一定とみなせるが、手持ち撮影前提の機能であり、手振れ等により各撮影画像の画角が異なる場合があり画角が一定と見なせないためである。

　なお、マルチショットノイズ低減機能を達成するために複数撮像を行い、合成画像を生成する撮影モードのときに、画角（被写体の範囲、撮影視野）及び撮影条件が実質的に一定と見なせると考えることもできる。従って画像識別情報として「３」を付与するようにしても良い。なお、マルチショット低減機能とは、同一撮影条件で複数枚撮影した画像を、検出される振れ量に基づき位置合わせしてから合成し、ノイズの低減された合成画像を得る撮影モードであり、被写体が暗くノイズが多い場合などに用いる。

　また、手持ち撮影で夜景をストロボなしで複数回撮影することを前提とした手持ち夜景撮影モードで得られる合成画像の場合も画像識別情報として「２」を付与する。これも撮影条件は一定であるが、手持ち撮影前提の機能であり、手振れにより各撮影画像の画角が異なる場合があり画角が一定と見なせないためである。

　ただし、手持ち夜景撮影モードで得られる合成画像であるときに、画角（被写体の範囲、撮影視野）及び撮影条件が実質的に一定であると見なして画像識別情報として「３」を付与するようにしても良い。
　また、合成の種類の一つとして手持ち撮影で夜景をストロボありの撮影とストロボなしの撮影を連続で行う場合も、画像識別情報として「２」を付与する。これは手持ち撮影を前提とした機能であり、画角が一定と見なせないためである。また撮影条件のうち、「光源」に関する条件が変わる撮影画像が存在するためである。

　ただし、手持夜景ストロボありのときに、「手持ち夜景ストロボなし」と画像識別情報の振り方を変えて混同しないようにするために、画像識別情報として「３」を付与しても良い。そして手持ち撮影で夜景をストロボありの撮影に原則的に画像識別情報として「３」を付与するようにしてもよい。

　次にいわゆるクリエイティブフィルタ系の撮影の場合について説明する。クリエイティブフィルタ系の撮影とは、撮影された画像に特殊な画像処理効果を施して記録する撮影モードである。
　撮影時の撮影モードの種類として所謂ラフモノクロ撮影、ソフトフォーカス撮影、ジオラマ風撮影、トイカメラ撮影、油彩風撮影、水彩風撮影、魚眼風撮影、美肌撮影、背景ぼかし撮影などの場合には画像識別情報として「１」を付与する。

　また、これらのモードで撮影画像に行われる画像処理と同等の画像処理を再生時に画像に施す編集モード（アプリケーション）で得られる画像に対しても、画像識別情報として「１」を付与する。「１」を付与する理由は、これらの撮影モードあるいは編集モード（アプリケーション）で行われる画像処理の中には、画像同士の合成を伴うモードもあるものの、複数の撮影画像（ソース画像）を用いた合成処理でないためである。

　ラフモノクロ撮影とは、画像を１枚撮影するとともに、撮影した画像にランダムノイズを重畳し、モノクロ処理を施すことでモノクロフィルムのような効果を出す撮影である。ソフトフォーカス撮影とは画像を例えば１枚撮影し、撮影画像にＬＰＦ（Ｌｏｗ　Ｐａｓｓ　Ｆｉｌｔｅｒ）をかけた画像と元の撮影画像とを一定比率で合成するような撮影である。

　ジオラマ風撮影とは画像を例えば１枚撮影し、撮影画像にＬＰＦをかけた画像と元の撮影画像とを一部の領域で合成する。それによって画像の一部の領域をぼかして現実の被写体をジオラマにしたものを撮影したかのような画像効果を付与する画像を生成するモードである。

　トイカメラ撮影とは、画像を例えば１枚撮影し、トイカメラで撮影されたかのような画像効果を付加する撮影である。トイカメラ撮影で行われる画像処理は、例えばＬＰＦをかけた画像と元の画像とを合成することで甘いピント効果を再現したり、輝度、色変換などにより明るい仕上がり、偏った色調、周辺減光などの効果を再現したりする処理である。

　油彩風撮影とは、画像を例えば１枚撮影し、撮影された画像に画像処理を施し、元の画像と合成することで油絵のような見えになる画像処理を施したものである。
　水彩風撮影とは、画像を例えば１枚撮影し、撮影された画像に画像処理を施し、元の画像と合成することで水彩画のような見えになる画像処理を施したものである。魚眼風撮影とは、画像をたとえば１枚撮影し、領域毎に魚眼レンズ風の歪みを持たせるように画素の合成（補間）を行うことで、魚眼レンズで撮影したかのような効果を施したものである。

　美肌撮影とは、肌色部分のＮＲ（Ｎｏｉｓｅ　Ｒｅｄｕｃｔｉｏｎ）を強くして解像感を落し、肌の質感を滑らかにする撮影モードである。背景ぼかし撮影とは、絞りを変えて例えば２枚撮影し、２枚の画像の差分から主被写体と背景を分離し、背景をぼかす撮影である。この場合合成のソース画像は１枚とし、ぼかす領域を決定するために複数枚撮影をする。背景ぼかし撮影を、絞りを開放にすることによって実現する場合もある。
　日付写し込み撮影とは日付テキストデータを画像に重畳するものである。

　また、合成の種類の一つとして多重露光撮影（多重合成モード）の場合には画像識別情報として第２の種類データである「２」を付与する。これは、撮影条件および画角をユーザが自由に設定可能であるため、それぞれ一定とみなせないためである。また連写優先の場合には一枚目に記録画像を選択できるためである。

　ただし、制御部１０１によって複数枚の撮影に当たる撮影条件および画角が一定とみなせると判定された場合には画像識別情報として第１の種類データである「３」を付与する。これは、三脚使用を検知することなどによって撮影条件が変わっていない場合があるからである。また連写を前提として多重露光撮影（多重合成モード）が実装されている実施形態の場合には、画角一定、撮影条件が実質的に一定と見なせるため、常に画像識別情報として第１の種類データである「３」を付与するようにしてもよい。

　なお、多重露光撮影には、例えば加算モード、加算平均モード、比較明モード、比較暗モードなどが含まれる。加算モードとは複数枚撮影し、ＲＡＷ画像を単純に加算するものである。加算平均モードとは、複数枚撮影し、ＲＡＷ画像を単純に加算平均するものである。これによって例えば非常に暗い画像のＳ／Ｎを向上させるためのものである。

　比較明モードとは、複数枚撮影しＲＡＷ画像を合成する際に、同一座標における画素値が低くない方を採用する比較明合成処理を行うものである。
　比較暗モードとは、複数枚撮影しＲＡＷ画像を合成する際に、同一座標における画素値が高くない方を採用する比較暗合成処理を行うものである。
　また、合成の種類の一つとしてパノラマ撮影や深度合成撮影や星空ポートレート撮影の場合には、画像識別情報として「２」を付与する。これは、画角が異なるソース画像の合成であるためである。

　なお、パノラマ撮影とは、ユーザがカメラをパンニングするなどして複数の画角で撮影し、それらを合成するものである。この合成によって、複数の異なる画角で撮像された複数の画像を繋げてより広角の画像が生成される。パノラマ撮影で合成により得られる広角な画像には全方位（３６０度）の画像なども含まれる。

　なお、深度合成撮影や星空ポートレート撮影の場合には画像識別情報として「３」を付与するようにしても良い。これは深度合成撮影の場合には、ピントを振った程度なので、画角も実質的にほぼ一定、ピント以外の撮影条件も実質的に一定とみなせるためである。また、星空ポートレート撮影の場合にも画角も実質的にほぼ一定、ピント以外の撮影条件も実質的にほぼ一定とみなせるためである。

　深度合成撮影とは、ピントを振って複数枚撮影し、距離マップ取得部１１０により取得された距離マップなどに基づいて複数の画像のピントが合っている領域を合成して、各画像よりも深度の深い画像を生成する撮影である。星空ポートレート撮影とは、ストロボを発光させて撮影を行うストロボ撮影の後、ストロボは非発光で連続して例えば２枚を撮影し、例えば３枚の画像を合成するような撮影である。

　なお、合成の種類の一つとして星空軌跡撮影では画像識別情報として「３」を付与する。これは画角（被写体の範囲、撮影視野）及び撮影条件が一定と見なせるためである。なお、星空軌跡撮影とは星空を複数枚撮影し比較明合成する撮影モードである。
　また撮像部１０５が例えば撮像素子と信号処理部とが一体の多層構造となったいわゆる積層センサである場合を考える。

　このとき該積層センサ内で行われる画像合成があったとしても、積層センサからの出力は通常の合成が行われない画像とデータ形式がほとんど変わらない１つの画像データである場合が考えられるため、画像識別情報として「１」を付与する。
　ただし、制御部１０１から積層センサである撮像部１０５に撮像部１０５内の信号処理部に合成処理の指示が行えるような形態である場合には、該合成の指示に応じて撮像部１０５から出力された画像データに画像識別情報として「２」を付与する。

　あるいは積層センサ内部で積層センサ内のメモリを利用して同一撮影条件の複数枚合成を行った場合には、画像識別情報として「３」を付与するようにしてもよい。
　また合成の種類の一つとして超解像撮影と呼ばれる、撮像素子あるいは撮像光学系を微小に移動させて複数枚の撮影画像を行い、それらの画像を合成することで解像度を上げる撮影モードがある。この超解像撮影モードの場合には、画角をずらして撮像している点で撮影視野が一定とみなせないため画像識別情報として「２」を付与する。

　ただし、超解像撮影の場合には、画角も実質的にほぼ一定、ピント以外の撮影条件も実質的にほぼ一定とみなせるので、画像識別情報として「３」を付与するようにしても良い。
　合成種別情報３０２は、合成画像がどのような合成処理モード、合成処理、合成条件で合成されたかの種類を示す情報である。合成種別情報３０２は、例えば前述のような多重露出モード、加算合成、比較明合成、ＨＤＲ合成、パノラマ合成などの合成用の複数の種類に応じた種類データから本画像データに対応する情報の少なくとも１つが格納される。

　ソース画像数情報３０３は、画像データファイル２０１の画像データを生成するために取得した画像の数についての情報で、撮影画像（ソース画像）数、合成画像に使用されたソース画像数を示す合成画像数、使用画像番号の情報が含まれる。撮影画像数とは、本画像データを生成するために撮影した画像の総数を示す。この中には例えば手ぶれ等により画質が悪くなり最終的に合成画像には使用しなかった画像データなどの枚数も含まれている。

　合成画像数は実際に画像データファイル２０１の画像データ部２１５に格納されて画像データの生成に用いられた画像の数を示す。使用画像番号とは、合成画像数にカウントされる、本画像データの生成時に合成された画像データそれぞれに係る画像番号を並べた情報である。

　合成画像情報３０４は、合成に用いられた画像の撮影条件に係る統計値の情報が記録されている。図３には露光時間の統計値として、合成に用いられた画像の中での露光時間の最大値が記録されている。また絞り値、ＩＳＯ感度、焦点距離の統計値として、合成に用いられた複数画像の絞り値の平均値、ＩＳＯ感度の平均値、焦点距離の平均値がそれぞれ記録されている。

　合成画像情報３０４に記録される各撮影条件に係る統計値は１種類に限らず、最大値、最小値、合計値、平均値、分散値などデータ収集やアプリケーションの目的に応じて任意の統計値を複数種類記録しておいてもよい。また、本実施例では合成に用いられた画像についての撮影パラメータの統計値のみを格納しているが、これに限らず画像データを生成するために撮影された、合成に用いられなかった画像も含めた上記統計値の情報も１種類乃至複数種類格納してもよい。

　ソース画像情報３０５は、画像データファイル２０１の画像データを生成するために取得した各画像の撮影パラメータに関する情報である。撮影画像ごとに露光時間、絞り値、ＩＳＯ感度、焦点距離等の撮影パラメータが順に記録される。このような情報を格納しておくことで、あるシーンを撮影して取得された合成画像が、どのような撮影パラメータで撮影された画像を、どれくらいの数だけ取得して生成されたのかについての情報を収集することができる。
　（デジタルカメラの全体動作）

　以下、本実施形態の撮像装置１００の全体動作について図４の本実施例の撮像装置１００の全体的な動作を説明するためのフローチャートを参照して説明する。なお、図４を含む以下に示すフローチャートは、制御部１０１がＲＯＭ１０２に格納されたプログラムを読み出し、演算処理や制御を行うことにより実現される。

　（全体のフロー）
　ステップＳ４０１では、ユーザにより操作部１１１に含まれる電源スイッチが操作され、電源オンに切り替わることで、制御部１０１はフラグや制御変数などを初期化する。また撮影モード情報の取得し、判定と設定が行われる。このとき合成処理を伴う撮影モードが設定されている場合には、合成に用いる画像数Ｎの設定情報も取得し、判定と設定が行われる。

　ステップＳ４０２では、制御部１０１は操作部１１１に含まれるモード切替スイッチの設定位置を判断し、撮影モードに設定されている場合、ステップＳ４０３に進み、撮影モード以外が設定されている場合、ステップＳ４０４に進む。ステップＳ４０３における撮影モード処理の詳細は後述する。

　ステップＳ４０４では、制御部１０１はモード切替スイッチが再生モードに設定されているかを判断し、再生モードに設定されている場合、ステップＳ４０５に進み、再生モード以外が設定されている場合、ステップＳ４０６に進む。ステップＳ４０５における再生モード処理の詳細は後述する。ステップＳ４０６では、制御部１０１は選択されたその他のモードに応じた処理を実行し、実行後にステップＳ４０７に進む。その他のモードとして記録媒体１０８に格納されたファイルの送受信を行う通信モードなどが含まれる。

　ステップＳ４０７では、制御部１０１は電源スイッチの設定位置を判断する。電源スイッチが電源オンに設定されている場合、ステップＳ４０２に戻り、電源スイッチが電源オフに設定されている場合、ステップＳ４０８に進む。ステップＳ４０８では、制御部１０１は所定の終了処理を行う。

　終了処理には、以下のような処理が含まれる。すなわち、制御部１０１は表示部１０９の表示を終了状態に変更し、レンズバリアを閉じて撮像部１０５を保護する。また、制御部１０１はフラグや制御変数などを含むパラメータや設定値、設定モードを不揮発性メモリ等に記録し、その後、電源供給が不要な部分への電源を遮断する。
　（撮影・記録処理）
　図５に本実施例における撮像装置１００の撮影・記録処理のフローチャートを示す。

　（撮影モード処理）
　図５は、図４のステップＳ４０３の撮影モード処理の詳細を示すフローチャートである。
　撮影モードを開始すると、ステップＳ５０１において、制御部１０１は表示部１０９に撮像した画像を順次出力して、表示部１０９に順次表示するスルー表示を行う。

　ステップＳ５０２では、制御部１０１はユーザによりシャッタースイッチＳＷ１が押下されたか否かを判定する。押下された場合、ステップＳ５０３に進み、押下されていない場合、シャッタースイッチＳＷ１の押下を待つ。ステップＳ５０３では、制御部１０１は撮影準備動作を行う。即ち、測距を行って撮影レンズ１０３の焦点を被写体に合わせると共に、測光を行って絞り値およびシャッター時間を決定する。制御部１０１は測光結果に基づき、必要であればストロボの発光量などの設定も行う。

　ステップＳ５０４では、制御部１０１はユーザによりシャッタースイッチＳＷ２が押下されたか否かを判定し、押下された場合、ステップＳ５０６に進む。押下されていない場合、ステップＳ５０５に進み、制御部１０１はシャッタースイッチＳＷ１の押下が継続されているかを判断する。シャッタースイッチＳＷ１の押下が解除されている場合、ステップＳ５０２に戻る。ステップＳ５０５でＹｅｓの場合には、ステップＳ５０４に戻る。

　ステップＳ５０６では、制御部１０１は撮影開始する日時を制御部１０１内のＲＴＣ（Ｒｅａｌ　Ｔｉｍｅ　Ｃｌｏｃｋ）から取得し、ＲＡＭ１０３に記憶する。続いて、ステップＳ５０７では、合成処理フラグｉを０にセットする。
　続いてステップＳ５０８で制御部１０１はＲＡＭ１０３またはＲＯＭ１０２に記憶される測光データに従い、絞り機能を有する光学系１０４内のシャッターを絞り値に応じて開放して撮像部１０５の撮像素子を露光開始する。

　ステップＳ５０９では、制御部１０１は撮像部１０５から画像データを出力した後、画像処理部１０７を用いて圧縮・符号化処理などの画像処理を行う。その後、ステップＳ５１０で制御部１０１は設定されている撮影モードが合成処理を伴う撮影モードか否かを判定する。即ち、ステップＳ４０１において、制御部１０１は撮影モードあるいは前記合成手段で行う合成の方法を判定（取得）する判定手段（取得手段）として機能する。

　合成処理を伴う撮影モードでなければステップＳ５１１に進みヘッダに記録する画像識別情報３０１を通常画像（非合成画像）であることを示す種類データ「１」に決定し、格納する。
　このとき制御部１０１は、例えば撮影モードの設定に紐づけられた合成の種類に応じた種類データを生成する種類データ生成手段として機能する。

　なお、前述のように制御部１０１は、画像処理部１０７によって合成がなされなかった場合には、種類データ（画像識別情報３０１として「１」）に決定する。そしてステップＳ５１２で画像データとともに記録媒体１０８に記録する。このとき制御部１０１は、Ｅｘｉｆ規格のヘッダ領域であるＡＰＰ１（２０３）に合成の種類に応じた種類データを記録画像に関連付けて記録する記録制御手段として機能する。ステップＳ５１２の後、ステップＳ５０１に戻る。

　ステップＳ５１０で合成処理モードであると判別された場合には、ステップＳ５１３に進み、予め設定された合成処理モードにて合成を行う。このとき制御部１０１は、撮影された複数枚の撮影画像を複数種類の方法で合成して合成画像を生成するための合成手段として機能している。次いでステップＳ５１４で合成のために使う撮像画像数が予め設定された画像数Ｎに達したか否かを判別し、達していなければステップＳ５０８に戻って新たな露光動作を行う。

　画像数がＮに達したらステップＳ５１５でファイル名と撮影日時を取得し、ステップＳ５１６で、ヘッダ領域としてのＡＰＰ１（２０３）にこれらのデータと合成の種類に応じた種類データを記録するためのヘッダ情報を生成する。
　ステップＳ５１６では、制御部１０１は、設定された撮影モードに応じて画像データと関連づけて記録する種類データを決定する。

　なお、前述のように制御部１０１は、前記合成手段によって合成がなされた場合には、合成の種類に応じて少なくとも２種類の種類データ（画像識別情報３０１として「２」または「３」）のうちの一つを生成する。また画像処理部１０７によって合成がなされた場合と合成がなされなかった場合を含めて、少なくとも３種類の種類データのうちの一つの中から適切な分類を決定する。

　次にステップＳ５１７で、制御部１０１は、表示部１０９への画像表示や記録媒体１０８への記録を行う。このとき制御部１０１は、Ｅｘｉｆ規格のヘッダ領域であるＡＰＰ１（２０３）に種類データを記録画像に関連付けて記録する記録手段として機能する。
　またこのとき、種類データが所定の種類データ（合成識別情報が３）の場合には、少なくとも「合成に使われた撮影画像の枚数」と、「合成に使われた撮影画像の撮影条件」として例えば露光時間等とを、同領域ＡＰＰ１（２０３）に記録する。ステップＳ５１７の後、ステップＳ５０１に戻る。

　なお、上記実施例では露光が終了する毎に合成を実行しているが、Ｎ回の撮像を行った後で合成処理を行ってもよいことは言うまでもない。
　（再生モード処理）
　図６は、図４のステップ４０５の再生モード処理の詳細を示すフローチャートである。

　ユーザによるモード切替スイッチを介した再生指示によって、再生モードが開始する。または再生モードが設定されている状態で、装置の電源を投入して起動した場合に、このフローが開始される。
　まず、ステップＳ６０１において、制御部１０１は記録媒体１０８から初期画像情報を取得する。

　この初期画像とは最新の画像あるいは前回の再生で表示した画像である。初期画像情報の取得は、後述する総画像枚数計算や検索リスト作成よりも先に行うことで、再生モードに入ると直ぐに、初期画像の画像表示ができ、総画像枚数計算等の処理の間に、何も表示が出ないような問題を防ぐことができる。

　ステップＳ６０２では、制御部１０１はステップＳ６０１の初期画像情報の取得が正しく行われたか否かを判断する。このような判断をするのは、画像が一枚も無いような場合やメディア不良によって画像情報を取得できない場合があるためである。初期画像情報が取得できる場合、少なくとも画像が１枚あると判断される。画像がある場合、ステップＳ６０３に進み、画像がない場合、ステップＳ６０９に進む。

　ステップＳ６０３では、制御部１０１はステップＳ６０１で取得した初期画像情報に基づいて記録媒体１０８から初期画像を読み込む。ステップＳ６０４では、ファイル解析処理を行って、制御部１０１は読み込んだ初期画像の撮影情報や合成情報などの属性情報を解析し取得する。

　即ち、このとき制御部１０１は、記録画像に関連付けて記録された合成の種類に応じた種類データと合成種別を示す情報と合成に使われた撮影画像の枚数と合成に使われた撮影画像の撮影条件を取得する種類データ取得手段として機能している。また、画像データが壊れていないかをチェックする。

　ステップＳ６０５では、制御部１０１は読み込んだ初期画像の表示を行うと共に、必要に応じて撮影情報や合成情報等の属性情報なども画像とともに選択的に表示する。この選択的な表示については図７において後述する。また、制御部１０１はステップＳ６０４のファイル解析結果に応じて、初期画像のファイルの一部が壊れているなど不正なデータであることが解析された場合、エラー表示も合わせて行う。

　ステップＳ６０６では、制御部１０１は記録媒体１０８に記録されている画像の総枚数の計算を開始して、総画像枚数を取得する。この処理は、画像の表示処理とは非同期で働き、完了を待たずに次の画像の表示処理に進むことも可能である。このように処理することで、多くの画像が記録媒体１０８に記録されていて、総画像枚数計算に時間がかかるような場合でも画像の閲覧を可能にする。

　ステップＳ６０７では、制御部１０１は記録媒体１０８内の全画像の解析を行って、その検索結果としての検索リストの作成を開始する。検索リストとは、各画像に付加された属性情報を予め取得し、一括して管理するリストである。この検索リストを作成しておくことで、例えば、ある属性を有する画像をまとめて再生対象としたり、消去対象としたりすることが可能となる。

　検索リスト作成処理も総画像枚数の計算と同様に、画像の表示処理とは非同期で行われ、次の画像の表示処理が可能であり、ステップＳ６０８で、制御部１０１はユーザによる再生の入力待ち状態に進む。
　なお、ステップＳ６０２において、画像が１枚もない場合、ステップＳ６０９に進み、制御部１０１は「画像がありません」などのメッセージ表示を伴う、画像がない旨の表示を、表示部１０９を介して行い、ステップＳ６０８に進む。

　（画面表示）
　次に、本実施例における画像データの表示方法について説明する。図７は実施例における画像一覧表示例を示す図であり、図７（Ａ）は、本装置において画像表示アプリケーションを動作させた場合に表示部１０９に表示される画面の一例を示している。

　図７（Ａ）では、ＲＡＭ１０３に記憶された画像データＩｍａｇｅ１～Ｉｍａｇｅ１２が一覧表示される様を示している。この画像は、例えばデジタルカメラや携帯電話などから取得したものである。また、ネットワーク上のサーバなどからダウンロードしたものであってもよい。また、画像データ本体を用いず、画像データのサムネイルを用いることも可能である。図７（Ａ）の状態で表示切替ボタン４０１を選択（タッチ）すると、図７（Ｂ）の画面に遷移する。

　図７（Ｂ）に示すように、合成関連情報の付加された画像データについては「ピン」の形状をしたアイコン（以下、ピンアイコン）を、その画像のサムネイルに重畳して表示する。すなわち、ピンアイコンは、合成関連情報を有する画像ファイルに対して表示されるものである。この画面の例は、Ｉｍａｇｅ１、３、４、６、７、８、１０、１１に合成関連情報として画像識別情報３０１（「１」～「３」など）や合成種別情報３０２などが記述されていることを示している。

　もちろんピンアイコンは必ずしもサムネイルに完全に重畳する必要はなく、合成関連情報を有する／有さない画像ファイルの区別が付けば良いので、ピンアイコンの一部を重畳させたり、画像データにサムネイルに重畳させなくとも、近傍に表示しても構わない。なお、この画面では合成関連情報が記述されている画像データにはピンアイコンが重畳表示される。この画面を確認することで、ユーザはどの画像データに合成関連情報が付加されているかを容易に確認することができる。

　図７（Ｂ）の状態で更に、前記表示切り替えボタンをクリックすると、図７（Ｃ）の画面に遷移する。図７（Ｃ）の画面に示すように、それまでのピンアイコンに変えて、画像識別情報３０１や合成種別情報３０２などに応じたアイコンや文字に変化することで、画像識別情報３０１や合成種別情報３０２などが容易に識別可能となる。

　例えばＩｍａｇｅ１、４、１０、１１はパノラマ合成を示す「Ｐ」あるいはパノラマを示すアイコンが重畳表示される。これは合成種別情報３０２がパノラマ合成、つまりパノラマ合成を用いが合成画像データであることを示すためである。
　Ｉｍａｇｅ６、８はＨＤＲ合成を示す「ＨＤＲ」またはＨＤＲを示すアイコンが重畳表示される。これは合成種別情報３０２が「ＨＤＲ合成」によって得た画像データであることを示すためである。

　Ｉｍａｇｅ７は加算合成を示す「加算」または加算合成を示すアイコンが重畳表示される。これは合成種別情報３０２が「加算合成」、つまり加算合成によって得た画像データであることを示す。Ｉｍａｇｅ３はピンアイコンのままである。これは、合成種別情報３０２が記述されていない画像データを示す。更に、合成に使われた撮影画像の枚数や合成に使われた撮影画像の撮影条件が記録画像と関連付けて記録媒体に記録されている場合には、それらの少なくとも一方を選択的に表示することができるようにしても良い。

　特に種類データが例えば「３」の場合などに、合成に使われた撮影画像の枚数や合成に使われた撮影画像の撮影条件が記録画像と関連付けて記録媒体に記録されている。
　以上述べたように、図７（Ｃ）の画面では、合成種別情報３０２に応じた文字やアイコンなどを画像データに重畳表示する。このことにより、ユーザはどの画像データがどの合成種別で合成されたかや撮影画像の枚数や合成に使われた撮影画像の撮影条件等を容易に確認することができる。

　なお、図７（Ｃ）の表示画面にて、表示切り替えボタンをクリックすると、図７（Ａ）の画面に推移するものとする。すなわち、表示切り替えボタンをクリックする度に、上記３種類の表示画面が順に切り換わる。
　なお、上記実施例では、表示切替ボタン４０１を操作する度に、図７（Ａ）→図７（Ｂ）→図７（Ｃ）→図７（Ａ）…と表示形態がループするものとした。しかし、表示メニューからダイレクトにその表示種別の１つを指定し、それに従って表示を行ってもよい。

　また、画像識別情報３０１や、合成種別情報３０２や、合成に使われた撮影画像の枚数であるソース画像数情報３０３や、合成画像情報３０４や合成画像のソース画像情報などの撮影画像の撮影条件等の少なくとも一つを表示できるようにしても良い。それらを見ることによって撮影者の意図や工夫を把握することができる。
　（再生時の画像処理）

　また、画像処理部１０７が画像の再生時に画像処理を行う場合の動作について説明する。たとえば制御部１０１がＲＯＭ１０２あるいは記録媒体１０８から画像データを読み出し、表示部１０９の表示デバイスに表示させているとする。その状態で操作部１１１を介したユーザからの画像処理の指示に応じて、画像処理部１０７に表示部１０９に表示された画像に対応する画像データを入力して画像処理を行わせる。ここで、制御部１０１は、画像処理部１０７で行われる画像処理に応じて、画像処理の対象となっている画像データのヘッダ情報を書き換える。

　具体的には、画像ファイルの画像識別情報３０１に「３」が格納されている画像データに対して、階調変換処理、色変換処理、欠陥補正処理、フィルタ処理などの処理対象の画像データの画素値に基づいて行われる画像処理が行われた場合を考える。

　その場合には、制御部１０１は、処理後の画像データを格納する画像ファイルにも画像識別情報３０１に撮影時取得合成画像を示す「３」を格納する。これに対して、画像ファイルの画像識別情報３０１に「３」が格納されている画像データに対して、他のソース画像との何かしらの合成処理や、テキストデータやフレーム、アイコン、ＣＧなどとの合成処理を伴う画像処理が行われた場合を考える。

　その場合には、制御部１０１は、処理後の画像データを格納する画像ファイルには画像識別情報３０１に一般合成画像を示す「２」を格納する。制御部１０１をこのように動作させることで、撮影時取得合成画像「３」の情報の信頼性をシステム内で担保することができる。また、制御部１０１は、画像ファイルの画像識別情報３０１に「２」が格納されている画像データに対しては、上記いずれの画像処理が行われても、処理後の画像データを格納する画像ファイルにも画像識別情報３０１に一般合成画像を示す「２」を格納する。

　また、画像ファイルの画像識別情報３０１に「１」が格納されている画像データに対して、上記各撮影モードで「２」あるいは「１」と分類されている処理に該当する画像処理が行われた場合を考える。その場合には制御部１０１は、上記の分類に従って処理後の画像データに対応する画像識別情報３０１を決定する。すなわち、制御部１０１は、再生画像に対して行われる画像処理が合成であるか否かおよび合成処理の方法を判定する。

　そして、判定結果に基づいて処理後の画像データを格納する画像ファイルに記録する画像識別情報３０１を決定し、処理後の画像データを含む画像ファイルの合成情報部２０９１に記録する。それ以外の階調変換処理、色変換処理、欠陥補正処理、フィルタ処理などの処理対象の画像データの画素値に基づいて行われる画像処理を行った場合には、処理後の画像データを格納する画像ファイルにも画像識別情報３０１に非合成画像を示す「１」を格納する。

　以上のように、本実施例では、合成情報部２０９１に格納されているような情報を画像データと共に記録することによって、合成処理の有無や種類に応じて画像をユーザあるいはコンピュータが適切に判別し処理できるようになる。例えばＨＤＲ合成された画像が含まれる画像ファイルを収集し、それらの合成情報部２０９１に記録される情報をＡＩ等によって分析して各種撮影条件などを学習させることができる。

　そして、シーンや構図から、露出差を学習させるための参考情報とすることができ、素材画像の露光時間やＩＳＯなどもそのために活用することができる。
　また、星空軌跡撮影などについては、合成画像に付与された各撮影画像の露光時間と各撮影画像の撮影の間の非露光期間を含む総露光期間を示すタグから、この程度の時間撮影すればこの程度の軌跡になるということを推測できるようになる。それによって無駄に長く撮影時間を設定しなくて済むようになる。

　また、カメラの学習に使う場合に、合成に失敗した（カメラが撮影時に失敗と判断した場合やクラウド側で失敗と判断された場合やユーザが失敗と判断して悪いレーティング等をつける場合など）という情報をファイルに記録しておく。そして、次回の撮影条件に活用することができる。

　例えば、失敗の原因が手ぶれと考えられるなら手ぶれしやすいユーザとみなして、制御部１０１が次回以降の撮影に際して自動で決める露光時間の設定をより短秒にするなどの改善をすることができるようになる。
　また、合成画像の画像処理パラメータ決定に利用する
合成されたＪＰＥＧ画像に対して、アプリ等で画像処理を行う時に合成情報部の情報を参考にする。

ＮＲのパラメータをＩＳＯ感度毎に保持し、撮影されたＩＳＯ感度に応じてパラメータを適用するアプリにおいて、合成画像の場合はパラメータの決定のロジックを変更することもできる。
　例えば、ＩＳＯ３２００の非合成画像の時はＩＳＯ３２００のパラメータとし、ＩＳＯ３２００Ｘ２の合成画像の場合にはＩＳＯ２５００のパラメータとし、ＩＳＯ３２００Ｘ４の合成画像の場合にはＩＳＯ１６００のパラメータにするなど、のように、合成枚数とソース画像のＩＳＯ感度に応じてパラメータを切り替えることができる。

　またＥｘｉｆ構造のＡＰＰ１の中の特に撮影条件のデータの中に上記合成情報部２０９１を埋め込むことによって、既存のＥｘｉｆ準拠の装置やソフトウェアと高い互換性を持たせることができる。
　（その他の実施例）
　なお、本発明は上記実施例に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。

　また、本実施例における制御の一部または全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して画像処理装置等に供給するようにしてもよい。そしてその画像処理装置等におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

　本出願は、先に出願された、２０１９年３月１５日に出願された日本特許出願第２０１９－４９００６号の利益と、２０１９年３月１５日に出願された日本特許出願第２０１９－４９１４２号の利益と、を主張するものである。また、これらの日本特許出願のそれぞれの内容は本明細書において参照によりその全体が本明細書に組み込まれる。

１００　撮像装置
１０５　撮像部
１１０　距離マップ取得部

Claims (26)

1. 　撮影された複数の撮影画像を合成して合成画像を生成する合成手段と、
   　前記撮影画像または前記合成画像を記録部に記録画像として記録する記録制御手段と、
   　撮影モードあるいは前記合成手段で行う合成の方法を判定する判定手段と、を有し、
   　前記記録制御手段は、前記判定手段が判定した撮影モードまたは合成の方法で撮影または合成された記録画像に、該判定による判定結果に基づいて決定される種類データを関連付けて記録することを特徴とする画像処理装置。
2. 　前記判定手段は、前記複数の撮影画像が撮影される時に予め設定された撮影モードに基づいて、該複数の撮影画像に対応する撮影モードの判定を行うことを特徴とする請求項１に記載の画像処理装置。
3. 　前記記録制御手段は、前記種類データが所定の種類データの場合には、少なくとも合成に使われた撮影画像の枚数と合成に使われた撮影画像の撮影条件を前記記録画像に関連付けて記録することを特徴とする請求項１または２に記載の画像処理装置。
4. 　前記記録制御手段は、前記合成手段によって合成がされた場合に、合成の種類に応じて少なくとも２種類の種類データのうちの一つを生成することを特徴とする請求項１に記載の画像処理装置。
5. 　前記記録制御手段は、撮影時に合成に使われた複数枚の画像の撮影条件と画角が同じ場合には第１の種類データを生成し、合成に使われた複数枚の画像の撮影条件と画角の一方が異なる場合には第２の種類データを生成することを特徴とする請求項４に記載の画像処理装置。
6. 　前記記録制御手段は、前記合成手段によって複数の撮影画像の合成がされなかった場合に、第３の種類データを生成することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 　前記記録制御手段は、前記種類データを画像データファイルのヘッダ領域に記録することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 　前記記録制御手段は、前記種類データをＥｘｉｆ規格の画像データファイルのＡＰＰ１領域に記録することを特徴とする請求項７に記載の画像処理装置。
9. 　更に前記撮影画像を生成するための撮像手段を有することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 　更に、合成に使われた撮影画像の枚数と合成に使われた撮影画像の撮影条件の少なくとも一方を選択的に表示可能な表示手段を有することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 　撮影画像または合成画像が記録された記録媒体から記録画像を再生する再生手段と、
    　前記記録画像に関連付けて記録された合成に係る分類を示す種類データと合成種別を示す情報と合成に使われた撮影画像の枚数と合成に使われた撮影画像の撮影条件を取得する種類データ取得手段と、
    　前記種類データ取得手段によって取得された種類データと合成種別を示す情報と合成に使われた撮影画像の枚数と合成に使われた撮影画像の撮影条件の少なくとも一つを選択的に表示可能な表示手段と、を有することを特徴とする画像処理装置。
12. 　撮影された複数枚の撮影画像を複数種類の方法で合成して合成画像を生成するための合成手段と、
    　前記撮影画像または前記合成画像を記録画像として記録する記録手段と、
    　前記合成手段による合成の種類に応じて種類データを生成するとともに、撮影時に合成に使われた複数枚の画像の撮影条件と画角が実質的に同じ場合には第１の種類データを生成し、合成に使われた複数枚の画像の撮影条件と画角の一方が実質的に異なる場合には第２の種類データを生成する種類データ生成手段と、を有し、
    　前記記録手段は、前記種類データ生成手段によって生成された種類データを前記記録画像に関連付けて記録することを特徴とする画像処理装置。
13. 　前記種類データ生成手段は、前記合成手段によって合成がされた場合と合成がされなかった場合を含めて、少なくとも３種類の前記種類データのうちの一つを生成することを特徴とする請求項１２に記載の画像処理装置。
14. 　前記合成手段は少なくとも多重合成モードを有することを特徴とする請求項１２に記載の画像処理装置。
15. 　前記合成手段が前記多重合成モードで合成をした場合には、前記種類データ生成手段は前記第２の種類データを生成することを特徴とする請求項１４に記載の画像処理装置。
16. 　前記合成手段は少なくとも撮影時ＨＤＲ合成モードを有することを特徴とする請求項１２に記載の画像処理装置。
17. 　前記合成手段が前記撮影時ＨＤＲ合成モードで合成をした場合には、前記種類データ生成手段は前記第１の種類データを生成することを特徴とする請求項１６に記載の画像処理装置。
18. 　前記合成手段は少なくとも再生時ＨＤＲ合成モードを有することを特徴とする請求項１２に記載の画像処理装置。
19. 　前記合成手段が前記再生時ＨＤＲ合成モードで合成をした場合には、前記種類データ生成手段は前記第２の種類データを生成することを特徴とする請求項１８に記載の画像処理装置。
20. 　撮影画像または合成画像が記録された記録媒体から記録画像を再生する再生手段と、
    　前記記録画像に関連付けて記録された合成の種類に応じた種類データを取得する種類データ取得手段と、
    　前記種類データ取得手段によって取得された種類データが所定の種類データの場合に、少なくとも合成に使われた撮影画像の枚数と合成に使われた撮影画像の撮影条件の少なくとも一方を選択的に表示可能な表示手段と、を有することを特徴とする画像処理装置。
21. 　撮影された複数枚の撮影画像を複数種類の方法で合成して合成画像を生成するための合成ステップと、
    　前記撮影画像または前記合成画像を記録画像として記録する記録ステップと、
    　前記合成ステップによる合成の種類に応じて種類データを生成する種類データ生成ステップと、を有し、
    　前記記録ステップは、前記種類データ生成ステップによって生成された種類データを前記記録画像に関連付けて記録するとともに、前記種類データ生成ステップによって生成された種類データが所定の種類データの場合には、少なくとも合成に使われた撮影画像の枚数と合成に使われた撮影画像の撮影条件を前記記録画像に関連付けて記録することを特徴とする画像処理方法。
22. 　撮影画像または合成画像が記録された記録媒体から記録画像を再生する再生ステップと、
    　前記記録画像に関連付けて記録された合成の種類に応じた種類データと合成種別を示す情報と合成に使われた撮影画像の枚数と合成に使われた撮影画像の撮影条件を取得する種類データ取得ステップと、
    　前記種類データ取得ステップによって取得された種類データと合成種別を示す情報と合成に使われた撮影画像の枚数と合成に使われた撮影画像の撮影条件の少なくとも一つを選択的に表示可能な表示ステップと、を有することを特徴とする画像処理方法。
23. 　撮影された複数枚の撮影画像を複数種類の方法で合成して合成画像を生成するための合成ステップと、
    　前記撮影画像または前記合成画像を記録画像として記録する記録ステップと、
    　前記合成ステップによる合成の種類に応じて種類データを生成するとともに、撮影時に合成に使われた複数枚の画像の撮影条件と画角が実質的に同じ場合には第１の種類データを生成し、合成に使われた複数枚の画像の撮影条件と画角の一方が実質的に異なる場合には第２の種類データを生成する種類データ生成ステップと、
    　前記記録ステップは、前記種類データ生成ステップによって生成された種類データを前記記録画像に関連付けて記録することを特徴とする画像処理方法。
24. 　撮影画像または合成画像が記録された記録媒体から記録画像を再生する再生ステップと、
    　前記記録画像に関連付けて記録された合成の種類に応じた種類データを取得する種類データ取得ステップと、
    　前記種類データ取得ステップによって取得された種類データが所定の種類データの場合に、少なくとも合成に使われた撮影画像の枚数と合成に使われた撮影画像の撮影条件の少なくとも一方を選択的に表示可能な表示ステップと、を有することを特徴とする画像処理方法。
25. 　請求項１～２０のうちいずれか一項に記載の前記画像処理装置の各手段としてコンピュータを機能させるためのコンピュータプログラム。
26. 　請求項２５に記載のコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
     
    
     

Images