JP5707809B2 - 撮像装置、画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、撮像装置、画像処理装置、画像処理方法及びプログラムに関する。

従来の技術として、特許文献１には、合成用画像のデータとして、撮像画像の上に重畳させる枠の画像のデータが記載されている。即ち、特許文献１には、ユーザが、所望の枠の画像を手動操作で選択すると、デジタルカメラが、選択された枠の画像と撮像画像の各データを合成することによって、合成画像のデータを生成する技術が記載されている。

特開２００４−１５９１５８号公報

しかしながら、特許文献１に記載の技術を採用した場合、ユーザは、撮像画像毎に、複数の枠の画像の中から合成対象を選択する必要があり、その都度、煩雑で手間のかかる手動操作が必要になる。さらに、ユーザは、枠の画像以外の種類の合成用画像も合成対象として用いる場合には、合成用画像の種類毎に、合成対象を選択するための手動操作が必要になり、煩雑さと手間のかかり度合いは更に増大するという問題点があった。

本発明は、このような状況に鑑みてなされたものであり、ユーザの趣味や撮像画像の内容にとって好適な加工用画像のデータを、撮像画像のデータに容易に加工することを目的とする。

上記目的を達成するため、請求項１に記載の発明は、画像を撮像し、当該画像のデータを出力する撮像手段と、前記撮像手段により出力される画像のデータの撮像条件に対する合成用画像のデータ、及び前記画像のデータへの当該合成用画像の合成時の位置又はサイズを設定する設定手段と、前記撮像手段により出力された画像のデータから、当該画像のデータの撮像条件に関する情報を抽出する抽出手段と、前記抽出手段により抽出された情報に基づいて、前記撮像手段から出力された画像のデータに前記設定手段により設定された合成用画像のデータを前記合成時の位置又はサイズで合成する合成手段と、を備えた撮像装置であることを特徴とする。
また、請求項２に記載の発明は、上記請求項１に記載の発明において、前記設定手段は、前記撮像条件に関する複数の項目のうち、特定の項目を選択する選択手段を更に含み、前記選択手段により選択された特定の項目に対応する前記合成用画像のデータを設定することを特徴とする。
また、請求項３に記載の発明は、上記請求項１又は２に記載の発明において、前記撮像条件に応じた合成用画像のデータを設定する画面を表示手段に表示させる表示制御手段と、前記設定手段は、前記表示制御手段により前記表示手段に表示された画面に対するユーザの入力操作により合成用画像のデータを設定することを特徴とする。
また、請求項４に記載の発明は、上記請求項１乃至３の何れかに記載の発明において、前記設定手段による設定された前記撮像条件に対する合成用画像のデータを記憶手段に記憶させる記憶制御手段を更に備えたことを特徴とする。

また、請求項５に記載の発明は、上記請求項１乃至４の何れかに記載の発明において、前記撮像条件に関する情報とは、画像の明るさ、ホワイトバランス、ISO感度、フォーカス値の何れかの情報であることを特徴とする。

上記目的を達成するため、請求項６に記載の発明は、画像のデータを取得する取得手段と、前記取得手段により取得される画像のデータの撮像条件に対する合成用画像のデータ、及び前記画像のデータへの当該合成用画像の合成時の位置又はサイズを設定する設定手段と、前記取得手段により取得された画像のデータから、当該画像のデータの撮像条件に関する情報を抽出する抽出手段と、前記抽出手段により抽出された情報に基づいて、前記取得手段により取得された画像のデータに前記設定手段により設定された合成用画像のデータを前記合成時の位置又はサイズで合成する合成手段と、を備えた撮像装置であることを特徴とする。

上記目的を達成するため、請求項７に記載の発明は、撮像装置が実行する画像処理方法において、撮像手段により出力される画像のデータの撮像条件に対する合成用画像のデータ、及び前記画像のデータへの当該合成用画像の合成時の位置又はサイズを設定する設定ステップと、前記撮像手段から出力された画像のデータから、当該画像のデータの撮像条件に関する情報を抽出する抽出ステップと、前記抽出ステップにて抽出された情報に基づいて、前記撮像手段から出力された画像のデータに前記設定ステップにより設定された合成用の画像のデータを前記合成時の位置又はサイズで合成する合成ステップと、を含む画像処理方法であることを特徴とする。

上記目的を達成するため、請求項８に記載の発明は、コンピュータを、撮像手段により出力される画像のデータの撮像条件に対する合成用画像のデータ、及び前記画像のデータへの当該合成用画像の合成時の位置又はサイズを設定する設定手段、前記撮像手段から出力された画像のデータから、当該画像のデータの撮像条件に関する情報を抽出する抽出手段、前記抽出手段により抽出された情報に基づいて、前記撮像手段から出力された画像のデータを前記設定手段により設定された合成用画像のデータを前記合成時の位置又はサイズで合成する合成手段、として機能させるプログラムであることを特徴とする。

本発明によれば、ユーザの趣味や撮像画像の内容にとって好適な加工用画像のデータを、当該撮像画像のデータに容易に加工することができる。

本発明に係る画像処理装置の一実施形態としての撮像装置のハードウェアの構成を示すブロック図である。 図１の撮像装置のうち、後述する合成条件入力処理と画像合成処理とを実行するための機能的構成を示す機能ブロック図である。 図１の撮像装置の外観構成を示す裏面図であり、ここでは、後述する合成条件設定画面が表示された具体例を示す図である。 図３の合成条件設定画面において入力される合成条件を構成する各要素の具体例を示す図である。 図１の撮像装置の外観構成を示す裏面図であり、ここでは、後述する合成画像が表示された具体例を示す図である。 図２の合成条件設定検出部が主に実行する合成条件入力処理の流れを説明するフローチャートである。 図２の画像合成部が主に実行する画像合成処理の流れを説明するフローチャートである。

以下、本発明の一実施形態を図面に基づいて説明する。
本実施例においては、加工とは画像の合成を指し、本実施形態の一例として、画像の合成処理を説明する。

図１は、本発明に係る画像処理装置の一実施形態としての撮像装置１のハードウェアの構成を示すブロック図である。撮像装置１は、例えばデジタルカメラにより構成することができる。

撮像装置１は、CPU（Central Processing Unit）１１と、ROM（Read Only Memory）１２と、RAM（Random Access Memory）１３と、画像処理部１４と、合成判断部１５と、バス１６と、入出力インターフェース１７と、撮像部１８と、操作部１９と、表示部２０と、記憶部２１と、通信部２２と、ドライブ２３と、を備えている。

CPU１１は、ROM１２に記録されているプログラム、又は、記憶部２１からRAM１３にロードされたプログラムに従って各種の処理を実行する。なお、CPU１１に設けられている合成条件設定検出部４１については、図２を参照して後述する。
RAM１３にはまた、CPU１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

画像処理部１４は、DSP(Digital Signal Processor)や、VRAM(Video Random Access Memory)等から構成されており、CPU１１と協働して、画像のデータに対して各種画像処理を施す。
例えば、画像処理部１４は、後述する撮像部１８から出力される撮像画像のデータに対して、ノイズ低減、ホワイトバランス、手ぶれ補正等の画像処理を施す。
本実施形態では、画像処理部１４は、さらに、画像合成部５１を備えている。ただし、画像合成部５１の詳細については、図２を参照して後述する。

合成判断部１５は、例えば、予めユーザにより設定された合成条件に基づいて、複数の合成用画像のデータの中から、撮像画像のデータに対して合成させる対象を判断して、画像処理部１４に通知する。
この場合、画像処理部１４は、通知された合成用画像のデータを、撮像画像のデータに対して合成することによって、合成画像のデータを生成する。
なお、合成判断部１５のさらなる詳細については、図２を参照して後述する。

CPU１１、ROM１２、RAM１３、画像処理部１４、及び合成判断部１５は、バス１６を介して相互に接続されている。このバス１６にはまた、入出力インターフェース１７も接続されている。入出力インターフェース１７には、撮像部１８、操作部１９、表示部２０、記憶部２１、通信部２２、及びドライブ２３が接続されている。

撮像部１８は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、AFE（Analog Front End）等から構成される。
光電変換素子は、例えばCMOS（Complementary Metal Oxide Semiconductor）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D（Analog/Digital）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１８の出力信号として出力される。
なお、以下、撮像部１８の出力信号が、「撮像画像のデータ」であるものとする。従って、撮像部１８からは撮像画像のデータが出力されて、CPU１１や画像処理部１４等に適宜供給される。

操作部１９は、各種釦等で構成され、ユーザの指示操作を受け付ける。
表示部２０は、液晶ディスプレイ等で構成され、各種画像を表示する。
記憶部２１は、DRAM（Dynamic Random Access Memory）等で構成され、画像処理部１４等から出力された画像のデータを一時的に記憶する。また、記憶部２１は、画像処理部１４等の処理に必要な各種データも記憶する。
通信部２２は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２３には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア３１が適宜装着される。ドライブ２３によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２１にインストールされる。また、リムーバブルメディア３１は、記憶部２１に記憶されている画像のデータ等の各種データも、記憶部２１と同様に記憶することができる。

なお、本実施形態では、撮像画像のデータがリムーバブルメディア３１に記憶される場合、Exif（Exchangeable Image File Format）形式の所定のファイルに含められる。
このような撮像画像のデータを含むファイルを、以下、「撮像画像ファイル」と呼ぶ。
撮像画像ファイルには、撮像画像のデータの他、当該撮像画像に関する各種メタ情報を含めることが可能である。このようなメタ情報としては、明るさ、ホワイトバランス、ISO感度、フォーカス値等の種類が存在する。

図２は、このような撮像装置１のうち、合成条件入力処理と、画像合成処理とを実行するための機能的構成を示す機能ブロック図である。
合成条件入力処理とは、複数の合成用画像のデータの中から、撮像画像のデータに対して合成される対象を選択したり、合成対象の合成の仕方等の合成条件を、ユーザの入力操作に基づいて生成するまでの一連の処理をいう。
画像合成処理とは、合成条件入力処理で生成された合成条件に基づいて、所定の合成用画像のデータと、撮像画像のデータとを合成することによって、合成画像のデータを生成するまでの一連の処理をいう。

図２において、合成条件入力処理が実行される場合には、合成条件設定検出部４１と、表示制御部４２とが動作する。
なお、合成条件設定検出部４１及び表示制御部４２は、本実施形態では、CPU１１と、当該CPU１１により実行されるプログラムとの組み合わせ、即ち、ハードウェアとソフトウェアとの組み合わせにより構成されている。しかしながら、これは例示であって、合成条件設定検出部４１及び表示制御部４２の機能の少なくとも一部を、CPU１１以外の他の構成要素（画像処理部１４等）に移譲させることも当然可能である。

表示制御部４２は、合成条件入力処理が開始されると、ユーザが合成条件を設定するための画面を、表示部２０に表示させる。
ここで、「画面」とは、表示装置又は装置が有する表示部（本実施形態では表示部２０）の表示領域全体に表示される画像をいう。また、ユーザが合成条件を設定するための画面を、以下、「合成条件設定画面」と呼ぶ。

図３は、合成条件設定画面が表示された図１のデジタルカメラ１の外観構成を示す裏面図である。
合成条件設定画面８１には、合成条件入力領域９１乃至９４、並びにソフトウェアボタン９５及び９６が設けられている。

合成条件入力領域９１乃至９４は、合成条件を構成する各要素をユーザが入力するための領域である。即ち、合成条件入力領域９１乃至９４の各々に入力された各情報が、各要素として組み合わされることによって、１つの合成条件が設定される。
即ち、ユーザが、操作部１９を操作して、合成条件入力領域９１乃至９４の各々に対して所望の情報を入力することによって、「ａ）撮影した写真の○○」が「ｂ）△△の時」、合成ファイルとして「ｃ）画像ファイル□□」を「ｄ）〜する」、という合成条件が設定される。
具体的には、ユーザは、操作部１９を操作することで、合成条件入力領域９１に表示されたメッセージのうち「○○」の部分として、パラメータ一覧から選択したパラメータを入力する。同様に、ユーザは、操作部１９を操作することで、合成条件入力領域９２に表示されたメッセージのうち「△△」の部分として、パラメータ一覧から選択したパラメータを入力する。
また、ユーザは、操作部１９を操作することで、合成条件入力領域９３に表示されたメッセージのうち「□□」の部分として、合成対象となる合成用画像のデータのファイル名を選択して入力する。
そして、ユーザは、操作部１９を操作することで、合成条件入力領域９４に対して、画像合成処理時の動作の複数の中から、所望の種類を選択して入力する。図３の例では、「合成表示し保存する」という種類が選択されて入力されている。

「キャンセル」と表示されたソフトウェアボタン９５（以下、「キャンセルボタン９５」と呼ぶ）には、合成条件入力領域９１乃至９４の各々に入力された情報を削除する機能が割り当てられている。即ち、ユーザは、操作部１９を操作して、キャンセルボタン９５を押下することで、合成条件入力領域９１乃至９４の各々に入力された情報を削除することができる。

「決定」と表示されたソフトウェアボタン９６（以下、「決定ボタン９６」と呼ぶ）には、合成条件入力領域９１乃至９４の各々に入力された情報によって合成条件を設定することを決定する機能が割り当てられている。即ち、ユーザは、操作部１９を操作して、決定ボタン９６を押下することで、合成条件入力領域９１乃至９４の各々に入力された情報で合成条件を設定することを決定することができる。

合成条件設定検出部４１は、決定ボタン９６が押下されると、合成条件入力領域９１乃至９４の各々に入力された情報を、合成条件を設定するための各要素として取得する。そして、合成条件設定検出部４１は、取得した各要素を組み合わせた内容を、ユーザにより設定された合成条件として検出し、合成条件記憶部７１にデータとして記憶する。

さらに以下、図４を参照して、合成条件入力処理によって設定される合成条件について、具体的に説明する。
図４は、合成条件を構成する各要素の具体例を示している。

図４の左方に示すパラメータ一覧１０１には、図３の合成条件入力領域９１に表示されたメッセージのうち「○○」の部分として、選択し得る複数のパラメータが含まれている。
即ち、パラメータ一覧１０１には、撮像画像の画像データに付加されるメタ情報の各種類、具体的には本実施形態では、Exif形式で採用される「明るさ（輝度）」、「ホワイトバランス」、「ＩＳＯ（ＩＳＯ感度）」、「フォーカス」等の各種メタ情報がパラメータとして含まれている。
ユーザは、操作部１９を操作することで、合成条件入力領域９１に表示されたメッセージのうち「○○」の部分として、パラメータ一覧１０１に含まれる各種パラメータ（メタ情報）のうち、所望の１つを選択して入力することができる。

図４の中央に示すパラメータ一覧１０２ａ乃至１０２ｄには、図３の合成条件入力領域９２に表示されたメッセージのうち「△△」の部分として、選択し得る複数のパラメータが含まれている。
ただし、本実施形態では、図３の合成条件入力領域９１に表示されたメッセージのうち「○○」の部分と、図３の合成条件入力領域９２に表示されたメッセージのうち「△△」の部分とは対応付けられている。

具体的には例えば、図３の合成条件入力領域９１に表示されたメッセージのうち「○○」の部分として、「明るさ」が選択されて入力された場合には、パラメータ一覧１０２ａが、図３の合成条件入力領域９２に表示されたメッセージのうち「△△」の部分の入力に用いられる。
即ち、パラメータ一覧１０２ａには、撮像画像のデータにメタ情報として付加された「明るさ」の取り得る範囲がパラメータとして含まれている。
ただし、ユーザにとっては、「明るさ」の取り得る範囲が数値で示されても、具体的なイメージが湧かないことが多いため、本実施形態では、「少し明るい」、「明るい」、「かなり明るい」といった直観的に理解し易いパラメータが採用されている。
即ち、ユーザは、操作部１９を操作することで、合成条件入力領域９２に表示されたメッセージのうち「△△」の部分として、「少し明るい」、「明るい」、「かなり明るい」といったパラメータのうち、所望の１つを選択して入力することができる。
ただし、合成条件設定検出部４１は、「少し明るい」、「明るい」、「かなり明るい」といったパラメータを、数値化して取り扱うことになる。この場合の対応関係は、本実施形態では、図４に示すとおりである。例えば、ユーザにより「少し明るい」が選択された場合には、真っ白な画像の「明るさ」の数値を１００％とすると、合成条件設定検出部４１は、「４０〜５９％」という数値のパラメータが選択されて入力されたと検出することになる。

また例えば、図３の合成条件入力領域９１に表示されたメッセージのうち「○○」の部分として、「ホワイトバランス」が選択されて入力された場合には、パラメータ一覧１０２ｂが、図３の合成条件入力領域９２に表示されたメッセージのうち「△△」の部分の入力に用いられる。
即ち、パラメータ一覧１０２ｂには、撮像画像のデータにメタ情報として付加された「ホワイトバランス」の取り得る範囲がパラメータとして含まれている。
ただし、ユーザにとっては、「ホワイトバランス」の取り得る範囲が数値で示されても、具体的なイメージが湧かないことが多いため、本実施形態では、「太陽」、「くもり」、「蛍光灯」といった直観的に理解し易いパラメータが採用されている。
即ち、ユーザは、操作部１９を操作することで、合成条件入力領域９２に表示されたメッセージのうち「△△」の部分として、「太陽」、「くもり」、「蛍光灯」といったパラメータのうち、所望の１つを選択して入力することができる。
ただし、合成条件設定検出部４１は、「太陽」、「くもり」、「蛍光灯」といったパラメータを、数値化して取り扱うことになる。

また例えば、図３の合成条件入力領域９１に表示されたメッセージのうち「○○」の部分として、「ＩＳＯ」が選択されて入力された場合には、パラメータ一覧１０２ｃが、図３の合成条件入力領域９２に表示されたメッセージのうち「△△」の部分の入力に用いられる。
即ち、パラメータ一覧１０２ｃには、撮像画像のデータにメタ情報として付加された「ＩＳＯ」の取り得る範囲がパラメータとして含まれている。
ただし、ＩＳＯ感度の表記の種類としては、算術表記と、対数表記とが存在する。これらの２種類の何れもが使用可能なように、パラメータ一覧１０２ｃには、算術表記と対数表記との各々による数値が対応付けられて含まれている（図４には算術表記のみが図示されている）。
従って、ユーザは、操作部１９を操作することで、合成条件入力領域９２に表示されたメッセージのうち「△△」の部分として、所望の１つのＩＳＯ感度を、所望の表記の種類で選択して入力することができる。

また例えば、図３の合成条件入力領域９１に表示されたメッセージのうち「○○」の部分として、「フォーカス」が選択されて入力された場合には、パラメータ一覧１０２ｄが、図３の合成条件入力領域９２に表示されたメッセージのうち「△△」の部分の入力に用いられる。
即ち、パラメータ一覧１０２ｄには、撮像画像のデータにメタ情報として付加された「フォーカス」の取り得る範囲がパラメータとして含まれている。
ただし、ユーザにとっては、「フォーカス」の取り得る範囲が数値で示されても、具体的なイメージが湧かないことが多いため、本実施形態では、「マクロ」、「ＰＦ（パンフォーカス）」、「無限」、「ＭＦ」といった直観的に理解し易いパラメータが採用されている。
即ち、ユーザは、操作部１９を操作することで、合成条件入力領域９２に表示されたメッセージのうち「△△」の部分として、「マクロ」、「ＰＦ（パンフォーカス）」、「無限」、「ＭＦ」といったパラメータのうち、所望の１つを選択して入力することができる。
ただし、合成条件設定検出部４１は、「マクロ」、「ＰＦ（パンフォーカス）」、「無限」、「ＭＦ」といったパラメータを、数値化して取り扱うことになる。

図４の右方に示すパラメータ一覧１０３等には、図３の合成条件入力領域９３に表示されたメッセージのうち「□□」の部分として、選択し得る複数のパラメータが含まれている。
ただし、本実施形態では、図３の合成条件入力領域９２に表示されたメッセージのうち「△△」の部分と、図３の合成条件入力領域９３に表示されたメッセージのうち「□□」の部分とは対応付けられている。

具体的には例えば、図３の合成条件入力領域９１に表示されたメッセージのうち「○○」の部分として、パラメータ一覧１０１から「明るさ」が選択されて入力され、さらに、図３の合成条件入力領域９２に表示されたメッセージのうち「△△」の部分として、パラメータ一覧１０２ａから「少し明るい（４０〜５９％）」が選択されて入力されたものとする。
この場合、パラメータ一覧１０３が、図３の合成条件入力領域９３に表示されたメッセージのうち「□□」の部分の入力に用いられる。
即ち、パラメータ一覧１０３には、合成対象と成り得る合成用画像のデータのファイル名がパラメータとして含まれている。
図４の例では、「123.jpg」、「456.jpg」、及び「789.jpg」の各々という名称のファイルとして、３つの合成用画像のデータが、後述する合成用画像記憶部７２に含まれている。パラメータ一覧１０２ａとして「少し明るい（４０〜５９％）」が選択された場合には、これらの３つの合成用画像のデータが、合成対象として選択することが可能になっている。
即ち、ユーザは、操作部１９を操作することで、合成条件入力領域９３に表示されたメッセージのうち「□□」の部分として、「123.jpg」、「456.jpg」、及び「789.jpg」といったパラメータのうち、所望の１つを選択して入力することができる。

ここで、例えば、ユーザが、図３の合成条件入力領域９１に表示されたメッセージのうち「○○」の部分として、「明るさ」を選択して入力し、図３の合成条件入力領域９２に表示されたメッセージのうち「△△」の部分として、「少し明るい」を選択して入力したとする。さらに、ユーザが、図３の合成条件入力領域９３に表示されたメッセージのうち「□□」の部分として、「123.jpg」を選択して入力し、図３の合成条件入力領域９４に対して同図に示す「ｄ）合成表示し保存する」を選択して入力したとする。
そして、ユーザが、操作部１９を操作して、決定ボタン９６を押下したとする。
この場合、「ａ）撮影した写真の明るさ」が「ｂ）少し明るい」のときには、合成ファイルとして「ｃ）画像ファイル123.jpg」を「ｄ）合成表示し保存する」、という合成条件が設定されたことが、図２の合成条件設定検出部４１により検出され、合成条件記憶部７１にデータとして記憶される。

その後、画像合成処理が実行されて、このようにデータとして合成条件記憶部７１に記憶された合成条件が用いられたとする。
この場合、撮像画像のデータにメタ情報として付加された「明るさ（輝度）」が、「４０〜５９％（少し明るい）」のときには、後述する合成用画像記憶部７２から、「123.jpg」という名称の合成用画像のデータが、合成対象として読み出される。そして、当該撮像画像のデータに対して、合成対象として読み出された合成用画像のデータ（123.jpg）が合成されることによって、合成画像のデータが生成される。

次に、このような画像合成処理を実行するための図２の撮像装置１の機能的構成について説明する。
画像合成処理の実行時には、画像合成部５１に含まれる、撮像画像取得部６１、関連情報抽出部６２、及び合成部６３が動作する。また、合成判断部１５、並びに、CPU１１に含まれる記憶制御部４３及び表示制御部４２も動作する。
また、画像合成処理の実行時には、記憶部２１においては、１以上の合成条件が合成条件記憶部７１に含まれており、１以上の合成用画像のデータが合成用画像記憶部７２に含まれているものとする。

撮像画像取得部６１は、撮像画像のデータを取得する。
ここで、撮像画像のデータをどこから取得するかについては、撮像装置からとは特に限定されず、リムーバブルメディア３１の他、当該リムーバブルメディア３１への記憶前の一時的な記憶場所である記憶部２１や、通信部２２により通信可能な他の装置等であってもよい。

関連情報抽出部６２は、撮像画像取得部６１により取得された撮像画像のデータに関連する情報であって、合成条件と照合や比較をするために必要な情報を１以上抽出する。このような情報を、以下、「関連情報」と呼ぶ。
関連情報は、合成条件と照合や比較をするために必要な情報であれば、特に限定されず、撮像画像のデータに付加されたメタ情報であってもよいし、撮像画像のデータを加工したり解析することにより抽出される情報（例えば所定の特徴量等）であってもよい。また、関連情報は、撮像画像取得部６１により取得された時点で撮像画像のデータに付加されている必要は特になく、例えば通信部２２により通信可能な他の装置から抽出される情報であってもよい。
より具体的には例えば、本実施形態では、関連情報として、Exif形式のメタ情報のうち、少なくとも図４のパラメータ一覧表１０１に含まれている種類、即ち、「明るさ（輝度）」、「ホワイトバランス」、「ISO(ISO感度)」、及び「フォーカス」が撮像画像ファイルから抽出され得る。さらに、本実施形態では、使用される合成条件によっては、画像全体の出来栄え等の評価点、被写体の顔を特定可能な情報（顔認識の結果等）、撮像画像のデータに付加された音声のデータ等、各種各様な情報が関連情報として抽出される。

合成判断部１５は、合成条件記憶部７１に記憶されている１以上の合成条件の中から、画像合成処理で用いる合成条件を１以上取得する。
合成判断部１５は、取得した１以上の合成条件と、関連情報抽出部６２により抽出された１以上の関連情報とに基づいて、合成用画像記憶部７２に記憶されている１以上の合成用画像のデータの中から、合成対象を判断する。例えば、合成判断部１５は、所定の合成条件と、当該合成条件を構成する各要素に対応する関連情報とを照合したり比較することによって、合成対象の合成用画像のデータを判断する。
具体的には例えば、図３のパラメータ一覧表１０１乃至１０３に基づいて入力された各要素から合成条件が構成されている場合、各要素に対応する関連情報とは、exif形式のメタ情報である。従って、この場合には、当該合成条件の各要素と、関連情報として抽出されたexif形式のメタ情報とが照合されたり比較されることによって、合成対象の合成用画像のデータが判断される。
そして、合成判断部１５は、合成対象として判断した合成用画像のデータを合成用画像記憶部７２から読み出して、合成部６３に供給する。
なお、合成判断部１５により合成対象として判断される合成用画像のデータは、特に１つに限定されず、複数であってもよい。
一方、照合の結果が不一致であったり、比較の結果が非類似であるような場合、合成判断部１５は、合成対象は存在しないと判断してもよい。この場合、合成用画像のデータは合成部６３に供給されないので、このまま画像合成処理が終了となってもよいし、表示部２０における所定のエラー表示がなされてもよい。

合成部６３は、撮像画像取得部６１により取得された撮像画像のデータと、合成判断部１５から供給された合成用画像のデータとを合成することによって、合成画像のデータを生成する。
ここで、合成判断部１５により取得された合成条件において、合成位置や合成サイズ等の設定がなされている場合には、合成部６３は、それらの設定に従って合成画像のデータを生成する。
さらに、合成判断部１５により取得された合成条件において、合成画像の表示が設定されている場合、即ち、「ｄ）合成表示し・・・」という要素が含まれている場合、合成部６３は、合成画像のデータを表示制御部４２に供給する。すると、表示制御部４２は、当該合成画像を表示部２０に表示させる。

図５は、合成画像が表示された図１のデジタルカメラ１の外観構成を示す裏面図である。
図５の例では、撮像画像１１１のデータに対して、３つの合成用画像１２１乃至１２３の各データが合成された結果得られるデータにより表わされる合成画像が、表示部２０に表示されている。

例えば、合成用画像１２１のデータは、「a.jpg」という名称のファイルとして合成用画像記憶部７２に記憶されていたものとする。
この場合、「ａ）撮影した写真の人物の顔」が「ｂ）登録した○×を認識した時」、合成ファイルとして「ｃ）画像ファイルa.jpg」を「ｄ）合成表示し保存する」、という合成条件に基づいて、合成用画像１２１のデータが合成対象として合成判断部１５によって判断されたものである。ここで、「○×」とは人物の氏名を指すものとする。
即ち、撮像画像１１１のデータに対して顔認識処理が施されたところ、「○×」という人物の顔が認識され、当該認識結果を示す情報が関連情報として関連情報抽出部６２によって抽出された結果として、「a.jpg」という名称の合成用画像１２１のデータが合成対象として判断されたものである。なお、顔認識処理の手法は、特に限定されず、任意の手法を採用することができる。
このようにして合成対象として判断された合成用画像１２１のデータが、合成判断部１５によって合成用画像記憶部７２から読み出され、合成部６３によって撮像画像１１１のデータに合成されたものである。

また例えば、合成用画像１２２のデータは、撮像画像１１１のデータと共に音声のデータが取得され、当該データが解析されて認識された音声が、文字変換され、その結果得られる文字列を示す画像のデータであるものとする。そして、合成用画像１２２のデータは、「b.jpg」という名称のファイルとして合成用画像記憶部７２に記憶されていたものとする。
この場合、「ａ）撮影した写真と共に音声」が「ｂ）記録されている時」、合成ファイルとして「ｃ）画像ファイルb.jpg」を「ｄ）合成表示し保存する」、という合成条件に基づいて、合成用画像１２２のデータが合成対象として合成判断部１５によって判断されたものである。
そして、合成対象として判断された合成用画像１２２のデータが、合成判断部１５によって合成用画像記憶部７２から読み出され、合成部６３によって撮像画像１１１のデータに合成されたものである。

また例えば、合成用画像１２３のデータは、「c.jpg」という名称のファイルとして合成用画像記憶部７２に記憶されていたものとする。
この場合、「ａ）撮影した写真の評価」が「ｂ）良い時」、合成ファイルとして「ｃ）画像ファイルc.jpg」を「ｄ）合成表示し保存する」、という合成条件に基づいて、合成用画像１２３のデータが合成対象として合成判断部１５によって判断されたものである。
即ち、撮像画像１１１のデータに対する評価点が関連情報として関連情報抽出部６２によって抽出された結果として、「c.jpg」という名称の合成用画像１２３のデータが合成対象として判断されたものである。
このようにして合成対象として判断された合成用画像１２３のデータが、合成判断部１５によって合成用画像記憶部７２から読み出され、合成部６３によって撮像画像１１１のデータに合成されたものである。

ここで、合成判断部１５により取得された合成条件において、さらに、合成画像の保存が設定されている場合、即ち、「ｄ）・・・保存する」という要素が含まれている場合、合成部６３は、合成画像のデータを記憶制御部４３に供給する。すると、記憶制御部４３は、当該合成画像のデータをリムーバブルメディア３１に記憶させる。

以上、図２乃至図５を参照して、本実施形態の撮像装置１の機能的構成について説明した。
次に、このような機能的構成を有する撮像装置１が実行する処理のうち、合成条件入力処理と画像合成処理との各々の流れについて、その順番に個別に説明する。

図６は、合成条件入力処理の流れを説明するフローチャートである。
合成条件入力処理は、ユーザが操作部１９を用いて所定の操作をすることを契機として開始され、次のようなステップＳ１乃至Ｓ４の処理が実行される。

ステップＳ１において、表示制御部４２は、合成条件設定画面を表示部２０に表示させる。
例えばここでは、図４に示す合成条件設定画面８１が表示部２０に表示され、ユーザの操作部１９の操作による合成条件（各要素）の入力の受け付けが開始されるものとする。

ユーザは、操作部１９を操作して、図４の合成条件入力領域９１乃至９４に対して、合成条件（各要素）を入力する。
このとき、ステップＳ２において、合成条件設定検出部４１は、ユーザによる合成条件（各要素）の入力を検出する。

ステップＳ３において、合成条件設定検出部４１は、入力の終了を検出したか否かを判定する。
ここでは、図３に示す合成条件設定画面８１が表示部２０に表示されているので、ユーザは、操作部１９を操作して決定ボタン９６を押下することで、入力の終了を指示する。
従って、決定ボタン９６が押下されていない場合、ステップＳ３においてＮＯであると判定されて、処理はステップＳ１に戻される。即ち、前回までのステップＳ２の処理で検出された合成条件（各要素）がエコーバックされた合成条件設定画面８１が表示部２０に表示され、さらなるユーザの合成条件（各要素）の入力が待ち受けられる。
例えば、前回のステップＳ２の処理で、合成条件入力領域９１のうちの「○○」の部分として「明るさ」が入力されたと検出された場合、合成条件入力領域９１に「ａ）撮影した写真の明るさ」という文字列を含む合成条件設定画面８１が、表示部２０に表示される。そして、その他の合成条件入力領域９２乃至９４の各々に対する入力が待ち受けられる。
その後、合成条件入力領域９１乃至９４の全てに対する入力が検出され、決定ボタン９６が押下されると、ステップＳ３においてＹＥＳであると判定されて、処理はステップＳ４に進む。

ステップＳ４において、合成条件設定検出部４１は、入力された各情報（ここでは合成条件入力領域９１乃至９４の各々に入力された情報）を、合成条件を設定するための各要素として取得する。そして、合成条件設定検出部４１は、取得した各要素を組み合わせた内容を、ユーザにより設定された合成条件として検出し、合成条件記憶部７１にデータとして記憶する。
これにより、合成条件入力処理は終了となる。

以上、図６を参照して、合成条件入力処理の流れを説明した。このような合成条件入力処理が１以上実行されて、１以上の合成条件が合成条件記憶部７１にデータとして記憶され、１以上の合成用画像のデータが合成用画像記憶部７２に記憶されている状態になると、画像合成処理が可能になる。
そこで、以下、図７を参照して、このような画像合成処理の流れについて説明する。
図７は、画像合成処理の流れを説明するフローチャートである。

画像合成処理は、ユーザが操作部１９を用いて所定の操作をすることを契機として開始され、次のようなステップＳ２１乃至Ｓ２９の処理が実行される。

ステップＳ２１において、撮像画像取得部６１は、撮像画像のデータを取得する。

ステップＳ２２において、合成判断部１５は、画像合成処理で用いる１以上の合成条件を合成条件記憶部７１から取得する。

ステップＳ２３において、関連情報抽出部６２は、ステップＳ２２の処理で取得された合成条件と照合や比較を行うため、ステップＳ２１の処理で取得された撮像画像のデータについての関連情報を１以上抽出する。

ステップＳ２４において、合成判断部１５は、ステップＳ２３の処理で抽出された１以上の関連情報、及び、ステップＳ２２の処理で取得した１以上の合成条件に基づいて、合成用画像記憶部７２に記憶されている１以上の合成用画像のデータの中から、合成対象を判断する。
そして、合成判断部１５は、合成対象として判断した１以上の合成用画像のデータを合成用画像記憶部７２から読み出して、合成部６３に供給する。これにより、処理はステップＳ２５に進む。
なお、図示はしないが、関連情報が合成条件に合致しなかったり非類似であった場合、本実施形態では、合成対象は存在しないものとして、そのまま画像合成処理が強制終了する。なお、強制終了の前に、表示制御部４２が所定のエラーメッセージ等を表示部２０に表示させることで、合成できない旨をユーザに報知してもよい。

ステップＳ２５において、合成部６３は、ステップＳ２１の処理で取得された撮像画像のデータと、ステップＳ２４の処理で合成対象として判断された１以上の合成用画像のデータとを合成することによって、合成画像のデータを生成する。

ステップＳ２６において、表示制御部４２は、ステップＳ２５の処理で生成されたデータにより表わされる合成画像を、表示部２０に表示させる。
なお、ステップＳ２２の処理で取得された１以上の合成条件の何れにも、合成画像の表示が設定されていない場合、即ち、「ｄ）合成表示し・・・」という要素が含まれていない場合、ステップＳ２６の処理は省略可能である。

ステップＳ２７において、記憶制御部４３は、合成画像のデータを記録するか否かを判定する。
ここで、ステップＳ２７の判定手法は、特に限定されず、各種各様な手法を採用することができる。
例えば、この時点で、ユーザに合成画像のデータを記録するか否かを問いかけ（そのようなメッセージを表示部２０に表示させ）、その回答、即ち、保存するか否かの指示（操作部１９による操作）を受け付け、その指示に従って判定する、といった手法を採用することができる。
また例えば、ステップＳ２２の処理で取得された１以上の合成条件の何れかに合成画像の保存が設定されている場合、即ち、「ｄ）・・・保存する」という要素が含まれている場合、記録すると判定し、それ以外の場合には記録しないと判定する、といった手法を採用することもできる。

記録しないと判定された場合、即ち、ステップＳ２７においてＮＯであると判定された場合、ステップＳ２８において、記憶制御部４３は、合成画像のデータを記録せずに、破棄する。
これにより、画像合成処理は終了となる。

これに対して、記録すると判定された場合、即ち、ステップＳ２７においてＹＥＳであると判定された場合、ステップＳ２９において、記憶制御部４３は、合成画像のデータをリムーバブルメディア３１に記録する。
これにより、画像合成処理は終了となる。

以上説明したように、本実施形態の撮像装置１は、撮像画像のデータについての関連情報と、予め設定された合成条件とに基づいて、撮像画像と用画像の各データを合成することによって、合成画像のデータを生成することができる。
上述したように、特許文献１に記載の技術を採用した場合であっても、枠の画像を合成用画像として、合成画像のデータを生成すること自体はできる。しかしながら、この場合、合成画像のデータの生成毎に、その都度、ユーザは、合成用画像たる枠の画像を指定する手動操作をしなければならないので、手間と時間が掛かっていた。
本実施形態の撮像装置１を用いることで、そのような手間や時間を大幅に軽減して自動的に合成画像を得ることができる。
さらに、本実施形態の撮像装置１によって得られた合成画像に含まれる合成用画像は、ユーザにより予め設定された合成条件と、撮像画像のデータについての関連情報との比較や照合によって合成対象として判断されたものである。よって、このようにして判断された合成用画像は、ユーザの趣味や撮像画像の内容にとって好適な画像になっている。
このようにして、ユーザの趣味や撮像画像の内容にとって好適な合成用画像のデータを、当該撮像画像のデータに容易に合成することが可能になる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、本実施例では、撮像画像に対して好適な合成用画像のデータを合成する処理をするようにしたが、撮像画像の特徴領域に対してユーザが設定した条件に合わせたトリミング処理をしても良い。

また、上述の実施形態では、図６の合成条件入力処理の動作主体は、撮像装置１としたが、特にこれに限定されない。即ち、図７の画像合成処理を実行する際に合成条件が存在すれば足りるのであって、合成条件の生成場所や保存場所は、特に撮像装置１に限定されず、任意の場所でもよい。
例えば、通信部２２（図１）により通信が可能な別の装置、具体的には例えばインターネット上のサーバが、合成条件を生成して保存し、図７のステップＳ２２の処理の時点で、通信部２２が当該合成条件を通信により取得するようにしてもよい。

更に例えば、上述の実施形態では、本発明が適用される画像処理装置は、デジタルカメラ等の撮像装置として構成される例として説明した。しかしながら、本発明は、撮像装置に特に限定されず、撮像機能の有無を問わず（撮像画像のデータは別の装置から取得してもよい）、上述の画像処理を実行可能な電子機器一般に適用することができる。具体的には例えば、本発明は、パーソナルコンピュータ、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機等に適用可能である。

また例えば、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD-ROM（Compact Disk-Read Only Memory），DVD（Digital Versatile Disk）等により構成される。光磁気ディスクは、MD（Mini-Disk）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のROM１２や、図１の記憶部２１に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

１・・・撮像装置、１１・・・CPU、１２・・・ROM、１３・・・RAM、１４・・・画像処理部、１５・・・合成判断部、１６・・・バス、１７・・・入出力インターフェース、１８・・・撮像部、１９・・・操作部、２０・・・表示部、２１・・・記憶部、２２・・・通信部、２３・・・ドライブ、３１・・・リムーバブルメディア、４１・・・合成条件設定検出部、４２・・・表示制御部、４３・・・記憶制御部、５１・・・画像合成部、６１・・・撮像画像取得部、６２・・・関連情報抽出部、６３・・・合成部、７１・・・合成条件記憶部、７２・・・合成用画像記憶部

Claims (8)

1. 画像を撮像し、当該画像のデータを出力する撮像手段と、
   前記撮像手段により出力される画像のデータの撮像条件に対する合成用画像のデータ、及び前記画像のデータへの当該合成用画像の合成時の位置又はサイズを設定する設定手段と、
   前記撮像手段により出力された画像のデータから、当該画像のデータの撮像条件に関する情報を抽出する抽出手段と、
   前記抽出手段により抽出された情報に基づいて、前記撮像手段から出力された画像のデータに前記設定手段により設定された合成用画像のデータを前記合成時の位置又はサイズで合成する合成手段と、
   を備えることを特徴とする撮像装置。
2. 前記設定手段は、前記撮像条件に関する複数の項目のうち、特定の項目を選択する選択手段を更に含み、
   前記選択手段により選択された特定の項目に対応する前記合成用画像のデータを設定することを特徴とする請求項１に記載の撮像装置。
3. 前記撮像条件に応じた合成用画像のデータを設定する画面を表示手段に表示させる表示制御手段と、
   前記設定手段は、前記表示制御手段により前記表示手段に表示された画面に対するユーザの入力操作により合成用画像のデータを設定する、
   ことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記設定手段による設定された前記撮像条件に対する合成用画像のデータを記憶手段に記憶させる記憶制御手段を更に備えたことを特徴とする請求項１乃至３の何れかに記載の撮像装置。
5. 前記撮像条件に関する情報とは、画像の明るさ、ホワイトバランス、ISO感度、フォーカス値の何れかの情報である、
   ことを特徴とする請求項１乃至４の何れかに記載の撮像装置。
6. 画像のデータを取得する取得手段と、
   前記取得手段により取得される画像のデータの撮像条件に対する合成用画像のデータ、及び前記画像のデータへの当該合成用画像の合成時の位置又はサイズを設定する設定手段と、
   前記取得手段により取得された画像のデータから、当該画像のデータの撮像条件に関する情報を抽出する抽出手段と、
   前記抽出手段により抽出された情報に基づいて、前記取得手段により取得された画像のデータに前記設定手段により設定された合成用画像のデータを前記合成時の位置又はサイズで合成する合成手段と、
   を備えることを特徴とする画像処理装置。
7. 撮像装置が実行する画像処理方法において、
   撮像手段により出力される画像のデータの撮像条件に対する合成用画像のデータ、及び前記画像のデータへの当該合成用画像の合成時の位置又はサイズを設定する設定ステップと、
   前記撮像手段から出力された画像のデータから、当該画像のデータの撮像条件に関する情報を抽出する抽出ステップと、
   前記抽出ステップにて抽出された情報に基づいて、前記撮像手段から出力された画像のデータに前記設定ステップにより設定された合成用の画像のデータを前記合成時の位置又はサイズで合成する合成ステップと、
   を含むことを特徴とする画像処理方法。
8. コンピュータを、
   撮像手段により出力される画像のデータの撮像条件に対する合成用画像のデータ、及び前記画像のデータへの当該合成用画像の合成時の位置又はサイズを設定する設定手段、
   前記撮像手段から出力された画像のデータから、当該画像のデータの撮像条件に関する情報を抽出する抽出手段、
   前記抽出手段により抽出された情報に基づいて、前記撮像手段から出力された画像のデータを前記設定手段により設定された合成用画像のデータを前記合成時の位置又はサイズで合成する合成手段、
   として機能させることを特徴とするプログラム。

Images