JP5083559B2 - 画像合成装置、画像合成方法及びプログラム - Google Patents

Description

本発明は、画像合成装置、画像合成方法及びプログラムに関し、たとえば、デジタルカメラ等の撮影装置において、被写体画像と他の画像との合成画像を生成して出力する画像合成装置、画像合成方法及びプログラムに関する。

電子機器の高性能化、高機能化に伴い、デジタルカメラ等の撮影装置においても、被写体画像の撮影記録という装置本来の機能に加えて様々な付加機能が搭載される傾向にあり、たとえば、被写体画像に他の画像を合成する機能（以下、画像合成機能という。）もその一つである。

画像合成機能の従来技術としては、たとえば、下記の特許文献１や特許文献２に記載のものが知られている。以下、特許文献１に記載された技術を「第１の従来技術」といい、特許文献２に記載された技術を「第２の従来技術」ということにする。

第１の従来技術は、被写体画像と背景画像とを合成表示させた状態で、背景画像を切り換え、所望の背景画像が選択されたときにシャッターを押すことによって、それらの被写体画像と背景画像との合成画像を生成して記録するというものであり、また、第２の従来技術は、被写体画像とキャラクタ画像とを合成する際に、その被写体画像の撮影時間、撮影時期、撮影場所等に応じてキャラクタ画像を選択するというものである。

特開平１０−１８６４７３号公報 特開２００５−１０７９８８号公報

しかしながら、第１の従来技術にあっては、合成対象の背景画像を選択できる点で自由度があるものの、その背景画像は、被写体画像の実際の“背景”に置き換わるものに過ぎず、しかも、背景画像と被写体画像の大きさが同一であるので、両画像を重ね合わせた単純な合成画像しか得られず、面白みに欠けるという問題点がある。

一方、第２の従来技術にあっては、選択可能なキャラクタ画像を合成するので、前記の第１の従来技術よりも面白みのある合成画像が得られるものの、そのキャラクタ画像は、被写体画像の撮影時間や撮影時期あるいは撮影場所等に応じて選択されたものであるので、たとえば、被写体の状態にマッチした合成画像を得ることができないという問題点がある。

ここで、被写体の状態とは、たとえば、人物であれば、顔の表情、立つ座るなどの姿勢や体の向き、又は、撮像装置からの距離、人数、動静（動いているのか静止しているのか）等々である。今、被写体の状態を「顔の表情」とし、その表情を「笑顔」と仮定すると、この場合、合成すべきキャラクタ画像としては、思わずつられて笑顔になるようなもの、たとえば、子犬や子猫、赤ちゃんなどのキャラクタがふさわしいものの、第２の従来技術にあっては、単に撮影時間や撮影時期あるいは撮影場所等に応じてキャラクタ画像を選択しているに過ぎないから、被写体の状態にマッチした、よりふさわしいキャラクタ画像を選択できないという問題点がある。

そこで、本発明の目的は、被写体の状態にマッチしたより面白みのある合成画像を得ることができる画像合成装置、画像合成方法及びプログラムを提供することにある。

本発明は、逐次撮像される撮影画像内に逐次検出される被写体に応じた合成キャラクタを該撮影画像上に逐次合成して合成画像を逐次生成し、この逐次生成される合成画像をモニタ画面上に逐次表示させている最中に、撮影指示があった場合に、撮影指示のタイミングに対応する合成画像を静止画データまたは動画データとして記録し、動画データの撮影記録中における合成キャラクタの合成タイミングを、被写体の種類または状態の変化に応じて決定することを特徴とする画像合成装置、画像合成方法、またはプログラムである。
また、他の態様による発明は、撮影画像内に検出される被写体に応じた合成キャラクタを該撮影画像上に合成して合成画像を生成する画像合成装置に関し、被写体の種類に応じて合成キャラクタの合成状態を決定するか、あるいは、被写体の状態に応じて合成キャラクタの種類を決定する画像合成決定手段を備え（処理を含み）、前記検出可能な被写体の状態には、特定の被写体の過去における出現頻度が含まれ、前記画像合成決定手段は、特定の被写体の出現頻度が高くなった場合に所定の合成キャラクタを合成することを特徴とする画像合成装置、画像合成方法、またはプログラムである。
また、他の態様による発明は、撮影画像内に検出される被写体に応じた合成キャラクタを該撮影画像上に合成して合成画像を生成する画像合成装置に関し、被写体の種類に応じて合成キャラクタの合成状態を決定するか、あるいは、被写体の状態に応じて合成キャラクタの種類を決定する画像合成決定手段（処理）と、前記合成における合成条件、合成内容または合成タイミングを学習する学習手段（処理）とを備える（含む）ことを特徴とする画像合成装置、画像合成方法、またはプログラムである。

本発明によれば、被写体の状態にマッチしたより面白みのある合成画像を得ることができる画像合成装置、画像合成方法及びプログラムを提供することができる。

以下、本発明の実施形態を、デジタルカメラへの適用を例にして、図面を参照しながら説明する。

図１は、デジタルカメラの構成図である。この図において、デジタルカメラ１は、撮像部２、操作部３、表示部４、記憶部５、外部入出力部６、制御部７及び電源部８を含んで構成されている。

各部の詳細を説明すると、撮像部２は、不図示の被写体を撮像して、その画像信号を毎秒数十フレームの周期で出力可能な、たとえば、ＣＣＤやＣＭＯＳなどの二次元撮像デバイスである。なお、この撮像部２は、撮影レンズや絞り機構等を含むと共に、必要であれば機械式シャッタや機械式ズーム機構などを含んでいてもよい。操作部３は、このデジタルカメラ１の操作に必要な各種ボタン類（シャッタボタンやモード切換スイッチ等）を含み、表示部４は、撮影モードにおいて構図確認用の画像（撮像部２から周期的に出力される、いわゆるスルー画像）を表示したり、あるいは、再生モードにおいて撮影済み画像を再生表示したりするための、たとえば、液晶パネルからなる二次元表示デバイスである。記憶部５は、撮影済み画像を記録保存するための、たとえば、固定式あるいは着脱可能な記憶装置であり、たとえば、ＰＲＯＭ等の不揮発性半導体メモリ又は磁気ディスク装置若しくは光ディスク装置である。外部入出力部６は、パーソナルコンピュータ等の外部機器との間で画像ファイル等をやり取りするためのインターフェースであり、制御部７は、デジタルカメラ１の各部の動作を統括する制御要素であって、一般的にはＣＰＵ７ａや、このＣＰＵ７ａで実行されるソフトウェア（基本プログラムや応用プログラム、及び、後述の第１〜第４のデータテーブル１０〜１３、並びに、後述の合成キャラクタ画像１６など）を格納するＰＲＯＭ７ｂ及びＣＰＵ７ａの作業エリアとして動作するＲＡＭ７ｃなどを含むプログラム制御方式のコンピュータによって構成されるが、これに限定されない。その機能の全て又は一部をハードロジックで構成したものであっても構わない。電源部８は、デジタルカメラ１の各部の動作に必要な電源を供給する一次電池又は二次電池を含む。

図２及び図３は、制御部７の動作フローを示す図である。このフローでは、まず、撮影モードであるか否かを判定する（ステップＳ１）。撮影モードとは、操作部３に設けられている不図示のモード切換スイッチによって選択されるデジタルカメラ１の動作モードの一つである。撮影モードが選択されているときには、撮像部２から周期的に出力されるフレーム画像が構図確認用のスルー画像として表示部４に送られ、ユーザ（撮影者）は、このスルー画像を見ながら構図を調節し、所望の構図が得られた時点で操作部３の不図示のシャッタボタンを押し下げ操作することにより、その時点において撮像部２から出力される高画質の静止画像を撮影済み画像ファイルとして記憶部５に記録保存することができる。また、この撮影モードは静止画記録だけでなく動画記録にも対応できるようになっており、動画記録の撮影モードが選択されている場合には、１回目のシャッタボタンの押し下げで動画記録を開始し、２回目のシャッタボタンの押し下げで動画記録を終了し、その開始から終了までの間の動画情報を撮影済み動画ファイルとして記憶部５に記録保存することができるようにもなっている。

ステップＳ１において、撮影モードが判定されなかった場合は、他の動作モード、たとえば、撮影済み画像の再生モードや各種設定モードなどを実行するためにフローを終了する。

ステップＳ１において、撮影モードが判定された場合は、次に、撮像部２により被写体を撮像して、その被写体画像を取得する（ステップＳ２）。この時点の被写体画像は周期的なフレーム画像であり、このフレーム画像は、構図確認のために表示部４に出力され、表示される（ステップＳ３）と共に、制御部７の内部で実行される被写体の種類判定に供される（ステップＳ４）。

被写体の種類とは、被写体画像に写し込まれている被写体の外形的特徴などから区別される分類のことをいい、この被写体の種類判定には、専用のデータテーブル（以下、第１のデータテーブルという。）が用いられる。

図４は、第１のデータテーブル１０の概念図である。この図において、第１のデータテーブル１０は、被写体の外形的特徴などから区別される複数の種類（たとえば、図示の例では人、女性、Ａさん、猫、海、花、虫、・・・・）を含む種類フィールド１０ａを有する。これらの種類はあくまでも一例に過ぎないが、たとえば、人、女性、Ａさんは人物、猫は動物、海や花は自然物、虫は昆虫などの大分類に属する。人物の判定は、その外形的特徴（人体の外形的特徴）から判定することができ、また、より詳細には、その人物の顔又は髪型の特徴や服装の特徴から性別（女性）を判定したり、あるいは、個人（Ａさん）を判定したりできる。もちろん、個人を判定する場合には、その個人を特定する情報（たとえば、顔の特徴等）を予め登録しておく必要がある。また、他の種類（猫、海、花、虫、・・・・）についても同様であり、それらの種類を端的に表す情報（たとえば、猫や虫の外形的特徴、海や花の色彩的特徴など）を予め登録しておけばよい。

ステップＳ４で被写体の種類を判定すると、次に、取得した１又は複数の被写体画像（つまり、撮像部２から周期的に出力されるスルー画像の１枚又は複数枚）と、ステップＳ４で判定された被写体の種類とに基づいて、被写体の状態を判定する（ステップＳ５）。

被写体の状態とは、被写体の向き、位置、大きさ、数、（デジタルカメラ１からの）距離、動き・・・・等々のことをいい、この被写体の状態判定には、専用のデータテーブル（以下、第２のデータテーブルという。）が用いられる。

図５は、第２のデータテーブル１１の概念図である。この図において、第２のデータテーブル１１は、１又は複数の被写体画像から区別される複数の状態（たとえば、図示の例では被写体の向き、位置、大きさ、数、距離、動き、特有状態、過去の出現頻度・・・・）を含む状態フィールド１１ａを有する。ここで、「向き」とは、デジタルカメラ１に対する被写体の向きのことをいう。たとえば、被写体が人物であればデジタルカメラ１に対して正対しているか、横向きであるか、あるいは後ろ向きであるか等をいう。また、「位置」とは、撮影構図内の位置のことをいい、たとえば、構図中心に位置しているか、あるいは、上下左右に偏って位置しているか等をいう。また、「大きさ」とは、撮影構図内の大きさのことをいう。また、「数」とは、被写体の数、たとえば、人物であれば人数のことをいう。また、「距離」とは、焦点距離のことをいい、詳しくは、デジタルカメラ１の結像点（撮像部２の結像面）から被写体までの距離のことをいう。また、「動き」とは、被写体の動きのことをいい、たとえば、静止している、走っている等をいう。また、「特有状態」とは、特に被写体が人物の場合に、その人物の表情（笑顔等）のことをいう。また、「過去の出現頻度」とは、このデジタルカメラ１の使用者（撮影者）の使用スタイルを学習するための履歴情報のことをいう。

被写体の状態（向き、位置、大きさ、数、距離、動き、特有状態、過去の出現頻度・・・・）ごとの、これらの細分は、この第２のデータテーブル１１において、被写体の状態番号フィールド１１ｂに区分けして格納されている。すなわち、「向き」の状態１は「正面」、状態２は「横向き」であり、また、「位置」の状態１は「中央」、状態２は「端」、状態６は「下半分」であり、また、「大きさ」の状態１は「大」、状態２は「中」、状態４は「大」であり、また、「数」の状態１は「１」、状態４は「少ない」、状態５は「多い」であり、「距離」の状態１は「近い」、状態２は「中」、状態４は「近い」、状態５は「中」、状態６は「遠い」であり、「動き」の状態１は「静止」、状態２は「走っている」、状態３は「静止」であり、「特有状態」の状態１は「笑っている」であり、「過去の出現頻度」の状態７は「多い」である。

ステップＳ５で被写体の状態を判定すると、次に、この被写体の状態と、ステップ４で判定された被写体の種類とに基づいて、合成キャラクタの合成の有無を判定する（ステップＳ６）。“合成キャラクタの合成の有無を判定する”とは、第１のデータテーブル１０において、被写体の種類フィールド１０ａと、そのフィールドに交差する被写体の状態番号フィールド１０ｂとの交点に、合成キャラクタがあるか否かを判定することをいう。たとえば、被写体の種類が「人」であるとしたとき、被写体の状態番号が「状態２」であれば「犬」、「状態３」であれば「猫」の合成キャラクタがあるので、これらの場合、合成キャラクタの合成の“有”が判定されるが、他の状態、つまり、「状態１」、「状態４」、「状態５」、「状態６」、「状態７」の場合は、合成キャラクタがないので、合成キャラクタの合成の“無”が判定される。

合成キャラクタの合成の“無”が判定されたとき、ステップＳ７の「合成する？」の判定結果がＮＯとなり、再び、撮影モードの判定（ステップＳ１）に戻るが、合成キャラクタの合成の“有”が判定されたときには、ステップＳ７の「合成する？」の判定結果がＹＥＳとなって、以降の処理を実行する。

まず、判定された被写体の種類と被写体の状態（変化）とに基づいて、合成キャラクタの種類を決定する（ステップＳ８）。たとえば、被写体の種類が「人」である場合に、被写体の状態番号が「状態２」であれば「犬」の合成キャラクタを決定する。

次に、判定された被写体の種類と被写体の状態（変化）とに基づいて、合成キャラクタの状態（変化）を決定する（ステップＳ９）。この決定には、次に説明する第３及び第４のデータテーブルが用いられる。

図６は、第３のデータテーブル１２の概念図、図７は、第４のデータテーブル１３の概念図である。
まず、第３のデータテーブル１２を説明すると、この第３のデータテーブル１２は、被写体の外形的特徴などから区別される複数の種類（たとえば、図示の例では人、女性、Ａさん、猫、海、花、虫、・・・・）を含む種類フィールド１２ａを有する。この種類フィールド１２ａは、先に説明した第１のデータテーブル１０の種類フィールド１０ａ（図４参照）と同じものである。さらに、この第３のデータテーブル１２は、被写体の状態番号フィールド１２ｂを有し、それらの状態番号（状態１、状態２、・・・・、状態５、・・・・）と種類フィールド１２ａとの各交差点に、合成キャラクタの状態番号（状態Ａ、Ｂ、Ｃ、Ｄ、・・・・）を適宜に格納している。

次に、第４のデータテーブル１３は、１又は複数の被写体画像から区別される複数の状態（たとえば、図示の例では被写体の向き、位置、大きさ、数、距離、動き、特有状態、過去の出現頻度・・・・）を含む状態フィールド１３ａを有する。この状態フィールド１３ａは、先に説明した第２のデータテーブル１１の状態フィールド１１ａ（図５参照）と同じものである。さらに、この第４のデータテーブル１３は、合成キャラクタの状態番号フィールド１３ｂを有し、それらの状態番号（状態Ａ、Ｂ、Ｃ、Ｄ、Ｅ・・・・）と状態フィールド１３ａとの各交差点に、合成キャラクタの状態（横向き、被写体の頭部、中央、中央下、頭部の１／５、１、複数、走っている、静止、飛んでいる・・・・等々）を指定する情報を適宜に格納している。

ここで、合成キャラクタの状態の「横向き」とは、該当する合成キャラクタを横向きにすることを意味する。また、「被写体の頭部」とは、合成キャラクタを被写体の頭部付近に合成することを意味し、また、「中央」とは合成キャラクタを撮影構図の中央付近に合成することを意味する。また、「中央下」とは合成キャラクタを撮影構図の中央下付近に合成することを意味し、また、「頭部の１／５」とは合成キャラクタの大きさを被写体の頭部のほぼ１／５程度に縮小して合成することを意味する。また、「１」とは合成キャラクタの数を１個にすることを意味し、また、「複数」とは合成キャラクタの数を複数個にすることを意味する。また、「走っている」とは合成キャラクタを走らせるように（又は走っているように見えるように）することを意味し、また、「静止」とは合成キャラクタを静止させるように（又は静止しているように見えるように）することを意味し、また、「飛んでいる」とは合成キャラクタを飛翔させるように（又は飛翔しているように見えるように）することを意味する。

ステップＳ９で合成キャラクタの状態（変化）を決定すると、次に、決定された合成キャラクタの種類と状態（変化）とに基づいて、被写体画像の現フレームに対応する合成キャラクタ画像を生成し（ステップＳ１０）、生成された合成キャラクタ画像を、決定された状態（変化）となるようにして、被写体画像上に合成して表示する（ステップＳ１０）。

このような合成動作について一例を挙げて説明すれば、図４の第１のデータテーブル１０により、被写体の種類が「女性」である場合に、図５の第２のデータテーブル１１により、被写体の状態番号が「状態１」（正面、中央、大、１、近い、静止、笑っている）であれば、図４の第１のデータテーブル１０により、合成キャラクタとして状態１の「花飾り」を決定する。そして、図６の第３のデータテーブル１２により、「女性」の状態１の被写体の状態番号として「状態Ａ」を判定し、この判定結果に基づいて、図７の第４のデータテーブル１３により、「被写体の頭部」付近に「頭部の１／５」に縮小した「花飾り」を数量「１」で合成するという流れになる。

つまり、以下の流れで合成キャラクタ画像を生成する。
図８は、合成キャラクタ画像の生成概念を示す図である。
（第１の工程）図４の第１のデータテーブル１０を用いて、被写体画像１４に写し込まれている被写体１５の種類を判定する。ここでは、説明の便宜上、被写体１５の種類として、「女性」を判定したものとする。
（第２の工程）図５の第２のデータテーブル１１を用いて、被写体１５の状態を判定する。ここでは、説明の便宜上、「状態１」を判定したものとする。つまり、被写体１５の向き→正面、位置→中央、大きさ→大、数→１、距離→近い、動き→静止、特有状態→笑っている、を判定したものとする。
（第３の工程）図４の第１のデータテーブル１０を用いて、第１の工程で判定された被写体１５の種類と、第２の工程で判定された被写体１５の状態とに応じた合成キャラクタ画像１６を決定する。ここでは、被写体１５の種類が「女性」で、被写体１５の状態が「状態１」であるので、図４の第１のデータテーブル１０により、合成キャラクタ画像１６として「花飾り」が決定される。
（第４の工程）図６の第３のデータテーブル１２を用いて、第１の工程で判定された被写体１５の種類と、第２の工程で判定された被写体１５の状態とに応じた合成キャラクタ画像１６の状態番号を決定する。ここでは、被写体１５の種類が「女性」で、被写体１５の状態が「状態１」であるので、図６の第３のデータテーブル１１により、合成キャラクタ画像１６の状態番号として「状態Ａ」が決定される。
（第５の工程）図７の第４のデータテーブル１３を用いて、第３の工程で決定された合成キャラクタ画像１６の状態番号に対応した“状態”を合成キャラクタ画像１６に与え、その状態の合成キャラクタ図像１６を被写体画像１４上に合成した合成画像１７を生成する。つまり、図７の第４のデータテーブル１３において、「状態Ａ」に対応した合成キャラクタ画像１６の状態は、「被写体の頭部」、「頭部の１／５」及び「１」であるので、この場合は、「被写体の頭部」付近に「頭部の１／５」に縮小した「花飾り」を数量「１」で合成するという結果になり、図示のように、被写体１５の頭部付近に、頭部の１／５程度に縮小された花飾り（合成キャラクタ画像１６）が合成された合成画像１７が生成される。

なお、状態を変化させた合成キャラクタ画像１６の生成は、予め基準状態の合成キャラクタに対応する画像データを合成キャラクタの種類毎に記憶しておき、指定された状態に応じて、この基準状態の合成キャラクタの画像データの形状や向きを変形させることによって生成したり、あるいは、各状態毎に合成キャラクタの画像データを記憶しておき、合成キャラクタの種類と状態に応じて選択するようにしてもよい。また、画像データそのものを記憶するのではなく、合成キャラクタの形状の特徴を示す特徴情報の形態で画像データを生成するための生成情報を記憶するようにしてもよい。

このようにして合成画像１７を生成すると、次に、生成された合成キャラクタ画像１６を、決定された状態となるようにして、被写体画像１４の上に合成して表示、すなわち、表示部４に表示し（ステップＳ１１）、次いで、静止画記録が指示されたか否か（操作部３のシャッタボタンが押し下げ操作されたか否か）を判定する（ステップＳ１２）。

そして、静止画記録が指示された場合は、生成された合成キャラクタ画像１６を、決定された状態となるようにして被写体画像１４の上に合成した静止画データを生成し、その静止画データを画像ファイルにして、記憶部５に記録保存する（ステップＳ１３）一方、静止画記録が指示されなかった場合は、ステップＳ１３をパスし、いずれの場合も、次に、動画記録が新たに指示されたか、又は、当該指示が継続中か否かを判定する（ステップＳ１４）。

そして、動画記録が新たに指示された、又は、当該指示が継続中である場合は、生成された合成キャラクタ画像１６を、決定された状態となるようにして被写体画像１４の上に合成した動画フレームを動画データに追加し、動画記録の終了操作に伴い、その動画データを動画ファイルにして、記憶部５に記録保存する（ステップＳ１５）一方、動画記録が新たに指示されなかった場合且つ当該指示が継続中でない場合は、ステップＳ１５をパスし、いずれの場合も、ステップＳ１の撮影モード判定処理に復帰する。

以上のとおり、本実施形態によれば、撮影画像内に検出される被写体１４に応じた合成キャラクタ画像１６を該撮影画像上に合成して合成画像１７を生成することができる、たとえば、デジタルカメラ１などの画像合成装置において、被写体１４の種類（人、女性、Ａさん、猫、海、花、虫・・・・等々）または状態（向き、位置、大きさ、数、距離、動き、特有状態・・・・等々）に応じて合成キャラクタ画像１６（犬、猫、花飾り、名前、ハートマーク、ネズミ、魚、カモメ、蜜蜂、蝶々、虫かご・・・・等々）の合成状態を決定する（向き、位置、大きさ、数、動き、特有状態・・・・等々）か、あるいは、被写体１４の状態（向き、位置、大きさ、数、距離、動き、特有状態・・・・等々）に応じて合成キャラクタ画像１６の種類（犬、猫、花飾り、名前、ハートマーク、ネズミ、魚、カモメ、蜜蜂、蝶々、虫かご・・・・等々）または合成状態（向き、位置、大きさ、数、距離、動き、特有状態・・・・等々）を決定するようにしたので、被写体１４の状態にマッチしたより面白みのある合成画像１７を得ることができる、たとえば、デジタルカメラ１等に適用して好適な画像合成装置を実現することができる。

また、更に、逐次撮像される撮影画像内に逐次検出される被写体に応じた合成キャラクタ画像を該撮影画像上に逐次合成して合成画像を逐次生成するようにしてもよい。このようにすれば、逐次撮像される撮影画像、つまり、撮像部２から周期的に出力されるフレーム画像から被写体の状態を検出し、その状態に対応した合成キャラクタ画像を獲ることができる。

また、更に、逐次生成される合成画像をモニタ画面上に逐次表示する表示制御手段を備えるようにすれば、スルー画像を見ながら合成キャラクタ画像を視認することができるので、よりふさわしい合成キャラクタ画像を生成して記録することができる。

また、更に、逐次生成される合成画像を動画データとして逐次記録するようにすれば、静止画のみならず動画記録にも適用することができる。

更に、逐次生成される合成画像をモニタ画面上に逐次表示させている最中に、撮影指示があった場合に、その時点での合成画像を記録するようにすれば、スルー画像を見ながら所望の合成状態となった場合に記録することができるので、よりふさわしい合成状態を容易に選択して記録することができる。

また、更に、動画撮影の指示が継続して行われているあいだ、合成キャラクタが逐次変化する動画フレームを記録していくようにしてもよい。動画撮影に適した合成キャラクタ画像を得ることができる。

また、更に、被写体の種類と状態の両方に応じて合成キャラクタの種類または合成状態を変化させるようにすれば、きめ細かな合成キャラクタ画像を得ることができる。

また、更に、被写体の種類または状態に応じて合成キャラクタの種類と合成状態の両方を変化させる画像合成決定手段を備えるようにすれば、よりきめ細かな合成キャラクタ画像を得ることができる。

また、更に、検出可能な被写体の種類には人物が含まれ、人物の検出状態に応じて合成キャラクタの種類または合成状態を変化させるようにすれば、ポートレート撮影等の人物撮影に適した合成キャラクタ画像を得ることができる。

また、更に、検出可能な被写体の状態には人物の表情が含まれ、人物の表情に応じて合成キャラクタの種類または合成状態を変化させるようにすれば、ポートレート撮影等の人物撮影に、より適した合成キャラクタ画像を得ることができる。

また、更に、検出可能な被写体の状態には、特定の被写体の過去における出現頻度が含まれ、特定の被写体の出現頻度が高くなった場合に所定の合成キャラクタを合成する第５の画像合成決定手段を備えるようにすれば、たとえば、特定の人物（例：Ａさん）の撮影頻度が高い場合に当該人物（Ａさん）に適した合成キャラクタ画像を得ることができる。

また、更に、合成条件、合成内容または合成タイミングを学習するようにすれば、撮影者の癖（好み）を反映した合成キャラクタ画像を得ることができる。

また、逐次撮像される撮影画像内に逐次検出される被写体に応じた合成キャラクタを該撮影画像上に逐次合成して合成画像を逐次生成し、この逐次生成される合成画像をモニタ画面上に逐次表示させている最中に、撮影指示があった場合に、撮影指示のタイミングに対応する合成画像を静止画データまたは動画データとして記録するようにしてもよい。このようにすれば、自動的に合成される合成画像の状態をスルー画像上で確認しながら各タイミングでの合成画像の記録の有無を決定することができるから好ましい。

また、更に、動画データの撮影記録中における合成キャラクタの合成タイミングを、被写体の種類または状態の変化に応じて決定するようにしてもよい。

デジタルカメラの構成図である。 制御部７の動作フローを示す図（１／２）である。 制御部７の動作フローを示す図（２／２）である。 第１のデータテーブル１０の概念図である。 第２のデータテーブル１１の概念図である。 第３のデータテーブル１２の概念図である。 第４のデータテーブル１３の概念図である。 合成キャラクタ画像の生成概念を示す図である。

符号の説明

１ デジタルカメラ（画像合成装置）
７ 制御部（画像合成決定手段、第１〜第５の画像合成決定手段、逐次合成手段、表示制御手段、動画記録制御手段、第１の動画記録制御手段、静止画記録制御手段、学習手段、設定手段）

Claims (27)

1. 逐次撮像される撮影画像内に逐次検出される被写体に応じた合成キャラクタを該撮影画像上に逐次合成して合成画像を逐次生成し、この逐次生成される合成画像をモニタ画面上に逐次表示させている最中に、撮影指示があった場合に、撮影指示のタイミングに対応する合成画像を静止画データまたは動画データとして記録し、
   動画データの撮影記録中における合成キャラクタの合成タイミングを、被写体の種類または状態の変化に応じて決定することを特徴とする画像合成装置。
2. 撮影画像内に検出される被写体に応じた合成キャラクタを該撮影画像上に合成して合成画像を生成する画像合成装置であって、
   被写体の種類に応じて合成キャラクタの合成状態を決定するか、あるいは、被写体の状態に応じて合成キャラクタの種類を決定する画像合成決定手段を備え、
   前記検出可能な被写体の状態には、特定の被写体の過去における出現頻度が含まれ、
   前記画像合成決定手段は、特定の被写体の出現頻度が高くなった場合に所定の合成キャラクタを合成することを特徴とする画像合成装置。
3. 撮影画像内に検出される被写体に応じた合成キャラクタを該撮影画像上に合成して合成画像を生成する画像合成装置であって、
   被写体の種類に応じて合成キャラクタの合成状態を決定するか、あるいは、被写体の状態に応じて合成キャラクタの種類を決定する画像合成決定手段と、
   前記合成における合成条件、合成内容または合成タイミングを学習する学習手段と
   を備えることを特徴とする画像合成装置。
4. 前記画像合成決定手段は、被写体の種類と状態の組み合わせに応じて合成キャラクタの種類または合成状態を決定することを特徴とする請求項２乃至３のいずれかに記載の画像合成装置。
5. 前記画像合成決定手段は、被写体の種類と状態の組み合わせに応じて合成キャラクタの種類と合成状態の両方を決定することを特徴とする請求項４に記載の画像合成装置。
6. 前記検出可能な被写体の状態には、少なくとも被写体の向き、位置、大きさ、数、距離、動き、出現頻度のうちの１つが含まれることを特徴とする請求項５に記載の画像合成装置。
7. 前記検出可能な被写体の状態は、被写体の向き、位置、大きさ、数、距離、動き、出現頻度のうちの複数項目によって示される状態であることを特徴とする請求項６に記載の画像合成装置。
8. 前記合成キャラクタの合成状態には、少なくとも合成キャラクタの向き、位置、大きさ、数、動きのうちの１つが含まれることを特徴とする請求項５乃至７のいずれかに記載の画像合成装置。
9. 前記合成キャラクタの合成状態は、合成キャラクタの向き、位置、大きさ、数、動きのうちの複数項目によって示される合成状態であることを特徴とする請求項８に記載の画像合成装置。
10. 更に、逐次撮像される撮影画像内に逐次検出される被写体に応じた合成キャラクタを該撮影画像上に逐次合成して合成画像を逐次生成する逐次合成手段を備えることを特徴とする請求項２乃至９のいずれかに記載の画像合成装置。
11. 更に、前記画像合成決定手段は、被写体の種類の変化または被写体の状態の変化に応じて合成キャラクタの合成状態を逐次変化させることを特徴とする請求項２乃至１０のいずれかに記載の画像合成装置。
12. 更に、前記画像合成決定手段は、被写体の種類の変化または被写体の状態の変化に応じて合成キャラクタの合成の有無を逐次変化させることを特徴とする請求項２乃至１１のいずれかに記載の画像合成装置。
13. 更に、前記画像合成決定手段は、被写体の状態の変化に応じて合成キャラクタの種類または合成状態を逐次変化させることを特徴とする請求項２乃至１２のいずれかに記載の画像合成装置。
14. 更に、逐次生成される合成画像をモニタ画面上に逐次表示する表示制御手段を備えることを特徴とする請求項８乃至１１のいずれかに記載の画像合成装置。
15. 更に、逐次生成される合成画像を動画データとして逐次記録する動画記録制御手段を備えることを特徴とする請求項１０乃至１４のいずれかに記載の画像合成装置。
16. 更に、逐次生成される合成画像をモニタ画面上に逐次表示させている最中に、撮影指示があった場合に、その時点での合成画像を記録する静止画記録制御手段を備えることを特徴とする請求項１０乃至１５のいずれかに記載の画像合成装置。
17. 更に、動画撮影の指示が継続して行われているあいだ、合成キャラクタが逐次変化する動画フレームを記録していく第１の動画記録制御手段を備えることを特徴とする請求項１６に記載の画像合成装置。
18. 更に、被写体の種類と状態の組み合わせ毎に、合成キャラクタの種類または合成状態を記憶した記憶手段を備え、
    前記画像合成決定手段は、前記記憶手段を参照することにより、被写体の種類と状態の組み合わせに応じた合成キャラクタの種類または合成状態を決定することを特徴とする請求項４乃至１７のいずれかに記載の画像合成装置。
19. 更に、被写体の種類と状態の組み合わせに対応する合成キャラクタの種類または合成状態を任意に設定して前記記憶手段に記憶させる設定手段を備えることを特徴とする請求項１８に記載の画像合成装置。
20. 前記検出可能な被写体の種類には、少なくとも人物、動物、自然物、昆虫のうちの複数種類を含むことを特徴とする請求項４乃至１９のいずれかに記載の画像合成装置。
21. 前記検出可能な被写体の種類には人物が含まれ、前記検出可能な被写体の状態には人物の表情が含まれ、
    前記画像合成決定手段は、人物の表情に応じて合成キャラクタの種類または合成状態を変化させることを特徴とする請求項４乃至２０のいずれかに記載の画像合成装置。
22. 逐次撮像される撮影画像内に逐次検出される被写体に応じた合成キャラクタを該撮影画像上に逐次合成して合成画像を逐次生成し、この逐次生成される合成画像をモニタ画面上に逐次表示させている最中に、撮影指示があった場合に、撮影指示のタイミングに対応する合成画像を静止画データまたは動画データとして記録し、
    動画データの撮影記録中における合成キャラクタの合成タイミングを、被写体の種類または状態の変化に応じて決定することを特徴とする画像合成方法。
23. 撮影画像内に検出される被写体に応じた合成キャラクタを該撮影画像上に合成して合成画像を生成する画像合成方法であって、
    被写体の種類に応じて合成キャラクタの合成状態を決定するか、あるいは、被写体の状態に応じて合成キャラクタの種類を決定する処理を含み、
    前記検出可能な被写体の状態には、特定の被写体の過去における出現頻度が含まれ、
    特定の被写体の出現頻度が高くなった場合に所定の合成キャラクタを合成することを特徴とする画像合成方法。
24. 撮影画像内に検出される被写体に応じた合成キャラクタを該撮影画像上に合成して合成画像を生成する画像合成方法であって、
    被写体の種類に応じて合成キャラクタの合成状態を決定するか、あるいは、被写体の状態に応じて合成キャラクタの種類を決定する処理と、
    前記合成における合成条件、合成内容または合成タイミングを学習する処理と
    を含むことを特徴とする画像合成方法。
25. 画像合成装置のコンピュータに、
    逐次撮像される撮影画像内に逐次検出される被写体に応じた合成キャラクタを該撮影画像上に逐次合成して合成画像を逐次生成し、この逐次生成される合成画像をモニタ画面上に逐次表示させている最中に、撮影指示があった場合に、撮影指示のタイミングに対応する合成画像を静止画データまたは動画データとして記録する処理と、
    動画データの撮影記録中における合成キャラクタの合成タイミングを、被写体の種類または状態の変化に応じて決定する処理と
    を実行させることを特徴とするプログラム。
26. 撮影画像内に検出される被写体に応じた合成キャラクタを該撮影画像上に合成して合成画像を生成する画像合成装置のコンピュータを、
    被写体の種類に応じて合成キャラクタの合成状態を決定するか、あるいは、被写体の状態に応じて合成キャラクタの種類を決定する画像合成決定手段として機能させるプログラムであって、
    前記検出可能な被写体の状態には、特定の被写体の過去における出現頻度が含まれ、
    前記画像合成決定手段は、特定の被写体の出現頻度が高くなった場合に所定の合成キャラクタを合成することを特徴とするプログラム。
27. 撮影画像内に検出される被写体に応じた合成キャラクタを該撮影画像上に合成して合成画像を生成する画像合成装置のコンピュータを、
    被写体の種類に応じて合成キャラクタの合成状態を決定するか、あるいは、被写体の状態に応じて合成キャラクタの種類を決定する画像合成決定手段と、
    前記合成における合成条件、合成内容または合成タイミングを学習する学習手段と
    として機能させることを特徴とするプログラム。
    

Images