JP7362696B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置及び画像処理方法に係り、特に複数人が撮像された画像データを合
成する技術に関する。

本技術分野の背景技術として、特許文献１には「撮影者を含む複数人数での集合写真を
容易に撮影可能とする」ことを課題とし、その解決手段として「デジタルカメラにおいて
、合成撮影モードが指示された直後に、一人の撮影者によって他の被撮影者（複数）の撮
影画像ａが撮影される。次いで、他の被撮影者の誰かにデジタルカメラに渡され、先の撮
影者一人の撮影画像ｂが撮影される。そして、所定の合成条件、例えば、一方の撮影画像
内に所定サイズ以上の複数の顔があり、かつ、他方の撮影画像内に所定サイズ以上の顔が
１つある場合や、２つの撮影画像ａ、ｂの各々で検出される顔の人物構成が異なる場合に
、連続して撮影された２枚の撮影画像ａ、ｂのどちらか一方に含まれる顔画像を、他方に
合成した新たな合成画像ｃを作成する。これにより、複数人数全てが撮影された集合写真
を容易に合成する」ことが開示されている。

米国特許出願公開第２０１２／１２０２７３号明細書（抜粋）

前記特許文献１は、合成撮影モードが指示された直後に撮影画像ａ、ｂが連続して撮影
（以下「一連の撮影」という）されるとこれらを基に合成画像ｃが作成される。しかし、
例えば一連の撮影中に別のシャッターチャンスが訪れた場合、一連の撮影が終了するまで
は別の画像を撮影できないため、シャッターチャンスを逃す可能性があり、加えて一方の
写真が気に入らない場合は最初から撮り直す必要があることから、合成写真を生成する際
の操作性に更なる改善の余地がある。

本発明は上記実情に鑑みてなされたものであり、その目的は、複数人数の全員を含む写
真を容易に生成する際の操作性を向上させた撮像装置及び画像処理方法を提供することで
ある。

上記課題を解決するために、本発明は特許請求の範囲に記載の構成を備える。その一例をあげるならば、撮像装置において、タッチセンサを備えた表示パネルと、前記タッチセンサを備えた表示パネルにおいて選択された被写体を撮像して画像データを生成する撮像処理部と、前記画像データの被写体の顔認識処理を実行する顔認識処理部と、前記画像データを記録する画像記録部と、複数の画像データに合成処理を実行して合成データを生成する合成処理部と、制御部と、を備え、前記表示パネルに表示される合成処理を実行させるためのアイコンへのタッチ操作を検出すると、前記制御部は、前記撮像処理部により撮像して生成され、かつ、少なくとも表示位置が重なっていない未登録の第一の人物と未登録の第二の人物を含む第一の画像データに対して、前記撮像処理部により前記第一の画像データの撮像から所定時間内に撮像して生成された複数の画像データのうち所定の条件に基づいて検索して抽出した少なくとも前記未登録の第一の人物を含み前記未登録の第二の人物を含まない第二の画像データを用いて合成処理することにより、前記第一の画像データから前記未登録の第一の人物を含み前記未登録の第二の人物を含まない第三の画像データを生成するように前記合成処理部を制御し、前記合成処理部による前記合成処理が実行できた場合と出来なかった場合とで前記表示パネルに異なる表示をするように制御するものであって、前記合成処理部による前記合成処理が実行できた場合には、合成処理がされた合成後の画像を前記表示パネルに表示するように制御し、前記合成処理部による前記合成処理が実行できなかった場合には、合成処理が実行できなかったことを通知するメッセージを前記表示パネルに表示するように制御する、ことを特徴とする。

本発明によれば、複数人数の全員を含む写真を容易に生成する際の操作性を向上させた
撮像装置及び画像処理方法を提供することができる。上記した以外の課題、構成及び効果
は、以下の実施形態の説明により明らかにされる。

第一実施形態に係る撮像装置の構成例を示すブロック図 第一実施形態に係る撮像装置のソフトウェア構成図を示す図 第一実施形態に係る撮像装置の正面図 第一実施形態に係る撮像装置の背面図 第一実施形態に係る撮像装置の全体の動作例を示すフローチャート 第一実施形態に係る撮像装置の別の動作例（自動合成モード）を示すフローチャート 第一実施形態に係る合成処理部の動作例を示すフローチャート 第一実施形態に係る撮像装置による撮影直後の表示部の表示例を示す図 第一実施形態に係る撮像装置により合成された画像データの表示例を示す図 第一実施形態に係る撮像装置により合成された画像データを記録するか否かの選択画面の表示例を示す図 第一実施形態に係る撮像装置により画像を合成できなかった場合の表示例を示す図 第一実施形態に係る撮像装置により別の画像と合成した画像データを表示するか否かの選択画面の表示例を示す図 第一実施形態に係る画像データの検索と合成の一例を示す説明図 第一実施形態に係る画像データの検索と合成の一例を示す説明図 第二実施形態に係る撮像装置の全体の動作例を示すフローチャート 第二実施形態に係る合成処理部の動作例を示すフローチャート 第二実施形態に係る撮像装置において再生ボタンが押された場合の表示部の表示例を示す図 第二実施形態に係る撮像装置において別の画像データに変更された場合の表示部の表示例を示す図 第二実施形態に係る撮像装置において合成ボタンが押された場合の表示部の表示例を示す図 第二実施形態に係る撮像装置において別の画像データに変更された場合の表示部の表示例を示す図 第二実施形態に係る画像データの検索と合成の一例を示す説明図 第三実施形態に係る撮像装置の全体の動作例を示すフローチャート 第三実施形態に係る合成処理部の動作例を示すフローチャート 第三実施形態に係る撮像装置において撮影直後、あるいは再生ボタンが押された場合の表示部の表示例を示す図 第三実施形態に係る撮像装置により合成された画像データの表示例を示す図 第三実施形態に係る画像データの検索と合成の一例を示す説明図 第四実施形態に係る撮像装置の構成例を示すブロック図 第四実施形態に係る撮像装置のソフトウェア構成図を示す図 第四実施形態に係る合成処理部の動作例を示すフローチャート 第四実施形態に係る画像データの検索と合成の一例を示す説明図

以下、本発明の実施形態について、図面を用いて説明する。全図を通じで同一の構成に
は同一の符号を付けてその重複説明は省略する。以下の実施形態においては、本発明に係
る撮像装置を例に挙げて説明する。

＜第一実施形態＞
第一実施形態は、表示中の画像データと撮像装置が選択した画像データとを、手動合成
モード（ユーザによる合成指示後に合成する動作モード）、又は自動合成モード（撮像装
置が自動で合成する動作モード）により合成する実施形態である。

［撮像装置のハードウェア構成］
図１Ａは、本発明の第一実施形態に係る撮像装置の構成例を示すブロック図である。

図１Ａにおいて、主制御部１０１は、ＣＰＵ（Central Processing Unit）等で構成さ
れ、ＲＯＭ（Read Only Memory）１０２あるいはＲＡＭ（Random Access Memory）１０３
に記憶された各種の動作プログラムおよびデータに従って撮像装置１の全体を制御する。
システムバス１００は制御部１０１と撮像装置１内の各部との間でデータ送受信を行うた
めのデータ通信路である。

ＲＯＭ１０２は、撮像装置１を制御するための各種プログラムが格納されたメモリであ
り、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）やフラッシュＲＯ
Ｍのような書き換え可能なＲＯＭが用いられる。

ＲＡＭ１０３はＲＯＭ１０２に記憶されたプログラムの実行時の一時記憶領域あるいは
撮影した画像の一時記憶として使用される。

ストレージ部１０４（画像記録部に相当する）は、撮像装置１の動作設定値等の情報を
記憶するものであり、例えばフラッシュＲＯＭやＳＳＤ（Solid State Drive）のような
不揮発性で書き換え可能なデバイスが用いられる。

ＲＯＭ１０２およびＲＡＭ１０３は主制御部１０１と一体構成であってもよい。また、
ＲＯＭ１０２は、図１Ａに示したような独立構成とはせず、ストレージ部１０４内の一部
記憶領域を使用するようにしてもよい。

外部記憶媒体インターフェース（Ｉ／Ｆ）１０５はＳＤカードのような撮像装置１に収
納、取り出し可能な外部記録媒体１０６に情報を記録・読み出しのためのインターフェー
スである。

外部インターフェース１０７は、撮像装置１の機能を拡張するためのインターフェース
群であり、本実施形態では、ＵＳＢ（Universal Serial Bus）インターフェース（Ｉ／Ｆ
）１０７ａ、映像出力インターフェース（Ｉ／Ｆ）１０７ｂ、音声出力インターフェース
（Ｉ／Ｆ）１０７ｃを有する。ＵＳＢインターフェース１０７ａはパソコンあるいはテレ
ビ受信装置等の外部装置のＵＳＢインターフェースに接続し、ストレージ部１０４あるい
は外部記録媒体１０６に保存された画像データ等を外部装置で読込、表示等が可能となっ
ている。映像出力インターフェース１０７ｂおよび音声出力インターフェース１０７ｃは
、外部映像／音声出力機器に映像信号／音声信号の出力を行う。ここで、映像出力インタ
ーフェース１０７ｂ、音声出力インターフェース１０７ｃはＨＤＭＩ（High-Definition
Multimedia Interface：登録商標）を用いて、映像と音声を一緒に出力するようにしても
よい。

音声入力部１０８は、撮像装置１の周辺の音声を電気信号に変換するマイク、および電
気信号に変換された音声をディジタル信号の音声データに変換するＡ/Ｄ変換器等で構成
される。

音声信号処理部１０９では音声入力部から入力された音声データに対して、フィルタ処
理や外部記録媒体１０６に記録する動画像のフォーマットに従って音声データの変換する
処理などを行う。

撮像部１１０は、ズームやフォーカス動作のためのレンズを含む光学系、前記レンズを
ズームやフォーカス動作のために駆動する機構系、およびレンズから入力した被写体の光
画像を電気信号に変換するＣＣＤあるいはＣＭＯＳ等の画像センサと電気信号に変換され
た画像をディジタル信号の画像データに変換するＡ/Ｄ変換器等の電気系のデバイスで構
成される。

画像信号処理部１１１は、撮像部１１０から入力された画像データに対してホワイトバ
ランス調整、露出調整、ガンマ補正等の画像処理を行う。また、外部記録媒体１０６に記
録するフォーマットに従って、例えば動画像の場合にはＭＰＥＧ２あるいはＨ．２６４等
の画像データに変換し、静止画像の場合にはＪＰＥＧ、ＴＩＦＦ等の画像データに変換す
る処理などを行う。また、ストレージ部１０４あるいは外部記録媒体１０６に記憶した画
像データの合成処理、顔認識処理、パターンマッチング処理などを行う。

表示部１１２は撮像部１１０の画像センサで撮像している被写体の画像、ストレージ部
１０４あるいは外部記録媒体１０６に記録されている画像、あるいは撮像装置１の各種設
定を行うための画面等を表示する。

操作部１１３は、撮像装置１に対する操作指示の入力を行う指示入力部であり、電源オ
ン/オフボタン、シャッターボタン、再生ボタン、合成ボタン、各種設定を行うためのボ
タン等を有する。また、表示部１１２の表面にタッチパネルを設け、表示部１１２に表示
したボタン等の位置とタッチパネルをタッチした位置を検出することで撮像装置１に対す
る操作指示の入力を行うようにしてもよい。

計時部１１４は、例えばユーザが設定した日時・時刻からの経過時間をＲＴＣ（Real T
ime Clock）回路を用いて計測を行い、日時・時刻情報を出力するものであり、計時部１
１４から取得した日時・時刻情報に基づいて画像データに日時・時刻情報を付加して記録
を行う。

ＧＰＳ受信部１１５は複数のＧＰＳ衛星からの電波を受信するものであり、受信した信
号に基づいて撮像装置１の位置(緯度、経度等)情報を取得することができる。この位置情
報も、画像データに付加して記録される。

電源部１１６はバッテリー（図示せず）を含み、主制御部１０１からの指示により、電
源オン状態、電源オフ状態、電源オフ待機状態等の状態に応じて撮像装置１を構成する各
部位への電源を供給する。

撮像装置１は、撮像部１１０を備えるものであればデジタルカメラや携帯電話、スマー
トフォン、タブレット端末、ナビゲーション装置等、であっても良いし、ＰＤＡ（Ｐｅｒ
ｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）やノート型ＰＣ（Ｐｅｒｓｏｎａ
ｌ Ｃｏｍｐｕｔｅｒ）であってもよい。通信機能を備えた音楽プレーヤや携帯型ゲーム
機等、またはその他の携帯用ディジタル機器であっても良い。また、ウェラブルなスマー
トウォッチ、スマートグラス等でもよい。

［撮像装置のソフトウェア構成］
図１Ｂは、第一実施形態に係る撮像装置のソフトウェア構成図を示す図であり、ＲＯＭ
１０２、ＲＡＭ１０３およびストレージ部１０４におけるソフトウェアの構成を示す。

図１Ｂにおいて、主制御部１０１がＲＯＭ１０２に記憶されたプログラムを実行するこ
とにより、基本動作実行部１０２１、位置情報取得部１０２２、撮像処理部１０２３、画
像記録部１０２４、画像再生部１０２５、電源管理部１０２６、合成処理部１０２７、顔
認識処理部１０２８を構成する。また、ＲＡＭ１０３は、ＲＯＭ１０２に記憶されたプロ
グラムを実行する際に必要に応じてデータを一時的に保持する一時記憶領域１０３１、撮
像処理部１０２３が撮像部１１０を介して撮影した画像を一時的に記憶する画像一時記憶
領域１０３２を備えるものとする。

ストレージ部１０４には、ＲＯＭ１０２に記憶されたプログラムを実行する際の設定情
報を記憶する設定情報記憶領域１０４１、及び撮像装置１で撮影した静止画像データや動
画像データを記憶する画像記憶領域１０４２等も有する。

なお、以下では、説明を簡単にするために、主制御部１０１がＲＯＭ１０２に格納され
たプログラム実行することにより各動作ブロックの制御を行うものとして記述する。

基本動作実行部１０２１は、撮像装置１の各種設定や全体の動作を制御する。

位置情報取得部１０２２はＧＰＳ受信部１１５で受信したＧＰＳ衛星からの信号に基づ
いて、撮像装置１の緯度、経度等の位置情報を取得する処理を行う。また、Ｗｉ－Ｆｉ（
登録商標）受信機能を備え、Ｗｉ－Ｆｉの電波受信レベルの情報を用いて位置情報の補正
を行うことで精度を向上するようにしたり、Ｗｉ－Ｆｉの電波受信レベルの情報を用いて
位置情報を取得したりしてもよい。

撮像処理部１０２３は、操作部１１３に含まれるシャッターボタンが押された場合に、
撮像部１１０で撮像した被写体の画像データをＲＡＭ１０３の画像一時記憶領域１０３２
に取り込む処理を行う。

画像記録部１０２４は画像一時記憶領域１０３２に取り込まれた画像データをストレー
ジ部１０４の画像記憶領域１０４２に記録する、あるいは外部記録媒体インターフェース
１０５を介して外部記録媒体１０６に記録する処理を行う。

画像再生部１０２５は、撮像部１１０の画像センサで撮像している被写体の画像をＲＡ
Ｍ１０３の画像一時記憶領域１０３２を介して表示部１１２に表示する処理を行う。また
、ストレージ部１０４、あるいは外部記録媒体１０６に記録された画像データを読み出し
、表示部１１２に表示する処理を行う。

電源管理部１０２６は操作部１１３に含まれる電源ボタンにより撮像装置１を構成する
各部位に供給する電源を制御する処理を行う。

合成処理部１０２７は、操作部１１３に含まれる合成ボタンが押された場合や、合成し
た画像データの表示が選択された場合などに、ストレージ部１０４や外部記録媒体１０６
に記憶された画像データを合成する処理を行う。

顔認識処理部１０２８は、ＲＡＭ１０３、ストレージ部１０４や外部記録媒体１０６に
記憶された画像データの顔認識処理を行う。

前記ＲＯＭ１０２に記憶されたプログラムは、製品出荷の時点で、予めに格納された状
態であってもよい。また製品出荷後に、パソコンによりインターネット上のサーバ装置等
から取得したプログラムを、ＵＳＢインターフェース部１０７ａを介して格納したもので
あってもよい。

なお、ＲＡＭ１０３に画像一時記憶領域１０３２を設ける代わりに、撮像部１１０ある
いは画像信号処理部１１１に画像データを一旦記憶するバッファメモリを設けるようにし
てもよい。

［撮像装置の外観図］
図２Ａ、及び図２Ｂを参照して第一実施形態に係る撮像装置の外観について説明する。

図２Ａは撮像装置１の正面図である。撮像装置１の正面には撮像部１１０を構成するレ
ンズが配置されている。また、撮像装置１の上部には操作部１１３を構成する電源ボタン
１１３－１、シャッターボタン１１３－２が配置されている。

図２Ｂは撮像装置１の背面図である。撮像装置１の背面には表示部１１２と、操作部１
１３を構成する選択/決定操作ボタン１１３－３、種々の設定・ファイル操作処理選択等
を行うためのメニューボタン１１３－４、ストレージ部１０４あるいは外部記録媒体１０
６に記録された画像データを再生するための再生ボタン１１３－５、画像データを合成す
るための合成ボタン１１３－６（合成指示操作部に相当する）が配置されている。表示部
１１２にタッチセンサを備え、シャッターボタン１１３－２や選択/決定操作ボタン１１
３－３、メニューボタン１１３－４、再生ボタン１１３－５、合成ボタン１１３－６の代
わりに操作できるようにしてもよい。

［撮像装置の全体動作］
図３は第一実施形態に係る撮像装置の全体の動作例を示すフローチャートである。図３
では、手動モード、すなわち画像合成の指示をユーザが入力操作、より具体的には以下の
例における「画像合成ボタンの押下げ（Ｓ３１２；Ｙｅｓ）」を契機として画像合成処理
（Ｓ３１３）が実行される場合の動作の流れについて説明する。

まず電源管理部１０２６により電源ボタン１１３－１の押下の確認を行う。押下げされ
ていなければ（Ｓ３０１；Ｎｏ）次のステップに遷移することなく本ステップで待機する
。

電源ボタン１１３－１が押された場合（Ｓ３０１；Ｙｅｓ）は、撮像装置１の起動処理
を行う（Ｓ３０２）。起動すると、撮像部１１０の画像センサで撮像している被写体の画
像を表示部１１２に表示する。

電源管理部１０２６により電源ボタン１１３－１の押下の確認を行う。電源ボタン１１
３－１が押された場合（Ｓ３０３；Ｙｅｓ）は、撮像装置１の終了処理を行う（Ｓ３０４
）。

電源ボタン１１３－１が押されていない場合（Ｓ３０３；Ｎｏ）は、撮像処理部１０２
３により、シャッターボタン１１３－２の押下の確認を行う。シャッターボタン１１３－
２が押された場合（Ｓ３０５；Ｙｅｓ）は、撮像部１１０は被写体の画像データを撮像し
て取得し（Ｓ３０６）、ＲＡＭ１０３の画像一時記憶領域１０３２に記憶する。また、撮
像した機種、絞り値、画素数、ＩＳＯ感度、撮影日時、位置情報などの付加情報も画像一
時記憶領域１０３２に記憶する。そして画像一時記憶領域１０３２に記憶した画像データ
及び付加情報を、画像記録部１０２４により、ストレージ部１０４あるいは外部記録媒体
１０６に記録する（Ｓ３０７）。そして、撮像部１１０で撮像し、画像一時記憶領域１０
３２に記憶した画像データが表示部１１２に表示される（Ｓ３０９）。

シャッターボタン１１３－２が押されなかった場合（Ｓ３０５；Ｎｏ）は、画像再生部
１０２５により再生ボタン１１３－５の押下の確認を行う。再生ボタン１１３－５が押さ
れた場合（Ｓ３０８；Ｙｅｓ）は、ストレージ部１０４や外部記録媒体１０６に記録され
た画像データを、画像再生部１０２５により再生し、表示部１１２に表示する（Ｓ３０９
）。再生・表示する画像は再生ボタン１１３－５を押して表示部１１２に表示させること
ができる。この表示部１１２に表示された画像データ、及びユーザが撮影して生成され表
示部１１２に表示された画像データ（Ｓ３０６）が、第一の画像データに相当する。

図６Ａは撮像装置１による撮影直後の表示部１１２の表示例を示す図である。山を背景
に人物Ａが撮影されている。撮影した画像データの表示時間は例えば３秒程度であり、ユ
ーザが変更できるようにしてもよい。所定時間を経過すると画像データの表示が消えるが
、再生ボタン１１３－５が押された場合は再び表示する。

再生ボタン１１３－５が押されなかった場合（Ｓ３０８；Ｎｏ）は、合成処理部１０２
７により合成ボタン１１３－６の押下の確認を行う。合成ボタン１１３－６が押された場
合（Ｓ３１２；Ｙｅｓ）は、撮像部１１０で撮像し、画像一時記憶領域１０３２を介して
ストレージ部１０４や外部記録媒体１０６に記録された画像データを合成処理部１０２７
により合成（Ｓ３１３）し、合成された画像データが表示部１１２に表示される（Ｓ３１
５）。

図６Ｂは撮像装置１により合成された画像データの表示例を示す図である。山を背景に
撮影された人物Ａを含む画像に、同じ山を背景に撮影された人物Ｂが合成されている。

選択/決定操作ボタン１１３－３により合成した画像データをストレージ部１０４や外
部記録媒体１０６に記録する選択・決定が行われると（Ｓ３１７：Ｙｅｓ）、画像記録部
１０２４は、合成処理部１０２７で合成した画像データをストレージ部１０４や外部記録
媒体１０６に記録する（Ｓ３１８）。

図７Ａは撮像装置１により合成された画像データを記録するか否かの選択画面の表示例
を示す図である。ユーザは選択/決定操作ボタン１１３－３により「はい」「いいえ」を
選択し、決定する。

選択/決定操作ボタン１１３－３により合成した画像データをストレージ部１０４や外
部記録媒体１０６に記録しない選択・決定が行われた場合（Ｓ３１７：Ｎｏ）、または合
成ボタンの押下げがされない場合（Ｓ３１２；Ｎｏ）、画像再生処理（Ｓ３１５）の後、
若しくは画像再生処理（Ｓ３０９）の後、ステップＳ３０３へ戻る。

図７Ｂは画像を合成できなかった場合の表示例を示す図である。画像を合成できなかっ
た場合（Ｓ３１３による画像合成処理の結果、合成ができなかった場合）は、図７Ａの代
わりに図７Ｂに示す画面が表示部１１２に表示される。

以上のＳ３０１～Ｓ３１８の処理を行うことで画像の記録、再生、および合成を行う。

なお、独立した合成ボタン１１３－６ではなく、メニューボタン１１３－４や選択/決
定操作ボタン１１３－３で合成処理を選択して実行するようにしてもよい。また、予め重
要人物を登録しておき、この人物を撮影した場合は、合成動作を自動的に行うようにして
もよい。また、シャッターボタン１１３－２を押す代わりに、タッチセンサを備えた表示
部１１２に表示された被写体に触れることで撮影した場合、被写体が人物であれば当該人
物を重要人物に登録してもよい。また、撮影した人物が画像の中心から所定値以上、ある
いは所定の割合以上ずれていた場合、例えば中心から２０％以上ずれていた場合に合成動
作を自動的に行うようにしてもよい。

次に、人物を撮影した際に合成処理を自動的に行う、所謂自動合成モードにおける画像
合成処理について図４を参照して説明する。図４は第一実施形態に係る撮像装置１の別の
動作例（自動合成モード）を示すフローチャートである。

図４のＳ４０１～Ｓ４０９は図３のＳ３０１～Ｓ３０９と同様であるため、説明を省略
する。

合成処理部１０２７は、自動合成モードか否かの確認を行う（Ｓ４１２）。自動合成モ
ードは予めメニューボタン１１３－４や選択/決定操作ボタン１１３－３で設定しておく
。従って、メニューボタン１１３－４や選択/決定操作ボタン１１３－３は、モード設定
部に相当する。

自動合成モードの場合（Ｓ４１２；Ｙｅｓ）、合成処理部１０２７は撮像部１１０で撮
像し、画像一時記憶領域１０３２を介してストレージ部１０４や外部記録媒体１０６に記
録された画像データを合成する（Ｓ４１３）。合成処理部１０２７は画像一時記憶領域１
０３２にて合成処理を行う。

表示部１１２は合成した画像データの表示の有無を選択するための画面を表示する。ユ
ーザが選択/決定操作ボタン１１３－３により合成した画像データを表示するか否かの選
択・決定を行う（Ｓ４１４；Ｙｅｓ）。

図８は、撮像装置１により別の画像と合成した画像データを表示するか否かの選択画面
の表示例を示す図である。ユーザは選択/決定操作ボタン１１３－３により「はい」「い
いえ」を選択し、決定する。別の画像と合成できない場合は、表示しない。

Ｓ４１５～４１８：図３のＳ３１５～Ｓ３１８と同様であるため、説明を省略する。

自動合成モードに設定されていない場合（Ｓ４１２；Ｎｏ）、又は合成した画像データ
を表示しない場合（Ｓ４１４；Ｎｏ）、Ｓ４０３へ戻る。

以上のＳ４０１～Ｓ４１８の処理を行うことで自動合成モードにおいて画像の記録、再
生、および合成が行われる。

［画像合成処理］
次に、Ｓ３１３とＳ４１１の画像合成処理について説明する。

図５は合成処理部１０２７の動作例を示すフローチャートである。

合成処理部１０２７はストレージ部１０４の画像記憶領域１０４２又は外部記録場以外
１０６に記憶された画像データの中から、表示部１１２に表示されている画像と同一撮影
日で、一番新しい画像を検索する（Ｓ５０１）。以下、検索した画像を「検索画像」、表
示部１１２に表示されている画像を「表示画像」と称する。

合成処理部１０２７は、位置情報取得部１０２２により取得した位置情報により、検索
画像の撮影場所が表示画像の撮影場所と同じか否かの確認を行う（Ｓ５０２）。

撮影場所が同じ場合（Ｓ５０２；Ｙｅｓ）は、検索画像の撮影日時と表示画像の撮影日
時が所定時間内か否かの確認を行う（Ｓ５０３）。所定時間は例えば３分程度であり、ユ
ーザが変更できるようにしてもよい。

撮影日時が所定時間内の場合（Ｓ５０３；Ｙｅｓ）は、パターンマッチングにより検索
画像の背景が表示画像の背景と同じか否かの確認を行う（Ｓ５０４）。

背景が同じ場合（Ｓ５０４；Ｙｅｓ）は、顔認識処理部１０２８により、表示画像に含
まれている人物と同じ人物が検索画像に含まれているか否かの確認を行う（Ｓ５０５）。

同じ人物が含まれていない場合（Ｓ５０５；Ｎｏ）は、検索画像と表示画像とを重ね合
わせた場合に表示画像内において、表示画像に撮像されていた人物の位置と、検索画像か
ら抽出して表示画像に合成しようとする人物の位置とが重なるか否かの確認を行う（Ｓ５
０６）。少しでも人物が重なる場合はＹｅｓとする他、顔が重なる場合のみＹｅｓとする
等、判定レベルを設定できるようにしてもよい。

検索画像と表示画像の撮影場所と同じ（Ｓ５０２；Ｙｅｓ）、かつ撮影日時が所定時間
内（Ｓ５０３；Ｙｅｓ）、かつ背景が同じ（Ｓ５０４；Ｙｅｓ）、かつ同じ人物が含まれ
ない（Ｓ５０５；Ｎｏ）、かつ人物の位置が重ならない場合（Ｓ５０６；Ｎｏ）は、検索
画像の人物を輪郭検出により抜き出し、表示画像に貼り付けて合成する（Ｓ５０７）。あ
るいは、表示画像の人物を輪郭検出により抜き出し、検索画像に貼り付けて合成する。

検索画像と表示画像の撮影場所が同じではない場合（Ｓ５０２；Ｎｏ）、あるいは撮影
日時が所定時間内ではない場合（Ｓ５０３；Ｎｏ）、あるいは背景が同じではない場合（
Ｓ５０４；Ｎｏ）、あるいは同じ人物が含まれる場合（Ｓ５０５；Ｙｅｓ）、あるいは人
物が重なる場合（Ｓ５０６；Ｙｅｓ）は、同一撮影日の別の画像があるか否かの確認を行
う（Ｓ５０８）。

別の画像がある場合（Ｓ５０８；Ｙｅｓ）は、次に新しい画像を検索（Ｓ５０９）して
Ｓ５０２に戻り、処理を継続する。別の画像がない場合（Ｓ５０８；Ｎｏ）は、処理を終
了する。なお、Ｓ５０２及びＳ５０３の順序は変えてもよく、これらのステップは、第二
の画像データの候補を検索する処理に相当する。

以上のＳ５０１～Ｓ５０９の処理を行うことで、表示画像に貼り付ける画像を検索して
人物を抜き出して合成する。

更に、撮像装置に地磁気センサを搭載して、撮像装置の向きが同じか否かを上記判定に
加えてもよい。

また、ＧＰＳを搭載していない撮像装置の場合、Ｓ５０２を省略することで、合成処理
を実行してもよい。

図９は第一実施形態に係る画像データの検索と合成の一例を示す説明図である。

画像データ９０１～９０５は、北緯３５°２４′５３″、東経１３８°５１′３１″に
て、２０１５．０３．１５の１０：０２：００～１０：０２：５５に順に撮影された画像
データである。画像データ９０１、９０２、９０４、９０５は同じ背景であり、画像デー
タ９０３のみ背景が異なる。

日時情報は計時部１１４により取得し、位置情報はＧＳＰ受信部１１５により取得する
。

画像データ９０１、９０２は、人物Ａにより人物Ｂが撮影された画像データであり、画
像データ９０３は、人物Ａあるいは人物Ｂにより鳥が撮影された画像データである。画像
データ９０４、９０５は、人物Ｂにより人物Ａが撮影された画像データである。

一般に、ユーザは満足できる画像データが得られるまで撮影を繰り返す。画像データ９
０１、９０２はどちらも人物Ａにより人物Ｂが撮影された画像データであるが、画像デー
タ９０１の人物Ｂには笑みがないため、人物Ａにより画像データ９０２が撮影し直された
ことを示す。同様に、画像データ９０４、９０５はどちらも人物Ｂにより人物Ａが撮影さ
れた画像データであるが、画像データ９０４の人物Ａには笑みがないため、人物Ｂにより
画像データ９０５が撮影し直されたことを示す。また、画像データ９０３は一連の撮影（
画像データ９０１から９０５の撮影の期間を意味する）中に突然現れた鳥が撮影されたこ
とを示す。

撮像装置１のシャッターボタン１１３－２が押されると被写体を撮影し、表示部１１２
に撮影した画像を表示する。そして、合成ボタン１１３－６が押されると画像を合成する
。

画像データ９０６は画像データ９０２、９０５から合成された画像データである。

前述の図６Ａは撮像装置１による画像データ９０５の撮影直後、あるいは撮影後に再生
ボタン１１３－５が押された後の表示部１１２の表示例である。ここで、撮像装置１の合
成ボタン１１３－６が押されると、図５のフローチャートに従って画像データ９０３を検
索し、画像データ９０２と９０５を合成して、画像データ９０６を生成する。図６Ｂは撮
像装置１が合成した画像データ９０６の表示例である。

画像データ９０１～９０４は画像データ９０５と撮影場所が同じ（Ｓ５０２；Ｙｅｓ）
で、かつ撮影日時が所定時間内（Ｓ５０３；Ｙｅｓ）である。画像データ９０４は画像デ
ータ９０５と同じ人物が含まれている（Ｓ５０５；Ｙｅｓ）。画像データ９０３は画像デ
ータ９０５と背景が異なる（Ｓ５０４；Ｎｏ）。画像データ９０１、９０２は画像データ
９０５と背景が同じ（Ｓ５０４；Ｙｅｓ）、かつ同じ人物が含まれておらず（Ｓ５０５；
Ｎｏ）、かつ人物が重ならない場合（Ｓ５０６；Ｎｏ）である。このうち、一番新しい画
像データとして画像データ９０２を選択し、画像データ９０５と合成し、合成画像データ
９０６を生成する。図９の例では、画像９０５が第一の画像データ、画像９０２が第二の
画像データに相当する。画像データ９０３は画像データ９０５と背景が異なるために除外
されたが、撮像装置１がズーム機能付きのレンズを備える場合は、レンズ焦点距離が所定
値以上に異なる画像データを除外してもよい。

なお、背景を基準にして合成を行うことにより、各画像データの画角のずれを吸収する
ことができる。例えば、画像データ９０２の人物Ｂを輪郭検出により抜き出し、背景を基
準にして画像データ９０５に貼り付ける。あるいは、画像データ９０５の人物Ａを輪郭検
出により抜き出し、背景を基準にして画像データ９０２と合成してもよい。

図１０は第一実施形態に係る画像データの検索と合成の一例を示す説明図である。

画像データ１００１、１００２は、北緯３５°２４′５３″、東経１３８°５１′３１
″にて、２０１５．０３．１６の１０：０２：００～１０：０２：５０に順に撮影された
画像データである。画像データ１００１、１００２は同じ背景である。

画像データ１００１は、人物Ａにより人物Ｂが撮影された画像データであり、画像デー
タ１００２は、人物Ｂにより人物Ａが撮影された画像データである。

画像データ１００２の撮影後に撮像装置１の合成ボタン１１３－６が押されると画像を
合成する。あるいは、自動合成モードでは撮影後に画像を自動的に合成する。

合成画像データ１００３は、画像データ１００１、１００２から合成された画像データ
である。

合成画像データ１００３をストレージ部１０４や外部記録媒体１０６に記録した後、あ
るいは記録せずに、人物Ａにより人物Ｂが新たに撮影し直された画像が画像データ１００
４である。画像データ１００１、１００４はどちらも人物Ａにより人物Ｂが撮影された画
像データであるが、画像データ１００１の人物Ｂには笑みがないため、人物Ａにより画像
データ１００４が撮影し直されたことを示す。また、人物Ｂが人物Ａを撮影し直すことも
できる。

画像データ１００４の撮影後に撮像装置１の合成ボタン１１３－６が押されると再び画
像を合成する。あるいは、自動合成モードでは撮影後に再び画像を自動的に合成する。

画像データ１００５は画像データ１００２、１００４から合成された画像データである
。

更に撮影し直すこともでき、撮影と合成を何度でも繰り返して所望の合成画像を取得す
ることができる。

以上により本実施形態では、撮像装置は合成の対象となる画像を撮影した後に合成ボタ
ンが押されると、最適な画像を検索して合成を行うことができる。あるいは、撮像装置は
撮影後に自動的に、最適な画像を検索して合成を行うことができる。

合成の対象となる画像の撮影は何枚撮影されてもよく、撮像装置はその中から合成に最
適な画像を検索する。また、合成対象となる複数の画像は、同一の背景を有していれば撮
影タイミングに関らず合成対象とすることができる。そのため、一方の画像だけの撮り直
しや、合成対象となる画像の撮影タイミングの間に、合成対象とならない画像を撮影した
場合にも、合成対象とはならない画像を除外して合成処理を実行することができ。また、
撮影と合成を何度でも繰り返して、所望の合成画像を取得することができる。これにより
、複数人が一枚の画像に収まった合成画像を撮影する際の操作性を向上させることができ
る。なお、本実施形態では、より新しい画像を優先して選択する例を示したが、笑顔の人
物や正面を向いた人物を含む画像を優先して選択してもよい。

＜第二実施形態＞
第二実施形態は、ユーザが選択した画像データを用いて合成を行う実施形態である。

［撮像装置の全体動作］
図１１は第二実施形態に係る撮像装置の全体の動作例を示すフローチャートである。

Ｓ１１０１～Ｓ１１０８は図３のＳ３０１～Ｓ３０８と同様であるため、説明を省略す
る。

撮像部１１０で撮像し、画像一時記憶領域１０３２に記憶した画像データが表示部１１
２に表示される（Ｓ１１０９）。

再生ボタン１１３－５が押された場合（Ｓ１１０８；Ｙｅｓ）、および選択/決定操作
ボタン１１３－３により画像の変更が選択された場合（Ｓ１１１１；Ｙｅｓ）は、ストレ
ージ部１０４や外部記録媒体１０６に記録された画像データを、画像再生部１０２５によ
り再生し、表示部１１２に表示する（Ｓ１１１０）。ここで、選択/決定操作ボタン１１
３－３はユーザがストレージ部１０４に記憶された画像を選択する操作部材として機能す
るので選択操作部に相当する。

図１３Ａは再生ボタン１１３－５が押された場合の、表示部１１２の表示例を示す図で
ある。

ユーザが選択/決定操作ボタン１１３－３により、表示部１１２に表示する画像データ
を別の画像データに変更するか否かの選択を行うと、表示部１１２に表示されている画像
データが別の画像データに代わる（Ｓ１１１１；Ｙｅｓ）。

図１３Ｂは別の画像データに変更された場合の撮像装置１による表示部１１２の表示例
を示す図である。

Ｓ１１１２は図３のＳ３１２と同様であるため、説明を省略する。

合成ボタン１１３－６が押された場合（Ｓ１１１２；Ｙｅｓ）、および選択/決定操作
ボタン１１３－３により画像の変更が選択された場合（Ｓ１１１６；Ｙｅｓ）は、ストレ
ージ部１０４や外部記録媒体１０６に記録された画像データを合成処理部１０２７により
合成する（Ｓ１１１３：Ｙｅｓ）。合成は画像一時記憶領域１０３２にて行う。

Ｓ１１１５は図３のＳ３１５と同様であるため、説明を省略する。

図１４Ａは合成ボタン１１３－６が押された場合の、表示部１１２の表示例である。

ユーザは選択/決定操作ボタン１１３－３により、合成する画像データを別の画像デー
タに変更するか否かの選択を行う（Ｓ１１１６）。

図１４Ｂは別の画像データに変更された場合の撮像装置１による表示部１１２の表示例
である。Ｓ１１１６で選択した画像データ１４０４は変更せずに、これと合成する画像デ
ータ１４０１～１４０３を変更する。

Ｓ１１１７～Ｓ１１１８は図３のＳ３１７～Ｓ３１８と同様であるため、説明を省略す
る。

以上のＳ１１０１～Ｓ１１１８の処理を行うことで画像の記録、再生、および合成を行
う。

［画像合成処理］
次に、Ｓ１１１３の画像合成処理について説明する。図１２は第二実施形態に係る合成
処理部の動作例を示すフローチャートである。

ユーザによる画像変更指示があったか否かの確認を行う（Ｓ１２００）。

ユーザによる画像変更指示がなかった場合（Ｓ１２００；Ｎｏ）は、表示部に表示され
ている画像と同一撮影日で、一番新しい画像を検索する（Ｓ１２０１）。

Ｓ１２０２～Ｓ１２０９は、図５のＳ５０２～Ｓ５０９と同様であるため、説明を省略
する。

ユーザによる画像変更指示があった場合（Ｓ１２００；Ｙｅｓ）、あるいは検索画像と
表示画像の撮影場所が同じではない場合（Ｓ１２０２；Ｎｏ）、あるいは撮影日時が所定
時間内ではない場合（Ｓ１２０３；Ｎｏ）、あるいは背景が同じではない場合（Ｓ１２０
４；Ｎｏ）、あるいは同じ人物が含まれる場合（Ｓ１２０５；Ｙｅｓ）、あるいは合成す
る人物が重なる場合（Ｓ１２０６；Ｙｅｓ）は、同一撮影日の別の画像があるか否かの確
認を行い（Ｓ１２０８）、別の画像がある場合（Ｓ１２０８；Ｙｅｓ）は、次に新しい画
像を検索（Ｓ１２０９）してＳ１２０２に戻り、処理を継続する。別の画像がない場合（
Ｓ１２０８；Ｎｏ）は、処理を終了する。

以上のＳ１２００～Ｓ１２０９の処理を行うことで、表示画像に貼り付ける画像を検索
して合成する。

図１５は第二実施形態に係る画像データの検索と合成の一例を示す説明図である。

画像データ１５０１～１５０５は、北緯３５°２４′５３″、東経１３８°５１′３１
″にて、２０１５．０３．１５の１０：０２：００～１０：０２：５５に順に撮影された
画像データである。画像データ１５０１～１５０５は同じ背景である。画像データ１５０
１～１５０３は、人物Ａにより人物Ｂが撮影された画像データであり、画像データ１５０
４、１５０５は、人物Ｂにより人物Ａが撮影された画像データである。

撮像装置１のシャッターボタン１１３－２が押されると被写体を撮影し、表示部１１２
に撮影した画像を表示する。そして、合成ボタン１１３－６が押されると画像を合成する
。

画像データ１５０６は画像データ１５０２、１５０４から合成された画像データである
。

以上により、本実施形態によれば、第一実施形態と同様の効果を得るとともに、更に、
合成する画像をユーザが自由に選択することができる。

＜第三実施形態＞
第三実施形態は、登録人物のみを合成後の画像に加え、未登録人物を合成後の画像から
削除する実施形態である。

［撮像装置の全体動作］
図１６は第三実施形態に係る撮像装置の全体の動作例を示すフローチャートである。

Ｓ１６０１～Ｓ１６１２は図３のＳ３０１～Ｓ３１２と同様であるため、説明を省略す
る。

図１８Ａは撮像装置１による撮影直後、あるいは再生ボタン１１３－５を押された場合
の表示部１１２の表示例を示す図である。山を背景に人物Ａが撮影されているが、未登録
人物Ｃ、Ｄも撮影されている。人物Ａ、Ｂは、予め重要人物として登録しておく。また、
シャッターボタン１１３－２の代わりにタッチセンサを備えた表示部１１２に表示された
人物に触れることで撮影した場合、当該人物を重要人物に登録してもよい。

合成ボタン１１３－６が押された場合（Ｓ１６１２；Ｙｅｓ）は、撮像部１１０で撮像
し、画像一時記憶領域１０３２に記憶した画像データと、ストレージ部１０４や外部記録
媒体１０６に記録された画像データを合成処理部１０２７により合成する（Ｓ１６１３）
。合成は画像一時記憶領域１０３２にて行い、合成により登録人物を加え、未登録人物を
削除する。

図１８Ｂは撮像装置１により合成された画像データの表示例を示す図である。山を背景
に撮影された人物Ａを含む画像に、同じ山を背景に撮影された人物Ｂが合成されている。
そして、未登録人物Ｃ、Ｄは削除されている。

Ｓ１６１５～Ｓ１６１８は図３のＳ３１５～Ｓ３１８と同様であるため、説明を省略す
る。

以上のＳ１６０１～Ｓ１６１８の処理を行うことで画像の記録、再生、および合成を行
う。

［画像合成処理］
次に、Ｓ１６１３の画像合成処理について説明する。

図１７は第三実施形態に係る合成処理部の動作例を示すフローチャートである。

Ｓ１７０１～Ｓ１７０６は図５のＳ５０１～Ｓ５０６と同様であるため、説明を省略す
る。

検索画像と表示画像の撮影場所が同じ（Ｓ１７０２；Ｙｅｓ）、かつ撮影日時が所定時
間内（Ｓ１７０３；Ｙｅｓ）、かつ背景が同じ（Ｓ１７０４；Ｙｅｓ）、かつ同じ人物が
含まれない（Ｓ１７０５；Ｎｏ）、かつ人物が重ならない場合（Ｓ１７０６；Ｎｏ）は、
検索画像の登録人物を輪郭検出により抜き出し、表示画像に貼り付けて合成する。あるい
は、表示画像の登録人物を輪郭検出により抜き出し、検索画像に貼り付けて合成する（Ｓ
１７０７）。

更に、表示画像の未登録人物の存在する位置の検索画像の背景を抜き出し、表示画像に
貼り付ける（背景データの合成を行う）ことで未登録人物を削除する。あるいは、検索画
像の未登録人物の存在する位置の表示画像の背景を抜き出し、検索画像に貼り付けること
で未登録人物を削除する。

Ｓ１７０８～Ｓ１７０９は図５のＳ５０８～Ｓ５０９と同様であるため、説明を省略す
る。

画像を合成後（Ｓ１７０７）、または同一撮影日の別の画像が無い場合（Ｓ１７０８；
Ｎｏ）、合成処理部１０２７は合成した画像データに未登録の人物が存在するか否かの確
認を行う（Ｓ１７１０）。

合成した画像データに未登録の人物が存在する場合（Ｓ１７１０；Ｙｅｓ）、合成処理
部１０２７は別の画像があるか否かの確認を行う（Ｓ１７１１）。

別の画像がある場合（Ｓ１７１１；Ｙｅｓ）は、別の画像を検索して抽出し（Ｓ１７１
２）、別の画像がない場合（Ｓ１７１１；Ｎｏ）は、処理を終了する。

合成処理部１０２７は検索画像の撮影場所と合成した画像の撮影場所が同じか否かの確
認を行う（Ｓ１７１３）。

撮影場所が同じ場合（Ｓ１７１３；Ｙｅｓ）、合成処理部１０２７は検索画像の撮影日
時と合成した画像の撮影日時が所定時間内か否かの確認を行う（Ｓ１７１４）。所定時間
は例えば３分程度であり、ユーザが変更できるようにしてもよい。

撮影日時が所定時間内の場合（Ｓ１７１４；Ｙｅｓ）、合成処理部１０２７は検索画像
の背景と表示画像の背景が同じか否かの確認を行う（Ｓ１７１５）。

背景が同じ場合（Ｓ１７１５；Ｙｅｓ）、合成処理部１０２７は未登録の人物を削除し
（Ｓ１７１６）、Ｓ１７１０に戻る。

未登録人物を含まない場合（Ｓ１７１０;Ｎｏ）、または同一撮影日の別画像がない場
合（Ｓ１７１１;Ｎｏ）、処理を終了する。

以上のＳ１７００～Ｓ１７１６の処理を行うことで、表示画像に貼り付ける画像を検索
して登録人物を抜き出して合成し、未登録人物を削除する。

図１９は画像データの検索と合成の一例を示す説明図である。

画像データ１９０１～１９０３は、北緯３５°２４′５３″、東経１３８°５１′３１
″にて、２０１５．０３．１６の１０：０２：００～１０：０２：５０に順に撮影された
画像データである。画像データ１９０１～１９０３は同じ背景である。

画像データ１９０１、１９０２は、人物Ａにより人物Ｂが撮影された画像データである
が、画像データ１９０２には更に未登録人物Ｄも撮影されている。画像データ１９０１の
人物Ｂには笑みがないため、人物Ａにより画像データ１９０２が撮影し直されたことを示
す。画像データ１９０３は、人物Ｂにより人物Ａが撮影された画像データであるが、未登
録人物Ｃ、Ｄも撮影されている。人物Ａ、Ｂは、予め重要人物として登録しておく。また
、シャッターボタン１１３－２の代わりにタッチセンサを備えた表示部１１２に表示され
た人物に触れることで撮影した場合、当該人物を重要人物に登録してもよい。

撮像装置１のシャッターボタン１１３－２が押されると被写体を撮影し、表示部１１２
に撮影した画像を表示する。そして、合成ボタン１１３－６が押されると画像を合成する
。

画像データ１９０４は画像データ１９０２、１９０３から登録人物の合成と未登録人物
Ｃの削除が行われた画像データである。

例えば、画像データ１９０２の人物Ｂを輪郭検出により抜き出し、背景を基準にして画
像データ１９０３に貼り付けることにより、画像データ１９０２に人物Ｂを合成する。更
に画像データ１９０３の未登録人物Ｃの存在する位置の画像データ１９０２の背景を画像
データ１９０３の未登録人物Ｃに貼り付けることで未登録人物Ｃを削除することができる
。または、画像データ１９０３の人物Ａを輪郭検出により抜き出し、背景を基準にして画
像データ１９０２と合成し、合成後の画像データ１９０４を生成してもよい。どちらか一
方あるいは両方の画像データに未登録人物が存在する場合は、未登録人物が多い方の画像
データから登録人物を抜き出し、登録人物が少ない方の画像データに貼り付けるとよい。

次に、画像データ１９０４の未登録人物Ｄの存在する位置の画像データ１９０１の背景
を画像データ１９０４の未登録人物Ｄに貼り付けることで未登録人物Ｄを削除する。

画像データ１９０５は画像データ１９０４、１９０１から未登録人物Ｄの削除を行った
画像データである。

以上により、本実施形態によれば第一実施形態と同様の効果を得るとともに、更に、登
録人物のみを画像に加え、未登録人物を削除することができる。なお、本実施形態では、
登録人物を画像に加え、未登録人物を削除する例を示したが、登録人物を画像に加えずに
、未登録人物を削除することもできる。

＜第四実施形態＞
第四実施形態は、人物が撮像されていない背景のみの画像（以下「背景画像」という）
を撮像した場合はその背景画像を、背景画像が無い場合はネットワーク上で公開されてい
る背景が撮像された画像データを検索し、それらの背景画像を用いて未登録人物を削除す
る実施形態である。

［撮像装置のハードウェア構成］
図２０Ａにおいて、図１Ａと同じ処理部分には同じ符号を付し、説明を省略する。

図２０Ａは、第四実施形態に係る撮像装置の構成例を示すブロック図である。図２０Ａ
に示す撮像装置１は無線通信部１２０を有しており、アクセスポイント装置２を介して外
部ネットワーク３と接続され、外部ネットワーク３上のサーバ装置４とデータの送受信を
行う。アクセスポイント装置２との接続はＷｉ－Ｆｉ（登録商標）等による無線接続で行
われるものとする。アクセスポイント装置２は移動体通信事業者の基地局であってもよい
。また、撮像装置１が直接アクセスポイント２とデータの送受信を行うのではなく、スマ
ートフォンや携帯端末を介してデータの送受信を行ってもよい。

サーバ装置４は位置情報ありの画像データ、位置情報なしの画像データを複数有してお
り、撮像装置１はアクセスポイント装置２、ネットワーク３を介して各種画像データを取
得することができる。

［撮像装置のソフトウェア構成］
図２０Ｂは本実施例の撮像装置１のソフトウェア構成図であり、図１Ｂと同じ処理部分
には同じ符号を付し、説明を省略する。

図２０Ｂに示す第四実施形態に係る撮像装置のソフトウェア構成図を示す図である。Ｒ
ＯＭ部１０２に無線接続処理部１０２９を有しており、無線通信部１２０を制御すること
により、アクセスポイント装置２との無線接続処理を行う。また、位置情報取得部１０２
２により、本体のストレージ１０４あるいは外部記録媒体１０６に記録された画像ファイ
ルのメタデータの位置情報を更新する処理を行う。

［画像合成処理］
次に、画像合成処理について説明する。図２１は第四実施形態に係る合成処理部の動作
例を示すフローチャートである。

Ｓ２１０１～Ｓ２１１０は図１７のＳ１７０１～Ｓ１７１０と同様であるため、説明を
省略する。

画像データに未登録の人物が存在する場合（Ｓ２１１０；Ｙｅｓ）は、ストレージ部１
０４の画像記憶領域１０４２に別の画像があるか否かの確認を行う（Ｓ２１１１）。

別の画像がある場合（Ｓ２１１１；Ｙｅｓ）は、別の画像を検索し（Ｓ２１１２）、別
の画像がない場合（Ｓ２１１１；Ｎｏ）は、Ｓ２１１７に進む。

Ｓ２１１３～Ｓ２１１６は、図１７のＳ１７１３～Ｓ１７１６と同様であるため、説明
を省略する。

ストレージ部１０４の画像記憶領域１０４２に別の画像がない場合（Ｓ２１１１；Ｎｏ
）は、アクセスポイント装置２を介して外部ネットワーク３と接続し、外部ネットワーク
３上のサーバ装置４の画像を検索する（Ｓ２１１７）。そしてネットワーク上の画像を用
いてＳ２１１６と同様の処理を行い、未登録人物を削除する（Ｓ２１１８）。

以上のＳ２１０１～Ｓ２１１８の処理を行うことで、表示画像に貼り付ける画像を検索
して登録人物を抜き出して合成し、未登録人物を削除する。

図２２は第四実施形態に係る画像データの検索と合成の一例を示す説明図である。

画像データ２２０１～２２０３は、北緯３５°２４′５３″、東経１３８°５１′３１
″にて、２０１５．０３．１６の１０：０２：００～１０：０２：５０に順に撮影された
画像データである。画像データ２２０１～２２０３は同じ背景である。

画像データ２２０１は、人物Ａにより人物Ｂが撮影された画像データであるが、未登録
人物Ｄも撮影されている。画像データ２２０２は、人物Ｂにより人物Ａが撮影された画像
データであるが、未登録人物Ｃ、Ｄも撮影されている。人物Ａ、Ｂは、予め重要人物とし
て登録しておく。また、シャッターボタン１１３－２の代わりにタッチセンサを備えた表
示部１１２に表示された人物に触れることで撮影した場合、当該人物を重要人物に登録し
てもよい。

撮像装置１のシャッターボタン１１３－２が押されると被写体が撮影され、表示部１１
２に撮影された画像が表示される。そして、合成ボタン１１３－６が押されると画像が合
成される。

合成画像データ２２０３は画像データ２２０１、２２０２から登録人物の合成と未登録
人物Ｃの削除が行われた画像データである。

例えば、画像データ２２０１の人物Ｂを輪郭検出により抜き出し、背景を基準にして画
像データ２２０２に貼り付けるとともに、画像データ２２０２の未登録人物Ｃの存在する
位置の画像データ２２０１の背景を画像データ２２０２の未登録人物Ｃに貼り付けること
により未登録人物Ｃを削除する。あるいは、画像データ２２０２の人物Ａを輪郭検出によ
り抜き出し、背景を基準にして画像データ２２０１に貼り付ける。どちらか一方あるいは
両方の画像データに未登録人物が存在する場合は、未登録人物が多い方の画像データから
登録人物を抜き出し、登録人物が少ない方の画像データに貼り付けるとよい。

そして、同じ背景で未登録人物Ｄが存在しない画像（背景画像）を撮影し直して貼り付
けることにより、未登録人物Ｄを削除することができる。

しかし、もしも未登録人物Ｄが長時間その場所を離れない場合は、同じ背景で未登録人
物Ｄが存在しない画像（背景画像）を撮影することができない。

そこで、ネットワーク上で公開されている画像データを検索し、検索した画像データ２
２０４（北緯３５°２４′５３″、東経１３８°５１′３１″にて、２０１５．０３．１
０の０９：３０：００）を張り付けて未登録人物Ｄを削除する。画像データの検索はパタ
ーンマッチングで行い、類似の画像データを見つけ出す。撮影場所、撮影季節、撮影日時
等を用いて検索してもよい。

合成画像データ２２０５は、ネットワーク上で検索した画像データ２２０４を用いて合
成画像データ２２０３から未登録人物Ｄの削除が行われた画像データである。

合成画像データ２２０３の未登録人物Ｄの存在する位置の画像データ２２０４の背景を
合成画像データ２２０３の未登録人物Ｄに貼り付けることにより未登録人物Ｄを削除する
。

以上により、本実施形態では第三実施形態と同様の効果を得るとともに、更に、ネット
ワーク上で公開されている画像データを検索し、検索した画像データを用いて未登録人物
を削除することができる。

また、ネットワーク上で公開されている画像データの撮影場所を基に、ユーザが同じ場
所で撮影した画像データと合成できるようにしてもよい。

以上、本発明の実施形態について説明したが、言うまでもなく、本発明の技術を実現す
る構成は上記実施形態に限られるものではなく、様々な変形例が考えられる。例えば、あ
る実施形態の構成の一部を他の実施形態の構成と置き換えることが可能であり、また、あ
る実施形態の構成に他の実施形態の構成を加えることも可能である。これらは全て本発明
の範疇に属するものである。また、文中や図中に現れる数値やメッセージ等もあくまでも
一例であり、異なるものを用いても本発明の効果を損なうことはない。

また、各処理例で説明したプログラムは、それぞれ独立したプログラムでもよく、複数
のプログラムが一つのアプリケーションプログラムを構成していてもよい。また、各処理
を行う順番を入れ替えて実行するようにしてもよい。

前述した本発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等
によりハードウェアで実現してもよい。また、マイクロプロセッサユニット等がそれぞれ
の機能等を実現する動作プログラムを解釈して実行することによりソフトウェアで実現し
てもよい。ハードウェアとソフトウェアを併用してもよい。

また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、必ず
しも製品上の全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成
が相互に接続されていると考えてもよい。

１：撮像装置、１０１：主制御部、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４：ストレー
ジ部、１０６：外部記録媒体、１１０：撮像部、１１５：ＧＰＳ受信部、１２０：無線通
信部、１０２２：位置情報取得部、１０２３：撮像処理部、１０２４：画像記録部、１０
２５：画像再生部、１０２７：合成処理部、１０２８：顔認識処理部

Claims (10)

1. タッチセンサを備えた表示パネルと、
   前記タッチセンサを備えた表示パネルにおいて選択された被写体を撮像して画像データを生成する撮像処理部と、
   前記画像データの被写体の顔認識処理を実行する顔認識処理部と、
   前記画像データを記録する画像記録部と、
   複数の画像データに合成処理を実行して合成データを生成する合成処理部と、
   制御部と、を備え、
   前記表示パネルに表示される合成処理を実行させるためのアイコンへのタッチ操作を検出すると、
   前記制御部は、
   前記撮像処理部により撮像して生成され、かつ、少なくとも表示位置が重なっていない未登録の第一の人物と未登録の第二の人物を含む第一の画像データに対して、前記撮像処理部により前記第一の画像データの撮像から所定時間内に撮像して生成された複数の画像データのうち所定の条件に基づいて検索して抽出した少なくとも前記未登録の第一の人物を含み前記未登録の第二の人物を含まない第二の画像データを用いて合成処理することにより、前記第一の画像データから前記未登録の第一の人物を含み前記未登録の第二の人物を含まない第三の画像データを生成するように前記合成処理部を制御し、
   前記合成処理部による前記合成処理が実行できた場合と出来なかった場合とで前記表示パネルに異なる表示をするように制御するものであって、
   前記合成処理部による前記合成処理が実行できた場合には、合成処理がされた合成後の画像を前記表示パネルに表示するように制御し、
   前記合成処理部による前記合成処理が実行できなかった場合には、合成処理が実行できなかったことを通知するメッセージを前記表示パネルに表示するように制御する、
   ことを特徴とする撮像装置。
2. 請求項１記載の撮像装置であって、
   前記第一の画像データと前記第二の画像データは同一と判定される背景を有し、
   前記制御部は、前記選択された被写体の顔認識処理を実行して前記第一の人物の顔を認
   識した前記第一の画像データから、前記第二の人物の被写体領域を削除し、前記削除した
   領域に対して、前記第二の画像データを用いた合成処理を行うことにより前記第三の画像
   データを生成するように前記合成処理部を制御する、
   ことを特徴とする撮像装置。
3. 請求項１又は２記載の撮像装置であって、
   前記合成処理部による前記合成処理が実行できた場合には、前記第三の画像データと共
   に、前記第三の画像データを記録指示するためのアイコンを前記表示パネルに表示するよ
   うに制御する、
   ことを特徴とする撮像装置。
4. 請求項１又は２記載の撮像装置であって、
   前記制御部は、前記メッセージを前記第一の画像データに重畳させて前記表示パネルに
   表示するように制御する、
   ことを特徴とする撮像装置。
5. 請求項１又は２記載の撮像装置であって、
   前記合成処理部による前記合成処理が実行できなかった場合には、前記第一の画像デー
   タと共に合成処理が実行できなかった理由を示すメッセージを前記表示パネルに表示する
   ように制御する、
   ことを特徴とする撮像装置。
6. タッチセンサを備えた表示パネルと、
   前記タッチセンサを備えた表示パネルにおいて選択された被写体を撮像して画像データを生成する撮像処理部と、
   前記画像データの被写体の顔認識処理を実行する顔認識処理部と、
   前記画像データを記録する画像記録部と、
   複数の画像データに合成処理を実行して合成データを生成する合成処理部と、
   制御部と、を備え、
   前記表示パネルに表示される合成処理を実行させるためのアイコンへのタッチ操作を検出すると、
   前記制御部は、
   前記撮像処理部により撮像して生成され、かつ、少なくとも表示位置が重なっていない未登録の第一の人物と未登録の第二の人物を含む第一の画像データに対して、前記撮像処理部により前記第一の画像データの撮像から所定時間内に撮像して生成された複数の画像データのうち所定の条件に基づいて検索して抽出した少なくとも前記未登録の第一の人物を含み前記未登録の第二の人物を含まない第二の画像データを用いて合成処理することにより、前記第一の画像データから前記未登録の第一の人物を含み前記未登録の第二の人物を含まない第三の画像データを生成するように前記合成処理部を制御し、
   前記合成処理部による前記合成処理が実行できなかった場合には、合成処理が実行できなかったことを通知するように制御する、
   ことを特徴とする撮像装置。
7. 請求項６記載の撮像装置であって、
   前記第一の画像データと前記第二の画像データは同一と判定される背景を有し、
   前記制御部は、前記選択された被写体の顔認識処理を実行して前記第一の人物の顔を認
   識した前記第一の画像データから、前記第二の人物の被写体領域を削除し、前記削除した
   領域に対して、前記第二の画像データを用いた合成処理を行うことにより前記第三の画像
   データを生成するように前記合成処理部を制御する、
   ことを特徴とする撮像装置。
8. 請求項６又は７記載の撮像装置であって、
   前記制御部は、前記合成処理部による前記合成処理が実行できなかった場合には、合成
   処理が実行できなかったことを通知するメッセージを前記表示パネルに表示するように制
   御する、
   ことを特徴とする撮像装置。
9. 請求項８記載の撮像装置であって、
   前記制御部は、前記メッセージを前記第一の画像データに重畳させて前記表示パネルに
   表示するように制御する、
   ことを特徴とする撮像装置。
10. 請求項６又は７記載の撮像装置であって、
    前記合成処理部による前記合成処理が実行できなかった場合には、前記第一の画像デー
    タと共に合成処理が実行できなかった理由を示すメッセージを前記表示パネルに表示する
    ように制御する、
    ことを特徴とする撮像装置。
    

Images