JP7158886B2 - 画像処理装置、電子機器、及び画像処理装置の制御方法 - Google Patents

Description

本発明は、画像処理装置、電子機器、画像処理装置の制御方法及びプログラムに関する。

デジタルカメラ等の撮像装置において、無線通信機能を有し、外部機器と画像データの送受信を行うものがある。また、撮像装置において、自身で撮像した画像に、外部機器で撮像した画像を受信して合成する機能を有するものがある。例えば特許文献１には、第１の撮像手段の出力である第１の映像信号と、第２の撮像手段の出力である第２の映像信号とを合成して第３の映像信号とする技術が開示されている。

特開平６－１６５０２９号公報

特許文献１に開示された従来技術では、メイン画像に重畳させて、サブ画像が小窓のような別画面（本願において、ワイプと呼ぶ）で表示される。
しかしながら、特許文献１では、ワイプの形については言及されておらず、サブ画像が常に同じ形のワイプで表示される。

本発明は上記のような点に鑑みてなされたものであり、メイン画像にサブ画像を合成するに際して、サブ画像のワイプの形を変更可能にすることを目的とする。

本発明の画像処理装置は、第１の撮像部を備え、外部機器から受信したサブ画像を、前記第１の撮像部から出力する画像であるメイン画像に合成する画像処理装置であって、ユーザ操作による変更要求がないときは、サブ画像のワイプの形を継続し、前記変更要求があったときは、複数のワイプの形を選択可能に提示し、ユーザ操作によって選択させるようにして、ワイプの形を決定する決定手段と、前記決定手段で決定したワイプの形の通知を含むサブ画像要求を前記外部機器に送信する送信手段と、前記外部機器から、前記サブ画像要求に含まれるワイプの形に基づいて調整されたサブ画像のデータを受信する受信手段と、前記第１の撮像部から出力するメイン画像と、前記受信手段で受信したサブ画像とを合成する合成手段とを備え、前記決定手段、前記送信手段、前記受信手段及び前記合成手段による処理を繰り返すことを特徴とする。

本発明によれば、メイン画像にサブ画像を合成するに際して、サブ画像のワイプの形を変更可能にする。

第１の実施形態に係るデジタルカメラの構成例を示す図である。 第１の実施形態に係るスマートデバイスの構成例を示す図である。 第１の実施形態に係るデジタルカメラ及びスマートデバイスの処理を示すシーケンス図である。 第１の実施形態に係るデジタルカメラの表示部及びスマートデバイスの表示部に表示される画面の例を示す図である。 第１の実施形態に係るデジタルカメラの動作を示すフローチャートである。 図５Ａにおけるワイプの形決定処理の詳細を示すフローチャートである。 第２の実施形態に係るデジタルカメラ及びスマートデバイスの処理を示すシーケンス図である。 第２の実施形態に係るデジタルカメラの表示部及びスマートデバイスの表示部に表示される画面の例を示す図である。 第２の実施形態に係るデジタルカメラの動作を示すフローチャートである。 第２の実施形態に係るスマートデバイスの動作を示すフローチャートである。 図９Ａにおけるワイプの形決定処理の詳細を示すフローチャートである。

以下、添付図面を参照して、本発明の好適な実施形態について説明する。
＜第１の実施形態＞
［デジタルカメラ１００の構成］
図１は、本実施形態に係るデジタルカメラ１００の構成例を示す図である。デジタルカメラ１００は、本発明を適用した画像処理装置として機能する。
図１（ａ）は、デジタルカメラ１００の構成例を示すブロック図である。
制御部１０１は、入力された信号やプログラムに従ってデジタルカメラ１００の各部を制御する。なお、制御部１０１が装置全体を制御する代わりに、複数のハードウェアが処理を分担することで、装置全体を制御してもよい。
撮像部１０２は、例えば光学レンズユニットと絞り・ズーム・フォーカス等を制御する光学系と、光学レンズユニットを経て導入された光（映像）を電気的な映像信号に変換する撮像素子等で構成される。撮像素子としては、一般的には、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）が用いられる。撮像部１０２は、制御部１０１の制御下で、撮像部１０２に含まれるレンズで結像された被写体光を撮像素子により電気信号に変換し、ノイズ低減処理等を行い、デジタルデータを画像データとして出力する。画像データは、例えばＤＣＦ（Design Rule for Camera File system）の規格に従って記録媒体１１０に記録されたり、画像合成部１１２で他の画像と合成されたりする。

不揮発性メモリ１０３は、電気的に消去・記録可能な不揮発性のメモリであり、制御部１０１が実行するプログラム等が格納される。
作業用メモリ１０４は、撮像部１０２で撮像された画像データを一時的に保持するバッファメモリや、表示部１０６の画像表示用メモリ、制御部１０１の作業領域等として使用される。
操作部１０５は、デジタルカメラ１００に対する指示をユーザから受け付けるために用いられる。操作部１０５は、例えばデジタルカメラ１００の電源のＯＮ／ＯＦＦを指示するための電源ボタン、撮影を指示するためのレリーズスイッチ、画像データの再生を指示するための再生ボタンを含む。また、操作部１０５は、接続部１１１を介して外部機器との通信を開始するための接続ボタンを含む。また、操作部１０５は、表示部１０６に形成されるタッチパネルを含む。なお、レリーズスイッチは、ＳＷ１及びＳＷ２を有する。レリーズスイッチがいわゆる半押し状態となることにより、ＳＷ１がＯＮとなる。これにより、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の撮影準備を行うための指示を受け付ける。また、レリーズスイッチがいわゆる全押し状態となることにより、ＳＷ２がＯＮとなる。これにより、撮影を行うための指示を受け付ける。

表示部１０６は、撮影の際のビューファインダー画像の表示、撮像した画像データの表示、対話的な操作のための文字表示等を行う。なお、表示部１０６は必ずしもデジタルカメラ１００が備える必要はない。デジタルカメラ１００は、内部又は外部の表示部１０６と接続し、表示部１０６の表示を制御する表示制御機能を有していればよい。
記録媒体１１０は、撮像部１０２から出力された画像データや、画像合成部１１２で合成された画像データを記録する。記録媒体１１０は、デジタルカメラ１００に着脱可能に構成されてもよいし、デジタルカメラ１００に内蔵されるように構成されてもよい。すなわち、デジタルカメラ１００は、少なくとも記録媒体１１０にアクセスする機能を有していればよい。

接続部１１１は、外部機器と接続するためのインターフェイスである。デジタルカメラ１００は、接続部１１１を介して外部機器とデータのやりとりを行うことができる。例えば外部機器で生成した画像データを、接続部１１１を介して外部機器から受信することができる。接続部１１１は、例えば外部機器とＩＥＥＥ８０２．１１の規格に従った、いわゆる無線ＬＡＮで通信するためのインターフェイスを含む。制御部１０１は、接続部１１１を制御することで外部機器との無線通信を実現する。なお、通信方式は無線ＬＡＮに限定されるものではなく、例えば赤外通信方式、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉｒｅｌｅｓｓＵＳＢ等、他の無線通信方式を採用してもよい。

画像合成部１１２は、２つ以上の画像を合成することができ、例えば撮像部１０２から出力された画像と、接続部１１１を介して外部機器から受信した画像とを合成して、１つの画像データとして出力する。具体的には、撮像部１０２から出力された画像をメイン画像、外部機器から受信した画像をサブ画像として、メイン画像に重畳させて、サブ画像がワイプで表示されるように合成することができる。画像合成部１１２から出力された画像データは、ＤＣＦの規格に従って記録媒体１１０に記録される。

本実施形態に係るデジタルカメラ１００は、インフラストラクチャモードにおけるアクセスポイントとして動作するＡＰモードと、インフラストラクチャモードにおけるクライアントとして動作するＣＬモードとを有する。制御部１０１の制御下で接続部１１１をＣＬモードで動作させることにより、デジタルカメラ１００は、インフラストラクチャモードにおけるＣＬ機器として動作することが可能である。デジタルカメラ１００がＣＬ機器として動作する場合、周辺のＡＰ機器に接続することで、ＡＰ機器が形成するネットワークに参加することが可能である。また、制御部１０１の制御下で接続部１１１をＡＰモードで動作させることにより、デジタルカメラ１００は、ＡＰの一種ではあるが、より機能が限定された簡易的なＡＰ（以下、簡易ＡＰ）として動作することが可能である。デジタルカメラ１００が簡易ＡＰとして動作する場合、デジタルカメラ１００は自身でネットワークを形成する。デジタルカメラ１００の周辺の装置は、デジタルカメラ１００をＡＰ機器と認識し、デジタルカメラ１００が形成したネットワークに参加することが可能となる。このようにデジタルカメラ１００を動作させるためのプログラムは不揮発性メモリ１０３に保持されているものとする。なお、本実施形態に係るデジタルカメラ１００は、ＡＰの一種であるものの、ＣＬ機器から受信したデータをインターネットプロバイダ等に転送するゲートウェイ機能は有していない簡易ＡＰである。したがって、自機が形成したネットワークに参加している周辺の装置からデータを受信しても、それをインターネット等のネットワークに転送することはできない。

次に、図１（ｂ）、図１（ｃ）は、デジタルカメラ１００の外観例を示す図である。デジタルカメラ１００の適所に、操作部１０５を構成する操作部材の例である、レリーズスイッチ１０５ａ、再生ボタン１０５ｂ、方向キー１０５ｃ、タッチパネル１０５ｄ等が配置される。また、デジタルカメラ１００の背面に、表示部１０６が配置される。
なお、本実施形態では、本発明を適用する画像処理装置としてデジタルカメラ１００を例に説明したが、画像処理装置はこれに限られるものではない。例えば携帯電話や、携帯型のメディアプレーヤ、いわゆるタブレットデバイス、パーソナルコンピュータ等の情報処理装置であってもよい。

［スマートデバイス２００の構成］
図２は、本実施形態に係るスマートデバイス２００の構成例を示す図である。スマートデバイス２００は、本発明を適用した電子機器として機能し、デジタルカメラ１００に対する外部機器となるものである。なお、スマートデバイスとは、スマートフォン等の携帯電話やいわゆるタブレットデバイスを含む。

制御部２０１は、入力された信号やプログラムに従ってスマートデバイス２００の各部を制御する。なお、制御部２０１が装置全体を制御する代わりに、複数のハードウェアが処理を分担することで、装置全体を制御してもよい。
撮像部２０２は、制御部２０１の制御下で、撮像部２０２に含まれるレンズで結像された被写体光を撮像素子により電気信号に変換し、ノイズ低減処理等を行い、デジタルデータを画像データとして出力する。画像データはバッファメモリに蓄えられた後、制御部２０１で所定の演算を行い、記録媒体２１０に記録されたり、接続部２１１を介して外部機器に送信されたりする。

不揮発性メモリ２０３は、電気的に消去・記録可能な不揮発性のメモリである。不揮発性メモリ２０３には、制御部２０１が実行する基本的なソフトウェアであるＯＳ（オペレーティングシステム）や、このＯＳと協働して応用的な機能を実現するアプリケーションが記録されている。また、不揮発性メモリ２０３には、デジタルカメラ１００と通信するためのアプリケーションが格納されている。
作業用メモリ２０４は、表示部２０６の画像表示用メモリや、制御部２０１の作業領域等として使用される。

操作部２０５は、スマートデバイス２００に対する指示をユーザから受け付けるために用いられる。操作部２０５は、例えばスマートデバイス２００の電源のＯＮ／ＯＦＦを指示するための電源ボタン、表示部２０６に形成されるタッチパネルを含む。
表示部２０６は、画像データの表示、対話的な操作のための文字表示等を行う。なお、表示部２０６は必ずしもスマートデバイス２００が備える必要はない。スマートデバイス２００は、内部又は外部の表示部２０６と接続し、表示部２０６の表示を制御する表示制御機能を有していればよい。
記録媒体２１０は、撮像部２０２から出力された画像データを記録する。記録媒体２１０は、スマートデバイス２００に着脱可能に構成されてもよいし、スマートデバイス２００に内蔵されるように構成されてもよい。すなわち、スマートデバイス２００は、少なくとも記録媒体２１０にアクセスする機能を有していればよい。

接続部２１１は、外部機器と接続するためのインターフェイスである。スマートデバイス２００は、接続部２１１を介して外部機器とデータのやりとりを行うことができる。本実施形態では、接続部２１１はアンテナであり、制御部２０１は、アンテナを介してデジタルカメラ１００と接続することができる。デジタルカメラ１００との接続では、直接接続してもよいし、アクセスポイントを介して接続してもよい。データを通信するためのプロトコルとしては、例えば無線ＬＡＮを通じたＰＴＰ／ＩＰ（Picture Transfer Protocol over Internet Protocol）を用いることができる。なお、デジタルカメラ１００との通信はこれに限られるものではない。例えば接続部２１１としては、赤外線通信モジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信モジュール、ＷｉｒｅｌｅｓｓＵＳＢ等の他の無線通信モジュールを採用してもよい。

近距離無線通信部２１２は、近距離無線通信を実現するための通信ユニットである。近距離無線通信部２１２は、無線通信のためのアンテナと無線信号を処理するための変復調回路や通信コントローラで構成される。近距離無線通信部２１２は、変調した無線信号をアンテナから出力し、またアンテナで受信した無線信号を復調することにより近距離無線通信を実現する。ここでは、ＩＥＥＥ８０２．１５の規格（いわゆるＢｌｕｅｔｏｏｔｈ（登録商標））に従った近距離無線通信を実現する。なお、近距離無線通信部２１２が実現する非接触近接通信はＢｌｕｅｔｏｏｔｈ（登録商標）に限られるものではなく、他の無線通信を採用してもよい。
公衆網接続部２１３は、公衆無線通信を行う際に用いられるインターフェイスである。スマートデバイス２００は、公衆網接続部２１３を介して、他の機器と通話することができる。この際、制御部２０１はマイク２１４及びスピーカ２１５を介して音声信号の入出力を行うことで、通話を実現する。本実施形態では、公衆網接続部２１３はアンテナであり、制御部１０１は、アンテナを介して公衆網に接続することができる。なお、接続部２１１及び公衆網接続部２１３は、一つのアンテナで兼用することも可能である。
なお、本実施形態では、本発明を適用する電子機器としてスマートデバイス２００を例に説明したが、電子機器はこれに限られるものではない。例えば無線機能付きのデジタルカメラや、パーソナルコンピュータ等の情報処理装置であってもよい。

［画像の合成について］
次に、図３、図４を参照して、デジタルカメラ１００において、撮像部１０２から出力されたメイン画像と、スマートデバイス２００から受信したサブ画像とを合成する処理について説明する。
図３は、第１の実施形態に係るデジタルカメラ１００及びスマートデバイス２００の処理を示すシーケンス図である。
図４（ａ）は、デジタルカメラ１００において、撮像部１０２から出力されたメイン画像と、スマートデバイス２００から受信したサブ画像とを合成する際に表示部１０６に表示する画面遷移の例を示す図である。また、図４（ｂ）は、スマートデバイス２００において、デジタルカメラ１００から受信したワイプの形に基づいて撮影用画面４７０を設定し、表示部２０６に表示する例を示す図である。

ステップＳ３０１で、デジタルカメラ１００の制御部１０１は、図４（ａ）に示す機能選択画面４０１を表示部１０６に表示する。機能選択画面４０１では、メイン画像とサブ画像とを合成する機能を選択するためのワイプ撮影ボタン４１０が表示される。ユーザは操作部１０５（例えばタッチパネル）を操作してワイプ撮影ボタン４１０を選択することで、メイン画像とサブ画像とを合成する機能を選択することができる。なお、機能選択画面４０１には、他の通信機能を実行するためのボタンも表示される。例えば画像データを外部機器に転送する機能を選択するための画像転送ボタンや、外部機器からデジタルカメラ１００を遠隔操作する機能を選択するためのリモート操作ボタン等が表示される。

制御部１０１は、ワイプ撮影ボタン４１０の選択を検知したならば、ステップＳ３０２以降の処理を開始し、無線ＬＡＮ接続のための処理を行う。無線ＬＡＮの規格としては例えばＷｉ－Ｆｉ（登録商標）を採用することができる。
ステップＳ３０２で、デジタルカメラ１００の制御部１０１は、簡易ＡＰを起動して無線ＬＡＮネットワークを生成し、図４（ａ）に示す画面４０２を表示部１０６に表示する。画面４０２では、周辺の装置が無線ＬＡＮネットワークに参加できるように、少なくともネットワーク識別子であるＳＳＩＤ（Service Set Identifier）を表示する。また、無線ＬＡＮネットワークに暗号化キーを用いたセキュリティを施している場合は、暗号化キーも併せて表示してもよい。

ステップＳ３０３で、デジタルカメラ１００の制御部１０１は、機器検索を開始する。機器検索で用いられるのはディスカバリプロトコルであり、例えばＳＳＤＰ（Single Service Discovery Protocol）やＭａｌｔｉｃａｓｔ ＤＮＳ等を用いることができる。

ステップＳ３０４で、スマートデバイス２００の制御部２０１は、ネットワーク選択を行う。制御部２０１は、不図示のＳＳＩＤ一覧表示画面を表示部２０６に表示し、操作部２０５を介して、デジタルカメラ１００が生成した簡易ＡＰのネットワークの選択を受け付ける。ＳＳＩＤ一覧表示画面は、ＯＳのメニューから、無線ＬＡＮ設定を開始する指示を入力するためのメニューを選択することで表示することができる。なお、デジタルカメラ１００の表示部１０６には、画面４０２のように、デジタルカメラ１００が生成しているネットワークのＳＳＩＤが表示されている。ユーザは、画面４０２に表示されるＳＳＩＤを確認して、ＳＳＩＤ一覧表示画面に表示されるＳＳＩＤ一覧から、デジタルカメラ１００が生成しているネットワークのＳＳＩＤを選択することができる。

ステップＳ３０４におけるユーザ操作によってネットワークが選択されると、ステップＳ３０５で、スマートデバイス２００は、デジタルカメラ１００の簡易ＡＰのネットワークに参加することになる。スマートデバイス２００がネットワークに参加すると、ＩＰアドレス等の設定を行い、ネットワークレベルで、デジタルカメラ１００とスマートデバイス２００との間の接続が確立する。

続いて、以降の処理によって、アプリケーションレベルでの接続の確立を行う。ステップＳ３０６で、スマートデバイス２００の制御部２０１は、操作部２０５を介して、不揮発性メモリ２０３に保存されたアプリケーションを起動する指示を受け付ける。

ステップＳ３０７で、スマートデバイス２００の制御部２０１は、起動したアプリケーションの制御に従い、参加したネットワーク内にアドバタイズ通知をブロードキャストし、自身の存在をデジタルカメラ１００に通知する。アドバタイズ通知で用いられるのはディスカバリプロトコルであり、例えばＳＳＤＰやＭａｌｔｉｃａｓｔ ＤＮＳ等を用いることができる。

ステップＳ３０８で、デジタルカメラ１００の制御部１０１は、接続機器の選択を行う。制御部１０１は、ステップＳ３０７においてアドバタイズ通知を受信したならば、図４（ａ）に示す画面４０３を表示部１０６に表示する。画面４０３では、アドバタイズ通知に含まれるデバイス名を表示し、接続可能な機器の一覧をユーザに示す。ユーザは操作部１０５を操作して、画面４０３から接続機器を選択することができる。本例では、スマートデバイス２００が選択されたものとする。

ステップＳ３０９で、デジタルカメラ１００の制御部１０１は、接続機器のワイプの形の選択を行う。制御部１０１は、図４（ａ）に示すワイプ選択画面４０４を表示部１０６に表示する。ワイプ選択画面４０４では、複数のワイプの形を選択可能に提示し、ユーザは操作部１０５を操作して所望のワイプの形を選択することができる。

ステップＳ３１０で、デジタルカメラ１００の制御部１０１は、ステップＳ３０８において選択した接続機器であるスマートデバイス２００との接続処理を開始する。これに併せて、制御部１０１は、図４（ａ）に示す画面４０５を表示部１０６に表示する。
ステップＳ３１１で、スマートデバイス２００の制御部２０１は、デジタルカメラ１００に対して接続可否を通知する。スマートデバイス２００は、接続できる状態であれば接続ＯＫを通知し、接続できない状態であれば接続ＮＧを通知する。
ステップＳ３１２で、ステップＳ３１０の通知に応じて、デジタルカメラ１００とスマートデバイス２００との間で、アプリケーションレベルの接続が完了する。

ステップＳ３１３で、デジタルカメラ１００の制御部１０１は、ワイプの形を決定する。ユーザ操作によってワイプの形の変更要求がある場合、制御部１０１は、図４（ａ）に示すワイプ選択画面４０４を表示部１０６に表示し、ユーザは操作部１０５を操作して所望のワイプの形を選択、決定することができる。一方、ワイプの形の変更要求がない場合、現時点でのワイプの形、すなわちステップＳ３０９において選択したワイプの形、或いはワイプの形の変更がなされているときは最新に変更されたワイプの形を継続する。
ステップＳ３１４で、デジタルカメラ１００の制御部１０１は、ステップＳ３１３において決定したワイプの形の通知を含むサブ画像要求をスマートデバイス２００に送信する。

ステップＳ３１５で、スマートデバイス２００の制御部２０１は、サブ画像データをデジタルカメラ１００に送信する。制御部２０１は、図４（ｂ）に示すように、撮像部２０２による撮影を行うための撮影用画面４７０を設定し、表示部２０６に表示する。撮影用画面４７０では、ステップＳ３１４において受信したワイプの形に合わせるように、撮像部２０２で撮像される画像を表示する領域が設けられ、それ以外の領域は黒くなっている。本例では、ワイプ選択画面４０４の左中段の横長の楕円形状のワイプが決定されている。このようにワイプの形に合わせて撮影用画面を設定することにより、ユーザはワイプの形を意識して撮影を行うことができる。そして、制御部２０１は、撮像部２０２から出力された画像データをワイプの形に基づいて調整したものをサブ画像データとして、デジタルカメラ１００に送信する。なお、画像データをワイプの形に基づいて調整するとは、例えば撮像部２０２から出力された画像をワイプの形に合わせて切り取ること等をいう。

ステップＳ３１６で、デジタルカメラ１００の制御部１０１は、撮像部１０２から出力されたメイン画像と、ステップＳ３１５において受信したサブ画像とを合成する。これにより、デジタルカメラ１００の表示部１０６には、図４（ａ）に示す画面４０６のように、メイン画像に重畳させて、サブ画像がワイプ４６０で表示されるように合成した画像が表示される。この状態で撮影が行われた場合、合成した画像データが記録媒体１１０に保存されるようにしてもよい。

デジタルカメラ１００及びスマートデバイス２００は、ステップＳ３１３～Ｓ３１６の処理を繰り返し実行する。
以上のようにして、デジタルカメラ１００において、撮像部１０２から出力されたメイン画像と、スマートデバイス２００から受信したサブ画像とを合成することができる。

［デジタルカメラ１００の動作］
次に、上記の手順を実現するためのデジタルカメラ１００の動作について説明する。
図５Ａは、デジタルカメラ１００の動作を示すフローチャートである。
ステップＳ５０１で、制御部１０１は、メイン画像とサブ画像とを合成する機能が選択されたかを否かを判定する。本ステップの処理は、図３のステップＳ３０１に対応する。制御部１０１が画像合成機能が選択されたと判定した場合、処理はステップＳ５０２に進み、そうでない場合、画像合成機能が選択されるまで待機する。

ステップＳ５０２で、制御部１０１は、簡易ＡＰを起動して無線ＬＡＮネットワークを生成する。本ステップの処理は、図３のステップＳ３０２に対応する。
ステップＳ５０３で、制御部１０１は、機器検索を開始する。本ステップの処理は、図３のステップＳ３０３に対応する。
ステップＳ５０４で、制御部１０１は、機器を発見したか否かを判定する。制御部１０１は、図３のステップＳ３０７のアドバタイズ通知を受信した場合は機器を発見したと判定し、アドバタイズ通知を受信しなかった場合は機器を発見していないと判定する。なお、本ステップの判定は、所定の時間だけアドバタイズ通知を受信しなかった場合に、機器を発見していないと判定するようにしてもよい。制御部１０１が機器を発見したと判定した場合、処理はステップＳ５０５に進み、そうでない場合、本フローチャートを抜ける。

ステップＳ５０５で、制御部１０１は、接続機器の選択を行う。本ステップの処理は、図３のステップＳ３０８に対応する。接続機器の選択は、ステップＳ３０８ではユーザ操作による選択を受け付けると述べたが、例えば最初に発見した機器を選択する等、所定の条件を満たした機器を選択するように予め決められていてもよい。本例では、スマートデバイス２００が選択されたものとする。

ステップＳ５０６で、制御部１０１は、接続機器のワイプの形の選択を行う。本ステップの処理は、図３のステップＳ３０９に対応する。ステップＳ３０９ではユーザ操作による選択を受け付けると述べたが、デフォルトのワイプの形を選択してもよいし、当該接続機器と前回に接続したときに選択されたワイプの形を自動で選択してもよい。

ステップＳ５０７で、制御部１０１は、ステップＳ５０５において選択した接続機器であるスマートデバイス２００との接続処理を行う。本ステップの処理は、図３のステップＳ３１０～Ｓ３１２に対応する。

ステップＳ５０８で、制御部１０１は、ワイプの形を決定する。本ステップの処理は、図３のステップＳ３１３に対応する。
ここで、図５Ｂを参照して、ステップＳ５０８のワイプの形決定処理の詳細について説明する。
ステップＳ５５１で、制御部１０１は、ユーザ操作によってワイプの形の変更要求があるか否かを判定する。制御部１０１がワイプの形の変更要求があると判定した場合、処理はステップＳ５５２に進み、そうでない場合、処理はステップＳ５５５に進む。
ステップＳ５５２で、制御部１０１は、図４（ａ）に示すワイプ選択画面４０４を表示部１０６に表示する。
ステップＳ５５３で、制御部１０１は、ユーザ操作によってワイプの形が変更されたか否かを判定する。制御部１０１がワイプの形が変更されたと判定した場合、処理はステップＳ５５４に進み、そうでない場合、処理はステップＳ５５５に進む。
ステップＳ５５４で、制御部１０１は、ワイプの形の変更を決定する。一方、ステップＳ５５５で、制御部１０１は、ワイプの形の継続を決定する。これにより、ワイプの形決定処理を終了する。

図５Ａに説明を戻して、ステップＳ５０９で、制御部１０１は、ステップＳ５０８において決定したワイプの形の通知を含むサブ画像要求をスマートデバイス２００に送信する。本ステップの処理は、図３のステップＳ３１４に対応する。
ステップＳ５１０で、制御部１０１は、ステップＳ５０９においてスマートデバイス２００に送信したサブ画像要求に対する応答として、スマートデバイス２００からサブ画像データを受信する。ここで受信するサブ画像は、ステップＳ５０８において決定したワイプの形の画像となっている。ステップＳ５１０の処理は、図３のステップＳ３１５に対応する。
ステップＳ５１１で、制御部１０１は、撮像部１０２から出力されたメイン画像と、ステップＳ５１０において受信したサブ画像とを合成する。ステップＳ５１１の処理は、図３のステップＳ３１６に対応する。
ステップＳ５１２で、制御部１０１は、処理を終了するか否かを判定する。処理を終了するとは、メイン画像とサブ画像との合成を終了したり、デジタルカメラ１００の電源を切ることでシャットダウンしたりすることをいう。制御部１０１が処理を終了しないと判定した場合、処理はステップＳ５０８に戻り、そうでない場合、本フローチャートを抜ける。

以上のように、メイン画像にサブ画像を合成するに際して、サブ画像のワイプの形を変更可能にする。本実施形態では、デジタルカメラ１００において、撮像部１０２から出力されたメイン画像と、スマートデバイス２００から受信したサブ画像とを合成するに際して、デジタルカメラ１００側でワイプの形を決定するようにした。デジタルカメラ１００は、スマートデバイス２００にワイプの形を通知し、スマートデバイス２００は、通知を受けたワイプの形の画像データをサブ画像データとしてデジタルカメラ１００に送信する。これにより、メイン画像にユーザが希望するワイプの形のサブ画像を合成することができる。

＜第２の実施形態＞
次に、第２の実施形態を説明する。デジタルカメラ１００の構成は、第１の実施形態に係るデジタルカメラ１００と同様であり、その説明を省略する。また、本実施形態では、２台のスマートデバイスＡ及びスマートデバイスＢを取り扱うが、いずれも第１の実施形態に係るスマートデバイス２００と同様であり、その説明を省略する。

［画像の合成について］
図６、図７を参照して、デジタルカメラ１００において、撮像部１０２から出力されたメイン画像と、スマートデバイスＡから受信したサブ画像と、スマートデバイスＢから受信したサブ画像とを合成する処理について説明する。
図６は、第２の実施形態に係るデジタルカメラ１００及びスマートデバイスＡ、Ｂの処理を示すシーケンス図である。
図７（ａ）は、デジタルカメラ１００において、撮像部１０２から出力されたメイン画像と、スマートデバイスＡから受信したサブ画像と、スマートデバイスＢから受信したサブ画像とを合成する際に表示部１０６に表示する画面遷移の例を示す図である。また、図７（ｂ）は、スマートデバイスＡ、Ｂにおけるワイプ選択画面７０８の例を示す図である。また、図７（ｃ）は、スマートデバイスＡ、Ｂにおいて、決定したワイプの形に基づいて撮影用画面７７０を設定し、表示部２０６に表示する例を示す図である。

ステップＳ６０１で、図３のステップＳ３０１と同様、デジタルカメラ１００の制御部１０１は、図７（ａ）に示す機能選択画面７０１を表示部１０６に表示する。機能選択画面７０１では、メイン画像とサブ画像とを合成する機能を選択するためのワイプ撮影ボタン７１０が表示される。ユーザは操作部１０５（例えばタッチパネル）を操作してワイプ撮影ボタン７１０を選択することで、メイン画像とサブ画像とを合成する機能を選択することができる。

制御部１０１は、ワイプ撮影ボタン７１０の選択を検知したならば、ステップＳ６０２以降の処理を開始し、無線ＬＡＮ接続のための処理を行う。
ステップＳ６０２で、図３のステップＳ３０２と同様、デジタルカメラ１００の制御部１０１は、簡易ＡＰを起動して無線ＬＡＮネットワークを生成し、図７（ａ）に示す画面７０２を表示部１０６に表示する。
ステップＳ６０３で、図３のステップＳ３０３と同様、デジタルカメラ１００の制御部１０１は、機器検索を開始する。

ステップＳ６０４で、図３のステップＳ３０４と同様、スマートデバイスＡの制御部２０１は、ネットワーク選択を行う。
ステップＳ６０４におけるユーザ操作によってネットワークが選択されると、ステップＳ６０５で、図３のステップＳ３０５と同様、スマートデバイスＡは、デジタルカメラ１００の簡易ＡＰのネットワークに参加することになる。
続いて、以降の処理によって、アプリケーションレベルでの接続の確立を行う。ステップＳ６０６で、図３のステップＳ３０６と同様、スマートデバイスＡの制御部２０１は、操作部２０５を介して、不揮発性メモリ２０３に保存されたアプリケーションを起動する指示を受け付ける。
ステップＳ６０７で、図３のステップＳ３０７と同様、スマートデバイスＡの制御部２０１は、起動したアプリケーションの制御に従い、参加したネットワーク内にアドバタイズ通知をブロードキャストし、自身の存在をデジタルカメラ１００に通知する。

ステップＳ６０８～Ｓ６１１で、スマートデバイスＢにおいても、ステップＳ６０４～Ｓ６０７と同様の処理を実行する。

ステップＳ６１２で、図３のステップＳ３０８と同様、デジタルカメラ１００の制御部１０１は、接続機器の選択を行う。制御部１０１は、ステップＳ６０７やステップＳ６１１においてアドバタイズ通知を受信したならば、図７（ａ）に示す画面７０３を表示部１０６に表示する。画面７０３では、アドバタイズ通知に含まれるデバイス名を表示し、接続可能な機器の一覧をユーザに示す。ユーザは操作部１０５を操作して、画面７０３から接続機器を選択することができる。本例では、スマートデバイスＡが選択されたものとする。

ステップＳ６１３で、図３のステップＳ３１０と同様、デジタルカメラ１００の制御部１０１は、ステップＳ６１２において選択した接続機器であるスマートデバイスＡとの接続処理を開始する。これに併せて、制御部１０１は、図７（ａ）に示す画面７０４を表示部１０６に表示する。
ステップＳ６１４で、図３のステップＳ３１１と同様、スマートデバイスＡの制御部２０１は、デジタルカメラ１００に対して接続可否を通知する。
ステップＳ６１５で、図３のステップＳ３１２と同様、ステップＳ６１３の通知に応じて、デジタルカメラ１００とスマートデバイスＡとの間で、アプリケーションレベルの接続が完了する。

ステップＳ６１６で、更に他の外部機器と接続するために、ステップＳ６１２と同様、デジタルカメラ１００の制御部１０１は、接続機器の選択を行う。制御部１０１は、図７（ａ）に示す画面７０５を表示部１０６に表示する。画面７０５では、アドバタイズ通知に含まれるデバイス名を表示し、接続可能な機器の一覧をユーザに示す。画面７０５では、画面７０３と比較して、既に接続機器として選択されたスマートデバイスＡのデバイス名がなくなっている。ユーザは操作部１０５を操作して、画面７０５から接続機器を選択することができる。本例では、スマートデバイスＢが選択されたものとする。
ステップＳ６１７～Ｓ６１９は、ステップＳ６１３～Ｓ６１５と同様の処理であり、デジタルカメラ１００とスマートデバイスＢとの間で、アプリケーションレベルの接続が完了する。なお、スマートデバイスｂとの接続処理を開始すると、制御部１０１は、図７（ａ）に示す画面７０６を表示部１０６に表示する。

ステップＳ６２０で、デジタルカメラ１００の制御部１０１は、サブ画像要求をスマートデバイスＡに送信する。
ステップＳ６２１で、デジタルカメラ１００の制御部１０１は、サブ画像要求をスマートデバイスＢに送信する。

ステップＳ６２２で、スマートデバイスＡの制御部２０１は、ワイプの形を決定する。ユーザ操作によってワイプの形の変更要求がある場合、制御部２０１は、図７（ｂ）に示すワイプ選択画面７０８を表示部２０６に表示し、ユーザは操作部２０５を操作して所望のワイプの形を選択、決定することができる。一方、ワイプの形の変更要求がない場合、現時点でのワイプの形を継続する。
ステップＳ６２３で、スマートデバイスＡの制御部２０１は、サブ画像データをデジタルカメラ１００に送信する。制御部２０１は、図７（ｃ）に示すように、撮像部２０２による撮影を行うための撮影用画面７７０を設定し、表示部２０６に表示する。撮影用画面７７０では、ステップＳ６２２において決定したワイプの形に合わせるように、撮像部２０２で撮像される画像を表示する領域が設けられ、それ以外の領域は黒くなっている。本例では、ワイプ選択画面７０８の右上段の縦長の矩形状のワイプが決定されている。このようにワイプの形に合わせて撮影用画面を設定することにより、ユーザはワイプの形を意識して撮影を行うことができる。そして、制御部２０１は、撮像部２０２から出力された画像データをワイプの形に基づいて調整したものをサブ画像データとして、デジタルカメラ１００に送信する。なお、画像データをワイプの形に基づいて調整するとは、例えば撮像部２０２から出力された画像をワイプの形に合わせて切り取ること等をいう。

ステップＳ６２４、Ｓ６２５で、スマートデバイスＢにおいても、ステップＳ６２２、Ｓ６２３と同様の処理を実行する。

ステップＳ６２６で、デジタルカメラ１００の制御部１０１は、撮像部１０２から出力されたメイン画像と、ステップＳ６２３において受信したサブ画像と、ステップＳ６２５において受信したサブ画像とを合成する。これにより、デジタルカメラ１００の表示部１０６には、図７（ａ）に示す画面７０７のように、メイン画像に重畳させて、スマートデバイスＡから受信したサブ画像がワイプ７６０で表示され、スマートデバイスＢから受信したサブ画像がワイプ７６１で表示されるように合成した画像が表示される。この状態で撮影が行われた場合、合成した画像データが記録媒体１１０に保存されるようにしてもよい。

デジタルカメラ１００及びスマートデバイスＡ、Ｂは、ステップＳ６２２～Ｓ６２６の処理を繰り返し実行する。
以上のようにして、デジタルカメラ１００において、撮像部１０２から出力されたメイン画像と、スマートデバイスＡから受信したサブ画像と、スマートデバイスＢから受信したサブ画像とを合成することができる。

［デジタルカメラ１００の動作］
次に、上記の手順を実現するためのデジタルカメラ１００の動作について説明する。
図８は、デジタルカメラ１００の動作を示すフローチャートである。
ステップＳ８０１～Ｓ８０６は、図５ＡのステップＳ５０１～Ｓ５０５、Ｓ５０７と同様の処理であり、ここではその説明を省略する。
ステップＳ８０７において、制御部１０１は、他の外部機器とも接続を行うか否かを判定する。本例では、スマートデバイスＡと接続した後に、スマートデバイスＢと接続するものとする。他の外部機器とも接続を行うか否かは、ユーザ操作による選択を受け付けてもよいし、例えば予め台数が決められていてもよい。制御部１０１が他の外部機器とも接続を行うと判定した場合、処理はステップＳ８０５に戻り、そうでない場合、処理はステップＳ８０８に進む。

ステップＳ８０８で、制御部１０１は、サブ画像要求をスマートデバイスＡ及びスマートデバイスＢに送信する。本ステップの処理は、図６のステップＳ６２０及びステップＳ６２１に対応する。
ステップＳ８０９で、制御部１０１は、ステップＳ８０８においてスマートデバイスＡ及びスマートデバイスＢに送信したサブ画像要求に対する応答として、スマートデバイスＡ及びスマートデバイスＢからサブ画像データを受信する。ここで受信するサブ画像は、スマートデバイスＡ及びスマートデバイスＢそれぞれにおいて決定したワイプの形の画像となっている。ステップＳ８０９の処理は、図６のステップＳ６２３及びステップＳ６２５に対応する。
ステップＳ８１０で、制御部１０１は、撮像部１０２から出力されたメイン画像と、ステップＳ８０９において受信したサブ画像とを合成する。ステップＳ８１０の処理は、図６のステップＳ６２６に対応する。
ステップＳ８１１で、制御部１０１は、処理を終了するか否かを判定する。処理を終了するとは、メイン画像とサブ画像との合成を終了したり、デジタルカメラ１００の電源を切ることでシャットダウンしたりすることをいう。制御部１０１が処理を終了しないと判定した場合、処理はステップＳ８０９に戻り、そうでない場合、本フローチャートを抜ける。

［スマートデバイス２００の動作］
次に、上記の手順を実現するためのスマートデバイス２００（スマートデバイスＡ、Ｂ）の動作について説明する。
図９Ａは、スマートデバイス２００の動作を示すフローチャートである。
ステップＳ９０１で、制御部２０１は、ユーザによってネットワークが選択されたか否かを判定する。本ステップの処理は、図６のステップＳ６０４やステップＳ６０８に対応する。制御部２０１がネットワークが選択されたと判定した場合、処理はステップＳ９０２に進み、そうでない場合、ネットワークが選択されるまで待機する。

ステップＳ９０２で、制御部２０１は、ステップＳ９０１において選択された無線ＬＡＮネットワークに参加する。本ステップの処理は、図６のステップＳ６０５やステップＳ６０９に対応する。
ステップＳ９０３で、制御部２０１は、ユーザ操作によってアプリケーションが起動されたか否かを判定する。本ステップの処理は、図６のステップＳ６０６やステップＳ６１０に対応する。制御部２０１がアプリケーションが起動されたと判定した場合、処理はステップＳ９０４に進み、そうでない場合、アプリケーションが起動されるまで待機する。

ステップＳ９０４で、制御部２０１は、起動したアプリケーションの制御に従い、参加したネットワーク内にアドバタイズ通知をブロードキャストし、自身の存在をデジタルカメラ１００に通知する。本ステップの処理は、図６のステップＳ６０７やステップＳ６１１に対応する。
ステップＳ９０５で、制御部２０１は、デジタルカメラ１００との接続処理を行う。本ステップの処理は、図６のステップＳ６１３～Ｓ６１５や、ステップＳ６１７～Ｓ６１９に対応する。
ステップＳ９０６で、制御部２０１は、デジタルカメラ１００からサブ画像要求を受信する。本ステップの処理は、図６のステップＳ６２０やステップＳ６２１に対応する。

ステップＳ９０７で、制御部２０１は、ワイプの形を決定する。本ステップの処理は、図６のステップＳ６２２やステップＳ６２４に対応する。
ここで、図９Ｂを参照して、ステップＳ９０７のワイプの形決定処理の詳細について説明する。
ステップＳ９５１で、制御部２０１は、ユーザ操作によってワイプの形の変更要求があるか否かを判定する。制御部２０１がワイプの形の変更要求があると判定した場合、処理はステップＳ９５２に進み、そうでない場合、処理はステップＳ９５５に進む。
ステップＳ９５２で、制御部２０１は、図７（ｂ）に示すワイプ選択画面７０８を表示部２０６に表示する。
ステップＳ９５３で、制御部２０１は、ユーザ操作によってワイプの形が変更されたか否かを判定する。制御部２０１がワイプの形が変更されたと判定した場合、処理はステップＳ９５４に進み、そうでない場合、処理はステップＳ９５５に進む。
ステップＳ９５４で、制御部２０１は、ワイプの形の変更を決定する。一方、ステップＳ９５５で、制御部２０１は、ワイプの形の継続を決定する。これにより、ワイプの形決定処理を終了する。

図９Ａに説明を戻して、ステップＳ９０８で、制御部２０１は、サブ画像データをデジタルカメラ１００に送信する。本ステップの処理は、図６のステップＳ６２３やステップＳ６２５に対応する。

ステップＳ９０９で、制御部２０１は、処理を終了するか否かを判定する。処理を終了するとは、メイン画像とサブ画像との合成を終了したり、スマートデバイス２００の電源を切ることでシャットダウンしたりすることをいう。制御部２０１が処理を終了しないと判定した場合、処理はステップＳ９０７に戻り、そうでない場合、本フローチャートを抜ける。

以上のように、メイン画像にサブ画像を合成するに際して、サブ画像のワイプの形を変更可能にする。本実施形態では、デジタルカメラ１００において、撮像部１０２から出力されたメイン画像と、スマートデバイス２００（スマートデバイスＡ、Ｂ）から受信したサブ画像とを合成するに際して、スマートデバイス２００側でワイプの形を決定するようにした。スマートデバイス２００は、自機で決定したワイプの形の画像データをサブ画像データとしてデジタルカメラ１００に送信する。これにより、メイン画像にユーザが希望するワイプの形のサブ画像を合成することができる。

上述した第１、２の実施形態では、ワイプの形を変更可能にすることを説明したが、それに加えて、メイン画像に対するワイプのサイズやワイプの位置を変更可能にしてもよい。

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。また、各実施形態を適宜組み合せることも可能である。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：デジタルカメラ、１０１：制御部、１０２：撮像部、１１１：接続部、１１２：画像合成部、２００：スマートデバイス、２０１：制御部、２０２：撮像部、２１１：接続部

Claims (6)

1. 第１の撮像部を備え、外部機器から受信したサブ画像を、前記第１の撮像部から出力する画像であるメイン画像に合成する画像処理装置であって、
   ユーザ操作による変更要求がないときは、サブ画像のワイプの形を継続し、前記変更要求があったときは、複数のワイプの形を選択可能に提示し、ユーザ操作によって選択させるようにして、ワイプの形を決定する決定手段と、
   前記決定手段で決定したワイプの形の通知を含むサブ画像要求を前記外部機器に送信する送信手段と、
   前記外部機器から、前記サブ画像要求に含まれるワイプの形に基づいて調整されたサブ画像のデータを受信する受信手段と、
   前記第１の撮像部から出力するメイン画像と、前記受信手段で受信したサブ画像とを合成する合成手段とを備え、
   前記決定手段、前記送信手段、前記受信手段及び前記合成手段による処理を繰り返すことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置と通信を行う電子機器であって、
   第２の撮像部と、
   前記画像処理装置からサブ画像のワイプの形の通知を含むサブ画像要求を受信する受信手段と、
   前記第２の撮像部から出力する画像を、前記受信手段で受信したサブ画像要求に含まれるワイプの形に基づいて調整したものをサブ画像として、当該サブ画像のデータを前記画像処理装置に送信するよう制御する制御手段とを備えたことを特徴とする電子機器。
3. 前記受信手段で受信したサブ画像要求に含まれるワイプの形に基づいて、前記第２の撮像部による撮影を行うための撮影用画面を設定する設定手段を備えたことを特徴とする請求項２に記載の電子機器。
4. 第１の撮像部を備え、外部機器から受信したサブ画像を、前記第１の撮像部から出力する画像であるメイン画像に合成する画像処理装置の制御方法であって、
   ユーザ操作による変更要求がないときは、サブ画像のワイプの形を継続し、前記変更要求があったときは、複数のワイプの形を選択可能に提示し、ユーザ操作によって選択させるようにして、ワイプの形を決定する決定ステップと、
   前記決定ステップで決定したワイプの形の通知を含むサブ画像要求を前記外部機器に送信する送信ステップと、
   前記外部機器から、前記サブ画像要求に含まれるワイプの形に基づいて調整されたサブ画像のデータを受信する受信ステップと、
   前記第１の撮像部から出力するメイン画像と、前記受信ステップで受信したサブ画像とを合成する合成ステップとを有し、
   前記決定ステップ、前記送信ステップ、前記受信ステップ及び前記合成ステップを繰り返すことを特徴とする画像処理装置の制御方法。
5. 請求項１に記載の画像処理装置の各手段としてコンピュータを機能させるためのプログラム。
6. 請求項２又は３に記載の電子機器の各手段としてコンピュータを機能させるためのプログラム。

Images