JP6529108B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、収集した画像の組写真を作成するデジタルカメラ等に好適な画像処理装置、画像処理方法および画像処理プログラムに関する。

近年、デジタルカメラなどの撮影機能付き携帯機器（撮影機器）が普及している。この種の撮影機器においては表示部を有して、撮影画像を表示する機能を有するものもある。また、表示部にメニュー画面を表示して、撮影機器の操作を容易にしたものもある。更に、表示部にタッチパネルを配置して、タッチパネルに対するタッチ操作によって撮影機器の操作が可能なものもある。

また、この種の撮影機器においては、画像処理を駆使して、撮影した写真に、様々な効果を付加する技術も開発されており、例えば、撮影した複数の写真を組み合わせて１枚の写真とする組写真を生成する撮影機器も開発されている。組写真は、複数の画像の持つ、それぞれの表現を１つの画像上に表示して、これらを対比したり、行間を読ませたり、複合、総合的な画像鑑賞を可能とさせ、コミュニケーションを促す効果がある。

たとえば、特許文献１において、複数のカメラで組写真を作成する技術なども提案されている。

特開２０１４−１５５０１１号公報

しかしながら、従来、複数のカメラによって撮影した画像を収集して互いにシェアする場合における出力形式の利点や利便性等を考慮して、シェアまでの状況に応じた組写真やアルバムのモード設定等を行う装置は開発されておらず、モード設定等の各種の煩雑な作業をユーザが行う必要がある。例えば、複数の撮影者が撮影して得た画像を収集してシェアする場合、従来、各自において送信操作や受信操作等の煩雑な操作が必要であると共に、比較的大きいデータの伝送を人数分行う必要があり、撮像画像を鑑賞するために比較的長い時間が必要となる。

本発明は、複数の撮影機器からの撮像画像を短時間でシェアして、ストレスなく収集された撮像画像を鑑賞することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

本発明に係る画像処理装置は、少なくとも１つの相手機器からの撮像画像を含む複数の撮像画像を収集する受信部と、ユースシーン分析条件に基づいてユースシーンを判定するユースシーン分析部と、上記ユースシーンの判定結果に応じて、上記受信部において収集した複数の撮像画像に基づく組写真、または、上記受信部において収集した複数の撮像画像に基づくアルバムを生成し、生成した組写真またはアルバムを上記少なくとも１つの相手機器に送信する制御部と、を具備し、上記ユースシーン分析部は、上記受信部が収集した撮像画像に含まれる撮影時間の情報、上記受信部が収集した収集時間の情報及びユーザが設定するアルバム期間の情報のうちの少なくとも１つの情報に基づいて上記ユースシーンを分析し、かつ、上記撮影時間と上記収集時間との時間差が所定の閾値よりも短い場合には組写真を生成させ、所定の閾値以上である場合にはアルバムを生成させるための判定結果を得る。

また、本発明に係る画像処理方法は、少なくとも１つの相手機器からの撮像画像を含む複数の撮像画像を収集し、ユースシーン分析条件に基づいてユースシーンを判定し、上記ユースシーンの判定結果に応じて、上記収集した複数の撮像画像に基づく組写真、または、上記収集した複数の撮像画像に基づくアルバムを生成し、生成した組写真またはアルバムを上記少なくとも１つの相手機器に送信し、上記ユースシーンを判定するユースシーン分析部は、上記収集した撮像画像に含まれる撮影時間の情報、上記収集した収集時間の情報及びユーザが設定するアルバム期間の情報のうちの少なくとも１つの情報に基づいて上記ユースシーンを分析し、かつ、上記撮影時間と上記収集時間との時間差が所定の閾値よりも短い場合には組写真を生成させ、所定の閾値以上である場合にはアルバムを生成させるための判定結果を得る。

また、本発明に係る画像処理プログラムは、コンピュータに、少なくとも１つの相手機器からの撮像画像を含む複数の撮像画像を収集し、ユースシーン分析条件に基づいてユースシーンを判定し、上記ユースシーンの判定結果に応じて、上記収集した複数の撮像画像に基づく組写真、または、上記収集した複数の撮像画像に基づくアルバムを生成し、生成した組写真またはアルバムを上記少なくとも１つの相手機器に送信し、上記ユースシーンを判定するユースシーン分析部が、上記収集した撮像画像に含まれる撮影時間の情報、上記収集した収集時間の情報及びユーザが設定するアルバム期間の情報のうちの少なくとも１つの情報に基づいて上記ユースシーンを分析し、かつ、上記撮影時間と上記収集時間との時間差が所定の閾値よりも短い場合には組写真を生成させ、所定の閾値以上である場合にはアルバムを生成させるための判定結果を得るステップを実行させる。

本発明は、複数の撮影機器からの撮像画像を状況に応じて効果的にシェアして、シェアされたメンバーがストレスなく撮像画像を鑑賞することができるという効果を有する。

本発明の第１の実施の形態に係る画像処理装置を示すブロック図。 第１の実施の形態の利用形態を示す説明図。 第１の実施の形態の利用形態を示す説明図。 第１の実施の形態の利用形態を示す説明図。 第１の実施の形態の利用の時間経過を示す説明図。 第１の実施の形態の動作フローを示すフローチャート。 画面表示の一例を示す説明図。 画面表示の一例を示す説明図。 本発明の第２の実施の形態を示すブロック図。 図９の外観を示す説明図。 アルバム化による鑑賞が好ましいユースシーンを示す説明図。 無線機能を有する一般的なデジタルカメラを示す説明図。 ユースシーン分析部８１の分析方法の一例を示すフローチャート。 レンズ型カメラ９０におけるカメラ制御とスマートフォン８０の制御とを説明するためのフローチャート。 第２の実施の形態における画面表示例を示す説明図。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る画像処理装置を示すブロック図である。本実施の形態の画像処理装置によれば、複数の撮影機器によって取得した画像を、短時間でシェアすることができる。

通常、複数のカメラによって撮像した得た画像をシェアする方法として、各カメラによって撮影して得た撮像画像を通信によって取得し、パーソナルコンピュータ等によって編集した後表示する方法が考えられる。しかし、この方法では、カメラによる撮影からモニタに画像を表示するまでに比較的長時間を要する。

例えば、友人等との旅行に際して、旅先で取得した画像を旅先で鑑賞する場合等においては、各人が撮影して得た画像を互いに送信し合い、各人のカメラ等において編集して鑑賞を行う方法が採用されることがある。例えば、３人がそれぞれのカメラでそれぞれ撮影した画像をシェアする場合には、各人のカメラ間で相互に行う６回の画像通信によって、各人のカメラにおいて全ての撮像画像の鑑賞が可能となる。

即ち、このような場合には、従来、各人が多数回の通信を行い、それぞれ編集作業等の後画像を表示させることになり、画像通信に比較的長時間を要すると共に、煩雑な作業が必要となる。近年、メモリ容量の大容量化に伴い、撮影枚数は増加傾向にあり、通信する画像情報量の増加によって通信時間が長くなり、画像をシェアして各人が鑑賞するまでに長時間を要する。

そこで、本実施の形態においては、このようなユースシーンにおいては、各撮影機器からの画像を収集し、複数の画像による組写真を生成することでリサイズを行って情報量を低減した後、この組写真を各撮影機器に送信するようになっている。

図１において、画像処理装置１０は撮像部２０を有している。撮像部２０は、ＣＣＤやＣＭＯＳセンサ等により構成される撮像素子２１を有している。撮像部２０は、撮像素子２１に被写体像を導く図示しない光路部を有しており、光路部には、ズームやフォーカシングのための複数のレンズ及び絞り等（図示せず）が設けられている。

制御部２２は、例えば図示しないＣＰＵ等のプロセッサによって構成されている。制御部２２には撮影制御部２２ａが設けられており、撮影制御部２２ａは、撮像部２０の撮影を制御する。撮影制御部２２ａは、撮像部２０におけるピント合わせ、絞り調整及びズーム等を制御する。

また、撮影制御部２２ａは、撮像素子２１に駆動信号を出力する。撮像素子２１は、レンズを介して入射した被写体光学像を光電変換して撮像画像を得る。撮影制御部２２ａは、撮像素子２１からの撮像画像を読み出す。撮影制御部２２ａは、読み出した撮像画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行う。

撮像部２０は時計部２３を有している。時計部２３は時間情報を生成して制御部２２に与える。制御部２２は、撮像画像に撮影時間等の情報を関連付けることができるようになっている。

制御部２２には、通信制御部２２ｂが設けられている。通信制御部２２ｂは、制御部３１の通信制御部３２との間で情報の授受が可能である。通信制御部２２ｂは通信制御部３２を介して制御部３１からの制御信号を受信すると、この制御信号を撮影制御部２２ａに与える。これにより、撮影制御部２２ａは、制御部３１の制御信号に基づいて撮像部２０の各部を制御する。また、通信制御部２２ｂは、撮影制御部２２ａからの撮像画像を制御部３１に送信することもできるようになっている。

更に、本実施の形態においては、通信部２４が設けられている。通信部２４は、通信制御部２２ｂに制御されて、外部の通信部（図示せず）との間で所定の伝送路を介して通信が可能である。伝送路としては、有線及び無線による各種伝送路、例えば、ＵＳＢ（Universal Serial Bus）ケーブルやＷｉｆｉ（Wireless Fidelity）等の無線ＬＡＮの伝送路等を採用することができるようになっている。もちろん、ブルートゥースやＮＦＣのような電波のものから、赤外通信まで様々な技術を使うことが出来る。通信制御部２２ｂは、通信部２４による通信を制御することができ、例えば、外部の通信部との間で通信が確立すると、撮影制御部２２ａが取得した撮像画像等の情報を外部に送信することができるようになっている。

画像処理装置１０の通信部３３は、通信部２４と同様の構成であり、通信制御部３２に制御されて、外部機器の通信部（図示せず）との間で所定の伝送路を介して通信が可能である。伝送路としては、有線及び無線による各種伝送路、例えば、ＵＳＢケーブルやＷｉｆｉ等の無線ＬＡＮの伝送路等、ブルートゥースやＮＦＣのような電波のものから、赤外通信まで様々な技術を採用することができるようになっている。通信制御部３２は、通信部３３による通信を制御することができ、例えば、外部の通信部との間で通信が確立すると、外部の通信部から転送された撮像画像等の情報を制御部３１に取り込むことができるようになっている。

本実施の形態においては、複数の撮影機器がそれぞれ撮影して得た複数の撮像画像を収集して組写真を生成するようになっており、画像処理装置１０は、画像の収集、編集及び送信機能（以下、これらの機能をシェア処理機能という）を有していればよく撮像部２０は省略可能である。なお、撮像部２０は組写真の元となる撮像画像を取得する複数の撮影機器の１つとして機能することができる。

画像処理装置１０には、操作部３８が設けられている。操作部３８は、撮像や画像処理を制御する各種の操作機構を含む。例えば、操作部３８は、図示しないレリーズボタン、ファンクションボタン、撮像モード設定等の各種スイッチ、或いはタッチパネル等を含んでおり、操作部３８に対するユーザ操作に基づく操作信号を発生して、制御部３１に出力するようになっている。制御部３１は、操作信号に基づいて、各部を制御する。

制御部３１は、通信制御部３２によって、撮像部２０からの撮像画像を取得すると共に、通信部３３を介して図示しない外部の撮影機器から送信された撮像画像を取得する。リサイズ部３６は、制御部３１が取得した複数の撮像画像をリサイズして画像サイズを縮小する。画像合成部３５は、リサイズされた複数の撮像画像を組み合わせて、１つの画像である組写真を生成する。リサイズ部３６及び画像合成部３５は、協働して動作し、撮像画像の枚数や人物の有無等に応じて、各撮像画像のサイズ、形状及び配置を適宜設定した組写真を生成することができるようになっている。

例えば、画像合成部３５及びリサイズ部３６は、予め設定された枚数、形状及びサイズの撮像画像により組写真を生成してもよく、組写真を構成する各撮像画像のサイズや位置等をユーザ操作に応じて設定するようにしてもよい。また、予め設定した人物が写っている撮像画像のサイズを他の撮像画像よりも大きくする等の設定も可能である。

画像処理装置１０には時計部４０も設けられている。時計部４０は時間情報を生成して制御部３１に与える。制御部３１は、撮像画像の撮影時間と画像を収集した時間とを管理することができるようになっている。

例えば、制御部３１は、収集した時間が所定の時間範囲内の撮像画像を組写真として用いる画像としてもよい。また、制御部３１は、撮像した時間が所定の時間範囲内の撮像画像を組写真として用いる画像としても良い。更に、制御部３１は、撮影された時間と収集された時間との差が所定の時間範囲内の撮像画像を組写真として用いる画像としてもよい。このような時間管理によって、制御部３１は、組写真として用いる画像を自動的に選択することも可能である。

制御部３１は、収集した撮像画像及び生成した組写真を記録部３９に与えて記録させることができる。この場合には、制御部３１は、収集した撮像画像や組写真を圧縮処理し、圧縮後の画像を記録部３９に与えて記録させることができる。記録部３９としては、例えばカードインターフェースを採用することができ、記録部３９はメモリカード等の記録媒体に画像情報及び音声情報等を記録可能である。

制御部３１の表示制御部３４は表示に関する各種処理を実行する。表示制御部３４は、収集した撮像画像及び生成した組写真を表示部３７に与えることができる。表示部３７は、ＬＣＤ等の表示画面を有しており、表示制御部３４から与えられた画像を表示する。また、表示制御部３４は、各種メニュー表示等をこれらの表示画面に表示させることもできるようになっている。

なお、表示部３７は、撮像画像を表示する表示画面を有している。また、表示画面上には、操作部３８として図示しないタッチパネルも設けられていてもよい。タッチパネルは、ユーザが指で指し示した表示画面上の位置に応じた操作信号を発生することができる。この操作信号は、制御部３１に供給される。これにより、制御部３１は、ユーザが表示画面上をタッチしたりスライドさせたりした場合には、ユーザのタッチ位置、指を近接させたり離間させる操作、スライド操作やスライド操作によって到達した位置、スライド方向、タッチしている期間等の各種操作を検出することができ、ユーザ操作に対応した処理を実行することができるようになっている。

なお、表示部３７は、画像処理装置１０の例えば背面の略全域を占めるように配設されており、撮影者は、撮像部２０による撮影時に表示部３７の表示画面上に表示されたスルー画を確認することができ、スルー画を確認しながら撮影操作を行うことができる。また、この表示部３７の表示画面上には、組写真の生成時に必要な表示を行うこともでき、タッチパネルの操作によって組写真の生成のための作業を行うこともできるようになっている。

次にこのように構成された実施の形態の動作について図２乃至図８を参照して説明する。図２乃至図４は第１の実施の形態の利用形態を示す説明図であり、図５は第１の実施の形態の利用の時間経過を示す説明図である。また、図６は第１の実施の形態の動作フローを示すフローチャートであり、図７及び図８は画面表示の一例を示す説明図である。

本実施の形態における画像処理装置１０は、デジタルカメラやスマートフォン等に組み込んで使用することができる。図２において、人物４５〜４７は、それぞれ手にコンパクトカメラ４８、１眼レフカメラ４９及びスマートフォン５０を把持している。カメラ４８，４９及びスマートフォン５０には、図１の画像処理装置１０と同様の構成が組み込まれている。

なお、本実施の形態は、複数の撮影機器によって取得した撮像画像を１つの画像処理装置１０において収集するものであり、カメラ４８，４９及びスマートフォン５０の全てに画像処理装置１０が組み込まれている必要はなく、いずれか１つに画像処理装置１０の撮像部２０の機能を除くシェア処理機能が組み込まれていればよい。例えば、スマートフォン５０がシェア処理機能を有する場合には、カメラ４８，４９は、撮像部２０と同様の機能、即ち、撮影によって撮像画像を取得し、取得した撮像画像をシェアするために送受信する機能のみを備えていればよい。

図２において、人物４５はカメラ４８によって所定の被写体を撮影し、人物４６はカメラ４９によって所定の被写体を撮影している。また、人物４７はスマートフォン５０の撮像部２０（図１参照）によって、とんぼと草花の被写体５２を撮影する。その後、図３のように各撮影結果を通信するが、ここでは、５０の機器に集めて、これが組写真を作成するようにしている。図４は、そのときの組写真であるが、ここでは、なるべく、全員が写った方が、各人の不満が出ないので、人物の画像は大きめに表示し、だぶりのある人物画像は小さめにした。また、人物のいない画像は小さめにしている。もちろん、これ以外にも、出来映えの良い画像を主画像として大きく表示し、その他の画像を小さくしたり、最初に撮影したものを大きくしたり、時系列表示にしたり、様々なルールを設定可能としても、ゲーム性が高まり、撮影や画像のシェアが楽しくなる。１つの画像で表示されるので、比較や統合的な効果が高まり、画像の送信も楽に短時間で可能となる。

図５はこれらの人物４５〜４８による旅行中における、撮影の様子を時間の流れに沿って示している。旅行中の小イベントＥ１において、人物４５は撮影Ｐ１を行い、人物４６は２回の撮影Ｐ２，Ｐ３を行い、人物４７は撮影Ｐ４を行う。また、旅行中の次の小イベントＥ２において、人物４５は撮影Ｐ５〜Ｐ７を行い、人物４６は撮影Ｐ８，Ｐ９を行い、人物４７は撮影Ｐ１０，Ｐ１１を行う。つまり、何かイベントを行う都度、みんなで撮影をするので、個々のユーザが主体的に行動することが求められる。多くの場合、一人がカメラマンで、後の人は被写体にすぎず、撮影している人は、自分が写らないという不満があり、撮影される人は、全員が揃わないと撮影できないというように、時間的な制約が不満となることがあったが、このようなシステムや方法や装置によって、こうした不満を解消した新しい参加型の撮影が可能となる。各人が個々の携帯端末を有し、それが撮影機能を有している現在の状況では、こうした撮影方法の方がみんなで楽しめる。このような楽しみ方は、後述する図１１のような撮影やシェア方法とは明らかに異なるものである。

本実施の形態においては、上述の状況に鑑み、これらのイベント毎の撮像画像を短時間で且つ簡単に、カメラ４８，４９及びスマートフォン５０においてシェア可能とする。つまり、本発明の提案の技術によって、上述の楽しみ方を積極的に提案することが可能となる。従って、本発明は、このような複数の撮影装置からの撮影画像の受信と上記受信された撮影画像の撮影時刻に従って、組写真作成を作成するのにふさわしい撮影装置の使われ方のユースシーンを分析するユースシーン分析方法を提案したものとも言える。具体的には、参加者から画像を受け取って、ほぼ類似時刻に自分の撮った画像を比較してみたいような状況が当該ユースシーンに対応する。よって、撮影画像の撮影時刻と受信時の時刻などが重要な判断材料となる。

画像を送ってくれた人だけが、組写真を受け取れるようにすれば、ギブアンドテークのコミュニティ的な運営も可能となる。バーチャルではなく、コンテンツを介在させた、撮影や鑑賞を通じて個々のメンバーの交流を促す、リアルなコミュニティ活動とも言える。そのためには、組写真を作成することのみならず、迅速、適切なシェアが重要であることは言うまでもない。

ここで、カメラ４８，４９の表示部３７の表示画面を表示画面６１とし、スマートフォン５０の表示部３７の表示画面を表示画面３７ａとして、シェアの方法について説明する。

図６のフローは、画像処理装置１０の処理を示している。画像処理装置１０は、撮影モード、再生モード、送信モード、受信モード及び編集モードの各動作モードを有する。なお、シェアモード時には、撮像画像を取得する装置において、撮影又は再生モード、送信モード、受信モードが実行され、シェア処理機能を実行する装置においては、受信モード、編集モード及び送信モードが実行される。

図７は撮像画像を取得して送信する装置（カメラ４８，４９）における画面表示の例を示している。図７（ａ），（ｂ）において、表示画面６１には、撮像画像の表示領域６２が設けられおり、表示画面６１の端部には、操作のための各種ボタン表示６１ａ〜６１ｅが表示可能である。ユーザがボタン表示６１ａ〜６１ｅの表示位置をタッチすることで、各ボタン表示に設定されたモードへの切換えが可能である。

図８はシェア処理機能を有する装置（スマートフォン５０）における画面表示の例を示している。図８（ａ）〜（ｃ）において、表示画面３７ａには、撮像画像の表示領域７２が設けられおり、表示画面３７ａの端部には、操作のための各種ボタン表示７１ａ〜７１ｄ，７４ａ〜７４ｄ，７５ａ〜７５ｄが表示可能である。ユーザがこれらのボタン表示７１ａ〜７１ｄ，７４ａ〜７４ｄ，７５ａ〜７５ｄの表示位置をタッチすることで、各ボタン表示に設定されたモードへの切換えが可能である。

カメラ４８，４９及びスマートフォン５０に組み込まれた画像処理装置１０の制御部３１は、ステップＳ１において、撮影モードが指定されているか否かを判定する。撮影モードが指定されると、カメラ４８，４９の表示画面６１及びスマートフォン５０の表示画面３７ａの表示領域６２，７２には、スルー画が表示される。

人物４５がカメラ４８の表示画面６１上のボタン表示６１ａ上をタッチ操作することで、カメラ４８において撮影が行われる。また、人物４６がカメラ４９の表示画面６１上のボタン表示６１ａ上をタッチ操作することで、カメラ４９において撮影が行われる。同様に、人物４７がスマートフォン５０の表示画面７１上のボタン表示７１ａ上をタッチ操作することで、スマートフォン５０において撮影が行われる（ステップＳ２）。

これらの撮影操作によって、撮像素子２１からの撮像画像は撮影制御部２２ａに取り込まれる。撮影制御部２２ａは、撮像画像に対して所定の画像信号処理を施した後、通信制御部２２ｂを介して制御部３１に送信する。制御部３１は、受信した撮像画像を記録部３９に与えて記録する（ステップＳ３）。

カメラ４８，４９及びスマートフォン５０において、図５の各撮影Ｐ１〜Ｐ４が行われ、これらの撮影Ｐ１〜Ｐ４に基づく撮像画像がカメラ４８，４９及びスマートフォン５０の記録部３９に記録される。

ここで、人物４５〜４７は、各人が撮影して取得した撮像画像を互いにシェアしようとするものとする。この場合には、カメラ４８，４９において、ボタン表示６１ｃをタッチ操作する。これにより、ステップＳ４からステップＳ５に処理が移行し、カメラ４８，４９の表示画面６１上の表示領域６２に、それまでに撮影した撮像画像の一覧表示６３が表示される（図７（ｂ））。人物４５，４６は、この一覧表示６３上の撮像画像から、シェアを希望する画像を選択する。ボタン表示６１ｅがタッチ操作されると送信画像が決定し、選択された画像が送信される（ステップＳ５）。

一方、スマートフォン５０においては、表示画面３７ａ上のボタン表示７１ｃをタッチ操作することで、画像の受信モードに移行する（ステップＳ１５）。これにより、カメラ４８，４９の通信制御部２２ｂとスマートフォン５０中の通信制御部３２は、通信部２４，３３を介して相互に通信が確立する。これにより、カメラ４８，４９は、ステップＳ５において取得した撮像画像のうち選択した画像を送信し、スマートフォン５０は、ステップＳ１５において受信モードに移行して、撮像部２０からの撮像画像及びカメラ４８，４９から送信された撮像画像を収集する。なお、通信制御部２２ｂは、未送信の撮像画像の全てを送信するようにしてもよい。

図３はこの通信作業の様子を示しており、人物４５〜４７は、カメラ４８，４９とスマートフォン５０とを近接させて、図３の矢印に示すように、カメラ４８，４９が取得した撮像画像をスマートフォン５０に転送する。なお、通信部２４，３３による伝送路によっては、カメラ４８，４９とスマートフォン５０とを近接させる必要がない場合もあり、或いは有線接続する必要がある場合もある。

なお、図３の例では、カメラ４８，４９からスマートフォン５０に対して同時に通信を行う例を示しているが、カメラ４８，４９は個別に画像転送を行ってもよい。例えば、カメラ４８，４９は、予め通信モードが設定されていれば、撮影の都度、自動的にスマートフォン５０に対して画像を転送するように構成されていてもよい。

また、撮影時に送信するだけでなく、再生時に送信するようにしてもよい。制御部３１は、ステップＳ６において、再生モードが指示されたか否かを判定する。ボタン表示６１ｂが操作されると再生モードに移行する。ステップＳ７では、ユーザが選択した画像の再生が領域６２において行われる。画像の再生中において、ボタン表示６１ｃが操作されると、処理がステップＳ８からステップＳ９に移行して、再生中の画像が送信される。制御部３１は、ステップＳ１０において次の画像選択の指示があった場合にはステップＳ７に処理を戻し、次の画像選択の指示がない場合にはステップＳ１１において再生の終了が指示されたか否かを判定する。このように、撮像時及び再生時において、撮影によって取得した画像の転送が可能である。

スマートフォン５０の制御部３１は、撮像部２０からの撮像画像及びカメラ４８，４９からの撮像画像を、記録部３９に記録する（ステップＳ１６）。こうして、図５の通信Ｃ１の期間において、取得された撮像画像がスマートフォン５０において収集される。

スマートフォン５０の制御部３１は、カメラ４８，４９からの撮像画像を収集すると、ステップＳ２０において編集モードへの移行が指示されたか否かを判定する。例えば、図８（ａ）に示す表示画面３７ａの表示ボタン７１ｄをタッチ操作することで、編集モードに移行する。制御部３１のリサイズ部３６は、収集した撮像画像をリサイズし、画像合成部３５はリサイズされた撮像画像を組み合わせて１枚の画像である組写真を生成する（ステップＳ２１）。組写真の生成は、画像合成部３５及びリサイズ部３６によって自動的に行われてもよく、また、ユーザによる設定作業を受け付けながら、ユーザの指示に従って生成されるものであってもよい。

例えば、制御部３１は、編集モードに移行すると、図８（ｂ）に示す表示を表示させてもよい。図８（ｂ）においては、表示画面３７ａ上の領域７２に、収集された画像の一覧表示７３を表示させた例を示している。ユーザが一覧表示７３上の各撮像画像を選択することによって、組写真にする撮像画像を選択することが可能である。制御部３１は、ユーザがボタン表示７４ｂをタッチ操作すると次画面に移動して次の一覧表示を表示し、ボタン表示７４ｃをタッチ操作すると前画面に移動して前の一覧表示を表示する。ユーザがボタン表示７４ｄを選択すると、ユーザによって選択された画像によって、組写真が作成される。

図８（ｃ）は組写真の作成画面を示している。表示画面３７ａの領域７２には、作成された組写真が表示される（図示省略）。制御部３１は、ユーザがボタン表示７５ｃをタッチ操作すると、表示している組写真を確定し、ボタン表示７５ｄをタッチ操作すると確定した組写真を送信する（ステップＳ２２）。また、制御部３１は、ユーザがボタン表示７５ｂを選択すると、既に確定した別の組写真に切換えて表示し、ユーザがボタン表示７５ａを選択すると、表示している組写真を破棄して、図８（ｂ）の表示に戻る。こうして、ユーザは、組写真を確定しながら順次送信することができる。

カメラ４８，４９において、図７（ａ）のボタン表示６１ｄをタッチ操作することで、組写真の受信が行われる。カメラ４８，４９は受信した組写真を表示することができる。こうして、カメラ４８，４９及びスマートフォン５０において、組写真を表示して鑑賞することができる。

図４は鑑賞される組写真５５、即ち、制御部３１の画像合成部３５によって生成された組写真５５の一例を示している。組写真５５中には、リサイズされた４枚の撮像画像５６〜５９が含まれる。撮像画像５６には人物４６を撮影して得られた画像４６ａが含まれ、撮像画像５７にはとんぼの画像５２ａが含まれ、撮像画像５８には人物４６，４７を撮影して得られた画像４６ｂ，４７ａが含まれ、撮像画像５９には人物４５を撮影して得られた画像４５ａが含まれている。

図５のシェアＳＨ１は、スマートフォン５０の撮影Ｐ４によって取得されて収集された撮像画像と、通信Ｃ１によって収集された撮像画像とに基づく組写真を生成する処理と、生成した組写真をカメラ４８，４９に送信する処理とを含んでいる。組写真は複数の撮像画像がリサイズされて生成されており、データ容量が比較的小さい。従って、シェアＳＨ１に要する時間は比較的短い。複数の撮影機器によって取得した撮像画像を、シェア処理機能を有する１台の装置に収集して組写真を作成し、作成した組写真を複数の撮影機器に送信するようになっており、各機器が個々に収集して編集する場合に比べて、必要な送信回数を低減することができる。これにより、各撮影機器による撮影から比較的短時間で、各撮影機器において撮影して得た撮像画像の鑑賞が可能である。また、各画像から得られる情報によって、その場の雰囲気を総合的に判断したり、一括で見られるので、足りない写真などを即座に確認したりも出来る。

また、図５に示すように、小イベントＥ２において行われた撮影Ｐ５〜Ｐ１１についても、通信Ｃ２によって収集が行われる。シェアＳＨ２はこの通信Ｃ２によって収集された撮像画像、即ち、小イベントＥ２によって撮影された撮像画像による組写真の生成処理及び送信処理を含んでいる。シェアＳＨ２においてリサイズ処理を伴う組写真が生成される点と、通信Ｃ２及びシェアＳＨ２の送信処理の通信回数が少ない点から、小イベントＥ２の後の比較的短時間で鑑賞Ａ２が可能となる。

なお、画像合成部３５及びリサイズ部３６は、ユーザによる作業を必要とすることなく、自動的に組写真を生成することもできる。例えば、画像合成部３５は、撮像画像から規定の枚数を抽出して、自動的に組写真を生成してもよい。この場合には、例えば、図８（ａ）のボタン表示７１ｄがタッチ操作されることで、図８（ｃ）の表示に移行してもよい。

例えば、画像合成部３５は、収集した時間が所定の時間範囲内の撮像画像を抽出してもよい。例えば、直近の５分間に収集した撮像画像のみによって組写真を生成してもよい。或いは、画像合成部３５は、撮像した時間が所定の時間範囲内の撮像画像を抽出してもよい。例えば、直近の１０分間に撮影されて収集された撮像画像のみによって組写真を生成してもよい。更に、画像合成部３５は、撮影された時間と収集された時間との関係に基づいて、撮像画像を選択してもよい。例えば、画像合成部３５は、撮影された時間と収集された時間との差が所定の時間範囲にある画像のみによって組写真を生成してもよい。また、例えば、画像合成部３５は、自機によって撮影して取得した撮像画像以外の、他機から受信して収集した撮像画像のみによって組写真を生成してもよい。

このように本実施の形態においては、所定のイベントにおいて複数の撮影機器によって撮影されて得た撮像画像を画像処理装置において収集し、収集した撮像画像を用いてリサイズ処理を伴う組写真を生成して各撮影機器に送り返すようになっている。これにより複数の撮影機器によって取得した撮像画像を互いにシェアする場合でも、少ない通信回数で且つ少ないデータ容量の通信を行えばよく、イベント後の比較的短時間に、各撮影機器においてシェアした画像の総合的、複合的鑑賞やチェックが可能である。

図１の装置はユースシーンを分析する機能を有していない場合でも動作可能であるが、図１の装置の制御部３１において、図１３のようなユースシーン分析８１方法を実現する機能を備えていてもよい。つまり、図１３はこのユースシーン分析によって、組写真を作るか（ステップＳ３４）どうかを決める時の一例を示すフローチャートである。これは、図６のステップＳ２１で実行してもよい。また、ステップＳ１６の後に実行してもよい。なお、組写真を作らない時には、アルバムを作る例（ステップＳ３５）で説明してあるが、それに限るものではない。

例えば制御部３１の有するユースシーン分析部（図示しておらず、構成部材は、ハードでもソフトでも良い）は、ステップＳ３１において、ユーザ操作に基づいてアルバム期間を設定する。アルバム期間は、組写真生成又はアルバム化に用いる撮像画像の撮影期間を指定するものである。例えば、特定時間内に撮影された撮像画像を用いる等の設定が可能である。特定期間は図５のように送受信が行われる時点を基準としても良い。

ユースシーン分析部は、ステップＳ３２において、この期間が閾値よりも小さいか否かを判定する（ステップＳ３３）。例えば、ユースシーン分析部は、アルバム期間内の最も早く撮影された撮像画像の撮影時間と最も収集が早く行われた撮像画像についての撮影時間との差を求める。あるいは、前回通信時の後撮影された画像の撮影時間を使っても良い。この差が所定の閾値よりも小さい場合には、ユースシーン分析部は、撮像後の比較的短時間に撮像画像の鑑賞を楽しみたいとユーザが考えているユースシーンであると判定して、画像合成部３５及びリサイズ部３６に組写真の生成を指示する。また、差が所定の閾値以上である場合には、ユースシーン分析部は、撮像後の比較的短時間に撮像画像の鑑賞を楽しみたいとユーザが考えていないユースシーンであると判定して、画像合成部３５に撮像画像のアルバム化を指示する。また、この組写真の生成又はアルバムの生成を決定するためのユースシーン分析条件の中に、画像の枚数などを入れてもよい。多すぎると組写真にすると小さくなりすぎてしまうし、少なすぎると多様性がなくなる。

なお、図１３の例では、アルバム期間及び撮影時間と収集時間との差に基づいてユースシーンの判定を行ったが、各機器が自動的に選択して送信した画像や、各機器でユーザが選択して送信した画像の撮影時間と収集時間との差のみに基づいてユースシーンを判定してもよい。当然、機器を指定して組写真としてもよく、特定枚数で決めてもよく、ＧＰＳ搭載のカメラを前提として、場所でグルーピングするなどを併用してもよい。また、例えば、ユースシーン分析部は、アルバム期間の開始時又は終了時と、収集時間との差が所定の閾値よりも小さい場合に、組写真を生成すべきユースシーンであると判定してもよい。また、手動でユースシーンを設定してもよく、クイズやゲームのお題によって、撮影を促し、それに応じてユースシーンが設定されるようにしても良い。お題に即したものを画像判定などでカメラが自動選択しても良い。この場合は、撮影前、あるいは通信前にお題などを通信でカメラが取得しておく必要がある。もちろん、カメラの記録部から、スマホが勝手に適当な画像を検索して取り出す方式でも良い。

また、ユースシーン分析部は、ユースシーンを判定するものと説明したが、ユースシーン分析部８１の分析結果を利用して、組写真又はアルバムに用いる撮像画像を設定するようにしてもよい。つまり、ここでは、他の撮影装置からの撮影画像の受信と上記受信された撮影画像の撮影時刻に従って、組写真作成を作成するのにふさわしい撮影装置の使われ方のユースシーンを分析するユースシーン分析方法や分析装置、システム、プログラムなどが提供可能な事を説明している。指定された時刻からとか、指定された時間内とか、その期間内に集まった画像の内容（分類結果）や、通信がなされた機器の特徴とかも考慮して分析をしても良い。例えば、通信相手が特定の機器であって、受信した機器側も撮影結果を持っていて、それが特定の関係にあるかなどで分析が可能となる。一例で言えば、相手機器から送られた画像に自分の顔があって、自分の機器に相手の顔の画像がある場合などは、顔の検出技術で判定可能であり、このようなユースシーン分析条件を満たすと組写真にしてもよい。卒業写真などでも利用される方法であるが、同じ画像内で完結して勢揃いすることが重要なシーンでは、組写真に好適なユースシーンと考えてもよい。つまり、この場合、特定のユースシーン分析条件をあらかじめ保持しておき、複数の機器からの受信画像を判定して、勢揃いが検出されると組写真とする。しかし、一対一の送受信関係では、交換するだけになるので、通信相手が複数、しかも多くある方が効果的になることは言うまでもない。通信と撮影が交互に行われるようなシーンを組写真にふさわしいユースシーンと考えてもよい。また、例えば、複数の機器をＩＤ等によって判定可能にして、ユースシーン分析条件によって指定したＩＤの撮影機器の全てから画像を受信した場合に、組写真を生成するようにしてもよい。また例えば、所定の時間内に、規定数以上の撮影機器から画像を受信することを組写真生成のためのユースシーン分析条件としてもよい。また、例えば、画像に含まれる人物を特定し、ユースシーン分析条件によって指定した特定の複数の人物の全ての画像部分を含む画像が収集された場合に、組写真を生成するようにしてもよい。

１つの機器に複数画像を通信で集めて、これが組写真を作成するようにしているが、画像配置にもいろいろな応用が可能である。例えば、人物の画像は大きめに表示し、だぶりのある人物画像は小さめにする。また、人物のいない画像は小さめにしている。もちろん、人物の顔が大きすぎると恥ずかしいので、逆でも良い。これ以外にも、出来映えの良い画像を主画像として大きく表示し、その他の画像を小さくしたり、最初に撮影したものを大きくしたり、時系列表示にしたり、様々なルールを設定可能としても、ゲーム性が高まり、撮影や画像のシェアが楽しくなる。１つの画像で表示されるので、比較や統合的な効果が高まり、画像の送信も楽に短時間で可能となる。

画像処理装置１０のシェア処理機能は、ハードウェアによって実現することもでき、また、ソフトウェア処理によって実現することも可能である。例えば、シェア処理機能を記述したアプリケーションプログラムをデジタルカメラやスマートフォン等に読み込ませて実行させることにより、簡単にシェア処理機能を実現することができる。例えば、催し物等において、各人が撮影した撮像画像を、シェア処理機能を有する機器において収集することで、各人が撮影した画像を各人の機器において組写真により簡単に且つ短時間にシェアすることができる。

（第２の実施の形態）
図９は本発明の第２の実施の形態を示すブロック図である。図９において図１と同一の構成要素には同一符号を付して説明を省略する。本実施の形態は、画像処理装置として、撮像部を省略したスマートフォン８０を採用すると共に、撮像部としてレンズ型カメラ９０を採用した例を示している。図１０は図９の外観を示す説明図である。図１０（ａ）はスマートフォンの前面側を示し、図１０（ｂ）はスマートフォンの背面側を示している。

ところで、家族旅行等においても、複数台のカメラにより撮影が行われることがある。しかし、家族旅行等の場合には、自宅に帰った後鑑賞すればよいことが多く、短時間にシェアする必要がないことがある。この場合には、リサイズ処理を行う組写真よりも、撮像した画像の順番を整理するアルバム化による鑑賞の方が好ましいことがある。

図１１はこのようなアルバム化による鑑賞が好ましいユースシーンを示す説明図である。図１１は父、母及び子１，２の４人家族による家族旅行中における、撮影の様子を時間の流れに沿って示している。旅行中のイベントとして、移動、動物園、食事、移動があり、帰宅後には家族による団らんがある。各イベントにおいて、父母による子１のみ、子２のみ又は子１，２の両方の撮影が行われることを示している。そして、帰宅後において、父と母によって旅行中に撮影された全ての撮像画像がアルバム化され、テレビジョン受信機等をモニタにした鑑賞が行われる。

このように、家族旅行等の場合には、帰宅後に鑑賞が行われことが多く、各イベントの途中において鑑賞が行われないことがある。そこで、本実施の形態におけるスマートフォン８０には、組写真を生成するか、アルバムを生成するかを決定するためのユースシーン分析部８１が設けられている。

図９において、撮影機器９１，９２は、レンズ型カメラ９０と同様の機能を有する。レンズ型カメラ９０及び各撮影機器９１，９２には通信部２４が設けられ、スマートフォン８０には通信部３３が設けられており、レンズ型カメラ９０及び各撮影機器９１，９２とスマートフォン８０とは、これらの通信部２４，３３を介して相互に通信可能に構成されている。

図１０（ａ），（ｂ）に示すように、スマートフォン８０の筐体８０ａには取り付け器具８５が着脱自在に取り付けられるようになっており、取り付け器具８５にはレンズ型カメラ９０を取り付けるための取付部８６が設けられている。レンズ型カメラ９０は基端側に取付部９０ａが設けられており、この取付部９０ａを取り付け器具８５の取付部８６に、嵌込み又はねじ込み等によって取り付け可能に構成されている。

レンズ型カメラ９０の鏡筒９５には、レンズ９６を含む光学系が設けられており、この光学系を介して撮像素子２１に被写体の光学像が入射するようになっている。なお、鏡筒９５内にはピント合わせによりフォーカス（合焦）状態に設定するために可動されるフォーカスレンズやフォーカス状態で変倍するズームレンズ等が設けられている。また、鏡筒９５内には、これらのレンズ及び絞りを駆動する図示しない機構部も構成されている。制御部２２は鏡筒９５内のフォーカスレンズ、ズームレンズ及び絞り等を駆動制御することができるようになっている。

また、レンズ型カメラ９０には、ユーザによる撮影に関するパラメータ、例えば、ピント、ズームや絞りに関するパラメータの設定操作のために、操作リング等の操作部９７が設けられている。制御部２２は、操作部９７に対するユーザ操作を検出して検出結果に基づく制御を行うことができるようになっている。また、制御部２２は、スマートフォン８０からの信号に基づいて、レンズ型カメラ９０の各部を制御することもできるようになっている。

スマートフォン８０の筐体８０ａの背面には、表示部３７の表示画面３７ａが設けられる。図１０（ｂ）では表示画面３７ａ上にスルー画８８が表示されている様子を示している。また、表示画面３７ａには、操作部３８として機能するタッチパネル３７ｂが配設されている。スマートフォン８０は、タッチパネル３７ｂの操作に基づいて、レンズ型カメラ９０の撮像及び画像通信を制御することができるようになっている。なお、スマートフォン８０は、撮影者を撮影するインカメラ８９を内蔵していてもよい。

撮影機器９１，９２としては、例えば図１２の説明図に示すように、無線機能を有する一般的なデジタルカメラを採用することができる。撮影機器９１，９２の筐体１００には鏡筒１０１が設けられており、撮影機器９１，９２は、筐体１００内のレンズを介して撮像素子２１に入射した被写体光学像に基づく撮像画像を取得する。

レンズ型カメラ９０及び撮影機器９１，９２の通信制御部２２ｂは、撮像画像の送信時には、当該撮像画像の撮影時の時間情報を含めて送信することができるようになっている。スマートフォン８０にはユースシーン分析部８１が設けられている。ユースシーン分析部８１は、収集する各撮像画像毎に、撮影時間の情報を管理する。また、ユースシーン分析部８１は、通信制御部３２によって収集された撮像画像の収集時間についての情報も管理するようになっている。

ユースシーン分析部８１は、複数の撮影機器によって取得した撮影画像を、短時間にシェアした方が好ましいユースシーンであるか否かを判定する。ユースシーン分析部８１は、短時間にシェアすべきと判定した場合には、収集した撮像画像を用いて組写真を生成して各撮影機器に送信し、短時間にシェアする必要がないと判定した場合には、収集した撮像画像をアルバム化するように、画像合成部３５及びリサイズ部３６を制御するようにしてもよい。

図１３はユースシーン分析部８１の分析方法の一例を示すフローチャートである。

ユースシーン分析部８１は、ステップＳ３１において、ユーザ操作に基づいてアルバム期間を設定する。アルバム期間は、組写真生成又はアルバム化に用いる撮像画像の撮影期間を指定するものである。例えば、１２時００分から１２時０５分までに撮影された撮像画像を用いる等の設定が可能である。

ユースシーン分析部８１は、ステップＳ３２において、アルバム期間内の撮像画像について、撮影時間と収集時間との差を求め、この差が閾値よりも小さいか否かを判定する（ステップＳ３３）。例えば、ユースシーン分析部８１は、アルバム期間内の最も早く撮影された撮像画像の撮影時間と最も収集が早く行われた撮像画像についての撮影時間との差を求める。この差が所定の閾値よりも小さい場合には、ユースシーン分析部８１は、撮像後の比較的短時間に撮像画像の鑑賞を楽しみたいとユーザが考えているユースシーンであると判定して、画像合成部３５及びリサイズ部３６に組写真の生成を指示する。また、差が所定の閾値以上である場合には、ユースシーン分析部８１は、撮像後の比較的短時間に撮像画像の鑑賞を楽しみたいとユーザが考えていないユースシーンであると判定して、画像合成部３５に撮像画像のアルバム化を指示する。

なお、図１３の例では、アルバム期間及び撮影時間と収集時間との差に基づいてユースシーンの判定を行ったが、撮影時間と収集時間との差のみに基づいてユースシーンを判定してもよい。当然、機器を指定して組写真としてもよく、特定枚数で決めてもよく、ＧＰＳ搭載のカメラを前提として、場所でグルーピングするなどを併用してもよい。また、例えば、ユースシーン分析部８１は、アルバム期間の開始時又は終了時と、収集時間との差が所定の閾値よりも小さい場合に、組写真を生成すべきユースシーンであると判定してもよい。また、手動でユースシーンを設定してもよく、クイズやゲームのお題によって、撮影を促し、それに応じてユースシーンが設定されるようにしても良い。

また、ユースシーン分析部８１は、ユースシーンを判定するものと説明したが、ユースシーン分析部８１の分析結果を利用して、組写真又はアルバムに用いる撮像画像を設定するようにしてもよい。つまり、ここでは、他の撮影装置からの撮影画像の受信と上記受信された撮影画像の撮影時刻に従って、組写真作成を作成するのにふさわしい撮影装置の使われ方のユースシーンを分析するユースシーン分析方法や分析装置、システム、プログラムなどを説明している。指定された時刻からとか、指定された時間内とか、その期間内に集まった画像の内容（分類結果）や、通信がなされた機器の特徴とかも考慮して分析をしても良い。例えば、通信相手が特定の機器であって、受信した機器側も撮影結果を持っていて、それが特定の関係にあるかなどで分析が可能となる。一例で言えば、相手機器から送られた画像に自分の顔があって、自分の機器に相手の顔の画像がある場合などは、顔の検出技術で判定可能であり、このユースシーン分析条件を満たすと組写真にしてもよい。しかし、一対一の送受信関係では、交換するだけになるので、通信相手が複数、しかも多くある方が効果的になることは言うまでもない。

また、卒業写真などでも利用される方法であるが、同じ画像内で完結して勢揃いすることが重要なシーンでは、組写真に好適なユースシーンと考えてもよい。つまり、この場合、特定のユースシーン分析条件をあらかじめ保持しておき、複数機器からの受信画像を判定して、勢揃いが検出されると組写真とする。しかし、一対一の送受信関係では、交換するだけになるので、通信相手が複数、しかも多くある方が効果的になることは言うまでもない。通信と撮影が交互に行われるようなシーンを組写真にふさわしいユースシーンと考えてもよい。

例えば、ユースシーン分析部８１は、アルバム期間中の撮像画像であって、撮影時間と収集時間との差が所定の閾値よりも小さい画像を組写真に用いる画像としてもよい。また、例えば、ユースシーン分析部８１は、アルバム期間の開始時又は終了時と、収集した撮像画像の収集時間との差が所定の閾値よりも小さい画像を組写真に用いる画像としてもよい。

次に、図１４及び図１５を参照してこのように構成された実施の形態の動作について説明する。図１４はレンズ型カメラ９０におけるカメラ制御とスマートフォン８０の制御とを説明するためのフローチャートである。なお、図１４において、レンズ型カメラ９０のカメラ制御フローとスマートフォン８０の制御フローとの間を結ぶ矢印は、処理によって通信が行われることを示している。図１５は第２の実施の形態における画面表示例を示す説明図である。

レンズ型カメラ９０の制御部２２は、ステップＳ４１において、電源が投入されたか否かを判定する。制御部２２は、電源が投入されると、通信待機状態となり（ステップＳ４２）、スルー画を取得する（ステップＳ４３）。即ち、制御部２２は撮像素子２１を駆動して被写体を撮像させる。撮像素子２１によって得られた撮像画像は制御部２２によって取り込まれてスルー画が得られる。

一方、スマートフォン８０の制御部３１は、ステップＳ５１において、初期画面を設定する。図１５（ａ），（ｄ）は、表示部３７の表示画面３７ａ上に表示された初期画面を示している。スマートフォン６０の表示画面３７ａ上には、初期画面として、シェア、カメラ画面、メール又は電話モードをそれぞれ設定するためのシェアボタン１１１、カメラ画面ボタン１１２、メールボタン１１３及び電話ボタン１１４を含むメニュー画面が表示されている。なお、図１５（ａ），（ｄ）のボタン１１１〜１１４は、太枠によって現在選択されているモードを示している。

制御部３１は、ユーザによりカメラ画面モードが設定されているか否かを判定する（ステップＳ５２）。カメラ画面モードが設定されている場合には、制御部３１は次のステップＳ５３においてスルー画通信制御を行う。即ち、制御部３１は、通信部３３を介してレンズ型カメラ９０の通信部２４との間で通信を確立させて、スルー画の送信要求を行う。

レンズ型カメラ９０の制御部２２は、ステップＳ４４においてスマートフォン８０との間で通信が確立すると、ステップＳ４５においてスルー画を送信する。スマートフォン６０の制御部３１は、送信されたスルー画を受信して、表示部３７に表示させる（ステップＳ５４）。

図１５（ａ）の状態ではカメラ画面モードが選択されており、図１５（ｂ）に示すように、表示画面３７ａの中央には、レンズ型カメラ９０が撮像したスルー画１１８が表示される。また、制御部３１は、表示画面３７ａ上に、戻るボタン１１５、受信ボタン１１６及び撮影ボタン１１７の各ボタン表示を表示させる。制御部３１は、ユーザによる戻るボタン１１６がタッチ操作されると、モードを１つ前のモードに戻す処理を行い、受信ボタン１１６がタッチ操作されると、受信モードに移行し、撮影ボタン１１７がタッチ操作されると、撮影モードに移行する。

制御部３１は、ステップＳ５５において撮影操作が行われたか否かを判定しており、撮影ボタン１１７がタッチ操作されると処理をステップＳ５６に移行して撮影の指示を行う。レンズ型カメラ９０はステップＳ４６において撮影操作の有無を判定しており、撮影指示を受信すると、ステップＳ４７において撮影結果を送信する。レンズ型カメラ９０からの撮像画像は、通信部２４，３３を介して制御部３１に与えられ、制御部３１は撮像画像を記録部３９に与えて記録させる（ステップＳ５６）。

本実施の形態においては、レンズ型カメラ９０は、撮像画像と共に撮影時間の情報を送信しており、スマートフォン８０の制御部３１は、記録する撮像画像にその撮影時間の情報を関連付けて記録する。更に、制御部３１は、通信部３３によって撮像画像を受信した時間についても、記録する撮像画像に関連付けて記録する。

また、撮影機器９１，９２においても、撮影機器９１，９２を操作する各ユーザの操作に応じて、撮像画像が取得される。本実施の形態においては、撮影機器９１，９２において取得される撮像画像にも撮影時間の情報が付加される。撮影機器９１，９２を操作する各ユーザは、撮影機器９１，９２の通信部２４を介して、撮影によって取得した撮像画像をスマートフォン８０に送信可能である。

いま、撮影機器９１，９２から撮像画像がスマートフォン８０に対して送信されるものとする。スマートフォン８０の制御部３１は、ステップＳ５７において受信モードが指定されたか否かを判定する。制御部３１は、ユーザが図１５（ｂ）の受信ボタン１１６をタッチ操作すると、受信モードに移行し、撮影機器９１，９２からの撮像画像を受信して記録部３９に記録する（ステップＳ５８）。なお、この場合にも、制御部３１は、撮像画像に撮影時間及び収集時間の情報を関連付けて記録する。また、この場合には、制御部３１は、表示制御部３４を制御して、表示画面３７ａ上に、受信中であることを示す表示１１９，１２０を表示させる。

また、制御部３１は、ユーザ操作によって受信モードに移行するのではなく、予め設定された機器から画像が送信された場合には、自動的に受信モードに移行して送信された画像を受信記録するようにしてもよい。

ここで、図１５（ｄ）の太枠で示すように、初期画面において、ユーザがシェアモードを指定するためのシェアボタン１１１をタッチ操作するものとする。制御部３１はステップＳ６１においてシェアモードが指定されたか否かを判定しており、シェアボタン１１１の操作によってシェア画面を表示させる（ステップＳ６２）。

図１５（ｅ）はシェア画面の表示例を示している。制御部３１は、シェア画面として、戻るボタン１１５、アルバム期間の設定ボタン１２１及びシェア開始ボタン１２２を表示させる。制御部３１は、戻るボタン１１５がタッチ操作されると、処理を１つ前のモードに戻し、設定ボタン１２１がタッチ操作されると、図示しないキーボード等の表示画面に移行してアルバム期間の設定を受付け、アルバム期間の設定後にシェア画面に復帰する。また、制御部３１は、シェア開始ボタン１２２がタッチ操作されると、シェアを行うための処理を開始する。

図１５（ｅ）の例では、アルバム期間として、ユーザが指定した時間（分）だけ前の時間から現在の時間までが設定されることを示している。制御部３１は、ステップＳ６３においてアルバム期間が設定されると、処理をステップＳ６４に移行してシェアする画像の選択画面を表示する。

例えば、制御部３１は、アルバム期間中に撮影された撮像画像を一覧表示させ、ユーザにシェアする画像を選択させてもよい。また、制御部３１は、予め設定されたルールに従って、シェアする撮像画像を選択してもよい。例えば、制御部３１は、最新の撮像画像から予め決められた枚数だけを選択してもよい。

次に制御部３１は、ステップＳ６５において、撮影時間と収集時間との差が１時間未満であるか否かを判定する。例えば、制御部３１は、アルバム期間のうち最も早く撮影された画像の撮影時間と最も早く収集された画像の収集時間との差が、１時間未満であるか否かを判定する。制御部３１は、１時間未満である場合には、ユーザが撮影後の短時間に画像をシェアして鑑賞したいと考えたものと判断して、ステップＳ６６において組写真を生成する。逆に、制御部３１は、１時間以上である場合には、ユーザは後でゆっくりと画像をシェアして鑑賞したいと考えたものと判断して、ステップＳ６７においてアルバムを生成する。

なお、図１３及び図１４では、ユースシーン分析部８１によってユースシーンを分析し、組写真を生成するかアルバムを生成するかを自動的に決定する例を示したが、ユーザ操作によって、組写真を生成するかアルバムを生成するかを決定するようにしてもよい。

制御部３１は組写真を生成した場合には、生成した組写真を確認するための確認画面を表示させる。図１５（ｆ）はこの確認画面を示しており、表示画面３７ａ上には、生成された組写真１２４が表示される。また、表示画面３７ａ上には、戻るボタン１１５及び送信ボタン１２３が表示されている。制御部３１は、戻るボタン１１５がタッチ操作されると、処理を１つ前のモードに戻して、シェア画面を再度表示させる。また、制御部３１は、送信ボタン１２３がタッチ操作されると、生成した組写真の送信を行う（ステップＳ６８）。また、この場合には、制御部３１は、表示制御部３４を制御して、表示画面３７ａ上に、送信中であることを示す表示１２５，１２６を表示させる。

このように本実施の形態においては、第１の実施の形態と同様の効果が得られると共に、ユースシーンに応じて、組写真とアルバムとを例えば自動的に選択することで、ユースシーンに応じたシェアが可能となる。

さらに、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、レンズ型カメラでも、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。また、内視鏡、顕微鏡のような産業用、医療用の光学機器でもよく、監視カメラや車載用カメラ、据え置き型のカメラ、例えば、テレビジョン受信機やパーソナルコンピュータ等に取り付けられているカメラであってもよい。もちろん、色々なものを様々な角度から観察する観察装置や検査装置に使える。得られた画像の総合的な鑑賞や観察、検査が可能であり、画像の過不足が即座に判断できるというメリットもある。同じ画像内で完結して勢揃いすることが重要なシーンでは、組写真に好適なユースシーンと考えて、特定のユースシーン分析条件をあらかじめ保持しておき、複数機器からの受信画像を判定して、勢揃いが検出されると組写真にふさわしいユースシーンと判定したり、通信と撮影が交互に行われるようなシーンを組写真にふさわしいユースシーンと判定してもよい。特定のお題によって撮影を促し、それに応じたユースシーン分析条件を満たす画像かどうかでユースシーンが判定されるようにしても良い。

特定の機器に複数画像を通信で集めて、これが組写真を作成するようにしているが、画像配置にもいろいろな応用が可能である。例えば、人物の画像は大きめに表示し、だぶりのある人物画像は小さめにする。また、人物のいない画像は小さめにしている。もちろん、人物の顔が大きすぎると恥ずかしいので、逆でも良い。姿勢や目線や表情を使って評価して、真ん中で目立つ画像は、良い写真にするようにしても良い。これ以外にも、出来映えの良い画像を主画像として大きく表示し、その他の画像を小さくしたり、最初に撮影したものを大きくしたり、時系列表示にしたり、様々なルールを設定可能としても、ゲーム性が高まり、撮影や画像のシェアが楽しくなる。１つの画像で表示されるので、比較や統合的な効果が高まり、画像の送信も楽に短時間で可能となる。

本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。

また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ−ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に本実施の形態の画像処理装置を実現することができる。

１０…画像処理装置、２０…撮像部、２１…撮像素子、２２…制御部、２３…時計部、２４…通信部、３１…制御部、３３…通信部、３５…画像合成部、３６…リサイズ部、３７…表示部、３８…操作部、３９…記録部、４０…時計部。

Claims (8)

1. 少なくとも１つの相手機器からの撮像画像を含む複数の撮像画像を収集する受信部と、
   ユースシーン分析条件に基づいてユースシーンを判定するユースシーン分析部と、
   上記ユースシーンの判定結果に応じて、上記受信部において収集した複数の撮像画像に基づく組写真、または、上記受信部において収集した複数の撮像画像に基づくアルバムを生成し、生成した組写真またはアルバムを上記少なくとも１つの相手機器に送信する制御部と、
   を具備し、
   上記ユースシーン分析部は、上記受信部が収集した撮像画像に含まれる撮影時間の情報、上記受信部が収集した収集時間の情報及びユーザが設定するアルバム期間の情報のうちの少なくとも１つの情報に基づいて上記ユースシーンを分析し、かつ、上記撮影時間と上記収集時間との時間差が所定の閾値よりも短い場合には組写真を生成させ、所定の閾値以上である場合にはアルバムを生成させるための判定結果を得る
   ことを特徴とする画像処理装置。
2. 上記ユースシーン分析部は、
   上記撮像画像に基づく画像の収集状態に基づいてユースシーンを判定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 上記ユースシーン分析部は、
   上記ユースシーン分析条件によって指定された上記相手機器の全てから上記撮像画像を収集すると上記組写真を生成させるための判定結果を得る
   ことを特徴とする請求項１に記載の画像処理装置。
4. 上記ユースシーン分析部は、
   上記ユースシーン分析条件によって指定された人物の画像部分を含む全ての上記撮像画像を収集すると上記組写真を生成させるための判定結果を得る
   ことを特徴とする請求項１に記載の画像処理装置。
5. 上記ユースシーン分析部は、
   所定の時間内に、規定数以上の上記相手機器から上記撮像画像を受信すると上記組写真を生成するためのユースシーンと判定する
   ことを特徴とする請求項１に記載の画像処理装置。
6. 上記ユースシーン分析部は、
   特定のお題によって撮影を促し、それに応じた条件を満たす撮像画像かどうかでユースシーンを判定する
   ことを特徴とする請求項１に記載の画像処理装置。
7. 少なくとも１つの相手機器からの撮像画像を含む複数の撮像画像を収集し、
   ユースシーン分析条件に基づいてユースシーンを判定し、
   上記ユースシーンの判定結果に応じて、上記収集した複数の撮像画像に基づく組写真、または、上記収集した複数の撮像画像に基づくアルバムを生成し、生成した組写真またはアルバムを上記少なくとも１つの相手機器に送信し、
   上記ユースシーンを判定するユースシーン分析部は、上記収集した撮像画像に含まれる撮影時間の情報、上記収集した収集時間の情報及びユーザが設定するアルバム期間の情報のうちの少なくとも１つの情報に基づいて上記ユースシーンを分析し、かつ、上記撮影時間と上記収集時間との時間差が所定の閾値よりも短い場合には組写真を生成させ、所定の閾値以上である場合にはアルバムを生成させるための判定結果を得る
   ことを特徴とする画像処理方法。
8. コンピュータに、
   少なくとも１つの相手機器からの撮像画像を含む複数の撮像画像を収集し、
   ユースシーン分析条件に基づいてユースシーンを判定し、
   上記ユースシーンの判定結果に応じて、上記収集した複数の撮像画像に基づく組写真、または、上記収集した複数の撮像画像に基づくアルバムを生成し、生成した組写真またはアルバムを上記少なくとも１つの相手機器に送信し、
   上記ユースシーンを判定するユースシーン分析部が、上記収集した撮像画像に含まれる撮影時間の情報、上記収集した収集時間の情報及びユーザが設定するアルバム期間の情報のうちの少なくとも１つの情報に基づいて上記ユースシーンを分析し、かつ、上記撮影時間と上記収集時間との時間差が所定の閾値よりも短い場合には組写真を生成させ、所定の閾値以上である場合にはアルバムを生成させるための判定結果を得る
   ステップを実行させるための画像処理プログラム。