JP7515903B2 - 画像編集システム - Google Patents

Description

本発明は、画像編集システムに関する。

従来、冠婚葬祭等のイベントにおいて、イベントに大きく関与する人物（たとえばイベントの主役）の画像を上映することにより、イベントの参加者に上記人物を深く印象付ける技術が提案されている（たとえば、特許文献１を参照）。特許文献１には、葬儀会場において、故人の画像を上映することにより、葬儀の参列者に故人を深く印象付ける技術が提案されている。

特開平１－１４６５０５号公報

ところで、イベントの準備の際、イベントに用いる上記画像を準備するのに十分な時間を確保できない場合がある。たとえば、葬儀は故人が亡くなってから数日以内に行われることが多く、葬儀を主催する遺族は、葬儀の準備を急いで行う必要がある。このため、葬儀で故人に関する画像を上映する場合には、遺族が保管している故人に関する画像の中から、葬儀で用いる画像を選別する時間を十分に確保することは難しい。したがって、イベントで上映される人物の画像を簡便かつ迅速に作成することができる技術が求められている。

本発明は、かかる問題点に鑑みて、イベントで上映される人物の画像を簡便かつ迅速に作成することができる画像編集システムを提供することを目的とする。

本発明に係る画像編集システムは、画像の編集を行う画像編集システムであって、前記画像編集システムは、所定の人物に関連する画像が複数個含まれている編集対象画像を保存可能な第１の記憶部と、複数のテンプレートが記憶される第２の記憶部であって、前記テンプレートのそれぞれは、複数の前記編集対象画像がはめ込まれる複数の画像枠を有する、第２の記憶部と、前記編集対象画像から前記複数の画像枠に割り当てられる画像を抽出する抽出部と、前記抽出部によって抽出された複数の画像を組み合わせる合成処理を行うように構成されている合成部と、を備え、前記テンプレートの前記複数の画像枠のそれぞれは、人の感情に対応するカテゴリーを有し、前記抽出部は、前記編集対象画像を人の感情に対応して分類し、分類された前記編集対象画像を、前記カテゴリーに応じて前記複数の画像枠に割り当てるように構成されている。

本発明においては、前記複数のテンプレートのうちの少なくとも１つは、複数の感情に対応する複数のカテゴリーが所定の順序で並べられて構成されていることが好ましい。

本発明においては、前記複数のテンプレートは、ユーザによって選択可能であり、前記抽出部は、選択されたテンプレートの複数の画像枠に前記分類された前記編集対象画像を割り当てることが好ましい。

本発明においては、前記画像編集システムは、前記合成部によって合成された画像を、ユーザからの要求に応じて変更する画像変更部をさらに備え、前記画像変更部は、前記合成部によって合成された画像の順序の並び替え、および／または、前記合成部によって合成された画像の少なくとも１つを、前記第１の記憶部に記憶された前記編集対象画像と差し替え可能であることが好ましい。

本発明においては、前記抽出部は、前記所定の人物の顔の表情を画像解析し、解析結果に基づいて、前記編集対象画像を分類することが好ましい。

本発明においては、前記抽出部は、前記編集対象画像に含まれている前記所定の人物の画像に基づいて、前記人物の感情の大きさの度合いを算出するように構成され、前記抽出部は、前記感情の大きさの度合いに基づいて、前記複数の画像枠への前記編集対象画像の割り当てを決定することが好ましい。

本発明によれば、イベントで上映される人物の画像を簡便かつ迅速に作成することができる画像編集システムを提供することができる。

本発明の一実施形態に係る画像編集システムの構成の一例を模式的に示す図である。 本発明の一実施形態に係る画像編集システムにおけるサーバ装置の構成の一例を模式的に示すブロック図である。 本発明の一実施形態に係る画像編集システムにおけるテンプレートの構成を示す図である。 本発明の一実施形態に係る画像編集システムの編集機能によって作成される編集画像の一例を示す図である。 本発明の一実施形態に係る画像編集システムと通信可能に接続された第１の端末装置の画面に表示される画像の一例を模式的に示す図である。 本発明の一実施形態に係る画像編集システムと通信可能に接続された第１の端末装置の画面に表示される画像の一例を模式的に示す図である。 本発明の一実施形態に係る画像編集システムと通信可能に接続された第１の端末装置の画面に表示される画像の一例を模式的に示す図である。 本発明の一実施形態に係る画像編集システムと通信可能に接続された第１の端末装置の画面に表示される画像の一例を模式的に示す図である。 本発明の一実施形態に係る画像編集システムと通信可能に接続された第１の端末装置の画面に表示される画像の一例を模式的に示す図である。 本発明の一実施形態に係る画像編集システムと通信可能に接続された第１の端末装置の画面に表示される画像の一例を模式的に示す図である。 本発明の一実施形態に係る画像編集システムと通信可能に接続された第１の端末装置の画面に表示される画像の一例を模式的に示す図である。 本発明の一実施形態に係る画像編集システムと通信可能に接続された第１の端末装置の画面に表示される画像の一例を模式的に示す図である。 本発明の一実施形態に係る画像編集システムと通信可能に接続された第１の端末装置の画面に表示される画像の一例を模式的に示す図である。

以下、本発明の一実施形態に係る画像編集システムについて図面を用いて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。また、以下に記載する実施形態の少なくとも一部同士を任意に組み合わせてもよい。また、以下に示す実施形態はあくまで例にすぎず、本発明の画像編集システムは、以下の例に限定されることはない。

本実施形態に係る画像編集システムＥＳ（図１を参照）は、画像の編集を行うシステムである。画像編集システムＥＳの編集機能が用いられる分野は特に限定されないが、たとえば、冠婚葬祭等のイベント用の画像を作成するために用いられる。具体的には、たとえば、冠婚葬祭等のイベントにおいて、イベントに関与する人物（たとえばイベントの主役）の画像を上映するための当該画像を作成するために用いられる。なお、画像編集システムＥＳの編集機能によって作成された画像は、イベント会場において上映される以外に、たとえば、インターネット等の通信回線を通じて配信されてもよい。以下では、画像編集システムＥＳが葬儀用の画像を作成するために用いられる例について説明する。

図２に示されるように、画像編集システムＥＳは、第１の記憶部１と、第２の記憶部２と、抽出部３と、合成部４とを備えている。画像編集システムＥＳは、少なくとも第１の記憶部１、第２の記憶部２、抽出部３および合成部４を備えていればよく、特に限定されることはないが、図２に示されるように、画像編集システムＥＳは、第３の記憶部５をさらに備えていてもよい。また、図２に示されるように、画像編集システムＥＳは、画像変更部７をさらに備えていてもよい。本実施形態では、画像編集システムＥＳは、サーバ装置ＳＤを備え、サーバ装置ＳＤが、抽出部３、合成部４、画像変更部７等のそれぞれの機能を実行する制御部８を備えている。しかし、抽出部３、合成部４、画像変更部７のそれぞれは、サーバ装置ＳＤの制御部８とは別に設けられていてもよいし、サーバ装置ＳＤ以外の装置に設けられていてもよい。

また、図１に示されるように、画像編集システムＥＳは、ユーザが使用する第１の端末装置９と通信可能に接続され、第２の端末装置１０をさらに備えていてもよい。第１の端末装置９は、第１の記憶部１、第２の記憶部２、抽出部３、合成部４等（本実施形態では、サーバ装置ＳＤ）と通信可能に接続されている。第２の端末装置１０は、第１の記憶部１、第２の記憶部２、抽出部３、合成部４等（本実施形態では、サーバ装置ＳＤ）と通信可能に接続されている。本実施形態では、画像編集システムＥＳは、第１の記憶部１、第２の記憶部２、抽出部３、合成部４、第３の記憶部５、画像変更部７等により、ユーザから提供された編集対象画像を編集して編集画像ＥＭ（図４参照）を作成し、作成した編集画像ＥＭをユーザへ提供する。具体的には、画像編集システムＥＳは、作成した編集画像ＥＭを、ユーザが使用する第１の端末装置９へ送信する。なお、画像編集システムＥＳと通信可能に接続される第１の端末装置９の数は特に限定されず、１つであってもよいし、複数であってもよい。

第１の記憶部１は、所定の人物に関連する画像が複数個含まれている編集対象画像を保存可能である。第１の記憶部１は、編集対象画像を少なくとも一時的に保存することができる記憶媒体（たとえば、ハードディスクドライブ（ＨＤＤ）であってもよいし、ソリッドステートドライブ（ＳＳＤ）等）であれば、特に限定されない。なお、本実施形態では、第１の記憶部１は、サーバ装置ＳＤに設けられているが、たとえばサーバ装置ＳＤとは別の装置やクラウドストレージに設けられた記憶部であってもよい。本明細書において、「編集対象画像」とは、画像編集システムＥＳによる編集の対象となる画像である。第１の記憶部１に編集対象画像を保存する方法は特に限定されず、たとえば、編集対象画像が図示しない端末装置から有線または無線の通信回線を通じて第１の記憶部１へ送信されて保存されてもよいし、編集対象画像がＵＳＢメモリ等の図示しない記憶媒体からインターフェイスを介して第１の記憶部１に保存されてもよい。本明細書において、編集対象画像は、動画であってもよいし、静止画であってもよい。また、静止画は、デジタルカメラで撮影された画像であってもよいし、アナログ写真の画像をスキャナー等で読み取ってデジタル化した画像であってもよい。また、第１の記憶部１に保存される編集対象画像に所定の人物に関連する画像が複数個含まれていれば、第１の記憶部１に保存される編集対象画像の数は、特に限定されず、１つであってもよいし、複数個であってもよい。また、第１の記憶部１に保存される編集対象画像の数が複数個である場合、保存されるすべての画像が動画または静止画であってもよいし、保存される画像のうちの一部の画像が動画で、他の画像が静止画であってもよい。また、本明細書において、「所定の人物」とは、編集対象画像に映っている人物のうち、画像編集システムＥＳの編集機能によって作成された画像（以下、編集画像とも称する）を見る人（たとえば、イベントの参加者、具体的には葬儀の参列者等）に印象付けたい人物（たとえば、イベントの主役など、イベントに関わっている人物、具体的には葬儀の対象である故人等）である。また、所定の人物の数は特に限定されず、１人であってもよいし、複数人であってもよい。また、本明細書において、「所定の人物に関連する画像」とは、所定の人物、および／または、所定の人物に関連する人物あるいは物が映っている画像を意味している。「所定の人物に関連する画像」は、所定の人物のみが映っている画像であってもよいし、所定の人物の他に、他の人物が映っている画像であってもよい。また、「所定の人物が映っている画像」は、動画においては、動画を構成する複数のフレーム（静止画）のうち、一部のフレームに所定の人物が映っていてもよいし、全部のフレームに所定の人物が映っていてもよい。第１の記憶部１は、抽出部３と通信可能に接続されている。第１の記憶部１は、編集対象画像を抽出部３へ出力することができる。

第２の記憶部２は、複数のテンプレートＴＰ（図３参照）が記憶される第２の記憶部であって、テンプレートＴＰのそれぞれは、複数の編集対象画像がはめ込まれる複数の画像枠ＩＦを有する。第２の記憶部２は、複数のテンプレートＴＰを記憶することができる記憶媒体（たとえば、ハードディスクドライブ（ＨＤＤ）であってもよいし、ソリッドステートドライブ（ＳＳＤ）等）であれば、特に限定されない。なお、本実施形態では、第２の記憶部２は、サーバ装置ＳＤに設けられているが、たとえばサーバ装置ＳＤとは別の装置やクラウドストレージに設けられた記憶部であってもよい。本明細書において、「テンプレート」とは、編集対象画像を編集するためのひな型である。テンプレートＴＰは、テンプレートＴＰにしたがって編集対象画像を編集することにより、所定のパターンの編集画像ＥＭ（図４参照）を得ることができるように構成されている。また、本明細書において、「画像枠」とは、編集対象画像が入る枠、枠組みを意味する。複数の画像枠ＩＦの各々には、編集画像ＥＭを構成する１つの画像ＩＭをはめ込むことができる。編集画像ＥＭを構成する画像ＩＭは、動画であってもよいし、静止画であってもよい。複数の画像枠ＩＦの各々には、１つの編集対象画像の一部または全部をはめ込むことができる。より具体的には、１つの画像枠ＩＦには、後述の抽出部３によって編集対象画像から抽出された画像ＩＭをはめ込むことができる。本実施形態では、テンプレートＴＰが有する画像枠ＩＦの数は、テンプレートＴＰ毎に設定されている。したがって、テンプレートＴＰを構成するのに必要な画像ＩＭの数は、テンプレートＴＰ毎に設定されている。

本実施形態では、テンプレートＴＰにしたがって画像編集を開始するのに必要な編集対象画像の数（以下、必要画像数とも称する）が、テンプレートＴＰ毎に設定されている。「画像編集を開始するのに必要な編集対象画像の数」とは、画像編集システムＥＳが画像編集を行うために必要であると予想される編集対象画像の数であって、実際にその数に満たなければ画像編集を行うことができないという値ではない。具体的には、画像編集を開始するのに必要な編集対象画像の数は、テンプレートＴＰが有する画像枠ＩＦの数に応じて設定されている。たとえば、テンプレートＴＰが有する画像枠ＩＦの数が多くなるにつれて、画像編集に必要な編集対象画像の数も多くなる傾向がある。なお、編集対象画像が動画である場合には、１つの編集対象画像の中に所定の人物の画像が複数個含まれている可能性が高いので、画像編集に必要な編集対象画像の数を抑えることができる。第２の記憶部２は、抽出部３と通信可能に接続されている。なお、第２の記憶部２と第１の記憶部１とは、別々の記憶装置として設けられていてもよいし、同じ記憶装置内の別々の記憶領域として設けられていてもよい。

テンプレートＴＰの複数の画像枠ＩＦのそれぞれは、人の感情に対応するカテゴリーを有している。すなわち、テンプレートＴＰのそれぞれの画像枠ＩＦには、人の感情に対応するカテゴリーが割り当てられており、互いに同じまたは異なるカテゴリーが割り当てられた複数の画像枠ＩＦが所定の数および所定の順序で並べられている。これにより、テンプレートＴＰに編集対象画像がはめ込まれたときに、そのテンプレートＴＰに沿ったテーマやストーリーの編集画像ＥＭが完成する。テンプレートＴＰは、テンプレートＴＰにおける画像枠ＩＦの位置（たとえば、１番目の画像枠など）と、当該画像枠ＩＦに割り当てられたカテゴリーが関連付けられた状態で記憶されている。

本明細書において、「人の感情に対応するカテゴリー」とは、人の感情の種類、区分を意味する。「人の感情に対応するカテゴリー」には、正の感情および負の感情、たとえば、「喜び」、「悲しみ」、「怒り」、「驚き」、「恐れ」、「嫌悪」等の複数の基本感情が含まれ得る。また、「人の感情に対応するカテゴリー」には、より詳細な感情（以下、詳細感情とも称する）が含まれていてもよい。詳細感情としては、たとえば、「穏やか」、「敬服」、「崇拝」、「称賛」、「娯楽」、「焦慮」、「畏敬」、「当惑」、「飽きる」、「冷静」、「困惑」、「渇望」、「嫌悪」、「苦しみの共感」、「夢中」、「嫉妬」、「興奮」、「恐れ」、「痛恨」、「面白さ」、「喜び」、「懐旧」、「ロマンチック」、「悲しみ」、「好感」、「同情」、「満足」等を挙げることができる。また、複数の画像枠ＩＦのそれぞれは、複数の基本感情および／または複数の詳細感情のうちのいずれか１つのみを有する場合もあり得るし、複数の基本感情および／または複数の詳細感情のうちの複数の感情の組み合わせ（共存する複数の感情）を有する場合もあり得る。テンプレートＴＰの複数の画像枠ＩＦのそれぞれが、人の感情に対応するカテゴリーを有していることにより、後述の抽出部３は、編集対象画像から人の感情（たとえば、「喜び」、「悲しみ」、「怒り」、「驚き」等）に着目して画像を抽出することができる。

なお、テンプレートＴＰは、当該テンプレートＴＰの画像枠ＩＦが有する感情のカテゴリーに対応する、人のイメージのカテゴリーを有していてもよい。たとえば、テンプレートＴＰが、「喜び」に対応する画像枠ＩＦ、「驚き」に対応する画像枠ＩＦ、「怒り」に対応する画像枠ＩＦ、および「悲しみ」に対応する画像枠ＩＦを有する場合には、「喜び」、「驚き」、「怒り」および「悲しみ」に対応する人のイメージである「波乱万丈なイメージ」を有する。また、テンプレートＴＰが、「喜び」に対応する画像枠ＩＦのみを有する場合には、「喜び」に対応する人のイメージである「幸せなイメージ」を有する。また、テンプレートＴＰが、「穏やか」に対応する画像枠ＩＦのみを有する場合には、「穏やか」に対応する人のイメージである「安らかなイメージ」を有する。また、テンプレートＴＰが、「喜び」に対応する画像枠ＩＦ、「驚き」に対応する画像枠ＩＦ、および「穏やか」に対応する画像枠ＩＦを有する場合には、「喜び」、「驚き」および「穏やか」に対応する人のイメージである「明るいイメージ」を有する。なお、テンプレートＴＰが有する人のイメージは、上述のイメージに限定されるものではなく、テンプレートＴＰの画像枠ＩＦが有する１つまたは複数の感情のカテゴリーに応じた任意のイメージを設けることが可能である。

また、本実施形態では、複数のテンプレートＴＰの各々は、複数の感情に対応する複数のカテゴリーが割り当てられた画像枠ＩＦの順序がランダムに並べられて構成されていてもよい。たとえば、「波乱万丈なイメージ」のテンプレートＴＰは、「喜び」のカテゴリーの画像枠ＩＦと、「驚き」のカテゴリーの画像枠ＩＦと、「怒り」のカテゴリーの画像枠ＩＦと、「悲しみ」のカテゴリーの画像枠ＩＦとが、ランダムの順序で並べられて構成されていてもよい。なお、テンプレートＴＰにしたがって作成された編集画像ＥＭにおけるカテゴリーの順序は、ユーザによる順序変更指示によって変更できるようにしてもよい。

また、本実施形態では、複数のテンプレートＴＰのうちの少なくとも１つは、複数の感情に対応する複数のカテゴリーが所定の順序で並べられて構成されていてもよい。たとえば、１つのテンプレートＴＰを構成する複数の画像枠ＩＦに割り当てられたカテゴリーが互いに異なっている場合、完成した編集画像ＥＭにおいて、故人などの所定の人物の多様な面を見ることができる。たとえば、「波乱万丈なイメージ」のテンプレートＴＰは、「喜び」のカテゴリーの画像枠ＩＦと、「驚き」のカテゴリーの画像枠ＩＦと、「怒り」のカテゴリーの画像枠ＩＦと、「悲しみ」のカテゴリーの画像枠ＩＦとが、この順序で並べられて構成されていてもよい。この場合、故人の親族などが波乱万丈なイメージの故人にふさわしい編集画像ＥＭを作り出すことが容易になる。

テンプレートＴＰが、複数の感情に対応する複数のカテゴリーが所定の順序で並べられて構成されている場合には、画像編集を行うのに必要な編集対象画像の数は、感情に対応するカテゴリーの数に応じて設定され得る。たとえば、テンプレートＴＰが有するカテゴリーの数（感情の数）が多くなるにつれて、画像編集に必要な編集対象画像の数も多くなる傾向がある。なお、編集対象画像が動画である場合には、１つの編集対象画像の中に所定の人物の画像が複数個含まれている可能性が高く、かつ複数の所定の人物の画像が異なるカテゴリー（異なる感情）を有する可能性があるので、必要な編集対象画像の数を抑えることができる。

また、本実施形態では、複数のテンプレートＴＰは、ユーザによって選択可能であるように構成されてもよい。この場合、後述の抽出部３は、選択されたテンプレートＴＰの複数の画像枠ＩＦに分類された編集対象画像を割り当てる。この場合、編集対象画像の編集に用いられるテンプレートＴＰを、ユーザの意思によって容易かつ速やかに決定することができるので、ユーザにとって満足度の高い編集画像が作成されやすくなる。

抽出部３は、編集対象画像から複数の画像枠ＩＦに割り当てられる画像を抽出する。具体的には、抽出部３は、編集対象画像を人の感情に対応して分類し、分類された編集対象画像を、カテゴリーに応じて複数の画像枠ＩＦに割り当てるように構成されている。すなわち、抽出部３は、第１の記憶部１に保存されている１つまたは複数の編集対象画像を、人の感情に対応して分類する（カテゴリーのうち、どの感情に該当するかを決定する）。抽出部３は、分類した複数の編集対象画像のそれぞれがどの感情に対応するかを分類して、編集対象画像と感情とを関連付けて、たとえば第１の記憶部１に記憶する。また、抽出部３は、感情によって分類された編集対象画像を、第２の記憶部２に保存されているテンプレートＴＰ（複数の画像枠ＩＦを有し、それぞれの画像枠ＩＦが人の感情に対応するカテゴリーを有する）を用いて、対応するカテゴリーを有する画像枠ＩＦに割り当てる。「編集対象画像を人の感情に対応して分類する」とは、編集対象画像を、当該編集対象画像に映っている人の感情に対応する種類、区分に仕分けすることを意味する。抽出部３は、編集対象画像からの画像の抽出処理を、編集対象画像が静止画である場合、および、編集対象画像が動画である場合のいずれにおいても行うことができる。たとえば、抽出部３は、編集対象画像が静止画である場合には、１つの静止画から所定の人物に関連する画像を切り出すことができる。また、抽出部３は、編集対象画像が静止画である場合には、複数の静止画から所定の人物に関連する静止画を選択することができる。また、抽出部３は、編集対象画像が動画である場合には、１つの動画から所定の人物に関連する画像（静止画または動画）を切り出すことができる。また、抽出部３は、編集対象画像が動画である場合には、複数の動画から所定の人物に関連する動画を選択することができる。また、本明細書において、「分類された編集対象画像を、カテゴリーに応じて複数の画像枠に割り当てる」とは、人の感情に対応して分類された編集対象画像を、当該感情に対応する画像枠に割り合てることを意味する。たとえば、編集対象画像に映っている所定の人物の感情が「喜び」である場合には、抽出部３は、当該編集対象画像を「喜び」のカテゴリーに分類した後、当該編集対象画像を「喜び」のカテゴリーを有する画像枠ＩＦに割り合てる。なお、人の感情に対応して分類した編集対象画像の数が、当該感情に対応するカテゴリーを有する画像枠ＩＦの数に満たない場合には、抽出部３は、当該感情に近い感情に対応するカテゴリーを有する編集対象画像を画像枠ＩＦに割り当ててもよい。なお、互いに近い感情に対応するカテゴリーはサーバ装置ＳＤ等の記憶部において事前に記憶されている。このような割り当てを行うことにより、速やかに割り当てを行って、編集画像ＥＭを迅速に作成することができる。また、テンプレートＴＰが同じ感情に対応するカテゴリーを有する画像枠ＩＦを複数個有する場合、抽出部３は、当該感情に対応するカテゴリーを有する編集対象画像のうち、当該感情の度合いが高い編集対象画像を、所定の人物を印象付けやすい位置（イベントの参加者に感動を与えやすい位置、たとえばテンプレートＴＰにおける終盤等）の画像枠ＩＦに割り当ててもよい。このような割り当てを行うことによって、イベントの参加者に所定の人物を強く印象付けて、感動的なイベントにすることができる。抽出部３は、たとえば、一般的にコンピュータに搭載される公知の中央演算処理装置（ＣＰＵ）などを用いて構成することができる。

なお、本実施形態では、抽出部３は、編集対象画像に映っている人が所定の人物であるかどうかを判別する機能（以下、人物判別機能）を有していてもよい。人物判別機能は、たとえば、公知の顔認識システムを用いて構成することができる。顔認識システムは、デジタル画像から、人を自動的に識別するためのコンピュータシステムである。顔認識システムは、画像内の顔と思われる部分を抽出し、顔画像から目立つ特徴（たとえば、顔のパーツの相対位置や大きさ、目や鼻やほお骨やあごの形など）を抽出することで人を識別する技術である。本実施形態では、たとえば、第１の記憶部１に所定の人物のデジタル画像を保存しておき、抽出部３が所定の人物の画像に対して顔認識システムで所定の人物の顔認識を行い、第１の記憶部１に保存されている編集対象画像に映っている人に対して顔認識システムで顔認識を行い、編集対象画像に映っている人の顔と所定の人物の顔とを照合することにより、編集対象画像から所定の人物の画像を抽出することができる。抽出部３は、人物判別機能を有することにより、たとえば、編集対象画像に複数の人が映っている場合に、複数の人の中から所定の人物を抽出し、編集対象画像を所定の人物の感情に対応して分類するように構成されてもよい。

また、本実施形態では、抽出部３は、所定の人物の顔の表情を画像解析し、解析結果に基づいて、編集対象画像を分類するように構成されてもよい。すなわち、抽出部３は、編集対象画像に映っている人の顔の表情を画像解析して人の感情を認識し、認識結果に基づいて、編集対象画像を分類するように構成されてもよい。人の顔の表情を画像解析して人の感情を認識する機能（以下、感情認識機能とも称する）は、たとえば、公知の感情認識システムを用いて構成することができる。感情認識システムは、デジタル画像から、人の感情を自動的に識別するためのコンピュータシステムである。感情認識システムは、顔の表情から感情を認識する技術であって、画像内の顔と思われる部分を抽出し、顔画像から感情が反映されやすい部分の特徴（たとえば、視線の動き、瞳孔の大きさ、口角の形状など）を抽出することで人の感情を識別する技術である。本実施形態では、たとえば、抽出部３が編集対象画像に映っている所定の人物の顔画像に対して感情認識システムで感情認識を行い、認識された感情に対応する種類、区分に編集対象画像を分類するように構成することができる。抽出部３が、所定の人物の顔の表情を画像解析し、解析結果に基づいて、編集対象画像を分類することにより、編集対象画像を所定の人物の感情に対応する種類、区分に簡易かつ迅速に分類することができる。

また、本実施形態では、抽出部３は、編集対象画像に含まれている所定の人物の画像に基づいて、人物の感情の大きさの度合いを算出するように構成されてもよい。この場合、抽出部３は、感情の大きさの度合いに基づいて、複数の画像枠ＩＦへの編集対象画像の割り当てを決定する。本明細書において、「人物の感情の大きさの度合い」とは、人物の感情の強弱の程度を意味する。抽出部３は、たとえば、「喜び」の感情がどの程度の大きさなのかを数値化して算出することができる。抽出部３は、数値化された感情の度合いに基づいて、複数の画像枠ＩＦへの編集対象画像の割り当てを行うことができる。具体的には、たとえば、編集画像ＥＭを構成する複数の画像枠ＩＦのうちの任意の位置（たとえば編集画像ＥＭの初期、中期または終期）に、「喜び」等の感情の度合いが大きな（たとえば最大）の画像を割り当てることができる。これにより、抽出部３が画像枠ＩＦに編集対象画像を割り当てる際に、感情の度合いが大きい画像が選択されることで、ユーザに最適な編集画像ＥＭを提供できる可能性が高くなる。また、テンプレートＴＰの複数の画像枠ＩＦが同じカテゴリー（たとえば、テンプレートＴＰのうち２つの画像枠ＩＦがカテゴリー「喜び」）である場合、感情の度合いによって抽出部３が順序を決定することができる。したがって、たとえば、後半での盛り上がりがユーザから求められている場合に、抽出部３は、後半に感情の度合いの高い画像を選択することができ、ユーザの求めに応じた編集画像ＥＭを提供することが可能になる。これにより、画像編集システムＥＳは、編集画像ＥＭを見る人に感動を与えやすい編集画像ＥＭを作成することができる。

合成部４は、抽出部３によって抽出された複数の画像を組み合わせる合成処理を行うように構成されている。すなわち、合成部４は、抽出部３によって編集対象画像から抽出された複数の画像ＩＭを、抽出部３によって当該複数の画像ＩＭにそれぞれ割り当てられた画像枠ＩＦにはめ込むことにより、編集画像ＥＭを作成するように構成されている。合成部４は、たとえば、一般的にコンピュータに搭載される公知の中央演算処理装置（ＣＰＵ）などを用いて構成することができる。なお、合成部４および上述の抽出部３は、別々の中央演算処理装置などを用いて構成されていてもよいし、同じ中央演算処理装置などを用いて構成されていてもよい。合成部４は、上述の合成処理によって作成した編集画像ＥＭを第３の記憶部５に保存するように構成されている。

第３の記憶部５は、合成部４によって作成された編集画像ＥＭを保存するように構成されている。第３の記憶部５は、編集画像ＥＭを保存きる記憶媒体（たとえば、ハードディスクドライブ（ＨＤＤ）であってもよいし、ソリッドステートドライブ（ＳＳＤ）等）であれば、特に限定されない。なお、本実施形態では、第３の記憶部５は、サーバ装置ＳＤに設けられているが、たとえばサーバ装置ＳＤとは別の装置やクラウドストレージに設けられた記憶部であってもよい。また、本実施形態では、制御部８により、後述の第１の端末装置９からのユーザの指示に基づいて、第３の記憶部５に保存されている編集画像ＥＭが、第１の端末装置９へ送信される。

なお、画像編集システムＥＳが編集画像ＥＭをユーザへ提供する方法は上述した構成に限定されるものではない。たとえば、制御部８は、第３の記憶部５に保存されている編集画像ＥＭをダウンロードするためのＵＲＬ（Uniform Resource Locator）を図示しない通信部から第１の端末装置９へ送信するように構成されてもよい。この場合、ユーザは、通信部から受信したＵＲＬにアクセスすることにより、編集画像ＥＭをダウンロードすることができる。

画像変更部７は、合成部４によって合成された画像ＩＭを、ユーザからの要求に応じて変更する。さらに、画像変更部７は、合成部４によって合成された画像ＩＭの順序の並び替え、および／または、合成部４によって合成された画像ＩＭの少なくとも１つを、第１の記憶部１に記憶された編集対象画像と差し替え可能である。ユーザは、合成部４によって作成された編集画像ＥＭが気に入らない場合は、制御部８へ画像変更の指示を行うことにより、合成部４が合成する画像ＩＭの順序の入れ替え、および／または、編集対象画像の差し替えを行うことができる。抽出部３および合成部４は、順序が入れ替えられた画像および／または差し替えられた編集対象画像を用いて、それぞれ、画像ＩＭの抽出および画像ＩＭの合成を行うことにより、ユーザが希望する編集画像ＥＭを作成することができる。

第１の端末装置９は、画像編集システムＥＳのユーザによって使用される、パーソナルコンピュータ、スマートフォン等の端末装置である。第１の端末装置９は、キーボード、マウス、タッチパネル等の操作入力部と、ディスプレイ、スピーカ等の出力部と、画像編集システムＥＳと通信を行う通信部と、第１の端末装置９の各構成要素の動作を制御する制御部とを備えている。操作入力部は、ユーザによる操作を受け付け、操作に応じた情報を出力するように構成されている。出力部のディスプレイは、画像編集システムＥＳによって作成された編集画像ＥＭ、および画像編集システムＥＳにおいて編集画像ＥＭを作成する際の編集対象画像、および編集対象画像から抽出された画像ＩＭ等を表示するように構成されている。出力部のスピーカは、画像編集システムＥＳによって作成された編集画像ＥＭに伴う音声等を出力するように構成されている。通信部は、ユーザからの指示、およびユーザが管理する編集対象画像を画像編集システムＥＳへ送信したり、画像編集システムＥＳにより作成された編集画像ＥＭ、および画像編集システムＥＳにおいて編集画像ＥＭを作成する際の画像ＩＭ等を画像編集システムＥＳから受信するように構成されている。制御部は、たとえば、一般的にコンピュータに搭載される公知の中央演算処理装置（ＣＰＵ）などを用いて構成することができる。ユーザ（たとえば、葬儀において故人の画像を上映する場合には、故人の遺族）は、第１の端末装置９から（サーバ装置ＳＤの送受信部を介して）画像編集システムＥＳへ編集対象画像を送信し、画像編集に必要な指示を画像編集システムＥＳへ送信することにより、画像編集システムＥＳに編集画像ＥＭを作成させ、作成された編集画像ＥＭを画像編集システムＥＳから受信することができる。

第２の端末装置１０は、画像編集システムＥＳによる画像編集サービスを提供するサービス提供者によって使用される、パーソナルコンピュータ、スマートフォン等の端末装置である。第２の端末装置１０は、キーボード、マウス、タッチパネル等の操作入力部と、ディスプレイ、スピーカ等の出力部と、サーバ装置ＳＤと通信を行う通信部と、第２の端末装置１０の各構成要素の動作を制御する制御部とを備えている。操作入力部は、サービス提供者による操作を受け付け、操作に応じた情報を出力するように構成されている。出力部のディスプレイは、画像編集システムＥＳによって作成された編集画像ＥＭ、および画像編集システムＥＳにおいて編集画像ＥＭを作成する際の作成用画像、テンプレートＴＰ等の内容を変更する管理用画像等を表示するように構成されている。出力部のスピーカは、画像編集システムＥＳによって作成された編集画像ＥＭに伴う音声等を出力するように構成されている。通信部は、サービス提供者からの指示をサーバ装置ＳＤへ送信したり、画像編集システムＥＳにより作成された編集画像ＥＭ、および画像編集システムＥＳにおいて編集画像ＥＭを作成する際の画像ＩＭ等をサーバ装置ＳＤから受信するように構成されている。制御部は、たとえば、一般的にコンピュータに搭載される公知の中央演算処理装置（ＣＰＵ）などを用いて構成することができる。サービス提供者は、第２の端末装置１０において、テンプレートＴＰ等の内容を変更する管理用画像等を表示部に表示させながら、必要に応じてテンプレートＴＰ等の内容を変更したり、編集画像ＥＭを表示部に表示させて確認することができる。

本実施形態に係る画像編集システムＥＳは、上述のように、複数の編集対象画像がはめ込まれる複数の画像枠ＩＦを有するテンプレートＴＰを複数保存しておく。画像編集システムＥＳは、所定の人物に関連する画像ＩＭが複数個含まれている編集対象画像から、複数の画像枠ＩＦに割り当てられる画像ＩＭを抽出し、抽出された画像を合成することによって編集画像ＥＭを作成する。具体的には、テンプレートＴＰの複数の画像枠ＩＦのそれぞれは、人の感情に対応するカテゴリーを有している。画像編集システムＥＳは、編集対象画像を人の感情に対応して分類し、分類された編集対象画像を、カテゴリーに応じて複数の画像枠ＩＦに割り当てるように構成されている。すなわち、画像編集システムＥＳは、テンプレートＴＰ（複数の画像枠ＩＦを有し、それぞれの画像枠ＩＦが人の感情に対応するカテゴリーを有する）を用いて、１つまたは複数の編集対象画像を、人の感情に対応して分類する。画像編集システムＥＳは、分類された編集対象画像を、対応するカテゴリーを有する画像枠ＩＦに割り当てる。そして、画像編集システムＥＳは、編集対象画像から抽出された複数の画像ＩＭを、当該複数の画像ＩＭにそれぞれ割り当てられた画像枠ＩＦにはめ込むことにより、編集画像ＥＭを作成する。このように、画像編集システムＥＳは、編集対象画像に映っている人の感情に着目して画像ＩＭを抽出し、抽出された画像ＩＭを組み合わせて編集画像ＥＭを作成するので、編集対象画像に映っている人の感情に着目した編集画像ＥＭを自動的に作成することができる。したがって、画像編集システムＥＳによれば、ユーザから提供された編集対象画像を編集することにより、イベントで上映される人物の画像を簡便かつ迅速に作成することができる。しかも、作成された編集画像ＥＭは、編集対象画像に映っている人の感情に着目した画像であるため、イベントの参加者に対して、編集対象画像に映っている人を強く印象付けることができ、参加者に感動を与えることができる。また、たとえば、葬儀において故人の生前の画像を上映する場合には、上映される故人の画像を簡便かつ迅速に作成することができる。しかも、作成された編集画像ＥＭは、編集対象画像に映っている故人の感情に着目した画像であるため、葬儀の参列者に対して、編集対象画像に映っている故人を強く印象付けることができ、葬儀の参列者に感動を与えることができる。したがって、葬儀を主催する遺族は、葬儀の準備に忙しい中であっても、故人の生前の画像のうちどれを用いるかに時間を割く必要がない。遺族は、所有している画像の全てまたは一部を無作為に画像編集システムＥＳに提供するだけで、画像編集システムＥＳが編集対象画像に映っている故人の生前の感情に着目した感動的な編集画像ＥＳを簡易的にかつ迅速に作成する。したがって、遺族に負担をかけることなく、感動的な葬儀を行うことができる。

次に、画像編集システムＥＳが行う処理手順について、図５～図１３を参照して説明する。なお、以下の処理手順は一例であり、管理者の行為によっては、順序が変更されたり、処理手順の間に他の手順が入る場合もある。

まず、ユーザが、第１の端末装置９において、サービス提供者が発行した画像編集用ＷＥＢサイトのＵＲＬをクリックする等によって、第１の端末装置９はサーバ装置ＳＤにアクセスする。第１の端末装置９がサーバ装置ＳＤにアクセスすると、第１の端末装置９の表示部に画像編集用ＷＥＢサイトにおける画像編集用の初期画面Ｃ１が表示される（図５参照）。図５に示される例では、初期画面Ｃ１には、画像編集の方針を選択するための選択ボタンＢ１、Ｂ２が表示されている。具体的には、選択ボタンＢ１は、上述のテンプレートＴＰの内容をユーザがイメージしやすいようにサンプル動画で説明する画面に遷移するためのボタンである。図５に示される例では、選択ボタンＢ１には「テンプレートから選ぶ」と表示されている。選択ボタンＢ２は、上述のテンプレートＴＰの内容を、サンプル動画とは異なる観点（たとえば文字）で説明する画面に遷移するためのボタンである。図５に示される例では、選択ボタンＢ２には「感覚から選ぶ」と表示されている。

ユーザが初期画面Ｃ１において選択ボタンＢ１を操作すると、第１の端末装置９の表示部に、複数のテンプレートＴＰの中から１つのテンプレートＴＰを選択するための選択用画面Ｃ２が表示される（図６参照）。図６に示される例では、選択用画面Ｃ２のタイトルが、「テンプレートから選ぶ」と表示されている。また、図６に示される例では、複数のテンプレートＴＰの内容をサンプル動画で説明するように構成されている。サンプル動画は、テンプレートＴＰを用いて画像編集を行う手順、および当該テンプレートＴＰを用いて画像編集を行うことにより作成される編集画像ＥＭの例を動画で説明する。なお、サンプル動画には、説明を補助する音声が付属していてもよい。サンプル動画および音声は、複数のテンプレートＴＰ毎に用意されている。また、各テンプレートＴＰの名称ＴＰＮが用意されている。図６に示される例では、サンプル動画が表示される動画表示エリアＥ１と、動画表示エリアＥ１に表示されたサンプル動画に対応するテンプレートＴＰの名称ＴＰＮと、ユーザが見たいサンプル動画を選択するため（テンプレートＴＰを変更するため）の選択ボタンＢ３、Ｂ４とが表示されている。一方の選択ボタンＢ３は、操作される毎に、動画表示エリアＥ１に表示されるサンプル動画を１つ分先に送ることが可能な送りボタンである。他方の選択ボタンＢ４は、操作される毎に、動画表示エリアＥ１表示されるサンプル動画を１つ分戻すことが可能な戻りボタンである。また、図６に示される例では、複数のテンプレートＴＰの中から、画像編集に用いられるテンプレートＴＰを決定するための決定ボタンＢ５が表示されている。図６に示される例では、決定ボタンＢ５には「これにする」と表示されている。本実施形態では、テンプレートＴＰの内容を説明するサンプル動画および当該テンプレートＴＰの名称が、テンプレートＴＰ毎に画像編集システムＥＳの記憶部に保存されている。ユーザが見たいサンプル動画を指定する操作を行うと、指定されたサンプル動画および当該サンプル動画に対応するテンプレートＴＰの名称ＴＰＮとが画像編集システムＥＳから第１の端末装置９へ送信され、第１の端末装置９の表示部に表示される（サンプル動画は動画表示エリアＥ１に表示される）。ユーザは、表示部に表示されたサンプル動画を見て、いずれのテンプレートＴＰで画像編集を行うのかを決定することができる。ユーザは、画像編集に用いるテンプレートＴＰを決定して、決定ボタンＢ５を操作すると、第１の端末装置９の表示部に、画像をアップロードするためのアップロード用画面Ｃ３が表示される（図８参照）。

一方、ユーザが初期画面Ｃ１において選択ボタンＢ２を操作すると、第１の端末装置９の表示部に、複数のテンプレートＴＰの中から１つのテンプレートＴＰを選択するための選択用画面Ｃ４が表示される（図７参照）。図７に示される例では、選択用画面Ｃ４のタイトルが、「感覚から選ぶ」と表示されている。また、図７に示される例では、複数のテンプレートＴＰの内容を、文言および／または文章で説明するように構成されている。なお、文言や文章以外に、写真やイラストなどの画像が併せて表示されていてもよい。具体的には、図７に示される例では、説明用の文言および／または文章が表示される説明表示エリアＥ２と、ユーザが見たい文言および／または文章を選択するための選択ボタンＢ６とが表示されている。図６に示される例では、選択ボタンＢ６は、複数のテンプレートＴＰの名称ＴＰＮを示すプルダウンメニューで表示されるように構成されている。また、図７に示される例では、複数のテンプレートＴＰの中から、画像編集に用いられるテンプレートＴＰを決定するための決定ボタンＢ７が表示されている。図７に示される例では、決定ボタンＢ７には「これにする」と表示されている。本実施形態では、テンプレートＴＰの内容を説明する文言および／または文章が、テンプレートＴＰ毎に画像編集システムＥＳの記憶部に保存されている。ユーザが見たい文言および／または文章を指定する操作を行うと、指定された文言および／または文章が画像編集システムＥＳから第１の端末装置９へ送信され、第１の端末装置９の表示部に表示される（説明表示エリアＥ２に表示される）。ユーザは、表示部に表示された文言および／または文章を見て、いずれのテンプレートＴＰで画像編集を行うのかを決定することができる。ユーザは、画像編集に用いるテンプレートＴＰを決定して、決定ボタンＢ７を操作すると、第１の端末装置９の表示部に、画像をアップロードするためのアップロード用画面Ｃ３が表示される（図８参照）。

上述のように、選択用画面Ｃ２（図６参照）において決定ボタンＢ５を操作するか、または、選択用画面Ｃ４（図７参照）において決定ボタンＢ７を操作すると、第１の端末装置９の表示部に、アップロード用画面Ｃ３が表示される（図８参照）。図８に示される例では、アップロード用画面Ｃ３のタイトルが、「写真／動画をアップロードする」と表示されている。また、図８に示される例では、アップロード用画面Ｃ３は、上述の所定の人物の顔画像と、上述の編集対象画像とをアップロードできるように構成されている。本明細書において、「所定の人物の顔画像」とは、所定の人物の顔が映っている画像である。「所定の人物の顔画像」には、所定の人物の顔が映っていればよく、所定の人物の顔の他に、所定の人物における顔以外の部位（たとえば、胸部、腹部、手足等）、および／または、所定の人物以外の物が映っていてもよい。「所定の人物の顔画像」は、編集対象画像と同じ画像であってもよいし、編集対象画像とは別の画像であってもよい。また、「所定の人物の顔画像」は、静止画であってもよいし、動画であってもよい。なお、「所定の人物の顔画像」には、当該顔画像に映っている顔が上述の人物判別機能によって所定の人物を特定できる程度に鮮明に映っていることが好ましい。このように鮮明に映っていることにより、抽出部３は、「所定の人物の顔画像」に映っている顔から所定の人物を特定し、編集対象画像から所定の人物を自動的に抽出することができる。図８に示される例では、所定の人物の顔画像が表示される顔画像表示エリアＥ３と、所定の人物の顔画像を第１の端末装置９に保存されている複数の画像の中から選択する操作と、選択された顔画像を画像編集システムＥＳへアップロードする操作とを行うことが可能なアップロードボタンＢ８とが表示されている。また、図８に示される例では、編集対象画像が表示される対象画像表示エリアＥ４と、編集対象画像を第１の端末装置９に保存されている複数の画像の中から選択する操作と、選択された編集対象画像を画像編集システムＥＳへアップロードする操作とを行うことが可能なアップロードボタンＢ９とが表示されている。ユーザがアップロードボタンＢ８を操作することによって、第１の端末装置９に保存されている複数の画像の中から所定の人物の顔画像を選択すると、選択された所定の人物の顔画像が顔画像表示エリアＥ３に表示される。さらに、ユーザがアップロードボタンＢ８を操作すると、先のアップロードボタンＢ８の操作で選択された所定の人物の顔画像（顔画像表示エリアＥ３に表示されている画像）が、画像編集システムＥＳにアップロードされ、第１の記憶部１に保存される。また、ユーザがアップロードボタンＢ９を操作することによって、第１の端末装置９に保存されている複数の画像の中から編集対象画像を選択すると、選択された編集対象画像が対象画像表示エリアＥ４に表示される。さらに、ユーザがアップロードボタンＢ９を操作すると、先のアップロードボタンＢ９の操作で選択された編集対象画像（対象画像表示エリアＥ４に表示されている画像）が、画像編集システムＥＳにアップロードされ、第１の記憶部１に保存される。

図８に示される例では、アップロード用画面Ｃ３には、編集画像作成ボタン（プレビューボタン）Ｂ１０が表示されている。編集画像作成ボタンＢ１０は、画像編集システムＥＳにアップロードした編集対象画像を編集することにより編集画像ＥＭを作成するためのボタンである。図８に示される例では、編集画像作成ボタンＢ１０には、「プレビューを見る」と表示されており、編集画像作成ボタンＢ１０は、編集画像ＥＭを作成する指示を送信するボタンであるとともに、画面上にプレビューを表示させるボタンでもある。本実施形態では、編集画像作成ボタンＢ１０は、所定の条件が満たされることにより、ユーザによる操作が可能なアクティブ状態となるように構成されている。すなわち、編集画像作成ボタンＢ１０は、所定の条件が満たされていない状態では、ユーザによる操作を行うことができない非アクティブ状態となるように構成されている。所定の条件とは、たとえば、テンプレートＴＰにしたがって画像編集を開始するのに必要な編集対象画像の数（必要画像数）以上の編集対象画像が画像編集システムＥＳにアップロードされることである。必要画像数以上の数の編集対象画像がアップロードされると、編集画像作成ボタンＢ１０がアクティブ状態となり、ユーザが操作することが可能となる。ユーザが編集画像作成ボタンＢ１０を操作すると、画像編集システムＥＳが、アップロードされている編集対象画像を編集して編集画像ＥＭを作成する。編集画像ＥＭが作成されると、第１の端末装置９の表示部に、編集画像ＥＭが映し出されるプレビュー画面Ｃ５が表示される（図９参照）。

また、図８に示される例では、アップロード用画面Ｃ３には、チェックボックスＣＢ１が表示されている。チェックボックスＣＢ１は、第１の記憶部１に保存された編集対象画像から所定の人物を自動的に抽出する機能、および、所定の人物の顔の表情を画像解析して所定の人物の感情を識別する機能を使用するかどうかを選択するためのチェックボックスである。チェックボックスＣＢ１の近傍には、チェックボックスＣＢ１にチェックを入れたときの機能を示すように、「自動判別」と表示されている。なお、チェックボックスＣＢ１に代えて、同様の選択を行うための選択ボタン（図示せず）が表示されていてもよい。ユーザがチェックボックスＣＢ１にチェックを入れた状態で、編集画像作成ボタンＢ１０を操作すると、画像編集システムＥＳの抽出部３が、第１の記憶部１に保存されている所定の人物の顔画像および１つまたは複数の編集対象画像を照合することにより、１つまたは複数の編集対象画像から所定の人物に関連する複数の画像ＩＭを抽出する。さらに、抽出部３は、抽出した複数の画像ＩＭに映っている所定の人物の感情を自動的に認識する。さらに、抽出部３は、複数の画像ＩＭの各々を当該画像ＩＭに映っている所定の人物の感情に対応するカテゴリー（種類、区分）に分類し、分類した画像ＩＭを、カテゴリーに応じて複数の画像枠ＩＦに割り当てる（画像ＩＭに対応するカテゴリーを有する画像枠ＩＦに割り当てる）。一方、ユーザがチェックボックスＣＢ１にチェックを入れていない状態で、編集画像作成ボタンＢ１０を操作すると、画像編集システムＥＳの抽出部３は、第１の記憶部１に保存されている編集対象画像には所定の人物が映っており、かつ所定の人物の感情が所定の感情であるものとみなして、編集対象画像を所定の人物の所定の感情に対応するカテゴリー（種類、区分）に分類し、分類した画像ＩＭを、カテゴリーに応じて複数の画像枠ＩＦに割り当てる（画像ＩＭに対応するカテゴリーを有する画像枠ＩＦに割り当てる）。具体的には、たとえば、編集対象画像には所定の人物のみが映っており、かつ、編集対象画像に映っている所定の人物の感情が所定の感情（たとえば喜びの感情）であることを示す情報が付随した編集対象画像をユーザが第１の端末装置９から第１の記憶部１にアップロードする。これにより、抽出部３が当該情報を読み取って、編集対象画像を当該情報に対応するカテゴリーに分類し、編集対象画像を、分類したカテゴリーに応じて画像枠ＩＦに割り当てる。この場合、編集対象画像に映っている人が所定の人物であり、かつ所定の人物の感情が所定の感情であることをユーザが自ら判断し、その判断結果を編集対象画像ととともにアップロードすることにより、画像編集システムＥＳが編集対象画像からの所定の人物の抽出および所定の人物の感情認識を行うことなく、編集画像ＥＭを作成することができる。

また、図８に示される例では、アップロード用画面Ｃ３には、チェックボックスＣＢ２が表示されている。チェックボックスＣＢ２は、編集画像ＥＭに伴う音声の文字起こしを行う機能を使用するかどうかを選択するためのチェックボックスである。チェックボックスＣＢ２の近傍には、チェックボックスＣＢ２にチェックを入れたときの機能を示すように、「文字起こし」と表示されている。なお、チェックボックスＣＢ２に代えて、同様の選択を行うための選択ボタン（図示せず）が表示されていてもよい。ユーザがチェックボックスＣＢ２にチェックを入れた状態で、編集画像作成ボタンＢ１０を操作すると、画像編集システムＥＳの抽出部３が、編集対象画像から抽出した画像ＩＭに伴う音声の文字起こしを行い、起こした文字を画像ＩＭに重畳させる。文字起こしは、所定の人物の音声（たとえば葬儀における故人の生前の音声）のみについてのみ行ってもよいし、所定の人物以外の人の音声（たとえば生前の故人の話し相手の音声、生前の故人の周囲の人の音声）についても文字起こししてもよい。文字起こしを行うことにより、イベントの参加者（たとえば葬儀の参列者）は、視覚的に音声の内容を把握することができ、所定の人物（たとえば葬儀における故人）がどのような人であったのかをより明確かつ容易に把握することができる。また、所定の人物以外の人の音声についても文字起こしすることにより、所定の人物と所定の人物の周囲の人との関わりをより明確かつ容易に把握することができる。したがって、イベントの参加者により感動を与えやすくなる。一方、ユーザがチェックボックスＣＢ２にチェックを入れていない状態で、編集画像作成ボタンＢ１０を操作すると、画像編集システムＥＳの抽出部３は、編集対象画像から抽出した画像ＩＭに伴う音声の文字起こしを行わない。

また、図８に示される例では、アップロード用画面Ｃ３には、画像変更ボタンＢ１１が表示されている。画像変更ボタンＢ１１は、画像編集システムＥＳにアップロードした編集対象画像を編集することにより作成された編集画像ＥＭの内容を変更するためのボタンである。図８に示される例では、画像変更ボタンＢ１１には、「再生順や写真／動画を変更する」と表示されている。ユーザが画像変更ボタンＢ１１を操作すると、画像変更用画面Ｃ６が表示される（図１０参照）。

上述のように、アップロード用画面Ｃ３（図８参照）において編集画像作成ボタンＢ１０を操作すると、第１の端末装置９の表示部に、プレビュー用画面Ｃ５が表示される（図９参照）。図９に示される例では、プレビュー用画面Ｃ５のタイトルが、「プレビュー」と表示されている。図９に示される例では、プレビュー用画面Ｃ５には、画像編集システムＥＳにアップロードした編集対象画像を編集することにより作成された編集画像ＥＭがプレビュー表示されるプレビュー表示エリアＥ５が表示されている。図９に示される例では、プレビュー表示エリアＥ５をマウスでクリック等することにより、編集画像ＥＭが再生される（プレビュー表示される）ように構成されている。また、図９に示される例では、プレビュー用画面Ｃ５には、アップロード用画面Ｃ３に遷移するためのアップロード遷移ボタンＢ１２が表示されている。ユーザがアップロード遷移ボタンＢ１２を操作することにより、アップロード用画面Ｃ３が表示される。また、図９に示される例では、編集画像ＥＭの内容を変更する画面に遷移するための画像変更ボタンＢ１３が表示されている。ユーザが画像変更ボタンＢ１３を操作することにより、第１の端末装置９の表示部に画像変更用画面Ｃ６が表示される。また、図９に示される例では、編集画像ＥＭを確定するための画面に遷移するための確定ボタンＢ１４が表示されている。本実施形態では、確定ボタンＢ１４は、編集画像ＥＭを確定するとともに、当該編集画像ＥＭを購入する購入ボタンでもあり、確定ボタンＢ１４を操作することにより、画像購入用画面Ｃ７が表示される。ユーザは、プレビュー表示された編集画像ＥＭを確認して、編集画像ＥＭの内容に納得し、編集画像ＥＭの購入を決めた場合には、確定ボタン（購入ボタン）Ｂ１４を操作する。一方、ユーザは、プレビュー表示された編集画像ＥＭを確認して、編集画像ＥＭの内容に納得しない場合には、編集画像ＥＭの内容を変更するために、アップロード遷移ボタンＢ１２を操作するか、または、画像変更ボタンＢ１３を操作する。

上述のように、ユーザがアップロード用画面Ｃ３（図８参照）において画像変更ボタンＢ１１を操作したり、プレビュー用画面Ｃ５（図９参照）において画像変更ボタンＢ１１を操作すると、第１の端末装置９の表示部に、画像変更用画面Ｃ６が表示される（図１０参照）。図１０に示される例では、画像変更用画面Ｃ６のタイトルが、「再生順や写真／動画を変更する」と表示されている。図１０に示される例では、画像変更用画面Ｃ６には、編集画像ＥＭの内容を変更するための操作を行うことが可能な変更操作エリアＥ６が表示されている。図１０に示される例では、変更操作エリアＥ６は、たとえばマウスのクリックやドラッグ等の操作により、編集画像ＥＭを構成する複数の画像ＩＭの順序を入れ替える操作が可能に構成されている。複数の画像ＩＭの順序を入れ替えることにより、画像ＩＭの再生順序を変更することができる。また、変更操作エリアＥ６は、たとえばマウスのクリックやドラッグ等の操作により、編集画像ＥＭを構成する複数の画像ＩＭのいずれかを、編集画像ＥＭに入っていない画像ＩＭ（たとえば、抽出部３によって抽出された画像ＩＭではあるが、編集画像ＥＭの構成要素としては採用されなかった画像ＩＭ）と入れ替える操作が可能に構成されている。変更操作エリアＥ６には、たとえば、現在の編集画像ＥＭを構成している複数の画像ＩＭと、当該画像ＩＭと入れ替え可能な画像ＩＭの候補とが表示される。この場合、ユーザは、画像ＩＭの入れ替え操作を、マウスのクリック、ドラッグ等の操作により行うことができる。編集画像ＥＭを構成する複数の画像ＩＭのいずれかを、編集画像ＥＭに入っていない画像ＩＭと入れ替えることにより、編集画像ＥＭを構成する画像ＩＭの組み合わせを変更することができる。また、図１０に示される例では、画像ＩＭの組み合わせが変更された編集画像ＥＭを作成（プレビュー）するための編集画像作成ボタン（プレビューボタン）Ｂ１５が表示されている。ユーザが編集画像作成ボタンＢ１５を操作すると、画像編集システムＥＳは、画像ＩＭの組み合わせが変更された編集画像ＥＭを作成する。また、ユーザが編集画像作成ボタンＢ１５を操作すると、第１の端末装置９の表示部にプレビュー用画面Ｃ５が表示され、プレビュー表示エリアＥ５に、画像ＩＭの組み合わせが変更された編集画像ＥＭが表示される（図９参照）。また、画像変更用画面Ｃ６には、アップロード用画面Ｃ３に遷移するためのアップロード遷移ボタンＢ１９が表示されている。ユーザがアップロード遷移ボタンＢ１９を操作することにより、第１の端末装置９の表示部にアップロード用画面Ｃ３が表示される（図８参照）。ユーザがアップロード遷移ボタンＢ１２を操作した場合も、同様に、第１の端末装置９の表示部にアップロード用画面Ｃ３が表示される（図８参照）。ユーザは、アップロード用画面Ｃ３において、新たに編集対象画像をアップロードすることができる。ユーザがアップロード用画面Ｃ３において、編集画像作成ボタンＢ１０を操作すると、画像編集システムＥＳは、新たにアップロードされた編集対象画像を用いて編集画像ＥＭを新たに作成する。また、ユーザが編集画像作成ボタンＢ１０を操作すると、第１の端末装置９の表示部にプレビュー用画面Ｃ５が表示され（図９参照）、プレビュー表示エリアＥ５には、新たに作成された編集画像ＥＭがプレビュー表示される。ユーザは、プレビュー表示された編集画像ＥＭを確認して、編集画像ＥＭの内容に納得し、編集画像ＥＭの購入を決めた場合には、確定ボタン（購入ボタン）Ｂ１４を操作する（図９参照）。

上述のように、ユーザが購入ボタンＢ１４を操作すると、第１の端末装置９の表示部に編集画像ＥＭを購入するための購入画面Ｃ７が表示される（図１１参照）。図１１に示される例では、決済手続きを行うための決済手続エリアＥ７が表示されている。図１１に示される例では、決済手続エリアＥ７は、たとえば、オンラインでのクレジットカードによる決済ができるように構成されている。オンラインでのクレジットカードによる決済ができることにより、ユーザは容易かつ速やかに決済を行うことができる。図１１に示される例では、決済手続エリアＥ７における決済内容に同意して決済を実行するための購入確定ボタンＢ１６が表示されている。ユーザが購入確定ボタンＢ１６を操作すると、決済手続きが実行され、動画購入手続きが完了したことを示す購入完了画面Ｃ８が表示される（図１２参照）。また、ユーザが購入確定ボタンＢ１６を操作すると、合成部４によって確定した編集画像の合成処理が開始される。「確定した編集画像の合成処理」とは、上述の編集画像作成ボタンＢ１０およびＢ１５の操作によって作成される編集画像ＥＭと比べて画質の良好な編集画像ＥＭを作成することを意味する。すなわち、編集画像作成ボタンＢ１０およびＢ１５の操作によって編集画像ＥＭを作成する場合には、編集画像ＥＭの購入が確定していないため、画質よりも作成スピードが要求される。このため、編集画像作成ボタンＢ１０およびＢ１５の操作によって編集画像ＥＭを作成する場合には、比較的画質の低い編集画像ＥＭであっても速やかに作成されるのがよい。一方、編集画像ＥＭの購入確定後は、画質の高さが要求されるので、比較的画質の高い編集画像ＥＭが作成される。なお、編集画像ＥＭの作成時の画質と、購入確定後の編集画像ＥＭの画質とは同じ画質であっても構わない。図１２に示される例では、確定した編集画像の合成処理によって作成された編集画像ＥＭをダウンロードするためのダウンロード用ボタンＢ１７が表示されている。図１２に示される例では、確定した編集画像の合成処理が完了して編集画像ＥＭが作成されると、ダウンロードボタンＢ１７が非アクティブ状態からアクティブ状態に変化する。ユーザがアクティブ状態のダウンロード用ボタンＢ１７を操作すると、編集画像ＥＭをダウンロードするためのＵＲＬが電子メール等で第１の端末装置９に通知される。ユーザが通知されたＵＲＬにアクセスすると、編集画像ＥＭをダウンロードするためのダウンロード用画面Ｃ９が第１の端末装置９の表示部に表示される（図１３参照）。図１３に示される例では、編集画像ＥＭをダウンロードするためのダウンロード実行ボタンＢ１８が表示されている。ユーザがダウンロード実行ボタンＢ１９を操作すると、第１の端末装置９に編集画像ＥＭがダウンロードされる。

以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されない。なお、上記した実施形態は、以下の構成を有する発明を主に説明するものである。

（１）画像の編集を行う画像編集システムであって、前記画像編集システムは、
所定の人物に関連する画像が複数個含まれている編集対象画像を保存可能な第１の記憶部と、
複数のテンプレートが記憶される第２の記憶部であって、前記テンプレートのそれぞれは、複数の前記編集対象画像がはめ込まれる複数の画像枠を有する、第２の記憶部と、
前記編集対象画像から前記複数の画像枠に割り当てられる画像を抽出する抽出部と、
前記抽出部によって抽出された複数の画像を組み合わせる合成処理を行うように構成されている合成部と、を備え、
前記テンプレートの前記複数の画像枠のそれぞれは、人の感情に対応するカテゴリーを有し、
前記抽出部は、前記編集対象画像を人の感情に対応して分類し、分類された前記編集対象画像を、前記カテゴリーに応じて前記複数の画像枠に割り当てるように構成されている画像編集システム。

（２）前記複数のテンプレートのうちの少なくとも１つは、複数の感情に対応する複数のカテゴリーが所定の順序で並べられて構成されている、（１）に記載の画像編集システム。

（３）前記複数のテンプレートは、ユーザによって選択可能であり、前記抽出部は、選択されたテンプレートの複数の画像枠に前記分類された前記編集対象画像を割り当てる、（１）または（２）に記載の画像編集システム。

（４）前記画像編集システムは、前記合成部によって合成された画像を、ユーザからの要求に応じて変更する画像変更部をさらに備え、
前記画像変更部は、前記合成部によって合成された画像の順序の並び替え、および／または、前記合成部によって合成された画像の少なくとも１つを、前記第１の記憶部に記憶された前記編集対象画像と差し替え可能である、（１）～（３）のいずれか１つに記載の画像編集システム。

（５）前記抽出部は、前記所定の人物の顔の表情を画像解析し、解析結果に基づいて、前記編集対象画像を分類する、（１）～（４）のいずれか１つに記載の画像編集システム。

（６）前記抽出部は、前記編集対象画像に含まれている前記所定の人物の画像に基づいて、前記人物の感情の大きさの度合いを算出するように構成され、
前記抽出部は、前記感情の大きさの度合いに基づいて、前記複数の画像枠への前記編集対象画像の割り当てを決定する、（１）～（５）のいずれか１つに記載の画像編集システム。

１ 第１の記憶部
２ 第２の記憶部
３ 抽出部
４ 合成部
５ 第３の記憶部
７ 画像変更部
８ 制御部
９ 第１の端末装置
１０ 第２の端末装置
Ｂ１ 選択ボタン
Ｂ２ 選択ボタン
Ｂ３ 選択ボタン
Ｂ４ 選択ボタン
Ｂ５ 決定ボタン
Ｂ６ 選択ボタン
Ｂ７ 決定ボタン
Ｂ８ アップロードボタン
Ｂ９ アップロードボタン
Ｂ１０ 編集画像作成ボタン（プレビューボタン）
Ｂ１１ 画像変更ボタン
Ｂ１２ アップロード遷移ボタン
Ｂ１３ 画像変更ボタン
Ｂ１４ 確定ボタン（購入ボタン）
Ｂ１５ 編集画像作成ボタン（プレビューボタン）
Ｂ１６ 購入確定ボタン
Ｂ１７ ダウンロード用ボタン
Ｂ１８ ダウンロード実行ボタン
Ｂ１９ アップロード遷移ボタン
Ｃ１ 初期画面
Ｃ２ 選択用画面
Ｃ３ アップロード用画面
Ｃ４ 選択用画面
Ｃ５ プレビュー用画面
Ｃ６ 画像変更用画面
Ｃ７ 画像購入用画面
Ｃ８ 購入完了画面
Ｃ９ ダウンロード用画面
ＣＢ１ チェックボックス
ＣＢ２ チェックボックス
Ｅ１ 動画表示エリア
Ｅ２ 説明表示エリア
Ｅ３ 顔画像表示エリア
Ｅ４ 対象画像表示エリア
Ｅ５ プレビュー表示エリア
Ｅ６ 変更操作エリア
Ｅ７ 決済手続エリア
ＥＭ 編集画像
ＥＳ 画像編集システム
ＩＦ 画像枠
ＩＭ 画像
ＳＤ サーバ装置
ＴＰ テンプレート
ＴＰＮ テンプレートの名称

Claims (6)

1. 生前の故人が映っている画像の編集を行う画像編集システムであって、前記画像編集システムは、
   少なくとも生前の故人が映っている画像が複数個含まれている編集対象画像を保存可能な第１の記憶部と、
   複数のテンプレートが記憶される第２の記憶部であって、前記テンプレートのそれぞれは、複数の前記編集対象画像がはめ込まれる複数の画像枠を有する、第２の記憶部と、
   前記編集対象画像から前記複数の画像枠に割り当てられる画像を抽出する抽出部と、
   前記抽出部によって抽出された複数の画像を組み合わせる合成処理を行うように構成されている合成部と、を備え、
   前記テンプレートの前記複数の画像枠のそれぞれは、人の感情に対応するカテゴリーを有し、
   前記抽出部は、前記編集対象画像を生前の故人の感情に対応して分類し、分類された前記編集対象画像を、前記カテゴリーに応じて前記複数の画像枠に割り当てるように構成され、
   前記抽出部は、前記編集対象画像から抽出した画像に伴う音声の文字起こしを行い、起こした文字を、抽出した画像に重畳させるように構成され、
   前記抽出部は、生前の故人の音声のみ、または、生前の故人の音声および生前の故人との話し相手の音声の文字起こしを行うように構成されている画像編集システム。
2. 前記複数のテンプレートのうちの少なくとも１つは、複数の感情に対応する複数のカテゴリーが所定の順序で並べられて構成されている、請求項１に記載の画像編集システム。
3. 前記複数のテンプレートは、ユーザによって選択可能であり、前記抽出部は、選択されたテンプレートの複数の画像枠に前記分類された前記編集対象画像を割り当てる、請求項１に記載の画像編集システム。
4. 前記画像編集システムは、前記合成部によって合成された画像を、ユーザからの要求に応じて変更する画像変更部をさらに備え、
   前記画像変更部は、前記合成部によって合成された画像の順序の並び替え、および／または、前記合成部によって合成された画像の少なくとも１つを、前記第１の記憶部に記憶された前記編集対象画像と差し替え可能である、
   請求項１に記載の画像編集システム。
5. 前記抽出部は、前記生前の故人の顔の表情を画像解析し、解析結果に基づいて、前記編集対象画像を分類する、請求項１に記載の画像編集システム。
6. 前記抽出部は、前記編集対象画像に含まれている前記生前の故人の画像に基づいて、前記生前の故人の感情の大きさの度合いを算出するように構成され、
   前記抽出部は、前記感情の大きさの度合いに基づいて、前記複数の画像枠への前記編集対象画像の割り当てを決定する、請求項１に記載の画像編集システム。

Images