JP6586402B2 - 画像分類装置、画像分類方法及びプログラム - Google Patents

Description

本発明は、タイムスケジュール情報のインプットなしに、イベントで撮影して得られた複数の画像からイベント中の特定のシーンに対応する大グループを作成することができる画像分類装置、画像分類方法及びプログラムに関する。

従来、デジタルカメラ、スマートフォン等で撮影して得られた複数の画像を集めて、複数のページからなるデジタルコンテンツ（以下「画像集」という）が作成され、楽しまれてきた。作成された画像集は、印刷して閲覧する以外に、表示デバイスに表示させて閲覧することができる。画像集は、「アルバム」、「ブック」、「コレクション」等と呼ばれる。用途や閲覧態様に応じて、「カレンダー」、「スライドショー」等と呼ばれる場合もある。

例えば、結婚式等のイベントで撮影して得られた複数の画像を、画像に付加された撮影日時情報に基づいてグループ化し、且つ各画像の画質を評価し、各グループごとに画質が良い画像を選択してテンプレート画像と合成することにより、画像集を作成する。

またオブジェクト認識を用いて画像を分類する技術が知られている。

特許文献１には、画像シェアリングに関し共有者が共有画像を利用し易くするため、オブジェクト認識を用いて複数の画像を被写体人物ごとのグループに分類することが記載されている。人物が写っていない画像は、人物が写っている画像との撮影日時の時間差が一定範囲（例えば２時間）内であれば、同じグループに分類される。

特許文献２には、複数の画像を撮影者にとって必要な画像と不要な画像とに分けるため、複数の画像を撮影場所及び撮影日時に基づいてグループ化し、且つ画像内のオブジェクトを認識して各オブジェクトの撮影頻度の時間的変化に基づいて撮影者と画像中のオブジェクトとの関連性の大小を判定することが記載されている。

特開２００９−２５９２３９号公報 特開２００８−１６５７０１号公報

所謂「式次第」等のタイムスケジュール情報のインプットが可能であって、イベントが時間的にタイムスケジュール情報の通りに進行したのであれば、タイムスケジュール情報と画像に付加された撮影日時情報とに基づいて、複数の画像を正確にシーン別に分類することができると考えられる。しかしながら、タイムスケジュール情報をインプットできない場合や、タイムスケジュール情報をインプットできてもイベントが時間的にタイムスケジュール情報の通りに進行しなかった場合には、複数の画像を正確にシーン別に分類することは、困難である。

またオブジェクト認識を用いて画像を分類する技術が知られているが、オブジェクト認識結果のみから自動的にイベント中のシーンに対応するグループを作成することは、現実的には難しい。特定シーン（例えば結婚式の挙式シーン）で撮影して得られた画像であっても、予め決められたオブジェクト（例えば十字架）が写っている画像だけとは限らず、各種のオブジェクトが写っている画像があるからである。

更にオブジェクト認識結果と画像に付加された属性情報との組み合わせに基づいて画像を分類する技術も知られているが、イベント中の特定シーンに対応する大グループを作成する技術ではない。例えば、特許文献１の技術は、被写体人物ごとのグループを作成することにより共有者が画像シェアリングを利用し易くする技術であり、特許文献２の技術は、撮影者と画像中のオブジェクトとの関連性の大小を判定して撮影者にとって必要な画像と不要な画像とに分ける技術であって、イベント中の特定のシーンに対応する大グループを作成できることにはならない。

以上のように、タイムスケジュール情報のインプットなしにイベント中の特定のシーンに対応する大グループを作成することは困難であり、またオブジェクト認識結果及び画像の属性情報のみからイベント中の特定のシーンに対応する大グループを作成する技術の開示は無い。

本発明は、タイムスケジュール情報のインプットなしに、イベントで撮影して得られた複数の画像からイベント中の特定のシーンに対応する大グループを作成することができる画像分類装置、画像分類方法及びプログラムを提供することを目的とする。

上述した目的を達成するため、本発明の第１の態様に係る画像分類装置は、特定のシーンを含むイベントで撮影された複数の画像を受け付ける画像受付部と、複数の画像を各画像の属性情報に基づいて分類し複数の小グループを作成する小グループ作成部と、複数の画像から特定のシーンに対応する第１のオブジェクトを認識するオブジェクト認識部と、複数の小グループのうち第１のオブジェクトが存在すると認識された画像を含む小グループを特定小グループと判定する特定小グループ判定部と、特定小グループを除く複数の小グループのうち特定小グループに関連する小グループである関連小グループを属性情報に基づいて判定する関連小グループ判定部と、特定小グループ及び関連小グループによって、特定のシーンに対応する大グループを作成する大グループ作成部と、を備える。

本態様によれば、各画像の属性情報に基づいて複数の小グループが作成され、且つ特定のシーンに対応する第１のオブジェクトが存在すると認識された画像を含む小グループが特定小グループと判定され、更に特定小グループを除く複数の小グループのうち特定小グループに関連する小グループである関連小グループが属性情報に基づいて判定されて、特定小グループ及び関連小グループによって特定のシーンに対応する大グループが作成されるので、イベントのタイムスケジュール情報のインプットなしに、イベントで撮影して得られた複数の画像から特定のシーンに対応する大グループを作成することができる。つまり、単に画像の属性情報に基づいて分類するだけの技術、被写体人物ごとに分類するだけの技術等の従来技術を適用しても、タイムスケジュール情報なしで特定シーンに対応する大グループを作成することができないが、本発明によれば、タイムスケジュール情報なしで、特定シーンに対応する大グループを作成することができる。

本発明の第２の態様に係る画像分類装置では、オブジェクト認識部は、第１のオブジェクトが存在すると認識された画像に、特定のシーンに非対応である第２のオブジェクトが存在するか否かを認識し、特定小グループ判定部は、第１のオブジェクトが存在すると認識された画像であっても第２のオブジェクトが存在すると認識された画像を含む小グループは特定小グループでないと判定する。

本発明の第３の態様に係る画像分類装置では、属性情報は、画像の撮影日時情報及び画像の撮影場所情報のうち少なくともいずれかを含む。

本発明の第４の態様に係る画像分類装置では、関連小グループ判定部は、特定小グループを除く複数の小グループのうち特定小グループ間に挟まれた小グループを関連小グループと判定する。

本発明の第５の態様に係る画像分類装置では、関連小グループ判定部は、特定小グループを除く複数の小グループのうち属性情報において特定小グループに近接する小グループを関連小グループと判定する。

本発明の第６の態様に係る画像分類装置は、複数のページからなる画像集のテンプレートを取得するテンプレート取得部と、複数のシーンのそれぞれに割り当てるページ数を決定するページ数決定部と、決定されたページ数に応じてシーンごとに大グループから画像を選択する画像選択部と、選択された画像をページごとにテンプレートに配置する画像配置部と、を備える。

本発明の第７の態様に係る画像分類装置では、ページ数決定部は、大グループ間の画像数の比に応じてシーンごとのページ数を決定する。

本発明の第８の態様に係る画像分類装置では、オブジェクト認識部は、画像中の非人物オブジェクト及び人物オブジェクトを認識し、画像選択部は、人物オブジェクトを含む画像の数と人物オブジェクトを含まない画像の数との比に応じて、画像の選択を行う。

本発明の第９の態様に係る画像分類装置は、オブジェクト認識部は、画像中の非人物オブジェクトの種類を認識し、画像選択部は、非人物オブジェクトの種類間における複数の画像にわたる登場回数の比に応じて、画像の選択を行う。

本発明の第１０の態様に係る画像分類装置は、複数の画像に登場する複数の人物間の相関関係を示す人物相関情報を取得する人物相関情報取得部と、複数の画像に登場する複数の人物のそれぞれを、オブジェクト認識部による人物オブジェクトの認識結果と人物相関情報とに基づいて判別する人物判別部と、を備える。

本発明の第１１の態様に係る画像分類装置では、画像選択部は、人物間における複数の画像にわたる登場回数の比に応じて、画像の選択を行う。

本発明の第１２の態様に係る画像分類方法は、特定のシーンを含むイベントで撮影された複数の画像を受け付けるステップと、複数の画像を各画像の属性情報に基づいて分類し複数の小グループを作成するステップと、複数の画像から特定のシーンに対応する第１のオブジェクトを認識するステップと、複数の小グループのうち第１のオブジェクトが存在すると認識された画像を含む小グループを特定小グループと判定するステップと、特定小グループを除く複数の小グループのうち特定小グループに関連する小グループである関連小グループを属性情報に基づいて判定するステップと、特定小グループ及び関連小グループによって、特定のシーンに対応する大グループを作成するステップと、を含む。

本発明の第１３の態様に係るプログラムは、特定のシーンを含むイベントで撮影された複数の画像を受け付けるステップと、複数の画像を各画像の属性情報に基づいて分類し複数の小グループを作成するステップと、複数の画像から特定のシーンに対応する第１のオブジェクトを認識するステップと、複数の小グループのうち第１のオブジェクトが存在すると認識された画像を含む小グループを特定小グループと判定するステップと、特定小グループを除く複数の小グループのうち特定小グループに関連する小グループである関連小グループを属性情報に基づいて判定するステップと、特定小グループ及び関連小グループによって、特定のシーンに対応する大グループを作成するステップと、をコンピュータに実行させる。

タイムスケジュール情報のインプットなしに、イベントで撮影して得られた複数の画像からイベント中の特定のシーンに対応する大グループを作成することができる。

図１は、本発明に係る画像分類装置が適用された画像合成装置の一例を示すブロック図である。 図２は、図１の画像合成装置における画像合成処理の概略を示すフローチャートである。 図３は、本発明に係る画像分類方法を適用した画像分類処理の一例の流れを示すフローチャートである。 図４は、ユーザから受け付けた複数の画像を撮影日時の順に並べて示す図である。 図５は、ユーザから受け付けた複数の画像を複数の小グループに分類したことを示す図である。 図６は、複数の小グループのうち特定小グループを判定したことを示す図である。 図７は、特定小グループ間に挟まれた小グループを関連小グループと判定したことを示す図である。 図８は、特定小グループに近接する小グループを関連小グループと判定したことを示す図である。 図９は、シーンごとの大グループを作成したことを示す図である。 図１０は、本発明に係る画像分類方法を適用した画像分類処理の他の例の流れを示すフローチャートである。 図１１は、図２のページ数決定処理例の流れを示すフローチャートである。 図１２は、図２の画像選択処理例の流れを示すフローチャートである。 図１３は、本発明に係る画像分類装置が適用された画像合成装置の他の例を示すブロック図である。

以下、添付図面に従って、本発明に係る画像分類装置、画像分類方法及びプログラムを実施するための形態について説明する。

図１は、本発明に係る画像分類装置が適用された画像合成装置の一例を示すブロック図である。

本例の画像合成装置１０は、コンピュータ装置によって構成される。コンピュータ装置の例として、パーソナルコンピュータ、タブレット端末、スマートフォンが挙げられる。これら以外のコンピュータ装置を用いてもよい。

画像合成装置１０は、複数の画像を受け付ける画像受付部１２と、テンプレートを取得するテンプレート取得部１４と、画像表示可能な表示部１６と、ユーザの指示を受け付ける指示受付部１８と、プログラム及びそのプログラムの実行に必要な情報を記憶する記憶部２０と、プログラムを実行するＣＰＵ(central processing unit)３０とを含んで構成される。

画像受付部１２及びテンプレート取得部１４は、デジタル信号を入力するデバイスによって構成することができる。このようなデバイスとして、例えば、無線通信又は有線通信を行う通信デバイスを用いることができる。メモリカード等の記憶媒体から画像を取得可能なデバイスを用いてもよい。

本例の画像受付部１２は、特定のシーンを含むイベントで撮影された複数の画像を受け付ける。

表示部１６は、液晶表示デバイス等の表示デバイスによって構成される。

指示受付部１８は、例えばタッチパネルによって構成することができる。キーボード及びマウスを用いてもよいし、他のユーザインタフェースを用いてもよい。音声入力デバイスを用いてもよい。

記憶部２０は、ＲＡＭ（random access memory）等の一時的記憶デバイス、及びＲＯＭ（read only memory）、ＥＥＰＲＯＭ（electrically erasable programmable read only memory）等の非一時的記憶デバイスによって構成される。プログラムは、非一時的記憶デバイスに記憶される。これら以外の非一時的記憶デバイスにプログラムを記憶してもよい。

ＣＰＵ３０は、画像受付部１２により受け付けられた複数の画像を画像解析し画像ごとの評価値を算出する画像評価部３２と、複数の画像を各画像の属性情報に基づいて分類し複数の小グループを作成する小グループ作成部３４と、複数の画像からイベント中の特定のシーンに対応する第１のオブジェクトを認識するオブジェクト認識部３６と、複数の小グループのうち第１のオブジェクトが存在すると認識された画像を含む小グループを特定小グループと判定する特定小グループ判定部３７と、特定小グループを除く複数の小グループのうち特定小グループに関連する小グループである関連小グループを属性情報に基づいて判定する関連小グループ判定部３８と、特定小グループ及び関連小グループによって、イベント中の特定のシーンに対応する大グループを作成する大グループ作成部３９と、複数のシーンのそれぞれに割り当てる画像集のページ数を決定するページ数決定部４２と、決定されたページ数に応じてイベント中のシーンごとに大グループから画像を選択する画像選択部４４と、選択された画像を画像集のページごとにテンプレートに配置する画像配置部４６と、指示受付部１８で受け付けられたユーザの指示に応じて画像集を編集する編集部４８と、表示部１６の表示を制御する表示制御部５０と、を含んで構成される。尚、特定小グループ判定部３７、関連小グループ判定部３８、及び大グループ作成部３９によって、画像分類部４０が構成される。

イベントは、予め順序が決められたシーンを含む。例えば、結婚イベントの場合、準備シーン、挙式シーン、披露宴シーン、披露宴後シーンが挙げられる。撮影が行われないシーンがあってもよい。披露宴シーンのみで撮影が行われてもよい。イベントのバリエーションは後述する。

画像の属性情報は、画像の撮影日時情報及び画像の撮影場所情報のうち少なくともいずれかを含む。本例の属性情報は、画像受付部１２により受け付けた各画像に付加されている。

第１のオブジェクトは、イベント中の複数シーンのうち特定シーン（例えば結婚イベント中の披露宴シーン）のみに対応する被写体像である。例えば、披露宴シーンで撮影された画像中の料理オブジェクト（食べ物オブジェクト及び飲み物オブジェクト）である。オブジェクトのバリエーションは後述する。

画像評価部３２は、例えば各画像の画質を評価する。例えば、画像の解像度、画像中のブレ、画像の明るさ等を評価する。

小グループ作成部３４は、画像の撮影日時情報及び画像の撮影場所情報のうち少なくともいずれかに基づいて、画像受付部１２により受け付けられた複数の画像を複数の小グループに分類する。小グループ作成のバリエーションは後述する。

オブジェクト認識部３６は、画像中に少なくとも第１のオブジェクトが存在するか否かを認識することができる。本例のオブジェクト認識部３６は、ディープラーニングによる学習の結果、各画像中に料理オブジェクトが存在するか否かを認識する。

特定小グループ判定部３７は、少なくとも画像中に第１のオブジェクトが存在する場合、その第１のオブジェクトの存在が認識された画像は特定のシーン（例えば披露宴シーン）で撮影された画像であって、その画像を含む小グループは特定のシーンに対応する特定小グループである、と判定する。特定小グループ判定のバリエーションは後述する。

関連小グループ判定部３８は、画像の撮影日時情報及び画像の撮影場所情報のうち少なくともいずれかに基づいて、特定小グループに関連する関連小グループを特定する。関連小グループ判定のバリエーションは後述する。

ページ数決定部４２によるページ数決定、画像選択部４４による画像選択、画像配置部４６による画像配置、編集部４８による画像編集、及び表示制御部５０による画像編集のための表示制御についての具体例は後述する。

図２は、図１の画像合成装置１０における画像合成処理の概略を示すフローチャートである。本処理は、ＣＰＵ３０により、記憶部２０に記憶されたプログラムに従って実行される。

まず、画像受付部１２により、イベントで撮影された複数の画像を受け付ける（ステップＳ２）。本例では、結婚イベントで撮影された複数の画像を受け付ける。

次に、画像評価部３２により、受け付けられた複数の画像が画像解析され、画像ごとの評価値が算出される（ステップＳ４）。

次に、小グループ作成部３４、オブジェクト認識部３６及び画像分類部４０（特定小グループ判定部３７、関連小グループ判定部３８及び大グループ作成部３９）により、受け付けられた複数の画像が、結婚イベント中のシーン（例えば、準備シーン、挙式シーン、披露宴シーン、及び披露宴後シーン）ごとに分類され、シーンごとのグループ（大グループ）が作成される（ステップＳ６）。本ステップの具体例は、後述する。

次に、ページ数決定部４２により、複数のシーンのそれぞれに割り当てる画像集のページ数が決定される（ステップＳ８）。

次に、テンプレート取得部１４により、画像集の各ページのレイアウトを示すテンプレートが取得される（ステップＳ１０）。

次に、画像選択部４４により、決定されたページ数に応じてシーンごとに、画像を選択する（ステップＳ１２）。

次に、画像配置部４６により、選択された画像がページごとにテンプレートに配置される（ステップＳ１４）。

次に、表示制御部５０により、表示部１６に編集画面が表示される（ステップＳ１６）。ここで、画像集のページごとに、選択された画像がテンプレートに配置された合成画像（「ページ画像」ともいう）が、ユーザに対して表示される。

次に、指示受付部１８により、ユーザから指示が受け付けられる（ステップＳ１８）。編集終了指示か否かを判定し（ステップＳ２０）、編集終了指示である場合には本処理を終了し、編集終了指示でない場合には、ユーザの指示に従って表示制御部５０による表示制御及び編集部４８による画像編集が行われ（ステップＳ２２）、ステップＳ１８に戻る。このように、ページごとの合成画像に対し、必要に応じてユーザの指示に応じた画像編集が行われる。

次に、図２の画像分類処理（ステップＳ６）の具体例について、説明する。図３は、本発明に係る画像分類方法を適用した画像分類処理の一例の流れを示すフローチャートである。

まず、小グループ作成部３４により、受け付けられた複数の画像を各画像の属性情報に基づいて分類し、複数の小グループを作成する（ステップＳ３２）。本例の属性情報は、画像の撮影日時情報を含む。図４は、ユーザから受け付けた複数の画像ＩＭＧを撮影日時ｔの順に並べて示す図である。本例では、各画像に付加されたＥｘｉｆ（exchangeable image file format）情報のうちの撮影日時情報に基づいて、図５に示すように、撮影日時が互いに近接した複数の画像ＩＭＧからなる各画像群によって、各小グループＳＧ（本例では「日時グループ」ともいう）が作成される。

次に、特定小グループ判定部３７により、図６に示すように、作成された複数の小グループＳＧのうち、披露宴シーンに対応する第１のオブジェクト（例えば料理オブジェクト）が存在すると認識された画像ＦＤを含む小グループＳＧを特定小グループＳＳＧと判定する（ステップＳ３４）。披露宴には必ず料理に関する食べ物及び飲み物が存在するので、複数の画像ＩＭＧのうち料理オブジェクトの存在が認識された画像ＦＤ（食べ物オブジェクト及び飲み物オブジェクトのうち少なくともいずれかを含む画像である）は、披露宴シーンの画像であると判定し、更にその判定された画像ＦＤが属する特定小グループＳＳＧにおける、他の画像（食べ物オブジェクト及び飲み物オブジェクトのいずれも存在が認識されなかった画像である）も、披露宴シーンの画像であると判定する。

尚、オブジェクト認識部３６による画像内に料理オブジェクトが存在するか否かの認識は、本ステップで行えばよいし、図２のステップＳ４（画像評価）で行ってもよい。

つまり、本発明は、先に小グループＳＧを作成し、その後に小グループＳＧごとに料理オブジェクトの認識を行って、小グループＳＧごとに料理オブジェクトが存在する画像ＦＤの有無を判定する場合に、限定されない。先に複数の画像ＩＭＧの各画像に料理オブジェクトが存在するか否かを認識し、その後に小グループＳＧを作成して、小グループＳＧごとに料理オブジェクトが存在する画像ＦＤの有無を判定してもよい。前者の場合、即ち小グループＳＧの作成後に小グループごとに料理オブジェクトの認識を行う場合には、各小グループＳＧに料理オブジェクトが存在すると認識された画像ＦＤが一枚でもあれば、その小グループ（特定小グループＳＳＧである）における他の画像はオブジェクト認識を省略可能となるので、処理速度の観点から好ましい。

次に、関連小グループ判定部３８により、図７に示すように、特定小グループＳＳＧを除く複数の小グループＳＧのうち、属性情報によって決まる順列において特定小グループＳＳＧ間に挟まれた小グループを、関連小グループＲＳＧと判定する（ステップＳ３６）。本例では、撮影日時情報に基づいて、特定小グループＳＳＧ（料理オブジェクトが存在すると認識された画像ＦＤを含む日時グループである）に、時系列で挟まれた非特定小グループ（料理オブジェクトが存在すると認識された画像ＦＤを含まない日時グループである）を、関連小グループＲＳＧであると判定する。つまり、披露宴シーンの画像によって構成されていると既に判定された日時グループ間に挟まれた他の日時グループも、披露宴シーンの画像によって構成されていると判定する。

次に、関連小グループ判定部３８により、図８に示すように、特定小グループＳＳＧを除く複数の小グループＳＧのうち、属性情報によって決まる順列において特定小グループＳＳＧに近接する小グループＳＧを、関連小グループＲＳＧと判定する（ステップＳ３８）。本例では、撮影日時情報に基づいて、特定小グループＳＳＧ（料理オブジェクトが存在すると認識された画像ＦＤを含む日時グループである）と比較して、撮影日時ｔが一定時間以内である非特定小グループ（料理オブジェクトが存在すると認識された画像ＦＤを含まない日時グループである）を、関連小グループＲＳＧと判定する。つまり、披露宴シーンの画像によって構成されていると既に判定された日時グループに近接する他の日時グループも、披露宴シーンの画像によって構成されていると判定する。

次に、大グループ作成部３９により、ステップＳ３４で判定された特定小グループＳＳＧと、ステップＳ３６及びステップＳ３８で判定された関連小グループＲＳＧとによって、披露宴シーンに対応する大グループ（以下「披露宴シーングループ」という）ＢＳＧが作成される（ステップＳ４０）。

次に、大グループ作成部３９により、属性情報によって決まる順列において披露宴シーングループよりも後の順番の全ての小グループＳＧによって、披露宴後のシーンに対応する大グループ（以下「披露宴後シーングループ」という）が作成される（ステップＳ４２）。本例では、「披露宴シーングループ」よりも撮影日時ｔが後の日時グループを「披露宴後シーングループ」に分類する。

次に、大グループ作成部３９により、「披露宴シーングループ」よりも前の全ての小グループＳＧの総撮影時間を算出し（ステップＳ４４）、その総撮影時間が平均挙式時間未満であるか否かを判定する（ステップＳ４６）。

総撮影時間が平均挙式時間未満である場合（ステップＳ４６でＹＥＳの場合）、「披露宴シーングループ」よりも前の全ての小グループによって「挙式シーングループ」を作成する（ステップＳ４８）。

総撮影時間が平均挙式時間以上である場合（ステップＳ４６でＮＯの場合）、披露宴シーングループよりも前の全ての小グループを、最も撮影日時ｔが離れている箇所で「準備シーングループ」と「挙式シーングループ」とに分ける（ステップＳ５０）。本例では、準備シーンが有る場合（ステップＳ４６でＮＯの場合）、図９に示すように、ユーザから受け付けた複数の画像ＩＭＧが、準備シーングループＰＳＧ、挙式シーングループＣＳＧ、披露宴シーングループＢＳＧ、及び披露宴後シーングループＦＳＧの四つの大グループに分類される。

図１０は、本発明に係る画像分類方法を適用した画像分類処理の他の例の流れを示すフローチャートである。図１０において、図３に示した画像分類処理の一例と同じ内容のステップには同じ符号を付してあり、既に説明した内容を以下では省略する。

本例のオブジェクト認識部３６は、披露宴シーンに対応する第１のオブジェクト（例えば料理オブジェクト）、及び披露宴シーンに非対応である第２のオブジェクト（以下「非対応オブジェクト」ともいう）を認識する。また、本例の特定小グループ判定部３７は、第１のオブジェクトが存在すると認識された画像ＦＤであっても、第２のオブジェクトが存在すると認識された画像を含む小グループＳＧは、特定小グループＳＳＧでないと判定する。従って、図１０のステップＳ１３４では、第１のオブジェクトが存在すると認識され且つ第２のオブジェクトが存在しないと認識された画像を含む小グループＳＧを、特定小グループＳＳＧと判定する。本例の特定小グループ判定部３７によれば、特定小グループＳＳＧの判定精度を向上させることができる。

第２のオブジェクトは、披露宴シーンに存在しない被写体である。例えば披露宴が屋内の場所であって且つ屋外が見えない場所（つまり屋外を撮影できない場所）で行われた場合、屋外に存在する被写体（例えば建物、山等）である屋外オブジェクトを、第２のオブジェクトとして用いることができる。

図１１は、図２のページ数決定処理（ステップＳ８）の一例の流れを示すフローチャートである。本処理は、ページ数決定部４２により行われる。

まず、準備シーンに、予め決定した固定数ページを割り当てる（ステップＳ６２）。例えば、準備シーンに、１見開きページを割り当てる。

次に、披露宴後シーンに、予め決定した固定数ページを割り当てる（ステップＳ６４）。例えば、披露宴後シーンにも、１見開きページを割り当てる。

次に、挙式シーングループＣＳＧの画像数と披露宴シーングループＢＳＧの画像数との比（以下「画像数比」という）を算出する（ステップＳ６６）。

次に、算出された画像数比に基づいて、挙式シーンのページ数及び披露宴シーンのページ数を決定する（ステップＳ６８）。つまり、画像集の全ページ数から準備シーンのページ数及び披露宴後シーンのページ数を引いた残りのページ数を、算出された画像数比に基づいて、挙式シーン及び披露宴シーンに割り当てる。ただし、画像数がゼロである大グループに対しては、ページを割り当てない。

尚、「ページ」の単位は、１見開きページ（例えば左ページと右ページとで１見開きページ）としてもよいし、片ページ（例えば左ページだけで１ページ、右ページだけで１ページ）としてもよい。

以上のようにページ数決定部４２によりシーンごとに画像集のページが割り当てられることにより、ページ内に複数シーンの画像が混在しなくなる。

図１２は、図２の画像選択処理（ステップＳ１２）の一例の流れを示すフローチャートである。本処理は、画像選択部４４により、シーンごとに行うことができる。

まず、人物オブジェクトを含む画像（以下「人物画像」という）の数と、人物オブジェクトを含まず且つ非人物オブジェクトを含む画像（以下「非人物画像」という）の数との比（以下「人物画像比」又は「非人物画像比」という）を算出する（ステップＳ８２）。人物画像比は、人物画像数：非人物画像数として求めてよいが、人物画像数／全画像数と非人物画像数／全画像数とに分けて求めてもよい。

次に、算出された人物画像比が、予め決められた上限値を超えたか否かを判定する（ステップＳ８４）。つまり、人物画像に偏っているか否か（或いは非人物画像に偏っているか否か）が、判定される。人物画像比が上限値を超えた場合（ステップＳ８４でＹＥＳの場合）、上限値に応じて人物画像を選択する（ステップＳ８６）。人物画像比が上限値を超えていない場合（ステップＳ８４でＮＯの場合）、人物画像比に応じて人物画像が選択される（ステップＳ８８）。

次に、非人物オブジェクトごとの採用比率が指定されているか否かを判定する（ステップＳ９０）。例えば、「料理」の採用比率、「花」の採用比率等、非人物オブジェクトごとの採用比率の指定を指示受付部１８により受け付けておくことができる。

非人物オブジェクトごとの採用比率の指定がある場合（ステップＳ９０でＹＥＳの場合）、ステップＳ８２で算出された比（人物画像比又は非人物画像比）と、指定された非人物オブジェクトごとの採用比率とに応じて、非人物画像を選択する（ステップＳ９２）。例えば、ステップＳ８２で「人物画像数：非人物画像数＝６０％：４０％」と算出され、且つ「料理２０％」と指定された場合、画像集のシーンごとのページのうち「２０％」を料理画像に割り当てる。例えば、ステップＳ８２で「人物画像数：非人物画像数＝６０％：４０％」と算出され、且つ「料理５０％」と指定された場合、画像集のシーンごとのページのうち「４０％」以下を、料理画像に割り当てる。尚、算出された人物画像比（又は非人物画像比）と指定された非人物オブジェクトごとの採用比率との関係は、適宜決めておけばよい。

非人物オブジェクトごとの採用比率の指定がない場合（ステップＳ９０でＮＯの場合）、非人物オブジェクトごとの比を算出し（ステップＳ９４）、算出された非人物オブジェクトごとの比に応じて、非人物画像を選択する（ステップＳ９６）。例えば、ステップＳ９４で全画像中「料理２０％」と算出された場合、画像集のシーンごとのページのうち「２０％」を料理画像に割り当てる。

以上のように、本例の画像選択部４４は、非人物オブジェクトの種類間における複数の画像にわたる登場回数の比に応じて、画像の選択を行う。

図１３は、本発明に係る画像分類装置が適用された画像合成装置の他の例を示すブロック図である。尚、図１に示した画像合成装置１０と同じ構成要素には同じ符号を付してあり、以下では説明を省略する。

本例の画像合成装置１００は、人物相関情報取得部２２及び人物判別部６２を備える。

人物相関情報取得部２２は、複数の画像に登場する複数の人物間の相関関係を示す人物相関情報を取得する。

人物判別部６２は、複数の画像に登場する複数の人物のそれぞれを、オブジェクト認識部３６による人物オブジェクトの認識結果と、人物相関情報取得部２２によって取得された人物相関情報とに基づいて判別する。

本例の画像選択部４４は、人物間における複数の画像にわたる登場回数の比に応じて、画像の選択を行う。

＜バリエーション＞
各種のバリエーションについて、説明する。

≪イベント≫
本発明は、特にシーンの順序が予め決まっているイベントに、有効である。

前述の実施形態では結婚イベントを例に説明したが、例えば、卒業式、運動会等であってもよい。

≪オブジェクト≫
特定のシーンに対応する第１のオブジェクト、及び特定のシーンに非対応である第２のオブジェクトは、各種ある。

前述の実施形態では、第１のオブジェクトが「披露宴シーン」に対応する「料理オブジェクト」である場合を例に説明し、また第２のオブジェクトが屋内の「披露宴シーン」に非対応である「屋外オブジェクト」である場合を例に説明したが、本発明はこれらの場合に限定されない。

第１のオブジェクト及び第２のオブジェクトは、非人物オブジェクトに限定されず、人物オブジェクトでもよい。例えば、結婚イベントの「挙式シーン」に対応する第１のオブジェクトとして、神父、神主等の人物オブジェクトを認識してもよい。また、結婚式の「披露宴シーン」に非対応である第２のオブジェクトとして、神父、神主等の人物オブジェクトを認識してもよい。

また、第１のオブジェクト及び第２のオブジェクトは、複数のオブジェクトの組み合わせである場合を含む。例えば、人物オブジェクトとして新郎、新婦、及び神父の人物三名と、非人物オブジェクトとして十字架との組み合わせを、「挙式シーン」に対応する第１オブジェクト、或いは「披露宴シーン」に非対応である第２オブジェクトとしてよい。

≪小グループ作成≫
属性情報に基づく小グループの作成には、各種の態様がある。

前述の実施形態では、撮影日時情報に基づいて、撮影日時が互いに近接した複数の画像を小グループ化する場合を例に説明したが、本発明はこのような場合に限定されない。

例えば、撮影場所情報に基づいて、撮影場所が同じ又は近接した複数の画像を小グループ化してもよい。

≪特定小グループ判定≫
オブジェクト認識結果に基づく特定小グループの判定には、各種の態様がある。

前述の実施形態では、第１のオブジェクトとして１種類のオブジェクト（例えば料理オブジェクト）を対象にオブジェクト認識する場合を例に説明したが、本発明はこのような場合に限定されない。

第１のオブジェクト及び第２のオブジェクトには各種あり、また第１のオブジェクト及び第２のオブジェクトをそれぞれ１種類ずつに限定する必要はないので、複数種類のオブジェクトを対象に総合的なオブジェクト認識を行うことにより、グループ化の精度を向上させることができる。

また、オブジェクト認識のエンジンとして例えばディープラーニングのような人工知能を採用することにより、予め多様なパラメータを用意しなくても、更に多様なオブジェクト認識ができるようになり、グループ化の精度も更に向上することが期待される。

また、人工知能を用いないで、簡易な画像処理によりオブジェクト認識を行ってもよい。例えば、予め記憶した情報とのマッチングにより、オブジェクト認識を行ってもよい。

≪関連小グループ判定≫
属性情報に基づく関連小グループの判定には、各種の態様がある。

前述の実施形態では、撮影日時情報に基づいて、特定小グループに時系列で挟まれた小グループ、及び特定小グループに時系列で近接する小グループを、関連小グループであると判定する場合を例に説明したが、本発明はこれらの場合に限定されない。

例えば、撮影場所情報に基づいて、撮影場所が特定小グループと同じ場所及び近接した場所である小グループを、関連小グループであると判定してもよい。

また、撮影日時情報に基づいて小グループを作成し、撮影場所情報に基づいて関連小グループを判定してもよい。また、撮影日時情報及び撮影場所情報の組み合わせに基づいて、関連小グループの判定を行ってよい。撮影日時情報に基づいて時系列で特定小グループに挟まれた小グループを関連小グループと判定し、更に撮影場所情報に基づいて撮影場所が特定小グループと同じ又は近接する小グループも関連小グループであると判定してもよい。

以上、本発明を実施するための形態に関して説明してきたが、本発明は上述した実施形態及び変形例に限定されず、本発明の主旨を逸脱しない範囲で種々の変形が可能である。

１０ 画像合成装置
１２ 画像受付部
１４ テンプレート取得部
１６ 表示部
１８ 指示受付部
２０ 記憶部
２２ 人物相関情報取得部
３０ ＣＰＵ
３２ 画像評価部
３４ 小グループ作成部
３６ オブジェクト認識部
３７ 特定小グループ判定部
３８ 関連小グループ判定部
３９ 大グループ作成部
４０ 画像分類部
４２ ページ数決定部
４４ 画像選択部
４６ 画像配置部
４８ 編集部
５０ 表示制御部
６２ 人物判別部
１００ 画像合成装置
ＢＳＧ 披露宴シーングループ
ＣＳＧ 挙式シーングループ
ＦＤ 第１のオブジェクトが存在すると認識された画像
ＦＳＧ 披露宴後シーングループ
ＩＭＧ 画像
ＰＳＧ 準備シーングループ
ＲＳＧ 関連小グループ
ＳＧ 小グループ
ＳＳＧ 特定小グループ
ｔ 撮影日時

Claims (13)

1. 特定のシーンを含むイベントで撮影された複数の画像を受け付ける画像受付部と、
   前記複数の画像を各前記画像の属性情報に基づいて分類し複数の小グループを作成する小グループ作成部と、
   前記複数の画像から前記特定のシーンに対応する第１のオブジェクトを認識するオブジェクト認識部と、
   前記複数の小グループのうち前記第１のオブジェクトが存在すると認識された画像を含む前記小グループを特定小グループと判定する特定小グループ判定部と、
   前記特定小グループを除く前記複数の小グループのうち前記特定小グループに関連する前記小グループである関連小グループを前記属性情報に基づいて判定する関連小グループ判定部と、
   前記特定小グループ及び前記関連小グループによって、前記特定のシーンに対応する大グループを作成する大グループ作成部と、
   を備える画像分類装置。
2. 前記オブジェクト認識部は、前記第１のオブジェクトが存在すると認識された前記画像に、前記特定のシーンに非対応である第２のオブジェクトが存在するか否かを認識し、
   前記特定小グループ判定部は、前記第１のオブジェクトが存在すると認識された前記画像であっても前記第２のオブジェクトが存在すると認識された前記画像を含む前記小グループは前記特定小グループでないと判定する、
   請求項１に記載の画像分類装置。
3. 前記属性情報は、前記画像の撮影日時情報及び前記画像の撮影場所情報のうち少なくともいずれかを含む、
   請求項１または２に記載の画像分類装置。
4. 前記関連小グループ判定部は、前記特定小グループを除く前記複数の小グループのうち前記特定小グループ間に挟まれた前記小グループを前記関連小グループと判定する、
   請求項１から３のうちいずれか一項に記載の画像分類装置。
5. 前記関連小グループ判定部は、前記特定小グループを除く前記複数の小グループのうち前記属性情報において前記特定小グループに近接する前記小グループを前記関連小グループと判定する、
   請求項４に記載の画像分類装置。
6. 複数のページからなる画像集のテンプレートを取得するテンプレート取得部と、
   前記複数のシーンのそれぞれに割り当てるページ数を決定するページ数決定部と、
   前記決定されたページ数に応じて前記シーンごとに前記大グループから画像を選択する画像選択部と、
   前記選択された画像を前記ページごとに前記テンプレートに配置する画像配置部と、
   を備える請求項１から５のうちいずれか一項に記載の画像分類装置。
7. 前記ページ数決定部は、前記大グループ間の画像数の比に応じて前記シーンごとのページ数を決定する、
   請求項６に記載の画像分類装置。
8. 前記オブジェクト認識部は、前記画像中の非人物オブジェクト及び人物オブジェクトを認識し、
   前記画像選択部は、前記人物オブジェクトを含む前記画像の数と前記人物オブジェクトを含まない前記画像の数との比に応じて、前記画像の選択を行う、
   請求項６または７に記載の画像分類装置。
9. 前記オブジェクト認識部は、前記画像中の非人物オブジェクトの種類を認識し、
   前記画像選択部は、前記非人物オブジェクトの種類間における前記複数の画像にわたる登場回数の比に応じて、前記画像の選択を行う、
   請求項６から８のうちいずれか一項に記載の画像分類装置。
10. 前記複数の画像に登場する複数の人物間の相関関係を示す人物相関情報を取得する人物相関情報取得部と、
    前記複数の画像に登場する複数の人物のそれぞれを、前記オブジェクト認識部による人物オブジェクトの認識結果と前記人物相関情報とに基づいて判別する人物判別部と、
    を備える請求項６から９のうちいずれか一項に記載の画像分類装置。
11. 前記画像選択部は、前記人物間における前記複数の画像にわたる登場回数の比に応じて、前記画像の選択を行う、
    請求項１０に記載の画像分類装置。
12. 特定のシーンを含むイベントで撮影された複数の画像を受け付けるステップと、
    前記複数の画像を各前記画像の属性情報に基づいて分類し複数の小グループを作成するステップと、
    前記複数の画像から前記特定のシーンに対応する第１のオブジェクトを認識するステップと、
    前記複数の小グループのうち前記第１のオブジェクトが存在すると認識された画像を含む前記小グループを特定小グループと判定するステップと、
    前記特定小グループを除く前記複数の小グループのうち前記特定小グループに関連する前記小グループである関連小グループを前記属性情報に基づいて判定するステップと、
    前記特定小グループ及び前記関連小グループによって、前記特定のシーンに対応する大グループを作成するステップと、
    を含む画像分類方法。
13. 特定のシーンを含むイベントで撮影された複数の画像を受け付けるステップと、
    前記複数の画像を各前記画像の属性情報に基づいて分類し複数の小グループを作成するステップと、
    前記複数の画像から前記特定のシーンに対応する第１のオブジェクトを認識するステップと、
    前記複数の小グループのうち前記第１のオブジェクトが存在すると認識された画像を含む前記小グループを特定小グループと判定するステップと、
    前記特定小グループを除く前記複数の小グループのうち前記特定小グループに関連する前記小グループである関連小グループを前記属性情報に基づいて判定するステップと、
    前記特定小グループ及び前記関連小グループによって、前記特定のシーンに対応する大グループを作成するステップと、
    をコンピュータに実行させるプログラム。

Images