JP7459345B2 - 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム - Google Patents

Description

本開示の技術は、画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムに関する。

従来、特許文献１に記載されているように、画像から特定の人物の顔を含む領域を切り出すトリミングが行われている。特許文献１では、ユーザ（画像の撮影者）およびその関係者といった特定の人物の顔画像が予め登録されている。そして、トリミング対象の画像に含まれる顔と、予め登録された顔画像とを比較することで、トリミング対象の画像に含まれる特定の人物の顔を抽出している。特許文献１では、抽出した特定の人物の顔の位置に合わせて、トリミング対象の画像に対してトリミングを行っている。特許文献１において、トリミング対象の画像は、ユーザ本人が撮影した画像である。

特開２００７－２７２６８５号公報

ところで、最近、撮影した画像を複数のユーザがネットワーク上の画像配信サーバにアップロードし、アクセス権限を与えたユーザグループ内で、アップロードした画像の閲覧、写真プリント等を許可するサービスが行われている。ユーザグループを構成する複数のユーザは、例えば運動会、パーティー、結婚式、発表会、コンサート、スポーツの試合といった、共通するイベントの参加者である。

こうしたサービスの提供者によれば、例えば、ユーザグループの１人である第１ユーザに対して、第１ユーザとは異なる第２ユーザが撮影した画像（以下、第２ユーザ画像という）の中から、お勧めの画像を提供することで、使い勝手をよくして多くのユーザをサービスに呼び込みたいという要望がある。また、カップル、夫婦、家族、クラブ、サークル等を構成するユーザに対して、例えば第１ユーザ自身といった１人の特定の人物が含まれている画像ではなく、例えば第１ユーザとその家族といった複数人の特定の人物が含まれている、より付加価値の高い画像をお勧めの画像として提示することで、同様に多くのユーザをサービスに呼び込みたいという要望もある。

第２ユーザ画像は、当然ながら第１ユーザ用に撮影された画像ではない。このため、第２ユーザ画像には、第１ユーザの特定の人物の顔だけでなく、第２ユーザの特定の人物の顔も含まれている確率が非常に高い。つまり、第２ユーザ画像は、そのままでは第１ユーザにとって価値が低い画像ともいえる。こうした第２ユーザ画像を、より付加価値の高いお勧め画像として第１ユーザに提示する技術が切望されていた。

本開示の技術は、第２ユーザに帰属する画像から、第１ユーザの関連人物情報に基づいて切り出した画像を、第１ユーザに提示することが可能な画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムを提供することを目的とする。

上記目的を達成するために、本開示の画像処理装置は、少なくとも１つのプロセッサを備え、プロセッサは、第１ユーザに帰属し、かつ顔が含まれた第１ユーザ画像を元に、第１ユーザに関連する関連人物の情報である関連人物情報を作成し、第１ユーザとは異なる第２ユーザに帰属する第２ユーザ画像を取得し、関連人物情報に基づいて、関連人物の顔が含まれている第２ユーザ画像を抽出し、関連人物の顔が含まれている第２ユーザ画像から、関連人物の顔を含む領域を切り出す。

本開示の画像処理装置の作動方法は、第１ユーザに帰属し、かつ顔が含まれた第１ユーザ画像を元に、第１ユーザに関連する関連人物の情報である関連人物情報を作成する情報作成ステップと、第１ユーザとは異なる第２ユーザに帰属する第２ユーザ画像を取得する画像取得ステップと、関連人物情報に基づいて、関連人物の顔が含まれている第２ユーザ画像を抽出する抽出ステップと、関連人物の顔が含まれている第２ユーザ画像から、関連人物の顔を含む領域を切り出すトリミングステップと、を備える。

本開示の画像処理装置の作動プログラムは、第１ユーザに帰属し、かつ顔が含まれた第１ユーザ画像を元に、第１ユーザに関連する関連人物の情報である関連人物情報を作成する情報作成部と、第１ユーザとは異なる第２ユーザに帰属する第２ユーザ画像を取得する画像取得部と、関連人物情報に基づいて、関連人物の顔が含まれている第２ユーザ画像を抽出する抽出部と、関連人物の顔が含まれている第２ユーザ画像から、関連人物の顔を含む領域を切り出すトリミング部として、コンピュータを機能させる。

本開示の技術によれば、第２ユーザに帰属する画像から、第１ユーザの関連人物情報に基づいて切り出した画像を、第１ユーザに提示することが可能な画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムを提供することができる。

画像配信サーバと、画像配信サーバに接続される各種装置とを示す図である。 画像ＤＢおよびユーザ情報ＤＢの内部を示す図である。 共有フォルダの成り立ちを説明するための図である。 画像ファイルを示す図である。 ユーザ基本情報を示す図である。 関連人物情報を示す図である。 画像配信サーバおよびユーザ端末を構成するコンピュータを示すブロック図である。 画像配信サーバのＣＰＵの処理部を示すブロック図である。 情報作成部により実行される情報作成処理の手順を示すフローチャートである。 情報作成部により実行される情報作成処理の説明図である。 情報作成部により実行される情報作成処理の説明図である。 抽出部により実行される抽出処理の手順を示すフローチャートである。 抽出部により実行される抽出処理の説明図である。 抽出部により実行される抽出処理の説明図である。 第１顔配置マップを示す図である。 第２顔配置マップを示す図である。 第３顔配置マップを示す図である。 第４顔配置マップを示す図である。 トリミング部により実行されるトリミング処理の手順を示すフローチャートである。 トリミング部により実行されるトリミング処理の手順を示すフローチャートである。 トリミング部により実行されるトリミング処理の説明図である。 トリミング部により実行されるトリミング処理の説明図である。 トリミング部により実行されるトリミング処理の説明図である。 トリミング部により実行されるトリミング処理の説明図である。 トリミング部により実行されるトリミング処理の説明図である。 お勧め画像情報の内容を示す図である。 ユーザ端末のＣＰＵの処理部を示すブロック図である。 画像表示画面を示す図である。 お勧め画像情報表示画面を示す図である。 画像配信サーバの処理手順を示すフローチャートである。 画像配信サーバの処理手順を示すフローチャートである。 トリミング部により実行されるトリミング処理の別の例の説明図である。 お勧め画像情報の内容の別の例を示す図である。 第２実施形態において情報作成部により実行される情報作成処理の説明図である。 第２実施形態において情報作成部により実行される情報作成処理の別の例の説明図である。 特定の期間毎に関連人物情報を作成する態様を示す図である。 関連人物以外の人物の顔に係るスコアを、関連人物の顔に係るスコアの正負とは逆の値で算出する第３実施形態を示す図である。 第３実施形態の効果を説明するための図であり、図３８Ａは、関連人物以外の人物の顔に係るスコアを、関連人物の顔に係るスコアの正負とは逆の値で算出しない場合の切り出し画像、図３８Ｂは、関連人物以外の人物の顔に係るスコアを、関連人物の顔に係るスコアの正負とは逆の値で算出する場合の切り出し画像をそれぞれ示す。 関連人物の顔の数と、関連人物以外の人物の顔の数を合計した数に応じて、使用する顔配置マップを選択する態様を示す図である。 顔あり画像を元に顔配置マップを作成する第４実施形態の概要を示す図である。 マップ作成部により実行されるマップ作成処理の手順を示すフローチャートである。 マップ作成部により実行されるマップ作成処理の手順を示すフローチャートである。 マップ作成部により実行されるマップ作成処理の説明図である。 マップ作成部により実行されるマップ作成処理の説明図である。 マップ作成部により実行されるマップ作成処理の手順の別の例を示すフローチャートである。 マップ作成部により実行されるマップ作成処理の別の例の説明図である。

［第１実施形態］
図１において、本開示の技術に係る「画像処理装置」の一例である画像配信サーバ１０には、複数台のユーザ端末１１が接続されている。ユーザ端末１１は、複数のユーザ１２が各々所持する端末である。画像配信サーバ１０とユーザ端末１１とは、ネットワーク１３を介して接続されている。ネットワーク１３は、例えばインターネット、公衆通信網等のＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）である。画像配信サーバ１０において、ユーザ１２は、例えば、ユーザ１２毎に付与されるユーザＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｄａｔａ）によって識別される。なお、１つのユーザＩＤを複数のユーザ１２で使用している場合は、１つのユーザＩＤに対応する複数のユーザ１２を１人のユーザ１２としてもよい。また、ユーザ端末１１は、例えば、各ユーザＩＤに対応付けられた端末装置である。なお、１つのユーザＩＤに対して対応付けられるユーザ端末１１は複数であってもよい。

ユーザ端末１１は、画像３６（図４参照）の画像ファイル２７（図２参照）をネットワーク１３経由で送受信する機能を有している。また、ユーザ端末１１は、画像３６を表示する機能を有している。ユーザ端末１１は、例えばパーソナルコンピュータであり、デジタルカメラ１５等の撮影装置で撮影した画像３６、あるいはフイルム写真等をスキャナ１６で読み取った画像３６を取り込んで、取り込んだ画像３６の画像ファイル２７を、ネットワーク１３経由で画像配信サーバ１０にアップロードする。また、ユーザ端末１１は、例えば撮影装置を内蔵するスマートフォン、タブレット端末等であり、撮影装置で撮影した画像３６の画像ファイル２７を、ネットワーク１３経由で画像配信サーバ１０にアップロードする。

画像配信サーバ１０には、例えばＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワーク（図示省略）を介して、画像データベース（以下、ＤＢ（Ｄａｔａ Ｂａｓｅ）と略す）サーバ２０およびユーザ情報ＤＢサーバ２１が接続されている。画像配信サーバ１０は、ユーザ端末１１からの画像ファイル２７を画像ＤＢサーバ２０に送信する。画像ＤＢサーバ２０は画像ＤＢ２２を有する。画像ＤＢサーバ２０は、画像配信サーバ１０からの画像ファイル２７を画像ＤＢ２２に蓄積して管理する。また、画像ＤＢサーバ２０は、画像配信サーバ１０からの要求に応じて、画像ＤＢ２２に蓄積された画像ファイル２７を画像配信サーバ１０に送信する。

画像配信サーバ１０は、ユーザ１２に関する情報であるユーザ情報３０（図２参照）をユーザ情報ＤＢサーバ２１に送信する。ユーザ情報ＤＢサーバ２１はユーザ情報ＤＢ２３を有する。ユーザ情報ＤＢサーバ２１は、画像配信サーバ１０からのユーザ情報３０をユーザ情報ＤＢ２３に蓄積して管理する。また、ユーザ情報ＤＢサーバ２１は、画像配信サーバ１０からの要求に応じて、ユーザ情報ＤＢ２３に蓄積されたユーザ情報３０のうちの後述する関連人物情報３２を画像配信サーバ１０に送信する。なお、画像配信サーバ１０は、画像ＤＢサーバ２０およびユーザ情報ＤＢサーバ２１と、ネットワーク１３を介して接続されてもよい。また、画像ＤＢサーバ２０とユーザ情報ＤＢサーバ２１とは、画像ＤＢ２２およびユーザ情報ＤＢ２３の両方を有する１つのＤＢサーバであってもよい。さらに、画像配信サーバ１０は、画像ＤＢサーバ２０およびユーザ情報ＤＢサーバ２１を含んでもよい。言い換えると、本開示の技術に係る「画像処理装置」は、画像配信サーバ１０、画像ＤＢサーバ２０、およびユーザ情報ＤＢサーバ２１で構成されてもよい。

図２に示すように、画像ＤＢ２２には、個人フォルダ２５と共有フォルダ２６とが設けられている。個人フォルダ２５は、各々のユーザ１２に対して個別に対応付けられる、１人のユーザ１２に固有のフォルダである。このため、個人フォルダ２５はユーザ１２の人数分設けられている。個人フォルダ２５には、各ユーザ１２のユーザ端末１１からアップロードされた画像ファイル２７が格納される。画像ファイル２７には、後述するように画像３６が含まれる。このため、個人フォルダ２５には、各ユーザ１２に帰属する画像３６が格納される。つまり、「ユーザに帰属する画像」は、各ユーザ１２に対応付けられた画像３６であり、例えば、ユーザ１２のユーザ端末１１から画像配信サーバ１０に送信された画像ファイル２７に含まれる画像３６である。言い換えると、画像配信サーバ１０がユーザ端末１１から受信した画像フィイル２７に含まれる画像３６である。「ユーザに帰属する画像」は、例えば、ユーザ１２が撮影装置で撮影した画像３６、およびユーザ１２がスキャナ１６で読み取った画像３６が含まれる。加えて、「ユーザに帰属する画像」には、ユーザ１２が友達、家族等の他のユーザ１２から譲渡された画像３６、ユーザ１２がインターネットサイトでダウンロードした画像３６等も含まれる。

画像ＤＢ２２に含まれる個人フォルダ２５には、ユーザＩＤが対応付けられており、例えば、「個人フォルダ」の後の「（Ｕ１）」で示される。また、「個人フォルダ（Ｕ１）」とは、ユーザＩＤが「Ｕ１」のユーザ１２の個人フォルダ２５、という意である。つまり、「ユーザに帰属する画像」は、各ユーザ１２のユーザＩＤに対応付けられる画像３６を示す。

図３にも示すように、共有フォルダ２６は、個人フォルダ２５とは異なり、複数のユーザ１２で構成されるユーザグループ２８によって共有されるフォルダである。このため、共有フォルダ２６には、当該共有フォルダ２６を共有する複数のユーザ１２のユーザＩＤが対応付けられている。共有フォルダ２６には、ユーザＩＤが対応付けられたユーザ１２にのみアクセス権限が与えられる。共有フォルダ２６には、複数のユーザ１２から画像３６の画像ファイル２７が格納される。共有フォルダ２６は、例えば、イベント毎に作成されてもよい。また、共有フォルダ２６は、例えば、イベント毎に複数のユーザ１２のいずれか１人によって手動で作成されてもよいし、ユーザ１２から送信された画像３６を画像解析することによって、各画像３６に対応するイベントを特定することで自動的に作成されてもよい。共有フォルダ２６には、複数のユーザ１２が対応付けられる。共有フォルダ２６に対応付けられる複数のユーザ１２は、例えば、共有フォルダ２６に対応付けられるユーザ１２のうちの特定の管理ユーザによって設定されてもよいし、共有フォルダ２６に対応付けられるイベントもしくは画像３６に類似する画像３６を有するユーザ１２が自動的に設定されてもよい。イベントは、例えば運動会、パーティー、結婚式、発表会、コンサート、スポーツの試合等である。

図３では、イベント「結婚式１」に参加した、ユーザＩＤ「Ｕ５」、「Ｕ１０」、「Ｕ１５」等の複数のユーザ１２が、「共有フォルダ（結婚式１）」と名付けられた共有フォルダ２６に、自身に帰属する画像３６の画像ファイル２７をアップロードする様子を示している。なお、共有フォルダ２６は、例えば、ユーザグループ２８を構成する複数のユーザ１２のうちの１人のユーザ１２によって作成される。イベントの主催者によって共有フォルダ２６が作成されてもよい。なお、共有フォルダ２６の名称は、本実施形態においては、ユーザ１２もしくは画像配信サーバ１０によって共有フォルダ２６に関連付けられたイベント名としているが、これに限らない。共有フォルダ２６の各々を識別する識別番号もしくは管理番号を、共有フォルダ２６の名称としてもよい。

ユーザ情報ＤＢサーバ２１には、ユーザ情報３０として、ユーザ基本情報３１および関連人物情報３２が記憶されている。ユーザ基本情報３１は、各ユーザ１２の基本的な情報である。関連人物情報３２は、各ユーザ１２に関連する関連人物４５（図６参照）の情報である。これらユーザ基本情報３１および関連人物情報３２と、個人フォルダ２５とは、ユーザＩＤによって互いに関連付けられている。なお、「ユーザ基本情報（Ｕ１）」および「関連人物情報（Ｕ１）」とは、「個人フォルダ（Ｕ１）」と同様に、ユーザＩＤが「Ｕ１」のユーザ１２のユーザ基本情報３１および関連人物情報３２、という意である。

図４に示すように、画像ファイル２７は、画像情報３５、画像３６、およびユーザＩＤを含む。画像情報３５は、各画像３６を識別するための画像ＩＤ、画像３６の撮影日時、撮影場所、解像度、タグ等の項目を有する。撮影場所の項目には、撮影装置のＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）機能により検出された経緯度が記録される。解像度の項目には、撮影装置に搭載される撮像素子の画素の水平方向および垂直方向のｄｐｉ（ｄｏｔｓ ｐｅｒ ｉｎｃｈ）が記録される。タグの項目には、画像３６の被写体を端的に表す単語が記録される。タグは、ユーザ１２の手入力、および／または、画像３６の解析により得られる。画像情報３５は、これらの他にも、画像３６を撮影した撮影装置の機種、画像３６の水平方向および垂直方向の画素数、露出値、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）感度、焦点距離、フラッシュの有無等々、様々な項目を有する。

図５に示すように、ユーザ基本情報３１には、ユーザＩＤ、ユーザ１２の氏名、性別、生年月日、年齢、居所、共有フォルダ、顔画像等の項目を有する。居所の項目には、ユーザ１２が居住している都道府県が記録される。共有フォルダの項目には、ユーザＩＤが登録されていて、アクセス権限を有している共有フォルダ２６が記録される。顔画像の項目には、ユーザ１２の顔画像４０が記録される。ユーザ１２の顔画像４０は、例えばユーザ１２が自ら登録する。なお、本明細書において「顔」とは、例えば、頭、耳、目、鼻、口、頬、顎等を含む人体の領域である。

図６に示すように、関連人物情報３２は、ユーザＩＤ、および関連人物４５の顔画像４０を含む。関連人物４５の顔画像４０は、代表的な１枚であってもよいし、複数枚であってもよい。

関連人物４５は、メイン人物４５Ｍとサブ人物４５Ｓとを含む。メイン人物４５Ｍは、当該ユーザＩＤのユーザ１２との関連性が相対的に高い人物である。サブ人物４５Ｓは、当該ユーザＩＤのユーザ１２との関連性が、メイン人物４５Ｍよりも低い人物である。この関連人物４５をメイン人物４５Ｍとサブ人物４５Ｓとに振り分ける態様は、本開示の技術に係る「第１ユーザとの関連性の高低を示す関連ランクを関連人物毎に付与」する態様の一例である。

図７において、画像配信サーバ１０およびユーザ端末１１を構成するコンピュータは、基本的には同じ構成であり、ストレージデバイス５０、メモリ５１、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５２、通信部５３、ディスプレイ５４、および入力デバイス５５を備えている。これらはバスライン５６を介して相互接続されている。

ストレージデバイス５０は、画像配信サーバ１０およびユーザ端末１１を構成するコンピュータに内蔵、またはケーブル、ネットワークを通じて接続されたハードディスクドライブである。もしくはストレージデバイス５０は、ハードディスクドライブを複数台連装したディスクアレイである。ストレージデバイス５０には、オペレーティングシステム等の制御プログラム、各種アプリケーションプログラム（以下、ＡＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍ）と略す）、およびこれらのプログラムに付随する各種データ等が記憶されている。なお、ハードディスクドライブに代えてソリッドステートドライブを用いてもよい。また、画像ＤＢサーバ２０、または、ユーザ情報ＤＢサーバ２１の少なくとも一方が、ストレージデバイス５０に含まれてもよい。

メモリ５１は、ＣＰＵ５２が処理を実行するためのワークメモリである。ＣＰＵ５２は、ストレージデバイス５０に記憶されたプログラムをメモリ５１へロードして、プログラムにしたがった処理を実行することにより、コンピュータの各部を統括的に制御する。

通信部５３は、ネットワーク１３等を介した各種情報の伝送制御を行うネットワークインターフェースである。ディスプレイ５４は各種画面を表示する。各種画面にはＧＵＩ(Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ)による操作機能が備えられる。画像配信サーバ１０およびユーザ端末１１を構成するコンピュータは、各種画面を通じて、入力デバイス５５からの操作指示の入力を受け付ける。入力デバイス５５は、キーボード、マウス、タッチパネル、音声入力用のマイクロフォン等である。

なお、以下の説明では、画像配信サーバ１０を構成するコンピュータの各部には添え字の「Ａ」を、ユーザ端末１１を構成するコンピュータの各部には添え字の「Ｂ」をそれぞれ符号に付して区別する。

図８において、ユーザ端末１１は、画像配信要求５７を画像配信サーバ１０に送信する。画像配信要求５７は、例えば、ユーザ１２のユーザＩＤを含む。画像配信サーバ１０は、画像配信要求５７に応じて、ユーザＩＤで指定される個人フォルダ２５内の画像ファイル２７を、画像配信要求５７の送信元のユーザ端末１１に配信する。また、画像配信サーバ１０は、ユーザＩＤで指定される共有フォルダ２６があった場合は、当該共有フォルダ２６内の画像ファイル２７を、個人フォルダ２５内の画像ファイル２７と併せて、画像配信要求５７の送信元のユーザ端末１１に配信する。なお、ユーザ端末１１に配信する画像ファイル２７は、１つであっても構わない。

また、ユーザ端末１１は、お勧め画像配信要求５８を画像配信サーバ１０に送信する。お勧め画像配信要求５８は、ユーザ１２のユーザＩＤ、およびお勧め画像を要求する共有フォルダ２６の名称を含む。お勧め画像配信要求５８は、お勧め画像配信要求５８をユーザ端末１１から送信したユーザ１２が、名称で指定される共有フォルダ２６内の、自分以外のユーザ１２に帰属する画像３６に基づくお勧め画像を、画像配信サーバ１０に提示させるための要求である。なお、本実施形態において、お勧め画像とは、お勧め画像配信要求５８で指定される共有フォルダ２６内の、お勧め画像配信要求５８を送信したユーザ１２以外のユーザ１２に帰属する画像３６を、お勧め画像配信要求５８を送信したユーザ１２に対応する関係人物情報３２に基づき切り出した切り出し画像１１０（図２５参照）である。画像配信サーバ１０は、お勧め画像配信要求５８に応じて、お勧め画像である切り出し画像１１０を含むお勧め画像情報５９を、お勧め画像配信要求５８の送信元のユーザ端末１１に配信する。

なお、ユーザ端末１１から画像配信サーバ１０に送信される要求（例えば、画像配信要求５７およびお勧め画像配信要求５８）は、ユーザ端末１１の端末ＩＤを含んでもよい。画像配信サーバ１０は、例えば、端末ＩＤを受信することで、端末ＩＤに対応するユーザ端末１１に、要求に応じた画像（例えば、画像ファイル２７）、あるいは情報（例えば、お勧め画像情報５９）を配信する。ここで、端末ＩＤは、例えば、ＭＡＣ（Ｍｅｄｉａ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌ）アドレス等のユーザ端末１１固有のＩＤに限らず、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレス、ポート番号等、データの送受信においてユーザ端末１１を識別するＩＤを含む。

ここで、お勧め画像配信要求５８をユーザ端末１１から送信したユーザ１２は、本開示の技術に係る「第１ユーザ」の一例である。また、お勧め画像配信要求５８をユーザ端末１１から送信したユーザ１２以外のユーザ１２は、本開示の技術に係る「第１ユーザとは異なる第２ユーザ」の一例である。以下では、第１ユーザに符号１２Ｆ、第２ユーザに符号１２Ｓをそれぞれ付して区別する。また、第１ユーザ１２Ｆの個人フォルダ２５内に画像ファイル２７が存在し、第１ユーザ１２Ｆに帰属する画像３６を、第１ユーザ画像３６Ｆと表記する。さらに、第２ユーザ１２Ｓの個人フォルダ２５内に画像ファイル２７が存在し、第２ユーザ１２Ｓに帰属する画像３６を、第２ユーザ画像３６Ｓと表記する。

画像配信サーバ１０のストレージデバイス５０Ａには、作動プログラム６５が記憶されている。作動プログラム６５は、画像配信サーバ１０を構成するサーバコンピュータを、本開示の技術に係る「画像処理装置」として機能させるためのＡＰである。すなわち、作動プログラム６５は、本開示の技術に係る「画像処理装置の作動プログラム」の一例である。ストレージデバイス５０Ａには、作動プログラム６５の他に、顔配置マップセット６６も記憶されている。

作動プログラム６５が起動されると、画像配信サーバ１０のＣＰＵ５２Ａは、メモリ５１等と協働して、情報作成部７０、要求受付部７１、画像取得部７２、情報取得部７３、抽出部７４、リードライト（以下、ＲＷ（Ｒｅａｄ Ｗｒｉｔｅ）と略す）制御部７５、トリミング部７６、および配信制御部７７として機能する。ＣＰＵ５２Ａは、本開示の技術に係る「プロセッサ」の一例である。

情報作成部７０は、関連人物情報３２を作成する。情報作成部７０は、第１画像取得要求８０を画像ＤＢサーバ２０に送信する。第１画像取得要求８０は、関連人物情報３２が作成されていない第１ユーザ１２Ｆの個人フォルダ２５内の画像ファイル２７の取得を要求するものである。また、第１画像取得要求８０は、前回関連人物情報３２を作成してから、予め定められた時間（以下、第１設定時間という）が経過した場合、もしくは、予め定められた枚数（以下、第１枚数という）の画像ファイル２７を新たに送信した場合の少なくとも一方の場合において、第１ユーザ１２Ｆの個人フォルダ２５内の画像ファイル２７の取得を要求するものである。第１画像取得要求８０は、関連人物情報３２が作成されていない第１ユーザ１２ＦのユーザＩＤ、前回関連人物情報３２を作成してから第１設定時間が経過した第１ユーザ１２ＦのユーザＩＤ、もしくは第１枚数の画像ファイル２７を送信した第１ユーザ１２ＦのユーザＩＤを含む。第１画像取得要求８０によって、関連人物情報３２が作成されていない第１ユーザ１２Ｆの個人フォルダ２５内の画像ファイル２７の取得を要求するタイミングは、例えば、当該第１ユーザ１２Ｆの個人フォルダ２５内に格納されている画像ファイル２７が、予め定められた枚数以上となったタイミングである。あるいは、当該第１ユーザ１２Ｆが、ユーザ端末１１に画像閲覧ＡＰ１１５（図２７参照）をインストールしたタイミングでもよい。なお、第１設定時間は、例えば１ケ月、半年、１年等である。また、第１枚数は、例えば、１以上の自然数である。

画像ＤＢサーバ２０は、第１画像取得要求８０に応じた第１ユーザ１２Ｆの個人フォルダ２５内の、第１ユーザ画像３６Ｆを含む画像ファイル２７を画像ＤＢ２２から読み出し、読み出した画像ファイル２７を画像配信サーバ１０に送信する。情報作成部７０は、第１画像取得要求８０に応じて画像ＤＢサーバ２０から送信された、第１ユーザ画像３６Ｆを含む画像ファイル２７を取得する。情報作成部７０は、取得した画像ファイル２７の第１ユーザ画像３６Ｆを元に、関連人物情報３２を作成する。情報作成部７０は、作成した関連人物情報３２をユーザ情報ＤＢサーバ２１に送信する。関連人物情報３２が作成されていなかった場合、ユーザ情報ＤＢサーバ２１は、情報作成部７０からの関連人物情報３２をユーザ情報ＤＢ２３に新規に登録する。一方、関連人物情報３２が既に作成されていた場合、ユーザ情報ＤＢサーバ２１は、ユーザ情報ＤＢ２３に記憶されている関連人物情報３２を、情報作成部７０からの関連人物情報３２に書き換える。

要求受付部７１は、ユーザ端末１１からの各種要求を受け付ける。要求受付部７１は、ユーザ端末１１からの各種要求を受け付けた場合、各種要求に対応する指示を、画像取得部７２または情報取得部７３に出力する。例えば、要求受付部７１は画像配信要求５７またはお勧め画像配信要求５８を受け付けた場合、画像配信要求５７またはお勧め画像配信要求５８に対応する指示を、画像取得部７２または情報取得部７３に出力する。

画像取得部７２は、要求受付部７１から出力された各種要求に対応する指示に応じて、第２画像取得要求８１を画像ＤＢサーバ２０に送信する。第２画像取得要求８１は、画像配信要求５７またはお勧め画像配信要求５８のユーザＩＤで指定される個人フォルダ２５の画像ファイル２７または共有フォルダ２６の画像ファイル２７のうちの少なくとも一方の取得を要求するものである。

画像ＤＢサーバ２０は、第２画像取得要求８１に応じた個人フォルダ２５の画像ファイル２７および共有フォルダ２６の画像ファイル２７を画像ＤＢ２２から読み出し、読み出した画像ファイル２７を画像配信サーバ１０に送信する。画像取得部７２は、第２画像取得要求８１に応じて画像ＤＢサーバ２０から送信された画像ファイル２７を取得する。画像取得部７２は、取得した画像ファイル２７を配信制御部７７に出力する。また、画像取得部７２は、取得した画像ファイル２７のうちの共有フォルダ２６の画像ファイル２７を抽出部７４に出力する。なお、画像配信要求５７のユーザＩＤで指定される共有フォルダ２６がない場合は、個人フォルダ２５内の画像ファイル２７のみが画像取得部７２において取得される。

共有フォルダ２６内には、第１ユーザ１２Ｆ以外のユーザ１２、すなわち第２ユーザ１２Ｓに帰属する第２ユーザ画像３６Ｓの画像ファイル２７も含まれる。このため、画像取得部７２は、共有フォルダ２６の画像ファイル２７を取得することで、第２ユーザ１２Ｓに帰属する第２ユーザ画像３６Ｓを取得していることになる。

情報取得部７３は、要求受付部７１から出力された各種要求に対応する指示に応じて、情報取得要求８２をユーザ情報ＤＢサーバ２１に送信する。情報取得要求８２は、お勧め画像配信要求５８に含まれるユーザＩＤのユーザ１２、すなわち第１ユーザ１２Ｆの関連人物情報３２の取得を要求するものである。ユーザ情報ＤＢサーバ２１は、情報取得要求８２に応じた関連人物情報３２をユーザ情報ＤＢ２３から読み出し、読み出した関連人物情報３２を画像配信サーバ１０に送信する。情報取得部７３は、情報取得要求８２に応じてユーザ情報ＤＢサーバ２１から送信された関連人物情報３２を取得する。情報取得部７３は、取得した関連人物情報３２を抽出部７４およびトリミング部７６に出力する。

抽出部７４は、第１ユーザ１２Ｆの関連人物情報３２に基づいて、お勧め画像配信要求５８で指定される共有フォルダ２６の画像ファイル２７に含まれる画像３６から、第１ユーザ１２Ｆの関連人物４５の顔９０Ｒ（図１４参照）が含まれている第２ユーザ画像３６Ｓを抽出する。抽出部７４は、抽出した第２ユーザ画像３６Ｓをトリミング部７６に出力する。

ＲＷ制御部７５は、ストレージデバイス５０Ａへの各種情報の記憶、およびストレージデバイス５０Ａ内の各種情報の読み出しを制御する。例えば、ＲＷ制御部７５は、顔配置マップセット６６をストレージデバイス５０Ａから読み出し、読み出した顔配置マップセット６６をトリミング部７６に出力する。顔配置マップセット６６は、第１顔配置マップ８５ａ、第２顔配置マップ８５ｂ、第３顔配置マップ８５ｃ、および第４顔配置マップ８５ｄで構成される。なお、以下では、第１顔配置マップ８５ａ、第２顔配置マップ８５ｂ、第３顔配置マップ８５ｃ、および第４顔配置マップ８５ｄを、まとめて顔配置マップ８５と表記する場合がある。

トリミング部７６は、顔配置マップ８５を用いて、抽出部７４が抽出した、第１ユーザ１２Ｆの関連人物４５の顔９０Ｒが含まれている第２ユーザ画像３６Ｓから、第１ユーザ１２Ｆの関連人物４５の顔９０Ｒを含む領域を切り出す。トリミング部７６は、切り出した切り出し画像１１０（図２５参照）を配信制御部７７に出力する。なお、トリミング部７６は、切り出し画像１１０を拡大して切り出し画像１１０Ｅ（図２５参照）とし、切り出し画像１１０Ｅを配信制御部７７に出力してもよい。

配信制御部７７は、画像取得部７２またはトリミング部７６から出力された、要求受付部７１が受け付けた各種要求に対応する画像または情報をユーザ端末１１に配信する制御を行う。配信制御部７７は、例えば、画像取得部７２から出力された画像配信要求５７に応じた画像ファイル２７を、画像配信要求５７の送信元のユーザ端末１１に配信する制御を行う。また、配信制御部７７は、トリミング部７６から出力された、お勧め画像配信要求５８に応じたお勧め画像情報５９を、お勧め画像配信要求５８の送信元のユーザ端末１１に配信する制御を行う。お勧め画像情報５９は、例えば、切り出し画像１１０Ｅを含む。このお勧め画像情報５９をユーザ端末１１に配信する態様は、本開示の技術に係る「切り出し画像を第１ユーザに対して提示する」態様の一例である。

図９～図１１は、情報作成部７０において実行される関連人物情報３２を作成する情報作成処理（ステップＳＴ１００Ａ）の手順を示す。情報作成部７０は、まず、第１画像取得要求８０を画像ＤＢサーバ２０に送信する（ステップＳＴ１００１）。そして、情報作成部７０は、第１画像取得要求８０に応じて画像ＤＢサーバ２０から送信された個人フォルダ２５内の画像ファイル２７を取得する（ステップＳＴ１００２）。

情報作成部７０は、顔認識技術を用いて、取得した画像ファイル２７に含まれる第１ユーザ画像３６Ｆから、顔９０が含まれた顔あり画像９１を抽出する（ステップＳＴ１００３）。ステップＳＴ１００３で抽出した顔あり画像９１は、本開示の技術に係る「予め定められた設定条件を満たす第１ユーザ画像」の一例である。

次いで、情報作成部７０は、顔あり画像９１に含まれる顔９０の人物を認識する（ステップＳＴ１００４）。言い換えると、情報作成部７０は、顔あり画像９１を人物毎に分類する。人物の認識または分類は、例えば以下の方法で行う。すなわち、顔あり画像９１に含まれる全ての顔９０の特徴量を算出し、算出した特徴量の類似度を、全ての顔９０に関して総当たりで算出する。そして、類似度が予め定められた範囲内にある顔９０同士を、同一人物の顔９０として認識または分類する。図１０では、「Ｐ１」、「Ｐ２」、「Ｐ３」、・・・といった人物を認識した例を示している。なお、本実施形態において、第１ユーザ画像３６Ｆから顔あり画像９１を抽出してから、顔あり画像９１に含まれる顔９０の人物を認識したが、これに限られない。顔あり画像９１の抽出はせずに、第１ユーザ画像３６Ｆの全てに対して人物の認識または分類をしてもよい。

情報作成部７０は、認識した人物毎に、各人物の顔９０を含む顔あり画像９１の枚数、または個人フォルダ２６に含まれる第１ユーザ画像３６Ｆにおける、各人物の顔９０を含む顔あり画像９１の割合を算出する（ステップＳＴ１００５）。そして、選定条件９６にしたがって、第１ユーザ１２Ｆの関連人物情報３２を作成する（ステップＳＴ１００６）。選定条件９６は、第１ユーザ１２Ｆとの関連度を示す情報である。また、選定条件９６は、第１ユーザ１２Ｆとの関連ランクに応じて異なる条件を含んでもよく、例えば、メイン人物４５Ｍを選定するための第１選択条件９３と、サブ人物を選定するための第２選択条件９４とを含む。第１選択条件９３は、第２選択条件９２より相対的に厳しい条件であり、例えば、相対的に多くの枚数または多くの割合が必要となる条件である。選定条件９６は、例えば、図１０の表９２に示すように、各人物の顔９０を含む顔あり画像９１の枚数に関連する条件である。

情報生成部７０は、第１選定条件９３にしたがって、認識した人物の中からメイン人物４５Ｍを選定し、選定したメイン人物４５Ｍの顔画像４０を関連人物情報３２に登録する。第１選定条件９３は、顔９０が含まれる顔あり画像９１の枚数が最も多い人物をメイン人物４５Ｍとする、という内容である。このため、情報作成部７０は、顔９０が含まれる顔あり画像９１の枚数が最も多い人物を、メイン人物４５Ｍとして選定する。図１０では、顔９０が含まれる顔あり画像９１の枚数が最も多い人物「Ｐ１」が、メイン人物４５Ｍとして選定された例を示している。

情報作成部７０は、第２選定条件９４にしたがって、認識した人物の中からサブ人物４５Ｓを選定し、選定したサブ人物４５Ｓの顔画像４０を関連人物情報３２に登録する。第２選定条件９４は、顔９０が含まれる顔あり画像９１の枚数がメイン人物４５Ｍの次に多い人物をサブ人物４５Ｓとする、という内容である。このため、情報作成部７０は、顔９０が含まれる顔あり画像９１の枚数がメイン人物４５Ｍの次に多い人物を、サブ人物４５Ｓとして選定する。図１０では、顔９０が含まれる顔あり画像９１の枚数が人物「Ｐ１」の次に多い人物「Ｐ２」が、サブ人物４５Ｓとして選定された例を示している。

なお、本実施形態において、ユーザの関連人物情報３２として、関連度の異なる２種類以上の関連ランクの関連人物４５（メイン人物４５Ｍとサブ人物４５Ｓ）を作成するとしたが、これに限られない。ユーザの関連人物情報３２として、関連度が一定以上の１種類の関連ランクの関連人物４５（例えば、メイン人物４５Ｍ）のみを作成してもよいし、関連度の異なる３種類以上の関連ランクの関連人物４５を選定してもよい。

また、情報作成部７０は、個人フォルダ２６に含まれる第１ユーザ画像３６Ｆにおける、各人物の顔９０を含む顔あり画像９１の割合を算出してもよい。情報作成部７０は、変形例として図１１の表９５に示すように、各人物の顔９０を含む顔あり画像９１の割合として、第１割合と第２割合を算出する。第１割合は、ステップＳＴ１００３で抽出した顔あり画像９１の全枚数に対する、各人物の顔９０を含む顔あり画像９１の枚数の割合である。例えば顔あり画像９１の全枚数が１０００枚であった場合を考える。この場合、人物「Ｐ１」の顔９０を含む顔有画像９１が２００枚であれば、人物「Ｐ１」の第１割合は、表９５に示すように、２００／１０００＝０．２０となる。同様に、顔あり画像９１の枚数が１５０枚の人物「Ｐ２」の第１割合は０．１５であり、顔あり画像９１の枚数が８０枚の人物「Ｐ３」の第１割合は０．０８であり、顔あり画像９１の枚数が６０枚の人物「Ｐ４」の第１割合は０．０６となる。

第２割合は、メイン人物４５Ｍの顔９０Ｒを含む顔あり画像９１の枚数に対する、各人物の顔９０を含む顔あり画像９１の枚数の割合である。メイン人物４５Ｍである人物「Ｐ１」の顔９０Ｒを含む顔あり画像９１の枚数は２００枚である。このため、人物「Ｐ１」の第２割合は、表９５に示すように１００／１００＝１．０であり、人物「Ｐ２」の第２割合は０．７５であり、人物「Ｐ３」の第２割合は０．４であり、人物「Ｐ４」の第２割合は０．３となる。なお、メイン人物４５Ｍの顔９０Ｒが写っている顔あり画像９１も、本開示の技術に係る「予め定められた設定条件を満たす第１ユーザ画像」の一例である。

第１選択条件９３には、例えば第１割合に対する第１閾値が記憶され、第２選択条件９４には、例えば第２割合に対する第２閾値が記憶されている。情報作成部７０は、第１割合が第１閾値以上である人物をメイン人物４５Ｍとして選定し、第２割合が第２閾値以上である人物をサブ人物４５Ｓとして選定し、関連人物情報３２として登録してもよい。図１１では、第１閾値として０．２、第２閾値として０．４がそれぞれ設定され、第１割合が０．２以上である人物「Ｐ１」がメイン人物４５Ｍとして選定され、第２割合が０．４以上である人物「Ｐ２」および「Ｐ３」がサブ人物４５Ｓとして選定される。なお、選定条件９６は、ストレージデバイス５０に記憶されており、ＲＷ制御部７５によって読み出されて、情報作成部７０に出力される。また、第１選択条件９３と第２選択条件９４は、図１１に示す通り異なる割合に対応する条件であってもよいし、異なる枚数に対応する条件であってもよい。

情報作成部７０は、こうして作成した関連人物情報３２を、ユーザ情報ＤＢサーバ２１に送信する（ステップＳＴ１００７）。以上で、情報作成部７０による情報作成処理が終了する。

図１２～図１４は、抽出部７４において実行される、第１ユーザ１２Ｆの関連人物４５の顔９０Ｒが含まれている第２ユーザ画像３６Ｓを抽出する抽出処理（ステップＳＴ３００）の手順を示す。抽出部７４は、まず、お勧め画像配信要求５８で指定される共有フォルダ２６の画像ファイル２７から、第２ユーザ画像３６Ｓを抽出する（ステップＳＴ３００１）。より詳しくは、抽出部７４は、お勧め画像配信要求５８で指定される共有フォルダ２６のユーザグループ２８を構成するユーザ１２のうち、お勧め画像配信要求５８で指定されるユーザＩＤのユーザ１２（すなわち第１ユーザ１２Ｆ）以外のユーザ１２を、第２ユーザ１２Ｓとして特定する。そして、特定した第２ユーザ１２ＳのユーザＩＤを含む画像ファイル２７の画像３６を、第２ユーザ画像３６Ｓとして抽出する。

図１３では、ユーザＩＤが「Ｕ１」、「Ｕ２」の２人のユーザ１２で構成されるユーザグループ２８の共有フォルダ２６（名称「同窓会１」）を対象として、ユーザＩＤ「Ｕ１」のユーザ１２のユーザ端末１１から、お勧め画像配信要求５８が送信された場合を例示している。この場合、ユーザＩＤ「Ｕ１」のユーザ１２が第１ユーザ１２Ｆであり、ユーザＩＤ「Ｕ２」のユーザ１２が第２ユーザ１２Ｓである。このため、抽出部７４は、共有フォルダ２６の画像ファイル２７から、ユーザＩＤ「Ｕ２」のユーザ１２に帰属する画像３６を、第２ユーザ画像３６Ｓとして抽出する。

抽出部７４は、情報作成処理のステップＳＴ１００３と同様に、ステップＳＴ３００１で抽出した第２ユーザ画像３６Ｓから、顔９０を含む顔あり画像９１を抽出する（ステップＳＴ３００２）。次いで、抽出部７４は、情報作成処理のステップＳＴ１００４と同様に、顔あり画像９１に含まれる顔９０の人物を認識または分類する（ステップＳＴ３００３）。図１４では、「Ｐ１」、「Ｐ２」、「Ｐ３」、「Ｐ４」、・・・といった人物を認識した例を示している。なお、本実施形態において、第２ユーザ画像３６Ｓから顔あり画像９１を抽出してから、顔あり画像９１に含まれる顔９０の人物を認識したが、これに限られない。顔あり画像９１の抽出はせずに、第２ユーザ画像３６Ｓの全てに対して人物の認識または分類をしてもよい。

抽出部７４は、ステップＳＴ３００３における人物の認識結果と、情報取得部７３からの第１ユーザ１２Ｆの関連人物情報３２とに基づいて、顔あり画像９１から、第１ユーザ１２Ｆの関連人物４５の顔９０Ｒが含まれている顔あり画像９１Ｒを抽出する（ステップＳＴ３００４）。顔あり画像９１Ｒは、トリミング部７６における後述するトリミング処理の対象となる。このため、以下の説明では、顔あり画像９１Ｒを対象画像９１Ｒと表記する。

抽出部７４は、ステップＳＴ３００３で認識した人物の顔９０の中に、第１ユーザ１２Ｆの関連人物４５の顔９０Ｒと一致する顔９０があるか否かを判定する。ステップＳＴ３００３で認識した人物の顔９０の中に、第１ユーザ１２Ｆの関連人物４５の顔９０Ｒと一致する顔９０があった場合、抽出部７４は、当該顔９０が含まれている全ての顔あり画像９１を抽出する。そして、抽出した顔あり画像９１を、対象画像９１Ｒとして扱う。なお、抽出部７４は、抽出した顔あり画像９１のうち、第１ユーザ１２Ｆの関連人物４５の顔９０Ｒと一致する顔９０が２つ以上含まれる顔あり画像９１を、対象画像９１Ｒとして抽出してもよい。

図１４では、ユーザＩＤが「Ｕ１」の第１ユーザ１２Ｆの関連人物情報３２に基づいて、第２ユーザ画像３６Ｓである顔あり画像９１から、ユーザＩＤが「Ｕ１」の第１ユーザ１２Ｆの、少なくとも２人の関連人物４５の顔９０Ｒが含まれている対象画像９１Ｒを抽出する様子を例示している。

抽出部７４は、こうして抽出した対象画像９１Ｒをトリミング部７６に出力する（ステップＳＴ３００５）。以上で、抽出部７４による抽出処理が終了する。

図１５に示すように、第１顔配置マップ８５ａは、画像３６内における２人の人物の顔９０の適切な配置位置を表す。第１顔配置マップ８５ａは、水平方向および垂直方向に配列された複数の分割セル１００で構成される。表１０１の「分割セル座標」に示すように、分割セル１００は、水平方向および垂直方向にそれぞれ例えば１０２４個配列されている。

各分割セル１００には、０～１の値をとる評価値が割り当てられている。具体的には、ハッチングのグラデーションで示すように、顔９０が配置されるべき分割セル１００に対しては、顔９０が配置されるべきでない分割セル１００と比べて相対的に高い値が割り当てられている。例えば、顔９０が配置されるべき、座標（２００、３００）の分割セル１００には、評価値として１が割り当てられている。対して、顔９０が配置されるべきでない、座標（１０２３、１０２３）の分割セル１００には、評価値として０が割り当てられている。

同様にして、図１６は、画像３６内における３人の人物の顔９０の適切な配置位置を表す第２顔配置マップ８５ｂを示す。また、図１７は、画像３６内における４人以上の人物の顔９０の適切な配置位置を表す第３顔配置マップ８５ｃを示す。さらに、図１８は、画像３６内における１人の人物の顔９０の適切な配置位置を表す第４顔配置マップ８５ｄを示す。このように、顔９０の数毎に、第１顔配置マップ８５ａ、第２顔配置マップ８５ｂ、第３顔配置マップ８５ｃ、および第４顔配置マップ８５ｄという複数の顔配置マップ８５が用意されている。

第１顔配置マップ８５ａは、ガウス分布のガウス関数にしたがった以下の式（１）および式（２）に基づいて作成される。式（１）は水平方向に関する評価値、式（２）は垂直方向に関する評価値をそれぞれ表す。第１顔配置マップ８５ａの各分割セル１００に割り当てられる評価値は、これら式（１）および式（２）で得られた、水平方向に関する評価値および垂直方向に関する評価値の積である。

なお、Ｃはガウス関数の係数、μは平均、σは標準偏差（σ^２は分散）である。式（１）においてＣ、μ、σの下に付されている「２１」は、２人の人物の顔９０のうちの左から数えて１番目、という意である。同様に、「２２」は、２人の人物の顔９０のうちの左から数えて２番目、という意である。Ｃ、μ、σの値は、例えば、Ｃ_２１＝Ｃ_２２＝０．９、Ｃ＝１、μ_２１＝０．３、μ_２２＝０．７、μ＝１／３、σ_２１＝σ_２２＝σ＝０．１５である。

第２顔配置マップ８５ｂは、以下の式（３）および式（４）に基づいて作成される。式（３）は水平方向に関する評価値、式（４）は垂直方向に関する評価値をそれぞれ表す。式（４）は式（２）と同じである。第２顔配置マップ８５ｂの各分割セル１００に割り当てられる評価値は、これら式（３）および式（４）で得られた、水平方向に関する評価値および垂直方向に関する評価値の積である。

式（３）においてＣ、μ、σの下に付されている「３１」は、３人の人物の顔９０のうちの左から数えて１番目、という意である。同様に、「３２」は、３人の人物の顔９０のうちの左から数えて２番目、「３３」は、３人の人物の顔９０のうちの左から数えて３番目、という意である。Ｃ、μ、σの値は、例えば、Ｃ_３１＝Ｃ_３２＝Ｃ_３３＝０．９、Ｃ＝１、μ_３１＝０．２５、μ_３２＝０．５、μ_３３＝０．７５、μ＝１／３、σ_３１＝σ_３２＝σ_３３＝０．１、σ＝０．１５である。

また、第３顔配置マップ８５ｃは、以下の式（５）および式（６）に基づいて作成される。式（５）は水平方向に関する評価値、式（６）は垂直方向に関する評価値をそれぞれ表す。式（６）は式（２）および式（４）と同じである。第３顔配置マップ８５ｃの各分割セル１００に割り当てられる評価値は、これら式（５）および式（６）で得られた、水平方向に関する評価値および垂直方向に関する評価値の積である。

式（５）においてＣ、μ、σの下に付されている「４」は、４人以上の人物の顔９０に関する、という意である。Ｃ、μ、σの値は、例えば、Ｃ_４＝Ｃ＝１、μ_４＝０．５、μ＝１／３、σ_４＝０．５、σ＝０．１５である。

また、第４顔配置マップ８５ｄは、以下の式（７）および式（８）に基づいて作成される。式（７）は水平方向に関する評価値、式（８）は垂直方向に関する評価値をそれぞれ表す。式（８）は式（２）、式（４）および式（６）と同じである。第４顔配置マップ８５ｄの各分割セル１００に割り当てられる評価値は、これら式（７）および式（８）で得られた、水平方向に関する評価値および垂直方向に関する評価値の積である。

式（７）においてＣ、μ、σの下に付されている「１」は、１人の人物の顔９０に関する、という意である。Ｃ、μ、σの値は、例えば、Ｃ_１＝Ｃ＝１、μ_１＝０．５、μ＝１／３、σ_１＝σ＝０．１５である。

このように、顔配置マップ８５は、ガウス関数にしたがった式（１）～式（８）に基づいて作成される。このため、顔配置マップ８５は、左右対称な評価値の分布を有する。

図１９～図２５は、トリミング部７６において実行される、対象画像９１Ｒから関連人物４５の顔９０Ｒを含む領域を切り出すトリミング処理（ステップＳＴ４００）の手順を示す。トリミング部７６は、まず、抽出部７４で抽出した対象画像９１Ｒのうちの１枚の対象画像９１Ｒについて、当該対象画像９１Ｒに含まれる関連人物４５の顔９０Ｒの数に応じた顔配置マップ８５を、顔配置マップセット６６の中から選択する（ステップＳＴ４００１）。

具体的には、トリミング部７６は、対象画像９１Ｒに含まれる関連人物４５の顔９０Ｒの数が２つであった場合、第１顔配置マップ８５ａを選択する。対象画像９１Ｒに含まれる関連人物４５の顔９０Ｒの数が３つであった場合は、第２顔配置マップ８５ｂを選択する。対象画像９１Ｒに含まれる関連人物４５の顔９０Ｒの数が４つ以上であった場合は、第３顔配置マップ８５ｃを選択する。対象画像９１Ｒに含まれる関連人物４５の顔９０Ｒの数が１つであった場合は、第４顔配置マップ８５ｄを選択する。

トリミング部７６は、最低解像度に合わせて顔配置マップ８５を整形する（ステップＳＴ４００２）。最低解像度は、トリミング処理で切り出した切り出し画像１１０Ｅを写真プリントした場合に、商品としての最低限の画質を確保するために必要な解像度である。最低解像度は、例えば画素数で表される。なお、最低解像度は、対象画像９１Ｒの解像度に応じて予め定められてもよい。また、顔位置マップ８５を整形する解像度は、最低解像度に限られない。

図２１は、ステップＳＴ４００２の一例を示す。より詳しくは、対象画像９１Ｒの解像度が１００ｄｐｉ×１００ｄｐｉ、最低解像度が５００画素×５００画素で、１００インチ×１００インチの第１顔配置マップ８５ａを整形する場合を例示している。この場合、最低解像度をカバーするために最低限必要な顔配置マップ８５のインチ数は、（５００×５００）／１００＝２５００＝５０×５０である。このためトリミング部７６は、１００インチ×１００インチの第１顔配置マップ８５ａを、５０インチ×５０インチに整形する。

トリミング部７６は、整形後の顔配置マップ８５を、対象画像９１Ｒに適用する。トリミング部７６は、図２２にも示すように、対象画像９１Ｒ内における顔配置マップ８５の適用位置を変更しつつ、適用位置毎にスコアを算出する（ステップＳＴ４００３）。トリミング部７６は、算出したスコアを適用位置毎に記憶する。

図２２では、４人の人物の顔９０が写り、かつ左から数えて２番目と３番目の人物が関連人物４５である対象画像９１Ｒに、第１顔配置マップ８５ａを適用した場合を例示している。第１顔配置マップ８５ａの適用位置が、関連人物４５の顔９０Ｒを含む位置でない場合は、当然ながらスコアは０点である。対して、第１顔配置マップ８５ａの適用位置が、関連人物４５の顔９０Ｒを含む位置である場合は、スコアは３０点、４０点等となる。なお、図２２では、他の人物の顔９０と区別するため、関連人物４５の顔９０Ｒを斜線のハッチングで示している。以降の図も同様である。

図２０は、ステップＳＴ４００３のスコアの算出のより詳しい手順を示す。まず、トリミング部７６は、スコアの算出に先立って、対象画像９１Ｒのメイン人物４５Ｍの顔領域の画素値を第１設定値、サブ人物４５Ｓの顔領域の画素値を第２設定値、他の領域の画素値を０にそれぞれ置換する（ステップＳＴ４００３１）。

図２３は、表１０５に示すように、第１設定値として１、第２設定値として０．８を設定した場合を例示している。また、図２３は、左から数えて２番目の人物がメイン人物４５Ｍ、左から数えて３番目の人物がサブ人物４５Ｓであった場合を例示している。この場合、トリミング部７６は、メイン人物４５Ｍの顔９０Ｒの領域の画素値を１、サブ人物４５Ｓの顔９０Ｒの領域の画素値を０．８に置換する。また、トリミング部７６は、他の領域の画素値を０に置換する。他の領域は、人物の背景の領域、メイン人物４５Ｍおよびサブ人物４５Ｓの胴体の領域、メイン人物４５Ｍでもサブ人物４５Ｓでもない人物の顔９０および胴体の領域である。このように、トリミング部７６は、メイン人物４５Ｍとサブ人物４５Ｓとで、顔９０Ｒの領域の画素値に置換する設定値を変更することで、関連ランクを加味してスコアを算出していることになる。なお、関連人物４５の顔領域に設定される設定値は、関連人物４５の顔領域以外の領域に設定される設定値より大きければよい。このため、例えば、メイン人物４５Ｍに対して設定される第１設定値と、サブ人物４５Ｓに対して設定される第２設定値は、同一の値であってもよい。

トリミング部７６は、顔配置マップ８５の各分割セル１００の評価値と、各分割セル１００に対応する位置にある、対象画像９１Ｒの画素の画素値とを乗算する（ステップＳＴ４００３２）。そして、乗算結果を積算し、積算結果をスコアとして出力する（ステップＳＴ４００３３）。

適用位置毎にスコアを算出した後、トリミング部７６は、顔配置マップ８５を拡大する（ステップＳＴ４００５）。そして、再びステップＳＴ４００３の処理を実行する。トリミング部７６は、顔配置マップ８５のサイズが、対象画像９１Ｒのサイズと同じにならないうちは、ステップＳＴ４００３の処理を繰り返す（ステップＳＴ４００４でＮＯ）。

図２４は、図２２と同じく、４人の人物の顔９０が写り、かつ左から数えて２番目と３番目の人物が関連人物４５である対象画像９１Ｒに、第１顔配置マップ８５ａを適用した場合を例示している。トリミング部７６は、第１顔配置マップ８５ａを徐々に拡大しつつ、ステップＳＴ４００３の処理を行う。

顔配置マップ８５のサイズが、対象画像９１Ｒのサイズと同じとなった場合（ステップＳＴ４００４でＹＥＳ）、トリミング部７６は、ステップＳＴ４００３の処理を終える。そして、記憶したスコアのうちの最高スコアの適用位置で、顔配置マップ８５に合わせて対象画像９１Ｒを切り出し、切り出し画像１１０とする（ステップＳＴ４００６）。トリミング部７６は、全ての対象画像９１Ｒに対して切り出し画像１１０を生成しないうちは、対象画像９１Ｒを変更したうえで、ステップＳＴ４００１～ステップＳＴ４００６の処理を繰り返す（ステップＳＴ４００７でＮＯ）。なお、本実施形態において、トリミング部７６は、顔配置マップ８５を徐々に拡大するとしたが、これに限られない。顔配置マップ８５の大きさを、特定の画素数もしくは解像度で規定された１つの大きさのみとしてもよい。この場合、１つの大きさの顔配置マップ８５についてスコア取得し、記憶したスコアのうちの最高スコアの適用位置で対象画像９１Ｒを切り出し、切り出し画像１１０としてもよい。

図２５は、図２２等と同じく、４人の人物の顔９０が写り、かつ左から数えて２番目と３番目の人物が関連人物４５である対象画像９１Ｒに、第１顔配置マップ８５ａを適用した場合を例示している。トリミング部７６は、スコアが最高点の３００点である適用位置で、顔配置マップ８５に合わせて対象画像９１Ｒを切り出し、切り出し画像１１０とする。そして、切り出し画像１１０を、元の対象画像９１Ｒのサイズに拡大して切り出し画像１１０Ｅとする。なお、スコアの最高点が予め定められた閾値未満であった場合は、対象画像９１Ｒの切り出しを中止してもよい。また、本実施形態において、トリミング部７６は、スコアが最高点の適用位置で、顔配置マップ８５に合わせて対象画像９１Ｒから切り出し画像１１０を切り出すとしたが、これに限られない。例えば、トリミング部７６は、スコアが予め定められた設定値を超える適用位置であって、かつ、顔配置マップ８５のサイズが異なる複数の切り出し画像１１０を切り出してもよい。

全ての対象画像９１Ｒに対して切り出し画像１１０Ｅを生成した場合、トリミング部７６は、生成した切り出し画像１１０Ｅをお勧め画像として出力する（ステップＳＴ４００８）。以上で、トリミング部７６によるトリミング処理が終了する。

図２６に示すように、配信制御部７７は、切り出し画像１１０Ｅとスコアの組を、お勧め画像情報５９としてお勧め画像配信要求５８の送信元のユーザ端末１１に配信する。また、配信制御部７７は、例示するように切り出し画像１１０Ｅが複数枚ある場合、切り出し画像１１０Ｅを、スコアに応じて優先的に表示されるようにする。「スコアに応じて優先的に表示されるようにする」態様の例としては、図２６に示すように、スコアが高い切り出し画像１１０Ｅの表示順を高くする態様が挙げられる。なお、スコアが高い切り出し画像１１０Ｅの表示サイズを、スコアが低い切り出し画像１１０Ｅの表示サイズより相対的に大きく表示してもよい。

図２７において、ユーザ端末１１のストレージデバイス５０Ｂには、画像閲覧ＡＰ１１５が記憶されている。画像閲覧ＡＰ１１５が実行されて、画像閲覧ＡＰ１１５に専用のウェブブラウザが起動されると、ユーザ端末１１のＣＰＵ５２Ｂは、メモリ５１等と協働して、ブラウザ制御部１２０として機能する。ブラウザ制御部１２０は、ウェブブラウザの動作を制御する。ブラウザ制御部１２０は、画像配信サーバ１０からの画像ファイル２７、およびお勧め画像情報５９等を受信する。ブラウザ制御部１２０は、画像ファイル２７の画像３６を表示する画像表示画面１２５（図２８参照）、お勧め画像情報５９を表示するお勧め画像情報表示画面１３０（図２９参照）といった各種画面を生成し、ディスプレイ５４Ｂに表示する。

また、ブラウザ制御部１２０は、各種画面を通じて、ユーザ１２によって入力デバイス５５Ｂから入力される様々な操作指示を受け付ける。操作指示には、画像配信サーバ１０への画像配信指示、お勧め画像配信指示等がある。画像配信指示は、例えば画像閲覧ＡＰ１１５の起動指示が兼ねている。ブラウザ制御部１２０は、操作指示に応じた要求を画像配信サーバ１０に送信する。具体的には、ブラウザ制御部１２０は、画像配信サーバ１０への画像配信指示に応じて、画像配信要求５７を画像配信サーバ１０に送信する。また、ブラウザ制御部１２０は、画像配信サーバ１０へのお勧め画像配信指示に応じて、お勧め画像配信要求５８を画像配信サーバ１０に送信する。

図２８は、共有フォルダ２６内の画像ファイル２７に含まれる画像３６を表示する画像表示画面１２５を示す。画像表示画面１２５には、複数枚の画像３６が、例えば撮影日時順に一覧表示される。また、画像表示画面１２５には、ユーザ１２に共有されている共有フォルダ２６を示す情報が表示されている。画像表示画面１２５には、ユーザ１２に共有されている共有フォルダ２６を示す情報とともに、共有フォルダ２６を指定する共有フォルダ指定ボタン１２６が表示されている。本実施形態において、共有フォルダ指定ボタン１２６は星形をしているが、特にこれに限らず、いずれの形状であっても良い。画像表示画面１２５において共有フォルダ指定ボタン１２６が選択された場合、コンテキストメニュー１２７がポップアップ表示される。コンテキストメニュー１２７には、お勧め画像配信指示ボタン１２８とキャンセルボタン１２９が表示される。お勧め画像配信指示ボタン１２８が選択された場合、ブラウザ制御部１２０にお勧め画像配信指示が入力され、ブラウザ制御部１２０から画像配信サーバ１０にお勧め画像配信要求５８が送信される。お勧め画像配信要求５８は、指定された共有フォルダ２６の情報を含む。キャンセルボタン１２９が選択された場合は、コンテキストメニュー１２７の表示が消される。

図２９は、お勧め画像情報５９を表示するお勧め画像情報表示画面１３０を示す。お勧め画像情報表示画面１３０には、切り出し画像１１０Ｅがお勧め画像として表示される。切り出し画像１１０Ｅは、配信制御部７７によってスコアに応じて付された表示順にしたがって表示される。

切り出し画像１１０Ｅの横には、符号１３１でお勧めスコアとして示すように、スコアが表示される。また、切り出し画像１１０Ｅの横には、保存ボタン１３２およびプリント注文ボタン１３３が表示される。保存ボタン１３２が選択された場合、切り出し画像１１０Ｅが個人フォルダ２５に保存される。プリント注文ボタン１３３が選択された場合、切り出し画像１１０Ｅの写真プリントの注文が可能となる。

次に、上記構成による作用について、図３０および図３１のフローチャートを参照して説明する。作動プログラム６５が起動されると、画像配信サーバ１０のＣＰＵ５２Ａは、図８で示したように、情報作成部７０、要求受付部７１、画像取得部７２、情報取得部７３、抽出部７４、ＲＷ制御部７５、トリミング部７６、および配信制御部７７として機能される。

図３０に示すように、関連人物情報３２を作成していない第１ユーザ１２Ｆがいて、当該第１ユーザ１２Ｆの最初の関連人物情報３２の作成タイミングであった場合、前回関連人物情報３２を作成してから第１設定時間が経過した第１ユーザ１２Ｆがいて、当該第１ユーザ１２Ｆの関連人物情報３２の更新タイミングであった場合、もしくは第１枚数の画像ファイル２７を新たに送信した第１ユーザ１２Ｆがいて、当該第１ユーザ１２Ｆの関連人物情報３２の更新タイミングであった場合（ステップＳＴ１０でＹＥＳ）、情報作成部７０において、図９～図１１で示した情報作成処理（ステップＳＴ１００Ａ）が実行される。これにより新しい関連人物情報３２が作成される。ステップＳＴ１００Ａは、本開示の技術に係る「情報作成ステップ」の一例である。

図３１に示すように、要求受付部７１においてお勧め画像配信要求５８が受け付けられた場合（ステップＳＴ２０でＹＥＳ）、画像取得部７２から画像ＤＢサーバ２０に第２画像取得要求８１が送信される（ステップＳＴ２１）。そして、第２画像取得要求８１に応じて画像ＤＢサーバ２０から送信された個人フォルダ２５内の画像ファイル２７および共有フォルダ２６内の画像ファイル２７が、画像取得部７２において取得される（ステップＳＴ２００）。ステップＳＴ２００は、本開示の技術に係る「画像取得ステップ」の一例である。

続いて抽出部７４において、図１２～図１４で示した抽出処理（ステップＳＴ３００）が実行される。これにより第１ユーザ１２Ｆの関連人物４５の顔９０Ｒが含まれている第２ユーザ画像３６Ｓが抽出される。ステップＳＴ３００は、本開示の技術に係る「抽出ステップ」の一例である。

次いでトリミング部７６において、図１９～図２５で示したトリミング処理（ステップＳＴ４００）が実行される。これにより切り出し画像１１０Ｅがお勧め画像として生成される。ステップＳＴ４００は、本開示の技術に係る「トリミングステップ」の一例である。

切り出し画像１１０Ｅは、トリミング部７６から配信制御部７７に出力される。図２６で示したように、切り出し画像１１０Ｅは、配信制御部７７によって、スコアとともにお勧め画像情報５９とされる。また、切り出し画像１１０Ｅには、スコアに応じた表示順が付される。お勧め画像情報５９は、配信制御部７７によって、お勧め画像配信要求５８の送信元のユーザ端末１１に配信される（ステップＳＴ２２）。

以上説明したように、画像配信サーバ１０のＣＰＵ５２Ａは、情報作成部７０と、画像取得部７２と、抽出部７４と、トリミング部７６とを有する。情報作成部７０は、第１ユーザ１２Ｆに帰属する第１ユーザ画像３６Ｆであって、顔９０が含まれた顔あり画像９１を元に、第１ユーザ１２Ｆに関連する関連人物４５の情報である関連人物情報３２を作成する。画像取得部７２は、共有フォルダ２６内の画像ファイル２７を取得することで、第１ユーザ１２Ｆとは異なる第２ユーザ１２Ｓに帰属する第２ユーザ画像３６Ｓを取得する。抽出部７４は、関連人物情報３２に基づいて、第１ユーザ１２Ｆの関連人物４５の顔９０Ｒが含まれている第２ユーザ画像３６Ｓである対象画像９１Ｒを抽出する。トリミング部７６は、関連人物４５の顔９０Ｒが含まれている対象画像９１Ｒから、関連人物４５の顔９０Ｒを含む領域を切り出し、切り出し画像１１０Ｅとする。したがって、第２ユーザ１２Ｓに帰属する第２ユーザ画像３６Ｓから、第１ユーザ１２Ｆの関連人物情報３２に基づいて切り出した切り出し画像１１０を、第１ユーザ１２Ｆに提示することが可能となる。結果として、多くのユーザ１２をサービスに呼び込むことが可能となる。

関連人物情報３２の作成をユーザ１２に頼った場合は、関連人物４５の登録作業を面倒と感じて登録を怠るユーザ１２がいないとも限らない。こうしたユーザ１２に対しては、関連人物情報３２に基づく切り出し画像１１０を提示することができないので、画像配信サーバ１０によるサービスの提供者にとっては機会損失となる。しかし、本開示の技術では、ユーザ１２に頼ることなく関連人物情報３２を作成することができるため、機会損失を防ぐことができる。

情報作成部７０は、２人以上の関連人物４５を含む関連人物情報３２を作成する。抽出部７４は、２人以上の関連人物４５のうちの少なくとも２人の顔９０Ｒが含まれている対象画像９１Ｒを抽出する。トリミング部７６は、少なくとも２人の顔９０Ｒが含まれている対象画像９１Ｒから、少なくとも２人の顔９０Ｒを含む領域を切り出す。このため、カップル、夫婦、家族、クラブ、サークル等を構成する第１ユーザ１２Ｆに対して、例えば第１ユーザ１２Ｆとその家族といった複数人の人物が含まれている、より付加価値の高い切り出し画像１１０Ｅを提示することができる。

図２６で示したように、配信制御部７７は、お勧め画像情報５９をユーザ端末１１に配信することで、関連人物４５の顔９０Ｒが含まれている第２ユーザ画像３６Ｓである対象画像９１Ｒから切り出した切り出し画像１１０Ｅを、第１ユーザ１２Ｆに対して提示する。このため、第１ユーザ１２Ｆは、切り出し画像１１０Ｅを閲覧することができ、切り出し画像１１０Ｅを自分の個人フォルダ２５に保存したり、写真プリントの注文をしたりして楽しむことができる。

図２５で示したように、トリミング部７６は、顔配置マップ８５を用いて、関連人物４５の顔９０Ｒを含む領域を切り出す。図１５～図１８で示したように、顔配置マップ８５は、画像３６内における顔９０の配置位置を表す。そして、顔配置マップ８５の複数の分割セル１００のうち、顔９０が配置されるべき分割セル１００に対して相対的に高い評価値が割り当てられている。このため、適切な位置に顔９０Ｒが配置された切り出し画像１１０Ｅを得ることができ、切り出し画像１１０Ｅの付加価値をさらに高めることができる。

図１５～図１８で示したように、顔配置マップ８５は関連人物４５の顔９０Ｒの数毎に複数用意されている。トリミング部７６は、複数の顔配置マップ８５の中から、抽出部７４で抽出した対象画像９１Ｒに含まれる関連人物４５の顔９０Ｒの数に応じた１つの顔配置マップ８５を選択する。このため、関連人物４５の顔９０Ｒの数に適合した顔配置マップ８５を用いてトリミング処理を行うことができ、切り出し画像１１０Ｅの付加価値をさらに高めることができる。

図２２および図２４で示したように、トリミング部７６は、対象画像９１Ｒ内における顔配置マップ８５の適用位置を変更しつつ、適用位置毎に評価値に応じたスコアを算出し、算出したスコアに基づいて関連人物４５の顔９０Ｒを含む領域を切り出す。このため、適切な位置に顔９０Ｒが配置された切り出し画像１１０Ｅを得ることができ、切り出し画像１１０Ｅの付加価値をさらに高めることができる。

図６で示したように、関連人物４５は、第１ユーザ１２Ｆとの関連性が相対的に高いメイン人物４５Ｍと、メイン人物４５Ｍよりも第１ユーザ１２Ｆとの関連性が低いサブ人物４５Ｓとを含む。こうして関連人物４５を振り分け、第１ユーザ１２Ｆとの関連性の高低を示す関連ランクを付与することによって、図２３で示したように、関連ランクを加味してスコアを算出することができる。

図１０および図１１で示したように、情報作成部７０は、顔９０が含まれている第１ユーザ画像３６Ｆである顔あり画像９１の枚数に基づいて、メイン人物４５Ｍとサブ人物４５Ｓとを振り分ける。また、情報作成部７０は、予め定められた設定条件を満たす第１ユーザ画像３６Ｆの枚数に対する、顔９０が含まれている顔あり画像９１の枚数の割合に基づいて、メイン人物４５Ｍとサブ人物４５Ｓとを振り分ける。このため、明確にメイン人物４５Ｍとサブ人物４５Ｓとを振り分けることができ、関連人物情報３２の信頼性を高めることができる。

図２６で示したように、配信制御部７７は、お勧め画像情報５９をユーザ端末１１に配信することで、切り出し画像１１０Ｅとスコアの組を、第１ユーザ１２Ｆに対して提示する。このため、第１ユーザ１２Ｆは、切り出し画像１１０Ｅがどの程度適切な位置に顔９０Ｒが配置された画像であるのかを、スコアによって確認することができる。

また、切り出し画像１１０Ｅが複数枚ある場合、複数枚の切り出し画像１１０Ｅは、スコアに応じて並べ替えられて、第１ユーザ１２Ｆに対して提示される。このため、第１ユーザ１２Ｆは、スコアが高い切り出し画像１１０Ｅを一目で把握することができる。

なお、図１０および図１１で示した、第１ユーザ画像３６Ｆで認識された人物に対して関連ランクを付与するための選定条件９６は、認識した人物毎の枚数に関連する条件、および、認識した人物毎の第１ユーザ画像３６Ｆにおける割合に関連する条件のうちの、少なくとも一方に基づくものであってもよい。また、関連ランクに応じて、枚数に関連する条件、または割合に関連する条件を変えてもよい。例えば、メイン人物４５Ｍの選定条件９６である第１選定条件９３を枚数に関連する条件とし、サブ人物４５Ｓの選定条件９６である第２選定条件９４を割合に関連する条件としてもよい。

なお、メイン人物４５Ｍは、顔９０を含む顔あり画像９１の枚数が最も多い人物に限らない。例えば、顔９０を含む顔あり画像９１の枚数が予め定められた第３閾値以上（第３閾値≦枚数）の人物を、メイン人物４５Ｍとして選定してもよい。あるいは、第１割合および第２割合といった割合が予め定められた第４閾値以上（第４閾値≦割合）の人物を、メイン人物４５Ｍとして選定してもよい。これらの場合は、メイン人物４５Ｍとして選定される人物が複数人となることもある。

サブ人物４５Ｓも同様に、上記第１実施形態で例示した第２選定条件９４にしたがって選定した人物に限らない。例えば、顔９０を含む顔あり画像９１の枚数が、第３閾値未満、かつ予め定められた第５閾値以上（第５閾値≦枚数＜第３閾値）の人物を、サブ人物４５Ｓとして選定してもよい。あるいは、第１割合および第２割合といった割合が、第４閾値未満、かつ予め定められた第６閾値以上（第６閾値≦割合＜第４閾値）の人物を、サブ人物４５Ｓとして選定してもよい。

また、割合の算出の元となる「予め定められた設定条件を満たす第１ユーザ画像」は、例示のステップＳＴ１００３で抽出した顔あり画像９１、メイン人物４５Ｍの顔９０Ｒが含まれている顔あり画像９１に限らない。例えば全ての第１ユーザ画像３６Ｆを「予め定められた設定条件を満たす第１ユーザ画像」としてもよい。また、第１ユーザ１２Ｆの顔９０が含まれる顔あり画像９１を「予め定められた設定条件を満たす第１ユーザ画像」としてもよい。こうすることで、第１ユーザ１２Ｆと同じ画像３６に収まっていて、親密度が高いと考えられるユーザ１２の顔９０に基づいて、関連人物情報３２を作成することができる。

第１ユーザ１２Ｆとの関連性の高低を示す関連ランクを付与する態様としては、上記第１実施形態のメイン人物４５Ｍとサブ人物４５Ｓに振り分ける態様に限らない。例えば、顔９０を含む顔あり画像９１の枚数が最も多い人物に関連ランク１を付与し、次に多い人物に関連ランク２を付与し、３番目に多い人物に関連ランク３を付与する等、顔９０を含む顔あり画像９１の枚数順に関連ランクを付与してもよい。同様に、第１割合等の割合順に関連ランクを付与してもよい。

図３２は、上記のようにして関連ランクを付与した場合に、対象画像９１Ｒの画素値を設定値に置換する例を示す。対象画像９１Ｒには、関連ランク１の関連人物４５＿１、関連ランク２の関連人物４５＿２、関連ランク３の関連人物４５＿３のそれぞれの顔９０Ｒが含まれている。また、表１３５に示すように、関連ランク１の関連人物４５＿１の顔９０Ｒの領域の設定値として１、関連ランク２の関連人物４５＿２の顔９０Ｒの領域の設定値として０．８、関連ランク３の関連人物４５＿３の顔９０Ｒの領域の設定値として０．６、・・・がそれぞれ設定されている。また、他の領域の設定値として０が設定されている。この場合、トリミング部７６は、関連人物４５＿１の顔９０Ｒの領域の画素値を１、関連人物４５＿２の顔９０Ｒの領域の画素値を０．８、関連人物４５＿３の顔９０Ｒの領域の画素値を０．６に置換する。また、トリミング部７６は、他の領域の画素値を０に置換する。なお、関連人物情報３２の関連ランクの数は、１つでもよいし、３つ以上でもよい。言い換えると、関連ランクに対応する設定値の数も１つでもよいし、３つ以上でもよい。同様に、図１０および図１１で示した、第１ユーザ画像３６Ｆで認識された人物に対して関連ランクを付与するための選定条件９６の数も１つでもよいし、３つ以上でもよい。

上記第１実施形態では、対象画像９１Ｒの関連人物４５の顔９０Ｒの領域の画素値を正の設定値に置換し、他の領域の画素値を０に置換しているが、これに限らない。関連人物４５の顔９０Ｒの領域の中心の領域の画素値のみを正の設定値に置換し、他の領域の画素値を０に置換してもよい。中心の領域は、例えば鼻と眉間を含む楕円形状の領域である。

図３３に示すように、関連ランク１の関連人物４５＿１、関連ランク２の関連人物４５＿２、・・・というように、関連人物４５毎に、スコアに応じて切り出し画像１１０Ｅに表示順を付してもよい。

上記第１実施形態では、最低解像度に合わせて顔配置マップ８５を整形してから、徐々に顔配置マップ８５を拡大しているが、これに限らない。反対に、対象画像９１Ｒに合わせて顔配置マップ８５を整形してから、徐々に顔配置マップ８５を最低解像度に向けて縮小してもよい。また、対象画像９１Ｒを切り出して切り出し画像１１０とし、切り出し画像１１０を元の対象画像９１Ｒのサイズに拡大して切り出し画像１１０Ｅとしているが、これに限らない。元の対象画像９１Ｒのサイズではなく、切り出し画像１１０を予め定められたサイズとしてもよい。予め定められたサイズとは、例えば、写真プリントに応じたサイズである。

なお、関連人物情報３２の作成タイミングは、上記で例示したタイミングに限らない。お勧め画像配信要求５８を要求受付部７１で受け付けた場合に、関連人物情報３２を作成してもよい。

［第２実施形態］
上記第１実施形態では、情報作成処理において、個人フォルダ２５に含まれる全ての第１ユーザ画像３６Ｆを対象として関連人物情報３２を作成しているが、これに限らない。図３４および図３６に示す第２実施形態のように、関連人物情報３２の作成に用いる第１ユーザ画像３６Ｆを、特定の画像に絞ってもよい。

図３４は、特定のイベントに関する第１ユーザ画像３６Ｆのみを元に、関連人物情報３２を作成する例である。図９および図１０で示した、上記第１実施形態の情報作成処理と異なる点について重点的に説明する。この場合の情報作成処理（ステップＳＴ１００Ｂ）は、第１画像取得要求８０の送信（ステップＳＴ１００１）、および個人フォルダ２５内の画像ファイル２７の取得（ステップＳＴ１００２）までは、上記第１実施形態の情報作成処理（ステップＳＴ１００Ａ）と同じである。この場合においては、上記第１実施形態の情報作成処理（ステップＳＴ１００Ａ）の、画像ファイル２７に含まれる第１ユーザ画像３６Ｆから顔あり画像９１を抽出する処理（ステップＳＴ１００３）に代えて、個人フォルダ２５内の画像ファイル２７の取得後、取得した画像ファイル２７に含まれる第１ユーザ画像３６Ｆから、特定のイベントに関するイベント画像１４０を抽出し（ステップＳＴ１０１０）、イベント画像１４０から顔あり画像９１を抽出する（ステップＳＴ１０１１）。そして、イベント画像１４０から抽出された顔あり画像９１に含まれる顔の人物認識を行う（ステップ１００４）。ステップ１００４以降の手順は、上記第１実施形態の情報作成処理（ステップＳＴ１００Ａ）と同様であるため、説明を省略する。

図３４では、画像情報３５のタグに登録された単語から、結婚式、誕生日、クリスマス等の特定のイベントに関するイベント画像１４０を抽出する例を示している。イベント画像１４０としては、人物の顔９０が含まれていないもの（例えばタグ「クリスマス」のケーキが写っている写真）も含まれる。情報作成部７０は、こうしたイベント画像１４０の中から、顔９０が含まれる顔あり画像９１を抽出する。

このように、情報作成部７０は、特定のイベントに関する第１ユーザ画像３６Ｆであるイベント画像１４０のみを元に、関連人物情報３２を作成する。特定のイベントには、第１ユーザ１２Ｆとの関連性がより高い人物が参加する。このため、第１ユーザ画像３６Ｆには度々写っているが、実際は第１ユーザ１２Ｆとの関連性が比較的低い人物を、関連人物４５として誤認識してしまう事態を避けることができる。関連人物情報３２の信頼性を高めることができる。また、全ての第１ユーザ画像３６Ｆを対象とする場合よりも、関連人物情報３２の作成に掛かる負荷を減らすことができる。

なお、特定のイベントは、例示の結婚式、誕生日、クリスマス等に限らない。葬式、地元の祭り、旅行、ひな祭り、端午の節句等でもよい。誕生日、クリスマス、ひな祭り、端午の節句といったイベントに関するイベント画像１４０は、タグに登録された単語ではなく撮影日時から抽出してもよい。また、画像解析によって第１ユーザ画像３６Ｆに写されているイベントを推定し、推定したイベントが特定のイベントであった場合は、当該第１ユーザ画像３６Ｆをイベント画像１４０として抽出してもよい。

ステップＳＴ１０１０とステップＳＴ１０１１の手順を逆にしてもよい。すなわち、第１ユーザ画像３６Ｆから顔あり画像９１を抽出した後、顔あり画像９１からイベント画像１４０を抽出してもよい。

図３５は、特定の期間に関する第１ユーザ画像３６Ｆのみを元に、関連人物情報３２を作成する例である。図９および図１０で示した、上記第１実施形態の情報作成処理と異なる点について重点的に説明する。この場合の情報作成処理（ステップＳＴ１００Ｃ）は、前述の情報作成処理（ステップＳＴ１００Ｂ）と同じく、第１画像取得要求８０の送信（ステップＳＴ１００１）、および個人フォルダ２５内の画像ファイル２７の取得（ステップＳＴ１００２）までは、上記第１実施形態の情報作成処理（ステップＳＴ１００Ａ）と同じである。この場合においては、上記第１実施形態の情報作成処理（ステップＳＴ１００Ａ）の、画像ファイル２７に含まれる第１ユーザ画像３６Ｆから顔あり画像９１を抽出する処理（ステップＳＴ１００３）に代えて、個人フォルダ２５内の画像ファイル２７の取得後、取得した画像ファイル２７に含まれる第１ユーザ画像３６Ｆから特定の期間に関する期間画像１４２を抽出し（ステップＳＴ１０２０）、期間画像１４２から顔あり画像９１を抽出する（ステップＳＴ１０２１）。そして、期間画像１４２から抽出された顔あり画像９１に含まれる顔の人物認識を行う（ステップ１００４）。ステップ１００４以降の手順は、上記第１実施形態の情報作成処理（ステップＳＴ１００Ａ）と同様であるため、説明を省略する。

図３５では、画像情報３５の撮影日時が２０１９年の第１ユーザ画像３６Ｆを、期間画像１４２として抽出する例を示している。情報作成部７０は、こうした期間画像１４２の中から、顔９０が含まれる顔あり画像９１を抽出する。

このように、情報作成部７０は、特定の期間に関する第１ユーザ画像３６Ｆである期間画像１４２のみを元に、関連人物情報３２を作成する。このため、日々変化する第１ユーザ１２Ｆの人間関係を、関連人物情報３２に反映させることができる。また、イベント画像１４０を対象とする場合と同じく、全ての第１ユーザ画像３６Ｆを対象とする場合よりも、関連人物情報３２の作成に掛かる負荷を減らすことができる。

なお、特定の期間は、例示の１年間に限らない。５年間、１０年間等でもよい。また、スキャナ１６で読み取った古い写真等、撮影日時が不明な第１ユーザ画像３６Ｆに対して画像解析を施すことで撮影日時を推定し、推定した撮影日時を元に期間画像１４２を抽出してもよい。

ステップＳＴ１０２０とステップＳＴ１０２１の手順を逆にしてもよい。すなわち、第１ユーザ画像３６Ｆから顔あり画像９１を抽出した後、顔あり画像９１から期間画像１４２を抽出してもよい。

第１割合および第２割合といった割合の算出に用いる「予め定められた設定条件を満たす第１ユーザ画像の枚数」を、イベント画像１４０の全枚数、または期間画像１４２の全枚数としてもよい。

例えば直近５年間の特定のイベントに関する第１ユーザ画像３６Ｆを元に関連人物情報３２を作成する等、図３４に示す態様と、図３５に示す態様とを、複合して実施してもよい。

図３６に示すように、特定の期間毎に関連人物情報３２を作成し、抽出部７４において第２ユーザ画像３６Ｓから対象画像９１Ｒを抽出する場合に、関連人物情報３２を使い分けてもよい。図３６は、年度毎に関連人物情報３２を作成した例を示す。この場合、例えば２０１９年度の関連人物情報３２は、抽出部７４において２０１９年度の第２ユーザ画像３６Ｓから対象画像９１Ｒを抽出する場合に用いる。こうすれば、より第１ユーザ１２Ｆの人間関係を反映させた対象画像９１Ｒを抽出することができ、結果として切り出し画像１１０Ｅの付加価値をより高めることができる。

なお、上記第１実施形態の、全ての第１ユーザ画像３６Ｆを対象として関連人物情報３２を作成する態様において、以下のようにしてもよい。すなわち、第１ユーザ画像３６Ｆから抽出した顔あり画像９１の中から、さらにイベント画像１４０を抽出する。そして、イベント画像１４０については、顔９０を認識した人物毎に、顔９０を含む顔あり画像９１の枚数を算出するステップＳＴ１００５において、枚数を１枚ではなく例えば５枚と算出する。あるいは、第１ユーザ画像３６Ｆから抽出した顔あり画像９１の中から期間画像１４２を抽出し、期間画像１４２については、ステップＳＴ１００５において例えば５枚と算出する。第１ユーザ画像３６Ｆから抽出した顔あり画像９１の中から、イベント画像１４０および期間画像１４２を抽出し、ステップＳＴ１００５において算出するイベント画像１４０および期間画像１４２の枚数を１枚より多くしてもよい。こうすれば、全ての第１ユーザ画像３６Ｆを対象としつつも、より信頼性の高い関連人物情報３２を作成することができる。

［第３実施形態］
図３７および図３８に示す第３実施形態では、関連人物４５以外の人物の顔９０に係るスコアを、関連人物４５の顔９０Ｒに係るスコアの正負とは逆の値で算出する。

図３７は、第３実施形態において、対象画像９１Ｒの画素値を設定値に置換する様子を示す。対象画像９１Ｒには、計５人の人物の顔９０が含まれている。そして、５人の人物のうちの中央に２人並んだ人物が関連人物４５で、２人の関連人物４５の顔９０Ｒの上部中央に、関連人物４５以外の人物の顔９０が写っている。表１４５に示すように、設定値は、関連人物４５の顔９０Ｒの領域には１が設定されているのに対して、関連人物４５以外の人物の顔９０の領域には－１が設定されている。また、他の領域には０が設定されている。この場合、トリミング部７６は、関連人物４５の顔９０Ｒの領域の画素値を１、関連人物４５以外の人物の顔９０の領域の画素値を－１、他の領域の画素値を０にそれぞれ置換する。関連人物４５以外の人物の顔９０の領域の画素値を－１に置換したことで、関連人物４５以外の人物の顔９０に係るスコアは、関連人物４５の顔９０Ｒに係るスコアとは正負が逆の、負の値で算出される。

このように、関連人物４５以外の人物の顔９０に係るスコアを負の値で算出することで、以下に説明する効果を奏する。まず、上記第１実施形態のように、関連人物４５以外の人物の顔９０に係るスコアを負の値で算出しない場合を考える。この場合、図３７で示した対象画像９１Ｒのような、関連人物４５の顔９０Ｒと、関連人物４５以外の人物の顔９０との距離が相対的に近い構図では、図３８Ａに示すように、顔配置マップ８５ａにしたがって切り出した切り出し画像１１０Ｅに、関連人物４５以外の人物の顔９０も一部写り込んでしまい、見栄えがよくない。

対して、関連人物４５以外の人物の顔９０に係るスコアを負の値で算出すれば、関連人物４５以外の人物の顔９０を含む適用位置におけるスコアが、関連人物４５以外の人物の顔９０を含まない適用位置におけるスコアよりも低く算出される。このため、図３８Ｂに示すように、関連人物４５以外の人物の顔９０を含まない領域を切り出す確率が高くなる。したがって、切り出し画像１１０Ｅの見栄えをよくすることができ、切り出し画像１１０Ｅの付加価値をより高めることができる。

なお、上記とは逆に、関連人物４５の顔９０Ｒの領域に負の値の設定値を設定する等して、関連人物４５の顔９０Ｒに係るスコアを負の値で算出する場合、トリミング部７６は、関連人物４５以外の人物の顔９０の領域に正の値の設定値を設定する等して、関連人物４５以外の人物の顔９０に係るスコアを正の値で算出する。また、関連人物４５の顔９０Ｒに係るスコアを負の値で算出する場合、トリミング部７６は、スコアが最低点、もしくは、予め定められた設定値以下の適用位置に配置された顔配置マップ８５で、切り出し画像１１０を生成してもよい。

切り出し画像１１０Ｅの見栄えをよくする方法としては、以下に示す方法を採用してもよい。すなわち、関連人物４５の顔９０Ｒと、関連人物４５以外の人物の顔９０との距離が、予め定められた第７閾値未満であった場合は、関連人物４５の顔９０Ｒの数と、関連人物４５以外の人物の顔９０の数を合計した数に応じて、使用する顔配置マップ８５を選択する。そして、関連人物４５以外の人物の顔９０の領域に対して、関連人物４５の顔９０Ｒと同等の設定値を設定する。

図３９は、２人の関連人物４５の顔９０Ｒ１、９０Ｒ２と、関連人物４５以外の１人の人物の顔９０との距離が第７閾値ｐＬ未満であった場合を例示している。２人の関連人物４５の顔９０Ｒ１、９０Ｒ２と、関連人物４５以外の１人の人物の顔９０との距離とは、例えば、関連人物４５の顔９０Ｒ１、９０Ｒ２の中心をそれぞれｃ１、ｃ２として、関連人物４５以外の１人の人物の顔９０の中心をｃ３とした場合、ｃ１とｃ３を結ぶ線分Ｌ１の長さと、ｃ２とｃ３を結ぶ線分Ｌ２の長さである。トリミング部７６は、線分Ｌ１と線分Ｌ２の少なくとも一方の長さが第７閾値ｐＬ未満である場合、関連事物４５以外の１人の人物を、以下に説明するように関連人物４５と同様に扱ってもよい。

トリミング部７６は、関連人物４５の顔９０Ｒの数によれば第１顔配置マップ８５ａを選択すべきところ、関連人物４５の顔９０Ｒの数と、関連人物４５以外の人物の顔９０の数を合計した数である３つに応じて、第２顔配置マップ８５ｂを選択する。こうすれば、関連人物４５以外の人物の顔９０の全体を、図３８Ａで示したように一部切られることなく、切り出し画像１１０Ｅ内に収めることができる。なお、図３９において、関連人物４５と関連人物４５以外の人物との距離を、顔９０の中心同士を結ぶ線分の長さとしたが、これに限らない。例えば、顔９０の重心同士を結ぶ線分の長さ、顔９０に含まれる目、鼻等の特定部位同士を結ぶ線分の長さ、顔９０の輪郭同士を結ぶ最短の線分の長さの少なくともいずれかとしてもよい。

図３７および図３８Ｂで示した態様、図３８Ａで示した態様、および図３９で示した態様を、ユーザ１２が選択可能に構成してもよい。また、これら３つの態様でそれぞれ切り出し画像１１０Ｅを生成し、３つの切り出し画像１１０Ｅをユーザ１２に提示してもよい。

［第４実施形態］
上記第１実施形態では、式（１）～式（８）に基づいて予め作成された顔配置マップ８５を用いているが、これに限らない。図４０～図４６に示す第４実施形態のように、顔あり画像９１を元に顔配置マップ８５を作成してもよい。

図４０において、第４実施形態では、画像配信サーバ１０のＣＰＵ５２Ａは、上記第１実施形態の各部に加えて、マップ作成部１５０として機能する。また、画像配信サーバ１０には、画像ＤＢサーバ２０およびユーザ情報ＤＢサーバ２１に加えて、マップＤＢサーバ１５１が接続されている。なお、マップＤＢサーバ１５１は、画像ＤＢサーバ２０およびユーザ情報ＤＢサーバ２１の少なくとも一方と同一のＤＢサーバとして構成されてもよいし、画像配信サーバ１０に含まれていてもよい。

マップ作成部１５０は、ユーザ１２毎に顔配置マップ８５を作成する。マップ作成部１５０は、作成した顔配置マップ８５をマップＤＢサーバ１５１に送信する。マップＤＢサーバ１５１はマップＤＢ１５２を有する。マップＤＢサーバ１５１は、マップ作成部１５０からの顔配置マップ８５をマップＤＢ１５２に蓄積して管理する。マップＤＢ１５２は、ユーザＩＤに関連付けて顔配置マップ８５を記憶する。

マップ作成部１５０は、第３画像取得要求１５３を画像ＤＢサーバ２０に送信する。第３画像取得要求１５３は、顔配置マップ８５が作成されていない第１ユーザ１２Ｆの個人フォルダ２５内の画像ファイル２７の取得を要求するものである。また、第３画像取得要求１５３は、前回顔配置マップ８５を作成してから、予め定められた時間（以下、第２設定時間という）が経過した第１ユーザ１２Ｆの個人フォルダ２５内の画像ファイル２７の取得を要求するものである。第３画像取得要求１５３は、顔配置マップ８５が作成されていない第１ユーザ１２ＦのユーザＩＤ、または前回顔配置マップ８５を作成してから第２設定時間が経過した第１ユーザ１２ＦのユーザＩＤを含む。第３画像取得要求１５３によって、顔配置マップ８５が作成されていない第１ユーザ１２Ｆの個人フォルダ２５内の画像ファイル２７の取得を要求するタイミングは、例えば、当該第１ユーザ１２Ｆの個人フォルダ２５内に格納されている画像ファイル２７が、予め定められた枚数以上となったタイミングである。あるいは、当該第１ユーザ１２Ｆが、ユーザ端末１１に画像閲覧ＡＰ１１５をインストールしたタイミングでもよい。なお、第２設定時間は、例えば１ケ月、半年、１年等である。予め定められた第２枚数の画像ファイル２７を新たに送信した場合に、第３画像取得要求１５３を送信してもよい。

画像ＤＢサーバ２０は、第３画像取得要求１５３に応じた個人フォルダ２５内の、第１ユーザ画像３６Ｆを含む画像ファイル２７を画像ＤＢ２２から読み出し、読み出した画像ファイル２７を画像配信サーバ１０に送信する。マップ作成部１５０は、第３画像取得要求１５３に応じて画像ＤＢサーバ２０から送信された、第１ユーザ画像３６Ｆを含む画像ファイル２７を取得する。マップ作成部１５０は、取得した画像ファイル２７に含まれる第１ユーザ画像３６Ｆを元に、顔配置マップ８５を作成する。顔配置マップ８５が作成されていなかった場合、マップＤＢサーバ１５１は、マップ作成部１５０からの顔配置マップ８５をマップＤＢ１５２に新規に登録する。一方、顔配置マップ８５が既に作成されていた場合、マップＤＢサーバ１５１は、マップＤＢ１５２に記憶されている顔配置マップ８５を、マップ作成部１５０からの顔配置マップ８５に書き換える。また、マップＤＢサーバ１５１は、顔配置マップ８５をトリミング部７６に送信する。

図４１～図４４は、マップ作成部１５０において実行される顔配置マップ８５を作成するマップ作成処理（ステップＳＴ５００Ａ）の手順を示す。マップ作成部１５０は、まず、第３画像取得要求１５３を画像ＤＢサーバ２０に送信する（ステップＳＴ５００１）。そして、マップ作成部１５０は、第３画像取得要求１５３に応じて画像ＤＢサーバ２０から送信された個人フォルダ２５内の画像ファイル２７を取得する（ステップＳＴ５００２）。

マップ作成部１５０は、顔認識技術を用いて、取得した画像ファイル２７に含まれる第１ユーザ画像３６Ｆから、顔９０が含まれる顔あり画像９１を抽出する（ステップＳＴ５００３）。次いで、マップ作成部１５０は、抽出した顔あり画像９１の画質を評価する（ステップＳＴ５００４）。

図４３では、画質の評価結果として画質評価値を算出する場合を例示している。画質評価値は、例えば、顔９０の輪郭に対してエッジ検出を行って得られた、顔９０の輪郭のブレ度を示す値である。なお、画質評価値は、例えば露出度（白飛び、黒つぶれ）に応じた値であってもよいし、ブレ度、露出度等の画質を表す複数の指標を網羅的に取り込んだ値であってもよい。

マップ作成部１５０は、評価した画質が設定レベル以上の顔あり画像９１を選定する（ステップＳＴ５００５）。図４３では、設定レベルが１００であった場合を例示している。この場合、画質評価値が１００未満の顔あり画像９１は除外される。

マップ作成部１５０は、ステップＳＴ５００５で選定した、画質が設定レベル以上の顔あり画像９１を元に、顔配置マップ８５を作成する（ステップＳＴ５００６）。

図４２は、ステップＳＴ５００６の顔配置マップ８５の作成のより詳しい手順を示す。まず、マップ作成部１５０は、顔あり画像９１の人物の顔９０の領域の画素値を１、他の領域の画素値を０にそれぞれ置換する（ステップＳＴ５００６１）。次いで、マップ作成部１５０は、各顔あり画像９１の置換した画素値を、画素毎に積算する（ステップＳＴ５００６２）。マップ作成部１５０は、画素値の積算値を顔あり画像９１の枚数で除算し、これにより得られた数値を顔配置マップ８５の評価値とする（ステップＳＴ５００６３）。

マップ作成部１５０は、２人の人物の顔９０が含まれている顔あり画像９１から第１顔配置マップ８５ａを作成する。また、マップ作成部１５０は、３人の人物の顔９０が含まれている顔あり画像９１から第２顔配置マップ８５ｂを作成する。さらに、マップ作成部１５０は、４人以上の人物の顔９０が含まれている顔あり画像９１から第３顔配置マップ８５ｃを作成する。さらにまた、マップ作成部１５０は、１人の人物の顔９０が含まれている顔あり画像９１から第４顔配置マップ８５ｄを作成する。

図４４は、２人の人物の顔９０が含まれている１００枚の顔あり画像９１から、第１顔配置マップ８５ａを作成する例を示している。顔あり画像９１において、顔９０は、様々な位置に配置されている。このため、ステップＳＴ５００６２において算出される画素値の積算値は、破線の円１５５内に示すように様々な値をとる。同様に、ステップＳＴ５００６３において算出される評価値も、破線の円１５６内に示すように様々な値となる。したがって、顔配置マップ８５は、上記第１実施形態のように左右対称な評価値の分布とはならず、偏った評価値の分布となる。

マップ作成部１５０は、こうして作成した顔配置マップ８５を、マップＤＢサーバ１５１に送信する（ステップＳＴ５００７）。マップ作成部１５０は、例えば、第１ユーザ１２Ｆの第１ユーザ画像３６Ｆに基づき作成した顔配置マップ８５を、第１ユーザ１２ＦのユーザＩＤに対応付けてマップＤＢサーバ１５１に登録させる。以上で、マップ作成部１５０によるマップ作成処理が終了する。なお、本実施形態において、マップ作成部１５０は、評価した画質が設定レベル以上の顔あり画像９１を選定するとしたが、これに限らない。例えば、第１ユーザ画像３６Ｆに含まれる顔あり画像９１の全てを対象として顔配置マップ８５を作成してもよい。

このように、顔あり画像９１を元に顔配置マップ８５を作成すれば、実際の撮影傾向に適応した顔配置マップ８５を作成することができる。また、顔配置マップ８５の作成に用いる顔あり画像９１を、画質が予め定められた設定レベル以上の画像とするので、顔配置マップ８５の信頼性を高めることができる。

顔配置マップ８５の作成に用いる顔あり画像９１を、第１ユーザ画像３６Ｆとするので、第１ユーザ１２Ｆの撮影傾向に適応した顔配置マップ８５を作成することができる。言い換えれば、顔配置マップ８５を第１ユーザ１２Ｆ用にカスタマイズすることができる。

図４５および図４６は、第１ユーザ１２Ｆによって選択された第１ユーザ画像３６Ｆを、顔配置マップ８５の作成に用いる例を示す。この場合のマップ作成処理（ステップＳＴ５００Ｂ）は、第１ユーザ１２Ｆによる選択履歴がある顔あり画像９１を選定する（ステップＳＴ５０１０）点が、マップ作成処理（ステップＳＴ５００Ａ）と異なる。選択履歴は、画像情報３５に項目が用意されて記憶される。選択履歴の項目には、例えば、画像投稿に特化したＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）に、第１ユーザ１２Ｆの手でアップロードされた第１ユーザ画像３６Ｆに対して「あり」が記憶される。

図４６は、ステップＳＴ５００２、ステップＳＴ５００３、およびステップＳＴ５０１０の様子を示す。マップ作成部１５０は、選択履歴が「あり」の顔あり画像９１を選定し、選択履歴が「なし」の顔あり画像９１を除外する。

第１ユーザ１２Ｆによって選択された第１ユーザ画像３６Ｆは、第１ユーザ１２Ｆが好む画像である。このため、第１ユーザ１２Ｆによって選択された第１ユーザ画像３６Ｆを選定して顔配置マップ８５の作成に用いれば、第１ユーザ１２Ｆが好む顔９０の配置位置を反映させた顔配置マップ８５を作成することができる。

なお、ＳＮＳにアップロードされた第１ユーザ画像３６Ｆを、第１ユーザ１２Ｆによって選択された第１ユーザ画像３６Ｆとしたが、これに限らない。顔配置マップ８５の作成に先立って、ユーザ端末１１に第１ユーザ画像３６Ｆを一覧表示し、一覧表示された第１ユーザ画像３６Ｆの中から、顔配置マップ８５の作成に用いる第１ユーザ画像３６Ｆを第１ユーザ１２Ｆに選択させてもよい。

第１ユーザ画像３６Ｆに限らず、他の画像３６を元に顔配置マップ８５を作成してもよい。他の画像３６としては、例えば共有フォルダ２６内の画像ファイル２７に含まれる第２ユーザ画像３６Ｓが挙げられる。画像ＤＢ２２に格納された全画像３６を元に顔配置マップ８５を作成してもよい。このように、第１ユーザ画像３６Ｆに限らず、他の画像３６を元に顔配置マップ８５を作成すれば、より一般的な撮影傾向に適応した顔配置マップ８５を作成することができる。なお、他の画像３６を元に顔配置マップ８５を作成する場合も、画質が予め定められた設定レベル以上の顔あり画像９１を選定してもよいし、ユーザ１２によって選択された顔あり画像９１を選定してもよい。

顔あり画像９１の枚数が予め定められた閾値未満であった場合は、顔配置マップ８５の作成を中止してもよい。この場合は、上記第１実施形態で例示した、式（１）～式（８）に基づいて予め作成された顔配置マップ８５を用いる。また、顔あり画像９１から、関連人物４５の顔９０Ｒが含まれている対象画像９１Ｒを選定し、選定した対象画像９１Ｒを元に顔配置マップ８５を作成してもよい。

縦長の画像３６用の顔配置マップ８５と横長の画像３６用の顔配置マップ８５とを分けて作成してもよい。また、１：１、４：３、１６：９といった画像３６のアスペクト比毎に顔配置マップ８５を作成してもよい。

結婚式、運動会といったイベント毎に顔配置マップ８５を作成してもよい。また、運動会の徒競走等で人物が動いている場合と、集合写真等で人物が静止している場合とで分けて顔配置マップ８５を作成してもよい。

関連ランク１が付与された関連人物４５＿１用、関連ランク２が付与された関連人物４５＿２用等、関連人物４５の関連ランク毎に顔配置マップ８５を作成してもよい。

なお、顔配置マップ８５の作成タイミングは、上記で例示したタイミングに限らない。お勧め画像配信要求５８を要求受付部７１で受け付けた場合に、顔配置マップ８５を作成してもよい。

画質が予め定められた設定レベル以上の第１ユーザ画像３６Ｆを用いて、関連人物情報３２を作成してもよい。この場合、第１割合および第２割合といった割合の算出の元になる「予め定められた設定条件を満たす第１ユーザ画像の枚数」を、画質が予め定められた設定レベル以上の第１ユーザ画像３６Ｆの全枚数としてもよい。

例えば特開２００７－２７２６８５号公報の方法を用いて、顔配置マップ８５を用いずにトリミング処理を実行してもよい。ただし、この場合は、最低解像度よりも低い解像度の切り出し画像１１０Ｅが生成されるおそれがある。対して顔配置マップ８５を用いれば、スコアの最高点が予め定められた閾値未満であった場合に、対象画像９１Ｒの切り出しを中止することもできるため、最低解像度よりも低い解像度の切り出し画像１１０Ｅが生成されるおそれはない。

対象画像９１Ｒを、メイン人物４５Ｍが含まれている対象画像９１Ｒに限定してもよい。また、関連人物情報３２をユーザ１２が修正可能に構成してもよい。

ユーザグループ２８を構成する複数のユーザ１２の中に、画像ファイル２７は共有フォルダ２６に格納していないが、共有フォルダ２６へのアクセス権限はもつユーザ１２がいても構わない。

画像配信サーバ１０を構成するコンピュータのハードウェア構成は種々の変形が可能である。例えば、画像配信サーバ１０を、処理能力および信頼性の向上を目的として、ハードウェアとして分離された複数台のサーバコンピュータで構成することも可能である。例えば、要求受付部７１、画像取得部７２、情報取得部７３、および配信制御部７７の機能と、情報作成部７０、抽出部７４、ＲＷ制御部７５、およびトリミング部７６の機能とを、２台のサーバコンピュータに分散して担わせる。この場合は２台のサーバコンピュータで画像配信サーバ１０を構成する。

このように、画像配信サーバ１０のコンピュータのハードウェア構成は、処理能力、安全性、信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、作動プログラム６５等のアプリケーションプログラムについても、安全性および信頼性の確保を目的として、二重化したり、あるいは、複数のストレージデバイスに分散して格納することももちろん可能である。

画像配信サーバ１０の各処理部の機能の一部または全部を、ユーザ端末１１が担ってもよい。

上記各実施形態において、例えば、情報作成部７０、要求受付部７１、画像取得部７２、情報取得部７３、抽出部７４、ＲＷ制御部７５、トリミング部７６、配信制御部７７、およびマップ作成部１５０といった各種の処理を実行する処理部（Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のハードウェア的な構造としては、次に示す各種のプロセッサ（Ｐｒｏｃｅｓｓｏｒ）を用いることができる。各種のプロセッサには、ソフトウェア（作動プログラム６５）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ５２Ａに加えて、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ:ＰＬＤ）、および／またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、および／または、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（Ｓｙｓｔｅｍ Ｏｎ Ｃｈｉｐ:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Ｃｉｒｃｕｉｔｒｙ）を用いることができる。

本開示の技術は、上述の種々の実施形態および／または種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体にもおよぶ。

以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

本明細書において、「Ａおよび／またはＢ」は、「ＡおよびＢのうちの少なくとも１つ」と同義である。つまり、「Ａおよび／またはＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、ＡおよびＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「および／または」で結び付けて表現する場合も、「Ａおよび／またはＢ」と同様の考え方が適用される。

本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

１０ 画像配信サーバ（画像処理装置）
１１ ユーザ端末
１２ ユーザ
１２Ｆ 第１ユーザ
１２Ｓ 第２ユーザ
１３ ネットワーク
１５ デジタルカメラ
１６ スキャナ
２０ 画像データベースサーバ（画像ＤＢサーバ）
２１ ユーザ情報データベースサーバ（ユーザ情報ＤＢサーバ）
２２ 画像データベース（画像ＤＢ）
２３ ユーザ情報データベース（ユーザ情報ＤＢ）
２５ 個人フォルダ
２６ 共有フォルダ
２７ 画像ファイル
２８ ユーザグループ
３０ ユーザ情報
３１ ユーザ基本情報
３２ 関連人物情報
３５ 画像情報
３６ 画像
３６Ｆ 第１ユーザ画像
３６Ｓ 第２ユーザ画像
４０ 顔画像
４５、４５＿１、４５＿２、４５＿３ 関連人物
４５Ｍ メイン人物
４５Ｓ サブ人物
５０、５０Ａ、５０Ｂ ストレージデバイス
５１ メモリ
５２、５２Ｂ ＣＰＵ
５２Ａ ＣＰＵ（プロセッサ）
５３ 通信部
５４、５４Ｂ ディスプレイ
５５、５５Ｂ 入力デバイス
５６ バスライン
５７ 画像配信要求
５８ お勧め画像配信要求
５９ お勧め画像情報
６５ 作動プログラム（画像処理装置の作動プログラム）
６６ 顔配置マップセット
７０ 情報作成部
７１ 要求受付部
７２ 画像取得部
７３ 情報取得部
７４ 抽出部
７５ リードライト制御部（ＲＷ制御部）
７６ トリミング部
７７ 配信制御部
８０ 第１画像取得要求
８１ 第２画像取得要求
８２ 情報取得要求
８５ 顔配置マップ
８５ａ 第１顔配置マップ
８５ｂ 第２顔配置マップ
８５ｃ 第３顔配置マップ
８５ｄ 第４顔配置マップ
９０ 顔
９０Ｒ、９０Ｒ１、９０Ｒ２ 関連人物の顔
９１ 顔あり画像
９１Ｒ 対象画像（関連人物の顔が含まれている顔あり画像）
９２、９５、１０１、１０５、１３５、１４５ 表
９３ 第１選定条件
９４ 第２選定条件
９６ 選定条件
１００ 分割セル
１１０、１１０Ｅ 切り出し画像
１１５ 画像閲覧アプリケーションプログラム（画像閲覧ＡＰ）
１２０ ブラウザ制御部
１２５ 画像表示画面
１２６ 共有フォルダ指定ボタン
１２７ コンテキストメニュー
１２８ お勧め画像配信指示ボタン
１２９ キャンセルボタン
１３０ お勧め画像情報表示画面
１３１ お勧めスコア
１３２ 保存ボタン
１３３ プリント注文ボタン
１４０ イベント画像
１４２ 期間画像
１５０ マップ作成部
１５１ マップデータベースサーバ（マップＤＢサーバ）
１５２ マップＤＢ（マップデータベース）
１５３ 第３画像取得要求
１５５、１５６ 円
ｃ１～ｃ３ 顔の中心
Ｌ１、Ｌ２ 顔の中心を結ぶ線分
ｐＬ 第７閾値
ＳＴ１０、ＳＴ２０、ＳＴ２１、ＳＴ２２、ＳＴ５００Ａ、ＳＴ５００Ｂ、ＳＴ１００１、ＳＴ１００２、ＳＴ１００３、ＳＴ１００４、ＳＴ１００５、ＳＴ１００６、ＳＴ１００７、ＳＴ１０１０、ＳＴ１０１１、ＳＴ１０２０、ＳＴ１０２１、ＳＴ３００１、ＳＴ３００２、ＳＴ３００３、ＳＴ３００４、ＳＴ３００５、ＳＴ４００１、ＳＴ４００２、ＳＴ４００３、ＳＴ４００４、ＳＴ４００５、ＳＴ４００６、ＳＴ４００７、ＳＴ４００８、ＳＴ５００１、ＳＴ５００２、ＳＴ５００３、ＳＴ５００４、ＳＴ５００５、ＳＴ５００６、ＳＴ５００７、ＳＴ５０１０、ＳＴ４００３１、ＳＴ４００３２、ＳＴ４００３３、ＳＴ５００６１、ＳＴ５００６２、ＳＴ５００６３ ステップ
ＳＴ１００Ａ、ＳＴ１００Ｂ、ＳＴ１００Ｃ ステップ（情報作成ステップ）
ＳＴ２００ ステップ（画像取得ステップ）
ＳＴ３００ ステップ（抽出ステップ）
ＳＴ４００ ステップ（トリミングステップ）

Claims (22)

1. 少なくとも１つのプロセッサを備え、
   前記プロセッサは、
   顔が含まれた第１画像を元に、前記第１画像に関連する関連人物の情報である関連人物情報を作成し、
   前記第１画像とは異なる第２画像を取得し、
   前記関連人物情報に基づいて、前記関連人物の顔が含まれている前記第２画像を抽出し、
   前記関連人物の顔が含まれている前記第２画像から、画像内における顔の配置位置を表す顔配置マップであって、複数の分割セルのうち、顔が配置されるべき前記分割セルに対して相対的に高い評価値が割り当てられた顔配置マップを用いて、前記関連人物の顔を含む領域を決定する、
   画像処理装置。
2. 前記プロセッサは、
   ２人以上の前記関連人物を含む前記関連人物情報を作成し、
   前記２人以上の前記関連人物のうちの少なくとも２人の顔が含まれている前記第２画像を抽出し、
   前記少なくとも２人の顔が含まれている前記第２画像から、前記少なくとも２人の顔を含む領域を決定する請求項１に記載の画像処理装置。
3. 前記プロセッサは、
   決定した前記領域に基づき前記第２画像から切り出した切り出し画像を提示する請求項１または請求項２に記載の画像処理装置。
4. 前記プロセッサは、
   特定のイベントに関する前記第１画像のみを元に、前記関連人物情報を作成する請求項１から請求項３のいずれか１項に記載の画像処理装置。
5. 前記プロセッサは、
   特定の期間に関する前記第１画像のみを元に、前記関連人物情報を作成する請求項１から請求項４のいずれか１項に記載の画像処理装置。
6. 前記顔配置マップは顔の数毎に複数用意されており、
   前記プロセッサは、
   複数の前記顔配置マップの中から、前記抽出した前記第２画像に含まれる前記関連人物の顔の数に応じた１つの前記顔配置マップを選択する請求項１から請求項５のいずれか１項に記載の画像処理装置。
7. 前記プロセッサは、
   前記第２画像内における前記顔配置マップの適用位置を変更しつつ、前記適用位置毎に前記評価値に応じたスコアを算出し、算出した前記スコアに基づいて前記関連人物の顔を含む領域を決定する請求項１から請求項６のいずれか１項に記載の画像処理装置。
8. 前記プロセッサは、
   前記関連人物情報を作成する場合に、関連性の高低を示す関連ランクを前記関連人物毎に付与し、
   前記関連ランクを加味して前記スコアを算出する請求項７に記載の画像処理装置。
9. 前記プロセッサは、
   顔が含まれている前記第１画像の枚数に基づいて、前記関連ランクを付与する請求項８に記載の画像処理装置。
10. 前記プロセッサは、
    予め定められた設定条件を満たす前記第１画像の枚数に対する、顔が含まれている前記第１画像の枚数の割合に基づいて、前記関連ランクを付与する請求項８または請求項９に記載の画像処理装置。
11. 前記プロセッサは、
    前記関連人物以外の人物の顔に係る前記スコアを、前記関連人物の顔に係る前記スコアの正負とは逆の値で算出する請求項７から請求項１０のいずれか１項に記載の画像処理装置。
12. 前記プロセッサは、
    決定した前記領域に基づき前記第２画像から切り出した切り出し画像と前記スコアの組を提示する請求項７から請求項１１のいずれか１項に記載の画像処理装置。
13. 決定した前記領域に基づき前記第２画像から切り出した切り出し画像が複数枚ある場合、複数枚の前記切り出し画像は、前記スコアに応じて並べ替えられて提示される請求項７から請求項１２のいずれか１項に画像処理装置。
14. 前記プロセッサは、
    顔が含まれた顔あり画像を元に前記顔配置マップを作成する請求項１から請求項１３のいずれか１項に記載の画像処理装置。
15. 前記顔あり画像は、画質が予め定められた設定レベル以上の画像である請求項１４に記載の画像処理装置。
16. 前記顔あり画像は、前記第１画像である請求項１４または請求項１５に記載の画像処理装置。
17. 前記顔あり画像は、ユーザによって選択された前記第１画像である請求項１６に記載の画像処理装置。
18. 顔が含まれた第１画像を元に、前記第１画像に関連する関連人物の情報である関連人物情報を作成する情報作成ステップと、
    前記第１画像とは異なる第２画像を取得する画像取得ステップと、
    前記関連人物情報に基づいて、前記関連人物の顔が含まれている前記第２画像を抽出する抽出ステップと、
    前記関連人物の顔が含まれている前記第２画像から、画像内における顔の配置位置を表す顔配置マップであって、複数の分割セルのうち、顔が配置されるべき前記分割セルに対して相対的に高い評価値が割り当てられた顔配置マップを用いて、前記関連人物の顔を含む領域を決定する決定ステップと、
    を備える画像処理装置の作動方法。
19. 顔が含まれた第１画像を元に、前記第１画像に関連する関連人物の情報である関連人物情報を作成する情報作成部と、
    前記第１画像とは異なる第２画像を取得する画像取得部と、
    前記関連人物情報に基づいて、前記関連人物の顔が含まれている前記第２画像を抽出する抽出部と、
    前記関連人物の顔が含まれている前記第２画像から、画像内における顔の配置位置を表す顔配置マップであって、複数の分割セルのうち、顔が配置されるべき前記分割セルに対して相対的に高い評価値が割り当てられた顔配置マップを用いて、前記関連人物の顔を含む領域を決定する決定部として、
    コンピュータを機能させる画像処理装置の作動プログラム。
20. 少なくとも１つのプロセッサを備え、
    前記プロセッサは、
    顔が含まれた第１画像であって、特定の期間に関する第１画像のみを元に、前記第１画像に関連する関連人物の情報である関連人物情報を作成し、
    前記第１画像とは異なる第２画像を取得し、
    前記関連人物情報に基づいて、前記関連人物の顔が含まれている前記第２画像を抽出し、
    前記関連人物の顔が含まれている前記第２画像から、前記関連人物の顔を含む領域を決定し、
    前記特定の期間は複数あり、
    複数の前記特定の期間毎に前記関連人物情報を作成し、
    前記関連人物の顔が含まれている前記第２画像を抽出する場合に、前記第２画像の取得期間に応じて、前記特定の期間毎の前記関連人物情報を使い分ける、
    画像処理装置。
21. 顔が含まれた第１画像であって、特定の期間に関する第１画像のみを元に、前記第１画像に関連する関連人物の情報である関連人物情報を作成する情報作成ステップと、
    前記第１画像とは異なる第２画像を取得する画像取得ステップと、
    前記関連人物情報に基づいて、前記関連人物の顔が含まれている前記第２画像を抽出する抽出ステップと、
    前記関連人物の顔が含まれている前記第２画像から、前記関連人物の顔を含む領域を決定する決定ステップと、
    を備え、
    前記特定の期間は複数あり、
    前記情報作成ステップでは、複数の前記特定の期間毎に前記関連人物情報を作成し、
    前記抽出ステップでは、前記関連人物の顔が含まれている前記第２画像を抽出する場合に、前記第２画像の取得期間に応じて、前記特定の期間毎の前記関連人物情報を使い分ける、
    画像処理装置の作動方法。
22. 顔が含まれた第１画像であって、特定の期間に関する第１画像のみを元に、前記第１画像に関連する関連人物の情報である関連人物情報を作成する情報作成部と、
    前記第１画像とは異なる第２画像を取得する画像取得部と、
    前記関連人物情報に基づいて、前記関連人物の顔が含まれている前記第２画像を抽出する抽出部と、
    前記関連人物の顔が含まれている前記第２画像から、前記関連人物の顔を含む領域を決定する決定部として、
    コンピュータを機能させ、
    前記特定の期間は複数あり、
    前記情報作成部は、複数の前記特定の期間毎に前記関連人物情報を作成し、
    前記抽出部は、前記関連人物の顔が含まれている前記第２画像を抽出する場合に、前記第２画像の取得期間に応じて、前記特定の期間毎の前記関連人物情報を使い分ける、
    画像処理装置の作動プログラム。