JP6410427B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

従来、一般参加型のマラソン大会等で、撮影者が撮影ポイントで競技参加者を撮影し、競技大会終了後に、参加者に参加者自身が写っている写真を販売するサービスが実施されている。
このようなサービスに関連する技術として、例えば、特許文献１には、競技大会で計測ポイントへの通過予測時間から、大会を撮影した動画像中に写っている参加者を検索し、参加者向けに映像編集を行う手法が開示されている。
また、特許文献２には、選択された人物からなる集合体に対して、特定の表情を選択し、選択された表情の集合体を作成し表示する手法が開示されている。

特開２００４−１１２１５３号公報 特開２０１１−１２９０３３号公報

しかしながら、マラソン大会等競技時間が長く、参加者の多いイベントにおいては、撮影される写真の数は膨大となる。膨大な数の写真の中から、注目する参加者が写っている写真をすべて選択することとした場合には、他の参加者を中心に撮影され、注目する参加者が端に映っているような写真も選択されることとなり、好ましくない。
また、特許文献２には、特定の表情の画像のみを選択する技術が開示されているが、特定の表情の写真のみが良い写真とは限らず、必ずしも購入希望者の購入意欲が湧くような画像を選択できるとは限らない。

本発明はこのような問題点に鑑みなされたもので、複数の画像の中から、購入希望者が興味を示すような画像を自動的に選択することを目的とする。

そこで、本発明は、情報処理装置であって、イベント開催中に撮影された、注目人物を含む、複数の注目画像それぞれの画像評価値を算出する算出手段と、前記イベントのシーン毎に設定された、シーンに応じて互いに異なる基準と、前記画像評価値と、に基づいて、前記複数の注目画像の中から、各シーンにおける、前記注目人物が写った代表画像を選択する選択手段とを有する。

本発明によれば、複数の画像の中から、購入希望者が興味を示すような画像を自動的に選択することができる。

情報処理システムを示す図である。 画像情報及び人物情報の一例を示す図である。 フォトアルバム作成処理を示すシーケンス図である。 顔認識処理を示すフローチャートである。 撮影画像の一例を示す図である。 人物情報の一例を示す図である。 Ｓ３０３の処理後の人物情報の一例を示す図である。 画像情報の一例を示す図である。 人物情報の一例を示す図である。 ゼッケン番号認識処理を示すフローチャートである。 ゼッケン番号の認識結果の一例を示す図である。 ゼッケン番号認識処理を説明するための図である。 ゼッケン番号認識処理を説明するための図である。 ゼッケン番号認識処理後の人物情報を示す図である。 撮影画像の一例を示す図である。 基準値群決定テーブルの一例を示す図である。 基準値テーブルの一例を示す図である。 フォトアルバムのテンプレートの一例を示す図である。 フォトアルバムの一例を示す図である。 基準値テーブルの一例を示す図である。 検索結果の表示例を示す図である。 検索結果の表示例を示す図である。

以下、本発明の実施形態について図面に基づいて説明する。
図１は、情報処理システムを示す図である。本実施形態にかかる情報処理システムは、イベント開催中に撮影されたイベント画像から、特定の参加者の写った画像を選択し、選択した画像を含むフォトアルバムを作成する。なお、本実施形態においては、マラソン大会のイベントを例に説明するが、イベントは、多数の人物が集まる会であればよく、競技会に限られるものではない。
情報処理システムは、情報処理装置１００と、撮影装置１１０とを有している。情報処理装置１００は、ＣＰＵ１０１と、メモリ１０２と、ハードディスク１０３と、ネットワークＩ／Ｆ１０４とを有している。ＣＰＵ１０１は、撮影装置１１０により撮影された撮影画像の制御や、人物の認識処理を施すためのプログラムを実行する。
メモリ１０２は、プログラムを実行する際のワークメモリやデータの一時保存などに利用される。ハードディスク１０３は、プログラムや撮影画像等のデータを格納する。ハードディスク１０３は、例えば、イベント開催中に撮影された撮影画像（イベント画像）を含む画像情報や、撮影画像から認識された人物に関する人物情報等を格納する。ネットワークＩ／Ｆ１０４は、ＬＡＮやインターネット等の有線又は無線のネットワーク１２０に接続し、撮影装置１１０とデータの入出力を行う。
なお、後述する情報処理装置１００の機能や処理は、ＣＰＵ１０１がメモリ１０２又はハードディスク１０３に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

撮影装置１１０は、ＣＰＵ１１１と、メモリ１１２と、記録メディア１１３と、ネットワークＩ／Ｆ１１４と、カメラユニット１１５と、ディスプレイ１１６と、操作ユニット１１７とを有している。ＣＰＵ１１１は、撮影制御や現像処理を施すためのプログラムを実行する。メモリ１１２は、ＣＰＵ１１１が実行するプログラムや、プログラムを実行する際のワークメモリ、データの一時保存などに利用される。記録メディア１１３は、撮影画像などのデータを格納する。
なお、後述する撮影装置１１０の機能や処理は、ＣＰＵ１１１がメモリ１１２等に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

ネットワークＩ／Ｆ１１４は、ネットワーク１２０に接続し、情報処理装置１００とデータの入出力を行う。例えば、撮影装置１１０から情報処理装置１００へ撮影画像が送信される。
カメラユニット１１５は、外光を、レンズを介して入力しＣＣＤ等の光電変換デバイスによりデジタルデータに変換する。ディスプレイ１１６は、撮影のＵＩや撮像画像を再生表示する。操作ユニット１１７は、ユーザ操作を受け付ける。
なお、本実施形態においては、情報処理装置１００は、１台の撮影装置１１０のみから撮影画像を受信するものとするが、情報処理システムは、２台以上の撮影装置１１０を備えてもよい。この場合、情報処理装置１００は、情報処理システムが備えるすべての撮影装置１１０から撮影画像を受信することとする。例えば、マラソン大会においては、コースの複数地点に撮影装置１１０が設置されている場合には、情報処理装置１００は、各地点に設定された撮影装置１１０から撮影画像を受信する。

図２（Ａ）は、画像情報の一例を示す図である。図２（Ｂ）は、人物情報の一例を示す図である。画像情報及び人物情報は、いずれも、情報処理装置１００のハードディスク１０３等に格納されている。画像情報及び人物情報は、いずれも、木構造になっており、最上位には、データの種類名が格納されている。そして、種類名以下のブロックには、各属性名が格納されている。
図２（Ａ）に示すように、画像情報は、画像ＩＤ属性と、画像実体属性と、被写人物属性と、撮影位置属性と、撮影時刻属性と、ランドマーク属性とを含んでいる。なお、画像情報は、撮影画像毎に作成される。画像ＩＤ属性は、画像情報ごとにユニークに設定されるＩＤである。画像実体属性は、画像情報のバイナリデータの保存場所を示すポインタ情報、又はバイナリデータそのものである。

被写人物属性は、撮影画像に写っている人物毎の、人物数分の可変複数個の人物属性を含んでいる。すなわち、被写人物属性の個数は、対応する撮影画像に写る人物の数と一致する。被写人物属性には、人物ＩＤ属性と、顔位置属性と、顔大きさ属性と、表情属性と、ブレ属性と、ぼけ属性とが含まれている。以下、被写人物属性の下位の属性を、被写体人物情報と称することとする。
人物ＩＤ属性は、被写人物と、後述の人物情報とを紐付けるための人物識別情報である。顔位置属性は、撮影画像内で人物が写っている位置を示す情報である。顔位置属性は、画像を左上原点とする顔を含む矩形の左上Ｘ座標及びＹ座標それぞれをＸ属性及びＹ属性として含む。

顔大きさ属性は、顔を含む矩形の幅及び高さをそれぞれＷ属性及びＨ属性として含む。表情属性は、人物が笑顔であるか、泣き顔であるかの状態を示す情報である。ブレ属性は、被写人物のブレの度合いを示す情報である。ぼけ属性は、被写人物への合焦の度合いである。
また、撮影位置属性は、画像が撮影されたポイントの位置である。ここでは説明の簡略化のために、撮影位置属性は、競技大会のスタート地点からの道程を示すものとする。撮影時刻属性は、撮影された時刻である。ここでは説明の簡略化のために、撮影時刻属性は、競技大会のスタートからの経過時間を示すものとする。ランドマーク属性は、画像に含まれているランドマークの情報である。

図２（Ｂ）に示すように、人物情報は、人物ＩＤ属性と、特徴量属性と、ゼッケン番号属性と、画像属性とを含んでいる。なお、１つの撮影画像に複数の参加者が写っている場合がある一方で、１人の参加者が複数の撮影画像に写っている場合がある。このため、画像情報と人物情報は、多対多の関係となる。
人物ＩＤ属性は、人物情報毎にユニークに設定されるＩＤである。特徴量属性は、人物の顔や服装などの特徴を表す情報である。ゼッケン番号属性は、競技参加者のゼッケン番号である。画像属性は、対応する人物ＩＤで特定される競技参加者が写っている画像毎の画像ＩＤ属性を含んでいる。すなわち、画像ＩＤ属性は、競技参加者が写っている画像の画像ＩＤを示す情報である。
なお、画像情報及び人物情報のデータ構造は、情報処理装置１００が、各情報をキーとして、検索、取得可能な構造であればよく、実施形態に限定されるものではない。

図３は、情報処理システムによるフォトアルバム作成処理の概略を示すシーケンス図である。なお、各処理の詳細については、後述する。Ｓ３００において、撮影装置１１０のＣＰＵ１１１は、カメラユニット１１５による撮影を制御する。これにより、撮影画像が得られる。なお、他の例としては、情報処理装置１００が撮影装置１１０に対し、撮影指示を送信し、撮影装置１１０のＣＰＵ１１１は、情報処理装置１００の制御の下、撮影を行ってもよい。
次に、Ｓ３０１において、撮影装置１１０のＣＰＵ１１１は、ネットワーク１２０を介して、撮影画像や、撮影画像に関する情報を情報処理装置１００へ送信する。情報処理装置１００のＣＰＵ１０１は、受信した撮影画像等をハードディスク１０３に格納する。具体的には、図２（Ａ）に示すように、画像ＩＤ、画像実体、撮影位置、撮影時刻を画像情報としてハードディスク１０３に格納する。なお、Ｓ３０１の処理時点においては、画像情報のうち、被写人物属性には、情報は格納されていない。被写人物属性の情報は、後述のＳ３０３の処理において追加される。また、ＣＰＵ１０１は、予め設定されたランドマークを検出し、ランドマークが検出された場合には、ランドマーク属性に、検出されたランドマークの情報を格納する。

次に、Ｓ３０２において、情報処理装置１００のＣＰＵ１０１は、ハードディスク１０３に格納されている各撮影画像において、被写体として映っている複数の人物を特定する（特定処理）。ここで、人物特定処理（Ｓ３０２）は、顔認識処理（Ｓ３０３）と、ゼッケン認識処理（Ｓ３０４）とに大別される。
Ｓ３０３において、ＣＰＵ１０１は、ハードディスク１０３に格納されている各撮影画像に含まれる人物の顔を認識し、顔領域を検出する（検出処理）。そして、ＣＰＵ１０１は、検出結果に基づいて、人物情報を生成し、処理対象の撮影画像の画像情報に含まれる被写人物属性に、特定された人物にかかる被写体人物情報を付加する。ＣＰＵ１０１は、処理対象の撮影画像中に複数の人物が写っている場合には、複数の被写人物属性の下位の被写体人物情報を作成する。

図４は、情報処理装置１００による、顔認識処理（Ｓ３０３）における、詳細な処理を示すフローチャートである。情報処理装置１００のＣＰＵ１０１は、ハードディスク１０３に格納されている撮影画像を順次処理対象として、顔認識処理（Ｓ３０３）を行うこととする。なお、他の例としては、ＣＰＵ１０１は、ハードディスク１０３に格納されているすべての撮影画像を一括して処理することとしてもよい。
図５は、撮影画像の一例を示す図である。ここでは、図５に示す撮影画像（画像ＩＤ「１０１」）を処理対象とする場合を例に、顔認識処理（Ｓ３０３）の処理を説明することとする。以下、処理対象の撮影画像を対象画像と称することとする。

Ｓ４００において、ＣＰＵ１０１は、対象画像から、所定の特徴量に基づいて、顔が存在する領域を検出する。図５に示す撮影画像からは、３つの顔領域５０１，５０２，５０３が検出される。なお、顔検出には公知技術を用いればよい。顔検出については、例えば、特開平８−０６３５９７号公報を参照することができる。特開平８−０６３５９７号公報には、人の顔の形状に相当する顔候補領域を抽出し、その領域内の特徴量から顔領域を決定する方法が記載されている。
次に、Ｓ４０１において、ＣＰＵ１０１は、ハードディスク１０３に格納されている人物情報群を取得する。ここで、人物情報群は、ハードディスク１０３に格納されているすべての人物情報を含むものとする。ここでは、人物情報群として、図６（Ａ），（Ｂ）に示す、２人分の人物情報を取得した場合を例に説明を進める。なお、初期状態においては、ハードディスク１０３には、人物情報は格納されていない。この場合には、Ｓ４０１において、ＣＰＵ１０１は、人物情報群を取得することなく、処理をＳ４０２へ進める。

次に、Ｓ４０２において、ＣＰＵ１０１は、Ｓ４００において検出された顔領域の中から顔領域を１つ選択する。次に、Ｓ４０３において、ＣＰＵ１０１は、選択された顔領域を処理対象とし、処理対象の顔領域の顔特徴量を算出する。以下、処理対象の顔領域を対象顔領域と称することとする。なお、他の例としては、ＣＰＵ１０１は、Ｓ４００において用いた特徴量を顔特徴量としてもよい。この場合、Ｓ４０２の処理は不要である。
次に、Ｓ４０４において、ＣＰＵ１０１は、人物情報群から人物情報を１つ選択する。以下、選択された人物情報を、対象人物情報と称することとする。次に、Ｓ４０５において、ＣＰＵ１０１は、対象人物情報から顔特徴量を抽出する。そして、ＣＰＵ１０１は、対象人物情報に含まれる顔特徴量と、対象顔領域の顔特徴量との差分を算出する。

次に、Ｓ４０６において、ＣＰＵ１０１は、差分が閾値以下か否かを判定する。ＣＰＵ１０１は、差分が閾値以下である場合には（Ｓ４０６でＹｅｓ）、処理をＳ４０７へ進める。ＣＰＵ１０１は、閾値よりも大きい場合には（Ｓ４０６でＮｏ）、処理をＳ４０８へ進める。ここで、閾値は、例えばハードディスク１０３等に予め設定されているものとする。
Ｓ４０７において、ＣＰＵ１０１は、対象人物情報と、対象画像とを紐付ける。具体的には、ＣＰＵ１０１は、対象人物情報の画像ＩＤ属性に、対象画像の画像ＩＤを追加し、処理をＳ４１０へ進める。
一方、Ｓ４０８において、ＣＰＵ１０１は、人物情報群のすべての人物情報を、選択済みか否かを確認する。ＣＰＵ１０１は、未選択の人物情報が存在する場合には、Ｓ４０４へ戻り、未選択の人物情報を選択する。ＣＰＵ１０１は、すべての人物情報を選択済みである場合には、処理をＳ４０９へ進める。

Ｓ４０９において、ＣＰＵ１０１は、対象顔領域に対する人物情報を新たに作成する。すなわち、ＣＰＵ１０１は、対象顔領域の顔特徴量と類似する人物情報が存在しない場合には、新たな人物の顔領域と判断し、新規に人物情報を作成する。
次に、Ｓ４１０において、ＣＰＵ１０１は、画像情報に、対象顔領域に対応する被写体人物情報を追加する。ＣＰＵ１０１は、具体的には、対象顔領域に対して割り当てられた人物ＩＤ、対象顔領域の位置等を追加する。次に、Ｓ４１１において、ＣＰＵ１０１は、検出されたすべての顔領域を、選択済みか否かを確認する。ＣＰＵ１０１は、未選択の顔領域が存在する場合には、Ｓ４０２へ戻り、未選択の顔領域を選択する。ＣＰＵ１０１は、すべての顔領域を選択済みである場合には、顔認識処理（Ｓ３０３）を終了する。

例えば、図５に示す画像ＩＤ「１０１」の対象画像の顔領域５０１の顔特徴量と、人物ＩＤ「Ａ１００」の人物情報に含まれる顔特徴量の差分が閾値以下であるとする。また、画像ＩＤ「１０１」の対象画像の顔領域５０２の顔特徴量と、人物「Ａ２００」の人物情報に含まれる顔特徴量の差分が閾値以下であるとする。また、画像ＩＤ「１０１」の対象画像の顔領域５０３の顔特徴量は、いずれの人物情報に含まれる顔特徴量との差分も閾値よりも大きいものとする。
この場合、ＣＰＵ１０１は、Ｓ４０２において、顔領域５０１を選択し、続く、Ｓ４０７において、図７（Ａ）に示すように、人物ＩＤ「Ａ１００」の人物の人物情報の画像ＩＤ属性に「ＩＤ１０１」を追加する。続いて、ＣＰＵ１０１は、続くＳ４０２において、顔領域５０２を選択し、続く、Ｓ４０７においてＣＰＵ１０１は、図７（Ｂ）に示すように、人物ＩＤ「Ａ２００」の人物情報の画像ＩＤ属性に「ＩＤ１０１」を追加する。
再び、Ｓ４０２に戻り、ＣＰＵ１０１は、顔領域５０３を選択し、続く、Ｓ４０９において、図７（Ｃ）に示すように、顔領域５０３に対応する新たな人物情報を作成する。具体的には、ＣＰＵ１０１は、顔領域５０３に示される人物に対し、新たな人物ＩＤ「Ａ３００」を付与し、これを人物ＩＤ属性に格納する。さらに、ＣＰＵ１０１は、顔領域５０３の顔特徴量を特徴量属性に格納し、顔領域５０３を含む撮影画像の画像ＩＤ「ＩＤ１０１」を画像ＩＤ属性に格納する。

図８及び図９は、顔認識処理（Ｓ３０３）が完了し、ゼッケン認識処理（Ｓ３０４）の処理前の時点において、ハードディスク１０３に格納されている画像情報及び人物情報の一例を示す図である。この時点では、ゼッケン番号は特定されていなため、人物情報中のゼッケン番号属性に、ゼッケン番号は格納されていない。また、この時点では、人物情報中の顔特徴量は、画像ＩＤとの紐付けはなされているものの、撮影画像中の顔領域との紐付けはなされていない。
図３に戻り、Ｓ３０３の処理の後、Ｓ３０４において、ＣＰＵ１０１は、ハードディスク１０３に格納されている各撮影画像から、ゼッケン番号を認識する。そして、ＣＰＵ１０１は、Ｓ３０３において認識された人物とゼッケン番号とを紐付ける。ここで、ゼッケン番号は、撮影画像において、人物と共に被写体として含まれる、人物の識別情報の一例である。
なお、本実施形態においては、情報処理装置１００は、人物を特定するための識別情報として、ゼッケン番号を認識するものとするが、これに限定されるものではない。例えば、人物が名札を付けている場合には、情報処理装置１００は、名札の記載内容を認識すればよい。

図１０は、図３を参照しつつ説明した、ゼッケン認識処理（Ｓ３０４）における、詳細な処理を示すフローチャートである。Ｓ１０００において、情報処理装置１００のＣＰＵ１０１は、ハードディスク１０３に格納されている画像情報を１つ選択する。
次に、Ｓ１００１において、ＣＰＵ１０１は、選択された画像情報に対応する撮影画像（以下、対象画像と称する）において、人物のゼッケン番号を認識する。具体的には、ＣＰＵ１０１は、対象画像からゼッケンが存在する領域、すなわち文字領域を抽出し、抽出した領域において、文字認識を実行する。なお、ゼッケン領域抽出（文字領域抽出）には、公知技術を用いることができる。特開２００９−１２３２０５号公報に記載された処理を用いる場合には、ＣＰＵ１０１は、撮影画像からエッジ画像を生成し、エッジ画像から連結画素塊（Ｃｏｎｎｅｃｔｅｄ Ｃｏｍｐｏｎｅｎｔ 以後、「ＣＣ」と称する）を生成する。そして、ＣＰＵ１０１は、ＣＣの大きさなどの特徴量から文字らしいと推定される候補ＣＣの座標位置をハフ変換した結果、直線に並ぶ候補ＣＣ群を文字領域と判定する。以上の処理により、ＣＰＵ１０１は、ゼッケン領域に対し、文字認識を実行することにより、ゼッケン番号を得ることができる。
なお、対象画像中に複数のゼッケン番号が存在する場合には、ＣＰＵ１０１は、対象画像中に含まれるすべてのゼッケン番号を認識する。

図１１は、ゼッケン番号の認識結果の一例を示す図である。競技中に撮影された撮影画像においては、ゼッケンが競技者本人の腕や、他の競技者の体に遮られたり、競技者の体の動きでゼッケンが歪んだりしてゼッケン認識に成功しない場合もある。例えば、図１１（Ｃ）に示す撮影画像（画像ＩＤ「ＩＤ１０２」）においては、競技者が写っているにも関わらず、ゼッケン認識数は「０」である。また、他の撮影画像においても、競技者の数とゼッケン認識数は、一致していない。
図１０に戻り、Ｓ１００２において、ＣＰＵ１０１は、抽出したゼッケン番号の中から、ゼッケン番号を１つ選択する。次に、Ｓ１００３において、ＣＰＵ１０１は、選択中の画像情報に含まれる各人物ＩＤに対応する顔位置と、Ｓ１００２において選択したゼッケン番号のゼッケン位置とを比較する。ここで、ゼッケン位置とは、撮影画像におけるゼッケン領域の中心位置である。
次に、Ｓ１００４において、ＣＰＵ１０１は、比較結果に基づいて、ゼッケン番号に対応する人物が存在するか否かを判定する。具体的には、ＣＰＵ１０１は、顔位置が、ゼッケン位置から既定の半径内であって、かつゼッケン位置に比べて上部に顔位置が位置する場合に、ゼッケン番号と人物の顔とが対応すると判定する。ここで、既定半径は、ハードディスク１０３等に予め格納されているものとする。
なお、ＣＰＵ１０１は、ゼッケン番号に対応する人物の顔が複数存在する場合には、顔位置がゼッケン位置に最も近い人物の顔をゼッケン番号に対応する人物の顔と判定する。

ＣＰＵ１０１は、ゼッケン番号に対応する人物が存在する判定した場合には（Ｓ１００４でＹｅｓ）、処理をＳ１００５へ進める。ＣＰＵ１０１は、ゼッケン番号に対応する人物が存在しないと判定した場合には（Ｓ１００４でＮｏ）、処理をＳ１００６へ進める。Ｓ１００５において、ＣＰＵ１０１は、選択中の人物ＩＤにより紐付けられている人物情報のゼッケン番号属性に、選択中のゼッケン番号を追加する。
Ｓ１００６において、ＣＰＵ１０１は、Ｓ１００１において認識されたすべてのゼッケン番号を、選択済みか否かを判定する。ＣＰＵ１０１は、すべてのゼッケン番号を選択済みの場合には、処理をＳ１００７へ進める。一方、ＣＰＵ１０１は、未選択のゼッケン番号が存在する場合には、処理をＳ１００２へ進め、未選択のゼッケン番号を選択する。
Ｓ１００７において、ＣＰＵ１０１は、ハードディスク１０３に格納されているすべての画像情報を、選択済みか否かを判定する。ＣＰＵ１０１は、すべての画像情報を選択済みの場合には、ゼッケン番号認識処理を終了する。一方、ＣＰＵ１０１は、未選択の画像情報が存在する場合には、処理をＳ１０００へ進め、未選択の画像情報を選択する。

ここで、図１２及び図１３を参照しつつ、画像ＩＤ「ＩＤ１００」、「ＩＤ１０１」の撮影画像をこの順に処理する場合を例に、ゼッケン番号認識処理（Ｓ３０４）を具体的に説明する。まず、ゼッケン番号認識処理（Ｓ３０４）前の前提条件について説明する。
図１２（Ａ）は、画像ＩＤ「ＩＤ１００」の撮影画像を示す図である。「ＩＤ１００」の撮影画像においては、顔認識処理（Ｓ３０３）において、２つの顔領域１２０１，１２０１が検出されているものとする。これに対応し、図１２（Ｂ）に示すように、「ＩＤ１００」の撮影画像の画像情報には、顔領域１２０２に対応し、顔領域１２０２に示される人物の人物ＩＤ「Ａ１００」と、顔位置とを含む被写体人物情報が格納されている。さらに、「ＩＤ１００」の撮影画像の画像情報には、顔領域１２０１に対応し、顔領域１２０１に示される人物の人物ＩＤ「Ａ２００」と、顔位置とを含む被写体人物情報が格納されている。
また、図１３（Ａ）は、画像ＩＤ「ＩＤ１０１」の撮影画像を示す図である。「ＩＤ１０１」の撮影画像においては、顔認識処理（Ｓ３０３）において、３つの顔領域１３０１，１３０２，１３０３が検出されているものとする。これに対応し、図１３（Ｂ）に示すように、「ＩＤ１０１」の撮影画像の画像情報には、顔領域１３０３に示される人物の人物ＩＤ「Ａ１００」と、顔位置とを含む被写体人物情報が格納されている。さらに、「ＩＤ１０１」の撮影画像の画像情報には、顔領域１３０２，１３０３に示される人物（人物ＩＤ「Ａ２００」，「Ａ３００」）の被写体人物情報が格納されている。

この状態において、ゼッケン番号認識処理が実行されると、Ｓ１０００において、ＣＰＵ１０１は、まず図１２（Ａ）に示す、画像ＩＤ「ＩＤ１００」の撮影画像を選択する。次に、Ｓ１００１において、ＣＰＵ１０１は、撮影画像において、ゼッケン領域１２０３を抽出し、文字認識によりゼッケン番号「Ｚ００１」を得る。
次に、Ｓ１００２において、ＣＰＵ１０１は、得られたゼッケン番号「Ｚ００１」を選択する。次に、Ｓ１００３において、ＣＰＵ１０１は、図１２（Ｂ）に示す画像ＩＤ「ＩＤ１００」の画像情報に含まれる人物ＩＤ「Ａ１００」、「Ａ２００」それぞれに対応する顔位置と、ゼッケン位置とを比較する。ここで、人物ＩＤ「Ａ１００」、「Ａ２００」は、それぞれ顔領域１２０２，１２０１に対応する。図１２（Ａ）に示すように、人物ＩＤ「Ａ１００」の顔領域１２０１は、ゼッケン領域１２０３のゼッケン位置の上方に位置しない。一方で、人物ＩＤ「Ａ２００」の顔領域１２０２は、ゼッケン位置の上方かつ近接位置にある。したがって、ＣＰＵ１０１は、ゼッケン番号が顔領域１２０２に対応する人物に対応すると判定し、処理をＳ１００５へ進める。

そして、Ｓ１００５において、ＣＰＵ１０１は、画像ＩＤ「ＩＤ１００」の画像情報を参照し、顔領域１２０２に示される人物の人物ＩＤを特定する。図１２（Ｂ）の例においては、人物ＩＤ「Ａ１００」が特定される。
次に、ＣＰＵ１０１は、特定した人物ＩＤ「Ａ１００」の人物情報のゼッケン属性にゼッケン番号を追加する。図１２（Ｃ）は、Ｓ１００５の処理後の人物情報を示す図である。人物ＩＤ「Ａ１００」のゼッケン番号には、認識されたゼッケン番号「Ｚ００１」が格納されている。一方、対応するゼッケン番号が検出されなかった、人物ＩＤ「Ａ２００」の人物情報のゼッケン番号属性には、ゼッケン番号は追加されていない。

続いて、Ｓ１０００に戻り、ＣＰＵ１０１は、図１３（Ａ）に示す、画像ＩＤ「ＩＤ１０１」の撮影画像を選択する。次に、Ｓ１００１において、ＣＰＵ１０１は、ゼッケン領域１３０４を抽出し、文字認識により、ゼッケン番号「Ｚ２００」を得る。そして、Ｓ１００３において、図１３（Ｂ）に示す画像ＩＤ「ＩＤ１０１」の画像情報に含まれる人物ＩＤ「Ａ１００」、「Ａ２００」、「Ａ３００」それぞれに対応する顔位置と、ゼッケン位置とを比較する。ここで、人物ＩＤ「Ａ１００」、「Ａ２００」、「Ａ３００」は、それぞれ顔領域１３０３，１３０２，１３０１に対応する。
図１３（Ａ）に示すように、顔領域１３０１の顔位置は、ゼッケン領域１３０４の上方にない。一方で、顔領域１３０２，１３０３の顔位置は、ゼッケン領域１３０４の上方にある。そこで、ＣＰＵ１０１は、ゼッケン領域１３０４により近接した位置にある顔領域１３０２をゼッケン番号に対応する人物の顔領域と判定する。

そして、Ｓ１００５において、ＣＰＵ１０１は、画像ＩＤ「１０１」の画像情報を参照し、顔領域１３０２に示される人物の人物ＩＤ「Ａ２００」の人物情報のゼッケン属性にゼッケン番号「Ｚ２００」を追加する。図１３（Ｃ）は、Ｓ１００５の処理後の、人物情報を示す図である。人物ＩＤ「Ａ２００」のゼッケン番号には、認識されたゼッケン番号「Ｚ２００」が格納されている。
なお、Ｓ１００５において、追加対象となるゼッケン属性に、すでにゼッケン番号が格納されている場合がある。この場合には、ＣＰＵ１０１は、上書きすることなく、人物情報に対する、ゼッケン番号のリストを作成し、認識結果の信頼度等を基に、ソートしてもよい。
図１４は、ゼッケン番号認識処理（Ｓ３０４）の実行後の人物情報を示す図である。図１４（Ａ）〜（Ｃ）いずれの人物情報にも、ゼッケン番号属性にゼッケン番号が格納されている。したがって、ＣＰＵ１０１は、ゼッケン番号をキーにして人物情報を抽出し、抽出した人物情報に含まれる画像ＩＤを参照することにより、特定の人物が写った画像のみを抽出することができる。

図３に戻り、Ｓ３０４の後、Ｓ３０５において、ＣＰＵ１０１は、画像情報に含まれる被写体人物情報中の人物ＩＤに基づいて、ハードディスク１０３に格納されている複数の撮影画像の中から、注目人物を含む撮影画像を抽出する。ここで、注目人物とは、処理対象となる人物である。例えば、操作ユニット１１７において、人物ＩＤが入力されると、ＣＰＵ１０１は、入力された人物ＩＤで識別される人物を注目人物として、処理を進める。以下、注目人物を含む撮影画像を注目画像と称することとする。ここで、Ｓ３０５の処理は、顔領域の特定結果に基づいて、イベント画像としての撮影画像から注目画像を抽出する抽出処理の一例である。
次に、Ｓ３０６において、ＣＰＵ１０１は、Ｓ３０５において抽出された複数の注目画像それぞれの画像評価値を算出する（算出処理）。ここで、画像評価値とは、注目人物の撮影画像の購入希望者等が、注目画像に興味を示す程度を推定する値である。本実施形態にかかるＣＰＵ１０１は、６種類の画像評価値をそれぞれ算出する。６種類の画像評価値は、それぞれ注目人物の表情、注目画像全体に対する注目人物の領域の大きさ、注目画像中の注目人物の位置、画像の撮影位置、画像に含まれる人物の数、及び、画像にランドマークが含まれるか否かを示す値である。

ＣＰＵ１０１は、ランドマークに関しては、撮影位置から撮影画像への写り込みが予想されるランドマークの関係を予めテーブルで用意しておき、このテーブルを参照することでランドマークに係る評価値を決定することとする。他の例としては、ＣＰＵ１０１は、撮影装置１１０の撮影範囲が競技中固定されている場合には、特定の撮影装置１１０により撮影された撮影画像には、特定のランドマークが写り込むものとして、画像評価値を算出してもよい。
また、ＣＰＵ１０１は、注目人物の領域の大きさだけでなく、注目人物の位置も、画像評価値として算出する。これは、例えば、図１５に示す撮影画像１５００のように、手前の人物１５０１は、顔の大きさは、奥の人物１５０２に比べて大きいものの、撮影画像１５００の端に位置している。この場合、撮影画像１５００は、手前の人物１５０１にとっての画像評価値は、低いとも考えられる。そこで、本実施形態においては、注目人物の位置の画像評価値についても考慮することとする。
なお、１つの撮影画像に複数の人物が含まれている場合、撮影画像に含まれる各人物に対する画像評価値は、異なる値となる場合もある。これは、人物毎に、表情や、撮影画像中の人物の位置等が異なるためである。

図３に戻り、Ｓ３０６の処理の後、Ｓ３０７において、ＣＰＵ１０１は、Ｓ３０６において算出した画像評価値に基づいて、複数の注目画像の中から、注目人物の画像群を代表する代表画像を選択する（選択処理）。本実施形態にかかるＣＰＵ１０１は、マラソン大会における予め定められたシーン毎に複数の代表画像を選択する。ここで、シーンは、撮影時刻及び撮影位置のうち少なくとも１つにより特定されるものである。本実施形態においては、マラソンコースにおける複数の地点がそれぞれシーンとして設定されているものとする。
具体的には、ＣＰＵ１０１は、複数の注目画像を、撮影時刻や撮影位置に基づいて、シーン別に分類する。さらに、ＣＰＵ１０１は、基準値群決定テーブルを参照し、シーン毎の基準値群を特定する。ここで、基準値群は、複数の画像評価値それぞれの基準値を含む。また、基準値は、画像評価値を比較される値である。図１６は、基準値群決定テーブルの一例を示す図である。基準値群決定テーブル１６００は、シーンと、基準値群とを対応付ける情報である。このように、基準値群は、シーン毎に設定されている。

さらに、ＣＰＵ１０１は、基準値テーブルを参照し、特定した基準値群において定められている各画像評価値の基準値を特定する。図１７は、基準値テーブルの一例を示す図である。基準値テーブル１７００は、基準値群と、画像評価値毎の基準値とを対応付ける情報である。
本実施形態にかかる基準値テーブル１７００においては、画像評価値毎の基準値は、２つに大別されている。一つは、評価点（重み）であり、もう一つは、必須条件である。代表画像を選択する際に、必須条件は必ず満たす必要がある。評価点は、複数の代表画像が選択された場合には、１つの代表画像に絞り込むために利用される。

地点Ａにおける代表画像を選択する場合、ＣＰＵ１０１は、基準値群決定テーブル１６００を参照し、地点Ａに対応付けられている基準値群「基準１」を特定する。続いて、ＣＰＵ１０１は、基準値テーブル１７００を参照し、「基準１」の基準群において定義されている各画像評価値を特定する。
そして、ＣＰＵ１０１は、処理対象の注目画像の中から、必須条件を満たす注目画像を抽出し、複数の注目画像が抽出された場合には、評価値点合計値が最も高くなる注目画像を、地点Ａの代表画像として選択する。
なお、ＣＰＵ１０１は、画像評価値以外のパラメータや条件をさらに考慮して評価点を算出してもよい。例えば、ＣＰＵ１０１は、注目画像に含まれる人物の数を考慮して評価点を算出してもよい。

ＣＰＵ１０１は、Ｓ３０７（図３）において、予め設定されているすべてのシーンに対する代表画像を選択する。そして、Ｓ３０７の処理の後、Ｓ３０８において、ＣＰＵ１０１は、選択された代表画像を利用して、注目人物のフォトアルバムを作成する。
具体的には、ＣＰＵ１０１は、予めハードディスク１０３等に格納されているテンプレートに、代表画像を配置することにより、フォトアルバム（電子アルバム）を作成する（作成処理）。図１８は、フォトアルバムのテンプレートの一例を示す図である。テンプレートには、シーン毎の代表画像の配置位置が予め定められている。
なお、図１８に示すように、各シーンに対し、基準値テーブルに設定されている基準値群以外の基準値が定められていてもよい。例えば、地点Ｂ，Ｃ，Ｇの基準値群は、いずれも基準２である。ここで、基準２は、ランドマークの属性値があることを必須条件とする。これに加えて、地点毎に、写り込むランドマークを指定してもよい。図１８に示す例においては、地点Ｂにおいては、ランドマーク＝"○○橋"、地点Ｃにおいては、ランドマーク＝"丸の内ビル群"、地点Ｇにおいては、ランドマーク＝"××タワー"の基準が追加されている。これに対応し、ＣＰＵ１０１は、各地点において得られた代表画像を、それぞれ地点に対応して定められた配置位置１８０１〜１８０３に配置する。

また、地点Ｄ〜Ｆに対しては、基準４の基準値群に加えて、代表画像を時間順で並べるという追加の基準を設けておく。これに対応し、ＣＰＵ１０１は、地点Ｄ〜Ｆの間に得られた３つの代表画像を、その時間順に１８０４〜１８０６の配置位置に配置する。
なお、追加の基準値は、基準値群決定テーブル１６００において、シーンに対応付けて格納されているものとする。
図１９は、図１８に示すテンプレートに基づいて作成されたフォトアルバムの一例を示す図である。このように、情報処理装置１００は、競技参加者毎に、参加者が良好な状態に撮影された撮影画像を、ストーリに沿って配置したフォトアルバムを自動的に作成することができる。
以上のように、本実施形態にかかる情報処理装置１００は、複数の撮影画像の中から、購入希望者が興味を示すような画像を自動的に選択し、これをまとめたフォトアルバムを作成することができる。

次に、情報処理装置１００の変更例について説明する。変更例にかかる情報処理装置１００は、さらに各画像に対して算出された画像評価値に基づいて、画像検索を行うこともできる。図２０は、変更例にかかる情報処理装置１００が参照する基準値テーブルの一例を示す図である。図２０に示す基準値テーブル２０００は、図１７に示す基準値テーブルとは、各基準値群に設定されている基準値と、評価点とが異なっている。
図２１は、ゼッケン番号のみを検索キーとした場合の検索結果の表示例を示す図である。ＣＰＵ１０１は、ユーザ等により入力されたゼッケン番号と一致する人物情報を抽出し、人物情報に含まれる画像ＩＤにより特定される撮影画像を検索結果として一覧表示する。なお、このとき、ＣＰＵ１０１は、さらに、画像情報に含まれる被写体人物情報のボケ属性やブレ属性等の画像評価量に基づいて、抽出された撮影画像を検索結果に含めるか否かを判定してもよい。

図２２は、さらに画像評価値の基準値群を検索キーとした場合の検索結果の表示例を示す図である。例えば、基準値群「基準１」は、検索画面の「ナイス笑顔！」に対応している。ユーザが、ポインティングデバイス等を用いて画面上で「ナイス笑顔！」を選択すると、ＣＰＵ１０１は、「基準１」の基準値を満たす撮影画像を絞り込む。図２２（Ａ）は、「ナイス笑顔！」が選択された場合の検索結果の表示例を示す図である。
図２２（Ｂ）は、基準値群「基準２」に対応する「真剣！必死！」の検索条件が選択された場合の検索結果の表示例を示す図である。図２２（Ｃ）は、基準値群「基準４」に対応する「○○ビル」が選択された場合の検索結果の表示例を示す図である。
以上のように、情報処理装置１００は、画像評価値及び基準値群に基づいて、ユーザが希望する画像を適切に絞り込むことができる。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、上述した各実施形態によれば、複数の画像の中から、購入希望者が興味を示すような画像を自動的に選択することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１００ 情報処理装置、１０１ ＣＰＵ、１０２ メモリ、１１０ 撮影装置

Claims (9)

1. イベント開催中に撮影された、注目人物を含む、複数の注目画像それぞれの画像評価値を算出する算出手段と、
   前記イベントのシーン毎に設定された、シーンに応じて互いに異なる基準と、前記画像評価値と、に基づいて、前記複数の注目画像の中から、各シーンにおける、前記注目人物が写った代表画像を選択する選択手段と
   を有する情報処理装置。
2. 前記選択手段により選択された各シーンにおける前記注目人物が写った代表画像を、シーン毎に定められた配置位置に配置した電子アルバムを作成する作成手段をさらに有する請求項１に記載の情報処理装置。
3. 前記選択手段は、前記画像評価値と、撮影時刻及び撮影位置のうち少なくとも一方が異なる複数のシーン毎に設定された前記基準と、に基づいて、各シーンの前記代表画像を選択する請求項１又は２に記載の情報処理装置。
4. 前記算出手段は、前記注目画像それぞれに対し、複数の画像評価値を算出し、
   前記選択手段は、複数の画像評価値と、複数の画像評価値それぞれに対応する複数の前記基準と、に基づいて、各シーンの前記代表画像を選択する請求項１乃至３何れか１項に記載の情報処理装置。
5. 前記算出手段は、前記注目人物の表情、前記注目画像全体に対する前記注目人物の領域の大きさ、前記注目画像中の前記注目人物の位置、画像の撮影位置、画像に含まれる人物の数、及び、画像にランドマークが含まれるか否か、のうち少なくとも１つに基づいて、前記画像評価値を算出する請求項１乃至４何れか１項に記載の情報処理装置。
6. イベント開催中に撮影された、複数のイベント画像に人物と供に被写体として含まれる前記人物の識別情報に基づいて、複数の前記イベント画像から複数の人物を特定する特定手段と、
   前記特定手段による特定結果に基づいて、複数の前記イベント画像の中から、前記注目画像を抽出する抽出手段と
   をさらに有し、
   前記算出手段は、前記抽出手段により抽出された前記複数の前記注目画像の中から、各シーンの前記代表画像を選択する請求項１乃至５何れか１項に記載の情報処理装置。
7. イベント開催中に撮影された、複数のイベント画像それぞれに対する顔認識処理により顔領域を検出する検出手段と、
   前記検出手段による検出結果に基づいて、複数の前記イベント画像の中から、前記注目画像を抽出する抽出手段と
   をさらに有し、
   前記算出手段は、前記抽出手段により抽出された前記複数の前記注目画像の中から、各シーンの前記代表画像を選択する請求項１乃至５何れか１項に記載の情報処理装置。
8. 情報処理装置が実行する情報処理方法であって、
   イベント開催中に撮影された、注目人物を含む、複数の注目画像それぞれの画像評価値を算出する算出ステップと、
   前記イベントのシーン毎に設定された、シーンに応じて互いに異なる基準と、前記画像評価値と、に基づいて、前記複数の注目画像の中から、各シーンにおける前記注目人物が写った代表画像を選択する選択ステップと
   を含む情報処理方法。
9. コンピュータを、
   イベント開催中に撮影された、注目人物を含む、複数の注目画像それぞれの画像評価値を算出する算出手段と、
   前記イベントのシーン毎に設定された、シーンに応じて互いに異なる基準と、前記画像評価値と、に基づいて、前記複数の注目画像の中から、各シーンにおける、前記注目人物が写った代表画像を選択する選択手段と
   して機能させるためのプログラム。

Images