JP5924114B2 - 情報処理装置、情報処理方法、コンピュータプログラムおよび画像表示装置 - Google Patents

Description

本開示は、情報処理装置、情報処理方法、コンピュータプログラムおよび画像表示装置に関する。

デジタルスチルカメラやデジタルビデオカメラで撮影された静止画や動画を管理するための画像管理ツールがある。記録媒体の大容量化に伴ってデジタルスチルカメラやデジタルビデオカメラで撮影できる画像の数も多くなるので、画像管理ツールの使い勝手を向上させることはユーザの利便性を高めるためにも非常に重要となっている。

中でも、旅行や運動会、入学式、誕生日会等の、ユーザにとって意味のある出来事の単位（以下「イベント」とも称する）での静止画や動画を管理するというユーザからのニーズは高い。従って、イベント単位での静止画や動画の管理を容易にさせることが、画像管理ツールの使い勝手の向上にも繋がる。

静止画や動画に含まれる顔の認識機能を用いて、誰が写っているかをイベント単位で特定し、その顔の一覧を提示する画像管理ツールが存在する。その際に、画像の中から代表人物と想定される人物の顔画像を取り出したり、画像中の特徴部分によって画像を自動分類したりする技術が開示されている（特許文献１、２参照）。

特開２０１１−８７１０５号公報 特開２００５−１０７８８５号公報

しかし、従来の技術は同じ顔が写っている写真一覧を提示したり、ある顔が含まれているイベントを検索したりするものであるが、そのイベントの主役となる人物が誰なのかを自動的に判別して提示することは出来なかった。また写真やイベントにタグを手動で付加することで、イベントの主要な登場人物を管理する方法もあるが、タグは複数付加でき、またタグ間の優先度の設定も出来ないことがおおく、タグだけではイベントの主役となる人物が誰なのかを効果的に特定することができない。

そこで、本開示は、イベント単位で主役となっている人物を効果的に特定することが可能な、新規かつ改良された情報処理装置、情報処理方法、コンピュータプログラムおよび画像表示装置を提供する。

本開示によれば、画像データを解析する画像解析部と、１以上の画像データからなるイベントの主役を特定する主役特定部と、を備え、前記主役特定部は、少なくとも、前記イベントに付与される画像解析によらないパラメータを用いてイベントの主役を特定し、前記画像解析によらないパラメータによってはイベントの主役を特定できなければ、イベントに含まれる画像データを前記画像解析部に解析させてイベントの主役を特定する、情報処理装置が提供される。

また本開示によれば、画像データを解析する画像解析ステップと、１以上の画像データからなるイベントの主役を特定する主役特定ステップと、を備え、前記主役特定ステップは、少なくとも、前記イベントに付与される画像解析によらないパラメータを用いてイベントの主役を特定し、前記画像解析によらないパラメータによってはイベントの主役を特定できなければ、イベントに含まれる画像データを前記画像解析ステップで解析させてイベントの主役を特定する、情報処理方法が提供される。

また本開示によれば、コンピュータに、画像データを解析する画像解析ステップと、１以上の画像データからなるイベントの主役を特定する主役特定ステップと、を実行させ、前記主役特定ステップは、少なくとも、前記イベントに付与される画像解析によらないパラメータを用いてイベントの主役を特定し、前記画像解析によらないパラメータによってはイベントの主役を特定できなければ、イベントに含まれる画像データを前記画像解析ステップで解析させてイベントの主役を特定する、コンピュータプログラムが提供される。

また本開示によれば、少なくとも、１以上の画像データからなるイベントに付与される画像解析によらないパラメータを用いて特定された前記イベントの主役を表示し、前記画像解析によらないパラメータによっては前記イベントの主役を特定できなければ、前記イベントに含まれる画像データの解析によって特定された前記イベントの主役を表示するコンテンツ表示部を備える、画像表示装置が提供される。

以上説明したように本開示によれば、イベント単位で主役となっている人物を効果的に特定することが可能な、新規かつ改良された情報処理装置、情報処理方法、コンピュータプログラムおよび画像表示装置を提供することができる。

本開示の一実施形態にかかる画像処理システム１の構成例を示す説明図である。 本開示の一実施形態に係る画像処理システム１を構成するサーバ装置１００の機能構成例を示す説明図である。 本開示の一実施形態にかかるサーバ装置１００の動作例を示す流れ図である。 人物情報取得部１０４で取得され、人物情報保存部１０６に保存される人物情報の例を示す説明図である。 アルバムデータ取得部１０８で取得されるアルバムデータに含まれる情報の例を示す説明図である。 本開示の一実施形態にかかるサーバ装置１００の動作例を示す流れ図である。 画像管理ツールのユーザインタフェース例を示す説明図である。 画像管理ツールのユーザインタフェース例を示す説明図である。 画像管理ツールのユーザインタフェース例を示す説明図である。 画像管理ツールのユーザインタフェース例を示す説明図である。 画像管理ツールのユーザインタフェース例を示す説明図である。 画像管理ツールのユーザインタフェース例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
＜１．本開示の一実施形態＞
［システムの構成例］
［サーバ装置の構成例］
［サーバ装置の動作例］
［ユーザインタフェース例］
＜２．まとめ＞

＜１．本開示の一実施形態＞
［システムの構成例］
まず、本開示の一実施形態に係るシステムの構成例について説明する。図１は、本開示の一実施形態にかかる画像処理システム１の構成例を示す説明図である。以下、図１を用いて本開示の一実施形態に係る画像処理システムの構成例について説明する。

図１に示したように、本開示の一実施形態にかかる画像処理システム１は、サーバ装置１００と、デジタルカメラ２００と、パーソナルコンピュータ３００と、を含んで構成される。そして図１に示したように、サーバ装置１００と、パーソナルコンピュータ３００とは、ネットワーク１０を介して相互に通信するよう構成される。

サーバ装置１００は、デジタルカメラ２００で撮影され、パーソナルコンピュータ３００に保存された画像データに対する画像処理を実行する。サーバ装置１００は、画像データに対して、イベント単位での主役を求める処理を実行する。サーバ装置１００の構成例については後述する。

デジタルカメラ２００は、静止画または動画（以下、これらを総称して単に画像とも称する）を撮影して画像データを生成する。デジタルカメラ２００で生成される画像データは、デジタルカメラ２００がパーソナルコンピュータ３００に接続されて、自動的に、またユーザの操作に応じて、パーソナルコンピュータ３００に保存される。なお本開示では、画像を撮影して画像データ生成する装置は、撮像素子を備えた携帯電話、スマートフォン、タブレット、パーソナルコンピュータ等の装置であってもよい。

パーソナルコンピュータ３００は、各種情報処理を実行し、本実施形態では、デジタルカメラ２００で生成される画像データを保存すると共に、保存された画像データを、例えば画像管理ツールその他の所定のアプリケーションを実行することで、画面に表示する。パーソナルコンピュータ３００は、制御部３１０と、表示部３２０と、を含んで構成される。制御部３１０は、パーソナルコンピュータ３００の動作を制御し、例えば、上述の画像管理ツールその他の所定のアプリケーションを実行する。表示部３２０は、画像、文字その他の情報を表示するものであり、制御部３１０の制御により動作が制御される。なお、本実施形態では、パーソナルコンピュータ３００で上述の画像管理ツールその他の所定のアプリケーションを実行するとしているが、本開示は係る例に限定されない。上述の画像管理ツールその他の所定のアプリケーションを、携帯電話、スマートフォン、タブレットその他の情報処理装置が実行してもよい。

また本実施形態では、パーソナルコンピュータ３００は、保存している画像データをサーバ装置１００に送信するともに、イベント単位での主役を求める処理をサーバ装置１００に要求する。そしてパーソナルコンピュータ３００は、サーバ装置１００で求められたイベント単位での主役を、イベントについての情報とともに表示する。なお本開示では、パーソナルコンピュータ３００で、サーバ装置１００が求めたイベント単位での主役を、イベントについての情報とともに表示することとしているが、本開示は、サーバ装置１００が求めたイベント単位での主役を表示する装置は係る例に限定されない。また、サーバ装置１００が求めたイベント単位での主役を表示するものも、上述の画像管理ツールに限られず、例えば汎用的なアプリケーション、例えばウェブブラウザであってもよい。

なお、本実施形態では、デジタルカメラ２００で生成された画像データはパーソナルコンピュータ３００に一旦保存されるようにしているが、本開示は係る例に限定されない。例えば、デジタルカメラ２００で生成された画像データはネットワーク１０を通じてサーバ装置１００に直接送信されるようにしてもよい。また本実施形態では、イベント単位での主役を求める処理をサーバ装置１００で実行するようにしているが、本開示は係る例に限定されない。例えば、イベント単位での主役を求める処理が、デジタルカメラ２００やパーソナルコンピュータ３００で実行されるようにしても良い。

以上、図１を用いて本開示の一実施形態に係る画像処理システムの構成例について説明した。次に、本開示の一実施形態に係る画像処理システム１を構成するサーバ装置１００の機能構成例について説明する。

［サーバ装置の構成例］
図２は、本開示の一実施形態に係る画像処理システム１を構成するサーバ装置１００の機能構成例を示す説明図である。以下、図２を用いてサーバ装置１００の機能構成例について説明する。

図２に示したように、本開示の一実施形態に係るサーバ装置１００は、制御部１０２と、人物情報取得部１０４と、人物情報保存部１０６と、アルバムデータ取得部１０８と、画像データ解析部１１０と、テキストデータ解析部１１２と、アルバムデータ保存部１１４と、主役判定基準指定部１１６と、主役判定基準ルール保存部１１８と、主役計算部１２０と、主役保存部１２２と、を含んで構成される。

制御部１０２は、図２に示したサーバ装置１００の各部の動作を制御する。特に、制御部１０２は、人物情報取得部１０４、アルバムデータ取得部１０８、主役判定基準指定部１１６、および主役計算部１２０の動作を制御する。また制御部１２０は、主役計算部１２０が求めたイベントごとの主たる登場人物の情報を、例えばパーソナルコンピュータ３００に提示するための表示制御を行なう。

人物情報取得部１０４は、主役計算部１２０での主役の判定処理に用いられる人物情報を取得する。人物情報取得部１０４は、例えば、ユーザが使用しているパーソナルコンピュータ３００で使用しているアドレス帳ソフトウェア、パーソナルコンピュータ３００で実行される画像管理ツールが保持している人物情報、ソーシャルネットワーキングサービス（ＳＮＳ）のフレンドリストなどから人物情報を取得する。なお、ここでいう人物情報には、各人物を特定する情報（氏名など）の他に、その人物の顔写真も含まれていてもよい。人物情報取得部１０４は、取得した人物情報を人物情報保存部１０６に保存する。なお、人物情報取得部１０４による人物情報の取得タイミングは、ある特定のタイミングに限られないことは言うまでもない。人物情報取得部１０４は、後述の主役判定処理に先立って、任意のタイミングで人物情報を取得することが出来る。

人物情報保存部１０６は、人物情報取得部１０４が取得した人物情報を保存する。人物情報保存部１０６に保存された人物情報は、主役計算部１２０での主役の判定処理に用いられる。なお、人間の顔は年齢を重ねると共に変化するので、ある時点のものだけを保存すると、後述の主役計算部１２０でイベントの主たる登場人物を正しく求めることが出来ない。従って人物情報保存部１０６に保存される人物情報に含まれる顔写真は、ある特定の時点のものだけでなく、過去に遡ったものも保存されることが望ましい。

アルバムデータ取得部１０８は、画像データをアルバム単位で取得する。アルバムデータ取得部１０８は、画像データを、例えばパーソナルコンピュータ３００で実行される画像管理ツール、インターネット上での写真サービス、ソーシャルネットワーキングサービスのアルバム機能などから、アルバム単位で取得する。またアルバムデータ取得部１０８は、画像データに加えて、ユーザが入力した情報、例えばアルバムの名称、アルバムの登場人物、撮影場所、撮影時期などを取得する。アルバムデータ取得部１０８は、取得したアルバムのデータを、画像データ解析部１１０及びテキストデータ解析部１１２に送る。

画像データ解析部１１０は、アルバムデータ取得部１０８が取得した画像データの解析処理を実行する。画像データ解析部１１０は、画像データの解析処理として、画像データから顔情報を取得する処理を実行する。また画像データ解析部１１０は、アルバムデータ取得部１０８が取得した画像データを、撮影時間、撮影場所、顔でグルーピングする解析処理を実行する。画像データ解析部１１０は、画像データの解析処理の結果をアルバムデータ保存部１１４に送る。

テキストデータ解析部１１２は、アルバムデータ取得部１０８が取得した、ユーザにより入力された情報その他のテキストデータの解析を行う。テキストデータ解析部１１２は、ユーザにより入力された情報その他のテキストデータを解析し、人物名、地名、時期、人物を特定できる人称代名詞等の情報を取得する。テキストデータ解析部１１２は、取得したこれらの情報をアルバムデータ保存部１１４に送る。

アルバムデータ保存部１１４は、画像データ解析部１１０による画像データの解析結果及びテキストデータ解析部１１２による、ユーザにより入力された情報の解析結果をアルバムデータとして保存する。アルバムデータ保存部１１４に保存されたこれらのアルバムデータは、主役計算部１２０での主役の判定処理に用いられる。

主役判定基準指定部１１６は、主役計算部１２０による主役の計算処理の判断基準をユーザに指定させるものである。主役判定基準指定部１１６は、ユーザに指定された判断基準を主役判定基準ルール保存部１１８に保存する。ユーザによる主役の計算処理の判断基準の指定については後述する。

主役判定基準ルール保存部１１８は、主役判定基準指定部１１６がユーザに指定させた、主役計算部１２０による主役の計算処理の判断基準を保存する。主役判定基準ルール保存部１１８に保存された判断基準は、主役計算部１２０での主役の判定処理に用いられる。なお、主役計算部１２０による主役の計算処理の判断基準には、例えば、アルバム内の画像の出現頻度、アルバムの名称、アルバムの時期等がある。

主役計算部１２０は、イベントの主たる登場人物を計算によって求める。主役計算部１２０は、人物情報保存部１０６に保存された人物情報、アルバムデータ保存部１１４に保存されたアルバムデータ、および主役判定基準ルール保存部１１８に保存された判断基準を用いて、アルバムに対応するイベントの主たる登場人物を計算によって求める。なお、主役計算部１２０は、イベントの主たる登場人物を複数人求めても良い。イベントの主たる登場人物が複数人いる場合は、主役計算部１２０は、各登場人物に優先順位を付けてもよい。各登場人物に優先順位を付ける際には、主役計算部１２０は、各登場人物にスコアを与えて、このスコアによって優先順位を付けてもよい。主役計算部１２０は、イベントの主たる登場人物を求めると、求めた登場人物を主役保存部１２２へ保存する。

主役保存部１２２は、主役計算部１２０が求めたイベントの主たる登場人物を、そのイベントごとに保存する。主役保存部１２２に保存されたイベントの主たる登場人物の情報は、例えばパーソナルコンピュータ３００で実行される画像管理ツールから呼び出され、その画像管理ツール上に表示される。

以上、図２を用いてサーバ装置１００の機能構成例について説明した。本開示の一実施形態にかかるサーバ装置１００は、図２に示すような構成を有することで、複数の画像からなるアルバムにおける、主たる登場人物を効果的に特定することができる。次に、本開示の一実施形態にかかるサーバ装置１００の動作例について説明する。

［サーバ装置の動作例］
図３は、本開示の一実施形態にかかるサーバ装置１００の動作例を示す流れ図である。図３に示した流れ図は、サーバ装置１００が、アルバムの主役となる人物を算出する際の動作についてのものである。以下、図３を用いて本開示の一実施形態にかかるサーバ装置１００の動作例について説明する。

サーバ装置１００は、アルバムの主役となる人物を算出する際に、人物情報を人物情報取得部１０４で取得する（ステップＳ１０１）。人物情報取得部１０４は、例えば上述したように、ユーザがパーソナルコンピュータ３００などで使用しているアドレス帳ソフトウェア、パーソナルコンピュータ３００で実行される画像管理ツールが持つ人物情報、ソーシャルネットワーキングサービス（ＳＮＳ）のフレンドリストなどから人物情報を取得する。

図４は、人物情報取得部１０４で取得され、人物情報保存部１０６に保存される人物情報の例を示す説明図である。図４には、人物情報として、人物の顔写真、人物の姓名、人物のニックネーム、ユーザ（自分自身）との関係、所属グループ名、誕生日、性別、住所、実家の住所が示されている。人物の顔写真は複数枚持つことが可能であり、姓名およびニックネームは振り仮名を含んでいても良い。ユーザ（自分自身）との関係は、例えば、家族（親、子、配偶者、兄弟、祖父母、孫）、親戚、友達その他というようなものである。また所属グループ名には、アドレス帳やソーシャルネットワーキングサービスなどで設定されているグループ名が用いられても良い。

続いてサーバ装置１００は、アルバムデータをアルバムデータ取得部１０８で取得する（ステップＳ１０２）。この際に、アルバムデータ取得部１０８はアルバムデータとして、画像データをアルバム単位で取得する。アルバムデータ取得部１０８は、画像データを、例えばパーソナルコンピュータ３００で実行される画像管理ツール、インターネット上での写真サービス、ソーシャルネットワーキングサービスのアルバム機能などから、アルバム単位で取得する。またアルバムデータ取得部１０８は、画像データに加えて、ユーザが入力した情報、例えばアルバムの名称、アルバムの登場人物、撮影場所、撮影時期などを取得する。

図５は、アルバムデータ取得部１０８で取得されるアルバムデータに含まれる情報の例を示す説明図である。図５には、アルバムデータに含まれる情報の例として、アルバム名、アルバム内の静止画とそのタイトル、アルバム内の動画とそのタイトル、タグ、コメント、場所、日付が示されている。

アルバム名は、例えばユーザが画像管理ツール等を使用してアルバムに付与した名称である。アルバムの静止画の情報は、例えば静止画のＥｘｉｆ情報やＧｅｏ情報（位置情報）を含む。アルバム内の静止画や動画のタイトルは、例えばユーザが画像管理ツール等を使用して静止画や動画に付与した名称や、静止画や動画のファイル名である。タグの情報は、例えばユーザが画像管理ツール等を使用してアルバムに付与したテキスト情報であり、例えば登場人物の名称や人称代名詞等、イベントの種類等である。コメントの情報は、例えばユーザが画像管理ツール等を使用してアルバムに付与したテキスト情報である。場所の情報は、例えばユーザが画像管理ツール等を使用してアルバムに付与した場所情報であり、テキスト情報や、画像の位置情報から得られる。日付の情報は、アルバム内の静止画や動画の撮影日時の情報であり、アルバム内の静止画や動画の撮影日時の情報から、アルバムの開始日と終了日の情報が得られる。

続いてサーバ装置１００は、上記ステップＳ１０２でアルバムデータ取得部１０８が取得したアルバムデータに含まれている画像データを画像データ解析部１１０で解析する（ステップＳ１０３）。画像データ解析部１１０は、上述したように、アルバムデータ取得部１０８が取得した画像データの解析処理として、画像データから顔情報を取得する処理を実行する。また画像データ解析部１１０は、アルバムデータ取得部１０８が取得した画像データを、撮影時間、撮影場所、似ている顔でグルーピングする解析処理を実行する。

そして画像データ解析部１１０は、似ている顔をまとめて、人物情報保存部１０６に保存される人物情報に含まれる顔画像と照合する。また画像データ解析部１１０は、動画像については、代表シーンを決定し、その代表シーンの中から静止画を取り出し、上述の処理を実行する。画像データ解析部１１０は、画像データの解析処理の結果をアルバムデータ保存部１１４に送る。

続いてサーバ装置１００は、上記ステップＳ１０２でアルバムデータ取得部１０８が取得したアルバムデータに含まれているテキストデータの解析をテキストデータ解析部１１２で行う（ステップＳ１０４）。このテキストデータ解析部１１２は、ユーザにより入力された情報その他のテキストデータを解析し、人物名、地名、時期、人物を特定できる人称代名詞等の情報を取得する。テキストデータ解析部１１２は、テキストデータの解析処理の結果をアルバムデータ保存部１１４に送る。

続いてサーバ装置１００は、主役計算部１２０による主役の計算処理の判断基準を主役判定基準指定部１１６によってユーザに指定させる（ステップＳ１０５）。主役判定基準指定部１１６は、ユーザに指定された判断基準を主役判定基準ルール保存部１１８に保存する。

続いてサーバ装置１００は、人物情報保存部１０６に保存された人物情報、アルバムデータ保存部１１４に保存されたアルバムデータ、および主役判定基準ルール保存部１１８に保存された判断基準を用いて、主役計算部１２０で、アルバムに対応するイベントの主たる登場人物を計算によって求める（ステップＳ１０６）。このステップＳ１０６の、主役計算部１２０による主たる登場人物の計算処理例については、後に詳述する。

サーバ装置１００は、図３に示した一連の動作を実行することで、アルバムの主役となる人物を算出することができる。

以上、図３を用いて本開示の一実施形態にかかるサーバ装置１００の動作例について説明した。続いて、上記ステップＳ１０６における、主役計算部１２０による主たる登場人物の計算処理例について詳細に説明する。

図６は、本開示の一実施形態にかかるサーバ装置１００の動作例を示す流れ図である。図６に示した流れ図は、図３のステップＳ１０６における、主役計算部１２０による主たる登場人物の計算処理例について示したものである。以下、図６を用いて本開示の一実施形態にかかるサーバ装置１００の動作例について説明する。

主役計算部１２０は、１つのアルバムを１つのイベントとして扱うことで、イベント単位での主たる登場人物を算出する。まず主役計算部１２０は、人物情報保存部１０６に保存された人物情報と、アルバムデータ保存部１１４に保存されたアルバムデータに含まれる顔情報とを比較して、イベント参加者を抽出する（ステップＳ１１１）。

続いて主役計算部１２０は、人物情報保存部１０６に保存された人物情報と、アルバムデータ保存部１１４に保存されたアルバムデータに含まれる顔情報とを比較し、人物情報保存部１０６に保存された人物情報にマッチしない顔情報があるかどうかを判断する（ステップＳ１１２）。ステップＳ１１２の判断の結果、人物情報保存部１０６に保存された人物情報にマッチしない顔情報があれば、主役計算部１２０は、その顔情報を人物情報保存部１０６に新規登録する（ステップＳ１１３）。ステップＳ１１２の判断の結果、人物情報保存部１０６に保存された人物情報にマッチしない顔情報がなければ、このステップＳ１１３の処理はスキップされる。

なお、人物情報保存部１０６に保存された人物情報にマッチしている顔情報があっても、主役計算部１２０は、その顔情報を人物情報保存部１０６に追加登録してもよい。

続いて主役計算部１２０は、上記ステップＳ１１１で抽出した各イベント参加者の、画像への出現頻度スコアＳ１を計算する（ステップＳ１１４）。なお、ここでは主役判定基準指定部１１６によって、出現頻度を主役判定の基準として指定された場合を例に挙げている。従って、主役判定基準指定部１１６によって他の基準が主役判定の基準として指定されていれば、このステップＳ１１４では、その基準に基づいたスコアが計算される。

ここで、主役計算部１２０による出現頻度スコアＳ１の計算例を示す。例えば、イベントの開始から終了まで、まんべんなく出現している人物がいれば、主役計算部１２０は、その人物に対する出現頻度スコアＳ１を高くする。また主役計算部１２０は、対象のイベントだけでなく、別のイベントも使って出現頻度スコアＳ１を設定する。例えば、自分の子供の運動会の写真が多く含まれるアルバムでは、被写体としている自分の子供だけでなく、その子供のクラスメートも写り込んでいることが多い。従って、主役計算部１２０は、その年の運動会のアルバムだけでなく、別の年の運動会のアルバムも用いて自分の子供を特定し、その自分の子供の出現頻度スコアＳ１を計算しても良い。

続いて主役計算部１２０は、上記ステップＳ１１４で計算した各イベント参加者の、画像への出現頻度スコアＳ１を、画像への出現状態に応じて補正する（ステップＳ１１５）。例えば、顔が大きく写っている画像があれば、主役計算部１２０は、その人物の出現頻度スコアＳ１を高く補正してもよい。また例えば、一人で写っている画像があれば、主役計算部１２０は、その人物の出現頻度スコアＳ１を高く補正してもよい。これは、イベントの主役は一人で写っている写真があったり、顔を中心とした写真があったりするであろうという仮説に基づくものである。

続いて主役計算部１２０は、上記ステップＳ１１４で計算した各イベント参加者の、画像への出現頻度スコアＳ１を、人物を特定する情報を用いて補正する（ステップＳ１１６）。例えば、アルバムに含まれるテキストデータをテキストデータ解析部１１２で解析した結果、イベント参加者を特定できる人名が含まれていることが分かれば、主役計算部１２０は、その人物の出現頻度スコアＳ１を高く補正する。またこの場合に、そのイベント参加者はイベントの主たる登場人物である可能性が高いので、主役計算部１２０は、その人物に対して主役フラグを設定する。

続いて主役計算部１２０は、上記ステップＳ１１４で計算した各イベント参加者の、画像への出現頻度スコアＳ１を、イベント参加者に関係する場所を特定する情報を用いて補正する（ステップＳ１１７）。イベント参加者に関係する場所を特定する情報としては、例えばイベント参加者の居住地、実家、通学先等の情報が含まれる。例えば、アルバムに含まれるテキストデータをテキストデータ解析部１１２で解析した結果、イベント参加者に関係する、これらの場所を特定する情報が含まれていることが分かれば、主役計算部１２０は、その人物の出現頻度スコアＳ１を高く補正する。

ここまでの一連の処理で、主役計算部１２０は、各イベント参加者の、画像への出現頻度スコアＳ１を求めると共に、画像への出現頻度やアルバムのテキストデータの解析結果を基に出現頻度スコアＳ１を補正した。

しかし、イベントの主役がアルバムの静止画や動画に写っていない場合もある。例えば、主役本人がデジタルカメラを用いて撮影しているような場合である。このような場合を考慮するために、主役計算部１２０は、人物名や人物を特定できる人称代名詞のような情報がテキストデータに含まれていることでそのテキストデータから人物を特定でき、その人物がイベント参加者になっていなければ、その人物をイベント参加者にするとともに、その人物に対してスコアＳ２を付与する（ステップＳ１１８）。

ここまでで、主役計算部１２０は、各イベント参加者に対して、２種類のスコアＳ１、Ｓ２を付与すると共に、イベントの主たる登場人物である可能性が高いイベント参加者に対して主役フラグを設定した。

続いて主役計算部１２０は、主役フラグを設定したイベント参加者を、主役保存部１２２に保存する（ステップＳ１１９）。主役フラグを設定したイベント参加者が存在しなければ、主役計算部１２０は、スコアＳ１とＳ２との和が所定の閾値以上のイベント参加者を、イベントの主たる登場人物であるとして主役保存部１２２に保存する（ステップＳ１２０）。

主役計算部１２０は、図６に示したような一連の動作を実行することで、イベントの参加者を抽出するとともに、その参加者の中から、主たる登場人物を決定することができる。

以上、図６を用いて、本開示の一実施形態にかかるサーバ装置１００の動作例について説明した。主役計算部１２０は、イベントの主たる登場人物を算出する際に、そのイベントに含まれる画像解析によらないパラメータを用いて（例えばテキストデータを用いて）イベントの主たる登場人物の算出を試み、その画像解析によらないパラメータだけではイベントの主たる登場人物が算出できない場合には、画像解析によるパラメータも用いてイベントの主たる登場人物を算出しても良い。例えば主役計算部１２０は、テキストデータの解析によって得られるスコアＳ２が所定の閾値を超えているかどうかを判定し、超えていれば人物を主たる登場人物として決定し、超えていなければ、スコアＳ１とＳ２の和が所定の閾値を超えているかどうかで主たる登場人物の判定を行なっても良い。

また主役計算部１２０は、イベントの主たる登場人物を算出する際に、そのイベントの情報だけではなく、その他のイベントの情報を用いても良い。例えば、運動会や誕生日会などのように、年に１回行われるようなイベントの場合では、そのイベントの主たる登場人物の他にも多くの人物が写っていることがあるが、主役計算部１２０は、同じような過去のイベントについて参照することで、イベントの主たる登場人物をより適切に求めることが出来る。

主役計算部１２０は、イベントの主たる登場人物を算出する際に、人物情報保存部１０６に保存された人物情報を用いるが、その際に、イベントの時点における人物関係を用いてイベントの主たる登場人物を算出してもよい。例えば、ある人物（Ａさん）と別の人物（Ｂさん）とが一緒に写っているイベントがある場合に、そのイベントの時点ではＡさんのみが友人であるとして人物情報保存部１０６に保存されていれば、主役計算部１２０は、Ａさんの方をイベントの主たる登場人物であるとしてもよい。

また、主役計算部１２０は、イベントの主たる登場人物を算出する際に、他のアルバムの情報から消去法でイベントの主たる登場人物を算出してもよい。例えば、人物情報保存部１０６に、家族が４人登録されている場合に、３人の誕生日会のイベントが存在していれば、残りの誕生日会の対象は残った１人であるから、主役計算部１２０は、その誕生日会の主たる登場人物は、その残った１人であると算出してもよい。

このようにサーバ装置１００で決定されたイベントの主たる登場人物の情報を用いることで、例えばパーソナルコンピュータ３００で実行される画像管理ツールにおいて、イベントごとの主たる登場人物の表示や、主たる登場人物でのイベントの検索等に活用することが可能となる。続いて、パーソナルコンピュータ３００で実行される画像管理ツールのユーザインタフェース例を説明する。

図７は、パーソナルコンピュータ３００で実行される画像管理ツールのユーザインタフェース例を示す説明図である。図７では、パーソナルコンピュータ３００の表示部３２０に表示される画像管理ツールのユーザインタフェース例を図示している。図７には、左側に画像管理ツールに登録されている人物の情報４０１ａ、４０１ｂ、４０１ｃ、４０１ｄ、４０１ｅが、右側に、パーソナルコンピュータ３００に保存され、所定の条件を満たすアルバム４０２ａ、４０２ｂ、４０２ｃが、それぞれ表示されている状態が図示されている。

従来の画像管理ツールでは、画像管理ツールに登録されている人物の中からある人物を選択すると、その人物が含まれるアルバムを検索することができるが、その人物が主役であるアルバムは検索することができない。

一方、本実施形態では、パーソナルコンピュータ３００で保存している画像データに対し、アルバム単位で主たる登場人物をサーバ装置１００で求めているので、パーソナルコンピュータ３００で実行される画像管理ツールは、サーバ装置１００が求めた主たる登場人物の情報を用いることで、選択された人物が主役であるアルバムの検索が可能になる。

図７に示した例では、画像管理ツールの画面に表示された５人の人物の内、例えば符号４０１ａで示した「山田 奈々子」さんがユーザによって選択されると、この人物が主役であるアルバム４０２ａ、４０２ｂ、４０２ｃを画像管理ツールの画面の右側に表示させることが出来る。

なお、図７には、各アルバムにおいて、その人物が主たる登場人物に選ばれた理由も示されている（符号４０３ａ、４０３ｂ、４０３ｃ）。例えば、「ママ誕生日」というアルバム４０２ａでは、そのアルバムの時期を理由として、その人物が主たる登場人物に選ばれたことを示している。また、「バレーボール大会」というアルバムでは、そのアルバムに登場している頻度を理由として、その人物が主たる登場人物に選ばれたことを示している。また「ななこ高校同窓会」というアルバムでは、そのアルバムの名前を理由として、その人物が主たる登場人物に選ばれたことを示している。

図８は、パーソナルコンピュータ３００で実行される画像管理ツールのユーザインタフェース例を示す説明図である。図８には、パーソナルコンピュータ３００に保存されているアルバムが一覧表示された状態が図示されている。

図８には、各アルバム４１１ａ〜４１１ｆに登場する人物の顔写真が併せて図示されている。そして、そのアルバムの主たる登場人物の顔写真は太枠４１２ａ〜４１２ｆで囲まれている。この太枠の表示は、サーバ装置１００が求めた主たる登場人物の情報に基づいて行われる。このように、アルバムごとにイベント参加者と主たる登場人物を表示することで、パーソナルコンピュータ３００で実行される画像管理ツールは、ユーザに対し、各アルバムにとって重要な人物を提示することが出来る。

なお、パーソナルコンピュータ３００で実行される画像管理ツールは、図８における「花子誕生日」「一郎入園式」「太郎君宅訪問」のように、各アルバムの主たる登場人物については、顔写真を一回り大きく表示させても良い。

図９は、パーソナルコンピュータ３００で実行される画像管理ツールのユーザインタフェース例を示す説明図である。図９には、図７と同様に、左側に画像管理ツールに登録されている人物の情報４０１ａ、４０１ｂ、４０１ｃ、４０１ｄ、４０１ｅが、右側に、パーソナルコンピュータ３００に保存され、所定の条件を満たすアルバム４２１ａ、４２１ｂ、４２１ｃが、それぞれ表示されている状態が図示されている。また、各アルバム４２１ａ、４２１ｂ、４２１ｃにおいて、その人物が主たる登場人物に選ばれた理由も示されている（符号４２２ａ、４２２ｂ、４２２ｃ）。

図９では、「山田 一郎」さんが選択されると、この人物が主役であるアルバムを右側に表示させることが出来る。しかし、ユーザが、アルバムの名称に人物の名前をつけているような場合は、「名前」を主たる登場人物の算出基準とした方が、サーバ装置１００で、より効果的に主たる登場人物を決定することができる。

そこで、パーソナルコンピュータ３００で実行される画像管理ツールは、主たる登場人物の算出基準をユーザに選択可能としても良い。図９では、画像管理ツールにおいて、「名前」を使った主たる登場人物の算出基準の優先度を上げることで、名前を主たる登場人物の算出基準とした場合の検索結果が表示される状態が図示されている。このように、主たる登場人物の算出基準の優先度を変更可能とすることで、サーバ装置１００は、よりユーザの嗜好に合った主たる登場人物を算出することが出来る。

図１０は、パーソナルコンピュータ３００で実行される画像管理ツールのユーザインタフェース例を示す説明図である。図１０では、アルバムに含まれる画像５０１を画像管理ツールの画面中央に表示させているとともに、アルバムの登場人物の顔写真の一覧５０２を画像管理ツールの画面左下部分に表示させている状態が図示されている。そして、アルバムの登場人物のうち、サーバ装置１００において主たる登場人物として算出された人物については顔写真を太枠５０３で強調表示させている状態が図示されている。

図１１は、パーソナルコンピュータ３００で実行される画像管理ツールのユーザインタフェース例を示す説明図である。図１１では、図１０のように表示されている状態から、主たる登場人物として算出された人物を選択した状態への遷移が図示されている。ユーザが、現在画面に表示中のアルバムの主たる登場人物を選択すると、画像管理ツールは、図１１に示したように、主たる登場人物が同一人物であるアルバムの一覧５０４を画面に表示する。

なお、図１１には、選択した人物が主たる登場人物のアルバムが表示された例を図示したが、選択した人物が主役のアルバムの表示と並列して、サーバ装置１００が、パーソナルコンピュータ３００で表示中のアルバムの主たる登場人物の算出の基準に用いたパラメータによる登場人物をスコアによって並び替えて表示させても良い。

上述のように、サーバ装置１００はイベント単位で主たる登場人物を算出することができるが、算出結果に誤りがあったり、算出結果がユーザの意図したものと異なっていたりする場合もある。そのような場合に、パーソナルコンピュータ３００で実行される画像管理ツールから、サーバ装置１００に対してフィードバックさせてもよい。

図１２は、パーソナルコンピュータ３００で実行される画像管理ツールのユーザインタフェース例を示す説明図である。図１２では、サーバ装置１００に対してイベントの主たる登場人物をフィードバックするための画面例が図示されている。

イベントの主たる登場人物をフィードバックする画面において、主たる登場人物の修正をユーザが行うと、画像管理ツールは、修正結果をサーバ装置１００に送信する。そして画像管理ツールは、主たる登場人物についての修正後の情報を画面に表示する。これにより画像管理ツールは、サーバ装置１００での算出結果に対するフィードバックを可能にし、ユーザが意図したものにより近い結果をユーザに提示することができる。

なお、ここまでパーソナルコンピュータ３００で実行される画像管理ツールのユーザインタフェース例について説明したが、本開示は、画像管理ツールのユーザインタフェースは係る例に限定されない。また、画像管理ツールはパーソナルコンピュータ３００で実行されるものとして説明したが、本開示は、係る例に限定されない。例えば、画像管理ツールがサーバ装置１００で提供されるＷｅｂサービスであってもよい。この場合は、サーバ装置１００の制御部１０２が、パーソナルコンピュータ３００等の装置に、上述したようなユーザインタフェースを表示させるように制御してもよい。

＜２．まとめ＞
以上説明したように本開示の一実施形態によれば、画像データをイベント単位で解析することで、そのイベントにおける主たる登場人物を算出するサーバ装置１００が提供される。サーバ装置１００は、イベントにおける主たる登場人物を算出する際に、そのイベントに登場する人物を抽出するとともに、抽出した各人物に対してスコアを付与する。サーバ装置１００は、抽出した各人物に対してスコアを付与するに際して、例えば、出現頻度、アルバムのテキストデータの解析結果、他のアルバムの登場人物の情報等を用いる。そして、アルバムのテキストデータに、主役と推定される情報が含まれていれば、サーバ装置１００は、その人物に対して主役フラグを設定する。

そしてサーバ装置１００は、主役フラグが登場人物の中の誰かに設定されていればその人物をイベントの主たる登場人物として決定し、主役フラグが登場人物に誰も設定されていなければ、各人物に付与したスコアに基づいて、誰が主たる登場人物であるかを決定する。

サーバ装置１００は、このような動作を行うことによって、イベントごとに誰が主たる登場人物であるかを求め、その主たる登場人物が誰であるかをユーザに提示することができる。ユーザは、サーバ装置１００が求めた主たる登場人物の情報を用いて、イベントにおける主役を容易に把握できる。

サーバ装置１００がイベント単位で主たる登場人物を算出すると、この主たる登場人物の情報を用いた様々なユーザインタフェースが実現可能となる。例えば、主たる登場人物をキーとしたイベントの検索が可能となる。また、サーバ装置１００が算出した主たる登場人物を修正するユーザインタフェースも実現が可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、本技術は以下のような構成も取ることができる。
（１）
画像データを解析する画像解析部と、
１以上の画像データからなるイベントの主役を特定する主役特定部と、
を備え、
前記主役特定部は、少なくとも、前記イベントに付与される画像解析によらないパラメータを用いてイベントの主役を特定し、前記画像解析によらないパラメータによってはイベントの主役を特定できなければ、前記イベントに含まれる画像データを前記画像解析部に解析させて前記イベントの主役を特定する、情報処理装置。
（２）
前記主役特定部は、他のイベントの情報を用いて前記イベントの主役を特定する、前記（１）に記載の情報処理装置。
（３）
前記主役特定部での主役を特定する基準を指定する主役判定基準指定部をさらに備える、前記（１）または（２）に記載の情報処理装置。
（４）
前記主役特定部で特定した主役を前記イベントごとに提示する表示制御部をさらに備える、前記（１）から（３）のいずれかに記載の情報処理装置。
（５）
前記表示制御部は、前記主役特定部で特定した主役の特定基準を提示する、前記（４）に記載の情報処理装置。
（６）
前記主役特定部は、画像解析によらないパラメータとして前記イベントに付与されるテキストデータを用いて前記イベントの主役を特定する、前記（１）〜（５）のいずれかに記載の情報処理装置。
（７）
前記主役特定部は、前記イベントに付与される前記テキストデータに含まれる、人物を特定する情報を用いて前記イベントの主役を特定する、前記（６）に記載の情報処理装置。
（８）
前記主役特定部は、前記テキストデータに人物を特定する情報が含まれていれば、その人物を前記イベントの主役として特定する、前記（７）に記載の情報処理装置。
（９）
前記主役特定部は、前記イベントに付与される前記テキストデータに含まれる人称代名詞を用いて前記イベントの主役を特定する、前記（６）に記載の情報処理装置。
（１０）
前記主役特定部は、前記画像解析部による画像解析の結果に基づいて、イベントの登場人物にスコアを付与し、前記スコアに基づいて前記イベントの主役を特定する、前記（１）〜（９）のいずれかに記載の情報処理装置。
（１１）
画像データを解析する画像解析ステップと、
１以上の画像データからなるイベントの主役を特定する主役特定ステップと、
を備え、
前記主役特定ステップは、少なくとも、前記イベントに付与される画像解析によらないパラメータを用いてイベントの主役を特定し、前記画像解析によらないパラメータによっては前記イベントの主役を特定できなければ、前記イベントに含まれる画像データを前記画像解析ステップで解析させて前記イベントの主役を特定する、情報処理方法。
（１２）
コンピュータに、
画像データを解析する画像解析ステップと、
１以上の画像データからなるイベントの主役を特定する主役特定ステップと、
を実行させ、
前記主役特定ステップは、少なくとも、前記イベントに付与される画像解析によらないパラメータを用いて前記イベントの主役を特定し、前記画像解析によらないパラメータによっては前記イベントの主役を特定できなければ、前記イベントに含まれる画像データを前記画像解析ステップで解析させて前記イベントの主役を特定する、コンピュータプログラム。
（１３）
少なくとも、１以上の画像データからなるイベントに付与される画像解析によらないパラメータを用いて特定された前記イベントの主役を表示し、前記画像解析によらないパラメータによっては前記イベントの主役を特定できなければ、前記イベントに含まれる画像データの解析によって特定された前記イベントの主役を表示するコンテンツ表示部を備える、画像表示装置。

１００ サーバ装置
１０２ 制御部
１０４ 人物情報取得部
１０６ 人物情報保存部
１０８ アルバムデータ取得部
１１０ 画像データ解析部
１１２ テキストデータ解析部
１１４ アルバムデータ保存部
１１６ 主役判定基準指定部
１１８ 主役判定基準ルール保存部
１２０ 主役計算部
１２２ 主役保存部

Claims (12)

1. 画像データを解析する画像解析部と、
   １以上の画像データからなるイベントの主役を特定する主役特定部と、
   を備え、
   前記主役特定部は、少なくとも、前記イベントに付与される画像解析によらないパラメータを用いて前記イベントの主役を特定し、前記画像解析によらないパラメータによっては前記イベントの主役を特定できなければ、前記イベントに含まれる画像データを前記画像解析部に解析させ、前記画像解析部による画像解析の結果に基づいて、前記イベントの登場人物に第１のスコアを付与し、前記画像解析によらないパラメータによって前記イベントの登場人物に第２のスコアを付与し、前記第１のスコア及び前記第２のスコアに基づいて前記イベントの主役を特定する、情報処理装置。
2. 前記主役特定部は、他のイベントの情報を用いて前記イベントの主役を特定する、請求項１に記載の情報処理装置。
3. 前記主役特定部での主役を特定する基準を指定する主役判定基準指定部をさらに備える、請求項１または２に記載の情報処理装置。
4. 前記主役特定部で特定した主役を前記イベントごとに提示する表示制御部をさらに備える、請求項１〜３のいずれかに記載の情報処理装置。
5. 前記表示制御部は、前記主役特定部で特定した主役の特定基準を提示する、請求項４に記載の情報処理装置。
6. 前記主役特定部は、画像解析によらないパラメータとして前記イベントに付与されるテキストデータを用いて前記イベントの主役を特定する、請求項１〜５のいずれかに記載の情報処理装置。
7. 前記主役特定部は、前記イベントに付与される前記テキストデータに含まれる、人物を特定する情報を用いて前記イベントの主役を特定する、請求項６に記載の情報処理装置。
8. 前記主役特定部は、前記テキストデータに人物を特定する情報が含まれていれば、その人物を前記イベントの主役として特定する、請求項７に記載の情報処理装置。
9. 前記主役特定部は、前記イベントに付与される前記テキストデータに含まれる人称代名詞を用いて前記イベントの主役を特定する、請求項６〜８のいずれかに記載の情報処理装置。
10. 画像データを解析する画像解析ステップと、
    １以上の画像データからなるイベントの主役を特定する主役特定ステップと、
    を備え、
    前記主役特定ステップは、少なくとも、前記イベントに付与される画像解析によらないパラメータを用いてイベントの主役を特定し、前記画像解析によらないパラメータによってはイベントの主役を特定できなければ、イベントに含まれる画像データを前記画像解析ステップで解析させ、前記画像解析部による画像解析の結果に基づいて、前記イベントの登場人物に第１のスコアを付与し、前記画像解析によらないパラメータによって前記イベントの登場人物に第２のスコアを付与し、前記第１のスコア及び前記第２のスコアに基づいてイベントの主役を特定する、情報処理方法。
11. コンピュータに、
    画像データを解析する画像解析ステップと、
    １以上の画像データからなるイベントの主役を特定する主役特定ステップと、
    を実行させ、
    前記主役特定ステップは、少なくとも、前記イベントに付与される画像解析によらないパラメータを用いてイベントの主役を特定し、前記画像解析によらないパラメータによってはイベントの主役を特定できなければ、イベントに含まれる画像データを前記画像解析ステップで解析させ、前記画像解析部による画像解析の結果に基づいて、前記イベントの登場人物に第１のスコアを付与し、前記画像解析によらないパラメータによって前記イベントの登場人物に第２のスコアを付与し、前記第１のスコア及び前記第２のスコアに基づいてイベントの主役を特定する、コンピュータプログラム。
12. 少なくとも、１以上の画像データからなるイベントに付与される画像解析によらないパラメータを用いて特定された前記イベントの主役を表示し、前記画像解析によらないパラメータによっては前記イベントの主役を特定できなければ、前記イベントに含まれる画像データを解析させ、前記画像解析の結果に基づいて、前記イベントの登場人物に第１のスコアを付与し、前記画像解析によらないパラメータによって前記イベントの登場人物に第２のスコアを付与し、前記第１のスコア及び前記第２のスコアに基づいて特定された前記イベントの主役を表示するコンテンツ表示部を備える、画像表示装置。

Images