JP6896608B2 - 情報提示装置、方法およびプログラム - Google Patents

Description

本発明は情報提示装置、方法およびプログラムに関し、特に、画像の活用を促す情報を提示する情報提示装置、方法およびプログラムに関する。

特許文献１では、「旅行写真」という単語または「写真送って」という文章を入力したら、相手のデバイスに保存されている写真のメタデータを検索し、共に行ってきた当該旅行地で撮影した写真を添付して送付することができるように当該写真リストをおすすめ情報として提供することができることが記載されている。

特許文献２では、被写体抽出および顔抽出を行い、被写体ごとの画像分類を行って、画像のシェアを行い、シェア相手の嗜好に合わせることが記載されている。また、画像の好みはタグ情報や画像解析によっても良い旨、シェア相手の好みのレイアウト情報の登録も可能なことが記載されている。

特開2017-010546号公報 特開2009-259238号公報

世の中で撮影された数多くの写真のうち、ユーザがプリントしたい、あるいは壁に飾りたいと思う写真は、ネイチャー系、アート系、ウェディング系、スナップ系（家族写真、旅行写真）などのカテゴリに分類可能である。また、飾りたいと思わない写真（失敗画像、スマートフォンのスクリーンキャプチャ）なども、「その他」といったカテゴリに分類可能である。

特許文献１や特許文献２では、特定のカテゴリに属さない画像についてのお勧めはできない。すなわち、特許文献１では、旅行写真でない写真については、おすすめ画像を提供することはできない。また特許文献２では、被写体の写っていない画像についてのおすすめはできない。

本発明は、ユーザの所有する画像の属するカテゴリに応じて、ユーザに画像の様々な利用を促すことのできる情報提示装置、方法およびプログラムを提供する。

本発明の情報提示装置は、第１のユーザの所有する画像群に基づいて、第１のユーザが興味を持つカテゴリを判別する判別部と、判別部の判別したカテゴリと同一のカテゴリに属する画像、画像の付帯情報、および画像に付随する商材のうち少なくとも１つの情報を抽出する抽出部と、抽出部の抽出した情報を提示する提示部と、を備える。

この発明によると、第１のユーザの所有する画像のカテゴリと同一のカテゴリに属する画像、画像の付帯情報、および画像に付随する商材のうち少なくとも１つの情報が抽出され、当該情報が提示される。

これにより、第１のユーザの所有する画像の属するカテゴリに応じて、第１のユーザに画像についての様々な利用を促すことができる。

判別部は、第１のユーザの所有する画像群の特徴量に基づいて、第１のユーザが興味を持つカテゴリを判別することが好ましい。

判別部は、第１のユーザの所有する画像群の撮影パラメータ、撮影日時または撮影位置に基づいて、第１のユーザが興味を持つカテゴリを判別することが好ましい。

判別部は、第１のユーザの所有する画像群の撮影パラメータから、第１のユーザが興味を持つカテゴリは自然であると判別し、抽出部は、第１のユーザの所有する画像群の撮影位置と異なる撮影位置を第１のユーザ以外の第２のユーザの所有する画像群から抽出することが好ましい。

判別部は、第１のユーザの所有する画像群から選択された選択画像の特徴量から、第１のユーザが興味を持つカテゴリは芸術であると判別し、抽出部は、選択画像と類似する特徴量を有する選択画像以外の画像を、第１のユーザの所有する画像群から抽出することが好ましい。

判別部は、第１のユーザの所有する画像群の撮影日時から、第１のユーザが興味を持つカテゴリは結婚であると判別し、抽出部は、第１のユーザの所有する画像群と同一または近接する撮影日時を有する画像を、第１のユーザの所有する画像群から抽出することが好ましい。

抽出部は、第１のユーザの所有する画像群と同一または近接する撮影日時を有する画像に付随する商材を抽出することが好ましい。

判別部は、第１のユーザの所有する画像群からオブジェクトを認識し、第１のユーザの所有する画像群から認識されたオブジェクトから、第１のユーザが興味を持つカテゴリはスナップであると判別し、抽出部は、第１のユーザの所有する画像群から認識されたオブジェクトと類似するオブジェクトを有する画像を抽出することが好ましい。

提示部は、抽出された画像のレイアウトを提示することが好ましい。

第１のユーザの所有する画像群の特徴量に基づいて画像群の各画像を１以上のカテゴリのいずれか１つに分類する分類部を備え、判別部は、分類部により画像群の各画像が１以上のカテゴリのいずれか１つに分類された結果に応じて、第１のユーザが興味を持つカテゴリを判別することが好ましい。

分類部は、学習用の画像群と学習用の画像群の各画像の１以上のカテゴリのいずれか１つへの分類結果を示す教師データとにより、各画像の分類を機械学習することが好ましい。

学習用の画像群の各画像は、画像特徴情報、メタデータおよびアノテーション情報のうち少なくとも１つ含むことが好ましい。

本発明の情報提示方法は、第１のユーザの所有する画像群に基づいて、第１のユーザが興味を持つカテゴリを判別するステップと、判別したカテゴリと同一のカテゴリに属する画像、画像の付帯情報、および画像に付随する商材のうち少なくとも１つの情報を抽出するステップと、抽出した情報を提示するステップと、を実行する。

上記の情報提示方法をコンピュータに実行させるための情報提示プログラムも本発明に含まれる。

本発明によると、第１のユーザの所有する画像のカテゴリと同一のカテゴリに属する画像、画像の付帯情報、および画像に付随する商材のうち少なくとも１つの情報が抽出され、当該情報が提示される。これにより、第１のユーザの所有する画像の属するカテゴリに応じて、第１のユーザに画像についての様々な利用を促すことができる。

情報提示システムの概略構成図 情報提示装置のブロック図 情報提示装置の情報提示処理の流れを示すフローチャート 「ネイチャー系」のお勧め画像抽出およびお勧め画像提示の処理の詳細を示すフローチャート ユーザが所有する「ネイチャー系」の画像群を概念的に示す図 「ネイチャー系」のお勧め情報の提示の仕方を概念的に示す図 「アート系」のお勧め画像抽出およびお勧め画像提示の処理の詳細を示すフローチャート 「アート系」の画像群の一例を示す図 「アート系」でない画像群の一例を示す図 「アート系」の選択画像の一例を示す図 「アート系」のお勧め情報の提示の仕方を概念的に示す図 「ウェディング系」のお勧め画像抽出およびお勧め画像提示の処理の詳細を示すフローチャート 「ウェディング系」のお勧め情報の提示の仕方を概念的に示す図 「スナップ系」のお勧め画像抽出およびお勧め画像提示の処理の詳細を示すフローチャート 「スナップ系」のお勧め情報の提示の仕方を概念的に示す図

図１は本発明の好ましい第１実施形態に係る情報提示システムの概略構成図である。情報提示システムは、インターネットなどのネットワーク５を介して相互に接続された、情報提示装置１、第１ユーザ端末１００、第２ユーザ端末２００、ＳＮＳ（Social Networking Service）サーバ２およびプリントサーバ３を備える。情報提示装置１、第１ユーザ端末１００、第２ユーザ端末２００、ＳＮＳサーバ２およびプリントサーバ３は、いずれも既知のコンピュータで構成することができる。情報提示装置１は、第１ユーザ端末１００、第２ユーザ端末２００、ＳＮＳサーバ２またはプリントサーバ３のいずれかに組み込まれてもよい。

ＳＮＳサーバ２は、第１ユーザ端末１００や第２ユーザ端末２００のユーザを含む複数のユーザの情報共有を管理する既知のサーバである。ＳＮＳサーバ２が管理する情報は、ユーザの関係（友達、コミュニティのメンバーなど）、ユーザの関係に応じた、メッセージ、画像、位置情報といった各種情報の共有のルールなどである。ここでは、第１ユーザ端末１００および第２ユーザ端末２００のユーザの関係は、双方とも、旅行業界関係の個人または会社が開設した「旅行」というコミュニティに属するものとする。

プリントサーバ３は、第１ユーザ端末１００を含むユーザ端末から、任意に指定された画像を任意に指定されたフォーマットでプリントするプリント注文を受け付け、その注文に従って料金の決済や写真プリントのオーダー発行などを実行可能な既知のサーバである。プリントサーバ３は、ネット注文のサーバでもよいし店頭プリント端末でもよい。

情報提示装置１、ＳＮＳサーバ２、およびプリントサーバ３は、１つのコンピュータで構成されてもよいし、ローカルエリアネットワークや無線通信ネットワークに接続されていてもよい。

第１ユーザ端末１００および第２ユーザ端末２００は、ネットワーク５を介してＳＮＳサーバ２にアクセスし、画像やテキストなどの各種情報を相互に共有できる。第２ユーザ端末２００は複数存在してもよい。

第１ユーザ端末１００は、そのユーザである第１ユーザが画像を所有するために使用される。また、第２ユーザ端末２００は、そのユーザである第２ユーザが画像を所有するために使用される。

ここで、第１ユーザあるいは第２ユーザが画像を「所有」するとは、第１ユーザあるいは第２ユーザが、第１ユーザ端末１００、第２ユーザ端末２００、ＳＮＳサーバ２、プリントサーバ３、図示しないその他のコンピュータ、クラウドコンピューティング、またはコンピュータ読み取り可能な記憶媒体に、自ら任意に指定した画像を、コントロール可能に保存することを含む。第１ユーザあるいは第２ユーザが画像をコントロール可能とは、読み出し、閲覧、送信、コピー、編集、アクセス権限の設定など、画像をソフトウェア的に利用する権限を第１ユーザあるいは第２ユーザが有することである。

図２は情報提示装置１の構成図である。情報提示装置１は、通信部１０、カテゴリ分類部１１、カテゴリ判別部１２、お勧め情報抽出部１３、お勧め情報提示部１４、提示情報データベース１５を備えている。

通信部１０は、ネットワーク５を介して、第１ユーザ端末１００、第２ユーザ端末２００、ＳＮＳサーバ２、プリントサーバ３と接続されており、各種の情報を送受信する。

カテゴリ分類部１１は、第１ユーザ端末１００および第２ユーザ端末２００からＳＮＳサーバ２にアップされた画像を、「ネイチャー系」、「アート系」、「ウェディング系」、「スナップ系」といった規定のカテゴリのいずれか１つに分類する。

カテゴリ分類部１１によるこの分類は、機械学習により行われる。例えば、画像を分類したいカテゴリを管理者により指定させるとともに、機械学習のための画像群（教師データ）を用意しておく。まず、管理者により、用意した画像群の各々を、指定したカテゴリに分類する。この結果、各画像はいずれか１つのカテゴリに分類される。そして、各カテゴリに分類された画像の画像情報（ヒストグラムや周波数など）、メタデータ（絞り、シャッタースピード、Global Positioning System: GPSで構成された撮影位置情報など）、アノテーション情報を、各カテゴリに属する画像のカテゴリ分類要素として抽出する。そして、各カテゴリに属する画像の特徴情報に基づいて、カテゴリごとの画像の分類基準（カテゴリ分類要素ごとの重みとカテゴリの対応関係）を学習する。これは例えば、ｆ値（絞り）が大きいものはネイチャー系に分類する重みを大きくする、被写体の顔の多い画像はスナップ系に分類する重みを大きくする、検出されたオブジェクトの種類が動植物であればネイチャー系、ウェディング衣装を纏った被写体が検出されればウェディング系、撮影日時および画像特徴量の類似した一群の画像はアート系といった、カテゴリ分類要素の重みづけ（ユーザの興味の度合い）が学習される。

カテゴリ判別部１２は、第１ユーザ端末１００からＳＮＳサーバ２にアップされた画像のうち、第１ユーザ端末１００からプリントサーバ３にプリント注文がされた画像（トリガー画像）を識別する情報であるトリガー画像識別情報を、通信部１０を介してプリントサーバ３から受信する。

なお、トリガー画像識別情報は、プリント注文に由来するものでなくてもよく、何らかのサービスに供する目的で第１ユーザ端末１００から指定された画像を識別する情報であればよい。例えば、ＳＮＳサーバ２を介して他者に公開するためにアップロードが指定された画像、記録メディア経由で店頭プリント注文された画像、クラウドにアップロードされた画像を識別する情報を、トリガー画像識別情報としてもよい。

カテゴリ判別部１２は、第２ユーザ端末２００からＳＮＳサーバ２にアップされた画像でありかつ第１ユーザ端末１００との共有が許可された画像のうち、トリガー画像識別情報で識別される画像のカテゴリを判別する。なおプリント画像識別情報で識別される画像は、カテゴリ分類部１１によって何らかのカテゴリに分類されている。

お勧め情報抽出部１３は、カテゴリ判別部１２が判別したカテゴリと同一のカテゴリに属する画像（お勧め画像）を、第１ユーザ端末１００、第２ユーザ端末２００、またはＳＮＳサーバ２から抽出する。また、お勧め情報抽出部１３は、お勧め画像に関連する情報（商材、旅行情報など）を提示情報ＤＢ１５から抽出する。

お勧め情報提示部１４は、お勧め情報抽出部１３が抽出したお勧め画像およびお勧め画像関連情報を第１ユーザ端末１００に提示する。提示の方法は任意である。例えば、お勧め情報提示部１４は、プリントサーバ３が第１ユーザ端末１００に送信するプリント注文画面から「お勧め情報」の表示画面に遷移させ、この表示画面にお勧め情報抽出部１３が抽出したお勧め情報（お勧め画像や商材のプレビュー画像など）を表示させる。なおこの表示に従って実際に商材やサービスを注文する・しないは、ユーザの自由である。

提示情報データベース（ＤＢ）１５は、上記の規定のカテゴリのいずれかに対応したお勧め情報（お勧めの画像の額縁、お勧めの追加のプリント注文など）を格納するデータベースである。例えば、提示情報ＤＢ１５には、壁付けアルバムの画像のレイアウトの情報が、壁の色や面積などの特徴、画像の数、画像の特徴量に対応づけて記憶されている。

情報提示装置１の備える、通信部１０、カテゴリ分類部１１、カテゴリ判別部１２、お勧め情報抽出部１３、お勧め情報提示部１４は、１または複数のＣＰＵおよびその周辺回路（ＲＡＭ、ＲＯＭなど）など、各種のプロセッサ（情報処理装置）で構成される。

図３は、情報提示装置１の情報提示処理の流れを示すフローチャートである。この情報提示処理を情報提示装置１に実行させるためのプログラムは、情報提示装置１にて読み取り可能な非一時的有形媒体（ＲＯＭなど）に記憶されている。

Ｓ１では、カテゴリ分類部１１は、第１ユーザ端末１００および第２ユーザ端末２００からＳＮＳサーバ２にアップされた画像を、機械学習により、「ネイチャー系」、「アート系」、「ウェディング系」、「スナップ系」といった規定のカテゴリのいずれか１つに分類する。なお、規定のカテゴリのいずれにも属さない画像、あるいは分類の判別が不可能な画像は、「その他」のカテゴリに分類される。

Ｓ２では、カテゴリ判別部１２は、トリガー画像識別情報を、通信部１０を介してプリントサーバ３から受信する。カテゴリ判別部１２は、トリガー画像識別情報で識別されるトリガー画像のカテゴリを判別する。

Ｓ３では、お勧め情報抽出部１３は、カテゴリ判別部１２が判別したカテゴリと同一のカテゴリに属する画像（お勧め画像）を、そのカテゴリに応じて、第１ユーザ端末１００、ＳＮＳサーバ２、提示情報ＤＢ１５、または第２ユーザ端末２００のうち少なくとも１つから抽出する。

Ｓ４では、お勧め情報提示部１４は、お勧め情報抽出部１３が抽出したお勧め画像および／またはお勧め画像関連情報を、お勧め情報として第１ユーザ端末１００に提示する。提示の形態は、ディスプレイへのお勧め情報の表示、それに付随する音声など任意である。

カテゴリ判別部１２によるＳ２でのカテゴリの判別結果は、「ネイチャー系」、「アート系」、「ウェディング系」、または「スナップ系」のうちのいずれか１つとなる。以下、カテゴリの判別結果が、「ネイチャー系」、「アート系」、「ウェディング系」、または「スナップ系」の場合のそれぞれについての情報提示処理の流れの詳細を示す。

＜ネイチャー系のお勧め情報提示＞
図４は、トリガー画像のカテゴリが「ネイチャー系」と判別された場合のお勧め画像抽出、およびお勧め画像提示の処理の詳細を示すフローチャートである。すなわち、以下の処理は、Ｓ２にてトリガー画像のカテゴリが「ネイチャー系」と判別された場合に行われる処理である。

Ｓ３−１では、お勧め情報抽出部１３は、カテゴリ判別部１２が判別したカテゴリと同一のカテゴリである「ネイチャー系」に属する画像（お勧め画像）とその画像の撮影位置情報を、ＳＮＳサーバ２から抽出する。

Ｓ４−１では、お勧め情報提示部１４は、お勧め情報抽出部１３が抽出したお勧め画像およびそのお勧め画像の撮影位置情報を、お勧め情報として第１ユーザ端末１００に提示する。

図５および図６は、お勧め情報提示部１４による「ネイチャー系」のお勧め情報の提示の仕方を概念的に示す。

図５のように、第１ユーザ端末１００のユーザであるユーザＰがＳＮＳサーバ２にアップした画像は、カテゴリ分類部１１により、「ネイチャー系」とそれ以外のカテゴリに分類される。また、同様に、複数の第２ユーザ端末２００のユーザであるユーザＱ、ユーザＲ、ユーザＳ・・・がＳＮＳサーバ２にアップした画像は、カテゴリ分類部１１により、「ネイチャー系」とそれ以外のカテゴリに分類されている。

カテゴリ判別部１２は、第１ユーザ端末１００のユーザＰが指定したプリント注文画像が「ネイチャー系」に属するとき、同じく「ネイチャー系」に属するユーザＱ、ユーザＲ、ユーザＳ・・・のアップロード画像をＳＮＳサーバ２から検索する。

お勧め情報提示部１４は、検索した画像をお勧め情報として第１ユーザ端末１００に送信し、提示する。同じような場所で撮影された画像を提示してもよいが、ユーザが自分で気づかない有用な情報を提示するため、同じネイチャー系の画像で異なる場所で撮影された画像か、その撮影位置情報をお勧め情報として提示するとよい。すなわち、お勧め情報提示部１４は、プリント画像識別情報で識別される画像のカテゴリ「ネイチャー系」に属する画像であって、プリント画像識別情報で識別される画像の撮影位置情報と近い撮影位置情報を有する画像が最大のユーザを特定する。

例えば図６のように、ユーザＲはユーザＱやユーザＳよりもユーザＰの撮影位置情報と同じ（または一定程度近い）「ネイチャー系」の画像Ａ，Ｂ，Ｃ，Ｄ，Ｅをより多く所有している。したがって、ユーザＰとユーザＲは、「ネイチャー系」の画像を好む嗜好が似通っているといえる。このため、ユーザＲの保有する「ネイチャー系」の画像の中で、ユーザＰの「ネイチャー系」の画像の撮影位置情報と異なる撮影位置情報を有する画像ＦをＳＮＳサーバ２から検索し、その画像またはその画像に付帯する撮影位置情報を、お勧め情報として第１ユーザ端末１００に送信し、提示する。

ユーザＲの保有する「ネイチャー系」の画像の中で、ユーザＰの「ネイチャー系」の画像の撮影位置情報と異なる撮影位置情報を有する画像Ｆの撮影位置情報が、お勧め撮影位置情報としてユーザＰに提示される。

このように、ユーザＰが指定したプリント注文画像が「ネイチャー系」に属するとき、同じく「ネイチャー系」に属するユーザＲの保有する「ネイチャー系」の画像の中で、ユーザＰの「ネイチャー系」の画像の撮影位置情報と異なる撮影位置情報を有する画像Ｆの撮影位置情報が、お勧め撮影位置情報としてユーザＰに提示される。ユーザＰは、お勧め撮影位置情報を参照し、当該場所の画像を探してプリントしたり、あるいは当該場所への旅行プランを立てたりするきっかけとなるので、画像や旅行サービスの利用が促進される。

＜アート系のお勧め情報提示＞
図７は、トリガー画像のカテゴリが「アート系」と判別された場合のお勧め画像抽出、およびお勧め画像提示の処理の詳細を示す。すなわち、以下の処理は、Ｓ２にてトリガー画像のカテゴリが「アート系」と判別された場合に行われる処理である。

Ｓ３−２では、お勧め情報抽出部１３は、カテゴリ判別部１２が判別したカテゴリ「アート系」と同一のカテゴリである「アート系」に属する画像（第１のお勧め候補画像）を、第１ユーザ端末１００から抽出する。お勧め情報抽出部１３は、そのお勧め候補画像の画像特徴量とトリガー画像の画像特徴量と類似する画像特徴量を有する第１のお勧め候補画像を第２のお勧め候補画像として抽出する。

図８はトリガー画像Ｉ１と、トリガー画像Ｉ１と特徴量の類似する第２のお勧め候補画像Ｉ２の一例である。

さらにお勧め情報抽出部１３は、第２のお勧め候補画像の撮影位置情報および撮影日時情報とトリガー画像の撮影位置情報および撮影日時情報とを比較し、トリガー画像の撮影位置との距離が所定の閾値（例えば１ｋｍ）以下かつ撮影日時情報の差が所定の閾値（例えば１時間）以上となる画像を第２のお勧め候補画像から除外し、残ったものをお勧め画像として抽出する。

これは、図９のような、バーストモードで撮影した画像や同時期に撮影しなおした画像、撮影に失敗した画像、スマートフォンのスクリーンキャプチャなど、プリントに適さない画像をお勧め画像として抽出しないようにするためである。

Ｓ４−２では、お勧め情報提示部１４は、お勧め情報抽出部１３が抽出したお勧め画像およびそのお勧め画像の撮影位置情報と画像特徴量を、お勧め情報として第１ユーザ端末１００に提示する。

図１０および図１１は、お勧め情報提示部１４による「アート系」のお勧め情報の提示の仕方を概念的に示す。

図１０のように、第１ユーザ端末１００に保存された画像群から、プリントサーバ３へプリント注文する画像として、「アート系」の画像Ｉが選択されたとする。この選択された画像Ｉがトリガー画像である。

図１１のように、トリガー画像Ｉと特徴量の類似する画像Ｊおよび画像Ｋが、お勧め画像として第１ユーザ端末１００に提示される。なお情報提示装置１の機能は第１ユーザ端末１００に含まれていてもよい。

このように、ユーザＰが指定したプリント注文画像が「アート系」に属するとき、同じく「アート系」に属する画像のうち、ユーザＰが指定したプリント注文画像と特徴量の類似する画像Ｊおよび画像Ｋが第１ユーザ端末１００から抽出される。これにより、ユーザＰの所有する画像Ｊおよび画像Ｋの利用が促進される。

＜ウェディング系のお勧め情報提示＞
図１２は、トリガー画像のカテゴリが「ウェディング系」と判別された場合のお勧め画像抽出、およびお勧め画像提示の処理の詳細を示す。すなわち、以下の処理は、Ｓ２にてトリガー画像のカテゴリが「ウェディング系」と判別された場合に行われる処理である。

Ｓ３−３では、お勧め情報抽出部１３は、カテゴリ判別部１２が判別したカテゴリ「ウェディング系」と同一のカテゴリである「ウェディング系」に属する画像（お勧め画像）を、第１ユーザ端末１００から抽出する。これは、例えば、第１ユーザ端末１００に保存されている画像の中から、ウェディングに関連する被写体を検出し、その被写体の検出された画像と同一の撮影日の画像群を結婚記念日と推定し、当該結婚記念日を撮影日とする画像を「ウェディング系」のカテゴリに分類しておく。そして、「ウェディング系」のカテゴリに分類された画像のうち、すでにプリントされた画像以外の画像の中から、被写体のサイズが大きい、画質がよいなどの条件を満たす画像をお勧め画像として抽出する。

推定された結婚記念日が正しいか否かの確認と修正の入力を第１ユーザ端末１００に促してもよい。修正入力された結婚記念日が入力された場合は、その修正された結婚記念日と同一の撮影日の画像群を「ウェディング系」のカテゴリに分類する。

また、ＳＮＳサーバ２、プリントサーバ３、その他のサーバに、第１ユーザの結婚記念日が登録されていれば、その登録された結婚記念日と同一の撮影日の画像群を「ウェディング系」のカテゴリに分類してもよい。

さらにお勧め情報抽出部１３は、そのお勧め候補画像に付随する商材情報を提示情報ＤＢ１５から抽出する。

Ｓ４−３では、お勧め情報提示部１４は、お勧め情報抽出部１３が抽出したお勧め画像および商材を、お勧め情報として第１ユーザ端末１００に提示する。

図１３はお勧め画像Ｉと商材のセットＭのプレビュー画像の提示例である。この図では、お勧め画像Ｉをはめ込んだフォトフレームと花のギフトのセットＭのプレビュー画像をお勧め情報として第１ユーザ端末１００に提示している。

また、このお勧め情報の提示のタイミングは、推定されたまたは修正入力された結婚記念日の前（１週間前など）がよい。

このように、ユーザＰが指定したプリント注文画像が「ウェディング系」に属するとき、同じく「ウェディング系」に属する画像のうち、ユーザＰが指定したプリント注文画像と撮影日の同じ画像とその画像を利用した商材Ｍが第１ユーザ端末１００から抽出される。これにより、ユーザＰの所有する画像の商材Ｍへの利用が促進される。

＜スナップ系のお勧め情報提示＞
図１４は、トリガー画像のカテゴリが「スナップ系」と判別された場合のお勧め画像抽出、およびお勧め画像提示の処理の詳細を示す。すなわち、以下の処理は、Ｓ２にてトリガー画像のカテゴリが「スナップ系」と判別された場合に行われる処理である。

Ｓ３−４では、お勧め情報抽出部１３は、カテゴリ判別部１２が判別したカテゴリ「スナップ系」と同一のカテゴリである「スナップ系」に属する画像（お勧め画像）を、第１ユーザ端末１００から抽出する。これは、例えば、第１ユーザ端末１００に保存されている画像の中から、「スナップ系」の画像を分類しておく。そして、「スナップ系」のカテゴリに分類された画像のうち、すでにプリントされた画像以外の画像の中から、被写体のサイズが大きい、画質がよいなどの条件を満たす画像をお勧め画像として抽出する。

さらにお勧め情報抽出部１３は、そのお勧め画像に付随するお勧めの商材およびそのレイアウトを提示情報ＤＢ１５から抽出する。お勧め画像の数および商材のレイアウトは、別途第１ユーザ端末１００から指定されるレイアウト場所の情報（画像を飾る壁のサイズや色など）によって定めることができる。

Ｓ４−４では、お勧め情報提示部１４は、お勧め情報抽出部１３が抽出したお勧め画像、商材およびそのレイアウトを、お勧め情報として第１ユーザ端末１００に提示する。

図１５では、お勧め画像Ｉのレイアウトの提示例である。この図では、お勧め画像を貼り付けた壁付けアルバムに配置したレイアウトＧのプレビュー画像を、お勧め情報として第１ユーザ端末１００に提示している。

このように、ユーザＰが指定したプリント注文画像が「スナップ系」に属するとき、同じく「スナップ系」に属するお勧め画像の壁付けアルバムのレイアウトＧが第１ユーザ端末１００に提示されるので、ユーザＰの所有する未使用画像の壁付けアルバムへの利用が促進される。

なお、本発明の情報提示装置１は、ユーザＰが所有または管理する端末デバイスであればいかなる種類のものであってもよい。例えば、情報提示装置１は、ユーザＰが所有または管理するパーソナルコンピュータに、本発明のプログラムからなるソフトウェアをインストールしたものであってもよい。あるいは、情報提示装置１は、ユーザＰが所有または管理するスマートフォンやタブレットなどのスマートデバイスに、本発明のプログラムからなるアプリケーションをインストールしたものであってもよい。また、ユーザＰが所有または管理する端末デバイスと他のサーバとが協働して本発明の情報提示装置１を構成することとしてもよい。

１…情報提示装置
２…ＳＮＳサーバ
３…プリントサーバ
５…ネットワーク
１０…通信部
１１…カテゴリ分類部
１２…カテゴリ判別部
１３…お勧め情報抽出部
１４…お勧め情報提示部
１５…提示情報データベース
１００…第１ユーザ端末
２００…第２ユーザ端末
Ｓ１…画像を分類するステップ
Ｓ２…カテゴリを判別するステップ
Ｓ３…お勧め情報を抽出するステップ
Ｓ４…お勧め情報を提示するステップ

Claims (14)

1. 第１のユーザの所有する画像群に基づいて、前記第１のユーザが興味を持つカテゴリを判別する判別部と、
   前記画像群から選択された選択画像のカテゴリが前記判別部に判別されると、前記画像群から前記選択画像のカテゴリと同一のカテゴリに属する前記選択画像以外の画像のうちのお勧め画像と、前記お勧め画像に付随する商材であって、前記判別したカテゴリに対応した商材とを抽出する抽出部と、
   前記抽出部の抽出した前記お勧め画像と前記商材とを前記第１のユーザに提示する提示部と、
   を備える情報提示装置。
2. 前記判別部は、前記第１のユーザの所有する画像群の特徴量に基づいて、前記第１のユーザが興味を持つカテゴリを判別する請求項１に記載の情報提示装置。
3. 前記判別部は、前記第１のユーザの所有する画像群の撮影パラメータ、撮影日時または撮影位置に基づいて、前記第１のユーザが興味を持つカテゴリを判別する請求項１に記載の情報提示装置。
4. 前記判別部は、前記第１のユーザの所有する画像群の撮影パラメータから、前記第１のユーザが興味を持つカテゴリは自然であると判別し、
   前記抽出部は、前記第１のユーザの所有する画像群の撮影位置と異なる撮影位置を前記第１のユーザ以外の第２のユーザの所有する画像群から抽出する請求項３に記載の情報提示装置。
5. 前記判別部は、前記第１のユーザの所有する画像群から選択された選択画像の特徴量から、前記第１のユーザが興味を持つカテゴリは芸術であると判別し、
   前記抽出部は、前記選択画像と類似する特徴量を有する前記選択画像以外の前記お勧め画像を、前記第１のユーザの所有する画像群から抽出する請求項２に記載の情報提示装置。
6. 前記判別部は、前記第１のユーザの所有する画像群の撮影日時から、前記第１のユーザが興味を持つカテゴリは結婚であると判別し、
   前記抽出部は、前記第１のユーザの所有する画像群と同一または近接する撮影日時を有する前記お勧め画像を、前記第１のユーザの所有する画像群から抽出する請求項３に記載の情報提示装置。
7. 前記抽出部は、前記第１のユーザの所有する画像群と同一または近接する撮影日時を有する前記お勧め画像に付随する商材を抽出する請求項６に記載の情報提示装置。
8. 前記判別部は、前記第１のユーザの所有する画像群からオブジェクトを認識し、前記第１のユーザの所有する画像群から認識されたオブジェクトから、前記第１のユーザが興味を持つカテゴリはスナップであると判別し、
   前記抽出部は、前記第１のユーザの所有する画像群から認識されたオブジェクトと類似するオブジェクトを有する前記お勧め画像を抽出する請求項３に記載の情報提示装置。
9. 前記提示部は、前記抽出された前記お勧め画像のレイアウトを提示する請求項８に記載の情報提示装置。
10. 前記第１のユーザの所有する画像群の特徴量に基づいて前記画像群の各画像を１以上のカテゴリのいずれか１つに分類する分類部を備え、
    前記判別部は、前記分類部により前記画像群の各画像が１以上のカテゴリのいずれか１つに分類された結果に応じて、前記第１のユーザが興味を持つカテゴリを判別する請求項１〜９のいずれか１項に記載の情報提示装置。
11. 前記分類部は、学習用の画像群と前記学習用の画像群の各画像の前記１以上のカテゴリのいずれか１つへの分類結果を示す教師データとにより、各画像の分類を機械学習する請求項１０に記載の情報提示装置。
12. 前記学習用の画像群の各画像は、画像特徴情報、メタデータおよびアノテーション情報のうち少なくとも１つ含む請求項１１に記載の情報提示装置。
13. コンピュータが、
    第１のユーザの所有する画像群に基づいて、前記第１のユーザが興味を持つカテゴリを判別する判別ステップと、
    前記画像群から選択された選択画像のカテゴリが前記判別ステップにより判別されると、前記画像群から前記選択画像のカテゴリと同一のカテゴリに属する前記選択画像以外の画像のうちのお勧め画像と、前記お勧め画像に付随する商材であって、前記判別したカテゴリに対応した商材とを抽出するステップと、
    前記抽出した前記お勧め画像と前記商材とを前記第１のユーザに提示するステップと、
    を実行する情報提示方法。
14. 請求項１３に記載の情報提示方法をコンピュータに実行させるための情報提示プログラム。

Images