JPWO2016125307A1 - 情報配信装置及び情報配信プログラム - Google Patents

Abstract

画像のカテゴライズ情報を利用して広告宣伝を提供することが可能な情報配信装置３及び情報配信プログラムを提供する。情報配信装置３は、画像データが属するカテゴリをユーザ識別情報に紐付けて記憶する記憶部３２と、画像データ及びユーザ識別情報をユーザ端末から取得し、取得された画像データを画像認識処理することによりカテゴリを判定し、判定されたカテゴリをユーザ識別情報に紐づけて記憶部に登録するカテゴライズ部３３１と、ユーザ識別情報に紐付けられたカテゴリに基づいてユーザ嗜好を解析する解析部３３２と、解析されたユーザ嗜好に基づいて、ユーザに情報を提供する情報提供部３３３とを有する。

Description

本発明は、情報配信装置及び情報配信プログラムに関する。

近年、デジタルカメラ等のカメラ機器のみならず、携帯電話やスマートフォン、タブレット等の様々なデバイスにカメラ機能が搭載されている。撮像した画像データはそれら端末の記憶部に記憶され、記憶された画像データは、例えば撮像時点の時系列順に並べられ一覧で表示される。

画像データに係る所定の特徴量を解析する所謂画像認識処理によって、被写体を所定のカテゴリに分類し、画像データを被写体の属するカテゴリ毎に整理して表示する技術が知られている（例えば、特許文献１）。

特開２００７−１３３７４６号公報

撮り貯めた画像をカテゴライズして表示することは、所望の画像を見つけ易くなるなど、それを閲覧するユーザにとって有用である。また、特定のユーザが撮り貯めた画像が、どの様にカテゴライズされたかという情報を、画像のカテゴライズの用途以外に効果的に活用する方法は、提案されていない。

本願に記載の情報配信装置及び情報配信プログラムの目的は、画像のカテゴライズ情報を利用してユーザに情報を提供することにある。

情報配信装置は、画像データが属するカテゴリをユーザ識別情報に紐付けて記憶する記憶部と、画像データ及びユーザ識別情報をユーザ端末から取得し、取得された画像データを画像認識処理することによりカテゴリを判定し、判定されたカテゴリをユーザ識別情報に紐づけて記憶部に登録するカテゴライズ部と、ユーザ識別情報に紐付けられたカテゴリに基づいてユーザ嗜好を解析する解析部と、解析されたユーザ嗜好に基づいて、ユーザに情報を提供する情報提供部とを有する。

情報配信プログラムは、画像データが属するカテゴリをユーザ識別情報に紐付けて記憶する記憶部を有するコンピュータの情報配信プログラムであって、画像データ及びユーザ識別情報をユーザ端末から取得し、取得された画像データを画像認識処理することにより、画像データが属するカテゴリを判定し、判定されたカテゴリをユーザ識別情報に紐付けて記憶部に登録し、ユーザ識別情報に紐付けられたカテゴリに基づいてユーザ嗜好を解析し、解析されたユーザ嗜好に基づいて、ユーザに情報を提供することをコンピュータに実行させる。

上記の情報配信装置及び情報配信プログラムによれば、ユーザの嗜好が強い情報を効果的に提供することが可能となった。

本発明の目的及び効果は、特に請求項において指摘される構成要素及び組み合わせを用いることによって認識され且つ得られるだろう。前述の一般的な説明及び後述の詳細な説明の両方は、例示的及び説明的なものであり、特許請求の範囲に記載されている本発明を制限するものではない。

情報配信システム１の概略構成の一例を示す図である。 携帯端末２の概略構成の一例を示す図である。 特定の画像に関するデータ構造の一例を示す図である。 画像データをカテゴライズした場合のカテゴリの階層構造の一例を示す図である。 サーバ３の概略構成の一例を示す図である。 特定のユーザに関するデータ構造の一例を示す図である。 画像分類の動作シーケンスの一例を示す図である。 図７のステップＳ１００で説明したログイン画面１１００の一例を示す図である。 図７のステップＳ１０４で説明した画像閲覧画面１２００の一例を示す図である。 図７のステップＳ１０５で説明した画像分類要求の選択画面１３００の一例を示す図である。 図７のステップＳ１１１で説明した画像分類画面１４００の一例を示す図である。 広告宣伝の提供の動作シーケンスの一例を示す図である。 図９のステップＳ２０４で説明した広告宣伝の一例を示す図である。 図９のステップＳ２０４で説明した広告宣伝の他の例を示す図である。 図９のステップＳ２０４で説明した広告宣伝の更に他の例を示す図である。 第２実施形態で用いられる特定の画像に関するデータ構造の一例を示す図である。 第２実施形態で用いられる特定のユーザに関するデータ構造の一例を示す図である。 店舗情報テーブルの一例を示す図である。 メニュー情報テーブルの一例を示す図である。 詳細情報登録の動作シーケンスの一例を示す図である。 店舗名関連情報の抽出処理のフローの一例を示す図である。 図１４のステップＳ３０９で説明した詳細情報登録画面３１００の一例である。 図１４のステップＳ３１５で説明した詳細情報登録画面３２００の一例である。 図１４のステップＳ３１８で説明した詳細情報画面３３００の一例である。 広告宣伝の表示の一例を示す図である。 広告宣伝の表示の一例を示す図である。

［第１実施形態］
図１は、情報配信システム１の概略構成の一例を示す図である。

情報配信システム１は、少なくとも１台の携帯端末２と、サーバ３とを備える。携帯端末２とサーバ３とは、通信ネットワークを介して相互に接続され、例えば、基地局４、移動体通信網５、ゲートウェイ６、及びインターネット７を介して相互に接続される。携帯端末２で実行されるプログラムと、サーバ３で実行されるプログラムとは、ハイパーテキスト転送プロトコル（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ， ＨＴＴＰ）等の通信プロトコルを用いて通信を行う。

図２は、携帯端末２の概略構成の一例を示す図である。

携帯端末２は、端末通信部２１、端末記憶部２２、操作部２３、表示部２４、撮像部２５、ＧＰＳセンサ２６、及び端末処理部２７等を備える。携帯端末２として、多機能携帯電話（所謂「スマートフォン」）が想定されるが、これに限定されるものではない。携帯端末２は、本発明が適用可能であればよく、例えば、パーソナルコンピュータ（ＰＣ）、携帯電話（所謂「フィーチャーフォン」）、携帯情報端末（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ， ＰＤＡ）、携帯ゲーム機、携帯音楽プレーヤ、タブレットＰＣ等でもよい。

端末通信部２１は、所定の周波数帯を感受帯域とするアンテナを含む通信インターフェース回路を備え、携帯端末２を無線通信ネットワークに接続する。端末通信部２１は、基地局４により割り当てられるチャネルを介して、基地局４との間でＷＣＤＭＡ（登録商標）（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式等による無線信号回線を確立し、基地局４との間で通信を行う。端末通信部２１は、端末処理部２７から供給されたデータをサーバ３等に出力する。また、端末通信部２１は、サーバ３等から取得したデータを端末処理部２７に供給する。

端末記憶部２２は、例えば、半導体メモリ、磁気ディスク装置、又は光ディスク装置のうちの少なくともいずれか一つを備える。端末記憶部２２は、端末処理部２７での処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム、データ等を記憶する。例えば、端末記憶部２２は、ドライバプログラムとして、操作部２３を制御する入力デバイスドライバプログラム、表示部２４を制御する出力デバイスドライバプログラム等を記憶する。また、端末記憶部２２は、アプリケーションプログラムとして、画像データの取得及び表示を行うプログラム等を記憶する。また、端末記憶部２２は、データとして、画像データ及びそれに付随する書誌情報等を記憶する。さらに、端末記憶部２２は、所定の処理に係る一時的なデータを一時的に記憶してもよい。

操作部２３は、携帯端末２の操作が可能であればどのようなデバイスでもよく、例えば、タッチパッド、キーボード等である。ユーザは、操作部２３を用いて、文字、数字等を入力することができる。操作部２３は、ユーザにより操作されると、その操作に対応する信号を発生する。発生した信号は、ユーザの指示として、端末処理部２７に供給される。

表示部２４は、映像、画像等の表示が可能であればどのようなデバイスでもよく、例えば、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等である。表示部２４は、端末処理部２７から供給された、画像データに応じた画像等を表示する。

撮像部２５は、撮像、及びＱＲコード（登録商標）の読み取りが可能であればどのようなデバイスでもよく、例えば、レンズ及び撮像素子等を有する。

ＧＰＳセンサ２６は、位置センサの一例であり、通信衛星と接続し、緯度情報及び経度情報を含んだ位置情報（ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）情報）を取得する。なお、携帯端末２は、必ずしもＧＰＳセンサ２６を備えていなくても良い。更に、位置情報は、ＧＰＳ情報以外の位置情報であってもよい。例えば、位置情報は、複数の基地局から携帯端末２の位置センサが受信した電波の強度に基づいて特定された位置情報であってもよい。或いは、位置情報は、iBeacon（登録商標）により、携帯端末２が取得した位置情報であってもよい。

端末処理部２７は、一又は複数個のプロセッサ及びその周辺回路を備える。端末処理部２７は、携帯端末２の全体的な動作を統括的に制御するものであり、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。端末処理部２７は、端末記憶部２２に記憶されているプログラムが操作部２３の操作等に応じて適切な手順で実行されるように、端末通信部２１、表示部２４、撮像部２５、及びＧＰＳセンサ２６等の動作を制御する。端末処理部２７は、端末記憶部２２に記憶されているプログラム（オペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム等）に基づいて処理を実行する。また、端末処理部２７は、複数のプログラム（アプリケーションプログラム等）を並列に実行することができる。

端末処理部２７は、画像処理部２７１、画像閲覧部２７２、広告宣伝表示部２７３、及びＱＲコード処理部２７４を備える。これらの各部は、端末処理部２７が備えるプロセッサで実行されるプログラムにより実現される機能モジュールである。あるいは、これらの各部は、ファームウェアとして携帯端末２に実装されてもよい。

画像処理部２７１は、撮像部２５による撮像に基づいて画像データ及び画像データに係る書誌情報を生成する。書誌情報にはユーザＩＤ、画像種別、撮像日時等が含まれる。書誌情報は、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）情報等のその他の情報を含んでいてもよい。画像データ及び書誌情報は、端末記憶部２２に記憶される。

画像閲覧部２７２は、端末記憶部２２に記憶されたプログラムに基づいて、画像閲覧画面を表示部２４に表示する。画像閲覧画面は、画像データに基づいたサムネイル画像の一覧表示画面、及び、特定の画像データ単体の表示画面等、様々な形態の画面とすることができる。

広告宣伝表示部２７３は、サーバ３から広告宣伝データを取得すると、表示部２４に広告宣伝を表示する。

ＱＲコード処理部２７４は、コード情報処理部の一例であり、撮像部２５により読み取ったＱＲコードに関する情報を、所定の方法で、端末記憶部２２に記憶された画像データに紐付ける。なお、本実施形態では、コード情報がＱＲコードである場合について説明するが、コード情報は、ＱＲコード以外の二次元バーコード又は一次元のバーコード等、他のコード情報であってもよい。

図３は、特定の画像に関するデータ構造の一例を示す図である。

図３に示すデータ構造は、端末記憶部２２に記憶されている画像ＩＤに紐付けられた一連のデータを示している。一連のデータは、例えば、ユーザＩＤ、画像種別、撮像日時、画像が属するカテゴリ、及び画像データ等を含む。上記の一連のデータは一例であって、その他にも、画像に関するデータとしてＥｘｉｆ情報や、その他の画像に関連するメタデータ等を含んでもよい。

画像種別には、「撮像」、「ダウンロード」、及び「キャプチャ」等が含まれるが、これらに限定されない。「撮像」は、携帯端末２の撮像部２５で撮像された画像データであることを示す。「ダウンロード」は、携帯端末２が接続されるネットワーク上からダウンロードされた画像データであることを示す。「キャプチャ」は、携帯端末２の表示部２４における任意の表示をキャプチャして生成される画像データであることを示す。

図４は、画像データをカテゴライズした場合のカテゴリの階層構造の一例を示す図である。

図４に示される様に、複数のカテゴリが一つのツリー構造を形成している。「画像」は例えば、「人物」、「食事」、「風景」、及び「その他」の下位カテゴリを有する。

「人物」は例えば、「男性」及び「女性」の下位カテゴリを有し、「男性」及び「女性」は例えばそれぞれ、「１０歳未満」、「１０代」、「２０代」、及び「３０代」等の年代の下位カテゴリを有する。「食事」は例えば、「和食」、「洋食」、及び「中華」の下位カテゴリを有する。「和食」は例えば、「寿司」、「そば」、及び「焼き鳥」等の下位カテゴリを有する。「洋食」は例えば、「パスタ」、「サラダ」、及び「ピザ」等の下位カテゴリを有する。「中華」は例えば、「ラーメン」、「餃子」、及び「春巻き」等の下位カテゴリを有する。「風景」は例えば、「山」、「川」、及び「海」の下位カテゴリを有する。「施設」は例えば、「タワー」、「社寺・教会」、及び「テーマパーク」の下位カテゴリを有する。

前述のカテゴリ分けの方法は一例であり、他に任意の方法でカテゴリ分けを行うことができる。例えば、「洋食」の下位カテゴリに、「イタリアン」、「フレンチ」、及び「スペイン料理」等のカテゴリを含めてもよい。また、カテゴリはツリー構造以外の構造を形成してもよい。

図５は、サーバ３の概略構成の一例を示す図である。

サーバ３は、サーバ通信部３１、サーバ記憶部３２、及びサーバ処理部３３を備える。サーバ３は、携帯端末２からの要求に応じて画像データをカテゴライズし、カテゴライズされた画像データを携帯端末２に出力する。

サーバ通信部３１は、インターネット７を介してデータの送受信を行うための通信インターフェース回路を備え、携帯端末２との間で通信を行う。

サーバ記憶部３２は、例えば、磁気テープ装置、磁気ディスク装置、又は光ディスク装置のうちの少なくともいずれか一つを備え、サーバ処理部３３での処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム、データ等を記憶する。また、サーバ記憶部３２は、データとして、広告宣伝データを記憶する。広告宣伝データには、携帯端末２の表示部２４で表示される広告宣伝のデータ、及び、広告宣伝の対象物に関するウェブページに係るＵＲＬ等が含まれている。また、サーバ記憶部３２は、所定の処理に係る一時的なデータを一時的に記憶するためのバッファを更に備える。

サーバ処理部３３は、一又は複数個のプロセッサ及びその周辺回路を備え、サーバ３の全体的な動作を統括的に制御するものであり、例えば、ＣＰＵで構成される。また、サーバ処理部３３は、サーバ記憶部３２に記憶されているプログラム（オペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム等）に基づき、適切な手順でサーバ通信部３１等の動作を制御する。さらに、サーバ処理部３３は、複数のプログラム（アプリケーションプログラム等）を並列に実行してもよい。

サーバ処理部３３は、カテゴライズ部３３１、ユーザ嗜好解析部３３２、広告宣伝提供部３３３、及び関連情報抽出部３３４等を備える。これらは、サーバ処理部３３が備えるプロセッサで実行されるプログラムにより実現される機能モジュールである。なお、これらは、ファームウェアとしてサーバ３に実装されてもよい。

カテゴライズ部３３１は、携帯端末２からサーバ通信部３１を介して画像分類要求を取得し、公知の画像認識処理方法によって各画像データの属するカテゴリ、例えば、図４に示す最下位カテゴリのいずれか一つのカテゴリを判定する。

公知の画像認識処理方法として、特開２００７−１３３７４６号公報に記載された境界線を利用して画像をカテゴライズする手法を用いることができる。この方法では、画像を複数の領域に分割して各々の領域の境界線を抽出し、抽出した境界線で構成される図形とカテゴリ毎に予め登録されている図形とを比較し、両者が近似しているか否かに基づいてカテゴリ判定する。例えば、画像から抽出した境界線で構成される図形が、「風景」のカテゴリに対して予め登録されている図形（例えば、山を示す三角形の図形）に近似している場合に、その画像データを「風景」のカテゴリに分類する。

上記の方法では、色を利用してカテゴリを判定することができる。その場合、画像の各部の色情報を抽出し、抽出した色とカテゴリ毎に予め登録されている色とを比較し、両者が近似しているか否かに基づいてカテゴリを判定する。例えば、画像から抽出した色が、「人物」のカテゴリに対して予め登録されている色（例えば、肌の色を示す黄色）に近似している場合に、その画像データを「人物」のカテゴリに分類する。

また、公知の画像認識処理方法として、特表２０１４−５１７３７１号公報に記載された顔認識処理を利用して画像をカテゴライズする手法を用いることができる。この方法では、幾何解析（目立つ特徴を調べるもの）、光分析（不一致を除外するため、画像から不要な要素を取り除いた値とし、その値をテンプレートと比較する、統計的アプローチ）等に基づいて、カテゴリを判定する。当該顔認識処理によって、被写体の性別や、「１０歳未満」、「１０代」、「２０代」等の年代を判定することができる。

ユーザ嗜好解析部３３２は、後述するカテゴリ別画像数、及びカテゴリ別広告閲覧数に基づいて、ユーザ嗜好を解析する。ここで、ユーザ嗜好とは、事物に対するユーザの趣味、好み、及び興味等を表す概念である。

ユーザ嗜好の解析方法は、例えば、カテゴリ毎にカテゴリ別画像数及びカテゴリ別広告閲覧数を足し合わせて、当該数が最も多いカテゴリをユーザ嗜好であるとする。例えば、図６では、「パスタ」のカテゴリは、カテゴリ別画像数が２８、カテゴリ別広告閲覧数が１０であり、それらを足し合わせた数は３８となる。当該操作を全てのカテゴリについて行った結果、例えば「パスタ」のカテゴリに係る数３８が最大であれば、ユーザ嗜好は「パスタ」であるとみなす。上記解析方法は一例であって、カテゴリ別画像数とカテゴリ別広告閲覧数とで、ユーザ嗜好解析における重み付けの度合いを変えても良いし、他の解析方法を用いてもよい。

広告宣伝提供部３３３は、情報提供部の一例であり、ユーザ嗜好解析部３３２で解析されたユーザ嗜好に基づいて、サーバ記憶部３２に記憶されている広告宣伝データから、関連する広告宣伝データを抽出する。

関連情報抽出部３３４は、取得されたＧＰＳ情報又はＱＲコード情報に基づいて、画像データに関連する関連情報を抽出する。関連情報については後述する。

図６は、特定のユーザに関するデータ構造の一例を示す図である。

図６に示すデータ構造は、サーバ記憶部３２に記憶されているユーザＩＤに紐付けられた一連のデータを示している。一連のデータは、例えば、会員種別、氏名、性別、生年月日、画像情報、カテゴリ別画像数、及びカテゴリ別広告閲覧数等を含む。上記の一連のデータは一例であって、その他のユーザに関する情報を含んでもよい。

会員種別は、ユーザの会員としての種類を表し、例えば、「有料」、「無料」、及び「プレミアム」（通常の有料会員用の会費の他に、上乗せの会費を支払っている会員を示す）等を含む。

画像情報には、ユーザＩＤに紐付けられた画像ＩＤと、当該画像ＩＤに係る被写体のカテゴリが含まれる。したがって、サーバ記憶部３２は、画像が属するカテゴリをユーザ識別情報に紐付けて記憶していることになる。

カテゴリ別画像数は、各カテゴリに属する画像データの数を表している。例えば、「パスタ（２８）」との表示は、ユーザが撮り溜めた画像のうち、「パスタ」のカテゴリに属する画像が２８個あることを示している。また、例えば、「２０代女性（１５）」との表示は、ユーザが撮り溜めた画像のうち、画像に写った人物が「女性」の下位カテゴリである「２０代」のカテゴリに属する画像が１５個あることを示している。

カテゴリ別広告閲覧数は、カテゴリ毎に、広告宣伝が誘導する画面の表示をユーザが選択した回数が示されている。例えば、「パスタ（１０）」との表示は、ユーザが「パスタ」のカテゴリに属する広告宣伝を選択し、当該広告宣伝が誘導する画面を１０回閲覧したことを示している。

図７は、画像分類の動作シーケンスの一例を示す図である。

以下に説明する動作シーケンスは、予め端末記憶部２２及びサーバ記憶部３２に記憶されているプログラムに基づいて、主に端末処理部２７及びサーバ処理部３３により、携帯端末２及びサーバ３の各要素と協働して実行される。なお、携帯端末２側では、特定のアプリケーションを立ち上げることによって、以下の動作を実行できる環境に自動的に設定されるようにしても良い。

最初に、携帯端末２の端末処理部２７は、ログイン画面を表示部２４に表示させる（ステップＳ１００）。次に、ユーザが、操作部２３の操作によりログイン画面においてユーザＩＤ及びパスワードを入力し、ログイン実行を選択すると、端末処理部２７は、端末通信部２１を介して、ユーザＩＤ及びパスワードを含むログイン要求をサーバ３に出力する（ステップＳ１０１）。サーバ通信部３１を介してログイン要求を取得すると、サーバ３のサーバ処理部３３は、取得したユーザＩＤ及びパスワードに基づいてユーザ認証を行う（ステップＳ１０２）。ユーザ認証が許可されると、サーバ処理部３３は、認証許可通知を携帯端末２に出力する（ステップＳ１０３）。

端末通信部２１を介して認証許可通知を取得すると、携帯端末２の端末処理部２７は、端末記憶部２２に記憶された画像データに基づいて、表示部２４に画像閲覧画面を表示させる（ステップＳ１０４）。次に、ユーザが操作部２３を操作することにより、画像閲覧画面上で画像分類を選択すると、端末処理部２７は、端末記憶部２２に記憶された画像データ及び画像分類要求を、端末通信部２１を介してサーバ３に出力する（ステップＳ１０５）。なお、ステップＳ１０５においてサーバ３に出力する画像データは、ユーザの選択等により、端末記憶部２２に記憶された画像データの集合のうち、１つの画像データであってもよいし、複数の画像データであってもよい。

サーバ通信部３１を介して画像分類要求を取得すると、カテゴライズ部３３１は、取得した各画像データを前述した画像認識処理方法を用いて処理し、各画像データが属するカテゴリを判定する（ステップＳ１０６）。次に、カテゴライズ部３３１は、サーバ記憶部３２に記憶されたユーザに紐付けられた画像情報を更新し、画像ＩＤ毎にカテゴリを登録する（ステップＳ１０７）。次に、カテゴライズ部３３１は、カテゴリ毎に画像データの数を集計して、サーバ記憶部３２に記憶されたカテゴリ別画像数を更新する（ステップＳ１０８）。次に、サーバ処理部３３は、サーバ通信部３１を介して、携帯端末２に各画像データに係るカテゴリのデータを出力する（ステップＳ１０９）。

端末通信部２１を介して各画像データに係るカテゴリのデータを取得すると、携帯端末２の端末処理部２７は、端末記憶部２２に記憶された各画像データのカテゴリを登録する（ステップＳ１１０）。次に、端末処理部２７は、端末記憶部２２に記憶された画像データとカテゴリに基づいて、カテゴリ毎に画像データを表示する画像分類画面を表示部２４に表示し（ステップＳ１１１）、一連の動作シーケンスを終了する。

図８Ａは、図７のステップＳ１００で説明したログイン画面１１００の一例を示す図である。

ログイン画面１１００の中央には、ユーザＩＤ入力部１１０１、パスワード入力部１１０２、及びログイン決定アイコン１１０３が配置されている。ログイン決定アイコン１１０３が選択されると、携帯端末２の端末処理部２７は、入力されたユーザＩＤ及びパスワードを含むログイン要求をサーバ３に出力する。

図８Ｂは、図７のステップＳ１０４で説明した画像閲覧画面１２００の一例を示す図である。

図８Ｂに示す画像閲覧画面１２００では、画像１２０１が３行×３列に配置されている。画像１２０１は、ユーザが携帯端末２の撮像部２５で撮像した画像、携帯端末２が接続されるネットワーク上からダウンロードされた画像、又は携帯端末２の表示部２４における任意の表示をキャプチャして生成される画像である。画像１２０１は、撮像時、ダウンロード時、又はキャプチャ時が遅いものから順に、３行×３列の上から下、及び左から右に向かって、配置される。なお、画像閲覧画面１２００は一例であって、画像１２０１の表示方法はこの表示方法に限定されない。

図８Ｃは、図７のステップＳ１０５で説明した画像分類要求の選択画面１３００の一例を示す図である。

ユーザが操作部２３によって所定の操作をすると、携帯端末２の画像閲覧部２７２によって、「カメラロール内の画像を整理しますか？」とのポップアップ１３０１が表示される。「はい」１３０２を選択すると、端末処理部２７は、ユーザが選択した１つ又は複数の画像データ及び画像分類要求を、端末通信部２１を介してサーバ３に出力する。「いいえ」１３０３を選択すると、画像分類処理が終了する。

図８Ｄは、図７のステップＳ１１１で説明した画像分類画面１４００の一例を示す図である。

端末通信部２１を介してサーバ３からカテゴリのデータを取得し、カテゴリを登録した後、端末処理部２７は画像分類画面１４００を表示させる。画像分類画面１４００では、例えば図４のツリー構造にしたがって、カテゴリの名称１４０１と、当該カテゴリに分類される画像１４０２が例えば時系列順で表示される。図８Ｄには例として、「パスタ」カテゴリに係る画像分類画面１４００が示されている。カテゴリの名称１４０１には、「パスタ」の上位カテゴリである「料理」及び「洋食」の表記が、当該カテゴリに含まれる画像の数と共に表示されている。例えば、図８Ｄに示す「料理（４５）＞洋食（２５）＞パスタ（１０）」との表示は、「料理」の画像が４５個であり、その内「洋食」の画像が２５個であり、さらに、その内「パスタ」の画像が１０個であることを示している。

図９は、広告宣伝の提供の動作シーケンスの一例を示す図である。

以下に説明する動作シーケンスは、予め端末記憶部２２及びサーバ記憶部３２に記憶されているプログラムに基づいて、主に端末処理部２７及びサーバ処理部３３により、携帯端末２及びサーバ３の各要素と協働して実行される。

以下の処理は、一例として、前述の様に、サーバ３のサーバ処理部３３がサーバ通信部３１を介して携帯端末２に各画像データに係るカテゴリのデータを出力する（ステップＳ１０９）と、開始される。しかしながら、これに限らず、任意のタイミングで処理が開始されてもよい。

サーバ３のユーザ嗜好解析部３３２は、カテゴリ別画像数、及びカテゴリ別広告閲覧数に基づいて、前述した解析方法でユーザ嗜好を解析する（ステップＳ２０１）。

次に、広告宣伝提供部３３３は、解析されたユーザ嗜好に基づいて、サーバ記憶部３２に記憶されている広告宣伝データの内、解析されたユーザ嗜好と関連のある広告宣伝に関するデータを抽出する（ステップＳ２０２）。次に、広告宣伝提供部３３３は、抽出された広告宣伝データを携帯端末２に出力する（ステップＳ２０３）。なお、広告宣伝提供部３３３は、カテゴリに係る画像データの数（カテゴリ別画像数）が多いほど、広告宣伝の提供頻度を多くしたり、広告宣伝の表示面積又は表示される文字の大きさを大きくした広告宣伝データを配信する様にしても良い。

携帯端末２の端末処理部２７は、端末通信部２１を介して広告宣伝データを取得すると、表示部２４に広告宣伝データに基づく広告宣伝表示を行う（ステップＳ２０４）。これにより、ユーザの嗜好が強い広告宣伝を効果的に提供できる。次に、広告宣伝が表示された領域を押下する等の操作によって、ユーザが広告宣伝の閲覧を選択すると、端末処理部２７は、ブラウザを立ち上げて、選択された広告宣伝に係るＵＲＬが示すページの閲覧要求を不図示の外部サーバに出力する（ステップＳ２０５）。

次に、端末処理部２７は、選択された広告宣伝に係る識別情報をサーバ３に出力する（ステップＳ２０６）。次に、ユーザ嗜好解析部３３２は、サーバ通信部３１を介して携帯端末２から取得した広告宣伝に係る識別情報に基づいて、サーバ記憶部３２に記憶されているカテゴリ別広告閲覧数を更新し（ステップＳ２０７）、広告宣伝の提供の動作シーケンスを終了する。

図１０Ａは、図９のステップＳ２０４で説明した広告宣伝の一例を示す図である。

広告宣伝２１０１は、表示部２４に表示される待受画面２１００の中央に表示されている。広告宣伝２１０１には、店舗が提供する新メニューの説明がテキストによって表示されている。なお、広告宣伝２１０１の表示面積が、カテゴリに係る画像データの数（カテゴリ別画像数）が多いほど、大きくなってもよい。また、店舗が提供するメニューは、店舗が提供する商品の一例である。したがって、店舗が提供する新商品の説明がテキストによって表示されていてもよい。

図１０Ｂは、図９のステップＳ２０４で説明した広告宣伝の他の例を示す図である。

広告宣伝２２０１は、表示部２４に表示される画像分類画面２２００の下部に表示されている。広告宣伝２２０１には、店舗が提供する新メニューの内容がテキストによって表示されている。なお、広告宣伝２２０１の表示面積が、カテゴリに係る画像データの数（カテゴリ別画像数）が多いほど、大きくなってもよい。

図１０Ｃは、図９のステップＳ２０４で説明した広告宣伝の更に他の例を示す図である。

広告宣伝２３０１は、表示部２４に表示される画像分類画面２３００において、画像２３０２と並んで表示されている。広告宣伝２３０１には、左上の「ＰＲ」の文字と共に、店舗が提供する新メニューの名前等が表示されている。なお、広告宣伝２３０１に表示される文字の大きさが、カテゴリに係る画像データの数（カテゴリ別画像数）が多いほど、大きくなってもよい。

なお、広告宣伝２１０１、２２０１、及び２３０１は一例であって、広告宣伝の表示態様は上記に限定されない。広告宣伝は、例えば、テキスト情報の他、画像や動画等、様々なコンテンツを含んだ表示であってもよい。また、広告宣伝は、解析されたユーザ嗜好にしたがって、飲食店において提供されるものに限らず、あらゆる店舗、業種、団体等によって提供される広告宣伝であってよい。例えば、乳幼児の画像が多いユーザに対しては、ベビー用品や子供服に関する広告宣伝等が提供されるであろうし、山や海などの画像が多いユーザについては、アウトドア用品に関する広告宣伝等が提供されるであろう。また、例えば、２０代女性の画像が多いユーザに対しては、２０代女性に関するファッション又は健康の広告宣伝等が提供されてもよい。或いは、タワー、社寺・教会、又はテーマパークなどの画像が多いユーザについては、観光地に関する広告宣伝等が提供されるだろう。

［第２実施形態］
第２実施形態は、画像データ毎に詳細情報を登録できる様にしたものである。ここで、詳細情報とは、画像データのカテゴリをさらに具体的に展開する詳細な情報をいう。例えば、「食事」のカテゴリについては、「店舗名」や「メニュー名」等を詳細情報とすることができる。詳細情報は、画像データのカテゴリ等に応じて任意に設定することができる。

さらに、第２実施形態は、詳細情報の候補として、ＧＰＳ情報又はＱＲコード情報等に基づいて特定の画像データに関連する関連情報を抽出できる様にしたものである。ここで、関連情報とは、詳細情報の候補となる情報であって、ＧＰＳ情報又はＱＲコード情報等の書誌情報と所定の関係を有する施設に係る施設情報の集合（情報が１つの場合を含む）をいう。例えば、特定の画像データに係るＧＰＳ情報から一定の距離範囲内にある１つ又は複数の店舗の店舗名の集合が、当該画像データに関連する関連情報である。或いは、特定の画像データの撮像日時前の所定時間内に読み取ったＱＲコードに係る店舗名が、当該画像データに関連する関連情報である。ここで、「店舗名」及び「メニュー名」は、施設情報の一例であり、第２の実施形態は、施設情報が「店舗名」及び「メニュー名」である場合について説明する。なお、「店舗名」及び「メニュー名」は、他の施設情報、例えば、「地名」、「商品名」、「観光地名」、「観光地に関する説明」等であってもよい。また、第２の実施形態では、ＧＰＳ情報又はＱＲコード情報のいずれかを用いて関連情報が抽出されているが、ＧＰＳ情報及びＱＲコードの両方を用いて関連情報が抽出されてもよい。

なお、第２実施形態では、第１実施形態について説明した携帯端末２及びサーバ３をそのまま利用するものとする。

図１１は、第２実施形態で用いられる特定の画像に関するデータ構造の一例を示す図である。

図１１に示すデータ構造は、端末記憶部２２に記憶されている画像ＩＤに紐付けられた一連のデータを示している。図１１に示すデータ構造は、図３に示すデータ構造と比較すると、さらに、ＧＰＳ情報、ＱＲコード情報、店舗名、及びメニュー名等を含んでいる。

端末処理部２７は、撮像部２５による撮像が行われると、ＧＰＳセンサ２６によって取得されたＧＰＳ情報を取得し、画像データと紐付けて端末記憶部２２へ記憶する。

ＱＲコード処理部２７４は、撮像部２５によりＱＲコードが読み取られるとＱＲコードに係る情報（例えばＱＲコードの識別情報）及びその読取日時を、端末記憶部２２のバッファに記憶する。当該バッファには、読取日時が最も新しいＱＲコードに係る情報及びその読取日時のみを記憶しておく。ＱＲコード処理部２７４は、さらに、画像処理部２７１により画像データが生成されると、前述のＱＲコードに係る情報及びその読取日時を、画像データに紐付けて端末記憶部２２に記憶する。したがって、端末記憶部２２に記憶される画像データには全て、撮像日時より前に読み取ったＱＲコードのうち最新のＱＲコードに関する情報が紐付けられることとなる。

店舗名は、前述の詳細情報の一例であり、例えば画像データの対象物が提供される店舗名である。メニュー名は、前述の詳細情報の一例であり、例えば対象物のメニュー名である。

図１２は、第２実施形態で用いられる特定のユーザに関するデータ構造の一例を示す図である。

図１２に示すデータ構造は、サーバ記憶部３２に記憶されているユーザＩＤに紐付けられた一連のデータを示している。図１２に示すデータ構造は、図６に示すデータ構造と比較すると、さらに、店舗ＩＤ及びメニューＩＤが画像ＩＤに紐付けられており、又、価格帯別画像数が含まれる。価格帯別画像数は、各価格帯に属する画像データの数を表している。例えば、「１，０００円代（２５）」との表示は、ユーザが撮り溜めた画像のうち、価格が１，０００円代（１，０００〜１，９９９円）の価格帯に属する画像が２５個あることを示している。

価格帯別画像数は、ユーザ嗜好の解析の基礎としてもよい。価格帯別画像数には、ユーザが例えば飲食店の料理にどの程度の費用を支払うかを表しており、ユーザの趣味、好み、及び興味等をカテゴリ別画像数及びカテゴリ別広告閲覧数とは異なった観点から表しているといえる。当該価格帯別画像数のような、ユーザ嗜好の解析の基礎となるパラメータは、他に任意のものを設定してもよい。後述の店舗情報テーブル及びメニュー情報テーブルや、その他のテーブルに含まれる任意の項目に基づいて、ユーザ嗜好解析の基礎となるパラメータを設定することができる。

図１３Ａは、店舗情報テーブルの一例を示す図である。

店舗情報テーブルは、サーバ３のサーバ記憶部３２に記憶される。店舗情報テーブルには、店舗ＩＤに紐付けられて、店舗名、住所、ＱＲコードＩＤ（ＱＲコードの識別情報）、メニュー情報（メニューＩＤ）等の情報が格納されている。ＱＲコードは、例えば店舗内に設置されている。ＱＲコードは、店舗固有のものであってもよい。また、ＱＲコードは、系列店舗同士で同一のものであってもよい。更に、ＱＲコードは、ユーザが店舗内等で食事をする際に利用されるテーブルごとに与えられたテーブル識別情報を含んでもよい。

図１３Ｂは、メニュー情報テーブルの一例を示す図である。

メニュー情報テーブルは、サーバ３のサーバ記憶部３２に記憶される。メニュー情報テーブルには、メニューＩＤに紐付けられて、カテゴリ、メニュー名、価格、店舗画像データ（店舗が提供したメニュー画像）等の情報が格納されている。

図１４は、詳細情報登録の動作シーケンスの一例を示す図である。

以下に説明する動作シーケンスは、予め端末記憶部２２及びサーバ記憶部３２に記憶されているプログラムに基づいて、主に端末処理部２７及びサーバ処理部３３により、携帯端末２及びサーバ３の各要素と協働して実行される。

最初に、携帯端末２の端末処理部２７は、ログイン画面を表示部２４に表示させる（ステップＳ３００）。次に、ユーザが、操作部２３の操作によりログイン画面においてユーザＩＤ及びパスワードを入力し、ログイン実行を選択すると、端末処理部２７は、端末通信部２１を介して、ユーザＩＤ及びパスワードを含むログイン要求をサーバ３に出力する（ステップＳ３０１）。サーバ通信部２１を介してログイン要求を取得すると、サーバ３のサーバ処理部３３は、取得したユーザＩＤ及びパスワードに基づいてユーザ認証を行う（ステップＳ３０２）。ユーザ認証が許可されると、サーバ処理部３３は、認証許可通知を携帯端末２に出力する（ステップＳ３０３）。なお、例えば、図７で説明した画像分類処理の続きとして詳細情報登録処理を行う場合等には、以上のユーザの認証処理（ステップＳ３００〜Ｓ３０３）は行われない。

端末通信部２１を介して認証許可通知を取得すると、携帯端末２の端末処理部２７が、表示部２４に画像分類画面を表示する（ステップＳ３０４）。次に、ユーザが特定の画像データを選択すると、端末処理部２７は、選択された画像データの詳細情報登録画面を表示部２４に表示させる（ステップＳ３０５）。次に、端末処理部２７は、ユーザＩＤ、選択された画像データ、及び書誌情報等を含んだ詳細情報登録要求をサーバ３に出力する（ステップＳ３０６）。当該書誌情報には、ＧＰＳ情報及びＱＲコード情報等が含まれる。

サーバ通信部２１を介して詳細情報登録要求を取得すると、サーバ３の関連情報抽出部３３４は、携帯端末２から取得した書誌情報に基づいて、店舗情報テーブルを参照して店舗名に係る関連情報（店舗名関連情報）を抽出する（ステップＳ３０７）。店舗名関連情報の抽出については、後述する。次に、サーバ３のサーバ処理部３３は、抽出した店舗名関連情報のデータを携帯端末２に出力する（ステップＳ３０８）。

端末通信部２１を介して店舗名関連情報のデータを取得すると、携帯端末２の端末処理部２７は、詳細情報登録画面上で取得した店舗名関連情報を表示する（ステップＳ３０９）。次に、ユーザが操作部２３を操作することにより詳細情報登録画面上で店舗名関連情報から特定の店舗名を選択すると、端末処理部２７は、端末通信部２１を介して店舗名の選択結果を画像ＩＤに紐付けてサーバ３に出力する（ステップＳ３１０）。次に、端末処理部２７は、端末記憶部２２に記憶された画像データの店舗名を登録する（ステップＳ３１１）。

サーバ通信部３１を介して画像ＩＤに紐付けられた店舗名の選択結果を取得すると、関連情報抽出部３３４は、店舗情報テーブルを参照し、取得した店舗名の選択結果に基づいてサーバ記憶部３２の店舗ＩＤを画像ＩＤに紐付けて登録する（ステップＳ３１２）。次に、サーバ３の関連情報抽出部３３４は、店舗情報テーブル及びメニュー情報テーブルを参照して、メニュー名に係る関連情報（メニュー名関連情報）を抽出する（ステップＳ３１３）。具体的には、関連情報抽出部３３４は、ステップＳ３０８で登録された店舗ＩＤに係るメニューＩＤのメニュー名のうち、ステップＳ１０７で登録されたカテゴリと同一のカテゴリを有するメニュー名を、メニュー名関連情報として抽出する。次に、サーバ３のサーバ処理部３３は、メニュー名関連情報のデータを携帯端末２に出力する（ステップＳ３１４）。

端末通信部２１を介してメニュー名関連情報のデータを取得すると、携帯端末２の端末処理部２７は、詳細情報登録画面上でメニュー名関連情報を表示する（ステップＳ３１５）。次に、ユーザが操作部２３を操作することにより、詳細情報登録画面上でメニュー名関連情報から特定のメニュー名を選択すると、端末処理部２７は、端末通信部２１を介してメニュー名の選択結果を画像ＩＤに紐付けてサーバ３に出力する（ステップＳ３１６）。次に、端末処理部２７は、端末記憶部２２に記憶された画像データのメニュー名を登録する（ステップＳ３１７）。次に、端末処理部２７は、画像データのカテゴリ、店舗名、及びメニュー名等が表示された詳細情報画面を表示部２４に表示する（ステップＳ３１８）。

サーバ通信部２１を介して画像ＩＤに紐付けられたメニュー名の選択結果を取得すると、サーバ処理部３３は、店舗情報テーブル及びメニュー情報テーブルを参照して、取得したメニュー名の選択結果に基づいてサーバ記憶部３２のメニューＩＤを画像ＩＤに紐付けて登録する（ステップＳ３１９）。次に、サーバ３のカテゴライズ部３３１は、メニュー情報テーブルを参照して、画像ＩＤに紐づけられたメニューＩＤのメニューの価格帯毎に画像データの数を集計して、サーバ記憶部３２に記憶された価格帯別画像数を更新し（ステップＳ３２０）、詳細情報登録の動作シーケンスを終了する。

図１５は、店舗名関連情報の抽出処理のフローの一例を示す図である。
以下、図１５を参照して、ステップＳ３０７の店舗名関連情報の抽出処理の流れを説明する。

まず、サーバ３の関連情報抽出部３３４は、サーバ通信部２１を介してＧＰＳ情報又はＱＲコード情報を含む書誌情報を取得する（ステップＳ４００）。

次に、関連情報抽出部３３４は、書誌情報を参照して、撮像日時がＱＲコード情報の読取日時後の所定の時間内に含まれるか否かを判断する（ステップＳ４０１）。例えば図１１に示すデータの場合、撮像日時は２０１５年１月１６日１９時２０分であり、読取日時は２０１５年１月１６日１９時０２分である。上記所定の時間を例えば１時間とする。この場合、読取日時後の所定の時間は、２０１５年１月１６日１９時０２分から２０１５年１月１６日２０時０２分までである。上記撮像日時（２０１５年１月１６日１９時２０分）は、当該読取日時後の所定の時間内である。したがって、図１１に示すデータの場合、関連情報抽出部３３４は、撮像日時が読取日時後の所定の時間内に含まれる、と判断される。なお、上記所定の時間は、任意に設定することができる。

ステップＳ４０１において、撮像日時が読取日時後の所定の時間内に含まれると判断されると（ステップＳ４０１；Ｙｅｓ）、関連情報抽出部３３４は、書誌情報のＱＲコード情報に基づき、店舗情報テーブルを参照して、当該ＱＲコードＩＤに係る店舗名を関連情報として抽出し（ステップＳ４０２）、店舗名関連情報の抽出処理が終了する。

一方、ステップＳ４０１において、撮像日時が読取日時後の所定の時間内に含まれないと判断されると（ステップＳ４０１；Ｎｏ）、関連情報抽出部３３４は、書誌情報のＧＰＳ情報に基づき、店舗情報テーブルを参照して、当該ＧＰＳ情報から一定の距離範囲内にある店舗の店舗名を関連情報として抽出し（ステップＳ４０３）、店舗名関連情報の抽出処理が終了する。

図１６Ａは、図１４のステップＳ３０９で説明した詳細情報登録画面３１００の一例である。

図１６Ａに示す様に、詳細情報登録画面３１００では、店舗名の欄３１０１、メニュー名の欄３１０２が表示されている。メニュー名の欄３１０２の下部には、「ご利用されたお店はここですか？」との質問文３１０３と共に、店舗名の関連情報３１０４が表示される。店舗名の関連情報３１０４のうち、特定の店舗名の領域を押下等することにより、店舗名を選択することができる。店舗名の関連情報３１０４の下部には、任意の店舗を検索することができる検索部３１０５が表示される。

図１６Ｂは、図１４のステップＳ３１５で説明した詳細情報登録画面３２００の一例である。

図１６Ｂに示す様に、詳細情報登録画面では、店舗名の欄３２０１には選択された店舗名３２０６が表示されている。メニュー名の欄３２０２の下部には、「メニュー名はこちらですか？」との質問文３２０３と共に、メニュー名の関連情報３２０４が表示される。メニュー名の関連情報３２０４のうち、特定のメニュー名の領域を押下等することにより、メニュー名を選択することができる。メニュー名の関連情報３２０４の下部には、任意のメニューを検索することができる検索部３２０５が表示される。

図１６Ｃは、図１４のステップＳ３１８で説明した詳細情報画面３３００の一例である。

図１６Ｃに示す様に、詳細情報画面３３００では、カテゴリの欄３３０１には画像データの属するカテゴリ３３０２が表示されている。店舗名の欄３３０３には選択された店舗名３３０４が表示される。メニュー名の欄３３０５には選択されたメニュー名３３０６が表示される。

図１７Ａ及びＢは、広告宣伝の表示の一例を示す図である。

第２実施形態では、画像と関連のある広告宣伝を、当該画像に関連付けられた態様で表示してもよい。すなわち、広告宣伝提供部３３３は、前述のステップＳ２０２等において抽出する広告宣伝データに、画像データに関連する関連情報を広告宣伝主の情報として付加してもよい。例えば、まず、関連情報抽出部３３４は、店舗情報テーブルを参照し、画像データに係るＧＰＳ情報に基づく撮像場所から所定の範囲内に含まれる店舗に係る店舗名及び／又はメニュー情報を抽出する。そして広告宣伝提供部３３３は、抽出された店舗名及び／又はメニュー情報を広告宣伝主の情報として画像データに重畳合成し、重畳合成された画像データを携帯端末２に出力する。或いは、まず、関連情報抽出部３３４は、店舗情報テーブル及びメニュー情報テーブルを参照し、画像データに係る撮像時刻から所定時間以内に読み取られたＱＲコードに基づく店舗名及び／又は特定の店舗におけるメニュー情報を抽出する。そして広告宣伝提供部３３３は、抽出された店舗名及び／又はメニュー情報を広告宣伝主に関する情報として画像データに重畳合成し、重畳合成された画像データを携帯端末２に出力する。このようにすれば、携帯端末２の端末処理部２７は、提供された画像データに関連する店舗に関する情報を当該広告宣伝として表示することできる。なお、ここで、店舗におけるメニュー情報は、店舗における商品情報の一例であるため、メニュー情報を商品情報に置き換えてもよい。

例えば、図１７Ａに示す様に、携帯端末２の端末処理部２７は、カテゴリの一覧画面４１００の上段左側の画像４１０１に重なるようにして、広告宣伝４１０１Ａを表示する。ここで、広告宣伝４１０１Ａは、画像データに関連する店舗名及びメニュー情報である。また、広告宣伝４１０１Ａの広告宣伝主は、ユーザが画像４１０１を撮像した店舗である。同様にして、画像４１０２には、ユーザが画像４１０２を撮像した店舗を広告宣伝主とする広告宣伝４１０２Ａが表示される。

図１７Ｂは、詳細情報画面４２００に表示される広告宣伝の例を示している。詳細情報画面４２００は、画像４２０１に係る画像データ及び書誌情報を表示する画面である。ここで、広告宣伝４２０１Ａの広告宣伝主は、ユーザが画像４２０１を撮像した店舗「リストランテ□□」である。

上記のような広告宣伝の表示態様によれば、例えば、過去に訪れたことのある店舗の広告宣伝を、当該店舗で撮像された画像に重ねて表示することが可能となり、ユーザが当該店舗に再度訪れる可能性が高まる。このように、特定の画像と関連のある広告宣伝を当該画像に関連付けられた態様で表示することによって、より効果的にユーザに広告宣伝をアピールすることが可能となる。

また、店舗名及び／又はメニュー情報を広告宣伝主に関する情報として画像データに重畳合成する際に、広告宣伝提供部３３３は、店舗名及び／又はメニュー情報を半透明にして重畳合成してもよい。これにより、ユーザが、店舗名及び／又はメニュー情報と重なってしまっている部分の画像データを確認できる。

なお、ユーザＩＤに紐づけられた価格帯に基づいて、ユーザに情報を提供してもよい。例えば、ユーザ嗜好解析部３３２は、サーバ記憶部３２を参照し、ユーザＩＤに紐づけられた価格帯画素数が最大又は所定数以上の価格帯を特定する。そして広告宣伝提供部３３３は、店舗情報テーブル及びメニュー情報テーブルを参照し、特定された価格帯の店舗を特定し、特定された店舗の宣伝広告を携帯端末２に出力してもよい。これにより、ユーザの嗜好が強い広告宣伝を効果的に提供できる。ここで、特定された価格帯の店舗は、第１の実施形態において、ユーザ嗜好解析部３３２によって解析されたユーザ嗜好に関連する店舗であってもよい。

［その他の実施形態］
第１実施形態及び第２実施形態においては、サーバ３のサーバ処理部３３が、携帯端末２から取得した画像データの分類を行うものとした。しかしながら、携帯端末２の端末処理部２７によって画像データの分類を行い、カテゴリ別画像数等のカテゴリに関連する情報等をサーバ３に出力する構成としても良い。

第１実施形態及び第２実施形態においては、情報提供部の一例として広告宣伝提供部３３３が解析されたユーザ嗜好に基づいて広告宣伝を携帯端末２に出力するものとした。しかしながら、広告宣伝提供部３３３に代えて、情報提供部が解析されたユーザ嗜好に基づいてユーザ識別情報に紐付けられた連絡先に情報を提供してもよい。例えば、ユーザ識別情報に紐付けられた連絡先は、メールアドレス、メーリングリスト、又はメールマガジンなどであってもよい。

第２実施形態においては、画像データに係るＧＰＳ情報に基づく撮像場所から所定の範囲内に含まれる店舗に係る店舗名を抽出し、抽出された店舗名を画像データに重畳合成し、重畳合成された画像データを携帯端末２に出力するものとした。しかしながら、店舗名は施設情報の一例であるため、店舗名を他の施設情報、例えば、観光地名及び／又は観光地に関する説明に置き換えてもよい。具体的には、動物園でユーザが動物を撮影した場合、施設情報は、観光地名（動物園名）及び／又は観光地に関する説明（動物の種類）などである。

また、第２実施形態においては、画像データに係る撮像時刻から所定時間以内に読み取られたＱＲコードに基づく店舗名を抽出し、抽出された店舗名を画像データに重畳合成し、重畳合成された画像データを携帯端末２に出力するものとした。しかしながら、店舗名は施設情報の一例であるため、店舗名を他の施設情報、例えば、観光地名及び／又は観光地に関する説明に置き換えてもよい。具体的には、動物園でユーザが動物を撮影した場合、施設情報は、観光地名（動物園名）及び／又は観光地に関する説明（動物の種類）などである。この場合、ＱＲコードは、例えば、観光地内又は観光地周辺に設置されている。或いは、ＱＲコードは、観光地内又は観光地周辺において、ＱＲコード処理部２７４によって読み取られる観光マップの紙面に印刷されているものであってもよい。また、ＱＲコードは、観光地固有のものであってもよい。

端末処理部２７及びサーバ処理部３３が備える各機能をコンピュータに実現させるためのコンピュータプログラムは、磁気記録媒体、光記録媒体等のコンピュータにより読み取り可能な記録媒体に記録された形で提供されてもよい。

当業者は、本発明の精神及び範囲から外れることなく、様々な変更、置換、及び修正をこれに加えることが可能であり、実施形態を適宜組み合わせてもよいことを理解されたい。

１ 情報配信システム
２ 携帯端末
２１ 端末通信部
２２ 端末記憶部
２３ 操作部
２４ 表示部
２５ 撮像部
２６ ＧＰＳセンサ
２７ 端末処理部
２７１ 画像処理部
２７２ 画像閲覧部
２７３ 広告宣伝表示部
２７４ ＱＲコード処理部
３ サーバ
３１ サーバ通信部
３２ サーバ記憶部
３３ サーバ処理部
３３１ カテゴライズ部
３３２ ユーザ嗜好解析部
３３３ 広告宣伝提供部
３３４ 関連情報抽出部
４ 基地局
５ 移動体通信網
６ ゲートウェイ
７ インターネット

Claims (10)

1. 画像データが属するカテゴリをユーザ識別情報に紐付けて記憶する記憶部と、
   前記画像データ及び前記ユーザ識別情報をユーザ端末から取得し、取得された前記画像データを画像認識処理することにより前記カテゴリを判定し、判定された前記カテゴリを前記ユーザ識別情報に紐づけて前記記憶部に登録するカテゴライズ部と、
   前記ユーザ識別情報に紐付けられた前記カテゴリに基づいてユーザ嗜好を解析する解析部と、
   解析された前記ユーザ嗜好に基づいて、ユーザに情報を提供する情報提供部と、
   を有することを特徴とする情報配信装置。
2. 前記カテゴリは、ツリー構造を形成する、請求項１に記載の情報配信装置。
3. 前記画像データに係る位置情報に基づいて前記画像データに関連する関連情報を抽出する関連情報抽出部を更に有し、
   前記情報提供部は、抽出された前記関連情報に基づいて前記ユーザに前記情報を提供する、請求項１又は２に記載の情報配信装置。
4. 前記関連情報は、前記位置情報に基づく撮像場所から所定の範囲内に含まれる施設に係る施設情報であり、
   前記情報提供部は、抽出された前記関連情報を取得された前記画像データに合成し、合成された前記画像データを前記ユーザに提供する、請求項３に記載の情報配信装置。
5. 前記画像データに係る撮像の前に読み取ったコード情報に基づいて前記画像データに関連する関連情報を抽出する関連情報抽出部を更に有し、
   前記情報提供部は、抽出された前記関連情報に基づいて前記ユーザに前記情報を提供する、請求項１又は２に記載の情報配信装置。
6. 前記関連情報は、前記画像データに係る撮像時刻から所定時間以内に読み取られた前記コード情報に基づく施設に係る施設情報であり、
   前記情報提供部は、抽出された前記関連情報を取得された前記画像データに合成し、合成された前記画像データを前記ユーザに提供する、請求項５に記載の情報配信装置。
7. 前記情報提供部は、前記カテゴリに係る前記画像データの数が多いほど、前記情報提供部からの情報提供頻度を多くする、又は、前記情報の表示を大きくする、請求項１〜６の何れか一項に記載の情報配信装置。
8. 前記解析部は、ユーザが閲覧した広告閲覧数を取得し、取得された前記広告閲覧数及び前記カテゴリに基づいて前記ユーザ嗜好を解析する、請求項１〜７の何れか一項に記載の情報配信装置。
9. 前記カテゴライズ部は、取得された前記画像データを顔認識処理することにより、前記画像データに写った人物の性別及び年齢のカテゴリを判定し、
   前記情報提供部は、判定された前記画像データに写った前記人物の前記性別及び前記年齢の前記カテゴリに基づいて、前記ユーザに前記情報を提供する、請求項１〜８の何れか一項に記載の情報配信装置。
10. 画像データが属するカテゴリをユーザ識別情報に紐付けて記憶する記憶部を有するコンピュータの情報配信プログラムであって、
    前記画像データ及び前記ユーザ識別情報をユーザ端末から取得し、
    取得された前記画像データを画像認識処理することにより、前記画像データが属するカテゴリを判定し、
    判定された前記カテゴリを前記ユーザ識別情報に紐付けて前記記憶部に登録し、
    前記ユーザ識別情報に紐付けられた前記カテゴリに基づいてユーザ嗜好を解析し、
    解析された前記ユーザ嗜好に基づいて、ユーザに情報を提供することを前記コンピュータに実行させる、
    ことを特徴とする情報配信プログラム。