JP7230299B2 - Ｓｎｓに投稿された画像から商品情報を取得するためのカード会社システム、端末のプログラム、ｓｎｓシステム及び方法 - Google Patents

Description

本発明は、商品情報を取得するためのＳＮＳとカード会社の連携に関する。

従来から、ソーシャル・ネットワーキング・サービス（ＳＮＳ）と、クレジットカードで購入した際の利用明細情報（又は決済情報）とを連携させるシステムが知られている。例えば、特許文献１には、クレジットカードの決済情報をＳＮＳのコミュニケーション・ツールとして利用するために、ユーザのクレジットカードに係る決済情報を取得し、その決済情報と関連した関連情報を、インターネットを介して収集し、決済情報及び関連情報に基づき、ＳＮＳに投稿する投稿情報を生成する処理を実行させる情報処理装置が開示されている。

特開２０１７－１６２０９４号公報

上記特許文献１の技術は、クレジットカードの決済情報を用いてＳＮＳの投稿情報を生成するものであるが、クレジットカードの決済情報はＳＮＳと連携させることで更なる可能性がある。昨今のＳＮＳは、従来の文字情報を中心としたものから、「インスタ映え」などの言葉に象徴されるように、写真や動画などの画像情報を中心とする方向に移っていく傾向がある。しかし、例えば、ＳＮＳで他人が載せている画像の品物を気に入ったとしても、その画像からだけでは、その品物について問い合わせや検索をして、どこで手に入るのか調べるのは面倒である。そこで本発明では、ユーザがＳＮＳ上に投稿した画像から、ＳＮＳの他のユーザがその画像の商品情報を容易に取得可能にするための仕組みを提供することを目的とする。

上記目的のため、本発明は、以下のような解決手段を提供する。

（１）カード会社システムが、加盟店で扱う商品の商品画像を前記加盟店から取得し、前記取得した商品画像を商品画像ＤＢに格納する商品画像取得手段と、投稿者がＳＮＳシステムに投稿した画像である投稿画像を前記ＳＮＳシステムから受信するＳＮＳ連携手段と、前記商品画像ＤＢの中から前記投稿画像に類似する画像を検索する類似画像検索手段と、前記類似画像検索手段によって前記投稿画像に類似する画像が見つかったときに、前記投稿者の前記加盟店でのカードの利用明細を前記ＳＮＳシステムに送信する利用明細送信手段と、を備えることを特徴とする。

（２）カード会社システムが、投稿者がＳＮＳシステムに投稿した画像である投稿画像を前記ＳＮＳシステムから受信するＳＮＳ連携手段と、前記投稿画像を加盟店に送信し、前記投稿画像に類似する商品画像の検索要求をする類似画像検索要求手段と、前記加盟店において前記投稿画像に類似する画像が見つかったときに、前記投稿者の前記加盟店でのカードの利用明細を前記ＳＮＳシステムに送信する利用明細送信手段と、を備えることを特徴とする。

（３）カード会社システムが、加盟店で扱う商品の商品画像を前記加盟店から取得し、前記取得した商品画像を商品画像ＤＢに格納する商品画像取得手段と、投稿者がＳＮＳシステムに投稿する画像である投稿画像に類似する画像の検索要求を前記投稿者のユーザ端末から受け付ける類似画像検索要求受付手段と、前記商品画像ＤＢの中から前記投稿画像に類似する画像を検索する類似画像検索手段と、前記投稿画像に類似する画像が見つかったときに、前記投稿者の前記加盟店でのカードの利用明細を前記ユーザ端末に送信する利用明細送信手段と、を備えることを特徴とする。

（４）ＳＮＳシステムへの投稿者が所持する端末のプログラムであって、前記投稿者が利用するカードの情報を記憶する利用カード記憶手段、前記ＳＮＳシステムに投稿する投稿画像に類似する画像の検索を要求する類似画像検索要求をカード会社システムに送信する類似画像検索要求手段、前記類似する画像が見つかったときに、前記投稿者のカードの利用明細を前記カード会社システムから受信する利用明細受信手段、前記利用明細の中の所定情報を前記投稿画像に付加して送信する投稿情報送信手段、として前記端末を機能させることを特徴とする。

（５）ＳＮＳシステムが、前記ＳＮＳシステムの投稿者が商品の購入に使用するカードの登録を受け付ける登録カード受付手段と、前記投稿者から投稿情報を受信する投稿情報受信手段と、前記投稿情報の内容を解析する投稿情報解析手段と、前記投稿情報の含まれる投稿画像を前記カードのカード会社システムに送信し、前記投稿画像に類似する画像が見つかったときに、前記カードの利用明細を要求する利用明細要求手段と、前記利用明細を前記カード会社システムから受信し、前記利用明細から所定情報を前記投稿画像に付加する利用明細受信手段と、を備えることを特徴とする。

（６）上記（５）に記載の構成において、前記投稿情報解析手段は、前記投稿画像に付随するキーワードがない場合には、前記投稿画像のみを用いてウェブ全体から類似画像検索を行い、前記投稿画像に付随するキーワードがある場合には、前記投稿画像と前記キーワードを用いてウェブ全体から類似画像検索を行い、前記投稿画像の商品カテゴリを特定することを特徴とする。

（７）上記（５）又は（６）に記載の構成において、前記投稿情報解析手段は、前記投稿画像に付随するキーワードがない場合には、前記投稿画像のみを用いてウェブ全体から類似画像検索を行い、前記投稿画像に付随するキーワードがある場合には、前記投稿画像と前記キーワードを用いてウェブ全体から類似画像検索を行い、前記投稿画像の商品カテゴリを特定することを特徴とする。

（８）カード会社のコンピュータが実行する方法であって、加盟店で扱う商品の商品画像を前記加盟店から取得し、前記取得した商品画像を商品画像ＤＢに格納するステップと、投稿者がＳＮＳシステムに投稿した画像である投稿画像を前記ＳＮＳシステムから受信するステップと、前記商品画像ＤＢの中から前記投稿画像に類似する画像を検索するステップと、前記検索するステップで前記投稿画像に類似する画像が見つかったときに、前記投稿者の前記加盟店でのカードの利用明細を前記ＳＮＳシステムに送信するステップと、を前記コンピュータに実行させることを特徴とする。

本発明によれば、ユーザがＳＮＳ上に投稿した画像から、ＳＮＳの他のユーザがその画像の商品情報を容易に取得可能にする仕組みを提供することができる。

本発明の実施形態のシステムが提供するサービスのイメージを示す図である。 投稿記事のパターンを説明するための図である。 本発明の第１の実施形態の機能構成を示す図である。 本発明の第２の実施形態の機能構成を示す図である。 本発明の第３の実施形態の機能構成を示す図である。 本発明の第１の実施形態におけるシステムの処理フローを示す図である。 投稿情報解析の処理フローを示す図である。 本発明の第２の実施形態におけるシステムの処理フローを示す図である。 本発明の第３の実施形態におけるシステムの処理フローを示す図である。

以下、添付図面を参照して、本発明を実施するための形態（以下、実施形態）について詳細に説明する。以降の図においては、実施形態の説明の全体を通して同じ要素には同じ番号又は符号を付している。また、機能構成の図において、機能ブロック間の矢印は、データの流れ方向、又は処理の流れ方向を表す。

（基本イメージ）
本発明のシステムでは、本人が最近カードで購入した商品の画像をＳＮＳにアップした際、カード明細の中と最近購入した商品の画像とをマッチングして、該当の商品及び店舗のリンク情報などを自動的又は半自動的に掲示することを目的としている。このようにすることで、投稿者はわざわざリンク先の情報を貼りつけなくてもよく、また、アフィリエイトのようにリンク目的で投稿をしていない投稿者からの情報も簡単に反映できることになる。なお、以降では、「商品」とは有体物だけでなく、マッサージ店、美容院、ジムなどにおけるサービス（無体物）を含むものとする。

図１は、本発明の実施形態のシステム（以下、本システムと呼ぶ。）が提供するサービスのイメージを示す図である。今、ＳＮＳのユーザがクレジットカードなど電子決済可能なカードで商品（ここでは時計）を購入し、その後、購入した商品の情報をＳＮＳ上に投稿しようとしているとする。ここでＳＮＳに投稿する情報には、画像情報（写真・動画）を含んでいるものとする。もちろん、文字情報（投稿文やコメント・ハッシュタグ）も含んでもよい。また、投稿する先のＳＮＳは、一つでもあっても複数であってもよい。

図示するように、ＳＮＳのユーザ（投稿者）が、複数のＳＮＳサイト、例えばＳＮＳ Ａ、ＳＮＳ Ｂ、ＳＮＳ Ｃに投稿したものとする。ここで、ＳＮＳ Ａは、Ｔｗｉｔｔｅｒ（登録商標）やＦａｃｅＢｏｏｏｋ（登録商標）などの時系列的に情報を投稿するサービスを中心とするサイトであり、ＳＮＳ Ｂは、Ｉｎｓｔａｇｒａｍ（登録商標）などの画像を共有するサービスを中心とするサイトであり、ＳＮＳ Ｃは、Ａｍｅｂａ（登録商標）などのブログのサービスを中心とするサイトであるとする。

一般に、ＳＮＳ Ａのような文字中心のサイトでは、タイムラインと呼ばれる形式で投稿した文章が表示されるが、画像はその後ろにまとめて表示される。また、ＳＮＳ Ｂのような画像中心サイトでは、写真や動画がアルバム形式で表示され、各画像をクリックすると、その画像の説明文（コメント）が表示される。また、ＳＮＳ Ｃのようなブログ中心のサイトでは、文章の途中に画像が差し込まれて表示される。最近では、一つのＳＮＳに投稿すると別のＳＮＳにも同じ内容を投稿する機能を有したものもある。例えば、ユーザが最初、ＳＮＳ Ｃに投稿し、その投稿画面から、ＳＮＳ ＡやＳＮＳ Ｂにも投稿するボタンを押すと、ＳＮＳに同じ内容がそれぞれのＳＮＳのシステムに適したフォーマットで投稿される。

投稿者がカードの加盟店の店舗（実店舗であってもネット店舗であってもよい。）でカードを利用すると、カードでの利用情報（購入情報）が加盟店からそのカードを管轄するカード会社に送られ、カードの利用明細が作成される。カードの利用明細には、カード番号、購入日、利用金額、利用店の情報（加盟店の業種、名称、店舗ＩＤ、ＵＲＬ、所在地など）、購入商品の名称又は商品ＩＤなどを含み得るが、現在のところは上記情報のすべてが利用者に渡される利用明細書に記載されているわけではない。

本システムでは、このカードの利用明細に含まれる、購入日、利用金額（購入金額）、利用店（加盟店）の名称・所在地・ＵＲＬ、購入商品の名称・型番等のうち、少なくとも一つの情報（以降、これを「所定情報」と呼ぶことにする）を、ＳＮＳの投稿記事を閲覧するユーザにも開示する。開示先のユーザの範囲は、投稿者があらかじめ設定するようにしてもよい。この開示された所定情報は、投稿者が自ら書いたものでなく、投稿した画像に対して自動的又は半自動的に付加される付加情報である。図１の例では、利用店と購入商品名のみを投稿者が設定した付加情報としている。

図２は、投稿情報（投稿記事ともいう。）のパターンを説明するための図である。本システムでサポートする投稿記事は画像を含んでいることが必要で、文字だけの投稿記事は対象としない。投稿記事にはいくつかのパターンがあり、投稿文もハッシュタグもないもの（パターン１）、投稿文はないが、ハッシュタグだけがあるもの（パターン２）、投稿文だけでハッシュタグはないもの（パターン３）、投稿文とハッシュタグ共にあるが、その情報粒度に差があるもの（パターン４～パターン７）。

ここで、ハッシュタグとは、投稿記事をカテゴライズして検索を容易にするためのキーワードであり、キーワードの前にハッシュ記号として♯を付けるのが一般的である。ハッシュタグは、通常、投稿者が付加するものであるが、文字だけなく画像の検索にも有用である。なお、図のパターン４の２行目のように、絵文字は、画像ではなくコードに変換されるので、文字として扱うものとする。

本システムでは、投稿する画像に類似する画像を検索するため公知の類似画像検索技術を利用するが、上記パターンの番号が増えるほど、画像検索に用いる情報は増えるので検索の精度は上がると考えられるが、一方で多くのノイズ情報を拾う可能性が高まる。

（機能構成）
本システムは、ＳＮＳに投稿された記事の画像に類似する画像を検索する類似画像検索を行い、類似画像が見つかったときに、その類似画像から投稿画像に関連する情報を取得することを主たる目的とする。

本システムは、ＳＮＳユーザが所持するユーザ端末１０、ユーザが利用するＳＮＳのＳＮＳシステム１００、ＳＮＳユーザが決済に利用するカード（クレジットカード、電子マネーカードなど）を一括管理するカード会社システム２００、カード会社の加盟店の加盟店システム３００が、インターネットで接続されたシステムである。ユーザ端末１０は、ＳＮＳへの投稿者とその投稿者が投稿した記事を閲覧する閲覧者を区別する場合は、それぞれ、ユーザ端末１０Ａ、ユーザ端末１０Ｂと呼ぶことにする。

本発明にはいくつもの実施形態が考えられるが、そのうち、以下では、第１、第２、第３の実施形態について順に説明する。ただし、以降の図の説明では、ＳＮＳシステム１００を単に「ＳＮＳ」と、カード会社システム２００を単に「カード会社」と、加盟店システム３００を単に「加盟店」と略すことがある。

（第１の実施形態）
図３は、本発明の第１の実施形態（実施形態１）の機能構成を示す図である。実施形態１では、カード会社システム２００が中心となって、ＳＮＳシステム１００と加盟店システム３００と連携し、上記の目的を達成する。

まず、本実施形態のＳＮＳシステム１００は、投稿情報受信手段１０１、投稿情報ＤＢ１０２、投稿情報解析手段１０３、利用明細要求手段１０４、カード会社連携手段１０５、利用明細受信手段１０６、投稿情報送信手段１０７、登録カード受付手段１０８を備えている。

投稿情報受信手段１０１は、ユーザ端末１０Ａからの投稿情報を受け付け、投稿情報ＤＢ１０２に格納する。

投稿情報解析手段１０３は、投稿情報ＤＢ１０２に格納された投稿情報を解析し、投稿情報に画像が含まれるか否か、画像が含まれる場合は、それと類似する画像を検索しやすくするための付随するキーワードもあるかどうかを解析する。投稿画像に付随するキーワードがない場合には、その投稿画像のみを用いてウェブ全体から類似画像検索を行うが、投稿画像に付随するキーワードがある場合には、投稿画像と付随キーワードの両方を用いてウェブ全体から類似画像検索を行う。その結果、商品の種類である商品カテゴリを特定する役目を果たす。もちろん、その段階でより詳しい商品情報が見つかればその情報も保存する。

特定した商品カテゴリは、後述するように、カード会社システム２００に送信し、投稿画像と、実際に加盟店で販売されている商品の画像である商品画像とを比較する際の絞り込みのための情報として使用される。商品カテゴリを特定するだけなら、類似度の低い画像であっても、そこから情報を得ることもできる。このとき加盟店で販売されるような類似画像だけを商品カテゴリを特定するための対象とする。例えば、投稿画像には、文字情報がなく、犬か狼らしき画像だけであった場合、類似画像として犬と狼がウェブ上で多く見つかったとしても、通常、狼が加盟店で販売されることはないため、「犬」が商品カテゴリとして特定できる。なお、投稿情報解析手段１０３は、投稿情報が文字情報のみで画像がない場合はなにもしない。

ここで商品カテゴリは、商品を大分類、中分類、小分類する（カテゴリ分け）ためのワードであり、例をあげると、メンズ・レディース・キッズ・ベビィスなどのファッション（衣類）、靴・鞄・傘・腕時計などのファッション小物、指輪・ネックレスなどのアクセサリー類、テレビ・掃除機・カメラ・パソコン、ゲーム機などの家電やＡＶ機器、ホーム・キッチン用品、家具・ベッド、本・コミック・雑誌などの書籍、食品・飲料・お酒などの食品、ドラッグストア・ビューティなどの化粧品類、犬・猫などのペット及びペット用品、スポーツ・アウトドア用品など、様々なものがある。

また、投稿情報解析手段１０３は、登録カード受付手段１０８に投稿者のカードが登録されている場合は、カード会社を割り出し、その情報を利用明細要求手段１０４に受け渡す機能も果たす。

図３に戻り、ＳＮＳシステム１００の利用明細要求手段１０４は、カード会社連携手段１０５（カード会社に情報を送信して、カード会社と連携する機能を果たす。）を介して、カード会社に投稿者がカードで買い物をした際の利用情報（加盟店側で得られる購入情報）を要求する。利用明細は、後述の利用明細受信手段１０６が受信する。

利用明細受信手段１０６は、カード会社から利用明細を取得し、あらかじめ設定された所定情報を、投稿情報ＤＢ１０２の当該投稿画像に紐付けて付加する。所定情報は、既に述べたように、別のＳＮＳユーザに役立つようにするために投稿画像に自動的又は半自動的に付加される情報であり、例えば、利用明細から得られる商品の購入日、利用店の情報（業種、店舗名称、店舗ＩＤ、ＵＲＬ、所在地など）、購入商品の情報（名称、型番など）である。その別のユーザは、投稿画像と付加情報を見て、その商品がどこで売られていたものかを確認し、更にその商品の詳しい情報を得たり、場合によっては同じ商品（色違い、サイズ違いを含む）を購入したりすることが可能となる。付加情報に購入金額が含まれる場合は、別の店で買う場合の参考になる。本システムを使えば、画像だけでショッピングのための情報が得られるので、いわば「画像ショッピング」サービスを提供することができる。

具体的には、ＳＮＳシステム１００上で投稿画像を表示する際に、表示された画像上あるいは画像の近辺に購入ボタンを設けるようにしてもよい。そうすると本システムによって、その投稿画像から店舗情報、購入商品情報が特定できるので、購入ボタンが押下されると、当該店舗で当該商品の購入手続きを実行できるようになる。さらに、当該店舗で保持している商品画像を表示させるようにして、利用者が確認してから商品購入手続に誘導してもよい。また、サイズ違いや色違いなど類似する商品の画像を表示させるようにして、類似する商品への購入手続きに誘導してもよい。また、購入手続きが終了したときは、その投稿画像に購入実績情報を蓄積・集計することで、投稿者への特典を付与してもよい。

投稿情報送信手段１０７は、閲覧者のユーザ端末１０Ｂから投稿記事の閲覧要求があったときに、投稿情報ＤＢ１０２から該当する投稿情報を読み出し、ユーザ端末１０Ｂに送信する。このとき付加情報が格納されていれば、それも含んで送信するのは当然である。

登録カード受付手段１０８は、必須機能ではないが、ユーザがＳＮＳ上でなんらかの電子決済をする場合、その決済に用いるカード情報を受け付け、登録する機能を果たす。こうすることで、ユーザはそのたびにカード番号などを入力する手間が省ける。また、ＳＮＳが、ユーザが利用しているカード会社を知ることができる。また、カードを所持していなくとも、端末をカードとして利用できるようにもできる。さらに、ここで他のＳＮＳユーザに利用明細の所定情報を開示するか否か、開示する場合はどこまで開示するか（開示範囲）を設定するようにしてもよい。

次に、カード会社システム２００は、利用情報取得手段２０１、利用情報ＤＢ２０２、商品画像取得手段２０３、商品画像ＤＢ２０４、ＳＮＳ連携手段２０５、類似画像検索手段２０６、類似画像商品情報送信手段２０７を備える。

利用情報取得手段２０１は、顧客が加盟店でカードを利用したときに、その利用情報を取得し、利用情報ＤＢ２０２に格納するカード会社が一般的に備える機能を果たすものである。利用情報ＤＢ２０２には、加盟店ごと顧客ごとに、カードの利用明細がすべて、加盟店から得られる情報だけでなくカード会社で得られる情報も含めて、保管される。

商品画像取得手段２０３は、加盟店からその加盟店が扱う商品の商品画像を取得し、商品画像ＤＢ２０４に格納する。したがって、商品画像ＤＢ２０４には、すべての加盟店から取得した商品画像が格納される。

ＳＮＳ連携手段２０５は、ＳＮＳシステム１００のカード会社連携手段１０５と通信し、主として、ＳＮＳ側からの要求に対する窓口の機能を果たす。具体的には、ＳＮＳ連携手段２０５は、ＳＮＳから特定のユーザの利用明細の開示要求を受けたときは、利用明細開示ＡＰＩ（Application Interface)を提供する。カード会社がＳＮＳに利用明細を開示するＡＰＩを提供することで、ＳＮＳで投稿を行う会員の取り込みができると共に、加盟店の販売機会増加にも貢献できる。また、利用明細をＳＮＳに開示することで、複数の商品や加盟店の情報が投稿に付加される情報の候補になることがなくなる。

また、ＳＮＳ連携手段２０５は、ＳＮＳ側からユーザの投稿画像を受信し、その類似画像を検索するために類似画像検索手段２０６に引き渡す役目も果たす。

類似画像検索手段２０６（画像データのマッチング）は、投稿画像と類似した画像を商品画像ＤＢ２０４で検索する。ＳＮＳ側の投稿情報解析手段１０３が行う類似画像検索は、ウェブ全体を検索対象とするのに対し（後述の図６参照）、ここでの類似画像検索は、加盟店で実際に販売されている商品の画像を検索対象とする点である。そのため現在はどこの加盟店でも販売されていない商品の画像は除かれる。

類似画像検索の結果、類似画像が見つかった場合は、類似画像商品情報送信手段２０７に処理を移し、類似画像商品情報送信手段２０７は、類似画像に紐づいた商品情報をＳＮＳに送信する。このとき類似画像そのものも商品情報に含めて送信する。類似画像が見つからなかった場合はその旨を返信する。

最後に、加盟店システム３００の機能構成を説明する。加盟店システム３００は、利用情報送信手段３０１、商品画像情報ＤＢ３０２、商品画像送信手段３０３を備えている。

利用情報送信手段３０１は、顧客がカードを利用したときに、その利用情報をカード会社に送信し、カード会社から承認（オーソリ）をもらって決済を完了させるといった一般的な加盟店側の処理を実行する。

商品画像情報ＤＢ３０２（カード会社の商品画像ＤＢ２０４と区別するため、商品画像情報ＤＢ３０２としている。）は、自店で販売する商品の商品画像情報を格納するデータベースである。商品画像情報ＤＢ３０２は、店舗側に通常存在し、自店で販売する商品のすべての情報を格納した商品ＤＢ（図示せず）の中の画像情報の部分を抜き出したものと考えてもよい。

加盟店が実店舗の場合は、自店で販売する商品のすべての画像情報を保持しておくことは難しいので、実際に商品が購入されたときに、メーカーや卸店などから商品の画像情報を取得商品画像情報ＤＢ３０２に格納しておくことが望ましい。加盟店がネット店舗の場合は、通常、すべての商品の画像情報をデータベースに保持している。

商品画像送信手段３０３は、商品画像情報ＤＢ３０２から、利用情報送信手段３０１が送信した利用情報に含まれた購入商品の商品画像をカード会社システム２００に送信する。

（第２の実施形態）
図４は、本発明の第２の実施形態（実施形態２）の機能構成を示す図である。前述の実施形態１では、カード会社が加盟店から取得した商品画像をカード会社システム２００内の商品画像ＤＢ２０４に蓄積し、カード会社側で類似画像の検索を行うものであるが、実施形態２では、類似画像の検索を加盟店側で行うようにしたものである。以下、実施形態１と異なる部分のみを説明する。

実施形態２のＳＮＳシステム１００は、実施形態１の場合と全く同じ機能構成であるので説明を省略する。

実施形態２のカード会社システム２００は、実施形態１の類似画像検索手段２０６の代わりに、類似画像検索要求手段２０８が設けられ、類似画像取得手段２０９が新たに登場する。

類似画像検索要求手段２０８は、加盟店システム３００に対して類似画像の検索を要求する。このとき商品カテゴリを特定できていれば、そのカテゴリに属する商品を販売する加盟店を選択していっせいに検索要求を送信するようにしてもよい。また、投稿記事から商品の購入した地域がおおまかにでも特定されていれば、その地域に存在する加盟店に対して優先的に検索を依頼するようにしてもよい。また、依頼した地域の加盟店では類似画像が見つからなかった場合は、隣接する地域の加盟店に検索を依頼するようにしてもよい。なお、ここで依頼する加盟店の優先順序や範囲は、商品カテゴリごとにあらかじめ定めておくことが望ましい。

類似画像取得手段２０９は、加盟店システム３００が類似画像を見つけたときに、その類似画像を受信して取得する。ここで取得する類似画像は複数であってもよい。

実施形態２の加盟店システム３００は、類似画像検索手段３０４が新たに登場する。類似画像検索手段３０４は、商品画像情報ＤＢ３０２に格納された商品の画像情報から依頼された類似画像を検索する。また、実施形態１の商品画像送信手段３０３が類似画像送信手段３０５に置き換わる。

（第３の実施形態）
図５は、本発明の第３の実施形態（実施形態３）の機能構成を示す図である。実施形態３は、実施形態１，２と異なり、投稿者のユーザ端末１０Ａが中心となって、類似画像検索要求をカード会社側に送信し、類似画像が見つかった場合は、その類似画像の商品の情報を含んだ利用明細を受信して、そこから所定情報を投稿者の投稿画像に付加し、その投稿情報をＳＮＳに送信するものである。

実施形態３のユーザ端末１０Ａは、自己の所有するカード情報を記憶する利用カード記憶手段１１、投稿画像を撮像するためのカメラなどの撮像手段１２、類似画像検索要求をカード会社に送信する類似画像検索要求手段１３、類似画像の商品情報及び利用明細をカード会社から受信する類似画像商品情報受信手段１４、投稿情報をＳＮＳに送信する投稿情報送信手段１５を備えている。上記のうち、利用カード記憶手段１１、撮像手段１２、投稿情報送信手段１５は、実施形態１，２のユーザ端末１０Ａでも備えているものであるが記載を省略していたものである。

実施形態３のＳＮＳシステム１００は、投稿情報受信手段１０１、投稿情報ＤＢ１０２、投稿情報送信手段１０７だけの構成であり、実施形態１，２に存在した投稿情報解析手段１０３、利用明細要求手段１０４、カード会社連携手段１０５、利用明細受信手段１０６は必要ない。

実施形態３のカード会社システム２００は、実施形態１，２のＳＮＳ連携手段２０５の代わりに類似画像検索要求受付手段２１０が新たに登場する。類似画像検索要求受付手段２１０は、ユーザ端末１０Ａからの類似画像検索要求を受け付け、類似画像検索手段２０６に検索を実行させ、類似画像が見つかったときに、その類似画像の商品の情報を含んだ利用明細をユーザ端末１０Ａに送信する。

加盟店システム３００は、実施形態１の場合とすべて同じ構成であるので説明は省略する。

（付加機能）
上記の実施形態は以下の機能を追加することができる。

（１）購入商品確認機能
類似画像検索で候補が複数見つかった場合は、投稿者に実際の購入商品を選択させ、また、候補が一つの場合であってもその情報の正誤を確認した上で、付加情報として開示する／しないを選択させて、ＯＫのものだけを開示する機能を提供する。この機能は、ＳＮＳの利用明細受信手段１０６又はユーザ端末の類似画像商品情報受信手段１４で実現できる。

（２）投稿画像の付加情報を見たユーザが、どのＳＮＳを見て商品を購入したのかを加盟店に開示する機能を提供する。この機能は、カード会社のＳＮＳ連携手段２０５で実現できる。この機能によって加盟店は、自店の商品の売れ行き具合をＳＮＳ単位で知ることができる。例えば、ＳＮＳ Ａ経由はあまり売れていない、ＳＮＳ Ｂ経由はここ２ヶ月で倍増しているなどといった情報が得られるので、ＳＮＳに対する広告などの注力の仕方も判断できる。さらに、加盟店は、商品を購入してくれたユーザに、どの投稿記事を見て購入につながったかなどのアンケートを送信して、自分の店の売上に大きく貢献してくれている投稿者（インフルエンサー、芸能人なども含む）のサイトを店側からリンクするようにしてもよい。

（変形例）
ここまではＳＮＳに投稿された画像と加盟店、カード会社、又はＳＮＳ以外のウェブ上から取得した画像とをマッチングさせることで画像に関する情報を取得し、画像に関する情報を表示可能なＵＲＬを生成又は取得することを説明した。しかし、別の考え方として、画像どうしをマッチングしない方法も考えられる。例えば、以下の２つの方法がある。

第１の方法は、投稿された画像を画像解析（解釈）し、解釈された情報を基に商品情報を取得する方法であり、具体的には以下の２つのやり方がある。
（１）ＳＮＳシステム側で画像情報を解釈し何の画像が投稿されたかという情報をカード会社システムに通知する（画像の解釈は、例えば、ＡＩシステムが行ってもよい）。一例として腕時計の画像が投稿された場合に通知される情報は「腕時計」となる。
（２）ＳＮＳシステムからカード会社システムに投稿された画像が送信され、画像を受信したカード会社システムが画像を解釈して商品情報を取得し、商品情報に関するＵＲＬを取得する。

第２の方法は、画像が投稿されたことに応じて（直近の）カード利用明細情報を取得しユーザに利用明細情報を選択させる方法であり、具体的には以下の２つのやり方がある。
（１）ＳＮＳシステム側で画像が投稿されたという情報のみをカード会社に送信し、直近の一又は複数のカード利用明細情報の送信要求を送信し、一又は複数のカード利用明細情報を取得する（ユーザが一又は複数の情報から一つを選択すると投稿された画像に関するＵＲＬを取得できるようにする）。
（２）カード会社システムがＳＮＳシステムから画像を受信したことを検知すると、直近の一又は複数のカード利用明細情報をＳＮＳシステムに送信する。（ユーザが一又は複数の情報から一つを選択すると投稿された画像に関するＵＲＬを取得できるようにする）。

以上で実施形態の機能構成の説明を終わるが、上記実施形態のシステムの機能構成は、あくまで一例であり、一つの機能ブロック（データベース及び機能処理部）を分割したり、複数の機能ブロックをまとめて一つの機能ブロックとして構成したりしてもよい。各機能処理部は、装置に内蔵されたＣＰＵ（Central Processing Unit）が、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＳＳＤ(Solid State Drive)、ハードディスク等の記憶装置に格納されたコンピュータ・プログラムを読み出し、ＣＰＵにより実行されたコンピュータ・プログラムによって実現される。すなわち、各機能処理部は、このコンピュータ・プログラムが、記憶装置に格納されたデータベース（ＤＢ;Data Base)やメモリ上の記憶領域からテーブル等の必要なデータを読み書きし、場合によっては、関連するハードウェア（例えば、入出力装置、表示装置、通信インターフェース装置）を制御することによって実現される。また、本発明の実施形態におけるデータベース（ＤＢ）は、商用データベースであってよいが、単なるテーブルやファイルの集合体をも意味し、データベースの内部構造自体は問わないものとする。

（処理フロー）
図６、図７、図８は、それぞれ、第１の実施形態、第２の実施形態、第３の実施形態の処理フローを示した図である。上記の処理フロー図（フローチャート）においては、各ステップの入力と出力の関係を損なわない限り、各ステップの処理順序を入れ替えてもよい。また、以降のフローチャートでは、ＳＮＳシステム１００をＳＮＳと、カード会社システム２００をカード会社と、加盟店システム３００を加盟店と略す。

図６は、本発明の第１の実施形態におけるシステムの処理フローを示す図である。実施形態１ではＳＮＳ側とカード会社側で類似画像の検索を行う。

まず、ＳＮＳ側では、投稿記事を受信すると（ステップＳ１０）、投稿記事の内容を解析し、投稿画像の第１段階の類似画像の検索も行う（ステップＳ１１）。ステップＳ１１の処理については図７で説明する。

投稿記事の解析の結果、カード会社に問い合わせる必要があると判断したときは（ステップＳ１２：Ｙ）、ステップＳ１３に進むが、そうでないときは（ステップＳ１２：Ｎ）なにもしない。

ステップＳ１３では、カード会社に投稿者の利用明細を要求する。このとき利用明細開示ＡＰＩを使用してもよい。カード会社から利用明細を受信すると（ステップＳ１４：Ｙ）、設定された情報を利用明細から抜き出し、投稿記事に付加する（ステップＳ１５）。類似画像がカード会社側で見つかったときは、その類似画像も受信してもよい。利用明細がないとき（ステップＳ１４：Ｎ）はなにもしない。

カード会社側では、通常の業務のバックグラウンド処理として、加盟店からのカードの利用情報が送信されてきたときにその決済処理を行う（ステップＳ２０）。そして、利用情報にカード会社側で分かる情報を加えて、利用明細情報ＤＢに格納する（ステップＳ２１）。さらに、次の類似画像の検索に備えて、顧客が購入した商品の画像を加盟店から受信し、商品画像ＤＢ２０４に蓄積する（ステップＳ２２）。

加盟店側では、顧客がカードを利用した際に、その利用情報（購入情報）をカード会社に送信して（ステップＳ３０）、承認を受けたあと決済を完了させるが、実施形態１の本システムにおいては、追加処理として、顧客が購入した商品の画像をカード会社に送信しておく（ステップＳ３１）。カード会社での類似画像の検索を行いやすくするためである。

カード会社ではＳＮＳから利用明細要求を受信すると（ステップＳ２３）、そのユーザのカードの利用履歴があれば（ステップＳ２４：Ｙ）、投稿画像の類似画像を検索する（ステップＳ２６）。カードの利用履歴がなければ（ステップＳ２４：Ｎ）、その旨をＳＮＳに返信する（ステップＳ２５）。

ステップＳ２６の類似画像検索の結果、類似した商品画像があれば（ステップＳ２７：Ｎ）、その利用明細をＳＮＳに送信する（ステップＳ２８）。類似した商品画像がなければ（ステップＳ２７：Ｙ）、その旨をＳＮＳに返信する（ステップＳ２５）。

図７は、図６のステップＳ１１の投稿情報解析の処理フローを示す図である。この処理は、投稿記事の内容を解析し、解析結果に応じて適切な処理を行うものである。まず、ステップＳ１１０において、投稿画像に画像があるか否かをチェックする。画像がなければ（ステップＳ１１０：Ｎ）、なにもしない。画像があれば（ステップＳ１１０：Ｙ）、投稿記事の中に画像に付随するキーワード（ＫＷ）があるか否かをチェックする（ステップＳ１１１）。付随するキーワードとは、投稿記事全体の説明文やハッシュタグを、類似画像を検索するためのキーワードとして利用し、さらに画像ごとの説明文やハッシュタグがある場合はそれもキーワードとして利用する。

付随キーワードがまったくない場合は（ステップＳ１１１：Ｎ）、投稿画像のみを用いてウェブ全体から類似画像検索を行う（ステップＳ１１５）。画像のみで検索を行うのは、多数の画像が一度に投稿された場合に個々の画像に対して説明文がないような場合に特に有効である。また、付随キーワードがある場合は（ステップＳ１１１：Ｙ）、そのキーワードも用いてウェブ全体から類似画像の検索を行う（ステップＳ１１２）。いずれにしろ、投稿画像の特徴を画像解析して抽出し、投稿画像からキーワードを抽出するか、又は投稿画像から類似画像の検索を行い、その類似画像のキーワードを抽出する。最終的に抽出したキーワードは、投稿画像の商品カテゴリを特定するために用いられる。なお、商品カテゴリを特定できなかった場合は（ステップＳ１１３：Ｎ）、処理を終了する。

商品カテゴリを特定できた場合は（ステップＳ１１３：Ｙ）、その商品カテゴリを、第２段階の類似画像検索をカード会社に依頼するときの問い合わせ情報に追加する（ステップＳ１１４）。ステップＳ１１２やステップＳ１１５の類似画像検索に加えて、さらに第２段階の類似画像検索を行うのは、ウェブ全体の検索では十分な結果が得られないことがあるためである。もちろん、第１段階の検索だけで十分な結果が得られた場合は、第２段階の検索はスキップしてもよい。

図８は、本発明の第２の実施形態におけるシステムの処理フローを示す図である。実施形態２では、カード会社からの依頼によって加盟店側で類似画像の検索を行う。

ＳＮＳ側の処理は図６とまったく同じであるが、カード会社側の処理は、図６のステップＳ２６とステップＳ２７が、図８のステップＳ２６Ａの加盟店に商品画像の検索を依頼するステップと、ステップＳ２７Ａの加盟店からの商品画像の受信をチェックするステップに置き換わる。

加盟店側の処理は、カード会社から検索要求を受信し（ステップＳ３０Ａ）、商品画像ＤＢ２０４から類似画像を検索し（ステップＳ３１Ａ）、類似した商品画像があった場合（ステップＳ３２Ａ：Ｙ）は、その商品画像を送信（ステップＳ３３Ａ）するが、なかった場合は（ステップＳ３２Ａ：Ｎ）、そのまま処理を終了する。

図９は、本発明の第３の実施形態におけるシステムの処理フローを示す図である。実施形態３では、ユーザ端末が投稿する画像を選択し（ステップＳ００）、投稿画像の商品を購入したカードを選択する（ステップＳ０１）。そして、類似画像検索要求をカード会社に送信する（ステップＳ０２）。

カード会社側では、ユーザ端末からの検索要求を受信（ステップＳ２３Ａ）すると、そのユーザのカードの利用履歴をチェックし（ステップＳ２４）、利用履歴がなければ（ステップＳ２４：Ｎ）、その旨をユーザ端末に返信して（ステップＳ２５Ａ）処理を終わる。利用履歴があれば（ステップＳ２４：Ｙ）、類似画像検索を行い（ステップＳ２６）、類似した商品画像があった場合（ステップＳ２７：Ｙ）は、類似画像の商品情報をユーザ端末に送信（ステップＳ２８Ａ）する。このとき類似画像そのものも商品情報に含めて送信する。類似画像がなかった場合は、（ステップＳ２７：Ｎ）、その旨をユーザ端末に返信する（ステップＳ２５Ａ）。なお、カード会社側のバックグラウンド処理（ステップＳ２０～Ｓ２２）、加盟店側の処理（ステップＳ３０，３１）は図６と同じである。

ユーザ端末側で類似画像の商品情報を受信すると（ステップＳ０３）、類似画像の商品情報のうち、あらかじめ定められた所定情報に該当する情報を記事に付加する（ステップＳ０４）。そしてその記事をＳＮＳに投稿する（ステップＳ０５）。このと受信した類似画像の商品情報が本当に投稿画像に合致したものか否かをユーザに判断させるステップを加えてもよい。

（実施形態の効果）
本システムによれば、ユーザがＳＮＳ上に投稿した画像から、他のＳＮＳユーザがその画像の商品の情報を容易に取得可能にする仕組みを提供することができる。他のユーザは、投稿画像を見ただけでは分からない情報を得ることができる。また、投稿画像に類似する画像の検索である類似画像検索は、ＳＮＳ、カード会社、加盟店及びユーザ端末が様々な形態で連携して行うことができる。また、投稿画像に付加し、他のユーザに閲覧可能とする所定情報は、投稿者が自由に設定でき、公開するユーザの範囲も設定できる。また、ＳＮＳ側に投稿情報を解析する手段を備えることにより、投稿記事のパターンに合った処理を行うことができる。

なお、上記の実施形態では、画像が有体物である商品の画像であるとして説明したが、画像で特定できる限り、すなわち、その画像を見れば特定のサービスを認識できる限り、（例えば、店舗の外観の画像など）無体物で商品すなわちサービスにも適用が可能である。

以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲に限定されないことは言うまでもない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。また、そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
なお、上記の実施形態では、本発明を物の発明として、各システムについて説明したが、本発明は、方法の発明、又は様々な手段としてコンピュータを機能させるコンピュータ・プログラム（ユーザ端末にインストールの専用のアプリケーション・プログラム）の発明としても捉えることもできる。

１０ ユーザ端末
１０Ａ 投稿者のユーザ端末
１０Ｂ 閲覧者のユーザ端末
１１ 利用カード記憶手段
１２ 撮像手段
１３ 類似画像検索要求手段
１４ 類似画像商品情報受信手段
１５ 投稿情報送信手段
１００ ＳＮＳシステム
１０１ 投稿情報受信手段
１０２ 投稿情報ＤＢ
１０３ 投稿情報解析手段
１０４ 利用明細要求手段
１０５ カード会社連携手段
１０６ 利用明細受信手段
１０７ 投稿情報送信手段
１０８ 登録カード受付手段
２００ カード会社システム
２０１ 利用情報取得手段
２０２ 利用情報ＤＢ
２０３ 商品画像取得手段
２０４ 商品画像ＤＢ
２０５ ＳＮＳ連携手段
２０６ 類似画像検索手段
２０７ 類似画像商品情報送信手段
２０８ 類似画像検索要求手段
２０９ 類似画像取得手段
２１０ 類似画像検索要求受付手段
３００ 加盟店システム
３０１ 利用情報送信手段
３０２ 商品画像情報ＤＢ
３０３ 商品画像送信手段
３０４ 類似画像検索手段
３０５ 類似画像送信手段

Claims (8)

1. 加盟店で扱う商品の商品画像を前記加盟店から取得し、前記取得した商品画像を商品画像ＤＢに格納する商品画像取得手段と、
   投稿者がＳＮＳシステムに投稿した画像である投稿画像を前記ＳＮＳシステムから受信するＳＮＳ連携手段と、
   前記商品画像ＤＢの中から前記投稿画像に類似する画像を検索する類似画像検索手段と、
   前記類似画像検索手段によって前記投稿画像に類似する画像が見つかったときに、前記投稿者の前記加盟店でのカードの利用明細を前記ＳＮＳシステムに送信する利用明細送信手段と、
   を備えることを特徴とするカード会社システム。
2. 投稿者がＳＮＳシステムに投稿した画像である投稿画像を前記ＳＮＳシステムから受信するＳＮＳ連携手段と、
   前記投稿画像を加盟店に送信し、前記投稿画像に類似する商品画像の検索要求をする類似画像検索要求手段と、
   前記加盟店において前記投稿画像に類似する画像が見つかったときに、前記投稿者の前記加盟店でのカードの利用明細を前記ＳＮＳシステムに送信する利用明細送信手段と、
   を備えることを特徴とするカード会社システム。
3. 加盟店で扱う商品の商品画像を前記加盟店から取得し、前記取得した商品画像を商品画像ＤＢに格納する商品画像取得手段と、
   投稿者がＳＮＳシステムに投稿する画像である投稿画像に類似する画像の検索要求を前記投稿者のユーザ端末から受け付ける類似画像検索要求受付手段と、
   前記商品画像ＤＢの中から前記投稿画像に類似する画像を検索する類似画像検索手段と、
   前記投稿画像に類似する画像が見つかったときに、前記投稿者の前記加盟店でのカードの利用明細を前記ユーザ端末に送信する利用明細送信手段と、
   を備えることを特徴とするカード会社システム。
4. ＳＮＳシステムへの投稿者が所持する端末のプログラムであって、
   前記投稿者が利用するカードの情報を記憶する利用カード記憶手段、
   前記ＳＮＳシステムに投稿する投稿画像に類似する画像の検索を要求する類似画像検索要求をカード会社システムに送信する類似画像検索要求手段、
   前記類似する画像が見つかったときに、前記投稿者のカードの利用明細を前記カード会社システムから受信する利用明細受信手段、
   前記利用明細の中の所定情報を前記投稿画像に付加して送信する投稿情報送信手段、
   として前記端末を機能させることを特徴とするプログラム。
5. ＳＮＳシステムの投稿者が商品の購入に使用するカードの登録を受け付ける登録カード受付手段と、
   前記投稿者から投稿情報を受信する投稿情報受信手段と、
   前記投稿情報の内容を解析する投稿情報解析手段と、
   前記投稿情報の含まれる投稿画像を前記カードのカード会社システムに送信し、前記投稿画像に類似する画像が見つかったときに、前記カードの利用明細を要求する利用明細要求手段と、
   前記利用明細を前記カード会社システムから受信し、前記利用明細から所定情報を前記投稿画像に付加する利用明細受信手段と、
   を備えることを特徴とするＳＮＳシステム。
6. 前記所定情報は、前記カードの加盟店で前記投稿者が購入した商品の名称、購入金額、前記加盟店の名称、場所情報のうち少なくとも一つを含むことを特徴とする請求項５に記載のＳＮＳシステム。
7. 前記投稿情報解析手段は、前記投稿画像に付随するキーワードがない場合には、前記投稿画像のみを用いてウェブ全体から類似画像検索を行い、前記投稿画像に付随するキーワードがある場合には、前記投稿画像と前記キーワードを用いてウェブ全体から類似画像検索を行い、前記投稿画像の商品カテゴリを特定することを特徴とする請求項５又は６に記載のＳＮＳシステム。
8. カード会社のシステムが実行する方法であって、
   加盟店で扱う商品の商品画像を前記加盟店から取得し、前記取得した商品画像を商品画像ＤＢに格納するステップと、
   投稿者がＳＮＳシステムに投稿した画像である投稿画像を前記ＳＮＳシステムから受信するステップと、
   前記商品画像ＤＢの中から前記投稿画像に類似する画像を検索するステップと、
   前記検索するステップで前記投稿画像に類似する画像が見つかったときに、前記投稿者の前記加盟店でのカードの利用明細を前記ＳＮＳシステムに送信するステップと、
   をコンピュータに実行させることを特徴とする方法。

Images