JP7009769B2 - 推奨生成方法、プログラム、及びサーバ装置 - Google Patents

推奨生成方法、プログラム、及びサーバ装置 Download PDF

Info

Publication number
JP7009769B2
JP7009769B2 JP2017078379A JP2017078379A JP7009769B2 JP 7009769 B2 JP7009769 B2 JP 7009769B2 JP 2017078379 A JP2017078379 A JP 2017078379A JP 2017078379 A JP2017078379 A JP 2017078379A JP 7009769 B2 JP7009769 B2 JP 7009769B2
Authority
JP
Japan
Prior art keywords
user
visual content
visual
similarity
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017078379A
Other languages
English (en)
Other versions
JP2018018504A (ja
Inventor
ジョシ ディラジ
クーパー マシュー
チェン フランシーン
インイン チェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Publication of JP2018018504A publication Critical patent/JP2018018504A/ja
Application granted granted Critical
Publication of JP7009769B2 publication Critical patent/JP7009769B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/107—Computer-aided management of electronic mailing [e-mailing]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0281—Customer communication at a business location, e.g. providing product or service information, consulting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0282—Rating or review of business operators or products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Primary Health Care (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Computational Linguistics (AREA)

Description

本開示は、推奨生成方法、プログラム、及びサーバ装置に関する。
関連技術のシステムにおいて、ソーシャルメディア投稿（例えば、ツィッター、フェイスブック、インスタグラムなど）は、投稿に関連付けられている推奨をユーザに提供するために使用される場合がある。推奨は、ソーシャルグループ、製品、書籍、映画または訪問する施設の形態であってよい。関連技術の推奨システムは、ユーザに対する推奨を協働してフィルタリングする形態を含む場合もある。協働フィルタリングは、ユーザが過去にアイテムをどのように順位付けまたは選択したかに基づいて、及び、他のユーザが同様にアイテムをどのように順位付けまたは選択したか、に基づいて、ユーザに対する推奨を行うプロセスである。例えば、関連技術の推奨システムは、閲覧傾向またはソーシャルメディア投稿に基づいて、ユーザＡがアクション映画及びＳＦ映画を好きである、と判定することができる。また、推奨システムは、他のユーザ（例えば、ユーザＢ及びユーザＣ）も、ユーザＡと同様に、アクション映画及びＳＦ映画が好きである、と判定することができる。推奨システムが、他のユーザ（例えば、ユーザＢ及びユーザＣ）が新しい映画（例えば、映画Ｘ）が好きであることを判定すると、関連技術の推奨システムは、ユーザＡに対して映画Ｘを推奨することができる。
しかしながら、関連技術は、「コールドスタート」問題を有し、新規ユーザ（例えば、推奨を行うシステムにとって、まだ十分多くの映画を見ていないユーザ、または、十分多くの製品を購入していないユーザ）に対して、システムは、適切な推奨を示唆することができない。関連技術のいくつかのアイテム属性ベース推奨システムは、アイテムからコンテンツ特徴（例えば、監督、出演俳優、著者、書籍のジャンル、など）を抽出することで、この問題に対処する。さらに、関連技術のいくつかは、協働フィルタリングを増強するために、ユーザから取得される副次的な情報（年齢、性別、友人、など）を使用することができる。しかしながら、今日のソーシャルメディアネットワークで利用可能な追加的なメディアを見ることで、新規ユーザに対する推奨を改善する必要がある。
ツァオ（Cao）ら、「ツィートに対するクラウドソース施設の推定（Inferring Crowd-Sourced Venues for Tweets）」、２０１５年ビッグデータに関するＩＥＥＥ国際会議（IEEE International Conference on Big Data 2015）、２０１５年１０月２９日～１１月１日 ハノン（Hannon）ら、「コンテンツ及び協働フィルタリングアプローチを使用したフォローするツィッターユーザの推奨（Recommending Twitter（登録商標） Users to Follow using Content and Collaborative Filtering Approaches）」、２０１０年推奨システムに関する第４回ＡＣＭ会議抄録（Proceedings of the fourth ACM conference on Recommender systems 2010）、スペイン、２０１０年９月 シ（Shi）ら、「ユーザアイテム行列を越える協働フィルタリング：技術の現状調査及び将来の挑戦（Collaborative Filtering beyond the User-Item Matrix: A Survey of the State of the Art and Future Challenges）」、ＡＣＭコンピュータ調査（ACM Computer Survey）、２０１４年４月
本発明は、新規ユーザに対して適切な推奨を示唆することを目的とする。
第１の態様は、推奨生成方法であって、コンピュータが、ソーシャルメディアプラットフォームに投稿されたコンテンツと関連付けられている視覚コンテンツから概念情報を抽出し、抽出された前記概念情報に基づいて少なくとも１つの嗜好を検出し、検出された少なくとも１つの前記嗜好に基づいて行列を生成し、第１ユーザと関連付けられている少なくとも１つの嗜好と第２ユーザと関連付けられている少なくとも１つの嗜好との間の第１類似度を、生成した前記行列に基づいて算出し、前記行列及び算出された前記第１類似度に基づいて推奨を生成する。
第２の態様は、第１の態様の方法であって、前記ソーシャルメディアプラットフォームに投稿された前記コンテンツと関連付けられている前記視覚コンテンツと関連付けられているメタデータを抽出し、前記第１ユーザと前記第２ユーザとの間の第２類似度を、前記視覚コンテンツに関連付けられている抽出された前記メタデータに基づいて算出し、前記推奨は、前記行列、前記第１類似度及び前記第２類似度に基づいて生成される。
第３の態様は、第２の態様の方法であって、前記視覚コンテンツに関連付けられているメタデータを抽出することは、前記視覚コンテンツに関連付けられている少なくとも１つのタグを検出することを含む。
第４の態様は、第２の態様の方法であって、前記視覚コンテンツに関連付けられているメタデータを抽出することは、前記視覚コンテンツの取得に関連付けられているＧＰＳ（Global Position System）情報を検出することを含む。
第５の態様は、第１～第４の何れかの態様の方法であって、前記概念情報を抽出することは、前記ソーシャルメディアプラットフォームに投稿されたコンテンツと関連付けられている前記視覚コンテンツの視覚特徴を検出することを含む。
第６の態様は、第５の態様の方法であって、前記視覚コンテンツの視覚特徴を検出することは、前記視覚コンテンツに画像認識プロセスを適用することを含む。
第７の態様は、第６の態様の方法であって、前記視覚コンテンツに画像認識プロセスを適用することは、前記視覚コンテンツに機械学習を適用することを含む。
第８の態様は、第１～第７の何れかの態様の方法であって、前記視覚コンテンツは、写真、ビデオ、線画及びイラストの少なくとも１つを含む。
第９の態様は、第１～第８の何れかの態様の方法であって、前記第２ユーザは、前記第１ユーザに類似する少なくとも１つの嗜好を有する少なくとも１人の他のユーザである。
第１０の態様は、第１～第８の何れかの態様の方法であって、前記第２ユーザは、前記第１ユーザの近傍に存在する少なくとも１人の他のユーザである。
第１１の態様は、プログラムであって、ソーシャルメディアプラットフォームに投稿されたコンテンツと関連付けられている視覚コンテンツから概念情報を抽出し、抽出された前記概念情報に基づいて少なくとも１つの嗜好を検出し、検出された少なくとも１つの前記嗜好に基づいて行列を生成し、第１ユーザと関連付けられている少なくとも１つの嗜好と第２ユーザと関連付けられている少なくとも１つの嗜好との間の第１類似度を、生成された前記行列に基づいて算出し、前記行列及び算出された前記第１類似度に基づいて推奨を生成する、推奨を生成する処理をコンピュータに実行させる。
第１２の態様は、第１１の態様のプログラムであって、前記ソーシャルメディアプラットフォームに投稿された前記コンテンツと関連付けられている前記視覚コンテンツと関連付けられているメタデータを抽出し、前記第１ユーザと前記第２ユーザとの間の第２類似度を、前記視覚コンテンツと関連付けられている、抽出された前記メタデータに基づいて算出し、前記行列、前記第１類似度及び前記第２類似度に基づいて、前記推奨を生成する。
第１３の態様は第１２の態様のプログラムであって、前記視覚コンテンツと関連付けられているメタデータを抽出することは、前記視覚コンテンツと関連付けられている少なくとも１つのタグを検出する、ことを含む。
第１４の態様は、第１１～第１３の何れかの態様のプログラムであって、前記概念情報を抽出することは、前記ソーシャルメディアプラットフォームに投稿された前記コンテンツと関連付けられている前記視覚コンテンツの視覚特徴を検出する、ことを含む。
第１５の態様は、第１４の態様のプログラムであって、前記視覚コンテンツの視覚特徴を検出することは、前記視覚コンテンツに画像認識プロセスを適用することを含む。
第１６の態様は、第１５の態様のプログラムであって、前記視覚コンテンツに画像認識プロセスを適用することは、前記視覚コンテンツに機械学習を適用することを含む。
第１７の態様は、サーバ装置であって、ソーシャルメディアプラットフォームに投稿されたコンテンツを記憶するメモリと、処理を実行するプロセッサと、を含み、前記処理は、ソーシャルメディアプラットフォームに投稿されたコンテンツと関連付けられている視覚コンテンツから概念情報を抽出し、前記概念情報に基づいて少なくとも１つの嗜好を検出し、検出された少なくとも１つの嗜好に基づいて行列を生成し、第１ユーザと関連付けられている少なくとも１つの嗜好と第２ユーザと関連付けられている少なくとも１つの嗜好との間の第１類似度を、生成された前記行列に基いて算出し、前記行列及び算出された前記第１類似度に基づいて推奨を生成する、ことを含む。
第１８の態様は、第１７の態様のサーバ装置であって、前記処理は、前記ソーシャルメディアプラットフォームに投稿された前記コンテンツと関連付けられている前記視覚コンテンツと関連付けられているメタデータを抽出し、前記第１ユーザと前記第２ユーザとの間の第２類似度を、前記視覚コンテンツと関連付けられている、抽出された前記メタデータに基づいて算出する、ことをさらに含み、前記行列、前記第１類似度及び前記第２類似度に基づいて、前記推奨を生成する。
第１９の態様は、第１８の態様のサーバ装置であって、前記視覚コンテンツと関連付けられているメタデータを抽出することは、前記視覚コンテンツと関連付けられている少なくとも１つのタグを検出することを含む。
第２０の態様は、第１７～第１９の何れかの態様のサーバ装置であって、前記概念情報を抽出することは、前記ソーシャルメディアプラットフォームに投稿された前記コンテンツと関連付けられている前記視覚コンテンツの視覚特徴を検出することを含む。
第２１の態様は、第２０の態様のサーバ装置であって、前記視覚コンテンツの視覚特徴を検出することは、前記視覚コンテンツに画像認識プロセスを適用することを含む。
第２２の態様は、第２１の態様のサーバ装置であって、前記視覚コンテンツに画像認識プロセスを適用することは、前記視覚コンテンツに機械学習を適用することを含む。
本発明は、新規ユーザに対して適切な推奨を示唆することを可能とする。
本開示の例示的な実装による推奨生成プロセスのフローチャートを示す。 本開示の例示的な実装による視覚コンテンツからの概念特徴抽出を示す。 本開示の例示的な実装による概念特徴ベース関心抽出を示す。 本開示の例示的な実装と組み合わせて使用され得るユーザアイテム行列を使用する協働フィルタリングを示す。 本開示の異なる例示的な実装のスピアマン相関係数のヒストグラムを示す。 本開示の例示的な実装によるソーシャルメディア環境を示す。 例示的な実装のいくつかでの使用に適した例示的なコンピュータデバイスを含む例示的な計算処理環境を示す。
以下の詳細な説明は、詳細な図面及び本開示の例示的な実装を提供する。複数の図面に出現する冗長な構成要素の参照符号及び説明は、煩雑さを避けるために省略する。使用される用語は例示であり、限定を意図していない。例えば、用語「自動」は、全自動または、本開示の所望される実装に応じた実装のある局面でユーザまたはオペレータの制御が関与する半自動を含む。
現代のソーシャルメディア環境において、ユーザのソーシャルメディア識別子（例えば、ハンドルネーム、ユーザネームまたは他の識別情報）を識別し、アクセスすることを可能とすることは、推奨システムにとって一般的な機能ではない。多くの、視覚コンテンツの投稿を行うためのソーシャルネットワークとして、視覚中心専用ソーシャルネットワーク（例えば、インスタグラム、スナップチャット、タンブラー、パス）が、最近開発されている。これらの視覚中心ソーシャルネットワークの成長は、従来のソーシャルネットワーク（例えば、フェイスブックなど）からの移行を示している、と主張するオブザーバも存在する。また、概ねテキストベース（例えば、マイクロブログサービスであるツィッター）で開始されたソーシャルネットワークは、画像及びビデオツィートなど視覚コンテンツをサポートするように遷移してきている。視覚コンテンツは、シンプルなテキストベース投稿より極めて多くの情報を表すことができる（例えば、写真、ビデオ及び他の視覚コンテンツはいくつかのワードと同様の価値を有する。（しかし、１，０００ワードと同様の価値は有さない。））また、スマートフォンの使用の増大は、写真、ビデオ及び他の視覚コンテンツの投稿を極めて容易にした。場合によっては、タイプ入力と比較しても有利である。
さらに、写真、ビデオ及び他の視覚コンテンツは、ユーザの嗜好または関心と肯定的な関連を有し、あるいは、ユーザの嗜好または関心を表す。即ち、写真、ビデオ及び他の視覚コンテンツは、ユーザの関心または嗜好に関する有用な情報を表す。本開示の例示的な実装において、推奨システムは、ソーシャルメディア視覚コンテンツ（例えば、写真、ビデオ、線画、または、イラストからのコンテンツ）を分析し、推奨プロセスに視覚コンテンツを含ませる。また、例示的な実装のいくつかにおいて、投稿視覚コンテンツに関連付けられていることがよくあるタグ、ラベルまたはキャプションコンテンツは、投稿視覚コンテンツとユーザの真の関心との間の関係を改善するために使用されてもよい。例示的な実装のいくつかにおいて、ユーザの写真、ビデオ、線画などの視覚コンテンツ及びこれらの視覚コンテンツに関連付けられているタグまたはラベルがユーザコンテンツベース推奨に使用されてもよい。
図１は、本開示の例示的な実装による推奨を行うプロセス１００のフローチャートを例示する。プロセス１００において、例示的な実装によるシステムは、まず、１０５で、１つもしくは複数のソーシャルメディアアカウントからユーザに関連付けられている視覚コンテンツ（例えば、写真、ビデオ、線画、イラストなど）を取得する。例示的な実装のいくつかにおいて、取得される視覚コンテンツは、ユーザが共有するパブリックに利用可能な視覚コンテンツであってよい。他の例示的な実装において、取得されるコンテンツは、ユーザがシステムにアクセスすることを許可するプライベートな視覚コンテンツであってよい。ソーシャルメディアアカウントの種類は特に限定されない。また、視覚コンテンツと関連付けられているソーシャルメディアアカウントの何れかの種類を含んでいてもよい。例えば、ソーシャルメディアアカウントは、マイクロブログプラットフォーム（例えば、ツィッター、インスタグラム、テンセントウェイボー）と関連付けられているアカウントであってよい。
視覚コンテンツを取得した後、１１０で、視覚コンテンツからコンテンツの概念を表す情報（以下、概念情報）を抽出する。例示的な実装のいくつかにおいて、視覚コンテンツから視覚的な特徴を抽出するための画像認識または機械学習技術を使用して、視覚コンテンツから概念情報を抽出してもよい。これらの例示的な実装のいくつかにおいて、ディープラーニングベースの画像分類及び注釈フレームワークを使用して、ユーザの画像の概念を検出し、抽出してもよい。例えば、カフェなどのディープラーニングコンピュータビジョンプラットフォームまたは他の同様のプラットフォームを使用して、視覚コンテンツの１つである画像から概念を抽出してもよい。一般的なディープラーニングシステムはＣＮＮ（convolutional neural network）モデルを使用して、（画像データを使用して）異なる概念の分類を構築する。新しい画像が提供されると、最終概念ラベル付加に使用される分類スコアを生成する異なる分類子と比較される。図２は、本開示の例示的な実装による視覚概念からの概念特徴抽出（例えば、ディープラーニングコンピュータビジョンプラットフォームを使用して例示的な画像から抽出され得る概念クラス及び対応するスコア）の例を示す。
抽出した概念情報（例えば、概念クラス及び対応するスコア）に基づいて、１１５で、ユーザの関心を検出する。例示的な実装のいくつかにおいて、１２０で、抽出した概念クラス及びスコアに基づいて、（概念分類スコアとして）異なる視覚概念の分布を符号化するユーザ関心特徴ベクトル行列を、ユーザの全画像にわたる平均スコアを使用して算出してもよい。他の何れかの情報が存在しない場合、ユーザの全画像にわたる平均スコアを計算することは、ユーザの関心を合理的に推定する。例えば、犬の写真を多く撮影するユーザは、犬に関心を有している可能性が高い。同じユーザは、ソーシャルメディアコレクションに犬以外の写真を有しているかもしれない。しかしながら、平均化操作はフィルタとして機能し、視覚的に目立つ概念だけが（全写真にわたる）適切な平均スコアを享受する。
例示的な実装のいくつかにおいて、複数のユーザ関心特徴ベクトル行列は、各ユーザと関連付けられている視覚コンテンツに基づいて、ソーシャルメディアプラットフォームの各ユーザについて生成されているユーザ関心特徴ベクトル行列によって生成される。図３は、本開示の例示的な実装による概念特徴ベース関心抽出を例示する。
生成された関心ベクトル行列に基づいて、１２５で、ユーザ類似度を算出する。詳細には、ユーザｘに対して推奨される可能性があるアイテム（ｉ）（例えば、製品、映画、ＴＶショー、ソーシャルグループなど）のランク（ｒ）は、式（１）を使用して、生成された関心行列に基づいて算出されてもよい。
Figure 0007009769000001
 （１）
Ｎｘは、ユーザｘがアイテムをランク付けしたのと同様に、同じアイテムをランク付けする、ユーザｘの近傍のユーザ（例えば、ユーザｙ）を表し、ｒｙｉは、他のユーザ（例えば、ユーザｙ）によって割り当てられたアイテム（ｉ）のランクを表す。例示的な実装のいくつかにおいて、他のユーザ（例えば、ユーザｙ）によるランクは、他のユーザの各々に関連付けられている視覚コンテンツに基づいて、他のユーザ（例えば、ｙ）について生成される関心ベクトル行列に基づいて決定されてもよい。
式（１）において、Ｓｘｙは、視覚コンテンツから抽出される概念情報に基づく、ユーザｘとユーザｙとの間の関心の類似度を表す。例示的な実装のいくつかにおいて、ユーザ特徴ベクトルの類似度Ｓｘｙを算出するために、適切な方法として、コサイン類似度を使用してもよい。（従来のユーザアイテム行列を使用して）ユーザによるアイテムの明示的なランク付けまたはスコア付けに基づいて協働してフィルタリングする関連技術で使用される低ランク表現を使用して類似度Ｓｘｙを算出してもよい。しかしながら、本開示の例示的な実装において、ユーザによる明示的なランクは必要ではない。１２５で、ユーザｘの関心を識別するために、生成された関心ベクトル行列が使用されるためである。生成された関心ベクトル行列を使用することで、極めて疎なユーザアイテム行列を有する新規ユーザと関連するコールドスタート問題に対処することができる。
さらに、必須ではないが、例示的な実装のいくつかにおいて、ユーザに関連付けられている視覚コンテンツに関連付けられているメタデータを、１３０で、抽出してもよい。例えば、ソーシャルメディア視覚コンテンツは、視覚コンテンツのオーナー／ユーザ、サードパーティのユーザの何れかによって、またはソーシャルメディアプラットフォームによって自動的に、割り当てられるタグまたはラベルを含んでもよい。例えば、ユーザ（コンテンツオーナーまたはサードパーティの何れか）またはソーシャルメディアプラットフォームはキャプション、タグまたは他のメタデータを、抽出される視覚コンテンツに割り当ててもよい。
例示的な実装のいくつかにおいて、抽出されるメタデータは、ＧＰＳ（Global Positioning System）情報、ジオタグ情報、または、視覚コンテンツに関連付けられている他の位置表示情報を抽出してもよい。さらに、ソーシャルメディアコンテンツの増加する割合が（未処理ＧＰＳデータの形態で、または異なる施設でのチェックインとして）ジオタグとして付されてもよい。また、多くのチェックイン位置が、チェックイン位置と関連付けられているビジネスカテゴリ情報を含んでいてもよい。この情報は、抽出されるメタデータに組み込まれていてもよい。例えば、位置特定特徴を抽出し、ユーザが訪問したまたはチェックインした異なるビジネス施設カテゴリの割合を含むベクトルに組み込まれ、推奨を行うために使用してもよい。また、例示的な実装のいくつかにおいて、明示的なチェックインを有さないソーシャルメディア投稿の潜在的な施設を視覚コンテンツと関連付けられている他のメタデータから（例えば、暗示的に）抽出してもよい。
抽出したメタデータは、標準情報検索ｔｆ－ｉｄｆ（term frequency inverse document frequency）を使用する方法、または何れか他のテキスト特徴抽出方法を使用して、ユーザのテキスト特徴として符号化されてもよい。例えば、各ユーザの写真からのタグ、キャプションまたはラベルを、合成ドキュメントに集積して、１３０で、タグ、キャプションまたはラベルから抽出されるワードの語彙にわたってｔｆ－ｉｄｆベーススコアベクトルとしてテキスト関心記号を構築してもよい。
また、構築されたｔｆ－ｉｄｆベーススコアベクトルは、１３５で、抽出されたメタデータに基づいて、ユーザ類似度を算出するために使用されてもよいが、必須ではない。ユーザｘに対して推奨される可能性があるアイテム（ｉ）（例えば、製品、映画、ＴＶショー、ソーシャルグループなど）のランク（ｒ）が、（以下に再度示す）式（１）を使用して、構築されたｔｆ－ｉｄｆベーススコアベクトルに基づいて算出されてもよい。
Figure 0007009769000002
 （１）
Ｎｘは、ユーザｘがアイテムをランク付けするのと同様に、同じアイテムをランク付けするユーザｘの近傍（例えば、ユーザｙ）を表し、ｒｙｉは他のユーザ（例えば、ユーザｙ）によって割り当てられたアイテム（ｉ）のランクを表す。１３５で、（１）式のＳｘｙは、視覚コンテンツと関連付けられているメタデータから抽出される、構築されたｔｆ－ｉｄｆベーススコアベクトルを使用して計算されるユーザｘとｙとの間の関心類似度を表す。例示的な実装のいくつかにおいて、コサイン類似度をユーザ特徴ベクトルの類似度Ｓｘｙを算出する方法として使用することができる。類似度Ｓｘｙを、低ランク表現手法を使用して計算してもよい。
したがって、本開示の例示的な実装のいくつかにおいて、２つの類似度行列は、独立して算出され得る（例えば、１つの類似度行列は視覚コンテンツの概念情報に基づいて計算され、１つの類似度行列はメタデータから抽出される構築されたｔｆ－ｉｄｆベーススコアベクトルに基づいて計算される）。例示的な実装のいくつかにおいて、これらの類似度行列は、次に、１３５で、信頼度ベース一次結合アプローチもしくは何れか他の方法を使用して、単一の行列に結合され得る。
１４０で、推奨は、（メタデータが抽出されない例示的な実装において）１３５で生成された結合行列、もしくは、１２５で生成された関心行列ベースユーザ類似度行列を使用して計算されるランクに基づいて生成され得る。詳細には、高ランクとなるアイテムが推奨され、低ランクとなるアイテムは推奨されず廃棄されてもよい。１４０で推奨が行われると、プロセス１００は終了してもよい。
例示的な実装のいくつかにおいて、図１の推奨プロセス１００は、（例えば、関連技術のユーザアイテム行列の特定の行における十分なエントリがない新規ユーザについて）何れか他の推奨フレームワークと独立に使用されてもよい。他の例示的な実装において、図１の推奨プロセス１００は、（図４に例示されるような）関連技術の協働フィルタリングユーザ対ユーザ類似度行列方法と共に使用されてもよい。
関連技術の協働フィルタリングシステムは、暗示的なランクから明示的なランク、または、ユーザによる選択履歴に基づいて、ユーザの関心のモデル化を試みる。一方、推奨プロセス１００は、ユーザコンテンツ類似度に基づいてユーザ関心をモデル化する。これらの別個の類似度モデル化プロセスは、例示的な実装のいくつかにおいて、相互に補われてもよい。
図２は、本開示の例示的な実装による視覚コンテンツ２００からの概念特徴抽出を例示する。図２に例示されている概念特徴抽出は、図１に例示されているプロセス１００などの推奨プロセスにおいて実行されてもよい。例示されているように、視覚コンテンツ２００は、ユーザによってソーシャルメディアプラットフォームに投稿され、共有されている４つの写真２０５～２２０を含む。しかしながら、視覚コンテンツ２００は、写真２０５～２２０に限定されず、ビデオ、線図、イラストまたはいずれか他の視覚コンテンツを含むことができる。
写真２０５～２２０の各々から、視覚コンテンツ２００から視覚特徴を抽出する画像認識または機械学習技術を使用して、概念情報を抽出してもよい。例示的な実装のいくつかにおいて、ディープラーニングベース分類及び注釈フレームワークを使用して、ユーザの画像の概念を検出し抽出してもよい。例えば、カフェなどのディープラーニングコンピュータビジョンプラットフォームもしくは他の同様のプラットフォームを使用して、画像から概念を抽出してもよい。
例示されているように、いくつかの概念クラス２２５～２４０が写真２０５～２２０の各々から抽出され、対応するスコア２４５～２６０が概念クラス２２５～２４０の各々に割り当てられる。対応するスコア２４５～２６０は、識別された概念クラス２２５～２４０が視覚コンテンツ２００（例えば、写真２０５～２２０）に例示される概念に対応する可能性または信頼度を表す。例えば、概念クラス２２５（例えば、「コンバーチブル」、「ピックアップ（トラック）」、「ビーチワゴン」、「グリル（ラジエーター）」、「車輪」）を写真２０５から抽出し、概念クラス２２５に、ディープラーニングコンピュータビジョンプラットフォームによって対応するスコア２４５（例えば、「０．３６」、「０．２０」、「０．１９」、「０．１１」、「０．１０」）を割り当てる。また、概念クラス２３０（例えば、「ビール瓶」、「ワインボトル」、「ポップボトル」、「赤ワイン」、「ウィスキージャグ」）を写真２１０から抽出し、概念クラス２３０に、ディープラーニングコンピュータビジョンプラットフォームによって対応するスコア２５０（例えば、「０．６２」、「０．２６」、「０．０５」、「０．０３」、「０．０２」）を割り当てる。
また、概念クラス２３５（例えば、「巻貝」、「あかえい」、「電気えい」、「しゅもくざめ」、「包丁」）を写真２１５から抽出し、概念クラス２３５に、ディープラーニングコンピュータビジョンプラットフォームによって対応するスコア２５５（例えば、「０．２７」、「０．２１」、「０．１８」、「０．１４」、「０．０３」）を割り当てる。また、概念クラス２４０（例えば、「ヨール」、「スクーナー」、「カタマラン」、「トリマラン」、「海賊船」）を写真２２０から抽出し、概念クラス２４０に、ディープラーニングコンピュータビジョンプラットフォームによって対応するスコア２６０（例えば、「０．７９」、「０．１１」、「０．０７」、「０．０２」、「０．００１」）を割り当てる。写真の各々に関連付けられている抽出した概念クラス２２５～２４０及び算出したスコア２４５～２６０を使用してユーザの関心を検出し、上記したように関心特徴ベクトル行列を生成することができる（例えば、図１の１１５及び１２０）。
図３は、本開示の例示的な実装による概念特徴ベース関心抽出を例示する。図３に例示されている概念特徴ベース関心抽出は、図１に例示されているプロセス１００などの推奨プロセスにおいて実行することができる。例示されているように、ユーザの視覚コンテンツ集合３０５を分析し、概念特徴を抽出する。上記したように、視覚コンテンツ集合３０５は、写真、ビデオ、線画、イラスト、または、何れか他の視覚コンテンツを含むことができる。
例示的な実装のいくつかにおいて、視覚コンテンツ集合３０５から視覚特徴を抽出する画像認識または機械学習技術を使用して、視覚コンテンツ集合３０５の各々のピースから概念特徴を抽出してもよい。例示的な実装のいくつかにおいて、ディープラーニングベース画像分類及び注釈フレームワークを使用して、ユーザの画像から概念を検出し、抽出することができる。例えば、カフェなどのディープラーニングコンピュータビジョンプラットフォーム、または他の同様のプラットフォームを使用して画像から概念を抽出してもよい。上記したように、抽出した概念は、写真の各々から抽出される概念クラス及び抽出した概念クラスに割り当てられた対応するスコアを含む。視覚コンテンツのピースの各々の概念クラス及び対応するスコアの全てを結合し、上記したように、ユーザ類似度を算出するために使用され得るユーザ関心特徴ベクトル行列３１０として視覚概念の分布を符号化してもよい（例えば、図１のプロセス１００）。
図４は、本開示の例示的な実装との組み合わせで使用され得るユーザアイテム行列４０５を使用する協働フィルタリングを例示する。例えば、ユーザアイテム行列４０５に基づく協働フィルタリングは、図１に例示されているプロセス１００などのユーザコンテンツから抽出される関心に基づいて推奨プロセスと組み合わせて使用されてもよい。例示されるように、ユーザアイテム行列４０５を使用して、ユーザトピック特徴ベクトル４１０を生成する。ユーザアイテム行列４０５は、異なるユーザが様々なアイテム（横軸）を数値的にどのようにランク付けするのか（縦軸）を表す。異なるユーザによるアイテムのランクは、ユーザの各々によって明示的にランク付けすることで決定されてもよいし、過去の選択（例えば、見る、読む、買う、など）に基づいて、ユーザによって決定されてもよい。ユーザトピック特徴ベクトル４１０は、ユーザアイテム行列４０５に行列因数分解を適用することで算出され得る。
［評価例］
様々な例示的な実装を評価するために、ソーシャルメディアのユーザの視覚コンテンツとユーザの関心との間の関係を分析する。約１２０万の写真を有する総数約２０００のユーザを分析する。写真の視覚コンテンツを、最先端のディープラーニングベース自動概念認識を使用して分析する。ユーザの各々について、集積された視覚概念シグネチャを算出する。写真に手動で適用されるユーザタグは、ユーザの各々についてｔｆ－ｉｄｆベースシグネチャを構築するために使用される。また、ユーザが属するソーシャルグループが、ユーザのソーシャル関心を表すために取得されてもよい。
様々な例示的な実装の視覚分析のユーティリティが、スピアマンランク相関係数を使用した基準ユーザ間類似度に対して有効とされる。図５は、本開示の例示的実装の間で算出されたスピアマンランク相関係数値のヒストグラム５００を例示する。ヒストグラム５００において、プロット５０５は、推奨を行うために、視覚コンテンツ特徴だけを使用して例示的実装のスピアマンランク相関係数値を例示する。プロット５１０は、推奨を行うために追加的に結合されるユーザタグ情報及び視覚情報を使用する、例示的な実装のスピアマンランク相関係数値を例示する。プロット５１５は、推奨を行うために増殖的に結合されるユーザタグ情報及び視覚コンテンツを使用する、例示的な実装のスピアマンランク相関係数値を例示する。プロット５２０は、推奨を行うために、ユーザタグ情報だけを使用する、例示的な実装のスピアマンランク相関係数値を例示する。
プロット５１５によって例示されるように、視覚及びタグベースを増殖的に結合することによって、より多くのユーザがスピアマンランク相関係数のより高い値を達成し、視覚及びタグコンテンツが単一のモダリティと比較してユーザの関心のモデル化を大幅に改善する。プロット５１５は、ユーザ写真とユーザ関心との相関を例示する。即ち、ここで説明するユーザ関連視覚コンテンツベース推奨アプローチはユーザ関心のモデル化を改善することができる。
［環境例］
図６は、例示的な実装のいくつかに適した例示的な環境６００を例示する。環境６００はデバイス６１０～６５５を含み、各々は、通信可能に、例えば、ネットワーク６６０（例えば、有線及び／または無線接続）を介して、少なくとも１つの他のデバイスに接続されている。いくつかのデバイス６３０は、１つもしくは複数のストレージデバイス６３５及び６５０に接続されていてもよい。
１つもしくは複数のデバイス６１０～６５５の例は、図７の計算処理デバイス７０５であってよい。デバイス６１０～６５５は、コンピュータ６１０（例えば、ラップトップ計算処理デバイス）、モバイルデバイス６１５（例えば、スマートフォンまたはタブレット）、テレビ６２０、乗り物に関連したデバイス６２５、サーバコンピュータ６３０、計算処理デバイス６４０～６４５、ストレージデバイス６３５及び６５０、及びウェアラブルデバイス６５５を含み得るが、これらに限定されない。
実装のいくつかにおいて、デバイス６１０～６２５及び６５５が、ユーザデバイス（例えば、ソーシャルメディアプラットフォームにアクセスし、写真、ビデオ、線画及びイラストなどの視覚コンテンツを投稿または共有するために、ユーザによって使用されるデバイス）であると看做されてもよい。デバイス６３０～６５０は、推奨システムと関連付けられ、投稿された視覚コンテンツからユーザ関心を抽出し、ユーザに推奨を提供してもよい。
図７は、例示的な実装のいくつかにおける使用に適した例示的な計算処理デバイス７０５による遠隔同期会議に使用され得る例示的な計算処理環境７００を例示する。計算処理環境７００の計算処理デバイス７０５は、１つもしくは複数の処理ユニット、コア、またはプロセッサ７１０、メモリ７１５（例えば、ＲＡＭ、ＲＯＭ、及び／または有機）、及び／またはＩ／Ｏインターフェイス７２５を含むことができ、これらは、情報を伝達する通信機構またはバス７３０に結合され得るか、計算処理デバイス７０５に埋め込まれ得る。
計算処理デバイス７０５は、入力／ユーザインターフェイス７３５及び出力デバイス／インターフェイス７４０と、通信可能に接続され得る。入力／ユーザインターフェイス７３５及び出力デバイス／インターフェイス７４０の一方または双方は有線インターフェイスであっても無線インターフェイスであってもよく、また、取り外し可能であってよい。入力／ユーザインターフェイス７３５は、入力を提供するために使用され得る物理的な、または仮想的なデバイス、コンポーネント、センサ、またはインターフェイス（例えば、ボタン、タッチスクリーンインターフェイス、キーボード、ポインティング／カーソルコントロール、マイクロフォン、カメラ、点字機器、モーションセンサ、オプティカルリーダーなど）の何れを含んでいてもよい。出力デバイス／インターフェイス７４０は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカ、点字機器などを含んでいてもよい。例示的な実装のいくつかにおいて、入力／ユーザインターフェイス７３５及び出力デバイス／インターフェイス７４０は計算処理デバイス７０５に埋め込まれていてもよいし、物理的に接続されていてもよい。他の例示的な実装において、他の計算処理デバイスが、計算処理デバイス７０５の入力／ユーザインターフェイス７３５及び出力デバイス／インターフェイス７４０の機能を提供してもよいし、計算処理デバイス７０５の入力／ユーザインターフェイス７３５及び出力デバイス／インターフェイス７４０として機能してもよい。
計算処理デバイス７０５の例は、高機能モバイルデバイス（例えば、スマートフォン、乗り物及び他の機械のデバイス、人間または動物によって搬送されるデバイスなど）、モバイルデバイス（例えば、タブレット、ノートブック、ラップトップ、パーソナルコンピュータ、ポータブルテレビ、ラジオなど）、及びモバイル用ではないデバイス（例えば、デスクトップコンピュータ、サーバデバイス、他のコンピュータ、情報キオスク、１つもしくは複数のプロセッサを埋め込んだ、及び／または１つもしくは複数のプロセッサに接続されたテレビ、ラジオなど）を含み得るが、これらに限定されない。
計算処理デバイス７０５は、同様のまたは異なる構成の１つもしくは複数の計算処理デバイスを含む、任意の数のネットワークコンポーネント、デバイス、及びシステムと通信する外部ストレージ７４５及びネットワーク７５０と通信可能に（例えば、Ｉ／Ｏインターフェイス７２５を介して）接続されていてもよい。計算処理デバイス７０５または接続された計算処理デバイスの何れかは、サーバ、クライアント、シンサーバ、汎用機械、特定用途機械、または他のラベルを有するデバイスとして参照され、これらのサービスを提供し、これらとして機能してもよい。
Ｉ／Ｏインターフェイス７２５は、少なくとも計算処理環境７００において、全ての接続されたコンポーネント、デバイス及びネットワークと情報の伝達を行う、通信またはＩ／Ｏプロトコルもしくは標準（例えば、イーサネット（登録商標）、８０２．１１ｘ、ＵＳＢ（Universal System Bus）、ＷｉＭＡＸ、モデム、携帯電話ネットワークプロトコルなど）有線及び／または無線インターフェイスを含み得るが、これらに限定されない。ネットワーク７５０は、ネットワークの何れかまたはネットワークの組み合わせであってよい（例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、電話回線ネットワーク、携帯電話ネットワーク、衛星ネットワークなど）であってよい。
計算処理デバイス７０５は、一時的媒体及び非一時的媒体を含むコンピュータ使用可能媒体またはコンピュータ可読媒体を使用する、及び／または、これらを使用して通信を行うことができる。一時的媒体は伝送媒体（例えば、金属ケーブル、光ファイバ）、信号、搬送波などを含む。非一時的媒体は磁気媒体（例えば、ディスク及びテープ）、光媒体（例えば、ＣＤ ＲＯＭ、デジタルビデオディスク、ブルレイディスク）、ソリッドステート媒体（例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ソリッドステートストレージ）及び他の不揮発性ストレージまたはメモリを含む。
計算処理デバイス７０５は、例示的な計算処理環境のいくつかにおいて、技術、方法、アプリケーション、プロセス、またはコンピュータ実行可能命令を実装するために使用されてもよい。コンピュータ実行可能命令は、一時的媒体から取り出され、非一時的媒体に記憶され、非一時的媒体から取り出されてもよい。実行可能命令はプログラミング言語、スクリプト言語及びマシン言語（例えば、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、Ｖｉｓｕａｌ Ｂａｓｉｃ、Ｐｙｔｈｏｎ、Ｐｅａｒｌ、ＪａｖａＳｃｒｉｐｔ（登録商標）など）の何れかの１つもしくは複数で記述されてもよい。
プロセッサ７１０は、物理的または仮想的環境において、（図示されない）任意のオペレーティングシステム（ＯＳ）の下で実行可能である。論理ユニット７５５、ＡＰＩ（application programming interface）ユニット７６０、入力ユニット７６５、出力ユニット７７０、概念情報抽出ユニット７７５、関心行列生成ユニット７８０、相対類似度算出ユニット７８５、推奨ユニット７９０、及び、ＯＳ及び他の（図示されない）アプリケーションによって、異なるユニットが相互に通信を行うユニット間通信機構７９５を含む、１つもしくは複数のアプリケーションが展開され得る。例えば、概念情報抽出ユニット７７５、関心行列生成ユニット７８０、相対類似度算出ユニット７８５、及び推奨生成ユニット７９０は、図１に示される一つもしくは複数のプロセスを実装する。上記ユニット及び構成要素は、設計、機能、構成または実装を変更可能であり、上記説明に限定されない。
例示的な実装のいくつかにおいて、情報または実行命令がＡＰＩユニット７６０によって受信されると、１つもしくは複数の他のユニット（例えば、論理ユニット７５５、入力ユニット７６５、出力ユニット７７０、概念情報抽出ユニット７７５、関心行列生成ユニット７８０、相対類似度算出ユニット７８５、及び推奨生成ユニット７９０）に伝達され得る。例えば、概念情報抽出ユニット７７５は、視覚コンテンツから概念情報を抽出し、関心情報を生成するために、関心行列生成ユニット７８０に抽出した概念情報を送信することができる。また、生成された関心行列は、ユーザ類似度を算出するために使用されるように、類似度算出ユニット７８５に伝達されてもよい。また、推奨生成ユニット７９０は、類似度算出ユニット７８５から受信される算出されたユーザ類似度に基づいて推奨を生成することができる。
いくつかの例において、論理ユニット７５５は、上記例示的な実装のいくつかにおいて、ＡＰＩユニット７６０、入力ユニット７６５、出力ユニット７７０、概念情報抽出ユニット７７５、関心行列生成ユニット７８０、相対類似度算出ユニット７８５、及び推奨生成ユニット７９０によって提供されるサービスを指示し、ユニット間の情報の流れを制御するように構成されていてもよい。例えば、１つもしくは複数のプロセスまたは実装のフローは、論理ユニット７５５単独で制御されてもよいし、ＡＰＩユニット７６０との組み合わせによって制御されてもよい。
例示的な実装のいくつかについて上記したが、これらの例示的な実装は、当業者に対して主題を伝達するために提供されている。主題は、上記例示的な実装に限定されず、様々な形態で実装され得る。主題は、上記または特定の構成要素なしに実行可能であり、上記していないまたは他のもしくは異なる構成要素で実行可能である。主題から乖離することなく、これらの例示的な実装に、変更を行うことが可能である。
７０５ 計算処理デバイス
７１０ プロセッサ
７１５ メモリ
７５０ ネットワーク

Claims (19)

  1. コンピュータが、
    ソーシャルメディアプラットフォームに投稿されたコンテンツと関連付けられている視覚コンテンツから概念情報を抽出し、
    抽出された前記概念情報に基づいて少なくとも１つの嗜好を検出し、
    検出された少なくとも１つの前記嗜好に基づいてユーザの視覚概念の分布を符号化するユーザ関心ベクトル行列を生成し、
    第１ユーザと関連付けられている少なくとも１つの嗜好と第２ユーザと関連付けられている少なくとも１つの嗜好との間の第１類似度を、生成した前記第１ユーザのユーザ関心ベクトル行列と前記第２ユーザのユーザ関心ベクトル行列とに基づいて算出し、
    前記ソーシャルメディアプラットフォームに投稿された前記コンテンツと関連付けられている前記視覚コンテンツと関連付けられているメタデータを抽出し、
    前記第１ユーザと前記第２ユーザとの間の第２類似度を、前記視覚コンテンツに関連付けられている抽出された前記メタデータに基づいて算出し、
    前記第２ユーザに関連付けられている推奨アイテム、当該推奨アイテムのランク、前記第１類似度及び前記第２類似度に基づいて、前記推奨アイテムを前記第１ユーザに推奨する場合のランクを計算し、前記第１ユーザへの推奨を生成する、
    推奨生成方法。
  2. 前記視覚コンテンツに関連付けられているメタデータを抽出することは、前記視覚コンテンツに関連付けられている少なくとも１つのタグを検出することを含む、
    請求項１に記載の方法。
  3. 前記視覚コンテンツに関連付けられているメタデータを抽出することは、前記視覚コンテンツの取得に関連付けられているＧＰＳ（Global Position System）情報を検出することを含む、
    請求項１に記載の方法。
  4. 前記概念情報を抽出することは、前記ソーシャルメディアプラットフォームに投稿されたコンテンツと関連付けられている前記視覚コンテンツの視覚特徴を検出することを含む、
    請求項１～請求項３の何れか１項に記載の方法。
  5. 前記視覚コンテンツの視覚特徴を検出することは、前記視覚コンテンツに画像認識プロセスを適用することを含む、
    請求項４に記載の方法。
  6. 前記視覚コンテンツに画像認識プロセスを適用することは、前記視覚コンテンツに機械学習を適用することを含む、
    請求項５に記載の方法。
  7. 前記視覚コンテンツは、写真、ビデオ、線画及びイラストの少なくとも１つを含む、
    請求項１～請求項６の何れか１項に記載の方法。
  8. 前記第２ユーザは、前記第１ユーザに類似する少なくとも１つの嗜好を有する少なくとも１人の他のユーザである、請求項１～請求項７の何れか１項に記載の方法。
  9. 前記第２ユーザは、ユーザ関心ベクトル空間において前記第１ユーザの近傍に存在する少なくとも１人の他のユーザである、
    請求項１～請求項７の何れか１項に記載の方法。
  10. ソーシャルメディアプラットフォームに投稿されたコンテンツと関連付けられている視覚コンテンツから概念情報を抽出し、
    抽出された前記概念情報に基づいて少なくとも１つの嗜好を検出し、
    検出された少なくとも１つの前記嗜好に基づいてユーザの視覚概念の分布を符号化するユーザ関心ベクトル行列を生成し、
    第１ユーザと関連付けられている少なくとも１つの嗜好と第２ユーザと関連付けられている少なくとも１つの嗜好との間の第１類似度を、生成された前記第１ユーザのユーザ関心ベクトル行列と前記第２ユーザのユーザ関心ベクトル行列とに基づいて算出し、
    前記ソーシャルメディアプラットフォームに投稿された前記コンテンツと関連付けられている前記視覚コンテンツと関連付けられているメタデータを抽出し、
    前記第１ユーザと前記第２ユーザとの間の第２類似度を、前記視覚コンテンツと関連付けられている、抽出された前記メタデータに基づいて算出し、
    前記第２ユーザに関連付けられている推奨アイテム、当該推奨アイテムのランク、前記第１類似度及び前記第２類似度に基づいて、前記推奨アイテムを前記第１ユーザに推奨する場合のランクを計算し、前記第１ユーザへの推奨を生成する、
    処理をコンピュータに実行させるためのプログラム。
  11. 前記視覚コンテンツと関連付けられているメタデータを抽出することは、前記視覚コンテンツと関連付けられている少なくとも１つのタグを検出する、ことを含む、
    請求項１０に記載のプログラム。
  12. 前記概念情報を抽出することは、前記ソーシャルメディアプラットフォームに投稿された前記コンテンツと関連付けられている前記視覚コンテンツの視覚特徴を検出する、ことを含む、
    請求項１０または請求項１１に記載のプログラム。
  13. 前記視覚コンテンツの視覚特徴を検出することは、前記視覚コンテンツに画像認識プロセスを適用することを含む、請求項１２に記載のプログラム。
  14. 前記視覚コンテンツに画像認識プロセスを適用することは、前記視覚コンテンツに機械学習を適用することを含む、請求項１３に記載のプログラム。
  15. ソーシャルメディアプラットフォームに投稿されたコンテンツを記憶するメモリと、
    処理を実行するプロセッサと、
    を含み、
    前記処理は、
    ソーシャルメディアプラットフォームに投稿されたコンテンツと関連付けられている視覚コンテンツから概念情報を抽出し、
    前記概念情報に基づいて少なくとも１つの嗜好を検出し、
    検出された少なくとも１つの嗜好に基づいてユーザの視覚概念の分布を符号化するユーザ関心ベクトル行列を生成し、
    第１ユーザと関連付けられている少なくとも１つの嗜好と第２ユーザと関連付けられている少なくとも１つの嗜好との間の第１類似度を、生成された前記第１ユーザのユーザ関心ベクトル行列と前記第２ユーザのユーザ関心ベクトル行列とに基づいて算出し、
    前記ソーシャルメディアプラットフォームに投稿された前記コンテンツと関連付けられている前記視覚コンテンツと関連付けられているメタデータを抽出し、
    前記第１ユーザと前記第２ユーザとの間の第２類似度を、前記視覚コンテンツと関連付けられている、抽出された前記メタデータに基づいて算出し、
    前記第２ユーザに関連付けられている推奨アイテム、当該推奨アイテムのランク、前記第１類似度及び前記第２類似度に基づいて、前記推奨アイテムを前記第１ユーザに推奨する場合のランクを計算し、前記第１ユーザへの推奨を生成する、
    ことを含む、
    サーバ装置。
  16. 前記視覚コンテンツと関連付けられているメタデータを抽出することは、前記視覚コンテンツと関連付けられている少なくとも１つのタグを検出することを含む、
    請求項１５に記載のサーバ装置。
  17. 前記概念情報を抽出することは、前記ソーシャルメディアプラットフォームに投稿された前記コンテンツと関連付けられている前記視覚コンテンツの視覚特徴を検出することを含む、
    請求項１５または請求項１６に記載のサーバ装置。
  18. 前記視覚コンテンツの視覚特徴を検出することは、前記視覚コンテンツに画像認識プロセスを適用することを含む、
    請求項１７に記載のサーバ装置。
  19. 前記視覚コンテンツに画像認識プロセスを適用することは、前記視覚コンテンツに機械学習を適用することを含む、
    請求項１８に記載のサーバ装置。
JP2017078379A 2016-07-27 2017-04-11 推奨生成方法、プログラム、及びサーバ装置 Active JP7009769B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/220,833 US20180032882A1 (en) 2016-07-27 2016-07-27 Method and system for generating recommendations based on visual data and associated tags
US15/220,833 2016-07-27

Publications (2)

Publication Number Publication Date
JP2018018504A JP2018018504A (ja) 2018-02-01
JP7009769B2 true JP7009769B2 (ja) 2022-01-26

Family

ID=61012236

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017078379A Active JP7009769B2 (ja) 2016-07-27 2017-04-11 推奨生成方法、プログラム、及びサーバ装置

Country Status (2)

Country Link
US (1) US20180032882A1 (ja)
JP (1) JP7009769B2 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709826A (zh) * 2015-11-13 2017-05-24 湖南餐启科技有限公司 一种餐厅营业额预估方法及其装置
US10884769B2 (en) * 2018-02-17 2021-01-05 Adobe Inc. Photo-editing application recommendations
KR102061331B1 (ko) * 2018-03-22 2019-12-31 네이버 주식회사 아이템 추천 방법 및 시스템
US11036811B2 (en) 2018-03-16 2021-06-15 Adobe Inc. Categorical data transformation and clustering for machine learning using data repository systems
CN109271464B (zh) * 2018-08-20 2021-06-08 浙江大学 集成空间上下文的可视化排名系统
CN110209905A (zh) * 2018-12-20 2019-09-06 腾讯科技（深圳）有限公司 标签推荐方法、装置及可读介质
US10867338B2 (en) 2019-01-22 2020-12-15 Capital One Services, Llc Offering automobile recommendations from generic features learned from natural language inputs
CN110163716B (zh) * 2019-04-12 2022-03-11 淮阴工学院 一种基于卷积神经网络的红酒推荐方法
US10489474B1 (en) 2019-04-30 2019-11-26 Capital One Services, Llc Techniques to leverage machine learning for search engine optimization
US10565639B1 (en) 2019-05-02 2020-02-18 Capital One Services, Llc Techniques to facilitate online commerce by leveraging user activity
US11232110B2 (en) * 2019-08-23 2022-01-25 Capital One Services, Llc Natural language keyword tag extraction
US20210073891A1 (en) * 2019-09-05 2021-03-11 Home Depot Product Authority, Llc Complementary item recommendations based on multi-modal embeddings
US10796355B1 (en) 2019-12-27 2020-10-06 Capital One Services, Llc Personalized car recommendations based on customer web traffic
JP2021135722A (ja) * 2020-02-26 2021-09-13 国立大学法人 東京大学 情報処理装置、及びプログラム
CN111915409B (zh) * 2020-08-11 2023-08-04 深圳墨世科技有限公司 基于物品的物品推荐方法、装置、设备及存储介质
CN116228282B (zh) * 2023-05-09 2023-08-11 湖南惟客科技集团有限公司 一种用户数据倾向的智能商品分销方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009252177A (ja) 2008-04-10 2009-10-29 Ntt Docomo Inc レコメンド情報生成装置およびレコメンド情報生成方法
US20120297038A1 (en) 2011-05-16 2012-11-22 Microsoft Corporation Recommendations for Social Network Based on Low-Rank Matrix Recovery
US20130066964A1 (en) 2011-09-09 2013-03-14 Samuel Odio Composited Posting Interface for Social Networking System
JP2013235507A (ja) 2012-05-10 2013-11-21 Mynd Inc 情報処理方法、装置、コンピュータプログラムならびに記録媒体
WO2015094370A1 (en) 2013-12-20 2015-06-25 Intel Corporation Social circle and relationship identification

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9916538B2 (en) * 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
US20160203137A1 (en) * 2014-12-17 2016-07-14 InSnap, Inc. Imputing knowledge graph attributes to digital multimedia based on image and video metadata

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009252177A (ja) 2008-04-10 2009-10-29 Ntt Docomo Inc レコメンド情報生成装置およびレコメンド情報生成方法
US20120297038A1 (en) 2011-05-16 2012-11-22 Microsoft Corporation Recommendations for Social Network Based on Low-Rank Matrix Recovery
US20130066964A1 (en) 2011-09-09 2013-03-14 Samuel Odio Composited Posting Interface for Social Networking System
JP2013235507A (ja) 2012-05-10 2013-11-21 Mynd Inc 情報処理方法、装置、コンピュータプログラムならびに記録媒体
WO2015094370A1 (en) 2013-12-20 2015-06-25 Intel Corporation Social circle and relationship identification

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YANG, Longqqi, HSIEH, Cheng-Kang, ESTRIN, Deborah，Beyond Classification: Latent User Interests Profiling from Visual Contents Analysis，2015 IEEE 15th International Conference on Data Mining Workshops，米国，2015年，p.1410-1416

Also Published As

Publication number Publication date
US20180032882A1 (en) 2018-02-01
JP2018018504A (ja) 2018-02-01

Similar Documents

Publication Publication Date Title
JP7009769B2 (ja) 推奨生成方法、プログラム、及びサーバ装置
RU2729956C2 (ru) Обнаружение объектов из запросов визуального поиска
US9911239B2 (en) Augmenting a live view
JP6349031B2 (ja) 画像に表されたオブジェクトの認識及び照合のための方法及び装置
US9338242B1 (en) Processes for generating content sharing recommendations
US20200311126A1 (en) Methods to present search keywords for image-based queries
US10565268B2 (en) Interactive communication augmented with contextual information
US9442903B2 (en) Generating preview data for online content
US9357242B2 (en) Method and system for automatic tagging in television using crowd sourcing technique
CA2779448C (en) Social browsing
US9152312B1 (en) Displaying related content in a content stream
US11797634B2 (en) System and method for providing a content item based on computer vision processing of images
US20150220500A1 (en) Generating preview data for online content
US20120294520A1 (en) Gesture-based visual search
WO2015192655A1 (zh) 社交网络中用户推荐模型的建立及应用方法和装置
US10621190B2 (en) Search using drag and drop of assets into a search bar
US20170083599A1 (en) Incorporation of semantic attributes within social media
US9405964B1 (en) Processes for generating content sharing recommendations based on image content analysis
US20150189384A1 (en) Presenting information based on a video
US11087182B1 (en) Image processing including streaming image output
CN106464682B (zh) 使用登录到在线服务的状态以用于内容项推荐
US9578258B2 (en) Method and apparatus for dynamic presentation of composite media
US20150295959A1 (en) Augmented reality tag clipper
CN110942070B (zh) 内容展示方法、装置、电子设备及计算机可读存储介质
US11468675B1 (en) Techniques for identifying objects from video content

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210811

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211227

R150 Certificate of patent or registration of utility model

Ref document number: 7009769

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150