JP7257553B2 - 化粧品製品推奨のための方法及び装置 - Google Patents

化粧品製品推奨のための方法及び装置 Download PDF

Info

Publication number
JP7257553B2
JP7257553B2 JP2021572474A JP2021572474A JP7257553B2 JP 7257553 B2 JP7257553 B2 JP 7257553B2 JP 2021572474 A JP2021572474 A JP 2021572474A JP 2021572474 A JP2021572474 A JP 2021572474A JP 7257553 B2 JP7257553 B2 JP 7257553B2
Authority
JP
Japan
Prior art keywords
product
word vectors
trained
word
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021572474A
Other languages
English (en)
Other versions
JP2022534805A (ja
Inventor
ガス チランニ、ブランデン
リー、チアチュン
タン、グレイス
イ、テウ
ジョセフ ヒーリー、ジョン
Original Assignee
イーエルシー マネージメント エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by イーエルシー マネージメント エルエルシー filed Critical イーエルシー マネージメント エルエルシー
Publication of JP2022534805A publication Critical patent/JP2022534805A/ja
Application granted granted Critical
Publication of JP7257553B2 publication Critical patent/JP7257553B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0631Item recommendations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3347Query execution using vector based model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147Distances to closest patterns, e.g. nearest neighbour classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/547Remote procedure calls [RPC]; Web services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776Validation; Performance evaluation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Mathematical Physics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Medicines Containing Plant Substances (AREA)
  • Cosmetics (AREA)

Description

本開示は、概して、カスタム推奨を提供するための方法及び装置に関し、より具体的には、1つ以上の画像に基づく化粧品製品推奨を提供するための方法及び装置に関する。
パーソナルケア又は化粧品製品など、カスタマイズ又は個人化された製品推奨の人気が高まっている。しかしながら、製品推奨を提供する既存の方法は、ユーザの選好に関する情報を得るための長い調査及び質問票を含む可能性がある。例えば、芳香選択の既存の方法は、直接のコンサルテーションを必要とするか、あるいは長い調査なしでの芳香製品の即時的な仮想推奨を可能にしないか、のいずれかである。したがって、消費者に製品推奨を提供するための改善されたプロセスが必要とされている。
本明細書の実施形態は、画像に基づいて製品推奨を提供するためのシステム及び方法を提供する。
一実施形態では、製品を推奨するコンピュータ実装方法は、分析用の画像を受信することと、ワード注釈のために画像の分析を要求することと、1つ以上のタグとして生成された注釈付きワードを受信することと、プロセッサを使用して、1つ以上のタグに対応する訓練されたワードベクトルの第1のセットを作成して、各ワードを1つ以上のタグからn次元空間内の対応するベクトルにマッピングすることと、プロセッサを使用して、データベース内の1つ以上の製品説明に対応する訓練されたワードベクトルの1つ以上のセットを作成して、製品説明内の各ワードをn次元空間内の対応するベクトルにマッピングすることと、訓練されたワードベクトルの第1のセットと、製品説明に対応する訓練されたワードベクトルの1つ以上のセットの各々との間の距離を計算することと、計算された距離を比較して、受信された画像と製品説明との間の最良の一致を表す最も近い距離を判定することと、比較に基づいて、製品推奨を自動的に生成することと、を含む。
本明細書の実施形態による例示的な画像ベースの製品推奨方法を例解する。 図1の製品推奨方法の例示的なフロー図を示す。 本明細書の一実施形態による、画像ベースの製品推奨を提供するためのシステムを示す。 本明細書の一実施形態による、本発明の少なくとも1つ以上の構成要素又はステップを実装することができる例示的なコンピューティングデバイスを示す。 図1及び図2の画像ベースの製品推奨方法の例示的なプロセスフローを示す。 本明細書の一実施形態による、製品推奨を提供するために、画像を識別し、製品に一致させるためのプロセスのフロー図を示す。 本明細書の一実施形態による、製品推奨方法を実装するための例示的なユーザインターフェースを示す。
本発明の実施形態は、本明細書では、例示的なネットワーク及びコンピューティングシステムアーキテクチャに関して説明される。しかしながら、本発明の実施形態は、これらの例示的なアーキテクチャに限定されることを意図するものではなく、むしろ、画像ベースの製品推奨が所望され得る、いかなるシステムにもより一般的に適用可能であることを理解されたい。
本明細書で使用される場合、「n」は、1よりも大きい任意の正の整数を示し得る。
本明細書の一実施形態による製品推奨方法の概要を示す図1を参照すると、ユーザ101は、ユーザデバイス102上のユーザインターフェース103にアクセスして、推奨エンジン104を使用する。ユーザ101は、ユーザインターフェース103を介して、デバイス102を使用して画像をアップロードすることができる。ユーザインターフェース103は、ウェブサイト、ユーザデバイス102上のアプリケーション、又は現在既知であるか若しくは後に開発される任意の好適な手段であり得る。ユーザインターフェース103は、推奨エンジン104と相互作用し、推奨エンジン104からのアップロードされた画像に基づいて、少なくとも1つの製品推奨を受信する。製品推奨は、ユーザデバイス102のディスプレイ上に示される。ユーザデバイス102は、モバイルデバイス、コンピュータ、又は推奨エンジン104と相互作用することができる任意の好適なデバイスであり得る。画像ベースの製品推奨を実装するための方法及びシステムの詳細を以下に更に叙述する。
図2は、図1の製品推奨方法のプロセスのフロー図を示す。具体的には、画像を受信し、画像に基づいて少なくとも1つの製品推奨を提供するための、図1のユーザインターフェース103において実装された、プロセス200。ステップ201において、ユーザインターフェース103が、(例えば、ユーザデバイス102において)ユーザ101から画像を受信する。画像は、撮像デバイスを使用してユーザデバイスにおいてキャプチャされ得るか、又はユーザインターフェースを介したアップロードのためにユーザデバイスに記憶され得る。画像は、製品、製品の種類、又はユーザが推奨を要求している製品の特徴に関連する。例えば、製品が芳香である場合、画像は、ユーザにとって関心がある芳香の又は芳香に関連する特性(例えば、フローラル、クリーン、革など)を表すことができる。ステップ202において、アップロードされた画像及び要求が、ユーザインターフェース103によって推奨エンジン104に送信される。ステップ203において、ユーザインターフェース103が、ユーザデバイス102においてユーザ101にロード画面を表示する。ステップ204において、ユーザインターフェース103が、アップロードされた画像に基づいて、製品推奨の要求を推奨エンジン104に送信する。ステップ205において、ユーザインターフェース103が、推奨エンジン104から、製品推奨に対する最良の一致を受信する。ステップ206において、最良の一致の製品が、アップロードされた画像に基づく製品推奨としてユーザデバイス102上に表示される。
図3は、上で説明される画像ベースの製品推奨方法の1つ以上のステップを実装することができるシステムの例示的な実施形態を示す。システム300は、データベース350に結合された推奨エンジン320を含む。推奨エンジン320はまた、ネットワーク301を介して、1つ以上のサーバ330a...330n、及び1つ以上のコンピューティングデバイス340a...340nに結合されている。ネットワーク301は、ローカルエリアネットワーク(local area network、LAN)、インターネットなどのワイドエリアネットワーク(wide area network、WAN)、セルラデータネットワーク、それらの任意の組み合わせ、又は本明細書の実施形態による推奨エンジン320、サーバ330a...330n、コンピューティングデバイス340a...340n、及びデータベース350の間の通信をサポートする接続及びプロトコルの任意の組み合わせであり得る。ネットワーク301は、有線、無線、又は光ファイバ接続を含み得る。推奨エンジン320(例えば、上で説明される推奨エンジン104)は、1つ以上のデータベース及び/若しくは1つ以上のデバイス(例えば、プリンタ、販売時点デバイス、モバイルデバイスなど)と通信してユーザ若しくは製品情報を記憶し、取り出すように構成された、サーバ又はコンピューティングデバイス上に存在するアプリケーションプログラミングインターフェース(Application Programming Interface、API)であり得る。サーバ330a...330nは、管理サーバ、ウェブサーバ、プログラム命令を処理し、データを受信及び送信することができる任意の他の電子デバイス若しくはコンピューティングシステム、又はそれらの組み合わせであり得る。コンピューティングデバイス340a...340nは、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、又は他のモバイルデバイスであり得る。一般に、コンピューティングデバイス340a...340nは、プログラム命令を処理し、データを送信及び受信し、ネットワーク301を介してシステム300、推奨エンジン320、及びサーバ330a...330nの1つ以上の構成要素と通信することができる任意の電子デバイス又はコンピューティングシステムであり得る。データベース350は、製品情報、ユーザ情報、及び任意の他の好適な情報を含み得る。データベース350は、データを記憶するための、構造化クエリ言語(structured query language、SQL)データベースを含むリレーショナルデータベースなど、任意の好適なデータベースであり得る。記憶されたデータは、定義されたスキームに従って編成されたデータセットである構造化データであり得る。データベース350は、推奨エンジン320及び1つ以上のサーバ330a...330nなどのシステム300の1つ以上の構成要素と相互作用するように構成される。システム300は、複数のデータベースを含むことができる。
推奨エンジン320は、少なくとも1つのプロセッサ322を含み得る。プロセッサ322は、本開示の例示的な実施形態を実装するためのメモリに記憶されたコンピュータ可読及びコンピュータ実行可能命令若しくはソフトウェア、並びに他のプログラムを実行するように構成可能かつ/又はプログラム可能である。プロセッサ322は、モジュールのうちの1つ以上を実行するように構成された単一のコアプロセッサ又は複数のコアプロセッサであり得る。例えば、推奨エンジン320は、1人以上のユーザ及び又は1つ以上の外部デバイス、例えば、他のサーバ若しくはコンピューティングデバイスと相互作用するように構成された相互作用モジュール324を含むことができる。推奨エンジン320は、1つ以上の受信された画像に関連するデータを変換かつ/又は比較するためにNLPアルゴリズムを実行するための自然言語処理(Natural Language Processing、NLP)モジュール325を含むことができる。推奨エンジン320はまた、NLPモジュール結果に基づいて1つ以上の製品推奨を提供するための製品推奨モジュール326を含むことができる。次いで、推奨は、ユーザインターフェース上に表示され、かつ/又は1つ以上の外部デバイスに送信され、かつ/又は1つ以上のデータベースに記憶され得る。いくつかの実施形態では、ユーザが推奨からの製品のうちの1つ以上を選択する場合、相互作用モジュール324は、各製品の情報を取り出し、ユーザがユーザインターフェースを介して製品を購入することを可能にすることができる。
図4は、例示的な実施形態による、本発明の1つ以上のステップ/構成要素が実装され得る例示的なコンピューティングデバイスのブロック図を示す。コンピューティングデバイス400は、例示的な実施形態を実装するための1つ以上のコンピュータ実行可能命令又はソフトウェアを記憶するための1つ以上の非一時的コンピュータ可読媒体を含む。非一時的コンピュータ可読媒体は、1つ以上のタイプのハードウェアメモリ、非一時的有形媒体(例えば、1つ以上の磁気記憶ディスク、1つ以上の光ディスク、1つ以上のフラッシュドライブ、1つ以上のソリッドステートディスク)などを含み得るが、これらに限定されない。例えば、コンピューティングデバイス400のメモリ401は、コンピューティングデバイス400の例示的な動作を実装するためのコンピュータ可読及びコンピュータ実行可能命令又はソフトウェア(例えば、上で説明されるアプリケーション及びモジュール)を記憶し得る。メモリ401は、DRAM、SRAM、EDO RAMなどのコンピュータシステムメモリ又はランダムアクセスメモリを含むことができる。メモリ401は、他のタイプのメモリ、又はそれらの組み合わせも含み得る。コンピューティングデバイス400はまた、本開示の例示的な実施形態を実装するためのメモリ401に記憶されたコンピュータ可読及びコンピュータ実行可能命令若しくはソフトウェア、並びに他のプログラムを実行するように構成可能及び/又はプログラム可能なプロセッサ402を含み得る。プロセッサ402は、推奨エンジン320に関連して説明されたモジュールのうちの1つ以上を実行するように構成された単一のコアプロセッサ又は複数のコアプロセッサであり得る。コンピューティングデバイス400は、入力/出力インターフェース405を介して、外部デバイス420、ディスプレイ410、及びコンピューティングデバイス340a...340nなどの入力/出力デバイスからデータを受信することができる。ユーザは、1つ以上のグラフィカルユーザインターフェース、マルチタッチインターフェースなどを表示し得る、コンピュータモニタ又はモバイルデバイス画面などのディスプレイ410を通して、コンピューティングデバイス400と相互作用することができる。入力/出力インターフェース405は、キーボード、キーパッド、並びに、例えば、サムドライブ、ポータブル光学又は磁気ディスク、及びメモリカードなどのポータブルコンピュータ可読記憶媒体などの外部デバイス420への接続を提供し得る。コンピューティングデバイス400はまた、本開示の例示的な実施形態を実装するデータ並びにコンピュータ可読命令及び/又はソフトウェア(例えば、推奨エンジン320について上で説明されるモジュール)を記憶するための、ハードドライブ、CD-ROM、又は他のコンピュータ可読媒体などの1つ以上の記憶デバイス404を含み得る。コンピューティングデバイス400は、標準電話線、LAN若しくはWANリンク、ブロードバンド接続、無線接続、コントローラエリアネットワーク(controller area network、CAN)、又は上記のいずれか若しくは全ての何らかの組み合わせを含むがこれらに限定されない様々な接続を通して、1つ以上のネットワーク、例えば、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、又はインターネットを介して、1つ以上のネットワークデバイスとインターフェース接続するように構成されたネットワークインターフェース403を含むことができる。
図5は、本明細書に記載の方法を実装するためのシステム(例えば、システム300)の様々な構成要素間の例示的なプロセスフローを示す。ステップ1において、ユーザ501が、ウェブサイト502などのユーザインターフェースに画像をアップロードする。ステップ2において、ウェブサイト502が、ユーザ画像を受信し、画像を含む要求をAPI503に送信する。ウェブサイト502は、React、ハイパーテキストマークアップ言語(Hypertext Markup Language、HTML)、カスケーディングスタイルシート(Cascading Style Sheets、CSS)、JavaScript(JavaScript、JS)、又はこれらの言語の組み合わせなど、様々な言語及び方法によってAPI503との相互作用のために実装及び構成することができる。ステップ3において、API503が、画像を分析するようにとの要求をラベル検出プラットフォーム504に送信する。ラベル検出プラットフォーム504は、画像注釈を自動的に実行し、画像属性を抽出し、光学文字認識(optical character recognition、OCR)、及び/又はコンテンツ検出を実行して、画像のワードラベル又はタグを生成するように構成される。例えば、ユーザがコーヒーカップの画像をアップロードした場合、ラベル検出プラットフォーム504は、画像を分析し、コーヒー、マグ、及び豆などのワードをタグとして戻すことができる。ラベル検出プラットフォーム504によって生成されたタグは、ステップ5においてAPI503に戻される。市販されている例示的なラベル検出プラットフォームは、Google(登録商標)から入手可能なGoogle Cloud Visionである。ステップ6において、API503は、要求のステータスが処理中であるという応答をウェブサイト502に送信する。ステップ7において、ウェブサイトが、ユーザ501にロード画面を表示する。ステップ8において、ウェブサイトが、画像に基づく製品推奨(例えば、芳香推奨)の要求をAPIに送信する。ステップ9において、API503が、ラベル検出プラットフォーム504から受信されたタグに対してカスタムNLPアルゴリズムを実行する。NLPアルゴリズムの詳細については、以下で図6に叙述する。ステップ10において、API503が、データベース506と通信し、タグをデータベース506内の製品説明と比較して、アップロードされた画像に基づく最良の一致の製品を戻す。ステップ11において、API503が、最良の一致の製品を含む応答をウェブサイト502に送信する。ステップ12において、ウェブサイトが、推奨として最良の一致の製品を表示する。ステップ13において、ユーザ501が、ユーザデバイスのディスプレイ上で推奨を見る。
ウェブサイト502、API503、及びラベル検出プラットフォーム504は、図3に示されるシステム300内の同じ又は異なるサーバ上に実装することができる。API503は、本明細書の一実施形態によれば、図3の推奨エンジン320として実装することができる。ユーザデバイスは、図3及び図4に示されるコンピューティングデバイスのうちの1つとして実装することができる。本明細書の実施形態において使用される1つ以上のAPIを実装する際に使用できる言語は、Python、JavaScript、又は任意の他のプログラミング言語である。
図6は、本明細書の一実施形態による、図3のNLPモジュール325などのNLPモジュールを介して、図5のAPI503において実行されるNLPアルゴリズムのフローチャートを示す。ステップ601において、APIが、画像分析要求をラベル検出プラットフォーム又は任意の他の画像検出プラットフォームに送信する。ステップ602において、画像のタグが、ワード又は文字の形態で受信される。ステップ603において、NLPアルゴリズムが、ステップ604~606を実行する。このNLPアルゴリズムは、ワード表現のために事前に訓練されたワードベクトルを使用する。ワードベクトルの商業的に利用可能な、スタンフォード大学から入手可能なGloVe(Global Vectors)教師なし学習アルゴリズムを使用して訓練されたもののセットである。ステップ604において、画像タグのリスト内のワードごとに、そのワードが、n次元空間内のその対応するベクトルにマッピングされ、nは、任意の正の整数、好ましくは100超であり得る。この関数は、辞書ルックアップのような関数である。ステップ605において、以下の比較を行う:データベース内の製品ごとに、ステップ604におけるのと同じ推論を適用し、ワードをベクトルに変換する。画像タグに対応するワードベクトルの第1のリスト、及び説明ワードに対応する第2のリストが生成される。次いで、画像タグ内のワードベクトルごとに、説明ワードにおける「最も近い」ワードベクトルまでの距離が判定され、この近接度は、ユークリッド又は余弦距離などの距離の空間的定義によって判定される。各ワードとその最も近い近傍との間の距離を考慮して、NLPアルゴリズムは、これらの距離の平均を見出し、これは、画像と製品との間の近接度として確定される。ステップ606において、距離の最も近い平均が、ユーザによってアップロードされた画像に基づく最良の製品一致であると判定される。ステップ607において、次いで、最良の一致が、製品推奨としてウェブサイト又はユーザインターフェースに戻される。最良の一致は、1つ以上の製品であり得る。
以下の表1は、2つのワードリスト、及び上で説明されるNLPアルゴリズムによって生成されたワード間の余弦距離の例示的な表現を示す。
Figure 0007257553000001
表1の行は、アップロードされた画像からラベル検出プラットフォーム504によって生成されたタグの例示的なセットを表す。表1の列は、データベース内の製品説明からのキーワードを表す。表中の値は、上で説明されるNLPアルゴリズムによって生成された、アップロードされた画像に基づいて生成されたワード(各行)と、製品説明からのワード(列)との間の距離を表す。一例では、表1に示される数は、余弦類似性として計算される。各セルは、以下のように計算された:
Figure 0007257553000002
式中、A及びBは、それぞれ行ワード及び列ワードに対応するベクトルである。値が高いほど、ワード間の距離は近くなり、ワード間の関連性及び一致は高くなる。例えば、行「男性」及び列「男性」に対応するセルは、正確な一致であるために1.00の値を有する。別の例として、行「スーツ」及び列「爽快な」に対応するセルは、-0.189の値を有し、これらの2つのワード間の低い相関を表す。
上で説明されるように、NLPアルゴリズムは、これらの距離の平均を見出し、この平均は、画像と製品との間の近接度として確定される。このプロセスは、データベース内の各製品説明について繰り返すことができる。計算された平均に基づいて、最も近い距離平均が、最良の一致であると判定され、次いで、最良の一致に関連付けられた製品が、製品推奨としてウェブサイト又はユーザインターフェースに戻される。
図7は、本明細書に記載の製品推奨方法を実装するためのユーザインターフェースの一例を示す。710に示されるように、ユーザデバイスは、ウェブサイト(又はデバイスアプリケーション)を介して画像をアップロードするためのインターフェースを表示する。画像702は、インターフェースを介してアップロードされる。この例では、ユーザは、画像に基づく芳香推奨を求めている。ウェブサイトは、画像を受信し、ウェブサイト及びAPIは、図5及び図6において上で詳述されるステップを実行する。720に示されるように、画像から生成されたタグと最良に一致する説明を有する芳香が、ユーザデバイスのディスプレイ上に、推奨される芳香製品として表示される。次いで、ユーザは、ユーザデバイスから更なる情報を見出すこと、又は製品を購入することができる。
図面中のフローチャート及びブロック図は、本発明の様々な実施形態によるシステム、方法、及びコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能、並びに動作を例解している。これに関して、フローチャート又はブロック図の各ブロックは、指定された論理機能を実装するための1つ以上の実行可能命令を含む、コードのモジュール、セグメント、又は部分を表し得る。いくつかの代替の実装形態では、ブロックに記載された機能は、図に記載された順序から外れて行われ得ることにも留意されたい。例えば、連続して示される2つのブロックは、実際には、実質的に同時に実行され得るか、又はブロックは、関与する機能に応じて、逆の順序で時々実行され得る。ブロック図及び/又はフローチャート例解図の各ブロック、並びにブロック図及び/又はフローチャート例解図におけるブロックの組み合わせは、特定の機能又は行為を実行する専用ハードウェアベースのシステム、あるいは専用ハードウェアとコンピュータ命令との組み合わせによって実装することができることにも留意されたい。

Claims (13)

  1. 製品を推奨するコンピュータ実装方法であって、
    分析用の画像を受信することと、
    ワード注釈のために前記画像の分析を要求することと、
    1つ以上のタグとして生成された注釈付きワードを受信することと、
    プロセッサを使用して、前記1つ以上のタグに対応する訓練されたワードベクトルの第1のセットを作成して、各ワードを前記1つ以上のタグからn次元空間内の対応するベクトルにマッピングすることと、
    プロセッサを使用して、データベース内の1つ以上の製品説明に対応する訓練されたワードベクトルの1つ以上のセットを作成して、前記製品説明内の各ワードをn次元空間内の対応するベクトルにマッピングすることと、
    前記訓練されたワードベクトルの第1のセットと、前記製品説明に対応する前記訓練されたワードベクトルの1つ以上のセットの各々との間の距離を計算することと、
    前記計算された距離を比較して、前記受信された画像と前記製品説明との間の最良の一致を表す最も近い距離を判定することと、
    前記比較に基づいて、製品推奨を自動的に生成することと、を含む、方法。
  2. 前記訓練されたワードベクトルの第1のセットを作成することが、1つ以上のワードからベクトル表現を生成するために教師なし学習アルゴリズムを使用することを含む、請求項1に記載の方法。
  3. 1つ以上の製品説明に対応する訓練されたワードベクトルの1つ以上のセットを作成することが、1つ以上のワードからベクトル表現を生成するために教師なし学習アルゴリズムを使用することを含む、請求項1に記載の方法。
  4. 前記距離を計算することが、2つのワードベクトル間の余弦類似性を判定することを含む、請求項1に記載の方法。
  5. 前記2つのワードベクトルが、前記訓練されたワードベクトルの第1のセットからのワードベクトルと、前記製品説明に対応する前記訓練されたワードベクトルの1つ以上のセットのうちのセットからのワードベクトルと、を含む、請求項4に記載の方法。
  6. 前記訓練されたベクトルの第1のセットと、前記製品説明に対応する前記訓練されたワードベクトルの1つ以上のセットの各々と、の平均距離を計算することを更に含む、請求項5に記載の方法。
  7. 前記計算された距離を比較することが、前記平均距離を比較して、前記最も近い距離を判定することを含む、請求項6に記載の方法。
  8. 前記製品が、化粧品製品である、請求項1に記載の方法。
  9. 前記化粧品製品が、芳香である、請求項8に記載の方法。
  10. 製品推奨システムであって、
    ユーザインターフェースと、
    少なくとも1つの通信ネットワークと、
    ラベル検出プラットフォームと、
    少なくとも1つのアプリケーションプログラミングインターフェース(API)であって、
    前記ユーザインターフェースから分析用の画像を受信することと、
    前記ラベル検出プラットフォームからのワード注釈のために前記画像の分析を要求することと、
    前記ラベル検出プラットフォームから、1つ以上のタグとして生成された注釈付きワードを受信することと、
    プロセッサを使用して、前記1つ以上のタグに対応する訓練されたワードベクトルの第1のセットを作成して、各ワードを前記1つ以上のタグからn次元空間内の対応するベクトルにマッピングすることと、
    プロセッサを使用して、データベース内の1つ以上の製品説明に対応する訓練されたワードベクトルの1つ以上のセットを作成して、前記製品説明内の各ワードをn次元空間内の対応するベクトルにマッピングすることと、
    前記訓練されたワードベクトルの第1のセットと、前記製品説明に対応する前記訓練されたワードベクトルの1つ以上のセットの各々との間の距離を計算することと、
    前記計算された距離を比較して、前記受信された画像と前記製品説明との間の最良の一致を表す最も近い距離を判定することと、
    前記比較に基づいて、製品推奨を自動的に生成することと、
    前記少なくとも1つの通信ネットワークを介して前記ユーザインターフェースに前記製品推奨を送信することと、を行うための少なくとも1つのアプリケーションプログラミングインターフェース(API)と、を備える、システム。
  11. 前記少なくとも1つのネットワークを介して通信するように構成された1つ以上のユーザデバイスを更に備える、請求項10に記載のシステム。
  12. 前記1つ以上のユーザデバイスが、前記ユーザインターフェースを介して1つ以上のAPIと通信する、請求項11に記載のシステム。
  13. 前記製品推奨が、前記ユーザインターフェースを介して前記1つ以上のユーザデバイス上に表示される、請求項12に記載のシステム。
JP2021572474A 2019-06-07 2020-06-08 化粧品製品推奨のための方法及び装置 Active JP7257553B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/435,023 US20200387950A1 (en) 2019-06-07 2019-06-07 Method And Apparatus For Cosmetic Product Recommendation
US16/435,023 2019-06-07
PCT/US2020/036713 WO2020247960A1 (en) 2019-06-07 2020-06-08 Method and apparatus for cosmetic product recommendation

Publications (2)

Publication Number Publication Date
JP2022534805A JP2022534805A (ja) 2022-08-03
JP7257553B2 true JP7257553B2 (ja) 2023-04-13

Family

ID=73650683

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021572474A Active JP7257553B2 (ja) 2019-06-07 2020-06-08 化粧品製品推奨のための方法及び装置

Country Status (9)

Country Link
US (1) US20200387950A1 (ja)
EP (1) EP3980963A4 (ja)
JP (1) JP7257553B2 (ja)
KR (1) KR20220039701A (ja)
CN (1) CN114207650A (ja)
AU (2) AU2020287388A1 (ja)
BR (1) BR112021024670A2 (ja)
CA (1) CA3140679A1 (ja)
WO (1) WO2020247960A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11461829B1 (en) * 2019-06-27 2022-10-04 Amazon Technologies, Inc. Machine learned system for predicting item package quantity relationship between item descriptions

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160283564A1 (en) 2015-03-26 2016-09-29 Dejavuto Corp. Predictive visual search enginge
JP2018523251A (ja) 2015-08-03 2018-08-16 オランド エセ.ア. カタログ内の製品を検索するためのシステムおよび方法
JP2018194903A (ja) 2017-05-12 2018-12-06 シャープ株式会社 検索システム、端末装置、情報処理装置、検索方法、およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004533660A (ja) * 2000-10-18 2004-11-04 ジヨンソン・アンド・ジヨンソン・コンシユーマー・カンパニーズ・インコーポレーテツド 知能性能ベースの製品推奨システム
US20080177640A1 (en) * 2005-05-09 2008-07-24 Salih Burak Gokturk System and method for using image analysis and search in e-commerce
EP2250623A4 (en) * 2008-03-05 2011-03-23 Ebay Inc METHOD AND APPARATUS OF IMAGE RECOGNITION SERVICES
US9846901B2 (en) * 2014-12-18 2017-12-19 Nuance Communications, Inc. Product recommendation with ontology-linked product review
US20170278135A1 (en) * 2016-02-18 2017-09-28 Fitroom, Inc. Image recognition artificial intelligence system for ecommerce
CN108230082A (zh) 2017-06-16 2018-06-29 深圳市商汤科技有限公司 搭配服饰的推荐方法和装置、电子设备、存储介质
CN107862696B (zh) 2017-10-26 2021-07-02 武汉大学 基于时尚图迁移的特定行人衣物解析方法及系统
CN108052952A (zh) 2017-12-19 2018-05-18 中山大学 一种基于特征提取的服装相似度判定方法及其系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160283564A1 (en) 2015-03-26 2016-09-29 Dejavuto Corp. Predictive visual search enginge
JP2018523251A (ja) 2015-08-03 2018-08-16 オランド エセ.ア. カタログ内の製品を検索するためのシステムおよび方法
JP2018194903A (ja) 2017-05-12 2018-12-06 シャープ株式会社 検索システム、端末装置、情報処理装置、検索方法、およびプログラム

Also Published As

Publication number Publication date
CN114207650A (zh) 2022-03-18
JP2022534805A (ja) 2022-08-03
AU2023266376A1 (en) 2023-12-07
US20200387950A1 (en) 2020-12-10
BR112021024670A2 (pt) 2022-02-08
EP3980963A1 (en) 2022-04-13
WO2020247960A1 (en) 2020-12-10
EP3980963A4 (en) 2023-05-03
CA3140679A1 (en) 2020-12-10
KR20220039701A (ko) 2022-03-29
AU2020287388A1 (en) 2022-01-06

Similar Documents

Publication Publication Date Title
US10043109B1 (en) Attribute similarity-based search
CN111784455B (zh) 一种物品推荐方法及推荐设备
US11281861B2 (en) Method of calculating relevancy, apparatus for calculating relevancy, data query apparatus, and non-transitory computer-readable storage medium
JP6543986B2 (ja) 情報処理装置、情報処理方法およびプログラム
US20180181569A1 (en) Visual category representation with diverse ranking
JP6745384B2 (ja) 情報をプッシュするための方法及び装置
US20160124996A1 (en) Image ranking based on attribute correlation
US20200250538A1 (en) Training image and text embedding models
US20230205813A1 (en) Training Image and Text Embedding Models
JP2017518570A (ja) 視覚的対話型検索
US11615263B2 (en) Content prediction based on pixel-based vectors
CN114332680A (zh) 图像处理、视频搜索方法、装置、计算机设备和存储介质
CN111967924A (zh) 商品推荐方法、商品推荐装置、计算机设备和介质
US20170091240A1 (en) Fast orthogonal projection
Park et al. Personalized image aesthetic quality assessment by joint regression and ranking
AU2023266376A1 (en) Method and apparatus for cosmetic product recommendation
US20230055991A1 (en) System and method for interactive dialogue
CN117556067B (zh) 数据检索方法、装置、计算机设备和存储介质
CN114329004A (zh) 数字指纹生成、数据推送方法、装置和存储介质
JP5559750B2 (ja) 広告処理装置、情報処理システム及び広告処理方法
WO2020046795A1 (en) System, method, and computer program product for determining compatibility between items in images
US20220327361A1 (en) Method for Training Joint Model, Object Information Processing Method, Apparatus, and System
CN116977459A (zh) 图片生成模型的确定方法及装置、图片生成方法及装置
CN115238193A (zh) 金融产品推荐方法和装置、计算设备以及计算机存储介质
CN118245660A (zh) 一种数据处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220114

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220119

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220405

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230403

R150 Certificate of patent or registration of utility model

Ref document number: 7257553

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150