JP7380689B2 - 処理装置、処理方法及びプログラム - Google Patents

処理装置、処理方法及びプログラム Download PDF

Info

Publication number
JP7380689B2
JP7380689B2 JP2021541404A JP2021541404A JP7380689B2 JP 7380689 B2 JP7380689 B2 JP 7380689B2 JP 2021541404 A JP2021541404 A JP 2021541404A JP 2021541404 A JP2021541404 A JP 2021541404A JP 7380689 B2 JP7380689 B2 JP 7380689B2
Authority
JP
Japan
Prior art keywords
product
image
web
identification information
registered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021541404A
Other languages
English (en)
Other versions
JPWO2021033285A1 (ja
Inventor
貴美 佐藤
浩太 岩元
壮馬 白石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021033285A1 publication Critical patent/JPWO2021033285A1/ja
Application granted granted Critical
Publication of JP7380689B2 publication Critical patent/JP7380689B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0623Item investigation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/955Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、処理装置、処理方法及びプログラムに関する。
特許文献1乃至3は、会計対象の商品を撮影した画像と予め登録された各商品の参照画像とに基づき会計対象の商品を認識・登録する技術において、複数のカメラで複数の向きから会計対象の商品を撮影する技術を開示している。
特許文献4は、会計対象の商品を撮影した画像と予め登録された各商品の参照画像とに基づき会計対象の商品を認識・登録する技術において、鏡を利用して会計対象の商品の複数の外面を撮影する技術を開示している。
特許文献5は、カメラが生成した画像と、バーコードリーダで読み取られた商品識別情報とを紐付ける技術を開示している。
特開2017-220198号公報 特開2017-62703号公報 特開2016-110537号公報 国際公開第2015/140855号 特開2004-30409号公報
会計対象の商品を撮影した画像と予め登録された各商品の参照画像とに基づき会計対象の商品を認識・登録する技術においては、各商品の参照画像を事前に登録しておく必要がある。従来、各商品の参照画像を効率的に登録する手段が存在しなかった。特許文献1乃至5はいずれも、当該課題及びその解決手段を記載も示唆もしていない。
本発明の課題は、各商品の参照画像を効率的に登録する技術を実現することである。
本発明によれば、
予め定められた検索条件で特定されたウェブページで公開されているウェブ商品画像を取得するウェブ商品画像取得手段と、
前記ウェブ商品画像が示す商品の商品識別情報を取得する商品識別情報取得手段と、
前記ウェブ商品画像と前記商品識別情報とを紐付けて、商品データベースに登録する登録手段と、
を有する処理装置が提供される。
また、本発明によれば、
コンピュータが、
予め定められた検索条件で特定されたウェブページで公開されているウェブ商品画像を取得し、
前記ウェブ商品画像が示す商品の商品識別情報を取得し、
前記ウェブ商品画像と前記商品識別情報とを紐付けて、商品データベースに登録する処理方法が提供される。
また、本発明によれば、
コンピュータを、
予め定められた検索条件で特定されたウェブページで公開されているウェブ商品画像を取得するウェブ商品画像取得手段、
前記ウェブ商品画像が示す商品の商品識別情報を取得する商品識別情報取得手段、
前記ウェブ商品画像と前記商品識別情報とを紐付けて、商品データベースに登録する登録手段、
として機能させるプログラムが提供される。
本発明によれば、各商品の参照画像を効率的に登録する技術が実現される。
上述した目的、および、その他の目的、特徴および利点は、以下に述べる好適な実施の形態、および、それに付随する以下の図面によって、さらに明らかになる。
本実施形態の処理装置の機能ブロック図の一例である。 本実施形態の処理装置のハードウエア構成の一例を示す図である。 本実施形態の処理装置が処理する情報の一例を模式的に示す図である。 本実施形態の処理装置が検索するウェブページの一例を模式的に示す図である。 本実施形態の処理装置が検索するウェブページの一例を模式的に示す図である。 本実施形態の処理装置が検索するウェブページの一例を模式的に示す図である。 本実施形態の処理装置が処理する情報の一例を模式的に示す図である。 本実施形態の処理装置が行う画像編集の一例を模式的に示す図である。 本実施形態の処理装置が行う画像編集の一例を模式的に示す図である。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の処理装置の機能ブロック図の一例である。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。
<第1の実施形態>
まず、本実施形態の処理装置の概要を説明する。処理装置は、予め定められた検索条件で特定されたウェブページで公開されているウェブ商品画像を取得する。次いで、処理装置は、取得したウェブ商品画像が示す商品の商品識別情報を取得する。そして、処理装置は、取得したウェブ商品画像と取得した商品識別情報とを紐付けて、商品データベースに登録する。このような処理装置によれば、各商品の参照画像を効率的に商品データベースに登録することができる。以下、処理装置の構成を詳細に説明する。
図1に、処理装置10の機能ブロック図の一例を示す。図示するように、処理装置10は、ウェブ商品画像取得部11と、商品識別情報取得部12と、登録部13と、記憶部15とを有する。なお、処理装置10は記憶部15を有さなくてもよい。この場合、処理装置10と通信可能に構成された外部装置が記憶部15を備える。
処理装置10の各機能部は、任意のコンピュータのCPU(Central Processing Unit)、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット(あらかじめ装置を出荷する段階から格納されているプログラムのほか、CD(Compact Disc)等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる)、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
図2は、処理装置10のハードウエア構成を例示するブロック図である。図2に示すように、処理装置10は、プロセッサ1A、メモリ2A、入出力インターフェイス3A、周辺回路4A、バス5Aを有する。周辺回路4Aには、様々なモジュールが含まれる。処理装置10は周辺回路4Aを有さなくてもよい。なお、処理装置10は物理的及び/又は論理的に分かれた複数の装置で構成されてもよいし、物理的及び/又は論理的に一体となった1つの装置で構成されてもよい。処理装置10が物理的及び/又は論理的に分かれた複数の装置で構成される場合、複数の装置各々が上記ハードウエア構成を備えることができる。
バス5Aは、プロセッサ1A、メモリ2A、周辺回路4A及び入出力インターフェイス3Aが相互にデータを送受信するためのデータ伝送路である。プロセッサ1Aは、例えばCPU、GPU(Graphics Processing Unit)などの演算処理装置である。メモリ2Aは、例えばRAM(Random Access Memory)やROM(Read Only Memory)などのメモリである。入出力インターフェイス3Aは、入力装置、外部装置、外部サーバ、外部センサー、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク、物理ボタン、タッチパネル等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ1Aは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
次に、図1に戻って処理装置10の各機能部の構成を詳細に説明する。
まず、本実施形態の前提事項を説明する。本実施形態では、「商品データベースに商品画像が登録されていない商品」のみならず、「商品データベースに商品画像が登録されている商品」も、ウェブ商品画像を取得し、商品データベースに登録する処理の対象(以下、「画像取得対象」)となり得る。
画像取得対象となる「商品データベースに商品画像が登録されていない商品」は、例えば新商品等のように、それまで店舗で取り扱われていなかったため商品データベースに商品画像が登録されていないが、新たに取り扱われることになったため商品画像を登録する必要がある商品等が該当する。一方、画像取得対象となる「商品データベースに商品画像が登録されている商品」は、例えば、それまで店舗で取り扱われており、商品データベースに商品画像が既に登録されているが、リニューアル等により外観が変更したため、新たな商品画像を登録する必要がある商品等が該当する。
各機能部の説明に戻る。記憶部15は、商品データベースを格納する。図3に、商品データベースの一例を模式的に示す。図示する例では、商品コードと、商品名と、単価と、登録されている画像を識別する情報(ファイル名等の画像識別情報)と、検索条件とが互いに紐付けられている。なお、商品データベースはその他の情報を含んでもよいし、例示した情報の中の一部を含まなくてもよい。
ところで、図示する例では、画像識別情報が紐付けられている商品(すなわち商品画像が登録されている商品)と、画像識別情報が紐付けられていない商品(すなわち商品画像が登録されていない商品)とが存在する。画像識別情報が紐付けられていない商品は、例えば店舗で新たに取り扱うことになった商品であって、まだ商品画像が登録されていない商品である。なお、商品画像は登録されていないが、商品コード、商品名、単価等の情報は既に取得済みであるため、商品データベースに登録されている。
ウェブ商品画像取得部11は、予め定められた検索条件でウェブ検索を行い、特定されたウェブページで公開されているウェブ商品画像を取得する。ウェブ商品画像取得部11は、予め定められたタイミング(例:毎日所定の時刻)でウェブ検索を行ってもよいし、ユーザによる指示入力があったタイミングでウェブ検索を行ってもよい。ユーザによる指示入力は、商品毎に行われてもよい。この場合、指定された商品に紐付けられた検索条件に基づくウェブ検索が行われる。図3に示すように、検索条件は記憶部15に記憶されていてもよい。また、検索条件は、図3に示すように商品毎に定義・登録されてもよいし、商品毎等の縛りなしで定義・登録されてもよい。
検索条件は、ウェブ検索で、画像取得対象の画像を公開しているウェブページを特定(検索)できるように指定される。図4乃至図6にこのようなウェブページの一例を示す。このようなウェブページとしては、商品のメーカの商品情報サイト、ニュースリリースサイト(図4、図5参照)、卸問屋や小売店のブログ等の情報発信サイト(図6参照)等が例示されるが、これらに限定されない。
検索条件は、例えば、URLで上述のようなサイトのウェブページを直接指定するものであってもよい。
その他、検索条件は、キーワードを論理演算子で繋ぐなどして定義されたウェブ検索のための条件であってもよい。例えば、画像取得対象に関するキーワード(商品名、メーカ名等)や、画像に関するキーワード(画像、写真等)等を論理演算子で繋いだ検索条件であってもよい。また、検索条件は、例えば“新商品”、“New”等のように新商品に付される傾向があるキーワードを含んでもよい。また、検索条件は、例えば“リニューアル”、“デザイン変更”等のように、リニューアル等により外観が変更した商品に付される傾向があるキーワードを含んでもよい。
なお、キーワードで指定された検索条件でウェブ検索を行った場合、複数のウェブページがヒットする可能性がある。この場合、ウェブ商品画像取得部11は、検索結果に含まれる複数のウェブページの中の上位所定数のウェブページをウェブ検索の結果として特定し、特定したウェブページで公開されているウェブ商品画像を取得してもよい。
次に、「ウェブ検索で特定されたウェブページで公開されているウェブ商品画像を取得する処理」の詳細について説明する。
まず、ウェブ商品画像取得部11は、ウェブ検索で特定されたウェブページを解析し、当該ウェブページで公開されている画像(画像ファイル)を取得する。その後、ウェブ商品画像取得部11は、取得した画像を解析し、取得した複数の画像の中から所定の除去条件を満たす画像を除去する。そして、ウェブ商品画像取得部11は、除去後に残った画像を、ウェブ商品画像として取得する。
除去条件は、「画像サイズが基準値より小さい」、「予め登録された除去対象画像(例:サイトに常に表示される商品に関係ないロゴ等)である」、「機械学習で生成された“画像に含まれる被写体を推定する推定モデル”に基づく被写体の推定結果が商品以外の対象(例:人、動物、山、海等)である」等であるが、これらに限定されない。
その他、例えば図7に示すように、商品データベースにおいて、予め各商品の形状が登録されていてもよい。商品の形状は、例えば、1つ又は複数の方向各々から商品を観察した際の平面形状で示されてもよい。平面形状は、「円」、「長方形(縦横比、3:7)」等のように定義されてもよいし、商品のシルエットを示す画像で定義されてもよい。その他、商品の形状は、3次元情報で示されてもよい。そして、除去条件は、「画像に含まれる被写体の形状が登録された商品形状と合致しない」であってもよい。この場合、ウェブ商品画像取得部11は、各商品の検索条件に基づくウェブ検索で特定したウェブページから取得した画像に含まれる被写体が、各商品に紐付けて登録された形状を満たすか否かを判断する。判断の際、ウェブ商品画像取得部11は、画像に含まれる被写体を回転させながら、登録された平面形状との比較を行ってもよい。その他、ウェブ商品画像取得部11は、商品の形状として商品データベースに登録された3次元情報を利用して商品を複数の方向各々から観察した際の平面画像を生成し、ウェブページから取得した画像に含まれる被写体との形状の比較を行ってもよい。
その他、除去条件は、「ユーザにより除去対象として指定された」であってもよい。すなわち、ウェブ商品画像取得部11は、取得した画像の全て又は一部をユーザに向けて提示(例:ディスプレイに表示)し、各画像をウェブ商品画像として残すか否かの入力を受付けてもよい。この場合、上述のような他の除去条件で自動的に除去される画像は、ユーザによる当該確認対象から外してもよい。このようにすれば、ユーザの負担が軽減される。
このユーザへの取得した画像の提示、及び、入力の受付処理において、ユーザは、所定の画像(例:サイトに常に表示される商品に関係ないロゴ等)を上述した除去対象画像として指定・登録できてもよい。
なお、ウェブ商品画像取得部11は、ウェブ画面から取得した画像に対して画像編集処理を行ってもよい。ウェブ商品画像取得部11は、上述したウェブ画面から取得した画像の一部を除去し、残った画像をウェブ商品画像として取得する処理の前に当該画像編集処理を行ってもよいし、その処理の後に当該画像編集処理を行ってもよいし、当該画像編集処理の一部をその処理の前に行い他の一部をその処理の後に行ってもよい。
例えば、ウェブ商品画像取得部11は、ウェブ商品画像の中の商品が存在する領域を特定し、その他の背景領域を除去する編集を行ってもよい。
その他、ウェブ商品画像取得部11は、図8に示すように、ウェブ商品画像が示す商品の向きを変更する編集を行ってもよい。図8では、斜視図が正面図に変更されている。その他、ウェブ商品画像取得部11は、図9に示すように、ウェブ商品画像が示す商品を複数の方向各々から観察した場合の状態を示す複数の画像を生成してもよい。図9では、商品を真上から観察した場合の状態を示す画像と、商品を真横から観察した場合の状態を示す画像とが生成されている。その他、ウェブ商品画像取得部11は、拡大、回転等の画像編集処理を行ってもよい。
その他、図6に示すように、1つのウェブ商品画像が複数の商品を含む場合がある。この場合、ウェブ商品画像取得部11は、各商品の領域を個別に切り出し、別々の画像ファイルとする編集を行ってもよい。
ウェブ商品画像取得部11は、これらの編集をユーザ入力に基づき行ってもよいし、自動で行ってもよいし、一部をユーザ入力に基づき行い他の一部を自動で行ってもよい。自動で行う場合、例えば図7に示すように、商品データベースにおいて、予め商品データベースに登録する商品画像で示すべき各商品の平面形状の条件(画像条件)が登録されていてもよい。平面形状の条件は、例えば、「円」、「長方形(縦横比、3:7)」等のように定義されてもよいし、商品のシルエットを示す画像で定義されてもよい。この場合、ウェブ商品画像取得部11は、各商品の検索条件に基づくウェブ検索で特定したウェブページから取得した画像において示される被写体の平面形状が、各商品に紐付けて登録された画像条件を満たすように、画像に含まれる被写体を回転等させる画像編集を行う。
図1に戻り、商品識別情報取得部12は、ウェブ商品画像取得部11により取得されたウェブ商品画像が示す商品の商品識別情報を取得する。商品識別情報は、商品名、商品コード等である。
例えば、商品識別情報取得部12は、各ウェブ商品画像を公開しているウェブページから各ウェブ商品画像の商品識別情報を取得してもよい。具体的には、商品識別情報取得部12は、ウェブページの中から、“商品名”、“商品コード”等のキーワードを検索してもよい。そして、ウェブページ内でそのキーワードとの位置関係が所定条件(例:連続している)を満たす単語を、商品識別情報として取得してもよい。
他の例として、商品識別情報取得部12は、各ウェブ商品画像に紐付けて、各ウェブ商品画像が示す商品の商品識別情報の候補をユーザに向けて提示(例:ディスプレイに表示)し、その候補の中からユーザが選択した商品識別情報を取得してもよい。
例えば、商品識別情報取得部12は、各ウェブ商品画像を公開しているウェブページを検索するために利用した検索条件が紐付けられている商品の商品識別情報を候補として提示してもよい。
その他、商品識別情報取得部12は、ウェブページ及び/又はそのウェブページのURLから抽出した単語を候補として提示してもよい。例えば、商品識別情報取得部12は、ウェブページの中から、“商品名”、“商品コード”等のキーワードを検索し、そのキーワードの前後所定文字数以内に表示されている単語を候補として提示してもよい。
その他、商品識別情報取得部12は、ウェブ商品画像と、商品データベースに登録されている複数の商品の商品画像各々との類似度を算出してもよい。類似度は、例えば0~100%の値で示されてもよいし(100%に近づくほど類似している)、0~1の値で示されてもよいし(1に近づくほど類似している)、その他の手法で表されてもよい。そして類似度が第1の所定値以上の商品が存在する場合、商品識別情報取得部12は、上記類似度が第1の所定値以上の商品の商品識別情報を候補として提示してもよい。一方、上記類似度が第1の所定値以上の商品が存在しない場合、商品識別情報取得部12は、商品データベースにおいて商品画像が登録されていない商品の商品識別情報を候補として提示してもよい。
その他、商品識別情報取得部12は、各ウェブ商品画像を公開しているウェブページが所定のキーワードを含む場合、商品データベースにおいて商品画像が登録されていない商品の商品識別情報を候補として提示してもよい。所定のキーワードは、“新商品”、“New”等のように新商品に付される傾向がある文言である。
登録部13は、ウェブ商品画像取得部11が取得したウェブ商品画像と、商品識別情報取得部12が取得した商品識別情報とを紐付けて、商品データベースに登録する。
次に、図10のフローチャートを用いて、処理装置10の処理の流れの一例を説明する。
まず、S10では、ウェブ商品画像取得部11は、所定のタイミングで、予め定められた検索条件でウェブ検索を行い、特定されたウェブページで公開されている画像を取得する。所定のタイミングは、予め定められたタイミング(例:毎日所定の時刻)であってもよいし、ユーザによる指示入力があったタイミングであってもよい。なお、ウェブ商品画像取得部11は、取得した画像に対して編集処理を行ってもよい。編集処理の詳細は上述の通りであるので、ここでの説明は省略する。
そして、ウェブ商品画像取得部11は、取得した画像の中から除去条件を満たす画像を除去し、残った画像をウェブ商品画像として取得する。例えば、ウェブ商品画像取得部11は、取得した画像の全て又は一部をユーザに向けて提示(例:ディスプレイに表示)し、各画像をウェブ商品画像として残すか否かの入力を受付けてもよい。なお、この処理はあくまで一例であり、上述の通り、ウェブ商品画像取得部11は、他の処理で、取得した画像の中から除去条件を満たす画像を除去してもよい。また、ウェブ商品画像取得部11は、取得したウェブ商品画像に対して編集処理を行ってもよい。編集処理の詳細は上述の通りであるので、ここでの説明は省略する。
次に、S11では、商品識別情報取得部12は、S10で取得されたウェブ商品画像が示す商品の商品識別情報を取得する。
ここで、図11のフローチャートを用いて、S11の処理の流れの一例を説明する。なお、S11のフローチャートで示す処理の流れはあくまで一例であり、上述の通り、商品識別情報取得部12は、他の処理で商品識別情報を取得してもよい。
まず、商品識別情報取得部12は、ウェブ商品画像と、商品データベースに登録されている複数の商品各々の商品画像との類似度を算出する(S20)。次いで、商品識別情報取得部12は、類似度が第1の所定値以上の商品画像が商品データベースに登録されているか否かを判断する(S21)。
類似度が第1の所定値以上の商品画像が商品データベースに登録されている場合(S21のYes)、商品識別情報取得部12は、商品データベースにおいてその商品画像に紐付けられた商品識別情報を候補として提示する(S22)。
一方、類似度が第1の所定値以上の商品画像が商品データベースに登録されていない場合(S21のNo)、商品識別情報取得部12は、商品データベースにおいて商品画像が登録されていない商品の商品識別情報(画像識別情報が紐付けられてない商品識別情報)を候補として提示する(S23)。
その後、商品識別情報取得部12は、提示した候補の中から1つを選択する入力を受付けると(S24)、選択された商品識別情報を取得する(S25)。
図10に戻り、S12では、登録部13は、S10で取得されたウェブ商品画像と、S11で取得された商品識別情報とを紐付けて、商品データベースに登録する。
以上説明した本実施形態の処理装置10によれば、ウェブページで公開されている商品画像を取得し、商品データベースに登録することができる。結果、会計対象の商品を撮影した画像と予め登録された各商品の参照画像とに基づき会計対象の商品を認識・登録する技術において利用される各商品の参照画像を効率的に商品データベースに登録することができる。
また、本実施形態の処理装置10によれば、商品画像のみならず、商品識別情報をも、ウェブページを利用して取得することができる。このため、参照画像を商品データベースに登録する作業をより効率化できる。
また、本実施形態の処理装置10によれば、ウェブページから商品画像を取得すると、商品識別情報の候補を自動的に生成し、その中からユーザが選択した商品識別情報に紐付けて商品画像を登録することができる。ユーザによる確認・選択工程を入れることで、ウェブページから取得した商品画像を誤った商品識別情報に紐付けて登録する不都合を抑制できる。また、ユーザ作業は、候補の中から選択するという簡単な作業となるので、ユーザ負担を軽減できる。
また、上述のような特徴的な手法で候補を自動生成するので、候補の中に真の商品識別情報が含まれる確率が高くなる。例えば、本実施形態の処理装置10によれば、ウェブページから取得した商品画像との類似度が第1の所定値以上である商品画像が商品データベースに登録されている場合、その類似する商品画像で特定される商品の商品識別情報を候補として提示することができる。一方で、ウェブページから取得した商品画像との類似度が第1の所定値以上である商品画像が商品データベースに登録されていない場合、ウェブページから取得した商品画像で示される商品はそれまで店舗で扱っていなかった商品である可能性が高いため、商品データベースに商品画像が登録されていない商品の商品識別情報を候補として提示することができる。このように候補を決定する処理装置10によれば、候補の中に真の商品識別情報が含まれる確率が高くなる。
また、本実施形態の処理装置10によれば、ウェブページの中の「新商品」「New」等のように新商品に付される傾向がある所定のキーワードが含まれる場合、ウェブページから取得した商品画像で示される商品は新商品である可能性が高いため、商品データベースに商品画像が登録されていない商品の商品識別情報を候補として提示することができる。このように候補を決定する処理装置10によれば、候補の中に真の商品識別情報が含まれる確率が高くなる。
<第2の実施形態>
本実施形態の処理装置10は、商品識別情報取得部12が取得した商品識別情報に紐付けて商品画像を登録済みである場合、ウェブ商品画像取得部11が取得したウェブ商品画像と登録済みの商品画像との差分を判定し、差分があると判定した場合に、ウェブ商品画像を新たに商品データベースに登録する点で、第1の実施形態と異なる。以下、詳細に説明する。
図12に、処理装置10の機能ブロック図の一例を示す。図示するように、処理装置10は、ウェブ商品画像取得部11と、商品識別情報取得部12と、登録部13と、判定部14と、記憶部15とを有する。
判定部14は、商品識別情報取得部12により取得された商品識別情報が、商品データベースに商品画像を登録済みの商品の商品識別情報である場合、ウェブ商品画像と、登録済みの商品画像との差分の有無を判定する。「差分無」は、ウェブ商品画像と登録済みの商品画像とが完全同一である場合のみならず、わずかな差異が存在する場合も包含する概念であってもよい。
例えば、判定部14は、ウェブ商品画像と登録済みの商品画像とを出力し(例:ディスプレイに表示)、差分の有無を示すユーザ入力を受付ける。判定部14は、ウェブ商品画像と登録済みの商品画像とを並べて出力してもよい。
その他、判定部14は、ウェブ商品画像と登録済みの商品画像との類似度に基づき、差分の有無を判定してもよい。例えば、判定部14は、ウェブ商品画像と登録済みの商品画像との類似度が第2の所定値未満である場合、差分有と判定してもよい。なお、第1の実施形態で説明した第1の所定値と、当該第2の所定値は、同じであってもよいし、異なってもよい。
登録部13は、商品データベースに商品画像を登録済みの商品の商品識別情報を商品識別情報取得部12が取得した場合、判定部14が差分有と判定した場合にウェブ商品画像を商品データベースに登録し、判定部14が差分無と判定した場合にはウェブ商品画像を商品データベースに登録しない。登録部13のその他の構成は、第1の実施形態と同様である。
また、ウェブ商品画像取得部11、商品識別情報取得部12及び記憶部15の構成は、第1の実施形態と同様である。
次に、図13のフローチャートを用いて、処理装置10の処理の流れの一例を説明する。
まず、S30では、ウェブ商品画像取得部11は、所定のタイミングで、予め定められた検索条件でウェブ検索を行い、特定されたウェブページで公開されているウェブ商品画像を取得する。次に、S31では、商品識別情報取得部12は、S30で取得されたウェブ商品画像が示す商品の商品識別情報を取得する。S30及びS31の処理は、第1の実施形態で説明したS10及びS11の処理と同様である。
S31の後、判定部14は、S31で取得された商品識別情報が商品データベースに商品画像を登録済みの商品の商品識別情報であるか否かを確認する(S32)。
商品画像を登録済みの商品の商品識別情報である場合(S32のYes)、判定部14は、S30で取得されたウェブ商品画像と、S31で取得された商品識別情報に紐付けて登録されている商品画像との差分の有無を判定する(S33)。例えば、判定部14は、ウェブ商品画像と登録済みの商品画像とを並べて出力し(例:ディスプレイに表示)、差分の有無を示すユーザ入力を受付ける。
S33の判定の結果が「差分有」である場合(S34のYes)、登録部13はS30で取得されたウェブ商品画像をS31で取得された商品識別情報に紐付けて商品データベースに登録する(S35)。
一方、S33の判定の結果が「差分無」である場合(S34のNo)、登録部13はS30で取得されたウェブ商品画像を商品データベースに登録しない。
また、S31で取得された商品識別情報が商品画像を登録済みの商品の商品識別情報でない場合(S32のNo)、登録部13はS30で取得されたウェブ商品画像をS31で取得された商品識別情報に紐付けて商品データベースに登録する(S35)。
以上、本実施形態の処理装置10によれば、第1の実施形態と同様の作用効果が実現される。また、本実施形態の処理装置10によれば、ウェブページからある商品の商品画像を取得した後、その商品画像と既に登録されているその商品の商品画像との差分を判定し、差分がある場合にウェブページから取得した商品画像を登録することができる。このような処理装置10によれば、リニューアル等で商品の外観が変化し、登録している商品画像の更新等が必要な場合のみ、ウェブページから取得した商品画像を登録することができる。
なお、本明細書において、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置が他の装置や記憶媒体に格納されているデータを取りに行くこと(能動的な取得)」、たとえば、他の装置にリクエストまたは問い合わせして受信すること、他の装置や記憶媒体にアクセスして読み出すこと等を含んでもよい。また、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置に他の装置から出力されるデータを入力すること(受動的な取得)」、たとえば、配信(または、送信、プッシュ通知等)されるデータを受信すること等を含んでもよい。また、「取得」とは、受信したデータまたは情報の中から選択して取得すること、及び、「データを編集(テキスト化、データの並び替え、一部データの抽出、ファイル形式の変更等)などして新たなデータを生成し、当該新たなデータを取得すること」を含んでもよい。
以上、実施形態(及び実施例)を参照して本願発明を説明したが、本願発明は上記実施形態(及び実施例)に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限定されない。
1. 予め定められた検索条件で特定されたウェブページで公開されているウェブ商品画像を取得するウェブ商品画像取得手段と、
前記ウェブ商品画像が示す商品の商品識別情報を取得する商品識別情報取得手段と、
前記ウェブ商品画像と前記商品識別情報とを紐付けて、商品データベースに登録する登録手段と、
を有する処理装置。
2. 前記商品識別情報取得手段は、前記ウェブページから前記商品識別情報を取得する1に記載の処理装置。
3. 前記商品識別情報取得手段は、前記商品識別情報の候補の中からユーザが選択した前記商品識別情報を取得する1に記載の処理装置。
4. 前記商品データベースには、複数の商品各々の商品画像が登録されており、
前記商品識別情報取得手段は、前記商品画像と前記ウェブ商品画像との類似度が所定値以上である商品の前記商品識別情報を前記候補として提示する3に記載の処理装置。
5. 前記商品データベースには、複数の商品各々の商品画像が登録されており、
前記商品データベースに登録されている商品の中には、前記商品画像が登録されている商品と、前記商品画像が登録されていない商品とが存在し、
前記商品識別情報取得手段は、前記商品画像と前記ウェブ商品画像との類似度が所定値以上である商品が存在しない場合、前記商品画像が登録されていない商品の前記商品識別情報を前記候補として提示する3又は4に記載の処理装置。
6. 前記商品データベースには、複数の商品各々の商品画像が登録されており、
前記商品データベースに登録されている商品の中には、前記商品画像が登録されている商品と、前記商品画像が登録されていない商品とが存在し、
前記商品識別情報取得手段は、前記ウェブページが所定のキーワードを含む場合、前記商品画像が登録されていない商品の前記商品識別情報を前記候補として表示する3又は4に記載の処理装置。
7. 前記商品データベースには、複数の商品各々の商品画像が登録されており、
前記商品データベースに前記商品画像を登録済みの商品の前記商品識別情報を前記商品識別情報取得手段が取得した場合、前記ウェブ商品画像と、登録済みの前記商品画像との差分を判定する判定手段をさらに有し、
前記登録手段は、前記商品データベースに前記商品画像を登録済みの商品の前記商品識別情報を前記商品識別情報取得手段が取得した場合、前記差分がある場合に前記ウェブ商品画像を前記商品データベースに登録し、前記差分がない場合には前記ウェブ商品画像を前記商品データベースに登録しない1から6のいずれかに記載の処理装置。
8. 前記判定手段は、前記ウェブ商品画像と登録済みの前記商品画像とを出力し、差分を示すユーザ入力を受付ける7に記載の処理装置。
9. 前記判定手段は、前記ウェブ商品画像と登録済みの前記商品画像との類似度に基づき、差分を判定する7に記載の処理装置。
10. 前記ウェブ商品画像取得手段は、前記ウェブ商品画像が示す商品形状が所定の条件を満たすように前記ウェブ商品画像を編集する1から9のいずれかに記載の処理装置。
11. 前記所定の条件は、前記商品データベースに登録されている商品毎に予め登録されている10に記載の処理装置。
12. コンピュータが、
予め定められた検索条件で特定されたウェブページで公開されているウェブ商品画像を取得し、
前記ウェブ商品画像が示す商品の商品識別情報を取得し、
前記ウェブ商品画像と前記商品識別情報とを紐付けて、商品データベースに登録する処理方法。
13. コンピュータを、
予め定められた検索条件で特定されたウェブページで公開されているウェブ商品画像を取得するウェブ商品画像取得手段、
前記ウェブ商品画像が示す商品の商品識別情報を取得する商品識別情報取得手段、
前記ウェブ商品画像と前記商品識別情報とを紐付けて、商品データベースに登録する登録手段、
として機能させるプログラム。

Claims (12)

  1. 予め定められた検索条件で特定されたウェブページで公開されているウェブ商品画像を取得するウェブ商品画像取得手段と、
    前記ウェブ商品画像が示す商品の商品識別情報を取得する商品識別情報取得手段と、
    前記ウェブ商品画像と前記商品識別情報とを紐付けて、商品データベースに登録する登録手段と、
    を有し、
    前記検索条件はキーワードで構成され
    前記商品データベースには、複数の商品各々の商品画像が登録されており、
    前記商品データベースに登録されている商品の中には、前記商品画像が登録されている商品と、前記商品画像が登録されていない商品とが存在し、
    前記商品識別情報取得手段は、
    前記商品画像と前記ウェブ商品画像との類似度が所定値以上である商品が存在しない場合、前記商品画像が登録されていない商品の前記商品識別情報を候補として提示し、前記候補の中からユーザが選択した前記商品識別情報を取得する処理装置。
  2. 予め定められた検索条件で特定されたウェブページで公開されているウェブ商品画像を取得するウェブ商品画像取得手段と、
    前記ウェブ商品画像が示す商品の商品識別情報を取得する商品識別情報取得手段と、
    前記ウェブ商品画像と前記商品識別情報とを紐付けて、商品データベースに登録する登録手段と、
    を有し、
    前記検索条件はキーワードで構成され
    前記商品データベースには、複数の商品各々の商品画像が登録されており、
    前記商品データベースに登録されている商品の中には、前記商品画像が登録されている商品と、前記商品画像が登録されていない商品とが存在し、
    前記商品識別情報取得手段は、
    前記ウェブページが所定のキーワードを含む場合、前記商品画像が登録されていない商品の前記商品識別情報を候補として表示し、前記候補の中からユーザが選択した前記商品識別情報を取得する処理装置。
  3. 記商品識別情報取得手段は、前記商品画像と前記ウェブ商品画像との類似度が所定値以上である商品が存在する場合、前記商品画像と前記ウェブ商品画像との類似度が所定値以上である商品の前記商品識別情報を前記候補として提示する請求項1又は2に記載の処理装置。
  4. 記商品データベースに前記商品画像を登録済みの商品の前記商品識別情報を前記商品識別情報取得手段が取得した場合、前記ウェブ商品画像と、登録済みの前記商品画像との差分を判定する判定手段をさらに有し、
    前記登録手段は、前記商品データベースに前記商品画像を登録済みの商品の前記商品識別情報を前記商品識別情報取得手段が取得した場合、前記差分がある場合に前記ウェブ商品画像を前記商品データベースに登録し、前記差分がない場合には前記ウェブ商品画像を前記商品データベースに登録しない請求項1からのいずれか1項に記載の処理装置。
  5. 前記判定手段は、前記ウェブ商品画像と登録済みの前記商品画像とを出力し、差分を示すユーザ入力を受付ける請求項に記載の処理装置。
  6. 前記判定手段は、前記ウェブ商品画像と登録済みの前記商品画像との類似度に基づき、差分を判定する請求項に記載の処理装置。
  7. 前記ウェブ商品画像取得手段は、前記ウェブ商品画像が示す商品形状が所定の条件を満たすように前記ウェブ商品画像を編集する請求項1からのいずれか1項に記載の処理装置。
  8. 前記所定の条件は、前記商品データベースに登録されている商品毎に予め登録されている請求項に記載の処理装置。
  9. コンピュータが、
    予め定められた検索条件で特定されたウェブページで公開されているウェブ商品画像を取得し、
    前記ウェブ商品画像が示す商品の商品識別情報を取得し、
    前記ウェブ商品画像と前記商品識別情報とを紐付けて、商品データベースに登録し、
    前記検索条件はキーワードで構成され
    前記商品データベースには、複数の商品各々の商品画像が登録されており、
    前記商品データベースに登録されている商品の中には、前記商品画像が登録されている商品と、前記商品画像が登録されていない商品とが存在し、
    前記コンピュータが、
    前記商品画像と前記ウェブ商品画像との類似度が所定値以上である商品が存在しない場合、前記商品画像が登録されていない商品の前記商品識別情報を候補として提示し、前記候補の中からユーザが選択した前記商品識別情報を取得する処理方法。
  10. コンピュータが、
    予め定められた検索条件で特定されたウェブページで公開されているウェブ商品画像を取得し、
    前記ウェブ商品画像が示す商品の商品識別情報を取得し、
    前記ウェブ商品画像と前記商品識別情報とを紐付けて、商品データベースに登録し、
    前記検索条件はキーワードで構成され
    前記商品データベースには、複数の商品各々の商品画像が登録されており、
    前記商品データベースに登録されている商品の中には、前記商品画像が登録されている商品と、前記商品画像が登録されていない商品とが存在し、
    前記コンピュータが、
    前記ウェブページが所定のキーワードを含む場合、前記商品画像が登録されていない商品の前記商品識別情報を候補として表示し、前記候補の中からユーザが選択した前記商品識別情報を取得する処理方法。
  11. コンピュータを、
    予め定められた検索条件で特定されたウェブページで公開されているウェブ商品画像を取得するウェブ商品画像取得手段、
    前記ウェブ商品画像が示す商品の商品識別情報を取得する商品識別情報取得手段、
    前記ウェブ商品画像と前記商品識別情報とを紐付けて、商品データベースに登録する登録手段、
    として機能させ、
    前記検索条件はキーワードで構成され
    前記商品データベースには、複数の商品各々の商品画像が登録されており、
    前記商品データベースに登録されている商品の中には、前記商品画像が登録されている商品と、前記商品画像が登録されていない商品とが存在し、
    前記商品識別情報取得手段は、
    前記商品画像と前記ウェブ商品画像との類似度が所定値以上である商品が存在しない場合、前記商品画像が登録されていない商品の前記商品識別情報を候補として提示し、前記候補の中からユーザが選択した前記商品識別情報を取得するプログラム。
  12. コンピュータを、
    予め定められた検索条件で特定されたウェブページで公開されているウェブ商品画像を取得するウェブ商品画像取得手段、
    前記ウェブ商品画像が示す商品の商品識別情報を取得する商品識別情報取得手段、
    前記ウェブ商品画像と前記商品識別情報とを紐付けて、商品データベースに登録する登録手段、
    として機能させ、
    前記検索条件はキーワードで構成され
    前記商品データベースには、複数の商品各々の商品画像が登録されており、
    前記商品データベースに登録されている商品の中には、前記商品画像が登録されている商品と、前記商品画像が登録されていない商品とが存在し、
    前記商品識別情報取得手段は、
    前記ウェブページが所定のキーワードを含む場合、前記商品画像が登録されていない商品の前記商品識別情報を候補として表示し、前記候補の中からユーザが選択した前記商品識別情報を取得するプログラム。
JP2021541404A 2019-08-21 2019-08-21 処理装置、処理方法及びプログラム Active JP7380689B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/032606 WO2021033285A1 (ja) 2019-08-21 2019-08-21 処理装置、処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2021033285A1 JPWO2021033285A1 (ja) 2021-02-25
JP7380689B2 true JP7380689B2 (ja) 2023-11-15

Family

ID=74660679

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021541404A Active JP7380689B2 (ja) 2019-08-21 2019-08-21 処理装置、処理方法及びプログラム

Country Status (3)

Country Link
US (1) US20220284493A1 (ja)
JP (1) JP7380689B2 (ja)
WO (1) WO2021033285A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003055826A (ja) 2001-08-17 2003-02-26 Minolta Co Ltd サーバおよび仮想試着用データ管理方法
JP2005161053A (ja) 2003-11-28 2005-06-23 Ge Medical Systems Global Technology Co Llc 運動する対象の時間系列を走査する方法及び装置
JP2009251850A (ja) 2008-04-04 2009-10-29 Albert:Kk 類似画像検索を用いた商品推薦システム
JP2018128883A (ja) 2017-02-09 2018-08-16 株式会社 Vasily 情報処理装置、方法およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003533770A (ja) * 2000-05-05 2003-11-11 株式会社メガチップス 繰り延べ閲覧のための情報取得及び記憶用のシステムおよび方法
US8838484B2 (en) * 2008-10-27 2014-09-16 Bay Photo, Inc. Embeddable distributed E-commerce and community building system for digital media
GB0909844D0 (en) * 2009-06-08 2009-07-22 Codigital Ltd Method and system for generating collaborative content
JP5447126B2 (ja) * 2010-04-16 2014-03-19 株式会社Jvcケンウッド テレビ放送受信装置、取得目的情報生成方法、プログラム、取得目的情報生成装置、テレビ放送システム
KR20160022407A (ko) * 2014-08-19 2016-03-02 (주)에이디79 하나의 이미지 내에 포함된 다수의 제품 이미지 영역의 자동분할을 통한 다수의 정보제공방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003055826A (ja) 2001-08-17 2003-02-26 Minolta Co Ltd サーバおよび仮想試着用データ管理方法
JP2005161053A (ja) 2003-11-28 2005-06-23 Ge Medical Systems Global Technology Co Llc 運動する対象の時間系列を走査する方法及び装置
JP2009251850A (ja) 2008-04-04 2009-10-29 Albert:Kk 類似画像検索を用いた商品推薦システム
JP2018128883A (ja) 2017-02-09 2018-08-16 株式会社 Vasily 情報処理装置、方法およびプログラム

Also Published As

Publication number Publication date
US20220284493A1 (en) 2022-09-08
JPWO2021033285A1 (ja) 2021-02-25
WO2021033285A1 (ja) 2021-02-25

Similar Documents

Publication Publication Date Title
JP4366108B2 (ja) 文書検索装置、文書検索方法及びコンピュータプログラム
JP6759844B2 (ja) 画像を施設に対して関連付けるシステム、方法、プログラム及び装置
US20100092093A1 (en) Feature matching method
JP2010518507A (ja) 特徴マッチング方法
US20130202213A1 (en) Method and system for fast and robust identification of specific product images
US20190188729A1 (en) System and method for detecting counterfeit product based on deep learning
JP2015529908A (ja) 視覚的クエリーに応答したテキスト用語の識別
KR20010053788A (ko) 내용기반 이미지 검색 시스템 및 그 방법
JP2007200014A (ja) 情報処理装置、情報処理方法、情報処理プログラム及び記録媒体
EP2356583B1 (en) Method and system for analysing an image generated by at least one camera
CN107835994A (zh) 通过图像的任务聚焦搜索
JP5869989B2 (ja) 物品照合装置および方法並びにプログラム
US20120195499A1 (en) Color description analysis device, color description analysis method, and color description analysis program
JP2013109773A (ja) 特徴マッチング方法及び商品認識システム
JP7235119B2 (ja) 処理装置、会計装置、処理方法及びプログラム
US20220092105A1 (en) Intelligent Systems and Methods for Visual Search Queries
JP2005151127A5 (ja)
JP2016110256A (ja) 情報処理装置及び情報処理プログラム
JP7380689B2 (ja) 処理装置、処理方法及びプログラム
JP7405144B2 (ja) 処理装置、処理方法及びプログラム
JP7388439B2 (ja) 登録システム、処理装置、処理方法及びプログラム
JP7027524B2 (ja) 視覚的入力の処理
WO2019215966A1 (ja) 登録システム、登録方法及びプログラム
KR102477841B1 (ko) 상품 검색 장치, 서버 및 검색 시스템의 제어 방법
JP6303742B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230420

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230920

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231016

R151 Written notification of patent or utility model registration

Ref document number: 7380689

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151