JP7170210B2 - 商品情報提供システム、商品情報提供方法、及び、プログラム - Google Patents

Description

本開示は、一般に、商品情報提供システム、商品情報提供方法、及び、プログラムに関する。本開示は、特に、商品に対応する商品情報を提供する商品情報提供システム、商品情報提供方法、及び、プログラムに関する。

特許文献１は、商品カタログを用いて情報提示を行う情報提示システムを開示する。情報提示システムは、ネットワークを介して互いに接続される情報提示装置と、情報提示サーバーを備える。情報提示システムは、情報提示装置から送信される識別情報に従って、前記情報提示サーバーで、記憶手段から画像関連情報を取出し、該画像関連情報をネットワークを介して識別情報が送信された情報提示装置に送信し、該情報提示装置の情報提示手段で、サーバーから送信された画像関連情報の提示を行う。

特開２００４－５４３０７号公報

特許文献１では、商品カタログは、種々の商品画像（商品の記載）が印刷されており、各頁では、該ページ全般の商品に関する識別情報が画像として印刷されている。つまり、特許文献１では、商品画像等の商品の記載だけでは商品情報を取得することはできず、商品に関する識別情報を予め印刷しておく必要があった。

課題は、商品の記載から商品に対応する商品情報を提供できる、商品情報提供システム、商品情報提供方法、及び、プログラムを提供することである。

本開示の一態様の商品情報提供システムは、文字情報抽出部と、図情報抽出部と、商品情報取得部と、を備える。前記文字情報抽出部は、商品の記載を含む画像から、前記商品に関する文字情報の抽出を行う。前記図情報抽出部は、前記画像から、前記商品に関する図情報の抽出を行う。前記商品情報取得部は、前記文字情報抽出部で抽出された前記文字情報と前記図情報抽出部で抽出された前記図情報との少なくとも一方に基づいて、前記商品に対応する商品情報を取得する。前記商品情報取得部は、第１処理と、第２処理と、を行う機能を有し、前記第１処理では、前記文字情報抽出部で抽出された前記文字情報を用いて前記商品に対応する商品情報を取得する。前記第２処理では、前記図情報抽出部で抽出された前記図情報を用いて前記商品に対応する商品情報を取得する。前記商品情報取得部は、前記第１処理を前記第２処理よりも先に実行し、前記第１処理で前記商品に対応する商品情報を取得できた場合、前記第２処理を実行せず、前記文字情報抽出部での前記文字情報の抽出が失敗した場合、前記第２処理を実行する。

本開示の一態様の商品情報提供方法は、文字情報抽出部によって、商品に関する画像から、前記商品に関する文字情報の抽出を行う。図情報抽出処理によって、前記画像から、前記商品に関する図情報の抽出を行う。商品情報取得部によって、前記文字情報と前記図情報との少なくとも一方を用いて、前記商品に対応する商品情報を取得する。前記商品情報取得部は、第１処理と、第２処理と、を行う機能を有する。前記第１処理では、前記文字情報抽出部によって抽出された前記文字情報を用いて前記商品に対応する商品情報を取得する。前記第２処理では、前記図情報抽出部によって抽出された前記図情報を用いて前記商品に対応する商品情報を取得する。前記商品情報取得部は、前記第１処理を前記第２処理よりも先に実行し、前記第１処理で前記商品に対応する商品情報を取得できた場合、前記第２処理を実行せず、前記文字情報抽出部での前記文字情報の抽出が失敗した場合、前記第２処理を実行する。

本開示の一態様のプログラムは、前記商品情報提供方法を、１以上のプロセッサに実行させるための、プログラムである。

本開示の態様によれば、商品の記載から商品に対応する商品情報を提供できる、という効果を奏する。

図１は、一実施形態の商品情報提供システムを含む全体システムのブロック図である。 図２は、商品情報提供システムでの処理の説明図である。 図３は、商品情報提供システムでの処理の別の説明図である。 図４は、商品情報提供システムでの処理の別の説明図である。 図５は、商品情報提供システムでの処理の別の説明図である。 図６は、商品情報提供システムでの処理の別の説明図である。 図７は、商品情報提供システムでの処理の別の説明図である。 図８は、商品情報提供システムの動作のフローチャートである。

１．実施形態
１．１ 概要
図１は、商品情報提供システム１０を示す。商品情報提供システム１０は、文字情報抽出部Ｆ１２と、図情報抽出部Ｆ１３と、商品情報取得部Ｆ１４と、を備える。文字情報抽出部Ｆ１２は、商品の記載を含む画像Ｇ１０（図２参照）から商品に関する文字情報Ｌ１１～Ｌ１３，Ｌ２１～Ｌ２３，Ｌ３１～Ｌ３５，Ｌ４１～Ｌ４３，Ｌ５１～Ｌ５３，Ｌ６１～Ｌ６３（図５参照）の抽出を行う。図情報抽出部Ｆ１３は、画像Ｇ１０から、商品に関する図情報Ｉ１０～Ｉ６０（図５参照）の抽出を行う。商品情報取得部Ｆ１４は、文字情報抽出部Ｆ１２で抽出された文字情報と図情報抽出部Ｆ１３で抽出された図情報との少なくとも一方に基づいて、商品に対応する商品情報Ｐ１０～Ｐ６０（図７参照）を取得する。

商品情報提供システム１０では、商品の記載を含む画像Ｇ１０から、商品に関する文字情報だけでなく商品に関する図情報を抽出可能である。そして、文字情報と図情報との少なくとも一方に基づいて、商品に対応する商品情報を取得する。したがって、商品情報提供システム１０によれば、商品の記載から商品に対応する商品情報Ｐ１０～Ｐ６０を提供できる。特に、商品情報を取得するために、商品の記載とは別に、商品に関する識別情報を予め用意しておく必要がない。よって、商品情報提供システム１０は、特別な画像ではなく、汎用の画像をもとに商品情報を取得できる。

１．２ 詳細
以下、本実施形態の商品情報提供システム１０について、図１～図８を参照して更に詳細に説明する。本実施形態の商品情報提供システム１０は、商品の記載を含む画像（商品画像）に基づいて、商品情報を提供するためのシステムである。ここで、「商品」は、売買の目的物となる品物である。商品は、製品だけでなく、農作物や海産物等の天然資源も含み得る。「商品の記載」は、商品を説明する（一例として、商品の形状や性質等を説明する）情報であって、文字及び図等の視覚情報を含み得る。

図２は、商品の記載を含む画像の一例を示す。図２に示す画像Ｇ１０は、複数の商品の記載を含む商品の一覧の画像である。画像Ｇ１０は、建物に設置する照明器具の姿図一覧の画像である。本実施形態では、商品は、照明器具であり、商品の記載は、商品の外観の図の一種である姿図を含んでいる。画像Ｇ１０は、図２に示すように、それぞれ商品の記載がされる複数（図２では６つ）の欄Ｒ１０，Ｒ２０，Ｒ３０，Ｒ４０，Ｒ５０，Ｒ６０を含んでいる。

図７は、商品情報を含む画像の一例を示す。図７に示す画像Ｇ２０は、商品リストＷ１０を示している。商品リストＷ１０は、商品情報のリストである。商品リストＷ１０は、複数（図７では、６つ）の商品情報Ｐ１０，Ｐ２０，Ｐ３０，Ｐ４０，Ｐ５０，Ｐ６０のリストである。商品情報の例としては、品番、品名、価格、寸法、質量、仕様、注意事項が挙げられる。本実施形態では、商品情報は、図７に示すように、品番と品名とを含んでいる。

商品情報提供システム１０は、通信ネットワーク６０を通じて、認識システム２０と、商品検索システム３０と、商品推定システム４０と、端末装置５０とに接続可能である。商品情報提供システム１０は、通信ネットワーク６０を通じて、認識システム２０と、商品検索システム３０と、商品推定システム４０と、端末装置５０とともに、システムを構築している。

通信ネットワーク６０は、インターネットを含み得る。通信ネットワーク６０は、単一の通信プロトコルに準拠したネットワークだけではなく、異なる通信プロトコルに準拠した複数のネットワークで構成され得る。通信プロトコルは、周知の様々な有線及び無線通信規格から選択され得る。図１では簡略化されているが、通信ネットワーク６０は、リピータハブ、スイッチングハブ、ブリッジ、ゲートウェイ、ルータ等のデータ通信機器を含み得る。

端末装置５０は、商品情報提供システム１０への画像Ｇ１０の入力、及び、商品情報提供システム１０からの商品情報の表示に利用される。端末装置５０は、図１に示すように、入出力部５１と、通信部５２と、処理部５３と、を備える。端末装置５０は、情報端末であり、例えば、デスクトップコンピュータである。なお、端末装置５０は、ラップトップコンピュータ、又は、携帯端末（スマートフォン、タブレット端末、ウェアラブル端末等）により実現され得る。

入出力部５１は、端末装置５０を操作するための入力装置を備える。入力装置は、例えば、キーボード、マウス、トラックボール、タッチパッド等を含み得る。また、入出力部５１は、情報を表示するための画像表示装置を備える。画像表示装置は、液晶ディスプレイや有機ＥＬディスプレイ等の薄型のディスプレイ装置を含み得る。

通信部５２は、通信インターフェースである。通信部５２は、通信ネットワーク６０に接続可能であり、通信ネットワーク６０を通じた通信を行う機能を有する。通信部５２は、所定の通信プロトコルに準拠している。所定の通信プロトコルは、周知の様々な有線及び無線通信規格から選択され得る。

処理部５３は、端末装置５０の全体的な制御、すなわち、入出力部５１及び通信部５２を制御するように構成される。処理部５３は、例えば、１以上のプロセッサ（マイクロプロセッサ）と１以上のメモリとを含むコンピュータシステムにより実現され得る。つまり、１以上のプロセッサが１以上のメモリに記憶された１以上のプログラム（アプリケーション）を実行することで、処理部５３として機能する。プログラムは、ここでは処理部５３のメモリに予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的な記録媒体に記録されて提供されてもよい。

処理部５３は、上述した、入出力部５１の操作に応じて、ユーザにより入力された画像Ｇ１０を、商品情報提供システム１０に通信ネットワーク６０を通じて送信する機能を有している。

処理部５３は、図３に示すように、ユーザにより入力された画像Ｇ１０を入出力部５１の画像表示装置で表示して、画像Ｇ１０において、商品の記載がある領域（セル）を、入出力部５１の入力装置にて指定させる機能を有している。図３では、欄Ｒ１０に対して、領域Ｃ１０が設定されているが、いずれかの欄に対して、領域が設定されればよい。処理部５３は、領域が設定されると、領域の情報を、商品情報提供システム１０に通信ネットワーク６０を通じて送信する機能を有している。領域の情報は、領域のサイズ、及び、画像上の位置を含み得る。

また、処理部５３は、領域に対して複数の商品情報の候補がある場合、ユーザに商品情報の候補を選択させる機能を有する（図７参照）。この点については後述する。

商品情報提供システム１０は、図１に示すように、通信部１１と、処理部１２とを備えている。商品情報提供システム１０は、サーバにより実現され得る。

通信部１１は、通信インターフェースである。通信部１１は、通信ネットワーク６０に接続可能であり、通信ネットワーク６０を通じた通信を行う機能を有する。通信部１１は、所定の通信プロトコルに準拠している。所定の通信プロトコルは、周知の様々な有線及び無線通信規格から選択され得る。

処理部１２は、商品情報提供システム１０の動作を制御する制御回路である。処理部１２は、例えば、１以上のプロセッサ（マイクロプロセッサ）と１以上のメモリとを含むコンピュータシステムにより実現され得る。つまり、１以上のプロセッサが１以上のメモリに記憶された１以上のプログラム（アプリケーション）を実行することで、処理部１２として機能する。プログラムは、ここでは処理部１２のメモリに予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的な記録媒体に記録されて提供されてもよい。

処理部１２は、図１に示すように、領域設定部Ｆ１１と、文字情報抽出部Ｆ１２と、図情報抽出部Ｆ１３と、商品情報取得部Ｆ１４と、商品リスト作成部Ｆ１５と、を備えている。図１において、領域設定部Ｆ１１と、文字情報抽出部Ｆ１２と、図情報抽出部Ｆ１３と、商品情報取得部Ｆ１４と、商品リスト作成部Ｆ１５とは実体のある構成を示しているわけではなく、処理部１２によって実現される機能を示している。

領域設定部Ｆ１１は、画像Ｇ１０に複数の商品の記載にそれぞれ対応する複数の領域を設定する。より詳細には、領域設定部Ｆ１１は、端末装置５０から画像Ｇ１０及び領域の情報を受け取ると、画像Ｇ１０に複数の商品の記載にそれぞれ対応する複数の領域を設定する。例えば、図４に示すように、領域設定部Ｆ１１は、商品の記載がある欄Ｒ１０～Ｒ６０にそれぞれ対応するように複数（図４では６つ）の領域Ｃ１０～Ｃ６０を設定する。領域設定部Ｆ１１は、領域の情報に基づいて画像Ｇ１０から欄Ｒ１０～Ｒ６０を抽出し、欄Ｒ１０～Ｒ６０それぞれに領域Ｃ１０～Ｃ６０を設定する。一例として、領域設定部Ｆ１１は、エッジ検出によって、画像Ｇ１０から欄を構成する輪郭の候補を抽出する。画像Ｇ１０において欄はマトリクス状に並んでいることから、端末装置５０からの領域の情報（領域のサイズ及び領域の位置）に基づいて、各欄に対応する領域の推定が可能である。よって、領域設定部Ｆ１１は、領域の情報（領域のサイズ及び領域の位置）に合致するように、欄を構成する輪郭の候補から、欄を構成する輪郭を選択する。その結果、領域設定部Ｆ１１は、図４に示すように、欄Ｒ１０～Ｒ６０それぞれに領域Ｃ１０～Ｃ６０を設定する。

文字情報抽出部Ｆ１２は、商品の記載を含む画像から、商品に関する文字情報の抽出を行う。領域設定部Ｆ１１で複数の領域が設定されている場合には、文字情報抽出部Ｆ１２は、複数の領域のそれぞれに対して、文字情報の抽出を行う。文字情報抽出部Ｆ１２は、画像から抽出した文字情報を商品情報取得部Ｆ１４に与える。

図情報抽出部Ｆ１３は、商品の記載を含む画像から、商品に関する図情報の抽出を行う。領域設定部Ｆ１１で複数の領域が設定されている場合には、図情報抽出部Ｆ１３は、複数の領域毎のそれぞれに対して、図情報の抽出を行う。図情報抽出部Ｆ１３は、画像から抽出した図情報を商品情報取得部Ｆ１４に与える。

本実施形態では、文字情報抽出部Ｆ１２及び図情報抽出部Ｆ１３は、認識システム２０を利用して、文字情報の抽出を行う。

認識システム２０は、画像から文字と図とを認識するシステムである。認識システム２０は、従来周知の画像処理技術により実現され得る。一例として、認識システム２０は、光学文字認識（Optical Character Recognition）により、画像から文字を読み取る。認識システム２０は、画像において文字として読み取れなかった領域を、図として読み取る。このような認識システム２０は、サーバにより実現され得る。

文字情報抽出部Ｆ１２は、画像Ｇ１０を認識システム２０に入力した結果から、文字情報を取得する。本実施形態では、文字情報抽出部Ｆ１２は、商品の詳細に関する文字列を文字情報として抽出する。つまり、文字情報抽出部Ｆ１２は、商品の詳細に関連がない文字列を無視する。例えば、文字情報抽出部Ｆ１２は、文字数が所定値（例えば２）以下の文字列を商品の詳細に関連がない文字列として扱ってよい。文字数が少ない文字列は、商品情報の特定には寄与しないと考えられるから、商品の詳細に関連がない文字列として扱ってよい。商品の詳細は、商品の品番と、商品の仕様とを含み得る。また、文字情報抽出部Ｆ１２は、文字情報が品番かどうかを判定してよい。一例として、文字情報抽出部Ｆ１２は、所定の桁数以上の英数字の文字列である文字情報を品番情報と判定する。文字情報抽出部Ｆ１２は、商品の仕様に関する文字情報を補足情報として扱ってよい。なお、補足情報として抽出する文字列は、商品の仕様に関するキーワードを含む文字列であってよい。照明器具の場合、キーワードの例としては、形状に関するキーワード、明るさに関するキーワード、光色に関するキーワード、その他のキーワードが挙げられる。形状に関するキーワードの例としては、「直付」、「埋込」、「笠なし」、「笠付」、「スクエア」、「下面」、「パネル」、「ルーバー」、「開放」、「ガード」、「富士型」、「片反射」、「丸形」がある。明るさに関するキーワードの例としては、明るさを示す記号、ワット数が挙げられる。光色に関するキーワードの例としては、「昼光色」、「昼白色」、「白色」、「温白色」、「電球色」が挙げられる。その他のキーワードの例としては、「防湿」、「防水」、「防雨」、「バッテリー」、「調光」、「非常用」、「電源」、「電池」が挙げられる。これらキーワードは、商品検索システム３０での検索に適したものであることが好ましい。また、キーワードは、商品の種類によって適宜変更されてよい。文字情報抽出部Ｆ１２は、抽出された文字情報が予め決められていたキーワードを含む場合に、抽出された文字情報を補足情報と判定してよい。文字情報抽出部Ｆ１２は、画像から抽出した文字情報を商品情報取得部Ｆ１４に与える。

図情報抽出部Ｆ１３は、画像Ｇ１０を認識システム２０に入力した結果から、図情報を取得する。本実施形態では、図情報抽出部Ｆ１３は、商品の外観の図（本実施形態では、姿図）を図情報として抽出する。つまり、図情報抽出部Ｆ１３は、商品の外観に関連がない図を無視する。例えば、図情報抽出部Ｆ１３は、サイズが所定値以下の図情報を商品の外観に関連がない図情報として扱ってよい。姿図一覧では、商品の外観の図はある程度の大きさで描かれているから、サイズが小さい図情報を商品の外観とは関係ない図情報として扱ってよい。

図５は、文字情報抽出部Ｆ１２及び図情報抽出部Ｆ１３での抽出の結果を示す。図５では、画像Ｇ１０に、６つの領域Ｃ１０～Ｃ６０が設定されている。

領域Ｃ１０からは、３つの文字情報Ｌ１１，Ｌ１２，Ｌ１３及び１つの図情報Ｉ１０が抽出されている。文字情報Ｌ１１は、「ＬＥＤ埋込パネル」という文字列であり、商品の種類を示す。文字情報Ｌ１２は、「５６Ｗ ４５０角」という文字列であり、商品の定格電力及びサイズを示す。文字情報Ｌ１３は、「XL575PFVJLA9」という文字列であり、商品の品番を示す。文字情報Ｌ１３は品番情報であり、文字情報Ｌ１１，Ｌ１２は補足情報である。図情報Ｉ１０は、姿図であり、ＬＥＤ埋込パネルを示す。

領域Ｃ２０からは、３つの文字情報Ｌ２１，Ｌ２２，Ｌ２３及び１つの図情報Ｉ２０が抽出されている。文字情報Ｌ２１は、「ＬＥＤ埋込パネル」という文字列であり、商品の種類を示す。文字情報Ｌ２２は、「４３Ｗ ４５０角」という文字列であり、商品の定格電力及びサイズを示す。文字情報Ｌ２３は、「XL574PFVJLA9」という文字列であり、商品の品番を示す。文字情報Ｌ２３は品番情報であり、文字情報Ｌ２１，Ｌ２２は補足情報である。図情報Ｉ２０は、姿図であり、ＬＥＤ埋込パネルを示す。

領域Ｃ３０からは、５つの文字情報Ｌ３１，Ｌ３２，Ｌ３３，Ｌ３４，Ｌ３５及び１つの図情報Ｉ３０が抽出されている。文字情報Ｌ３１は、「ＬＥＤ埋込ルーバー」という文字列であり、商品の種類を示す。文字情報Ｌ３２は、「ＬＤＬ４０×２ （３８００Ｌｍ）」という文字列であり、商品の光源を示す。文字情報Ｌ３３は、「消費電力６４Ｗ」という文字列であり、商品の消費電力を示す。文字情報Ｌ３４は、「マルチコンフォート１５」という文字列であり、商品の種類を示す。文字情報Ｌ３５は、「XFL323CBLE9」という文字列であり、商品の品番を示す。文字情報Ｌ３５は品番情報であり、文字情報Ｌ３１～Ｌ３４は補足情報である。図情報Ｉ３０は、姿図であり、ＬＥＤ埋込ルーバーを示す。

領域Ｃ４０からは、３つの文字情報Ｌ４１，Ｌ４２，Ｌ４３及び１つの図情報Ｉ４０が抽出されている。文字情報Ｌ４１は、「ＬＥＤブラケット」という文字列であり、商品の種類を示す。文字情報Ｌ４２は、「２０形直管蛍光灯１灯相当」という文字列であり、商品の明るさを示す。文字情報Ｌ４３は、「LGB85039LE1」という文字列であり、商品の品番を示す。文字情報Ｌ４３は品番情報であり、文字情報Ｌ４１，Ｌ４２は補足情報である。図情報Ｉ４０は、姿図であり、ＬＥＤブラケットを示す。

領域Ｃ５０からは、３つの文字情報Ｌ５１，Ｌ５２，Ｌ５３及び１つの図情報Ｉ５０が抽出されている。文字情報Ｌ５１は、「ＬＥＤ 富士型」という文字列であり、商品の種類を示す。文字情報Ｌ５２は、「ＬＤＬ４０×２ （２６００Ｌｍ）」という文字列であり、商品の光源を示す。文字情報Ｌ５３は、「NNF42001LE9」という文字列であり、商品の品番を示す。文字情報Ｌ５３は品番情報であり、文字情報Ｌ５１，Ｌ５２は補足情報である。図情報Ｉ５０は、姿図であり、富士型のＬＥＤ照明器具を示す。

領域Ｃ６０からは、３つの文字情報Ｌ６１，Ｌ６２，Ｌ６３及び１つの図情報Ｉ６０が抽出されている。文字情報Ｌ６１は、「ＬＥＤ直付型」という文字列であり、商品の種類を示す。文字情報Ｌ６２は、「３２．５Ｗ ｉＤシリーズ直付型」という文字列であり、商品の定格電力及び種類を示す。文字情報Ｌ６３は、「Ｗ１５０×Ｌ１２５０」という文字列であり、商品のサイズを示す。文字情報Ｌ６１～６３はいずれも補足情報である。図情報Ｉ６０は、姿図であり、直付型のＬＥＤ照明器具を示す。

商品情報取得部Ｆ１４は、文字情報抽出部Ｆ１２で抽出された文字情報Ｌ１１～Ｌ６３と図情報抽出部Ｆ１３で抽出された図情報Ｉ１０～Ｉ６０との少なくとも一方に基づいて、商品に対応する商品情報Ｐ１０～Ｐ６０（図７参照）を取得する。

より詳細には、商品情報取得部Ｆ１４は、第１処理と、第２処理とを行う機能を有する。

第１処理は、文字情報抽出部Ｆ１２で抽出された文字情報Ｌ１１～Ｌ１３，Ｌ２１～Ｌ２３，Ｌ３１～Ｌ３５，Ｌ４１～Ｌ４３，Ｌ５１～Ｌ５３，Ｌ６１～Ｌ６３を用いて商品に対応する商品情報Ｐ１０～Ｐ６０を取得する処理である。商品情報取得部Ｆ１４は、第１処理では、商品検索システム３０を利用する。商品検索システム３０は、１以上の文字列の入力に対して商品情報を出力するように構成されている。商品検索システム３０は、商品情報のデータベースを有している。商品検索システム３０は、入力された１以上の文字列で、商品情報のデータベースを検索して、入力された１以上の文字列が当てはまる商品情報を出力する。なお、商品検索システム３０に入力される文字列が商品情報の特定に十分な文字列を含んでいない場合、商品検索システム３０は、商品情報を十分に絞り込むことができないため、商品情報を特定できない。この場合、商品検索システム３０は、商品情報を特定できない旨の通知を出力してよい。商品検索システム３０は、従来周知のデータベースの構築技術により構成することができ、サーバにより実現され得る。

商品情報取得部Ｆ１４は、第１処理では、文字情報抽出部Ｆ１２で抽出された文字情報を商品検索システム３０に与えることで、商品検索システム３０から商品に対応する商品情報を取得する。特に、商品情報取得部Ｆ１４は、第１処理では、文字情報抽出部Ｆ１２で抽出された品番情報を商品検索システム３０に与えることで、商品検索システム３０から商品に対応する商品情報を取得する。なお、商品情報取得部Ｆ１４は、文字情報抽出部Ｆ１２で品番情報が抽出できなかった場合には、第１処理で商品に対応する商品情報を取得できなかったとしてよい。

第２処理は、図情報抽出部Ｆ１３で抽出された図情報Ｉ１０～Ｉ６０を用いて商品に対応する商品情報Ｐ１０～Ｐ６０を取得する処理である。商品情報取得部Ｆ１４は、第２処理では、商品検索システム３０及び商品推定システム４０を利用する。商品推定システム４０は、図情報の入力に対して商品の種類を出力するように構成されている。一例としては、図情報が照明器具の姿図であれば、姿図に対応する照明器具の種類を対応付ければよい。照明器具の種類の例としては、ベースライト、ダウンライト、シーリングライト、誘導灯、非常灯が挙げられる。

商品推定システム４０は、学習済みモデル（商品情報推定モデル）を利用する。商品情報推定モデルは、図情報と商品の種類との関係を学習した学習済みモデルである。このような商品情報推定モデルは、一例としては、商品の外観の図と商品の外観に対応する商品の種類とを含む学習用データセットにより、人工知能のプログラム（アルゴリズム）に、商品の外観の図と商品の種類との関係を学習させることで、生成され得る。人工知能のプログラムは、機械学習のモデルであって、例えば、階層モデルの一種であるニューラルネットワークが用いられる。つまり、ニューラルネットワークに学習用データセットで機械学習（例えば、深層学習）を行わせることで、学習済みモデルが生成される。商品推定システム４０は、サーバにより実現され得る。

商品情報取得部Ｆ１４は、第２処理では、図情報抽出部Ｆ１３で抽出された図情報を商品推定システム４０（つまり、商品の外観の図と商品の種類との関係を学習した学習済みモデル）に与えることで、図情報に対応する商品の種類を特定する。そして、商品情報取得部Ｆ１４は、特定した商品の種類を商品検索システム３０に与えることで、商品情報を取得する。このとき、補足情報があれば、図情報から得た商品の種類とともに商品検索システム３０に与えられる。補足情報を利用することで、商品情報を絞り込むことができ、商品情報の取得を精度よく行えるようになる。

商品情報取得部Ｆ１４は、第１処理を第２処理よりも先に実行する。そして、商品情報取得部Ｆ１４は、第１処理で商品に対応する商品情報を取得できた場合、第２処理を実行しない。言い換えれば、商品情報取得部Ｆ１４は、第１処理で商品に対応する商品情報を取得できなかった場合に、第２処理を実行する。これによって、商品の記載から商品に対応する商品情報を取得する処理の効率の向上が期待できる。また、商品情報取得部Ｆ１４は、文字情報抽出部Ｆ１２での文字情報の抽出が失敗した場合、第２処理を実行する。ここで、図情報抽出部Ｆ１３での図情報の抽出も失敗していれば、商品情報取得部Ｆ１４は、商品の記載がないと判断してよい。

領域Ｃ１０の場合、商品情報取得部Ｆ１４は、３つの文字情報Ｌ１１，Ｌ１２，Ｌ１３を商品検索システム３０に与えることで、商品検索システム３０から商品に対応する商品情報を取得する。領域Ｃ１０では、文字情報Ｌ１３が品番を示しているから、商品検索システム３０は、この品番で特定される商品情報Ｐ１０（図７参照）を出力する。商品情報Ｐ１０は、「XL575PFVJLA9」という品番と、「天井埋込型 ＬＥＤ（昼白色） 一体型ＬＥＤベースライト」という品名とを含んでいる。

領域Ｃ２０の場合、商品情報取得部Ｆ１４は、３つの文字情報Ｌ２１，Ｌ２２，Ｌ２３を商品検索システム３０に与えることで、商品検索システム３０から商品に対応する商品情報を取得する。領域Ｃ２０では、文字情報Ｌ２３が品番を示しているから、商品検索システム３０は、この品番で特定される商品情報Ｐ２０（図７参照）を出力する。商品情報Ｐ２０は、「XL574PFVJLA9」という品番と、「天井埋込型 ＬＥＤ（昼白色） 一体型ＬＥＤベースライト」という品名とを含んでいる。

領域Ｃ３０の場合、商品情報取得部Ｆ１４は、５つの文字情報Ｌ３１，Ｌ３２，Ｌ３３，Ｌ３４，Ｌ３５を商品検索システム３０に与えることで、商品検索システム３０から商品に対応する商品情報を取得する。領域Ｃ３０では、文字情報Ｌ３５が品番を示しているから、商品検索システム３０は、この品番で特定される商品情報Ｐ３０（図７参照）を出力する。商品情報Ｐ３０は、「XFL323CBLE9」という品番と、「天井埋込型 ４０形 直管ＬＥＤランプベースライト」という品名とを含んでいる。

領域Ｃ４０の場合、商品情報取得部Ｆ１４は、３つの文字情報Ｌ４１，Ｌ４２，Ｌ４３を商品検索システム３０に与えることで、商品検索システム３０から商品に対応する商品情報を取得する。領域Ｃ４０では、文字情報Ｌ４３が品番を示しているから、商品検索システム３０は、この品番で特定される商品情報Ｐ４０（図７参照）を出力する。商品情報Ｐ４０は、「LGB85039LE1」という品番と、「天井直付型・壁直付型 ＬＥＤ（電球色） ミラーライト」という品名とを含んでいる。

領域Ｃ５０の場合、商品情報取得部Ｆ１４は、３つの文字情報Ｌ５１，Ｌ５２，Ｌ５３を商品検索システム３０に与えることで、商品検索システム３０から商品に対応する商品情報を取得する。領域Ｃ５０では、文字情報Ｌ５３が品番を示しているから、商品検索システム３０は、この品番で特定される商品情報Ｐ５０（図７参照）を出力する。商品情報Ｐ５０は、「NNF42001LE9」という品番と、「天井直付型 ４０形 直管ＬＥＤランプベースライト」という品名とを含んでいる。

領域Ｃ６０の場合、商品情報取得部Ｆ１４は、３つの文字情報Ｌ６１，Ｌ６２，Ｌ６３を商品検索システム３０に与える。３つの文字情報Ｌ６１，Ｌ６２，Ｌ６３が、商品情報の特定に十分な文字列を含んでいない場合、商品検索システム３０は、商品情報を特定できない旨の通知が出される。商品情報取得部Ｆ１４は、この場合には、文字情報抽出部Ｆ１２での文字情報の抽出が失敗したと判断して、第２処理を実行する。つまり、商品情報取得部Ｆ１４は、図情報Ｉ６０を商品推定システム４０に与える。商品推定システム４０は、図情報Ｉ６０に対して、商品情報Ｐ６０を出力する。ここで、商品情報Ｐ６０は、複数の商品情報の候補Ｄ１１～Ｄ１３を含んでいる。商品情報の候補Ｄ１１～Ｄ１３は、商品の外観の図では区別できないが、電気的な性能が異なっている。商品情報の候補Ｄ１１の品番は「XLX450AENZLE9」であり、商品情報の候補Ｄ１２の品番は「XLX450AENZRZ9」であり、商品情報の候補Ｄ１３の品番は「XLX450AENZLR9」である。図７では、商品情報Ｐ６０には、候補Ｄ１１の内容が表されている。

図６は、商品情報取得部Ｆ１４での商品情報の取得の結果を示す。図６に示す画像Ｇ１０では、領域Ｃ１０～Ｃ５０は、商品情報が一つに決まっている。一方で、領域Ｃ６１は、図３の領域Ｃ６０に対応するが、商品情報の候補があるため、他の領域Ｃ１０～Ｃ５０とは異なる表示がされている。また、領域Ｃ１０～Ｃ５０，Ｃ６１には、領域の識別番号を示すラベルＮ１０～Ｎ６０がつけられている。

商品リスト作成部Ｆ１５は、複数の領域のそれぞれに対して商品情報取得部Ｆ１４で取得された商品情報をもとに、商品リストを作成する。図７は、商品リスト作成部Ｆ１５が作成した商品リストを含む画像の一例である。図７に示す画像Ｇ２０は、商品リストＷ１０と、候補リストＷ２０とを含んでいる。商品リストＷ１０は、複数の領域Ｃ１０～Ｃ６０のそれぞれに対して商品情報取得部Ｆ１４で取得された商品情報Ｐ１０～Ｐ６０を含んでいる。また、図７では、商品情報Ｐ１０～Ｐ６０は、対応する領域の識別番号（図７のセル番号）ともに表示されている。

商品情報提供システム１０は、商品情報取得部Ｆ１４の出力（商品情報の取得の結果）と、商品リスト作成部Ｆ１５の出力（商品リストＷ１０及び候補リストＷ２０の情報）を、通信ネットワーク６０を通じて端末装置５０に送信する。

この場合、端末装置５０は、図６に示す画像Ｇ１０を入出力部５１の画像表示装置に表示させてよい。この図６の画像Ｇ１０により、図情報が正しく抽出されているかどうかを確認することが可能である。また、端末装置５０は、処理部５３が入出力部５１の画像表示装置に、画像Ｇ２０を表示させてよい。これによって、商品情報の詳細の確認が可能になる。ここで、候補リストＷ２０では、商品情報の候補Ｄ１１～Ｄ１３の選択のためのボタンＢ１０が表示されている。ユーザは、端末装置５０の入出力部５１の入力装置を操作して、所望のボタンＢ１０を選択することで、領域Ｃ６０に対応する商品情報を、商品情報の候補Ｄ１１～Ｄ１３のなかから決定できる。

１．３ 動作
次に、商品情報提供システム１０の動作について図８を参照して簡単に説明する。

まず、ユーザが、端末装置５０を用いて、図２に示すような商品の記載を含む画像Ｇ１０のデータを入力する（Ｓ１１）。また、ユーザが、端末装置５０を用いて、図３に示すように、セル（ここでは、領域Ｃ１０）の指定（Ｓ１２）を行う。

これによって、商品情報提供システム１０では、領域設定部Ｆ１１が画像Ｇ１０に対して、図４に示すように、セル（領域）Ｃ１０～Ｃ６０を設定する（Ｓ１３）。次に、商品情報提供システム１０では、図５に示すように、文字情報抽出部Ｆ１２が認識システム２０を利用して文字情報Ｌ１１～Ｌ６３を抽出し、図情報抽出部Ｆ１３が認識システム２０を利用して図情報Ｉ１０～Ｉ６０を抽出する（Ｓ１４）。

商品情報取得部Ｆ１４は、複数のセルのそれぞれについて、対応する商品情報を取得するための処理を行う。まず、商品情報取得部Ｆ１４は、商品情報の取得の対象となるセルに文字情報があるかどうかを判定する（Ｓ１５）。

文字情報抽出部Ｆ１２で文字情報が抽出できた場合には（Ｓ１５；Ｙｅｓ）、商品情報取得部Ｆ１４は、文字情報抽出部Ｆ１２で抽出された文字情報を商品検索システム３０に与えて、文字情報で商品の検索を行う（Ｓ１６）。商品検索システム３０から商品情報（品番）が得られれば（Ｓ１７；Ｙｅｓ）、商品情報取得部Ｆ１４は、すべてのセル（領域）について商品情報を取得するための処理が完了したかどうかを判定する（Ｓ１８）。すべてのセル（領域）について商品情報を取得するための処理が完了していれば（Ｓ１８；Ｙｅｓ）、商品リスト作成部Ｆ１５が商品リストを作成し、端末装置５０に出力し、端末装置５０が商品リストを表示する（Ｓ１９）。これによって、商品情報提供システム１０の動作は終了する。一方、すべてのセル（領域）について商品情報を取得するための処理が完了していなければ（Ｓ１８；Ｎｏ）、商品情報取得部Ｆ１４は、また処理が完了していないセルについて、文字情報があるかどうかを判定する（Ｓ１５）。

文字情報抽出部Ｆ１２で文字情報が抽出できなかった場合（Ｓ１５；Ｎｏ）、商品情報取得部Ｆ１４は、商品情報の取得の対象となるセルに図情報があるかどうかを判定する（Ｓ２０）。又は、商品検索システム３０から商品情報（品番）が得られなかった場合（Ｓ１７；Ｎｏ）、商品情報取得部Ｆ１４は、商品情報の取得の対象となるセルに図情報があるかどうかを判定する（Ｓ２０）。

図情報抽出部Ｆ１３で図情報が抽出できた場合には（Ｓ２０；Ｙｅｓ）、商品情報取得部Ｆ１４は、図情報抽出部Ｆ１３で抽出された図情報を商品推定システム４０に与えて、図情報で商品の推定を行う（Ｓ２１）。商品推定システム４０から商品情報（品番）が得られれば（Ｓ２２；Ｙｅｓ）、商品情報取得部Ｆ１４は、すべてのセル（領域）について商品情報を取得するための処理が完了したかどうかを判定する（Ｓ１８）。

図情報抽出部Ｆ１３で図情報が抽出できなかった場合（Ｓ２０；Ｎｏ）、商品情報取得部Ｆ１４は、商品情報の取得の対象となるセルに対しては商品情報（品番）が特定できないと結論付ける（Ｓ２３）。又は、商品推定システム４０から商品情報（品番）が得られなかった場合（Ｓ２２；Ｎｏ）、商品情報取得部Ｆ１４は、商品情報の取得の対象となるセルに対しては商品情報（品番）が特定できないと結論付ける（Ｓ２３）。そして、すべてのセル（領域）について商品情報を取得するための処理が完了したかどうかを判定する（Ｓ１８）。

１．４ まとめ
以上述べた商品情報提供システム１０は、文字情報抽出部Ｆ１２と、図情報抽出部Ｆ１３と、商品情報取得部Ｆ１４と、を備える。文字情報抽出部Ｆ１２は、商品の記載を含む画像Ｇ１０（図２参照）から商品に関する文字情報Ｌ１１～Ｌ１３，Ｌ２１～Ｌ２３，Ｌ３１～Ｌ３５，Ｌ４１～Ｌ４３，Ｌ５１～Ｌ５３，Ｌ６１～Ｌ６３（図５参照）の抽出を行う。図情報抽出部Ｆ１３は、 画像Ｇ１０から、商品に関する図情報Ｉ１０，Ｉ２０，Ｉ３０，Ｉ４０，Ｉ５０，Ｉ６０（図５参照）の抽出を行う。商品情報取得部Ｆ１４は、文字情報抽出部Ｆ１２で抽出された文字情報と図情報抽出部Ｆ１３で抽出された図情報との少なくとも一方に基づいて、商品に対応する商品情報Ｐ１０，Ｐ２０，Ｐ３０，Ｐ４０，Ｐ５０，Ｐ６０（図７参照）を取得する。このように、商品情報提供システム１０によれば、商品の記載から商品に対応する商品情報を提供でき得る。

換言すれば、商品情報提供システム１０は、下記の方法（商品情報提供方法）を実行しているといえる。商品情報提供方法は、商品の記載を含む画像Ｇ１０（図２参照）から商品に関する文字情報Ｌ１１～Ｌ１３，Ｌ２１～Ｌ２３，Ｌ３１～Ｌ３５，Ｌ４１～Ｌ４３，Ｌ５１～Ｌ５３，Ｌ６１～Ｌ６３（図５参照）の抽出を行う。商品情報提供方法は、画像Ｇ１０から、商品に関する図情報Ｉ１０，Ｉ２０，Ｉ３０，Ｉ４０，Ｉ５０，Ｉ６０（図５参照）の抽出を行う。商品情報提供方法は、文字情報抽出部Ｆ１２で抽出された文字情報と図情報抽出部Ｆ１３で抽出された図情報との少なくとも一方に基づいて、商品に対応する商品情報Ｐ１０，Ｐ２０，Ｐ３０，Ｐ４０，Ｐ５０，Ｐ６０（図７参照）を取得する。このように、商品情報提供方法によれば、商品情報提供システム１０と同様に、商品の記載から商品に対応する商品情報を提供でき得る。

商品情報提供システム１０は、コンピュータシステム（１以上のプロセッサ）により実現されている。つまり、商品情報提供システム１０は、１以上のプロセッサがプログラム（コンピュータプログラム）を実行することにより実現される。このプログラムは、１以上のプロセッサに商品提供方法を実行させるためのプログラムである。このようなプログラムによれば、商品情報提供方法と同様に、商品の記載から商品に対応する商品情報を提供でき得る。

２．変形例
本開示の実施形態は、上記実施形態に限定されない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。以下に、上記実施形態の変形例を列挙する。

上記実施形態では、商品は、照明器具であるが、これに限定されない。商品は、売買の目的物となる品物であればよく、照明器具のような電気製品だけでなく、食料品及び薬品等の製品も含み得る。更に、商品は、農作物や海産物等の天然資源も含み得る。なお、電気製品の例としては、センサ関連機器、空調関連機器、住宅・設備関連機器、調理・家事関連機器、健康管理関連機器、管理・操作関連機器、ＡＶ関連機器が挙げられる。センサ関連機器の例としては、カメラ、火災センサ、人体検知センサ、温度センサ、ＣＯ２センサ、電流量センサが挙げられる。空調関連機器の例としては、エアコン、扇風機、換気扇、空気清浄機、 ホットカーペット、石油ファンヒータが挙げられる。住宅・設備関連機器の例としては、電動ブラインド、電動カーテン、温水器、電気錠、スマートメーター、太陽光発電設備、蓄電池、燃料電池、一般照明、単機能照明、非常灯が挙げられる。調理・家事関連機器の例としては、ＩＨ調理器（クッキングヒータ）、電子レンジ、食器洗い機、食器乾燥機、洗濯機、衣類乾燥機、自動掃除機が挙げられる。健康管理関連機器の例としては、体重計、体脂肪計、体温計、血圧計、血糖値計が挙げられる。管理・操作関連機器の例としては、コントローラ、スイッチ（ＨＡ機器）が挙げられる。ＡＶ関連機器の例としては、ＴＶ、ディスプレイが挙げられる。

一変形例では、商品の外観の図は、姿図以外の図であってよく、例えば、正面図、背面図、平面図、底面図、左側面図、右側面図、斜視図、断面図等であってよい。ただし、商品を表す図として、一般によく利用されている図であることが好ましい。

一変形例では、商品情報提供システム１０は、文字情報抽出部Ｆ１２と、図情報抽出部Ｆ１３と、商品情報取得部Ｆ１４とを含んでいればよい。

一変形例では、領域設定部Ｆ１１は、端末装置５０からの領域情報がなくても、画像処理により、領域を設定してもよい。

一変形例では、文字情報抽出部Ｆ１２は、認識システム２０の機能を有していてもよい。換言すれば、商品情報提供システム１０は、認識システム２０を含むことができる。

一変形例では、図情報抽出部Ｆ１３は、認識システム２０の機能を有していてもよい。換言すれば、商品情報提供システム１０は、認識システム２０を含むことができる。

一変形例では、商品情報取得部Ｆ１４は、商品検索システム３０の機能を有していてもよい。換言すれば、商品情報提供システム１０は、商品検索システム３０を含むことができる。

一変形例では、商品情報取得部Ｆ１４は、商品推定システム４０の機能を有していてもよい。換言すれば、商品情報提供システム１０は、商品推定システム４０を含むことができる。

一変形例では、商品推定システム４０は、商品の外観の図と１以上の商品情報との関係を学習した学習済みモデルを利用してよい。商品には、外観が同じで特性が異なる商品が存在し得る。このような商品の例としては、外観が同じで消費電力や使用可能な光源が異なる商品が挙げられる。図情報は、商品の外観の図であるから、商品推定システム４０は、図情報の入力に対して、１以上の商品情報を出力するように構成されてよい。このような商品情報推定モデルは、一例としては、商品の外観の図と商品の外観に対応する１以上の商品情報とを含む学習用データセットにより、人工知能のプログラム（アルゴリズム）に、商品の外観の図と商品情報との関係を学習させることで、生成され得る。人工知能のプログラムは、機械学習のモデルであって、例えば、階層モデルの一種であるニューラルネットワークが用いられる。つまり、ニューラルネットワークに学習用データセットで機械学習（例えば、深層学習）を行わせることで、学習済みモデルが生成される。商品推定システム４０は、サーバにより実現され得る。

一変形例では、商品情報取得部Ｆ１４は、第１処理と第２処理とを並行して実施してよいし、第２処理を第１処理よりも先に実施してもよい。つまり、商品情報取得部Ｆ１４は、第２処理で商品情報が得られなかった場合に第１処理を行うようにしてもよい。また、商品情報取得部Ｆ１４は、文字情報と図情報とを組み合わせて商品情報を特定してよい。特に、文字情報に品番が含まれていない場合には、商品情報取得部Ｆ１４は、文字情報で取得した商品情報の候補と図情報で取得した商品情報の候補との論理積により、商品情報を特定してよい。あるいは、商品情報取得部Ｆ１４は、図情報で取得した商品情報の候補を文字情報で絞り込んで、商品情報を特定してもよい。

一変形例では、商品リスト作成部Ｆ１５は、商品情報に含まれる全ての項目を商品リストに含めずに、特定の項目だけを抜き出して商品リストを作成してよい。特定の項目の例としては、品番と、価格とが挙げられる。これにより、商品リスト作成部Ｆ１５は、見積もりとして利用可能な商品リストを作成できる。

一変形例では、商品情報提供システム１０は、複数のコンピュータにより構成されていてもよい。例えば、商品情報提供システム１０の機能（特に、領域設定部Ｆ１１、文字情報抽出部Ｆ１２、図情報抽出部Ｆ１３、商品情報取得部Ｆ１４、商品リスト作成部Ｆ１５）は、複数の装置に分散されていてもよい。更に、商品情報提供システム１０の機能の少なくとも一部が、例えば、クラウド（クラウドコンピューティング）によって実現されていてもよい。

以上述べた商品情報提供システム１０の実行主体は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを有する。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における商品情報提供システム１０の実行主体としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されていてもよいが、電気通信回線を通じて提供されてもよい。また、プログラムは、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的な記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１乃至複数の電子回路で構成される。ＬＳＩの製造後にプログラムされる、フィールド・プログラマブル・ゲート・アレイ（ＦＧＰＡ）、ＡＳＩＣ（application specific integrated circuit）、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができる再構成可能な論理デバイスも同じ目的で使うことができる。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。

３．態様
上記実施形態及び変形例から明らかなように、本開示は、下記の態様を含む。以下では、実施形態との対応関係を明示するためだけに、符号を括弧付きで付している。

第１の態様は、商品情報提供システム（１０）であって、文字情報抽出部（Ｆ１２）と、図情報抽出部（Ｆ１３）と、商品情報取得部（Ｆ１４）と、を備える。前記文字情報抽出部（Ｆ１２）は、商品の記載を含む画像（Ｇ１０）から、前記商品に関する文字情報（Ｌ１１～Ｌ６３）の抽出を行う。前記図情報抽出部（Ｆ１３）は、前記画像（Ｇ１０）から、前記商品に関する図情報（Ｉ１０～Ｉ６０）の抽出を行う。前記商品情報取得部（Ｆ１４）は、前記文字情報抽出部（Ｆ１２）で抽出された前記文字情報（Ｌ１１～Ｌ６３）と前記図情報抽出部（Ｆ１３）で抽出された前記図情報（Ｉ１０～Ｉ６０）との少なくとも一方に基づいて、前記商品に対応する商品情報（Ｐ１０～Ｐ６０）を取得する。この態様によれば、商品の記載から商品に対応する商品情報（Ｐ１０～Ｐ６０）を提供できる。

第２の態様は、第１の態様の商品情報提供システム（１０）に基づく。第２の態様では、前記商品情報取得部（Ｆ１４）は、第１処理と第２処理とを行う機能を有する。前記第１処理は、前記文字情報抽出部（Ｆ１２）で抽出された前記文字情報（Ｌ１１～Ｌ６３）を用いて前記商品に対応する商品情報（Ｐ１０～Ｐ６０）を取得する処理である。前記第２処理は、前記図情報抽出部（Ｆ１３）で抽出された前記図情報（Ｉ１０～Ｉ６０）を用いて前記商品に対応する商品情報（Ｐ１０～Ｐ６０）を取得する処理である。この態様によれば、商品の記載から商品に対応する商品情報（Ｐ１０～Ｐ６０）を提供できる。

第３の態様は、第２の態様の商品情報提供システム（１０）に基づく。第３の態様では、前記商品情報取得部（Ｆ１４）は、前記第１処理を前記第２処理よりも先に実行する。この態様によれば、商品の記載から商品に対応する商品情報を取得する処理の効率の向上が期待できる。

第４の態様は、第３の態様の商品情報提供システム（１０）に基づく。第４の態様では、前記商品情報取得部（Ｆ１４）は、前記第１処理で前記商品に対応する商品情報（Ｐ１０～Ｐ６０）を取得できた場合、前記第２処理を実行しない。この態様によれば、商品の記載から商品に対応する商品情報を取得する処理の効率の向上が期待できる。

第５の態様は、第３又は第４の態様の商品情報提供システム（１０）に基づく。第５の態様では、前記商品情報取得部（Ｆ１４）は、前記文字情報抽出部（Ｆ１２）での前記文字情報（Ｌ１１～Ｌ６３）の抽出が失敗した場合、前記第２処理を実行する。この態様によれば、商品の記載から商品に対応する商品情報を取得する処理の効率の向上が期待できる。

第６の態様は、第１～第５の態様のいずれか一つの商品情報提供システム（１０）に基づく。第６の態様では、前記文字情報抽出部（Ｆ１２）は、前記商品の詳細に関する文字列を前記文字情報（Ｌ１１～Ｌ６３）として抽出する。この態様によれば、商品情報（Ｐ１０～Ｐ６０）の取得の精度が向上し得る。

第７の態様は、第６の態様の商品情報提供システム（１０）に基づく。第７の態様では、前記商品情報取得部（Ｆ１４）は、前記文字情報抽出部（Ｆ１２）で抽出された前記文字情報（Ｌ１１～Ｌ６３）を、１以上の文字列の入力に対して商品情報（Ｐ１０～Ｐ６０）を出力する商品検索システム（３０）に与えることで、前記商品検索システム（３０）から前記商品に対応する商品情報（Ｐ１０～Ｐ６０）を取得する。この態様によれば、商品情報（Ｐ１０～Ｐ６０）の取得の精度が向上し得る。

第８の態様は、第１～第７の態様のいずれか一つの商品情報提供システム（１０）に基づく。第８の態様では、前記図情報抽出部（Ｆ１３）は、前記商品の外観の図を前記図情報（Ｉ１０～Ｉ６０）として抽出する。この態様によれば、商品情報（Ｐ１０～Ｐ６０）の取得の精度が向上し得る。

第９の態様は、第８の態様の商品情報提供システム（１０）に基づく。第９の態様では、前記商品情報取得部（Ｆ１４）は、商品の外観の図と商品の種類との関係を学習した学習済みモデル（４０）を利用して、前記図情報抽出部（Ｆ１３）で抽出された前記図情報（Ｉ１０～Ｉ６０）に基づいて前記商品に対応する商品情報（Ｐ１０～Ｐ６０）を取得する。この態様によれば、商品情報（Ｐ１０～Ｐ６０）の取得の精度が向上し得る。

第１０の態様は、第１～第９の態様のいずれか一つの商品情報提供システム（１０）に基づく。第１０の態様では、前記画像（Ｇ１０）は、複数の商品の記載を含む商品の一覧の画像である。この態様によれば、一度に複数の商品情報（Ｐ１０～Ｐ６０）を提供できる。

第１１の態様は、第１０の態様の商品情報提供システム（１０）に基づく。第１１の態様では、前記商品情報提供システム（１０）は、前記画像（Ｇ１０）の複数の商品の記載にそれぞれ対応する複数の領域（Ｃ１０～Ｃ６０）を設定する領域設定部（Ｆ１１）を更に備える。前記文字情報抽出部（Ｆ１２）は、前記複数の領域（Ｃ１０～Ｃ６０）のそれぞれに対して、前記文字情報（Ｌ１１～Ｌ６３）の抽出を行う。前記図情報抽出部（Ｆ１３）は、前記複数の領域（Ｃ１０～Ｃ６０）毎のそれぞれに対して、前記図情報（Ｉ１０～Ｉ６０）の抽出を行う。前記商品情報取得部（Ｆ１４）は、前記複数の領域（Ｃ１０～Ｃ６０）のそれぞれに対して、前記文字情報抽出部（Ｆ１２）で抽出された前記文字情報（Ｌ１１～Ｌ６３）と前記図情報抽出部（Ｆ１３）で抽出された前記図情報（Ｉ１０～Ｉ６０）との少なくとも一方を用いて、前記領域に対応する商品情報（Ｐ１０～Ｐ６０）を取得する。この態様によれば、一度に複数の商品情報（Ｐ１０～Ｐ６０）を提供できる。

第１２の態様は、第１１の態様の商品情報提供システム（１０）に基づく。第１２の態様では、前記複数の領域（Ｃ１０～Ｃ６０）のそれぞれに対して前記商品情報取得部（Ｆ１４）で取得された商品情報（Ｐ１０～Ｐ６０）をもとに、商品リスト（Ｗ１０）を作成する商品リスト作成部（Ｆ１５）を更に備える。この態様によれば、一度に複数の商品情報（Ｐ１０～Ｐ６０）を提供できる。

第１３の態様は、第１～第１２の態様のいずれか一つの商品情報提供システム（１０）に基づく。第１３の態様では、前記商品情報（Ｐ１０～Ｐ６０）は、商品の品番を含む。この態様によれば、品番を含む商品情報（Ｐ１０～Ｐ６０）を提供できる。

第１４の態様は、商品情報提供方法であって、商品の記載を含む画像（Ｇ１０）から、前記商品に関する文字情報（Ｌ１１～Ｌ６３）の抽出を行い、前記画像（Ｇ１０）から、前記商品に関する図情報（Ｉ１０～Ｉ６０）の抽出を行う。前記商品情報提供方法は、前記文字情報（Ｌ１１～Ｌ６３）と前記図情報（Ｉ１０～Ｉ６０）との少なくとも一方を用いて、前記商品に対応する商品情報（Ｐ１０～Ｐ６０）を取得する。この態様によれば、商品の記載から商品に対応する商品情報（Ｐ１０～Ｐ６０）を提供できる。

第１５の態様は、プログラムであって、第１４の態様の商品情報提供方法を、１以上のプロセッサに実行させるための、プログラムである。この態様によれば、商品の記載から商品に対応する商品情報（Ｐ１０～Ｐ６０）を提供できる。

１０ 商品情報提供システム
Ｆ１２ 文字情報抽出部
Ｆ１３ 図情報抽出部
Ｆ１４ 商品情報取得部
Ｆ１５ 商品リスト作成部
Ｇ１０ 画像（商品の記載を含む画像）
３０ 商品検索システム
４０ 商品推定システム（学習済みモデル）
Ｌ１１～Ｌ６３ 文字情報
Ｉ１０～Ｉ６０ 図情報
Ｐ１０～Ｐ６０ 商品情報
Ｃ１０～Ｃ６０ 領域

Claims (11)

1. 商品の記載を含む画像から、前記商品に関する文字情報の抽出を行う文字情報抽出部と、
   前記画像から、前記商品に関する図情報の抽出を行う図情報抽出部と、
   前記文字情報抽出部で抽出された前記文字情報と前記図情報抽出部で抽出された前記図情報との少なくとも一方に基づいて、前記商品に対応する商品情報を取得する商品情報取得部と、
   を備え、
   前記商品情報取得部は、
   前記文字情報抽出部で抽出された前記文字情報を用いて前記商品に対応する商品情報を取得する第１処理と、
   前記図情報抽出部で抽出された前記図情報を用いて前記商品に対応する商品情報を取得する第２処理と、
   を行う機能を有し、
   前記商品情報取得部は、前記第１処理を前記第２処理よりも先に実行し、前記第１処理で前記商品に対応する商品情報を取得できた場合、前記第２処理を実行せず、前記文字情報抽出部での前記文字情報の抽出が失敗した場合、前記第２処理を実行する、
   商品情報提供システム。
2. 前記文字情報抽出部は、前記商品の詳細に関する文字列を前記文字情報として抽出する、
   請求項１の商品情報提供システム。
3. 前記商品情報取得部は、前記文字情報抽出部で抽出された前記文字情報を、１以上の文字列の入力に対して商品情報を出力する商品検索システムに与えることで、前記商品検索システムから前記商品に対応する商品情報を取得する、
   請求項２の商品情報提供システム。
4. 前記図情報抽出部は、前記商品の外観の図を前記図情報として抽出する、
   請求項１～３のいずれか一つの商品情報提供システム。
5. 前記商品情報取得部は、商品の外観の図と商品の種類との関係を学習した学習済みモデルを利用して、前記図情報抽出部で抽出された前記図情報に基づいて前記商品に対応する商品情報を取得する、
   請求項４の商品情報提供システム。
6. 前記画像は、複数の商品の記載を含む商品の一覧の画像である、
   請求項１～５のいずれか一つの商品情報提供システム。
7. 前記画像の複数の商品の記載にそれぞれ対応する複数の領域を設定する領域設定部を更に備え、
   前記文字情報抽出部は、前記複数の領域のそれぞれに対して、前記文字情報の抽出を行い、
   前記図情報抽出部は、前記複数の領域毎のそれぞれに対して、前記図情報の抽出を行い、
   前記商品情報取得部は、前記複数の領域のそれぞれに対して、前記文字情報抽出部で抽出された前記文字情報と前記図情報抽出部で抽出された前記図情報との少なくとも一方を用いて、前記領域に対応する商品情報を取得する、
   請求項６の商品情報提供システム。
8. 前記複数の領域のそれぞれに対して前記商品情報取得部で取得された商品情報をもとに、商品リストを作成する商品リスト作成部を更に備える、
   請求項７の商品情報提供システム。
9. 前記商品情報は、商品の品番を含む、
   請求項１～８のいずれか一つの商品情報提供システム。
10. 文字情報抽出部によって、商品の記載を含む画像から、前記商品に関する文字情報の抽出を行い、
    図情報抽出部によって、前記画像から、前記商品に関する図情報の抽出を行い、
    商品情報取得部によって、前記文字情報と前記図情報との少なくとも一方を用いて、前記商品に対応する商品情報を取得し、
    前記商品情報取得部は、
    前記文字情報抽出部によって抽出された前記文字情報を用いて前記商品に対応する商品情報を取得する第１処理と、
    前記図情報抽出部によって抽出された前記図情報を用いて前記商品に対応する商品情報を取得する第２処理と、
    を行う機能を有し、
    前記商品情報取得部は、前記第１処理を前記第２処理よりも先に実行し、前記第１処理で前記商品に対応する商品情報を取得できた場合、前記第２処理を実行せず、前記文字情報抽出部での前記文字情報の抽出が失敗した場合、前記第２処理を実行する、
    商品情報提供方法。
11. 請求項１０の商品情報提供方法を、１以上のプロセッサに実行させるための、
    プログラム。

Images