TW202221614A - 資訊處理系統、資訊處理方法及程式產品 - Google Patents

Abstract

[課題]可讓使用者根據說明文和影像而更容易掌握商品。 [解決手段]資訊處理系統，係提供電子商務交易平台。資訊處理系統，係將關於商品的說明文和1或複數個影像加以取得，從前記說明文特定出物體，從前記1或複數個影像之每一者偵測出物體，基於從前記說明文所被特定出來之物體、與從前記影像的所被偵測之物體之對應，而生成對應資訊。

Description

資訊處理系統、資訊處理方法及程式產品

本發明係有關於資訊處理系統、資訊處理方法及程式產品。

電子商務交易中係有販售中古品等之商品的服務。在如此的服務中，販售者係將關於商品的影像和說明文予以輸入，一旦購入者存取該商品的頁面，影像和說明文就被顯示，購入者係根據該影像和說明文，來考慮是否購入該商品。

在日本特開2014-115912號公報中係揭露，根據從出品者接收到的商品影像，從出品者過去購入的商品的影像之中檢索出類似的類似影像，將含有已被檢索出來之類似影像所對應之商品資訊的出品頁面予以生成的系統。

[發明所欲解決之課題]

有時候，說明文的內容與影像並沒有容易理解地對應，導致商品的說明難以理解的案例。例如在使用者的疏失導致說明文中所被言及之地點的影像係不存在的案例、或說明文正在進行哪個影像之說明是難以掌握的案例中，就會有商品的說明是難以理解的疑慮。如此情況下，根據說明文和影像的購買側的使用者，想要掌握商品的負擔就會變重。

本發明係有鑑於上記課題而研發，其目的在於，能夠根據說明文和影像而可更容易掌握商品所需之技術。 [用以解決課題之手段]

為了解決上記課題，本發明所述之資訊處理系統，係為提供電子商務交易平台的資訊處理系統，其係含有：取得部，係將關於商品的說明文和1或複數個影像，加以取得；和特定部，係從前記說明文，特定出物體；和偵測部，係從前記1或複數個影像之每一者，偵測出物體；和對應部，係基於從前記說明文所被特定出來之物體、與從前記影像所被偵測之物體之對應，而生成對應資訊。

又，本發明所述之資訊處理方法，係為用來提供電子商務交易平台所需之資訊處理方法，其係含有：將關於商品的說明文和1或複數個影像加以取得之步驟；和從前記說明文特定出物體之步驟；和從前記1或複數個影像之每一者偵測出物體之步驟；和基於從前記說明文所被特定出來之物體、與從前記影像的前記所被偵測之物體之對應，而生成對應資訊之步驟。

又，本發明所述之程式，係令電腦發揮機能成為：取得部，係將關於電子商務交易平台上所被陳列之商品的說明文和1或複數個商品影像，加以取得；抽出部，係從前記說明文，抽出1或複數個說明對象；特定部，係從前記說明文，特定出物體；偵測部，係從前記1或複數個影像之每一者，偵測出物體；及對應部，係基於從前記說明文所被特定出來之物體、與從前記影像的前記所被偵測之物體之對應，而生成對應資訊。

在本發明的一形態中係可為，前記特定部係從前記說明文中特定出關於物體之一部分的言及部；前記偵測部，係從前記1或複數個影像之每一者，偵測出物體及該當物體之被攝影部；前記對應部，係基於前記特定部所特定出來的物體之言及部、與前記偵測部所偵測出來的物體之被攝影部之對應，而生成對應資訊。

在本發明的一形態中係可為，前記對應部，係生成對應資訊，其係含有：在從前記說明文所被特定出來之物體之中，表示與從前記影像所被偵測出來之任一物體皆不對應之物體的資訊。

在本發明的一形態中係可為，前記對應部，係生成對應資訊，其係含有：在從前記說明文所被特定出來之物體的言及部之中，表示與從前記影像所被偵測出來之任一物體的被攝影部皆不對應之言及部的資訊。

在本發明的一形態中係可為，資訊處理系統係還含有：顯示控制部，係基於前記對應資訊而進行控制以顯示出用來催促影像之追加的通知。

在本發明的一形態中係可為，前記對應部，係生成對應資訊，其係表示，從前記影像所被偵測之物體、與前記說明文中所含之文章之對應，前記文章係含有，對應於該當所被偵測之物體並且是從前記說明文所被特定出來之物體；資訊處理系統係還含有：顯示控制部，係基於前記對應資訊而進行控制，以顯示出使用者所指向的影像中所含之物體所對應的前記文章。

在本發明的一形態中係可為，前記顯示控制部，係進行控制，以使得於前記影像中使用者所指向的物體所對應之前記文章被顯示。 [發明效果]

藉由本發明，使用者係可更容易從說明文和影像來掌握商品。

以下，基於圖式來說明本發明的實施形態。對標示相同符號的構成，係省略重複的說明。在本實施形態中係說明，從販售商品的使用者(販售者)取得關於商品的影像和說明文，檢查該已被輸入之影像及說明文，將使用到該影像和說明文的商品說明頁面，提示給購入側之使用者(購入候補者)的資訊處理系統。資訊處理系統，係為例如販售中古商品的中古商品之販售系統。

圖1係為本發明的實施形態所述之資訊處理系統之一例的圖示。資訊處理系統係含有資訊處理伺服器1和1或複數個顧客終端2。顧客終端2，係為例如智慧型手機或個人電腦等，係被資訊處理系統所提供之服務的使用者(販售者或購入候補者)進行操作。

資訊處理伺服器1，係與1或複數個顧客終端2進行通訊，從身為販售者的使用者所操作的顧客終端2接收商品之說明資訊和關於商品的1或複數個影像，將說明資訊及影像登錄至服務內。又，對身為購入候補者的使用者，將說明資訊及影像予以提示。說明資訊，係為用來說明販售者所販賣之商品所需之資訊，係包含有例如：該商品之說明文、關於價格的資訊、表示商品之種類的資訊、購入時期的這類資訊。商品的種類係為例如製造商或產品名。

資訊處理伺服器1係含有：處理器11、記憶部12、通訊部13、輸出入部14。此外，資訊處理伺服器1，係為伺服器電腦。資訊處理伺服器1之處理，係亦可藉由複數個伺服器電腦來加以實現。

處理器11，係依照記憶部12中所儲存的程式而動作。又，處理器11控制通訊部13、輸出入部14。此外，上記程式係可透過網際網路等來提供，也可儲存在快閃記憶體或DVD-ROM等之電腦可讀取之記憶媒體中來提供。

記憶部12係由RAM及快閃記憶體等之記憶體元件與硬碟機這類外部記憶裝置等所構成。記憶部12係儲存上記程式。又，記憶部12，係將從處理器11、通訊部13、輸出入部14所被輸入之資訊或演算結果，加以儲存。記憶部12，係可將已被接收之說明資訊和複數個影像，加以儲存。又，為了儲存已被接收之說明資訊和複數個影像，亦可設置異於資訊處理伺服器1的儲存區。

通訊部13，係實現與其他裝置進行通訊之機能，是由例如將無線LAN、有線LAN加以實現的積體電路等所構成。通訊部13，係基於處理器11之控制，而將從其他裝置收到的資訊，輸入至處理器11或記憶部12，並將資訊發送至其他裝置。

輸出入部14，係由：控制顯示輸出裝置的視訊控制器、或從輸入裝置取得資料的控制器等所構成。作為輸入裝置係有鍵盤、滑鼠、觸控面板等。輸出入部14，係基於處理器11之控制，而對顯示輸出裝置輸出顯示資料，並將使用者藉由操作輸入裝置所輸入之資料加以取得。顯示輸出裝置係為例如被連接在外部的顯示器裝置。

接著，說明資訊處理系統所提供之機能。圖2係為資訊處理系統所實現之機能的區塊圖。資訊處理系統係含有：資訊取得部51、說明文解析部52、影像解析部53、對應生成部54、顯示控制部55。這些機能，係藉由資訊處理伺服器1中所包含的處理器11來執行記憶部12中所被儲存的程式，並控制通訊部13等來加以實現。此外，顯示控制部55，係亦可藉由顧客終端2中所含之未圖示的處理器11、記憶部12、通訊部13、輸出入部14來加以實現。此情況下，藉由顧客終端2中所含之處理器11來執行記憶部12中所被儲存的程式，並控制輸出入部14等，以實現顯示控制部55。

資訊取得部51，係將含有關於商品之說明文的說明資訊、和1或複數個影像，從身為販售者的使用者所操作的顧客終端2加以取得。1或複數個影像，係為關於販售者所販售之商品的影像，係可為拍攝了該商品中所包含之1或複數個物體的影像。

說明文解析部52，係藉由將說明資訊中所含之說明文進行解析，以從該說明文中，特定出物體語。說明文解析部52，係可還從說明文中特定出關於該物體之一部分的部分語。物體語係為表示物體的語句，部分語係為表示該物體之部分的語句。

影像解析部53，係從1或複數個影像之每一者，偵測出物體。影像解析部53，係還可將該物體之中所被攝影的部分也就是被攝影部，加以偵測。

對應生成部54，係基於從說明文所被特定出來之物體語、與從前記影像所被偵測之物體之對應，而生成對應資訊。對應生成部54，係亦可基於從說明文所被特定出來之物體的部分語、與從影像所被偵測出來之物體的被攝影部之對應，而生成對應資訊。

對應資訊係亦可為表示從說明文所被特定出來之物體語、與從影像所被偵測出來之物體之對應關係的資訊，亦可為表示與從影像所被偵測出來之任一物體皆不對應之物體語(亦可為部分語)的資訊。又，對應資訊係亦可表示，從影像所被偵測之物體、與說明文中所含之文章之對應，該文章係含有，對應於該所被偵測之物體並且是從說明文所被特定出來之物體。此處所謂的「文章」，於本說明書中係亦可為，由1個以上之單詞所構成並以句點而完結的字串也就是1段文字，亦可為由複數段文字所構成。

顯示控制部55，係基於對應資訊而進行控制以令顧客終端2顯示出資訊，藉此以將該資訊提示給使用者。所被提示的資訊係亦可為，向販售者催促將與從影像所被偵測出來之任一物體皆不對應之物體語或部分語所相當之影像進行輸入的資訊，亦可為對購入候補者所顯示的，包含有影像及說明文的商品頁面。所被提示的資訊是商品頁面的情況下，則顯示控制部55，係可進行控制，以使得身為購入候補者的使用者所指向的影像中所含之物體所對應之文章被顯示。

圖3係為資訊處理系統之處理的概略性圖示的流程圖。圖3所示的處理，係主要是在販售者登錄商品之際所被進行的處理。首先，雖然未圖示，但顧客終端2係將用來登錄販售對象之商品的畫面予以輸出，將使用者於該畫面中所輸入的說明資訊、及複數個影像，向資訊處理伺服器1進行送訊。

資訊取得部51，係由顧客終端2，將含有說明文的說明資訊和1或複數個影像予以接收(步驟S101)。

圖4係為被輸入之影像之一例的圖示。在圖4的例子中，作為關於商品的影像，圖示了藉由使用者而被拍攝的智慧型手機80之影像。更具體而言，該影像係為含有智慧型手機80的表側之面(正面)的影像。

接著，說明文解析部52，係從已被接收之說明文，特定出表示物體的語句也就是物體語、和言及該物體之一部分的語句也就是部分語(步驟S102)。此外，隨著物體的種類或說明文之記載，說明文解析部52係亦可針對至少一部分之物體而只特定出物體語。

圖5係為說明文解析部52的處理之一例的流程圖。首先，說明文解析部52，係藉由構詞解析及構文解析，從說明文中抽出複數個單詞及這些單詞間之關係(步驟S201)。關於構詞解析及構文解析係為公知的技術因此省略詳細的說明。

說明文解析部52，係基於單詞的修飾關係，而在說明文中所含的文章之中，抽出表示物體之存在的文章(步驟S202)。例如，說明文解析部52係亦可將表示有物體存在的單詞或單詞群(例如「有」)所存在的文章予以抽出，而不將表示沒有物體的單詞或單詞群(例如「沒有」)所存在的文章予以抽出。以下的處理係針對已被抽出之文章中所含之單詞，而被進行。

接著，說明文解析部52，係從已被抽出之文章中所含之單詞，特定出表示物體的單詞也就是物體語(步驟S203)，並特定出表示物體之部分的單詞也就是部分語(步驟S204)。說明文解析部52，係在已被抽出之單詞是已被預先準備的物體字典中所被儲存之任一單詞的情況下則可將該單詞特定作為物體語，在已被抽出之單詞是已被預先準備的部分字典中所被儲存之任一單詞的情況下則可將該單詞特定作為部分語。

物體字典及部分字典，係亦可用手動作業而被作成，亦可被自動作成。例如，亦可將販售服務的商品頁面中出現的頻率較高的名詞或TF-IDF之值較高的名詞，當作物體語或部分語而採用。又，亦可將物體語的歧異表現或同義語，追加至物體字典或部分字典。此外，於販售服務中，亦可考慮是否為對販售有所貢獻之單詞，來選擇物體語。例如，亦可為，針對過去實際賣出過的商品之商品說明文中所出現過的物體語是計數成Positive資料，針對賣不掉的商品之商品說明文中所出現過的物體語則計數成Negative資料，使用該計數結果來仔細挑選物體語。

然後，在有具修飾關係之部分語存在的物體語的情況下，則將該物體語及部分語之集合，登錄至特定表(步驟S205)。特定表中係被登錄有1或複數個集合。特定表中所被登錄的集合之每一者係含有，藉由說明文解析部52而從說明文中所被特定出來的物體語及部分語。例如在只有物體語被特定的情況下，集合中係可不含部分語。特定表係被儲存在記憶部12中。亦可取代特定表而改成像是陣列般的清單狀之資料，而被儲存在記憶部12中。

另一方面，在有具修飾關係之部分語是不存在的物體語的情況下，將該物體語當作集合而登錄至特定表(步驟S206)。又，在有具修飾關係之物體語是不存在的部分語的情況下，則基於商品資訊中所含之商品名而將物體語予以補足，將該已被補足之物體語與部分語之集合，儲存在特定表中(步驟S207)。

圖6係為說明文中所含之文章、與根據該文章而被特定的物體語及部分語之一例的圖示。圖6的物體語的欄及部分語的欄係表示了，被儲存在特定表中的集合之一例。

參見圖6，「保證書」、「耳機」、「智慧型手機」這類物體語係被特定。從第1段文字中雖然特定出物體語「保證書」但未特定出部分語，在第3段文字中作為部分語係特定出「背側」，為了消除語句之歧異，「背側」係被轉換成「背面」，而被儲存在特定表中。第4段文字係為否定形而並非表示物體之存在的文字，因此「充電適配器」即使有被定義在物體字典中，物體語、部分語係仍不被儲存至特定表。

部分語，係為說明文中所含之語句，且為言及了物體語所示之物體之中一部分的語句(言及部)。

說明文解析部52所致之步驟S202以後的處理，係亦可使用機器學習模型來加以實現。亦可使用一種稱為BERT(Bidirectional Encoder Representations from Transformers)自然語言處理模型，不經由構詞解析，將說明文的文章輸入至自然語言處理模型而將物體語與部分語之集合以直接輸出的方式而加以取得。

說明文解析部52的處理之一方中，影像解析部53，係從已被接收之1或複數個影像之每一者，偵測出物體及該物體的被攝影部(步驟S103)。嚴格來說，實際所被偵測的係為物體之種類，隨著物體之種類而亦可不偵測出被攝影部。

更具體而言，可使用基於機器學習而使用到影像辨識模型的Region Proposal手法。影像解析部53，係對該影像辨識模型輸入影像，將從影像辨識模型所被輸出之物體與該物體所存在之區域，當作偵測結果而予以輸出。影像辨識模型係可使用Faster R-CNN、SSD、YOLO。影像解析部53，係可將所被輸出之物體，視為已被偵測出來的物體。此情況下，藉由含有影像與應被偵測之物體的教師資料，而將影像辨識模型進行學習。作為教師資料亦可使用例如，一種稱作ImageNet的一般的影像辨識資料集。

影像解析部53，係可將藉由方向辨識模型而被推定出來的方向加以取得，將該方向當作物體所被偵測出來的被攝影部而予以輸出。物體之方向推定時，亦可使用事前準備的學習資料(例：保證書的正面、背面的影像群)，針對每一物體來建構方向辨識模型。方向辨識模型係可使用例如：Martin Sundermeyer, Zoltan-Csaba Marton, Maximilian Durner, Manuel Brucker, Rudolph Triebel所寫的論文「Implicit 3D Orientation Learning for 6D Object Detection from RGB Images」中所揭露者。影像解析部53係可獲取物體的3D模型，根據從該3D模型而被生成的影像、與所被輸入的影像之類似度來推定物體的旋轉參數r。旋轉參數r係亦可為旋轉向量、旋轉矩陣、四元數、歐拉角之任一者。此處，影像解析部53係可使用映射函數f，將旋轉參數r轉換成針對被攝影部而被預先決定的選項(例如正面、背面、側面)之任一者。關於已被偵測出來的物體而難以推定方向的情況下(例：纜線)，則方向推定之處理亦可被略過。

藉由目前為止的處理所被偵測出來的物體及被攝影部之集合，係與其所被偵測到的影像建立關連而被儲存在記憶部12的偵測結果表中。此處，從影像辨識模型，亦可輸出物體及非攝影部之雙方來作為偵測結果。又，亦可取代偵測結果表而改成陣列等的清單狀之資料，而被儲存在記憶部12中。此情況下，影像辨識模型，係藉由含有影像與應被偵測之物體及被攝影部的教師資料，而進行學習。

圖7係為表示從影像所被偵測出來的物體及被攝影部的圖，係為偵測結果之清單中所被登錄的物體及被攝影部的圖示。從影像1中，作為物體係被偵測出智慧型手機，作為被攝影部係被偵測出正面。從影像2係被偵測出充電適配器和盒子2個物體。關於充電適配器係由於方向或部分所致之差異較小，因此被攝影部係不被偵測。影像3實際上係為保證書的影像，但藉由影像解析部53而偵測出文件來作為物體，偵測出正面來作為被攝影部。

一旦藉由說明文解析部52而特定出物體語等，藉由影像解析部53而偵測出物體等，則對應生成部54係生成對應資訊(步驟S104)。一旦對應資訊被生成，則顯示控制部55係基於所被顯示的對應資訊來控制顧客終端2之顯示(步驟S105)。

以下說明步驟S104之處理。圖8係為圖示對應生成部54的處理之一例的流程圖，表示步驟S104的處理之中的一部分。圖8所示的處理係為，將含有從說明文中所被特定出來之物體語的集合(從說明文中所被特定出來之集合)、與含有從影像所被偵測出來之物體的集合(從影像所被偵測出來的集合)之對應予以決定的處理。

首先，對應生成部54，係基於說明文而從說明文解析部52所作成的特定表中，選擇出未選擇的1個集合(步驟S401)。對應生成部54，係從影像所被偵測出來之物體(與被攝影部以集合的方式而被儲存的物體)中，找出已被選擇之集合中所含之物體語所對應之物體(步驟S402)。在尋找物體語所對應之物體的處理中，更具體而言，對應生成部54係基於預先準備的對應表而將已被選擇之集合中所含之物體語，轉換成用來識別從影像所被偵測出來的物體之種類的識別資訊，從影像所被偵測出來之物體中，找出具有該識別資訊所示之物體之種類的物體。

對應於已被選擇之集合中所含之物體語並且從影像所被偵測出來之物體是不存在的情況下(步驟S402的N)，則結束針對該集合之處理，並遷移至步驟S408。另一方面，對應於已被選擇之集合中所含之物體語並且從影像所被偵測出來之物體是存在的情況下(步驟S402的Y)，則對應生成部54係將該物體語與從影像所被偵測出來之物體建立關連而儲存在記憶部12內的物體對應表中(步驟S403)。

圖9係為物體對應表中所被儲存之資訊的說明圖。在圖9的例子中，說明文中的「保證書」與從影像所被偵測出來之「文件」係被建立關連而儲存在物體對應表中，從說明文所被特定出來之「智慧型手機」與從影像所被偵測出來之「智慧型手機」及該物體所被偵測到的影像係被建立關連而儲存在物體對應表中。

然後，已被選擇之集合中不含部分語的情況下(步驟S403的N)，則對應生成部54係將集合中之物體語、與對應之物體及其所被偵測到的影像建立關連而儲存在記憶部12內的集合對應表中(步驟S405)。

已被選擇之集合中含有部分語的情況下(步驟S403的Y)，則對應生成部54，係從被視為對應的物體一起被偵測到的被攝影部，偵測出與部分語相對應者(步驟S406)。對應於部分語的被攝影部為存在的情況下(步驟S406的Y)，將集合中的物體語及部分語、與從影像所被偵測出來之物體及被攝影部建立對應而儲存在集合對應表中(步驟S407)。對應於部分語的被攝影部是不存在的情況下(步驟S406的N)，則略過步驟S407。

於步驟S408中，對應生成部54係判定特定表中是否有未選擇之集合存在。然後，未選擇之集合為存在的情況下(步驟S408的Y)，則重複步驟S401起之處理。另一方面，未選擇之集合為不存在的情況下(步驟S408的N)，則結束圖8的處理。

圖10係為集合對應表中所被儲存之資訊的說明圖。在圖10的例子中，關於從說明文中所被抽出之物體也就是「保證書」，作為集合係未特定出部分語。因此，含有「保證書」的集合，係無關於被攝影部，對於從影像所被偵測出來之「文件」與「正面」之集合會被視為有對應關係，彼此會被建立關連而儲存在集合對應表中。關於從說明文所被特定出來之「智慧型手機」與「背面」之集合，係對於從影像所被偵測出來之「智慧型手機」與「正面」之集合，由於沒有部分語與被攝影部之對應因此作為集合是被判斷成不對應，這些集合係不被儲存至集合對應表中。

此處，從說明文所被特定出來之集合與從影像所被偵測出來之集合的對應建立，係亦可用其他的方法而被進行。例如從說明文中所被特定出來的物體語之候補與從影像中所被特定出來的物體之種類之候補的有無對應，係亦可不被事前決定。影像解析部53，係亦可將從影像中所被特定出來的物體之種類作為物體之名稱而加以取得，對應生成部54係算出物體語與物體之名稱在意義空間中的2點間距離，將物體語與物體之名稱的對應關係，基於貪婪演算法或動態規劃法來加以決定。此外，物體語及物體之名稱於意義空間中的座標，係亦可基於例如Web上的龐大頁面般的公知的文件，而被決定。

一旦從說明文中所被特定出來之集合、與從影像所被偵測出來之集合的對應一旦被決定，則對應生成部54，作為對應資訊，係生成表示在說明文中有被言及但是對應之影像係為不存在的物體語或部分語的資訊。圖11係為對應生成部54的處理之一例的流程圖。

對應生成部54，係基於說明文而從說明文解析部52所作成的特定表中，選擇出未選擇的1個集合(步驟S421)。對應生成部54，係從集合對應表，檢索與已被選擇之集合建立關連的資訊是否有被儲存，藉此以判定，與已被選擇之集合建立對應，且從影像所被偵測出來之集合是否存在(步驟S422)。

與已被選擇之集合建立對應，且從影像所被偵測出來之集合是存在的情況下(步驟S422的Y)，則關於該已被選擇之集合的處理係結束，並遷移至步驟S426。

與已被選擇之集合建立對應，且從影像所被偵測出來之集合是不存在的情況下(步驟S422的N)，則從物體對應表，檢索出與已被選擇之集合中所含之物體語建立關連的資訊是否有被儲存，藉此以判定，與已被選擇之集合中所含之物體語建立對應的，從影像所被偵測出來之物體是否存在(步驟S423)。在對應之物體是存在的情況下(步驟S423的Y)，則對應生成部54，作為對應資訊係生成，說明文之物體語所對應之物體雖然有被拍攝，但說明文中有被言及之部分(對應於部分語之部分)係為未被拍攝之意旨的訊息(步驟S424)。

另一方面，在對應之物體為不存在的情況下(步驟S423的N)，對應生成部54，作為對應資訊係生成，說明文中有被言及之物體(對應於物體語之物體)係為未被拍攝之意旨的訊息(步驟S425)。

然後，於步驟S426中，對應生成部54係判定特定表中是否有未選擇之集合存在。然後，未選擇之集合為存在的情況下(步驟S426的Y)，則重複步驟S421起之處理。另一方面，未選擇之集合為不存在的情況下(步驟S426的N)，則結束圖11的處理。

圖12係為所被生成之訊息之一例的圖示。圖12係圖示了，基於圖9、10中所記載之資料而被生成的訊息之一例。訊息係作為用來催促影像之追加的通知之一種而被生成。關於從說明文所被特定出來之物體語也就是耳機，由於從影像被偵測出來且與耳機建立對應的物體係為不存在，因此偵測不到物體，而會生成用來催促耳機之攝影的訊息。另一方面，關於從說明文所被特定出來之智慧型手機，雖然從影像被偵測出來且對應之物體係為存在，但是由於部分語與被攝影部係為不對應，因此會生成用來催促該部分語所示之部分之攝影的訊息。

一旦圖11所示的處理被執行，則顯示控制部55，係於步驟S105中，在訊息已被生成的情況下，則進行控制，以使已被生成之訊息，顯示於顧客終端2。具體而言，顯示控制部55係將含有訊息的顯示資料，發送至顧客終端2，藉此以控制顯示。又，顯示控制部55係亦可單純將表示不足的物體或部分的對應資訊發送至顧客終端2，讓顧客終端根據對應資訊而生成訊息並輸出。又，在顧客終端2側亦可進行訊息的生成來作為顯示控制部55。操作顧客終端2的販售者，係將追加的影像從顧客終端2予以發送，資訊取得部51係取得該影像。其後，資訊處理系統係亦可執行圖3的步驟S102以後之處理。

如此，藉由將表示說明文中有被言及但對應之影像為不存在的物體語或部分語的訊息加以生成並顯示，販售者就可容易理解說明文之記載與影像不匹配的事實，而可容易改善該不匹配。藉此，可確保說明文與影像之匹配性，使用者係可根據說明文和影像而更容易掌握商品。

此處，作為對應資訊，亦可生成像是集合對應表或物體對應表之類的資訊，亦可生成表示影像與說明文中所含之文章之關連的資訊。

圖13係為對應生成部54的處理之另一例的圖示，在圖8所示的處理之後，可取代圖11所示的處理，或可平行地執行之處理的圖示。

在圖13所示的處理中，對應生成部54，係從集合對應表，選擇出從影像所被偵測出來之物體及被攝影部之集合(步驟S501)。對應生成部54，係將與已被選擇之集合建立對應且從說明文所被特定出來之集合加以取得，並將含有該集合中所含之物體語及部分語的文章加以取得(步驟S502)。該文章係為說明文中所含之文章，對應生成部54係亦可從說明文中找出含有物體語及部分語的文章並予以抽出以取得該文章，亦可由說明文解析部52，將物體語及部分語之集合、與該集合所被特定出來之文章建立關連而儲存在記憶部12，由對應生成部54來取得與物體語及部分語之集合建立關連而被儲存的文章。當然，從說明文所被特定出來之集合中只有儲存物體語的情況下也是，對應生成部54係可取得該物體語所被特定出來的文章。

一旦文章被取得，則對應生成部54，係將已被選擇之集合所被偵測出來的影像、與已被取得文章予以建立關連的資訊，當作對應資訊而予以生成(步驟S503)。然後，在集合對應表中有未選擇之從影像所被偵測出來之集合存在的情況下(步驟S504的Y)，則對應生成部54係重複步驟S501起之處理。另一方面，集合對應表中沒有未選擇之從影像所被偵測出來之集合存在的情況下(步驟S504的N)，則結束圖13的處理。

藉由圖13所示的處理，物體或被攝影部所被偵測的影像、和該物體或被攝影部所對應之物體語或部分語所被特定的文章，就被建立對應。

以下說明，使用到該對應資訊的顯示控制。圖14係為顯示控制部55的處理之另一例的圖示。圖14所示的處理，係藉由身為購入候補者的使用者之操作，而在顧客終端2上顯示出含有影像之商品說明頁面之際所被進行的處理，是由接收到商品說明頁面以及對應資訊的顧客終端2來加以執行。

首先，顯示控制部55係判定，使用者所操作的指標，是否位於任一影像之上(步驟S521)。指標係為，於使用者介面中表示使用者所指向之位置。顯示控制部55係在指標是位於影像之上的情況下(步驟S521的Y)，則基對應資訊，判定已被建立關連的文章是否存在(步驟S522)。若已被建立關連的文章是存在的情況下(步驟S522的Y)，則顯示控制部55係將已被建立關連的文章，顯示於該影像之上或周圍(步驟S523)。

圖15係為影像上有指標的情況下所被輸出的文章之一例的圖示。圖15所示的指標係為所謂的滑鼠指標，係為顧客終端2是個人電腦之情況的例子。如此，指標所存在的影像所對應之說明文會被顯示，藉此，可容易確認對應於影像的文章，商品的理解會變得容易。

此處，對應生成部54，作為對應資訊，亦可不是影像本身，而是將影像之中物體所被特定的領域、與說明文建立關連的資訊，加以生成。此情況下，顯示控制部55，係只有在指標是位於影像之中對應資訊中所含之領域的情況下，才將已被建立關連的文章，顯示於影像之上或周圍。

1:資訊處理伺服器 2:顧客終端 11:處理器 12:記憶部 13:通訊部 14:輸出入部 51:資訊取得部 52:說明文解析部 53:影像解析部 54:對應生成部 55:顯示控制部 80:智慧型手機

[圖1]本發明的實施形態所述之資訊處理系統之一例的圖示。 [圖2]資訊處理系統所實現之機能的區塊圖。 [圖3]資訊處理系統之處理的概略性圖示的流程圖。 [圖4]所被輸入的影像之一例的圖示。 [圖5]說明文解析部的處理之一例的流程圖。 [圖6]說明文中所含之文章、與根據該文章而被特定的物體語及部分語之一例的圖示。 [圖7]從影像所被偵測出來的物體及被攝影部的圖示。 [圖8]對應生成部的處理之一例的流程圖。 [圖9]物體對應表中所被儲存之資訊的說明圖。 [圖10]集合對應表中所被儲存之資訊的說明圖。 [圖11]對應生成部的處理之一例的流程圖。 [圖12]所被生成之訊息之一例的圖示。 [圖13]對應生成部的處理之另一例的圖示。 [圖14]顯示控制部的處理之另一例的圖示。 [圖15]影像上有指標的情況下所被輸出的文章之一例的圖示。

Claims (9)

1. 一種資訊處理系統，係為提供電子商務交易平台的資訊處理系統，其係含有： 取得部，係將關於商品的說明文和1或複數個影像，加以取得；和 特定部，係從前記說明文，特定出物體；和 偵測部，係從前記1或複數個影像之每一者，偵測出物體；和 對應部，係基於從前記說明文所被特定出來之物體、與從前記影像所被偵測之物體之對應，而生成對應資訊。
2. 如請求項1所記載之資訊處理系統，其中， 前記特定部係從前記說明文中特定出關於物體之一部分的言及部； 前記偵測部，係從前記1或複數個影像之每一者，偵測出物體及該當物體之被攝影部； 前記對應部，係基於前記特定部所特定出來的物體之言及部、與前記偵測部所偵測出來的物體之被攝影部之對應，而生成對應資訊。
3. 如請求項1所記載之資訊處理系統，其中， 前記對應部，係生成對應資訊，其係含有：在從前記說明文所被特定出來之物體之中，表示與從前記影像所被偵測出來之任一物體皆不對應之物體的資訊。
4. 如請求項2所記載之資訊處理系統，其中， 前記對應部，係生成對應資訊，其係含有：在從前記說明文所被特定出來之物體的言及部之中，表示與從前記影像所被偵測出來之任一物體的被攝影部皆不對應之言及部的資訊。
5. 如請求項3或4所記載之資訊處理系統，其中， 還含有：顯示控制部，係基於前記對應資訊而進行控制以顯示出用來催促影像之追加的通知。
6. 如請求項1所記載之資訊處理系統，其中， 前記對應部，係生成對應資訊，其係表示，從前記影像所被偵測之物體、與前記說明文中所含之文章之對應，前記文章係含有，對應於該當所被偵測之物體並且是從前記說明文所被特定出來之物體； 還含有：顯示控制部，係基於前記對應資訊而進行控制，以顯示出使用者所指向的影像中所含之物體所對應的前記文章。
7. 如請求項6所記載之資訊處理系統，其中， 前記顯示控制部，係進行控制，以使得於前記影像中使用者所指向的物體所對應之前記文章被顯示。
8. 一種資訊處理方法，係為用來提供電子商務交易平台所需之資訊處理方法，其係含有： 將關於商品的說明文和1或複數個影像加以取得之步驟；和 從前記說明文特定出物體之步驟；和 從前記1或複數個影像之每一者偵測出物體之步驟；和 基於從前記說明文所被特定出來之物體、與從前記影像的前記所被偵測之物體之對應，而生成對應資訊之步驟。
9. 一種程式產品，係用來使電腦發揮功能而成為： 取得部，係將關於電子商務交易平台上所被陳列之商品的說明文和1或複數個商品影像，加以取得； 抽出部，係從前記說明文，抽出1或複數個說明對象； 特定部，係從前記說明文，特定出物體； 偵測部，係從前記1或複數個影像之每一者，偵測出物體；及 對應部，係基於從前記說明文所被特定出來之物體、與從前記影像的前記所被偵測之物體之對應，而生成對應資訊。

Images