JP6524276B1 - 端末プログラム、端末装置、情報提供方法及び情報提供システム - Google Patents

Abstract

【課題】ユーザの意図に合った商品の情報を適切に提供する。【解決手段】本願に係る端末プログラムは、ユーザが保持しているスクリーンショット等の画像を所定の記憶領域から取得する取得手順と、前記取得手順によって取得された画像の特徴量を基に、画像を所定のカテゴリに分類する分類手順と、を端末装置に実行させる。さらに、端末プログラムは、画像に表示された商品に関する商品情報を特定する特定装置に、分類した画像を送信する送信手順を端末装置に実行させる。【選択図】図１

Description

本発明は、端末プログラム、端末装置、情報提供方法及び情報提供システムに関する。

従来、例えば、アプリケーションを起動した端末から検索用の画像を受信し、特定のドメインを指定し、当該画像に類似する画像を画像検索により検索した結果得られた画像で示される商品等の情報を端末に提示する技術が知られている。

特開２０１６−００９４５９号公報

しかしながら、上記の従来技術では、ユーザの意図に合った商品の情報を適切に提供することが困難な場合がある。例えば、検索用の画像が、料理と服の両方が写った写真であって、ユーザが当該服と類似の商品の情報を所望している場合、従来技術による画像検索の結果には、服に関する画像だけでなく、料理に関する画像も含まれてしまうことが考えられる。そのため、従来技術では、ユーザの意図に合った商品の情報を適切に提供することが困難な場合がある。

本願は、上記に鑑みてなされたものであって、ユーザの意図に合った商品の情報を適切に提供する端末プログラム、端末装置、情報提供方法及び情報提供システムを提供することを目的とする。

本願に係る端末プログラムは、ユーザが保持している画像を所定の記憶領域から取得する取得手順と、前記取得手順によって取得された画像の特徴量を基に、前記画像を分類する分類手順と、を端末装置に実行させることを特徴とする。

実施形態の一態様によれば、ユーザの意図に合った商品の情報を適切に提供することができるという効果を奏する。

図１は、実施形態に係る情報提供処理の一例を示す図である。 図２は、実施形態に係る情報提供システムの構成例を示す図である。 図３は、実施形態に係る特定処理の一例を示す図である。 図４は、実施形態に係る端末装置の構成例を示す図である。 図５は、実施形態に係る特定装置の構成例を示す図である。 図６は、実施形態に係る特定装置の生成処理における処理例を示すフローチャートである。 図７は、実施形態に係る端末装置の特定処理及び表示処理における処理例を示すフローチャートである。 図８は、実施形態に係る特定装置の特定処理における処理例を示すフローチャートである。 図９は、端末装置及び特定装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本願に係る端末プログラム、端末装置、情報提供方法及び情報提供システムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る端末プログラム、端末装置、情報提供方法及び情報提供システムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

（実施形態）
〔１．情報提供処理〕
まず、図１を用いて、実施形態に係る情報提供処理の一例について説明する。図１は、実施形態に係る情報提供処理の一例を示す図である。端末装置１０は、ユーザＵ１０が利用する端末装置である。また、特定装置２０は、端末装置１０から取得した情報を基に商品を特定し、特定結果を端末装置１０に返すことができる。

ショッピングサーバ３０は、インターネットショッピングサービスを提供するためのサーバである。また、オークションサーバ４０は、インターネットオークションサービスを提供するためのサーバである。

販売情報管理装置５０は、インターネットショッピングサービス及びインターネットオークションサービス等で販売又は出品される商品の情報を管理するための装置である。例えば、販売情報管理装置５０は、端末装置１０から送信された情報を基に商品の検索を行い、検索結果を端末装置１０に返すことができる。なお、ショッピングサーバ３０又はオークションサーバ４０が、販売情報管理装置５０として機能してもよい。

〔２．情報提供システムの構成〕
まず、図１の説明に先立って、図２に示す情報提供システム１について説明する。図２は、実施形態に係る情報提供システムの構成例を示す図である。図２に示すように、情報提供システム１は、端末装置１０、特定装置２０及び販売情報管理装置５０を有する。

端末装置１０は、所定のネットワークＮを介して、特定装置２０及び販売情報管理装置５０と有線又は無線により通信可能に接続される。なお、図２に示した情報提供システム１には、複数台の特定装置２０や、複数台の端末装置１０が含まれていてもよい。

端末装置１０は、ユーザによって利用される情報処理装置である。端末装置１０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal Digital Assistant）等により実現される。

図１の例では、端末装置１０は、ユーザＵ１０が利用するスマートフォンである。なお、以下では、端末装置１０をユーザＵ１０と表記する場合がある。すなわち、以下では、ユーザＵ１０を端末装置１０と読み替えることもできる。

端末装置１０は、ユーザＵ１０が保持する画像を取得することができる。ユーザＵ１０が保持する画像とは、ユーザＵ１０が端末装置１０のカメラ機能を使って撮影した写真、端末装置１０の画面のスクリーンショット、端末装置１０を使ってダウンロードした写真等が含まれる。

（生成処理）
図１に戻り、実施形態に係る情報提供処理について説明する。ここでは、実施形態に係る情報提供処理を、生成処理、特定処理及び表示処理の３つに分けて説明する。まず、特定装置２０によって行われる生成処理について説明する。生成処理は、特定装置２０が画像から商品を特定するためのモデルを生成する処理である。

まず、図１に示すように、販売者Ｕ３０は、インターネットショッピングサービスを利用して商品を販売するために、商品情報３２をショッピングサーバ３０に投稿する（ステップＳ１１）。このとき、商品情報３２には、商品名及び商品の画像等が含まれる。例えば、商品情報３２には、コートの画像及び、商品名を示すテキストである「レディースコート」が含まれる。

また、出品者Ｕ４０は、インターネットオークションサービスに商品を出品するために、商品情報４２をオークションサーバ４０に投稿する（ステップＳ１２）。このとき、商品情報４２には、商品名及び商品の画像等が含まれる。例えば、商品情報４２には、コートを着た人物の画像及び商品名を示すテキストである「グレーコート」が含まれる。

特定装置２０は、ショッピングサーバ３０から、商品情報３２を取得する（ステップＳ１３）。また、特定装置２０は、オークションサーバ４０から、商品情報４２を取得する（ステップＳ１４）。次に、特定装置２０は、取得した商品情報３２及び商品情報４２に基づいてモデルを生成する（ステップＳ１５）。

特定装置２０は、ディープラーニング等の既知の機械学習の手法を利用してモデルの生成を行うことができる。例えば、特定装置２０は、商品情報３２及び商品情報４２を教師データとした教師あり機械学習によってモデルを生成することができる。その際、教師データの入力データを商品の画像とし、正解ラベルを商品名のテキスト又は当該テキストに含まれる単語とすることができる。

ファッション特定モデル２２２ａは、１つ以上の画像又は画像から抽出された特徴量が入力された場合、特定結果を出力する。また、ファッション特定モデル２２２ａによって出力される特定結果は、商品名であってもよいし、色や形状等の商品の属性であってもよい。

また、図１の例では、特定装置２０は、ファッションに関する商品の特定に特化したファッション特定モデル２２２ａを生成する。一方、特定装置２０は、取得する情報のカテゴリに応じた特定モデルを生成することができる。例えば、特定装置２０は、観光名所の風景や建物の画像を含んだ情報を基に、観光地の特定に特化した観光地特定モデル２２２ｂを生成することができる。また、例えば、特定装置２０は、レストランで撮影された料理等の画像を含んだ情報を基に、料理やレストランの特定に特化したグルメ特定モデル２２２ｃを生成することができる。特定装置２０は、生成した各モデルを特定モデル記憶部２２２に記憶する。

また、販売者Ｕ３０は、メーカや小売店である場合が多いため、商品情報３２には、商品の正式な名称や、発色等が良くなるように作成された画像が含まれていることが考えられる。一方で、出品者Ｕ４０は、個人である場合があるため、商品情報４２には、商品の通称や自宅等の設備の整っていない環境で撮影された画像が含まれていることが考えられる。このため、ショッピングサーバ３０とオークションサーバ４０とでは、取得可能な商品情報の性質が異なる場合がある。特定装置２０は、ショッピングサーバ３０及びオークションサーバ４０の両方から商品情報を取得するため、より多様な入力データに対応したモデルを生成することが可能となる。なお、特定装置２０は、ショッピングサーバ３０又はオークションサーバ４０のいずれか一方から商品情報を取得するようにしてもよい。

（特定処理）
次に、図１及び図３を用いて、特定処理について説明する。特定処理は、端末装置１０が取得し分類した画像から、特定装置２０が商品を特定する処理である。特定処理は、生成処理が実行済みであることを前提として実行される。また、特定処理は、端末装置１０で所定のアプリケーションが起動したタイミングで実行されてもよいし、バックグラウンドで実行されてもよい。また、特定処理は、ユーザＵ１０が画像を撮影したタイミングで実行されてもよい。また、前述の通り、ユーザＵ１０が撮影する画像には、写真及びスクリーンショットが含まれる。また、図３は、実施形態に係る特定処理の一例を示す図である。

端末装置１０は、取得した画像を分類する（ステップＳ２１）。ここでは、端末装置１０は、画像記憶部１２１に記憶されたスクリーンショットを取得し、ファッションカテゴリとファッションカテゴリ以外に分類することとする。また、端末装置１０は、端末装置１０によって画像が撮影されたタイミングで当該撮影された画像を取得してもよい。

図３に示すように、画像記憶部１２１には、スクリーンショット１３１ａ、１３１ｂ、１３１ｃ及び１３１ｄが記憶されている。例えば、スクリーンショット１３１ａ、１３１ｂ、１３１ｃ及び１３１ｄは、ブラウザ又は所定のアプリケーションでＷｅｂサイトを表示している状態の端末装置１０の画面をキャプチャしたものである。

例えば、ユーザＵ１０は、閲覧中のＷｅｂサイトに気に入った商品が表示されている場合、メモ代わりに当該Ｗｅｂサイトが表示された画面のスクリーンショットを撮影する場合がある。このため、端末装置１０によって撮影されたスクリーンショットには、ユーザＵ１０が気に入った商品が表示された画像が含まれていることが考えられる。

スクリーンショット１３１ａは、グレーのコートを着た人物及び「今年流行・・・」というテキストが示された画像である。また、スクリーンショット１３１ｂは、ハンバーガーが示された画像である。また、スクリーンショット１３１ｃは、観光名所の建物が示された画像である。また、スクリーンショット１３１ｃは、２人のグレーのコートを着た人物が示された画像である。

図３に示すように、端末装置１０は、ファッション分類モデル１２２ａを用いて、スクリーンショット１３１ａ、１３１ｂ、１３１ｃ及び１３１ｄを分類する。ファッション分類モデル１２２ａは、入力された画像がファッションカテゴリのものであるか否かを判定し分類を行う。

ファッション分類モデル１２２ａは、事前に特定装置２０によって生成されたものであってもよい。また、ファッション分類モデル１２２ａによる分類は簡易なものであってもよい。ファッション分類モデル１２２ａは、特定装置２０に記憶されたファッション特定モデル２２２ａと比較して、データ容量が小さく、また、処理負荷が小さいものであってよい。

例えば、ファッション分類モデル１２２ａは、ディープラーニング等の既知の機械学習の手法を利用して、ファッションカテゴリであることが既知の画像及びファッションカテゴリでないことが既知の画像を教師データとした機械学習を行うことで生成される。

図３に示すように、ファッション分類モデル１２２ａは、スクリーンショット１３１ａ、１３１ｂ、１３１ｃ及び１３１ｄのうち、スクリーンショット１３１ａ及び１３１ｄをファッションカテゴリに分類する。

図１に示すように、端末装置１０は、分類した画像を特定装置２０に送信する（ステップＳ２２）。このとき、端末装置１０は、分類した画像のうち、特定装置２０に対して未送信の画像のみを送信する。例えば、端末装置１０は、送信した画像に送信済みフラグを付与することで画像が未送信であるか送信済みであるかを判定することができる。

なお、端末装置１０は、ステップＳ２１において、未取得の画像のみを取得するようにしてもよい。また、端末装置１０は、ステップＳ２１において、未分類の画像のみを分類するようにしてもよい。これにより、端末装置１０は、上述の未送信の画像のみを送信する場合と同様に、送信済みの画像を特定装置２０に送信しないようにすることができる。また、例えば、端末装置１０は、取得した画像に取得済みフラグを付与することで画像が未取得であるか取得済みであるかを判定することができる。同様に、端末装置１０は、分類した画像に、分類済みフラグ又は分類したカテゴリを示す区分を付与することで、画像が未分類であるか分類済みであるかを判定することができる。

そして、特定装置２０は、端末装置１０から取得した画像を基に商品を特定する（ステップＳ２３）。さらに、端末装置１０は、特定装置２０から特定結果を取得する（ステップＳ２４）。

図３に示すように、端末装置１０は、スクリーンショット１３１ａ及びスクリーンショット１３１ｂを特定装置２０に送信する。そして、特定装置２０のファッション特定モデル２２２ａは、スクリーンショット１３１ａ及びスクリーンショット１３１ｂが入力されると、特定結果として「グレー」及び「コート」というキーワードを出力する。

なお、端末装置１０は、画像の代わりに、分類した画像から抽出された所定の特徴量を特定装置２０に送信してもよい。このとき、ファッション特定モデル２２２ａには、画像の特徴量が入力される。

（表示処理）
次に、図１を用いて、表示処理について説明する。表示処理は、端末装置１０がユーザＵ１０に推奨される商品を表示する処理である。端末装置１０は、推奨される商品の情報を取得する際に、特定装置２０による特定結果を利用する。なお、表示処理は、特定処理の完了後すぐに行われてもよいし、特定処理とは異なるタイミングで行われてもよい。例えば、バックグラウンドで定期的に特定処理が行われ、インターネットショッピング用のアプリケーションが起動した際に表示処理が行われるようにしてもよい。

図１に示すように、端末装置１０は、特定装置２０による特定結果を販売情報管理装置５０に送信する（ステップＳ２５）。ここでは、端末装置１０は、特定結果として「グレー」及び「コート」というキーワードを送信する。

ここで、販売情報管理装置５０は、特定結果を取得すると、記憶部５１に記憶された商品一覧から商品を検索する（ステップＳ２６）。そして、端末装置１０は、販売情報管理装置５０によって検索された商品の商品情報を取得する（ステップＳ２７）。

端末装置１０は、販売情報管理装置５０から取得した商品情報を、「あなたへのおすすめ商品！」といったメッセージとともに表示部に表示する。例えば、端末装置１０が表示する商品情報には、商品名、商品の画像、及び価格が含まれる。図１の例では、価格が￥２０，０００の「グレーのコート」という商品が推奨商品として端末装置１０の表示部に表示されている。

〔３．端末装置の構成〕
次に、図４を用いて、実施形態に係る端末装置１０の構成について説明する。図４は、実施形態に係る端末装置の構成例を示す図である。図４に示すように、端末装置１０は、通信部１１と、記憶部１２と、制御部１３とを有する。なお、端末装置１０は、ユーザＵ１０等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有していてもよい。また、入力部及び表示部として機能するタッチパネルを有していてもよい。

（通信部１１）
通信部１１は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１は、ネットワークＮと有線又は無線で接続され、特定装置２０及び販売情報管理装置５０との間で情報の送受信を行う。

（記憶部１２）
記憶部１２は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現される。実施形態に係る記憶部１２は、図４に示すように、画像記憶部１２１及び分類モデル記憶部１２２とを有する。

（画像記憶部１２１）
画像記憶部１２１は、ユーザが保持している画像を記憶する記憶領域である。例えば、画像記憶部１２１は、ユーザＵ１０が端末装置１０のカメラ機能を使って撮影した写真、端末装置１０の画面のスクリーンショット、端末装置１０を使ってダウンロードした写真等を記憶する。

（分類モデル記憶部１２２）
分類モデル記憶部１２２は、画像を分類するモデルを記憶する。例えば、分類モデル記憶部１２２は、ファッション分類モデル１２２ａを記憶する。また、分類モデルは、端末装置１０にインストールされたアプリケーションに対応するものであってよい。例えば、端末装置１０にファッションのインターネットショッピングを行うためのアプリケーションがインストールされる場合、分類モデル記憶部１２２にファッション分類モデル１２２ａが格納される。

（制御部１３）
制御部１３は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、端末装置１０内部の記憶装置に記憶されている各種プログラム（端末プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

図４に示すように、制御部１３は、取得部１３１と、分類部１３２と、送信部１３３と、受信部１３４と、表示制御部１３５とを有し、以下に説明する情報処理の機能や作用を実現又は実行する。なお、制御部１３の内部構成は、図４に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

（取得部１３１）
取得部１３１は、ユーザが保持している画像を所定の記憶領域から取得する。取得部１３１は、端末装置１０によって撮影されたスクリーンショットを取得する。取得部１３１は、画像を画像記憶部１２１から取得することができる。例えば、取得部１３１は、画像記憶部１２１に記憶されたスクリーンショットを取得する。また、取得部１３１は、撮影日時が所定の期間に含まれる画像を取得することができる。例えば、取得部１３１は、撮影日時が、現在の日時から３日前までの写真を取得する。

また、ユーザが保持している画像が端末装置１０とインターネット等で接続されたクラウドストレージ等に記憶されている場合、取得部１３１は当該クラウドストレージから画像を取得してもよい。

（分類部１３２）
分類部１３２は、取得部１３１によって取得された画像の特徴量を基に、画像を分類する。分類部１３２は、分類モデル記憶部１２２に記憶された分類モデルに画像を入力し、分類モデルの出力結果を取得することができる。

また、端末装置１０にインストールされたアプリケーションであって、特定の商品のカテゴリに対応付けられたアプリケーションが分類部１３２として機能するようにしてもよい。この場合、分類部１３２は、当該アプリケーションに対応付けられた特定の商品のカテゴリに画像を分類する。また、分類部１３２による分類処理は、ユーザＵ１０の操作に応じてアプリケーションが起動した場合に実行されてもよいし、バックグラウンドで実行されてもよい。

例えば、分類部１３２は、ファッションのインターネットショッピング用のアプリケーションとして端末装置１０にインストールされるものであってもよい。その場合、分類部１３２は、画像をファッションカテゴリとファッションカテゴリ以外に分類する。

（送信部１３３）
送信部１３３は、画像の特徴量を基に、画像に表示された商品に関する商品情報を特定する特定装置２０に、分類部１３２によって特定のカテゴリに分類された第１の画像を送信する。例えば、送信部１３３は、取得部１３１によって取得されたスクリーンショットのうち、分類部１３２によってファッションカテゴリに分類されたスクリーンショットを特定装置２０に送信する。

また、送信部１３３は、特定のカテゴリに含まれる複数の商品の販売に関する販売情報を記憶する販売情報管理装置５０に、後述する受信部１３４によって受信された第１の商品情報を送信する。例えば、特定装置２０による特定結果が、商品検索用のキーワードであった場合、送信部１３３は、当該キーワードを販売情報管理装置５０に送信する。

（受信部１３４）
受信部１３４は、第１の画像の特徴量を基に特定装置２０によって特定された第１の商品情報を受信する。第１の商品情報は、例えば、類似商品の検索を行うための商品検索用のキーワードである。

また、受信部１３４は、販売情報管理装置５０に記憶された販売情報から、第１の商品情報を基に検索された商品に関する情報を、推奨商品に関する情報として受信する。例えば、送信部１３３が商品検索用のキーワードを販売情報管理装置５０に送信した場合、受信部１３４は、当該キーワードで販売情報管理装置５０によって検索された商品の商品名、画像及び価格を推奨商品に関する情報として受信する。

（表示制御部１３５）
表示制御部１３５は、推奨商品に関する情報を端末装置１０の表示部に表示させる。例えば、表示制御部１３５は、商品名、画像及び価格を推奨商品に関する情報として表示させる。

〔４．特定装置の構成〕
次に、図５を用いて、実施形態に係る特定装置２０の構成について説明する。図５は、実施形態に係る特定装置の構成例を示す図である。図５に示すように、特定装置２０は、通信部２１と、記憶部２２と、制御部２３とを有する。なお、特定装置２０は、管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有していてもよい。

（通信部２１）
通信部２１は、例えば、ＮＩＣ等によって実現される。そして、通信部２１は、ネットワークＮと有線又は無線で接続され、端末装置１０との間で情報の送受信を行う。

（記憶部２２）
記憶部２２は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現される。実施形態に係る記憶部２２は、図５に示すように、商品情報記憶部２２１及び特定モデル記憶部２２２とを有する。

（商品情報記憶部２２１）
商品情報記憶部２２１は、ショッピングサーバ３０から取得した商品情報３２及びオークションサーバ４０から取得した商品情報４２を記憶する。商品情報記憶部２２１に記憶された各商品情報は、特定モデルの生成に用いられる。

（特定モデル記憶部２２２）
特定モデル記憶部２２２は、後述する生成部２３１によって生成された特定モデルを記憶する。特定モデル記憶部２２２は、ファッション特定モデル２２２ａ、観光地特定モデル２２２ｂ、グルメ特定モデル２２２ｃといった複数の異なるカテゴリの特定モデルを記憶することができる。

（制御部２３）
制御部２３は、コントローラであり、例えば、ＣＰＵやＭＰＵ等によって、特定装置２０内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部２３は、コントローラであり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。

図５に示すように、制御部２３は、生成部２３１と、特定部２３２と、送信部２３３とを有し、以下に説明する情報処理の機能や作用を実現又は実行する。なお、制御部２３の内部構成は、図５に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

（生成部２３１）
生成部２３１は、商品情報記憶部２２１に記憶された商品情報に基づいて特定モデルを生成する。例えば、生成部２３１は、商品情報３２及び商品情報４２に基づいてファッション特定モデル２２２ａを生成する。

（特定部２３２）
特定部２３２は、画像の特徴量を基に、画像に表示された商品に関する商品情報を特定する。特定部２３２は、端末装置１０によって送信された画像を特定モデルに入力し、特定モデルの出力結果を取得することができる。例えば、特定部２３２は、ファッション特定モデル２２２ａによって出力される商品名や、商品の色や形状等を特定結果とすることができる。特定部２３２による特定結果は、商品検索用のキーワードであってもよい。

（送信部１３３）
送信部２３３は、特定部２３２によって特定された特定結果を、端末装置１０に送信する。例えば、特定部２３２による特定結果が商品検索用のキーワードである場合、送信部２３３は、当該キーワードを端末装置１０に送信する。

〔５．情報提供処理のフロー〕
次に、図６〜８を用いて、実施形態に係る情報提供システム１による情報提供処理の手順について説明する。図６は、実施形態に係る特定装置の生成処理における処理例を示すフローチャートである。また、図７は、実施形態に係る端末装置の特定処理及び表示処理における処理例を示すフローチャートである。また、図８は、実施形態に係る特定装置の特定処理における処理例を示すフローチャートである。

まず、図６を用いて、特定装置２０の生成処理における処理例について説明する。図６に示すように、特定装置２０は、ショッピングサーバ３０及びオークションサーバ４０から商品情報を取得する（ステップＳ１０１）。そして、特定装置２０は、商品情報を基に特定モデルを生成する（ステップＳ１０２）。特定装置２０は、生成した特定モデルを記憶しておく。

次に、図７を用いて、端末装置１０の特定処理及び表示処理における処理例について説明する。図７に示すように、端末装置１０は、開始条件が充足されるまで待機する（ステップＳ２０１、Ｎｏ）。ここで、開始条件は、例えば、端末装置１０にインストールされた特定のアプリケーションが起動すること及び一定時間が経過すること等である。

開始条件が充足された場合（ステップＳ２０１、Ｙｅｓ）、端末装置１０は、ユーザＵ１０が保持している画像を取得する（ステップＳ２０２）。ここで、ユーザＵ１０が保持している画像は、例えば、ユーザＵ１０が撮影し、端末装置１０に保存したスクリーンショットである。また、ユーザＵ１０が保持している画像は、ユーザが取得し、端末装置１０とインターネット等で接続されたクラウドストレージ等に保存した画像であってもよい。

次に、端末装置１０は、取得した画像を、分類モデルを用いて分類する（ステップＳ２０３）。そして、端末装置１０は、特定のカテゴリに分類した画像を特定装置２０に送信する（ステップＳ２０４）。ここで、特定装置２０は、端末装置１０によって送信された画像を用いて情報を特定する。特定装置２０による情報を特定する処理については、後に図８を用いて説明する。

端末装置１０は、特定装置２０から特定結果を取得する（ステップＳ２０５）。さらに、端末装置１０は、特定装置２０から取得した特定結果を販売情報管理装置５０に送信する（ステップＳ２０６）。ここで、例えば、特定結果は、商品を検索するためのキーワードである。そして、端末装置１０は、販売情報管理装置５０から商品情報を取得し（ステップＳ２０７）、取得した商品情報を表示する（ステップＳ２０８）。

次に、図８を用いて、特定装置２０の特定処理における処理例について説明する。図８に示すように、特定装置２０は、端末装置１０から画像を取得する（ステップＳ２５１）。次に、特定装置２０は、取得した画像に関する情報を特定モデルを用いて特定する（ステップＳ２５２）。そして、特定装置２０は、特定結果を端末装置１０に送信する（ステップＳ２５３）。

〔６．効果〕
上述してきたように、実施形態に係る端末装置１０は、ユーザが保持している画像を所定の記憶領域から取得する。そして、端末装置１０は、取得した画像の特徴量を基に、画像を分類する。

このように、実施形態に係る端末装置１０は、商品の検索を行う前に、画像を特定のカテゴリのものに分類することにより、ユーザの意図に合った商品の情報を適切に提供することができる。

また、端末装置１０は、端末装置１０によって画像が撮影されたタイミングで、当該撮影された画像を取得する。これにより、常に最新のユーザの意図に合った商品の情報を提供することができる。

また、端末装置１０は、撮影日時が所定の期間に含まれる画像を取得する。これにより、一定期間以上過去に撮影された画像であって、既にユーザの意図と合わなくなっている画像を除外することができる。

また、端末装置１０は、画像の特徴量を基に、画像に表示された商品に関する商品情報を特定する特定装置２０に、特定のカテゴリに分類した第１の画像を送信する。そして、端末装置１０は、第１の画像の特徴量を基に特定装置２０によって特定された第１の商品情報を受信する。これにより、端末装置１０は、分類した特定のカテゴリの画像に関する商品の情報を得ることができる。

また、端末装置１０は、特定のカテゴリに含まれる複数の商品の販売に関する販売情報を記憶する販売情報管理装置５０に、受信した第１の商品情報を送信する。そして、端末装置１０は、販売情報管理装置５０に記憶された販売情報から、第１の商品情報を基に検索された商品に関する情報を、推奨商品に関する情報として受信する。そして、端末装置１０は、推奨商品に関する情報を表示部に表示させる。これにより、端末装置１０は、ユーザに対し、推奨商品を自動的に表示することができる。

さらに、この場合、ユーザが普段通りに端末装置１０を操作し写真を撮影しておくだけで、自動的に端末装置１０に推奨商品が表示される。このため、本実施形態によれば、ユーザによる商品検索の手間が削減される。

また、端末装置１０は、第１の画像のうち、特定装置２０に対して未送信の画像のみを送信する。これにより、送信済みのものを含めて毎回全ての画像を送信する場合と比べて、端末装置１０の負荷を低減することができる。

また、端末装置１０のプログラムは、特定の商品のカテゴリに対応付けられたアプリケーションであって、画像を特定の商品のカテゴリに分類するアプリケーションを含む。これにより、端末装置１０は、アプリケーションに対応したカテゴリの画像を取得することができる。

また、端末装置１０は、アプリケーションが起動した場合に画像の分類を実行する。これにより、アプリケーションは、分類された画像を使用して推奨商品の表示等の処理を行うことができる。

また、端末装置１０は、端末装置１０によって撮影されたスクリーンショットを取得する。これにより、端末装置１０は、ユーザの好みの傾向が反映された画像を得ることができる。

また、特定装置２０は、画像の特徴量を基に、画像に表示された商品に関する商品情報を特定する。そして、特定装置２０は、特定結果を端末装置１０に送信する。このように特定装置２０が商品情報の特定を行うことにより、端末装置１０の処理リソースの使用を低減することができる。

〔７．ハードウェア構成〕
上述してきた実施形態に係る端末装置１０及び特定装置２０は、例えば図９に示すような構成のコンピュータ１０００によって実現される。図９は、端末装置及び特定装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read Only Memory）１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、ネットワークＮを介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータをネットワークＮを介して他の機器へ送信する。

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラム又はデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、又は半導体メモリ等である。

例えば、コンピュータ１０００が実施形態に係る特定装置２０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラム又はデータ（例えば、モデルＭ１（各モデルデータＭＤＴ１１〜ＭＤＴ１３等））を実行することにより、制御部１３の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラム又はデータ（例えば、モデルＭ１（各モデルデータＭＤＴ１１〜ＭＤＴ１３等））を記録媒体１８００から読み取って実行するが、他の例として、他の装置からネットワークＮを介してこれらのプログラムを取得してもよい。

以上、本願の実施形態及び変形例のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の行に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

〔８．その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」等に読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。

１ 情報提供システム
１０ 端末装置
１１、２１ 通信部
１２、２２ 記憶部
１３、２３ 制御部
２０ 特定装置
３０ ショッピングサーバ
４０ オークションサーバ
５０ 販売情報管理装置
１２１ 画像記憶部
１２２ 分類モデル記憶部
１３１ 取得部
１３２ 分類部
１３３ 送信部
１３４ 受信部
１３５ 表示制御部
２２１ 商品情報記憶部
２２２ 特定モデル記憶部
２３１ 生成部
２３２ 特定部
２３３ 送信部
Ｎ ネットワーク

Claims (9)

1. 端末装置に保持された画像であって、アプリケーション起動時に当該端末装置のスクリーンショットの画像を所定の記憶領域から取得する取得手順と、
   前記取得手順によって取得された画像の特徴量を基に、前記画像を分類する分類手順と、
   画像の特徴量を基に、画像に表示された商品に関する商品情報であって、特定のカテゴリに分類された商品に関する商品情報を特定する特定装置に、前記分類手順によって特定のカテゴリに分類された第１の画像のうち当該特定装置に対して送信済みであることを示す情報が付与されていない未送信の画像のみを送信する第１の送信手順と、
   を前記端末装置に実行させることを特徴とする端末プログラム。
2. 前記取得手順は、前記端末装置によって画像が撮影されたタイミングで、当該撮影された画像を取得することを特徴とする請求項１に記載の端末プログラム。
3. 前記取得手順は、撮影日時が所定の期間に含まれる画像を取得することを特徴とする請求項１又は２に記載の端末プログラム。
4. 前記第１の送信手順によって送信された第１の画像の特徴量を基に前記特定装置によって特定された第１の商品情報を受信する第１の受信手順と、
   をさらに実行させることを特徴とする請求項１から３のいずれか１項に記載の端末プログラム。
5. 前記特定のカテゴリに含まれる複数の商品の販売に関する販売情報を記憶する販売情報管理装置に、前記第１の受信手順によって受信された前記第１の商品情報を送信する第２の送信手順と、
   前記販売情報管理装置に記憶された前記販売情報から、前記第１の商品情報を基に検索された商品に関する情報を、推奨商品に関する情報として受信する第２の受信手順と、
   前記推奨商品に関する情報を前記端末装置の表示部に表示させる表示制御手順と、
   をさらに実行させることを特徴とする請求項４に記載の端末プログラム。
6. 前記端末プログラムは、特定の商品のカテゴリに対応付けられたアプリケーションであって、前記分類手順を前記端末装置に実行させるアプリケーションを有し、
   前記分類手順は、前記画像を前記特定の商品のカテゴリに分類することを特徴とする請求項１から５のいずれか１項に記載の端末プログラム。
7. 端末装置に保持された画像であって、アプリケーション起動時に当該端末装置のスクリーンショットの画像を取得する取得部と、
   前記画像取得部によって取得された画像の特徴量を基に、前記画像を分類する分類部と、
   画像の特徴量を基に、画像に表示された商品に関する商品情報であって、特定のカテゴリに分類された商品に関する商品情報を特定する特定装置に、前記分類部によって特定のカテゴリに分類された第１の画像のうち当該特定装置に対して送信済みであることを示す情報が付与されていない未送信の画像のみを送信する第１の送信部と、
   を有することを特徴とする前記端末装置。
8. 端末装置が実行する情報提供方法であって、
   前記端末装置に保持された画像であって、アプリケーション起動時に当該端末装置のスクリーンショットの画像を取得する画像取得工程と、
   前記画像取得工程によって取得された画像の特徴量を基に、前記画像を分類する分類工程と、
   画像の特徴量を基に、画像に表示された商品に関する商品情報であって、特定のカテゴリに分類された商品に関する商品情報を特定する特定装置に、前記分類工程によって特定のカテゴリに分類された第１の画像のうち当該特定装置に対して送信済みであることを示す情報が付与されていない未送信の画像のみを送信する第１の送信工程と、
   を含んだことを特徴とする情報提供方法。
9. 特定装置と、端末装置と、を有する情報提供システムであって、
   前記特定装置は、
   画像の特徴量を基に、前記画像に表示された商品に関する商品情報であって、特定のカテゴリに分類された商品に関する商品情報を特定する特定部を有し、
   前記端末装置は、
   前記端末装置に保持された画像であって、アプリケーション起動時に当該端末装置のスクリーンショットの画像を取得する取得部と、
   前記取得部によって取得された画像の特徴量を基に、前記画像を分類する分類部と、
   前記特定装置に、前記分類部によって特定のカテゴリに分類された第１の画像のうち当該特定装置に対して送信済みであることを示す情報が付与されていない未送信の画像のみを送信する送信部と、
   前記送信部によって送信された第１の画像の特徴量を基に前記特定装置によって特定された第１の商品情報を受信する受信部と、
   を有することを特徴とする情報提供システム。
   

Images