JP6396568B1 - PROVIDING PROGRAM, PROVIDING DEVICE, PROVIDING METHOD, TERMINAL DEVICE, AND INFORMATION PROVIDING DEVICE - Google Patents

PROVIDING PROGRAM, PROVIDING DEVICE, PROVIDING METHOD, TERMINAL DEVICE, AND INFORMATION PROVIDING DEVICE Download PDF

Info

Publication number
JP6396568B1
JP6396568B1 JP2017222585A JP2017222585A JP6396568B1 JP 6396568 B1 JP6396568 B1 JP 6396568B1 JP 2017222585 A JP2017222585 A JP 2017222585A JP 2017222585 A JP2017222585 A JP 2017222585A JP 6396568 B1 JP6396568 B1 JP 6396568B1
Authority
JP
Japan
Prior art keywords
selection
selection target
user
information
providing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017222585A
Other languages
Japanese (ja)
Other versions
JP2019057259A (en
Inventor
岩崎 雅二郎
雅二郎 岩崎
山口 修司
修司 山口
立 日暮
立 日暮
Original Assignee
ヤフー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2017179477 priority Critical
Priority to JP2017179477 priority
Application filed by ヤフー株式会社 filed Critical ヤフー株式会社
Application granted granted Critical
Publication of JP6396568B1 publication Critical patent/JP6396568B1/en
Publication of JP2019057259A publication Critical patent/JP2019057259A/en
Active legal-status Critical Current

Links

Images

Abstract

【課題】画像を用いた選択対象の検索における操作性を向上させる提供プログラム、提供装置、提供方法、端末装置および情報提供装置を提供する。
【解決手段】本願に係る提供プログラムは、所定の画像に含まれる複数の選択対象を識別する識別手順と、前記識別手順により識別された複数の選択対象のうち、所定の条件を満たす選択対象を特定する特定手順と、特定手順により特定された選択対象を示す情報を利用者に提供する提供手順とをコンピュータに実行させる。
【選択図】図1
A providing program, a providing device, a providing method, a terminal device, and an information providing device that improve operability in searching for a selection target using an image are provided.
A providing program according to the present application includes an identification procedure for identifying a plurality of selection targets included in a predetermined image, and a selection target satisfying a predetermined condition among the plurality of selection targets identified by the identification procedure. A computer is caused to execute a specific procedure to be specified and a providing procedure for providing information indicating a selection target specified by the specific procedure to a user.
[Selection] Figure 1

Description

本発明は、提供プログラム、提供装置、提供方法、端末装置および情報提供装置に関する。   The present invention relates to a providing program, a providing device, a providing method, a terminal device, and an information providing device.
従来、端末装置が撮影した選択対象の画像から、電子商店街の選択対象を検索する技術が知られている。例えば、端末装置が撮影した画像から選択対象を認識した場合は、認識した選択対象を購入するためのウェブページを端末装置に表示させる技術が知られている。   2. Description of the Related Art Conventionally, a technique for searching for an electronic shopping mall selection target from an image of a selection target captured by a terminal device is known. For example, when a selection target is recognized from an image captured by the terminal device, a technique for displaying on the terminal device a web page for purchasing the recognized selection target is known.
しかしながら、上述した従来技術では、操作性が必ずしも良くない場合がある。   However, the conventional techniques described above may not always have good operability.
例えば、上述した従来技術では、複数の選択対象が撮影されている画像から、いずれかの選択対象を認識すると、認識した選択対象を購入するためのウェブページを表示させる。このため、利用者が所望する選択対象を認識するよりも先に他の選択対象を認識した場合には、利用者が所望しない選択対象を購入するためのウェブページを表示してしまう。   For example, in the conventional technology described above, when any of the selection targets is recognized from an image in which a plurality of selection targets are captured, a web page for purchasing the recognized selection target is displayed. For this reason, when the user recognizes another selection target before recognizing the selection target desired by the user, a web page for purchasing the selection target not desired by the user is displayed.
本願は、上記に鑑みてなされたものであって、画像を用いた選択対象の検索における操作性を向上させることを目的とする。   The present application has been made in view of the above, and an object thereof is to improve operability in searching for a selection target using an image.
本願に係る提供プログラムは、所定の画像に含まれる複数の選択対象を識別する識別手順と、前記識別手順により識別された複数の選択対象のうち、所定の条件を満たす選択対象を特定する特定手順と、特定手順により特定された選択対象を示す情報を利用者に提供する提供手順とをコンピュータに実行させる。   The providing program according to the present application includes an identification procedure for identifying a plurality of selection targets included in a predetermined image, and a specifying procedure for identifying a selection target satisfying a predetermined condition among the plurality of selection targets identified by the identification procedure And a providing procedure for providing the user with information indicating the selection target specified by the specifying procedure.
実施形態の一態様によれば、画像を用いた選択対象の検索における操作性を向上させることができる。   According to one aspect of the embodiment, it is possible to improve operability in searching for a selection target using an image.
図1は、実施形態に係る提供処理の一例を示す図である。FIG. 1 is a diagram illustrating an example of a providing process according to the embodiment. 図2は、実施形態に係る提供処理の他の例を示す図である。FIG. 2 is a diagram illustrating another example of the providing process according to the embodiment. 図3は、実施形態に係る端末装置の構成例を示す図である。FIG. 3 is a diagram illustrating a configuration example of the terminal device according to the embodiment. 図4は、実施形態に係る情報提供装置の構成例を示す図である。FIG. 4 is a diagram illustrating a configuration example of the information providing apparatus according to the embodiment. 図5は、実施形態に係る選択対象データベースに登録される情報の一例を示す図である。FIG. 5 is a diagram illustrating an example of information registered in the selection target database according to the embodiment. 図6は、実施形態に係る利用者データベースに登録される情報の一例を示す図である。FIG. 6 is a diagram illustrating an example of information registered in the user database according to the embodiment. 図7は、実施形態に係る提供処理において利用者が興味を有する選択対象を学習する処理の一例を説明する図である。FIG. 7 is a diagram illustrating an example of a process of learning a selection target in which a user is interested in the providing process according to the embodiment. 図8は、実施形態に係る情報提供装置が実行する表示処理の流れの一例を示すフローチャートである。FIG. 8 is a flowchart illustrating an example of a flow of display processing executed by the information providing apparatus according to the embodiment. 図9は、ハードウェア構成の一例を示す図である。FIG. 9 is a diagram illustrating an example of a hardware configuration.
以下に、本願に係る提供プログラム、提供装置、提供方法、端末装置および情報提供装置を実施するための形態(以下、「実施形態」と記載する。)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る提供装置、提供方法、端末装置および情報提供装置が限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略する。   Hereinafter, modes for implementing a providing program, a providing device, a providing method, a terminal device, and an information providing device according to the present application (hereinafter referred to as “embodiments”) will be described in detail with reference to the drawings. In addition, the providing device, the providing method, the terminal device, and the information providing device according to the present application are not limited by this embodiment. In the following embodiments, the same parts are denoted by the same reference numerals, and redundant description is omitted.
〔1.提供システムの概要〕
以下、図1を用いて、提供装置の一例となる情報提供装置10と、端末装置100を有する提供システム1の一例について説明する。図1は、実施形態に係る提供処理の一例を示す図である。図1に示す例では、提供システム1は、情報提供装置10および端末装置100を有する。なお、以下の説明では、情報提供装置10および端末装置100が実行する処理として、端末装置100が撮影した静止画像または動画像(以下、「画像」と総称する。)に撮影された商品等の選択対象のうち、所定の条件を満たす選択対象の情報を提供する提供処理の一例について説明する。
[1. Overview of provision system)
Hereinafter, an example of the providing system 1 including the information providing apparatus 10 as an example of the providing apparatus and the terminal device 100 will be described with reference to FIG. FIG. 1 is a diagram illustrating an example of a providing process according to the embodiment. In the example illustrated in FIG. 1, the providing system 1 includes an information providing device 10 and a terminal device 100. In the following description, as a process executed by the information providing apparatus 10 and the terminal apparatus 100, a product or the like captured in a still image or a moving image (hereinafter collectively referred to as “image”) captured by the terminal apparatus 100. An example of a providing process for providing information on a selection target that satisfies a predetermined condition among the selection targets will be described.
情報提供装置10は、インターネット等の所定のネットワークN(例えば、図4を参照。)を介して、端末装置100と通信可能な情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。なお、情報提供装置10は、ネットワークNを介して、任意の数の端末装置100と通信可能であってもよく、任意の数のECサーバ200と通信可能であってもよい。また、情報提供装置10は、複数の情報処理装置が協調して以下に説明する検索処理を実行することで実現されてもよい。   The information providing apparatus 10 is an information processing apparatus that can communicate with the terminal apparatus 100 via a predetermined network N (for example, see FIG. 4) such as the Internet, and is realized by, for example, a server apparatus or a cloud system. The Note that the information providing apparatus 10 may be able to communicate with any number of terminal apparatuses 100 via the network N, and may be able to communicate with any number of EC servers 200. Moreover, the information provision apparatus 10 may be implement | achieved when a some information processing apparatus cooperates and performs the search process demonstrated below.
端末装置100は、任意の利用者が使用する情報処理装置であり、PC(Personal Computer)、サーバ装置、スマートデバイスといった情報処理装置により実現される。例えば、端末装置100は、デジタルカメラを有し、利用者の操作に従って画像を撮影する撮影機能と、撮影された画像や情報提供装置10から提供される情報、ECサーバ200から提供される情報等、任意のコンテンツを表示する表示機能とを有する。なお、以下の説明では、以下に説明する表示処理を実行させるアプリケーションをインストールしたスマートフォンを端末装置100の一例として説明する。   The terminal device 100 is an information processing device used by an arbitrary user, and is realized by an information processing device such as a PC (Personal Computer), a server device, or a smart device. For example, the terminal device 100 includes a digital camera, and has a photographing function for photographing an image according to a user's operation, a photographed image, information provided from the information providing device 10, information provided from the EC server 200, and the like. And a display function for displaying arbitrary contents. In the following description, a smartphone in which an application that executes display processing described below is installed will be described as an example of the terminal device 100.
ECサーバ200は、端末装置100に対し、電子商店街に関する各種のサービスを提供する情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。   The EC server 200 is an information processing device that provides various services related to the online shopping mall to the terminal device 100, and is realized by, for example, a server device or a cloud system.
〔1−1.提供処理の概要について〕
従来、電子商店街に出品されている選択対象を、端末装置100が撮影した画像を用いて検索する技術が知られている。しかしながら、従来技術では、画像から選択対象を認識した場合、選択対象を購入するためのウェブページを表示する。このため、利用者が撮影した画像に複数の選択対象が撮影されている場合、いずれかの選択対象を認識すると、認識した選択対象を購入するためのウェブページを表示してしまうので、利用者が所望する選択対象を認識するよりも先に他の選択対象を認識した場合には、利用者が所望しない選択対象を購入するためのウェブページを表示してしまう。
[1-1. (Outline of provision processing)
2. Description of the Related Art Conventionally, a technique for searching for a selection target exhibited in an online shopping mall using an image taken by a terminal device 100 is known. However, in the related art, when the selection target is recognized from the image, a web page for purchasing the selection target is displayed. For this reason, when a plurality of selection targets are captured in an image captured by the user, if any of the selection targets is recognized, a web page for purchasing the recognized selection target is displayed. When the user recognizes another selection object prior to recognizing the desired selection object, a web page for purchasing a selection object that the user does not desire is displayed.
そこで、端末装置100が撮像した画像から複数の選択対象を識別し、識別した各選択対象を示す情報を利用者に提供するといった態様が考えられる。例えば、識別した選択対象を電子商店街で検索し、検索結果として電子商店街に登録された商品の画像や価格等を選択対象ごとに表示するといった態様が考えられる。しかしながら、このような手法では、利用者が所望する選択対象のみならず、利用者が所望しない選択対象の情報をも表示してしまう恐れがある。   Therefore, a mode is conceivable in which a plurality of selection targets are identified from the image captured by the terminal device 100 and information indicating each identified selection target is provided to the user. For example, a mode is possible in which an identified selection target is searched in an online shopping mall, and an image, a price, or the like of a product registered in the online shopping mall is displayed for each selection target as a search result. However, with such a method, there is a possibility that not only the selection target desired by the user but also information on the selection target not desired by the user may be displayed.
そこで、端末装置100または情報提供装置10は、以下の提供処理を実行する。例えば、情報提供装置10または端末装置100は、所定の画像に含まれる複数の選択対象を識別する。また、情報提供装置10または端末装置100は、識別された複数の選択対象のうち、所定の条件を満たす選択対象を特定する。そして、情報提供装置10または端末装置100は、特定された選択対象を示す情報を利用者に提供する。例えば、情報提供装置10は、所定の条件を満たす選択対象を示す情報として、電子商店街等に出品された商品や役務を示す画像(以下、「出品画像」と記載する。)を取得し、取得した出品画像を端末装置100に提供する。そして、情報提供装置10は、端末装置100に出品画像を表示させる。   Therefore, the terminal device 100 or the information providing device 10 executes the following providing process. For example, the information providing apparatus 10 or the terminal apparatus 100 identifies a plurality of selection targets included in a predetermined image. Moreover, the information provision apparatus 10 or the terminal device 100 specifies the selection target which satisfy | fills a predetermined condition among several identified selection targets. And the information provision apparatus 10 or the terminal device 100 provides a user with the information which shows the specified selection object. For example, the information providing apparatus 10 acquires an image (hereinafter referred to as “exhibition image”) indicating a product or service exhibited in an online shopping mall or the like as information indicating a selection target that satisfies a predetermined condition. The acquired exhibition image is provided to the terminal device 100. Then, the information providing apparatus 10 causes the terminal device 100 to display an exhibition image.
なお、以下の説明では、提供処理の提供態様として、情報提供装置10と端末装置100とが連携して提供処理を実行する例について説明するが、実施形態は、これに限定されるものではない。例えば、情報提供装置10または端末装置100は、以下に説明する提供処理を単独で実現してもよい。   In the following description, an example in which the information providing apparatus 10 and the terminal device 100 execute the providing process in cooperation with each other as a providing aspect of the providing process will be described, but the embodiment is not limited thereto. . For example, the information providing apparatus 10 or the terminal apparatus 100 may independently implement the providing process described below.
〔1−2.提供処理の一例について〕
以下、図1を用いて、提供処理の一例について説明する。例えば、図1に示す例では、端末装置100は、利用者の操作に従って、選択対象の画像を撮影する(ステップS1)。または、撮影を開始する操作によって特定のタイミングで連続して撮影し、終了操作によって撮影を停止しても良い。動画として画面に表示して特定の間隔で静止画を抽出してもよい。また停止後も動画を表示していてもよい。図1に示す例では、端末装置100は、酒類である選択対象A〜Dおよび缶入飲料である選択対象E〜Hが陳列された棚を撮影したものとする。このような場合、端末装置100は、撮影した選択対象の画像を撮影画像として情報提供装置10に送信する(ステップS2)。
[1-2. (Example of provision processing)
Hereinafter, an example of the providing process will be described with reference to FIG. For example, in the example illustrated in FIG. 1, the terminal device 100 captures an image to be selected in accordance with a user operation (step S1). Alternatively, continuous shooting may be performed at a specific timing by an operation to start shooting, and shooting may be stopped by an end operation. It may be displayed on the screen as a moving image, and still images may be extracted at specific intervals. The moving image may be displayed even after the stop. In the example illustrated in FIG. 1, the terminal device 100 captures a shelf on which selection targets A to D that are alcoholic beverages and selection targets E to H that are canned beverages are displayed. In such a case, the terminal device 100 transmits the captured selection target image as a captured image to the information providing apparatus 10 (step S2).
このような場合、情報提供装置10は、撮影画像の中から選択対象が撮影されたと推定される範囲を抽出する(ステップS3)。そして、情報提供装置10は、撮影された範囲から抽出される特徴量に基づいて、撮影された選択対象を識別する(ステップS4)。なお、局所特徴量を用いる特定物体認識といった技術を用いた場合には、各特徴量の照合を行った後に、選択対象の範囲を抽出する、といった逆の順となる。   In such a case, the information providing apparatus 10 extracts a range in which the selection target is estimated to be captured from the captured image (step S3). Then, the information providing apparatus 10 identifies the captured selection target based on the feature amount extracted from the captured range (step S4). When a technique such as specific object recognition using local feature amounts is used, the reverse order is such that the range of the selection target is extracted after the feature amounts are collated.
例えば、情報提供装置10は、各種の画像認識技術を用いて、受付けた画像から選択対象が撮影された範囲を抽出し、抽出した範囲の画像特徴量を取得する。なお、このような画像特徴量の取得は、GIST(http://ilab.usc.edu/siagian/Research/Gist/Gist.html)、カラーヒストグラム、色分布などの広域特徴量やSIFT(Scale-Invariant Feature Transform)、SURF(Speed-Up Robust Features)、局所画像特徴量等、画像が有する特徴量を取得する任意の技術が採用可能である。なお、ニューラルネットで生成される特徴量も利用可能である。   For example, the information providing apparatus 10 extracts a range where the selection target is photographed from the received image using various image recognition techniques, and acquires an image feature amount of the extracted range. In addition, acquisition of such an image feature amount includes GIST (http://ilab.usc.edu/siagian/Research/Gist/Gist.html), color histogram, color distribution, and other wide-area feature amounts and SIFT (Scale- Any technique for acquiring a feature amount of an image, such as an Invariant Feature Transform), SURF (Speed-Up Robust Features), or a local image feature amount, can be employed. Note that feature quantities generated by a neural network can also be used.
また、情報提供装置10は、画像特徴量を用いて、画像に撮影された選択対象を電子商店街から検索する(ステップS5)。例えば、情報提供装置10は、電子商店街に出品された選択対象の画像の特徴量と、撮影画像から取得した画像特徴量とを比較することで、画像に撮影された選択対象の検索を行う。なお、このような特徴量の比較においては、各種特徴量を比較する技術が採用可能である。また、情報提供装置10は、例えば、撮影された選択対象の特徴から、選択対象が属するカテゴリを推定し、推定したカテゴリを考慮して、電子商店街から選択対象の検索を行ってもよい。また、情報提供装置10は、例えば、あらかじめ選択対象の特徴量を保持しておき、撮影画像から取得した画像特徴量と保持した特徴量とを比較することで、撮影された選択対象が何であるかを識別してもよい。   In addition, the information providing apparatus 10 searches the electronic shopping mall for a selection target photographed in the image using the image feature amount (step S5). For example, the information providing apparatus 10 searches the selection target photographed in the image by comparing the feature quantity of the selection target image exhibited in the online shopping mall with the image feature quantity acquired from the photographed image. . It should be noted that a technique for comparing various feature amounts can be employed in such a feature amount comparison. Further, for example, the information providing apparatus 10 may estimate a category to which the selection target belongs from the photographed characteristics of the selection target, and search for the selection target from the online shopping mall in consideration of the estimated category. In addition, the information providing apparatus 10 holds, for example, the feature amount of the selection target in advance, and compares the image feature amount acquired from the captured image with the stored feature amount, and what is the selection target captured. May be identified.
続いて、情報提供装置10は、画像に撮影された選択対象の情報を取得する(ステップS6)。例えば、情報提供装置10は、識別した選択対象の情報であって、電子商店街に登録された情報を取得する。より具体的な例を挙げると、情報提供装置10は、電子商店街に出品された選択対象の画像、選択対象の名称、価格、サイズといった外見的な情報のみならず内容量、原材料、使用方法、味(例えば、塩味であるかコンソメ味であるか)、種別(例えば、ノンシュガーであるか否か)といった内容物に関する各種の情報をも取得する。なお、情報提供装置10は、電子商店街からではなく、例えば、識別した選択対象を製造販売する事業者のサーバ装置等から、選択対象の情報を取得してもよい。   Subsequently, the information providing apparatus 10 acquires information on a selection target photographed in the image (step S6). For example, the information providing apparatus 10 acquires information that has been identified and is registered in the online shopping mall. As a more specific example, the information providing apparatus 10 includes not only appearance information such as images to be selected, names of selection objects, prices, and sizes displayed in the online shopping mall, but also contents, raw materials, and usage methods. Various information related to the contents such as taste (for example, whether it is salty or consomme) and type (for example, whether it is non-sugar) are also acquired. Note that the information providing apparatus 10 may acquire information on a selection target from, for example, a server device of a business operator that manufactures and sells the identified selection target, instead of from an online shopping mall.
そして、情報提供装置10は、取得した情報が利用者に応じた所定の条件を満たすか否かを判定し、満たすと判定された選択対象を特定する(ステップS7)。すなわち、情報提供装置10は、識別された選択対象に関する情報を取得し、取得した情報が所定の条件を満たす選択対象を特定する。例えば、情報提供装置10は、撮影画像に撮影された選択対象A〜Hのそれぞれについて情報を取得し、取得した情報が、撮影画像を撮影した利用者に応じた所定の条件を満たすか否かをそれぞれ判定する。例えば、情報提供装置10は、予め利用者がアレルギーを有する食材の情報を条件として保持する。そして、情報提供装置10は、選択対象A〜Hのそれぞれについて、原材料に利用者がアレルギーを有する食材が含まれるか否かを判定し、含まれると判定した場合は、表示対象から除外する。すなわち、情報提供装置10は、選択対象A〜Hのうち、利用者がアレルギーを有しない原材料からなる選択対象を特定する。   And the information provision apparatus 10 determines whether the acquired information satisfy | fills the predetermined conditions according to a user, and specifies the selection target determined to satisfy | fill (step S7). That is, the information providing apparatus 10 acquires information regarding the identified selection target, and specifies a selection target for which the acquired information satisfies a predetermined condition. For example, the information providing apparatus 10 acquires information about each of the selection targets A to H photographed in the photographed image, and whether or not the obtained information satisfies a predetermined condition according to the user who photographed the photographed image. Respectively. For example, the information providing apparatus 10 holds in advance information on ingredients that the user has allergies as a condition. And the information provision apparatus 10 determines whether the foodstuff which a user has an allergy is contained in a raw material about each of selection object AH, and when it determines with including, it excludes from a display target. That is, the information provision apparatus 10 specifies the selection object which consists of the raw material which a user does not have allergy among selection object AH.
また、情報提供装置10は、ステップS7にて特定された選択対象の出品画像を取得する(ステップS8)。すなわち、情報提供装置10は、取得した情報が利用者に応じた所定の条件を満たす選択対象の画像であって、電子商店街に出品された出品対象の画像を取得する。例えば、情報提供装置10は、ECサーバ200(例えば、図3)等から、特定された選択対象の画像であって、出品対象の画像として電子商店街のデータベースに登録されている選択対象の画像を取得する。   Further, the information providing apparatus 10 acquires the exhibition image to be selected specified in step S7 (step S8). That is, the information providing apparatus 10 acquires an image to be selected, which is a selection target image for which the acquired information satisfies a predetermined condition corresponding to the user, and is displayed on the online shopping mall. For example, the information providing apparatus 10 is an image to be selected that is specified from the EC server 200 (for example, FIG. 3), and is an image to be selected that is registered in the database of the online shopping mall as an image to be displayed. To get.
そして、情報提供装置10は、特定した選択対象を端末装置100に強調表示させるとともに、電子商店街の情報として、特定した選択対象の出品画像を提供する(ステップS9)。例えば、情報提供装置10は、条件に合致する選択対象として、選択対象Bおよび選択対象Gを特定したものとする。このような場合、情報提供装置10は、撮影画像のうち、選択対象Bが撮影された範囲と、選択対象Gが撮影された範囲とを特定し、特定した範囲を端末装置100に通知する。また、情報提供装置10は、電子商店街に出品された選択対象のうち、選択対象Bと同じ選択対象の画像、および選択対象Gと同じ選択対象の画像、すなわち、選択対象Bおよび選択対象Gの出品画像を端末装置100に送信する。   Then, the information providing apparatus 10 highlights the identified selection target on the terminal device 100 and provides the specified selection target exhibition image as information on the online shopping mall (step S9). For example, it is assumed that the information providing apparatus 10 specifies the selection target B and the selection target G as selection targets that match the conditions. In such a case, the information providing apparatus 10 specifies a range in which the selection target B is captured and a range in which the selection target G is captured in the captured image, and notifies the terminal device 100 of the specified range. The information providing apparatus 10 also selects the same selection target image as the selection target B and the same selection target image as the selection target G among the selection targets displayed in the online shopping mall, that is, the selection target B and the selection target G. Are sent to the terminal device 100.
このような場合、端末装置100は、撮影画像のうち特定された選択対象が撮影された範囲を強調表示するとともに、電子商店街に出品された選択対象の画像、すなわち、提供された出品画像を選択可能な状態で、撮影画像とともに複数表示する(ステップS10)。なお、端末装置100は、撮影画像に強調表示するだけでなく、常時撮影し、特定された選択対象が画面上に表示されていれば、その領域を強調しても良い。なお、このような処理を行う際、選択対象が画面上のどの位置であるかは、特徴量により特定することができる。例えば、図1に示す例では、端末装置100は、画面上を、撮影画像ウインドウCW、画像表示ウインドウPW、および操作ウインドウMWに分割する。そして、端末装置100は、撮影画像ウインドウCWに撮影画像を配置して表示するとともに、撮影画像のうち、特定された選択対象Bおよび選択対象Gが含まれる範囲を強調表示する。例えば、端末装置100は、選択対象Bおよび選択対象Gが含まれる範囲を囲む点線や点滅する点線等を表示する。   In such a case, the terminal device 100 highlights a range in which the specified selection target is captured among the captured images, and displays the selection target image displayed in the online shopping mall, that is, the provided exhibition image. A plurality of images are displayed together with the photographed images in a selectable state (step S10). Note that the terminal device 100 may not only highlight the captured image, but also always shoot and highlight the area as long as the specified selection target is displayed on the screen. Note that when such a process is performed, the position on the screen where the selection target can be specified by the feature amount. For example, in the example illustrated in FIG. 1, the terminal device 100 divides the screen into a captured image window CW, an image display window PW, and an operation window MW. Then, the terminal device 100 arranges and displays the captured image in the captured image window CW, and highlights a range including the specified selection target B and selection target G in the captured image. For example, the terminal device 100 displays a dotted line surrounding a range including the selection target B and the selection target G, a blinking dotted line, and the like.
また、端末装置100は、画像表示ウインドウPWに、情報提供装置10から取得した画像をクエリ情報として並べて表示する。例えば、端末装置100は、電子商店街に出品された選択対象のうち、選択対象Bの出品画像および選択対象Gの出品画像を画像表示ウインドウPWにならべて配置する。なお、端末装置100は、各出品画像を、選択対象が認識される度に追加していってもよい。また、端末装置100は、操作ウインドウMWに、画像の撮影に関する各種操作を受付けるためのアイコンを表示してもよい。   Further, the terminal device 100 displays the images acquired from the information providing device 10 side by side as query information in the image display window PW. For example, the terminal device 100 arranges the exhibition image of the selection object B and the exhibition image of the selection object G out of the selection objects exhibited in the online shopping mall, along with the image display window PW. Note that the terminal device 100 may add each exhibition image every time a selection target is recognized. Further, the terminal device 100 may display icons for accepting various operations related to image capturing in the operation window MW.
また、端末装置100は、画像表示ウインドウPWに並べて表示された出品画像を利用者が選択した場合は、出品画像が選択された選択対象の識別情報をECサーバ200(図3参照)に送信してもよい。このような場合、ECサーバ200は、受信した識別情報が示す出品対象、すなわち、出品画像が選択された出品対象の検索結果を価格順にリスティングした検索結果を生成し、生成した検索結果を端末装置100に提供する(ステップS11)。すなわち、端末装置100は、撮影された選択対象のうち、利用者に応じた条件を満たす選択対象の画像を、利用者に応じた条件を満たす選択対象を電子商店街において検索するための検索クエリとして、撮影画像とともに表示する。   Further, when the user selects an exhibition image displayed side by side in the image display window PW, the terminal device 100 transmits identification information of a selection target from which the exhibition image is selected to the EC server 200 (see FIG. 3). May be. In such a case, the EC server 200 generates a search result listing the search results of the exhibition object indicated by the received identification information, that is, the exhibition object for which the exhibition image is selected, in order of price, and the generated search result is the terminal device. 100 (step S11). In other words, the terminal device 100 searches the electronic shopping mall for a selection target image that satisfies a condition according to the user, in the online shopping mall, among images that have been selected. As shown in FIG.
このように、情報提供装置10および端末装置100は、撮影画像に撮影された選択対象のうち、所定の条件に応じた選択対象を特定し、特定した選択対象を示す情報を提供する。このため、情報提供装置10および端末装置100は、ユーザビリティを向上させることができる。   As described above, the information providing device 10 and the terminal device 100 specify a selection target according to a predetermined condition among the selection targets captured in the captured image, and provide information indicating the specified selection target. For this reason, the information provision apparatus 10 and the terminal device 100 can improve usability.
〔1−3.出品画像について〕
上述した例では、端末装置100は、出品画像を撮影画像とともに表示したが、実施形態は、これに限定されるものではない。例えば、端末装置100は、画像表示ウインドウPWを表示せず、所定の条件を満たす選択対象として特定された選択対象(以下、「特定選択対象」と記載する。)を強調表示するための各種アイコンを撮影画像とともに表示してもよい。
[1-3. About exhibition images)
In the example described above, the terminal device 100 displays the exhibition image together with the captured image, but the embodiment is not limited to this. For example, the terminal device 100 does not display the image display window PW, and various icons for highlighting a selection target (hereinafter referred to as “specific selection target”) specified as a selection target that satisfies a predetermined condition. May be displayed together with the captured image.
また、端末装置100は、例えば、撮影画像のうち特定選択対象が撮影されていない範囲に、特定選択対象の名称、原材料、電子商店街での価格、各種利用者がSNS(Social Networking Service)や電子商店街に投稿した評価の内容等を配置した吹き出し型のアイコンを重ねて表示してもよい。すなわち、端末装置100は、特定選択対象の情報であって、電子商店街に登録された選択対象の情報を利用者に提供してもよい。また、端末装置100は、このような吹き出しに電子商店街で特定取引対象を検索するためのリンクを設定してもよい。   In addition, the terminal device 100 may include, for example, a name of a specific selection target, a raw material, a price at an online shopping mall, and various users within a range where a specific selection target is not captured in a captured image. A balloon-type icon in which the contents of evaluation posted on the online shopping mall are arranged may be displayed in an overlapping manner. That is, the terminal device 100 may provide the user with information on a specific selection target and information on the selection target registered in the online shopping mall. Further, the terminal device 100 may set a link for searching for a specific transaction target in the online shopping mall in such a balloon.
また、情報提供装置10は、出品画像に代えて、特定選択対象の名称や価格等といった情報、すなわち、特定選択対象を示す情報を電子商店街から取得し、取得した情報を端末装置100に表示させてもよい。また、情報提供装置10は、特定選択対象を示す情報として、特定選択対象に関する情報であって、所定の条件と関連する情報を所定の画像と共に提供してもよい。例えば、情報提供装置10は、利用者がアレルギーを有する選択対象を特定選択対象として特定した場合、かかる特定選択対象を示す吹き出しを表示するとともに、吹き出し内に「アレルゲンが含まれます」といった情報を表示してもよい。   Further, the information providing apparatus 10 acquires information such as the name and price of the specific selection target, that is, information indicating the specific selection target from the online shopping mall instead of the exhibition image, and displays the acquired information on the terminal device 100. You may let them. Further, the information providing apparatus 10 may provide information related to the specific selection target as information indicating the specific selection target, and information related to the predetermined condition together with the predetermined image. For example, when the user specifies a selection target having an allergy as a specific selection target, the information providing apparatus 10 displays a balloon indicating the specific selection target and displays information such as “allergen included” in the balloon. It may be displayed.
また、上述した例では、端末装置100は、撮影画像のうち特定選択対象が撮影された範囲を抽出した範囲を出品画像として画像表示ウインドウPWに表示してもよい。すなわち、端末装置100は、少なくとも、撮影された選択対象のうちどの選択対象が特定選択対象であるか、特定選択対象がどこにあるか等を示す情報を表示することができるのであれば、任意の態様で情報を表示してよい。また、例えば、上述した各処理は、端末装置100が各処理を実行するように情報提供装置10が端末装置100を制御することで実現してもよい。   In the above-described example, the terminal device 100 may display a range obtained by extracting a range in which the specific selection target is captured from the captured images as the exhibition image on the image display window PW. In other words, the terminal device 100 can display any information indicating at least which selection target is the specific selection target among the photographed selection targets, where the specific selection target is, and the like. Information may be displayed in a manner. Further, for example, each process described above may be realized by the information providing apparatus 10 controlling the terminal apparatus 100 so that the terminal apparatus 100 executes each process.
〔1−4.特定する選択対象について〕
上述した例では、情報提供装置10は、原材料に利用者がアレルギーを有する原材料が含まれていないという条件を満たす選択対象を特定した。しかしながら、実施形態は、これに限定されるものではない。例えば、情報提供装置10は、撮影画像に含まれる選択対象のうち利用者が所望するであろう選択対象を特定することができるのであれば、任意の条件を満たす選択対象の特定を行ってよい。
[1-4. About the selection target to be identified)
In the example described above, the information providing apparatus 10 specifies a selection target that satisfies the condition that the raw material does not include the raw material that the user has allergies. However, the embodiment is not limited to this. For example, the information providing apparatus 10 may specify a selection target that satisfies an arbitrary condition as long as the selection target that the user may desire among the selection targets included in the captured image can be specified. .
例えば、情報提供装置10は、識別された選択対象の内容物に関する情報を取得し、取得した情報が所定の条件を満たす選択対象を特定してもよい。例えば、情報提供装置10は、選択対象に糖質が含まれていない選択対象や保存料が含まれていない選択対象を特定してもよい。また、情報提供装置10は、含まれている糖質の量が所定の閾値以下となる選択対象やカロリーが所定の閾値以下となる選択対象を特定してもよく、例えば、タンパク質の含有量が所定の閾値を超える選択対象を特定してもよい。   For example, the information providing apparatus 10 may acquire information regarding the identified content of the selection target, and may specify a selection target that satisfies the predetermined condition for the acquired information. For example, the information providing apparatus 10 may specify a selection target that does not include a carbohydrate or a selection target that does not include a preservative. In addition, the information providing apparatus 10 may identify a selection target in which the amount of carbohydrates included is a predetermined threshold value or a selection target in which calories are equal to or lower than a predetermined threshold value. A selection target that exceeds a predetermined threshold may be specified.
また、情報提供装置10は、生産地や製造地に応じた条件を満たす選択対象を特定してもよい。例えば、情報提供装置10は、製造地が国産の選択対象を特定してもよい。また、情報提供装置10は、例えば、端末装置100の位置情報に基づいて、利用者が所在する店舗を特定し、特定した店舗が管理する情報処理装置から、各選択対象の生産地の情報を取得する。そして、情報提供装置10は、生産地が国内の選択対象を特定してもよい。   Further, the information providing apparatus 10 may specify a selection target that satisfies a condition according to a production place or a production place. For example, the information providing apparatus 10 may specify a selection target whose domestic production is domestic. In addition, the information providing apparatus 10 specifies, for example, a store where the user is located based on the position information of the terminal device 100, and obtains information on the production area of each selection target from the information processing apparatus managed by the specified store. get. And the information provision apparatus 10 may specify the selection object in which a production place is domestic.
また、情報提供装置10は、利用者により設定された条件を満たす選択対象を特定してもよい。また、情報提供装置10は、複数の選択対象のうち、利用者が身体的に利用可能な選択対象を特定してもよい。例えば、情報提供装置10は、利用者からアレルギーを有する食品の登録をあらかじめ受付ける。そして、情報提供装置10は、選択対象のうち、登録された食品以外の食品を特定してもよい。また、情報提供装置10は、例えば、利用者が着用可能な衣類のサイズの登録をあらかじめ受付けておき、選択対象のうち、サイズが登録されたサイズの衣類を特定してもよい。また、情報提供装置10は、内容量が所定の条件を満たす選択対象を特定してもよい。例えば、情報提供装置10は、内容物が同一の商品であって内容量が異なる複数の商品が撮影されていた場合、内容量が予め登録された条件を満たす商品を特定し、特定した商品のみを強調表示してもよい。   Further, the information providing apparatus 10 may specify a selection target that satisfies a condition set by the user. Moreover, the information provision apparatus 10 may specify the selection object which a user can utilize physically among several selection objects. For example, the information providing apparatus 10 receives in advance registration of foods having allergies from the user. And the information provision apparatus 10 may specify foodstuffs other than the registered foodstuff among selection objects. In addition, the information providing apparatus 10 may, for example, accept in advance registration of the size of clothing that can be worn by the user, and specify the clothing of the size registered in the selection target. Further, the information providing apparatus 10 may specify a selection target whose content satisfies a predetermined condition. For example, when a plurality of products having the same contents and different contents are photographed, the information providing apparatus 10 identifies the products that satisfy the pre-registered contents, and only the identified products May be highlighted.
また、情報提供装置10は、例えば、あらかじめ利用者から所望する選択対象の条件として、選択対象が有する雰囲気や印象の指定を受付けてもよい。このような場合、情報提供装置10は、指定された雰囲気や印象を有する選択対象を特定してもよい。例えば、情報提供装置10は、各利用者が選択対象に対して有している印象を示す投稿を取得し、取得した投稿に基づいて、選択対象に対して各利用者が有している印象を特定する。そして、情報提供装置10は、撮影された選択対象のうち、利用者があらかじめ指定した印象と対応する選択対象の特定を行ってもよい。   In addition, the information providing apparatus 10 may accept, for example, designation of an atmosphere or impression of the selection target as a selection target condition desired by the user in advance. In such a case, the information providing apparatus 10 may specify a selection target having a designated atmosphere or impression. For example, the information providing apparatus 10 acquires a post indicating the impression each user has with respect to the selection target, and the impression each user has with respect to the selection target based on the acquired post Is identified. And the information provision apparatus 10 may specify the selection object corresponding to the impression previously designated by the user among the photographed selection objects.
また、情報提供装置10は、動的に変化する条件を満たす選択対象を特定してもよい。例えば、情報提供装置10は、処理を実行する日時や利用者の位置情報等に応じて変化する条件を満たす選択対象を特定してもよい。例えば、情報提供装置10は、昼間の間はアルコールを含有しない飲料を特定し、夜間の間はアルコールを含有する飲料を特定してもよい。また、情報提供装置10は、各種の推定技術を用いて、利用者の移動手段を推定し、利用者が自家用車で移動していると推定される場合は、アルコールを含有しない飲料を特定してもよい。また、情報提供装置10は、アルコールを含有する飲料や食品を特定し、かかる飲料や食品を強調表示するとともに、「アルコールが含まれています」といった注意喚起の情報を提供してもよい。   Further, the information providing apparatus 10 may specify a selection target that satisfies a dynamically changing condition. For example, the information providing apparatus 10 may specify a selection target that satisfies a condition that changes according to the date and time when the process is executed, the position information of the user, or the like. For example, the information providing apparatus 10 may specify a beverage that does not contain alcohol during the daytime and a beverage that contains alcohol during the nighttime. In addition, the information providing apparatus 10 uses various estimation techniques to estimate the user's moving means, and when it is estimated that the user is moving in a private car, the information providing apparatus 10 specifies a beverage that does not contain alcohol. May be. In addition, the information providing apparatus 10 may identify a beverage or food containing alcohol, highlight the beverage or food, and provide alert information such as “contains alcohol”.
また、情報提供装置10は、複数の選択対象のうち、利用者の属性に応じた条件を満たす選択対象を特定してもよい。例えば、情報提供装置10は、利用者の性別や年齢といったデモグラフィック属性や、利用者の趣味趣向といったサイコグラフィック属性等に応じて、利用者が所望すると推定される選択対象の条件を推定し、推定した条件を満たす選択対象の特定を行ってもよい。なお、このような属性は、利用者によってあらかじめ登録されたものであってもよく、各種の推定技術により推定されたものであってもよい。   Moreover, the information provision apparatus 10 may specify the selection object which satisfy | fills the conditions according to a user's attribute among several selection objects. For example, the information providing apparatus 10 estimates a selection target condition that is estimated to be desired by the user according to demographic attributes such as the user's sex and age, psychographic attributes such as the user's hobbies and preferences, and the like. The selection target satisfying the estimated condition may be specified. Such attributes may be registered in advance by the user, or may be estimated by various estimation techniques.
例えば、情報提供装置10は、選択対象のうち利用者の行動の履歴に応じた条件を満たす選択対象を特定してもよい。例えば、情報提供装置10は、利用者がインターネット検索を行うために入力した検索クエリや電子商店街において商品やサービスを検索するために入力した検索クエリ等、各種の検索クエリの履歴に応じた条件を満たす選択対象を特定してもよい。また、情報提供装置10は、利用者が閲覧したウェブページの履歴、利用者が視聴した動画像や音楽等といった各種コンテンツの履歴に応じた条件を満たす選択対象を特定してもよい。また、情報提供装置10は、利用者が電子商店街で購入した商品やサービスの履歴に応じた選択対象を特定してもよい。また、情報提供装置10は、利用者の位置情報の履歴等に応じた条件を満たす選択対象を特定してもよい。   For example, the information providing apparatus 10 may specify a selection target that satisfies a condition corresponding to a user's behavior history among the selection targets. For example, the information providing apparatus 10 uses conditions according to the history of various search queries, such as a search query input by a user to search the Internet and a search query input to search for goods and services in an online shopping mall. A selection target that satisfies the above may be specified. Further, the information providing apparatus 10 may specify a selection target that satisfies a condition corresponding to a history of various contents such as a history of web pages browsed by the user and moving images and music viewed by the user. Moreover, the information provision apparatus 10 may specify the selection object according to the log | history of the goods and service which the user purchased in the online shopping mall. In addition, the information providing apparatus 10 may specify a selection target that satisfies a condition according to a history of position information of the user.
例えば、情報提供装置10は、利用者の検索クエリの履歴や購入履歴、コンテンツの履歴、位置履歴等から利用者が好む選択対象の傾向を推定し、推定した傾向に基づく条件を設定する。そして、情報提供装置10は、撮影された選択対象のうち条件を満たす選択対象、すなわち、利用者が好む選択対象と同じ傾向を有する選択対象を特定し、特定した選択対象を強調表示させてもよい。なお、このような利用者の属性に応じた条件を採用する場合、条件の内容は、利用者の行動の履歴に応じて逐次変化してもよい。また、情報提供装置10は、時間帯や曜日ごとに利用者が好む選択対象の傾向を特定し、提供処理を行う場合は、提供処理を行う日時に応じた傾向を選択対象が有するか否かを判定してもよい。   For example, the information providing apparatus 10 estimates a tendency of a selection target preferred by the user from a history of a search query of the user, a purchase history, a content history, a position history, and the like, and sets a condition based on the estimated tendency. And the information provision apparatus 10 specifies the selection target which satisfy | fills the conditions satisfy | filled among the picked-up selection targets, ie, the selection target which the user likes, and highlights the specified selection target. Good. In addition, when employ | adopting the conditions according to such a user's attribute, the content of conditions may change sequentially according to the log | history of a user's action. In addition, the information providing apparatus 10 specifies the tendency of the selection target preferred by the user for each time zone and day of the week, and when performing the provision processing, whether or not the selection target has a tendency corresponding to the date and time when the provision processing is performed. May be determined.
また、情報提供装置10は、複数の選択対象のうち、利用者と選択対象との関係性に応じた条件を満たす選択対象を特定してもよい。例えば、情報提供装置10は、過去に購入した異なる選択対象や、選択対象を購入してから所定の期間が経過した選択対象等を特定してもよい。より具体的には、情報提供装置10は、選択対象を購入してから、その選択対象の種別に応じた所定の期間が経過した選択対象を特定してもよい。   Moreover, the information provision apparatus 10 may specify the selection target which satisfy | fills the conditions according to the relationship between a user and a selection target among several selection targets. For example, the information providing apparatus 10 may specify different selection targets purchased in the past, selection targets for which a predetermined period has elapsed since the selection target was purchased, and the like. More specifically, the information providing apparatus 10 may specify a selection target for which a predetermined period corresponding to the type of the selection target has elapsed after purchasing the selection target.
例えば、情報提供装置10は、利用者があるシャンプーを選択してから1か月が経過している際に、そのシャンプーを撮影画像から識別した場合は、そのシャンプーを特定し、強調表示させてもよい。また、情報提供装置10は、強調表示したシャンプーの横に、例えば、「購入してから1か月が経過しています」という表示を行ってもよい。   For example, when one month has elapsed since the user selected a shampoo, the information providing apparatus 10 identifies and highlights the shampoo from the captured image. Also good. Further, the information providing apparatus 10 may display, for example, “one month has passed since purchase” next to the highlighted shampoo.
また、情報提供装置10は、複数の選択対象のうち、各選択対象が属するカテゴリに応じた条件を満たす選択対象を特定してもよい。例えば、情報提供装置10は、飲料、食品、衣料品、雑貨等、選択対象のカテゴリごとに異なる条件を保持する。そして、情報提供装置10は、撮影画像から選択対象を識別した場合は、識別した選択対象が属するカテゴリを特定し、識別した選択対象が特定したカテゴリに応じた条件を満たすか否かを判定してもよい。   Moreover, the information provision apparatus 10 may specify the selection target which satisfy | fills the conditions according to the category to which each selection target belongs among several selection targets. For example, the information providing apparatus 10 holds different conditions for each category to be selected, such as beverages, foods, clothing, and miscellaneous goods. Then, when the selection target is identified from the captured image, the information providing apparatus 10 identifies the category to which the identified selection target belongs, and determines whether or not the identified selection target satisfies a condition corresponding to the identified category. May be.
また、情報提供装置10は、利用者が選択した選択対象と共通する特徴を有する選択対象を特定してもよい。例えば、情報提供装置10は、利用者が過去に購入した選択対象や、利用者が選択した出品画像の履歴等に応じて、利用者が選択した選択対象を特定し、特定した選択対象が有する特徴をモデルに学習させる。例えば、情報提供装置10は、選択対象の外観、内容物、価格等といった各種の情報が有する特徴をモデルに学習させる。そして、情報提供装置10は、撮影画像から選択対象を識別した場合、利用者が選択した選択対象と共通する特徴を識別した選択対象が有するか否かをモデルを用いて判定し、有すると判定された場合は、かかる選択対象を強調表示させてもよい。   In addition, the information providing apparatus 10 may specify a selection target having characteristics common to the selection target selected by the user. For example, the information providing apparatus 10 specifies the selection target selected by the user according to the selection target purchased by the user in the past, the history of the exhibition image selected by the user, and the specified selection target has. Let the model learn features. For example, the information providing apparatus 10 causes the model to learn the characteristics of various types of information such as the appearance, contents, and price of the selection target. Then, when identifying the selection target from the captured image, the information providing apparatus 10 determines whether or not the selection target that has identified the feature common to the selection target selected by the user has a model, and determines that it has the selection target. In such a case, the selection target may be highlighted.
また、情報提供装置10は、複数の選択対象のうち、利用者が意図的に撮影した複数の選択対象が共通して有する特徴を有する選択対象を特定してもよい。例えば、情報提供装置10は、あらかじめ利用者に利用者が所望する選択対象の画像を撮影させ、撮影された選択対象の特徴を学習する。そして、情報提供装置10は、改めて利用者が撮影した画像に含まれる選択対象のうち、学習した特徴を有する選択対象を特定してもよい。   Moreover, the information provision apparatus 10 may specify the selection object which has the characteristic which the some selection object image | photographed intentionally by the user has in common among several selection objects. For example, the information providing apparatus 10 causes a user to capture an image of a selection target desired by the user in advance, and learns the characteristics of the captured selection target. And the information provision apparatus 10 may specify the selection target which has the learned characteristic among the selection targets contained in the image which the user image | photographed anew.
ここで、情報提供装置10は、利用者が所定の撮影装置を用いて撮像する動画像に含まれる複数の選択対象を識別し、動画像に含まれる複数の選択対象のうち、利用者が撮影装置の移動を所定の間だけ停止した際に撮影された選択対象を識別してもよい。例えば、利用者が端末装置100を移動させながら撮影を行う際、撮影対象となる領域の位置が止まった場合には、その際に撮影されている選択対象のうちいずれかの選択対象に利用者が興味を有していると推定される。そこで、情報提供装置10は、動画像のうち注視点が所定の時間(例えば、2秒)停止したと推定される領域を特定し、特定した領域に撮影されている選択対象を識別する。そして、情報提供装置10は、識別した選択対象が有する特徴をモデルに学習させることで、利用者が興味を有すると推定される選択対象の特徴をモデルに学習させる。その後、情報提供装置10は、学習を行ったモデルを用いて、利用者が興味を有すると推定される選択対象を特定してもよい。   Here, the information providing apparatus 10 identifies a plurality of selection targets included in the moving image captured by the user using a predetermined imaging device, and the user captures images among the plurality of selection targets included in the moving image. You may identify the selection object image | photographed when the movement of the apparatus was stopped only for the predetermined period. For example, when the user performs shooting while moving the terminal device 100, if the position of the area to be shot stops, the user is selected as one of the selection targets being shot at that time. Is presumed to be interested. Therefore, the information providing apparatus 10 identifies an area in the moving image where it is estimated that the gazing point has been stopped for a predetermined time (for example, 2 seconds), and identifies a selection target imaged in the identified area. Then, the information providing apparatus 10 causes the model to learn the characteristics of the selection target that is estimated to be of interest to the user by causing the model to learn the characteristics of the identified selection target. Then, the information provision apparatus 10 may specify the selection target estimated that the user is interested using the learned model.
また、情報提供装置10は、利用者が選択あるいは購入した選択対象と関連性が高い選択対象を特定してもよい。例えば、情報提供装置10は、利用者が旅行の申し込みをしていた場合は、撮影された選択対象のうち、スーツケース等の旅行と関連性を有する選択対象を特定してもよい。   Further, the information providing apparatus 10 may specify a selection target that is highly relevant to the selection target selected or purchased by the user. For example, when the user has applied for a trip, the information providing apparatus 10 may specify a selection target that has relevance to a travel such as a suitcase among the photographed selection targets.
なお、情報提供装置10は、上述した条件を満たす選択対象を特定するための条件を随時設定してもよい。すなわち、上述した各種の条件はリアルタイムに変更されてもよく、モデルの学習は、リアルタイムに行われてもよい。例えば、情報提供装置10は、利用者が選択対象を撮影あるいは選択する度に、撮影あるいは選択された選択対象に応じて条件を変更してもよい。また、情報提供装置10は、利用者が選択対象を撮影あるいは選択する度に、条件をより詳細な条件(例えば、より利用者がより好むと推定される確度がより高い選択対象の条件)に変更してもよく、条件をよりゆるい条件(例えば、より利用者が好むと推定される確度がより低い選択対象の条件)に変更してもよい。   In addition, the information provision apparatus 10 may set the conditions for specifying the selection target which satisfy | fills the conditions mentioned above at any time. That is, the various conditions described above may be changed in real time, and model learning may be performed in real time. For example, the information providing apparatus 10 may change the condition according to the selection target that has been shot or selected each time the user captures or selects the selection target. In addition, the information providing apparatus 10 changes the condition to a more detailed condition (for example, a condition of a selection target with a higher accuracy that is estimated to be more preferred by the user) every time the user captures or selects the selection target. The condition may be changed, or the condition may be changed to a looser condition (for example, a condition to be selected with a lower accuracy estimated to be preferred by the user).
また、上述した条件は、利用者が撮影を行う度、利用者が選択対象を選択する度、利用者が選択対象を購入する度に所定の初期条件に戻してもよい。また、情報提供装置10は、上述した処理によって得られた条件やモデルに応じて、利用者に応じた商品やサービスを電子商店街から検索し、検索した商品やサービスの広告やリコメンド情報を配信してもよい。   In addition, the above-described conditions may be returned to predetermined initial conditions each time the user performs shooting, the user selects a selection target, and the user purchases the selection target. In addition, the information providing apparatus 10 searches the online shopping mall for products and services corresponding to the user according to the conditions and models obtained by the above-described processing, and distributes advertisements and recommended information for the searched products and services. May be.
また、情報提供装置10は、上述した条件を適宜組み合わせて用いてもよく、例えば、利用者があらかじめ選択した条件のみを用いて、選択対象の特定を行ってもよい。   Further, the information providing apparatus 10 may use a combination of the above-described conditions as appropriate. For example, the information providing apparatus 10 may specify the selection target using only the conditions selected in advance by the user.
〔1−5.提供する情報について〕
ここで、情報提供装置10は、電子商店街に出品された選択対象の情報以外にも、選択対象の情報であれば、任意の情報を提供して良い。例えば、利用者は、商品のサンプルが配置されたサンプル領域と、実際に販売される商品が配置された倉庫領域とを有する店舗において、サンプル領域に配置された商品の撮影を行う。このような場合、情報提供装置10は、条件を満たす商品の特定を行うとともに、特定した商品が倉庫領域のうちどこに配置されているかを特定し、特定した配置位置を利用者に提供してもよい。
[1-5. (Information to be provided)
Here, the information providing apparatus 10 may provide arbitrary information as long as it is information to be selected in addition to the information to be selected that has been exhibited in the online shopping mall. For example, a user photographs a product placed in a sample area at a store having a sample region where a sample of the product is placed and a warehouse area where a product that is actually sold is placed. In such a case, the information providing apparatus 10 identifies a product that satisfies the conditions, identifies where the identified product is located in the warehouse area, and provides the identified location to the user. Good.
また、例えば、利用者は、商品の写真のみが配置された無人店舗内で撮影を行う。このような場合、情報提供装置10は、条件を満たす商品の特定を行うとともに、特定した商品の価格等といった情報を利用者に提供する。そして、情報提供装置10は、利用者が特定した商品を選択した場合は、かかる商品を利用者が指定した配送先に配送するように、ECサーバ200を制御してもよい。このような処理が実行される場合、利用者は、店舗内のレジで店舗倉庫から自動搬送された商品を受け取っても良い。   Further, for example, the user takes a picture in an unmanned store where only a photograph of the product is arranged. In such a case, the information providing apparatus 10 specifies a product that satisfies the conditions and provides the user with information such as the price of the specified product. Then, when the product selected by the user is selected, the information providing apparatus 10 may control the EC server 200 so as to deliver the product to a delivery destination designated by the user. When such processing is executed, the user may receive a product automatically conveyed from the store warehouse at a cash register in the store.
また、情報提供装置10は、利用者が特定選択対象の画像を選択した場合は、選択された特定選択対象を電子商店街で検索した検索結果を表示してもよく、検索結果を価格順等の各種ランキング形式で表示してもよい。また、情報提供装置10は、特定選択対象に対する利用者のレビュー情報や評価の情報を提供してもよい。   In addition, when the user selects an image of a specific selection target, the information providing apparatus 10 may display a search result obtained by searching the selected specific selection target in the online shopping mall. May be displayed in various ranking formats. Further, the information providing apparatus 10 may provide user review information and evaluation information for the specific selection target.
また、情報提供装置10は、特定選択対象に基づいて選択された各種広告コンテンツを利用者に対して提供してもよい。   In addition, the information providing apparatus 10 may provide various types of advertising content selected based on the specific selection target to the user.
〔1−6.表示条件について〕
ここで、情報提供装置10は、選択対象の特定を行う条件(以下、「フィルタリング条件」と記載する場合がある。)以外にも、特定選択対象に関する情報を表示するための条件(以下、「表示条件」と記載する。)の設定を行ってもよい。例えば、情報提供装置10は、利用者の趣味に合致する選択対象を特定選択対象として特定するとともに、特定選択対象のうち、利用者が購入してから所定の期間が経過した特定選択対象の情報のみを提供してもよい。また、情報提供装置10は、過去に利用者が購入していない特定選択対象の情報のみを提供してもよい。
[1-6. (Display conditions)
Here, in addition to the condition for specifying the selection target (hereinafter, sometimes referred to as “filtering condition”), the information providing apparatus 10 displays a condition for displaying information related to the specific selection target (hereinafter, “ May be set as “display condition”. For example, the information providing apparatus 10 specifies a selection target that matches a user's hobby as a specific selection target, and among the specific selection targets, information on a specific selection target for which a predetermined period has elapsed since the purchase by the user. May provide only. Further, the information providing apparatus 10 may provide only information on a specific selection target that has not been purchased by the user in the past.
〔1−7.選択対象について〕
ここで、上述した例では、情報提供装置10は、選択対象として飲食物等といった商品の中から所定の条件を満たす商品を特定した。しかしながら、実施形態は、これに限定されるものではない。例えば、情報提供装置10は、飲食店やマッサージの施術を行う店舗等、各種店舗の中から所定の条件を満たす店舗を特定し、特定した店舗の情報を利用者に提供してもよい。
[1-7. About selection target)
Here, in the example mentioned above, the information provision apparatus 10 specified the goods which satisfy | fill a predetermined condition from goods, such as food and drink, as selection object. However, the embodiment is not limited to this. For example, the information providing apparatus 10 may specify a store that satisfies a predetermined condition from various stores such as a restaurant or a store that performs massage, and provide the user with information on the specified store.
例えば、図2は、実施形態に係る提供処理の他の例を示す図である。例えば、図2に示す例では、端末装置100は、複数店舗「SHOP#1」〜「SHOP#4」の看板を含む画像を撮影する。このような場合、情報提供装置10は、文字解析技術等を用いて、撮影画像に含まれる看板から、撮影された店舗「SHOP#1」〜「SHOP#4」を特定する。   For example, FIG. 2 is a diagram illustrating another example of the providing process according to the embodiment. For example, in the example illustrated in FIG. 2, the terminal device 100 captures an image including signboards of a plurality of stores “SHOP # 1” to “SHOP # 4”. In such a case, the information providing apparatus 10 identifies the photographed stores “SHOP # 1” to “SHOP # 4” from the signboard included in the photographed image using a character analysis technique or the like.
続いて、情報提供装置10は、店舗「SHOP#1」〜「SHOP#4」の情報を取得する。例えば、情報提供装置10は、店舗「SHOP#1」が「イタリアンレストラン」であり、店舗「SHOP#2」が「雑貨屋」であり、店舗「SHOP#3」が「タイ料理」を提供する店舗であり、店舗「SHOP#4」が「寿司」を提供する店舗である旨を取得する。また、情報提供装置10は、店舗「SHOP#1」〜「SHOP#4」の平均予算や、空き状況を取得する。なお、このような店舗の情報や平均予算、空き状況等は、例えば、店舗の評価を行うウェブサイトや、店舗のオンライン予約を行うウェブサイト等から取得可能である。   Subsequently, the information providing apparatus 10 acquires information on the stores “SHOP # 1” to “SHOP # 4”. For example, in the information providing apparatus 10, the store “SHOP # 1” is “Italian restaurant”, the store “SHOP # 2” is “General store”, and the store “SHOP # 3” provides “Thai food”. It is a store and the store “SHOP # 4” is acquired as a store providing “sushi”. In addition, the information providing apparatus 10 acquires the average budget and availability of the stores “SHOP # 1” to “SHOP # 4”. Such store information, average budget, availability, etc. can be acquired from, for example, a website for evaluating a store, a website for making an online reservation for a store, and the like.
そして、例えば、情報提供装置10は、利用者がイタリアンや寿司が好きである場合、所定の条件を満たす店舗として、「イタリアンレストラン」である店舗「SHOP#1」、および「寿司」を提供する店舗「SHOP#4」を特定する。なお、情報提供装置10は、例えば、各店舗の平均予算が、利用者が予め設定された予算額を上回るか否かといった条件を考慮してもよい。   For example, when the user likes Italian or sushi, the information providing apparatus 10 provides stores “SHOP # 1” and “sushi” which are “Italian restaurants” as stores satisfying a predetermined condition. The store “SHOP # 4” is specified. In addition, the information provision apparatus 10 may consider conditions, such as whether the average budget of each store exceeds the budget amount which the user preset, for example.
そして、情報提供装置10は、特定した店舗「SHOP#1」および店舗「SHOP#4」に関する情報を撮影画像とともに表示する。例えば、情報提供装置10は、特定した店舗「SHOP#1」の看板や店舗「SHOP#1」が所在するビルを示す吹き出しと共に、「イタリアンレストラン 平均予算3000円 空きあり」といった店舗「SHOP#1」に関する各種の情報を表示してもよい。例えば、情報提供装置10は、店舗「SHOP#4」を示す吹き出しと共に、「寿司 平均予算2000円 空きなし」といった店舗「SHOP#4」に関する各種の情報を表示してもよい。また、情報提供装置10は、例えば、店舗「SHOP#1」のように、空きがある店舗の情報のみを表示してもよい。   Then, the information providing apparatus 10 displays information regarding the identified store “SHOP # 1” and store “SHOP # 4” together with the captured image. For example, the information providing apparatus 10 includes a store “SHOP # 1” such as “Italian restaurant average budget 3000 yen available” together with a signboard of the identified store “SHOP # 1” and a balloon indicating the building where the store “SHOP # 1” is located. May be displayed. For example, the information providing apparatus 10 may display various information related to the store “SHOP # 4” such as “average sushi budget of 2000 yen is not available” together with a balloon indicating the store “SHOP # 4”. Further, the information providing apparatus 10 may display only information on a store having a vacancy such as a store “SHOP # 1”.
また、上述した処理以外にも、情報提供装置10は、各種施設等、撮影画像に含まれる任意の対象の中から所定の条件を満たす対象の特定を行ってよい。すなわち、情報提供装置10は、複数の対象の中から選択される対象であれば、任意の対象を選択対象として採用してよい。また、情報提供装置10は、例えば、同じ画像に複数の施設と複数の商品とが撮影されている場合、施設に関するフィルタリング条件を満たす施設と、商品に関するフィルタリング条件を満たす商品との特定を行い、特定した施設および商品の情報を提供してもよく、施設または商品のいずれかのみについて、特定や情報提供を行ってよい。例えば、情報提供装置10は、撮影された選択対象から、ホテルを特定し、特定したホテルのうち、空き室があるホテルの情報を表示してもよい。   In addition to the processing described above, the information providing apparatus 10 may specify a target that satisfies a predetermined condition from arbitrary targets included in a captured image, such as various facilities. That is, the information providing apparatus 10 may adopt any target as a selection target as long as it is a target selected from a plurality of targets. Further, for example, when a plurality of facilities and a plurality of products are photographed in the same image, the information providing apparatus 10 identifies a facility that satisfies the filtering condition regarding the facility and a product that satisfies the filtering condition regarding the product, Information about the specified facility and product may be provided, and specification or information may be provided only for either the facility or the product. For example, the information providing apparatus 10 may specify a hotel from the picked selection target and display information on a hotel having a vacant room among the specified hotels.
また、例えば、情報提供装置10は、撮影された人物のうち、利用者と所定の関連性を有する人物(例えば、SNSでつながっている、アドレスブックに登録されている等)を特定し、特定した人物の情報を提供してもよい。   Further, for example, the information providing apparatus 10 identifies and identifies a person who has a predetermined relationship with the user (for example, connected by SNS, registered in an address book) among the photographed persons. You may provide information on the person who made it.
〔1−8.処理の実行主体について〕
上述した提供処理は、端末装置100が単体で実行してもよい。また、上述した提供処理は、任意の粒度で分割され、情報提供装置10および端末装置100が分割された任意の処理を実行することで実現されてもよい。例えば、撮影画像から選択対象を認識する処理は、端末装置100が実行してもよく、情報提供装置10が実行してもよい。また、認識された選択対象のうち、所定の条件を満たす選択対象を特定する処理については、端末装置100が実行してもよく、情報提供装置10が実行してもよい。
[1-8. (Processing subject)
The providing process described above may be executed by the terminal device 100 alone. Moreover, the provision process mentioned above may be divided | segmented by arbitrary granularity, and may be implement | achieved by performing the arbitrary processes in which the information provision apparatus 10 and the terminal device 100 were divided | segmented. For example, the process of recognizing the selection target from the captured image may be executed by the terminal device 100 or the information providing device 10. Moreover, the process which specifies the selection target which satisfy | fills predetermined conditions among the recognized selection targets may be performed by the terminal device 100, and may be performed by the information provision apparatus 10.
また、上述した例では、端末装置100は、撮影した画像を情報提供装置10に送信した。しかしながら、実施形態は、これに限定されるものではない。例えば、端末装置100は、撮影画像が有する特徴点や特徴量等を情報提供装置10に送信してもよい。このような場合、情報提供装置10は、撮影画像に代えて、受信した特徴点や特徴量から撮影された選択対象を識別してもよい。   In the above-described example, the terminal device 100 transmits the captured image to the information providing device 10. However, the embodiment is not limited to this. For example, the terminal device 100 may transmit a feature point, a feature amount, or the like that the captured image has to the information providing device 10. In such a case, the information providing apparatus 10 may identify a selection target photographed from the received feature point or feature amount instead of the photographed image.
〔2.端末装置の構成〕
次に、図3を用いて、実施形態に係る端末装置100の構成について説明する。図3は、実施形態に係る端末装置の構成例を示す図である。図3に示すように、端末装置100は、通信部110と、入力部120と、出力部130と、カメラ140と、制御部150とを有する。
[2. Configuration of terminal device]
Next, the configuration of the terminal device 100 according to the embodiment will be described with reference to FIG. FIG. 3 is a diagram illustrating a configuration example of the terminal device according to the embodiment. As illustrated in FIG. 3, the terminal device 100 includes a communication unit 110, an input unit 120, an output unit 130, a camera 140, and a control unit 150.
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部110は、ネットワークNと有線または無線で接続され、情報提供装置10およびECサーバ200との間で情報の送受信を行う。   The communication unit 110 is realized by, for example, a NIC (Network Interface Card). The communication unit 110 is connected to the network N by wire or wireless, and transmits and receives information between the information providing apparatus 10 and the EC server 200.
入力部120は、利用者から各種操作を受け付ける入力装置である。例えば、入力部120は、キーボードやマウスや操作キー等によって実現される。出力部130は、各種情報を表示するための表示装置である。例えば、出力部130は、液晶ディスプレイ等によって実現される。なお、端末装置100にタッチパネルが採用される場合には、入力部120と出力部130とは一体化される。カメラ140は、動画像や静止画像等の画像を撮影可能なカメラであり、各種のデジタルカメラにより実現される。   The input unit 120 is an input device that receives various operations from the user. For example, the input unit 120 is realized by a keyboard, a mouse, an operation key, or the like. The output unit 130 is a display device for displaying various information. For example, the output unit 130 is realized by a liquid crystal display or the like. In addition, when a touch panel is employ | adopted for the terminal device 100, the input part 120 and the output part 130 are integrated. The camera 140 is a camera that can capture images such as moving images and still images, and is realized by various digital cameras.
制御部150は、コントローラ(controller)であり、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)等のプロセッサによって、端末装置100内部の記憶装置に記憶されている各種プログラムがRAM等を作業領域として実行されることにより実現される。また、制御部150は、コントローラ(controller)であり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。   The control unit 150 is a controller. For example, various programs stored in a storage device inside the terminal device 100 are stored in a RAM or the like by a processor such as a CPU (Central Processing Unit) or an MPU (Micro Processing Unit). This is realized by being executed as a work area. The control unit 150 is a controller, and may be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
図3に示すように、制御部150は、要求部151と、操作制御部152と、表示制御部153とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部150の内部構成は、図3に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部150が有する各処理部の接続関係は、図3に示した接続関係に限られず、他の接続関係であってもよい。   As illustrated in FIG. 3, the control unit 150 includes a request unit 151, an operation control unit 152, and a display control unit 153, and realizes or executes functions and operations of information processing described below. Note that the internal configuration of the control unit 150 is not limited to the configuration illustrated in FIG. 3, and may be another configuration as long as information processing described later is performed. In addition, the connection relationship between the processing units included in the control unit 150 is not limited to the connection relationship illustrated in FIG. 3, and may be another connection relationship.
要求部151は、ECサーバ200に対し、利用者が選択した選択対象の検索を要求する。例えば、要求部151は、画面上に表示された選択対象の情報が選択され、電子商限外の検索を行うための所定の操作が行われた場合は、選択された選択対象を識別する識別情報(例えば、選択対象の名称や、JISコード等)をECサーバ200に送信し、検索結果を取得する。そして、要求部151は、検索結果を取得した場合は、表示制御部153に検索結果を出力する。なお、このような識別情報は、例えば、情報提供装置10が選択対象の情報を取得した際に取得され、特定選択対象の情報と共に端末装置100へと通知されるものである。   The request unit 151 requests the EC server 200 to search for a selection target selected by the user. For example, when the selection target information displayed on the screen is selected and a predetermined operation for performing a search outside the electronic quotient is performed, the request unit 151 identifies the selected selection target. Information (for example, a name to be selected, a JIS code, etc.) is transmitted to the EC server 200, and a search result is acquired. If the request unit 151 acquires the search result, the request unit 151 outputs the search result to the display control unit 153. Such identification information is acquired, for example, when the information providing apparatus 10 acquires information on the selection target, and is notified to the terminal device 100 together with the information on the specific selection target.
操作制御部152は、入力部120を介して受け付けた利用者の操作にしたがって、各種制御を実行する。例えば、操作制御部152は、利用者の選択処理や各種操作の内容を、要求部151や表示制御部153に出力し、各種制御を実行させる。なお、操作制御部152が出力する操作内容としては、例えば、画面上におけるスクロール操作やタップ等の選択操作等である。   The operation control unit 152 executes various controls according to user operations received via the input unit 120. For example, the operation control unit 152 outputs the selection process of the user and the contents of various operations to the request unit 151 and the display control unit 153 to execute various controls. The operation content output by the operation control unit 152 includes, for example, a scroll operation on the screen, a selection operation such as a tap, and the like.
表示制御部153は、撮影画像やクエリ情報、検索結果等の各種コンテンツの表示を行う。例えば、表示制御部153は、制御部150が、表示処理を実行させる提供プログラムやアプリケーションをRAMを作業領域として実行することで、図3に示すように撮影部154、取得部155、および表示部156として動作する。   The display control unit 153 displays various contents such as captured images, query information, and search results. For example, the display control unit 153 causes the control unit 150 to execute a providing program or an application for executing display processing using the RAM as a work area, so that the imaging unit 154, the acquisition unit 155, and the display unit are configured as illustrated in FIG. It operates as 156.
撮影部154は、画像を撮影する。例えば、撮影部154は、カメラ140を用いて、静止画像または動画像の撮影を行う。また、撮影部154は、撮影した画像を端末装置100が有する不揮発性の記憶領域(図示は、省略)に登録する。なお、撮影部154は、所謂クラウド上に存在する端末装置100用の記憶領域に、撮影した画像を登録してもよい。   The imaging unit 154 captures an image. For example, the imaging unit 154 uses the camera 140 to capture a still image or a moving image. In addition, the photographing unit 154 registers the photographed image in a nonvolatile storage area (not illustrated) included in the terminal device 100. The photographing unit 154 may register the photographed image in a storage area for the terminal device 100 that exists on a so-called cloud.
取得部155は、撮影された画像に含まれる選択対象の画像を取得する。例えば、取得部155は、撮影した画像に含まれる選択対象の画像であって、電子商店街に登録された選択対象の画像を取得する。例えば、取得部155は、撮影部154によって撮影された画像を情報提供装置10に対してストリーミング形式で送信する。そして、取得部155は、撮影された選択対象であって、電子商店街に登録された選択対象の画像(すなわち、出品画像)と、選択対象を電子商店街で識別する識別情報を情報提供装置10から取得する。すなわち、取得部155は、画像に撮影された選択対象の画像であって、電子商店街に登録された選択対象の画像を検索する情報提供装置10に対して、カメラ140を用いて撮影された画像を出力する。   The acquisition unit 155 acquires a selection target image included in the photographed image. For example, the acquisition unit 155 acquires a selection target image included in the photographed image and registered in the online shopping mall. For example, the acquisition unit 155 transmits the image captured by the imaging unit 154 to the information providing apparatus 10 in a streaming format. Then, the acquisition unit 155 is an information providing device that is an image of the selection target and is an image of the selection target registered in the online shopping mall (that is, an exhibition image) and identification information that identifies the selection target in the online shopping mall. Get from 10. That is, the acquisition unit 155 is captured using the camera 140 with respect to the information providing apparatus 10 that searches the selection target image registered in the online shopping mall, which is the selection target image captured in the image. Output an image.
表示部156は、撮影された画像に含まれる選択対象の画像を、選択対象を電子商店街で検索するための検索クエリを示すクエリ情報として、撮影した画像と共に複数表示する。例えば、表示部156は、撮影画像ウインドウCWに撮影部154が撮影した画像を表示する。また、表示部156は、取得部155によって出品画像と対応する識別情報とが取得される度に、取得された出品画像をクエリ情報として画像表示ウインドウPWに順次追加表示する。そして、表示部156は、例えば、利用者が画像表示ウインドウPW上でスクロール操作を行った場合は、画像表示ウインドウPW上に表示したクエリ情報をスクロールさせる。すなわち、表示部156は、出品画像を、出品画像が示す選択対象を電子商店街で検索するための検索クエリである識別情報を示す情報として表示する。   The display unit 156 displays a plurality of images to be selected included in the photographed image together with the photographed image as query information indicating a search query for searching the selection object in the online shopping mall. For example, the display unit 156 displays an image captured by the imaging unit 154 in the captured image window CW. Further, the display unit 156 additionally displays the acquired exhibition image as query information sequentially on the image display window PW every time the acquisition unit 155 acquires the exhibition image and the corresponding identification information. For example, when the user performs a scroll operation on the image display window PW, the display unit 156 scrolls the query information displayed on the image display window PW. In other words, the display unit 156 displays the exhibition image as information indicating identification information that is a search query for searching the electronic shopping mall for a selection target indicated by the exhibition image.
また、表示部156は、表示したクエリ情報が選択された場合は、選択されたクエリ情報と対応する識別情報を要求部151に出力する。この結果、要求部151は、選択されたクエリ情報と対応する識別情報を用いた電子商店街の検索結果をECサーバ200から取得する。そして、表示部156は、取得された検索結果を表示する。なお、表示部156は、複数のクエリ情報が選択された場合は、選択された複数のクエリ情報と対応する複数の識別情報を用いた検索結果を表示することとなる。   Further, when the displayed query information is selected, the display unit 156 outputs identification information corresponding to the selected query information to the request unit 151. As a result, the requesting unit 151 acquires a search result of the online shopping mall from the EC server 200 using the identification information corresponding to the selected query information. The display unit 156 displays the acquired search result. When a plurality of pieces of query information are selected, the display unit 156 displays search results using a plurality of pieces of identification information corresponding to the selected pieces of query information.
なお、表示部156は、情報提供装置10が出品画像ではなく、撮影画像のうち選択対象が含まれる領域の画像を提供する場合は、その画像をクエリ情報として表示してもよい。このような場合、ECサーバ200は、クエリ情報である画像を用いた画像検索により、出品された選択対象を検索することとなる。また、例えば、取得部155は、撮影された画像のうち、選択対象が含まれる領域を画像解析技術等によって特定し、特定した範囲のみを情報提供装置10に送信することで、選択対象の識別情報を取得する。このような場合、表示部156は、撮影画像のうち取得部155によって特定された範囲を、クエリ情報として表示してもよい。   Note that the display unit 156 may display the image as query information when the information providing apparatus 10 provides an image of a region including the selection target in the captured image instead of the exhibition image. In such a case, the EC server 200 searches the selected selection target by performing an image search using an image that is query information. In addition, for example, the acquisition unit 155 identifies an area including the selection target in the captured image using an image analysis technique or the like, and transmits only the specified range to the information providing apparatus 10, thereby identifying the selection target. Get information. In such a case, the display unit 156 may display the range specified by the acquisition unit 155 in the captured image as query information.
〔3.情報提供装置の構成〕
続いて、上記した情報提供装置10が有する機能構成の一例について説明する。図4は、実施形態に係る情報提供装置の構成例を示す図である。図4に示すように、情報提供装置10は、通信部20、記憶部30、および制御部40を有する。
[3. Configuration of information providing device]
Subsequently, an example of a functional configuration of the information providing apparatus 10 described above will be described. FIG. 4 is a diagram illustrating a configuration example of the information providing apparatus according to the embodiment. As illustrated in FIG. 4, the information providing apparatus 10 includes a communication unit 20, a storage unit 30, and a control unit 40.
通信部20は、例えば、NIC等によって実現される。そして、通信部20は、ネットワークNと有線または無線で接続され、端末装置100やECサーバ200との間で情報の送受信を行う。   The communication unit 20 is realized by a NIC or the like, for example. The communication unit 20 is connected to the network N by wire or wirelessly and transmits / receives information to / from the terminal device 100 or the EC server 200.
記憶部30は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部30は、選択対象データベース31および利用者データベース32を記憶する。   The storage unit 30 is realized by, for example, a semiconductor memory device such as a RAM (Random Access Memory) or a flash memory, or a storage device such as a hard disk or an optical disk. The storage unit 30 also stores a selection target database 31 and a user database 32.
以下、図5〜図6を用いて、選択対象データベース31および利用者データベース32に登録される情報の一例について説明する。例えば、選択対象データベース31には、選択対象に関する各種の情報が登録される。例えば、図5は、実施形態に係る選択対象データベースに登録される情報の一例を示す図である。図5に示す例では、選択対象データベース31には、「選択対象ID」、「カテゴリパス」、「画像情報」、「識別情報」、「特徴量」、「対象情報」といった項目を有する情報が登録される。   Hereinafter, an example of information registered in the selection target database 31 and the user database 32 will be described with reference to FIGS. For example, various types of information related to the selection target are registered in the selection target database 31. For example, FIG. 5 is a diagram illustrating an example of information registered in the selection target database according to the embodiment. In the example illustrated in FIG. 5, the selection target database 31 includes information including items such as “selection target ID”, “category path”, “image information”, “identification information”, “feature amount”, and “target information”. be registered.
ここで、「選択対象ID」とは、選択対象を一意に示す識別子である。また、「カテゴリパス」とは、電子商店街において選択対象が属するカテゴリのカテゴリパスである。また、「画像情報」とは、電子商店街に登録された選択対象の画像である。また、「識別情報」とは、選択対象を識別するための情報である。また、「特徴量」とは、選択対象の外観を撮影した画像が有する特徴量である。また、「対象情報」とは、選択対象の原材料、製法、生産地等といった選択対象に関する各種の情報である。   Here, the “selection target ID” is an identifier that uniquely indicates the selection target. The “category path” is a category path of a category to which the selection target belongs in the online shopping mall. The “image information” is an image to be selected registered in the online shopping mall. The “identification information” is information for identifying a selection target. Further, the “feature amount” is a feature amount of an image obtained by photographing the appearance of the selection target. The “target information” is various information related to a selection target such as a raw material to be selected, a manufacturing method, a production place, and the like.
例えば、図5に示す例では、選択対象データベース31には、選択対象ID「選択対象#A」、カテゴリパス「カテゴリ#1>カテゴリ#1−1・・・」、画像情報「画像#A」、識別情報「識別情報#A」、特徴量「特徴量#A」、対象情報「原材料#A、製法#・・・」等が対応付けて登録されている。このような情報は、選択対象ID「選択対象#A」が示す選択対象が、カテゴリパス「カテゴリ#1>カテゴリ#1−1・・・」が示すカテゴリに属するものとして電子商店がに出品されており、選択対象の画像情報が「画像#A」である旨を示す。また、このような情報は、選択対象ID「選択対象#A」が示す選択対象を識別する識別情報が「識別情報#A」である旨を示す。また、このような情報は、選択対象ID「選択対象#A」が示す選択対象の外観を撮影した画像が有する特徴量が「特徴量#A」である旨を示す。また、このような情報は、選択対象ID「選択対象#A」が示す選択対象の対象情報が「原材料#A、製法#A・・・」である旨を示す。   For example, in the example illustrated in FIG. 5, the selection target database 31 includes a selection target ID “selection target #A”, a category path “category # 1> category # 1-1...”, And image information “image #A”. , Identification information “identification information #A”, feature quantity “feature quantity #A”, target information “raw material #A, manufacturing method #...” And the like are registered in association with each other. Such information is listed in the online store as the selection target indicated by the selection target ID “selection target #A” belongs to the category indicated by the category path “category # 1> category # 1-1. Indicating that the image information to be selected is “image #A”. Further, such information indicates that the identification information for identifying the selection target indicated by the selection target ID “selection target #A” is “identification information #A”. Further, such information indicates that the feature amount of the image obtained by photographing the appearance of the selection target indicated by the selection target ID “selection target #A” is “feature amount #A”. Such information indicates that the target information of the selection target indicated by the selection target ID “selection target #A” is “raw material #A, manufacturing method #A...”.
なお、図5に示す例では、「選択対象#A」、「カテゴリ#1」、「画像#A」、「識別情報#A」、「特徴量#A」、「原材料#A」、「製法#A」等といった概念的な値を記載したが、実際には、各選択対象を識別するための数値や文字列、カテゴリを示す数値や文字列、画像データ、選択対象を識別するための数値や文字列、特徴量の値、選択対象に関する各種の情報等が登録されることとなる。また、図6に示す情報以外にも、選択対象データベース31には、選択対象に関する任意の情報が登録されていてよい。   In the example shown in FIG. 5, “selection object #A”, “category # 1”, “image #A”, “identification information #A”, “feature amount #A”, “raw material #A”, “production method” Although a conceptual value such as “#A” is described, actually, a numerical value or character string for identifying each selection target, a numerical value or character string indicating a category, image data, or a numerical value for identifying the selection target A character string, a feature value, various information related to a selection target, and the like are registered. In addition to the information shown in FIG. 6, arbitrary information related to the selection target may be registered in the selection target database 31.
利用者データベース32には、利用者に関する各種の情報が登録される。例えば、図6は、実施形態に係る利用者データベースに登録される情報の一例を示す図である。図6に示すように、利用者データベース32には、「利用者ID」、「属性情報」、「検索履歴」、「閲覧履歴」、「購買履歴」、「選択履歴」、「アレルギー情報」、「フィルタリング条件」、「表示条件」、および「推定モデル」といった項目を有する情報が登録される。   Various types of information related to users are registered in the user database 32. For example, FIG. 6 is a diagram illustrating an example of information registered in the user database according to the embodiment. As shown in FIG. 6, the user database 32 includes “user ID”, “attribute information”, “search history”, “browsing history”, “purchasing history”, “selection history”, “allergy information”, Information having items such as “filtering condition”, “display condition”, and “estimated model” is registered.
ここで、「利用者ID」とは、利用者Uを識別するための識別子である。また、「属性情報」とは、利用者の名前、性別、年齢、趣味趣向、居住地等といった各種属性を示す情報である。また、「検索履歴」とは、利用者が入力した各種検索クエリの履歴である。また、「閲覧履歴」とは、利用者が閲覧若しくは視聴したコンテンツの履歴である。また、「購買履歴」とは、利用者が購入した取引対象の履歴である。また、「選択履歴」、とは、上述した提供処理を介して情報が提供された選択対象のうち、利用者が選択した選択対象を示す情報である。また、「アレルギー情報」とは、利用者がアレルゲンとする食材などの情報である。また、「フィルタリング条件」、とは、利用者に応じたフィルタリング条件である。なお、利用者データベース32には、選択対象のカテゴリごとに異なる「フィルタリング条件」が登録されていてもよい。また、「表示条件」とは、フィルタリング条件を満たす選択対象のうち、情報を表示する選択対象を示す情報である。また、「推定モデル」とは、利用者の行動の履歴が有する特徴を学習したモデルであり、利用者が興味を有すると推定される選択対象を特定するモデルである。   Here, the “user ID” is an identifier for identifying the user U. “Attribute information” is information indicating various attributes such as a user's name, gender, age, hobbies, and place of residence. The “search history” is a history of various search queries input by the user. The “browsing history” is a history of contents viewed or viewed by the user. The “purchasing history” is a history of a transaction target purchased by a user. The “selection history” is information indicating a selection target selected by the user from among the selection targets for which information has been provided through the providing process described above. Further, “allergy information” is information such as ingredients that the user uses as an allergen. The “filtering condition” is a filtering condition according to the user. In the user database 32, different “filtering conditions” may be registered for each category to be selected. The “display condition” is information indicating a selection target for displaying information among selection targets that satisfy the filtering condition. The “estimated model” is a model that learns the characteristics of the user's behavior history, and is a model that identifies a selection target that is estimated to be of interest to the user.
例えば、図6に示す例では、利用者データベース32には、利用者ID「利用者#1」、属性情報「属性情報#1」、検索履歴「検索履歴#1」、閲覧履歴「閲覧履歴#1」、購買履歴「購買履歴#1」、選択履歴「選択履歴#1」、アレルギー情報「アレルギー情報#1」、フィルタリング条件「フィルタリング条件#1」、表示条件「表示条件#1」、および推定モデル「推定モデル#1」が対応付けて登録されている。   For example, in the example illustrated in FIG. 6, the user database 32 includes a user ID “user # 1”, attribute information “attribute information # 1”, search history “search history # 1”, and browsing history “viewing history #”. 1 ”, purchase history“ purchase history # 1 ”, selection history“ selection history # 1 ”, allergy information“ allergy information # 1 ”, filtering condition“ filtering condition # 1 ”, display condition“ display condition # 1 ”, and estimation The model “estimated model # 1” is registered in association with each other.
なお、図6に示す情報以外にも、利用者データベース32には、利用者Uに関する任意の情報が登録されていてよい。また、図6に示す例では、「属性情報#1」等といった概念的な値を記載したが、実際には、利用者データベース32には、利用者Uの属性や検索履歴等、各種の情報を示す文字列や数値やモデルのデータ等が登録されることとなる。   In addition to the information shown in FIG. 6, arbitrary information regarding the user U may be registered in the user database 32. In the example shown in FIG. 6, conceptual values such as “attribute information # 1” are described, but actually, in the user database 32, various information such as the attributes of the user U and the search history are stored. A character string, a numerical value, model data, and the like indicating is registered.
図4に戻り、説明を続ける。制御部40は、コントローラ(controller)であり、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)等のプロセッサによって、情報提供装置10内部の記憶装置に記憶されている各種プログラムがRAM等を作業領域として実行されることにより実現される。また、制御部40は、コントローラ(controller)であり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。図5に示すように、制御部40は、受付部41、識別部42、特定部43、および提供部44を有する。   Returning to FIG. 4, the description will be continued. The control unit 40 is a controller. For example, various programs stored in a storage device inside the information providing apparatus 10 are stored in a RAM or the like by a processor such as a CPU (Central Processing Unit) or an MPU (Micro Processing Unit). Is implemented as a work area. The control unit 40 is a controller, and may be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array). As shown in FIG. 5, the control unit 40 includes a receiving unit 41, an identifying unit 42, a specifying unit 43, and a providing unit 44.
受付部41は、端末装置100が撮影した撮影画像を受付ける。また、受付部41は、ECサーバ200等から、所定の時間間隔で、電子商店街に出品された選択対象の情報を取得し、取得した情報を選択対象データベース31に登録する。   The accepting unit 41 accepts a captured image captured by the terminal device 100. In addition, the reception unit 41 acquires information on a selection target that has been exhibited in the online shopping mall from the EC server 200 or the like at predetermined time intervals, and registers the acquired information in the selection target database 31.
識別部42は、所定の画像に含まれる複数の選択対象を識別する。例えば、識別部42は、利用者が所定の撮影装置を用いて撮像する動画像に含まれる複数の選択対象を識別する。例えば、識別部42は、画像解析の技術を用いて、撮影画像の中から選択対象が撮影された範囲を特定する。また、識別部42は、撮影画像のうち特定した範囲の特徴量を抽出し、抽出した特徴量と選択対象データベース31に登録された特徴量との比較結果に基づいて、撮影された選択対象が何であるか(例えば、選択対象がどの識別番号で識別されるか)を識別する。   The identification unit 42 identifies a plurality of selection targets included in a predetermined image. For example, the identification unit 42 identifies a plurality of selection targets included in a moving image captured by a user using a predetermined imaging device. For example, the identification unit 42 specifies a range in which the selection target is captured from the captured images using an image analysis technique. Further, the identification unit 42 extracts a feature amount in a specified range from the photographed image, and based on a comparison result between the extracted feature amount and the feature amount registered in the selection target database 31, the photographed selection target is identified. Identify what it is (for example, with which identification number the selection object is identified).
特定部43は、識別された複数の選択対象のうち、所定の条件を満たす選択対象を特定する。例えば、特定部43は、識別された選択対象に関する情報を取得し、取得した情報が所定の条件を満たす選択対象を特定する。また、例えば、特定部43は、識別された選択対象の内容物に関する情報を取得し、取得した情報が所定の条件を満たす選択対象を特定する。また、特定部43は、利用者により設定された条件を満たす選択対象を特定する。   The identification unit 43 identifies a selection target that satisfies a predetermined condition among the plurality of identified selection targets. For example, the specifying unit 43 acquires information regarding the identified selection target, and specifies the selection target for which the acquired information satisfies a predetermined condition. Further, for example, the specifying unit 43 acquires information regarding the identified content of the selection target, and specifies the selection target that satisfies the predetermined condition for the acquired information. Further, the specifying unit 43 specifies a selection target that satisfies a condition set by the user.
ここで、特定部43は、例えば、複数の選択対象のうち、利用者の属性に応じた条件を満たす選択対象を特定してもよい。また、例えば、特定部43は、複数の選択対象のうち、利用者と選択対象との関係性に応じた条件を満たす選択対象を特定してもよい。また、例えば、特定部43は、複数の選択対象のうち、利用者が身体的に利用可能な選択対象を特定してもよい。また、例えば、特定部43は、複数の選択対象のうち、選択対象が属するカテゴリに応じた条件を満たす選択対象を特定してもよい。また、例えば、特定部43は、複数の選択対象のうち利用者の行動の履歴に応じた条件を満たす選択対象を特定してもよい。   Here, for example, the specifying unit 43 may specify a selection target that satisfies a condition corresponding to the attribute of the user among a plurality of selection targets. For example, the specifying unit 43 may specify a selection target that satisfies a condition corresponding to the relationship between the user and the selection target among the plurality of selection targets. For example, the specifying unit 43 may specify a selection target that can be physically used by the user among a plurality of selection targets. Further, for example, the specifying unit 43 may specify a selection target that satisfies a condition corresponding to a category to which the selection target belongs, among the plurality of selection targets. For example, the specifying unit 43 may specify a selection target that satisfies a condition corresponding to a user's behavior history among the plurality of selection targets.
また、例えば、特定部43は、利用者が選択した選択対象と共通する特徴を有する選択対象を特定してもよい。また、例えば、特定部43は、利用者が選択した選択対象が有する特徴を学習した学習モデルを用いて、複数の選択対象のうち、利用者が選択した選択対象と共通する特徴を有する選択対象を特定してもよい。   Further, for example, the specifying unit 43 may specify a selection target having characteristics common to the selection target selected by the user. In addition, for example, the specifying unit 43 uses a learning model in which a feature of a selection target selected by the user is learned, and a selection target having a feature common to the selection target selected by the user among a plurality of selection targets. May be specified.
例えば、特定部43は、利用者データベース32を参照し、各利用者の属性情報や検索履歴等を用いて、利用者が購入、選択した選択対象や利用者が興味があると推定される選択対象の共通性を推定モデルに学習させる。また、特定部43は、画像を撮影した利用者があらかじめ設定したフィルタリング条件と推定モデルとを参照する。そして、特定部43は、識別された選択対象がフィルタリング条件を満たすか否かを判定するとともに、推定モデルを用いて、識別された選択対象に利用者が興味を有するか否かを判定する。そして、特定部43は、判定結果に基づいて、情報の提供対象となる選択対象を特定する。   For example, the specifying unit 43 refers to the user database 32 and uses the attribute information, search history, and the like of each user, and the selection that is selected and estimated that the user purchases and selects and the user is interested. Let the estimation model learn the commonality of objects. Further, the specifying unit 43 refers to the filtering condition and the estimation model set in advance by the user who has captured the image. Then, the specifying unit 43 determines whether or not the identified selection target satisfies the filtering condition, and determines whether or not the user is interested in the identified selection target using the estimation model. And the specific | specification part 43 specifies the selection object used as the provision object of information based on a determination result.
また、例えば、特定部43は、動画像に含まれる複数の選択対象のうち、利用者が撮影装置の移動を所定の間だけ停止した際に撮影された選択対象を識別してもよい。また、例えば、特定部43は、複数の選択対象のうち、利用者が意図的に撮影した複数の選択対象が共通して有する特徴を有する選択対象を特定してもよい。   Further, for example, the specifying unit 43 may identify a selection target that is captured when the user stops the movement of the imaging device for a predetermined period among a plurality of selection targets included in the moving image. In addition, for example, the specifying unit 43 may specify a selection target having a characteristic shared by a plurality of selection targets intentionally photographed by the user among the plurality of selection targets.
例えば、図7は、実施形態に係る提供処理において利用者が興味を有する選択対象を学習する処理の一例を説明する図である。例えば、利用者は、図7中(A)に示すように、選択対象Eの撮影を行い、そのまま注視点を移動させることで、選択対象Fおよび選択対象Gを撮影したものとする。また、利用者は、図7中(B)に示すように、選択対象Gを撮影した際に、所定の時間だけ注視点を移動させず(すなわち、手を止め)、その後、図7中(C)に示すように、再度注視点を移動させることで、選択対象Hを撮影したものとする。   For example, FIG. 7 is a diagram illustrating an example of a process of learning a selection target in which the user is interested in the providing process according to the embodiment. For example, as shown in FIG. 7A, the user captures the selection target F and the selection target G by capturing the selection target E and moving the gazing point as it is. Further, as shown in FIG. 7B, the user does not move the gaze point for a predetermined time (that is, stops the hand) when the selection target G is photographed, and thereafter in FIG. As shown in C), it is assumed that the selection target H is photographed by moving the gazing point again.
このような場合、特定部43は、利用者が興味を有する選択対象の特徴として、選択対象#Gの特徴を学習モデルに学習させ、かかる学習モデルを用いて選択対象の特定を行う。例えば、特定部43は、画像解析技術等を用いて、利用者が手を止めて撮影した選択対象を特定し、特定した選択対象が有する特徴を推定モデルに学習させてもよい。   In such a case, the specifying unit 43 causes the learning model to learn the feature of the selection target #G as the selection target feature that the user is interested in, and specifies the selection target using the learning model. For example, the specifying unit 43 may use an image analysis technique or the like to specify a selection target photographed by the user by stopping his / her hand and cause the estimation model to learn the characteristics of the specified selection target.
提供部44は、特定された選択対象を示す情報を利用者に提供する。例えば、提供部44は、選択対象を示す情報として、所定の画像のうち選択対象が含まれる範囲を強調した画像を提供する。また、提供部44は、選択対象を示す情報として、選択対象に関する情報を所定の画像と共に提供する。例えば、提供部44は、特定部43により特定された選択対象、すなわち、特定選択対象が撮影された範囲を撮影画像から特定し、特定した範囲を示す情報を生成する。また、提供部44は、選択対象データベース31から特定選択対象の情報を抽出する。そして、提供部44は、特定した範囲を示す情報と、特定選択対象の情報とを端末装置100に送信し、撮影画像のうち特定した範囲を強調表示させるとともに、特定選択対象の情報を表示させる。   The providing unit 44 provides the user with information indicating the specified selection target. For example, the providing unit 44 provides, as information indicating the selection target, an image in which a range including the selection target is emphasized among predetermined images. The providing unit 44 provides information about the selection target together with a predetermined image as information indicating the selection target. For example, the providing unit 44 specifies the selection target specified by the specifying unit 43, that is, the range where the specific selection target is shot from the captured image, and generates information indicating the specified range. Further, the providing unit 44 extracts information on the specific selection target from the selection target database 31. Then, the providing unit 44 transmits information indicating the specified range and information on the specific selection target to the terminal device 100, highlights the specified range in the captured image, and displays the information on the specific selection target. .
なお、提供部44は、選択対象を示す情報として、選択対象に関する情報であって、所定の条件と関連する情報を所定の画像と共に提供してもよい。例えば、提供部44は、特定選択対象のうち、利用者データベース32に登録された表示条件を満たす特定選択対象の情報のみを端末装置100に配信してもよい。また、提供部44は、特定選択対象の情報であって、電子商店街に登録された選択対象の情報を利用者に提供してもよい。   The providing unit 44 may provide information related to the selection target as information indicating the selection target and information related to a predetermined condition together with a predetermined image. For example, the providing unit 44 may distribute only the information of the specific selection target satisfying the display condition registered in the user database 32 among the specific selection target to the terminal device 100. Further, the providing unit 44 may provide the user with information on a specific selection target, which is information on the selection target registered in the online shopping mall.
なお、上述した説明では、特定部43が、各種属性やモデルを用いて所定の条件を満たす選択対象を特定するとともに、各種履歴に基づいたモデルの学習を行ったが、実施形態は、これに限定されるものではない。例えば、情報提供装置10は、モデルの学習を行う学習部を有し、学習部が、利用者の各種履歴や、利用者が撮影した選択対象の履歴等を用いて、利用者が興味を有すると推定される選択対象や、利用者に情報を提供した方が良いと推定される選択対象の特徴を推定モデルに学習させてもよい。   In the above description, the specifying unit 43 specifies a selection target that satisfies a predetermined condition using various attributes and models, and learns a model based on various histories. It is not limited. For example, the information providing apparatus 10 includes a learning unit that learns a model, and the learning unit uses the various histories of the user, the selection target histories photographed by the user, and the like. Then, the estimation model may be made to learn the estimated selection target and the characteristics of the selection target estimated to be better for providing information to the user.
〔4.情報提供装置が実行する処理の流れの一例〕
続いて、図8を用いて、情報提供装置10が実行する処理の流れの一例を説明する。図8は、実施形態に係る情報提供装置が実行する表示処理の流れの一例を示すフローチャートである。
[4. Example of flow of processing executed by information providing apparatus]
Next, an example of the flow of processing executed by the information providing apparatus 10 will be described with reference to FIG. FIG. 8 is a flowchart illustrating an example of a flow of display processing executed by the information providing apparatus according to the embodiment.
例えば、情報提供装置10は、端末装置100から画像を受付ける(ステップS201)。このような場合、情報提供装置10は、選択対象が撮影された範囲を抽出する(ステップS202)。そして、情報提供装置10は、特徴量を用いて、撮影された選択対象を識別する(ステップS203)。なお、情報提供装置10は、先に特徴量を用いて撮影された選択対象を識別し(ステップS203)、その後、識別した選択対象が撮影された範囲の抽出(ステップS202)を行ってもよい。続いて、情報提供装置10は、識別した選択対象の情報を取得する(ステップS204)。例えば、情報提供装置10は、識別した選択対象の出品画像を電子商店街から取得する。そして、情報提供装置10は、選択対象の情報が利用者に関する所定の条件を満たすか否かを判定する(ステップS205)。   For example, the information providing apparatus 10 receives an image from the terminal apparatus 100 (step S201). In such a case, the information providing apparatus 10 extracts a range in which the selection target is photographed (step S202). Then, the information providing apparatus 10 identifies the captured selection target using the feature amount (step S203). Note that the information providing apparatus 10 may identify a selection target that has been previously captured using the feature amount (step S203), and then perform extraction of a range in which the identified selection target is captured (step S202). . Subsequently, the information providing apparatus 10 acquires information on the identified selection target (step S204). For example, the information providing apparatus 10 acquires the identified exhibition image to be selected from the online shopping mall. Then, the information providing apparatus 10 determines whether the selection target information satisfies a predetermined condition regarding the user (step S205).
ここで、情報提供装置10は、選択対象の情報が利用者に関する所定の条件を満たすと判定された場合は(ステップS205:Yes)、選択対象の情報とともに、選択対象が撮影された範囲を端末装置100に強調表示させ(ステップS206)、処理を終了する。一方、情報提供装置10は、選択対象の情報が利用者に関する所定の条件を満たさないと判定された場合は(ステップS205:No)、そのまま処理を終了する。   Here, when it is determined that the information on the selection target satisfies the predetermined condition regarding the user (step S205: Yes), the information providing apparatus 10 displays the range in which the selection target is photographed together with the information on the selection target. The apparatus 100 is highlighted (step S206), and the process is terminated. On the other hand, when it is determined that the information to be selected does not satisfy the predetermined condition regarding the user (step S205: No), the information providing apparatus 10 ends the process as it is.
〔5.変形例〕
上記では、情報提供装置10および端末装置100による提供処理の一例について説明した。しかしながら、実施形態は、これに限定されるものではない。以下、検索処理や表示処理のバリエーションについて説明する。
[5. (Modification)
In the above, an example of the providing process by the information providing apparatus 10 and the terminal apparatus 100 has been described. However, the embodiment is not limited to this. Hereinafter, variations of search processing and display processing will be described.
〔5−1.提供処理の態様について〕
上述した例では、情報提供装置10は、端末装置100が撮影した画像からリアルタイムに選択対象の識別やフィルタリング条件を満たす選択対象の特定を行った。しかしながら、実施形態は、これに限定されるものではない。例えば、情報提供装置10は、端末装置100が過去に撮影した静止画像や動画像から、選択対象の識別やフィルタリング条件を満たす選択対象の特定を行ってもよい。
[5-1. About the aspect of the provision process]
In the example described above, the information providing apparatus 10 identifies the selection target and specifies the selection target satisfying the filtering condition in real time from the image captured by the terminal device 100. However, the embodiment is not limited to this. For example, the information providing apparatus 10 may identify a selection target or specify a selection target satisfying a filtering condition from a still image or a moving image captured by the terminal device 100 in the past.
〔5−2.その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、逆に、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
[5-2. Others]
In addition, among the processes described in the above embodiment, all or part of the processes described as being automatically performed can be performed manually, and conversely, the processes described as being performed manually. All or a part of the above can be automatically performed by a known method. In addition, the processing procedures, specific names, and information including various data and parameters shown in the document and drawings can be arbitrarily changed unless otherwise specified. For example, the various types of information illustrated in each drawing is not limited to the illustrated information.
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。   Further, each component of each illustrated apparatus is functionally conceptual, and does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured.
また、上記してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。   In addition, the above-described embodiments can be appropriately combined within a range in which processing contents do not contradict each other.
〔5−3.プログラム〕
また、上述した実施形態に係る情報提供装置10および端末装置100は、例えば図9に示すような構成のコンピュータ1000によって実現される。図9は、ハードウェア構成の一例を示す図である。コンピュータ1000は、出力装置1010、入力装置1020と接続され、演算装置1030、一次記憶装置1040、二次記憶装置1050、出力IF(Interface)1060、入力IF1070、ネットワークIF1080がバス1090により接続された形態を有する。
[5-3. program〕
Further, the information providing apparatus 10 and the terminal apparatus 100 according to the above-described embodiment are realized by a computer 1000 having a configuration as shown in FIG. 9, for example. FIG. 9 is a diagram illustrating an example of a hardware configuration. The computer 1000 is connected to an output device 1010 and an input device 1020, and an arithmetic device 1030, a primary storage device 1040, a secondary storage device 1050, an output IF (Interface) 1060, an input IF 1070, and a network IF 1080 are connected via a bus 1090. Have
演算装置1030は、一次記憶装置1040や二次記憶装置1050に格納されたプログラムや入力装置1020から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置1040は、RAM等、演算装置1030が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置1050は、演算装置1030が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ROM(Read Only Memory)、HDD(Hard Disk Drive)、フラッシュメモリ等により実現される。   The arithmetic device 1030 operates based on a program stored in the primary storage device 1040 and the secondary storage device 1050, a program read from the input device 1020, and the like, and executes various processes. The primary storage device 1040 is a memory device such as a RAM that temporarily stores data used by the arithmetic device 1030 for various arithmetic operations. The secondary storage device 1050 is a storage device in which data used by the arithmetic device 1030 for various calculations and various databases are registered, such as ROM (Read Only Memory), HDD (Hard Disk Drive), flash memory, and the like. It is realized by.
出力IF1060は、モニタやプリンタといった各種の情報を出力する出力装置1010に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、USB(Universal Serial Bus)やDVI(Digital Visual Interface)、HDMI(登録商標)(High Definition Multimedia Interface)といった規格のコネクタにより実現される。また、入力IF1070は、マウス、キーボード、およびスキャナ等といった各種の入力装置1020から情報を受信するためのインタフェースであり、例えば、USB等により実現される。   The output IF 1060 is an interface for transmitting information to be output to an output device 1010 that outputs various types of information such as a monitor and a printer. For example, USB (Universal Serial Bus), DVI (Digital Visual Interface), This is realized by a standard connector such as HDMI (registered trademark) (High Definition Multimedia Interface). The input IF 1070 is an interface for receiving information from various input devices 1020 such as a mouse, a keyboard, and a scanner, and is realized by, for example, a USB.
なお、入力装置1020は、例えば、CD(Compact Disc)、DVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置1020は、USBメモリ等の外付け記憶媒体であってもよい。   The input device 1020 includes, for example, an optical recording medium such as a CD (Compact Disc), a DVD (Digital Versatile Disc), and a PD (Phase change rewritable disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), and a tape. It may be a device that reads information from a medium, a magnetic recording medium, a semiconductor memory, or the like. The input device 1020 may be an external storage medium such as a USB memory.
ネットワークIF1080は、ネットワークNを介して他の機器からデータを受信して演算装置1030へ送り、また、ネットワークNを介して演算装置1030が生成したデータを他の機器へ送信する。   The network IF 1080 receives data from other devices via the network N and sends the data to the arithmetic device 1030, and transmits data generated by the arithmetic device 1030 to other devices via the network N.
演算装置1030は、出力IF1060や入力IF1070を介して、出力装置1010や入力装置1020の制御を行う。例えば、演算装置1030は、入力装置1020や二次記憶装置1050からプログラムを一次記憶装置1040上にロードし、ロードしたプログラムを実行する。   The arithmetic device 1030 controls the output device 1010 and the input device 1020 via the output IF 1060 and the input IF 1070. For example, the arithmetic device 1030 loads a program from the input device 1020 or the secondary storage device 1050 onto the primary storage device 1040, and executes the loaded program.
例えば、コンピュータ1000が情報提供装置10として機能する場合、コンピュータ1000の演算装置1030は、一次記憶装置1040上にロードされたプログラムを実行することにより、制御部40の機能を実現する。また、例えば、コンピュータ1000が端末装置100として機能する場合、コンピュータ1000の演算装置1030は、一次記憶装置1040上にロードされたプログラムを実行することにより、制御部150の機能を実現する。   For example, when the computer 1000 functions as the information providing device 10, the arithmetic device 1030 of the computer 1000 implements the function of the control unit 40 by executing a program loaded on the primary storage device 1040. Further, for example, when the computer 1000 functions as the terminal device 100, the arithmetic device 1030 of the computer 1000 implements the function of the control unit 150 by executing a program loaded on the primary storage device 1040.
〔6.効果〕
上述したように、情報提供装置10や端末装置100を有する提供システム1は、所定の画像に含まれる複数の選択対象を識別する。また、提供システム1は、識別された複数の選択対象のうち、所定の条件を満たす選択対象を特定する。また、提供システム1は、特定選択対象を示す情報を利用者に提供する。このため、提供システム1は、利用者が所望する可能性が高い選択対象の特定を行い、特定した特定選択対象の情報を提供するので、画像を用いた選択対象の検索における操作性を向上させることができる。
[6. effect〕
As described above, the providing system 1 including the information providing device 10 and the terminal device 100 identifies a plurality of selection targets included in a predetermined image. In addition, the providing system 1 identifies a selection target that satisfies a predetermined condition among the plurality of identified selection targets. The providing system 1 provides information indicating the specific selection target to the user. For this reason, since the providing system 1 specifies a selection target that is highly likely to be desired by the user and provides information on the specified specific selection target, the operability in searching for the selection target using an image is improved. be able to.
また、提供システム1は、識別された選択対象に関する情報を取得し、取得した情報が所定の条件を満たす選択対象を特定する。例えば、提供システム1は、識別された選択対象の内容物に関する情報を取得し、取得した情報が所定の条件を満たす選択対象を特定する。このため、提供システム1は、例えば、パッケージ等といった選択対象の外観を撮影するだけで、内容物が所定の条件を満たす選択対象を特定できるので、利用者に応じて適切に特定された選択対象の情報を提供することができる。   Further, the providing system 1 acquires information regarding the identified selection target, and identifies the selection target for which the acquired information satisfies a predetermined condition. For example, the providing system 1 acquires information related to the identified contents of the selection target, and specifies the selection target that satisfies the predetermined condition for the acquired information. For this reason, the providing system 1 can specify a selection target whose contents satisfy a predetermined condition only by photographing the appearance of the selection target such as a package, for example, so that the selection target appropriately specified according to the user Information can be provided.
また、提供システム1は、利用者により設定された条件を満たす選択対象を特定する。例えば、提供システム1は、複数の選択対象のうち、利用者の属性に応じた条件を満たす選択対象を特定する。また、例えば、提供システム1は、複数の選択対象のうち、利用者と選択対象との関係性に応じた条件を満たす選択対象を特定する。また、例えば、提供システム1は、複数の選択対象のうち、利用者が身体的に利用可能な選択対象を特定する。また、例えば、提供システム1は、複数の選択対象のうち、その選択対象が属するカテゴリに応じた条件を満たす選択対象を特定する。また、例えば、提供システム1は、複数の選択対象のうち利用者の行動の履歴に応じた条件を満たす選択対象を特定する。   In addition, the providing system 1 identifies a selection target that satisfies a condition set by the user. For example, the providing system 1 identifies a selection target that satisfies a condition corresponding to the user's attribute among a plurality of selection targets. In addition, for example, the providing system 1 identifies a selection target that satisfies a condition corresponding to the relationship between the user and the selection target among the plurality of selection targets. In addition, for example, the providing system 1 identifies a selection target that can be physically used by the user among a plurality of selection targets. In addition, for example, the providing system 1 specifies a selection target that satisfies a condition corresponding to a category to which the selection target belongs from among a plurality of selection targets. In addition, for example, the providing system 1 identifies a selection target that satisfies a condition corresponding to a user's behavior history among a plurality of selection targets.
また、例えば、提供システム1は、利用者が選択した選択対象と共通する特徴を有する選択対象を特定する。また、例えば、提供システム1は、利用者が選択した選択対象が有する特徴を学習した学習モデルを用いて、複数の選択対象のうち、利用者が選択した選択対象と共通する特徴を有する選択対象を特定する。また、例えば、提供システム1は、利用者が所定の撮影装置を用いて撮像する動画像に含まれる複数の選択対象を識別し、動画像に含まれる複数の選択対象のうち、利用者が撮影装置の移動を所定の間だけ停止した際に撮影された選択対象を識別する。また、提供システム1は、複数の選択対象のうち、利用者が意図的に撮影した複数の選択対象が共通して有する特徴を有する選択対象を特定する。   In addition, for example, the providing system 1 identifies a selection target having characteristics common to the selection target selected by the user. In addition, for example, the providing system 1 uses a learning model in which a feature of a selection target selected by the user is learned, and a selection target having a feature common to the selection target selected by the user among a plurality of selection targets. Is identified. In addition, for example, the providing system 1 identifies a plurality of selection targets included in a moving image captured by a user using a predetermined imaging device, and the user captures images among the plurality of selection targets included in the moving image. A selection target photographed when the movement of the apparatus is stopped for a predetermined period is identified. In addition, the providing system 1 specifies a selection target having a characteristic that the plurality of selection targets intentionally photographed by the user have among the plurality of selection targets.
これらの処理の結果、提供システム1は、撮影された選択対象のうち、様々な観点から利用者にとってふさわしいと推定される選択対象を特定し、特定した選択対象の情報を提供するので、画像を用いた選択対象の検索における操作性を向上させることができる。   As a result of these processes, the providing system 1 identifies a selection target that is estimated to be suitable for the user from various viewpoints, and provides information on the identified selection target. It is possible to improve the operability in searching for the used selection target.
また、提供システム1は、選択対象を示す情報として、所定の画像のうちその選択対象が含まれる範囲を強調した画像を提供する。また、提供システム1は、選択対象を示す情報として、その選択対象に関する情報を所定の画像と共に提供する。また、提供システム1は、選択対象を示す情報として、その選択対象に関する情報であって、所定の条件と関連する情報を所定の画像と共に提供する。また、提供システム1は、特定選択対象の情報であって、電子商店街に登録されたその選択対象の情報を利用者に提供する。これらの処理の結果、提供システム1は、利用者にとって適切であると推定される選択対象が、撮影された選択対象のうちどの選択対象であるかを利用者に認識させることができる。   The providing system 1 provides an image in which a range including the selection target is emphasized among predetermined images as information indicating the selection target. The providing system 1 provides information about the selection target together with a predetermined image as information indicating the selection target. The providing system 1 provides information related to the selection target as information indicating the selection target, and provides information related to a predetermined condition together with a predetermined image. Further, the providing system 1 provides the user with information on a specific selection target, and information on the selection target registered in the online shopping mall. As a result of these processes, the providing system 1 can allow the user to recognize which selection target is the selection target that is estimated to be appropriate for the user among the selection targets that have been photographed.
また、端末装置100は、画像を撮影し、画像に含まれる複数の選択対象のうち、所定の条件を満たす選択対象を示す情報を利用者に提供する。このため、端末装置100は、画像を用いた選択対象の検索における操作性を向上させることができる。   In addition, the terminal device 100 captures an image and provides the user with information indicating a selection target that satisfies a predetermined condition among a plurality of selection targets included in the image. For this reason, the terminal device 100 can improve the operability in searching for a selection target using an image.
また、情報提供装置10は、端末装置100が撮影した画像を受付ける。また、情報提供装置10は、画像に含まれる複数の選択対象を識別し、識別された複数の選択対象のうち、所定の条件を満たす選択対象を特定する。そして、情報提供装置10は、特定された選択対象を示す情報を利用者に提供する。このため、情報提供装置10は、画像を用いた選択対象の検索における操作性を向上させることができる。   In addition, the information providing apparatus 10 receives an image captured by the terminal device 100. Further, the information providing apparatus 10 identifies a plurality of selection targets included in the image, and identifies a selection target that satisfies a predetermined condition among the plurality of identified selection targets. Then, the information providing apparatus 10 provides the user with information indicating the specified selection target. For this reason, the information provision apparatus 10 can improve the operativity in the search of the selection target using an image.
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。   As described above, some of the embodiments of the present application have been described in detail with reference to the drawings. However, these are merely examples, and various modifications, including the aspects described in the disclosure section of the invention, based on the knowledge of those skilled in the art, It is possible to implement the present invention in other forms with improvements.
また、上記してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、特定部は、特定手段や特定回路に読み替えることができる。   Moreover, the above-mentioned “section (module, unit)” can be read as “means”, “circuit”, and the like. For example, the specifying unit can be read as specifying means or a specific circuit.
1 提供システム
10 情報提供装置
20、110 通信部
30 記憶部
31 選択対象データベース
32 利用者データベース
40、150 制御部
41 受付部
42 識別部
43 特定部
44 提供部
100 端末装置
120 入力部
130 出力部
140 カメラ
151 要求部
152 操作制御部
153 表示制御部
154 撮影部
155 取得部
156 表示部
200 ECサーバ
DESCRIPTION OF SYMBOLS 1 Provision system 10 Information provision apparatus 20,110 Communication part 30 Storage part 31 Selection object database 32 User database 40,150 Control part 41 Reception part 42 Identification part 43 Identification part 44 Providing part 100 Terminal apparatus 120 Input part 130 Output part 140 Camera 151 Request unit 152 Operation control unit 153 Display control unit 154 Imaging unit 155 Acquisition unit 156 Display unit 200 EC server

Claims (19)

  1. 所定の画像に含まれる複数の選択対象を識別する識別手順と、
    利用者が予め選択した選択対象の内容物の特徴を学習した学習モデルを用いて、前記識別手順により識別された複数の選択対象のうち、内容物の特徴が前記利用者が予め選択した選択対象の内容物と類似する選択対象を特定する特定手順と、
    特定手順により特定された選択対象を示す情報を利用者に提供する提供手順と
    をコンピュータに実行させるための提供プログラム。
    An identification procedure for identifying a plurality of selection targets included in a predetermined image;
    Using a learning model in which the features of the content to be selected previously selected by the user are learned , among the plurality of selection targets identified by the identification procedure, the selection target in which the features of the content are pre-selected by the user A specific procedure to identify selections similar to the contents of ,
    A providing program for causing a computer to execute a providing procedure for providing information indicating a selection target specified by a specific procedure to a user.
  2. 前記特定手順は、前記識別手順により識別された選択対象の内容物に関する情報を取得し、取得した内容物に関する情報が前記利用者が予め選択した選択対象の内容物と類似する選択対象を特定する
    ことを特徴とする請求項1に記載の提供プログラム。
    The specific procedures, the identification procedure by to get information about the contents of the identified selection, information about the acquired content identifies the selected object similar to the user pre-selected contents of the selected object The providing program according to claim 1.
  3. 前記特定手順は、特定した選択対象の内容物に関する情報が前記所定の条件を満たす選択対象を特定する
    ことを特徴とする請求項1または2に記載の提供プログラム。
    The specific procedure is provided a program according to claim 1 or 2, characterized in that the information about the contents of the specified selection specifying said predetermined condition is satisfied selection.
  4. 前記特定手順は、特定した選択対象のうち前記利用者により設定された条件を満たす選択対象を特定する
    ことを特徴とする請求項1〜3のうちいずれか1つに記載の提供プログラム。
    The providing program according to any one of claims 1 to 3, wherein the specifying procedure specifies a selection target that satisfies a condition set by the user among the specified selection targets.
  5. 前記特定手順は、特定した選択対象のうち、前記利用者の属性に応じた条件を満たす選択対象を特定する
    ことを特徴とする請求項1〜4のうちいずれか1つに記載の提供プログラム。
    The providing program according to any one of claims 1 to 4, wherein the specifying step specifies a selection target that satisfies a condition corresponding to the attribute of the user among the specified selection targets.
  6. 前記特定手順は、特定した選択対象のうち、前記利用者と前記選択対象との関係性に応じた条件を満たす選択対象を特定する
    ことを特徴とする請求項1〜5のうちいずれか1つに記載の提供プログラム。
    The said specific procedure specifies the selection object which satisfy | fills the conditions according to the relationship between the said user and the said selection object among the specified selection objects. Any one of Claims 1-5 characterized by the above-mentioned. The provided program described in.
  7. 前記特定手順は、特定した選択対象のうち、前記利用者が身体的に利用可能な選択対象を特定する
    ことを特徴とする請求項1〜6のうちいずれか1つに記載の提供プログラム。
    The providing program according to claim 1, wherein the specifying procedure specifies a selection target physically usable by the user among the specified selection targets.
  8. 前記特定手順は、特定した選択対象のうち、当該選択対象が属するカテゴリに応じた条件を満たす選択対象を特定する
    ことを特徴とする請求項1〜7のうちいずれか1つに記載の提供プログラム。
    The providing program according to any one of claims 1 to 7, wherein the specifying procedure specifies a selection target that satisfies a condition corresponding to a category to which the selection target belongs, among the specified selection targets. .
  9. 前記特定手順は、特定した選択対象のうち前記利用者の行動の履歴に応じた条件を満たす選択対象を特定する
    ことを特徴とする請求項1〜8のうちいずれか1つに記載の提供プログラム。
    The providing program according to any one of claims 1 to 8, wherein the specifying procedure specifies a selection target that satisfies a condition corresponding to a history of the user's behavior among the specified selection targets. .
  10. 前記識別手順は、前記利用者が所定の撮影装置を用いて撮像する動画像に含まれる複数の選択対象を識別し、
    前記特定手順は、前記動画像に含まれる複数の選択対象のうち、前記利用者が前記撮影装置の移動を所定の間だけ停止した際に撮影された選択対象を識別する
    ことを特徴とする請求項1〜のうちいずれか1つに記載の提供プログラム。
    The identification procedure identifies a plurality of selection targets included in a moving image captured by the user using a predetermined imaging device,
    The identification procedure identifies a selection target imaged when the user stops the movement of the imaging apparatus for a predetermined period among a plurality of selection targets included in the moving image. The providing program according to any one of Items 1 to 9 .
  11. 前記提供手順は、前記選択対象を示す情報として、前記所定の画像のうち当該選択対象が含まれる範囲を強調した画像を提供する
    ことを特徴とする請求項1〜1のうちいずれか1つに記載の提供プログラム。
    The providing step, the information indicating the selection, any one of claims 1 to 1 0, characterized in that to provide an image that emphasizes a range including the said selection of said predetermined image The provided program described in.
  12. 前記提供手順は、前記選択対象を示す情報として、当該選択対象に関する情報を前記所定の画像と共に提供する
    ことを特徴とする請求項1〜1のうちいずれか1つに記載の提供プログラム。
    The providing step, the information indicating the selection, providing program according to the information about the selection to any one of claims 1 to 1 1, characterized by providing with the predetermined image.
  13. 前記提供手順は、前記選択対象を示す情報として、当該選択対象に関する情報であって、前記所定の条件と関連する情報を前記所定の画像と共に提供する
    ことを特徴とする請求項1〜1のうちいずれか1つに記載の提供プログラム。
    The providing step, the information indicating the selection, an information on the selected subject, according to claim 1 to 1 2 to the information associated with the predetermined condition and providing with the predetermined image The provided program according to any one of them.
  14. 前記提供手順は、前記特定手順により特定された選択対象の情報であって、電子商店街に登録された当該選択対象の情報を前記利用者に提供する
    ことを特徴とする請求項1〜1のうちいずれか1つに記載の提供プログラム。
    Said providing step, said a selection of the information specified by the specifying procedure, according to claim 1 to 1 3, characterized in that to provide the selection of the information registered in the online shopping mall to the user The providing program according to any one of the above.
  15. 前記特定手順は、さらに、前記複数の選択対象のうち、前記利用者が意図的に撮影した複数の選択対象が共通して有する特徴を有する選択対象を特定する
    ことを特徴とする請求項1〜1のうちいずれか1つに記載の提供プログラム。
    The said specifying procedure further specifies the selection object which has the characteristic which the some selection object image | photographed intentionally by the said user has in common among these selection objects. providing program according to any one of 1 4.
  16. 所定の画像に含まれる複数の選択対象を識別する識別部と、
    利用者が予め選択した選択対象の内容物の特徴を学習した学習モデルを用いて、前記識別部により識別された複数の選択対象のうち、内容物の特徴が前記利用者が予め選択した選択対象の内容物と類似する選択対象を特定する特定部と、
    特定部により特定された選択対象を示す情報を利用者に提供する提供部と
    を有することを特徴とする提供装置。
    An identification unit for identifying a plurality of selection targets included in a predetermined image;
    Using a learning model that the user has learned the characteristics of preselected contents of the selected object, among the plurality of selection target identified by the identification unit, selection of characteristics of the contents is the user selected pre A specific part for identifying a selection target similar to the contents of ,
    And a providing unit that provides the user with information indicating the selection target specified by the specifying unit.
  17. 提供装置が実行する提供方法であって、
    所定の画像に含まれる複数の選択対象を識別する識別工程と、
    利用者が予め選択した選択対象の内容物の特徴を学習した学習モデルを用いて、前記識別工程により識別された複数の選択対象のうち、内容物の特徴が前記利用者が予め選択した選択対象の内容物と類似する選択対象を特定する特定工程と、
    特定工程により特定された選択対象を示す情報を利用者に提供する提供工程と
    を含むことを特徴とする提供方法。
    A providing method executed by a providing device,
    An identification step for identifying a plurality of selection targets included in a predetermined image;
    Using a learning model that the user has learned the characteristics of preselected contents of the selection target, the identification of the plurality of selection target identified by step, selection of characteristics of the contents is the user selected pre A specific step of identifying a selection target similar to the contents of
    A providing step of providing information indicating the selection target specified by the specifying step to the user.
  18. 画像を撮影する撮影部と、
    前記画像に含まれる複数の選択対象のうち、利用者が予め選択した選択対象の内容物の特徴を学習した学習モデルを用いて、内容物の特徴が前記利用者が予め選択した選択対象の内容物と類似すると判定された選択対象を示す情報を利用者に提供する提供部と
    を有することを特徴とする端末装置。
    A shooting section for shooting images;
    Of the plurality of selection targets included in the image, the content of the selection target that the feature of the content is selected in advance by the user using a learning model in which the feature of the content of the selection target that is selected in advance by the user is learned. And a providing unit that provides a user with information indicating a selection target determined to be similar to an object.
  19. 端末装置が撮影した画像を受付ける受付部と、
    所定の画像に含まれる複数の選択対象を識別する識別部と、
    利用者が予め選択した選択対象の内容物の特徴を学習した学習モデルを用いて、前記識別部により識別された複数の選択対象のうち、内容物の特徴が前記利用者が予め選択した選択対象の内容物と類似する選択対象を特定する特定部と、
    特定部により特定された選択対象を示す情報を利用者に提供する提供部と
    を有することを特徴とする情報提供装置。
    A reception unit for receiving an image taken by the terminal device;
    An identification unit for identifying a plurality of selection targets included in a predetermined image;
    Using a learning model that the user has learned the characteristics of preselected contents of the selected object, among the plurality of selection target identified by the identification unit, selection of characteristics of the contents is the user selected pre A specific part for identifying a selection target similar to the contents of ,
    An information providing apparatus comprising: a providing unit that provides a user with information indicating a selection target specified by the specifying unit.
JP2017222585A 2017-09-19 2017-11-20 PROVIDING PROGRAM, PROVIDING DEVICE, PROVIDING METHOD, TERMINAL DEVICE, AND INFORMATION PROVIDING DEVICE Active JP6396568B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017179477 2017-09-19
JP2017179477 2017-09-19

Publications (2)

Publication Number Publication Date
JP6396568B1 true JP6396568B1 (en) 2018-09-26
JP2019057259A JP2019057259A (en) 2019-04-11

Family

ID=63668532

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017222585A Active JP6396568B1 (en) 2017-09-19 2017-11-20 PROVIDING PROGRAM, PROVIDING DEVICE, PROVIDING METHOD, TERMINAL DEVICE, AND INFORMATION PROVIDING DEVICE

Country Status (1)

Country Link
JP (1) JP6396568B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020090790A1 (en) * 2018-10-30 2020-05-07 株式会社Nttドコモ Information processing device

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005229235A (en) * 2004-02-12 2005-08-25 Casio Comput Co Ltd Camera system and program
JP2005236484A (en) * 2004-02-18 2005-09-02 Casio Comput Co Ltd Camera device and program
WO2008149537A1 (en) * 2007-05-31 2008-12-11 Panasonic Corporation Image capturing device, additional information providing server, and additional information filtering system
JP2011250206A (en) * 2010-05-27 2011-12-08 Kyocera Corp Portable electronic apparatus and image projection unit
US20120023046A1 (en) * 2010-07-26 2012-01-26 Amit Kumar Verma Deducing Shadow User Profiles For Ad Campaigns
JP2013235478A (en) * 2012-05-10 2013-11-21 Net Move Corp Computer program and portable information terminal
WO2014017392A1 (en) * 2012-07-24 2014-01-30 日本電気株式会社 Information processing device, data processing method thereof, and program
WO2014087725A1 (en) * 2012-12-04 2014-06-12 日本電気株式会社 Merchandise information processing device, data processing method therefor, and program
JP2015141521A (en) * 2014-01-28 2015-08-03 株式会社Nttドコモ Terminal device, method for displaying balance of electronic settlement service, and program
JP2015210651A (en) * 2014-04-25 2015-11-24 サントリーシステムテクノロジー株式会社 Merchandise identification system

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005229235A (en) * 2004-02-12 2005-08-25 Casio Comput Co Ltd Camera system and program
JP2005236484A (en) * 2004-02-18 2005-09-02 Casio Comput Co Ltd Camera device and program
WO2008149537A1 (en) * 2007-05-31 2008-12-11 Panasonic Corporation Image capturing device, additional information providing server, and additional information filtering system
JP2011250206A (en) * 2010-05-27 2011-12-08 Kyocera Corp Portable electronic apparatus and image projection unit
US20120023046A1 (en) * 2010-07-26 2012-01-26 Amit Kumar Verma Deducing Shadow User Profiles For Ad Campaigns
JP2013235478A (en) * 2012-05-10 2013-11-21 Net Move Corp Computer program and portable information terminal
WO2014017392A1 (en) * 2012-07-24 2014-01-30 日本電気株式会社 Information processing device, data processing method thereof, and program
WO2014087725A1 (en) * 2012-12-04 2014-06-12 日本電気株式会社 Merchandise information processing device, data processing method therefor, and program
JP2015141521A (en) * 2014-01-28 2015-08-03 株式会社Nttドコモ Terminal device, method for displaying balance of electronic settlement service, and program
JP2015210651A (en) * 2014-04-25 2015-11-24 サントリーシステムテクノロジー株式会社 Merchandise identification system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020090790A1 (en) * 2018-10-30 2020-05-07 株式会社Nttドコモ Information processing device

Also Published As

Publication number Publication date
JP2019057259A (en) 2019-04-11

Similar Documents

Publication Publication Date Title
US10467267B2 (en) Iterative image search algorithm informed by continuous human-machine input feedback
US8682929B2 (en) User access to item information
US9940661B2 (en) Method and apparatus for recommending a food item
KR20180005171A (en) Device and method for targeted display of information
JP5130317B2 (en) SNS product recommendation device, method and program
JP2014029643A (en) Information providing device, information providing method, information providing system and program
JP6482172B2 (en) RECOMMENDATION DEVICE, RECOMMENDATION METHOD, AND PROGRAM
JP6396568B1 (en) PROVIDING PROGRAM, PROVIDING DEVICE, PROVIDING METHOD, TERMINAL DEVICE, AND INFORMATION PROVIDING DEVICE
US20070143217A1 (en) Network access to item information
CN111989704A (en) Context awareness
JP6353118B1 (en) Display program, information providing apparatus, display apparatus, display method, information providing method, and information providing program
KR20140105059A (en) Method and system for managing intergrated wish-list
JP6567688B2 (en) Management device, management method, non-transitory recording medium, and program
KR101657589B1 (en) System for Providing Product Dealing Information based on Product Image using Mobile Application and Method therefor
JPWO2018066102A1 (en) Information providing system, information providing apparatus, information providing method, and program
TW201407515A (en) Method and system for processing shopping information over internet, and a readable storage medium
US10002370B2 (en) Systems and methods for creating a navigable path between pages of a network platform based on linking database entries of the network platform
JP6310599B1 (en) SEARCH DEVICE, SEARCH METHOD, AND SEARCH PROGRAM
JP2021114285A (en) Embedded mobile browser
JP2021086519A (en) Determination device, determination method, and determination program
US11170428B2 (en) Method for generating priority data for products
JPWO2020129527A1 (en) Receipt processing device, control method, and program
KR20210052237A (en) Product catalog automatic classification system based on artificial intelligence
TW202034220A (en) Customer recognition method and apparatus thereof capturing user feature information of the user image and searching user information corresponding to the user feature information in a database
WO2019192455A1 (en) Store system, article matching method and apparatus, and electronic device

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180731

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180829

R150 Certificate of patent or registration of utility model

Ref document number: 6396568

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250