JP6120467B1 - サーバ装置、端末装置、情報処理方法、およびプログラム - Google Patents

サーバ装置、端末装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP6120467B1
JP6120467B1 JP2016125099A JP2016125099A JP6120467B1 JP 6120467 B1 JP6120467 B1 JP 6120467B1 JP 2016125099 A JP2016125099 A JP 2016125099A JP 2016125099 A JP2016125099 A JP 2016125099A JP 6120467 B1 JP6120467 B1 JP 6120467B1
Authority
JP
Japan
Prior art keywords
information
terminal
unit
image
presentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016125099A
Other languages
English (en)
Other versions
JP2017228177A (ja
Inventor
伸一郎 吉井
伸一郎 吉井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Scigineer Inc
Original Assignee
Scigineer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Scigineer Inc filed Critical Scigineer Inc
Priority to JP2016125099A priority Critical patent/JP6120467B1/ja
Application granted granted Critical
Publication of JP6120467B1 publication Critical patent/JP6120467B1/ja
Priority to PCT/JP2017/022477 priority patent/WO2017221868A1/ja
Priority to CN201780037226.0A priority patent/CN109416693A/zh
Priority to US16/312,265 priority patent/US20190325497A1/en
Publication of JP2017228177A publication Critical patent/JP2017228177A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/12—Payment architectures specially adapted for electronic shopping systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G06Q30/0635—Processing of requisition or of purchase orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00209—Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera

Abstract

【課題】従来、撮影した写真を用いた情報のレコメンドができなかった。【解決手段】写真をサーバ装置に送信する端末送信部と、レコメンド情報を受信する端末受信部と、レコメンド情報を出力する端末出力部とを具備する端末装置と、写真を端末装置から受信する画像受信部と、写真に対する画像認識処理により、１以上の各オブジェクトを認識し、１以上の各オブジェクトを識別するオブジェクト識別子を取得し、各オブジェクト識別子を含む１以上のオブジェクト情報を取得するオブジェクト情報取得部と、取得した１以上のオブジェクト情報を用いて、ユーザに推薦するレコメンド情報を取得する提示情報取得部と、レコメンド情報を端末装置に送信する提示情報送信部とを具備するサーバ装置とにより、撮影した写真を用いた情報のレコメンドができる。【選択図】図２

Description

本発明は、画像の中のオブジェクトを認識し、当該認識結果を用いて情報を提示するサーバ装置等に関するものである。
従来、ユーザがほしい商品を検索する方法技術があった。また、従来、第１の商品に組み合わされる第２の商品の検索において、第１の商品の提供元の意向を反映させることが可能なコーディネート方法があった（例えば、特許文献１参照）。
さらに、従来、画像を入力し、当該画像に類似する画像を検索する技術があった（例えば、非特許文献１参照）。
特開２０１６−３３７０８号公報（第１頁、第１図等）
"Ｇｏｏｇｌｅ 画像検索"、［online］、［平成２８年６月６日検索］、インターネット［URL：https://www.google.co.jp/imghp］
しかしながら、従来技術を用いて、ユーザがほしい商品を検索するには、例えば、文字列や言葉などを使って表現したキーワードを検索エンジンに送信する、あるいは商品情報提供者側が設定した商品カテゴリ情報などをもとにカテゴリを絞り込んで、所望する商品を見つける必要があった。
また、従来技術の特許文献１においては、電子商取引により、商品の購入指示等の文字列の情報を受信し、当該文字列の情報を用いて、レコメンドする情報（コーディネートの処理の結果）を取得し、クライアント端末に送信していた。
また、従来技術の非特許文献１においては、入力された画像に類似する画像を検索するだけであった。つまり、従来技術においては、ユーザが名前のわからないものや言葉で表現できない商品等の情報は検索できなかった。また、従来技術においては、写真等の画像によって商品情報を特定したり、その商品に関するレコメンドしたりすることができなかった。
そこで、本発明は、受信された画像を画像認識し、その認識結果を用いて、情報を取得し、提示することを目的とする。本発明において、例えば、受信される画像には、ユーザが欲しい商品そのものが写っている、または関連する何か別の商品を探すための元となる商品が写っていること等を前提としている。そして、本発明に係る技術は、例えば、写真等の画像に写っているオブジェクトが何であるかを認識して、その実体となる商品情報を提示したり、購入したりできるようにする技術、または写真等の画像に写っているオブジェクトに基づく情報提示技術である、と言える。
本第一の発明の情報システムは、サーバ装置と端末装置とを具備する情報システムであって、端末装置は、１または２以上のオブジェクトが含まれる画像が格納される端末格納部と、画像をサーバ装置に送信する端末送信部と、ユーザに提示する情報であり、商品に関する情報である提示情報を受信する端末受信部と、提示情報を出力する端末出力部とを具備し、サーバ装置は、画像を端末装置から受信する画像受信部と、画像受信部が受信した画像に対する画像認識処理により、１以上の各オブジェクトを認識し、１以上の各オブジェクトを識別するオブジェクト識別子を取得し、各オブジェクト識別子を含む１以上のオブジェクト情報を取得するオブジェクト情報取得部と、オブジェクト情報取得部が取得した１以上のオブジェクト情報を用いて、当該１以上のオブジェクト情報のうちの一のオブジェクト情報に含まれる一のオブジェクト識別子で識別されるオブジェクトに関連があり、当該オブジェクトと異なる種類のオブジェクトのオブジェクト情報を、提示情報として取得する提示情報取得部と、提示情報を端末装置に送信する提示情報送信部とを具備する情報システムである。
かかる構成により、撮影した画像等を用いた情報の提示ができる。
また、本第二の発明の情報システムは、第一の発明に対して、提示情報取得部は、一のオブジェクト識別子で識別されるオブジェクトと同じオブジェクトのオブジェクト情報、または一のオブジェクト識別子で識別されるオブジェクトと同じ種類のオブジェクトのオブジェクト情報をも、提示情報として取得するサーバ装置を具備する情報システムである。
かかる構成により、撮影した画像等を用いた情報の提示ができる。
また、本第三の発明の情報システムは、第一または第二の発明に対して、サーバ装置は、オブジェクト情報取得部が取得した１以上のオブジェクト情報を送信するオブジェクト情報送信部をさらに具備し、端末装置は、１以上のオブジェクト情報をサーバ装置から受信する端末受信部と、画像と１以上のオブジェクト情報が有する１以上のオブジェクト識別子とを出力する端末出力部と、端末出力部が出力した１以上のオブジェクト識別子に対するユーザの操作を受け付ける端末受付部とをさらに具備し、端末送信部は、端末受付部が受け付けた操作に関する操作情報をサーバ装置に送信し、サーバ装置は、操作情報を端末装置から受信する操作情報受信部をさらに具備し、提示情報取得部は、操作情報受信部が受信した操作情報を用いて、ユーザに提示する提示情報を取得する、請求項１記載の情報システムである。
かかる構成により、ユーザと対話しながら、撮影した画像等を用いた情報の提示ができる。
また、本第四の発明の情報システムは、第一から第三いずれかの発明に対して、操作情報は、端末出力部が出力した１以上のオブジェクト識別子に対して、ユーザが選択した一のオブジェクト識別子を有し、提示情報取得部は、一のオブジェクト識別子で識別されるオブジェクトのオブジェクト情報を用いて提示情報を取得する情報システムである。
かかる構成により、ユーザと対話しながら、撮影した画像等を用いた適切な情報の提示ができる。
また、本第五の発明の情報システムは、第四の発明に対して、提示情報取得部は、一のオブジェクト識別子で識別されるオブジェクトに関連があり、当該オブジェクトと異なる種類のオブジェクトのオブジェクト情報を、提示情報として取得する、または一のオブジェクト識別子で識別されるオブジェクトと同じオブジェクトのオブジェクト情報、または前記一のオブジェクト識別子で識別されるオブジェクトと同じ種類のオブジェクトのオブジェクト情報を、提示情報として取得する情報システムである。
かかる構成により、ユーザと対話しながら、撮影した画像等を用いた適切な情報の提示ができる。
また、本第六の発明の情報システムは、第一から第五いずれか１つの発明に対して、画像受信部は、画像とともに、画像以外の情報である付加情報をも受信し、提示情報取得部は、付加情報に応じて、提示情報を取得するアルゴリズムが異なる情報システムである。
かかる構成により、ユーザと対話しながら、撮影した画像等を用いた極めて適切な情報の提示ができる。
また、本第七の発明の情報システムは、第六の発明に対して、付加情報は、画像が撮影されたカメラに関するカメラ情報を含む情報システムである。
かかる構成により、ユーザと対話しながら、撮影した画像等を用いた極めて適切な情報の提示ができる。
また、本第八の発明の情報システムは、第七の発明に対して、提示情報取得部は、カメラ情報が自撮りモードを示す情報である場合は、一のオブジェクト識別子で識別されるオブジェクトと異なる種類のオブジェクトのオブジェクト情報を、提示情報として取得し、カメラ情報が自撮りモードでないモードを示す情報である場合は、一のオブジェクト識別子で識別されるオブジェクトと同じまたは同じ種類のオブジェクトのオブジェクト情報を、提示情報として取得する情報システムである。
かかる構成により、ユーザと対話しながら、撮影した画像等を用いた極めて適切な情報の提示ができる。
また、本第九の発明の情報システムは、第一から第八いずれか１つの発明に対して、オブジェクト情報取得部は、受信部が受信した画像に対して、ディープラーニングと呼ばれる深層学習を用いた画像認識処理により、２以上の各オブジェクトを認識し、２以上の各オブジェクトを識別するオブジェクト識別子を取得し、各オブジェクト識別子を含む２以上のオブジェクト情報を取得する情報システムである。
また、本第十の発明の情報システムは、第一から第九いずれか１つの発明に対して、端末受付部は、端末出力部が出力した提示情報に対するユーザの選択を受け付け、端末送信部は、端末受付部が受け付けたユーザの選択に関する購入情報をサーバ装置に送信し、サーバ装置は、購入情報を端末装置から受信する購入情報受信部と、購入情報を用いた決済処理を行う決済処理部とをさらに具備する、情報システムである。
かかる構成により、撮影した画像等を用いた情報の提示ができ、ユーザの商品等の購入を支援できる。
本発明による情報システムによれば、画像等を用いた情報の適切な提示ができる。
実施の形態１における情報システムＡの概念図 同情報システムＡのブロック図 同端末装置１の動作について説明するフローチャート 同サーバ装置２の動作について説明するフローチャート 同撮影した写真の例を示す図 同出力例を示す図 同出力例を示す図 同出力例を示す図 同撮影した写真の例を示す図 同出力例を示す図 同出力例を示す図 同コンピュータシステムの概観図 同コンピュータシステムのブロック図
以下、情報システム等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
（実施の形態１）
本実施の形態において、受信された画像（通常、写真）の中の１以上のオブジェクトを認識し、当該１以上のオブジェクトの識別子を取得し、当該１以上のオブジェクト識別子を用いて取得した提示情報を端末装置に送信するサーバ装置を具備する情報システムについて説明する。ここで、提示情報は、例えば、受信された画像内のオブジェクト（例えば、ジャケット）とは異なる種類のオブジェクトである。また、提示情報は、例えば、受信された画像内のオブジェクト（例えば、ジャケット）とは異なる種類のオブジェクトであり、画像内のオブジェクトに合うオブジェクト（例えば、パンツ）の商品情報等である。また、提示情報は、例えば、受信された画像内のオブジェクト（例えば、ジャケット）と同じまたは同種のオブジェクトの商品情報等である。
また、本実施の形態において、オブジェクトの認識結果を端末装置に送信し、端末装置においてユーザのオブジェクト選択を受け付け、当該選択されたオブジェクトに応じた提示情報を端末装置に送信するサーバ装置を具備する情報システムについて説明する。
また、本実施の形態において、カメラモードなどの付加情報に応じて、提示情報を取得するアルゴリズムが異なる情報システムについて説明する。つまり、例えば、アルゴリズムとして、付加情報に応じて、画像内のオブジェクトと同一のオブジェクトを提示情報として取得する「コレがほしい！」アルゴリズムや、画像内のオブジェクトと異種のオブジェクトを提示情報として取得する「コーディネートする」アルゴリズムがある。なお、「コレがほしい！」アルゴリズムとは、例えば、画像内のユーザが選択したオブジェクトと同一のオブジェクトを提示するアルゴリズムであるが、画像内のオブジェクトと同一の種類のオブジェクトを提示情報として取得するアルゴリズムでも良い。また、「コーディネートする」アルゴリズムとは、例えば、画像内のユーザが選択したオブジェクトに合う（コーディネートされた）異種のオブジェクトを提示するアルゴリズムである。
また、本実施の形態において、オブジェクト認識のために、例えば、ディープラーニングと呼ばれる深層学習やその他の画像解析技術を用いる情報システムについて説明する。
図１は、本実施の形態における情報システムＡの概念図である。情報システムＡは、１または２以上の端末装置１、およびサーバ装置２を備える。端末装置１は、例えば、スマートフォン、タブレット端末、いわゆるパーソナルコンピュータ、携帯電話等である。端末装置１は、撮影機能を有することは好適である。ただし、端末装置１の種類は問わない。また、サーバ装置２は、いわゆるクラウドサーバ等であり、その種類は問わない。
図２は、本実施の形態における情報システムＡのブロック図である。
情報システムＡを構成する端末装置１は、端末格納部１１、端末受付部１２、端末送信部１３、端末受信部１４、端末出力部１５、および撮影部１６を備える。
サーバ装置２は、格納部２０、受信部２１、処理部２２、および送信部２３を備える。受信部２１は、画像受信部２１１、操作情報受信部２１２、および購入情報受信部２１３を備える。処理部２２は、オブジェクト情報取得部２２１、提示情報取得部２２２、および決済処理部２２３を備える。送信部２３は、オブジェクト情報送信部２３１、および提示情報送信部２３２を備える。
端末装置１を構成する端末格納部１１は、各種の情報が格納される。各種の情報とは、例えば、１または２以上のオブジェクトが含まれる画像である。オブジェクトが含まれる画像とは、オブジェクトが表出している画像である。オブジェクトが含まれる画像とは、例えば、オブジェクトが写っている写真等である。画像は、通常、撮影された写真である。画像は、サーバ装置２に送信される画像である。また、オブジェクトは何でも良い。オブジェクトは、例えば、ジャケット、Ｔシャツ、パンツ、靴などの物品である。また、画像は、例えば、室内風景、近隣の住環境など不動産に関する写真である。かかる場合、オブジェクトは、例えば、室内の物（家具、電気製品など）、写真に写る家、自然物（例えば、山、森など）等である。また、画像は、例えば、食品、盛り付け、調理法、室内風景など食事やレストランに関する写真である。かかる場合、オブジェクトは、例えば、食品、料理、皿、レストランの席、椅子等である。また、画像は、例えば、景色やアトラクションなど宿泊地や旅行、レジャーに関する写真である。かかる場合、オブジェクトは、例えば、遊園地の乗物、写真に写る自然物等である。その他、画像は、例えば、クルマや人物の画像等、何でもよい。また、各種の情報とは、例えば、後述する付加情報、ユーザを識別するユーザ識別子等である。ユーザ識別子は、端末装置１を識別する情報でも良い。ユーザ識別子は、例えば、ＩＤ、電話番号、メールアドレス、ＩＰアドレス、ＭＡＣアドレス、ブラウザのクッキー情報等である。
端末受付部１２は、各種の情報や指示を受け付ける。端末受付部１２は、例えば、端末出力部１５が出力した１以上のオブジェクト識別子に対するユーザの操作を受け付ける。１以上のオブジェクト識別子に対するユーザの操作とは、通常、オブジェクトの選択指示である。また、端末受付部１２は、端末出力部１５が出力した提示情報に対するユーザの選択を受け付ける。各種の情報や指示は、上記以外に、例えば、撮影することの指示である撮影指示、画像を送信する指示である送信指示等である。端末受付部１２は、例えば、提示情報の一種であるＵＲＬに対する指示を受け付けても良い。かかる場合、当該ＵＲＬで特定されるウェブページが端末装置１にダウンロードされる。
ここで、受け付けとは、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。
各種の情報や指示の入力手段は、タッチパネルやキーボードやマウスやメニュー画面によるもの等、何でも良い。端末受付部１２は、タッチパネルやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
端末送信部１３は、画像をサーバ装置２に送信する。画像は、撮影部１６により撮影され、端末格納部１１に一時格納されている写真でも良いし、予め端末格納部１１に格納されている画像等でも良い。画像は、通常、静止画であるが動画でも良い。また、端末送信部１３は、撮影部１６が撮影を行い、画像を取得した場合に、当該画像をサーバ装置２に直ちに（ユーザの指示なしに）送信することは好適である。ただし、端末送信部１３は、撮影部１６が撮影を行い、画像を取得した後に、ユーザの指示に基づいて、当該画像をサーバ装置２に送信しても良い。
端末送信部１３は、付加情報もサーバ装置２に送信しても良い。付加情報とは、画像以外の情報である。付加情報とは、例えば、カメラのモード等のカメラ情報、どのアルゴリズムを用いるかを示すフラグ、どのアルゴリズムを用いるかを示すユーザ指示の情報等である。なお、付加情報は画像と一緒に送信されることが好適であるが、一緒でなくても良い。つまり、付加情報の送信タイミングは問わない。なお、端末送信部１３が付加情報も送信する場合、端末送信部１３は、端末格納部１１の付加情報を取得する。また、付加情報は、例えば、ＧＰＳによる位置情報、撮影時刻、フェイスブック（登録商標）やインスタグラム（登録商標）など写真掲載元の情報やその写真を共有しているユーザＩＤ、「いいね！」の数等である。また、カメラ情報は、カメラのモード以外、例えば、ズームの倍率、露光、シャッタースピード等でも良い。なお、端末装置１は、通常、付加情報を取得するための付加情報取得手段（図示しない）を有する。付加情報取得手段は、例えば、ＧＰＳ受信機、時計、写真掲載元の情報等を取得するためのＭＰＵおよびソフトウェア等である。
端末送信部１３は、操作情報をサーバ装置２に送信する。操作情報とは、端末受付部１２が受け付けた操作に関する情報である。操作情報は、例えば、端末出力部１５が出力した１以上のオブジェクト識別子に対して、ユーザが選択した一のオブジェクト識別子を有する。操作情報は、ユーザが選択した一のオブジェクトのオブジェクト識別子だけでも良い。操作情報は、ユーザ識別子を有することは好適である。操作情報は、ユーザが選択した２以上のオブジェクトのオブジェクト識別子を含んでいても良い。
端末送信部１３は、購入情報をサーバ装置２に送信する。購入情報とは、ユーザが購入する商品に関する情報である。購入情報は、端末受付部１２が受け付けたユーザの選択に関する情報である。購入情報は、購入の決済のために必要な情報である。購入情報は、例えば、ユーザが購入を指示した商品の商品識別子と数量とを有する。購入情報は、通常、ユーザ識別子を有する。なお、ここで、商品とは、いわゆるサービスも含む、と考えても良い。商品とは、通常、販売対象である。ただし、商品は、販売対象では無い、無料の閲覧対象等でも良い。
端末受信部１４は、１以上のオブジェクト情報をサーバ装置２から受信する。オブジェクト情報は、オブジェクトに関する情報であり、オブジェクト識別子を含む。オブジェクト識別子は、通常、オブジェクトの種類を示す情報（例えば、ジャケット、パンツ等）である。つまり、オブジェクト識別子は、オブジェクトを一意に識別する情報でなくても良い。また、オブジェクト識別子は、オブジェクトを一意に識別する情報でも良い。また、オブジェクト情報は、オブジェクト識別子のみでも良い。また、オブジェクト情報は、例えば、画像内のオブジェクトの位置に関する位置情報を含んでも良い。位置情報は、画像内のオブジェクトの領域を示す情報でも良い。位置情報は、例えば、画像内のオブジェクトの位置を示す１つまたは２つの相対的な座標値である。
また、端末受信部１４は、提示情報をサーバ装置２から受信する。なお、提示情報は、ユーザに提示する情報であり、商品に関する情報である。また、提示情報は、ユーザにレコメンドするレコメンド情報でも良い。また、提示情報は、検索結果の情報でも良い。また、商品に関する情報とは、例えば、商品を購入するための画面、商品を購入できるウェブページ、商品を購入できるウェブページのＵＲＬ、商品を閲覧できるウェブページ、商品を閲覧できるウェブページのＵＲＬ、商品の仕様の情報等である。
端末出力部１５は、画像と１以上のオブジェクト識別子とを出力する。画像と１以上のオブジェクト識別子との出力態様は問わない。端末出力部１５は、画像内に１以上のオブジェクト識別子を出力することは好適である。端末出力部１５は、例えば、１以上のオブジェクト情報が有する、各オブジェクト識別子の位置情報が示す位置に１以上のオブジェクト識別子を画像上に出力する。
また、端末出力部１５は、端末受信部１４が受信した提示情報を出力する。提示情報の出力態様も問わない。
ここで、出力とは、通常、ディスプレイへの表示であるが、プロジェクターを用いた投影、プリンタでの印字、外部の装置への送信、記録媒体への蓄積、音声による読み上げ、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
サーバ装置２を構成する格納部２０は、各種の情報を格納し得る。各種の情報とは、例えば、１以上の商品情報、１以上のユーザ情報等である。商品情報は、商品またはサービス（以下、商品等という）に関する情報である。商品情報は、例えば、商品等を識別する商品識別子、商品等の画像、価格、特徴、属性値（例えば、色、サイズ、形状等）等を有する。また、商品情報は、例えば、商品を紹介したり、商品を購入したりするウェブページである。ただし、商品情報の構造は問わない。なお、商品情報は、外部のサーバ装置に存在しても良い。格納部２０は、外部のサーバ装置にアクセスするための情報（例えば、ＵＲＬ、ＩＰアドレス、ＡＰＩ等）を格納していても良い。そして、かかる場合、外部のサーバ装置にアクセスするための情報を用いて、外部のサーバ装置にアクセスされ、商品情報等が、サーバ装置２により取得される。なお、外部のサーバ装置にアクセスするための情報は、商品情報と捉えても良い。かかる場合、商品情報は、例えば、商品を紹介したり、商品を購入したりするウェブページのＵＲＬである。
ユーザ情報は、ユーザに関する情報である。ユーザ情報は、例えば、ユーザ識別子、氏名、年齢、性別、住所、電話番号、メールアドレス、ＳＮＳのＩＤ等を有する。
受信部２１は、各種の情報や指示を端末装置１から受信する。各種の情報や指示とは、例えば、画像、付加情報、購入情報等である。
画像受信部２１１は、１または２以上のオブジェクトが含まれる画像（例えば、写真）を端末装置１から受信する。また、画像受信部２１１は、画像とともに、画像以外の情報である付加情報をも受信することは好適である。画像受信部２１１が付加情報を受信するタイミングは問わない。画像受信部２１１は、画像と共に付加情報を受信しても良いし、画像を受信した後に、例えば、選択されたオブジェクトと共に付加情報を受信する等しても良い。
操作情報受信部２１２は、ユーザが行った操作に関する操作情報を端末装置１から受信する。操作情報は、例えば、オブジェクト識別子を有する。
購入情報受信部２１３は、購入情報を端末装置１から受信する。購入情報は、例えば、商品識別子、数量、ユーザ識別子等を有する。
処理部２２は、各種の処理を行う。各種の処理とは、例えば、オブジェクト情報取得部２２１、提示情報取得部２２２、決済処理部２２３等が行う処理である。
オブジェクト情報取得部２２１は、画像受信部２１１が受信した画像に対する画像認識処理により、１または２以上の各オブジェクトを認識し、１または２以上の各オブジェクトを識別するオブジェクト識別子を取得し、各オブジェクト識別子を含む１または２以上のオブジェクト情報を取得する。
オブジェクト情報取得部２２１は、受信部２１が受信した画像に対して、ディープラーニングと呼ばれる深層学習やエッジ検出、その他の画像認識技術や人工知能技術を用いた画像認識処理により、１または２以上の各オブジェクトを認識し、１または２以上の各オブジェクトを識別するオブジェクト識別子を取得し、各オブジェクト識別子を含む１または２以上のオブジェクト情報を取得しても良い。深層学習（ディープラーニング）を用いた画像認識処理は、公知技術であるので、詳細な説明を省略する。また、オブジェクト情報取得部２２１は、画像受信部２１１が受信した画像に付加された情報も用いてオブジェクトを認識してもよい。なお、ここで、付加された情報とは、上述した付加情報であり、例えば、位置を示す位置情報、時刻を示す時刻情報等である。また、付加された情報を用いたオブジェクト認識も、例えば、深層学習等の人工知能技術を用いるのは好適である。
例えば、画像が写真であり、写真が撮影された位置を示す位置情報が付加情報である場合、オブジェクト情報取得部２２１は、認識したオブジェクトに対応する位置情報が、付加情報である位置情報に近い順にソートしてオブジェクト情報を取得する。なお、かかる場合、オブジェクト情報に対応付けて、オブジェクトに対応する位置情報が管理されている、とする。
また、取得するオブジェクトがＳＮＳサーバ（例えば、インスタグラム（登録商標）やフェイスブック（登録商標））にアップされている写真であり、写真または写真が含まれる投稿情報（記事と言っても良い）に対する反応を示す情報（例えば、「いいね」を示す情報）が付加情報である場合、オブジェクト情報取得部２２１は、「いいね」の数が多い順にオブジェクト情報を取得することは好適である。かかる場合、オブジェクト情報取得部２２１は、写真または写真が含まれる投稿情報に対する反応を示す情報を、ＳＮＳサーバから取得する、とする。かかる反応を示す情報を取得する処理は公知技術であるので、詳細な説明を省略する。
なお、オブジェクト情報取得部２２１が１以上のオブジェクト識別子を取得するアルゴリズムは問わない。例えば、格納部２０にオブジェクトの画像とオブジェクト識別子との組が１組以上格納されており、オブジェクト情報取得部２２１は、画像内の輪郭を抽出し、当該輪郭から１以上のオブジェクトの各領域を切り出し、切り出した領域の１以上の各画像（部分画像）と格納部２０の画像との類似度を算出し、類似度が最も大きい格納部２０の画像と対になるオブジェクト識別子を、切り出した領域の１以上の部分画像ごとに取得しても良い。また、オブジェクト情報取得部２２１は、切り出した領域の位置を特定する位置情報も取得することは好適である。
提示情報取得部２２２は、オブジェクト情報取得部２２１が取得した１以上のオブジェクト情報を用いて、当該１以上のオブジェクト情報のうちの一のオブジェクト情報に含まれる一のオブジェクト識別子で識別されるオブジェクトに関連があり、当該オブジェクトと異なる種類のオブジェクトのオブジェクト情報を、提示情報として取得する。提示情報取得部２２２は、オブジェクト情報取得部２２１が取得した１以上のオブジェクト情報を用いて、ユーザに提示する提示情報を取得しても良い。提示情報取得部２２２は、オブジェクト情報取得部２２１が取得した１以上のオブジェクト情報を用いて、当該１以上のオブジェクト情報のうちの一のオブジェクト情報が有するオブジェクト識別子で識別されるオブジェクトと同じオブジェクトのオブジェクト情報、または一のオブジェクト識別子で識別されるオブジェクトと同じ種類のオブジェクトのオブジェクト情報をも、提示情報として取得しても良い。提示情報取得部２２２が提示情報を取得するアルゴリズムは問わない。提示情報取得部２２２は、例えば、オブジェクト情報取得部２２１が取得したオブジェクト情報に含まれるオブジェクト識別子をキーとして、格納部２０の商品情報を検索し、１以上の商品情報を取得し、かかる１以上の商品情報の全部または一部を有する提示情報を取得する。また、提示情報取得部２２２は、例えば、オブジェクト情報取得部２２１が取得したオブジェクト情報に含まれるオブジェクト識別子に対応する部分画像の１以上の特徴量（例えば、色など）を取得し、かかる１以上の特徴量を用いて、格納部２０から１以上の商品情報を取得し、かかる１以上の商品情報の全部または一部を有する提示情報を取得する。また、提示情報取得部２２２は、例えば、オブジェクト情報取得部２２１が取得したオブジェクト情報に含まれるオブジェクト識別子に対応する部分画像と最も類似する画像に対応する商品情報（格納部２０に格納されている）を取得し、当該商品情報が示す商品を購入した人が良く買っている１以上の商品の商品情報を用いて提示情報を取得する。つまり、提示情報取得部２２２は、協調フィルタリング等の公知のアルゴリズムを用いて、提示情報を取得しても良い。また、提示情報取得部２２２は、例えば、特許第５０６４０６３号、特許第５１４０２８９号等に記載のレコメンド技術を用いて、提示情報を取得しても良い。 また、提示情報取得部２２２は、「コーディネートする」アルゴリズムと「コレが欲しい！」アルゴリズムの両方を同時に実行し、２以上の提示情報を取得しても良い。
また、提示情報取得部２２２は、「コーディネートする」アルゴリズムと「コレが欲しい！」アルゴリズムのどちらか一方を使い分けて、提示情報を取得しても良い。「コーディネートする」アルゴリズムと「コレが欲しい！」アルゴリズムとの使い分けのための条件は問わない。かかる条件は、例えば、端末装置１から受信したユーザの指示である。かかる条件は、例えば、付加情報である。
また、提示情報取得部２２２は、画像受信部２１１が受信した画像に付加された付加情報を用いて、オブジェクトに対する提示情報を取得してもよい。
提示情報取得部２２２は、操作情報受信部２１２が受信した操作情報を用いて、ユーザに提示する提示情報を取得する。提示情報取得部２２２は、操作情報受信部２１２が受信した操作情報が有するオブジェクト識別子を用いて、提示情報を取得することは好適である。提示情報取得部２２２は、例えば、操作情報受信部２１２が受信した操作情報が有するオブジェクト識別子を用いて、上述したアルゴリズム等を用いて、提示情報を取得しても良い。
操作情報が２以上のオブジェクト識別子を含む場合、提示情報取得部２２２は、当該２以上のオブジェクト識別子を用いて、提示情報を取得することは好適である。
提示情報取得部２２２は、例えば、操作情報受信部２１２が受信した操作情報が有する一のオブジェクト識別子で識別されるオブジェクトと異なる種類のオブジェクトのオブジェクト情報を、提示情報として取得する。ここで、一のオブジェクト識別子は、通常、操作情報が有するオブジェクト識別子（ユーザが選択したオブジェクトの識別子）である。かかる処理のアルゴリズムは、「コーディネートする」アルゴリズムである。さらに詳細には、提示情報取得部２２２は、例えば、操作情報受信部２１２が受信した操作情報が有するオブジェクト識別子と異なる種類のオブジェクトを、「コーディネートする」アルゴリズムを用いて、当該オブジェクト識別子で識別されるオブジェクトの画像の１以上の特徴量を取得し、当該１以上の特徴量を用いて、当該オブジェクト（例えば、ジャケット）に合う（デザイン的にマッチする）異なる種類のオブジェクト（例えば、パンツ）の提示情報を取得する。
提示情報取得部２２２は、上記の「コーディネートする」アルゴリズムを、例えば、以下のように実現する。つまり、提示情報取得部２２２は、例えば、公知のレコメンド技術を用いて、端末装置１のユーザに対して、操作情報が有するオブジェクト識別子で識別されるオブジェクトに対するおすすめのオブジェクト集合を取得し、その集合の中から操作情報が有するオブジェクト識別子と異なる種類のオブジェクト識別子で識別されるオブジェクト情報を取得する。なお、公知のレコメンド技術とは、例えば、協調フィルタリング、特許第５０６４０６３号、特許第５１４０２８９号等に記載のレコメンド技術、「情報推薦システム入門 −理論と実践−（共立出版）」等の書籍に記載された技術である。提示情報取得部２２２は、端末装置１のユーザのユーザ行動履歴（ユーザの商品の購買履歴など）を用いて、操作情報が有するオブジェクト識別子で識別されるオブジェクトと異なる種類のオブジェクトのオブジェクト情報を取得することは好適である。ただし、提示情報取得部２２２がオブジェクト情報を取得するアルゴリズムは問わないことは言うまでもない。なお、「コーディネートする」アルゴリズムにおいて、提示情報取得部２２２は、操作情報が有するオブジェクト識別子で識別されるオブジェクトと異なる種類のオブジェクトのオブジェクト情報を取得すれば良い。つまり、提示情報取得部２２２は、操作情報が有するオブジェクト識別子で識別されるオブジェクトにデザイン的に合う異種のオブジェクトのオブジェクト情報を取得する必要まではない。提示情報は、商品情報を含んでも良いし、外部の装置にアクセスするためのＵＲＬ等でも良い。
提示情報取得部２２２は、例えば、一のオブジェクト識別子で識別されるオブジェクトと同じオブジェクトのオブジェクト情報を、提示情報として取得する。ここで、一のオブジェクト識別子は、通常、操作情報が有するオブジェクト識別子である。かかる処理のアルゴリズムは、「コレがほしい！」アルゴリズムである。さらに具体的には、提示情報取得部２２２は、例えば、操作情報受信部２１２が受信した操作情報が有するオブジェクト識別子で識別されるオブジェクトの画像を用いて、画像検索し、「コレが欲しい！」アルゴリズムを適用して、当該オブジェクトと同一のオブジェクトの提示情報を取得する。ここでの提示情報も、商品情報を含んでも良いし、外部の装置にアクセスするためのＵＲＬ等でも良い。
また、提示情報取得部２２２は、例えば、一のオブジェクト識別子で識別されるオブジェクトと同じ種類のオブジェクトのオブジェクト情報を、提示情報として取得する。ここで、一のオブジェクト識別子は、通常、操作情報が有するオブジェクト識別子である。かかる処理のアルゴリズムは、「コレが欲しい！」アルゴリズムを拡張したアルゴリズムである。
提示情報取得部２２２は、付加情報に応じて、提示情報を取得するアルゴリズムが異なることは好適である。
ここで、異なるアルゴリズムとは、例えば、「コレが欲しい！」アルゴリズムと「コーディネートする」アルゴリズムである。「コレが欲しい！」アルゴリズムとは、例えば、ユーザが選択した一のオブジェクト識別子で識別されるオブジェクトと同じオブジェクトのオブジェクト情報を、提示情報として取得するアルゴリズムである。「コレが欲しい！」アルゴリズムとは、例えば、オブジェクト情報取得部２２１が取得したオブジェクト情報を取得したり、ユーザが選択した一のオブジェクト識別子で識別されるオブジェクトと同じ種類のオブジェクト情報を取得したりするアルゴリズムである。「コーディネートする」アルゴリズムとは、ユーザが選択した一のオブジェクト識別子で識別されるオブジェクトに合う異種のオブジェクトのオブジェクト情報を、提示情報として取得することである。
提示情報取得部２２２は、例えば、カメラ情報が自撮りモードを示す情報である場合は、「コーディネートする」アルゴリズムを採用する。また、提示情報取得部２２２は、例えば、カメラ情報が自撮りではないモード（ノーマルモード）を示す情報である場合は、「コレが欲しい！」アルゴリズムを採用する。また、自撮りモードとは、端末装置１のディスプレイに端末装置１のユーザが写るモードであり、カメラの撮影方向がディスプレイ側であるモードである。ノーマルモードとは、自撮りモードとは逆がカメラの撮影方向となるモードで、端末装置１の背面側が撮影方向となるモードである。
決済処理部２２３は、受信された購入情報を用いた決済処理を行う。決済処理は、決済のための処理であれば何でも良い。決済処理部２２３は、例えば、クレジットカード会社の決済サーバに、購入情報を送信する処理でも良い。決済処理部２３３は、アフィリエイトの情報を処理しても良い。アフィリエイト情報の処理とは、例えば、端末装置１に出力されたアフィリエイトリンクがユーザにより指示（通常、クリック）された場合に、アフィリエイトを管理するサーバ装置等にアフィリエイトＩＤなどを送信することである。アフィリエイトＩＤとは、アフィリエイトを管理する会社から発行されるＩＤであり、アフィリエイトリンクとは、通常、提示情報とアフィリエイトＩＤが組み合わされたＵＲＬである。また、決済処理部２２３は、例えば、当該ユーザの情報に対応付けて、購入情報を蓄積する処理でも良い。決済処理は、公知技術であるので、詳細な説明を省略する。
送信部２３は、各種の情報を端末装置に送信する。各種の情報とは、例えば、オブジェクト情報、提示情報である。
オブジェクト情報送信部２３１は、オブジェクト情報取得部２２１が取得した１以上のオブジェクト情報を端末装置１に送信する。
提示情報送信部２３２は、提示情報取得部２２２が取得した提示情報を端末装置１に送信する。提示情報は、通常、１または２以上の商品情報を含む。なお、
端末格納部１１、および格納部２０は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。端末格納部１１等に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が端末格納部１１等で記憶されるようになってもよく、通信回線等を介して送信された情報が端末格納部１１等で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が端末格納部１１等で記憶されるようになってもよい。
端末送信部１３、送信部２３、オブジェクト情報送信部２３１、および提示情報送信部２３２は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。
端末受信部１４、受信部２１、画像受信部２１１、操作情報受信部２１２、および購入情報受信部２１３は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。
端末出力部１５は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。端末出力部１５は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
処理部２２、オブジェクト情報取得部２２１、提示情報取得部２２２、および決済処理部２２３は、通常、ＭＰＵやメモリ等から実現され得る。処理部２２等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
次に、情報システムＡの動作について説明する。まず、端末装置１の動作について、図３のフローチャートを用いて説明する。
（ステップＳ３０１）端末受付部１２は、撮影指示を受け付けたか否かを判断する。撮影指示を受け付けた場合はステップＳ３０２に行き、撮影指示を受け付けない場合はステップＳ３２０に行く。
（ステップＳ３０２）撮影部１６は、撮影し、画像を取得する。そして、撮影部１６は、撮影した画像を端末格納部１１に少なくとも一時蓄積する。
（ステップＳ３０３）端末出力部１５は、ステップＳ３０２で取得された画像（ここでは、写真）を出力する。
（ステップＳ３０４）端末装置１の図示しない端末処理部は、画像を送信するか否かを判断する。画像を送信する場合はステップＳ３０５に行き、画像を送信しない場合はステップＳ３０１に戻る。なお、端末処理部は、端末格納部１１に格納されているフラグをチェックし、当該フラグが画像を送信することを示す情報である場合は画像を送信し、当該フラグが画像を送信しないことを示す情報である場合は画像を送信しない。なお、端末装置１の端末送信部１３は、ステップＳ３０２で画像が取得された場合、自動的に画像をサーバ装置２に送信しても良い。また、端末受付部１２が、ユーザからの送信の指示を受け付けた場合に、画像を送信しても良い。
（ステップＳ３０５）端末送信部１３は、端末格納部１１に格納されている付加情報を取得する。なお、付加情報は、例えば、カメラモードである。
（ステップＳ３０６）端末送信部１３は、ステップＳ３０２で取得された画像とステップＳ３０５で取得された付加情報とを用いて、送信する情報を構成する。なお、端末送信部１３は、付加情報を用いずに、ステップＳ３０２で取得された画像を用いて送信する情報を構成しても良い。
（ステップＳ３０７）端末送信部１３は、ステップＳ３０６で構成した情報をサーバ装置２に送信する。なお、端末格納部１１には、通常、サーバ装置２と通信するための情報（例えば、サーバ装置２のＩＰアドレスやＵＲＬ等）が格納されている。
（ステップＳ３０８）端末受信部１４は、１以上のオブジェクト情報をサーバ装置２から受信したか否かを判断する。１以上のオブジェクト情報を受信した場合はステップＳ３０９に行き、受信しない場合はステップＳ３０８に戻る。なお、ステップＳ３０７における情報の送信後、所定時間以上経過した場合に、タイムアウトにより、ステップＳ３０１に戻ることは好適である。
（ステップＳ３０９）端末出力部１５は、ステップＳ３０８で取得した１以上のオブジェクト情報から、１以上のオブジェクト識別子を取得する。
（ステップＳ３１０）端末出力部１５は、ステップＳ３０９で取得した１以上のオブジェクト識別子を用いて、出力する情報を構成する。なお、端末出力部１５は、１以上の各オブジェクト情報が有する画像の位置情報を用いて、１以上のオブジェクト識別子を画像の中の適切な位置に出力するように、出力する情報を構成することは好適である。
（ステップＳ３１１）端末出力部１５は、ステップＳ３１０で構成した情報を出力する。なお、ここで、端末出力部１５は、ステップＳ３０３で出力した画像の上に、１以上のオブジェクト識別子を含むステップＳ３１０で構成した情報を出力することは好適である。
（ステップＳ３１２）端末受付部１２は、ステップＳ３１１で出力された１以上のオブジェクト識別子に対する操作を受け付けたか否かを判断する。操作を受け付けた場合はステップＳ３１３に行き、操作を受け付けない場合はステップＳ３１２に戻る。なお、ステップＳ３１１における情報の出力後、所定時間以上経過した場合に、タイムアウトにより、ステップＳ３０１に戻ることは好適である。また、ここでの操作は、通常、出力されている１以上のオブジェクト識別子から一のオブジェクト識別子を選択する操作である。
（ステップＳ３１３）端末送信部１３は、ステップＳ３１２において受け付けた操作に基づいて、操作情報を構成する。なお、操作情報は、通常、ステップＳ３１２において選択された一のオブジェクト識別子を有する。
（ステップＳ３１４）端末送信部１３は、ステップＳ３１３で構成した操作情報をサーバ装置２に送信する。
（ステップＳ３１５）端末受信部１４は、サーバ装置２から提示情報を受信したか否かを判断する。提示情報を受信した場合はステップＳ３１６に行き、提示情報を受信しない場合はステップＳ３１５に戻る。なお、ステップＳ３１４における操作情報の送信後、所定時間以上経過した場合に、タイムアウトにより、ステップＳ３０１に戻ることは好適である。
（ステップＳ３１６）端末出力部１５は、ステップＳ３１５で受信された提示情報を出力する。
（ステップＳ３１７）端末受付部１２は、ステップＳ３１６で出力された提示情報に対するユーザの選択を受け付けたか否かを判断する。ユーザの選択を受け付けた場合はステップＳ３１８に行き、ユーザの選択を受け付けない場合はステップＳ３０１に戻る。
（ステップＳ３１８）端末送信部１３は、ステップＳ３１７で受け付けられたユーザの選択に基づいて、購入情報を構成する。
（ステップＳ３１９）端末送信部１３は、購入情報をサーバ装置２に送信する。ステップＳ３０１に戻る。
（ステップＳ３２０）端末受付部１２は、その他の情報や指示を受け付けたか否かを判断する。その他の情報や指示を受け付けた場合はステップＳ３２１に行き、その他の情報や指示を受け付けない場合はステップＳ３０１に戻る。
（ステップＳ３２１）図示しない端末処理部は、その他の情報や指示に応じた処理を行う。
なお、図３のフローチャートにおいて、ユーザのオブジェクト識別子の選択がなくても、提示情報が受信されても良い。ユーザのオブジェクト識別子の選択がないことは、操作情報がサーバ装置２に送信されないことである。
また、図３のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
また、図３のフローチャートのステップＳ３０７において、撮影した画像をサーバ装置２に送信した。しかし、ステップＳ３０７において、端末格納部１１に格納されている画像をサーバ装置２に送信しても良い。端末格納部１１に格納されている画像は、例えば、端末装置１に予め格納されていた写真、ウェブページから取得された写真、ＳＮＳ等からダウンロードした写真等である。
さらに、
さらに、図３のフローチャートにおいて、１以上のオブジェクト情報をサーバ装置２から受信（Ｓ３０８）した後、オブジェクトの種類を示すオブジェクト識別子を表示せず、１以上のオブジェクト情報である提示情報を出力（Ｓ３１６）しても良い。特に、「コレが欲しい！」アルゴリズムを採用する場合、端末装置１は、かかる動作を行うことは好適である。
次に、サーバ装置２の動作について、図４のフローチャートを用いて説明する。
（ステップＳ４０１）画像受信部２１１は、画像等を端末装置１から受信したか否かを判断する。画像等を受信した場合はステップＳ４０２に行き、画像等を受信しない場合はステップＳ４０１に戻る。なお、画像等とは、例えば、画像と付加情報である。画像等とは、例えば、ユーザ識別子を含む。
（ステップＳ４０２）オブジェクト情報取得部２２１は、ステップＳ４０１で受信された画像に対する画像認識処理を行い、１以上の各オブジェクトを認識し、１以上の各オブジェクトを識別するオブジェクト識別子を取得する。
（ステップＳ４０３）オブジェクト情報取得部２２１は、ステップＳ４０２で取得した１以上のオブジェクト識別子を用いて、１以上のオブジェクト情報を構成する。
（ステップＳ４０４）オブジェクト情報送信部２３１は、ステップＳ４０３で構成した１以上のオブジェクト情報を、画像等を送信してきた端末装置１に送信する。
（ステップＳ４０５）操作情報受信部２１２は、端末装置１から操作情報を受信したか否かを判断する。操作情報を受信した場合はステップＳ４０６、操作情報を受信しなかった場合はステップＳ４０５に戻る。
（ステップＳ４０６）提示情報取得部２２２は、ステップＳ４０５で受信された操作情報を用いて、１以上のオブジェクト識別子を取得する。ここで、操作情報は２以上のオブジェクト識別子を含んでいても良い。
（ステップＳ４０７）提示情報取得部２２２は、ステップＳ４０１で受信された画像等の中に、付加情報が存在するか否かを判断する。付加情報が存在すればステップＳ４０８に行き、付加情報が存在しなければステップＳ４１０に行く。
（ステップＳ４０８）提示情報取得部２２２は、ステップＳ４０１で受信された画像等の中から付加情報を取得する。
（ステップＳ４０９）提示情報取得部２２２は、ステップＳ４０６で取得した１以上のオブジェクト識別子とステップＳ４０８で取得した付加情報等を用いて、提示情報を取得する。ステップＳ４１１に行く。なお、例えば、付加情報であるカメラ情報が自撮りモードを示す情報である場合は、提示情報取得部２２２は、「コーディネートする」アルゴリズムを採用し、付加情報であるカメラ情報が自撮りではないモードを示す情報である場合は、「コレが欲しい！」アルゴリズムを採用し、提示情報を取得する。
（ステップＳ４１０）提示情報取得部２２２は、ステップＳ４０６で取得した１以上のオブジェクト識別子等を用いて、提示情報を取得する。提示情報取得部２２２は、例えば、「コーディネートする」アルゴリズム、または「コレが欲しい！」アルゴリズムを採用し、提示情報を取得する。
（ステップＳ４１１）提示情報送信部２３２は、取得された提示情報を端末装置１に送信する。
（ステップＳ４１２）購入情報受信部２１３は、端末装置１から購入情報を受信したか否かを判断する。購入情報を受信した場合はステップＳ４１３に行き、購入情報を受信しなかった場合はステップＳ４０１に戻る。
（ステップＳ４１３）決済処理部２２３は、ステップＳ４１２で受信された購入情報を用いて、決済処理を行う。ステップＳ４０１に戻る。
なお、図４のフローチャートにおいて、ステップＳ４０２で、１以上のオブジェクト識別子を取得された後、提示情報取得部２２２は、当該１以上のオブジェクト識別子を用いて、提示情報を取得しても良い。かかる場合、ステップＳ４０３からステップＳ４０６の処理が省略され得る。また、図４のフローチャートにおいて、画像受信部２１１が画像を端末装置１から受信した場合、オブジェクト情報取得部２２１は当該画像の中のオブジェクト認識を行い、提示情報取得部２２２は当該オブジェクトと同一のオブジェクトのオブジェクト情報を検索し、オブジェクト情報を有する提示情報を構成しても良い。そして、提示情報送信部２３２は、取得された提示情報を端末装置１に送信しても良い。
また、図４のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
以下、本実施の形態における情報システムＡの具体的な動作について説明する。情報システムＡの概念図は図１である。
また、以下、４つの具体例について述べる。具体例１は、サーバ装置２が付加情報を用いずに提示情報を取得して、端末装置１に送信する場合である。具体例２は、サーバ装置２が、カメラが自撮りモードである旨を示す付加情報を用いて提示情報を取得して、端末装置１に送信する場合である。具体例２は、「コーディネートする」アルゴリズムを採用する場合である。具体例３は、サーバ装置２が、カメラがノーマルモードである旨を示す付加情報を用いて提示情報を取得して、端末装置１に送信する場合である。具体例３は、「コレが欲しい！」アルゴリズムを採用する場合である。具体例４は、端末装置１から画像が送信された後、サーバ装置２は画像からオブジェクト識別子を取得し、当該オブジェクト識別子を用いて、提示情報を取得し、端末装置１に送信する場合である。つまり、具体例４は、端末装置１から画像を送信するだけで、ユーザとのインタラクションなしに、サーバ装置２から端末装置１に提示情報が送信される場合である。
（具体例１）
まず、端末装置１のユーザは、端末装置１のカメラを用いて、洋服を着ているマネキンを撮影した、とする。つまり、端末装置１の端末受付部１２は、撮影指示を受け付ける。そして、撮影部１６は、撮影し、写真（画像）を取得し、当該写真を端末格納部１１に一時蓄積する。また、端末出力部１５は、取得された写真をディスプレイに表示する。かかる写真は、図５である、とする。
次に、ユーザは、ディスプレイに表示された写真を送信する写真送信指示を端末装置１に入力した（送信ボタン５０１を押下した）、とする。次に、端末受付部１２は、写真送信指示を受け付ける。そして、端末送信部１３は、写真送信指示に対応する写真を用いて、送信する情報を構成し、当該情報を送信する。
次に、サーバ装置２の画像受信部２１１は、写真を有する情報を端末装置１から受信する。
そして、オブジェクト情報取得部２２１は、受信された写真に対して、深層学習等のアルゴリズムを用いて画像認識処理を行い、写真の中の４つのオブジェクトを認識し、４つの各オブジェクトのオブジェクト識別子（ネクタイ、ジャケット、パンツ、靴）を取得した、とする。なお、ここでのオブジェクト識別子は、物（例えば、商品）の名前である。物の名前は、物の種類の名前と考えても良い。ただし、物の名前は、固有名称でも良い。
また、オブジェクト情報取得部２２１は、写真の中の各オブジェクトの相対的位置を示す位置情報を取得する。位置情報は、例えば、オブジェクトが存在する領域を特定する情報でも良いし、オブジェクトが存在する領域の特徴点（例えば、領域の左上の点、または中心点など）の座標情報等でも良い。ここで、オブジェクト情報取得部２２１は、オブジェクト識別子「ネクタイ」に対する位置情報（（ｘ１１，ｙ１１）（ｘ１２，ｙ１２））、オブジェクト識別子「ジャケット」に対する位置情報（（ｘ２１，ｙ２１）（ｘ２２，ｙ２２））、オブジェクト識別子「パンツ」に対する位置情報（（ｘ３１，ｙ３１）（ｘ３２，ｙ３２））、オブジェクト識別子「靴」に対する位置情報（（ｘ４１，ｙ４１）（ｘ４２，ｙ４２））を取得した、とする。
次に、オブジェクト情報取得部２２１は、取得した４つのオブジェクト識別子（ネクタイ、ジャケット、パンツ、靴）を用いて、４つのオブジェクト情報を構成する。なお、オブジェクト情報は、オブジェクト識別子と位置情報とを有する。
次に、オブジェクト情報送信部２３１は、構成した４つのオブジェクト情報を、写真等を送信してきた端末装置１に送信する。
次に、端末装置１の端末受信部１４は、４つのオブジェクト情報をサーバ装置２から受信する。
次に、端末出力部１５は、４つの各オブジェクト情報から、４つのオブジェクト識別子（ネクタイ、ジャケット、パンツ、靴）を取得する。
次に、端末出力部１５は、４つの各オブジェクト識別子に対応する位置情報を用いて、オブジェクト識別子を出力する位置（写真内の位置）を決定する。なお、かかる位置の決定方法は問わない。
次に、端末出力部１５は、写真内の決定した位置に、４つのオブジェクト識別子を出力する。かかる出力例は、図６である。
次に、ユーザは、写真内のパンツと同一または類似するパンツを購入したい、と思っている、とする。そして、ユーザは、表示されている４つのオブジェクト識別子の中から、「パンツ」を選択する指示を入力した、とする。すると、端末装置１の端末受付部１２は、出力された４つのオブジェクト識別子のうちの「パンツ」に対する選択操作を受け付ける。そして、端末出力部１５は、オブジェクト識別子「パンツ」の表示を、他のオブジェクト識別子と視覚的に区別可能なように表示態様を変更する。ここでは、端末出力部１５は、オブジェクト識別子「パンツ」の表示を反転表示とする（６０１参照）。
次に、ユーザは、図６の送信ボタン（６０２）を押下した、とする。すると、端末受付部１２は、操作情報の送信指示を受け付ける。そして、端末送信部１３は、選択されているオブジェクト識別子「パンツ」を有する操作情報を構成する。次に、端末送信部１３は、当該操作情報をサーバ装置２に送信する。
次に、サーバ装置２の操作情報受信部２１２は、端末装置１から操作情報を受信する。
次に、提示情報取得部２２２は、受信された操作情報が有するオブジェクト識別子「パンツ」を取得する。そして、提示情報取得部２２２は、オブジェクト識別子「パンツ」を用いて、提示情報を取得する。ここでは、提示情報取得部２２２は、オブジェクト識別子「パンツ」と対になる３つのパンツの商品情報（図示しない）を格納部２０から取得する。なお、商品情報は、ここでは、商品の画像、商品名、価格、商品の特徴等の情報を有する、とする。そして、提示情報取得部２２２は、３つのパンツの商品情報を有する提示情報を構成する。なお、提示情報は、商品情報に加えて、購入することを選択するためのチェックボックス、サイズを入力するためのフィールド等を有する、とする。かかるチェックボックス、フィールド等のユーザインターフェースを構成する情報等は、予め格納部２０に格納されている、とする。
次に、提示情報送信部２３２は、構成された提示情報を端末装置１に送信する。
次に、端末装置１の端末受信部１４は、サーバ装置２から提示情報を受信する。そして、端末出力部１５は、受信された提示情報を出力する。かかる出力例は、図７である。
次に、ユーザは、図７の画面に対して、購入したい商品を選択し（７０１）、サイズ「Ｍ」を入力し（７０２）、購入ボタン７０３を押下した、とする。すると、端末受付部１２は、出力された提示情報に対するユーザの選択を受け付ける。そして、端末送信部１３は、受け付けられたユーザの選択に基づいて、購入情報を構成する。ここで、購入情報は、商品を識別する識別子「パンツＡＢＣ」、サイズ「Ｍ」、ユーザを識別するユーザ識別子等を有する。なお、ユーザ識別子は、例えば、端末格納部１１に格納されている、とする。次に、端末送信部１３は、購入情報をサーバ装置２に送信する。
次に、サーバ装置２の購入情報受信部２１３は、端末装置１から購入情報を受信する。そして、決済処理部２２３は、受信された購入情報を用いて、決済処理を行う。
以上の処理により、写真を用いた商品情報の提示、および商品の購入が可能となる。なお、具体例１において、提示情報取得部２２２は、オブジェクト識別子「パンツ」と対になる商品情報であり、図６の画像内のパンツと同一であると判断されるパンツの画像を有する商品情報（図示しない）を格納部２０から取得しても良い。かかる場合、端末装置１には、一つの商品情報を有する提示情報が出力される。
（具体例２）
まず、端末装置１のユーザは、端末装置１のカメラのモードを「自撮り」モードに設定した、とする。すると、端末受付部１２は、カメラのモードを「自撮り」モードに設定する指示を受け付ける。そして、図示しない端末処理部は、カメラのモードを「自撮り」モードに設定する。
次に、端末装置１のユーザは、端末装置１のカメラを用いて、自分を撮影した、とする。つまり、端末装置１の端末受付部１２は、撮影指示を受け付ける。そして、撮影部１６は、撮影し、自分の写真を取得し、当該写真を端末格納部１１に一時蓄積する。また、端末出力部１５は、取得された写真をディスプレイに表示する。かかる写真は、図５である、とする。
次に、ユーザは、ディスプレイに表示された写真を送信する写真送信指示を端末装置１に入力した、とする。次に、端末受付部１２は、写真送信指示を受け付ける。そして、端末送信部１３は、写真送信指示に対応する写真を用いて、送信する情報を構成し、当該情報を送信する。なお、端末送信部１３は、端末格納部１１の付加情報を取得し、写真と付加情報を有する情報を送信しても良い。
次に、サーバ装置２の画像受信部２１１は、写真を有する情報を端末装置１から受信する。そして、サーバ装置２は、具体例１で説明した処理と同様の処理を行い、４つのオブジェクト情報を、写真等を送信してきた端末装置１に送信する。なお、４つのオブジェクト情報は、４つのオブジェクト識別子（ネクタイ、ジャケット、パンツ、靴）、およびオブジェクト識別子「ネクタイ」に対する位置情報（（ｘ１１，ｙ１１）（ｘ１２，ｙ１２））、オブジェクト識別子「ジャケット」に対する位置情報（（ｘ２１，ｙ２１）（ｘ２２，ｙ２２））、オブジェクト識別子「パンツ」に対する位置情報（（ｘ３１，ｙ３１）（ｘ３２，ｙ３２））、オブジェクト識別子「靴」に対する位置情報（（ｘ４１，ｙ４１）（ｘ４２，ｙ４２））を有する、とする。
次に、端末装置１の端末受信部１４は、４つのオブジェクト情報をサーバ装置２から受信する。そして、端末装置１は、具体例１で説明した処理と同様の処理を行い、図６に示すような画面を出力する。
次に、ユーザは、写真内のパンツに合うジャケット等を購入したいと思い、ユーザは、表示されている４つのオブジェクト識別子の中から、「パンツ」を選択する指示を入力した、とする。すると、端末装置１の端末受付部１２は、出力された４つのオブジェクト識別子のうちの「パンツ」に対する選択操作を受け付ける。そして、端末出力部１５は、オブジェクト識別子「パンツ」の表示を、他のオブジェクト識別子と視覚的に区別可能なように表示態様を変更する。ここでは、端末出力部１５は、オブジェクト識別子「パンツ」の表示を反転表示とする（６０１参照）。
次に、ユーザは、図６の送信ボタン（６０２）を押下した、とする。すると、端末受付部１２は、操作情報の送信指示を受け付ける。そして、端末送信部１３は、選択されているオブジェクト識別子「パンツ」と、付加情報とを有する操作情報を構成する。ここで、付加情報は、カメラ情報の中のカメラのモード「自撮り」である。そして、次に、端末送信部１３は、当該操作情報をサーバ装置２に送信する。なお、付加情報が写真とともに送信されている場合、操作情報は付加情報を有さないことは好適である。
次に、サーバ装置２の操作情報受信部２１２は、端末装置１から操作情報を受信する。
次に、提示情報取得部２２２は、受信された操作情報が有するオブジェクト識別子「パンツ」を取得する。次に、提示情報取得部２２２は、先に受信されていた画像等の中から付加情報「自撮り」を取得する。
次に、提示情報取得部２２２は、取得したオブジェクト識別子「パンツ」と付加情報「自撮り」とを用いて、提示情報を取得する。つまり、提示情報取得部２２２は、付加情報「自撮り」から、オブジェクト識別子「パンツ」とは異なる商品の商品情報を取得する処理を行う。さらに具体的には、ここでは、オブジェクト識別子「パンツ」を除くオブジェクト識別子であり、既に受信しているオブジェクト識別子である「ネクタイ」「ジャケット」「靴」に対応する商品情報を取得する処理を行う。また、提示情報取得部２２２は、例えば、写真内の「パンツ」の色や形状等の属性値を取得し、当該属性値を用いて、写真内の「パンツ」に合う「ネクタイ」、「ジャケット」、「靴」のうちの１種類以上の商品情報を取得することは好適である。なお、ここでは、提示情報取得部２２２は、オブジェクト識別子「ネクタイ」と対になる４つの商品情報、「ジャケット」と対になる２つの商品情報、および「靴」と対になる３つの商品情報を格納部２０から取得する、とする。そして、提示情報取得部２２２は、取得した商品情報を用いて、提示情報を構成する。
次に、提示情報送信部２３２は、構成された提示情報を端末装置１に送信する。
次に、端末装置１の端末受信部１４は、サーバ装置２から提示情報を受信する。そして、端末出力部１５は、受信された提示情報を出力する。かかる出力例は、図８である。図８において、ユーザが選択した「パンツ」に合うジャケット、ネクタイ、靴の商品情報が出力されている。
次に、ユーザは、図８の画面に対して、購入したい商品を選択し（８０１、８０２）、購入ボタン８０３を押下した、とする。すると、端末受付部１２は、出力された提示情報に対するユーザの選択を受け付ける。そして、端末送信部１３は、受け付けられたユーザの選択に基づいて、購入情報を構成する。ここで、購入情報は、選択されたネクタイを識別する識別子、選択された靴を識別する識別子、ユーザを識別するユーザ識別子等を有する。なお、ユーザ識別子は、例えば、端末格納部１１に格納されている、とする。次に、端末送信部１３は、購入情報をサーバ装置２に送信する。
次に、サーバ装置２の購入情報受信部２１３は、端末装置１から購入情報を受信する。そして、決済処理部２２３は、受信された購入情報を用いて、決済処理を行う。
以上の処理により、写真を用いた商品情報の提示等、および商品の購入が可能となる。かつ、付加情報「自撮りモード」に対応する提示情報がユーザに提供される。
なお、具体例２において、ユーザが図６において、２以上のオブジェクト識別子を選択した場合、端末装置１からサーバ装置２に、２以上のオブジェクト識別子を有する選択情報が送信される。そして、サーバ装置２の提示情報取得部２２２は、選択情報が有する２以上のオブジェクト識別子を用いて、提示情報を取得する。そして、提示情報送信部２３２は、かかる提示情報を送信する。なお、ユーザが図６において、パンツとネクタイを選択した場合、提示情報取得部２２２は、例えば、写真内のネクタイとパンツとは異なる種類の商品である１以上のジャケットの商品情報を取得し、提示情報を構成する。なお、１以上のジャケットの商品情報を取得するレコメンドのアルゴリズムは、上述した公知のアルゴリズムでも良い。また、選択情報が有する２以上のオブジェクト識別子を用いて、提示情報を取得することは、選択情報が有する２以上のオブジェクト識別子に対応する２以上のオブジェクトに合うオブジェクト（２以上のオブジェクトとは異種のオブジェクト）の情報である提示情報を取得することである。
（具体例３）
まず、端末装置１のユーザは、端末装置１のカメラのモードを自撮りではないモードである「ノーマル」モードに設定した、とする。「ノーマル」とは、通常、端末装置のディスプレイと反対側に設置されているカメラのことである。すると、端末受付部１２は、カメラのモードを「ノーマル」モードに設定する指示を受け付ける。そして、図示しない端末処理部は、カメラのモードを「ノーマル」モードに設定する。
次に、端末装置１のユーザは、端末装置１のカメラを用いて、店舗の洋服を着たマネキンを撮影した、とする。つまり、端末装置１の端末受付部１２は、撮影指示を受け付ける。そして、撮影部１６は、撮影し、マネキンの写真を取得し、当該写真を端末格納部１１に一時蓄積する。また、端末出力部１５は、取得された写真をディスプレイに表示する。かかる写真は、図９である、とする。
次に、ユーザは、ディスプレイに表示された写真を送信する写真送信指示を端末装置１に入力した、とする。次に、端末受付部１２は、写真送信指示を受け付ける。そして、端末送信部１３は、写真送信指示に対応する写真と、端末格納部１１の付加情報「ノーマル」とを用いて、送信する情報を構成し、当該情報を送信する。
次に、サーバ装置２の画像受信部２１１は、写真と付加情報とを有する情報を端末装置１から受信する。そして、サーバ装置２は、具体例１で説明した処理と同様の処理を行い、写真を用いて、２つのオブジェクト情報（ネクタイのオブジェクト情報とジャケットのオブジェクト情報）を取得し、写真等を送信してきた端末装置１に送信する。なお、２つのオブジェクト情報は、２つのオブジェクト識別子（ネクタイ、ジャケット）、およびオブジェクト識別子「ネクタイ」に対する位置情報（（ｘ１１，ｙ１１）（ｘ１２，ｙ１２））、オブジェクト識別子「ジャケット」に対する位置情報（（ｘ２１，ｙ２１）（ｘ２２，ｙ２２））を有する、とする。なお、画像受信部２１１は、受信した付加情報を端末格納部１１に一時蓄積する。
次に、端末装置１の端末受信部１４は、２つのオブジェクト情報をサーバ装置２から受信する。そして、端末装置１は、具体例１で説明した処理と同様の処理を行い、図１０に示すような画面を出力する。
次に、ユーザは、写真内のジャケットと同一または同種のジャケットを購入したいと思い、ユーザは、表示されている２つのオブジェクト識別子の中から、「ジャケット」を選択する指示を入力した、とする。すると、端末装置１の端末受付部１２は、出力された２つのオブジェクト識別子のうちの「ジャケット」に対する選択操作を受け付ける。そして、端末出力部１５は、オブジェクト識別子「ジャケット」の表示を、他のオブジェクト識別子と視覚的に区別可能なように表示態様を変更する。ここでは、端末出力部１５は、オブジェクト識別子「ジャケット」の表示を反転表示とする（１００１参照）。
次に、ユーザは、図１０の送信ボタン（１００２）を押下した、とする。すると、端末受付部１２は、操作情報の送信指示を受け付ける。そして、端末送信部１３は、選択されているオブジェクト識別子「ジャケット」を有する操作情報を構成する。そして、次に、端末送信部１３は、当該操作情報をサーバ装置２に送信する。
次に、サーバ装置２の操作情報受信部２１２は、端末装置１から操作情報を受信する。
次に、提示情報取得部２２２は、受信された操作情報が有するオブジェクト識別子「ジャケット」を取得する。次に、提示情報取得部２２２は、先に受信され、端末格納部１１に格納されている付加情報「ノーマル」を取得する。
次に、提示情報取得部２２２は、取得したオブジェクト識別子「ジャケット」と付加情報「ノーマル」とを用いて、提示情報を取得する。つまり、提示情報取得部２２２は、付加情報「ノーマル」から、オブジェクト識別子「ジャケット」と同一または同種の商品の商品情報を取得する処理を行う。なお、ここでは、提示情報取得部２２２は、付加情報「ノーマル」から、オブジェクト識別子「ジャケット」と同一の商品の商品情報を取得する処理を行う、とする。また、提示情報取得部２２２は、写真内の「ジャケット」の色や形状等の属性値を取得し、当該属性値を用いて、写真内の「ジャケット」と類似度が閾値（例えば、９０［完全一致で１００とする場合］）以上の商品情報を同一の商品の商品情報として、格納部２０から取得することは好適である。そして、提示情報取得部２２２は、取得した商品情報を用いて、提示情報を構成する。
次に、提示情報送信部２３２は、構成された提示情報を端末装置１に送信する。
次に、端末装置１の端末受信部１４は、サーバ装置２から提示情報を受信する。そして、端末出力部１５は、受信された提示情報を出力する。かかる出力例は、図１１である。
次に、ユーザは、図１１の画面に対して、ユーザは購入すると判断し、商品を選択し（１１０１）、サイズ「Ｓ」を入力し、購入ボタン１１０３を押下した、とする。すると、端末受付部１２は、出力された提示情報に対するユーザの選択を受け付ける。そして、端末送信部１３は、受け付けられたユーザの選択に基づいて、購入情報を構成する。ここで、購入情報は、選択されたジャケットを識別する識別子、ユーザを識別するユーザ識別子等を有する。なお、ユーザ識別子は、例えば、端末格納部１１に格納されている、とする。次に、端末送信部１３は、購入情報をサーバ装置２に送信する。
次に、サーバ装置２の購入情報受信部２１３は、端末装置１から購入情報を受信する。そして、決済処理部２２３は、受信された購入情報を用いて、決済処理を行う。
以上の処理により、写真等の画像を用いた商品情報の検索、提示、および商品の購入が可能となる。かつ、以上の処理により、付加情報「ノーマルモード」に対応する提示情報がユーザに提供される。
（具体例４）
まず、端末装置１のユーザは、端末装置１のカメラを用いて、洋服を着ているマネキンを撮影した、とする。つまり、端末装置１の端末受付部１２は、撮影指示を受け付ける。そして、撮影部１６は、撮影し、写真（画像）を取得し、当該写真を端末格納部１１に一時蓄積する。また、端末出力部１５は、取得された写真をディスプレイに表示する。かかる写真は、図９である、とする。
次に、ユーザは、ディスプレイに表示された写真を送信する写真送信指示を端末装置１に入力した（送信ボタン９０１を押下した）、とする。次に、端末受付部１２は、写真送信指示を受け付ける。そして、端末送信部１３は、写真送信指示に対応する写真を用いて、送信する情報を構成し、当該情報を送信する。
次に、サーバ装置２の画像受信部２１１は、写真を有する情報を端末装置１から受信する。
そして、オブジェクト情報取得部２２１は、受信された写真に対して、深層学習等のアルゴリズムを用いて画像認識処理を行い、写真の中の２つのオブジェクトを認識し、２つの各オブジェクトのオブジェクト識別子（ネクタイ、ジャケット）を取得した、とする。
次に、提示情報取得部２２２は、取得された２つのオブジェクト識別子（ネクタイ、ジャケット）を用いて、提示情報を取得する。ここでは、提示情報取得部２２２は、オブジェクト識別子「ネクタイ」または「ジャケット」に対応するネクタイおよびジャケットに合う商品情報（例えば、パンツの商品情報）を格納部２０から取得する。なお、ネクタイおよびジャケットに対しては、パンツの商品情報を取得すること等の商品の組み合わせ情報（２以上の商品識別子を有する）は、格納部２０に格納されている、とする。なお、ネクタイおよびジャケットに合うパンツの商品情報は、上述したレコメンドアルゴリズムにより取得されても良い。
そして、提示情報取得部２２２は、取得した商品情報を有する提示情報を構成する。なお、提示情報は、商品情報に加えて、購入することを選択するためのチェックボックス、サイズを入力するためのフィールド等を有する、とする。かかるチェックボックス、フィールド等のユーザインターフェースを構成する情報等は、予め格納部２０に格納されている、とする。
次に、提示情報送信部２３２は、構成された提示情報を端末装置１に送信する。
次に、端末装置１の端末受信部１４は、サーバ装置２から提示情報を受信する。そして、端末出力部１５は、受信された提示情報を出力する。かかる出力例は、例えば、図７である。
次に、ユーザは、提示情報の出力画面に対して、購入したい商品を選択し、送信ボタンを押下した、とする。すると、端末受付部１２は、出力された提示情報に対するユーザの選択を受け付ける。そして、端末送信部１３は、受け付けられたユーザの選択に基づいて、購入情報を構成する。次に、端末送信部１３は、購入情報をサーバ装置２に送信する。
次に、サーバ装置２の購入情報受信部２１３は、端末装置１から購入情報を受信する。そして、決済処理部２２３は、受信された購入情報を用いて、決済処理を行う。
以上の処理により、写真を送信するだけで、自動的に提示情報を取得でき、容易に商品の購入が可能となる。なお、具体例４において、提示情報取得部２２２は、写真の中の認識された２つのオブジェクトと同じオブジェクトの商品情報を提示情報として、取得しても良い。かかる場合、提示情報取得部２２２は、写真の中の認識された２つの各オブジェクトと同一のオブジェクトの商品情報を、画像検索等により、外部の装置から検索して取得しても良い。
以上、本実施の形態によれば、撮影した画像等を用いた情報の提示ができる。
また、本実施の形態によれば、ユーザと対話しながら、撮影した画像等を用いた適切な情報の提示ができる。
さらに、本実施の形態によれば、撮影した画像等を用い、かつカメラのモード等の付加情報を用いて、付加情報に応じた極めて適切な情報の提示ができる。
なお、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における端末装置１を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムにおいて、コンピュータがアクセス可能な記録媒体は、１または２以上のオブジェクトが含まれる画像が格納される端末格納部を具備し、コンピュータを、前記画像を前記サーバ装置に送信する端末送信部と、ユーザに提示する情報であり、商品に関する情報である提示情報を受信する端末受信部と、前記提示情報を出力する端末出力部として機能させるためのプログラムである。
また、上記プログラムにおいて、コンピュータを、１以上のオブジェクト情報を前記サーバ装置から受信する端末受信部と、前記画像と前記１以上のオブジェクト情報が有する１以上のオブジェクト識別子とを出力する端末出力部と、前記端末出力部が出力した１以上のオブジェクト識別子に対するユーザの操作を受け付ける端末受付部としてさらに機能させ、前記端末送信部は、前記端末受付部が受け付けた操作に関する操作情報を前記サーバ装置に送信するものとして、コンピュータを機能させるためのプログラムであることは好適である。
また、本実施の形態におけるサーバ装置２を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、画像を端末装置から受信する画像受信部と、前記画像受信部が受信した画像に対する画像認識処理により、前記１以上の各オブジェクトを認識し、前記１以上の各オブジェクトを識別するオブジェクト識別子を取得し、当該各オブジェクト識別子を含む１以上のオブジェクト情報を取得するオブジェクト情報取得部と、前記オブジェクト情報取得部が取得した１以上のオブジェクト情報を用いて、当該１以上のオブジェクト情報のうちの一のオブジェクト情報に含まれる一のオブジェクト識別子で識別されるオブジェクトに関連があり、当該オブジェクトと異なる種類のオブジェクトのオブジェクト情報を、提示情報として取得する提示情報取得部と、前記提示情報を前記端末装置に送信する提示情報送信部として機能させるためのプログラムである。
また、上記プログラムにおいて、前記提示情報取得部は、前記一のオブジェクト識別子で識別されるオブジェクトと同じオブジェクトのオブジェクト情報、または前記一のオブジェクト識別子で識別されるオブジェクトと同じ種類のオブジェクトのオブジェクト情報をも、提示情報として取得するものとして、コンピュータを機能させるプログラムであることは好適である。
また、上記プログラムにおいて、コンピュータを、前記オブジェクト情報取得部が取得した１以上のオブジェクト情報を送信するオブジェクト情報送信部と、前記操作情報を前記端末装置から受信する操作情報受信部として、さらに機能させ、前記提示情報取得部は、前記操作情報受信部が受信した操作情報を用いて、ユーザに提示する提示情報を取得するものとして、コンピュータを機能させるプログラムであることは好適である。
また、上記プログラムにおいて、前記操作情報は、前記端末出力部が出力した１以上のオブジェクト識別子に対して、ユーザが選択した一のオブジェクト識別子を有し、前記提示情報取得部は、前記一のオブジェクト識別子で識別されるオブジェクトのオブジェクト情報を用いて提示情報を取得するものとして、コンピュータを機能させるプログラムであることは好適である。
また、上記プログラムにおいて、前記提示情報取得部は、前記一のオブジェクト識別子で識別されるオブジェクトに関連があり、当該オブジェクトと異なる種類のオブジェクトのオブジェクト情報を、提示情報として取得する、または前記一のオブジェクト識別子で識別されるオブジェクトと同じオブジェクトのオブジェクト情報、または前記一のオブジェクト識別子で識別されるオブジェクトと同じ種類のオブジェクトのオブジェクト情報を、提示情報として取得するものとして、コンピュータを機能させるプログラムであることは好適である。
また、上記プログラムにおいて、前記画像受信部は、前記画像とともに、画像以外の情報である付加情報をも受信し、前記提示情報取得部は、前記付加情報に応じて、提示情報を取得するアルゴリズムが異なるものとして、コンピュータを機能させるプログラムであることは好適である。
また、上記プログラムにおいて、前記付加情報は、前記画像が撮影されたカメラに関するカメラ情報を含むものとして、コンピュータを機能させるプログラムであることは好適である。
また、上記プログラムにおいて、前記提示情報取得部は、前記カメラ情報が自撮りモードを示す情報である場合は、前記一のオブジェクト識別子で識別されるオブジェクトと異なる種類のオブジェクトのオブジェクト情報を、提示情報として取得し、前記カメラ情報が自撮りモードでないモードを示す情報である場合は、前記一のオブジェクト識別子で識別されるオブジェクトと同じまたは同じ種類のオブジェクトのオブジェクト情報を、提示情報として取得するものとして、コンピュータを機能させるプログラムであることは好適である。
また、上記プログラムにおいて、前記オブジェクト情報取得部は、前記画像受信部が受信した画像に対して、深層学習を用いた画像認識処理により、前記２以上の各オブジェクトを認識し、前記２以上の各オブジェクトを識別するオブジェクト識別子を取得し、当該各オブジェクト識別子を含む２以上のオブジェクト情報を取得するものとして、コンピュータを機能させるプログラムであることは好適である。
また、上記プログラムにおいて、前記購入情報を前記端末装置から受信する購入情報受信部と、前記購入情報を用いた決済処理を行う決済処理部として、コンピュータをさらに機能させるプログラムであることは好適である。
また、図１２は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態の端末装置１、またはサーバ装置２を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図１２は、このコンピュータシステム３００の概観図であり、図１３は、システム３００のブロック図である。
図１２において、コンピュータシステム３００は、ＣＤ−ＲＯＭドライブを３０１２含むコンピュータ３０１と、キーボード３０２と、マウス３０３と、モニタ３０４とを含む。なお、コンピュータシステム３００はカメラを具備しても良い。
図１３において、コンピュータ３０１は、ＣＤ−ＲＯＭドライブ３０１２と、ＭＰＵ３０１３と、ＭＰＵ３０１３と、バス３０１４と、ＲＯＭ３０１５と、ＲＡＭ３０１６と、ハードディスク３０１７とを含む。ＲＯＭ３０１５は、ブートアッププログラム等のプログラムを記憶している。ＲＡＭ３０１６は、ＭＰＵ３０１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供する。ハードディスク３０１７は、通常、アプリケーションプログラム、システムプログラム、及びデータを記憶している。ここでは、図示しないが、コンピュータ３０１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。
コンピュータシステム３００に、上述した実施の形態のサーバ装置２等の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３１０１に記憶されて、ＣＤ−ＲＯＭドライブ３０１２に挿入され、さらにハードディスク３０１７に転送されても良い。また、プログラムは、図示しないネットワークを介してコンピュータ３０１に送信され、ハードディスク３０１７に記憶されても良い。プログラムは実行の際にＲＡＭ３０１６にロードされる。プログラムは、ＣＤ−ＲＯＭ３１０１またはネットワークから直接、ロードされても良い。
プログラムは、コンピュータ３０１に、上述した実施の形態のサーバ装置２等の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切なモジュールを呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３００がどのように動作するかは周知であり、詳細な説明は省略する。
なお、上記プログラムにおいて、情報を送信するステップや、情報を受信するステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理（ハードウェアでしか行われない処理）は含まれない。
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
また、上記各実施の形態において、一の装置に存在する２以上の通信手段は、物理的に一の媒体で実現されても良いことは言うまでもない。
また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
以上のように、本発明にかかる情報システムは、撮影した画像等を用いた情報のレコメンドができるという効果を有し、情報システム等として有用である。
１ 端末装置
２ サーバ装置
１１ 端末格納部
１２ 端末受付部
１３ 端末送信部
１４ 端末受信部
１５ 端末出力部
１６ 撮影部
２０ 格納部
２１ 受信部
２２ 処理部
２３ 送信部
２１１ 画像受信部
２１２ 操作情報受信部
２１３ 購入情報受信部
２２１ オブジェクト情報取得部
２２２ 提示情報取得部
２２３ 決済処理部
２３１ オブジェクト情報送信部
２３２ 提示情報送信部

Claims (14)

  1. サーバ装置と端末装置とを具備する情報システムを構成するサーバ装置であって、
    前記端末装置は、
    ２以上のオブジェクトが含まれる画像が格納される端末格納部と、
    前記画像を前記サーバ装置に送信する端末送信部と、
    ２以上のオブジェクト情報を前記サーバ装置から受信する端末受信部と、
    前記画像と前記２以上のオブジェクト情報が有する２以上のオブジェクト識別子とを出力する端末出力部と、
    前記端末出力部が出力した２以上のオブジェクト識別子のうちの１以上のオブジェクト識別子に対するユーザの操作を受け付ける端末受付部とを具備し、
    前記端末送信部は、
    前記端末出力部が出力した２以上のオブジェクト識別子に対して、ユーザが選択した少なくとも一のオブジェクト識別子を有する操作情報を前記サーバ装置に送信し、
    前記端末受信部は、
    前記操作情報の送信に応じて、ユーザに提示する情報であり、商品に関する情報である提示情報を受信し、
    前記端末出力部は、
    前記提示情報を出力し、
    前記サーバ装置は、
    前記画像を前記端末装置から受信する画像受信部と、
    前記画像受信部が受信した画像に対する画像認識処理により、前記２以上の各オブジェクトを認識し、前記２以上の各オブジェクトを識別するオブジェクト識別子を取得し、当該各オブジェクト識別子を含む２以上のオブジェクト情報を取得するオブジェクト情報取得部と、
    前記オブジェクト情報取得部が取得した２以上のオブジェクト情報を送信するオブジェクト情報送信部と、
    前記２以上のオブジェクト情報の送信の後に、前記操作情報を前記端末装置から受信する操作情報受信部と、
    前記操作情報受信部が受信した操作情報を用いて、ユーザに提示する提示情報を取得する提示情報取得部と、
    前記提示情報を前記端末装置に送信する提示情報送信部とを具備する情報システムを構成するサーバ装置。
  2. 前記オブジェクト情報送信部が送信するオブジェクト情報が有するオブジェクト識別子は、選択操作の受け付けが可能であり、
    前記端末出力部は、
    前記画像と２以上のオブジェクト識別子とを出力し、
    前記端末受付部は、
    前記端末出力部が出力した２以上のオブジェクト識別子のうちの１以上のオブジェクト識別子に対するユーザの選択操作を受け付ける請求項１記載のサーバ装置。
  3. 前記オブジェクト情報取得部は、
    前記画像の中の２以上の各オブジェクトの相対的位置を示す位置情報をも取得し、前記２以上の各オブジェクトを識別するオブジェクト識別子と位置情報とを含む２以上のオブジェクト情報を取得し、
    前記端末出力部は、
    各オブジェクト識別子に対応する位置情報を用いて、オブジェクト識別子を出力する位置を決定し、当該決定した位置に２以上の各オブジェクト識別子を出力する請求項２記載のサーバ装置。
  4. 前記画像受信部は、
    前記画像とともに、画像以外の情報である付加情報をも受信し、
    前記提示情報取得部は、
    前記付加情報に応じて、前記一のオブジェクト識別子で識別されるオブジェクトと異なる種類のオブジェクトのオブジェクト情報を提示情報として取得したり、前記一のオブジェクト識別子で識別されるオブジェクトと同じまたは同じ種類のオブジェクトのオブジェクト情報を提示情報として取得したりする請求項１から請求項３いずれか一項に記載のサーバ装置。
  5. 前記画像受信部は、
    前記画像とともに、画像以外の情報である付加情報をも受信し、
    前記提示情報取得部は、
    前記付加情報に応じて、異なるアルゴリズムにより提示情報を取得し、
    前記付加情報は、
    前記画像が撮影されたカメラに関するカメラ情報を含む請求項１から請求項３いずれか一項に記載のサーバ装置。
  6. 前記提示情報取得部は、
    前記カメラ情報が自撮りモードを示す情報である場合は、前記一のオブジェクト識別子で識別されるオブジェクトと異なる種類のオブジェクトのオブジェクト情報を、提示情報として取得し、前記カメラ情報が自撮りモードでないモードを示す情報である場合は、前記一のオブジェクト識別子で識別されるオブジェクトと同じまたは同じ種類のオブジェクトのオブジェクト情報を、提示情報として取得する請求項５記載のサーバ装置。
  7. 前記オブジェクト情報取得部は、
    前記画像受信部が受信した画像に対して、深層学習を用いた画像認識処理により、前記２以上の各オブジェクトを認識し、前記２以上の各オブジェクトを識別するオブジェクト識別子を取得し、当該各オブジェクト識別子を含む２以上のオブジェクト情報を取得する請求項１から請求項６いずれか一項に記載のサーバ装置。
  8. 前記端末受付部は、前記端末出力部が出力した提示情報に対するユーザの選択を受け付け、
    前記端末送信部は、前記端末受付部が受け付けた前記ユーザの選択に関する購入情報を前記サーバ装置に送信し、
    前記サーバ装置は、
    前記購入情報を前記端末装置から受信する購入情報受信部と、
    前記購入情報を用いた決済処理を行う決済処理部とをさらに具備する、請求項１から請求項７いずれか一項に記載のサーバ装置。
  9. ２以上のオブジェクトが含まれる画像を端末装置から受信する画像受信部と、
    前記画像受信部が受信した画像に対する画像認識処理により、前記２以上の各オブジェクトを認識し、前記２以上の各オブジェクトを識別するオブジェクト識別子を取得し、当該各オブジェクト識別子を含む２以上のオブジェクト情報を取得するオブジェクト情報取得部と、
    前記オブジェクト情報取得部が取得した２以上のオブジェクト情報を送信するオブジェクト情報送信部と、
    前記２以上のオブジェクト情報の送信の後に、前記端末装置で出力された２以上のオブジェクト識別子のうちの１以上のオブジェクト識別子に対するユーザの操作に関する操作情報を前記端末装置から受信する操作情報受信部と、
    前記操作情報受信部が受信した操作情報を用いて、ユーザに提示する提示情報を取得する提示情報取得部と、
    前記提示情報を前記端末装置に送信する提示情報送信部とを具備するサーバ装置。
  10. ２以上のオブジェクトが含まれる画像が格納される端末格納部と、
    前記画像をサーバ装置に送信する端末送信部と、
    ２以上のオブジェクト情報を前記サーバ装置から受信する端末受信部と、
    前記画像と前記２以上のオブジェクト情報が有する２以上のオブジェクト識別子とを出力する端末出力部と、
    前記端末出力部が出力した２以上のオブジェクト識別子のうちの１以上のオブジェクト識別子に対するユーザの操作を受け付ける端末受付部とを具備し、
    前記端末送信部は、
    前記端末出力部が出力した２以上のオブジェクト識別子に対して、ユーザが選択した少なくとも一のオブジェクト識別子を有する操作情報を前記サーバ装置に送信し、
    前記端末受信部は、
    前記操作情報の送信に応じて、ユーザに提示する情報であり、商品に関する情報である提示情報を受信し、
    前記端末出力部は、
    前記提示情報を出力する端末装置。
  11. 画像受信部、オブジェクト情報取得部、オブジェクト情報送信部、操作情報受信部、提示情報取得部、および提示情報送信部により実現される情報処理方法であって、
    前記画像受信部が、２以上のオブジェクトが含まれる画像を端末装置から受信する画像受信ステップと、
    前記オブジェクト情報取得部が、前記画像受信ステップで受信さた画像に対する画像認識処理により、前記２以上の各オブジェクトを認識し、前記２以上の各オブジェクトを識別するオブジェクト識別子を取得し、当該各オブジェクト識別子を含む２以上のオブジェクト情報を取得するオブジェクト情報取得ステップと、
    前記オブジェクト情報送信部が、前記オブジェクト情報取得ステップで取得された２以上のオブジェクト情報を送信するオブジェクト情報送信ステップと、
    前記操作情報受信部が、前記２以上のオブジェクト情報の送信の後に、前記操作情報を前記端末装置から受信する操作情報受信ステップと、
    前記提示情報取得部が、前記操作情報受信ステップで受信された操作情報を用いて、ユーザに提示する提示情報を取得する提示情報取得ステップと、
    前記提示情報送信部が、前記提示情報を前記端末装置に送信するレコメンド情報送信ステップとを具備する情報処理方法。
  12. 端末送信部、端末受信部、端末出力部、および端末受付部により実現される情報処理方法であって、
    前記端末送信部が、２以上のオブジェクトが含まれる画像をサーバ装置に送信する端末送信ステップと、
    前記端末受信部が、２以上のオブジェクト情報を前記サーバ装置から受信する端末受信ステップと、
    前記端末出力部が、前記画像と前記２以上のオブジェクト情報が有する２以上のオブジェクト識別子とを出力する端末出力ステップと、
    前記端末受付部が、前記端末出力ステップで出力された２以上のオブジェクト識別子のうちの１以上のオブジェクト識別子に対するユーザの操作を受け付ける端末受付力ステップと、
    前記端末送信部が、前記端末出力ステップで出力された２以上のオブジェクト識別子に対して、ユーザが選択した少なくとも一のオブジェクト識別子を有する操作情報を前記サーバ装置に送信するステップと、
    前記端末受信部が、前記操作情報の送信に応じて、ユーザに提示する情報であり、商品に関する情報である提示情報を受信するステップと、
    前記端末出力部が、前記提示情報を出力するステップとを具備する情報処理方法。
  13. コンピュータを、
    ２以上のオブジェクトが含まれる画像を端末装置から受信する画像受信部と、
    前記画像受信部が受信した画像に対する画像認識処理により、前記２以上の各オブジェクトを認識し、前記２以上の各オブジェクトを識別するオブジェクト識別子を取得し、当該各オブジェクト識別子を含む２以上のオブジェクト情報を取得するオブジェクト情報取得部と、
    前記オブジェクト情報取得部が取得した２以上のオブジェクト情報を送信するオブジェクト情報送信部と、
    前記２以上のオブジェクト情報の送信の後に、前記端末装置で出力された２以上のオブジェクト識別子のうちの１以上のオブジェクト識別子に対するユーザの操作に関する操作情報を前記端末装置から受信する操作情報受信部と、
    前記操作情報受信部が受信した操作情報を用いて、ユーザに提示する提示情報を取得する提示情報取得部と、
    前記提示情報を前記端末装置に送信する提示情報送信部として機能させるためのプログラム。
  14. コンピュータを、
    ２以上のオブジェクトが含まれる画像をサーバ装置に送信する端末送信部と、
    前記画像の送信に応じて、２以上のオブジェクト情報を前記サーバ装置から受信する端末受信部と、
    前記画像と前記２以上のオブジェクト情報が有する２以上のオブジェクト識別子とを出力する端末出力部と、
    前記端末出力部が出力した２以上のオブジェクト識別子のうちの１以上のオブジェクト識別子に対するユーザの操作を受け付ける端末受付部として機能させ、
    前記端末送信部は、
    前記端末出力部が出力した２以上のオブジェクト識別子に対して、ユーザが選択した少なくとも一のオブジェクト識別子を有する操作情報を前記サーバ装置に送信し、
    前記端末受信部は、
    前記操作情報の送信に応じて、ユーザに提示する情報であり、商品に関する情報である提示情報を受信し、
    前記端末出力部は、
    前記提示情報を出力するものとして、コンピュータを機能させるためのプログラム。
JP2016125099A 2016-06-24 2016-06-24 サーバ装置、端末装置、情報処理方法、およびプログラム Active JP6120467B1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016125099A JP6120467B1 (ja) 2016-06-24 2016-06-24 サーバ装置、端末装置、情報処理方法、およびプログラム
PCT/JP2017/022477 WO2017221868A1 (ja) 2016-06-24 2017-06-19 サーバ装置、端末装置、および情報処理方法
CN201780037226.0A CN109416693A (zh) 2016-06-24 2017-06-19 服务器装置、终端装置以及信息处理方法
US16/312,265 US20190325497A1 (en) 2016-06-24 2017-06-19 Server apparatus, terminal apparatus, and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016125099A JP6120467B1 (ja) 2016-06-24 2016-06-24 サーバ装置、端末装置、情報処理方法、およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017061554A Division JP2017228278A (ja) 2017-03-27 2017-03-27 サーバ装置、端末装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP6120467B1 true JP6120467B1 (ja) 2017-04-26
JP2017228177A JP2017228177A (ja) 2017-12-28

Family

ID=58666502

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016125099A Active JP6120467B1 (ja) 2016-06-24 2016-06-24 サーバ装置、端末装置、情報処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US20190325497A1 (ja)
JP (1) JP6120467B1 (ja)
CN (1) CN109416693A (ja)
WO (1) WO2017221868A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6353118B1 (ja) * 2017-05-10 2018-07-04 ヤフー株式会社 表示プログラム、情報提供装置、表示装置、表示方法、情報提供方法および情報提供プログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101895479B1 (ko) * 2018-01-19 2018-09-05 주식회사 리싸이클파크 오브젝트 인식 서버, 오브젝트 인식 시스템 및 오브젝트 인식 방법
CN111400532A (zh) * 2019-01-03 2020-07-10 福建天泉教育科技有限公司 一种照片推荐方法及终端
JP7021161B2 (ja) * 2019-09-19 2022-02-16 ヤフー株式会社 学習装置、学習方法および学習プログラム
CN110990607B (zh) * 2019-11-25 2023-07-18 成都市喜爱科技有限公司 游玩照片筛选方法、装置、服务器和计算机可读存储介质
US20230044463A1 (en) * 2019-12-20 2023-02-09 Referboard Marketing Pty Ltd System and method for locating products
CN113065922B (zh) * 2021-04-13 2021-12-07 南京莫愁智慧信息科技有限公司 基于移动互联网和大数据分析的电子商务购物平台商品智能匹配推荐方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050157175A1 (en) * 2003-09-22 2005-07-21 Fuji Xerox Co., Ltd. Image information processing system, image information processing apparatus, image information outputting method, code information processing apparatus and program thereof
JP2006185189A (ja) * 2004-12-27 2006-07-13 Denso It Laboratory Inc ユーザ支援装置及びユーザ支援方法
JP2011141892A (ja) * 2009-09-30 2011-07-21 Rakuten Inc 画像内に存在しない物品をレコメンドするシステム
WO2012026410A1 (ja) * 2010-08-23 2012-03-01 日本電気株式会社 推薦支援装置、推薦支援システム、ユーザ装置、推薦支援方法およびプログラム記憶媒体
JP2013085200A (ja) * 2011-10-12 2013-05-09 Canon Inc 画像処理装置、画像処理方法、及びプログラム
JP2015106862A (ja) * 2013-12-02 2015-06-08 日本放送協会 コンテンツ情報取得装置およびそのプログラム、ならびに、コンテンツ配信装置
JP2016006660A (ja) * 2008-08-08 2016-01-14 株式会社ニコン 検索支援システム
JP2016062372A (ja) * 2014-09-19 2016-04-25 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8108408B2 (en) * 2007-06-14 2012-01-31 Panasonic Corporation Image recognition device and image recognition method
JP5357432B2 (ja) * 2008-02-12 2013-12-04 サイジニア株式会社 情報処理装置、情報処理方法、およびプログラム
JP5800926B2 (ja) * 2014-01-28 2015-10-28 サイジニア株式会社 レコメンド装置、レコメンド方法、レコメンド媒体の生産方法、およびプログラム
CN105447708A (zh) * 2014-08-28 2016-03-30 阿里巴巴集团控股有限公司 一种信息提供方法及装置
CN104991906B (zh) * 2015-06-17 2020-06-02 百度在线网络技术（北京）有限公司 信息获取方法、服务器、终端及数据库构建方法、装置
CN105608230B (zh) * 2016-02-03 2019-05-31 南京云创大数据科技股份有限公司 一种基于图像检索的商家信息推荐系统及方法
CN105678608A (zh) * 2016-02-25 2016-06-15 曹溯 图片匹配方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050157175A1 (en) * 2003-09-22 2005-07-21 Fuji Xerox Co., Ltd. Image information processing system, image information processing apparatus, image information outputting method, code information processing apparatus and program thereof
JP2006185189A (ja) * 2004-12-27 2006-07-13 Denso It Laboratory Inc ユーザ支援装置及びユーザ支援方法
JP2016006660A (ja) * 2008-08-08 2016-01-14 株式会社ニコン 検索支援システム
JP2011141892A (ja) * 2009-09-30 2011-07-21 Rakuten Inc 画像内に存在しない物品をレコメンドするシステム
WO2012026410A1 (ja) * 2010-08-23 2012-03-01 日本電気株式会社 推薦支援装置、推薦支援システム、ユーザ装置、推薦支援方法およびプログラム記憶媒体
JP2013085200A (ja) * 2011-10-12 2013-05-09 Canon Inc 画像処理装置、画像処理方法、及びプログラム
JP2015106862A (ja) * 2013-12-02 2015-06-08 日本放送協会 コンテンツ情報取得装置およびそのプログラム、ならびに、コンテンツ配信装置
JP2016062372A (ja) * 2014-09-19 2016-04-25 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6353118B1 (ja) * 2017-05-10 2018-07-04 ヤフー株式会社 表示プログラム、情報提供装置、表示装置、表示方法、情報提供方法および情報提供プログラム
JP2018190294A (ja) * 2017-05-10 2018-11-29 ヤフー株式会社 表示プログラム、情報提供装置、表示装置、表示方法、情報提供方法および情報提供プログラム

Also Published As

Publication number Publication date
WO2017221868A1 (ja) 2017-12-28
US20190325497A1 (en) 2019-10-24
CN109416693A (zh) 2019-03-01
JP2017228177A (ja) 2017-12-28

Similar Documents

Publication Publication Date Title
JP6120467B1 (ja) サーバ装置、端末装置、情報処理方法、およびプログラム
JP2022179680A (ja) 検索システム
CN106598998B (zh) 信息获取方法和信息获取装置
KR102102571B1 (ko) 온라인 쇼핑 플랫폼을 제공하는 시스템 및 방법
JP2018084890A (ja) 情報処理装置、情報処理方法、およびプログラム
KR20180100074A (ko) 공간객체 검색결과 정렬 방법, 시스템 및 컴퓨터 독취가능 저장장치
US11392996B2 (en) Systems and methods for creating a navigable path between pages of a network platform based on linking database entries of the network platform
US9607094B2 (en) Information communication method and information communication apparatus
CN106030578B (zh) 搜索系统以及搜索系统的控制方法
EP2919198A1 (en) Image processing device, image processing method, and program
JP2018128955A (ja) スクリーンショット画像解析装置、スクリーンショット画像解析方法、およびプログラム
JP2017228278A (ja) サーバ装置、端末装置、情報処理方法、およびプログラム
US9672436B1 (en) Interfaces for item search
JP5926326B2 (ja) 情報提供システム、投稿者端末、閲覧者端末、および情報公開装置
KR102102572B1 (ko) 온라인 쇼핑몰을 제공하는 시스템 및 방법
TW201823929A (zh) 移動物件的虛擬訊息遠距管理方法與應用系統
KR20090117108A (ko) 이동통신망을 통한 상품정보 서비스 제공 방법 및 시스템
WO2019134501A1 (zh) 模拟用户试装的方法、装置、存储介质及移动终端
KR20110125866A (ko) 증강현실을 통한 정보제공 방법 및 장치
KR20120083060A (ko) 실시간 이미지 인식 및 태그 정보를 통한 증강현실구매기능이 구비된 이동통신시스템 및 그 제어방법
JP2018106524A (ja) 対話装置、対話方法、およびプログラム
JP7458362B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP7459038B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP7458363B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
KR102278680B1 (ko) 사진 포즈 제공 시스템, 방법, 및 컴퓨터로 판독가능한 기록매체

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170324

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170327

R150 Certificate of patent or registration of utility model

Ref document number: 6120467

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250