JP7175025B2 - 情報処理装置、情報処理システム、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理システム、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP7175025B2 JP7175025B2 JP2020193545A JP2020193545A JP7175025B2 JP 7175025 B2 JP7175025 B2 JP 7175025B2 JP 2020193545 A JP2020193545 A JP 2020193545A JP 2020193545 A JP2020193545 A JP 2020193545A JP 7175025 B2 JP7175025 B2 JP 7175025B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- server device
- response
- information processing
- inquiry
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 84
- 238000003672 processing method Methods 0.000 title claims description 13
- 230000004044 response Effects 0.000 claims description 77
- 235000013305 food Nutrition 0.000 claims description 56
- 238000012545 processing Methods 0.000 claims description 17
- 238000000034 method Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 13
- 230000004048 modification Effects 0.000 description 13
- 238000012986 modification Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 238000003860 storage Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 6
- 244000269722 Thea sinensis Species 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 241000234282 Allium Species 0.000 description 4
- 235000002732 Allium cepa var. cepa Nutrition 0.000 description 4
- 235000013527 bean curd Nutrition 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 235000015278 beef Nutrition 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 235000013361 beverage Nutrition 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007407 health benefit Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/01—Customer relationship services
- G06Q30/015—Providing customer assistance, e.g. assisting a customer within a business location or via helpdesk
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/338—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/20—Point-of-sale [POS] network systems
- G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
- G06Q20/308—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using the Internet of Things
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
- G06Q20/32—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
- G06Q20/322—Aspects of commerce using mobile devices [M-devices]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0623—Item investigation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0639—Item locations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P80/00—Climate change mitigation technologies for sector-wide applications
- Y02P80/10—Efficient use of energy, e.g. using compressed air or pressurized fluid as energy carrier
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Accounting & Taxation (AREA)
- General Physics & Mathematics (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Operations Research (AREA)
- Human Resources & Organizations (AREA)
- Computing Systems (AREA)
- Entrepreneurship & Innovation (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Telephonic Communication Services (AREA)
Description
1.システム構成
図1は、情報処理システム1000のシステム構成の一例を示す図である。情報処理システム1000は、システム構成として、サーバ装置100と、クライアント装置110と、トークマーク120が付与された物130と、を含む。サーバ装置100と、クライアント装置110と、はネットワーク150を介して通信可能に接続されている。クライアント装置110は、情報処理装置の一例である。
(情報処理システム1000の処理の概要)
クライアント装置110は、ユーザ操作に基づいて、物130に付されたトークマーク120を撮像する。クライアント装置110は、物130に付されたトークマーク120を含む撮像画像より情報を読み取る。ここで、クライアント装置110が読み取った情報には、物130に関する物情報と、サーバ装置100の接続情報と、が含まれる。クライアント装置110は、接続情報に基づきサーバ装置100と接続する。クライアント装置110は、物情報に基づき、物130を示すようなアイコンを表示する。ユーザは、表示されたアイコンに対して物130に対する問いかけ等を行う。ユーザによって物130に対する問いかけ情報が入力されると、クライアント装置110は、物130に対する問いかけ情報と、物情報と、をサーバ装置100に送信する。クライアント装置110は、問いかけ情報と、物情報と、に基づきサーバ装置100において生成された応答情報をサーバ装置100より受信する。クライアント装置110は、物130からの応答として応答情報を出力する。
(1)クライアント装置110のハードウェア構成
図2は、クライアント装置110のハードウェア構成の一例を示す図である。クライアント装置110は、ハードウェア構成として、制御部201と、記憶部202と、撮像部203と、入出力部204と、音声入出力部205と、通信部206と、を含む。制御部201は、クライアント装置110の全体を制御する。記憶部202は、プログラム及び制御部201がプログラムに基づき処理を実行する際に利用するデータ等を記憶する。制御部201が、記憶部202に記憶されたプログラムに基づき処理を実行することによって、クライアント装置110の機能が実現される。撮像部203は、被写体を撮像する。本実施形態において、撮像部203は、物130に付されているトークマーク120を撮像する。トークマークは、所定のマークの一例である。入出力部204は、ユーザの操作に応じて制御部201に情報を入力したり、制御部201の情報処理に応じて情報を表示したりする。音声入出力部205は、ユーザの音声を入力したり、制御部201の制御に応じて音声を出力したりする。通信部206は、クライアント装置110をネットワーク150に接続し、他の装置との通信を司る。
図3は、サーバ装置100のハードウェア構成の一例を示す図である。サーバ装置100は、ハードウェア構成として、制御部301と、記憶部302と、通信部303と、を含む。制御部301は、サーバ装置100の全体を制御する。記憶部302は、プログラム及び制御部301がプログラムに基づき処理を実行する際に利用するデータ等を記憶する。制御部301が、記憶部302に記憶されたプログラムに基づき処理を実行することによって、サーバ装置100の機能が実現される。通信部303は、サーバ装置100をネットワーク150に接続し、他の装置との通信を司る。
図4は、情報処理システム1000の情報処理の一例を示すシーケンス図である。
SQ401において、制御部201は、ユーザ操作に基づいて、物130に付されたトークマーク120を撮像する。本実施形態では、物130の一例として、食品、特にペットボトルに入った飲料を例に説明を行う。制御部201は、物130に付されたトークマーク120を含む撮像画像を解析し、撮像画像より情報を読み取る。ここで、制御部201が読み取った情報には、物130に関する物情報と、サーバ装置100の接続情報と、が含まれる。制御部201は、接続情報に基づきサーバ装置100と接続する。
SQ403において、サーバ装置100は、接続に成功したか否かを示す接続結果をクライアント装置110に送信する。本実施形態では、サーバ装置100は、接続に成功し、接続に成功したことを示す接続結果をクライアント装置110に送信するものとして説明を行う。
SQ404において、制御部201は、撮像画像に基づき物を示すアイコンを入出力部204に表示させる。図5は、情報処理システム1000の機能の概念を示す図である。図5に示される、アイコン500は、撮像画像に基づく物を示すオブジェクトの一例を示す図である。ここで、アイコンとは、もとの対象の形をとどめる記号である。
サーバ装置100は、問いかけ要求を受信すると、問いかけ要求に含まれる物情報で識別される学習済みのモデルに対して、物に対する問いかけ情報を入力し、物に対する問いかけに対する応答情報を学習済みのモデルより取得する。この学習済みのモデルは、想定される物に対する問いかけに対して正解となる回答を学習した、学習済みのモデルである。質問としては、物がペットボトルのお茶の場合、お茶の産地、お茶の生産者、お茶の健康効果、お茶を用いた料理のレシピ、美味しい飲み方等がある。また、学習済みのモデルは、物ごとに予め用意され、記憶部302に記憶されている。
SQ407において、制御部201は、物130からの応答として応答情報を出力する。より具体的に説明すると、制御部201は、物からの応答としてアイコン500から応答情報を出力する。本実施形態においては、制御部201は、物からの応答としてアイコン500から出力されているように、音声入出力部205を介して応答情報を音声によって出力する。また、制御部201は、応答情報を入出力部204に文字列として表示する(図5の520)
ユーザによって問いかけ情報が入力されると、情報処理システム1000は、SQ405からSQ407までの処理を繰り返す。
SQ410において、サーバ装置100は、決済システム400より決済処理の結果を受信する。本実施形態において、サーバ装置100は、決済が完了した旨の情報を受信するものとして説明を行う。なお、本実施形態においては、サーバ装置100と決済システム400とは別の構成としているが、サーバ装置100に決済システム400の機能を含めるようにしてもよい。
SQ412において、制御部201は、サーバ装置100からの決済処理の結果を出力する。例えば、制御部201は、決済処理の結果を入出力部204に表示したり、音声入出力部205から音声で出力したりする。
なお、サーバ装置100は、物130が店舗に置かれており、決済が終了している場合は、その店舗の出口等に設置されているゲートに対して物130に対して既に精算が終わっている旨の信号を送信し、ユーザがそのまま物130を持って帰ってもゲートにおいて扉が閉まらないようにしてもよい。又は、サーバ装置100は、物130に関して既に精算済みであることを示す情報をクライアント装置110に送信する。そして、クライアント装置110は、記憶部202に物130に関して既に精算済みであることを示す情報を記憶し、ゲートでその情報を読み取り可能にしてもよい。このようにして、ユーザがそのまま物130を持って帰ってもゲートにおいて扉が閉まらないようにしてもよい。
なお、ユーザは物130が気にいった場合、物130を複数購入するので、複数の物を自宅に配達するよう要求をサーバ装置100に送信するようにしてもよい。サーバ装置100は、このような要求を受け取ると、要求に含まれる個数の情報に基づき、上述した決済を行うと共に、要求された物の配達要求を、配達を管理する外部のサーバ装置等に、予め設定されたユーザの配達先の情報や物を識別する情報、物の個数を示す情報等を送信する。
変形例1では、物130の例として食品を例に説明を行う。より具体的には後述する図6に示すように、ネギを例に説明を行う。
音声入出力部205を介してユーザによる物130である食品を用いたレシピに関する問いかけ情報が入力されると、制御部201は、食品を用いたレシピに関する問いかけ情報と、物情報と、を含む問いかけ要求をサーバ装置100に送信する。サーバ装置100は、問いかけ要求を受信する。
サーバ装置100は、問いかけ要求を受信すると、問いかけ要求に含まれる物情報で識別される学習済みのモデルに対して、食品を用いたレシピに関する問いかけ情報を入力し、食品を用いたレシピに関する問いかけに対する応答情報を学習済みのモデルより取得する。応答情報には、食品を用いたレシピの情報が含まれる。
サーバ装置100は、取得された応答情報を含む問いかけ応答を生成し、クライアント装置110に送信する。制御部201は、サーバ装置100からの問いかけ応答を受信する。すなわち、制御部201は、問いかけ情報と、物情報と、に基づきサーバ装置100において生成されたレシピに関する応答情報をサーバ装置100より受信する。
制御部201は、物130からの応答として応答情報を出力する。
制御部201は、入出力部204にクライアント装置110が存在する位置周辺の地図情報を表示し、応答情報に基づいて、地図情報上に、他の食品が売られている場所の情報を出力する。
図6の例では、物130は、ネギである。そして、物130であるネギにトークマーク120が付されている。図6の画面においてオブジェクト600は、ユーザの現在位置を示している。また、図6の画面においてユーザはある商店街の八百屋622にいることを示している。図6の画面においてネギを使った料理の一つであるすき焼きのレシピに含まれる他の食品として牛肉610と、豆腐611が表示されている。また、図6の画面において、牛肉610は620で示される肉屋で売られており、豆腐611は621で示される豆腐屋で売られていることが示されている。
制御部201がサーバ装置100からの情報に基づき図6に示されるような画面を生成し、入出力部204に表示することによって、ユーザは、レシピに用いられる他の食品がどこで売っているのかの情報をすぐに得ることができる。
なお、変形例1では、クライアント装置110が画面を生成するものとして説明を行ったが、サーバ装置100が画面を生成し、クライアント装置110に送信するようにしてもよい。そして、クライアント装置110がサーバ装置100から受信した画面を入出力部204等に表示するようにしてもよい。
実施形態1及び変形例1では、物130の例として食品を例に説明を行った。しかし、トークマーク120を添付する対象は食品に限られない。例えば、車や電車等であってもよいし、工場に設置されている生産設備の機械等であってもよい。図7は、変形例2の情報処理システム1000のシステム構成の一例を示す図である。図7の例では、物130は、機械である。例えば、機械にトークマーク120が付された場合、ユーザは、クライアント装置110を用いてあたかも機械と会話して、機械の稼働状況や消費電力の推移等を得ることができる。サーバ装置100より取得した情報によって機械の消費電力推移を把握することができたユーザは、例えば、夜間の機械の稼働を停止させる等、目的に応じて設定を変更することができる。
なお、トークマーク120が付される物130が生産設備の機械である場合、ユーザによる問いかけには、設備の使用情報、取扱情報、操作情報、稼働情報、保守情報等に対する質問等が含まれる。このような例では、サーバ装置100は、生産設備の管理を行う生産管理サーバ装置等である。
なお、他の例として、トークマーク120が付される物130は、物流品であってもよい。商品130が物流品である場合、ユーザによる問いかけには、物流品の管理情報、経路情報、保守情報等の質問等が含まれる。このような例では、サーバ装置100は、物流品を管理する物流管理サーバ装置等である。
上述した実施形態等では、入力として音声を例に説明を行った。しかし、音声に限られず、チャットのようなテキスト情報の入力であってもよい。
クライアント装置110は、サーバ装置100よりトークマーク120が付された物130の情報として、物130と関連する情報、例えば、その物のキャンペーンの情報、その物を実際に使用している店舗の情報、等を受信し、これらの情報を出力するようにしてもよい。
また、サーバ装置100は、物130を購入したユーザを識別することが可能であるため、物130を購入したユーザに対して、同じ物を購入したユーザ同士のコミュニケーションを図れる場所、又はURL等を送信するようにしてもよい。
次に記載の各態様で提供されてもよい。
前記情報処理装置において、前記制御部は、前記撮像画像に基づき前記物を示すオブジェクトを入出力部に表示させ、前記物からの応答として前記オブジェクトから前記応答情報を出力する、情報処理装置。
前記情報処理装置において、前記制御部は、前記物に対するユーザによる音声による前記問いかけ情報が入力されると、前記物に対する問いかけ情報と、前記物情報と、を前記サーバ装置に送信し、前記物からの応答として前記オブジェクトから前記応答情報を音声によって出力する、情報処理装置。
前記情報処理装置において、前記制御部は、ユーザによって前記物に関する購入意思が入力されると、前記物を購入することを示す情報と、前記物情報と、前記情報処理装置を識別する識別情報と、を前記サーバ装置に送信し、前記物を購入することを示す情報と、前記物情報と、前記情報処理装置を識別する識別情報と、に基づき前記サーバ装置において処理された決済処理の結果を前記サーバ装置より受信し、前記決済処理の結果を出力する、情報処理装置。
前記情報処理装置において、撮像部を有し、前記撮像部は、物に付された所定のマークを撮像し、前記制御部は、前記撮像部によって撮像された前記所定のマークを含む撮像画像より情報を読み取る、情報処理装置。
前記情報処理装置において、前記物は、食品である、情報処理装置。
前記情報処理装置において、前記制御部は、ユーザによって前記食品を用いたレシピに関する問いかけ情報が入力されると、前記食品を用いたレシピに関する問いかけ情報と、前記物情報と、を含む問いかけ要求を前記サーバ装置に送信し、前記問いかけ情報と、前記物情報と、に基づき前記サーバ装置において生成された前記レシピに関する応答情報を前記サーバ装置より受信し、前記物からの応答として前記応答情報を出力する、情報処理装置。
前記情報処理装置において、前記制御部は、前記レシピに用いられる他の食品が売られている場所に関する問いかけ情報が入力されると、前記レシピに用いられる他の食品が売られている場所に関する問いかけ情報と、前記他の食品に関する他の食品情報と、前記情報処理装置の位置情報と、を前記サーバ装置に送信し、前記問いかけ情報と、前記他の食品情報と、前記位置情報と、に基づき前記サーバ装置において生成された前記他の食品が売られている場所に関する応答情報を前記サーバ装置より受信し、前記応答情報に基づいて、地図情報上に、前記他の食品が売られている場所の情報を出力する、情報処理装置。
前記情報処理装置において、前記物は、機械である、情報処理装置。
情報処理システムであって、物に付された所定のマークを含む撮像画像より情報を読み取り、前記情報には、前記物に関する物情報が含まれ、ユーザによって前記物に対する問いかけ情報が入力されると、前記物情報で識別される学習済みモデルに対して、前記物に対する問いかけ情報を入力し、前記物に対する問いかけに対する応答情報を前記学習済みモデルより取得し、前記物からの応答として前記応答情報を出力する、情報処理システム。
前記情報処理システムにおいて、前記撮像画像に基づき前記物を示すオブジェクトを入出力部に表示させ、前記物からの応答として前記オブジェクトから前記応答情報を出力する、情報処理システム。
前記情報処理システムにおいて、前記物に対するユーザによる音声による前記問いかけ情報が入力されると、前記物に対する問いかけ情報と、前記物情報と、を学習済みのモデルに入力し、前記物に対する問いかけに対する応答情報を前記学習済みのモデルより取得し、前記物からの応答として前記オブジェクトから前記応答情報を音声によって出力する、情報処理システム。
情報処理装置が実行する情報処理方法であって、第1の工程と、第2の工程と、第3の工程と、第4の工程と、第5の工程と、を含み、前記第1の工程では、物に付された所定のマークを含む撮像画像より情報を読み取り、前記情報には、前記物に関する物情報と、サーバ装置の接続情報と、が含まれ、前記第2の工程では、前記接続情報に基づき前記サーバ装置と接続し、ユーザによって前記物に対する問いかけ情報が入力されると、前記第3の工程では、前記物に対する問いかけ情報と、前記物情報と、を前記サーバ装置に送信し、前記第4の工程では、前記問いかけ情報と、前記物情報と、に基づき前記サーバ装置において生成された応答情報を前記サーバ装置より受信し、前記第5の工程では、前記物からの応答として前記応答情報を出力する、情報処理方法。
情報処理システムが実行する情報処理方法であって、第1の工程と、第2の工程と、第3の工程と、を含み、前記第1の工程では、物に付された所定のマークを含む撮像画像より情報を読み取り、前記情報には、前記物に関する物情報が含まれ、ユーザによって前記物に対する問いかけ情報が入力されると、前記第2の工程では、前記物に対する問いかけ情報と、前記物情報と、を学習済みのモデルに入力し、前記物に対する問いかけに対する応答情報を前記学習済みのモデルより取得し、前記第3の工程では、前記物からの応答として前記応答情報を出力する、情報処理方法。
プログラムであって、コンピュータを、前記情報処理装置の制御部として機能させるためのプログラム。
もちろん、この限りではない。
また、上述した実施形態及び変形例を任意に組み合わせて実施するようにしてもよい。
110 :クライアント装置
120 :トークマーク
130 :物
150 :ネットワーク
201 :制御部
202 :記憶部
203 :撮像部
204 :入出力部
205 :音声入出力部
206 :通信部
301 :制御部
302 :記憶部
303 :通信部
400 :決済システム
500 :アイコン
600 :オブジェクト
610 :牛肉
611 :豆腐
622 :八百屋
1000 :情報処理システム
Claims (12)
- 情報処理装置であって、
制御部を有し、
前記制御部は、
物に付された所定のマークを含む撮像画像より情報を読み取り、
前記情報には、前記物に関する物情報と、サーバ装置の接続情報と、が含まれ、
前記接続情報に基づき前記サーバ装置と接続し、
ユーザによって前記物に対する問いかけ情報が入力されると、前記物に対する問いかけ情報と、前記物情報と、を前記サーバ装置に送信し、
前記問いかけ情報と、前記物情報と、に基づき前記サーバ装置において生成された応答情報を前記サーバ装置より受信し、
前記撮像画像に基づき前記物を示すオブジェクトを入出力部に表示させ、
前記物からの応答として前記オブジェクトから前記応答情報を出力する、
情報処理装置。 - 請求項1に記載の情報処理装置において、
前記制御部は、
前記物に対するユーザによる音声による前記問いかけ情報が入力されると、前記物に対する問いかけ情報と、前記物情報と、を前記サーバ装置に送信し、
前記物からの応答として前記オブジェクトから前記応答情報を音声によって出力する、
情報処理装置。 - 情報処理装置であって、
制御部を有し、
前記制御部は、
物に付された所定のマークを含む撮像画像より情報を読み取り、
前記情報には、前記物に関する物情報と、サーバ装置の接続情報と、が含まれ、
前記接続情報に基づき前記サーバ装置と接続し、
ユーザによって前記物に関する購入意思が入力されると、前記物を購入することを示す情報と、前記物情報と、前記情報処理装置を識別する識別情報と、を前記サーバ装置に送信し、
前記物を購入することを示す情報と、前記物情報と、前記情報処理装置を識別する識別情報と、に基づき前記サーバ装置において処理された決済処理の結果を前記サーバ装置より受信し、
前記決済処理の結果を出力する、
情報処理装置。 - 情報処理装置であって、
制御部を有し、
前記制御部は、
食品に付された所定のマークを含む撮像画像より情報を読み取り、
前記情報には、前記食品に関する物情報と、サーバ装置の接続情報と、が含まれ、
前記接続情報に基づき前記サーバ装置と接続し、
ユーザによって前記食品を用いたレシピに関する問いかけ情報が入力されると、前記食品を用いたレシピに関する問いかけ情報と、前記物情報と、を含む問いかけ要求を前記サーバ装置に送信し、
前記問いかけ情報と、前記物情報と、に基づき前記サーバ装置において生成された前記レシピに関する応答情報を前記サーバ装置より受信し、
前記食品からの応答として前記応答情報を出力する、
情報処理装置。 - 請求項4に記載の情報処理装置において、
前記制御部は、
前記レシピに用いられる他の食品が売られている場所に関する問いかけ情報が入力されると、前記レシピに用いられる他の食品が売られている場所に関する問いかけ情報と、前記他の食品に関する他の食品情報と、前記情報処理装置の位置情報と、を前記サーバ装置に送信し、
前記問いかけ情報と、前記他の食品情報と、前記位置情報と、に基づき前記サーバ装置において生成された前記他の食品が売られている場所に関する応答情報を前記サーバ装置より受信し、
前記応答情報に基づいて、地図情報上に、前記他の食品が売られている場所の情報を出力する、
情報処理装置。 - 情報処理システムであって、
物に付された所定のマークを含む撮像画像より情報を読み取り、
前記情報には、前記物に関する物情報が含まれ、
ユーザによって前記物に対する問いかけ情報が入力されると、前記物情報で識別される学習済みモデルに対して、前記物に対する問いかけ情報を入力し、前記物に対する問いかけに対する応答情報を前記学習済みモデルより取得し、
前記撮像画像に基づき前記物を示すオブジェクトを入出力部に表示させ、
前記物からの応答として前記オブジェクトから前記応答情報を出力する、
情報処理システム。 - 請求項6に記載の情報処理システムにおいて、
前記物に対するユーザによる音声による前記問いかけ情報が入力されると、前記物に対する問いかけ情報と、前記物情報と、を学習済みのモデルに入力し、前記物に対する問いかけに対する応答情報を前記学習済みのモデルより取得し、
前記物からの応答として前記オブジェクトから前記応答情報を音声によって出力する、
情報処理システム。 - 情報処理装置が実行する情報処理方法であって、
第1の工程と、第2の工程と、第3の工程と、第4の工程と、第5の工程と、第6の工程と、を含み、
前記第1の工程では、物に付された所定のマークを含む撮像画像より情報を読み取り、
前記情報には、前記物に関する物情報と、サーバ装置の接続情報と、が含まれ、
前記第2の工程では、前記接続情報に基づき前記サーバ装置と接続し、
ユーザによって前記物に対する問いかけ情報が入力されると、前記第3の工程では、前記物に対する問いかけ情報と、前記物情報と、を前記サーバ装置に送信し、
前記第4の工程では、前記問いかけ情報と、前記物情報と、に基づき前記サーバ装置において生成された応答情報を前記サーバ装置より受信し、
前記第5の工程では、前記撮像画像に基づき前記物を示すオブジェクトを入出力部に表示させ、
前記第6の工程では、前記物からの応答として前記オブジェクトから前記応答情報を出力する、
情報処理方法。 - 情報処理装置が実行する情報処理方法であって、
第1の工程と、第2の工程と、第3の工程と、第4の工程と、第5の工程と、を含み、
前記第1の工程では、物に付された所定のマークを含む撮像画像より情報を読み取り、
前記情報には、前記物に関する物情報と、サーバ装置の接続情報と、が含まれ、
前記第2の工程では、前記接続情報に基づき前記サーバ装置と接続し、
前記第3の工程では、ユーザによって前記物に関する購入意思が入力されると、前記物を購入することを示す情報と、前記物情報と、前記情報処理装置を識別する識別情報と、を前記サーバ装置に送信し、
前記第4の工程では、前記物を購入することを示す情報と、前記物情報と、前記情報処理装置を識別する識別情報と、に基づき前記サーバ装置において処理された決済処理の結果を前記サーバ装置より受信し、
前記第5の工程では、前記決済処理の結果を出力する、
情報処理方法。 - 情報処理装置が実行する情報処理方法であって、
第1の工程と、第2の工程と、第3の工程と、第4の工程と、第5の工程と、を含み、
前記第1の工程では、食品に付された所定のマークを含む撮像画像より情報を読み取り、
前記情報には、前記食品に関する物情報と、サーバ装置の接続情報と、が含まれ、
前記第2の工程では、前記接続情報に基づき前記サーバ装置と接続し、
前記第3の工程では、ユーザによって前記食品を用いたレシピに関する問いかけ情報が入力されると、前記食品を用いたレシピに関する問いかけ情報と、前記物情報と、を含む問いかけ要求を前記サーバ装置に送信し、
前記第4の工程では、前記問いかけ情報と、前記物情報と、に基づき前記サーバ装置において生成された前記レシピに関する応答情報を前記サーバ装置より受信し、
前記第5の工程では、前記食品からの応答として前記応答情報を出力する、 - 情報処理システムが実行する情報処理方法であって、
第1の工程と、第2の工程と、第3の工程と、第4の工程と、を含み、
前記第1の工程では、物に付された所定のマークを含む撮像画像より情報を読み取り、
前記情報には、前記物に関する物情報が含まれ、
ユーザによって前記物に対する問いかけ情報が入力されると、前記第2の工程では、前記物に対する問いかけ情報と、前記物情報と、を学習済みのモデルに入力し、前記物に対する問いかけに対する応答情報を前記学習済みのモデルより取得し、
前記第3の工程では、前記撮像画像に基づき前記物を示すオブジェクトを入出力部に表示させ、
前記第4の工程では、前記物からの応答として前記オブジェクトから前記応答情報を出力する、
情報処理方法。 - プログラムであって、
コンピュータを、請求項1から請求項5までの何れか1項に記載の情報処理装置の制御部として機能させるためのプログラム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020193545A JP7175025B2 (ja) | 2020-11-20 | 2020-11-20 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
EP21894735.6A EP4250213A4 (en) | 2020-11-20 | 2021-11-18 | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD, AND PROGRAM |
CN202180078065.6A CN116615741A (zh) | 2020-11-20 | 2021-11-18 | 信息处理装置、信息处理系统、信息处理方法以及计算机程序 |
PCT/JP2021/042500 WO2022107863A1 (ja) | 2020-11-20 | 2021-11-18 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
US18/037,265 US20240020325A1 (en) | 2020-11-20 | 2021-11-18 | Information processing device, information processing system, information processing method, and program |
JP2022174363A JP2023011785A (ja) | 2020-11-20 | 2022-10-31 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020193545A JP7175025B2 (ja) | 2020-11-20 | 2020-11-20 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022174363A Division JP2023011785A (ja) | 2020-11-20 | 2022-10-31 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022082154A JP2022082154A (ja) | 2022-06-01 |
JP7175025B2 true JP7175025B2 (ja) | 2022-11-18 |
Family
ID=81709079
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020193545A Active JP7175025B2 (ja) | 2020-11-20 | 2020-11-20 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
JP2022174363A Pending JP2023011785A (ja) | 2020-11-20 | 2022-10-31 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022174363A Pending JP2023011785A (ja) | 2020-11-20 | 2022-10-31 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20240020325A1 (ja) |
EP (1) | EP4250213A4 (ja) |
JP (2) | JP7175025B2 (ja) |
CN (1) | CN116615741A (ja) |
WO (1) | WO2022107863A1 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005327077A (ja) | 2004-05-14 | 2005-11-24 | Sony Corp | 買い物支援システム、買い物支援方法、携帯端末装置 |
JP2011113417A (ja) | 2009-11-27 | 2011-06-09 | Amitsukusu:Kk | 賃貸物件管理装置、通信端末、賃貸物件管理方法、賃貸物件管理プログラム及び賃貸物件管理システム |
JP2014171417A (ja) | 2013-03-07 | 2014-09-22 | Mitsui Eng & Shipbuild Co Ltd | バイオエタノールの回収方法及び回収システム |
US20160203352A1 (en) | 2013-09-20 | 2016-07-14 | Flashback Survey, Inc. | Using scanable codes to obtain a service |
US9864949B1 (en) | 2016-10-31 | 2018-01-09 | International Business Machines Corporation | Cognition model-based product assist |
US20190347319A1 (en) | 2018-05-11 | 2019-11-14 | Citrix Systems, Inc. | Generating Conversation Models From Documents |
JP2019207564A (ja) | 2018-05-29 | 2019-12-05 | クックパッド株式会社 | 情報処理システム、情報処理装置、情報処理方法、およびプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003157477A (ja) * | 2001-11-19 | 2003-05-30 | Hitachi Ltd | タグ管理サーバとこれを用いた情報の取得・活用システム |
US20090289764A1 (en) * | 2008-05-21 | 2009-11-26 | Fu-Sheng Chiu | Instant promotional media using an identification tag |
AU2010328655B2 (en) * | 2009-12-13 | 2014-07-17 | Intuit Inc. | Systems and methods for purchasing products from a retail establishment using a mobile device |
JP5696119B2 (ja) * | 2012-10-04 | 2015-04-08 | ヤフー株式会社 | 広告配信装置、広告配信方法、及び広告配信プログラム |
JP2015041438A (ja) | 2013-08-21 | 2015-03-02 | アプリックスIpホールディングス株式会社 | 照明制御システム、端末およびその照明制御方法 |
JP6113896B1 (ja) * | 2016-07-04 | 2017-04-12 | 株式会社フューチャーアプリケーション | 販売支援システムおよび販売支援装置並びに販売支援方法 |
KR20180083228A (ko) * | 2017-01-12 | 2018-07-20 | 삼성전자주식회사 | 전자 장치 및 전자 장치에서의 전자 구매 방법 |
-
2020
- 2020-11-20 JP JP2020193545A patent/JP7175025B2/ja active Active
-
2021
- 2021-11-18 CN CN202180078065.6A patent/CN116615741A/zh active Pending
- 2021-11-18 US US18/037,265 patent/US20240020325A1/en active Pending
- 2021-11-18 WO PCT/JP2021/042500 patent/WO2022107863A1/ja active Application Filing
- 2021-11-18 EP EP21894735.6A patent/EP4250213A4/en active Pending
-
2022
- 2022-10-31 JP JP2022174363A patent/JP2023011785A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005327077A (ja) | 2004-05-14 | 2005-11-24 | Sony Corp | 買い物支援システム、買い物支援方法、携帯端末装置 |
JP2011113417A (ja) | 2009-11-27 | 2011-06-09 | Amitsukusu:Kk | 賃貸物件管理装置、通信端末、賃貸物件管理方法、賃貸物件管理プログラム及び賃貸物件管理システム |
JP2014171417A (ja) | 2013-03-07 | 2014-09-22 | Mitsui Eng & Shipbuild Co Ltd | バイオエタノールの回収方法及び回収システム |
US20160203352A1 (en) | 2013-09-20 | 2016-07-14 | Flashback Survey, Inc. | Using scanable codes to obtain a service |
US9864949B1 (en) | 2016-10-31 | 2018-01-09 | International Business Machines Corporation | Cognition model-based product assist |
US20190347319A1 (en) | 2018-05-11 | 2019-11-14 | Citrix Systems, Inc. | Generating Conversation Models From Documents |
JP2019207564A (ja) | 2018-05-29 | 2019-12-05 | クックパッド株式会社 | 情報処理システム、情報処理装置、情報処理方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20240020325A1 (en) | 2024-01-18 |
JP2022082154A (ja) | 2022-06-01 |
JP2023011785A (ja) | 2023-01-24 |
CN116615741A (zh) | 2023-08-18 |
EP4250213A4 (en) | 2024-01-24 |
EP4250213A1 (en) | 2023-09-27 |
WO2022107863A1 (ja) | 2022-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10719821B2 (en) | Merchandise sales data processing apparatus, and program therefor | |
US20140351058A1 (en) | System and method for enabling point of sale functionality in a wireless communications device | |
JP2005115843A (ja) | サービス提供システム、サーバ、端末装置及びサービス提供方法 | |
TW201729155A (zh) | 再訂購追蹤及積分分配 | |
CN109690594A (zh) | 使用即时通讯应用程序来促进支付的方法 | |
JP7452610B2 (ja) | 情報処理装置、及び制御方法 | |
WO2018218859A1 (zh) | 一种发送电子券的方法及装置 | |
JP2020129225A (ja) | 情報処理方法、プログラム、及び情報処理装置 | |
TWI486896B (zh) | 虛擬網路上贈送實體禮物的系統與方法 | |
JP7175025B2 (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
CN113781144A (zh) | 直播购物订单生成方法、装置、电子设备以及计算机介质 | |
JP2020079995A (ja) | 情報処理方法、情報処理装置及びプログラム | |
JP2020140635A (ja) | 購入管理装置、制御方法、及びプログラム | |
JP2020113005A (ja) | 情報処理方法、情報処理装置、及びプログラム | |
JP2020086813A (ja) | 食物アレルゲン情報管理システムおよび食物アレルゲン情報管理方法ならびに食物アレルゲン情報管理プログラム | |
JP2016148913A (ja) | 決済システム、決済方法及びプログラム | |
CN114820055A (zh) | 无人车售卖商品的推送方法、装置、无人车及存储介质 | |
JP6912436B2 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
JP2014071682A (ja) | 顧客管理装置、顧客管理方法、及びプログラム | |
KR102234134B1 (ko) | 네트워크 기반 상품 구매후기 등록 방법 및 시스템 | |
JP2020154445A (ja) | プログラム、情報処理方法、及び情報処理装置 | |
JP2021184185A (ja) | 情報処理方法、情報処理装置、プログラム、及び情報処理端末 | |
US20180341449A1 (en) | Display control method, order management method, display control device, and recording medium | |
KR20160051927A (ko) | 비회원 주문정보를 이용한 회원 등록 처리 시스템 및 방법 | |
EP3336792A1 (en) | Computer implemented item recommendation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220909 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220909 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220927 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221004 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221018 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221031 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7175025 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |