JP7196683B2 - 情報処理システム、プログラム、及び制御方法 - Google Patents

情報処理システム、プログラム、及び制御方法 Download PDF

Info

Publication number
JP7196683B2
JP7196683B2 JP2019032034A JP2019032034A JP7196683B2 JP 7196683 B2 JP7196683 B2 JP 7196683B2 JP 2019032034 A JP2019032034 A JP 2019032034A JP 2019032034 A JP2019032034 A JP 2019032034A JP 7196683 B2 JP7196683 B2 JP 7196683B2
Authority
JP
Japan
Prior art keywords
vehicle
information
occupant
content
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019032034A
Other languages
English (en)
Other versions
JP2020135761A (ja
Inventor
佳奈 浜上
卓也 前川
陽介 中山
晃年 軸丸
多恵 杉村
隆夫 菱川
真一 足立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2019032034A priority Critical patent/JP7196683B2/ja
Priority to US16/782,149 priority patent/US11521393B2/en
Priority to CN202010101283.4A priority patent/CN111611839A/zh
Publication of JP2020135761A publication Critical patent/JP2020135761A/ja
Application granted granted Critical
Publication of JP7196683B2 publication Critical patent/JP7196683B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • B60K35/265Voice
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1408Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/14172D bar codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1439Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1447Methods for optical code recognition including a method step for retrieval of the optical code extracting optical codes from image or text carrying said optical code
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207Discounts or incentives, e.g. coupons or rebates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0631Item recommendations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593Recognising seat occupancy
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/176Camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/186Displaying information according to relevancy
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • General Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Navigation (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、情報処理システム、プログラム、及び制御方法に関する。
従来、車両に搭載された車外カメラにより識別記号を撮像して、識別記号に関連付けられているコンテンツを車両が取得する技術が知られている。例えば、特許文献1には、屋内施設内の路面に描かれ、位置情報を含むバーコード又はQRコード(登録商標)を車載カメラで撮像し、撮像されたバーコード又はQRコードに含まれる位置情報に基づいて、車両の位置を検出する車両位置検出装置が開示されている。
特許第5015749号公報
位置情報のような固定のコンテンツと関連付けられた固定の識別記号を用いるのではなく、商品内容等を含むコンテンツと関連付けられる識別記号を有効に活用して、サービス提供者が車両の乗員に対してコンテンツを提供したいという要求があった。このとき、サービス提供者は、車両の乗員に対して最適なコンテンツを提供したいと望む。
かかる事情に鑑みてなされた本発明の目的は、識別記号を有効に活用した車両の乗員へのコンテンツ提供の最適化に寄与できる情報処理システム、プログラム、及び制御方法を提供することにある。
本発明の一実施形態に係る情報処理システムは、
車両と、前記車両によって取得される情報を前記車両から取得する情報処理装置と、を備える情報処理システムであって、
前記車両は、
サービス提供者により提供されるコンテンツと関連付けられる識別記号を車外カメラにより撮像し、
撮像された前記識別記号に関連付けられた前記コンテンツを、前記車両の車室内の乗員に対して出力し、
出力された前記コンテンツに関連する前記乗員の操作情報を取得し、
前記車室内で前記乗員が前記コンテンツに関連する操作を行うときの乗員に関する情報を取得し、
前記情報処理装置は、
前記乗員の操作情報に基づいて、出力された前記コンテンツが前記乗員によって選択されなかったと判定すると、前記乗員に関する情報に基づいて、選択されなかった前記コンテンツを更新するか否かを決定する。
本発明の一実施形態に係るプログラムは、
車両と、前記車両によって取得される情報を前記車両から取得する情報処理装置と、を備える情報処理システムにおいて動作するプログラムであって、
前記車両に、
サービス提供者により提供されるコンテンツと関連付けられる識別記号を車外カメラにより撮像するステップと、
撮像された前記識別記号に関連付けられた前記コンテンツを、前記車両の車室内の乗員に対して出力するステップと、
出力された前記コンテンツに関連する前記乗員の操作情報を取得するステップと、
前記車室内で前記乗員が前記コンテンツに関連する操作を行うときの乗員に関する情報を取得するステップと、
を実行させ、
前記情報処理装置に、
前記乗員の操作情報に基づいて、出力された前記コンテンツが前記乗員によって選択されなかったと判定すると、前記乗員に関する情報に基づいて、選択されなかった前記コンテンツを更新するか否かを決定するステップと、
を実行させる。
本発明の一実施形態に係る制御方法は、
車両と、前記車両によって取得される情報を前記車両から取得する情報処理装置と、を備える情報処理システムにおける制御方法であって、
前記車両において、
サービス提供者により提供されるコンテンツと関連付けられる識別記号を車外カメラにより撮像するステップと、
撮像された前記識別記号に関連付けられた前記コンテンツを、前記車両の車室内の乗員に対して出力するステップと、
出力された前記コンテンツに関連する前記乗員の操作情報を取得するステップと、
前記車室内で前記乗員が前記コンテンツに関連する操作を行うときの乗員に関する情報を取得するステップと、
を含み、
前記情報処理装置において、
前記乗員の操作情報に基づいて、出力された前記コンテンツが前記乗員によって選択されなかったと判定すると、前記乗員に関する情報に基づいて、選択されなかった前記コンテンツを更新するか否かを決定するステップと、
を含む。
本発明の一実施形態に係る情報処理システム、プログラム、及び制御方法によれば、識別記号を有効に活用した車両の乗員へのコンテンツ提供の最適化に寄与できる。
本発明の一実施形態に係る情報処理システムの概略構成を示す図である。 本発明の一実施形態に係る車両の概略構成を示すブロック図である。 図1の第1情報処理装置の概略構成を示すブロック図である。 図3の第1情報処理装置の制御部によって処理される情報の第1例を示す図である。 図3の第1情報処理装置の制御部によって処理される情報の第2例を示す図である。 図1の第2情報処理装置の概略構成を示すブロック図である。 図1の情報処理システムの動作のフローの第1例を示すシーケンス図である。 図1の情報処理システムの動作のフローの第2例を示すシーケンス図である。 図1の第1情報処理装置の動作のフローの例を示すフローチャートである。 図1の情報処理システムの動作のフローの第3例を示すシーケンス図である。
以下、添付図面を参照しながら本発明の一実施形態について説明する。
図1は、本発明の一実施形態に係る情報処理システム1の概略構成を示す図である。図1を参照して、本発明の一実施形態に係る情報処理システム1の構成及び機能について主に説明する。
情報処理システム1は、車両10と、第1情報処理装置20と、第2情報処理装置30と、を有する。車両10、第1情報処理装置20、及び第2情報処理装置30のそれぞれは、例えば移動体通信網及びインターネット等を含むネットワーク40と通信可能に接続されている。
車両10は、例えば自動車であるが、これに限定されず、人間が搭乗可能な任意の車両であってもよい。車両10は、運転者によって運転される車両であるが、これに限定されず、例えば、自動運転を行う車両であってもよい。自動運転は、例えば、SAE(Society of Automotive Engineers)において定義されるレベル1乃至5を含むが、これらに限定されず、任意に定義されてもよい。図1では説明の簡便のため、車両10について1台のみを図示しているが、情報処理システム1が有する車両10の数は1台以上であればよい。
第1情報処理装置20は、例えば車両10の乗員を含む顧客に対して任意のサービスを提供するサービス提供者が所有する、1つ又は互いに通信可能な複数のサーバ装置である。第1情報処理装置20は、これに限定されず、PC(Personal Computer)又はスマートフォン等の任意の汎用の電子機器であってもよいし、情報処理システム1に専用の他の電子機器であってもよい。サービス提供者は、例えば店舗及び商業施設等を運営する。
第2情報処理装置30は、例えばクレジットカード会社等の決済サービスを提供する会社が所有する、1つ又は互いに通信可能な複数のサーバ装置である。第2情報処理装置30は、これに限定されず、PC又はスマートフォン等の任意の汎用の電子機器であってもよいし、情報処理システム1に専用の他の電子機器であってもよい。図1では説明の簡便のため、第2情報処理装置30を構成するサーバ装置を1つだけ例示的に図示している。
図2は、本発明の一実施形態に係る車両10の概略構成を示すブロック図である。
車両10は、制御部11と、通信部12と、記憶部13と、撮像部14と、入力部15と、出力部16と、乗員情報取得部17と、を有する。車両10を構成するこれらの構成部は、例えばCAN(Controller Area Network)等の車載ネットワーク又は専用線を介して、互いに通信可能に接続されている。
一実施形態の概要として、車両10の撮像部14は、サービス提供者により提供されるコンテンツと関連付けられる識別記号を車外カメラにより撮像する。コンテンツは、例えば、サービス提供者が顧客に対して提供する商品内容、顧客が注文した商品に関連付けられた決済情報、店舗又は商業施設における混雑状況、商業施設内の施設情報、店舗又は商業施設の駐車場の空き状況、及び店舗又は商業施設で利用可能なクーポン情報等を含む。制御部11は、撮像部14が識別記号を撮像したか否かを判定してもよい。制御部11は、例えば撮像部14が識別記号を撮像したと判定すると、撮像された識別記号に関連付けられたコンテンツを取得する。制御部11は、取得されたコンテンツを、車両10の車室内の乗員に対して出力部16により出力する。車両10の乗員は、車両10の運転者及び同乗者を含む。車両10の乗員の数は、1人であってもよいし、複数であってもよい。
車両10の制御部11は、出力部16により出力されたコンテンツに関連する乗員の操作情報を入力部15から取得する。制御部11は、車両10の車室内で乗員がコンテンツに関連する操作を行うときの乗員に関する情報を乗員情報取得部17により取得する。第1情報処理装置20は、乗員の操作情報及び乗員に関する情報を車両10から取得する。第1情報処理装置20は、乗員の操作情報に基づいて、出力部16により出力されたコンテンツが乗員によって選択されなかったと判定すると、乗員に関する情報に基づいて、選択されなかったコンテンツを更新するか否かを決定する。
次に、車両10の各構成について、詳細に説明する。
制御部11は、1つ以上のプロセッサを有する。一実施形態において「プロセッサ」は、汎用のプロセッサ、又は特定の処理に特化した専用のプロセッサであるが、これらに限定されない。車両10に搭載されたECU(Electronic Control Unit)が、制御部11として機能してもよい。制御部11は、車両10を構成する各構成部と例えば通信可能に接続され、車両10全体の動作を制御する。一実施形態では、例えば、制御部11は、撮像部14、入力部15、及び乗員情報取得部17を制御して各種情報を取得する。
通信部12は、車載ネットワーク又は専用線を介して通信する通信モジュールを含む。通信部12は、ネットワーク40に接続する通信モジュールを含む。例えば、通信部12は、4G(4th Generation)及び5G(5th Generation)等の移動体通信規格に対応する通信モジュールを含んでもよい。例えばDCM(Data Communication Module)等の車載通信機が通信部12として機能してもよい。一実施形態において、車両10は、通信部12を介してネットワーク40に接続されている。
記憶部13は、1つ以上のメモリを含む。一実施形態において「メモリ」は、例えば半導体メモリ、磁気メモリ、又は光メモリ等であるが、これらに限定されない。記憶部13に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部13は、車両10の動作に用いられる任意の情報を記憶する。例えば、記憶部13は、システムプログラム、アプリケーションプログラム、及び車両10によって取得された各種情報等を記憶してもよい。記憶部13に記憶された情報は、例えば通信部12を介してネットワーク40から取得される情報で更新可能であってもよい。
撮像部14は、車両10の外部を撮像する車外カメラを含む。撮像部14は、サービス提供者側で随時更新されるコンテンツと関連付けられコンテンツごとに変化する識別記号を撮像する。識別記号は、QRコードを含む。これに限定されず、識別記号は、バーコード等の任意の記号を含んでもよい。撮像部14は、例えば車両10の外部を常時撮像しながらこのような識別記号を撮像してもよいし、入力部15を用いた車両10の乗員の操作に基づいて、このような識別記号を撮像してもよい。
撮像部14又は制御部11は、任意の画像認識技術を用いて、車外カメラによって撮像された画像から識別記号を認識してもよい。
入力部15は、車両10の乗員による入力操作を受け付ける。一実施形態では、入力部15は、例えばカーナビゲーション装置が有する入力インタフェースを含む。入力部15は、車両10の乗員による入力操作を受け付ける。例えば、入力部15は、出力部16によって出力されたコンテンツに関連する車両10の乗員の操作情報を取得する。例えば、サービス提供者が顧客に対して提供する商品内容をコンテンツが含む場合、乗員の操作情報は、出力部16によって出力された商品内容から車両10の乗員が所定の商品を選択するときの入力情報を含む。入力部15は、取得した車両10の乗員による入力情報を制御部11に出力する。
出力部16は、撮像部14によって取得された情報を、車両10の車室内で乗員に対して出力する。一実施形態では、出力部16は、カーナビゲーション装置を含む。例えば、出力部16は、カーナビゲーション装置を構成する液晶モニタ等の出力デバイスを含む。出力部16を構成するカーナビゲーション装置は、例えば、コンテンツを画像及び音声の少なくとも一方により出力する。
出力部16は、これに限定されず、車両10の乗員の視覚及び聴覚の少なくとも一方に影響を及ぼす任意の出力デバイスを含んでもよい。出力部16は、例えば、車両10の乗員の聴覚に主に影響を及ぼす、カーナビゲーション装置以外の他の任意の音声出力デバイスを含んでもよい。出力部16は、例えば、車両10の乗員の視覚に主に影響を及ぼす、カーナビゲーション装置以外の他の任意の画像出力デバイスを含んでもよい。
乗員情報取得部17は、車両10の車室内で乗員に関する情報及び乗員の属性を取得する。一実施形態では、乗員情報取得部17は、車両10の車室内を撮像する車室内カメラを含む。乗員情報取得部17は、例えば、車室内カメラによって撮像された画像から乗員に関する情報及び乗員の属性を取得する。このとき、乗員に関する情報は、車両10の乗員の表情、顔向き、視線、瞬き状態、仕草、言動、所持品、並びに運転(乗車)継続時間の少なくとも1つを含む。乗員の属性は、車両10の乗員の年齢、性別、国籍、人種、人数、及び顔の少なくとも1つを含む。乗員情報取得部17は、乗員に関する情報及び乗員の属性を常時取得してもよいし、適宜なタイミングで取得してもよい。
乗員情報取得部17は、例えば顔認識技術を用いて、車室内カメラによって撮像された画像から、乗員の顔、表情、顔向き、視線、及び瞬き状態等の情報を取得してもよい。その他にも、乗員情報取得部17は、任意の画像認識技術を用いて、車室内カメラによって撮像された画像から乗員に関する情報及び乗員の属性を取得してもよい。
乗員情報取得部17の構成は、上記の内容に限定されない。乗員情報取得部17は、車室内カメラとは異なる、任意の他の画像センサを含んでもよい。乗員情報取得部17は、CANに接続されている任意の他のセンサを含んでもよい。
例えば、乗員情報取得部17は、車両10の車室内に設置され、CANに接続されている任意の音センサを含んでもよい。乗員情報取得部17は、例えば、音センサによって出力された出力情報から乗員に関する情報を取得してもよい。このとき、乗員に関する情報は、例えば乗員の会話内容、その他の音声言語を表出する乗員の行動により生じた音声、及びその他の音を表出する乗員の行動により生じた音等を含む乗員に起因する音情報を含んでもよい。
乗員情報取得部17は、例えば音声認識技術及び他の任意の認識技術を用いて、音センサによって出力された出力情報から乗員に関する情報を取得してもよい。
例えば、乗員情報取得部17は、車両10の車室内に設置され、CANに接続されている任意の生体センサを含んでもよい。乗員情報取得部17は、例えば、生体センサによって出力された出力情報から乗員に関する情報を取得してもよい。このとき、乗員に関する情報は、例えば脳波、脳血流、血圧、血糖値、血中アミノ酸、心拍、脈拍、体温、体感温度、空腹感、及び疲れ等を含む乗員の生体状態を含んでもよい。
図3は、図1の第1情報処理装置20の概略構成を示すブロック図である。図3に示すように、第1情報処理装置20は、制御部21と、通信部22と、記憶部23と、表示部24と、を有する。
制御部21は、1つ以上のプロセッサを有する。制御部21は、第1情報処理装置20を構成する各構成部と接続され、第1情報処理装置20全体の動作を制御する。例えば、制御部21は、通信部22を制御して、ネットワーク40を介して車両10の乗員情報取得部17から乗員に関する情報及び乗員の属性を取得する。例えば、制御部21は、記憶部23を制御して、第1情報処理装置20の動作に必要な情報を記憶部23に格納する。
通信部22は、ネットワーク40に接続する通信モジュールを含む。例えば、通信部22は、有線LAN(Local Area Network)規格に対応する通信モジュールを含んでもよい。一実施形態において、第1情報処理装置20は、通信部22を介してネットワーク40に接続されている。
記憶部23は、1つ以上のメモリを含む。記憶部23に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部23は、第1情報処理装置20の動作に用いられる任意の情報を記憶する。記憶部23に記憶された情報は、例えば通信部22を介してネットワーク40から取得される情報で更新可能であってもよい。例えば、記憶部23は、システムプログラム及びアプリケーションプログラムを記憶してもよい。
例えば、記憶部23は、車両10の乗員情報取得部17により取得された乗員に関する情報及び乗員の属性を記憶してもよい。例えば、記憶部23は、第1情報処理装置20を所有するサービス提供者が顧客への提供を所望するコンテンツ、及び車両10の乗員の属性に対応したコンテンツと関連付けられる識別記号に関する情報を記憶してもよい。その他にも、記憶部23は、例えばサービス提供者によって提供されたサービスに対する顧客の購買データを顧客ごとにビッグデータとして記憶していてもよい。このような購買データは、例えば、複数の車両10に搭載された車両10の乗員情報取得部17により過去に取得された複数の乗員の属性ごとに、そのときの顧客の購買内容を関連付けて、制御部21により構築されてもよい。
表示部24は、車両10の撮像部14が撮像する識別記号を表示する任意の表示デバイスを含む。例えば、表示部24は、液晶モニタを含む。表示部24は、例えば、サービス提供者が運営する店舗及び商業施設等における任意の箇所に設置されてもよい。表示部24は、例えば、第1情報処理装置20を所有するサービス提供者の店舗におけるドライブスルーの入り口付近及び店舗における公道に面した箇所等に設置されてもよい。表示部24は、例えば、第1情報処理装置20を所有するサービス提供者の商業施設の駐車場の入り口付近等に設置されてもよい。
制御部21は、車両10の乗員情報取得部17により取得された乗員の属性に対応したコンテンツと関連付けて識別記号を生成してもよい。制御部21は、車両10の乗員情報取得部17により取得された乗員の属性に基づいて、記憶部23により記憶されたコンテンツのうち当該乗員の属性に対応したコンテンツを、例えば機械学習により選択してもよい。制御部21は、このような選択処理を実行するために任意の学習処理の構成を有してもよい。制御部21は、機械学習による最適なコンテンツの選択にあたり、例えば、記憶部23にビッグデータとして記憶されている顧客の購買データを参照してもよい。制御部21は、選択されたコンテンツと関連付けられた識別記号を表示部24に表示する。
図4は、図3の第1情報処理装置20の制御部21によって処理される情報の第1例を示す図である。図4を参照しながら、第1情報処理装置20の制御部21によって選択されるコンテンツについてより具体的に説明する。
例えば、制御部21は、車両10の乗員情報取得部17により取得された乗員の属性として、車両10の乗員の人数が3人であり、性別がそれぞれ男性、女性、及び男の子であり、年齢がそれぞれ40歳、35歳、及び0歳であることを車両10より取得する。このとき、制御部21は、当該乗員の属性に対応させて、記憶部23が記憶するコンテンツのうち、商業施設内の施設情報としてベビー用品店に関する情報を、及びクーポン情報としてベビー用品の割引クーポンに関する情報を選択する。制御部21は、当該乗員の属性に対応したこれらのコンテンツと関連付けて識別記号S1を生成し、表示部24に表示する。
例えば、制御部21は、車両10の乗員情報取得部17により取得された乗員の属性として、車両10の乗員の顔を車両10より取得する。このとき、制御部21は、記憶部23が記憶する顧客の購買データも参照して、乗員の属性に基づき車両10の乗員の来店回数及び過去の購買内容等を取得する。制御部21は、記憶部23が記憶するコンテンツのうち、サービス提供者が顧客に対して提供する商品内容として、車両10の乗員が直近で注文した商品に関する情報を、当該乗員の属性に対応させて選択する。制御部21は、当該乗員の属性に対応したこのようなコンテンツと関連付けて識別記号S2を生成し、表示部24に表示する。
車両10の撮像部14は、サービス提供者により提供されるコンテンツと関連付けられる上記のような識別記号を車外カメラにより撮像する。車両10の出力部16は、撮像部14により撮像された識別記号に関連付けられたコンテンツを、車両10の車室内の乗員に対して出力する。車両10の入力部15は、出力部16によって出力されたコンテンツに関連する車両10の乗員の操作情報を取得する。同様に、車両10の乗員情報取得部17は、車両10の車室内で乗員がコンテンツに関連する操作を行うときの乗員に関する情報を取得する。その後、車両10の通信部12は、入力部15によって取得された乗員の操作情報と、乗員情報取得部17によって取得された乗員に関する情報と、をネットワーク40を介して第1情報処理装置20に送信する。
第1情報処理装置20の制御部21は、車両10から取得した乗員の操作情報に基づいて、車両10の出力部16により出力されたコンテンツが車両10の乗員によって選択されたか否かを判定する。例えば、出力部16に表示されたコンテンツ画面においてホーム画面に戻すような操作を車両10の乗員が行い、出力されたコンテンツが車両10の乗員によって選択されなかったと制御部21が判定すると、車両10から取得した乗員に関する情報に基づいて、選択されなかったコンテンツを更新するか否かを決定する。
例えば、制御部21は、車両10から取得した乗員に関する情報に基づいて、選択されなかったコンテンツに対する乗員の好感度を、機械学習により算出してもよい。制御部21は、このような算出処理を実行するために任意の学習処理の構成を有してもよい。乗員の好感度は、任意の指標に基づいて算出されてもよい。例えば、乗員の好感度は、0から100までの数値により表されてもよい。このように、乗員の好感度は、任意の数値範囲内の数値によって表わされてもよい。このとき、乗員の好感度の値が大きいほど、車両10の乗員がコンテンツに対して好印象を抱いていることを示す。逆に、乗員の好感度の値が小さいほど、車両10の乗員がコンテンツに対して悪印象を抱いていることを示す。乗員の好感度は、乗員ごとに算出されてもよいし、乗員が複数いる場合、各乗員の好感度の平均として算出されてもよい。
制御部21は、乗員の好感度が閾値よりも小さいと、選択されなかったコンテンツを乗員の属性に適合するように更新してもよい。このとき、制御部21は、車両10の乗員情報取得部17により取得された乗員の属性に基づいて、記憶部23により記憶されたコンテンツのうち当該乗員の属性に適合したコンテンツを、上記と同様に例えば機械学習により選択してもよい。
制御部21は、例えば、更新されたコンテンツと関連付けられる識別記号を続けて表示部24に表示して、同一の車両10の乗員に対してリアルタイムに更新されたコンテンツを提供してもよい。これに限定されず、制御部21は、更新されたコンテンツと関連付けられる識別記号に関する情報を記憶部23に格納して、後日同一又は類似の乗員の属性を有する車両10の乗員に対して、更新されたコンテンツを提供してもよい。
図5は、図3の第1情報処理装置20の制御部21によって処理される情報の第2例を示す図である。図5を参照しながら、第1情報処理装置20の制御部21によって更新の要否が決定されるコンテンツについてより具体的に説明する。
例えば、制御部21は、車両10の乗員情報取得部17により取得された乗員に関する情報として、笑顔の乗員の表情を取得する。このとき、制御部21は、このような乗員の表情に基づいて乗員の好感度を100と算出する。例えば、乗員の好感度の閾値が50であるとすると乗員の好感度は閾値よりも大きいので、制御部21は、識別記号S1に関連付けるコンテンツを更新しない。すなわち、識別記号S1に関連付けられているコンテンツは車両10の乗員によって選択されなかったが、車両10の乗員が好印象を抱くものであるので、制御部21は、識別記号S1に関連付けられているコンテンツを維持する。
例えば、制御部21は、車両10の乗員情報取得部17により取得された乗員に関する情報として、乗員の悩む仕草を取得する。このとき、制御部21は、このような乗員の仕草に基づいて乗員の好感度を10と算出する。例えば、乗員の好感度の閾値が50であるとすると乗員の好感度は閾値よりも小さいので、制御部21は、識別記号S2に関連付けるコンテンツを乗員の属性に適合するように更新する。例えば、制御部21は、識別記号S2に関連付けられているコンテンツを、車両10の乗員が直近で注文した商品に関する情報から、車両10の乗員が過去に最も多く注文した商品に関する情報へと更新する。このとき、制御部21は、記憶部23が記憶する顧客の購買データも参照して、乗員の属性に基づき車両10の乗員の来店回数及び過去の購買内容等を取得する。
図6は、図1の第2情報処理装置30の概略構成を示すブロック図である。図6に示すように、第2情報処理装置30は、制御部31と、通信部32と、記憶部33と、を有する。
制御部31は、1つ以上のプロセッサを有する。制御部31は、第2情報処理装置30を構成する各構成部と接続され、第2情報処理装置30全体の動作を制御する。例えば、制御部31は、通信部32を制御して、ネットワーク40を介して車両10から後述する決済情報を取得する。例えば、制御部31は、記憶部33を制御して、第2情報処理装置30の動作に必要な情報を記憶部33に格納する。
通信部32は、ネットワーク40に接続する通信モジュールを含む。例えば、通信部32は、有線LAN(Local Area Network)規格に対応する通信モジュールを含んでもよい。一実施形態において、第2情報処理装置30は、通信部32を介してネットワーク40に接続されている。
記憶部33は、1つ以上のメモリを含む。記憶部33に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部33は、第2情報処理装置30の動作に用いられる任意の情報を記憶する。記憶部33に記憶された情報は、例えば通信部32を介してネットワーク40から取得される情報で更新可能であってもよい。例えば、記憶部33は、システムプログラム、アプリケーションプログラム、及び車両10の乗員の決済手段に関する情報を当該乗員ごとに記憶してもよい。
例えば、サービス提供者が顧客に対して提供する商品内容をコンテンツが含む場合、車両10の制御部11は、出力部16により出力された商品内容の中から所定の商品を車両10の乗員が選択するときの入力情報を入力部15から取得する。このとき、制御部11は、車両10の乗員の決済手段に関する情報が登録された外部の第2情報処理装置30に対して、選択された商品に関連付けられた決済情報を通信部12により送信する。加えて、制御部11は、外部の第2情報処理装置30に対して、車両10の乗員の識別情報を通信部12により送信する。
第2情報処理装置30の制御部31は、車両10から取得した車両10の乗員の識別情報と、記憶部33に記憶されている決済手段に関する情報と、を照合して、選択された商品に関連付けられた決済情報に対して決済処理を実行する。制御部31は、例えば決済処理の結果を、ネットワーク40を介して車両10及び第1情報処理装置20に送信する。以上により、第2情報処理装置30を介した決済処理が完了する。
図7は、図1の情報処理システム1の動作のフローの第1例を示すシーケンス図である。図7は、車両10と第1情報処理装置20との間で実行される、車両10の乗員に対してコンテンツを提供するまでのフローの一例を示す。図7を参照して、情報処理システム1の動作フローの一例について説明する。
ステップS100:車両10の制御部11は、乗員情報取得部17により、車両10の車室内で乗員の属性を取得する。
ステップS101:車両10の制御部11は、ステップS100において取得された乗員の属性を通信部12により第1情報処理装置20に送信する。
ステップS102:第1情報処理装置20の制御部21は、ステップS101において車両10から取得した乗員の属性に基づいて、当該乗員の属性に対応したコンテンツと関連付けて識別記号を生成する。このとき、制御部21は、必要に応じて、記憶部23にビッグデータとして記憶されている顧客の購買データを参照してもよい。
ステップS103:第1情報処理装置20の制御部21は、ステップS102において生成された識別記号を表示部24に表示する。
ステップS104:車両10の制御部11は、ステップS103において第1情報処理装置20の表示部24に表示された識別記号を、撮像部14により撮像する。
ステップS105:車両10の制御部11は、ステップS104において撮像部14により撮像された識別記号に関連付けられたコンテンツを取得する。
ステップS106:車両10の制御部11は、ステップS105において取得されたコンテンツを、車両10の車室内の乗員に対して出力部16により出力する。
図8は、図1の情報処理システム1の動作のフローの第2例を示すシーケンス図である。図8は、車両10と第1情報処理装置20との間で実行される、車両10の乗員に対してコンテンツが提供された後のフローの一例を示す。図8を参照して、情報処理システム1の動作フローの一例について説明する。
ステップS200:車両10の制御部11は、出力部16により出力されたコンテンツに関連する車両10の乗員の操作情報を入力部15から取得する。同様に、車両10の制御部11は、車両10の車室内で乗員がコンテンツに関連する操作を行うときの乗員に関する情報を乗員情報取得部17により取得する。
ステップS201:車両10の制御部11は、ステップS200において取得された乗員の操作情報及び乗員に関する情報を通信部12により第1情報処理装置20に送信する。
ステップS202:第1情報処理装置20の制御部21は、ステップS201において車両10から取得した乗員の操作情報に基づいて、出力部16により出力されたコンテンツが車両10の乗員によって選択されたか否かを判定する。
ステップS203:第1情報処理装置20の制御部21は、出力部16により出力されたコンテンツが車両10の乗員によって選択されなかったと判定する。
ステップS204:第1情報処理装置20の制御部21は、ステップS201において車両10から取得した乗員に関する情報に基づいて、選択されなかったコンテンツを更新するか否かを決定する。
図9は、図1の第1情報処理装置20の動作のフローの例を示すフローチャートである。図9に示すフローは、図8のステップS204を具体化したものである。図9を参照して、第1情報処理装置20の動作フローの一例について説明する。
ステップS300:第1情報処理装置20の制御部21は、車両10から取得した乗員に関する情報に基づいて、選択されなかったコンテンツに対する乗員の好感度を算出する。
ステップS301:第1情報処理装置20の制御部21は、算出された乗員の好感度が閾値よりも小さいか否かを判定する。制御部21は、算出された乗員の好感度が閾値よりも小さいと判定すると、ステップS302の処理を実行する。制御部21は、算出された乗員の好感度が閾値以上であると判定すると、ステップS303の処理を実行する。
ステップS302:第1情報処理装置20の制御部21は、算出された乗員の好感度が閾値よりも小さいと判定すると、車両10の乗員によって選択されなかったコンテンツを乗員の属性に適合するように更新する。
ステップS303:第1情報処理装置20の制御部21は、算出された乗員の好感度が閾値以上であると判定すると、車両10の乗員によって選択されなかったコンテンツを維持する。
図10は、図1の情報処理システム1の動作のフローの第3例を示すシーケンス図である。図10は、主に車両10と第2情報処理装置30との間で実行されるフローの一例を示す。より具体的には、図10は、提供されたコンテンツに対して車両10の乗員が選択操作を行ってから決済処理が完了するまでのフローの一例を示す。図10を参照して、情報処理システム1の動作フローの一例について説明する。
ステップS400:車両10の制御部11は、例えば、出力部16により出力された商品内容の中から所定の商品を車両10の乗員が選択するときの入力情報を入力部15から取得する。
ステップS401:車両10の制御部11は、ステップS400において選択された商品に関連付けられた決済情報を通信部12により第2情報処理装置30に送信する。加えて、制御部11は、車両10の乗員の識別情報を通信部12により第2情報処理装置30に送信する。
ステップS402:第2情報処理装置30の制御部31は、ステップS401において車両10から取得した車両10の乗員の識別情報と、記憶部33に記憶されている決済手段に関する情報と、を照合する。
ステップS403:第2情報処理装置30の制御部31は、ステップS401において車両10から取得した決済情報に対して決済処理を実行する。
ステップS404:第2情報処理装置30の制御部31は、ステップS403における決済処理の結果を、ネットワーク40を介して車両10及び第1情報処理装置20に送信する。
以上述べたように、一実施形態に係る車両10によれば、識別記号を有効に活用した車両10の乗員へのコンテンツ提供に寄与できる。より具体的には、撮像部14が撮像する識別記号が、サービス提供者側で随時更新されるコンテンツと関連付けられコンテンツごとに変化することで、サービス提供者が車両10の乗員に対してその都度提供したいと所望するコンテンツを適切に提供可能である。例えば、サービス提供者が顧客に対して提供する商品内容をコンテンツが含む場合、サービス提供者は、商品の入れ替え及び変更等に応じて現行化された最新の商品内容を車両10の乗員に適切に提供可能である。このように、車両10の乗員は、上述した様々なコンテンツを、最新の状態で確認することができる。
例えば、サービス提供者が所定期間提供したいと所望するコンテンツと関連付けられた識別記号を、第1情報処理装置20の表示部24が対応する期間中常時表示することで、第1情報処理装置20は、車両10を個別に認識するような処理を実行する必要がない。仮に、表示部24に識別記号が表示されないと、サービス提供者が車両10の乗員にコンテンツを提供するためには、何かしらの方法で、店舗及び商業施設等に車両10が到着したことを第1情報処理装置20が検知する必要がある。一実施形態に係る情報処理システム1では、表示部24に識別記号を常時表示させて、店舗及び商業施設等に到着した車両10の車両10がコンテンツを自動的に取得することで、このような第1情報処理装置20による車両10の個別認識に関する処理が不要となる。
加えて、車両10の乗員は、車両10から降りることなく車室内にとどまった状態で様々なコンテンツを容易に確認することができる。例えば、車両10が店舗における公道に面した箇所で表示された識別記号に基づいてコンテンツを取得するような場合、車両10の乗員は、店舗にわざわざ入らなくても、店舗の前を通過するだけで、当該店舗に関連するコンテンツを容易に入手可能である。例えば、車両10が店舗におけるドライブスルーの入り口付近で表示された識別記号に基づいてコンテンツを取得するような場合、車両10の乗員は、ドライブスルー内に設置された看板を遠目に見るようなことをする必要もなく、出力部16によりコンテンツを容易に確認することができる。
例えば、顧客が注文した商品に関連付けられた決済情報をコンテンツが含む場合、車両10の乗員は、出力部16により出力された決済情報を車両10の車室内で確認して、入力部15を操作しながら車両10の車室内で決済処理を完了させることも可能となる。このとき、例えば、図10を用いて説明した動作フローと同様のフローに基づいて、決済処理が実行されてもよい。以上により、車両10の乗員は、決済処理を完了させるにあたって、車両10の車室内で入力部15を操作するだけでよく、例えばドライブスルー等で財布を出して店舗の窓口に立っている従業員にお金を支払う等の手間を省くことができる。したがって、ドライブスルー等での注文及び決済の流れが円滑化する。
一実施形態に係る情報処理システム1によれば、識別記号を有効に活用した車両10の乗員へのコンテンツ提供の最適化に寄与できる。より具体的には、第1情報処理装置20の制御部21は、乗員に関する情報に基づいて、選択されなかったコンテンツを更新するか否かを決定することで、車両10の乗員がコンテンツに関連する操作を行うときの乗員の反応に合わせて、提供するコンテンツを適切に変更できる。すなわち、コンテンツに対する乗員の反応が良好でないときは、制御部21は、選択されなかった当該コンテンツを更新して他のコンテンツを車両10の乗員に提供することができる。一方で、コンテンツに対する乗員の反応が良好であるときは、車両10の乗員が例えコンテンツを選択しなかったとしても積極的に当該コンテンツを変更する理由がないので、制御部21はこのような状況に適切に対応して、当該コンテンツを維持することができる。
乗員に関する情報に基づいて、選択されなかったコンテンツに対する乗員の好感度を制御部21が算出することで、情報処理システム1は、選択されなかったコンテンツを更新するか否かの決定を、より客観的な情報に基づいて実行可能である。これにより、情報処理システム1は、コンテンツの更新の決定をより精度良く実行することができる。加えて、選択されなかったコンテンツを乗員の属性に適合するように更新することで、情報処理システム1は、乗員の属性に応じた最適なコンテンツを車両10の乗員に対して提供できる。サービス提供者は、提供したコンテンツが選択されなかった理由を仮に把握できなかったとしても、情報処理システム1による機械学習に基づいて車両10の乗員に適切なコンテンツを提供可能である。
車両10は、車室内カメラによって撮像された画像から乗員に関する情報及び乗員の属性を取得することで、乗員に関する情報及び乗員の属性を視覚情報として取得することができる。これにより、第1情報処理装置20は、視覚情報に基づいて正確に乗員の好感度を算出することができる。第1情報処理装置20は、乗員の属性に適合したコンテンツを、視覚情報に基づいて正確に選択することができる。
車両10は、乗員に関する情報を取得可能な任意のセンサによって出力された出力情報から車両10の乗員に関する情報を取得することで、視覚情報によっては取得できない種々の乗員に関する情報を取得することができる。例えば、車両10は、視覚情報によっては取得できない乗員に起因する音情報を、音センサによって出力された出力情報から取得することができる。例えば、車両10は、視覚情報によっては取得できない微妙な感情の変化を乗員の生体状態として、生体センサによって出力された出力情報から取得することができる。
乗員が商品を選択するときの入力情報に基づいて、車両10が第2情報処理装置30に対して決済情報を送信することで、車両10の乗員は、入力部15を操作しながら車両10の車室内で決済処理を完了させることも可能となる。これにより、注文及び決済の流れが円滑化し、車両10の乗員の利便性が向上する。
本発明を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。したがって、これらの変形及び修正は本発明の範囲に含まれることに留意されたい。例えば、各手段又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段又はステップ等を1つに組み合わせたり、或いは分割したりすることが可能である。
例えば、上述した実施形態において、車両10の各構成部は、車両10に搭載されるとして説明した。しかしながら、車両10の各構成部が実行する一部又は全部の処理動作を、例えばスマートフォン又はコンピュータ等の任意の電子機器が実行する構成も可能である。
例えば、スマートフォン及びコンピュータ等の汎用の電子機器を、上述した実施形態に係る車両10の各構成部、第1情報処理装置20、及び第2情報処理装置30の少なくとも1つとして機能させる構成も可能である。例えば、実施形態に係る通信部12等の各機能を実現する処理内容を記述したプログラムを、電子機器のメモリに格納し、電子機器のプロセッサによって当該プログラムを読み出して実行させる。したがって、一実施形態に係る発明は、プロセッサが実行可能なプログラムとしても実現可能である。
上述した実施形態において、車両10と第1情報処理装置20とは、ネットワーク40を介して通信接続されているとして説明した。しかしながら、車両10と第1情報処理装置20とは、ネットワーク40を介さずに、任意の通信方式を用いて直接的に通信接続されてもよい。
上述した実施形態において、乗員の好感度は、任意の数値範囲内の数値によって表わされるとして説明した。乗員の好感度は、これに限定されず、例えば「低」、「中」、及び「高」の3つのレベルのいずれかで表わされてもよい。
上述した実施形態において、制御部21は、乗員の好感度に基づいて、選択されなかったコンテンツを更新するか否かを決定するとして説明した。しかしながら、これに限定されず、制御部21は、乗員の好感度を算出せずに、所定の乗員に関する情報が得られたときに、選択されなかったコンテンツを更新してもよい。所定の乗員に関する情報は、例えば、選択されなかったコンテンツに対して首をかしげる等の所定の仕草、乗員が発声した「希望の商品ではない」等の所定の会話内容、及び特定の脳波パターン等の所定の生体状態を含んでもよい。
上述した実施形態において、情報処理システム1は、乗員に関する情報に基づいて乗員の好感度を算出するとして説明した。しかしながら、乗員に関する情報に基づいて算出される情報は、選択されなかったコンテンツに対する乗員の好感度に限定されない。乗員に関する情報に基づいて算出される情報は、選択されなかったコンテンツに対する乗員の好感度、感動度、及び興奮度等を含む、乗員の反応に対応付けられる任意の指標であってもよい。
1 情報処理システム
10 車両
11 制御部
12 通信部
13 記憶部
14 撮像部
15 入力部
16 出力部
17 乗員情報取得部
20 第1情報処理装置
21 制御部
22 通信部
23 記憶部
24 表示部
30 第2情報処理装置
31 制御部
32 通信部
33 記憶部
40 ネットワーク
S1、S2 識別記号

Claims (7)

  1. 車両と、前記車両によって取得される情報を前記車両から取得する情報処理装置と、を備える情報処理システムであって、
    前記車両は、
    サービス提供者により提供されるコンテンツと関連付けられる識別記号を車外カメラにより撮像し、
    撮像された前記識別記号に関連付けられた前記コンテンツを、前記車両の車室内の乗員に対して出力し、
    出力された前記コンテンツに関連する前記乗員の操作情報を取得し、
    前記車室内で前記乗員が前記コンテンツに関連する操作を行うときの乗員に関する情報を取得し、
    前記情報処理装置は、
    前記乗員の操作情報に基づいて、出力された前記コンテンツが前記乗員によって選択されなかったと判定すると、前記乗員に関する情報に基づいて算出される情報又は選択されなかった前記コンテンツに対する前記乗員に関する情報を用いて、選択されなかった前記コンテンツを更新するか否かを決定する、
    情報処理システム。
  2. 前記車両は、前記車両の前記車室内で乗員の属性を取得し、
    前記情報処理装置は、
    前記乗員に関する情報に基づいて、選択されなかった前記コンテンツに対する前記乗員の好感度を算出し、
    前記乗員の好感度が閾値よりも小さいと、選択されなかった前記コンテンツを前記乗員の属性に適合するように更新する、
    請求項1に記載の情報処理システム。
  3. 前記車両は、前記車両の車室内を撮像する車室内カメラを含み、前記車室内カメラによって撮像された画像から前記乗員に関する情報及び前記乗員の属性を取得する、
    請求項2に記載の情報処理システム。
  4. 前記コンテンツは、前記サービス提供者が顧客に対して提供する商品内容を含み、
    前記乗員の操作情報は、出力された前記商品内容から前記乗員が所定の商品を選択するときの入力情報を含む、
    請求項1乃至3のいずれか1項に記載の情報処理システム。
  5. 前記識別記号は、QRコード(登録商標)を含む、
    請求項1乃至4のいずれか1項に記載の情報処理システム。
  6. 車両と、前記車両によって取得される情報を前記車両から取得する情報処理装置と、を備える情報処理システムにおいて動作するプログラムであって、
    前記車両に、
    サービス提供者により提供されるコンテンツと関連付けられる識別記号を車外カメラにより撮像するステップと、
    撮像された前記識別記号に関連付けられた前記コンテンツを、前記車両の車室内の乗員に対して出力するステップと、
    出力された前記コンテンツに関連する前記乗員の操作情報を取得するステップと、
    前記車室内で前記乗員が前記コンテンツに関連する操作を行うときの乗員に関する情報を取得するステップと、
    を実行させ、
    前記情報処理装置に、
    前記乗員の操作情報に基づいて、出力された前記コンテンツが前記乗員によって選択されなかったと判定すると、前記乗員に関する情報に基づいて算出される情報又は選択されなかった前記コンテンツに対する前記乗員に関する情報を用いて、選択されなかった前記コンテンツを更新するか否かを決定するステップと、
    を実行させる、
    プログラム。
  7. 車両と、前記車両によって取得される情報を前記車両から取得する情報処理装置と、を備える情報処理システムにおける制御方法であって、
    前記車両において、
    サービス提供者により提供されるコンテンツと関連付けられる識別記号を車外カメラにより撮像するステップと、
    撮像された前記識別記号に関連付けられた前記コンテンツを、前記車両の車室内の乗員に対して出力するステップと、
    出力された前記コンテンツに関連する前記乗員の操作情報を取得するステップと、
    前記車室内で前記乗員が前記コンテンツに関連する操作を行うときの乗員に関する情報を取得するステップと、
    を含み、
    前記情報処理装置において、
    前記乗員の操作情報に基づいて、出力された前記コンテンツが前記乗員によって選択されなかったと判定すると、前記乗員に関する情報に基づいて算出される情報又は選択されなかった前記コンテンツに対する前記乗員に関する情報を用いて、選択されなかった前記コンテンツを更新するか否かを決定するステップと、
    を含む、
    制御方法。
JP2019032034A 2019-02-25 2019-02-25 情報処理システム、プログラム、及び制御方法 Active JP7196683B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019032034A JP7196683B2 (ja) 2019-02-25 2019-02-25 情報処理システム、プログラム、及び制御方法
US16/782,149 US11521393B2 (en) 2019-02-25 2020-02-05 Information processing system, program, and control method
CN202010101283.4A CN111611839A (zh) 2019-02-25 2020-02-19 信息处理系统、程序和控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019032034A JP7196683B2 (ja) 2019-02-25 2019-02-25 情報処理システム、プログラム、及び制御方法

Publications (2)

Publication Number Publication Date
JP2020135761A JP2020135761A (ja) 2020-08-31
JP7196683B2 true JP7196683B2 (ja) 2022-12-27

Family

ID=72141960

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019032034A Active JP7196683B2 (ja) 2019-02-25 2019-02-25 情報処理システム、プログラム、及び制御方法

Country Status (3)

Country Link
US (1) US11521393B2 (ja)
JP (1) JP7196683B2 (ja)
CN (1) CN111611839A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7172523B2 (ja) * 2018-12-03 2022-11-16 トヨタ自動車株式会社 情報処理システム、プログラム、及び制御方法
KR20210046236A (ko) * 2019-10-18 2021-04-28 현대자동차주식회사 뇌파 신호를 이용한 아이템 선택 장치 및 방법
CN115891871B (zh) * 2022-11-16 2024-05-17 阿维塔科技(重庆)有限公司 车辆座舱的控制方法、装置及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014052518A (ja) 2012-09-07 2014-03-20 Toyota Motor Corp 広告配信システムおよび広告配信方法
JP2017173201A (ja) 2016-03-25 2017-09-28 株式会社博報堂 提供システム
US20170289596A1 (en) 2016-03-31 2017-10-05 Microsoft Technology Licensing, Llc Networked public multi-screen content delivery
WO2017179282A1 (ja) 2016-04-14 2017-10-19 ソニー株式会社 情報処理装置及び情報処理方法、並びに移動体
JP2018526749A (ja) 2015-09-04 2018-09-13 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh 広告掲示板ディスプレイ、及び、車両乗員のデモグラフィック情報のセンシングにより広告を選択的に表示する方法
JP2019023879A (ja) 2016-06-30 2019-02-14 バイドゥ ユーエスエイ エルエルシーBaidu USA LLC リアルタイムで動的に決定された感知に基づいて自律走行車においてコンテンツを提供するシステムおよび方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4916274B2 (ja) 2006-10-24 2012-04-11 中国電力株式会社 車載器、自動料金収受用コンピュータプログラム及び自動料金収受システム
JP2008257540A (ja) 2007-04-06 2008-10-23 Toyo Business Engineering Corp 決済システム
JP5015749B2 (ja) 2007-12-12 2012-08-29 トヨタ自動車株式会社 車両位置検出装置
JP2009294757A (ja) 2008-06-03 2009-12-17 Fujitsu Ltd 価格収集装置、価格収集提示装置及び価格収集プログラム
JP2010117633A (ja) * 2008-11-14 2010-05-27 Fujitsu Fsas Inc ニュース・広告配信方法、ニュース・広告配信システム、ニュース・広告配信サーバ、及びニュース・広告配信プログラム
CN102055942B (zh) * 2009-10-28 2013-03-20 厦门雅迅网络股份有限公司 一种基于移动通信网络的图文广告播放方法
US20130060642A1 (en) * 2011-09-01 2013-03-07 Eyal Shlomot Smart Electronic Roadside Billboard
KR20130091804A (ko) * 2012-02-02 2013-08-20 정진욱 아이템에 의한 광고 정보 검색 광고 서비스 방법 및 시스템
US9972230B1 (en) * 2012-09-12 2018-05-15 Delorean, Llc Traffic display with viewing distance control
CN103077672A (zh) * 2012-12-28 2013-05-01 合肥工业大学 地理位置相关的公交广告发布系统
DE102014109079A1 (de) * 2013-06-28 2014-12-31 Harman International Industries, Inc. Vorrichtung und verfahren zur erfassung des interesses eines fahrers an einer werbeanzeige durch die verfolgung der blickrichtung des fahrers
JP6504645B2 (ja) * 2013-08-30 2019-04-24 三菱重工機械システム株式会社 車両用情報提供システム、車両用情報提供方法、およびプログラム
CN103886013A (zh) * 2014-01-16 2014-06-25 陈守辉 一种基于网络视频监控中的智能图像检索系统
US10217135B2 (en) * 2014-02-05 2019-02-26 Pacific Wave Technology, Inc. Presenting an advertisement in a vehicle
US9596617B2 (en) * 2015-04-14 2017-03-14 ETAK Systems, LLC Unmanned aerial vehicle-based systems and methods associated with cell sites and cell towers
US20220194400A1 (en) * 2015-05-20 2022-06-23 Continental Automotive Systems, Inc. System and method for enhancing vehicle performance using machine learning
CN105701458B (zh) * 2016-01-08 2020-07-14 广东翼卡车联网服务有限公司 基于车载设备获取图像识别车辆外部信息的方法及系统
KR20180017346A (ko) * 2016-08-09 2018-02-21 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
CA3037294C (en) * 2016-09-16 2022-08-16 Allstate Insurance Company Electronic display systems connected to vehicles and vehicle-based systems
CN106314283A (zh) * 2016-09-25 2017-01-11 宋晓伟 实现车载广告屏最佳广告效果的方法
US10769667B2 (en) * 2016-10-25 2020-09-08 At&T Intellectual Property I, L.P. Billboard-based advertising system
CN109890662B (zh) * 2016-11-11 2022-03-15 本田技研工业株式会社 车辆控制系统、车辆控制方法及存储介质
US20190355019A1 (en) * 2016-12-05 2019-11-21 Sony Corporation Information processing apparatus and information processing system
CN206921302U (zh) * 2017-03-28 2018-01-23 重庆大乘智能科技贸易发展有限公司 车辆服务推送系统
DE112018003029T5 (de) * 2017-06-16 2020-03-12 Honda Motor Co., Ltd. Fahrzeug und servicemanagementvorrichtung
TWI775871B (zh) * 2017-06-20 2022-09-01 美商促美股份有限公司 具有與情境有關之資訊顯示之車輛
DE102017216774B4 (de) * 2017-09-21 2019-07-04 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung, computerlesbares Speichermedium und Kraftfahrzeug mit Instruktionen zur Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Kraftfahrzeug
CN107801160B (zh) * 2017-11-13 2020-07-28 爱驰汽车有限公司 车载流动广告发布系统、方法、设备及存储介质
EP3865822A1 (en) * 2018-05-15 2021-08-18 Mobileye Vision Technologies Ltd. Systems and methods for autonomous vehicle navigation
US11030655B2 (en) * 2018-11-02 2021-06-08 International Business Machines Corporation Presenting targeted content to vehicle occupants on electronic billboards
WO2021006365A1 (ko) * 2019-07-05 2021-01-14 엘지전자 주식회사 차량 제어 방법 및 차량을 제어하는 지능형 컴퓨팅 디바이스
KR20210059860A (ko) * 2019-11-15 2021-05-26 엘지전자 주식회사 차량의 ux 제어 장치 및 방법
US10928830B1 (en) * 2019-11-23 2021-02-23 Ha Q Tran Smart vehicle

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014052518A (ja) 2012-09-07 2014-03-20 Toyota Motor Corp 広告配信システムおよび広告配信方法
JP2018526749A (ja) 2015-09-04 2018-09-13 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh 広告掲示板ディスプレイ、及び、車両乗員のデモグラフィック情報のセンシングにより広告を選択的に表示する方法
JP2017173201A (ja) 2016-03-25 2017-09-28 株式会社博報堂 提供システム
US20170289596A1 (en) 2016-03-31 2017-10-05 Microsoft Technology Licensing, Llc Networked public multi-screen content delivery
WO2017179282A1 (ja) 2016-04-14 2017-10-19 ソニー株式会社 情報処理装置及び情報処理方法、並びに移動体
JP2019023879A (ja) 2016-06-30 2019-02-14 バイドゥ ユーエスエイ エルエルシーBaidu USA LLC リアルタイムで動的に決定された感知に基づいて自律走行車においてコンテンツを提供するシステムおよび方法

Also Published As

Publication number Publication date
JP2020135761A (ja) 2020-08-31
CN111611839A (zh) 2020-09-01
US20200272829A1 (en) 2020-08-27
US11521393B2 (en) 2022-12-06

Similar Documents

Publication Publication Date Title
JP7196683B2 (ja) 情報処理システム、プログラム、及び制御方法
US20170343375A1 (en) Systems to dynamically guide a user to an autonomous-driving vehicle pick-up location by augmented-reality walking directions
US20180232770A1 (en) Billboard display and method for selectively displaying advertisements by sensing demographic information of occupants of vehicles
CN107415938A (zh) 基于乘员位置和注意力控制自主车辆功能和输出
US20140257989A1 (en) Method and system for selecting in-vehicle advertisement
US20110313936A1 (en) Method and apparatus for estimating value of a damaged vehicle
CN104094340A (zh) 可重新配置的个性化车辆显示器
KR102449630B1 (ko) 전자 장치 및 이의 제어 방법
JP7010190B2 (ja) サーバ、情報処理方法およびプログラム
US20210065275A1 (en) Systems and methods for making vehicle purchase recommendations based on a user preference profile
CN113386774A (zh) 通过感测车辆乘员的动作的非侵入式车内数据采集系统
WO2018123041A1 (ja) 情報処理システム、及び情報処理装置
CN110447046A (zh) 用于车辆显示器的广告牌界面
US11341751B2 (en) Information processing system, program, and control method
US20190005565A1 (en) Method and system for stock-based vehicle navigation
CN114640480A (zh) 用于信息处理的方法、车载终端及计算机存储介质
CN113496193A (zh) 推荐引导系统、推荐引导方法及存储介质
US20200211079A1 (en) Vehicle-mounted information processing device, program, and control method
US20240232982A9 (en) Method, computer, and system
CN111007994B (zh) 图像生成装置、图像生成方法和记录程序的非暂时性记录介质
JP7151400B2 (ja) 情報処理システム、プログラム、及び制御方法
WO2020116227A1 (ja) 情報処理装置
US20240320702A1 (en) Information providing method and information providing system
US20240280374A1 (en) Information provision method and information management system
JP2010152784A (ja) 来店顧客応対支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210624

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221128

R151 Written notification of patent or utility model registration

Ref document number: 7196683

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151