JP6535783B1 - 接客支援システム - Google Patents

接客支援システム Download PDF

Info

Publication number
JP6535783B1
JP6535783B1 JP2018082131A JP2018082131A JP6535783B1 JP 6535783 B1 JP6535783 B1 JP 6535783B1 JP 2018082131 A JP2018082131 A JP 2018082131A JP 2018082131 A JP2018082131 A JP 2018082131A JP 6535783 B1 JP6535783 B1 JP 6535783B1
Authority
JP
Japan
Prior art keywords
user
information
unit
order
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018082131A
Other languages
English (en)
Other versions
JP2019191795A (ja
Inventor
和夫 金子
和夫 金子
Original Assignee
和夫 金子
和夫 金子
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 和夫 金子, 和夫 金子 filed Critical 和夫 金子
Priority to JP2018082131A priority Critical patent/JP6535783B1/ja
Priority to PCT/JP2019/016317 priority patent/WO2019208327A1/ja
Application granted granted Critical
Publication of JP6535783B1 publication Critical patent/JP6535783B1/ja
Publication of JP2019191795A publication Critical patent/JP2019191795A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/12Hotels or restaurants
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/10Speech classification or search using distance or distortion measures between unknown speech and reference templates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Accounting & Taxation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Finance (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Development Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

【課題】客の要望を迅速に把握することを目的とする。【解決手段】本発明の情報処理装置(端末100)は、ユーザの周囲の場景を撮影する撮影手段(撮影部180)と、前記ユーザが発話した内容を取得する音声取得手段(音声入力部190)と、該撮影された画像に基づいて、該取得した音声を解析する解析手段(解析部130、情報生成部110)と前記解析の結果を出力する出力手段(出力部120)とを有する。【選択図】図3

Description

本発明は、接客を支援する技術に関する。
客からの商品の注文の受付や会計などを支援するためのシステムがある。このようなシステムを用いれば、接客員に口頭で注文内容を伝えることなく、顧客に注文品を提供することができる。
特開2014-63516号公報
しかし、機器の操作に不慣れな客がいた場合、あるいは要望の性質上端末装置の操作によってはその要望に対応することが困難である場合、客は接客員を呼ぶことになる。とはいっても、予算の関係上や人材不足等の要因によって、接客員を配置することはなかなか困難なのが実情である。この結果、客の満足度が下がる懸念がある。あるいは、そもそも接客に不満を持っていても、接客員を呼ぶのに躊躇する客も少なくない。この場合、接客について客が抱く不満を解消することができない。
さらに、接客員が適切な応対を行った結果、客の要望が満たされたとしても、客は接客員を呼ぶ時点では既に一定の不満やストレスを溜めている場合も多く、その店のサービスに対する印象の悪さが完全に払拭されるとは限らない。
このように、従来の接客支援システムには改善の余地があった。本発明は、客の要望を迅速に把握することを目的とする。
本発明は、一の態様において、ユーザの周囲の場景を示す画像を取得する画像取得手段と、前記ユーザの発話に係る音声を取得して当該発話の内容を特定する音声取得手段と、該取得された画像が示す前記ユーザの動作に基づいて、当該ユーザの発話の意図を判定し、該判定の結果に基づいて、従業員の前記ユーザに対する応対の要否または内容を示す応対要否情報を生成する解析手段と、前記応対要否情報を従業員端末へ出力する出力手段とを有する情報処理装置を提供する。
本発明によれば、客の要望を迅速に把握することができる。
接客支援システム10の概要図。 端末100の設置状態を示す図。 端末100の機能ブロック図。 サーバ200の機能ブロック図。 端末100の動作例を示す図。 端末100の画面に表示される内容の例(その1)。 端末100の画面に表示される内容の例(その2)。 端末100の画面に表示される内容の例(その3)。 端末100の画面に表示される内容の例(その4)。 端末100の画面に表示される内容の例(その5)。 端末100の画面に表示される内容の例(その6)。 端末100の画面に表示される内容の例(その7)。 端末100の画面に表示される内容の例(その8)。
図1は接客支援システム10の概要を示す。接客支援システム10は、端末100とサーバ200と従業員端末300とを含む。スタッフSTF1およびSTF2は、フロアにいて客にサービスを行う従業員である。従業員には、料理をテーブルまで運ぶウエイトレス、ボーイ、あるいは管理監督するフロアマネージャー等が含まれる。スタッフSTF3は厨房にいて料理を作る料理人である。なお、従業員の役割が明確となっている必要はない。以下では単に従業員という。
端末100(端末100−1、100−2、100−3)は、サービス提供を受ける1以上の客に対応して設けられる。また、端末100の数は例示である。
サーバ200は、端末100および従業員端末300(従業員端末300−1、300−2、300−3)と通信する。
各従業員端末300(従業員端末300−1、300−2、300−3)は、従業員に携帯されまたは店舗に据え付けられ、サーバ200と無線通信を行う機能および情報画像または音声により通知する機能を備えた情報処理端末であって、接客員や料理人など従業員に情報を通知する。各従業員端末300は、サーバ200と無線通信を行い、接客その他の指示をサーバ200から受信すると、従業員に情報を通知する。同図に示される従業員端末300の数は例示である。
図2は端末100の設置状態を示す。端末100は、テーブル、カウンター、サービス提供を受ける一人のユーザまたは一つのユーザグループに対して少なくとも一つ以上設けられる。この例では、サービスの提供を受ける4人の客CST1〜客CST4(以下、ユーザという)が着席する一つのテーブルTBL1の上に置かれたタブレット型情報端末である。端末100は、マイクカメラ101とスピーカ102とタッチパネル103とを含む。なお、端末100の形態や設置位置は一例であって、例えば壁掛け等であってもよい。
マイクカメラ101は、テーブルTBL1や客CSTを含む場景を撮影するとともに、客CSTの発話を含む環境音を集音する。
スピーカ102は、ユーザへの情報を音声により通知するためのスピーカである。
タッチパネル103は、タッチパネル付きの表示装置であって、注文や呼出し等のサービス提供を受けるために客CSTによって操作されて情報や指示が端末100に入力されるとともに、文字や画像によって客CSTにサービス内容その他の情報を表示するデバイスである。
なお、テーブル、飲食の内容、飲食物の提供の形態、着席、座席位置、人数は例示である。
なお、マイクカメラ101および/またはスピーカ102は、タッチパネル103と別体として設けられてもよい。スピーカ102は省略してもよい。この場合は、情報のユーザへの通知は文字や画像のみによって行われる。要は、端末100を用いて、ユーザに注文の受付その他のサービスに関する要求に係る入力操作や、メニュー等のサービス内容に関する情報の閲覧をさせる一方、少なくとも一人のユーザの声、およびユーザの周囲の場景を示す画像を端末100が取得できればよい。ユーザの周囲の場景とは、例えば、提供されている料理の内容、数、料理が消費される状況などが反映されたテーブルの画像およびユーザの状況(飲食などの動作や行為の内容、飲食のスピードなどの行為の態様、表情など)サービスの提供(飲食)を受けている状況を示す画像のうち少なくともいずれかを含む。なお、取得される画像は、静止画であっても動画であってもよい。
図3は端末100の機能ブロック図である。端末100は、情報生成部110と出力部120と解析部130と操作部140と計時部150と記憶部160と撮影部180と画像処理部181と音声入力部190と音声信号処理部191とを含む。
操作部140は、例えばタッチパネル103として実現され、ユーザによって操作される。
計時部150は、クロック回路等によって実現され、情報生成部110によって適宜参照され、現在時刻の情報を提供する。
撮影部180および画像処理部181は、マイクカメラ101として実現される。撮影部180は、光学系、レンズ、撮影機構、受光素子、制御機構を含み、端末100の周囲の(換言するとユーザの周囲の)場景を撮影する。画像処理部181は、画像処理プロセッサによって実現され、撮影部180にて撮影された画像のデータから、周知のアルゴリズムを用いて、撮影された場景の特徴量を抽出する。特徴量とは、例えば、テーブルの上の皿の有無、皿の料理が消費されている程度、ユーザの表情、ユーザの口の動きや箸の動きを含む各種動作の内容やタイミングである。特徴量の抽出タイミングは、例えば所定フレーム数ごとに実行する。撮影部180および画像処理部181は、ユーザの周囲の場景を示す画像を取得する画像取得手段として機能する。生成された特徴量は、リアルタイムもしくは所定の時間間隔で、解析部130へ供給される。
音声入力部190および音声信号処理部191は、マイクカメラ101として実現される。音声入力部190は、コンデンサマイクである。音声信号処理部191は、音声入力部190にて取得した波形データから、ノイズ除去処理や音声認識処理を行ってテキストデータを生成する音声信号処理プロセッサを含む。音声入力部190および音声信号処理部191は、ユーザの発話に係る音声を取得する音声取得手段として機能する。すなわち、ユーザの発話が集音されて、発話の内容を付ける情報(単語やフレーズなど)を生成する。生成された発話の内容を特徴づける情報は、解析部130へ供給される。
解析部130は、汎用又は専用の1以上のプロセッサによって実現され、画像取得手段にて取得された画像と音声取得手段にて取得された音声とを用いて、ユーザの発話を解析する解析手段として機能する。ここで発話を解析するとは、音声解析により抽出された単語の辞書的な意味を特定するにとどまらず、発話がなされた背景や状況、発話の意図等を決定することである。例えば、一般的に、ある単語を発したことを検出したとしても、指示代名詞など意味を一義的に決定することができなかったり、辞書的な意味においては明確だったとしても、独り言なのかあるいは他の人への指示として発言されたなど等の状況や背景を判別できない場合がある。
この点に鑑み、解析部130は、場景を示す画像を用いて、発話の内容を特定するほか、意図、背景などのより深いレベルの情報を抽出することを試みる。
例えば、解析部130は、撮影された画像に基づいて、該取得した音声内容を解析し、該撮影されたユーザの動作に基づいて、該取得された発話が注文の内容を意味するか否かを判定する。解析の結果は、情報生成部110に供給される。あるいは、解析部130は、撮影された画像に基づいて決定された飲食の進進行度に応じて、発話が注文の内容を意味するか否かを判定する。この際、音声解析により抽出された語が指示代名詞や感嘆詞など以外の、有意な語である場合、画像に加えて当該語の意味を加味して、発話を解析してもよい。
注文の内容を意味すると判定した場合、当該注文の品を示すテキスト情報に注文品であ
ること示すフラグ情報が付加され、情報生成部110へ供給される。情報生成部110では供給された情報に基づいて注文情報が生成される。
注文の内容を意味しないと判定した場合は、商品および/またはサービスに対するユーザの感想、評価、不満、要望等(以下、感想等という)を意味するものであるか否かが判定される。具体的には、その発話部分の音声データを切り出してまたはその発話内容を示すテキスト情報に変換して、感想等の情報であることを示すフラグ情報を付加し、情報生成部110へ供給する。
注文の内容でも感想等でもないと判定された場合は、情報生成部110に供給される情報はない。
情報生成部110は、汎用又は専用の1以上のプロセッサによって実現され、記憶部160から制御プログラムを読み出して実行することによって端末100の各部を制御する。具体的には、解析部130から供給された情報(解析結果)と、操作部140および計時部150から供給される信号に基づき、また必要に応じて記憶部160から読み出した情報を用いて、出力部120へ、通知の実行命令および通知の内容を含む情報を生成して出力部120に出力する。
具体的には、解析部130にて生成された1回以上の解析結果、操作部140から取得した操作内容、解析部130にて生成された解析結果および操作部140から入力された操作信号、計時部150から取得したタイミング情報、および記憶部160から読み出したユーザ属性のうち、少なくともいずれか一つに基づいて、上記情報が生成される。
情報生成部110にて生成される情報には、以下の4つの種類がある。第1は、操作部140またはい音声入力部190にて受付けた注文に関する情報(注文の品や提供のタイミングについての情報)であって、主として従業員端末300−3へ提供されるもの(注文情報という)である。第2は、主として従業員端末300−1、300−2へ送信される情報であって、操作部140から入力された信号または情報生成部110が解析部130からの情報に基づいて生成された、従業員の応対の要否や具体的な接客内容((例えば、ユーザの要望を尋ねる、水を提供する、皿を下げるなど))に関する情報(応対要否情報という)である。第3は、表示部121または音声出力部122へ供給されて、ユーザへの各種通知や、提案、要求等を行うための情報(ユーザ支援情報という)である。第4は、商品および/またはサービスに対するユーザの感想、評価、不満、要望等(以下、感想等という)の情報(フィードバック情報という)である。
応対要否情報やユーザ支援情報の生成方法については、例えば以下のように実行される。
操作部140にて同じような操作をユーザが繰り返していると検知されるなど、撮影されたユーザの動作から注文操作がうまくっていないと推定される場合、「うまくいかないなあ・・」、「あれ?」、「マグロがみつからないな・・・」といった発話があったことが解析部130にて検出された場合、あるいは撮影された画像から、空いた皿がテーブルにたまっている、ユーザの表情がこわばっている、ユーザがキョロキョロしている(顔の向きの変化が激しい)といった場景が解析部130にて解析された場合、情報生成部110は、操作がうまくいっていない、皿を下げて欲しい、会計方法が分からない等、ユーザが何らかの不満や要求を抱えていると推測し、推測の内容に基づいて、操作を支援する画面の生成や従業員による応対の必要性を判定し、該判定の結果や判定結果に基づいて、応対情報やユーザ支援情報を生成する。
ユーザ支援情報には、撮影された場景に対応した商品またはサービス(レコメンドする商品など)を特定するための情報、注文に関する操作を支援するための情報ユーザの感想や評価の提供を促すためのメッセージが含まれてもよい。また、ユーザ支援情報は、情報に対応した画像を含んでいてもよい。場景に対応した画像とは、例えば、ユーザの注文の
内容(量や種類)、注文のスピードやタイミングに応じて決定される商品やサービスに関連する情報であってもよいし、キャラクタの画像やアバター画像などの商品やサービスとは直接関係のない情報であってもよい。このような画像を表示することで、注文操作時のエンターテインメント性が向上する。
ユーザ支援情報のうち商品情報の提案に関しては、ユーザが笑っている、上機嫌である、満足している、皿が空になる(飲食のペース)が標準よりも速いという解析結果を取得した場合、情報生成部110は、直前の注文内容と同一の内容の注文を行うように勧めるべきであると判定してもよい。飲食のペースに関しては、例えば一品の飲食に要する標準的な時間を記憶部160に記憶しておき、この標準的な時間と解析部130の解析結果から算定される時間とを比較することにより、飲食のペースを決定する。
また、記憶部160に被写体のユーザについてのユーザ属性に、そのユーザが好んで注文する商品の内容や来店タイミングに関する情報が含まれている場合において、情報生成部110は、今回の注文内容がいつもの注文品と異なる場合に、いつもの商品を提案し、あるいは、似たようなユーザ属性を有する他のユーザの注文履歴に基づいて、商品を提案すべきであると判定してもよい。
また、情報生成部110は、「これ、すごくおいしい!」、「またこの店にこようね」、「さっきの従業員の態度はどうかな・・・」といった、商品やサービスに対する感想等や評価を意味すると推定される発話が解析部130にて確認された場合、その評価の提供を依頼する機会が到来したと判断し、ユーザに対して依頼を実行すべきであると判定してもよい。
注文情報に関し、情報生成部110は、操作部140から受付けた注文のタイミングと、解析部130にて生成された場景の解析結果に基づいて、飲食物を提供するタイミングを調整してもよい。例えば、解析部130にてユーザの発話量が多い、テーブル上の料理が消費されるスピードが遅い、橋やフォークを持っている時間が短いといった解析結果が得られた場合、操作部140にて受付けた注文の場合、提供タイミングを意図的に遅らせる指示を生成して注文情報に内包させる。逆に、飲食スピードが速いと判断した場合は、この注文に係る品の提供のタイミングを急ぐ(他のユーザの注文よりも優先させることを示すフラグ情報を生成する。提供タイミングは、既に適用されている料理の種類やユーザ属性に基づいて決定してもよい。
フィードバック情報に関し、発話内容(音声データ)や映像(顔の表情など)そのものをフィードバック情報に含ませてもよいし、情報生成部110は音声データや画像データを加工して得られた情報を生成してもよい。例えば、注文情報に対応付けて、注文品の識別ID,注文時刻、満足度の指標(例えば5段階の「2」という情報が生成される。
記憶部160は、ハードディスクや半導体メモリ等の記憶デバイスであって、後述する端末100の動作を実現するためのOSプログラムのほか、メニューの表示および注文の受付を行うための画面の生成(ユーザインタフェース)を実現するためのプログラムが記憶される。
加えて、記憶部160には、ユーザ属性が記憶される。ユーザ属性とは、ユーザの年齢・性別などの情報ほか、商品へサービスとのユーザの関係(注文内容の履歴、来店の履歴、回数頻度など)を含んでいてもよい。
また、記憶部160には、撮影部180や音声入力部190にて取得され、場景が反映された画像や音声のデータ、または解析部130にて生成された解析結果(ユーザの発話の内容を含む)が記憶される。なお、撮影部180や音声入力部190にて基づいて生成されたデータはユーザのプライバシーに関する情報が含まれている可能性が高いので、一定時間が経過すると削除されるか、解析部130にて個人が特定されない情報に加工され
て上で記憶されることが好ましい。
出力部120は、表示部121と音声出力部122と通信部123を含み、情報生成部110から供給された解析部130の解析の結果が反映された情報を出力する。具体的には、表示部121及び音声出力部122によってユーザへの通知が行われ、通信部123によってサーバ200または従業員端末300への情報の提供が行われる。
表示部121は、液晶パネルや駆動回路を含み、タッチパネル103として実現される。表示部121は、文字や画像によってユーザに対して情報を通知する。音声出力部122は、マイクやA/D変換回路を含み、スピーカ102として実現される。音声出力部122は、音声によって情報の通知をユーザに対して行う。表示部121および音声出力部122は同一の情報を通知してもよいし、異なる情報を通知してもよい。前者の場合、表示部121および音声出力部122の一方を省略してもよい。
通信部123は、IEEE等の所定の無線通信規格に従って情報をサーバ200へ送信するための通信モジュールとして実現され、注文情報、応対情報、フィードバック情報をサーバ200へ送信する。サーバ200へ送信される情報は、その情報の送信元の端末100の各々を識別するための情報と紐づけられて送信され、サーバ200に記憶される。
図6に出力部120によってタッチパネル103に表示される画面SC1を示す。この例では、端末100は回転寿司店に設置され、ユーザの操作によって注文を受付ける機能を有するものである。具体的には、画面SC1は、オブジェクトOB10、オブジェクトOB11、オブジェクトOB12、オブジェクトOB13、オブジェクトOB30、オブジェクトOB31、オブジェクトOB40、オブジェクトOB41、オブジェクトOB42によって構成される。ユーザが各オブジェクトをタッチすることで所望のオブジェクトが選択される。
オブジェクトOB10、オブジェクトOB11、オブジェクトOB12、オブジェクトOB13は、商品の種類を選択するためのものである。オブジェクトOB20は、商品(この例では寿司)の一覧を表示して、ユーザに注文したいものを選択させる。オブジェクトOB30は、オブジェクトOB20にて選択された商品を表示する。オブジェクトOB31が選択されると、オブジェクトOB30に表示されている商品の注文が確定する。
オブジェクトOB40およびオブジェクトOB41は、画面遷移を行うためのオブジェクト(ソフトボタン)である。オブジェクトOB42は、従業員を呼出したいときに選択される。
ユーザは、注文を行う場合、オブジェクトOB20内に表示されたオブジェクトを選択してオブジェクトOB30内にドラッグし、オブジェクトOB31を選択すると、情報生成部110にて注文情報が生成され、通信部123を介してサーバ200へ送信される。オブジェクトOB42が選択されると、従業員呼出しの指示が情報生成部110にて生成され通信部123を介してサーバ200へ送信される。
図4はサーバ200の機能ブロック図である。サーバ200は、通信部210と制御部220と記憶部240とを含む。通信部210は、各端末100および各従業員端末300との間で情報の送受信を行うための通信インタフェースである。記憶部240はハードディスクや半導体メモリ等の情報記憶デバイスであって、後述のサーバ200の動作を実現させるためのプログラムを記憶する。
制御部220は、スタッフ管理部221と発注管理部222とフィードバック管理部223とを含む。スタッフ管理部221は、端末100から受信した通知情報に、ユーザか
ら呼出しがあったことを示す情報や、その他従業員による応対が必要であることを示す情報が内包されている場合、従業員端末300−1、300−2、300−3のうち、通知情報に対応する少なくとも一つ以上の従業員端末300へ指示を送信する。
スタッフ管理部221は、端末100から注文情報を受信すると、従業員端末300−3へ送信する。なお、スタッフ管理部221は、他のテーブルから受けた注文の状況を加味して、注文情報に内容される注文タイミングに関する情報を書き換えてもよい。
フィードバック管理部223は、端末100から受信した注文の内容や提供のタイミングについての情報および従業員の呼出しに関する情報を従業員端末300へ送信する。具体的には、注文情報については従業員端末300−3へ送信し、応対要否情報については従業員端末300−1および従業員端末300−2の少なくともいずれかに送信する。
図5に端末100の動作例を示す。端末100は、所定のタイミングで、断続的に、画像の取得(S502)および音声の取得(S504)を行って、取得した画像データおよび音声データを解析する(S506)。なお、音声の取得タイミングと映像の取得タイミングとは一致している必要がない。取得した画像と音声とが時間的に対応付けてられていればよい。
情報生成部110は、解析部130における解析の結果に基づいて、ユーザが注文入力の操作に手間取っているかなど注文の支援が必要か否かを判定し(S508)、必要と判定した場合(S508:YES)、注文操作を支援するための画面を生成する(S510)。
図7は、S510においてタッチパネル103に表示される画面SC2である。画面SC2においては、オブジェクトOB50〜オブジェクトOB53が、通常の画面に重ねて表示される。オブジェクトOB50〜53は、例えば、同一ページを閲覧して同一の品を選択しているがオブジェクトOB30へのドラッグ操作がなされていない、あるいは「マグロ」と発話しながら所定期間以上画面を見つめているなど、マグロを注文したいであろうと推定される場合に、表示される。
オブジェクトOB50の内容を理解したユーザがオブジェクトOB51を選択すると、マグロの注文が確定する。これにより、オブジェクトOB30およびオブジェクトOB31に対する操作を行うことなく、マグロの注文が確定する。具体的には、情報生成部110はマグロの注文が注文されたことを示す注文情報を生成する。
ユーザがオブジェクトOB52を選択すると、操作を説明するための画面(図示省略)が表示される。ユーザがオブジェクトOB53を選択すると、オブジェクトOB50〜53の表示を終了し、表示内容は図6の画面に戻る。
注文の支援が必要でない場合(S508:NO)、情報生成部110は商品の提案を行うことが妥当か否かを判定する(S512)。妥当と判定された場合(S512:YES)、情報生成部110が提案内容を生成し、タッチパネル103に当該提案内容が表示される(S514)。
情報生成部110は、例えば、テーブルに置かれたグラス内の飲料が残り少なくなった場合、スープ類を除く複数の品を連続してした場合、前回の注文から所定時間が経過しても注文がなされなかった場合、干物などの喉が渇きやすい品を注文した場合など、ユーザが飲み物を欲していると推定される場合、飲み物を提案するべきであると判断する。
図8は、タッチパネル103の画面に表示される画面SC3を示す。画面SC3はオブジェクトOB54、オブジェクトOB55、オブジェクトOB56、オブジェクトOB57が重ね表示される。この例では、飲み物を提案するべきと判断された場合を示している。
オブジェクトOB54の提案内容に興味を持ったユーザがオブジェクトOB55を選択すると、メニュー(図示省略)が表示される。注文したい品が決まっているユーザがオブジェクトOB56を選択すると、端末100は発話内容を受付け、発話内容に含まれる品が注文であると判定し、その注文を確定させる。この提案に興味のないユーザがオブジェクトOB57を選択すると、オブジェクトOB54~オブジェクトOB57が消去され、表示内容は直前の画面に戻る。
あるいは、情報生成部110はこれまで注文品の傾向および/またはユーザ属性に記述される嗜好情報に基づいて、提案する品を決定してもよい。
図9は端末100の画面に表示される内容の画面SC4である。画面SC4では、オブジェクトOB58、オブジェクトOB59、オブジェクトOB60が重ね表示される。オブジェクトOB58のメッセージに興味を持ったユーザがオブジェクトOB59を選択すると、お勧め品の一覧(図示省略)が表示される。このメッセージに興味がないユーザがオブジェクトOB60を選択すると、オブジェクトOB58〜オブジェクトOB60が消去され、表示内容は直前の画面に戻る。
あるいは、お勧め品の存在が通知されるのではなく、図10に示すように、おすすめの内容が提示されてもよい(オブジェクトOB61)。
情報生成部110は、現状では提案が妥当でないと判定した場合(S512:NO)、音声入力部190にて取得した発話の内容が提供品やサービスに関する感想等を述べてものであるか否かを判定する(S516)。具体的には、情報生成部110は、発話内容から、接客態度や、注文した料理についての感想等であると推測される発言がなされたか否かを判定する。感想等であると判定された場合、ユーザに端末100が取得した感想等が反映された音声や画像を接客支援システム10の運営者あるいは端末100が設定された店舗の運営側へ提供することについての承諾を求める(S518)。
ユーザが承諾した場合(S520:YES)、情報生成部110は一時的に記憶部160に記憶しておいた発話内容を、発話を取得したタイミングや発話したユーザ(あるいは当該ユーザと同一の場景を共有しているユーザ)の属性に対応付けて、サーバ200に送信する。発話内容を受信したサーバ200は、記憶部240に記憶する(S522)。
S518において端末100に表示される画面SC6を図11に示す。画面SC6において、オブジェクトOB62、オブジェクトOB63、オブジェクトOB64が重ね表示される。画面SC6において、オブジェクトOB62の内容を確認し感想等の提供を承諾したユーザが、オブジェクトOB63を選択すると、情報生成部110は、当該感想等を示す音声または映像データそのもの、あるいは当該音声または映像データから生成された記憶部160から読み出してフィードバック情報を生成し、通信部123を介してサーバ200へ送信する。感想等の提供に承諾しなかったユーザがオブジェクトOB64を選択すると(S520:NO)、オブジェクトOB62〜オブジェクトOB64が消去され、直前の画面に戻る。
感想等が検出されていなかった場合(S516:NO)、続いて情報生成部110は、従業員の応対の要否を判定する(S524)。例えば、情報生成部110は発話内容に従業員の対応を希望するような表現がある、あるいはユーザ同士の声が大きい、喧嘩しているような動作が検出された場合に、従業員の応対が必要であると判定する。
応対が必要と判定された場合(S524:YES)、情報生成部110は応対要否情報
を生成し、通信部123を介してサーバ200へ送信する。対応不要と判定した場合(S524:NO)、処理はS502へ戻る。
図12は、対応が必要と判定された場合に、端末100に表示される画面SC7である。画面SC7において、オブジェクトOB65、オブジェクトOB66、オブジェクトOB67が重ね表示される。ユーザがオブジェクトOB6を選択すると、応対要否情報の生成およびサーバ200への提供が実行される(S526)。
従業員への要求内容が具体的に情報生成部110にて特定された場合は、図13に示すような画面SC8を表示してもよい。画面SC8において、オブジェクトOB66が選択されると、サーバ200を介して従業員端末300−1または従業員端末300−2へ、テーブルの片付けを指示する情報が送信される。オブジェクトOB68が選択されると、オブジェクトOB68〜オブジェクトOB70が消去されて直前の画面に戻る。
以後、S502〜S526を繰り返す。
上記実施例によれば、音声および映像という観点から場景が分析される。そして、この分析の結果に基づいて、商品やサービスに対する客の要望が推定でき、推定された要望に沿ったサービスを提供することができる。この要望には接客についてのものが含まれている場合、応対の必要性が自動的に判定され、必要のときのみ従業員に応対させるように指示が通知される。これにより、サービス品質を保つために接客員を過剰に配置する必要がない。
加えて、上記実施例によれば、客の事前の承諾を得たのち客のサービスに関する感想等が取得される。この際、承諾の要求が、場景に基づいて適切であると判定されたタイミングで実行されるので、客の気分を害す虞が軽減され、アンケートに協力してもらえる可能性が高まる。
なお、図6のS508、S512、S516、S524の各判定ステップは、全て実行される必要はなく、少なくとも一つが実行されればよい。また、各判断ステップを実行するタイミングや順序は任意である。
端末100は、ユーザが着席した時など、ユーザが注文を行う準備が整ったか否かを判定し、準備が整ったと判定した場合、その旨をユーザに通知してもよい。
具体的には、解析部130において、取得した映像データに基づいてユーザが到来したことを検知し、加えてそのユーザの属性情報(人数や性別、年齢等)を判定する。情報生成部110は、当該判定の内容に基づいて、表示部121および音声出力部を制御する。例えば、予め記憶されたウエイトレスの画像およびウエイターの画像のうち、ユーザの性別に応じたいずれか一方を選択して表示する。
そして、ユーザの年齢に応じて「いらっしゃいませ。ご注文が決まりましたらお話し下さい。タッチパネルでも大丈夫です」といった案内メッセージまたは「いらっしゃい。注文が決まったらこの端末に話しかけてね。代わりにタッチパネルで入力してもOK!」のうちいずれかを選択し、選択されたメッセージの合成音声を放音する。これにより、ユーザに、自己の存在がサービス提供者に確かに把握されているという安心感を与えることができる。そして、初来店であっても注文操作をスムーズに行うことができる。また、ユーザの属性に応じて案内方法を変えることができる。
なお、撮影対象に年齢や性別などのユーザ属性が異なる複数のユーザが存在する場合は、例えば、属性値の共通度や優位性に基づいて一の属性を決定してもよいし(例えば男性3人、女性2のグループならユーザ属性は男性であるとするなど)、統計処理(年齢の平均値を算出するなど)を行って一の属性を決定してもよい。
また、端末100は、ユーザを検知していないときは表示部121や音声出力部122
の注文を受け付けるために必要な機能が実現されない省電力モードで動作し、ユーザを検知したことを契機として、表示部121や音声出力部122を作動させてもよい。この場合、ユーザが端末100を作動させるための操作を行う必要がない。
サーバ200は、発注情報を記憶部240に蓄積し、蓄積された情報に基づいて、制御部220は、季節毎あるいは曜日毎の注文傾向に関する情報を生成し、この情報に基づいて材料の発注タイミングや人員配置計画を決定してもよい。これにより、提供される料理の鮮度の向上、廃棄物の削減、注文品が品切れとなる事態の防止、人員配置(アルバイトの増減)の効率化に寄与することが期待される。
上記実施例においては、注文内容の指定は、主にタッチ操作によって行い、音声による注文は補助的役割であったが、音声による注文指示を主に受け付け、必要な時だけタッチパネル103を用いた入力を促してもよい。あるいは、タッチ操作による注文の受付と音声入力による注文の受け付けのいずれか一方のみを受付けてもよい。
あるいは、タッチ操作と音声入力のいずれかまたは両方をユーザに指定させてもよい。例えば、画面にタッチ操作による注文と音声入力による注文のいずれかまたは両方を有効にする指定を受付けるためのオブジェクトを表示し、ユーザに所望の注文方法を選択ないし選択の切替えを行わせる。例えば、端末100は音声による注文を主とする動作を行っている場合、解析部130にて発話内容の意味(注文内容)が聞き取れない場合は、ユーザに再度の発話を促す。ここで、滑舌が悪いため、あるいは発話された単語が音声信号処理部に登録されていない単語であった等の要因によって、発話を複数回取得しても依然として注文内容が判別できない場合、情報生成部110は、表示部121や音声出力部122を用いて、タッチパネル103を用いて注文内容を入力するように促す。情報生成部110は、音声による注文の受付がうまくいっていないと判定した場合、応答情報をサーバ200へ送信して、従業員を当該ユーザへ向かわせて注文を直接口頭で受けるように指示してもよい。
この結果、ユーザの満足度が向上することが期待される。
本発明を適用する対象のサービスは、飲食物の提供に限らない。例えば、物品の販売であってもよい。また、サービス提供場所は、店舗内に限らず、例えば旅客機や列車内であってもよい。例えば、端末100を航空機や車両などの各座席の前面(前の座席の背もたれの背面)に設け、機内や車内における乗務員による飲食物の提供サービスに提供してもよい。
サービスを受ける対価(料金)の支払いを行う機能を端末100に設けてもよい。例えば、端末100にクレジットカードのカード読取り機構を設け、複数の決済方法から一つをユーザに選択させ、現金支払いを希望するユーザに対してはレジへ案内する画面を生成する一方、カード支払いを希望するユーザに対してはカードの挿入操作などを案内する画面を生成する。
このような支払処理に誘導にするまたは支払処理を支援するタイミングは、場景情報に基づいて決定されもよい。例えば、最後に受け付けた注文から所定時間が経過しても注文が入力されない場合、箸やフォークの動きが一定時間以上確認されない場合、デザートなどの一般的に最後に注文される料理が注文された場合、「満腹、満腹」または「もう終わりかな」、「さて会計するか・・・」といった注文の終了を示唆するような発話が確認された場合、情報生成部110は食事が終了したと判定する。あるいは、ユーザが椅子から立ち上がったことが解析部130にて検出された場合に、食事終了と判定してもよい。この際、例えば注文品が提供されていない場合、テーブルの上に料理が残っている場合、かばんなどのユーザの携行品が検出されている場合は、食事終了ではなく一時的な離席であ
ると判定してもよい。
食事が終了したと判定すると、情報生成部110は、画面にウエイトレス又はウエイターの画像を表示し、「本日は有難う御座いました。又のお越しをお待ちしております」などと合成音声を放音するよう、出力部120を制御する。あるいは、表示部121に「最後にお茶はいかがですか?」といったメッセージを表示させてもよい。これにより、サービス提供者側は注文が終了したと認識していることをユーザに伝えることができる。
続いて、端末100は、会計に誘導するための処理を行う。例えば、ユーザがお茶の提供に同意した場合またはお茶が提供されたタイミングで、表示部121および/または音声出力部122に「清算する際はこのテーブルのカード読み取り機でも、レジでのお支払いも可能です」といった、支払処理を支援するためのメッセージを映像または音声によって出力させる。
レジでの支払いが選択された場合は、例えば、端末100は「レジでテーブル番号をお伝え下さい」と通知し、そのテーブル番号に対応付けられた端末100によって受け付けられた注文内容および請求金額をサーバ200から取得し、取得した情報に基づいて伝票を生成し、ユーザに提示する。あるいは、端末100は「レジでご清算をお願い致します」と通知し、そのユーザの顔を撮影した画像または当該画像からユーザを識別するための情報を抽出して、その端末100の識別情報と対応付けて、レジ端末(店舗内に備え付けられ、従業員によって操作されるキャッシュレジスタその他の支払用端末;図示省略)へ無線送信する。
そして、このユーザがレジを訪れ、レジに設置されたレジ端末が有するカメラで撮影した画像が、当該レジ端末にて受信されたユーザのものと一致するか否かを判定し、一致した場合は、そのユーザの認証情報に対応付けて受信した端末100の識別子をサーバ200へ照会し、その端末100に対応付けてサーバ200に記憶されていうる注文内容(提供したサービスの内容)および請求金額をサーバ200から取得する。
これにより、従業員が伝票をテーブルまで持っていくことや、その伝票を会計時にユーザがレジまで伝票を持っていく必要がなくなる。
また、図3に示した端末100の機能の一部をサーバ200で実行してもよい。例えば、情報生成部110の機能をサーバ200に持たせる。この場合、解析部130にて生成された情報は逐次サーバ200に送信され、200において注文情報、ユーザ支援情報、応対要否情報およびフィードバック情報が生成され、端末100はサーバ200からユーザ支援情報を受信してユーザに通知することになる。
要するに、1以上の情報処理装置から構成される情報処理システムにおいて、ユーザの周囲の場景を撮影するステップと、当該ユーザが発話した内容を取得するステップと、該撮影された画像に基づいて、該取得した音声を解析するステップと、解析の結果を出力するステップとが実行されればよい。
100・・・端末、101・・・マイクカメラ、102・・・スピーカ、103・・・タッチパネル、180・・・撮影部、181・・・画像処理部、190・・・音声入力部、191・・・音声信号処理部、130・・・解析部、140・・・操作部、150・・・計時部、110・・・情報生成部、160・・・記憶部、120・・・出力部、121・・・表示部、122・・・音声出力部、123・・・通信部、200・・・サーバ、210・・・通信部、240・・・記憶部、220・・・制御部、221・・・スタッフ管理部、223・・・フィードバック管理部、222・・・発注管理部

Claims (4)

  1. ユーザの周囲の場景を示す画像を取得する画像取得手段と、
    前記ユーザの発話に係る音声を取得して当該発話の内容を特定する音声取得手段と、
    該取得された画像が示す前記ユーザの動作に基づいて、当該ユーザの発話の意図を判定し、該判定の結果に基づいて、従業員の前記ユーザに対する応対の要否または内容を示す応対要否情報を生成する解析手段と、
    前記応対要否情報を従業員端末へ出力する出力手段と
    を有する情報処理装置。
  2. 前記解析手段は、該特定された内容の商品を前記ユーザが注文したと判定する、
    請求項1に記載の情報処置装置。
  3. 提供可能な商品またはサービスに関する情報を表示する表示部を備え、
    前記解析手段は、前記ユーザに対し、注文に関する支援が必要かを判定し、
    前記表示部は、当該支援が必要な場合、注文操作を支援するための情報を表示する、
    請求項1または2に記載の情報処理装置。
  4. コンピュータに、
    ユーザの周囲の場景を撮影するステップと、
    前記ユーザが発話した内容を取得するステップと、
    該取得された画像が示す前記ユーザの動作に基づいて、当該ユーザの発話の意図を判定し、該判定の結果に基づいて、従業員の前記ユーザに対する応対の要否または内容を示す応対要否情報を生成するステップと、
    前記応対要否情報を従業員端末へ出力するステップと
    を実行させるためのプログラム。
JP2018082131A 2018-04-23 2018-04-23 接客支援システム Active JP6535783B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018082131A JP6535783B1 (ja) 2018-04-23 2018-04-23 接客支援システム
PCT/JP2019/016317 WO2019208327A1 (ja) 2018-04-23 2019-04-16 接客支援システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018082131A JP6535783B1 (ja) 2018-04-23 2018-04-23 接客支援システム

Publications (2)

Publication Number Publication Date
JP6535783B1 true JP6535783B1 (ja) 2019-06-26
JP2019191795A JP2019191795A (ja) 2019-10-31

Family

ID=67023766

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018082131A Active JP6535783B1 (ja) 2018-04-23 2018-04-23 接客支援システム

Country Status (2)

Country Link
JP (1) JP6535783B1 (ja)
WO (1) WO2019208327A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021026452A (ja) * 2019-08-02 2021-02-22 東京瓦斯株式会社 顧客管理システム、プログラム、装置および方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6857270B1 (ja) * 2020-03-06 2021-04-14 株式会社Showcase Gig 注文管理支援サーバ、注文管理支援システム、注文管理支援方法
US20230289863A1 (en) * 2020-07-07 2023-09-14 Ntt Docomo, Inc. Recommendation system
JP6915184B1 (ja) * 2020-09-23 2021-08-04 株式会社日本システムプロジェクト 飲食物注文受付システム及び飲食物注文受付装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004252497A (ja) * 2002-01-15 2004-09-09 Masanobu Kujirada 飲食店において料理又は飲料を提供するための方法及びシステム
JP4847022B2 (ja) * 2005-01-28 2011-12-28 京セラ株式会社 発声内容認識装置
JP2007004282A (ja) * 2005-06-21 2007-01-11 Oki Electric Ind Co Ltd 注文処理システム
JP2009059286A (ja) * 2007-09-03 2009-03-19 Nec Corp 情報分析システムおよび情報分析方法
JP2011221683A (ja) * 2010-04-07 2011-11-04 Seiko Epson Corp 接客支援装置、接客支援方法およびプログラム
JP6671764B2 (ja) * 2014-07-25 2020-03-25 株式会社ビーマップ 携帯端末無線lanオーダーシステム、携帯端末無線lanオーダーシステムの制御方法、携帯端末無線lanオーダーシステムのプログラム及び記録媒体
JP6459281B2 (ja) * 2014-08-04 2019-01-30 富士通株式会社 飲食ペース評価プログラム、飲食ペース評価方法、コンピュータ及び飲食ペース評価システム
JP6068408B2 (ja) * 2014-09-26 2017-01-25 京セラドキュメントソリューションズ株式会社 ワークフロー制御装置及びプログラム
US10373235B2 (en) * 2014-09-29 2019-08-06 Tabletop Media, LLC Table-side information device imaging capture
WO2016088369A1 (ja) * 2014-12-04 2016-06-09 日本電気株式会社 情報処理装置、言動評価方法およびプログラム記憶媒体
JP6669536B2 (ja) * 2016-03-07 2020-03-18 セイコーソリューションズ株式会社 注文入力装置および注文入力方法
JP6240291B1 (ja) * 2016-10-27 2017-11-29 ヤフー株式会社 決定装置、決定方法、及び決定プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021026452A (ja) * 2019-08-02 2021-02-22 東京瓦斯株式会社 顧客管理システム、プログラム、装置および方法
JP7376272B2 (ja) 2019-08-02 2023-11-08 東京瓦斯株式会社 顧客管理システム、プログラム、装置および方法

Also Published As

Publication number Publication date
JP2019191795A (ja) 2019-10-31
WO2019208327A1 (ja) 2019-10-31

Similar Documents

Publication Publication Date Title
JP6535783B1 (ja) 接客支援システム
JP7297326B2 (ja) 情報処理装置、情報処理システム、情報処理方法およびプログラム
US10540707B2 (en) Commercial information providing system and commercial information providing method
JP2019003360A (ja) 案内ロボット、席管理装置及びプログラム
KR101976366B1 (ko) 멀티미디어 기반의 고객 맞춤형 메뉴 추천이 가능한 무인 음식판매점 시스템
US20110078637A1 (en) Self-service computer with dynamic interface
KR101734345B1 (ko) 매장의 실시간 혼잡도 정보제공을 통한 고객 관리시스템
CN109035633A (zh) 一种基于图像识别的菜单推送方法及系统
US20060186197A1 (en) Method and apparatus for wireless customer interaction with the attendants working in a restaurant
CN105931145A (zh) 一种智能点餐方法及装置
US8041605B1 (en) Advance order system
EP2908281A1 (en) Product information provision system, product information provision device, and product information output device
JP2019003361A (ja) 席管理装置、プログラム及びロボット
JP5142306B1 (ja) 商品情報提供システム、商品情報提供装置、及び商品情報出力装置
JP2018106580A (ja) 情報処理装置、システム、及びそれらの制御方法、プログラム
JP6952453B2 (ja) 接客システム及び接客方法
CN110210999A (zh) 餐饮信息处理方法、装置及系统
JP5220953B1 (ja) 商品情報提供システム、商品情報提供装置、及び商品情報出力装置
JP2019053650A (ja) 自走式装置
JP7476881B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2021057044A (ja) 情報処理システム
US20150248682A1 (en) Systems And Methods for Generating Surveys
JP7417119B2 (ja) 情報処理システム、情報処理システムの制御方法、電子機器、プログラム
JP6877676B1 (ja) 給仕管理装置及びプログラム
JP2020106611A (ja) カラオケシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180423

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180427

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180508

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190408

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190603

R150 Certificate of patent or registration of utility model

Ref document number: 6535783

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250