JP7358956B2 - automatic transaction device - Google Patents

automatic transaction device Download PDF

Info

Publication number
JP7358956B2
JP7358956B2 JP2019222971A JP2019222971A JP7358956B2 JP 7358956 B2 JP7358956 B2 JP 7358956B2 JP 2019222971 A JP2019222971 A JP 2019222971A JP 2019222971 A JP2019222971 A JP 2019222971A JP 7358956 B2 JP7358956 B2 JP 7358956B2
Authority
JP
Japan
Prior art keywords
user
control unit
screen
emotion
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019222971A
Other languages
Japanese (ja)
Other versions
JP2021092952A (en
Inventor
彰太 貫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2019222971A priority Critical patent/JP7358956B2/en
Publication of JP2021092952A publication Critical patent/JP2021092952A/en
Application granted granted Critical
Publication of JP7358956B2 publication Critical patent/JP7358956B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、自動取引装置に関する。 The present invention relates to an automatic transaction device.

自動取引装置には、金融機関の現金自動預け払い機(ATM:Automated Teller Machine)や現金自動支払い機(CD:Cash Dispenser)等が知られている。自動取引装置は、銀行等の金融機関の支店やコンビニエンスストア等の店舗や駅等の交通機関の施設に設置されている。利用者は、自動取引装置のインターフェイス部の表示画面に応じて入力キーやタッチパネルで各種操作を行うことにより、入金、出金、振込及び残高照会等の取引を行うことができる。 Automated teller machines (ATMs) and cash dispensers (CDs) of financial institutions are known as automatic transaction devices. Automatic transaction devices are installed in branches of financial institutions such as banks, stores such as convenience stores, and facilities of transportation facilities such as stations. Users can perform transactions such as deposits, withdrawals, transfers, and balance inquiries by performing various operations using the input keys and touch panel according to the display screen of the interface section of the automatic transaction device.

一般に、自動取引装置には自動呼出電話が配置されている。自動呼出電話は、利用者が自動呼出電話の受話器を上げることでオペレータ等の特定の相手を呼び出してオペレータが利用者の問い合わせ(課題)に対応できる応対システムとして、知られている(特許文献1)。 Generally, automated transaction machines are equipped with an automated calling telephone. An automatic calling telephone is known as a response system in which the user picks up the handset of the automatic calling telephone to call a specific party, such as an operator, and the operator can respond to the user's inquiry (issue) (Patent Document 1) ).

また、ロボットが、顧客の状況又は自動処理機の処理状態に応じて、顧客に適切な自動処理機の操作ガイダンスを行うスシステムが知られている(特許文献2)。 Furthermore, a system is known in which a robot provides appropriate operational guidance for an automatic processing machine to a customer depending on the customer's situation or the processing state of the automatic processing machine (Patent Document 2).

特開2001-34812号公報Japanese Patent Application Publication No. 2001-34812 特開2017-87411号公報JP2017-87411A

特許文献1の自動取引装置システムでは、利用者からの受話器を取るといった行動がなければ、利用者の課題に対応することができない。そのため、利用者からの発信がなければ利用者の対応や課題解決をすることができないという問題点がある。 The automatic transaction device system of Patent Document 1 cannot respond to the user's problem unless the user takes action such as picking up the phone. Therefore, there is a problem in that it is not possible to respond to users or solve problems without information from users.

特許文献2の操作ガイダンスシステムにおいて、ロボットが備える撮像部で撮像された顧客の撮影顔撮像データと、記憶部に記憶されている顔撮像データと人間の感情とを関連付けた感情データと、に基づいて推定して認識、或いは、顧客の表情を認定し又撮影した顧客の顔撮像データから顧客の感情を推定して認識している(段落0062、0150)けれども、広告表示時の顧客の表情、発される声から認識した感情や表情のデータと、当該顧客の年齢性別推定結果のデータを所定のデータベースに記憶して、記憶された情報は、例えば、当該広告が関係するマーケティングに活用される(段落0151)だけであり、操作ガイダンスには認識した顧客の感情が何ら反映されていない問題がある。移動ロボットが広い空間を要する問題がある。 The operation guidance system disclosed in Patent Document 2 is based on captured face image data of a customer captured by an image capture unit included in a robot, and emotional data that associates the face image data stored in a storage unit with human emotions. Alternatively, the customer's facial expression is recognized and the customer's emotion is estimated and recognized from the photographed customer's facial image data (Paragraphs 0062, 0150). Data on emotions and facial expressions recognized from the voices uttered and data on the age and gender estimation results of the customer are stored in a predetermined database, and the stored information is used, for example, for marketing related to the advertisement. (Paragraph 0151), and there is a problem in that the operation guidance does not reflect the customer's recognized emotions at all. There is a problem that mobile robots require a large amount of space.

本発明は上記した問題に鑑みなされたものであり、自動取引装置のインターフェイス部前における利用者の様々な顔の表情に基づく感情を利用して、様々な操作段階での助言や誘導が可能な自動取引装置を提供することを課題の1つとする。また、本発明の感情判定の他の目的として、例えば、利用者の自動取引装置の操作についての間違いや戸惑いを解消するサポートを提供することである。 The present invention was created in view of the above-mentioned problems, and it is possible to provide advice and guidance at various stages of operation by utilizing emotions based on various facial expressions of the user in front of the interface of the automated transaction device. One of the challenges is to provide automatic transaction equipment. Another purpose of the emotion determination of the present invention is to provide support for eliminating mistakes and confusion made by users regarding the operation of automatic transaction devices, for example.

本発明の自動取引装置は、利用者の操作を受け付け利用者へ情報を表示する画面を有するインターフェイス部を有する自動取引装置であって、
利用者の顔を含む身体の一部を撮像して撮像データを生成する撮像部と、
前記撮像データに基づいて利用者の感情を認識して感情データを生成する感情認識人工知能部と、を有し、
前記感情データに対応する操作段階で前記感情データから判別された所定の感情データに対応するメッセージを前記インターフェイス部の前記画面へ出力する
ことを特徴とする。
The automatic transaction device of the present invention is an automatic transaction device having an interface section having a screen that receives operations from a user and displays information to the user,
an imaging unit that generates imaging data by imaging a part of the user's body including the user's face;
an emotion recognition artificial intelligence unit that recognizes the user's emotion based on the imaging data and generates emotion data;
A message corresponding to predetermined emotional data determined from the emotional data is output to the screen of the interface unit in the operation step corresponding to the emotional data.

本発明によれば、カメラを備えたコンパクトな自動取引装置において、撮像データに基づく利用者の前記感情データに対応する操作段階で前記感情データから判別された所定の感情データに対応するメッセージを前記インターフェイス部の前記画面へ出力するので、様々な操作について利用者に助言や誘導が可能であり、自動取引装置の操作についての間違いや戸惑いを解消するサポートを利用者に提供することができる。 According to the present invention, in a compact automatic transaction device equipped with a camera, a message corresponding to predetermined emotional data determined from the emotional data of the user is sent to the Since it is output to the screen of the interface section, it is possible to advise and guide the user regarding various operations, and it is possible to provide the user with support to eliminate mistakes and confusion regarding the operation of the automatic transaction device.

本発明による実施例の自動取引装置を示す概略斜視図である。1 is a schematic perspective view showing an automatic transaction device according to an embodiment of the present invention. 本実施例の自動取引装置を含む監視システムの構成例の一例を示す概略説明図である。BRIEF DESCRIPTION OF THE DRAWINGS It is a schematic explanatory diagram which shows an example of the structure of the monitoring system containing the automatic transaction device of a present Example. 本実施例に関わる自動取引装置における利用者が「キャッシュカード」で金銭を振込む取引を行う場合の操作の流れを示すフロー図である。It is a flowchart showing the flow of operations when a user performs a transaction to transfer money using a "cash card" in the automatic transaction device according to the present embodiment.

以下、図面を参照しつつ本発明による実施例の現金を扱う自動取引装置(以下、ATMともいう)の例について説明する。なお、本発明は以下の実施例に限定されるものではない。なお、実施例において、実質的に同一の機能及び構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 DESCRIPTION OF THE PREFERRED EMBODIMENTS An example of an automated teller machine (hereinafter also referred to as an ATM) that handles cash according to an embodiment of the present invention will be described below with reference to the drawings. Note that the present invention is not limited to the following examples. Note that, in the embodiments, components having substantially the same functions and configurations are designated by the same reference numerals and redundant explanation will be omitted.

(ATMの構成)
図1に示すように、ATMには、その前面側に利用者が対峙した状態で取引操作等をしやすいインターフェイス部IFが設けられている。インターフェイス部IFは、利用者との間で取引に関する情報の伝達や操作指示の受付を行う機能を有する。インターフェイス部IFには、撮像部であるカメラ1と、操作表示部2と、通帳や払込票等の紙媒体を入出力する紙媒体入出口3aを有する紙媒体処理部3と、紙幣や硬貨を入出する現金入出金口4aを有する現金処理部4と、カード入出口5a及びレシート発行口5bを有するカードリーダレシートプリンタ部5と、自動呼出電話部(図示せず)の受話器6aとが設けられている。
(ATM configuration)
As shown in FIG. 1, an ATM is provided with an interface section IF on the front side of the ATM that allows a user to easily perform transaction operations while facing the ATM. The interface unit IF has a function of transmitting transaction-related information and receiving operational instructions from users. The interface unit IF includes a camera 1 as an imaging unit, an operation display unit 2, a paper media processing unit 3 having a paper media input/output port 3a for inputting/outputting paper media such as passbooks and payment slips, and a paper media processing unit 3 for inputting and outputting paper media such as banknotes and payment slips. A cash processing unit 4 having a cash input/output port 4a, a card reader/receipt printer unit 5 having a card input/output port 5a and a receipt issuing port 5b, and a receiver 6a of an automatic calling telephone unit (not shown) are provided. ing.

また、ATMには該インターフェイス部IFの他に、図2に示すように、ATMの動作を制御するためのプログラムが格納されている記憶部7と、記憶部7に格納されているプロクラムをCPU(Central Processing Unit)が実行することによりATMの各機能部の動作を制御する制御部8と、感情認識人工知能部9と、受話器6aの主装置の自動呼出電話部6と、を備えている。 In addition to the interface section IF, the ATM also includes a storage section 7 in which a program for controlling the operation of the ATM is stored, and a CPU that stores the program stored in the storage section 7, as shown in FIG. (Central Processing Unit) to control the operation of each functional part of the ATM, an emotion recognition artificial intelligence part 9, and an automatic call telephone part 6 of the main device of the handset 6a. .

カメラ1は、動画や静止画の撮像データを取得する機能を有する。カメラ1自体は利用者の顔全体が撮影でき認識できる位置に配置される。例えば、カメラ1は、利用者の顔を含む身体の一部の画像やATMの周囲の画像を含むATM周辺画像を取得することができる。カメラ1は、ATMの操作表示部2上の例えば、後方確認ハーフミラー(図示せず)の背後側の筐体内部に、外部からは見えないように実装されていてもよい。 The camera 1 has a function of acquiring imaging data of moving images and still images. The camera 1 itself is placed at a position where the user's entire face can be photographed and recognized. For example, the camera 1 can acquire an image of a part of the user's body, including the user's face, and an image of the ATM surroundings, including an image of the area around the ATM. The camera 1 may be mounted on the operation display section 2 of the ATM, for example, inside a casing behind a rear confirmation half mirror (not shown) so as not to be visible from the outside.

操作表示部2は、制御部8から命令された取引の為の操作画面を表示して、取引の種類の選択や暗証番号や取引金額等の入力を可能とするタッチパネルである。操作表示部2は、利用者からの選択や入力を受け付けて、指示内容を制御部8に伝達するとともに、制御部8から利用者へ各種情報の確認や、選択入力等の操作画面を表示する。タッチパネルは、液晶ディスプレイ等の画像表示装置とタッチパッド等の位置入力装置を組み合わせた電子部品であり、画面上の表示を触れることで画面位置の情報を感知して制御部8に伝達する。制御部8の制御に基づき、操作表示部2の操作画面(以下、単に画面ともいう)には、初期画面として、例えば、取引種類である「入金」、「出金」等が表示される。そして、利用者は、制御部8の制御に基づき表示される様々な操作段階の画面において、希望する操作のボタン等の表示部分に触れることにより取引が進行する。 The operation display unit 2 is a touch panel that displays an operation screen for transactions instructed by the control unit 8 and allows selection of the type of transaction and input of a password, transaction amount, etc. The operation display unit 2 receives selections and inputs from the user, transmits the instruction contents to the control unit 8, and displays an operation screen for checking various information and inputting selections from the control unit 8 to the user. . The touch panel is an electronic component that combines an image display device such as a liquid crystal display and a position input device such as a touch pad, and senses screen position information by touching the display on the screen and transmits the information to the control unit 8. Based on the control of the control unit 8, the operation screen (hereinafter also simply referred to as screen) of the operation display unit 2 displays transaction types such as “deposit” and “withdrawal” as an initial screen. Then, the user can proceed with the transaction by touching a display part such as a button for a desired operation on the screens of various operation stages displayed under the control of the control unit 8.

紙媒体処理部3は、払込票、通帳等の紙媒体を紙媒体入出口3aから取り込み、制御部8の制御に基づき、当該紙媒体の処理を行い、これを紙媒体入出口3aから排出する。紙媒体処理部3の通帳処理機能としては、利用者から挿入された通帳における磁気ストライプデータの読取りと書込みを行い、取引内容(記帳データ)に関する記帳印字を行う。紙媒体処理部3の払込票処理機能としては、利用者から通帳出入口に挿入された払込票の光学的読取りを行い、又は必要があれば印字を行う。 The paper media processing unit 3 takes in paper media such as payment slips and passbooks from the paper media input/output port 3a, processes the paper media based on the control of the control unit 8, and discharges the paper media from the paper media input/output port 3a. . The passbook processing function of the paper medium processing unit 3 is to read and write magnetic stripe data in a passbook inserted by the user, and to print out transaction details (bookkeeping data). The payment slip processing function of the paper medium processing unit 3 is to optically read the payment slip inserted into the passbook entrance by the user, or print it if necessary.

現金処理部4は、制御部8の制御に基づき、現金の入出金に関する処理(現金入出金口4aから現金の搬送や格納、現金の真偽や金種の判別等)を行い、現金を現金入出金口4aから排出することができる。 The cash processing unit 4 performs processing related to cash deposits and withdrawals (transporting and storing cash from the cash deposit/withdrawal port 4a, determining the authenticity and denomination of cash, etc.) under the control of the control unit 8, and converts cash into cash. It can be discharged from the deposit/withdrawal port 4a.

カードリーダレシートプリンタ部5は、制御部8の制御に基づき、利用者からカード入出口5aへ挿入されたキャッシュカード等のカード媒体に記録されている利用者識別情報(例えば、氏名、口座番号等)を読取り、利用者を認識する機能を有する。カードリーダレシートプリンタ部5は、当該カード媒体に記録されているデータの読み取りと書き込みを行うこともできる。カードリーダレシートプリンタ部5は、制御部8から供給された取引明細プリント信号に応じて、当該信号にて表される取引結果を明細票用紙に印刷して、これをレシート発行口5bから排出する。 The card reader receipt printer section 5, under the control of the control section 8, stores user identification information (for example, name, account number, etc.) recorded on a card medium such as a cash card inserted into the card slot 5a by the user. ) and has the function of recognizing the user. The card reader receipt printer section 5 can also read and write data recorded on the card medium. The card reader receipt printer section 5 prints the transaction result represented by the signal on a statement sheet in response to the transaction statement print signal supplied from the control section 8, and discharges it from the receipt issuing port 5b. .

図2に示すように監視システム内の自動取引装置(ATM)、サーバ11、オペレータ室12のオペレータ端末12aは全て通信網NWに接続され、通信網NWを介して各々が制御/情報データや音声データを伝達することができる。自動呼出電話部6は、受話器6aを介して音声を出力する機能及び音声情報を取得する機能を有する。自動呼出電話部6は、その受話器6aを利用者が持ち上げるだけで、自動的に所定の相手を呼び出す通信装置である。自動呼出電話部6の受話器6aを上げると、例えば、自動呼出電話部6は、ATMを管理するオペレータ室12を呼び出し、利用者は受話器6aとオペレータ端末12aを介してオペレータと通話可能になる。なお、自動呼出電話部6は、受話器6aを介して操作の音声ガイダンスのアナウンスを利用者に流す機能を備えることができる。 As shown in FIG. 2, the automatic transaction machine (ATM) in the monitoring system, the server 11, and the operator terminal 12a in the operator room 12 are all connected to the communication network NW, and each can transmit control/information data and voice information via the communication network NW. Data can be transmitted. The automatic calling telephone section 6 has a function of outputting voice via the handset 6a and a function of acquiring voice information. The automatic calling telephone unit 6 is a communication device that automatically calls a predetermined party simply by a user lifting the handset 6a. When the user picks up the handset 6a of the automatic call telephone section 6, for example, the automatic call telephone section 6 calls the operator room 12 that manages the ATM, and the user can talk to the operator via the receiver 6a and the operator terminal 12a. Note that the automatic calling telephone section 6 can be provided with a function of transmitting an announcement of voice guidance for operation to the user via the receiver 6a.

感情認識人工知能部9はカメラ1と制御部8に接続され、カメラ1からの映像より利用者の顔等の筋肉の動きや視線の動きにより感情を分析し、喜び・驚き・恐怖・怒り・嫌悪・悲しみ・軽蔑・満足・困惑・興奮・罪悪感・納得感・焦り等の分析結果の感情を抽出する。その分析結果を制御部8に伝達する。すなわち、感情認識人工知能部9は、カメラ1で撮像した利用者の顔の表情の撮像データに基づいて感情解析を実行して感情データを生成し、これを制御部8へ出力する。なお、感情認識人工知能部9は制御部8におけるCPUやメモリ(ROM、RAM、HDD等)内で、メモリ搭載のプログラムに基づいてCPUとメモリの協働により、感情データに基づく感情判定処理を行うように構成されていてもよい。感情認識ソフトウェアプログラムは、例えば、装置に設けられる記憶部7に予め格納され、各プログラムは、例えば、実行時にRAMに読み込まれ、CPUにより実行される。感情認識ソフトウェアプログラムとしてはMicrosoft社のFace API、Affectiva社のAffdex等が挙げられる。制御部8は、受信した分析結果(感情データ)において、判別された所定の感情データである「困惑」や「焦り」(以下、これらを単に「困惑」ともいう)といった利用者がサポートを必要としているネガティブ感情結果の有無を検出する。これを、感情認識人工知能部9と制御部8とによる感情判定ステップという。 The emotion recognition artificial intelligence unit 9 is connected to the camera 1 and the control unit 8, and analyzes the user's emotions from the image from the camera 1 based on the movement of the muscles of the user's face and the movement of the line of sight, and detects joy, surprise, fear, anger, etc. Extract emotions from analysis results such as disgust, sadness, contempt, satisfaction, confusion, excitement, guilt, satisfaction, impatience, etc. The analysis results are transmitted to the control section 8. That is, the emotion recognition artificial intelligence unit 9 performs emotion analysis based on the captured data of the user's facial expression captured by the camera 1 to generate emotion data, and outputs this to the control unit 8 . The emotion recognition artificial intelligence unit 9 performs emotion judgment processing based on emotion data in the CPU and memory (ROM, RAM, HDD, etc.) in the control unit 8 through cooperation between the CPU and memory based on a program installed in the memory. It may be configured to do so. The emotion recognition software program is, for example, stored in advance in the storage unit 7 provided in the device, and each program is read into the RAM and executed by the CPU at the time of execution, for example. Emotion recognition software programs include Microsoft's Face API and Affectiva's Affdex. In the received analysis results (emotional data), the control unit 8 determines whether the user needs support, such as ``confused'' or ``impatient'' (hereinafter also simply referred to as ``confused''), which are determined predetermined emotional data. Detect the presence or absence of negative emotional results. This is called an emotion determination step by the emotion recognition artificial intelligence section 9 and the control section 8.

通信部10は、有線又は無線により他の情報処理装置(通信網NWを介してサーバ11やオペレータ室12のオペレータ端末12aと通信する)との間でデータの送受信を行うための通信モジュールである。通信部10は利用者の感情分析結果や通話確立要求、通話切断要求、画面操作データ等をサーバ11に伝達する。また、サーバ11より主要な質問事項のメッセージを受信し、制御部8に伝達する。例えば、通信部10は、LAN(Local Area Network)や電話回線等に接続されており、通信網NWを介してオペレータ端末12aやサーバ11と通信する。通信部10は、ATMで行われた処理に関する情報を、通信網NWを介してサーバ11と送受信している。通信網NWは、接続されている通信部10から送信される情報の有線又は無線の伝送路である。例えば、通信網NWは、公衆回線網(インターネット、電話回線網、衛星通信網)を含んでもよいし、各種のLANを含んでもよいし、WAN(Wide Area Network)を含んでもよい。また、通信網NWは、IP-VPN(Internet Protocol-Virtual Private Network)等の専用回線網を含んでもよい。 The communication unit 10 is a communication module for transmitting and receiving data with other information processing devices (communicates with the server 11 and the operator terminal 12a of the operator room 12 via the communication network NW) by wire or wirelessly. . The communication unit 10 transmits the user's emotional analysis results, call establishment requests, call disconnection requests, screen operation data, etc. to the server 11. It also receives messages about major questions from the server 11 and transmits them to the control unit 8. For example, the communication unit 10 is connected to a LAN (Local Area Network), a telephone line, etc., and communicates with the operator terminal 12a and the server 11 via the communication network NW. The communication unit 10 transmits and receives information regarding processing performed at the ATM to and from the server 11 via the communication network NW. The communication network NW is a wired or wireless transmission path for information transmitted from the connected communication units 10. For example, the communication network NW may include a public line network (the Internet, a telephone line network, a satellite communication network), various LANs, or a WAN (Wide Area Network). Furthermore, the communication network NW may include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network).

本実施例にて使用する構成要素は主に、カメラ1、操作表示部2、感情認識人工知能部9、制御部8、自動呼出電話部6、通信部10であるので、以下では便宜上、これら要素以外の構成については詳細な説明を省略して、感情判定ステップと困惑対応処理ステップを説明する。 The components used in this embodiment are mainly the camera 1, the operation display section 2, the emotion recognition artificial intelligence section 9, the control section 8, the automatic call telephone section 6, and the communication section 10. Detailed description of the configuration other than the elements will be omitted, and the emotion determination step and the confusion handling step will be described.

図2に示すように自動取引装置(ATM)、サーバ11、オペレータ室12のオペレータ端末12aは全て通信網NWに接続され、通信網NWを介して各々が制御/情報データや音声データを伝達する。 As shown in FIG. 2, the automatic transaction machine (ATM), the server 11, and the operator terminal 12a in the operator room 12 are all connected to the communication network NW, and each transmits control/information data and voice data via the communication network NW. .

A:自動取引装置(ATM)の感情判定ステップ
或る取引の1つの操作段階の画面が表示されている状態(当該操作段階の画面情報を含んでいる状態)における利用者の顔の表情を撮像したカメラ1からの映像より、感情認識人工知能部9が利用者の感情を分析して感情データを生成し、分析結果を制御部8に伝達する。制御部8にて分析結果(感情データ)を受信した際に、「困惑」や「焦り」といった利用者がサポートを必要としている感情結果の有無を検出する(困惑の感情判定)。以上の感情認識人工知能部9と制御部8とによる処理が感情判定ステップである。
A: Emotion determination step for automated teller machine (ATM) Capturing the facial expression of a user when a screen for one operation step of a certain transaction is displayed (a state that includes screen information for the operation step) The emotion recognition artificial intelligence unit 9 analyzes the user's emotions based on the video captured by the camera 1, generates emotion data, and transmits the analysis results to the control unit 8. When the control unit 8 receives the analysis result (emotional data), it detects whether there is an emotional result such as "confused" or "impatient" that indicates that the user needs support (confused emotion determination). The above processing performed by the emotion recognition artificial intelligence section 9 and the control section 8 is an emotion determination step.

B:自動取引装置(ATM)での困惑対応処理ステップの開始初段
感情判定ステップの後、制御部8は当該必要としている感情結果が無と判定すると、次の段階の画面を操作表示部2に表示させる。感情判定ステップの後、制御部8は当該必要としている感情結果が有(すなわち、困惑)と判定すると、制御部8より操作表示部2にサポートが必要か否かのメッセージ出力を指示する。利用者が操作表示部2の画面のメッセージに対してサポートが「必要」の入力を画面より入力する場合、操作表示部2より入力情報が制御部8に伝達される。サポート要求有「要」の時、制御部8は通信部10を介してサーバ11に、現状の画面情報(現状の操作段階の画面情報)と共に質問データの要求を送信する。かかる制御部8による質問データの要求送信の処理が困惑対応処理ステップの開始初段である。利用者の「サポート不要」入力の場合、制御部8はそのまま処理を続行する(次の段階の画面を表示させる)。
B: Initial stage of starting the confusion response processing step in the automated teller machine (ATM) After the emotion determination step, if the control unit 8 determines that the desired emotion result is null, it displays the screen for the next stage on the operation display unit 2. Display. After the emotion determination step, if the control unit 8 determines that the desired emotion result is present (that is, confused), the control unit 8 instructs the operation display unit 2 to output a message indicating whether support is required. When the user inputs an input indicating that support is “required” in response to a message on the screen of the operation display unit 2, the input information is transmitted from the operation display unit 2 to the control unit 8. When the support request is "required", the control unit 8 transmits a request for question data to the server 11 via the communication unit 10 along with current screen information (screen information at the current operation stage). The process of transmitting a request for question data by the control unit 8 is the first stage of starting the confusion handling process step. If the user inputs "no support required", the control unit 8 continues the process (displays the screen for the next stage).

C:サーバ11での困惑対応処理ステップの開始中段
サーバ11は通信部10からの信号を受信してから現状の画面情報に対する質問データを通信部10に送信する。かかるサーバ11による質問データの送信の処理が困惑対応処理ステップの開始中段である。
C: Middle stage of start of confusion response processing step in server 11 After receiving the signal from the communication unit 10, the server 11 transmits question data regarding the current screen information to the communication unit 10. The process of transmitting the question data by the server 11 is the middle stage of starting the puzzle handling process step.

D:自動取引装置(ATM)での困惑対応処理ステップの開始終段
通信部10はサーバ11からの質問データを受信し制御部8に伝達する。制御部8は受信した質問データを操作表示部2に出力するように指示する。操作表示部2は制御部8からの質問データ(選択肢)を画面に出力し、利用者に、どの質問が該当するか又は無いかの入力を促す。これによって、操作表示部2、制御部8、通信部10、サーバ11の間のデータやりとりにて利用者のサポートを開始する。利用者は画面に出力された質問(選択肢)に該当するものが無い場合は、画面の「該当なし」を入力する。この場合、操作表示部2は制御部8に「該当なし」が入力されたことを伝達する。制御部8は操作表示部2に受話器6aを取ることを促す受話器メッセージを出力する指示を出し、操作表示部2は当該受話器メッセージを表示する。かかるATMによる質問データの送信の処理が困惑対応処理ステップの開始終段である。
D: Start and final stage of confusion handling processing steps in automatic transaction machine (ATM) The communication unit 10 receives question data from the server 11 and transmits it to the control unit 8 . The control section 8 instructs the operation display section 2 to output the received question data. The operation display unit 2 outputs the question data (options) from the control unit 8 on the screen, and prompts the user to input which question is applicable or not. As a result, user support is started through data exchange between the operation display section 2, the control section 8, the communication section 10, and the server 11. If there is no question (option) that matches the question (option) displayed on the screen, the user enters "Not applicable" on the screen. In this case, the operation display section 2 notifies the control section 8 that "not applicable" has been input. The control unit 8 instructs the operation display unit 2 to output a receiver message urging the user to pick up the receiver 6a, and the operation display unit 2 displays the receiver message. The process of transmitting question data by the ATM is the start and final stage of the confusion handling process step.

E:自動取引装置(ATM)での困惑対応処理ステップの利用者サポートの1段階
利用者は当該受話器メッセージを見ることで受話器6aを持ち上げると、受話器6aが持ち上げられたことを自動呼出電話部6が検出し制御部8に伝達する。これにより制御部8は通信部10を介してサーバ11にオペレータとの通話接続を要求する。
E: 1st stage of user support in the confusion handling process step in an automated teller machine (ATM) When the user lifts up the handset 6a by looking at the handset message, the automatic calling telephone section 6 notifies that the handset 6a has been lifted. detects it and transmits it to the control section 8. As a result, the control unit 8 requests the server 11 via the communication unit 10 to establish a telephone connection with the operator.

F:サーバ11での困惑対応処理ステップの利用者サポートの2段階
通話接続要求を受信するサーバ11は空きのあるオペレータ端末12aと自動取引装置(ATM)の受話器6aとの通話を確立することで、これらの間で音声データの送受信が行われる。
F: Two stages of user support in the confusion response processing step at the server 11 The server 11 that receives the call connection request establishes a call between the available operator terminal 12a and the handset 6a of the automatic transaction machine (ATM). , audio data is transmitted and received between them.

G:サーバ11での困惑対応処理ステップの利用者サポートの3段階
通話確立と同時にサーバ11は当該オペレータ端末12aに利用者が自動取引装置(ATM)から受けていたサポート情報(現状の操作段階の画面情報)を送信する。当該オペレータ端末12aを介してオペレータは受信したサポート情報に基づき利用者の課題の対応を行う。
G: Three stages of user support in the confusion response processing step at the server 11 At the same time as the call is established, the server 11 sends the support information that the user received from the automatic transaction machine (ATM) (current operating stage) to the operator terminal 12a. screen information). The operator responds to the user's problem based on the received support information via the operator terminal 12a.

以上のように、カメラ1及び感情認識人工知能部9を使用することで利用者の感情を分析し、画面からメッセージを出力することで自動取引装置(ATM)から発信する利用者のサポートを実現できる。 As described above, by using the camera 1 and the emotion recognition artificial intelligence unit 9, the user's emotions are analyzed, and a message is output from the screen to support the user sent from an automatic transaction machine (ATM). can.

また、サーバ11に主要な質問事項に対する対策方法を予め用意し画面に出力することでオペレータ端末12aに接続しなくても利用者の課題を自動取引装置にて解決できる効果が得られる。更に、自動取引装置(ATM)の記憶部7に、感情データに対応する現状の操作段階の画面情報及び所定の感情データ「困惑」に対応する質問データを記憶して、当該所定の感情データに対応する質問データを、前記所定の感情データに対応するメッセージとしてインターフェイス部IFの画面へ出力させれば、サーバ11とオペレータ端末12aに接続しなくても利用者の課題をATM自体にて解決できる効果が得られる。 Further, by preparing in advance countermeasures for major questions on the server 11 and outputting them on the screen, it is possible to obtain the effect that the user's problems can be solved by the automatic transaction device without being connected to the operator terminal 12a. Furthermore, screen information of the current operation stage corresponding to the emotion data and question data corresponding to the predetermined emotion data "confused" are stored in the storage unit 7 of the automatic transaction machine (ATM), and the screen information corresponding to the predetermined emotion data "confused" is stored. By outputting the corresponding question data to the screen of the interface section IF as a message corresponding to the predetermined emotion data, the user's problem can be solved at the ATM itself without connecting to the server 11 and operator terminal 12a. Effects can be obtained.

また、振り込み画面時に制御部8が「困惑」や「焦り」といった分析をした場合は画面に振り込め詐欺注意喚起のメッセージをインターフェイス部IFの画面に出力させることで振り込み詐欺への対策を強化することも可能である。 Furthermore, if the control unit 8 analyzes the remittance screen as "confused" or "impatient," a message alerting the user to remittance fraud is output on the screen of the interface unit IF, thereby strengthening countermeasures against remittance fraud. is also possible.

次に、利用者が「キャッシュカード」で振込む場合の本実施例のATMの操作の流れの一例を説明する。図3は本実施例に関わる自動取引装置における利用者が「キャッシュカード」で金銭を振込む取引を行う場合の操作の流れを示すフロー図である。 Next, an example of the operation flow of the ATM of this embodiment when a user makes a transfer using a "cash card" will be explained. FIG. 3 is a flowchart showing the flow of operations when a user performs a money transfer transaction using a "cash card" in the automatic transaction device according to the present embodiment.

ATMは、ステップS1として各構成要素を待機させることから操作を開始する。 The ATM starts operation by putting each component on standby in step S1.

利用者がATMにて取引を始めるためにはインターフェイス部IFの初期画面にて取引を選択する必要がある。制御部8が、カメラ1からの撮像データから利用者の動きがあるか否かを検知し(ステップS2)、動きを検知した時、感情検知を始める。そうでない場合はステップS1へ戻り再度動きが検知されるまでATMは待機する。本例の振込取引の場合、利用者は、初期画面の「お振り込み」ボタン表示を選択する。 In order for a user to start a transaction at an ATM, it is necessary to select the transaction on the initial screen of the interface section IF. The control unit 8 detects whether there is a movement of the user from the image data from the camera 1 (step S2), and when the movement is detected, starts emotion detection. If not, the process returns to step S1 and the ATM waits until movement is detected again. In the case of the transfer transaction in this example, the user selects the "Transfer" button display on the initial screen.

当該ボタン選択を検知してステップS3に進んだ場合は、「現金」及び「キャッシュカード」の選択ボタンが画面に表示される(振込方法選択画面)。この画面状態で、感情認識人工知能部9と制御部8は、当該選択の感情判定を行う(ステップS3)。 If the selection of the button is detected and the process proceeds to step S3, selection buttons for "cash" and "cash card" are displayed on the screen (transfer method selection screen). In this screen state, the emotion recognition artificial intelligence unit 9 and the control unit 8 determine the emotion of the selection (step S3).

次に、判定ステップS3の結果が困惑か否かを判定する(ステップS4)。制御部8が困惑あり「Y」と判定した場合、ステップS5へ進み、困惑対応処理を行う。本例では利用者が現金振込するときは「現金」でなく「キャッシュカード」のボタンを押して利用者の口座から支払うことを選択する。よって、制御部8が困惑なし「N」と判定した場合、ステップS6へ進む。 Next, it is determined whether the result of determination step S3 is confusion (step S4). When the control unit 8 determines that there is confusion (Y), the process proceeds to step S5, and a puzzle handling process is performed. In this example, when the user wants to transfer cash, he or she presses the "cash card" button instead of "cash" to select payment from the user's account. Therefore, when the control unit 8 determines that there is no confusion "N", the process proceeds to step S6.

ステップS6に進んだ場合は、認証のため利用者に自分の暗証番号の入力を促す旨が画面に表示される(暗証番号入力画面)。利用者が暗証番号を入力する。この画面状態で、感情認識人工知能部9と制御部8は、当該入力の感情判定を行う(ステップS6)。 If the process proceeds to step S6, a message is displayed on the screen to prompt the user to enter his/her own PIN number for authentication (PIN number input screen). The user enters the PIN number. In this screen state, the emotion recognition artificial intelligence unit 9 and the control unit 8 determine the emotion of the input (step S6).

次に、感情判定ステップS6の結果が困惑か否かを判定する(ステップS7)。制御部8が困惑あり「Y」と判定した場合、ステップS8へ進み、困惑対応処理を行う。制御部8が困惑なし「N」と判定した場合、ステップS9へ進む。 Next, it is determined whether the result of the emotion determination step S6 is confusion (step S7). If the control unit 8 determines that there is confusion (Y), the process proceeds to step S8, and a puzzle handling process is performed. When the control unit 8 determines that there is no confusion ("N"), the process advances to step S9.

ステップS9に進んだ場合は、利用者に自分の電話番号の入力を促す旨が画面に表示される(電話番号入力画面)。電話番号はミスが発覚した場合、銀行から連絡するために使用される。利用者が電話番号を入力する。この画面状態で、感情認識人工知能部9と制御部8は、当該入力の感情判定を行う(ステップS9)。 If the process advances to step S9, a message prompting the user to input his or her own telephone number is displayed on the screen (telephone number input screen). The phone number will be used by the bank to contact you if a mistake is discovered. User enters phone number. In this screen state, the emotion recognition artificial intelligence unit 9 and the control unit 8 determine the emotion of the input (step S9).

次に、感情判定ステップS9の結果が困惑か否かを判定する(ステップS10)。制御部8が困惑あり「Y」と判定した場合、ステップS11へ進み、困惑対応処理を行う。制御部8が困惑なし「N」と判定した場合、ステップS12へ進む。 Next, it is determined whether the result of the emotion determination step S9 is confusion (step S10). When the control unit 8 determines that there is confusion (Y), the process proceeds to step S11, and a puzzle handling process is performed. When the control unit 8 determines that there is no confusion "N", the process advances to step S12.

ステップS12に進んだ場合は、「キャッシュカード」で振込む場合は利用者(自分)の口座名義が画面に表示される。(名前入力確認画面)。利用者が名前を確認する。この名前は利用者名でなくとも支払元が把握できる名前であればよい。この画面状態で、感情認識人工知能部9と制御部8は、当該確認の感情判定を行う(ステップS12)。 If the process proceeds to step S12, the user's (self) account name will be displayed on the screen if the transfer is made using a "cash card". (Name input confirmation screen). User confirms name. This name does not have to be the user's name as long as it can be understood by the payment source. In this screen state, the emotion recognition artificial intelligence section 9 and the control section 8 perform emotion determination for the confirmation (step S12).

次に、感情判定ステップS12の結果が困惑か否かを判定する(ステップS13)。制御部8が困惑あり「Y」と判定した場合、ステップS14へ進み、困惑対応処理を行う。制御部8が困惑なし「N」と判定した場合、ステップS15へ進む。 Next, it is determined whether the result of the emotion determination step S12 is confusion (step S13). When the control unit 8 determines that there is confusion (Y), the process proceeds to step S14, and a puzzle handling process is performed. When the control unit 8 determines that there is no confusion "N", the process advances to step S15.

ステップS15に進んだ場合は、振込先の金融機関を選択したり、支店名を選択するための選択ボタンが画面に表示される(金融機関入力画面)。利用者がそれぞれの選択ボタン一覧の中から該当する金融機関名、支店名のボタンを押して、振込先の金融機関を選択し、支店名を選択する。この画面状態で、感情認識人工知能部9と制御部8は、当該選択の感情判定を行う(ステップS15)。 If the process proceeds to step S15, selection buttons for selecting the financial institution to which the transfer is to be made or the name of the branch are displayed on the screen (financial institution input screen). The user presses the appropriate financial institution name or branch name button from the respective selection button lists, selects the financial institution to which the transfer is to be made, and selects the branch name. In this screen state, the emotion recognition artificial intelligence unit 9 and the control unit 8 determine the emotion of the selection (step S15).

次に、感情判定ステップS15の結果が困惑か否かを判定する(ステップS16)。制御部8が困惑あり「Y」と判定した場合、ステップS17へ進み、困惑対応処理を行う。制御部8が困惑なし「N」と判定した場合、ステップS18へ進む。 Next, it is determined whether the result of the emotion determination step S15 is confusion (step S16). When the control unit 8 determines that there is confusion (Y), the process proceeds to step S17, and a puzzle handling process is performed. When the control unit 8 determines that there is no confusion ("N"), the process advances to step S18.

ステップS18に進んだ場合は、振込先の口座科目(口座種別)を選択するための選択ボタンが画面に表示される(口座科目選択画面)。利用者が選択ボタン一覧の中から該当する科目のボタンを押して、科目を選択する。この画面状態で、感情認識人工知能部9と制御部8は、当該選択の感情判定を行う(ステップS18)。 If the process proceeds to step S18, a selection button for selecting the account item (account type) to which the transfer is to be made is displayed on the screen (account item selection screen). The user selects a subject by pressing the appropriate subject button from the selection button list. In this screen state, the emotion recognition artificial intelligence unit 9 and the control unit 8 determine the emotion of the selection (step S18).

次に、感情判定ステップS18の結果が困惑か否かを判定する(ステップS19)。制御部8が困惑あり「Y」と判定した場合、ステップS20へ進み、困惑対応処理を行う。制御部8が困惑なし「N」と判定した場合、ステップS21へ進む。 Next, it is determined whether the result of the emotion determination step S18 is confusion (step S19). When the control unit 8 determines that there is confusion (Y), the process proceeds to step S20, and a puzzle handling process is performed. When the control unit 8 determines that there is no confusion "N", the process advances to step S21.

ステップS21に進んだ場合は、振込先の口座番号の入力を促す旨が画面に表示される(振込先口座番号入力画面)。利用者が振込先口座番号を入力する。この画面状態で、感情認識人工知能部9と制御部8は、当該入力の感情判定を行う(ステップS21)。 If the process proceeds to step S21, a prompt to input the account number of the transfer destination is displayed on the screen (transfer destination account number input screen). The user enters the bank account number. In this screen state, the emotion recognition artificial intelligence unit 9 and the control unit 8 determine the emotion of the input (step S21).

次に、感情判定ステップS21の結果が困惑か否かを判定する(ステップS22)。制御部8が困惑あり「Y」と判定した場合、ステップS23へ進み、困惑対応処理を行う。制御部8が困惑なし「N」と判定した場合、ステップS24へ進む。 Next, it is determined whether the result of the emotion determination step S21 is confusion (step S22). When the control unit 8 determines that there is confusion (Y), the process proceeds to step S23, and a puzzle handling process is performed. When the control unit 8 determines that there is no confusion "N", the process advances to step S24.

ステップS24に進んだ場合は、振込金額の入力を促す旨が画面に表示される(振込金額入力画面)。利用者が振込先口座番号を入力する。この画面状態で、感情認識人工知能部9と制御部8は、当該入力の感情判定を行う(ステップS24)。 If the process proceeds to step S24, a prompt to input the transfer amount is displayed on the screen (transfer amount input screen). The user enters the bank account number. In this screen state, the emotion recognition artificial intelligence unit 9 and the control unit 8 determine the emotion of the input (step S24).

次に、感情判定ステップS24の結果が困惑か否かを判定する(ステップS25)。制御部8が困惑あり「Y」と判定した場合、ステップS26へ進み、困惑対応処理を行う。制御部8が困惑なし「N」と判定した場合、ステップS27へ進む。 Next, it is determined whether the result of the emotion determination step S24 is confusion (step S25). When the control unit 8 determines that there is confusion (Y), the process proceeds to step S26, and a puzzle handling process is performed. When the control unit 8 determines that there is no confusion ("N"), the process proceeds to step S27.

ステップS27に進んだ場合は、振込内容の確認を促す旨が画面に表示される(振込確認画面)。キャッシュカード振込の場合は、振込内容の確認画面に切り替わり、利用者が内容に相違がなければ「確認」ボタンを押して、間違いがあれば「訂正」ボタンで修正するが、修正するステップへ戻る(ステップS27)。 If the process proceeds to step S27, a prompt to confirm the details of the transfer is displayed on the screen (transfer confirmation screen). In the case of a cash card transfer, the screen switches to a confirmation screen for the transfer details, and if there are no discrepancies in the details, the user presses the "Confirm" button, and if there is a mistake, the user presses the "Correct" button to correct it, but returns to the correction step ( Step S27).

次に、「確認」ボタンが選択されれば、完了の旨が画面に表示される。「キャッシュカード」で振込むときはこれで取引が完了し、振込明細書が出力される。 Next, if the "Confirm" button is selected, a message indicating completion will be displayed on the screen. When making a transfer using a cash card, the transaction is completed and a transfer statement is printed.

本実施例によれば、撮像データに基づく利用者の表情の感情データに対応する操作段階(入力や選択や確認の操作画面状態)で前記感情データから判別された所定の感情データ「困惑」に対応するメッセージをインターフェイス部の画面へ出力するので、様々な操作段階について利用者に助言や誘導が可能であり、自動取引装置の操作についての間違いや戸惑いを解消するサポートを提供できる自動取引装置が得ることができる。 According to this embodiment, the predetermined emotional data "confused" determined from the emotional data at the operation stage (operation screen state of input, selection, and confirmation) corresponding to the emotional data of the user's facial expression based on the imaging data. Since the corresponding messages are output on the screen of the interface section, it is possible to advise and guide the user regarding various operation steps, and the automatic transaction device can provide support to eliminate mistakes and confusion regarding the operation of the automatic transaction device. Obtainable.

1 カメラ
2 操作表示部
3 紙媒体処理部
4 現金処理部
5 カードリーダレシートプリンタ部
6 自動呼出電話部
7 記憶部
8 制御部
9 感情認識人工知能部
10 通信部
11 サーバ
12 オペレータ室
12a オペレータ端末
IF インターフェイス部
1 Camera 2 Operation display section 3 Paper media processing section 4 Cash processing section 5 Card reader receipt printer section 6 Automatic call telephone section 7 Storage section 8 Control section 9 Emotion recognition artificial intelligence section 10 Communication section 11 Server 12 Operator room 12a Operator terminal IF Interface section

Claims (8)

利用者の操作を受け付け利用者へ情報を表示する画面を有するインターフェイス部を有する自動取引装置であって、
利用者の顔を含む身体の一部を撮像して撮像データを生成する撮像部と、
前記撮像データに基づいて利用者の感情を認識して感情データを生成する感情認識人工知能部と、
前記感情データに基づいて前記利用者のネガティブな感情の有無の結果を判定する制御部と、
サーバに通信可能な通信部と、を有し、
前記制御部は、前記ネガティブな感情結果が有と判定した時、前記ネガティブな感情結果に対応するサポートが必要か否かのメッセージを前記インターフェイス部の前記画面へ出力し、
前記制御部は、前記サポートが必要である入力情報が入力された場合、前記ネガティブな感情結果が判別された時の操作段階の画面情報及び前記ネガティブな感情結果に対応する質問データの要求を、前記通信部を介して前記サーバに送信する
ことを特徴とする自動取引装置。
An automatic transaction device having an interface section having a screen that receives operations from a user and displays information to the user,
an imaging unit that generates imaging data by imaging a part of the user's body including the user's face;
an emotion recognition artificial intelligence unit that recognizes the user's emotion based on the imaged data and generates emotion data;
a control unit that determines whether or not the user has negative emotions based on the emotion data;
It has a communication unit that can communicate with the server ,
When the control unit determines that the negative emotional result is present, the control unit outputs a message to the screen of the interface unit indicating whether support corresponding to the negative emotional result is necessary ;
When the input information requiring the support is input, the control unit requests screen information of the operation stage when the negative emotional result was determined and question data corresponding to the negative emotional result, Send to the server via the communication unit
An automatic transaction device characterized by:
前記制御部は、前記サーバが送信して前記通信部を介して受信する前記ネガティブな感情結果に対応する質問データを、前記ネガティブな感情結果に対応するメッセージとして前記インターフェイス部の前記画面へ出力する
ことを特徴とする請求項に記載の自動取引装置。
The control unit outputs question data corresponding to the negative emotion result transmitted by the server and received via the communication unit to the screen of the interface unit as a message corresponding to the negative emotion result. The automatic transaction device according to claim 1 , characterized in that:
オペレータ端末に通話可能な自動呼出電話部を備え、前記制御部は、前記ネガティブな感情結果に対応するメッセージには前記質問データに該当するものが無い該当なしの選択肢を含ませ、前記自動呼出電話部の受話器を取ることを促すメッセージを前記インターフェイス部の前記画面へ出力する
ことを特徴とする請求項に記載の自動取引装置。
The control unit includes an automatic calling telephone section that can make a call to an operator terminal, and the control section includes an option of "Not applicable" in which there is no corresponding item in the question data in the message corresponding to the negative emotional result , and 3. The automatic transaction device according to claim 2 , wherein a message prompting the user to pick up the telephone receiver is output to the screen of the interface unit.
前記制御部は、前記該当なしの選択肢を含む前記メッセージの表示後、前記自動呼出電話部の受話器が持ち上げられる場合、前記オペレータ端末と通話確立させる
ことを特徴とする請求項に記載の自動取引装置。
The automatic transaction according to claim 3 , wherein the control unit establishes a call with the operator terminal when the handset of the automatic calling telephone unit is lifted after displaying the message including the not applicable option. Device.
利用者の操作を受け付け利用者へ情報を表示する画面を有するインターフェイス部を有する自動取引装置であって、
利用者の顔を含む身体の一部を撮像して撮像データを生成する撮像部と、
前記撮像データに基づいて利用者の感情を認識して感情データを生成する感情認識人工知能部と、
前記感情データに基づいて前記利用者のネガティブな感情の有無の結果を判定する制御部と、
前記ネガティブな感情結果に対応する操作段階の画面情報及び前記ネガティブな感情結果に対応する質問データを記憶する記憶部と、を有し、
前記制御部は、前記ネガティブな感情結果が有と判定した時、前記ネガティブな感情結果に対応するサポートが必要か否かのメッセージを前記インターフェイス部の前記画面へ出力し、
前記制御部は、前記サポートが必要である入力情報が入力された場合、記憶されている前記操作段階の画面情報及び前記ネガティブな感情結果に対応する質問データを、前記ネガティブな感情結果に対応するメッセージとして前記インターフェイス部の前記画面へ出力する
ことを特徴とする自動取引装置。
An automated transaction device having an interface section having a screen that receives operations from a user and displays information to the user,
an imaging unit that generates imaging data by imaging a part of the user's body including the user's face;
an emotion recognition artificial intelligence unit that recognizes the user's emotion based on the imaged data and generates emotion data;
a control unit that determines whether or not the user has negative emotions based on the emotion data;
a storage unit that stores screen information of an operation stage corresponding to the negative emotion result and question data corresponding to the negative emotion result ,
When the control unit determines that the negative emotional result is present, the control unit outputs a message to the screen of the interface unit indicating whether support corresponding to the negative emotional result is necessary;
When the input information requiring the support is input, the control unit converts the stored screen information of the operation stage and the question data corresponding to the negative emotional result into a response to the negative emotional result . An automatic transaction device characterized in that the automatic transaction device outputs a message to the screen of the interface section.
オペレータ端末に通話可能な自動呼出電話部を備え、前記制御部は、前記ネガティブな感情結果に対応するメッセージには前記質問データに該当するものが無い該当なしの選択肢を含ませ、前記自動呼出電話部の受話器を取ることを促すメッセージを前記インターフェイス部の前記画面へ出力する
ことを特徴とする請求項に記載の自動取引装置。
The control unit includes an automatic calling telephone section that can make a call to an operator terminal, and the control section includes an option of "Not applicable" in which there is no corresponding item in the question data in the message corresponding to the negative emotional result , and 6. The automatic transaction device according to claim 5 , further comprising: outputting a message to the screen of the interface section to prompt the section to pick up the telephone receiver.
前記制御部は、前記該当なしの選択肢を含む前記メッセージの表示後、前記自動呼出電話部の受話器が持ち上げられる場合、前記オペレータ端末と通話確立させる
ことを特徴とする請求項に記載の自動取引装置。
The automatic transaction according to claim 6 , wherein the control unit establishes a call with the operator terminal if the handset of the automatic calling telephone unit is lifted after displaying the message including the not applicable option. Device.
前記利用者の前記操作が振り込み操作の場合において前記制御部は前記ネガティブな感情結果を分析した場合は振り込め詐欺注意喚起のメッセージを前記インターフェイス部の前記画面へ出力する
ことを特徴とする請求項1乃至の何れか一項に記載の自動取引装置。
Claim 1, wherein when the operation by the user is a money transfer operation, the control unit outputs a message alerting to money transfer fraud to the screen of the interface unit if the control unit analyzes the negative emotion result. The automatic transaction device according to any one of items 7 to 7 .
JP2019222971A 2019-12-10 2019-12-10 automatic transaction device Active JP7358956B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019222971A JP7358956B2 (en) 2019-12-10 2019-12-10 automatic transaction device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019222971A JP7358956B2 (en) 2019-12-10 2019-12-10 automatic transaction device

Publications (2)

Publication Number Publication Date
JP2021092952A JP2021092952A (en) 2021-06-17
JP7358956B2 true JP7358956B2 (en) 2023-10-11

Family

ID=76312474

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019222971A Active JP7358956B2 (en) 2019-12-10 2019-12-10 automatic transaction device

Country Status (1)

Country Link
JP (1) JP7358956B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007011865A (en) 2005-07-01 2007-01-18 Murata Mach Ltd Operation support apparatus
JP2013101695A (en) 2013-02-18 2013-05-23 Oki Electric Ind Co Ltd Automatic teller machine with remittance fraud prevention function
JP2015153325A (en) 2014-02-18 2015-08-24 富士通フロンテック株式会社 information processing apparatus, operation support method and operation support program
JP2018136770A (en) 2017-02-22 2018-08-30 沖電気工業株式会社 Information processing apparatus, method, and information processing system
JP2018151684A (en) 2017-03-09 2018-09-27 オムロン株式会社 Device and method for controlling switching between driving modes and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007011865A (en) 2005-07-01 2007-01-18 Murata Mach Ltd Operation support apparatus
JP2013101695A (en) 2013-02-18 2013-05-23 Oki Electric Ind Co Ltd Automatic teller machine with remittance fraud prevention function
JP2015153325A (en) 2014-02-18 2015-08-24 富士通フロンテック株式会社 information processing apparatus, operation support method and operation support program
JP2018136770A (en) 2017-02-22 2018-08-30 沖電気工業株式会社 Information processing apparatus, method, and information processing system
JP2018151684A (en) 2017-03-09 2018-09-27 オムロン株式会社 Device and method for controlling switching between driving modes and program

Also Published As

Publication number Publication date
JP2021092952A (en) 2021-06-17

Similar Documents

Publication Publication Date Title
US8941709B2 (en) Video-assisted self-service transaction device
US8313020B2 (en) Automated banking machine operated responsive to data bearing records
JP5099986B2 (en) Automatic transaction equipment
JP2007080123A (en) Automatic transaction system
JP5157516B2 (en) Automatic transaction apparatus and transfer system using the same
JP2004240600A (en) Office counter work processing system
JP7358956B2 (en) automatic transaction device
JP3843251B2 (en) Campaign screen display system and campaign screen display program
JP4835674B2 (en) Campaign screen display system and campaign screen display program
JP2008191945A (en) Transfer transaction system
JP7300423B2 (en) Authentication system and authentication method
JPH1125273A (en) Unmanned transaction system
JP2010250745A (en) Automatic cash transaction system, automatic cash transaction method, and automated teller machine
JP2002358420A (en) Loan contract system
JP2009048336A (en) Automatic teller machine and automatic teller system
JP4310876B2 (en) Automated trading system
JP7435999B2 (en) Automatic teller machines, terminal devices, processing methods, programs
JP7395914B2 (en) Automatic teller machine, processing method, program
JP2009122865A (en) Card information write system
JP6336844B2 (en) Automatic cash transaction equipment, media return system
JPH06282726A (en) Automatic transaction machine
JP2010055231A (en) Financial transaction processor
JP2005031957A (en) Unattended terminal operational system and its program
JP2005115679A (en) Automatic transaction device
JP3038631B2 (en) Automatic transaction device and automatic transaction system for the disabled

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230911

R150 Certificate of patent or registration of utility model

Ref document number: 7358956

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150