WO2020013060A1 - 双方向映像通信システム及びそのオペレータの管理方法 - Google Patents

双方向映像通信システム及びそのオペレータの管理方法 Download PDF

Info

Publication number
WO2020013060A1
WO2020013060A1 PCT/JP2019/026526 JP2019026526W WO2020013060A1 WO 2020013060 A1 WO2020013060 A1 WO 2020013060A1 JP 2019026526 W JP2019026526 W JP 2019026526W WO 2020013060 A1 WO2020013060 A1 WO 2020013060A1
Authority
WO
WIPO (PCT)
Prior art keywords
operator
terminal
user
information
image
Prior art date
Application number
PCT/JP2019/026526
Other languages
English (en)
French (fr)
Inventor
和幸 堀尾
蝶 劉
中村　剛
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2020013060A1 publication Critical patent/WO2020013060A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working

Definitions

  • the present disclosure relates to a two-way video communication system for two-way communication between an image of a user operating a kiosk terminal and an image of an operator operating an operator terminal between a kiosk terminal and an operator terminal, and a method of managing the operator. Things.
  • an operator who performs a telephone response service at a call center may be subject to high stress by responding to complaints and inquiries from users (customers and the like). Therefore, by monitoring the physical condition of such an operator and instructing the operator to take a break or switching the response to the user to another operator based on the monitoring result, the stress of the operator is reduced.
  • Technology is being developed.
  • the call is transferred to the back reception unit, where the time corresponding to the user in advance is set.
  • a technique for instructing an operator to take a break when it is determined that the time is equal to or shorter than a predetermined allowable time is known (see Patent Document 1).
  • stress determination information is formed from the physical state of the operator measured during the response of the user, and a target is determined based on the stress determination information.
  • a technique of determining an operator terminal to which a new incoming call is sorted see Patent Document 2.
  • Patent Literatures 1 and 2 since it is necessary to provide a measuring device for measuring a physical condition (for example, blood pressure, pulse, sweating, etc.) for each operator, a system is required. In addition to the complicated structure, there is a problem that the cost of the system increases.
  • a measuring device for measuring a physical condition for example, blood pressure, pulse, sweating, etc.
  • the present disclosure has as its main object to provide a two-way video communication system and a management method of the operator that can grasp the stress state of each operator while suppressing an increase in system cost. .
  • the interactive video communication system is configured such that a kiosk terminal operable by a user, an operator terminal operable by an operator, and a management server are communicably connected to each other, and a communication between the kiosk terminal and the operator terminal is performed.
  • a two-way video communication system that bidirectionally communicates an image of a user operating the kiosk terminal and an image of an operator operating the operator terminal, wherein the kiosk terminal has a first camera that shoots a user.
  • a first communication unit that transmits the image of the user captured by the first camera to the operator terminal and receives the image of the operator transmitted from the operator terminal; and a first communication unit that displays the image of the operator.
  • a display unit wherein the operator terminal has a second camera for photographing the operator, and the second camera A second communication unit that transmits the shaded image of the operator to the kiosk terminal and receives the image of the user transmitted from the kiosk terminal, and a second display unit that displays the image of the user.
  • the management server may acquire, for each operator operating the operator terminal, vital information based on at least the image of the operator captured by the second camera.
  • An operator management method is configured such that a kiosk terminal operable by a user, an operator terminal operable by an operator, and a management server are communicably connected to each other, and a communication between the kiosk terminal and the operator terminal is performed.
  • a method of managing an operator in a two-way video communication system that bidirectionally communicates a video of a user operating the kiosk terminal and a video of an operator operating the operator terminal, wherein the operator terminal includes the kiosk terminal and Wherein the management server acquires vital information based on the operator's image captured by the operator terminal.
  • the present disclosure in the two-way video communication system and the method of managing the operator thereof, it is possible to grasp the stress state of each operator while suppressing an increase in system cost.
  • FIG. 2 is a block diagram showing a schematic configuration of the kiosk terminal 1 and the operator terminal 2 Block diagram showing a schematic configuration of the management server 3 Explanatory diagram showing a screen displayed on the kiosk terminal 1 Explanatory diagram showing a screen displayed on the kiosk terminal 1 Explanatory diagram showing a screen displayed on the operator terminal 2 Explanatory drawing about the vital information generation processing by the operator terminal 2 Explanatory drawing about the vital information generation processing by the operator terminal 2 Explanatory drawing showing an example of vital information generated by the operator terminal 2 Flow chart showing the flow of vital information generation processing by the operator terminal 2 Explanatory diagram showing a first display example of a management screen for displaying operator management information Explanatory drawing showing a second display example of a management screen displaying operator management information Explanatory drawing showing a third display example of a management screen displaying operator management information Explanatory diagram showing a fourth display example of a management screen displaying operator management
  • a kiosk terminal operable by a user, an operator terminal operable by an operator, and a management server are communicably connected to each other, and the kiosk terminal and the operator A two-way video communication system for bidirectionally communicating a video of a user who operates the kiosk terminal and a video of an operator who operates the operator terminal with the terminal, wherein the kiosk terminal captures an image of the user A first camera, a first communication unit that transmits an image of the user photographed by the first camera to the operator terminal, and receives an image of the operator transmitted from the operator terminal; A first display unit for displaying an image, wherein the operator terminal has a second camera for photographing the operator, and the second camera A second communication unit that transmits the image of the operator photographed by the kiosk terminal to the kiosk terminal and receives the image of the user transmitted from the kiosk terminal, and a second display unit that displays the image of the user.
  • the management server obtains, for each operator operating the operator terminal, at least vital information based on an image of the operator captured by the
  • vital information based on an image of an operator captured by a camera (second camera) used for two-way video communication with a kiosk terminal is acquired, so that the vital information is suppressed while suppressing an increase in system cost. From this, it is possible to grasp the stress state of each operator.
  • the second invention is characterized in that the management server further obtains information on the time corresponding to the user for each operator who operates the operator terminal.
  • the system administrator can grasp the factors affecting the stress state of each operator based on the information on the response time to the user.
  • the third invention is characterized in that the management server further acquires, for each operator operating the operator terminal, information on the stress state of the operator estimated based on the vital information.
  • the system administrator can easily grasp the stress state of each operator based on the information on the stress state of the operator estimated based on the vital information.
  • the information on the stress state includes an evaluation value of the stress state of the operator and a threshold value preset for the evaluation value of the stress state.
  • the system administrator can more appropriately grasp the stress state of each operator based on the evaluation value of the stress state of the operator and a preset threshold value.
  • the fifth invention is characterized in that the management server further acquires information on the emotion of the user based on the video of the user.
  • the system administrator can grasp the factors affecting the stress state of each operator based on the information on the emotion of the user corresponding to the operator.
  • the management server further acquires vital information based on the video of the user captured by the first camera of the kiosk terminal.
  • the system administrator can grasp the factors that affect the stress state of each operator while suppressing an increase in the cost of the system, based on the vital information based on the video of the user corresponding to the operator. .
  • the management server simultaneously displays information on the stress state for a plurality of operators who have operated the operator terminal.
  • the system administrator can quickly grasp the stress state of a plurality of operators.
  • An eighth invention is characterized in that the management server simultaneously displays information on the stress state of the operator estimated based on the vital information and information on the emotion of the user based on the video of the user. .
  • the system administrator can more properly grasp the factors affecting the stress state of each operator based on the information on the stress state of the operator and the information on the emotion of the user.
  • the second camera includes a front camera for photographing the face of the operator, and a hand camera for photographing the hand of the operator, wherein the management server is photographed by the front camera. Acquiring the vital information based on the image of the operator.
  • the tenth invention is characterized in that the vital information includes at least one of a pulse wave and a heartbeat.
  • the system administrator can easily grasp the stress state of each operator based on at least one of the pulse wave and the heartbeat.
  • an eleventh invention is characterized in that a kiosk terminal operable by a user, an operator terminal operable by an operator, and a management server are communicably connected to each other, and the kiosk terminal and the operator terminal A method for managing an operator in a two-way video communication system for two-way communication between a video of a user operating a kiosk terminal and a video of an operator operating the operator terminal, wherein the operator terminal has both the kiosk terminal and the operator terminal.
  • An image of the operator for performing directional video communication is captured, and the management server acquires vital information based on the image of the operator captured by the operator terminal.
  • vital information based on an image of an operator used for two-way video communication with a kiosk terminal is acquired, so that the stress state of each operator is grasped from the vital information while suppressing an increase in system cost. Becomes possible.
  • FIG. 1 is an overall configuration diagram of the interactive video communication system according to the present embodiment.
  • This interactive video communication system includes a kiosk terminal 1, an operator terminal 2, and a management server 3.
  • the kiosk terminal 1, the operator terminal 2, and the management server 3 are mutually connected via a network such as the Internet, a VPN (Virtual Private Network), or an intranet.
  • a network such as the Internet, a VPN (Virtual Private Network), or an intranet.
  • the kiosk terminal 1 is installed in various facilities and operated by an arbitrary user.
  • the kiosk terminal 1 transmits an image of the user (hereinafter, simply referred to as “user image”) to the operator terminal 2, and transmits the image to the operator terminal 2. Displays the operator's image received from.
  • the operator terminal 2 is installed in a facility where an operator responding to the user resides, such as a call center, and is operated by the operator.
  • An image of the operator (hereinafter, simply referred to as “operator image”) is a kiosk terminal 1. And displays the video of the user received from the kiosk terminal 1.
  • the management server 3 is installed in a facility used by a system administrator, such as a management headquarters of an interactive video communication system, and is composed of a management computer operated by the administrator.
  • the management server 3 can receive the operator management information for managing the stress state of the operator from the kiosk terminal 1 and the operator terminal 2, respectively. Can also be generated.
  • the management server 3 can acquire, for example, the vital information of the operator generated based on the video of the operator captured by each operator terminal 2 as the operator management information. Further, the management server 3 acquires, as operator management information, information on the emotion of the user generated based on the video of the user captured by each kiosk terminal 1 (video of the user to which the operator to be managed is responding). be able to.
  • the kiosk terminal 1 can provide various services. For example, by installing the kiosk terminal 1 in a lobby of a transportation facility such as an airport, it is possible to provide services such as guidance of nearby sightseeing spots, guidance of floors in the facility, and guidance of nearby accommodation facilities. it can. In addition, by installing the kiosk terminal 1 in a store of a financial institution such as a bank, it is possible to provide various services performed at a counter or the like, for example, services such as account opening and consultation on financial transactions and loan contracts. By installing the kiosk terminal 1 at the front of an accommodation facility such as a hotel, it is possible to provide various guidance services provided by a clerk (concierge). By installing the kiosk terminal 1 in the entrance lobby of a condominium such as an apartment, various services provided by a manager can be provided.
  • the management server 3 can acquire various types of information communicated between the kiosk terminal 1 and the operator terminal 2 as necessary.
  • confidential information for example, personal information such as a user's name and address, and information such as an account number of a financial institution may be exchanged.
  • confidential information since the service provider has already operated a dedicated network with high security, information other than video including confidential information is communicated on the existing network, and The video may be communicated over another network.
  • FIG. 2 is a perspective view illustrating an appearance of the kiosk terminal 1.
  • the kiosk terminal 1 includes a housing 11, a front monitor 12, a hand monitor 13, a front camera 14, a hand camera 15, an IC card reader 16, a speaker 17, and a microphone 18.
  • the front monitor 12 is arranged with the screen facing forward, and the hand monitor 13 is arranged with the screen facing upward.
  • the hand monitor 13 has a touch panel, and a user can perform a screen operation.
  • the front camera 14 photographs the upper body including the user's face from the front.
  • the hand camera 15 photographs the hand of the user, that is, the hand of the user placed on the hand monitor 13 and the screen of the hand monitor 13 from above. The user performs an operation of pointing the screen of the hand monitor 13 with his / her hand, and this situation is photographed by the hand camera 15.
  • the IC card reader 16 reads an IC card possessed by the user.
  • the speaker 17 outputs the voice uttered by the operator.
  • the microphone 18 picks up a voice (user voice) emitted by the user.
  • the kiosk terminal 1 configured as described above is placed on a table such as a counter, and the user operates the kiosk terminal 1 while sitting on a chair or while standing.
  • FIG. 3 is a perspective view illustrating an appearance of the operator terminal 2.
  • the operator terminal 2 includes a gantry 21, a first monitor 22, a second monitor 23, a front camera 24, a hand camera 25, a headset 26, and a table 27.
  • the first monitor 22 is supported by the gantry 21 so as to have a predetermined height.
  • the second monitor 23 includes a touch panel, and allows an operator to perform screen operations.
  • the front camera 24 photographs the upper body including the operator's face from the front.
  • the hand camera 25 captures the operator's hand, that is, the operator's hand placed on the table 27 and the table 27 from above.
  • the operator places a document such as a pamphlet on the table, explains the document while pointing the document at his / her hand, and this situation is photographed by the camera at hand 25.
  • the headset 26 includes a speaker 28 and a microphone 29.
  • the speaker 28 outputs a voice uttered by the user.
  • the microphone 29 picks up the sound emitted by the operator.
  • the operator terminal 2 is provided with a monitor 5.
  • the monitor 5 displays a screen of an application started by the operator terminal 2 or a PC (not shown).
  • the screen of this application is shared with the kiosk terminal 1, and the same screen is displayed on the monitor 13 of the kiosk terminal 1 (screen sharing function).
  • the monitor 5 has a touch panel, and allows the operator to draw on the screen by hand (whiteboard function).
  • the operator can use the operator terminal 2 to perform a telephone service that responds to the user only by voice, in addition to a face-to-face service that responds to the user with video and audio.
  • a monitor (not shown) for telephone service is provided in the operator terminal 2.
  • FIG. 4 is a block diagram illustrating a schematic configuration of the kiosk terminal 1 and the operator terminal 2.
  • the kiosk terminal 1 includes the front monitor 12, the hand monitor 13, the front camera 14, the hand camera 15, the IC card reader 16, the speaker 17, and the microphone 18 as described above.
  • the kiosk terminal 1 includes a control unit 31, a communication unit 32, and a storage unit 33.
  • the communication unit 32 communicates with the operator terminal 2 and the management server 3 via a network.
  • the storage unit 33 stores a program executed by a processor constituting the control unit 31.
  • the storage unit 33 stores necessary information such as information on the user's emotion generated by the emotion information generation unit 36 based on the video of the user.
  • the control unit 31 includes a screen control unit 35, an emotion information generation unit 36, a voice control unit 37, and a voice conversion unit 38.
  • the control unit 31 is configured by a processor, and each unit of the control unit 31 is realized by executing a program stored in the storage unit 33 by the processor.
  • the screen control unit 35 controls the display screens of the front monitor 12 and the hand monitor 13. In the present embodiment, when receiving the front image of the operator from the operator terminal 2, the screen control unit 35 displays the front image of the operator on the front monitor 12. In addition, when receiving the operator's hand image from the operator terminal 2, the screen controller 35 displays the operator's hand image on the hand monitor 13.
  • the screen control unit 35 When the screen control unit 35 receives the caption character information from the operator terminal 2, the screen control unit 35 can generate a caption image and display the caption image superimposed on the front moving image of the operator. When receiving the guide information from the operator terminal 2, the screen control unit 35 generates an image of the band information in which the guide information is visualized, and superimposes the band information image on the front moving image of the operator and displays the image. Can be.
  • the emotion information generation unit 36 generates information on the emotion of the user.
  • the emotion information generation unit 36 calculates the evaluation value of the user's emotion as information related to the user's emotion by performing the face recognition processing of the user in the user's video based on a known method. For example, when calculating the evaluation value of the user's emotion, the emotion information generation unit 36 calculates the user's face feature information, that is, a plurality of feature points set on the face, from the user's front video taken by the front camera 14. It is possible to extract the user's emotions (in this embodiment, sum of the four emotions of anger, sadness, surprise, and joy) based on the extracted feature points, it can. In addition, the emotion information generation unit 36 can also generate information on the user's emotion based on the user's voice (pitch, frequency, and the like) collected by the microphone 18 based on a known method.
  • the information on the user's emotion generated by the emotion information generation unit 36 is transmitted to the management server 3 and stored in the management server 3 as operator management information together with vital information from the operator terminal 2 and the like.
  • the audio control unit 37 controls the audio output from the speaker 17.
  • the voice control unit 37 determines whether one of the original voice of the operator received from the operator terminal 2 and the voice converted by the voice conversion unit 38 according to whether or not the voice conversion is valid. Is output from the speaker 17.
  • the voice conversion unit 38 can convert the original voice of the operator received from the operator terminal 2 into voice of a desired voice quality.
  • a well-known voice conversion technique such as voice conversion using deep learning may be used.
  • control unit 31 performs connection control for connecting to the operator terminal 2 and transmits / receives a video of the user captured by the kiosk terminal 1 and a video of the operator captured by the operator terminal 2 in real time. Video transmission control.
  • the operator terminal 2 includes the first monitor 22, the second monitor 23, the front camera 24, the hand camera 25, and the headset 26. Further, the operator terminal 2 includes a control unit 41, a communication unit 42, and a storage unit 43.
  • the communication unit 42 communicates with the kiosk terminal 1 and the management server 3 via a network.
  • the storage unit 43 stores a program executed by a processor included in the control unit 41. Further, the storage unit 43 stores necessary information such as vital information of the operator generated based on an image of the operator.
  • the control unit 41 includes a screen control unit 45, a vital information generation unit 46, a voice recognition unit 47, and a corresponding time calculation unit 48.
  • the control unit 41 is configured by a processor, and each unit of the control unit 41 is realized by executing a program stored in the storage unit 43 by the processor.
  • the screen control unit 45 controls display screens of the front monitor 12 and the hand monitor 13 of the kiosk terminal 1.
  • the screen control unit 45 includes, as screen controls related to the hand monitor 13 of the kiosk terminal 1, an operator display mode for displaying an operator's hand image, an operation screen mode for displaying an operation screen (such as a menu screen), Switch between the screen sharing mode for displaying the application screen.
  • the display mode of the front monitor 12 and the hand monitor 13 of the kiosk terminal 1 is switched according to the operation contents of the user at the kiosk terminal 1, but the display mode may be selected by the operator. Good.
  • the vital information generator 46 generates vital information of each operator. As will be described in detail later, the vital information generating unit 46 executes a process (vital information generating process) of extracting a pulse wave and a heartbeat as vital information of each operator from the front image of the operator captured by the front camera 24. Thus, the vital information generation unit 46 can appropriately acquire vital information from a relatively stable (less moving) image of the operator captured by the front camera 24.
  • the vital information generating unit 46 can also execute the vital information generating process by using an image of the operator's hand photographed by the hand camera 25 instead of the front image of the operator, if necessary. In some cases, the vital information generating unit 46 may execute the vital information generating process using both the front image of the operator and the image at hand of the operator.
  • the voice recognition unit 47 performs voice recognition on the voice of the operator collected by the microphone 29 and outputs character information.
  • the response time calculation unit 48 calculates the response time of the operator to the user (the time corresponding to each user).
  • the calculation of the response time can be performed, for example, based on the input value of the response time for each user by each operator. Alternatively, the corresponding time for each user may be calculated (estimated) from the shooting time of the video of each user.
  • the information on the response time to the user calculated by the response time calculator 48 is transmitted to the management server 3. Note that the management server 3 may have the same function as the management module 48, omitting the management module 48.
  • control unit 41 performs connection control for connecting to the kiosk terminal 1 and transmits / receives a video of the user captured by the kiosk terminal 1 and a video of the operator captured by the operator terminal 2 in real time. Video transmission control.
  • the operator terminal 2 may be provided with a scanner for reading documents on hand. Further, the operator terminal 2 may be provided with an IC card reader in order to authenticate that the operating person is a legitimate operator. In addition, the kiosk terminal 1 may be provided with a printer that prints out documents transmitted from the operator terminal 2 and information displayed on the screen.
  • the second monitor 23 may be configured by a tablet PC, that is, the control unit 41, the communication unit 42, and the storage unit 43 may be housed in the housing of the second monitor 23.
  • FIG. 5 is a block diagram illustrating a schematic configuration of the management server 3.
  • the management server 3 includes a control unit 81, a communication unit 82, a storage unit 83, and a monitor 84.
  • the control unit 81 is configured by a processor, and various processes including display control of the management screen in the management server 3 are realized by executing a program stored in the storage unit 83 by the processor.
  • the communication unit 82 communicates with the kiosk terminal 1 and the operator terminal 2 via a network.
  • the storage unit 83 stores a program to be executed by a processor constituting the control unit 81.
  • the storage unit 83 also stores user vital information received from the operator terminal 2 and information about the user's emotion received from the kiosk terminal 1 as operator management information.
  • the information obtained from the kiosk terminal 1 and the information obtained from the operator terminal 2 are associated with each other based on the time information added thereto and information such as a user ID and an operator ID.
  • the monitor 84 displays necessary information such as operator management information for the system administrator or the like to manage the stress state of the operator, as described later in detail.
  • FIG. 6 and 7 are explanatory diagrams showing screens displayed on the kiosk terminal 1.
  • the front monitor 12 operates as a digital signage, and as shown in FIG. The video of the content related to the guidance of the advertisement and the facility is displayed.
  • a main menu screen (operation screen) is displayed on the hand monitor 13 as shown in FIG. 6 (A-2).
  • operation buttons 51 for selecting a service menu are displayed.
  • the user can select “procedure” and “consultation” as the service menu.
  • consultation the mode is changed to the operator display mode, and a transition is made to an operator screen (see FIGS. 7A-1 and 7A-2).
  • "Consultation” is a case in which the user consults on a loan or trust contract, etc., and detailed guidance is required and it takes time. The operator responds to the user on the operator screen.
  • the “procedure” refers to a case where the user performs an account opening procedure or the like, and requires only a simple screen operation, and usually does not require the operator to provide face-to-face guidance.
  • a call button 52 is displayed on the main menu screen of the monitor 13 at hand.
  • the kiosk terminal 1 is connected to the operator terminal 2 and then enters the operator display mode, and the display transits to the operator screen (see FIGS. 7A-1 and 7A-2). .
  • the user can be guided by the operator even in the case of “procedure” requiring only a simple operation.
  • a screen for inquiring the user as to whether or not to interact with the operator is displayed before transitioning to the operator screen, and the screen is switched to the operator screen when an operation performed by the user is performed. You may.
  • a transition to a submenu screen may be made as necessary, as shown in FIG. 6 (B-2).
  • operation buttons 53 corresponding to various submenu items are displayed.
  • a call button 52 is displayed on this sub-menu screen, similarly to the main menu screen (see FIG. 6A-2).
  • the front monitor 12 displays the front image 61 of the operator photographed by the front camera 24 of the operator terminal 2. Is displayed, and at the same time, as shown in FIG. 7 (A-2), a hand image 62 of the operator captured by the hand camera 25 of the operator terminal 2 is displayed on the hand monitor 13.
  • a screen of an application started on the operator terminal 2 or a PC (not shown) on the operator side is displayed on the monitor 13 at hand.
  • the screen of this application is shared with the operator terminal 2, and the same screen is displayed on the monitor 5 of the operator terminal 2 (screen sharing function).
  • the user can draw on the screen by handwriting (whiteboard function).
  • FIG. 8 is an explanatory diagram showing a screen displayed on the operator terminal 2.
  • a standby screen is displayed on the first monitor 22 during standby, and when the user operates the call button 52 (see FIGS. 6A-2 and 6B-2) on the kiosk terminal 1, the standby screen is displayed.
  • FIG. 8 (A-1) an incoming call screen is displayed.
  • information about the kiosk terminal 1 to be connected such as an installation location and a terminal name) is displayed.
  • an operation screen is displayed on the second monitor 23 as shown in FIG. 8 (A-2).
  • various operation buttons 71 for controlling the operator terminal 2 and giving instructions to the kiosk terminal 1 are displayed.
  • an operator's front image 61 shot by the front camera 24 of the operator terminal 2 and an operator's hand image 62 shot by the hand camera 25 of the operator terminal 2 are displayed.
  • the front image 61 and the hand image 62 of the operator are the same as those displayed on the kiosk terminal 1.
  • the operator's hand image 62 can be switched between an original state and an inverted state.
  • a front image 72 of the user captured by the front camera 14 of the kiosk terminal 1 is displayed on the first monitor 22 as shown in FIG. Is done.
  • the first monitor 22 is supported by the gantry 21 so as to have a predetermined height (see FIG. 3), so that the operator and the user can match their eyes.
  • the operation button 71 is displayed on the second monitor 23 as in the standby state.
  • the front image 61 of the operator is displayed on the second monitor 23 as in the case of standby.
  • the operator's front image 61 can be switched to the operator's hand image.
  • the second monitor 23 displays a user's hand image 73 captured by the hand camera 15 of the kiosk terminal 1 in a state where the operator's hand image is displayed. Note that the user's hand image 73 can be switched between an original state and an inverted state.
  • the user's hand image 73 displayed on the second monitor 23 shows the user's finger pointing to a document such as a pamphlet reflected on the screen on the hand monitor 13 of the kiosk terminal 1, and the user and the operator point to each other while pointing to the document. Can interact.
  • the user's front image 72 is displayed on the first monitor 22 and the user's hand image 73 is displayed on the second monitor 23. You may make it display on one monitor. In this case, it is possible to realize a sense of reality as if the operator is facing the user through the counter.
  • FIG. 9 and FIG. 10 are explanatory diagrams relating to vital information generation processing by the operator terminal 2.
  • the vital information generating unit 46 detects the detected face region as the operator's skin region by executing a face detection process based on a known statistical learning method using the feature amount of the face on the image of the operator. Then, tracking is performed, and information on the skin area (the pixel value and the number of pixels constituting the skin area, etc.) is acquired. For the detection of the skin region, a face detection process based on a known pattern recognition method (for example, matching with a prepared template) is used in addition to a known statistical learning method using a face feature amount. Is also good.
  • the vital information generator 46 calculates the operator's pulse based on the obtained information on the skin area. More specifically, for each pixel constituting a skin region extracted in a video (frame image) of a temporally continuous operator, for example, pixel values (0 to 255 gradations) of RGB components are calculated. Time series data of a representative value (here, an average value of each pixel) is generated as a pulse signal. In this case, time-series data can be generated based on the pixel values of only the green component (G), which is particularly large in fluctuation due to pulsation.
  • G green component
  • the generated time-series data of the pixel value is a minute change (for example, a pixel value of less than one tone) based on a change in hemoglobin concentration in blood. Fluctuation). Therefore, the vital information generation unit 46 performs a known filter process (for example, a process using a band-pass filter with a predetermined pass band set) on the time-series data based on the pixel value, thereby obtaining the data shown in FIG. As shown in (B), a pulse wave from which a noise component has been removed can be extracted as a pulse signal.
  • a known filter process for example, a process using a band-pass filter with a predetermined pass band set
  • the vital information generating unit 46 calculates a pulse wave interval (RRI) from the time between two or more adjacent peaks in the pulse wave, for example, as shown in FIG. can do. Further, as shown in FIG. 10B, the RRI can be obtained as a change with time of the RRI.
  • the shooting time (or time) of the video of the operator is associated with the frame image, the vital information extracted from the frame image is also associated with the shooting time.
  • the vital information generation unit 46 extracts a physiological or neurological activity index of the operator from the acquired vital information (RRI).
  • the activity index include RRI, SDNN which is the standard deviation of RRI, RMSSD or pNN50 which is an index of heart rate and vagal tone, and LF / HF which is an index of stress.
  • the vital information generation unit 46 can estimate the physical state (stress state (tensity), concentration, drowsiness, etc.) of the operator based on these activity indices. For example, changes in RRI over time have been found to reflect sympathetic and parasympathetic activity. Therefore, it is possible to estimate the physical state based on the change over time of the RRI shown in FIG. 10B, that is, the fluctuation of the RRI.
  • the vital information generation unit 46 calculates an evaluation value of the stress state of the operator based on the acquired activity index of the operator.
  • the vital information generation unit 46 can use LF / HF, which is an index of stress, as the stress state evaluation value.
  • the vital information generation unit 46 may calculate the evaluation value of the stress state from at least one of the above-mentioned activity indices. In this case, the vital information generation unit 46 prepares, in advance, determination information indicating the relationship between the temporal change of the activity index acquired by a learning method or an experimental method and the stress state, and refers to the determination information.
  • the evaluation value of the stress state can be calculated.
  • FIG. 11 is an explanatory diagram showing an example of vital information generated by the operator terminal 2 (vital information generating unit 46).
  • the vital information 91 includes an operator ID number 92, a shooting time 93 of a frame image (elapsed time from a predetermined time in this case), and an RRI value 94 at each shooting time 93.
  • the operator ID number 92 (in this example, ID: OP1) is assigned to identify the operator.
  • the photographing time 93 is the elapsed time from the start of photographing by the operator. In the example of FIG. 11, when the shooting time 93 is “0.782”, “1.560”, “2.334”,..., The RRI 94 is “0.782”, “0.778”, “0”. .774 ", ...
  • FIG. 12 is a flowchart showing the flow of vital information generation processing by the operator terminal 2.
  • the operator terminal 2 loads the temporally continuous image of the operator photographed by the front camera 24 and information on the photographing time into the memory (ST101). Therefore, the operator terminal 2 detects the operator's skin region from the acquired operator's video (frame image) (ST102), and extracts the operator's vital information based on the time-series data of the skin region (ST103). Note that the extracted vital information is stored in the storage unit 43.
  • the operator terminal 2 acquires correspondence information (user ID, conversation content, etc.) relating to the user to which the operator corresponds (ST104), and associates this correspondence information with vital information (ST105).
  • correspondence information user ID, conversation content, etc.
  • the operator terminal 2 extracts a physiological or neurological activity index of the operator from the vital information extracted in step ST103 (ST106). Subsequently, the operator terminal 2 determines a stress state of the operator (calculates an evaluation value of the stress state) based on the extracted activity index (ST107). Information on the determined stress state is stored in storage section 43 (ST108).
  • ⁇ Information on the stress state stored in the storage unit 43 is transmitted from the communication unit 42 to the management server 3 (ST109).
  • step ST109 in order to display the vital sensing screen 131 as shown in FIG. 16, the vital information corresponding to the stress state is transmitted to the management server 3 together with the information relating to the stress state.
  • the operator terminal 2 transmits the vital information calculated in step ST103 to the management server 3, and the management server 3 executes processing corresponding to steps ST106 to ST108 in place of the operator terminal 2, thereby obtaining a stress state. May be calculated.
  • the correspondence information on the user acquired in step ST104 can be associated with the vital information transmitted to the management server 3.
  • the management server 3 has the same function as the vital information generation unit 46 is also possible.
  • an image of the operator is acquired from the operator terminal 2, and the management server 3 performs the same processing as ST102 to ST108.
  • the management server 3 uses the information on the stress state based on the image of the operator captured by the camera of the operator terminal 2 used for the two-way video communication with the kiosk terminal 1 (vital information). Is obtained or calculated, it is possible to grasp the stress state of each operator from the vital information while suppressing an increase in the cost of the system.
  • FIGS. 13 to 17 are explanatory diagrams showing first to fifth display examples of management screens each including operator management information.
  • the management server 3 can display a management screen for checking the stress state of each operator on the monitor 84 based on at least the operator management information obtained from the operator terminal 2 in response to a request from the administrator. However, the management server 3 transmits display data for displaying the same management screen to another PC (management PC) connected via the network in response to a request from the administrator. You can also.
  • PC management PC
  • a selection area 102 is provided for the administrator to select an operator (here, one operator) whose stress state is to be checked.
  • FIG. 13 shows a case where the operator OP1 is selected, and the main screen 101 shows a stress state 103 of the operator OP1, a conversation content 104 about the user, and a user's response record 105.
  • the operator OP2 is checked, the operator OP1 is unchecked, and on the main screen 101, the stress state 103 of the operator OP2, the conversation contents 104 about the user, and the user's response record 105 can be viewed.
  • the stress state 103 indicates how the evaluation value (vertical axis) of the stress state changes with the lapse of time (horizontal axis) of one day's work, and the evaluation value of the stress state fluctuates in real time.
  • ⁇ Conversation content 104 ⁇ indicates various ratios (pie graphs) of conversations between the operator and the user.
  • the conversation type for example, “normal conversation”, “positive conversation”, “negative conversation”, etc., which have different effects on the stress state of the operator, can be set.
  • the type data of the conversation content is obtained by starting up a screen (not shown) for selecting one from a plurality of type candidates at the operator terminal at the timing when the operator finishes the correspondence with the user and prompting the operator to select one. Can be linked with the corresponding information on the user.
  • the user response record 105 indicates the number of users (vertical axis) that the operator corresponds to each month (horizontal axis).
  • the administrator presses the statistical information 1 button 110 for displaying the first statistical information on the main screen 101, and then selects one or more operators to display the first statistical information as shown in FIG.
  • the screen 111 can be displayed.
  • the first statistical information screen 111 shown in FIG. 14 shows a case where four operators OP1 to OP4 are selected on the main screen 101 and the statistical information 1 button 110 is pressed.
  • the corresponding time (vertical axis) for the corresponding user here, customer AD: horizontal axis
  • the evaluation value of the emotion here, the average of the evaluation value of the emotion: vertical axis
  • the evaluation value of the stress state when the operator responds to the user here, the average of the evaluation value of the stress state: vertical axis
  • the other operators OP2 to OP4 shown in FIGS. 14B to 14D are the same as the operator OP1.
  • a threshold value 112 indicating an upper limit of the evaluation value is set in advance for the evaluation value of the stress state.
  • the first statistical information screen 111 shows a state in which the evaluation value of the stress state of the operator OP4 has exceeded the threshold value 112 when dealing with the customer MP, whereby the administrator can take measures against the operator OP4. (For example, letting the operator OP4 take a break or a vacation) can be recognized.
  • a graph relating to the operator OP4 whose stress state evaluation value exceeds the threshold value 112 is highlighted (highlighted), whereby the administrator can evaluate the stress state of the operator OP4. It is possible to quickly pay attention to the value.
  • a different threshold value 112 may be set for each operator in consideration of the stress tolerance of the individual.
  • the administrator checks on the first statistical information screen 111 the response time to the user who may be a factor of the stress state and the evaluation value of the user's emotion. By doing so, it is possible to grasp (or estimate) the factors that have influenced the stress state of the operator OP4. As a result, the administrator can take more appropriate measures for the operator OP4.
  • the administrator presses the statistical information 2 button 120 for displaying the second statistical information on the main screen 101 (see FIG. 13), and then selects one or more operators, as shown in FIG.
  • Such a second statistical information screen 121 can be displayed.
  • the second statistical information screen 121 shown in FIG. 15 shows an example in which all operators OP1 to OP10 and the like are selected on the main screen 101 and the statistical information 2 button 120 is pressed.
  • the corresponding time, the evaluation value of the emotion of the user, and the evaluation value of the stress state of the operator shown in FIG. 14 are displayed for a predetermined period (for example, one month) for each operator shown on the horizontal axis. Are shown (here, average values).
  • two thresholds of the evaluation value are set in advance for the evaluation value of the stress state. Accordingly, when the evaluation value of the stress state of the operator exceeds the second threshold value 123, the administrator may need to take a measure for the operator (or may take a preliminary measure). If the operator's stress state evaluation value exceeds the first threshold value 122, the operator (here, the operator OP4) can take immediate action. Can be recognized as necessary.
  • information on the stress state can be displayed simultaneously (within the same screen) for a plurality of operators (more preferably, all operators) operating the operator terminal 2.
  • the administrator can quickly grasp the stress state of a plurality of operators.
  • the administrator since the information on the stress state of the operator and the information on the emotion of the user can be displayed simultaneously (within the same screen), the administrator can determine the factors affecting the stress state of each operator. It becomes possible to grasp more appropriately.
  • the administrator can display a vital sensing screen 131 as shown in FIG. 16 by selecting any operator on the main screen 101 (see FIG. 13) and pressing the vital information button 130. .
  • the vital sensing screen 131 shown in FIG. 16 data relating to the vital information of the operator which is the basis of the evaluation value of the stress state is shown.
  • information 132 indicating the face detection position of the operator information 133 indicating the skin region detected by the operator, information 134 of the pulse of the operator, and information 135 of the temporal change of the heart rate of the operator are displayed.
  • information 137 of a temporal change of pNN50 heart rate with an RR interval of 50 milliseconds or more
  • the administrator can confirm from the vital sensing screen 131 that vital information from the operator has been normally acquired.
  • the administrator can display a user emotion estimation screen 141 as shown in FIG. 17 by selecting any operator on the main screen 101 (see FIG. 13) and pressing the user information button 140. it can.
  • the graph 143 showing the evaluation value of the user's emotion includes the user's anger, sadness, surprise, Estimated values relating to the four emotion levels of joy are shown, and the sum of these estimated values corresponds to the evaluation value of the emotion of the user shown in FIGS. 14 and 15.
  • Each emotion is given a predetermined weight. For example, when the estimated value related to the degree of anger of the user is large, the evaluation value of the emotion of the user is large, and the influence on the stress on the operator tends to be large. It is in.
  • a two-way video communication system and an operator management method thereof according to the present disclosure have an effect of being able to grasp a stress state of each operator while suppressing an increase in system cost, and have a kiosk terminal and an operator terminal. It is useful as a two-way video communication system for two-way communication between a video of a user operating a kiosk terminal and a video of an operator operating an operator terminal, and a method of managing the operator.
  • Kiosk terminal 2 Operator terminal 3: Management server 5: Monitor 11: Housing 12: Front monitor (first display unit) 13: Hand monitor 14: Front camera (first camera) 15: Hand camera 16: IC card reader 17: Speaker 18: Microphone 21: Mount 22: First monitor (second display unit) 23: second monitor 24: front camera (second camera) 25: Hand camera 26: Headset 27: Table 28: Speaker 29: Microphone 31: Control unit 32: Communication unit (first communication unit) 33: storage unit 35: screen control unit 36: emotion information generation unit 37: voice control unit 38: voice conversion unit 41: control unit 42: communication unit (second communication unit) 43: storage unit 45: screen control unit 46: vital information generation unit 47: voice recognition unit 48: response time calculation unit 51: operation button 52: call button 53: operation button 61: operator's front image 62: operator's hand image 63: hand image 71: operation button 72: user's front image 73: user's hand image 81: control unit 82: communication unit 83: storage unit 84: monitor 91: vital information

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】システムのコストの増大を抑制しつつ、各オペレータのストレス状態を把握する。 【解決手段】双方向映像通信システムにおいて、キオスク端末１は、ユーザを撮影するカメラ１４と、カメラ１４により撮影されたユーザの映像をオペレータ端末２に送信し、オペレータ端末２から送信されるオペレータの映像を受信する通信部３２と、オペレータの映像を表示するモニタ１２と、を有し、オペレータ端末２は、オペレータを撮影するカメラ２４と、カメラ２４により撮影されたオペレータの映像をキオスク端末１に送信し、キオスク端末１から送信されたユーザの映像を受信する通信部４２と、ユーザの映像を表示するモニタ２２と、を有し、管理サーバ３は、オペレータ端末２を操作する各オペレータについて、少なくともカメラ２４により撮影されたオペレータの映像に基づくバイタル情報を取得する構成とする。

Description

双方向映像通信システム及びそのオペレータの管理方法
　本開示は、キオスク端末とオペレータ端末との間で、キオスク端末を操作するユーザの映像とオペレータ端末を操作するオペレータの映像とを双方向に通信する双方向映像通信システム及びそのオペレータの管理方法に関するものである。
　従来、コールセンターにおいて電話対応業務を行うオペレータは、ユーザ（顧客等）からの苦情や問合せに対応することにより、高いストレスを受ける場合がある。そのため、そのようなオペレータの身体的状態を監視し、その監視結果に基づき、オペレータに休憩を指示したり、ユーザへの対応を他のオペレータに切り替えたりすることにより、オペレータのストレスの低減を図る技術が開発されている。
　例えば、オペレータ管理システムにおいて、センサセットが検知したオペレータの身体的状態が閾値の範囲を超えている場合に、コールをバック受付部に転送し、そこで、オペレータがユーザに対応していた時間が予め決められた許容時間以下であると判断された場合に、オペレータに休憩を指示する技術が知られている（特許文献１参照）。
　また例えば、ユーザ端末とオペレータ端末とを接続させるコールセンタサーバを有するコールセンタシステムにおいて、ユーザの対応中に測定されたオペレータの身体的状態からストレス判定情報を形成し、そのストレス判定情報に基づいて、対象となっている新たな着信呼を振り分けるオペレータ端末を決定する技術が知られている（特許文献２参照）。
特開２００８－６０６３９号公報 特開２０１２－１９５８６３号公報
　近年、遠隔地にいる複数の人物をそれぞれ撮影した映像を双方向に通信する双方向映像通信システムが普及している。一方、各種の情報を提供する案内業務や金融機関などの窓口業務などのサービスを、人に代わって提供するキオスク端末が普及しており、このようなキオスク端末と、ユーザに応対するオペレータが操作するオペレータ端末とで、双方向映像通信システムを構築すると、ユーザにオペレータが対面して応対することができるため、キオスク端末によるサービスの品質を向上させることができる。
　そのような双方向映像通信システムでは、上述の電話対応業務に関するコールセンターの場合と同様に、オペレータはユーザへの対応によりストレスを受ける可能性があるため、オペレータのストレス状態を管理するための手段を備えることが望ましい。
　しかしながら、上記特許文献１、２に記載されたような従来技術では、オペレータ毎にその身体的状態（例えば、血圧、脈拍、発汗等）を測定するための測定機器を設ける必要があるため、システム構成が複雑となることに加え、システムのコストが増大するという問題があった。
　そこで、本開示は、システムのコストの増大を抑制しつつ、各オペレータのストレス状態を把握することを可能にする双方向映像通信システム及びそのオペレータの管理方法を提供することを主な目的とする。
　本開示に係る双方向映像通信システムは、ユーザが操作可能なキオスク端末と、オペレータが操作可能なオペレータ端末と、管理サーバとが互いに通信可能に接続され、前記キオスク端末と前記オペレータ端末との間で、前記キオスク端末を操作するユーザの映像と前記オペレータ端末を操作するオペレータの映像とを双方向に通信する双方向映像通信システムであって、前記キオスク端末は、ユーザを撮影する第１カメラと、この第１カメラにより撮影された前記ユーザの映像を前記オペレータ端末に送信し、前記オペレータ端末から送信される前記オペレータの映像を受信する第１通信部と、前記オペレータの映像を表示する第１表示部と、を有し、前記オペレータ端末は、オペレータを撮影する第２カメラと、この第２カメラにより撮影された前記オペレータの映像を前記キオスク端末に送信し、前記キオスク端末から送信された前記ユーザの映像を受信する第２通信部と、前記ユーザの映像を表示する第２表示部と、を有し、前記管理サーバは、前記オペレータ端末を操作する各オペレータについて、少なくとも前記第２カメラにより撮影された前記オペレータの映像に基づくバイタル情報を取得することを特徴とする。
　本開示に係るオペレータの管理方法は、ユーザが操作可能なキオスク端末と、オペレータが操作可能なオペレータ端末と、管理サーバとが互いに通信可能に接続され、前記キオスク端末と前記オペレータ端末との間で、前記キオスク端末を操作するユーザの映像と前記オペレータ端末を操作するオペレータの映像とを双方向に通信する双方向映像通信システムにおけるオペレータの管理方法であって、前記オペレータ端末が、前記キオスク端末との双方向映像通信を行うための前記オペレータの映像を撮影し、前記管理サーバが、前記オペレータ端末により撮影された前記オペレータの映像に基づくバイタル情報を取得することを特徴とする。
　本開示によれば、双方向映像通信システム及びそのオペレータの管理方法において、システムのコストの増大を抑制しつつ、各オペレータのストレス状態を把握することができる。
本実施形態に係る双方向映像通信システムの全体構成図 キオスク端末１の外観を示す斜視図 オペレータ端末２の外観を示す斜視図 キオスク端末１およびオペレータ端末２の概略構成を示すブロック図 管理サーバ３の概略構成を示すブロック図 キオスク端末１に表示される画面を示す説明図 キオスク端末１に表示される画面を示す説明図 オペレータ端末２に表示される画面を示す説明図 オペレータ端末２によるバイタル情報生成処理に関する説明図 オペレータ端末２によるバイタル情報生成処理に関する説明図 オペレータ端末２によって生成されたバイタル情報の一例を示す説明図 オペレータ端末２によるバイタル情報生成処理の流れを示すフロー図 オペレータ管理情報を表示する管理画面の第１の表示例を示す説明図 オペレータ管理情報を表示する管理画面の第２の表示例を示す説明図 オペレータ管理情報を表示する管理画面の第３の表示例を示す説明図 オペレータ管理情報を表示する管理画面の第４の表示例を示す説明図 オペレータ管理情報を表示する管理画面の第５の表示例を示す説明図
　前記課題を解決するためになされた第１の発明は、ユーザが操作可能なキオスク端末と、オペレータが操作可能なオペレータ端末と、管理サーバとが互いに通信可能に接続され、前記キオスク端末と前記オペレータ端末との間で、前記キオスク端末を操作するユーザの映像と前記オペレータ端末を操作するオペレータの映像とを双方向に通信する双方向映像通信システムであって、前記キオスク端末は、ユーザを撮影する第１カメラと、この第１カメラにより撮影された前記ユーザの映像を前記オペレータ端末に送信し、前記オペレータ端末から送信される前記オペレータの映像を受信する第１通信部と、前記オペレータの映像を表示する第１表示部と、を有し、前記オペレータ端末は、オペレータを撮影する第２カメラと、この第２カメラにより撮影された前記オペレータの映像を前記キオスク端末に送信し、前記キオスク端末から送信された前記ユーザの映像を受信する第２通信部と、前記ユーザの映像を表示する第２表示部と、を有し、前記管理サーバは、前記オペレータ端末を操作する各オペレータについて、少なくとも前記第２カメラにより撮影された前記オペレータの映像に基づくバイタル情報を取得することを特徴とする。
　これによると、キオスク端末との双方向映像通信に用いられるカメラ（第２カメラ）によって撮影されたオペレータの映像に基づくバイタル情報を取得するため、システムのコストの増大を抑制しつつ、そのバイタル情報から各オペレータのストレス状態を把握することが可能となる。
　また、第２の発明は、前記管理サーバは、前記オペレータ端末を操作する各オペレータについて、前記ユーザへの対応時間に関する情報を更に取得することを特徴とする。
　これによると、システムの管理者は、ユーザへの対応時間に関する情報に基づき、各オペレータのストレス状態に影響する要因を把握することが可能となる。
　また、第３の発明は、前記管理サーバは、前記オペレータ端末を操作する各オペレータについて、前記バイタル情報に基づき推定された前記オペレータのストレス状態に関する情報を更に取得することを特徴とする。
　これによると、システムの管理者は、バイタル情報に基づき推定されたオペレータのストレス状態に関する情報に基づき、各オペレータのストレス状態を容易に把握することが可能となる。
　また、第４の発明は、前記ストレス状態に関する情報には、前記オペレータのストレス状態の評価値と、前記ストレス状態の評価値に関して予め設定された閾値と、が含まれることを特徴とする。
　これによると、システムの管理者は、オペレータのストレス状態の評価値および予め設定された閾値に基づき、各オペレータのストレス状態をより適切に把握することが可能となる。
　また、第５の発明は、前記管理サーバは、前記ユーザの映像に基づく前記ユーザの感情に関する情報を更に取得することを特徴とする。
　これによると、システムの管理者は、オペレータが対応したユーザの感情に関する情報に基づき、各オペレータのストレス状態に影響する要因を把握することが可能となる。
　また、第６の発明は、前記管理サーバは、前記キオスク端末の前記第１カメラにより撮影された前記ユーザの映像に基づくバイタル情報を更に取得することを特徴とする。
　これによると、システムの管理者は、オペレータが対応したユーザの映像に基づくバイタル情報により、システムのコストの増大を抑制しつつ、各オペレータのストレス状態に影響する要因を把握することが可能となる。
　また、第７の発明は、前記管理サーバは、前記オペレータ端末を操作した複数のオペレータについて、前記ストレス状態に関する情報を同時に表示することを特徴とする。
　これによると、システムの管理者は、複数のオペレータのストレス状態を速やかに把握することが可能となる。
　また、第８の発明は、前記管理サーバは、前記バイタル情報に基づき推定された前記オペレータのストレス状態に関する情報および前記ユーザの映像に基づく前記ユーザの感情に関する情報を同時に表示することを特徴とする。
　これによると、システムの管理者は、オペレータのストレス状態に関する情報およびユーザの感情に関する情報に基づき、各オペレータのストレス状態に影響する要因をより適切に把握することが可能となる。
　また、第９の発明は、前記第２カメラは、前記オペレータの顔を撮影する正面カメラと、前記オペレータの手元を撮影する手元カメラと、を含み、前記管理サーバは、前記正面カメラにより撮影された前記オペレータの映像に基づく前記バイタル情報を取得することを特徴とする。
　これによると、正面カメラにより撮影されたオペレータの適切な映像からそのバイタル情報を適切に取得することが可能となる。
　また、第１０の発明は、前記バイタル情報には、脈波および心拍の少なくとも一方が含まれることを特徴とする。
　これによると、システムの管理者は、脈波および心拍の少なくとも一方に基づき、各オペレータのストレス状態を容易に把握することが可能となる。
　また、第１１の発明は、ユーザが操作可能なキオスク端末と、オペレータが操作可能なオペレータ端末と、管理サーバとが互いに通信可能に接続され、前記キオスク端末と前記オペレータ端末との間で、前記キオスク端末を操作するユーザの映像と前記オペレータ端末を操作するオペレータの映像とを双方向に通信する双方向映像通信システムにおけるオペレータの管理方法であって、前記オペレータ端末が、前記キオスク端末との双方向映像通信を行うための前記オペレータの映像を撮影し、前記管理サーバが、前記オペレータ端末により撮影された前記オペレータの映像に基づくバイタル情報を取得することを特徴とする。
　これによると、キオスク端末との双方向映像通信に用いられるオペレータの映像に基づくバイタル情報を取得するため、システムのコストの増大を抑制しつつ、そのバイタル情報から各オペレータのストレス状態を把握することが可能となる。
　以下、本開示の実施の形態を、図面を参照しながら説明する。
　図１は、本実施形態に係る双方向映像通信システムの全体構成図である。
　この双方向映像通信システムは、キオスク端末１と、オペレータ端末２と、管理サーバ３と、を備えている。キオスク端末１、オペレータ端末２、及び管理サーバ３は、インターネットやＶＰＮ（Virtual Private Network）やイントラネットなどのネットワークを介して相互に接続される。
　キオスク端末１は、各種の施設に設置され、任意のユーザが操作するものであり、ユーザを撮影した映像（以下、単に「ユーザの映像」という。）をオペレータ端末２に送信し、オペレータ端末２から受信したオペレータの映像を表示する。
　オペレータ端末２は、コールセンターなど、ユーザに応対するオペレータが常駐する施設に設置され、オペレータが操作するものであり、オペレータを撮影した映像（以下、単に「オペレータの映像」という。）をキオスク端末１に送信し、キオスク端末１から受信したユーザの映像を表示する。
　管理サーバ３は、双方向映像通信システムの管理本部など、システムの管理者が利用する施設に設置され、管理者が操作する管理用のコンピュータから構成される。管理サーバ３は、オペレータのストレス状態を管理するためのオペレータ管理情報を、キオスク端末１及びオペレータ端末２からそれぞれ受信することができ、また、そのオペレータ管理情報の一部を必要に応じて自装置で生成することもできる。
　後に詳述するように、管理サーバ３は、例えば、各オペレータ端末２で撮影されたオペレータの映像に基づき生成された当該オペレータのバイタル情報を、オペレータ管理情報として取得することができる。また、管理サーバ３は、各キオスク端末１で撮影されたユーザの映像（管理対象のオペレータが対応中のユーザの映像）に基づき生成された当該ユーザの感情に関する情報を、オペレータ管理情報として取得することができる。
　なお、キオスク端末１では、様々なサービスを提供することができる。例えば、キオスク端末１を空港などの交通施設のロビーなどに設置することで、周辺の観光地の案内や、施設内のフロアの案内や、周辺の宿泊施設の案内などのサービスを提供することができる。また、キオスク端末１を銀行などの金融機関の店舗に設置することで、窓口などで行われる各種のサービス、例えば、口座開設や金融取引やローン契約の相談などのサービスを提供することができる。また、キオスク端末１をホテルなどの宿泊施設のフロントなどに設置することで、係員（コンシェルジュ）が行う各種の案内サービスを提供することができる。また、キオスク端末１をマンションなどの共同住宅の玄関ロビーなどに設置することで、管理人が行う各種のサービスを提供することができる。
　このようにキオスク端末１では、各種のサービスを担当者に代わって常時提供することができるため、サービスの品質を向上させることができ、また、オペレータが複数の施設を掛け持ちで担当することができるため、人員削減を図ることができる。
　また、キオスク端末１とオペレータ端末２との間では、ユーザの映像とオペレータの映像とを双方向に通信するが、この他に、キオスク端末１やオペレータ端末２において、ユーザやオペレータが操作した内容に関する操作情報、ユーザやオペレータが入力したテキスト情報などが双方向に通信される。また、管理サーバ３は、キオスク端末１とオペレータ端末２との間で通信される各種情報を、必要に応じて取得することが可能である。
　双方向映像通信システムでは、特に、機密情報、例えば、ユーザの氏名や住所などの個人情報や、金融機関の口座番号などの情報がやり取りされる場合がある。このような機密情報の通信については、サービス提供者が、セキュリティを高度に確保した専用のネットワークを既に運用しているため、機密情報を含む映像以外の情報は既存のネットワークで通信し、これとは別のネットワークで映像を通信するようにしてもよい。これにより、セキュリティを確保するとともに、通信量が大きい映像を別のネットワークで通信することで、既存のネットワークの負荷の増大を抑制することができる。
　次に、キオスク端末１について説明する。図２は、キオスク端末１の外観を示す斜視図である。
　キオスク端末１は、筐体１１と、正面モニタ１２と、手元モニタ１３と、正面カメラ１４と、手元カメラ１５と、ＩＣカードリーダ１６と、スピーカー１７と、マイク１８と、を備えている。
　正面モニタ１２は、画面を前向きにした状態で配置され、手元モニタ１３は、画面を上向きにした状態で配置されている。また、手元モニタ１３はタッチパネルを備えており、ユーザが画面操作を行うことができる。
　正面カメラ１４は、ユーザの顔を含む上半身を正面から撮影する。手元カメラ１５は、ユーザの手元、すなわち、手元モニタ１３上に置いたユーザの手と手元モニタ１３の画面とを上方から撮影する。ユーザは、手元モニタ１３の画面を手先で指し示す動作を行い、この状況が手元カメラ１５で撮影される。
　ＩＣカードリーダ１６は、ユーザが所持するＩＣカードを読み取る。
　スピーカー１７は、オペレータが発した音声を出力する。マイク１８は、ユーザが発した音声（ユーザ音声）を収音する。
　このように構成されたキオスク端末１は、カウンタなどの台に載置され、ユーザが椅子に座った状態で、あるいは、立ったままの状態でキオスク端末１を操作する。
　次に、オペレータ端末２について説明する。図３は、オペレータ端末２の外観を示す斜視図である。
　オペレータ端末２は、架台２１と、第１モニタ２２と、第２モニタ２３と、正面カメラ２４と、手元カメラ２５と、ヘッドセット２６と、テーブル２７と、を備えている。
　第１モニタ２２は、所定の高さとなるように架台２１に支持されている。第２モニタ２３は、タッチパネルを備えており、オペレータが画面操作を行うことができる。
　正面カメラ２４は、オペレータの顔を含む上半身を正面から撮影する。手元カメラ２５は、オペレータの手元、すなわち、テーブル２７上に置いたオペレータの手とテーブル２７とを上方から撮影する。オペレータは、テーブルにパンフレットなどの書類を置いて、書類を手先で指し示しながら書類を説明し、この状況が手元カメラ２５で撮影される。
　ヘッドセット２６は、スピーカー２８と、マイク２９と、を備えている。スピーカー２８は、ユーザが発した音声を出力する。マイク２９は、オペレータが発した音声を収音する。
　また、オペレータ端末２には、モニタ５が併設される。このモニタ５には、オペレータ端末２、または、図示しないＰＣで起動させたアプリケーションの画面が表示される。このアプリケーションの画面はキオスク端末１と共有され、同一の画面がキオスク端末１の手元モニタ１３に表示される（画面共有機能）。また、モニタ５はタッチパネルを備えており、オペレータが手書きで画面上に描画することができる（ホワイトボード機能）。
　なお、コールセンターでは、オペレータが、オペレータ端末２を使用して映像と音声でユーザに応対する対面応対業務とは別に、電話による音声のみでユーザに応対する電話応対業務を行うことも可能であるため、電話応対業務用のモニタ（図示せず）がオペレータ端末２に併設される。
　次に、キオスク端末１およびオペレータ端末２の概略構成について説明する。図４は、キオスク端末１およびオペレータ端末２の概略構成を示すブロック図である。
　キオスク端末１は、前記のように、正面モニタ１２と、手元モニタ１３と、正面カメラ１４と、手元カメラ１５と、ＩＣカードリーダ１６と、スピーカー１７と、マイク１８と、を備えている。また、キオスク端末１は、制御部３１と、通信部３２と、記憶部３３と、を備えている。
　通信部３２は、ネットワークを介してオペレータ端末２や管理サーバ３と通信を行う。
　記憶部３３は、制御部３１を構成するプロセッサで実行されるプログラムを記憶する。また、記憶部３３は、ユーザの映像に基づき感情情報生成部３６で生成されたユーザの感情に関する情報などの必要な情報を記憶する。
　制御部３１は、画面制御部３５と、感情情報生成部３６と、音声制御部３７と、音声変換部３８と、を備えている。この制御部３１は、プロセッサで構成され、制御部３１の各部は、記憶部３３に記憶されたプログラムをプロセッサで実行することで実現される。
　画面制御部３５は、正面モニタ１２および手元モニタ１３の表示画面を制御する。本実施形態では、画面制御部３５は、オペレータ端末２からオペレータの正面映像を受信すると、そのオペレータの正面映像を正面モニタ１２に表示する。また、画面制御部３５は、オペレータ端末２からオペレータの手元映像を受信すると、そのオペレータの手元映像を手元モニタ１３に表示する。
　また、画面制御部３５は、オペレータ端末２から字幕の文字情報を受信すると、字幕の画像を生成して、その字幕の画像をオペレータの正面動画上に重畳して表示することができる。また、画面制御部３５は、オペレータ端末２から案内情報を受信すると、案内情報を可視化した帯情報の画像を生成して、その帯情報の画像をオペレータの正面動画上に重畳して表示することができる。
　感情情報生成部３６は、ユーザの感情に関する情報を生成する。本実施形態では、感情情報生成部３６は、公知の手法に基づき、ユーザの映像におけるユーザの顔認識処理を行うことにより、ユーザの感情に関する情報として当該ユーザの感情の評価値を算出する。例えば、感情情報生成部３６は、ユーザの感情の評価値を算出するにあたり、正面カメラ１４で撮影したユーザの正面映像から、ユーザの顔の特徴情報、すなわち、顔に設定された複数の特徴点の位置情報（座標）を抽出し、その抽出された特徴点に基づき、ユーザの感情（本実施形態では、怒り、悲しみ、驚き、喜びの４つ感情の総合したもの）を数値化することができる。また、感情情報生成部３６は、公知の手法に基づき、マイク１８で収音したユーザの音声（音の高さ、周波数等）に基づいてユーザの感情に関する情報を生成することもできる。
　感情情報生成部３６によって生成されたユーザの感情に関する情報は、管理サーバ３に送信され、管理サーバ３において、オペレータ端末２からのバイタル情報などと共にオペレータ管理情報として記憶される。
　音声制御部３７は、スピーカー１７から出力する音声を制御する。本実施形態では、音声制御部３７は、音声変換が有効であるか否かに応じて、オペレータ端末２から受信したオペレータの原音声と、音声変換部３８で音声変換された音声とのいずれかをスピーカー１７から出力する。
　音声変換部３８は、オペレータ端末２から受信したオペレータの原音声を、所望の声質の音声に変換することができる。この音声変換には、ディープラーニングを用いた声質変換など、公知の音声変換技術を用いればよい。
　また、制御部３１は、この他に、オペレータ端末２に接続する接続制御を行い、また、キオスク端末１で撮影したユーザの映像と、オペレータ端末２で撮影したオペレータの映像と、をリアルタイムで送受信する映像伝送制御などを行う。
　オペレータ端末２は、前記のように、第１モニタ２２と、第２モニタ２３と、正面カメラ２４と、手元カメラ２５と、ヘッドセット２６と、を備えている。また、オペレータ端末２は、制御部４１と、通信部４２と、記憶部４３と、を備えている。
　通信部４２は、ネットワークを介してキオスク端末１や管理サーバ３と通信を行う。
　記憶部４３は、制御部４１を構成するプロセッサで実行されるプログラムを記憶する。また、記憶部４３は、オペレータの映像に基づき生成された当該オペレータのバイタル情報などの必要な情報を記憶する。
　制御部４１は、画面制御部４５と、バイタル情報生成部４６と、音声認識部４７と、対応時間算出部４８と、を備えている。この制御部４１は、プロセッサで構成され、制御部４１の各部は、記憶部４３に記憶されたプログラムをプロセッサで実行することで実現される。
　画面制御部４５は、キオスク端末１の正面モニタ１２および手元モニタ１３の表示画面を制御する。本実施形態では、画面制御部４５は、キオスク端末１の手元モニタ１３に関する画面制御として、オペレータの手元映像を表示させるオペレータ表示モードと、操作画面（メニュー画面など）を表示させる操作画面モードと、アプリケーション画面を表示させる画面共有モードとを切り替える。
　なお、本実施形態では、キオスク端末１の正面モニタ１２および手元モニタ１３の表示モードが、キオスク端末１でのユーザの操作内容に応じて切り替えられるが、オペレータが表示モードを選択できるようにしてもよい。
　バイタル情報生成部４６は、各オペレータのバイタル情報を生成する。後に詳述するように、バイタル情報生成部４６は、正面カメラ２４で撮影したオペレータの正面映像から、各オペレータのバイタル情報として脈波や心拍を抽出する処理（バイタル情報生成処理）を実行する。これにより、バイタル情報生成部４６では、正面カメラ２４により撮影されたオペレータの比較的安定した（動きの少ない）映像からそのバイタル情報を適切に取得することが可能となる。
　なお、バイタル情報生成部４６は、必要に応じて、オペレータの正面映像の代わりに、手元カメラ２５で撮影したオペレータの手元の映像を用いてバイタル情報生成処理を実行することもできる。また、場合によっては、バイタル情報生成部４６は、オペレータの正面映像およびオペレータの手元の映像の双方を用いてバイタル情報生成処理を実行してもよい。
　音声認識部４７は、マイク２９で収音したオペレータの音声に対して音声認識を行い、文字情報を出力する。
　対応時間算出部４８は、オペレータのユーザへの対応時間（各ユーザに対して対応した時間）を算出する。この対応時間の算出は、例えば、各オペレータによる各ユーザに関する対応時間の入力値に基づき行うことができる。あるいは、各ユーザの映像の撮影時間から各ユーザへの対応時間を算出（推定）してもよい。対応時間算出部４８によって算出されたユーザへの対応時間に関する情報は、管理サーバ３に対して送信される。なお、対応時間算出部４８を省略し、管理サーバ３が、対応時間算出部４８と同様の機能を備えることも可能である。
　また、制御部４１は、この他に、キオスク端末１に接続する接続制御を行い、また、キオスク端末１で撮影したユーザの映像と、オペレータ端末２で撮影したオペレータの映像と、をリアルタイムで送受信する映像伝送制御などを行う。
　なお、オペレータ端末２に、手持ちの書類を読み取るスキャナを設けるようにしてもよい。また、オペレータ端末２に、操作する人物が正規のオペレータであることの認証を行うために、ＩＣカードリーダを設けるようにしてもよい。また、キオスク端末１に、オペレータ端末２から送信された書類や画面表示された情報などを印刷出力するプリンタを設けるようにしてもよい。
　また、第２モニタ２３をタブレットＰＣで構成する、すなわち、第２モニタ２３の筐体内に、制御部４１、通信部４２および記憶部４３を収容した構成としてもよい。
　次に、管理サーバ３の概略構成について説明する。図５は、管理サーバ３の概略構成を示すブロック図である。
　管理サーバ３は、制御部８１と、通信部８２と、記憶部８３と、モニタ８４と、を備えている。
　制御部８１は、プロセッサで構成され、管理サーバ３における管理画面の表示制御を含む各種の処理は、記憶部８３に記憶されたプログラムをプロセッサで実行することで実現される。
　通信部８２は、ネットワークを介してキオスク端末１やオペレータ端末２と通信を行う。
　記憶部８３は、制御部８１を構成するプロセッサで実行されるプログラムを記憶する。また、記憶部８３は、オペレータ管理情報として、オペレータ端末２から受信したユーザのバイタル情報や、キオスク端末１から受信したユーザの感情に関する情報などを記憶する。なお、キオスク端末１およびオペレータ端末２からそれぞれ取得された情報は、それらに付加された時刻情報や、ユーザＩＤ及びオペレータＩＤなどの情報に基づき相互に関連づけられる。
　モニタ８４は、後に詳述するように、システムの管理者等がオペレータのストレス状態を管理するためのオペレータ管理情報などの必要な情報を表示する。
　次に、キオスク端末１に表示される画面について説明する。図６および図７は、キオスク端末１に表示される画面を示す説明図である。
　キオスク端末１では、スタンバイ時（オペレータ端末２に接続する前）には、正面モニタ１２がデジタルサイネージとして動作し、図６（Ａ－１）に示すように、正面モニタ１２に、お薦めプランなどの広告や施設などの案内に関するコンテンツの映像が表示される。
　また、スタンバイ時には、図６（Ａ－２）に示すように、手元モニタ１３に、メインメニュー画面（操作画面）が表示される。このメインメニュー画面には、サービスメニューを選択する操作ボタン５１が表示されている。本実施形態では、ユーザは、サービスメニューとして、「手続き」および「相談」を選択することができる。ユーザが「相談」を選択すると、オペレータ表示モードとなり、オペレータ画面（図７（Ａ－１），（Ａ－２）参照）に遷移する。「相談」は、ユーザがローンや信託に関する契約などに関する相談を行う場合であり、詳細な案内が必要で時間がかかるため、オペレータ本人と対面して案内する必要があるため、オペレータ表示モードとなり、オペレータ画面でオペレータ本人がユーザに応対する。
　一方、「手続き」は、ユーザが口座開設などの手続きを行う場合であり、簡単な画面操作で済み、通常、オペレータ本人が対面して案内する必要がない。
　また、手元モニタ１３のメインメニュー画面には、通話ボタン５２が表示されている。ユーザがこの通話ボタン５２を操作すると、キオスク端末１がオペレータ端末２に接続された上で、オペレータ表示モードとなり、オペレータ画面（図７（Ａ－１），（Ａ－２）参照）に遷移する。これにより、ユーザは、簡単な操作で済む「手続き」の場合でも、オペレータに案内してもらうことができる。
　なお、オペレータ表示モードでは、オペレータ画面に遷移する前に、オペレータと対話するか否かをユーザに問い合わせる画面を表示して、ユーザが承諾する操作を行った場合に、オペレータ画面に遷移するようにしてもよい。
　また、ユーザがメインメニュー画面でサービスメニューを選択した場合に、必要に応じて、図６（Ｂ－２）に示すように、サブメニュー画面に遷移するようにしてもよい。このサブメニュー画面には、各種のサブメニュー項目に対応した操作ボタン５３が表示されている。また、このサブメニュー画面には、メインメニュー画面（図６（Ａ－２）参照）と同様に、通話ボタン５２が表示されている。
　キオスク端末１がオペレータ端末２に接続されると、オペレータ表示モードでは、図７（Ａ－１）に示すように、正面モニタ１２に、オペレータ端末２の正面カメラ２４で撮影したオペレータの正面映像６１が表示され、同時に、図７（Ａ－２）に示すように、手元モニタ１３に、オペレータ端末２の手元カメラ２５で撮影したオペレータの手元映像６２が表示される。
　また、画面共有モードでは、手元モニタ１３に、オペレータ端末２、または、オペレータ側の図示しないＰＣで起動させたアプリケーションの画面が表示される。このアプリケーションの画面はオペレータ端末２と共有され、同一の画面がオペレータ端末２のモニタ５に表示される（画面共有機能）。また、画面共有モードでは、ユーザが手書きで画面上に描画することができる（ホワイトボード機能）。
　次に、オペレータ端末２に表示される画面について説明する。図８は、オペレータ端末２に表示される画面を示す説明図である。
　オペレータ端末２では、スタンバイ時には、第１モニタ２２に、待ち受け画面が表示され、キオスク端末１でユーザが通話ボタン５２（図６（Ａ－２），（Ｂ－２）参照）を操作すると、図８（Ａ－１）に示すように、着信画面が表示される。この着信画面には、接続相手となるキオスク端末１に関する情報（設置場所や端末名称など）が表示される。
　また、スタンバイ時には、図８（Ａ－２）に示すように、第２モニタ２３に、操作画面が表示される。この操作画面には、オペレータ端末２の制御やキオスク端末１に対する指示などを行うための各種の操作ボタン７１が表示される。
　また、第２モニタ２３には、オペレータ端末２の正面カメラ２４で撮影したオペレータの正面映像６１と、オペレータ端末２の手元カメラ２５で撮影したオペレータの手元映像６２とが表示される。このオペレータの正面映像６１および手元映像６２は、キオスク端末１に表示されるものと同じものである。なお、オペレータの手元映像６２は、元の状態と上下反転した状態とを切り替えることができる。
　一方、オペレータ端末２がキオスク端末１に接続されると、図８（Ｂ－１）に示すように、第１モニタ２２に、キオスク端末１の正面カメラ１４で撮影したユーザの正面映像７２が表示される。なお、第１モニタ２２は、所定の高さとなるように架台２１に支持されており（図３参照）、これにより、オペレータとユーザとで視線を一致させることができる。
　また、図８（Ｂ－２）に示すように、第２モニタ２３に、スタンバイ時と同様に、操作ボタン７１が表示される。また、第２モニタ２３には、スタンバイ時と同様に、オペレータの正面映像６１が表示される。このオペレータの正面映像６１は、オペレータの手元映像と切り替えることができる。また、第２モニタ２３には、オペレータの手元映像が表示された状態でキオスク端末１の手元カメラ１５で撮影したユーザの手元映像７３が表示される。なお、ユーザの手元映像７３は、元の状態と上下反転した状態とを切り替えることができる。
　第２モニタ２３に表示されるユーザの手元映像７３には、キオスク端末１の手元モニタ１３上で画面に映るパンフレットなどの書類を指し示すユーザの手先が映り、ユーザとオペレータとで互いに書類を指し示しながら対話することができる。
　なお、本実施形態では、ユーザの正面映像７２を第１モニタ２２に表示し、ユーザの手元映像７３を第２モニタ２３に表示するようにしたが、ユーザの正面映像７２と手元映像７３とを１つのモニタに表示するようにしてもよい。この場合、オペレータ側からもユーザとカウンタ越しで向き合っているような臨場感を実現することができる。
　次に、オペレータ端末２（バイタル情報生成部４６）によるバイタル情報の生成方法について説明する。図９及び図１０は、オペレータ端末２によるバイタル情報生成処理に関する説明図である。
　バイタル情報生成部４６は、オペレータの映像に対し、顔の特徴量を用いた公知の統計的学習手法に基づく顔検出処理を実行することにより、その検出された顔領域をオペレータの肌領域として検出および追尾し、その肌領域に関する情報（肌領域を構成する画素の画素値、画素数等）を取得する。この肌領域の検出については、顔の特徴量を用いた公知の統計的学習手法以外にも、公知のパターン認識手法（例えば、予め準備したテンプレートとのマッチング）に基づく顔検出処理を利用してもよい。
　また、バイタル情報生成部４６は、得られた肌領域に関する情報に基づきオペレータの脈拍を算出する。具体的には、時間的に連続するオペレータの映像（フレーム画像）において抽出された肌領域を構成する各画素に関し、例えばＲＧＢの各成分の画素値（０－２５５階調）を算出し、その代表値（ここでは、各画素の平均値）の時系列データを脈拍信号として生成する。この場合、脈動による変動が特に大きい緑成分（Ｇ）のみの画素値に基づき時系列データを生成することができる。
　生成された画素値（平均値）の時系列データは、例えば、図９（Ａ）に示すように、血液中のヘモグロビン濃度の変化に基づく微少な変動（例えば、画素値の１階調未満の変動）を伴う。そこで、バイタル情報生成部４６は、その画素値に基づく時系列データに対し、公知のフィルタ処理（例えば、所定の通過帯域が設定されたバンドパスフィルタによる処理等）を実施することにより、図９（Ｂ）に示すように、ノイズ成分を除去した脈波を脈拍信号として抽出することができる。
　そして、バイタル情報生成部４６は、例えば、図１０（Ａ）に示すように、脈波において隣接する２以上のピーク間の時間から脈波間隔（ＲＲＩ）を算出し、そのＲＲＩをバイタル情報とすることができる。また、ＲＲＩは、図１０（Ｂ）に示すように、ＲＲＩの経時的な変化として取得することができる。ここで、オペレータの映像の撮影時間（または時刻）はフレーム画像に関連付けられているので、フレーム画像から抽出したバイタル情報も、撮影時間に関連付けられている。
　また、バイタル情報生成部４６は、取得したバイタル情報（ＲＲＩ）から、オペレータの生理学的または神経学的な活動指標を抽出する。活動指標としては、ＲＲＩ、ＲＲＩの標準偏差であるＳＤＮＮ、心拍数、迷走神経緊張強度の指標であるＲＭＳＳＤまたはｐＮＮ５０、ストレスの指標であるＬＦ／ＨＦなどが挙げられる。バイタル情報生成部４６は、これらの活動指標に基づき、オペレータの身体的状態（ストレス状態（緊張度）、集中度、眠気度など）を推測することができる。例えば、ＲＲＩの経時的な変化は、交感神経および副交感神経の活動を反映することが分かっている。したがって、図１０（Ｂ）に示したＲＲＩの経時的な変化、すなわちＲＲＩの揺らぎに基づき、身体的状態を推測することが可能である。
　本実施形態では、バイタル情報生成部４６は、取得したオペレータの活動指標に基づき、オペレータのストレス状態の評価値を算出する。例えば、バイタル情報生成部４６は、ストレス状態の評価値として、ストレスの指標であるＬＦ／ＨＦを用いることができる。或いは、バイタル情報生成部４６は、上述の活動指標の少なくとも１つからストレス状態の評価値を算出してもよい。その場合、バイタル情報生成部４６は、例えば、学習的手法や実験的手法などにより取得した活動指標の経時的変化とストレス状態との関係を示す判定情報を予め準備し、その判定情報を参照してストレス状態の評価値を算出することができる。
　図１１は、オペレータ端末２（バイタル情報生成部４６）によって生成されたバイタル情報の一例を示す説明図である。
　バイタル情報９１は、オペレータのＩＤ番号９２と、フレーム画像の撮影時間９３（ここでは、所定時刻からの経過時間）と、各撮影時間９３におけるＲＲＩ値９４とを含む。オペレータのＩＤ番号９２（この例では、ＩＤ：ＯＰ１）は、オペレータを識別するために付与される。撮影時間９３は、オペレータの撮影を開始してからの経過時間である。図１１の例では、撮影時間９３が「０．７８２」、「１．５６０」、「２．３３４」、...のときのＲＲＩ９４は「０．７８２」、「０．７７８」、「０．７７４」、...である。
　図１２は、オペレータ端末２によるバイタル情報生成処理の流れを示すフロー図である。
　まず、オペレータ端末２は、管理対象のオペレータに関し、正面カメラ２４によって撮影された時間的に連続するオペレータの映像およびその撮影時間に関する情報をメモリに取り込む（ＳＴ１０１）。そこで、オペレータ端末２は、取得したオペレータの映像（フレーム画像）からオペレータの肌領域を検出し（ＳＴ１０２）、その肌領域の時系列データに基づき、オペレータのバイタル情報を抽出する（ＳＴ１０３）。なお、抽出されたバイタル情報は、記憶部４３に記憶される。
　次に、オペレータ端末２では、オペレータが対応しているユーザに関する対応情報（ユーザＩＤ、会話内容など）が取得され（ＳＴ１０４）、この対応情報とバイタル情報とを関連付けられる（ＳＴ１０５）。
　次に、オペレータ端末２は、ステップＳＴ１０３で抽出したバイタル情報から、オペレータの生理学的または神経学的な活動指標を抽出する（ＳＴ１０６）。続いて、オペレータ端末２は、抽出した活動指標に基づき、オペレータのストレス状態を判定（ストレス状態の評価値を算出）する（ＳＴ１０７）。この判定されたストレス状態に関する情報は、記憶部４３に記憶される（ＳＴ１０８）。
　そして、記憶部４３に記憶されたストレス状態に関する情報は、通信部４２から管理サーバ３に対して送信される（ＳＴ１０９）。なお、ステップＳＴ１０９では、図１６に示すようなバイタルセンシング画面１３１を表示するために、ストレス状態に関する情報と共に、それに対応するバイタル情報を管理サーバ３に対して送信する。
　また、オペレータ端末２が上記ステップＳＴ１０３で算出したバイタル情報を管理サーバ３に送信し、管理サーバ３が、オペレータ端末２の代わりに上記ステップＳＴ１０６－ＳＴ１０８に対応する処理を実行することにより、ストレス状態の評価値を算出するようにしてもよい。その場合、管理サーバ３に送信されるバイタル情報に対し、上記ステップＳＴ１０４で取得したユーザに関する対応情報を関連付けることができる。
　さらに、バイタル情報生成部４６と同様の機能を管理サーバ３が備えた構成も可能である。この場合、オペレータ端末２からオペレータの映像を取得し、管理サーバ３において、ＳＴ１０２からＳＴ１０８と同等の処理を行う。
　このように、双方向映像通信システムでは、管理サーバ３が、キオスク端末１との双方向映像通信に用いられるオペレータ端末２のカメラによって撮影されたオペレータの映像に基づくストレス状態に関する情報（バイタル情報）を取得、あるいは算出するため、システムのコストの増大を抑制しつつ、そのバイタル情報から各オペレータのストレス状態を把握することが可能となる。
　次に、管理サーバ３によるオペレータ管理情報の表示方法について説明する。図１３－図１７は、それぞれオペレータ管理情報を含む管理画面の第１－第５の表示例を示す説明図である。
　管理サーバ３では、管理者からの要求に応じて、少なくともオペレータ端末２から取得したオペレータ管理情報に基づき、各オペレータのストレス状態を確認するための管理画面をモニタ８４に表示することができる。ただし、管理サーバ３は、ネットワークを介して接続された他のＰＣ（管理用ＰＣ）からの管理者の要求に応じて、同様の管理画面を表示するための表示用データを当該ＰＣに送信することもできる。
　図１３に示すように、メイン画面１０１では、ストレス状態の確認対象であるオペレータ（ここでは、１人）を管理者が選択するための選択エリア１０２が設けられている。図１３では、オペレータＯＰ１が選択された場合を示しており、メイン画面１０１には、オペレータＯＰ１のストレス状態１０３、ユーザに関する会話内容１０４、ユーザの対応実績１０５が示されている。なお、オペレータＯＰ２をチェックすると、オペレータＯＰ１のチェックが外れ、メイン画面１０１には、オペレータＯＰ２のストレス状態１０３、ユーザに関する会話内容１０４、ユーザの対応実績１０５を閲覧することができる。
　ストレス状態１０３は、１日の業務の時間経過（横軸）に対するストレス状態の評価値（縦軸）の変化の様子を示しており、このストレス状態の評価値はリアルタイムに変動する。
　また、会話内容１０４は、オペレータとユーザとの間で交わされた会話の各種別の割合（円グラフ）を示している。会話の種別としては、例えば、オペレータのストレス状態に与える影響が異なる「通常の会話」、「肯定的な会話」、及び「否定的な会話」などを設定することができる。会話内容の種別データは、オペレータがユーザへの対応を終了するタイミングで、オペレータ端末において複数の種別候補から１つを選択する画面（図示せず）を立ち上げて、オペレータに選択させることにより取得することができ、ユーザに関する対応情報と紐付けることができる。
　また、ユーザの対応実績１０５は、オペレータが月毎（横軸）に対応したユーザ数（縦軸）を示している。
　管理者は、メイン画面１０１において、第１の統計情報を表示するための統計情報１ボタン１１０を押下したのち、１以上のオペレータを選択することにより、図１４に示すような第１の統計情報画面１１１を表示させることができる。
　図１４に示す第１の統計情報画面１１１では、メイン画面１０１において４人のオペレータＯＰ１－ＯＰ４が選択されて統計情報１ボタン１１０が押下された場合を示している。第１の統計情報画面１１１では、図１４（Ａ）に示すオペレータＯＰ１について、対応したユーザ（ここでは、客Ａ－Ｄ：横軸）に対する対応時間（縦軸）、オペレータの対応時におけるユーザの感情の評価値（ここでは、感情の評価値の平均：縦軸）、及びユーザに対するオペレータの対応時におけるストレス状態の評価値（ここでは、ストレス状態の評価値の平均：縦軸）がそれぞれグラフで示されている。図１４（Ｂ）－（Ｄ）に示す他のオペレータＯＰ２－ＯＰ４についてもオペレータＯＰ１と同様である。
　ここで、ストレス状態の評価値には、評価値の上限の目安を示す閾値１１２が予め設定されている。第１の統計情報画面１１１では、オペレータＯＰ４のストレス状態の評価値が客Ｍ－Ｐの対応時に閾値１１２を超えた様子が示されており、これにより、管理者は、オペレータＯＰ４に対して措置を講ずること（例えば、オペレータＯＰ４に休憩や休暇をとらせること）が必要であることを認識することができる。第１の統計情報画面１１１では、ストレス状態の評価値が閾値１１２を超えたオペレータＯＰ４に関するグラフが強調表示（ハイライト表示）されており、これにより、管理者は、オペレータＯＰ４のストレス状態の評価値に速やかに注目することが可能となる。なお、個人のストレス耐性を考慮して、オペレータ毎に異なる閾値１１２を設定してもよい。
　さらに、管理者は、ストレス状態の評価値が閾値１１２を超えたオペレータＯＰ４に関し、そのストレス状態の要因となり得るユーザに対する対応時間や、ユーザの感情の評価値を第１の統計情報画面１１１において確認することにより、オペレータＯＰ４のストレス状態に影響を及ぼした要因を把握（または推定）することができる。その結果、管理者は、オペレータＯＰ４に対してより適切な措置を講ずることが可能となる。
　また、管理者は、メイン画面１０１（図１３参照）において、第２の統計情報を表示するための統計情報２ボタン１２０を押下したのち、１以上のオペレータを選択することにより、図１５に示すような第２の統計情報画面１２１を表示させることができる。
　図１５に示す第２の統計情報画面１２１では、メイン画面１０１において全てオペレータＯＰ１－ＯＰ１０等が選択されて統計情報２ボタン１２０が押下された場合の例を示している。第２の統計情報画面１２１では、図１４に示した対応時間、ユーザの感情の評価値、及びオペレータのストレス状態の評価値について、横軸に示すオペレータ毎に所定期間（例えば、１ヶ月間）における統計値（ここでは、平均値）が示されている。
　ここで、ストレス状態の評価値には、評価値の２つの閾値（第１の閾値１２２、第２の閾値１２３）が予め設定されている。これにより、管理者は、オペレータのストレス状態の評価値が第２の閾値１２３を超えた場合に、当該オペレータに対して措置を講ずることが必要となり得る（または、予備的に措置を講じてもよい）予備軍として認識することができ、さらに、オペレータのストレス状態の評価値が第１の閾値１２２を超えた場合に、当該オペレータ（ここでは、オペレータＯＰ４）に対して早急な措置を講ずることが必要であることを認識することができる。
　このように、双方向映像通信システムでは、オペレータ端末２を操作した複数のオペレータ（より好ましくは、全てのオペレータ）について、ストレス状態に関する情報を同時（同一画面内）に表示することができるため、管理者は、複数のオペレータのストレス状態を速やかに把握することが可能となる。また、双方向映像通信システムでは、オペレータのストレス状態に関する情報およびユーザの感情に関する情報を同時（同一画面内）に表示することができるため、管理者は、各オペレータのストレス状態に影響する要因をより適切に把握することが可能となる。
　また、管理者は、メイン画面１０１（図１３参照）において、いずれかのオペレータを選択し、バイタル情報ボタン１３０を押下することにより、図１６に示すようなバイタルセンシング画面１３１を表示させることができる。
　図１６に示すバイタルセンシング画面１３１では、上述のストレス状態の評価値の基となるオペレータのバイタル情報に関するデータが示されている。ここでは、バイタルセンシング画面１３１には、オペレータの顔検出位置を示す情報１３２、オペレータから検出された肌領域を示す情報１３３、オペレータの脈拍の情報１３４、オペレータの心拍数の時間的変化の情報１３５、オペレータのストレス状態の評価値の時間的変化の情報１３６、ｐＮＮ５０（ＲＲ間隔が５０ミリ秒以上の心拍数）の時間的変化の情報１３７などが占められている。管理者は、バイタルセンシング画面１３１により、オペレータからのバイタル情報が正常に取得されていることを確認することができる。
　また、管理者は、メイン画面１０１（図１３参照）において、いずれかのオペレータを選択し、ユーザ情報ボタン１４０を押下することにより、図１７に示すようなユーザ感情推定画面１４１を表示させることができる。
　図１７に示すユーザ感情推定画面１４１では、ユーザの映像に基づくユーザの顔認識結果を示す画像１４２、ユーザの映像（顔画像）に基づくユーザの感情の評価値を示すグラフ１４３、及びユーザのオペレータとの会話時の音声に基づくユーザの感情の評価値を示すグラフ１４４が示されている。
　ユーザの感情の評価値を示すグラフ１４３には、公知の手法に基づき、ユーザの顔のパーツの配置（例えば、目、眉、鼻、口等）から算出されたユーザの怒り、悲しみ、驚き、喜びの４つ感情の度合いに関する推定値が示されており、これらの推定値を加算したものが、図１４及び図１５に示したユーザの感情の評価値に相当する。各感情については、所定の重み付けがされており、例えば、ユーザの怒りの度合いに関する推定値が大きい場合には、ユーザの感情の評価値が大きくなり、オペレータへのストレスへの影響が大きくなる傾向にある。
　なお、上記実施形態では、オペレータのバイタル情報を抽出し、ストレス状態判定を行ってストレス状態に関する情報を取得する例を示したが、キオスク端末１の正面カメラ１４で撮影されたオペレータが対応中のユーザの映像に基づくバイタル情報を更に取得し、ユーザのストレス状態に関する情報を管理サーバ３より取得できるようにして、ユーザのストレス状態を表示して確認することも可能である。
　以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
　本開示に係る双方向映像通信システム及びそのオペレータの管理方法は、システムのコストの増大を抑制しつつ、各オペレータのストレス状態を把握することを可能とする効果を有し、キオスク端末とオペレータ端末との間で、キオスク端末を操作するユーザの映像とオペレータ端末を操作するオペレータの映像とを双方向に通信する双方向映像通信システム及びそのオペレータの管理方法などとして有用である。
１　　：キオスク端末
２　　：オペレータ端末
３　　：管理サーバ
５　　：モニタ
１１　：筐体
１２　：正面モニタ（第１表示部）
１３　：手元モニタ
１４　：正面カメラ（第１カメラ）
１５　：手元カメラ
１６　：ＩＣカードリーダ
１７　：スピーカー
１８　：マイク
２１　：架台
２２　：第１モニタ（第２表示部）
２３　：第２モニタ
２４　：正面カメラ（第２カメラ）
２５　：手元カメラ
２６　：ヘッドセット
２７　：テーブル
２８　：スピーカー
２９　：マイク
３１　：制御部
３２　：通信部（第１通信部）
３３　：記憶部
３５　：画面制御部
３６　：感情情報生成部
３７　：音声制御部
３８　：音声変換部
４１　：制御部
４２　：通信部（第２通信部）
４３　：記憶部
４５　：画面制御部
４６　：バイタル情報生成部
４７　：音声認識部
４８　：対応時間算出部
５１　：操作ボタン
５２　：通話ボタン
５３　：操作ボタン
６１　：オペレータの正面映像
６２　：オペレータの手元映像
６３　：手元映像
７１　：操作ボタン
７２　：ユーザの正面映像
７３　：ユーザの手元映像
８１　：制御部
８２　：通信部
８３　：記憶部
８４　：モニタ
９１　：バイタル情報
９２　：ＩＤ番号
９３　：撮影時間
９４　：ＲＲＩ値
１０１：メイン画面
１０２：選択エリア
１０３：ストレス状態
１０４：会話内容
１０５：対応実績
１１０：統計情報１ボタン
１１１：第１の統計情報画面
１１２：閾値
１２０：統計情報２ボタン
１２１：第２の統計情報画面
１２２：第１の閾値
１２３：第２の閾値
１３０：バイタル情報ボタン
１３１：バイタルセンシング画面
１４０：ユーザ情報ボタン
１４１：ユーザ感情推定画面

Claims (11)

  1. 　ユーザが操作可能なキオスク端末と、オペレータが操作可能なオペレータ端末と、管理サーバとが互いに通信可能に接続され、前記キオスク端末と前記オペレータ端末との間で、前記キオスク端末を操作するユーザの映像と前記オペレータ端末を操作するオペレータの映像とを双方向に通信する双方向映像通信システムであって、
    　前記キオスク端末は、
    　ユーザを撮影する第１カメラと、この第１カメラにより撮影された前記ユーザの映像を前記オペレータ端末に送信し、前記オペレータ端末から送信される前記オペレータの映像を受信する第１通信部と、前記オペレータの映像を表示する第１表示部と、を有し、
    　前記オペレータ端末は、
    　オペレータを撮影する第２カメラと、この第２カメラにより撮影された前記オペレータの映像を前記キオスク端末に送信し、前記キオスク端末から送信された前記ユーザの映像を受信する第２通信部と、前記ユーザの映像を表示する第２表示部と、を有し、
    　前記管理サーバは、前記オペレータ端末を操作する各オペレータについて、少なくとも前記第２カメラにより撮影された前記オペレータの映像に基づくバイタル情報を取得することを特徴とする双方向映像通信システム。
  2. 　前記管理サーバは、前記オペレータ端末を操作する各オペレータについて、前記ユーザへの対応時間に関する情報を更に取得することを特徴とする請求項１に記載の双方向映像通信システム。
  3. 　前記管理サーバは、前記オペレータ端末を操作する各オペレータについて、前記バイタル情報に基づき推定された前記オペレータのストレス状態に関する情報を更に取得することを特徴とする請求項１または請求項２に記載の双方向映像通信システム。
  4. 　前記ストレス状態に関する情報には、前記オペレータのストレス状態の評価値と、前記ストレス状態の評価値に関して予め設定された閾値と、が含まれることを特徴とする請求項３に記載の双方向映像通信システム。
  5. 　前記管理サーバは、前記ユーザの映像に基づく前記ユーザの感情に関する情報を更に取得することを特徴とする請求項１から請求項４のいずれかに記載の双方向映像通信システム。
  6. 　前記管理サーバは、前記キオスク端末の前記第１カメラにより撮影された前記ユーザの映像に基づくバイタル情報を更に取得することを特徴とする請求項１から請求項５のいずれかに記載の双方向映像通信システム。
  7. 　前記管理サーバは、前記オペレータ端末を操作した複数のオペレータについて、前記ストレス状態に関する情報を同時に表示することを特徴とする請求項３または請求項４に記載の双方向映像通信システム。
  8. 　前記管理サーバは、前記バイタル情報に基づき推定された前記オペレータのストレス状態に関する情報および前記ユーザの映像に基づく前記ユーザの感情に関する情報を同時に表示することを特徴とする請求項５に記載の双方向映像通信システム。
  9. 　前記第２カメラは、前記オペレータの顔を撮影する正面カメラと、前記オペレータの手元を撮影する手元カメラと、を含み、
    　前記管理サーバは、前記正面カメラにより撮影された前記オペレータの映像に基づく前記バイタル情報を取得することを特徴とする請求項１から請求項８のいずれかに記載の双方向映像通信システム。
  10. 　前記バイタル情報には、脈波および心拍の少なくとも一方が含まれることを特徴とする請求項１から請求項９のいずれかに記載の双方向映像通信システム。
  11. 　ユーザが操作可能なキオスク端末と、オペレータが操作可能なオペレータ端末と、管理サーバとが互いに通信可能に接続され、前記キオスク端末と前記オペレータ端末との間で、前記キオスク端末を操作するユーザの映像と前記オペレータ端末を操作するオペレータの映像とを双方向に通信する双方向映像通信システムにおけるオペレータの管理方法であって、
    　前記オペレータ端末が、前記キオスク端末との双方向映像通信を行うための前記オペレータの映像を撮影し、
    　前記管理サーバが、前記オペレータ端末により撮影された前記オペレータの映像に基づくバイタル情報を取得することを特徴とするオペレータの管理方法。
PCT/JP2019/026526 2018-07-09 2019-07-03 双方向映像通信システム及びそのオペレータの管理方法 WO2020013060A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018129994A JP7153888B2 (ja) 2018-07-09 2018-07-09 双方向映像通信システム及びそのオペレータの管理方法
JP2018-129994 2018-07-09

Publications (1)

Publication Number Publication Date
WO2020013060A1 true WO2020013060A1 (ja) 2020-01-16

Family

ID=69142925

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/026526 WO2020013060A1 (ja) 2018-07-09 2019-07-03 双方向映像通信システム及びそのオペレータの管理方法

Country Status (2)

Country Link
JP (1) JP7153888B2 (ja)
WO (1) WO2020013060A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021200189A1 (ja) * 2020-03-31 2021-10-07 ソニーグループ株式会社 情報処理装置、および情報処理方法、並びにプログラム
WO2022180854A1 (ja) * 2021-02-26 2022-09-01 株式会社I’mbesideyou ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7179384B1 (ja) 2021-12-07 2022-11-29 株式会社Abelon サーバ、情報処理方法、およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009533998A (ja) * 2006-04-17 2009-09-17 シティバンク エヌ． エイ． ビデオ通信のための方法ならびにシステム
JP2009294647A (ja) * 2008-05-09 2009-12-17 Agi:Kk 行動分析装置及びコールセンターシステム
JP2012195863A (ja) * 2011-03-17 2012-10-11 Oki Networks Co Ltd コールセンタシステム、コールセンタサーバ及びコールセンタプログラム、並びに、自動着信呼分配装置
JP2016529422A (ja) * 2013-08-12 2016-09-23 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ルーム編制システム
JP2018010608A (ja) * 2016-07-13 2018-01-18 横河電機株式会社 制御システム用のコンテキストベースのオペレータ支援の方法およびシステム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4703516B2 (ja) * 2006-08-29 2011-06-15 株式会社富士通エフサス コールセンタにおけるオペレータ管理システム及びコールセンタにおけるオペレータ管理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009533998A (ja) * 2006-04-17 2009-09-17 シティバンク エヌ． エイ． ビデオ通信のための方法ならびにシステム
JP2009294647A (ja) * 2008-05-09 2009-12-17 Agi:Kk 行動分析装置及びコールセンターシステム
JP2012195863A (ja) * 2011-03-17 2012-10-11 Oki Networks Co Ltd コールセンタシステム、コールセンタサーバ及びコールセンタプログラム、並びに、自動着信呼分配装置
JP2016529422A (ja) * 2013-08-12 2016-09-23 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ルーム編制システム
JP2018010608A (ja) * 2016-07-13 2018-01-18 横河電機株式会社 制御システム用のコンテキストベースのオペレータ支援の方法およびシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021200189A1 (ja) * 2020-03-31 2021-10-07 ソニーグループ株式会社 情報処理装置、および情報処理方法、並びにプログラム
WO2022180854A1 (ja) * 2021-02-26 2022-09-01 株式会社I’mbesideyou ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム

Also Published As

Publication number Publication date
JP7153888B2 (ja) 2022-10-17
JP2020009177A (ja) 2020-01-16

Similar Documents

Publication Publication Date Title
WO2020013060A1 (ja) 双方向映像通信システム及びそのオペレータの管理方法
CN107944378A (zh) 一种自助服务的身份识别方法及自助服务系统
US20200413009A1 (en) Bidirectional video communication system and kiosk terminal
JP2004129071A (ja) 双方向コミュニケーションシステム
CN107918726A (zh) 距离感应方法、设备及存储介质
CN110765851A (zh) 一种注册方法及装置、设备
JP5088463B2 (ja) 監視システム
CN111240471B (zh) 信息交互方法及穿戴式设备
JP7206741B2 (ja) 健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラム
JP6517480B2 (ja) 接客管理システム、顧客端末、サーバー装置、接客管理方法、及び接客方法
JP6473531B1 (ja) 顔認証技術による自動割り勘決済システム
JP7400886B2 (ja) ビデオ会議システム、ビデオ会議方法、およびプログラム
US20200404212A1 (en) Bidirectional video communication system and operator terminal
JP5468859B2 (ja) インターホンシステム
CN114363547A (zh) 一种双录装置、双录交互控制方法
TWI818035B (zh) 對講機門站、對講機系統、控制方法及程式
KR101189913B1 (ko) 고객 관리 방법 및 장치
JP2005269207A (ja) 情報伝達方法及びこの方法を実現するための通信装置とそのプログラム
JP2010122881A (ja) 端末装置
KR20170064730A (ko) Vr 기기를 활용한 가상 고객 서비스 방법 및 시스템
TWI750922B (zh) 用於會客導引的人臉辨識系統及方法
JP6955067B1 (ja) 表示制御装置、表示制御方法及び表示制御プログラム
JP5277235B2 (ja) 情報処理端末およびプログラム
JP6932120B2 (ja) 通知装置及び通知方法
JP7457496B2 (ja) データ管理装置、データ管理方法およびデータ管理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19834549

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19834549

Country of ref document: EP

Kind code of ref document: A1