WO2020073656A1 - 人机交互方法、系统、计算机设备及存储介质 - Google Patents

人机交互方法、系统、计算机设备及存储介质 Download PDF

Info

Publication number
WO2020073656A1
WO2020073656A1 PCT/CN2019/088235 CN2019088235W WO2020073656A1 WO 2020073656 A1 WO2020073656 A1 WO 2020073656A1 CN 2019088235 W CN2019088235 W CN 2019088235W WO 2020073656 A1 WO2020073656 A1 WO 2020073656A1
Authority
WO
WIPO (PCT)
Prior art keywords
request information
central server
information
user
target request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/088235
Other languages
English (en)
French (fr)
Inventor
陈林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to JP2021506544A priority Critical patent/JP7061228B2/ja
Priority to SG11202100936UA priority patent/SG11202100936UA/en
Publication of WO2020073656A1 publication Critical patent/WO2020073656A1/zh
Priority to US17/167,466 priority patent/US11842574B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques

Definitions

  • the present application relates to the field of information processing, and in particular, to a human-computer interaction method, system, computer device, and storage medium.
  • the conference venue is the main place for people to socialize, meet and communicate, and entertain, and the scene layout, theme layout, lighting and sound effects of the conference venue are an important factor to enhance the experience of participants.
  • the layout of new product launches for technology products such as tablets, mobile phones, VR glasses, etc. mainly reflects modern technological elements; the layout of various exhibitions such as World Expo, Auto Expo, Cultural Fair, Tea Fair, etc.
  • the major layout elements are determined by the theme of the exhibition, and each manufacturer and exhibitor personally customizes their own booth; in large banquets, press conferences, conferences and other occasions, what interactive communication methods do participants use, such as the moderator and Participants' questions and answers, event draws, interactive games, etc.
  • the diversion charts are generally displayed through electronic bulletin boards or electronic screens, and additional staff are used to guide and guide the participants.
  • the method is too old and not smart and flexible. Many staff members are required to participate; at the same time, the interaction between the organizer and the audience in the venue is too primitive, such as statistical check-in, event lottery, Q & A, etc.
  • electronic devices can only passively display information and cannot interact with participants The level of intelligence in this human-computer interaction is relatively low
  • Embodiments of the present application provide a human-computer interaction method, system, computer equipment, and storage medium, to solve the problem of low level of human-computer interaction in a large conference venue.
  • a human-computer interaction method includes:
  • the interactive terminal collects user request information, where the user request information includes biological sample information; [0010] The interactive terminal pre-processes the user request information, and sends the target request information obtained after the pre-processing to the central server, where the pre-processing includes filtering the organisms that do not meet the preset feature extraction conditions Sample information;
  • the central server assigns a biometric task to the target request information, saves the target request information to a storage platform, and distributes the biometric task to the computing server;
  • the computing server obtains target request information corresponding to the biometric task from the storage platform according to the biometric task, and performs biometric extraction on the acquired target request information to obtain The extraction result is returned to the center server;
  • the central server combines the extracted results to obtain user behavior data, and matches the user behavior data with user behavior characteristics preset in the storage platform, and generates processing result information according to the matching results;
  • the central server returns the processing result information to the interactive terminal
  • the interactive terminal reads and executes an instruction set from a preset configuration file according to the processing result information, where the instruction set is used to complete human-machine interaction with the user.
  • a human-computer interaction system includes: an interaction terminal, a central server, and a computing server, wherein the interactive terminal, the central server, and the computing server are connected through a network;
  • the interactive terminal is used to collect user request information, wherein the user request information includes biological sample information; and is also used to preprocess the user request information, and the target request information obtained after the preprocessing Sent to the center server, where the preprocessing includes filtering the biological sample information that does not meet the preset feature extraction conditions;
  • the central server is used to allocate a biometric task to the target request information, save the target request information to a storage platform, and distribute the biometric task to the computing server;
  • the computing server is configured to obtain target request information corresponding to the biometric task from the storage platform according to the biometric task, and perform biological feature extraction on the acquired target request information , Returning the obtained extraction result to the center server;
  • the central server is also used to combine the extracted results to obtain user behavior data, and match the user behavior data with the preset user behavior characteristics in the storage platform, and generate according to the matching result Processing result information; returning the processing result information to the interactive end; [0021]
  • the interaction terminal is further configured to read and execute an instruction set from a preset configuration file according to the processing result information, where the instruction set is used to complete human-machine interaction with the user.
  • a computer device includes a memory, a processor, and computer-readable instructions stored in the memory and executable on the processor, and the processor implements the computer-readable instructions to implement the above-mentioned person The steps of the machine interaction method.
  • a computer-readable storage medium that stores computer-readable instructions that when executed by a processor implements the steps of the human-computer interaction method described above.
  • One or more non-volatile readable storage media storing computer readable instructions, when the computer readable instructions are executed by one or more processors, causing the one or more processors to execute the above The steps of the human-computer interaction method.
  • FIG. 1 is a schematic diagram of an application environment of a human-computer interaction method in an embodiment of the present application
  • FIG. 2 is a flowchart of a human-computer interaction method in an embodiment of the present application.
  • FIG. 3 is a flowchart of step S3 in the human-computer interaction method in an embodiment of the present application.
  • FIG. 4 is a flowchart of step S32 in the human-computer interaction method in an embodiment of the present application.
  • FIG. 5 is a flowchart of a human-computer interaction method after step S711 in a human-computer interaction method in an embodiment of the present application
  • FIG. 6 is a schematic diagram of a human-computer interaction system in an embodiment of the present application.
  • FIG. 7 is a schematic diagram of a computer device in an embodiment of the present application.
  • the human-computer interaction method provided in the present application can be applied in an application environment as shown in FIG. 1, wherein the interaction end may be a computer terminal device for implementing interaction with the user, and displaying information to the user through an interface or projection, Prompt sound to the user through the audio device; the way the interactive terminal interacts with the user includes but is not limited to the response to face recognition, the response to voice recognition, and the user's response to input devices such as touch screen;
  • the server cluster as the center of the human-computer interaction system, coordinates the interaction terminal, the computing server, and the storage platform to work together;
  • the computing server can be a server or server cluster for feature extraction of biological sample information;
  • the storage platform can be a database or A distributed database is used to store the user's biological sample information and the user's biological characteristics information;
  • the interaction terminal, the central server, the computing server and the storage platform are connected through a network, and the network may be a wired network or a wireless network.
  • a human-computer interaction method is provided, and its implementation process includes the following steps:
  • S1 The interactive terminal collects user request information, where the user request information includes biological sample information.
  • the user request information is information input by the user through the interactive terminal, including biological sample information and non-biological sample information, where the biological sample information includes the user's face information and the user's voice information, and the non-biological sample information includes but is not limited to User's identity information.
  • the interactive terminal is equipped with an input device for collecting information requested by the user, such as a camera, a recording device, and a touch screen.
  • the interactive terminal collects the user's face image through the camera.
  • the supported picture formats include but are not limited to BMP, PNG, JPG, etc .; the user's voice is collected through the recording device, which is not limited to the microphone, and also includes the sampling quantization module and audio encoding Module; Collect the character information input by the user's handwriting through the touch screen, or respond to the user's input.
  • the interactive end may also include a display screen or a projection device for displaying information.
  • the interactive terminal may be in two working modes: a registration mode and an interactive mode, that is, the process of user interaction with the interactive terminal is divided into two stages, a user information registration stage and a human-computer interaction stage.
  • the registration mode the interactive terminal is used to collect user request information and pre-check the user request information Processing;
  • the central server distributes processing tasks, and the computing server is responsible for feature extraction.
  • the central server In the interactive mode, in addition to completing the interaction process in the registration mode between the interactive terminal, the central server, and the computing server, the central server also computes services.
  • the user's current feature information obtained through feature extraction at the terminal is compared with the user feature information extracted under the registration mode, so as to respond to user behavior and achieve the purpose of human-computer interaction.
  • the interactive terminal is pre-installed with a mode switch that sets its working mode.
  • the mode switch may be a hardware switch or controlled by software. Through the mode switch, the interactive terminal can send the current working mode to the central server, so that the central server can synchronize the current working mode.
  • the working process of interaction between the interactive terminal and the user includes the following contents (1) to (3), which are described in detail as follows:
  • the interactive terminal collects face information through the camera:
  • the user's face is aligned with the camera for 3 seconds, and the interactive terminal prompts the camera to complete the photo with a prompt sound.
  • the user can also operate by himself. For example, when the user's face is aligned with the camera, the user can touch through the interactive UI interface on the display screen, and click to take a picture to complete.
  • the interactive terminal collects the user's voice information through the recording device:
  • sampling and quantization module at the interactive end samples and quantizes the sound.
  • Sampling is to read the amplitude of the sound signal every certain time, and the corresponding parameter is the sampling frequency; quantization is to convert the amplitude of the sound signal obtained by sampling to a digital value, and the corresponding parameter is the number of sampling bits.
  • Sampling is digitization in time, and quantization is digitization in amplitude.
  • the sampling frequency according to the Nyquist sampling theory, the sampling frequency is higher than twice the highest frequency of the input signal, and the normal human hearing frequency is 20 ⁇ 20KHZ, so the preferred sampling frequency is 40kHZ by default.
  • sampling The frequency rate is also 44.1kHz, 48kHz, etc.
  • For the number of sampling bits it determines the dynamic range after the analog signal is digitized. Other commonly used 8-bit and 16-bit.
  • the number of sampling bits is 12 bits.
  • the audio encoding module encodes the sampled and quantized data, in order to ensure that the sound is collected without loss True, preferably, the interactive end uses PCM (Pulse Code Modulation, pulse code modulation) encoding, which refers to a binary sequence that is directly formed by analog audio signals after sampling and analog-to-digital conversion, without any encoding and compression processing.
  • PCM Pulse Code Modulation, pulse code modulation
  • the interactive terminal saves the encoded voice information as a WAV format file.
  • the interactive terminal collects the character information through the touch screen:
  • Character-type information is mainly various information input by the user through the touch screen, such as name, job number, seat number, contact phone number, e-mail, and the like.
  • the interactive UI interface on the display screen can receive user information input in the form of a Web page. The user enters the information into the form on the interactive interface and submits it.
  • the interactive terminal can check the legality of the information entered by the user, and directly filter on the interactive terminal to avoid sending error information to the central server. Among them, legitimacy refers to whether the information entered by the user meets the basic requirements, such as the input of names, the number of characters cannot exceed 10; the contact phone can only enter numbers, not letters; the email address must carry a "@ "Characters and so on.
  • the interactive end stores the information input by the user in the form of key-value pairs, preferably in a JSON format file.
  • the interactive terminal sends the collected user request information to the central server through a socket channel. There is a receiving end corresponding to the socket channel on the central server for receiving.
  • S2 The interactive terminal preprocesses the user request information, and sends the target request information obtained after the preprocessing to the central server, where the preprocessing includes filtering biological sample information that does not meet the preset feature extraction conditions.
  • the interactive terminal pre-processes the user request information.
  • the pre-processing is mainly to filter the biological sample information that does not meet the preset feature extraction conditions, to avoid sending it to the central server, thereby reducing the processing load on the computing server.
  • the pre-processing includes judging the color value of the face picture, judging the size of the voice information, and integrating user request information, etc.
  • judging the color value of the face picture includes filtering out pictures whose colors are too dark or too bright.
  • Integrating user request information refers to assigning user identifiers to different user information, and combining face image information and voice information corresponding to the user [0059]
  • the preset feature extraction conditions are for biological sample information, and the face picture information includes, but is not limited to, the contrast of the picture, the distribution of pixel values, and the like.
  • the image of the whole face with black pixels (RGB values of 0, 0, 0) exceeding 80% is regarded as an unrecognizable image; white pixels (RGB values of 255, 255, 255) More than 80% of the pictures are also regarded as difficult to recognize pictures; the proportion of 1J all black or all white pixels is 80% is regarded as the preset threshold.
  • voice information including the size of the voice file.
  • the preset threshold of the size of the voice file is 1MB, that is, if the size of the voice information file encoded at the interactive end exceeds 1MB, the voice file is determined to be illegally input voice information.
  • the interactive terminal can read the image file through the image method of Image10, and obtain the RGB value of each pixel, and accordingly the preset threshold For comparison, filter the face image with all white or all black pixel values exceeding the threshold.
  • the size of the voice file can be calculated according to the following formula:
  • the sampling frequency is 44.1 kHz
  • the sampling bit number is 16 bits
  • the number of channels is 2
  • the time is 3 seconds
  • the size of the WAV file is about 0.5MB, which is less than If the preset threshold is 1MB, the voice file meets the preset feature extraction conditions.
  • the interactive end For integrating user request information, the interactive end assigns a unique user identifier to the user, and at the same time adds the user ’s face picture, voice file, and character-type information entered by the user to an array, and adds one in front of the array
  • the user ID is used as the start of the segment information, and the user ID and the character string "End" are added at the end of the array as the end of the segment information, thereby obtaining the target request information.
  • the interactive terminal sends the target request information obtained after preprocessing to the central server through the socket channel.
  • the interactive terminal defines different sockets for the collected face picture information, voice information, and character information, respectively.
  • face information is sent by socket1
  • voice information is sent by socket2
  • character information is sent by socket3.
  • S3 The central server assigns biometric tasks to the target request information, saves the target request information to the storage platform, and distributes the biometric tasks to the computing server.
  • the biometric recognition task refers to the calculation server processing the face pictures and voice files in the current request information. Among them, the process includes feature extraction of biological sample information.
  • the storage platform is used to store biological sample information, biological feature information, and various preset information related to human-computer interaction.
  • the storage platform consists of a database or a distributed database, including but not limited to various relational and non-relational databases, such as MS-SQL, Oracle, MySQL, Sybase, DB2, Redis, MongodDB, Hbase, etc.
  • biometric tasks can be assigned to different computing servers for execution, and each computing server is used to perform one type of biometric task.
  • the biometric recognition task can be subdivided into a face recognition task and a voice recognition task, and the computing server can also be divided into a face recognition computing server that specializes in face recognition tasks and a voice recognition task.
  • the speech recognition calculation server where the biometric tasks related to face recognition are performed by the face recognition calculation server; the biometric tasks related to voice recognition are performed by the speech recognition calculation server.
  • the central server distributes different biometric tasks to different computing servers for execution, and saves the target request information to the storage platform.
  • the central server extracts the face pictures and voice files in the target request information, respectively allocates a storage path on the storage platform, and sends the storage path to the computing server; at the same time, other targets The requested information is saved to the storage platform.
  • the user ID of a user is 0001
  • the storage path of the face image on the storage platform is “/ User / 0001 / image /”
  • the storage path of the voice file on the storage platform is “/ User / 0001 / audio / ”
  • the central server sends the storage path to the face recognition computing server and the voice recognition computing server respectively, and at the same time, the central server stores the face image to the storage platform path“ / User / OOOl / image / ""; Store the voice file to the path "/ User / 0001 / audio /" stored in the storage platform; store other user request information, such as user identity information, in the database of the storage platform.
  • S4 The computing server obtains the target request information corresponding to the biometric task from the storage platform according to the biometric task, and performs biometric feature extraction on the obtained target request information, and returns the obtained extraction result to the center server .
  • the computing server includes a face recognition computing server and a voice recognition computing server.
  • the face recognition computing server implements extraction of facial feature values
  • the voice recognition computing server implements voice information feature values. Extract.
  • the face recognition calculation server acquires a face image from the storage path on the storage platform according to the storage path sent by the central server, such as “/ User / 0001 / image /”, and performs the face Feature extraction;
  • the voice recognition computing server obtains voice files from the storage path on the storage platform according to the storage path sent by the central server, such as "/ User / OOOl / audio /", and extracts voiceprint features.
  • the voiceprint (Voiceprint), is the sound wave spectrum carrying the speech information displayed by the electroacoustic instrument, is a kind of biometric technology
  • the obtained results include the user's face feature value and the user's voiceprint feature value.
  • the calculation server saves the user's face feature value and user's voiceprint feature value to the storage platform, and returns the extraction result to the central server.
  • the extraction result includes the state value of extraction completion or failure, and the facial feature value and voiceprint feature value.
  • the facial feature value in the extraction result is replaced by the storage path of the facial feature value on the storage platform, and the voiceprint feature value in the extraction result is replaced by the storage path of the voiceprint feature value on the storage platform.
  • the user ID of a user is 0001
  • the storage path of its face feature value is "/ User / 0001 / img_func /”
  • the storage path of its voiceprint feature value is "/ Us er / 0001 / aud_f unc /” .
  • S5 The central server combines the extracted results to obtain user behavior data, matches the user behavior data with user behavior characteristics preset in the storage platform, and generates processing result information according to the matching results.
  • the user behavior feature is an abstraction made for the meaning of a certain behavior action of the user.
  • User behavior features can be expressed as a set of data sets, including facial feature values, or facial expression feature values, or voice feature values, etc.
  • the meaning of this set of data sets can be expressed for certain user needs, for example, users pass The voice asks the interactive terminal to query the conference profile; the user needs to confirm the interactive interaction through the expression.
  • the preset user behavior characteristics can be divided into user query behavior, user confirmation behavior, user denial behavior, user autonomous expression behavior, and the like.
  • User behavior data is a data set obtained by the central server combining the extraction results of the computing server
  • the central server matches the user behavior data with the user behavior characteristics preset in the storage platform to understand the user's needs and generate corresponding response processing result information.
  • the processing result information is information used by the central server to instruct the interactive terminal to respond. [0082] Specifically, the central server combines the extraction results sent by the computing server to obtain an array of user behavior data, and matches the preset array of user behavior characteristics in the storage platform. If the matching result is consistent, the meaning representation of the user's current behavior is determined, and processing result information instructing the interactive end to make a corresponding response is generated.
  • S6 The central server returns the processing result information to the interactive terminal.
  • the central server When receiving the target request information sent by the interactive terminal, the central server performs buffer processing on the identification information of each interactive terminal and the target request information, so as to return the processing result information.
  • the central server when receiving the target request information sent by the interactive terminal, saves the identification information corresponding to the interactive terminal and the identification information corresponding to the target request information in a temporary variable.
  • the central server obtains the identification information of the interactive terminal and the identification information corresponding to the target request information from the temporary variables, creates a socket channel, and sends it to the interactive terminal.
  • the identification information of the interactive terminal is used to identify a unique interactive terminal, and the identification information corresponding to the target request information is used to uniquely identify only one user.
  • S7 The interactive terminal reads and executes the instruction set from the local preset configuration file according to the processing result information, where
  • the instruction set is used to complete the human-computer interaction with the user.
  • the local preset configuration file is stored locally on the interactive terminal, and is used to allow the interactive terminal to execute a set of instructions related to human-computer interaction.
  • the instruction set A is used to display information to the user, such as the meeting summary, the introduction of the participants, etc., it can make the display screen of the interactive terminal display related information, or display it to other locations through projection;
  • the instruction set B is It is used to prompt the user to perform the next operation, such as asking the user during the interaction, or waiting for the user's input.
  • interactive terminal A can be fixed at the entrance of the conference site for information guidance
  • interactive terminal B can move in the conference site to interact with users.
  • the instruction set of the interactive terminal A to execute the query may be different from the instruction set of the interactive terminal B to execute the query.
  • the action when the interactive terminal waits for user input the corresponding command value is 0x0001; the action when the interactive terminal displays information by projection, the corresponding command value is 0x0002; the interactive terminal sends and receives the user touch screen through the display screen
  • the action during input, the corresponding command value is 0x0003; then the interactive end will
  • the set of instructions used to respond to user queries in a coherent manner is ⁇ 0x0001, 0x0002, 0x0003
  • the interactive terminal is responsible for collecting user request information and providing a human-machine interactive interface, preprocessing and filtering the user request information, and sending the preprocessed target request information to the central server, as the center
  • the server shares the processing pressure;
  • the central server serves as the center of the human-computer interaction system, assigns biometric tasks to the interaction, schedules the computing server to perform specific computing tasks, saves the target request information to the storage platform, and coordinates the interactive terminal and computing server
  • the computing server is responsible for performing biometric tasks, extracting biometric information, and returning the extraction results to the central server;
  • the central server combines the extraction results sent by the server and integrates with the storage platform Match the preset user behavior characteristics to obtain the processing result information, and then send the processing result information to the interactive terminal;
  • the interactive terminal executes the instruction set according to the processing result information to complete the human-machine interaction with the user; provides a biometric recognition Technology-based human-machine intelligent interaction In this way, the intelligent level of human-computer
  • the interactive terminal preprocesses the user request information, and sends the target request information obtained after the preprocessing to the central server, where the preprocessing includes filtering
  • the human-computer interaction method further includes the following steps:
  • the interactive terminal For the biological sample information that does not meet the predetermined feature extraction condition, the interactive terminal sends an information collection abnormal message to the user, and re-collects the biological sample information.
  • the information collection abnormal message is to remind the user that the current operation is wrong, and prompt the user to perform the next operation. Information collection abnormal messages can be reminded to the user through the UI interface of the display screen, voice prompts, etc.
  • the interactive terminal may send information collection to the user in the form of a graphic image or sound through a display screen or an audio device for biological sample information that does not meet the feature extraction conditions
  • the abnormal message prompts the user to perform the next operation, so that the interactive terminal can collect face picture information or voice information again.
  • the interactive terminal promptly sends an information collection abnormal message to the user, and re-collects the biological sample information.
  • the system saves Cost and time cost.
  • step S3 that is, the central server is the target To request information to allocate biometric tasks, and save the target request information to the storage platform, and distribute the biometric tasks to the computing server, specifically including the following steps:
  • S31 The central server caches the received target request information in a pre-established storage queue.
  • the storage queue is used to cache the target request information of the interactive end, so that the central server can respond to the interactive end request in a timely manner while ensuring system stability.
  • the central server establishes two arrays in advance as storage queues, one for caching face pictures and one for caching voice files.
  • S32 If the length of the storage queue reaches a preset threshold, the central server starts a processing thread, where the processing thread is used to save the target request information to the storage platform, and assign a biometrics task to the target request information The identification task is distributed to the computing server.
  • the preset threshold is determined according to the hardware host memory of the central server. In order to ensure the normal operation of the central server, preferably, the amount of memory occupied by each cache queue is preset to 15% of the total memory capacity.
  • the processing thread is used to save the target request information to the storage platform, and assign a biometric task to the target request information, and distribute the biometric task to the computing server.
  • the processing thread first detects the value of each cache queue, if a queue is empty, the thread is not started for the queue; if the queue is not empty, the thread is started for the queue. If the cache queue of the face image is not empty, a thread for facial feature extraction task is started, which is used to save the facial image to the storage platform and distribute the facial feature extraction task to the computing server; if the voice file is If the cache queue is not empty, a voice feature extraction task thread is started. The thread is used to save the voice file to the storage platform and distribute the voiceprint feature extraction task to the computing server.
  • the central server establishes cache teams for face pictures and voice files with large data volume to relieve the processing pressure of the central server, so that the central server can respond to requests from the interactive terminal in a timely manner While ensuring system stability.
  • step S32 that is, if the length of the storage queue reaches a preset threshold, the central server starts a processing thread, where the processing thread is used to target the request
  • the information is saved to the storage platform, and a biometric task is assigned to the target request information, and the biometric task is distributed to the computing server.
  • the specific steps include the following steps:
  • a thread pool is a collection of threads. The system frequently creates and destroys threads in a short time, which will increase system overhead and increase system burden. Using thread pools can reduce this system overhead.
  • the central server creates a thread pool, and maintains that the threads in the thread pool are not destroyed after processing the executed task, and continues to execute the next task.
  • the thread pool size represents the maximum number of threads in the thread pool.
  • the size of the thread pool can be determined by the number of local CPU cores. If the central server is a 32-core CPU, the size of the thread pool is 32.
  • the central server can call the ThreadPoolExecutor class to create a thread pool, and then as long as the threads in the thread pool are not in a busy state, the central server can sequentially take out threads from the thread pool according to the cycle. When the threads in the thread pool are fully busy, it means that the response capacity of the central server has reached the upper limit, and the central server will return a message to inform the interactive terminal to try again later.
  • S322 The central server calls the thread to save the target request information to the storage platform, and distributes the biometric task to the computing server.
  • the work done by the thread called by the central server from the thread pool is the same as the work done by the single thread in step S32, saves the face image to the storage platform, and distributes the face feature extraction task to the computing server ; Save the voice file to the storage platform, and distribute the voiceprint feature extraction task to the computing server.
  • the central server sets the thread pool to save the target request information to the storage platform, and the task of distributing the biometric task becomes a multi-threaded working mode, which improves the system work efficiency.
  • the interactive terminal reads and executes an instruction set from a local preset configuration file according to the processing result information, where the instruction set is used to complete human-machine interaction with the user, It also includes the following steps:
  • the cloud preset configuration file is stored in the central server.
  • the interactive end can be downloaded and executed from the central server.
  • the interactive terminal can read and execute the instruction set from the central server.
  • the interactive terminal queries the corresponding instruction set from the local preset configuration file according to the processing result information, If the query fails from the local preset configuration file, the interactive terminal uses the identification information of the processing result information as the retrieval condition, and sends an instruction set read request to the central server through the network; if the corresponding instruction set is matched from the central server , Then read and execute the instruction set.
  • the instruction set can be read and executed not only from the local configuration file of the interactive terminal, but also from the central server, so that the interactive terminal can read and execute instructions from multiple places Set, expands the ability of the interactive terminal to respond to user requests.
  • step S71 that is, if the interactive terminal fails to read the instruction set from the local preset configuration file, the interactive terminal reads and executes the cloud preset configuration file from the central server
  • the instruction set in, specifically includes the following steps:
  • the interactive terminal sends an alarm message to the user.
  • the interactive terminal sends a warning message to the user, and the warning message is used to inform the user why the user cannot perform the current operation. For example, the user's speech is unclear, the semantics cannot be recognized, and the correct response cannot be made.
  • the interactive end may send a warning message to the user in the form of a graphic image or sound through a display screen or an audio device. If the UI interface is displayed on the display screen, the user is informed that the behavior cannot be correctly identified, and the user is required to perform the operation again.
  • the interactive end informs the user of the reason for the failure of the execution of the processing result information, perfects the process of human-computer interaction, and does not miss the system response dead zone.
  • step S711 that is, if the interactive terminal fails to read or execute the instruction set in the cloud preset configuration file from the central server
  • the interactive terminal After sending an alarm message to the user, the human-computer interaction method also includes the following steps:
  • S712 The interactive end sends an instruction set read failure message to the central server.
  • the interactive end There are positioning devices on the interactive end, such as Beidou, GPS, AGPS, etc. In a large conference venue, there may be several interactive terminals, each of which is in a different position, and some may be far apart. If the interactive terminal fails to read the instruction set from the preset configuration file, and the interactive terminal fails to read or execute the instruction set from the central server, the interactive terminal sends an instruction set reading failure message to the central server. Wherein, the instruction set read failure message includes the positioning information of the interaction terminal itself and the identification of the processing result information.
  • the interactive end adds its own physical location information to the instruction set reading failure message through the positioning device, and at the same time, adds the identification number corresponding to the processing result message that cannot be executed correctly to the instruction set reading failure
  • the message is sent to the central server through the socket.
  • S713 The central server reads the failure message according to the instruction set, and locates the physical location of the interactive terminal, so as to prompt a user that needs manual assistance.
  • the central server parses the instruction set read failure message to obtain the physical location of the interactive terminal and the identification number corresponding to the processing result message.
  • the physical location of the interactive end is used for positioning
  • the identifier corresponding to the processing result message corresponds to the user behavior data, which can be used to trace which behavior the user has performed and cannot be identified.
  • the interactive terminal sends its own identification information to the central server, so that the central server can locate the location of the interactive terminal, so as to guide the staff to help the user solve the problems encountered in the operation. Quickly and accurately locate problems in human-computer interaction, supplemented by human assistance.
  • a human-machine interaction system is provided, and the human-machine interaction system corresponds one-to-one to the human-machine interaction method in the foregoing embodiment.
  • the human-computer interaction system includes an interaction terminal 61, a central server 62, and a computing server 63.
  • the detailed description of each functional module is as follows:
  • the interactive terminal 61 is configured to collect user request information, where the user request information includes biological sample information; preprocess the user request information, and send the target request information obtained after the preprocessing to the central server, where, Pre-processing includes filtering biological sample information that does not meet the predetermined feature extraction conditions;
  • the central server 62 is used to allocate a biometric task to target request information, save the target request information to a storage platform, and distribute the biometric task to the computing server;
  • Computing server 63 used to obtain target request information corresponding to the biometric task from the storage platform according to the biometric task, and perform biometric extraction on the obtained target request information, and return the obtained extraction result to the center Server;
  • the central server 63 is also used to combine the extracted results to obtain user behavior data, and match the user behavior data with the user behavior characteristics preset in the storage platform, and generate processing result information according to the matching results; The information is returned to the interactive end;
  • the interaction terminal 61 is further configured to read and execute an instruction set from a preset configuration file according to the processing result information, where the instruction set is used to complete human-machine interaction with the user.
  • the interaction terminal 61 includes a re-sampling module, the re-sampling module is used to send out an abnormal information collection message to the user for biological sample information that does not meet the predetermined feature extraction conditions, and re-collect biological sample information;
  • the central server 62 includes a cache module, the cache module is used to cache the received target request information into a pre-established storage queue; if the length of the storage queue reaches a preset threshold, start a processing thread, , The processing thread is used to save the target request information to the storage platform, and assign a biometric task to the target request information, and distribute the biometric task to the computing server;
  • the central server 62 further includes a thread scheduling module, the thread scheduling module is used to remove the thread from the preset thread pool if the length of the storage queue reaches a preset threshold; the calling thread saves the target request information to the storage Platform, and distribute biometric tasks to the computing server;
  • the interactive terminal 61 further includes an instruction set acquisition module, the instruction set acquisition module is used to read and execute from the central server if the interactive terminal fails to read the instruction set from the local preset configuration file The instruction set in the cloud preset configuration file;
  • the interactive terminal 61 further includes a first alarm module, the first alarm module is configured to send an alarm message to the user if the instruction set in the cloud preset configuration file fails to be read or executed from the central server;
  • the interactive terminal 61 further includes a second alarm module, the second alarm module is used to send a command set read failure message to the central server;
  • the central server 62 further includes an auxiliary module, the auxiliary module is used to read the failure message according to the instruction set, and locate the physical location of the interactive terminal, so as to prompt a user to require manual assistance.
  • Each module in the above human-computer interaction system may be implemented in whole or in part by software, hardware, and combinations thereof.
  • the above-mentioned modules may be embedded in the hardware form or independent of the processor in the computer device, or may be stored in the memory in the computer device in the form of software, so that the processor can call and execute the operations corresponding to the above modules.
  • a computer device may be a server, and an internal structure diagram thereof may be as shown in FIG. 7.
  • the computer device includes a processor, memory, network interface, and database connected by a system bus. Among them, the processor of the computer device is used to provide computing and control capabilities.
  • the memory of the computer device includes a non-volatile storage medium and internal memory.
  • the non-volatile memory stores an operating system, computer-readable instructions, and a database.
  • the internal memory provides an environment for the operation of the operating system and computer-readable instructions in the non-volatile storage medium.
  • the network interface of the computer device is used to communicate with external terminals through a network connection.
  • the computer readable instructions are executed by the processor to implement a method of human-computer interaction.
  • a computer device including a memory, a processor, and computer-readable instructions stored on the memory and executable on the processor, and the processor implements the computer-readable instructions to implement the foregoing implementation
  • the steps of the human-computer interaction method are, for example, steps S1 to S7 shown in FIG. 2.
  • one or more non-volatile readable storage media storing computer-readable instructions are provided, and when the computer-readable instructions are executed by one or more processors, the person in the above method embodiment is implemented.
  • Non-volatile memory can include read-only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), or flash memory.
  • Volatile memory can include random access memory (RAM) or external cache memory.
  • RAM is available in many forms, such as static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), double data rate SDRAM (DDRSDRAM), enhanced SDRAM (ESDRAM), synchronous chain (Synchlink) DRAM (SLDRAM), memory bus (Rambus) direct RAM (RDRAM), direct memory bus dynamic RAM (DRDR AM), and memory bus dynamic RAM (RDRAM), etc.
  • SRAM static RAM
  • DRAM dynamic RAM
  • SDRAM synchronous DRAM
  • DDRSDRAM double data rate SDRAM
  • ESDRAM enhanced SDRAM
  • SLDRAM synchronous chain (Synchlink) DRAM
  • SLDRAM synchronous chain (Synchlink) DRAM
  • Rambus direct RAM
  • DRDR AM direct memory bus dynamic RAM
  • RDRAM memory bus dynamic RAM

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Security & Cryptography (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种人机交互方法、系统、计算机设备及存储介质，所述方法包括：交互端采集包括生物样本信息在内的用户信息并对用户信息进行预处理和过滤，并将预处理后的信息发送到中心服务端；中心服务端分配生物识别任务，将生物识别任务分发给计算服务端；计算服务端根据生物识别任务，对生物样本信息进行生物特征提取，将得到的提取结果返回给中心服务端；中心服务端对提取结果进行组合处理得到处理结果；将处理结果返回给交互端；交互端对处理结果进行响应，以完成与用户的人机互动。上述方法对用户的生物样本信息进行提取和响应，提供了一种智能人机交互的方法。

Description

说明书 发明名称:人机交互方法、 系统、 计算机设备及存储介质
[0001] 本申请以 2018年 10月 11日提交的申请号为 CN201811183781.7， 名称为“人机交 互方法、 系统、 计算机设备及存储介质”的中国发明专利申请为基础， 并要求其 优先权。
技术领域
[0002] 本申请涉及信息处理领域， 尤其涉及一种人机交互方法、 系统、 计算机设备及 存储介质。
[0003] 背景技术
[0004] 会场是人们进行社交、 集会交流、 文娱活动的主要场所， 而会场的场景布置、 主题布局、 灯光音响效果是提升参会人员体验感的一个重要因素。 例如， 科技 产品如平板电脑、 手机、 VR眼镜等的新品发布会， 其场景布置主要体现出现代 感十足的科技元素； 各类展会如世博会、 车博会、 文博会、 茶博会等的布置， 由展会主题来确定大的布局元素， 由各厂家、 参展商个性化定制自家的展台； 在大的宴会、 新闻发布会、 会议等场合， 参会人员采用怎样的互动交流方式如 主持人与参会人员的问答交流、 活动抽奖、 互动游戏等。
[0005] 目前， 对于参会人数众多的场合， 一般都是通过电子告示牌或电子屏幕展示导 流图， 外加工作人员来对参会人员进行指引和疏导， 方式过于陈旧且不够智能 、 灵活， 需要很多工作人员参与； 同时， 会场中的主办方与观众的互动方式过 于原始， 诸如统计签到、 活动抽奖、 问答交流等； 其中， 电子设备只能被动的 展示信息， 无法与参会人员进行互动， 这种人机交互方式智能化水平比较低下
[0006] 发明内容
[0007] 本申请实施例提供一种人机交互方法、 系统、 计算机设备及存储介质， 以解决 在大型会场中， 人机交互方式智能化水平不高的问题。
[0008] 一种人机交互方法， 包括：
[0009] 交互端采集用户请求信息， 其中， 所述用户请求信息包括生物样本信息； [0010] 交互端对所述用户请求信息进行预处理， 并将预处理后得到的目标请求信息发 送到中心服务端， 其中， 所述预处理包括过滤不符合预设特征提取条件的所述 生物样本信息；
[0011] 所述中心服务端为所述目标请求信息分配生物识别任务， 并将所述目标请求信 息保存到存储平台， 将所述生物识别任务分发给计算服务端；
[0012] 所述计算服务端根据所述生物识别任务， 从所述存储平台获取与所述生物识别 任务对应的目标请求信息， 并对获取到的所述目标请求信息进行生物特征提取 ， 将得到的提取结果返回给所述中心服务端；
[0013] 所述中心服务端对所述提取结果进行组合得到用户行为数据， 并将所述用户行 为数据与所述存储平台中预设的用户行为特征进行匹配， 根据匹配结果生成处 理结果信息；
[0014] 所述中心服务端将所述处理结果信息返回给所述交互端；
[0015] 所述交互端根据所述处理结果信息从预设配置文件中读取并执行指令集， 其中 ， 所述指令集用于完成与用户的人机互动。
[0016] 一种人机交互系统， 包括： 交互端、 中心服务端和计算服务端， 其中， 所述交 互端、 所述中心服务端、 所述计算服务端之间通过网络连接；
[0017] 所述交互端， 用于采集用户请求信息， 其中， 所述用户请求信息包括生物样本 信息； 还用于对所述用户请求信息进行预处理， 并将预处理后得到的目标请求 信息发送到中心服务端， 其中， 所述预处理包括过滤不符合预设特征提取条件 的所述生物样本信息；
[0018] 所述中心服务端， 用于为所述目标请求信息分配生物识别任务， 并将所述目标 请求信息保存到存储平台， 将所述生物识别任务分发给计算服务端；
[0019] 所述计算服务端， 用于根据所述生物识别任务， 从所述存储平台获取与所述生 物识别任务对应的目标请求信息， 并对获取到的所述目标请求信息进行生物特 征提取， 将得到的提取结果返回给所述中心服务端；
[0020] 所述中心服务端， 还用于对所述提取结果进行组合得到用户行为数据， 并将所 述用户行为数据与所述存储平台中预设的用户行为特征进行匹配， 根据匹配结 果生成处理结果信息； 将所述处理结果信息返回给所述交互端； [0021] 所述交互端， 还用于根据所述处理结果信息从预设配置文件中读取并执行指令 集， 其中， 所述指令集用于完成与用户的人机互动。
[0022] 一种计算机设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处 理器上运行的计算机可读指令， 所述处理器执行所述计算机可读指令时实现上 述人机交互方法的步骤。
[0023] 一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机可读指令， 所述计算机可读指令被处理器执行时实现上述人机交互方法的步骤。
[0024] 一个或多个存储有计算机可读指令的非易失性可读存储介质， 所述计算机可读 指令被一个或多个处理器执行时， 使得所述一个或多个处理器执行上述人机交 互方法的步骤。
[0025] 本申请的一个或多个实施例的细节在下面的附图和描述中提出， 本申请的其他 特征和优点将从说明书、 附图以及权利要求变得明显。 。
[0026] 附图说明
[0027] 为了更清楚地说明本申请实施例的技术方案， 下面将对本申请实施例的描述中 所需要使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本申 请的一些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动性的前 提下， 还可以根据这些附图获得其他的附图。
[0028] 图 1是本申请一实施例中人机交互方法的一应用环境示意图；
[0029] 图 2是本申请一实施例中人机交互方法的流程图；
[0030] 图 3是本申请一实施例中人机交互方法中步骤 S3的流程图；
[0031] 图 4是本申请一实施例中人机交互方法中步骤 S32的流程图；
[0032] 图 5是本申请一实施例中人机交互方法中步骤 S711之后的人机交互方法流程图
[0033] 图 6是本申请一实施例中人机交互系统的示意图；
[0034] 图 7是本申请一实施例中计算机设备的示意图。
[0035] 具体实施方式
[0036] 下面将结合本申请实施例中的附图， 对本申请实施例中的技术方案进行清楚、 完整地描述， 显然， 所描述的实施例是本申请一部分实施例， 而不是全部的实 施例。 基于本申请中的实施例， 本领域普通技术人员在没有作出创造性劳动前 提下所获得的所有其他实施例， 都属于本申请保护的范围。
[0037] 本申请提供的人机交互方法， 可应用在如图 1的应用环境中， 其中， 交互端可 以是计算机终端设备， 用于实现与用户的互动， 通过界面或投影向用户展示信 息， 通过音频设备向用户发出提示音； 交互端与用户交互的方式包括但不限于 对人脸识别的响应、 对语音识别的响应、 对用户通过触摸屏等输入设备的响应 ; 中心服务端可以是服务器或服务器集群， 作为人机交互系统的中心， 协调交 互端、 计算服务端、 存储平台共同工作； 计算服务端可以是服务器或服务器集 群， 用于对生物样本信息进行特征提取； 存储平台可以是数据库或分布式数据 库， 用于存储用户的生物样本信息以及用户的生物特征信息； 交互端、 中心服 务端、 计算服务端及存储平台之间通过网络连接， 网络可以是有线网络或者无 线网络。 本申请实施例提供的人机交互方法有赖于交互端、 中心服务端和计算 服务端的共同协作完成。
[0038] 在一实施例中， 如图 2所示， 提供了一种人机交互方法， 其实现流程包括如下 步骤：
[0039] S1： 交互端采集用户请求信息， 其中， 用户请求信息包括生物样本信息。
[0040] 用户请求信息是用户通过交互端输入的信息， 包括生物样本信息和非生物样本 信息， 其中， 生物样本信息包括用户的人脸信息和用户的语音信息， 非生物样 本信息包括但不限于用户的身份信息。
[0041] 交互端作为与用户交互的终端， 其配备有摄像头、 录音设备、 触摸屏等用来采 集用户请求信息的输入设备。 交互端通过摄像头采集用户的人脸图像， 支持的 图片格式包括但不限于 BMP、 PNG、 JPG等； 通过录音设备对用户的声音进行采 集， 录音设备不限于麦克风， 还包括采样量化模块和音频编码模块； 通过触摸 屏对用户手写输入的字符型信息进行采集， 或对用户的输入进行相应。 交互端 还可以包括显示屏或投影设备， 用于显示信息。
[0042] 进一步地， 交互端可以处于两种工作模式： 注册模式和互动模式， 即将用户与 交互端交互的过程分为两个阶段， 用户信息注册阶段和人机互动阶段。 其中， 在注册模式下， 交互端用于对用户请求信息的采集， 并对用户请求信息进行预 处理； 中心服务端分发处理任务， 由计算服务端负责特征提取； 在互动模式下 ， 交互端、 中心服务端以及计算服务端之间除了完成注册模式下的交互过程， 中心服务端还将计算服务端进行特征提取得到的用户当前特征信息与注册模式 下提取得到的用户特征信息进行比较， 用以对用户行为进行响应， 达到人机互 动的目的。
[0043] 交互端上预先安装有设置其工作模式的模式开关， 该模式开关可以是硬件开关 或由软件进行控制。 通过模式开关， 交互端可以将当前的工作模式发送到中心 服务端， 使得中心服务端能同步当前的工作模式。
[0044] 在一具体实施例中， 交互端与用户交互的工作过程包括如下 ( 1) 至 (3) 的内 容， 详述如下：
[0045] ( 1) 交互端通过摄像头对人脸信息的采集：
[0046] 用户正脸对准摄像头 3秒钟， 交互端通过提示音提示拍照完成。 用户也可以自 行操作， 如当用户正脸对准摄像头后， 用户可以通过显示屏上的交互 UI界面进 行触摸， 点击拍照即可完成。
[0047] 若交互端上运行的 Java环境， 则可以调用 ImagelO的类方法将摄像头获取的二 进制图片信息保存为 PNG格式的文件。
[0048] (2) 交互端通过录音设备对用户语音信息的采集：
[0049] 用户通过麦克风输入一段声音； 交互端的采样量化模块对声音进行采样和量化 。 采样是每隔一定时间读取一次声音信号的幅度， 其对应的参数为采样频率； 量化是将采样得到的声音信号幅度转换为数字值， 其对应的参数为采样位数。 采样是时间上的数字化， 而量化则是幅度上的数字化。 对于采样频率， 根据奈 奎斯特采样理论， 采样频率要高于输入信号最高频率的两倍， 而正常人听觉频 率为 20~20KHZ， 所以优选地采样频率默认为 40kHZ， 同时， 可选的采样频率率 还有 44.1kHz、 48kHz等， 采样率越高， 音质越好。 对于采样位数， 它决定了模 拟信号数字化以后的动态范围， 其他常用的还有 8位和 16位。 量化位越高， 信号 的动态范围越大， 数字化后的音频信号就越可能接近原始信号， 优选地采样位 数为 12位。
[0050] 音频编码模块对采样和量化后的数据进行编码， 为了保证声音才采集阶段不失 真， 优选地， 交互端采用 PCM (Pulse Code Modulation, 脉冲编码调制) 编码， 指模拟音频信号只经过采样、 模数转换直接形成的二进制序列， 未经过任何编 码和压缩处理。 交互端将经过编码的语音信息保存为 WAV格式文件。
[0051] (3) 交互端通过触摸屏对字符型信息的采集：
[0052] 字符型信息主要是用户通过触摸屏输入的各种信息， 如姓名、 工号、 座位号、 联系电话、 电子邮件等。 显示屏上的交互 UI界面可以采用 Web页面的方式接收用 户的信息输入。 用户将信息输入到交互界面的表单中， 然后提交。 交互端可以 对用户输入的信息进行合法性检查， 直接在交互端端进行过滤， 避免将错误信 息发送到中心服务端。 其中， 合法性是指用户输入的信息是否符合基本的要求 ， 如对姓名的输入， 字符数不能超过 10个； 联系电话只能输入数字， 而不能输 入字母； 电子邮件地址必须带有一个“@”字符等等。
[0053] 交互端将用户输入的信息以键值对的形式存储， 优选地， 以 JSON格式的文件 进行存储。
[0054] (4) 交互端将采集到的用户请求信息通过 socket (套接字) 通道发送给中心服 务端。 在中心服务端有与该 socket通道对应的接收端， 用于接收。
[0055] S2： 交互端对用户请求信息进行预处理， 并将预处理后得到的目标请求信息发 送到中心服务端， 其中， 预处理包括过滤不符合预设特征提取条件的生物样本 信息。
[0056] 交互端对用户请求信息进行预处理， 预处理主要是对不符合预设特征提取条件 的生物样本信息进行过滤， 避免将其发送到中心服务端， 从而减少计算服务端 的处理负担。
[0057] 预处理包括对人脸图片的色彩值进行判断、 对语音信息的大小进行判断， 以及 整合用户请求信息等。
[0058] 其中， 对人脸图片的色彩值进行判断包括过滤掉色彩过暗或过亮的图片。 例如
， 在没有闪光灯补偿的黑暗环境中拍摄的照片 , 使得人脸识别的难度增大； 同 样， 在面对强光拍摄的照片， 也将增大人脸识别时的难度。 对语音信息的大小 进行判断是用于过滤掉过大的音频文件。 整合用户请求信息是指为不同的用户 信息分配用户标识， 并将与该用户对应的人脸图片信息、 语音信息组合到一起 [0059] 预设特征提取条件是针对生物样本信息的， 对于人脸图片信息， 包括但不限于 对图片的对比度、 像素值的分布等。 例如， 交互端将整人脸张图片中， 黑色像 素点 （RGB值为 0， 0， 0） 超过 80%的图片， 视为难以识别的图片； 将白色像素 点 （RGB值为 255 , 255 , 255） 超过 80%的图片， 同样视为难以识别的图片； 贝 1J 全黑或全白像素点的占比为 80%视为预设阈值。 对于语音信息， 包括语音文件的 大小。 例如， 预设语音文件大小的阈值为 1MB， 即若交互端编码后的语音信息 文件的大小超过 1MB， 则确定该语音文件为非法输入的语音信息。
[0060] 具体地， 对于人脸图片， 若交互端上运行的 Java环境， 交互端通过 ImagelO的 类方法可以读取图片文件， 并获取每个像素点的 RGB值， 并依此与预设阈值进 行比较， 将全白或全黑像素点值超过阈值的人脸图片过滤。
[0061] 对于语音文件， 可以按照如下公式进行计算语音文件的大小：
[0062] 文件大小 （单位 MB） = （采样频率 *采样位数*声道数 *时间） / （8*1024*1024
）
[0063] 并且将计算得到的文件大小与预设语音文件大小的阈值进行比较， 从而过滤掉 超出阈值的语音文件。 以 WAV格式的语音文件为例， 若采样频率为 44.1kHz， 采 样位数为 16位， 声道数为 2， 时间为 3秒， 则按照以上公式， 该 WAV文件的大小 约为 0.5MB， 小于预设阈值 1MB， 则该语音文件符合预设特征提取条件。
[0064] 对于整合用户请求信息， 交互端为用户分配一个唯一的用户标识， 同时将该用 户的人脸图片、 语音文件以及用户输入的字符型信息添加到一个数组中， 并在 数组前增加一个用户标识作为该段信息起始的标志， 在数组的最后加上用户标 识和字符串“End”作为该段信息的结束， 从而得到目标请求信息。
[0065] 交互端通过 socket通道将预处理后得到的目标请求信息发送给中心服务端。
[0066] 具体地， 交互端为采集到的人脸图片信息、 语音信息、 字符型信息分别定义不 同的 socket。 例如， 人脸信息由 socketl发送， 语音信息由 socket2发送； 字符型信 息由 socket3发送。
[0067] S3： 中心服务端为目标请求信息分配生物识别任务， 并将目标请求信息保存到 存储平台， 将生物识别任务分发给计算服务端。 [0068] 生物识别任务是指计算服务端对目前请求信息中的人脸图片和语音文件进行处 理。 其中， 处理过程包括对生物样本信息进行特征提取。
[0069] 存储平台， 用于存储生物样本信息、 生物特征信息以及与人机交互相关的各种 预设信息等。 存储平台由数据库或分布式数据库组成， 包括但不限于各种关系 型和非关系型数据库， 如 MS-SQL、 Oracle、 MySQL、 Sybase、 DB2、 Redis、 M ongodDB、 Hbase等。
[0070] 不同类型的生物识别任务可以被分配到不同的计算服务端执行， 每个计算服务 端分别用于执行一种类型的生物识别任务。 例如， 在一具体实施例中， 生物识 别任务可以细分为人脸识别任务和语音识别任务， 计算服务端也可以分为专门 处理人脸识别任务的人脸识别计算服务端和专门处理语音识别任务的语音识别 计算服务端， 其中， 人脸识别相关的生物识别任务由人脸识别计算服务端执行 ; 语音识别相关的生物识别任务由语音识别计算服务端执行。
[0071] 中心服务端将不同的生物识别任务分发给不同的计算服务端执行， 并且将目标 请求信息保存到存储平台。
[0072] 具体地， 中心服务端将目标请求信息中的人脸图片和语音文件提取出来， 分别 分配一个在存储平台上的存储路径， 并将存储路径发送给计算服务端； 同时， 将其他目标请求信息保存到存储平台。
[0073] 例如， 一个用户的用户标识为 0001， 其人脸图片在存储平台的存储路径为“/Us er/0001/image/”， 其语音文件在存储平台的存储路径为“/User/0001/audio/”， 中心 服务端将存储路径分别发送到人脸识别计算服务端和语音识别计算服务端， 同 时， 中心服务端将人脸图片存储到存储平台的路径“/User/OOOl/image/”下； 将语 音文件存储到存储到存储平台的路径“/User/0001/audio/”下； 将其他用户请求信 息， 如用户身份信息存储到存储平台的数据库中。
[0074] S4： 计算服务端根据生物识别任务， 从存储平台获取与生物识别任务对应的目 标请求信息， 并对获取到的目标请求信息进行生物特征提取， 将得到的提取结 果返回给中心服务端。
[0075] 计算服务端包括人脸识别计算服务端和语音识别计算服务端， 人脸识别计算服 务端实现对人脸特征值的提取， 语音识别计算服务端实现对语音信息特征值的 提取。
[0076] 具体地， 人脸识别计算服务端根据中心服务端发送的存储路径， 如“/User/0001/ image/”， 从存储平台上的该存储路径下获取人脸图片， 并进行人脸特征提取； 语音识别计算服务端根据中心服务端发送的存储路径， 如“/User/OOOl/audio/”， 从存储平台上的该存储路径下获取语音文件， 并进行声纹特征提取。 其中， 声 纹 (Voiceprint)， 是用电声学仪器显示的携带言语信息的声波频谱， 是生物识别技 术的一种，
[0077] 经过计算服务端的生物特征提取， 得到的结果包括用户的人脸特征值和用户的 声纹特征值。 计算服务端将用户的人脸特征值和用户的声纹特征值保存到存储 平台， 并将提取结果返回给中心服务端。 其中， 提取结果包括提取完成或失败 的状态值以及人脸特征值和声纹特征值。 优选地， 将提取结果中的人脸特征值 代替为人脸特征值在存储平台上的存储路径， 将提取结果中的声纹特征值代替 为声纹特征值在存储平台上的存储路径。 例如， 一个用户的用户标识为 0001， 其人脸特征值的存储路径为“/User/0001/img_func/”,其声纹特征值的存储路径为“/ Us er/0001 /aud_f unc/’’。
[0078] S5： 中心服务端对提取结果进行组合得到用户行为数据， 并将用户行为数据与 存储平台中预设的用户行为特征进行匹配， 根据匹配结果生成处理结果信息。
[0079] 用户行为特征是对用户某个行为动作的意思表示所作出的抽象。 用户行为特征 可以表示为一组数据集合， 包括人脸特征值， 或表情动作的特征值， 或语音特 征值等， 这组数据集合想要表达的意思可以为某种用户需求， 例如， 用户通过 语音对交互端提出想要了解会议概况的查询需求； 用户通过表情对交互端进行 互动的确认需求。
[0080] 预设的用户行为特征可以分为用户查询行为、 用户确认行为、 用户否认行为、 用户自主表达行为等。
[0081] 用户行为数据是中心服务端将计算服务端的提取结果进行组合得到的数据集合
。 中心服务端将用户行为数据与存储平台中预设的用户行为特征进行匹配， 用 以理解用户的需求， 并生成与之相应的响应处理结果信息。 处理结果信息是中 心服务端用于指示交互端做出响应的信息。 [0082] 具体地， 中心服务端将计算服务端发来的提取结果进行组合， 得到一个用户行 为数据数组， 并与存储平台中预设的用户行为特征数组进行匹配。 若匹配结果 一致， 则确定用户当前行为的意思表示， 并生成指示交互端做出相应响应的处 理结果信息。
[0083] S6： 中心服务端将处理结果信息返回给交互端。
[0084] 中心服务端在接收交互端发送的目标请求信息时， 对每个交互端的标识信息以 及目标请求信息做缓存处理， 以用于将处理结果信息进行返回。
[0085] 具体地， 中心服务端在接收到交互端发送的目标请求信息时， 将交互端的标识 信息和目标请求信息对应的标识信息保存到临时变量中。 当需要将处理结果信 息返回给交互端时， 中心服务端从临时变量中获取交互端的标识信息和目标请 求信息对应的标识信息， 新建 socket通道， 并发送到交互端。 其中， 交互端的标 识信息用于标识唯一一个交互端， 目标请求信息对应的标识信息用于唯一标识 唯 -个用户。
[0086] S7： 交互端根据处理结果信息从本地预设配置文件中读取并执行指令集， 其中
， 指令集用于完成与用户的人机互动。
[0087] 本地预设配置文件是存储在交互端本地的， 用以让交互端执行人机交互相关动 作的指令集。
[0088] 例如， 指令集 A是用于向用户显示信息， 如会议概要， 参会人员的介绍等， 它 能使交互端的显示屏显示相关信息， 或通过投影显示到其他位置； 指令集 B是用 于提示用户进行下一步操作， 如在互动过程中对用户进行提问， 或等待用户的 输入等。
[0089] 需要说明的是， 交互端之间可以是不同硬件构成或者分别实现不同功能， 则它 们的预设配置文件各不相同， 能执行的指令集也不尽相同。 例如， 交互端 A可以 固定在会场的入口出用于信息指引， 交互端 B可以在会场中移动与用户进行互动 。 交互端 A执行查询的指令集可能与交互端 B执行查询的指令集不同。
[0090] 具体地， 交互端等待用户输入时的动作， 其对应的指令值为 0x0001 ; 交互端用 投影显示信息时的动作， 其对应的指令值为 0x0002; 交互端通过显示屏发出接 收用户触摸屏输入时的动作， 其对应的指令值为 0x0003 ; 则交互端将这一系列 动作连贯起来用于对用户查询进行响应的指令集为｛ 0x0001 ,0x0002,0x0003
[0091] 在本实施例中， 由交互端负责采集用户请求信息和提供人机互动界面， 并对用 户请求信息进行预处理过滤， 将预处理后的目标请求信息发送到中心服务端， 为中心服务端分担处理压力； 中心服务端作为人机交互系统的中心， 为交互分 配生物识别任务， 调度计算服务端执行具体的计算任务， 将目标请求信息保存 到存储平台， 协调交互端、 计算服务端、 存储平台之间的数据流向； 计算服务 端负责执行生物识别任务， 提取生物特征信息， 并将提取结果返回给中心服务 端； 中心服务端对服务端发送的提取结果进行组合， 并与存储平台上预设的用 户行为特征进行匹配得到处理结果信息， 然后将处理结果信息下发到交互端； 交互端根据处理结果信息执行指令集， 完成与用户的人机互动； 提供了一种以 生物识别技术为基础的人机智能交互方式， 提高了人机交互的智能化水平。
[0092] 进一步地， 在一实施例中， 在步骤 S2之后， 即交互端对用户请求信息进行预处 理， 并将预处理后得到的目标请求信息发送到中心服务端， 其中， 预处理包括 过滤不符合预设特征提取条件的生物样本信息之后， 人机交互方法还包括如下 步骤：
[0093] S8： 针对不符合预设特征提取条件的生物样本信息， 交互端向用户发出信息采 集异常消息， 并重新采集生物样本信息。
[0094] 信息采集异常消息是提醒用户当前操作有误， 并提示用户进行下一步操作的信 息。 信息采集异常消息可以通过显示屏的 UI界面、 语音提示音等向用户发出提 醒。
[0095] 具体地， 交互端在对生物样本信息进行预处理后， 对于不符合特征提取条件的 生物样本信息， 可以通过显示屏， 或者音频设备， 以图形图像或声音的方式向 用户发出信息采集异常消息， 提示用户进行下一步操作， 以使交互端能再次采 集人脸图片信息或语音信息。
[0096] 在本实施例中， 针对不符合特征提取条件的生物样本信息， 交互端及时向用户 发出信息采集异常消息， 并重新采集生物样本信息， 相对于由计算服务端来处 理， 节约了系统开销和时间成本。
[0097] 进一步地， 在一实施例中， 如图 3所示， 针对步骤 S3 , 即中心服务端为目标请 求信息分配生物识别任务， 并将目标请求信息保存到存储平台， 将生物识别任 务分发给计算服务端， 具体包括如下步骤：
[0098] S31： 中心服务端将接收到的目标请求信息缓存到预先建立的存储队列中。
[0099] 存储队列用于缓存交互端的目标请求信息， 以使中心服务端能在及时响应交互 端请求的同时保证系统稳定性。
[0100] 具体地， 中心服务端预先建立两个数组作为存储队列， 一个用于缓存人脸图片 ， 一个用户缓存语音文件。
[0101] S32： 若存储队列的长度达到预设阈值， 则中心服务端启动处理线程， 其中， 处理线程用于将目标请求信息保存到存储平台， 并为目标请求信息分配生物识 别任务， 将生物识别任务分发给计算服务端。
[0102] 预设阈值根据中心服务端的硬件主机内存而定。 为了保证中心服务端的正常运 行， 优选地， 将每个缓存队列占用的内存数预设为总内存容量的 15%。
[0103] 处理线程用于将目标请求信息保存到存储平台， 并为目标请求信息分配生物识 别任务， 将生物识别任务分发给计算服务端。
[0104] 具体地， 处理线程先检测每个缓存队列的值， 若某个队列为空， 则不为该队列 启动线程； 若队列不为空， 则为该队列启动线程。 若人脸图片的缓存队列不为 空， 则启动人脸特征提取任务线程， 该线程用于将人脸图片保存到存储平台， 并将人脸特征提取任务分发给计算服务端； 若语音文件的缓存队列不为空， 则 启动语音特征提取任务线程， 该线程用于将语音文件保存到存储平台， 并将声 纹特征提取任务分发给计算服务端。
[0105] 在本实施例中， 中心服务端为数据量大的人脸图片和语音文件分别建立缓存队 歹 IJ， 用以缓解中心服务端的处理压力， 使得中心服务端能在及时响应交互端请 求的同时保证系统稳定性。
[0106] 进一步地， 在一实施例中， 如图 4所示， 针对步骤 S32, 即若存储队列的长度达 到预设阈值， 则中心服务端启动处理线程， 其中， 处理线程用于将目标请求信 息保存到存储平台， 并为目标请求信息分配生物识别任务， 将生物识别任务分 发给计算服务端， 具体包括如下步骤：
[0107] S321： 若存储队列的长度达到预设阈值， 则中心服务端从预设线程池中取出线 程。
[0108] 线程池是一组线程的集合。 系统在短时间内频繁的创建和销毁线程， 将增大系 统开销， 增加系统负担。 利用线程池可以减少这种系统开销。
[0109] 中心服务端创建一个线程池， 并维持线程池中的线程在处理完所执行的任务后 不被销毁掉， 继续执行下一个任务。 线程池大小代表线程池中最多的线程数目 。 线程池大小可以本机 CPU核数来确定， 若中心服务端是 32核的 CPU， 则线程池 大小为 32.
[0110] 具体地， 中心服务端可以调用 ThreadPoolExecutor类创建线程池， 然后只要线 程池中的线程没有处于繁忙状态， 中心服务端按照循环依次从线程池中取出线 程即可。 当线程池中线程处于全忙状态时， 代表此时中心服务端的响应能力已 达到上限， 中心服务端将返回消息通知交互端稍后再试。
[0111] S322： 中心服务端调用线程将目标请求信息保存到存储平台， 并将生物识别任 务分发给计算服务端。
[0112] 中心服务端从线程池中调用的线程所做的工作与步骤 S32中单线程所做的工作 一样， 将人脸图片保存到存储平台， 并将人脸特征提取任务分发给计算服务端 ; 将语音文件保存到存储平台， 并将声纹特征提取任务分发给计算服务端。
[0113] 在本实施例中， 中心服务端通过设置线程池， 将目标请求信息保存到存储平台 ， 以及分发生物识别任务的工作变成多线程工作方式， 提高了系统工作效率。
[0114] 进一步地， 在一实施例中， 针对 S7 , 即交互端根据处理结果信息从本地预设配 置文件中读取并执行指令集， 其中， 指令集用于完成与用户的人机互动， 具体 还包括如下步骤：
[0115] S71： 若交互端从本地预设配置文件中读取指令集失败， 则交互端从中心服务 端上读取并执行云端预设配置文件中的指令集。
[0116] 相对于本地预设配置文件， 云端预设配置文件是存储在中心服务端的。 对于一 些新的用户需求， 本地预设配置文件中没有相应的指令集， 交互端可以从中心 服务端下载并执行。 或者， 当交互端本地存储空间不足时， 交互端可以从中心 服务端端读取并执行指令集。
[0117] 具体地， 交互端根据处理结果信息从本地预设配置文件中查询相应的指令集， 若从本地预设配置文件中查询失败， 则交互端以处理结果信息的标识信息作为 检索条件， 通过网络向中心服务端发送指令集读取请求； 若从中心服务端上匹 配到相应的指令集， 则读取并执行指令集。
[0118] 在本实施例中， 指令集不仅可以从交互端本地的配置文件中读取并执行， 还可 以从中心服务端上读取并执行， 使得交互端能从多处读取和执行指令集， 扩展 了交互端响应用户请求的能力。
[0119] 进一步地， 在一实施例中， 针对步骤 S71， 即若交互端从本地预设配置文件中 读取指令集失败， 则交互端从中心服务端上读取并执行云端预设配置文件中的 指令集， 具体还包括如下步骤：
[0120] S711： 若交互端从中心服务端上读取或执行云端预设配置文件中的指令集失败
， 则交互端向用户发出告警信息。
[0121] 若中心服务端上没有与处理结果信息匹配的指令集， 则交互端向用户发出告警 信息， 告警信息用以告知用户不能执行用户当前操作的原因。 例如， 用户说话 不清楚， 无法识别其语义， 因而无法做出正确的响应。
[0122] 具体地， 交互端可以通过显示屏， 或者音频设备， 以图形图像或声音的方式向 用户发出告警信息。 如通过显示屏显示 UI界面， 告知用户的行为无法正确识别 ， 请用户重新操作。
[0123] 在本实施例中， 交互端将对处理结果信息执行失败的原因告知用户， 完善了人 机交互的过程， 不遗漏系统响应盲区。
[0124] 进一步地， 在一实施例中， 如图 5所示， 在步骤 S711之后， 即若交互端从中心 服务端上读取或执行云端预设配置文件中的指令集失败， 则交互端向用户发出 告警信息之后， 人机交互方法还包括如下步骤：
[0125] S712： 交互端向中心服务端发送指令集读取失败消息。
[0126] 交互端上有定位装置， 如北斗、 GPS、 AGPS等。 在大型会场中， 可能部署有 若干个交互端， 每个交互端所处的位置各不相同， 有的可能相距很远。 若交互 端从预设配置文件中读取指令集失败， 并且交互端从中心服务端端上读取或执 行指令集失败， 则交互端向中心服务端发送指令集读取失败消息。 其中， 指令 集读取失败消息包括交互端自身的定位信息， 以及处理结果信息的标识。 [0127] 具体地， 交互端通过定位装置， 将自身的物理位置信息添加到指令集读取失败 消息中， 同时， 将无法正确执行的处理结果消息所对应的标识号添加到指令集 读取失败消息中， 并通过 socket发送到中心服务端。
[0128] S713： 中心服务端根据指令集读取失败消息， 定位交互端的物理位置， 以用于 提示有用户需要人工辅助。
[0129] 具体地， 中心服务端对指令集读取失败消息进行解析， 得到交互端的物理位置 和处理结果消息所对应的标识号。 其中， 交互端的物理位置用以定位， 处理结 果消息所对应的标识对应了用户行为数据， 可以用于追溯用户作了哪些行为而 无法被识别。
[0130] 在本实施例中， 交互端将自身标识信息发送给中心服务端， 使中心服务端能定 位到交互端所在位置， 从而引导工作人员去现场帮助用户解决操作中遇到的问 题， 能快速准确定位人机交互中的问题， 并辅以人工帮助。
[0131] 在一实施例中， 提供一种人机交互系统， 该人机交互系统与上述实施例中人机 交互方法一一对应。 如图 6所示， 该人机交互系统包括交互端 61、 中心服务端 62 、 计算服务端 63。 各功能模块详细说明如下：
[0132] 交互端 61， 用于采集用户请求信息， 其中， 用户请求信息包括生物样本信息； 对用户请求信息进行预处理， 并将预处理后得到的目标请求信息发送到中心服 务端， 其中， 预处理包括过滤不符合预设特征提取条件的生物样本信息；
[0133] 中心服务端 62, 用于为目标请求信息分配生物识别任务， 并将目标请求信息保 存到存储平台， 将生物识别任务分发给计算服务端；
[0134] 计算服务端 63: 用于根据生物识别任务， 从存储平台获取与生物识别任务对应 的目标请求信息， 并对获取到的目标请求信息进行生物特征提取， 将得到的提 取结果返回给中心服务端；
[0135] 中心服务端 63 , 还用于对提取结果进行组合得到用户行为数据， 并将用户行为 数据与存储平台中预设的用户行为特征进行匹配， 根据匹配结果生成处理结果 信息； 将处理结果信息返回给交互端；
[0136] 交互端 61， 还用于根据处理结果信息从预设配置文件中读取并执行指令集， 其 中， 指令集用于完成与用户的人机互动。 [0137] 进一步地， 交互端 61包括重采样模块， 重采样模块用于针对不符合预设特征提 取条件的生物样本信息， 向用户发出信息采集异常消息， 并重新采集生物样本 信息；
[0138] 进一步地， 中心服务端 62包括缓存模块， 缓存模块用于将接收到的目标请求信 息缓存到预先建立的存储队列中； 若存储队列的长度达到预设阈值， 则启动处 理线程， 其中， 处理线程用于将目标请求信息保存到存储平台， 并为目标请求 信息分配生物识别任务， 将生物识别任务分发给计算服务端；
[0139] 进一步地， 中心服务端 62还包括线程调度模块， 线程调度模块用于若存储队列 的长度达到预设阈值， 则从预设线程池中取出线程； 调用线程将目标请求信息 保存到存储平台， 并将生物识别任务分发给计算服务端；
[0140] 进一步地， 交互端 61还包括指令集获取模块， 指令集获取模块用于若交互端从 本地预设配置文件中读取指令集失败， 则交互端从中心服务端上读取并执行云 端预设配置文件中的指令集；
[0141] 进一步地， 交互端 61还包括第一告警模块， 第一告警模块用于若从中心服务端 上读取或执行云端预设配置文件中的指令集失败， 则向用户发出告警信息；
[0142] 进一步地， 交互端 61还包括第二告警模块， 第二告警模块用于向中心服务端发 送指令集读取失败消息；
[0143] 进一步地， 中心服务端 62还包括辅助模块， 辅助模块用于根据指令集读取失败 消息， 定位交互端的物理位置， 以用于提示有用户需要人工辅助。
[0144] 关于人机交互系统的具体限定可以参见上文中对于人机交互方法的限定， 在此 不再赘述。 上述人机交互系统中的各个模块可全部或部分通过软件、 硬件及其 组合来实现。 上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器 中， 也可以以软件形式存储于计算机设备中的存储器中， 以便于处理器调用执 行以上各个模块对应的操作。
[0145] 在一个实施例中， 提供了一种计算机设备， 该计算机设备可以是服务器， 其内 部结构图可以如图 7所示。 该计算机设备包括通过系统总线连接的处理器、 存储 器、 网络接口和数据库。 其中， 该计算机设备的处理器用于提供计算和控制能 力。 该计算机设备的存储器包括非易失性存储介质、 内存储器。 该非易失性存 储介质存储有操作系统、 计算机可读指令和数据库。 该内存储器为非易失性存 储介质中的操作系统和计算机可读指令的运行提供环境。 该计算机设备的网络 接口用于与外部的终端通过网络连接通信。 该计算机可读指令被处理器执行时 以实现一种人机交互方法。
[0146] 在一个实施例中， 提供了一种计算机设备， 包括存储器、 处理器及存储在存储 器上并可在处理器上运行的计算机可读指令， 处理器执行计算机可读指令时实 现上述实施例中人机交互方法的步骤， 例如图 2所示的步骤 S 1至步骤 S7。
[0147] 在一实施例中， 提供一个或多个存储有计算机可读指令的非易失性可读存储介 质， 计算机可读指令被一个或多个处理器执行时实现上述方法实施例中人机交 互方法， 或者， 该计算机可读指令被一个或多个处理器执行时实现上述系统实 施例、 或装置实施例中各模块 /单元的功能。 为避免重复， 这里不再赘述。
[0148] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程， 是可 以通过计算机可读指令来指令相关的硬件来完成， 所述的计算机可读指令可存 储于一非易失性计算机可读取存储介质中， 该计算机可读指令在执行时， 可包 括如上述各方法的实施例的流程。 其中， 本申请所提供的各实施例中所使用的 对存储器、 存储、 数据库或其它介质的任何引用， 均可包括非易失性和 /或易失 性存储器。 非易失性存储器可包括只读存储器 (ROM) 、 可编程 ROM (PROM ) 、 电可编程 ROM (EPROM) 、 电可擦除可编程 ROM (EEPROM) 或闪存。 易失性存储器可包括随机存取存储器 (RAM) 或者外部高速缓冲存储器。 作为 说明而非局限， RAM以多种形式可得， 诸如静态 RAM (SRAM) 、 动态 RAM ( DRAM) 、 同步 DRAM (SDRAM) 、 双数据率 SDRAM (DDRSDRAM) 、 增强 型 SDRAM (ESDRAM) 、 同步链路 (Synchlink) DRAM (SLDRAM) 、 存储 器总线 (Rambus) 直接 RAM (RDRAM) 、 直接存储器总线动态 RAM (DRDR AM) 、 以及存储器总线动态 RAM (RDRAM) 等。
[0149] 所属领域的技术人员可以清楚地了解到， 为了描述的方便和简洁， 仅以上述各 功能单元、 模块的划分进行举例说明， 实际应用中， 可以根据需要而将上述功 能分配由不同的功能单元、 模块完成， 即将所述系统的内部结构划分成不同的 功能单元或模块， 以完成以上描述的全部或者部分功能。 [0150] 以上所述实施例仅用以说明本申请的技术方案， 而非对其限制； 尽管参照前述 实施例对本申请进行了详细的说明， 本领域的普通技术人员应当理解： 其依然 可以对前述各实施例所记载的技术方案进行修改， 或者对其中部分技术特征进 行等同替换； 而这些修改或者替换， 并不使相应技术方案的本质脱离本申请各 实施例技术方案的精神和范围， 均应包含在本申请的保护范围之内。

Claims

权利要求书
[权利要求 1] 一种人机交互方法， 其特征在于， 所述人机交互方法包括：
交互端采集用户请求信息， 其中， 所述用户请求信息包括生物样本信 息；
交互端对所述用户请求信息进行预处理， 并将预处理后得到的目标请 求信息发送到中心服务端， 其中， 所述预处理包括过滤不符合预设特 征提取条件的所述生物样本信息；
所述中心服务端为所述目标请求信息分配生物识别任务， 并将所述目 标请求信息保存到存储平台， 将所述生物识别任务分发给计算服务端 所述计算服务端根据所述生物识别任务， 从所述存储平台获取与所述 生物识别任务对应的目标请求信息， 并对获取到的所述目标请求信息 进行生物特征提取， 将得到的提取结果返回给所述中心服务端； 所述中心服务端对所述提取结果进行组合得到用户行为数据， 并将所 述用户行为数据与所述存储平台中预设的用户行为特征进行匹配， 根 据匹配结果生成处理结果信息；
所述中心服务端将所述处理结果信息返回给所述交互端；
所述交互端根据所述处理结果信息从本地预设配置文件中读取并执行 指令集， 其中， 所述指令集用于完成与用户的人机互动。
[权利要求 2] 如权利要求 1所述的人机交互方法， 其特征在于， 在所述交互端对所 述用户请求信息进行预处理， 并将预处理后得到的目标请求信息发送 到中心服务端之后， 并且在所述中心服务端为所述目标请求信息分配 生物识别任务， 并将所述目标请求信息保存到存储平台， 将所述生物 识别任务分发给计算服务端之前， 所述人机交互方法还包括： 针对不符合所述预设特征提取条件的所述生物样本信息， 所述交互端 向用户发出信息采集异常消息， 并重新采集所述生物样本信息。
[权利要求 3] 如权利要求 1所述的人机交互方法， 其特征在于， 所述中心服务端为 所述目标请求信息分配生物识别任务， 并将所述目标请求信息保存到 存储平台， 将所述生物识别任务分发给计算服务端， 包括：
所述中心服务端将接收到的所述目标请求信息缓存到预先建立的存储 队列中；
若所述存储队列的长度达到预设阈值， 则所述中心服务端启动处理线 程， 其中， 所述处理线程用于将所述目标请求信息保存到所述存储平 台， 并为所述目标请求信息分配生物识别任务， 将所述生物识别任务 分发给所述计算服务端。
[权利要求 4] 如权利要求 3所述的人机交互方法， 其特征在于， 所述若所述存储队 列的长度达到预设阈值， 则所述中心服务端启动处理线程， 包括： 若所述存储队列的长度达到预设阈值， 则所述中心服务端从预设线程 池中取出线程；
所述中心服务端调用所述线程将所述目标请求信息保存到所述存储平 台， 并将所述生物识别任务分发给所述计算服务端。
[权利要求 5] 如权利要求 1所述人机交互方法， 其特征在于， 所述交互端根据所述 处理结果信息从本地预设配置文件中读取并执行指令集， 包括： 若所述交互端从本地预设配置文件中读取所述指令集失败， 则所述交 互端从所述中心服务端上读取并执行云端预设配置文件中的所述指令 集。
[权利要求 6] 如权利要求 5所述的人机交互方法， 其特征在于， 所述若所述交互端 从本地预设配置文件中读取所述指令集失败， 则所述交互端从所述中 心服务端上读取并执行云端预设配置文件中的所述指令集， 包括： 若所述交互端从所述中心服务端上读取或执行云端预设配置文件中的 所述指令集失败， 则所述交互端向用户发出告警信息。
[权利要求 7] 如权利要求 6所述人机交互方法， 其特征在于， 所述若所述交互端从 所述中心服务端上读取或执行云端预设配置文件中的所述指令集失败 ， 则所述交互端向用户发出告警信息之后， 所述人机交互方法还包括 所述交互端向所述中心服务端发送所述指令集读取失败消息; 所述中心服务端根据所述指令集读取失败消息， 定位所述交互端的物 理位置， 以用于提示有用户需要人工辅助。
[权利要求 8] 一种人机交互系统， 其特征在于， 所述人机交互系统包括： 交互端、 中心服务端和计算服务端， 其中， 所述交互端、 所述中心服务端、 所 述计算服务端之间通过网络连接；
所述交互端， 用于采集用户请求信息， 其中， 所述用户请求信息包括 生物样本信息； 还用于对所述用户请求信息进行预处理， 并将预处理 后得到的目标请求信息发送到中心服务端， 其中， 所述预处理包括过 滤不符合预设特征提取条件的所述生物样本信息； 所述中心服务端， 用于为所述目标请求信息分配生物识别任务， 并将 所述目标请求信息保存到存储平台， 将所述生物识别任务分发给计算 服务端；
所述计算服务端， 用于根据所述生物识别任务， 从所述存储平台获取 与所述生物识别任务对应的目标请求信息， 并对获取到的所述目标请 求信息进行生物特征提取， 将得到的提取结果返回给所述中心服务端
所述中心服务端， 还用于对所述提取结果进行组合得到用户行为数据 ， 并将所述用户行为数据与所述存储平台中预设的用户行为特征进行 匹配， 根据匹配结果生成处理结果信息； 将所述处理结果信息返回给 所述交互端； 所述交互端， 还用于根据所述处理结果信息从预设配置文件中读取并 执行指令集， 其中， 所述指令集用于完成与用户的人机互动。
[权利要求 9] 如权利要求 8所述的人机交互系统， 其特征在于， 所述交互端， 包括
校验模块， 用于针对不符合所述预设特征提取条件的所述生物样本信 息， 所述交互端向用户发出信息采集异常消息， 并重新采集所述生物 样本信息。
[权利要求 10] 如权利要求 8所述的人机交互系统， 其特征在于， 所述中心服务端， 包括：
数据缓存模块， 用于所述中心服务端将接收到的所述目标请求信息缓 存到预先建立的存储队列中；
线程处理模块， 用于若所述存储队列的长度达到预设阈值， 则所述中 心服务端启动处理线程， 其中， 所述处理线程用于将所述目标请求信 息保存到所述存储平台， 并为所述目标请求信息分配生物识别任务， 将所述生物识别任务分发给所述计算服务端。
[权利要求 11] 如权利要求 10所述的人机交互系统， 其特征在于， 所述线程处理模块 ， 包括：
线程分配子模块， 用于若所述存储队列的长度达到预设阈值， 则所述 中心服务端从预设线程池中取出线程；
线程执行子模块， 用于所述中心服务端调用所述线程将所述目标请求 信息保存到所述存储平台， 并将所述生物识别任务分发给所述计算服 务端。
[权利要求 12] 如权利要求 8所述的人机交互系统， 其特征在于， 所述交互端， 还包 括：
指令获取模块， 用于若所述交互端从本地预设配置文件中读取所述指 令集失败， 则所述交互端从所述中心服务端上读取并执行云端预设配 置文件中的所述指令集。
[权利要求 13] 如权利要求 12所述的人机交互系统， 其特征在于， 所述指令获取模块 ， 包括：
告警子模块， 用于若所述交互端从所述中心服务端上读取或执行云端 预设配置文件中的所述指令集失败， 则所述交互端向用户发出告警信 息。
[权利要求 14] 如权利要求 13所述的人机交互系统， 其特征在于， 所述告警子模块， 包括：
告警信息返回单元， 用于所述交互端向所述中心服务端发送所述指令 集读取失败消息； 所述中心服务端， 还包括：
定位模块， 用于所述中心服务端根据所述指令集读取失败消息， 定位 所述交互端的物理位置， 以用于提示有用户需要人工辅助。
[权利要求 15] 一种计算机设备， 包括存储器、 处理器以及存储在所述存储器中并可 在所述处理器上运行的计算机可读指令， 其特征在于， 所述处理器执 行所述计算机可读指令时实现如下步骤：
通过交互端采集用户请求信息， 其中， 所述用户请求信息包括生物样 本信息；
通过交互端对所述用户请求信息进行预处理， 并将预处理后得到的目 标请求信息发送到中心服务端， 其中， 所述预处理包括过滤不符合预 设特征提取条件的所述生物样本信息；
通过所述中心服务端为所述目标请求信息分配生物识别任务， 并将所 述目标请求信息保存到存储平台， 将所述生物识别任务分发给计算服 务端；
通过所述计算服务端根据所述生物识别任务， 从所述存储平台获取与 所述生物识别任务对应的目标请求信息， 并对获取到的所述目标请求 信息进行生物特征提取， 将得到的提取结果返回给所述中心服务端； 通过所述中心服务端对所述提取结果进行组合得到用户行为数据， 并 将所述用户行为数据与所述存储平台中预设的用户行为特征进行匹配 ， 根据匹配结果生成处理结果信息；
通过所述中心服务端将所述处理结果信息返回给所述交互端； 通过所述交互端根据所述处理结果信息从本地预设配置文件中读取并 执行指令集， 其中， 所述指令集用于完成与用户的人机互动。
[权利要求 16] 如权利要求 15所述的计算机设备， 其特征在于， 在所述通过交互端对 所述用户请求信息进行预处理， 并将预处理后得到的目标请求信息发 送到中心服务端之后， 并且在所述通过所述中心服务端为所述目标请 求信息分配生物识别任务， 并将所述目标请求信息保存到存储平台， 将所述生物识别任务分发给计算服务端之前， 所述处理器执行所述计 算机可读指令时， 还实现如下步骤：
针对不符合所述预设特征提取条件的所述生物样本信息， 通过所述交 互端向用户发出信息采集异常消息， 并重新采集所述生物样本信息。
[权利要求 17] 如权利要求 15所述的计算机设备， 其特征在于， 所述通过所述中心服 务端为所述目标请求信息分配生物识别任务， 并将所述目标请求信息 保存到存储平台， 将所述生物识别任务分发给计算服务端， 包括： 通过所述中心服务端将接收到的所述目标请求信息缓存到预先建立的 存储队列中；
若所述存储队列的长度达到预设阈值， 则通过所述中心服务端启动处 理线程， 其中， 所述处理线程用于将所述目标请求信息保存到所述存 储平台， 并为所述目标请求信息分配生物识别任务， 将所述生物识别 任务分发给所述计算服务端。
[权利要求 18] 如权利要求 17所述的计算机设备， 其特征在于， 所述若所述存储队列 的长度达到预设阈值， 则通过所述中心服务端启动处理线程， 包括： 若所述存储队列的长度达到预设阈值， 则通过所述中心服务端从预设 线程池中取出线程；
通过所述中心服务端调用所述线程将所述目标请求信息保存到所述存 储平台， 并将所述生物识别任务分发给所述计算服务端。
[权利要求 19] 如权利要求 15所述的计算机设备， 其特征在于， 所述通过所述交互端 根据所述处理结果信息从本地预设配置文件中读取并执行指令集， 包 括：
若所述交互端从本地预设配置文件中读取所述指令集失败， 则通过所 述交互端从所述中心服务端上读取并执行云端预设配置文件中的所述 指令集。
[权利要求 20] 一个或多个存储有计算机可读指令的非易失性可读存储介质， 其特征 在于， 所述计算机可读指令被一个或多个处理器执行时， 使得所述一 个或多个处理器执行如下步骤：
通过交互端采集用户请求信息， 其中， 所述用户请求信息包括生物样 本信息；
通过交互端对所述用户请求信息进行预处理， 并将预处理后得到的目 标请求信息发送到中心服务端， 其中， 所述预处理包括过滤不符合预 设特征提取条件的所述生物样本信息；
通过所述中心服务端为所述目标请求信息分配生物识别任务， 并将所 述目标请求信息保存到存储平台， 将所述生物识别任务分发给计算服 务端；
通过所述计算服务端根据所述生物识别任务， 从所述存储平台获取与 所述生物识别任务对应的目标请求信息， 并对获取到的所述目标请求 信息进行生物特征提取， 将得到的提取结果返回给所述中心服务端； 通过所述中心服务端对所述提取结果进行组合得到用户行为数据， 并 将所述用户行为数据与所述存储平台中预设的用户行为特征进行匹配 ， 根据匹配结果生成处理结果信息；
通过所述中心服务端将所述处理结果信息返回给所述交互端； 通过所述交互端根据所述处理结果信息从本地预设配置文件中读取并 执行指令集， 其中， 所述指令集用于完成与用户的人机互动。
PCT/CN2019/088235 2018-10-11 2019-05-24 人机交互方法、系统、计算机设备及存储介质 Ceased WO2020073656A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021506544A JP7061228B2 (ja) 2018-10-11 2019-05-24 マンマシンインタラクション方法、システム、コンピュータ機器及び記憶媒体
SG11202100936UA SG11202100936UA (en) 2018-10-11 2019-05-24 Man-machine interaction method and system, computer device, and storage medium
US17/167,466 US11842574B2 (en) 2018-10-11 2021-02-04 Man-machine interaction method and system, computer device, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811183781.7A CN109542216B (zh) 2018-10-11 2018-10-11 人机交互方法、系统、计算机设备及存储介质
CN201811183781.7 2018-10-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/167,466 Continuation US11842574B2 (en) 2018-10-11 2021-02-04 Man-machine interaction method and system, computer device, and storage medium

Publications (1)

Publication Number Publication Date
WO2020073656A1 true WO2020073656A1 (zh) 2020-04-16

Family

ID=65843870

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/088235 Ceased WO2020073656A1 (zh) 2018-10-11 2019-05-24 人机交互方法、系统、计算机设备及存储介质

Country Status (5)

Country Link
US (1) US11842574B2 (zh)
JP (1) JP7061228B2 (zh)
CN (1) CN109542216B (zh)
SG (1) SG11202100936UA (zh)
WO (1) WO2020073656A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688868A (zh) * 2021-07-21 2021-11-23 深圳市安软科技股份有限公司 一种多线程的图像处理方法及装置
CN113887964A (zh) * 2021-10-08 2022-01-04 广州春晓信息科技有限公司 一种基于人机法的生产线仿真系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109542216B (zh) * 2018-10-11 2022-11-22 平安科技（深圳）有限公司 人机交互方法、系统、计算机设备及存储介质
CN112835447A (zh) * 2021-01-22 2021-05-25 哈尔滨工业大学 穿戴式计算机多通道人机交互方法、装置、设备及系统
CN113065142A (zh) * 2021-03-12 2021-07-02 华控清交信息科技(北京)有限公司 多方安全计算方法、装置、服务器及存储介质
CN113641994B (zh) * 2021-10-13 2022-02-08 杭银消费金融股份有限公司 基于图数据的数据处理方法及系统
CN114401187B (zh) * 2022-01-17 2024-02-23 中国工商银行股份有限公司 灰度发布方法、装置、计算机设备和存储介质
CN116684433B (zh) * 2022-02-23 2026-04-07 中移(苏州)软件技术有限公司 一种请求处理方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101292282A (zh) * 2005-08-29 2008-10-22 沃伊斯博克斯科技公司 支持自然语言人机交互的移动系统和方法
CN106453470A (zh) * 2016-05-26 2017-02-22 杭州大穿越旅游策划有限公司 一种交互系统及方法
CN107169796A (zh) * 2017-05-12 2017-09-15 深圳市浩天投资有限公司 一种用户行为数据的分析方法、系统及计算机可读存储介质
CN108132768A (zh) * 2016-12-01 2018-06-08 中兴通讯股份有限公司 语音输入的处理方法，终端和网络服务器
CN109542216A (zh) * 2018-10-11 2019-03-29 平安科技（深圳）有限公司 人机交互方法、系统、计算机设备及存储介质

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004318862A (ja) 2003-03-28 2004-11-11 Sony Corp 情報提供装置及び方法、並びに情報提供システム
JP4038777B2 (ja) 2006-02-28 2008-01-30 ソニー株式会社 登録装置及び認証装置
CN102469064B (zh) * 2010-11-03 2016-05-11 中兴通讯股份有限公司 通信实现方法及通信设备
US10606353B2 (en) * 2012-09-14 2020-03-31 Interaxon Inc. Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data
JP6322927B2 (ja) 2013-08-14 2018-05-16 富士通株式会社 インタラクション装置、インタラクションプログラムおよびインタラクション方法
US10275583B2 (en) * 2014-03-10 2019-04-30 FaceToFace Biometrics, Inc. Expression recognition in messaging systems
JP6594646B2 (ja) 2015-04-10 2019-10-23 ヴイストン株式会社 ロボット及びロボット制御方法並びにロボットシステム
US10305895B2 (en) * 2015-04-14 2019-05-28 Blubox Security, Inc. Multi-factor and multi-mode biometric physical access control device
CN107370713A (zh) * 2016-05-11 2017-11-21 中兴通讯股份有限公司 一种人脸识别的登录认证方法、装置、终端及服务器
JP2017211932A (ja) * 2016-05-27 2017-11-30 大日本印刷株式会社 情報処理装置、情報処理システム、プログラム及び情報処理方法
JP6465077B2 (ja) * 2016-05-31 2019-02-06 トヨタ自動車株式会社 音声対話装置および音声対話方法
ITUA20164265A1 (it) * 2016-06-10 2017-12-10 Masi Ivano Tommaso Ippazio De Metodo e sistema dinamico di monitoraggio di un ambiente
US10468129B2 (en) * 2016-09-16 2019-11-05 David Lyle Schneider Biometric medical antifraud and consent system
JP2018049132A (ja) 2016-09-21 2018-03-29 トヨタ自動車株式会社 音声対話システムおよび音声対話方法
CN111611575A (zh) * 2016-10-13 2020-09-01 创新先进技术有限公司 基于虚拟现实场景的业务实现方法及装置
CN107357416A (zh) * 2016-12-30 2017-11-17 长春市睿鑫博冠科技发展有限公司 一种人机交互装置及交互方法
CN106790054A (zh) * 2016-12-20 2017-05-31 四川长虹电器股份有限公司 基于人脸识别和声纹识别的交互式认证系统及方法
JP6482037B2 (ja) 2017-02-06 2019-03-13 ソフトバンクロボティクス株式会社 制御装置、制御方法及び制御プログラム
CN107908472A (zh) * 2017-09-30 2018-04-13 平安科技（深圳）有限公司 数据同步装置、方法及计算机可读存储介质
CN108351707B (zh) * 2017-12-22 2021-07-30 达闼机器人有限公司 人机交互方法、装置、终端设备及计算机可读存储介质
CN107943449A (zh) * 2017-12-23 2018-04-20 河南智盈电子技术有限公司 一种基于面部表情识别的智能音响系统
CN112148922A (zh) * 2019-06-28 2020-12-29 鸿富锦精密工业(武汉)有限公司 会议记录方法、装置、数据处理设备及可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101292282A (zh) * 2005-08-29 2008-10-22 沃伊斯博克斯科技公司 支持自然语言人机交互的移动系统和方法
CN106453470A (zh) * 2016-05-26 2017-02-22 杭州大穿越旅游策划有限公司 一种交互系统及方法
CN108132768A (zh) * 2016-12-01 2018-06-08 中兴通讯股份有限公司 语音输入的处理方法，终端和网络服务器
CN107169796A (zh) * 2017-05-12 2017-09-15 深圳市浩天投资有限公司 一种用户行为数据的分析方法、系统及计算机可读存储介质
CN109542216A (zh) * 2018-10-11 2019-03-29 平安科技（深圳）有限公司 人机交互方法、系统、计算机设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688868A (zh) * 2021-07-21 2021-11-23 深圳市安软科技股份有限公司 一种多线程的图像处理方法及装置
CN113688868B (zh) * 2021-07-21 2023-08-22 深圳市安软科技股份有限公司 一种多线程的图像处理方法及装置
CN113887964A (zh) * 2021-10-08 2022-01-04 广州春晓信息科技有限公司 一种基于人机法的生产线仿真系统
CN113887964B (zh) * 2021-10-08 2022-04-19 广州春晓信息科技有限公司 一种基于人机法的生产线仿真系统

Also Published As

Publication number Publication date
SG11202100936UA (en) 2021-03-30
CN109542216A (zh) 2019-03-29
CN109542216B (zh) 2022-11-22
JP2021533501A (ja) 2021-12-02
US11842574B2 (en) 2023-12-12
JP7061228B2 (ja) 2022-04-27
US20210158066A1 (en) 2021-05-27

Similar Documents

Publication Publication Date Title
US11842574B2 (en) Man-machine interaction method and system, computer device, and storage medium
CN113452662B (zh) 建立会议、会议创建方法、设备、系统及存储介质
US10904483B2 (en) System and methods for automatic call initiation based on biometric data
CN108932946B (zh) 客需服务的语音交互方法和装置
WO2020119032A1 (zh) 基于生物特征的声源追踪方法、装置、设备及存储介质
CN208834377U (zh) 一种具有人脸识别功能的自助排队机及系统
CN111739553A (zh) 会议声音采集、会议记录以及会议记录呈现方法和装置
CN108920640B (zh) 基于语音交互的上下文获取方法及设备
US9196250B2 (en) Application services interface to ASR
WO2019137147A1 (zh) 一种在视频会议中识别身份的方法及相关设备
CN108810296B (zh) 一种智能外呼方法及装置
CN110188364B (zh) 基于智能眼镜的翻译方法、设备及计算机可读存储介质
CN112148922A (zh) 会议记录方法、装置、数据处理设备及可读存储介质
EP3249570A1 (en) Method and device for providing prompt indicating loss of terminal
CN108132768A (zh) 语音输入的处理方法，终端和网络服务器
CN113065879B (zh) 一种数据流质检方法及系统
CN111786945A (zh) 一种会议控制方法和装置
CN112542172A (zh) 基于在线会议的沟通辅助方法、装置、设备及介质
EP2733697A9 (en) Application services interface to ASR
CN111047358A (zh) 基于人脸识别的会员信息查询方法及系统
CN114417088A (zh) 业务处理方法、装置、计算机设备、存储介质和程序产品
CN114227702A (zh) 一种基于机器人的会议智能指引方法、装置和机器人
CN113628622A (zh) 语音交互方法、装置、电子设备及存储介质
JP7098561B2 (ja) 配信システム、配信システムの制御方法、プログラム
CN208781307U (zh) 一种注册机

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19872110

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021506544

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19872110

Country of ref document: EP

Kind code of ref document: A1