WO2021052149A1 - 一种智能远程协助方法、装置、计算机设备及存储介质 - Google Patents

一种智能远程协助方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
WO2021052149A1
WO2021052149A1 PCT/CN2020/112354 CN2020112354W WO2021052149A1 WO 2021052149 A1 WO2021052149 A1 WO 2021052149A1 CN 2020112354 W CN2020112354 W CN 2020112354W WO 2021052149 A1 WO2021052149 A1 WO 2021052149A1
Authority
WO
WIPO (PCT)
Prior art keywords
vector
wake
remote assistance
target
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2020/112354
Other languages
English (en)
French (fr)
Inventor
陈小翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2021052149A1 publication Critical patent/WO2021052149A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/4401—Bootstrapping
    • G06F9/4418—Suspend and resume; Hibernate and awake

Definitions

  • This application relates to the technical field of smart devices, and in particular to a smart remote assistance method, device, computer equipment, and storage medium.
  • An intelligent remote assistance method including:
  • the remote assistance wake-up vector is based on the collection of multiple users in need. Behavioral information when assisting is generated in advance as a sample;
  • each target behavior vector determine whether the maximum similarity value corresponding to each target behavior vector exceeds a preset threshold
  • An intelligent remote assistance device including:
  • Behavior information acquisition module for acquiring user behavior information collected by sensors
  • the first vectorization module is configured to perform vectorization processing on the user behavior information to obtain each target behavior vector
  • the similarity calculation module is used to calculate the similarity between each target behavior vector and each preset remote assistance wake-up vector to obtain each similarity value corresponding to each target behavior vector, and the remote assistance wake-up vector is based on The collected behavior information of multiple users when they need assistance is generated as a sample in advance;
  • the similarity judgment module is used for judging whether the maximum similarity value corresponding to each target behavior vector exceeds a preset threshold for each target behavior vector;
  • the request initiation module is configured to initiate a remote assistance request if there is at least one maximum similarity value corresponding to each target behavior vector that exceeds a preset threshold.
  • a computer device includes a memory, a processor, and a computer program that is stored in the memory and can run on the processor, and the processor implements the following steps when the processor executes the computer program:
  • the remote assistance wake-up vector is based on the collection of multiple users in need. Behavioral information when assisting is generated in advance as a sample;
  • each target behavior vector determine whether the maximum similarity value corresponding to each target behavior vector exceeds a preset threshold
  • a computer-readable storage medium stores a computer program, and when the computer program is executed by a processor, the following steps are implemented:
  • the remote assistance wake-up vector is based on the collection of multiple users in need. Behavioral information when assisting is generated in advance as a sample;
  • each target behavior vector determine whether the maximum similarity value corresponding to each target behavior vector exceeds a preset threshold
  • FIG. 1 is a schematic diagram of an application environment of an intelligent remote assistance method in an embodiment of the present application
  • FIG. 2 is a flowchart of an intelligent remote assistance method in an embodiment of the present application
  • FIG. 3 is a schematic flowchart of a remote assistance wake-up vector generated in an application scenario by the intelligent remote assistance method in an embodiment of the present application;
  • FIG. 4 is a schematic flowchart of step 105 of the intelligent remote assistance method in an application scenario in an embodiment of the present application
  • FIG. 5 is a schematic flowchart of step 403 of the intelligent remote assistance method in an application scenario in an embodiment of the present application
  • FIG. 6 is a schematic structural diagram of the intelligent remote assistance device in the first application scenario in an embodiment of the present application.
  • FIG. 7 is a schematic structural diagram of a similarity calculation module 603 in an embodiment of the present application.
  • FIG. 8 is a schematic structural diagram of an intelligent remote assistance device in a second application scenario in an embodiment of the present application.
  • Fig. 9 is a schematic diagram of a computer device in an embodiment of the present application.
  • the intelligent remote assistance method provided by this application can be applied in the application environment as shown in Fig. 1, in which the terminal device communicates with the server through the network.
  • the terminal device can be, but is not limited to, various personal computers, notebook computers, smart phones, tablet computers, and portable wearable devices.
  • the server can be implemented as an independent server or a server cluster composed of multiple servers.
  • an intelligent remote assistance method is provided. Taking the method applied to the terminal device in FIG. 1 as an example for description, the method includes the following steps:
  • multiple sensors may be installed on the terminal device. These sensors include sound sensors, image sensors, gravity sensors, etc., and these sensors may collect behavior information of the user wearing or carrying the terminal device, thereby combining these sensors. The user behavior information is submitted to the terminal device for processing.
  • the user behavior information includes the user's voice information, facial expression information, and physical movement information.
  • the terminal device can be equipped with external sound sensors and image sensors to collect the user's voice and facial expression images, thereby obtaining voice information and facial expressions.
  • Expression information in addition, the user may be required to wear a personal motion capture sensor at the main joints of the body, and the user’s body motion information can be collected through the sensor.
  • the user behavior information should be vectorized to obtain each vectorized data matrix, that is, each target behavior vector .
  • the user behavior information may include the user's voice information, facial expression information, and body motion information. Therefore, after vectorizing it, the voice feature vector, facial feature vector, and body motion vector can be obtained accordingly. It can be seen that, in this embodiment, the target behavior vector can be divided into a voice feature vector, a facial feature vector, and a body motion vector. The processing of these target behavior vectors will be described in detail in the content of the subsequent steps.
  • multiple remote assistance wake-up vectors may be preset on the terminal device. These remote assistance wake-up vectors are pre-generated as samples from the pre-collected behavior information of multiple users when they need assistance. It is understandable that, Since the remote assistance wake-up vector collects behavior information from users when they need assistance, such as voice information, facial expression information, and body movement information, it can be seen that when the currently collected user behavior information is converted, the target behavior vector is consistent with any remote When the similarity of the assistance wake-up vector is high enough, it can be considered that the current user has also encountered a situation that requires remote assistance. Therefore, the present application can finally determine whether the user is currently in a state requiring remote assistance by calculating the similarity between each target behavior vector and each preset remote assistance wake-up vector.
  • the target behavior vector is a voice feature vector, a facial feature vector, or a body motion vector. It can be seen that when calculating the similarity of the target behavior vector, the similarity between the voice feature vector and the remote assistance wake-up vector, the similarity between the facial feature vector and the remote assistance wake-up vector, the body motion vector and the remote assistance wake-up The similarity between vectors. Therefore, the foregoing step 103 may specifically include:
  • the target behavior vector is a voice feature vector
  • the target behavior vector is a facial feature vector
  • the target behavior vector is a limb movement vector
  • use the Jaccard coefficient to calculate the similarity between the limb movement vector and each preset remote assistance wake-up vector, to obtain each similarity value corresponding to the limb movement vector .
  • the simhash algorithm can be used to calculate the similarity between the voice feature vector and each preset remote assistance wake-up vector to obtain the voice Each similarity value corresponding to the feature vector.
  • the remote assistance wake-up vector can also be divided into a voice wake-up vector, a facial feature wake-up vector, and a motion wake-up vector.
  • the simhash algorithm is a text similarity algorithm, which can use the vector space model (VSM), that is, the text is segmented first, the features are extracted, the text vector is established based on the features, and the calculation of the similarity between the texts is converted into the feature vector distance , So that the similarity between the voice feature vector and each voice wake-up vector can be calculated.
  • VSM vector space model
  • the cosine similarity algorithm can be used to calculate the similarity between the facial feature vector and each preset remote assistance wake-up vector to obtain Each similarity value corresponding to the facial feature vector.
  • the remote assistance wake-up vector can also be divided into a voice wake-up vector, a facial feature wake-up vector, and a motion wake-up vector.
  • the cosine similarity algorithm can be applied to the calculation of the similarity of face features.
  • the cosine value of the angle between two vectors in the vector space is used as a measure of the difference between two individuals. The closer the value is to 1, the angle is indicated. The closer the angle is to 0°, that is, the more similar the two vectors are, and the more similar the facial expression features are in this embodiment. It is understandable that when people encounter emergencies, there are many similarities in their facial expression reactions and changes. For example, when people are frightened, their pupils will shrink, their eyes will widen, their mouths will widen, and so on. Therefore, in this embodiment, by judging whether the vector corresponding to the facial feature is sufficiently similar to the preset facial feature wake-up vector, it can be used as one of the basis for judging whether the current user encounters a situation requiring assistance.
  • the Jaccard coefficient can be used to calculate the similarity between the limb movement vector and each preset remote assistance wake-up vector to obtain the limb Each similarity value corresponding to the action vector.
  • the remote assistance wake-up vector can also be divided into a voice wake-up vector, a facial feature wake-up vector, and a motion wake-up vector.
  • the Jaccard coefficient is also called the Jaccard similarity coefficient (Jaccard similarity coefficient) to compare the similarity and difference between a limited sample set.
  • the array of, B represents the array for storing remote assistance wake-up information, the value range of J(A,B) is [0,1] and indicates the similarity between A and B. It is understandable that when the results are similar The closer the degree value is to 1, the higher the similarity, which means that the two are more matched, the closer the obtained similarity value is to 0, and the lower the similarity is, the more mismatched the two.
  • the remote assistance wake-up vector in this embodiment is equivalent to a reference standard for judging whether the user has entered a situation requiring assistance. Therefore, the setting of the remote assistance wake-up vector is very important.
  • the remote assistance wake-up vector may include a voice wake-up vector, a facial feature wake-up vector, and an action wake-up vector. As shown in Figure 3, these remote assistance wake-up vectors can be specifically generated in advance through the following steps:
  • behavior information of multiple users when they need assistance where the behavior information includes voice information, facial expression information, and body movement information;
  • step 301 in actual operation, multiple volunteers can be invited to participate in a simulation experiment, so that these volunteers encounter situations requiring assistance, and the behavior information of each volunteer is recorded, so as to collect a large amount of behavior information as samples.
  • the voice information in the behavior information can be firstly subjected to voice recognition to obtain the voice text, and then the keywords in the voice text are extracted, and finally the extracted Each keyword is vectorized to obtain each voice wake-up vector.
  • facial feature recognition can be performed on the facial expression information first, and each facial expression feature can be extracted, and then the extracted facial expression information The feature is vectorized to obtain the wake-up vector of each facial feature.
  • the limb movement information in the behavior information can be recognized first, and each limb movement feature is extracted, and then the respective limb movement characteristics are vectored. Through chemical processing, the wake-up vector of each action is obtained.
  • steps 302-304 there is no strict sequence between steps 302-304, steps 305-306, and steps 307-308. Steps 305-306 can be performed first, steps 307-308 can be performed first, or they can be performed first. Steps 302-304 can even be executed at the same time in three parts, such as parallel processing in a multi-threaded manner, which is not specifically limited in this embodiment.
  • each target behavior vector determines whether the maximum similarity value corresponding to each target behavior vector exceeds a preset threshold
  • the preset threshold is preset, and only when the similarity value between the target behavior vector and the remote assistance wake-up vector reaches the preset threshold, can the user's behavior be considered sufficient to be recognized as the The user is in a situation that requires remote assistance. Therefore, the terminal device can determine whether the maximum similarity value corresponding to each target behavior vector exceeds the preset threshold, and if it reaches, execute step 105; otherwise, it is considered that the user does not need remote assistance and does not need to be bothered.
  • the terminal device can initiate a remote assistance request to the server, the server sends a message to the assisting party according to the remote assistance request. For example, it can send a request message to the user’s relatives or friends, so that the user’s relatives or friends can learn about the user at the first time. Provide timely assistance.
  • step 105 may specifically include:
  • the remote assistance wake-up vector corresponding to the maximum similarity value of each target vector can be determined, so as to determine which behaviors the user currently needs assistance.
  • the correspondence relationship between each remote assistance wake-up vector and each preset request operation is preset, and these correspondence relationships are recorded in the behavior request correspondence relationship, which can be stored in the form of a table. It can also be stored in the database.
  • the corresponding relationship between the remote assistance wake-up vector and the requested operation can be, for example, the "help" voice corresponds to dialing 110, the vector characterizing "shortness of breath” corresponds to dialing 120, and it characterizing "eyes closed + mouth open”.
  • the vector of "on” corresponds to the sound and light alarm, and so on. It can be seen that by pre-corresponding these remote assistance wake-up vectors with each request operation, different emergencies of users can be efficiently dealt with, and multiple assistance needs of users can be dealt with at the same time.
  • the determined request operation here may be one, two or more, and the terminal device may execute each determined request operation separately when performing step 403.
  • the requested operation determined in step 402 includes dialing 110 calls and dialing 120 calls.
  • a terminal device initiates a call operation. Yes, in this case, you can select the request operation with higher priority to execute, and discard other minor request operations, so as to improve the user experience to a certain extent.
  • the step 403 may include:
  • each request operation preset in this embodiment may be correspondingly set with priority, for example, making a 120 call has priority over making a 110 call, sending an audible and visual alarm has priority over sending a message to a preset contact, and so on.
  • the preset priority of these requested operations can be set to three levels of high, medium, and low, or can be set to levels 1-10, which can be specifically determined according to actual usage conditions, which is not limited in this embodiment.
  • step 502 it can be understood that there may be multiple request operations with the highest priority in each request operation. For example, assuming that the preset priority is divided into three high, middle and low levels, there are three high priority operations in the determined request operations. The three high-priority request operations are all extracted as target request operations.
  • step 503 it can be known that after the target request operation is extracted, the terminal device can perform the target request operation.
  • the user behavior information collected by the sensor is obtained; then, the user behavior information is vectorized to obtain each target behavior vector; then, each target behavior vector and the preset
  • the similarity between each remote assistance wake-up vector is obtained to obtain each similarity value corresponding to each target behavior vector, the remote assistance wake-up vector is generated in advance as a sample based on the collected behavior information of multiple users when they need assistance; For each target behavior vector, determine whether the maximum similarity value corresponding to each target behavior vector exceeds a preset threshold; if there is at least one maximum similarity value corresponding to each target behavior vector that exceeds the preset threshold , Then initiate a remote assistance request.
  • this application can actively determine whether the user needs assistance by calculating the similarity between the vector corresponding to the user's behavior and the preset remote wake-up vector.
  • the user When the user needs assistance, it initiates a remote assistance request for the user without the user's complicated Operation improves the convenience and efficiency of requesting assistance.
  • an intelligent remote assistance device corresponds to the intelligent remote assistance method in the above-mentioned embodiment one-to-one.
  • the intelligent remote assistance device includes a behavior information acquisition module 601, a first vectorization module 602, a similarity calculation module 603, a similarity judgment module 604, and a request initiation module 605.
  • the detailed description of each functional module is as follows:
  • Behavior information acquisition module 601 configured to acquire user behavior information collected by sensors
  • the first vectorization module 602 is configured to perform vectorization processing on the user behavior information to obtain each target behavior vector;
  • the similarity calculation module 603 is configured to calculate the similarity between each target behavior vector and each preset remote assistance wake-up vector to obtain each similarity value corresponding to each target behavior vector.
  • the remote assistance wake-up vector is Pre-generated as a sample based on the collected behavior information of multiple users when they need assistance;
  • the similarity determination module 604 is configured to determine whether the maximum similarity value corresponding to each target behavior vector exceeds a preset threshold for each target behavior vector;
  • the request initiating module 605 is configured to initiate a remote assistance request if there is at least one maximum similarity value corresponding to each target behavior vector that exceeds a preset threshold.
  • the target behavior vector may be a voice feature vector, a facial feature vector, or a body motion vector
  • the similarity calculation module 603 may include:
  • the voice similarity calculation unit 6031 is configured to use the simhash algorithm to calculate the similarity between the voice feature vector and each preset remote assistance wake-up vector when the target behavior vector is a voice feature vector to obtain the voice feature Each similarity value corresponding to the vector;
  • the facial similarity calculation unit 6032 is configured to use a cosine similarity algorithm to calculate the similarity between the facial feature vector and each preset remote assistance wake-up vector when the target behavior vector is a facial feature vector to obtain the Each similarity value corresponding to the facial feature vector;
  • the action similarity calculation unit 6033 is configured to use the Jaccard coefficient to calculate the similarity between the body action vector and each preset remote assistance wake-up vector when the target action vector is a body action vector, to obtain the body action Each similarity value corresponding to the vector.
  • the remote assistance wake-up vector may include a voice wake-up vector, a facial feature wake-up vector, and an action wake-up vector;
  • the various remote assistance wake-up vectors can be generated in advance through the following modules:
  • the behavior information collection module 606 is configured to collect behavior information of multiple users when they need assistance, and the behavior information includes voice information, facial expression information, and body movement information;
  • the voice recognition module 607 is configured to perform voice recognition on the voice information to obtain voice text;
  • the keyword extraction module 608 is used to extract keywords in the voice text
  • the keyword vectorization module 609 is used to vectorize each extracted keyword to obtain each voice wake-up vector
  • the facial feature recognition module 610 is configured to perform facial feature recognition on the facial expression information, and extract various facial expression features;
  • the facial feature vectorization module 611 is configured to perform vectorization processing on the extracted facial expression features to obtain each facial feature wake-up vector;
  • the action recognition module 612 is configured to perform body action recognition on the body action information, and extract features of each body action;
  • the motion feature vectorization module 613 is configured to perform vectorization processing on each limb motion feature to obtain each motion wake-up vector.
  • the request initiation module may include:
  • the matching vector determining unit is used to determine the remote assistance wake-up vector corresponding to the maximum similarity value of each target vector as a matching vector, and the target vector refers to a target behavior vector whose maximum similarity value exceeds a preset threshold;
  • the request operation determining unit is configured to determine each request operation corresponding to each matching vector according to the preset behavior request correspondence relationship, and the behavior request correspondence relationship records the difference between each remote assistance wake-up vector and each preset request operation Correspondence between;
  • the operation execution unit is used to execute each determined requested operation.
  • operation execution unit may include:
  • a priority obtaining subunit configured to obtain the determined preset priority of each requested operation
  • the operation extraction subunit is configured to extract the request operation with the highest preset priority among the various request operations as the target request operation;
  • the operation execution subunit is used to execute the target requested operation.
  • Each module in the above-mentioned intelligent remote assistance device can be implemented in whole or in part by software, hardware, and a combination thereof.
  • the above-mentioned modules may be embedded in the form of hardware or independent of the processor in the computer equipment, or may be stored in the memory of the computer equipment in the form of software, so that the processor can call and execute the operations corresponding to the above-mentioned modules.
  • a computer device is provided.
  • the computer device may be a terminal, and its internal structure diagram may be as shown in FIG. 9.
  • the computer equipment includes a processor, a memory, a network interface, a sensor, and an input device connected through a system bus.
  • the processor of the computer device is used to provide calculation and control capabilities.
  • the memory may be volatile or non-volatile.
  • the network interface of the computer device is used to communicate with an external server through a network connection.
  • the computer program is executed by the processor to realize an intelligent remote assistance method.
  • a computer device including a memory, a processor, and a computer program stored in the memory and running on the processor.
  • the processor executes the computer program
  • the intelligent remote assistance method in the above-mentioned embodiment is implemented. Steps, such as step 101 to step 105 shown in FIG. 2.
  • the processor executes the computer program
  • the function of each module/unit of the intelligent remote assistance device in the above-mentioned embodiment is realized, for example, the functions of the modules 601 to 605 shown in FIG. 6. To avoid repetition, I won’t repeat them here.
  • a computer-readable storage medium on which a computer program is stored.
  • the steps of the intelligent remote assistance method in the above embodiment are realized, for example, step 101 shown in FIG. 2 Go to step 105.
  • the functions of the modules/units of the intelligent remote assistance device in the above-mentioned embodiments are realized, for example, the functions of the modules 601 to 605 shown in FIG. To avoid repetition, I won’t repeat them here.
  • Non-volatile memory may include read-only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), or flash memory.
  • Volatile memory may include random access memory (RAM) or external cache memory.
  • RAM is available in many forms, such as static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), double data rate SDRAM (DDRSDRAM), enhanced SDRAM (ESDRAM), synchronous chain Channel (Synchlink) DRAM (SLDRAM), memory bus (Rambus) direct RAM (RDRAM), direct memory bus dynamic RAM (DRDRAM), and memory bus dynamic RAM (RDRAM), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本申请公开了一种智能远程协助方法，应用于智能设备技术领域，用于解决如何主动为用户发起远程协助请求的问题。本申请提供的方法包括：获取由传感器采集的用户行为信息；对用户行为信息进行向量化处理，得到各个目标行为向量；分别计算各个目标行为向量与预设的各个远程协助唤醒向量之间的相似度，得到各个相似度值，远程协助唤醒向量是根据收集的多个用户在需要协助时的行为信息作为样本预先生成的；针对每个目标行为向量，判断每个目标行为向量对应的最大相似度值是否超过预设阈值；若存在至少一个每个目标行为向量对应的最大相似度值超过预设阈值，则发起远程协助请求。本申请还提供智能远程协助装置、计算机设备及存储介质。

Description

一种智能远程协助方法、装置、计算机设备及存储介质
本申请要求于2019年09月16日提交中国专利局、申请号为CN201910870804.X、名称为“一种智能远程协助方法、装置、计算机设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及智能设备技术领域，尤其涉及一种智能远程协助方法、装置、计算机设备及存储介质。
 背景技术
随着科技的进步和技术的发展，各种智能移动终端已经在社会相当普及了，特别是智能手机。这些移动终端拥有着强大的功能，结合各种应用软件极大地方便了我们的生活。
 技术问题
随着智能移动终端产品功能的强大，发明人意识到，其操作也日趋纷繁复杂，导致很多年纪比较大的老人在使用过程中会遇到各种各样的麻烦而不知道该怎么处理，通常是需要主动打电话给其他用户或者请求他人提供帮助，又或是打开特定的软件请求远程协助，但这种沟通方式需要用户进行一定的操作，当遇到紧急情况时，往往不能很好的帮助用户解决相关问题。
因此，寻找一种能在用户需要帮助时自动请求远程协助的方法成为本技术领域亟需解决的问题。
 技术解决方案
一种智能远程协助方法，包括：
获取由传感器采集的用户行为信息；
对所述用户行为信息进行向量化处理，得到各个目标行为向量；
分别计算所述各个目标行为向量与预设的各个远程协助唤醒向量之间的相似度，得到各个目标行为向量对应的各个相似度值，所述远程协助唤醒向量是根据收集的多个用户在需要协助时的行为信息作为样本预先生成的；
针对每个目标行为向量，判断所述每个目标行为向量对应的最大相似度值是否超过预设阈值；
若存在至少一个所述每个目标行为向量对应的最大相似度值超过预设阈值，则发起远程协助请求。
一种智能远程协助装置，包括：
行为信息获取模块，用于获取由传感器采集的用户行为信息；
第一向量化模块，用于对所述用户行为信息进行向量化处理，得到各个目标行为向量；
相似度计算模块，用于分别计算所述各个目标行为向量与预设的各个远程协助唤醒向量之间的相似度，得到各个目标行为向量对应的各个相似度值，所述远程协助唤醒向量是根据收集的多个用户在需要协助时的行为信息作为样本预先生成的；
相似度判断模块，用于针对每个目标行为向量，判断所述每个目标行为向量对应的最大相似度值是否超过预设阈值；
请求发起模块，用于若存在至少一个所述每个目标行为向量对应的最大相似度值超过预设阈值，则发起远程协助请求。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下步骤：
获取由传感器采集的用户行为信息；
对所述用户行为信息进行向量化处理，得到各个目标行为向量；
分别计算所述各个目标行为向量与预设的各个远程协助唤醒向量之间的相似度，得到各个目标行为向量对应的各个相似度值，所述远程协助唤醒向量是根据收集的多个用户在需要协助时的行为信息作为样本预先生成的；
针对每个目标行为向量，判断所述每个目标行为向量对应的最大相似度值是否超过预设阈值；
若存在至少一个所述每个目标行为向量对应的最大相似度值超过预设阈值，则发起远程协助请求
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
获取由传感器采集的用户行为信息；
对所述用户行为信息进行向量化处理，得到各个目标行为向量；
分别计算所述各个目标行为向量与预设的各个远程协助唤醒向量之间的相似度，得到各个目标行为向量对应的各个相似度值，所述远程协助唤醒向量是根据收集的多个用户在需要协助时的行为信息作为样本预先生成的；
针对每个目标行为向量，判断所述每个目标行为向量对应的最大相似度值是否超过预设阈值；
若存在至少一个所述每个目标行为向量对应的最大相似度值超过预设阈值，则发起远程协助请求
 附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例中智能远程协助方法的一应用环境示意图；
图2是本申请一实施例中智能远程协助方法的一流程图；
图3是本申请一实施例中智能远程协助方法在一个应用场景下生成远程协助唤醒向量的流程示意图；
图4是本申请一实施例中智能远程协助方法步骤105在一个应用场景下的流程示意图；
图5是本申请一实施例中智能远程协助方法步骤403在一个应用场景下的流程示意图；
图6是本申请一实施例中智能远程协助装置在第一个应用场景下的结构示意图；
图7是本申请一实施例中相似度计算模块603的结构示意图；
图8是本申请一实施例中智能远程协助装置在第二个应用场景下的结构示意图；
图9是本申请一实施例中计算机设备的一示意图。
 本发明的实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提供的智能远程协助方法，可应用在如图1的应用环境中，其中，终端设备通过网络与服务器进行通信。其中，终端设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种智能远程协助方法，以该方法应用在图1中的终端设备为例进行说明，包括如下步骤：
101、获取由传感器采集的用户行为信息；
本实施例中，该终端设备上可以安装有多个传感器，这些传感器包括声音传感器、图像传感器、重力感应传感器等，这些传感器可以采集到佩戴或携带该终端设备的用户的行为信息，从而将这些用户行为信息提交给终端设备进行处理。
其中，所述用户行为信息包括用户的语音信息、面部表情信息和肢体动作信息，比如，该终端设备可以外置声音传感器和图像传感器来采集用户的语音和面部表情图像，从而得到语音信息和面部表情信息；另外，可以要求用户佩戴贴身的动作捕捉传感器在身体的主要关节，通过传感器采集到该用户的肢体动作信息。
102、对所述用户行为信息进行向量化处理，得到各个目标行为向量；
可以理解的是，终端设备在获取到这些用户行为信息之后，为了便于后续数据分析和处理，应当将这些用户行为信息进行向量化处理，得到各个向量化后的数据矩阵，也即各个目标行为向量。
需要说明的是，所述用户行为信息可以包括用户的语音信息、面部表情信息和肢体动作信息，因此，对其进行向量化后，相应可以得到语音特征向量、面部特征向量和肢体动作向量。可知，本实施例中，该目标行为向量可以分为语音特征向量、面部特征向量和肢体动作向量。对这些目标行为向量的处理将在后续步骤的内容中详细描述。
103、分别计算所述各个目标行为向量与预设的各个远程协助唤醒向量之间的相似度，得到各个目标行为向量对应的各个相似度值，所述远程协助唤醒向量是根据收集的多个用户在需要协助时的行为信息作为样本预先生成的；
本实施例中，该终端设备上可以预先设置有多个远程协助唤醒向量，这些远程协助唤醒向量来自于预先收集的多个用户在需要协助时的行为信息作为样本预先生成，可以理解的是，由于远程协助唤醒向量均采集来自用户在需要协助时的行为信息，比如语音信息、、面部表情信息和肢体动作信息，可知，当当前采集到的用户行为信息转化得到的目标行为向量与任意一个远程协助唤醒向量相似度足够高时，可以认为当前的用户也遭遇到了需要远程协助的情形。因此，本申请可以通过计算所述各个目标行为向量与预设的各个远程协助唤醒向量之间的相似度，来最终判定该用户当前是否处于需要远程协助的状态。
由上述内容可知，所述目标行为向量为语音特征向量、面部特征向量或肢体动作向量。可知，在计算目标行为向量的相似度时，需要分别对语音特征向量与远程协助唤醒向量之间的相似度、面部特征向量与远程协助唤醒向量之间的相似度、肢体动作向量与远程协助唤醒向量之间的相似度。因此，上述步骤103具体可以包括：
201、当所述目标行为向量为语音特征向量时，利用simhash算法计算所述语音特征向量与预设的各个远程协助唤醒向量之间的相似度，得到所述语音特征向量对应的各个相似度值；
202、当所述目标行为向量为面部特征向量时，利用余弦相似度算法计算所述面部特征向量与预设的各个远程协助唤醒向量之间的相似度，得到所述面部特征向量对应的各个相似度值；
203、当所述目标行为向量为肢体动作向量时，利用Jaccard系数计算所述肢体动作向量与预设的各个远程协助唤醒向量之间的相似度，得到所述肢体动作向量对应的各个相似度值。
对于步骤201，可以理解的是，当所述目标行为向量为语音特征向量时，可以利用simhash算法计算所述语音特征向量与预设的各个远程协助唤醒向量之间的相似度，得到所述语音特征向量对应的各个相似度值。具体地，由于远程协助唤醒向量的来源各不相同，该远程协助唤醒向量也可以分为语音唤醒向量、面部特征唤醒向量和动作唤醒向量，在针对语音特征向量计算相似度时，可以仅计算该语音特征向量与各个语音唤醒向量之间的相似度。
其中，simhash算法为一种文本相似度算法，其可以使用向量空间模型(VSM)，即先对文本分词，提取特征，根据特征建立文本向量，把文本之间相似度的计算转化为特征向量距离的计算，从而可以计算出语音特征向量与各个语音唤醒向量之间的相似度。
对于上述步骤202，可以理解的是，当所述目标行为向量为面部特征向量时，可以利用余弦相似度算法计算所述面部特征向量与预设的各个远程协助唤醒向量之间的相似度，得到所述面部特征向量对应的各个相似度值。具体地，由于远程协助唤醒向量的来源各不相同，该远程协助唤醒向量也可以分为语音唤醒向量、面部特征唤醒向量和动作唤醒向量，在针对面部特征向量计算相似度时，可以仅计算该面部特征向量与各个面部特征唤醒向量之间的相似度。
其中，余弦相似度算法可适用于人脸特征的相似度计算，用向量空间中的两个向量夹角的余弦值作为衡量两个个体间差异大小的度量，值越接近1，就说明夹角角度越接近0°，也就是两个向量越相似，本实施例中即面部表情特征越相近似。可以理解的是，人在遭遇突发情况时，其面部表情的反应和变化是存在诸多近似之处的，比如在遭受惊吓时，人的瞳孔会收缩、眼睛睁大、嘴巴张大等等。因此，本实施例通过判断面部特征对应的向量与预设的面部特征唤醒向量之间是否足够相似，可以作为判定当前用户是否遭遇需要协助情形的依据之一。
对于步骤203，可以理解的是，当所述目标行为向量为肢体动作向量时，可以利用Jaccard系数计算所述肢体动作向量与预设的各个远程协助唤醒向量之间的相似度，得到所述肢体动作向量对应的各个相似度值。具体地，由于远程协助唤醒向量的来源各不相同，该远程协助唤醒向量也可以分为语音唤醒向量、面部特征唤醒向量和动作唤醒向量，在针对肢体动作向量计算相似度时，可以仅计算该肢体动作向量与各个动作唤醒向量之间的相似度。
其中，Jaccard系数又称为Jaccard相似系数（Jaccard similarity coefficient）用于比较有限样本集之间的相似性与差异性。Jaccard系数值越大，样本相似度越高。其计算公式为J(A,B)=｜A∩B｜/｜A∪B｜=｜A∩B｜/｜A｜+｜B｜-｜A∩B｜其中，A表示存储用户特征向量的数组，B表示存储远程协助唤醒信息的数组，J(A,B)的取值范围为[0,1]且表明了A和B之间的相似度，可以理解的是，当得到的相似度值越接近1，相似度越高，表示两者越匹配，得到的相似度值越接近0，相似度越低，表示两者越不匹配。
可以理解的是，本实施例中的远程协助唤醒向量相当于判断用户是否进入了需要协助情形的参考标准，因此，所述远程协助唤醒向量的设定至关重要。下面将对如何进行远程协助唤醒向量进行详细描述。需要说明的是，本实施例中，所述远程协助唤醒向量可以包括语音唤醒向量、面部特征唤醒向量和动作唤醒向量。如图3所示，这些远程协助唤醒向量具体可以通过以下步骤预先生成：
301、收集多个用户在需要协助时的行为信息，所述行为信息包括语音信息、面部表情信息和肢体动作信息；
302、对所述语音信息进行语音识别，得到语音文本；
303、提取所述语音文本中的关键词；
304、对提取到的各个关键词进行向量化处理，得到各个语音唤醒向量；
305、对所述面部表情信息进行面部特征识别，提取得到各个面部表情特征；
306、对提取得到的所述各个面部表情特征进行向量化处理，得到各个面部特征唤醒向量；
307、对所述肢体动作信息进行肢体动作识别，提取得到各个肢体动作特征；
308、对所述各个肢体动作特征进行向量化处理，得到各个动作唤醒向量。
对于步骤301，在实际操作中，可以邀请多名自愿者参加模拟实验，让这些自愿者遭遇需要请求协助的情形，并记录各个自愿者的行为信息，从而收集到大量的行为信息作为样本。
对于步骤302-304，可以理解的是，针对行为信息中的语音信息，可以先对所述语音信息进行语音识别，得到语音文本，然后提取所述语音文本中的关键词，最后对提取到的各个关键词进行向量化处理，得到各个语音唤醒向量。
对于步骤305-306，可以理解的是，针对行为信息中的面部表情信息，可以先对所述面部表情信息进行面部特征识别，提取得到各个面部表情特征，然后对提取得到的所述各个面部表情特征进行向量化处理，得到各个面部特征唤醒向量。
对于步骤307-308，可以理解的是，针对行为信息中的肢体动作信息，可以先对所述肢体动作信息进行肢体动作识别，提取得到各个肢体动作特征，然后对所述各个肢体动作特征进行向量化处理，得到各个动作唤醒向量。
需要说明的是，上述步骤302-304、步骤305-306以及步骤307-308之间没有严格的先后顺序之分，可以先执行步骤305-306，可以先执行步骤307-308，也可以先执行步骤302-304，甚至可以三个部分同时执行，比如采用多线程的方式并行处理，对此本实施例不作具体限定。
104、针对每个目标行为向量，判断所述每个目标行为向量对应的最大相似度值是否超过预设阈值；
本实施例中，预先设置有所述预设阈值，只有当目标行为向量与与远程协助唤醒向量之间的相似度值达到所述预设阈值时，才能认为该用户的行为足够被认定为该用户正处于需要远程协助的情形。因此，该终端设备可以判断各个目标行为向量各自对应的最大相似度值是否超过预设阈值，若达到，则执行步骤105，否则，则认为该用户尚不需要远程协助，无需理会即可。
105、若存在至少一个所述每个目标行为向量对应的最大相似度值超过预设阈值，则发起远程协助请求。
可以理解的是，若存在至少一个所述每个目标行为向量对应的最大相似度值超过预设阈值，说明该用户至少存在一个行为特征满足需要协助的条件，可以认定该用户需要远程协助，此时终端设备可以向服务器发起远程协助请求，由服务器根据该远程协助请求向协助方发送消息，比如可以向该用户的亲人或好友发送请求消息，便于用户的亲人或好友第一时间得知该用户的状况并及时给予援助。
考虑到可能存在两个以上的目标行为向量对应的最大相似度值超过预设阈值，这说明该用户可能存在多项协助需求，为了满足用户的需求和增加方案的实用性，可以针对用户的各项协助需求分别处理。如图4所示，具体地，上述步骤105具体可以包括：
401、确定各个达标向量的最大相似度值所对应的远程协助唤醒向量，作为匹配向量，所述达标向量是指最大相似度值超过预设阈值的目标行为向量；
402、根据预设的行为请求对应关系确定出与所述各个匹配向量对应的各个请求操作，所述行为请求对应关系记录了各个远程协助唤醒向量与预设的各个请求操作之间的对应关系；
403、执行确定出的各个请求操作。
对于步骤401，在判断得知哪些目标行为向量为达标向量之后，可以确定出各个达标向量的最大相似度值所对应的远程协助唤醒向量，从而确定出用户当前需要协助的行为是哪些行为。
对于步骤402，本实施例中，预先设定了各个远程协助唤醒向量与预设的各个请求操作之间的对应关系，这些对应关系记录在所述行为请求对应关系中，可以以表格的形式存储起来，也可以存在数据库中。为便于理解，远程协助唤醒向量与请求操作之间的对应关系比如可以为：“求救”语音与拨打110电话对应、表征“呼吸急促”的向量与拨打120电话对应、表征“眼睛闭合+嘴巴张开”的向量与声光报警对应，等等。可见，预先将这些远程协助唤醒向量与各个请求操作对应起来，可以高效地应对用户的不同突发状况，且可以同时针对用户的多项协助需求进行相应的处理。
对于步骤403，在步骤402确定出各个请求操作之后，这里确定出的请求操作可以是一个、两个或多个，该终端设备执行步骤403时对确定出的各个请求操作分别执行即可。
优选地，考虑到不同的请求操作之间可能存在重复执行的可能，比如步骤402确定出的请求操作有包括了拨打110电话和拨打120电话，一般来说一个终端设备发起一个拨打电话的操作即可，因此面对这种情况可以选取其中优先级更高的请求操作执行，舍弃其它次要的请求操作，一定程度上提升用户的使用体验。如图5所示，具体地，所述步骤403可以包括：
501、获取确定出的所述各个请求操作的预设优先级；
502、提取所述各个请求操作中预设优先级最高的请求操作作为目标请求操作；
503、执行所述目标请求操作。
对于步骤501，本实施例中预设的各个请求操作可以对应设置有优先级，比如拨打120电话优先于拨打110电话，发出声光报警优先于向预设联系人发送信息，等等。具体地，这些请求操作的预设优先级可以设置为高、中、低三档，也可以设置为1-10级，具体可以根据实际使用情况确定，本实施例不作限定。
对于步骤502，可以理解的是，各个请求操作中可以存在多个优先级最高的请求操作，比如，假设预设优先级分为高中低三档，确定出的请求操作中存在3个高优先级的请求操作，则这3个高优先级的请求操作均被提取为目标请求操作。
对于步骤503，可知，在提取得到目标请求操作之后，该终端设备可以执行所述目标请求操作。
本申请实施例中，首先，获取由传感器采集的用户行为信息；然后，对所述用户行为信息进行向量化处理，得到各个目标行为向量；接着，分别计算所述各个目标行为向量与预设的各个远程协助唤醒向量之间的相似度，得到各个目标行为向量对应的各个相似度值，所述远程协助唤醒向量是根据收集的多个用户在需要协助时的行为信息作为样本预先生成的；再之，针对每个目标行为向量，判断所述每个目标行为向量对应的最大相似度值是否超过预设阈值；若存在至少一个所述每个目标行为向量对应的最大相似度值超过预设阈值，则发起远程协助请求。可见，本申请可以通过计算用户行为对应的向量与预设的远程唤醒向量之间的相似度来主动判断用户是否需要协助，当用户需要协助时，为用户发起远程协助请求，无需用户进行复杂的操作，提高了请求协助的便利性和效率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在一实施例中，提供一种智能远程协助装置，该智能远程协助装置与上述实施例中智能远程协助方法一一对应。如图6所示，该智能远程协助装置包括行为信息获取模块601、第一向量化模块602、相似度计算模块603、相似度判断模块604和请求发起模块605。各功能模块详细说明如下：
行为信息获取模块601，用于获取由传感器采集的用户行为信息；
第一向量化模块602，用于对所述用户行为信息进行向量化处理，得到各个目标行为向量；
相似度计算模块603，用于分别计算所述各个目标行为向量与预设的各个远程协助唤醒向量之间的相似度，得到各个目标行为向量对应的各个相似度值，所述远程协助唤醒向量是根据收集的多个用户在需要协助时的行为信息作为样本预先生成的；
相似度判断模块604，用于针对每个目标行为向量，判断所述每个目标行为向量对应的最大相似度值是否超过预设阈值；
请求发起模块605，用于若存在至少一个所述每个目标行为向量对应的最大相似度值超过预设阈值，则发起远程协助请求。
进一步地，所述目标行为向量可以为语音特征向量、面部特征向量或肢体动作向量；
如图7所示，所述相似度计算模块603可以包括：
语音相似度计算单元6031，用于当所述目标行为向量为语音特征向量时，利用simhash算法计算所述语音特征向量与预设的各个远程协助唤醒向量之间的相似度，得到所述语音特征向量对应的各个相似度值；
面部相似度计算单元6032，用于当所述目标行为向量为面部特征向量时，利用余弦相似度算法计算所述面部特征向量与预设的各个远程协助唤醒向量之间的相似度，得到所述面部特征向量对应的各个相似度值；
动作相似度计算单元6033，用于当所述目标行为向量为肢体动作向量时，利用Jaccard系数计算所述肢体动作向量与预设的各个远程协助唤醒向量之间的相似度，得到所述肢体动作向量对应的各个相似度值。
进一步地，所述远程协助唤醒向量可以包括语音唤醒向量、面部特征唤醒向量和动作唤醒向量；
如图8所示，所述各个远程协助唤醒向量可以通过以下模块预先生成：
行为信息收集模块606，用于收集多个用户在需要协助时的行为信息，所述行为信息包括语音信息、面部表情信息和肢体动作信息；
语音识别模块607，用于对所述语音信息进行语音识别，得到语音文本；
关键词提取模块608，用于提取所述语音文本中的关键词；
关键词向量化模块609，用于对提取到的各个关键词进行向量化处理，得到各个语音唤醒向量；
面部特征识别模块610，用于对所述面部表情信息进行面部特征识别，提取得到各个面部表情特征；
面部特征向量化模块611，用于对提取得到的所述各个面部表情特征进行向量化处理，得到各个面部特征唤醒向量；
动作识别模块612，用于对所述肢体动作信息进行肢体动作识别，提取得到各个肢体动作特征；
动作特征向量化模块613，用于对所述各个肢体动作特征进行向量化处理，得到各个动作唤醒向量。
进一步地，所述请求发起模块可以包括：
匹配向量确定单元，用于确定各个达标向量的最大相似度值所对应的远程协助唤醒向量，作为匹配向量，所述达标向量是指最大相似度值超过预设阈值的目标行为向量；
请求操作确定单元，用于根据预设的行为请求对应关系确定出与所述各个匹配向量对应的各个请求操作，所述行为请求对应关系记录了各个远程协助唤醒向量与预设的各个请求操作之间的对应关系；
操作执行单元，用于执行确定出的各个请求操作。
进一步地，所述操作执行单元可以包括：
优先级获取子单元，用于获取确定出的所述各个请求操作的预设优先级；
操作提取子单元，用于提取所述各个请求操作中预设优先级最高的请求操作作为目标请求操作；
操作执行子单元，用于执行所述目标请求操作。
关于智能远程协助装置的具体限定可以参见上文中对于智能远程协助方法的限定，在此不再赘述。上述智能远程协助装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、传感器和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。所述存储器可以是易失性，也可以是非易失性。该计算机设备的网络接口用于与外部服务器通过网络连接通信。该计算机程序被处理器执行时以实现一种智能远程协助方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中智能远程协助方法的步骤，例如图2所示的步骤101至步骤105。或者，处理器执行计算机程序时实现上述实施例中智能远程协助装置的各模块/单元的功能，例如图6所示模块601至模块605的功能。为避免重复，这里不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中智能远程协助方法的步骤，例如图2所示的步骤101至步骤105。或者，计算机程序被处理器执行时实现上述实施例中智能远程协助装置的各模块/单元的功能，例如图6所示模块601至模块605的功能。为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (20)

  1. 一种智能远程协助方法，其中，包括：
    获取由传感器采集的用户行为信息；
    对所述用户行为信息进行向量化处理，得到各个目标行为向量；
    分别计算所述各个目标行为向量与预设的各个远程协助唤醒向量之间的相似度，得到各个目标行为向量对应的各个相似度值，所述远程协助唤醒向量是根据收集的多个用户在需要协助时的行为信息作为样本预先生成的；
    针对每个目标行为向量，判断所述每个目标行为向量对应的最大相似度值是否超过预设阈值；
    若存在至少一个所述每个目标行为向量对应的最大相似度值超过预设阈值，则发起远程协助请求。
  2. 根据权利要求1所述的智能远程协助方法，其中，所述目标行为向量为语音特征向量、面部特征向量或肢体动作向量；
    所述分别计算所述各个目标行为向量与预设的各个远程协助唤醒向量之间的相似度，得到各个目标行为向量对应的各个相似度值包括：
    当所述目标行为向量为语音特征向量时，利用simhash算法计算所述语音特征向量与预设的各个远程协助唤醒向量之间的相似度，得到所述语音特征向量对应的各个相似度值；
    当所述目标行为向量为面部特征向量时，利用余弦相似度算法计算所述面部特征向量与预设的各个远程协助唤醒向量之间的相似度，得到所述面部特征向量对应的各个相似度值；
    当所述目标行为向量为肢体动作向量时，利用Jaccard系数计算所述肢体动作向量与预设的各个远程协助唤醒向量之间的相似度，得到所述肢体动作向量对应的各个相似度值。
  3. 根据权利要求1所述的智能远程协助方法，其中，所述远程协助唤醒向量包括语音唤醒向量、面部特征唤醒向量和动作唤醒向量；
    所述各个远程协助唤醒向量通过以下步骤预先生成：
    收集多个用户在需要协助时的行为信息，所述行为信息包括语音信息、面部表情信息和肢体动作信息；
    对所述语音信息进行语音识别，得到语音文本；
    提取所述语音文本中的关键词；
    对提取到的各个关键词进行向量化处理，得到各个语音唤醒向量；
    对所述面部表情信息进行面部特征识别，提取得到各个面部表情特征；
    对提取得到的所述各个面部表情特征进行向量化处理，得到各个面部特征唤醒向量；
    对所述肢体动作信息进行肢体动作识别，提取得到各个肢体动作特征；
    对所述各个肢体动作特征进行向量化处理，得到各个动作唤醒向量。
  4. 根据权利要求1至3中任一项所述的智能远程协助方法，其中，所述发起远程协助请求包括：
    确定各个达标向量的最大相似度值所对应的远程协助唤醒向量，作为匹配向量，所述达标向量是指最大相似度值超过预设阈值的目标行为向量；
    根据预设的行为请求对应关系确定出与所述各个匹配向量对应的各个请求操作，所述行为请求对应关系记录了各个远程协助唤醒向量与预设的各个请求操作之间的对应关系；
    执行确定出的各个请求操作。
  5. 根据权利要求4所述的智能远程协助方法，其中，所述执行确定出的各个请求操作包括：
    获取确定出的所述各个请求操作的预设优先级；
    提取所述各个请求操作中预设优先级最高的请求操作作为目标请求操作；
    执行所述目标请求操作。
  6. 一种智能远程协助装置，其中，包括：
    行为信息获取模块，用于获取由传感器采集的用户行为信息；
    第一向量化模块，用于对所述用户行为信息进行向量化处理，得到各个目标行为向量；
    相似度计算模块，用于分别计算所述各个目标行为向量与预设的各个远程协助唤醒向量之间的相似度，得到各个目标行为向量对应的各个相似度值，所述远程协助唤醒向量是根据收集的多个用户在需要协助时的行为信息作为样本预先生成的；
    相似度判断模块，用于针对每个目标行为向量，判断所述每个目标行为向量对应的最大相似度值是否超过预设阈值；
    请求发起模块，用于若存在至少一个所述每个目标行为向量对应的最大相似度值超过预设阈值，则发起远程协助请求。
  7. 根据权利要求6所述的智能远程协助装置，其中，所述目标行为向量为语音特征向量、面部特征向量或肢体动作向量；
    所述相似度计算模块包括：
    语音相似度计算单元，用于当所述目标行为向量为语音特征向量时，利用simhash算法计算所述语音特征向量与预设的各个远程协助唤醒向量之间的相似度，得到所述语音特征向量对应的各个相似度值；
    面部相似度计算单元，用于当所述目标行为向量为面部特征向量时，利用余弦相似度算法计算所述面部特征向量与预设的各个远程协助唤醒向量之间的相似度，得到所述面部特征向量对应的各个相似度值；
    动作相似度计算单元，用于当所述目标行为向量为肢体动作向量时，利用Jaccard系数计算所述肢体动作向量与预设的各个远程协助唤醒向量之间的相似度，得到所述肢体动作向量对应的各个相似度值。
  8. 根据权利要求6所述的智能远程协助装置，其中，所述远程协助唤醒向量包括语音唤醒向量、面部特征唤醒向量和动作唤醒向量；
    所述各个远程协助唤醒向量通过以下模块预先生成：
    行为信息收集模块，用于收集多个用户在需要协助时的行为信息，所述行为信息包括语音信息、面部表情信息和肢体动作信息；
    语音识别模块，用于对所述语音信息进行语音识别，得到语音文本；
    关键词提取模块，用于提取所述语音文本中的关键词；
    关键词向量化模块，用于对提取到的各个关键词进行向量化处理，得到各个语音唤醒向量；
    面部特征识别模块，用于对所述面部表情信息进行面部特征识别，提取得到各个面部表情特征；
    面部特征向量化模块，用于对提取得到的所述各个面部表情特征进行向量化处理，得到各个面部特征唤醒向量；
    动作识别模块，用于对所述肢体动作信息进行肢体动作识别，提取得到各个肢体动作特征；
    动作特征向量化模块，用于对所述各个肢体动作特征进行向量化处理，得到各个动作唤醒向量。
  9. 根据权利要求6至8任一项所述的智能远程协助装置，其中，所述请求发起模块包括：
    第一确定单元，用于确定各个达标向量的最大相似度值所对应的远程协助唤醒向量，作为匹配向量，所述达标向量是指最大相似度值超过预设阈值的目标行为向量；
    第二确定单元，用于确定根据预设的行为请求对应关系确定出与所述各个匹配向量对应的各个请求操作，所述行为请求对应关系记录了各个远程协助唤醒向量与预设的各个请求操作之间的对应关系；
    执行单元，用于执行确定出的各个请求操作。
  10. 根据权利要求9所述的智能远程协助装置，其中，所述执行单元，具体用于获取确定出的所述各个请求操作的预设优先级；提取所述各个请求操作中预设优先级最高的请求操作作为目标请求操作；执行所述目标请求操作。
  11. 一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如下步骤：
    获取由传感器采集的用户行为信息；
    对所述用户行为信息进行向量化处理，得到各个目标行为向量；
    分别计算所述各个目标行为向量与预设的各个远程协助唤醒向量之间的相似度，得到各个目标行为向量对应的各个相似度值，所述远程协助唤醒向量是根据收集的多个用户在需要协助时的行为信息作为样本预先生成的；
    针对每个目标行为向量，判断所述每个目标行为向量对应的最大相似度值是否超过预设阈值；
    若存在至少一个所述每个目标行为向量对应的最大相似度值超过预设阈值，则发起远程协助请求。
  12. 根据权利要求11所述的计算机设备，其中，所述目标行为向量为语音特征向量、面部特征向量或肢体动作向量；
    所述分别计算所述各个目标行为向量与预设的各个远程协助唤醒向量之间的相似度，得到各个目标行为向量对应的各个相似度值包括：
    当所述目标行为向量为语音特征向量时，利用simhash算法计算所述语音特征向量与预设的各个远程协助唤醒向量之间的相似度，得到所述语音特征向量对应的各个相似度值；
    当所述目标行为向量为面部特征向量时，利用余弦相似度算法计算所述面部特征向量与预设的各个远程协助唤醒向量之间的相似度，得到所述面部特征向量对应的各个相似度值；
    当所述目标行为向量为肢体动作向量时，利用Jaccard系数计算所述肢体动作向量与预设的各个远程协助唤醒向量之间的相似度，得到所述肢体动作向量对应的各个相似度值。
  13. 根据权利要求11所述的计算机设备，其中，所述远程协助唤醒向量包括语音唤醒向量、面部特征唤醒向量和动作唤醒向量；
    所述各个远程协助唤醒向量通过以下步骤预先生成：
    收集多个用户在需要协助时的行为信息，所述行为信息包括语音信息、面部表情信息和肢体动作信息；
    对所述语音信息进行语音识别，得到语音文本；
    提取所述语音文本中的关键词；
    对提取到的各个关键词进行向量化处理，得到各个语音唤醒向量；
    对所述面部表情信息进行面部特征识别，提取得到各个面部表情特征；
    对提取得到的所述各个面部表情特征进行向量化处理，得到各个面部特征唤醒向量；
    对所述肢体动作信息进行肢体动作识别，提取得到各个肢体动作特征；
    对所述各个肢体动作特征进行向量化处理，得到各个动作唤醒向量。
  14. 根据权利要求11至13任一项所述的计算机设备，其中，所述发起远程协助请求包括：
    确定各个达标向量的最大相似度值所对应的远程协助唤醒向量，作为匹配向量，所述达标向量是指最大相似度值超过预设阈值的目标行为向量；
    根据预设的行为请求对应关系确定出与所述各个匹配向量对应的各个请求操作，所述行为请求对应关系记录了各个远程协助唤醒向量与预设的各个请求操作之间的对应关系；
    执行确定出的各个请求操作。
  15. 根据权利要求14所述的计算机设备，其中，所述执行确定出的各个请求操作包括：
    获取确定出的所述各个请求操作的预设优先级；
    提取所述各个请求操作中预设优先级最高的请求操作作为目标请求操作；
    执行所述目标请求操作。
  16. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，所述计算机程序被处理器执行时实现如下步骤：
    获取由传感器采集的用户行为信息；
    对所述用户行为信息进行向量化处理，得到各个目标行为向量；
    分别计算所述各个目标行为向量与预设的各个远程协助唤醒向量之间的相似度，得到各个目标行为向量对应的各个相似度值，所述远程协助唤醒向量是根据收集的多个用户在需要协助时的行为信息作为样本预先生成的；
    针对每个目标行为向量，判断所述每个目标行为向量对应的最大相似度值是否超过预设阈值；
    若存在至少一个所述每个目标行为向量对应的最大相似度值超过预设阈值，则发起远程协助请求。
  17. 根据权利要求16所述的计算机可读存储介质，其中，所述目标行为向量为语音特征向量、面部特征向量或肢体动作向量；
    所述分别计算所述各个目标行为向量与预设的各个远程协助唤醒向量之间的相似度，得到各个目标行为向量对应的各个相似度值包括：
    当所述目标行为向量为语音特征向量时，利用simhash算法计算所述语音特征向量与预设的各个远程协助唤醒向量之间的相似度，得到所述语音特征向量对应的各个相似度值；
    当所述目标行为向量为面部特征向量时，利用余弦相似度算法计算所述面部特征向量与预设的各个远程协助唤醒向量之间的相似度，得到所述面部特征向量对应的各个相似度值；
    当所述目标行为向量为肢体动作向量时，利用Jaccard系数计算所述肢体动作向量与预设的各个远程协助唤醒向量之间的相似度，得到所述肢体动作向量对应的各个相似度值。
  18. 根据权利要求16所述的计算机可读存储介质，其中，所述远程协助唤醒向量包括语音唤醒向量、面部特征唤醒向量和动作唤醒向量；
    所述各个远程协助唤醒向量通过以下步骤预先生成：
    收集多个用户在需要协助时的行为信息，所述行为信息包括语音信息、面部表情信息和肢体动作信息；
    对所述语音信息进行语音识别，得到语音文本；
    提取所述语音文本中的关键词；
    对提取到的各个关键词进行向量化处理，得到各个语音唤醒向量；
    对所述面部表情信息进行面部特征识别，提取得到各个面部表情特征；
    对提取得到的所述各个面部表情特征进行向量化处理，得到各个面部特征唤醒向量；
    对所述肢体动作信息进行肢体动作识别，提取得到各个肢体动作特征；
    对所述各个肢体动作特征进行向量化处理，得到各个动作唤醒向量。
  19. 根据权利要求16至18任一项所述的计算机可读存储介质，其中，所述发起远程协助请求包括：
    确定各个达标向量的最大相似度值所对应的远程协助唤醒向量，作为匹配向量，所述达标向量是指最大相似度值超过预设阈值的目标行为向量；
    根据预设的行为请求对应关系确定出与所述各个匹配向量对应的各个请求操作，所述行为请求对应关系记录了各个远程协助唤醒向量与预设的各个请求操作之间的对应关系；
    执行确定出的各个请求操作。
  20. 根据权利要求19所述的计算机可读存储介质，其中，所述执行确定出的各个请求操作包括：
    获取确定出的所述各个请求操作的预设优先级；
    提取所述各个请求操作中预设优先级最高的请求操作作为目标请求操作；
    执行所述目标请求操作。
PCT/CN2020/112354 2019-09-16 2020-08-31 一种智能远程协助方法、装置、计算机设备及存储介质 Ceased WO2021052149A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910870804.X 2019-09-16
CN201910870804.XA CN110780956A (zh) 2019-09-16 2019-09-16 一种智能远程协助方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
WO2021052149A1 true WO2021052149A1 (zh) 2021-03-25

Family

ID=69383474

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/112354 Ceased WO2021052149A1 (zh) 2019-09-16 2020-08-31 一种智能远程协助方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN110780956A (zh)
WO (1) WO2021052149A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113687893A (zh) * 2021-08-10 2021-11-23 支付宝(杭州)信息技术有限公司 远程协助处理方法及装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110780956A (zh) * 2019-09-16 2020-02-11 平安科技（深圳）有限公司 一种智能远程协助方法、装置、计算机设备及存储介质
CN112887425B (zh) * 2021-03-02 2022-12-30 岭东核电有限公司 核电试验中的试验协助通信方法、装置和计算机设备
CN113571069A (zh) * 2021-08-03 2021-10-29 北京房江湖科技有限公司 一种信息处理的方法、装置和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102394915A (zh) * 2011-09-23 2012-03-28 中国工商银行股份有限公司 一种自助终端引导服务提供系统及方法
CN108765788A (zh) * 2018-05-22 2018-11-06 中国工商银行股份有限公司 数据处理的方法、自助服务终端以及自助服务系统
CN108776886A (zh) * 2018-05-11 2018-11-09 阿里巴巴集团控股有限公司 一种事务协助方法、装置及电子设备
CN109785123A (zh) * 2019-01-21 2019-05-21 中国平安财产保险股份有限公司 一种业务办理协助方法、装置及终端设备
WO2019098036A1 (ja) * 2017-11-15 2019-05-23 ソニー株式会社 情報処理装置、情報処理端末、および情報処理方法
CN110780956A (zh) * 2019-09-16 2020-02-11 平安科技（深圳）有限公司 一种智能远程协助方法、装置、计算机设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102760138B (zh) * 2011-04-26 2015-03-11 北京百度网讯科技有限公司 用户网络行为的分类方法和装置及对应的搜索方法和装置
CN103440138B (zh) * 2013-09-06 2018-05-22 杭州网易云音乐科技有限公司 一种行为引导方法及装置
US10216370B2 (en) * 2016-03-29 2019-02-26 Microsoft Technology Licensing, Llc Tabs in system task switchers
US10282218B2 (en) * 2016-06-07 2019-05-07 Google Llc Nondeterministic task initiation by a personal assistant module
CN109408374A (zh) * 2018-09-26 2019-03-01 平安普惠企业管理有限公司 应用程序异常远程定位方法、系统、计算机设备和介质
CN109740091B (zh) * 2018-12-26 2021-08-03 武汉大学 一种基于行为认知的用户网络行为的预测系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102394915A (zh) * 2011-09-23 2012-03-28 中国工商银行股份有限公司 一种自助终端引导服务提供系统及方法
WO2019098036A1 (ja) * 2017-11-15 2019-05-23 ソニー株式会社 情報処理装置、情報処理端末、および情報処理方法
CN108776886A (zh) * 2018-05-11 2018-11-09 阿里巴巴集团控股有限公司 一种事务协助方法、装置及电子设备
CN108765788A (zh) * 2018-05-22 2018-11-06 中国工商银行股份有限公司 数据处理的方法、自助服务终端以及自助服务系统
CN109785123A (zh) * 2019-01-21 2019-05-21 中国平安财产保险股份有限公司 一种业务办理协助方法、装置及终端设备
CN110780956A (zh) * 2019-09-16 2020-02-11 平安科技（深圳）有限公司 一种智能远程协助方法、装置、计算机设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113687893A (zh) * 2021-08-10 2021-11-23 支付宝(杭州)信息技术有限公司 远程协助处理方法及装置

Also Published As

Publication number Publication date
CN110780956A (zh) 2020-02-11

Similar Documents

Publication Publication Date Title
CN109446302B (zh) 基于机器学习的问答数据处理方法、装置和计算机设备
WO2021052149A1 (zh) 一种智能远程协助方法、装置、计算机设备及存储介质
CN113094578B (zh) 基于深度学习的内容推荐方法、装置、设备及存储介质
US20230206928A1 (en) Audio processing method and apparatus
US20210257066A1 (en) Machine learning based medical data classification method, computer device, and non-transitory computer-readable storage medium
WO2021027553A1 (zh) 微表情分类模型生成、图像识别方法、装置、设备及介质
WO2020048264A1 (zh) 药品数据处理方法、装置、计算机设备和存储介质
WO2020147395A1 (zh) 基于情感的文本分类处理方法、装置和计算机设备
WO2020098074A1 (zh) 人脸样本图片标注方法、装置、计算机设备及存储介质
WO2020237869A1 (zh) 一种问题意图识别方法、装置、计算机设备及存储介质
WO2022105118A1 (zh) 基于图像的健康状态识别方法、装置、设备及存储介质
WO2020007129A1 (zh) 基于语音交互的上下文获取方法及设备
WO2018006727A1 (zh) 机器人客服转人工客服的方法和装置
WO2020119508A1 (zh) 视频切割方法、装置、计算机设备和存储介质
CN114399396A (zh) 保险产品推荐方法、装置、计算机设备及存储介质
CN112037904A (zh) 在线诊疗数据处理方法、装置、计算机设备和存储介质
WO2020238353A1 (zh) 数据处理方法和装置、存储介质及电子装置
CN111276140B (zh) 语音命令识别方法、装置、系统及存储介质
CN114756659A (zh) 语言模型训练方法、装置、设备及存储介质
WO2020077874A1 (zh) 问答数据处理方法、装置、计算机设备和存储介质
CN115910319A (zh) 耳科问诊辅助方法、装置、电子设备及存储介质
CN114238715A (zh) 基于社会救助的问答系统、构建方法、计算机设备及介质
CN114528837A (zh) 意图识别方法、装置、计算机设备及存储介质
CN117131093A (zh) 基于人工智能的业务数据处理方法、装置、设备及介质
CN111177353B (zh) 文本记录生成方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20866222

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20866222

Country of ref document: EP

Kind code of ref document: A1