WO2018107731A1 - 数据处理的方法、装置和机器人 - Google Patents

数据处理的方法、装置和机器人 Download PDF

Info

Publication number
WO2018107731A1
WO2018107731A1 PCT/CN2017/092036 CN2017092036W WO2018107731A1 WO 2018107731 A1 WO2018107731 A1 WO 2018107731A1 CN 2017092036 W CN2017092036 W CN 2017092036W WO 2018107731 A1 WO2018107731 A1 WO 2018107731A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
sound
emotion
detected
image information
Prior art date
Application number
PCT/CN2017/092036
Other languages
English (en)
French (fr)
Inventor
刘若鹏
欧阳一村
Original Assignee
深圳光启合众科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳光启合众科技有限公司 filed Critical 深圳光启合众科技有限公司
Publication of WO2018107731A1 publication Critical patent/WO2018107731A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Definitions

  • the present invention relates to the field of electronic technology applications, and in particular, to a data processing method, apparatus, and robot.
  • Embodiments of the present invention provide a data processing method, apparatus, and a robot, to at least solve the problem of detecting, judging, and corresponding processing of micro-expressions in the related art, resulting in a human-computer interaction process or a person-to-person relationship.
  • the technical problem of low accuracy rate in the communication process is not limited to, but not limited to, but not limited to, but not limited to, but not limited to, but not limited to, a robot, to at least solve the problem of detecting, judging, and corresponding processing of micro-expressions in the related art, resulting in a human-computer interaction process or a person-to-person relationship.
  • a data processing method including: collecting environment information of an object to be detected, where the environment information includes: image information and sound information; The image information corresponding to the emotional information in the database is compared, and the sound information is compared with the sound information corresponding to the emotional information in the preset database; the emotional information matching the object to be detected is filtered, wherein the emotional information is used for Instruct the robot to perform a corresponding operation; adjust the interaction mode according to the emotion information.
  • collecting environment information of the object to be detected includes: collecting at least one of a limb behavior action, a facial expression action, and thermal imaging data of the object to be detected by using an image recognition system; collecting the to-be-detected by the voice recognition system The sound of the object and/or the background sound of the environment in which the object to be detected is located; wherein the sound includes: tone, loudness, vocal frequency, and information carried by the sound.
  • the image recognition system comprises: a micro-expression recognition system; and the voice recognition system comprises: a micro-language recognition system.
  • comparing the image information with the image information corresponding to the emotion information in the preset database, and comparing the sound information with the sound information corresponding to the emotion information in the preset database including: The image information and the sound information in the database match the image information and the sound information corresponding to the image information and the sound information to obtain at least one set of image information and sound information.
  • screening the emotion information that matches the object to be detected includes: calculating a similarity between the at least one set of image information and the sound information and the collected image information and the sound information; extracting the similarity is greater than the preset At least one set of image information of the threshold and the emotion information corresponding to the sound information, and the emotion information matching the object to be detected is obtained.
  • adjusting the interaction manner according to the emotion information comprises: processing the emotion information corresponding to the at least one set of image information and the sound information by using the preset emotion model, and obtaining an interaction manner corresponding to the emotion information; And collecting the environment information of the object to be detected; correcting the interaction mode according to the current environment information until the interaction result corresponding to the object to be detected is obtained; wherein, at least one group of image information is determined by the preset emotion model
  • the processing of the emotion information corresponding to the sound information includes: determining or predicting the emotion information by using the preset emotion model, and obtaining an interaction manner of the corresponding emotion information.
  • an apparatus for data processing including: The block is configured to collect environment information of the object to be detected, where the environment information includes: image information and sound information; and a matching module, configured to compare the image information with the image information corresponding to the emotion information in the preset database, The sound information is compared with the sound information corresponding to the emotion information in the preset database; the screening module is configured to filter the emotion information that matches the object to be detected; and the correction module is configured to adjust the interaction mode according to the emotion information.
  • the acquiring module includes: a first collecting unit, configured to collect at least one of a limb behavior action, a facial expression action, and thermal imaging data of the object to be detected by using an image recognition system; Acoustic recognition system collects the sound of the object to be detected and/or the background sound of the environment in which the object to be detected is located; wherein the sound includes: tone, loudness, vocal frequency, and information carried by the sound
  • the image recognition system comprises: a micro-expression recognition system; the voice recognition system comprises: a micro-language recognition system.
  • the matching module includes: a matching unit, configured to match the image information and the sound information to the image information and the sound information corresponding to the image information and the sound information in the preset database, to obtain at least one set of image information and Sound information.
  • the screening module includes: a calculating unit, configured to calculate a similarity between the at least one set of image information and the sound information and the collected image information and the sound information; and an extracting unit, configured to extract the similarity
  • a calculating unit configured to calculate a similarity between the at least one set of image information and the sound information and the collected image information and the sound information
  • an extracting unit configured to extract the similarity The at least one set of image information and the emotion information corresponding to the sound information that are greater than the preset threshold are obtained, and the emotion information that matches the object to be detected is obtained.
  • the correction module includes: an adjustment unit, configured to process, by using a preset emotion model, at least one set of image information and emotion information corresponding to the sound information, to obtain an interaction manner corresponding to the emotion information;
  • the unit is configured to output an interaction mode, and collect environment information of the object to be detected;
  • the correction unit is configured to correct the interaction mode according to the current environment information, and obtain an interaction result corresponding to the object to be detected;
  • the preset emotion model processes the at least one set of image information and the emotion information corresponding to the sound information, including: determining or predicting the emotion information by using the preset emotion model, and obtaining an interaction manner of the corresponding emotion information.
  • a robot including: the above device for data processing.
  • the environment information of the object to be detected is collected, where the environment information includes: image information and sound information; and image information is compared with image information corresponding to the emotion information in the preset database. And comparing the sound information with the sound information corresponding to the emotion information in the preset database; screening the emotion information that matches the object to be detected, wherein the emotion information is used to instruct the robot to perform the corresponding operation; and adjusting the interaction manner according to the emotion information.
  • the aim of accurately predicting the micro-expression is achieved, thereby realizing the technical effect of accurately detecting the micro-expression, and further solving the problem of detecting, judging and corresponding processing of the micro-expression due to lack of related art, resulting in human-computer interaction process. Or the technical problem of low accuracy of information in the process of communication between people.
  • FIG. 1 is a schematic flow chart of a method of data processing according to an embodiment of the present invention.
  • FIG. 2 is a schematic flow chart of a method for data processing according to an embodiment of the present invention.
  • FIG. 3 is a schematic flow chart of an apparatus for data processing according to an embodiment of the present invention.
  • an embodiment of a method of data processing is provided. It is noted that the steps illustrated in the flowchart of the figures may be performed in a computer system such as a set of computer executable instructions. Also, although logical sequences are shown in the flowcharts, in some cases the steps shown or described may be performed in a different order than the ones described herein.
  • FIG. 1 is a schematic flowchart of a method for data processing according to an embodiment of the present invention. As shown in FIG. 1, the method includes the following steps:
  • Step S102 Collect environment information where the object to be detected is located, where the environment information includes: image information and sound information;
  • Step S104 comparing the image information with the image information corresponding to the emotion information in the preset database, and comparing the sound information with the sound information corresponding to the emotion information in the preset database;
  • Step S106 Filtering the emotion information that matches the object to be detected, where the emotion information is used to instruct the robot to perform the corresponding operation;
  • Step S108 adjusting the interaction mode according to the emotion information.
  • the environment information in which the object to be detected is located may be collected, where the environment information includes: image information and sound information; and the image information is compared with the image information corresponding to the emotion information in the preset database, Comparing the sound information with the sound information corresponding to the emotion information in the preset database; screening the emotion information that matches the object to be detected, wherein the emotion information is used to instruct the robot to perform the corresponding operation; adjusting the interaction mode according to the emotion information,
  • the purpose of accurately predicting the micro-expressions is to achieve the technical effect of accurately detecting the micro-expressions, thereby solving the lack of detection, judgment and corresponding processing methods for the micro-expressions in the related art, resulting in human-computer interaction processes or people.
  • collecting the environment information of the object to be detected in step S102 includes: [0035] Stepl, collecting at least one of a limb behavior action, a facial expression action, and thermal imaging data of the object to be detected by the image recognition system;
  • Step 2 collecting, by the voice recognition system, the sound of the object to be detected and/or the background sound of the environment in which the object to be detected is located; wherein the sound includes: tone, loudness, vocal frequency, and information carried by the sound
  • the image recognition system comprises: a micro-expression recognition system; and the voice recognition system comprises: a micro-language recognition system.
  • step S104 the image information is compared with the image information corresponding to the emotion information in the preset database, and the sound information is compared with the sound information corresponding to the emotion information in the preset database, including:
  • Stepl matching the image information and the sound information to the image information and the sound information corresponding to the image information and the sound information in the preset database to obtain at least one set of image information and sound information.
  • filtering the emotion information that matches the object to be detected in step S106 includes: [0041] Stepl, calculating at least one set of image information and sound information is similar to the collected image information and sound information. Degree
  • Step 2 extract at least one set of image information and the emotion information corresponding to the sound information with the similarity greater than the preset threshold, and obtain the emotion information that matches the object to be detected.
  • adjusting the interaction manner according to the emotion information in step S108 includes:
  • Stepl processing the emotion information corresponding to the at least one set of image information and the sound information by using a preset emotion model, and obtaining an interaction manner corresponding to the emotion information;
  • Step 2 output an interaction mode, and collect environment information currently in the object to be detected
  • Step 3 correcting the interaction mode according to the current environment information, until an interaction result corresponding to the object to be detected is obtained;
  • processing the at least one set of image information and the emotion information corresponding to the sound information by using the preset emotion model comprises: determining or predicting the emotion information by using the preset emotion model, and obtaining an interaction manner of the corresponding emotion information.
  • the present scheme proposes an image recognition and speech recognition technology to complete the judgment of the micro-expression and micro-language of the communication object, and combines the micro-expression and the micro-language for the first time to judge the idea of the exchange object, and Determine your true ideas by constantly adjusting your communication.
  • FIG. 2 is a schematic flow chart of a method for data processing according to an embodiment of the present invention.
  • the system includes an image recognition (micro-expression) system and a voice recognition (micro-language) system.
  • the overall implementation is as follows:
  • the system After communicating with the user, the system first collects the user's image and voice information, extracts micro-feature related information from the image, and extracts micro-language related information from the voice.
  • FIG. 3 is a schematic flowchart of an apparatus for data processing according to an embodiment of the present invention. As shown in FIG. 3, the apparatus includes:
  • the collecting module 32 is configured to collect environment information of the object to be detected, where the environment information includes: image information and sound information; and the matching module 34 is configured to: the image information is corresponding to the emotion information in the preset database. The image information is compared, and the sound information is compared with the sound information corresponding to the emotion information in the preset database; the screening module 36 is configured to filter the emotion information that matches the object to be detected; and the correction module 38 is configured to use the emotion according to the emotion Information adjustment interaction mode.
  • the image information and the sound information of the object to be detected may be collected; the image information is compared with the image information corresponding to the emotion information in the preset database, and the sound information and the emotion in the preset database are compared.
  • the sound information corresponding to the information is compared; the emotion information matching the object to be detected is screened; the interaction mode is adjusted according to the emotion information, and the purpose of accurately predicting the micro-expression is achieved, thereby realizing the technical effect of accurately detecting the micro-expression.
  • the technical problem of low accuracy of information representation in the process of human-computer interaction or person-to-person communication is solved.
  • the acquiring module 32 includes: a first collecting unit, configured to collect at least one of a limb behavior action, a facial expression action, and thermal imaging data of the object to be detected by using an image recognition system; Acquiring the sound of the object to be detected and/or the ring of the object to be detected through the voice recognition system Background sound; where, the sound includes: tone, loudness, vocal frequency, and information carried by the sound.
  • the image recognition system comprises: a micro-expression recognition system; the voice recognition system comprises: a micro-language recognition system.
  • the matching module 34 includes: a matching unit, configured to match the image information and the sound information to the image information and the sound information corresponding to the image information and the sound information in the preset database, to obtain at least one set of image information. And sound information.
  • the screening module 36 includes: a calculating unit, configured to calculate a similarity between the at least one set of image information and sound information and the collected image information and sound information; and an extracting unit, configured to extract a similarity
  • the at least one set of image information and the emotion information corresponding to the sound information are greater than a preset threshold, and the emotion information matching the object to be detected is obtained.
  • the correction module 38 includes: an adjustment unit, configured to process, by using a preset emotion model, at least one set of image information and emotion information corresponding to the sound information, to obtain an interaction manner corresponding to the emotion information;
  • the collecting unit is configured to output an interaction mode, and collect environment information of the object to be detected;
  • the correcting unit is configured to correct the interaction mode according to the current environment information, and obtain an interaction result corresponding to the object to be detected;
  • the at least one set of image information and the sound information corresponding to the sound information are processed by the preset emotion model, including: determining or predicting the emotion information by using the preset emotion model, and obtaining an interaction manner of the corresponding emotion information.
  • a robot comprising: a device for data processing shown in FIG.
  • the disclosed technical content may be implemented in other manners.
  • the device embodiments described above are only schematic.
  • the division of the unit may be a logical function division.
  • the actual implementation may have another division manner.
  • multiple units or components may be combined or may be Integrated into another system, or some features can be ignored , or not executed.
  • the mutual coupling or direct coupling or communication connection shown or discussed may be an indirect coupling or communication connection through some interface, unit or module, and may be electrical or otherwise.
  • the unit described as a separate component may or may not be physically distributed, and the component displayed as a unit may or may not be a physical unit, that is, may be located in one place, or may be distributed to multiple On the unit. Some or all of the units may be selected according to actual needs to achieve the objectives of the embodiment of the present embodiment.
  • each functional unit in each embodiment of the present invention may be integrated into one processing unit, or each unit may exist physically separately, or two or more units may be integrated into one unit.
  • the above integrated unit can be implemented in the form of hardware or in the form of a software functional unit.
  • the integrated unit if implemented in the form of a software functional unit and sold or used as a standalone product, may be stored in a computer readable storage medium.
  • the technical solution of the present invention may contribute to the prior art or all or part of the technical solution may be embodied in the form of a software product stored in a storage medium.
  • a number of instructions are included to cause a computer device (which may be a personal computer, server or network device, etc.) to perform all or part of the steps of the methods of the various embodiments of the present invention.
  • the foregoing storage medium includes: a USB flash drive, a read only memory (ROM, Read-Only)
  • RAM Random Access Memory
  • removable hard disk disk or optical disk, and other media that can store program code.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种数据处理的方法、装置和机器人。其中，该方法包括：采集待检测对象所处的环境信息，其中，环境信息包括：图像信息和声音信息；将图像信息与预设数据库中的情绪信息对应的图像信息进行比对，并将声音信息与预设数据库中的情绪信息对应的声音信息进行比对；筛选与待检测对象匹配的情绪信息，其中，情绪信息用于指示机器人执行对应操作；依据情绪信息调整交互方式。本发明解决了由于相关技术中缺少对微表情的检测、判断以及对应的处理方法，导致人机交互过程或人与人沟通过程中信息表述正确率低的技术问题。

Description

说明书 发明名称：数据处理的方法、 装置和机器人 技术领域
[0001] 本发明涉及电子技术应用领域， 具体而言， 涉及一种数据处理的方法、 装置和 机器人。
背景技术
[0002] 关于用微表情和微语言来判断心情刚刚提出 （Emotient lnc , Affectiva Inc和 Eyeris幵发的微表情识别系统） ， 两者结合来判断心情并没有实现； 同吋， 基于 心情的基础上来猜测对方具体想法也没有实现。
[0003] 在现实生活中,人们为了达到自己的目的往往会需要实施欺骗,这就需要人们对 自身真实的情感和感受进行压抑和隐藏。 然而,这些被压抑和隐藏的真实感受有 吋会以一种非常快速的面部表情的形式被表达出来,这种表情被称之为微表情。 由于表达了人的真实意图,微表情成为了检测谎言和危险意图的有力行为线索。 然而,微表情的表达速度很快,人很难准确识别微表情。 已有的研究表明在普通表 情识别过程中面部反馈信息是进行表情识别一种有效的内在线索。 作为人类面 部表情的一种特殊形式,研究者目前并不了解面部反馈在微表情识别过程中的作 用。 对这一问题的回答,将加深研究者对微表情识别过程的理解,为微表情在临床 、 司法及反恐等领域的应用提供理论基础。
技术问题
[0004] 针对上述由于相关技术中缺少对微表情的检测、 判断以及对应的处理方法， 导 致人机交互过程或人与人沟通过程中信息表述正确率低的问题， 目前尚未提出 有效的解决方案。
问题的解决方案
技术解决方案
[0005] 本发明实施例提供了一种数据处理的方法、 装置和机器人， 以至少解决由于相 关技术中缺少对微表情的检测、 判断以及对应的处理方法， 导致人机交互过程 或人与人沟通过程中信息表述正确率低的技术问题。 [0006] 根据本发明实施例的一个方面， 提供了一种数据处理的方法， 包括： 采集待检 测对象所处的环境信息， 其中， 环境信息包括： 图像信息和声音信息； 将图像 信息与预设数据库中的情绪信息对应的图像信息进行比对， 并将声音信息与预 设数据库中的情绪信息对应的声音信息进行比对； 筛选与待检测对象匹配的情 绪信息， 其中， 情绪信息用于指示机器人执行对应操作； 依据情绪信息调整交 互方式。
[0007] 可选的， 采集待检测对象所处的环境信息包括： 通过图像识别系统采集待检测 对象的肢体行为动作、 面部表情动作以及热成像数据中的至少一个； 通过声音 识别系统采集待检测对象的声音和 /或待检测对象所处的环境的背景声音； 其中 ， 声音包括： 声调、 响度、 发声频率以及声音所携带的信息。
[0008] 进一步地， 可选的， 图像识别系统包括： 微表情识别系统； 声音识别系统包括 ： 微语言识别系统。
[0009] 可选的， 将图像信息与预设数据库中的情绪信息对应的图像信息进行比对， 并 将声音信息与预设数据库中的情绪信息对应的声音信息进行比对包括： 在预设 数据库中对图像信息和声音信息匹配与图像信息和声音信息对应的图像信息和 声音信息， 得到至少一组图像信息和声音信息。
[0010] 进一步地， 可选的， 筛选与待检测对象匹配的情绪信息包括： 计算至少一组图 像信息和声音信息与采集到的图像信息和声音信息的相似度； 提取相似度大于 预设阈值的至少一组图像信息和声音信息对应的情绪信息， 得到与待检测对象 匹配的情绪信息。
[0011] 进一步地， 可选的， 依据情绪信息调整交互方式包括： 通过预设情绪模型对至 少一组图像信息和声音信息对应的情绪信息进行处理， 得到情绪信息对应的交 互方式； 输出交互方式， 并采集待检测对象当前所处的环境信息； 依据当前所 处的环境信息校正交互方式， 直至得到与待检测对象对应的交互结果； 其中， 通过预设情绪模型对至少一组图像信息和声音信息对应的情绪信息进行处理包 括： 通过预设情绪模型对情绪信息进行判断或预测， 得到对应情绪信息的交互 方式。
[0012] 根据本发明实施例的另一个方面， 提供了一种数据处理的装置， 包括： 采集模 块， 用于采集待检测对象所处的环境信息， 其中， 环境信息包括： 图像信息和 声音信息； 匹配模块， 用于将图像信息与预设数据库中的情绪信息对应的图像 信息进行比对， 并将声音信息与预设数据库中的情绪信息对应的声音信息进行 比对； 筛选模块， 用于筛选与待检测对象匹配的情绪信息； 校正模块， 用于依 据情绪信息调整交互方式。
[0013] 可选的， 采集模块包括： 第一采集单元， 用于通过图像识别系统采集待检测对 象的肢体行为动作、 面部表情动作以及热成像数据中的至少一个； 第二采集单 元， 用于通过声音识别系统采集待检测对象的声音和 /或待检测对象所处的环境 的背景声音； 其中， 声音包括： 声调、 响度、 发声频率以及声音所携带的信息
[0014] 进一步地， 可选的， 图像识别系统包括： 微表情识别系统； 声音识别系统包括 ： 微语言识别系统。
[0015] 可选的， 匹配模块包括： 匹配单元， 用于在预设数据库中对图像信息和声音信 息匹配与图像信息和声音信息对应的图像信息和声音信息， 得到至少一组图像 信息和声音信息。
[0016] 进一步地， 可选的， 筛选模块包括： 计算单元， 用于计算至少一组图像信息和 声音信息与采集到的图像信息和声音信息的相似度； 提取单元， 用于提取相似 度大于预设阈值的至少一组图像信息和声音信息对应的情绪信息， 得到与待检 测对象匹配的情绪信息。
[0017] 进一步地， 可选的， 校正模块包括： 调整单元， 用于通过预设情绪模型对至少 一组图像信息和声音信息对应的情绪信息进行处理， 得到情绪信息对应的交互 方式； 采集单元， 用于输出交互方式， 并采集待检测对象当前所处的环境信息 ； 校正单元， 用于依据当前所处的环境信息校正交互方式， 直至得到与待检测 对象对应的交互结果； 其中， 通过预设情绪模型对至少一组图像信息和声音信 息对应的情绪信息进行处理包括： 通过预设情绪模型对情绪信息进行判断或预 测， 得到对应情绪信息的交互方式。
发明的有益效果
有益效果 [0018] 根据本发明实施例的又一个方面， 提供了一种机器人， 包括： 上述一种数据处 理的装置。
[0019] 在本发明实施例中， 通过采集待检测对象所处的环境信息， 其中， 环境信息包 括： 图像信息和声音信息； 将图像信息与预设数据库中的情绪信息对应的图像 信息进行比对， 并将声音信息与预设数据库中的情绪信息对应的声音信息进行 比对； 筛选与待检测对象匹配的情绪信息， 其中， 情绪信息用于指示机器人执 行对应操作； 依据情绪信息调整交互方式， 达到了对微表情准确预测的目的， 从而实现了准确对微表情的检测的技术效果， 进而解决了由于相关技术中缺少 对微表情的检测、 判断以及对应的处理方法， 导致人机交互过程或人与人沟通 过程中信息表述正确率低的技术问题。
对附图的简要说明
附图说明
[0020] 此处所说明的附图用来提供对本发明的进一步理解， 构成本申请的一部分， 本 发明的示意性实施例及其说明用于解释本发明， 并不构成对本发明的不当限定 。 在附图中：
[0021] 图 1是根据本发明实施例的数据处理的方法的流程示意图；
[0022] 图 2是根据本发明实施例的一种数据处理的方法的流程示意图；
[0023] 图 3是根据本发明实施例的数据处理的装置的流程示意图。
本发明的实施方式
[0024] 为了使本技术领域的人员更好地理解本发明方案， 下面将结合本发明实施例中 的附图， 对本发明实施例中的技术方案进行清楚、 完整地描述， 显然， 所描述 的实施例仅仅是本发明一部分的实施例， 而不是全部的实施例。 基于本发明中 的实施例， 本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其 他实施例， 都应当属于本发明保护的范围。
[0025] 需要说明的是， 本发明的说明书和权利要求书及上述附图中的术语"第一"、 " 第二"等是用于区别类似的对象， 而不必用于描述特定的顺序或先后次序。 应该 理解这样使用的数据在适当情况下可以互换， 以便这里描述的本发明的实施例 能够以除了在这里图示或描述的那些以外的顺序实施。 此外， 术语"包括"和"具 有"以及他们的任何变形， 意图在于覆盖不排他的包含， 例如， 包含了一系列步 骤或单元的过程、 方法、 系统、 产品或设备不必限于清楚地列出的那些步骤或 单元， 而是可包括没有清楚地列出的或对于这些过程、 方法、 产品或设备固有 的其它步骤或单元。
[0026] 实施例 1
[0027] 根据本发明实施例， 提供了一种数据处理的方法实施例， 需要说明的是， 在附 图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行 ， 并且， 虽然在流程图中示出了逻辑顺序， 但是在某些情况下， 可以以不同于 此处的顺序执行所示出或描述的步骤。
[0028] 图 1是根据本发明实施例的数据处理的方法的流程示意图， 如图 1所示， 该方法 包括如下步骤：
[0029] 步骤 S102， 采集待检测对象所处的环境信息， 其中， 环境信息包括： 图像信息 和声音信息；
[0030] 步骤 S 104， 将图像信息与预设数据库中的情绪信息对应的图像信息进行比对， 并将声音信息与预设数据库中的情绪信息对应的声音信息进行比对；
[0031] 步骤 S106， 筛选与待检测对象匹配的情绪信息， 其中， 情绪信息用于指示机器 人执行对应操作；
[0032] 步骤 S108， 依据情绪信息调整交互方式。
[0033] 通过上述步骤， 可以实现采集待检测对象所处的环境信息， 其中， 环境信息包 括： 图像信息和声音信息； 将图像信息与预设数据库中的情绪信息对应的图像 信息进行比对， 并将声音信息与预设数据库中的情绪信息对应的声音信息进行 比对； 筛选与待检测对象匹配的情绪信息， 其中， 情绪信息用于指示机器人执 行对应操作； 依据情绪信息调整交互方式， 达到了对微表情准确预测的目的， 从而实现了准确对微表情的检测的技术效果， 进而解决了由于相关技术中缺少 对微表情的检测、 判断以及对应的处理方法， 导致人机交互过程或人与人沟通 过程中信息表述正确率低的技术问题。
[0034] 可选的， 步骤 S102中采集待检测对象所处的环境信息包括： [0035] Stepl , 通过图像识别系统采集待检测对象的肢体行为动作、 面部表情动作以 及热成像数据中的至少一个；
[0036] Step2, 通过声音识别系统采集待检测对象的声音和 /或待检测对象所处的环境 的背景声音； 其中， 声音包括： 声调、 响度、 发声频率以及声音所携带的信息
[0037] 进一步地， 可选的， 图像识别系统包括： 微表情识别系统； 声音识别系统包括 ： 微语言识别系统。
[0038] 可选的， 步骤 S104中将图像信息与预设数据库中的情绪信息对应的图像信息进 行比对， 并将声音信息与预设数据库中的情绪信息对应的声音信息进行比对包 括：
[0039] Stepl , 在预设数据库中对图像信息和声音信息匹配与图像信息和声音信息对 应的图像信息和声音信息， 得到至少一组图像信息和声音信息。
[0040] 进一步地， 可选的， 步骤 S106中筛选与待检测对象匹配的情绪信息包括： [0041] Stepl， 计算至少一组图像信息和声音信息与采集到的图像信息和声音信息的 相似度；
[0042] Step2, 提取相似度大于预设阈值的至少一组图像信息和声音信息对应的情绪 信息， 得到与待检测对象匹配的情绪信息。
[0043] 进一步地， 可选的， 步骤 S108中依据情绪信息调整交互方式包括：
[0044] Stepl， 通过预设情绪模型对至少一组图像信息和声音信息对应的情绪信息进 行处理， 得到情绪信息对应的交互方式；
[0045] Step2, 输出交互方式， 并采集待检测对象当前所处的环境信息；
[0046] Step3， 依据当前所处的环境信息校正交互方式， 直至得到与待检测对象对应 的交互结果；
[0047] 其中， 通过预设情绪模型对至少一组图像信息和声音信息对应的情绪信息进行 处理包括： 通过预设情绪模型对情绪信息进行判断或预测， 得到对应情绪信息 的交互方式。
[0048] 综上， 本方案提出了一种基于图像识别和语音识别技术来完成对交流对象微表 情和微语言的判断， 首次将微表情和微语言相结合来判断交流对象的想法， 并 通过不断调整交流方式， 确定其真实想法。
[0049] 其中， 图 2是根据本发明实施例的一种数据处理的方法的流程示意图， 如图 2所 示， 该系统包括一个图像识别 （微表情） 系统和一个声音识别 （微语言） 系统 ， 整体执行具体如下：
[0050] 1.在和用户交流吋， 系统首先采集用户的图像和语音信息， 从图像中提取微表 情相关信息， 同吋从语音中提取微语言相关信息。
[0051] 2.根据判断得到的微表情和微语言信息， 判断交流对象的心情， 猜测想法。
[0052] 3.根据判断得到的交流对象的心情和猜测的想法， 调整交流的方式。
[0053] 4.重复前面三步， 直到确定交流对象的真实想法。
[0054]
[0055] 实施例 2
[0056] 图 3是根据本发明实施例的数据处理的装置的流程示意图， 如图 3所示， 该装置 包括：
[0057] 采集模块 32， 用于采集待检测对象所处的环境信息， 其中， 环境信息包括： 图 像信息和声音信息； 匹配模块 34， 用于将图像信息与预设数据库中的情绪信息 对应的图像信息进行比对， 并将声音信息与预设数据库中的情绪信息对应的声 音信息进行比对； 筛选模块 36， 用于筛选与待检测对象匹配的情绪信息； 校正 模块 38， 用于依据情绪信息调整交互方式。
[0058] 通过上述步骤， 可以实现采集待检测对象的图像信息和声音信息； 将图像信息 与预设数据库中的情绪信息对应的图像信息进行比对， 并将声音信息与预设数 据库中的情绪信息对应的声音信息进行比对； 筛选与待检测对象匹配的情绪信 息； 依据情绪信息调整交互方式， 达到了对微表情准确预测的目的， 从而实现 了准确对微表情的的检测的技术效果， 进而解决了由于相关技术中缺少对微表 情的检测、 判断以及对应的处理方法， 导致人机交互过程或人与人沟通过程中 信息表述正确率低的技术问题。
[0059] 可选的， 采集模块 32包括： 第一采集单元， 用于通过图像识别系统采集待检测 对象的肢体行为动作、 面部表情动作以及热成像数据中的至少一个； 第二采集 单元， 用于通过声音识别系统采集待检测对象的声音和 /或待检测对象所处的环 境的背景声音； 其中， 声音包括： 声调、 响度、 发声频率以及声音所携带的信 息。
[0060] 进一步地， 可选的， 图像识别系统包括： 微表情识别系统； 声音识别系统包括 ： 微语言识别系统。
[0061] 可选的， 匹配模块 34包括： 匹配单元， 用于在预设数据库中对图像信息和声音 信息匹配与图像信息和声音信息对应的图像信息和声音信息， 得到至少一组图 像信息和声音信息。
[0062] 进一步地， 可选的， 筛选模块 36包括： 计算单元， 用于计算至少一组图像信息 和声音信息与采集到的图像信息和声音信息的相似度； 提取单元， 用于提取相 似度大于预设阈值的至少一组图像信息和声音信息对应的情绪信息， 得到与待 检测对象匹配的情绪信息。
[0063] 进一步地， 可选的， 校正模块 38包括： 调整单元， 用于通过预设情绪模型对至 少一组图像信息和声音信息对应的情绪信息进行处理， 得到情绪信息对应的交 互方式； 采集单元， 用于输出交互方式， 并采集待检测对象当前所处的环境信 息； 校正单元， 用于依据当前所处的环境信息校正交互方式， 直至得到与待检 测对象对应的交互结果； 其中， 通过预设情绪模型对至少一组图像信息和声音 信息对应的情绪信息进行处理包括： 通过预设情绪模型对情绪信息进行判断或 预测， 得到对应情绪信息的交互方式。
[0064] 实施例 3
[0065] 根据本发明实施例的又一个方面， 提供了一种机器人， 包括： 图 3所示的一种 数据处理的装置。
[0066] 上述本发明实施例序号仅仅为了描述， 不代表实施例的优劣。
[0067] 在本发明的上述实施例中， 对各个实施例的描述都各有侧重， 某个实施例中没 有详述的部分， 可以参见其他实施例的相关描述。
[0068] 在本申请所提供的几个实施例中， 应该理解到， 所揭露的技术内容， 可通过其 它的方式实现。 其中， 以上所描述的装置实施例仅仅是示意性的， 例如所述单 元的划分， 可以为一种逻辑功能划分， 实际实现吋可以有另外的划分方式， 例 如多个单元或组件可以结合或者可以集成到另一个系统， 或一些特征可以忽略 ， 或不执行。 另一点， 所显示或讨论的相互之间的耦合或直接耦合或通信连接 可以是通过一些接口， 单元或模块的间接耦合或通信连接， 可以是电性或其它 的形式。
[0069] 所述作为分离部件说明的单元可以是或者也可以不是物理上分幵的， 作为单元 显示的部件可以是或者也可以不是物理单元， 即可以位于一个地方， 或者也可 以分布到多个单元上。 可以根据实际的需要选择其中的部分或者全部单元来实 现本实施例方案的目的。
[0070] 另外， 在本发明各个实施例中的各功能单元可以集成在一个处理单元中， 也可 以是各个单元单独物理存在， 也可以两个或两个以上单元集成在一个单元中。 上述集成的单元既可以采用硬件的形式实现， 也可以采用软件功能单元的形式 实现。
[0071] 所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用 吋， 可以存储在一个计算机可读取存储介质中。 基于这样的理解， 本发明的技 术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分 可以以软件产品的形式体现出来， 该计算机软件产品存储在一个存储介质中， 包括若干指令用以使得一台计算机设备 （可为个人计算机、 服务器或者网络设 备等） 执行本发明各个实施例所述方法的全部或部分步骤。 而前述的存储介质 包括： U盘、 只读存储器 （ROM, Read-Only
Memory) 、 随机存取存储器 (RAM, Random Access Memory) 、 移动硬盘、 磁 碟或者光盘等各种可以存储程序代码的介质。
[0072] 以上所述仅是本发明的优选实施方式， 应当指出， 对于本技术领域的普通技术 人员来说， 在不脱离本发明原理的前提下， 还可以做出若干改进和润饰， 这些 改进和润饰也应视为本发明的保护范围。

Claims

权利要求书
[权利要求 1] 一种数据处理的方法， 其特征在于， 包括：
采集待检测对象所处的环境信息， 其中， 所述环境信息包括： 图像信 息和声音信息；
将所述图像信息与预设数据库中的情绪信息对应的图像信息进行比对 ， 并将所述声音信息与预设数据库中的情绪信息对应的声音信息进行 比对；
筛选与所述待检测对象匹配的情绪信息， 其中， 所述情绪信息用于指 示机器人执行对应操作；
依据所述情绪信息调整交互方式。
[权利要求 2] 根据权利要求 1所述的方法， 其特征在于， 所述采集待检测对象所处 的环境信息包括：
通过图像识别系统采集所述待检测对象的肢体行为动作、 面部表情动 作以及热成像数据中的至少一个；
通过声音识别系统采集所述待检测对象的声音和 /或所述待检测对象 所处的环境的背景声音； 其中， 所述声音包括： 声调、 响度、 发声频 率以及声音所携带的信息。
[权利要求 3] 根据权利要求 2所述的方法， 其特征在于， 所述图像识别系统包括： 微表情识别系统； 所述声音识别系统包括： 微语言识别系统。
[权利要求 4] 根据权利要求 1所述的方法， 其特征在于， 所述将所述图像信息与预 设数据库中的情绪信息对应的图像信息进行比对， 并将所述声音信息 与预设数据库中的情绪信息对应的声音信息进行比对包括： 在所述预设数据库中对所述图像信息和所述声音信息匹配与所述图像 信息和所述声音信息对应的图像信息和声音信息， 得到至少一组图像 信息和声音信息。
[权利要求 5] 根据权利要求 4所述的方法， 其特征在于， 所述筛选与所述待检测对 象匹配的情绪信息包括：
计算所述至少一组图像信息和声音信息与采集到的所述图像信息和所 述声音信息的相似度；
提取所述相似度大于预设阈值的所述至少一组图像信息和声音信息对 应的情绪信息， 得到与所述待检测对象匹配的所述情绪信息。
[权利要求 6] 根据权利要求 5所述的方法， 其特征在于， 所述依据所述情绪信息调 整交互方式包括：
通过预设情绪模型对所述至少一组图像信息和声音信息对应的情绪信 息进行处理， 得到所述情绪信息对应的交互方式； 输出所述交互方式， 并采集所述待检测对象当前所处的环境信息； 依据所述当前所处的环境信息校正所述交互方式， 直至得到与所述待 检测对象对应的交互结果；
其中， 所述通过预设情绪模型对所述至少一组图像信息和声音信息对 应的情绪信息进行处理包括： 通过所述预设情绪模型对所述情绪信息 进行判断或预测， 得到对应所述情绪信息的交互方式。
[权利要求 7] —种数据处理的装置， 其特征在于， 包括：
采集模块， 用于采集待检测对象所处的环境信息， 其中， 所述环境信 息包括： 图像信息和声音信息；
匹配模块， 用于将所述图像信息与预设数据库中的情绪信息对应的图 像信息进行比对， 并将所述声音信息与预设数据库中的情绪信息对应 的声音信息进行比对；
筛选模块， 用于筛选与所述待检测对象匹配的情绪信息；
校正模块， 用于依据所述情绪信息调整交互方式。
[权利要求 8] 根据权利要求 7所述的装置， 其特征在于， 所述采集模块包括：
第一采集单元， 用于通过图像识别系统采集所述待检测对象的肢体行 为动作、 面部表情动作以及热成像数据中的至少一个；
第二采集单元， 用于通过声音识别系统采集所述待检测对象的声音和 /或所述待检测对象所处的环境的背景声音； 其中， 所述声音包括： 声调、 响度、 发声频率以及声音所携带的信息。
[权利要求 9] 根据权利要求 8所述的装置， 其特征在于， 所述图像识别系统包括： 微表情识别系统； 所述声音识别系统包括： 微语言识别系统。
[权利要求 10] 根据权利要求 7所述的装置， 其特征在于， 所述匹配模块包括：
匹配单元， 用于在所述预设数据库中对所述图像信息和所述声音信息 匹配与所述图像信息和所述声音信息对应的图像信息和声音信息， 得 到至少一组图像信息和声音信息。
[权利要求 11] 根据权利要求 10所述的装置， 其特征在于， 所述筛选模块包括： 计算单元， 用于计算所述至少一组图像信息和声音信息与采集到的所 述图像信息和所述声音信息的相似度；
提取单元， 用于提取所述相似度大于预设阈值的所述至少一组图像信 息和声音信息对应的情绪信息， 得到与所述待检测对象匹配的所述情 绪信息。
[权利要求 12] 根据权利要求 11所述的装置， 其特征在于， 所述校正模块包括： 调整单元， 用于通过预设情绪模型对所述至少一组图像信息和声音信 息对应的情绪信息进行处理， 得到所述情绪信息对应的交互方式； 采集单元， 用于输出所述交互方式， 并采集所述待检测对象当前所处 的环境信息；
校正单元， 用于依据所述当前所处的环境信息校正所述交互方式， 直 至得到与所述待检测对象对应的交互结果；
其中， 所述通过预设情绪模型对所述至少一组图像信息和声音信息对 应的情绪信息进行处理包括： 通过所述预设情绪模型对所述情绪信息 进行判断或预测， 得到对应所述情绪信息的交互方式。
[权利要求 13] —种机器人， 其特征在于， 包括： 权利要求 7至 12中任一项所述的数 据处理的装置。
PCT/CN2017/092036 2016-12-13 2017-07-06 数据处理的方法、装置和机器人 WO2018107731A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201611149247.5 2016-12-13
CN201611149247.5A CN108614987A (zh) 2016-12-13 2016-12-13 数据处理的方法、装置和机器人

Publications (1)

Publication Number Publication Date
WO2018107731A1 true WO2018107731A1 (zh) 2018-06-21

Family

ID=62559409

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/092036 WO2018107731A1 (zh) 2016-12-13 2017-07-06 数据处理的方法、装置和机器人

Country Status (2)

Country Link
CN (1) CN108614987A (zh)
WO (1) WO2018107731A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110267052A (zh) * 2019-06-19 2019-09-20 云南大学 一种基于实时情绪反馈的智能弹幕机器人

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109284727A (zh) * 2018-10-08 2019-01-29 上海思依暄机器人科技股份有限公司 一种机器人识别环境的方法及装置
WO2020213245A1 (ja) * 2019-04-16 2020-10-22 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN111176503A (zh) * 2019-12-16 2020-05-19 珠海格力电器股份有限公司 一种交互系统设置方法、装置及存储介质
CN111353034B (zh) * 2020-02-28 2020-12-11 重庆百事得大牛机器人有限公司 基于手势采集的法律事实矫正系统及方法
CN113435338A (zh) * 2021-06-28 2021-09-24 平安科技（深圳）有限公司 投票分类方法、装置、电子设备及可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102355527A (zh) * 2011-07-22 2012-02-15 深圳市无线开锋科技有限公司 一种手机感应心情装置及方法
US20130337420A1 (en) * 2012-06-19 2013-12-19 International Business Machines Corporation Recognition and Feedback of Facial and Vocal Emotions
CN105046238A (zh) * 2015-08-17 2015-11-11 华侨大学 一种面部表情机器人多通道信息情感表达映射方法
CN105082150A (zh) * 2015-08-25 2015-11-25 国家康复辅具研究中心 一种基于用户情绪及意图识别的机器人人机交互方法
CN105843118A (zh) * 2016-03-25 2016-08-10 北京光年无限科技有限公司 一种机器人交互方法及机器人系统
CN105868827A (zh) * 2016-03-25 2016-08-17 北京光年无限科技有限公司 一种智能机器人多模态交互方法和智能机器人
CN106203344A (zh) * 2016-07-12 2016-12-07 北京光年无限科技有限公司 一种用于智能机器人的情绪识别方法及系统
CN106570496A (zh) * 2016-11-22 2017-04-19 上海智臻智能网络科技股份有限公司 情绪识别方法和装置以及智能交互方法和设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102103617B (zh) * 2009-12-22 2013-02-27 华为终端有限公司 获取表情含义的方法和装置
CN104504112B (zh) * 2014-12-30 2017-11-28 何业文 影院信息采集系统
CN105279494A (zh) * 2015-10-23 2016-01-27 上海斐讯数据通信技术有限公司 可调节用户情绪的人机交互系统、方法及设备
CN105559804A (zh) * 2015-12-23 2016-05-11 上海矽昌通信技术有限公司 一种基于多种监控的心情管家系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102355527A (zh) * 2011-07-22 2012-02-15 深圳市无线开锋科技有限公司 一种手机感应心情装置及方法
US20130337420A1 (en) * 2012-06-19 2013-12-19 International Business Machines Corporation Recognition and Feedback of Facial and Vocal Emotions
CN105046238A (zh) * 2015-08-17 2015-11-11 华侨大学 一种面部表情机器人多通道信息情感表达映射方法
CN105082150A (zh) * 2015-08-25 2015-11-25 国家康复辅具研究中心 一种基于用户情绪及意图识别的机器人人机交互方法
CN105843118A (zh) * 2016-03-25 2016-08-10 北京光年无限科技有限公司 一种机器人交互方法及机器人系统
CN105868827A (zh) * 2016-03-25 2016-08-17 北京光年无限科技有限公司 一种智能机器人多模态交互方法和智能机器人
CN106203344A (zh) * 2016-07-12 2016-12-07 北京光年无限科技有限公司 一种用于智能机器人的情绪识别方法及系统
CN106570496A (zh) * 2016-11-22 2017-04-19 上海智臻智能网络科技股份有限公司 情绪识别方法和装置以及智能交互方法和设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110267052A (zh) * 2019-06-19 2019-09-20 云南大学 一种基于实时情绪反馈的智能弹幕机器人

Also Published As

Publication number Publication date
CN108614987A (zh) 2018-10-02

Similar Documents

Publication Publication Date Title
WO2018107731A1 (zh) 数据处理的方法、装置和机器人
CN109243467B (zh) 声纹模型构建方法、声纹识别方法及系统
Lu et al. Speakersense: Energy efficient unobtrusive speaker identification on mobile phones
CN110033756B (zh) 语种识别方法、装置、电子设备及存储介质
JP2021500616A (ja) オブジェクト識別の方法及びその、コンピュータ装置並びにコンピュータ装置可読記憶媒体
AU2016277548A1 (en) A smart home control method based on emotion recognition and the system thereof
Sahidullah et al. Robust voice liveness detection and speaker verification using throat microphones
CN112686048B (zh) 基于语音、语义、面部表情融合的情绪识别方法及装置
Meltzner et al. Signal acquisition and processing techniques for sEMG based silent speech recognition
CN110717067B (zh) 视频中音频聚类的处理方法和装置
CN103607550A (zh) 一种根据观看者位置调整电视虚拟声道的方法及电视
CN105991593A (zh) 一种识别用户风险的方法及装置
CN110648667B (zh) 多人场景人声匹配方法
CN112347450B (zh) 一种基于眨眼声音信号的身份验证方法
CN107437420A (zh) 语音信息的接收方法、系统及装置
CN109410956A (zh) 一种音频数据的对象识别方法、装置、设备及存储介质
CN109997186B (zh) 一种用于分类声环境的设备和方法
CN107625527B (zh) 一种测谎方法及装置
CN108520758A (zh) 一种视听觉跨模态物体材质检索方法及系统
WO2022268183A1 (zh) 一种基于视频的随机手势认证方法及系统
CN105701686A (zh) 一种声纹广告实现方法和装置
Murugaiya et al. Probability enhanced entropy (PEE) novel feature for improved bird sound classification
CN111091840A (zh) 一种建立性别识别模型的方法及性别识别方法
CN106803886A (zh) 一种拍照的方法及装置
Baldini et al. Microphone identification based on spectral entropy with convolutional neural network

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17882157

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 06/11/2019)

122 Ep: pct application non-entry in european phase

Ref document number: 17882157

Country of ref document: EP

Kind code of ref document: A1