WO2022257630A1

WO2022257630A1 - 基于多模态隐匿信息测试的风险检测方法及装置

Info

Publication number: WO2022257630A1
Application number: PCT/CN2022/089328
Authority: WO
Inventors: 喻炜; 张文珺
Original assignee: 深圳般若计算机系统股份有限公司
Priority date: 2021-06-11
Filing date: 2022-04-26
Publication date: 2022-12-15
Also published as: CN113243918B; CN113243918A

Abstract

一种基于多模态隐匿信息测试的风险检测方法及装置，风险检测方法包括：构造结构化问句问卷，以及场景问卷反馈矩阵；依次播放问句问卷中的初始场景问句、问句库问句以及平滑场景问句；基于音视频数据采集生理特征数据及其归一化时间序列，以及利用归一化时间序列构建会话刺激矩阵；按照生理特征数据的归一化时间序列和会话刺激矩阵构建第一模型和第二模型，以得到结果矩阵；利用结果矩阵分别进行环境场景压力检测、全局生理特征的问句压力检测、全局生理特征的回答压力检测和/或个体特征敏感性检测，得到多维的风险检测结果。能够自动检测并识别被测试者在回答特定问句时的压力异常。

Description

基于多模态隐匿信息测试的风险检测方法及装置

技术领域

本申请涉及风险管理技术领域，特别是涉及一种基于多模态隐匿信息测试的风险检测方法、装置、及计算机可读存储介质。

背景技术

银行信贷、保险理赔等金融的风控流程通常有三个步骤：(1)身份鉴权。用于判断是否是本人操作；(2)基础信息核验。用于检查用户提供的基础信息完备性和准确性；(3)隐匿信息检测(真实意图识别)。检测客户是否存在主观的信息隐瞒行为，例如贷款用途是否属实，是否真实发生事故等。真实意图识别通常依靠经验判断或者提供相关证明文件。又如简历履历也存在作假问题，且集中在求职者的工作职责和个人业绩上，一般都会夸大自己在某个项目中的贡献。心理压力测试技术可以介入到相关环节中，识别主观的信息隐瞒行为或意图。

心理测试技术，是指在特定场景下，心理测试员对被测试者产生持续的“刺激-反应”作用，提取被测试者的语言、动作、表情、情绪等一系列生理特征，从而判断被测试者的语言表述是否如其内心想法一致、是否与真实客观事实一致，以及是否存在情绪异常的概率情况。

实际应用过程中，被测试者产生心理异常反应，并不一定是撒谎导致，也有可能是由一些外部环境因素影响导致：(1)不同场景的压力刺激不同。例如在招聘面试场景，其环境对被测试者带来的压力刺激是显著差异的；(2)心理测试员自身的压力刺激。不同的心理测试员或者面试官，或一些与评测无关或者随机的表情语言、肢体行为都会对被测试者，甚至同时面对多个心理测试员或者面试官时，都会给被测试者带来不同外部压力刺激。

然而，现在技术中极少能够考虑到外部环境因素的影响，导致无法准确检测被测试者在回答问卷是的压力异常。

发明内容

本申请提供一种基于多模态隐匿信息测试的风险检测方法、装置、及计算机可读存储介质。

为解决上述技术问题，本申请提供的第一个技术方案为：提供一种基于多模态隐匿信息测试的风险检测方法，包括：构造结构化问句问卷，以及场景问卷反馈矩阵；依次播放所述问句问卷中的初始场景问句、问句库问句以及平滑场景问句，并获取被测试者在交互过程中的音视频数据；基于所述音视频数据采集生理特征数据及其归一化时间序列，以及利用所述归一化时间序列构建会话刺激矩阵；按照所述生理特征数据的归一化时间序列和所述会话刺激矩阵构建第一模型和第二模型，并根据第二模型优化第一模型的模型参数，以得到结果矩阵；利用所述结果矩阵分别进行环境场景压力检测、全局生理特征的问句压力检测、全局生理特征的回答压力检测和/或个体特征敏感性检测，得到多维的风险检测结果。

为解决上述技术问题，本申请提供的第二个技术方案为：提供一种基于多模态隐匿信息测试的风险检测装置，所述风险检测装置包括问句问卷处理模块、时间序列处理模块、模型参数估计模型以及风险检测模型，其中，所述问句问卷处理模块，用于获取预设的问句问卷；所述时间序列处理模块，用于依次播放所述问句问卷中的初始场景问句、问句库问句以及平滑场景问句，并获取被测试者在交互过程中的音视频数据；还用于，基于所述音视频数据采集生理特征数据及其归一化时间序列，以及利用所述归一化时间序列构建会话刺激矩阵；所述模型参数估计模型，用于按照所述生理特征数据的归一化时间序列和所述会话刺激矩阵构建第一模型和第二模型，并并根据第二模型优化第一模型的模型参数，以得到结果矩阵；所述风险检测模型，用于利用所述结果矩阵分别进行环境场景压力检测、全局生理特征的问句压力检测、全局生理特征的回答压力检测和/或个体特征敏感性检测，得到多方面的风险检测结果。

为解决上述技术问题，本申请提供的第三个技术方案为：提供另一种基于多模态隐匿信息测试的风险检测装置，所述风险检测装置包括处理器、与所述处理器连接的存储器，其中，所述存储器存储有程序指令；所述处理器用于执行所述存储器存储的程序指令以实现上述的风险检测方法。

为解决上述技术问题，本申请提供的第四个技术方案为：提供一种计算机可读存储介质，所述存储介质存储有程序指令，所述程序指令被执行时实现上述的风险检测方法。

本申请提供的风险检测方法，通过构造结构化问句问卷；依次播放问句问卷中的初始场景问句、问句库问句以及平滑场景问句；基于音视频数据采集生理特征数据及其归一化时间序列，以及利用所述归一化时间序列构建会话刺激矩阵；按照生理特征数据的归一化时间序列和会话刺激矩阵构建第一模型和第二模型，并根据第二模型优化获取第一模型的模型参数，以得到结果矩阵；利用结果矩阵分别进行环境场景压力检测、全局生理特征的问句压力检测、全局生理特征的回答压力检测和/或个体特征敏感性检测，得到多维的风险检测结果。本申请能够自动检测并识别被测试者在回答问卷时的压力异常。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请提供的基于多模态隐匿信息测试的风险检测方法一实施例的流程示意图；

图2是图1所示风险检测方法步骤S11的子步骤流程图；

图3是本申请提供的问句问卷一实施例的顺序示意图；

图4是本申请提供的会话刺激矩阵一实施例的时序示意图；

图5是图1所示风险检测方法步骤S14的子步骤流程图；

图6是本申请提供的基于多模态隐匿信息测试的风险检测装置一实施例的结构示意图；

图7是本申请提供的基于多模态隐匿信息测试的风险检测装置另一实施例的结构示意图；

图8是本申请计算机可读存储介质的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

心理测试技术包括三个要素：(1)测试场景(例如审讯、招聘面试和银行面签等)；(2)心理测试员和测试问卷；(3)被测试者。

心理测试问卷的编制是测试的核心内容，准绳问题测试法CQT(Control Question Test)和隐匿信息测试法CIT(Concealed Information Test)是最为常用的两种测试方法。CQT的测试问句由相关问题、不相关问题和准绳问题三类组成；CIT测试问句由关键问题(相关问题)和陪衬问题(背景问题)组成。与CQT不同的是CIT的问句是以“组”为单位的，一套完整的CIT测试题由若干“组”构成，每个“组”由若干问句构成。理论上，只要存在只有被测试者自己知道的隐匿信息，CIT就可以使用，即试图隐匿信息的被测试者容易区分关键问题和陪衬问题，如果被测试者对关键问题和陪衬问题的生理反应没有差异，就可以推断被测人对关键问题存在较小的隐匿可能性；如果关键问题的生理反应显著强于陪衬问题，则推断被测人对关键问题存在较大的隐匿可能性。其中两类测试方法的测试结构都含有相关与对照两类刺激，其核心机制都是采用不同的问题去唤起被测试者的生理特征异常。两类测试方法已大量应用在“测谎”领域，“测谎”技术并非识别撒谎本身，而是检测存在一定的外部压力下，通过生理指标变异去识别心理压力的异常。

基于以上原理，本申请提出一种基于多模态隐匿信息测试的风险检测方法，可以应用于金融风险管理和人力资源面试等相关领域，能够自动检测并识别被测试者在回答特定关键问题时的心理或情绪压力异常。

下面结合附图和实施例对本申请进行详细的说明。

请参见图1，图1是本申请提供的基于多模态隐匿信息测试的风险检测方法一实施例的流程示意图。

本申请的风险检测方法应用于一种终端设备，其中，本申请的终端设备可以为服务器，也可以为移动设备，还可以为由服务器和移动设备相互配合的系统。相应地，终端设备包括的各个部分，例如各个单元、子单元、模块、子模块可以全部设置于服务器中，也可以全部设置于移动设备中，还可以分别设置于服务器和移动设备中。

进一步地，上述服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，例如用来提供分布式服务器的软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。

本申请实施例的基于多模态隐匿信息测试的风险检测方法的具体步骤如下：

步骤S11：构造结构化问句问卷，以及场景问卷反馈矩阵。

其中，本申请实施例的风险检测装置首先对CQT或CIT的心测问句文本进行正规化以及结构化处理，处理方式包括但不限于：去除停用词，拼写校正，缩写的改写等。进一步地，工作人员还可以通过风险检测装置设定心测问句文本的最大词长度为L，一方面对于单词数大于L的问句文本进行截断，另一方面对应单词数小于L的问句文本进行填补，从而达到统一心测问句文本长度的效果。

风险检测装置可以基于CQT或CIT的心测问句文本结合上述处理方式获得本实施例预设的问句问卷，也可以引入无实际语义的场景问句，对CQT或CIT的心测问句文本重新组合和定义，生成能够针对不同场景的问句问卷，具体请继续参阅图2，图2是图1所示风险检测方法步骤S11的子步骤流程图。

本申请实施例的步骤S11具体可以包括以下子步骤：

步骤S21：定义词典矩阵，遍历词典矩阵中的词，定义对应的字典矩阵。

其中，风险检测装置定义词典矩阵

词典矩阵的词总数为N。

为单位矩阵I _N的第k列，k＝1，2...N。

取词典矩阵中第i个词为

其中

定义字典矩阵简记为V＝δ _N[1 2…N]，设置词典矩阵的第一个词为空字符，即

代表空字符。

步骤S22：定义问句库问句和回答库回答语句。

其中，风险检测装置利用字典矩阵定义问句库以及回答库，其中，问句库内定义有若干问句

回答库内定义有若干回答语句

问句库中的问句条数为M _s，回答库中的回答条数M _A。其中，第i条心测问句的词典结构表达为

第i条心测问句被测试者的回答的词典结构表达为

步骤S23：利用字典矩阵定义初始场景问句以及平滑场景问句。

其中，风险检测装置进一步定义两类特殊问句，即初始场景问句S ₀＝δ _N[k ₁ k ₂ …k _L]和平滑场景问句S ₊＝δ _N[k ₁ k ₂ …k _L]，其中，k ₁＝k ₂＝…k _L＝1。因此，仅需要标注当前场景下的场景问句用于和其他问句进行区分，不需要实际的文本内容。平滑场景问句S ₊＝δ _N[k ₁ k ₂ …k _L]可设置为多个不同的语句(对应每个评测问句回答)。为了简化说明，本申请的实施例将每个评测问句回答之后的平滑场景问句S ₊＝δ _N[k ₁ k ₂ …k _L]设置为相同语句，该简化过程对整体算法与流程，不失去一般性和通用性。

需要说明的是，初始场景问句S ₀在一次完整的交互过程中只会使用一次，而平滑场景问句将会在每次被测试者回答完成后都使用一次，具体请参阅图3，图3是本申请提供的问句问卷一实施例的顺序示意图。在交互过程的开始，风险检测装置通过初始场景问句对被测试者的场景压力进行采集，然后依次经过提问阶段、思考阶段以及回答阶段后，通过平滑场景问句对被测试者的场景压力进行采集，以此类推。

本申请实施例通过引入无实际语义的两类场景问句，结合“刺激-反应”模型参数估计，可以分析提取出当前场景或者当前环境给被测试者带来的心理压力，因此，本申请的风险检测方法可以直接适用于不同场景使用。

步骤S24：利用问句库、回答库、初始场景问句以及平滑场景问句定义场景问卷反馈矩阵。

其中，风险检测装置定义b×(3l+1)的场景问卷反馈矩阵Q＝δ _b[1 2 …(3l+1)]，第j列向量为

b＝2l+2。其中，l是构造一次场景问卷从问句库

中提取若干问句的数量，即排列形成子问句库S＝δ _l[1 2 j…l]。对应的子回答语句库A＝δ _l[1 2 j…l]通过交互从回答库

动态提取，可以由多个回答对应一个问句。

具体对应关系可以参照如下：

对应初始场景问句S ₀，j＝1；

对应评测问句

对应评测问句的回答

对应平滑场景问句S ₊，j＝4；

对应评测问句

对应评测问句的回答

对应评测平滑场景问句S ₊，j＝7；

……

对应平滑场景问句S ₊，j＝3l+1。

步骤S25：利用问句库的属性分类定义心测问答矩阵属性。

其中，风险检测装置定义m×l的心测问答矩阵属性B，m为多种问句的属性分类。表示子问句库S＝δ _l[1 2 j …l]中第j列问句是否属于第i属性，若是则值为1，若否则值为0。

例如，CQT的测试问句由相关问题、不相关问题和准绳问题三类组成；CIT测试问句由关键问题(相关问题)和陪衬问题(背景问题)组成。一个问句可以同时属于CQT相关问题和CIT关键问题，在风险控制领域中，CQT相关问题或CIT关键问题就是关键的风控点。

步骤S12：依次播放问句问卷中的初始场景问句、问句库问句以及平滑场景问句，并获取被测试者在交互过程中的音视频数据。

其中，完成问句问卷的结构化处理后，风险检测装置上搭载的后台评测系统与前台用户终端建立网络通信，被测试者通过前台用户终端接受问句问卷的信息，且通过前台用户终端采集被测试者的音视频数据。本申请实施例的前台用户终端包括但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等。

被测试者进入会话后，前台用户终端即可开始采集音视频流，记录开始时间t ⁰，独立采集z个被测试者生理特征，其中，第j个生理特征的时间序列为

其频率为F ^j。

在实时交互过程中，前台用户终端获取问句问卷中第0个问句，即初始场面问句，进行随机延时操作。如图3所示，(1)提问阶段。前台用户终端获取问卷中第i个问句，使用TTS(从文本到语音，TextToSpeech，)进行语音合成播报，同时在前台用户终端显示问句和可选答案，记录播报显示的开始时间

和播报结束时间

(2)思考阶段和回答阶段。分别记录被测试者的开始回答时间

和完成回答时间

前台用户终端持续采集音视频流，并将所采集的回答语句语音数据转化为文本答案A _i，并更新场景问卷反馈矩阵Q，

为被测试者的思考反馈时间。(3)情绪平滑阶段。进行延时等待，构造

相应的分块会话刺激矩阵

完成第j个生理特征异构非同频率信号的时间序列处理。令计数器i＝i+1，当i小于本次评测的问句总数3l+1时，循环执行以上交互过程。

步骤S13：基于音视频数据采集生理特征数据及其归一化时间序列，以及利用归一化时间序列构建会话刺激矩阵。

本申请实施例中的基于音视频数据采集生理特征数据具体可以是基于人机自动交互采集音视频、脑电等非接触或接触生理特征数据。

由于单一维度生理信号及其衍生特征指标的识别误差较大，因此在实际应用过程中会动态引入不同维度的生理特征数据，例如动态增加血容量脉冲BVP信号、梅尔频率倒谱MFCC系数等，目前相关技术缺少对不同频率生理特征数据的通用处理，因此无法动态自适应生理特征维度的动态增加或者减少。

因此，本申请实施例中采集的音视频、脑电等非接触或接触生理特征信号为各种原始系数或者参数，包括但不限于音视频信号和脑电信号等可时间序列化的信号，例如，二维的面部ROI区域的平均光流方向直方图，一维的血容量脉冲BVP信号等；语音信号，例如，一维的音量、多维的梅尔频率倒谱MFCC系数等；用户行为信息，例如手写签的一维时间信息等。

本申请实施例可直接使用非接触或接触生理特征信号的衍生特征或参数，例如微表情、眼部动作、心率等，也可直接使用其原始系数或者参数，例如相应区域ROI的MHOOF可提取微表情特征和眼动特征，BVP信号可以提取心率。推荐使用后者，其原因在于：(1)衍生特征或者参数在提取或者训练过程中，原始系数或参数的信息会存在损耗与分类误差，从而影响对压力情绪评测的准确性；(2)一些衍生特征或者参数自身稳定性较差。

其中，风险检测装置定义单个被测试者生理特征j的归一化时间序列

其频率为F ^j。进一步地，构建归一化时间序列

相应的b×T ^j会话刺激矩阵

具体地，对于不同频率F ^j的时间序列向量

都有对应的会话刺激矩阵D ^j，其中，总时间长度

为评测总时长。被测试者进入会话时间为t ⁰，第i个问句播报和显示的开始时间为

播报结束时间为

被测试者回答第i个问句的开始时间为

完成回答时间

其中，

包括提问阶段和思考阶段。

因此，本申请实施例的会话刺激矩阵可以表示为：

其中，D ^j共有3l+1个分块矩阵

每个分块矩阵

大小为

列值都为COL(Q，i)列向量，即

为Kronecker积，

为元素为1，长度为

的行向量，具体请参阅图4，图4是本申请提供的会话刺激矩阵一实施例的时序示意图。

其中，

另外，对于间断类型的生理特征信号对应的时间序列

需要对D ^j进行结构调整。例如语音信号主要是只在回答阶段内发生，其他阶段没有

则将D ^j其他非初始场景阶段相应的分块矩阵都设置为0，即

然后按照前后文的问句向量对

按2:3:1的比例进行结构调整，即

即

和

其中，

为元素为1，长度为

的行向量。

为提高生成会话刺激矩阵D ^j的准确性，风险检测装置还可以利用ADF单位根检验对每个特征时间序列

进行平稳性检验，若

是非平稳时间序列，则对非平稳序列

进行差分处理，将

转换成与

等时间长度的平稳序列

将序列t ⁰位置前部填充0。

本申请实施例通过异构非同频率信号时间序列处理，可以自适应变维度生理特征数据的计算处理。只要确定不同频率F ^j的时间序列向量

都可以生成相应的会话刺激矩阵D ^j。

步骤S14：按照生理特征数据的归一化时间序列和会话刺激矩阵构建第一模型和第二模型，并根据第二模型优化第一模型的模型参数，以得到结果矩阵。

其中，风险检测装置需要进一步进行“刺激-反应”模型参数估计，具体请继续参阅图5，图5是图1所示风险检测方法步骤S14的子步骤流程图。

本申请实施例的步骤S14具体可以包括以下子步骤：

步骤S31：第一模型的模型参数包括模型残差以及待估计参数。

其中，风险检测装置根据单个被测试者生理特征j的时间序列

和会话刺激矩阵D ^j，构造以下第一模型：

其中，

和θ _i都是时间滞后变量参数；残差ε _t是均值为0且方差为常数的平稳白噪声；

是会话刺激矩阵第t时间D ^j列向量分量，代表不同的问句和回答语句，共有b＝2l+2个，其相应待估计参数

就是在不同阶段，场景环境和不同问句对生理特征

波动的关系影响，例如

和

是当前初始场景问句S ₀＝δ _N[k ₁ k ₂ …k _L]和平滑场景问句S ₊＝δ _N[k ₁ k ₂ …k _L]对

波动的影响，

和

是提问问句S ₁和回答语句A ₁对

波动的影响。通过上述模型，引入了“刺激-反应”范式下的心理生理动态机制模型，可以直接对个体进行评估。

然后，风险检测装置对第一模型根据AIC(Akaike information criterion)准则和BIC(Bayesian information criterion)准则确定最优模型阶数

，并对模型参数进行最小二乘法估计。可以初始选择p≤20，q≤20对第一模型根据AIC准则和BIC准则确定最优模型阶数

。BIC准则在时间序列观测值足够多的情况下，BIC挑选的阶数可以收敛到实际的阶数，即具有一致性。AIC准则不具有一致性，且AIC挑选的阶数通常比BIC要大，因此可以仅采用BIC准则来进行模型定阶。

步骤S32：对模型残差进行自相关和异方差性检验。

步骤S33：若模型残差对应的残差序列存在异方差性，则基于模型残差的残差序列建立第二模型。

进一步地，风险检测装置对第一模型的标准化残差进行Ljung-Box Q检验、Eagle ARCH检验，对模型残差进行自相关性和异方差性检验，若残差序列并非白噪声序列存在异方差性，则需建立以下第二模型：

其中，α _i和β _i都是时间滞后变量参数。第二模型阶数较高时，会增加模型的不稳定性，因此初始选择u≤2，v≤2对第二模型根据AIC准则和BIC准则确定最优模型阶数

步骤S34：获取第二模型的最优模型阶数。

步骤S35：结合第二模型的最优模型阶数和第一模型重新计算模型参数。

其中，风险检测装置结合第二模型的最优模型阶数

重新估计第一模型的模型参数

再次检验模型残差项是否符合白噪声过程。若不符合，则表明残差项中仍存在相关信息未被提取，选择2＜u≤2k，2＜v≤2k，k＝1，2，…，依次对第二模型根据AIC准则和BIC准则确定最优模型阶数

进一步地，风险检测装置依次计算被测试者下一个生理特征j+1，j+2…的时间序列

和会话刺激矩阵D ^j+1，D ^j+2…，得到相应的模型参数

步骤S36：利用重新计算的模型参数定义结果矩阵。

其中，风险检测装置定义b×z结果矩阵R，z为被测试者所有生理特征的个数，确定统计显著性水平，例如选择1％、5％、10％的显著性水平，则R(i，j)是满足显著性水平下，第i个问句或者回答对第j个生理特征变化的影响系数

若不满足显著性水平则R(i，j)设置为0。

步骤S15：利用结果矩阵分别进行环境场景压力检测、全局生理特征的问句压力检测、全局生理特征的回答压力检测和/或个体特征敏感性检测，得到多维的风险检测结果。

其中，风险检测装置基于上述结果矩阵进行评测量表分析，即完成环境场景压力检测，全局生理特征的问句压力检测，全局生理特征的回答压力检测，个体特征敏感性检测和多样本检测。

具体地，第一步，环境场景压力检测。根据单个被测试者的结果矩阵R，计算矩阵R的行均值μ _i，Row，若μ _1，Row和μ _2，Row为最大值，说明被测试者在当前场景下压力过大，对其他评测结果存在较大影响。

第二步，全局生理特征的问句压力检测。对结果矩阵R，提取共l个问句，并计算每行均值μ _i，Row，i＝3，5，…2l+1，通过心测问答属性矩阵B寻找第i个问句的属性，对于属于CQT相关问题或CIT关键问题，若μ _i，Row≠0，表明被测试者对该问句播报时存在心理压力异常，并且满足统计显著性水平；取μ _i，Row最大值的问句，即为被测试者压力最大的相关或者关键问句

第三步，全局生理特征的回答压力检测。对结果矩阵R，提取共l个回答，并计算每行均值μ _i，Row，i＝4，6，…2l，其μ _i，Row≠0，即被测试者在回答当前问题时存在心理压力异常，并且满足统计显著性水平；取μ _i，Row最大值的回答，即为被测试者压力最大的回答

其相应问句

如果在第二步全局生理特征的问句压力检测也满足显著性水平，则该问句和回答存在较大的风险点。

第四步，个体特征敏感性检测。根据单个被测试者的结果矩阵R，计算矩阵的列均值μ _j，Col，j＝1，2，…z，若μ _j，Col＝0或者接近0，则表明在当前场景下，该被测试者的第j个生理特征对每个问句提问在统计意义上都不敏感，即当前被测试者的第j个生理特征指标在本次评测中是无效的。

第五步，多样本检测。在相同场景，计算每个被测试者的结果矩阵R _i，重复第一步到第四步。

本申请实施例的风险检测装置通过首先对CQT或CIT测试问句进行分类化和向量化处理，并且引入场景和场景压力变量，根据不同场景构建相关的问卷；其次，对直接使用底层连续型不同频率的生理特征信号，构建基于会话状态的时间序列，然后，构建时间序列模型并估计模型参数，计算被测试者回答每个问句时不同维度生理特征的变化强度；最后得到评测量表矩阵，能够有效自动检测并识别被测试者在回答特定关键问题时的心理或情绪压力异常。

以上实施例，仅是对本申请的其中一种常见案例而已，并非对本申请的技术范围做任何限制，故凡是依据本申请方案的实质对以上内容所做的任何细微修改、等同变化或者修饰，均仍属于本申请技术方案的范围内。

请继续参见图6，图6是本申请提供的基于多模态隐匿信息测试的风险检测装置一实施例的结构示意图。其中，风险检测装置600包括问句问卷处理模块61、时间序列处理模块62、模型参数估计模型63以及风险检测模型64，其中：

所述问句问卷处理模块61，用于构造结构化问句问卷，以及场景问卷反馈矩阵。

所述时间序列处理模块62，用于依次播放所述问句问卷中的初始场景问句、问句库问句以及平滑场景问句，并获取被测试者在交互过程中的音视频数据；还用于，基于所述音视频数据采集生理特征数据及其归一化时间序列，以及利用所述归一化时间序列构建会话刺激矩阵。

所述模型参数估计模型63，用于按照所述生理特征数据的归一化时间序列和所述会话刺激矩阵构建第一模型和第二模型，并根据所述第二模型优化所述第一模型的模型参数，以得到结果矩阵。

所述风险检测模型64，用于利用所述结果矩阵分别进行环境场景压力检测、全局生理特征的问句压力检测、全局生理特征的回答压力检测和/或个体特征敏感性检测，得到多维的风险检测结果。

请参见图7，为本申请基于多模态隐匿信息测试的风险检测装置的另一实施例的结构示意图。风险检测装置包括相互连接的存储器72和处理器71。

存储器72用于存储实现上述任意一项的风险检测方法的程序指令。

处理器71用于执行存储器72存储的程序指令。

其中，处理器71还可以称为CPU(Central Processing Unit，中央处理单元)。处理器71可能是一种集成电路芯片，具有信号的处理能力。处理器71还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器72可以为内存条、TF卡等，可以存储串匹配预测装置中全部信息，包括输入的原始数据、计算机程序、中间运行结果和最终运行结果都保存在存储器中。它根据控制器指定的位置存入和取出信息。有了存储器，串匹配预测装置才有记忆功能，才能保证正常工作。串匹配预测装置的存储器按用途存储器可分为主存储器(内存)和辅助存储器(外存)，也有分为外部存储器和内部存储器的分类方法。外存通常是磁性介质或光盘等，能长期保存信息。内存指主板上的存储部件，用来存放当前正在执行的数据和程序，但仅用于暂时存放程序和数据，关闭电源或断电，数据会丢失。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，系统服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。

请参阅图8，为本申请计算机可读存储介质的结构示意图。本申请的存储介质存储有能够实现上述所有风险检测方法的程序文件81，其中，该程序文件81可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储装置包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims

一种基于多模态隐匿信息测试的风险检测方法，其中，所述风险检测方法包括：

构造结构化问句问卷，以及场景问卷反馈矩阵；

依次播放所述问句问卷中的初始场景问句、问句库问句以及平滑场景问句，并获取被测试者在交互过程中的音视频数据；

基于所述音视频数据采集生理特征数据及其归一化时间序列，以及利用所述归一化时间序列构建会话刺激矩阵；

按照所述生理特征数据的归一化时间序列和所述会话刺激矩阵构建第一模型和第二模型，并根据所述第二模型优化所述第一模型的模型参数，以得到结果矩阵；

利用所述结果矩阵分别进行环境场景压力检测、全局生理特征的问句压力检测、全局生理特征的回答压力检测和/或个体特征敏感性检测，得到多方面的风险检测结果。
根据权利要求1所述的风险检测方法，其中，所述风险检测方法还包括：

定义词典矩阵，遍历所述词典矩阵中的词，定义对应的字典矩阵；

利用所述字典矩阵定义问句库以及回答库，其中，所述问句库内定义有若干所述问句库问句，所述回答库内定义有若干回答库问句；

利用所述字典矩阵定义所述初始场景问句以及若干所述平滑场景问句；

利用所述问句库、所述回答库、所述初始场景问句以及所述平滑场景问句定义场景问卷反馈矩阵；

利用所述问句库的属性分类定义心测问答矩阵属性。
根据权利要求2所述的风险检测方法，其中，

所述依次播放所述问句问卷中的初始场景问句、问句库问句以及平滑场景问句，包括：

在交互开始时，播放所述初始场景问句；

循环执行以下步骤：依次获取并播放所述问句库问句、所述回答库问句以及所述平滑场景问句。
根据权利要求2所述的风险检测方法，其中，

所述构造结构化问句问卷，包括：

对所述问句问卷的问句文本进行正规化处理，将所述问句文本的单词数进行增删，以固定在预设文本长度。
根据权利要求1所述的风险检测方法，其中，

所述利用所述归一化时间序列构建会话刺激矩阵之前，所述风险检测方法还包括：

利用单位根检验对所述归一化时间序列进行平稳性检验；

若所述归一化时间序列为非平稳时间序列，则对所述归一化时间序列进行差分处理，生成与所述归一化时间序列时间长度相同的平稳时间序列。
根据权利要求1所述的风险检测方法，其中，

所述根据所述第二模型优化所述第一模型的模型参数，以得到结果矩阵，包括：

所述第一模型的模型参数包括模型残差以及待估计参数；

对所述模型残差进行自相关和异方差性检验；

若所述模型残差对应的残差序列存在异方差性，则基于所述模型残差的残差序列建立所述第二模型；

获取所述第二模型的最优模型阶数；

结合所述第二模型的最优模型阶数和所述第一模型重新计算模型参数；

利用重新计算的模型参数定义所述结果矩阵。
根据权利要求6所述的风险检测方法，其中，

所述对所述模型残差进行自相关和异方差性检验之前，所述风险检测方法包括：

获取所述第一模型的最优模型阶数；

基于所述第一模型的最优模型阶数对所述模型参数进行最小二乘法估计。
一种基于多模态隐匿信息测试的风险检测装置，其中，所述风险检测装置包括问句问卷处理模块、时间序列处理模块、模型参数估计模型以及风险检测模型，其中，

所述问句问卷处理模块，用于构造结构化问句问卷；

所述时间序列处理模块，用于依次播放所述问句问卷中的初始场景问句、问句库问句以及平滑场景问句，并获取被测试者在交互过程中的音视频数据；还用于，基于所述音视频数据采集生理特征数据及其归一化时间序列，以及利用所述归一化时间序列构建会话刺激矩阵；

所述模型参数估计模型，用于按照所述生理特征数据的归一化时间序列和所述会话刺激矩阵构建第一模型和第二模型，并根据所述第二模型优化所述第一模型的模型参数，以得到结果矩阵；

所述风险检测模型，用于利用所述结果矩阵分别进行环境场景压力检测、全局生理特征的问句压力检测、全局生理特征的回答压力检测和/或个体特征敏感性检测，得到多方面的风险检测结果。
一种基于多模态隐匿信息测试的风险检测装置，其中，所述风险检测装置包括处理器、与所述处理器连接的存储器，其中，

所述存储器存储有程序指令；

所述处理器用于执行所述存储器存储的程序指令以实现权利要求1～7中任一项所述的风险检测方法。
一种计算机可读存储介质，其中，所述存储介质存储有程序指令，所述程序指令被执行时实现权利要求1～7中任一项所述的风险检测方法。