WO2016033950A1 - 一种视觉注意的检测方法及系统 - Google Patents

一种视觉注意的检测方法及系统 Download PDF

Info

Publication number
WO2016033950A1
WO2016033950A1 PCT/CN2015/073706 CN2015073706W WO2016033950A1 WO 2016033950 A1 WO2016033950 A1 WO 2016033950A1 CN 2015073706 W CN2015073706 W CN 2015073706W WO 2016033950 A1 WO2016033950 A1 WO 2016033950A1
Authority
WO
WIPO (PCT)
Prior art keywords
attention
time
pupil diameter
point
preparation
Prior art date
Application number
PCT/CN2015/073706
Other languages
English (en)
French (fr)
Inventor
栗觅
吕胜富
王静
钟宁
Original Assignee
北京工业大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京工业大学 filed Critical 北京工业大学
Priority to US15/324,677 priority Critical patent/US20170251968A1/en
Publication of WO2016033950A1 publication Critical patent/WO2016033950A1/zh

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1075Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions by non-invasive methods, e.g. for determining thickness of tissue layer
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168Evaluating attention deficit, hyperactivity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation

Definitions

  • the visual attention detection system can dynamically and systematically express the attention change curve for the attention process, and can combine the attention dynamic change process and the attention change curve to refine the research attention.
  • the process is to describe the law of attention more comprehensively and systematically.
  • the present invention quantitatively calculates the various stages of attention, and can comprehensively, systematically and quantitatively describe the change process of attention, and provides a new perspective and method for the research of attention, using quantitative characterization, holistic and dynamic methods.
  • Cognitive science and cognitive psychology provide new methods.
  • FIG. 2 is a flow chart of determining a change curve in accordance with a preferred embodiment of the present invention
  • FIG. 4 is a block diagram of a visual attention detection system in accordance with a preferred embodiment of the present invention.
  • the first thing to note is that during the attention process, changes in attention can cause changes in the diameter of the pupil.
  • the invention adopts the pupil diameter curve to quantitatively express the attention change curve, and the dynamic change characteristic of attention can be expressed by the dynamic change characteristic of the pupil diameter.
  • the visual stimulation task described above is then presented to the user. Specifically, first, the user is presented with a black screen of 5 seconds (the center of the black screen presents a "+”sign); then, the visual stimulation task is presented in the center of the screen (the horizontal angle and the vertical angle of view are both 12 degrees), allowing the testee to view 5 Second; finally, the user is presented with a black screen for 5 seconds (the center of the black screen presents a "+” sign).
  • the eye movement acquisition device is used to synchronously acquire the time series t 1 , t 2 , . . . , t n of the respective fixation points of the user, and the corresponding pupil diameter sequences P 1 , P 2 , . . .
  • step S2 an attention curve is drawn according to the correspondence between the time series and the pupil diameter sequence.
  • the time series is the horizontal axis
  • the pupil diameter sequence is the vertical axis to plot the pupil diameter with time, that is, the user's attention curve.
  • FIG. 2 is a flow chart for determining a note of a change curve in accordance with a preferred embodiment of the present invention.
  • Point E Note the point at which the pupil diameter reaches a stationary phase after the end.
  • CD segment Pay attention to the maintenance phase, which is the process of keeping the attention until the end of attention after the attention processing is completed.
  • step S3 attention preparation phase, attention processing phase, attention retention phase, and attention release phase, respectively.
  • R AB (P B -P A )/(t B -t A ),(1)
  • t A is the time corresponding to the start point A
  • P A is the diameter of the pupil at time t A
  • t B is the time corresponding to the end point B of the preparation
  • P B is the diameter of the pupil at time t B
  • t AB is the preparation for attention Time
  • R AB is the attention preparation rate, that is, the slope of the AB segment, R AB ⁇ 0.
  • Perform a numerical analysis of the attention processing stage including: calculating the attention processing time and the attention processing rate in the attention processing stage.
  • t B is the time corresponding to the start point B of the processing
  • P B is the diameter of the pupil at time t B
  • t C is the time corresponding to the end point C of the processing
  • P C is the diameter of the pupil at time t C
  • t BC is the attention Processing time
  • R BC is the attention processing rate, that is, the BC segment slope, R BC >0.
  • the processing phase consists of three notes: select attention, handle attention, and transfer attention.
  • the psychological load gradually increases, and the pupil diameter also gradually increases from the P B at the beginning of the attention processing to the P C at the end of the attention processing. Therefore, the rate of change of the pupil diameter at the processing stage is noted as R BC >0.
  • Performing a numerical analysis of the attention retention phase including: calculating the attention retention time and the rate of change of attention during the attention retention phase,
  • t CD t D - t C ;
  • 0.06) is smaller than the absolute value of User 2 (
  • 0.20), which means that the attention preparation efficiency of User 1 is lower than the attention preparation efficiency of User 2.
  • the processing rate (R BC 0.08), which means that the attention processing efficiency of the user 1 is lower than that of the user 2.
  • the user 1 has less attention than the user 2 in synthesizing the comparison of the above stages.
  • FIG. 4 is a block diagram of a visual attention detection system in accordance with a preferred embodiment of the present invention.
  • the stimulation providing device 1 closely combines the above-described normalized four pictures in four quadrants without overlapping, thereby constituting a visual stimulation task.
  • the eye movement collecting device 2 is used to collect a time series of respective gaze points and a corresponding pupil diameter sequence in the visual attention process.
  • the eye movement collecting device 2 can adopt a non-invasive eye tracker of the type Tobii T120, and record the attention curve of the user when viewing the picture at a sampling frequency of 120 Hz.
  • the change curve generating means 3 is connected to the eye movement collecting means 2 for drawing an attention curve according to the correspondence between the time series and the pupil diameter sequence. Specifically, pay attention to the curve generation device. Set the time series as the horizontal axis and the pupil diameter sequence as the vertical axis to generate the pupil diameter curve with time, that is, the user's attention curve.
  • the numerical analysis device 4 is connected to the attention change curve generating means 3 for numerically analyzing the respective stages of the attention change curve based on the duration and the pupil change rate.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Developmental Disabilities (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Ophthalmology & Optometry (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Physiology (AREA)
  • Educational Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Power Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

一种视觉注意的检测方法和系统。所述方法和系统通过采集视觉注意过程中各个注视点的时间序列和对应的瞳孔直径序列,根据所述时间序列和瞳孔直径序列的对应关系绘制注意变化曲线,根据预设时间参数和预设瞳孔直径参数将所述注意变化曲线划分为四个注意阶段,进而基于持续时间和瞳孔变化率对每个所述注意阶段进行数值分析,可以实现对视觉注意的各个阶段进行定量计算,能够全面、系统、定量地刻画注意的变化过程。

Description

一种视觉注意的检测方法及系统 技术领域
本发明涉及认知科学、认知心理学和量化分析领域,特别涉及一种视觉注意的检测方法及系统。
背景技术
众所周知,眼睛是心灵的窗口,是我们获取外界信息的重要方式,人类的信息加工在很大程度上依赖于视觉通道。有研究表明,人类通过眼睛获取的外界信息高达80%-90%。因此可以认为眼球运动的研究是研究人的认知活动(注意、记忆、推理、阅读等)规律最有效的手段。早在19世纪就有人通过人的眼球运动来研究人的认知活动(注意、记忆、推理、阅读等)规律。近年来,一些精密眼动仪的相继问世,为通过分析记录到的眼动数据研究眼动与人的认知活动(注意、记忆、推理、阅读等)的关系提供了新的有效工具。
但是,现有的针对人的注意力的研究,普遍采用定性描述的方式,存在缺乏定量刻画、整体性、动态性和定量性刻画的不足。
发明内容
本发明的目的是提供一种视觉注意的检测方法和系统,该方法和系统可以对视觉注意的各个阶段进行定量计算,能够全面、系统、定量地刻画注意的变化过程。
为实现上述目的,本发明的一个方面提供了一种视觉注意的检测方法, 包括如下步骤:采集视觉注意过程中各个注视点的时间序列和对应的瞳孔直径序列;根据所述时间序列和瞳孔直径序列的对应关系绘制注意变化曲线;根据预设时间参数和预设瞳孔直径参数将所述注意变化曲线划分为四个注意阶段;基于持续时间和瞳孔变化率对每个所述注意阶段进行数值分析。
其中,所述将所述注意变化曲线划分为四个注意阶段的步骤进一步包括:根据预设时间参数和预设瞳孔直径参数在所述注意变化曲线上选取五个注意点;根据所述五个注意点将所述注意变化曲线划分为四个注意阶段;其中,所述五个注意点依次为注意开始点、注意过程中瞳孔直径最小的点、注意过程中瞳孔直径最大的点、注意结束点和注意结束后瞳孔直径达到平稳阶段的点,所述四个注意阶段依次为注意准备阶段、注意处理阶段、注意保持阶段和注意解除阶段。
其中,所述对所述注意准备阶段进行数值分析的步骤包括:计算所述注意准备阶段的注意准备时间和注意准备速率,
tAB=tB-tA
RAB=(PB-PA)/(tB-tA),
其中,tA为注意开始点对应时刻,PA为tA时刻的瞳孔直径大小,tB为注意准备结束点对应时刻,PB为tB时刻的瞳孔直径大小,tAB为注意准备时间,RAB为注意准备速率。
其中,所述对所述注意处理阶段进行数值分析的步骤包括:计算所述注意处理阶段的注意处理时间和注意处理速率,
tBC=tC-tB
RBC=(PC-PB)/(tC-tB),
其中,tB为注意准备结束点对应时刻,即注意处理开始点对应时刻,PB为tB时刻的瞳孔直径大小,tC为注意处理结束点对应时刻,PC为tC时刻的瞳孔直径大小,tBC为注意处理时间,RBC为注意处理速率。
其中,所述对所述注意保持阶段进行数值分析的步骤包括:计算所述注意保持阶段的注意保持时间和注意力变化率,
tCD=tD-tC
RCD=PCD/(tD-tC),
其中,tC为注意处理结束点对应时刻,即注意保持开始点对应时刻,tD为注意保持结束点对应时刻,tCD为注意保持时间,
Figure PCTCN2015073706-appb-000001
i=1,2,3,…,n,Pi是注意保持阶段第i个注视点的瞳孔直径,RCD为注意力变化率。
其中,所述对所述注意解除阶段进行数值分析的步骤包括:计算所述注意解除阶段的注意恢复时间和注意恢复速率,
tDE=tE-tD
RDE=(PE-PD)/(tE-tD),
其中,tD为注意保持结束点对应时刻,tE为注意解除恢复完成点对应时刻,tDE为注意恢复时间,PD为tD时刻的瞳孔直径大小,PE为tE时刻的瞳孔直径大小,RDE为注意恢复速率。
如上所述,根据本发明提供的视觉注意的检测方法,对注意过程可以动态、系统地用注意变化曲线表示,而且可以比较注意的动态变化过程和注意变化曲线相结合来细化研究注意的过程,更加全面、系统地刻画注意规律。同时,本发明对于注意的各个阶段进行定量计算,能够全面、系统、定量地刻画注意的变化过程,为注意的研究提供了新的视角和方法,采用定量刻画、整体性、动态性方式,为认知科学和认知心理研究提供了新的方法。
本发明的又一目的是提供一种视觉注意的检测系统,该系统可以对于注意的各个阶段进行定量计算,能够全面、系统、定量地刻画注意的变化过程。
所述一种视觉注意的检测系统,包括:刺激提供装置1,用于设置视觉刺激任务并提供给测试者;眼动采集装置2,用于视觉注意过程中各个注视点的时间序列和对应的瞳孔直径序列;注意变化曲线生成装置3,连接到眼动采集装置2,其用于根据所述时间序列和瞳孔直径序列的对应关系生成注意变化曲线;和数值分析装置4,连接到所述注意变化曲线生成装置3,用于基于持续时间和瞳孔变化率对注意变化曲线进行数值分析。
其中,所述注意变化曲线生成装置3以时间序列为横轴,瞳孔直径序列 为纵轴生成注意变化曲线。
其中,所述数值分析装置4通过下述方式对注意变化曲线进行处理:根据预设时间参数和预设瞳孔直径参数在所述注意变化曲线上选取五个注意点;根据所述五个注意点将所述注意变化曲线划分为四个注意阶段;其中,所述五个注意点依次为注意开始点、注意过程中瞳孔直径最小的点、注意过程中瞳孔直径最大的点、注意结束点和注意结束后瞳孔直径达到平稳阶段的点,所述四个注意阶段依次为注意准备阶段、注意处理阶段、注意保持阶段和注意解除阶段。
其中,所述数值分析装置4通过下述操作对注意变化曲线进行数值分析:计算所述注意准备阶段的注意准备时间和注意准备速率;计算所述注意处理阶段的注意处理时间和注意处理速率;计算所述注意保持阶段的注意保持时间和注意力变化率;以及计算所述注意解除阶段的注意恢复时间和注意恢复速率。
如上所述,本发明实施方式提供的视觉注意的检测系统,对注意过程可以动态、系统地用注意变化曲线表示,而且可以比较注意的动态变化过程和注意变化曲线相结合来细化研究注意的过程,更加全面、系统地刻画注意规律。同时,本发明对于注意的各个阶段进行定量计算,能够全面、系统、定量地刻画注意的变化过程,为注意的研究提供了新的视角和方法,采用定量刻画、整体性、动态性方式,为认知科学和认知心理研究提供了新的方法。
附图说明
图1是根据本发明优选实施方式的视觉注意的检测方法流程图;
图2是根据本发明优选实施方式的注意变化曲线的确定流程图;
图3是根据本发明示例性实施方式的用户注意变化曲线图;
图4是根据本发明优选实施方式的视觉注意的检测系统的结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
在对人的注意过程进行分析时,普遍认为注意包括4个亚成分:注意定向、选择注意、分散注意和维持注意。在大量认知心理学和生物学研究基础上提出了注意的网络学说,认为在认知、神经网络和神经递质等水平上,注意可以分为三个注意网络:分别为执行注意的警觉、定向和执行控制功能。警觉是指实现并维持一种警醒的状态,定向是从感觉输入中选择信息,执行控制是指在反应之间解决冲突。这就说明注意并不是整体性的,而是可以细化的。
本发明针对上述情况,通过眼动采集装置记录到的眼动数据将注意细化并绘制成了注意变化曲线。
图1是根据本发明优选实施方式的视觉注意的检测方法流程图;
步骤S1,采集视觉注意过程中各个注视点的时间序列和对应的瞳孔直径序列。
首先需要说明的是,在注意过程中,注意的变化会引起瞳孔直径的变化。本发明采用瞳孔直径曲线定量表示注意变化曲线,注意的动态变化特征可以用瞳孔直径的动态变化特征进行表示。
基于上述理论,本步骤首先设置引起瞳孔直径变化的视觉刺激任务,包括如下步骤:
首先,从图片库中任意选取4幅图片。由于被选出来的4幅图片的大小、亮度和灰度均可能存在差异,需要对图片进行规范化处理。在本发明中,采用图像处理软件(例如,Photoshop软件)将每一幅图片都处理成为相同大小、相同亮度和相同灰度的图片。其中,规范化处理后的图片的大小可以为200*200像素。
其次,将上述规范化处理后的4幅图片按照4个象限不重叠地紧密地组合在一起,从而构成一个视觉刺激任务。
然后,将上述视觉刺激任务呈现给用户。具体地,首先,向用户呈现5秒黑屏(黑屏中央呈现一个“+”号);然后,把视觉刺激任务呈现在屏幕中央(水平视角和垂直视角都为12°),让被测试者观看5秒钟;最后向用户呈现5秒黑屏(黑屏中央呈现一个“+”号)。在这个过程中,使用眼动采集装置同步采集用户的各个注视点的时间序列t1、t2、…、tn,以及对应的瞳孔直径序列P1、P2、…、Pn,其中,n为注视点数,瞳孔直径P1为t1时刻的用户瞳孔直径,瞳孔直径P2为t2时刻的用户瞳孔直径,以此类推,不再赘述。
在本发明的实施方式中,可以采用型号为Tobii T120的非侵入式眼动仪,以120Hz的采样频率记录用户在观看图片时的注意变化曲线。
步骤S2,根据所述时间序列和瞳孔直径序列的对应关系绘制注意变化曲线。
具体地,以时间序列为横轴,瞳孔直径序列为纵轴绘制瞳孔直径随时间变化曲线,即用户的注意变化曲线。
步骤S3,根据预设时间参数和预设瞳孔直径参数将注意变化曲线划分为四个注意阶段。
具体地,在本步骤中,根据预设时间参数和预设瞳孔直径参数,从注意变化曲线上选取五个注意点。其中,预设时间参数包括注意开始点、注意结束点。预设瞳孔直径参数包括注意过程中瞳孔直径最小的点、注意过程中瞳孔直径最大的点和注意结束后瞳孔直径达到平稳阶段的点。
在本发明的实施方式中,五个注意点包括注意开始点、注意过程中瞳孔直径最小的点、注意过程中瞳孔直径最大的点、注意结束点和注意结束后瞳孔直径达到平稳阶段的点。
然后,根据上述五个注意点,以上述五个注意点中任意相邻两个点之间的过程为一个注意阶段,将注意变化曲线划分为四个注意阶段。其中,四个注意阶段包括:注意准备阶段、注意处理阶段、注意保持阶段和注意解除阶 段。
图2是根据本发明优选实施方式的注意变化曲线的确定流程图。
下面参考图2对步骤S2中注意变化曲线5点选取和4个注意阶段的确定方法进行说明。
从图2中可以看出,图2所示的变化曲线由5个注意点(A、B、C、D、E)和4个注意阶段(AB、BC、CD、DE)组成。
A点:注意开始点;
B点:注意过程中瞳孔直径最小的点;
C点:注意过程中瞳孔直径最大的点;
D点:注意结束时的点;
E点:注意结束后瞳孔直径达到平稳阶段的点。
上述5个注意点(A、B、C、D、E)将注意变化曲线分成了4个注意阶段。
AB段:注意准备阶段,该阶段包括注意警醒和注意定向两种注意成分。
BC段:注意处理阶段,该阶段包括选择注意、处理注意和转移注意三个注意成分。注意处理过程是首先选择一个注意,然后对于选择的注意进行加工处理,注意处理完成后,转移注意到被选择的下一个注意。三个注意成分如此循环,直到所有的注意都处理完成。
CD段:注意保持阶段,该阶段为注意处理完成后,一直保持注意直至注意结束的过程。
DE段:注意解除阶段,该阶段是注意恢复阶段,即注意从保持恢复到没有注意的静息阶段。
步骤S4,基于持续时间和瞳孔变化率对每个注意阶段进行数值分析。
下面分别对步骤S3中设置的四个注意阶段:注意准备阶段、注意处理阶段、注意保持阶段和注意解除阶段的数值分析分别进行描述。
为方便描述,下面仍以图2所示的由5个注意点(A、B、C、D、E)和4个注意阶段(AB、BC、CD、DE)组成的注意变化曲线进行说明。
(1)注意准备阶段
注意准备阶段是注意的第一个阶段,对应瞳孔直径变化的AB段,A是注意的开始点,也是注意准备的起始点,B是注意准备结束点,也是注意处理开始点。本发明中,建立了参数注意准备时间tAB和注意准备速率RAB来描述注意准备阶段,如式(1)所示。
对注意准备阶段进行数值分析,包括:计算注意准备阶段的注意准备时间和注意准备速率。
tAB=tB-tA
RAB=(PB-PA)/(tB-tA),(1)
其中,tA为注意开始点A对应时刻,PA为tA时刻的瞳孔直径大小,tB为注意准备结束点B对应时刻,PB为tB时刻的瞳孔直径大小,tAB为注意准备时间,RAB为注意准备速率,即AB段斜率,RAB<0。
注意准备阶段是注意的警醒过程,并伴随着注意定向。注意警醒是从非注意状态到注意状态的转换,注意定向是注意状态达到后持续确定的状态。在非注意状态下,瞳孔直径大;在注意状态下,瞳孔直径小。因此,注意准备阶段是瞳孔直径从大到小逐渐调节过程,为注意处理做准备,注意准备阶段的注意准备速率RAB<0,RAB的绝对值大小表示注意准备的快慢,RAB为负时表示注意准备时瞳孔直径是缩小的。
(2)注意处理阶段
注意处理阶段是注意的第二个阶段,对应瞳孔直径变化的BC段,B是注意准备结束点,也是注意处理阶段开始点,C是注意处理完成点,也是注意保持开始点。本发明中,通过构建参数注意处理时间为tBC和注意处理速率为RBC来描述注意处理阶段,如式(2)所示。
对注意处理阶段进行数值分析,包括:计算注意处理阶段的注意处理时间和注意处理速率。
tBC=tC-tB
RBC=(PC-PB)/(tC-tB),(2)
其中,tB为注意处理开始点B对应时刻,PB为tB时刻的瞳孔直径大小,tC为 注意处理结束点C对应时刻,PC为tC时刻的瞳孔直径大小,tBC为注意处理时间,RBC为注意处理速率,即BC段斜率,RBC>0。
注意处理阶段包括三个注意成分:选择注意、处理注意和转移注意。随着注意处理的增加,心理负荷逐渐增大,瞳孔直径也从注意处理开始的PB逐渐增大到注意处理结束的PC,因此,注意处理阶段的瞳孔直径的变化率RBC>0。
(3)注意保持阶段
注意保持阶段是注意的第三个阶段,对应瞳孔直径变化的CD段,C是注意保持开始点,也就是注意处理结束点,D是注意保持结束点,也是注意解除开始点,本发明中,通过构建参数注意保持时间为tDC和注意力变化率RCD来描述注意保持阶段,如式(3)所示。
对注意保持阶段进行数值分析,包括:计算所述注意保持阶段的注意保持时间和注意力变化率,
tCD=tD-tC
RCD=PCD/(tD-tC),(3)
其中,tC为注意保持开始点C对应时刻,tD为注意保持结束点D对应时刻,tCD为注意保持时间,
Figure PCTCN2015073706-appb-000002
i=1,2,3,…,n,Pi是注意保持阶段CD段第i个注视点的瞳孔直径,RCD为注意力变化率。
注意保持阶段反映了注意保持能力,即注意力,注意力变化率RCD是指注意保持阶段平均瞳孔直径的大小与注意保持时间的比率,注意力变化率越小表示注意力越强。
(4)注意解除阶段
注意解除阶段是注意的第四个阶段,注意解除阶段就是注意的恢复过程,注意从注意保持恢复到非注意状态。注意解除阶段对应瞳孔直径变化的DE段,D是注意保持结束点,也是注意解除开始点,E是注意解除恢复完成点。本发明中,通过构建参数注意恢复时间tDE和注意恢复速率RDE来描述注意解除阶段,如式(4)所示。
对注意解除阶段进行数值分析,包括:计算所述注意解除阶段的注意恢复时间和注意恢复速率,
tDE=tE-tD
RDE=(PE-PD)/(tE-tD),(4)
其中,tD为注意解除开始点D对应时刻,tE为注意解除恢复完成点E对应时刻,tDE为注意恢复时间,PD为tD时刻的瞳孔直径大小,PE为tE时刻的瞳孔直径大小,RDE为注意恢复速率,即DE段斜率,RDE>0。
注意解除阶段就是注意的恢复过程,注意从注意保持恢复到非注意状态,瞳孔直径也从注意保持的PD逐渐增大到非注意状态的PE,因此,注意解除阶段的瞳孔直径的变化率RDE>0。
图3是根据本发明示例性实施方式的用户注意变化曲线图。
其中,图3(a)为用户1的注意变化曲线,图3(b)为用户2的注意变化曲线。参见图3(a)和图3(b),以用户1和用户2的注意变化曲线为例对本发明的视觉注意的检测方法进行描述。参考步骤S3和图2中确定5个注意点(即A点、B点、C点、D点、E点)和4个注意阶段(AB、BC、CD、DE)的划分方式对用户1和用户2的注意变化曲线进行标注。
根据图3(a)和图3(b)所示5个注意点和4个注意阶段对应的时间和瞳孔直径参数,采用步骤S4中方式对每个注意阶段进行数值分析,得到每个注意阶段的数值分析结果。表1示出了用户1和用户2的各个注意阶段所需时间和注意特征。
表1
Figure PCTCN2015073706-appb-000003
参考表1,从注意准备阶段来看,用户1的注意准备时间(tAB=1982ms)大于用户2的注意准备时间(tAB=766ms),用户1的注意准备速率的绝对值(|RAB|=0.06)小于用户2的绝对值(|RAB|=0.20),这表示用户1的注意准备效率低于用户2的注意准备效率。
从注意处理阶段来看,用户1的注意处理时间(tBC=1515ms)大于用户2的注意处理时间(tBC=1215ms),用户1的注意处理速率(RBC=0.03)小于用户2的注意处理速率(RBC=0.08),这表示用户1的注意处理效率低于用户2的注意处理效率。
从注意保持阶段来看,用户1的注意保持时间(tCD=1411ms)小于用户2的注意保持时间(tCD=3171ms),用户1的注意力变化率(RCD=0.23)大于用户2的注意力变化率(RCD=0.12),注意力变化率越大,注意保持所付出的努力越大,这表示用户1的注意力低于用户2的注意力。
从注意解除阶段来看,用户1的注意恢复时间(tDE=3113ms)大于用户2的注意恢复时间(tDE=2830ms),用户1的注意恢复速率(RDE=0.03)与用户2的注意恢复速率(RDE=0.03)基本相同,这表示用户1的注意解除效率低于用户2的注意解除效率。
总体来说,综合上述各个阶段的比较,用户1的注意能力低于用户2。
根据本发明实施方式的视觉注意的检测方法,对注意过程可以动态、系统地用注意变化曲线表示,而且可以比较注意的动态变化过程和注意变化曲线相结合来细化研究注意的过程,更加全面、系统地刻画注意规律。同时,本发明对于注意的各个阶段进行定量计算,能够全面、系统、定量地刻画注意的变化过程,为注意的研究提供了新的视角和方法,采用定量刻画、整体性、动态性方式,为认知科学和认知心理研究提供了新的方法。
图4是根据本发明优选实施方式的视觉注意的检测系统的结构图。
如图4所示,发明实施方式提供的视觉注意的检测系统,包括:刺激提供装置1、眼动采集装置2、注意变化曲线生成装置3和数值分析装置4。
首先需要说明的是,在注意过程中,注意的变化会引起瞳孔直径的变化。 本发明采用瞳孔直径曲线定量表示注意变化曲线,注意的动态变化特征可以用瞳孔直径的动态变化特征进行表示。
具体来说,刺激提供装置1用于设置视觉刺激任务并提供给测试者。首先,刺激提供装置1从图片库中任意选取4幅图片。由于被选出来的4幅图片的大小、亮度和灰度均可能存在差异,需要对图片进行规范化处理。在本发明中,采用图像处理软件(例如,Photoshop软件)将每一幅图片都处理成为相同大小、相同亮度和相同灰度的图片。其中,规范化处理后的图片的大小可以为200*200像素。
其次,刺激提供装置1将上述规范化处理后的4幅图片按照4个象限不重叠地紧密地组合在一起,从而构成一个视觉刺激任务。
然后,刺激提供装置1将上述视觉刺激任务呈现给用户。具体地,首先,向用户呈现5秒黑屏(黑屏中央呈现一个“+”号);然后,把视觉刺激任务呈现在屏幕中央(水平视角和垂直视角都为12°),让被测试者观看5秒钟;最后向用户呈现5秒黑屏(黑屏中央呈现一个“+”号)。
由此可知,刺激提供装置1可以采用具有图片选取、处理和显示功能的装置。
眼动采集装置2用于采集视觉注意过程中各个注视点的时间序列和对应的瞳孔直径序列。
眼动采集装置2同步采集用户的各个注视点的时间序列t1、t2、…、tn,以及对应的瞳孔直径序列P1、P2、…、Pn,其中,n为注视点数瞳孔直径P1为t1时刻的用户瞳孔直径,瞳孔直径P2为t2时刻的用户瞳孔直径,以此类推,不再赘述。
在本发明的实施方式中,眼动采集装置2可以采用型号为Tobii T120的非侵入式眼动仪,以120Hz的采样频率记录用户在观看图片时的注意变化曲线。
注意变化曲线生成装置3与眼动采集装置2相连,用于根据时间序列和瞳孔直径序列的对应关系绘制注意变化曲线。具体地,注意变化曲线生成装 置3以时间序列为横轴,瞳孔直径序列为纵轴生成瞳孔直径随时间变化曲线,即用户的注意变化曲线。
注意变化曲线生成装置3的工作原理与前述步骤S2的描述类似,请参见上文,在此不再赘述。
数值分析装置4连接到注意变化曲线生成装置3,用于基于持续时间和瞳孔变化率对注意变化曲线的各个阶段进行数值分析。
具体来说,数值分析装置4对注意变化曲线设置五个注意点,包括注意开始点、注意过程中瞳孔直径最小的点、注意过程中瞳孔直径最大的点、注意结束点和注意结束后瞳孔直径达到平稳阶段的点。进一步,数值分析装置4将上述五个注意点中任意相邻两个点之间的过程设置为一个注意阶段,将注意变化曲线划分为四个注意阶段。其中,四个注意阶段包括:注意准备阶段、注意处理阶段、注意保持阶段和注意解除阶段。进一步,数值分析装置4分别计算上述四个注意阶段的持续时间和瞳孔变化率,以用于分析并判断测试者所处的注意阶段。
数值分析装置4的工作原理与前述步骤S3的描述类似,请参见上文,在此不再赘述。
如上所述,根据本发明实施方式的视觉注意的检测系统,对注意过程可以动态、系统地用注意变化曲线表示,而且可以比较注意的动态变化过程和注意变化曲线相结合来细化研究注意的过程,更加全面、系统地刻画注意规律。同时,本发明对于注意的各个阶段进行定量计算,能够全面、系统、定量地刻画注意的变化过程,为注意的研究提供了新的视角和方法,采用定量刻画、整体性、动态性方式,为认知科学和认知心理研究提供了新的方法。
应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

  1. 一种视觉注意的检测方法,包括如下步骤:
    采集视觉注意过程中各个注视点的时间序列和对应的瞳孔直径序列;
    根据所述时间序列和瞳孔直径序列的对应关系生成注意变化曲线;
    根据预设时间参数和预设瞳孔直径参数将所述注意变化曲线划分为四个注意阶段;
    基于持续时间和瞳孔变化率对每个所述注意阶段进行数值分析。
  2. 根据权利要求1所述的方法,其特征在于,所述将所述注意变化曲线划分为四个注意阶段的步骤进一步包括:
    根据预设时间参数和预设瞳孔直径参数在所述注意变化曲线上选取五个注意点;
    根据所述五个注意点将所述注意变化曲线划分为四个注意阶段;
    其中,所述五个注意点依次为注意开始点、注意过程中瞳孔直径最小的点、注意过程中瞳孔直径最大的点、注意结束点和注意结束后瞳孔直径达到平稳阶段的点,所述四个注意阶段依次为注意准备阶段、注意处理阶段、注意保持阶段和注意解除阶段。
  3. 根据权利要求2所述的方法,其特征在于,所述对所述注意准备阶段进行数值分析的步骤包括:
    计算所述注意准备阶段的注意准备时间和注意准备速率,
    tAB=tB-tA
    RAB=(PB-PA)/(tB-tA),
    其中,tA为注意开始点对应时刻,PA为tA时刻的瞳孔直径大小,tB为注意准备结束点对应时刻,PB为tB时刻的瞳孔直径大小,tAB为注意准备时间,RAB为注意准备速率。
  4. 根据权利要求2所述的方法,其特征在于,所述对所述注意处理阶段进行数值分析的步骤包括:
    计算所述注意处理阶段的注意处理时间和注意处理速率,
    tBC=tC-tB
    RBC=(PC-PB)/(tC-tB),
    其中,tB为注意准备结束点对应时刻,即注意处理开始点对应时刻,PB为tB时刻的瞳孔直径大小,tC为注意处理结束点对应时刻,PC为tC时刻的瞳孔直径大小,tBC为注意处理时间,RBC为注意处理速率。
  5. 根据权利要求2所述的方法,其特征在于,所述对所述注意保持阶段进行数值分析的步骤包括:
    计算所述注意保持阶段的注意保持时间和注意力变化率,
    tCD=tD-tC
    RCD=PCD/(tD-tC),
    其中,tC为注意处理结束点对应时刻,即注意保持开始点对应时刻,tD为注意保持结束点对应时刻,tCD为注意保持时间,
    Figure PCTCN2015073706-appb-100001
    i=1,2,3,…,n,Pi是注意保持阶段第i个注视点的瞳孔直径,RCD为注意力变化率。
  6. 根据权利要求2所述的方法,其特征在于,所述对所述注意解除阶段进行数值分析的步骤包括:
    计算所述注意解除阶段的注意恢复时间和注意恢复速率,
    tDE=tE-tD
    RDE=(PE-PD)/(tE-tD),
    其中,tD为注意保持结束点对应时刻,tE为注意解除恢复完成点对应时刻,tDE为注意恢复时间,PD为tD时刻的瞳孔直径大小,PE为tE时刻的瞳孔直径大小,RDE为注意恢复速率。
  7. 一种视觉注意的检测系统,包括:
    刺激提供装置(1),用于设置视觉刺激任务并提供给测试者;
    眼动采集装置(2),用于视觉注意过程中各个注视点的时间序列和对应的瞳孔直径序列;
    注意变化曲线生成装置(3),连接到眼动采集装置(2),其用于根据所述时间序列和瞳孔直径序列的对应关系生成注意变化曲线;和
    数值分析装置(4),连接到所述注意变化曲线生成装置(3),用于基于持续时间和瞳孔变化率对注意变化曲线进行数值分析。
  8. 根据权利要求7所述的系统,其特征在于,所述注意变化曲线生成装置(3)以时间序列为横轴,瞳孔直径序列为纵轴生成注意变化曲线。
  9. 根据权利要求7所述的系统,其特征在于,所述数值分析装置(4)通过下述方式对注意变化曲线进行处理:
    根据预设时间参数和预设瞳孔直径参数在所述注意变化曲线上选取五个注意点;
    根据所述五个注意点将所述注意变化曲线划分为四个注意阶段;
    其中,所述五个注意点依次为注意开始点、注意过程中瞳孔直径最小的点、注意过程中瞳孔直径最大的点、注意结束点和注意结束后瞳孔直径达到平稳阶段的点,所述四个注意阶段依次为注意准备阶段、注意处理阶段、注意保持阶段和注意解除阶段。
  10. 根据权利要求9所述的系统,其特征在于,所述数值分析装置(4)通过下述操作对注意变化曲线进行数值分析:
    计算所述注意准备阶段的注意准备时间和注意准备速率;
    计算所述注意处理阶段的注意处理时间和注意处理速率;
    计算所述注意保持阶段的注意保持时间和注意力变化率;以及
    计算所述注意解除阶段的注意恢复时间和注意恢复速率。
PCT/CN2015/073706 2014-09-01 2015-03-05 一种视觉注意的检测方法及系统 WO2016033950A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/324,677 US20170251968A1 (en) 2014-09-01 2015-03-05 A method and system for detecting visual attention

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201410441421.8 2014-09-01
CN201410441421.8A CN104173063B (zh) 2014-09-01 2014-09-01 一种视觉注意的检测方法及系统

Publications (1)

Publication Number Publication Date
WO2016033950A1 true WO2016033950A1 (zh) 2016-03-10

Family

ID=51954603

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2015/073706 WO2016033950A1 (zh) 2014-09-01 2015-03-05 一种视觉注意的检测方法及系统

Country Status (3)

Country Link
US (1) US20170251968A1 (zh)
CN (1) CN104173063B (zh)
WO (1) WO2016033950A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104173063B (zh) * 2014-09-01 2015-08-12 北京工业大学 一种视觉注意的检测方法及系统
CN107569245B (zh) * 2017-07-28 2020-07-28 北京航空航天大学 一种基于手指振动触觉刺激的警觉注意力测量系统及方法
CN107468259B (zh) * 2017-07-28 2020-07-28 北京航空航天大学 一种基于手指振动触觉刺激的执行控制注意力测量系统及方法
CN107411761B (zh) * 2017-07-28 2020-08-18 北京航空航天大学 一种基于手指振动触觉刺激的定向注意力测量系统及方法
CN109215435B (zh) * 2018-09-28 2020-08-28 昆明理工大学 一种老年驾驶人有效视野能力的测试与训练系统及方法
CN109522815B (zh) * 2018-10-26 2021-01-15 深圳博为教育科技有限公司 一种专注度评估方法、装置及电子设备
CN109222888B (zh) * 2018-11-05 2021-03-23 温州职业技术学院 一种基于眼动技术判断心理测试可靠性的方法
CN112034977B (zh) * 2019-06-04 2022-07-19 陈涛 Mr智能眼镜内容交互、信息输入、应用推荐技术的方法
CN110623629B (zh) * 2019-07-31 2022-05-10 毕宏生 一种基于眼球运动的视觉注意检测方法及系统
CN112331003B (zh) * 2021-01-06 2021-03-23 湖南贝尔安亲云教育有限公司 一种基于差异化教学的习题生成方法和系统
CN113838086B (zh) * 2021-08-23 2024-03-22 广东电网有限责任公司 注意力评估测试方法、装置、电子设备及存储介质
CN115844404B (zh) * 2023-03-01 2023-05-12 中国民航大学 一种基于眼动数据的管制员注意力特征评价方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6162186A (en) * 1994-07-25 2000-12-19 Beth Israel Deaconess Medical Center Non-invasive method for diagnosing alzheimer's disease in a patient
WO2007125794A1 (ja) * 2006-04-27 2007-11-08 Konica Minolta Holdings, Inc. データ測定装置及びデータ測定方法
CN101686815A (zh) * 2007-06-27 2010-03-31 松下电器产业株式会社 人的状态推定装置以及方法
CN102253714A (zh) * 2011-07-05 2011-11-23 北京工业大学 基于视觉决策的选择触发方法
CN104173063A (zh) * 2014-09-01 2014-12-03 北京工业大学 一种视觉注意的检测方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070015989A1 (en) * 2005-07-01 2007-01-18 Avantis Medical Systems, Inc. Endoscope Image Recognition System and Method
JP2007289657A (ja) * 2006-03-28 2007-11-08 Fujifilm Corp 画像記録装置、画像記録方法、および画像記録プログラム
US20100010370A1 (en) * 2008-07-09 2010-01-14 De Lemos Jakob System and method for calibrating and normalizing eye data in emotional testing
US20110109879A1 (en) * 2009-11-09 2011-05-12 Daphna Palti-Wasserman Multivariate dynamic profiling system and methods
JP2012050759A (ja) * 2010-09-03 2012-03-15 Hitachi Ltd 視覚疲労度検出装置、視覚疲労度制御装置及び視覚疲労度検出方法
CN103169485B (zh) * 2013-02-01 2015-05-27 广东平成广告有限公司 一种基于视频的认知曲线生成系统和生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6162186A (en) * 1994-07-25 2000-12-19 Beth Israel Deaconess Medical Center Non-invasive method for diagnosing alzheimer's disease in a patient
WO2007125794A1 (ja) * 2006-04-27 2007-11-08 Konica Minolta Holdings, Inc. データ測定装置及びデータ測定方法
CN101686815A (zh) * 2007-06-27 2010-03-31 松下电器产业株式会社 人的状态推定装置以及方法
CN102253714A (zh) * 2011-07-05 2011-11-23 北京工业大学 基于视觉决策的选择触发方法
CN104173063A (zh) * 2014-09-01 2014-12-03 北京工业大学 一种视觉注意的检测方法及系统

Also Published As

Publication number Publication date
CN104173063B (zh) 2015-08-12
US20170251968A1 (en) 2017-09-07
CN104173063A (zh) 2014-12-03

Similar Documents

Publication Publication Date Title
WO2016033950A1 (zh) 一种视觉注意的检测方法及系统
Klingner et al. Measuring the task-evoked pupillary response with a remote eye tracker
Lanatà et al. Eye tracking and pupil size variation as response to affective stimuli: a preliminary study
Clarke et al. Deriving an appropriate baseline for describing fixation behaviour
JP6256488B2 (ja) 信号処理装置、信号処理方法及び信号処理プログラム
SG192175A1 (en) A method and system for detecting attention
WO2018137300A1 (zh) 一种生理信号质量判断方法及装置
JP2006305260A (ja) 表情診断支援装置
JP2012050759A (ja) 視覚疲労度検出装置、視覚疲労度制御装置及び視覚疲労度検出方法
JP2015211829A (ja) 動脈拍動波伝搬時間のvpgおよびecg/ekg信号からの判定
US9668688B2 (en) Methods and systems for content response analysis
AU2014234955B2 (en) Automatic detection of task transition
JP2022546092A (ja) 瞳孔反応を評価するためのシステム及び方法
EP4333706A1 (en) A method and a system for detection of eye gaze-pattern abnormalities and related neurological diseases
US10631727B2 (en) Method and system for detecting time domain cardiac parameters by using pupillary response
JP2017176580A (ja) 感情制御装置、感情制御方法、およびプログラム
Smilkstein et al. Heart rate monitoring using Kinect and color amplification
Jayawardena et al. Automated filtering of eye gaze metrics from dynamic areas of interest
JP6201520B2 (ja) 生理指標を用いる視線分析システムおよび方法
CN113425312B (zh) 脑电数据处理方法及装置
Tarbox et al. Motion correction for improved estimation of heart rate using a visual spectrum camera
Ghodrati et al. Low-level contrast statistics of natural images can modulate the frequency of event-related potentials (ERP) in humans
Tan et al. A real-time driver monitoring system using a high sensitivity camera
US20240005505A1 (en) Neural network-based heart rate determinations
Swart et al. A Video-oculography based telemedicine system for automated nystagmus identification

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15838429

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15324677

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15838429

Country of ref document: EP

Kind code of ref document: A1