KR20230016448A - Apparatus and method for surpporting attention test based on attention map and attention movement map - Google Patents
Apparatus and method for surpporting attention test based on attention map and attention movement map Download PDFInfo
- Publication number
- KR20230016448A KR20230016448A KR1020210097949A KR20210097949A KR20230016448A KR 20230016448 A KR20230016448 A KR 20230016448A KR 1020210097949 A KR1020210097949 A KR 1020210097949A KR 20210097949 A KR20210097949 A KR 20210097949A KR 20230016448 A KR20230016448 A KR 20230016448A
- Authority
- KR
- South Korea
- Prior art keywords
- interest
- map
- concentration
- movement
- test
- Prior art date
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 147
- 230000033001 locomotion Effects 0.000 title claims abstract description 129
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000004458 analytical method Methods 0.000 claims description 15
- 238000007726 management method Methods 0.000 claims description 14
- 238000011981 development test Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000010219 correlation analysis Methods 0.000 claims description 7
- 238000007689 inspection Methods 0.000 claims description 7
- 238000003745 diagnosis Methods 0.000 claims description 6
- 238000000926 separation method Methods 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 22
- 238000001514 detection method Methods 0.000 description 16
- 210000003128 head Anatomy 0.000 description 12
- 238000013135 deep learning Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 230000003935 attention Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 208000006096 Attention Deficit Disorder with Hyperactivity Diseases 0.000 description 4
- 241000282326 Felis catus Species 0.000 description 4
- 208000029560 autism spectrum disease Diseases 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- 230000004434 saccadic eye movement Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000007619 statistical method Methods 0.000 description 4
- 208000036864 Attention deficit/hyperactivity disease Diseases 0.000 description 3
- 208000015802 attention deficit-hyperactivity disease Diseases 0.000 description 3
- 230000008131 children development Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 206010003805 Autism Diseases 0.000 description 2
- 208000020706 Autistic disease Diseases 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000004630 mental health Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000022119 inability to concentrate Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000008140 language development Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000010332 selective attention Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/168—Evaluating attention deficit, hyperactivity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/7445—Display arrangements, e.g. multiple display units
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/06—Children, e.g. for attention deficit diagnosis
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 피검사자의 응시점 추적을 통해 자동적으로 피검사자의 집중도를 측정하는 기술에 관한 것이다.The present invention relates to a technique for automatically measuring concentration of a test subject by tracking the gaze point of the test subject.
구체적으로, 본 발명은 영상 콘텐츠 내의 관심 객체를 컴포넌트 단위로 분리하여 점수 분포도를 생성하고, 피검사자의 집중도를 측정하는 기술에 관한 것이다.Specifically, the present invention relates to a technique of separating an object of interest in video content into component units to generate a score distribution map and measuring a degree of concentration of an examinee.
또한, 본 발명은 피검사자의 응시점 분포 및 빈도 정보에 기반하여 생성된 관심 지도 및 피검사자의 응시점 이동 정보에 기반하여 생성된 관심 이동 지도를 이용하여 피검사자의 집중도를 측정하는 기술에 관한 것이다.In addition, the present invention relates to a technique for measuring a degree of concentration of a test subject using an interest map generated based on information on the distribution and frequency of gaze points of the test subject and an interest movement map generated based on movement information of the gaze point of the test subject.
의료분야 중 정신건강학 분야에서는 검사지나 설문지를 이용한 피검사자에 대한 관찰 검사가 중요한 선별 또는 진단 방법으로 사용되고 있다. 특히, 자폐 스펙트럼 장애(Autism Spectrum Disorder, ASD) 또는 주의력 결핍 과잉행동장애(Attention-Deficit Hyperactivity Disorder, ADHD) 등의 정신건강학적 진단이 필요한 경우는 검사지를 사용하는 관찰검사가 필수적이다. In the field of mental health among the medical fields, an observational test on a subject using a test paper or questionnaire is used as an important screening or diagnosis method. In particular, when a mental health diagnosis such as autism spectrum disorder (ASD) or attention-deficit hyperactivity disorder (ADHD) is required, an observation test using a test strip is essential.
그러나, 관찰 검사의 경우는 검사자의 성장 배경이나 문화, 경험 등에 따라 일부 주관적인 요소가 반영됨으로써 검사의 결과가 다르게 나타날 수도 있다. 일부 검사에서 시선 추적기를 사용하여, 지각 특성, 시각적 관심 등의 분석을 통한 ASD 검사, 영유아 발달검사 등에 활용하는 경우도 있으나 아직은 매우 제한적인 상황이다. However, in the case of an observation test, the result of the test may be different because some subjective factors are reflected according to the background, culture, experience, etc. of the examiner. In some tests, eye trackers are used, and there are cases where they are used for ASD tests and infant development tests through analysis of perceptual characteristics and visual attention, but the situation is still very limited.
그리고, 시선 추적기를 영유아/아동을 대상으로 사용하는 경우 정확한 시선 추적에 있어 필수적인 사전 협조를 통한 캘리브레이션의 문제 등 여러 가지 활용 방법에 대한 문제도 가지고 있다.In addition, when the gaze tracker is used for infants/children, there are problems with various utilization methods, such as calibration through prior cooperation, which is essential for accurate gaze tracking.
또한, ASD의 경우 학습자극에 대한 선택적 주의집중이 어렵고, 집중시간이 짧으며, 주의집중 이동의 어려움 등과 같은 인지적 특성이 관찰될 수 있다. ADHD의 경우는 자극적인 상황에서 주의집중을 유지하지 못하거나 두 가지 이상의 일을 동시에 집중하지 못하는 특성 등이 관찰되는 것으로 알려져 있다.In addition, in the case of ASD, cognitive characteristics such as difficulty in selective attention to learning stimuli, short attention span, and difficulty in shifting attention can be observed. In the case of ADHD, it is known that characteristics such as the inability to maintain attention in stimulating situations or the inability to concentrate on two or more tasks at the same time are observed.
따라서, 발달검사에 있어 피검사자의 집중도 분석은 주요한 평가를 내리는데 중요한 측정 요소로 활용할 수 있으나 검사자가 피검사자의 집중도를 객관적으로 정확하게 측정할 수 있는 방법이 제한적인 상황이다.Therefore, in the developmental test, the analysis of the test subject's concentration can be used as an important measurement factor in making a major evaluation, but the method for the examinee to objectively and accurately measure the test subject's concentration is limited.
결국, 위와 같은 이유로 영유아를 대상으로 한 집중도 검사의 대부분은 문진표에 근거하거나 또는 관찰검사에 의하여 판단이 이루어지기 때문에 신뢰성에 문제가 있는 경우가 있다.In the end, for the above reasons, most of the concentration tests for infants and young children have problems with reliability because they are judged based on questionnaires or observational tests.
국내에서 시행할 수 있는 대표적인 아동의 발달검사로는 K-DST(Korean Developmental Screening Test for Infants & Children), K-CDI(Korean Child Development Inventory), DEP(Developmental assessment for the Early intervention Program planning), ASQ(Ages and Stages Questionnaire), Bayley(Bayley Scales of Infant Development) 등과 같은 전반적 발달검사, PRES(Preschool Receptive-Expressive Language Scale), SELSI(Sequenced Language Scale for Infants)와 같은 언어 발달검사, CARS(Childhood Autism Rating Scale), AUCL(The Autism Checklist), ADHDDS(Attention Deficit Hyperactivity Disorder Diagnostic Scale), ADHD-SC(Attention Deficit Hyperactivity Disorder-Symptom Checklist) 등과 같은 ASD 및 ADHD 검사 등이 있다.Representative developmental tests for children that can be performed in Korea include K-DST (Korean Developmental Screening Test for Infants & Children), K-CDI (Korean Child Development Inventory), DEP (Developmental assessment for the Early intervention Program planning), ASQ (Ages and Stages Questionnaire), Bayley (Bayley Scales of Infant Development), overall development tests, PRES (Preschool Receptive-Expressive Language Scale), SELSI (Sequenced Language Scale for Infants), language development tests, CARS (Childhood Autism Rating) Scale), the Autism Checklist (AUCL), the Attention Deficit Hyperactivity Disorder Diagnostic Scale (ADHDDS), and the Attention Deficit Hyperactivity Disorder-Symptom Checklist (ADHD-SC).
하지만, 영유아 대상의 발달검사는 검사지를 이용하여 수행하는 것이 일반적이다. 즉, 대부분 부모나 주양육자, 교사의 관찰로 검사지에 체크를 하거나 검사지에 제시된 프로토콜에 따라 검사자와 피검사자의 상호작용 과정에서 관찰되는 피검사자의 반응을 검사하는 과정으로 이루어진다.However, it is common to perform developmental tests for infants and toddlers using test strips. In other words, most of the tests consist of a process in which a parent, primary caregiver, or teacher checks a test sheet through observation or examines the test subject's reaction observed during the interaction process between the test subject and the test subject according to the protocol suggested on the test sheet.
따라서, 이러한 검사 과정을 보조할 수 있는 자동화된 장치 및 방법을 개발하여 객관적인 선별 또는 진단 검사가 이루어지도록 할 필요가 있다.Therefore, it is necessary to develop an automated device and method capable of assisting such a test process so that an objective screening or diagnostic test can be performed.
본 발명의 목적은 비디오의 프레임들에서 관심 객체를 컴포넌트 단위로 분리하고, 분리 영역별 점수 분포도를 생성함으로써 자동으로 피검사자의 집중도를 산출하는 방법을 제공하는 것이다.An object of the present invention is to provide a method for automatically calculating the degree of concentration of an examinee by dividing an object of interest into component units from frames of a video and generating a score distribution map for each divided region.
또한, 본 발명의 목적은 피검사자 응시점의 빈도, 분포, 및 이동 정보를 모두 이용하여 정확하고 객관적으로 피검사자의 집중도를 측정하는 방법을 제공하는 것이다.In addition, an object of the present invention is to provide a method for accurately and objectively measuring the degree of concentration of a test subject by using all information on the frequency, distribution, and movement of gaze points of the test subject.
상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 관심 지도 및 관심 이동 지도 기반 집중도 검사 지원 방법은 비디오의 프레임들 중 기설정된 조건에 상응하는 프레임들에 대하여 분리 영역별 점수 분포도를 정의하는 단계, 피검사자의 응시점 분포에 기반하여 상기 프레임들에 상응하는 관심 지도를 생성하는 단계, 상기 피검사자의 응시점 이동 정보에 기반하여 상기 프레임들에 상응하는 관심 이동 지도를 생성하는 단계, 및 상기 분리 영역별 점수 분포도, 상기 관심 지도, 및 상기 관심 이동 지도를 이용하여 상기 피검사자의 집중도를 산출하는 단계를 포함한다.In order to achieve the above object, a method for supporting a concentration test based on an interest map and an interest movement map according to an embodiment of the present invention defines a score distribution for each divided area for frames corresponding to a predetermined condition among frames of a video. generating an interest map corresponding to the frames based on a gaze point distribution of the test subject; generating an interest movement map corresponding to the frames based on gaze point movement information of the test subject; and calculating the degree of concentration of the test subject using a score distribution map for each region, the interest map, and the interest movement map.
이때, 상기 분리 영역별 점수 분포도를 정의하는 단계는 상기 프레임들에서 관심 객체를 검출하는 단계, 상기 관심 객체를 컴포넌트(Component) 단위로 분리하는 단계, 및 상기 관심 객체를 상기 컴포넌트 단위로 분리한 결과에 기반하여 상기 분리 영역별 점수 분포도를 정의하는 단계를 포함할 수 있다.In this case, the step of defining the score distribution for each division area includes detecting an object of interest in the frames, separating the object of interest into component units, and a result of separating the object of interest into component units. It may include defining a score distribution for each separated area based on.
이때, 상기 분리 영역별 점수 분포도를 정의하는 단계는 상기 비디오에서 기설정된 시간 구간의 프레임들을 대표하는 분리 영역별 점수 분포도를 생성할 수 있다. In this case, the defining of the score distribution for each divided region may generate a score distribution for each divided region representing frames of a preset time interval in the video.
이때, 상기 관심 지도를 생성하는 단계 및 상기 관심 이동 지도를 생성하는 단계는 상기 기설정된 시간 구간의 프레임들을 대표하는, 상기 관심 지도 및 상기 관심 이동 지도를 생성할 수 있다.In this case, the generating of the interest map and the generating of the interest movement map may generate the interest map and the interest movement map representing frames of the preset time interval.
이때, 상기 분리 영역별 점수 분포도, 상기 관심 지도, 및 상기 관심 이동 지도는 상기 비디오의 프레임에 상응하는 2차원 패턴 형태로 생성될 수 있다.In this case, the score distribution map for each divided area, the interest map, and the interest movement map may be generated in the form of a two-dimensional pattern corresponding to the frame of the video.
이때, 상기 피검사자의 집중도를 산출하는 단계는 상기 분리 영역별 점수 분포도, 상기 관심 지도, 및 상기 관심 이동 지도의 2차원 패턴 형태 값들을 연산한 결과에 기반하여 집중도를 산출할 수 있다.In this case, in the step of calculating the degree of concentration of the test subject, the degree of concentration may be calculated based on a result of calculating the two-dimensional pattern shape values of the score distribution for each divided area, the interest map, and the interest movement map.
이때, 상기 피검사자의 집중도를 산출하는 단계는 상기 관심 지도, 상기 관심 이동 지도, 및 집중도 산출 결과와 피검사자의 발달 검사 결과의 상관관계 분석 결과에 기반하여 상기 피검사자를 자동으로 선별 또는 진단을 지원하는 단계를 포함할 수 있다.In this case, the step of calculating the degree of concentration of the test subject is the step of automatically selecting or supporting the diagnosis of the test subject based on the correlation analysis result between the interest map, the interest movement map, and the concentration calculation result and the test subject's development test result. can include
이때, 상기 관심 이동 지도는 상기 피검사자의 응시점이 특정 영역에서 기설정된 제1 시간보다 오래 머물렀는지에 대한 정보, 및 상기 응시점의 이동 정보를 포함할 수 있다.In this case, the interest movement map may include information on whether the gaze point of the test subject stayed longer than a preset first time in a specific area and movement information of the gaze point.
이때, 상기 제1 시간은 상기 관심 객체의 움직임 및 속도 정보에 기반하여 사전에 설정될 수 있다.In this case, the first time may be previously set based on motion and speed information of the object of interest.
이때, 상기 관심 지도를 생성하는 단계는 상기 피검사자의 영상에서 얼굴 영역을 검출하는 단계, 상기 피검사자의 응시점 좌표를 검출하는 단계, 및 상기 피검사자의 헤드 포즈에 기반하여 상기 응시점 좌표를 보정하는 단계를 포함할 수 있다.At this time, the generating of the interest map includes detecting a face region in the image of the test subject, detecting coordinates of the gaze point of the test subject, and correcting the coordinates of the gaze point based on the head pose of the test subject. can include
이때, 상기 비디오는 검사분야 및 검사목적에 적합하도록 사전에 제작된 다양한 영상 콘텐츠에 상응할 수 있다.In this case, the video may correspond to various image contents pre-produced to be suitable for the inspection field and inspection purpose.
또한, 상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 관심 지도 및 관심 이동 지도 기반 집중도 검사 지원 장치는 비디오의 프레임들 중 기설정된 조건에 상응하는 프레임들에 대하여 분리 영역별 점수 분포도를 정의하는 비디오 관리부, 피검사자의 응시점 분포에 기반하여 상기 프레임들에 상응하는 관심 지도를 생성하고, 상기 피검사자의 응시점 이동 정보에 기반하여 상기 프레임들에 상응하는 관심 이동 지도를 생성하는 집중도 측정부, 및 상기 분리 영역별 점수 분포도, 상기 관심 지도, 및 상기 관심 이동 지도를 이용하여 상기 피검사자의 집중도를 산출하는 집중도 분석부를 포함한다.In addition, an apparatus for supporting a concentration check based on an interest map and an interest movement map according to an embodiment of the present invention for achieving the above object calculates a score distribution for each divided area for frames corresponding to a predetermined condition among frames of a video. A video management unit that defines, a concentration measuring unit that generates an interest map corresponding to the frames based on the gaze point distribution of the test subject, and an interest movement map corresponding to the frames based on the gaze point movement information of the test subject. , and a concentration analysis unit that calculates the concentration of the test subject using the score distribution map for each separated area, the interest map, and the interest movement map.
이때, 상기 비디오 관리부는 상기 프레임들에서 관심 객체를 검출하고, 상기 관심 객체를 컴포넌트(Component) 단위로 분리하고, 상기 관심 객체를 상기 컴포넌트 단위로 분리한 결과에 기반하여 상기 분리 영역별 점수 분포도를 정의할 수 있다.In this case, the video management unit detects the object of interest in the frames, separates the object of interest into component units, and calculates a score distribution for each divided area based on a result of dividing the object of interest into component units. can be defined
이때, 상기 비디오 관리부는 상기 비디오에서 기설정된 시간 구간의 프레임들을 대표하는 분리 영역별 점수 분포도를 생성할 수 있다.In this case, the video management unit may generate a score distribution map for each divided area representing frames of a predetermined time interval in the video.
이때, 상기 집중도 측정부는 상기 기설정된 시간 구간의 프레임들을 대표하는, 상기 관심 지도 및 상기 관심 이동 지도를 생성할 수 있다.In this case, the concentration measurement unit may generate the interest map and the interest movement map representing frames of the preset time interval.
이때, 상기 분리 영역별 점수 분포도, 상기 관심 지도, 및 상기 관심 이동 지도는 상기 비디오의 프레임에 상응하는 2차원 패턴 형태로 생성될 수 있다.In this case, the score distribution map for each divided area, the interest map, and the interest movement map may be generated in the form of a two-dimensional pattern corresponding to the frame of the video.
이때, 상기 집중도 분석부는 상기 분리 영역별 점수 분포도, 상기 관심 지도, 및 상기 관심 이동 지도의 2차원 패턴 형태 값들을 연산한 결과에 기반하여 집중도를 산출할 수 있다.In this case, the concentration analyzer may calculate the degree of concentration based on a result of calculating the two-dimensional pattern shape values of the score distribution for each divided area, the interest map, and the interest movement map.
이때, 상기 집중도 분석부는 상기 관심 지도, 상기 관심 이동 지도, 및 집중도 산출 결과와 피검사자의 발달 검사 결과의 상관관계 분석 결과에 기반하여 상기 피검사자를 자동으로 선별 또는 진단을 지원할 수 있다.In this case, the concentration analyzer may automatically select or diagnose the test subject based on a correlation analysis result between the interest map, the interest movement map, and the concentration calculation result and the test subject's development test result.
이때, 상기 관심 이동 지도는 상기 피검사자의 응시점이 특정 영역에서 기설정된 제1 시간보다 오래 머물렀는지에 대한 정보, 및 상기 응시점의 이동 정보를 포함할 수 있다.In this case, the interest movement map may include information on whether the gaze point of the test subject stayed longer than a preset first time in a specific area and movement information of the gaze point.
이때, 상기 제1 시간은 상기 관심 객체의 움직임 및 속도 정보에 기반하여 설정될 수 있다.In this case, the first time may be set based on motion and speed information of the object of interest.
이때, 상기 집중도 측정부는 상기 피검사자의 영상에서 얼굴 영역을 검출하고, 상기 피검사자의 응시점 좌표를 검출하고, 상기 피검사자의 헤드 포즈에 기반하여 상기 응시점 좌표를 보정하여 상기 관심 지도 및 상기 관심 이동 지도를 생성할 수 있다.At this time, the concentration measurer detects a face region in the image of the test subject, detects coordinates of the gaze point of the test subject, and corrects the coordinates of the gaze point based on the head pose of the test subject to correct the interest map and the interest movement map. can create
이때, 상기 비디오는 검사분야 및 검사목적에 적합하도록 사전에 제작된 다양한 영상 콘텐츠에 상응할 수 있다.In this case, the video may correspond to various image contents pre-produced to be suitable for the inspection field and inspection purpose.
본 발명에 따르면, 비디오의 프레임들에서 관심 객체를 컴포넌트 단위로 분리하고, 분리 영역별 점수 분포도를 생성함으로써 자동으로 피검사자의 집중도를 산출할 수 있다.According to the present invention, the degree of concentration of the subject can be automatically calculated by dividing the object of interest into component units from video frames and generating a score distribution map for each divided region.
또한, 본 발명에 따르면, 피검사자 응시점의 빈도, 분포, 및 이동 정보를 모두 이용하여 피검사자의 집중도를 측정함으로써 정확하고 객관적으로 피검사자의 집중도를 측정할 수 있다.In addition, according to the present invention, the degree of concentration of the subject can be accurately and objectively measured by measuring the degree of concentration of the subject using all information on the frequency, distribution, and movement of gaze points of the subject.
도 1은 본 발명의 일실시예에 따른 관심 지도 및 관심 이동 지도 기반 집중도 검사 지원 장치의 구성을 나타낸 개념도이다.
도 2는 본 발명의 일실시예에 따른 관심 지도 및 관심 이동 지도 기반 집중도 검사 지원 방법을 나타낸 흐름도이다.
도 3은 본 발명의 일실시예에 따라 상영되는 비디오의 특정 프레임을 나타낸 도면이다.
도 4는 도 3의 특정 프레임에 상응하는 관심 객체를 검출한 것을 나타내는 도면이다.
도 5는 도 4의 관심 객체를 컴포넌트 단위로 분리하고, 분리 영역별 점수 분포도를 정의한 것을 예시적으로 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 집중도 검사 지원 방법에 따라 생성된 피검사자의 관심 지도를 예시적으로 나타낸 도면이다.
도 7은 본 발명의 일실시예에 따른 집중도 검사 지원 방법에 따라 생성된 피검사자의 관심 이동 지도를 예시적으로 나타낸 도면이다.
도 8은 본 발명의 일실시예에 따른 집중도 검사 지원 방법에 따라 피검사자의 집중도를 분석하는 과정을 예시적으로 나타낸 도면이다.
도 9는 본 발명의 일실시예에 따른 집중도 검사 지원 방법에 따라 피검사자의 집중도를 분석한 결과를 예시적으로 나타낸 도면이다.
도 10은 본 발명의 일실시예에 따른 관심 지도 및 관심 이동 지도 기반 집중도 검사 지원 장치를 나타낸 블록도이다.
도 11은 본 발명의 일실시예에 따른 관심 지도 및 관심 이동 지도 기반 집중도 검사 지원 장치를 상세하게 나타낸 블록도이다.
도 12는 실시예에 따른 컴퓨터 시스템의 구성을 나타낸 도면이다.1 is a conceptual diagram showing the configuration of an apparatus for supporting a concentration test based on an interest map and an interest movement map according to an embodiment of the present invention.
2 is a flowchart illustrating a method for supporting a concentration check based on an interest map and an interest movement map according to an embodiment of the present invention.
3 is a diagram showing a specific frame of a video played according to an embodiment of the present invention.
FIG. 4 is a diagram illustrating detection of an object of interest corresponding to a specific frame of FIG. 3 .
FIG. 5 is a diagram exemplarily showing that the object of interest of FIG. 4 is separated into component units and a score distribution map for each separated area is defined.
6 is a diagram showing an interest map of a test subject generated according to a method for supporting a concentration test according to an embodiment of the present invention by way of example.
7 is a diagram showing an interest movement map of a test subject generated according to a method for supporting a concentration test according to an embodiment of the present invention by way of example.
8 is a diagram illustratively illustrating a process of analyzing the concentration of a test subject according to the concentration test support method according to an embodiment of the present invention.
9 is a diagram illustratively illustrating a result of analyzing the concentration of a test subject according to the concentration test support method according to an embodiment of the present invention.
10 is a block diagram illustrating a concentration check support apparatus based on an interest map and an interest movement map according to an embodiment of the present invention.
11 is a detailed block diagram of an apparatus for supporting a concentration test based on an interest map and an interest movement map according to an embodiment of the present invention.
12 is a diagram showing the configuration of a computer system according to an embodiment.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention, and methods of achieving them, will become clear with reference to the detailed description of the following embodiments taken in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in various different forms, only these embodiments make the disclosure of the present invention complete, and common knowledge in the art to which the present invention belongs. It is provided to fully inform the holder of the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numbers designate like elements throughout the specification.
비록 "제1" 또는 "제2" 등이 다양한 구성요소를 서술하기 위해서 사용되나, 이러한 구성요소는 상기와 같은 용어에 의해 제한되지 않는다. 상기와 같은 용어는 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용될 수 있다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다.Although "first" or "second" is used to describe various elements, these elements are not limited by the above terms. Such terms may only be used to distinguish one component from another. Therefore, the first component mentioned below may also be the second component within the technical spirit of the present invention.
본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소 또는 단계가 하나 이상의 다른 구성요소 또는 단계의 존재 또는 추가를 배제하지 않는다는 의미를 내포한다.Terms used in this specification are for describing embodiments and are not intended to limit the present invention. In this specification, singular forms also include plural forms unless specifically stated otherwise in a phrase. As used herein, "comprises" or "comprising" implies that a stated component or step does not preclude the presence or addition of one or more other components or steps.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 해석될 수 있다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms used herein may be interpreted as meanings commonly understood by those of ordinary skill in the art to which the present invention belongs. In addition, terms defined in commonly used dictionaries are not interpreted ideally or excessively unless explicitly specifically defined.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, and when describing with reference to the drawings, the same or corresponding components are given the same reference numerals, and overlapping descriptions thereof will be omitted. .
도 1은 본 발명의 일실시예에 따른 관심 지도 및 관심 이동 지도 기반 집중도 검사 지원 장치의 구성을 나타낸 개념도이다.1 is a conceptual diagram showing the configuration of an apparatus for supporting a concentration test based on an interest map and an interest movement map according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일실시예에 따른 관심 지도 및 관심 이동 지도 기반 집중도 검사 지원 장치는 사전에 제작된 비디오 콘텐츠(102)를 포함한다. 비디오 콘텐츠(102)는 카메라(103)가 장착된 모든 스마트기기에서 재생 및 사용할 수 있다.Referring to FIG. 1 , an apparatus for supporting a concentration test based on an interest map and an interest movement map according to an embodiment of the present invention includes
이때, 비디오 콘텐츠(102)를 재생하는 단말은 집중도 검사 지원 장치에 포함된 표시부에 상응할 수 있으며, 집중도 검사 지원 장치와 네트워크로 연결된 사용자 단말일 수도 있다.In this case, the terminal that reproduces the
이때, 사용자 단말은 스마트 폰(Smart Phone), 노트북(Notebook), PC(Personal Computer), 태블릿 PC(Tablet Personal Computer), 및 스마트 TV를 포함할 수 있다.In this case, the user terminal may include a smart phone, a notebook, a personal computer (PC), a tablet personal computer (tablet PC), and a smart TV.
다만, 화면이 충분히 크고 정면을 향하도록 하여 고정된 형태의 컴퓨터 모니터(104), 노트북(105), TV(106) 등을 통하여 영상을 플레이하는 경우, 시선 또는 응시점 추적이 용이할 수 있다.However, when a video is played through a fixed
이때, 디스플레이 장치에 부착된 카메라(103)를 통하여, 피검사자의 얼굴 영역을 촬영함으로써 헤드 포즈 및 응시점 분석을 통한 관심 지도 및 관심 이동 지도의 생성이 가능하다.In this case, it is possible to generate an interest map and an interest movement map through head pose and gaze point analysis by capturing the face region of the subject through the
또한, 피검사자의 시선 추적은 캘리브레이션이 가능한 경우 기존의 상용 시선 추적기를 사용할 수 있다. In addition, when the gaze tracking of the subject can be calibrated, an existing commercially available gaze tracker can be used.
이때, 상용 시선 추적기는 주로 모니터의 하단에 장착 가능하며, 시선 추적기의 추적 결과를 통한 관심 지도의 생성이 가능하다. At this time, the commercial gaze tracker can be mounted mainly on the lower part of the monitor, and an interest map can be generated through the tracking result of the gaze tracker.
또한, 사전 제작된 콘텐츠는 컴퓨터 장치(101)를 통하여 관리 가능하며, 시선 추적기 또는 촬영된 얼굴영상의 분석도 컴퓨터 장치(101)에서 수행할 수 있다.In addition, pre-produced content can be managed through the
컴퓨터 장치(101)는 사전 제작된 콘텐츠는 물론 주요 화면 정보, 관심 객체 및 관심 객체의 컴포넌트 분리 정보, 분리 영역별 점수 분포도 등 집중도 분석에 필요한 정보를 저장 및 처리할 수 있다.The
도 2는 본 발명의 일실시예에 따른 관심 지도 및 관심 이동 지도 기반 집중도 검사 지원 방법을 나타낸 흐름도이다.2 is a flowchart illustrating a method for supporting a concentration check based on an interest map and an interest movement map according to an embodiment of the present invention.
도 2를 참조하면, 집중도 검사 지원 장치에서 수행되는 관심 지도 및 관심 이동 지도 기반 집중도 검사 지원 방법은 비디오 프레임들 중 기설정된 조건을 만족하는 프레임들에 대하여 분리 영역별 점수 분포도를 정의한다(S210).Referring to FIG. 2 , the method for supporting a concentration test based on the interest map and the interest movement map performed in the apparatus for supporting the concentration test defines a score distribution map for each divided region for frames that satisfy a predetermined condition among video frames (S210). .
이하, 도 3 내지 도 5를 참조하여, 분리 영역별 점수 분포도를 정의하는 단계(S210)를 상세히 설명한다.Hereinafter, with reference to FIGS. 3 to 5, the step of defining a score distribution for each separated area (S210) will be described in detail.
도 3은 본 발명의 일실시예에 따라 상영되는 비디오의 특정 프레임을 나타낸 도면이다.3 is a diagram showing a specific frame of a video played according to an embodiment of the present invention.
이때, 도 3에 도시된 영역별 점수 분포 및 관심 지도 생성 대상이 되는 프레임은 비디오의 장면들 중 기설정된 조건에 상응하는 주요 장면들에 포함된 프레임에 상응할 수 있다.At this time, the distribution of scores for each region shown in FIG. 3 and the frame to which the interest map is generated may correspond to a frame included in main scenes corresponding to a preset condition among scenes of the video.
도 3에 도시된 프레임은 비디오의 주요 장면에 상응하는 고양이가 쥐를 쫓고 있는 장면의 프레임들 중 어느 하나의 프레임이다.The frame shown in FIG. 3 is one of the frames of a scene in which a cat is chasing a mouse corresponding to the main scene of the video.
이때, 주요 화면 또는 주요 비디오 프레임 정보는 장면(scene) 전환정보, 장면 내 관심 객체의 출현 및 움직임 정보, 키 프레임 정보, 장면에 대한 표본조사 및 통계분석, 딥 러닝 학습 등을 통한 자동생성 방법 또는 전문가에 의한 수동지정 방식 등을 사용할 수 있으며, 하나의 화면 또는 프레임이 아닌 일정 구간의 연속된 장면 또는 프레임을 대상으로 할 수도 있다.At this time, the main screen or main video frame information is automatically generated through scene transition information, appearance and movement information of the object of interest in the scene, key frame information, sample survey and statistical analysis of the scene, deep learning learning, etc., or A manual designation method by an expert may be used, and continuous scenes or frames of a certain section may be targeted instead of one screen or frame.
본 발명의 일실시예에 따른 집중도 검사 지원 방법은 도 3에 도시된 프레임에 기반하여 응시 영역별 점수 분포도를 설정할 수 있다.The concentration test support method according to an embodiment of the present invention may set a score distribution for each gaze area based on the frame shown in FIG. 3 .
도 4는 도 3의 특정 프레임에 상응하는 관심 객체를 검출한 것을 나타내는 도면이다. FIG. 4 is a diagram illustrating detection of an object of interest corresponding to a specific frame of FIG. 3 .
도 3에 도시된 프레임에는 배경이 존재하지 않지만, 도 4와 같이 객체를 검출한 결과는 도 3의 주요 화면 프레임에서 배경 및 움직임 효과 등을 제외한 관심 객체만을 포함할 수 있다.Although no background exists in the frame shown in FIG. 3 , the object detection result as shown in FIG. 4 may include only the object of interest excluding the background and motion effects in the main screen frame of FIG. 3 .
도 4를 참조하면, 도 3의 프레임에서 관심 객체로 고양이와 쥐를 검출한 것을 확인할 수 있다.Referring to FIG. 4 , it can be confirmed that a cat and a mouse are detected as objects of interest in the frame of FIG. 3 .
도 5는 도 4의 관심 객체를 컴포넌트 단위로 분리하고, 분리 영역별 점수 분포도를 정의한 것을 예시적으로 나타낸 도면이다.FIG. 5 is a diagram exemplarily showing that the object of interest of FIG. 4 is separated into component units and a score distribution map for each separated area is defined.
도 5를 참조하면, 상대적으로 크기가 큰 관심 객체인 고양이는 손, 팔, 얼굴, 몸통, 다리, 발, 꼬리로 분리된 것을 알 수 있다. 또한, 상대적으로 크기가 작은 관심 객체인 쥐는 분리되지 않은 것을 알 수 있다.Referring to FIG. 5 , it can be seen that a cat, which is a relatively large object of interest, is divided into hands, arms, face, body, legs, feet, and tail. In addition, it can be seen that the mouse, which is a relatively small object of interest, is not separated.
즉, 관심 객체를 컴포넌트 단위로 분리할 때, 관심 객체가 기설정된 크기를 초과하는 경우에만 컴포넌트 단위로 분리할 수도 있다.That is, when dividing the object of interest into component units, the object of interest may be separated into component units only when the object of interest exceeds a predetermined size.
또한, 분리된 컴포넌트들의 크기가 기설정된 크기 이상으로 유지되도록 관심 객체를 분리할 수도 있다.In addition, the object of interest may be separated so that the sizes of the separated components are maintained at a predetermined size or more.
이때, 주요 화면의 객체 검출 및 분리부는 최근의 딥 러닝 등을 적용한 인스턴스 분할(Instance Segmentation) 또는 전통적인 영상처리 기반의 배경제거 및 객체 분할(Object Segmentation) 방법 등을 사용할 수 있다.At this time, the object detection and separation unit of the main screen may use instance segmentation to which recent deep learning or the like or traditional image processing-based background removal and object segmentation methods are applied.
또한, 고양이를 얼굴, 팔 등 컴포넌트 단위로 분리한 후, 각 컴포넌트 단위로 점수를 배정하여 분리 영역별 점수 분포도를 정의한 것을 알 수 있다. 예를 들어, 얼굴과 쥐를 잡으려는 왼손에는 각각 10, 9로 상대적으로 높은 값을 배정할 수 있으며, 꼬리, 다리 등에는 상대적으로 낮은 점수를 배정할 수 있다.In addition, it can be seen that after the cat is separated into component units such as the face and arms, scores are assigned to each component unit to define a score distribution for each separated area. For example, relatively high values of 10 and 9 can be assigned to the face and the left hand to catch the mouse, and relatively low scores to the tail and legs.
이와 같이, 컴포넌트 단위로 분리 영역별 점수 분포도를 정의하는 것은 딥러닝, 표본조사 및 통계분석, 영상 내 객체 움직임/변화 탐지, 객체 간의 의미정보 분석, 또는 전문가에 의한 수동할당 등 다양한 방법의 적용이 가능하다.In this way, defining the score distribution for each separation area in component units requires application of various methods such as deep learning, sample survey and statistical analysis, object movement/change detection in the image, semantic information analysis between objects, or manual assignment by experts. possible.
다음으로, 본 발명의 일실시예에 따른 집중도 검사 지원 방법은 사용자의 응시점 분석을 통해 비디오 프레임들에 대한 피검사자의 관심 지도 및 관심 이동 지도를 생성한다(S220, S230).Next, in the concentration test support method according to an embodiment of the present invention, an interest map and an interest movement map of the subject for video frames are generated through analysis of the user's gaze point (S220 and S230).
이하, 도 6 내지 도 7을 참조하여, 관심 지도 및 관심 이동 지도를 생성하는 단계(S220, S230)를 상세히 설명한다.Hereinafter, with reference to FIGS. 6 and 7 , steps of generating an interest map and an interest movement map ( S220 and S230 ) will be described in detail.
도 6은 본 발명의 일실시예에 따른 집중도 검사 지원 방법에 따라 생성된 피검사자의 관심 지도를 예시적으로 나타낸 도면이다.6 is a diagram showing an interest map of a test subject generated according to a method for supporting a concentration test according to an embodiment of the present invention by way of example.
이때, 피검사자의 관심 지도는 피검사자의 입력 영상으로부터 피검사자의 얼굴 영역을 검출하고, 동공 검출기반 시선좌표 추정 또는 화면상의 응시점 좌표를 직접 검출하여 생성될 수 있다.In this case, the interest map of the subject may be generated by detecting a facial region of the subject from an input image of the subject, estimating gaze coordinates based on pupil detection, or directly detecting coordinates of a gaze point on the screen.
이때, 피검사자의 응시점 좌표를 보정 또는 계산하기 위해 피검사자의 헤드포즈를 추정한 결과를 이용할 수 있다.In this case, a result of estimating the head pose of the examinee may be used to correct or calculate the coordinates of the gaze point of the examinee.
결국, 응시점 좌표의 빈도와 분포 등을 종합하여, 영상 콘텐츠의 주요 화면 또는 주요 비디오 프레임 상에서 관심 객체의 분리 영역에 피검사자의 시선이 머무르는 위치의 전체적인 분포를 관리할 수 있다.As a result, the overall distribution of positions where the subject's gaze stays in the separation region of the object of interest on the main screen of the image content or the main video frame can be managed by integrating the frequency and distribution of gaze point coordinates.
도 7은 본 발명의 일실시예에 따른 집중도 검사 지원 방법에 따라 생성된 피검사자의 관심 이동 지도를 예시적으로 나타낸 도면이다.7 is a diagram showing an interest movement map of a test subject generated according to a method for supporting a concentration test according to an embodiment of the present invention by way of example.
관심 지도와 마찬가지로, 관심 이동 지도는 피검사자의 관심 지도는 피검사자의 입력 영상으로부터 피검사자의 얼굴 영역을 검출하고, 동공 검출기반 시선좌표 추정 또는 화면상의 응시점 좌표를 직접 검출하여 생성될 수 있다.Like the interest map, the interest movement map may be generated by detecting the subject's face region from the test subject's input image, estimating gaze coordinates based on pupil detection, or directly detecting gaze point coordinates on the screen.
이때, 관심 이동 지도는 피검사자의 응시점이 특정 영역에 기설정된 시간 이상 머물거나(Fixation), 다른 영역으로 빠르게 이동하는지(Saccade)를 나타내는 관심 이동 벡터에 대한 정보를 포함할 수 있다.In this case, the interest movement map may include information about an interest movement vector indicating whether the gaze point of the test subject stays in a specific area for a predetermined time or more (Fixation) or moves quickly to another area (Saccade).
이때, 시선고정(Fixation)을 판정하기 위해 기설정된 시간은 영상 콘텐츠 별 특성에 따라 정의하거나 영상 내 관심 객체의 움직임 및 변화 속도 등을 고려하여 정의할 수 있다.In this case, the preset time for determining gaze fixation may be defined according to characteristics of each image content or may be defined in consideration of movement and change speed of an object of interest in an image.
다음으로, 본 발명의 일실시예에 따른 집중도 검사 지원 방법은 분리 영역별 점수 분포도, 관심 지도, 및 관심 이동 지도를 이용하여 피검사자의 집중도를 분석한다(S240).Next, in the concentration test support method according to an embodiment of the present invention, the concentration of the test subject is analyzed using a score distribution map for each separated area, an interest map, and an interest movement map (S240).
이때, 피검사자의 집중도를 분석하는 단계(S240)는 분리 영역별 점수 분포도, 관심 지도, 및 관심 이동 지도를 이용하여 피검사자의 집중도 점수 패턴을 산출하는 과정에 상응할 수 있다.At this time, the step of analyzing the test subject's concentration (S240) may correspond to a process of calculating the test subject's concentration score pattern using a score distribution map for each separated area, an interest map, and an interest movement map.
도 8은 본 발명의 일실시예에 따른 집중도 검사 지원 방법에 따라 피검사자의 집중도를 분석하는 과정을 예시적으로 나타낸 도면이다.8 is a diagram illustratively illustrating a process of analyzing the concentration of a test subject according to the concentration test support method according to an embodiment of the present invention.
도 8을 참조하면, 분리 영역별 점수 분포도, 관심 지도, 및 관심 이동 지도를 기반으로 피검사자의 집중도 분포도를 생성한 것을 알 수 있다.Referring to FIG. 8 , it can be seen that the concentration distribution of the test subject is generated based on the score distribution for each separated area, the interest map, and the interest movement map.
이때, 피검사자의 집중도 분포도는 분리 영역별 점수 분포도의 가중치 값, 피검사자의 관심 지도 및 관심 이동 지도의 상관관계 분석을 통해 생성될 수 있다.In this case, the concentration distribution map of the test subject may be generated through a correlation analysis between a weight value of a score distribution map for each separated area, an interest map of the test subject, and an interest movement map.
또한, 분리 영역별 점수 분포도의 가중치 값, 피검사자의 관심 지도 및 관심 이동 지도상의 2차원 패턴 값을 연산한 결과에 기반하여 생성될 수도 있다.In addition, it may be generated based on a result of calculating the weight value of the score distribution map for each separated area, and the two-dimensional pattern values on the interest map and interest movement map of the subject.
이때, 피검사자의 집중도를 산출하는 단계(S240)는 관심 지도, 관심 이동 지도, 및 집중도 산출 결과와 피검사자의 발달 검사 결과의 상관관계 분석 결과에 기반하여 상기 피검사자를 자동으로 선별 또는 진단을 지원하는 단계를 포함할 수 있다.In this case, the step of calculating the degree of concentration of the test subject (S240) is the step of automatically selecting or supporting the diagnosis of the test subject based on the correlation analysis result between the interest map, the interest movement map, and the concentration calculation result and the test subject's development test result. can include
이때, 피검사자를 선별 또는 진단지원을 위하여 딥 러닝 학습 또는 분류기 등을 이용할 수 있다.In this case, deep learning or a classifier may be used to select a subject to be tested or support diagnosis.
도 9는 본 발명의 일실시예에 따른 집중도 검사 지원 방법에 따라 피검사자의 집중도를 분석한 결과를 예시적으로 나타낸 도면이다.9 is a diagram illustratively illustrating a result of analyzing the concentration of a test subject according to the concentration test support method according to an embodiment of the present invention.
도 10은 본 발명의 일실시예에 따른 관심 지도 및 관심 이동 지도 기반 집중도 검사 지원 장치를 나타낸 블록도이다.10 is a block diagram illustrating a concentration check support apparatus based on an interest map and an interest movement map according to an embodiment of the present invention.
도 10을 참조하면, 본 발명의 일실시예에 따른 관심 지도 및 관심 이동 지도 기반 집중도 검사 지원 비디오의 프레임들 중 기설정된 조건에 상응하는 프레임들에 대하여 분리 영역별 점수 분포도를 정의하는 비디오 관리부(310), 피검사자의 응시점 분포에 기반하여 상기 프레임들에 상응하는 관심 지도를 생성하고, 상기 피검사자의 응시점 이동 정보에 기반하여 상기 프레임들에 상응하는 관심 이동 지도를 생성하는 집중도 측정부(320), 상기 분리 영역별 점수 분포도, 상기 관심 지도, 및 상기 관심 이동 지도를 이용하여 상기 피검사자의 집중도를 산출하는 집중도 분석부(330)를 포함한다.Referring to FIG. 10 , a video management unit defining a score distribution for each divided area for frames corresponding to a predetermined condition among frames of a video supporting a concentration test based on an interest map and an interest movement map according to an embodiment of the present invention ( 310), a
이때, 상기 비디오 관리부(310)는 상기 프레임들에서 관심 객체를 검출하고, 상기 관심 객체를 컴포넌트(Component) 단위로 분리하고, 상기 관심 객체를 상기 컴포넌트 단위로 분리한 결과에 기반하여 상기 분리 영역별 점수 분포도를 정의할 수 있다.At this time, the
이때, 상기 비디오 관리부(310)는 상기 비디오에서 기설정된 시간 구간의 프레임들을 대표하는 분리 영역별 점수 분포도를 생성할 수 있다.In this case, the
이때, 상기 집중도 측정부(320)는 상기 기설정된 시간 구간의 프레임들을 대표하는, 상기 관심 지도 및 상기 관심 이동 지도를 생성할 수 있다.In this case, the
이때, 상기 분리 영역별 점수 분포도, 상기 관심 지도, 및 상기 관심 이동 지도는 상기 비디오의 프레임에 상응하는 2차원 패턴 형태로 생성될 수 있다.In this case, the score distribution map for each divided area, the interest map, and the interest movement map may be generated in the form of a two-dimensional pattern corresponding to the frame of the video.
이때, 상기 집중도 분석부(330)는 상기 분리 영역별 점수 분포도, 상기 관심 지도, 및 상기 관심 이동 지도의 2차원 패턴 형태 값들을 연산한 결과에 기반하여 집중도를 산출할 수 있다.At this time, the
이때, 상기 집중도 분석부(330)는 상기 관심 지도, 상기 관심 이동 지도, 및 집중도 산출 결과와 피검사자의 발달 검사 결과의 상관관계 분석 결과에 기반하여 상기 피검사자를 자동으로 선별 또는 진단을 지원할 수 있다.In this case, the
이때, 상기 관심 이동 지도는 상기 피검사자의 응시점이 특정 영역에서 기설정된 제1 시간보다 오래 머물렀는지에 대한 정보, 및 상기 응시점의 이동 정보를 포함할 수 있다.In this case, the interest movement map may include information on whether the gaze point of the test subject stayed longer than a preset first time in a specific area and movement information of the gaze point.
이때, 상기 제1 시간은 상기 관심 객체의 움직임 및 속도 정보에 기반하여 설정될 수 있다.In this case, the first time may be set based on motion and speed information of the object of interest.
이때, 상기 집중도 측정부(320)는 상기 피검사자의 영상에서 얼굴 영역을 검출하고, 상기 피검사자의 응시점 좌표를 검출하고, 상기 피검사자의 헤드 포즈에 기반하여 상기 응시점 좌표를 보정하여 상기 관심 지도 및 상기 관심 이동 지도를 생성할 수 있다.At this time, the
도 11은 본 발명의 일실시예에 따른 관심 지도 및 관심 이동 지도 기반 집중도 검사 지원 장치를 보다 상세하게 나타낸 블록도이다.11 is a block diagram illustrating a concentration test supporting apparatus based on an interest map and an interest movement map according to an embodiment of the present invention in more detail.
도 11을 참조하면, 관심 지도 및 관심 이동 지도 기반 집중도 검사 지원 장치는 영상 콘텐츠 관리부(401) 및 응시점 추적기반 관심 지도 및 관심 이동 지도 생성부(402), 영상 콘텐츠와의 상관관계 및 집중도 산출부(403), 및 발달검사를 위한 집중도 분석 검사결과 출력부(404)를 포함한다.Referring to FIG. 11, the apparatus for supporting the concentration test based on the interest map and the interest movement map includes a video
이때, 영상 콘텐츠 관리부(401), 관심 지도 및 관심 이동 지도 생성부(402), 및 영상 콘텐츠와의 상관관계 및 집중도 산출부(403)는 각각 도10의 비디오 관리부(310), 집중도 측정부(320), 및 집중도 분석부(330)에 상응하는 구성일 수 있다.At this time, the video
영상 콘텐츠 관리부(401)는 피검사자의 나이, 성별, 선호 특성, 검사분야 등을 고려하여, 사전에 제작된 다양한 영상 콘텐츠를 검사 목적과 개인 특성에 적합하도록 선택할 수 있는 피검사자를 고려한 영상 콘텐츠 선택부(405), 및 선택한 영상 콘텐츠를 화면에 상영하는 영상 콘텐츠 상영부(407)를 포함할 수 있다.The image
또한, 사전 제작된 영상 콘텐츠들에 대하여, 집중도를 분석할 수 있는 주요 화면 또는 주요 비디오 프레임 정보를 가지고 있는 영상 콘텐츠별 주요 화면 정보 저장부(406), 주요 화면 또는 주요 비디오 프레임에 대하여, 관심 객체를 검출하고 검출된 객체를 컴포넌트(Component) 단위로 분리하는 주요 화면의 객체 검출 및 분리부(408)와 검출된 객체의 분리 영역별 가중치 값의 분포를 생성 및 저장하여 관리하는 검출 객체기반 영역별 점수 분포도 저장부(409)를 포함한다.In addition, for the pre-produced video contents, the main screen
이때, 주요 화면 또는 주요 비디오 프레임 정보는 장면(scene) 전환정보, 장면 내 관심 객체의 출현 및 움직임 정보, 키 프레임 정보, 장면에 대한 표본조사 및 통계분석, 딥 러닝 학습 등을 통한 자동 생성 방법을 이용하여 선택하거나, 전문가에 의한 수동지정 방식 등을 통해 선택할 수 있다.At this time, the main screen or main video frame information is automatically generated through scene transition information, appearance and movement information of objects of interest in the scene, key frame information, sample survey and statistical analysis of the scene, and deep learning learning. It can be selected by using, or it can be selected through a manual designation method by an expert.
이때, 주요 화면 및 주요 비디오 프레임 정보는 하나의 화면 또는 프레임이 아닌 일정 구간의 연속된 장면 또는 프레임을 대상으로 할 수도 있다.In this case, the main screen and main video frame information may target a continuous scene or frame of a certain section, rather than one screen or frame.
그리고, 주요 화면의 객체 검출 및 분리부(408)는 딥러닝 등을 적용한 인스턴스 분할(Instance Segmentation) 또는 전통적인 영상처리 기반의 배경제거 및 객체 분할(Object segmentation) 등의 방법을 사용할 수 있다.In addition, the object detection and
또한, 검출된 객체의 분리 영역별 점수 분포도 생성의 경우도 표본조사 및 통계분석, 영상 내 객체 움직임/변화 탐지, 객체 간의 의미 정보 분석, 또는 전문가에 의한 수동할당 등 다양한 방법의 적용이 가능할 것이며, 프레임 당 하나의 분리 영역별 점수 분포도를 생성하거나, 비디오 프레임의 일정 구간 당 하나의 분리 영역별 점수 분포도를 생성할 수 있다. In addition, in the case of generating a score distribution map for each separated area of the detected object, it will be possible to apply various methods such as sample survey and statistical analysis, object movement/change detection in the image, semantic information analysis between objects, or manual assignment by experts, One score distribution map per divided region per frame or one score distribution map per divided region per predetermined section of a video frame may be generated.
응시점 추적기반 관심 지도 및 관심 이동 지도 생성부(402)는 피검사자의 응시점을 보다 정확히 추출하기 위하여, 입력 영상으로부터 피검사자의 얼굴 영역을 검출/추적하는 피검사자 얼굴영상 검출부(410), 3차원 공간 상에서 피검사자가 응시하고 있는 화면상의 보다 정확한 응시점 좌표를 보정 또는 계산하기 위한 피검사자 헤드포즈 추정부(412), 3차원 공간에서 동공 검출기반 시선좌표 추정 또는 화면상의 응시점 좌표를 직접 검출하는 피검사자 응시점 검출부(413)를 포함할 수 있다.The gaze point tracking-based interest map and interest movement
또한, 피검사자 얼굴영상 검출부(410), 피검사자 헤드포즈 추정부(412), 및 피검사자 응시점 검출부(413)를 통해 측정된 피검사자의 응시점 좌표의 빈도와 분포에 기반하여 히트맵의 특성을 갖는 관심 지도를 생성하는 관심 지도 생성부(411), 및 응시점이 관심 영역에 일정시간 이상 머물거나(fixation) 또 다른 관심영역으로 빠르게 이동하는(saccades) 관심이동 벡터에 대한 정보를 포함하는 관심 이동 지도를 생성하는 관심 이동 지도 생성부(414)를 포함한다.In addition, interest having characteristics of a heat map based on the frequency and distribution of the coordinates of the subject's gaze point measured by the subject's
이때, 피검사자 얼굴영상의 검출을 위하여는 전통적인 비올라 존스(Viola-Jones)의 에이다부스트(Adaboost) 분류기를 이용한 알고리즘 등과 같은 전통적 방법, 또는 딥 러닝 기반의 얼굴 검출 알고리즘을 사용할 수 있다.At this time, in order to detect the subject's face image, a traditional method such as an algorithm using a traditional Adaboost classifier of Viola-Jones or a deep learning-based face detection algorithm may be used.
이때, 피검사자 헤드포즈 추적은 전통적인 알고리즘 등을 통해 3차원 헤드포즈를 추정하는 유전적 알고리즘 포즈 추정(Genetic Algorithm Pose Estimation) 방법, 여러 종류의 객체에 다양한 헤드포즈 데이터를 이용한 학습기반 포즈 추정(Learning-based Pose Estimation) 방법, Gradient Descent, Levenber-Marquadt 등의 알고리즘을 이용해 3차원점과 투영된 2차원 점 간의 오류를 반복적으로 최소화하여 얻어진 포즈를 결과로 하는 최적화 기반 포즈 추정(Optimization-based Pose Estimation) 방법, 2차원 영상 하나만으로 3차원 객체의 3차원 회전과 위치를 추정하는 기하학 기반 포즈 추정(Geometric Pose Estimation) 방법, 딥 러닝 기반의 헤드포즈 추정 방법을 사용할 수 있다.At this time, the subject's head pose tracking is a Genetic Algorithm Pose Estimation method that estimates a three-dimensional head pose through a traditional algorithm, etc., and a learning-based pose estimation method using various head pose data for various types of objects. Based Pose Estimation) method, Gradient Descent, Levenber-Marquadt, etc. Optimization-based Pose Estimation that results in a pose obtained by repeatedly minimizing errors between 3D points and projected 2D points using algorithms such as Gradient Descent and Levenber-Marquadt method, a geometric pose estimation method for estimating the 3-dimensional rotation and position of a 3-dimensional object using only a 2-dimensional image, and a deep learning-based head pose estimation method.
이때, 적외선 카메라를 사용하여 피검사자의 응시점을 검출하는 경우, 피검사자의 동공을 검출하고 3차원 공간에서 디스플레이 장치와의 거리 등을 고려하여 시선 좌표를 추정하거나, 딥 러닝 기반의 응시점 좌표를 검출하는 방법을 사용할 수 있다.At this time, when detecting the subject's gaze point using an infrared camera, detect the subject's pupil and estimate the gaze coordinates in consideration of the distance from the display device in the 3D space, or detect the gaze point coordinates based on deep learning method can be used.
관심 지도 생성부(411)는 응시점 좌표의 빈도와 분포 등을 종합하여, 영상 콘텐츠의 주요 화면 또는 주요 비디오 프레임 상에서 관심 객체의 분리 영역에 피검사자의 시선이 머무르는 위치의 전체적인 분포를 저장 및 관리할 수 있다.The interest
응시점 추적기반 관심 이동 지도 생성부(414)는 피검사자의 응시점 추적 결과와 시간과의 관계를 분석함으로써 fixation 또는 saccades을 탐지할 수 있으며, 관심 객체의 분리 영역들에 대한 fixation과 화면 내 객체의 움직임/변화에 빠르게 반응하여 시선이 빠르게 이동하는지(saccades)를 모두 인지함으로써 보다 정확한 관심 이동 지도를 생성할 수 있다.The gaze point tracking-based interest movement
여기서, fixation은 콘텐츠별 특성에 따라 일정 범위의 값으로 정의하거나 영역별 점수 분포도 저장부(409)에서 영상 내 관심 객체의 움직임/변화 속도를 반영하여 사전에 검사의 목적과 영상 콘텐츠의 특성에 따라 적절한 값을 설정하여 사용할 수 있다.Here, fixation is defined as a value within a certain range according to the characteristics of each content, or by reflecting the movement/change speed of the object of interest in the image in the score distribution
이때, 관심 지도(Attention Map)와 관심 이동 지도의 생성은 하나의 검출 객체 분리영역별 점수 분포도에 대하여 하나의 관심 지도와 관심 이동 지도 생성, 또는 일정 구간 연속되는 주요 화면 또는 주요 비디오 프레임의 구간 당 하나의 관심 지도와 관심 이동 지도를 생성할 수 있다.At this time, the generation of the attention map and the interest movement map generates one interest map and interest movement map for a score distribution for each detection object separation region, or per section of a main screen or main video frame consecutive to a certain section. One interest map and one interest movement map may be created.
한편, 관심 지도와 관심 이동 지도의 생성을 위한 피검사자 얼굴영상 검출부(410), 피검사자 헤드포즈 추정부(412) 및 피검사자 응시점 검출부(413)는 기존 또는 상용의 시선 추적기로 대체하여 사용할 수도 있다.Meanwhile, the subject's
관심 지도 및 관심 이동 지도가 생성되면 영상 콘텐츠 주요 화면의 검출 객체기반 분리 영역별 점수 분포도 저장부(409)에 사전 저장되어 있는 정보와 연동하여, 영상 콘텐츠와의 상관관계 및 집중도 산출부(403)에서 검출 객체 내 분리 영역별 그리고 주요 화면 또는 주요 비디오 프레임 또는 일정 구간의 피검사자 집중도에 대한 점수를 계산하여 다양한 통계적 데이터를 산출할 수 있다.When the interest map and the interest movement map are generated, the correlation with the video content and the
또한, 발달검사를 위한 집중도 분석결과 출력부(404)에서는 콘텐츠별 특성을 고려한 집중도와의 상관관계, 관심 지도와 관심 이동 지도를 이용한 관심 객체, 집중도 분포의 특성, 관심이동 벡터 등 집중도 관련 요소의 통계적 정보들을 활용하여, 집중도 분포와 발달검사 결과의 상관관계 등 다양한 방법으로 발달검사를 지원할 수 있다.In addition, in the concentration analysis
도 12는 실시예에 따른 컴퓨터 시스템의 구성을 나타낸 도면이다.12 is a diagram showing the configuration of a computer system according to an embodiment.
실시예에 따른 관심 지도 및 관심 이동 지도 기반 집중도 검사 지원 장치는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1000)에서 구현될 수 있다.An apparatus for supporting a concentration test based on an interest map and an interest movement map according to an embodiment may be implemented in the
컴퓨터 시스템(1000)은 버스(1020)를 통하여 서로 통신하는 하나 이상의 프로세서(1010), 메모리(1030), 사용자 인터페이스 입력 장치(1040), 사용자 인터페이스 출력 장치(1050), 스토리지(1060) 및 그래픽카드(1090)를 포함할 수 있다. 또한, 컴퓨터 시스템(1000)은 네트워크(1080)에 연결되는 네트워크 인터페이스(1070)를 더 포함할 수 있다. 프로세서(1010)는 중앙 처리 장치 또는 메모리(1030)나 스토리지(1060)에 저장된 프로그램 또는 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1030) 및 스토리지(1060)는 휘발성 매체, 비휘발성 매체, 분리형 매체, 비분리형 매체, 통신 매체, 또는 정보 전달 매체 중에서 적어도 하나 이상을 포함하는 저장 매체일 수 있다. 예를 들어, 메모리(1030)는 ROM(1031)이나 RAM(1032)을 포함할 수 있다.
본 발명에서 설명하는 특정 실행들은 실시예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.The specific implementations described herein are examples and do not limit the scope of the present invention in any way. For brevity of the specification, description of conventional electronic components, control systems, software, and other functional aspects of the systems may be omitted. In addition, the connection of lines or connecting members between the components shown in the drawings are examples of functional connections and / or physical or circuit connections, which can be replaced in actual devices or additional various functional connections, physical connection, or circuit connections. In addition, if there is no specific reference such as “essential” or “important”, it may not be a component necessarily required for the application of the present invention.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the above-described embodiments and should not be determined, and all scopes equivalent to or equivalently changed from the claims as well as the claims to be described later are within the scope of the spirit of the present invention. will be said to belong to
310: 비디오 관리부
320: 집중도 측정부
330: 집중도 분석부310: video management unit
320: concentration measuring unit
330: concentration analysis unit
Claims (20)
피검사자의 응시점 분포에 기반하여 상기 프레임들에 상응하는 관심 지도를 생성하는 단계;
상기 피검사자의 응시점 이동 정보에 기반하여 상기 프레임들에 상응하는 관심 이동 지도를 생성하는 단계; 및
상기 분리 영역별 점수 분포도, 상기 관심 지도, 및 상기 관심 이동 지도를 이용하여 상기 피검사자의 집중도를 산출하는 단계;
를 포함하는 것을 특징으로 하는 관심 지도 및 관심 이동 지도 기반 집중도 검사 지원 방법.Defining a score distribution for each divided area with respect to frames corresponding to a predetermined condition among frames of the video;
generating an interest map corresponding to the frames based on the gaze point distribution of the test subject;
generating an interest movement map corresponding to the frames based on the gaze point movement information of the test subject; and
calculating a degree of concentration of the test subject using the score distribution map for each divided area, the interest map, and the interest movement map;
A method for supporting a concentration test based on an interest map and an attention movement map, comprising:
상기 분리 영역별 점수 분포도를 정의하는 단계는
상기 프레임들에서 관심 객체를 검출하는 단계;
상기 관심 객체를 컴포넌트(Component) 단위로 분리하는 단계; 및
상기 관심 객체를 상기 컴포넌트 단위로 분리한 결과에 기반하여 상기 분리 영역별 점수 분포도를 정의하는 단계;
를 포함하는 것을 특징으로 하는 관심 지도 및 관심 이동 지도 기반 집중도 검사 지원 방법.The method of claim 1,
The step of defining the score distribution for each separated area is
detecting an object of interest in the frames;
Separating the object of interest into component units; and
defining a score distribution for each segment based on a result of dividing the object of interest into component units;
A method for supporting a concentration test based on an interest map and an attention movement map, comprising:
상기 분리 영역별 점수 분포도를 정의하는 단계는
상기 비디오에서 기설정된 시간 구간의 프레임들을 대표하는 분리 영역별 점수 분포도를 생성하고,
상기 관심 지도를 생성하는 단계 및 상기 관심 이동 지도를 생성하는 단계는
상기 기설정된 시간 구간의 프레임들을 대표하는, 상기 관심 지도 및 상기 관심 이동 지도를 생성하는 것을 특징으로 하는 관심 지도 및 관심 이동 지도 기반 집중도 검사 지원 방법.The method of claim 2,
The step of defining the score distribution for each separated area is
Generating a score distribution for each divided region representing frames of a predetermined time interval in the video;
The step of generating the interest map and the step of generating the interest movement map
and generating the interest map and the interest movement map representing frames of the predetermined time interval.
상기 분리 영역별 점수 분포도, 상기 관심 지도, 및 상기 관심 이동 지도는
상기 비디오의 프레임에 상응하는 2차원 패턴 형태에 상응하는 것을 특징으로 하는 관심 지도 및 관심 이동 지도 기반 집중도 검사 지원 방법.The method of claim 3,
The score distribution for each divided area, the interest map, and the interest movement map
A method for supporting a concentration test based on an interest map and an interest movement map, characterized in that it corresponds to a two-dimensional pattern shape corresponding to the frame of the video.
상기 피검사자의 집중도를 산출하는 단계는
상기 분리 영역별 점수 분포도, 상기 관심 지도, 및 상기 관심 이동 지도의 2차원 패턴 형태 값들을 연산한 결과에 기반하여 집중도를 산출하는 것을 특징으로 하는 관심 지도 및 관심 이동 지도 기반 집중도 검사 지원 방법.The method of claim 4,
The step of calculating the degree of concentration of the test subject is
The method for supporting a concentration test based on the interest map and the interest movement map, characterized in that the degree of concentration is calculated based on a result of calculating the score distribution for each divided area, the interest map, and two-dimensional pattern shape values of the interest movement map.
상기 피검사자의 집중도를 산출하는 단계는
상기 관심 지도, 상기 관심 이동 지도, 및 집중도 산출 결과와 발달 검사 결과의 상관관계 분석 결과에 기반하여 상기 피검사자를 자동으로 선별 또는 진단을 지원하는 단계를 포함하는 것을 특징으로 하는 관심 지도 및 관심 이동 지도 기반 집중도 검사 지원 방법.The method of claim 5,
The step of calculating the degree of concentration of the test subject is
Automatically selecting or supporting the diagnosis of the test subject based on the interest map, the interest movement map, and a correlation analysis result between a concentration calculation result and a development test result. Methods for supporting concentration-based tests.
상기 관심 이동 지도는
상기 피검사자의 응시점이 특정 영역에서 기설정된 제1 시간보다 오래 머물렀는지에 대한 정보, 및 상기 응시점의 이동 정보를 포함하는 것을 특징으로 하는 관심 지도 및 관심 이동 지도 기반 집중도 검사 지원 방법.The method of claim 5,
The interest movement map is
The concentration test support method based on the interest map and the interest movement map, characterized in that it includes information on whether the gaze point of the test subject stayed longer than a predetermined first time in a specific area and movement information of the gaze point.
상기 제1 시간은
상기 관심 객체의 움직임 및 속도 정보에 기반하여 설정되는 것을 특징으로 하는 관심 지도 및 관심 이동 지도 기반 집중도 검사 지원 방법.The method of claim 7,
The first time is
A method for supporting a concentration test based on an interest map and an interest movement map, characterized in that it is set based on the motion and speed information of the object of interest.
상기 관심 지도를 생성하는 단계는
상기 피검사자의 영상에서 얼굴 영역을 검출하는 단계;
상기 피검사자의 응시점 좌표를 검출하는 단계;
상기 피검사자의 헤드 포즈에 기반하여 상기 응시점 좌표를 보정하는 단계;
를 포함하는 것을 특징으로 하는 관심 지도 및 관심 이동 지도 기반 집중도 검사 지원 방법.The method of claim 5,
The step of generating the interest map is
detecting a face region from the image of the subject;
detecting coordinates of the gaze point of the test subject;
correcting the gaze point coordinates based on the head pose of the subject;
A method for supporting a concentration test based on an interest map and an attention movement map, comprising:
상기 비디오는 검사분야 및 검사목적에 적합하도록 사전에 제작된 다양한 영상 콘텐츠에 상응하는 것을 특징으로 하는 검사 지원 방법.The method of claim 1,
The inspection support method according to claim 1 , wherein the video corresponds to various image contents pre-produced to be suitable for inspection fields and inspection purposes.
피검사자의 응시점 분포에 기반하여 상기 프레임들에 상응하는 관심 지도를 생성하고, 상기 피검사자의 응시점 이동 정보에 기반하여 상기 프레임들에 상응하는 관심 이동 지도를 생성하는 집중도 측정부; 및
상기 분리 영역별 점수 분포도, 상기 관심 지도, 및 상기 관심 이동 지도를 이용하여 상기 피검사자의 집중도를 산출하는 집중도 분석부;
를 포함하는 것을 특징으로 하는 관심 지도 및 관심 이동 지도 기반 집중도 검사 지원 장치.a video management unit that defines a score distribution for each divided area with respect to frames corresponding to a predetermined condition among video frames;
a concentration measurer configured to generate an interest map corresponding to the frames based on a gaze point distribution of the test subject and an interest movement map corresponding to the frames based on the gaze point movement information of the test subject; and
a concentration analyzer configured to calculate a concentration of the test subject using the score distribution map for each divided area, the interest map, and the interest movement map;
An apparatus for supporting a concentration test based on an interest map and an attention movement map, comprising:
상기 비디오 관리부는
상기 프레임들에서 관심 객체를 검출하고, 상기 관심 객체를 컴포넌트(Component) 단위로 분리하고, 상기 관심 객체를 상기 컴포넌트 단위로 분리한 결과에 기반하여 상기 분리 영역별 점수 분포도를 정의하는 것을 특징으로 하는 관심 지도 및 관심 이동 지도 기반 집중도 검사 지원 장치.The method of claim 11,
The video management department
Detecting an object of interest in the frames, separating the object of interest into component units, and defining a score distribution for each separated area based on a result of dividing the object of interest into component units Apparatus for assisting concentration test based on attention map and attention shift map.
상기 비디오 관리부는
상기 비디오에서 기설정된 시간 구간의 프레임들을 대표하는 분리 영역별 점수 분포도를 생성하고,
상기 집중도 측정부는
상기 기설정된 시간 구간의 프레임들을 대표하는, 상기 관심 지도 및 상기 관심 이동 지도를 생성하는 것을 특징으로 하는 관심 지도 및 관심 이동 지도 기반 집중도 검사 지원 장치.The method of claim 12,
The video management department
Generating a score distribution for each divided region representing frames of a predetermined time interval in the video;
The concentration measuring unit
The apparatus for supporting a concentration test based on an interest map and an interest movement map, characterized in that for generating the interest map and the interest movement map representing frames of the predetermined time interval.
상기 분리 영역별 점수 분포도, 상기 관심 지도, 및 상기 관심 이동 지도는
상기 비디오의 프레임에 상응하는 2차원 패턴 형태에 상응하는 것을 특징으로 하는 관심 지도 및 관심 이동 지도 기반 집중도 검사 지원 장치.The method of claim 13,
The score distribution for each divided area, the interest map, and the interest movement map
An apparatus for supporting a concentration test based on an interest map and an interest movement map, characterized in that it corresponds to a two-dimensional pattern shape corresponding to the frame of the video.
상기 집중도 분석부는
상기 분리 영역별 점수 분포도, 상기 관심 지도, 및 상기 관심 이동 지도의 2차원 패턴 형태 값들을 연산한 결과에 기반하여 집중도를 산출하는 것을 특징으로 하는 관심 지도 및 관심 이동 지도 기반 집중도 검사 지원 장치.The method of claim 14,
The concentration analysis unit
The apparatus for supporting a concentration test based on the interest map and the interest movement map, characterized in that the degree of concentration is calculated based on a result of calculating the score distribution for each divided area, the interest map, and two-dimensional pattern shape values of the interest movement map.
상기 집중도 분석부는
상기 관심 지도, 상기 관심 이동 지도, 및 집중도 산출 결과와 발달 검사 결과의 상관관계 분석 결과에 기반하여 상기 피검사자를 자동으로 선별 또는 진단을 지원하는 것을 특징으로 하는 관심 지도 및 관심 이동 지도 기반 집중도 검사 지원 장치.The method of claim 15
The concentration analysis unit
Based on the interest map, the interest movement map, and a correlation analysis result between a concentration calculation result and a developmental test result, automatically selecting or diagnosing the test subject is supported. Device.
상기 관심 이동 지도는
상기 피검사자의 응시점이 특정 영역에서 기설정된 제1 시간보다 오래 머물렀는지에 대한 정보, 및 상기 응시점의 이동 정보를 포함하는 것을 특징으로 하는 관심 지도 및 관심 이동 지도 기반 집중도 검사 지원 장치.The method of claim 15
The interest movement map is
The apparatus for supporting a concentration test based on an interest map and an interest movement map, characterized in that it includes information on whether the gaze point of the test subject stayed longer than a predetermined first time in a specific area and movement information of the gaze point.
상기 제1 시간은
상기 관심 객체의 움직임 및 속도 정보에 기반하여 설정되는 것을 특징으로 하는 관심 지도 및 관심 이동 지도 기반 집중도 검사 지원 장치.The method of claim 17
The first time is
An apparatus for supporting a concentration test based on an interest map and an interest movement map, characterized in that it is set based on the motion and speed information of the object of interest.
상기 집중도 측정부는
상기 피검사자의 영상에서 얼굴 영역을 검출하고, 상기 피검사자의 응시점 좌표를 검출하고, 상기 피검사자의 헤드 포즈에 기반하여 상기 응시점 좌표를 보정하여 상기 관심 지도 및 상기 관심 이동 지도를 생성하는 것을 특징으로 하는 관심 지도 및 관심 이동 지도 기반 집중도 검사 지원 장치.The method of claim 15
The concentration measuring unit
Detecting a face region from the image of the test subject, detecting coordinates of the gaze point of the test subject, and correcting the coordinates of the gaze point based on a head pose of the test subject to generate the interest map and the interest movement map. A device that supports concentration test based on attention map and attention shift map.
상기 비디오는 검사분야 및 검사목적에 적합하도록 사전에 제작된 다양한 영상 콘텐츠에 상응하는 것을 특징으로 하는 검사 지원 장치.
The method of claim 11,
The examination support device according to claim 1 , wherein the video corresponds to various image contents pre-produced to be suitable for the examination field and examination purpose.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210097949A KR102686852B1 (en) | 2021-07-26 | 2021-07-26 | Apparatus and method for surpporting attention test based on attention map and attention movement map |
| US17/533,741 US20220392080A1 (en) | 2021-06-03 | 2021-11-23 | Apparatus and method for supporting attention test based on attention map and attention movement map |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210097949A KR102686852B1 (en) | 2021-07-26 | 2021-07-26 | Apparatus and method for surpporting attention test based on attention map and attention movement map |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230016448A true KR20230016448A (en) | 2023-02-02 |
| KR102686852B1 KR102686852B1 (en) | 2024-07-19 |
Family
ID=85225423
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210097949A KR102686852B1 (en) | 2021-06-03 | 2021-07-26 | Apparatus and method for surpporting attention test based on attention map and attention movement map |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102686852B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120124772A (en) | 2011-05-04 | 2012-11-14 | 경북대학교 산학협력단 | Apparatus for analysing focus and nonfocus states and method therof |
| KR20190140767A (en) | 2018-06-12 | 2019-12-20 | 영남대학교 산학협력단 | Method and Apparatus for Measuring Degree of Immersion |
| KR20200000680U (en) | 2020-03-20 | 2020-03-30 | 조승희 | The Device for improving the study concentration |
-
2021
- 2021-07-26 KR KR1020210097949A patent/KR102686852B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120124772A (en) | 2011-05-04 | 2012-11-14 | 경북대학교 산학협력단 | Apparatus for analysing focus and nonfocus states and method therof |
| KR20190140767A (en) | 2018-06-12 | 2019-12-20 | 영남대학교 산학협력단 | Method and Apparatus for Measuring Degree of Immersion |
| KR20200000680U (en) | 2020-03-20 | 2020-03-30 | 조승희 | The Device for improving the study concentration |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102686852B1 (en) | 2024-07-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8814357B2 (en) | System and method for identifying the existence and position of text in visual media content and for determining a subject's interactions with the text | |
| US20130331729A1 (en) | System and method for calibrating and normalizing eye data in emotional testing | |
| KR101535432B1 (en) | Contents valuation system and contents valuating method using the system | |
| CN103502770B (en) | Improved imaging with real-time tracking using optical coherence tomography | |
| US20140081177A1 (en) | Posturographic system using a balance board | |
| KR101711093B1 (en) | Virtual reality system based on eye movement and perceptual function for self diagnosis and training of dementia | |
| CN109983505A (en) | Personage's trend recording device, personage's trend recording method and program | |
| US20180060757A1 (en) | Data annotation method and apparatus for enhanced machine learning | |
| Henriquez et al. | Mirror mirror on the wall... an unobtrusive intelligent multisensory mirror for well-being status self-assessment and visualization | |
| US10219693B2 (en) | Systems and methods for combined structure and function evaluation of retina | |
| CN104185020B (en) | A kind of system and method detecting stereoscopic vision fatigue strength | |
| CN112472111B (en) | Scoliosis early self-checking and Kang Fuyun platform | |
| CN106419938B (en) | A kind of attention deficit hyperactivity disorder (ADHD) detection system based on kinergety release estimation | |
| US11134863B2 (en) | Generating orthotic product recommendations | |
| US20220044817A1 (en) | Method, system, and program for creating health level positioning map and health function, and method for using these | |
| KR20190041081A (en) | Evaluation system of cognitive ability based on virtual reality for diagnosis of cognitive impairment | |
| JP6974975B2 (en) | Skin index value calculation method and skin condition evaluation device | |
| CN114209324A (en) | Psychological assessment data acquisition method based on image visual cognition and VR system | |
| US20220378300A1 (en) | Systems and methods for monitoring the functionality of a blood vessel | |
| EP4045138A1 (en) | Systems and methods for monitoring the functionality of a blood vessel | |
| Masalha et al. | Predicting fall probability based on a validated balance scale | |
| Dreischarf et al. | Comparison of three validated systems to analyse spinal shape and motion | |
| US20220392080A1 (en) | Apparatus and method for supporting attention test based on attention map and attention movement map | |
| Hareendranathan et al. | Artificial intelligence to automatically assess scan quality in hip ultrasound | |
| KR102686852B1 (en) | Apparatus and method for surpporting attention test based on attention map and attention movement map |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |