KR20240079907A - 시선 추적 기반 사회적 상황의 인지력 분석 장치, 방법 및 컴퓨터 프로그램 - Google Patents
시선 추적 기반 사회적 상황의 인지력 분석 장치, 방법 및 컴퓨터 프로그램 Download PDFInfo
- Publication number
- KR20240079907A KR20240079907A KR1020220163319A KR20220163319A KR20240079907A KR 20240079907 A KR20240079907 A KR 20240079907A KR 1020220163319 A KR1020220163319 A KR 1020220163319A KR 20220163319 A KR20220163319 A KR 20220163319A KR 20240079907 A KR20240079907 A KR 20240079907A
- Authority
- KR
- South Korea
- Prior art keywords
- gaze
- content
- user
- information
- point
- Prior art date
Links
- 230000003930 cognitive ability Effects 0.000 title claims description 15
- 238000000034 method Methods 0.000 title claims description 9
- 238000004590 computer program Methods 0.000 title description 2
- 238000004458 analytical method Methods 0.000 claims abstract description 29
- 230000001149 cognitive effect Effects 0.000 claims abstract description 28
- 230000008447 perception Effects 0.000 claims abstract description 8
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 206010003805 Autism Diseases 0.000 description 7
- 208000020706 Autistic disease Diseases 0.000 description 7
- 230000008921 facial expression Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 208000012202 Pervasive developmental disease Diseases 0.000 description 2
- 208000029560 autism spectrum disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 208000027534 Emotional disease Diseases 0.000 description 1
- 230000006998 cognitive state Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000006397 emotional response Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Neurology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Physics & Mathematics (AREA)
- Hospice & Palliative Care (AREA)
- Databases & Information Systems (AREA)
- Heart & Thoracic Surgery (AREA)
- Developmental Disabilities (AREA)
- Psychiatry (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Child & Adolescent Psychology (AREA)
- Veterinary Medicine (AREA)
- Data Mining & Analysis (AREA)
- Psychology (AREA)
- Neurosurgery (AREA)
- Social Psychology (AREA)
- Educational Technology (AREA)
- Physiology (AREA)
Abstract
본 발명의 일 실시예에 따른 인지력 분석 장치는 사회적 상황을 판단하기 위한 단서가 되는 영역이 기 지정된 콘텐츠를 제공하는 콘텐츠부; 사용자가 상기 콘텐츠를 바라보는 지점의 시선 정보를 획득하는 시선 획득부; 상기 콘텐츠와 관련된 질문을 제시하여 상기 사용자의 답변을 획득하는 질의부; 및 상기 사용자의 시선 정보 및 답변을 기초로 상기 사용자의 사회적 상황에 대한 인지력을 판별하는 판별부를 포함할 수 있다.
Description
본 발명은 시선 추적 기반 사회적 상황의 인지력 분석 장치, 방법 및 컴퓨터 프로그램에 관한 것이다.
자폐증이란 다른 사람과 상호 관계가 형성되지 않고 정서적인 유대감이 일어나지 않는 장애를 말한다. 국제질병분류(ICD-10)에서는 자폐증을 발달 전반에 걸친 전반적 발달 장애라고 진단하고, 전반적 발달 장애를 9개의 아형으로 구분했었다. 최근에는, 이와 관련된 후속 연구에서 이들을 따로 구분하는 것이 임상적으로 큰 의미가 없다는 결론에 따라, 자폐증은 자폐 스펙트럼이라는 용어로 통칭되고 있기도 하다.
한편, 그간 자폐 여부를 판단함에 있어서, 제시된 특정 상황에 대해 아동이 적절한 수준의 감정적인 반응을 드러내는지를 확인하고, 적절한 수준의 반응이 나오지 않으면 자폐로 진단하는 모델을 활용하였다.
그러나 다양한 사회적 상황을 인지하기 위해 판단해야 할 요소는 감정적인 반응 뿐만 아니라 사회적 상황의 패턴에 따라 다양할 수 있기에, 사회적 상황을 자폐 아동들이 정확하게 인지하고 대처할 수 있는 사회성 훈련 프로그램을 구현하기 위한 정확한 평가 도구가 필요한 실정이다.
본 발명이 해결하고자 하는 과제는, 사회적 상황에 대한 정확한 인지 상태를 판별하기 위해 자폐 아동의 시선을 포함한 다양한 정보를 사회적 상황 맥락과 연관지어 분석할 수 있는 기술을 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 바로 제한되지 않으며, 언급되지는 않았으나 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있는 목적을 포함할 수 있다.
본 발명의 일 실시예에 따른 인지력 분석 장치는 사회적 상황을 판단하기 위한 단서가 되는 영역이 기 지정된 콘텐츠를 제공하는 콘텐츠부; 사용자가 상기 콘텐츠를 바라보는 지점의 시선 정보를 획득하는 시선 획득부; 상기 콘텐츠와 관련된 질문을 제시하여 상기 사용자의 답변을 획득하는 질의부; 및 상기 사용자의 시선 정보 및 답변을 기초로 상기 사용자의 사회적 상황에 대한 인지력을 판별하는 판별부를 포함할 수 있다.
또한, 상기 단서가 되는 영역이 기 지정된 콘텐츠는 상기 콘텐츠가 출력하는 텍스트 중 일부 텍스트를 포함하는 영역에 대한 좌표 정보, 또는 상기 콘텐츠가 출력하는 이미지 중 일부 이미지를 포함하는 영역에 대한 좌표 정보를 기초로 상기 영역이 기 지정될 수 있다.
또한, 상기 콘텐츠는 사회적 상황을 나타내는 이미지, 텍스트 및 음성을 포함하고, 상기 콘텐츠부는 상기 콘텐츠에 나타난 텍스트에 매칭되는 음성을 함께 출력할 수 있다.
또한, 상기 시선 획득부는 상기 사용자가 상기 콘텐츠 중 바라보는 지점의 좌표 정보, 바라보는 지점을 응시한 시간 정보, 시계열적으로 바라보는 지점을 이동한 순서 정보를 획득할 수 있다.
또한, 상기 시선 획득부는 상기 사용자가 소정 지점을 응시한 시간이 기 설정된 시간 이상이 되는 지점을 별도로 특정하여 저장할 수 있다.
또한, 상기 판별부는 상기 단서가 되는 영역에 상기 응시한 시간이 상기 기 설정된 시간 이상이 되는 지점이 포함되는 지 판별할 수 있다.
또한, 상기 시선 획득부는 10ms 단위로 상기 사용자가 바라보는 지점의 좌표 정보를 수집하고, 소정 지점을 응시한 시간이 60ms 이상이 되는 지점을 특정할 수 있다.
또한, 상기 판별부는 시선의 좌표 정보, 시선 응시 시간, 기 설정된 시간 이상의 응시 발생 여부, 단서가 되는 영역에 응시가 발생하였는지 여부 각각에 대해 기 설정된 점수 기준을 기초로 상기 사용자의 시선 정보로부터 상기 콘텐츠에 대한 사회적 상황의 인지력을 판별할 수 있다.
또한, 상기 판별부는 시선의 좌표 정보, 시선 응시 시간, 기 설정된 시간 이상의 응시 발생 여부, 단서가 되는 영역에 응시가 발생하였는지 여부 각각의 데이터를 기초로 콘텐츠에 대한 사회적 상황의 인지력을 판별하도록 학습된 신경망 모델을 이용할 수 있다.
또한, 상기 판별부는 상기 콘텐츠와 관련된 질문에 대한 사용자의 답변이 답변을 획득한 답변이 정답이되, 상기 사용자의 시선 정보로부터 판별된 사회적 상황의 인지력 점수가 기 설정된 수치 이하인 경우, 상기 답변이 오답인 것으로 판별하여 상기 사용자에 대한 인지력의 재확인을 위한 새로운 콘텐츠를 검색하여 사용자에게 제공할 수 있다.
일 실시예에 따른 인지력 분석 장치가 수행하는 인지력 분석 방법에 있어서, 사회적 상황을 판단하기 위한 단서가 되는 영역이 기 지정된 콘텐츠를 제공하는 단계; 사용자가 상기 콘텐츠를 바라보는 지점의 시선 정보를 획득하는 단계; 상기 콘텐츠와 관련된 질문을 제시하여 상기 사용자의 답변을 획득하는 단계; 및 상기 사용자의 시선 정보 및 답변을 기초로 상기 사용자의 사회적 상황에 대한 인지력을 판별하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면, 사회적 상황인지에 필요한 단서 정보 영역에 사용자가 주목한 정도와 타이밍, 그리고 주목 시점에 보이는 표정의 변화 등을 시간 흐름에 따라 분석하는 정교한 기법을 제공할 수 있다. 예를 들어, 집단 따돌림이 발생하는 경우나 놀리기 위해 여럿이서 기만적인 상황을 연출하는 경우, 한 사람의 표정만을 보고는 전반적인 상황을 정확하게 인지할 수 없기에, 본 발명은 콘텐츠를 통해 연출되는 상황 속에서 사용자가 상황의 기만성을 파악할 수 있는 단서 정보 영역들에 대해 어떠한 반응을 나타내는지 여부에 따라 사용자의 사회적 상황 인지력을 판별할 수 있다. 이로 인해, 본 발명은 다양한 사회적 상황을 사용자가 정확하게 인지하고 대처할 수 있는 사회성 훈련 프로그램을 구현하기 위한 평가 도구의 역할을 수행할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 시선 추적 기반 사회적 상황의 인지력 분석 장치의 기능 블록도이다.
도 2는 본 발명의 일 실시예에 따른 콘텐츠에 대한 예시도이다.
도 3는 본 발명의 일 실시예에 따른 콘텐츠로부터 수집된 시선 정보에 대한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 콘텐츠에 대응하는 질문을 제공하여 답변을 획득하는 동작의 예시도이다.
도 5는 본 발명의 일 실시예에 따라 사용자의 시선 정보와 답변을 기초로 사회적 상황에 따른 사용자의 인지력을 판별하는 동작의 예시도이다.
도 6은 본 발명의 일 실시예에 따른 시선 추적 기반 사회적 상황의 인지력 분석 장치가 수행하는 시선 추적 기반 사회적 상황의 인지력 분석 방법의 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 콘텐츠에 대한 예시도이다.
도 3는 본 발명의 일 실시예에 따른 콘텐츠로부터 수집된 시선 정보에 대한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 콘텐츠에 대응하는 질문을 제공하여 답변을 획득하는 동작의 예시도이다.
도 5는 본 발명의 일 실시예에 따라 사용자의 시선 정보와 답변을 기초로 사회적 상황에 따른 사용자의 인지력을 판별하는 동작의 예시도이다.
도 6은 본 발명의 일 실시예에 따른 시선 추적 기반 사회적 상황의 인지력 분석 장치가 수행하는 시선 추적 기반 사회적 상황의 인지력 분석 방법의 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하 사용되는 '??부', '??기' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 시선 추적 기반 사회적 상황의 인지력 분석 장치(100)(이하, '인지력 분석 장치(100)')의 기능 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 인지력 분석 장치(100)는 콘텐츠부(110), 시선 획득부(120), 질의부(130) 및 판별부(140)를 포함할 수 있다. 본 발명의 일 실시예에 따른 인지력 분석 장치(100)는 하나 이상의 프로세서에 의해 전반적인 동작이 수행될 수 있고, 하나 이상의 프로세서는 도 1에 포함된 기능 블록들이 후술할 동작들을 수행하도록 제어할 수 있다.
콘텐츠부(110)는 사회적 상황에 대한 인지력을 판단하기 위한 콘텐츠를 사용자에게 제공할 수 있다. 일 실시예에 따른 콘텐츠는 사회적 상황을 나타내는 이미지, 텍스트 및 음성을 포함할 수 있고, 콘텐츠에 나타난 텍스트에 매칭되는 음성을 함께 출력할 수 있다. 예를 들어, 콘텐츠부(110)는 인지력 분석 장치(100)와 유무선으로 연결된 디스플레이를 통해 사용자에게 콘텐츠를 출력할 수 있다. 예를 들어, 콘텐츠부(110)는 인지력 분석 장치(100)와 유무선으로 연결된 사용자 단말에 콘텐츠를 제공할 수 있다. 콘텐츠부(110)는 콘텐츠를 저장하기 위한 하드웨어 메모리를 포함할 수 있다. 콘텐츠부(110)는 외부 장치로부터 콘텐츠를 획득하기 위한 통신 모듈을 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 콘텐츠에 대한 예시도이다.
도 2를 참조하면, 일 실시예에 따른 콘텐츠는 사회적 상황을 판단하기 위한 단서가 되는 영역(도 2의 A, B)이 기 지정되어 있을 수 있다. 일 예로, 콘텐츠는 상기 영역을 특정하기 위해, 콘텐츠의 이미지가 출력되는 영역 중 일부 이미지(ex. 표정을 나타내는 이미지의 영역)를 포함하는 영역(도 2, A) 내부의 좌표 정보가 미리 특정되어 있거나, 콘텐츠의 텍스트가 출력되는 영역 중 일부 텍스트(ex. 감정을 나타내는 텍스트의 영역)를 포함하는 영역(도 2, B) 내부의 좌표 정보가 미리 특정되어 있을 수 있다
시선 획득부(120)는 사용자가 콘텐츠를 바라보는 지점의 시선 정보를 획득할 수 있다.
도 3는 본 발명의 일 실시예에 따른 콘텐츠로부터 수집된 시선 정보에 대한 예시도이다.
도 3을 참조하면, 시선 획득부(120)는 사용자가 콘텐츠 중 바라보는 지점의 좌표 정보, 바라보는 지점을 응시한 시간 정보, 시계열적으로 바라보는 지점을 이동한 순서 정보를 획득할 수 있다. 예를 들어, 시선 획득부(120)는 사용자의 시선을 감지할 수 있는 카메라 모듈을 포함할 수 있고, 10ms 단위로 사용자가 바라보는 지점의 좌표 정보와, 소정 지점에 사용자의 시점이 머무른 응시 체류 시간을 측정할 수 있다. 시선 획득부(120)는 사용자가 소정 지점을 응시한 시간이 기 설정된 시간(ex. 60ms) 이상이 되는 지점을 별도로 특정하여 저장할 수 있고, 이때 판별부(140)는 단서가 되는 영역(ex. 도 2의 A, B)에 사용자가 응시한 시간이 기 설정된 시간(ex. 60ms) 이상이 되는 지점이 포함되는 지 여부를 판별할 수 있다. 시선 획득부(120)는 획득한 시점 정보를 시계열적으로 저장하여, 시계열적으로 사용자의 시점이 이동한 순서 정보를 획득할 수 있다.
질의부(130)는 콘텐츠와 관련된 질문을 제시하여 사용자의 답변을 획득할 수 있다.
도 4는 본 발명의 일 실시예에 따른 콘텐츠에 대응하는 질문을 제공하여 답변을 획득하는 동작의 예시도이다.
도 4를 참조하면, 질의부(130)는 콘텐츠에 포함된 사회적 상황과 연관된 질문을 출력할 수 있고, 사용자로부터 질문에 대한 답변을 선택받을 수 있다.
판별부(140)는 사용자의 시선 정보 및 답변을 기초로 사용자의 사회적 상황에 대한 인지력을 판별할 수 있다.
도 5는 본 발명의 일 실시예에 따라 사용자의 시선 정보와 답변을 기초로 사회적 상황에 따른 사용자의 인지력을 판별하는 동작의 예시도이다.
도 5를 참조하면, 판별부(140)는 사용자 시선의 시계열적 순서에 따라, 시선의 좌표 정보, 기 설정된 시간(ex. 60ms) 이상의 응시 발생 여부, 시선 응시 시간, 단서가 되는 영역(ex. 도 2의 A, B)에 응시가 발생하였는지 여부 각각에 대해 기 설정된 점수 기준을 기초로 상기 사용자의 시선 정보로부터 상기 콘텐츠에 대한 사회적 상황의 인지력을 판별할 수 있다. 또한, 판별부(140)는 시선의 좌표 정보, 시선 응시 시간, 기 설정된 시간 이상의 응시 발생 여부, 단서가 되는 영역에 응시가 발생하였는지 여부 각각의 데이터를 기초로 사회적 상황의 인지력을 판별하도록 학습된 신경망 모델을 이용하여, 사용자의 사회적 상황에 대한 인지력을 판별할 수 있다.
일 예로, 판별부(140)는 콘텐츠와 관련된 질문에 대한 사용자의 답변이 정답이되, 사용자의 시선 정보로부터 판별된 사용자의 인지력 점수가 기 설정된 수치 이하인 경우, 사용자의 답변이 오답인 것으로 판별하여 사용자에 대한 인지력의 재확인을 위한 새로운 콘텐츠를 검색하여 사용자의 인지력을 재측정할 수 있다.
도 6은 본 발명의 일 실시예에 따른 인지력 분석 장치(100)가 수행하는 인지력 분석 방법의 흐름도이다. 도 6에 따른 인지력 분석 방법의 각 단계는 도 1을 통해 설명된 인지력 분석 장치(100)에 의해 수행될 수 있으며, 각 단계를 설명하면 다음과 같다.
S1010 단계에서, 콘텐츠부(110)는 사회적 상황을 판단하기 위한 단서가 되는 영역이 기 지정된 콘텐츠를 제공할 수 있다.
S1020 단계에서, 시선 획득부(120)는 사용자가 콘텐츠를 바라보는 지점의 시선 정보를 획득할 수 있다.
S1030 단계에서, 질의부(130)는 콘텐츠와 관련된 질문을 제시하여 사용자의 답변을 획득할 수 있다.
S1040 단계에서, 판별부(140)는 사용자의 시선 정보 및 답변을 기초로 사용자의 사회적 상황에 대한 인지력을 판별할 수 있다.
한편, 도 6에 도시된 단계 외에도, 상술한 콘텐츠부(110), 시선 획득부(120), 질의부(130) 및 판별부(140)가 도 1 내지 도 5와 함께 설명된 동작을 수행하는 실시예들을 다양하게 구성함에 따라, 도 6의 단계에서도 각 기능 블록이 수행하는 새로운 단계가 부가될 수 있으며, 추가적인 단계의 구성 및 각 단계의 주체인 구성 요소들이 해당 단계를 실시하기 위한 동작은 도 1 내지 도 5에서 설명하였으므로 중복된 설명은 생략한다.
상술한 실시예에 따르면, 사회적 상황인지에 필요한 단서 정보 영역에 사용자가 주목한 정도와 타이밍, 그리고 주목 시점에 보이는 표정의 변화 등을 시간 흐름에 따라 분석하는 정교한 기법을 제공할 수 있다. 예를 들어, 집단 따돌림이 발생하는 경우나 놀리기 위해 여럿이서 기만적인 상황을 연출하는 경우, 한 사람의 표정만을 보고는 전반적인 상황을 정확하게 인지할 수 없기에, 본 발명은 콘텐츠를 통해 연출되는 상황 속에서 사용자가 상황의 기만성을 파악할 수 있는 단서 정보 영역들에 대해 어떠한 반응을 나타내는지 여부에 따라 사용자의 사회적 상황 인지력을 판별할 수 있다. 이로 인해, 본 발명은 다양한 사회적 상황을 사용자가 정확하게 인지하고 대처할 수 있는 사회성 훈련 프로그램을 구현하기 위한 평가 도구의 역할을 수행할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 인지력 분석 장치
110: 콘텐츠부
120: 시선 획득부
130: 질의부
140: 판별부
110: 콘텐츠부
120: 시선 획득부
130: 질의부
140: 판별부
Claims (12)
- 사회적 상황을 판단하기 위한 단서가 되는 영역이 기 지정된 콘텐츠를 제공하는 콘텐츠부;
사용자가 상기 콘텐츠를 바라보는 지점의 시선 정보를 획득하는 시선 획득부;
상기 콘텐츠와 관련된 질문을 제시하여 상기 사용자의 답변을 획득하는 질의부; 및
상기 사용자의 시선 정보 및 답변을 기초로 상기 사용자의 사회적 상황에 대한 인지력을 판별하는 판별부를 포함하는
인지력 분석 장치.
- 제1항에 있어서,
상기 단서가 되는 영역이 기 지정된 콘텐츠는
상기 콘텐츠가 출력하는 텍스트 중 일부 텍스트를 포함하는 영역에 대한 좌표 정보, 또는 상기 콘텐츠가 출력하는 이미지 중 일부 이미지를 포함하는 영역에 대한 좌표 정보를 기초로 상기 영역이 기 지정되는
인지력 분석 장치.
- 제2항에 있어서,
상기 콘텐츠는
사회적 상황을 나타내는 이미지, 텍스트 및 음성을 포함하고,
상기 콘텐츠부는
상기 콘텐츠에 나타난 텍스트에 매칭되는 음성을 함께 출력하는
인지력 분석 장치.
- 제1항에 있어서,
상기 시선 획득부는
상기 사용자가 상기 콘텐츠 중 바라보는 지점의 좌표 정보, 바라보는 지점을 응시한 시간 정보, 시계열적으로 바라보는 지점을 이동한 순서 정보를 획득하는,
인지력 분석 장치.
- 제4항에 있어서,
상기 시선 획득부는
상기 사용자가 소정 지점을 응시한 시간이 기 설정된 시간 이상이 되는 지점을 별도로 특정하여 저장하는
인지력 분석 장치.
- 제5항에 있어서,
상기 판별부는
상기 단서가 되는 영역에 상기 응시한 시간이 상기 기 설정된 시간 이상이 되는 지점이 포함되는 지 판별하는
인지력 분석 장치.
- 제5항에 있어서,
상기 시선 획득부는
10ms 단위로 상기 사용자가 바라보는 지점의 좌표 정보를 수집하고, 소정 지점을 응시한 시간이 60ms 이상이 되는 지점을 특정하는
인지력 분석 장치.
- 제1항에 있어서,
상기 판별부는
시선의 좌표 정보, 시선 응시 시간, 기 설정된 시간 이상의 응시 발생 여부, 단서가 되는 영역에 응시가 발생하였는지 여부 각각에 대해 기 설정된 점수 기준을 기초로 상기 사용자의 시선 정보로부터 상기 콘텐츠에 대한 사회적 상황의 인지력을 판별하는,
인지력 분석 장치.
- 제8항에 있어서,
상기 판별부는
시선의 좌표 정보, 시선 응시 시간, 기 설정된 시간 이상의 응시 발생 여부, 단서가 되는 영역에 응시가 발생하였는지 여부 각각의 데이터를 기초로 콘텐츠에 대한 사회적 상황의 인지력을 판별하도록 학습된 신경망 모델을 이용하는
인지력 분석 장치.
- 제8항에 있어서,
상기 판별부는
상기 콘텐츠와 관련된 질문에 대한 사용자의 답변이 답변을 획득한 답변이 정답이되, 상기 사용자의 시선 정보로부터 판별된 사회적 상황의 인지력 점수가 기 설정된 수치 이하인 경우, 상기 답변이 오답인 것으로 판별하여 상기 사용자에 대한 인지력의 재확인을 위한 새로운 콘텐츠를 검색하여 사용자에게 제공하는
인지력 분석 장치.
- 인지력 분석 장치가 수행하는 인지력 분석 방법에 있어서,
사회적 상황을 판단하기 위한 단서가 되는 영역이 기 지정된 콘텐츠를 제공하는 단계;
사용자가 상기 콘텐츠를 바라보는 지점의 시선 정보를 획득하는 단계;
상기 콘텐츠와 관련된 질문을 제시하여 상기 사용자의 답변을 획득하는 단계; 및
상기 사용자의 시선 정보 및 답변을 기초로 상기 사용자의 사회적 상황에 대한 인지력을 판별하는 단계를 포함하는
인지력 분석 방법.
- 제11항에 기재된 방법에 따른 각각의 단계를 수행하는 컴퓨터 판독 가능 기록매체에 저장된 프로그램.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220163319A KR20240079907A (ko) | 2022-11-29 | 2022-11-29 | 시선 추적 기반 사회적 상황의 인지력 분석 장치, 방법 및 컴퓨터 프로그램 |
| PCT/KR2023/019055 WO2024117679A1 (ko) | 2022-11-29 | 2023-11-24 | 시선 추적 기반 사회적 상황의 인지력 분석 장치, 방법 및 컴퓨터 프로그램 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220163319A KR20240079907A (ko) | 2022-11-29 | 2022-11-29 | 시선 추적 기반 사회적 상황의 인지력 분석 장치, 방법 및 컴퓨터 프로그램 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240079907A true KR20240079907A (ko) | 2024-06-05 |
Family
ID=91324387
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220163319A KR20240079907A (ko) | 2022-11-29 | 2022-11-29 | 시선 추적 기반 사회적 상황의 인지력 분석 장치, 방법 및 컴퓨터 프로그램 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20240079907A (ko) |
| WO (1) | WO2024117679A1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220004639A (ko) | 2019-03-22 | 2022-01-11 | 코그노아, 인크. | 개인 맞춤식 디지털 치료 방법 및 디바이스 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5974790B2 (ja) * | 2012-09-28 | 2016-08-23 | 株式会社Ｊｖｃケンウッド | 診断支援装置および診断支援方法 |
| KR101276097B1 (ko) * | 2012-11-16 | 2013-06-18 | (주) 피디케이리미티드 | 발달장애 치료용 다중 시뮬레이터 및 시뮬레이션 방법 |
| KR102262890B1 (ko) * | 2019-11-29 | 2021-06-09 | 주식회사 비엔알아이 | 시선 추적에 기반하는 읽기 능력 진단 장치와 연동하여 읽기 능력 개선을 위한 훈련 서비스를 제공하는 읽기 능력 개선 훈련 장치 및 이를 포함하는 서비스 제공 장치 |
| JP2023507853A (ja) * | 2019-12-23 | 2023-02-27 | ジェネンテック， インコーポレイテッド | 自閉症スペクトラム障害に関連付けられた対象を処置するエクステンデッドリアリティシステム |
| US20230404451A1 (en) * | 2020-10-07 | 2023-12-21 | National University Corporation Chiba University | Sightline-position determination device, sightline-position determination method, and training method |
-
2022
- 2022-11-29 KR KR1020220163319A patent/KR20240079907A/ko unknown
-
2023
- 2023-11-24 WO PCT/KR2023/019055 patent/WO2024117679A1/ko unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220004639A (ko) | 2019-03-22 | 2022-01-11 | 코그노아, 인크. | 개인 맞춤식 디지털 치료 방법 및 디바이스 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024117679A1 (ko) | 2024-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6900516B2 (ja) | 注視点判定方法および装置、電子機器ならびにコンピュータ記憶媒体 | |
| CN112034977B (zh) | Mr智能眼镜内容交互、信息输入、应用推荐技术的方法 | |
| US10318797B2 (en) | Image processing apparatus and image processing method | |
| CN104360736B (zh) | 基于手势的终端控制方法和系统 | |
| CN109740446A (zh) | 课堂学生行为分析方法及装置 | |
| US20160103487A1 (en) | Brain computer interface (bci) system based on gathered temporal and spatial patterns of biophysical signals | |
| KR20160097786A (ko) | 사용자 단말 및 이의 제공 방법 | |
| KR101689021B1 (ko) | 센싱장비를 이용한 심리상태 판단 시스템 및 그 방법 | |
| US20180060757A1 (en) | Data annotation method and apparatus for enhanced machine learning | |
| CN110326300A (zh) | 信息处理设备、信息处理方法及程序 | |
| CN106073804B (zh) | 一种疲劳检测方法及移动终端 | |
| CN113287175A (zh) | 互动式健康状态评估方法及其系统 | |
| US20200069231A1 (en) | Eeg-based psychological test method and terminal device | |
| CN109445578A (zh) | 一种认知能力评估系统及方法 | |
| WO2022142614A1 (zh) | 危险驾驶预警方法、装置、计算机设备及存储介质 | |
| Katsimerou et al. | Predicting mood from punctual emotion annotations on videos | |
| CN109659009A (zh) | 情绪管理方法、装置及电子设备 | |
| CN104615231A (zh) | 一种输入信息的确定方法和设备 | |
| JP2020173787A (ja) | 情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム | |
| CN110991277A (zh) | 基于深度学习的多维度多任务学习评价系统 | |
| Shobana et al. | I-Quiz: An Intelligent Assessment Tool for Non-Verbal Behaviour Detection. | |
| KR20240079907A (ko) | 시선 추적 기반 사회적 상황의 인지력 분석 장치, 방법 및 컴퓨터 프로그램 | |
| CN112819609A (zh) | 风险评估方法、设备、计算机可读存储介质及程序产品 | |
| KR20240079906A (ko) | 콘텐츠의 피드백 기반 사회적 상황의 인지력 분석 장치, 방법 및 컴퓨터 프로그램 | |
| Kathpal et al. | iChat: interactive eyes for specially challenged people using OpenCV Python |