KR102187210B1 - 영상 일기를 이용한 심리 상태 분석 장치 및 방법 - Google Patents
영상 일기를 이용한 심리 상태 분석 장치 및 방법 Download PDFInfo
- Publication number
- KR102187210B1 KR102187210B1 KR1020200075990A KR20200075990A KR102187210B1 KR 102187210 B1 KR102187210 B1 KR 102187210B1 KR 1020200075990 A KR1020200075990 A KR 1020200075990A KR 20200075990 A KR20200075990 A KR 20200075990A KR 102187210 B1 KR102187210 B1 KR 102187210B1
- Authority
- KR
- South Korea
- Prior art keywords
- diary
- psychological
- video
- unit
- video diary
- Prior art date
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 157
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000006996 mental state Effects 0.000 claims description 62
- 230000002996 emotional effect Effects 0.000 claims description 20
- 238000013473 artificial intelligence Methods 0.000 claims description 14
- 230000000694 effects Effects 0.000 claims description 6
- 238000010191 image analysis Methods 0.000 claims description 6
- 238000010921 in-depth analysis Methods 0.000 claims description 2
- 230000014509 gene expression Effects 0.000 abstract description 13
- 238000012360 testing method Methods 0.000 abstract description 9
- 238000005516 engineering process Methods 0.000 abstract description 8
- 230000001939 inductive effect Effects 0.000 abstract description 3
- 230000008921 facial expression Effects 0.000 description 18
- 238000004891 communication Methods 0.000 description 16
- 238000009223 counseling Methods 0.000 description 16
- 230000008451 emotion Effects 0.000 description 16
- 239000011295 pitch Substances 0.000 description 12
- 230000008859 change Effects 0.000 description 11
- 239000000284 extract Substances 0.000 description 5
- 208000019901 Anxiety disease Diseases 0.000 description 3
- 206010048909 Boredom Diseases 0.000 description 3
- 230000036506 anxiety Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 206010002869 Anxiety symptoms Diseases 0.000 description 2
- 238000013399 early diagnosis Methods 0.000 description 2
- 230000008909 emotion recognition Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000005281 excited state Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4803—Speech analysis specially adapted for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/744—Displaying an avatar, e.g. an animated cartoon character
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/15—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being formant information
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Psychiatry (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Veterinary Medicine (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Child & Adolescent Psychology (AREA)
- Computational Linguistics (AREA)
- Hospice & Palliative Care (AREA)
- Social Psychology (AREA)
- Psychology (AREA)
- Developmental Disabilities (AREA)
- Signal Processing (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Nursing (AREA)
- Artificial Intelligence (AREA)
- Educational Technology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
본 발명은 사용자 단말기에서 수행되는 영상 일기를 이용한 심리 상태 분석 전용 앱을 이용하는 영상 일기를 이용한 심리 상태 분석 장치 및 방법에 관한 것으로, 영상일기 전용 어플리케이션의 일기 작성 모드를 통해 영상일기 작성자에 의해 작성된 영상 일기 데이터를 입력받는 데이터 입력부, 상기 데이터 입력부로 입력되는 영상 일기 데이터를 분석하여 영상 일기 작성자의 심리 상태를 분석하는 심리 상태 분석부 및 영상일기 전용 어플리케이션의 보호자 관리 모드를 통해 상기 심리 상태 분석부에서 분석되는 심리 상태 분석 결과를 제공하는 분석 결과 제공부를 포함하는 영상 일기를 이용한 심리 상태 분석 장치에 의해 본 발명에 의하면 글 독해 능력과 글작성이 부족한 어린 자녀도 일상 생활에서 느끼는 생각을 편리하게 영상과 음성으로 표현을 유도하여 심리 검사가 진행될 수 있는 서비스 기술 환경을 제공할 수 있다.
Description
본 발명은 영상 일기를 이용한 심리 상태 분석 장치 및 방법에 관한 것으로 사용자 단말기에서 수행되는 영상 일기를 이용한 심리 상태 분석 전용 앱을 이용하는 영상 일기를 이용한 심리 상태 분석 장치 및 방법에 관한 것이다.
일반적으로 지능형 서비스를 위한 인공지능에 관한 연구가 활발하게 진행되면서 사람의 감정정보를 기기가 인식하여 사람과 적절한 인터랙션 작용을 하는 기능 또한 중요해지고 있다. 인간은 상대방에게 자신의 감정을 얼굴 표정, 음성, 몸짓 등을 통한 다양한 방법으로 표현하는 이유로 영상, 음성, 생체신호등의 매체를 통해 인간의 감정정보를 인식, 판별하기 위한 여러 분야에서의 연구가 활발히 진행되고 있다.
감정 콘텐츠를 제공하는 방법은 일기의 텍스트 형태의 콘텐츠 내용을 단어별로 구분하여 각 단락에 감정 레벨을 계산하는 방법으로 이루어지는데, 이와 관련하여, 선행기술인 한국공개특허 제2009-0017149호(2009년 02월18일 공개)에는, 온라인 신문기사, 메일 또는 일기 등 텍스트 형태의 콘텐츠의 내용을 텍스트 형태로 저장하고, 저장된 내용을 단어별로 구분하여 각 단락에 감정 레벨(평가)과 관계되는 각 단어를 추출하며, 각 단어와 일치하는 단어에 대하여 저장된 단어 데이터를 찾아 각 단어에 대한 감정값을 읽어 들어 단락별로 단락의 감정 수치를 계산한 후, 다양한 형태의 아바타를 가입자에게 제공하는 구성이 개시되어 있다.
한편, 2020년 정신 건강 상담 시장은 헬스케어 240조(국내 14조), 심리 상담 60조(국내 1.5조)에 달한다. 국내 심리 상담자는 성인 약 246만 명이고, 본 제품의 수요층인 영유아, 초중고 학생 약 870만 명, 만 4~9세의 175만 명정도이다.
4차 산업혁명의 영향으로 2020년은 국내 온라인상의 심리 상담 72%, 오프라인 상담 28% 비율로 급격하게 온라인 상담의 수요층이 급상승할 것으로 추정되고 있다.
기존의 스마트폰 상담앱은 텍스트로 사연을 문장으로 작성하는데 정확히 심리 분석을 수행하는 데에는 한계가 있다. 또한 동일한 감정 단어라도 음성 높낮이와 표정 변화에 따라 그 심각 정도가 달라지기 때문에 상담사가 전화로 상담하기 전까지 상담자의 심리를 파악하는 데 어려움이 있다.
또한 초중고 학생의 사회적 문제를 해결하기 위해 고용노동부(워크넷)에서 초중고등학생 대상으로 질문지 방식(답변 체크)의 심리 검사를 실시하고 있으나, 한글 독해력과 글쓰기 표현에 미숙한 175만 명의 영유아(만 4~6세)와 초등학교 저학년 1~3학년(만 7~9세)은 질문지 방식의 심리 검사를 받는 데 한계가 있다.
온라인 심리 검사를 받더라도 짧게는 20분에서 길게는 90분 정도 소요되는데, 어린 자녀의 집중할 수 있는 시간은 만 4세(12분), 만 5세(14분), 만 6~9세(15~20분) 별로 짧기 때문에 중도 포기하는 경우가 많다.
뿐만 아니라 어린 자녀가 오프라인 상담센터 방문 시에도 낯선 분위기와 낯가림으로 상담사에게 솔직한 생각을 숨기는 경우가 발생하고 있어 효율적인 상담이 이루어지기 힘들고, 심리 상담사의 경우에도 단발성 상담으로는 어린 자녀의 심리 상태를 정확히 파악하는 데 한계가 있고, 그림 심리 테스트를 통하여 대화 방식으로 분석하더라도 상황별 심리 불안함 정도만 파악할 수 있다는 한계가 있다.
본 발명은 이 같은 기술적 배경에서 도출된 것으로, 글 독해 능력과 글작성이 부족한 어린 자녀도 일상 생활에서 느끼는 생각을 편리하게 영상과 음성으로 표현을 유도하여 심리 검사가 진행될 수 있는 서비스 기술 환경을 제공함으로써, 영상으로 일기를 등록만 해도 표정, 음성, 단어를 조합하여 신뢰도 높은 다각적 심리 분석이 가능하기에 영유아 시기부터 심리 검사와 조기 진단을 통해 사회적 불안감을 보이고 있는 자녀의 심리를 안정시킬 수 있는 영상 일기를 이용한 심리 상태 분석 장치 및 방법을 제공함에 그 목적이 있다.
또한 본 발명은 오프라인 심리 상담센터에 방문하지 않고도 가정 내에서 자녀가 최소한의 감정 표현으로도 다각적인 심리 분석이 가능한 서비스를 제공하기 위한 영상 일기를 이용한 심리 상태 분석 장치 및 방법을 제공하고자 한다.
뿐만 아니라 본 발명에 따르면 영상일기 캐릭터 친구에게 하루 동안 느꼈던 생각을 대화하듯 영상으로 일기를 녹화하고, 일기 내용에 답변(심리 상담)을 직접 선택한 캐릭터를 통하여 진행함으로써 어린 사용자들이 영상 일기를 작성함에 있어 흥미를 느낄 수 있고 캐릭터와 소통을 통해 보다 풍부한 감정 노출을 유도할 수 있는 영상 일기를 이용한 심리상태 분석 장치 및 방법을 제공함에 그 목적이 있다.
상기의 과제를 달성하기 위한 본 발명은 다음과 같은 구성을 포함한다.
즉 본 발명의 일 실시예에 따른 영상 일기를 이용한 심리 상태 분석 장치는 영상일기 전용 어플리케이션의 일기 작성 모드를 통해 영상일기 작성자에 의해 작성된 영상 일기 데이터를 입력받는 데이터 입력부, 상기 데이터 입력부로 입력되는 영상 일기 데이터를 분석하여 영상 일기 작성자의 심리 상태를 분석하는 심리 상태 분석부 및 영상일기 전용 어플리케이션의 보호자 관리 모드를 통해 상기 심리 상태 분석부에서 분석되는 심리 상태 분석 결과를 제공하는 분석 결과 제공부를 포함한다.
한편, 데이터 입력부, 심리 상태 분석부 및 분석 결과 제공부를 포함하는 심리 상태 분석 장치에서 수행되는 심리 상태 분석 방법은, 데이터 입력부가 영상일기 전용 어플리케이션의 일기 작성 모드를 통해 영상일기 작성자에 의해 작성된 영상 일기 데이터를 입력받는 단계, 심리 상태 분석부가 상기 데이터 입력부로 입력되는 영상 일기 데이터를 분석하여 영상 일기 작성자의 심리 상태를 분석하는 단계 및 분석 결과 제공부가 영상일기 전용 어플리케이션의 보호자 관리 모드를 통해 상기 심리 상태 분석부에서 분석되는 심리 상태 분석 결과를 제공하는 단계를 포함한다.
본 발명에 의하면 글 독해 능력과 글작성이 부족한 어린 자녀도 일상 생활에서 느끼는 생각을 편리하게 영상과 음성으로 표현을 유도하여 심리 검사가 진행될 수 있는 서비스 기술 환경을 제공함으로써, 영상으로 일기를 등록만 해도 표정, 음성, 단어를 조합하여 신뢰도 높은 다각적 심리 분석이 가능하기에 영유아 시기부터 심리 검사와 조기 진단을 통해 사회적 불안감을 보이고 있는 자녀의 심리를 안정시킬 수 있는 영상 일기를 이용한 심리 상태 분석 장치 및 방법을 제공할 수 있다는 효과가 도출된다.
또한 본 발명은 오프라인 심리 상담센터에 방문하지 않고도 가정 내에서 자녀가 최소한의 감정 표현으로도 다각적인 심리 분석이 가능한 서비스를 제공하기 위한 영상 일기를 이용한 심리 상태 분석 장치 및 방법을 제공할 수 있다.
뿐만 아니라 본 발명에 따르면 영상일기 캐릭터 친구에게 하루 동안 느꼈던 생각을 대화하듯 영상으로 일기를 녹화하고, 일기 내용에 답변(심리 상담)을 직접 선택한 캐릭터를 통하여 진행함으로써 어린 사용자들이 영상 일기를 작성함에 있어 흥미를 느낄 수 있고 캐릭터와 소통을 통해 보다 풍부한 감정 노출을 유도할 수 있는 영상 일기를 이용한 심리상태 분석 장치 및 방법을 제공할 수 있다.
도 1 은 본 발명의 일 실시예에 따른 영상 일기를 이용한 심리 상태 분석 장치의 구성을 도시한 블록도,
도 2 는 본 발명의 일 실시예에 따른 심리 상태 분석부에서 심리 분석 알고리즘을 설명하기 위한 예시도,
도 3 은 본 발명의 일 실시예에 따른 심리 상태 분석부에서 표정, 음성, 단어 분석 결과를 조합한 산출물을 도출해내는 과정을 설명하기 위한 예시도,
도 4a 내지 도 4e는 본 발명의 일 실시예에 따른 영상 일기 전용 어플리케이션의 보호자 관리 모드에서 제공되는 화면의 예시도,
도 5a 및 도 5b 는 본 발명의 일 실시예에 따른 영상 일기 전용 어플리케이션의 일기 작성 모드에서 제공되는 화면의 예시도,
도 6a 및 도 6d는 영상 일기 전용 어플리케이션의 상담가 모드에서 제공되는 화면의 예시도,
도 7은 본 발명의 일 실시예에 따른 영상 일기를 이용한 심리 상태 분석 방법을 도시한 흐름도이다.
도 2 는 본 발명의 일 실시예에 따른 심리 상태 분석부에서 심리 분석 알고리즘을 설명하기 위한 예시도,
도 3 은 본 발명의 일 실시예에 따른 심리 상태 분석부에서 표정, 음성, 단어 분석 결과를 조합한 산출물을 도출해내는 과정을 설명하기 위한 예시도,
도 4a 내지 도 4e는 본 발명의 일 실시예에 따른 영상 일기 전용 어플리케이션의 보호자 관리 모드에서 제공되는 화면의 예시도,
도 5a 및 도 5b 는 본 발명의 일 실시예에 따른 영상 일기 전용 어플리케이션의 일기 작성 모드에서 제공되는 화면의 예시도,
도 6a 및 도 6d는 영상 일기 전용 어플리케이션의 상담가 모드에서 제공되는 화면의 예시도,
도 7은 본 발명의 일 실시예에 따른 영상 일기를 이용한 심리 상태 분석 방법을 도시한 흐름도이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명한다.
도 1 은 본 발명의 일 실시예에 따른 영상 일기를 이용한 심리 상태 분석 장치의 구성을 도시한 블록도이다.
일 실시예에 따른 심리 상태 분석 장치(10)는 사용자 단말기(20) 및 심리 상담가 단말기(30)와 통신을 수행한다.
사용자 단말기(20) 및 심리 상담가 단말기(30)는 스마트 폰(Smart Phone), 휴대단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 폴더블 단말기(Foldable Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 텔레매틱스(Telematics)단말기, 내비게이션(Navigation) 단말기, 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 슬레이트 PC(Slate PC), 태블릿 PC(Tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display) 등 포함), 와이브로 (Wibro) 단말기, IPTV(Internet Protocol Television) 단말기, 스마트 TV, 디지털방송용 단말기, AVN(Audio Video Navigation) 단말기, A/V(Audio/Video) 시스템, 플렉시블 단말기(Flexible Terminal), 디지털 사이니지 장치 등과 같은 다양한 단말기로 적용될 수 있다. 그러나 이에 한정되는 것은 아니다.
사용자 단말기(20)와 심리 상담가 단말기(30)는 일 실시예에 따른 영상 일기를 이용한 심리 상태 분석 전용 앱이 탑재되어 구동된다. 일 실시예에 따른 사용자 단말기(20) 및 심리 상담가 단말기(30)는 기술적으로 동일한 구성이나 영상 일기 작성자 및 그 보호자가 소지하는 경우에 사용자 단말기(20), 심리 상담가가 소지하는 경우에 심리 상담가 단말기(30)로 구분하여 설명한다.
본 발명의 일 실시예에 따른 영상 일기를 이용한 심리 상태 분석 장치(10)는 ‘영상 데이터 기반 AI 서비스’의 일환으로 질문지(설문) 방식으로 학생 심리 상담 대상에서 제외된 ‘한글 독해 능력과 글쓰기 표현 능력이 미숙한 만 4~9세를 위한’ 영상일기 앱(App) 서비스를 제공한다.
그리고 영상으로 일기를 작성 시 영상일기 작성자(자녀)의 표정과 음성에서 추출한 단어 중심으로 심리 상태, 감정 상태, 관심사, 말 빠르기를 인공지능으로 분석하고 부모에게 실시간으로 제공하여 심리 불안 증세를 조기에 발견하는 것이 가능하도록 한다.
즉, 글쓰기 능력이 없는 어린 자녀의 경우에도 영상 녹화만으로도 얼굴 표정과 음성에서 추출한 단어 중심으로 심리 상태, 감정 상태, 관심사, 말 빠르기를 인공지능으로 심리 분석을 수행한다.
나아가 일 실시예에 따른 심리 상태 분석 장치(10)는 어린 자녀의 어눌한 발음 경우에도 인공지능 학습을 통한 분석 가능한 단어로 변경하여 심리 분석을 수행할 수 있다. 예를 들어 Google Cloud API와 연동하여 동작할 수 있고, 영상 일기의 영상 데이터에서 표정 이미지를 추출하는 경우 동영상, 얼굴 인식, 표정 변화 추출을 수행할 수 있다.
또한 일 실시예에 따른 심리 상태 분석 장치(10)는 연령대별 또는 개인 자녀에게 수집되는 사용하는 단어 및 표정 데이터를 활용하여 인공지능 챗봇 서비스로 개발함에 활용할 수도 있다. 즉, 영상 일기를 작성하는 영상 일기 작성자(자녀)의 평소 사용하는 단어를 심리 상담 대화에 사용함으로써 사고력 눈높이에 맞춰 자녀 상담 대화가 가능하고, 나아가 인성 교육 서비스에 적용하는 것도 가능하다.
도 1 에서와 같이 일 실시예에 따른 심리 상태 분석 장치(10)는 통신부(110), 데이터 입력부(120), 심리 상태 분석부(130), 분석 결과 제공부(140), 정보 제공부(150), 캐릭터 선택부(160), 피드백 제공부(170) 및 저장부(180)를 포함한다.
통신부(110)는 유/무선 통신망을 통해 내부의 임의의 구성 요소 또는 외부의 임의의 적어도 하나의 단말와 통신 연결한다. 이때, 상기 외부의 임의의 단말기는 사용자 단말기(20) 및 심리 상담가 단말기(30)를 포함할 수 있다.
여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등이 있으며, 상기 통신부(110)는 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다. 또한, 근거리 통신 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신 기술로는 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.
일 실시예에 따른 통신부(110)는 사용자 단말기(20) 및 심리 상담가 단말기(30)와 통신을 수행한다.
데이터 입력부(120)는 영상일기 전용 어플리케이션의 일기 작성 모드를 통해 영상일기 작성자에 의해 작성된 영상 일기 데이터를 입력받는다. 일 실시예에 있어서 영상 일기 데이터는 사용자 단말기(20)의 카메라를 통해 촬영된 영상 데이터일 수 있다.
심리 상태 분석부(130)는 데이터 입력부(120)로 입력되는 영상 일기 데이터를 분석하여 영상 일기 작성자의 심리 상태를 분석한다.
일 실시예에 있어서, 심리 상태 분석부(130)는 영상 일기 작성자(자녀)가 말하는 영상(Mp4) 포맷의 영상 일기 데이터의 재생구간을 중심으로 얼굴 표정(PNG), 음성(Mp3)과 텍스트 형태소를 추출하여 각각 음정 감정 지수, 단어별 감정 속성값을 우선 순위로 비율(표정, 단어, 음성 순)을 적용하여 결과값을 산출한다. 그리고 산출된 결과값을 이용하여 심리 상태를 분석할 수 있다. 즉 영상 일기의 영상을 표정, 음성으로 분류하고 음성에서 파생되는 음정과 단어를 추출하여 인공지능 학습을 통한 심리 분석 결과를 산출해낸다.
일 양상에 있어서 심리 상태 분석부(130)는, 데이터 입력부(120)로 입력되는 영상 일기 데이터에 포함된 영상 데이터를 분석하는 영상 분석부(132) 및 데이터 입력부(120)로 입력되는 영상 일기 데이터에 포함된 음성 데이터를 분석하는 음성 분석부(134)를 포함한다.
영상 분석부(132)는 영상 일기 데이터에 포함되는 영상에서 영상 일기 작성자의 표정을 파악한다.
일 실시예에 있어서 영상 분석부(132)는 영상 일기 작성자의 심리 상태를 기쁨, 놀람, 슬픔, 분노, 흥미, 지루함, 공포, 아픔, 중립으로 구분할 수 있고, 감정 상태를 흥분, 긍정, 부정, 안정 상태 중 하나로 구분할 수 있다.
일 실시예에 있어서 영상 분석부(132)는 제시된 자극에 대응하여 반응하는 객체의 객체정보를 입력받아 상기 객체의 얼굴을 인식하는 얼굴인식수단, 인식된 상기 객체의 얼굴을 이용하여 상기 객체의 얼굴요소를 추출하는 얼굴요소추출수단, 및 추출된 상기 객체의 얼굴요소를 바탕으로 상기 자극에 상응하여 변하는 상기 객체의 얼굴표정 변화를 인식함으로써 객체가 표현하는 감정을 인식하는 감정인식수단을 포함한다.
또한 일 실시예에 있어서, 얼굴 인식 수단은 객체정보로부터 대상체의 얼굴을 인식하기 위해 아다부스트 학습 알고리즘을 이용한다. 아다부스트 학습 알고리즘은 하르-라이크 특징점을 이용하여 추출된 객체의 특징점을 분류한다.
그리고 얼굴요소추출수단은 얼굴인식수단에서 인식된 대상체의 얼굴을 이용하여 대상체의 얼굴요소를 추출한다. 추출되는 얼굴요소는 양쪽 눈, 양쪽 눈썹, 미간, 또는 입이다. 영상 분석부(132)는 데이터 입력부(120)로 입력되는 영상 일기 작성자가 포함된 영상 일기 데이터로부터 얼굴 영역을 인식하고, 인식된 얼굴에 의해 얼굴요소를 추출한다.
이때 대상체의 얼굴요소를 추출하기 위하여 아다부스트 학습 알고리즘을 이용할 수도 있다.
감정인식수단은 얼굴요소 추출수단에서 추출된 대상체의 얼굴요소(양쪽 눈, 양쪽 눈썹, 입)를 바탕으로 얼굴표정 변화를 인식함으로써 대상체가 표현하는 감정은 인식한다. 대상체의 얼굴표정 변화는 눈의 크기변화, 눈과 눈썹 간의 간격변화, 미간의 형상변화, 입의 크기변화 및 입의 형상변화로서 이러한 얼굴표정 변화를 감지하여 대상체가 느끼는 9가지 감정(기쁨, 놀람, 슬픔, 분노, 흥미, 지루함, 공포, 아픔, 중립)을 인식할 수 있다. 그러나 이에 한정되는 것은 아니다.
음성 분석부(134)는, 음성 데이터의 음정을 분석하는 음정 분석부(1342), 및 음성 데이터의 형태소를 분석하여 단어 빈도수를 파악하고, 시간당 글자 수를 분석하는 단어 분석부(1344)를 포함한다.
음정 분석부(1342)는 음정 높낮이, 데시벨을 분석하여 기쁨, 두려움, 놀람, 슬픔, 싫음, 화남과 같은 심리상태, 그리고 흥분, 긍정, 부정, 안정과 같은 감정 상태를 파악할 수 있다.
도 2 는 본 발명의 일 실시예에 따른 심리 상태 분석부에서 심리 분석 알고리즘을 설명하기 위한 예시도이다.
도 2 에서와 같이 심리 상태 분석부(130)는 자녀의 영상(Mp4) 중 단어를 말하는 재생 구간마다 표정 이미지(PNG), 음성(MP3), 단어(TEXT), 음정, 재생 시간 추출하고 추출된 음성(Mp3)에서 다시 텍스트 형태소를 추출(STT-Speech to Text) 하고, 이를 단어별 빈도수, 글자수로 재분류 할 수 있다.
그리고 인공지능 모듈을 통해 영상 일기 데이터의 표정 이미지, 음성 중 음정에 기반하여 영상 일기 작성자의 심리상태 및 감정 상태를 파악한다. 그리고 영상 일기 데이터의 음성 분석을 통해 단어 형태소, 빈도 수, 글자 수에 기반하여 영상 일기 작성자의 관심사나 말 빠르기를 파악할 수 있다.
도 3 은 본 발명의 일 실시예에 따른 심리 상태 분석부에서 표정, 음성, 단어 분석 결과를 조합한 산출물을 도출해내는 과정을 설명하기 위한 예시도이다.
일 실시예에 따른 심리 상태 분석부(130)의 인공지능 모듈의 예로써, 도 3과 같이 영상 일기 내용의 심리 변화를 수치로 계산하는 방식으로 “좋았어”라는 단어에 긍정적인 웃는 표정과 음정, 말 빠르기 등 심리 분석 값이 존재하도록 설정한다. 그리고 만일 특정 기간에 동일한 단어 “좋았어”사용 시 표정, 음정, 말 빠르기가 평소와 다른 부정적인 분석 값이 나올 경우 불안 증세 시점으로 진단하도록 구현될 수 있다.
본 발명의 일 양상에 있어서, 분석 결과 제공부(140)는 심리 상태 분석부(130)에서 분석되는 심리 상태 분석 결과에 따라 영상일기 작성자의 심리상태, 영상 일기 작성자의 감정상태, 영상일기 작성자의 관심사, 영상일기 작성자의 말 빠르기 중 적어도 하나를 분석 결과로 제공하는 것을 특징으로 한다.
분석 결과 제공부(140)는 영상일기 전용 어플리케이션의 보호자 관리 모드를 통해 심리 상태 분석부(130)에서 분석되는 심리 상태 분석 결과를 제공한다.
분석 결과 제공부(140)는 도 3 에서와 같이 부정, 긍정, 안정 등으로 심리 상태를 구분하여 분석 결과를 제공해줄 수 있다.
도 4a내지 도 4e는 본 발명의 일 실시예에 따른 영상 일기 전용 어플리케이션의 보호자 관리 모드에서 제공되는 화면의 예시도이다.
일 실시예에 있어서, 영상 일기 전용 어플리케이션의 보호자 관리 모드는 도 4a와 같이 보호자의 자녀들의 영상 일기 데이터를 목록화하여 썸네일 형태로 화면 제공할 수 있다. 자녀의 이름을 포함할 수 있고, 도 4a와 같이 목록화된 화면에서 써머리 화면을 클릭하면 영상 일기 데이터가 재생될 수 있다.
그리고 각 목록에 일기 등록일, 재생시간, STT로 추출한 글자수, 자녀가 영상 일기 작성시에 선택한 캐릭터 정보 및 칭찬 스티커(피드백)열람 여부를 표시할 수 있다.
또한 도 4b에서와 같이 영상 일기 데이터의 음성을 인식하여 텍스트 형식으로 제공해줄 수도 있다.
분석 결과 제공부(140)는 도 4c와 같이 영상 일기 데이터의 분석 결과에 따라 감정 상태를 2 분류로 구분하여 감정, 긍정/부정 항목으로 구분하여 제공해줄 수 있다. 기쁨, 두려움, 놀람, 슬픔, 싫음, 화남 감정 중 어느 감정의 비중이 높은지를 파악할 수 있고, 긍정요소가 많은지 부정 요소가 많은지, 흥분 상태인지 안정된 상태인지 여부를 한눈에 확인할 수 있도록 분석결과를 그래프화하여 제공해줄 수 있다.
또한 도 4d와 같이 영상 일기 작성자의 관심사를 파악하여 제공해주는 것도 가능하다. 영상 일기 데이터에 포함된 단어 빈도수에 따라서 관심도 정도를 차등 표시하여 제공해주거나, 단어 노출 순위대로 정렬하여 제공해줄 수 있다. 이에 따라 보호자가 자녀의 관심사를 정확히 판단함으로써 양육에 도움이 될 수 있다.
도 4e와 같이 영상 일기 작성자의 말 빠르기 속도를 더 제공해줄 수 있다. 일 실시예에 있어서 말의 속도는 글자수/재생 시간(s)으로 소수점 1자리까지 산출될 수 있다.
일 실시예에 있어서 영상 일기 전용 어플리케이션은 영상 일기 데이터가 재생될 경우에 재생 구간, 재생 시간 및 재생 속도를 임의로 조절할 수 있다.
정보 제공부(150)는 분석 결과 제공부(140)에서 제공되는 분석 결과에 대해 심리 상담가 단말기(30)로부터 코멘트를 입력받아 제공해준다.
분석 결과 제공부(140)가 인공지능에 의한 심리 상태 분석 결과를 제공하는 기술적 구성인 반면에, 정보 제공부(150)는 데이터 입력부(120)로 입력된 영상 일기 데이터에 기반하여 적어도 하나 이상의 심리 상담가 단말기(30)로부터 다수의 심리 상담가의 심리 분석 코멘트를 제공해주는 기술적 구성이다. 이에 대해 일일이 다수의 심리 상담가를 대면 상담 하지 않더라도 다양한 심리 상담가의 의견들을 취합하여 심리 상태를 정확히 파악하는 것이 가능하다.
본 발명의 추가적인 양상에 따라 캐릭터 선택부(160)는 영상일기 전용 어플리케이션의 일기 작성 모드를 통해 적어도 하나 이상의 캐릭터를 제공하고, 제공된 캐릭터들 중 하나를 선택받는다.
피드백 제공부(170)는 심리 상태 분석부(130)에서 분석되는 심리 상태 분석 결과에 따라 영상일기 전용 어플리케이션의 일기 작성 모드에서 캐릭터 선택부(160)에서 선택된 캐릭터와 대화 방식으로 영상일기 작성자의 심리 상태에 대한 피드백을 제공한다. 즉 선택된 캐릭터 이미지와 음성을 이용하여 심리 상담가를 대신하여 애니메이션 효과가 적용된 대화 방식으로 피드백을 제공해줄 수 있다. 예를 들면 심리 상태에 따라 영상일기 작성자(자녀)가 스스로 치유가능한 일기 주제를 제시해주거나, 일기 내용에 따라 위로, 칭찬, 희망등의 칭찬 스티커를 발송할 수 있다.
도 5a 및 도 5b 는 본 발명의 일 실시예에 따른 영상 일기 전용 어플리케이션의 일기 작성 모드에서 제공되는 화면의 예시도이다.
일 실시예에 있어서 캐릭터 선택부(160)는 도 5a와 같이 일기 작성 모드에서 적어도 하나 이상의 캐릭터를 제공하고, 영상 일기 작성자로부터 캐릭터 중 하나를 선택받을 수 있다.
영상 일기를 작성함에 있어 친숙한 캐릭터를 도입하여 대화형식으로 영상 일기를 작성하도록 함으로써 낮은 연령대의 영상 일기 작성자의 흥미를 유발할 수 있고 보다 다양한 내용으로 영상 일기를 작성하도록 유도할 수 있다.
그리고 도 5b와 같이 영상 일기 작성자가 선택한 캐릭터와 대화 형식으로 영상 일기를 추가 작성하도록 유도하거나, 영상 일기 분석 결과에 따른 심리 상담을 진행할 수 있다. 이에 따라 세밀한 심리 상태의 파악 및 심리 상태에 따른 대처가 가능하다.
일 실시예에 있어서, 피드백 제공부(170)는 영상 일기 전용 어플리케이션의 심리 상담가 모드에서 분석 결과 제공부에서 제공되는 심리 상태 분석 결과에 따라 심리 상담가로부터 심리 상태 분석 결과에 따른 피드백을 입력받는다.
피드백 제공부(170)는 심리 상담가로부터의 심리 상태 분석 결과 또는 심층 분석을 위한 추가 질문 사항을 도 5b와 같이 캐릭터와 대화하는 형식으로 화면 출력할 수 있다.
도 6a 내지 도 6d는 영상 일기 전용 어플리케이션의 상담가 모드에서 제공되는 화면의 예시도이다.
심리 상담가는 원격지에서도 상담이 필요한 경우에 영상 일기 데이터를 확인하고 영상 일기 전용 어플리케이션의 상담가 모드에서 코멘트를 입력할 수 있다. 이때 심리 상담가는 도 6a와 같이 다수의 영상일기 작성자(학생)에 대한 심리 분석을 통한 피드백을 제공하고, 관리할 수 있다. 일 실시예에 따른 영상 일기 전용 어플리케이션은 상담가 모드에서 관리중인 학생들을 연령별로 구분하여 표시하거나, 최근 가입순, 일기장 등록일자 순, 연령대(개월)순, 이름 순 과같은 다양한 기준들로 학생 목록을 소팅하여 제공해줄 수 있다.
일 실시예에 따른 영상 일기 전용 어플리케이션은 상담가 모드에서 도 6b와 같이 관리중인 학생들 마다 날짜별 영상 일기를 목록화하여 제공하고 심리 상담가가 피드백이 필요한 영상 일기를 확인 후 그에 대한 피드백을 입력할 수 있는 사용자 인터페이스를 제공한다.
또한 도 6c 및 도 6d에서와 같이 담당 심리 상담가는 관리하는 영상일기 작성자의 감정상태에 대한 인공지능 분석 결과를 확인하고 거기에 추가로 평가 의견을 작성할 수도 있다. 즉 일 실시예에 따르면, 영상 일기에 대한 인공지능 심리 분석 결과에 심리 상담가의 평가 결과를 반영하여 최종 분석결과를 영상 일기 작성자의 보호자에게 제공해는 것이 가능하다. 이에 따라 심리 분석에 대한 정확도를 향상시킬 수 있고 보호자는 일일이 상담 센터를 오프라인상으로 방문하지 않더라도 많은 전문가들의 의견을 취합하여 판단할 수 있는 효과가 도출된다.
저장부(180)는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티 미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다. 일 실시예에 있어서 저장부(180)는 영상 일기를 이용한 심리 상태 분석 전용 앱이 구동되고, 업데이트되기에 필요한 데이터들을 저장한다. 또한, 영상 일기를 이용한 심리 상태 분석 전용 앱을 통해 회원 가입된 사용자 정보 및 심리 상담가 정보를 저장한다. 그러나 이에 한정되는 것은 아니다.
도 7은 본 발명의 일 실시예에 따른 영상 일기를 이용한 심리 상태 분석 방법을 도시한 흐름도이다.
일 실시예에 따른 데이터 입력부, 심리 상태 분석부 및 분석 결과 제공부를 포함하는 심리 상태 분석 장치에서 수행되는 심리 상태 분석 방법은 먼저, 데이터 입력부가 영상 일기 전용 어플리케이션의 일기 작성 모드를 통해 영상일기 작성자에 의해 작성된 영상 일기 데이터를 입력받는다(S710). 일 실시예에 있어서 영상 일기 데이터는 사용자 단말기(20)의 카메라를 통해 촬영된 영상 데이터일 수 있다.
본 발명의 일 양상에 있어서 영상 일기 데이터를 입력받기 이전에 캐릭터 선택부가 영상일기 전용 어플리케이션의 일기 작성 모드를 통해 적어도 하나 이상의 캐릭터를 제공하고, 제공된 캐릭터들 중 하나를 선택받는다(S700).
그리고 심리 상태 분석부가 데이터 입력부로 입력되는 영상 일기 데이터를 분석하여 영상 일기 작성자의 심리 상태를 분석한다(S720).
일 실시예에 있어서, 심리 상태를 분석하는 것은 영상 일기 작성자(자녀)가 말하는 영상(Mp4) 포맷의 영상 일기 데이터의 재생구간을 중심으로 얼굴 표정(PNG), 음성(Mp3)과 텍스트 형태소를 추출하여 각각 음정 감정 지수, 단어별 감정 속성값을 우선 순위로 비율(표정, 단어, 음성 순)을 적용하여 결과값 산출한다. 그리고 산출된 결과값을 이용하여 심리 상태를 분석할 수 있다. 즉 영상 일기의 영상을 표정, 음성으로 분류하고 음성에서 파생되는 음정과 단어를 추출하여 인공지능 학습을 통한 심리 분석 결과를 산출해낸다.
심리 상태 분석부는 영상 일기 작성자의 심리 상태를 기쁨, 놀람, 슬픔, 분노, 흥미, 지루함, 공포, 아픔, 중립으로 구분할 수 있고, 감정 상태를 흥분, 긍정, 부정, 안정 상태 중 하나로 구분할 수 있다.
그리고 피드백 제공부는 심리 상태 분석부에서 분석되는 심리 상태 분석 결과에 따라 영상일기 전용 어플리케이션의 일기 작성 모드에서 상기 캐릭터 선택부에서 선택된 캐릭터와 대화 방식으로 상기 영상일기 작성자의 심리 상태에 대한 피드백을 제공한다(S730).
즉 선택된 캐릭터 이미지와 음성을 이용하여 심리 상담가를 대신하여 애니메이션 효과가 적용된 대화 방식으로 피드백을 제공해줄 수 있다. 예를 들면 심리 상태에 따라 영상일기 작성자(자녀)가 스스로 치유 가능한 일기 주제를 제시해주거나, 일기 내용에 따라 위로, 칭찬, 희망등의 칭찬 스티커를 발송할 수 있다.
영상 일기를 작성함에 있어 친숙한 캐릭터를 도입하여 대화형식으로 영상 일기를 작성하도록 함으로써 낮은 연령대의 영상 일기 작성자의 흥미를 유발할 수 있고 보다 다양한 내용으로 영상 일기를 작성하도록 유도할 수 있다.
본 발명의 추가적인 양상에 있어서, 영상일기 전용 어플리케이션의 심리 상담가 모드에서 분석 결과 제공부에서 제공되는 심리 상태 분석 결과에 따라 심리 상담가로부터 심리 상태 분석 결과에 따른 피드백을 입력받는다. 이에 따라 일일이 다수의 심리 상담가를 대면 상담 하지 않더라도 다양한 심리 상담가의 의견들을 취합하여 심리 상태를 정확히 파악하는 것이 가능하다.
이후에 분석 결과 제공부가 영상일기 전용 어플리케이션의 보호자 관리 모드를 통해 상기 심리 상태 분석부에서 분석되는 심리 상태 분석 결과를 제공한다(S740).
심리 상태 분석 결과는 심리 상태 분석 결과에 따라 영상일기 작성자의 심리상태, 영상 일기 작성자의 감정상태, 영상일기 작성자의 관심사, 영상일기 작성자의 말 빠르기 중 적어도 하나를 분석 결과로 제공한다.
전술한 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10 : 심리 상태 분석 장치 20 : 사용자 단말기
30 : 심리 상담가 단말기 110 : 통신부
120 : 데이터 입력부 130 : 심리 상태 분석부
140 : 분석 결과 제공부 150 : 정보 제공부
160 : 캐릭터 선택부 170 : 피드백 제공부
180 : 저장부
30 : 심리 상담가 단말기 110 : 통신부
120 : 데이터 입력부 130 : 심리 상태 분석부
140 : 분석 결과 제공부 150 : 정보 제공부
160 : 캐릭터 선택부 170 : 피드백 제공부
180 : 저장부
Claims (9)
- 영상일기 전용 어플리케이션의 일기 작성 모드를 통해 영상일기 작성자에 의해 작성된 영상 일기 데이터를 입력받는 데이터 입력부;
상기 데이터 입력부로 입력되는 영상 일기 데이터를 분석하여 영상 일기 작성자의 심리 상태를 분석하는 심리 상태 분석부; 및
영상일기 전용 어플리케이션의 보호자 관리 모드를 통해 상기 심리 상태 분석부에서 분석되는 심리 상태 분석 결과를 제공하는 분석 결과 제공부;를 포함하고,
영상일기 전용 어플리케이션의 일기 작성 모드를 통해 적어도 하나 이상의 캐릭터를 제공하고, 제공된 캐릭터들 중 하나를 선택받는 캐릭터 선택부; 및,
상기 심리 상태 분석부에서 분석되는 심리 상태 분석 결과에 따라 영상일기 전용 어플리케이션의 일기 작성 모드에서 상기 캐릭터 선택부에서 선택된 캐릭터와 대화 방식으로 영상일기 작성자의 심리 상태에 대한 피드백을 제공하는 피드백 제공부;를 더 포함하며,
상기 피드백 제공부는,
심리 상담가 단말기로부터 입력받은 심리 상담가의 심리 분석 코멘트에 기반하여, 선택된 캐릭터의 애니메이션 효과가 적용된 이미지와 음성을 이용하여 심리 상담가로부터의 심리 상태 분석 결과 또는 심층 분석을 위한 추가 질문 사항을 캐릭터와 대화하는 방식으로 영상일기 작성자의 심리 상태에 대한 피드백을 제공하고,
상기 영상 일기 전용 어플리케이션은 상담가 모드에서 심리 상담가 단말을 소지하는 심리 상담가가 관리중인 영상일기 작성자들을 표시하고, 영상일기 작성자의 감정상태에 대한 인공지능 분석 결과를 확인하여 그에 대한 피드백을 입력할 수 있는 사용자 인터페이스를 제공하며,
상기 분석결과 제공부는,
심리 상태 분석 결과를 부모에게 실시간으로 제공하는, 영상 일기를 이용한 심리 상태 분석 장치.
- 제 1 항에 있어서,
상기 심리 상태 분석부는,
상기 데이터 입력부로 입력되는 영상 일기 데이터에 포함된 영상 데이터를 분석하는 영상 분석부, 및
상기 데이터 입력부로 입력되는 영상 일기 데이터에 포함된 음성 데이터를 분석하는 음성 분석부를 포함하는,
영상 일기를 이용한 심리 상태 분석 장치.
- 제 2 항에 있어서,
상기 음성 분석부는,
상기 음성 데이터의 음정을 분석하는 음정 분석부, 및
상기 음성 데이터의 형태소를 분석하여 단어 빈도수를 파악하고, 시간당 글자 수를 분석하는 단어 분석부를 포함하는,
영상 일기를 이용한 심리 상태 분석 장치.
- 제 1 항에 있어서,
상기 분석 결과 제공부는,
상기 심리 상태 분석부에서 분석되는 심리 상태 분석 결과에 따라 영상일기 작성자의 심리상태, 영상일기 작성자의 감정상태, 영상일기 작성자의 관심사, 영상일기 작성자의 말 빠르기 중 적어도 하나를 분석 결과로 제공하는,
영상 일기를 이용한 심리 상태 분석 장치.
- 삭제
- 제 1 항에 있어서,
상기 피드백 제공부는,
영상일기 전용 어플리케이션의 심리 상담가 모드에서 분석 결과 제공부에서 제공되는 심리 상태 분석 결과에 따라 심리 상담가로부터 심리 상태 분석 결과에 따른 피드백을 입력받는,
영상 일기를 이용한 심리 상태 분석 장치.
- 데이터 입력부, 심리 상태 분석부 및 분석 결과 제공부를 포함하는 심리 상태 분석 장치에서 수행되는 심리 상태 분석 방법에 있어서,
데이터 입력부가 영상일기 전용 어플리케이션의 일기 작성 모드를 통해 영상일기 작성자에 의해 작성된 영상 일기 데이터를 입력받는 단계;
심리 상태 분석부가 상기 데이터 입력부로 입력되는 영상 일기 데이터를 분석하여 영상 일기 작성자의 심리 상태를 분석하는 단계; 및
분석 결과 제공부가 영상일기 전용 어플리케이션의 보호자 관리 모드를 통해 상기 심리 상태 분석부에서 분석되는 심리 상태 분석 결과를 제공하는 단계;를 포함하고,
캐릭터 선택부가 영상일기 전용 어플리케이션의 일기 작성 모드를 통해 적어도 하나 이상의 캐릭터를 제공하고, 제공된 캐릭터들 중 하나를 선택받는 단계; 및,
피드백 제공부가 상기 심리 상태 분석부에서 분석되는 심리 상태 분석 결과에 따라 영상일기 전용 어플리케이션의 일기 작성 모드에서 상기 캐릭터 선택부에서 선택된 캐릭터와 대화 방식으로 상기 영상일기 작성자의 심리 상태에 대한 피드백을 제공하는 단계;를 더 포함하며,
상기 피드백을 제공하는 단계는,
상담가 단말기로부터 입력받은 코멘트에 기반하여, 선택된 캐릭터 이미지와 음성을 이용하여 심리 상담가를 대신하여 애니메이션 효과가 적용된 대화 방식으로 영상일기 작성자의 심리 상태에 대한 피드백을 제공하고,
상기 영상 일기 전용 어플리케이션은 상담가 모드에서 심리 상담가 단말을 소지하는 심리 상담가가 관리중인 영상일기 작성자들을 표시하고, 영상일기 작성자의 감정상태에 대한 인공지능 분석 결과를 확인하여 그에 대한 피드백을 입력할 수 있는 사용자 인터페이스를 제공하며,
상기 분석결과 제공부는, 심리 상태 분석 결과를 부모에게 실시간으로 제공하는,
영상 일기를 이용한 심리 상태 분석 방법.
- 삭제
- 제 7 항에 있어서,
상기 피드백을 제공하는 단계는,
영상일기 전용 어플리케이션의 심리 상담가 모드에서 분석 결과 제공부에서 제공되는 심리 상태 분석 결과에 따라 심리 상담가로부터 심리 상태 분석 결과에 따른 피드백을 입력받는,
영상 일기를 이용한 심리 상태 분석 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200075990A KR102187210B1 (ko) | 2020-06-22 | 2020-06-22 | 영상 일기를 이용한 심리 상태 분석 장치 및 방법 |
| PCT/KR2021/007826 WO2021261887A1 (ko) | 2020-06-22 | 2021-06-22 | 영상 일기를 이용한 심리 상태 분석 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200075990A KR102187210B1 (ko) | 2020-06-22 | 2020-06-22 | 영상 일기를 이용한 심리 상태 분석 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102187210B1 true KR102187210B1 (ko) | 2020-12-04 |
Family
ID=73776847
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200075990A KR102187210B1 (ko) | 2020-06-22 | 2020-06-22 | 영상 일기를 이용한 심리 상태 분석 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102187210B1 (ko) |
| WO (1) | WO2021261887A1 (ko) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021261887A1 (ko) * | 2020-06-22 | 2021-12-30 | 주식회사 플랙스 | 영상 일기를 이용한 심리 상태 분석 장치 및 방법 |
| KR20220106029A (ko) * | 2021-01-21 | 2022-07-28 | 주식회사 에스알유니버스 | 인공지능을 활용한 심리 상담 방법 및 장치 |
| KR102476787B1 (ko) * | 2022-02-14 | 2022-12-12 | 주식회사 플랙스 | 인공 지능 모델 기반으로 그림일기 분석을 통한 그림일기 사용자의 심리상태 진단 장치 및 방법 |
| KR102514361B1 (ko) | 2022-12-26 | 2023-03-27 | 김미양 | 스티커 부착을 통한 피검사자의 심리 검사를 제공하는 교재를 결정하고 이를 이용하여 심리 검사를 수행하는 방법, 장치 및 시스템 |
| KR102514357B1 (ko) | 2022-12-06 | 2023-03-27 | 김미양 | 스티커 부착을 통한 피검사자의 심리 상태 판단 방법, 장치 및 시스템 |
| WO2024025208A1 (ko) * | 2022-07-25 | 2024-02-01 | 테바소프트 주식회사 | 음성인식을 활용한 온라인 심리상담 시스템 |
| KR102642997B1 (ko) * | 2023-10-12 | 2024-03-04 | 지상선 | 정신 건강을 위한 자아 활성화 시스템 |
| KR20240083879A (ko) | 2022-12-05 | 2024-06-13 | 오정섭 | 대화 기반 감정 일기 서비스 장치, 시스템 및 방법 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140032651A (ko) * | 2012-09-07 | 2014-03-17 | 전자부품연구원 | 감성 피드백 서비스 방법 및 이를 적용한 스마트 디바이스 |
| KR20150145844A (ko) | 2014-06-19 | 2015-12-31 | 주식회사 티앤티인재개발원 | 도형 및 문항 검사를 통한 온라인 심리분석 서비스 방법 |
| KR101581801B1 (ko) * | 2015-08-07 | 2016-01-04 | 주식회사 티아이런 | 캐릭터를 이용한 3자통신 기반 아동심리 상담치료 시스템 및 방법 |
| KR20170013015A (ko) * | 2015-07-27 | 2017-02-06 | 주식회사 프론트유 | 스마트 완구 기반 감성 커뮤니케이션 시스템 |
| KR20190044809A (ko) | 2017-10-23 | 2019-05-02 | (주)에스오피에스 | 증강현실 기반 아동용 컬러링북을 이용한 심리분석 시스템 및 그 시스템을 이용한 분석방법 |
| KR20190118139A (ko) * | 2018-04-09 | 2019-10-17 | 주식회사 마이다스아이티 | 영상 분석 시스템 및 그 방법 |
| KR20200023092A (ko) * | 2018-08-24 | 2020-03-04 | 십일번가 주식회사 | 심리 분석 기반의 이상 상태 감지 방법 및 장치 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102187210B1 (ko) * | 2020-06-22 | 2020-12-04 | 주식회사 플랙스 | 영상 일기를 이용한 심리 상태 분석 장치 및 방법 |
-
2020
- 2020-06-22 KR KR1020200075990A patent/KR102187210B1/ko active IP Right Grant
-
2021
- 2021-06-22 WO PCT/KR2021/007826 patent/WO2021261887A1/ko active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140032651A (ko) * | 2012-09-07 | 2014-03-17 | 전자부품연구원 | 감성 피드백 서비스 방법 및 이를 적용한 스마트 디바이스 |
| KR20150145844A (ko) | 2014-06-19 | 2015-12-31 | 주식회사 티앤티인재개발원 | 도형 및 문항 검사를 통한 온라인 심리분석 서비스 방법 |
| KR20170013015A (ko) * | 2015-07-27 | 2017-02-06 | 주식회사 프론트유 | 스마트 완구 기반 감성 커뮤니케이션 시스템 |
| KR101581801B1 (ko) * | 2015-08-07 | 2016-01-04 | 주식회사 티아이런 | 캐릭터를 이용한 3자통신 기반 아동심리 상담치료 시스템 및 방법 |
| KR20190044809A (ko) | 2017-10-23 | 2019-05-02 | (주)에스오피에스 | 증강현실 기반 아동용 컬러링북을 이용한 심리분석 시스템 및 그 시스템을 이용한 분석방법 |
| KR20190118139A (ko) * | 2018-04-09 | 2019-10-17 | 주식회사 마이다스아이티 | 영상 분석 시스템 및 그 방법 |
| KR20200023092A (ko) * | 2018-08-24 | 2020-03-04 | 십일번가 주식회사 | 심리 분석 기반의 이상 상태 감지 방법 및 장치 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021261887A1 (ko) * | 2020-06-22 | 2021-12-30 | 주식회사 플랙스 | 영상 일기를 이용한 심리 상태 분석 장치 및 방법 |
| KR20220106029A (ko) * | 2021-01-21 | 2022-07-28 | 주식회사 에스알유니버스 | 인공지능을 활용한 심리 상담 방법 및 장치 |
| KR102670492B1 (ko) | 2021-01-21 | 2024-05-30 | 주식회사 에스알유니버스 | 인공지능을 활용한 심리 상담 방법 및 장치 |
| KR102476787B1 (ko) * | 2022-02-14 | 2022-12-12 | 주식회사 플랙스 | 인공 지능 모델 기반으로 그림일기 분석을 통한 그림일기 사용자의 심리상태 진단 장치 및 방법 |
| WO2024025208A1 (ko) * | 2022-07-25 | 2024-02-01 | 테바소프트 주식회사 | 음성인식을 활용한 온라인 심리상담 시스템 |
| KR20240083879A (ko) | 2022-12-05 | 2024-06-13 | 오정섭 | 대화 기반 감정 일기 서비스 장치, 시스템 및 방법 |
| KR102514357B1 (ko) | 2022-12-06 | 2023-03-27 | 김미양 | 스티커 부착을 통한 피검사자의 심리 상태 판단 방법, 장치 및 시스템 |
| KR102514361B1 (ko) | 2022-12-26 | 2023-03-27 | 김미양 | 스티커 부착을 통한 피검사자의 심리 검사를 제공하는 교재를 결정하고 이를 이용하여 심리 검사를 수행하는 방법, 장치 및 시스템 |
| KR102642997B1 (ko) * | 2023-10-12 | 2024-03-04 | 지상선 | 정신 건강을 위한 자아 활성화 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021261887A1 (ko) | 2021-12-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102187210B1 (ko) | 영상 일기를 이용한 심리 상태 분석 장치 및 방법 | |
| Pablé et al. | Signs, meaning and experience: integrational approaches to linguistics and semiotics | |
| Chesebro et al. | Analyzing media: Communication technologies as symbolic and cognitive systems | |
| Compton-Lilly | The development of writing habitus: A ten-year case study of a young writer | |
| Mills et al. | Multimodal language of attitude in digital composition | |
| Wagner | Being bilingual, being a reader: Prekindergarten dual language learners’ reading identities | |
| Kapalková et al. | The role of pictures and gestures as a support mechanism for novel word learning: A training study with 2-year-old children | |
| Azano et al. | Understanding the puzzle behind the pictures: A content analysis of children’s picture books about autism | |
| Brooks et al. | Contemplating and extending the scholarship on children’s and young adult literature | |
| Kim | The role of peer relationships and interactions in preschool bilingual children's responses to picture books | |
| Asplund et al. | ‘Ellie is the coolest’: class, masculinity and place in vehicle engineering students’ talk about literature in a Swedish rural town school | |
| Kewalramani et al. | Using robotic toys in early childhood education to support children’s social and emotional competencies | |
| Rossetti | Descriptors of friendship between secondary students with and without autism or intellectual and developmental disability | |
| Davis et al. | What does a horgous look like? Nonsense words elicit meaningful drawings | |
| KR102476787B1 (ko) | 인공 지능 모델 기반으로 그림일기 분석을 통한 그림일기 사용자의 심리상태 진단 장치 및 방법 | |
| Pandya et al. | Theorizing the addressive audience in children’s digital video production | |
| Chandra Kruse et al. | Digitalization of multisensory collective activity: The case of virtual wine tasting | |
| Mosley Wetzel et al. | Developing mentoring practices through video-focused responsive discourse analysis | |
| Deng et al. | Sustaining short-term exchange students’ willingness to communicate in second language in multilingual classrooms | |
| Ezan et al. | Drawing as children’s language: Contributions of psychology to the enrichment of research methodologies applied to child consumers | |
| vom Lehn et al. | People, technology, and social organization | |
| Nita et al. | Meaning-making of internet memes to create humorous sense: Functions as Speech Acts | |
| Taylor | Ngana Wubulku Junkurr-Jiku Balkaway-Ka: The intergenerational co-design of a tangible technology to keep active use of the Kuku Yalanji Aboriginal language strong | |
| Laursen | Likes and loathing in the middle time: How adolescents time–space their figured literacy worlds | |
| Rylak et al. | Agency in a first-grade writing workshop: a case study of two composers |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |