KR102257427B1 - 실시간 감정분석이 가능한 심리 상담 시스템 및 그 방법 - Google Patents
실시간 감정분석이 가능한 심리 상담 시스템 및 그 방법 Download PDFInfo
- Publication number
- KR102257427B1 KR102257427B1 KR1020210012790A KR20210012790A KR102257427B1 KR 102257427 B1 KR102257427 B1 KR 102257427B1 KR 1020210012790 A KR1020210012790 A KR 1020210012790A KR 20210012790 A KR20210012790 A KR 20210012790A KR 102257427 B1 KR102257427 B1 KR 102257427B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- information
- client
- vocabulary
- emotional
- Prior art date
Links
- 238000009223 counseling Methods 0.000 title claims abstract description 158
- 230000008451 emotion Effects 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000008921 facial expression Effects 0.000 claims abstract description 42
- 230000002996 emotional effect Effects 0.000 claims description 130
- 230000008859 change Effects 0.000 claims description 27
- 230000010365 information processing Effects 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 239000002131 composite material Substances 0.000 claims description 9
- 230000014509 gene expression Effects 0.000 claims description 7
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 230000001815 facial effect Effects 0.000 description 21
- 230000015572 biosynthetic process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 238000003786 synthesis reaction Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 239000000284 extract Substances 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 206010061991 Grimacing Diseases 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 238000011282 treatment Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000001671 psychotherapy Methods 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009231 family therapy Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000011221 initial treatment Methods 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 230000008448 thought Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4803—Speech analysis specially adapted for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
-
- G06K9/00711—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Psychiatry (AREA)
- Epidemiology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Primary Health Care (AREA)
- Multimedia (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Child & Adolescent Psychology (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Hospice & Palliative Care (AREA)
- Social Psychology (AREA)
- Psychology (AREA)
- Developmental Disabilities (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Educational Technology (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
본 발명은 화상상담을 진행하면서 체험영상을 제공하고, 체험영상을 시청하는 동안 또는 상담을 진행하는 동안 내담자의 화상으로부터 실시간으로 얼굴 표정 및 음성을 인식하고 인식된 얼굴 표정 및 음성에 기초하여 내담자의 감정분석을 수행함으로써 심리 상담을 진행할 수 있는 실시간 감정분석이 가능한 심리 상담 시스템 및 그 방법에 관한 것이다.
Description
본 발명은 심리 상담 방법에 관한 것으로, 특히, 화상상담을 진행하면서 체험영상을 제공하고, 체험영상을 시청하는 동안 또는 상담을 진행하는 동안 내담자의 화상으로부터 실시간으로 얼굴 표정 및 음성을 인식하고 인식된 얼굴 표정 및 음성에 기초하여 내담자의 감정분석을 수행함으로써 심리 상담을 진행할 수 있는 실시간 감정분석이 가능한 심리 상담 시스템 및 그 방법에 관한 것이다.
심리상담은 전문 지식을 갖춘 상담사가 심리적 문제를 지난 내담자와의 관계에서 공감적 이해, 무조건적 긍정적 존중, 진실성을 기본으로 상담심리의 여러 이론들, 정신분석, 행동주의, 인본주의, 인지주의, 형태주의, 현실요법, 교류분석, 가족치료 등의 내용을 이용하여 그들의 문제 해결을 돕는 치료 방법으로서 내담자가 인간의 사고, 감정, 행동, 대인관계에 대해 탐색하도록 안내하여 다양한 자신의 문제들을 이해하고 변화하도록 돕는 것을 말한다.
이러한 심리상담은 주로, 주어진 상담실에서 면대면으로 행해지던 전통적인 상담 방식으로 이루어졌는데, 대인관계에서의 문제를 지니고 있거나 사회 불안이 심한 내담자나 환자들은 상담자와 직접 마주해야 하는 면대면 상담 및 심리치료가 부담되거나 꺼려져 심리치료가 지속되지 못하고 중단되기도 한다.
그래서 면대면 상담의 대안으로 온라인 상에서 심리를 상담하고 치료하는 온라인 심리치료 프로그램이 제시되고 있다.
그러나, 처음 방문하거나 아직 내담자의 현재 상태 또는 원인을 파악하고 있지 못하는 경우 기존의 테스트와 이에 대한 몇 가지 질문만으로는 원활한 상담 및 치료가 곤란하다.
초기 진료시 내담자의 현재 상태에 대한 정보를 보다 명확하고 적극적으로 공유할 수 있고 직접 사람과 상담하는 면대면 상담의 스트레스를 줄여줄 수 있는 양방향 소통 플랫폼의 연구 및 개발이 요구된다.
본 발명은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 화상상담시 전문상담사측 화상을 내담자가 선택한 배경이미지 및 캐릭터이미지가 포함된 필터가 중첩되도록 설정하여 내담자로 하여금 전문상담사에 대한 거부감을 줄이고 친밀감 및 안정감을 느낄 수 있도록 하는 실시간 감정분석이 가능한 심리 상담 시스템 및 그 방법을 제공하는 데 그 목적이 있다.
또한, 본 발명은 내담자가 원하는 체험영상을 통해 화상상담을 진행하는 동안 실시간 제공되는 화상으로부터 내담자의 얼굴표정 및 음성을 획득하고, 획득된 얼굴표정 및 음성에 기초하여 감정정보를 검출하고, 검출된 감정정보를 분석하여 내담자의 현재 심리 상태 및 심리 상태의 변화를 용이하게 파악할 수 있는 실시간 감정분석이 가능한 심리 상담 시스템 및 그 방법을 제공하는 데 그 목적이 있다.
본 발명의 과제는 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 실시간 감정분석이 가능한 심리 상담 시스템은, 화상상담을 진행하기 위한 어플리케이션을 실행하거나 심리상담정보 처리 장치에 연결되어 화상상담을 수행하는 내담자 단말; 화상상담을 진행하기 위한 어플리케이션을 실행하거나 심리상담정보 처리 장치에 연결되어 상기 내담자 단말과 화상상담을 수행하는 전문상담사 단말; 및 상기 내담자 단말과 상기 전문상담사 단말을 연결하여 화상상담을 지원하는 화상상담 연결부와, 상기 전문상담사 단말측에서 제공되는 화상에 배경이미지 및 캐릭터 이미지가 포함된 필터를 중첩하여 상기 내담자 단말로 제공하는 필터 설정부와, 상기 내담자 단말로 체험영상 또는 합성영상을 제공하는 체험영상 생성 및 제공부와, 상기 체험영상 또는 합성영상이 재생되는 동안 또는 상담이 진행되는 동안 화상상담 연결을 통해 제공되는 내담자의 화상으로부터 얼굴표정 및 음성을 인식하여 감정상태, 감정강도, 감정어휘의 사용빈도 및 사용비중에 기초한 감정분석 정보를 생성하는 감정분석정보 생성부와, 상기 감정분석 정보로부터 내담자의 감정상태, 감정강도, 내담자의 감정에 영향을 미친 체험영상의 장면 및 대화내용, 사용빈도가 높은 부정적 어휘 및 긍정적 어휘 목록, 부정적 어휘 및 긍정적 어휘의 사용빈도 변화 및 사용비중 변화를 분석하여 심리상담정보를 생성하고 생성된 심리상담정보를 시각화하여 상기 내담자 단말 및 상기 전문상담사 단말로 각각 전달하는 심리상담정보 제공부를 구비하는 심리상담정보 처리 장치;를 포함한다.
상기 감정분석정보 생성부는, 상기 체험영상 또는 합성영상이 재생되는 시간과 상기 화상상담 연결을 통해 제공되는 내담자측 화상 수신 시간이 동기화되도록 하며, 상기 내담자측 화상으로부터 얼굴을 인식한 후 인식된 얼굴로부터 표정을 검출하고, 검출된 얼굴 표정에 대한 감정상태를 검출하는 얼굴표정 검출 모듈; 상기 체험영상 또는 합성영상이 재생되는 시간과 상기 화상상담 연결을 통해 제공되는 내담자측 화상 수신 시간이 동기화되도록 하며, 상기 내담자측 화상으로부터 음성을 인식하고, 인식된 음성의 강약 및 고저를 검출하여 감정강도를 검출하는 음성인식 모듈; 상기 인식된 음성을 텍스트로 변환하고, 변환된 텍스트로부터 감정어휘를 추출하되, 추출된 감정어휘를 부정적 어휘 또는 긍정적 어휘로 분류한 후 각 어휘별 사용횟수를 계수하여 산출하고, 전체 문장수 및 전체 어휘수, 상기 부정적 어휘 및 긍정적 어휘가 각각 사용된 문장수를 각각 계수하여 산출하는 감정어휘 추출 모듈; 검출된 감정상태 정보, 검출된 감정강도 정보, 검출된 부정적 어휘 및 긍정적 어휘로 분류된 각 어휘별 사용횟수, 전체 문장수 및 전체 어휘수, 상기 부정적 어휘 및 긍정적 어휘가 각각 사용된 문장수를 분석하여 감정상태, 상기 감정상태에 대한 감정강도, 상기 부정적 어휘 및 긍정적 어휘 각각의 사용비중, 상기 부정적 어휘 및 긍정적 어휘로 분류된 어휘별 사용횟수에 따른 어휘목록을 적어도 포함하는 감정분석정보를 생성하는 감정분석정보 생성 모듈; 및 미리 정의된 감정어휘가 저장된 감정어휘 데이터베이스;를 포함하는 것을 특징으로 한다.
상기 심리상담정보 제공부는, 상기 감정분석 정보로부터 내담자의 감정상태, 감정강도, 내담자의 감정에 영향을 미친 체험영상의 장면 및 대화내용, 사용빈도가 높은 부정적 어휘 및 긍정적 어휘 목록, 부정적 어휘 및 긍정적 어휘의 사용빈도 변화 및 사용비중 변화를 분석하고, 분석 결과 상기 얼굴표정 및 음성에 기초하여 검출된 감정상태 및 감정강도, 사용빈도가 높은 부정적 어휘 및 긍정적 어휘 목록, 부정적 어휘 및 긍정적 어휘 각각의 사용빈도 및 사용비중 정보, 부정적 어휘 및 긍정적 어휘의 사용빈도 변화 및 사용비중 변화 정보, 시청한 체험영상 정보, 내담자의 감정에 영향을 미친 체험영상의 장면 및 대화내용, 전문상담사로부터 추가된 상담정보, 상기 체험영상 또는 합성영상 시청시 상기 체험영상 또는 합성영상이 재생되는 시간과 동기화된 화상으로부터 검출된 감정상태 및 감정강도 정보를 통해 상기 내담자의 감정에 영향을 미친 체험 영상의 요인을 확인하도록 매칭한 정보를 적어도 포함하는 심리상담정보를 생성하며, 생성된 심리상담정보를 실시간으로 내담자 단말 및 전문상담사 단말로 전달하되, 상기 생성된 심리상담정보가 화상의 일 부분에 표출되도록 하는 것을 특징으로 한다.
본 발명에 따르면, 내담자가 선택한 배경이미지 및 캐릭터이미지를 포함하는 필터를 전문상담사측 화상에 중첩되도록 설정함으로써 내담자로 하여금 전문상담사에 대한 거부감을 낮추고 친밀감 및 안정감을 느끼도록 하여 상담에 적극적으로 참여할 수 있게 한다.
또한, 본 발명에 따르면, 전문상담사는 화상상담을 진행하는 동안 실시간으로 획득된 내담자의 감정정보를 통해 내담자의 현재 심리 상태 및 심리 상태의 변화를 용이하게 인지할 수 있으며, 이를 통해 전문상담사는 내담자의 심리 상태에 맞춰 심리 상태가 개선될 수 있는 방향으로 상담을 효과적으로 유도할 수 있다.
또한, 본 발명에 따르면, 현실에서 마주하기 곤란한 상황을 간접적으로 체험하도록 체험영상을 제공하고, 체험영상의 시청 동안의 감정정보를 이용하여 심리 상태 및 심리상태 변화를 실시간으로 파악함으로써 개선 방향으로 상담을 진행할 수 있고, 체험영상의 반복된 시청을 통해 심리 상태의 변화 및 심리 상태의 개선을 추적할 수 있다.
다만, 본 발명의 효과들은 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 형태에 따른 실시간 감정분석이 가능한 심리 상담 시스템의 전체 구성을 개략적으로 나타낸 도면이다.
도 2는 도 1에 도시된 필터 설정부의 상세 구성을 개략적으로 나타낸 도면이다.
도 3은 도 1에 도시된 체험영상 생성 및 제공부의 상세 구성을 개략적으로 나타낸 도면이다.
도 4는 도 1에 도시된 감정분석정보 생성부의 상세 구성을 개략적으로 나타낸 도면이다.
도 5는 도 1에 도시된 전문상담사 단말의 화면에 심리상담정보가 표출되는 예를 나타낸 도면이다.
도 6은 본 발명의 일 실시 형태에 따른 실시간 감정분석이 가능한 심리 상담 방법의 동작 과정을 설명하기 위한 흐름을 나타낸 도면이다.
도 7은, 도 6에 도시된 체험영상 전송 단계의 과정을 상세하게 설명하기 위한 흐름도이다.
도 2는 도 1에 도시된 필터 설정부의 상세 구성을 개략적으로 나타낸 도면이다.
도 3은 도 1에 도시된 체험영상 생성 및 제공부의 상세 구성을 개략적으로 나타낸 도면이다.
도 4는 도 1에 도시된 감정분석정보 생성부의 상세 구성을 개략적으로 나타낸 도면이다.
도 5는 도 1에 도시된 전문상담사 단말의 화면에 심리상담정보가 표출되는 예를 나타낸 도면이다.
도 6은 본 발명의 일 실시 형태에 따른 실시간 감정분석이 가능한 심리 상담 방법의 동작 과정을 설명하기 위한 흐름을 나타낸 도면이다.
도 7은, 도 6에 도시된 체험영상 전송 단계의 과정을 상세하게 설명하기 위한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
다양한 양상들 및 특징들이 다수의 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있는 시스템에 의하여 제시될 것이다. 다양한 시스템들이, 추가적인 장치들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있다는 점 그리고/또는 도면들과 관련하여 논의된 장치들, 컴포넌트들, 모듈들 등 전부를 포함하지 않을 수도 있다는 점 또한 이해되고 인식되어야 한다.
본 명세서에서 사용되는 "실시예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다. 아래에서 사용되는 용어들 '~부', '컴포넌트', '모듈', '시스템', '인터페이스' 등은 일반적으로 컴퓨터 관련 엔티티(computer-related entity)를 의미하며, 예를 들어, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어를 의미할 수 있다.
본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우 '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
이하, 첨부된 도면을 참고로 하여 본 발명의 일 실시 형태에 따른 실시간 감정분석이 가능한 심리 상담 시스템 및 방법에 대해 설명하기로 한다.
도 1은 본 발명의 일 실시 형태에 따른 실시간 감정분석이 가능한 심리 상담 시스템의 전체 구성을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일 실시 형태에 따른 실시간 감정분석이 가능한 심리 상담 시스템은 심리상담정보 처리 장치(10), 내담자 단말(20) 및 전문상담사 단말(30) 등을 포함하여 구성될 수 있다.
여기서, 각 구성 장치는 통신망을 통해 연결되며, 통신망을 무선 네트워크일 수 있다. 무선 네트워크는 통신 데이터를 주고받을 수 있는 다양한 종류의 네트워크를 모두 포함할 수 있으며, 예를 들어, 인터넷망, 이동통신망, 사설망 등일 수 있다.
심리상담정보 처리 장치(10)는, 화상상담 연결부(11), 필터 설정부(12), 체험영상 생성 및 제공부(13), 감정분석정보 생성부(14), 심리상담정보 제공부(15) 및 저장부(16) 등을 포함하여 구성될 수 있다.
구체적으로, 화상상담 연결부(11)는, 내담자 단말(20)과 전문상담사 단말(30)을 연결하여 화상상담이 수행되도록 지원한다. 이때, 화상상담 연결부(11)는 내담자 단말(20) 또는 전문상담사 단말(30)의 접속을 통해 직접 연결시킴으로써 화상상담을 진행하거나, 화상상담 어플리케이션 구동을 통해 연결되는 내담자 단말(20) 및 전문상담사 단말(30)이 연결되도록 할 수도 있다.
그리고, 필터 설정부(12)는 화상상담 연결부(11)를 통해 내담자 단말(20) 및 전문상담사 단말(30)이 연결되어 화상상담이 이루어지면, 내담자 단말(20)로 전문상담사 단말(30)에서 촬영된 화상을 변경할 수 있는 다수의 필터를 제공하여 설정 여부 결정을 요청하고, 특정 필터에 대한 선택정보가 전달되면, 선택된 특정 필터를 전문상담사 단말(30)에서 촬영된 화상에 중첩되도록 적용하여 내담자 단말(20)의 화면에 출력되도록 한다. 한편, 필터 설정부(12)는 내담자 단말(20)로부터 필터에 대한 선택정보가 없으면 전문상담사 단말(30)에서 촬영된 화상을 그대로 내담자 단말(20)의 화면에 출력되도록 한다.
그리고, 체험영상 생성 및 제공부(13)는, 미리 저장된 다양한 상황 및 주제에 대한 체험영상을 내담자 단말(20)로 제공하여 시청할 수 있도록 한다. 이를 통해, 내담자로 하여금 현실에서 마주하기 곤란한 상황을 간접적으로 느끼고 전개되는 상황을 체험하도록 유도할 수 있다. 또한, 체험영상 생성 및 제공부(13)는 내담자가 선택한 체험영상과 내담자가 제공한 커버 영상을 맵핑하여 합성하고, 개인화된 합성영상을 내담자 단말(20)로 제공하여 시청할 수 있도록 한다. 이를 통해 내담자는 개인화된 영상을 통해 내담자가 편안한 마음으로 상담에 참여할 수 있을 뿐만 아니라 영상 시청에 몰입할 수 있도록 유도할 수 있다.
그리고, 감정분석정보 생성부(14)는, 화상상담시 제공되는 내담자의 화상으로부터 내담자의 얼굴을 인식한 후 표정을 검출하고, 검출된 얼굴 표정으로부터 감정상태를 분석하여 감정분석 정보를 생성한다. 여기서, 감정상태는 웃음 또는 상기된 표정, 눈살을 찌푸리거나 우울한 표정 등으로부터 인지될 수 있다. 얼굴 표정의 검출은 기계 학습 알고리즘에 의해 수행될 수 있으며, 예를 들어, 입력 영상으로부터 AdaBoost 기반의 객체 검출 기법을 이용하여 얼굴 영역을 추출하는 알고리즘을 통해 수행될 수 있다.
또한, 감정분석정보 생성부(14)는 화상상담시 제공되는 화상으로부터 내담자의 음성을 검출하고, 검출된 음성의 고저, 강약 등을 통해 현재 내담자의 감정상태의 강도를 분석하여 감정분석 정보를 생성할 수 있다.
또한, 감정분석정보 생성부(14)는, 화상상담시 제공되는 내담자의 화상으로부터 음성을 인식하여 텍스트로 전환하고, 전환된 텍스트로부터 감정어휘를 추출한다. 감정어휘는 부정적 어휘 및 긍정적 어휘로 구분되며, 감정분석정보 생성부(14)는 부정적 어휘 및 긍정적 어휘로 구분된 각 어휘별 사용빈도, 부정적 어휘가 사용된 문장수, 긍정적 어휘가 사용된 문장수, 전체 문장수 및 어휘수를 각각 계수하고, 계수된 각 정보에 기초하여 부정적 어휘 및 긍정적 어휘 각각의 사용비중, 사용빈도수가 높은 순위의 감정어휘 목록을 분석하여 감정분석정보를 생성할 수 있다. 이를 통해, 전문상담사는 부정적 어휘 및 긍정적 어휘의 사용빈도 및 사용비중과 그 변화를 확인함으로써 내담자의 현재 심리 상태 및 심리 상태 변화를 추정할 수 있다. 이때, 전문상담사는 감정어휘의 사용빈도 및 사용비중에 따라 내담자의 현재 심리가 부정적인지 또는 긍정적인지를 평가할 수 있다.
그리고, 심리상담정보 제공부(15)는, 감정분석정보 생성부(14)로부터 전달된 감정분석 정보(감정상태, 감정강도, 감정어휘의 사용빈도 및 사용비중, 사용빈도수가 높은 순위의 감정어휘 종류 등 포함)와 이에 대한 분석 정보를 포함하는 심리상담정보를 생성하고, 생성된 심리상담정보를 화상상담시 제공되는 화상 일부분에 표출되도록 시각적으로 편집하여 내담자 단말(20) 및 전문상담사 단말(30)로 각각 제공한다. 즉, 심리상담정보 제공부(15)는, 감정분석 정보로부터 내담자의 감정상태, 감정강도, 내담자의 감정에 영향을 미친 체험영상의 장면 및 그 대화내용, 사용빈도가 높은 부정적 어휘 및 긍정적 어휘 목록, 부정적 어휘 및 긍정적 어휘의 사용빈도 변화 및 사용비중 변화 등을 분석하고, 이러한 분석 내용이 포함된 심리상담정보를 생성한다. 여기서, 심리상담정보는 얼굴 표정 및 음성에 기초한 감정상태 및 감정강도, 사용빈도가 높은 부정적 어휘 및 긍정적 어휘 목록, 부정적 어휘 및 긍정적 어휘의 사용빈도 및 사용비중 정보, 부정적 어휘 및 긍정적 어휘의 사용빈도 변화 및 사용비중 변화 정보, 시청한 체험영상 정보, 내담자의 감정에 영향을 미친 체험영상의 장면 및 그 대화내용, 전문상담사로부터 추가된 상담정보 등을 포함할 수 있다.
그리고, 저장부(16)는, 내담자의 인적정보, 화상상담정보(화상상담 동안 촬영된 화상 및 음성데이터), 내담자의 감정분석정보, 내담자에 대한 심리상담정보 등 다양한 검출 및 생성된 정보들이 저장될 수 있다. 또한, 저장부(16)는 각 부의 기능 및 작동을 위한 운영체제(OS) 및 프로그램 실행코드 등이 저장될 수 있다. 이러한 저장부(23)는, 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다.
그리고, 내담자 단말(20)은, 화상상담을 진행하기 위한 어플리케이션을 구비하여 화상상담을 직접 요청하거나 심리상담정보 처리 장치(10)에 연결되어 화상상담을 요청할 수 있으며, 이를 통해 전문상담사 단말(30)과 화상상담을 진행할 수 있다. 또한, 내담자 단말(20)은 화상상담시 심리상담정보 처리 장치(10)로부터 전달된 감정분석정보를 적어도 포함하는 심리상담정보를 내담자가 확인할 수 있는 형태, 예를 들어, 심리상담정보를 화상 일 부분에 함께 표출할 수 있다. 이러한 내담자 단말(20)은 전문상담사의 모습이 포함된 화상이 출력되는 화면과, 내담자의 모습을 촬영하여 전문상담사의 단말(30)로 전달할 수 있는 촬영장치와, 음성을 수집하여 전문상담사와 대화를 주고받을 수 있도록 하는 마이크 및 스피커가 적어도 구비되어야 한다.
그리고, 전문상담사 단말(30)은, 화상상담을 진행하기 위한 어플리케이션을 구비하여 화상상담을 직접 요청하거나 심리상담정보 처리 장치(20)에 연결되어 화상상담을 요청할 수 있으며, 이를 통해 내담자 단말(20)과 화상상담을 진행할 수 있다. 또한, 전문상담사 단말(30)은 화상상담시 심리상담정보 처리 장치(10)로부터 전달된 감정분석정보를 적어도 포함하는 심리상담정보를 전문상담사가 확인할 수 있는 형태, 예를 들어, 심리상담정보를 내담자의 화상 일 부분에 함께 표출할 수 있다. 이러한 전문상담사 단말(30)은 내담자의 모습이 포함된 화상이 출력되는 화면과, 전문상담사의 모습을 촬영하여 내담자 단말(20)로 전달할 수 있는 촬영장치와 음성을 수집하여 내담자와 대화를 주고받을 수 있도록 하는 마이크 및 스피커가 적어도 구비되어야 한다.
이와 같이, 본 발명의 실시예에 있어서, 심리상담정보 처리 장치(10)가 감정분석정보를 적어도 포함하는 심리상담정보를 내담자 단말(20) 및 전문상담사 단말(30)로 제공함으로써, 내담자로 하여금 상담을 진행하는 동안 자신의 현재 심리 상태, 심리 상태 변화 등을 스스로 인지하도록 하여 적극적인 상담 참여를 유도할 수 있고, 또한, 전문상담사로 하여금 화상에서 보여지는 내담자의 모습과 함께, 심리상담정보를 보면서 내담자의 현재 심리 상태, 심리 상태 변화 등을 효과적으로 파악할 수 있도록 하여 심리 상태가 개선되는 방향으로 상담을 계속해서 진행할 수 있다.
이러한 내담자 단말(20) 및 전문상담사 단말(30)은, 데스크탑 컴퓨터, 랩탑 컴퓨터, 스마트폰, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 태블릿 PC 등의 네트워크 접속이 가능한 통신 기기일수 있으며, 그 종류나 개수에 제한이 없다.
상술한 바와 같이, 본 발명의 일 실시 형태에 따른 심리 상담 시스템은 내담자의 얼굴표정, 음성 및 대화내용으로부터 검출한 감정정보를 이용하여 내담자의 현재 심리 상태, 상담을 진행하는 동안의 심리 변화 상태를 전문상담사가 용이하게 파악할 수 있도록 제공함으로써 내담자의 심리 상태에 맞춰 심리 상태가 개선될 수 있는 방향으로 상담을 효과적으로 진행할 수 있다.
또한, 본 발명에 따르면, 내담자의 현재 감정상태를 화면에 표시해줌으로써 전문상담사가 화상으로부터 직접 느끼는 내담자의 감정상태뿐만 아니라 내담자의 심리상태의 변화를 심리상담정보로 함께 확인하며 심리상담을 진행할 수 있어 상담 효과를 높일 수 있다.
도 2는 도 1에 도시된 필터 설정부의 상세 구성을 개략적으로 나타낸 도면이다.
도 2를 참조하면, 본 발명의 일 실시 형태에 따른 필터 설정부(12)는, 필터 제공 모듈(121)과 필터 적용 모듈(122)과 필터 데이터베이스(123) 등을 포함하여 구성될 수 있다.
먼저, 필터 제공 모듈(121)은 화상상담 연결부(11)를 통해 내담자 단말(20) 및 전문상담사 단말(30)이 연결되어 화상상담이 성사되면, 내담자 단말(20)로 전문상담사의 화상을 변경할 수 있는 다수의 필터를 제공하여 내담자 단말(20)의 화면에 표시되도록 한다. 여기서, 필터는 다양한 배경이미지 및 캐릭터 이미지가 포함된 레이어로, 화상상담시 출력되는 화상에 중첩되어 배경 및 인물을 변경해주는 역할을 수행할 수 있다. 이로써 내담자가 가지는 전문상담사에 대한 거부감을 줄일 수 있고 내담자의 심리적 친근감 및 안정감을 유도할 수 있다.
이때, 필터 제공 모듈(121)은 필터 DB(123)로부터 저장된 필터를 추출하여 내담자 단말(20)로 제공하되, 내담자 단말(20)로 주제 및 상황별로 분류된 필터 목록을 제공할 수 있으며, 특정 필터 목록이 선택되면 필터 DB(123)에 저장된 필터 목록을 검색하여 해당 목록의 필터들을 내담자 단말(20)로 제공할 수 있다.
또한, 필터 제공 모듈(121)은 내담자 단말(20)로부터 필터 선택정보가 없으면, 전문상담사 단말(30)에서 촬영된 화상을 그대로 내담자 단말(20)의 화면에 출력되도록 한다. 또한, 필터 제공 모듈(121)은 내담자 단말(20)로부터 필터 선택 정보가 전달되면, 필터 적용 모듈(122)로 이를 요청한다.
또한, 필터 적용 모듈(122)은 내담자 단말(20)의 필터 선택 정보가 전달되면, 선택된 필터를 전문상담사 단말(30)에서 촬영된 화상에 이미지 중첩 기능을 통해 중첩시키고 필터가 적용된 화상을 내담자 단말(20)로 전달하여 화면에 표시되도록 한다.
그리고, 필터 DB(123)는 다양한 배경이미지 및 캐릭터 이미지가 포함된 필터를 저장하되, 주제 및 상황별로 분류되어 저장될 수 있다. 여기서, 배경이미지는 내담자에게 친숙함을 주기 위한 배경의 구현하기 위한 이미지인 것이 바람직하며, 예를 들어, 일반적인 방, 거실, 학교, 자연, 카페, 식당 등의 배경 이미지일 수 있다. 캐릭터 이미지는 내담자의 전문상담사에 대한 거부감을 줄이고 친밀감을 주기 위한 이미지일 수 있으며, 예를 들어, 동물 캐릭터, 연예인 캐릭터, 만화 등장인물 캐릭터 등의 이미지일 수 있다.
도 3은 도 1에 도시된 체험영상 생성 및 제공부의 상세 구성을 개략적으로 나타낸 도면이다.
도 3을 참조하면, 본 발명의 일 실시 형태에 따른 체험영상 생성 및 제공부(13)는 영상 수집 모듈(131)과, 영상 합성 모듈(132)과, 영상 추천 모듈(133)과, 영상 데이터베이스(134) 등을 포함하여 구성될 수 있다.
구체적으로, 영상 수집 모듈(131)은, 다양한 상황 및 주제에 대한 체험영상을 수집할 수 있다. 이때, 영상 수집 모듈(131)은, 다양한 상황, 주제 및 인물을 포함하는 체험영상을 각종 매체를 통하여 수집하되, 영상의 길이, 장면의 수, 등장 인물, 시점 등을 고려하여 다양한 영상을 수집하고, 영상 데이터베이스(134)에 저장한다.
그리고, 영상 합성 모듈(132)은, 수집된 체험영상에 포함된 대상 인물의 3차원 안면 좌표 정보를 적어도 포함하는 영상정보를 추출한다. 즉, 영상정보는 체험영상에 등장하는 인물 중 커버 영상에 의해 맵핑 가능한 인물인 대상 인물에 대한 3차원 안면 좌표 정보를 적어도 포함한다. 여기서, 대상 인물은 체험영상을 통해 주어지는 가상의 상황에서 간접적으로 접하고 싶은 인물의 역할을 대신하는 인물이며, 커버 영상 속 커버 인물의 이미지로 맵핑됨으로써 상담시 커버 인물이 해당 역할을 맡는 것처럼 느끼도록 하는 맵핑의 기초가 되는 인물이다.
즉, 영상 합성 모듈(132)은, 영상 처리 알고리즘을 이용해 대상 인물의 안면에 포함된 특정 형상, 패턴, 색상 또는 이들의 조합을 검출하여 대상 인물의 3차원 안면 좌표 정보를 추출한다. 안면 좌표 정보 추출을 위한 영상 처리 알고리즘으로는 HOG(Histogram of Oriented Gradient), Haar-like feature, SIFT(Scale Invariant Feature Transform), LBP(Local Binary Pattern) 등이 있으며, 그 밖에 공지의 다양한 영상 처리 알고리즘이 채용될 수 있다.
또한, 영상 합성 모듈(132)은, 커버 영상을 내담자 단말(20)로부터 수신하고, 수신된 커버 영상 속 커버 인물을 체험영상의 대상 인물에 맵핑하여 합성영상을 생성한다. 이를 위해, 영상 합성 모듈(132)은, 커버 영상에 등장하는 커버 인물의 3차원 안면 좌표 정보를 추출할 수 있으며, 대상 인물에 대한 영상 처리 알고리즘과 동일한 알고리즘을 이용한다. 이때, 영상 합성 모듈(132)은, 체험영상의 기준 프레임에서 대상 인물의 안면 좌표를 확보한 각도에 기초하여 커버 영상에서 커버 인물의 3차원 안면 좌표 정보를 추출한다. 여기서, 커버 영상은 체험영상의 대상 인물에 맵핑할 커버 인물에 대한 영상을 포함한다. 이러한 커버 영상에는 체험영상의 대상 인물에 맵핑하기 위하여 대상 인물로부터 추출된 3차원 안면 영상 좌표의 전체 또는 일부에 대응하는 커버 인물의 특징 부분이 나타날 수 있으며, 커버 영상의 커버 인물은 체험영상 내에 주어진 상황에서 내담자가 가상의 합성영상의 환경 내에서 간접적으로 대면하고 싶은 현실의 인물일 수 있다. 커버 인물의 3차원 안면 좌표 정보는 체험영상의 대상 인물에 맵핑하기 위한 정보이며, 합성영상은, 체험영상에 대한 영상 정보와 실질적으로 동일한 영상 정보를 가지되, 체험영상에 등장하는 대상 인물의 일부 또는 전체 이미지가 커버 영상에 등장하는 커버 인물의 일부 또는 전체 이미지로 대체 또는 합성되어 생성될 수 있다.
즉, 영상 합성 모듈(132)은, 커버 영상에 등장하는 커버 인물의 3차원 안면 좌표 정보를 기초로 커버 인물을 내담자에 의해 선택된 체험영상의 대상 인물에 맵핑하되, 커버 인물의 3차원 안면 좌표 정보와 대상 인물의 3차원 안면 좌표 정보를 기초로 각각의 특징적인 부분을 매칭하고 각각의 프레임에서 대상 인물의 안면 각도에 따른 이미지에 대응하는 커버 인물의 이미지를 생성할 수 있다. 이러한 영상 합성 모듈(132)은 커버 인물의 이미지를 체험영상에 합성하기 위해 공지의 합성 알고리즘을 자유롭게 채용하여 구현될 수 있다.
또한, 영상 합성 모듈(132)은, 생성된 합성 영상을 내담자 단말(20)로 전달한다. 합성 영상은 내려받기 방식 또는 실시간 스트리밍 방식으로 전달될 수 있다.
이로써 내담자는 직접 대면하기 곤란한 현실의 인물이 등장하는 커버 영상에 대한 체험상담을 요청하고, 전문상담사가 체험영상에 커버 영상을 맵핑한 합성 영상을 내담자로 하여금 시청하도록 제공함으로써, 내담자는 합성 영상을 시청하면서 현실에서 마주하기 곤란한 상황을 간접적으로 느끼고 그로부터 현재의 심리 상태를 인지할 수 있으며, 반복된 간접 체험을 통해 심리 상태의 변화를 인지하고 심리 상태의 개선 등 상담 효과를 거둘 수 있다. 동시에, 본 발명에서는, 내담자가 합성 영상을 시청하는 동안의 감정분석 정보를 생성하여 시각화하여 제공함으로써 내담자 및 전문상담사가 내담자의 현재 심리 상태와 심리 상태의 변화를 용이하게 파악할 수 있다.
그리고, 영상 추천 모듈(133)은 내담자에 대한 이전 상담결과정보에 기초하여 저장된 체험영상 중에서 제공할 영상을 선별하며, 선별된 체험영상에 대한 목록 정보를 내담자 단말(20)로 전달할 수 있다. 즉, 영상 추천 모듈(133)은 이전 상담시 제공된 체험영상과의 연관성, 내담자의 심리 변화 상태 등을 고려하여 이전에 제공되지 않은 다른 체험영상을 선별할 수 있다. 목록 정보는 각 체험영상에 대한 영상의 길이, 등장인물의 수, 등장인물의 성격, 나이 및 성별, 등장인물 간 감정특성, 장면의 특징, 대표장면의 썸네일 등 다양한 정보를 포함할 수 있다.
도 4는 도 1에 도시된 감정분석정보 생성부의 상세 구성을 개략적으로 나타낸 도면이다.
도 4를 참조하면, 본 발명의 일 실시 형태에 따른 감정분석정보 생성부(14)는 얼굴표정 검출 모듈(141), 음성인식 모듈(142), 감정어휘 추출 모듈(143), 감정분석정보 생성 모듈(144), 감정어휘 데이터베이스(145) 등을 포함하여 구성될 수 있다.
먼저, 얼굴표정 검출 모듈(141)은, 화상상담시 내담자를 촬영한 화상으로부터 내담자의 표정 변화를 모니터링하여 감정상태를 분석할 수 있다. 즉, 얼굴표정 검출 모듈(141)은 내담자의 얼굴 표정 변화로부터 감정 상태를 자동으로 인식하는 모니터링 환경을 제공할 수 있다.
이러한 얼굴표정 검출 모듈(141)은 기계 학습 알고리즘을 이용하여 화상상담시 제공되는 내담자의 화상으로부터 내담자의 얼굴을 검출할 수 있다. 여기서, 기계 학습 알고리즘은 입력 영상으로부터 AdaBoost 기반의 객체 검출 기법을 이용하여 얼굴 영역을 추출하는 알고리즘일 수 있다.
또한, 얼굴표정 검출 모듈(141)은, 검출된 내담자의 얼굴을 인식하여 표정을 검출하고, 검출된 얼굴의 표정에 기초하여 내담자의 감정상태를 추정하여 인지할 수 있다. 여기서, 내담자의 표정 예로는 기쁨, 슬픔, 화남, 분노, 역겨움, 두려움, 행복, 놀람, 평온, 찡그림, 눈감김, 무감정 등의 다양한 표정이 있을 수 있다. 본 발명의 실시예에 있어서, 영상으로부터 사람의 표정을 인식하는 알고리즘은 종래 기술에 따른 다양한 표정 인식 알고리즘이 사용될 수 있고, 감정 추정은 인공 신경망(neural network)을 학습시킴으로써 수행될 수 있으며, 예를 들어 합성곱 신경망(Convolutional Neural Network, CNN) 학습을 통해 수행될 수 있다.
그리고, 음성인식 모듈(142)은, 화상상담시 제공되는 내담자의 화상으로부터 음성을 인식하고, 인식된 음성 데이터를 분석하여 내담자의 감정상태 및 이에 대한 감정강도를 추정할 수 있다. 음성 데이터로부터 추출 가능한 감정상태의 예로는 기쁨, 슬픔, 화남, 놀람 등의 다양한 감정일 수 있다. 즉, 음성인식 모듈(142)은, 인식된 음성 데이터에 기초하여 음성의 고저, 강약, 속도 등을 측정할 수 있고, 음성의 고저, 강약, 속도 등의 정보는 내담자의 감정상태의 강도, 즉, 기쁨, 놀람, 슬픔, 화남, 분노, 역겨움, 두려움, 긴장, 흥분 상태 등의 정도를 추정하는데 활용될 수 있다.
그리고, 감정어휘 추출 모듈(143)은, 음성인식 모듈(142)로부터 인식된 음성을 전달받고, 인식된 음성을 텍스트로 전환한 후 전환된 텍스트로부터 감정어휘를 추출한다. 여기서, 감정어휘 수집 모듈(143)은, 감정어휘 데이터베이스(145)를 구비하며, 텍스트에서 추출한 어휘를 사전에 저장된 감정어휘 데이터베이스(145)의 감정어휘와 비교하는 것에 의해 감정어휘 추출을 수행한다. 여기서, 감정어휘는 기쁨, 슬픔, 화남, 분노, 역겨움, 두려움, 공포, 행복, 놀람, 수치, 연민, 평온, 찡그림, 눈감김, 무감정 등으로 분류되어 저장될 수 있으며, 각 감정어휘에는 부정적 어휘 또는 긍정적 어휘에 대한 분류정보가 추가되어 저장될 수 있다.
또한, 감정어휘 추출 모듈(143)은, 웹 구글링을 통해 감정어휘 데이터베이스(145)에 저장되지 않은 신규 어휘, 줄임어, 은어와 같은 새로운 감정어휘를 실시간으로 수집하고 수집한 감정어휘를 부정적 어휘 또는 긍정적 어휘로 분류하여 표기한 후 저장하고, 긍정도 부정도 아닌 경우는 별도의 분류 및 저장을 수행하지 않는다.
또한, 감정어휘 추출 모듈(143)은, 추출된 감정어휘를 부정적 어휘 및 긍정적 어휘로 분류하되, 각 감정어휘의 사용 횟수를 계수하여 산출한다. 이때, 감정어휘 추출 모듈(143)은, 부정적 어휘 및 긍정적 어휘에 해당하지 않는 어휘는 별도의 분류를 수행하지 않으며, 전체 문장수, 전체 어휘수를 계수하고, 부정적 어휘가 사용된 문장수, 긍정적 어휘가 사용된 문장수를 각각 계수하여 산출한다. 이후, 감정어휘 추출 모듈(143)은, 전체 문장수 및 전체 어휘수에 대한 부정적 어휘 및 긍정적 어휘 사용 비중을 산출하여 제공한다.
그리고, 감정분석정보 생성 모듈(144)은, 화상상담시 합성영상을 시청하거나, 상담을 진행하는 동안의 내담자 화상으로부터 검출한 내담자의 얼굴 표정에 따른 감정상태 정보, 인식한 음성에 따른 감정강도 정보, 인식한 음성을 이용하여 추출한 감정어휘의 부정적/긍정적 어휘 분류에 따른 사용빈도 정보, 부정적 어휘 및 긍정적 어휘 각각의 사용비중 정보와 이에 대한 분석 정보를 포함하여 감정분석정보를 생성한다. 여기서, 감정분석정보는, 얼굴 표정에 따른 감정상태 정보, 음성 및 감정어휘로부터 추정된 감정강도 정보, 부정적 어휘 및 긍정적 어휘의 사용빈도 빛 사용비중 정보, 부정적 어휘 및 긍정적 어휘 각각의 사용빈도순 어휘 목록 등을 포함할 수 있다. 감정분석정보에 포함된 정보들의 검출 시간과 합성영상이 재생되는 시간 또는 상담이 진행되는 시간의 동기화를 통해 시간별 영상 정보 또는 시간별 상담 내용에 따른 내담자의 감정상태와 감정강도를 감정분석 정보를 통해 확인할 수 있다. 이러한 정보를 통해 내담자 및 전문상담가는 내담자의 현재 심리 상태와, 심리 상태의 변화를 인지할 수 있고, 심리 상담 중 어떤 시점, 상황 및 주제에 대해 심리 상태가 변화하는지 파악할 수 있다.
예를 들면, 감정분석정보 생성 모듈(144)은, 검출된 내담자의 얼굴 표정이 찡그린 표정으로 검출된 감정상태가 분노이면서, 음성의 고저가 높고 감정어휘가 부정적 어휘이면서 사용횟수가 높을 경우, 내담자의 분노에 대한 감정 강도가 높은 것으로 추정하고, 반대로 검출된 내담자의 얼굴 표정이 찡그린 표정으로 검출된 감정상태가 분노이면서, 음성의 고저가 낮고 검정어휘가 부정적 어휘이지만 그 사용횟수가 낮을 경우, 내담자의 분노 강도가 낮은 것으로 추정할 수 있다.
이러한 감정정보분석 결과에 기초하여 전문상담사는 내담자와의 대화를 진행할 수 있는데, 예를 들어, 내담자의 분노도가 높은 경우 내담자의 분노도를 낮추기 위한 대화를 진행할 수 있으며, 내담자의 분노도가 낮은 경우 분노도가 높아지지 않는 방향으로 계속해서 대화를 진행할 수 있다.
따라서, 상술한 바와 같이 본 발명에 따른 심리 상담 시스템은, 화상상담시 합성영상을 시청하거나, 상담을 진행하는 동안의 내담자 화상으로부터 검출한 내담자의 얼굴 표정에 따른 감정상태 정보, 인식한 음성에 따른 감정강도 정보, 인식한 음성을 이용하여 추출한 감정어휘의 부정적/긍정적 어휘 분류에 따른 사용빈도 정보, 부정적 어휘 및 긍정적 어휘 각각의 사용비중 정보와 이에 대한 분석 정보를 포함하는 감정분석정보를 생성함으로써 전문상담사가 내담자와의 초기 상담을 진행할 수 있는 기초 정보로써 활용 가능하게 할 수 있다.
도 5는 도 1에 도시된 전문상담사 단말의 화면에 심리상담정보가 표출되는 예를 나타낸 도면이다.
도 5를 참조하면, 본 발명의 일 실시 형태에 따르면, 심리상담정보 표출 영역(33)은 전문상담사 단말(30)의 화면(41) 상에 표출되되, 화상상담시 전문상담사 단말(30)의 화면(31)에 출력되는 내담자(32)의 화상 일 부분에 중첩되도록 시각화되어 표출될 수 있다.
이러한 심리상담정보 표출 영역(33)은 내담자의 감정상태, 사용빈도 순으로 정렬된 부정적 어휘 및 긍정적 어휘의 목록 정보 등을 포함하는 감정어휘 정보 등이 표시될 수 있다.
그리고, 터치 조작에 의해 심리상담정보 표출 영역(33)이 선택되면, 심리상담정보의 상세 정보가 포함된 화면으로 전환되도록 구성될 수 있다.
심리상담정보의 상세 정보로는, 얼굴 표정으로부터 검출된 내담자의 감정상태, 음성 및 감정어휘 사용빈도수에 의해 검출된 감정강도, 사용빈도수가 높은 부정적 어휘 및 긍정적 어휘 목록, 부정적 어휘 및 긍정적 어휘의 사용빈도 및 사용비중, 부정적 어휘 및 긍정적 어휘의 사용빈도 변화 및 사용비중 변화, 시청한 체험영상 또는 합성영상 정보, 내담자의 감정에 영향을 미친 체험영상 또는 합성영상의 장면 및 그 대화내용, 전문상담사로부터 추가된 상담정보 등이 포함될 수 있다.
한편, 본 발명의 실시예에 있어서, 전문상담사 단말(30)의 경우를 예를 들어 설명하였지만, 이에 한정되는 것은 아니며 내담자 단말(20)에도 동일하게 구현될 수 있다.
이와 같이, 심리상담정보를 실시간으로 내담자 단말 및 전문상담사 단말로 제공함으로써 내담자는 자신의 현재 심리 상태 뿐만 아니라 심리 상태의 변화를 실시간으로 확인할 수 있어 자신의 심리에 영향을 주는 요인에 대한 인지가 가능하고 개선하려는 동기를 부여할 수 있다. 또한, 전문상담사는 내담자의 심리 상태 및 심리 상태 변화를 실시간 확인함으로써 상담 진행 방향에 대한 모색이 용이하고 내담자의 심리를 용이하게 파악할 수 있다.
도 6은 본 발명의 일 실시 형태에 따른 실시간 감정분석이 가능한 심리 상담 방법의 동작 과정을 설명하기 위한 흐름을 나타낸 도면이다. 본 발명에 따른 심리 상담 방법은, 도 1 내지 도 5에 도시된 심리 상담 시스템을 통해 구현될 수 있다.
도 6을 참조하면, 내담자 단말(20)과 전문상담사 단말(30)이 통신망을 통해 화상상담 연결이 이루어진다(S610). 이때, 내담자 단말(20) 및 전문상담사 단말(30)은 화상상담을 수행할 수 있도록 카메라, 표시화면, 스피커, 마이크 등을 지원하는 어플리케이션을 각각 구비할 수 있으며, 어플리케이션은 앱스토어 등에서 다운로드를 통해 구비되거나 심리상담정보 처리 장치(10)로부터 제공받아 실행되도록 할 수도 있다.
즉, 내담자 단말(20) 또는 전문상담사 단말(30)에서 화상상담을 위한 어플리케이션 실행을 통해 화상상담 연결을 요청하고, 이에 대한 요청을 수신한 단말의 수락을 통해 화상상담이 수행될 수 있으며, 화상상담 연결부(11)에서 두 단말 간 화상상담의 연결을 지원한다.
이어서, 심리상담정보 처리 장치(10)의 필터 설정부(12)가, 내담자 단말(20)로 전문상담사 단말(30)측에서 제공되는 화상을 다른 이미지로 변경하기 위한 필터를 전달하고 필터 설정 여부에 대한 선택을 요청한다. 이에 내담자 단말(20)로부터 필터 선택 정보가 수신되면, 선택된 필터를 전문상담사 단말(30)측에서 제공되는 화상에 이미지 중첩 기능을 통해 중첩되도록 설정하고 필터가 중첩된 화상을 내담자 단말(20)의 화면에 출력되도록 한다(S620). 필터 설정이 해제될 때까지 화상상담이 진행되는 동안 계속해서 필터 설정이 유지되며, 내담자 단말(20)의 화면에는 설정된 필터가 중첩된 화상이 출력된다. 여기서, 필터는 다양한 배경이미지 및 캐릭터 이미지가 포함되며, 화상 속 전문상담사에 캐릭터 이미지가 중첩되거나 대체되도록 구현될 수 있다. 한편, 내담자 단말(20)로부터 필터 선택 정보가 전달되지 않으면, 전문상담사 단말(30)측에서 제공되는 화상을 그대로 내담자 단말(30)에 출력되도록 전달한다.
그런 다음, 전문상담사 단말(30)은 체험영상을 내담자 단말(20)로 전송하도록 심리상담정보 처리 장치(10)의 체험영상 생성 및 제공부(13)로 요청하고, 체험영상 생성 및 제공부(13)가 내담자 단말(20)로 체험영상을 전달한다(S630).
이에, 내담자 단말(20)의 화면에 체험영상이 출력되고, 내담자가 체험영상을 시청하는 동안 제공되는 화상으로부터 내담자의 얼굴을 검출한 후 검출된 얼굴로부터 표정을 검출하고, 동시에 화상으로부터 음성을 인식하여 음성데이터를 검출한다(S640).
이어서, 인식한 음성을 텍스트로 전환한 후 전환된 텍스트로부터 감정어휘를 검출한다(S650). 여기서, 감정어휘는 기분/감정을 표현하는 어휘로, 부정적 어휘와 긍정정 어휘로 분류된다.
그런 다음, 감정분석정보 생성 모듈(144)이 검출한 얼굴 표정에 기초하여 내담자의 감정상태를 검출하고, 검출한 음성데이터의 강약, 고조 등에 기초하여 감정 강도를 검출하고, 검출된 감정어휘에 기초하여 긍정적 어휘 및 부정적 어휘 각각의 사용빈도 및 비중 정보를 산출하며, 검출한 내담자의 감정상태 정보, 감정강도 정보, 긍정적 어휘 및 부정적 어휘 각각의 사용빈도 및 사용비중 정보 등을 고려하여 감정분석정보를 생성한다(S660). 여기서, 감정상태 정보는 얼굴표정으로부터 인식될 수 있는 감정으로, 기쁨, 슬픔, 화남, 분노, 역겨움, 두려움, 행복, 놀람, 평온, 찡그림, 눈감김, 무감정 등을 포함할 수 있다. 즉, 감정분석정보 생성모듈(144)은 심리학자들에 의해 미리 선정된 부정적 어휘 및 긍정적 어휘를 감정어휘 데이터베이스(145)에 저장하고, 저장된 감정어휘 정보를 이용하여 음성을 텍스트로 변환시킨 문장에서 부정적 어휘의 유무를 판단하고 문장에서 부정적 어휘의 수를 계수한다. 마찬가지로, 감정분석정보 생성 모듈(144)은 음성을 텍스트로 변환시킨 문장에서 긍정적 어휘의 유무를 판단하고, 문자에서 긍정적 어휘의 수를 계수한다. 다시 말해, 감정분석정보 생성 모듈(144)은 부정적 어휘 및 긍정적 어휘 각각의 사용횟수를 누적하여 전체 문장수에서 차지하는 비중을 각각 계산하고, 이를 포함하는 감정분석정보를 생성한다. 이로써, 전문상담사는 이후 상담이 진행되면서 부정적 어휘/긍정적 어휘 각 단어별 사용빈도의 변화, 부정적 어휘 및 긍정적 어휘의 사용비중 변화 등을 통해 내담자의 심리 상태 변화를 추정할 수 있다.
이어서, 심리상담정보 제공부(15)가 감정분석정보 생성 모듈(144)로부터 생성된 감정분석 정보를 전달받으면, 감정분석 정보에 기초하여 심리상담정보를 생성한다(S670). 즉, 심리상담정보 제공부(15)는, 감정분석 정보로부터 내담자의 감정상태, 감정강도, 내담자의 감정에 영향을 미친 체험영상의 장면 및 그 대화내용, 사용빈도가 높은 부정적 어휘 및 긍정적 어휘 목록, 부정적 어휘 및 긍정적 어휘의 사용빈도 변화 및 사용비중 변화 등을 분석하고, 이러한 분석 내용이 포함된 심리상담정보를 생성한다. 여기서, 심리상담정보는 얼굴 표정 및 음성에 기초한 감정상태 및 감정강도, 사용빈도가 높은 부정적 어휘 및 긍정적 어휘 목록, 부정적 어휘 및 긍정적 어휘의 사용빈도 및 사용비중 정보, 부정적 어휘 및 긍정적 어휘의 사용빈도 변화 및 사용비중 변화 정보, 시청한 체험영상 정보, 내담자의 감정에 영향을 미친 체험영상의 장면 및 그 대화내용, 전문상담사로부터 추가된 상담정보 등을 포함할 수 있다. 또한, 심리상담정보 제공부(15)는 이전 상담 이력 정보를 저장부(16)에서 검색하고, 이전 상담 이력이 존재하면 이전 심리상담정보를 함께 내담자 단말(20) 및 전문상담사 단말(30)로 각각 전달할 수 있다. 이로써 내담자 또는 전문상담사는 현재 심리상담 정보와 이전 심리상담정보를 대비하여 변화를 파악함으로서 현재 심리 상태, 심리 상태 변화에 영향을 미친 합성영상 내의 요인들 또는 상담 주제 및 내용을 인지할 수 있을 뿐만 아니라 심리상태 변화 추이를 추적할 수 있다.
그런 다음, 심리상담정보 제공부(15)가 생성된 심리상담정보를 내담자 단말(20) 및 전문상담사 단말(30)로 각각 전달한다(S680). 이때, 심리상담정보 제공부(15)는 심리상담정보를 각 단말의 화면 일 부분에 화상과 중첩하여 표출되도록 시각화하여 제공할 수 있고, 화면 상의 심리상담정보를 터치 조작하거나 상세보기를 통해 내용을 쉽게 확인할 수 있도록 시각적으로 구현하여 제공할 수 있다. 이에, 전문상담사 단말(30)의 화면에는 내담자의 화상과 함께 내담자의 현재 심리 상태, 심리상태 변화정보 등을 추적할 수 있는 심리상담정보가 화면 일부분에 표출되어 전문상담사로 하여금 내담자의 심리 상태를 인지하고 상담 진행 방향을 결정하는 데 활용할 수 있어 효과적인 상담이 가능하게 할 수 있다.
이후, 체험영상 시청이 종료되면, 전문상담사는 내담자와 대화를 진행하면서 질문을 하고, 내담자의 답변을 유도한다.
이때, 감정분석정보 생성 모듈(144)이 체험영상 시청이 종료된 이후, 화상상담이 진행되는 동안 내담자 단말(20)에서 제공되는 화상으로부터 내담자의 얼굴표정 및 음성을 검출하는 과정(S640), 추출한 음성을 텍스트로 전환한 후 감정어휘를 검출하는 과정(S650)을 계속해서 수행한다.
그런 다음, S660 과정 내지 S680 과정을 화상상담을 종료하는 시점까지 계속하여 반복수행할 수 있다.
이로써 내담자에 대한 심리 상태를 실시간으로 확인할 수 있으며, 이전 심리상담정보와 대비하여 심리 상태 변화를 파악할 수 있을 뿐만 아니라, 현재 화상상담이 진행되는 동안의 심리 변화 상태도 용이하게 파악할 수 있어 전문상담사로 하여금 내담자의 감정상태에 맞춰 상담을 진행할 수 있도록 한다.
한편, 화상상담이 종료되면, 심리상담정보 제공부(15)가 심리상담정보를 저장부(16)에 저장하되, 내담자에 대한 이전 심리상담정보가 존재하면 현재 심리상담정보에 시간정보를 매칭한 후 이전 심리상담정보와 함께 저장할 수 있다.
한편, 전문상담사는 심리상담정보 처리 장치(10)로 내담자의 심리상태에 대한 추가적인 정보를 요청할 수 있고, 심리상담정보 처리 장치(10)는 해당 내담자의 심리상태 추정에 활용한 정보들을 전문상담사 단말(30)로 제공할 수 있다. 내담자의 심리상태 추정에 활용한 정보들은, 얼굴표정에 기초하여 검출된 감정정보, 부정적 어휘 사용빈도 및 사용비중, 긍정적 어휘 사용빈도 및 사용비중 등일 수 있다.
또한, 심리상담정보 처리 장치(10)는, 화상상담을 진행하는 동안 수집된 정보, 예를 들어, 사용빈도순위에 따른 부정적 어휘 및 긍정적 어휘 목록, 감정강도의 최대치와 최소치를 기록한 체험영상 타임라인 정보, 감정의 격한 변화 횟수 등을 포함하는 상담 결과 정보를 생성하여 저장하고, 이를 전문상담사 단말로 요청시 제공할 수 있다.
도 7은, 도 6에 도시된 체험영상 전송 단계의 과정을 상세하게 설명하기 위한 흐름도이다.
도 7을 참조하면, 본 발명의 일 실시 형태에 따른 체험영상 전송 단계(S620)는, 먼저, 합성 영상의 주 배경을 제공할 체험영상을 각종 매체를 통해 수집하여 저장한다(S621).
이러한 체험 영상은 기존에 공개된 영화, 드라마, 애니메이션 등의 일부 장면에 대한 영상, 온라인에 공개되어 이용 가능한 영상, 별도로 제작된 영상 등을 포함할 수 있다. 또한, 체험 영상은 내담자의 심리 상담을 진행하기 위한 내용을 포함할 수 있다. 예를 들면, 체험 영상은 복수의 인물이 등장하여 대화를 나누는 장면을 적어도 포함하되, 특정 성격을 가진 인물들이 등장하여 특정 상황에서 대화를 나누며 감정의 변화를 표현하는 장면을 포함할 수 있다.
이처럼 다양한 성격을 가진 인물이 등장하고 다양한 상황이 주어지며 여러 종류의 감정과 다양한 양태의 감정 변화를 포함한 다수의 체험 영상을 수집하여 저장함으로써 내담자의 심리 상담에 적합한 체험 영상을 제공할 수 있다. 이를 통해 체험 영상은 내담자가 간접적으로 접하고 싶은 인물과 경험하고 싶은 가상의 상황을 제공할 수 있으며, 내담자 스스로 분명하게 파악하기 힘든 심리 상태 및 변화 용인을 파악하는데 크게 기여할 수 있다.
그런 다음, 수집된 체험 영상에 대한 영상 정보를 추출한다(S622). 여기서, 영상 정보는, 적어도 주제 영상에 등장하는 대상 인물의 3차원 안면 좌표 정보를 포함하며, 영상의 길이, 인물의 수, 인물의 성격, 나이 및 성별, 1인칭 또는 3인칭 시점 정보, 인물 간 감정 특성, 감정의 변화 특성에 관한 정보가 더 포함될 수 있고, 대상 인물은 체험 영상을 통해 주어지는 가상의 상황에서 간접적으로 접하고 싶은 인물의 역할을 대신하는 인물이며, 커버 영상 속 커버 인물의 이미지로 맵핑됨으로서 상담시 커버 인물이 해당 역할을 맡는 것처럼 느끼도록 하는 맵핑의 기초가 되는 인물에 해당한다. 이러한 영상 정보 추출을 통해 내담자에 의한 체험 영상 선택에 필요한 각종 정보와 합성 영상 생성시 맵핑에 필요한 좌표 정보를 마련할 수 있다. 대상 인물의 3차원 안면 좌표 정보는 소정의 영상 처리 알고리즘을 통해 주제 영상으로부터 추출되되, 대상 인물의 안면에 포함된 특정 형상, 패턴, 색상 또는 이들의 조합을 통해 추출될 수 있다. 소정의 영상 처리 알고리즘으로는 HOG(Histogram of Oriented Gradient), Haar-like feature, SIFT(Scale Invariant Feature Transform), LBP(Local Binary Pattern) 등이 있으며, 그 밖에 공지의 다양한 영상 처리 알고리즘이 채용될 수 있다.
이어서, 체험 영상에 대한 영상 정보들을 내담자 단말(30)로 전달하고, 이에 대한 선택정보를 수신한다(S623). 이때, 체험 영상에 대한 영상 정보들은 주제별, 상황별 목록 형태로 제공될 수 있다. 또한, 내담자의 이전 심리상담 이력이 존재하는 경우, 이전 심리상담정보에 기초하여 내담자에게 제공할 체험 영상을 선별할 수 있는데, 이전 심리상담시 시청한 합성영상과 유사하거나 관련된 체험 영상을 우선 선별하여 목록 형태로 제공할 수 있다. 여기서, 내담자 단말(30)로 전달되는 영상 정보는 영상의 길이, 인물의 수, 인물의 성격, 나이 및 성별, 대상 인물의 3차원 안면 정보, 장면의 특징, 1인칭 또는 3인칭 시점 정보, 인물 간 감정 특성, 감정의 변화 특성에 관한 정보와 함께, 체험 영상의 대표 장면의 썸네일 정보를 포함할 수 있다. 그리고, 선택정보는 내담자 단말(30)로 전달된 체험 영상들 중 선택된 체험 영상의 식별정보, 체험 영상에 둘 이상의 대상 인물이 등장할 경우 맵핑할 하나의 대상 인물에 대한 선택정보, 동일한 주제 영상에 대한 1인칭 시점 및 3인칭 시점에 따른 각각의 영상이 준비된 경우 제공될 합성 영상의 시점 정보가 포함될 수 있다.
다음으로, 체험 영상의 선택정보가 수신되면, 선택된 체험 영상의 음성정보를 추출한다(S624). 여기서, 음성정보는 음성의 파형, 주파수 변화, 세기 등이 포함될 수 있다. 이러한 음성정보 추출은 통상적으로 음성 정보를 파악하고 추출하며 분석하는데 사용될 수 있는 다양한 수단이 채용될 수 있다.
그런 다음, 내담자 단말(20)로부터 커버 영상 및 음성을 수신한다(S625). 여기서, 커버 영상 및 음성은 체험 영상의 대상 인물에 맵핑할 커버 인물에 대한 영상 및 음성을 포함한다. 커버 영상의 커버 인물은 체험 영상 내에 주어진 상황에서 내담자가 가상의 합성 영상의 환경 내에서 간접적으로 대면하고 싶은 현실의 인물일 수 있다. 이를 통해, 내담자는 전문상담사에서 제공하는 체험 영상에 커버 영상을 맵핑한 합성 영상을 시청하면서 현실에서 마주하기 곤란한 상황을 간접적으로 느끼고 그로부터 현재의 심리 상태 인지, 심리 상태의 변화 인지, 심리 상태의 개선 등의 상담 효과를 거둘 수 있다.
이어서, 합성 영상을 생성하고, 생성된 합성 영상을 내담자 단말(20)로 전달한다(S626). 여기서, 합성 영상은 체험 영상의 일부 또는 전체 프레임에서 대상 인물의 일부 또는 전체 이미지를 기초로 커버 영상에 포함된 이미지로 합성함으로써 생성될 수 있다. 이와 같이, 체험 영상에 커버 영상을 맵핑함으로써 내담자가 합성 영상을 시청할 때 기존의 체험 영상을 시청하여 느낄 수 있는 심리 변화를 느낄 수 있되 내담자가 제공한 커버 영상의 커버인물이 주제 영상에 등장하는 것처럼 느낄 수 있다.
이를 위해, 먼저, 내담자 단말(20)로부터 수신된 커버 영상에 등장하는 커버 인물의 3차원 안면 좌표 정보 및 음성 정보를 추출한다. 그런 다음, 커버 인물의 3차원 안면 좌표 정보를 기초로 커버 인물을 선택된 체험 영상에 등장하는 대상 인물에 맵핑한다. 이때, 커버 인물의 3차원 안면 좌표 정보와 대상 인물의 3차원 안면 좌표 정보를 기초로 각각의 특징적인 부분을 매칭하고, 각각의 프레임에서 대상 인물의 안면 각도에 따른 이미지에 대응하는 커버 인물의 이미지를 생성할 수 있다. 커버 인물의 이미지를 체험 영상에 합성하기 위해 공지의 영상 합성 알고리즘이 자유롭게 채용될 수 있다. 또한, 커버 영상에 나타나는 커버 인물의 음성 정보를 기초로 커버 인물을 내담자에 의해 선택된 체험 영상에 나타나는 대상 인물의 음성에 맵핑한다. 이때, 추출한 커버 인물과 대상 인물의 음성 정보를 기초로 하여 체험 영상에서 대상 인물의 일부 또는 전체 음성을 커버 영상의 커버 인물의 일부 또는 전체 음성으로 대체하거나 변조할 수 있다. 커버 인물의 음성 정보와 대상 인물의 음성 정보를 기초로 각각의 특징적인 부분을 매칭하고, 각각의 시점에서 발생한 음성을 변경할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10. 심리상담정보 처리 장치 11. 화상상담 연결부
12. 필터 설정부 13. 체험영상 생성 및 제공부
14. 감정분석정보 생성부 15. 심리상담정보 제공부
16. 저장부 20. 내담자 단말
30. 전문상담사 단말
12. 필터 설정부 13. 체험영상 생성 및 제공부
14. 감정분석정보 생성부 15. 심리상담정보 제공부
16. 저장부 20. 내담자 단말
30. 전문상담사 단말
Claims (3)
- 화상상담을 진행하기 위한 어플리케이션을 실행하거나 심리상담정보 처리 장치에 연결되어 화상상담을 수행하는 내담자 단말;
화상상담을 진행하기 위한 어플리케이션을 실행하거나 심리상담정보 처리 장치에 연결되어 상기 내담자 단말과 화상상담을 수행하는 전문상담사 단말; 및
상기 내담자 단말과 상기 전문상담사 단말을 연결하여 화상상담을 지원하는 화상상담 연결부와, 상기 전문상담사 단말측에서 제공되는 화상에 배경이미지 및 캐릭터 이미지가 포함된 필터를 중첩하여 상기 내담자 단말로 제공하는 필터 설정부와, 상기 내담자 단말로 체험영상 또는 합성영상을 제공하는 체험영상 생성 및 제공부와, 상기 체험영상 또는 합성영상이 재생되는 동안 또는 상담이 진행되는 동안 화상상담 연결을 통해 제공되는 내담자의 화상으로부터 얼굴표정 및 음성을 인식하여 감정상태, 감정강도, 감정어휘의 사용빈도 및 사용비중에 기초한 감정분석 정보를 생성하는 감정분석정보 생성부와, 상기 감정분석 정보로부터 내담자의 감정상태, 감정강도, 내담자의 감정에 영향을 미친 체험영상의 장면 및 대화내용, 사용빈도가 높은 부정적 어휘 및 긍정적 어휘 목록, 부정적 어휘 및 긍정적 어휘의 사용빈도 변화 및 사용비중 변화를 분석하여 심리상담정보를 생성하고 생성된 심리상담정보를 시각화하여 상기 내담자 단말 및 상기 전문상담사 단말로 각각 전달하는 심리상담정보 제공부를 구비하는 심리상담정보 처리 장치;를 포함하는 실시간 감정분석이 가능한 심리 상담 시스템. - 제1항에 있어서,
상기 감정분석정보 생성부는, 상기 체험영상 또는 합성영상이 재생되는 시간과 상기 화상상담 연결을 통해 제공되는 내담자측 화상 수신 시간이 동기화되도록 하며, 상기 내담자측 화상으로부터 얼굴을 인식한 후 인식된 얼굴로부터 표정을 검출하고, 검출된 얼굴 표정에 대한 감정상태를 검출하는 얼굴표정 검출 모듈;
상기 체험영상 또는 합성영상이 재생되는 시간과 상기 화상상담 연결을 통해 제공되는 내담자측 화상 수신 시간이 동기화되도록 하며, 상기 내담자측 화상으로부터 음성을 인식하고, 인식된 음성의 강약 및 고저를 검출하여 감정강도를 검출하는 음성인식 모듈;
상기 인식된 음성을 텍스트로 변환하고, 변환된 텍스트로부터 감정어휘를 추출하되, 추출된 감정어휘를 부정적 어휘 또는 긍정적 어휘로 분류한 후 각 어휘별 사용횟수를 계수하여 산출하고, 전체 문장수 및 전체 어휘수, 상기 부정적 어휘 및 긍정적 어휘가 각각 사용된 문장수를 각각 계수하여 산출하는 감정어휘 추출 모듈;
검출된 감정상태 정보, 검출된 감정강도 정보, 검출된 부정적 어휘 및 긍정적 어휘로 분류된 각 어휘별 사용횟수, 전체 문장수 및 전체 어휘수, 상기 부정적 어휘 및 긍정적 어휘가 각각 사용된 문장수를 분석하여 감정상태, 상기 감정상태에 대한 감정강도, 상기 부정적 어휘 및 긍정적 어휘 각각의 사용비중, 상기 부정적 어휘 및 긍정적 어휘로 분류된 어휘별 사용횟수에 따른 어휘목록을 적어도 포함하는 감정분석정보를 생성하는 감정분석정보 생성 모듈; 및
미리 정의된 감정어휘가 저장된 감정어휘 데이터베이스;를 포함하는 것을 특징으로 실시간 감정분석이 가능한 심리 상담 시스템. - 제2항에 있어서,
상기 심리상담정보 제공부는, 상기 감정분석 정보로부터 내담자의 감정상태, 감정강도, 내담자의 감정에 영향을 미친 체험영상의 장면 및 대화내용, 사용빈도가 높은 부정적 어휘 및 긍정적 어휘 목록, 부정적 어휘 및 긍정적 어휘의 사용빈도 변화 및 사용비중 변화를 분석하고, 분석 결과 상기 얼굴표정 및 음성에 기초하여 검출된 감정상태 및 감정강도, 사용빈도가 높은 부정적 어휘 및 긍정적 어휘 목록, 부정적 어휘 및 긍정적 어휘 각각의 사용빈도 및 사용비중 정보, 부정적 어휘 및 긍정적 어휘의 사용빈도 변화 및 사용비중 변화 정보, 시청한 체험영상 정보, 내담자의 감정에 영향을 미친 체험영상의 장면 및 대화내용, 전문상담사로부터 추가된 상담정보, 상기 체험영상 또는 합성영상 시청시 상기 체험영상 또는 합성영상이 재생되는 시간과 동기화된 화상으로부터 검출된 감정상태 및 감정강도 정보를 통해 상기 내담자의 감정에 영향을 미친 체험 영상의 요인을 확인하도록 매칭한 정보를 적어도 포함하는 심리상담정보를 생성하며,
생성된 심리상담정보를 실시간으로 내담자 단말 및 전문상담사 단말로 전달하되, 상기 생성된 심리상담정보가 화상의 일 부분에 표출되도록 하는 것을 특징으로 하는 실시간 감정분석이 가능한 심리 상담 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210012790A KR102257427B1 (ko) | 2021-01-29 | 2021-01-29 | 실시간 감정분석이 가능한 심리 상담 시스템 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210012790A KR102257427B1 (ko) | 2021-01-29 | 2021-01-29 | 실시간 감정분석이 가능한 심리 상담 시스템 및 그 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102257427B1 true KR102257427B1 (ko) | 2021-06-01 |
Family
ID=76375799
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210012790A KR102257427B1 (ko) | 2021-01-29 | 2021-01-29 | 실시간 감정분석이 가능한 심리 상담 시스템 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102257427B1 (ko) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102324440B1 (ko) | 2021-06-30 | 2021-11-11 | 송태홍 | 정신건강의학과의 진료를 위한 환자 심리 상태 분석 방법, 장치 및 시스템 |
| KR102456155B1 (ko) * | 2021-12-06 | 2022-11-03 | 주식회사 채움숲 | 심리 상태를 바탕으로 휴양 정보를 제공하는 전자 장치의 제어 방법 |
| KR20230114195A (ko) * | 2022-01-24 | 2023-08-01 | 주식회사 허니엠앤비 | 감정 분석 결과 제공 장치 및 감정 분석 결과 제공 시스템 |
| KR102578093B1 (ko) * | 2023-05-08 | 2023-09-15 | 주식회사 데이터사이언스랩 | 상담자와 내담자의 상담 내용을 기록 및 관리하기 위한 장치 및 방법 |
| KR102596451B1 (ko) * | 2022-12-26 | 2023-11-02 | 황필수 | 뉴럴 네트워크를 이용하여 상담사 단말과 내담자 단말을 매칭시키는 방법 및 장치 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160123729A (ko) | 2015-04-17 | 2016-10-26 | 광운대학교 산학협력단 | 오픈 프레임 기반 온라인 심리 상담소 시스템 |
| KR20180099403A (ko) * | 2017-02-28 | 2018-09-05 | 주식회사 에임메드 | 온라인 심리상담 시스템 및 이를 이용한 온라인 심리상담 방법 |
| KR20190034035A (ko) * | 2017-09-22 | 2019-04-01 | 김영선 | 롤플레잉 기반 가상현실을 이용한 대리체험 서비스 제공 방법 |
| KR20190054501A (ko) * | 2017-11-13 | 2019-05-22 | 주식회사 하가 | 피검자의 감정을 분석하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체 |
| KR20200008838A (ko) * | 2018-07-17 | 2020-01-29 | 김하륜 | 가상 면접 제공 방법 및 이를 이용하는 장치 |
| KR102130750B1 (ko) * | 2020-03-23 | 2020-07-06 | 이병관 | 빅데이터 및 인공지능 기반 양방향 가상현실 콘텐츠를 이용한 심리상담 서비스 제공 방법 |
-
2021
- 2021-01-29 KR KR1020210012790A patent/KR102257427B1/ko active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160123729A (ko) | 2015-04-17 | 2016-10-26 | 광운대학교 산학협력단 | 오픈 프레임 기반 온라인 심리 상담소 시스템 |
| KR20180099403A (ko) * | 2017-02-28 | 2018-09-05 | 주식회사 에임메드 | 온라인 심리상담 시스템 및 이를 이용한 온라인 심리상담 방법 |
| KR20190034035A (ko) * | 2017-09-22 | 2019-04-01 | 김영선 | 롤플레잉 기반 가상현실을 이용한 대리체험 서비스 제공 방법 |
| KR20190054501A (ko) * | 2017-11-13 | 2019-05-22 | 주식회사 하가 | 피검자의 감정을 분석하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체 |
| KR20200008838A (ko) * | 2018-07-17 | 2020-01-29 | 김하륜 | 가상 면접 제공 방법 및 이를 이용하는 장치 |
| KR102130750B1 (ko) * | 2020-03-23 | 2020-07-06 | 이병관 | 빅데이터 및 인공지능 기반 양방향 가상현실 콘텐츠를 이용한 심리상담 서비스 제공 방법 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102324440B1 (ko) | 2021-06-30 | 2021-11-11 | 송태홍 | 정신건강의학과의 진료를 위한 환자 심리 상태 분석 방법, 장치 및 시스템 |
| KR102456155B1 (ko) * | 2021-12-06 | 2022-11-03 | 주식회사 채움숲 | 심리 상태를 바탕으로 휴양 정보를 제공하는 전자 장치의 제어 방법 |
| KR20230114195A (ko) * | 2022-01-24 | 2023-08-01 | 주식회사 허니엠앤비 | 감정 분석 결과 제공 장치 및 감정 분석 결과 제공 시스템 |
| KR102630803B1 (ko) * | 2022-01-24 | 2024-01-29 | 주식회사 허니엠앤비 | 감정 분석 결과 제공 장치 및 감정 분석 결과 제공 시스템 |
| KR102596451B1 (ko) * | 2022-12-26 | 2023-11-02 | 황필수 | 뉴럴 네트워크를 이용하여 상담사 단말과 내담자 단말을 매칭시키는 방법 및 장치 |
| KR102578093B1 (ko) * | 2023-05-08 | 2023-09-15 | 주식회사 데이터사이언스랩 | 상담자와 내담자의 상담 내용을 기록 및 관리하기 위한 장치 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102257427B1 (ko) | 실시간 감정분석이 가능한 심리 상담 시스템 및 그 방법 | |
| KR102277820B1 (ko) | 반응정보 및 감정정보를 이용한 심리 상담 시스템 및 그 방법 | |
| Avots et al. | Audiovisual emotion recognition in wild | |
| D’Mello et al. | The affective computing approach to affect measurement | |
| Soldner et al. | Box of lies: Multimodal deception detection in dialogues | |
| US20130254287A1 (en) | Online Social Interaction, Education, and Health Care by Analysing Affect and Cognitive Features | |
| Perepelkina et al. | RAMAS: Russian multimodal corpus of dyadic interaction for affective computing | |
| Sharma et al. | Automatic group level affect and cohesion prediction in videos | |
| CN113380271B (zh) | 情绪识别方法、系统、设备及介质 | |
| Dupont et al. | Laughter research: A review of the ILHAIRE project | |
| Abouelenien et al. | Gender-based multimodal deception detection | |
| Kang et al. | A visual-physiology multimodal system for detecting outlier behavior of participants in a reality TV show | |
| Antonio Gomez Jauregui et al. | Design and evaluation of postural interactions between users and a listening virtual agent during a simulated job interview | |
| Mousannif et al. | The human face of mobile | |
| Stamp et al. | Kinect-ing the dots: Using motion-capture technology to distinguish sign language linguistic from gestural expressions | |
| McTear et al. | Affective conversational interfaces | |
| Liu et al. | Multimodal behavioral dataset of depressive symptoms in chinese college students–preliminary study | |
| Elkobaisi et al. | Human emotion: a survey focusing on languages, ontologies, datasets, and systems | |
| Sako et al. | Developing face emotion tracker for quantitative evaluation of care effects | |
| Soleymani | Implicit and Automated Emtional Tagging of Videos | |
| Zhai et al. | The Syncretic Effect of Dual-Source Data on Affective Computing in Online Learning Contexts: A Perspective From Convolutional Neural Network With Attention Mechanism | |
| Murray et al. | Comparing player responses to choice-based interactive narratives using facial expression analysis | |
| Chambel et al. | That's AWESOME: Awareness While Experiencing and Surfing On Movies through Emotions | |
| Bahreini et al. | FILTWAM and voice emotion recognition | |
| Han et al. | You sound like your counterpart: Interpersonal speech analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |