KR101913845B1 - 사용자의 심리 상태 데이터를 획득하고 상기 사용자의 심리 상태에 대하여 판단하기 위한 방법, 이를 이용한 사용자 단말, 서버, 및 심리 상태 판단용 키트 - Google Patents

Abstract

본 발명은 사용자의 심리 상태 데이터를 획득하고 상기 사용자의 심리 상태에 대하여 판단하기 위한 방법, 이를 이용한 사용자 단말, 서버, 및 심리 상태 판단용 키트에 관한 것이다. 본 발명에 따르면, 센서를 통해 측정된 생체신호에 대한 데이터인 제1 입력 데이터, VR(virtual reality) 콘텐츠와의 인터랙션(interaction)을 통해 상기 사용자의 정신 상태를 판단한 데이터인 제2 입력 데이터 및 타액분석기에 나타난 상태를 카메라 모듈을 통해 획득한 데이터인 제3 입력 데이터를 획득하고, 상기 제1 입력 데이터, 상기 제2 입력 데이터 및 상기 제3 입력 데이터를 참조로 하여 상기 사용자의 심리 상태에 대하여 판단하거나 판단하도록 지원하는 방법, 그리고 이를 이용한 사용자 단말, 서버, 및 심리 상태 판단용 키트가 제공된다.

Description

사용자의 심리 상태 데이터를 획득하고 상기 사용자의 심리 상태에 대하여 판단하기 위한 방법, 이를 이용한 사용자 단말, 서버, 및 심리 상태 판단용 키트{METHOD FOR OBTAINING PSYCHOLOGICAL STATE DATA OF USER TO ASSESS PSYCHOLOGICAL STATE THEREOF, AND USER TERMINAL, SERVER AND PSYCHOLOGICAL ASSESSMENT KIT USING THE SAME}

본 발명은 사용자의 심리 상태 데이터를 획득하고 상기 사용자의 심리 상태에 대하여 판단하기 위한 방법, 이를 이용한 사용자 단말, 서버, 및 심리 상태 판단용 키트에 관한 것으로, 더 상세하게는, 센서를 통해 측정된 생체신호에 대한 데이터인 제1 입력 데이터, VR(virtual reality) 콘텐츠와의 인터랙션(interaction)을 통해 상기 사용자의 정신 상태를 판단한 데이터인 제2 입력 데이터 및 타액분석기에 나타난 상태를 카메라 모듈을 통해 획득한 데이터인 제3 입력 데이터를 획득하고, 상기 제1 입력 데이터, 상기 제2 입력 데이터 및 상기 제3 입력 데이터를 참조로 하여 상기 사용자의 심리 상태에 대하여 판단하거나 판단하도록 지원하는 방법, 그리고 이를 이용한 사용자 단말, 서버, 및 심리 상태 판단용 키트에 관한 것이다.

최근 대한민국에서는 청장년층의 높은 자살률이 줄어들지 않고 있어 해마다 큰 문제가 되고 있는바, 대한민국은 세계 최고의 높은 자살률을 최근 수년간 계속 유지하고 있다. 특히 20대 남성의 경우 2013년 대비 2014년에 4.2%의 자살률이 증가하였으며, 30~40대의 경우에도 2013년 대비 2014년에 각각 0.5%, 1.2% 상승하고 있는 추세이다.

이는 사회경제적 손실로 귀결되어 대한민국에서 5대 사망 원인 중 2위인 자살사망으로 인한 연간 손실은 6조 5천억원에 달한다. 20~30대의 사망원인 1위가 자살인 만큼 생산성이 가장 높고 가장 열심히 일 할 수 있는 20~30대의 사망률은 대한민국에서 심각한 문제로 대두되고 있다.

이와 같은 문제를 해결하기 위하여 심리 상태에 대한 평가와 치료에 대한 수요가 꾸준히 증가되는 추세인데, 이는 임상 심리사 및 기타 치료사에 대한 향후 예측에서 알 수 있다. 현재에는 정신질환 치료율이 다른 나라에 비하여 상당히 낮은 수준인데, 이는 정신질환에 대한 편견과 더불어 정신과 치료기관을 방문해야 하는 접근성과도 연관된다. 입원 치료를 보완할 수 있는 평가 서비스 프로그램을 개발할 필요가 있는바, 대한민국의 정신 건강의 치료는 대부분 입원 치료로 진행되고 있기 때문이다. OECD에서 권고하는 바와 같이 입원 중심의 치료 모델에서 통원 치료와 지역 사회 중심의 정신 관리 연계 모델로 이양될 필요가 있다.

이에 따라 대한민국의 높은 인터넷 회선 및 휴대용 단말의 보급률을 활용하여 몰입도와 접근성을 높인 심리 평가를 시행할 수 있다면, 일반인들의 정신 건강에 대한 관심을 유도할 수 있으며, 나아가서는 자살 위험성 유소견 집단을 대상으로 심리 상태를 평가하여 자살 고위험군 집단을 대상으로 집중 치료를 실시함으로써 자살률 감소에 기여할 수 있을 것이다.

이를 위한 종래의 기술로서, 미국에서는 PTSD(외상후 스트레스 장애)의 치료를 위하여 VR을 최초로 이용한 ‘버추얼 베트남(Virtual Vietnam)’이라는 솔루션이 있는데, 이는 1997년에 베트남 참전 군인들의 치료를 위하여 미국 조지아텍에서 시도된 것이다. 이후 미국 UCS의 정신과 전문의 알버트 리조(Albert Rizzo) 박사가 개발을 주도하여, VR을 군인들의 PTSD 치료에 더욱 활발하게 사용하였으며, 리조 박사 팀은 2005년 이라크전 참전 군인들의 PTSD 치료를 위한 ‘버추얼 이라크(Virtual Iraq)’라는 VR 솔루션을 개발하기에 이른다.

이와 같이 인지 행동을 치료하는 방법은 스마트폰과 같은 사용자 단말을 이용하여 수행될 수도 있을 것인바, 영국에서는 이미 긍정적인 정서를 늘리고 부정적인 정서를 줄이기 위한 인지 행동 치료 프로그램(Catch It)을 통하여 그러한 효과가 실제로 획득되었다는 점을 확인할 수 있다(Kinderman et al, 2015). 그 외 화상 환자의 통증 완화를 위한 VR 적용(워싱턴 대학), 당뇨병 환자를 위한 VR의 적용(NASA), 암 환자를 위한 VR 적용(일본 국립암센터) 등의 다수의 심리 헬스케어 플랫폼의 시도가 이루어지고 있다.

한편, 이와 같은 대부분의 심리 헬스케어 플랫폼 및 서비스는 서로 다른 고유 플랫폼을 통해 서비스가 제공되기 때문에 융합된 통합 서비스를 제공할 기반이 부족한 것이 현실이다. 생물학적, 행동학적으로 객관화될 수 있는 지표와 설문형으로 제공된 증상 점수 등이 통합적으로 분석되지 못하고 있다. 또한, 바쁜 현대인의 삶으로 인하여 실제 대인 관계 등을 통하여 심리에 관한 훈련을 연습할 시간이 부족하며, 특히 다양한 사람들이 공통된 장소, 공통된 시간에 모여서 교육 훈련을 받기 매우 힘들다.

다만, 웨어러블 기기의 보급화가 이루어지고 있어 태동중인 산업인 웨어러블 VR 산업에 1인 1기계와 같은 보편화가 이루어진다면 서비스 보급이 널리 이루어질 수 있을 것으로 전망된다.

이에 따라 본 발명자는, 융합된 통합 서비스로 제공될 수 있으며 개인 맞춤형의 서비스를 적용하기에 유리하며, 생물학적, 행동학적으로 객관화할 수 있는 지표와 설문형으로 제공된 자료를 통하여 심리 상태의 분석이 가능한, 특히 생체신호 및 생체표지(예컨대, 타액의 표지)의 도입을 통하여 분석의 효율성 및 평가 특이도가 향상될 수 있는 심리 상태의 판단 방법 및 이를 실시하기 위한 심리 상태 판단용 키트를 제안하고자 한다.

본 발명은 상술한 문제점을 해결하는 것을 목적으로 한다.

구체적으로, 본 발명은 자살과 같은 부정적 심리 상태의 판단을 통하여 자살 예방을 할 수 있는 VR 기반의 심리 상태 판단 방법을 제공하는 것을 목적으로 한다.

또한, 본 발명은 자살뿐만 아니라 보편적인 정신 건강을 위한 심리 상태 판단에 초점을 맞춰 정신건강의학과에 대한 일반인들의 장벽을 해소함으로써 개인 맞춤형 치료 서비스를 제공하되 병원 방문 횟수를 최소화하는 것을 목적으로 한다.

그리고 본 발명은 심리 상태 판단용 키트의 제공을 통하여 통합 심리 헬스케어 플랫폼을 제공함으로써 대인관계 또는 집단 치료의 장벽으로 인한 심리 상태 관리의 현실적 어려움을 극복할 수 있게 하는 것을 목적으로 한다.

게다가, 본 발명은 심리 상태 판단의 정확성을 높이기 위하여 생체신호, 생체지표를 수집할 수 있는 장치를 통하여 이들 생체신호 및 생체지표를 수집할 수 있게 하는 것을 목적으로 한다.

뿐만 아니라, 본 발명은 사용자의 반응 신호에 대응하여 적응적으로 인터랙션을 다르게 함으로써 사용자의 정신 건강을 변화시키는 조력을 할 수 있게 하는 것을 목적으로 한다.

상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.

본 발명의 일 태양에 따르면, 사용자의 심리 상태 데이터를 획득하고 상기 사용자의 심리 상태에 대하여 판단하거나 판단하도록 지원하기 위한 방법이 제공되는바, 그 방법은, (a) 사용자 단말이, 센서를 통해 측정된 생체신호에 대한 데이터인 제1 입력 데이터, VR(virtual reality) 콘텐츠와의 인터랙션(interaction)을 통해 상기 사용자의 정신 상태를 판단한 데이터인 제2 입력 데이터 및 타액분석기에 나타난 상태를 카메라 모듈을 통해 획득한 데이터인 제3 입력 데이터를 획득하는 단계; 및 (b) 상기 사용자 단말이, 상기 제1 입력 데이터, 상기 제2 입력 데이터 및 상기 제3 입력 데이터를 참조로 하여 상기 사용자의 심리 상태에 대하여 판단하거나 판단하도록 지원하는 단계를 포함한다.

본 발명의 다른 태양에 따르면, 사용자의 심리 상태 데이터를 획득하고 상기 사용자의 심리 상태에 대하여 판단하기 위한 방법이 제공되는바, 그 방법은, (a) 서버가, 센서를 통해 측정된 생체신호에 대한 데이터인 제1 입력 데이터, VR(virtual reality) 콘텐츠와의 인터랙션(interaction)을 통해 상기 사용자의 정신 상태를 판단한 데이터인 제2 입력 데이터 및 타액분석기에 나타난 상태를 카메라 모듈을 통해 획득한 데이터인 제3 입력 데이터를 사용자 단말로부터 획득하는 단계; 및 (b) 상기 서버가, 상기 제1 입력 데이터, 상기 제2 입력 데이터 및 상기 제3 입력 데이터를 참조로 하여 상기 사용자의 심리 상태에 대하여 판단하거나 판단하도록 지원하는 단계를 포함한다.

본 발명의 또 다른 태양에 따르면, 사용자의 심리 상태 데이터를 획득하고 상기 사용자의 심리 상태에 대하여 판단하거나 판단하도록 지원하는 사용자 단말이 제공되는바, 그 사용자 단말은, 센서를 통해 측정된 생체신호에 대한 데이터인 제1 입력 데이터, VR(virtual reality) 콘텐츠와의 인터랙션(interaction)을 통해 상기 사용자의 정신 상태를 판단한 데이터인 제2 입력 데이터 및 타액분석기에 나타난 상태를 카메라 모듈을 통해 획득한 데이터인 제3 입력 데이터를 획득하는 통신부; 및 상기 제1 입력 데이터, 상기 제2 입력 데이터 및 상기 제3 입력 데이터를 참조로 하여 상기 사용자의 심리 상태에 대하여 판단하거나 판단하도록 지원하는 프로세서를 포함한다.

본 발명의 다른 태양에 따르면, 사용자의 심리 상태 데이터를 획득하고 상기 사용자의 심리 상태에 대하여 판단하는 서버가 제공되는바, 그 서버는, 센서를 통해 측정된 생체신호에 대한 데이터인 제1 입력 데이터, VR(virtual reality) 콘텐츠와의 인터랙션(interaction)을 통해 상기 사용자의 정신 상태를 판단한 데이터인 제2 입력 데이터 및 타액분석기에 나타난 상태를 카메라 모듈을 통해 획득한 데이터인 제3 입력 데이터를 사용자 단말로부터 획득하는 통신부; 및 상기 제1 입력 데이터, 상기 제2 입력 데이터 및 상기 제3 입력 데이터를 참조로 하여 상기 사용자의 심리 상태에 대하여 판단하거나 판단하도록 지원하는 프로세서를 포함한다.

한편, 본 발명의 다른 일 태양에 따르면, 사용자의 심리 상태 데이터를 획득하고 상기 사용자의 심리 상태에 대하여 판단하거나 판단하도록 지원하는 심리 상태 판단용 키트가 제공되는바, 그 심리 상태 판단용 키트는, (i) 사용자 단말을 거치하기 위한 지지 부재; (ii) 생체신호를 측정하기 위한 센서; 및 (iii) 타액분석기;를 포함하되, 상기 사용자 단말의 디스플레이 모듈을 통해 상기 VR 콘텐츠를 제공하고, 상기 사용자 단말의 카메라 모듈을 통해 획득된 상기 타액분석기의 이미지로부터 상기 특징점을 추출하는 것을 특징으로 하는 심리 상태 판단용 키트를 제공한다.

본 발명에 의하면, 정신건강의학과에 대한 일반인들의 장벽이 낮춰지는 효과가 있으며, 특히 대인관계 또는 집단 치료의 장벽으로 인한 심리 상태 관리의 현실적 어려움이 해소되는 효과가 있다.

게다가, 본 발명에 의하면 객관적인 수치로서 생체신호, 생체지표가 획득됨으로써 심리 상태 판단의 정확성이 높아지는 효과가 있다.

뿐만 아니라, 본 발명에 의하면 사용자의 반응 신호에 대응하여 적응적으로 인터랙션을 다르게 함으로써 사용자의 정신 건강을 관리할 수 있게 되는 효과가 있다.

본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 사람(이하 “통상의 기술자”라 지칭함)에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명에 따라 사용자의 심리 상태 데이터를 획득하고 상기 사용자의 심리 상태에 대하여 판단하거나 판단하도록 지원하기 위한 방법을 수행하는 컴퓨팅 장치인 사용자 단말을 예시적으로 나타낸 개념도이다.
도 2는 본 발명에 따라 사용자의 심리 상태 데이터를 획득하기 위한 심리 상태 판단용 키트의 구성을 예시적으로 나타낸 도면이다.
도 3은 본 발명에 따라 사용자의 심리 상태 데이터를 획득하고 상기 사용자의 심리 상태에 대하여 판단하거나 판단하도록 지원하기 위하여 상기 사용자 단말에서 실행되는 제1 내지 제4 애플리케이션을 예시적으로 나타낸 개념도이다.
도 4는 본 발명에 따라 사용자의 심리 상태 데이터를 획득하고 상기 사용자의 심리 상태에 대하여 판단하거나 판단하도록 지원하기 위한 방법을 예시적으로 나타낸 흐름도이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 본 발명이 속하는 기술분야에서 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.

본 명세서에서 ‘심리 상태’에 관한 정보는 자살, 중독, 외상 후 스트레스 장애, 각종 공포증 등등과 같은 정신 질환에 대한 위험성에 관한 정보를 포함할 수 있는 개념을 일컫는 것이다.

또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, ‘포함하다’라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.

더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

본 명세서에서 달리 표시되거나 분명히 문맥에 모순되지 않는 한, 단수로 지칭된 항목은, 그 문맥에서 달리 요구되지 않는 한, 복수의 것을 아우른다. 이하, 본 발명 기술분야의 통상의 기술자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명에 따라 사용자의 심리 상태 데이터를 획득하고 상기 사용자의 심리 상태에 대하여 판단하거나 판단하도록 지원하기 위한 방법을 수행하는 컴퓨팅 장치인 사용자 단말을 예시적으로 나타낸 개념도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 사용자 단말(100)은 전형적으로 컴퓨팅 장치 (예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 기존의 컴퓨팅 장치의 구성요소들을 포함할 수 있는 장치; 라우터, 스위치 등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS) 및 스토리지 영역 네트워크(SAN)와 같은 전자 정보 스토리지 시스템)로서, 컴퓨터 소프트웨어(즉, 컴퓨팅 장치로 하여금 특정의 방식으로 기능하게 하는 인스트럭션들)의 조합을 이용하여 본 발명에 따른 방법을 수행하는 것일 수 있는바, 그러한 컴퓨팅 장치는 통신부(110), 프로세서(120)를 포함하며, 서로 간접 또는 직접적으로 통신할 수 있다. 본 발명의 일 실시예에 따른 서버(300; 도 3을 참조)도 상기 사용자 단말(100)과 마찬가지로 통신부 및 프로세서를 포함하는 컴퓨팅 장치이다.

이와 같은 컴퓨팅 장치의 통신부(110)는 연동되는 타 컴퓨팅 장치, 예컨대 서버(300)와 요청과 응답을 송수신할 수 있는바, 일 예시로서 그러한 요청과 응답은 동일한 TCP 세션에 의하여 이루어질 수 있지만, 이에 한정되지는 않는바, 예컨대 UDP 데이터그램으로서 송수신될 수도 있을 것이다.

또한 컴퓨팅 장치의 프로세서(120)는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.

본 발명의 방법을 실시하기 위한 사용자 단말(100)은, 보통, 스마트 폰(smartphone)을 의미하나 이에 한정되지 않으며 상기 사용자 단말(100)에는 본 발명의 방법을 실행할 수 있는 기능을 가진 단말이라면 어느 단말이라도 포함될 수 있을 것이다.

다음으로, 도 2는 본 발명에 따라 사용자의 심리 상태 데이터를 획득하고 상기 사용자의 심리 상태에 대하여 판단하거나 판단하도록 지원하기 위한 방법(이하 “심리 상태 판단 방법”이라 함)을 수행하는 데에 이용될 수 있는 심리 상태 판단용 키트의 구성을 예시적으로 나타낸 도면이다.

도 2를 참조하면, 본 발명에 따른 심리 상태 판단용 키트(200; 미도시)는, 생체신호를 측정하기 위한 센서(210), VR(virtual reality) 콘텐츠를 사용자에게 제공하기 위한 사용자 단말(100)을 거치하기 위한 지지 부재(220), 및 타액분석기(230)를 포함한다. 이때, 사용자 단말(100)의 디스플레이 모듈을 통해 상기 VR 콘텐츠를 제공하고, 사용자 단말(100)의 카메라 모듈을 통해 획득된 상기 타액분석기(230)의 이미지로부터 특징점을 추출하는 것을 특징으로 한다.

또한 여기에서 타액분석기(230)는 타액에 포함된 생체지표를 수집하는 장치를 지칭한다.

이에 관하여 간략하게 설명하자면, 우울증은 생화학적 요인, 유전적 요인, 환경적 요인 등에 의하여 야기될 수 있으며, 사용자가 스트레스를 받게 되면 뇌의 시상하부에서 뇌하수체 자극 호르몬을 분비하여 부신피질 호르몬의 분비가 유도된다. 이 부신피질 호르몬에 의하여 코르티솔(cortisol)의 생산이 증가되며 DHEA가 감수하며 피로도의 증가, 식욕의 증가, 체중의 증가와 같은 증상이 일어난다. 이 코르티솔과 알파 아밀라아제는 스트레스 지표 호르몬 및 효소뿐만 아니라 우울증을 유도하는 바이오마커로도 알려져 있다.

타액분석기(230)는 예를 들어 종이에 기반한 스트레스 바이오센서일 수 있는바, 이는 종이에 도포된 상기 바이오마커에 특이적으로 결합하는 항체에 의한 것일 수 있다. 그러한 특이적 결합 항체에 의한 바이오마커의 검출법은 통상의 기술자가 잘 이해할 수 있을 것이다.

또한 상기 심리 상태 판단용 키트(200)는 상기 사용자 단말(100)에 설치되어 상기 사용자 단말에서 실행되도록 구성된 적어도 하나의 애플리케이션을 담은 컴퓨터 프로그램 제품 또는 이를 기록한 컴퓨터 판독 가능한 기록매체를 더 포함할 수 있다.

구체적으로, 그와 같은 적어도 하나의 애플리케이션은 본 발명에 따른 심리 상태 판단 방법을 수행하도록 구성될 수 있는바, 예컨대 상기 심리 상태에 대한 데이터를 획득하기 위하여 존재할 수 있다.

일 예시로서, 상기 적어도 하나의 애플리케이션이 단일 애플리케이션인 경우, 상기 단일 애플리케이션이, 상기 센서를 통해 측정된 생체신호에 대한 데이터인 상기 제1 입력 데이터, 상기 VR(virtual reality) 콘텐츠와의 인터랙션(interaction)을 통해 상기 사용자의 정신 상태를 판단한 데이터인 상기 제2 입력 데이터 및 상기 타액분석기에 나타난 상태를 카메라 모듈을 통해 획득한 데이터인 상기 제3 입력 데이터를 획득할 수 있다.

다른 예시로서, 상기 적어도 하나의 애플리케이션이 복수의 애플리케이션인 경우가 있을 수 있다. 도 3은 본 발명에 따라 사용자의 심리 상태 데이터를 획득하고 상기 사용자의 심리 상태에 대하여 판단하거나 판단하도록 지원하기 위하여 상기 사용자 단말에서 실행되는 상기 적어도 하나의 애플리케이션(130)으로서 제1 내지 제4 애플리케이션(131 내지 134) 및 서버(300)를 예시적으로 나타낸 개념도이다. 도 3을 참조하면, 제1 애플리케이션(131)이 상기 센서를 통해 측정된 생체신호에 대한 데이터인 상기 제1 입력 데이터를 획득하고, 제2 애플리케이션(132)이 상기 VR(virtual reality) 콘텐츠와의 인터랙션(interaction)을 통해 상기 사용자의 정신 상태를 판단한 데이터인 상기 제2 입력 데이터를 획득하고, 제3 애플리케이션(133)이 상기 타액분석기에 나타난 상태를 상기 카메라 모듈을 통해 획득한 데이터인 상기 제3 입력 데이터를 획득하고 이를 각각 소정의 서버(300)에 전송하거나 상기 사용자 단말(100)에서 실행되는 제4 애플리케이션(134)으로 하여금 통합 관리하도록 할 수 있다.

여기에서 상기 제1 애플리케이션(131), 상기 제2 애플리케이션(132), 상기 제3 애플리케이션(133) 및 상기 제4 애플리케이션(134)은 서로 다른 애플리케이션일 수 있으나, 이들 중 적어도 둘이 동일한 애플리케이션인 경우를 배제하지는 않는다.

또한, 도 3에서는 서버(300)가 별도의 데이터베이스와 연동되는 것으로 도시되어 있으나, 서버(300)가 데이터베이스를 포함하는 경우가 배제되지는 않는다. 그리고 도 3에서 서버(300)가 별도의 인공지능 진단 시스템과 연동되는 것으로 도시되어 있으나, 서버(300)가 인공지능 진단 시스템을 포함하는 경우가 배제되지 않는다. 이 데이터베이스 및 인공지능 진단 시스템의 기능에 관하여는 후술하기로 한다.

한편, 생체신호, 센서, VR 콘텐츠 등에 관하여는 심리 상태 판단 방법의 수행과 관련하여 후술하기로 하는바, 아래에서는 사용자 단말(100)에 의하여 수행되는 본 발명의 방법을 더 상세하게 설명한다.

도 4는 본 발명에 따른 심리 상태 판단 방법을 예시적으로 나타낸 흐름도이다.

도 4를 참조하면, 본 발명에 따른 심리 상태 판단 방법은, 사용자 단말(100)이, 센서를 통해 측정된 생체신호에 대한 데이터인 제1 입력 데이터, VR(virtual reality) 콘텐츠와의 인터랙션(interaction)을 통해 상기 사용자의 정신 상태를 판단한 데이터인 제2 입력 데이터 및 타액분석기에 나타난 상태를 카메라 모듈을 통해 획득한 데이터인 제3 입력 데이터를 획득하는 단계(S410)를 포함한다.

여기에서 상기 제1 입력 데이터에 관한 일 실시예에서, 상기 생체신호는 상기 사용자가 착용할 수 있는 웨어러블(wearable) 형태의 상기 센서에 의하여 획득될 수 있고, 예를 들어, 상기 생체신호는 심박수 및 수면 패턴 중 적어도 하나를 포함할 수 있다.

상기 제2 입력 데이터에 관한 일 실시예에서, 상기 VR 콘텐츠는 사용자 단말(100)을 통하여 상기 사용자에게 제공될 수 있다.

또한, 상기 제2 입력 데이터에 관한 일 실시예에서, 상기 VR 콘텐츠는 심리 변화를 유도하기 위한 영상, 음향, 촉각 정보 및 후각 정보 중 적어도 하나를 포함할 수 있다. 또한, 단계(S410)에서, 상기 VR 콘텐츠는 가상 임상 심리사에 대응되는 합성 음성 또는 문자 선택지를 통하여 상기 사용자에게 전달되는 설문형 진단 콘텐츠일 수 있다.

예를 들어, 상기 설문형 진단 콘텐츠는 DBT(dialectical behavior therapy)가 적용된 콘텐츠일 수 있다. 이는, 자살 행동과 같은 경계선 성격장애자들이 보이는 문제를 치료하고자 고안된 기법으로서, 자살이나 의사자살, 기타 역기능적 행동을 잘못 습득한 문제 해결 레퍼토리로 가정하며, 이를 재구성하고 능동적인 문제 해결을 하는 것이 그 기법의 초점이다.

DBT의 많은 부분은 문제 해결, 노출, 기술 훈련, 유관성 관리, 인지 수정과 같은 인지 행동 치료 분야에서 잘 알려진 기법을 포함하고 있다. 이는 임의적 강화물이나 혐오적 유관성을 활용하여 사용자(내담자)가 보이는 위협을 회피하는 경향을 지속적으로 관찰하고, 공포를 일으키는 자극에 대한 실제적, 가상적 노출 훈련을 연습하게 도움으로써 심리 상태의 긍정적인 변화를 야기할 수 있다.

상기 설문형 진단 콘텐츠는 위의 예시에 한정되지 않으며 해당 기술분야의 통상의 기술자는 타 기법을 이용하여 상기 콘텐츠를 구성할 수 있을 것인바, 그러한 타 기법에는 예컨대 MCP(meaning centered psychotherapy)가 있을 수 있다.

다음으로, 상기 제2 입력 데이터에 관한 일 실시예에서, 상기 제2 입력 데이터는 상기 사용자 단말(100)에 포함되거나 이에 연동되는 음향 센서로부터 획득된 상기 사용자의 음성 신호를 상기 사용자의 반응 신호로서 참조하여 판단될 수 있다. 이 실시예에서는 상기 제2 입력 데이터는 상기 사용자의 음성 신호를 음성 인식한 결과인 텍스트 및 상기 사용자의 음성 신호로부터 판정된 상기 정신 상태 중 적어도 하나에 기초하여 판단될 수도 있다. 이는 사용자의 음성이 반응 신호로서 획득되는 실시예이다.

상기 제2 입력 데이터에 관한 일 실시예에서, 상기 VR 콘텐츠와의 인터랙션은 상기 사용자의 반응 신호로서 상기 사용자의 제스처 신호를 포함하고, 상기 제스처 신호는 상기 사용자 단말(100)에 포함되거나 이에 연동되는 자이로 센서 및 가속도 센서 중 적어도 하나로부터 획득될 수 있다. 이는 사용자의 신체 움직임이 반응 신호로서 획득되는 실시예이다.

한편, 상기 제2 입력 데이터에 관한 일 실시예에서, 상기 VR 콘텐츠는 상기 사용자의 반응 신호에 따라 적응적으로 변경될 수 있다. 예를 들어 상기 설문형 진단 콘텐츠에 따른 상기 가상 임상 심리사의 질문 및 답변 중 적어도 하나, 및 상기 반응 정보를 참조로 하여 상기 적응적 변경이 수행될 수 있을 것이다.

그리고 상기 제3 입력 데이터에 관한 일 실시예에서, 상기 제3 입력 데이터는 상기 타액으로부터 검출된 코르티솔(cortisol) 및 알파 아밀라아제 중 적어도 하나의 농도에 관한 정보 및 상기 농도에 관한 정보로부터 도출되는 스트레스 등급에 관한 정보 중 적어도 하나를 포함할 수 있다.

이와 같은 상기 제3 입력 데이터는 상기 타액분석기에 나타난 상태를 상기 카메라 모듈을 통해 인식한 이미지에서 획득된 특징점과 소정의 데이터베이스에 저장된 특징점을 상호 비교함으로써 획득될 수 있다. 이 경우에, 상기 데이터베이스에서는 상기 정신 상태의 등급별로 대응되는 복수의 특징점 패턴이 관리될 수 있다.

또한, 상기 제1 내지 제3 입력 데이터의 획득은 반복적으로 이루어지거나 주기적으로 이루어질 수 있다.

한편, 이 단계(S410)에서, 상기 사용자 단말(100)에서 실행되는 적어도 하나의 애플리케이션(130)이 상기 심리 상태에 대한 데이터를 획득하기 위하여 존재할 수 있다. 일 예시로서, 단일 애플리케이션이 상기 심리 상태에 대한 데이터를 획득하도록 설정되는 경우, 상기 단일 애플리케이션이, 상기 센서를 통해 측정된 생체신호에 대한 데이터인 상기 제1 입력 데이터, 상기 VR(virtual reality) 콘텐츠와의 인터랙션(interaction)을 통해 상기 사용자의 정신 상태를 판단한 데이터인 상기 제2 입력 데이터 및 상기 타액분석기에 나타난 상태를 카메라 모듈을 통해 획득한 데이터인 상기 제3 입력 데이터를 획득할 수 있다. 다른 예시로서, 복수의 애플리케이션(131 내지 134)이 상기 심리 상태에 대한 데이터를 획득하도록 설정되는 경우, 제1 애플리케이션(131)이 상기 센서를 통해 측정된 생체신호에 대한 데이터인 상기 제1 입력 데이터를 획득하고, 제2 애플리케이션(132)이 상기 VR(virtual reality) 콘텐츠와의 인터랙션(interaction)을 통해 상기 사용자의 정신 상태를 판단한 데이터인 상기 제2 입력 데이터를 획득하고, 제3 애플리케이션(133)이 상기 타액분석기에 나타난 상태를 상기 카메라 모듈을 통해 획득한 데이터인 상기 제3 입력 데이터를 획득하고 이를 각각 소정의 서버(300)에 전송하거나 상기 사용자 단말(100)에서 실행되는 제4 애플리케이션(134)으로 하여금 통합 관리하도록 할 수 있다.

여기에서 상기 제1 애플리케이션, 상기 제2 애플리케이션, 상기 제3 애플리케이션 및 상기 제4 애플리케이션은 서로 다른 애플리케이션일 수 있으나, 이들 중 적어도 둘이 동일한 애플리케이션인 경우를 배제하지는 않는다.

다시 도 4를 참조하면, 본 발명에 따른 심리 상태 판단 방법은, 상기 사용자 단말(100)이, 상기 제1 입력 데이터, 상기 제2 입력 데이터 및 상기 제3 입력 데이터를 참조로 하여 상기 사용자의 심리 상태에 대하여 판단하거나 판단하도록 지원하는 단계(S420)를 더 포함한다. 상기 사용자 단말(100)이 직접 판단하지 않는 경우에, 상기 사용자 단말(100)은 상기 사용자 단말(100)에 연동되는 서버(300)로 하여금 판단하도록 지원하는 경우에 상기 사용자 단말(100)을 상기 제1 입력 데이터, 상기 제2 입력 데이터 및 상기 제3 입력 데이터를 상기 서버(300)에 전달함으로써 상기 서버(300)로 하여금 획득된 상기 제1 내지 제3 입력 데이터로부터 상기 사용자의 심리 상태에 대하여 판단하도록 할 수 있다. 이 단계(S420)에서 심리 상태가 판단되는 과정은 상세하게 후술하기로 한다.

이와 같은 심리 상태 판단 방법은 반복적으로 수행될 수도 있는바, 일 실시예에서는, 상기 심리 상태 판단 방법의 반복 수행시마다, 상기 사용자 단말(100)이, 상기 제1 입력 데이터, 상기 제2 입력 데이터 및 상기 제3 입력 데이터 중 적어도 하나에 대한 정량 수치 및 상기 정량 수치의 변화량을 획득할 수 있다. 이를 통하여 상기 사용자 또는 상기 사용자의 심리 진단 담당자는 상기 사용자의 심리 상태가 변화되는 추이를 손쉽게 파악할 수 있다.

또한, 일 실시예에서는, 상기 방법의 반복 수행시마다, 상기 VR 콘텐츠와의 상기 인터랙션이 이전의 적어도 1회의 상기 방법의 수행시에 획득된 (i) 상기 제1 입력 데이터, (ii) 상기 제2 입력 데이터, (iii) 상기 제3 입력 데이터 및 (iv) 상기 (i) 내지 (iii)로부터 판단된 상기 사용자의 심리 상태를 참조로 하여 변경될 수 있다. 즉, 사용자의 심리 상태가 변화되는 추이에 따라 보다 적절한 외부 자극으로서 상기 VR 콘텐츠를 제공할 수 있는 것이다.

한편, 전술한 바와 같은 본 발명에 따른 심리 상태 판단 방법을 서버를 기준으로 다시 설명하자면, 그 심리 상태 판단 방법은, 서버(300)가, 센서를 통해 측정된 생체신호에 대한 데이터인 제1 입력 데이터, VR(virtual reality) 콘텐츠와의 인터랙션(interaction)을 통해 상기 사용자의 정신 상태를 판단한 데이터인 제2 입력 데이터 및 타액분석기에 나타난 상태를 카메라 모듈을 통해 획득한 데이터인 제3 입력 데이터를 사용자 단말(100)로부터 획득하는 단계(S410); 및 상기 서버(300)가, 상기 제1 입력 데이터, 상기 제2 입력 데이터 및 상기 제3 입력 데이터를 참조로 하여 상기 사용자의 심리 상태에 대하여 판단하거나 판단하도록 지원하는 단계(S420)를 포함한다.

구체적으로, 상기 단계(S420)가 다음과 같은 단계들을 포함하는 실시예도 상정할 수 있을 것이다.

이 실시예에서, 상기 단계(S420)는, 우선, 상기 서버(300)가, 상기 제1 입력 데이터에 대응되는 제1 트레이닝 데이터 세트에 의해 미리 학습된 딥 러닝(deep learning) 기반의 제1 분류기를 이용하여 상기 제1 입력 데이터로부터 상기 사용자의 심리 상태에 관한 제1 분석 결과를 산출하거나 상기 서버(300)와 연동되는 전술한 인공지능 진단 시스템으로 하여금 산출하도록 지원하는 단계(S422)를 포함할 수 있다. 이 경우에 제1 분석 결과는 제2 입력 데이터에 대한 가중치로 이용된다. 여기에서 인공지능 진단 시스템은 단계(S420)의 수행을 위하여 서버(300)와 연동되는 타 장치를 지칭한다.

그 다음, 상기 단계(S420)는, 상기 서버(300)가, 제2 트레이닝 데이터 세트에 의해 미리 학습된 상기 딥 러닝 기반의 제2 분류기를 이용하여 상기 제1 분석 결과에 의한 제1 가중치가 부여된 상기 제2 입력 데이터로부터 상기 심리 상태에 관한 제2 분석 결과를 산출하거나 상기 인공지능 진단 시스템으로 하여금 산출하도록 지원하는 단계(S424)를 더 포함할 수 있다. 이 제2 분석 결과는 제3 입력 데이터에 대한 가중치로 이용된다.

다음으로, 상기 단계(S420)는, 상기 서버(300)가, 제3 트레이닝 데이터 세트에 의해 미리 학습된 상기 딥 러닝 기반의 제3 분류기를 이용하여 상기 제2 분석 결과에 의한 제2 가중치가 부여된 상기 제3 입력 데이터로부터 상기 심리 상태에 관한 제3 분석 결과를 상기 심리 상태에 관한 판단 결과로서 산출하거나 상기 인공지능 진단 시스템으로 하여금 산출하도록 지원하는 단계(S426)를 더 포함할 수 있다. 이 제3 분석 결과가 상기 단계(S420)에서 판단된 상기 사용자의 심리 상태에 대한 정보이다.

상기 딥 러닝 기반의 알고리즘의 장점은, 산출된 결과를 가지고 재학습에 이용할 수 있다는 점이다. 이에 따르면, 상기 단계(S420)는, 상기 서버(300)가, 상기 제1 입력 데이터, 상기 제2 입력 데이터, 상기 제3 입력 데이터 및 제3 분석 결과로써 상기 제1 분류기, 상기 제2 분류기 및 상기 제3 분류기를 재학습시키거나 상기 인공지능 진단 시스템으로 하여금 재학습시키도록 지원하는 단계(S428)를 더 포함할 수 있다.

본 명세서에서는 상기 단계들(S422, S424, S426 및 S428)이 서버(300)에 의하여 수행되는 것으로 설명되었으나, 이를 수행할 만큼 충분한 컴퓨팅 성능이 사용자 단말(100)에 제공된다면 상기 단계들(S422, S424, S426 및 S428)이 사용자 단말(100)에 의하여 수행될 수도 있다는 점을 통상의 기술자는 이해할 수 있을 것이다.

본 발명의 전술한 모든 실시예들에 걸쳐, 심리 상태 판단 및 이를 통한 의료진의 개입이 효율적으로 이루어질 수 있고, 객관적 지표에 의한 통합적인 심리 상태의 분석이 가능하게 되는 효과가 있다.

상기 실시예들로서 여기에서 설명된 기술의 이점은, 대인 관계 및 집단 치료에 대한 현실적 어려움을 극복하고 바쁜 현대인들이 스스로 심리 상태를 판단할 수 있게 됨으로써 자가 판단 및 이를 통한 자가 훈련이 가능하게 된다는 점이다.

위 실시예의 설명에 기초하여 통상의 기술자는, 본 발명이 소프트웨어 및 하드웨어의 결합을 통하여 달성되거나 하드웨어만으로 달성될 수 있다는 점을 명확하게 이해할 수 있다. 본 발명의 기술적 해법의 대상물 또는 선행 기술들에 기여하는 부분들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 프로그램 제품 또는 이를 기록한 컴퓨터 판독 가능한 기록 매체로 만들어질 수 있다. 상기 컴퓨터 프로그램 제품 또는 이를 기록한 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 자료 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 프로그램 제품 또는 상기 컴퓨터 판독 가능한 기록 매체에 포함된 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 프로그램 제품에 이용되는 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. 상기 하드웨어 장치는, 프로그램 명령어를 저장하기 위한 ROM/RAM 등과 같은 메모리와 결합되고 상기 메모리에 저장된 명령어들을 실행하도록 구성되는 CPU나 GPU와 같은 프로세서를 포함할 수 있으며, 외부 장치와 신호를 주고 받을 수 있는 통신부를 포함할 수 있다. 덧붙여, 상기 하드웨어 장치는 개발자들에 의하여 작성된 명령어들을 전달받기 위한 키보드, 마우스, 기타 외부 입력장치를 포함할 수 있다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (22)

1. 사용자의 심리 상태 데이터를 획득하고 상기 사용자의 심리 상태에 대하여 판단하거나 판단하도록 지원하기 위한 방법으로서,
   (a) 사용자 단말이, 센서를 통해 측정된 생체신호에 대한 데이터인 제1 입력 데이터, VR(virtual reality) 콘텐츠와의 인터랙션(interaction)을 통해 상기 사용자의 정신 상태를 판단한 데이터인 제2 입력 데이터 및 타액분석기에 나타난 상태를 카메라 모듈을 통해 획득한 데이터인 제3 입력 데이터를 획득하는 단계; 및
   (b) 상기 사용자 단말이, 상기 제1 입력 데이터, 상기 제2 입력 데이터 및 상기 제3 입력 데이터를 참조로 하여 상기 사용자의 심리 상태에 대하여 판단하거나 판단하도록 지원하는 단계
   를 포함하며,
   상기 사용자 단말에서 실행되는 복수의 애플리케이션이 상기 생체신호에 대한 데이터를 획득하기 위하여 존재하되, 제1 애플리케이션이 상기 센서를 통해 측정된 생체신호에 대한 데이터인 상기 제1 입력 데이터를 획득하고, 제2 애플리케이션이 상기 VR(virtual reality) 콘텐츠와의 인터랙션(interaction)을 통해 상기 사용자의 정신 상태를 판단한 데이터인 상기 제2 입력 데이터를 획득하고, 제3 애플리케이션이 상기 타액분석기에 나타난 상태를 상기 카메라 모듈을 통해 획득한 데이터인 상기 제3 입력 데이터를 획득한 후, 이를 각각 소정의 서버에 전송하거나 상기 사용자 단말에서 실행되는 제4 애플리케이션으로 하여금 통합 관리하도록 하고,
   상기 VR 콘텐츠는 상기 사용자의 반응 신호에 따라 적응적으로 변경되며,
   상기 방법의 반복 수행시마다,
   상기 VR 콘텐츠와의 상기 인터랙션은 이전의 적어도 1회의 상기 방법의 수행시에 획득된 (i) 상기 제1 입력 데이터, (ii) 상기 제2 입력 데이터, (iii) 상기 제3 입력 데이터 및 (iv) 상기 (i) 내지 (iii)로부터 판단된 상기 사용자의 심리 상태를 참조로 하여 변경되고,
   상기 방법의 반복 수행시마다,
   상기 사용자 단말이, 상기 제1 입력 데이터, 상기 제2 입력 데이터 및 상기 제3 입력 데이터 중 적어도 하나에 대한 정량 수치 및 상기 정량 수치의 변화량을 획득하는 것을 특징으로 하는 방법.
2. 제1항에 있어서,
   상기 제3 입력 데이터는 상기 타액분석기에 나타난 상태를 상기 카메라 모듈을 통해 인식한 이미지에서 획득된 특징점과 소정의 데이터베이스에 저장된 특징점을 상호 비교함으로써 획득되되,
   상기 데이터베이스는 상기 정신 상태의 등급별로 대응되는 복수의 특징점 패턴을 관리하는 것을 특징으로 하는 방법.
3. 삭제
4. 제1항에 있어서,
   상기 VR 콘텐츠는 심리 변화를 유도하기 위한 영상, 음향, 촉각 정보 및 후각 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 방법.
5. 제1항에 있어서,
   상기 VR 콘텐츠는,
   가상 임상 심리사에 대응되는 합성 음성 또는 문자 선택지를 통하여 상기 사용자에게 전달되는 설문형 진단 콘텐츠인 것을 특징으로 하는 방법.
6. 제1항에 있어서,
   상기 제2 입력 데이터는 상기 사용자 단말에 포함되거나 이에 연동되는 음향 센서로부터 획득된 상기 사용자의 음성 신호를 상기 사용자의 반응 신호로서 참조하여 판단되는 것을 특징으로 하는 방법.
7. 제6항에 있어서,
   상기 제2 입력 데이터는 상기 사용자의 음성 신호를 음성 인식한 결과인 텍스트 및 상기 사용자의 음성 신호로부터 판정된 상기 정신 상태 중 적어도 하나에 기초하여 판단되는 것을 특징으로 하는 방법.
8. 제1항에 있어서,
   상기 VR 콘텐츠와의 인터랙션은 상기 사용자의 반응 신호로서 상기 사용자의 제스처 신호를 포함하고, 상기 제스처 신호는 상기 사용자 단말에 포함되거나 이에 연동되는 자이로 센서 및 가속도 센서 중 적어도 하나로부터 획득되는 것을 특징으로 하는 방법.
9. 삭제
10. 제1항에 있어서,
    상기 제1 입력 데이터는 상기 사용자가 착용할 수 있는 웨어러블(wearable) 형태의 상기 센서에 의하여 획득되는 것을 특징으로 하는 방법.
11. 제1항에 있어서,
    상기 제3 입력 데이터는 상기 타액으로부터 검출된 코르티솔(cortisol) 및 알파 아밀라아제 중 적어도 하나의 농도에 관한 정보 및 상기 농도에 관한 정보로부터 도출되는 스트레스 등급에 관한 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 방법.
12. 삭제
13. 삭제
14. 사용자의 심리 상태 데이터를 획득하고 상기 사용자의 심리 상태에 대하여 판단하기 위한 방법으로서,
    (a) 서버가, 센서를 통해 측정된 생체신호에 대한 데이터인 제1 입력 데이터, VR(virtual reality) 콘텐츠와의 인터랙션(interaction)을 통해 상기 사용자의 정신 상태를 판단한 데이터인 제2 입력 데이터 및 타액분석기에 나타난 상태를 카메라 모듈을 통해 획득한 데이터인 제3 입력 데이터를 사용자 단말로부터 획득하는 단계; 및
    (b) 상기 서버가, 상기 제1 입력 데이터, 상기 제2 입력 데이터 및 상기 제3 입력 데이터를 참조로 하여 상기 사용자의 심리 상태에 대하여 판단하거나 판단하도록 지원하는 단계
    를 포함하며,
    상기 사용자 단말에서 실행되는 복수의 애플리케이션이 상기 생체신호에 대한 데이터를 획득하기 위하여 존재하되, 제1 애플리케이션이 상기 센서를 통해 측정된 생체신호에 대한 데이터인 상기 제1 입력 데이터를 획득하고, 제2 애플리케이션이 상기 VR(virtual reality) 콘텐츠와의 인터랙션(interaction)을 통해 상기 사용자의 정신 상태를 판단한 데이터인 상기 제2 입력 데이터를 획득하고, 제3 애플리케이션이 상기 타액분석기에 나타난 상태를 상기 카메라 모듈을 통해 획득한 데이터인 상기 제3 입력 데이터를 획득한 후, 이를 각각 소정의 서버에 전송하거나 상기 사용자 단말에서 실행되는 제4 애플리케이션으로 하여금 통합 관리하도록 하고,
    상기 VR 콘텐츠는 상기 사용자의 반응 신호에 따라 적응적으로 변경되며,
    상기 방법의 반복 수행시마다,
    상기 VR 콘텐츠와의 상기 인터랙션은 이전의 적어도 1회의 상기 방법의 수행시에 획득된 (i) 상기 제1 입력 데이터, (ii) 상기 제2 입력 데이터, (iii) 상기 제3 입력 데이터 및 (iv) 상기 (i) 내지 (iii)로부터 판단된 상기 사용자의 심리 상태를 참조로 하여 변경되고,
    상기 방법의 반복 수행시마다,
    상기 서버가 상기 사용자 단말로 하여금, 상기 제1 입력 데이터, 상기 제2 입력 데이터 및 상기 제3 입력 데이터 중 적어도 하나에 대한 정량 수치 및 상기 정량 수치의 변화량을 획득하게 하는 것을 특징으로 하는 방법.
15. 제14항에 있어서,
    상기 (b) 단계는,
    (b1) 상기 서버가, 상기 제1 입력 데이터에 대응되는 제1 트레이닝 데이터 세트에 의해 미리 학습된 딥 러닝(deep learning) 기반의 제1 분류기를 이용하여 상기 제1 입력 데이터로부터 상기 사용자의 심리 상태에 관한 제1 분석 결과를 산출하거나 산출하도록 지원하는 단계;
    (b2) 상기 서버가, 제2 트레이닝 데이터 세트에 의해 미리 학습된 상기 딥 러닝 기반의 제2 분류기를 이용하여 상기 제1 분석 결과에 의한 제1 가중치가 부여된 상기 제2 입력 데이터로부터 상기 심리 상태에 관한 제2 분석 결과를 산출하거나 산출하도록 지원하는 단계; 및
    (b3) 상기 서버가, 제3 트레이닝 데이터 세트에 의해 미리 학습된 상기 딥 러닝 기반의 제3 분류기를 이용하여 상기 제2 분석 결과에 의한 제2 가중치가 부여된 상기 제3 입력 데이터로부터 상기 심리 상태에 관한 제3 분석 결과를 상기 심리 상태에 관한 판단 결과로서 산출하거나 산출하도록 지원하는 단계
    를 포함하는 것을 특징으로 하는 방법.
16. 제15항에 있어서,
    상기 (b) 단계는,
    (b4) 상기 서버가, 상기 제1 입력 데이터, 상기 제2 입력 데이터, 상기 제3 입력 데이터 및 제3 분석 결과로써 상기 제1 분류기, 상기 제2 분류기 및 상기 제3 분류기를 재학습시키거나 재학습시키도록 지원하는 단계를 더 포함하는 것을 특징으로 하는 방법.
17. 사용자의 심리 상태 데이터를 획득하고 상기 사용자의 심리 상태에 대하여 판단하거나 판단하도록 지원하는 사용자 단말로서,
    센서를 통해 측정된 생체신호에 대한 데이터인 제1 입력 데이터, VR(virtual reality) 콘텐츠와의 인터랙션(interaction)을 통해 상기 사용자의 정신 상태를 판단한 데이터인 제2 입력 데이터 및 타액분석기에 나타난 상태를 카메라 모듈을 통해 획득한 데이터인 제3 입력 데이터를 획득하는 통신부; 및
    상기 제1 입력 데이터, 상기 제2 입력 데이터 및 상기 제3 입력 데이터를 참조로 하여 상기 사용자의 심리 상태에 대하여 판단하거나 판단하도록 지원하는 프로세서;를 포함하며,
    상기 사용자 단말에서 실행되는 복수의 애플리케이션이 상기 생체신호에 대한 데이터를 획득하기 위하여 존재하되, 제1 애플리케이션이 상기 센서를 통해 측정된 생체신호에 대한 데이터인 상기 제1 입력 데이터를 획득하고, 제2 애플리케이션이 상기 VR(virtual reality) 콘텐츠와의 인터랙션(interaction)을 통해 상기 사용자의 정신 상태를 판단한 데이터인 상기 제2 입력 데이터를 획득하고, 제3 애플리케이션이 상기 타액분석기에 나타난 상태를 상기 카메라 모듈을 통해 획득한 데이터인 상기 제3 입력 데이터를 획득한 후, 이를 각각 소정의 서버에 전송하거나 상기 사용자 단말에서 실행되는 제4 애플리케이션으로 하여금 통합 관리하도록 하고,
    상기 VR 콘텐츠는 상기 사용자의 반응 신호에 따라 적응적으로 변경되고,
    상기 사용자의 심리 상태 판단의 반복 수행시마다, 상기 VR 콘텐츠와의 상기 인터랙션은 이전의 적어도 1회의 상기 방법의 수행시에 획득된 (i) 상기 제1 입력 데이터, (ii) 상기 제2 입력 데이터, (iii) 상기 제3 입력 데이터 및 (iv) 상기 (i) 내지 (iii)로부터 판단된 상기 사용자의 심리 상태를 참조로 하여 변경되며,
    상기 사용자의 심리 상태 판단의 반복 수행시마다, 상기 사용자 단말이, 상기 제1 입력 데이터, 상기 제2 입력 데이터 및 상기 제3 입력 데이터 중 적어도 하나에 대한 정량 수치 및 상기 정량 수치의 변화량을 획득하는 것을 특징으로 하는 사용자 단말.
18. 제17항에 있어서,
    상기 제3 입력 데이터는 상기 타액분석기에 나타난 상태를 상기 카메라 모듈을 통해 인식한 이미지에서 획득된 특징점과 소정의 데이터베이스에 저장된 특징점을 상호 비교함으로써 획득되되,
    상기 데이터베이스는 상기 정신 상태의 등급별로 대응되는 복수의 특징점 패턴을 관리하는 것을 특징으로 하는 사용자 단말.
19. 삭제
20. 사용자의 심리 상태 데이터를 획득하고 상기 사용자의 심리 상태에 대하여 판단하는 서버로서,
    센서를 통해 측정된 생체신호에 대한 데이터인 제1 입력 데이터, VR(virtual reality) 콘텐츠와의 인터랙션(interaction)을 통해 상기 사용자의 정신 상태를 판단한 데이터인 제2 입력 데이터 및 타액분석기에 나타난 상태를 카메라 모듈을 통해 획득한 데이터인 제3 입력 데이터를 사용자 단말로부터 획득하는 통신부; 및
    상기 제1 입력 데이터, 상기 제2 입력 데이터 및 상기 제3 입력 데이터를 참조로 하여 상기 사용자의 심리 상태에 대하여 판단하거나 판단하도록 지원하는 프로세서
    를 포함하며,
    상기 프로세서는,
    (i) 상기 서버가, 상기 제1 입력 데이터에 대응되는 제1 트레이닝 데이터 세트에 의해 미리 학습된 딥 러닝(deep learning) 기반의 제1 분류기를 이용하여 상기 제1 입력 데이터로부터 상기 사용자의 심리 상태에 관한 제1 분석 결과를 산출하거나 산출하도록 지원하는 프로세스;
    (ii) 상기 서버가, 제2 트레이닝 데이터 세트에 의해 미리 학습된 상기 딥 러닝 기반의 제2 분류기를 이용하여 상기 제1 분석 결과에 의한 제1 가중치가 부여된 상기 제2 입력 데이터로부터 상기 심리 상태에 관한 제2 분석 결과를 산출하거나 산출하도록 지원하는 프로세스; 및
    (iii) 상기 서버가, 제3 트레이닝 데이터 세트에 의해 미리 학습된 상기 딥 러닝 기반의 제3 분류기를 이용하여 상기 제2 분석 결과에 의한 제2 가중치가 부여된 상기 제3 입력 데이터로부터 상기 심리 상태에 관한 제3 분석 결과를 상기 심리 상태에 관한 판단 결과로서 산출하거나 산출하도록 지원하는 프로세스
    를 수행하고,
    상기 VR 콘텐츠는 상기 사용자의 반응 신호에 따라 적응적으로 변경되고,
    상기 사용자의 심리 상태 판단의 반복 수행시마다, 상기 VR 콘텐츠와의 상기 인터랙션은 이전의 적어도 1회의 상기 방법의 수행시에 획득된 (i) 상기 제1 입력 데이터, (ii) 상기 제2 입력 데이터, (iii) 상기 제3 입력 데이터 및 (iv) 상기 (i) 내지 (iii)로부터 판단된 상기 사용자의 심리 상태를 참조로 하여 변경되며,
    상기 사용자의 심리 상태 판단의 반복 수행시마다, 상기 사용자 단말이, 상기 제1 입력 데이터, 상기 제2 입력 데이터 및 상기 제3 입력 데이터 중 적어도 하나에 대한 정량 수치 및 상기 정량 수치의 변화량을 획득하는 것을 특징으로 하는 서버.
21. 삭제
22. 삭제

Images