KR102216899B1 - 실시간 영상 및 음성 맵핑을 통해 개인화된 상담이 가능한 심리 상담 방법 - Google Patents

실시간 영상 및 음성 맵핑을 통해 개인화된 상담이 가능한 심리 상담 방법 Download PDF

Info

Publication number
KR102216899B1
KR102216899B1 KR1020200011800A KR20200011800A KR102216899B1 KR 102216899 B1 KR102216899 B1 KR 102216899B1 KR 1020200011800 A KR1020200011800 A KR 1020200011800A KR 20200011800 A KR20200011800 A KR 20200011800A KR 102216899 B1 KR102216899 B1 KR 102216899B1
Authority
KR
South Korea
Prior art keywords
information
image
counseling
counselor
mapping
Prior art date
Application number
KR1020200011800A
Other languages
English (en)
Inventor
임시원
박희정
임수진
임재은
최보람
Original Assignee
임시원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임시원 filed Critical 임시원
Priority to KR1020200011800A priority Critical patent/KR102216899B1/ko
Application granted granted Critical
Publication of KR102216899B1 publication Critical patent/KR102216899B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7465Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
    • G06K9/00201
    • G06K9/00221
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Cardiology (AREA)
  • Educational Technology (AREA)
  • Physiology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Nursing (AREA)
  • Dentistry (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

실시간 영상 및 음성 맵핑을 통해 개인화된 상담이 가능한 심리 상담 방법은 상담자 영상을 영상 촬영부로부터 수신하는 단계와, 커버링 영상 및 음성을 피상담자 단말로부터 수신하는 단계와, 상담자 영상에 커버링 영상 및 음성을 맵핑하여 맵핑 영상을 생성하는 단계와, 맵핑 영상을 피상담자 단말에 전송하는 단계와, 피상담자 단말에서 맵핑 영상이 재생되는 동안 반응 정보 측정부로부터 피상담자의 반응 정보를 수신하는 단계와, 반응 정보를 기초로 하여 상담 결과 정보를 생성하는 단계와, 상담 결과 정보를 상기 피상담자 단말에 전송하는 단계를 포함한다.

Description

실시간 영상 및 음성 맵핑을 통해 개인화된 상담이 가능한 심리 상담 방법{PSYCHOLOGY CONSULTATION METHOD CAPABLE OF PERSONALIZED CONSULTATION THROUGH REAL-TIME IMAGE AND VOICE MAPPING}
본 발명은 심리 상담 방법에 관한 것으로서, 보다 상세하게는 실시간 영상 및 음성 맵핑을 통해 개인화된 상담이 가능한 심리 상담 방법에 관한 것이다.
정신 건강 의학과를 방문하는 피상담자의 수가 날로 늘어가고 있다. 아직 완전히 편견이 사라진 것은 아니지만 바쁜 일상 속에서 건강한 마음을 되찾고자 특정의 질환 판정을 받지 않았음에도 주기적으로 방문하여 상담에 대한 거부감을 없애고 마음의 건강에 점점 더 많은 관심을 기울이고 있다.
대체로 정신 건강 의학과 상담에는 의사나 임상 심리사와 같은 전문가가 피상담자와의 상담을 통해 현재 상태를 파악하고 이를 근거로 치료 및 처방이 수행되고 있다.
피상담자는 상담자가 제공하는 몇 가지 테스트를 진행하고 이를 바탕으로 상담을 진행하여 현재 상태를 공유하게 된다. 기존에 방문 경험이 있거나 본인의 상태를 분명하게 파악하고 있는 피방문자의 경우 대체로 상담자와의 원활한 상담 및 후속 치료가 가능하다. 그러나, 처음 방문하거나 아직 현재 상태 또는 원인을 파악하고 있지 못하는 경우 기존의 테스트와 이에 기한 몇 가지 질문만으로는 원활한 상담 및 치료가 곤란하다.
초기 방문 시 피상담자의 부담을 덜 수 있고 보다 편안한 여건에서 상담을 진행하여 상담자와 피상담자가 원활하게 상담하여 현재 상태에 대한 정보를 보다 분명하고 적극적으로 공유할 수 있고 양자가 함께 원인을 파악하여 건강한 마음을 찾기 위한 방법을 모색할 수 있는 수단이 필요하다.
한국 특허 공개 공보 제10-2018-0099403호
본 발명은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 상담자를 촬영한 영상에 피상담자가 원하는 커버링 영상 및 음성을 실시간으로 맵핑하여 개인화된 상담을 제공함으로써 피상담자가 보다 편안한 마음으로 상담에 참여할 수 있으며 동시에 뇌파, 맥박, 동작 등 피상담자의 반응 정보를 수집하고 분석하여 심리 상태의 변화 요인과 변화 양태를 파악할 수 있는 심리 상담 방법을 제공함에 그 목적이 있다.
본 발명의 과제는 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 실시간 영상 및 음성 맵핑을 통해 개인화된 상담이 가능한 심리 상담 방법은 상담자 영상을 영상 촬영부로부터 수신하는 단계와, 커버링 영상 및 음성을 피상담자 단말로부터 수신하는 단계와, 상담자 영상에 커버링 영상 및 음성을 맵핑하여 맵핑 영상을 생성하는 단계와, 맵핑 영상을 피상담자 단말에 전송하는 단계와, 피상담자 단말에서 맵핑 영상이 재생되는 동안 반응 정보 측정부로부터 피상담자의 반응 정보를 수신하는 단계와, 반응 정보를 기초로 하여 상담 결과 정보를 생성하는 단계와, 상담 결과 정보를 상기 피상담자 단말에 전송하는 단계를 포함한다.
본 발명의 일 실시예에 따르면, 상기 맵핑 영상을 생성하는 단계는, 상기 커버링 영상에 나타나는 커버 인물의 3차원 안면 좌표 정보 및 음성 정보를 추출하는 단계; 상기 커버링 영상에 나타나는 커버 인물의 상기 3차원 안면 좌표 정보를 기초로 상기 커버 인물을 상기 상담자 영상에 나타나는 상담자에 맵핑하는 단계; 및 상기 커버 인물의 상기 음성 정보를 기초로 상담자의 음성에 맵핑하는 단계를 포함하며, 상기 상담 결과 정보를 생성하는 단계는, 상기 반응 정보를 기초로 하여 분석 정보를 생성하는 단계; 상기 맵핑 영상에 대한 영상 정보와 상기 분석 정보를 매칭하여 신규 상담 결과 정보를 생성하는 단계; 상기 기존 상담 결과 정보와 상기 신규 상담 결과 정보를 포함하는 상기 상담 결과 정보를 생성하는 단계; 및 상기 신규 상담 결과 정보를 상기 기존 상담 결과 정보에 추가하는 단계를 포함하고, 상기 반응 정보는 피상담자의 맥박 정보, 뇌파 정보 및 동작 정보 중 하나 이상을 포함할 수 있다.
본 발명의 일 실시예에 따르면, 상기 분석 정보는. 미리 결정된 범위를 벗어난 값으로 측정된 이상 맥박 정보 및 이상 뇌파 정보, 및 상기 이상 맥박 정보 또는 상기 이상 뇌파 정보가 발생한 시간 동안의 동작 정보를 포함할 수 있다.
본 발명에 의하면, 현실에서 마주하기 곤란한 인물과 간접적으로 대면하고 그로부터 현재의 심리 상태 인지, 심리 상태의 변화 인지, 심리 상태의 개선 등의 상담 효과를 거둘 수 있다. 피상담자는 심리 상태, 심리 상태의 변화를 인지할 수 있으며, 이전 심리 상담과 대비한 변화를 파악함으로써 심리 상태의 변화를 파악하는 것이 가능하다.
즉, 피상담자는 맵핑 영상을 통해 대면하고 싶은 커버링 영상 속 커버 인물을 간접적으로 접하는 과정을 거치면서 자신의 신체 변화를 동시에 확인할 수 있어, 스스로 인지하기 곤란한 심리 상태의 종류, 심리 상태의 변화 양태, 내외부 요인 등을 인지할 수 있으며, 반복되는 심리 상담에서 심리 변화를 파악하고 심리 상태가 개선될 수 있는 방향을 함께 모색할 수 있을 것이다.
다만, 본 발명의 효과들은 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 실시간 영상 및 음성 맵핑을 통해 개인화된 상담이 가능한 심리 상담 시스템의 구성도이다.
도 2는 도 1의 심리 상담 시스템의 반응 정보 측정부에 대한 예시적인 구성도이다.
도 3은 도 1의 심리 상담 시스템의 상담 정보 처리부에 대한 예시적인 구성도이다.
도 4는 본 발명의 일 실시예에 따른 실시간 영상 및 음성 맵핑을 통해 개인화된 상담이 가능한 심리 상담 방법의 각 단계들을 나타낸 흐름도이다.
도 5는 도 4의 심리 상담 방법의 상담 결과 정보 생성 단계의 각 단계를 나타낸 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 실시간 영상 및 음성 맵핑을 통해 개인화된 상담이 가능한 심리 상담 방법을 실행하는 컴퓨팅 장치의 내부 구성을 예시적으로 도시한다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
다양한 양상들 및 특징들이 다수의 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있는 시스템에 의하여 제시될 것이다. 다양한 시스템들이, 추가적인 장치들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있다는 점 그리고/또는 도면들과 관련하여 논의된 장치들, 컴포넌트들, 모듈들 등 전부를 포함하지 않을 수도 있다는 점 또한 이해되고 인식되어야 한다.
본 명세서에서 사용되는 "실시예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다. 아래에서 사용되는 용어들 '~부', '컴포넌트', '모듈', '시스템', '인터페이스' 등은 일반적으로 컴퓨터 관련 엔티티(computer-related entity)를 의미하며, 예를 들어, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어를 의미할 수 있다.
본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우 '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
이하, 첨부된 도면을 참고로 하여 본 발명에 따른 실시간 영상 및 음성 맵핑을 통해 개인화된 상담이 가능한 심리 상담 방법에 대해 설명하기로 한다.
도 1을 참조하면, 실시간 영상 및 음성 맵핑을 통해 개인화된 상담이 가능한 심리 상담 시스템은 반응 정보 측정부(1000)와, 영상 촬영부(2000) 상담 정보 처리부(3000)와, 피상담자 단말(4000)과, 상담자 단말(5000)을 포함한다.
반응 정보 측정부(1000)는 피상담자의 반응에 의해 생성된 반응 정보를 수집한다. 반응 정보는 피상담자의 신체에 부착되거나 착용된 측정 모듈을 통해 피상담자의 신체로부터 측정할 수 있는 뇌파, 맥박, 체온, 혈당, 동공 변화, 혈압, 혈중 용존 산소량 등의 생체 정보와, 피상담자의 움직임을 감지할 수 있는 감지 모듈을 통해 측정할 수 있는 동작 정보를 포함한다. 반응 정보 측정부(1000)는 수집한 반응 정보를 상담 정보 처리부(3000)에 송신한다.
영상 촬영부(2000)는 상담자의 안면을 포함하여 촬영하고, 촬영한 영상을 상담 정보 처리부(3000)에 송신한다. 영상 촬영부(2000)는 이미지 센서를 통해 영상 촬영이 가능한 다양한 종류의 카메라를 포함할 수 있으며, 상담자의 3차원 안면 좌표 정보를 획득할 수 있는 RGBD 카메라를 포함하는 것이 맵핑의 용이성 측면에서 좋다.
상담 정보 처리부(3000)는 상담 정보의 생성, 가공, 송수신, 저장 등을 수행하며 피상담자 단말(4000)과 상담자 단말(5000)에 상담 정보를 송신한다. 상담 정보는 전술한 반응 정보를 비롯하여, 피상담자에게 제공할 영상과 관련된 영상 정보와, 피상담자에게 제공하는 영상과, 반응 정보, 영상 정보 및 영상을 기초로 도출되는 결과 정보를 포함한다. 상담 정보 처리부(3000)는 반응 정보 측정부(1000)로부터 반응 정보를 수신한다. 상담 정보 처리부(3000)는 영상 촬영부(2000)로부터 촬영된 영상을 수신한다. 상담 정보 처리부(3000)는 상담 정보를 피상담자에게 제공함으로써 피상담자의 적극적인 상담 참여를 유도하며 피상담자의 심리 상태의 변화 요인과 변화 양태를 파악할 수 있다.
피상담자 단말(4000)은 상담 정보 처리부(3000)로부터 수신한 상담 정보를 피상담자가 확인할 수 있는 형태로 제공한다. 피상담자 단말(4000)은 영상 정보, 영상, 상담 결과 정보 등을 피상담자에게 제공하여 피상담자의 심리 변화, 의도에 따른 동작, 상담 결과 이해 등을 유도할 수 있다.
상담자 단말(5000)은 상담 정보 처리부(3000)로부터 수신한 상담 결과 정보 등을 상담자가 확인할 수 있는 형태로 제공한다. 상담자 단말(5000)은 피상담자에 의한 반응 정보, 영상 정보, 영상, 상담 결과 정보, 상담 정보 처리부(3000)에서 상담 정보를 처리하는 과정에서 도출되는 중간 산출 정보 등을 포함하는 정보를 상담자에게 제공하여 상담자의 심리 변화, 상담자의 의도 이해, 상담 결과 인지 등을 유도할 수 있다.
피상담자 단말(4000) 및 상담자 단말(5000)은 데스크탑 컴퓨터, 랩탑 컴퓨터, 스마트폰, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 태블릿 PC 등의 네트워크 접속이 가능한 통신 기기일수 있으며, 그 종류나 개수에 제한이 없다. 특히, 피상담자 단말(4000)에는 가상 현실 구현을 위한 HMD(Head Mounted Display) 기기를 포함하여 후술할 맵핑 영상을 시청하며 심리 상담을 진행하는 과정에서 간접적인 체험의 현실성을 증진할 수 있다.
도 2를 참조하면, 반응 정보 측정부(1000)는 맥박 측정 모듈(1100)과, 뇌파 측정 모듈(1200)과, 동작 감지 모듈(1300)을 포함한다. 반응 정보 측정부(1000)는 수집한 피상담자의 반응 정보를 상담 정보 처리부(3000)로 송신한다.
맥박 측정 모듈(1100)은 피상담자의 손목 부위에 착용되어 피상담자의 맥박을 측정한다. 맥박 측정을 통해 얻을 수 있는 맥박 정보로는 심장 박동 수, 심장 박동 변이도 지수, 교감신경 활성 지수, 부교감신경 활성 지수, 자율신경 활성 지수 및 자율신경 균형 지수 등이 있다. 맥박 측정 모듈(1100)에 의해 측정된 피상담자의 맥박 정보는 상담 정보 처리부(3000)에 송신되어 피상담자의 심리 상태를 파악하는데 이용될 수 있다.
맥박 측정 모듈(1100)은 PPG(Photoplethysmography) 센서, ECG(Electrocardiogram) 센서 등 맥박을 측정하기 위한 센서를 구비할 수 있다. 또한, 맥박 측정 모듈(1100)은 센서로부터 발생한 신호를 처리하고 상담 정보 처리부(3000)로 송신하기 위해 필요한 공지의 소자와 회로를 구비할 수 있다.
뇌파 측정 모듈(1200)은 피상담자의 두부에 부착되어 피상담자의 뇌파를 측정한다. 뇌파 측정을 통해 얻을 수 있는 뇌파 정보로는 좌뇌 및 우뇌로부터 측정된 델타, 세타, 알파, 베타 및 감마 중 하나 이상의 주파수 영역에 관한 정보가 있다. 뇌파 측정 모듈(1200)에 의해 측정된 피상담자의 뇌파 정보는 상담 정보 처리부(3000)에 송신되어 피상담자의 심리 상태를 파악하는데 이용될 수 있다.
뇌파 측정 모듈(1200)은 EEG(Electroencephalogram) 센서 등 뇌파를 측정하기 위한 센서를 구비할 수 있다. 또한, 뇌파 측정 모듈(1200)은 센서로부터 발생한 신호를 처리하고 상담 정보 처리부(3000)로 송신하기 위해 필요한 공지의 소자와 회로를 구비할 수 있다.
동작 감지 모듈(1300)은 피상담자에게 착용, 부착 또는 파지되어 피상담자의 움직임을 감지한다. 움직임 감지를 통해 얻을 수 있는 동작 정보로는 둘 이상의 선택지 중 일부를 선택하거나 영상의 재생에 따른 기능을 실행하는 등의 입력 동작과, 영상을 통한 상담의 진행을 위해 요구되는 의사 표현 동작과, 상담에 대한 피상담자의 집중, 긴장, 당황 등의 심리 변화를 파악하기 위한 심리 동작 등이 포함될 수 있다. 동작 감지 모듈(1300)에 의해 측정된 피상담자의 동작 정보는 상담 정보 처리부(3000)에 송신되어 피상담자의 의도, 요구사항, 심리 상태 등을 파악하는데 이용될 수 있다.
동작 감지 모듈(1300)은 자이로(gyro) 센서, 가속도 센서, 압력 센서, 토크 센서, 홍채 인식 센서 등 다양한 동작을 감지하기 위한 센서를 구비할 수 있다. 또한, 동작 감지 모듈(1300)은 센서로부터 발생한 신호를 처리하고 상담 정보 처리부(3000)로 송신하기 위해 필요한 공지의 소자와 회로를 구비할 수 있다.
도 3을 참조하면, 상담 정보 처리부(3000)는 프로세서(3100)와, 메모리(3200)와, 네트워크 인터페이스(3300), 버스(화살표로 도시됨)를 포함할 수 있다. 메모리(3200)는 운영체제(OS)(3210)와, 프로그램 실행코드(3220)와, 피상담자 정보(3230)를 포함할 수 있다. 상담 정보 처리부(3000)는 개인용 컴퓨터 또는 서버일 수 있다. 예를 들면, 상담 정보 처리부(3000)는 스마트폰(smartphone), 태블릿(tablet) 등의 모바일 기기, 데스크탑(desktop), 랩탑(laptop) 등의 PC, 이동식 의료 기기, 디지털 카메라, 웨어러블(wearable) 기기, 또는 스마트 워치(smart watch)일 수 있다.
프로세서(3100)는 영상 처리부(3110)와, 반응 정보 수집부(3130)와, 반응 정보 분석부(3140)와, 상담 정보 제공부(3150)를 포함할 수 있다. 다른 실시예에서 상담 정보 처리부(3000)는 도 3에 도시된 구성요소와 상이한 구성요소들을 더 포함할 수도 있다.
프로세서(3100)는 기본적인 산술, 로직 및 압축 패키지 파일에 대한 이미지 최적화 방법 등의 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(3200) 또는 네트워크 인터페이스(3300) 또는 버스를 통해 프로세서(3100)에 제공될 수 있다. 프로세서(3100)는 영상 처리부(3110)와, 반응 정보 수집부(3130)와, 반응 정보 분석부(3140)와, 상담 정보 제공부(3150)를 위한 프로그램 코드를 실행하도록 구성될 수 있다. 프로그램 코드는 메모리(3200) 등의 기록 장치에 저장될 수 있다.
프로세서(3100)는 영상 처리부(3110)와, 반응 정보 수집부(3130)와, 반응 정보 분석부(3140)와, 상담 정보 제공부(3150)를 포함하는 상담 정보 처리부(3000)를 구현하기 위해 구성될 수 있다. 프로세서(3100)는 상담 정보 처리부(3000)를 구현하는 방법에 따라 일부 컴포넌트가 생략되거나, 도시되지 않은 추가의 컴포넌트가 더 포함되거나, 2개 이상의 컴포넌트가 결합되도록 구성될 수 있다.
메모리(3200)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 메모리에는 OS(3210)와, 프로그램 실행코드(3220)와, 반응 정보, 영상 정보, 상담 결과 정보 및 피상담자 인적 사항 등을 포함하는 피상담자 정보(3230)가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드와 같은 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수도 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 네트워크 인터페이스(3300)를 통해 메모리(3200)에 로딩될 수도 있다.
네트워크 인터페이스(3300)는 상담 정보 처리부(3000)를 컴퓨터 네트워크에 연결하기 위한 컴퓨터 하드웨어 구성요소일 수 있다. 네트워크 인터페이스(3300)는 상담 정보 처리부(3000)를 무선 연결 또는 유선 연결 방식을 이용하여 컴퓨터 네트워크에 연결시킬 수 있다. 상담 정보 처리부(3000)는 네트워크 인터페이스(3300)를 통하여 다른 전자 장치 또는 시스템에 무선 연결 또는 유선 연결될 수 있다.
버스는 상담 정보 처리부(3000)의 구성요소 간의 통신 및 데이터 전송을 가능하게 할 수 있다. 버스는 고속 시리얼 버스(high-speed serial bus), 병렬 버스(parallel bus), SAN(Storage Area Network) 및 기타 통신 방식 중 하나 이상을 이용하여 구성될 수 있다.
영상 처리부(3110)는 상담자 영상을 영상 촬영부(2000)로부터 수신한다. 상담자 영상은 상담자의 안면이 포함되도록 촬영되어 생성될 수 있다. 영상 처리부(3110)는 상담자 영상으로부터 상담자의 3차원 안면 영상 좌표를 추출할 수 있다. 상담자의 3차원 안면 영상 좌표는 촬영기기와 영상에 촬영된 피사체의 각 부분과의 거리를 측정할 수 있는 영상 촬영부(2000)로부터 수신할 수 있다. 영상 처리부(3110)는 커버링 영상을 상담자 영상에 용이하게 맵핑하기 위하여 상담자 영상 내 상담자의 안면 상 특징점을 추출함으로써 실시간으로 맵핑 영상을 제공하는 것을 가능케 한다.
영상 처리부(3110)는 커버링 영상을 피상담자 단말(4000)로부터 수신한다. 커버링 영상은 상담자 영상 내 상담자에 맵핑할 커버 인물에 대한 영상을 포함한다. 커버링 영상에는 상담자 영상의 상담자에 맵핑하기 위하여 상담자로부터 추출된 3차원 안면 영상 좌표의 전체 또는 일부에 대응하는 커버 인물의 특징 부분이 나타날 수 있다. 커버링 영상의 커버 인물은 피상담자가 가상의 맵핑 영상의 환경 내에서 간접적으로 대면하고 싶은 현실의 인물일 수 있다. 피상담자는 직접 대면하기 곤란한 현실의 인물이 등장하는 커버링 영상을 가지고 상담자를 방문하며, 상담자 영상에 커버링 영상을 맵핑한 맵핑 영상을 시청하면서 현실에서 마주하기 곤란한 인물을 간접적으로 접하고 그로부터 현재의 심리 상태 인지, 심리 상태의 변화 인지, 심리 상태의 개선 등의 상담 효과를 거둘 수 있는 것이다.
영상 처리부(3110)는 상담자 영상에 커버링 영상을 맵핑하여 맵핑 영상을 생성한다. 맵핑 영상은 상담자 영상의 일부 또는 전체 프레임에서 상담자의 일부 또는 전체 이미지를 기초로 커버링 영상에 포함된 이미지로 합성함으로써 생성될 수 있다. 맵핑 영상은 상담자 영상에 등장하는 상담자의 일부 또는 전체 이미지가 커버링 영상에 등장하는 커버 인물의 일부 또는 전체 이미지로 대체 또는 합성되어 생성될 수 있다. 이와 같이, 영상 처리부(3110)를 통해 상담자 영상에 커버링 영상을 맵핑함으로써 피상담자가 맵핑 영상을 시청할 때 피상담자가 제공한 커버링 영상의 커버 인물과 상담하는 것처럼 느낄 수 있다.
영상 처리부(3110)는 커버링 영상에 나타나는 커버 인물의 3차원 안면 좌표 정보를 추출할 수 있다. 커버링 영상에 대한 영상 정보는 등장하는 인물 중 상담자 영상에 맵핑될 인물인 커버 인물에 대한 3차원 안면 좌표 정보를 포함한다. 영상 처리부(3110)는 커버링 영상에서 커버 인물의 3차원 안면 좌표 정보를 추출함으로써 상담자 영상의 상담자에 맵핑하기 위한 정보를 마련할 수 있다.
커버 인물의 3차원 안면 좌표 정보는 메모리(3200)에 미리 저장된 소정의 영상 처리 알고리즘을 가지고 영상 처리부(3110)에 의해 커버링 영상으로부터 추출될 수 있다. 3차원 안면 좌표 정보는 커버 인물의 안면에 포함된 특정 형상, 패턴, 색상 또는 이들의 조합을 통해 추출될 수 있다. 안면 좌표 정보 추출을 위한 영상 처리 알고리즘으로는 HOG(Histogram of Oriented Gradient), Haar feature, SIFT(Scale Invariant Feature Transform), LBP(Local Binary Pattern) 등이 있으며, 그 밖에 공지의 다양한 영상 처리 알고리즘이 채용될 수 있다. 이러한 영상 처리 알고리즘에 기초하여 커버 인물의 안면에서 눈 부분, 코 부분, 입 부분, 턱 부분, 이마 부분을 포함하는 안면의 각 부분 중 하나 이상의 부분에 대한 좌표 정보를 추출할 수 있다. 커버 인물의 3차원 안면 좌표 정보는 기준 프레임에 대한 좌표 정보를 기초로 하여 각각의 프레임에서의 변화값을 포함할 수 있다. 또한, 커버 인물의 3차원 안면 좌표 정보는 각각의 프레임에서 확보한 안면 좌표 정보를 기초로 하여 하나의 기준 좌표를 산출함으로써 획득할 수 있다.
영상 처리부(3110)는 커버링 영상에 나타나는 커버 인물의 3차원 안면 좌표 정보를 기초로 커버 인물을 상담자 영상에 나타나는 상담자에 맵핑할 수 있다. 영상 처리부(3110)는 커버 인물과 상담자의 3차원 안면 좌표 정보를 기초로 하여 상담자 영상에서 상담자의 일부 또는 전체 이미지를 커버링 영상의 커버 인물의 일부 또는 전체 이미지로 대체하거나 합성할 수 있다. 영상 처리부(3110)는 커버 인물의 3차원 안면 좌표 정보와 상담자의 3차원 안면 좌표 정보를 기초로 각각의 특징적인 부분을 매칭하고, 각각의 프레임에서 상담자의 안면 각도에 따른 이미지에 대응하는 커버 인물의 이미지를 생성할 수 있다. 커버 인물의 이미지를 상담자 영상에 합성하기 위해 공지의 영상 합성 알고리즘이 자유롭게 채용될 수 있다.
영상 처리부(3110)는 생성된 맵핑 영상을 피상담자 단말(4000)에 전송한다. 맵핑 영상은 전체 영상의 맵핑이 완료된 후에 상담 정보 처리부(3000)로부터 피상담자 단말(4000)로 전송되거나, 맵핑 영상이 전송되는 동안 피상담자가 곧바로 맵핑 영상을 시청할 수 있도록 시청 가능한 부분이 순차적으로 피상담자 단말(4000)로 전송되도록 스트리밍 방식으로 전송될 수도 있다.
반응 정보 수집부(3130)는 반응 정보 측정부(1000)로부터 피상담자의 반응 정보를 수신한다. 반응 정보 수집부(3130)는 맥박 측정 모듈(1100)에 의해 측정된 맥박 정보를 수신하고, 뇌파 측정 모듈(1200)에 의해 측정된 뇌파 정보를 수신하며, 동작 감지 모듈(1300)에 의해 측정된 동작 정보를 수신할 수 있다.
반응 정보 수집부(3130)는 피상담자 단말(4000)에서 맵핑 영상이 재생되는 동안 반응 정보 측정부(1000)에 의해 측정된 반응 정보를 수신한다. 반응 정보는 피상담자의 신체로부터 측정할 수 있는 뇌파, 맥박, 체온, 혈당, 동공 변화, 혈압, 혈중 용존 산소량 등의 생체 정보와, 감지 가능한 피상담자의 움직임을 수치화할 수 있는 동작 정보를 포함한다. 반응 정보는 피상담자의 맥박 정보, 뇌파 정보 및 동작 정보 중 하나 이상을 포함할 수 있다. 맥박 정보는 심장 박동 수, 심장 박동 변이도 지수, 교감신경 활성 지수, 부교감신경 활성 지수, 자율신경 활성 지수 및 자율신경 균형 지수 중 하나 이상을 포함할 수 있다. 뇌파 정보는 좌뇌 및 우뇌로부터 측정된 델타, 세타, 알파, 베타 및 감마 중 하나 이상의 주파수 영역에 관한 정보를 포함할 수 있다. 동작 정보는 둘 이상의 선택지 중 일부를 선택하거나 영상의 재생에 따른 기능을 실행하는 등의 입력 동작과, 영상을 통한 상담의 진행을 위해 요구되는 의사 표현 동작과, 상담에 대한 피상담자의 집중, 긴장, 당황 등의 심리 변화를 파악하기 위한 심리 동작 등 수치화할 수 있는 피상담자의 특징적인 동작에 관한 정보를 포함할 수 있다.
반응 정보 분석부(3140)는 반응 정보를 기초로 하여 상담 결과 정보를 생성한다. 상담 결과 정보는 피상담자의 반응 정보, 맵핑 영상, 반응 정보 및 영상 정보 중 하나 이상을 기초로 도출될 수 있는 분석 정보를 포함할 수 있다. 상담 결과 정보는 피상담자에게 제공되어 맵핑 영상의 시청을 통해 피상담자가 어떠한 반응을 보였는지 확인하고, 피상담자의 반응이 나타내는 심리 상태, 심리 변화의 내용을 확인할 수 있는 정보를 포함할 수 있다.
반응 정보 분석부(3140)는 수신한 반응 정보를 기초로 하여 분석 정보를 생성할 수 있다. 분석 정보는 미리 결정된 범위를 벗어난 값으로 측정된 이상 맥박 정보 및 이상 뇌파 정보, 및 상기 이상 맥박 정보 또는 상기 이상 뇌파 정보가 발생한 시간 동안의 동작 정보를 포함할 수 있다. 이상 맥박 정보 및 이상 뇌파 정보는 다른 구간 동안 측정된 맥박 정보 및 뇌파 정보 또는 평균적인 맥박 정보 및 뇌파 정보에 비해 미리 설정된 수치 이상의 차이가 나는 맥박 정보 및 뇌파 정보일 수 있다. 분석 정보는 이상 맥박 정보를 포함한 맥박 정보와, 이상 뇌파 정보를 포함한 뇌파 정보와, 동작 정보 중 하나 이상을 통해 피상담자의 긴장, 당황, 집중, 불안, 스트레스, 흥분, 평온 등의 심리 상태에 대한 정보를 포함할 수 있다.
반응 정보 분석부(3140)는 뇌파 정보를 통해 피상담자의 불안 또는 흥분 상태를 나타내는 감마파와, 활동, 스트레스 또는 몰입 상태를 나타내는 베타파와, 명상 또는 해소 등의 안정된 상태를 나타내는 알파파와, 얕은 수면 또는 졸린 상태를 나타내는 세타파와, 깊은 수면 상태를 나타내는 델타파를 통해 피상담자의 심리 상태 및 그 수준을 도출할 수 있다. 반응 정보 분석부(3140)는 맥박 정보를 통해 불안, 스트레스 등의 심리 요인과 피상담자의 움직임 등 신체적 요인에 의해 불규칙적으로 변화하는 경향을 이용하여 피상담자의 심리 상태 및 그 수준을 직간접적으로 도출할 수 있다. 각각의 심리 상태의 결정에 요구되는 반응 정보의 종류 및 해당 반응 정보에 따른 각각의 심리 상태의 수준을 결정하는 산출 과정, 수준별 수치 범위 등은 공지된 연구 결과로부터 채용하되, 지속적인 상담 결과 정보의 누적과 피상담자의 확인 및 피드백을 통한 조건 수정을 통해 재설정될 수 있다.
상담 정보 제공부(3150)는 맵핑 영상에 대한 영상 정보와 분석 정보를 매칭하여 신규 상담 결과 정보를 생성할 수 있다. 상담 결과 정보는 반응 정보, 영상 정보, 분석 정보 및 이러한 정보를 다양한 조건에 따라 매칭한 정보 등 심리 상담을 진행한 피상담자에게 제공할 진행 사항 및 결과를 포함할 수 있다. 피상담자는 심리 상태, 심리 상태의 변화에 영향을 미친 맵핑 영상 상의 요인을 인지할 수 있으며, 이전 심리 상담과 대비한 변화를 파악함으로써 심리 상태의 변화를 파악할 수 있다.
상담 정보 제공부(3150)는 신규 상담 결과 정보를 기존 상담 결과 정보에 추가할 수 있다. 기존에 심리 상담 이력이 존재하는 피상담자의 경우 상담 정보 처리부(3000)의 메모리(3200)에 저장된 피상담자 정보(3230)에 기존 상담 결과 정보가 존재하므로, 심리 결과 정보 제공 시 기존 상담 결과 정보와 함께 제공하고 상담자 측에서도 계속하여 관리하기 위하여 피상담자 정보(3230)의 기존 상담 결과 정보에 신규 상담 결과 정보를 추가할 수 있다.
상담 정보 제공부(3150)는 상담 결과 정보를 피상담자 단말(4000)에 전송한다. 상담 정보 제공부(3150)는 기존 상담 결과 정보와 신규 상담 결과 정보를 통합한 상담 결과 정보를 피상담자 단말(4000)로 전송할 수 있다. 상담 정보 제공부(3150)는 상담자 또한 상담 결과 정보를 확인할 수 있도록 상담자 단말(5000)로도 상담 결과 정보를 전송할 수 있다. 피상담자 단말(4000)에 전송되는 상담 결과 정보는 관리를 위한 상담 결과 정보와 더불어 피상담자가 반응 정보, 동작 정보, 분석 정보 등을 쉽게 파악할 수 있도록 시각화하여 제공될 수 있다.
도 4를 참조하면, 전술한 심리 상담 시스템을 이용한 본 발명의 일 실시예에 따른 실시간 영상 및 음성 맵핑을 통해 개인화된 상담이 가능한 심리 상담 방법은 상담자 영상 수신 단계(S100)와, 커버링 영상 및 음성 수신 단계(S200)와, 맵핑 영상 생성 단계(S300)와, 맵핑 영상 전송 단계(S400)와, 반응 정보 수신 단계(S500)와, 상담 결과 정보 생성 단계(S600)와, 상담 결과 정보 전송 단계(S700)를 포함한다.
먼저, 맵핑 영상의 기초가 되는 상담자 영상을 영상 촬영부(2000)로부터 수신한다(S100). 상담자 영상에는 상담자의 안면이 포함될 수 있다. 상담자 영상에는 상담자의 3차원 안면 영상 좌표에 대한 정보가 포함될 수 있다. 커버링 영상을 상담자 영상에 용이하게 맵핑하기 위하여 상담자 영상 내 상담자의 안면 상 특징점이 추출됨으로써 실시간으로 맵핑 영상을 제공하는 것을 가능케 할 수 있다.
그 다음으로, 커버링 영상 및 음성을 피상담자 단말로부터 수신한다(S200). 커버링 영상 및 음성은 상담자 영상의 상담자에 맵핑할 커버 인물에 대한 영상 및 음성을 포함한다. 커버링 영상 및 음성에는 상담자 영상의 상담자에 맵핑하기 위하여 상담자로부터 추출된 3차원 안면 영상 좌표의 전체 또는 일부에 대응하는 커버 인물의 특징 부분과 상담자 영상의 상담자의 음성에 맵핑하기 위하여 상담자로부터 추출된 음성 정보의 전체 또는 일부에 대응하는 커버 인물의 특징이 나타날 수 있다. 커버링 영상의 커버 인물은 피상담자가 가상의 맵핑 영상의 환경 내에서 간접적으로 대면하고 싶은 현실의 인물일 수 있다. 피상담자는 직접 대면하기 곤란한 현실의 인물이 등장하는 커버링 영상을 가지고 상담자를 방문하며, 상담자가 등장하는 상담자 영상에 커버링 영상을 맵핑한 맵핑 영상을 시청하면서 현실에서 마주하기 곤란한 상황을 간접적으로 느끼고 그로부터 현재의 심리 상태 인지, 심리 상태의 변화 인지, 심리 상태의 개선 등의 상담 효과를 거둘 수 있는 것이다.
그 다음으로, 상담자 영상에 커버링 영상을 맵핑하여 맵핑 영상을 생성한다(S300). 맵핑 영상은 상담자 영상의 일부 또는 전체 프레임에서 상담자의 일부 또는 전체 이미지를 기초로 커버링 영상에 포함된 이미지로 합성함으로써 생성될 수 있다. 맵핑 영상은 상담자의 일부 또는 전체 이미지가 커버링 영상에 등장하는 커버 인물의 일부 또는 전체 이미지로 대체 또는 합성되어 생성될 수 있다. 이와 같이, 상담자 영상에 커버링 영상을 맵핑함으로써 피상담자가 맵핑 영상을 시청할 때 피상담자가 제공한 커버링 영상의 커버 인물과 상담하는 것처럼 느낄 수 있다. 맵핑 영상 생성 단계(S300)는 이하의 구체적인 단계들을 포함할 수 있다.
먼저, 커버링 영상에 나타나는 커버 인물의 3차원 안면 좌표 정보 및 음성 정보를 추출할 수 있다. 커버링 영상에 대한 영상 정보는 등장하는 인물 중 상담자 영상에 맵핑될 인물인 커버 인물에 대한 3차원 안면 좌표 정보 및 음성 정보를 포함한다. 수신 단계(S200)에서 확보한 커버링 영상에서 커버 인물의 3차원 안면 좌표 정보 및 음성 정보를 추출함으로써 상담자 영상의 상담자에 맵핑하기 위한 정보를 마련할 수 있다.
커버 인물의 3차원 안면 좌표 정보는 전술한 영상 처리 알고리즘을 통해 커버링 영상으로부터 추출될 수 있다. 3차원 안면 좌표 정보는 커버 인물의 안면에 포함된 특정 형상, 패턴, 색상 또는 이들의 조합을 통해 추출될 수 있다. 커버 인물의 3차원 안면 좌표 정보는 상담자 영상의 기준 프레임에서 상담자의 안면 좌표를 확보한 각도에 기초하여 커버링 영상으로부터 추출될 수 있다. 또한, 커버 인물의 3차원 안면 좌표 정보는 각각의 프레임에서 확보한 안면 좌표 정보를 기초로 하여 하나의 기준 좌표를 산출함으로써 획득할 수 있다.
그 다음으로, 커버링 영상에 나타나는 커버 인물의 3차원 안면 좌표 정보를 기초로 커버 인물을 상담자 영상에 나타나는 상담자에 맵핑할 수 있다. 커버 인물과 상담자의 3차원 안면 좌표 정보를 기초로 하여 상담자 영상에서 상담자의 일부 또는 전체 이미지를 커버링 영상의 커버 인물의 일부 또는 전체 이미지로 대체하거나 합성할 수 있다. 커버 인물의 3차원 안면 좌표 정보와 상담자의 3차원 안면 좌표 정보를 기초로 각각의 특징적인 부분을 매칭하고, 각각의 프레임에서 상담자의 안면 각도에 따른 이미지에 대응하는 커버 인물의 이미지를 생성할 수 있다. 커버 인물의 이미지를 상담자 영상에 합성하기 위해 공지의 영상 합성 알고리즘이 자유롭게 채용될 수 있다.
커버링 영상에 나타나는 커버 인물의 음성 정보를 기초로 커버 인물을 상담자 영상에 나타나는 상담자의 음성에 맵핑할 수 있다. 전술한 커버 인물 음성 정보 추출 단계를 통해 획득한 커버 인물의 음성 정보와 상담자의 음성 정보를 기초로 하여 상담자 영상에서 상담자의 일부 또는 전체 음성을 커버링 영상의 커버 인물의 일부 또는 전체 음성으로 대체하거나 변조할 수 있다. 커버 인물의 음성 정보와 상담자의 음성 정보를 기초로 각각의 특징적인 부분을 매칭하고, 각각의 시점에서 발생한 음성을 변경할 수 있다.
그 다음으로, 생성된 맵핑 영상을 피상담자 단말에 전송한다(S400). 맵핑 영상은 전체 영상의 맵핑이 완료된 후에 피상담자 단말로 전송되거나, 맵핑 영상이 전송되는 동안 피상담자가 곧바로 맵핑 영상을 시청할 수 있도록 시청 가능한 부분이 순차적으로 피상담자 단말로 전송되도록 스트리밍 방식으로 전송될 수도 있다.
그 다음으로, 피상담자 단말에서 맵핑 영상이 재생되는 동안 측정된 반응 정보를 수신한다(S500). 반응 정보는 피상담자의 신체로부터 측정할 수 있는 뇌파, 맥박, 체온, 혈당, 동공 변화, 혈압, 혈중 용존 산소량 등의 생체 정보와, 감지 가능한 피상담자의 움직임을 수치화할 수 있는 동작 정보를 포함한다. 반응 정보는 피상담자의 맥박 정보, 뇌파 정보 및 동작 정보 중 하나 이상을 포함할 수 있다. 맥박 정보는 심장 박동 수, 심장 박동 변이도 지수, 교감신경 활성 지수, 부교감신경 활성 지수, 자율신경 활성 지수 및 자율신경 균형 지수 중 하나 이상을 포함할 수 있다. 뇌파 정보는 좌뇌 및 우뇌로부터 측정된 델타, 세타, 알파, 베타 및 감마 중 하나 이상의 주파수 영역에 관한 정보를 포함할 수 있다. 동작 정보는 둘 이상의 선택지 중 일부를 선택하거나 영상의 재생에 따른 기능을 실행하는 등의 입력 동작과, 영상을 통한 상담의 진행을 위해 요구되는 의사 표현 동작과, 상담에 대한 피상담자의 집중, 긴장, 당황 등의 심리 변화를 파악하기 위한 심리 동작 등 수치화할 수 있는 피상담자의 특징적인 동작에 관한 정보를 포함할 수 있다.
그 다음으로, 반응 정보를 기초로 하여 상담 결과 정보를 생성한다(S600). 상담 결과 정보는 피상담자의 반응 정보, 맵핑 영상 및 맵핑 영상에 사용된 상담자 영상에 대한 세부 영상 정보, 반응 정보 및 영상 정보 중 하나 이상을 기초로 도출될 수 있는 분석 정보를 포함할 수 있다. 상담 결과 정보는 피상담자에게 제공되어 맵핑 영상의 시청을 통해 피상담자가 어떠한 반응을 보였는지 확인하고, 피상담자의 반응이 나타내는 심리 상태, 심리 변화의 내용을 확인할 수 있는 정보를 포함할 수 있다. 상담 결과 정보 생성 단계(S600)는 이하의 구체적인 단계들을 포함할 수 있다.
도 5를 참조하면, 먼저, 수신한 반응 정보를 기초로 하여 분석 정보를 생성할 수 있다(S610). 분석 정보는 미리 결정된 범위를 벗어난 값으로 측정된 이상 맥박 정보 및 이상 뇌파 정보, 및 상기 이상 맥박 정보 또는 상기 이상 뇌파 정보가 발생한 시간 동안의 동작 정보를 포함할 수 있다. 이상 맥박 정보 및 이상 뇌파 정보는 다른 구간 동안 측정된 맥박 정보 및 뇌파 정보 또는 평균적인 맥박 정보 및 뇌파 정보에 비해 미리 설정된 수치 이상의 차이가 나는 맥박 정보 및 뇌파 정보일 수 있다. 분석 정보는 이상 맥박 정보를 포함한 맥박 정보와, 이상 뇌파 정보를 포함한 뇌파 정보와, 동작 정보 중 하나 이상을 통해 피상담자의 긴장, 당황, 집중, 불안, 스트레스, 흥분, 평온 등의 심리 상태에 대한 정보를 포함할 수 있다.
뇌파 정보에 의하면 피상담자의 불안 또는 흥분 상태를 나타내는 감마파와, 활동, 스트레스 또는 몰입 상태를 나타내는 베타파와, 명상 또는 해소 등의 안정된 상태를 나타내는 알파파와, 얕은 수면 또는 졸린 상태를 나타내는 세타파와, 깊은 수면 상태를 나타내는 델타파를 통해 피상담자의 심리 상태 및 그 수준을 도출할 수 있다. 또한, 맥박 정보에 의하면 불안, 스트레스 등의 심리 요인과 피상담자의 움직임 등 신체적 요인에 의해 불규칙적으로 변화하는 경향을 이용하여 피상담자의 심리 상태 및 그 수준을 직간접적으로 도출할 수 있다. 각각의 심리 상태의 결정에 요구되는 반응 정보의 종류 및 해당 반응 정보에 따른 각각의 심리 상태의 수준을 결정하는 산출 과정, 수준별 수치 범위 등은 공지된 연구 결과로부터 채용하되, 지속적인 상담 결과 정보의 누적과 피상담자의 확인 및 피드백을 통한 조건 수정을 통해 재설정될 수 있다.
분석 정보는 맵핑 영상을 피상담자가 시청하는 동안 시간에 따라 반응 정보와 영상 정보 간 관계에 대한 분석 정보를 포함할 수 있다. 분석 정보는 이상 맥박 정보, 이상 뇌파 정보 또는 기타 반응 정보의 종류 및 수준에 따라 결정되는 심리 상태와 그 변화 수준에 대한 정보를 포함할 수 있다. 맵핑 영상의 재생되는 시간과 반응 정보의 수신 시간의 동기화를 통해 시간별 영상 정보에 따른 반응 정보의 상태와 변화를 분석 정보를 통해 확인할 수 있다. 이를 통해 피상담자는 심리 상태, 심리 상태의 변화를 인지할 수 있으며, 해당 심리 상담 중 각각의 시점 간 변화 및 이전 심리 상담과 대비한 변화를 파악함으로써 심리 상태의 변화를 파악할 수 있다.
그 다음으로, 맵핑 영상에 대한 영상 정보와 분석 정보를 매칭하여 신규 상담 결과 정보를 생성할 수 있다(S620). 상담 결과 정보는 반응 정보, 영상 정보, 분석 정보 및 이러한 정보를 다양한 조건에 따라 매칭한 정보 등 심리 상담을 진행한 피상담자에게 제공할 진행 사항 및 결과를 포함할 수 있다. 상담 결과 정보는 분석 정보 생성 단계(S620)에서 생성된 분석 정보와 함께 해당 정보에 영향을 미친 특징 간의 유의미한 관계가 존재하는지 여부를 판단한 내용을 포함할 수 있다. 피상담자는 심리 상태, 심리 상태의 변화에 영향을 미친 요인을 인지할 수 있으며, 해당 심리 상담 중 각각의 시점 간 변화 및 이전 심리 상담과 대비한 변화를 파악함으로써 심리 상태의 변화를 파악할 수 있다.
그 다음으로, 신규 상담 결과 정보를 기존 상담 결과 정보에 추가할 수 있다(S630). 기존에 심리 상담 이력이 존재하는 피상담자의 경우 기존 상담 결과 정보가 존재하므로, 심리 결과 정보 제공 시 기존 상담 결과 정보와 함께 제공하고 상담자 측에서도 계속하여 관리하기 위하여 기존 상담 결과 정보에 신규 상담 결과 정보를 추가할 수 있다.
그 다음으로, 상담 결과 정보를 피상담자 단말에 전송한다(S700). 상담 결과 정보 추가 단계(S630)에서 기존 상담 결과 정보와 신규 상담 결과 정보를 통합한 상담 결과 정보를 피상담자 단말로 전송할 수 있다. 피상담자 단말에 전송되는 상담 결과 정보는 관리를 위한 상담 결과 정보와 더불어 피상담자가 반응 정보, 분석 정보 등을 쉽게 파악할 수 있도록 시각화하여 제공될 수 있다.
전술한 실시예에 따른 심리 상담 방법에 의하면, 상담자 영상에 피상담자가 원하는 커버링 영상을 실시간으로 맵핑한 영상을 통해 개인화된 상담을 제공함으로써, 피상담자가 보다 편안한 마음으로 상담에 참여할 수 있으며 동시에 뇌파, 맥박, 동작 등 피상담자의 반응 정보를 수집하고 분석하여 심리 상태의 변화 요인과 변화 양태를 파악할 수 있다. 특히, 피상담자는 맵핑 영상을 통해 대면하고 싶은 커버링 영상 속 커버 인물을 간접적으로 접하는 상황을 체험하는 과정을 거치면서 자신의 신체 변화를 동시에 확인할 수 있어, 스스로 인지하기 곤란한 심리 상태의 종류, 심리 상태의 변화 양태, 내외부 요인 등을 인지할 수 있으며, 반복되는 심리 상담에서 심리 변화를 파악하고 심리 상태가 개선될 수 있는 방향을 함께 모색할 수 있을 것이다.
상기 실시예에 따른 실시간 영상 및 음성 맵핑을 통해 개인화된 상담이 가능한 심리 상담 시스템에 의하여 구현되는 심리 상담 방법은 도 6에 도시된 컴퓨팅 장치(9000)에 의하여 구현될 수 있다. 도 6의 상담 정보 처리부(3000)는 도 7에 도시된 컴퓨팅 장치(9000)의 구성요소들을 포함할 수 있다.
컴퓨팅 장치(9000)는 하나 이상의 프로세서(9100), 메모리(9200), 주변장치 인터페이스(9300), 입/출력 서브시스템(9400), 전력 회로(9500) 및 통신 회로(9600)를 포함할 수 있다. 컴퓨팅 장치(9000)는 반응 정보 측정부(1000), 영상 촬영부(2000), 상담 정보 처리부(3000), 피상담자 단말(4000) 및 상담자 단말(5000)의 일부 또는 전체를 포함하거나, 입/출력 서브시스템(9400)에 의하여 반응 정보 측정부(1000), 영상 촬영부(2000) 상담 정보 처리부(3000), 피상담자 단말(4000) 및 상담자 단말(5000)의 일부 또는 전체에 연결될 수 있다.
메모리(9200)는 일례로 고속 랜덤 액세스 메모리, 자기 디스크, SRAM, DRAM, ROM, 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(9200)는 컴퓨팅 장치(9000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 기타 데이터를 포함할 수 있다. 프로세서(9100)나 주변장치 인터페이스(9300) 등의 컴포넌트에서 메모리(9200)에 접근하는 것은 프로세서(9100)에 의해 제어될 수 있다.
주변장치 인터페이스(9300)는 컴퓨팅 장치(9000)의 입력 주변장치 및 출력 주변장치 중 하나 이상을 프로세서(9100) 및 메모리(9200)에 연결시킬 수 있다. 프로세서(9100)는 메모리(9200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅 장치(9000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.
입/출력 서브시스템(9400)은 다양한 입/출력 주변장치들을 주변장치 인터페이스(9300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템(9400)은 모니터, 키보드, 마우스, 프린터, 터치 스크린, 센서 등의 주변장치를 주변장치 인터페이스(9300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 입/출력 주변장치는 입/출력 서브시스템(9400)을 거치지 않고 주변장치 인터페이스(9300)에 결합될 수도 있다.
전력 회로(9500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(9500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.
통신 회로(9600)는 하나 이상의 외부 포트를 이용하여 다른 컴퓨팅 장치와 통신을 가능하게 할 수 있다. 통신 회로(9600)는 RF 회로를 구비하여 RF 신호를 송수신함으로써 다른 컴퓨팅 장치와 통신을 가능하게 할 수도 있다.
컴퓨팅 장치(9000)는 일 예시로서, 도시된 일부 컴포넌트가 생략되거나, 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅 장치는 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(9600)에 다양한 통신 방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅 장치(9000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨팅 장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 애플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 이용자 단말에 설치될 수 있다. 일 예로, 파일 배포 시스템은 이용자 단말의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅 장치 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 발명의 실시예들에 따른 시스템 및 방법에서의 통신 연결은 유선 통신이나 무선 통신과 같은 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 명세서에서의 통신 연결은 공지의 인터넷 또는 월드와이드웹(WWW; World Wide Web)일 수 있다. 그러나, 통신 연결은, 굳이 이에 국한될 필요 없이, 공지의 유무선 데이터 통신망, 공지의 전화망 또는 공지의 유무선 텔레비전 통신망을 그 적어도 일부에 있어서 포함할 수도 있다. 예를 들면, 통신 연결은 무선 데이터 통신망으로서, 와이파이(WiFi) 통신, 와이파이 다이렉트(WiFi-Direct) 통신, 롱텀 에볼루션(LTE, Long Term Evolution) 통신, 블루투스 통신(더 구체적으로는, 저전력 블루투스(BLE; Bluetooth Low Energy)), 적외선 통신, 초음파 통신 등과 같은 종래의 통신 방법을 적어도 그 일부분에 있어서 구현하는 것일 수 있다. 다른 예를 들면, 통신 연결은 광 통신망으로서, 라이파이(LiFi, Light Fidelity) 등과 같은 종래의 통신 방법을 적어도 그 일부분에 있어서 구현하는 것일 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
1000: 반응 정보 측정부
1100: 맥박 측정 모듈
1200: 뇌파 측정 모듈
1300: 동작 감지 모듈
2000: 영상 촬영부
3000: 상담 정보 처리부
4000: 피상담자 단말
5000: 상담자 단말

Claims (3)

  1. 실시간 영상 및 음성 맵핑을 통해 개인화된 상담이 가능한 심리 상담 방법으로서,
    상담자 영상을 영상 촬영부로부터 수신하는 단계;
    커버링 영상 및 음성을 피상담자 단말로부터 수신하는 단계;
    상기 상담자 영상에 상기 커버링 영상 및 음성을 맵핑하여 맵핑 영상을 생성하는 단계;
    상기 맵핑 영상을 상기 피상담자 단말에 전송하는 단계;
    상기 피상담자 단말에서 상기 맵핑 영상이 재생되는 동안 반응 정보 측정부로부터 피상담자의 반응 정보를 수신하는 단계;
    상기 반응 정보를 기초로 하여 상담 결과 정보를 생성하는 단계; 및
    상기 상담 결과 정보를 상기 피상담자 단말에 전송하는 단계;
    를 포함하며,
    상기 맵핑 영상을 생성하는 단계는,
    상기 커버링 영상에 나타나는 커버 인물의 3차원 안면 좌표 정보 및 음성 정보를 추출하는 단계;
    상기 커버링 영상에 나타나는 커버 인물의 상기 3차원 안면 좌표 정보를 기초로 상기 커버 인물을 상기 상담자 영상에 나타나는 상담자에 맵핑하는 단계; 및
    상기 커버 인물의 상기 음성 정보를 기초로 상담자의 음성에 맵핑하는 단계;
    를 포함하며,
    상기 상담 결과 정보를 생성하는 단계는,
    상기 반응 정보를 기초로 하여 분석 정보를 생성하는 단계;
    상기 맵핑 영상에 대한 영상 정보와 상기 분석 정보를 매칭하여 신규 상담 결과 정보를 생성하는 단계;
    기존 상담 결과 정보와 상기 신규 상담 결과 정보를 포함하는 상기 상담 결과 정보를 생성하는 단계; 및
    상기 신규 상담 결과 정보를 상기 기존 상담 결과 정보에 추가하는 단계;
    를 포함하고,
    상기 반응 정보는 피상담자의 맥박 정보, 뇌파 정보 및 동작 정보 중 하나 이상을 포함하며,
    상기 분석 정보는 미리 결정된 범위를 벗어난 값으로 측정된 이상 맥박 정보 및 이상 뇌파 정보, 상기 이상 맥박 정보 또는 상기 이상 뇌파 정보가 발생한 시간 동안의 동작 정보를 포함하고,
    상기 분석 정보는 상기 맵핑 영상의 재생되는 시간과 상기 반응 정보의 수신 시간의 동기화를 통해 상기 맵핑 영상을 피상담자가 시청하는 동안 시간에 따른 상기 반응 정보와 상기 영상 정보 간 관계에 대한 정보로서, 피상담자의 심리 상태의 변화에 영향을 미친 맵핑 영상 상의 요인 및 심리 상담 중 시점 간 피상담자의 심리 상태의 변화에 대한 정보를 포함하는 심리 상담 방법.

  2. 삭제
  3. 삭제
KR1020200011800A 2020-01-31 2020-01-31 실시간 영상 및 음성 맵핑을 통해 개인화된 상담이 가능한 심리 상담 방법 KR102216899B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200011800A KR102216899B1 (ko) 2020-01-31 2020-01-31 실시간 영상 및 음성 맵핑을 통해 개인화된 상담이 가능한 심리 상담 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200011800A KR102216899B1 (ko) 2020-01-31 2020-01-31 실시간 영상 및 음성 맵핑을 통해 개인화된 상담이 가능한 심리 상담 방법

Publications (1)

Publication Number Publication Date
KR102216899B1 true KR102216899B1 (ko) 2021-02-17

Family

ID=74731977

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200011800A KR102216899B1 (ko) 2020-01-31 2020-01-31 실시간 영상 및 음성 맵핑을 통해 개인화된 상담이 가능한 심리 상담 방법

Country Status (1)

Country Link
KR (1) KR102216899B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102388765B1 (ko) * 2021-10-27 2022-04-20 임시원 인공지능 기반의 정신과 질환 진단 시스템
KR20230016381A (ko) * 2021-07-26 2023-02-02 서울대학교병원 워핑기술을 이용한 자폐증 환자의 상호작용 훈련 시스템 및 영상 워핑 모델 학습 방법
KR102562810B1 (ko) * 2022-10-06 2023-08-02 주식회사 빅거츠 Ai 기반 온라인 코칭 서비스 제공 시스템, 이의 실행 방법 및 기록 매체
US12033299B2 (en) 2021-07-26 2024-07-09 Seoul National University Hospital Interaction training system for autistic patient using image warping, method for training image warping model, and computer readable storage medium including executions causing processor to perform same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160082549A (ko) * 2014-12-26 2016-07-08 주식회사 사람과기술 생체신호 측정장비를 활용한 원격 심리상담 시스템
KR20160120606A (ko) * 2015-04-08 2016-10-18 김성운 원격 상담을 위한 양방향 커뮤니케이션 제공 방법, 이를 수행하는 시스템 및 이를 저장하는 기록매체
KR20180066765A (ko) * 2016-12-09 2018-06-19 주식회사 옴니씨앤에스 가상 현실을 이용하여 정신 건강을 관리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR20180099403A (ko) 2017-02-28 2018-09-05 주식회사 에임메드 온라인 심리상담 시스템 및 이를 이용한 온라인 심리상담 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160082549A (ko) * 2014-12-26 2016-07-08 주식회사 사람과기술 생체신호 측정장비를 활용한 원격 심리상담 시스템
KR20160120606A (ko) * 2015-04-08 2016-10-18 김성운 원격 상담을 위한 양방향 커뮤니케이션 제공 방법, 이를 수행하는 시스템 및 이를 저장하는 기록매체
KR20180066765A (ko) * 2016-12-09 2018-06-19 주식회사 옴니씨앤에스 가상 현실을 이용하여 정신 건강을 관리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR20180099403A (ko) 2017-02-28 2018-09-05 주식회사 에임메드 온라인 심리상담 시스템 및 이를 이용한 온라인 심리상담 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230016381A (ko) * 2021-07-26 2023-02-02 서울대학교병원 워핑기술을 이용한 자폐증 환자의 상호작용 훈련 시스템 및 영상 워핑 모델 학습 방법
US20230123330A1 (en) * 2021-07-26 2023-04-20 Seoul National University Hospital Interaction training system for autistic patient using image warping, method for training image warping model, and computer readable storage medium including executions causing processor to perform same
KR102647730B1 (ko) * 2021-07-26 2024-03-14 서울대학교병원 워핑기술을 이용한 자폐증 환자의 상호작용 훈련 시스템 및 영상 워핑 모델 학습 방법
US12033299B2 (en) 2021-07-26 2024-07-09 Seoul National University Hospital Interaction training system for autistic patient using image warping, method for training image warping model, and computer readable storage medium including executions causing processor to perform same
KR102388765B1 (ko) * 2021-10-27 2022-04-20 임시원 인공지능 기반의 정신과 질환 진단 시스템
KR102562810B1 (ko) * 2022-10-06 2023-08-02 주식회사 빅거츠 Ai 기반 온라인 코칭 서비스 제공 시스템, 이의 실행 방법 및 기록 매체

Similar Documents

Publication Publication Date Title
Bota et al. A review, current challenges, and future possibilities on emotion recognition using machine learning and physiological signals
Cho et al. Instant stress: detection of perceived mental stress through smartphone photoplethysmography and thermal imaging
Dunn et al. Wearables and the medical revolution
Iqbal et al. A review of wearable technology in medicine
KR102216899B1 (ko) 실시간 영상 및 음성 맵핑을 통해 개인화된 상담이 가능한 심리 상담 방법
WO2018039158A1 (en) Method and apparatus for determining health status
TW201945979A (zh) 用於使用多重結構之人體溫度迴歸的系統和方法
Betella et al. Inference of human affective states from psychophysiological measurements extracted under ecologically valid conditions
US20200234813A1 (en) Multi-disciplinary clinical evaluation in virtual or augmented reality
KR101901258B1 (ko) 사용자의 정서안정을 위한 가상현실 시스템, 구현방법, 및 컴퓨터-판독가능매체
Colantonio et al. Computer vision for ambient assisted living: Monitoring systems for personalized healthcare and wellness that are robust in the real world and accepted by users, carers, and society
Tariq Advanced wearable medical devices and their role in transformative remote health monitoring
Alnaggar et al. Video-based real-time monitoring for heart rate and respiration rate
US20200371738A1 (en) Virtual and augmented reality telecommunication platforms
David et al. Quantification of the relative arm use in patients with hemiparesis using inertial measurement units
Huang et al. Challenges and prospects of visual contactless physiological monitoring in clinical study
US20240138780A1 (en) Digital kiosk for performing integrative analysis of health and disease condition and method thereof
KR102216904B1 (ko) 개인화된 영상 제공을 통해 심리 변화 추적이 가능한 심리 상담 방법
Usharani et al. Pregnancy Women—Smart Care Intelligent Systems: Patient Condition Screening, Visualization and Monitoring with Multimedia Technology
Allam et al. AI economical wearable smart device to alert real time health reports to doctors
KR20230088668A (ko) 원격진료 서비스 제공 방법
KR102216892B1 (ko) 실시간 영상 맵핑을 통해 개인화된 영상 상담이 가능한 심리 상담 방법
EP4124287A1 (en) Regularized multiple-input pain assessment and trend
KR102216905B1 (ko) 개인화된 영상 및 음성 제공을 통해 심리 변화 추적이 가능한 심리 상담 방법
KR102277894B1 (ko) 개인화된 영상 제공을 통해 심리 변화 추적이 가능한 심리 상담 방법

Legal Events

Date Code Title Description
GRNT Written decision to grant