KR20220145968A - 인공지능 표정인식 기술이 적용된 가상 현실 심리 치료 방법 - Google Patents

인공지능 표정인식 기술이 적용된 가상 현실 심리 치료 방법 Download PDF

Info

Publication number
KR20220145968A
KR20220145968A KR1020210052152A KR20210052152A KR20220145968A KR 20220145968 A KR20220145968 A KR 20220145968A KR 1020210052152 A KR1020210052152 A KR 1020210052152A KR 20210052152 A KR20210052152 A KR 20210052152A KR 20220145968 A KR20220145968 A KR 20220145968A
Authority
KR
South Korea
Prior art keywords
language
expression
unit
virtual reality
subject
Prior art date
Application number
KR1020210052152A
Other languages
English (en)
Inventor
김문식
Original Assignee
주식회사 에이디엠아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이디엠아이 filed Critical 주식회사 에이디엠아이
Priority to KR1020210052152A priority Critical patent/KR20220145968A/ko
Publication of KR20220145968A publication Critical patent/KR20220145968A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176—Recognition of faces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Psychiatry (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Hospice & Palliative Care (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Social Psychology (AREA)
  • Veterinary Medicine (AREA)
  • Acoustics & Sound (AREA)
  • Psychology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Signal Processing (AREA)
  • Developmental Disabilities (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

본 발명은 피검자 정보 생성부(10)의 마이크로폰(11)을 포함하는 음성 생성부가 피검자의 음성 파일을 생성하고 카메라(12)를 포함하는 표정 영상 생성부가 피검자의 얼굴 표정 영상을 생성하는, 피검자 정보 생성 단계(S10)와; 음성 인식부(20)가 피검자의 음성 파일을 번역하여 피검자의 언어(언어 1)로 출력하는 피검자 음성 인식 단계(S20)와; 표정 인식부(30)가 얼굴 표정 영상 정보를 입력으로 하여 피검자의 표정 분류(Ci)로 출력하는, 피검자 표정 인식 단계(S30)와; 치료 언어 선택부(40)가, 상기 피검자의 언어(언어 1)와 피검자의 표정 분류(Ci)를 입력데이터로 하여 피검자의 심리 치료 컨텐츠에서 음성으로 출력될 가상 인간(Digital Human)의 치료 언어(언어 2)를 출력하여 제공하는, 가상 인간 치료 언어 선택 단계(S40)와; 치료 언어 감정 판단부(50)가, 상기 치료 언어(언어 2)를 입력데이터로 하여 치료 언어(언어 2) 음성 출력시 화상으로 출력될 가상 인간(Digital Human)의 표정 분류(Ci)를 출력하여 제공하는, 가상 인간 치료 표정 선택 단계(S50)와; 심리 치료 컨텐츠 출력부(60)의 음성 출력부(61)가 치료 언어 선택부(40)에서 제공되는 치료 언어로 피검자에게 음성 출력하고, 심리 치료 컨텐츠의 화상 출력부(62)가 치료 언어 감정 판단부(50)에서 제공되는 표정 분류(Ci)를 가상 인간(Digital Human)에 적용하여 화상 출력하는, 시청각 컨텐츠 출력 단계(S60) 것을 특징으로 하는 인공 지능 표정인식 기술이 적용된 가상 현실 심리 치료 방법에 관한 것이다.

Description

인공지능 표정인식 기술이 적용된 가상 현실 심리 치료 방법 { virtual reality psychological therapy using facial expression detecting technology }
본 발명은 인공지능 표정인식 기술이 적용된 가상 현실 심리 치료 방법에 관한 것이다.
종래 기술로서 영산대학교산학협력단 제10-2104202호(2019.03.13 출원)는, 가상 현실을 사용하여 내담자의 심리적 문제를 해결하기 위한 인지행동치료 장치로서, 치료 대상인 내담자로 하여금 시청하게 할 목적으로 다양한 기본적 상황에 대응하는 영상 및 상기 내담자와 상호작용하는 상대방의 다양한 사회적 상호작용 영상을 저장하는 베이터베이스; 상기 내담자에게 VR 헤드셋을 착용시키고 상기 상호작용 영상 중 기본적 상황에 대응하는 영상을 제공하는 가상현실 제공부; 상기 내담자가 가상 현실 속 상대방을 향하여 사전에 지시받은 동작을 수행하는 동안, 상기 내담자의 동작이 시작되고 종료되는 시점을 감지하는 시작/종료 시점 감지부; 상기 내담자의 동작이 시작 또는 종료되면, 상기 상호작용 영상 중에서 동작의 시작 또는 종료 시점에 상응하는 사회적 상호작용 영상을 결정하고, 상기 내담자가 시청중인 현재 영상과 상기 결정된 사회적 상호작용 영상을 심리스(seamless)하게 연결하며, 상기 결정된 사회적 상호작용 영상 재생이 완료되면 상기 기본적 상황에 대응하는 영상을 심리스하게 연결하는 심리스 연결 영상 생성부; 및 생성된 심리스 연결 영상을 상기 내담자에게 제공하여 상기 내담자의 인지행동치료에 도움을 주는 인지행동 치료부를 포함하고, 상기 상호작용 영상은 영상 및 상기 영상에 동기화된 음향을 포함하며, 상기 상호작용 영상은, 상기 내담자의 동작에 대한 박수와 환호성을 포함하는 긍정적 반응 영상 및 침묵을 포함하는 부정적 반응 영상을 포함하는, 가상 현실을 사용한 인지행동치료 장치를 개시하고 있다.
본 발명은 가상현실 치료(Virtual Reality Therapy, VRT) VR 기기를 이용해 노출 요법을 실행하는 기능을 수행하고, 초고령화 시대 진입과 경쟁심화에 따른 심리 질환 등 1대 1 심리 재활 치료에 가상현실 기술을 활용하며 환자가 두려워하는 상황이나 사건에 가상으로 노출해 차츰 두려움을 없애는 방법으로서, 치매, 중독, 대인공포, 불안장애, 우울증, 스트레스 관리, 재활, 고소공포증, 외상후 스트레스장애 등에 사용될 수 있는 인공지능 표정인식 기술이 적용된 가상 현실 심리 치료 방법을 제공하기 위함이다.
본 발명의 인공지능 표정인식 기술이 적용된 가상 현실 심리 치료 방법은, 피검자 언어와 표정 또는 치료자의 언어를 분석하여 가상현실에 반영하는 가상 현실 심리 치료 방법에 있어서, 피검자 정보 생성부(10)의 마이크로폰(11)을 포함하는 음성 생성부가 피검자의 음성 파일을 생성하고 카메라(12)를 포함하는 표정 영상 생성부가 피검자의 얼굴 표정 영상을 생성하는, 피검자 정보 생성 단계(S10)와;
음성 인식부(20)가 피검자의 음성 파일을 번역하여 피검자의 언어(언어 1)로 출력하는 피검자 음성 인식 단계(S20)와; 표정 인식부(30)가 얼굴 표정 영상 정보를 입력으로 하여 피검자의 표정 분류(Ci)로 출력하는, 피검자 표정 인식 단계(S30)와; 치료 언어 선택부(40)가, 상기 피검자의 언어(언어 1)와 피검자의 표정 분류(Ci)를 입력데이터로 하여 피검자의 심리 치료 컨텐츠에서 음성으로 출력될 가상 인간(Digital Human)의 치료 언어(언어 2)를 출력하여 제공하는, 가상 인간 치료 언어 선택 단계(S40)와;
치료 언어 감정 판단부(50)가, 상기 치료 언어(언어 2)를 입력데이터로 하여 치료 언어(언어 2) 음성 출력시 화상으로 출력될 가상 인간(Digital Human)의 표정 분류(Ci)를 출력하여 제공하는, 가상 인간 치료 표정 선택 단계(S50)와; 심리 치료 컨텐츠 출력부(60)의 음성 출력부(61)가 치료 언어 선택부(40)에서 제공되는 치료 언어로 피검자에게 음성 출력하고, 심리 치료 컨텐츠의 화상 출력부(62)가 치료 언어 감정 판단부(50)에서 제공되는 표정 분류(Ci)를 가상 인간(Digital Human)에 적용하여 화상 출력하는, 시청각 컨텐츠 출력 단계(S60) 것을 특징으로 한다.
본 발명에 따르는 경우, 가상현실 치료(Virtual Reality Therapy, VRT) VR 기기를 이용해 노출 요법을 실행하는 기능을 수행하고, 초고령화 시대 진입과 경쟁심화에 따른 심리 질환 등 1대 1 심리 재활 치료에 가상현실 기술을 활용하며 환자가 두려워하는 상황이나 사건에 가상으로 노출해 차츰 두려움을 없애는 방법으로서, 치매, 중독, 대인공포, 불안장애, 우울증, 스트레스 관리, 재활, 고소공포증, 외상후 스트레스장애 등에 사용될 수 있는 인공지능 표정인식 기술이 적용된 가상 현실 심리 치료 방법이 제공된다.
도 1은 본 발명의 인공지능 표정인식 기술이 적용된 가상 현실 심리 치료 장치 전체 구성도.
도 2는 본 발명의 인공지능 표정인식 기술이 적용된 가상 현실 심리 치료 장치 방법 흐름도.
도 3은 본 발명의 인공지능 표정인식 기술이 적용된 가상 현실 심리 치료 장치 방법 상세흐름도.
이하에서 본 발명의 인공지능 표정인식 기술이 적용된 가상 현실 심리 치료 방법에 대하여 첨부된 도면을 참조하여 상세하게 설명한다. 도 1은 본 발명의 인공지능 표정인식 기술이 적용된 가상 현실 심리 치료 장치 전체 구성도, 도 2는 본 발명의 인공지능 표정인식 기술이 적용된 가상 현실 심리 치료 장치 방법 흐름도, 도 3은 본 발명의 인공지능 표정인식 기술이 적용된 가상 현실 심리 치료 장치 방법 상세흐름도이다.
도 1 내지 도 3에 도시된 바와 같이, 본 발명의 인공지능 표정인식 기술이 적용된 가상 현실 심리 치료 방법은 피검자 언어와 표정 또는 치료자의 언어를 분석하여 가상현실에 반영하는 가상 현실 심리 치료 방법에 관한 것이다.
본 발명의 인공지능 표정인식 기술이 적용된 가상 현실 심리 치료 방법은 피검자 정보 생성 단계(S10)와 피검자 음성 인식 단계(S20)와 피검자 표정 인식 단계(S30)와 가상 인간 치료 언어 선택 단계(S40)와 가상 인간 치료 표정 선택 단계(S50)와 시청각 컨텐츠 출력 단계(S60)을 포함하여 구성된다.
먼저 피검자 정보 생성 단계(S10)에서, 피검자 정보 생성부(10)의 마이크로폰(11)을 포함하는 음성 생성부가 피검자의 음성 파일을 생성하고 카메라(12)를 포함하는 표정 영상 생성부가 피검자의 얼굴 표정 영상을 생성한다. 마이크로폰(11)은 통상의 마이크 또는 MEMS 마이크로폰 일 수 있으며 카메라(12)는 일반영상 카메라 또는 뎁스 영상 카메라 일 수 있다.
다음으로 피검자 음성 인식 단계(S20)에서 음성 인식부(20)가 피검자의 음성 파일을 번역하여 피검자의 언어(언어 1)로 출력한다. 피검자의 언어 출력에 있어서 통상의 오픈 소스로 제공되는 구글 등의 인공지능 음성인식 수단을 이용할 수 있다.
피검자 표정 인식 단계(S30)에서 표정 인식부(30)가 얼굴 표정 영상 정보를 입력으로 하여 피검자의 표정 분류(Ci)로 출력한다. 얼굴 표정 영상 정보로 부터 피검자의 표정 분류를 출력하는 것에 대해서 아래에서 상술하기로 한다.
가상 인간 치료 언어 선택 단계(S40)에서 치료 언어 선택부(40)가, 상기 피검자의 언어(언어 1)와 피검자의 표정 분류(Ci)를 입력데이터로 하여 피검자의 심리 치료 컨텐츠에서 음성으로 출력될 가상 인간(Digital Human)의 치료 언어(언어 2)를 출력하여 제공한다. 가상 인간 치료 언어 선택에 있어서 인공지능 수단이 사용되는 것이 바람직하다.
가상 인간 치료 표정 선택 단계(S50)에서 치료 언어 감정 판단부(50)가, 상기 치료 언어(언어 2)를 입력데이터로 하여 치료 언어(언어 2) 음성 출력시 화상으로 출력될 가상 인간(Digital Human)의 표정 분류(Ci)를 출력하여 제공한다.
시청각 컨텐츠 출력 단계(S60)에서, 심리 치료 컨텐츠 출력부(60)의 음성 출력부(61)가 치료 언어 선택부(40)에서 제공되는 치료 언어로 피검자에게 음성 출력하고, 심리 치료 컨텐츠의 화상 출력부(62)가 치료 언어 감정 판단부(50)에서 제공되는 표정 분류(Ci)를 가상 인간(Digital Human)에 적용하여 화상 출력한다.
도 1 내지 도 3에 도시된 바와 같이, 본 발명의 인공지능 표정인식 기술이 적용된 가상 현실 심리 치료 방법에 있어서, 피검자 얼굴 표정 영상은 일정시간 간격으로 복수개의 이미지 프레임들을 생성하여 표정 인식부(30)에 전달하고, 표정 인식부(30)는 시간적으로 연속되는 프레임에서 눈과 입 부분의 이전 프레임과 이후 프레임 사이의 픽셀 차이를 기초로 하여 피검자의 표정을 미리 정해진 표정 분류(Ci) 중 하나로 분류하는 것이 바람직하다.
도 1 내지 도 3에 도시된 바와 같이, 본 발명의 인공지능 표정인식 기술이 적용된 가상 현실 심리 치료 방법에 있어서, 피검자 표정 인식 단계(S30)는 좌표 생성 단계(S31)와 입력 데이터 생성 단계(S33)와 표정 분류 단계(S35)을 포함하여 구성된다.
좌표 생성 단계(S31)에서 좌표 생성부(31)가 복수개의 이미지 프레임들을 구성하는 피검자 얼굴 표정 영상에서 딥 러닝을 통하여 적어도 4개의 입 주요 지점(Mj)들과 적어도 적어도 4개의 일측 눈 주요 지점(Ik)들의 좌표를 생성한다.
입력 데이터 생성 단계(S33)에서, 입력 데이터 생성부(33)가, 상기 좌표 생성부(31)에서 생성된 입 주요 지점(Mj)들 및 일측 눈 주요 지점(Ik)들의 좌표들의 시간에 따른 흐름을 벡터 또는 행렬로 생성한다.
표정 분류 단계(S35)에서, 인공 지능 분류부(35)가, 상기 벡터 또는 행렬 형태의 입력 데이터를 시초로 하여 미리 학습되어진 표정 분류(Ci) 중 하나로 분류하고 출력한다.
도 1 내지 도 3에 도시된 바와 같이, 본 발명의 인공지능 표정인식 기술이 적용된 가상 현실 심리 치료 방법에 있어서, 인공 지능 분류부(35)는, 입력층과 은닉층과 출력층을 구비하는 컨벌류션 뉴럴 네트워크(CNN) 인 것이 바람직하다.
또한, 입력 데이터 생성부(33)는, 횡축을 입 주요 지점(Mj)들 및 일측 눈 주요 지점(Ik)들로 하고, 종축을 시간(t)로 하는 좌표 행렬 정보를 픽셀 이미지로 표현 생성하는 것이 바람직하다.
본 발명은 상기에서 언급한 바람직한 실시예와 관련하여 설명됐지만, 본 발명의 범위가 이러한 실시예에 한정되는 것은 아니며, 본 발명의 범위는 이하의 특허청구범위에 의하여 정하여지는 것으로 본 발명과 균등 범위에 속하는 다양한 수정 및 변형을 포함할 것이다.
아래의 특허청구범위에 기재된 도면부호는 단순히 발명의 이해를 보조하기 위한 것으로 권리범위의 해석에 영향을 미치지 아니함을 밝히며 기재된 도면부호에 의해 권리범위가 좁게 해석되어서는 안될 것이다.
10 : 피검자 정보 생성부
11 : 마이크로폰
12 : 카메라
20 : 음성 인식부
30 : 표정 인식부
40 : 치료 언어 선택부
50 : 치료 언어 감정 판단부
60 : 심리 치료 컨텐츠 출력부
61 : 음성 출력부
62 : 화상 출력부

Claims (5)

  1. 피검자 언어와 표정 또는 치료자의 언어를 분석하여 가상현실에 반영하는 가상 현실 심리 치료 방법에 있어서,

    피검자 정보 생성부(10)의 마이크로폰(11)을 포함하는 음성 생성부가 피검자의 음성 파일을 생성하고 카메라(12)를 포함하는 표정 영상 생성부가 피검자의 얼굴 표정 영상을 생성하는, 피검자 정보 생성 단계(S10)와;

    음성 인식부(20)가 피검자의 음성 파일을 번역하여 피검자의 언어(언어 1)로 출력하는 피검자 음성 인식 단계(S20)와;

    표정 인식부(30)가 얼굴 표정 영상 정보를 입력으로 하여 피검자의 표정 분류(Ci)로 출력하는, 피검자 표정 인식 단계(S30)와;

    치료 언어 선택부(40)가, 상기 피검자의 언어(언어 1)와 피검자의 표정 분류(Ci)를 입력데이터로 하여 피검자의 심리 치료 컨텐츠에서 음성으로 출력될 가상 인간(Digital Human)의 치료 언어(언어 2)를 출력하여 제공하는, 가상 인간 치료 언어 선택 단계(S40)와;

    치료 언어 감정 판단부(50)가, 상기 치료 언어(언어 2)를 입력데이터로 하여 치료 언어(언어 2) 음성 출력시 화상으로 출력될 가상 인간(Digital Human)의 표정 분류(Ci)를 출력하여 제공하는, 가상 인간 치료 표정 선택 단계(S50)와;

    심리 치료 컨텐츠 출력부(60)의 음성 출력부(61)가 치료 언어 선택부(40)에서 제공되는 치료 언어로 피검자에게 음성 출력하고,
    심리 치료 컨텐츠의 화상 출력부(62)가 치료 언어 감정 판단부(50)에서 제공되는 표정 분류(Ci)를 가상 인간(Digital Human)에 적용하여 화상 출력하는, 시청각 컨텐츠 출력 단계(S60) 것을 특징으로 하는 인공 지능 표정인식 기술이 적용된 가상 현실 심리 치료 방법.
  2. 제1항에 있어서,
    상기 피검자 얼굴 표정 영상은 일정시간 간격으로 복수개의 이미지 프레임들을 생성하여 표정 인식부(30)에 전달하고,

    상기 표정 인식부(30)는 시간적으로 연속되는 프레임에서 눈과 입 부분의 이전 프레임과 이후 프레임 사이의 픽셀 차이를 기초로 하여 피검자의 표정을 미리 정해진 표정 분류(Ci) 중 하나로 분류하는 것을 특징으로 하는 인공지능 표정인식 기술이 적용된 가상 현실 심리 치료 방법.
  3. 제1항에 있어서,
    상기 피검자 표정 인식 단계(S30)는,
    좌표 생성부(31)가 복수개의 이미지 프레임들을 구성하는 피검자 얼굴 표정 영상에서 딥 러닝을 통하여 적어도 4개의 입 주요 지점(Mj)들과 적어도 적어도 4개의 일측 눈 주요 지점(Ik)들의 좌표를 생성하는 좌표 생성 단계(S31)와,

    입력 데이터 생성부(33)가, 상기 좌표 생성부(31)에서 생성된 입 주요 지점(Mj)들 및 일측 눈 주요 지점(Ik)들의 좌표들의 시간에 따른 흐름을 벡터 또는 행렬로 생성하는 입력 데이터 생성 단계(S33)와,

    인공 지능 분류부(35)가, 상기 벡터 또는 행렬 형태의 입력 데이터를 시초로 하여 미리 학습되어진 표정 분류(Ci) 중 하나로 분류하고 출력하는 표정 분류 단계(S35),
    를 포함하여 구성되는 것을 특징으로 하는 인공지능 표정인식 기술이 적용된 가상 현실 심리 치료 방법.
  4. 제3항에 있어서,
    상기 인공 지능 분류부(35)는,
    입력층과 은닉층과 출력층을 구비하는 컨벌류션 뉴럴 네트워크(CNN) 인 것을 특징으로 하는 인공지능 표정인식 기술이 적용된 가상 현실 심리 치료 방법.
  5. 제3항에 있어서,
    상기 입력 데이터 생성부(33)는,
    횡축을 입 주요 지점(Mj)들 및 일측 눈 주요 지점(Ik)들로 하고, 종축을 시간(t)로 하는 좌표 행렬 정보를 픽셀 이미지로 표현 생성하는 것을 특징으로 하는 인공지능 표정인식 기술이 적용된 가상 현실 심리 치료 방법.
KR1020210052152A 2021-04-22 2021-04-22 인공지능 표정인식 기술이 적용된 가상 현실 심리 치료 방법 KR20220145968A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210052152A KR20220145968A (ko) 2021-04-22 2021-04-22 인공지능 표정인식 기술이 적용된 가상 현실 심리 치료 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210052152A KR20220145968A (ko) 2021-04-22 2021-04-22 인공지능 표정인식 기술이 적용된 가상 현실 심리 치료 방법

Publications (1)

Publication Number Publication Date
KR20220145968A true KR20220145968A (ko) 2022-11-01

Family

ID=84042532

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210052152A KR20220145968A (ko) 2021-04-22 2021-04-22 인공지능 표정인식 기술이 적용된 가상 현실 심리 치료 방법

Country Status (1)

Country Link
KR (1) KR20220145968A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102567996B1 (ko) * 2022-12-13 2023-08-17 이은경 통합 유통 판매 관리방법 및 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102567996B1 (ko) * 2022-12-13 2023-08-17 이은경 통합 유통 판매 관리방법 및 시스템

Similar Documents

Publication Publication Date Title
CN110874137B (zh) 一种交互方法以及装置
KR102104202B1 (ko) 가상 현실을 사용한 인지행동치료 장치
AU2571900A (en) Speech converting device and method
TW201233413A (en) Input support device, input support method, and recording medium
Prado et al. Visuo-auditory multimodal emotional structure to improve human-robot-interaction
El Haddad et al. Smile and laugh dynamics in naturalistic dyadic interactions: Intensity levels, sequences and roles
KR20220145968A (ko) 인공지능 표정인식 기술이 적용된 가상 현실 심리 치료 방법
Alexanderson et al. Animated Lombard speech: Motion capture, facial animation and visual intelligibility of speech produced in adverse conditions
Valenti et al. Sonify your face: facial expressions for sound generation
KR20180011664A (ko) 얼굴 표현 및 심리 상태 파악과 보상을 위한 얼굴 정보 분석 방법 및 얼굴 정보 분석 장치
CN116524791A (zh) 一种基于元宇宙的唇语学习辅助训练系统及其应用
Petridis et al. Prediction-based classification for audiovisual discrimination between laughter and speech
CN113835375A (zh) 一种辅助治疗焦虑障碍的人工智能系统
CN111654752B (zh) 多媒体信息播放方法、装置、电子设备及存储介质
Varano et al. Speech-driven facial animations improve speech-in-noise comprehension of humans
JP7130290B2 (ja) 情報抽出装置
JP7382760B2 (ja) 医療支援装置及びプログラム
Louwerse et al. Multimodal communication in face-to-face computer-mediated conversations
Mallol-Ragolta et al. Performance analysis of unimodal and multimodal models in valence-based empathy recognition
Esposito Affect in multimodal information
JP6170834B2 (ja) 感情表現装置、感情表現方法およびコンピュータプログラム
CN110718119A (zh) 基于儿童专用穿戴智能设备的教育能力支持方法及系统
Ambika Enhanced Assistive Technology on Audio-Visual Speech Recognition for the Hearing Impaired
Sehgal et al. Smart and Context-Aware System employing Emotions Recognition
Malisz et al. The visual prominence of whispered speech in Swedish

Legal Events

Date Code Title Description
E902 Notification of reason for refusal