WO2024025208A1 - 음성인식을 활용한 온라인 심리상담 시스템 - Google Patents

음성인식을 활용한 온라인 심리상담 시스템 Download PDF

Info

Publication number
WO2024025208A1
WO2024025208A1 PCT/KR2023/009729 KR2023009729W WO2024025208A1 WO 2024025208 A1 WO2024025208 A1 WO 2024025208A1 KR 2023009729 W KR2023009729 W KR 2023009729W WO 2024025208 A1 WO2024025208 A1 WO 2024025208A1
Authority
WO
WIPO (PCT)
Prior art keywords
counseling
client
counselor
unit
emotional state
Prior art date
Application number
PCT/KR2023/009729
Other languages
English (en)
French (fr)
Inventor
오정섭
Original Assignee
테바소프트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 테바소프트 주식회사 filed Critical 테바소프트 주식회사
Publication of WO2024025208A1 publication Critical patent/WO2024025208A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/065—Adaptation
    • G10L15/07—Adaptation to the speaker
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages

Definitions

  • the present invention relates to an online psychological counseling system using voice recognition. More specifically, the present invention relates to an online psychological counseling system that matches, makes reservations, and consults with a counselor online, converts the contents of the counseling between the client and the counselor into text, and then automatically determines the emotional state of the client. This is about an online psychological counseling system using voice recognition that analyzes and provides a counseling report.
  • Psychological counseling is a process in which a counselor and client cooperate to solve problems in order to escape from various problems in everyday life, such as emotional pain caused by psychological problems, conflicts in interpersonal relationships, and maladjustment in social life, and enjoy a more adaptive and comfortable life. refers to the process
  • Publication Patent No. 10-2022-0070904 receives multiple example test results from a subscriber terminal, analyzes the type based on the received results, extracts the tendency, and generates a psychological result report.
  • Publication Patent No. 10-2021-0088991 ‘System and method for providing psychological counseling.’
  • Publication Patent No. 10-2021-0088991 generates and provides to the user at least one of a mission and a periodic psychological test related to a psychological stability program, and generates a report containing the results of the user achieving the mission and the results of the psychological test to the user. provided to.
  • Existing inventions relate to conducting a psychological test for a user online or providing a mission and generating a psychological result report based on the results of completing the mission, due to the lack or lack of time for counseling conversations between the client and the counselor. It has limitations in that it cannot be helpful to customers who want to receive psychological treatment and achieve psychological stability through conversation with a counselor.
  • the present invention was invented to improve the above problems. By simply conducting a general psychological counseling conversation between the client and the counselor without conducting a separate psychological test, the counseling results are automatically analyzed based on artificial intelligence and a counseling report is generated and provided.
  • the purpose is to provide an online psychological counseling system using voice recognition.
  • the content of the counseling between the client and the counselor is separated into text, analyzed by artificial intelligence, and the emotional state of the client is provided visually using a graph.
  • the purpose is to provide an online psychological counseling system using voice recognition that automatically recommends quotes appropriate for the client's emotional state and provides a counseling report containing the counselor's advice.
  • the online psychological counseling system using voice recognition includes a counseling type selection unit where the client selects a counseling type among chat counseling, telephone counseling, video counseling, and face-to-face counseling, and the client and A counselor matching department that matches counselors, a counseling record that stores the content of the consultation after matching with a counselor as an audio file or video file, and a voice extracted from the audio or video file saved by the counseling record that is converted into text and converted into text.
  • the counseling analysis department that analyzes the client's emotions, distinguishes between the client and the counselor regarding the content of the counseling, visually provides the client's emotional state analyzed by the counseling analysis department using graphs, and recommends sayings appropriate for the client's emotional state. Includes report generation section.
  • the counselor matching department provides counselor information that provides a list of counselors who are available for immediate consultation (1), a list of recommended counselors suitable for the client based on information measuring the client's condition (2), and a list of all counselors registered in the system (3). It is characterized by including a consultation reservation unit that reserves a time for consultation with a counselor selected by the client from the list of counselors provided by the provision department and the counselor information provision department, and sends the reserved information by text message to the client and the counselor.
  • the client status measurement department collects the client's condition by conducting a basic questionnaire through a chatbot to determine what type of counseling the client wants, and the client's condition information collected by the client condition measurement unit is matched with the counselor's specialty using artificial intelligence to provide the best results. It further includes a counselor recommendation unit that recommends one or more suitable counselors, and the counselor information provision unit is characterized by providing the counselors recommended by the counselor recommendation unit as a list of recommended counselors (2).
  • an AI conversion counseling unit that modulates the voice and tone of speech of the counselor matched by the counselor matching unit according to the client's selection with an AI conversion function and delivers the modulated voice counseling content to the client in real time.
  • the counseling analysis unit uses an artificial intelligence voice recognition function that can separate speakers from the audio files or video files stored in the counseling record, and converts them into text by distinguishing between the content of the client and the counselor's consultation.
  • the conversation analysis department analyzes the total counseling time, conversation time for each client and counselor, number of words spoken, speaking speed, and frequent vocabulary, and the text analysis department analyzes the client's emotions based on the content of the client's conversation. It is characterized by including a client emotion analysis unit.
  • the report generation unit visually provides the client's emotional state analyzed by the counseling analysis department using a graph
  • the quote recommendation unit uses an artificial intelligence-based similarity matching method to recommend the most appropriate quote for the client's emotional state. It is characterized by including an advice addition section that receives advice from the department and counselor and adds it to the report.
  • the emotional graph generation unit classifies the client into categories based on the number of words the client speaks and the frequent vocabulary analyzed by the counseling analysis department, counts for each category, and expresses the client's emotional state in a graph and quantifies it, and the quote recommendation unit shows the client's emotional state.
  • Sentences and sayings that represent the sayings stored in the DB are morphologically analyzed to extract a plurality of first morphemes for sentences expressing the client's emotional state, and extracting a plurality of second morphemes for the saying, based on the first and second morphemes. It is characterized by recommending a quote that is most similar to a sentence expressing the client's emotional state.
  • the speaker is separated and converted into text based on artificial intelligence voice recognition, and the counseling report is automatically generated after analyzing the client's counseling text. Because it is created and provided, clients do not need to perform separate psychological tests or missions, so they can focus on counseling with the counselor.
  • the client's emotional state is analyzed and presented visually using a graph, so that the client can feel confident in his/her self. It is possible to intuitively understand one's emotional state.
  • the Conversation Quality Index which represents a quantitative score on the level of counseling skills
  • CQI represents a quantitative score on the level of counseling skills
  • Figure 1 is a configuration diagram of an online psychological counseling system using voice recognition according to the present invention.
  • Figure 2 is a flowchart of an online psychological counseling method using voice recognition according to the present invention.
  • Figure 3 is an example of information needed to match a client and counselor during recommended counseling.
  • Figure 4 is an example showing each word used to measure the client's emotional state and the emotional category of the word.
  • Figure 5 is a flow chart showing the flow of processing the client's counseling content according to the counseling format, identifying the client and the counselor based on artificial intelligence, and analyzing the client's emotional state.
  • Figure 6 is a sample counseling report provided to the client in the present invention.
  • the online psychological counseling system utilizing voice recognition includes a counseling type selection unit (100), a counselor matching unit (200), a counseling record unit (300), a counseling analysis unit (400), and a report generation unit. It basically includes a unit 500, and may further include a client status measurement unit 600, a counselor recommendation unit 700, a counseling evaluation unit 800, and an AI conversion counseling unit 900.
  • the counseling type selection unit 100 receives the client's selection of a counseling type among chat counseling, phone counseling, video counseling, and face-to-face counseling.
  • Chat consultation is real-time consultation with a counselor using the chat function provided by the system
  • phone consultation is real-time consultation with a counselor using the phone function provided by the system
  • video consultation is using the online video consultation function provided by the system.
  • face-to-face counseling the client visits the counselor and conducts face-to-face counseling, and records are recorded by accessing the system through the counselor's terminal.
  • the counselor matching unit 200 matches clients and counselors.
  • Counselor matching consists of the following three parts.
  • Immediate consultation A list of counselors who have been checked as ‘available for immediate consultation’ is shown to the client through the counselor’s terminal, allowing the client to receive counseling immediately.
  • the client selects one of the counselors classified as 1), 2), and 3) to reserve a consultation time, and the reserved information is transmitted to the client and the counselor's terminal.
  • the consultation recorder 300 stores the contents of the consultation after matching with a counselor as an audio file or video file.
  • the contents of the consultation are stored, and the storage method varies depending on the type of consultation.
  • Chat consultation The counselor opens a chat room and stores all records as text for each speaker until the chat room is closed.
  • Video consultation The counselor opens the video consultation room and saves all records until the end as a video file.
  • the counseling analysis unit 400 converts the voice extracted from the audio file or video file stored by the counseling record unit 300 into text, distinguishes the client and the counselor from the counseling content converted into text, and analyzes the client's emotions. Of course, since chat counseling is already stored as text, the text content is still used to distinguish between the client and the counselor.
  • the report generation unit 500 visually provides the client's emotional state analyzed by the counseling analysis unit 400 using a graph and recommends a quote suitable for the client's emotional state. You can also receive short advice from the counselor's terminal and add it to the report.
  • the counselor matching unit 200 consists of a counselor information provision unit 210 and a consultation reservation unit 220.
  • the counselor information provision unit 210 provides a list of counselors who can provide immediate consultation (1), a list of recommended counselors suitable for the client based on information measuring the client's condition (2), and a list of all counselors registered in the system (3). provides.
  • Immediate counselor Through the counselor's terminal, a list of counselors who are available for immediate counseling and checked as ‘Available for immediate counseling’ is shown to the client, allowing them to receive counseling immediately. In order to provide immediate counseling, a list of counselors currently available for counseling must be created.
  • a counselor available for consultation refers to a counselor who is not scheduled to start counseling within at least one hour, and this can be automatically determined through the counselor's reservation information.
  • the counselor can display times on the counselor's terminal that the counselor does not want to conduct counseling in addition to the reserved times, and information on this is also collected and displayed.
  • a separate highlight is added to the counselor available for immediate consultation, providing information so that the user can select it first.
  • Recommended counselor Recommends the most suitable counselor based on the client's information collected through the client status measurement unit 600 and displays a list of recommended counselors. Using artificial intelligence to match the client's physical and mental information with the counselor's expertise, the most suitable counselors can be recommended to around 5 people.
  • artificial intelligence is used to match a client and a counselor based on information used in recommended counseling.
  • the information collected through the client status measuring unit 600 and the counselor's information stored in the database are matched for each row in FIG. 3 using artificial intelligence to recommend about five most suitable counselors.
  • the example in Figure 3 matches a total of 6 items, ranging from age/gender to religion, but not all 6 items are necessary. It mainly matches the client's main complaint, emotional state and severity, and the counselor's main counseling field. The experience of the counselor is important.
  • Each client's main complaint is different, and counselors may also have different main areas of counseling.
  • artificial intelligence it is determined whether the client's main complaint and the counselor's main counseling area are matched. And counselors with extensive counseling experience are more suited to matching clients with serious conditions.
  • a suitable counselor is determined by matching the client's emotional state and severity with the counselor's experience.
  • the counselor information provision unit 210 provides the counselor's professional counseling subject's age, gender information, religious depth, and counseling format (text, phone, (video, face-to-face), the client's age and gender information is additionally matched with the client's information, and counselors with a higher match are selected and provided to about 5 people.
  • the number of around 5 people here is just an example and can be adjusted.
  • the counseling reservation unit 220 reserves a time for consultation with a counselor selected by the client from the list of 1) immediate counselors, 2) recommended counselors, and 3) all counselors provided by the counselor information provision section 210, and provides the reserved information. Send text message to client and counselor.
  • the client status measurement unit 600 collects the client's condition by conducting a basic questionnaire through a chatbot to determine what type of counseling the client wants.
  • the information collected by the client status measurement unit 600 is used for matching recommended counselors by the counselor information provision unit 210.
  • the 'client's emotional state and severity' described in Figure 3 is automatically determined according to the analysis results when the client state measurement unit 600 analyzes the information collected through chatbot conversation with the client using an artificial intelligence emotion analysis engine. .
  • FIG 4 it shows an example of words representing the client's state extracted by applying the basic questionnaire collected through the chatbot's conversation with the client to an artificial intelligence emotion analysis engine, and shows the emotional category, frequency, and emotion of each word. Indicates the intensity of .
  • the client's emotional state is determined based on the emotional category for each word and calculated based on the median and standard deviation of emotional intensity.
  • the counselor recommendation unit 700 applies the client's status information collected through the chatbot by the client status measurement unit 600 to an artificial intelligence emotion analysis engine to determine the client's emotional category and emotional intensity (severity) and selects the most appropriate matching unit. Recommend one or more counselors. In other words, the counselor recommendation unit 700 matches the client's physical/mental information (condition information) and the counselor's specialty using artificial intelligence based on the information collected by the client condition measurement unit 600 to select the most suitable counselor. You can recommend more than one person.
  • the counselor information provision unit 210 provides the counselors recommended by the counselor recommendation unit 700 as a list of recommended counselors.
  • the AI conversion counseling unit 900 is an optional function selected by the client after the counselor match is decided.
  • the AI conversion counseling unit 900 modulates the voice and tone of voice of the counselor matched by the counselor matching unit 200 with the AI conversion function and delivers the modulated voice counseling content to the client in real time. Pass it to
  • the counselor's voice can be converted into AI and provided to the client, and the client can receive more comfortable counseling by making the client believe that the other person (counselor) is not a real person.
  • TTS Text-to-Speech
  • STT Seech-to-Text
  • the counseling analysis unit 400 includes a text conversion unit 410, a conversation analysis unit 420, and a client emotion analysis unit 430.
  • the text conversion unit 410 uses an artificial intelligence voice recognition function capable of separating speakers from the voice of the audio file or video file stored in the counseling record unit 300, and converts it into text by distinguishing the content of the consultation between the client and the counselor.
  • an artificial intelligence voice recognition function capable of separating speakers from the voice of the audio file or video file stored in the counseling record unit 300, and converts it into text by distinguishing the content of the consultation between the client and the counselor.
  • speakers are separated through deep learning to create recording files for each speaker, and the recording files for each speaker are converted into text scripts.
  • a speaker can be created as a recording file of two or more speakers, and the conversation content for each speaker can be separated using deep learning.
  • the conversation analysis unit 420 analyzes the total counseling time, conversation time for each client and counselor, number of words spoken, speaking speed, and frequent vocabulary using a machine learning engine for the counseling content converted by the text conversion unit 410.
  • the client emotion analysis unit 430 applies the client's conversation analyzed by the text analysis unit 420 to an artificial intelligence emotion analysis engine to analyze the client's emotions.
  • the client's emotions can be analyzed in various states such as joy, sadness, disgust, anger, and surprise.
  • the client selects a consultation format and proceeds with the consultation as one of chat consultation, phone consultation, video consultation, and face-to-face consultation, and uses an artificial intelligence voice recognition engine to distinguish between the client and the counselor and convert it into text. It extracts counseling content with separate speakers, and uses an artificial intelligence voice recognition engine to automatically identify one counselor among N speakers and the remaining clients. Because counseling is not necessarily done 1:1, it is important not only to distinguish between the counselor and the client, but also to identify multiple clients, distinguish who the main client is, and focus on analyzing the content of that person's conversation.
  • the client's emotional state is analyzed using an artificial intelligence emotion analysis engine. As explained with reference to Figure 4, when the client's conversation content is analyzed, the client's emotional state is analyzed into various states such as joy, sadness, disgust, anger, and surprise, and the various emotional states are graphically provided in the counseling report to provide visual information. It is possible to intuitively understand the client's emotional distribution.
  • the report generation unit 500 includes an emotion graph generation unit 510, a saying recommendation unit 520, and an advice addition unit 530.
  • the emotional graph generation unit 510 visually provides the client's emotional state analyzed by the counseling analysis unit 400 using a graph.
  • the saying recommendation unit 520 uses an artificial intelligence-based similarity matching method to recommend the saying that is most suitable for the client's emotional state.
  • the advice addition unit 530 receives short advice from the counselor and adds it to the report.
  • FIG 5 when the counseling is completed, a counseling report is automatically generated within a short period of time and provided to the client.
  • Figure 6 is a sample of the consultation report provided by the present invention.
  • the counseling report displays the client's emotional state in a graph and includes various information indicating the counseling time, actual conversation time, client's speech time, client's speech rate, vocabulary amount, and the client's emotional state, as well as advice and recommended activity information provided by the counselor. Quotes extracted from the saying database are also included.
  • the emotion graph generation unit 510 classifies the client into categories based on the number of words the client speaks and the frequent vocabulary analyzed by the counseling analysis unit 400, counts for each category, and expresses the client's emotional state in a graph and quantification. .
  • the saying recommendation unit 520 morphologically analyzes sentences expressing the client's emotional state and sayings stored in the saying DB to extract a plurality of first morphemes for the sentence indicating the client's emotional state, and a plurality of second morphemes for the saying. is extracted and based on the first and second morphemes, the quote that is most similar to the sentence expressing the client's emotional state is recommended.
  • the saying recommendation unit 520 performs morphological analysis and keyword indexing based on BM25 scoring, then measures the similarity between sentences using SBERT (Sentence-BERT) to recommend the saying that is most similar to the client's emotional state.
  • SBERT Ses-BERT
  • the counseling evaluation unit 800 automatically performs a basic evaluation of the counselor's counseling content based on the counseling analysis results.
  • the Conversation Quality Index (CQI) which represents a quantitative score on the level of counseling skills, can be measured based on the counselor's counseling content and used for counselor training and evaluation.
  • the CQI score is a method of measuring using various information such as speech time, listening level, empathy level, number of questions, speaking speed, and number of vocabulary. In addition to speaking time, listening level, empathy level, number of questions, speaking speed, and number of vocabulary, other factors may be included depending on the system settings.
  • the conversation quality index (CQI) is measured by multiplying the weight of each factor and adding them all together. , By measuring the CQI score with different weights for each element depending on the client's emotional state, it is possible to objectively measure the counselor's counseling content according to the client's emotional situation.
  • clients can leave evaluations of the counselor through reviews and recommendations.
  • the quality of the counselor can be managed based on the CQI score, user reviews, and whether or not they are recommended. From the user reviews, the intensity of positivity/negativity is calculated using artificial intelligence. By calculating, the quality of a counselor's consultation can be comprehensively measured based on three factors (reviews, recommendations, and CQI).
  • the client undergoes a basic questionnaire using a chatbot to measure the client's condition.
  • measuring the client's condition is not a process that must be performed.
  • the client selects the type of counseling desired (chat, phone, video, face-to-face).
  • the content of the counseling is analyzed, the content of the conversation between the client and the counselor is analyzed, and the emotional state of the client is analyzed.
  • a counseling report containing recommended quotes, counselor advice, emotional state graph, and analysis results of the client's counseling content is automatically generated.
  • the counseling report is transmitted to the terminal of the client and counselor.
  • the CQI score is measured by evaluating the counselor’s consultation content based on AI.
  • Client emotion analysis unit 500 Report generation unit
  • Advice addition unit 600 Client status measurement unit
  • Step 700 Counselor Recommendation Department 900: AI Transformation Steping Department

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Epidemiology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Primary Health Care (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • General Business, Economics & Management (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Educational Technology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 본 발명은 채팅, 전화, 화상, 대면상담 중 내담자가 선택하여 상담을 진행하면 내담자와 상담사의 상담 내용을 텍스트로 화자 분리하고, 인공지능으로 분석하여 내담자의 감정상태를 그래프를 이용하여 시각적으로 제공하고, 내담자의 감정상태에 적합한 명언을 자동으로 추천하며, 상담사의 조언을 담은 상담 보고서를 제공하는 음성인식을 활용한 온라인 심리상담 시스템에 관한 것으로서, 내담자로부터 채팅상담, 전화상담, 화상상담, 대면상담 중 상담종류를 선택받는 상담종류선택부, 내담자와 상담사를 매칭하는 상담사매칭부, 상담사 매칭 후 상담이 진행되는 내용을 오디오 파일 또는 비디오 파일로 저장하는 상담기록부, 상담기록부가 저장한 오디오 파일 또는 비디오 파일에서 추출한 음성을 텍스트로 변환하여 텍스트로 변환된 상담 내용에 대해 내담자와 상담사를 구분하고, 내담자의 감정을 분석하는 상담분석부 및 상담분석부가 분석한 내담자의 감정상태를 그래프를 이용하여 시각적으로 제공하고, 내담자의 감정상태에 적합한 명언을 추천하는 보고서생성부를 포함하는 것을 특징으로 한다.

Description

음성인식을 활용한 온라인 심리상담 시스템
본 발명은 음성인식을 활용한 온라인 심리상담 시스템에 관한 것으로서, 보다 상세하게는 온라인에서 상담사를 매칭, 예약, 상담을 진행하고 내담자와 상담사의 상담내용을 텍스트화 한 후 내담자의 감정상태를 자동으로 분석하여 상담보고서를 제공하는 음성인식을 활용한 온라인 심리상담 시스템에 관한 것이다.
현대인들은 다양하고 복잡한 생활환경 속에서 여러 스트레스로 인해 심리적인 어려움을 겪고 있다. 최근에는 코로나19 이후 우울증으로 인한 심리상담 요구가 급증하고 있다. 심리상담이란 심리적 문제로 인한 정서적 고통, 대인관계에서의 갈등, 사회생활에서의 부적응 등 일상생활에서 겪고 있는 다양한 문제에서 벗어나, 보다 적응적이고 편안한 삶을 누리기 위하여 상담사와 내담자가 협력하여 문제를 풀어나가는 과정을 말한다.
최근에는 비대면 상담 플랫폼을 통한 심리상담 건수가 증가하고 있다. 온라인 심리상담에 관한 종래의 특허로는 공개특허 제10-2022-0070904호 '온라인 상담 서비스 시스템'이 있다. 공개특허 제10-2022-0070904호는 가입자 단말로부터 복수의 실시례 검사 결과를 수신하고, 수신된 결과에 기초하여 유형을 분석하고 성향을 추출하여 심리결과 보고서를 생성한다.
또 다른 종래의 특허로는 공개특허 제10-2021-0088991호 '심리 상담 제공 시스템 및 방법'이 있다. 공개특허 제10-2021-0088991호는 심리 안정 프로그램과 연관된 미션 및 주기적 심리 검사 중 적어도 하나를 생성하여 사용자에게 제공하고, 사용자가 미션을 달성한 결과를 포함하는 레포트 및 심리 검사 결과를 생성하여 사용자에게 제공한다.
기존 발명들은 온라인으로 사용자에 대해 심리 검사를 진행하거나 미션을 제공하고 미션을 달성한 결과에 기초하여 심리결과 보고서를 생성하는 내용에 관한 것으로서, 내담자와 상담사 간에 상담 대화를 진행하는 시간이 없거나 부족하여 상담사와 대화를 통해서 심리치료를 받고 싶고, 심리적인 안정을 취하고 싶은 고객에게는 도움이 되지 못하는 한계를 가지고 있다.
본 발명은 상기와 같은 문제점을 개선하기 위하여 발명된 것으로, 별도의 심리검사를 진행하지 않고 내담자와 상담사간에 일반적인 심리상담 대화만 진행하면 상담 결과를 인공지능 기반으로 자동 분석하고 상담 보고서를 생성하여 제공하는 음성인식을 활용한 온라인 심리상담 시스템을 제공하기 위한 것이다.
본 발명은 채팅, 전화, 화상, 대면상담 중 내담자가 선택하여 상담을 진행하면 내담자와 상담사의 상담 내용을 텍스트로 화자 분리하고, 인공지능으로 분석하여 내담자의 감정상태를 그래프를 이용하여 시각적으로 제공하고, 내담자의 감정상태에 적합한 명언을 자동으로 추천하며, 상담사의 조언을 담은 상담 보고서를 제공하는 음성인식을 활용한 온라인 심리상담 시스템을 제공하기 위한 것이다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 음성인식을 활용한 온라인 심리상담 시스템은 내담자로부터 채팅상담, 전화상담, 화상상담, 대면상담 중 상담종류를 선택받는 상담종류선택부, 내담자와 상담사를 매칭하는 상담사매칭부, 상담사 매칭 후 상담이 진행되는 내용을 오디오 파일 또는 비디오 파일로 저장하는 상담기록부, 상담기록부가 저장한 오디오 파일 또는 비디오 파일에서 추출한 음성을 텍스트로 변환하여 텍스트로 변환된 상담 내용에 대해 내담자와 상담사를 구분하고, 내담자의 감정을 분석하는 상담분석부 및 상담분석부가 분석한 내담자의 감정상태를 그래프를 이용하여 시각적으로 제공하고, 내담자의 감정상태에 적합한 명언을 추천하는 보고서생성부를 포함한다.
상담사매칭부는 바로 상담 가능한 상담사의 목록(1)과 내담자의 상태를 측정한 정보를 바탕으로 내담자에게 적합한 추천 상담사의 목록(2)과 시스템에 등록된 모든 상담사의 목록(3)을 제공하는 상담사 정보 제공부 및 상담사 정보 제공부가 제공한 상담사의 목록 중 내담자가 선택한 상담사와 상담 가능한 시간을 예약하고, 예약된 정보를 내담자와 상담사에게 문자 전송하는 상담예약부를 포함하는 것을 특징으로 한다.
그리고 내담자가 어떤 종류의 상담을 원하는지 챗봇을 통한 기본 문진을 진행하여 내담자의 상태를 수집하는 내담자 상태측정부 및 내담자 상태측정부가 수집한 내담자의 상태 정보와 상담사의 전문분야를 인공지능으로 매칭하여 가장 적합한 상담사를 한명 이상 추천하는 상담사 추천부를 더 포함하고, 상담사 정보 제공부는 상담사 추천부가 추천하는 상담사를 추천 상담사의 목록(2)으로 제공하는 것을 특징으로 한다.
또한 내담자의 선택에 의해 상기 상담사매칭부가 매칭한 상담사의 음성이 AI 변환 기능으로 음성 및 말투까지 변조하여 변조된 음성 상담 내용을 내담자에게 실시간으로 전달하는 AI 변환상담부를 더 포함하는 것을 특징으로 한다.
또한 상담분석부는 상담기록부가 저장한 오디오 파일 또는 비디오 파일의 음성을 화자 분리가 가능한 인공지능 음성인식 기능을 이용하여 내담자와 상담사의 상담 내용을 구분하여 텍스트로 변환하는 텍스트 변환부와 텍스트 변환부가 변환한 상담 내용에 대해 총 상담시간, 내담자와 상담사별 대화시간, 발화단어수, 말 빠르기, 빈출어휘를 분석하는 대화 분석부 및 텍스트 분석부가 분석한 내담자의 대화내용을 바탕으로 내담자의 감정을 분석하는 내담자 감정 분석부를 포함하는 것을 특징으로 한다.
그리고 보고서생성부는 상담분석부가 분석한 내담자의 감정 상태를 그래프를 이용하여 시각적으로 제공하는 감정 그래프 생성부와 인공지능 기반의 유사도 매칭 방법을 이용하여 내담자의 감정 상태에 가장 적합한 명언을 추천하는 명언 추천부 및 상담사로부터 조언을 입력받아 보고서에 추가하는 조언 추가부를 포함하는 것을 특징으로 한다.
이때, 감정 그래프 생성부는 상담분석부가 분석한 내담자의 발화단어수, 빈출어휘를 기반으로 카테고리 분류하고 각 카테고리별로 카운팅하여 내담자의 감정상태를 그래프 및 수치화하여 표현하며, 명언 추천부는 내담자의 감정 상태를 나타내는 문장과 명언 DB에 저장된 명언들을 형태소 분석하여 내담자의 감정 상태를 나타내는 문장에 대한 복수의 제1 형태소를 추출하고, 명언에 대한 복수의 제2 형태소를 추출하여 제1 형태소와 제2 형태소를 기초로 내담자의 감정 상태를 나타내는 문장과 가장 유사한 명언을 추천하는 것을 특징으로 한다.
본 발명에 따르면 내담자와 상담사가 채팅, 전화, 화상, 대면상담 중 어느 것으로 상담을 진행하여도 인공지능 음성인식 기반으로 화자를 분리하여 텍스트로 변환하고, 내담자의 상담 텍스트를 분석 후 상담 보고서를 자동으로 생성하여 제공하기 때문에 내담자는 별도의 심리검사나 미션을 수행할 필요가 없어 상담사와의 상담에 집중할 수 있다.
또한 인공지능을 이용하여 내담자의 상태에 적합한 상담사를 매칭하여 추천할 수 있으며, 내담자의 상담내용을 변환한 텍스트를 분석하여 내담자의 감정상태를 분석하고, 그래프를 이용하여 시각적으로 제공함으로써 내담자는 자신의 감정상태에 대해 직관적인 파악이 가능하다.
그리고 내담자의 감정상태에 적합한 명언을 명언 데이터베이스에서 인공지능 기반으로 자동 매칭하여 추천하며, 상담사의 조언까지 추가하여 상담 보고서를 제공한다.
나아가 상담사의 상담내용을 기반으로 상담 기술 수준에 대한 정량적인 점수를 나타내는 대화품질지수(CQI, Conversation Quality Index)를 측정하여 상담사의 교육 및 평가에 활용이 가능하고, 사용자는 후기 및 추천을 통해 상담사에 대한 평가를 남길 수 있으며, 사용자의 후기로부터 긍정, 부정에 대한 강도를 인공지능으로 분석하여 상담사의 품질에 대한 종합적인 평가가 가능하다.
도 1은 본 발명에 따른 음성인식을 활용한 온라인 심리상담 시스템의 구성도
도 2는 본 발명에 따른 음성인식을 활용한 온라인 심리상담 방법의 순서도
도 3은 추천상담시 내담자와 상담사를 매칭하는데 필요한 정보의 예시
도 4는 내담자의 감정상태를 측정하기 위해 사용되는 각 단어와 해당 단어의 감정범주를 나타내는 예시
도 5는 내담자의 상담내용을 상담형식에 따라 처리하고, 인공지능 기반으로 내담자와 상담사를 식별하여 내담자의 감정상태를 분석하는 흐름을 나타낸 순서도
도 6은 본 발명에서 내담자에게 제공하는 상담 보고서 샘플
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되는 실시 예를 참조하면 명확해질 것이다.
그러나, 본 발명은 이하에서 개시되는 실시 예로 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이다.
본 명세서에서 본 실시 예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다.
그리고 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
따라서, 몇몇 실시 예에서, 잘 알려진 구성 요소, 잘 알려진 동작 및 잘 알려진 기술들은 본 발명이 모호하게 해석되는 것을 피하기 위하여 구체적으로 설명되지 않는다.
또한, 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭하고, 본 명세서에서 사용된(언급된) 용어들은 실시 예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함하며, '포함(또는, 구비)한다'로 언급된 구성 요소 및 동작은 하나 이상의 다른 구성요소 및 동작의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다.
또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참고로 본 발명의 바람직한 실시 예에 대하여 설명한다.
도 1을 참고하면, 본 발명에 따른 음성인식을 활용한 온라인 심리상담 시스템은 상담종류선택부(100), 상담사매칭부(200), 상담기록부(300), 상담분석부(400) 및 보고서생성부(500)를 기본적으로 포함하며, 내담자 상태측정부(600)와 상담사 추천부(700)와 상담평가부(800) 및 AI 변환상담부(900)를 더 포함할 수 있다.
상담종류선택부(100)는 내담자로부터 채팅상담, 전화상담, 화상상담, 대면상담 중 상담종류를 선택받는다. 채팅상담은 시스템에서 제공하는 채팅 기능을 이용하여 상담사와 실시간 상담하는 것이며, 전화상담은 시스템에서 제공하는 전화 기능을 이용하여 상담사와 실시간 상담하는 것이고, 화상상담은 시스템에서 제공하는 온라인 화상상담 기능을 이용하여 상담사와 실시간으로 상담한다. 그리고 대면상담은 내담자가 상담사를 방문하여 대면으로 상담을 진행하고, 상담사 단말을 통해 시스템에 접속하여 녹음을 진행한다.
상담사매칭부(200)는 내담자와 상담사를 매칭한다. 상담사 매칭은 다음의 세 가지로 구성된다.
1) 바로상담: 상담사의 단말기를 통하여 ‘바로상담 가능’으로 체크한 상담사의 목록을 내담자에게 보여주어, 즉시 상담 받을 수 있도록 한다.
2) 추천상담: 내담자 상태측정부(600)를 통하여 수집한 내담자의 정보를 기반으로 가장 적합한 상담사를 추천하고, 추천된 상담사의 목록을 보여준다. 내담자 상태측정부(600)에 대해서는 아래에서 다시 자세하게 설명한다.
3) 전체상담: 시스템에 등록된 모든 상담사의 목록을 보여준다.
내담자는 1), 2), 3)의 분류된 상담사 중에서 한명을 선택하여 상담가능한 시간을 예약하며, 예약된 정보는 내담자와 상담사 단말에 전송된다.
상담기록부(300)는 상담사 매칭 후 상담이 진행되는 내용을 오디오 파일 또는 비디오 파일로 저장한다. 상담이 진행되는 내용을 저장하며, 저장방법은 상담종류에 따라 상이하다.
1) 채팅상담: 상담사가 채팅방을 오픈하고, 종료할때까지의 모든 기록을 화자별로 텍스트로 저장한다.
2) 전화상담: 상담사가 전화를 건 순간부터 전화를 종료한 순간까지의 모든 기록을 음성 오디오 파일로 저장한다.
3) 화상상담: 상담사가 화상상담실을 오픈하고, 종료할 때까지의 모든 기록을 비디오 파일로 저장한다.
4) 대면상담: 상담사가 시스템에서 상담시작 버튼을 클릭하고, 상담종료 버튼을 클릭할 때까지의 모든 음성 기록을 오디오로 저장한다.
상담분석부(400)는 상담기록부(300)가 저장한 오디오 파일 또는 비디오 파일에서 추출한 음성을 텍스트로 변환하여 텍스트로 변환된 상담 내용에 대해 내담자와 상담사를 구분하고, 내담자의 감정을 분석한다. 물론, 채팅상담은 이미 텍스트로 저장돼 있기 때문에 해당 텍스트 내용을 그래도 이용하여 내담자와 상담사를 구분한다.
보고서생성부(500)는 상담분석부(400)가 분석한 내담자의 감정상태를 그래프를 이용하여 시각적으로 제공하고, 내담자의 감정상태에 적합한 명언을 추천한다. 그리고 상담사 단말로부터 짧은 조언을 입력 받아 보고서에 추가할 수 있다.
구체적으로, 상담사매칭부(200)는 상담사 정보 제공부(210)와 상담예약부(220)로 구성된다.
상담사 정보 제공부(210)는 바로 상담 가능한 상담사의 목록(1)과 내담자의 상태를 측정한 정보를 바탕으로 내담자에게 적합한 추천 상담사의 목록(2)과 시스템에 등록된 모든 상담사의 목록(3)을 제공한다.
1) 바로상담사: 상담사의 단말기를 통하여 ‘바로상담 가능’으로 체크한 바로 상담 가능한 상담사의 목록을 내담자에게 보여주어, 즉시 상담 받을 수 있도록 한다. 바로상담을 제공하기 위해서는 현재 상담가능한 상담사의 목록을 생성해야 한다. 상담가능한 상담사는 최소 1시간 이내에 상담시작이 예정되어 있지 않은 상담사를 의미하며, 이는 상담사의 상담사의 예약 정보를 통하여 자동으로 판단이 가능하다.
또한, 상담사는 예약이 있는 시간이외에도 자신이 상담을 진행하고 싶지 않은 시간을 상담사의 단말에 표시할 수 있으며, 이에 대한 정보도 취합하여 보여준다.
바로상담 가능한 상담사와 추천상담사 정보가 겹쳤을 경우는 바로상담 상담사에 별도의 하이라이트 표기를 추가로 해주어서, 사용자가 우선적으로 선택할 수 있도록 정보를 제공한다.
바로상담 가능한 상담사의 수가 2명 이하 일 경우는, 가입한 상담사에게 알람을 발송하여 바로 응답한 상담사를 바로상담 가능한 상담사로 추가할 수 있다.
2) 추천상담사: 내담자 상태측정부(600)를 통하여 수집한 내담자의 정보를 기반으로 가장 적합한 상담사를 추천하고, 추천된 상담사의 목록을 보여준다. 내담자의 신체적, 정신적 정보와, 상담사의 전문분야 간의 매칭을 인공지능을 이용하여 가장 적합한 상담사를 5명 내외로 추천할 수 있다.
도 3을 참고하면, 추천상담에 활용되는 정보를 기초로 인공지능을 이용하여 내담자와 상담사를 매칭한다. 내담자 상태측정부(600)를 통해 수집된 정보와 데이터베이스에 저장돼 있는 상담사의 정보를 인공지능을 이용하여 도 3의 각 행별로 매칭하여 가장 적합한 상담사를 5명 내외로 추천한다. 도 3의 예시는 나이/성별부터 종교에 대한 내용까지 총 6개의 항목을 매칭하는 것으로 되어 있으나 6개의 항목이 모두 필요한 것은 아니며, 주로 내담자의 주 호소 문제와 감정상태 및 심각도 그리고 상담사의 주요 상담분야와 상담사의 경력이 중요하게 사용된다.
내담자가 심리 상담을 받고자 하는 이유는 다양하다. 내담자마다 주 호소 문제는 다르며, 상담사 역시 주요 상담 분야가 다를 수 있다. 결국, 인공지능 기반으로 내담자의 주 호소 문제와 상담사의 주요 상담 분야의 매칭 여부를 결정한다. 그리고 상담 경력이 많은 상담사는 심각한 상태의 내담자에 매칭하는 것이 더 적합하다. 인공지능 기반으로 내담자의 감정상태 및 심각도와 상담사의 경력을 매칭하여 적합한 상담사를 결정한다.
추천 상담에 사용되는 위 두 개의 주요 항목으로 매칭시 여러 명의 상담사가 선택되는 경우 상담사 정보 제공부(210)는 상담사의 전문적인 상담대상의 나이, 성별 정보와 종교적 깊이, 상담형식(문자, 전화, 영상, 대면), 본인의 나이 및 성별 정보를 내담자의 정보와 추가로 매칭하여 매칭도가 더 높게 나오는 상담사들로 선별하여 5명 내외로 제공한다. 여기서 5 명 내외는 예시일 뿐이며 이는 조정 가능하다.
3) 전체상담사: 시스템에 등록된 모든 상담사의 목록을 제공하는 기능이며, 사용자의 선택을 위하여 기본으로 제공되는 기능이다.
상담예약부(220)는 상담사 정보 제공부(210)가 제공한 1) 바로상담사, 2) 추천상담사, 3) 전체상담사의 목록 중 내담자가 선택한 상담사와 상담 가능한 시간을 예약하고, 예약된 정보를 내담자와 상담사에게 문자 전송한다.
내담자 상태측정부(600)는 내담자가 어떤 종류의 상담을 원하는지 챗봇을 통한 기본 문진을 진행하여 내담자의 상태를 수집한다. 내담자 상태측정부(600)가 수집한 정보는 상담사 정보 제공부(210)의 추천상담사 매칭에 사용된다. 도 3에서 설명한 '내담자의 감정상태와 심각도'는 내담자 상태측정부(600)가 내담자와 챗봇대화를 통해 수집한 정보를 인공지능 감정분석 엔진을 이용하여 분석하면, 분석 결과에 따라 자동으로 결정된다.
도 4를 참고하면, 챗봇이 내담자와의 대화를 통해 수집한 기본 문진 내용을 인공지능 감정분석 엔진에 적용하여 추출한 내담자의 상태를 나타내는 단어의 예를 보여주며, 각 단어의 감정 범주와 빈도, 감정에 대한 강도를 나타낸다. 내담자의 감정상태는 각 단어에 대한 감정 범주를 기반으로 결정하며 여기에 감정강도의 중간값 및 표준편차를 기반으로 계산한다.
상담사 추천부(700)는 내담자 상태측정부(600)가 챗봇을 통해 수집한 내담자의 상태 정보를 인공지능 감정분석 엔진에 적용하여 내담자의 감정범주와 감정강도(심각도)를 결정하고 매칭되는 가장 적합한 상담사를 한명 이상 추천한다. 다시 말하면, 상담사 추천부(700)는 내담자 상태측정부(600)가 수집한 정보를 바탕으로 내담자의 신체적/정신적 정보(상태 정보)와 상담사의 전문분야를 인공지능을 이용하여 매칭하여 가장 적합한 상담사를 한명 이상 추천할 수 있다.
상담사 정보 제공부(210)는 상담사 추천부(700)가 추천하는 상담사를 추천 상담사의 목록으로 제공한다.
AI 변환상담부(900)는 상담사 매칭이 결정된 후 내담자가 선택하는 옵션 기능이다. 내담자가 AI 변환 상담 기능을 선택하면, AI 변환상담부(900)는 상담사매칭부(200)가 매칭한 상담사의 음성이 AI 변환 기능으로 음성 및 말투까지 변조하여 변조된 음성 상담 내용을 내담자에게 실시간으로 전달한다.
구체적으로, 내담자의 선택에 의하여, 상담사의 음성이 AI로 변환되어 내담자에게 제공될 수 있으며, 내담자는 상대방(상담사)이 실제 사람이 아닌 것으로 착각하게 되어 보다 편한 상담을 받을 수 있다. 이는 상담사의 음성이 TTS(Text-to-Speech)와 STT(Speech-to-Text)를 걸쳐서 음성 변조 뿐만이 아니라, 말투까지도 변조가 되어 사용자에게 전달되어야 하며, 음성을 변환하는 과정의 딜레이를 보완하기 위하여 내담자에게는 'AI에 의한 음성 변환 중…' 과 같은 안내 메시지를 제공하여 내담자의 기다림에 의한 지루함을 최소화 한다.
상담분석부(400)는 텍스트 변환부(410), 대화 분석부(420) 및 내담자 감정 분석부(430)를 포함한다.
텍스트 변환부(410)는 상담기록부(300)가 저장한 오디오 파일 또는 비디오 파일의 음성을 화자 분리가 가능한 인공지능 음성인식 기능을 이용하여 내담자와 상담사의 상담 내용을 구분하여 텍스트로 변환한다. 오디오 파일 또는 비디오 파일의 음성에 대해 딥러닝을 통해 화자를 분리하여 화자별 녹음파일을 생성하며, 화자별 녹음파일을 텍스트 스크립트로 변환한다. 화자는 두명 또는 그 이상의 화자의 녹음파일로 생성이 가능하며, 딥러닝을 이용하여 화자별 대화 내용에 대한 분리가 가능하다.
대화 분석부(420)는 텍스트 변환부(410)가 변환한 상담 내용에 대해 머신러닝엔진을 이용하여 총 상담시간, 내담자와 상담사별 대화시간, 발화단어수, 말 빠르기, 빈출어휘를 분석한다.
내담자 감정 분석부(430)는 텍스트 분석부(420)가 분석한 내담자의 대화내용을 인공지능 감정분석 엔진에 적용하여 내담자의 감정을 분석한다. 내담자의 감정은 기쁨, 슬픈, 혐오, 분노, 놀람 등 다양한 상태로 분석될 수 있다.
도 5를 참고하면, 내담자가 상담형식을 선택하여 채팅상담, 전화상담, 화상상담, 대면상담 중 하나로 상담을 진행하고, 인공지능 음성인식 엔진을 이용하여 내담자와 상담사를 구분하여 텍스트로 변환한다. 화자 분리된 상담 내용을 추출하며, 인공지능 음성인식 엔진을 이용하여 N 명의 화자 중 1명의 상담사와 나머지 내담자를 자동으로 식별할 수가 있다. 상담을 반드시 1:1로만 하는 것은 아니기 때문에 상담사와 내담자를 구분하는 것 뿐만 아니라, 복수의 내담자를 식별하여 주 내담자가 어떤 사람인지 구분하고 그 사람의 대화내용에 중점을 두어 분석하는 것이 중요하다. 상담사와 내담자를 식별한 다음 머신러닝 엔진을 이용하여 상담사와 내담자의 대화를 분석하면 화자별 발화비율, 발화량, 발화속도, 어휘량, 어휘수준, 어휘빈도에 대한 측정이 가능하다. 내담자에 대해 측정된 내용은 상담 보고서에 입력되며, 상담사에 대해 측정된 내용은 상담사별 기록 및 평가를 위해 활용된다. 마지막으로 인공지능 감정분석 엔진을 이용하여 내담자의 감정상태를 분석한다. 도 4를 참고하여 설명한 바와 같이 내담자의 대화내용을 분석하면 내담자의 감정상태가 기쁨, 슬픈, 혐오, 분노, 놀람 등 다양한 상태로 분석되며, 상담 보고서에 다양한 감정상태를 그래프화 하여 시각적으로 제공함으로써 내담자의 감정분포에 대한 직관적인 파악이 가능하다.
보고서 생성부(500)는 감정 그래프 생성부(510), 명언 추천부(520) 및 조언 추가부(530)를 포함한다.
감정 그래프 생성부(510)는 상담분석부(400)가 분석한 내담자의 감정 상태를 그래프를 이용하여 시각적으로 제공한다. 명언 추천부(520)는 인공지능 기반의 유사도 매칭 방법을 이용하여 내담자의 감정 상태에 가장 적합한 명언을 추천한다. 조언 추가부(530)는 상담사로부터 짧은 조언을 입력받아 보고서에 추가한다.
도 5에서 본 바와 같이 상담이 종료되면 짧은 시간 내에 상담 보고서가 자동으로 생성되어 내담자에게 제공된다. 도 6은 본 발명이 제공하는 상담 보고서의 샘플이다. 상담 보고서에는 내담자의 감정상태를 그래프로 나타내고, 상담시간, 실 대화시간, 내담자 발화시간, 내담자 발화속도, 어휘량, 내담자의 감정상태를 나타내는 다양한 정보가 포함되며, 상담사가 드리는 조언 및 추천활동 정보와 명언 DB에서 추출한 명언도 포함된다.
구체적으로, 감정 그래프 생성부(510)는 상담분석부(400)가 분석한 내담자의 발화단어수, 빈출어휘를 기반으로 카테고리 분류하고 각 카테고리별로 카운팅하여 내담자의 감정상태를 그래프 및 수치화하여 표현한다.
명언 추천부(520)는 내담자의 감정 상태를 나타내는 문장과 명언 DB에 저장된 명언들을 형태소 분석하여 내담자의 감정 상태를 나타내는 문장에 대한 복수의 제1 형태소를 추출하고, 명언에 대한 복수의 제2 형태소를 추출하여 제1 형태소와 제2 형태소를 기초로 내담자의 감정 상태를 나타내는 문장과 가장 유사한 명언을 추천한다. 구체적으로, 명언 추천부(520)는 BM25 스코어링 기반으로 형태소 분석 및 키워드 색인을 수행 후 SBERT(Sentence-BERT)를 이용하여 문장간 유사도를 측정하여 내담자의 감정 상태에 가장 유사한 명언을 추천한다.
상담평가부(800)는 상담 분석 결과를 기반으로 상담사의 상담 내용에 대한 기본적인 평가를 자동으로 수행한다. 다시 말해서, 상담사의 상담내용을 기반으로 상담 기술 수준에 대한 정량적인 점수를 나타내는 대화품질지수(CQI, Conversation Quality Index)를 측정하여 상담사의 교육 및 평가에 활용할 수 있다. CQI 점수는 발화시간, 경청도, 공감도, 질문횟수, 말의 속도, 어휘수 등 다양한 정보를 이용하여 측정하는 방법이다. 발화시간, 경청도, 공감도, 질문횟수, 말의 속도, 어휘수 외에 시스템 설정에 따라 다른 요소가 더 포함될 수 있으며, 각 요소별 가중치를 곱한 다음 이를 전부 더하여 대화품질지수(CQI)를 측정하는데, 내담자의 감정상태에 따라 각 요소별 가중치를 다르게 하여 CQI 점수를 측정함으로써, 내담자의 감정상황에 따른 상담사의 상담 내용에 대한 객관적인 측정이 가능하다.
또한, 내담자는 후기와 추천을 통하여 상담사에 대한 평가를 남길 수 있다. 사용자의 별점에 의해서만 상담사의 품질을 관리하는 것이 아니라 CQI 점수와 사용자의 후기 및 추천여부에 기반하여 상담사의 품질을 관리할 수 있으며, 사용자의 후기로부터, 긍정/부정에 대한 강도를 인공지능에 의하여 계산하여, 3가지 요소(후기, 추천, CQI)에 의하여 상담사 상담 품질을 종합적으로 측정할 수 있다.
도 2를 참고하여 지금까지 설명한 본 발명에 대해서 다시 한번 살펴본다.
1) 내담자는 챗봇에 의한 기초 문진을 실시하여 내담자 상태를 측정한다. 그러나 내담자 상태측정은 반드시 수행해야 하는 과정은 아니다.
2) 내담자는 원하는 상담종류(채팅, 전화, 화상, 대면)를 선택한다.
3) 상담사를 추천한다. 내담자가 챗봇을 통한 상태측정을 수행한 경우 AI에 의한 최적의 상담사를 추천하며, 사용자는 원하는 상담사를 선택한다.
4) 상담사를 선택하여 매칭되면 내담자와 상담사에게 상담예약결과를 통보한다.
5) 예약일시에 상담을 진행한다.
6) 상담내용을 오디오 또는 비디오 파일로 기록한다.
7) 상담이 끝나면 상담내용을 분석하여 내담자와 상담사의 대화내용을 분석하고, 내담자의 감정상태를 분석한다.
8) 상담 분석결과를 이용하여 추천 명언, 상담사 조언, 감정상태 그래프, 내담자의 상담내용 분석 결과를 담은 상담 보고서를 자동으로 생성한다.
9) 상담 보고서를 내담자와 상담사의 단말로 전송한다.
10) 상담사의 상담내용에 대해 AI 기반으로 평가하여 CQI 점수를 측정한다.
11) 내담자는 상담사에 대한 후기 및 평가(별점)를 수행한다.
기존에는 심리상담에 있어서, 특정 검사를 수행하고 이에 대한 보고서나 관리만을 수행하였으나, 본 발명은 실제 대화를 기반으로 이뤄지는 상담에 대하여 음성인식을 활용한 대화분석 기술을 통하여 상담 전반에 대한 관리를 할 수 있는 시스템에 관한 것이다.
지금까지 본 발명을 바람직한 실시 예를 참조하여 상세히 설명하였지만, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시할 수 있으므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다.
그리고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 특정되는 것이며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 상담종류선택부 200: 상담사매칭부
210: 상담사 정보 제공부 220: 상담예약부
300: 상담기록부 400: 상담분석부
410: 텍스트 변환부 420: 대화 분석부
430: 내담자 감정 분석부 500: 보고서 생성부
510: 감정 그래프 생성부 520: 명언 추천부
530: 조언 추가부 600: 내담자 상태 측정부
700: 상담사 추천부 900: AI 변환상담부

Claims (8)

  1. 내담자로부터 채팅상담, 전화상담, 화상상담, 대면상담 중 상담종류를 선택받는 상담종류선택부;
    내담자와 상담사를 매칭하는 상담사매칭부;
    상담사 매칭 후 상담이 진행되는 내용을 오디오 파일 또는 비디오 파일로 저장하는 상담기록부;
    상담기록부가 저장한 오디오 파일 또는 비디오 파일에서 추출한 음성을 텍스트로 변환하여 텍스트로 변환된 상담 내용에 대해 내담자와 상담사를 구분하고, 내담자의 감정을 분석하는 상담분석부; 및
    상담분석부가 분석한 내담자의 감정상태를 그래프를 이용하여 시각적으로 제공하고, 내담자의 감정상태에 적합한 명언을 추천하는 보고서생성부;를 포함하는 것을 특징으로 하는 음성인식을 활용한 온라인 심리상담 시스템.
  2. 청구항 1에 있어서,
    상기 상담사매칭부는,
    바로 상담 가능한 상담사의 목록(1)과 내담자의 상태를 측정한 정보를 바탕으로 내담자에게 적합한 추천 상담사의 목록(2)과 시스템에 등록된 모든 상담사의 목록(3)을 제공하는 상담사 정보 제공부; 및
    상담사 정보 제공부가 제공한 상담사의 목록 중 내담자가 선택한 상담사와 상담 가능한 시간을 예약하고, 예약된 정보를 내담자와 상담사에게 문자 전송하는 상담예약부;를 포함하는 것을 특징으로 하는 음성인식을 활용한 온라인 심리상담 시스템.
  3. 청구항 2에 있어서,
    내담자가 어떤 종류의 상담을 원하는지 챗봇을 통한 기본 문진을 진행하여 내담자의 상태를 수집하는 내담자 상태측정부; 및
    내담자 상태측정부가 수집한 내담자의 상태 정보와 상담사의 전문분야를 인공지능으로 매칭하여 가장 적합한 상담사를 한명 이상 추천하는 상담사 추천부;를 더 포함하고,
    상기 상담사 정보 제공부는 상담사 추천부가 추천하는 상담사를 추천 상담사의 목록(2)으로 제공하는 것을 특징으로 하는 음성인식을 활용한 온라인 심리상담 시스템.
  4. 청구항 1에 있어서,
    내담자의 선택에 의해 상기 상담사매칭부가 매칭한 상담사의 음성이 AI 변환 기능으로 음성 및 말투까지 변조하여 변조된 음성 상담 내용을 내담자에게 실시간으로 전달하는 AI 변환상담부;를 더 포함하는 것을 특징으로 하는 음성인식을 활용한 온라인 심리상담 시스템.
  5. 청구항 1에 있어서,
    상기 상담분석부는,
    상담기록부가 저장한 오디오 파일 또는 비디오 파일의 음성을 화자 분리가 가능한 인공지능 음성인식 기능을 이용하여 내담자와 상담사의 상담 내용을 구분하여 텍스트로 변환하는 텍스트 변환부;
    텍스트 변환부가 변환한 상담 내용에 대해 총 상담시간, 내담자와 상담사별 대화시간, 발화단어수, 말 빠르기, 빈출어휘를 분석하는 대화 분석부; 및
    텍스트 분석부가 분석한 내담자의 대화내용을 바탕으로 내담자의 감정을 분석하는 내담자 감정 분석부;를 포함하는 것을 특징으로 하는 음성인식을 활용한 온라인 심리상담 시스템.
  6. 청구항 1에 있어서,
    상기 보고서생성부는,
    상담분석부가 분석한 내담자의 감정 상태를 그래프를 이용하여 시각적으로 제공하는 감정 그래프 생성부;
    인공지능 기반의 유사도 매칭 방법을 이용하여 내담자의 감정 상태에 가장 적합한 명언을 추천하는 명언 추천부; 및
    상담사로부터 조언을 입력받아 보고서에 추가하는 조언 추가부;를 포함하는 것을 특징으로 하는 음성인식을 활용한 온라인 심리상담 시스템.
  7. 청구항 6에 있어서,
    상기 감정 그래프 생성부는,
    상담분석부가 분석한 내담자의 발화단어수, 빈출어휘를 기반으로 카테고리 분류하고 각 카테고리별로 카운팅하여 내담자의 감정상태를 그래프 및 수치화하여 표현하는 것을 특징으로 하는 음성인식을 활용한 온라인 심리상담 시스템.
  8. 청구항 6에 있어서,
    상기 명언 추천부는 내담자의 감정 상태를 나타내는 문장과 명언 DB에 저장된 명언들을 형태소 분석하여 내담자의 감정 상태를 나타내는 문장에 대한 복수의 제1 형태소를 추출하고, 명언에 대한 복수의 제2 형태소를 추출하여 제1 형태소와 제2 형태소를 기초로 내담자의 감정 상태를 나타내는 문장과 가장 유사한 명언을 추천하는 것을 특징으로 하는 음성인식을 활용한 온라인 심리상담 시스템.
PCT/KR2023/009729 2022-07-25 2023-07-10 음성인식을 활용한 온라인 심리상담 시스템 WO2024025208A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0091514 2022-07-25
KR1020220091514A KR20240014154A (ko) 2022-07-25 2022-07-25 음성인식을 활용한 온라인 심리상담 시스템

Publications (1)

Publication Number Publication Date
WO2024025208A1 true WO2024025208A1 (ko) 2024-02-01

Family

ID=89706774

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/009729 WO2024025208A1 (ko) 2022-07-25 2023-07-10 음성인식을 활용한 온라인 심리상담 시스템

Country Status (2)

Country Link
KR (1) KR20240014154A (ko)
WO (1) WO2024025208A1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180099403A (ko) * 2017-02-28 2018-09-05 주식회사 에임메드 온라인 심리상담 시스템 및 이를 이용한 온라인 심리상담 방법
KR20190051453A (ko) * 2017-11-07 2019-05-15 주식회사 제네시스랩 온라인 익명 상담매칭서비스제공시스템, 상담매칭서비스제공방법 및 컴퓨터-판독가능매체
KR20200104716A (ko) * 2019-02-27 2020-09-04 김규리 컬러 테라피를 활용한 심리 상담 시스템 및 방법
KR102187210B1 (ko) * 2020-06-22 2020-12-04 주식회사 플랙스 영상 일기를 이용한 심리 상태 분석 장치 및 방법
KR102200815B1 (ko) * 2020-06-29 2021-01-12 주식회사 퓨처플랫폼 정신건강 자가관리 제공 방법 및 정신건강 자가관리 제공 시스템
KR102385176B1 (ko) * 2021-11-16 2022-04-14 주식회사 하이 심리 상담 장치 및 그 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102485107B1 (ko) 2020-01-07 2023-01-11 박가을 심리 상담 제공 시스템 및 방법
KR20220070904A (ko) 2020-11-23 2022-05-31 염영미 온라인 상담 서비스 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180099403A (ko) * 2017-02-28 2018-09-05 주식회사 에임메드 온라인 심리상담 시스템 및 이를 이용한 온라인 심리상담 방법
KR20190051453A (ko) * 2017-11-07 2019-05-15 주식회사 제네시스랩 온라인 익명 상담매칭서비스제공시스템, 상담매칭서비스제공방법 및 컴퓨터-판독가능매체
KR20200104716A (ko) * 2019-02-27 2020-09-04 김규리 컬러 테라피를 활용한 심리 상담 시스템 및 방법
KR102187210B1 (ko) * 2020-06-22 2020-12-04 주식회사 플랙스 영상 일기를 이용한 심리 상태 분석 장치 및 방법
KR102200815B1 (ko) * 2020-06-29 2021-01-12 주식회사 퓨처플랫폼 정신건강 자가관리 제공 방법 및 정신건강 자가관리 제공 시스템
KR102385176B1 (ko) * 2021-11-16 2022-04-14 주식회사 하이 심리 상담 장치 및 그 방법

Also Published As

Publication number Publication date
KR20240014154A (ko) 2024-02-01

Similar Documents

Publication Publication Date Title
US10044864B2 (en) Computer-implemented system and method for assigning call agents to callers
CN109618068A (zh) 一种基于人工智能的语音业务推送方法、装置与系统
US11501656B2 (en) Interactive and automated training system using real interactions
CN111667926A (zh) 一种基于人工智能的心理咨询（会话）系统及其方法
Wu et al. Towards authenticity of task in test development
Pallotti Assessing tasks: The case of interactional difficulty
CN115619360A (zh) 基于人工智能的人才选拔招聘系统及方法
JP7334913B2 (ja) 面接支援システム
JP2005500587A (ja) ネットワークを介した非同期面接の実施
WO2024025208A1 (ko) 음성인식을 활용한 온라인 심리상담 시스템
JP7273563B2 (ja) 情報処理装置、情報処理方法、および、プログラム
WO2022149701A1 (ko) 개방형 심리척도 전문가 플랫폼을 이용한 심리검사 시스템 및 방법
Wegar The sociological significance of ambivalence: An example from adoption research
WO2020067666A1 (ko) 버추얼 상담 시스템 및 이를 이용한 상담방법
Baumgarten et al. Patterns of othering minority groups in telephone gatekeeping encounters in the Sheffield property market
JP2021196462A (ja) 電話応対装置
Shapiro Variability in the communication of affect
WO2023145992A1 (ko) 음성 분석을 이용하여 우울증을 검사하는 방법
Drummond et al. Linguistic performance of female aphasic adults during group interaction
CN112908362B (zh) 基于采集机器人终端的系统、机器人终端、方法及介质
KR20230140722A (ko) 챗봇 기반의 인공지능 심리상담 방법 및 장치
Swasono et al. Hedges as A Conversational Strategy in Women’s Gossip in The Bold Type Season 1
Procter et al. The effect of distributed learning on the identification of normal-tone and whispered voices
Belhadj et al. KEDAS: A validated Arabic Speech Emotion Dataset
Pham et al. Formulatic Language of Vietnamese Children with Autism Spectrum Disorders: A Corpus Linguistic Analysis

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23846867

Country of ref document: EP

Kind code of ref document: A1