KR20230124237A - Method for progressing non face to face exercise lecture using speech recogntion - Google Patents
Method for progressing non face to face exercise lecture using speech recogntion Download PDFInfo
- Publication number
- KR20230124237A KR20230124237A KR1020220021289A KR20220021289A KR20230124237A KR 20230124237 A KR20230124237 A KR 20230124237A KR 1020220021289 A KR1020220021289 A KR 1020220021289A KR 20220021289 A KR20220021289 A KR 20220021289A KR 20230124237 A KR20230124237 A KR 20230124237A
- Authority
- KR
- South Korea
- Prior art keywords
- face
- voice
- exercise
- user
- word
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000002250 progressing effect Effects 0.000 title abstract description 13
- 230000036544 posture Effects 0.000 description 32
- 239000000284 extract Substances 0.000 description 12
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
-
- G06Q50/30—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/50—Business processes related to the communications industry
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Marketing (AREA)
- Economics (AREA)
- Primary Health Care (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Educational Technology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Educational Administration (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Physical Education & Sports Medicine (AREA)
- Operations Research (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
Description
본 발명은 비대면 실시간 운동 강의에서 음성인식을 통해 강사와 수강생 간에 편리하게 소통하며 운동강의를 진행할 수 있는 음성인식을 통한 비대면 운동 강의 진행 방법에 관한 것이다.The present invention relates to a non-face-to-face exercise lecture method through voice recognition that can conveniently communicate between an instructor and students through voice recognition in a non-face-to-face real-time exercise lecture and conduct an exercise lecture.
<이 발명을 지원한 연구개발사업><R&D project supporting this invention>
-. 과제번호 : CY201053 -. Assignment number: CY201053
-. 과제관리 전문기관:서울산업진흥원 -. Institution specializing in task management: Seoul Business Agency
-. 연구사업명 : 2020년 포스트 코로나 특화 인공지능(AI) 기술사업화 지원사업 -. Research project name: 2020 post-corona specialized artificial intelligence (AI) technology commercialization support project
-. 연구과제명 : 인공지능을 통한 근골격계 치료/예방을 위한 비대면 교육 서비스 -. Research project title: Non-face-to-face education service for musculoskeletal treatment/prevention through artificial intelligence
-. 과제수행기관명 : (주)위힐드 -. Name of the organization performing the task: Wehild Co., Ltd.
최근 건강에 대한 관심이 높아지면서 헬스, 요가, 필라테스 등 다양한 건강을 위한 운동이 널리 퍼지고 있다. 물론 대부분의 사람들은 자신의 건강관리를 위해 시간과 비용을 감당할 준비가 되어 있다. 하지만, 대부분의 사람들은 별도의 시간을 내어 건강 관리를 도와주는 곳을 직접 찾아가 운동을 하는 것이 쉽지는 않은 것이 현실이다. Recently, as interest in health increases, various exercises for health, such as fitness, yoga, and Pilates, are spreading widely. Of course, most people are prepared to take the time and money to take care of their health. However, the reality is that it is not easy for most people to take a separate time and go to a place that helps them manage their health and exercise.
특히, 이러한 운동은 대부분 헬스장이나 스포츠센터에 등록을 하고 강사에게 동작을 지도 받으면서 수행하므로, 평상시 시간에 쫓기는 사람들은 수강 하기가 어렵고, 헬스장에 방문하여 개인 트레이닝을 받기 위해서는 과도한 비용이 소요되는 어려움이 있었다.In particular, most of these exercises are performed while registering at a gym or sports center and receiving guidance from an instructor, so it is difficult for people who are usually pressed for time to take classes, and excessive costs are required to visit a gym and receive personal training. there was.
따라서, 최근에는 개인이 사무실이나 집에서 운동을 할 수 있도록 도와주는 방송이나 앱과 같은 운동 프로그램이 개발되어 보급되고 있다. 이러한 운동 프로그램을 이용하는 사용자들은 전문가인 강사가 제공하는 운동방송 및 운동 서비스 영상을 시청하면서 운동을 따라 할 수 있다. Therefore, recently, exercise programs such as broadcasts or apps that help individuals exercise at the office or at home have been developed and spread. Users using these exercise programs can follow the exercise while watching exercise broadcasting and exercise service images provided by expert instructors.
그리고, 이러한 운동 프로그램은 운동 서비스 영상을 통해서 사용자에게 다양한 종류의 운동동작을 제공하고, 일정한 운동동작을 반복적으로 따라할 수 있도록 운동영상을 제공하고 있다.In addition, these exercise programs provide various types of exercise motions to users through exercise service images, and provide exercise images so that they can repeatedly follow certain exercise motions.
하지만, 사용자는 실시간으로 운동 강의를 보면서 질문을 하려면 디바이스를 손으로 들고 채팅 내용을 입력하여 보내야 하므로 강사가 진행하고 있는 운동의 일부분을 놓칠 수 있는 문제점이 있었다. 즉, 사용자가 운동 프로그램에 참여하는 경우 운동중에 질문을 하려면 디바이스를 사용해 채팅을 해야 하므로, 사용자 입장에서 강사와 소통하기 어려운 불편함이 있었다.However, in order to ask a question while watching an exercise lecture in real time, the user has to hold the device with his hand and input and send chatting contents, so there is a problem in that a part of the exercise being conducted by the instructor may be missed. That is, when a user participates in an exercise program, in order to ask a question during exercise, the user has to chat using the device, so it is difficult for the user to communicate with the instructor.
또한, 강사 입장에서도 운동강의를 실시간으로 진행하면서 사용자들의 질문에 빠르게 답변하기 어렵고, 비대면으로 인해서 정확한 운동 동작을 전달하기가 어려운 문제점이 있었다.In addition, from the instructor's point of view, it is difficult to quickly answer users' questions while conducting exercise lectures in real time, and it is difficult to deliver accurate exercise movements due to non-face-to-face.
이 배경기술 부분에 기재된 사항은 발명의 배경에 대한 이해를 증진하기 위하여 작성된 것으로서, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술이 아닌 사항을 포함할 수 있다.Matters described in this background art section are prepared to enhance understanding of the background of the invention, and may include matters that are not prior art already known to those skilled in the art to which this technique belongs.
본 발명은 미리 특정 단어와 기능을 설정하고, 비대면 운동강의에서 사용자의 음성을 트래킹하여 미리 설정된 특정 단어가 인식된 경우 해당 단어에 따른 기능을 수행하며 운동강의를 진행할 수 있는 음성인식을 통한 비대면 운동 강의 진행 방법을 제안하고자 한다.The present invention sets specific words and functions in advance, tracks the user's voice in non-face-to-face exercise lectures, and when a specific word set in advance is recognized, the function according to the word is performed and the exercise lecture can be performed through voice recognition. I would like to suggest a method for conducting a face-to-face exercise lecture.
또한, 본 발명은 비대면 운동 서비스에서 사용자의 음성으로부터 질문과 관련된 특정단어가 인식된 경우 해당 단어가 인식된 이후의 사용자의 음성을 텍스트로 변환하여 강사에게 제공할 수 있는 음성인식을 통한 비대면 운동 강의 진행 방법을 제안하고자 한다.In addition, in the present invention, when a specific word related to a question is recognized from a user's voice in a non-face-to-face exercise service, the user's voice after the word is recognized is converted into text and provided to the instructor through non-face-to-face speech recognition. I would like to suggest a method for conducting exercise lectures.
본 발명의 한 실시예에 따른 음성인식을 통한 비대면 운동 강의 진행 방법은 비대면 운동 서비스를 따라하는 사용자의 음성을 트래킹하거나 상기 비대면 운동 서비스를 진행하는 강사의 음성을 실시간으로 트래킹하는 단계, 실시간으로 트래킹되는 상기 사용자의 음성 또는 상기 강사의 음성에서 미리 설정된 단어가 인식되는지 여부를 판단하는 단계, 미리 설정된 단어가 인식된 경우, 해당 단어에 따라 설정된 기능을 수행하는 단계, 그리고 상기 설정된 기능의 수행 결과를 사용자 디바이스 또는 강사 디바이스에 제공하는 단계를 포함한다.A method for conducting a non-face-to-face exercise lecture through voice recognition according to an embodiment of the present invention tracks the voice of a user following a non-face-to-face exercise service or tracks the voice of an instructor conducting the non-face-to-face exercise service in real time; Determining whether a preset word is recognized in the user's voice or the instructor's voice tracked in real time, performing a set function according to the word when the preset word is recognized, and performing a set function according to the set function and providing a result of the performance to a user device or an instructor device.
상기 설정된 단어는, 질문, 휴식시간, 운동 속도, 또는 운동 자세와 관련된 단어들 중 적어도 하나를 포함할 수 있다.The set word may include at least one of words related to a question, rest time, exercise speed, or exercise posture.
상기 사용자의 음성에서 상기 설정된 단어가 인식되고, 인식된 단어가 질문, 휴식시간, 운동 속도, 운동 자세 중 적어도 하나와 관련된 단어인 경우, 상기 사용자의 음성 내용을 실시간으로 텍스트로 변환하고, 변환된 텍스트를 강사 디바이스의 채팅창에 실시간으로 디스플레이하는 단계를 더 포함할 수 있다.When the set word is recognized in the user's voice, and the recognized word is a word related to at least one of a question, break time, exercise speed, and exercise posture, the user's voice is converted into text in real time, and the converted The method may further include displaying the text in a chat window of the instructor device in real time.
상기 사용자로부터 인식된 단어가 질문과 관련된 단어인 경우, 상기 질문과 단어가 인식된 이후에 인식되는 상기 사용자의 질문 내용에서 적어도 하나의 핵심 키워드를 추출하는 단계, 그리고 추출된 핵심 키워드와 관련된 질문의 답변 예시를 데이터베이스에서 추출하며, 추출된 답변 예시를 사용자 디바이스 또는 강사 디바이스에 제공하는 단계를 더 포함할 수 있다.If the word recognized by the user is a word related to a question, extracting at least one core keyword from the user's question content recognized after the question and the word are recognized, and the number of questions related to the extracted core keyword The method may further include extracting example answers from the database and providing the extracted example answers to a user device or an instructor device.
상기 사용자 또는 상기 강사의 음성에서 상기 설정된 단어가 인식되고, 인식된 단어가 운동 자세와 관련된 단어인 경우, 상기 운동 자세와 관련된 동작을 수행하는 영상을 데이터베이스에서 추출하고, 추출된 영상을 사용자 디바이스 또는 강사 디바이스에 디스플레이하는 단계를 더 포함할 수 있다.When the set word is recognized in the voice of the user or the instructor, and the recognized word is a word related to exercise posture, an image performing an operation related to the exercise posture is extracted from the database, and the extracted image is displayed on the user device or It may further include displaying on the instructor device.
상기 음성을 실시간으로 트래킹하는 단계 이전에는, 사용자 및 강사의 음성을 등록하되, 사용자 음성 또는 강사 음성의 주파수 대역, 성별, 음색, 및 음성 높이를 분석하여 등록하는 단계를 포함할 수 있다.Prior to the step of tracking the voices in real time, registering the voices of the user and the instructor may include analyzing and registering a frequency band, gender, timbre, and voice height of the user's voice or the instructor's voice.
상기 음성을 실시간으로 트래킹하는 단계는, 실시간으로 트래킹되는 음성을 등록된 음성의 주파수 대역, 성별, 음색, 또는 음성 높이와 비교하여 상기 등록된 음성과 상이한 노이즈를 제거할 수 있다.In the real-time tracking of the voice, noise different from the registered voice may be removed by comparing the real-time tracked voice with a frequency band, gender, timbre, or voice height of the registered voice.
본 발명의 한 실시예에 따른 음성인식을 통한 비대면 운동 강의 진행 장치는 비대면 운동 서비스를 따라하는 사용자의 음성 또는 비대면 운동 서비스를 진행하는 강사의 음성을 실시간으로 트래킹하는 음성 트래킹 모듈, 실시간으로 트래킹되는 상기 사용자의 음성 또는 상기 강사의 음성에서 미리 설정된 단어가 인식되는지 여부를 판단하는 단어 인식 모듈, 그리고 미리 설정된 단어가 인식된 경우, 해당 단어에 따라 설정된 기능을 수행하고, 상기 설정된 기능의 수행 결과를 사용자 디바이스 또는 강사 디바이스에 제공하도록 제어하는 제어 모듈을 포함한다.An apparatus for conducting non-face-to-face exercise lectures through voice recognition according to an embodiment of the present invention includes a voice tracking module that tracks in real time the voice of a user following a non-face-to-face exercise service or the voice of an instructor conducting a non-face-to-face exercise service, A word recognition module that determines whether a preset word is recognized in the user's voice or the instructor's voice tracked by, and when a preset word is recognized, performs a set function according to the word, and performs a set function according to the set function. It includes a control module that controls to provide performance results to user devices or instructor devices.
본 발명에 따르면, 비대면 운동 서비스를 따라하는 사용자의 음성을 트래킹하거나 상기 비대면 운동 서비스를 진행하는 강사의 음성을 실시간으로 트래킹하고, 실시간으로 트래킹되는 사용자의 음성 또는 강사의 음성에서 미리 설정된 단어가 인식된 경우 해당 단어에 따라 설정된 기능을 수행함으로써, 비대면 실시간 운동 강의에서 강사와 수강생 간의 더욱 편리하게 소통할 수 있는 환경을 제공한다.According to the present invention, the voice of a user following a non-face-to-face exercise service is tracked or the voice of an instructor performing the non-face-to-face exercise service is tracked in real time, and a preset word is tracked in real time in the user's voice or the instructor's voice. is recognized, by performing the set function according to the word, providing an environment for more convenient communication between the instructor and the students in the non-face-to-face real-time exercise lecture.
또한, 본 발명은 사용자의 음성에서 상기 설정된 단어가 인식되고, 인식된 단어가 질문, 휴식시간, 운동 속도, 운동 자세 중 적어도 하나와 관련된 단어인 경우, 상기 사용자의 음성 내용을 실시간으로 텍스트로 변환하고, 변환된 텍스트를 강사 디바이스의 채팅창에 실시간으로 디스플레이함으로써, 디바이스를 일일이 사용하며 손으로 채팅을 치는 불편함을 방지하고, 음성으로 빠르게 질문을 전달할 수 있기때문에 강사가 하고 있는 운동을 놓치지 않고 잘 따라할 수 있으며, 사용자의 음성 노출을 방지할 수 있는 환경을 제공한다.In addition, in the present invention, when the set word is recognized in the user's voice and the recognized word is a word related to at least one of a question, rest time, exercise speed, and exercise posture, the user's voice is converted into text in real time. And, by displaying the converted text in real time in the chat window of the instructor's device, you can prevent the inconvenience of using the device one by one and chatting with your hands, and you can quickly deliver questions by voice, so you don't miss the exercise the instructor is doing. It provides an environment that can be followed well and prevents user's voice exposure.
또한, 본 발명은 상기 사용자로부터 인식된 단어가 질문과 관련된 단어인 경우 상기 사용자의 질문 내용에서 적어도 하나의 핵심 키워드를 추출하고, 추출된 핵심 키워드와 관련된 질문의 답변 예시를 데이터베이스에서 추출 사용자 디바이스 또는 강사 디바이스에 제공함으로써, 수강생과 강사 간의 빠른 질문과 빠른 피드백이 가능하고, 수강생과 강사간에 편리한 양방향 소통이 가능할 수 있는 환경을 제공한다.In addition, the present invention extracts at least one core keyword from the user's question content when the word recognized by the user is a word related to a question, and extracts an example of an answer to the question related to the extracted core keyword from a database. By providing it to the instructor device, quick questions and quick feedback between students and instructors are possible, and an environment in which convenient two-way communication between students and instructors is possible is provided.
또한, 본 발명은 사용자 또는 강사의 음성에서 인식된 단어가 운동 자세와 관련된 단어인 경우, 상기 운동 자세와 관련된 동작을 수행하는 영상을 데이터베이스에서 추출하고, 추출된 영상을 사용자 디바이스 또는 강사 디바이스에 디스플레이함으로써, 운동 동작을 용이하게 공유하여 사용자 만족도를 향상시킬 수 환경을 제공한다.In addition, in the present invention, when a word recognized in the voice of a user or an instructor is a word related to an exercise posture, an image performing an operation related to the exercise posture is extracted from a database, and the extracted image is displayed on a user device or an instructor device. By doing so, an environment in which user satisfaction can be improved by easily sharing exercise motions is provided.
또한, 본 발명은 사용자 및 강사의 음성을 등록하되, 사용자 음성 또는 강사 음성의 주파수 대역, 성별, 음색, 및 음성 높이를 분석하여 등록하고, 실시간으로 트래킹되는 음성을 등록된 음성의 주파수 대역, 성별, 음색, 또는 음성 높이와 비교하여 상기 등록된 음성과 상이한 노이즈를 제거함으로써, 음성인식률을 향상시킬 수 있는 환경을 제공한다.In addition, the present invention registers the voices of the user and the instructor, analyzes and registers the frequency band, gender, timbre, and voice height of the user's voice or the instructor's voice, and registers the voice tracked in real time to the frequency band and gender of the registered voice. , timbre, or voice height to remove noise different from the registered voice, thereby providing an environment capable of improving the voice recognition rate.
도 1은 본 발명의 한 실시예에 따른 음성인식을 통한 비대면 운동 강의 진행 시스템을 간략히 도시한 도면이다.
도 2는 본 발명의 한 실시예에 따른 음성인식을 통한 비대면 운동 강의 진행 장치의 개략적인 구성을 나타낸 블록도이다.
도 3는 본 발명의 한 실시예에 따라 음성인식을 통한 비대면 운동 강의 진행 시스템에서 사용자의 음성을 트래킹하고, 특정 단어가 인식된 경우 해당하는 기능을 수행하여 비대면 운동 강의를 진행하는 과정을 간략히 도시한 흐름도이다.
도 4는 본 발명의 한 실시예에 따라 비대면 운동 강의 진행 장치가 사용자의 음성을 트래킹하여 단어를 인식하고, 운동자세와 관련된 단어인 경우 해당하는 운동자세 영상을 추출하여 사용자에게 제공하는 과정을 간략히 도시한 흐름도이다.
도 5는 본 발명의 한 실시예에 따라 사용자로부터 질문과 관련된 특정 단어가 인식된 경우 사용자의 질문 내용을 텍스트로 변환하여 강사 디바이스의 채팅창에 제공하고, 사용자의 질문 내용에서 핵심 키워드를 추출한 후 핵심 키워드와 관련된 질문의 답변 예시를 데이터베이스에서 추출하여 사용자 디바이스에 제공하는 과정을 간략히 도시한 흐름도이다.1 is a diagram briefly showing a non-face-to-face exercise lecture progress system through voice recognition according to an embodiment of the present invention.
2 is a block diagram showing a schematic configuration of a non-face-to-face exercise lecture progressing device through voice recognition according to an embodiment of the present invention.
3 shows the process of tracking a user's voice in a non-face-to-face exercise lecture progress system through voice recognition and performing a non-face-to-face exercise lecture when a specific word is recognized according to an embodiment of the present invention. It is a simplified flow chart.
4 shows a process in which a non-face-to-face exercise lecture progressing device tracks a user's voice to recognize a word, extracts a corresponding exercise posture image when it is a word related to an exercise posture, and provides it to the user according to an embodiment of the present invention. It is a simplified flow chart.
5 is a diagram illustrating a user's question content converted into text and provided to a chat window of an instructor device when a specific word related to a question is recognized from a user according to an embodiment of the present invention, and key keywords are extracted from the user's question content. A flowchart briefly illustrating a process of extracting examples of answers to questions related to core keywords from a database and providing them to a user device.
이하, 본 발명의 바람직한 실시예를 첨부한 도면에 의거하여 상세하게 설명하면 다음과 같다.Hereinafter, a preferred embodiment of the present invention will be described in detail based on the accompanying drawings.
이에 앞서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Prior to this, the embodiments described in this specification and the configurations shown in the drawings are only one of the most preferred embodiments of the present invention and do not represent all of the technical ideas of the present invention. It should be understood that there may be many equivalents and variations.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily carry out the present invention. However, the present invention may be embodied in many different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.
도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도면에 도시된 바에 한정되지 않으며, 여러 부분 및 영역을 명확하게 표현하기 위하여 두께를 확대하여 나타내었다.Since the size and thickness of each component shown in the drawings are arbitrarily shown for convenience of description, the present invention is not necessarily limited to what is shown in the drawings, and the thickness is enlarged to clearly express various parts and regions.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when a certain component is said to "include", it means that it may further include other components without excluding other components unless otherwise stated. In addition, terms such as “… unit”, “… unit”, and “module” described in the specification mean a unit that processes at least one function or operation, which may be implemented as hardware or software or a combination of hardware and software. there is.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person of ordinary skill in the art to which the embodiment belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in the present application, they should not be interpreted in an ideal or excessively formal meaning. don't
또한, 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. In addition, in describing the embodiments, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the embodiment, the detailed description will be omitted.
이제 도 1 내지 도 5를 참고하여 본 발명의 한 실시예에 따른 음성인식을 통한 비대면 운동 강의 진행 시스템 및 이를 이용한 음성인식을 통한 비대면 운동 강의 진행 방법에 대하여 상세하게 설명한다.Now, with reference to FIGS. 1 to 5, a system for conducting a non-face-to-face exercise lecture through voice recognition according to an embodiment of the present invention and a method for conducting a non-face-to-face exercise lecture through voice recognition using the same will be described in detail.
도 1은 본 발명의 한 실시예에 따른 음성인식을 통한 비대면 운동 강의 진행 시스템을 간략히 도시한 도면이다. 이때, 음성인식을 통한 비대면 운동 강의 진행 시스템(10)는 본 발명의 실시예에 따른 설명을 위해 필요한 개략적인 구성만을 도시할 뿐 이러한 구성에 국한되는 것은 아니다.1 is a diagram briefly showing a non-face-to-face exercise lecture progress system through voice recognition according to an embodiment of the present invention. At this time, the non-face-to-face exercise lecture progress system 10 through voice recognition only shows a schematic configuration necessary for explanation according to the embodiment of the present invention, but is not limited to this configuration.
도 1을 참조하면, 본 발명의 한 실시예에 따른 음성인식을 통한 비대면 운동 강의 진행 시스템(10)은 비대면 운동 강의 진행 장치(100)를 통해서 비대면 운동 서비스를 따라하는 사용자의 음성을 트래킹하거나 상기 비대면 운동 서비스를 진행하는 강사의 음성을 실시간으로 트래킹하고, 실시간으로 트래킹되는 상기 사용자의 음성 또는 상기 강사의 음성에서 미리 설정된 단어가 인식되는지 여부를 판단할 수 있다. 그리고, 본 발명의 한 실시예에 따른 음성인식을 통한 비대면 운동 강의 진행 시스템(10)은 사용자나 강사로부터 미리 설정된 단어가 인식된 경우에 해당 단어에 따라 설정된 기능을 수행하고, 해당하는 수행 결과를 사용자 디바이스 또는 강사 디바이스에 제공할 수 있다.1, the non-face-to-face exercise lecture progress system 10 through voice recognition according to an embodiment of the present invention uses the non-face-to-face exercise lecture lecture device 100 to listen to the user's voice following the non-face-to-face exercise service. It is possible to track the voice of an instructor who is tracking or performing the non-face-to-face exercise service in real time, and determine whether a preset word is recognized in the voice of the user or the voice of the instructor that is tracked in real time. In addition, the non-face-to-face exercise lecture progress system 10 through voice recognition according to an embodiment of the present invention performs the function set according to the word when a preset word is recognized from the user or instructor, and the corresponding execution result may be provided to the user device or instructor device.
본 발명의 한 실시예에 따른 음성인식을 통한 비대면 운동 강의 진행 시스템(10)은 사용자 디바이스(20), 비대면 운동 강의 진행 장치(100), 및 강사 디바이스(30)를 포함할 수 있다.The non-face-to-face exercise lecture system 10 through voice recognition according to an embodiment of the present invention may include a user device 20, a non-face-to-face exercise lecture lecture device 100, and an instructor device 30.
상기 비대면 운동 강의 진행 장치(100)는 사용자 디바이스(20) 또는 강사 디바이스(30)를 통해서 비대면 운동 서비스를 따라하는 사용자의 음성을 트래킹하거나 상기 비대면 운동 서비스를 진행하는 강사의 음성을 실시간으로 트래킹할 수 있다.The non-face-to-face exercise lecture progressing device 100 tracks the voice of the user who follows the non-face-to-face exercise service through the user device 20 or the instructor device 30 or tracks the voice of the instructor conducting the non-face-to-face exercise service in real time. can be tracked with
상기 비대면 운동 강의 진행 장치(100)는 실시간으로 트래킹되는 음성을 등록된 음성의 주파수 대역, 성별, 음색, 또는 음성 높이와 비교하여 상기 등록된 음성과 상이한 노이즈를 제거할 수 있다.The non-face-to-face exercise lecture progressing device 100 may compare the voice tracked in real time with the frequency band, gender, timbre, or voice height of the registered voice to remove noise different from the registered voice.
그리고, 상기 비대면 운동 강의 진행 장치(100)는 실시간으로 트래킹되는 상기 사용자의 음성 또는 상기 강사의 음성에서 미리 설정된 단어가 인식되는지 여부를 판단하고, 미리 설정된 단어가 인식된 경우, 해당 단어에 따라 설정된 기능을 수행하며, 상기 설정된 기능의 수행 결과를 상기 사용자 디바이스(20) 또는 상기 강사 디바이스(30)에 제공할 수 있다. 여기서, 상기 설정된 단어는 질문, 휴식시간, 운동 속도, 또는 운동 자세와 관련된 단어들 중 적어도 하나를 포함할 수 있다.In addition, the non-face-to-face exercise lecture progressing device 100 determines whether a preset word is recognized in the user's voice or the instructor's voice tracked in real time, and when the preset word is recognized, according to the corresponding word The set function may be performed, and the result of the set function may be provided to the user device 20 or the instructor device 30 . Here, the set word may include at least one of words related to a question, rest time, exercise speed, or exercise posture.
예를 들어, 상기 비대면 운동 강의 진행 장치(100)는 상기 사용자의 음성에서 상기 설정된 단어가 인식되고, 인식된 단어가 질문, 휴식시간, 운동 속도, 운동 자세 중 적어도 하나와 관련된 단어인 경우, 상기 사용자의 음성 내용을 실시간으로 텍스트로 변환하고, 변환된 텍스트를 상기 강사 디바이스(30)의 채팅창에 실시간으로 디스플레이할 수 있다.For example, the non-face-to-face exercise lecture progressing device 100 recognizes the set word in the user's voice, and the recognized word is a word related to at least one of a question, break time, exercise speed, and exercise posture, The user's voice content may be converted into text in real time, and the converted text may be displayed in the chat window of the instructor device 30 in real time.
또한, 상기 비대면 운동 강의 진행 장치(100)는 상기 사용자로부터 인식된 단어가 질문과 관련된 단어인 경우, 상기 질문과 단어가 인식된 이후에 인식되는 상기 사용자의 질문 내용에서 적어도 하나의 핵심 키워드를 추출하고, 추출된 핵심 키워드와 관련된 질문의 답변 예시를 데이터베이스에서 추출하며, 추출된 답변 예시를 상기 사용자 디바이스(20) 또는 상기 강사 디바이스(30)에 제공할 수 있다.In addition, when the word recognized by the user is a word related to a question, the non-face-to-face exercise lecture progressing device 100 selects at least one key keyword from the user's question content recognized after the question and word are recognized. It is possible to extract, extract examples of answers to questions related to the extracted core keywords from the database, and provide the extracted examples of answers to the user device 20 or the instructor device 30 .
또한, 상기 비대면 운동 강의 진행 장치(100)는 상기 사용자 또는 상기 강사의 음성에서 상기 설정된 단어가 인식되고, 인식된 단어가 운동 자세와 관련된 단어인 경우, 상기 운동 자세와 관련된 동작을 수행하는 영상을 데이터베이스에서 추출하고, 추출된 영상을 상기 사용자 디바이스(20) 또는 상기 강사 디바이스(30)에 디스플레이할 수도 있다.In addition, the non-face-to-face exercise lecture progressing device 100 recognizes the set word in the voice of the user or the instructor, and when the recognized word is a word related to the exercise posture, an image of performing an operation related to the exercise posture may be extracted from the database, and the extracted image may be displayed on the user device 20 or the instructor device 30.
따라서, 본 발명은 비대면 운동 서비스를 따라하는 사용자의 음성을 트래킹하거나 상기 비대면 운동 서비스를 진행하는 강사의 음성을 실시간으로 트래킹하고, 실시간으로 트래킹되는 사용자의 음성 또는 강사의 음성에서 미리 설정된 단어가 인식된 경우 해당 단어에 따라 설정된 기능을 수행함으로써, 비대면 실시간 운동 강의에서 강사와 수강생 간의 더욱 편리하게 소통할 수 있는 환경을 제공한다.Therefore, the present invention tracks the voice of a user following a non-face-to-face exercise service or tracks the voice of an instructor performing the non-face-to-face exercise service in real time, and tracks a preset word in the real-time tracked user's voice or the instructor's voice is recognized, by performing the set function according to the word, providing an environment for more convenient communication between the instructor and the students in the non-face-to-face real-time exercise lecture.
도 2는 본 발명의 한 실시예에 따른 음성인식을 통한 비대면 운동 강의 진행 장치의 개략적인 구성을 나타낸 블록도이다. 이때, 사용자 디바이스(100)는 본 발명의 실시예에 따른 설명을 위해 필요한 개략적인 구성만을 도시할 뿐 이러한 구성에 국한되는 것은 아니다.2 is a block diagram showing a schematic configuration of a non-face-to-face exercise lecture progressing device through voice recognition according to an embodiment of the present invention. At this time, the user device 100 only shows schematic configurations necessary for explanation according to the embodiment of the present invention, but is not limited to these configurations.
도 2를 참조하면, 본 발명의 한 실시예에 따른 사용자 디바이스(100)은 제어모듈(110), 설정모듈(120), 음성 트래킹 모듈(130), 단어 인식 모듈(140), 운동강의 진행 모듈(150), 송수신 모듈(160), 그리고 데이터베이스(170)를 포함한다. Referring to FIG. 2, the user device 100 according to an embodiment of the present invention includes a control module 110, a setting module 120, a voice tracking module 130, a word recognition module 140, and an exercise lecture progress module. 150, a transmission/reception module 160, and a database 170.
상기 제어모듈(110)은 비대면 운동 서비스에서 사용자의 음성을 트래킹하거나 강사의 음성을 실시간으로 트래킹하고, 실시간으로 트래킹되는 상기 사용자의 음성 또는 상기 강사의 음성에서 미리 설정된 단어가 인식된 경우, 해당 단어에 따라 설정된 기능을 수행할 수 있도록 상기 각부의 동작을 제어할 수 있다.The control module 110 tracks the user's voice or the instructor's voice in real time in the non-face-to-face exercise service, and when a preset word is recognized in the user's voice or the instructor's voice tracked in real time, the corresponding It is possible to control the operation of each part to perform a function set according to a word.
상기 설정모듈(120)은 미리 특정 단어를 설정하고, 설정된 단어에 따른 기능을 설정할 수 있다. 여기서, 상기 설정된 단어는 질문, 휴식시간, 운동 속도, 또는 운동 자세와 관련된 단어들 중 적어도 하나를 포함할 수 있다.The setting module 120 may set a specific word in advance and set a function according to the set word. Here, the set word may include at least one of words related to a question, rest time, exercise speed, or exercise posture.
또한, 상기 설정모듈(120)은 사용자 및 강사의 음성을 등록하되, 사용자 음성 또는 강사 음성의 주파수 대역, 성별, 음색, 및 음성 높이를 분석하여 등록할 수 있다.In addition, the setting module 120 registers the voices of the user and the instructor, and may analyze and register the frequency band, gender, timbre, and voice height of the user's voice or the instructor's voice.
상기 설정모듈(120)은 본 발명의 한 실시예에 따라 사용자 음성 등록부(122), 그리고 단어 설정부(124)를 포함한다.The setting module 120 includes a user voice registration unit 122 and a word setting unit 124 according to an embodiment of the present invention.
상기 사용자 음성 등록부(122)는 사용자 음성 또는 강사 음성의 주파수 대역, 성별, 음색, 및 음성 높이를 분석하여 등록할 수 있다. 따라서, 본 발명은 사용자의 음성을 트래킹할 때 주변에서 발생하는 음악 소리나 다른 사람들의 목소리와 같은 노이즈를 효과적으로 제거하여 음성인식률을 향상시킬 수 있다.The user voice registration unit 122 may analyze and register the frequency band, gender, timbre, and voice height of the user's voice or instructor's voice. Accordingly, the present invention can improve the voice recognition rate by effectively removing noise such as music sounds or other people's voices generated in the surroundings when tracking a user's voice.
상기 단어 설정부(124)는 미리 특정 단어를 설정하고, 설정된 단어에 따른 기능을 설정할 수 있다. 상기 설정된 단어는 질문, 휴식시간, 운동 속도, 또는 운동 자세와 관련된 단어들 중 적어도 하나를 포함할 수 있다.The word setting unit 124 may set a specific word in advance and set a function according to the set word. The set word may include at least one of words related to a question, rest time, exercise speed, or exercise posture.
상기 음성 트래킹 모듈(130)은 비대면 운동 서비스를 따라하는 사용자의 음성을 트래킹하거나 상기 비대면 운동 서비스를 진행하는 강사의 음성을 실시간으로 트래킹할 수 있다.The voice tracking module 130 may track the voice of a user following the non-face-to-face exercise service or the voice of an instructor performing the non-face-to-face exercise service in real time.
그리고, 상기 음성 트래킹 모듈(130)은 실시간으로 트래킹되는 음성을 등록된 음성의 주파수 대역, 성별, 음색, 또는 음성 높이와 비교하여 상기 등록된 음성과 상이한 노이즈를 제거할 수 있다.Also, the voice tracking module 130 compares the tracked voice in real time with the frequency band, gender, timbre, or voice height of the registered voice to remove noise different from the registered voice.
상기 단어 인식 모듈(140)은 상기 음성 트래킹 모듈(130)에서 실시간으로 트래킹되는 상기 사용자의 음성 또는 상기 강사의 음성에서 미리 설정된 단어가 인식되는지 여부를 판단할 수 있다.The word recognition module 140 may determine whether a preset word is recognized in the user's voice or the instructor's voice tracked in real time by the voice tracking module 130 .
상기 운동강의 진행 모듈(150)은 상기 단어 인식 모듈(140)에서 미리 설정된 단어가 인식된 경우, 해당 단어에 따라 설정된 기능을 수행할 수 있다. 그리고, 상기 운동강의 진행 모듈(150)은 상기 송수신 모듈(160)을 통해서 상기 설정된 기능의 수행 결과를 사용자 디바이스(20) 또는 강사 디바이스(30)에 제공할 수 있다.When a preset word is recognized in the word recognition module 140, the exercise lecture proceeding module 150 may perform a function set according to the corresponding word. In addition, the exercise lecture progress module 150 may provide the user device 20 or instructor device 30 with a result of performing the set function through the transmission/reception module 160 .
예를 들어, 상기 운동강의 진행 모듈(150)은 상기 사용자의 음성에서 상기 설정된 단어가 인식되고, 인식된 단어가 질문, 휴식시간, 운동 속도, 운동 자세 중 적어도 하나와 관련된 단어인 경우, 상기 사용자의 음성 내용을 실시간으로 텍스트로 변환하고, 변환된 텍스트를 강사 디바이스(30)의 채팅창에 실시간으로 디스플레이할 수 있다.For example, the exercise lecture progress module 150 recognizes the set word in the user's voice, and the recognized word is a word related to at least one of a question, break time, exercise speed, and exercise posture, the user It is possible to convert the voice contents into text in real time and display the converted text in the chat window of the instructor device 30 in real time.
또한, 상기 운동강의 진행 모듈(150)은 상기 사용자 또는 상기 강사의 음성에서 상기 설정된 단어가 인식되고, 인식된 단어가 운동 자세와 관련된 단어인 경우, 상기 운동 자세와 관련된 동작을 수행하는 영상을 데이터베이스에서 추출하고, 추출된 영상을 사용자 디바이스(20) 또는 강사 디바이스(30)에 디스플레이할 수 있다.In addition, when the set word is recognized in the voice of the user or the instructor and the recognized word is a word related to the exercise posture, the exercise lecture progress module 150 records an image of performing an operation related to the exercise posture in a database. It can be extracted from, and the extracted image can be displayed on the user device 20 or the instructor device 30.
상기 운동강의 진행 모듈(150)은 본 발명의 한 실시예에 따라 텍스트 변환부(152), 그리고 추출부(154)를 포함한다.The exercise lecture progress module 150 includes a text conversion unit 152 and an extraction unit 154 according to an embodiment of the present invention.
상기 텍스트 변환부(152)는 상기 사용자의 음성에서 상기 설정된 단어가 인식되고, 인식된 단어가 질문, 휴식시간, 운동 속도, 운동 자세 중 적어도 하나와 관련된 단어인 경우, 상기 사용자의 음성 내용을 STT(Speech-to-text) 방식을 이용하여 실시간으로 텍스트로 변환할 수 있다.The text conversion unit 152 recognizes the set word in the user's voice, and when the recognized word is a word related to at least one of a question, a break time, an exercise speed, and an exercise posture, the text conversion unit 152 converts the user's voice content into an STT. It can be converted into text in real time using the (Speech-to-text) method.
예를 들어, 상기 사용자가 '질문'이라는 단어를 말한 경우, 상기 텍스트 변환부(152)는 사용자가 말하는 다음 문장부터 녹음을 시작하고, 실시간으로 녹음되는 음성을 텍스트로 변환할 수 있다.For example, when the user says the word 'question', the text conversion unit 152 may start recording from the next sentence spoken by the user and convert the recorded voice into text in real time.
상기 추출부(154)는 상기 사용자로부터 인식된 단어가 질문과 관련된 단어인 경우, 상기 질문과 단어가 인식된 이후에 인식되는 상기 사용자의 질문 내용에서 적어도 하나의 핵심 키워드를 추출할 수 있다. When the word recognized by the user is a word related to a question, the extractor 154 may extract at least one key keyword from the content of the user's question recognized after the question and word are recognized.
그리고, 상기 추출부(154)는 추출된 핵심 키워드와 관련된 질문의 답변 예시를 데이터베이스에서 추출하며, 추출된 답변 예시를 사용자 디바이스(20) 또는 강사 디바이스(30)에 제공할 수 있다.In addition, the extractor 154 may extract examples of answers to questions related to the extracted core keywords from the database and provide the extracted examples of answers to the user device 20 or the instructor device 30 .
또한, 상기 추출부(154)는 상기 사용자 또는 상기 강사의 음성에서 상기 설정된 단어가 인식되고, 인식된 단어가 운동 자세와 관련된 단어인 경우, 상기 운동 자세와 관련된 동작을 수행하는 영상을 데이터베이스에서 추출하고, 추출된 영상을 사용자 디바이스(20) 또는 강사 디바이스(30)에 디스플레이할 수 있다. 이때, 본 발명은 비대면 운동강의 영상과 데이테베이스에서 추출된 운동 자세 영상을 동시에 디스플레이할 수 있다.In addition, when the set word is recognized in the voice of the user or the instructor and the recognized word is a word related to the exercise posture, the extractor 154 extracts an image of performing an operation related to the exercise posture from the database. And, the extracted image can be displayed on the user device 20 or the instructor device 30. At this time, the present invention can simultaneously display the video of the non-face-to-face exercise lecture and the exercise posture image extracted from the database.
상기 데이터베이스(170)는 사용자 및 강사의 음성을 저장하고, 미리 설정된 단어 및 각 단어의 기능을 저장할 수 있다. 그리고, 상기 데이터베이스(170)는 특정 키워드에 따른 답변 예시들을 저장하고, 특정 운동자세의 동작과 관련된 영상들을 저장할 수 있다.The database 170 may store voices of users and instructors, and may store preset words and functions of each word. In addition, the database 170 may store examples of answers according to specific keywords and images related to motions of specific exercise postures.
도 3는 본 발명의 한 실시예에 따라 음성인식을 통한 비대면 운동 강의 진행 시스템에서 사용자의 음성을 트래킹하고, 특정 단어가 인식된 경우 해당하는 기능을 수행하여 비대면 운동 강의를 진행하는 과정을 간략히 도시한 흐름도이다. 이때, 이하의 흐름도는 도 1 내지 도 2의 구성과 연계하여 동일한 도면부호를 사용하여 설명한다.3 shows the process of tracking a user's voice in a non-face-to-face exercise lecture progress system through voice recognition and performing a non-face-to-face exercise lecture when a specific word is recognized according to an embodiment of the present invention. This is a simplified flow chart. At this time, the following flowcharts will be described using the same reference numerals in association with the configurations of FIGS. 1 and 2 .
도 3을 참조하면, 본 발명의 한 실시예에 따른 음성인식을 통한 비대면 운동 강의 진행 시스템(10)은 사용자 및 강사의 음성에서 트래킹할 특정 단어들을 설정하고, 해당하는 단어와 관련된 기능을 설정할 수 있다(S102). 여기서, 상기 특정 단어들은 질문, 휴식시간, 운동 속도, 또는 운동 자세와 관련된 단어들 중 적어도 하나를 포함할 수 있다.Referring to FIG. 3, the non-face-to-face exercise lecture progress system 10 through voice recognition according to an embodiment of the present invention sets specific words to be tracked in the voices of users and instructors, and sets functions related to the words. It can (S102). Here, the specific words may include at least one of words related to a question, rest time, exercise speed, or exercise posture.
또한, 본 발명의 한 실시예에 따른 음성인식을 통한 비대면 운동 강의 진행 시스템(10)은 비대면 운동 서비스를 따라하는 사용자의 음성을 트래킹하거나 상기 비대면 운동 서비스를 진행하는 강사의 음성을 실시간으로 트래킹할 수 있다(S104).In addition, the non-face-to-face exercise lecture progress system 10 through voice recognition according to an embodiment of the present invention tracks the voice of a user who follows the non-face-to-face exercise service or tracks the voice of an instructor conducting the non-face-to-face exercise service in real time. It can be tracked as (S104).
그리고, 본 발명의 한 실시예에 따른 음성인식을 통한 비대면 운동 강의 진행 시스템(10)은 실시간으로 트래킹되는 상기 사용자의 음성 또는 상기 강사의 음성에서 미리 설정된 단어가 인식되는지 여부를 판단할 수 있다(S106).In addition, the non-face-to-face exercise lecture progress system 10 through voice recognition according to an embodiment of the present invention can determine whether a preset word is recognized in the user's voice or the instructor's voice tracked in real time. (S106).
그리고, 본 발명의 한 실시예에 따른 음성인식을 통한 비대면 운동 강의 진행 시스템(10)은 미리 설정된 단어가 인식된 경우, 해당 단어에 따라 설정된 기능을 추출하고, 해당하는 기능을 수행할 수 있다(S108 및 S110).In addition, when a preset word is recognized, the non-face-to-face exercise lecture progress system 10 through voice recognition according to an embodiment of the present invention extracts a function set according to the word and performs the corresponding function. (S108 and S110).
예를 들어, 본 발명의 한 실시예에 따른 음성인식을 통한 비대면 운동 강의 진행 시스템(10)은 상기 사용자 디바이스(20)를 통해서 트래킹되는 사용자의 음성에서 상기 설정된 단어가 인식되고, 인식된 단어가 질문, 휴식시간, 운동 속도, 운동 자세 중 적어도 하나와 관련된 단어인 경우, 상기 사용자의 음성 내용을 실시간으로 텍스트로 변환하고, 변환된 텍스트를 강사 디바이스(30)의 채팅창에 실시간으로 디스플레이할 수 있다.For example, in the non-face-to-face exercise lecture progress system 10 through voice recognition according to an embodiment of the present invention, the set word is recognized in the user's voice tracked through the user device 20, and the recognized word If is a word related to at least one of a question, break time, exercise speed, and exercise posture, the user's voice is converted into text in real time, and the converted text is displayed in the chat window of the instructor device 30 in real time. can
도 4는 본 발명의 한 실시예에 따라 비대면 운동 강의 진행 장치가 사용자의 음성을 트래킹하여 단어를 인식하고, 운동자세와 관련된 단어인 경우 해당하는 운동자세 영상을 추출하여 사용자에게 제공하는 과정을 간략히 도시한 흐름도이다. 이때, 이하의 흐름도는 도 1 내지 도 2의 구성과 연계하여 동일한 도면부호를 사용하여 설명한다.4 shows a process in which a non-face-to-face exercise lecture progressing device tracks a user's voice to recognize a word, extracts a corresponding exercise posture image when it is a word related to an exercise posture, and provides it to the user according to an embodiment of the present invention. This is a simplified flow chart. At this time, the following flowcharts will be described using the same reference numerals in association with the configurations of FIGS. 1 and 2 .
도 4를 참조하면, 본 발명의 한 실시예에 따른 음성인식을 통한 비대면 운동 강의 진행 시스템(10)은 비대면 운동 서비스를 따라하는 사용자의 음성을 트래킹하거나 상기 비대면 운동 서비스를 진행하는 강사의 음성을 실시간으로 트래킹할 수 있다(S202).Referring to FIG. 4, the non-face-to-face exercise lecture progress system 10 through voice recognition according to an embodiment of the present invention tracks the user's voice following the non-face-to-face exercise service or an instructor who conducts the non-face-to-face exercise service. The voice of can be tracked in real time (S202).
그리고, 본 발명의 한 실시예에 따른 음성인식을 통한 비대면 운동 강의 진행 시스템(10)은 시간으로 트래킹되는 상기 사용자의 음성 또는 상기 강사의 음성에서 미리 설정된 단어가 인식되는지 여부를 판단할 수 있다(S204).In addition, the non-face-to-face exercise lecture progress system 10 through voice recognition according to an embodiment of the present invention can determine whether a preset word is recognized in the user's voice or the instructor's voice tracked by time. (S204).
예를 들어, 본 발명의 한 실시예에 따른 음성인식을 통한 비대면 운동 강의 진행 시스템(10)은 상기 사용자 또는 상기 강사의 음성에서 상기 설정된 단어가 인식되고, 인식된 단어가 운동 자세와 관련된 단어인 경우, 상기 운동 자세와 관련된 동작을 수행하는 영상을 데이터베이스에서 추출할 수 있다(S206).For example, in the non-face-to-face exercise lecture progress system 10 through voice recognition according to an embodiment of the present invention, the set word is recognized in the voice of the user or the instructor, and the recognized word is a word related to exercise posture. In the case of , an image performing an operation related to the exercise posture may be extracted from the database (S206).
그리고, 본 발명의 한 실시예에 따른 음성인식을 통한 비대면 운동 강의 진행 시스템(10)은 추출된 영상을 사용자 디바이스(20) 또는 강사 디바이스(30)에 디스플레이할 수 있다(S208).In addition, the non-face-to-face exercise lecture progress system 10 through voice recognition according to an embodiment of the present invention may display the extracted image on the user device 20 or the instructor device 30 (S208).
도 5는 본 발명의 한 실시예에 따라 사용자로부터 질문과 관련된 특정 단어가 인식된 경우 사용자의 질문 내용을 텍스트로 변환하여 강사 디바이스의 채팅창에 제공하고, 사용자의 질문 내용에서 핵심 키워드를 추출한 후 핵심 키워드와 관련된 질문의 답변 예시를 데이터베이스에서 추출하여 사용자 디바이스에 제공하는 과정을 간략히 도시한 흐름도이다. 이때, 이하의 흐름도는 도 1 내지 도 2의 구성과 연계하여 동일한 도면부호를 사용하여 설명한다.5 is a diagram illustrating a user's question content converted into text and provided to a chat window of an instructor device when a specific word related to a question is recognized from a user according to an embodiment of the present invention, and key keywords are extracted from the user's question content. A flowchart briefly illustrating a process of extracting examples of answers to questions related to core keywords from a database and providing them to a user device. At this time, the following flowcharts will be described using the same reference numerals in association with the configurations of FIGS. 1 and 2 .
도 5를 참조하면, 본 발명의 한 실시예에 따른 음성인식을 통한 비대면 운동 강의 진행 시스템(10)은 사용자 및 강사의 음성을 등록하되, 사용자 음성 또는 강사 음성의 주파수 대역, 성별, 음색, 및 음성 높이를 분석하여 사용자 및 강사의 고유 목소리를 등록할 수 있다(S302).5, the non-face-to-face exercise lecture progress system 10 through voice recognition according to an embodiment of the present invention registers the voices of the user and the instructor, but the frequency band, gender, tone, And it is possible to register the unique voice of the user and instructor by analyzing the voice height (S302).
그리고, 본 발명의 한 실시예에 따른 음성인식을 통한 비대면 운동 강의 진행 시스템(10)은 실시간으로 트래킹되는 음성을 등록된 음성의 주파수 대역, 성별, 음색, 또는 음성 높이와 비교하여 상기 등록된 음성과 상이한 노이즈를 제거할 수 있다(S304).In addition, the non-face-to-face exercise lecture progress system 10 through voice recognition according to an embodiment of the present invention compares the voice tracked in real time with the frequency band, gender, tone, or voice height of the registered voice, Noise different from voice can be removed (S304).
또한, 본 발명의 한 실시예에 따른 음성인식을 통한 비대면 운동 강의 진행 시스템(10)은 실시간으로 트래킹되는 상기 사용자의 음성 또는 상기 강사의 음성에서 미리 설정된 단어가 인식되는지 여부를 판단할 수 있다(S306).In addition, the non-face-to-face exercise lecture progress system 10 through voice recognition according to an embodiment of the present invention can determine whether a preset word is recognized in the user's voice or the instructor's voice tracked in real time. (S306).
예를 들어, 본 발명의 한 실시예에 따른 음성인식을 통한 비대면 운동 강의 진행 시스템(10)은 상기 사용자로부터 '질문'이라는 단어가 인식된 경우, 이후에 사용자로부터 인식되는 상기 사용자의 음성 내용을 실시간으로 텍스트로 변환하고, 변환된 텍스트를 강사 디바이스(30)의 채팅창에 실시간으로 디스플레이할 수 있다(S308 내지 S312).For example, when the non-face-to-face exercise lecture progress system 10 through voice recognition according to an embodiment of the present invention recognizes the word 'question' from the user, the user's voice content recognized later by the user may be converted into text in real time, and the converted text may be displayed in real time in the chat window of the instructor device 30 (S308 to S312).
그리고, 본 발명의 한 실시예에 따른 음성인식을 통한 비대면 운동 강의 진행 시스템(10)은 상기 사용자로부터 인식된 단어가 질문과 관련된 단어인 경우, 상기 질문과 단어가 인식된 이후에 인식되는 상기 사용자의 질문 내용에서 적어도 하나의 핵심 키워드를 추출할 수 있다(S314).In addition, the non-face-to-face exercise lecture progress system 10 through voice recognition according to an embodiment of the present invention, when the word recognized by the user is a word related to a question, the question and word recognized after being recognized At least one core keyword may be extracted from the user's question content (S314).
또한, 본 발명의 한 실시예에 따른 음성인식을 통한 비대면 운동 강의 진행 시스템(10)은 추출된 핵심 키워드와 관련된 질문의 답변 예시들을 데이터베이스에서 추출할 수 있다(S316).In addition, the non-face-to-face exercise lecture progress system 10 through voice recognition according to an embodiment of the present invention may extract examples of answers to questions related to the extracted core keywords from the database (S316).
그리고, 본 발명의 한 실시예에 따른 음성인식을 통한 비대면 운동 강의 진행 시스템(10)은 추출된 답변 예시들을 사용자 디바이스(20) 또는 강사 디바이스(30)의 채팅창에 제공할 수 있다(S318).In addition, the non-face-to-face exercise lecture progress system 10 through voice recognition according to an embodiment of the present invention may provide extracted examples of answers to the chat window of the user device 20 or instructor device 30 (S318). ).
이와 같이, 본 발명의 한 실시예에 따른 음성인식을 통한 비대면 운동 강의 진행 방법은 비대면 운동 서비스를 따라하는 사용자의 음성을 트래킹하거나 상기 비대면 운동 서비스를 진행하는 강사의 음성을 실시간으로 트래킹하고, 실시간으로 트래킹되는 사용자의 음성 또는 강사의 음성에서 미리 설정된 단어가 인식된 경우 해당 단어에 따라 설정된 기능을 수행함으로써, 비대면 실시간 운동 강의에서 강사와 수강생 간의 더욱 편리하게 소통할 수 있는 환경을 제공한다.As such, the method for conducting a non-face-to-face exercise lecture through voice recognition according to an embodiment of the present invention tracks the voice of a user following a non-face-to-face exercise service or tracks the voice of an instructor conducting the non-face-to-face exercise service in real time. And, if a preset word is recognized in the user's voice or the instructor's voice tracked in real time, the function set according to the word is performed, thereby creating an environment for more convenient communication between the instructor and the students in non-face-to-face real-time exercise lectures. to provide.
또한, 본 발명은 사용자의 음성에서 상기 설정된 단어가 인식되고, 인식된 단어가 질문, 휴식시간, 운동 속도, 운동 자세 중 적어도 하나와 관련된 단어인 경우, 상기 사용자의 음성 내용을 실시간으로 텍스트로 변환하고, 변환된 텍스트를 강사 디바이스의 채팅창에 실시간으로 디스플레이함으로써, 디바이스를 일일이 사용하며 손으로 채팅을 치는 불편함을 방지하고, 음성으로 빠르게 질문을 전달할 수 있기때문에 강사가 하고 있는 운동을 놓치지 않고 잘 따라할 수 있으며, 사용자의 음성 노출을 방지할 수 있는 환경을 제공한다.In addition, in the present invention, when the set word is recognized in the user's voice and the recognized word is a word related to at least one of a question, rest time, exercise speed, and exercise posture, the user's voice is converted into text in real time. And, by displaying the converted text in real time in the chat window of the instructor's device, you can prevent the inconvenience of using the device one by one and chatting with your hands, and you can quickly deliver questions by voice, so you don't miss the exercise the instructor is doing. It can be followed well and provides an environment that can prevent user's voice exposure.
또한, 본 발명은 상기 사용자로부터 인식된 단어가 질문과 관련된 단어인 경우 상기 사용자의 질문 내용에서 적어도 하나의 핵심 키워드를 추출하고, 추출된 핵심 키워드와 관련된 질문의 답변 예시를 데이터베이스에서 추출 사용자 디바이스 또는 강사 디바이스에 제공함으로써, 수강생과 강사 간의 빠른 질문과 빠른 피드백이 가능하고, 수강생과 강사간에 편리한 양방향 소통이 가능할 수 있는 환경을 제공한다.In addition, the present invention extracts at least one core keyword from the user's question content when the word recognized by the user is a word related to a question, and extracts an example of an answer to the question related to the extracted core keyword from a database. By providing it to the instructor device, quick questions and quick feedback between students and instructors are possible, and an environment in which convenient two-way communication between students and instructors is possible is provided.
또한, 본 발명은 사용자 또는 강사의 음성에서 인식된 단어가 운동 자세와 관련된 단어인 경우, 상기 운동 자세와 관련된 동작을 수행하는 영상을 데이터베이스에서 추출하고, 추출된 영상을 사용자 디바이스 또는 강사 디바이스에 디스플레이함으로써, 운동 동작을 용이하게 공유하여 사용자 만족도를 향상시킬 수 환경을 제공한다.In addition, in the present invention, when a word recognized in the voice of a user or an instructor is a word related to an exercise posture, an image performing an operation related to the exercise posture is extracted from a database, and the extracted image is displayed on a user device or an instructor device. By doing so, an environment in which user satisfaction can be improved by easily sharing exercise motions is provided.
또한, 본 발명은 사용자 및 강사의 음성을 등록하되, 사용자 음성 또는 강사 음성의 주파수 대역, 성별, 음색, 및 음성 높이를 분석하여 등록하고, 실시간으로 트래킹되는 음성을 등록된 음성의 주파수 대역, 성별, 음색, 또는 음성 높이와 비교하여 상기 등록된 음성과 상이한 노이즈를 제거함으로써, 음성인식률을 향상시킬 수 있는 환경을 제공한다.In addition, the present invention registers the voices of the user and the instructor, analyzes and registers the frequency band, gender, timbre, and voice height of the user's voice or the instructor's voice, and registers the voice tracked in real time to the frequency band and gender of the registered voice. , timbre, or voice height to remove noise different from the registered voice, thereby providing an environment capable of improving the voice recognition rate.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다. 이러한 기록 매체는 서버뿐만 아니라 사용자 디바이스에서도 실행될 수 있다.The embodiments of the present invention described above are not implemented only through devices and methods, and may be implemented through programs that realize functions corresponding to the configuration of the embodiments of the present invention or a recording medium on which the programs are recorded. Such a recording medium may be executed in a user device as well as a server.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다. Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements made by those skilled in the art using the basic concept of the present invention defined in the following claims are also included in the scope of the present invention. that fall within the scope of the right.
Claims (8)
실시간으로 트래킹되는 상기 사용자의 음성 또는 상기 강사의 음성에서 미리 설정된 단어가 인식되는지 여부를 판단하는 단계,
미리 설정된 단어가 인식된 경우, 해당 단어에 따라 설정된 기능을 수행하는 단계, 그리고
상기 설정된 기능의 수행 결과를 사용자 디바이스 또는 강사 디바이스에 제공하는 단계
를 포함하는 음성인식을 통한 비대면 운동 강의 진행 방법.Tracking the voice of a user following a non-face-to-face exercise service or tracking the voice of an instructor performing the non-face-to-face exercise service in real time;
Determining whether a preset word is recognized in the user's voice or the instructor's voice tracked in real time;
If a preset word is recognized, performing a set function according to the word; and
Providing a result of performing the set function to a user device or instructor device
Non-face-to-face exercise lecture method through voice recognition that includes.
상기 설정된 단어는,
질문, 휴식시간, 운동 속도, 또는 운동 자세와 관련된 단어들 중 적어도 하나를 포함하는 것을 특징으로 하는 음성인식을 통한 비대면 운동 강의 진행 방법.In paragraph 1,
The set words are
A non-face-to-face exercise lecture method through voice recognition, characterized in that it includes at least one of words related to questions, break time, exercise speed, or exercise posture.
상기 사용자의 음성에서 상기 설정된 단어가 인식되고, 인식된 단어가 질문, 휴식시간, 운동 속도, 운동 자세 중 적어도 하나와 관련된 단어인 경우, 상기 사용자의 음성 내용을 실시간으로 텍스트로 변환하고, 변환된 텍스트를 강사 디바이스의 채팅창에 실시간으로 디스플레이하는 단계
를 더 포함하는 음성인식을 통한 비대면 운동 강의 진행 방법.In paragraph 1,
When the set word is recognized in the user's voice, and the recognized word is a word related to at least one of a question, break time, exercise speed, and exercise posture, the user's voice is converted into text in real time, and the converted The step of displaying the text in real time in the chat window of the instructor's device
How to proceed with a non-face-to-face exercise lecture through voice recognition further comprising.
상기 사용자로부터 인식된 단어가 질문과 관련된 단어인 경우, 상기 질문과 단어가 인식된 이후에 인식되는 상기 사용자의 질문 내용에서 적어도 하나의 핵심 키워드를 추출하는 단계, 그리고
추출된 핵심 키워드와 관련된 질문의 답변 예시를 데이터베이스에서 추출하며, 추출된 답변 예시를 사용자 디바이스 또는 강사 디바이스에 제공하는 단계
를 더 포함하는 음성인식을 통한 비대면 운동 강의 진행 방법.In paragraph 1,
If the word recognized by the user is a word related to a question, extracting at least one key keyword from the user's question content recognized after the question and word are recognized; and
Extracting examples of answers to questions related to the extracted key keywords from the database, and providing the extracted examples of answers to a user device or instructor device
How to proceed with a non-face-to-face exercise lecture through voice recognition further comprising.
상기 사용자 또는 상기 강사의 음성에서 상기 설정된 단어가 인식되고, 인식된 단어가 운동 자세와 관련된 단어인 경우, 상기 운동 자세와 관련된 동작을 수행하는 영상을 데이터베이스에서 추출하고, 추출된 영상을 사용자 디바이스 또는 강사 디바이스에 디스플레이하는 단계
를 더 포함하는 음성인식을 통한 비대면 운동 강의 진행 방법.In paragraph 1,
When the set word is recognized in the voice of the user or the instructor, and the recognized word is a word related to exercise posture, an image performing an operation related to the exercise posture is extracted from the database, and the extracted image is displayed on the user device or Steps to display on instructor device
How to proceed with a non-face-to-face exercise lecture through voice recognition further comprising.
상기 음성을 실시간으로 트래킹하는 단계 이전에는,
사용자 및 강사의 음성을 등록하되, 사용자 음성 또는 강사 음성의 주파수 대역, 성별, 음색, 및 음성 높이를 분석하여 등록하는 단계
를 포함하는 음성인식을 통한 비대면 운동 강의 진행 방법.In paragraph 1,
Prior to the step of tracking the voice in real time,
Registering the user's and instructor's voices, analyzing and registering the frequency band, gender, timbre, and voice height of the user's or instructor's voice
Non-face-to-face exercise lecture method through voice recognition that includes.
상기 음성을 실시간으로 트래킹하는 단계는,
실시간으로 트래킹되는 음성을 등록된 음성의 주파수 대역, 성별, 음색, 또는 음성 높이와 비교하여 상기 등록된 음성과 상이한 노이즈를 제거하는 것을 특징으로 하는 음성인식을 통한 비대면 운동 강의 진행 방법.In paragraph 6,
The step of tracking the voice in real time,
A non-face-to-face exercise lecture method through voice recognition, characterized in that the voice tracked in real time is compared with the frequency band, gender, timbre, or voice height of the registered voice to remove noise different from the registered voice.
실시간으로 트래킹되는 상기 사용자의 음성 또는 상기 강사의 음성에서 미리 설정된 단어가 인식되는지 여부를 판단하는 단어 인식 모듈, 그리고
미리 설정된 단어가 인식된 경우, 해당 단어에 따라 설정된 기능을 수행하고, 상기 설정된 기능의 수행 결과를 사용자 디바이스 또는 강사 디바이스에 제공하도록 제어하는 제어 모듈
을 포함하는 음성인식을 통한 비대면 운동 강의 진행 장치.A voice tracking module that tracks the voice of the user following the non-face-to-face exercise service or the voice of the instructor conducting the non-face-to-face exercise service in real time;
A word recognition module for determining whether a preset word is recognized in the user's voice or the instructor's voice tracked in real time; and
When a preset word is recognized, a control module that controls to perform a set function according to the word and provide a result of the set function to a user device or instructor device.
Non-face-to-face exercise lecture progress device through voice recognition that includes.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220021289A KR20230124237A (en) | 2022-02-18 | 2022-02-18 | Method for progressing non face to face exercise lecture using speech recogntion |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220021289A KR20230124237A (en) | 2022-02-18 | 2022-02-18 | Method for progressing non face to face exercise lecture using speech recogntion |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20230124237A true KR20230124237A (en) | 2023-08-25 |
Family
ID=87847308
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220021289A KR20230124237A (en) | 2022-02-18 | 2022-02-18 | Method for progressing non face to face exercise lecture using speech recogntion |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20230124237A (en) |
-
2022
- 2022-02-18 KR KR1020220021289A patent/KR20230124237A/en not_active Application Discontinuation
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106485964B (en) | A kind of recording of classroom instruction and the method and system of program request | |
US9812028B1 (en) | Automated generation and presentation of lessons via digital media content extraction | |
Morett | When hands speak louder than words: The role of gesture in the communication, encoding, and recall of words in a novel second language | |
KR100466709B1 (en) | learning system | |
US20180061256A1 (en) | Automated digital media content extraction for digital lesson generation | |
Schneider et al. | Can you help me with my pitch? Studying a tool for real-time automated feedback | |
KR102114703B1 (en) | Broadcasting management server and broadcasting management method using the same | |
US20220150287A1 (en) | System and method for an interactive digitally rendered avatar of a subject person | |
Che et al. | Automatic online lecture highlighting based on multimedia analysis | |
KR20070006742A (en) | Language teaching method | |
KR102101817B1 (en) | Language study supporting apparatus using video publicated on the internet | |
CN110689770A (en) | Online classroom voice transcription and translation system and working method thereof | |
CN117294867A (en) | Online teaching method, system and equipment based on cloud platform | |
CN110808075B (en) | Intelligent recording and broadcasting method | |
KR20220039861A (en) | Physical education development and education management system for the disabled and its method | |
KR20230124237A (en) | Method for progressing non face to face exercise lecture using speech recogntion | |
CN116416839A (en) | Training auxiliary teaching method based on Internet of things training system | |
KR100756671B1 (en) | English studying system which uses an accomplishment multimedia | |
US10593366B2 (en) | Substitution method and device for replacing a part of a video sequence | |
KR101011773B1 (en) | An education management system by ability using education-content development and classification and a method thereof | |
KR102173821B1 (en) | Speech trainning system | |
JP2004266551A (en) | Stream data generating apparatus, stream data generating system, stream data generating method and program | |
Noor et al. | Does the “Words of Affirmation” English Podcast Have Any Positive Influence on Students' Listening Skills? | |
KR101957044B1 (en) | Class assist method for simultaneous interpretation class learners and computer readable medium for performing the method | |
Rayner et al. | Evaluating Appropriateness Of System Responses In A Spoken CALL Game. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal |