KR20220099509A - Customized exercise lecture ar service system capable of realtime communication and its method - Google Patents

Customized exercise lecture ar service system capable of realtime communication and its method Download PDF

Info

Publication number
KR20220099509A
KR20220099509A KR1020220050734A KR20220050734A KR20220099509A KR 20220099509 A KR20220099509 A KR 20220099509A KR 1020220050734 A KR1020220050734 A KR 1020220050734A KR 20220050734 A KR20220050734 A KR 20220050734A KR 20220099509 A KR20220099509 A KR 20220099509A
Authority
KR
South Korea
Prior art keywords
exercise
instructor
image
communication terminal
student
Prior art date
Application number
KR1020220050734A
Other languages
Korean (ko)
Inventor
박세영
Original Assignee
박세영
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박세영 filed Critical 박세영
Priority to KR1020220050734A priority Critical patent/KR20220099509A/en
Publication of KR20220099509A publication Critical patent/KR20220099509A/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0075—Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0009—Computerised real time comparison with previous movements or motion sequences of the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Tourism & Hospitality (AREA)
  • Primary Health Care (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Child & Adolescent Psychology (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Databases & Information Systems (AREA)
  • Operations Research (AREA)

Abstract

Disclosed are a customized exercise lecture AR service system enabling real-time communication, and a method thereof. The customized exercise lecture AR service system enabling real-time communication comprises: a student side communication terminal transmitting a student side video when an exercise lecture is started in a state in which an exercise lecture service for a selected exercise course is set, and receiving and displaying an AR image in which the student side video, an instructor side audio, and an instructor side video are synthesized; an exercise lecture service server providing exercise lecture information to select the exercise lecture when the student side communication terminal is connected, providing communication terminal setting information when the exercise lecture is selected, transmitting a class start call of an instructor to the student side communication terminal, then, when the student side video, the instructor side audio, and the instructor side video are transmitted, synthesizing the same to generate the AR image, and transmitting the AR image for display; an instructor side communication terminal receiving and storing exercise course selection information from the exercise lecture service server, transmitting the class start call of the instructor to the exercise lecture service server when the exercise lecture is requested through the exercise lecture service server, then transmitting the instructor side video and instructor side audio to the exercise lecture service server, and receiving and displaying the AR image; and a communication network responsible for communication between the student side communication terminal, the exercise lecture service server, and the instructor side communication terminal. Accordingly, it is possible to provide a customized exercise lecture AR service while communicating in real time.

Description

실시간 소통이 가능한 맞춤형 운동 강의 AR 서비스 시스템 및 그 방법{CUSTOMIZED EXERCISE LECTURE AR SERVICE SYSTEM CAPABLE OF REALTIME COMMUNICATION AND ITS METHOD}AR service system and method for customized exercise lecture capable of real-time communication

본 발명(Disclosure)은, 실시간 소통이 가능한 맞춤형 운동 강의 AR 서비스 시스템 및 그 방법에 관한 것으로, 구체적으로, 필라테스, 요가 및 헬스 중에서 선택된 어느 하나의 운동 강의를 수행함에 있어 수강자측 영상과 강사측 음성 및 강사측 영상을 합성하여 AR 이미지로 생성하고, 이러한 AR 이미지를 수강자측 통신단말기 및 강사측 통신단말기로 전송함으로써, 실시간으로 소통하면서 맞춤형 운동 강의 AR 서비스를 제공할 수 있는 실시간 소통이 가능한 맞춤형 운동 강의 AR 서비스 시스템 및 그 방법에 관한 것이다.The present invention (Disclosure) relates to a customized exercise lecture AR service system capable of real-time communication and a method thereof. Specifically, in performing any one exercise lecture selected from Pilates, yoga, and health, an image of a participant and a voice of an instructor And by synthesizing the instructor’s video to create an AR image, and transmitting this AR image to the student’s communication terminal and the instructor’s communication terminal, a customized exercise capable of real-time communication that can provide customized exercise lecture AR service while communicating in real time It relates to a lecture AR service system and a method therefor.

여기서는, 본 발명에 관한 배경기술이 제공되며, 이들이 반드시 공지기술을 의미하는 것은 아니다(This section provides background information related to the present disclosure which is not necessarily prior art).Herein, background information related to the present invention is provided, which does not necessarily imply prior art (This section provides background information related to the present disclosure which is not necessarily prior art).

최근 건강에 대한 관심이 높아지면서 헬스, 요가, 필라테스 등 다양한 건강을 위한 운동이 널리 퍼지고 있으며, 이러한 운동 강좌가 마련된 별도의 장소(예를 들면, 헬스장, 스포츠 센터, 피트니스 센터, 요가학원, 필라테스학원 등)에서 운동을 배우면서 하고 있다.Recently, as interest in health has increased, various health exercises such as fitness, yoga, and Pilates are spreading widely, and separate places where these exercise courses are provided (eg, gym, sports center, fitness center, yoga school, Pilates school) etc.) while learning exercise.

이러한 운동을 배움에 있어서, 자신의 건강관리를 위해 시간과 비용을 감당할 사람들이 일부 있는 반면에, 대부분의 사람들은 별도의 시간을 내어 건강관리를 도와주는 곳을 직접 찾아가 운동을 하는 것이 현실적으로 쉽지 않다.In learning these exercises, while there are some people who will be able to afford the time and money for their own health care, it is not practically easy for most people to spend extra time and go to a place that helps them manage their health. .

즉, 이러한 운동은 대부분 해당 운동을 가르치는 학원 또는 센터에 등록을 한 후, 전문 강사에게 동작을 지도 받으면서 수행하기 때문에, 평상시 시간에 쫓기는 대다수의 사람들은 수강하기가 어려울 뿐만 아니라, 전문 강사에게 개인 트레이닝을 받기 위해서는 과도한 비용이 소요되는 문제가 있다.In other words, since most of these exercises are performed under the guidance of a professional instructor after registering at an academy or center that teaches the exercise, it is difficult for most people who are chasing their usual time to take classes, as well as personal training from a professional instructor. There is a problem that it takes an excessive cost to receive it.

이에 따라, 최근에는 개인이 사무실이나 집에서 운동을 할 수 있도록 도와주는 방송이나 프로그램이 개발되어 보급되고 있는데, 이러한 방송을 시청하는 수강생들은 전문가인 강사가 제공하는 라이브방송을 시청하면서 운동을 따라할 수 있리고, 강사가 운동미션을 설정해서 수강생들에게 제공하는 경우, 수강생들이 운동미션을 따라하도록 유도할 수 있다.Accordingly, recently, broadcasting or programs that help individuals to exercise at the office or at home have been developed and distributed. Also, if the instructor sets an exercise mission and provides it to the students, it can induce the students to follow the exercise mission.

상술한 바와 같이 제공되는 운동방송을 이용하여 사용자별로 다양한 운동 강의를 제공할 수 있는 기술이 개발되고 있는 실정이다.As described above, a technology capable of providing various exercise lectures for each user using the provided exercise broadcasting is being developed.

1. 한국등록특허공보 제10-0705890호(2007.04.03.등록)1. Korea Patent Publication No. 10-0705890 (registered on 04.03.2007)

본 발명(Disclosure)은, 필라테스, 요가 및 헬스 중에서 선택된 어느 하나의 운동 강의를 수행함에 있어 수강자측 영상과 강사측 음성 및 강사측 영상을 합성하여 AR 이미지로 생성하고, 이러한 AR 이미지를 수강자측 통신단말기 및 강사측 통신단말기로 전송함으로써, 실시간으로 소통하면서 맞춤형 운동 강의 AR 서비스를 제공할 수 있는 실시간 소통이 가능한 맞춤형 운동 강의 AR 서비스 시스템 및 그 방법의 제공을 일 목적으로 한다.The present invention (Disclosure) generates an AR image by synthesizing a participant's image, an instructor's voice, and an instructor's image in performing any one exercise lecture selected from Pilates, yoga, and health, and communicates this AR image to the participant. An object of the present invention is to provide a customized exercise lecture AR service system and method for real-time communication that can provide customized exercise lecture AR service while communicating in real time by transmitting to the terminal and the instructor's communication terminal.

또한, 본 발명(Disclosure)은, 운동 강의를 수행하는 중에 디스플레이되는 AR 이미지를 통해 수강자의 자세교정이 필요한 경우 수강자측 영상과 실시간 자세교정음성 및 실시간 자세교정영상을 합성하여 자세교정 AR 이미지로 생성하고, 이러한 자세교정 AR 이미지를 수강자측 통신단말기 및 강사측 통신단말기로 전송함으로써, 실시간으로 소통하면서 운동 자세교정을 위한 맞춤형 운동 강의 AR 서비스를 제공할 수 있는 실시간 소통이 가능한 맞춤형 운동 강의 AR 서비스 시스템 및 그 방법의 제공을 일 목적으로 한다.In addition, the present invention (Disclosure) generates a posture correction AR image by synthesizing the student's side image, real-time posture correction voice, and real-time posture correction image when the subject's posture correction is required through the AR image displayed during exercise lecture. A customized exercise lecture AR service system capable of real-time communication that can provide customized exercise lecture AR service for exercise posture correction while communicating in real time by transmitting this posture correction AR image to the communication terminal on the student's side and the communication terminal on the instructor's side and to provide a method therefor.

여기서는, 본 발명의 전체적인 요약(Summary)이 제공되며, 이것이 본 발명의 외연을 제한하는 것으로 이해되어서는 아니 된다(This section provides a general summary of the disclosure and is not a comprehensive disclosure of its full scope or all of its features).Herein, a general summary of the present invention is provided, which should not be construed as limiting the scope of the present invention (This section provides a general summary of the disclosure and is not a comprehensive disclosure of its full scope or all of its features).

상기한 과제의 해결을 위해, 본 발명을 기술하는 여러 관점들 중 어느 일 관점(aspect)에 따른 실시간 소통이 가능한 맞춤형 운동 강의 AR 서비스 시스템은, 선택된 운동 강좌에 대한 운동 강의 서비스가 세팅된 상태에서 운동 강의를 시작할 경우 수강자측 영상을 전송하고, 상기 수강자측 영상과 강사측 음성 및 강사측 영상이 합성된 AR 이미지를 수신하여 디스플레이하는 수강자측 통신단말기; 상기 수강자측 통신단말기가 접속될 경우 상기 운동 강좌를 선택하도록 운동 강좌 정보를 제공하고, 상기 운동 강좌가 선택될 경우 통신단말기 세팅 정보를 제공하며, 강사의 수업 시작 콜을 상기 수강자측 통신단말기로 전송한 후에, 상기 수강자측 영상과 상기 강사측 음성 및 강사측 영상이 전송될 경우 합성하여 상기 AR 이미지를 생성하고, 상기 AR 이미지를 디스플레이하도록 전송하는 운동 강의 서비스서버; 상기 운동 강의 서비스서버로부터 운동 강좌 선택 정보를 수신하여 저장하고, 상기 운동 강의 서비스서버를 통해 상기 운동 강의가 요청될 경우 강사의 수업 시작 콜을 운동 강의 서비스 서버로 전송한 후에, 상기 강사측 영상 및 강사측 음성을 운동 강의 서비스 서버로 전송하며, 상기 AR 이미지를 수신하여 디스플레이하는 강사측 통신단말기; 및 상기 수강자측 통신단말기, 운동 강의 서비스서버 및 강사측 통신단말기의 각 상호간 통신을 담당하는 통신망;을 포함한다.In order to solve the above problems, the customized exercise lecture AR service system capable of real-time communication according to any one aspect of various aspects describing the present invention is provided in a state where the exercise lecture service for the selected exercise course is set. a communication terminal at the student's side for transmitting an image of the student's side when starting an exercise lecture, and receiving and displaying an AR image in which the student's video, the instructor's voice, and the instructor's video are synthesized; When the student's communication terminal is connected, exercise course information is provided to select the exercise course, and when the exercise course is selected, communication terminal setting information is provided, and the instructor's class start call is transmitted to the student's side communication terminal. After that, when the lecturer's image, the instructor's voice, and the instructor's image are transmitted, the AR image is synthesized to generate the AR image, and the exercise lecture service server is transmitted to display the AR image; After receiving and storing exercise course selection information from the exercise lecture service server, and when the exercise lecture is requested through the exercise lecture service server, the instructor's class start call is transmitted to the exercise lecture service server, the instructor's video and an instructor-side communication terminal that transmits the instructor's voice to the exercise lecture service server and receives and displays the AR image; and a communication network in charge of mutual communication of the student-side communication terminal, the exercise lecture service server, and the instructor-side communication terminal.

발명의 일 관점(aspect)에 따른 실시간 소통이 가능한 맞춤형 운동 강의 AR 서비스 시스템에서, 상기 강사측 통신단말기는, 디스플레이된 상기 AR 이미지를 통해 수강자의 자세 교정이 필요한 경우 강사의 실시간 자세교정음성과 실시간 자세교정영상을 상기 운동 강의 서비스서버에 전송하고, 상기 운동 강의 서비스서버는, 상기 수강자측 영상과 상기 실시간 자세교정음성 및 실시간 자세교정영상을 합성하여 자세교정 AR 이미지로 생성한 후에, 상기 수강자측 통신단말기에서 디스플레이하도록 전송할 수 있다.In the customized exercise lecture AR service system capable of real-time communication according to an aspect of the invention, the instructor-side communication terminal performs the instructor's real-time posture correction voice and real-time performance when the student's posture correction is required through the displayed AR image. After transmitting the posture correction image to the exercise lecture service server, the exercise lecture service server synthesizes the student's side image, the real-time posture correction voice, and the real-time posture correction image as a posture correction AR image, and then the student's side It can be transmitted to be displayed on the communication terminal.

발명의 일 관점(aspect)에 따른 실시간 소통이 가능한 맞춤형 운동 강의 AR 서비스 시스템에서, 상기 운동 강의 서비스 서버는, 영상회의 어플리케이션을 통해 상기 AR 이미지 및 자세교정 AR 이미지 중 어느 하나를 상기 수강자측 통신단말기 및 강사측 통신단말기에서 디스플레이되도록 각각 전송할 수 있다.In the customized exercise lecture AR service system capable of real-time communication according to an aspect of the invention, the exercise lecture service server transmits any one of the AR image and the posture correction AR image to the student's communication terminal through a video conferencing application. And it can be transmitted to be displayed on the instructor-side communication terminal, respectively.

발명의 일 관점(aspect)에 따른 실시간 소통이 가능한 맞춤형 운동 강의 AR 서비스 시스템에서, 상기 운동 강의 서비스 서버는, 버추얼캠 방식으로 방송 어플리케이션을 통해 상기 AR 이미지 및 자세교정 AR 이미지 중 어느 하나를 상기 수강자측 통신단말기와 미러링된 수강자측 미러링단말기에서 디스플레이되도록 전송할 수 있다.In the customized exercise lecture AR service system capable of real-time communication according to an aspect of the invention, the exercise lecture service server transmits any one of the AR image and the posture correction AR image to the student through a broadcast application in a virtual cam method. It can be transmitted so that it is displayed on the mirroring terminal of the participant's side mirrored with the side communication terminal.

발명의 일 관점(aspect)에 따른 실시간 소통이 가능한 맞춤형 운동 강의 AR 서비스 시스템에서, 상기 수강자측 통신단말기는, QR 코드의 스캔 또는 인터넷주소를 통해 상기 운동 강의 서비스 서버에 접속할 수 있다.In the customized exercise lecture AR service system capable of real-time communication according to an aspect of the invention, the communication terminal on the student's side may access the exercise lecture service server through a scan of a QR code or an Internet address.

발명의 일 관점(aspect)에 따른 실시간 소통이 가능한 맞춤형 운동 강의 AR 서비스 시스템에서, 상기 맞춤형 운동 강의 서비스 시스템은, 필라테스, 요가 및 헬스 중에서 선택된 어느 하나의 운동 강의를 서비스할 수 있다.In the customized exercise lecture AR service system capable of real-time communication according to an aspect of the invention, the customized exercise lecture service system may service any one exercise lecture selected from Pilates, yoga, and health.

본 발명을 기술하는 여러 관점들 중 다른 일 관점(aspect)에 따른 실시간 소통이 가능한 맞춤형 운동 강의 AR 서비스 방법은, 수강자측 통신단말기에서 운동 강의 서비스서버에 접속하여 운동 강좌를 선택하는 단계; 상기 수강자측 통신단말기에서 운동 강의 서비스가 세팅된 상태에서, 강사의 수업 시작 콜에 따라 운동 강의를 시작할 경우 상기 운동 강의 서비스서버에서 상기 수강자측 통신단말기를 통해 전송되는 수강자측 영상과 강사측 통신단말기를 통해 전송되는 강사측 음성과 강사측 영상을 합성하여 AR 이미지를 생성하는 단계; 상기 생성된 AR 이미지를 상기 수강자측 통신단말기 및 강사측 통신단말기로 각각 전송하는 단계; 상기 전송된 AR 이미지를 상기 수강자측 통신단말기 및 강사측 통신단말기에서 각각 디스플레이하는 단계;를 포함한다.A customized exercise lecture AR service method capable of real-time communication according to another aspect of the various aspects describing the present invention includes the steps of selecting an exercise course by accessing the exercise lecture service server from a communication terminal on the student's side; In the state where the exercise lecture service is set in the student's communication terminal, when an exercise lecture is started according to the instructor's class start call, the student's side image and the instructor's communication terminal transmitted from the exercise lecture service server through the student's communication terminal Generating an AR image by synthesizing the instructor's voice and the instructor's video transmitted through the; transmitting the generated AR image to the communication terminal on the student's side and the communication terminal on the instructor's side, respectively; Displaying the transmitted AR image in the communication terminal on the student's side and the communication terminal on the instructor's side, respectively; includes.

본 발명의 다른 일 관점(aspect)에 따른 실시간 소통이 가능한 맞춤형 운동 강의 AR 서비스 방법에서, 상기 맞춤형 운동 강의 서비스 방법은, 상기 디스플레이된 AR 이미지를 통해 수강자의 자세 교정이 필요한 경우 상기 강사측 통신단말기에서 강사의 실시간 자세교정음성과 실시간 자세교정영상을 상기 운동 강의 서비스서버에 전송하는 단계; 상기 운동 강의 서비스서버에서 상기 수강자측 영상과 상기 실시간 자세교정음성 및 실시간 자세교정영상을 합성하여 자세교정 AR 이미지로 생성하는 단계; 상기 운동 강의 서비스서버에서 상기 생성된 자세교정 AR 이미지를 상기 수강자측 통신단말기로 전송하는 단계; 및 상기 전송되는 자세교정 AR 이미지를 상기 수강자측 통신단말기를 통해 디스플레이하는 단계;를 더 포함할 수 있다.In the customized exercise lecture AR service method capable of real-time communication according to another aspect of the present invention, the customized exercise lecture service method includes the instructor-side communication terminal when a student's posture correction is required through the displayed AR image. transmitting the instructor's real-time posture correction voice and real-time posture correction image in the exercise lecture service server; generating a posture correction AR image by synthesizing the student's side image, the real-time posture correction voice, and the real-time posture correction image in the exercise lecture service server; transmitting the generated posture correction AR image from the exercise lecture service server to the student's communication terminal; and displaying the transmitted posture correction AR image through the student-side communication terminal.

본 발명의 다른 일 관점(aspect)에 따른 실시간 소통이 가능한 맞춤형 운동 강의 AR 서비스 방법에서, 상기 AR 이미지 및 자세교정 AR 이미지는 각각, 상기 운동 강의 서비스서버에서 영상회의 어플리케이션을 통해 각각 전송되어 상기 수강자측 통신단말기 및 강사측 통신단말기에서 디스플레이될 수 있다.In another aspect of the present invention, in a customized exercise lecture AR service method capable of real-time communication, the AR image and the posture correction AR image are respectively transmitted from the exercise lecture service server through a video conferencing application, and the participant It can be displayed on the side communication terminal and the instructor side communication terminal.

본 발명의 다른 일 관점(aspect)에 따른 실시간 소통이 가능한 맞춤형 운동 강의 AR 서비스 방법에서, 상기 AR 이미지 및 자세교정 AR 이미지는 각각, 상기 운동 강의 서비스서버에서 버추얼캠 방식으로 방송 어플리케이션을 통해 각각 전송되어 상기 수강자측 통신단말기와 연결된 수강자측 미러링단말기에서 디스플레이될 수 있다.In the AR service method of a customized exercise lecture capable of real-time communication according to another aspect of the present invention, the AR image and the posture correction AR image are respectively transmitted from the exercise lecture service server through a broadcasting application in a virtual cam method. It can be displayed on the participant-side mirroring terminal connected to the participant-side communication terminal.

본 발명의 다른 일 관점(aspect)에 따른 실시간 소통이 가능한 맞춤형 운동 강의 AR 서비스 방법에서, 상기 운동 강좌를 선택하는 단계는, 상기 수강자측 통신단말기를 통해 상기 운동 강의 서비스서버에 접속하기 위한 QR 코드를 스캔하여 접속하거나, 혹은 상기 운동 강의 서비스서버의 인터넷주소를 통해 접속할 수 있다.In the AR service method of a customized exercise lecture capable of real-time communication according to another aspect of the present invention, the step of selecting the exercise course includes a QR code for accessing the exercise lecture service server through the communication terminal on the student's side can be accessed by scanning, or through the Internet address of the exercise lecture service server.

본 발명의 다른 일 관점(aspect)에 따른 실시간 소통이 가능한 맞춤형 운동 강의 AR 서비스 방법에서, 상기 맞춤형 운동 강의 서비스 방법은, 필라테스, 요가 및 헬스 중에서 선택된 어느 하나의 운동 강의를 서비스할 수 있다.In the AR service method of a customized exercise lecture capable of real-time communication according to another aspect of the present invention, the customized exercise lecture service method may service any one exercise lecture selected from Pilates, yoga, and health.

본 발명에 따르면, 필라테스, 요가 및 헬스 중에서 선택된 어느 하나의 운동 강의를 수행함에 있어 수강자측 영상과 강사측 음성 및 강사측 영상을 합성하여 AR 이미지로 생성하고, 이러한 AR 이미지를 수강자측 통신단말기 및 강사측 통신단말기로 전송함으로써, 실시간으로 소통하면서 맞춤형 운동 강의 AR 서비스를 제공할 수 있다.According to the present invention, in performing any one exercise lecture selected from Pilates, yoga, and health, an AR image is generated by synthesizing the participant's image, the instructor's voice, and the instructor's image, and the AR image is generated by the participant's communication terminal and By transmitting to the instructor's communication terminal, it is possible to provide a customized exercise lecture AR service while communicating in real time.

또한, 본 발명에 따르면, 운동 강의를 수행하는 중에 디스플레이되는 AR 이미지를 통해 수강자의 자세교정이 필요한 경우 수강자측 영상과 실시간 자세교정음성 및 실시간 자세교정영상을 합성하여 자세교정 AR 이미지로 생성하고, 이러한 자세교정 AR 이미지를 수강자측 통신단말기 및 강사측 통신단말기로 전송함으로써, 실시간으로 소통하면서 운동 자세교정을 위한 맞춤형 운동 강의 AR 서비스를 제공할 수 있다.In addition, according to the present invention, when a student's posture correction is required through an AR image displayed during an exercise lecture, a posture correction AR image is generated by synthesizing the student's side image, a real-time posture correction voice, and a real-time posture correction image, By transmitting this posture correction AR image to the communication terminal on the student's side and the communication terminal on the instructor's side, it is possible to provide a customized exercise lecture AR service for correcting exercise posture while communicating in real time.

도 1은 본 발명의 일 실시예에 따른 실시간 소통이 가능한 맞춤형 운동 강의 AR 서비스 시스템을 예시한 도면이고,
도 2는 본 발명의 일 실시예에 따른 실시간 소통이 가능한 맞춤형 운동 강의 AR 서비스 시스템을 개념적으로 설명하기 위한 도면이며,
도 3은 본 발명의 일 실시예에 따른 실시간 소통이 가능한 맞춤형 운동 강의 AR 서비스를 제공하는 과정을 나타낸 플로우차트이다.1 is a diagram illustrating an AR service system for customized exercise lectures capable of real-time communication according to an embodiment of the present invention;
2 is a diagram for conceptually explaining an AR service system for a customized exercise lecture capable of real-time communication according to an embodiment of the present invention;
3 is a flowchart illustrating a process of providing a customized exercise lecture AR service capable of real-time communication according to an embodiment of the present invention.

이하, 본 발명에 따른 실시간 소통이 가능한 맞춤형 운동 강의 AR 서비스 시스템 및 그 방법을 구현한 실시형태를 도면을 참조하여 자세히 설명한다.Hereinafter, an embodiment in which a customized exercise lecture AR service system capable of real-time communication according to the present invention and a method thereof are implemented will be described in detail with reference to the drawings.

다만, 본 발명의 본질적인(intrinsic) 기술적 사상은 이하에서 설명되는 실시형태에 의해 그 실시 가능 형태가 제한된다고 할 수는 없고, 본 발명의 본질적인(intrinsic) 기술적 사상에 기초하여 통상의 기술자에 의해 이하에서 설명되는 실시형태를 치환 또는 변경의 방법으로 용이하게 제안될 수 있는 범위를 포섭함을 밝힌다. However, the intrinsic technical idea of the present invention cannot be said to be limited by the embodiments described below, and the It is disclosed that the range that can be easily suggested as a method of substitution or change of the embodiment described in is included.

또한, 이하에서 사용되는 용어는 설명의 편의를 위하여 선택한 것이므로, 본 발명의 본질적인(intrinsic) 기술적 사상을 파악하는 데 있어서, 사전적 의미에 제한되지 않고 본 발명의 기술적 사상에 부합되는 의미로 적절히 해석되어야 할 것이다. In addition, since the terms used below are selected for convenience of description, in grasping the intrinsic technical idea of the present invention, they are not limited to the dictionary meaning and are appropriately interpreted as meanings consistent with the technical spirit of the present invention. it should be

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 실시간 소통이 가능한 맞춤형 운동 강의 AR 서비스 시스템을 예시한 도면이고, 도 2는 본 발명의 일 실시예에 따른 실시간 소통이 가능한 맞춤형 운동 강의 AR 서비스 시스템을 개념적으로 설명하기 위한 도면이다.1 is a diagram illustrating an AR service system for a customized exercise lecture capable of real-time communication according to an embodiment of the present invention, and FIG. 2 is a conceptual diagram illustrating an AR service system for a customized exercise lecture capable of real-time communication according to an embodiment of the present invention. It is a drawing for explaining.

도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 실시간 소통이 가능한 맞춤형 운동 강의 AR 서비스 시스템은 수강자측 통신단말기(110), 운동 강의 서비스서버(120), 수강자측 통신단말기(130), 수강자측 미러링단말기(140), 통신망(150) 등을 포함할 수 있다.1 and 2 , the customized exercise lecture AR service system capable of real-time communication according to an embodiment of the present invention includes a communication terminal 110 for a participant, a service server 120 for an exercise lecture, and a communication terminal 130 for the participant. ), the student's side mirroring terminal 140, the communication network 150, and the like.

먼저, 본 발명의 일 실시예에서 서비스되는 운동 강의는 예를 들면, 필라테스, 요가 및 헬스 중에서 선택된 어느 하나의 운동 강의를 포함할 수 있으며, 이러한 운동 강의를 선택하여 서비스할 수 있다.First, an exercise lecture serviced in an embodiment of the present invention may include, for example, any one exercise lecture selected from Pilates, yoga, and fitness, and the exercise lecture may be selected and serviced.

수강자측 통신단말기(110)는 스마트폰, 태블릿PC. 모바일패드 등을 포함하는 통신단말기를 의미하는 것으로, 선택된 운동 강좌에 대한 운동 강의 서비스가 세팅된 상태에서 운동 강의를 시작할 경우 수강자측 영상을 전송하고, 수강자측 영상과 강사측 음성 및 강사측 영상이 합성된 AR 이미지를 수신하여 디스플레이하는 것으로, QR 코드의 스캔 또는 인터넷주소를 통해 운동 강의 서비스 서버(120)에 접속할 수 있다.The student's side communication terminal 110 is a smartphone, a tablet PC. It means a communication terminal including a mobile pad, etc., and when an exercise lecture is started while the exercise lecture service for the selected exercise course is set, the participant's video is transmitted, and the participant's video, the instructor's voice, and the instructor's video are By receiving and displaying the synthesized AR image, it is possible to access the exercise lecture service server 120 through a scan of a QR code or an Internet address.

예를 들면, 수강자측 통신단말기(110)에서는 운동 강의 서비스서버(120)에 접속하기 위한 QR 코드를 스캔하여 통신망(150)을 통해 접속하거나, 혹은 운동 강의 서비스서버(120)의 인터넷주소를 입력하여 통신망(150)을 통해 접속할 수 있다.For example, the student's communication terminal 110 scans a QR code for accessing the exercise lecture service server 120 and connects through the communication network 150 , or inputs the Internet address of the exercise lecture service server 120 . Thus, it can be accessed through the communication network 150 .

그리고, 수강자측 통신단말기(110)에서는 운동 강의 서비스서버(120)에 회원 가입을 위한 수강자 회원 정보(예를 들면, 아이디, 비밀번호, 성명, 전화번호, 주소 등)를 전송하여 회원으로 등록하고, 진행하고자 하는 운동 강좌를 검색하여 그 운동 강좌 정보(예를 들면, 운동종류, 강사성명, 강사프로필, 운동시간, 운동내용 등)를 수신하며, 이에 따라 진행하고자 하는 운동 강좌를 사용자 조작에 따라 선택할 수 있다.And, the student's communication terminal 110 transmits the student member information (eg, ID, password, name, phone number, address, etc.) for membership registration to the exercise lecture service server 120 to register as a member, Search for the exercise course you want to proceed, receive the exercise course information (for example, exercise type, instructor name, instructor profile, exercise time, exercise content, etc.), and select the desired exercise course according to user operation can

여기에서, 수강자측 통신단말기(110)에서는 운동 강좌를 선택하기 위해 예를 들어 수강신청 버튼을 입력하여 그 입력신호를 운동 강의 서비스서버(120)에 전송하는 방식으로 운동 강좌를 선택할 수 있고, 선택된 운동 강좌는 운동 강의 서비스 서버(120)에서 제공하는 내 수업 목록과 같은 정보 제공 화면에서 확인할 수 있으며, 이에 대응하는 예약 확인, 알림 설정 등의 정보를 설정 등록할 수 있다.Here, the student-side communication terminal 110 may select an exercise course by, for example, inputting a course registration button to select an exercise course and transmitting the input signal to the exercise lecture service server 120 , The exercise course can be checked on an information providing screen such as a list of my classes provided by the exercise lecture service server 120, and information such as reservation confirmation and notification setting corresponding thereto can be set and registered.

한편, 수강자측 통신단말기(110)에서는 운동 강좌를 선택할 경우 운동 강의 서비스 서버(120)로부터 통신단말기 세팅 정보(예를 들면, 카메라 설정, 방향 설정 등)를 수신하여 디스플레이할 수 있고, 통신단말기 세팅이 완료되어 선택된 운동 강좌 실행 준비가 완료될 경우 운동 강의 서비스서버(120)로 준비 완료 신호를 전송할 수 있다.On the other hand, the communication terminal 110 at the student's side may receive and display communication terminal setting information (eg, camera setting, direction setting, etc.) from the exercise lecture service server 120 when an exercise course is selected, and the communication terminal setting When this is completed and preparation for executing the selected exercise course is completed, a preparation completion signal may be transmitted to the exercise lecture service server 120 .

다음에, 수강자측 통신단말기(110)에서는 운동 강의 서비스 서버(120)로부터 강사의 수업 시작 콜이 수신되어 콜 알람(예를 들면, 벨소리 등)이 출력될 경우 운동 강의를 시작할 수 있다.Next, when the lecturer's class start call is received from the exercise lecture service server 120 in the student-side communication terminal 110 and a call alarm (eg, a ringtone, etc.) is output, the exercise lecture can be started.

이 때, 수강자측 통신단말기(110)에서는 운동 강의 서비스서버(120)로 단말기 카메라를 통해 촬영된 수강자측 영상을 운동 강의 서비스서버(120)로 전송할 수 있다. 여기에서, 수강자측 영상은 수강자측 통신단말기(110)에서 준비 완료 신호를 전송할 때부터, 또는 강사의 수업 시작 콜이 수신될 때부터 운동 강의 서비스서버(120)로 전송될 수 있다.At this time, the student-side communication terminal 110 may transmit the student-side image captured through the terminal camera to the exercise lecture service server 120 to the exercise lecture service server 120 . Here, the student-side image may be transmitted to the exercise lecture service server 120 from when the preparation completion signal is transmitted from the student-side communication terminal 110 or when the instructor's class start call is received.

이 후, 수강자측 통신단말기(110)에서는 운동 강의 서비스 서버(120)로부터 수강자측 영상과 강사측 음성 및 영상이 합성된 AR 이미지를 수신하여 디스플레이할 수 있고, 이와 함께, 운동 강의 서비스 서버(120)로부터 수강자측 영상과 강사측 실시간 자세교정음성 및 실시간 자세교정영상이 합성된 자세교정 AR 이미지를 수신하여 디스플레이할 수 있다.Thereafter, the student-side communication terminal 110 may receive and display an AR image in which the student-side image and the instructor-side voice and image are synthesized from the exercise lecture service server 120 , and together with this, the exercise lecture service server 120 . ) can receive and display a posture correction AR image in which the learner's image, the instructor's real-time posture correction voice, and the real-time posture correction image are synthesized.

상술한 바와 같은 AR 이미지와 자세교정 AR 이미지를 다른 용어로 하여 설명하였지만, 강사의 자세교정 동작에 대응하여 실시간이면서 연속적으로 AR 이미지와 자세교정 AR 이미지를 디스플레이하는 것으로 이해되어야 한다.Although the AR image and the posture correction AR image as described above have been described with different terms, it should be understood that the AR image and the posture correction AR image are displayed in real time and continuously in response to the posture correction operation of the instructor.

운동 강의 서비스서버(120)는 수강자측 통신단말기(110)가 접속될 경우 운동 강좌를 선택하도록 운동 강좌 정보를 제공하고, 운동 강좌가 선택될 경우 통신단말기 세팅 정보를 제공하며, 강사의 수업 시작 콜을 수강자측 통신단말기(110)로 전송한 후에, 수강자측 영상과 강사측 음성 및 강사측 영상이 전송될 경우 합성하여 AR 이미지를 생성하고, AR 이미지를 디스플레이하도록 전송하는 것으로, 영상회의 어플케이션부(121), 방송 어플리케이션부(122) 등을 포함할 수 있다.The exercise lecture service server 120 provides exercise course information to select an exercise course when the student's communication terminal 110 is connected, and provides communication terminal setting information when an exercise course is selected, and the instructor's class start call After transmitting to the student's side communication terminal 110, when the student's side image, the instructor's voice, and the instructor's video are transmitted, the AR image is synthesized and transmitted to display the AR image, and the video conferencing application unit 121 , a broadcast application unit 122 , and the like.

그리고, 운동 강의 서비스서버(120)는 수강자측 영상과 실시간 자세교정음성 및 실시간 자세교정영상을 합성하여 자세교정 AR 이미지로 생성한 후에, 수강자측 통신단말기(110)에서 디스플레이하도록 전송할 수 있다.Then, the exercise lecture service server 120 synthesizes the participant's image, the real-time posture correction voice, and the real-time posture correction image to generate the posture correction AR image, and then transmits it to display on the student's side communication terminal 110 .

또한, 운동 강의 서비스 서버(120)는 영상회의 어플케이션부(121)에서 영상회의 어플리케이션(예를 들면, ZOOM, SKYPE 등과 같은 복수의 사용자 상호간 영상회의을 실시간 수행하는 어플리케이션)을 통해 AR 이미지 및 자세교정 AR 이미지 중 어느 하나를 수강자측 통신단말기(110) 및 강사측 통신단말기(130)에서 디스플레이되도록 각각 전송할 수 있다.In addition, the exercise lecture service server 120 is an AR image and posture correction through a video conference application (eg, an application that performs a video conference between a plurality of users in real time, such as ZOOM, SKYPE, etc.) in the video conference application unit 121 Any one of the AR images may be transmitted to be displayed on the communication terminal 110 on the student's side and the communication terminal on the instructor's side, respectively.

아울러, 운동 강의 서비스 서버(120)는 방송 어플리케이션부(122)에서 버추얼캠 방식으로 방송 어플리케이션(예를 들면, OBS, XSPLIT 등과 같은 버추얼캠을 적용하여 AR 이미지를 실시간 디스플레이하도록 방송하는 어플리케이션)을 통해 AR 이미지 및 자세교정 AR 이미지 중 어느 하나를 수강자측 통신단말기(110)와 연결된 수강자측 미러링단말기(140)에서 디스플레이되도록 전송할 수 있다.In addition, the exercise lecture service server 120 is a broadcast application (eg, an application that broadcasts AR images in real time by applying a virtual cam such as OBS, XSPLIT, etc.) in a virtual cam method in the broadcast application unit 122). Any one of the AR image and the posture correction AR image may be transmitted to be displayed on the participant-side mirroring terminal 140 connected to the participant-side communication terminal 110 .

예를 들면, 운동 강의 서비스 서버(120)에서는 수강자측 통신단말기(110)에서 QR 코드를 스캔하여 통신망(150)을 통해 접속하거나, 혹은 인터넷주소를 입력하여 통신망(150)을 통해 접속한 후에, 회원 가입을 위한 수강자 회원 정보(예를 들면, 아이디, 비밀번호, 성명, 전화번호, 주소 등)가 전송될 경우 해당 수강자를 회원으로 등록하여 저장 관리할 수 있다.For example, in the exercise lecture service server 120, scan a QR code from the student's communication terminal 110 and access it through the communication network 150, or enter an Internet address and connect through the communication network 150, When student member information (eg, ID, password, name, phone number, address, etc.) for membership registration is transmitted, the student can be registered as a member and stored and managed.

그리고, 운동 강의 서비스서버(120)에서는 다양한 운동 강좌의 리스트를 제공하거나, 검색된 운동 강좌의 리스트 화면을 수강자측 통신단말기(110)로 전송하여 제공할 수 있는데, 수강자측 통신단말기(110)에서 검색 요청한 운동 강좌에 대응하는 운동 강좌 정보(예를 들면, 운동종류, 강사성명, 강사프로필, 운동시간, 운동내용 등)를 전송할 수 있다.In addition, the exercise lecture service server 120 may provide a list of various exercise lectures, or transmit and provide a list screen of the searched exercise lectures to the student's side communication terminal 110. Exercise course information corresponding to the requested exercise course (eg, exercise type, instructor name, instructor profile, exercise time, exercise content, etc.) may be transmitted.

여기에서, 운동 강의 서비스서버(120)에서는 수강자측 통신단말기(110)로부터 특정 운동 강좌가 선택될 경우 이를 해당 수강자의 회원정보에 등록 저장할 수 있고, 이러한 회원정보에서 내 수업 목록과 같은 정보 제공 화면과, 각종 편의항목(예를 들면, 예약 확인, 알림 설정 등)에 대한 설정 등록 화면을 제공할 수 있다.Here, in the exercise lecture service server 120, when a specific exercise course is selected from the student's side communication terminal 110, it can be registered and stored in the member information of the corresponding student, and information providing screen such as my class list in the member information And, it is possible to provide a setting registration screen for various convenience items (eg, reservation confirmation, notification setting, etc.).

한편, 운동 강의 서비스서버(120)에서는 수강자측 통신단말기(110)로부터 특정 운동 강좌가 선택될 경우 통신단말기 세팅 정보(예를 들면, 카메라 설정, 방향 설정 등)를 전송할 수 있고, 통신단말기 세팅이 완료되어 선택된 운동 강좌 실행 준비가 완료될 경우 수강자측 통신단말기(110)로부터 전송되는 준비 완료 신호를 수신한 후에, 강사측 통신단말기(130)로 그 준비 완료 신호를 전송할 수 있다.On the other hand, the exercise lecture service server 120 may transmit communication terminal setting information (eg, camera setting, direction setting, etc.) when a specific exercise course is selected from the student's communication terminal 110, and the communication terminal setting is When the preparation for executing the selected exercise course is completed, after receiving the preparation completion signal transmitted from the communication terminal 110 on the student's side, the preparation completion signal may be transmitted to the communication terminal 130 on the instructor's side.

다음에, 운동 강의 서비스 서버(120)에서는 강사측 통신단말기(130)로부터 강사의 수업 시작 콜이 수신될 경우 이를 수강자측 통신단말기(130)로 전송할 수 있다.Next, when the instructor's class start call is received from the instructor's communication terminal 130 , the exercise lecture service server 120 may transmit it to the student's communication terminal 130 .

이 후, 운동 강의 서비스 서버(120)에서는 수강자측 통신단말기(110)로부터 전송되는 수강자측 영상과 강사측 통신단말기(130)로부터 전송되는 강사측 음성 및 영상을 합성하여 AR 이미지를 생성하고, 이를 영상회의 어플리케이션부(121)를 통해 생성된 AR 이미지를 수강자측 통신단말기(110) 및 강사측 통신단말기(130)로 각각 전송할 수 있다.Thereafter, the exercise lecture service server 120 generates an AR image by synthesizing the student's side image transmitted from the student's communication terminal 110 and the instructor's voice and image transmitted from the instructor's communication terminal 130 , and this The AR image generated through the video conferencing application unit 121 may be transmitted to the communication terminal 110 on the student's side and the communication terminal 130 on the instructor's side, respectively.

아울러, 운동 강의 서비스 서버(120)에서는 생성된 AR 이미지를 방송 어플리케이션부(122)를 통해 버추얼캠 방식으로 변환하여 AR 이미지를 수강자측 통신단말기(110)와 미러링된 수강자측 미러링단말기(140)로 전송할 수 있다.In addition, the exercise lecture service server 120 converts the generated AR image into a virtual cam method through the broadcast application unit 122 to convert the AR image to the student's side communication terminal 110 and the mirrored student's side mirroring terminal 140. can be transmitted

한편, 운동 강의 서비스 서버(120)에서는 AR 이미지의 디스플레이를 통해 운동 강의가 수행되는 중에 강사의 자세교정 실행으로 인해 강사측 통신단말기(130)로부터 전송되는 강사측 실시간 자세교정음성 및 실시간 자세교정영상을 수강자측 영상과 합성하여 자세교정 AR 이미지를 생성하고, 이를 영상회의 어플리케이션부(121)를 통해 생성된 자세교정 AR 이미지를 수강자측 통신단말기(110) 및 강사측 통신단말기(130)로 각각 전송할 수 있다.On the other hand, in the exercise lecture service server 120, the instructor's real-time posture correction voice and real-time posture correction image transmitted from the instructor's communication terminal 130 due to the instructor's posture correction while the exercise lecture is being performed through the display of the AR image. Creates a posture correction AR image by synthesizing with the student's image, and transmits the posture correction AR image generated through the video conferencing application unit 121 to the student's side communication terminal 110 and the instructor's side communication terminal 130, respectively can

이와 함께, 운동 강의 서비스 서버(120)에서는 생성된 자세교정 AR 이미지를 방송 어플리케이션부(122)를 통해 버추얼캠 방식으로 변환하여 자세교정 AR 이미지를 수강자측 통신단말기(110)와 미러링된 수강자측 미러링단말기(140)로 전송할 수 있다.At the same time, the exercise lecture service server 120 converts the generated posture correction AR image into a virtual cam method through the broadcast application unit 122, and mirrors the posture correction AR image with the participant's communication terminal 110 and mirrors. It can be transmitted to the terminal 140 .

상술한 바와 같은 AR 이미지와 자세교정 AR 이미지는 강사의 자세교정 동작에 대응하여 실시간이면서 연속적으로 생성되어 전송될 수 있다.The AR image and the posture correction AR image as described above may be generated and transmitted in real time and continuously in response to the instructor's posture correction operation.

강사측 통신단말기(130)는 운동 강의 서비스서버(120)로부터 운동 강좌 선택 정보를 수신하여 저장하고, 운동 강의 서비스서버(120)를 통해 운동 강의가 요청될 경우 강사의 수업 시작 콜을 운동 강의 서비스 서버로 전송한 후에, 강사측 영상 및 강사측 음성을 운동 강의 서비스 서버(120)로 전송하며, 운동 강의 서비스 서버(120)로부터 AR 이미지를 수신하여 디스플레이할 수 있다.The instructor-side communication terminal 130 receives and stores exercise course selection information from the exercise lecture service server 120, and when an exercise lecture is requested through the exercise lecture service server 120, the lecturer's class start call is provided for the exercise lecture service. After being transmitted to the server, the instructor's video and the instructor's voice may be transmitted to the exercise lecture service server 120 , and the AR image may be received and displayed from the exercise lecture service server 120 .

그리고, 강사측 통신단말기(130)는 디스플레이된 AR 이미지를 통해 수강자의 자세 교정이 필요한 경우 강사의 실시간 자세교정음성과 실시간 자세교정영상을 운동 강의 서비스서버(120)에 전송할 수 있다.In addition, the instructor-side communication terminal 130 may transmit the instructor's real-time posture correction voice and real-time posture correction image to the exercise lecture service server 120 when the student's posture correction is required through the displayed AR image.

예를 들면, 강사측 통신단말기(130)에서는 운동 강의 서비스서버(120)로부터 수강자의 운동 강의의 준비가 완료되었다는 준비 완료 신호를 수신하고, 이에 대응하여 강사의 수업 시작 콜을 생성하여 운동 강의 서비스 서버(120)로 전송할 수 있다.For example, the instructor-side communication terminal 130 receives a ready completion signal indicating that the student's training for an exercise lecture is complete from the exercise lecture service server 120, and generates an instructor's class start call in response thereto to provide an exercise lecture service. It can be transmitted to the server 120 .

그리고, 강사측 통신단말기(130)에서는 운동 강의가 시작될 경우 입력된 강사측 음성과 강사측 영상을 운동 강의 서비스서버(120)로 전송할 수 있는데, 강사측 통신단말기(130)와 연결된 웹캠 등을 통해 촬영된 강사측 영상이 입력될 수 있고, 강사측 통신단말기(130)와 연결된 무선 마이크로폰 등을 통해 강사측 음성이 입력될 수 있다. 아울러, 무선 마이크로폰에 구비된 입력버튼을 이용하여 강사의 수업 시작 콜을 입력할 수 있도록 설정할 수도 있다.In addition, the instructor-side communication terminal 130 may transmit the input instructor-side voice and instructor-side video to the exercise lecture service server 120 when an exercise lecture is started. The captured instructor-side image may be input, and the instructor-side voice may be input through a wireless microphone connected to the instructor-side communication terminal 130 . In addition, it may be set so that the instructor's class start call can be input using the input button provided in the wireless microphone.

이 후, 강사측 통신단말기(130)에서는 운동 강의 서비스 서버(120)로부터 수강자측 영상과 강사측 음성 및 영상이 합성된 AR 이미지를 수신하여 디스플레이할 수 있고, 이와 함께, 운동 강의 서비스 서버(120)로부터 수강자측 영상과 강사측 실시간 자세교정음성 및 실시간 자세교정영상이 합성된 자세교정 AR 이미지를 수신하여 디스플레이할 수 있다.Thereafter, the instructor-side communication terminal 130 may receive and display an AR image in which the student-side image and the instructor-side voice and image are synthesized from the exercise lecture service server 120 , and together with the exercise lecture service server 120 ) can receive and display a posture correction AR image in which the learner's image, the instructor's real-time posture correction voice, and the real-time posture correction image are synthesized.

상술한 바와 같은 AR 이미지와 자세교정 AR 이미지는 강사의 자세교정 동작에 대응하여 실시간이면서 연속적으로 디스플레이될 수 있다.The AR image and the posture correction AR image as described above may be displayed continuously and in real time in response to the instructor's posture correction operation.

수강자측 미러링단말기(140)는 통신모듈, 터치패널 등을 포함하는 미러링 모니터를 포함하며, 수강자측 통신단말기(110)와 연결(미러링)되어 수강자측 통신단말기(110)에 디스플레이되는 AR 이미지 또는 자세교정 AR 이미지를 디스플레이할 수 있다. 여기에서, 미러링하는 방식에 대해서는 종래에 다양하게 개시되어 있으므로 구체적인 설명은 생략하기로 한다.The participant-side mirroring terminal 140 includes a mirroring monitor including a communication module, a touch panel, and the like, and is connected (mirrored) with the participant-side communication terminal 110 to display an AR image or posture displayed on the participant-side communication terminal 110 . A corrected AR image may be displayed. Here, since various methods of mirroring have been previously disclosed, a detailed description thereof will be omitted.

통신망(150)은 유선통신망 및 무선통신망을 포함하며, 수강자측 통신단말기(110), 운동 강의 서비스서버(120) 및 강사측 통신단말기(130)의 각 상호간 통신을 담당할 뿐만 아니라, 수강자측 미러링단말기(140) 및 강사측 미러링단말기(150)와도 각 상호간 통신을 담당할 수 있다.The communication network 150 includes a wired communication network and a wireless communication network, and not only handles the communication between the communication terminal 110 of the participant side, the exercise lecture service server 120 and the communication terminal 130 of the instructor side, but also mirrors the participant side. The terminal 140 and the instructor-side mirroring terminal 150 may also be in charge of mutual communication.

이러한 통신망(160)은 이동통신망, 유선 인터넷통신망, 무선 인터넷통신망, 방송망, 위성망 등을 포함할 뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다.The communication network 160 may include a mobile communication network, a wired Internet communication network, a wireless Internet communication network, a broadcasting network, a satellite network, and the like, as well as short-range wireless communication between devices.

예를 들면, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있으며, 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.For example, among networks such as a personal area network (PAN), a local area network (LAN), a campus area network (CAN), a metropolitan area network (MAN), a wide area network (WAN), a broadband network (BBN), and the Internet may include any one or more networks, and may include any one or more of network topologies including bus networks, star networks, ring networks, mesh networks, star-bus networks, tree or hierarchical networks, and the like. may, but is not limited thereto.

따라서, 본 발명의 일 실시예에 따르면, 필라테스, 요가 및 헬스 중에서 선택된 어느 하나의 운동 강의를 수행함에 있어 수강자측 영상과 강사측 음성 및 강사측 영상을 합성하여 AR 이미지로 생성하고, 이러한 AR 이미지를 수강자측 통신단말기 및 강사측 통신단말기로 전송함으로써, 실시간으로 소통하면서 맞춤형 운동 강의 AR 서비스를 제공할 수 있다.Therefore, according to an embodiment of the present invention, in performing any one exercise lecture selected from Pilates, yoga, and health, an AR image is generated by synthesizing the participant's image, the instructor's voice, and the instructor's image, and this AR image is transmitted to the communication terminal on the student's side and the communication terminal on the instructor's side, so that it is possible to provide customized exercise lecture AR service while communicating in real time.

또한, 본 발명의 일 실시예에 따르면, 운동 강의를 수행하는 중에 디스플레이되는 AR 이미지를 통해 수강자의 자세교정이 필요한 경우 수강자측 영상과 실시간 자세교정음성 및 실시간 자세교정영상을 합성하여 자세교정 AR 이미지로 생성하고, 이러한 자세교정 AR 이미지를 수강자측 통신단말기 및 강사측 통신단말기로 전송함으로써, 실시간으로 소통하면서 운동 자세교정을 위한 맞춤형 운동 강의 AR 서비스를 제공할 수 있다.In addition, according to an embodiment of the present invention, when a student's posture correction is required through an AR image displayed during an exercise lecture, a posture correction AR image is synthesized with a real-time posture correction voice and a real-time posture correction image. By creating and transmitting this posture correction AR image to the communication terminal on the student's side and the communication terminal on the instructor's side, it is possible to provide a customized exercise lecture AR service for correcting exercise posture while communicating in real time.

다음에, 상술한 바와 같은 구성을 갖는 실시간 소통이 가능한 맞춤형 운동 강의 AR 서비스 시스템에서 수강자측 영상과 강사측 음성 및 강사측 영상을 합성하여 AR 이미지로 생성하고, 이러한 AR 이미지를 수강자측 통신단말기 및 강사측 통신단말기로 전송함으로써, 실시간으로 소통하면서 맞춤형 운동 강의 서비스를 제공하는 과정에 대해 상세히 설명한다.Next, in the customized exercise lecture AR service system capable of real-time communication having the above-described configuration, the participant's image, the instructor's voice, and the instructor's image are synthesized to create an AR image, and the AR image is generated by the participant's communication terminal and The process of providing a customized exercise lecture service while communicating in real time by transmitting it to the instructor's communication terminal will be described in detail.

도 3은 본 발명의 일 실시예에 따른 실시간 소통이 가능한 맞춤형 운동 강의 AR 서비스를 제공하는 과정을 나타낸 플로우차트이다. 여기에서, 본 발명의 다른 실시예에서 서비스되는 운동 강의는 예를 들면, 필라테스, 요가 및 헬스 중에서 선택된 어느 하나의 운동 강의를 포함할 수 있으며, 이러한 운동 강의를 선택하여 서비스할 수 있다.3 is a flowchart illustrating a process of providing a customized exercise lecture AR service capable of real-time communication according to an embodiment of the present invention. Here, the exercise lecture serviced in another embodiment of the present invention may include, for example, any one exercise lecture selected from Pilates, yoga, and fitness, and may select and service such an exercise lecture.

도 3을 참조하면, 수강자측 통신단말기(110)에서 운동 강의 서비스서버(120)에 접속하여 운동 강좌를 선택할 수 있다(단계311).Referring to FIG. 3 , the student's communication terminal 110 may connect to the exercise lecture service server 120 and select an exercise course (step 311 ).

예를 들면, 수강자측 통신단말기(110)에서는 운동 강의 서비스서버(120)에 접속하기 위한 QR 코드를 스캔하여 통신망(150)을 통해 접속하거나, 혹은 운동 강의 서비스서버(120)의 인터넷주소를 입력하여 통신망(150)을 통해 접속할 수 있다.For example, the student's communication terminal 110 scans a QR code for accessing the exercise lecture service server 120 and connects through the communication network 150 , or inputs the Internet address of the exercise lecture service server 120 . Thus, it can be accessed through the communication network 150 .

그리고, 수강자측 통신단말기(110)에서는 운동 강의 서비스서버(120)에 회원 가입을 위한 수강자 회원 정보(예를 들면, 아이디, 비밀번호, 성명, 전화번호, 주소 등)를 전송하여 회원으로 등록하고, 운동 강의 서비스서버(120)에서 제공되는 운동 강좌 리스트 화면에서 진행하고자 하는 운동 강좌를 검색하여 그 운동 강좌 정보(예를 들면, 운동종류, 강사성명, 강사프로필, 운동시간, 운동내용 등)을 수신하며, 이에 따라 진행하고자 하는 운동 강좌를 사용자 조작에 따라 선택할 수 있다.And, the student's communication terminal 110 transmits the student member information (eg, ID, password, name, phone number, address, etc.) for membership registration to the exercise lecture service server 120 to register as a member, Search for an exercise course to be conducted on the exercise course list screen provided by the exercise lecture service server 120 and receive the exercise course information (eg, exercise type, instructor name, instructor profile, exercise time, exercise content, etc.) Accordingly, an exercise course to be conducted can be selected according to user manipulation.

여기에서, 수강자측 통신단말기(110)에서는 운동 강좌를 선택하기 위해 예를 들어 수강신청 버튼을 입력하여 그 입력신호를 운동 강의 서비스서버(120)에 전송하는 방식으로 운동 강좌를 선택할 수 있고, 선택된 운동 강좌는 운동 강의 서비스 서버(120)에서 제공하는 내 수업 목록과 같은 정보 제공 화면에서 확인할 수 있으며, 이에 대응하는 예약 확인, 알림 설정 등의 정보를 설정 등록할 수 있다.Here, the student-side communication terminal 110 may select an exercise course by, for example, inputting a course registration button to select an exercise course and transmitting the input signal to the exercise lecture service server 120 , The exercise course can be checked on an information providing screen such as a list of my classes provided by the exercise lecture service server 120, and information such as reservation confirmation and notification setting corresponding thereto can be set and registered.

한편, 수강자측 통신단말기(110)에서는 운동 강좌를 선택할 경우 운동 강의 서비스 서버(120)로부터 통신단말기 세팅 정보(예를 들면, 카메라 설정, 방향 설정 등)를 수신하여 디스플레이할 수 있고, 통신단말기 세팅이 완료되어 선택된 운동 강좌 실행 준비가 완료될 경우 운동 강의 서비스서버(120)로 준비 완료 신호를 전송할 수 있다.On the other hand, the communication terminal 110 at the student's side may receive and display communication terminal setting information (eg, camera setting, direction setting, etc.) from the exercise lecture service server 120 when an exercise course is selected, and the communication terminal setting When this is completed and preparation for executing the selected exercise course is completed, a preparation completion signal may be transmitted to the exercise lecture service server 120 .

그리고, 운동 강의 서비스서버(120)에서는 이러한 준비 완료 신호를 강사측 통신단말기(130)로 전송하고, 강사측 통신단말기(130)에서는 이러한 준비 완료 신호를 수신하여 강사의 수업 시작 콜을 생성하여 운동 강의 서비스 서버(120)로 전송할 수 있다.In addition, the exercise lecture service server 120 transmits this preparation completion signal to the instructor-side communication terminal 130, and the instructor-side communication terminal 130 receives this preparation completion signal to generate an instructor's class start call and exercise It may be transmitted to the lecture service server 120 .

예를 들어, 강사측 통신단말기(130)와 연결된 무선 마이크로폰에 구비된 입력버튼을 이용하여 강사의 수업 시작 콜을 입력할 수 있도록 설정할 수도 있다.For example, it may be set so that an instructor's class start call can be input using an input button provided in a wireless microphone connected to the instructor's communication terminal 130 .

그리고, 수강자측 통신단말기(110)에서 운동 강의 서비스가 세팅된 상태에서, 강사의 수업 시작 콜에 따라 운동 강의를 시작할 경우 운동 강의 서비스서버(120)에서 수강자측 통신단말기(110)를 통해 전송되는 수강자측 영상과 강사측 통신단말기(130)를 통해 전송되는 강사측 음성과 강사측 영상을 합성하여 AR 이미지를 생성할 수 있다(단계312).And, in the state where the exercise lecture service is set in the student's side communication terminal 110, when an exercise lecture is started according to the instructor's class start call, the exercise lecture service server 120 is transmitted through the student's side communication terminal 110. An AR image may be generated by synthesizing the student's image, the instructor's voice transmitted through the instructor's communication terminal 130, and the instructor's image (step 312).

예를 들면, 수강자측 통신단말기(110)에서는 운동 강의 서비스 서버(120)로부터 강사의 수업 시작 콜이 수신되어 콜 알람(예를 들면, 벨소리 등)이 출력될 경우 운동 강의를 시작할 수 있다.For example, when the lecturer's class start call is received from the exercise lecture service server 120 in the student's communication terminal 110 and a call alarm (eg, a ringtone, etc.) is output, the exercise lecture may be started.

이 때, 수강자측 통신단말기(110)에서는 운동 강의 서비스서버(120)로 단말기 카메라를 통해 촬영된 수강자측 영상을 운동 강의 서비스서버(120)로 전송할 수 있다. 여기에서, 수강자측 영상은 수강자측 통신단말기(110)에서 준비 완료 신호를 전송할 때부터, 또는 강사의 수업 시작 콜이 수신될 때부터 운동 강의 서비스서버(120)로 전송될 수 있다.At this time, the student-side communication terminal 110 may transmit the student-side image captured through the terminal camera to the exercise lecture service server 120 to the exercise lecture service server 120 . Here, the student-side image may be transmitted to the exercise lecture service server 120 from when the preparation completion signal is transmitted from the student-side communication terminal 110 or when the instructor's class start call is received.

여기에서, 강사측 통신단말기(130)에서는 운동 강의가 시작될 경우 입력된 강사측 음성과 강사측 영상을 운동 강의 서비스서버(120)로 전송할 수 있는데, 강사측 통신단말기(130)와 연결된 웹캠 등을 통해 촬영된 강사측 영상이 입력될 수 있고, 강사측 통신단말기(130)와 연결된 무선 마이크로폰 등을 통해 강사측 음성이 입력될 수 있다. Here, the instructor-side communication terminal 130 may transmit the input instructor-side voice and instructor-side image to the exercise lecture service server 120 when an exercise lecture is started, and a webcam connected to the instructor-side communication terminal 130 may be used. Instructor's image taken through the can be input, and instructor's voice may be input through a wireless microphone connected to the instructor's communication terminal 130, etc.

다음에, 운동 강의 서비스서버(120)에서는 영상회의 어플리케이션부(121)를 통해 생성된 AR 이미지를 수강자측 통신단말기 및 강사측 통신단말기로 각각 전송할 수 있다(단계313). 여기에서, AR 이미지 및 자세교정 AR 이미지는 각각 운동 강의 서비스서버(120)에서 영상회의 어플리케이션을 통해 각각 전송될 수 있다.Next, the exercise lecture service server 120 may transmit the AR image generated through the video conferencing application unit 121 to the student's communication terminal and the instructor's communication terminal, respectively (step 313). Here, the AR image and the posture correction AR image may be respectively transmitted from the exercise lecture service server 120 through the video conferencing application.

예를 들면, 운동 강의 서비스 서버(120)에서는 수강자측 통신단말기(110)로부터 전송되는 수강자측 영상과 강사측 통신단말기(130)로부터 전송되는 강사측 음성 및 영상을 합성하여 AR 이미지를 생성하고, 이를 영상회의 어플리케이션부(121)를 통해 생성된 AR 이미지를 수강자측 통신단말기(110) 및 강사측 통신단말기(130)로 각각 전송할 수 있다.For example, the exercise lecture service server 120 generates an AR image by synthesizing the student-side image transmitted from the student-side communication terminal 110 and the instructor-side voice and image transmitted from the instructor-side communication terminal 130, The AR image generated through the video conferencing application unit 121 may be transmitted to the communication terminal 110 on the student's side and the communication terminal 130 on the instructor's side, respectively.

아울러, 운동 강의 서비스 서버(120)에서는 생성된 AR 이미지를 방송 어플리케이션부(122)를 통해 버추얼캠 방식으로 변환하여 AR 이미지를 수강자측 통신단말기(110)와 미러링된 수강자측 미러링단말기(140)로 전송할 수 있다.In addition, the exercise lecture service server 120 converts the generated AR image into a virtual cam method through the broadcast application unit 122 to convert the AR image to the student's side communication terminal 110 and the mirrored student's side mirroring terminal 140. can be transmitted

이어서, 전송된 AR 이미지는 수강자측 통신단말기(110) 및 강사측 통신단말기(130)에서 각각 디스플레이될 수 있다(단계314).Subsequently, the transmitted AR image may be displayed on the communication terminal 110 and the communication terminal 130 of the lecturer side, respectively (step 314).

아울러, 전송된 AR 이미지는 수강자측 통신단말기(110)와 미러링된 수강자측 미러링단말기(140)에서 디스플레이될 수 있다(315).In addition, the transmitted AR image may be displayed on the participant-side communication terminal 110 and the mirrored participant-side mirroring terminal 140 ( 315 ).

상술한 바와 같은 수강자측 통신단말기(110)에서는 운동 강의 서비스 서버(120)로부터 수강자측 영상과 강사측 음성 및 영상이 합성된 AR 이미지를 수신하여 디스플레이할 수 있는데, 강사의 강의 음성 및 영상에 대응하여 실시간이면서 연속적으로 AR 이미지를 디스플레이할 수 있다.As described above, the student-side communication terminal 110 may receive and display an AR image in which the student-side image and the instructor-side voice and image are synthesized from the exercise lecture service server 120 , which corresponds to the lecturer's lecture audio and video. Thus, AR images can be displayed continuously and in real time.

한편, 디스플레이된 AR 이미지를 통해 수강자의 자세 교정이 필요한 경우 강사측 통신단말기(130)에서 강사의 실시간 자세교정음성과 실시간 자세교정영상을 운동 강의 서비스서버(120)에 전송할 수 있다(단계316).On the other hand, when a student's posture correction is required through the displayed AR image, the instructor's real-time posture correction voice and real-time posture correction image may be transmitted from the instructor's communication terminal 130 to the exercise lecture service server 120 (step 316). .

그리고, 운동 강의 서비스서버(120)에서 수강자측 영상과 실시간 자세교정음성 및 실시간 자세교정영상을 합성하여 자세교정 AR 이미지로 생성할 수 있다(단계317).Then, the exercise lecture service server 120 may synthesize the participant's image, the real-time posture correction voice, and the real-time posture correction image to generate the posture correction AR image (step 317).

또한, 운동 강의 서비스서버(120)에서 영상회의 어플리케이션부(121)를 통해 생성된 자세교정 AR 이미지를 수강자측 통신단말기(110)로 전송할 수 있다(단계318).In addition, the posture correction AR image generated through the video conferencing application unit 121 in the exercise lecture service server 120 may be transmitted to the student's communication terminal 110 (step 318).

예를 들면, 운동 강의 서비스 서버(120)에서는 AR 이미지의 디스플레이를 통해 운동 강의가 수행되는 중에 강사의 자세교정 실행으로 인해 강사측 통신단말기(130)로부터 전송되는 강사측 실시간 자세교정음성 및 실시간 자세교정영상을 수강자측 영상과 합성하여 자세교정 AR 이미지를 생성하고, 이를 영상회의 어플리케이션부(121)를 통해 생성된 자세교정 AR 이미지를 수강자측 통신단말기(110) 및 강사측 통신단말기(130)로 각각 전송할 수 있다.For example, in the exercise lecture service server 120, the instructor-side real-time posture correction voice and real-time posture transmitted from the instructor-side communication terminal 130 due to the instructor's posture correction while the exercise lecture is being performed through the display of the AR image A posture correction AR image is generated by synthesizing the correction image with the student's image, and the posture correction AR image generated through the video conferencing application unit 121 is transferred to the student's side communication terminal 110 and the instructor's side communication terminal 130. Each can be transmitted.

이와 함께, 운동 강의 서비스 서버(120)에서는 생성된 자세교정 AR 이미지를 방송 어플리케이션부(122)를 통해 버추얼캠 방식으로 변환하여 자세교정 AR 이미지를 수강자측 통신단말기(110)와 미러링된 수강자측 미러링단말기(140)로 전송할 수 있다At the same time, the exercise lecture service server 120 converts the generated posture correction AR image into a virtual cam method through the broadcast application unit 122, and mirrors the posture correction AR image with the participant's communication terminal 110 and mirrors. can be transmitted to the terminal 140 .

다음에, 전송되는 자세교정 AR 이미지는 수강자측 통신단말기(110)를 통해 디스플레이될 수 있다(단계319).Next, the transmitted posture correction AR image may be displayed through the participant's communication terminal 110 (step 319).

아울러, 전송되는 자세교정 AR 이미지는 수강자측 통신단말기(110)와 미러링된 수강자측 미러링단말기(140)에서 디스플레이될 수 있다(320).In addition, the transmitted posture correction AR image may be displayed on the participant-side communication terminal 110 and the mirrored participant-side mirroring terminal 140 ( 320 ).

상술한 바와 같은 수강자측 통신단말기(110)에서는 운동 강의 서비스 서버(120)로부터 수강자측 영상과 강사측 실시간 자세교정음성 및 실시간 자세교정영상이 합성된 자세교정 AR 이미지를 수신하여 디스플레이할 수 있는데, 강사의 자세교정 동작에 대응하여 실시간이면서 연속적으로 자세교정 AR 이미지를 디스플레이할 수 있다.In the student-side communication terminal 110 as described above, it is possible to receive and display the posture-correction AR image in which the student-side image, the instructor-side real-time posture correction voice and the real-time posture correction image are synthesized from the exercise lecture service server 120, It is possible to display the posture correction AR image in real time and continuously in response to the instructor's posture correction movement.

따라서, 본 발명의 다른 실시예에 따르면, 필라테스, 요가 및 헬스 중에서 선택된 어느 하나의 운동 강의를 수행함에 있어 수강자측 영상과 강사측 음성 및 강사측 영상을 합성하여 AR 이미지로 생성하고, 이러한 AR 이미지를 수강자측 통신단말기 및 강사측 통신단말기로 전송함으로써, 실시간으로 소통하면서 맞춤형 운동 강의 AR 서비스를 제공할 수 있다.Therefore, according to another embodiment of the present invention, in performing any one exercise lecture selected from Pilates, yoga, and fitness, an AR image is generated by synthesizing the participant's image, the instructor's voice, and the instructor's image, and these AR images is transmitted to the communication terminal on the student's side and the communication terminal on the instructor's side, so that it is possible to provide customized exercise lecture AR service while communicating in real time.

또한, 본 발명의 다른 실시예에 따르면, 운동 강의를 수행하는 중에 디스플레이되는 AR 이미지를 통해 수강자의 자세교정이 필요한 경우 수강자측 영상과 실시간 자세교정음성 및 실시간 자세교정영상을 합성하여 자세교정 AR 이미지로 생성하고, 이러한 자세교정 AR 이미지를 수강자측 통신단말기 및 강사측 통신단말기로 전송함으로써, 실시간으로 소통하면서 운동 자세교정을 위한 맞춤형 운동 강의 AR 서비스를 제공할 수 있다.In addition, according to another embodiment of the present invention, when a student's posture correction is required through an AR image displayed during an exercise lecture, a posture correction AR image is synthesized with a real-time posture correction voice and a real-time posture correction image. By creating and transmitting this posture correction AR image to the communication terminal on the student's side and the communication terminal on the instructor's side, it is possible to provide a customized exercise lecture AR service for correcting exercise posture while communicating in real time.

Claims (1)

선택된 운동 강좌에 대한 운동 강의 서비스가 세팅된 상태에서 운동 강의를 시작할 경우 수강자측 영상을 전송하고, 상기 수강자측 영상과 강사측 음성 및 강사측 영상이 합성된 AR 이미지를 수신하여 디스플레이하는 수강자측 통신단말기;
상기 수강자측 통신단말기가 접속될 경우 상기 운동 강좌를 선택하도록 운동 강좌 정보를 제공하고, 상기 운동 강좌가 선택될 경우 통신단말기 세팅 정보를 제공하며, 강사의 수업 시작 콜을 상기 수강자측 통신단말기로 전송한 후에, 상기 수강자측 영상과 상기 강사측 음성 및 강사측 영상이 전송될 경우 합성하여 상기 AR 이미지를 생성하고, 상기 AR 이미지를 디스플레이하도록 전송하는 운동 강의 서비스서버;
상기 운동 강의 서비스서버로부터 운동 강좌 선택 정보를 수신하여 저장하고, 상기 운동 강의 서비스서버를 통해 상기 운동 강의가 요청될 경우 강사의 수업 시작 콜을 운동 강의 서비스 서버로 전송한 후에, 상기 강사측 영상 및 강사측 음성을 운동 강의 서비스 서버로 전송하며, 상기 AR 이미지를 수신하여 디스플레이하는 강사측 통신단말기; 및
상기 수강자측 통신단말기, 운동 강의 서비스서버 및 강사측 통신단말기의 각 상호간 통신을 담당하는 통신망;을 포함하는 실시간 소통이 가능한 맞춤형 운동 강의 AR 서비스 시스템.When the exercise lecture service for the selected exercise course is set, when an exercise lecture is started, the student's side image is transmitted, and the student's side communication is received and displayed by receiving the AR image in which the student's side image, the instructor's voice and the instructor's video are synthesized. terminal;
When the student's communication terminal is connected, exercise course information is provided to select the exercise course, and when the exercise course is selected, communication terminal setting information is provided, and the instructor's class start call is transmitted to the student's side communication terminal. After that, when the lecturer's image, the instructor's voice, and the instructor's image are transmitted, the AR image is synthesized to generate the AR image, and the exercise lecture service server is transmitted to display the AR image;
After receiving and storing exercise course selection information from the exercise lecture service server, and when the exercise lecture is requested through the exercise lecture service server, the instructor's class start call is transmitted to the exercise lecture service server, the instructor's video and an instructor-side communication terminal that transmits the instructor's voice to the exercise lecture service server and receives and displays the AR image; and
A customized exercise lecture AR service system capable of real-time communication, including a communication network responsible for mutual communication of the student's communication terminal, the exercise lecture service server, and the instructor's communication terminal.
KR1020220050734A 2021-01-06 2022-04-25 Customized exercise lecture ar service system capable of realtime communication and its method KR20220099509A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220050734A KR20220099509A (en) 2021-01-06 2022-04-25 Customized exercise lecture ar service system capable of realtime communication and its method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210001236A KR20220099241A (en) 2021-01-06 2021-01-06 Customized exercise lecture ar service system capable of realtime communication and its method
KR1020220050734A KR20220099509A (en) 2021-01-06 2022-04-25 Customized exercise lecture ar service system capable of realtime communication and its method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020210001236A Division KR20220099241A (en) 2021-01-06 2021-01-06 Customized exercise lecture ar service system capable of realtime communication and its method

Publications (1)

Publication Number Publication Date
KR20220099509A true KR20220099509A (en) 2022-07-13

Family

ID=82401483

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020210001236A KR20220099241A (en) 2021-01-06 2021-01-06 Customized exercise lecture ar service system capable of realtime communication and its method
KR1020220050734A KR20220099509A (en) 2021-01-06 2022-04-25 Customized exercise lecture ar service system capable of realtime communication and its method

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020210001236A KR20220099241A (en) 2021-01-06 2021-01-06 Customized exercise lecture ar service system capable of realtime communication and its method

Country Status (1)

Country Link
KR (2) KR20220099241A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100705890B1 (en) 2000-09-07 2007-04-10 엘지전자 주식회사 Sports teaching system using an internet and operating method thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100705890B1 (en) 2000-09-07 2007-04-10 엘지전자 주식회사 Sports teaching system using an internet and operating method thereof

Also Published As

Publication number Publication date
KR20220099241A (en) 2022-07-13

Similar Documents

Publication Publication Date Title
CN102783140A (en) Digital conferencing for mobile devices
JPH10134028A (en) Method and device for remote learning using internet
EP1544831A1 (en) Remote education system, course attendance check method, and course attendance check program
KR101899921B1 (en) Online korean language learning system and the method
KR102161034B1 (en) System for providing exercise lecture and method for providing exercise lecture using the same
KR101770220B1 (en) System for foreign language study service using a virtual reality and method thereof
CN108694455A (en) A kind of gymnasium intelligent management reservation system and reserving method
US20130215214A1 (en) System and method for managing avatarsaddressing a remote participant in a video conference
CN112286610A (en) Interactive processing method and device, electronic equipment and storage medium
JPWO2004028163A1 (en) Video input device for sign language conversation, video input / output device for sign language conversation, and sign language interpretation system
CN109035939A (en) A kind of tutoring system based on VR glasses
KR102114703B1 (en) Broadcasting management server and broadcasting management method using the same
KR20130089979A (en) Method of providing media stream switching based interactive lecture service and apparatus thereof, and method of receiving and apparatus thereof
KR20220099509A (en) Customized exercise lecture ar service system capable of realtime communication and its method
KR20180093385A (en) Method for providing education service using application
JP2004007561A (en) Video conference system, terminal equipment included in the same system, and data distributing method
KR102232184B1 (en) System for providing virtual studio for reality contents based on artificial intelligence
JP2003219382A (en) Server for remote education system and the remote education system
JP2022062293A (en) Live distribution Information processing method and program
JP2021040794A (en) Exercise education system, server device, exercise education support service provision method, and program
KR20220055610A (en) Influencer's Live Broadcasting Management Server and Method thereof for Marketing Clothing Products
JP2021086264A (en) Translation management system
KR101771583B1 (en) Method for providing real-time experience sharing service using avatar based on augment reality and virtual reality
KR20210153347A (en) Method and system to provide and use shared content
KR101640410B1 (en) Multiple digital interacting method and system