KR102186607B1 - System and method for ballet performance via augumented reality - Google Patents

System and method for ballet performance via augumented reality Download PDF

Info

Publication number
KR102186607B1
KR102186607B1 KR1020190060204A KR20190060204A KR102186607B1 KR 102186607 B1 KR102186607 B1 KR 102186607B1 KR 1020190060204 A KR1020190060204 A KR 1020190060204A KR 20190060204 A KR20190060204 A KR 20190060204A KR 102186607 B1 KR102186607 B1 KR 102186607B1
Authority
KR
South Korea
Prior art keywords
ballet
content
choreography
performance
storytelling
Prior art date
Application number
KR1020190060204A
Other languages
Korean (ko)
Other versions
KR20200134575A (en
Inventor
백향은
Original Assignee
백향은
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 백향은 filed Critical 백향은
Priority to KR1020190060204A priority Critical patent/KR102186607B1/en
Publication of KR20200134575A publication Critical patent/KR20200134575A/en
Application granted granted Critical
Publication of KR102186607B1 publication Critical patent/KR102186607B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Abstract

본 발명은 증강현실을 통한 발레 공연 시스템 및 방법으로, 안무 내용이나 스토리텔링에 대한 발레 동작을 캐릭터로 표현되어 안무 내용의 발레동작과 맵핑되는 각각의 발레 동작들을 동영상으로 발레 플로어에 투사하는 프로젝터; 상기 프로젝트에 연결되어 발레 공연이 진행되는 플로어에 안무 내용이나 스토리텔링에 대한 발레 동작을 캐릭터로 표현하여 안무 내용의 발레동작과 맵핑되는 발레 동작들을 동영상 컨텐츠로 제공하며, 공연의 내용에 맞게 동영상 컨텐츠가 실시간으로 교체되어 상기 프로젝터에 제공하는 컨텐츠 출력부; 및 상기 컨텐츠 출력부에 접속하여 안무 내용 또는 발레 동작과 맵핑되는 각각의 발레 동작 데이터를 편집, 저장하거나 동영상 데이터를 실시간으로 제어하는 발레 연출부를 포함한다.The present invention relates to a ballet performance system and method through augmented reality, comprising: a projector for projecting each ballet movement mapped with the ballet movement of the choreography content on a ballet floor by expressing the ballet movement for choreography content or storytelling as a character; On the floor where the ballet performance is connected to the above project, the ballet movements for the choreography or storytelling are expressed as characters, and the ballet movements mapped with the ballet movements of the choreography are provided as video contents. A content output unit that is replaced in real time and provided to the projector; And a ballet directing unit connected to the content output unit to edit and store the choreography content or ballet movement data mapped to the ballet movement, or control video data in real time.

Description

증강현실을 통한 발레 공연 시스템 및 방법{System and method for ballet performance via augumented reality}System and method for ballet performance via augumented reality}

본 발명은 증강현실을 통한 발레 공연 시스템 및 방법에 관한 것으로, 더욱 상세하게는 발레 공연이 진행되는 바닥으로 안무 내용이나 스토리 텔링에 대한 발레 동작을 캐릭터로 표현하여 영상으로 제작된 컨텐츠를 프로젝트 빔을 통하여 발레 플로어에 투사하고 발레 공연자로 하여 바닥의 캐릭터 영상을 보고 동작을 따라하는 한편, 발레 공연자의 발레 동작을 인식하여 안무 영상이 실시간으로 교체되어 발레 동작 영상으로 투사함으로써 발레 공연 프로그램을 제공할 수 있도록 한 증강현실을 통한 발레 공연 시스템 및 방법에 대한 것이다. The present invention relates to a ballet performance system and method through augmented reality, and more specifically, a ballet movement for choreography or storytelling is expressed as a character on the floor where the ballet performance is performed, and the contents produced as a video project beam are used. The ballet performance program can be provided by projecting on the ballet floor through the ballet floor, viewing the character image on the floor as a ballet performer, and following the movement, while recognizing the ballet movement of the ballet performer and replacing the choreography image in real time and projecting it as a ballet movement image. It is about a ballet performance system and method through augmented reality.

최근에 댄스, 발레 안무를 보다 전문적으로 배우고자 하는 수요가 국내외적으로 많이 발생하고 있으며 이를 위해 안무 동작을 시각적인 영상으로 세부적인 안무동작을 강의하고, 다양한 스토리텔링에 따른 안무 동작 컨텐츠를 제공할 수 있는 영상 강좌 수단과 방법이 필요하다.Recently, there is a lot of demand to learn dance and ballet choreography more professionally at home and abroad, and for this purpose, we will lecture on detailed choreography movements with visual images of the choreography movements, and provide choreography movement contents according to various storytelling. You need the means and methods of video lectures that can be done.

종래기술로서, 국내 공개특허공보 제2002-0060396호는 디지털 영상 시스템을 이용한 댄스 연습실에 관한 것으로, 디지털 비디오 시스템 장치를 이용하여 소형 나이트 클럽 분위기를 연출하여 댄스를 전문 댄서의 동작에 따라 구분동작, 연속동작, 자유동작 모드로 배우고 즐길 수 있는 형태의 서비스 방법을 제시하고 있다.As a prior art, Korean Patent Laid-Open Publication No. 2002-0060396 relates to a dance practice room using a digital video system, and a digital video system device is used to create a small nightclub atmosphere to divide the dance according to the movement of a professional dancer, It proposes a service method in the form of learning and enjoying in continuous operation and free operation mode.

다른 종래기술로, 국내 공개특허공보 제2015-0085254호는 사용자가 영상 속의 스타들로부터 춤을 배우고 미리 녹화된 스타와 함께 증강현실을 통해 안무를 맞추어 춤을 추거나 함께 노래를 부른 뒤, 춤을 추거나 노래를 부른 영상을 녹화하거나 사진을 찍어 사용자의 소셜 네트워크 서비스(SNS), 멀티미디어 메시징 서비스(MMS) 또는 이메일 등을 이용하여 공유할 수 있는 라이브 댄스 클래스 및 라이브 뮤직 룸을 위한 시스템 및 방법을 제공한다.As another prior art, Korean Patent Publication No. 2015-0085254 discloses that a user learns a dance from stars in a video and dances with a pre-recorded star through augmented reality or sings a song together. A system and method for a live dance class and live music room that can be shared using a user's social network service (SNS), multimedia messaging service (MMS), or email by recording or taking pictures of singing or singing videos. to provide.

한편, 어린이들은 발레 동작이나 안무 내용을 소화하기 어려운 연령대로 공연 소품, 배경과 싱크를 맞추기 어렵고, 공연 등장인물 간 싱크를 맞추기가 어려운 문제가 있었기 때문에 어린이들이 프로 수준의 발레 공연을 쉽게 따라 할 수 있는 시스템이 요구되었다. On the other hand, children have difficulty in synchronizing with performance props and backgrounds, and having difficulties in synchronizing with the performance props and backgrounds to ages where it is difficult to digest ballet movements or choreography, so children can easily imitate professional-level ballet performances. A system was required.

따라서, 장소에 상관없이 안무 동작에 따른 스토리텔링에 부합되는 컨텐츠를 바로 실시간으로 제공하면서 어디서나 발레 공연이 가능하고, 다양한 배경 이미지를 보고 상황에 맞는 안무 동작을 즉흥적으로 구성할 수 있도록 할 뿐만 아니라 공연 내용에 맞게 안무 영상이 실시간으로 교체되어 재미있게 발레 공연이 진행될 수 있도록 하는 것으로서 발레 공연을 위한 발레 동작 컨텐츠 제공 시스템이 요구되고 있는 것이다.Therefore, regardless of the location, it is possible to perform ballet performances anywhere while providing content that matches the storytelling according to the choreography movements in real time, and not only allows you to compose choreographic movements appropriate to the situation by viewing various background images. A system for providing ballet movement contents for ballet performances is required, as the choreography video is replaced in real time according to the contents so that the ballet performance can be performed with fun.

국내 공개특허공보 제2002-0060396호Korean Patent Publication No. 2002-0060396 국내 공개특허공보 제2015-0085254호Korean Patent Publication No. 2015-0085254

본 발명은 전술한 바와 같은 종래의 문제점을 해결하고자 안출된 것으로서, 그의 목적은 발레 공연이 진행되는 바닥으로 안무 내용이나 스토리 텔링에 대한 발레 동작을 캐릭터로 표현하여 영상으로 제작된 컨텐츠를 프로젝트 빔을 통하여 발레 플로어에 투사하고 발레 공연자로 하여 바닥의 캐릭터 영상을 보고 동작을 따라하는 한편, 발레 공연자의 발레 동작을 인식하여 안무 영상이 실시간으로 교체되어 발레 동작 영상으로 투사함으로써 발레 공연 프로그램을 제공할 수 있도록 한 증강현실을 통한 발레 공연 시스템 및 방법을 제공하기 위한 것이다. The present invention was conceived to solve the conventional problems as described above, and its purpose is to display the contents produced as images by expressing the ballet movements for choreography or storytelling as characters on the floor where the ballet performance proceeds. The ballet performance program can be provided by projecting on the ballet floor through the ballet floor, viewing the character image on the floor as a ballet performer, and following the movement, while recognizing the ballet movement of the ballet performer and replacing the choreography image in real time and projecting it as a ballet movement image. It is to provide a ballet performance system and method through augmented reality.

본 발명에 따른 증강 현실을 통한 발레 공연 시스템은, 발레 공연이 진행되는 플로어에 안무 내용이나 스토리텔링에 대한 발레 동작을 캐릭터로 표현되고 안무 내용의 발레동작과 맵핑되는 각각의 발레 동작들을 동영상으로 발레 플로어에 투사하는 프로젝터; 상기 프로젝터에 연결되어 발레 공연이 진행되는 플로어에 안무 내용이나 스토리텔링에 대한 발레 동작을 캐릭터로 표현하여 안무 내용의 발레동작과 맵핑되는 발레 동작들을 동영상 컨텐츠로 제공하며, 발레 공연 내용에 맞게 동영상 컨텐츠가 실시간으로 교체되어 상기 프로젝터에 제공하는 컨텐츠 출력부; 및 상기 컨텐츠 출력부에 접속하여 안무 내용 또는 발레 동작과 맵핑되는 각각의 발레 동작 데이터를 편집, 저장하거나 동영상 데이터를 실시간으로 제어하는 발레 연출부를 포함하는 것을 특징으로 한다.In the ballet performance system through augmented reality according to the present invention, the ballet movement for choreography content or storytelling is expressed as a character on the floor where the ballet performance is performed, and each ballet movement mapped with the ballet movement of the choreography is balleted as a video. A projector to project on the floor; On the floor where the ballet performance is connected to the projector, the ballet movements for choreography or storytelling are expressed as characters, and the ballet movements mapped with the ballet movements of the choreography are provided as video contents, and video contents according to the contents of the ballet performance A content output unit that is replaced in real time and provided to the projector; And a ballet directing unit connected to the content output unit to edit and store the choreography content or ballet movement data mapped to the ballet movement, or to control video data in real time.

또한, 본 발명에 따른 증강 현실을 통한 발레 공연 시스템은, 발레 공연이 진행되는 안무 내용이나 스토리텔링에 대한 발레 동작을 캐릭터로 표현하여 안무 내용의 발레동작과 맵핑되는 각각의 발레 동작들을 영상으로 발레 플로어에 투사하는 프로젝터; 상기 프로젝터에 연결되어 발레 공연이 진행되는 플로어에 안무 내용이나 스토리텔링에 대한 발레 동작을 캐릭터로 표현하여 안무 내용의 발레동작과 맵핑되는 발레 동작들을 동영상 컨텐츠로 제공하며, 공연 내용에 맞게 동영상 컨텐츠가 실시간으로 교체되어 상기 프로젝터에 제공하는 컨텐츠 출력부; 상기 컨텐츠 출력부에 접속하여 안무 내용 또는 발레 동작과 맵핑되는 각각의 발레 동작 데이터를 편집, 저장하거나 동영상 데이터를 실시간으로 제어하는 발레 연출부; 발레 공연이 진행될 때 발레 공연자들이 움직이는 동작과 공연자들의 위치, 배경을 촬영하여 영상 정보로 취득하는 카메라; 및 상기 카메라에서 취득된 영상정보로부터 안무 내용 또는 스토리텔링에 대응되는 발레 동작으로서 미리 정의된 동작정보와 위치정보를 인공지능 기반으로 추출하여 상기 발레 연출부로 실시간 제공하는 공연자 인식부를 포함하는 것을 특징으로 한다.In addition, the ballet performance system through augmented reality according to the present invention expresses the ballet movements for the choreography content or storytelling in which the ballet performance is in progress as a character, so that each ballet movements mapped with the ballet movements of the choreography are displayed as images. A projector to project on the floor; The ballet movements for choreography or storytelling are expressed as characters on the floor where the ballet performance is connected to the projector, and the ballet movements mapped with the ballet movements of the choreography are provided as video contents. A content output unit that is replaced in real time and provided to the projector; A ballet directing unit connected to the content output unit to edit and store the choreography content or ballet movement data mapped to the ballet movement, or control video data in real time; A camera for capturing motions of ballet performers, positions and backgrounds of performers when ballet performances are in progress, and obtaining as image information; And a performer recognition unit that extracts motion information and location information defined in advance as a ballet movement corresponding to choreography content or storytelling from the image information acquired from the camera based on artificial intelligence, and provides it to the ballet director in real time. do.

또한, 본 발명에 따른 증강 현실을 통한 발레 공연 시스템에 있어서, 상기 프로젝터는 플로어에 안무 내용이나 스토리텔링에 대한 발레 동작, 캐릭터를 포함하는 바닥 프로젝션 컨텐츠를 투사하거나, 상기 바닥 프로젝션 컨텐츠에 더하여 벽면에 안무 내용이나 스토리텔링에 대응하는 배경 프로젝션 컨텐츠를 투사하는 것을 특징으로 하는 것이다.In addition, in the ballet performance system through augmented reality according to the present invention, the projector projects a floor projection content including a choreography content, a ballet movement for storytelling, and a character on the floor, or on a wall surface in addition to the floor projection content. It is characterized by projecting background projection content corresponding to choreography content or storytelling.

또한, 본 발명에 따른 증강 현실을 통한 발레 공연 시스템에 있어서, 상기 컨텐츠 출력부는 플로어 바닥에 안무 내용이나 스토리텔링에 대한 발레 동작, 캐릭터를 포함하는 바닥 프로젝션 컨텐츠 또는 벽면에 안무 내용이나 스토리텔링에 대응하는 배경 프로젝션 컨텐츠를 상기 프로젝터로 전송하는 프로젝터 출력모듈; 및 안무 내용이나 스토리텔링에 대한 발레 동작을 캐릭터로 표현하여 안무 내용의 발레동작과 맵핑되는 발레 동작들을 동영상 컨텐츠로 저장하고, 공연 내용에 맞게 동영상 컨텐츠가 실시간으로 교체하도록 컨텐츠를 실시간 구동 제어하는 발레컨텐츠 구동모듈을 포함하는 것을 특징으로 하는 것이다. In addition, in the ballet performance system through augmented reality according to the present invention, the content output unit corresponds to the ballet movement for choreography content or storytelling on the floor floor, floor projection content including characters, or choreography content or storytelling on the wall surface. A projector output module that transmits the background projection content to the projector; And ballet that expresses the ballet movements for choreography or storytelling as characters, stores the ballet movements mapped with the ballet movements of the choreography contents as video contents, and controls the contents in real time so that the video contents are replaced in real time according to the performance contents. It characterized in that it comprises a content driving module.

또한, 본 발명에 따른 증강 현실을 통한 발레 공연 시스템에 있어서, 상기 발레 연출부는 컨텐츠 출력부에 접속하여 안무 내용 또는 발레 동작과 맵핑되는 각각의 발레 동작 데이터를 편집, 저장하는 발레동작 편집모듈; 및 안무 내용 또는 발레 동작과 맵핑되는 동영상 컨텐츠가 실시간으로 교체되도록 제어하는 발레 컨텐츠 제어모듈을 포함하는 것을 특징으로 하는 것이다. In addition, in the ballet performance system through augmented reality according to the present invention, the ballet directing unit is a ballet motion editing module for editing and storing the choreography content or each ballet motion data mapped to the ballet motion by accessing the content output unit; And a ballet content control module for controlling the choreography content or video content mapped with the ballet motion to be replaced in real time.

또한, 본 발명에 따른 증강 현실을 통한 발레 공연 시스템에 있어서, 상기 공연자 인식부는, 발레 공연이 진행될 때 발레 공연자들의 동작과 공연자들의 위치, 배경이 촬영된 카메라로부터 영상 정보로 입력되는 카메라 입력모듈; 및 상기 카메라에서 취득된 영상정보로부터 안무 내용 또는 스토리텔링에 대응되는 발레 동작으로서 미리 정의된 동작정보와 공연자의 위치정보를 인공지능 기반으로 추출하는 발레동작 인식모듈을 포함하는 것을 특징으로 하는 것이다.In addition, in the ballet performance system through augmented reality according to the present invention, the performer recognition unit includes: a camera input module inputting image information from a camera in which motions of ballet performers, positions of performers, and backgrounds are captured when a ballet performance is in progress; And a ballet motion recognition module for extracting predefined motion information and location information of performers as ballet motions corresponding to choreography content or storytelling from the image information acquired from the camera based on artificial intelligence.

또한, 본 발명에 따른 증강 현실을 통한 발레 공연 시스템에 있어서, 상기 발레연출부는 발레 동작 인식모듈로부터 실시간으로 수신되는 공연자 동작을 분석해 시나리오상 발레 이벤트의 입력으로 사용하고, 공연자의 동작정보가 미리 정의된 발레 핵심동작이면 해당 발레 이벤트를 발생시키고 발레컨텐츠 구동모듈에 이벤트 명령을 네트워크로 전달하며, 이벤트 명령을 받은 발레컨텐츠 구동모듈은 해당 컨텐츠를 실시간으로 시각화하는 것을 특징으로 하는 것이다.In addition, in the ballet performance system through augmented reality according to the present invention, the ballet director analyzes a performer's motion received from a ballet motion recognition module in real time and uses it as an input of a ballet event in a scenario, and motion information of the performer is predefined. In the case of the ballet core movement, the ballet event is generated and the event command is transmitted to the ballet content driving module through the network, and the ballet content driving module receiving the event command visualizes the corresponding content in real time.

한편, 본 발명에 따른 증강 현실을 통한 발레 공연 방법은, 발레연출부는 컨텐츠 출력부로 안무 내용 또는 발레 동작과 맵핑되는 각각의 발레 동작 데이터를 편집, 저장하거나 동영상 데이터를 실시간으로 제어하는 단계; 컨텐츠 출력부는 발레 공연이 진행되는 플로어에 안무 내용이나 스토리텔링에 대한 발레 동작을 캐릭터로 표현하여 안무 내용의 발레동작과 맵핑되는 발레 동영상 컨텐츠로 제공하며, 공연 내용에 맞게 동영상 컨텐츠가 실시간으로 교체되어 상기 프로젝터에 제공하는 단계; 및 프로젝터는 발레 공연이 진행되는 플로어에 안무 내용이나 스토리텔링에 대한 발레 동작을 캐릭터로 표현하여 안무 내용의 발레동작과 맵핑되는 각각의 발레 동작들을 동영상으로 발레 플로어에 투사하는 단계를 포함하는 것이다.On the other hand, the ballet performance method through augmented reality according to the present invention, the ballet production unit editing and storing the choreography content or each ballet movement data mapped to the ballet movement to the content output unit, or controlling the video data in real time; The content output unit provides the ballet video content mapped with the ballet movement of the choreography content by expressing the ballet movement for the choreography or storytelling on the floor where the ballet performance is held, and the video content is replaced in real time according to the performance. Providing to the projector; And a step of projecting each ballet movement mapped with the ballet movement of the choreography on the ballet floor as a video by expressing the ballet movement for the choreography content or storytelling as a character on the floor where the ballet performance is performed.

또한, 본 발명에 따른 증강 현실을 통한 발레 공연 방법은, 카메라가 발레 공연이 진행될 때 발레 공연자들이 움직이는 동작과 위치, 배경을 촬영하여 영상 정보로 취득하는 단계; 공연자 인식부는 상기 카메라에서 취득된 영상정보로부터 안무 내용 또는 스토리텔링에 대응되는 발레 동작으로서 미리 정의된 동작정보와 위치정보를 인공지능 기반으로 추출하여 상기 발레 연출부로 실시간 제공하는 단계; 발레 연출부는 안무 내용 또는 발레 동작과 맵핑되는 각각의 발레 동작 데이터를 편집, 저장하거나 동영상 데이터를 실시간으로 제어하는 단계; 컨텐츠 출력부는 발레 공연이 진행되는 플로어에 안무 내용이나 스토리텔링에 대한 발레 동작을 캐릭터로 표현하여 안무 내용의 발레동작과 맵핑되는 발레 동작들을 동영상 컨텐츠로 제공하며, 공연 내용에 맞게 동영상 컨텐츠가 실시간으로 교체되어 프로젝터에 제공하는 단계; 및 프로젝터는 발레 공연이 진행되는 플로어에 안무 내용이나 스토리텔링에 대한 발레 동작을 캐릭터로 표현하여 안무 내용의 발레동작과 맵핑되는 각각의 발레 동작들을 동영상을 발레 플로어에 투사하는 단계를 포함하는 것을 특징으로 하는 것이다.In addition, the method of performing ballet through augmented reality according to the present invention includes the steps of capturing motions, positions, and backgrounds of ballet performers moving when the ballet performance is performed by a camera and obtaining as image information; The performer recognition unit extracts motion information and position information, which are predefined as ballet movements corresponding to choreography content or storytelling, from the image information acquired by the camera, based on artificial intelligence, and provides them to the ballet directing unit in real time; The ballet directing unit comprises the steps of editing and storing data of each ballet movement mapped to the choreography content or ballet movement, or controlling video data in real time; The content output unit expresses the ballet movements for the choreography or storytelling as characters on the floor where the ballet performance is held, and provides the ballet movements mapped with the ballet movements of the choreography as video contents. Replacing and providing the projector; And projecting a video of each ballet movement mapped to the ballet movement of the choreography content on the floor where the ballet performance is performed by expressing the ballet movement for the choreography content or storytelling as a character. It is done with.

또한, 본 발명에 따른 증강 현실을 통한 발레 공연 방법에 있어서, 발레연출부는 발레 동작 인식모듈로부터 실시간으로 수신되는 공연자 동작을 분석해 시나리오상 발레 이벤트의 입력으로 사용하는 단계; 발레 연출부는 분석된 공연자의 동작정보가 미리 정의된 발레 핵심동작이면 해당 발레 이벤트를 발생시키고 발레컨텐츠 구동모듈에 이벤트 명령을 네트워크로 전달하는 단계; 및 발레컨텐츠 구동모듈은 상기 이벤트 명령을 받은 해당 컨텐츠를 실시간으로 시각화하는 단계를 더 포함하는 것을 특징으로 하는 것이다.In addition, in the ballet performance method through augmented reality according to the present invention, the ballet production unit analyzes a performer's motion received in real time from the ballet motion recognition module and uses it as an input of a ballet event in a scenario; The ballet directing unit generates a corresponding ballet event if the analyzed motion information of the performer is a predefined ballet core motion and transmits an event command to the ballet content driving module through the network; And the ballet content driving module further comprises the step of visualizing the corresponding content that has received the event command in real time.

본 발명은 플로어에 투사되는 발레동작 동영상에 의하여 다양한 배경 이미지를 보고 상황에 맞는 안무 동작을 즉흥적으로 구성할 수 있도록 하는 효과가 있다.The present invention has an effect of allowing a variety of background images to be viewed by a ballet motion video projected on the floor and to improvise a choreography motion suitable for a situation.

또한, 본 발명에 의하면 공연자의 안무 동작을 인식하여 공연 내용에 맞게 안무 영상이 실시간으로 교체되어 증강현실을 구현한 공연이 진행될 수 있는 효과가 있다. In addition, according to the present invention, there is an effect that a performance implementing augmented reality can be performed by recognizing a choreography motion of a performer and replacing the choreography image in real time according to the performance content.

또한, 본 발명에 의하면 공연자 동작을 분석해서 미리 정의된 발레 핵심동작이면 해당 발레 이벤트를 발생시키고 해당 컨텐츠를 실시간으로 시각화하는 효과를 기대할 수 있다.In addition, according to the present invention, it is possible to expect an effect of generating a corresponding ballet event and visualizing the corresponding content in real time if it is a key ballet movement defined in advance by analyzing a performer's movement.

도1은 본 발명의 제1실시예에 따른 증강현실을 통한 발레 공연 시스템의 개략적인 구성도이다.
도2는 도1에 도시된 증강현실을 통한 발레 공연 시스템의 상세 블록도이다.
도3은 도1에 따른 증강현실을 통한 발레 공연 시스템이 구현된 예시도이다.
도4는 발레 공연에서 증강현실을 통한 발레 연출의 예시도이다.
도5는 본 발명의 제2실시예에 따른 증강현실을 통한 발레 공연 시스템의 개략적인 구성도이다.
도6은 도5에 도시된 증강현실을 통한 발레 공연 시스템의 블록도이다.
도7은 본 발명에 따른 증강현실을 통한 발레 공연 시스템의 플로우 챠트를 나타낸다.
도8은 도7에 도시된 발레 공연 시스템에 의해서 발레 공연에서 구현되는 증강현실을 통한 발레 연출의 예시도이다.
도9는 도5에 따른 증강현실을 통한 발레 공연 시스템이 구현된 예시도이다.
도10은 본 발명의 제1실시예에 따른 증강현실을 통한 발레 공연 방법의 흐름도이다.
도11은 본 발명의 제2실시예에 따른 증강현실을 통한 발레 공연 방법의 흐름도이다.1 is a schematic configuration diagram of a ballet performance system through augmented reality according to a first embodiment of the present invention.
2 is a detailed block diagram of the ballet performance system through augmented reality shown in FIG.
3 is an exemplary diagram in which a ballet performance system through augmented reality according to FIG. 1 is implemented.
4 is an exemplary diagram of ballet directing through augmented reality in a ballet performance.
5 is a schematic configuration diagram of a ballet performance system through augmented reality according to a second embodiment of the present invention.
6 is a block diagram of a ballet performance system through augmented reality shown in FIG.
7 is a flow chart of a ballet performance system through augmented reality according to the present invention.
8 is an exemplary diagram of ballet directing through augmented reality implemented in a ballet performance by the ballet performance system shown in FIG. 7.
9 is an exemplary diagram in which the ballet performance system through augmented reality according to FIG. 5 is implemented.
10 is a flowchart of a ballet performance method through augmented reality according to the first embodiment of the present invention.
11 is a flowchart of a ballet performance method through augmented reality according to a second embodiment of the present invention.

이하, 첨부된 도면을 참조하면서 본 발명의 실시예에 따른 증강현실을 통한 발레 공연 시스템 및 방법에 대해 상세히 설명하기로 한다. Hereinafter, a ballet performance system and method through augmented reality according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도1은 본 발명의 제1실시예에 따른 증강현실을 통한 발레 공연 시스템의 개략적인 구성도이다.1 is a schematic configuration diagram of a ballet performance system through augmented reality according to a first embodiment of the present invention.

도1을 참조하면, 본 발명의 실시예에 따른 증강현실을 통한 발레 공연 시스템은 컨텐츠 출력부(100), 프로젝터(200), 발레연출부(300)를 포함한다.Referring to FIG. 1, a ballet performance system through augmented reality according to an embodiment of the present invention includes a content output unit 100, a projector 200, and a ballet display unit 300.

컨텐츠 출력부(100)는 상기 프로젝터(200)에 연결되어 발레 공연이 진행되는 플로어(10)에 안무 내용이나 스토리텔링에 대한 발레 동작을 캐릭터로 표현하여 안무 내용의 발레동작과 맵핑되는 발레 동작들을 동영상 컨텐츠로 저장하고, 공연의 내용에 맞게 동영상 컨텐츠가 실시간으로 교체되어 상기 프로젝터(200)에 제공한다.The content output unit 100 is connected to the projector 200 to express ballet movements for choreography content or storytelling as characters on the floor 10 where ballet performances are performed, and perform ballet movements mapped with the ballet movements of the choreography content. It is stored as moving picture contents, and the moving picture contents are replaced in real time according to the contents of the performance and provided to the projector 200.

상기 동영상 컨텐츠는 발레 안무나 동작과 관련하여 벽이나 바닥에 시각화된 영상 컨텐츠를 투영하는 것으로 발레 공연용으로 준비한 디지털 콘텐츠를 실시간으로 시각화하고 다양한 캐릭터를 나타낼 수 있게 한다.The video content projects visualized video content on a wall or floor in connection with ballet choreography or movement, and enables digital content prepared for a ballet performance to be visualized in real time and display various characters.

특히, 상기 컨텐츠 출력부(100)는 프로젝터(200)에 발레 교습자를 위하여 플로어(10)에 안무 내용이나 스토리텔링에 대한 발레 동작에 대응하는 발모양을 투사하여 발레 공연 중 발레 동작을 안내할 수 있도록 한다.In particular, the content output unit 100 can guide the ballet movement during a ballet performance by projecting a foot shape corresponding to a ballet movement for choreography content or storytelling on the floor 10 for the ballet instructor on the projector 200. To be.

프로젝터(200)는 발레 공연이 진행되는 플로어(10)에 안무 내용이나 스토리텔링에 대한 발레 동작을 캐릭터로 표현되고 안무 내용의 발레동작과 맵핑되는 각각의 발레 동작들을 동영상으로 발레 플로어(10)에 투사한다.The projector 200 expresses the ballet movements for choreography or storytelling as characters on the floor 10 where the ballet performance is performed, and each ballet movements mapped with the ballet movements of the choreography are recorded on the ballet floor 10 as videos. Project.

상기 프로젝터(200)에서 투사되는 영상 컨텐츠는 바닥 프로젝션 컨텐츠와 배경 프로젝션 컨텐츠가 있다. Image content projected by the projector 200 includes a floor projection content and a background projection content.

상기 바닥 프로젝션 컨텐츠는 플로어(10)에 안무 내용이나 스토리텔링에 대한 발레 동작, 캐릭터를 포함하는 것으로 플로어 바닥에 영상을 투사하는 것이다.The floor projection content includes choreography content, ballet movements for storytelling, and characters on the floor 10, and an image is projected on the floor.

상기 배경 프로젝션 컨텐츠는 상기 바닥 프로젝션 컨텐츠에 더하여 벽면에 안무 내용이나 스토리텔링에 대응하는 배경 화면 컨텐츠를 투사하는 것이다.The background projection content is to project a background screen content corresponding to choreography content or storytelling on a wall in addition to the floor projection content.

상기 프로젝터(200)는 실시간 동영상 컨텐츠를 디스플레이할 수 있는 것으로서 증강현실(Augumented Reality) 영상을 구현할 수 있는 것이 바람직하다. It is preferable that the projector 200 is capable of displaying real-time video content and can implement an Augmented Reality image.

발레연출부(300)는 상기 컨텐츠 출력부(100)에 접속하여 안무 내용 또는 발레 동작과 맵핑되는 각각의 발레 동작 데이터를 편집, 저장하거나 동영상 데이터를 실시간으로 제어한다.The ballet directing unit 300 accesses the content output unit 100 to edit and store choreography content or ballet movement data mapped to ballet movements, or control video data in real time.

도2는 도1에 도시된 증강현실을 통한 발레 공연 시스템의 상세 블록도이다.2 is a detailed block diagram of the ballet performance system through augmented reality shown in FIG.

도2를 참조하면, 도1에 도시된 증강현실을 통한 발레 공연 시스템에서 상기 컨텐츠 출력부(200)는 프로젝터 출력모듈(210), 발레 컨텐츠 구동모듈(220)을 포함한다.Referring to FIG. 2, in the ballet performance system through augmented reality shown in FIG. 1, the content output unit 200 includes a projector output module 210 and a ballet content driving module 220.

프로젝터 출력모듈(210)은 플로어(10) 바닥에 안무 내용이나 스토리텔링에 대한 발레 동작, 캐릭터를 포함하는 바닥 프로젝션 컨텐츠 또는 벽면에 안무 내용이나 스토리텔링에 대응하는 배경 프로젝션 컨텐츠를 상기 프로젝터로 전송한다.The projector output module 210 transmits the choreography content on the floor of the floor 10 or the ballet movement for storytelling, the floor projection content including characters, or the background projection content corresponding to the choreography content or storytelling on the wall to the projector. .

발레 컨텐츠 구동모듈(220)은 안무 내용이나 스토리텔링에 대한 발레 동작을 캐릭터로 표현하여 안무 내용의 발레동작과 맵핑되는 발레 동작들을 동영상 컨텐츠로 저장하고, 공연 내용에 맞게 동영상 컨텐츠가 실시간으로 교체하도록 컨텐츠를 실시간 구동 제어한다.The ballet content driving module 220 expresses the ballet movement for choreography content or storytelling as a character, stores the ballet movements mapped with the ballet movements of the choreography content as video content, and allows the video content to be replaced in real time according to the performance content. Contents are driven and controlled in real time.

또한, 도2를 참조하면 증강현실을 통한 발레 공연 시스템에서 상기 발레 연출부(300)는 발레동작 편집모듈(310), 발레 컨텐츠 제어모듈(320)을 포함한다.In addition, referring to FIG. 2, in a ballet performance system through augmented reality, the ballet directing unit 300 includes a ballet motion editing module 310 and a ballet content control module 320.

상기 발레동작 편집모듈(310)은 컨텐츠 출력부(200)에 접속하여 안무 내용 또는 발레 동작과 맵핑되는 각각의 발레 동작 데이터를 편집하여 발레 동작 컨텐츠로 저장한다.The ballet motion editing module 310 accesses the content output unit 200 to edit the choreography content or ballet motion data mapped to the ballet motion, and stores them as ballet motion content.

발레 컨텐츠 제어모듈(320)은 안무 내용 또는 발레 동작과 맵핑되는 동영상 컨텐츠가 실시간으로 교체되도록 제어하는 것이다.The ballet content control module 320 controls the choreography content or video content mapped with the ballet movement to be replaced in real time.

도3은 도1, 도2에서 설명된 발레 공연시스템에 의하여 구현된 실시예를 나타내고 있는 것으로서, 안무 내용이나 스토리텔링에 대한 발레 동작을 캐릭터로 표현하여 안무 내용의 발레동작과 맵핑되는 발레 동작들을 동영상으로 플로어(10)에 투사하면서 실시간으로 구현되도록 하는 장면을 보여준다.3 shows an embodiment implemented by the ballet performance system described in FIGS. 1 and 2, and shows ballet movements mapped with the ballet movements of the choreography content by expressing the ballet movements for choreography content or storytelling as characters. It shows a scene to be implemented in real time while projecting it on the floor 10 as a video.

도4는 발레 공연에서 증강현실을 통한 발레 연출의 예시도이다.4 is an exemplary diagram of ballet directing through augmented reality in a ballet performance.

도4를 참조하면, 발레 공연 ‘백조의 호수’에서 발레 동작이 진행되면서 발레 연출 컨텐츠를 프로젝션하여 증강현실을 구현하는 과정이다.Referring to FIG. 4, it is a process of implementing augmented reality by projecting ballet directing contents while the ballet movement proceeds in the ballet performance “Swan Lake”.

도5는 본 발명의 제2실시예에 따른 증강현실을 통한 발레 공연 시스템의 개략적인 구성도이다.5 is a schematic configuration diagram of a ballet performance system through augmented reality according to a second embodiment of the present invention.

도5를 참조하면, 본 발명의 실시예에 따른 증강현실을 통한 발레 공연 시스템은 컨텐츠 출력부(100), 프로젝터(200), 발레연출부(300), 공연자인식부(400) 및 카메라(500)를 포함한다.Referring to FIG. 5, a ballet performance system through augmented reality according to an embodiment of the present invention includes a content output unit 100, a projector 200, a ballet directing unit 300, a performer recognition unit 400, and a camera 500. Includes.

컨텐츠 출력부(100)는 상기 프로젝터(200)에 연결되어 발레 공연이 진행되는 플로어(10)에 안무 내용이나 스토리텔링에 대한 발레 동작을 캐릭터로 표현하여 안무 내용의 발레동작과 맵핑되는 발레 동작들을 동영상 컨텐츠로 저장하고, 공연의 내용에 맞게 동영상 컨텐츠가 실시간으로 교체되어 상기 프로젝터(200)에 제공한다.The content output unit 100 is connected to the projector 200 to express ballet movements for choreography content or storytelling as characters on the floor 10 where ballet performances are performed, and perform ballet movements mapped with the ballet movements of the choreography content. It is stored as moving picture contents, and the moving picture contents are replaced in real time according to the contents of the performance and provided to the projector 200.

프로젝터(200)는 발레 공연이 진행되는 안무 내용이나 스토리텔링에 대한 발레 동작을 캐릭터로 표현하여 안무 내용의 발레동작과 맵핑되는 각각의 발레 동작들을 동영상으로 플로어(10)에 투사한다.The projector 200 projects the ballet movements mapped with the ballet movements of the choreography contents as a video on the floor 10 by expressing the ballet movements for the choreography content or storytelling in which the ballet performance is in progress.

한편, 상기 프로젝터(200)는 카메라(500)의 인식기술을 향상시키기 위해 프로젝터 빔으로 공연자를 추적해서 컬러링하는 기능을 포함할 수 있다.Meanwhile, the projector 200 may include a function of tracking and coloring performers with a projector beam in order to improve the recognition technology of the camera 500.

발레연출부(300)는 상기 컨텐츠 출력부(100)에 접속하여 안무 내용 또는 발레 동작과 맵핑되는 각각의 발레 동작 데이터를 편집, 저장하거나 동영상 데이터를 실시간으로 제어한다.The ballet directing unit 300 accesses the content output unit 100 to edit and store choreography content or ballet movement data mapped to ballet movements, or control video data in real time.

상기 카메라(500)는 발레 공연이 진행될 때 발레 공연자들이 움직이는 동작과 위치, 배경을 촬영하여 영상 정보로 취득한다.The camera 500 captures motions, positions, and backgrounds of ballet performers moving when a ballet performance is in progress, and acquires them as image information.

상기 공연자 인식부(400)는 상기 카메라(500)에서 취득된 영상정보로부터 안무 내용 또는 스토리텔링에 대응되는 발레 동작으로서 미리 정의된 동작정보와 위치정보를 인공지능 기반으로 추출하여 상기 발레 연출부(300)로 실시간으로 제공한다.The performer recognition unit 400 extracts motion information and position information predefined as a ballet motion corresponding to choreography content or storytelling from the image information acquired by the camera 500 based on artificial intelligence, and the ballet directing unit 300 ) In real time.

또한, 도1에 도시된 시스템의 구성에 설명된 내용들은 도5에 도시된 시스템에서 동일하다. Further, the contents described in the configuration of the system shown in FIG. 1 are the same in the system shown in FIG. 5.

도6은 도5에 도시된 증강현실을 통한 발레 공연 시스템의 상세 블록도이다.6 is a detailed block diagram of the ballet performance system through augmented reality shown in FIG.

도6을 참조하면, 도5에 도시된 증강현실을 통한 발레 공연 시스템에서 상기 컨텐츠 출력부(200)는 프로젝터 출력모듈(210), 발레 컨텐츠 구동모듈(220)을 포함한다.Referring to FIG. 6, in the ballet performance system through augmented reality shown in FIG. 5, the content output unit 200 includes a projector output module 210 and a ballet content driving module 220.

상기 컨텐츠 출력부(200)는 프로젝터 출력모듈(210), 발레 컨텐츠 구동모듈(220)을 포함한다.The content output unit 200 includes a projector output module 210 and a ballet content driving module 220.

프로젝터 출력모듈(210)은 플로어(10) 바닥에 안무 내용이나 스토리텔링에 대한 발레 동작, 캐릭터를 포함하는 바닥 프로젝션 컨텐츠 또는 벽면에 안무 내용이나 스토리텔링에 대응하는 배경 프로젝션 컨텐츠를 상기 프로젝터로 전송한다.The projector output module 210 transmits the choreography content or ballet movement for storytelling on the floor of the floor 10, the floor projection content including characters, or the background projection content corresponding to the choreography content or storytelling on the wall to the projector. .

발레 컨텐츠 구동모듈(220)은 안무 내용이나 스토리텔링에 대한 발레 동작을 캐릭터로 표현하여 안무 내용의 발레동작과 맵핑되는 발레 동작들을 동영상 컨텐츠로 저장하고, 공연의 내용에 맞게 동영상 컨텐츠가 실시간으로 교체하도록 컨텐츠를 실시간 구동 제어한다.The ballet content driving module 220 expresses the ballet movements for choreography or storytelling as characters, and stores the ballet movements mapped with the ballet movements of the choreography as video contents, and the video contents are replaced in real time according to the contents of the performance. The content is driven and controlled in real time.

상기 발레 컨텐츠 구동모듈(220)은 공연을 위해 준비한 디지털 콘텐츠를 실시간으로 시각화하는 응용소프트웨어가 포함된 모듈로서 구성될 수 있다.The ballet content driving module 220 may be configured as a module including application software that visualizes digital content prepared for a performance in real time.

또한, 도6을 참조하면 증강현실을 통한 발레 공연 시스템에서 상기 발레 연출부(300)는 발레동작 편집모듈(310), 발레 컨텐츠 제어모듈(320)을 포함한다.In addition, referring to FIG. 6, in a ballet performance system through augmented reality, the ballet directing unit 300 includes a ballet motion editing module 310 and a ballet content control module 320.

상기 발레동작 편집모듈(310)은 컨텐츠 출력부(200)에 접속하여 안무 내용 또는 발레 동작과 맵핑되는 각각의 발레 동작 데이터를 편집하여 발레 동작 컨텐츠로 저장한다.The ballet motion editing module 310 accesses the content output unit 200 to edit the choreography content or ballet motion data mapped to the ballet motion, and stores them as ballet motion content.

상기 발레동작 편집모듈(310)은 연출가가 발레 공연을 위해 컨텐츠와 발레 안무를 시간별로 구성할 수 있는 연출용 편집 소프트웨어가 포함된 모듈로서 구성될 수 있다. The ballet motion editing module 310 may be configured as a module including editing software for directing that allows a director to organize content and ballet choreography for a ballet performance by time.

발레 컨텐츠 제어모듈(320)은 안무 내용 또는 발레 동작과 맵핑되는 동영상 컨텐츠가 실시간으로 교체되도록 제어하는 것으로, 안무 연출가가 발레 공연에 발생하는 다양한 상황에 대응하기 위해 실시간으로 콘텐츠를 변경할 수 있는 응용소프트웨어가 포함된 모듈로서 구성될 수 있다. The ballet content control module 320 controls the choreography content or video content mapped with the ballet motion to be replaced in real time, and an application software that enables the choreographer to change the content in real time to respond to various situations occurring in the ballet performance. It can be configured as a module containing.

또한, 도6을 참조하면 증강현실을 통한 발레 공연 시스템에서 상기 공연자 인식부(400)는 카메라 입력모듈(410), 동작 인식모듈(420)을 포함한다.In addition, referring to FIG. 6, in a ballet performance system through augmented reality, the performer recognition unit 400 includes a camera input module 410 and a motion recognition module 420.

상기 카메라 입력모듈(410)은 발레 공연이 진행될 때 발레 공연자들이 움직이는 동작과 공연자들의 위치, 배경이 촬영된 카메라(500)로부터 영상 정보로 입력된다.The camera input module 410 is input as image information from the camera 500 in which motions of the ballet performers, the positions of the performers, and the background are photographed when the ballet performance is in progress.

이때, 상기 동작 인식모듈(420)은 상기 카메라(500)에서 취득된 영상정보로부터 안무 내용 또는 스토리텔링에 대응되는 발레 동작으로서 미리 정의된 동작정보와 공연자의 위치정보를 인공지능 기반으로 추출하여 발레 연출부(300)로 동작 인식 데이터와 위치 인식 데이터를 실시간 전송하면, 발레 컨텐츠 제어모듈(310)은 이를 참고하여 컨텐츠 출력부(100)의 발레컨텐츠 구동모듈(120)을 실시간 제어하도록 한다.At this time, the motion recognition module 420 extracts motion information predefined as a ballet motion corresponding to choreography content or storytelling from the image information acquired from the camera 500 and the location information of performers based on artificial intelligence When motion recognition data and position recognition data are transmitted to the directing unit 300 in real time, the ballet content control module 310 refers to this and controls the ballet content driving module 120 of the content output unit 100 in real time.

상기 카메라 입력 모듈(410)은 공연 무대 영역을 촬영할 수 있는 RGB 영상 카메라일 수 있고, 상기 동작 인식모듈(420)은 RGB 영상으로부터 공연자의 동작을 인식할 수 있는 응용소프트웨어가 포함된 모듈로서 구성될 수 있다. The camera input module 410 may be an RGB image camera capable of capturing a performance stage area, and the motion recognition module 420 may be configured as a module including application software capable of recognizing a performer's motion from an RGB image. I can.

도7은 본 발명에 따른 증강현실을 통한 발레 공연 시스템의 플로우 챠트를 나타낸다.7 is a flow chart of a ballet performance system through augmented reality according to the present invention.

도7을 참조하면, 컨텐츠 제작자는 컨텐츠 디자인 내용을 컨텐츠 저작툴을 통하여 발레 컨텐츠 에셋을 구성하게 된다.Referring to FIG. 7, a content creator constructs a ballet content asset through a content authoring tool for content design.

발레동작 편집모듈(320)을 통해 공연 연출가는 시간을 축으로 공연에 필요한 안무, 컨텐츠, 무대 이벤트를 배치할 수 있는 편집 소프트웨어를 발레컨텐츠 제어모듈(310)과 실시간 구동기에 설치하고, 편집 소프트웨어를 통하여 공연 컨텐츠 및 컨텐츠 메타 데이터가 생성된다.Through the ballet motion editing module 320, the performance director installs editing software that can arrange choreography, content, and stage events necessary for the performance on the axis of time in the ballet contents control module 310 and real-time actuator, and installs the editing software. Through this, performance content and content metadata are generated.

또한, 발레동작 편집모듈(320)은 실제 공연자와 협업을 하기 전에 3차원 가상 공연자를 이용해 공연을 시뮬레이션하고 이를 연출에 반영할 수 있는 기능을 제공한다.In addition, the ballet motion editing module 320 provides a function of simulating a performance using a 3D virtual performer before collaborating with an actual performer and reflecting it in the production.

한편, 연출자는 발레동작 편집모듈(320)을 통해 공연 세부 단계별로 발레 “핵심 동작”을 공연 콘텐츠 제작시에 미리 지정한다. On the other hand, the director pre-designates the ballet “core motion” in the detailed stage of the performance through the ballet motion editing module 320 when producing the performance content.

또한, 공연 중 발레 동작 인식모듈(420)로부터 실시간으로 수신되는 공연자 동작을 분석해 시나리오상 발레 이벤트의 입력으로 사용하는데, 공연자의 동작정보가 미리 정의된 발레 “핵심동작”이면 해당 발레 이벤트를 발생시키고 발레컨텐츠 구동모듈(120)에 명령을 네트워크로 전달하게 된다.In addition, the performer's motion received from the ballet motion recognition module 420 during the performance is analyzed in real time and used as an input of a ballet event in the scenario. If the motion information of the performer is a predefined ballet “core motion”, the corresponding ballet event is generated. The command is transmitted to the ballet contents driving module 120 through the network.

이벤트 명령을 받은 발레컨텐츠 구동모듈(120)은 해당 컨텐츠를 실시간으로 시각화하게 된다.The ballet content driving module 120 receiving the event command visualizes the corresponding content in real time.

예를 들어, 공연자가 백조의 날개짓을 동작한다면 뼈대 정보로 해당 공연자의 동작을 변환하고, 이것이 “발레 핵심 동작”으로 인식되면, 공연 무대벽에 3D로 구성된 백조 무리가 날아오르는 장면을 실시간 시각화하여 프로젝션 한다.For example, if a performer operates the wing of a swan, the performer's motion is converted into skeleton information, and if this is recognized as a “ballet core motion”, a real-time visualization of a 3D swans flying on the stage wall of the performance. To project.

발레컨텐츠 구동모듈(120)은 발레 연출부(시스템)에 의해 제작된 공연 컨텐츠를 공연 전부터 디스플레이하도록하고, 컨텐츠에 대한 메타 데이터를 공유하는 발레 컨텐츠 제어모듈(310)로부터 실시간으로 제어 신호를 받아서 컨텐츠를 시각화하게 된다. The ballet contents driving module 120 displays the performance contents produced by the ballet directing unit (system) before the performance, and receives a control signal in real time from the ballet contents control module 310 that shares metadata about the contents. Visualization.

발레컨텐츠 구동모듈(120)은 공연 요소를 크게 캐릭터, 배경, 시각효과, 사운드로 구성하여, 적절한 시점과 장소에 공연 요소들을 프로젝션을 통하여 출력시키게 된다.The ballet content driving module 120 largely consists of a character, a background, a visual effect, and a sound, and outputs the performance elements at an appropriate time and place through projection.

상기 동작인식모듈(420)은 카메라 입력모듈(410)로부터 공연자의 발레 동작 영상을 전송 받아 해부학적 동작을 복원하는 응용소프트웨어를 포함하는 구성모듈일 수 있다.The motion recognition module 420 may be a component module including application software for restoring an anatomical motion by receiving an image of a ballet motion of a performer from the camera input module 410.

상기 동작인식모듈(420)이 포함하는 응용소프트웨어는 인간의 신체에 대한 뼈대 구조를 2차원/3차원으로 정의한다.The application software included in the motion recognition module 420 defines the skeleton structure of the human body in 2D/3D.

상기 동작인식모듈(420)은 영상 프레임 단위로 OpenPose를 통해 공연자의 정지 동작 형상을 2차원 뼈대 구조(스켈레톤)로 변환하고, 3차원 뼈대구조를 이용해 2차원 뼈대 동작을 3차원 뼈대 동작으로 변환한다.The motion recognition module 420 converts the static motion shape of the performer into a two-dimensional skeleton structure (skeleton) through OpenPose in units of an image frame, and converts the two-dimensional skeleton motion into a three-dimensional skeleton motion using a three-dimensional skeleton structure. .

3차원 뼈대 동작 알고리즘은 2차원 뼈대 동작 데이터와 모션캡쳐 장비로 측정해서 복원된 3차원 뼈대 데이터를 바탕으로 딥러닝 기법으로 동작 복원 신경망을 획득하게 되고, 뼈대 동작 정보는 발레 컨텐츠 제어모듈(410)에 네트워크를 통해 실시간으로 송신된다.The 3D skeleton motion algorithm acquires a motion restoration neural network using a deep learning technique based on the 2D skeleton motion data and the 3D skeleton data restored by measuring it with a motion capture device, and the skeleton motion information is the ballet content control module 410 Is transmitted in real time over the network.

도8은 도7에 도시된 발레 공연 시스템에 의해서 발레 공연에서 구현되는 증강현실을 통한 발레 연출의 예시도이다.8 is an exemplary diagram of ballet directing through augmented reality implemented in a ballet performance by the ballet performance system shown in FIG. 7.

도8을 참조하면, 발레 공연 ‘백조의 호수’에서 발레 동작이 진행되면서 발레 연출 컨텐츠를 프로젝션하여 증강현실을 구현하는 과정으로서, 발레 공연자의 동작을 인식하여 발레 “핵심동작”으로서 이벤트를 발생시키고, 위치를 인식해서 증강현실 효과를 나타내고 있는 것이다.Referring to FIG. 8, as a process of implementing augmented reality by projecting ballet directing content while the ballet movement proceeds in the ballet performance'Swan Lake', an event is generated as a ballet “core movement” by recognizing the movement of the ballet performer , It recognizes the location and shows the augmented reality effect.

도9은 도5, 도6에서 기술된 증강현실을 통한 발레 공연 시스템에 의하여 구현된 실시예를 나타내고 있는 것으로서, 안무 내용이나 스토리텔링에 대한 발레 동작을 캐릭터로 표현하고 공연자의 동작을 인식하고 이에 맵핑되는 발레 동작들을 캐릭터 영상으로 벽면에 투사하면서 실시간으로 구현되도록 하는 장면을 보여준다.Figure 9 shows an embodiment implemented by the ballet performance system through augmented reality described in Figures 5 and 6, expressing the ballet movement for choreography content or storytelling as a character, and recognizing the performer's movement. It shows a scene in which the ballet movements that are mapped are projected on the wall as character images to be implemented in real time.

도10은 본 발명의 제1실시예에 따른 증강현실을 통한 발레 공연 방법의 흐름도이다.10 is a flowchart of a ballet performance method through augmented reality according to the first embodiment of the present invention.

도10을 참조하면, 발레연출부(300)는 컨텐츠 출력부(100)로 안무 내용 또는 발레 동작과 맵핑되는 각각의 발레 동작 데이터를 편집, 저장하거나 동영상 데이터를 실시간으로 제어한다(S100).Referring to FIG. 10, the ballet production unit 300 edits and stores the choreography content or ballet movement data mapped to the ballet movement by the content output unit 100 or controls the video data in real time (S100).

다음으로, 컨텐츠 출력부(100)는 발레 공연이 진행되는 플로어(10)에 안무 내용이나 스토리텔링에 대한 발레 동작을 캐릭터로 표현하여 안무 내용의 발레동작과 맵핑되는 발레 동작들을 동영상 컨텐츠로 제공하며, 공연의 내용에 맞게 동영상 컨텐츠가 실시간으로 교체되어 상기 프로젝터에 제공한다(S200).Next, the content output unit 100 expresses the ballet movement for choreography or storytelling as a character on the floor 10 where the ballet performance is performed, and provides the ballet movements mapped with the ballet movements of the choreography as video content. , Video content is replaced in real time according to the content of the performance and provided to the projector (S200).

다음으로, 프로젝터(200)는 발레 공연이 진행되는 플로어에 안무 내용이나 스토리텔링에 대한 발레 동작을 캐릭터로 표현하여 안무 내용의 발레동작과 맵핑되는 각각의 발레 동작들을 동영상으로 발레 플로어에 투사하게 된다(S300).Next, the projector 200 expresses the ballet movements for the choreography content or storytelling as characters on the floor where the ballet performance is performed, and projects each ballet movement mapped with the ballet movements of the choreography as a video on the ballet floor. (S300).

상기 프로젝터(200)에서 투사되는 영상 컨텐츠는 플로어(10)에 안무 내용이나 스토리텔링에 대한 발레 동작, 캐릭터를 포함하는 것으로 플로어 바닥에 영상을 투사하거나, 상기 바닥 프로젝션 컨텐츠에 더하여 벽면에 안무 내용이나 스토리텔링에 대응하는 배경 화면 컨텐츠를 투사하는 것이다.The image content projected from the projector 200 includes choreography content, ballet movements for storytelling, and characters on the floor 10, and projects an image on the floor or in addition to the floor projection content, the choreography content or It is to project background screen contents corresponding to storytelling.

이때, 상기 컨텐츠 출력부(100)는 프로젝터(200)에 발레 공연자를 위하여 플로어에 안무 내용이나 스토리텔링에 대한 발레 동작에 대응하는 발모양을 투사하는 단계를 더 포함할 수 있다.In this case, the content output unit 100 may further include projecting a shape of a foot corresponding to a ballet motion for choreography content or storytelling on the floor for the ballet performer on the projector 200.

도11은 본 발명의 제2실시예에 따른 증강현실을 이용한 발레 공연 방법의 흐름도이다.11 is a flowchart of a ballet performance method using augmented reality according to a second embodiment of the present invention.

도11을 참조하면 다음과 같은 과정을 통하여 증강현실을 통한 발레 공연이 진행된다.Referring to FIG. 11, a ballet performance through augmented reality is performed through the following process.

먼저, 카메라(500)가 발레 공연이 진행될 때 발레 교습자들이 움직이는 동작과 위치, 배경을 촬영하여 영상 정보로 취득한다(S10).First, the camera 500 captures the motions, positions, and backgrounds of the ballet instructors moving when the ballet performance is in progress, and acquires them as image information (S10).

다음에, 공연자 인식부(400)는 상기 카메라(500)에서 취득된 영상정보로부터 안무 내용 또는 스토리텔링에 대응되는 발레 동작으로서 미리 정의된 동작정보와 위치정보를 인공지능 기반으로 추출하여 상기 발레 연출부(300)로 실시간 제공한다(S20).Next, the performer recognition unit 400 extracts motion information and position information predefined as a ballet motion corresponding to the choreography content or storytelling from the image information acquired from the camera 500 based on artificial intelligence, and the ballet directing unit It provides real-time at 300 (S20).

이에 따라, 발레 연출부(300)는 안무 내용 또는 발레 동작과 맵핑되는 각각의 발레 동작 데이터를 편집, 저장하거나 동영상 데이터를 실시간으로 제어하게 된다(S30).Accordingly, the ballet directing unit 300 edits and stores the choreography content or ballet motion data mapped to the ballet motion, or controls the video data in real time (S30).

다음으로, 컨텐츠 출력부(100)는 발레 공연이 진행되는 플로어에 안무 내용이나 스토리텔링에 대한 발레 동작을 캐릭터로 표현하여 안무 내용의 발레동작과 맵핑되는 발레 동작들을 동영상 컨텐츠로 제공하며, 공연의 내용에 맞게 동영상 컨텐츠가 실시간으로 교체되어 프로젝터(200)에 제공하는 단계를 진행한다(S40).Next, the content output unit 100 provides the ballet movements mapped with the ballet movements of the choreography contents as video contents by expressing the ballet movements for the choreography content or storytelling as characters on the floor where the ballet performance is performed. The video content is replaced in real time according to the content and provided to the projector 200 (S40).

이에 따라, 프로젝터(200)는 발레 공연이 진행되는 플로어(10)에 안무 내용이나 스토리텔링에 대한 발레 동작을 캐릭터로 표현하여 안무 내용의 발레동작과 맵핑되는 각각의 발레 동작들을 동영상을 발레 플로어에 투사한다(S50).Accordingly, the projector 200 expresses the ballet movement for choreography content or storytelling as a character on the floor 10 where the ballet performance is performed, and displays a video of each ballet movement mapped with the ballet movement of the choreography content on the ballet floor. Project (S50).

상기 프로젝터(200)에서 투사되는 영상 컨텐츠는 플로어(10)에 안무 내용이나 스토리텔링에 대한 발레 동작, 캐릭터를 포함하는 것으로 플로어 바닥에 영상을 투사하거나, 상기 바닥 프로젝션 컨텐츠에 더하여 벽면에 안무 내용이나 스토리텔링에 대응하는 배경 화면 컨텐츠를 투사하는 것이다.The image content projected from the projector 200 includes choreography content, ballet movements for storytelling, and characters on the floor 10, and projects an image on the floor or in addition to the floor projection content, the choreography content or It is to project background screen contents corresponding to storytelling.

한편, 상기 발레 연출부(300)가 발레 동작 데이터를 편집, 저장하거나 동영상 데이터를 실시간으로 제어하는 S30의 단계에서 다음과 같은 세부단계가 더 포함될 수 있다.Meanwhile, the following detailed steps may be further included in the step of S30 in which the ballet directing unit 300 edits and stores ballet motion data or controls video data in real time.

상기 발레연출부(300)는 발레 동작 인식모듈(420)로부터 실시간으로 수신되는 공연자 동작을 분석해 시나리오상 발레 이벤트의 입력으로 사용한다.The ballet directing unit 300 analyzes a performer's motion received from the ballet motion recognition module 420 in real time and uses it as an input of a ballet event in a scenario.

이때, 발레 연출부(300)는 분석된 공연자의 동작정보가 미리 정의된 발레 핵심동작이면 해당 발레 이벤트를 발생시키고 발레컨텐츠 구동모듈(120)에 이벤트 명령을 네트워크로 전달한다.At this time, the ballet directing unit 300 generates a corresponding ballet event if the analyzed motion information of the performer is a predefined ballet core motion and transmits an event command to the ballet content driving module 120 through the network.

발레컨텐츠 구동모듈(120)은 상기 이벤트 명령을 받은 해당 컨텐츠를 실시간으로 시각화하여 프로젝터 출력부를 통하여 컨텐츠를 실시간으로 프로젝션하여 표현하게 된다. The ballet content driving module 120 visualizes the corresponding content that has received the event command in real time, and projects the content in real time through a projector output unit to express the content.

이상에서 본 발명은 기재된 구체적인 실시예에 대해서만 상세히 설명되었지만 본 발명의 기술사상 범위 내에서 다양한 변형 및 수정이 가능함은 당업자에게 있어서 명백한 것이며, 이러한 변형 및 수정이 첨부된 특허청구범위에 속함은 당연한 것이다.In the above, the present invention has been described in detail only with respect to the described specific embodiments, but it is obvious to those skilled in the art that various modifications and modifications are possible within the scope of the technical idea of the present invention, and it is natural that such modifications and modifications belong to the appended claims. .

10 : 플로어 100 : 컨텐츠 출력부
110 : 프로젝터 출력모듈 120 : 발레컨텐츠 구동모듈
200 : 프로젝터 300 : 발레연출부
310 : 발레컨텐츠제어모듈 320 : 발레동작 편집모듈
400 : 공연자 인식부 410 : 카메라 입력모듈
420 : 동작인식모듈 500 : 카메라10: floor 100: content output unit
110: projector output module 120: ballet contents driving module
200: projector 300: ballet director
310: ballet contents control module 320: ballet motion editing module
400: performer recognition unit 410: camera input module
420: motion recognition module 500: camera

Claims (10)

삭제delete 발레 공연이 진행되는 안무 내용이나 스토리텔링에 대한 발레 동작을 캐릭터로 표현하여 안무 내용의 발레동작과 맵핑되는 각각의 발레 동작들을 영상으로 발레 플로어에 투사하되,
안무 내용이나 스토리텔링에 대한 발레 동작, 캐릭터를 포함하는 바닥 프로젝션 컨텐츠를 플로어 바닥에 투과하고, 안무 내용이나 스토리텔링에 대응하는 배경 화면 컨텐츠를 포함하는 배경 프로젝션 컨텐츠를 벽면에 각각 투사하는 프로젝터;
상기 프로젝터에 연결되어 발레 공연이 진행되는 플로어에 안무 내용이나 스토리텔링에 대한 발레 동작을 캐릭터로 표현하여 안무 내용의 발레동작과 맵핑되는 발레 동작들을 동영상 컨텐츠로 제공하며, 공연 내용에 맞게 동영상 컨텐츠가 실시간으로 교체되어 상기 프로젝터에 제공하는 컨텐츠 출력부;
발레 공연이 진행되는 동안 발레 연출가가 상기 컨텐츠 출력부에 접속하여 안무 내용 또는 발레 동작과 맵핑되는 각각의 발레 동작 데이터를 실시간으로 편집, 저장하거나, 안무 연출가가 상기 컨텐츠 출력부에 접속하여 실시간으로 컨텐츠를 변경하거나 제어하는 발레 연출부;
발레 공연이 진행될 때 발레 공연자들이 움직이는 동작과 공연자들의 위치, 배경을 촬영하여 영상 정보로 취득하는 카메라; 및
상기 카메라에서 취득된 영상정보로부터 안무 내용 또는 스토리텔링에 대응되는 발레 동작으로서 미리 정의된 동작정보와 위치정보를 인공지능 기반으로 추출하여 상기 발레 연출부로 실시간 제공하는 공연자 인식부를 포함하는 것을 특징으로 하는 증강 현실을 통한 발레 공연 시스템. Each ballet movement mapped with the ballet movement of the choreography content is projected onto the ballet floor as a video by expressing the ballet movements for the choreography or storytelling in which the ballet performance is in progress,
A projector that transmits floor projection content including choreography content, ballet movements for storytelling, and characters to the floor floor, and projecting background projection content including background screen content corresponding to the choreography content or storytelling on a wall, respectively;
The ballet movements for choreography or storytelling are expressed as characters on the floor where the ballet performance is connected to the projector, and the ballet movements mapped with the ballet movements of the choreography are provided as video contents. A content output unit that is replaced in real time and provided to the projector;
During a ballet performance, a ballet director accesses the content output unit to edit and save the choreography content or each ballet movement data mapped to the ballet movement in real time, or the choreographer accesses the content output unit to provide content in real time. Ballet directing unit for changing or controlling the;
A camera that captures motions of ballet performers, positions and backgrounds of performers when ballet performances are in progress, and acquires them as image information; And
And a performer recognition unit that extracts motion information and position information predefined as a ballet movement corresponding to choreography content or storytelling from the image information acquired from the camera based on artificial intelligence, and provides it to the ballet director in real time. Ballet performance system through augmented reality. 삭제delete 제 2 항에 있어서,
컨텐츠 출력부는,
플로어 바닥에 안무 내용이나 스토리텔링에 대한 발레 동작, 캐릭터를 포함하는 바닥 프로젝션 컨텐츠 또는 벽면에 안무 내용이나 스토리텔링에 대응하는 배경 프로젝션 컨텐츠를 상기 프로젝터로 전송하는 프로젝터 출력모듈; 및
안무 내용이나 스토리텔링에 대한 발레 동작을 캐릭터로 표현하여 안무 내용의 발레동작과 맵핑되는 발레 동작들을 동영상 컨텐츠로 저장하고, 공연 내용에 맞게 동영상 컨텐츠가 실시간으로 교체하도록 컨텐츠를 실시간 구동 제어하는 발레컨텐츠 구동모듈을 포함하는 것을 특징으로 하는 증강현실을 통한 발레 공연 시스템.The method of claim 2,
The content output unit,
A projector output module for transmitting choreography content or ballet movements for storytelling on the floor floor, floor projection content including characters, or background projection content corresponding to choreography content or storytelling on a wall to the projector; And
Ballet content that expresses the ballet movement for choreography or storytelling as a character, stores the ballet movements mapped with the ballet movements of the choreography content as video content, and controls the content in real time so that the video content is replaced in real time according to the performance Ballet performance system through augmented reality, characterized in that it comprises a driving module. 제 2 항에 있어서,
발레 연출부는,
컨텐츠 출력부에 접속하여 안무 내용 또는 발레 동작과 맵핑되는 각각의 발레 동작 데이터를 편집, 저장하는 발레동작 편집모듈; 및
안무 내용 또는 발레 동작과 맵핑되는 동영상 컨텐츠가 실시간으로 교체되도록 제어하는 발레 컨텐츠 제어모듈을 포함하는 것을 특징으로 하는 증강 현실을 통한 발레 공연 시스템. The method of claim 2,
The Ballet Director,
A ballet motion editing module connected to the content output unit to edit and store choreography content or ballet motion data mapped to the ballet motion; And
Ballet performance system through augmented reality, characterized in that it comprises a ballet content control module for controlling so that the choreography content or video content mapped with the ballet motion is replaced in real time. 제 2 항에 있어서,
공연자 인식부는,
발레 공연이 진행될 때 발레 공연자들의 동작과 공연자들의 위치, 배경이 촬영된 카메라로부터 영상 정보로 입력되는 카메라 입력모듈; 및
상기 카메라에서 취득된 영상정보로부터 안무 내용 또는 스토리텔링에 대응되는 발레 동작으로서 미리 정의된 동작정보와 공연자의 위치정보를 인공지능 기반으로 추출하는 발레동작 인식모듈을 포함하는 것을 특징으로 하는 증강현실을 통한 발레 공연 시스템. The method of claim 2,
The performer recognition unit,
A camera input module for inputting video information from a camera in which motions of ballet performers, positions of performers, and backgrounds are captured when a ballet performance is performed; And
Augmented reality, characterized in that it comprises a ballet motion recognition module for extracting predefined motion information and location information of performers as ballet motions corresponding to choreography content or storytelling from the image information acquired from the camera based on artificial intelligence. Ballet performance system through. 제 2 항에 있어서,
발레연출부는 발레 동작 인식모듈로부터 실시간으로 수신되는 공연자 동작을 분석해 시나리오상 발레 이벤트의 입력으로 사용하고, 공연자의 동작정보가 미리 정의된 발레 핵심동작이면 해당 발레 이벤트를 발생시키고 발레컨텐츠 구동모듈에 이벤트 명령을 네트워크로 전달하며, 이벤트 명령을 받은 발레컨텐츠 구동모듈은 해당 컨텐츠를 실시간으로 시각화하는 것을 특징으로 하는 증강현실을 통한 발레 공연 시스템.The method of claim 2,
The ballet director analyzes the performer's motion received from the ballet motion recognition module in real time and uses it as an input of the ballet event in the scenario. If the motion information of the performer is a predefined ballet key motion, the ballet event is generated and the event is sent to the ballet content driving module. A ballet performance system through augmented reality, characterized in that the ballet content driving module that delivers the command to the network and receives the event command visualizes the corresponding content in real time. 삭제delete 카메라가 발레 공연이 진행될 때 발레 공연자들이 움직이는 동작과 위치, 배경을 촬영하여 영상 정보로 취득하는 단계;
공연자 인식부는 상기 카메라에서 취득된 영상정보로부터 안무 내용 또는 스토리텔링에 대응되는 발레 동작으로서 미리 정의된 동작정보와 위치정보를 인공지능 기반으로 추출하여 발레 연출부로 실시간 제공하는 단계;
발레 연출부는 발레 공연이 진행되는 동안 발레 연출가가 컨텐츠 출력부에 접속하여 안무 내용 또는 발레 동작과 맵핑되는 각각의 발레 동작 데이터를 실시간으로 편집, 저장하거나, 안무 연출가가 상기 컨텐츠 출력부에 접속하여 실시간으로 컨텐츠를 변경하여 컨텐츠 제공을 각각 제어하는 단계;
컨텐츠 출력부는 발레 공연이 진행되는 플로어에 안무 내용이나 스토리텔링에 대한 발레 동작을 캐릭터로 표현하여 안무 내용의 발레동작과 맵핑되는 발레 동작들을 동영상 컨텐츠로 제공하며, 공연 내용에 맞게 동영상 컨텐츠가 실시간으로 교체되어 프로젝터에 제공하는 단계; 및
프로젝터는 발레 공연이 진행되는 플로어에 안무 내용이나 스토리텔링에 대한 발레 동작을 캐릭터로 표현하여 안무 내용의 발레동작과 맵핑되는 각각의 발레 동작들을 동영상을 발레 플로어에 투사하되,
안무 내용이나 스토리텔링에 대한 발레 동작, 캐릭터를 포함하는 바닥 프로젝션 컨텐츠를 플로어 바닥에 투과하고, 안무 내용이나 스토리텔링에 대응하는 배경 화면 컨텐츠를 포함하는 배경 프로젝션 컨텐츠를 벽면에 각각 투사하는 단계를 포함하는 것을 특징으로 하는 증강현실을 통한 발레 공연 방법.Capturing motions, positions, and backgrounds of ballet performers moving when the ballet performance is performed by a camera and obtaining as image information;
The performer recognition unit extracts motion information and position information, which are predefined as ballet motions corresponding to choreography content or storytelling, from the image information acquired by the camera, based on artificial intelligence, and provides them to the ballet director in real time;
During the ballet performance, the ballet director accesses the content output unit and edits and stores the choreography content or each ballet movement data mapped to the ballet movement in real time, or the choreographer accesses the content output unit in real time. Controlling content provision by changing content to each other;
The content output unit expresses the ballet movements for the choreography or storytelling as characters on the floor where the ballet performance is held, and provides the ballet movements mapped with the ballet movements of the choreography as video contents. Replacing and providing the projector; And
The projector displays a video of each ballet movement mapped with the ballet movement of the choreography content on the floor where the ballet performance is performed by expressing the ballet movement for the choreography content or storytelling as a character.
Including the steps of transmitting the floor projection content including the choreography content, ballet movements for storytelling, and characters to the floor floor, and projecting the background projection content including the background screen content corresponding to the choreography content or storytelling on the wall, respectively. Ballet performance method through augmented reality, characterized in that to. 제 9 항에 있어서,
발레연출부는 발레 동작 인식모듈로부터 실시간으로 수신되는 공연자 동작을 분석해 시나리오상 발레 이벤트의 입력으로 사용하는 단계;
발레 연출부는 분석된 공연자의 동작정보가 미리 정의된 발레 핵심동작이면 해당 발레 이벤트를 발생시키고 발레컨텐츠 구동모듈에 이벤트 명령을 네트워크로 전달하는 단계; 및
발레컨텐츠 구동모듈은 상기 이벤트 명령을 받은 해당 컨텐츠를 실시간으로 시각화하는 단계를 더 포함하는 것을 특징으로 하는 증강현실을 통한 발레 공연 방법.The method of claim 9,
The ballet production unit analyzes a performer's motion received in real time from the ballet motion recognition module and uses it as an input of a ballet event in a scenario;
The ballet directing unit generates a corresponding ballet event if the analyzed motion information of the performer is a predefined ballet core motion and transmits an event command to the ballet contents driving module through the network; And
The ballet content driving module further comprises the step of visualizing in real time the corresponding content that has received the event command.
KR1020190060204A 2019-05-22 2019-05-22 System and method for ballet performance via augumented reality KR102186607B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190060204A KR102186607B1 (en) 2019-05-22 2019-05-22 System and method for ballet performance via augumented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190060204A KR102186607B1 (en) 2019-05-22 2019-05-22 System and method for ballet performance via augumented reality

Publications (2)

Publication Number Publication Date
KR20200134575A KR20200134575A (en) 2020-12-02
KR102186607B1 true KR102186607B1 (en) 2020-12-03

Family

ID=73779568

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190060204A KR102186607B1 (en) 2019-05-22 2019-05-22 System and method for ballet performance via augumented reality

Country Status (1)

Country Link
KR (1) KR102186607B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102512767B1 (en) 2022-09-19 2023-03-21 경북대학교 산학협력단 Ballet-related service platform system and ballet-related service providing method
KR102538942B1 (en) * 2022-06-07 2023-06-02 신민희 System for Home Training Service Using Ballet Barre
KR102635477B1 (en) 2023-08-01 2024-02-08 김재하 Device for providing performance content based on augmented reality and method therefor

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102387355B1 (en) * 2021-05-21 2022-04-18 주식회사 버드핸드 The method and apparatus for providing perpormance contents based on augmented reality
KR102541984B1 (en) * 2023-02-22 2023-06-13 최준석 Ballet performance simulator, and a recording media recorded with a program for the same
KR102541986B1 (en) * 2023-02-22 2023-06-13 최준석 Ballet performance simulator, and a recording media recorded with a program for the same

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101979750B1 (en) * 2018-09-07 2019-05-17 주식회사 큐랩 Dance training contents authoring system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020060396A (en) 2001-01-10 2002-07-18 유덕종 Dance Practice Room Using Digital Imaging System
KR101613777B1 (en) 2014-01-15 2016-04-19 (주)디스트릭트홀딩스 Service system and service method for live dance class and live dance music room
KR101717490B1 (en) * 2015-03-18 2017-03-20 박명자 System and method for implementing a performance using motion
KR20170010157A (en) * 2015-07-15 2017-01-26 (주)블루클라우드 Method for guiding actions of an user in interactive exercise programs and the apparatus thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101979750B1 (en) * 2018-09-07 2019-05-17 주식회사 큐랩 Dance training contents authoring system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102538942B1 (en) * 2022-06-07 2023-06-02 신민희 System for Home Training Service Using Ballet Barre
KR102512767B1 (en) 2022-09-19 2023-03-21 경북대학교 산학협력단 Ballet-related service platform system and ballet-related service providing method
KR102635477B1 (en) 2023-08-01 2024-02-08 김재하 Device for providing performance content based on augmented reality and method therefor

Also Published As

Publication number Publication date
KR20200134575A (en) 2020-12-02

Similar Documents

Publication Publication Date Title
KR102186607B1 (en) System and method for ballet performance via augumented reality
US11303872B2 (en) Methods and system for generating and displaying 3D videos in a virtual, augmented, or mixed reality environment
Beane 3D animation essentials
US8633933B2 (en) System and method of producing an animated performance utilizing multiple cameras
AU2009330607B2 (en) System and methods for dynamically injecting expression information into an animated facial mesh
US7324069B2 (en) Animation review methods and apparatus
US20160110922A1 (en) Method and system for enhancing communication by using augmented reality
US20130135315A1 (en) Method, system and software program for shooting and editing a film comprising at least one image of a 3d computer-generated animation
US10789726B2 (en) Methods and systems for film previsualization
JP2022500795A (en) Avatar animation
KR20160069663A (en) System And Method For Producing Education Cotent, And Service Server, Manager Apparatus And Client Apparatus using therefor
Galvane et al. Vr as a content creation tool for movie previsualisation
US10032447B1 (en) System and method for manipulating audio data in view of corresponding visual data
Bennett et al. Teaching visual storytelling for virtual production pipelines incorporating motion capture and visual effects
KR102262894B1 (en) System and method for ballet lesson using projection mapping
US11962741B2 (en) Methods and system for generating and displaying 3D videos in a virtual, augmented, or mixed reality environment
Jin et al. Volumivive: An Authoring System for Adding Interactivity to Volumetric Video
US10714146B2 (en) Recording device, recording method, reproducing device, reproducing method, and recording/reproducing device
Chan Cinematic virtual reality film practice: expanded profilmic event and mode of production
Ucchesu A Mixed Reality application to support TV Studio Production
Kruse et al. Teaching Visual Storytelling for Virtual Production Pipelines Incorporating Motion Capture and Visual Effects
Giraldo Saldarriaga Digital Animation Workflow for Live Cinema:" Roll"-Visual Performance
Sinopoli Designing Accessible Pipelines for Visual Effects and Virtual Reality
CN116847168A (en) Video editor, video editing method and related device
Steijn Method through motion–structuring theory and practice for motion graphics in spatial contexts

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant