KR102524871B1 - 휴대 단말기를 이용한 실시간 미디 기반 음악 방송의 서비스 방법 및 미디 기반의 음악 방송을 실시간 전송하는 휴대 단말기 - Google Patents

Abstract

본 발명은 종래에 고품질의 음악 방송 콘텐츠의 제작을 위해 스마트폰과 같은 휴대 단말기뿐만 아니라 여러 가지 다른 부가적인 장비들이 필요했었던 문제점을 해결하여, 공연자가 사용하는 휴대 단말기 하나만으로 기존에 노래반주기 등의 여러 가지 부가 장비를 함께 이용하여 제작하는 음악 방송의 콘텐츠와 동등 또는 그 이상의 품질을 갖는 높은 수준의 음악 방송 콘텐츠의 실시간 전송이 가능하도록 하는, 휴대 단말기를 이용한 실시간 미디 기반 음악 방송의 서비스 방법 및 미디 기반의 음악 방송을 실시간 전송하는 휴대 단말기를 제공한다.

Description

휴대 단말기를 이용한 실시간 미디 기반 음악 방송의 서비스 방법 및 미디 기반의 음악 방송을 실시간 전송하는 휴대 단말기{METHOD FOR REAL-TIME SERVING MUSIC BROADCASTING BASED ON MIDI USING PERSONAL MOBILE TERMINAL AND MOBILE TERMINAL FOR REAL-TIME TRANSMITTING MUSIC BROADCASTING BASED ON MIDI}

본 발명은 방송 콘텐츠를 제공하는 공연자가 자신의 휴대 단말기를 이용하여 간편하게 실시간 미디 기반의 음악 방송을 서비스하는 방법 및 장치에 관한 발명이다.

정보통신의 기술이 발전하면서 최근 들어 인터넷을 통해 개인들이 각기 다양한 콘텐츠를 제공하는 개인 방송 콘텐츠를 제작하고 이를 시청자들에게 제공하는 방송 콘텐츠 서비스가 활발하게 이루어지고 있다.

최근 스마트폰의 여러 가지 기능들과 방송 콘텐츠 제작에 적합한 여러 가지 어플리케이션의 등장으로 개인들이 자신의 스마트폰을 이용하여 각자 개성을 살려서 다양한 방송 콘텐츠를 제공하는 것이 가능하게 되었다.

위와 같은 여러 가지 방송 콘텐츠 중에서, 특히 음악 방송의 경우 방송을 제작하는 공연자가 시청자들의 신청곡들 중에서 특정 곡을 선택하여 노래 부르기 등을 하는 음악 방송 콘텐츠가 인기를 끌고 있는데, 종래에는 공연자가 스마트폰과 같은 도구를 이용하여 스마트폰의 카메라를 통해 영상을 촬영하고 별도의 오디오 장치를 통해 출력되는 음악에 따라 공연자가 노래부르기를 하면 그 음악과 공연자의 음성이 스마트폰의 녹음기에 녹음되어, 상기 영상과 녹음된 오디오가 하나의 파일로 생성되어 스트리밍 서버 등을 통해 시청자들의 단말기로 방송 콘텐츠가 실시간 전송되는 방식이 이용되었다.

그런데, 상기한 바와 같이 오디오 장치에서 출력되는 음악과 공연자의 음성이 함께 녹음될 경우 오디오 장치가 재생하는 여러 가지 다양한 악기의 소리가 그대로 전달되지 않고 음질이 저하되며 모노 음향이 되어 오디오 장치가 전달하는 현장감을 음악 방송을 시청하는 시청자들에게는 전달할 수 없는 문제가 있었다.

높은 수준의 음악 콘텐츠를 제공하는 음악 방송을 제공하기 위해서는 스튜디오에서 실제로 음악 연주를 위한 악기들과 각 악기들을 연주하는 연주자, 그리고 노래를 부르는 공연자가 함께 음악 공연을 하는 것을 방송 콘텐츠로 제공하는데, 이때 각각의 악기 소리마다 별도의 오디오 데이터를 생성하고 공연자의 보이스 역시 별도의 데이터로 생성하여, 각각의 오디오 데이터와 보이스 데이터를 믹싱장치(Mixer)로 믹싱하여 시청자들의 단말기로 전달하는 방식으로 방송 콘텐츠를 제작할 수 있다.

그러나, 상기한 바와 같은 방식은 스마트폰으로 녹음을 하여 음악 방송을 전달하는 방식보다는 더 높은 품질의 음악 방송 콘텐츠를 제공할 수 있지만 너무 많은 장비와 악기, 연주자들이 필요하기 때문에 간편하게 방송 콘텐츠를 제작하는 것은 불가능하다는 문제가 있었다.

그리고, 스튜디오에서 여러 악기가 연주된다고 하더라도 이를 방송 콘텐츠로 실시간 전송할 때에는 그 현장에서의 악기 연주음 등이 상당 부분 소실되어 실제로 MP3 수준의 음악 콘텐츠를 제공하는 것에 그친다는 점에서 한계가 있다.

음악 방송 콘텐츠의 제작에 있어서 장비를 최소로 줄이면서도 높은 수준의 음악 방송 콘텐츠를 간편하게 제작할 수 있도록 하는 방식으로, 노래반주기와 믹싱장치를 스마트폰과 연결하여 음악 방송 콘텐츠를 제작하는 방식에 대한 기술이 공개되어 있다.

이와 관련한 선행기술문헌으로서 공개특허공보 제10-2019-0138980호, 공개특허공보 제10-2019-0143599호, 공개특허공보 제10-2017-0016691호 등이 공개되어 있다.

상기한 바와 같은 선행기술들은 노래반주기에서 제공하는 미디(MIDI) 음질의 사운드와 방송에서 공연하는 공연자의 보이스를 각각 분리하여 믹싱장치를 통해 믹싱하여 방송 영상데이터와 함께 시청자들의 단말기로 스트리밍 서버를 통해 실시간 전송함으로써 높은 수준의 음악 방송 콘텐츠의 전송이 가능하도록 하였다.

그러나, 위와 같이 스마트폰과 같은 휴대 단말기로 방송을 제작함에 있어 노래반주기와 믹싱장치 등과 같이 쉽게 준비하기 어려운 장비들을 준비해야만 비로소 음악 방송 콘텐츠의 제작을 할 수 있다는 점에서 개인이 간편하게 음악 방송을 제작하는데 한계가 있는 문제점이 여전히 존재하였다.

[선행기술 문헌]

공개특허공보 제10-2019-0138980호

공개특허공보 제10-2019-0143599호

공개특허공보 제10-2017-0016691호

본 발명은 종래에 고품질의 음악 방송 콘텐츠의 제작을 위해 스마트폰과 같은 휴대 단말기뿐만 아니라 여러 가지 다른 부가적인 장비들이 필요했었던 문제점을 해결하여, 공연자가 사용하는 휴대 단말기 하나만으로 기존에 노래반주기 등의 여러 가지 부가 장비를 함께 이용하여 제작하는 음악 방송의 콘텐츠와 동등 또는 그 이상의 품질을 갖는 높은 수준의 음악 방송 콘텐츠의 실시간 전송이 가능하도록 하는, 휴대 단말기를 이용한 실시간 미디 기반 음악 방송의 서비스 방법 및 미디 기반의 음악 방송을 실시간 전송하는 휴대 단말기를 제공한다.

본 발명의 일 실시예에 따른 휴대 단말기를 이용한 실시간 미디 기반 음악 방송의 서비스 방법은, 상기 휴대 단말기의 카메라 모듈에 의한 방송 영상의 촬영이 이루어지면서 촬영되는 영상 데이터가 네트워크에 접속된 시청자측 단말기로 실시간 전송되는 단계; 상기 휴대 단말기의 제어 모듈에 의해 실행되어 미디 데이터에 따라 사운드 폰트를 이용하여 미디 음악을 구현하는 소프트-미디 엔진에 의해, 선택된 곡의 미디 음악이 플레이되는 단계; 공연자의 보이스가 마이크를 통해 상기 휴대 단말기로 입력되는 단계; 및 상기 휴대 단말기의 제어 모듈에 의해 상기 미디 음악의 사운드와 상기 공연자의 보이스가 정합되며, 상기 정합된 사운드-보이스 데이터가 상기 네트워크에 접속된 시청자측 단말기로 실시간 전송되는 단계를 포함한다.

또한 바람직하게는, 상기 영상 데이터가 실시간 전송되는 단계 및 상기 사운드-보이스 데이터가 실시간 전송되는 단계는, 상기 휴대 단말기로부터 상기 시청자측 단말기로 브라우저 대 브라우저 간 실시간 데이터 전송이 되는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 선택된 곡의 미디 음악이 플레이되는 단계는, 상기 휴대 단말기를 통해 곡이 선택됨에 따라 상기 선택된 곡의 미디 데이터가 추출되는 단계와, 상기 소프트-미디 엔진이 상기 추출된 미디 데이터 상의 전자악기의 연주 정보에 따라 사운드 폰트를 이용하여 상기 추출된 미디 데이터의 미디 음악을 플레이하는 단계를 포함하는 것을 특징으로 한다.

한편, 본 발명의 다른 일 실시예에 따른 휴대 단말기를 이용한 실시간 미디 기반 음악 방송의 서비스 방법으로서, 상기 휴대 단말기의 카메라 모듈에 의한 방송 영상의 촬영이 이루어지면서 촬영되는 영상 데이터가 네트워크에 접속된 시청자측 단말기로 실시간 전송되는 단계; 상기 휴대 단말기와 상기 시청자측 단말기에서 사운드 폰트를 이용하여 미디 음악을 구현하는 소프트-미디 엔진이 준비되며, 상기 휴대 단말기에서 곡이 선택됨에 따라 해당 곡에 대한 정보가 상기 시청자측 단말기에 전송되어 상기 시청자측 단말기 각각에서 상기 선택된 곡에 대한 미디 데이터가 준비되는 단계; 마이크를 통해 상기 휴대 단말기로 입력되는 공연자의 보이스 데이터가 상기 시청자측 단말기로 실시간 전송되는 단계; 및 상기 시청자측 단말기에서 소프트-미디 엔진에 의해 상기 선택된 곡의 미디 데이터에 따른 미디 음악이 구현되면서 상기 전송된 보이스 데이터에 따른 보이스가 제공되는 단계를 포함한다.

또한 바람직하게는, 상기 공연자의 휴대 단말기를 메인 단말기로 하여, 상기 공연자와 협업 방송을 하는 적어도 한 명의 다른 공연자의 휴대 단말기가 상기 메인 단말기와 통신 연결되는 단계와, 상기 메인 단말기와 상기 적어도 한 명의 다른 공연자의 휴대 단말기가 동일한 미디 음악에 대해 협업 방송을 함에 따라 상기 적어도 한 명의 다른 공연자의 휴대 단말기로부터 상기 메인 단말기로 상기 협업 방송에 따른 데이터가 전송되는 단계와, 상기 메인 단말기로 수집된 협업 방송에 따른 데이터가 동기화되는 단계와, 상기 동기화되는 데이터가 상기 메인 단말기로부터 상기 시청자측 단말기로 실시간 전송되는 단계를 더 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 공연자가 상기 휴대 단말기를 이용하여 생성하는 방송 데이터와, 상기 공연자와 협업 방송하는 적어도 한 명의 다른 공연자가 자신의 휴대 단말기를 이용하여 생성하는 방송 데이터가 싱크 허브로 수집되어 동기화되는 단계와, 상기 싱크 허브로 수집되어 동기화되는 방송 데이터가 상기 싱크 허브로부터 상기 시청자측 단말기로 실시간 전송되는 단계를 더 포함하는 것을 특징으로 한다.

한편, 본 발명의 또 다른 일 실시예에 따른 휴대 단말기를 이용한 실시간 미디 기반 음악 방송의 서비스 방법은, 복수의 공연자가 각자의 휴대 단말기를 이용하여 협업 방송을 진행하는 단계; 상기 복수의 공연자의 휴대 단말기 각각에서 미디 데이터에 따라 사운드 폰트를 이용하여 미디 음악을 구현하는 소프트-미디 엔진이 실행되며, 선택된 곡의 미디 데이터에 따른 미디 음악이 상기 복수의 공연자의 휴대 단말기 각각에서 플레이되는 단계; 상기 복수의 공연자 각자의 보이스가 각자의 휴대 단말기로 마이크를 통해 입력되고, 상기 복수의 공연자 각각의 휴대 단말기로부터 각각의 보이스 데이터가 싱크 허브로 수집되어 상기 미디 음악에 대해 상기 수집되는 각각의 보이스 데이터가 동기화되는 단계; 및 상기 싱크 허브로부터 상기 동기화되는 데이터가 시청자측 단말기로 실시간 전송되는 단계를 포함한다.

또한 바람직하게는, 상기 동기화되는 단계는, 상기 복수의 공연자의 휴대 단말기 각각에서 각 공연자의 보이스와 미디 데이터의 매칭 정보가 상기 싱크 허브로 전송되는 단계를 더 포함하여, 상기 싱크 허브에서 상기 각 휴대 단말기에서 전송된 매칭 정보를 이용하여 상기 수집되는 각각의 보이스 데이터가 동기화되는 것을 특징으로 한다.

또한 바람직하게는, 상기 시청자측 단말기 각각에서 사운드 폰트를 이용하여 미디 음악을 구현하는 소프트-미디 엔진이 준비되며, 곡이 선택됨에 따라 해당 곡에 대한 정보가 상기 시청자측 단말기에 전송되어 상기 시청자측 단말기 각각에서 상기 선택된 곡에 대한 미디 데이터가 준비되는 단계와, 상기 시청자측 단말기에서 소프트-미디 엔진에 의해 상기 선택된 곡의 미디 데이터에 따른 미디 음악이 구현되면서 상기 싱크 허브로부터 전송된 보이스 데이터에 따른 보이스가 제공되는 단계를 더 포함하는 것을 특징으로 한다.

본 발명의 또 다른 일 실시예에 따른 휴대 단말기를 이용한 실시간 미디 기반 음악 방송의 서비스 방법은, 복수의 공연자가 각자의 휴대 단말기를 이용하여 협업 방송 진행을 위하여 서로 통신 연결되는 단계; 상기 휴대 단말기 중 하나가 메인 단말기로 설정되는 단계; 상기 메인 단말기와 적어도 한 명의 다른 공연자의 휴대 단말기가 동일한 미디 음악에 대해 협업 방송을 함에 따라 상기 적어도 한 명의 다른 공연자의 휴대 단말기로부터 상기 메인 단말기로 상기 협업 방송에 따른 데이터가 전송되는 단계; 상기 메인 단말기로 수집된 협업 방송에 따른 데이터가 동기화되는 단계; 및 상기 동기화되는 데이터가 상기 메인 단말기로부터 시청자측 단말기로 실시간 전송되는 단계를 포함한다.

또한 바람직하게는, 상기 메인 단말기로 상기 협업 방송에 따른 데이터가 전송되는 단계는, 상기 복수의 공연자의 휴대 단말기 각각에서 미디 데이터에 따라 사운드 폰트를 이용하여 미디 음악을 구현하는 소프트-미디 엔진이 실행되며, 선택된 곡의 미디 데이터에 따른 미디 음악이 상기 복수의 공연자의 휴대 단말기 각각에서 플레이되는 단계와, 상기 메인 단말기에서 상기 미디 음악이 실시간 전송을 위한 사운드 데이터로 변환되는 단계와, 상기 미디 음악에 따라 상기 복수의 공연자 각자의 보이스가 각자의 휴대 단말기로 마이크를 통해 입력되고, 상기 적어도 한 명의 다른 공연자의 휴대 단말기로부터 상기 메인 단말기로 보이스 데이터가 전송되는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 데이터가 동기화되는 단계는, 상기 메인 단말기에서 생성된 보이스 데이터와, 상기 적어도 한 명의 다른 공연자의 휴대 단말기로부터 상기 메인 단말기로 전송된 보이스 데이터가 동기화되는 단계를 포함하며, 상기 실시간 전송되는 단계는, 상기 사운드 데이터에 상기 동기화된 보이스 데이터를 정합하여 상기 시청자측 단말기로 실시간 전송하는 단계를 포함하는 것을 특징으로 한다.

한편, 본 발명은 상기한 여러 방법들 중 적어도 어느 하나의 방법을 기록한 컴퓨팅 장치에 의해 판독 가능한 기록매체를 포함한다.

한편, 본 발명의 일 실시예에 따른, 네트워크에 접속된 시청자측 단말기로 미디 기반의 음악 방송을 실시간 전송하는 휴대 단말기는, 상기 휴대 단말기의 카메라 모듈에 의해 촬영되는 방송에서 미디 음악을 제공하기 위한 다수 곡의 미디 데이터를 저장하는 미디 데이터 저장부; 상기 방송에서 제공되는 미디 음악에 따라 공연자의 보이스를 마이크를 통해 입력받아 처리하는 보이스 처리모듈; 및 상기 미디 데이터에 따라 사운드 폰트를 이용하여 미디 음악을 구현하는 소프트-미디 엔진을 실행하며, 상기 미디 데이터에 기초하여 상기 소프트-미디 엔진에 의해 구현되는 미디 음악의 사운드와 상기 보이스 처리모듈에 의해 처리되는 상기 공연자의 보이스가 상기 촬영되는 방송 영상과 함께 실시간으로 시청자측 단말기로 전송되도록 제어하는 제어 모듈을 포함한다.

한편, 본 발명의 다른 일 실시예에 따른, 네트워크에 접속된 시청자측 단말기로 미디 기반의 음악 방송을 실시간 전송하는 휴대 단말기는, 상기 휴대 단말기의 카메라 모듈에 의해 촬영되는 방송에서 미디 음악을 제공하기 위한 다수 곡의 미디 데이터를 저장하는 미디 데이터 저장부; 상기 방송에서 제공되는 미디 음악에 따라 공연자의 보이스를 마이크를 통해 입력받아 처리하는 보이스 처리모듈; 및 상기 미디 데이터에 따라 사운드 폰트를 이용하여 미디 음악을 구현하는 소프트-미디 엔진을 실행하여 상기 공연자가 공연할 수 있도록 미디 음악을 제공하도록 하며, 상기 보이스 처리모듈에 의해 처리되는 상기 공연자의 보이스 데이터와 상기 공연자의 보이스와 상기 미디 데이터의 매칭에 관한 정보를 시청자측 단말기로 전송되도록 제어하는 제어 모듈을 포함한다.

또한 바람직하게는, 상기 공연자의 휴대 단말기를 메인 단말기로 하여, 상기 공연자와 협업 방송을 하는 적어도 한 명의 다른 공연자의 휴대 단말기가 상기 메인 단말기와 통신 연결되도록 구성되며, 상기 메인 단말기와 상기 적어도 한 명의 다른 공연자의 휴대 단말기가 동일한 미디 음악에 대해 협업 방송을 함에 따라 상기 적어도 한 명의 다른 공연자의 휴대 단말기로부터 상기 메인 단말기로 상기 협업 방송에 따른 데이터가 전송되고, 상기 메인 단말기로 수집된 협업 방송에 따른 데이터를 동기화하는 동기화부를 더 포함하여, 상기 동기화되는 데이터가 상기 메인 단말기로부터 상기 시청자측 단말기로 실시간 전송되는 것을 특징으로 한다.

본 발명에 따른 휴대 단말기를 이용한 실시간 미디 기반 음악 방송의 서비스 방법 및 미디 기반의 음악 방송을 실시간 전송하는 휴대 단말기는, 공연자가 사용하는 휴대 단말기 하나만으로 기존에 노래반주기 등의 여러 가지 부가 장비를 함께 이용하여 제작하는 음악 방송의 콘텐츠와 동등 또는 그 이상의 품질을 갖는 높은 수준의 음악 방송 콘텐츠의 실시간 전송이 가능하도록 하는 효과가 있다.

또한, 본 발명은 휴대 단말기를 이용하여 다수의 공연자가 서로 협력하여 음악 방송 콘텐츠에 대한 협업 방송을 하는 경우에도 그 방송 콘텐츠를 시청자들의 단말기로 안정적으로 실시간 전송할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 미디 기반의 음악 방송을 실시간 전송하는 휴대 단말기의 구성 및 이를 이용하여 방송 서비스를 하는 전체 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 휴대 단말기를 이용한 실시간 미디 기반 음악 방송의 서비스 방법에 관하여 나타낸 플로우차트이다.
도 3은 본 발명의 다른 일 실시예에 따른 휴대 단말기를 이용한 실시간 미디 기반 음악 방송의 서비스 방법에 관하여 나타낸 플로우차트이다.
도 4는 본 발명의 또 다른 일 실시예에 따른 휴대 단말기를 이용한 실시간 미디 기반 음악 방송의 서비스 방법에 관하여 설명하기 위한 도면이다.
도 5 및 도 6은 도 4에 도시된 사항에 따른 구체적인 실시간 미디 기반의 음악 방송 콘텐츠 서비스 방법에 관하여 나타낸 플로우차트들이다.
도 7은 본 발명의 또 다른 일 실시예에 따른 휴대 단말기를 이용한 실시간 미디 기반 음악 방송의 서비스 방법에 관하여 설명하기 위한 도면이다.

본 발명에 따른 휴대 단말기를 이용한 실시간 미디 기반 음악 방송의 서비스 방법 및 미디 기반의 음악 방송을 실시간 전송하는 휴대 단말기에 대한 내용을 도면을 참조하여 이하에서 구체적으로 설명하도록 한다.

먼저, 도 1 및 도 2를 참조하여 본 발명의 일 실시예에 따른 미디 기반의 음악 방송을 실시간 전송하는 휴대 단말기의 구성과, 상기 휴대 단말기를 이용한 실시간 미디 기반 음악 방송의 서비스 방법에 대해 설명한다.

도 1은 본 발명의 일 실시예에 따른 미디 기반의 음악 방송을 실시간 전송하는 휴대 단말기의 구성 및 이를 이용하여 방송 서비스를 하는 전체 구성을 나타낸 도면이고, 도 2는 본 발명의 일 실시예에 따른 휴대 단말기를 이용한 실시간 미디 기반 음악 방송의 서비스 방법에 관하여 나타낸 플로우차트이다.

도 1에 도시된 바와 같이, 방송 콘텐츠를 제작하는 공연자(V)는 본 발명의 일 실시예에 따른 휴대 단말기(100)를 이용하여 인터넷과 같은 네트워크에 접속할 수 있고, 방송을 시청하는 시청자들(P1, P2, P3 등)은 자신이 가지고 있는 단말기(201, 202, 203 등)를 이용하여 네트워크에 접속할 수 있다.

여기서 상기 휴대 단말기(100)와 각 단말기(201, 202, 203 등)는 카메라 모듈을 기본적으로 장착하고 있고 인터넷과 같은 네트워크 접속과 통신이 가능하며, 각종 프로그램의 실행이 가능한 스마트폰이나 태블릿PC 등과 같은 단말기일 수 있다.

또한, 상기 공연자(V)는 한 명일 수도 있고 두 명 이상의 공연자가 하나의 휴대 단말기(100)를 통해 공연을 하는 경우도 포함한다.

네트워크에 접속된 상태에서 공연자(V)는 휴대 단말기(100)를 이용하여 높은 음질의 미디(MIDI) 음악 기반의 음악 방송을 제작하여 시청자들(P1, P2, P3 등)의 각 단말기(201, 202, 203 등)로 실시간 전송할 수 있다.

도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 미디 기반의 음악 방송을 실시간 전송하는 휴대 단말기(100)는, 카메라 모듈(110)과, 보이스 처리모듈(120)과, 제어모듈(130)과, 미디 데이터 저장부(140)와, 통신모듈(160)을 포함할 수 있다.

상기 카메라 모듈(110)은 방송을 위한 영상 촬영을 할 수 있는 모듈이고, 상기 보이스 처리모듈(120)은 마이크와 연결되어, 방송에서 공연자가 음악에 따라 노래를 부를 때 상기 마이크를 통해 입력되는 공연자의 보이스에서 잡음 등을 제거하여 보이스 데이터를 얻도록 처리하는 모듈이다.

상기 통신모듈(160)은 상기 휴대 단말기(100)를 통해 제작되는 방송 콘텐츠를 시청자들의 단말기로 실시간 전송할 수 있도록 네트워크를 통해 데이터 통신이 가능하도록 하는 모듈이다.

상기 제어모듈(130)은 휴대 단말기에서 구동되는 소프트웨어를 실행하고 그 소프트웨어의 프로세스에 따라 내부 리소스를 제어하는 모듈이다.

본 발명의 일 실시예에 따른 휴대 단말기를 이용한 미디 기반의 방송은, 방송을 제작하는 공연자의 휴대 단말기와 방송을 시청하는 시청자의 단말기가 서로 대응되는 소프트웨어의 구동에 의해 서비스되도록 하는 것이 바람직하다.

본 발명의 일 실시예에서, 음악 방송 콘텐츠를 제작하는 공연자의 휴대 단말기(100)에서는 음악 방송 콘텐츠 제작 및 실시간 전송을 위한 소프트웨어로서 방송 콘텐츠 제작 어플리케이션이 실행되고 상기 공연자의 음악 방송 콘텐츠를 시청하는 시청자들의 단말기(201, 202, 203 등)에서는 상기 음악 방송 콘텐츠를 실시간으로 재생하는 소프트웨어로서 방송 콘텐츠 시청 어플리케이션이 실행되어, 상기 공연자의 휴대 단말기에서 구동되는 방송 콘텐츠 제작 어플리케이션과 상기 시청자의 단말기에서 구동되는 방송 콘텐츠 시청 어플리케이션이 서로 대응되는 프로세스를 진행함으로서 실시간 방송 서비스의 진행이 이루어지도록 할 수 있다.

즉, 상기 방송 콘텐츠 제작 어플리케이션에 의해 상기 공연자가 휴대 단말기(100)를 통해 음악 방송 콘텐츠를 제작하여 실시간으로 전송할 수 있고, 상기 방송 콘텐츠 시청 어플리케이션에 의해 상기 시청자들은 자신의 단말기(201, 202, 203 등)를 통해 상기 실시간 전송되는 음악 방송 콘텐츠를 시청할 수 있다.

상기 휴대 단말기에서 구동되는 방송 콘텐츠 제작 어플리케이션과 상기 시청자의 단말기에서 구동되는 방송 콘텐츠 시청 어플리케이션은 동일한 소프트웨어일 수도 있고, 서로 대응되도록 제작된 서로 다른 소프트웨어일 수도 있다.

상기 방송 콘텐츠 제작 어플리케이션과 상기 방송 콘텐츠 시청 어플리케이션이 각각 어떤 프로세스로 실행되는지에 대해서는 후술할 플로우차트를 통해 좀 더 구체적으로 설명하도록 한다.

한편, 상기 휴대 단말기에서 방송 콘텐츠 제작 어플리케이션이 실행됨에 따라 제어모듈(130)은 소프트-미디 엔진과 사운드 폰트를 실행시켜 미디(MIDI) 음악이 제공되도록 준비할 수 있다.

상기 미디(MIDI)는 피아노, 기타, 바이올린 등과 같은 각종 악기의 연주음을 전자적으로 구현할 수 있도록 하는 디지털 음원에 관한 표준으로서, 미디 음악은 각종 전자악기의 음원을 정교하게 구현하기 때문에 일반적인 음원인 MP3 음원 등에 비해 상당히 정교하고 수준 높은 품질의 음원을 제공할 수 있다.

종래에는 상기한 바와 같은 미디 음악을 노래반주기와 같은 특정 하드웨어(CPU 와 미디칩(Midi Chip)로 구성된 반주기기에서 해당 하드웨어의 특정 미디칩이 탑재된 해당 미디 음원 기준으로 제작된 콘텐츠에 의해 폐쇄적으로 구현되고 서비스되었기 때문에 이를 인터넷을 통한 스트리밍 등의 범용 서비스에 이용하는 것이 상당히 어려웠었다.

상기한 바와 같은 종래의 방식에서는 미디 음악을 기반으로 하는 음악 방송을 서비스하기 위해서는 방송 제작을 위해 상기한 특정 미디칩이 탑재된 노래반주기와 이에 부가되는 각종 부가장치들을 모두 갖춘 상태에서 각 기기들을 개별적으로 조작하면서 음악 방송 콘텐츠를 제작하여야 하는 상당한 부담이 있었기 때문에, 개인이 휴대 단말기를 이용하여 간편하게 고품질의 미디 기반의 음악 방송을 제작하여 실시간 서비스를 하는 것이 매우 어려웠었다.

그런데, 본 발명에서는 상기한 바와 같은 특정 미디칩이 탑재된 노래반주기 등이 구현하는 여러 가지 기능들이 휴대 단말기에서 간편하게 실행될 수 있도록 소프트웨어로서 구현할 수 있다.

즉, 본 발명의 일 실시예에서는, 소프트웨어로서 휴대 단말기의 제어모듈에 의해 구동될 수 있는 소프트웨어 신디사이저를 구현하는 소프트-미디 엔진이 각종 전자악기의 음을 구현할 수 있도록 하는 사운드 폰트를 이용하여 미디 음원을 구현할 수 있도록 한다.

이때, 상기 소프트-미디 엔진과 사운드 폰트는 악기에 해당하는데, 음악을 연주하기 위해서는 악기를 어떻게 연주할지를 정한 악보가 필요한 바, 제어모듈이 인식할 수 있는 형태의 악보로서 미디 데이터가 필요하다.

상기 미디 데이터는 미디 음악을 구현하기 위하여 어떤 악기를 어떻게 연주하는지에 관한 정보를 전자적 형태로 기록한 데이터로서, 미디 데이터는 다수의 채널을 포함하고 있으며 각각의 채널은 특정 악기의 음에 대한 사항을 기재하고 있는데, 예컨대 피아노의 음을 나타내는 채널에서 피아노 음의 위치와 길이 등이 디지털 정보로 입력되어 있다.

본 발명의 일 실시예에 따른 휴대 단말기(100)는 미디 데이터 저장부(140)를 구비하며, 상기 미디 데이터 저장부(140)는 각종 음악에 대한 미디 데이터를 저장할 수 있다.

상기 미디 데이터 저장부(140)는 미디 데이터를 저장하는 메모리로서 구현될 수도 있고, 필요에 따라 외부 서버를 통해 미디 데이터를 다운로드하여 그 다운로드 되는 미디 데이터를 일시적으로 저장하는 저장수단일 수도 있다.

따라서, 사용자가 휴대 단말기를 통해 특정 곡을 선택하면, 제어모듈은 미디 데이터 저장부(140)에서 상기 선택된 곡에 대한 미디 데이터를 추출하고, 그 추출된 미디 데이터에 저장된 정보에 따라 소프트-미디 엔진과 사운드 폰트를 이용하여 미디 음악을 구현할 수 있다.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 휴대 단말기의 제어모듈(130)은 미디 데이터 저장부(140)에 저장된 미디 데이터를 추출하고, 그 추출된 미디 데이터에 따라 상기 소프트-미디 엔진과 사운드 폰트를 이용하여 미디 음악을 구현함으로써 공연자(V)가 미디 음악을 기반으로 하여 방송 콘텐츠를 제작하는 것을 가능하게 할 뿐만 아니라, 별도의 노래반주기 등과 같은 크고 복잡한 여러 가지 장비들 없이 휴대 단말기만으로도 고품질의 미디 기반 음악 방송을 제작하고 실시간 전송을 할 수 있다는 점에서 특장점을 갖는다.

한편, 도 1에 도시된 바와 같이 공연자(V)의 휴대 단말기(100)에서 제작되는 음악 방송 콘텐츠가 시청자들의 각 단말기(201, 202, 203 등)로 실시간 전송이 되는 것은, 공연자의 휴대 단말기(100)로부터 방송 콘텐츠에 대한 데이터를 전송받아 시청자들의 각 단말기(201, 202, 203 등)로 전송을 하는 스트리밍 서버를 통해 실시간 전송을 하는 방식이 이용될 수도 있고, 공연자의 휴대 단말기(100)로부터 시청자들의 각 단말기(201, 202, 203 등)로 브라우저 대 브라우저 간 실시간 데이터의 직접 전송 방식이 이용될 수도 있다.

상기한 스트리밍 서버를 통해 실시간 전송하는 방식은 시청자들의 단말기에 스트리밍 데이터를 처리하는 별도의 플러그인이 구비되어야 하는데, 상기한 브라우저 대 브라우저 간 실시간 데이터의 직접 전송 방식은 인터넷에 접속된 휴대 단말기 상의 브라우저와 시청자들의 단말기 상의 브라우저를 통해 별도의 플러그인 없이 실시간 데이터 전송이 가능하다.

한편, 상기한 바와 같은 시스템에서 본 발명의 일 실시예에 따른 휴대 단말기를 이용한 실시간 미디 기반 음악 방송의 서비스 방법에 관하여 도 2의 플로우차트를 참조하여 설명한다.

도 2에 도시된 바와 같이, 음악 방송을 제작하는 공연자는 자신의 휴대 단말기에서 방송 콘텐츠 제작 어플리케이션을 실행시키고(S100) 그에 따라 음악 방송 콘텐츠를 제작하여 실시간 서비스를 하며, 그 음악 방송을 시청하는 시청자들은 자신의 단말기에서 방송 콘텐츠 시청 어플리케이션을 실행시켜(S200) 실시간으로 상기 음악 방송 콘텐츠를 시청할 수 있다.

상기 공연자의 휴대 단말기에서 실행되는 방송 콘텐츠 제작 어플리케이션은 소프트-미디 엔진과 사운드 폰트를 탑재하여 미디 데이터가 선택되면 그에 따른 미디 음악을 제공할 준비가 되어 있는 것이 바람직하다.

먼저, 공연자측 휴대 단말기에서는 카메라 모듈에 의한 방송 영상 촬영이 이루어지고 그 영상 데이터가 네트워크를 통해 시청자들의 단말기로 실시간 전송되며(S110), 시청자측 단말기에서는 그 실시간 전송되는 방송 콘텐츠가 실행된다(S210).

시청자측 단말기를 통해 각 시청자가 음악을 추천하는 경우, 시청자가 단말기를 통해 공연자가 공연해 주기를 희망하는 음악을 선택하면, 그 선택된 추천 음악에 대한 정보가 공연자측 휴대 단말기로 전송되고(S220), 공연자측 휴대 단말기의 제어모듈은 시청자들이 추천한 음악에 대한 정보를 수신하여 그 음악 리스트를 수집할 수 있다(S120).

공연자가 상기 수집된 음악 리스트에서 공연을 할 음악을 선택하면(S130), 휴대 단말기의 제어모듈은 미디 데이터 저장부로부터 상기 선택된 음악에 대한 미디 데이터를 추출한다(S140).

상기 휴대 단말기의 제어모듈은 소프트-미디 엔진과 사운드 폰트를 이용하여 상기 추출된 미디 데이터에 따라 미디 음악을 플레이한다(S150).

그리고 공연자가 마이크를 통해 노래를 부르거나 랩을 하는 등의 공연을 하면, 상기 마이크를 통해 입력되는 공연자의 보이스가 휴대 단말기에 입력되고 보이스 처리모듈에 의해 처리된다(S160).

상기 휴대 단말기의 제어모듈은 상기 소프트-미디 엔진과 사운드 폰트가 미디 데이터에 따라 구현하는 미디 음악을 데이터 전송할 사운드 데이터로 변환하고, 그 변환된 사운드 데이터와 상기 입력된 공연자의 보이스에 대한 보이스 데이터를 정합하여(S170), 그 정합된 사운드-보이스 데이터를 시청자측 단말기로 실시간 전송한다(S180).

시청자측 단말기에서는 상기 실시간 전송되는 사운드-보이스 데이터를 재생하여 시청자에게 제공한다(S230).

공연자의 노래가 종료되면(S192) 방송 종료인지 확인하여(S194), 방송 종료가 아니면 방송 콘텐츠의 제작 및 실시간 전송이 계속해서 진행된다.

여기서, 공연자측 휴대 단말기에서 제공하는 사운드-보이스 데이터는 단순히 공연자가 노래를 부를 때 이를 녹음한 데이터와는 완전히 다른 것이다.

상기 S150 단계에서 미디 음악이 플레이 될 때 그 미디 음악이 외부로 출력되는 것을 녹음한 것이 아니라, 휴대 단말기 내부적으로 제어모듈이 상기 미디 음악의 사운드를 전송이 가능한 형태의 사운드 데이터로 변환한 것이므로, 그 변환된 사운드 데이터는 미디의 음질을 그대로 구현하지는 못하지만, 예컨대 연주되는 악기의 음마다 음의 위치를 다르게 설정하는 등 사운드 데이터가 입체 사운드를 구현하도록 하는 것이 가능하다.

상기 S170 단계에서 사운드 데이터와 보이스 데이터를 정합하는 것은, 사운드에 맞추어서 보이스가 시작하는 위치를 설정하여 서로 매칭이 되도록 하는 것을 포함할 수 있다.

도 2에서는 위 S170 단계와 S180 단계가 공연자측 휴대 단말기에서 실행되어, 공연자측 휴대 단말기에서 사운드 데이터와 보이스 데이터를 정합한 후 그 정합된 사운드-보이스 데이터를 전송하는 경우에 대해 나타내고 있으나, 본 발명은 이에 한정되지 않고, 예컨대 공연자측 휴대 단말기에서 미디 음악을 사운드 데이터로 변환하고 공연자의 보이스를 보이스 데이터로 처리하여, 이들을 정합하지 않고 각각 그대로 시청자측 단말기로 실시간 전송할 수 있으며, 시청자측 단말기에서 방송 콘텐츠 시청 어플리케이션이 구현하는 기능에 의해 상기 실시간 전송되는 사운드 데이터와 보이스 데이터를 정합하여 재생하도록 하는 것도 가능하다.

이때 휴대 단말기는 사운드 데이터와 보이스 데이터를 전송할 때 사운드와 보이스의 매칭에 대한 정보를 함께 전송하도록 함으로써 시청자측 단말기에서 그 매칭에 대한 정보를 이용하여 사운드 데이터와 보이스 데이터의 정합이 이루어지도록 할 수 있다.

한편, 도 3을 참조하여 본 발명의 다른 일 실시예에 따른 휴대 단말기를 이용한 실시간 미디 기반 음악 방송의 서비스 방법에 관하여 설명한다.

앞서 도 2에 도시된 실시예에서는 공연자의 휴대 단말기에서 미디 음악을 사운드 데이터로 변환하고 이를 공연자의 보이스 데이터와 함께 시청자측 단말기로 전송하거나, 상기 사운드 데이터와 보이스 데이터를 정합하고 이를 시청자측 단말기로 전송하는 방식인데, 상기 방식에서는 미디 음악을 사운드 데이터로 변환하면서 미디 고유의 고퀄리티 음질을 그대로 시청자측 단말기로 전송할 수 없기 때문에 시청자들로서는 미디의 고퀄리티 음질에 공연자의 보이스가 결합된 콘텐츠를 감상할 수는 없었다.

그런데, 이하에서 설명할 도 3에 도시된 실시예에서는 시청자들이 자신의 단말기를 통해 미디 고유의 고퀄리티 음질에 공연자의 보이스가 결합된 매우 높은 수준의 음악 방송 콘텐츠를 서비스할 수 있는 방법을 제공한다.

도 3에 도시된 바와 같이, 음악 방송을 제작하는 공연자는 자신의 휴대 단말기에서 방송 콘텐츠 제작 어플리케이션을 실행시키고(S300) 그에 따라 음악 방송 콘텐츠를 제작하여 실시간 서비스를 하며, 그 음악 방송을 시청하는 시청자들은 자신의 단말기에서 방송 콘텐츠 시청 어플리케이션을 실행시켜(S400) 실시간으로 상기 음악 방송 콘텐츠를 시청할 수 있다.

본 실시예에서는, 상기 공연자의 휴대 단말기에서 실행되는 방송 콘텐츠 제작 어플리케이션이 소프트-미디 엔진과 사운드 폰트를 탑재하고 있을 뿐만 아니라, 시청자측 단말기에서 실행되는 방송 콘텐츠 시청 어플리케이션 역시 소프트-미디 엔진과 사운드 폰트를 탑재하여 미디 데이터가 선택되면 그에 따른 미디 음악을 제공할 준비가 되어 있는 것이 바람직하다.

공연자측 휴대 단말기에서는 카메라 모듈에 의한 방송 영상 촬영이 이루어지고 그 영상 데이터가 네트워크를 통해 시청자들의 단말기로 실시간 전송되며(S310), 시청자측 단말기에서는 그 실시간 전송되는 방송 콘텐츠가 실행된다(S410).

시청자측 단말기를 통해 각 시청자가 음악을 추천하는 경우, 시청자가 단말기를 통해 공연자가 공연해 주기를 희망하는 음악을 선택하면, 그 선택된 추천 음악에 대한 정보가 공연자측 휴대 단말기로 전송되고(S420), 공연자측 휴대 단말기의 제어모듈은 시청자들이 추천한 음악에 대한 정보를 수신하여 그 음악 리스트를 수집할 수 있다(S320).

공연자가 상기 수집된 음악 리스트에서 공연을 할 음악을 선택하면(S330), 휴대 단말기의 제어모듈은 미디 데이터 저장부로부터 상기 선택된 음악에 대한 미디 데이터를 추출한다(S340).

그리고, 상기 S330 단계에서 공연자가 공연을 할 음악을 선택하면 그 선택된 음악에 대한 정보가 각 시청자측의 단말기로 전송되고, 각 시청자측의 단말기는 그 선택된 곡에 대한 미디 데이터를 준비한다(S430).

즉, 상기 선택된 곡에 대한 미디 데이터가 시청자측 단말기에 미리 저장되어 있는 것이면 그 미디 데이터를 추출하며, 단말기에 미리 저장되어 있지 않다면 외부의 서버를 통해 해당 미디 데이터를 다운로드 받아 준비하도록 할 수 있다.

공연자측 휴대 단말기에서 상기 S340 단계를 통해 공연자가 선택한 곡에 대한 미디 데이터의 추출이 되면, 휴대 단말기의 제어모듈은 소프트-미디 엔진과 사운드 폰트를 이용하여 상기 추출된 미디 데이터에 따라 미디 음악을 플레이하며(S350), 시청자측 단말기에서도 소프트-미디 엔진 및 사운드 폰트를 이용하여 상기 S430 단계에서 준비된 미디 데이터에 따라 미디 음악이 플레이된다(S440).

즉, 공연자측 휴대 단말기에서 선택된 곡의 미디 데이터에 따른 미디 음악이 구현되고 이에 대응하여 시청자측 단말기에서도 상기 선택된 곡의 미디 데이터에 따른 미디 음악이 구현이 된다.

그리고, 공연자측 휴대 단말기에서 공연자가 마이크를 통해 노래를 부르거나 랩을 하는 등의 공연을 하면, 상기 마이크를 통해 입력되는 공연자의 보이스가 휴대 단말기에 입력되고 보이스 처리모듈에 의해 처리되어 보이스 데이터가 생성되어(S360), 시청자측 단말기로 실시간 전송된다(S370).

이때, 미디 음악과 공연자의 보이스가 정확하게 매칭될 수 있도록 공연자측 휴대 단말기에서는 보이스 데이터와 미디 데이터의 매칭에 관한 정보를 시청자측 단말기로 전송한다(S370).

예컨대, 공연자측 휴대 단말기에서 공연이 시작됨에 따라 미디 데이터를 기준으로 보이스 데이터의 시작시점을 정하여 이를 시청자측 단말기로 전송할 수 있다.

상기한 바와 같이 공연자측 휴대 단말기에서 보이스 데이터를 실시간 전송하고 보이스 데이터와 미디 데이터의 매칭에 관한 정보를 전송하면, 시청자측 단말기는 상기 매칭에 관한 정보에 따라 상기 S440 단계에서 소프트-미디 엔진과 사운드 폰트에 의해 플레이되는 미디 음악에 맞추어서 실시간 전송받은 보이스 데이터를 출력함으로써, 미디 고유의 고퀄리티 음질에 공연자의 보이스가 결합된 매우 높은 수준의 음악 방송 콘텐츠가 제공될 수 있다(S450).

한편, 도 4를 참조하여 본 발명의 또 다른 일 실시예에 따른 휴대 단말기를 이용한 실시간 미디 기반 음악 방송의 서비스 방법에 관하여 설명한다.

도 1 내지 도 3에서 나타낸 각 실시예들은 한 명 또는 두 명 이상의 공연자가 하나의 휴대 단말기를 이용하여 방송을 하는 경우에 관한 것이었는데, 도 4에 도시된 실시예에서는 둘 이상의 공연자가 각각 자신의 휴대 단말기를 이용하여 함께 협업 방송을 하는 경우에 관한 것이다.

예컨대, 도 4에 도시된 바와 같이 공연자 1(V1)이 그의 휴대 단말기 1(100a)을 이용하여, 공연자 2(V2)가 그의 휴대 단말기 2(100b)를 이용하여, 그리고 공연자 3(V3)이 그의 휴대 단말기 3(100c)를 이용하여 각각 방송을 하되 서로 협업하여 하나의 방송 콘텐츠를 제작하는 경우이다.

예컨대, 공연자 1은 한국에서, 공연자 2는 미국에서, 그리고 공연자 3은 중국에서 각각 방송을 하되 서로 협업해서 하나의 방송 콘텐츠를 제작하고 이를 시청자들(P1, P2, P3 등)의 각 단말기(201, 202, 203 등)로 실시간 서비스하는 경우이다.

도 4에 도시된 바와 같이, 복수의 공연자(V1, V2, V3 등)가 각자 자신의 휴대 단말기(100a, 100b, 100c)를 이용하여 협업 방송을 진행함에 있어서, 방송을 하는 복수개의 휴대 단말기들(100a, 100b, 100c)은 서로 통신 연결이 되며 휴대 단말기들 중 하나를 메인 단말기로 지정한다.

여기서 협업 방송은 복수의 휴대 단말기(100a, 100b, 100c)가 동일한 미디 음악에 대해 협업 방송을 하는 경우를 포함한다.

휴대 단말기들(100a, 100b, 100c)끼리는 인터넷이든 근거리 무선통신이든 여하한 방법으로 서로 데이터 통신이 가능하도록 연결될 수 있고, 예컨대 도 4에서 휴대 단말기 1(100a)을 메인 단말기로 지정한 경우, 메인 단말기로 지정된 휴대 단말기 1(100a)은 다른 공연자(V2, V3)의 휴대 단말기(100b, 100c)로부터 협업 방송에 따른 데이터를 전송받고 수집된 데이터를 동기화하는 동기화부(미도시)를 포함하며, 메인 단말기인 휴대 단말기 1(100a)이 동기화된 데이터를 시청자들의 단말기로 실시간 전송하도록 할 수 있다.

도 4에 도시된 바와 같이 복수의 공연자(V1, V2, V3 등)가 각자 자신의 휴대 단말기(100a, 100b, 100c)를 이용하여 협업 방송을 진행할 경우, 휴대 단말기들끼리의 통신에 있어서 각 단말기마다 통신 지연시간이 다르기 때문에, 예컨대 휴대 단말기 2(100b)가 메인 단말기인 휴대 단말기 1(100a)에 데이터를 전송할 때의 지연시간과 휴대 단말기 3(100c)가 휴대 단말기 1(100a)에 데이터를 전송할 때의 지연시간이 다르기 때문에 각각의 휴대 단말기가 시청자의 단말기로 데이터를 실시간 전송하는 경우 데이터들끼리 시간차가 발생기 때문에 방송 콘텐츠가 올바르게 재생될 수 없다.

따라서, 본 실시예에서는 복수의 공연자(V1, V2, V3 등)가 각자 자신의 휴대 단말기(100a, 100b, 100c)를 이용하여 협업 방송을 진행할 경우, 동기화부를 갖는 메인 단말기로 다른 휴대 단말기들이 각각 데이터를 전송하고, 메인 단말기가 수집되는 데이터들을 동기화하여 시청자의 각 단말기로 실시간 전송을 하도록 함으로써 상기한 바와 같은 데이터 지연시간의 차이에 따른 문제를 해소할 수 있다.

위와 같은 내용에 따른 구체적인 실시간 미디 기반의 음악 방송 콘텐츠 서비스 방법에 관하여 도 5 및 도 6의 각 플로우차트를 참조하여 설명한다.

도 5를 참조하면, 협업에 의해 음악 방송을 제작하는 공연자들은 각자 자신의 휴대 단말기에서 방송 콘텐츠 제작 어플리케이션을 실행시킨다(S101). 도 5에서는 공연자 1, 2 및 3 또는 그 이상에 의해 협업 방송을 진행하는 경우를 나타내고 있고 공연자 1의 휴대 단말기가 메인 단말기로 지정되어 설정된 것으로 하여 설명한다.

그리고, 도 5에서는 공연자 1의 휴대 단말기(메인 단말기) 위주로 진행되는 프로세스를 나타내고 있고 다른 공연자들(공연자 2, 3 등)의 휴대 단말기의 프로세스에 대해서는 생략하고 있지만, 공연자 1의 휴대 단말기에서 진행되는 프로세스는 기본적으로는 공연자 2, 3 등의 다른 공연자의 각 휴대 단말기에서도 동일하게 진행되며, 이하에서 달리 설명이 없는 한 위 사항은 동일하게 적용된다.

음악 방송을 시청하는 시청자들은 자신의 단말기에서 방송 콘텐츠 시청 어플리케이션을 실행시켜(S201) 실시간으로 음악 방송 콘텐츠를 시청할 준비를 한다.

복수의 공연자들 각자가 모두 자신의 휴대 단말기의 카메라 모듈을 이용하여 방송 영상 촬영을 하면 그 영상 데이터가 네트워크를 통해 시청자들의 단말기로 실시간 전송되는데(S111), 이때 시청자측 단말기는 각각 그 실시간 전송되는 복수 공연자의 각 휴대 단말기로부터 전송되는 영상 데이터를 화면 분할이나 서브 화면 등으로 표시하는 방식으로 방송 콘텐츠를 실행시킬 수 있다(S211).

시청자측 단말기를 통해 각 시청자가 음악을 추천하는 경우, 시청자가 단말기를 통해 공연자가 공연해 주기를 희망하는 음악을 선택하면, 그 선택된 추천 음악에 대한 정보가 복수의 공연자들 각각의 휴대 단말기로 전송되고(S221), 복수의 공연자 각자의 휴대 단말기는 시청자들이 추천한 음악에 대한 정보를 수신하여 그 음악 리스트를 수집할 수 있다(S121).

복수의 공연자들 중 메인 단말기의 공연자(도 5에서 공연자 1)가 상기 수집된 음악 리스트에서 공연을 할 음악을 선택하면(S131), 공연자들 각자의 휴대 단말기는 각각 해당 곡의 미디 데이터를 추출한다(S141). 이때, 곡의 선택은 복수의 휴대 단말기들 중 하나의 휴대 단말기에서 선택되는 것이 바람직하며, 곡선택이 있으면 자동으로 각 휴대 단말기에서 해당 곡의 미디 데이터가 준비되도록 하는 것이 바람직하다.

복수의 공연자 각자의 휴대 단말기는 소프트-미디 엔진과 사운드 폰트를 이용하여 상기 추출된 미디 데이터에 따라 미디 음악을 플레이할 수 있는데, 이때 그 미디 음악은 메인 단말기에서 사운드 데이터로 변환될 수 있다(S151).

음악에 대한 사운드 데이터는 메인 단말기에서만 시청자측으로 전송되도록 하고 다른 공연자들의 휴대 단말기에서는 사운드 데이터가 전송될 필요가 없다. 따라서 미디 음악의 사운드 데이터로의 변환은 메인 단말기에서만 이루어지는 것이 바람직하다.

음악이 시작되면서 공연자 1의 보이스 데이터가 생성되고(S161), 다른 공연자인 공연자 2의 휴대 단말기에서도 공연자 2의 보이스 데이터가 생성되어 메인 단말기인 공연자 1의 휴대 단말기로 전송되고(S162), 공연자 3의 휴대 단말기에서도 공연자 3의 보이스 데이터가 생성되어 메인 단말기로 전송될 수 있다(S163).

메인 단말기로 수집되는 각 공연자의 보이스 데이터는 메인 단말기의 동기화부에 의해 동기화되고(S171), 미디 음악에 대한 사운드 데이터에 상기 동기화된 보이스 데이터를 정합시켜 시청자측 단말기로 각각 실시간 전송하면(S181), 시청자측 단말기에서는 상기 실시간 전송되는 데이터를 재생하여 시청자에게 제공한다(S231).

상기한 바와 같은 방법으로 복수의 공연자들이 각자 자신의 휴대 단말기를 이용하여 단일한 콘텐츠로 협업 방송을 할 때, 각각의 휴대 단말기로부터의 데이터를 메인 단말기로 지정된 휴대 단말기로 모아서 동기화한 후 한꺼번에 시청자들의 단말기로 실시간 전송하도록 함으로써 올바른 음악 방송 콘텐츠가 실행될 수 있다.

도 5에서는 위 S181 단계에 따라 공연자 1의 휴대 단말기에서 사운드에 동기화된 보이스 데이터를 정합하여 전송하는 경우에 대해 나타내고 있으나, 본 발명은 이에 한정되지 않고, 예컨대 공연자 1의 휴대 단말기에서 미디 음악을 사운드 데이터로 변환하고 각 공연자들의 보이스 데이터를 동기화 한 후, 이들을 정합하지 않고 각각 그대로 시청자측 단말기로 실시간 전송할 수 있으며, 시청자측 단말기에서 방송 콘텐츠 시청 어플리케이션이 구현하는 기능에 의해 상기 실시간 전송되는 사운드 데이터와 동기화된 보이스 데이터를 정합하여 재생하도록 하는 것도 가능하다.

이때 메인 단말기는 사운드 데이터와 보이스 데이터를 전송할 때 사운드와 보이스의 매칭에 대한 정보를 함께 전송하도록 함으로써 시청자측 단말기에서 그 매칭에 대한 정보를 이용하여 사운드 데이터와 보이스 데이터의 정합이 이루어지도록 할 수 있다.

한편, 도 6을 참조하여 본 발명의 다른 일 실시예에 따른 휴대 단말기를 이용한 실시간 미디 기반 음악 방송의 서비스 방법에 관하여 설명한다.

도 6을 참조하면, 협업에 의해 음악 방송을 제작하는 공연자들은 각자 자신의 휴대 단말기에서 방송 콘텐츠 제작 어플리케이션을 실행시킨다(S301). 도 6에서는 공연자 1, 2 및 3 또는 그 이상에 의해 협업 방송을 진행하는 경우를 나타내고 있고 공연자 1의 휴대 단말기가 메인 단말기로 지정되어 설정된 것으로 하여 설명한다.

그리고, 도 6에서는 공연자 1의 휴대 단말기(메인 단말기) 위주로 진행되는 프로세스를 나타내고 있고 다른 공연자들(공연자 2, 3 등)의 휴대 단말기의 프로세스에 대해서는 생략하고 있지만, 공연자 1의 휴대 단말기에서 진행되는 프로세스는 기본적으로는 공연자 2, 3 등의 다른 공연자의 각 휴대 단말기에서도 동일하게 진행되며, 이하에서 달리 설명이 없는 한 위 사항은 동일하게 적용된다.

음악 방송을 시청하는 시청자들은 자신의 단말기에서 방송 콘텐츠 시청 어플리케이션을 실행시켜(S401) 실시간으로 음악 방송 콘텐츠를 시청할 준비를 한다.

복수의 공연자들 각자가 모두 자신의 휴대 단말기의 카메라 모듈을 이용하여 방송 영상 촬영을 하면 그 영상 데이터가 네트워크를 통해 시청자들의 단말기로 실시간 전송되는데(S311), 이때 시청자측 단말기는 각각 그 실시간 전송되는 복수 공연자의 각 휴대 단말기로부터 전송되는 영상 데이터를 화면 분할이나 서브 화면 등으로 표시하는 방식으로 방송 콘텐츠를 실행시킬 수 있다(S411).

시청자측 단말기를 통해 각 시청자가 음악을 추천하는 경우, 시청자가 단말기를 통해 공연자가 공연해 주기를 희망하는 음악을 선택하면, 그 선택된 추천 음악에 대한 정보가 복수의 공연자들 각각의 휴대 단말기로 전송되고(S421), 복수의 공연자 각자의 휴대 단말기는 시청자들이 추천한 음악에 대한 정보를 수신하여 그 음악 리스트를 수집할 수 있다(S321).

복수의 공연자들 중 메인 단말기의 공연자(도 6에서 공연자 1)가 상기 수집된 음악 리스트에서 공연을 할 음악을 선택하면(S331), 공연자들 각자의 휴대 단말기는 각각 해당 곡의 미디 데이터를 추출한다(S341).

그리고, 상기 S331 단계에서 공연자가 공연을 할 음악을 선택하면 그 선택된 음악에 대한 정보가 시청자측의 단말기로 전송되고, 시청자측의 단말기는 그 선택된 곡에 대한 미디 데이터를 준비한다(S431).

복수의 공연자 각자의 휴대 단말기는 소프트-미디 엔진과 사운드 폰트를 이용하여 상기 추출된 미디 데이터에 따라 미디 음악을 플레이할 수 있다(S351).

그리고 시청자측 단말기에서도 소프트-미디 엔진이 사운드 폰트를 이용하여 준비된 미디 데이터의 미디 음악을 플레이할 수 있다(S441).

음악이 시작되면서 공연자 1의 보이스 데이터가 생성되고(S361), 다른 공연자인 공연자 2의 휴대 단말기에서도 공연자 2의 보이스 데이터가 생성되어 메인 단말기인 공연자 1의 휴대 단말기로 전송되고(S362), 공연자 3의 휴대 단말기에서도 공연자 3의 보이스 데이터가 생성되어 메인 단말기로 전송될 수 있다(S363).

메인 단말기로 수집되는 각 공연자의 보이스 데이터는 메인 단말기의 동기화부에 의해 동기화되고(S371), 메인 단말기는 상기 동기화된 보이스 데이터를 시청자측 단말기로 실시간 전송하면서 상기 동기화된 보이스 데이터와 미디 데이터의 매칭에 관한 정보도 전송한다(S381).

시청자측 단말기에서는 자체 소프트-미디 엔진 및 사운드 폰트에 의해 플레이되는 미디 음악과 함께 메인 단말기로부터 실시간 전송되는 보이스 데이터를 출력하여 미디 고유의 고퀄리티 음질에 공연자들의 협업 공연에 의한 각 보이스가 결합된 매우 높은 수준의 음악 방송 콘텐츠가 제공될 수 있다(S451).

한편, 도 7을 참조하여 본 발명의 또 다른 일 실시예에 따른 휴대 단말기를 이용한 실시간 미디 기반 음악 방송의 서비스 방법에 관하여 설명한다.

본 실시예 역시 도 4와 마찬가지로 둘 이상의 공연자가 각각 자신의 휴대 단말기를 이용하여 함께 협업 방송을 하는 경우에 관한 것이다.

예컨대, 도 7에 도시된 바와 같이 공연자 1(V1)이 그의 휴대 단말기 1(100a)을 이용하여, 공연자 2(V2)가 그의 휴대 단말기 2(100b)를 이용하여, 그리고 공연자 3(V3)이 그의 휴대 단말기 3(100c)를 이용하여 각각 방송을 하되 서로 협업하여 하나의 방송 콘텐츠를 제작하는 경우이다.

도 4에서 나타낸 실시예는 서로 협업 공연을 하는 복수의 공연자들의 휴대 단말기들 중 하나를 메인 단말기로 설정하고 그 메인 단말기가 다른 휴대 단말기들로부터 데이터를 받아서 통합하여 시청자측 단말기로 실시간 전송을 하는 방식이었는데, 도 7에 도시된 실시예에서는 별도의 싱크 허브(300)를 구비하고 상기 싱크 허브(300)에 복수의 공연자들(V1, V2, V3 등)의 각 휴대 단말기(100a, 100b, 100c)가 통신 연결된 상태에서 상기 각 휴대 단말기(100a, 100b, 100c)가 싱크 허브(300)로 방송 관련 데이터를 전송하면, 상기 싱크 허브(300)가 그 각각의 데이터를 동기화하여 통합하여 시청자측 단말기로 실시간 전송을 하는 방식이다.

휴대 단말기들(100a, 100b, 100c)과 싱크 허브(300)는 인터넷이든 근거리 무선통신이든 여하한 방법으로 서로 데이터 통신이 가능하도록 연결될 수 있고,

싱크 허브(300)는 복수의 공연자들(V1, V2, V3)의 휴대 단말기(100a, 100b, 100c)로부터 협업 방송에 따른 데이터를 각각 전송받고 수집된 데이터를 동기화하여 그 동기화된 데이터를 시청자들의 단말기로 실시간 전송하도록 할 수 있다.

이때, 복수의 공연자 각각의 휴대 단말기(100a, 100b, 100c)는 각각의 공연자의 보이스 데이터를 싱크 허브(300)로 전송할 수 있는데, 이때 미디 음악에 맞게 보이스가 출력될 수 있도록 미디 데이터를 기준으로 각 보이스 데이터의 미디 데이터에 대한 매칭 정보를 싱크 허브(300)로 전송하여, 상기 싱크 허브(300)에서 각 보이스 데이터가 동일한 기준(미디 데이터)에 의해 동기화가 될 수 있도록 할 수 있다.

예컨대, 미디 데이터를 기준으로 공연자 1의 보이스의 위치와 구간, 공연자 2의 보이스의 위치와 구간, 그리고 공연자 3의 보이스의 위치와 구간을 각각 매칭 정보로 하여 싱크 허브(300)로 전송할 수 있고, 싱크 허브(300)는 그 매칭 정보를 이용하여 미디 데이터를 기준으로 각각의 보이스 데이터를 동기화하여 실시간 전송을 할 수 있다.

따라서, 본 실시예에서는 복수의 공연자(V1, V2, V3 등)가 각자 자신의 휴대 단말기(100a, 100b, 100c)를 이용하여 협업 방송을 진행할 경우, 싱크 허브를 별도로 구비하고 이에 공연자들 각각의 휴대 단말기가 각각 데이터를 전송하고, 싱크 허브는 그 수집되는 데이터들을 매칭 정보를 이용하여 동기화하여 시청자의 각 단말기로 실시간 전송을 하도록 함으로써 공연자들 각자의 휴대 단말기의 통신에 따른 데이터 지연시간의 차이로 인하여 생기는 문제를 해소할 수 있는 동시에 높은 품질의 미디 음악을 기반으로 하는 음악 방송 콘텐츠의 실시간 제공이 가능할 수 있다.

100: 휴대 단말기, 110: 카메라 모듈
120: 보이스 처리모듈, 130: 제어모듈
140: 미디 데이터 저장부, 160: 통신모듈
201, 202, 203: 시청자측 단말기

Claims (16)

1. 삭제
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 휴대 단말기를 이용한 실시간 미디 기반 음악 방송의 서비스 방법으로서,
    복수의 공연자가 각자의 휴대 단말기를 이용하여 협업 방송 진행을 위하여 서로 통신 연결되는 단계;
    상기 휴대 단말기 중 하나가 메인 단말기로 설정되는 단계; 및
    상기 메인 단말기와 적어도 한 명의 다른 공연자의 휴대 단말기가 동일한 미디 음악에 대해 협업 방송을 함에 따라 상기 적어도 한 명의 다른 공연자의 휴대 단말기로부터 상기 메인 단말기로 상기 협업 방송에 따른 데이터가 전송되는 단계를 포함하고,
    상기 메인 단말기로 상기 협업 방송에 따른 데이터가 전송되는 단계는,
    상기 복수의 공연자의 휴대 단말기 각각에서 미디 데이터에 따라 사운드 폰트를 이용하여 미디 음악을 구현하는 소프트-미디 엔진이 실행되며, 선택된 곡의 미디 데이터에 따른 미디 음악이 상기 복수의 공연자의 휴대 단말기 각각에서 플레이되는 단계와,
    상기 메인 단말기에서 상기 미디 음악이 실시간 전송을 위한 사운드 데이터로 변환되는 단계와,
    상기 미디 음악에 따라 상기 복수의 공연자 각자의 보이스가 각자의 휴대 단말기로 마이크를 통해 입력되고, 상기 적어도 한 명의 다른 공연자의 휴대 단말기로부터 상기 메인 단말기로 보이스 데이터가 전송되는 단계를 포함하며,
    상기 메인 단말기로 수집된 상기 보이스 데이터가 상기 메인 단말기의 동기화부에 의해 동기화되는 단계와,
    상기 메인 단말기에서 상기 동기화된 보이스 데이터를 시청자측 단말기로 실시간 전송하면서 상기 동기화된 보이스 데이터와 상기 복수의 공연자의 방송의 기반이 된 미디 음악의 미디 데이터의 매칭에 관한 정보를 함께 전송하는 단계와,
    상기 시청자측 단말기에서 자체 소프트-미디 엔진 및 사운드 폰트에 의해 플레이되는 미디 음악과 함께 상기 메인 단말기로부터 실시간 전송되는 보이스 데이터를 출력하되, 상기 동기화된 보이스 데이터와 상기 미디 데이터의 매칭에 관한 정보에 따라 상기 미디 음악과 상기 동기화된 보이스 데이터를 출력하는 단계를 포함하는 휴대 단말기를 이용한 실시간 미디 기반 음악 방송의 서비스 방법.
11. 삭제
12. 삭제
13. 컴퓨터에서 제10항에 따른 방법을 수행하는 프로그램을 기록한 컴퓨팅 장치에 의해 판독 가능한 기록매체.
14. 삭제
15. 삭제
16. 삭제

Images