KR102401550B1 - 사용자의 인터랙션을 이용한 오디오 소스 재생 방법 및 이를 이용한 음악 어플리케이션 - Google Patents

Abstract

본 발명의 일 실시예에 따르면, 사용자와의 인터랙션을 기초로 제1 오디오 소스 세트, 제2 오디오 소스 세트 및 제3 오디오 소스 세트를 비선형적으로 재생하기 위한 오디오 소스 재생 방법으로서, 상기 제1 오디오 소스 세트, 상기 제2 오디오 소스 세트 및 상기 제3 오디오 소스 세트를 비선형적으로 재생하기 위한 적어도 하나의 오브젝트를 디스플레이 하는 단계 및 상기 제1 오디오 소스 세트, 상기 제2 오디오 소스 세트 및 상기 제3 오디오 소스 세트 중 적어도 하나의 오디오 소스 세트를 재생하는 단계를 포함하되, 사용자의 인터랙션을 기초로 상기 제1, 제2 및 제3 오디오 소스 세트를 비선형적으로 재생하기 위하여, 상기 제1 오디오 소스 세트가 재생될 때 상기 적어도 하나의 오브젝트에 대한 제1 입력이 획득되는 경우 상기 제1 오디오 소스 세트의 종료 여부와 무관하게 상기 제2 오디오 소스 세트를 재생하며, 상기 제1 오디오 소스 세트가 재생될 때 상기 적어도 하나의 오브젝트에 대한 제2 입력이 획득되는 경우 상기 제1 오디오 소스 세트의 종료 여부와 무관하게 상기 제3 오디오 소스 세트를 재생하되, 상기 제2 오디오 소스 세트는 상기 제1 및 제3 오디오 소스 세트 중 적어도 하나의 오디오 소스 세트가 종료됨에 따라 재생되나, 상기 제3 오디오 소스 세트는 상기 제1 및 제2 오디오 소스 세트의 종료에 따라 재생되지 않도록 설정되는 오디오 소스 재생 방법이 제공될 수 있다.

Description

사용자의 인터랙션을 이용한 오디오 소스 재생 방법 및 이를 이용한 음악 어플리케이션 {A method for playing audio source using user interaction and a music application using the same}

본 발명은 사용자의 인터랙션을 이용한 오디오 소스 재생 방법 및 이를 이용한 음악 어플리케이션으로서 시공간적으로 한정된 오디오 소스를 사용자의 인터랙션을 이용하여 다양한 음악으로 재생하기 위한 오디오 소스 재생 방법 및 이를 이용한 음악 어플리케이션에 관한 것이다.

저장매체를 이용하여 음악을 기록하고 감상하기 시작한 이래로 음악은 수동적/ 피동적 감상의 대상이 되었으며, 능동적이고, 주도적으로 음악에 참여하는 것은 음악적 전문가의 영역으로 치부되어왔다.

또한, 초창기 저장매체로 이용되었던 레코드 판의 물리적 한계로 인해 통념적인 음악의 길이가 정해졌으며, 레코드 판의 물리적 한계를 벗어난 디지털 음악의 시대에서도 통념적인 음악의 길이는 대중적인 음악의 길이로 자리매김 하게 되었다.

결국, 현대 사회를 살아가는 대다수 음악의 수요자들은 한정된 시간적 길이 내에서 주어진 음악의 수동적 / 피동적 감상이라는 한정된 역할에 머무를 수 밖에 없게 되어 원하는 시간 만큼 능동적이고 주도적으로 음악에 참여하는 음악 본연의 즐거움 중 하나를 잃게 되었다.

따라서, 음악의 수요자들에게 음악 본연의 즐거움을 되돌려 놓기 위해서는 음악에 대한 참여의 장벽을 낮추고, 한정된 오디오 소스를 이용하되 통념적인 음악의 길이를 탈피하도록 치밀하게 설계된 오디오 소스 재생 방법과 이를 이용한 음악 어플리케이션이 필요할 수 있다.

본 발명의 일 과제는 사용자에게 자연스러운 음악적 생동감을 부여하기 위한 실감형 오디오 소스 재생 방법을 제공하는 것이다.

본 발명의 일 과제는 사용자와의 인터랙션을 기초로 음악에 생동감을 부여하기 위한 실감형 오디오 소스 재생 방법을 제공하는 것이다.

본 발명의 일 과제는 사용자에게 다양한 음악적 경험을 만들어주기 위한 실감형 오디오 소스 재생 방법을 제공하는 것이다.

본 발명의 일 과제는 사용자에게 주도적이고 다양한 음악적 경험을 만들어주기 위한 실감형 오디오 소스 재생 방법을 제공하는 것이다.

본 발명의 일 과제는 오디오 소스 세트를 비선형적으로 재생하기 위한 오디오 소스 재생 방법을 제공하는 것이다.

본 발명의 해결하고자 하는 과제들이 상술한 해결 과제들로 제한되는 것은 아니며, 언급되지 아니한 해결 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

일 실시예에 따른 사운드를 구성하는 주파수 스펙트럼을 음악적 단위(musical meter)를 기초로 실시간으로 변경하여 사용자에게 자연스러운 음악적 생동감을 부여하기 위한 실감형 오디오 소스 재생 방법은 제1 오디오 소스 및 제2 오디오 소스를 포함하는 제1 오디오 소스 세트(first audio source set)를 재생하는 단계, 가이드 영역에 포함되는 가이드 오브젝트를 디스플레이 하는 단계, 상기 가이드 오브젝트로 이동되는 제1 오브젝트를 디스플레이 하는 단계, 사용자로부터 제1 입력이 획득된 시점에 상기 제1 오브젝트가 상기 가이드 영역과 적어도 일부 오버랩 되는 경우, 상기 제1 입력이 획득된 시점 이후에 출력되는 사운드를 구성하는 주파수 스펙트럼이 변경되도록 제3 오디오 소스의 출력 레벨이 상기 제2 오디오 소스의 출력 레벨보다 높도록 적어도 제3 오디오 소스를 포함하는 제2 오디오 소스 세트를 재생하는 단계를 포함하되, 제1 내지 제3 오디오 소스 중 적어도 하나의 오디오 소스의 기준 박자수를 포함하는 음악적 단위를 마디라고 할 때, 상기 제1 오브젝트가 디스플레이되는 제1 마디의 일부 구간에서 상기 제1 오디오 소스 세트가 재생되며, 상기 제1 오브젝트가 디스플레이 되지 않는 제2 마디의 일부 구간에서 상기 제2 오디오 소스 세트가 재생되도록 상기 제1 오브젝트가 상기 가이드 영역과 적어도 일부 오버랩되는 시점은 상기 제1 마디의 마지막 박자와 상기 제2 마디의 첫번째 박자 사이의 구간에 포함되도록 설정될 수 있다.

다른 일 실시예에 따른 사운드를 구성하는 주파수 스펙트럼을 실시간으로 변경하여 사용자에게 자연스러운 음악적 생동감을 부여하기 위한 실감형 오디오 소스 재생 방법은 제1 오디오 소스를 재생하는 단계, 가이드 영역에 포함되는 가이드 오브젝트를 디스플레이 하는 단계, 가이드 오브젝트로 이동되는 제1 타입 오브젝트 및 제2 타입 오브젝트를 디스플레이 하는 단계, 상기 제1 타입 오브젝트와 관련된 제1 입력 및 상기 제2 타입 오브젝트와 관련된 제2 입력을 획득하는 단계, 상기 제2 입력이 획득되는 경우 상기 제2 입력에 응답하여 적어도 하나의 오디오 소스를 재생하는 단계 및 상기 제1 입력이 획득되는 경우 상기 제2 입력에 응답하여 재생될 오디오 소스를 변경하는 단계를 포함하되, 제1 시점에 사용자로부터 상기 제2 입력이 획득되면 제2 오디오 소스를 재생하고, 상기 제1 시점 이후인 제2 시점에 상기 사용자로부터 상기 제1 입력이 획득되면, 상기 제2 입력에 응답하여 재생될 오디오 소스를 변경시키며, 상기 제2 시점 이후인 제3 시점에 상기 사용자로부터 제2 입력이 획득되면 상기 제2 오디오 소스와 상이한 제3 오디오 소스를 재생할 수 있다.

또 다른 일 실시예에 따른 사용자와의 인터랙션을 기초로 상기 사용자에게 한정된 시공간 내에서 자연스러운 음악적 변화를 유도하고, 자유로운 음악적 변화를 허용하여 생동감을 부여하기 위한 실감형 오디오 소스 재생 방법은 제1 오디오 소스를 재생하는 단계, 가이드 영역에 포함되는 가이드 오브젝트를 디스플레이 하는 단계, 가이드 오브젝트로 이동되는 제1 오브젝트를 디스플레이 하는 단계, 상기 제1 오브젝트가 상기 가이드 영역과 오버랩되는 시간 구간에서 상기 사용자와의 인터랙션에 의한 사운드 변화를 유도하기 위하여, 상기 제1 오브젝트가 상기 가이드 영역과 적어도 일부 오버랩 될 때 상기 사용자로부터 제1 입력이 획득되는 경우, 상기 제1 입력에 응답하여 제1 오디오 이펙트를 출력하는 단계, 상기 제1 오브젝트가 상기 가이드 영역과 오버랩되지 않는 시간 구간에서 사운드 변화의 시간적 자유도를 확장시키기 위하여 상기 제1 오브젝트가 상기 가이드 영역과 오버랩되지 않을 때 상기 사용자로부터 상기 제1 오브젝트의 위치에 대응되는 영역에 대한 제2 입력이 획득되는 경우, 상기 제2 입력에 대응하여 제2 오디오 이펙트를 출력하는 단계를 포함할 수 있다.

또 다른 일 실시예에 따른 사용자와의 인터랙션을 기초로 오디오 소스에 대한 선택적 변화를 부여하여 사용자에게 주도적 음악적 경험을 만들어 주되, 오디오 소스에 대한 비선택적 변화를 부여하여 사용자에게 다양한 음악적 경험을 만들어주기 위한 실감형 오디오 소스 재생 방법은 제1 오디오 소스 및 제2 오디오 소스를 포함하는 오디오 소스 세트(Audio soure set)를 재생하는 단계, 사용자와의 인터랙션을 위한 제1 오브젝트를 디스플레이 하는 단계, 상기 제1 오브젝트에 대한 입력을 획득하는 단계, 획득된 입력에 기초하여 상기 오디오 소스 세트의 적어도 일부를 조절하는 단계를 포함하되, 상기 오디오 소스 세트의 적어도 일부를 조절하는 단계에서, 사용자와의 인터랙션에 따라 사용자가 의도한 시점에 상기 오디오 소스 세트에 대한 선택적 변화가 부여되도록 상기 제1 오브젝트와 관련된 제1 입력이 획득되는 경우 상기 오디오 소스 세트 중 상기 제1 입력에 의해 선택된 상기 제1 오디오 소스의 출력 레벨이 가장 높도록 상기 오디오 소스 세트를 조절하며, 사용자와의 인터랙션에 따라 사용자가 의도한 시점에 상기 오디오 소스 세트에 대한 임의적인 변화가 부여되도록 상기 제1 오브젝트와 관련된 제2 입력이 획득되는 경우 상기 오디오 소스 세트 중 적어도 하나의 오디오 소스에 대하여 임의의 오디오 이펙트를 적용할 수 있다.

또 다른 일 실시예에 따른 사용자와의 인터랙션을 기초로 오디오 소스에 대한 지속적 변화 가능성을 부여하여 사용자에게 주도적 음악적 경험을 만들어주되, 오디오 소스에 대한 임의적 변화 가능성을 부여하여 사용자에게 다양한 음악적 경험을 만들어주기 위한 실감형 오디오 소스 재생 방법은 제1 오디오 소스 및 제2 오디오 소스를 포함하는 오디오 소스 세트(Audio source set)를 재생하는 단계, 사용자와의 인터랙션을 위한 적어도 하나의 오브젝트를 디스플레이 하는 단계, 상기 적어도 하나의 오브젝트에 대한 입력을 획득하는 단계 및 획득된 입력에 기초하여 상기 오디오 소스 세트의 적어도 일부를 조절하는 단계를 포함하되, 상기 오디오 소스 세트의 적어도 일부를 조절하는 단계에서, 사용자와의 인터랙션에 따라 사용자가 예상한 시점에 상기 오디오 소스 세트에 대한 선택적 변화가 수행되도록, 상기 적어도 하나 이상의 오브젝트 중 제1 오브젝트가 제1 시간 구간 동안 디스플레이 되고, 상기 제1 오브젝트와 관련된 제1 입력이 획득되는 경우, 상기 오디오 소스 세트 중 상기 제1 입력에 의해 선택된 제1 오디오 소스의 출력 레벨이 가장 높도록 상기 오디오 소스 세트가 조절되며, 사용자와의 인터랙션에 따라 임의적 시간 구간에서 상기 오디오 소스 세트에 대한 선택적 변화가 수행되도록 상기 적어도 하나 이상의 오브젝트 중 제2 오브젝트가 임의적인 시점에 상기 제1 시간 구간 보다 짧은 제2 시간 구간 이내의 시간동안 디스플레이 되고, 상기 제2 오브젝트와 관련된 제2 입력이 획득되는 경우, 상기 오디오 소스 세트의 적어도 일부에 대하여 상기 제2 오브젝트와 대응되는 오디오 이펙트가 적용될 수 있다.

또 다른 일 실시예에 따른 사용자와의 인터랙션을 기초로 오디오 소스에 대한 지속적 변화 가능성을 부여하여 사용자에게 주도적 음악적 경험을 만들어주되, 오디오 소스에 대한 임의적 변화 가능성을 부여하여 사용자에게 다양한 음악적 경험을 만들어주기 위한 실감형 오디오 소스 재생 방법은 제1 오디오 소스 및 제2 오디오 소스를 포함하는 오디오 소스 세트(Audio source set)를 재생하는 단계, 사용자와의 인터랙션을 위한 적어도 하나의 오브젝트를 디스플레이 하는 단계, 상기 적어도 하나의 오브젝트에 대한 입력을 획득하는 단계 및 획득된 입력에 기초하여 상기 오디오 소스 세트의 적어도 일부를 조절하는 단계를 포함하되, 상기 오디오 소스 세트의 적어도 일부를 조절하는 단계에서, 제1 오디오 이펙트 그룹에 대한 사용자의 인터랙션 가능성을 유지시키되, 제2 오디오 이펙트 그룹에 대한 사용자의 인터랙션 가능성을 임의적으로 생성시키기 위하여, 상기 적어도 하나 이상의 오브젝트 중 제1 오브젝트가 제1 시간 구간 동안 디스플레이 되고, 상기 적어도 하나 이상의 오브젝트 중 제2 오브젝트가 임의적인 시점에 상기 제1 시간 구간 보다 짧은 제2 시간 구간 동안 디스플레이 되며, 사용자로부터 상기 제1 오브젝트와 관련된 제1 입력이 획득되는 경우, 상기 제1 오디오 이펙트 그룹에 포함되는 적어도 하나의 오디오 이펙트가 적용되며, 사용자로부터 상기 제2 오브젝트와 관련된 제2 입력이 획득되는 경우, 상기 제2 오디오 이펙트 그룹에 포함되는 적어도 하나의 오디오 이펙트가 적용될 수 있다.

또 다른 일 실시예에 따른 사용자와의 인터랙션을 기초로 제1 오디오 소스 세트, 제2 오디오 소스 세트 및 제3 오디오 소스 세트를 비선형적으로 재생하기 위한 오디오 소스 재생 방법은 상기 제1 오디오 소스 세트, 상기 제2 오디오 소스 세트 및 상기 제3 오디오 소스 세트를 비선형적으로 재생하기 위한 적어도 하나의 오브젝트를 디스플레이 하는 단계 및 상기 제1 오디오 소스 세트, 상기 제2 오디오 소스 세트 및 상기 제3 오디오 소스 세트 중 적어도 하나의 오디오 소스 세트를 재생하는 단계를 포함하되, 사용자의 인터랙션을 기초로 상기 제1, 제2 및 제3 오디오 소스 세트를 비선형적으로 재생하기 위하여, 상기 제1 오디오 소스 세트가 재생될 때 상기 적어도 하나의 오브젝트에 대한 제1 입력이 획득되는 경우 상기 제1 오디오 소스 세트의 종료 여부와 무관하게 상기 제2 오디오 소스 세트를 재생하며, 상기 제1 오디오 소스 세트가 재생될 때 상기 적어도 하나의 오브젝트에 대한 제2 입력이 획득되는 경우 상기 제1 오디오 소스 세트의 종료 여부와 무관하게 상기 제3 오디오 소스 세트를 재생하되, 상기 제2 오디오 소스 세트는 상기 제1 및 제3 오디오 소스 세트 중 적어도 하나의 오디오 소스 세트가 종료됨에 따라 재생되나, 상기 제3 오디오 소스 세트는 상기 제1 및 제2 오디오 소스 세트의 종료에 따라 재생되지 않도록 설정될 수 있다.

또 다른 일 실시예에 따른 사용자와의 인터랙션을 기초로 제1 오디오 소스 세트, 제2 오디오 소스 세트 및 제3 오디오 소스 세트를 비선형적으로 재생하기 위한 오디오 소스 재생 방법은 상기 제1 오디오 소스 세트, 상기 제2 오디오 소스 세트 및 상기 제3 오디오 소스 세트를 비선형적으로 재생하기 위한 적어도 하나의 오브젝트를 디스플레이 하는 단계 및 상기 제1 오디오 소스 세트, 상기 제2 오디오 소스 세트 및 상기 제3 오디오 소스 세트 중 적어도 하나의 오디오 소스 세트를 재생하는 단계를 포함하되, 사용자의 인터랙션을 기초로 제1, 제2 및 제3 오디오 소스 세트를 비선형적으로 재생하기 위하여, 상기 제2 오디오 소스 세트는 상기 제1 및 제3 오디오 소스 세트 중 적어도 하나의 오디오 소스 세트의 종료에 따라 재생되되, 상기 제3 오디오 소스 세트는 상기 제1 또는 제2 오디오 소스 세트 재생 중 상기 적어도 하나의 오브젝트에 대한 입력이 획득되는 경우 상기 제1 또는 상기 제2 오디오 소스 세트의 종료와 무관하게 재생되도록 설정되며, 상기 제1 또는 제2 오디오 소스 세트의 재생 중 상기 적어도 하나의 오브젝트에 대한 입력이 없는 경우 재생되지 않도록 설정될 수 있다.

또 다른 일 실시예에 따른 사용자와의 인터랙션을 기초로 제1 오디오 소스 세트, 제2 오디오 소스 세트 및 제3 오디오 소스 세트를 비선형적으로 재생하기 위한 오디오 소스 재생 방법은 상기 제1 오디오 소스 세트, 상기 제2 오디오 소스 세트 및 상기 제3 오디오 소스 세트를 비선형적으로 재생하기 위한 적어도 하나의 오브젝트를 디스플레이 하는 단계 및 상기 제1 오디오 소스 세트, 상기 제2 오디오 소스 세트 및 상기 제3 오디오 소스 세트 중 적어도 하나의 오디오 소스 세트를 재생하는 단계를 포함하되, 사용자의 인터랙션을 기초로 제1, 제2 및 제3 오디오 소스 세트를 비선형적으로 재생하기 위하여, 상기 제1 오디오 소스 세트가 재생될 때 상기 적어도 하나의 오브젝트에 대한 제1 입력이 획득되는 경우 상기 제1 오디오 소스 세트의 종료 여부와 무관하게 상기 제2 오디오 소스 세트를 재생하며, 상기 제1 오디오 소스 세트가 재생될 때 상기 적어도 하나의 오브젝트에 대한 제2 입력에 획득되는 경우 상기 제1 오디오 소스 세트의 종료 여부와 무관하게 상기 제3 오디오 소스 세트를 재생 하되, 동일한 볼륨에서 상기 제3 오디오 소스 세트의 평균 에너지는 상기 제2 오디오 소스 세트의 평균 에너지보다 크며, 상기 제2 입력의 입력 횟수 또는 입력 기간의 길이는 상기 제1 입력의 입력 횟수 보다 크거나 상기 제1 입력의 입력 기간의 길이 보다 길 수 있다.

또 다른 일 실시예에 따른 하나 이상의 프로세서에서 수행되는 사용자와의 인터랙션을 기초로 제1 오디오 소스 세트, 제2 오디오 소스 세트 및 제3 오디오 소스 세트를 비선형적으로 재생하기 위한 오디오 소스 재생 방법은 제1 오디오 소스 세트를 재생하며 제1 오브젝트를 디스플레이 하는 단계, 상기 제1 오디오 소스 세트가 재생될 때 상기 제1 오브젝트와 관련된 제1 타입 입력이 획득되는 경우 상기 제1 타입 입력에 응답하여 상기 제1 오디오 소스 세트를 조절하는 단계, 상기 제1 오디오 소스 세트가 재생될 때 상기 제1 오브젝트에 대한 제2 타입 입력이 획득되는 경우 상기 제2 타입 입력에 응답하여 제2 오브젝트를 디스플레이 하고, 상기 제1 오디오 소스 세트와 상이한 제2 오디오 소스 세트를 재생하는 단계, 상기 제2 오디오 소스 세트가 재생될 때 상기 제2 오브젝트에 대한 상기 제1 타입 입력이 획득되는 경우 상기 제1 타입 입력에 응답하여 상기 제2 오디오 소스 세트를 조절하는 단계, 상기 제2 오디오 소스 세트가 재생될 때 상기 제2 오브젝트에 대한 제3 타입 입력이 획득되는 경우, 상기 제3 타입 입력에 응답하여 제3 오브젝트를 디스플레이하고, 제3 오디오 소스 세트를 재생하는 단계 및 상기 제3 오디오 소스 세트가 재생될 때 상기 제3 오브젝트에 대한 상기 제1 타입 입력이 획득되는 경우 상기 제1 타입 입력에 응답하여 제3 오디오 소스를 조절하는 단계를 포함할 수 있다.

본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 실시예에 따르면 사운드를 구성하는 주파수 스펙트럼을 음악적 단위를 기초로 실시간으로 변경하여 사용자에게 자연스러운 음악적 생동감을 부여하기 위한 실감형 오디오 소스 재생 방법이 제공될 수 있다.

본 발명의 일 실시예에 따르면 사용자와의 인터랙션을 기초로 사용자에게 한정된 시공간 내에서 자연스러운 음악적 변화를 유도하고, 자유로운 음악적 변화를 허용하여 생동감을 부여하기 위한 실감형 오디오 소스 재생 방법이 제공될 수 있다.

본 발명의 일 실시예에 따르면 사용자와의 인터랙션을 기초로 오디오 소스에 대한 선택적 변화를 부여하여 사용자에게 주도적 음악적 경험을 만들어 주되, 오디오 소스에 대한 비선택적 변화를 부여하여 사용자에게 다양한 음악적 경험을 만들어주기 위한 실감형 오디오 소스 재생 방법이 제공될 수 있다.

본 발명의 일 실시예에 따르면 사용자와의 인터랙션을 기초로 오디오 소스에 대한 지속적 변화 가능성을 부여하여 사용자에게 주도적 음악적 경험을 만들어주되, 오디오 소스에 대한 임의적 변화 가능성을 부여하여 사용자에게 다양한 음악적 경험을 만들어주기 위한 실감형 오디오 소스 재생 방법이 제공될 수 있다.

본 발명의 일 실시예에 따르면 사용자와의 인터랙션을 기초로 적어도 하나의 오디오 소스 세트를 비선형적으로 재생하기 위한 오디오 소스 재생 방법이 제공될 수 있다.

본 발명의 효과들이 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 종래의 오디오 소스 재생 시스템을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 오디오 소스 재생 시스템을 설명하기 위한 도면이다.
도 3은 일 실시예에 따라 오디오 소스를 획득하는 방법을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 인터랙션 규칙을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 인터랙션 규칙 세트를 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 인터페이스를 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 인터페이스를 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 인터페이스를 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 인터페이스를 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 인터페이스를 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 인터페이스를 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 인터페이스를 설명하기 위한 도면이다.
도 13은 일 실시예에 따른 실감형 오디오 소스 재생 방법을 설명하기 위한 흐름도이다.
도 14는 일 실시예에 따른 실감형 오디오 소스 재생 방법을 설명하기 위한 흐름도이다.
도 15는 일 실시예에 따른 실감형 오디오 소스 재생 방법을 설명하기 위한 흐름도이다.
도 16은 일 실시예에 따른 인터페이스를 설명하기 위한 도면이다.
도 17은 일 실시예에 따른 인터페이스를 설명하기 위한 도면이다.
도 18 내지 도 20은 일 실시예에 따른 인터페이스를 설명하기 위한 도면이다.
도 21은 일 실시예에 따른 인터페이스를 설명하기 위한 도면이다.
도 22는 일 실시예에 따른 인터페이스를 설명하기 위한 도면이다.
도 23은 일 실시예에 따른 실감형 오디오 소스 재생 방법을 설명하기 위한 흐름도이다.
도 24는 일 실시예에 따른 실감형 오디오 소스 재생 방법을 설명하기 위한 흐름도이다.
도 25는 일 실시예에 따른 인터페이스를 설명하기 위한 도면이다.
도 26은 일 실시예에 따른 실감형 오디오 소스 재생 방법을 설명하기 위한 흐름도이다.
도 27은 일 실시예에 따른 실감형 오디오 소스 재생 방법을 설명하기 위한 흐름도이다.

본 명세서에 기재된 실시예는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 명확히 설명하기 위한 것이므로, 본 발명이 본 명세서에 기재된 실시예에 한정되는 것은 아니며, 본 발명의 범위는 본 발명의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하여 가능한 현재 널리 사용되고 있는 일반적인 용어를 선택하였으나 이는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 의도, 판례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 이와 달리 특정한 용어를 임의의 의미로 정의하여 사용하는 경우에는 그 용어의 의미에 관하여 별도로 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.

본 명세서에 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 발명의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 발명이 도면에 의해 한정되는 것은 아니다.

본 명세서에서 본 발명에 관련된 공지의 구성 도는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략하기로 한다.

본 발명의 일 실시예에 따르면, 사운드를 구성하는 주파수 스펙트럼을 음악적 단위(musical meter)를 기초로 실시간으로 변경하여 사용자에게 자연스러운 음악적 생동감을 부여하기 위한 실감형 오디오 소스 재생 방법으로서, 제1 오디오 소스 및 제2 오디오 소스를 포함하는 제1 오디오 소스 세트(first audio source set)를 재생하는 단계, 가이드 영역에 포함되는 가이드 오브젝트를 디스플레이 하는 단계, 상기 가이드 오브젝트로 이동되는 제1 오브젝트를 디스플레이 하는 단계, 사용자로부터 제1 입력이 획득된 시점에 상기 제1 오브젝트가 상기 가이드 영역과 적어도 일부 오버랩 되는 경우, 상기 제1 입력이 획득된 시점 이후에 출력되는 사운드를 구성하는 주파수 스펙트럼이 변경되도록 제3 오디오 소스의 출력 레벨이 상기 제2 오디오 소스의 출력 레벨보다 높도록 적어도 제3 오디오 소스를 포함하는 제2 오디오 소스 세트를 재생하는 단계를 포함하되, 제1 내지 제3 오디오 소스 중 적어도 하나의 오디오 소스의 기준 박자수를 포함하는 음악적 단위를 마디라고 할 때, 상기 제1 오브젝트가 디스플레이되는 제1 마디의 일부 구간에서 상기 제1 오디오 소스 세트가 재생되며, 상기 제1 오브젝트가 디스플레이 되지 않는 제2 마디의 일부 구간에서 상기 제2 오디오 소스 세트가 재생되도록 상기 제1 오브젝트가 상기 가이드 영역과 적어도 일부 오버랩되는 시점은 상기 제1 마디의 마지막 박자와 상기 제2 마디의 첫번째 박자 사이의 구간에 포함되는 실감형 오디오 소스 재생 방법에 제공될 수 있다.

여기서, 상기 제1 입력은 터치 입력을 포함할 수 있다.

여기서, 상기 제1 입력은 상기 제1 오브젝트의 위치에 대응되는 터치 입력을 포함할 수 있다.

여기서, 상기 제1 입력은 배경 오브젝트에 대한 터치 입력을 포함할 수 있다.

여기서, 상기 제2 오디오 소스 세트는 상기 제1 오디오 소스 및 상기 제3 오디오 소스를 포함하되, 상기 제2 오디오 소스를 포함하지 않을 수 있다.

여기서, 상기 제2 오디오 소스 세트는 상기 제1 오디오 소스, 상기 제2 오디오 소스 및 상기 제3 오디오 소스를 포함하되, 상기 제2 오디오 소스의 볼륨 레벨은 상기 제3 오디오 소스의 볼륨 레벨보다 낮도록 설정될 수 있다.

여기서, 상기 제1 오디오 소스, 상기 제2 오디오 소스 및 상기 제3 오디오 소스는 각각 서로 다른 악기 사운드를 포함할 수 있다.

여기서, 상기 제1 오디오 소스는 피아노 사운드를 포함하며, 상기 제2 오디오 소스는 드럼 사운드를 포함하고, 상기 제3 오디오 소스는 기타 사운드를 포함할 수 있다.

여기서, 상기 제1 입력이 획득된 시점에 상기 제1 오브젝트가 상기 가이드 영역과 적어도 일부 오버랩 되는 경우, 제4 오디오 소스를 추가로 재생할 수 있다.

여기서, 상기 제4 오디오 소스는 보컬 사운드를 포함할 수 있다.

여기서, 상기 제1 입력이 획득된 시점에 상기 제1 오브젝트가 상기 가이드 영역과 적어도 일부 오버랩 되는 경우, 적어도 하나의 비쥬얼 이펙트를 출력될 수 있다.

여기서, 상기 적어도 하나의 비쥬얼 이펙트는 추가로 재생되는 상기 제4 오디오 소스에 포함되는 보컬 사운드에 대응되는 가사 정보를 포함할 수 있다.

본 발명의 다른 일 실시예에 따르면, 사운드를 구성하는 주파수 스펙트럼을 실시간으로 변경하여 사용자에게 자연스러운 음악적 생동감을 부여하기 위한 실감형 오디오 소스 재생 방법으로서, 제1 오디오 소스를 재생하는 단계, 가이드 영역에 포함되는 가이드 오브젝트를 디스플레이 하는 단계, 가이드 오브젝트로 이동되는 제1 타입 오브젝트 및 제2 타입 오브젝트를 디스플레이 하는 단계, 상기 제1 타입 오브젝트와 관련된 제1 입력 및 상기 제2 타입 오브젝트와 관련된 제2 입력을 획득하는 단계, 상기 제2 입력이 획득되는 경우 상기 제2 입력에 응답하여 적어도 하나의 오디오 소스를 재생하는 단계 및 상기 제1 입력이 획득되는 경우 상기 제2 입력에 응답하여 재생될 오디오 소스를 변경하는 단계를 포함하되, 제1 시점에 사용자로부터 상기 제2 입력이 획득되면 제2 오디오 소스를 재생하고, 상기 제1 시점 이후인 제2 시점에 상기 사용자로부터 상기 제1 입력이 획득되면, 상기 제2 입력에 응답하여 재생될 오디오 소스를 변경시키며, 상기 제2 시점 이후인 제3 시점에 상기 사용자로부터 제2 입력이 획득되면 상기 제2 오디오 소스와 상이한 제3 오디오 소스를 재생하는 실감형 오디오 소스 재생 방법이 제공될 수 있다.

여기서, 상기 제1 타입 오브젝트와 상기 제2 타입 오브젝트는 시각적으로 구분되도록 표시될 수 있다.

여기서, 적어도 한 시점에 한 화면에 표시되는 상기 제1 타입 오브젝트의 개수는 상기 제2 타입 오브젝트의 개수 보다 적을 수 있다.

여기서, 상기 제1 입력 및 상기 제2 입력은 배경 오브젝트에 대한 입력을 포함하되, 상기 제1 타입 오브젝트와 관련된 상기 제1 입력은 상기 제1 타입 오브젝트가 상기 가이드 영역과 적어도 일부 오버랩 되는 시점에 획득된 입력이며, 상기 제2 타입 오브젝트와 관련된 상기 제2 입력은 상기 제2 타입 오브젝트가 상기 가이드 영역과 적어도 일부 오버랩 되는 시점에 획득된 입력일 수 있다.

여기서, 상기 제2 오디오 소스 및 상기 제3 오디오 소스는 서로 다른 악기 사운드를 포함할 수 있다.

본 발명의 또 다른 일 실시예에 따르면, 사용자와의 인터랙션을 기초로 상기 사용자에게 한정된 시공간 내에서 자연스러운 음악적 변화를 유도하고, 자유로운 음악적 변화를 허용하여 생동감을 부여하기 위한 실감형 오디오 소스 재생 방법으로서, 제1 오디오 소스를 재생하는 단계, 가이드 영역에 포함되는 가이드 오브젝트를 디스플레이 하는 단계, 가이드 오브젝트로 이동되는 제1 오브젝트를 디스플레이 하는 단계, 상기 제1 오브젝트가 상기 가이드 영역과 오버랩되는 시간 구간에서 상기 사용자와의 인터랙션에 의한 사운드 변화를 유도하기 위하여, 상기 제1 오브젝트가 상기 가이드 영역과 적어도 일부 오버랩 될 때 상기 사용자로부터 제1 입력이 획득되는 경우, 상기 제1 입력에 응답하여 제1 오디오 이펙트를 출력하는 단계, 상기 제1 오브젝트가 상기 가이드 영역과 오버랩되지 않는 시간 구간에서 사운드 변화의 시간적 자유도를 확장시키기 위하여 상기 제1 오브젝트가 상기 가이드 영역과 오버랩되지 않을 때 상기 사용자로부터 상기 제1 오브젝트의 위치에 대응되는 영역에 대한 제2 입력이 획득되는 경우, 상기 제2 입력에 대응하여 제2 오디오 이펙트를 출력하는 단계를 포함하는 실감형 오디오 소스 재생 방법이 제공될 수 있다.

여기서, 상기 제1 입력은 배경 오브젝트에 대한 터치 입력을 포함할 수 있다.

여기서, 상기 제1 오디오 이펙트와 상기 제2 오디오 이펙트는 동일한 오디오 이펙트일 수 있다.

여기서, 상기 제2 입력은 상기 제1 오브젝트의 위치에 대응되는 영역에 대한 드래그 입력을 포함하며, 상기 제1 오디오 이펙트는 상기 제1 입력에 응답하여 단발적으로 출력되되, 상기 제2 오디오 이펙트 상기 제2 입력의 지속시간동안 지속적으로 출력될 수 있다.

여기서, 상기 제1 오디오 이펙트는 제2 오디오 소스를 추가로 재생하는 오디오 이펙트이며, 상기 제2 오디오 이펙트는 제3 오디오 소스를 추가로 재생하는 오디오 이펙트이고, 상기 제3 오디오 소스의 길이는 상기 제2 오디오 소스의 길이보다 길 수 있다.

본 발명의 또 다른 일 실시예에 따르면, 사용자와의 인터랙션을 기초로 오디오 소스에 대한 선택적 변화를 부여하여 사용자에게 주도적 음악적 경험을 만들어 주되, 오디오 소스에 대한 비선택적 변화를 부여하여 사용자에게 다양한 음악적 경험을 만들어주기 위한 실감형 오디오 소스 재생 방법으로서, 제1 오디오 소스 및 제2 오디오 소스를 포함하는 오디오 소스 세트(Audio soure set)를 재생하는 단계, 사용자와의 인터랙션을 위한 제1 오브젝트를 디스플레이 하는 단계, 상기 제1 오브젝트에 대한 입력을 획득하는 단계, 획득된 입력에 기초하여 상기 오디오 소스 세트의 적어도 일부를 조절하는 단계를 포함하되, 상기 오디오 소스 세트의 적어도 일부를 조절하는 단계에서, 사용자와의 인터랙션에 따라 사용자가 의도한 시점에 상기 오디오 소스 세트에 대한 선택적 변화가 부여되도록 상기 제1 오브젝트와 관련된 제1 입력이 획득되는 경우 상기 오디오 소스 세트 중 상기 제1 입력에 의해 선택된 상기 제1 오디오 소스의 출력 레벨이 가장 높도록 상기 오디오 소스 세트를 조절하며, 사용자와의 인터랙션에 따라 사용자가 의도한 시점에 상기 오디오 소스 세트에 대한 임의적인 변화가 부여되도록 상기 제1 오브젝트와 관련된 제2 입력이 획득되는 경우 상기 오디오 소스 세트 중 적어도 하나의 오디오 소스에 대하여 임의의 오디오 이펙트를 적용하는 실감형 오디오 소스 재생 방법이 제공될 수 있다.

여기서, 상기 제1 오브젝트와 관련된 상기 제1 입력은 상기 제1 오브젝트에 대한 드래그 입력을 포함하며, 상기 제1 오브젝트와 관련된 상기 제2 입력은 상기 제1 오브젝트에 대한 터치 입력을 포함할 수 있다.

여기서, 상기 제1 오디오 소스의 출력 레벨이 가장 높도록 상기 오디오 소스 세트를 조정하기 위하여 상기 제2 오디오 소스를 재생하지 않을 수 있다.

여기서, 상기 제1 오디오 소스의 출력 레벨이 가장 높도록 상기 오디오 소스 세트를 조정하기 위하여 상기 제1 오디오 소스의 볼륨 레벨을 상기 제2 오디오 소스의 볼륨 레벨보다 높도록 설정할 수 있다.

여기서, 상기 제1 오디오 소스의 볼륨 레벨을 상승시키고, 상기 제2 오디오 소스의 볼륨 레벨을 하강시키되, 상기 제1 오디오 소스의 볼륨 레벨을 비선형적으로 상승시키고, 상기 제2 오디오 소스의 볼륨 레벨을 비선형적으로 하강시킬 수 있다.

여기서, 상기 임의의 오디오 이펙트는 상기 제2 입력이 획득된 시점에 기초하여 결정될 수 있다.

본 발명의 또 다른 일 실시예에 따르면, 사용자와의 인터랙션을 기초로 오디오 소스에 대한 지속적 변화 가능성을 부여하여 사용자에게 주도적 음악적 경험을 만들어주되, 오디오 소스에 대한 임의적 변화 가능성을 부여하여 사용자에게 다양한 음악적 경험을 만들어주기 위한 실감형 오디오 소스 재생 방법으로서, 제1 오디오 소스 및 제2 오디오 소스를 포함하는 오디오 소스 세트(Audio source set)를 재생하는 단계, 사용자와의 인터랙션을 위한 적어도 하나의 오브젝트를 디스플레이 하는 단계, 상기 적어도 하나의 오브젝트에 대한 입력을 획득하는 단계 및 획득된 입력에 기초하여 상기 오디오 소스 세트의 적어도 일부를 조절하는 단계를 포함하되, 상기 오디오 소스 세트의 적어도 일부를 조절하는 단계에서, 사용자와의 인터랙션에 따라 사용자가 예상한 시점에 상기 오디오 소스 세트에 대한 선택적 변화가 수행되도록, 상기 적어도 하나 이상의 오브젝트 중 제1 오브젝트가 제1 시간 구간 동안 디스플레이 되고, 상기 제1 오브젝트와 관련된 제1 입력이 획득되는 경우, 상기 오디오 소스 세트 중 상기 제1 입력에 의해 선택된 제1 오디오 소스의 출력 레벨이 가장 높도록 상기 오디오 소스 세트가 조절되며, 사용자와의 인터랙션에 따라 임의적 시간 구간에서 상기 오디오 소스 세트에 대한 선택적 변화가 수행되도록 상기 적어도 하나 이상의 오브젝트 중 제2 오브젝트가 임의적인 시점에 상기 제1 시간 구간 보다 짧은 제2 시간 구간 이내의 시간동안 디스플레이 되고, 상기 제2 오브젝트와 관련된 제2 입력이 획득되는 경우, 상기 오디오 소스 세트의 적어도 일부에 대하여 상기 제2 오브젝트와 대응되는 오디오 이펙트가 적용되는 실감형 오디오 소스 재생 방법이 제공될 수 있다.

여기서, 상기 제1 오브젝트의 크기는 상기 제2 오브젝트의 크기 보다 클 수 있다.

여기서, 상기 제2 오브젝트와 대응되는 오디오 이펙트는 오디오 소스에 대한 템포(Tempo) 조절, Low pass filter, High pass filter, 피치(Pitch) 조절, 비트 리피터(Beat repeater), 에코(Echo), 사이키델릭 모드(Psychedelic mode) 중 적어도 하나를 포함할 수 있다.

여기서, 상기 제2 오브젝트와 대응되는 오디오 이펙트는 상기 제2 오브젝트가 생성될 때 매칭되어 설정될 수 있다.

여기서, 적어도 한 시점에 한 화면에 표시되는 상기 제2 오브젝트의 개수는 상기 제1 오브젝트의 개수보다 많을 수 있다.

본 발명의 또 다른 일 실시예에 따르면, 사용자와의 인터랙션을 기초로 오디오 소스에 대한 지속적 변화 가능성을 부여하여 사용자에게 주도적 음악적 경험을 만들어주되, 오디오 소스에 대한 임의적 변화 가능성을 부여하여 사용자에게 다양한 음악적 경험을 만들어주기 위한 실감형 오디오 소스 재생 방법으로서, 제1 오디오 소스 및 제2 오디오 소스를 포함하는 오디오 소스 세트(Audio source set)를 재생하는 단계, 사용자와의 인터랙션을 위한 적어도 하나의 오브젝트를 디스플레이 하는 단계, 상기 적어도 하나의 오브젝트에 대한 입력을 획득하는 단계 및 획득된 입력에 기초하여 상기 오디오 소스 세트의 적어도 일부를 조절하는 단계를 포함하되, 상기 오디오 소스 세트의 적어도 일부를 조절하는 단계에서, 제1 오디오 이펙트 그룹에 대한 사용자의 인터랙션 가능성을 유지시키되, 제2 오디오 이펙트 그룹에 대한 사용자의 인터랙션 가능성을 임의적으로 생성시키기 위하여, 상기 적어도 하나 이상의 오브젝트 중 제1 오브젝트가 제1 시간 구간 동안 디스플레이 되고, 상기 적어도 하나 이상의 오브젝트 중 제2 오브젝트가 임의적인 시점에 상기 제1 시간 구간 보다 짧은 제2 시간 구간 동안 디스플레이 되며, 사용자로부터 상기 제1 오브젝트와 관련된 제1 입력이 획득되는 경우, 상기 제1 오디오 이펙트 그룹에 포함되는 적어도 하나의 오디오 이펙트가 적용되며, 사용자로부터 상기 제2 오브젝트와 관련된 제2 입력이 획득되는 경우, 상기 제2 오디오 이펙트 그룹에 포함되는 적어도 하나의 오디오 이펙트가 적용되는 실감형 오디오 소스 재생 방법이 제공될 수 있다.

여기서, 상기 제1 오디오 이펙트 그룹은 상기 오디오 소스 세트에 포함되는 제1 또는 제2 오디오 소스의 출력 레벨을 다른 오디오 소스의 출력 레벨보다 높도록 오디오 소스 세트를 조절하는 오디오 이펙트를 포함하며, 상기 제2 오디오 이펙트 그룹은 상기 오디오 소스 세트 중 적어도 하나의 오디오 소스에 대한 템포(Tempo) 조절, Low pass filter, High pass filter, 피치(Pitch) 조절, 비트 리피터(Beat repeater), 에코(Echo), 사이키델릭 모드(Psychedelic mode) 중 적어도 하나의 오디오 이펙트를 포함할 수 있다.

여기서, 상기 제1 오브젝트에 대해 상기 제1 입력이 획득되는 경우 상기 오디오 소스 세트 중 상기 제1 입력에 의해 선택된 상기 제1 오디오 소스의 출력 레벨이 가장 높도록 상기 오디오 소스 세트가 조절될 수 있다.

본 발명의 또 다른 일 실시예에 따르면, 사용자와의 인터랙션을 기초로 제1 오디오 소스 세트, 제2 오디오 소스 세트 및 제3 오디오 소스 세트를 비선형적으로 재생하기 위한 오디오 소스 재생 방법으로서, 상기 제1 오디오 소스 세트, 상기 제2 오디오 소스 세트 및 상기 제3 오디오 소스 세트를 비선형적으로 재생하기 위한 적어도 하나의 오브젝트를 디스플레이 하는 단계 및 상기 제1 오디오 소스 세트, 상기 제2 오디오 소스 세트 및 상기 제3 오디오 소스 세트 중 적어도 하나의 오디오 소스 세트를 재생하는 단계를 포함하되, 사용자의 인터랙션을 기초로 상기 제1, 제2 및 제3 오디오 소스 세트를 비선형적으로 재생하기 위하여, 상기 제1 오디오 소스 세트가 재생될 때 상기 적어도 하나의 오브젝트에 대한 제1 입력이 획득되는 경우 상기 제1 오디오 소스 세트의 종료 여부와 무관하게 상기 제2 오디오 소스 세트를 재생하며, 상기 제1 오디오 소스 세트가 재생될 때 상기 적어도 하나의 오브젝트에 대한 제2 입력이 획득되는 경우 상기 제1 오디오 소스 세트의 종료 여부와 무관하게 상기 제3 오디오 소스 세트를 재생하되, 상기 제2 오디오 소스 세트는 상기 제1 및 제3 오디오 소스 세트 중 적어도 하나의 오디오 소스 세트가 종료됨에 따라 재생되나, 상기 제3 오디오 소스 세트는 상기 제1 및 제2 오디오 소스 세트의 종료에 따라 재생되지 않도록 설정되는 오디오 소스 재생 방법이 제공될 수 있다.

여기서, 상기 제1 오디오 소스 세트는 음악의 제1 부분에 대응되며, 상기 제2 오디오 소스 세트는 상기 음악의 제2 부분에 대응되고, 상기 제3 오디오 소스 세트는 상기 음악의 제3 부분에 대응될 수 있다.

여기서, 상기 제3 오디오 소스 세트는 상기 음악의 하이라이트 부분에 대응될 수 있다.

여기서, 상기 제2 입력의 입력 횟수 또는 입력 기간의 길이는 상기 제1 입력의 입력 횟수 보다 크거나 상기 제1 입력의 입력 기간의 길이 보다 길 수 있다.

여기서, 동일한 볼륨 레벨에서 상기 제3 오디오 소스 세트의 평균 에너지는 상기 제2 오디오 소스 세트의 평균 에너지보다 클 수 있다.

여기서, 상기 적어도 하나의 오브젝트는 복수개의 오브젝트를 포함하며, 상기 제1 입력과 관련된 오브젝트와 상기 제2 입력과 관련된 오브젝트는 서로 상이할 수 있다.

본 발명의 또 다른 일 실시예에 따르면, 사용자와의 인터랙션을 기초로 제1 오디오 소스 세트, 제2 오디오 소스 세트 및 제3 오디오 소스 세트를 비선형적으로 재생하기 위한 오디오 소스 재생 방법으로서, 상기 제1 오디오 소스 세트, 상기 제2 오디오 소스 세트 및 상기 제3 오디오 소스 세트를 비선형적으로 재생하기 위한 적어도 하나의 오브젝트를 디스플레이 하는 단계 및 상기 제1 오디오 소스 세트, 상기 제2 오디오 소스 세트 및 상기 제3 오디오 소스 세트 중 적어도 하나의 오디오 소스 세트를 재생하는 단계를 포함하되, 사용자의 인터랙션을 기초로 제1, 제2 및 제3 오디오 소스 세트를 비선형적으로 재생하기 위하여, 상기 제2 오디오 소스 세트는 상기 제1 및 제3 오디오 소스 세트 중 적어도 하나의 오디오 소스 세트의 종료에 따라 재생되되, 상기 제3 오디오 소스 세트는 상기 제1 또는 제2 오디오 소스 세트 재생 중 상기 적어도 하나의 오브젝트에 대한 입력이 획득되는 경우 상기 제1 또는 상기 제2 오디오 소스 세트의 종료와 무관하게 재생되도록 설정되며, 상기 제1 또는 제2 오디오 소스 세트의 재생 중 상기 적어도 하나의 오브젝트에 대한 입력이 없는 경우 재생되지 않도록 설정되는 오디오 소스 재생 방법이 제공될 수 있다.

본 발명의 또 다른 일 실시예에 따르면, 사용자와의 인터랙션을 기초로 제1 오디오 소스 세트, 제2 오디오 소스 세트 및 제3 오디오 소스 세트를 비선형적으로 재생하기 위한 오디오 소스 재생 방법으로서, 상기 제1 오디오 소스 세트, 상기 제2 오디오 소스 세트 및 상기 제3 오디오 소스 세트를 비선형적으로 재생하기 위한 적어도 하나의 오브젝트를 디스플레이 하는 단계 및 상기 제1 오디오 소스 세트, 상기 제2 오디오 소스 세트 및 상기 제3 오디오 소스 세트 중 적어도 하나의 오디오 소스 세트를 재생하는 단계를 포함하되, 사용자의 인터랙션을 기초로 제1, 제2 및 제3 오디오 소스 세트를 비선형적으로 재생하기 위하여, 상기 제1 오디오 소스 세트가 재생될 때 상기 적어도 하나의 오브젝트에 대한 제1 입력이 획득되는 경우 상기 제1 오디오 소스 세트의 종료 여부와 무관하게 상기 제2 오디오 소스 세트를 재생하며, 상기 제1 오디오 소스 세트가 재생될 때 상기 적어도 하나의 오브젝트에 대한 제2 입력에 획득되는 경우 상기 제1 오디오 소스 세트의 종료 여부와 무관하게 상기 제3 오디오 소스 세트를 재생 하되, 동일한 볼륨에서 상기 제3 오디오 소스 세트의 평균 에너지는 상기 제2 오디오 소스 세트의 평균 에너지보다 크며, 상기 제2 입력의 입력 횟수 또는 입력 기간의 길이는 상기 제1 입력의 입력 횟수 보다 크거나 상기 제1 입력의 입력 기간의 길이 보다 긴 오디오 소스 재생 방법이 제공될 수 있다.

본 발명의 또 다른 일 실시예에 따르면, 사용자와의 인터랙션을 기초로 제1 오디오 소스 세트, 제2 오디오 소스 세트 및 제3 오디오 소스 세트를 비선형적으로 재생하기 위한 오디오 소스 재생 방법으로서, 제1 오디오 소스 세트를 재생하며 제1 오브젝트를 디스플레이 하는 단계, 상기 제1 오디오 소스 세트가 재생될 때 상기 제1 오브젝트와 관련된 제1 타입 입력이 획득되는 경우 상기 제1 타입 입력에 응답하여 상기 제1 오디오 소스 세트를 조절하는 단계, 상기 제1 오디오 소스 세트가 재생될 때 상기 제1 오브젝트에 대한 제2 타입 입력이 획득되는 경우 상기 제2 타입 입력에 응답하여 제2 오브젝트를 디스플레이 하고, 상기 제1 오디오 소스 세트와 상이한 제2 오디오 소스 세트를 재생하는 단계, 상기 제2 오디오 소스 세트가 재생될 때 상기 제2 오브젝트에 대한 상기 제1 타입 입력이 획득되는 경우 상기 제1 타입 입력에 응답하여 상기 제2 오디오 소스 세트를 조절하는 단계, 상기 제2 오디오 소스 세트가 재생될 때 상기 제2 오브젝트에 대한 제3 타입 입력이 획득되는 경우, 상기 제3 타입 입력에 응답하여 제3 오브젝트를 디스플레이하고, 제3 오디오 소스 세트를 재생하는 단계 및 상기 제3 오디오 소스 세트가 재생될 때 상기 제3 오브젝트에 대한 상기 제1 타입 입력이 획득되는 경우 상기 제1 타입 입력에 응답하여 제3 오디오 소스를 조절하는 단계를 포함하는 오디오 소스 재생방법이 제공될 수 있다.

여기서, 상기 제3 오디오 소스 세트가 재생될 때 상기 제3 오브젝트에 대한 상기 제2 타입 입력이 획득되는 경우, 상기 제2 타입 입력에 응답하여 상기 제1 오디오 소스 세트 및 상기 제2 오디오 소스 세트 중 어느 하나의 오디오 소스 세트를 재생하는 단계를 더 포함할 수 있다.

여기서, 상기 제1 오디오 소스 세트가 재생될 때 상기 제1 오브젝트에 대한 상기 제3 타입 입력이 획득되는 경우 상기 제3 타입 입력에 응답하여 상기 제3 오브젝트를 디스플레이하고 상기 제3 오디오 소스 세트를 재생하는 단계를 더 포함할 수 있다.

여기서, 상기 제1 오브젝트, 상기 제2 오브젝트 및 상기 제3 오브젝트는 모양이 상이할 수 있다.

여기서, 상기 제3 오디오 소스 세트에 포함되는 악기 사운드의 종류는 상기 제2 오디오 소스 세트에 포함되는 악기 사운드의 종류 보다 많으며, 상기 제3 오브젝트의 변의 개수는 상기 제2 오브젝트의 변의 개수 보다 많을 수 있다.

1. 용어의 정의

본 명세서에서 사운드 소스(Sound source) 또는 오디오 소스(Audio souce)는 사운드를 발생시키는 물건이나 장소 등을 의미할 수 있으며, 다양한 매개체를 이용하여 특정 사운드가 출력될 수 있도록 저장되거나 생성된 다양한 것들을 의미할 수 있다.

예를 들어, 본 명세서에서 사운드 소스(Sound source) 또는 오디오 소스(Audio source)는 턴테이블을 이용하여 사운드를 출력할 수 있도록 저장된 음반, 컴퓨팅 장치와 이와 연결된 스피커를 이용하여 사운드를 출력할 수 있도록 저장된 CD 음반, 사운드 웨이브(Sound wave)형식으로 저장되거나 생성된 오디오 데이터, 아날로그 신호(Analog-signal) 형식으로 저장되거나 생성된 오디오 데이터, 디지털 신호(Digital-signal) 형식으로 저장되거나 생성된 오디오 데이터 등에 대응될 수 있으나, 이에 한정되지 않는다.

다만, 본 명세서에서는 설명의 편의를 위해 사운드 소스(Sound source) 또는 오디오 소스(Audio souce)를 오디오 소스(Audio souce)로 기술할 수 있다.

또한, 본 명세서에서 오디오 소스(Audio source)는 MP3, FLAC 등 처럼 오디오 압축 기술(Audio compression techniques)이 적용된 데이터 형식으로 저장된 오디오 데이터에 대응될 수 있으나, 이에 한정되지 않는다.

또한, 본 명세서에서 오디오 소스(Audio source)로부터 발생되거나 오디오 소스(Audio source)를 기초로 사운드 출력 장치로부터 출력되는 사운드는 오디오 소스에 포함되는 사운드 혹은 오디오 소스에 포함되는 사운드 데이터로 기술될 수 있으나, 이에 한정되지 않는다.

또한, 본 명세서에서 오디오 소스(Audio source)는 적어도 1개의 사운드 데이터를 포함할 수 있다. 예를 들어, 본 명세서에서 오디오 소스(Audio source)는 특정 음에 대한 특정 길이의 1개의 사운드 데이터를 포함할 수 있으나, 이에 한정되지 않는다.

또한, 본 명세서에서 오디오 소스(Audio source)는 1개의 물체에 대응되는 1개의 사운드 데이터를 포함할 수 있다. 예를 들어, 본 명세서에서 오디오 소스(Audio source)는 피아노에 대응되는 특정 음에 대한 특정 길이의 1개의 사운드 데이터를 포함할 수 있으나, 이에 한정되지 않는다.

또한, 본 명세서에서 오디오 소스(Audio source)는 1개의 물체에 대한 복수개의 사운드 데이터를 포함할 수 있다. 예를 들어, 본 명세서에서 오디오 소스(Audio source)는 피아노에 대응되는 복수의 음에 대한 특정 길이의 복수개의 사운드 데이터를 포함할 수 있으며, 또한, 예를 들어, 본 명세서에서 오디오 소스(Audio source)는 피아노에 대한 적어도 하나 이상의 음이 시계열적으로 나열된 복수개의 사운드 데이터를 포함할 수 있으나, 이에 한정되지 않는다.

또한, 본 명세서에서 오디오 소스(Audio source)는 복수개의 물체에 대한 복수개의 사운드 데이터를 포함할 수 있다. 예를 들어, 본 명세서에서 오디오 소스(Audio source)는 피아노에 대한 적어도 하나 이상의 음이 시계열 적으로 나열된 사운드 데이터와 기타에 대한 적어도 하나 이상의 음이 시계열적으로 나열된 사운드 데이터를 포함하는 복수개의 사운드 데이터를 포함할 수 있으나, 이에 한정되지 않는다.

또한, 본 명세서에서 음악적 단위(musical meter)는 음악을 구분하여 설명하기 위한 단위를 의미할 수 있으며, 비트(beat), 마디(bar), 동기(Motive), 작은 악절(Phrase), 큰악절(Period) 등을 포함할 수 있다.

또한, 본 명세서에서 비트(beat)는 시간의 기본적 단위로 기준 박자의 한 박자를 의미할 수 있으며, 통상의 기술자가 이해할 수 있는 비트(beat)로 이해될 수 있다.

또한, 본 명세서에서 마디(bar)는 오디오 소스의 기준 박자수를 포함하는 음악적 단위를 의미할 수 있으며, 악보에서 세로줄로 구분되는 악곡의 최소 단위를 의미할 수 있으며, 통상의 기술자가 이해할 수 있는 마디(bar)로 이해될 수 있다.

2. 종래의 오디오 소스 재생 시스템

도 1은 종래의 오디오 소스 재생 시스템을 설명하기 위한 도면이다.

도 1을 참조하면, 종래의 오디오 소스 재생 시스템(100)은 획득된 오디오 소스(101)를 시계열적으로 재생하는 것일 수 있다.

예를 들어, 종래의 오디오 소스 재생 시스템(100)은 획득된 오디오 소스(101)를 저장하고, 저장된 오디오 소스(101) 내에 포함되는 시간 정보에 따라 음원을 출력하는 것에 한정될 수 있다.

따라서, 종래의 오디오 소스 재생 시스템(100)에 따르면, 획득된 오디오 소스(101)에 대한 시간적, 음악적 변경이 가해질 수 없어, 저장된 하나의 오디오 소스를 기초로 한 가지의 음악을 재생시킬 수 있을 뿐이다.

3. 본 발명에 따른 오디오 소스 재생 시스템

도 2는 일 실시예에 따른 오디오 소스 재생 시스템(200)을 설명하기 위한 도면이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 오디오 소스 재생 시스템(200)은 오디오 소스(201) 및 인터랙션 규칙(202)을 포함할 수 있다.

이 때, 오디오 소스(201)에 대하여 상술한 내용들이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.

일 실시예에 따른 인터랙션 규칙(Interaction rule)(202)은 컨트롤러에서 획득된 사용자의 특정 인터랙션과 컨트롤러의 특정 동작을 매칭시키기 위한 규칙일 수 있다.

예를 들어, 일 실시예에 따른 인터랙션 규칙(202)은 제1 오브젝트에 대한 사용자의 터치 입력이 획득되는 경우 재생되는 오디오 소스에 제1 오디오 이펙트를 적용하도록 설정된 인터랙션 규칙일 수 있으나, 이에 한정되지 않는다.

이 때, 사용자의 인터랙션은 인터랙션의 대상, 인터랙션의 종류 등에 따라 특정될 수 있다.

예를 들어, 제1 오브젝트에 대한 터치 입력이 제1 인터랙션으로 특정될 수 있으며, 제2 오브젝트에 대한 터치 입력이 제2 인터랙션으로 특정될 수 있고, 제1 오브젝트에 대한 드래그 입력이 제3 인터랙션으로 특정 될 수 있으며, 제2 오브젝트에 대한 드래그 입력이 제4 인터랙션으로 특정될 수 있으나, 이에 한정되지 않는다.

또한, 컨트롤러의 특정 동작은 재생되는 오디오 소스(201)에 음악적 변형을 가하기 위한 오디오 이펙트를 적용하는 동작, 디스플레이 되는 화면에 비쥬얼 이펙트를 적용하는 동작, 재생되는 오디오 소스를 치환, 변경하는 동작, 재생되는 오디오 소스와 상이한 오디오 소스를 추가하는 동작, 재생되는 오디오 소스 중 적어도 일부를 재생하지 않는 동작 등을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 본 발명의 일 실시예에 따른 오디오 소스 재생 시스템(200)은 상기 인터랙션 규칙(202)에 따라 사용자의 인터랙션을 이용하여 상기 오디오 소스(201)를 재생할 수 있다.

예를 들어, 일 실시예에 따른 오디오 소스 재생 시스템(200)은 사용자의 제1 인터랙션이 획득되는 경우 제1 인터랙션 규칙에 따라 상기 오디오 소스 중 적어도 일부를 재생하되, 상기 사용자의 제2 인터랙션이 획득되는 경우 제2 인터랙션 규칙에 따라 상기 오디오 소스 중 다른 일부를 재생하는 시스템일 수 있으나, 이에 한정되지 않는다.

또한, 예를 들어, 일 실시예에 따른 오디오 소스 재생 시스템(200)은 사용자의 제1 인터랙션이 획득되는 경우 제1 인터랙션 규칙에 따라 재생되는 오디오 소스에 제1 오디오 이펙트를 적용할 수 있으며, 상기 사용자의 제2 인터랙션이 획득되는 경우 제2 인터랙션 규칙에 따라 재생되는 오디오 소스에 제2 오디오 이펙트를 적용할 수 있으나, 이에 한정되지 않는다.

또한, 예를 들어, 일 실시예에 따른 오디오 소스 재생 시스템(200)은 사용자의 제1 인터랙션이 획득되는 경우 제1 인터랙션 규칙에 따라 디스플레이 장치를 통해 출력되는 화면에 제1 비쥬얼 이펙트를 적용할 수 있으며, 상기 사용자의 제2 인터랙션이 획득되는 경우 제2 인터랙션 규칙에 따라 디스플레이 장치를 통해 출력되는 화면에 제2 비쥬얼 이펙트를 적용할 수 있으나, 이에 한정되지 않는다.

또한, 상술한 예시들 외에도 본 발명에 따른 오디오 소스 재생 시스템(200) 에서는 사용자의 다양한 인터랙션이 획득되는 경우 대응되는 인터랙션 규칙에 따라 오디오 소스의 재생, 오디오 이펙트의 적용 및 비쥬얼 이펙트의 적용 등 다양한 동작이 수행될 수 있으며, 이를 통해 다양한 음악을 생성 및 재생할 수 있다.

또한, 상술한 본 발명에 따른 오디오 소스 재생 시스템을 구현하기 위해서 상기 오디오 소스(201)와 상기 인터랙션 규칙(202)을 포함하는 파일, 어플리케이션 등이 제공될 수 있으나, 이에 한정되지 않는다.

도 3은 일 실시예에 따라 오디오 소스를 획득하는 방법을 설명하기 위한 도면이다.

도 3을 참조하면, 일 실시예에 따라 오디오 소스를 획득하기 위해 적어도 하나 이상의 악기 및 보컬의 합주가 녹음된 녹음 데이터가 이용될 수 있으나, 이에 한정되지 않는다.

이 때, 상기 적어도 하나 이상의 악기는 피아노, 기타, 드럼, 베이스 등을 포함할 수 있으나, 이에 한정되지 않으며, 사운드를 발생시키기 위한 기계 및 기구를 모두 포함할 수 있다.

또한 이 때, 녹음 데이터는 피아노, 기타, 드럼, 베이스가 합주되어 녹음된 녹음데이터 일 수 있으며, 피아노, 기타, 드럼 베이스의 연주가 녹음되어 스피커 등 출력 장치를 통해 재출력된 소리가 녹음된 녹음 데이터일 수도 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따라 오디오 소스를 획득하기 위해 소스 분리(Source separation) 기법이 이용될 수 있다.

예를 들어, 상술한 합주 등을 통하여 녹음된 오디오 소스를 소스 분리 모델을 이용하여 각각의 악기에 대응되는 오디오 소스들로 분리하여 오디오 소스를 획득할 수 있으나, 이에 한정되지 않는다.

이 때, 분리된 오디오 소스들은 물리적으로 각각의 악기에 대응될 수 있으나, 이에 한정되지 않으며 의미론적으로 각각의 악기에 대응되는 것으로 보는 경우도 포함할 수 있다.

또한, 일 실시예에 따른 상기 소스 분리 모델은 머신 러닝(Machine learning) 방법으로 구현될 수 있다. 예를 들어, 상기 소스 분리 모델은 지도 학습을 통해 구현된 모델일 수 있으나, 이에 한정되지 않으며, 비지도 학습, 준지도 학습, 강화 학습 등을 통해 구현된 모델일 수 있다.

또한, 일 실시예에 따른 상기 소스 분리 모델은 인공 신경망(artificial neural network, ANN) 으로 구현될 수 있다. 예를 들어, 상기 소스 분리 모델은 전방 전달 신경망(Feedforward neural network), 방사 신경망(radial basis function network) 또는 코헨 자기조직 신경망(kohonen self-organizing network) 등으로 구현될 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따른 상기 소스 분리 모델은 심층 신경망(Deep neural network, DNN)으로 구현될 수 있다. 예를 들어, 상기 소스 분리 모델은 합성곱신경망(Convolutional neural network, CNN), 순환 인공 신경망(Recurrent neural network, RNN), LSTM(Long Short Term Memory Network) 또는 GRUs(Gated Recurrent Units) 등으로 구현될 수 있으나, 이에 한정되지 않는다.

또한, 상기 소스 분리 모델에 입력되는 데이터는 녹음하여 획득된 오디오 소스 자체일 수 있으며, 전처리 된 오디오 소스 데이터일 수 있다.

또한, 일 실시예에 따라 오디오 소스를 획득하기 위해 구조 분리 기법이 이용될 수 있다.

예를 들어, 상술한 합주 등을 통하여 녹음된 오디오 소스를 구조 분리 모델을 이용하여 적어도 둘 이상의 음악 구간으로 분리하여 오디오 소스를 획득할 수 있으나, 이에 한정되지 않는다.

이 때, 일 실시예에 따른 상기 구조 분리 모델은 머신 러닝(Machine learning) 방법으로 구현될 수 있다. 예를 들어, 상기 구조 분리 모델은 지도 학습을 통해 구현된 모델일 수 있으나, 이에 한정되지 않으며, 비지도 학습, 준지도 학습, 강화 학습 등을 통해 구현된 모델일 수 있다.

또한, 일 실시예에 따른 상기 구조 분리 모델은 인공 신경망(artificial neural network, ANN) 으로 구현될 수 있다. 예를 들어, 상기 구조 분리 모델은 전방 전달 신경망(Feedforward neural network), 방사 신경망(radial basis function network) 또는 코헨 자기조직 신경망(kohonen self-organizing network) 등으로 구현될 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따른 상기 구조 분리 모델은 심층 신경망(Deep neural network, DNN)으로 구현될 수 있다. 예를 들어, 상기 구조 분리 모델은 합성곱신경망(Convolutional neural network, CNN), 순환 인공 신경망(Recurrent neural network, RNN), LSTM(Long Short Term Memory Network) 또는 GRUs(Gated Recurrent Units) 등으로 구현될 수 있으나, 이에 한정되지 않는다.

또한, 상기 구조 분리 모델에 입력되는 데이터는 녹음하여 획득된 오디오 소스 자체일 수 있으며, 전처리 된 오디오 소스 데이터일 수 있다.

또한, 일 실시예에 따라 오디오 소스를 획득하기 위해 적어도 하나 이상의 악기 및 보컬 각각의 연주가 녹음된 녹음 데이터가 이용될 수 있으나, 이에 한정되지 않는다.

이 때, 상기 적어도 하나 이상의 악기는 피아노, 기타, 드럼, 베이스 등을 포함할 수 있으나, 이에 한정되지 않으며, 사운드를 발생시키기 위한 기계 및 기구를 모두 포함할 수 있다.

또한 이 때, 녹음 데이터는 피아노, 기타, 드럼, 베이스 각각이 연주되어 녹음된 녹음데이터 일 수 있으며, 피아노, 기타, 드럼, 베이스 각각의 연주가 녹음되어 스피커 등 출력 장치를 통해 재출력된 소리가 녹음된 녹음 데이터일 수도 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따라 오디오 소스를 획득하기 위해 적어도 하나의 오디오 소스를 생성할 수 있다.

예를 들어, 일 실시예에 따라 오디오 소스를 획득하기 위해 사운드 타입, 멜로디, 장르, 보컬 등을 기초로 적어도 하나의 오디오 소스를 생성할 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따라 오디오 소스를 획득하기 위해 오디오 소스 생성 모델이 이용될 수 있다.

이 때, 일 실시예에 따른 상기 오디오 소스 생성 모델은 머신 러닝(Machine learning) 방법으로 구현될 수 있다. 예를 들어, 상기 사운드 생성 모델은 지도 학습을 통해 구현된 모델일 수 있으나, 이에 한정되지 않으며, 비지도 학습, 준지도 학습, 강화 학습 등을 통해 구현된 모델일 수 있다.

또한, 일 실시예에 따른 상기 오디오 소스 생성 모델은 인공 신경망(artificial neural network, ANN) 으로 구현될 수 있다. 예를 들어, 상기 사운드 생성 모델은 전방 전달 신경망(Feedforward neural network), 방사 신경망(radial basis function network) 또는 코헨 자기조직 신경망(kohonen self-organizing network) 등으로 구현될 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따른 상기 오디오 소스 생성 모델은 심층 신경망(Deep neural network, DNN)으로 구현될 수 있다. 예를 들어, 상기 사운드 생성 모델은 합성곱신경망(Convolutional neural network, CNN), 순환 인공 신경망(Recurrent neural network, RNN), LSTM(Long Short Term Memory Network) 또는 GRUs(Gated Recurrent Units) 등으로 구현될 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따라 오디오 소스를 획득하기 위해 획득된 오디오 소스에 오디오 소스 생성 모델을 적용할 수 있다.

예를 들어, 한국어로 녹음된 오디오 소스에 오디오 소스 생성 모델을 적용하여 영어로 번역된 오디오 소스를 획득할 수 있으나, 이에 한정되지 않는다.

또한, 예를 들어, 남성의 목소리로 녹음된 오디오 소스에 오디오 소스 생성 모델을 적용하여 여성의 목소리로 판단될 수 있는 오디오 소스를 획득할 수 있으나, 이에 한정되지 않는다.

다만, 상술한 예시들은 오디오 소스를 획득하기 위한 간단한 예시들일 뿐 본 발명의 실시예들은 이에 한정되지 않으며, 다양한 방법으로 오디오 소스를 획득하는 예시들을 포함할 수 있다.

도 4는 일 실시예에 따른 인터랙션 규칙을 설명하기 위한 도면이다.

도 4를 참조하면, 일 실시예에 따른 인터랙션 규칙은 컨트롤러에서 획득된 사용자의 특정 인터랙션과 컨트롤러의 특정 동작을 매칭시키기 위한 규칙일 수 있다.

이 때, 사용자의 인터랙션은 인터랙션의 대상, 입력 타입 등에 따라 특정될 수 있다.

상기 인터랙션의 대상은 사용자로부터 획득되는 입력의 대상을 의미할 수 있다. 예를 들어, 사용자로부터 물리적으로 입력을 획득하는 대상일 수 있으며, 사용자로부터 입력을 획득하도록 사용자의 단말을 통해 디스플레이 되는 오브젝트일 수 있고, 사용자로부터 입력을 획득하기 위해 특정된 영역을 의미할 수 있으며, 사용자로부터 입력을 획득하기 위한 특정 영역을 가이드 하기 위해 사용자의 단말을 통해 디스플레이 되는 오브젝트일 수 있으나, 이에 한정되지 않으며, 사용자로부터 직,간접적으로 입력을 획득하거나, 획득된 입력을 특정하기 위한 것들을 의미할 수 있다.

또한, 상기 인터랙션의 대상은 사용자의 단말을 통해 디스플레이 되는 적어도 하나의 오브젝트를 포함할 수 있다.

예를 들어, 상기 인터랙션의 대상은 제1 오브젝트 및 제2 오브젝트를 포함할 수 있으나, 이에 한정되지 않는다.

또한, 상기 인터랙션의 대상은 사용자의 단말을 통해 디스플레이 되는 배경 오브젝트를 포함할 수 있다.

예를 들어, 상기 인터랙션의 대상이 배경 오브젝트가 되는 경우 사용자로부터 상기 배경 오브젝트에 대한 인터랙션을 획득하는 경우 적어도 하나의 동작을 수행하도록 설계될 수 있으나, 이에 한정되지 않는다.

또한, 상기 인터랙션의 대상은 적어도 하나의 하드웨어 장치를 포함할 수 있다.

예를 들어, 상기 인터랙션의 대상은 스마트폰을 포함할 수 있으며, 상기 스마트폰에 대한 사용자의 위치 변경 인터랙션을 획득하는 경우 적어도 하나의 동작을 수행하도록 설계될 수 있으나, 이에 한정되지 않는다.

이 때, 상기 적어도 하나의 하드웨어 장치는 스마트폰, 이어폰, 헤드폰, 조이콘 등 하드웨어 장치 및 주변 기기를 모두 포함할 수 있으나, 이에 한정되지 않는다.

상기 입력 타입은 사용자로부터 획득되는 입력의 종류를 의미할 수 있다. 예를 들어, 상기 입력 타입은 터치 패널을 이용한 터치 입력, 드래그 입력, 배쉬 입력, 스왑 입력, 특정 패턴 입력 등을 포함할 수 있으며, 적어도 하나의 입력 장치를 이용한 다양한 입력을 포함할 수 있고, 적어도 하나의 하드웨어 장치에 대한 쉐이크 입력, 스윙 입력 등 다양한 입력을 포함할 수 있으며, 카메라 등 센서를 이용한 모션 입력 사용자의 위치를 추적하여 가상의 공간에서 사용자의 위치와 오브젝트의 위치가 매칭되는 허공 터치 입력 등 다양한 입력을 포함할 수 있으나, 이에 한정되지 않으며, 특정 동작을 수행하기 위해서 알고리즘으로 규정된 다양한 입력들을 포함할 수 있다.

상기 컨트롤러의 특정 동작은 재생되는 오디오 소스에 음악적 변형을 가하기 위한 적어도 하나의 오디오 이펙트를 적용하는 동작, 디스플레이 되는 화면에 비쥬얼 이펙트를 적용하는 동작, 재생되는 오디오 소스를 치환, 변경하는 동작, 재생되는 오디오 소스와 상이한 오디오 소스를 추가하는 동작, 재생되는 오디오 소스 중 적어도 일부를 재생하지 않는 동작 등을 포함할 수 있으나, 이에 한정되지 않는다.

이 때, 상기 오디오 이펙트는 오디오 소스에 대한 템포(Tempo) 조절, Low pass filter, High pass filter, 피치(Pitch) 조절, 보컬 오디오 출력, 연주 악기 변경, 음원 멈춤, 악기 사운드 출력, 음원 소스의 성부 재구성, 비트 리피터(Beat repeater), 특정 성부의 소리만 출력, 성부의 출력 레벨 조절, 에코(Echo), 음원의 구간 이동, 사이키델릭 모드(Psychedelic mode) 등을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 이 때, 상기 비쥬얼 이펙트는 배경 컬러의 변경, 적어도 하나의 오브젝트의 형상, 크기, 컬러 등의 변경, 음원 소스의 보컬에 대한 가사 디스플레이 등을 포함할 수 있으나, 이에 한정되지 않는다.

4. 인터랙션 규칙에 대한 다양한 실시예들 및 이를 이용한 다양한 오디오 소스 재생 방법.

도 5는 일 실시예에 따른 인터랙션 규칙 세트를 설명하기 위한 도면이다.

도 5를 참조하면 일 실시예에 따른 인터랙션 규칙 세트(1000)는 적어도 하나의 인터랙션 규칙 서브 세트(1010)를 포함할 수 있으며, 각각의 인터랙션 규칙 서브 세트(1010)는 적어도 하나의 인터랙션 규칙(1011)을 포함할 수 있다.

즉, 본 명세서에서는 사용자의 특정 인터랙션에 대응되는 콘트롤러의 특정 동작을 매칭시키기 위한 규칙을 인터랙션 규칙이라고 기술할 수 있으며, 적어도 하나의 인터랙션 규칙을 포함하여 하나의 화면 또는 인터페이스로 제공되기 위한 인터랙션 규칙의 그룹을 인터랙션 규칙 서브 세트로 기술할 수 있고, 적어도 하나의 인터랙션 규칙 서브 세트를 포함하여 적어도 하나의 화면 또는 인터페이스로 제공되기 위한 인터랙션 규칙의 그룹을 인터랙션 규칙 세트로 기술할 수 있으나, 이에 한정되지 않는다.

이하에서는 다양한 실시예에 따른 인터랙션 규칙 세트 및 이를 이용한 오디오 소스 재생 방법에 대하여 기술하기로 한다.

4.1. 인터랙션 규칙 세트를 이용하여 오디오 소스를 재생하기 위한 인터페이스의 제1 실시예

도 6은 일 실시예에 따른 인터페이스를 설명하기 위한 도면이다.

도 6을 참조하면, 일 실시예에 따른 인터페이스(1100)는 제1 인터페이스(1110), 제2 인터페이스(1120), 제3 인터페이스(1130), 제4 인터페이스(1140), 제5 인터페이스(1150) 및 제6 인터페이스(1160)를 포함할 수 있다.

이 때, 각각의 인터페이스는 적어도 하나의 인터랙션 규칙을 이용하여 오디오 소스를 재생하기 위해 제공되는 인터페이스일 수 있다.

예를 들어, 상기 제1 인터페이스(1110)는 제1 인터랙션 규칙 서브 세트를 이용하여 제1 오디오 소스 세트를 재생하기 위해 제공되는 인터페이스 일 수 있으며, 상기 제2 인터페이스(1120)는 제2 인터랙션 규칙 서브 세트를 이용하여 제2 오디오 소스 세트를 재생하기 위해 제공되는 인터페이스 일 수 있고, 상기 제3 인터페이스(1130)는 제3 인터랙션 규칙 서브 세트를 이용하여 제3 오디오 소스 세트를 재생하기 위해 제공되는 인터페이스 일 수 있으며, 상기 제4 인터페이스(1140)는 제4 인터랙션 규칙 서브 세트를 이용하여 제4 오디오 소스 세트를 재생하기 위해 제공되는 인터페이스 일 수 있고, 상기 제5 인터페이스(1150)는 제5 인터랙션 규칙 서브 세트를 이용하여 제5 오디오 소스 세트를 재생하기 위해 제공되는 인터페이스 일 수 있으며, 상기 제6 인터페이스는 제6 인터랙션 규칙 서브 세트를 이용하여 제6 오디오 소스 세트를 재생하기 위해 제공되는 인터페이스 일 수 있으나, 이에 한정되지 않는다.

또한, 각각의 오디오 소스 세트는 하나의 오디오 소스의 다른 부분을 의미할 수 있으며, 적어도 일부 동일한 오디오 소스를 포함할 수 있다.

예를 들어, 상기 제1 오디오 소스 세트, 상기 제2 오디오 소스 세트, 상기 제4 오디오 소스 세트, 상기 제5 오디오 소스 세트, 및 상기 제6 오디오 소스 세트는 하나의 음악의 서로 다른 부분을 포함할 수 있으며, 상기 제3 오디오 소스 세트는 상기 제1 오디오 소스 세트, 상기 제2 오디오 소스 세트, 상기 제4 오디오 소스 세트, 상기 제5 오디오 소스 세트 및 상기 제6 오디오 소스 세트와 적어도 일부 동일한 오디오 소스를 포함할 수 있으나, 이에 한정되지 않는다.

또한, 각각의 인터페이스로 이동하기 위해서 다른 인터페이스에서의 사용자의 인터랙션이 필요할 수 있다.

예를 들어, 상기 제2 인터페이스(1120)로 이동하기 위해서 상기 제1 인터페이스(1110)에서 사용자의 인터랙션이 필요할 수 있으며, 상기 제3 인터페이스로 이동하기 위해서 상기 제2 인터페이스(1120)에서 사용자의 인터랙션이 필요할 수 있으나, 이에 한정되지 않는다.

보다 구체적인 예를 들어, 상기 제1 인터페이스(1110)에서 특정 시간에 사용자로부터 특정 입력이 획득된 횟수가 기 설정된 횟수 이상인 경우 상기 제2 인터페이스(1120)로 이동하는 조건을 만족할 수 있으며, 상기 제2 인터페이스(1120)에서 중앙에 위치하는 오브젝트에 대한 사용자의 홀딩 입력이 획득되면 상기 제3 인터페이스(1130)로 이동될 수 있으나, 이에 한정되지 않는다.

도 7은 일 실시예에 따른 인터페이스를 설명하기 위한 도면이다.

도 7을 참조하면, 일 실시예에 따른 제1 인터페이스(1110)는 제1 인터랙션 규칙 서브 세트를 이용하여 제1 오디오 소스 세트를 재생하기 위한 인터페이스 일 수 있으며, 상기 제1 인터페이스에 따라 디스플레이를 통해 출력되는 화면은 제1 오브젝트(1111) 및 제2 오브젝트(1112)를 포함할 수 있다.

이 때, 상기 제1 인터페이스(1110)에 따르면, 상기 제1 오브젝트(1111)는 시간에 따라 크기가 변하도록 설정될 수 있다. 예를 들어, 상기 제1 오브젝트(1111)는 시간에 따라 크기가 커졌다가 다시 줄어들도록 설계될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터페이스(1110)에 따르면, 상기 제2 오브젝트(1112)는 크기가 서로 상이한 적어도 하나 이상의 오브젝트를 포함할 수 있다. 예를 들어, 상기 제2 오브젝트(1112) 도 7에 도시된 바와 같이 1개의 원형 오브젝트를 포함할 수 있으나, 도 7에 도시되지는 않았지만, 크기가 다른 2개의 원형 오브젝트를 포함할 수 있으나 이에 한정되지 않는다.

또한, 상기 제1 인터페이스에 따르면, 기본적으로 상기 제1 오디오 소스 세트에 포함되는 제1 오디오 소스가 재생될 수 있다. 예를 들어, 상기 제1 인터페이스에 따라 상기 제1 오디오 소스 세트에 포함되는 백그라운드 음악이 재생될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터랙션 규칙 서브 세트는 적어도 하나의 인터랙션 규칙을 포함할 수 있으며, 하술하는 인터랙션 규칙들은 하나의 인터랙션 규칙으로 구현될 수 있으나, 이에 한정되지 않고 복수개의 인터랙션 규칙들로 구현될 수도 있다.

이 때, 상기 제1 인터랙션 규칙 서브 세트는 사용자의 인터랙션에 따라 상기 제1 오디오 소스 세트를 재생하기 위한 적어도 하나의 인터랙션 규칙을 포함할 수 있다.

예를 들어, 상기 제1 인터랙션 규칙 서브 세트는 사용자로부터 입력이 획득되는 경우 적어도 하나의 오디오 이펙트를 출력하도록 설계된 인터랙션 규칙을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 제1 입력이 획득되는 경우, 재생되고 있는 상기 제1 오디오 소스와 상이한 제2 오디오 소스가 추가로 재생될 수 있다.

예를 들어, 상기 제1 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 제1 입력이 획득되는 경우, 재생되고 있는 상기 제1 오디오 소스의 추임새 부분의 보컬 사운드인 제2 오디오 소스가 추가로 재생될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 제1 입력이 획득되는 경우, 추가로 재생되는 상기 제2 오디오 소스에 대응되는 가사가 디스플레이를 통해 출력될 수 있다.

예를 들어, 상기 제1 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 제1 입력이 획득되는 경우, 재생되고 있는 상기 제1 오디오 소스의 추임새 부분의 보컬 사운드인 제2 오디오 소스가 추가로 재생되며, 추가로 재생되는 상기 제2 오디오 소스의 가사가 'seven'인 경우 이에 대응되는 가사(1113)가 디스플레이를 통해 출력될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 제1 입력이 획득되는 경우, 이에 대응하여 스코어가 갱신될 수 있다.

예를 들어, 상기 제1 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 제1 입력이 획득되는 경우, 재생되고 있는 상기 제1 오디오 소스의 추임새 부분의 보컬 사운드인 제2 오디오 소스가 추가로 재생되며, 추가로 재생되는 상기 제2 오디오 소스의 가사가 'seven'인 경우 이에 대응되는 가사(1113)가 디스플레이를 통해 출력되고, 스코어가 갱신될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 획득되는 제1 입력은 기 설정된 시간 구간에 획득되는 터치 입력일 수 있다.

예를 들어, 상기 제1 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 획득되는 제1 입력은 상기 제1 오브젝트(1111)가 상기 제2 오브젝트(1112)와 적어도 일부 오버랩되는 시간 구간에 사용자로부터 획득되는 터치 입력일 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터랙션 규칙 서브 세트에 따르면, 패스워드 시퀀스(Password sequence)가 생성될 수 있으며, 상기 패스워드 시퀀스에 대응되는 사용자의 입력을 획득하는 경우 상술한 동작이 수행될 수 있다.

예를 들어, 상기 제1 인터랙션 규칙 서브 세트에 따르면, 상기 패스워드 시퀀스에 상기 사용자로부터 터치 입력이 획득되면, 상기 제2 오디오 소스가 추가로 재생되며 스코어가 갱신되는 동작이 수행될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터랙션 규칙 서브 세트에 따르면, 상기 사용자의 스코어가 기준 스코어 이상인 경우 다른 인터페이스로 이동될 수 있으며, 상기 사용자의 스코어가 기준 스코어 미만인 경우 일정 시간동안 상기 제1 인터페이스가 반복될 수 있으나, 이에 한정되지 않는다.

도 8은 일 실시예에 따른 인터페이스를 설명하기 위한 도면이다.

도 8을 참조하면, 일 실시예에 따른 제2 인터페이스는 제2 인터랙션 규칙 서브 세트를 이용하여 제2 오디오 세트를 재생하기 위한 인터페이스 일 수 있으며, 상기 제2 인터페이스에 따라 디스플레이를 통해 출력되는 화면은 제3 오브젝트(1121), 제4 오브젝트(1122) 및 가이드 오브젝트(1123)를 포함할 수 있다.

또한, 상기 제2 인터페이스(1120)에 따르면, 상기 가이드 오브젝트(1123)는 화면의 일 부분에 위치할 수 있다. 예를 들어, 상기 가이드 오브젝트(1123)는 화면의 중앙에 위치하도록 표시될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터페이스(1120)에 따르면, 상기 가이드 오브젝트(1123)에 대응되는 가이드 영역이 설정될 수 있다. 예를 들어, 상기 가이드 영역은 상기 가이드 오브젝트(1123)와 동일하게 설정될 수 있으며, 상기 가이드 오브젝트(1123)보다 작게 설정될 수 있고, 상기 가이드 오브젝트(1123) 보다 크게 설정될 수 있으나, 이에 한정되지 않는다.

이 때, 상기 가이드 영역은 상기 제3 및 제4 오브젝트(1121,1122)에 대응되는 사용자의 인터랙션을 특정하기 위한 영역일 수 있으며, 이하에서는 설명의 편의를 위하여 상기 가이드 오브젝트(1123)를 상기 가이드 영역을 포함하는 개념으로 서술하기로 한다.

상기 제2 인터페이스(1120)에 따르면, 상기 제3 오브젝트(1121)는 상기 가이드 오브젝트(1123)를 향해 이동될 수 있다. 예를 들어, 상기 제3 오브젝트(1121)는 화면의 외곽에서 생성되어 상기 가이드 오브젝트(1123)을 향해 이동될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터페이스(1120)에 따르면, 상기 제3 오브젝트(1121)는 임의적으로 생성될 수 있다. 예를 들어, 상기 제3 오브젝트(1121)는 임의의 시점에 화면의 외곽에서 생성될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터페이스(1120)에 따르면, 상기 제3 오브젝트(1121)는 기 설정된 시간에 확률적으로 생성될 수 있다. 예를 들어, 상기 제3 오브젝트(1121)는 1/8 비트에 확률적으로 생성될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터페이스(1120)에 따르면, 상기 제4 오브젝트(1122)는 상기 가이드 오브젝트(1123)를 향해 이동될 수 있다. 예를 들어, 상기 제4 오브젝트(1122)는 화면의 외곽에서 생성되어 상기 가이드 오브젝트(1123)를 향해 이동될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터페이스(1120)에 따르면, 상기 제4 오브젝트(1122)는 임의적으로 생성될 수 있다. 예를 들어, 상기 제4 오브젝트(1122)는 임의의 시점에 화면의 외곽에서 생성될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터페이스(1120)에 따르면, 상기 제4 오브젝트(1122)는 기 설정된 시간에 확률적으로 생성될 수 있다. 예를 들어, 상기 제4 오브젝트(1122)는 1/8 비트에 확률적으로 생성될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터페이스(1120)에 따르면, 상기 제3 및 제4 오브젝트(1121,1122)는 시각적으로 구분되도록 표시될 수 있다. 예를 들어, 상기 제3 오브젝트(1121)는 검정색 원으로 표시될 수 있으며, 상기 제4 오브젝트(1122)는 흰색 원으로 표시될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터페이스에 따르면, 기본적으로 상기 제2 오디오 소스 세트에 포함되는 제3 오디오 소스가 재생될 수 있다. 예를 들어, 상기 제2 인터페이스에 따라 상기 제2 오디오 소스 세트에 포함되는 백그라운드 음악이 재생될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터랙션 규칙 서브 세트는 적어도 하나의 인터랙션 규칙을 포함할 수 있으며, 하술하는 인터랙션 규칙들은 하나의 인터랙션 규칙으로 구현될 수 있으나, 이에 한정되지 않고 복수개의 인터랙션 규칙들로 구현될 수도 있다.

이 때, 상기 제2 인터랙션 규칙 서브 세트는 사용자의 인터랙션에 따라 상기 제2 오디오 소스 세트를 재생하기 위한 적어도 하나의 인터랙션 규칙을 포함할 수 있다.

예를 들어, 상기 제2 인터랙션 규칙 서브 세트는 사용자로부터 입력이 획득되는 경우 적어도 하나의 오디오 이펙트를 출력하도록 설계된 인터랙션 규칙을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제3 오브젝트(1121)에 대한 제2 입력이 획득되는 경우, 상기 제3 오디오 소스와 상이한 오디오 소스가 추가로 재생될 수 있다.

예를 들어, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제3 오브젝트(1121)에 대한 제2 입력이 획득되는 경우, 벨 사운드, 피아노 사운드, 드럼 사운드 등의 오디오 소스가 추가로 재생될 수 있으나, 이에 한정되지 않는다.

이 때, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제3 오브젝트(1121)에 대한 제2 입력이 획득되는 경우, 추가로 재생되는 오디오 소스의 종류는 현재 인덱스(index)에 기초하여 결정될 수 있다.

예를 들어, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제3 오브젝트(1121)에 대한 제2 입력이 획득되는 경우, 상기 제2 입력이 획득되는 시점에 인덱스가 제1 인덱스 인 경우 벨 사운드를 포함하는 오디오 소스가 추가로 재생되며, 상기 제2 입력이 획득되는 시점에 인덱스가 제2 인덱스인 경우 피아노 사운드를 포함하는 오디오 소스가 추가로 재생될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터랙션 규칙 서브 세트는 사용자로부터 제2 입력이 획득되는 경우 적어도 하나의 비쥬얼 이펙트를 출력하도록 설계된 인터랙션 규칙을 포함할 수 있으나, 이에 한정되지 않는다.

예를 들어, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제3 오브젝트(1121)에 대한 제2 입력이 획득되는 경우, 상기 제2 인터페이스를 따라 출력되는 화면에 적어도 하나의 비쥬얼 이펙트를 출력할 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제3 오브젝트(1121)에 대한 제3 입력이 획득되는 경우, 상기 제3 오디오 소스와 상이한 오디오 소스가 추가로 재생될 수 있다.

예를 들어, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제3 오브젝트(1121)에 대한 제3 입력이 획득되는 경우, 벨 연주, 피아노 연주, 드럼 연주 등의 오디오 소스가 추가로 재생될 수 있으나, 이에 한정되지 않는다.

이 때, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제3 오브젝트(1121)에 대한 제3 입력이 획득되는 경우, 추가로 재생되는 오디오 소스의 종류는 현재 인덱스(index)에 기초하여 결정될 수 있다.

예를 들어, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제3 오브젝트(1121)에 대한 제3 입력이 획득되는 경우, 상기 제3 입력이 획득되는 시점에 인덱스가 제1 인덱스인 경우 벨 연주를 포함하는 오디오 소스가 추가로 재생되며, 상기 제3 입력이 획득되는 시점에 인덱스가 제3 인덱스인 경우 피아노 연주를 포함하는 오디오 소스가 추가로 재생될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터랙션 규칙 서브 세트는 사용자로부터 제3 입력이 획득되는 경우 적어도 하나의 비쥬얼 이펙트를 출력하도록 설계된 인터랙션 규칙을 포함할 수 있으나, 이에 한정되지 않는다.

예를 들어, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제3 오브젝트(1121)에 대한 제3 입력이 획득되는 경우, 상기 제2 인터페이스를 따라 출력되는 화면에 적어도 하나의 비쥬얼 이펙트를 출력할 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 입력 또는 상기 제3 입력은 상술한 사용자의 인터랙션의 종류 또는 입력의 종류를 포함할 수 있으므로, 중복되는 서술은 생략하기로 한다.

또한, 상기 제2 입력과 상기 제3 입력은 서로 상이할 수 있다.

예를 들어, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 상기 제2 입력의 입력 지속 시간은 상기 제3 입력의 입력 지속 시간보다 짧을 수 있으나, 이에 한정되지 않는다.

보다 구체적인 예를 들어, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 상기 제2 입력은 상기 제3 오브젝트(1121)에 대한 터치 입력을 포함할 수 있으며, 상기 제3 입력은 상기 제3 오브젝트(1121)에 대한 드래그 입력을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 상기 제2 입력은 특정 시점에서의 사운드 변화를 유도하기 위하여 설계될 수 있으며, 상기 제3 입력은 사운드 변화의 시간적 자유도를 확장시키기 위하여 설계될 수 있다.

예를 들어, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 상기 제2 입력은 상기 가이드 오브젝트(1123)와 상기 제3 오브젝트(1121)가 적어도 일부 오버랩 되는 시점에 획득된 입력으로 설계될 수 있으며, 상기 제3 입력은 상기 가이드 오브젝트(1123)와 상기 제3 오브젝트(1121)의 오버랩 여부와 무관하게 설계될 수 있으나, 이에 한정되지 않는다.

보다 구체적인 예를 들어, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 상기 제2 입력은 상기 가이드 오브젝트(1123)와 상기 제3 오브젝트(1121)가 적어도 일부 오버랩 되는 시점에 획득되는 터치 입력으로 설계될 수 있으며, 상기 제3 입력은 상기 가이드 오브젝트(1123)와 상기 제3 오브젝트(1121)의 오버랩 여부와 무관한 시점에 상기 제3 오브젝트(1121)에 대해 획득되는 드래그 입력으로 설계될 수 있으나, 이에 한정되지 않는다.

또한, 상술한 제3 오브젝트(1121)에 대한 입력은 상기 제3 오브젝트(1121)가 상기 화면 내에서 위치한 영역에 대한 입력을 포함하나, 이에 한정되지 않으며, 알고리즘에 따라 상기 제3 오브젝트(1121)에 대응되는 입력으로 규정된 입력이나, 상기 제3 오브젝트(1121)가 특정 위치에 있을 시점 등 상기 제3 오브젝트(1121)에 대한 위치, 시간에 대응되는 입력 등을 포함할 수 있다.

또한, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제4 오브젝트(1122)에 대한 제4 입력이 획득되는 경우, 상기 제3 오디오 소스와 상이한 오디오 소스가 추가로 재생될 수 있다.

예를 들어, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제4 오브젝트(1122)에 대한 제4 입력이 획득되는 경우, 보컬 오디오 소스가 추가로 재생될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제4 오브젝트(1122)에 대한 제4 입력이 획득되는 경우, 상기 제3 오브젝트(1121)와 관련된 인덱스(index)정보가 갱신될 수 있다.

예를 들어, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제4 오브젝트(1122)에 대한 제4 입력이 획득되는 경우, 상기 제3 오브젝트(1121)와 관련된 인덱스 정보가 제1 인덱스에서 제2 인덱스로 변경될 수 있으나, 이에 한정되지 않는다.

이 때, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 상기 제4 오브젝트(1122)는 상기 제4 입력이 획득되는 경우 갱신될 인덱스 정보에 대응되는 텍스트 정보를 포함할 수 있다.

예를 들어, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 제1 시점에 화면에 출력되는 상기 제4 오브젝트(1122)에 대하여 상기 제4 입력이 획득되는 경우 제2 인덱스로 갱신되도록 설정되어있는 경우, 상기 제4 오브젝트(1122)는 상기 제2 인덱스에 해당하는 악기가 피아노인 경우 피아노에 대응되는 텍스트 정보를 포함할 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제4 오브젝트(1122)에 대한 제4 입력이 획득되는 경우, 사운드를 구성하는 주파수 스펙트럼을 변경시켜 음악적 생동감을 부여하기 위하여 상기 제3 오디오 소스의 적어도 일부가 변경되거나 치환될 수 있다.

예를 들어, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제4 오브젝트(1122)에 대한 제4 입력이 획득되는 경우, 상기 제3 오디오 소스의 적어도 일부가 제4 오디오 소스로 변경되거나 치환될 수 있다.

이 때, 상기 제3 오디오 소스의 적어도 일부가 제4 오디오 소스로 변경되거나 치환된다는 의미는 상기 제3 오디오 소스가 복수개의 악기 사운드로 구성된 오디오 소스인 경우, 적어도 하나의 악기 사운드가 다른 악기 사운드로 변경되는 것을 의미할 수 있으며, 또는 상기 제3 오디오 소스가 상기 제3 오디오 소스와 악기의 구성이 다른 오디오 소스인 제4 오디오 소스로 치환되는 것을 의미할 수도 있으나, 이에 한정되지 않으며, 재생되는 오디오 소스에 포함되는 악기의 구성을 변경시키기 위한 다양한 동작들을 의미할 수 있다.

또한, 상기 제2 인터랙션 규칙 서브 세트는 사용자로부터 제4 입력이 획득되는 경우 적어도 하나의 비쥬얼 이펙트를 출력하도록 설계된 인터랙션 규칙을 포함할 수 있으나, 이에 한정되지 않는다.

예를 들어, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제4 오브젝트(1122)에 대한 제4 입력이 획득되는 경우, 추가로 재생되는 보컬 사운드를 포함하는 오디오 소스에 대응되는 가사가 출력될 수 있으며, 상기 제2 인터페이스에 따른 화면의 배경 컬러가 변경될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제4 오브젝트(1122)에 대한 제5 입력이 획득되는 경우 상기 제3 오디오 소스에 적어도 하나의 오디오 이펙트가 적용될 수 있다.

예를 들어, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제4 오브젝트(1122)에 대한 제5 입력이 획득되는 경우, 상기 제3 오디오 소스에 밴드패스 필터 효과가 적용될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제4 오브젝트(1122)에 대한 제5 입력이 획득되는 경우, 상기 제5 입력이 획득된 위치에 따라 상기 제3 오디오 소스에 상이한 오디오 이펙트를 적용할 수 있다.

예를 들어, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제4 오브젝트(1122)에 대한 제5 입력이 획득되며, 상기 제5 입력이 획득된 위치가 제1 영역인 경우 상기 제3 오디오 소스에 제1 오디오 이펙트가 적용되며, 상기 제5 입력이 획득된 위치가 제2 영역인 경우 상기 제3 오디오 소스에 제2 오디오 이펙트가 적용되며, 상기 제5 입력이 획득된 위치가 제3 영역인 경우 상기 제3 오디오 소스에 제3 오디오 이펙트가 적용될 수 있으나, 이에 한정되지 않는다.

보다 구체적인 예를 들어, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제4 오브젝트(1122)에 대한 제5 입력이 획득되며, 상기 제5 입력이 상기 제4 오브젝트(1122)에 대한 드래그 입력인 경우, 상기 제4 오브젝트(1122)가 드래그되어 제1 영역에 위치하는 경우 상기 제3 오디오 소스에 제1 오디오 이펙트가 적용되며, 상기 제4 오브젝트(1122)가 드래그되어 제2 영역에 위치하는 경우 상기 제3 오디오 소스에 제2 오디오 이펙트가 적용되고, 상기 제4 오브젝트(1122)가 드래그되어 제3 영역에 위치하는 경우 상기 제3 오디오 소스에 제3 오디오 이펙트가 적용될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제4 오브젝트(1122)에 대한 제5 입력이 획득되는 경우, 상기 제5 입력이 획득된 위치에 따라 상기 제3 오디오 소스에 적용되는 오디오 이펙트의 레벨이 변경될 수 있다.

예를 들어, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제4 오브젝트(1122)에 대한 제5 입력이 획득되며, 상기 제5 입력이 상기 제4 오브젝트(1122)에 대한 드래그 입력인 경우, 상기 제4 오브젝트(1122)가 드래그되어 화면의 중앙에서 멀어지는 경우 상기 제3 오디오 소스에 적용되는 오디오 이펙트의 레벨이 상승될 수 있으며, 상기 제4 오브젝트(1122)가 드래그 되어 화면의 중앙에 가까워지는 경우 상기 제3 오디오 소스에 적용되는 오디오 이펙트의 레벨이 감소될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터랙션 규칙 서브 세트는 사용자로부터 제5 입력이 획득되는 경우 적어도 하나의 비쥬얼 이펙트를 출력하도록 설계될 인터랙션 규칙을 포함할 수 있으나, 이에 한정되지 않는다.

예를 들어, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제4 오브젝트(1122)에 대한 제5 입력이 획득되는 경우, 상기 제2 인터페이스를 따라 출력되는 화면에 적어도 하나의 비쥬얼 이펙트를 출력할 수 있으며, 출력되는 비쥬얼 이펙트의 레벨은 상기 제5 입력의 위치에 따라 상이할 수 있으나, 이에 한정되지 않는다.

또한, 상기 제4 입력 또는 상기 제5 입력은 상술한 사용자의 인터랙션의 종류 또는 입력의 종류를 포함할 수 있으므로, 중복되는 서술은 생략하기로 한다.

또한, 상기 제4 입력과 상기 제5 입력은 서로 상이할 수 있따.

예를 들어, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 상기 제4 입력의 입력 지속시간은 상기 제5 입력의 입략 지속시간보다 짧을 수 있으나, 이에 한정되지 않는다.

보다 구체적인 예를 들어, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 상기 제4 입력은 상기 제4 오브젝트(1122)에 대한 터치 입력을 포함할 수 있으며, 상기 제5 입력은 상기 제4 오브젝트(1122)에 대한 드래그 입력을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 상기 제4 입력은 특정 시점에서의 사운드 변화를 유도하기 위하여 설계될 수 있으며, 상기 제5 입력은 사운드 변화의 시간적 자유도를 확장시키기 위하여 설계될 수 있다.

예를 들어, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 상기 제4 입력은 상기 가이드 오브젝트(1123)와 상기 제4 오브젝트(1122)가 적어도 일부 오버랩되는 시점에 획득된 입력으로 설계될 수 있으며, 상기 제5 입력은 상기 가이드 오브젝트(1123)와 상기 제4 오브젝트(1122)의 오버랩 여부와 무관하게 설계될 수 있으나, 이에 한정되지 않는다.

보다 구체적인 예를 들어, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 상기 제4 입력은 상기 가이드 오브젝트(1123)와 상기 제4 오브젝트(1122)가 적어도 일부 오버랩 되는 시점에 획득되는 터치 입력으로 설계될 수 있으며, 상기 제5 입력은 상기 가이드 오브젝트(1123)와 상기 제4 오브젝트(1122)의 오버랩 여부와 무관한 시점에 상기 제4 오브젝트(1122)에 대해 획득되는 드래그 입력으로 설계될 수 있으나, 이에 한정되지 않는다.

또한, 상술한 제4 오브젝트(1122)에 대한 입력은 상기 제4 오브젝트(1122)가 상기 화면 내에서 위치한 영역에 대한 입력을 포함하나, 이에 한정되지 않으며, 알고리즘에 따라 상기 제4 오브젝트(1122)에 대응되는 입력으로 규정된 입력이나, 상기 제4 오브젝트(1122)가 특정 위치에 있을 시점 등 상기 제4 오브젝트(1122)에 대한 위치, 시간에 대응되는 입력 등을 포함할 수 있다.

또한, 사운드를 구성하는 주파수 스펙트럼을 음악적 단위를 기초로 변경하여 사용자에게 자연스러운 음악적 생동감을 부여하기 위하여 상기 가이드 오브젝트(1123)와 상기 제4 오브젝트(1122)가 적어도 일부 오버랩 되는 시점은 음악적 단위를 기초로 설계될 수 있다.

예를 들어, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 재생되는 오디오 소스 중 적어도 하나의 오디오 소스의 기준 박자수를 포함하는 음악적 단위를 마디라고 할 때, 상기 가이드 오브젝트(1123)와 상기 제4 오브젝트(1122)가 적어도 일부 오버랩 되는 시점은 선 마디의 마지막 박자와 후 마디의 첫번째 박자 사이의 시간 구간에 포함되도록 설계될 수 있으나, 이에 한정되지 않는다.

이 경우, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 상기 제4 오브젝트(1122)가 화면에 표시되는 제1 마디의 일부 구간에서 상기 제3 오디오 소스가 재생되며, 상기 제4 오브젝트(1122)가 상기 가이드 오브젝트(1123)와 적어도 일부 오버랩 되는 시점에 상기 제4 입력이 획득되는 경우 상기 제4 오브젝트(1122)가 화면에 표시되지 않는 제2 마디의 일부 구간에서 상기 제3 오디오 소스와 상이한 오디오 소스가 재생될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 기 설정된 시간이 지난 후 다른 인터페이스로 이동될 수 있다.

또한, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 기 설정된 시간동안 사용자의 인터랙션을 평가하여 다른 인터페이스로 이동 가능 여부가 판단될 수 있다.

예를 들어, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 기 설정된 시간 동안 사용자의 인터랙션의 레벨이 기준 레벨 이상인 경우 다른 인터페이스로 이동될 수 있으며, 사용자의 인터랙션의 레벨이 기준 레벨 미만인 경우 제2 인터페이스가 반복될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 상기 가이드 오브젝트(1123)에 제6 입력이 획득되는 경우 다른 인터페이스로 이동될 수 있다.

예를 들어, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 상기 가이드 오브젝트(1123)에 대한 홀딩 입력이 획득되는 경우 제3 인터페이스로 이동될 수 있으나, 이에 한정되지 않는다.

도 9는 일 실시예에 따른 인터페이스를 설명하기 위한 도면이다.

도 9를 참조하면, 일 실시예에 따른 제3 인터페이스(1130)는 제3 인터랙션 규칙 서브 세트를 이용하여 제3 오디오 소스 세트를 재생하기 위한 인터페이스 일 수 있으며, 상기 제3 인터페이스에 따라 디스플레이를 통해 출력되는 화면은 제5 오브젝트(1131)를 포함할 수 있다.

또한, 상기 제3 인터페이스(1130)에 따르면, 상기 제5 오브젝트(1131)는 화면의 일 부분에 위치할 수 있다. 예를 들어, 상기 제5 오브젝트(1131)는 화면의 중앙에 위치하도록 표시될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제3 인터페이스(1130)는 상기 제5 오브젝트(1131)에 대한 지속적인 입력에 따라 접근할 수 있는 인터페이스 일 수 있다.

예를 들어, 상기 제3 인터페이스(1130)는 상기 제5 오브젝트(1131)에 대한 지속적인 홀딩, 드래그 등의 입력에 따라 접근할 수 있으며, 해당 입력이 사라지는 경우 다른 인터페이스로 이동되는 인터페이스일 수 있으나, 이에 한정되지 않는다.

또한, 상기 제3 인터페이스(1130)에 따르면, 기본적으로 상기 제3 오디오 소스 세트에 포함되는 제4 오디오 소스가 재생될 수 있다. 예를 들어, 상기 제3 인터페이스(1130)에 따라 상기 제3 오디오 소스 세트에 포함되는 백그라운드 음악이 재생될 수 있으나, 이에 한정되지 않는다.

이 때, 상기 제3 오디오 소스 세트는 직전 인터페이스에서 재생되는 오디오 소스 세트의 적어도 일부와 동일할 수 있으나, 이에 한정되지 않는다.

또한, 상기 제3 인터랙션 규칙 서브 세트는 적어도 하나의 인터랙션 규칙을 포함할 수 있으며, 하술하는 인터랙션 규칙들은 하나의 인터랙션 규칙으로 구현될 수 있으나, 이에 한정되지 않고 복수개의 인터랙션 규칙들로 구현될 수 있다.

이 때, 상기 제3 인터랙션 규칙 서브 세트는 사용자의 인터랙션에 따라 상기 제3 오디오 소스 세트를 재생하기 위한 적어도 하나의 인터랙션 규칙을 포함할 수 있다.

예를 들어, 상기 제3 인터랙션 규칙 서브 세트는 사용자로부터 입력이 획득되는 경우 적어도 하나의 오디오 이펙트를 출력하도록 설계된 인터랙션 규칙을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 상기 제3 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제5 오브젝트(1131)에 대한 제7 입력이 획득되는 경우, 상기 제4 오디오 소스의 재생을 멈출 수 있다.

예를 들어, 상기 제3 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제5 오브젝트(1131)에 대한 홀딩 입력이 획득되는 경우, 상기 제4 오디오 소스의 재생을 멈출 수 있으나, 이에 한정되지 않는다.

또한, 상기 제3 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제5 오브젝트(1131)에 대한 제7 입력이 획득되는 경우, 상기 제7 입력의 위치에 따라 서로 다른 오디오 이펙트가 적용될 수 있다.

예를 들어, 상기 제3 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제5 오브젝트(1131)에 대한 제7 입력이 획득되며, 상기 제7 입력이 획득된 위치가 제1 영역인 경우 상기 제4 오디오 소스를 빠르게 재생하며, 상기 제7 입력이 획득된 위치가 제2 영역인 경우 상기 제4 오디오 소스를 거꾸로 재생할 수 있으나, 이에 한정되지 않는다.

이 때, 상기 제4 오디오 소스를 거꾸로 재생하는 것에 대한 의미는 상기 제4 오디오 소스에 포함되는 시간 정보를 역행하여 재생하는 등 통상의 기술자 입장에서 오디오 소스를 거꾸로 재생하는 의미를 포함할 수 있다.

또한, 상기 제3 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제5 오브젝트(1131)에 대한 제7 입력이 획득되는 경우, 상기 제7 입력의 위치에 따라 오디오 이펙트의 레벨이 변경될 수 있다.

예를 들어, 상기 제3 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제5 오브젝트(1131)에 대한 제7 입력이 획득되며, 상기 제7 입력이 획득된 위치가 제1 영역인 경우 상기 제4 오디오 소스를 빠르게 재생하되, 상기 제7 입력이 획득된 위치가 화면의 중앙 영역에서 멀어질 수록 상기 제4 오디오 소스가 재생되는 속도가 빨라질 수 있으며, 상기 제7 입력이 획득된 위치가 제2 영역인 경우 상기 제4 오디오 소스를 거꾸로 재생하되, 상기 제7 입력이 획득된 위치가 화면의 중앙 영역에서 멀어질 수록 상기 제4 오디오 소스가 거꾸로 재생되는 속도가 빨라질 수 있으나, 이에 한정되지 않는다.

도 10은 일 실시예에 따른 인터페이스를 설명하기 위한 도면이다.

도 10을 참조하면, 일 실시예에 따른 제4 인터페이스(1140)는 제4 인터랙션 규칙 서브세트를 이용하여 제4 오디오 소스 세트를 재생하기 위한 인터페이스 일 수 있으며, 상기 제4 인터페이스에 따라 디스플레이를 통해 출력되는 화면은 제6 오브젝트(1141), 제7 오브젝트(1142) 및 제8 오브젝트(1143)를 포함할 수 있다.

또한, 상기 제4 인터페이스(1140)에 따르면, 상기 제6 오브젝트(1141)는 화면의 일 부분에 위치할 수 있다. 예를 들어, 상기 제6 오브젝트(1141)는 화면에 중앙에 위치하도록 표시될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제4 인터페이스(1140)에 따르면, 상기 제7 오브젝트(1142)는 화면의 일 부분에 위치할 수 있다. 예를 들어, 상기 제7 오브젝트(1142)는 화면의 중앙에 위치하도록 표시될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제4 인터페이스(1140)에 따르면, 상기 제7 오브젝트(1142)는 시간에 따라 크기가 변경될 수 있다. 예를 들어, 상기 제7 오브젝트(1142)는 시간에 따라 크기가 커지도록 설계될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제4 인터페이스(1140)에 따르면, 상기 제8 오브젝트(1143)는 임의적으로 생성될 수 있다. 예를 들어, 상기 제8 오브젝트(1143)는 임의의 시점에 화면의 외곽에서 생성될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제4 인터페이스(1140)에 따르면, 상기 제8 오브젝트(1143)가 상기 제7 오브젝트(1142)와 적어도 일부 오버랩되는 경우, 상기 제7 오브젝트(1142)의 크기가 변경될 수 있다. 예를 들어, 상기 제8 오브젝트(1143)가 상기 제7 오브젝트(1142)와 적어도 일부 오버랩되는 경우, 상기 제7 오브젝트(1142)의 크기가 감소할 수 있으나, 이에 한정되지 않는다.

또한, 상기 제4 인터페이스(1140)에 따르면, 기본적으로, 상기 제4 오디오 소스 세트에 포함되는 제5 오디오 소스가 재생될 수 있다. 예를 들어, 상기 제4 인터페이스(1140)에 따라 상기 제4 오디오 소스 세트에 포함되는 백그라운드 음악이 재생될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제4 인터랙션 규칙 서브 세트는 적어도 하나의 인터랙션 규칙을 포함할 수 있으며, 하술하는 인터랙션 규칙들은 하나의 인터랙션 규칙으로 구현될 수 있으나, 이에 한정되지 않고 복수개의 인터랙션 규칙들로 구현될 수도 있다.

이 때, 상기 제4 인터랙션 규칙 서브 세트는 사용자의 인터랙션에 따라 상기 제4 오디오 소스 세트를 재생하기 위한 적어도 하나의 인터랙션 규칙을 포함할 수 있다.

예를 들어, 상기 제4 인터랙션 규칙 서브 세트는 사용자로부터 입력이 획득되는 경우 적어도 하나의 오디오 이펙트를 출력하도록 설계된 인터랙션 규칙을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 상기 제4 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제6 오브젝트(1141)에 대한 제8 입력이 획득되는 경우, 상기 제5 오디오 소스와 상이한 오디오 소스가 추가로 재생될 수 있다.

예를 들어, 상기 제4 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제6 오브젝트(1141)에 대한 제8 입력이 획득되는 경우, 이에 대응되는 효과음 등의 오디오 소스가 추가로 재생될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제4 인터랙션 규칙 서브 세트는 사용자로부터 입력이 획득되는 경우 적어도 하나의 비쥬얼 이펙트를 출력하도록 설계된 인터랙션 규칙을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 상기 제4 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제6 오브젝트(1141)에 대한 제8 입력이 획득되는 경우 상기 제6 오브젝트(1141)의 크기가 변경될 수 있다.

예를 들어, 상기 제4 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제6 오브젝트(1141)에 대한 제8 입력이 획득되는 경우, 상기 제6 오브젝트(1141)의 크기가 커질 수 있으나, 이에 한정되지 않는다.

또한, 상기 제4 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제6 오브젝트(1141)에 대한 제8 입력이 획득되는 경우 상기 제6 오브젝트(1141)의 크기가 상기 제7 오브젝트(1142)의 크기 내에서 변경될 수 있다.

예를 들어, 상기 제4 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제6 오브젝트(1141)에 대한 제8 입력이 획득되는 경우, 상기 제6 오브젝트(1141)의 크기가 커지되 상기 제7 오브젝트(1142)의 크기를 초과하지 않을 수 있으나, 이에 한정되지 않는다.

또한, 상기 제8 입력은 상술한 사용자의 인터랙션의 종류 또는 입력의 종류를 포함할 수 있으므로, 중복되는 서술은 생략하기로 한다.

또한, 상기 제6 오브젝트(1141)에 대한 입력은 상기 제6 오브젝트(1141)가 상기 화면 내에서 위치한 영역에 대한 입력을 포함하나, 이에 한정되지 않으며, 알고리즘에 따라 상기 제6 오브젝트(1141)에 대응되는 입력으로 규정된 입력이나, 상기 제6 오브젝트(1141)가 특정 위치에 있을 시점 등 상기 제6 오브젝트(1141)에 대한 위치, 시간에 대응되는 입력 등을 포함할 수 있다.

예를 들어, 상기 제6 오브젝트(1141)에 대한 제8 입력은 배경 화면에 대한 터치 입력을 포함할 수 있으며, 이 때, 상기 제8 입력에 따라 상기 제6 오브젝트(1141)에 대한 적어도 하나의 변경이 있으므로, 상기 제8 입력을 상기 제6 오브젝트(1141)에 대한 제8 입력으로 정의할 수 있다.

또한, 상기 제4 인터랙션 규칙 서브 세트에 따르면, 일정 조건을 만족하는 경우 다른 인터페이스 이동될 수 있다.

예를 들어, 상기 제4 인터랙션 규칙 서브 세트에 따르면, 상기 제6 오브젝트(1141)의 크기를 일정 시간동안 일정 크기 이상 유지하는 경우 제5 인터페이스로 이동되며, 상기 제6 오브젝트(1141)의 크기를 일정 시간동안 일정 크기 이상 유지하지 못하는 경우 또 제6 인터페이스로 이동될 수 있으나, 이에 한정되지 않는다.

도 11은 일 실시예에 따른 인터페이스를 설명하기 위한 도면이다.

도 11을 참조하면, 일 실시예에 따른 제5 인터페이스(1150)는 제5 인터랙션 규칙 서브 세트를 이용하여 제5 오디오 소스 세트를 재생하기 위한 인터페이스 일 수 있으며, 상기 제5 인터페이스에 따라 디스플레이를 통해 출력되는 화면은 제9 오브젝트(1151)를 포함할 수 있다.

또한, 상기 제5 인터페이스(1150)에 따르면, 상기 제9 오브젝트(1151)는 화면의 일 부분에 위치할 수 있다. 예를 들어, 상기 제9 오브젝트(1151)는 화면에 일 부분에 위치하되 사용자의 입력에 따라 위치가 변경될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제5 인터페이스(1150)에 따르면, 기본적으로, 상기 제5 오디오 소스 세트에 포함되는 제6 오디오 소스가 재생될 수 있다. 예를 들어, 상기 제5 인터페이스(1150)에 따라 상기 제5 오디오 소스 세트에 포함되는 백그라운드 음악이 재생될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제5 인터랙션 규칙 서브 세트는 적어도 하나의 인터랙션 규칙을 포함할 수 있으며, 하술하는 인터랙션 규칙들은 하나의 인터랙션 규칙으로 구현될 수 있으나, 이에 한정되지 않고, 복수개의 인터랙션 규칙들로 구현될 수도 있다.

이 때, 상기 제5 인터랙션 규칙 서브 세트는 사용자의 인터랙션에 따라 상기 제5 오디오 소스 세트를 재생하기 위한 적어도 하나의 인터랙션 규칙을 포함할 수 있다.

예를 들어, 상기 제5 인터랙션 규칙 서브 세트는 사용자로부터 입력이 획득되는 경우 적어도 하나의 오디오 이펙트를 출력하도록 설계된 인터랙션 규칙을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 상기 제5 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 제9 입력이 획득되는 경우, 상기 제6 오디오 소스와 상이한 오디오 소스가 추가로 재생될 수 있다.

예를 들어, 상기 제5 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 제9 입력이 획득되는 경우, 제1 기타 사운드를 포함하는 오디오 소스가 추가로 재생될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제5 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 제10 입력이 획득되는 경우, 상기 제6 오디오 소스와 상이한 오디오 소스가 추가로 재생될 수 있다.

예를 들어, 상기 제5 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 제10 입력이 획득되는 경우, 제2 기타 사운드를 포함하는 오디오 소스가 추가로 재생될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제9 입력과 상기 제10 입력은 서로 상이할 수 있다.

예를 들어, 상기 제9 입력은 제1 방향으로 사용자의 단말이 이동되는 입력일 수 있으며, 상기 제10 입력은 상기 제1 방향과 상이한 제2 방향으로 사용자의 단말이 이동되는 입력일 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 기타 사운드와 상기 제2 기타 사운드는 스트로크 방향에 따른 상이한 사운드일 수 있다.

예를 들어, 상기 제1 기타 사운드는 다운스트로크 방향으로 연주된 기타 사운드를 포함할 수 있으며, 상기 제2 기타 사운드는 업 스트로크 방향으로 연주된 기타 사운드를 포함할 수 있으나, 이에 한정되지 않는다.

또한, 상기 제5 인터랙션 규칙 서브 세트는 사용자로부터 입력이 획득되는 경우 적어도 하나의 비쥬얼 이펙트를 출력하도록 설계된 인터랙션 규칙을 포함할 수 있으나, 이에 한정되지 않는다.

예를 들어, 상기 제5 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 입력이 획득되는 경우 상기 제9 오브젝트(1151)의 위치가 변경될 수 있으나, 이에 한정되지 않는다.

도 12는 일 실시예에 따른 인터페이스를 설명하기 위한 도면이다.

도 12를 참조하면, 일 실시예에 따른 제6 인터페이스(1160)는 제6 인터랙션 규칙 서브 세트를 이용하여 제6 오디오 세트를 재생하기 위한 인터페이스 일 수 있으며, 상기 제6 인터페이스에 따라 디스플레이를 통해 출력되는 화면은 제10 오브젝트(1161), 제11 오브젝트(1162) 및 제2 가이드 오브젝트(1163)를 포함할 수 있다.

이 때, 상기 제10 오브젝트(1161), 제11 오브젝트(1162) 및 제2 가이드 오브젝트(1163)에 관하여 상술한 내용들이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.

또한, 상기 제6 인터랙션 규칙 서브 세트에 관하여 상술한 내용들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.

또한, 상기 제6 인터페이스에 따르면, 기본적으로 상기 제6 오디오 소스 세트에 포함되는 제7 오디오 소스가 재생될 수 있다. 예를 들어, 상지 제6 인터페이스에 따라 상기 제6 오디오 소스 세트에 포함되는 백그라운드 음악이 재생될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제6 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 배경 오브젝트에 대한 제11 입력이 획득되는 경우, 적어도 하나의 오디오 이펙트가 출력될 수 있다.

또한, 상기 제6 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 배경 오브젝트에 대한 제11 입력이 획득되는 경우, 상기 제7 오디오 소스와 상이한 오디오 오스가 추가로 재생될 수 있다.

예를 들어, 상기 제6 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 배경 오브젝트에 대한 제11 입력이 획득되는 경우, 보컬 사운드를 포함하는 오디오 소스가 추가로 재생될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제6 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 배경 오브젝트에 대한 제12 입력이 획득되는 경우, 적어도 하나의 오디오 이펙트가 출력될 수 있다.

예를 들어, 상기 제6 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 배경 오브젝트에 대한 제12 입력이 획득되는 경우, 상기 제6 오디오 소스에 포함되며 재생되고있는 오디오 소스에 대하여 비트 리피터(Beat Repeater) 이펙트가 적용될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제6 인터랙션 규칙 서브 세트에 따르면, 상기 제12 입력이 두 점 터치 입력인 경우, 두 점 사이의 거리에 따라 오디오 이펙트의 레벨이 변경될 수 있다.

예를 들어, 상기 제6 인터랙션 규칙 서브 세트에 따르면, 상기 제12 입력이 두 점 터치 입력인 경우, 두 점 사이의 거리가 가까워지면 빠르게 반복하며, 두 점 사이의 거리가 멀어지면 느리게 반복하도록 비트 리피터 이펙트의 레벨이 변경될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제11 입력과 상기 제12 입력은 서로 상이할 수 있다.

예를 들어, 상기 제11 입력은 상기 배경 오브젝트에 대한 한 점 터치 입력일 수 있으며, 상기 제12 입력은 상기 배경 오브젝트에 대한 두 점 터치 입력일 수 있으나, 이에 한정되지 않는다.

도 13은 일 실시예에 따른 실감형 오디오 소스 재생 방법을 설명하기 위한 흐름도이다.

도 13을 설명하기에 앞서, 도 13을 기초로 설명하는 일 실시예에 따른 실감형 오디오 소스 재생 방법은 상술한 인터페이스 중 적어도 하나의 인터페이스를 이용하여 구현될 수 있으나, 이에 한정되지 않으며, 상술한 예시들에는 포함되지 않으나, 일 실시예에 따른 실감형 오디오 소스 재생 방법을 구현하기 위한 인터페이스를 이용하여 구현될 수 있음을 명확히 한다.

또한, 일 실시예에 따른 실감형 오디오 소스 재생 방법은 적어도 하나의 프로세서에서 수행될 수 있으며, 설명의 편의를 위해 흐름도를 기초로 설명하나 흐름도에 기재된 순서와는 무관하게 수행될 수 있다.

도 13을 참조하면, 일 실시예에 따른 실감형 오디오 소스 재생 방법은 제1 오디오 소스 및 제2 오디오 소스를 포함하는 제1 오디오 소스 세트를 재생하는 단계(S1210), 가이드 영역에 포함되는 가이드 오브젝트를 디스플레이 하는 단계(S1220), 가이드 오브젝트로 이동되는 제1 오브젝트를 디스플레이 하는 단계(S1230) 및 사용자로부터 제1 입력이 획득된 시점에 상기 제1 오브젝트가 상기 가이드 영역과 적어도 일부 오버랩되는 경우 상기 제1 입력이 획득된 시점 이후에 출력되는 사운드를 구성하는 주파수 스펙트럼이 변경되도록, 적어도 제3 오디오 소스를 포함하되 상기 제3 오디오 소스의 출력 레벨이 상기 제2 오디오 소스의 출력 레벨보다 높은 제2 오디오 소스 세트를 재생하는 단계(S1240)를 포함할 수 있다.

이 때, 일 실시예에 따른 실감형 오디오 소스 재생 방법은 사운드를 구성하는 주파수 스펙트럼을 음악적 단위(musical meter)를 기초로 실시간으로 변경하여 사용자에게 자연스러운 음악적 생동감을 부여하기 위한 실감형 오디오 소스 재생 방법일 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 및 제2 오디오 소스에 관하여는 상술한 오디오 소스 및 오디오 소스 세트에 관한 내용들이 적용되므로 중복되는 서술은 생략하기로 한다.

또한, 상기 제1 및 제2 오디오 소스 세트에 관하여는 상술한 오디오 소스 및 오디오 소스 세트에 관한 내용들이 적용되므로 중복되는 서술은 생략하기로 한다.

또한, 상기 가이드 영역 및 가이드 오브젝트는 상술한 가이드 영역 및 가이드 오브젝트에 대한 내용들이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.

또한, 일 실시예에 따르면, 제1 내지 제3 오디오 소스 중 적어도 하나의 오디오 소스의 기준 박자수를 포함하는 음악적 단위를 마디라고 할 때, 상기 제1 오브젝트가 디스플레이되는 제1 마디의 일부 구간에서 상기 제1 오디오 소스 세트가 재생되며, 상기 제1 오브젝트가 디스플레이 되지 않는 제2 마디의 일부 구간에서 상기 제2 오디오 소스 세트가 재생되도록 상기 제1 오브젝트가 상기 가이드 영역과 적어도 일부 오버랩되는 시점은 상기 제1 마디의 마지막 박자와 상기 제2 마디의 첫번째 박자 사이의 시간 구간에 포함될 수 있다.

또한, 일 실시예에 따르면, 상기 제1 입력은 터치 입력을 포함할 수 있다.

또한, 일 실시예에 따르면, 상기 제1 입력은 상기 제1 오브젝트의 위치에 대응되는 터치 입력을 포함할 수 있다.

또한, 일 실시예에 따르면, 상기 제1 입력은 배경 오브젝트에 대한 터치 입력을 포함할 수 있다.

또한, 일 실시예에 따르면, 상기 제2 오디오 소스 세트는 상기 제1 오디오 소스 및 상기 제3 오디오 소스를 포함하되, 상기 제2 오디오 소스를 포함하지 않을 수 있다.

또한, 일 실시에에 따르면, 상기 제2 오디오 소스 세트는 상기 제1 오디오 소스, 상기 제2 오디오 소스 및 상기 제3 오디오 소스를 포함하되, 상기 제2 오디오 소스의 볼륨 레벨은 상기 제3 오디오 소스의 볼륨 레벨보다 낮도록 설정될 수 있다.

또한, 일 실시예에 따르면, 상기 제1 오디오 소스, 상기 제2 오디오 소스 및 상기 제3 오디오 소스는 각각 서로 다른 악기 사운드를 포함할 수 있다.

또한, 일 실시예에 따르면, 상기 제1 오디오 소스는 피아노 사운드를 포함하며, 상기 제2 오디오 소스는 드럼 사운드를 포함하고, 상기 제3 오디오 소스는 기타 사운드를 포함할 수 있다.

또한, 일 실시예에 따르면, 상기 제1 입력이 획득된 시점에 상기 제1 오브젝트가 상기 가이드 영역과 적어도 일부 오버랩 되는 경우, 제4 오디오 소스를 추가로 재생할 수 있다.

또한, 일 실시예에 따르면, 상기 제4 오디오 소스는 보컬 사운드를 포함할 수 있다.

또한, 일 실시예에 따르면, 상기 제1 입력이 획득된 시점에 상기 제1 오브젝트가 상기 가이드 영역과 적어도 일부 오버랩 되는 경우, 적어도 하나의 비쥬얼 이펙트를 출력될 수 있다.

또한, 일 실시예에 따르면, 상기 적어도 하나의 비쥬얼 이펙트는 추가로 재생되는 상기 제4 오디오 소스에 포함되는 보컬 사운드에 대응되는 가사 정보를 포함할 수 있다.

상술한 본 발명의 일 실시예에 따른 실감형 오디오 소스 재생 방법에 따르면, 사용자의 인터랙션을 기초로 오디오 소스 세트를 구성하는 오디오 소스를 변경시켜 사용자에게 인터랙션에 따른 음악적 변경이라는 보상을 부여하며, 오디오 소스를 기초로 출력되는 사운드를 구성하는 주파수 스펙트럼을 변경시켜 사운드의 에너지 변경을 유도하며, 이를 이용하여 사용자에게 인터랙션에 따른 다이나믹한 음악적 변경을 느끼도록 할 수 있고, 상술한 인터랙션에 따른 음악적 변경이 음악적 단위를 기초로 이루어지도록 유도하여 사용자에게 자연스러운 음악적 생동감을 부여할 수 있다.

도 14는 일 실시예에 따른 실감형 오디오 소스 재생 방법을 설명하기 위한 흐름도이다.

도 14를 설명하기에 앞서, 도 14를 기초로 설명하는 일 실시예에 따른 실감형 오디오 소스 재생 방법은 상술한 인터페이스 중 적어도 하나의 인터페이스를 이용하여 구현될 수 있으나, 이에 한정되지 않으며, 상술한 예시들에는 포함되지 않으나, 일 실시예에 따른 실감형 오디오 소스 재생 방법을 구현하기 위한 인터페이스를 이용하여 구현될 수 있음을 명확히 한다.

또한, 일 실시예에 따른 실감형 오디오 소스 재생 방법은 적어도 하나의 프로세서에서 수행될 수 있으며, 설명의 편의를 위해 흐름도를 기초로 설명하나 흐름도에 기재된 순서와는 무관하게 수행될 수 있다.

도 14를 참조하면, 일 실시예에 따른 실감형 오디오 재생 방법은 제1 오디오 소스를 재생하는 단계(S1310), 가이드 영역에 포함되는 가이드 오브젝트를 디스플레이 하는 단계(S1320), 가이드 오브젝트로 이동되는 제1 타입 오브젝트 및 제2 타입 오브젝트를 디스플레이 하는 단계(S1330), 상기 제1 타입 오브젝트와 관련된 제1 입력 및 상기 제2 타입 오브젝트와 관련된 제2 입력을 획득하는 단계(S1340), 상기 제2 입력을 획득하는 경우 상기 제2 입력에 응답하여 적어도 하나의 오디오 소스를 재생하는 단계(S1350) 및 상기 제1 입력을 획득하는 경우 상기 제2 입력에 응답하여 재생될 오디오 소스를 변경하는 단계(S1360)를 포함할 수 있다.

이 때, 일 실시예에 따른 실감형 오디오 소스 재생 방법은 사운드를 구성하는 주파수 스펙트럼을 실시간으로 변경하여 사용자에게 자연스러운 음악적 생동감을 부여하기 위한 실감형 오디오 재생 방법일 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 오디오 소스 등에 관하여는 상술한 오디오 소스 및 오디오 소스 세트에 관한 내용들이 적용되므로 중복되는 서술은 생략하기로 한다.

또한, 상기 가이드 영역 및 가이드 오브젝트는 상술한 가이드 영역 및 가이드 오브젝트에 대한 내용들이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.

또한, 일 실시예에 따르면, 제1 시점에 사용자로부터 상기 제2 입력을 획득하면 제2 오디오 소스를 재생하되, 상기 제1 시점 후인 제2 시점에 상기 사용자로부터 상기 제1 입력을 획득하면, 상기 제2 입력에 응답하여 재생될 오디오 소스를 변경하고, 상기 제2 시점 후인 제3 시점에 상기 사용자로부터 상기 제2 입력을 획득하면, 상기 제2 오디오 소스와 상이한 제3 오디오 소스를 재생할 수 있다.

또한, 일 실시예에 따르면, 상기 제1 타입 오브젝트와 상기 제2 타입 오브젝트는 시각적으로 구분되도록 표시될 수 있다.

또한, 일 실시예에 따르면, 적어도 한 시점에 한 화면에 표시되는 상기 제1 타입 오브젝트의 개수는 상기 제2 타입 오브젝트의 개수 보다 적을 수 있다.

또한, 일 실시예에 따르면, 상기 제1 입력 및 상기 제2 입력은 배경 오브젝트에 대한 입력을 포함하되, 상기 제1 타입 오브젝트와 관련된 상기 제1 입력은 상기 제1 타입 오브젝트가 상기 가이드 영역과 적어도 일부 오버랩 되는 시점에 획득된 입력이며, 상기 제2 타입 오브젝트와 관련된 상기 제2 입력은 상기 제2 타입 오브젝트가 상기 가이드 영역과 적어도 일부 오버랩 되는 시점에 획득된 입력일 수 있다.

또한, 일 실시예에 따르면, 상기 제2 오디오 소스 및 상기 제3 오디오 소스는 서로 다른 악기 사운드를 포함할 수 있다.

상술한 본 발명의 일 실시예에 따른 실감형 오디오 소스 재생 방법에 따르면, 사용자의 인터랙션을 기초로 추가적인 오디오 소스를 재생하여 사용자에게 인터랙션에 따른 음악적 변경이라는 보상을 부여하며, 추가적으로 재생되는 오디오 소스의 종류를 사용자의 인터랙션을 기초로 변경할 수 있도록 허용하여, 수동적 음악 감상을 넘어 사용자가 가벼운 인터랙션을 이용하여 음악적 변경에 참여하는 능동적 음악 재생이 가능하도록 할 수 있다.

도 15는 일 실시예에 따른 실감형 오디오 소스 재생 방법을 설명하기 위한 흐름도이다.

도 15를 설명하기에 앞서, 도 15를 기초로 설명하는 일 실시예에 따른 실감형 오디오 소스 재생 방법은 상술한 인터페이스 중 적어도 하나의 인터페이스를 이용하여 구현될 수 있으나, 이에 한정되지 않으며, 상술한 예시들에는 포함되지 않으나, 일 실시예에 따른 실감형 오디오 소스 재생 방법을 구현하기 위한 인터페이스를 이용하여 구현될 수 있음을 명확히 한다.

또한, 일 실시예에 따른 실감형 오디오 소스 재생 방법은 적어도 하나의 프로세서에서 수행될 수 있으며, 설명의 편의를 위해 흐름도를 기초로 설명하나 흐름도에 기재된 순서와는 무관하게 수행될 수 있다.

도 15를 참조하면, 일 실시예에 따른 실감형 오디오 재생 방법은 제1 오디오 소스를 재생하는 단계(S1410), 가이드 영역에 포함되는 가이드 오브젝트를 디스플레이 하는 단계(S1420), 가이드 오브젝트로 이동되는 제1 오브젝트를 디스플레이 하는 단계(S1430), 상기 제1 오브젝트가 상기 가이드 영역과 오버랩되는 시간 구간에서 상기 사용자와의 인터랙션에 의한 사운드 변화를 유도하기 위하여, 상기 제1 오브젝트가 가이드 영역과 적어도 일부 오버랩 될 ?? 사용자로부터 제1 입력을 획득하는 경우 상기 제1 입력에 응답하여 제1 오디오 이펙트를 출력하는 단계(S1440) 및 상기 제1 오브젝트가 상기 가이드 영역과 오버랩되지 않는 시간구간에서 사운드 변화의 시간적 자유도를 확장시키기 위하여 상기 제1 오브젝트가 상기 가이드 영역과 오버랩되지 않을 때 상기 사용자로부터 상기 제1 오브젝트의 위치에 대응되는 영역에 대한 제2 입력을 획득하는 경우 상기 제2 입력에 대응하여 제2 오디오 이펙트를 출력하는 단계(S1450)를 포함할 수 있다.

이 때, 일 실시예에 따른 실감형 오디오 소스 재생 방법은 사용자와의 인터랙션을 기초로 상기 사용자에게 한정된 시공간 내에서 자연스러운 음악전 변화를 유도하고, 자유로운 음악적 변화를 허용하여 생동감을 부여하기 위한 실감형 오디오 소스 재생 방법일 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 오디오 소스 등에 관하여는 상술한 오디오 소스 및 오디오 소스 세트에 관한 내용들이 적용되므로 중복되는 서술은 생략하기로 한다.

또한, 상기 가이드 영역 및 가이드 오브젝트는 상술한 가이드 영역 및 가이드 오브젝트에 대한 내용들이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.

또한, 상기 제1 및 제2 오디오 이펙트에 관하여 상술한 내용들이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.

또한, 일 실시예에 따르면, 상기 제1 입력은 배경 오브젝트에 대한 터치 입력을 포함할 수 있다.

또한, 일 실시예에 따르면, 상기 제1 오디오 이펙트와 상기 제2 오디오 이펙트는 동일한 오디오 이펙트일 수 있다.

또한, 일 실시예에 따르면, 상기 제2 입력은 상기 제1 오브젝트의 위치에 대응되는 영역에 대한 드래그 입력을 포함하며, 상기 제1 오디오 이펙트는 상기 제1 입력에 응답하여 단발적으로 출력되되, 상기 제2 오디오 이펙트 상기 제2 입력의 지속시간동안 지속적으로 출력될 수 있다.

또한, 일 실시예에 따르면, 상기 제1 오디오 이펙트는 제2 오디오 소스를 추가로 재생하는 오디오 이펙트이며, 상기 제2 오디오 이펙트는 제3 오디오 소스를 추가로 재생하는 오디오 이펙트이고, 상기 제3 오디오 소스의 길이는 상기 제2 오디오 소스의 길이보다 길 수 있다.

상술한 본 발명의 일 실시예에 따른 실감형 오디오 소스 재생 방법에 따르면, 사용자에게 인터랙션의 타이밍을 가이드 하여 자연스러운 음악적 변화를 유도할 수 있으며, 사용자에게 자유로운 음악적 변화를 허용하여 음악적 변화에 대한 시간적 자유도를 확장시킬 수 있어, 사용자가 보다 간단한 인터랙션을 활용하여 자연스럽고 풍부한 음악적 변화를 만들 수 있도록하여 음악에 자연스럽고 자유로운 생동감을 부여할 수 있다.

4.2. 인터랙션 규칙 세트를 이용하여 오디오 소스를 재생하기 위한 인터페이스의 제2 실시예

도 16은 일 실시예에 따른 인터페이스를 설명하기 위한 도면이다.

도 16을 참조하면, 일 실시예에 따른 인터페이스(1500)는 제1 인터페이스(1510), 제2 인터페이스(1520) 및 제3 인터페이스(1530)를 포함할 수 있다.

이 때, 각각의 인터페이스는 적어도 하나의 인터랙션 규칙을 이용하여 오디오 소스를 재생하기 위해 제공되는 인터페이스일 수 있다.

예를 들어, 상기 제1 인터페이스(1510)는 제1 인터랙션 규칙 서브 세트를 이용하여 제1 오디오 소스 세트를 재생하기 위해 제공되는 인터페이스 일 수 있으며, 상기 제2 인터페이스(1520)는 제2 인터랙션 규칙 서브 세트를 이용하여 제2 오디오 소스 세트를 재생하기 위해 제공되는 인터페이스 일 수 있고, 상기 제3 인터페이스(1530)는 제3 인터랙션 규칙 서브 세트를 이용하여 제3 오디오 소스 세트를 재생하기 위해 제공되는 인터페이스 일 수 있으나, 이에 한정되지 않는다.

또한, 각각의 오디오 소스 세트는 하나의 오디오 소스의 다른 부분을 의미할 수 있으며, 적어도 일부 동일한 오디오 소스를 포함할 수 있다.

예를 들어, 상기 제1 오디오 소스 세트, 상기 제2 오디오 소스 세트 및 상기 제3 오디오 소스 세트는 하나의 음악의 서로 다른 부분을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 각각의 인터페이스로 이동하기 위해서 다른 인터페이스에서의 사용자의 인터랙션이 필요할 수 있다.

예를 들어, 상기 제2 인터페이스(1520)로 이동하기 위해서 상기 제1 인터페이스(1510)에서 사용자의 인터랙션이 필요할 수 있으며, 상기 제3 인터페이스로 이동하기 위해서 상기 제1 또는 제2 인터페이스(1510,1520)에서의 사용자의 인터랙션이 필요할 수 있으나, 이에 한정되지 않는다.

보다 구체적인 예를 들어, 상기 제1 인터페이스(1510)에서 메인 오브젝트에 대한 스왑 입력이 획득되는 경우 상기 제2 인터페이스(1520)로 이동될 수 있으며, 상기 제1 또는 제2 인터페이스(1510,1520)에서 메인 오브젝트에 대한 배쉬 입력이 획득되는 경우 제3 인터페이스(1530)로 이동될 수 있으나, 이에 한정되지 않는다.

도 17은 일 실시예에 따른 인터페이스를 설명하기 위한 도면이다.

도 17을 참조하면, 일 실시예에 따른 제1 인터페이스(1510)는 제1 인터랙션 규칙 서브 세트를 이용하여 제1 오디오 소스 세트를 재생하기 위한 인터페이스 일 수 있으며, 상기 제1 인터페이스에 따라 디스플레이를 통해 출력되는 화면은 제1 오브젝트(1511), 제2 오브젝트(1512), 제3 오브젝트(1513), 제4 오브젝트(1514), 배경 오브젝트(1515), 음악 정보 표시 영역(1516) 및 재생 정보 표시 영역(1517)을 포함할 수 있다.

이 때, 상기 제1 인터페이스(1510)에 따르면, 상기 제1 오브젝트(1511)는 시간에 따라 색상이 변하도록 설정될 수 있다. 예를 들어, 상기 제1 오브젝트(1511)는 재생되는 오디오 소스의 BPM에 따라서 특정 색상이 채워졌다 사라지는 방식으로 설계될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터페이스(1510)에 따르면, 상기 제1 오브젝트(1511)는 재생되는 오디오 소스의 리듬에 맞춰 크기, 색상이 변하도록 설계될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터페이스(1510)에 따르면, 상기 제1 오브젝트(1511)는 재생되는 오디오 소스의 분위기, 에너지, 템포 등에 따라 형상이 결정될 수 있으며, 예를 들어, 오디오 소스의 분위기가 제1 분위기로 판단되면 상기 제1 오브젝트(1511)는 원형 형상으로 제공될 수 있으며, 오디오 소스의 분위기가 제2 분위기로 판단되면 상기 제1 오브젝트(1511)가 사각 형상으로 제공될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터페이스(1510)에 따르면, 상기 제1 오브젝트(1511)는 화면의 적어도 일부에 위치하도록 설계될 수 있다. 예를 들어, 상기 제1 오브젝트(1511) 화면의 중앙에 위치하도록 설계될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터페이스(1510)에 따르면, 상기 제2 오브젝트(1512)는 상기 제1 오브젝트(1511)와 동일한 형상으로 생성될 수 있다. 예를 들어, 상기 제1 오브젝트(1511)가 원형 형상인 경우 상기 제2 오브젝트(1512)는 원형 형상으로 생성될 수 있으며, 상기 제1 오브젝트(1511)가 사각 형상인 경우 상기 제2 오브젝트(1512)는 사각 형상으로 생성될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터페이스(1510)에 따르면, 상기 제2 오브젝트(1512)는 화면의 중앙에서부터 생성될 수 있다. 예를 들어, 상기 제2 오브젝트(1512)는 화면의 중앙에서 생성되어 화면의 외곽으로 이동되도록 설계될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터페이스(1510)에 따르면, 상기 제2 오브젝트(1512)는 생성된 위치로부터 화면의 외곽 방향으로 이동되도록 설계될 수 있다. 예를 들어, 상기 제2 오브젝트(1512)는 화면의 임의의 지점에서 생성될 수 있으며, 생성된 위치로부터 화면의 외곽 방향으로 이동되도록 설계될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터페이스(1510)에 따르면, 상기 제2 오브젝트(1512)는 화면의 중앙에서 멀어질 수록 크기가 변하도록 설계될 수 있다. 예를 들어, 상기 제2 오브젝트(1512)는 화면의 중앙에서 멀어질 수록 크기가 커지도록 설계될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터페이스(1510)에 따르면, 상기 제3 오브젝트(1513)는 상기 제1 오브젝트(1511)와 상이한 형상으로 생성될 수 있다. 예를 들어, 상기 제1 오브젝트(1511)가 원형 형상인 경우 상기 제3 오브젝트(1513)는 원형 형상과 상이한 가위표 형상으로 생성될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터페이스(1510)에 따르면, 상기 제3 오브젝트(1513)는 화면의 중앙에서부터 생성될 수 있다. 예를 들어, 상기 제3 오브젝트(1513)는 화면의 중앙에서 생성되어 화면의 외곽으로 이동되도록 설계될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터페이스(1510)에 따르면, 상기 제3 오브젝트(1513)는 생성된 위치로부터 화면의 외곽 방향으로 이동되도록 설계될 수 있다. 예를 들어, 상기 제3 오브젝트(1513)는 화면의 임의의 지점에서 생성될 수 있으며, 생성된 위치로부터 화면의 외곽 방향으로 이동되도록 설계될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터페이스(1510)에 따르면, 상기 제3 오브젝트(1513)는 화면의 중앙에서 멀어질 수록 크기가 변하도록 설계될 수 있다. 예를 들어, 상기 제3 오브젝트(1513)는 화면의 중앙에서 멀어질수록 크기가 커지도록 설계될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터페이스(1510)에 따르면, 상기 제4 오브젝트(1514)는 동심파 형상으로 생성될 수 있다. 예를 들어, 상기 제4 오브젝트(1514)는 화면의 일부분에 위치하는 동심파 생성기로부터 생성된 동심 파 형상으로 생성될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터페이스(1510)에 따르면, 상기 제4 오브젝트(1514)는 상기 제1 오브젝트(1511)의 외곽과 동일한 형상으로 생성될 수 있다. 예를 들어, 상기 제1 오브젝트(1511)가 원형 형상인 경우, 상기 제4 오브젝트(1514)는 원형 동심파 형상으로 생성될 수 있으며, 상기 제1 오브젝트(1511)가 사각 형상인 경우, 상기 제4 오브젝트(1514)는 사각형 동심파 형상으로 생성될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터페이스(1510)에 따르면, 상기 제4 오브젝트(1514)는 사용자의 인터랙션에 의해 발생할 수 있다. 예를 들어, 사용자로부터 상기 제1 오브젝트(1511)에 대한 입력을 획득하는 경우 획득된 입력에 대응하여 상기 제4 오브젝트(1514)가 생성될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터페이스(1510)에 따르면, 상기 제4 오브젝트(1514)의 발생 주기는 재생되는 오디오 소스의 정보에 기초하여 설정될 수 있다. 예를 들어, 재생되는 오디오 소스의 정보에 포함되는 BPM 정보가 높은 경우 상기 제4 오브젝트(1514)의 발생 주기가 짧아질 수 있으며, 재생되는 오디오 소스의 정보에 포함되는 BPM정보가 낮은 경우 상기 제4 오브젝트(1514)의 발생 주기가 길어질 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터페이스(1510)에 따르면, 상기 배경 오브젝트(1515)는 화면의 중심으로부터 화면의 외곽 방향으로 색상의 적어도 일부가 변경되도록 설계될 수 있다. 예를 들어, 상기 배경 오브젝트(1515)는 화면의 중심에서 외곽으로 갈 수록 색상의 채도 또는 명도가 낮아지도록 설계될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터페이스(1510)에 따르면, 상기 음악 정보 표시 영역(1516)은 재생되는 오디오 소스의 정보를 표시할 수 있다. 예를 들어, 상기 음악 정보 표시 영역(1516)은 재생되는 오디오 소스의 제목 및 가수 정보를 표시할 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터페이스(1510)에 따르면, 상기 재생 정보 표시 영역(1517)은 오디오 소스가 재생된 정보를 표시할 수 있다. 예를 들어, 상기 재생 정보 표시 영역(1517)은 오디오 소스를 재생하기 위하여 이동된 인터페이스 정보 및 시간 정보를 표시할 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터페이스(1510)에 따르면, 기본적으로 상기 제1 오디오 소스 세트에 포함되는 적어도 일부의 오디오 소스가 재생될 수 있다. 예를 들어, 상기 제1 인터페이스에 따라 상기 제1 오디오 소스 세트에 포함되는 제1 오디오 소스, 제2 오디오 소스 및 제3 오디오 소스가 재생될 수 있으나, 이에 한정되지 않는다.

보다 구체적인 예를 들어, 상기 제1 인터페이스(1510)에 따라 상기 제1 오디오 소스 세트에 포함되는 제1 드럼 오디오 소스, 제1 보컬 오디오 소스, 제1 멜로디 오디오 소스가 재생될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터랙션 규칙 서브 세트는 적어도 하나의 인터랙션 규칙을 포함할 수 있으며, 하술하는 인터랙션 규칙들은 하나의 인터랙션 규칙으로 구현될 수 있으나, 이에 한정되지 않고 복수개의 인터랙션 규칙들로 구현될 수도 있다.

이 때, 상기 제1 인터랙션 규칙 서브 세트는 사용자의 인터랙션에 따라 상기 제1 오디오 소스 세트를 재생하기 위한 적어도 하나의 인터랙션 규칙을 포함할 수 있다.

예를 들어, 상기 제1 인터랙션 규칙 서브 세트는 사용자로부터 입력이 획득되는 경우 적어도 하나의 오디오 이펙트를 출력하도록 설계된 인터랙션 규칙을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1511)에 대한 제1 입력이 획득되는 경우, 재생되고 있는 상기 제1 오디오 소스 세트의 구성이 변경될 수 있다.

예를 들어, 상기 제1 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1511)에 대한 제1 입력이 획득되는 경우, 재생되고 있는 상기 제1 오디오 소스 세트의 구성이 제1 드럼 오디오 소스, 제1 멜로디 오디오 소스 , 제1 보컬 오디오 소스에서 제1 드럼 오디오 소스, 제1 멜로디 오디오 소스, 제1 기계 보컬 오디오 소스로 변경될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1511)에 대한 제2 입력이 획득되는 경우, 재생되고 있는 상기 제1 오디오 소스 세트의 출력 레벨이 조절될 수 있다.

예를 들어, 상기 제1 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1511)에 대한 제2 입력이 획득되는 경우, 재생되고 있는 상기 제1 오디오 소스 세트에 포함되는 적어도 하나의 오디오 소스의 출력 레벨이 가장 높도록 조절될 수 있으나, 이에 한정되지 않는다.

보다 구체적인 예를 들어, 상기 제1 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1511)에 대한 제2 입력이 획득되는 경우, 재생되고 있는 상기 제1 오디오 소스 세트에 포함되는 제1 보컬 오디오 소스의 출력 레벨이 가장 높도록 조절될 수 있으나, 이에 한정되지 않는다.

이 때, 오디오 소스의 출력 레벨이 가장 높도록 조절되는 것은 출력되는 볼륨 레벨이 조절되는 것을 의미할 수 있으며, 출력레벨이 가장 높은 오디오 소스 외의 다른 오디오 소스는 재생되지 않거나 음소거 되는 것을 의미할 수도 있다.

또한, 상기 제1 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1511)에 대한 제2 입력이 획득되는 경우, 상기 제2 입력의 위치에 따라서 재생되고 있는 상기 제1 오디오 소스 세트의 출력 레벨이 상이하게 조절될 수 있다.

예를 들어, 상기 제2 입력이 드래그 입력인 경우, 상기 제1 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1511)에 대한 제1 영역에 대응되는 제2 입력이 획득된 경우, 재생되는 상기 제1 오디오 소스 세트 중 제1 드럼 오디오 소스의 출력 레벨이 가장 높도록 조절될 수 있으며, 사용자로부터 상기 제1 오브젝트(1511)에 대한 제2 영역에 대응되는 제2 입력이 획득된 경우, 재생되는 상기 제1 오디오 소스 세트 중 제1 멜로디 오디오 소스의 출력 레벨이 가장 높도록 조절될 수 있고, 사용자로부터 상기 제1 오브젝트(1511)에 대한 제3 영역에 대응되는 제2 입력이 획득된 경우, 재생되는 상기 제1 오디오 소스 세트 중 제1 보컬 오디오 소스의 출력 레벨이 가장 높도록 조절될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1511)에 대한 제2 입력이 획득되는 경우, 상기 제2 입력의 위치에 따라서 재생되고 있는 상기 제1 오디오 소스 세트의 출력 레벨이 상이하게 조절되거나 재생되는 오디오 소스에 대응되는 비디오 소스가 출력될 수 있다.

예를 들어, 상기 제2 입력이 드래그 입력인 경우, 상기 제1 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1511)에 대한 제1 영역에 대응되는 제2 입력이 획득된 경우, 재생되는 상기 제1 오디오 소스 세트 중 제1 드럼 오디오 소스의 출력 레벨이 가장 높도록 조절될 수 있으며, 사용자로부터 상기 제1 오브젝트(1511)에 대한 제2 영역에 대응되는 제2 입력이 획득된 경우, 재생되는 상기 제1 오디오 소스 세트 중 제1 멜로디 오디오 소스의 출력 레벨이 가장 높도록 조절될 수 있고, 사용자로부터 상기 제1 오브젝트(1511)에 대한 제3 영역에 대응되는 제2 입력이 획득된 경우, 재생되는 상기 제1 오디오 소스 세트 중 제1 보컬 오디오 소스의 출력 레벨이 가장 높도록 조절될 수 있고, 상기 제1 오브젝트(1511)에 대한 제4 영역에 대응되는 제2 입력이 획득된 경우, 재생되는 상기 제1 오디오 소스 세트에 대응되는 제1 비디오 소스가 출력될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제2 오브젝트(1512)에 대한 제3 입력이 획득되는 경우, 재생되는 오디오 소스에 적어도 하나의 오디오 이펙트가 적용될 수 있다.

예를 들어, 상기 제1 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제2 오브젝트(1512)에 대한 제3 입력이 획득되는 경우, 재생되는 오디오 소스에 필터 이펙트가 적용될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제2 오브젝트(1512)에 대한 제3 입력이 획득되는 경우, 재생되는 오디오 소스에 임의의 오디오 이펙트가 적용될 수 있다.

이 때, 임의의 오디오 이펙트는 상기 제2 오브젝트(1512)가 생성될 때 매칭되는 임의의 오디오 이펙트 일 수 있으며, 사용자로부터 입력을 획득한 시점에 임의로 결정되는 오디오 이펙트 일 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제2 오브젝트(1512)에 대한 제3 입력이 획득되는 경우, 상기 제3 입력이 획득된 위치에 따라 적용되는 오디오 이펙트의 레벨이 변경될 수 있다.

예를 들어, 상기 제1 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제2 오브젝트(1512)에 대한 제3 입력이 획득되는 경우, 사용자의 입력이 화면의 상부 방향으로 이동되면 재생되는 오디오 소스에 적용되는 임의의 오디오 이펙트의 레벨이 상승될 수 있으며, 사용자의 입력이 화면의 하부 방향으로 이동되면 재생되는 오디오 소스에 적용되는 임의의 오디오 이펙트의 레벨이 하강될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제3 오브젝트(1513)에 대한 제4 입력이 획득되는 경우, 오디오 소스가 추가로 재생될 수 있다.

예를 들어, 상기 제1 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제3 오브젝트(1513)에 대한 제4 입력이 획득되는 경우, 상기 제1 오디오 소스 세트에 포함되는 벨 오디오 소스가 재생될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터랙션 규칙 서브 세트는 다른 인터페이스로 이동하기위한 인터랙션 규칙을 포함할 수 있다.

또한, 상기 제1 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1511)에 대한 제5 입력이 획득되는 경우, 다른 인터페이스로 이동될 수 있다.

예를 들어, 상기 제1 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1511)에 대한 스왑(튕기기) 입력이 획득되는 경우, 제2 인터페이스로 이동될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1511)에 대한 제6 입력이 획득되는 경우, 다른 인터페이스로 이동될 수 있다

예를 들어, 상기 제1 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1511)에 대한 배쉬(마구 누르기) 입력이 획득되는 경우, 제3 인터페이스로 이동될 수 있으나, 이에 한정되지 않는다.

이 때, 상기 제2 인터페이스에서 재생되는 오디오 소스 세트와 상기 제3 인터페이스에서 재생되는 오디오 소스 세트는 서로 상이할 수 있다.

예를 들어, 상기 제3 인터페이스에서 재생되는 오디오 소스 세트의 에너지 레벨은 상기 제2 인터페이스에서 재생되는 오디오 소스 세트의 에너지 레벨보다 높을 수 있으나, 이에 한정되지 않는다.

이하에서는 도 18 내지 도 20을 활용하여, 사용자의 인터랙션에 따른 인터페이스를 설명하기로 한다.

도 18 내지 도 20은 일 실시예에 따른 인터페이스를 설명하기 위한 도면이다.

도 18의 왼쪽 도면은 제1 시점에서 상기 제1 인터페이스(1510)에 따른 화면을 표시한 도면이며, 도 18의 오른쪽 도면은 제2 시점에서 상기 제1 인터페이스(1510)에 따른 화면을 표시한 도면이다.

도 18을 참조하면, 상기 제1 오브젝트(1511)는 시간에 따라 색상이 변하도록 설정될 수 있다. 예를 들어, 상기 제1 오브젝트(1511)는 재생되는 오디오 소스의 BPM에 따라서 특정 색상이 채워졌다 사라지는 방식으로 설계될 수 있으나, 이에 한정되지 않는다.

도 19의 왼쪽 도면은 제3 시점에서 상기 제1 인터페이스(1510)에 따른 화면을 표시한 도면이며, 도 19의 오른쪽 도면은 사용자의 인터랙션이 획득된 제4 시점에서 상기 제1 인터페이스(1510)에 따른 화면을 표시한 도면이다.

도 19를 참조하면, 상기 제1 오브젝트(1511)는 사용자의 인터랙션에 따라 위치가 변경될 수 있다.

예를 들어, 상기 제1 오브젝트(1511)는 사용자로부터 드래그 입력이 획득된 경우, 획득된 드래그 입력에 따라 위치가 변경될 수 있다.

이 때, 사용자의 입력에 따른 오디오 소스의 재생에 관하여는 상술한 내용들이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.

또한, 상기 제1 오브젝트(1511)의 위치가 변경되는 경우, 상기 제4 오브젝트(1514)를 생성하기위한 동심파 생성기의 위치가 변경될 수 있다.

예를 들어, 도 19에 도시된 바와 같이 상기 제1 오브젝트(1511)의 위치가 변경되는 경우, 상기 제4 오브젝트(1514)를 생성하기 위한 동심파 생성기의 위치가 상기 제1 오브젝트(1511)의 위치와 상반된 방향으로 변경될 수 있으나, 이에 한정되지 않는다.

도 20의 왼쪽 도면은 제5 시점에서 상기 제1 인터페이스(1510)에 따른 화면을 표시한 도면이며, 도 20의 오른쪽 도면은 사용자의 인터랙션이 획득된 제6 시점에서 상기 제1 인터페이스(1510)에 따른 화면을 표시한 도면이다.

도 20을 참조하면, 상기 제2 오브젝트(1512)에 대한 사용자의 입력이 획득되는 경우 적용되는 오디오 이펙트에 대한 정보가 표시될 수 있다.

예를 들어, 상기 제2 오브젝트(1512)에 대한 사용자의 입력이 획득되는 경우 재생되는 오디오 소스에 필터 효과가 적용될 수 있으며, 적용되는 오디오 이펙트의 종류를 표시하기 위하여 "filter"라는 텍스트가 표시될 수 있으며, 적용되는 오디오 이펙트의 레벨을 표시하기 위하여 적어도 하나의 도형이 표시될 수 있으나, 이에 한정되지 않는다.

이 때, 사용자의 입력에 따른 오디오 소스의 재생에 관하여는 상술한 내용들이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.

도 21은 일 실시예에 따른 인터페이스를 설명하기 위한 도면이다.

도 21을 참조하면, 일 실시예에 따른 제2 인터페이스(1520)는 제2 인터랙션 규칙 서브 세트를 이용하여 제2 오디오 소스 세트를 재생하기 위한 인터페이스 일 수 있으며, 상기 제2 인터페이스(1520)에 따라 디스플레이를 통해 출력되는 화면은 제1 오브젝트(1521), 제2 오브젝트(1522), 제3 오브젝트(1523), 제4 오브젝트(1524), 배경 오브젝트(1525), 음악 정보 표시 영역(1526) 및 재생 정보 표시 영역(1527)을 포함할 수 있다.

이 때, 상기 제1 오브젝트(1521), 제2 오브젝트(1522), 제3 오브젝트(1523), 제4 오브젝트(1524), 배경 오브젝트(1525), 음악 정보 표시 영역(1526) 및 재생 정보 표시 영역(1527)는 도 17 내지 도 20을 통해 서술한 오브젝트들과 상이할 수 있으나, 설명의 편의를 위해서 이와 같은 용어로 기술하기로 한다.

이 때, 상기 제2 인터페이스(1520)에 따르면, 상기 제1 오브젝트(1521)는 시간에 따라 색상이 변하도록 설정될 수 있다. 예를 들어, 상기 제1 오브젝트(1521)는 재생되는 오디오 소스의 BPM에 따라서 특정 색상이 채워졌다 사라지는 방식으로 설계될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터페이스(1520)에 따르면, 상기 제1 오브젝트(1521)는 재생되는 오디오 소스의 리듬에 맞춰 크기, 색상이 변하도록 설계될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터페이스(1520)에 따르면, 상기 제1 오브젝트(1521)는 재생되는 오디오 소스의 분위기, 에너지, 템포 등에 따라 형상이 결정될 수 있으며, 예를 들어, 오디오 소스의 분위기가 제1 분위기로 판단되면 상기 제1 오브젝트(1521)는 원형 형상으로 제공될 수 있으며, 오디오 소스의 분위기가 제2 분위기로 판단되면 상기 제1 오브젝트(1521)가 사각 형상으로 제공될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터페이스(1520)에 따르면, 상기 제1 오브젝트(1521)는 화면의 적어도 일부에 위치하도록 설계될 수 있다. 예를 들어, 상기 제1 오브젝트(1521) 화면의 중앙에 위치하도록 설계될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터페이스(1520)에 따르면, 상기 제2 오브젝트(1522)는 상기 제1 오브젝트(1521)와 동일한 형상으로 생성될 수 있다. 예를 들어, 상기 제1 오브젝트(1521)가 사각 형상인 경우 상기 제2 오브젝트(1522)는 사각 형상으로 생성될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터페이스(1520)에 따르면, 상기 제2 오브젝트(1522)는 화면의 중앙에서부터 생성될 수 있다. 예를 들어, 상기 제2 오브젝트(1522)는 화면의 중앙에서 생성되어 화면의 외곽으로 이동되도록 설계될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터페이스(1520)에 따르면, 상기 제2 오브젝트(1522)는 생성된 위치로부터 화면의 외곽 방향으로 이동되도록 설계될 수 있다. 예를 들어, 상기 제2 오브젝트(1522)는 화면의 임의의 지점에서 생성될 수 있으며, 생성된 위치로부터 화면의 외곽 방향으로 이동되도록 설계될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터페이스(1520)에 따르면, 상기 제2 오브젝트(1522)는 화면의 중앙에서 멀어질 수록 크기가 변하도록 설계될 수 있다. 예를 들어, 상기 제2 오브젝트(1522)는 화면의 중앙에서 멀어질 수록 크기가 커지도록 설계될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터페이스(1520)에 따르면, 상기 제3 오브젝트(1523)는 상기 제1 오브젝트(1521)와 상이한 형상으로 생성될 수 있다. 예를 들어, 상기 제1 오브젝트(1521)가 사각 형상인 경우, 상기 제3 오브젝트(1523)는 사각 형상과 상이한 가위표 형상으로 생성될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터페이스(1520)에 따르면, 상기 제3 오브젝트(1523)는 화면의 중앙에서부터 생성될 수 있다. 예를 들어, 상기 제3 오브젝트(1523)는 화면의 중앙에서 생성되어 화면의 외곽으로 이동되도록 설계될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터페이스(1520)에 따르면, 상기 제3 오브젝트(1523)는 생성된 위치로부터 화면의 외곽 방향으로 이동되도록 설계될 수 있다. 예를 들어, 상기 제3 오브젝트(1523)는 화면의 임의의 지점에서 생성될 수 있으며, 생성된 위치로부터 화면의 외곽 방향으로 이동되도록 설계될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터페이스(1520)에 따르면, 상기 제3 오브젝트(1523)는 화면의 중앙에서 멀어질수록 크기가 변하도록 설계될 수 있다. 예를 들어, 상기 제3 오브젝트(1523)는 화면의 중앙에서 멀어질수록 크기가 커지도록 설계될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터페이스(1520)에 따르면, 상기 제4 오브젝트(1524)는 동심파 형상으로 생성될 수 있다. 예를 들어, 상기 제4 오브젝트(1524)는 화면의 일 부분에 위치하는 동심파 생서기로부터 생성된 동심파 형상으로 생성될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터페이스(1520)에 따르면, 상기 제4 오브젝트(1524)는 상기 제1 오브젝트(1521)의 외곽과 동일한 형상으로 생성될 수 있다. 예를 들어, 상기 제1 오브젝트(1521)가 사각 형상인 경우, 상기 제4 오브젝트(1524)는 사각형 동심파 형상으로 생성될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터페이스(1520)에 따르면, 상기 제4 오브젝트(1524)는 사용자의 인터랙션에 의해 발생할 수 있다. 예를 들어, 사용자로부터 상기 제1 오브젝트(1521)에 대한 입력을 획득하는 경우 획득된 입력에 대응하여 상기 제4 오브젝트(1524)가 생성될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터페이스(1520)에 따르면, 상기 제4 오브젝트(1524)의 발생 주기는 재생되는 오디오 소스의 정보에 기초하여 설정될 수 있다. 예를 들어, 재생되는 오디오 소스의 정보에 포함되는 BPM 정보가 높은 경우 상기 제4 오브젝트(1524)의 발생 주기가 짧아질 수 있으며, 재생되는 오디오 소스의 정보에 포함되는 BPM정보가 낮은 경우 상기 제4 오브젝트(1524)의 발생 주기가 길어질 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터페이스(1520)에 따르면, 상기 배경 오브젝트(1525)는 화면의 중심으로부터 화면의 외곽 방향으로 색상의 적어도 일부가 변경되도록 설계될 수 있다. 예를 들어, 상기 배경 오브젝트(1525)는 화면의 중심에서 외곽으로 갈 수록 색상의 채도 또는 명도가 낮아지도록 설계될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터페이스(1520)에 따르면, 상기 음악 정보 표시 영역(1526)은 재생되는 오디오 소스의 정보를 표시할 수 있다. 예를 들어, 상기 음악 정보 표시 영역(1526)은 재생되는 오디오 소스의 제목 및 가수 정보를 표시할 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터페이스(1520)에 따르면, 상기 재생 정보 표시 영역(1527)은 오디오 소스가 재생된 정보를 표시할 수 있다. 예를 들어, 상기 재생 정보 표시 영역(1527)은 오디오 소스를 재생하기 위하여 이동된 인터페이스 정보 및 시간 정보를 표시할 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터페이스(1520)에 따르면, 기본적으로 상기 제2 오디오 소스 세트에 포함되는 적어도 일부의 오디오 소스가 재생될 수 있다. 예를 들어, 상기 제2 인터페이스에 따라 상기 제2 오디오 소스 세트에 포함되는 제1 오디오 소스, 제2 오디오 소스 및 제3 오디오 소스가 재생될 수 있으나, 이에 한정되지 않는다.

보다 구체적인 예를 들어, 상기 제2 인터페이스(1520)에 따라 상기 제2 오디오 소스 세트에 포함되는 제2 드럼 오디오 소스, 제2 보컬 오디오 소스, 제2 멜로디 오디오 소스가 재생될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터랙션 규칙 서브 세트는 적어도 하나의 인터랙션 규칙을 포함할 수 있으며, 하술하는 인터랙션 규칙들은 하나의 인터랙션 규칙으로 구현될 수 있으나, 이에 한정되지 않고 복수개의 인터랙션 규칙들로 구현될 수도 있다.

이 때, 상기 제2 인터랙션 규칙 서브 세트는 사용자의 인터랙션에 따라 상기 제2 오디오 소스 세트를 재생하기 위한 적어도 하나의 인터랙션 규칙을 포함할 수 있다.

예를 들어, 상기 제2 인터랙션 규칙 서브 세트는 사용자로부터 입력이 획득되는 경우 적어도 하나의 오디오 이펙트를 출력하도록 설계된 인터랙션 규칙을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1521)에 대한 제1 입력이 획득되는 경우, 재생되고 있는 상기 제2 오디오 소스 세트의 구성이 변경될 수 있다.

예를 들어, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1521)에 대한 제1 입력이 획득되는 경우, 재생되고 있는 상기 제2 오디오 소스 세트의 구성이 제2 드럼 오디오 소스, 제2 멜로디 오디오 소스 , 제2 보컬 오디오 소스에서 제2 드럼 오디오 소스, 제2 멜로디 오디오 소스, 제2 기계 보컬 오디오 소스로 변경될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1521)에 대한 제2 입력이 획득되는 경우, 재생되고 있는 상기 제2 오디오 소스 세트의 출력 레벨이 조절될 수 있다.

예를 들어, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1521)에 대한 제2 입력이 획득되는 경우, 재생되고 있는 상기 제2 오디오 소스 세트에 포함되는 적어도 하나의 오디오 소스의 출력 레벨이 가장 높도록 조절될 수 있으나, 이에 한정되지 않는다.

보다 구체적인 예를 들어, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1521)에 대한 제2 입력이 획득되는 경우, 재생되고 있는 상기 제2 오디오 소스 세트에 포함되는 제2 보컬 오디오 소스의 출력 레벨이 가장 높도록 조절될 수 있으나, 이에 한정되지 않는다.

이 때, 오디오 소스의 출력 레벨이 가장 높도록 조절되는 것은 출력되는 볼륨 레벨이 조절되는 것을 의미할 수 있으며, 출력레벨이 가장 높은 오디오 소스 외의 다른 오디오 소스는 재생되지 않거나 음소거 되는 것을 의미할 수도 있다.

또한, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1521)에 대한 제2 입력이 획득되는 경우, 상기 제2 입력의 위치에 따라서 재생되고 있는 상기 제2 오디오 소스 세트의 출력 레벨이 상이하게 조절될 수 있다.

예를 들어, 상기 제2 입력이 드래그 입력인 경우, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1521)에 대한 제1 영역에 대응되는 제2 입력이 획득된 경우, 재생되는 상기 제2 오디오 소스 세트 중 제2 드럼 오디오 소스의 출력 레벨이 가장 높도록 조절될 수 있으며, 사용자로부터 상기 제1 오브젝트(1521)에 대한 제2 영역에 대응되는 제2 입력이 획득된 경우, 재생되는 상기 제2 오디오 소스 세트 중 제2 멜로디 오디오 소스의 출력 레벨이 가장 높도록 조절될 수 있고, 사용자로부터 상기 제1 오브젝트(1521)에 대한 제3 영역에 대응되는 제2 입력이 획득된 경우, 재생되는 상기 제2 오디오 소스 세트 중 제2 보컬 오디오 소스의 출력 레벨이 가장 높도록 조절될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1521)에 대한 제2 입력이 획득되는 경우, 상기 제2 입력의 위치에 따라서 재생되고 있는 상기 제2 오디오 소스 세트의 출력 레벨이 상이하게 조절되거나 재생되는 오디오 소스에 대응되는 비디오 소스가 출력될 수 있다.

예를 들어, 상기 제2 입력이 드래그 입력인 경우, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1521)에 대한 제1 영역에 대응되는 제2 입력이 획득된 경우, 재생되는 상기 제2 오디오 소스 세트 중 제2 드럼 오디오 소스의 출력 레벨이 가장 높도록 조절될 수 있으며, 사용자로부터 상기 제1 오브젝트(1521)에 대한 제2 영역에 대응되는 제2 입력이 획득된 경우, 재생되는 상기 제2 오디오 소스 세트 중 제2 멜로디 오디오 소스의 출력 레벨이 가장 높도록 조절될 수 있고, 사용자로부터 상기 제1 오브젝트(1521)에 대한 제3 영역에 대응되는 제2 입력이 획득된 경우, 재생되는 상기 제2 오디오 소스 세트 중 제2 보컬 오디오 소스의 출력 레벨이 가장 높도록 조절될 수 있고, 상기 제1 오브젝트(1521)에 대한 제4 영역에 대응되는 제2 입력이 획득된 경우, 재생되는 상기 제2 오디오 소스 세트에 대응되는 제2 비디오 소스가 출력될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제2 오브젝트(1522)에 대한 제3 입력이 획득되는 경우, 재생되는 오디오 소스에 적어도 하나의 오디오 이펙트가 적용될 수 있다.

예를 들어, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제2 오브젝트(1522)에 대한 제3 입력이 획득되는 경우, 재생되는 오디오 소스에 필터 이펙트가 적용될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제2 오브젝트(1522)에 대한 제3 입력이 획득되는 경우, 재생되는 오디오 소스에 임의의 오디오 이펙트가 적용될 수 있다.

이 때, 임의의 오디오 이펙트는 상기 제2 오브젝트(1522)가 생성될 때 매칭되는 임의의 오디오 이펙트 일 수 있으며, 사용자로부터 입력을 획득한 시점에 임의로 결정되는 오디오 이펙트 일 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제2 오브젝트(1522)에 대한 제3 입력이 획득되는 경우, 상기 제3 입력이 획득된 위치에 따라 적용되는 오디오 이펙트의 레벨이 변경될 수 있다.

예를 들어, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제2 오브젝트(1522)에 대한 제3 입력이 획득되는 경우, 사용자의 입력이 화면의 상부 방향으로 이동되면 재생되는 오디오 소스에 적용되는 임의의 오디오 이펙트의 레벨이 상승될 수 있으며, 사용자의 입력이 화면의 하부 방향으로 이동되면 재생되는 오디오 소스에 적용되는 임의의 오디오 이펙트의 레벨이 하강될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제3 오브젝트(1523)에 대한 제4 입력이 획득되는 경우, 오디오 소스가 추가로 재생될 수 있다.

예를 들어, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제3 오브젝트(1523)에 대한 제4 입력이 획득되는 경우, 상기 제2 오디오 소스 세트에 포함되는 벨 오디오 소스가 재생될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터랙션 규칙 서브 세트는 다른 인터페이스로 이동하기위한 인터랙션 규칙을 포함할 수 있다.

또한, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1521)에 대한 제5 입력이 획득되는 경우, 다른 인터페이스로 이동될 수 있다.

예를 들어, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1521)에 대한 스왑(튕기기) 입력이 획득되는 경우, 제1 인터페이스로 이동될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1521)에 대한 제6 입력이 획득되는 경우, 다른 인터페이스로 이동될 수 있다

예를 들어, 상기 제2 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1521)에 대한 배쉬(마구 누르기) 입력이 획득되는 경우, 제3 인터페이스로 이동될 수 있으나, 이에 한정되지 않는다.

이 때, 상기 제1 인터페이스에서 재생되는 오디오 소스 세트와 상기 제3 인터페이스에서 재생되는 오디오 소스 세트는 서로 상이할 수 있다.

예를 들어, 상기 제3 인터페이스에서 재생되는 오디오 소스 세트의 에너지 레벨은 상기 제1 인터페이스에서 재생되는 오디오 소스 세트의 에너지 레벨보다 높을 수 있으나, 이에 한정되지 않는다.

도 22는 일 실시예에 따른 인터페이스를 설명하기 위한 도면이다.

도 22를 참조하면, 일 실시예에 따른 제3 인터페이스(1530)는 제3 인터랙션 규칙 서브 세트를 이용하여 제3 오디오 소스 세트를 재생하기 위한 인터페이스 일 수 있으며, 상기 제3 인터페이스(1530)에 따라 디스플레이를 통해 출력되는 화면은 제1 오브젝트(1531), 제2 오브젝트(1532), 제3 오브젝트(1533), 제4 오브젝트(1534), 배경 오브젝트(1535), 음악 정보 표시 영역(1536) 및 재생 정보 표시 영역(1537)을 포함할 수 있다.

이 때, 상기 제1 오브젝트(1531), 제2 오브젝트(1532), 제3 오브젝트(1533), 제4 오브젝트(1534), 배경 오브젝트(1535), 음악 정보 표시 영역(1536) 및 재생 정보 표시 영역(1537)은 도 17 내지 도 20을 통해 서술한 오브젝트들이나 도 21을 통해 서술한 오브젝트들과 상이할 수 있으나, 설명의 편의를 위해서 이와 같은 용어로 기술하기로 한다.

이 때, 상기 제3 인터페이스(1530)에 따르면, 상기 제1 오브젝트(1531)는 시간에 따라 색상이 변하도록 설정될 수 있다. 예를 들어, 상기 제1 오브젝트(1531)는 재생되는 오디오 소스의 BPM에 따라서 특정 색상이 채워졌다 사라지는 방식으로 설계될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제3 인터페이스(1530)에 따르면, 상기 제1 오브젝트(1531)는 재생되는 오디오 소스의 리듬에 맞춰 크기, 색상이 변하도록 설계될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제3 인터페이스(1530)에 따르면, 상기 제1 오브젝트(1531)는 재생되는 오디오 소스의 분위기, 에너지, 템포 등에 따라 형상이 결정될 수 있으며, 예를 들어, 오디오 소스의 분위기가 제1 분위기로 판단되면 상기 제1 오브젝트(1531)가 원형 형상으로 제공될 수 있으며, 오디오 소스의 분위기가 제2 분위기로 판단되면 상기 제1 오브젝트(1531)가 오각형 형상으로 제공될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제3 인터페이스(1530)에 따르면, 상기 제1 오브젝트(1531)는 화면의 적어도 일부에 위치하도록 설계될 수 있다. 예를 들어, 상기 제1 오브젝트(1531) 화면의 중앙에 위치하도록 설계될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제3 인터페이스(1530)에 따르면, 상기 제2 오브젝트(1532)는 상기 제1 오브젝트(1531)와 동일한 형상으로 생성될 수 있다. 예를 들어, 상기 제1 오브젝트(1531)가 오각형 형상인 경우 상기 제2 오브젝트(1532)는 오각형 형상으로 생성될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제3 인터페이스(1530)에 따르면, 상기 제2 오브젝트(1532)는 화면의 중앙에서부터 생성될 수 있다. 예를 들어, 상기 제2 오브젝트(1532)는 화면의 중앙에서 생성되어 화면의 외곽으로 이동되도록 설계될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제3 인터페이스(1530)에 따르면, 상기 제2 오브젝트(1532)는 생성된 위치로부터 화면의 외곽 방향으로 이동되도록 설계될 수 있다. 예를 들어, 상기 제2 오브젝트(1532)는 화면의 임의의 지점에서 생성될 수 있으며, 생성된 위치로부터 화면의 외곽 방향으로 이동되도록 설계될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제3 인터페이스(1530)에 따르면, 상기 제2 오브젝트(1532)는 화면의 중앙에서 멀어질 수록 크기가 변하도록 설계될 수 있다. 예를 들어, 상기 제2 오브젝트(1532)는 화면의 중앙에서 멀어질 수록 크기가 커지도록 설계될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제3 인터페이스(1530)에 따르면, 상기 제3 오브젝트(1533)는 상기 제1 오브젝트(1531)와 상이한 형상으로 생성될 수 있다. 예를 들어, 상기 제1 오브젝트(1531)가 오각형 형상인 경우, 상기 제3 오브젝트(1533)는 오각형 형상과 상이한 가위표 형상으로 생성될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제3 인터페이스(1530)에 따르면, 상기 제3 오브젝트(1533)는 화면의 중앙에서부터 생성될 수 있다. 예를 들어, 상기 제3 오브젝트(1533)는 화면의 중앙에서 생성되어 화면의 외곽으로 이동되도록 설계될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제3 인터페이스(1530)에 따르면, 상기 제3 오브젝트(1533)는 생성된 위치로부터 화면의 외곽 방향으로 이동되도록 설계될 수 있다. 예를 들어, 상기 제3 오브젝트(1533)는 화면의 임의의 지점에서 생성될 수 있으며, 생성된 위치로부터 화면의 외곽 방향으로 이동되도록 설계될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제3 인터페이스(1530)에 따르면, 상기 제3 오브젝트(1533)는 화면의 중앙에서 멀어질수록 크기가 변하도록 설계될 수 있다. 예를 들어, 상기 제3 오브젝트(1533)는 화면의 중앙에서 멀어질수록 크기가 커지도록 설계될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제3 인터페이스(1530)에 따르면, 상기 제4 오브젝트(1534)는 동심파 형상으로 생성될 수 있다. 예를 들어, 상기 제4 오브젝트(1534)는 화면의 일 부분에 위치하는 동심파 생서기로부터 생성된 동심파 형상으로 생성될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제3 인터페이스(1530)에 따르면, 상기 제4 오브젝트(1534)는 상기 제1 오브젝트(1531)의 외곽과 동일한 형상으로 생성될 수 있다. 예를 들어, 상기 제1 오브젝트(1531)가 오각형 형상인 경우, 상기 제4 오브젝트(1534)는 오각형 동심파 형상으로 생성될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제3 인터페이스(1530)에 따르면, 상기 제4 오브젝트(1534)는 사용자의 인터랙션에 의해 발생할 수 있다. 예를 들어, 사용자로부터 상기 제1 오브젝트(1531)에 대한 입력을 획득하는 경우 획득된 입력에 대응하여 상기 제4 오브젝트(1534)가 생성될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제3 인터페이스(1530)에 따르면, 상기 제4 오브젝트(1534)의 발생 주기는 재생되는 오디오 소스의 정보에 기초하여 설정될 수 있다. 예를 들어, 재생되는 오디오 소스의 정보에 포함되는 BPM 정보가 높은 경우 상기 제4 오브젝트(1534)의 발생 주기가 짧아질 수 있으며, 재생되는 오디오 소스의 정보에 포함되는 BPM정보가 낮은 경우 상기 제4 오브젝트(1534)의 발생 주기가 길어질 수 있으나, 이에 한정되지 않는다.

또한, 상기 제3 인터페이스(1530)에 따르면, 상기 배경 오브젝트(1535)는 화면의 중심으로부터 화면의 외곽 방향으로 색상의 적어도 일부가 변경되도록 설계될 수 있다. 예를 들어, 상기 배경 오브젝트(1535)는 화면의 중심에서 외곽으로 갈 수록 색상의 채도 또는 명도가 낮아지도록 설계될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제3 인터페이스(1530)에 따르면, 상기 음악 정보 표시 영역(1536)은 재생되는 오디오 소스의 정보를 표시할 수 있다. 예를 들어, 상기 음악 정보 표시 영역(1536)은 재생되는 오디오 소스의 제목 및 가수 정보를 표시할 수 있으나, 이에 한정되지 않는다.

또한, 상기 제3 인터페이스(1530)에 따르면, 상기 재생 정보 표시 영역(1537)은 오디오 소스가 재생된 정보를 표시할 수 있다. 예를 들어, 상기 재생 정보 표시 영역(1537)은 오디오 소스를 재생하기 위하여 이동된 인터페이스 정보 및 시간 정보를 표시할 수 있으나, 이에 한정되지 않는다.

또한, 상기 제3 인터페이스(1530)에 따르면, 기본적으로 상기 제3 오디오 소스 세트에 포함되는 적어도 일부의 오디오 소스가 재생될 수 있다. 예를 들어, 상기 제3 인터페이스에 따라 상기 제3 오디오 소스 세트에 포함되는 제1 오디오 소스, 제2 오디오 소스 및 제3 오디오 소스가 재생될 수 있으나, 이에 한정되지 않는다.

보다 구체적인 예를 들어, 상기 제3 인터페이스(1530)에 따라 상기 제3 오디오 소스 세트에 포함되는 제3 드럼 오디오 소스, 제3 보컬 오디오 소스, 제3 멜로디 오디오 소스가 재생될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제3 인터랙션 규칙 서브 세트는 적어도 하나의 인터랙션 규칙을 포함할 수 있으며, 하술하는 인터랙션 규칙들은 하나의 인터랙션 규칙으로 구현될 수 있으나, 이에 한정되지 않고 복수개의 인터랙션 규칙들로 구현될 수도 있다.

이 때, 상기 제3 인터랙션 규칙 서브 세트는 사용자의 인터랙션에 따라 상기 제3 오디오 소스 세트를 재생하기 위한 적어도 하나의 인터랙션 규칙을 포함할 수 있다.

예를 들어, 상기 제3 인터랙션 규칙 서브 세트는 사용자로부터 입력이 획득되는 경우 적어도 하나의 오디오 이펙트를 출력하도록 설계된 인터랙션 규칙을 포함할 수 있으나, 이에 한정되지 않는다.

또한, 상기 제3 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1531)에 대한 제1 입력이 획득되는 경우, 재생되고 있는 상기 제3 오디오 소스 세트의 구성이 변경될 수 있다.

예를 들어, 상기 제3 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1531)에 대한 제1 입력이 획득되는 경우, 재생되고 있는 상기 제3 오디오 소스 세트의 구성이 제3 드럼 오디오 소스, 제3 멜로디 오디오 소스 , 제3 보컬 오디오 소스에서 제3 드럼 오디오 소스, 제3 멜로디 오디오 소스, 제3 기계 보컬 오디오 소스로 변경될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제3 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1531)에 대한 제2 입력이 획득되는 경우, 재생되고 있는 상기 제3 오디오 소스 세트의 출력 레벨이 조절될 수 있다.

예를 들어, 상기 제3 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1531)에 대한 제2 입력이 획득되는 경우, 재생되고 있는 상기 제3 오디오 소스 세트에 포함되는 적어도 하나의 오디오 소스의 출력 레벨이 가장 높도록 조절될 수 있으나, 이에 한정되지 않는다.

보다 구체적인 예를 들어, 상기 제3 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1531)에 대한 제2 입력이 획득되는 경우, 재생되고 있는 상기 제3 오디오 소스 세트에 포함되는 제3 보컬 오디오 소스의 출력 레벨이 가장 높도록 조절될 수 있으나, 이에 한정되지 않는다.

이 때, 오디오 소스의 출력 레벨이 가장 높도록 조절되는 것은 출력되는 볼륨 레벨이 조절되는 것을 의미할 수 있으며, 출력레벨이 가장 높은 오디오 소스 외의 다른 오디오 소스는 재생되지 않거나 음소거 되는 것을 의미할 수도 있다.

또한, 상기 제3 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1531)에 대한 제2 입력이 획득되는 경우, 상기 제2 입력의 위치에 따라서 재생되고 있는 상기 제3 오디오 소스 세트의 출력 레벨이 상이하게 조절될 수 있다.

예를 들어, 상기 제2 입력이 드래그 입력인 경우, 상기 제3 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1531)에 대한 제1 영역에 대응되는 제2 입력이 획득된 경우, 재생되는 상기 제3 오디오 소스 세트 중 제3 드럼 오디오 소스의 출력 레벨이 가장 높도록 조절될 수 있으며, 사용자로부터 상기 제1 오브젝트(1531)에 대한 제2 영역에 대응되는 제2 입력이 획득된 경우, 재생되는 상기 제3 오디오 소스 세트 중 제3 멜로디 오디오 소스의 출력 레벨이 가장 높도록 조절될 수 있고, 사용자로부터 상기 제1 오브젝트(1531)에 대한 제3 영역에 대응되는 제2 입력이 획득된 경우, 재생되는 상기 제3 오디오 소스 세트 중 제3 보컬 오디오 소스의 출력 레벨이 가장 높도록 조절될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제3 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1531)에 대한 제2 입력이 획득되는 경우, 상기 제2 입력의 위치에 따라서 재생되고 있는 상기 제3 오디오 소스 세트의 출력 레벨이 상이하게 조절되거나 재생되는 오디오 소스에 대응되는 비디오 소스가 출력될 수 있다.

예를 들어, 상기 제2 입력이 드래그 입력인 경우, 상기 제3 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1531)에 대한 제1 영역에 대응되는 제2 입력이 획득된 경우, 재생되는 상기 제3 오디오 소스 세트 중 제3 드럼 오디오 소스의 출력 레벨이 가장 높도록 조절될 수 있으며, 사용자로부터 상기 제1 오브젝트(1531)에 대한 제2 영역에 대응되는 제2 입력이 획득된 경우, 재생되는 상기 제3 오디오 소스 세트 중 제3 멜로디 오디오 소스의 출력 레벨이 가장 높도록 조절될 수 있고, 사용자로부터 상기 제1 오브젝트(1531)에 대한 제3 영역에 대응되는 제2 입력이 획득된 경우, 재생되는 상기 제3 오디오 소스 세트 중 제3 보컬 오디오 소스의 출력 레벨이 가장 높도록 조절될 수 있고, 상기 제1 오브젝트(1531)에 대한 제4 영역에 대응되는 제2 입력이 획득된 경우, 재생되는 상기 제3 오디오 소스 세트에 대응되는 제3 비디오 소스가 출력될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제3 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제2 오브젝트(1532)에 대한 제3 입력이 획득되는 경우, 재생되는 오디오 소스에 적어도 하나의 오디오 이펙트가 적용될 수 있다.

예를 들어, 상기 제3 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제2 오브젝트(1532)에 대한 제3 입력이 획득되는 경우, 재생되는 오디오 소스에 필터 이펙트가 적용될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제3 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제2 오브젝트(1532)에 대한 제3 입력이 획득되는 경우, 재생되는 오디오 소스에 임의의 오디오 이펙트가 적용될 수 있다.

이 때, 임의의 오디오 이펙트는 상기 제2 오브젝트(1532)가 생성될 때 매칭되는 임의의 오디오 이펙트 일 수 있으며, 사용자로부터 입력을 획득한 시점에 임의로 결정되는 오디오 이펙트 일 수 있으나, 이에 한정되지 않는다.

또한, 상기 제3 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제2 오브젝트(1532)에 대한 제3 입력이 획득되는 경우, 상기 제3 입력이 획득된 위치에 따라 적용되는 오디오 이펙트의 레벨이 변경될 수 있다.

예를 들어, 상기 제3 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제2 오브젝트(1532)에 대한 제3 입력이 획득되는 경우, 사용자의 입력이 화면의 상부 방향으로 이동되면 재생되는 오디오 소스에 적용되는 임의의 오디오 이펙트의 레벨이 상승될 수 있으며, 사용자의 입력이 화면의 하부 방향으로 이동되면 재생되는 오디오 소스에 적용되는 임의의 오디오 이펙트의 레벨이 하강될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제3 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제3 오브젝트(1533)에 대한 제4 입력이 획득되는 경우, 오디오 소스가 추가로 재생될 수 있다.

예를 들어, 상기 제3 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제3 오브젝트(1533)에 대한 제4 입력이 획득되는 경우, 상기 제2 오디오 소스 세트에 포함되는 벨 오디오 소스가 재생될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제3 인터랙션 규칙 서브 세트는 다른 인터페이스로 이동하기위한 인터랙션 규칙을 포함할 수 있다.

또한, 상기 제3 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1531)에 대한 제5 입력이 획득되는 경우, 다른 인터페이스로 이동될 수 있다.

예를 들어, 상기 제3 인터랙션 규칙 서브 세트에 따르면, 사용자로부터 상기 제1 오브젝트(1531)에 대한 스왑(튕기기) 입력이 획득되는 경우, 제1 또는 제2 인터페이스로 이동될 수 있으나, 이에 한정되지 않는다.

도 23은 일 실시예에 따른 실감형 오디오 소스 재생 방법을 설명하기 위한 흐름도이다.

도 23을 설명하기에 앞서, 도 23을 기초로 설명하는 일 실시예에 따른 실감형 오디오 소스 재생 방법은 상술한 인터페이스 중 적어도 하나의 인터페이스를 이용하여 구현될 수 있으나, 이에 한정되지 않으며, 상술한 예시들에는 포함되지 않으나, 일 실시예에 따른 실감형 오디오 소스 재생 방법을 구현하기 위한 인터페이스를 이용하여 구현될 수 있음을 명확히 한다.

또한, 일 실시예에 따른 실감형 오디오 소스 재생 방법은 적어도 하나의 프로세서에서 수행될 수 있으며, 설명의 편의를 위해 흐름도를 기초로 설명하나 흐름도에 기재된 순서와는 무관하게 수행될 수 있다.

도 23을 참조하면, 일 실시예에 따른 실감형 오디오 소스 재생 방법은 제1 오디오 소스 및 제2 오디오 소스를 포함하는 오디오 소스 세트를 재생하는 단계(S1610), 사용자와의 인터랙션을 위한 제1 오브젝트를 디스플레이 하는 단계(S1620), 상기 제1 오브젝트에 대한 입력을 획득하는 단계(S1630) 및 획득된 입력에 기초하여 상기 오디오 소스 세트의 적어도 일부를 변화시키는 단계(S1640)를 포함할 수 있다.

이 때, 일 실시예에 따른 실감형 오디오 소스 재생 방법은 사용자와의 인터랙션을 기초로 오디오 소스에 대한 선택적 변화를 부여하여 사용자에게 주도적 음악적 경험을 만들어 주되, 오디오 소스에 대한 비선택적 변화를 부여하여 사용자에게 다양한 음악적 경험을 만들어 주기 위한 실감형 오디오 소스 재생 방법일 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 및 제2 오디오 소스에 관하여는 상술한 오디오 소스 및 오디오 소스 세트에 관한 내용들이 적용되므로 중복되는 서술은 생략하기로 한다.

또한, 상기 오디오 소스 세트에 관하여는 상술한 오디오 소스 및 오디오 소스 세트에 관한 내용들이 적용되므로 중복되는 서술은 생략하기로 한다.

또한, 일 실시예에 따르면, 상기 오디오 소스 세트의 적어도 일부를 변화시키는 단계에서, 사용자와의 인터랙션에 따라 사용자가 의도한 시점에 상기 오디오 소스 세트에 대한 선택적 변화가 부여되도록 상기 제1 오브젝트에 대해 제1 입력을 획득하는 경우 상기 오디오 소스 세트 중 상기 제1 입력에 의해 선택된 상기 제1 오디오 소스의 출력 레벨이 가장 높도록 상기 오디오 소스 세트를 변화시키며, 사용자와의 인터랙션에 따라 사용자가 의도한 시점에 상기 오디오 소스 세트에 대한 임의적인 변화가 부여되도록 상기 제1 오브젝트에 대해 제2 입력을 획득하는 경우 상기 오디오 소스 세트 중 적어도 하나의 오디오 소스에 대하여 임의의 오디오 이펙트를 적용시킬 수 있다.

또한, 일 실시예에 따르면, 상기 제1 오브젝트와 관련된 상기 제1 입력은 상기 제1 오브젝트에 대한 드래그 입력을 포함하며, 상기 제1 오브젝트와 관련된 상기 제2 입력은 상기 제1 오브젝트에 대한 터치 입력을 포함할 수 있다.

또한, 일 실시예에 따르면, 상기 제1 오디오 소스의 출력 레벨이 가장 높도록 상기 오디오 소스 세트를 조정하기 위하여 상기 제2 오디오 소스를 재생하지 않을 수 있다.

또한, 일 실시예에 따르면, 상기 제1 오디오 소스의 출력 레벨이 가장 높도록 상기 오디오 소스 세트를 조정하기 위하여 상기 제1 오디오 소스의 볼륨 레벨을 상기 제2 오디오 소스의 볼륨 레벨보다 높도록 설정할 수 있다.

또한, 일 실시예에 따르면, 상기 제1 오디오 소스의 볼륨 레벨을 상승시키고, 상기 제2 오디오 소스의 볼륨 레벨을 하강시키되, 상기 제1 오디오 소스의 볼륨 레벨을 비선형적으로 상승시키고, 상기 제2 오디오 소스의 볼륨 레벨을 비선형적으로 하강시킬 수 있다.

또한, 일 실시예에 따르면, 상기 임의의 오디오 이펙트는 상기 제2 입력이 획득된 시점에 기초하여 결정될 수 있다.

상술한 본 발명의 일 실시예에 따른 실감형 오디오 소스 재생 방법에 따르면, 사용자가 의도한 선택적 변화를 가능하게 하여 사용자가 주도적으로 음악을 변경시킬 수 있도록 하며, 사용자가 의도하지 못한 임의적 변화를 가능하게 하여 사용자가 예측하지 못하는 음악적 경험을 느낄 수 있도록 허용하므로 음악적 경험이 미약한 사용자에게도 다양한 음악적 변경을 주도적으로 진행할 수 있도록 유도하며 잘 알지 못하는 음악적 변경도 가능하도록 하여 결국 사용자에게 다양한 음악적 경험을 만들어 줄 수 있다.

도 24는 일 실시예에 따른 실감형 오디오 소스 재생 방법을 설명하기 위한 흐름도이다.

도 24를 설명하기에 앞서, 도 24를 기초로 설명하는 일 실시예에 따른 실감형 오디오 소스 재생 방법은 상술한 인터페이스 중 적어도 하나의 인터페이스를 이용하여 구현될 수 있으나, 이에 한정되지 않으며, 상술한 예시들에는 포함되지 않으나, 일 실시예에 따른 실감형 오디오 소스 재생 방법을 구현하기 위한 인터페이스를 이용하여 구현될 수 있음을 명확히 한다.

또한, 일 실시예에 따른 실감형 오디오 소스 재생 방법은 적어도 하나의 프로세서에서 수행될 수 있으며, 설명의 편의를 위해 흐름도를 기초로 설명하나 흐름도에 기재된 순서와는 무관하게 수행될 수 있다.

도 24를 참조하면, 일 실시예에 따른 실감형 오디오 소스 재생 방법은 제1 오디오 소스 및 제2 오디오 소스를 포함하는 오디오 소스 세트를 재생하는 단계(S1710), 사용자와의 인터랙션을 위한 적어도 하나의 오브젝트를 디스플레이 하는 단계(S1720), 상기 적어도 하나의 오브젝트에 대한 입력을 획득하는 단계(S1730) 및 획득된 입력에 기초하여 상기 오디오 소스 세트의 적어도 일부를 변화시키는 단계(S1740)를 포함할 수 있다.

이 때, 일 실시예에 따른 실감형 오디오 소스 재생 방법은 사용자와의 인터랙션을 기초로 오디오 소스에 대한 지속적 변화 가능성을 부여하여 사용자에게 주도적 음악적 경험을 만들어주되, 오디오 소스에 대한 임의적 변화 가능성을 부여하여 사용자에게 다양한 음악적 경험을 만들어주기 위한 실감형 오디오 소스 재생 방법일 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 및 제2 오디오 소스에 관하여는 상술한 오디오 소스 및 오디오 소스 세트에 관한 내용들이 적용되므로 중복되는 서술은 생략하기로 한다.

또한, 상기 오디오 소스 세트에 관하여는 상술한 오디오 소스 및 오디오 소스 세트에 관한 내용들이 적용되므로 중복되는 서술은 생략하기로 한다.

또한, 일 실시예에 따르면, 상기 오디오 소스 세트의 적어도 일부를 변화시키는 단계에서, 사용자와의 인터랙션에 따라 사용자가 예상한 시점에 상기 오디오 소스 세트에 대한 선택적 변화가 수행되도록, 상기 적어도 하나 이상의 오브젝트 중 제1 오브젝트가 제1 시간 구간동안 디스플레이 되고, 상기 제1 오브젝트에 대해 제1 입력이 획득되는 경우, 상기 오디오 소스 세트 중 상기 제1 입력에 의해 선택된 상기 제1 오디오 소스의 출력 레벨이 가장 높도록 상기 오디오 소스 세트가 조절되며, 사용자와의 인터랙션에 따라 임의적 시간 구간에서 상기 오디오 소스 세트에 대한 선택적 변화가 수행되도록 상기 적어도 하나 이상의 오브젝트 중 제2 오브젝트가 임의적인 시점에 상기 제1 시간 구간 보다 짧은 제2 시간 구간 이내의 시간동안 디스플레이 되고, 상기 제2 오브젝트에 대해 제2 입력이 획득되는 경우, 상기 오디오 소스 세트의 적어도 일부에 대하여 상기 제2 오브젝트와 대응되는 오디오 이펙트가 적용될 수 있다.

또한, 일 실시예에 따르면, 상기 제1 오브젝트의 크기는 상기 제2 오브젝트의 크기 보다 클 수 있다.

또한, 일 실시예에 따르면, 상기 제2 오브젝트와 대응되는 오디오 이펙트는 오디오 소스에 대한 템포(Tempo) 조절, Low pass filter, High pass filter, 피치(Pitch) 조절, 비트 리피터(Beat repeater), 에코(Echo), 사이키델릭 모드(Psychedelic mode) 중 적어도 하나를 포함할 수 있다.

또한, 일 실시예에 따르면, 상기 제2 오브젝트와 대응되는 오디오 이펙트는 상기 제2 오브젝트가 생성될 때 매칭되어 설정될 수 있다.

또한, 일 실시예에 따르면, 적어도 한 시점에 한 화면에 표시되는 상기 제2 오브젝트의 개수는 상기 제1 오브젝트의 개수보다 많을 수 있다.

또한, 일 실시예에 따르면, 상기 오디오 소스 세트의 적어도 일부를 변화시키는 단계에서, 제1 오디오 이펙트 그룹에 대한 사용자의 인터랙션 가능성을 유지시키되, 제2 오디오 이펙트 그룹에 대한 사용자의 인터랙션 가능성을 임의적으로 생성시키기 위하여, 상기 적어도 하나 이상의 오브젝트 중 제1 오브젝트가 제1 시간 구간 동안 디스플레이 되고, 상기 적어도 하나 이상의 오브젝트 중 제2 오브젝트가 임의적인 시점에 상기 제1 시간구간보다 짧은 제2 시간 구간 동안 디스플레이 되며, 사용자로부터 상기 제1 오브젝트에 대해 제1 입력이 획득되는 경우, 상기 오디오 소스 세트 중 상기 제1 입력에 의해 선택된 상기 제1 오디오 소스의 출력 레벨이 가장 높도록 상기 오디오 소스 세트가 조절되며, 사용자로부터 상기 제2 오브젝트에 대해 제2 입력이 획득되는 경우, 상기 오디오 소스 세트 중 적어도 하나의 오디오 소스에 대하여 상기 제2 오브젝트와 대응되는 오디오 이펙트가 적용될 수 있다.

또한, 일 실시예에 따르면, 상기 제1 오디오 이펙트 그룹은 상기 오디오 소스 세트에 포함되는 제1 또는 제2 오디오 소스의 출력 레벨을 다른 오디오 소스의 출력 레벨보다 높도록 오디오 소스 세트를 조절하는 오디오 이펙트를 포함하며, 상기 제2 오디오 이펙트 그룹은 상기 오디오 소스 세트 중 적어도 하나의 오디오 소스에 대한 템포(Tempo) 조절, Low pass filter, High pass filter, 피치(Pitch) 조절, 비트 리피터(Beat repeater), 에코(Echo), 사이키델릭 모드(Psychedelic mode) 중 적어도 하나의 오디오 이펙트를 포함할 수 있다.

또한, 일 실시예에 따르면, 상기 제1 오브젝트에 대해 상기 제1 입력이 획득되는 경우 상기 오디오 소스 세트 중 상기 제1 입력에 의해 선택된 상기 제1 오디오 소스의 출력 레벨이 가장 높도록 상기 오디오 소스 세트가 조절될 수 있다.

상술한 본 발명의 일 실시예에 따른 실감형 오디오 소스 재생 방법에 따르면, 사용자에게 선택적 변화의 가능성을 지속적으로 열어주되, 임의적 변화 가능성을 산발적으로 열어주어, 한정된 시공간 내에서 다양한 음악적 변경을 가능하게 할 수 있으며, 이를 이용하여 사용자에게 다양한 음악적 경험을 만들어 줄 수 있다.

4.3. 인터랙션 규칙 세트를 이용하여 오디오 소스를 재생하기 위한 인터페이스의 제3 실시예

도 25는 일 실시예에 따른 인터페이스를 설명하기 위한 도면이다.

도 25를 참조하면, 일 실시예에 따른 인터페이스(1800)는 제1 인터페이스(1810), 제2 인터페이스(1820) 및 제3 인터페이스(1830)를 포함할 수 있다.

이 때, 각각의 인터페이스는 적어도 하나의 인터랙션 규칙을 이용하여 오디오 소스를 재생하기 위해 제공되는 인터페이스일 수 있다.

예를 들어, 상기 제1 인터페이스(1810)는 제1 인터랙션 규칙 서브 세트를 이용하여 제1 오디오 소스 세트를 재생하기 위해 제공되는 인터페이스 일 수 있으며, 상기 제2 인터페이스(1820)는 제2 인터랙션 규칙 서브 세트를 이용하여 제2 오디오 소스 세트를 재생하기 위해 제공되는 인터페이스 일 수 있고, 상기 제3 인터페이스(1830)는 제3 인터랙션 규칙 서브 세트를 이용하여 제3 오디오 소스 세트를 재생하기 위해 제공되는 인터페이스 일 수 있으나, 이에 한정되지 않는다.

또한, 각각의 오디오 소스 세트는 하나의 오디오 소스의 다른 부분을 의미할 수 있으며, 적어도 일부 동일한 오디오 소스를 포함할 수 있다.

예를 들어, 상기 제1 오디오 소스 세트, 상기 제2 오디오 소스 세트 및 상기 제3 오디오 소스 세트는 하나의 음악의 서로 다른 부분을 포함할 수 있으나, 이에 한정되지 않는다.

본 챕터에서는 다양한 인터페이스들 사이의 이동을 위한 적어도 하나의 인터랙션 규칙에 대하여 서술하기로 하며, 따라서, 각 세부 인터페이스에 대한 설명은 설명의 편의를 위해 생략하기로 한다.

다만, 각각의 인터페이스는 상술한 인터페이스들의 내용들이 적용될 수 있으며, 상술??지 않았지만 오디오 소스를 재생하기 위한 다양한 인터페이스 들이 적용될 수 있다.

또한, 본 챕터에서 설명하는 다양한 인터페이스들 사이의 이동 및 각 인터페이스를 통해 재생하는 오디오 소스 세트들 사이의 이동을 이용하면, 음악의 선형적, 비선형적 이동이 가능하며, 종래의 시계열적인 음악적 구조에서 탈피하여 음악에 대한 새로운 경험이 가능할 수 있다.

또한, 본 명세서에서 음악의 비선형적 이동, 오디오 소스의 비선형적 이동 또는 오디오 소스 세트의 비선형적 이동은 오디오 소스의 시간 정보에 구속되지 않는 이동을 의미할 수 있으며, 비시계열적 이동을 의미할 수 있고, 기존의 시계열적, 선형적 이동과 상이한 개념으로 이해될 수 있으나, 이에 한정되지 않는다.

도 25를 참조하면, 일 실시예에 따른 제1 이동(1841)은 상기 제1 인터페이스(1810)로부터 상기 제2 인터페이스(1820)로의 이동일 수 있다.

또한, 일 실시예에 따르면, 상기 제1 인터페이스(1810)가 제공된 시간이 기준 시간이상이 되면 상기 제1 이동(1841)이 수행될 수 있다. 예를 들어, 상기 제1 인터페이스(1810)가 제공된 시간이 기준 시간인 1분을 지나면 상기 제1 이동(1841)이 수행되어 상기 제2 인터페이스(1820)가 제공될 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따르면, 상기 제1 인터페이스(1810)에서 재생되는 상기 제1 오디오 소스 세트의 종료에 따라 상기 제1 이동(1841)이 수행될 수 있다. 예를 들어, 상기 제1 인터페이스(1810)에서 재생되는 상기 제1 오디오 소스 세트의 길이가 1분 30초인 경우 상기 제1 인터페이스(1810)에서 상기 제1 오디오 소스 세트가 재생되어 1분 30초가 경과하여 상기 제1 오디오 소스 세트가 종료되면 상기 제1 이동(1841)이 수행되어 상기 제2 인터페이스(1820)가 제공될 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따르면, 상기 제1 인터페이스(1810)에서 사용자로부터 기 설정된 제1 타입 입력이 획득되는 경우 상기 제1 이동(1841)이 수행될 수 있다. 예를 들어, 상기 제1 인터페이스(1810)에서 사용자로부터 기 설정된 제1 타입 입력인 스왑입력이 획득되는 경우 상기 제1 이동(1841)이 수행되어 상기 제2 인터페이스(1820)가 제공될 수 있으나, 이에 한정되지 않는다.

또한, 상술한 경우 상기 제1 인터페이스(1810)에서 상기 제2 인터페이스(1820)로의 상기 제1 이동(1841)이 수행됨에 따라 상기 제1 오디오 소스 세트가 재생되다가 상기 제2 오디오 소스 세트가 재생될 수 있으며, 이는 음악 구간이 이동됨을 의미할 수 있으나, 이에 한정되지 않는다.

따라서, 상술한 인터페이스 사이의 이동은 오디오 소스 세트 사이의 이동으로 이해될 수 있으며, 인터랙션 규칙 서브 세트 사이의 이동으로도 이해될 수 있으나, 중복되는 서술은 생략하기로 한다.

도 25를 참조하면, 일 실시예에 따른 제2 이동(1842)은 상기 제2 인터페이스(1820)로부터 상기 제1 인터페이스(1810)로의 이동일 수 있다.

또한, 일 실시예에 따르면, 상기 제2 인터페이스(1820)가 제공된 시간이 기준 시간 이상이 되면 상기 제2 이동(1842)이 수행될 수 있다. 예를 들어, 상기 제2 인터페이스(1820)가 제공된 시간이 기준 시간인 1분을 지나면 상기 제2 이동(1842)이 수행되어 상기 제1 인터페이스(1810)가 제공될 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따르면, 상기 제2 인터페이스(1820)에서 재생되는 상기 제2 오디오 소스 세트의 종료에 따라 상기 제2 이동(1842)이 수행될 수 있다. 예를 들어, 상기 제2 인터페이스(1820)에서 재생되는 상기 제2 오디오 소스 세트의 길이가 1분 30초인 경우 상기 제2 인터페이스(1820)에서 상기 제2 오디오 소스 세트가 재생되어 1분 30초가 경과하여 상기 제2 오디오 소스 세트가 종료되면 상기 제2 이동(1842)이 수행되어 상기 제1 인터페이스(1810)가 제공될 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따르면, 상기 제2 인터페이스(1820)에서 사용자로부터 기 설정된 제1 타입 입력이 획득되는 경우 상기 제2 이동(1842)이 수행될 수 있다. 예를 들어, 상기 제2 인터페이스(1820)에서 사용자로부터 기 설정된 제1 타입 입력인 스왑 입력이 획득되는 경우 상기 제2 이동(1842)이 수행되어 상기 제1 인터페이스(1810)가 제공될 수 있으나, 이에 한정되지 않는다.

또한, 상술한 경우 상기 제2 인터페이스(1820)에서 상기 제1 인터페이스(1810)로의 상기 제2 이동(1842)이 수행됨에 따라 상기 제2 오디오 소스 세트가 재생되다가 상기 제1 오디오 소스 세트가 재생될 수 있으며, 이는 음악 구간이 이동됨을 의미할 수 있으나, 이에 한정되지 않는다.

따라서, 상술한 인터페이스 사이의 이동은 오디오 소스 세트 사이의 이동으로 이해될 수 있으며, 인터랙션 규칙 서브 세트 사이의 이동으로도 이해될 수 있으나, 중복되는 서술은 생략하기로 한다.

도 25를 참조하면, 일 실시예에 따른 제3 이동(1843)은 상기 제1 인터페이스(1810)로부터 상기 제3 인터페이스(1830)로의 이동일 수 있다.

이 때, 일 실시예에 따르면, 상기 제1 인터페이스(1810)에서 사용자로부터 기 설정된 제2 타입 입력이 획득되는 경우 상기 제3 이동(1843)이 수행될 수 있다. 예를 들어, 상기 제1 인터페이스(1810)에서 사용자로부터 기 설정된 제2 타입 입력인 배쉬 입력이 획득되는 경우 상기 제3 이동(1843)이 수행되어 상기 제3 인터페이스(1830)가 제공될 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따르면, 상기 제3 이동(1843)은 상기 제1 인터페이스(1810)에서 사용자로부터 기 설정된 제2 타입 입력이 획득되는 경우 외에는 수행되지 않을 수 있다. 예를 들어, 상기 제1 인터페이스(1810)가 제공된 시간이 기준 시간 이상이 되거나, 상기 제1 인터페이스(1810)에서 재생되는 상기 제1 오디오 소스 세트가 종료되더라도 상기 제3 이동(1843)이 수행되지 않을 수 있다.

또한, 상술한 경우 상기 제1 인터페이스(1810)에서 상기 제3 인터페이스(1830)로의 상기 제3 이동(1843)이 수행됨에 따라 상기 제1 오디오 소스 세트가 재생되다가 상기 제3 오디오 소스 세트가 재생될 수 있으며, 이는 음악 구간이 이동됨을 의미할 수 있으나, 이에 한정되지 않는다.

따라서, 상술한 인터페이스 사이의 이동은 오디오 소스 세트 사이의 이동으로 이해될 수 있으며, 인터랙션 규칙 서브 세트 사이의 이동으로도 이해될 수 있으나, 중복되는 서술은 생략하기로 한다.

또한, 이 경우, 상기 제3 인터페이스(1830)는 사용자의 인터랙션에 의하여만 접근 가능한 인터페이스 일 수 있으며, 따라서, 상기 제3 인터페이스(1830)에서 재생되는 상기 제3 오디오 소스 세트는 사용자의 인터랙션에 의하여만 재생되는 오디오 소스 세트일 수 있다.

도 25를 참조하면, 일 실시예에 따른 제4 이동(1844)은 상기 제2 인터페이스(1820)로부터 상기 제3 인터페이스(1830)로의 이동일 수 있다.

이 때, 일 실시예에 따르면, 상기 제2 인터페이스(1820)에서 사용자로부터 기 설정된 제2 타입 입력이 획득되는 경우 상기 제4 이동(1843)이 수행될 수 있다. 예를 들어, 상기 제2 인터페이스(1820)에서 사용자로부터 기 설정된 제2 타입 입력인 배쉬 입력이 획득되는 경우 상기 제4 이동(1844)이 수행되어 상기 제3 인터페이스(1830)가 제공될 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따르면, 상기 제4 이동(1844)은 상기 제2 인터페이스(1820)에서 사용자로부터 기 설정된 제2 타입 입력이 획득되는 경우 외에는 수행되지 않을 수 있다. 예를 들어, 상기 제2 인터페이스(1820)가 제공된 시간이 기준 시간 이상이 되거나, 상기 제2 인터페이스(1820)에서 재생되는 상기 제2 오디오 소스 세트가 종료되더라도 상기 제4 이동(1844)이 수행되지 않을 수 있다.

또한, 상술한 경우 상기 제2 인터페이스(1820)에서 상기 제3 인터페이스(1830)로의 상기 제4 이동(1844)이 수행됨에 따라 상기 제2 오디오 소스 세트가 재생되다가 상기 제3 오디오 소스 세트가 재생될 수 있으며, 이는 음악 구간이 이동됨을 의미할 수 있으나, 이에 한정되지 않는다.

따라서, 상술한 인터페이스 사이의 이동은 오디오 소스 세트 사이의 이동으로 이해될 수 있으며, 인터랙션 규칙 서브 세트 사이의 이동으로도 이해될 수 있으나, 중복되는 서술은 생략하기로 한다.

또한, 이 경우, 상기 제3 인터페이스(1830)는 사용자의 인터랙션에 의하여만 접근 가능한 인터페이스 일 수 있으며, 따라서, 상기 제3 인터페이스(1830)에서 재생되는 상기 제3 오디오 소스 세트는 사용자의 인터랙션에 의하여만 재생되는 오디오 소스 세트일 수 있다.

도 25를 참조하면, 일 실시예에 따른 제5 이동(1845)은 상기 제3 인터페이스(1830)로부터 상기 제1 인터페이스(1810)로의 이동일 수 있다.

또한, 일 실시예에 따르면, 상기 제3 인터페이스(1830)가 제공된 시간이 기준 시간 이상이 되면 상기 제5 이동(1845)이 수행될 수 있다. 예를 들어, 상기 제3 인터페이스(1830)가 제공된 시간이 기준 시간인 30초를 지나면 상기 제5 이동(1845)이 수행되어 상기 제1 인터페이스(1810)가 제공될 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따르면, 상기 제3 인터페이스(1830)에서 재생되는 상기 제3 오디오 소스 세트의 종료에 따라 상기 제5 이동(1845)이 수행될 수 있다. 예를 들어, 상기 제3 인터페이스(1830)에서 재생되는 상기 제3 오디오 소스 세트의 길이가 30초인 경우 상기 제3 인터페이스(1830)에서 상기 제3 오디오 소스 세트가 재생되어 30초가 경과하여 상기 제3 오디오 소스 세트가 종료되면 상기 제5 이동(1845)이 수행되어 상기 제1 인터페이스(1810)가 제공될 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따르면, 상기 제3 인터페이스(1830)에서 사용자로부터 기 설정된 제1 타입 입력이 획득되는 경우 상기 제5 이동(1845)이 수행될 수 있다. 예를 들어, 상기 제3 인터페이스(1830)에서 사용자로부터 기 설정된 제1 타입 입력인 스왑 입력이 획득되는 경우 상기 제5 이동(1845)이 수행되어 상기 제1 인터페이스(1810)가 제공될 수 있으나, 이에 한정되지 않는다.

또한, 상술한 경우 상기 제3 인터페이스(1830)에서 상기 제1 인터페이스(1810)로의 상기 제5 이동(1845)이 수행됨에 따라 상기 제3 오디오 소스 세트가 재생되다가 상기 제1 오디오 소스 세트가 재생될 수 있으며, 이는 음악 구간이 이동됨을 의미할 수 있으나, 이에 한정되지 않는다.

따라서, 상술한 인터페이스 사이의 이동은 오디오 소스 세트 사이의 이동으로 이해될 수 있으며, 인터랙션 규칙 서브 세트 사이의 이동으로도 이해될 수 있으나, 중복되는 서술은 생략하기로 한다.

도 25를 참조하면, 일 실시예에 따른 제6 이동(1846)은 상기 제3 인터페이스(1830)로부터 상기 제2 인터페이스(1820)로의 이동일 수 있다.

또한, 일 실시예에 따르면, 상기 제3 인터페이스(1830)가 제공된 시간이 기준 시간 이상이 되면 상기 제6 이동(1846)이 수행될 수 있다. 예를 들어, 상기 제3 인터페이스(1830)가 제공된 시간이 기준 시간인 30초를 지나면 상기 제6 이동(1846)이 수행되어 상기 제2 인터페이스(1820)가 제공될 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따르면, 상기 제3 인터페이스(1830)에서 재생되는 상기 제3 오디오 소스 세트의 종료에 따라 상기 제6 이동(1846)이 수행될 수 있다. 예를 들어, 상기 제3 인터페이스(1830)에서 재생되는 상기 제3 오디오 소스 세트의 길이가 30초인 경우 상기 제3 인터페이스(1830)에서 상기 제3 오디오 소스 세트가 재생되어 30초가 경과하여 상기 제3 오디오 소스 세트가 종료되면 상기 제6 이동(1846)이 수해오디어 상기 제2 인터페이스(1820)가 제공될 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따르면, 상기 제3 인터페이스(1830)에서 사용자로부터 기설 정된 제1 타입 입력이 획득되는 경우 상기 제6 이동(1846)이 수행될 수 있다. 예를 들어, 상기 제3 인터페이스(1830)에서 사용자로부터 기 설정된 제1 타입 입력인 스왑 입력이 획득되는 경우 상기 제6 이동(1846)이 수행되어 상기 제2 인터페이스(1820)가 제공될 수 있으나, 이에 한정되지 않는다.

또한, 상술한 경우 상기 제3 인터페이스(1830)에서 상기 제2 인터페이스(1820)로의 상기 제6 이동(1846)이 수행됨에 따라 상기 제3 오디오 소스 세트가 재생되다가 상기 제2 오디오 소스 세트가 재생될 수 있으며, 이는 음악 구간이 이동됨을 의미할 수 있으나, 이에 한정되지 않는다.

따라서, 상술한 인터페이스 사이의 이동은 오디오 소스 세트 사이의 이동으로 이해될 수 있으며, 인터랙션 규칙 서브 세트 사이의 이동으로도 이해될 수 있으나, 중복되는 서술은 생략하기로 한다.

또한, 상술한 제1 내지 제6 이동(1841 내지 1846)을 구현하기 위한 인터랙션 규칙은 예시적으로 상술한 내용들 외에도 적용될 수 있다.

또한, 상기 제1 타입 입력과 상기 제2 타입 입력은 서로 상이할 수 있다.

예를 들어, 상기 제1 타입 입력은 스왑 입력일 수 있으며, 상기 제2 타입 입력은 배쉬 입력일 수 있으나, 이에 한정되지 않는다.

또한, 예를 들어, 상기 제2 타입 입력의 입력 횟수, 입력 기간의 길이, 입력 포인트의 개수, 입력 면적 또는 입력 속도는 상기 제1 타입 입력의 입력 횟수보다 크거나, 입력 기간의 길이보다 길거나, 입력 포인트의 개수 보다 많거나 입력 면적보다 크거나 입력 속도 보다 빠를 수 있으나, 이에 한정되지 않는다.

또한, 상술한 제1 내지 제3 오디오 소스 세트는 하나의 음악의 일 부분일 수 있으며, 이 경우 상기 제3 오디오 소스 세트는 음악의 하이라이트 부분일 수 있으나, 이에 한정되지 않는다.

또한, 음악의 하이라이트 부분은 음악의 주파수 분석, 에너지 분석, 오디오 소스를 구성하는 악기 사운드의 분석, 보컬 사운드의 분석, 음악의 분위기 분석, 음악의 시간정보 분석 등을 기초로 추출될 수 있으나, 이에 한정되지 않으며, 통상의 기술자가 이해할 수 있는 하이라이트 부분으로 이해될 수 있다.

또한, 상술한 인터페이스를 이용하여 오디오 소스를 재생하는 경우 기존의 시계열적인 오디오 소스의 재생 방법에서 탈피하여 시계열적 / 비시계열 적으로 오디오 소스의 구조를 넘나드는 재생이 가능하고, 사용자의 인터랙션을 통하여만 접근 가능한 인터페이스 및 재생 가능한 오디오 소스를 구비하여 사용자의 인터랙셕을 활용하여 더욱 다양한 오디오 소스 재생이 가능하도록 할 수 있다.

도 26은 일 실시예에 따른 실감형 오디오 소스 재생 방법을 설명하기 위한 흐름도이다.

도 26을 설명하기에 앞서, 도 26을 기초로 설명하는 일 실시예에 따른 실감형 오디오 소스 재생 방법은 상술한 인터페이스 중 적어도 하나의 인터페이스를 이용하여 구현될 수 있으나, 이에 한정되지 않으며, 상술한 예시들에는 포함되지 않으나, 일 실시예에 따른 실감형 오디오 소스 재생 방법을 구현하기 위한 인터페이스를 이용하여 구현될 수 있음을 명확히 한다.

또한, 일 실시예에 따른 실감형 오디오 소스 재생 방법은 적어도 하나의 프로세서에서 수행될 수 있으며, 설명의 편의를 위해 흐름도를 기초로 설명하나 흐름도에 기재된 순서와는 무관하게 수행될 수 있다.

도 26을 참조하면, 일 실시예에 따른 실감형 오디오 소스 재생 방법은 제1 오디오 소스 세트, 제2 오디오 소스 세트 및 제3 오디오 소스 세트를 비선형적으로 재생하기 위한 적어도 하나의 오브젝트를 디스플레이 하는 단계(S1910) 및 상기 제1 오디오 소스 세트, 상기 제2 오디오 소스 세트, 상기 제3 오디오 소스 세트 중 적어도 하나의 오디오 소스 세트를 재생하는 단계(S1920)를 포함할 수 있다.

이 때, 일 실시예에 따른 실감형 오디오 소스 재생 방법은 사용자와의 인터랙션을 기초로 음악의 제1 구간에 대응되는 제1 오디오 소스 세트, 음악의 제2 구간에 대응되는 제2 오디오 소스 세트, 음악의 제3 구간에 대응되는 제3 오디오 소스 세트를 비선형적으로 재생하기 위한 실감형 오디오 소스 재생 방법일 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1, 제2 및 제3 오디오 소스 세트에 관하여는 상술한 오디오 소스 및 오디오 소스 세트에 관한 내용들이 적용되므로 중복되는 서술은 생략하기로 한다.

또한, 일 실시예에 따르면, 사용자의 인터랙션을 기초로 제1, 제2 및 제3 오디오 소스 세트를 비선형적으로 재생하기 위하여, 상기 제1 오디오 소스 세트가 재생될 때 상기 적어도 하나의 오브젝트에 대한 제1 입력이 획득되는 경우 상기 제1 오디오 소스 세트의 종료 여부와 무관하게 상기 제2 오디오 소스 세트를 재생하며, 상기 제1 오디오 소스 세트가 재생될 때 상기 적어도 하나의 오브젝트에 대한 제2 입력이 획득되는 경우 상기 제1 오디오 소스 세트의 종료 여부와 무관하게 상기 제3 오디오 소스 세트를 재생하되, 상기 제2 오디오 소스 세트는 상기 제1 및 제3 오디오 소스 세트 중 적어도 하나의 오디오 소스 세트가 종료됨에 따라 재생되나, 상기 제3 오디오 소스 세트는 상기 제1 및 제2 오디오 소스 세트의 종료에 따라 재생되지 않도록 설정될 수 있다.

또한, 일 실시예에 따르면, 사용자의 인터랙션을 기초로 제1, 제2 및 제3 오디오 소스 세트를 비선형적으로 재생하기 위하여, 상기 제2 오디오 소스 세트는 상기 제1 및 제3 오디오 소스 세트 중 적어도 하나의 오디오 소스 세트의 종료에 따라 재생되되, 상기 제3 오디오 소스 세트는 상기 제1 또는 제2 오디오 소스 세트 재생 중 상기 적어도 하나의 오브젝트에 대한 입력이 획득되는 경우 상기 제1 또는 제2 오디오 소스 세트의 종료와 무관하게 재생되도록 설정되며, 상기 제1 또는 제2 오디오 소스 세트의 재생 중 상기 적어도 하나의 오브젝트에 대한 입력이 없는 경우 재생되지 않도록 설정될 수 있다.

또한, 일 실시예에 따르면, 동일한 볼륨 레벨에서 상기 제3 오디오 소스 세트의 평균 에너지는 상기 제2 오디오 소스 세트의 평균 에너지보다 클 수 있다.

또한, 일 실시예에 따르면, 사용자의 인터랙션을 기초로 제1, 제2 및 제3 오디오 소스 세트를 비선형적으로 재생하기 위하여, 상기 제1 오디오 소스 세트가 재생될 때 상기 적어도 하나의 오브젝트에 대한 제1 입력이 획득되는 경우 상기 제1 오디오 소스 세트의 종료 여부와 무관하게 상기 제2 오디오 소스 세트를 재생하며, 상기 제1 오디오 소스 세트가 재생될 때 상기 적어도 하나의 오브젝트에 대한 제2 입력이 획득되는 경우 상기 제1 오디오 소스 세트의 종료 여부와 무관하게 상기 제3 오디오 소스 세트를 재생하되, 동일한 볼륨에서 상기 제3 오디오 소스 세트의 평균 에너지는 상기 제2 오디오 소스 세트의 평균 에너지 보다 크며 상기 제2 입력의 입력횟수 또는 입력 기간의 길이는 상기 제1 입력의 입력 횟수 보다 크거나 상기 제1 입력의 입력 기간의 길이 보다 길 수 있다.

또한, 일 실시예에 따르면, 상기 제1 오디오 소스 세트는 음악의 제1 부분에 대응되며, 상기 제2 오디오 소스 세트는 상기 음악의 제2 부분에 대응되고, 상기 제3 오디오 소스 세트는 상기 음악의 제3 부분에 대응될 수 있다.

또한, 일 실시예에 따르면, 상기 제2 입력의 입력 횟수 또는 입력 기간의 길이는 상기 제1 입력의 입력 횟수 보다 크거나 상기 제1 입력의 입력 기간의 길이 보다 길 수 있다.

상술한 본 발명의 일 실시예에 따른 실감형 오디오 소스 재생 방법에 따르면, 하나 혹은 여러개의 음악을 구성하는 오디오 소스 세트 사이의 이동을 경험하게 하여 사용자에게 기존 음악의 시간적 한계성을 뛰어넘는 보다 다채로운 음악적 경험을 만들어 줄 수 있으며, 한정된 시간 내에서 재생되는 기존 음악의 고정관념을 탈피하여 시간적으로 다양하게 확장되는 새로운 음악적 경험을 제공할 수 있다.

도 27은 일 실시예에 따른 실감형 오디오 소스 재생 방법을 설명하기 위한 흐름도이다.

도 27을 설명하기에 앞서, 도 27을 기초로 설명하는 일 실시예에 따른 실감형 오디오 소스 재생 방법은 상술한 인터페이스 중 적어도 하나의 인터페이스를 이용하여 구현될 수 있으나, 이에 한정되지 않으며, 상술한 예시들에는 포함되지 않으나, 일 실시예에 따른 실감형 오디오 소스 재생 방법을 구현하기 위한 인터페이스를 이용하여 구현될 수 있음을 명확히 한다.

또한, 일 실시예에 따른 실감형 오디오 소스 재생 방법은 적어도 하나의 프로세서에서 수행될 수 있으며, 설명의 편의를 위해 흐름도를 기초로 설명하나 흐름도에 기재된 순서와는 무관하게 수행될 수 있다.

도 27을 참조하면, 일 실시예에 따른 실감형 오디오 소스 재생 방법은 제1 오디오 소스 세트를 재생하며 제1 오브젝트를 디스플레이 하는 단계(S2010), 상기 제1 오디오 소스 세트가 재생될 때 상기 제1 오브젝트에 대한 제1 타입 입력이 획득되는 경우 상기 제1 타입 입력에 응답하여 상기 제1 오디오 소스 세트의 음악적 효과를 변경하는 단계(S2020), 상기 제1 오디오 소스 세트가 재생될 때 상기 제1 오브젝트에 대한 제2 타입 입력이 획득되는 경우 상기 제2 타입 입력에 응답하여 제2 오브젝트를 디스플레이하고, 상기 제1 오디오 소스 세트와 상이한 제2 오디오 소스 세트를 재생하는 단계(S2030), 상기 제2 오디오 소스 세트가 재생될 때 상기 제2 오브젝트에 대한 상기 제1 타입 입력이 획득되는 경우 상기 제1 타입 입력에 응답하여 상기 제2 오디오 소스 세트의 음악적 효과를 변경하는 단계(S2040), 상기 제2 오디오 소스 세트가 재생될 때 상기 제2 오브젝트에 대한 제3 타입 입력이 획득되는 경우, 상기 제3 타입 입력에 응답하여 제3 오브젝트를 디스플레이하고, 제3 오디오 소스 세트를 재생하는 단계(S2050) 및 상기 제3 오디오 소스 세트가 재생될 때 상기 제3 오브젝트에 대한 상기 제1 타입 입력이 획득되는 경우, 상기 제1 타입 입력에 응답하여 제3 오디오 소스 세트의 음악적 효과를 변경하는 단계(S2060)를 포함할 수 있다.

이 때, 일 실시예에 따른 실감형 오디오 소스 재생 방법은 사용자와의 인터랙션을 기초로 음악의 제1 구간에 대응되는 제1 오디오 소스 세트, 음악의 제2 구간에 대응되는 제2 오디오 소스 세트, 음악의 제3 구간에 대응되는 제3 오디오 소스 세트를 비선형적으로 재생하기 위한 실감형 오디오 소스 재생 방법일 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1, 제2 및 제3 오디오 소스 세트에 관하여는 상술한 오디오 소스 및 오디오 소스 세트에 관한 내용들이 적용되므로 중복되는 서술은 생략하기로 한다.

또한, 일 실시예에 따르면, 상기 제3 오디오 소스 세트가 재생될 때 상기 제3 오브젝트에 대한 상기 제2 타입 입력이 획득되는 경우, 상기 제2 타입 입력에 응답하여 상기 제1 오디오 소스 세트 및 상기 제2 오디오 소스 세트 중 어느 하나의 오디오 소스 세트를 재생하는 단계를 더 포함할 수 있다.

또한, 일 실시예에 따르면, 상기 제3 오디오 소스 세트가 재생될 때 상기 제3 오브젝트에 대한 상기 제2 타입 입력이 획득되는 경우, 상기 제2 타입 입력에 응답하여 상기 제1 오디오 소스 세트 및 상기 제2 오디오 소스 세트 중 어느 하나의 오디오 소스 세트를 재생하는 단계를 더 포함할 수 있다.

또한, 일 실시예에 따르면, 상기 제1 오디오 소스 세트가 재생될 때 상기 제1 오브젝트에 대한 상기 제3 타입 입력이 획득되는 경우 상기 제3 타입 입력에 응답하여 상기 제3 오브젝트를 디스플레이하고 상기 제3 오디오 소스 세트를 재생하는 단계를 더 포함할 수 있다.

또한, 일 실시예에 따르면, 상기 제1 오브젝트, 상기 제2 오브젝트 및 상기 제3 오브젝트는 모양이 상이할 수 있다.

또한, 일 실시예에 따르면, 상기 제3 오디오 소스 세트에 포함되는 악기 사운드의 종류는 상기 제2 오디오 소스 세트에 포함되는 악기 사운드의 종류 보다 많으며, 상기 제3 오브젝트의 변의 개수는 상기 제2 오브젝트의 변의 개수 보다 많을 수 있다.

상술한 본 발명의 일 실시예에 따른 실감형 오디오 소스 재생 방법에 따르면, 하나 혹은 여러개의 음악을 구성하는 오디오 소스 세트 사이의 이동을 경험하게 하여 사용자에게 기존 음악의 시간적 한계성을 뛰어넘는 보다 다채로운 음악적 경험을 만들어 줄 수 있으며, 한정된 시간 내에서 재생되는 기존 음악의 고정관념을 탈피하여 시간적으로 다양하게 확장되는 새로운 음악적 경험을 제공할 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (14)

1. 하나 이상의 프로세서에서 수행되는 사용자와의 인터랙션을 기초로 제1 오디오 소스 세트, 제2 오디오 소스 세트 및 제3 오디오 소스 세트를 선택적으로 재생하기 위한 오디오 소스 재생 방법으로서,
   적어도 하나의 오브젝트를 디스플레이 하는 단계; 및
   상기 제1 오디오 소스 세트, 상기 제2 오디오 소스 세트 및 상기 제3 오디오 소스 세트 중 적어도 하나의 오디오 소스 세트를 선택적으로 재생하는 단계;를 포함하되,
   상기 제1 오디오 소스 세트가 재생될 때 상기 적어도 하나의 오브젝트에 대한 제1 입력이 획득되는 경우 상기 제1 오디오 소스 세트의 종료 여부와 무관하게 상기 제2 오디오 소스 세트를 재생하며,
   상기 제1 오디오 소스 세트가 재생될 때 상기 적어도 하나의 오브젝트에 대한 제2 입력이 획득되는 경우 상기 제1 오디오 소스 세트의 종료 여부와 무관하게 상기 제3 오디오 소스 세트를 재생하되,
   상기 제2 오디오 소스 세트는 상기 제1 및 제3 오디오 소스 세트 중 적어도 하나의 오디오 소스 세트가 종료됨에 따라 재생되나, 상기 제3 오디오 소스 세트는 상기 제1 및 제2 오디오 소스 세트의 종료에 따라 재생되지 않도록 설정되는
   오디오 소스 재생 방법.
   
2. 제1 항에 있어서,
   상기 제1 오디오 소스 세트는 음악의 제1 부분에 대응되며, 상기 제2 오디오 소스 세트는 상기 음악의 제2 부분에 대응되고, 상기 제3 오디오 소스 세트는 상기 음악의 제3 부분에 대응되는
   오디오 소스 재생 방법.
   
3. 제2 항에 있어서,
   상기 제3 오디오 소스 세트는 상기 음악의 하이라이트 부분에 대응되는
   오디오 소스 재생 방법.
   
4. 제1 항에 있어서,
   상기 제2 입력의 입력 횟수 또는 입력 기간의 길이는 상기 제1 입력의 입력 횟수 보다 크거나 상기 제1 입력의 입력 기간의 길이 보다 긴
   오디오 소스 재생 방법.
   
5. 제1 항에 있어서,
   동일한 볼륨 레벨에서 상기 제3 오디오 소스 세트의 평균 에너지는 상기 제2 오디오 소스 세트의 평균 에너지보다 큰
   오디오 소스 재생 방법.
   
6. 제1 항에 있어서,
   상기 적어도 하나의 오브젝트는 복수개의 오브젝트를 포함하며,
   상기 제1 입력과 관련된 오브젝트와 상기 제2 입력과 관련된 오브젝트는 서로 상이한
   오디오 소스 재생 방법.
   
7. 하나 이상의 프로세서에서 수행되는 사용자와의 인터랙션을 기초로 제1 오디오 소스 세트, 제2 오디오 소스 세트 및 제3 오디오 소스 세트를 선택적으로 재생하기 위한 오디오 소스 재생 방법으로서,
   적어도 하나의 오브젝트를 디스플레이 하는 단계; 및
   상기 제1 오디오 소스 세트, 상기 제2 오디오 소스 세트 및 상기 제3 오디오 소스 세트 중 적어도 하나의 오디오 소스 세트를 선택적으로 재생하는 단계;를 포함하되,
   상기 제2 오디오 소스 세트는 상기 제1 및 제3 오디오 소스 세트 중 적어도 하나의 오디오 소스 세트의 종료에 따라 재생되되,
   상기 제3 오디오 소스 세트는 상기 제1 또는 제2 오디오 소스 세트 재생 중 상기 적어도 하나의 오브젝트에 대한 입력이 획득되는 경우 상기 제1 또는 상기 제2 오디오 소스 세트의 종료와 무관하게 재생되도록 설정되며, 상기 제1 또는 제2 오디오 소스 세트의 재생 중 상기 적어도 하나의 오브젝트에 대한 입력이 없는 경우 재생되지 않도록 설정되는
   오디오 소스 재생 방법.
   
8. 하나 이상의 프로세서에서 수행되는 사용자와의 인터랙션을 기초로 제1 오디오 소스 세트, 제2 오디오 소스 세트 및 제3 오디오 소스 세트를 선택적으로 재생하기 위한 오디오 소스 재생 방법으로서,
   적어도 하나의 오브젝트를 디스플레이 하는 단계; 및
   상기 제1 오디오 소스 세트, 상기 제2 오디오 소스 세트 및 상기 제3 오디오 소스 세트 중 적어도 하나의 오디오 소스 세트를 선택적으로 재생하는 단계;를 포함하되,
   상기 제1 오디오 소스 세트가 재생될 때 상기 적어도 하나의 오브젝트에 대한 제1 입력이 획득되는 경우 상기 제1 오디오 소스 세트의 종료 여부와 무관하게 상기 제2 오디오 소스 세트를 재생하며,
   상기 제1 오디오 소스 세트가 재생될 때 상기 적어도 하나의 오브젝트에 대한 제2 입력에 획득되는 경우 상기 제1 오디오 소스 세트의 종료 여부와 무관하게 상기 제3 오디오 소스 세트를 재생 하되,
   동일한 볼륨에서 상기 제3 오디오 소스 세트의 평균 에너지는 상기 제2 오디오 소스 세트의 평균 에너지보다 크며,
   상기 제2 입력의 입력 횟수 또는 입력 기간의 길이는 상기 제1 입력의 입력 횟수 보다 크거나 상기 제1 입력의 입력 기간의 길이 보다 긴
   오디오 소스 재생 방법.
   
9. 하나 이상의 프로세서에서 수행되는 사용자와의 인터랙션을 기초로 제1 오디오 소스 세트, 제2 오디오 소스 세트 및 제3 오디오 소스 세트를 선택적으로 재생하기 위한 오디오 소스 재생 방법으로서,
   제1 오디오 소스 세트를 재생하며 제1 오브젝트를 디스플레이 하는 단계;
   상기 제1 오디오 소스 세트가 재생될 때 상기 제1 오브젝트와 관련된 제1 타입 입력이 획득되는 경우 상기 제1 타입 입력에 응답하여 상기 제1 오디오 소스 세트를 조절하는 단계;
   상기 제1 오디오 소스 세트가 재생될 때 상기 제1 오브젝트에 대한 제2 타입 입력이 획득되는 경우 상기 제2 타입 입력에 응답하여 제2 오브젝트를 디스플레이 하고, 상기 제1 오디오 소스 세트와 상이한 제2 오디오 소스 세트를 재생하는 단계;
   상기 제2 오디오 소스 세트가 재생될 때 상기 제2 오브젝트에 대한 상기 제1 타입 입력이 획득되는 경우 상기 제1 타입 입력에 응답하여 상기 제2 오디오 소스 세트를 조절하는 단계;
   상기 제2 오디오 소스 세트가 재생될 때 상기 제2 오브젝트에 대한 제3 타입 입력이 획득되는 경우, 상기 제3 타입 입력에 응답하여 제3 오브젝트를 디스플레이하고, 제3 오디오 소스 세트를 재생하는 단계; 및
   상기 제3 오디오 소스 세트가 재생될 때 상기 제3 오브젝트에 대한 상기 제1 타입 입력이 획득되는 경우 상기 제1 타입 입력에 응답하여 제3 오디오 소스를 조절하는 단계; 를 포함하는
   오디오 소스 재생 방법.
   
10. 제9 항에 있어서,
    상기 제3 오디오 소스 세트가 재생될 때 상기 제3 오브젝트에 대한 상기 제2 타입 입력이 획득되는 경우, 상기 제2 타입 입력에 응답하여 상기 제1 오디오 소스 세트 및 상기 제2 오디오 소스 세트 중 어느 하나의 오디오 소스 세트를 재생하는 단계를 더 포함하는
    오디오 소스 재생 방법.
    
11. 제9 항에 있어서,
    상기 제1 오디오 소스 세트가 재생될 때 상기 제1 오브젝트에 대한 상기 제3 타입 입력이 획득되는 경우 상기 제3 타입 입력에 응답하여 상기 제3 오브젝트를 디스플레이하고 상기 제3 오디오 소스 세트를 재생하는 단계를 더 포함하는
    오디오 소스 재생 방법.
    
12. 제9 항에 있어서,
    상기 제1 오브젝트, 상기 제2 오브젝트 및 상기 제3 오브젝트는 모양이 상이한
    오디오 소스 재생 방법.
    
13. 제9 항에 있어서,
    상기 제3 오디오 소스 세트에 포함되는 악기 사운드의 종류는 상기 제2 오디오 소스 세트에 포함되는 악기 사운드의 종류 보다 많으며,
    상기 제3 오브젝트의 변의 개수는 상기 제2 오브젝트의 변의 개수 보다 많은
    오디오 소스 재생 방법.
    
14. 제1 항 내지 제13 항 중 어느 하나의 항에 따른 방법을 수행하기 위한 프로그램이 기록된 기록매체.

Images