KR20220139819A - 사용자 입력에 기반하여 사운드를 제공하는 전자 장치 및 그 동작 방법 - Google Patents

사용자 입력에 기반하여 사운드를 제공하는 전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20220139819A
KR20220139819A KR1020220043587A KR20220043587A KR20220139819A KR 20220139819 A KR20220139819 A KR 20220139819A KR 1020220043587 A KR1020220043587 A KR 1020220043587A KR 20220043587 A KR20220043587 A KR 20220043587A KR 20220139819 A KR20220139819 A KR 20220139819A
Authority
KR
South Korea
Prior art keywords
audio source
graphic object
user input
electronic device
sound
Prior art date
Application number
KR1020220043587A
Other languages
English (en)
Inventor
이성욱
김경태
강정우
Original Assignee
주식회사 버시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 버시스 filed Critical 주식회사 버시스
Publication of KR20220139819A publication Critical patent/KR20220139819A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0091—Means for obtaining special acoustic effects
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

다양한 실시예들에 따르면, 사용자와의 인터랙션을 기초로 한 음악 파일 재생 방법으로서, 적어도 하나의 오브젝트를 포함하는 실행 화면을 표시하면서, 적어도 하나의 오디오 소스에 기반하여 제1 사운드를 출력하는 동작; 상기 적어도 하나의 그래픽 오브젝트 중 특정 그래픽 오브젝트에 대한 제1 사용자 입력을 수신하는 동작; 상기 특정 그래픽 오브젝트의 시각적 속성을 변경하는 동작; 및 상기 특정 그래픽 오브젝트 및 상기 제1 사용자 입력에 대응하는 스킴에 기반하여 상기 적어도 하나의 오디오 소스를 제어한 것에 기반하여, 상기 제1 사운드와는 다른 사운드를 출력하는 동작;을 포함하는, 재생 방법이 제공될 수 있다.

Description

사용자 입력에 기반하여 사운드를 제공하는 전자 장치 및 그 동작 방법{ELECTRONIC DEVICE PROVIDING SOUND BASED ON USER INPUT AND OPERATION METHOD FOR THE SAME}
본 개시는, 사용자 입력에 기반하여 사운드를 제공하는 전자 장치 및 그 동작 방법에 관한 것이다.
저장매체를 이용하여 음악을 기록하고 감상하기 시작한 이래로 음악은 수동적/피동적 감상의 대상이 되었으며, 능동적이고, 주도적으로 음악에 참여하는 것은 음악적 전문가의 영역으로 치부되어왔다.
또한, 초창기 저장매체로 이용되었던 레코드 판의 물리적 한계로 인해 통념적인 음악의 길이가 정해졌으며, 레코드 판의 물리적 한계를 벗어난 디지털 음악의 시대에서도 통념적인 음악의 길이는 대중적인 음악의 길이로 자리매김하게 되었다.
결국, 현대 사회를 살아가는 대다수 음악의 수요자들은 한정된 시간적 길이 내에서 주어진 음악의 수동적/피동적 감상이라는 한정된 역할에 머무를 수 밖에 없게 되어 원하는 시간 만큼 능동적이고 주도적으로 음악에 참여하는 음악 본연의 즐거움 중 하나를 잃게 되었다.
따라서, 음악의 수요자들에게 음악 본연의 즐거움을 되돌려 놓기 위해서는 음악에 대한 참여의 장벽을 낮추고, 한정된 오디오 소스를 이용하되 통념적인 음악의 길이를 탈피하도록 치밀하게 설계된 오디오 소스 재생 방법과 이를 이용한 음악 어플리케이션이 필요할 수 있다.
다양한 실시예들에 따른, 일 과제는 사용자에게 자연스러운 음악적 생동감을 부여하기 위한 실감형 오디오 소스 재생 방법을 제공하는 것이다.
다양한 실시예들에 따른, 일 과제는 사용자와의 인터랙션을 기초로 음악에 생동감을 부여하기 위한 실감형 오디오 소스 재생 방법을 제공하는 것이다.
다양한 실시예들에 따른, 일 과제는 사용자에게 다양한 음악적 경험을 제공하기 위한 실감형 오디오 소스 재생 방법을 제공하는 것이다.
다양한 실시예들에 따른, 일 과제는 사용자에게 주도적이고 다양한 음악적 경험을 제공하기 위한 실감형 오디오 소스 재생 방법을 제공하는 것이다.
다양한 실시예들에 따른, 일 과제는 오디오 소스 세트를 비선형적으로 재생하기 위한 오디오 소스 재생 방법을 제공하는 것이다.
본 발명의 해결하고자 하는 과제들이 상술한 해결 과제들로 제한되는 것은 아니며, 언급되지 아니한 해결 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
다양한 실시예들에 따르면, 사용자와의 인터랙션을 기초로 한 음악 파일 재생 방법으로서, 적어도 하나의 오브젝트를 포함하는 실행 화면을 표시하면서, 적어도 하나의 오디오 소스에 기반하여 제1 사운드를 출력하는 동작; 상기 적어도 하나의 그래픽 오브젝트 중 특정 그래픽 오브젝트에 대한 제1 사용자 입력을 수신하는 동작; 상기 특정 그래픽 오브젝트의 시각적 속성을 변경하는 동작; 및 상기 특정 그래픽 오브젝트 및 상기 제1 사용자 입력에 대응하는 스킴에 기반하여 상기 적어도 하나의 오디오 소스를 제어한 것에 기반하여, 상기 제1 사운드와는 다른 사운드를 출력하는 동작;을 포함하는, 재생 방법이 제공될 수 있다.
다양한 실시예들에 따르면, 비-일시적 매체에 저장되는 전자 장치에 의해 실행 가능한 코드로서, 상기 코드가 실행되는 경우 상기 전자 장치가: 적어도 하나의 오브젝트를 포함하는 실행 화면을 표시하면서, 적어도 하나의 오디오 소스에 기반하여 제1 사운드를 출력하는 동작; 상기 적어도 하나의 그래픽 오브젝트 중 특정 그래픽 오브젝트에 대한 제1 사용자 입력을 수신하는 동작; 상기 특정 그래픽 오브젝트의 시각적 속성을 변경하는 동작; 및 상기 특정 그래픽 오브젝트 및 상기 제1 사용자 입력에 대응하는 스킴에 기반하여 상기 적어도 하나의 오디오 소스를 제어한 것에 기반하여, 상기 제1 사운드와는 다른 사운드를 출력하는 동작;을 수행하도록 설정된, 실행 가능한 코드가 제공될 수 있다.
과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
다양한 실시예들에 따르면, 사용자와의 인터랙션을 기초로 사용자에게 한정된 시공간 내에서 자연스러운 음악적 변화를 유도하고, 자유로운 음악적 변화를 허용하여 생동감을 부여하기 위한 실감형 오디오 소스 재생 방법이 제공될 수 있다.
다양한 실시예들에 따르면, 사용자와의 인터랙션을 기초로 오디오 소스에 대한 선택적 변화를 부여하여 사용자에게 주도적 음악적 경험을 만들어 주되, 오디오 소스에 대한 비선택적 변화를 부여하여 사용자에게 다양한 음악적 경험을 만들어주기 위한 실감형 오디오 소스 재생 방법이 제공될 수 있다.
다양한 실시예들에 따르면, 사용자와의 인터랙션을 기초로 오디오 소스에 대한 지속적 변화 가능성을 부여하여 사용자에게 주도적 음악적 경험을 만들어주되, 오디오 소스에 대한 임의적 변화 가능성을 부여하여 사용자에게 다양한 음악적 경험을 만들어주기 위한 실감형 오디오 소스 재생 방법이 제공될 수 있다.
다양한 실시예들에 따르면, 사용자와의 인터랙션을 기초로 적어도 하나의 오디오 소스 세트를 비선형적으로 재생하기 위한 오디오 소스 재생 방법이 제공될 수 있다.
본 발명의 효과들이 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 종래의 오디오 소스 재생 시스템을 설명하기 위한 도면이다.
도 2는 다양한 실시예들에 따른 뉴 디지털 싱글 파일의 일 예를 설명하기 위한 도면이다.
도 3은 다양한 실시예들에 따른 오디오 소스의 생성 과정을 설명하기 위한 도면이다.
도 4는 다양한 실시예들에 따른 뉴 디지털 싱글 파일의 스테이지 및 타임 라인(또는 재생 구간)의 예를 설명하기 위한 도면이다.
도 5는 다양한 실시예들에 따른 뉴 디지털 싱글 파일의 스테이지의 예를 설명하기 위한 도면이다.
도 6은 다양한 실시예들에 따른 뉴 디지털 싱글 파일을 구현하고 이용하는 시스템을 설명하기 위한 도면이다.
도 7a는 다양한 실시예들에 따른 뉴 디지털 싱글 파일의 이용에 따른 파일의 저장에 대해 설명하기 위한 도면이다.
도 7b는 일 실시예에 따른 뉴 디지털 싱글 파일의 배포의 예에 대해 설명하기 위한 도면이다.
도 8은 다양한 실시예들에 따른 전자 장치의 동작을 설명하기 위한 흐름도이다.
도 9a는 다양한 실시예들에 따른 전자 장치의 실행 화면을 표시하는 동작의 예를 설명하기 위한 도면이다.
도 9b는 다양한 실시예들에 따른 전자 장치의 음악적 단위에 기반하여, 실행 화면 내의 그래픽 오브젝트의 시각적 속성을 변경하기 위한 제어 동작의 예를 설명하기 위한 도면이다.
도 10은 다양한 실시예들에 따른 전자 장치의 동작을 설명하기 위한 흐름도이다.
도 11a는 다양한 실시예들에 따른 전자 장치의 메인 그래픽 오브젝트에 대한 제1 사용자 인터랙션(예: 터치)에 기반한 제어 동작의 예를 설명하기 위한 도면이다.
도 11b는 다양한 실시예들에 따른 전자 장치의 메인 그래픽 오브젝트에 대한 제2 사용자 인터랙션(예: 드래그)에 기반한 제어 동작의 예를 설명하기 위한 도면이다.
도 11c는 다양한 실시예들에 따른 전자 장치의 서브 그래픽 오브젝트에 대한 제2 사용자 인터랙션(예: 터치)에 기반한 제어 동작의 예를 설명하기 위한 도면이다.
도 11d는 다양한 실시예들에 따른 전자 장치의 서브 그래픽 오브젝트에 대한 제2 사용자 인터랙션(예: 드래그)에 기반한 제어 동작의 예를 설명하기 위한 도면이다.
도 12는 다양한 실시예들에 따른 전자 장치의 동작을 설명하기 위한 흐름도이다.
도 13은 다양한 실시예들에 따른 전자 장치의 동작을 설명하기 위한 흐름도이다.
도 14a는 다양한 실시예들에 따른 전자 장치의 줌-인 및 줌-아웃에 기반한 오디오 소스의 속성을 변경하는 동작의 예를 설명하기 위한 도면이다.
도 14b는 다양한 실시예들에 따른 전자 장치의 움직임에 기반한 오디오 소스의 속성을 변경하는 동작의 예를 설명하기 위한 도면이다.
도 15는 다양한 실시예들에 따른 전자 장치의 동작을 설명하기 위한 흐름도이다.
도 16은 다양한 실시예들에 따른 전자 장치의 스테이지 변경에 따라서 제공되는 실행 화면과 사운드의 예를 설명하기 위한 도면이다.
도 17a는 다양한 실시예들에 따른 전자 장치의 조건 만족에 기반한 노말 스테이지 변경 동작의 예를 설명하기 위한 도면이다.
도 17b는 다양한 실시예들에 따른 전자 장치의 노말 스테이지와 데스 스테이지 간의 전환 동작의 예를 설명하기 위한 도면이다.
다양한 실시예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 다양한 실시예들에 따른 설명을 위한 목적으로 예시된 것으로, 다양한 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.
다양한 실시예들은 다양한 변경을 가할 수 있고 여러가지 형태를 가질 수 있으므로 다양한 실시예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 도면으로부터 개시되는 사항은 다양한 실시예들을 특정하거나 또는 한정하려는 것이 아니며, 다양한 실시예들의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 개시의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다양한 실시예뜰을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 개시이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 개시의 바람직한 실시 예를 설명함으로써, 본 개시를 보다 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
다양한 실시예들에 따르면, 사용자와의 인터랙션을 기초로 한 음악 파일 재생 방법으로서, 적어도 하나의 오브젝트를 포함하는 실행 화면을 표시하면서, 적어도 하나의 오디오 소스에 기반하여 제1 사운드를 출력하는 동작; 상기 적어도 하나의 그래픽 오브젝트 중 특정 그래픽 오브젝트에 대한 제1 사용자 입력을 수신하는 동작; 상기 특정 그래픽 오브젝트의 시각적 속성을 변경하는 동작; 및 상기 특정 그래픽 오브젝트 및 상기 제1 사용자 입력에 대응하는 스킴에 기반하여 상기 적어도 하나의 오디오 소스를 제어한 것에 기반하여, 상기 제1 사운드와는 다른 사운드를 출력하는 동작;을 포함하는, 재생 방법이 제공될 수 있다.
다양한 실시예들에 따르면, 제2 사용자 입력을 수신하는 동작; 상기 제2 사용자 입력의 종류를 식별하는 동작;을 더 포함하고, 상기 제2 사용자 입력의 종류가 줌-인 입력인 경우, 상기 적어도 하나의 오디오 소스의 재생 속도가 빠르게 제어되고, 상기 제2 사용자 입력의 종류가 줌-아웃 입력인 경우, 상기 적어도 하나의 오디오 소스의 재생 속도가 느리게 제어되고, 재생 방법이 제공될 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 오디오 소스의 재생 속도의 변화에 따라 제1 오디오 이펙트를 출력하는 동작;을 더 포함하는, 재생 방법이 제공될 수 있다.
다양한 실시예들에 따르면, 상기 특정 그래픽 오브제트는 메인 오브젝트이고, 상기 메인 오브젝트에 대한 상기 제1 사용자 입력과 연관된 조건의 만족 여부를 판단하는 동작;을 더 포함하고, 상기 조건은 제1 사용자 입력의 특정 시간 동안 만큼의 횟수와 연관되고, 상기 조건이 만족되는 경우, 상기 적어도 하나의 그래픽 오브젝트의 색상이 더 어두운 색상으로 제어되며, 상기 적어도 하나의 오디오 소스의 재생 속도가 느리게 제어되고, 상기 조건이 불만족되는 경우, 상기 적어도 하나의 그래픽 오브젝트의 상기 색상이 유지되며, 상기 적어도 하나의 오디오 소스의 재생 속도가 유지되는, 재생 방법이 제공될 수 있다.
다양한 실시예들에 따르면, 상기 특정 그래픽 오브제트는 주변 오브젝트이고, 상기 주변 오브젝트에 대한 상기 제1 사용자 입력과 연관된 조건의 만족 여부를 판단하는 동작;을 더 포함하고, 상기 조건은 상기 제1 사용자 입력의 움직임 궤적과 연관되고, 상기 조건이 만족되는 경우, 상기 적어도 하나의 오디오 소스와는 다른 적어도 하나의 제1 오디오 소스가 재생되고, 상기 적어도 하나의 오디오 소스는 제1 재생 구간에 대응하고, 상기 적어도 하나의 제1 오디오 소스는 상기 제1 재생 구간과는 다른 제2 재생 구간에 대응하고, 상기 조건이 불만족되는 경우, 상기 적어도 하나의 오디오 소스가 반복 재생되는, 재생 방법이 제공될 수 있다.
다양한 실시예들에 따르면, 상기 제2 사용자 입력의 종류가 상기 음악 재생 방법이 수행되는 전자 장치를 특정 모션으로 움직이는 입력인 경우, 상기 적어도 하나의 오디오 소스의 특정 구간이 반복 재생되는, 재생 방법이 제공될 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 그래픽 오브젝트는 메인 그래픽 오브젝트 및 복수의 서브 그래픽 오브젝트들을 포함하고, 상기 메인 그래픽 오브젝트의 위치가 특정 영역 내로 위치된 동안, 상기 복수의 서브 그래픽 오브젝트들을 상기 특정 영역 바깥으로 이동 시키는 동작;을 더 포함하는, 재생 방법이 제공될 수 있다.
다양한 실시예들에 따르면, 상기 특정 그래픽 오브젝트가 메인 그래픽 오브젝트인 경우, 상기 메인 그래픽 오브젝트의 시각적 속성을 변경하면서, 상기 메인 그래픽 오브젝트 및 상기 제1 사용자 입력에 대응하는 스킴에 기반하여 상기 적어도 하나의 오디오 소스를 제어한 것에 기반하여, 상기 제1 사운드와는 다른 제2 사운드를 출력하는 동작; 및 상기 특정 그래픽 오브젝트가 서브 그래픽 오브젝트인 경우, 상기 서브 그래픽 오브젝트의 시각적 속성을 변경하면서, 상기 서브 그래픽 오브젝트 및 상기 제1 사용자 입력에 대응하는 스킴에 기반하여 상기 적어도 하나의 오디오 소스를 제어한 것에 기반하여, 상기 제1 사운드와는 다른 제3 사운드를 출력하는 동작;을 더 포함하는, 재생 방법이 제공될 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 오디오 소스는 특정 재생 구간에 대응하고, 상기 스킴은 상기 특정 재생 구간에 대응하고, 제2 사용자 입력을 수신하는 동작; 상기 제2 사용자 입력의 종류를 식별하는 동작; 상기 제2 사용자 입력의 종류가 상기 적어도 하나의 그래픽 오브젝트의 위치에 수신되는 경우 식별되는 종류의 입력인 경우, 상기 특정 재생 구간에 대응하는 상기 스킴에 기반하여 상기 적어도 하나의 오디오 소스의 상기 속성을 제어하는 동작; 및 상기 제2 사용자 입력의 종류가 상기 적어도 하나의 그래픽 오브젝트의 위치에 대응하는 위치에 수신되지 않더라도 식별되는 종류의 입력인 경우, 상기 특정 재생 구간과는 무관한 스킴에 기반하여 상기 적어도 하나의 오디오 소소의 상기 속성을 제어하는 동작;을 포함하는, 재생 방법이 제공될 수 있다.
다양한 실시예들에 따르면, 비-일시적 매체에 저장되는 전자 장치에 의해 실행 가능한 코드로서, 상기 코드가 실행되는 경우 상기 전자 장치가: 적어도 하나의 오브젝트를 포함하는 실행 화면을 표시하면서, 적어도 하나의 오디오 소스에 기반하여 제1 사운드를 출력하는 동작; 상기 적어도 하나의 그래픽 오브젝트 중 특정 그래픽 오브젝트에 대한 제1 사용자 입력을 수신하는 동작; 상기 특정 그래픽 오브젝트의 시각적 속성을 변경하는 동작; 및 상기 특정 그래픽 오브젝트 및 상기 제1 사용자 입력에 대응하는 스킴에 기반하여 상기 적어도 하나의 오디오 소스를 제어한 것에 기반하여, 상기 제1 사운드와는 다른 사운드를 출력하는 동작;을 수행하도록 설정된, 실행 가능한 코드가 제공될 수 있다.
1. 뉴 디지털 싱글 파일의 개요
도 1은 종래의 오디오 소스 재생 시스템을 설명하기 위한 도면이다. 이하에서는 도 1을 참조하여 종래의 오디오 소스 재생 시스템과 비교하여, 다양한 실시예들에 따른 뉴 디지털 싱글 어플리케이션에 대해서 설명한다.
다양한 실시예들에 따른 뉴 디지털 싱글 파일은 음악을 즐기기 위한 하나의 장르를 개척하는 디지털 매체로서, 사용자 주도(led) 하에 음악을 경함 가능하도록 기능을 제공하도록 구현된(또는 설정된) 파일일 수 있다. 예를 들어, 뉴 디지털 싱글 파일은, 실행되는 경우, 사운드(예: 특정 음악의 적어도 일부)를 출력하면서 적어도 하나의 그래픽 오브젝트(graphic object)를 포함하는 실행 화면을 표시하고, 사용자 입력이 수신되는 경우 사운드의 청각적 속성(예: 주파수 스펙트럼)을 제어하고, 적어도 하나의 그래픽 오브젝트의 시각적 속성(예: 색상, 형상, 숫자)을 제어하고, 또 사운드의 타임 라인(time line)을 제어할 수 있다. 이에 따라, 뉴 디지털 싱글 파일을 이용하여 음악을 청취하는 사용자는, 음악을 능동적으로 제어하면서 경험하게 될 수 있다.
도 1을 참조하면, 종래의 오디오 소스 재생 시스템은 단순히 오디오 소스를 시계열적으로 재생하여 사운드를 출력하는 기능을 제공하도록 설정됨으로써 사용자가 단순히 수동적으로 음악을 즐길 수 있을 뿐인 데 반해, 뉴 디지털 싱글 파일은 전술한 바와 같은 기능들을 제공함으로써 사용자는 음악을 능동적으로 제어하면서 경험하게 되고, 이에 따라 사용자가 더 큰 몰입감으로 음악을 청취하도록 할 수 있다.
다양한 실시예들에 따른 뉴 디지털 싱글 파일의 예에 대해서는 더 구체적으로 설명한다.
2. 뉴 디지털 싱글 파일의 구성
도 2는 다양한 실시예들에 따른 뉴 디지털 싱글 파일(200)의 일 예를 설명하기 위한 도면이다.
도 2를 참조하면, 다양한 실시예들에 따른 뉴 디지털 싱글 파일(200)은 오디오 소스(201), 그래픽 오브젝트(202), 및 인터랙션 룰(203)을 포함할 수 있다. 한편 도 2에 도시된 바에 제한되지 않고, 뉴 디지털 싱글 파일(200)은 더 많은 구성(예: 전자적인 구성)을 포함하거나, 또는 더 적은 구성을 포함하도록 구현될 수도 있다. 또 한편, 뉴 디지털 싱글 파일(200)에 포함되는 일부 구성들은 뉴 디지털 싱글 파일(200)과는 별도로 구현될 수도 있다. 예를 들어, 뉴 디지털 싱글 파일(200)은 오디오 소스(201)를 포함하도록 구현되고, 그래픽 오브젝트(202), 및 인터랙션 룰(203)은 뉴 디지털 싱글 파일(200)과 별도로 구현될 수도 있다.
다양한 실시예들에 따르면 뉴 디지털 싱글 파일(200)은, 파일(예: 음악 파일)뿐만 아니라, 어플리케이션, 프로그램, 및/또는 컴퓨터 코드(computer code)와 같이 전자 장치에 의해 실행 가능하며 저장 가능한 형태로 구현될 수 있다. 이에 따라, 뉴 디지털 싱글 파일(200)은 구성 요소들(201, 202, 203)에 기반하여 특정 기능을 수행할 수 있다. 예를 들어, 뉴 디지털 싱글 파일(200)은 실행되는 경우 오디오 소스(201)에 기반하여 사운드를 출력하고, 그래픽 오브젝트(202)를 포함하는 실행 화면을 표시하고, 사용자 입력이 수신되는 경우 인터랙션 룰(203)에 기반하여 오디오 소스(201)의 속성을 변경하거나, 그래픽 오브젝트(202)의 속성을 변경하거나, 및/또는 타임 라인을 제어하는 기능을 제공할 수 있다. 상기 오디오 소스(201)의 속성, 그래픽 오브젝트(202)의 속성, 및/또는 타임 라인에 대해서는 구체적으로 후술한다.
이하에서는 뉴 디지털 싱글 파일(200)을 구성하는 구성 요소들의 예에 대해서 설명한다.
2.1 오디오 소스(201)
다양한 실시예들에 따르면, 오디오 소스(201)(audio source)(또는, 사운드 소스(sound source))는 사운드를 발생시키는 전자적 데이터를 의미할 수 있다. 즉, 뉴 디지털 싱글 파일(200)이 실행되는 경우, 상기 오디오 소스(201)의 재생에 따라 특정 종류의 사운드가 출력될 수 있다. 예를 들어, 오디오 소스(201)는 턴테이블을 이용하여 사운드를 출력할 수 있도록 저장된 음반, 컴퓨팅 장치와 이와 연결된 스피커를 이용하여 사운드를 출력할 수 있도록 저장된 CD 음반, 사운드 웨이브(sound wave)형식으로 저장되거나 생성된 오디오 데이터, 아날로그 신호(analog-signal) 형식으로 저장되거나 생성된 오디오 데이터, 디지털 신호(digital-signal) 형식으로 저장되거나 생성된 오디오 데이터 등에 대응될 수 있으나, 이에 한정되지 않는다. 또 예를 들어, 오디오 소스(201)는 MP3, FLAC 등처럼 오디오 압축 기술(audio compression techniques)이 적용된 데이터 형식으로 저장된 오디오 데이터에 대응될 수 있으나, 이에 한정되지 않는다.
다양한 실시예들에 따르면, 오디오 소스(201)는 적어도 1개 이상의 사운드 데이터를 포함할 수 있다.
일 실시예에서, 오디오 소스(201)는 뉴 디지털 싱글 파일(200)이 실행되는 경우 재생되는 적어도 1 개 이상의 제1 사운드 데이터를 포함할 수 있다. 상기 오디오 소스(201)가 복수 개인 경우에는, 복수의 오디오 소스들을 포함한다는 의미에서 "오디오 소스 셋트"로 명명될 수 있다. 이하에서는 설명의 편의를 위하여, 오디오 소스(201)로 기재하며, 상기 오디오 소스(201)는 하나의 오디오 소스를 포함하는 개념 뿐만 아니라, 복수의 오디오 소스들을 포함하는 오디오 소스 셋트 개념으로 이해될 수 있다. 상기 적어도 1 개 이상의 제1 사운드 데이터는 사용자의 인터랙션과는 무관하게 재생되는 사운드 데이터일 수 있다. 예를 들어, 상기 오디오 소스(201)는 서로 대응하는(또는 유사한) 시간 길이(또는 재생 길이)를 갖는 적어도 1 개 이상의 특정 스템(stem) 파일(또는 스템)을 포함할 수 있다. 상기 스템은 보컬, 악기(예: 기타, 드럼, 피아노, 심벌(cymbal), 플럭(pluck), 턴-테이블, 킥), 신스, 등과 같이 곡을 구성하는 시계열적인 음원들을 포함할 수 있다. 이에 따라, 뉴 디지털 싱글 파일(200)이 실행되는 경우 동일한 재생 시간 동안 각각의 스템 파일에 기반한 사운드가 출력됨에 따라, 혼합 사운드가 제공될 수 있다.
또 일 실시예에서, 오디오 소스(201)는 사용자 인터랙션에 기반하여 출력 되도록 설정되는 적어도 1 개 이상의 제2 사운드 데이터를 포함할 수 있다. 상기 적어도 1 개 이상의 제2 사운드 데이터의 재생 길이는 전술한 스템 파일의 재생 길이 보다 짧을 수 있다. 상기 적어도 1개 이상의 제2 사운드 데이터는 특정 종류의 사운드(예: 효과음, 특정 단어(예: "what")의 목소리, 특정 악기(예: 피아노, 드럼, 심벌 등)에 대응하는 사운드)를 출력하도록 구현된 데이터일 수 있다. 상기 제2 사운드 데이터는 오디오 소스(201)와는 별도로 구현되는 사운드 데이터일 수도 있다.
다양한 실시예들에 따르면, 오디오 소스(201)에 기반하여 다양한 종류의 음악적 단위들이 설정(또는 식별)될 수 있다. 예를 들어, 음악적 단위(musical meter)는 음악을 구분하여 설명하기 위한 단위를 의미할 수 있으며, 비트(beat), 마디(bar), 동기(Motive), 작은 악절(Phrase), 큰악절(Period) 등을 포함할 수 있다. 상기, 비트(beat)는 시간의 기본적 단위로 기준 박자의 한 박자를 의미할 수 있으며, 통상의 기술자가 이해할 수 있는 비트(beat)로 이해될 수 있다. 상기, 마디(bar)는 오디오 소스의 기준 박자수를 포함하는 음악적 단위를 의미할 수 있으며, 악보에서 세로줄로 구분되는 악곡의 최소 단위를 의미할 수 있으며, 통상의 기술자가 이해할 수 있는 마디(bar)로 이해될 수 있다. 즉, 서로 다른 오디오 소스(201)는 서로 다른 음악적 단위를 가질 수 있다.
한편, 뉴 디지털 싱글 파일의 스테이지 별로 상기 오디오 소스(201)가 서로 다름에 기인하여, 스테이지 별로 출력되는 사운드와 설정되는 음악적 단위가 다를 수 있는데, 스테이지에 대해서는 도 4를 참조하여 더 구체적으로 후술한다.
다양한 실시예들에 따르면, 상기 오디오 소스(201)의 속성은 사용자의 입력(예: 터치, 드래그)에 의해 그래픽 오브젝트(202)의 속성이 제어됨에 따라서 제어될 수 있는데, 이에 대해서는 인터랙션 룰(203)에 대한 목차에서 설명한다.
2.1.1 오디오 소스(201)의 생성
도 3은 다양한 실시예들에 따른 오디오 소스(201)의 생성 과정을 설명하기 위한 도면이다.
도 3을 참조하면, 일 실시예에 따라 오디오 소스를 획득하기 위해 적어도 하나 이상의 악기 및 보컬의 합주가 녹음된 녹음 데이터가 이용될 수 있으나, 이에 한정되지 않는다.
이 때, 상기 적어도 하나 이상의 악기는 피아노, 기타, 드럼, 베이스 등을 포함할 수 있으나, 이에 한정되지 않으며, 사운드를 발생시키기 위한 기계 및 기구를 모두 포함할 수 있다.
또한 이 때, 녹음 데이터는 피아노, 기타, 드럼, 베이스가 합주되어 녹음된 녹음데이터 일 수 있으며, 피아노, 기타, 드럼 베이스의 연주가 녹음되어 스피커 등 출력 장치를 통해 재출력된 소리가 녹음된 녹음 데이터일 수도 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따라 오디오 소스를 획득하기 위해 소스 분리(Source separation) 기법이 이용될 수 있다.
예를 들어, 상술한 합주 등을 통하여 녹음된 오디오 소스를 소스 분리 모델을 이용하여 각각의 악기에 대응되는 오디오 소스들로 분리하여 오디오 소스를 획득할 수 있으나, 이에 한정되지 않는다.
이 때, 분리된 오디오 소스들은 물리적으로 각각의 악기에 대응될 수 있으나, 이에 한정되지 않으며 의미론적으로 각각의 악기에 대응되는 것으로 보는 경우도 포함할 수 있다.
또한, 일 실시예에 따른 상기 소스 분리 모델은 머신 러닝(Machine learning) 방법으로 구현될 수 있다. 예를 들어, 상기 소스 분리 모델은 지도 학습을 통해 구현된 모델일 수 있으나, 이에 한정되지 않으며, 비지도 학습, 준지도 학습, 강화 학습 등을 통해 구현된 모델일 수 있다.
또한, 일 실시예에 따른 상기 소스 분리 모델은 인공 신경망(artificial neural network, ANN)으로 구현될 수 있다. 예를 들어, 상기 소스 분리 모델은 전방 전달 신경망(Feedforward neural network), 방사 신경망(radial basis function network) 또는 코헨 자기조직 신경망(kohonen self-organizing network) 등으로 구현될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 상기 소스 분리 모델은 심층 신경망(Deep neural network, DNN)으로 구현될 수 있다. 예를 들어, 상기 소스 분리 모델은 합성곱신경망(Convolutional neural network, CNN), 순환 인공 신경망(Recurrent neural network, RNN), LSTM(Long Short Term Memory Network) 또는 GRUs(Gated Recurrent Units) 등으로 구현될 수 있으나, 이에 한정되지 않는다.
또한, 상기 소스 분리 모델에 입력되는 데이터는 녹음하여 획득된 오디오 소스 자체일 수 있으며, 전처리 된 오디오 소스 데이터일 수 있다.
또한, 일 실시예에 따라 오디오 소스를 획득하기 위해 구조 분리 기법이 이용될 수 있다.
예를 들어, 상술한 합주 등을 통하여 녹음된 오디오 소스를 구조 분리 모델을 이용하여 적어도 둘 이상의 음악 구간으로 분리하여 오디오 소스를 획득할 수 있으나, 이에 한정되지 않는다.
이 때, 일 실시예에 따른 상기 구조 분리 모델은 머신 러닝(Machine learning) 방법으로 구현될 수 있다. 예를 들어, 상기 구조 분리 모델은 지도 학습을 통해 구현된 모델일 수 있으나, 이에 한정되지 않으며, 비지도 학습, 준지도 학습, 강화 학습 등을 통해 구현된 모델일 수 있다.
또한, 일 실시예에 따른 상기 구조 분리 모델은 인공 신경망(artificial neural network, ANN)으로 구현될 수 있다. 예를 들어, 상기 구조 분리 모델은 전방 전달 신경망(Feedforward neural network), 방사 신경망(radial basis function network) 또는 코헨 자기조직 신경망(kohonen self-organizing network) 등으로 구현될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 상기 구조 분리 모델은 심층 신경망(Deep neural network, DNN)으로 구현될 수 있다. 예를 들어, 상기 구조 분리 모델은 합성곱신경망(Convolutional neural network, CNN), 순환 인공 신경망(Recurrent neural network, RNN), LSTM(Long Short Term Memory Network) 또는 GRUs(Gated Recurrent Units) 등으로 구현될 수 있으나, 이에 한정되지 않는다.
또한, 상기 구조 분리 모델에 입력되는 데이터는 녹음하여 획득된 오디오 소스 자체일 수 있으며, 전처리 된 오디오 소스 데이터일 수 있다.
또한, 일 실시예에 따라 오디오 소스를 획득하기 위해 적어도 하나 이상의 악기 및 보컬 각각의 연주가 녹음된 녹음 데이터가 이용될 수 있으나, 이에 한정되지 않는다.
이 때, 상기 적어도 하나 이상의 악기는 피아노, 기타, 드럼, 베이스 등을 포함할 수 있으나, 이에 한정되지 않으며, 사운드를 발생시키기 위한 기계 및 기구를 모두 포함할 수 있다.
또한 이 때, 녹음 데이터는 피아노, 기타, 드럼, 베이스 각각이 연주되어 녹음된 녹음데이터 일 수 있으며, 피아노, 기타, 드럼, 베이스 각각의 연주가 녹음되어 스피커 등 출력 장치를 통해 재출력된 소리가 녹음된 녹음 데이터일 수도 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따라 오디오 소스를 획득하기 위해 적어도 하나의 오디오 소스를 생성할 수 있다.
예를 들어, 일 실시예에 따라 오디오 소스를 획득하기 위해 사운드 타입, 멜로디, 장르, 보컬 등을 기초로 적어도 하나의 오디오 소스를 생성할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따라 오디오 소스를 획득하기 위해 오디오 소스 생성 모델이 이용될 수 있다.
이 때, 일 실시예에 따른 상기 오디오 소스 생성 모델은 머신 러닝(Machine learning) 방법으로 구현될 수 있다. 예를 들어, 상기 사운드 생성 모델은 지도 학습을 통해 구현된 모델일 수 있으나, 이에 한정되지 않으며, 비지도 학습, 준지도 학습, 강화 학습 등을 통해 구현된 모델일 수 있다.
또한, 일 실시예에 따른 상기 오디오 소스 생성 모델은 인공 신경망(artificial neural network, ANN)으로 구현될 수 있다. 예를 들어, 상기 사운드 생성 모델은 전방 전달 신경망(Feedforward neural network), 방사 신경망(radial basis function network) 또는 코헨 자기조직 신경망(kohonen self-organizing network) 등으로 구현될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따른 상기 오디오 소스 생성 모델은 심층 신경망(Deep neural network, DNN)으로 구현될 수 있다. 예를 들어, 상기 사운드 생성 모델은 합성곱신경망(Convolutional neural network, CNN), 순환 인공 신경망(Recurrent neural network, RNN), LSTM(Long Short Term Memory Network) 또는 GRUs(Gated Recurrent Units) 등으로 구현될 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따라 오디오 소스를 획득하기 위해 획득된 오디오 소스에 오디오 소스 생성 모델을 적용할 수 있다.
예를 들어, 한국어로 녹음된 오디오 소스에 오디오 소스 생성 모델을 적용하여 영어로 번역된 오디오 소스를 획득할 수 있으나, 이에 한정되지 않는다.
또한, 예를 들어, 남성의 목소리로 녹음된 오디오 소스에 오디오 소스 생성 모델을 적용하여 여성의 목소리로 판단될 수 있는 오디오 소스를 획득할 수 있으나, 이에 한정되지 않는다.
다만, 상술한 예시들은 오디오 소스를 획득하기 위한 간단한 예시들일 뿐 본 발명의 실시예들은 이에 한정되지 않으며, 다양한 방법으로 오디오 소스를 획득하는 예시들을 포함할 수 있다.
2.1.2 오디오 소스(201)의 속성
다양한 실시예들에 따르면, 오디오 소스(201)는 제어(또는 조절, 또는 변경) 가능한 다양한 종류의 속성을 가질 수 있다.(또는 포함할 수 있다.) 예를 들어, 상기 오디오 소스(201)의 속성은 출력 여부, 음 높이, 종류, 크기, 재생 속도와 같이 청각적인 속성을 포함할 수 있으며, 기재된 예에 제한되지 않고 다양한 종류의 청각과 관련된 속성들을 더 포함할 수 있다. 예를 들어, 출력 여부는 오디오 소스(201)에 포함된 사운드 데이터(예: 제1 사운드 데이터, 및/또는 제2 사운드 데이터)의 출력 여부를 나타낼 수 있다. 또 예를 들어, 상기 음 높이는 오디오 소스(201)에 포함된 사운드 데이터(예: 제1 사운드 데이터, 및/또는 제2 사운드 데이터)의 음 높이를 나타내고, 크기는 사운드 데이터의 크기를 나타내고, 재생 속도는 사운드 데이터의 재생 속도를 나타낼 수 있다. 또 예를 들어, 상기 종류는 오디오 소스(201)에 포함된 사운드 데이터(예: 제1 사운드 데이터, 및/또는 제2 사운드 데이터)의 종류(예: 목소리, 기계음)를 나타낼 수 있다. 상기 오디오 소스(201)의 속성은 사용자의 인터랙션에 의해 변경될 수 있는데, 이에 대해서는 구체적으로 후술한다.
다양한 실시예들에 따르면, 상기 오디오 소스(201)의 속성에 따라서, 오디오 소스(201)에 기반하여 출력되는 사운드의 주파수 스펙트럼이 결정될 수 있다. 즉 상기 오디오 소스(201)의 속성이 변경되는 경우, 출력되는 사운드의 주파수 스펙트럼이 변경될 수 있다. 상기 주파수 스펙트럼은 사운드의 주파수 별 세기(또는 에너지)를 의미할 수 있다.
2.2. 그래픽 오브젝트(202)
다양한 실시예들에 따르면, 그래픽 오브젝트(202)는 전자 장치의 디스플레이에 표시 가능한 전자적인 데이터를 의미할 수 있다. 예를 들어 뉴 디지털 싱글 파일이 실행되는 경우, 상기 그래픽 오브젝트(202)는 실행 화면에 표시되는 그래픽 오브젝트들을 의미할 수 있다.
다양한 실시예들에 따르면, 그래픽 오브젝트(202)의 속성은 사용자의 입력(예: 터치, 드래그)에 의해 변경될 수 있다. 상기 그래픽 오브젝트(202)의 속성이 변경됨에 기반하여, 대응하는 오디오 소스(201)의 속성이 변경될 수 있는데, 이에 대해서는 인터랙션 룰(203)에 대한 목차에서 설명한다.
2.2.1 그래픽 오브젝트(202)의 종류
다양한 실시예들에 따르면, 도 2를 참조하면, 그래픽 오브젝트(202)는 메인 오브젝트(202a) 및 서브 오브젝트(202b)를 포함할 수 있다. 상기 "메인"과 "서브"라는 용어는 그래픽 오브젝트(202)의 종류를 구분하기 위한 명칭일 뿐 기재된 바에 제한되지 않고, "제1"과 "제2"와 같은 용어로 그래픽 오브젝트(202)의 종류가 구분될 수 있다. 한편 도 2에 도시된 바에 제한되지 않고, 상기 그래픽 오브젝트(202)는 디스플레이에 표시 가능한 전자적인 데이터들을 더 포함할 수 있다. 예를 들어, 상기 그래픽 오브젝트(202)는 텍스트(미도시)를 포함할 수 있다. 또 예를 들어, 상기 그래픽 오브젝트(202)는 사용자의 인터랙션에 기반하여 표시되도록 설정되는 종류의 그래픽 오브젝트(미도시)(또는 비쥬얼 이펙트)를 포함할 수 있다. 또 예를 들어, 상기 그래픽 오브젝트(202)는 후술하는 스테이지의 변경을 위한 조건의 만족 여부를 판단하기 위한 주변 오브젝트(예: 도 17a의 주변 오브젝트(1710a))를 포함할 수 있다.
예를 들어, 상기 메인 오브젝트(202a)는 실행 화면의 중심부에 표시되는 그래픽 오브젝트로 정의되며, 이에 따라 "중심 오브젝트"라는 용어로 명명될 수도 있다.
예를 들어, 상기 서브 오브젝트(202b)는 상기 메인 오브젝트(202a)와 비교하여 실행 화면의 주변부에 표시되는 그래픽 오브젝트로 정의되며, 이에 따라 "배경 오브젝트"라는 용어로 명명될 수도 있다. 이때, 상기 서브 오브젝트(202b)는 사용자의 입력과는 관계없이 연속적으로(또는 계속해서) 새로 표시(또는 생성)되거나 및/또는 시각적 속성(예: 위치)이 변경되도록 구현될 수 있다. 상기 서브 오브젝트(202b)의 생성과 시각적 속성의 변경에 따라, 마치 메인 오브젝트(202a)가 동적으로 이동되는 듯한 시각적 착시 효과가 제공될 수 있다. 이때, 상기 서브 오브젝트(202b)의 생성 빈도, 생성 위치, 이동 방향, 및/또는 이동 속도와 같은 팩터(factor)가 동적으로 제어됨에 따라서, 더 드라마틱한 시각적 효과가 제공될 수 있다.
상기 메인 오브젝트(202a) 및 상기 서브 오브젝트(202b)에 대한 설명은 구체적으로 후술한다.
2.2.2 그래픽 오브젝트(202)의 속성
다양한 실시예들에 따르면, 그래픽 오브젝트(202)는 제어(또는 조절, 또는 변경) 가능한 다양한 종류의 속성을 가질 수 있다.(또는 포함할 수 있다.) 예를 들어, 상기 그래픽 오브젝트(202)의 속성은 색상, 형상, 크기, 개수와 같은 시각적인 속성을 포함할 수 있으며, 기재된 예에 제한되지 않고 다양한 종류의 시각과 관련된 속성들을 더 포함할 수 있다. 상기 그래픽 오브젝트(202)의 속성은 사용자의 인터랙션에 의해 변경될 수 있는데, 이에 대해서는 구체적으로 후술한다.
2.3 인터랙션 룰(203)
다양한 실시예들에 따르면 인터랙션 룰(interaction rule)(203)은 사용자의 인터랙션(예: 터치 입력, 드래그 입력)에 대한 응답으로, 오디오 소스의 속성, 그래픽 오브젝트의 속성, 및/또는 타임라인을 변경하기 위한 제어 동작을 수행하도록 설정된 정보를 의미할 수 있다. 예를 들어, 인터랙션 룰(203)은, 특정 그래픽 오브젝트에 대한 사용자의 터치 입력이 획득되는 경우, 특정 제어 동작(예: 제1 오디오 이펙트를 적용)을 수행하도록 함으로써, 재생되는 오디오 소스의 속성을 변경하도록 하는 정보일 수 있으나, 이에 한정되지 않는다.
예를 들어, 상기 제어 동작은 오디오 소스(201)의 속성을 제어하기 위한 동작들을 포함할 수 있다. 예를 들어, 상기 제어 동작은 오디오 소스(201)에 오디오 이펙트를 적용하는 동작, 재생되는 오디오 소스를 치환, 변경하는 동작, 재생되는 오디오 소스와 상이한 오디오 소스를 추가하는 동작, 재생되는 오디오 소스 중 적어도 일부를 재생하지 않는 동작 등을 포함할 수 있으나, 이에 한정되지 않는다. 상기 오디오 이펙트는 오디오 소스에 대한 템포(Tempo) 조절, Low pass filter, High pass filter, 피치(Pitch) 조절, 보컬 오디오 출력, 연주 악기 변경, 음원 멈춤, 악기 사운드 출력, 음원 소스의 성부 재구성, 비트 리피터(beat repeater), 특정 성부의 소리만 출력, 성부의 출력 레벨 조절, 에코(echo), 음원의 구간 이동, 사이키델릭 모드(Psychedelic mode), 패닝 조절, 플랜저 코러스, 잔향 효과(리버브), 딜레이 등을 포함할 수 있으나, 이에 한정되지 않는다.
또 예를 들어, 상기 제어 동작은 그래픽 오브젝트(202)의 속성을 제어하기 위한 동작들을 포함할 수 있다. 예를 들어, 상기 제어 동작은 디스플레이 되는 화면에 비쥬얼 이펙트를 적용하는 동작을 포함할 수 있다. 일 예로, 상기 제어 동작은 배경 컬러의 변경, 적어도 하나의 그래픽 오브젝트 오브젝트의 형상, 크기, 컬러 등의 변경, 오디오 소스 중 보컬에 대한 가사를 디스플레이하는 동작 등을 포함할 수 있으나, 이에 한정되지 않는다.
또 예를 들어, 상기 제어 동작은 현재 스테이지를 다른 스테이지로 변경하여, 음악의 타임 라인을 제어하는 동작을 포함할 수 있는데, 이에 대해서는 “2.4 목차”에서 더 구체적으로 후술한다.
다양한 실시예들에 따르면, 상기 인터랙션 룰(203)은 제어되는 그래픽 오브젝트의 종류(또는 속성)(이하, 인터랙션 대상), 또는 사용자 인터랙션의 종류(이하, 입력 타입) 중 적어도 하나에 대응하는 적어도 하나의 제어 동작을 수행하도록 구현될 수 있다. 예를 들어, 제1 사용자 인터랙션에 의해 제1 그래픽 오브젝트가 제어되는 경우 적어도 하나의 제1 제어 동작이 수행될 수 있고, 제2 사용자 인터랙션에 의해 제2 그래픽 오브젝트가 제어되는 경우 적어도 하나의 제2 제어 동작이 수행될 수 있다. 이에 따라, 사용자는 뉴 디지털 싱글 파일에 인터랙션을 다양하게 함(예: 인터랙션의 종류를 다양하게 함, 및/또는 인터랙션되는 그래픽 오브젝트의 종류(또는 속성)을 다양하게 함)으로써, 결과적으로 출력되는 청각적 내용들, 및/또는 시각적 내용들을 다양한 형태로 제어하면서 경험할 수 있게 된다.
상기 제어 동작은 스킴(또는 방식, 또는 방법)으로 표현될 수 있으며, 서로 다른 제어 동작을 수행한다는 기재는 서로 다른 스킴으로 오디오 소스(201)의 속성, 및/또는 그래픽 오브젝트(202)의 속성을 제어하는 것으로 이해될 수 있다.
2.3.1 인터랙션 룰(203)의 예시
도 3b는 일 실시예에 따른 인터랙션 규칙을 설명하기 위한 도면이다.
도 3b를 참조하면, 일 실시예에 따른 인터랙션 규칙은 컨트롤러에서 획득된 사용자의 특정 인터랙션과 컨트롤러의 특정 동작을 매칭시키기 위한 규칙일 수 있다.
이 때, 사용자의 인터랙션은 인터랙션의 대상, 입력 타입 등에 따라 특정될 수 있다.
상기 인터랙션의 대상은 사용자로부터 획득되는 입력의 대상을 의미할 수 있다. 예를 들어, 사용자로부터 물리적으로 입력을 획득하는 대상일 수 있으며, 사용자로부터 입력을 획득하도록 사용자의 단말을 통해 디스플레이 되는 오브젝트일 수 있고, 사용자로부터 입력을 획득하기 위해 특정된 영역을 의미할 수 있으며, 사용자로부터 입력을 획득하기 위한 특정 영역을 가이드 하기 위해 사용자의 단말을 통해 디스플레이 되는 오브젝트일 수 있으나, 이에 한정되지 않으며, 사용자로부터 직접적으로 및/또는 간접적으로 입력을 획득하거나, 획득된 입력을 특정하기 위한 것들을 의미할 수 있다.
또한, 상기 인터랙션의 대상은 사용자의 단말을 통해 디스플레이 되는 적어도 하나의 오브젝트를 포함할 수 있다.
예를 들어, 상기 인터랙션의 대상은 제1 오브젝트 및 제2 오브젝트를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 상기 인터랙션의 대상은 사용자의 단말을 통해 디스플레이 되는 배경 오브젝트를 포함할 수 있다.
예를 들어, 상기 인터랙션의 대상이 배경 오브젝트가 되는 경우 사용자로부터 상기 배경 오브젝트에 대한 인터랙션을 획득하는 경우 적어도 하나의 동작을 수행하도록 설계될 수 있으나, 이에 한정되지 않는다.
또한, 상기 인터랙션의 대상은 적어도 하나의 하드웨어 장치를 포함할 수 있다.
예를 들어, 상기 인터랙션의 대상은 스마트폰을 포함할 수 있으며, 상기 스마트폰에 대한 사용자의 위치 변경 인터랙션을 획득하는 경우 적어도 하나의 동작을 수행하도록 설계될 수 있으나, 이에 한정되지 않는다.
이 때, 상기 적어도 하나의 하드웨어 장치는 스마트폰, 이어폰, 헤드폰, 조이콘 등 하드웨어 장치 및 주변 기기를 모두 포함할 수 있으나, 이에 한정되지 않는다.
상기 입력 타입은 사용자로부터 획득되는 입력의 종류를 의미할 수 있다. 예를 들어, 상기 입력 타입은 터치 패널을 이용한 터치 입력, 드래그 입력, 배쉬 입력, 스왑 입력, 특정 패턴 입력 등을 포함할 수 있으며, 적어도 하나의 입력 장치를 이용한 다양한 입력을 포함할 수 있고, 적어도 하나의 하드웨어 장치에 대한 쉐이크 입력, 스윙 입력 등 다양한 입력을 포함할 수 있으며, 카메라 등 센서를 이용한 모션 입력 사용자의 위치를 추적하여 가상의 공간에서 사용자의 위치와 오브젝트의 위치가 매칭되는 허공 터치 입력 등 다양한 입력을 포함할 수 있으나, 이에 한정되지 않으며, 특정 동작을 수행하기 위해서 알고리즘으로 규정된 다양한 입력들을 포함할 수 있다.
한편 기재된 예시 이외에도, 사용자의 입력이 아닌, 날씨 정보나 위치 정보와 같은 외부 정보들에 기반하여 음악 테마가 변경되는 인터랙션 룰(203)이 구현될 수도 있다.
2.4 그 외 구성요소(예: 타임 라인)
도 4는 다양한 실시예들에 따른 뉴 디지털 싱글 파일의 스테이지 및 타임 라인(또는 재생 구간)의 예를 설명하기 위한 도면이다. 이하에서는 도 5를 참조하여 도 4에 대해서 설명한다.
도 5는 다양한 실시예들에 따른 뉴 디지털 싱글 파일의 스테이지의 예를 설명하기 위한 도면이다.
도 4를 참조하면, 다양한 실시예들에 따르면 뉴 디지털 싱글 파일(200)은 복수의 스테이지들(1010a, 1010b, 1010c)을 포함할 수 있다. 상기 복수의 스테이지들(1010a, 1010b, 1010c) 각각은 뉴 디지털 싱글 파일(200)에 대응하는 음악의 전체 타임 라인의 서로 다른 부분(또는 재생 구간)에 대응할 수 있다. 즉, 제1 스테이지(1010a)는 음악의 전체 타임라인의 제1 부분에 대응하는 제1 사운드를 제공하도록 구현되며, 제2 스테이지(1010b)는 음악의 전체 타임라인의 제2 부분에 대응하는 제2 사운드를 제공하도록 구현될 수 있다. 상기 타임 라인의 부분은 인트로, 후렴, 벌스-pre, 벌스, 및 브릿지 부분을 포함할 수 있다. 상기 부분 별로 스테이지가 구현될 수 있다.
다양한 실시예들에 따르면, 뉴 디지털 싱글 파일(200)은 복수의 스테이지들(1010a, 1010b, 1010c) 별로 오디오 소스(1011a, 1011b, 1011c), 그래픽 오브젝트(1012a, 1012b, 1012c), 및 인터랙션 룰(1013a, 1013b, 1013c)을 포함할 수 있다. 상기 복수의 스테이지들(1010a, 1010b, 1010c) 별로 포함된 오디오 소스(1011a, 1011b, 1011c), 그래픽 오브젝트(1012a, 1012b, 1012c), 또는 인터랙션 룰(1013a, 1013b, 1013c) 중 적어도 하나는 서로 다를 수 있다. 이에 따라 예를 들어, 뉴 디지털 싱글 파일(200)이 실행되는 경우, 전술한 바와 같이 복수의 스테이지들(1010a, 1010b, 1010c) 별로 서로 다른 오디오 소스(1011a, 1011b, 1011c)에 기반하여 음악의 서로 다른 부분에 대응하는 사운드가 제공될 수 있다. 또 예를 들어, 뉴 디지털 싱글 파일(200)이 실행되는 경우, 서로 다른 그래픽 오브젝트(1012a, 1012b, 1012c)를 포함하는 실행 화면이 표시될 수 있다. 또 예를 들어, 뉴 디지털 싱글 파일(200)이 실행되는 경우, 복수의 스테이지들(1010a, 1010b, 1010c) 별로 서로 다른 인터랙션 룰(1013a, 1013b, 1013c)에 기반하여, 복수의 스테이지들(1010a, 1010b, 1010c) 별로 동일한 사용자 인터랙션이 입력되는 경우 서로 다른 제어 동작이 수행될 수 있으며, 또는 복수의 스테이지들(1010a, 1010b, 1010c) 별로 서로 다른 사용자 인터랙션이 입력되는 경우 서로 대응하는 제어 동작이 수행될 수도 있다.
예를 들어 아래의 [표 1] 및 도 5를 참조하면, 스테이지 별로 오디오 소스(201), 그래픽 오브젝트(202), 및 인터랙션 룰(203)이 제공될 수 있다.
스테이지 종류 오디오 소스(201) 그래픽 오브젝트(202) 인터랙션 룰(203)
인트로에 대응하는 스테이지(501) 인트로에 대응하는 오디오 소스 - 원 형상의 유체 메인 오브젝트(501a)- 구름 형상의 복수의 서브 오브젝트들(502a) - 메인 오브젝트(501a) 터치 시 제1 악기(예: 심벌)의 오디오 소스 재생　및 비주얼 이펙트 적용
- 서브 오브젝트(502a) 터치 시 제2 악기(예: 플럭)의 오디오 소스 재생 및 비주얼 이펙트 적용
후렴에 대응하는 스테이지(501) 후렴에 대응하는 오디오 소스 - 원 형상의 유체 메인 오브젝트(501a)- 구름 형상의 복수의 서브 오브젝트들(502a) - 메인 오브젝트(501a) 터치 시 제3 악기(예: 턴테이블)의 오디오 소스 재생, 음악 테마 랜덤 변경, 및 비주얼 테마 랜덤 변경
- 서브 오브젝트(502a) 터치 시 현재 재생 시점에 대응하는 보컬 오디오 소스를 랜덤 음높이로 재생, 및 비주얼 이펙트 적용
벌스-pre에 대응하는 스테이지(502) 벌스-pre에 대응하는 오디오 소스 - 원 형상의 유체 메인 오브젝트(501b)- 굴곡진 긴 형상의 서로 다른 크기 또는 색상의 서브 오브젝트(502b) - 메인 오브젝트(501b) 터치 시, "what"이라는 보컬 오디오 소스 재생
- 각기 다른 서브 오브젝트(502b) 터치 시 랜덤한 효과음 오디오 소스 재생 및 비주얼 이펙트 적용
벌스에 대응하는 스테이지(502) 벌스에 대응하는 오디오 소스 - 원 형상의 유체 메인 오브젝트(501b)- 굴곡진 긴 형상의 서브 오브젝트(502b) - 메인 오브젝트(501b) 터치 시 제3 악기(예: 심벌)의 오디오 소스 재생, 곡 테마 랜덤 변경, 및 비주얼 테마 랜덤 변경
- 각기 다른 서브 오브젝트(502b) 터치 시 랜덤한 효과음 오디오 소스 재생 및 비주얼 이펙트 적용
브릿지에 대응하는 스테이지(503) 브릿지에 대응하는 오디오 소스 - 원 형상의 유체 메인 오브젝트(501c)- 소용돌이 형상의 서브 오브젝트(502c) - 메인 오브젝트(501c) 터치 시 현재 재생 시점에 대응하는 오디오 소스 재생 및 비주얼 효과 적용
- 서브 오브젝트(502c) 터치 시 제4 악기(예: 심벌)의 오디오 소스 재생 및 비주얼 이펙트 적용
한편 [표 1]에 기재된 예에 제한되지 않고, 다양한 음악의 부분들(예: 코러스, 송폼) 별로 대응하는 스테이지 별 인터랙션 룰이 구현될 수 있다. 일 예로, 메인 오브젝트(202a)가 드래그 되는 경우, 메인 오브젝트(202a)의 위치가 이동되면서 메인 오브젝트(202a)의 중심 영역과의 거리와 위치에 따라서 오디오 소스의 크기를 다르게 하는 제어 동작(예: 특정 오디오 소스의 크기를 유지 하거나 증가시키고, 다른 오디오 소스의 크기를 감소키기거나 0으로 설정함)이 수행되도록 인터랙션 룰이 구현될 수 있다. 일 예로, 메인 오브젝트(202a)가 롱-터치 되는 경우, 오디오 소스의 재생이 일시 정지될 수 있다.또 예를 들어, 아래의 [표 2]에 기재된 바와 같이 그래픽 오브젝트(201)에 대한 사용자 입력 이외의 다양한 종류의 사용자 입력(예: 그래픽 오브젝트(202)의 속성을 유지하도록(또는 변경하지 않도록) 설정되거나 및/또는 그래픽 오브젝트(202)의 위치에 대응하지 않는 위치에 수신되는 경우에 식별되는 종류의 입력)에 대응하는 인터랙션 룰 또한 구현될 수 있다.
사용자 입력 인터랙션 룰(203)
줌-인 오디오 소스의 재생 속도를 느리게 제어
줌-아웃 오디오 소스의 재생 속도를 빠르게 제어
전자 장치를 흔듦 킥 오디오 소스 재생소정 구간(예: 한 마디) 오디오 소스 재생 반복
[표 2]에 기재된 예와 같은 인터랙션 룰(203)은, 그래픽 오브젝트(202)의 속성을 유지하도록(또는 변경하지 않도록) 설정되거나 및/또는 그래픽 오브젝트(202)의 위치에 대응하지 않는 위치에 수신되는 경우에 식별되는 종류의 입력에 기반한 인터랙션 룰(203)은 복수의 스테이지들(1010a, 1010b, 1010c)에 동일하게 설정된 인터랙션 룰(203)일 수 있다. 다시 말해 [표 2]에 기재된 예와 같은 인터랙션 룰(203)은, 복수의 스테이지들(1010a, 1010b, 1010c)과는 무관하게 설정되는 인터랙션 룰(203)일 수 있다.다양한 실시예들에 따르면 복수의 스테이지들(1010a, 1010b, 1010c)은 서로 전환될 수 있다. 예를 들어 도 4를 참조하면, 특정 스테이지에서 조건의 만족 여부 및/또는 만족되는 조건의 종류에 따라서 다른 스테이지로 이동될 수 있다. 상기 조건은 사용자의 인터랙션과 연관된 조건일 수 있다. 이에 따라 상기 사용자의 인터랙션에 의해, 음악의 재생되는 타임 라인의 부분이 동적으로 제어될 수 있다. 한편 도 4에는 스테이지가 불연속적으로 전환(예: 제1 스테이지(1010a)에서 제3 스테이지(1010c)로 전환)되는 것으로 도시하였으나, 도시된 바에 제한되지 않고 스테이지가 시간에 따라 연속적으로 전환(예: 제1 스테이지(1010a)에서 제2 스테이지(1010b)로 전환)되도록 구현될 수도 있다. 상기 조건의 만족에 따른 스테이지의 전환의 예에 대해서는 도 15 내지 도 17을 참조하여 더 구체적으로 후술한다.
3. 뉴 디지털 싱글 파일(610)의 구현 및 이용
도 6은 다양한 실시예들에 따른 뉴 디지털 싱글 파일(200)을 구현하고 이용하는 시스템을 설명하기 위한 도면이다.
도 6을 참조하면, 다양한 실시예들에 다르면 상기 시스템은 제작자의 서버(601), 및 클라이언트(client)의 전자 장치(602), 사용자의 전자 장치 제작자의 서버(603)를 포함할 수 있다. 상기 클라이언트는 뉴 디지털 싱글 파일(610)(예: 전술한 파일(200))을 제작하기를 원하는 자를 의미하고, 상기 제작자는 뉴 디지털 싱글 파일(610)을 제작하는 자를 의미하고, 상기 사용자는 상기 제작된 뉴 디지털 싱글 파일(610)을 이용하는 자를 의미할 수 있다. 한편 도 2에 도시된 바에 제한되지 않고, 시스템은 더 많은 전자 장치를 포함하도록 구현되거나, 또는 더 적은 전자 장치를 포함하도록 구현될 수도 있다. 예를 들어, 상기 시스템은 서버에서 제작된(또는 구현된) 뉴 디지털 싱글 앱을 사용자의 전자 장치로 배포하기 위한 배포 서버(미도시)를 더 포함할 수 있다.
다양한 실시예들에 따르면, 서버(601)는 클라이언트의 전자 장치(602)로부터 획득된 음원 파일(620)에 적어도 일부 기반하여, 뉴 디지털 싱글 파일(610)을 구현할 수 있다. 예를 들어, 상기 서버(601)는 뉴 디지털 싱글 파일(610)을 구현하기 위한 제작자(producer)의 장치로서, PC, 개인 단말(예: 스마트폰), 노트 북 등 다양한 종류의 전자 장치를 포함할 수 있다. 일 실시예에서, 상기 서버(601)는 음원 파일(620)에 대해서 "2.1.1 목차"에서 기술한 오디오 소스(201)의 생성 방법(예: 소스 분리)에 기반하여, 오디오 소스(201)를 획득하고, 각 스테이지 별 그래픽 오브젝트(202)를 생성하고, 인터랙션 룰(203)을 생성함으로써, 뉴 디지털 싱글 파일(610)을 생성할 수 있다.
다양한 실시예들에 따른 뉴 디지털 싱글 파일(610)은 파일(예: 음악 파일) 뿐만 아니라, 어플리케이션, 프로그램, 및/또는 컴퓨터 코드(computer code)로 이해될 수 있다.
다양한 실시예들에 따르면, 사용자의 전자 장치(603)는 상기 뉴 디지털 싱글 파일(610)을 획득할 수 있다. 예를 들어, 전자 장치(603)는 서버(601) 및/또는 배포 서버(미도시)로부터 상기 뉴 디지털 싱글 파일(610)을 포함하는 신호를 수신함으로써, 상기 뉴 디지털 싱글 파일(610)을 획득할 수 있다. 또 예를 들어, 전자 장치(603)는 상기 뉴 디지털 싱글 파일(610)을 저장하는 저장 매체에 연결되고, 저장 매체로부터 뉴 디지털 싱글 파일(610)을 수신함으로써, 상기 뉴 디지털 싱글 파일(610)을 획득할 수 있다.
다양한 실시예들에 따르면, 사용자의 전자 장치(603)는 상기 뉴 디지털 싱글 파일(610)을 실행함에 기반하여, 기능을 제공할 수 있다.
3.1 장치들의 구성
다양한 실시예들에 따르면, 전자 장치들(예: 서버(601), 전자 장치(602, 603)은 통신 회로(미도시), 디스플레이(또는 터치 스크린)(미도시), 및/또는 프로세서(미도시)를 포함하도록 구현될 수 있다. 다만 기재된 바에 제한되지 않고, 전자 장치들은 더 다양한 종류의 전자 부품들을 포함하도록 구현될 수 있다. 예를 들어, 사용자의 전자 장치(603)는 전자 장치(603)의 모션을 센싱하기 위한 센서를 포함할 수 있다. 일 예로, 상기 센서는 기울기 센서, 가속도 센서, 각속도 센서, 및/또는 모션 센서를 포함할 수 있다.
다양한 실시예들에 따르면, 통신 회로(미도시)는 전자 장치(601, 602, 603)와 외부 전자 장치 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 회로(미도시)는 프로세서(미도시)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 회로(미도시)는 무선 통신 모듈(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈은 가입자 식별 모듈에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크 또는 제2 네트워크와 같은 통신 네트워크 내에서 전자 장치를 확인 또는 인증할 수 있다. 무선 통신 모듈은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈은 전자 장치(601, 602, 603), 외부 전자 장치 또는 네트워크 시스템(예: 제2 네트워크)에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
다양한 실시예들에 따르면, 프로세서(미도시)는 예를 들면, 소프트웨어(예: 뉴 디지털 싱글 파일(200))를 실행하여 프로세서(미도시)에 연결된 전자 장치(601, 602, 603)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(미도시)는 다른 구성요소(예: 센서 또는 통신 회로)로부터 수신된 명령 또는 데이터를 휘발성 메모리(미도시)에 저장하고, 휘발성 메모리(미도시)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(미도시)에 저장할 수 있다. 일실시예에 따르면, 프로세서(미도시)는 메인 프로세서(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(601, 602, 603)가 메인 프로세서 및 보조 프로세서를 포함하는 경우, 보조 프로세서는 메인 프로세서보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서는 메인 프로세서와 별개로, 또는 그 일부로서 구현될 수 있다.
3.2 뉴 디지털 싱글 파일(610)의 이용 및 음악 저장
도 7a는 다양한 실시예들에 따른 뉴 디지털 싱글 파일(610)의 이용에 따른 파일의 저장에 대해 설명하기 위한 도면이다.
도 7a를 참조하면, 전자 장치(603)에 의해 뉴 디지털 싱글 파일(610)이 실행됨에 따라서 사용자는 음악을 감상하거나, 또는 음악을 감상하면서 사용자의 인터랙션에 따라 변형된(예: 오디오 소스의 속성이 제어된) 음악을 생성할 수 있다. 이 경우, 상기 전자 장치(603)은 변형된 음악을 저장할 수 있으며, 일 예로 전자 장치(603)은 변형된 음악이 녹음되며 실행 화면이 녹화된 미디어 파일(예: 웨이브 파일)의 형태로 변형된 음악을 저장하거나, 또는 뉴 디지털 싱글 파일(610)과 별도로 뉴 디지털 싱글 파일(610)에 의해 실행 가능한 사용자에 의해 입력된 인터랙션에 대한 정보를 저장할 수 있다.
다양한 실시예들에 따르면, 저장된 변형된 음악에 대한 파일은 다른 전자 장치(603)로 제공되어 실행될 수 있다. 예를 들어 상기 미디어 파일(예: 웨이브 파일)이 다른 전자 장치(603)로 제공되는 경우, 다른 전자 장치(603)는 상기 미디어 파일(예: 웨이브 파일)을 실행함으로써 녹음된 변형된 음악을 재생하면서 녹화된 실행 화면을 표시할 수 있다. 또 예를 들어 상기 뉴 디지털 싱글 파일(610)과 함께 인터랙션에 대한 정보가 다른 전자 장치(603)로 제공되는 경우, 다른 전자 장치(603)는 상기 인터랙션에 대한 정보를 불러옴에 기반하여 상기 뉴 디지털 싱글 파일(610)을 실행할 수 있다. 이에 따라, 상기 인터랙션에 대한 정보에 기반하여 상기 뉴 디지털 싱글 파일(610)이 재생됨으로써 변형됨 음악이 제공될 수 있다.
다양한 실시예들에 따르면, 인터랙션에 대한 정보를 불러온 상태에서 뉴 디지털 싱글 파일이 실행되는 경우, 전자 장치(603)는 기-저장된 인터랙션에 대한 정보 이외에 추가적으로 수신되는 사용자의 인터랙션에 대한 정보를 더 저장할 수 있다. 이때, 추가적인 사용자의 인터랙션에 대한 정보와 기-저장된 인터랙션에 대한 정보 사이의 우선 순위가 있을 수 있으나, 이에 한정되지 않는다.
다양한 실시예들에 따르면, 전자 장치(603)는 변형된 음악에 대응하는 뉴 디지털 싱글 파일(610)을 실행하는 경우, 실행 화면 상에 추가적인 사용자의 인터랙션을 잠금하기 위한 적어도 하나의 오브젝트를 디스플레이할 수 있으나, 이에 한정되지 않는다.
3.2. 뉴 디지털 싱글 파일(610)의 이용 및 배포
도 7b는 일 실시예에 따른 뉴 디지털 싱글 파일(610)의 배포의 예에 대해 설명하기 위한 도면이다.
전술한 뉴 디지털 싱글 파일과 함께 인터랙션 정보가 함께 저장되는 경우를 예로 들어, 뉴 디지털 싱글 파일(610)이 배포되는 예에 대해서 설명한다.
도 7b를 참조하면, 배포 횟수(n)에 따라서 뉴 디지털 싱글 파일(A',A'', A''')은 동일한 음원 소스(A)와 인터랙션 규칙(R)을 포함하되 배포 횟수(n) 별로 사용자의 인터랙션에 의해 생성되는 인터랙션 정보(I1, I2, I3, I4)를 포함할 수 있다.
예를 들어, 뉴 디지털 싱글 파일(610)이 최초 배포되기 이전에(n=1), 서버(601)는 오디오 소스(A) 및 인터랙션 규칙(R)을 포함하는 뉴 디지털 싱글 파일(A)을 구현할 수 있다.
상기 뉴 디지털 싱글 파일이(610)이 제1 전자 장치로 최초 배포되는 경우(n=2), 제1 전자 장치는 뉴 디지털 싱글 파일(A)을 재생하는 동안 제1 사용자로부터 제1 사용자 인터랙션을 수신함에 기반하여 제1 사용자 인터랙션에 대한 제1 정보(I1)을 별도로 저장할 수 있다. 상기 사용자 인터랙션에 대한 제1 정보(I1)을 더 포함하는 뉴 디지털 싱글 파일은 A'로 정의될 수 있다.
이때 뉴 디지털 싱글 파일(A')은 다른 전자 장치(예: 제2 전자 장치)로 배포될 수 있고, 상기 제2 전자 장치는 사용자 인터랙션에 대한 제1 정보(I1)에 기반하여 뉴 디지털 싱글 파일(A')을 재생하는 동안 제2 전자 장치의 제2 사용자로부터 제2 사용자 인터랙션을 수신함에 기반하여 제2 사용자 인터랙션에 대한 제2 정보(I2)를 별도로 더 저장할 수 있다. 상기 사용자 인터랙션에 대한 제1 정보(I1) 및 제2 정보(I2)를 더 포함하는 뉴 디지털 싱글 파일은 A''로 정의될 수 있다.
연속적으로 도 7b에 도시된 바와 같이, 뉴 디지털 싱글 파일이 배포됨에 따라서 사용자 인터랙션에 대한 정보들(I3, I4)이 추가되며, 사용자 인터랙션에 대한 정보들(I3, I4)이 추가된 뉴 디지털 싱글 파일들(A''', A'''')이 생성될 수 있다.
또한, 이 경우, 오디오 소스 A는 변형 없이 저장될 수 있어, 원 음원 소스를 추적하기 용이할 수 있으며, 각각의 인터랙션들의 추가 삭제 변경 등이 자유로이 가능할 수 있다.
또한, 각각의 인터랙션은 하나의 음원 소스에 대해 시계열 적으로 저장될 수 있으며, 복수개의 음원 소스 각각에 대해 시계열 적으로 저장될 수 있고, 복수개의 음원 소스의 시계열적 저장과 함께 시계열 적으로 저장될 수 있으나, 이에 한정되지 않는다.
또한, 각각의 사용자들은 변형된 음악에 대해 공유하기 위해 인터랙션 만을 공유할 수 있으나, 이에 한정되지 않는다.
또한, 각각의 사용자들은 변형된 음악에 대해 공유하기 위해 음원 소스와 음원 소스에 대응되는 인터랙션을 공유할 수 있으나, 이에 한정되지 않는다.
또한, 각각의 사용자들은 변형된 음악에 대해 공유하기 위해 음원 소스에 대한 소정의 정보와 해당 음원 소스에 대응되는 인터랙션을 공유할 수 있으나, 이에 한정되지 않는다.
또한, 일 실시예에 따르면, 아래와 같은 저장 및 재생 기술이 적용될 수 있으나, 이에 한정되지 않는다.
4. 뉴 디지털 싱글 파일의 기능
이하에서는 다양한 실시예들에 따른 뉴 디지털 싱글 파일(200)의 기능의 예에 대해서 설명한다. 이하에서는 설명의 편의를 위하여, 뉴 디지털 싱글 파일(200)을 어플리케이션으로 지칭하며, 어플리케이션이 실행되는 경우에 실행되는 기능(또는 동작)의 예를 설명한다. 다만 기재된 바에 제한되지 않고, 어플리케이션은 파일, 프로그램 등의 전자 장치에 의해 실행 가능한 형태로 제공될 수 있다.
4.1 그래픽 오브젝트 제어 기능
도 8은 다양한 실시예들에 따른 전자 장치(603)의 동작을 설명하기 위한 흐름도이다. 다양한 실시예들에 따르면, 도 8에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면 도 8에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는, 도 9a 및 도 9b를 참조하여 도 8에 대해서 설명한다.
도 9a는 다양한 실시예들에 따른 전자 장치(603)의 실행 화면을 표시하는 동작의 예를 설명하기 위한 도면이다. 도 9b는 다양한 실시예들에 따른 전자 장치(603)의 음악적 단위에 기반하여, 실행 화면 내의 그래픽 오브젝트의 시각적 속성을 변경하기 위한 제어 동작의 예를 설명하기 위한 도면이다.
다양한 실시예들에 따르면, 전자 장치(603)(예: 프로세서)는 801 동작에서 어플리케이션(예: 뉴 디지털 싱글 파일(200))을 실행하고, 803 동작에서 실행된 어플리케이션에 기반하여 복수의 그래픽 오브젝트들을 포함하는 실행 화면을 표시하면서, 적어도 하나의 오디오 소스에 기반하여 제1 사운드를 출력할 수 있다. 예를 들어, 전자 장치(603)는 어플리케이션(예: 뉴 디지털 싱글 파일)을 획득(예: 서버(601), 및/또는 배포 서버(미도시))할 수 있다. 도 9를 참조하면 전자 장치(603)는 뉴 디지털 싱글 파일(200)을 실행함에 기반하여, 디스플레이 상에 메인 오브젝트(202a) 및 복수의 서브 오브젝트들(202b)를 포함하는 실행 화면을 표시하면서, 특정 부분(예: 인트로, 및/또는 후렴)에 대응하는 오디오 소스(201)에 기반하여 제1 사운드를 특정 재생 시간 동안 출력할 수 있다. 도시 및/또는 기재된 바와 같이, 상기 도 9에 도시된 실행 화면은 인트로, 및/또는 후렴에 대응하는 스테이지의 실행 화면일 수 있으나, 도시 및/또는 기재된 바에 제한되지 않고, 다른 부분(예: 벌스-pre, 벌스, 브릿지)에 대응하는 스테이지의 실행 화면이 표시될 수 있다.
다양한 실시예들에 따르면, 메인 오브젝트(202a)는 전자 장치(603)의 디스플레이의 중앙 부분에 표시되도록 설정될 수 있다. 상기 메인 오브젝트(202a)는 뉴 디지털 파일의 복수의 스테이지들 별로 유지되는 그래픽 오브젝트일 수 있다.
다양한 실시예들에 따르면, 서브 오브젝트들(202b)은 메인 오브젝트(202a)의 주변 부 및/또는 디스플레이의 엣지 영역에 가까운 위치에 표시되도록 설정될 수 있다. 상기 서브 오브젝트들(202b)은 뉴 디지털 파일의 복수의 스테이지들 별로 서로 다른 시각적 속성을 가지는 오브젝트들로 구현될 수 있으며, 이에 대해서는 도 5를 참조하여 전술하였으므로 중복되는 설명은 생략한다.
다양한 실시예들에 따르면, 사용자 입력에 기반하여 변경되는 메인 오브젝트(202a)의 속성의 종류와 서브 오브젝트(202b)의 속성의 종류는 서로 다르도록 설정될 수 있다. 예를 들어, 사용자 입력에 기반하여 제어 가능한 메인 오브젝트(202a)의 제1 속성은 위치, 형상, 및 색상이고, 사용자 입력에 기반하여 제어 가능한 서브 오브젝트(202b)의 제2 속성은 색상일 수 있으나, 기재된 바에 제한되지 않을 수 있다.
다양한 실시예들에 따르면, 사용자 입력에 기반하여 변경되는 메인 오브젝트(202a)의 속성의 개수와 서브 오브젝트(202b)의 속성의 개수는 서로 다르도록 설정될 수 있다. 예를 들어, 사용자 입력에 기반하여 제어 가능한 메인 오브젝트(202a)의 제1 속성의 개수(예: 위치, 형상, 및 색상 총 3개)가, 사용자 입력에 기반하여 제어 가능한 서브 오브젝트(202b)의 제2 속성의 개수(예: 색상 총 1개) 보다 더 크도록 설정될 수 있다. 이에 따라, 사용자가 주로 다양한 종류의 속성이 변경되는 메인 오브젝트(202a)의 속성을 변경하도록 유도하여 일종의 가이드를 제공함으로써, 뉴 디지털 싱글 파일(200)에 기반한 음악 감상을 더 용이하게 할 수 있다. 다만 기재된 바에 제한되지 않고, 제어 가능한 메인 오브젝트(202a)의 제1 속성의 개수가 제어 가능한 서브 오브젝트(202b)의 제2 속성의 개수 보다 더 적도록 설정될 수도 있다.
다양한 실시예들에 따르면, 전자 장치(603)(예: 프로세서)는 어플리케이션(예: 뉴 디지털 싱글 파일)을 실행함에 기반하여 그래픽 오브젝트들(예: 메인 오브젝트(202a), 및 서브 오브젝트들(202b))를 포함하는 페이지(S) 내에 설정된 특정 영역(HA)을 디스플레이 상에 표시할 수 있다.
다양한 실시예들에 따르면, 전자 장치(603)(예: 프로세서)는 805 동작에서 메인 그래픽 오브젝트(202a)가 표시된 상태에서, 서브 그래픽 오브젝트들(202b)을 제어할 수 있다. 예를 들어, 전자 장치(603)(예: 프로세서)는 페이지(S) 상의 특정 영역(HA) 내에 메인 그래픽 오브젝트(202a)가 위치된 상태에서, 다른 복수의 서브 오브젝트들(202b)의 시각적 속성(예: 위치)을 변경하거나 또는 서브 오브젝트들(202b)를 새로 생성하는 동작을 수행 함으로써, 시각적으로 메인 그래픽 오브젝트(202a)가 동적으로 이동되는 착시 효과를 제공할 수 있다. 예를 들어 도 9a를 참조하면, 전자 장치(603)(예: 프로세서)는 페이지(S) 상의 특정 영역(HA)의 내에 위치되는 복수의 서브 오브젝트들(202b) 중 적어도 일부의 위치를 특정 영역(HA) 바깥의 영역으로 이동 시키고, 특정 영역(HA) 내의 지정된 부분(A) 상에 새로운 서브 오브젝트들(202b)를 생성(또는 표시)하는 동작을 수행함으로써, 메인 오브젝트(202a)가 시각적으로 마치 이동되는 착시 효과를 제공할 수 있다. 상기 특정 영역(HA) 내의 지정된 부분(A)은 메인 그래픽 오브젝트(202a)로부터 이격된 지정된 거리 범위 내의 영역일 수 있다. 상기 지정된 부분(A)에서 생성되는 서브 그래픽 오브젝트(202b)의 투명도는 생성된 시점에서 높게 설정되고, 생성된 시점으로부터 시간이 경과될수록 투명도가 낮게 변경됨으로써, 색상이 선명하게 설정될 수 있다.
다양한 실시예들에 따르면, 전자 장치(603)는 807 동작에서 특정 박자에 기반하여, 메인 그래픽 오브젝트의 시각적 속성을 변경할 수 있다. 예를 들어 도 9b를 참조하면, 전자 장치(603)는 현재 재생 시점(C)이 뉴 디지털 싱글 파일(200)에 대응하는 음악(또는 오디오 소스(201))에 기반하여 설정되는 음악적 단위(예: 박자)에 따라서 설정되는 시점(예: t1, t2, t3)에 대응하는지 여부를 판단하고, 상기 현재 재생 시점(C)이 설정된 시점에 대응하는 경우 메인 오브젝트(202a)의 시각적 속성(예: 형상, 색상, 숫자)을 변경할 수 있다. 상기 음악적 단위는 오디오 소스(201)에 기반하여 결정될 수 있다. 즉, 서로 다른 스테이지 별로 오디오 소스(201)가 다름에 기반하여 음악적 단위가 달라지며, 이에 따라 스테이지 별 메인 오브젝트(202a)의 시각적 속성이 변경되는 시점들 사이의 시간 간격이 달라질 수 있다. 이에 따라, 사용자는 디스플레이 상에서 음악적 단위에 맞추어 시각적 속성이 변경되는 메인 오브젝트(202a)를 시청함으로써, 마치 메인 오브젝트(202a)가 음악에 맞추어 춤을 추는 생동감을 갖는 일종의 생명체로서 인식할 수 있게 되어, 이에 따라 음악 감상에 대한 몰입감이 향상될 수 있다.
4.2 사용자 인터랙션에 기반한 오디오 소스의 속성 및 그래픽 오브젝트의 속성 제어 기능
도 10은 다양한 실시예들에 따른 전자 장치(603)의 동작을 설명하기 위한 흐름도이다. 다양한 실시예들에 따르면, 도 10에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면 도 10에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는, 도 11a, 도 11b, 도 11c, 및 도 11d를 참조하여 도 10에 대해서 설명한다.
도 11a는 다양한 실시예들에 따른 전자 장치(603)의 메인 그래픽 오브젝트(202a)에 대한 제1 사용자 인터랙션(예: 터치)에 기반한 제어 동작의 예를 설명하기 위한 도면이다. 도 11b는 다양한 실시예들에 따른 전자 장치(603)의 메인 그래픽 오브젝트(202a)에 대한 제2 사용자 인터랙션(예: 드래그)에 기반한 제어 동작의 예를 설명하기 위한 도면이다. 도 11c는 다양한 실시예들에 따른 전자 장치(603)의 서브 그래픽 오브젝트(202b)에 대한 제2 사용자 인터랙션(예: 터치)에 기반한 제어 동작의 예를 설명하기 위한 도면이다. 도 11d는 다양한 실시예들에 따른 전자 장치(603)의 서브 그래픽 오브젝트(202b)에 대한 제2 사용자 인터랙션(예: 드래그)에 기반한 제어 동작의 예를 설명하기 위한 도면이다.
다양한 실시예들에 따르면, 전자 장치(603)(예: 프로세서)는 1001 동작에서 어플리케이션을 실행하고, 1003 동작에서 적어도 하나의 그래픽 오브젝트를 포함하는 실행 화면을 표시하면서 적어도 하나의 오디오 소스에 기반하여 제1 사운드를 출력할 수 있다. 예를 들어 도 11a, 도 11b, 도 11c, 및 도 11d에 도시된 바와 같이, 전자 장치(603)는 메인 오브젝트(202a) 및 복수의 서브 오브젝트들(202b)을 포함하는 실행 화면을 표시할 수 있다. 도 11a, 도 11b, 도 11c, 및 도 11d에 도시되는 실행 화면은 도 9a 내지 도 9b에서 전술한 인트로 및/또는 후렴 부분에 대응하는 스테이지의 실행 화면일 수 있으므로, 중복되는 설명은 생략한다. 또 한편 기재 및/또는 도시된 바에 제한되지 않고, 해당 실행 화면은 인트로 및/또는 후렴 부분이 아닌 다른 부분(예: 벌스-pre, 벌스, 브릿지)에 대응하는 실행 화면일 수 있으며, 이에 대해서는 [표 1]을 참조하여 전술하였는 바, 중복되는 설명은 생략한다.
다양한 실시예들에 따르면, 전자 장치(603)(예: 프로세서)는 1005 동작에서 적어도 하나의 그래픽 오브젝트 중에서 제1 그래픽 오브젝트에 대한 사용자 입력을 수신할 수 있다. 예를 들어 도 11a, 도 11b, 도 11c, 및 도 11d를 참조하면, 전자 장치(603)는 메인 오브젝트(202a) 및/또는 복수의 서브 오브젝트들(202b) 중 특정 오브젝트에 대한 사용자 입력(예: 터치, 드래그)을 수신할 수 있다. 한편 기재 및/또는 도시된 바에 제한되지 않고, 전자 장치(603)는 터치 및 드래그 이외의 다양한 종류의 사용자 입력(예: 핀치 등)을 수신할 수도 있다.
다양한 실시예들에 따르면, 전자 장치(603)(예: 프로세서)는 1007 동작에서 제1 그래픽 오브젝트의 시각적 속성을 변경하고, 1009 동작에서 제1 그래픽 오브젝트 및 사용자 입력에 대응하는 스킴에 기반하여 적어도 하나의 오디오 소스를 제어한 것에 기반하여, 제1 사운드와는 다른 사운드를 출력할 수 있다.
예를 들어, 전자 장치(603)(예: 프로세서)는 수신된 사용자 입력의 종류에 기반하여 그래픽 오브젝트(202)의 시각적 속성을 변경할 수 있다. 일 예로 도 11a에 도시된 바와 같이, 전자 장치(603)는 메인 그래픽 오브젝트(202a)에 대한 터치를 수신하는 경우 메인 그래픽 오브젝트(202a)의 형상 및/또는 복수의 오브젝트로 순간 분리시킴으로써 숫자를 변경할 수 있다. 이때, 전자 장치(603)는 속성이 변경된 메인 그래픽 오브젝트(202a)를 제공하면서, 메인 그래픽 오브젝트(202a)의 주변에 시각적 속성(예: 색상, 크기, 형상)이 다른 그래픽 오브젝트를 표시하거나, 비쥬얼 이펙트를 함께 제공할 수 있다. 일 예로 도 11b에 도시된 바와 같이, 전자 장치(603)는 메인 그래픽 오브젝트(202a)에 대한 드래그를 수신하는 경우 메인 그래픽 오브젝트(202a)의 위치를 이동시키면서, 메인 그래픽 오브젝트(202a)의 형상 및/또는 숫자를 변경할 수 있다. 예를 들어, 메인 그래픽 오브젝트(202a)는 드래그의 이동 경로를 따라서 복수의 부분들로 분리될 수 있다. 또 일 예로 도 11c 및 도 11d에 도시된 바와 같이, 전자 장치(603)는 서브 그래픽 오브젝트(202b)에 대한 터치를 수신하는 경우 터치가 수신된 서브 그래픽 오브젝트(202b)의 색상을 변경하고, 또 복수의 서브 그래픽 오브젝트들(202b)를 터치하기 위한 드래그를 수신하는 경우 터치가 수신된 복수의 서브 그래픽 오브젝트들(202b)의 색상을 터치된 순서에 따라서 순차적으로 변경할 수 있다.
또 예를 들어, 전자 장치(603)(예: 프로세서)는 수신된 사용자 입력의 종류(예: 터치, 및/또는 드래그), 사용자 입력에 의해 제어된 그래픽 오브젝트의 종류(예: 메인 오브젝트(202a), 및/또는 서브 오브젝트(202b), 또는 그래픽 오브젝트의 속성(예: 시각적 속성) 중 적어도 하나에 기반하여 제어 동작(또는 스킴)을 선택하고, 상기 제어 동작을 수행함으로써 재생 중인 오디오 소스(201)의 속성을 변경하거나 또는 추가적인 오디오 소스를 재생할 수 있다. 예를 들어 도 11a에 도시된 바와 같이, 전자 장치(603)는 메인 오브젝트(202a)에 대한 터치를 수신하는 경우, 터치가 수신된 시점으로부터 특정 시간 동안 오디오 소스(201)를 재생하면서 특정 오디오 소스(예: 심벌, 턴테이블과 같은 악기의 오디오 소스)를 추가 재생함으로써 기존에 출력되는 사운드(예: 제1 사운드)와는 다른 사운드(예: 제2 사운드)를 출력할 수 있다. 또 예를 들어 도 11b에 도시된 바와 같이, 전자 장치(603)는 메인 오브젝트(202a)에 대한 드래그를 수신하는 경우, 메인 오브젝트(202a)의 중심 부분으로부터의 거리 및 메인 오브젝트(202a)에 대응하는 위치에 따라서 오디오 소스(201) 중 특정 스템 파일에 대응하는(또는 특정 종류의) 오디오 소스의 크기만을 유지하고 나머지 스템 파일에 대응하는(또는 나머지 종류의) 나머지 오디오 소스의 크기를 감소(또는 0으로 설정)시킴으로써 기존에 출력되는 사운드(예: 제1 사운드)와는 다른 사운드(예: 제3 사운드)를 출력할 수 있다. 즉, 전자 장치(603)는 오디오 소스(201) 중 그래픽 오브젝트(202) 및 사용자 입력의 종류에 대응하는 특정 오디오 소스의 속성을 제어할 수 있다. 일 예로, 메인 오브젝트(202a)가 왼쪽 상단에 위치되는 동안, 보컬(vocal) 오디오 소스 만이 재생될 수 있다. 예를 들어 도 11c에 도시된 바와 같이, 전자 장치(603)는 서브 오브젝트(202b)에 대한 터치를 수신하는 경우, 오디오 소스(201)를 재생하면서 특정 오디오 소스(예: 플럭, 보컬)를 특정 시간 동안 추가 재생함으로써 기존에 출력되는 사운드(예: 제1 사운드)와는 다른 사운드(예: 제4 사운드)를 출력할 수 있다. 예를 들어 도 11d에 도시된 바와 같이, 전자 장치(603)는 서브 오브젝트들(202b)에 대한 드래그를 수신하는 경우, 오디오 소스(201)를 재생하면서 특정 오디오 소스(예: 플럭, 보컬)를 특정 시간 동안 순차적으로 추가 재생함으로써 기존에 출력되는 사운드(예: 제1 사운드)와는 다른 사운드(예: 제5 사운드)를 출력할 수 있다.
한편 인트로 및/또는 후렴에 대응하는 스테이지의 실행 화면이 표시되는 경우를 예로 들어 설명하였으나, 기재 및/또는 도시된 예에 제한되지 않고 상술한 설명은 타임라인의 다른 부분(예: 벌스-pre, 벌스, 브릿지)에 대응하는 스테이지의 실행 화면이 표시되는 경우에도 준용될 수 있으며 이에 대해서는 [표 1]에서 전술한 바와 같으므로 중복되는 설명은 생략한다.
다양한 실시예들에 따르면, 전자 장치(603)는 사용자 입력을 수신하는 경우, 사용자 입력에 대응하는 위치에(또는 위치를 따라서) 사용자 입력의 궤적을 나타내는 비쥬얼 이펙트(예: 연기)를 더 표시할 수 있다.
4.3 사용자 정보에 기반하여 인터랙션 룰을 칼리브레이션 하는 기능
도 12는 다양한 실시예들에 따른 전자 장치(603)의 동작을 설명하기 위한 흐름도이다. 다양한 실시예들에 따르면, 도 12에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면 도 12에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다.
다양한 실시예들에 따르면, 전자 장치(603)(예: 프로세서)는 1201 동작에서 어플리케이션(예: 뉴 디지털 싱글 파일(200))을 실행할 수 있다.
다양한 실시예들에 따르면, 전자 장치(603)(예: 프로세서)는 1203 동작에서 사용자와 연관된 정보를 획득하고, 1205 동작에서 사용자와 연관된 정보에 기반하여, 복수의 실행 화면들 별로 연관된 적어도 하나의 스킴을 결정할 수 있다.
일 실시예에서, 전자 장치(603)는 어플리케이션(예: 뉴 디지털 싱글 파일(200))을 실행함에 기반하여, 각 스테이지들 별로 인터랙션 룰에 기반하여 그래픽 오브젝트 별 사용자 입력의 종류에 따라서 변경 가능한 오디오 소스의 속성들 또는 추가 가능한 오디오 소스의 종류들에 대한 정보를 표시하고, 특정 속성 또는 특정 종류를 선택하기 위한 사용자 입력을 수신할 수 있다. 이에 따라, 전자 장치(603)는 선택된 특정 속성, 또는 특정 종류에 기반하여, 인터랙션 룰을 결정할 수 있다. 이때, 전자 장치(603)는 정보가 표시되는 오디오 소스의 속성들 또는 추가 가능한 오디오 소스의 종류들을 재생하기 위한 오브젝트를 표시함으로써, 사용자에 의해 오브젝트가 선택되는 경우 변경 가능함 오디오 소스의 속성들 또는 추가 가능한 오디오 소스의 종류들을 재생함으로써 사용자가 인지하도록 할 수 있다.
또 예를 들어, 전자 장치(603)는 사용자의 성향을 측정하기 위한 실행 화면을 표시하고, 소정의 테스트 시간 동안 측정되는 사용자의 성향에 기반하여 그래픽 오브젝트 별 사용자 입력의 종류에 따라서 변경될 오디오 소스의 속성 및 추가 가능한 오디오 소스의 종류를 결정할 수 있다. 일 예로, 전자 장치(603)는 그래픽 오브젝트를 표시하고, 테스트 시간 동안 사용자가 인터랙션한 속성(예: 오브젝트의 터치 횟수, 인터랙션의 종류에 대한 정보)을 획득하고, 획득된 정보에 기반하여 사용자의 성향(예: 박자를 타면서 오브젝트를 터치하는 스타일)을 식별하고, 식별된 사용자의 성향에 기반하여 특정 오브젝트(예: 메인 오브젝트(202a)) 터치 시 드럼 효과가 출력되도록 설정할 수 있다. 이에 따라, 사용자의 성향이 박자를 타면서 오브젝트를 터치하는 스타일인 경우, 사용자가 박자에 따라 메인 오브젝트(202a)를 터치한 경우 드럼 효과가 출력되도록 하여 더 음악 감상의 몰입감을 더 향상 시킬 수 있다. 일 예로, 전자 장치(603)는 상기 인터랙션한 속성(예: 오브젝트의 터치 횟수, 인터랙션의 종류에 대한 정보)을 입력 데이터로하고 사용자의 성향을 출력 데이터로 하여 구현된 인공 지능 모델(미도시)을 이용할 수 있다. 전자 장치(603)는 상기 인공 지능 모델에 상기 인터랙션한 속성에 대한 정보를 입력한 것에 대한 응답으로 출력되는 사용자의 성향을 식별하고, 미리-저장된 사용자의 성향 별 인터랙션 룰에 대한 정보 중에서 식별된 사용자의 성향에 대응하는 인터랙션 룰을 결정할 수 있다.
다양한 실시예들에 따르면, 전자 장치(603)는 결정된 인터랙션 룰을 포함하도록 뉴 디지털 싱글 파일(200)을 설정할 수 있다.
다양한 실시예들에 따르면 전자 장치(603)(예: 프로세서)는 1205 동작에서 적어도 하나의 그래픽 오브젝트를 포함하는 실행 화면을 표시하면서, 적어도 하나의 오디오 소스에 기반하여 제1 사운드를 출력할 수 있다. 상기 전자 장치(603)의 1205 동작은 전술한 전자 장치(603)의 1003 동작과 같이 수행될 수 있으므로 중복되는 설명은 생략한다.
다양한 실시예들에 따르면 전자 장치(603)(예: 프로세서)는 1207 동작에서 적어도 하나의 그래픽 오브젝트 중 제1 그래픽 오브젝트에 대한 사용자 입력을 수신하고, 1209 동작에서 제1 그래픽 오브젝트의 시각적 속성을 변경하고, 1211 동작에서 제1 그래픽 오브젝트 및 사용자 입력에 대응하는 스킴에 기반하여 적어도 하나의 오디오 소스를 제어한 것에 기반하여 제2 사운드를 출력할 수 있다. 상기 전자 장치(603)의 1207 동작 내지 1211 동작은 전술한 전자 장치(603)의 1005 동작 내지 1009 동작과 같이 수행될 수 있으므로 중복되는 설명은 생략한다.
4.4 사용자 정보에 기반하여 인터랙션 룰을 칼리브레이션 하는 기능
도 13은 다양한 실시예들에 따른 전자 장치(603)의 동작을 설명하기 위한 흐름도이다. 다양한 실시예들에 따르면, 도 13에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면 도 13에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는 도 14a 내지 도 14b를 참조하여 도 13에 대해서 설명한다.
도 14a는 다양한 실시예들에 따른 전자 장치(603)의 줌-인 및 줌-아웃에 기반한 오디오 소스(201)의 속성을 변경하는 동작의 예를 설명하기 위한 도면이다. 도 14b는 다양한 실시예들에 따른 전자 장치(603)의 움직임에 기반한 오디오 소스(201)의 속성을 변경하는 동작의 예를 설명하기 위한 도면이다.
다양한 실시예들에 따르면, 전자 장치(603)(예: 프로세서)는 1301 동작에서 어플리케이션(예: 뉴 디지털 싱글 파일)을 실행할 수 있다.
다양한 실시예들에 따르면, 전자 장치(603)(예: 프로세서)는 1303 동작에서 적어도 하나의 그래픽 오브젝트를 포함하는 실행 화면을 표시하면서, 적어도 하나의 오디오 소스에 기반하여 제1 사운드를 출력하고, 1305 동작에서 사용자 입력을 수신할 수 있다. 예를 들어, 전자 장치(603)의 1303 동작 내지 1305 동작은 전술한 전자 장치(603)의 1003 동작 내지 1005 동작과 같이 수행될 수 있으므로 중복되는 설명은 생략한다.
다양한 실시예들에 따르면, 전자 장치(603)(예: 프로세서)는 1307 동작에서 사용자 입력의 종류를 식별할 수 있다. 예를 들어, 상기 사용자 입력의 종류는 그래픽 오브젝트(202)의 위치에 수신되는 경우에 식별되는 제1 종류의 사용자 입력(예: 그래픽 오브젝트(202)의 터치, 드래그), 및 그래픽 오브젝트(202)의 속성을 유지하도록(또는 변경하지 않도록) 설정되거나 및/또는 그래픽 오브젝트(202)의 위치에 대응하지 않는 위치에 수신되는 경우에도 식별되는 제2 종류의 사용자 입력을 포함할 수 있다. 예를 들어, 상기 제2 사용자 입력은 줌-인 입력, 줌-아웃 입력, 및 전자 장치(603)를 쥐고 흔드는 입력을 포함할 수 있으나, 기재된 바에 제한되지 않고 다양한 종류의 입력을 더 포함할 수 있다.
다양한 실시예들에 따르면, 전자 장치(603)(예: 프로세서)는 1309 동작에서 사용자 입력의 종류가 제1 종류(예: 그래픽 오브젝트(202)를 선택하기 위한 입력) 인지 여부를 판단하고, 제1 종류인 경우(1309-예) 1311 동작에서 제1 그래픽 오브젝트의 시각적 속성을 변경하고, 1313 동작에서 제1 그래픽 오브젝트 및 사용자 입력에 대응하는 제1 스킴에 기반하여 적어도 하나의 오디오 소스를 제어한 것에 기반하여 제2 사운드를 출력할 수 있다. 전자 장치(603)의 1311 동작 내지 1313 동작은 전자 장치(603)의 1007 동작 내지 1009 동작과 같이 수행될 수 있으므로, 중복되는 설명은 생략한다.
다양한 실시예들에 따르면, 전자 장치(603)(예: 프로세서)는 제1 종류가 아닌 경우(예: 사용자의 입력이 제2 종류인 경우)(1309-아니오) 1315 동작에서 사용자 입력의 종류에 대응하는 제2 스킴에 기반하여 제3 사운드를 출력할 수 있다. 예를 들어, 전자 장치(603)(예: 프로세서)는 [표 2]에서 전술한 바와 같이, 오디오 소스(201)의 타임 라인의 재생 구간에 대응하는 인터랙션 룰(203)(또는 스킴)과 별도로 기-설정된 인터랙션 룰(203)(또는 스킨)에 기반하여 오디오 소스(201)의 속성을 제어할 수 있다.
예를 들어 도 14a를 참조하면, 전자 장치(603)(예: 프로세서)는 줌 인/줌 아웃 입력에 기반하여 오디오 소스(201)의 재생 속도를 제어할 수 있다. 예를 들어, 전자 장치(603)는 줌-인 입력이 수신되는 경우 오디오 소스(201)의 재생속도를 빠르게 제어하고, 줌-아웃 입력이 수신되는 경우 오디오 소스(201)의 재생속도를 느리게 제어할 수 있다. 이때, 전자 장치(603)(예: 프로세서)는 오디오 소스(201)의 전체 오디오 소스의 재생속도를 제어할 수 있다. 한편 기재된 바에 제한되지 않고, 전자 장치(603)는 반대로 줌-인 입력이 수신되는 경우 오디오 소스(201)의 재생속도를 느리게 제어하고, 줌-아웃 입력이 수신되는 경우 오디오 소스(201)의 재생속도를 빠르게 제어할 수 있다. 이때, 전자 장치(603)는 오디오 소스(201)의 재생 속도에 따라 오디오 이펙트를 출력할 수 있다. 예를 들어 전자 장치(603) 오디오 소스(201)의 재생 속도가 느리게 제어되는 경우, 음악의 분위기 변경에 따라, 리버브(reverb) 또는 에코(echo) 등의 오디오 이펙트를 출력할 수 있다.
또 예를 들어 도 14b를 참조하면, 전자 장치(603)(예: 프로세서)는 하드웨어의 움직임에 따라서 오디오 소스(201)의 속성을 제어하거나 또는 추가적인 오디오 소스를 재생할 수 있다. 예를 들어, 전자 장치(603)(예: 프로세서)는 전자 장치(603)가 사용자에 의해 특정 모션으로 움직이는 경우(예: 상/하/좌/우 중 적어도 하나의 방향으로 흔들리는 경우), 전자 장치(603)에 포함된 센서(미도시)(예: 기울기 센서, 가속도 센서, 각속도 센서, 모션 센서)를 이용하여 상기 특정 모션을 감지하고, 특정 오디오 소스(예: 킥 오디오 소스)를 재생하며, 소정 구간(예: 한 마디)의 오디오를 반복하여 재생할 수 있다. 이때, 전자 장치(603)는 센서(미도시)(예: 기울기 센서, 각속도 센서, 모션 센서)로부터 식별되는 정보들(예: x,y,z 축 순간 회전값, 순간 가속도 값)의 조합에 기반하여 특정 모션을 식별할 수 있다. 한편 기재된 예 이외에도, 전자 장치(603)(예: 프로세서)는 전자 장치(603)를 아래로 내려치는 모션이 식별되는 경우 오디오 소스(201)를 재생하거나, 또는　위로 올려치면 모션이 식별되는 경우 오디오 소스(201)를 재생하는 동작을 수행할 수 있다.
4.5 사용자 정보에 기반하여 인터랙션 룰을 칼리브레이션 하는 기능
도 15는 다양한 실시예들에 따른 전자 장치(603)의 동작을 설명하기 위한 흐름도이다. 다양한 실시예들에 따르면, 도 15에 도시되는 동작들은 도시되는 순서에 국한되지 않고 다양한 순서로 수행될 수 있다. 또한, 다양한 실시예들에 따르면 도 13에 도시되는 동작들 보다 더 많은 동작들이 수행되거나, 더 적은 적어도 하나의 동작이 수행될 수도 있다. 이하에서는 도 16, 도 17a 내지 도 17b를 참조하여 도 15에 대해서 설명한다.
도 16은 다양한 실시예들에 따른 전자 장치(603)의 스테이지 변경에 따라서 제공되는 실행 화면과 사운드의 예를 설명하기 위한 도면이다. 도 17a는 다양한 실시예들에 따른 전자 장치(603)의 조건 만족에 기반한 노말 스테이지 변경 동작의 예를 설명하기 위한 도면이다. 도 17b는 다양한 실시예들에 따른 전자 장치(603)의 노말 스테이지와 데스 스테이지 간의 전환 동작의 예를 설명하기 위한 도면이다.
다양한 실시예들에 따르면, 전자 장치(603)(예: 프로세서)는 1501 동작에서 어플리케이션(예: 뉴 디지털 싱글 파일)을 실행할 수 있다.
다양한 실시예들에 따르면, 전자 장치(603)(예: 프로세서)는 1503 동작에서 적어도 하나의 그래픽 오브젝트를 포함하는 실행 화면을 표시하면서, 적어도 하나의 오디오 소스에 기반하여 제1 사운드를 출력하고, 1505 동작에서 사용자 입력을 수신할 수 있다. 예를 들어, 전자 장치(603)의 1503 동작 내지 1505 동작은 전술한 전자 장치(603)의 1003 동작 내지 1005 동작과 같이 수행될 수 있으므로 중복되는 설명은 생략한다.
다양한 실시예들에 따르면, 전자 장치(603)(예: 프로세서)는 1507 동작에서 조건의 만족 여부를 판단할 수 있다. 상기 조건은 노멀 스테이지 간의 전환을 위한 조건이거나, 또는 노멀 스테이지와 데스 스테이지 간의 전환을 위한 조건일 수 있다. 예를 들어, 상기 노멀 스테이지는 전술한 타임 라인의 부분들(예: 인트로, 후렴, 벌스-pre, 벌스, 브릿지)에 대응하는 스테이지들을 의미하고, 데스 스테이지는 노멀 스테이지와는 별도로 구현되는 스테이지로서 기능의 제공(예: 오디오 소스의 재생)이 일시 정지되는 스테이지를 의미할 수 있다. 전술한 바와 같이 도 16을 참조하면, 상기 노말 스테이지의 종류, 및/또는 스테이지의 종류(예: 노말 스테이지 및/또는 데스 스테이지)의 종류 별로 표시되는 그래픽 오브젝트의 종류, 재생되는 오디오 소스의 종류, 및 인터랙션 룰(또는 스킴)의 종류가 서로 다를 수 있다. 또는 기재 및/또는 도시된 바에 제한되지 않고, 그래픽 오브젝트의 종류, 재생되는 오디오 소스의 종류, 및 인터랙션 룰(또는 스킴)의 종류가 서로 대응할 수도 있다. 상기 조건들은 표시되는 그래픽 오브젝트와 연관된 사용자 입력과 연관될 수 있다.
예를 들어 상기 조건은 노말 스테이지들을 전환하기 위한 조건이며, 메인 오브젝트(202a) 및 서브 오브젝트(202b)와는 별도의 다른 오브젝트(이하 주변 오브젝트)에 대한 사용자 입력에 의해 판단되는 조건일 수 있다. 일 예로 도 17a를 참조하면, 전자 장치(603)(예: 프로세서)는 메인 오브젝트(1701a)와 서브 오브젝트(1702a)와 별도로 표시되는 조건 오브젝트(1710a)에 대한 사용자 입력에 기반하여 조건의 만족 여부를 판단할 수 있다. 예를 들어, 전자 장치(603)(예: 프로세서)는 사용자 입력에 의해 상기 조건 오브젝트(1710a)의 위치가 변경됨에 따라서 생성되는 라인(L1, L2)에 의해 소정의 도형(예: 사각형)이 형성되는 경우 조건이 만족되는 것으로 판단하고, 형성되지 않는 경우 조건이 불만족되는 것으로 판단할 수 있다.
또 예를 들어 상기 조건은 노말 스테이지와 데스 스테이지 간의 전환을 위한 조건으로서, 메인 오브젝트(202a)에 대한 사용자 입력에 의해 판단되는 조건일 수 있다. 일 예로 도 17b를 참조하면, 전자 장치(603)(예: 프로세서)는 특정 시간 동안 메인 오브젝트(1701c)(및/또는 서브 오브제트(1702c))에 대한 사용자 입력이 식별되지 않는 경우 노말 스테이지를 데스 스테이지로 전환하기 위한 상기 조건이 만족된 것으로 판단하고, 상기 사용자 입력이 특정 시간 동안 식별되는 경우 노말 스테이지를 데스 스테이지로 전환하기 위한 조건이 불만족된 것으로 판단할 수 있다.
한편 도시 및/또는 기재된 예에 제한되지 않고, 전자 장치(603)(예: 프로세서)는 그래픽 오브젝트(201)(예: 메인 오브젝트(202a), 서브 오브젝트(202b))에 대한 특정 시간(예: 해당 스테이지의 오디오 소스(201)의 재생 시간, 또는 재생 시간의 특정 비율의 시간) 동안의 사용자 입력의 횟수가 임계 횟수 이상인지(또는 초과하는지), 재생 시간 중 특정 마디(예: 재생 시간의 종료 시점으로부터 기설정된 마디들) 내에서 특정 박자(예: 정 박자, 또는 반 박자)를 만족하는 사용자 입력의 횟수가 임계 횟수 이상인지(또는 초과하는지) 여부에 따라서 스테이지 간의 전환(예: 노말 스테이지 간의 전환, 노말 스테이지와 데스 스테이지 간의 전환)을 위한 조건의 만족 여부를 판단할 수도 있다.
한편 기재된 예에 제한되지 않고, 사용자 입력과 연관된 조건의 만족 여부와는 관계 없이 특정 스테이지의 재생 시간이 경과된 이후, 전자 장치(603)(예: 프로세서)는 현재 스테이지를 다른 스테이지로 전환할 수도 있다.
다양한 실시예들에 따르면, 전자 장치(603)(예: 프로세서)는 조건이 만족된 것으로 판단된 경우(1507-예), 1509 동작에서 복수의 제2 그래픽 오브젝트들을 포함하는 제2 실행 화면을 표시하면서 적어도 하나의 제2 오디오 소스에 기반하여 제2 사운드를 출력하고, 1511 동작에서 제2 사용자 입력을 수신하고, 1513 동작에서 제2 사용자 입력에 대응하는 제2 스킴에 기반하여 적어도 하나의 제1 오디오 소스를 제어한 것에 기반하여 제3 사운드를 출력하면서 그래픽 오브젝트의 시각적 속성을 변경할 수 있다. 예를 들어, 전자 장치(603)는 도 17a에 도시된 바와 같이 주변 오브젝트(1710a)가 이동되는 궤적(L2)에 의해 특정 도형(예: 사각형)이 형성되는 경우, 조건이 만족된 것으로 판단하고 다른 스테이지로 전환할 수 있다. 이에 따라, 전자 장치(603)는 다른 그래픽 오브젝트들(1701b, 1702b)을 포함하는 실행 화면을 표시하면서, 이전 스테이지에서 재생되는 오디오 소스와는 다른 오디오 소스를 재생할 수 있다. 또 예를 들어, 전자 장치(603)는 도 17b에 도시된 바와 같이 특정 시간 동안 메인 오브젝트(1701c)에 대한 사용자 입력이 수신되지 않는 경우 노말 스테이지를 데스 스테이지로 전환하기 위한 조건이 만족되는 것으로 판단하고, 데스 스테이지로 전환할 수 있다. 이 경우, 전자 장치(603)는 메인 오브젝트(1701c)의 크기를 크게 변경하면서 메인 오브젝트(1710c) 또는 배경 중 적어도 하나의 색을 어두운 색으로 제어하고, 오디오 소스(201)의 재생 속도를 느리게 제어할 수 있다. 한편 도 17b에 도시된 바와 같이, 전자 장치(603)는 데스 스테이지 상태에서 메인 오브젝트(1701c)에 대한 사용자 입력이 수신되는 경우, 데스 스테이지를 노말 스테이지로 전환하고, 다시 메인 오브젝트(1710c)의 크기를 감소시키고 메인 오브젝트(1710c) 또는 배경 중 적어도 하나의 색을 밝은 색으로 제어하고(또는 기존의 노말 스테이지에 대응하는 상태로 설정하고), 오디오 소스(201)의 재생 속도를 빠르게 제어할 수 있다(또는 기존의 노말 스테이지에 대응하는 상태로 설정할 수 있다).
다양한 실시예들에 따르면, 전자 장치(603)(예: 프로세서)는 조건이 만족되지 않은 것으로 판단된 경우(1507-아니오), 1509 동작에서 복수의 제1 그래픽 오브젝트들을 포함하는 제1 실행 화면을 표시하면서 적어도 하나의 제1 오디오 소스에 기반하여 제1 사운드를 출력하고, 1511 동작에서 제3 사용자 입력을 수신하고, 1513 동작에서 제3 사용자 입력에 대응하는 제3 스킴에 기반하여 적어도 하나의 제1 오디오 소스를 제어한 것에 기반하여 제4 사운드를 출력하면서 그래픽 오브젝트의 시각적 속성을 변경할 수 있다. 예를 들어, 전자 장치(603)는 전술한 조건이 불만족되는 경우에는, 현재 스테이지를 유지할 수 있다. 이 경우, 전자 장치(603)는 사용자 입력이 수신됨에 따른 전술한 기능들을 수행할 수 있다. 상기 전자 장치(603)의 1509 동작, 1511 동작, 및 1513 동작은, 전술한 전자 장치(603)의 1005 동작, 1007 동작, 및 1009 동작과 같이 수행될 수 있으므로 중복되는 설명은 생략한다.

Claims (10)

  1. 사용자와의 인터랙션을 기초로 한 음악 파일 재생 방법으로서,
    적어도 하나의 오브젝트를 포함하는 실행 화면을 표시하면서, 적어도 하나의 오디오 소스에 기반하여 제1 사운드를 출력하는 동작;
    상기 적어도 하나의 그래픽 오브젝트 중 특정 그래픽 오브젝트에 대한 제1 사용자 입력을 수신하는 동작;
    상기 특정 그래픽 오브젝트의 시각적 속성을 변경하는 동작; 및
    상기 특정 그래픽 오브젝트 및 상기 제1 사용자 입력에 대응하는 스킴에 기반하여 상기 적어도 하나의 오디오 소스를 제어한 것에 기반하여, 상기 제1 사운드와는 다른 사운드를 출력하는 동작;을 포함하는,
    재생 방법.
  2. 제1 항에 있어서,
    제2 사용자 입력을 수신하는 동작;
    상기 제2 사용자 입력의 종류를 식별하는 동작;을 더 포함하고,
    상기 제2 사용자 입력의 종류가 줌-인 입력인 경우, 상기 적어도 하나의 오디오 소스의 재생 속도가 빠르게 제어되고,
    상기 제2 사용자 입력의 종류가 줌-아웃 입력인 경우, 상기 적어도 하나의 오디오 소스의 재생 속도가 느리게 제어되고,
    재생 방법.
  3. 제2항에 있어서,
    상기 적어도 하나의 오디오 소스의 재생 속도의 변화에 따라 제1 오디오 이펙트를 출력하는 동작;을 더 포함하는,
    재생 방법.
  4. 제1항에 있어서, 상기 특정 그래픽 오브제트는 메인 오브젝트이고,
    상기 메인 오브젝트에 대한 상기 제1 사용자 입력과 연관된 조건의 만족 여부를 판단하는 동작;을 더 포함하고, 상기 조건은 제1 사용자 입력의 특정 시간 동안 만큼의 횟수와 연관되고,
    상기 조건이 만족되는 경우, 상기 적어도 하나의 그래픽 오브젝트의 색상이 더 어두운 색상으로 제어되며, 상기 적어도 하나의 오디오 소스의 재생 속도가 느리게 제어되고,
    상기 조건이 불만족되는 경우, 상기 적어도 하나의 그래픽 오브젝트의 상기 색상이 유지되며, 상기 적어도 하나의 오디오 소스의 재생 속도가 유지되는,
    재생 방법.
  5. 제1항에 있어서, 상기 특정 그래픽 오브제트는 주변 오브젝트이고,
    상기 주변 오브젝트에 대한 상기 제1 사용자 입력과 연관된 조건의 만족 여부를 판단하는 동작;을 더 포함하고, 상기 조건은 상기 제1 사용자 입력의 움직임 궤적과 연관되고,
    상기 조건이 만족되는 경우, 상기 적어도 하나의 오디오 소스와는 다른 적어도 하나의 제1 오디오 소스가 재생되고, 상기 적어도 하나의 오디오 소스는 제1 재생 구간에 대응하고, 상기 적어도 하나의 제1 오디오 소스는 상기 제1 재생 구간과는 다른 제2 재생 구간에 대응하고,
    상기 조건이 불만족되는 경우, 상기 적어도 하나의 오디오 소스가 반복 재생되는,
    음악 재생 방법.
  6. 제2항에 있어서,
    상기 제2 사용자 입력의 종류가 상기 음악 재생 방법이 수행되는 전자 장치를 특정 모션으로 움직이는 입력인 경우, 상기 적어도 하나의 오디오 소스의 특정 구간이 반복 재생되는,
    재생 방법.
  7. 제1항에 있어서, 상기 적어도 하나의 그래픽 오브젝트는 메인 그래픽 오브젝트 및 복수의 서브 그래픽 오브젝트들을 포함하고,
    상기 메인 그래픽 오브젝트의 위치가 특정 영역 내로 위치된 동안, 상기 복수의 서브 그래픽 오브젝트들을 상기 특정 영역 바깥으로 이동 시키는 동작;을 더 포함하는,
    재생 방법.
  8. 제7항에 있어서,
    상기 특정 그래픽 오브젝트가 메인 그래픽 오브젝트인 경우, 상기 메인 그래픽 오브젝트의 시각적 속성을 변경하면서, 상기 메인 그래픽 오브젝트 및 상기 제1 사용자 입력에 대응하는 스킴에 기반하여 상기 적어도 하나의 오디오 소스를 제어한 것에 기반하여, 상기 제1 사운드와는 다른 제2 사운드를 출력하는 동작; 및
    상기 특정 그래픽 오브젝트가 서브 그래픽 오브젝트인 경우, 상기 서브 그래픽 오브젝트의 시각적 속성을 변경하면서, 상기 서브 그래픽 오브젝트 및 상기 제1 사용자 입력에 대응하는 스킴에 기반하여 상기 적어도 하나의 오디오 소스를 제어한 것에 기반하여, 상기 제1 사운드와는 다른 제3 사운드를 출력하는 동작;을 더 포함하는,
    재생 방법.
  9. 제1항에 있어서, 상기 적어도 하나의 오디오 소스는 특정 재생 구간에 대응하고, 상기 스킴은 상기 특정 재생 구간에 대응하고,
    제2 사용자 입력을 수신하는 동작;
    상기 제2 사용자 입력의 종류를 식별하는 동작;
    상기 제2 사용자 입력의 종류가 상기 적어도 하나의 그래픽 오브젝트의 위치에 수신되는 경우 식별되는 종류의 입력인 경우, 상기 특정 재생 구간에 대응하는 상기 스킴에 기반하여 상기 적어도 하나의 오디오 소스의 상기 속성을 제어하는 동작; 및
    상기 제2 사용자 입력의 종류가 상기 적어도 하나의 그래픽 오브젝트의 위치에 대응하는 위치에 수신되지 않더라도 식별되는 종류의 입력인 경우, 상기 특정 재생 구간과는 무관한 스킴에 기반하여 상기 적어도 하나의 오디오 소소의 상기 속성을 제어하는 동작;을 포함하는,
    재생 방법.
  10. 비-일시적 매체에 저장되는 전자 장치에 의해 실행 가능한 코드로서, 상기 코드가 실행되는 경우 상기 전자 장치가:
    적어도 하나의 오브젝트를 포함하는 실행 화면을 표시하면서, 적어도 하나의 오디오 소스에 기반하여 제1 사운드를 출력하는 동작;
    상기 적어도 하나의 그래픽 오브젝트 중 특정 그래픽 오브젝트에 대한 제1 사용자 입력을 수신하는 동작;
    상기 특정 그래픽 오브젝트의 시각적 속성을 변경하는 동작; 및
    상기 특정 그래픽 오브젝트 및 상기 제1 사용자 입력에 대응하는 스킴에 기반하여 상기 적어도 하나의 오디오 소스를 제어한 것에 기반하여, 상기 제1 사운드와는 다른 사운드를 출력하는 동작;을 수행하도록 설정된,
    실행 가능한 코드.
KR1020220043587A 2021-04-08 2022-04-07 사용자 입력에 기반하여 사운드를 제공하는 전자 장치 및 그 동작 방법 KR20220139819A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210045930 2021-04-08
KR1020210045930 2021-04-08

Publications (1)

Publication Number Publication Date
KR20220139819A true KR20220139819A (ko) 2022-10-17

Family

ID=83546498

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220043587A KR20220139819A (ko) 2021-04-08 2022-04-07 사용자 입력에 기반하여 사운드를 제공하는 전자 장치 및 그 동작 방법

Country Status (2)

Country Link
KR (1) KR20220139819A (ko)
WO (1) WO2022216099A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4337158B2 (ja) * 1999-01-20 2009-09-30 ソニー株式会社 情報提供装置及び情報提供方法
KR100842733B1 (ko) * 2007-02-05 2008-07-01 삼성전자주식회사 터치스크린을 구비한 멀티미디어 재생장치의 사용자인터페이스 방법
WO2015180067A1 (zh) * 2014-05-28 2015-12-03 华为技术有限公司 一种播放媒体的方法及终端
KR102252665B1 (ko) * 2014-09-01 2021-05-17 삼성전자주식회사 오디오 파일 재생 방법 및 장치
CN113966503A (zh) * 2019-06-01 2022-01-21 苹果公司 用于管理音频暴露的用户界面

Also Published As

Publication number Publication date
WO2022216099A1 (ko) 2022-10-13

Similar Documents

Publication Publication Date Title
US11962993B2 (en) Grouping and transport of audio objects
US8134061B2 (en) System for musically interacting avatars
CN1808566B (zh) 重放装置和方法
US20190018644A1 (en) Soundsharing capabilities application
KR102523135B1 (ko) 전자 장치 및 전자 장치에 의한 자막 표현 방법
CN113823250B (zh) 音频播放方法、装置、终端及存储介质
US8829323B2 (en) System and method for single-user control of multiple roles within a music simulation
CN107004035A (zh) 音乐播放方法、装置及音乐播放设备
KR20110130952A (ko) 연주게임을 위한 방법, 장치 및 기록매체
CN113407275A (zh) 音频编辑方法、装置、设备及可读存储介质
WO2018155480A1 (ja) 情報処理方法および情報処理装置
KR20220139819A (ko) 사용자 입력에 기반하여 사운드를 제공하는 전자 장치 및 그 동작 방법
CN107741840A (zh) 音乐播放处理方法、设备及计算机可读存储介质
JP7187472B2 (ja) データフォーマット
US11797267B2 (en) Method for playing audio source using user interaction and a music application using the same
KR102401550B1 (ko) 사용자의 인터랙션을 이용한 오디오 소스 재생 방법 및 이를 이용한 음악 어플리케이션
KR20230073114A (ko) 사용자 입력에 기반하여 사운드를 제공하는 전자 장치 및 그 동작 방법
KR20230073079A (ko) 사용자 입력에 기반하여 사운드를 제공하는 전자 장치 및 그 동작 방법
Plans Composer in Your Pocket: Procedural Music in Mobile Devices
CN113986191B (zh) 音频播放方法、装置、终端设备及存储介质
KR20220073713A (ko) 사용자의 인터랙션을 이용한 오디오 소스 재생 방법 및 이를 이용한 음악 어플리케이션
KR102135117B1 (ko) 가상환경 내의 사용자 행동에 따른 가청음의 사용자 인식 구조의 생성 방법 및 시스템
KR20220073043A (ko) 사용자의 인터랙션을 이용한 음악 재생 방법 및 이를 이용한 음악 어플리케이션
JP2022140156A (ja) ゲームプログラム、記録媒体、ゲーム処理方法
Norderval Electrifying Opera, Amplifying Agency: Designing a performer-controlled interactive audio system for opera singers

Legal Events

Date Code Title Description
E902 Notification of reason for refusal