KR102132905B1 - 단말 장치 및 그의 제어 방법 - Google Patents

단말 장치 및 그의 제어 방법 Download PDF

Info

Publication number
KR102132905B1
KR102132905B1 KR1020130051954A KR20130051954A KR102132905B1 KR 102132905 B1 KR102132905 B1 KR 102132905B1 KR 1020130051954 A KR1020130051954 A KR 1020130051954A KR 20130051954 A KR20130051954 A KR 20130051954A KR 102132905 B1 KR102132905 B1 KR 102132905B1
Authority
KR
South Korea
Prior art keywords
sound source
source data
pitch
user
terminal device
Prior art date
Application number
KR1020130051954A
Other languages
English (en)
Other versions
KR20130125333A (ko
Inventor
전상배
김선민
손상모
박재하
김정수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20130125333A publication Critical patent/KR20130125333A/ko
Application granted granted Critical
Publication of KR102132905B1 publication Critical patent/KR102132905B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Abstract

단말 장치가 개시된다. 본 단말 장치는 사용자 명령에 의해 생성된 음원 데이터를 편집하기 위한 터치 조작을 입력받는 사용자 인터페이스부, 사용자 터치 조작에 따라 편집된 음원 데이터를 출력하는 출력부 및 사용자 인터페이부를 통해 입력된 서로 다른 터치 조작에 따라 터치 조작에 대응되는 음원 데이터의 속성을 편집하여 출력하도록 출력부를 제어하는 제어부를 포함한다.

Description

단말 장치 및 그의 제어 방법 { TERMINAL DEVICE AND CONTROLLING METHOD THEREOF }
본 발명은 단말 장치 및 그의 제어 방법에 관한 것으로, 더욱 상세하게는 음악을 제작할 수 있는 단말 장치 및 그의 제어 방법에 관한 것이다.
최근 전자 기술의 발전으로, 사용자들은 휴대용 기기를 통해 언제 어디서나 다양한 음악을 감상할 수 있게 되었다. 예를 들어, 사용자들은 휴대용 기기에 음악을 저장하거나, 스트리밍 서비스를 통해 다양한 음악을 감상할 수 있다.
하지만, 종래에 사용자들은 이미 만들어진 음악만을 감상할 수밖에 없었다. 즉, 제작자 또는 가수들이 제작하여 배포한 음악을 제공받아 감상하기 때문에, 사용자들이 자신의 취향에 맞는 음악을 접하기에는 다소 제한적이었다.
이에 따라, 사용자들에 자신의 취향에 맞게 음악을 직접 제작하여 감상할 수 있는 방안의 모색이 요청된다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은 누구나 손쉽게 음악을 편집할 수 있는 단말 장치 및 그의 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 단말 장치는 사용자 명령에 의해 생성된 음원 데이터를 편집하기 위한 터치 조작을 입력받는 사용자 인터페이스부, 상기 사용자 터치 조작에 따라 편집된 음원 데이터를 출력하는 출력부 및 상기 사용자 인터페이부를 통해 입력된 서로 다른 터치 조작에 따라 상기 터치 조작에 대응되는 음원 데이터의 속성을 편집하여 출력하도록 상기 출력부를 제어하는 제어부를 포함한다.
여기에서, 상기 제어부는, 좌우 드래그 조작 및 상하 드래그 조작 중 적어도 하나에 기초하여 상기 음원 데이터의 템포(tempo) 및 피치(pitch) 중 적어도 하나를 편집할 수 있다.
또한, 본 실시 예에 따른 단말 장치는 음(音)을 갖는 사용자 음성을 수신하는 입력부를 더 포함하며, 상기 제어부는, 상기 사용자 음성의 피치(pitch) 및 온셋(onset) 중 적어도 하나를 검출하고, 상기 검출된 피치 및 온셋 중 적어도 하나를 기 설정된 기준 데이터와 비교하여 상기 사용자 음성을 보정하여 상기 음원 데이터를 생성할 수 있다.
그리고, 본 실시 예에 따른 단말 장치는 음(音)을 갖는 사용자 음성을 수신하는 입력부를 더 포함하며, 상기 제어부는, 상기 사용자 음성의 피치를 검출하고, 상기 검출된 피치 및 기설정된 셋팅값에 기초하여 상기 사용자 음성에 대응되는 코드(chord)를 생성하고 상기 생성된 코드를 상기 음원 데이터로 이용할 수 있다.
또한, 상기 제어부는, 이미지 데이터의 속성을 검출하고, 기 설정된 템포 및 코드를 기준 음원 데이터 중 상기 이미지 데이터의 속성에 대응되는 기준 음원 데이터를 상기 음원 데이터로 이용할 수 있다.
한편, 본 발명의 일 실시 예에 따른 단말 장치의 제어 방법은 사용자 명령에 의해 생성된 음원 데이터를 편집하기 위한 터치 조작을 입력받는 단계, 상기 입력된 서로 다른 터치 조작에 따라 상기 터치 조작에 대응되는 음원 데이터의 속성을 편집하는 단계 및, 상기 편집된 음원 데이터를 출력하는 단계를 포함한다.
여기에서, 상기 편집하는 단계는, 좌우 드래그 조작 및 상하 드래그 조작 중 적어도 하나에 기초하여 상기 음원 데이터의 템포(tempo) 및 피치(pitch) 중 적어도 하나를 편집할 수 있다.
또한, 본 실시 예에 따른 제어 방법은 음(音)을 갖는 사용자 음성을 수신하는 단계를 더 포함하며, 상기 편집하는 단계는, 상기 사용자 음성의 피치(pitch) 및 온셋(onset) 중 적어도 하나를 검출하고, 상기 검출된 피치 및 온셋 중 적어도 하나를 기 설정된 기준 데이터와 비교하여 상기 사용자 음성을 보정하여 상기 음원 데이터를 생성할 수 있다.
그리고, 본 실시 예에 따른 제어 방법은 음(音)을 갖는 사용자 음성을 수신하는 단계를 더 포함하며, 상기 편집하는 단계는, 상기 사용자 음성의 피치를 검출하고, 상기 검출된 피치 및 기설정된 셋팅값에 기초하여 상기 사용자 음성에 대응되는 코드(chord)를 생성하고 상기 생성된 코드를 상기 음원 데이터로 이용할 수 있다.
또한, 상기 편집하는 단계는, 이미지 데이터의 속성을 검출하고, 기 설정된 템포 및 코드를 기준 음원 데이터 중 상기 이미지 데이터의 속성에 대응되는 기준 음원 데이터를 상기 음원 데이터로 이용할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면 사용자들은 간단한 터치 조작에 따라 음원 데이터의 속성을 편집할 수 있다. 이에 따라, 사용자들은 자신의 취향에 맞는 음악을 직접 생성하여 감상할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 단말 장치의 구성을 설명하기 위한 블록도,
도 2 내지 도 6은 본 발명의 일 실시 예에 따라 음악 데이터를 편집하는 방법을 설명하기 위한 도면들, 그리고
도 7은 본 발명의 일 실시 예에 따른 단말 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부된 도면을 참조하여 본 발명을 상세하게 설명한다.
도 1은 본 발명의 일 실시 예에 따른 단말 장치의 구성을 설명하기 위한 블록도이다. 도 1에 따르면, 단말 장치(100)는 사용자 인터페이스부(110), 출력부(120) 및 제어부(130)를 포함한다.
도 1의 단말 장치(100)는 사용자가 손쉽게 뮤직 어써링(Music Authoring)을 수행하도록 다양한 인터페이스를 제공하며, 스마트 폰, 태블릿, TV, 데스크탑 PC, 노트북 등과 같은 다양한 형태의 전자 장치로 구현될 수 있다.
사용자 인터페이스부(110)는 다양한 사용자 조작을 입력받을 수 있다. 구체적으로, 사용자 인터페이스부(110)는 사용자 명령에 의해 생성된 음원 데이터를 편집하기 위한 터치 조작을 입력받을 수 있다.
여기에서, 음원 데이터는 하나 또는 그 이상의 악기로 연주된 코드 및 멜로디 중 적어도 하나로 구성될 수 있다.
이를 위해, 사용자 인터페이스부(110)는 터치 패널 또는 터치 스크린으로 구현되어, 사용자의 손가락 또는 스타일러스 등에 의한 터치 조작을 입력받아 제어부(130)로 제공할 수 있다. 특히, 사용자 인터페이스부(110)가 터치 스크린으로 구현되는 경우, 다양한 화면을 디스플레이할 수 있다.
출력부(120)는 사용자 터치 조작에 따라 편집된 음원 데이터를 출력한다. 이를 위해, 출력부(120)는 스피커, 오디오 출력 포트 등으로 구현될 수 있다.
제어부(130)는 단말 장치(100)의 전반적인 동작을 제어한다. 제어부(130)는 마이컴(또는, 마이컴 및 CPU(central processing unit)), 단말 장치(100)의 동작을 위한 RAM(Random Access Memory), ROM(Read Only Memory)을 포함할 수 있다. 이 경우, 이들 모듈은 SoC(System on Chip) 형태로 구현될 수도 있다.
특히, 제어부(130)는 사용자 인터페이스부(110)를 통해 입력된 서로 다른 터치 조작에 따라 터치 조작에 대응되는 음원 데이터의 속성을 편집하여 출력하도록 출력부(120)를 제어할 수 있다. 여기에서, 음원 데이터의 속성은 템포(tempo), 피치(pitch), 비브라토(vibrato)(또는, 암컨트롤), 코드 또는 멜로디를 연주하는(또는, 생성하는) 악기의 개수 중 적어도 하나를 포함할 수 있다.
즉, 제어부(130)는 터치 조작의 타입별로 매핑된 음원 데이터의 속성 중 입력된 터치 조작의 타입에 매핑된 속성을 판단하고, 입력된 터치 조작에 기초하여 판단된 음원 데이터의 속성을 편집할 수 있다. 이 경우, 제어부(130)는 터치 조작이 이루어진 방향 및 터치 조작이 이루어진 정도 중 적어도 하나를 고려하여 판단된 음원 데이터의 속성을 편집할 수 있다.
이하에서는 보다 구체적인 설명을 위해 도 2를 참조하도록 한다. 한편, 도 2에서는 단말 장치(100)가 스마트 폰으로 구현된 경우를 가정하도록 한다.
예를 들어, 좌/우 드래그 조작에 음원 데이터의 속성 중 템포 또는 피치가 매핑된 경우, 제어부(130)는 도 2a 및 도 2b와 같이 좌/우 드래그 조작이 입력되면 음원 데이터의 템포 또는 피치를 변경할 수 있다.
구체적으로, 제어부(130)는 좌측 방향의 드래그 조작이 입력되면 좌측 방향으로 드래그된 정도에 대응되도록 음원 데이터의 템포를 느리게하거나, 음원 데이터를 구성하는 음의 피치를 낮출 수 있다. 또한, 제어부(130)는 우측 방향의 드래그 조작이 입력되면 우측 방향으로 드래그된 정도에 대응되도록 음원 데이터의 템포를 빠르게 하거나, 음원 데이터를 구성하는 음의 피치를 높일 수 있다.
다른 예로, 좌/우 드래그 조작에 음원 데이터의 속성 중 템포가 매핑되고 상/하 드래그 조작에 음원 데이터의 속성 중 피치가 매핑된 경우, 제어부(130)는 도 2c와 같이 좌/우 드래그 조작이 입력되면 음원 데이터의 템포를 변경하고, 상/하 드래그 조작이 입력되면 음원 데이터를 구성하는 음의 피치를 변경할 수 있다.
구체적으로, 제어부(130)는 좌측 방향의 드래그 조작이 입력되면 좌측 방향으로 드래그된 정도에 대응되도록 음원 데이터의 템포를 느리게 하고, 우측 방향의 드래그 조작이 입력되면 우측 방향으로 드래그된 정도에 대응되도록 음원 데이터의 템포를 빠르게 할 수 있다. 또한, 제어부(130)는 상측 방향의 드래그 조작이 입력되면 상측 방향으로 드래그된 정도에 대응되도록 음원 데이터를 구성하는 음의 피치를 높일 수 있고, 하측 방향의 드래그 조작이 입력되면 하측 방향으로 드래그된 정도에 대응되도록 음원 데이터를 구성하는 음의 피치를 낮출 수 있다.
이와 같이, 제어부(130)는 좌우 드래그 조작 및 상하 드래그 조작 중 적어도 하나에 기초하여 음원 데이터의 템포 및 피치 중 적어도 하나를 편집할 수 있다.
한편, 제어부(130)는 음원 데이터의 템포뿐만 아니라, 터치 조작에 따라 멜로디 또는 코드를 구성하는 각 음의 길이를 변경할 수도 있다. 예를 들어, 제어부(130)는 사용자가 음원 데이터의 특정 음을 선택하고, 탭핑 조작이 입력되면 탭핑 조작의 정도에 대응되도록 선택된 음의 길이를 변경할 수도 있다. 가령, 제어부(130)는 숏 탭핑(short tapping)이 입력되는 경우, 해당 음이 스타카토로 출력되도록 제어할 수 있다.
또 다른 예로, 웨이브 터치 조작에 음원 데이터의 속성 중 비브라토(또는, 암컨트롤)가 매핑된 경우, 제어부(130)는 도 2d와 같이 웨이브 터치 조작이 입력되면 음원 데이터를 구성하는 음을 떨리게 할 수 있다.
이 경우, 제어부(130)는 입력된 웨이브 터치 조작에 의해 형성되는 파형의 진폭 및 주기를 고려하여 음원 데이터를 구성하는 음이 떨리는 정도를 결정할 수 있다. 이를 위해, 단말 장치(100)에는 기설정된 웨이브 터치 조작에 의해 형성되는 파형의 진폭 및 주기에 대응되는 음원 데이터의 기준 떨림 정도가 기저장되어 있을 수 있다. 이에 따라, 제어부(130)는 기저장된 기준 떨림 정도에 기초하여 입력된 웨이브 터치 조작에 의해 형성되는 파형의 진폭 및 주기에 대응되는 떨림 정도를 결정할 수 있다. 그리고, 제어부(130)는 결정된 떨림 정도에 대응되도록 음원 데이터를 구성하는 음을 떨리게 할 수 있다.
또 다른 예로, 핀치 인/핀치 아웃 조작에 음원 데이터의 속성 중 코드 또는 멜로디를 연주하는 악기의 개수가 매핑된 경우, 제어부(130)는 도 2e와 같이 핀치 인/핀치 아웃 조작이 입력되면 코드 또는 멜로디를 연주하는 악기의 개수를 변경할 수 있다.
구체적으로, 제어부(130)는 핀치 인 조작이 입력되면 핀치 인 조작이 이루어진 정도에 대응되도록 코드 또는 멜로디를 연주하는 악기의 개수를 늘리고, 핀치 아웃 조작이 입력되면 핀치 아웃 조작이 이루어진 정도에 대응되도록 코드 또는 멜로디를 연주하는 악기의 개수를 줄일 수 있다.
예를 들어, 제어부(130)는 음원 데이터가 5개의 악기를 통해 연주되는 코드를 포함하는 경우, 입력된 핀치 인 조작의 정도에 대응되도록 코드를 연주하는 악기의 개수를 4개, 3개,... 순으로 줄이고, 입력된 핀치 아웃 조작의 정도에 대응되도록 코드를 연주하는 악기의 개수를 6개, 7개,... 순으로 늘릴 수 있다.
한편, 제어부(130)는 사용자 명령에 따라 음원 데이터의 전 구간 또는 일부 구간의 속성을 편집할 수 있다.
즉, 제어부(130)는 전 구간의 속성을 편집하기 위한 사용자 명령이 입력되면, 음원 데이터의 전 구간에서 음의 템포, 피치, 비브라토, 악기의 개수 등을 변경할 수 있다. 그리고, 제어부(130)는 일부 구간의 속성을 편집하기 위한 사용자 명령이 입력되면, 음원 데이터의 전 구간 중 사용자에 의해 선택된 구간에서 음의 템포, 피치, 비브라토, 악기의 개수 등을 변경할 수 있다.
여기에서, 사용자 인터페이스부(110)가 터치 스크린으로 구현되는 경우, 제어부(130)는 변경의 대상이 전 구간 또는 일부 구간인지 여부를 선택받기 위한 메뉴를 디스플레이하도록 사용자 인터페이스부(110)를 제어할 수 있다. 그리고, 일부 구간이 선택된 경우, 제어부(130)는 속성이 변경되는 시간 구간을 지정하기 위한 별도의 메뉴를 디스플레이하도록 사용자 인터페이스부(110)를 제어할 수 있다. 이에 따라, 제어부(130)는 메뉴를 통해 선택된 시간 구간 내에서 음의 템포, 피치, 비브라토, 악기의 개수 등을 변경할 수 있다.
또한, 제어부(130)는 사용자 명령에 따라 음원 데이터를 구성하는 모든 악기 또는 일부 악기에 의해 생성된 음을 변경할 수 있다. 즉, 제어부(130)는 사용자 명령에 따라 선택된 모든 악기 또는 일부 악기에 의해 생성된 음의 템포, 피치, 비브라토 등을 변경할 수 있다.
여기에서, 사용자 인터페이스부(110)가 터치 스크린으로 구현되는 경우, 제어부(130)는 속성이 변경되는 음을 생성하는 악기를 선택받기 위한 메뉴를 디스플레이하도록 사용자 인터페이스부(110)를 제어할 수 있다. 예를 들어, 제어부(130)는 음원 데이터를 구성하는 악기에 대한 리스트를 디스플레이하고, 리스트 상에서 선택된 악기가 생성하는 음의 템포, 피치, 비브라토 등을 변경할 수 있다.
또한, 제어부(130)는 음원 데이터가 출력되고 있는 상태에서 터치 조작이 입력되면, 입력된 터치 조작에 따라 음원 데이터의 속성을 변경하여 출력할 수 있다. 즉, 제어부(130)는 음원 데이터를 출력하고 있는 도중 터치 조작이 입력되면, 터치 조작이 입력된 시점부터 속성이 변경된 음원 데이터를 연속적으로 출력할 수 있다. 예를 들어, 제어부(130)는 음원 데이터가 출력되고 있는 상태에서 우측 방향의 드래그 조작이 입력되면, 우측 방향의 드래그 조작이 입력된 시점에서부터 음원 데이터의 템포를 빠르게 변경하여 출력할 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 음원 데이터는 사용자 명령에 의해 생성된 데이터일 수 있다. 이하에서는 첨부된 도면을 참조하여 음원 데이터가 생성되는 과정에 대해 보다 구체적으로 설명하도록 한다.
도 3은 본 발명의 일 실시 예에 따른 단말 장치의 세부 구성을 설명하기 위한 블록도이다. 도 2에 따르면, 단말 장치(100)는 사용자 인터페이스부(110), 출력부(120) 및 제어부(130) 외에 디스플레이부(140), 입력부(150), 저장부(160) 및 통신부(170)를 더 포함할 수 있으며, 이들은 제어부(130)에 의해 제어될 수 있다. 한편, 도 3에 도시된 구성 요소 중 도 1에 도시된 구성요소와 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다.
디스플레이부(140)는 다양한 화면을 디스플레이한다. 특히, 디스플레이부(140)는 사용자 인터페이스부(110)와 함께 터치 스크린으로 구현되어, 사용자 명령을 입력받기 위한 다양한 화면을 디스플레이할 수 있다.
입력부(150)는 음(音)을 갖는 사용자 음성을 수신한다. 이를 위해, 입력부(150)는 마이크, 오디오 입력 포트 등으로 구현될 수 있다. 여기에서, 음을 갖는 사용자 음성은 사용자가 부르는 노래 및 허밍을 포함할 수 있다. 이에 따라, 음을 갖는 사용자 음성은 일정한 멜로디를 가질 수 있다.
먼저, 음을 갖는 사용자 음성이 사용자가 부르는 노래인 경우를 가정한다. 이 경우, 제어부(130)는 사용자 음성의 피치 및 온셋(onset) 중 적어도 하나를 검출하고, 검출된 피치 및 온셋 중 적어도 하나를 기설정된 기준 데이터와 비교하여 사용자 음성을 보정하여 음원 데이터를 생성할 수 있다. 여기에서, 기준 데이터는 악보를 포함하며, 단말 장치(100)에 기저장되어 있거나 외부 서버(미도시)로부터 수신받을 수 있다.
구체적으로, 제어부(130)는 사용자가 부르는 노래에서 각 음을 검출하여 각 음이 시작되는 시점인 온셋을 판단하고, 검출된 각 음의 피치를 판단할 수 있다. 그리고, 제어부(130)는 각 음이 시작되는 온셋 및 각 음의 피치를 기초로 노래하는 사용자 음성의 박자 및 피치를 분석할 수 있다. 여기에서, 박자는 일정한 수의 박(拍)이 모여서 음악적인 시간을 구성하는 기본 단위가 될 수 있다. 이와 같이, 제어부(130)는 사용자 음성의 피치와 박자를 분석함으로써, 사용자 음성을 악보화할 수 있다.
이후, 제어부(130)는 분석된 사용자 음성의 피치 및 박자를 기준 데이터의 피치 및 박자와 비교하여 사용자 음성의 피치 보정(pitch correction) 및 타임 스케일 수정(time-scale modification)을 수행할 수 있다. 이 경우, 기준 데이터는 사용자에 의해 설정될 수 있다. 즉, 제어부(130)는 기준 데이터에 대한 리스트를 디스플레이하도록 제어하고, 리스트 상에서 선택된 기준 데이터를 기초로 사용자 음성의 피치 보정 및 타임 스케일 수정을 수행할 수 있다.
구체적으로, 제어부(130)는 사용자 음성을 구성하는 각 음의 피치가 기준 데이터를 구성하는 각 음의 피치와 매칭되도록 사용자 음성을 구성하는 각 음의 피치를 주파수 축에서 보정할 수 있다. 그리고, 제어부(130)는 사용자 음성의 박자가 기준 데이터의 박자와 매칭되도록 사용자 음성을 구성하는 각 음의 온셋 위치 즉, 각 음이 시작되는 시점을 시간 축에서 조정할 수 있다.
한편, 상술한 예에서 기준 데이터가 악보인 것으로 설명하였으나 이는 일 예에 불과하다. 즉, 제어부(130)는 단말 장치(100)에 기저장되어 있거나, 외부 서버(미도시)로부터 수신된 음악 파일 또는 미디 파일의 피치 및 박자를 분석하고, 이를 사용자 음성을 보정하기 위한 기준 데이터로 사용할 수도 있다.
또한, 상술한 예에서 제어부(130)는 입력되는 사용자 음성을 저장한 후, 저장된 사용자 음성의 피치 및 박자에 대해 보정을 수행하여 음원 데이터를 생성할 수도 있다.
이와 같이, 제어부(130)는 사용자가 직접 부른 노래에서 피치나 박자가 어긋난 부분을 보정하여 음원 데이터를 생성할 수 있다.
다른 예로, 음을 갖는 사용자 음성이 사용자의 허밍인 경우를 가정한다. 이 경우, 제어부(130)는 사용자 음성의 피치를 검출하고, 검출된 피치 및 기설정된 셋팅 값에 기초하여 사용자 음성에 대응되는 코드(chord)를 생성하고, 생성된 코드를 음원 데이터로 이용할 수 있다. 여기에서, 셋팅값은 템포 및 장르를 포함할 수 있다.
구체적으로, 제어부(130)는 사용자의 허밍에서 각 음을 검출하여 각 음이 시작되는 시점인 온셋을 판단하고, 검출된 각 음의 피치를 판단할 수 있다. 그리고, 제어부(130)는 각 음이 시작되는 온셋 및 각 음의 피치를 기초로 사용자의 허밍의 박자 및 피치를 분석할 수 있다. 또한, 제어부(130)는 각 음의 피치를 기초로 사용자의 허밍이 갖는 멜로디를 판단할 수 있다.
이후, 제어부(130)는 기설정된 셋팅값을 이용하여 판단된 멜로디에 적합한 코드를 생성할 수 있다. 이를 위해, 단말 장치(100)는 셋팅값 별로 각 음의 피치에 대응되는 코드군을 기저장하고 있을 수 있다. 여기에서, 코드군은 셋팅값 별로 각 음의 피치에 대응되는 적어도 하나의 코드를 포함할 수 있다.
예를 들어, 셋팅값이 "템포: 120 bpm, 장르: 락"으로 사용자에 의해 설정된 경우를 가정한다. 이때, 제어부(130)는 한 마디를 구성하는 각 음의 피치가 "도, 미, 솔, 레"인 사용자의 허밍이 입력되면, 기설정된 셋팅값에 기초하여 해당 마디에 적합한 코드를 생성할 수 있다.
구체적으로, 제어부(130)는 기저장된 코드군 중에서 셋팅값이 "템포: 120 bpm, 장르: 락"일 때 "도, 미, 솔, 레"에 매칭된 코드군을 검출하고, 코드군 내에서 사용자에 의해 선택?? 코드를 해당 마디에 적합한 코드로 결정할 수 있다. 이를 위해, 제어부(130)는 코드군에 포함된 각 코드에 대한 리스트를 디스플레이하고, 리스트 상에서 선택된 코드를 해당 마디에 적합한 코드로 결정할 수 있다. 이때, 제어부(130)는 코드군에 포함된 각 코드를 가상 악기로 순차적으로 연주하여 사용자에게 제공할 수도 있다. 여기서, 가상 악기는 소프트웨어로 구현되는 악기를 의미한다.
그리고, 제어부(130)는 이와 같은 방법을 각 마디별로 순차적으로 수행하여, 각 마디별로 적합한 코드를 생성하고, 생성된 코드를 사용자의 음성이 갖는 멜로디와 결합하여 음원 데이터를 생성할 수 있다. 즉, 제어부(130)는 각 마디별로 생성된 코드와 사용자의 음성이 갖는 멜로디를 가상 악기로 연주하여 음원 데이터를 생성할 수 있다.
이 경우, 제어부(130)는 사용자에 의해 설정된 곡의 스타일(가령, 밝은, 우울한, 신나는 등) 또는 장르에 기초하여 코드를 연주하는 가상 악기를 선택할 수 있다. 이를 위해, 단말 장치(100)는 곡의 스타일 또는 장르별로 연주되는 가상 악기에 대한 정보를 저장할 수 있다. 제어부(130)는 사용자에 의해 설정된 곡의 스타일 또는 장르에 매칭된 가상 악기를 이용하여 코드를 연주하여 음원 데이터를 생성할 수 있다.
예를 들어, 사용자에 의해 곡의 스타일이 "신나는"으로 설정된 경우를 가정한다. 이 경우, 제어부(130)는 "신나는"에 매칭된 가상 악기인 기타, 베이스로 코드를 연주하고, 이를 멜로디와 결합하여 음원 데이터를 생성할 수 있다.
다만, 이는 일 예일 뿐, 제어부(130)는 사용자에 의해 선택된 가상 악기를 이용하여 코드 및 멜로디 중 적어도 하나를 연주하여 음원 데이터를 생성할 수도 있다. 구체적으로, 제어부(130)는 가상 악기에 대한 리스트를 디스플레이하고, 리스트 상에서 선택된 가상의 악기를 이용하여 코드 및 멜로디 중 적어도 하나를 연주하여 음원 데이터를 생성할 수 있다.
또한, 제어부(130)는 이미 생성된 코드를 변경하기 위한 사용자 명령에 따라 코드를 변경할 수도 있다. 구체적으로, 제어부(130)는 이미 생성된 코드를 각 마디별로 순차적으로 디스플레이하고, 그 중 하나의 코드가 선택되면 선택된 코드 외의 다른 코드에 대한 리스트를 디스플레이할 수 있다. 이 경우, 제어부(130)는 선택된 코드가 속하는 코드군 내의 다른 코드에 대한 리스트를 디스플레이하고, 기존 코드를 리스트 상에서 선택된 코드로 대체할 수 있다.
또한, 상술한 예에서는 사용자의 허밍에 기초하여 코드를 생성하는 것으로 설명하였으나 이는 일 예에 불과하다. 즉, 제어부(130)는 악보에서 각 음을 검출하여 멜로디를 추정하고, 추정된 멜로디를 이용하여 코드를 생성할 수도 있다. 이 경우, 악보는 단말 장치(100)에 기저장되어 있거나, 외부 서버(미도시)로부터 수신될 수도 있다. 뿐만 아니라, 악보는 화면 상에 터치 조작에 의해 사용자로부터 입력될 수도 있다.
또한, 상술한 예에서는 멜로디에 기초하여 코드를 생성하는 것으로 설명하였으나 이는 일 예에 불과하다.
구체적으로, 제어부(130)는 음악 파일에서 코드와 박자를 추출하고, 추출된 코드와 박자에 적합한 멜로디를 생성할 수도 있다. 이를 위해, 단말 장치(100)는 코드와 박자별로 매칭된 멜로디를 기저장할 수도 있다.
또한, 제어부(130)는 멜로디 없이 템포, 스타일, 장르만으로 코드를 생성하고, 생성된 코드에 적합한 멜로디를 생성할 수도 있다. 이를 위해, 단말 장치(100)는 템포, 스타일, 장르 별로 매칭된 코드를 기저장할 수 있다.
이와 같이, 제어부(130)는 사용자의 허밍에 부합하는 코드를 생성하여 음원 데이터를 생성할 수 있다.
한편, 상술한 실시 예들에서는 사용자의 음성을 입력받아 음원 데이터를 생성하는 것으로 설명하였으나, 이는 일 예에 불과하다.
즉, 제어부(130)는 Singing TTS(text to speech)를 이용하여 사용자의 음성을 생성하고, 이를 이용하여 음원 데이터를 생성할 수도 있다. 이를 위해, 단말 장치(100)는 이전에 입력된 사용자의 음성 또는 다른 사용자의 음성에서 포먼트(formants)를 검출하고, 이를 데이터베이스화하여 저장할 수 있다.
구체적으로, 제어부(130)는 특정 음악 데이터의 박자 및 피치를 분석하고, Singing TTS(text to speech)를 이용하여 분석된 박자와 피치에 사용자의 포먼트와 합성하여 음성을 생성할 수 있다. 그리고, 제어부(130)는 생성된 음성을 이용하여 음원 데이터를 생성할 수 있다. 이 경우, 제어부(130)는 저장된 각 포먼트에 대응되는 사용자에 대한 리스트를 디스플레이하고, 리스트 상에서 선택된 사용자에 대응되는 포먼트를 이용하여 음성을 생성할 수 있다.
여기에서, 특정 음악 데이터는 악보, 음악 파일, 단말 장치(100)에서 사용자 명령에 따라 생성된 음원 데이터 등을 포함할 수 있다. 또한, 제어부(130)는 사용자에 의해 입력된 가사 정보를 추가하여 Singing TTS(text to speech)를 통해 음성을 생성할 수 있다.
한편, 제어부(130)는 사용자의 음성이 아닌 이미지 데이터에 기초하여 음원 데이터를 생성할 수도 있다.
즉, 제어부(130)는 이미지 데이터의 속성을 검출하고, 기설정된 템포 및 코드를 갖는 기준 음원 데이터 중 이미지 데이터의 속성에 대응되는 기준 음원 데이터를 음원 데이터로 이용할 수 있다. 여기에서, 이미지 데이터는 사진 이미지 및 동영상을 포함할 수 있으며, 단말 장치(100)에 기저장되어 있거나, 외부 서버(미도시)로부터 수신될 수 있다.
구체적으로, 제어부(130)는 이미지 데이터의 메타데이터를 참조하여 이미지 데이터의 장르를 판단하고, 기설정된 템포 및 코드를 갖는 기준 음원 데이터 중에서 이미지 데이터의 장르에 매칭되는 기준 음원 데이터를 음원 데이터로 이용할 수 있다. 예를 들어, 동영상의 장르가 멜로인 경우, 제어부(130)는 각 장르별로 매칭된 기준 음원 데이터 중에서 멜로에 매칭된 기준 음원 데이터를 판단하고, 판단된 기준 음원 데이터를 음원 데이터로 이용할 수 있다.
또한, 제어부(130)는 이미지 데이터의 명암, 색채 등을 분석하고, 분석 결과에 대응되는 기준 음원 데이터를 음원 데이터로 이용할 수도 있다. 예를 들어, 제어부(130)는 사진 이미지의 명암 및 색채를 분석하고, 명암 및 색채별로 매칭된 기준 음원 데이터 중에서 사진 이미지의 명암 및 색채에 매칭된 기준 음원 데이터를 판단하고, 판단된 기준 음원 데이터를 음원 데이터로 이용할 수 있다. 이 경우, 기준 음원 데이터는 명암 및 색채가 밝을수록 신나는(또는, 밝은) 스타일의 음원 데이터가 매칭되어 있을 수 있다.
또한, 제어부(130)는 이미지 데이터의 모션을 분석하고, 분석 결과에 대응되는 기준 음원 데이터를 음원 데이터로 이용할 수도 있다. 예를 들어, 제어부(130)는 동영상의 모션을 분석하고, 모션 정도별로 매칭된 기준 음원 데이터 중에서 동영상의 모션에 매칭된 매칭된 기준 음원 데이터를 판단하고, 판단된 기준 음원 데이터를 음원 데이터로 이용할 수 있다. 이 경우, 기준 음원 데이터는 모션 정도가 클수록 즉, 동영상에 나타내는 객체의 움직임이 빠를수록 신나는(또는, 밝은) 스타일의 음원 데이터가 매칭되어 있을 수 있다.
그리고, 제어부(130)는 이미지 데이터의 속성에 기초하여 생성된 음원 데이터를 이미지 데이터에 결합하여 출력할 수 있다. 구체적으로, 제어부(130)는 이미지 데이터를 재생하는 사용자 명령이 입력되면, 이미지 데이터와 함께 이미지 데이터의 속성에 기초하여 생성된 음원 데이터를 출력할 수 있다. 이와 같이, 제어부(130)는 기존에 존재하던 음원 데이터가 아닌 이미지 데이터의 속성에 따라 생성된 음원 데이터를 이미지 데이터와 함께 출력할 수 있다.
한편, 상술한 예에서, 기준 음원 데이터는 이미지 데이터의 속성에 맞는 멜로디 및 코드 중 적어도 하나로 구성될 수 있다. 다만, 기준 음원 데이터가 이미지 데이터의 속성에 맞는 코드 또는 멜로디로 구성된 경우, 제어부(130)는 코드에 기초하여 멜로디를 생성하거나, 멜로디에 기초하여 코드를 생성한 후, 이들을 결합하여 음원 데이터를 생성할 수 있다. 예를 들어, 제어부(130)는 기설정된 셋팅값을 이용하여 멜로디에 적합한 코드를 생성할 수 있다.
한편, 음원 데이터는 복수의 악기로 연주된 코드 및 멜로디 중 적어도 하나를 포함할 수 있다. 이 경우, 제어부(130)는 스테레오 또는 다채널 구현 시 각 채널에서 출력되는 악기를 설정하기 위한 메뉴를 디스플레이할 수 있다. 이에 따라, 사용자는 메뉴를 통해 자신이 원하는 악기를 원하는 채널에서 출력되도록 할 수 있다.
예를 들어, 제어부(130)는 도 4와 같이 음원 데이터를 구성하는 복수의 악기에 대한 각 이미지를 디스플레이할 수 있다. 여기에서, 각 악기가 배치된 위치가 각 악기가 출력되는 채널을 나타낼 수 있다. 즉, 좌측에 위치한 피아노는 레프트 채널, 가운데 위치한 드럼은 레프트 채널 및 라이트 채널, 우측에 위치한 기타는 라이트 채널에서 출력됨을 나타낸다.
이 경우, 사용자는 터치 앤 드래그 조작을 통해 악기의 위치를 변경함으로써, 각 채널에서 출력되는 악기를 설정할 수 있다. 예를 들어, 도 4와 같은 경우, 제어부(130)는 드럼을 터치하여 좌측으로 이동시키는 드래그 조작이 입력되면, 드럼을 좌측에 위치시키고 드럼으로 연주된 코드가 레프트 채널에서 출력되도록 제어할 수 있다. 한편, 리버버레이션(reverberation)과 같은 room acoustic parameter들은 기설정되어 있거나, 사용자에 의해 설정 및 변경 가능하다.
한편, 제어부(130)는 이펙트(effect)가 부여될 수 있는 악기에 의해 연주된 코드 및 멜로디 중 하나로 음원 데이터가 구성되는 경우, 해당 악기에 대한 리스트를 디스플레이하고, 리스트 상에서 선택된 악기에 대해 사용자 명령에 기초하여 이펙트를 부여할 수 있다.
예를 들어, 기타, 베이스, 키보드 등과 관련된 악기들은 overdrive, modulation, fuzz, harmonizer 등과 같은 이펙트가 설정될 수 있다. 이에 따라, 제어부(130)는 기타, 베이스, 키보드 등과 관련된 악기로 음원 데이터가 구성되는 경우 해당 악기들의 이미지를 디스플레이하고, 이미지들 중에서 선택된 악기에 이펙트를 부여할 수 있다.
이 경우, 제어부(130)는 이펙트의 타입별로 서로 다른 터치 조작에 기초하여 악기에 이펙트를 부여할 수 있다.
예를 들어, 제어부(130)는 실제 악기에서 가변 저항 스위치를 돌려서 조절하는 이펙터의 경우, 도 5a와 같이 터치 조작에 따라 로테이션 가능한 GUI를 디스플레이하고, 해당 GUI에 입력된 터치 조작의 정도에 대응되도록 이펙트를 부여할 수 있다. 즉, 제어부(130)는 터치 조작에 따라 GUI가 시계 방향으로 로테이션되는 정도가 클수록 강한 이펙트를 부여하고, 터치 조작에 따라 GUI가 반시계 방향으로 로테이션되는 정도가 클수록 약한 이펙트를 부여할 수 있다. 다만, 제어부(130)는 리니어하게 조정가능한 GUI를 디스플레이하여 이펙트를 설정받을 수도 있다.
도한, 제어부(130)는 도 5b와 같이 터치 조작에 따라 리니어하게 이동 가능한 GUI를 디스플레이하고, 해당 GUI에 입력된 터치 조작의 정도에 대응되도록 이펙트를 부여할 수 있다. 즉, 제어부(130)는 터치 조작에 따라 GUI가 상측 방향으로 이동되는 정도가 클수록 강한 이펙트를 부여하고, 터치 조작에 따라 GUI가 하측 방향으로 이동되는 정도가 클수록 약한 이펙트를 부여할 수 있다.
또한, 제어부(130)는 실제 악기에서 페달에 의해 부여되는 이펙터의 경우, 도 5c와 같이 탭핑 조작에 기초하여 이펙트를 부여할 수 있다. 이 경우, 제어부(130)는 탭핑 조작이 입력된 시점마다 이펙트를 부여할 수 있다. 예를 들어, 제어부(130)는 와와 페달(wah-wah pedal)과 같은 이펙터의 경우, 탭핑 조작이 입력될 때마다 이펙트를 부여하여 이펙트가 설정된 악기 소리를 출력할 수 있다.
한편, 상술한 실시 예들에서, 제어부(130)는 악기에 의해 연주되는 코드 및 멜로디 중 하나를 출력하도록 출력부(120)를 제어하여, 터치 조작에 따라 이펙트가 적용된 악기 소리를 사용자에게 제공할 수 있다.
한편, 도 6은 음원 데이터의 속성을 편집하기 위한 터치 조작의 일 예를 나타낸다. 본 발명의 일 실시 예에 따르면, 제어부(130)는 도 6과 같이 입력되는 터치 조작의 타입에 따라 음원 데이터의 다양한 속성을 변경할 수 있다. 이에 대한 설명은 상술한바 있다는 점에서 구체적인 설명은 생략하도록 한다.
저장부(160)는 단말 장치(100)를 구동하고 제어하기 위한 각종 데이터, 운영 체제(Operating System: OS) 및 응용 프로그램을 저장한다. 특히, 제어부(130)는 음원 데이터의 속성을 편집할 수 있는 응용 프로그램을 실행하는 사용자 명령이 입력되면 해당 응용 프로그램을 실행하고, 입력되는 터치 조작에 따라 음원 데이터의 속성을 편집할 수 있다.
이를 위해, 저장부(160)는 비휘발성 메모리(가령, 플래시 메모리, EEROM(Electrically Erasable ROM)), 하드 디스크 등과 같은 저장 매체로 구현될 수 있다.
통신부(170)는 네트워크와 통신을 수행한다. 이에 따라, 제어부(130)는 외부 서버(미도시)와 통신을 수행하여 뮤직 어써링에 요구되는 다양한 데이터를 송수신받도록 통신부(170)를 제어할 수 있다.
한편, 단말 장치(100)는 음악 제작 중 사용자가 특정 코드를 선택한 경우 해당 코드로 기 제작된 음원 데이터를 음악 제작에 참고할 수 있는 서비스를 제공할 수 있다.
예를 들어, 본 발명에 따른 자동 작곡 알고리즘으로 코드를 생성하였을 경우, 멜로디를 생성하거나 코드를 수정하는 과정에서 해당 코드로 연주된 기 제작곡(예를 들어, 유명한 곡)을 검색하여 사용자에게 청취 기회를 제공함으로써 작곡/편곡에 참고 가능하도록 할 수 있다.
구체적으로, 제어부(130)는 다양한 음원 데이터를 데이터베이스화하여 관리하는 외부 서버(미도시)에 코드 정보를 전송하고, 해당 코드 정보에 대응되는 음원 데이터를 수신하여 출력할 수 있다.
또한, 음악 제작 중 사용자가 특정 코드를 선택한 경우 해당 코드에 대응되는 멜로디 데이터를 음악 제작에 이용할 있는 서비스를 제공할 수 있다.
예를 들어, 단말 장치(100)에서 악기 종류, 코드, 장르, 무드 중 적어도 하나가 선택되면, 제어부(130)는 해당 선택 정보를 다양한 멜로디 데이터를 데이터베이스화하여 관리하는 외부 서버(미도시)로 전송하고, 해당 선택 정보에 대응되는 멜로디 데이터를 수신할 수 있다. 여기서, 멜로디 데이터는 우수한 성능의 가상 악기로 합성된 멜로디 데이터, 타 사용자가 실제로 녹음한 멜로디 데이터, 특정 컨텐츠 제공자에 의해 제작된 멜로디 데이터 등이 될 수 있다.
구체적으로, 단말 장치(100)는 해당 선택 정보와 관련된 멜로디 리스트를 수신하여 출력하고, 해당 멜로디 리스트에서 적어도 하나의 멜로디가 선택되면 해당 멜로디 데이터를 구매 절차를 통해 구매할 수 있다. 즉, 결제를 통해 해당 멜로디 데이터 및 라이센스를 다운로드할 수 있다. 이 경우, 외부 서버(미도시)에서는 해당 멜로디 리스트에서 선택된 멜로디에 대해 미리 듣기 기능을 스트리밍 형태로 지원할 수 있음을 물론이다.
또한, 음악 제작 중 사용자가 특정 코드를 선택한 경우 해당 코드에 대응되는 가상 악기 자체를 제공하는 서비스를 제공할 수 있다.
예를 들어, 단말 장치(100)에서 악기 종류, 코드, 장르, 무드 중 적어도 하나가 선택되면, 제어부(130)는 해당 선택 정보를 다양한 가상 악기를 데이터베이스화하여 관리하는 외부 서버(미도시)로 전송하고, 해당 선택 정보에 대응되는 가상 악기를 수신하여 음악 제작에 이용할 수 있다. 여기서, 가상 악기는 소프트웨어로 구현되는 악기를 의미한다.
구체적으로, 단말 장치(100)는 해당 선택 정보와 관련된 가상 악기 리스트를 수신하여 출력하고, 해당 가상 악기 리스트에서 적어도 하나의 가상 악기가 선택되면 해당 가상 악기를 구매 절차를 통해 구매할 수 있다. 즉, 결제를 통해 해당 가상 악기 및 라이선스를 다운로드할 수 있다. 이 경우, 외부 서버(미도시)에서는 해당 가상 악기 리스트에서 선택된 가상 악기의 연주 샘플에 대한 미리 듣기 기능을 스트리밍 형태로 지원할 수 있음을 물론이다.
도 7은 본 발명의 일 실시 예에 따른 단말 장치의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 사용자 명령에 의해 생성된 음원 데이터를 편집하기 위한 터치 조작을 입력받는다(S710).
이후, 입력된 서로 다른 터치 조작에 따라 상기 터치 조작에 대응되는 음원 데이터의 속성을 편집한다(S720).
구체적으로, 좌우 드래그 조작 및 상하 드래그 조작 중 적어도 하나에 기초하여 음원 데이터의 템포(tempo) 및 피치(pitch) 중 적어도 하나를 편집할 수 있다.
한편, 음(音)을 갖는 사용자 음성을 수신할 수 있다. 이 경우, 사용자 음성의 피치(pitch) 및 온셋(onset) 중 적어도 하나를 검출하고, 검출된 피치 및 온셋 중 적어도 하나를 기 설정된 기준 데이터와 비교하여 사용자 음성을 보정하여 음원 데이터를 생성할 수 있다.
또한, 음(音)을 갖는 사용자 음성을 수신할 수 있다. 이 경우, 사용자 음성의 피치를 검출하고, 검출된 피치 및 기설정된 셋팅값에 기초하여 사용자 음성에 대응되는 코드(chord)를 생성하고 생성된 코드를 음원 데이터로 이용할 수 있다.
또한, 이미지 데이터의 속성을 검출하고, 기 설정된 템포 및 코드를 기준 음원 데이터 중 이미지 데이터의 속성에 대응되는 기준 음원 데이터를 음원 데이터로 이용할 수 있다.
그리고, 편집된 음원 데이터를 출력한다(S730).
이에 대한 구체적인 설명은 도 1 내지 도 6에서 상술한 바 있다.
또한, 본 발명에 따른 제어 방법을 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 단말 장치에 대해 도시한 상술한 블록도에서는 버스(bus)를 미도시하였으나, 단말 장치에서 각 구성요소 간의 통신은 버스를 통해 이루어질 수도 있다. 또한, 각 단말 장치에는 상술한 다양한 단계를 수행하는 CPU, 마이크로 프로세서 등과 같은 프로세서가 더 포함될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 단말 장치 110 : 사용자 인터페이스부
120 : 출력부 130 : 제어부

Claims (10)

  1. 사용자 인터페이스부;
    출력부; 및
    상기 사용자 인터페이스부를 통해 입력된 터치 조작에 기초하여, 음원 데이터의 복수의 속성 중에서 상기 터치 조작의 타입에 대응되는 상기 음원 데이터의 속성을 변경하고, 상기 음원 데이터를 상기 변경된 속성으로 출력하도록 상기 출력부를 제어하는 제어부;를 포함하며,
    상기 변경된 속성은,
    상기 음원 데이터의 템포(tempo), 피치(pitch), 길이, 비브라토(vibrato) 및 악기의 개수 중 적어도 하나를 포함하는 단말 장치.
  2. 제1항에 있어서,
    상기 터치 조작의 타입은, 좌우 드래그 조작 및 상하 드래그 조작 중 적어도 하나를 포함하며,
    상기 제어부는,
    상기 좌우 드래그 조작 및 상기 상하 드래그 조작 중 적어도 하나에 기초하여 상기 음원 데이터의 상기 템포 및 상기 피치 중 적어도 하나를 변경하는 것을 특징으로 하는 단말 장치.
  3. 제1항에 있어서,
    음(音)을 갖는 사용자 음성을 수신하는 입력부;를 더 포함하며,
    상기 제어부는,
    상기 사용자 음성의 피치(pitch) 및 온셋(onset) 중 적어도 하나를 검출하고, 상기 검출된 피치 및 온셋 중 적어도 하나를 기 설정된 기준 데이터와 비교하여 상기 사용자 음성을 보정하여 상기 음원 데이터를 생성하는 것을 특징으로 하는 단말 장치.
  4. 제1항에 있어서,
    음(音)을 갖는 사용자 음성을 수신하는 입력부;를 더 포함하며,
    상기 제어부는,
    상기 사용자 음성의 피치를 검출하고, 상기 검출된 피치 및 기설정된 셋팅값에 기초하여 상기 사용자 음성에 대응되는 코드(chord)를 생성하고 상기 생성된 코드를 상기 음원 데이터로 이용하는 것을 특징으로 하는 단말 장치.
  5. 제1항에 있어서,
    상기 제어부는,
    이미지 데이터의 속성을 검출하고, 기 설정된 템포 및 코드를 갖는 기준 음원 데이터 중 상기 이미지 데이터의 속성에 대응되는 기준 음원 데이터를 상기 음원 데이터로 이용하는 것을 특징으로 하는 단말 장치.
  6. 단말 장치의 제어 방법에 있어서,
    터치 조작을 입력받는 단계;
    상기 입력된 터치 조작에 기초하여, 음원 데이터의 복수의 속성 중에서 상기 터치 조작의 타입에 대응되는 상기 음원 데이터의 속성을 변경하는 단계; 및
    상기 음원 데이터를 상기 변경된 속성으로 출력하는 단계;를 포함하며,
    상기 변경된 속성은,
    상기 음원 데이터의 템포(tempo), 피치(pitch), 길이, 비브라토(vibrato) 및 악기의 개수 중 적어도 하나를 포함하는 제어 방법.
  7. 제6항에 있어서,
    상기 터치 조작의 타입은, 좌우 드래그 조작 및 상하 드래그 조작 중 적어도 하나를 포함하며,
    상기 변경하는 단계는,
    상기 좌우 드래그 조작 및 상기 상하 드래그 조작 중 적어도 하나에 기초하여, 상기 음원 데이터의 상기 템포 및 상기 피치 중 적어도 하나를 변경하는 것을 특징으로 하는 제어 방법.
  8. 제6항에 있어서,
    음(音)을 갖는 사용자 음성을 수신하는 단계;
    상기 사용자 음성의 피치(pitch) 및 온셋(onset) 중 적어도 하나를 검출하는 단계; 및
    상기 검출된 피치 및 온셋 중 적어도 하나를 기 설정된 기준 데이터와 비교하여 상기 사용자 음성을 보정하여 상기 음원 데이터를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  9. 제6항에 있어서,
    음(音)을 갖는 사용자 음성을 수신하는 단계;
    상기 사용자 음성의 피치를 검출하는 단계;
    상기 검출된 피치 및 기설정된 셋팅값에 기초하여 상기 사용자 음성에 대응되는 코드(chord)를 생성하는 단계; 및
    상기 생성된 코드를 상기 음원 데이터로 이용하도록 결정하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  10. 제6항에 있어서,
    이미지 데이터의 속성을 검출하는 단계; 및
    기 설정된 템포 및 코드를 갖는 기준 음원 데이터 중 상기 이미지 데이터의 속성에 대응되는 기준 음원 데이터를 상기 음원 데이터로 이용하도록 결정하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
KR1020130051954A 2012-05-08 2013-05-08 단말 장치 및 그의 제어 방법 KR102132905B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261644136P 2012-05-08 2012-05-08
US61/644,136 2012-05-08

Publications (2)

Publication Number Publication Date
KR20130125333A KR20130125333A (ko) 2013-11-18
KR102132905B1 true KR102132905B1 (ko) 2020-07-10

Family

ID=49853791

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130051954A KR102132905B1 (ko) 2012-05-08 2013-05-08 단말 장치 및 그의 제어 방법

Country Status (1)

Country Link
KR (1) KR102132905B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101942814B1 (ko) * 2017-08-10 2019-01-29 주식회사 쿨잼컴퍼니 사용자 허밍 멜로디 기반 반주 제공 방법 및 이를 위한 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4499735B2 (ja) * 2004-08-30 2010-07-07 パイオニア株式会社 画像表示制御装置及び画像表示方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100119257A (ko) * 2009-04-30 2010-11-09 (주)인피니티텔레콤 음악 제작이 가능한 이동통신 단말기 및 그 제작 방법
KR101611511B1 (ko) * 2009-05-12 2016-04-12 삼성전자주식회사 터치스크린을 구비한 휴대 단말기를 이용한 음악 생성 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4499735B2 (ja) * 2004-08-30 2010-07-07 パイオニア株式会社 画像表示制御装置及び画像表示方法

Also Published As

Publication number Publication date
KR20130125333A (ko) 2013-11-18

Similar Documents

Publication Publication Date Title
US11430418B2 (en) Automatically managing the musical tastes and preferences of system users based on user feedback and autonomous analysis of music automatically composed and generated by an automated music composition and generation system
US10854180B2 (en) Method of and system for controlling the qualities of musical energy embodied in and expressed by digital music to be automatically composed and generated by an automated music composition and generation engine
US20210295811A1 (en) Mapping characteristics of music into a visual display
US9928817B2 (en) User interfaces for virtual instruments
Goto et al. Music interfaces based on automatic music signal analysis: new ways to create and listen to music
US20120014673A1 (en) Video and audio content system
US9355634B2 (en) Voice synthesis device, voice synthesis method, and recording medium having a voice synthesis program stored thereon
JP2016136251A (ja) 音楽コンテンツ及びリアルタイム音楽伴奏の自動採譜
WO2013039610A1 (en) System and method for providing audio for a requested note using a render cache
WO2013028315A1 (en) System and method for producing a more harmonious musical accompaniment and for applying a chain of effects to a musical composition
US10497347B2 (en) Singing voice edit assistant method and singing voice edit assistant device
WO2012021799A2 (en) Browser-based song creation
JP5549521B2 (ja) 音声合成装置およびプログラム
CA2843438A1 (en) System and method for providing audio for a requested note using a render cache
JP2013231872A (ja) 歌唱合成を行うための装置およびプログラム
JP3829780B2 (ja) 奏法決定装置及びプログラム
KR102132905B1 (ko) 단말 장치 및 그의 제어 방법
JP6617784B2 (ja) 電子機器、情報処理方法、及びプログラム
JP6149917B2 (ja) 音声合成装置および音声合成方法
JP2014089475A (ja) 音声合成装置およびプログラム
WO2023062865A1 (ja) 情報処理装置および方法、並びにプログラム
Nahmani Logic Pro-Apple Pro Training Series: Professional Music Production
JP5429840B2 (ja) 音声合成装置およびプログラム
CN115064143A (zh) 一种伴奏音频生成方法、电子设备及可读存储介质
Plummer Apple Training Series: GarageBand 09

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant