KR102347392B1 - 유저 인터페이스 제공 방법 및 이를 구현한 전자 장치 - Google Patents

유저 인터페이스 제공 방법 및 이를 구현한 전자 장치 Download PDF

Info

Publication number
KR102347392B1
KR102347392B1 KR1020150112744A KR20150112744A KR102347392B1 KR 102347392 B1 KR102347392 B1 KR 102347392B1 KR 1020150112744 A KR1020150112744 A KR 1020150112744A KR 20150112744 A KR20150112744 A KR 20150112744A KR 102347392 B1 KR102347392 B1 KR 102347392B1
Authority
KR
South Korea
Prior art keywords
cell
area
color
touch
controller
Prior art date
Application number
KR1020150112744A
Other languages
English (en)
Other versions
KR20170018746A (ko
Inventor
이호영
김한결
이민희
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150112744A priority Critical patent/KR102347392B1/ko
Publication of KR20170018746A publication Critical patent/KR20170018746A/ko
Application granted granted Critical
Publication of KR102347392B1 publication Critical patent/KR102347392B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Abstract

다양한 실시예는 유저 인터페이스, 메모리, 및 상기 유저 인터페이스, 및 상기 메모리와 전기적으로 연결된 하나 또는 그 이상의 프로세서들을 포함하고, 상기 하나 또는 그 이상의 프로세서들은, 상기 유저 인터페이스에 기반하여, 적어도 하나의 음악의 플레이를 위한 터치 드래그를 감지하고, 상기 터치 드래그에 대응하는 복수의 셀(Cell)들을 식별하고, 상기 식별된 복수의 셀들 중에서 두 셀들 사이의 영역에 상기 터치 드래그에 따른 트레이스 이펙트를 표시하도록 구성된 방법 및 장치를 제공한다. 또한, 다른 실시예도 가능하다.

Description

유저 인터페이스 제공 방법 및 이를 구현한 전자 장치{METHOD FOR PROVIDING USER INTERFACE AND ELECTRONIC DEVICE THE SAME}
다양한 실시예는 음악에 따른 유저 인터페이스를 제공하는 방법 및 장치에 관한 것이다.
최근 디지털 기술의 발달과 함께 이동통신 단말기, PDA(Personal Digital Assistant), 전자수첩, 스마트 폰, 태블릿 PC(Personal Computer), 웨어러블 디바이스(Wearable Device) 등과 같이 이동하면서 통신 및 개인정보 처리가 가능한 전자 장치들이 다양하게 출시되고 있다. 이러한, 전자 장치는 음성 통화, 메시지 전송뿐만 아니라, 촬영, 이메일 송수신, 방송재생, 인터넷, 메신저, 사전, 게임 등의 기능과 같이 다양한 기능들을 구비하게 되었다.
또한, 전자 장치에서는 다양한 음악 어플리케이션을 통해 가상 악기(예: 키보드, 드럼, 기타 등)를 연주하거나, 음악을 작곡하거나, 또는 편집할 수 있는 다양한 기능을 제공하고 있다. 따라서, 사용자는 음악 어플리케이션을 이용하여 음악을 작곡하거나, 또는 음악을 직접 연주하여 녹음할 수 있고, 다양한 음악들을 편집하여 새로운 음악을 작곡하여 감상할 수도 있다. 이러한, 음악 어플리케이션은 메트로놈(metronome) 기능을 제공하여 템포(예: 빠르기, BPM)에 맞는 오디오와 시각적 효과를 제공하고 있다. 또한 음악 어플리케이션에서 서로 다른 종류의 음악(또는 악기)를 플레이 하도록 지원하고 있다.
종래에는 음악 어플리케이션에서 사용자의 터치 동작에 따라 시각적 효과를 제공하지 못하고 있다. 예를 들어, 사용자가 음악 어플리케이션 내 복수의 셀들을 연속적으로 선택하는 경우, 사용자가 어떤 셀을 선택하였는지 시각적으로 표시하지 못하고 있다.
다양한 실시예들은 음악 어플리케이션에서 연속적인 연주 동작에 따라 선택되는 뮤직 엘리먼트들의 색상들을 추출하여 연주 동작에 따라 시각적 효과를 제공할 수 있는 방법 및 장치에 관한 것이다.
다양한 실시예들은 연속적으로 선택되는 복수의 셀들 중에서 두 셀 사이의 영역에 터치 드래그에 따라 트레이스 이펙트를 표현할 수 있는 방법 및 장치에 관한 것이다.
다양한 실시예들은 연속적으로 복수의 셀들이 선택되는 경우, 셀들의 색상을 각각 표시할 뿐만 아니라, 셀들 사이의 공간에도 셀들의 색상을 조합한 색상을 표시할 수 있는 방법 및 장치에 관한 것이다.
다양한 실시예들에 따른 전자 장치는 디스플레이, 메모리, 및 상기 디스플레이, 및 상기 메모리와 전기적으로 연결된 하나 또는 그 이상의 프로세서들을 포함하고, 상기 하나 또는 그 이상의 프로세서들은, 상기 디스플레이에 표시된 유저 인터페이스에 기반하여, 적어도 하나의 음악의 플레이를 위한 터치 드래그를 감지하고, 상기 터치 드래그에 대응하는 복수의 셀(Cell)들을 식별하고, 상기 식별된 복수의 셀들 중에서 두 셀들 사이의 영역에 상기 터치 드래그에 따른 트레이스 이펙트를 표시하도록 구성될 수 있다.
다양한 실시예들에 따른 전자 장치의 동작 방법은 유저 인터페이스에 기반하여, 적어도 하나의 음악의 플레이를 위한 터치 드래그를 감지하는 동작, 상기 터치 드래그에 대응하는 복수의 셀(Cell)들을 식별하는 동작, 및 상기 식별된 복수의 셀들 중에서 두 셀들 사이의 영역에 상기 터치 드래그에 따른 트레이스 이펙트를 표시하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 음악 어플리케이션에서 연속적인 연주 동작에 따라 선택되는 뮤직 엘리먼트들의 색상들을 추출하여 연주 동작에 따라 시각적 효과를 제공할 수 있다.
다양한 실시예들에 따르면, 연속적으로 선택되는 복수의 셀들 중에서 두 셀 사이의 영역에 터치 드래그에 따라 트레이스 이펙트를 표현할 수 있다.
다양한 실시예들에 따르면, 연속적으로 복수의 셀들이 선택되는 경우, 셀들의 색상을 각각 표시할 뿐만 아니라, 셀들 사이의 공간에도 셀들의 색상을 조합한 색상을 표시할 수 있다.
다양한 실시예들에 따르면, 터치 드래그에 따라 다양한 시각적 어포던스(visual affordance)로 표현할 수 있다.
도 1은 다양한 실시 예들에 따른 전자 장치의 구성을 개략적으로 도시하는 도면이다.
도 2 및 도 3은 다양한 실시 예들에 따른 음악 어플리케이션의 유저 인터페이스의 예시를 도시하는 도면들이다.
도 4 내지 도 6은 다양한 실시 예들에 따른 전자 장치에서 사운드 샘플을 플레이 하는 동작 예시를 설명하기 위해 도시하는 도면들이다.
도 7은 다양한 실시 예들에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 8a 및 도 8b는 다양한 실시 예들에 따른 트레이스 이펙트를 표시하는 일례를 도시한 도면이다.
도 9는 다양한 실시 예들에 따른 트레이스 이펙트를 표시하는 방법을 도시한 흐름도이다.
도 10은 다양한 실시 예들에 따른 트레이스 이펙트의 일례를 도시한 도면이다.
도 11은 다양한 실시 예들에 따른 터치 드래그의 입력값에 따라 트레이스 이펙트를 표시하는 방법을 도시한 흐름도이다.
도 12는 다양한 실시 예들에 따른 터치 면적에 따라 트레이스 이펙트를 표시하는 일례를 도시한 도면이다.
도 13은 다양한 실시 예들에 따른 터치 강도에 따라 트레이스 이펙트를 표시하는 일례를 도시한 도면이다.
도 14는 다양한 실시 예들에 따른 터치 속도에 따라 트레이스 이펙트를 표시하는 일례를 도시한 도면이다.
도 15는 다양한 실시 예들에 따른 비주얼 이펙트를 표시하는 일례를 도시한 도면이다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성 요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 그리고 본 발명에 개시된 실시 예는 개시된 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 발명에서 기재된 기술의 범위를 한정하는 것은 아니다. 따라서, 본 발명의 범위는, 본 발명의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시 예를 포함하는 것으로 해석되어야 한다.
제안하는 본 발명의 다양한 실시 예들은 음악 어플리케이션을 통해 연주, 작곡, 편집, 녹음, 재생 등의 기능을 제공하는 전자 장치 및 그의 동작 방법에 관한 것이다. 이하의 설명에서, 음악 어플리케이션은 모바일 디지털 오디오 워크스테이션(DAW, Digital Audio Workstation) 어플리케이션을 포함할 수 있다. 다양한 실시 예들에서, 음악 어플리케이션은, 적어도 하나의 가상 악기에 의한 연주 또는 효과가 하나의 패키지로 구성된 제1 음악(예: 프로젝트), 및 동일한 음악 패턴으로 멜로디나 비트를 반복하는 제2 음악(예: 사운드 샘플)을 독립적 또는 동시에 플레이 할 수 있는 어플리케이션을 포함할 수 있다.
본 발명의 실시 예에서 전자 장치는 본 발명의 다양한 실시 예들에 따른 기능(예: 음악 어플리케이션에 기반하여 음악 관련 다양한 동작을 수행하기 위한 기능)을 지원하는 모든 정보통신기기, 멀티미디어기기, 웨어러블 디바이스(Wearable Device) 및 그에 대한 응용기기와 같이 AP(Application Processor)), CP(Communication Processor), GPU(Graphic Processing Unit), 및 CPU(Central Processing Unit) 등의 다양한 프로세서 중 하나 또는 그 이상을 사용하는 모든 장치를 포함할 수 있다.
본 발명의 실시 예에 따른 전자 장치는, 예를 들면, 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 스마트 안경, 머리 착용형 장치(HMD, head-mounted-device) 등), 또는 스마트 와치(smart watch)) 중 적어도 하나를 포함할 수 있다.
또한 본 발명의 실시 예에서 전자 장치는 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 냉장고, 에어컨, 청소기, 세탁기, 셋톱 박스(set-top box), 홈 오토매이션 컨트롤 패널(home automation control panel), TV 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 또는 전자 액자 중 적어도 하나를 포함할 수 있다. 또한 본 발명의 실시 예에서 전자 장치는 네비게이션(navigation) 장치, 또는 사물 인터넷 장치(internet of things) 중 적어도 하나를 포함할 수 있다.
다양한 실시 예들에서, 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 어떤 실시 예에 따른 전자 장치는 플렉서블 전자 장치일 수 있다. 또한, 본 발명의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 전자 장치를 포함할 수 있다.
또한 본 발명의 실시 예에서 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다. 본 발명의 실시 예에서 모듈 또는 프로그램 모듈은 본 발명의 다양한 구성 요소들 중 적어도 하나를 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성 요소를 더 포함할 수 있다. 다양한 실시 예들에 따른 모듈, 프로그램 모듈 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이하에서, 첨부 도면을 참조하여 본 발명의 실시 예에 따른 음악 어플리케이션에서 구성 요소의 음악적 속성을 시각화하는 유저 인터페이스, 방법 및 장치에 대하여 살펴보기로 한다. 하지만, 본 발명의 다양한 실시 예들이 하기에서 기술하는 내용에 의해 제한되거나 한정되는 것은 아니므로, 하기의 실시 예에 의거하여 다양한 실시 예들에 적용할 수 있음에 유의하여야 한다. 이하에서 설명되는 본 발명의 다양한 실시 예들에서는 하드웨어적인 접근 방법을 예시로서 설명한다. 하지만, 본 발명의 다양한 실시 예들에서는 하드웨어와 소프트웨어를 모두 사용하는 기술을 포함하고 있으므로, 본 발명의 다양한 실시 예들이 소프트웨어 기반의 접근 방법을 제외하는 것은 아니다.
도 1은 본 발명의 실시 예에 따른 전자 장치의 구성을 개략적으로 도시하는 도면이다.
도 1을 참조하면, 본 발명의 다양한 실시 예들에 따른 전자 장치 100은 무선 통신부 110, 사용자 입력부 120, 터치스크린(Touch screen) 130, 오디오 처리부 140, 메모리 150, 인터페이스부 160, 카메라 모듈 170, 제어부 180, 그리고 전원 공급부 190을 포함할 수 있다. 본 발명의 다양한 실시 예들에서 전자 장치 100은 도 1에 도시된 구성들이 필수적인 것은 아니어서, 도 1에 도시된 구성들보다 많은 구성들을 가지거나, 또는 그보다 적은 구성들을 가지는 것으로 구현될 수 있다.
무선 통신부 110은 전자 장치 100과 다른 외부 전자 장치 사이의 무선 통신을 가능하게 하는 하나 또는 그 이상의 모듈들을 포함할 수 있다. 다양한 실시 예들에서, 무선 통신부 110은 주변의 외부 전자 장치와 통신을 수행하기 위한 모듈(예: 근거리 통신 모듈, 원거리 통신 모듈 등)을 포함할 수 있다. 예를 들어, 무선 통신부 110은 이동통신 모듈 111, 무선 랜(WLAN, wireless local area network) 모듈 113, 근거리 통신 모듈 115, 그리고 위치 산출 모듈 117 등을 포함하여 구성될 수 있다.
이동통신 모듈 111은 이동통신 네트워크 상에서 기지국, 외부의 전자 장치, 그리고 다양한 서버들(예: 통합 서버(Integration Server), 프로바이더 서버(Provider Server), 컨텐츠 서버(Content Server), 인터넷 서버(Internet Server), 또는 클라우드 서버(Cloud Server)) 중 적어도 하나와 무선 신호를 송수신할 수 있다. 상기 무선 신호는 음성 신호, 데이터 신호 또는 다양한 형태의 제어 신호를 포함할 수 있다. 이동통신 모듈 111은 전자 장치 100의 동작에 필요한 다양한 데이터들을 사용자 요청에 응답하여 외부 장치(예: 서버 또는 다른 전자 장치 등)로 전송할 수 있다. 다양한 실시 예들에서, 상기 이동통신 모듈 111은 다양한 통신 방식에 기반하여 무선 신호를 송수신 할 수 있다. 예를 들어, 상기 통신 방식은, 이들에 한정하지는 않지만, LTE(Long-Term Evolution), LTE-A(LTE Advance), GSM(Global System for Mobile communication), EDGE(Enhanced Data GSM Environment), CDMA(Code Division Multiple Access), WCDMA(Wideband CDMA), UMTS(Universal Mobile Telecommunications System), 또는 OFDMA(Orthogonal Frequency Division Multiple access) 등의 통신 방식을 포함할 수 있다.
무선 랜 모듈 113은 무선 인터넷 접속 및 다른 외부 전자 장치와 무선 랜 링크(link)를 형성하기 위한 모듈을 나타낼 수 있다. 무선 랜 모듈 113은 전자 장치 100에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WiFi(Wireless Fidelity), Wibro(Wireless broadband), WiMax(World interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), 또는 mmWave(millimeter Wave) 등이 이용될 수 있다. 무선 랜 모듈 113은 전자 장치 100과 네트워크(예: 무선 인터넷 네트워크)를 통해 연결되어 있는 다른 외부 전자 장치와 연동하여, 전자 장치 100의 다양한 데이터들을 외부(예: 외부 전자 장치 또는 서버)로 전송하거나, 또는 외부로부터 수신할 수 있다. 무선 랜 모듈 113은 상시 온(on) 상태를 유지하거나, 전자 장치 100의 설정 또는 사용자 입력에 따라 턴-온(turn-on)될 수 있다.
근거리 통신 모듈 115은 근거리 통신(Short Range Communication)을 수행하기 위한 모듈을 나타낼 수 있다. 근거리 통신 기술로 블루투스(Bluetooth), 저전력 블루투스(BLE, Bluetooth Low Energy), RFID(Radio Frequency Identification), 적외선 통신(IrDA, Infrared Data Association), UWB(Ultra Wideband), 지그비(Zigbee), 또는 NFC(Near Field Communication) 등이 이용될 수 있다. 근거리 통신 모듈 115은 전자 장치 100과 네트워크(예: 근거리 통신 네트워크)를 통해 연결되어 있는 다른 외부 전자 장치(예: 외부 음향 장치)와 연동하여, 전자 장치 100의 다양한 데이터들을 외부 전자 장치로 전송하거나 수신 받을 수 있다. 근거리 통신 모듈 115은 상시 온 상태를 유지하거나, 전자 장치 100의 설정 또는 사용자 입력에 따라 턴-온(turn-on)될 수 있다.
위치 산출 모듈 117은 전자 장치 100의 위치를 획득하기 위한 모듈로서, 대표적인 예로는 GPS(global position system) 모듈을 포함할 수 있다. 위치 산출 모듈 115은 삼각 측량의 원리로 전자 장치 100의 위치를 측정할 수 있다. 예를 들어, 위치 산출 모듈 117은 3개 이상의 기지국들로부터 떨어진 거리 정보와 시간 정보를 산출한 다음 상기 산출된 정보에 삼각법을 적용함으로써, 위도(Latitude), 경도(Longitude), 및 고도(Altitude)에 따른 3차원의 현 위치 정보를 산출할 수 있다. 또는 위치 산출 모듈 117은 3개 이상의 위성들로부터 전자 장치 100의 위치 정보를 실시간으로 계속 수신함으로써 위치 정보를 산출할 수 있다. 전자 장치 100의 위치 정보는 다양한 방법에 의해 획득될 수 있다.
사용자 입력부 120은 전자 장치 100의 동작 제어를 위한 입력 데이터를 사용자 입력에 응답하여 발생할 수 있다. 사용자 입력부 120은 사용자의 다양한 입력을 검출하기 위한 적어도 하나의 입력 수단을 포함할 수 있다. 예를 들어, 사용자 입력부 120은 키패드(key pad), 돔 스위치(dome switch), 물리 버튼, 터치패드(정압/정전), 조그셔틀(jog & shuttle), 그리고 센서 등을 포함할 수 있다.
사용자 입력부 120은 일부가 전자 장치 100의 외부에 버튼 형태로 구현될 수 있으며, 일부 또는 전체가 터치 패널(touch panel)로 구현될 수도 있다. 사용자 입력부 120은 본 발명의 다양한 실시 예들에 따른 전자 장치 100의 동작(예: 음악 어플리케이션에서 구성 요소들의 템포 진행 정보의 시각화 기능 등)을 개시(initiation)하기 위한 사용자 입력을 수신할 수 있고, 사용자 입력에 따른 입력 신호를 발생할 수 있다.
터치스크린 130은 입력 기능과 디스플레이 기능을 동시에 수행할 수 있는 입출력 장치를 나타내며, 디스플레이 131과 터치감지부 133을 포함할 수 있다. 터치스크린 130은 전자 장치 100과 사용자 사이에 입출력 인터페이스를 제공하며, 사용자의 터치 입력을 전자 장치 100에게 전달할 수 있고, 또한 전자 장치 100으로부터의 출력을 사용자에게 보여주는 매개체 역할을 포함할 수 있다. 터치스크린 130은 사용자에게 시각적인 출력(visual output)을 보여줄 수 있다. 상기 시각적 출력은 텍스트(text), 그래픽(graphic), 비디오(video)와 이들의 조합의 형태로 나타날 수 있다. 본 발명의 실시 예에서 터치스크린 130은 디스플레이 131를 통해 전자 장치 100의 동작에 따른 다양한 화면을 디스플레이 할 수 있다. 터치스크린 130은 디스플레이 131를 통해 특정 화면을 디스플레이 하는 중에 터치감지부 133을 통해 사용자로부터 터치(touch), 호버링(hovering) 또는 에어 제스처(air gesture) 중 적어도 하나에 기반하는 이벤트(예: 터치 이벤트, 근접 이벤트, 호버링 이벤트, 에어 제스처 이벤트)를 감지할 수 있고, 상기 이벤트에 따른 입력 신호를 상기 제어부 180에게 전달할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 디스플레이 131은 전자 장치 100에서 처리되는 다양한 정보를 디스플레이(출력)할 수 있다. 예를 들어, 디스플레이 131은 전자 장치 100이 음악 어플리케이션에서 다수의 구성 요소들(예: 제1 음악, 제2 음악)을 플레이 할 시, 각 구성 요소들의 템포 진행 정보를 디스플레이 하는 동작과 관련된 유저 인터페이스 또는 그래픽 유저 인터페이스(GUI, graphical UI)를 디스플레이 할 수 있다. 다양한 실시 예들에 따르면, 디스플레이 131은 전자 장치 100이 음악 어플리케이션에서 다수의 구성 요소들이 가지는 음악적 속성을 시각화여 하여 디스플레이 하는 동작과 관련된 유저 인터페이스 또는 그래픽 유저 인터페이스를 디스플레이 할 수 있다.
디스플레이 131은 전자 장치 100의 회전 방향(또는 놓인 방향)에 따라 가로모드에 의한 화면 디스플레이, 세로모드에 의한 화면 디스플레이, 또는 가로모드와 세로모드 간의 변화에 따른 화면 디스플레이를 지원할 수 있다. 디스플레이 131은 다양한 디스플레이가 사용될 수 있다. 다양한 실시 예들에서 디스플레이 131은 벤디드 디스플레이가 사용될 수 있다. 예를 들어, 디스플레이 131은 종이처럼 얇고 유연한 기판을 통해 손상 없이 휘거나 구부리거나 말 수 있는 벤디드 디스플레이를 포함할 수 있다.
벤디드 디스플레이는 하우징(예: 본체)에 체결되어 구부러진 형태를 유지할 수 있다. 다양한 실시 예들에서 전자 장치 100은 벤디드 디스플레이와 같은 형태를 비롯하여, 플렉서블 디스플레이(flexible display)와 같이 구부렸다가 폈다가를 자유자재로 할 수 있는 디스플레이 장치로 구현될 수도 있다. 다양한 실시 예들에서 디스플레이 131은 액정 디스플레이(LCD, Liquid Crystal Display), 발광다이오드(LED, Light Emitting Diode) 디스플레이, 유기 발광 다이오드(OLED, Organic LED) 디스플레이, 능동형 OLED(AMOLED, Active Matrix OLED) 디스플레이, 또는 전자 종이(electronic paper) 등에서 액정을 싸고 있는 유리 기판을 플라스틱 필름으로 대체하여, 접고 펼 수 있는 유연성을 부여할 수 있다. 다양한 실시 예들에서 디스플레이 131은 전자 장치 100의 적어도 하나의 측면(side)(예: 좌측, 우측, 상측, 하측 중 적어도 하나의 면)까지 연장되어 체결될 수 있다.
터치감지부 133은 상기 디스플레이 131에 안착될 수 있으며, 상기 터치스크린 130 표면에 접촉 또는 근접하는 사용자 입력을 감지할 수 있다. 상기 터치감지부 133은 본 발명의 실시 예에서 전자 장치 100의 사용과 관련된 동작을 개시하기 위한 사용자 입력을 수신할 수 있고, 사용자 입력에 따른 입력 신호를 발생할 수 있다. 상기 사용자 입력은 싱글터치(single-touch), 멀티터치(multi-touch), 호버링(hovering), 또는 에어 제스처 중 적어도 하나에 기반하여 입력되는 터치 이벤트 또는 근접 이벤트를 포함할 수 있다. 예를 들어, 상기 사용자 입력은 탭(tap), 드래그(drag), 스윕(sweep), 스와이프(swipe), 플릭(flick), 드래그앤드롭(drag & drop), 또는 드로잉 제스처(drawing gesture)(예: 필기) 등)의 방식으로 입력될 수 있다.
상기 터치감지부 133은 디스플레이 131의 특정 부위에 가해진 압력 또는 디스플레이 131의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력 신호로 변환하도록 구성될 수 있다. 상기 터치감지부 133은 입력 수단(예: 사용자 손가락, 전자 펜 등)이 디스플레이 131의 표면 상에 터치 또는 근접되는 위치 및 면적을 검출할 수 있다. 또한 상기 터치감지부 133은 적용한 터치 방식에 따라 터치 시의 압력까지도 검출할 수 있도록 구현될 수 있다. 상기 터치감지부 133에 대한 터치 또는 근접 입력이 있는 경우, 그에 대응하는 신호(들)는 터치스크린 제어기(미도시)로 전달될 수 있다. 상기 터치스크린 제어기(미도시)는 그 신호(들)를 처리한 다음 해당 데이터를 제어부 180에게 전달할 수 있다. 이로써, 제어부 180은 터치스크린 130의 어느 영역이 터치 또는 근접 되었는지 확인할 수 있고, 그에 대응하는 기능 실행 등을 처리할 수 있다.
또한, 도시하지는 않았지만, 터치스크린 130은 압력 센서를 더 포함할 수 있다. 상기 압력 센서는 디스플레이 131 전체에 구비될 수 있다. 상기 압력 센서는 터치된 강도를 산출할 수 있다.
오디오 처리부 140은 제어부 180으로부터 입력 받은 오디오 신호를 스피커(SPK, speaker) 141로 전송하고, 마이크(MIC, microphone) 143으로부터 입력 받은 음성 등의 오디오 신호를 제어부 180에 전달하는 기능을 수행할 수 있다. 오디오 처리부 140은 음성/음향 데이터를 제어부 180의 제어에 따라 스피커 141을 통해 가청음으로 변환하여 출력하고, 마이크 143으로부터 수신되는 음성 등의 오디오 신호를 디지털 신호로 변환하여 제어부 180에게 전달할 수 있다. 오디오 처리부 140은 데이터에 삽입된 오디오 처리 정보(예: 효과음, 음악 파일 등)에 따라 사용자 입력에 반응하는 오디오 신호를 출력할 수 있다.
스피커 141은 무선 통신부 110으로부터 수신되거나, 또는 메모리 150에 저장된 오디오 데이터를 출력할 수 있다. 스피커 141은 전자 장치 100에서 수행되는 다양한 동작(기능)과 관련된 음향 신호를 출력할 수도 있다. 본 발명의 실시 예에서는 도시하지 않았지만, 상기 스피커 141은 탈부착 가능한(attachable and detachable) 이어폰(ear phone), 헤드폰(head phone) 또는 헤드셋(head set)이 외부 포트를 통해 전자 장치 100에 연결될 수 있다.
마이크 143은 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리할 수 있다. 마이크 143에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘(noise reduction algorithm)이 구현될 수 있다. 마이크 143은 음성 명령(예: 음악 어플리케이션 동작을 개시하기 위한 음성 명령) 등과 같은 오디오 스트림의 입력을 담당할 수 있다. 마이크 143은 전자 장치 100에 실장되는 내장 마이크와 전자 장치에 연결되는 외장 마이크를 포함할 수 있다.
메모리 150은 제어부 180에 의해 실행되는 하나 또는 그 이상의 프로그램들(one or more programs)을 저장할 수 있고, 입/출력되는 데이터들의 임시 저장을 위한 기능을 수행할 수도 있다. 상기 입/출력되는 데이터들은 예를 들어, 동영상, 이미지, 사진, 오디오 등의 파일을 포함할 수 있다. 메모리 150은 획득된 데이터를 저장하는 역할을 담당하며, 실시간으로 획득된 데이터는 일시적인 저장 장치에 저장할 수 있고, 저장하기로 확정된 데이터는 오래 보관 가능한 저장 장치에 저장할 수 있다.
메모리 150은 다양한 실시 예들에서 다수의 구성 요소들(예: 제1 음악, 제2 음악)의 각각에 대한 템포 진행 정보를 동기화 하여, 오디오 출력과 함께 시각적 효과를 디스플레이 하는 기능을 실행하도록 하는 인스트럭션들(instructions)을 저장할 수 있다. 다양한 실시 예들에서, 메모리 150은, 실행 시에, 제어부 180(예: 하나 또는 그 이상의 프로세서들)이, 상기 유저 인터페이스에 기반하여, 적어도 하나의 음악의 플레이를 위한 터치 드래그를 감지하고, 상기 터치 드래그에 대응하는 복수의 셀(Cell)들을 식별하고, 상기 식별된 복수의 셀들 중에서 두 셀들 사이의 영역에 상기 터치 드래그에 따른 트레이스 이펙트를 표시하도록 하는 인스트럭션들을 저장할 수 있다.
메모리 150은 전자 장치 100의 운영 체제(OS, operating system), 터치스크린 130을 이용한 입력 및 디스플레이 제어와 관련된 프로그램, 전자 장치 100의 다양한 동작(기능)들의 제어와 관련된 프로그램, 그리고 각 프로그램들의 동작에 의해 발생되는 다양한 데이터 등을 지속적으로 또는 일시적으로 저장할 수 있다.
메모리 150은 확장 메모리(예: 외장 메모리) 또는 내부 메모리를 포함할 수 있다. 메모리 150은 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 마이크로 타입(micro type), 및 카드 타입(예컨대, SD 카드(Secure Digital Card) 또는 XD 카드(eXtream Digital Card)) 등의 메모리와, DRAM(Dynamic Random Access Memory), SRAM(Static RAM), ROM(Read-Only Memory), PROM(Programmable ROM), EEPROM(Electrically Erasable PROM), 자기 메모리(MRAM, Magnetic RAM), 자기 디스크(magnetic disk), 및 광디스크(optical disk) 타입의 메모리 중 적어도 하나의 타입의 저장 매체(storage medium)를 포함할 수 있다. 전자 장치 100은 인터넷 상에서 상기 메모리 150의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
메모리 150은 다양한 소프트웨어를 저장할 수 있다. 예를 들어, 소프트웨어 구성 요소는 운영 체제(operating system) 소프트웨어 모듈, 통신 소프트웨어 모듈, 그래픽 소프트웨어 모듈, 유저 인터페이스 소프트웨어 모듈, MPEG(Moving Picture Experts Group) 모듈 및 카메라 소프트웨어 모듈, 하나 이상의 어플리케이션 소프트웨어 모듈 등을 포함할 수 있다. 또한 소프트웨어 구성 요소인 모듈은 명령어들의 집합으로 표현할 수 있으므로, 모듈을 명령어 세트(instruction set)라고 표현하기도 한다. 모듈은 또한 프로그램으로 표현하기도 한다.
상기 운영 체제 소프트웨어 모듈은 일반적인 시스템 동작(system operation)을 제어하는 여러 가지의 소프트웨어 구성 요소를 포함할 수 있다. 이러한 일반적인 시스템 작동의 제어는, 예를 들면, 메모리 관리 및 제어, 전력 제어 및 관리 등을 의미할 수 있다. 또한 운영 체제 소프트웨어 모듈은 여러 가지의 하드웨어(장치)와 소프트웨어 구성 요소(모듈) 사이의 통신을 원활하게 하는 기능도 수행할 수 있다.
상기 통신 소프트웨어 모듈은 무선 통신부 110을 통해 컴퓨터, 서버 또는 휴대용 단말기 등 다른 전자 장치와 통신을 가능하게 할 수 있다. 그리고, 통신 소프트웨어 모듈은 해당 통신 방식에 해당하는 프로토콜 구조로 구성될 수 있다.
상기 그래픽 소프트웨어 모듈은 터치스크린 130 상에 그래픽을 제공하고 디스플레이 하기 위한 여러 가지 소프트웨어 구성 요소를 포함할 수 있다. 상기 그래픽(graphics)이란 용어는 텍스트(text), 웹 페이지(web page), 아이콘(icon), 디지털 이미지(digital image), 비디오(video), 애니메이션(animation) 등을 포함하는 의미로 사용될 수 있다.
상기 유저 인터페이스 소프트웨어 모듈은 유저 인터페이스(UI)에 관련한 여러 가지 소프트웨어 구성 요소를 포함할 수 있다. 예를 들어, 유저 인터페이스의 상태가 어떻게 변경되는지 또는 유저 인터페이스 상태의 변경이 어떤 조건에서 이루어지는지 등에 대한 내용을 포함할 수 있다.
상기 MPEG 모듈은 디지털 컨텐츠(예: 비디오, 오디오) 관련 프로세스 및 기능들(예: 컨텐츠의 생성, 재생, 배포 및 전송 등)을 가능하게 하는 소프트웨어 구성 요소를 포함할 수 있다.
상기 카메라 소프트웨어 모듈은 카메라 관련 프로세스 및 기능들을 가능하게 하는 카메라 관련 소프트웨어 구성 요소를 포함할 수 있다.
상기 어플리케이션 모듈은 렌더링 엔진(rendering engine)을 포함하는 웹브라우저(browser), 이메일(email), 즉석 메시지(instant message), 워드 프로세싱(word processing), 키보드 에뮬레이션(keyboard emulation), 어드레스 북(address book), 위젯(widget), 디지털 저작권 관리(DRM, digital right management), 홍채 인식(iris scan), 상황 인지(context cognition), 음성 인식(voice recognition), 위치 기반 서비스(location based service) 등을 포함할 수 있다. 본 발명의 다양한 실시 예들에 따라, 상기 어플리케이션 모듈은 선택된 셀에 해당하는 사운드 샘플을 출력하면서, 선택된 셀의 대표 색상을 표시하고, 두 셀들 사이의 영역에 트레이스 이펙트(Trace Effect)를 표시하는 동작(기능)을 처리할 수 있다.
인터페이스부 160은 외부 다른 외부 전자 장치로부터 데이터를 전송 받거나, 전원을 공급받아 전자 장치 100 내부의 각 구성들에 전달할 수 있다. 인터페이스부 160은 전자 장치 100 내부의 데이터가 다른 외부 전자 장치로 전송되도록 할 수 있다. 예를 들어, 유/무선 헤드폰 포트(port), 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 오디오 입/출력(Input/Output) 포트, 비디오 입/출력 포트, 이어폰 포트 등이 인터페이스부 160에 포함될 수 있다.
카메라 모듈 170은 전자 장치 100의 촬영 기능을 지원하는 구성을 나타낸다. 카메라 모듈 170은 제어부 180의 제어에 따라 임의의 피사체를 촬영하고, 촬영된 데이터(예: 이미지)를 디스플레이 131 및 제어부 180에 전달할 수 있다. 카메라 모듈 170은 하나 이상의 이미지 센서를 포함할 수 있다. 예를 들어, 카메라 모듈 170은 전자 장치 100의 전면(예: 디스플레이 131과 동일한 평면) 상에 구비되는 전면 센서(예: 전면 카메라)와 전자 장치 100의 후면(예: 배면) 상에 구비되는 후면 센서(예: 후면 카메라)를 포함할 수 있다.
제어부 180은 전자 장치 100의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어부 180은 음악 플레이, 메트로놈 기능 처리, 음악적 속성의 시각화 처리, 음성 통신, 데이터 통신, 화상 통신 등에 관련된 다양한 제어를 수행할 수 있다. 제어부 180은 하나 또는 그 이상의 프로세서들(one or more processors)로 구현되거나, 또는 제어부 180을 프로세서로 칭할 수도 있다. 예를 들어, 제어부 180은 커뮤니케이션 프로세서(CP, communication processor), 어플리케이션 프로세서(AP, application processor), 인터페이스(예: GPIO(general purpose input/output)), 또는 내부 메모리 등을 별개의 구성 요소로 포함하거나, 또는 하나 이상의 집적화된 회로에 집적화될 수 있다. 상기 어플리케이션 프로세서는 여러 가지의 소프트웨어 프로그램을 실행하여 전자 장치 100을 위한 여러 기능을 수행할 수 있고, 상기 커뮤니케이션 프로세서는 음성 통신 및 데이터 통신을 위한 처리 및 제어를 수행할 수 있다. 또한 상기 제어부 180은 메모리 150에 저장되어 있는 특정한 소프트웨어 모듈(명령어 세트(instruction set))을 실행하여 그 모듈에 대응하는 특정한 여러 가지의 기능을 수행하는 역할을 담당할 수 있다.
본 발명의 다양한 실시 예들에서, 상기 제어부 180은 디스플레이 131에 표시된 유저 인터페이스에 기반하여, 적어도 하나의 음악의 플레이를 위한 터치 드래그를 감지하고, 상기 터치 드래그에 대응하는 복수의 셀(Cell)들을 식별하고, 상기 식별된 복수의 셀들 중에서 두 셀들 사이의 영역에 상기 터치 드래그에 따른 트레이스 이펙트를 표시하는 동작을 처리할 수 있다. 상기 제어부 180의 본 발명의 다양한 실시 예들에 따른 제어 동작은 후술하는 도면들을 참조하여 설명된다.
본 발명의 실시 예에 따른 제어부 180은 상기의 기능 외에 전자 장치 100의 통상적인 기능과 관련된 각종 동작을 제어할 수 있다. 예를 들어, 제어부 180은 특정 어플리케이션 실행 시 그의 운영 및 화면 디스플레이를 제어할 수 있다. 또한 제어부 180은 터치 기반 또는 근접 기반의 입력 인터페이스(예: 터치스크린 130)에서 지원하는 다양한 터치 이벤트 또는 근접 이벤트 입력에 대응하는 입력 신호를 수신하고 그에 따른 기능 운영을 제어할 수 있다. 또한 제어부 180은 유선 통신 기반 또는 무선 통신 기반으로 각종 데이터의 송수신을 제어할 수도 있다.
전원 공급부 190은 제어부 180의 제어에 의해 외부의 전원, 내부의 전원을 인가 받아 각 구성 요소들의 동작에 필요한 전원을 공급할 수 있다. 본 발명의 실시 예에서 전원 공급부 190은 제어부 180의 제어에 의해 상기 디스플레이 131, 상기 카메라 모듈 170 등에 전원을 공급 또는 차단(on/off)할 수 있다.
본 발명에서 설명되는 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 발명에서 설명되는 실시 예들은 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다.
본 발명의 실시 예에서, 상기 기록 매체는 유저 인터페이스에 기반하여, 적어도 하나의 음악의 플레이를 위한 터치 드래그를 감지하는 동작, 상기 터치 드래그에 대응하는 복수의 셀(Cell)들을 식별하는 동작, 및 상기 식별된 복수의 셀들 중에서 두 셀들 사이의 영역에 상기 터치 드래그에 따른 트레이스 이펙트를 표시하는 동작을 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 포함할 수 있다.
그리고 일부의 경우에 본 명세서에서 설명되는 실시 예들이 제어부 180 자체로 구현될 수 있다. 또한 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수도 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.
도 2는 본 발명의 실시 예에 따른 음악 어플리케이션의 유저 인터페이스의 예시를 도시하는 도면이다.
도 2를 참조하면, 도면부호 200은 음악 어플리케이션의 유저 인터페이스를 도시한 것이다. 음악 어플리케이션 200은 모바일 디지털 오디오 워크스테이션(DAW, Digital Audio Workstation) 어플리케이션을 포함할 수 있다. 음악 어플리케이션 200은 가상 악기 영역 210 및 어플리케이션 영역 220을 포함할 수 있다. 가상 악기 영역 210은 플러그인 타입으로 미리 설치되는 가상 악기들에 대한 정보를 제공할 수 있다. 어플리케이션 영역 220은 가상 악기 영역 210의 하단에, 음악 어플리케이션 200에 의해 설치 가능한 또는 다운로드 받은 가상 악기 어플리케이션 또는 이펙터(effecter) 어플리케이션 등의 오브젝트(object)(예: 아이콘, 이미지) 및 해당 어플리케이션의 다운로드를 지원할 수 있다. 다양한 실시 예들에서, 가상 악기 영역 210에서 특정 오브젝트(예: 특정 악기)가 선택될 시 가상 악기 영역 210이 선택된 오브젝트와 관련된 어플리케이션의 화면(예: 특정 악기의 음악 연주 관련 화면으로, 피아노 건반, 드럼, 기타 등의 악기에 대응하는 가상 연주 화면)으로 전환될 수 있다. 또한, 어플리케이션 영역 220에서 특정 오브젝트가 선택될 시 가상 악기 영역 210이 선택된 오브젝트와 관련된 어플리케이션의 화면(예: 어플리케이션 정보 디스플레이 및 그의 다운로드를 위한 화면)으로 전환될 수 있다.
가상 악기 영역 210은 다양한 서드 파티(various third party)를 통해 플러그인 타입으로 제공되는 가상 악기(예: 드럼 211, 키보드 213, 루퍼(looper) 215 등)에 대응하는 오브젝트(예: 아이콘, 이미지)와, 현재 화면에서 디스플레이 되지 않은 다른 악기 또는 어플리케이션을 확인하기 위한 오브젝트 217을 포함할 수 있다.
음악 어플리케이션 200은 프로젝트 메뉴 219와 정보 메뉴 221을 더 포함할 수 있다. 다양한 실시 예들에서, 프로젝트 메뉴 219는 미리 저장된 프로젝트의 리스트를 디스플레이 하기 위한 메뉴를 포함할 수 있다. 다양한 실시 예들에서 프로젝트는 적어도 하나의 가상 악기에 의한 연주와 효과를 하나의 패키지로 생성된 오디오 파일을 나타낼 수 있다. 예를 들어, 프로젝트는 하나의 작곡 결과물을 포함할 수 있다. 다양한 실시 예들에서, 프로젝트는 사용자가 전자 장치 내부의 가상 악기 또는 전자 장치와 유선 또는 무선으로 연결되는 외부의 악기를 이용한 연주, 작곡 또는 편집(예: 트랙 편집) 등에 따라 녹음하여 저장할 시 생성될 수 있다. 사용자는 특정 프로젝트를 선택하여, 해당 프로젝트(예: 녹음된 오디오 파일)에서 녹음된 트랙의 시작 위치, 연주 구간, 연주 악기 또는 이펙트 등을 조정하여 새로운 프로젝트를 생성할 수도 있다.
다양한 실시 예들에서, 정보 메뉴 221은 음악 어플리케이션 200의 업데이트, 오픈소스 라이선스, 음악 어플리케이션 정보, 소개 영상, 또는 이용 약관 등과 같이 음악 어플리케이션 200과 관련된 정보를 확인하기 위한 메뉴를 나타낼 수 있다.
음악 어플리케이션 200은 음악 어플리케이션의 정보(예: 명칭, Soundcamp)를 가상 악기 영역 210에 더 제공할 수 있다.
다양한 실시 예들에서, 사용자는 가상 악기 영역 210에서 가상 악기에 대응하는 오브젝트를 선택(예: 터치)하여 해당 가상 악기를 실행할 수 있다. 전자 장치는 사용자에 의해 가상 악기의 선택을 감지하면, 선택된 가상 악기를 실행하고 그에 관련된 화면 인터페이스를 디스플레이할 수 있다. 한 실시 예에 따르면, 사용자는 드럼 어플리케이션 실행(예: 드럼 연주(또는 작곡, 편집 등))을 위해 그에 대응하는 오브젝트 211을 선택할 수 있고, 전자 장치는 오브젝트 211 선택에 응답하여 가상의 드럼 악기와 관련된 화면 인터페이스를 디스플레이 할 수 있다. 한 실시 예에 따르면, 사용자는 루퍼(looper) 어플리케이션 실행(예: 루프(loop)에 의한 연주(또는 작곡, 편집 등))를 위해 그에 대응하는 오브젝트 215을 선택할 수 있고, 전자 장치는 오브젝트 215 선택에 응답하여 가상의 루퍼 어플리케이션(또 루퍼 악기)와 관련된 화면 인터페이스를 디스플레이 할 수 있다.
다양한 실시 예들에서, 루퍼 어플리케이션은, 루퍼 영역의 다수의 셀들에 의한 음악 플레이(예: 루프 연주)를 위한 음악 어플리케이션 내의 서브 어플리케이션을 나타낼 수 있다. 다양한 실시 예들에서, 루퍼 어플리케이션은 드럼, 피아노, 또는 기타 등과 같이 가상 악기의 종류로 루퍼 악기로 칭할 수도 있다. 다양한 실시 예들에서, 루퍼 어플리케이션을 예시로 그의 화면 인터페이스에 대해 설명하기로 한다.
도 3은 본 발명의 다양한 실시 예들에 따른 음악 어플리케이션의 유저 인터페이스의 예시를 도시하는 도면이다.
도 3을 참조하면, 도 3은 전자 장치에서 음악 어플리케이션에 포함되는 서브 어프리케이션들(예: 악기 어플리케이션, 루퍼 어플리케이션, 이펙터 어플리케이션 등) 중 루퍼 어플리케이션 300이 실행되는 경우 화면 인터페이스의 예시를 나타낼 수 있다. 다양한 실시 예들에서 루퍼 어플리케이션 300은 도 2의 화면 인터페이스에서 루퍼 오브젝트 215의 선택에 반응하여 음악 어플리케이션 200 내에서 실행될 수 있다.
다양한 실시 예들에서, 루퍼 어플리케이션 300은 사운드 샘플(sound sample)(또는 음악 샘플)을 임포트(import)한 다수의 셀들(cells)(예: 특정한 배열을 가지는 다수의 버튼 오브젝트들)로 구성할 수 있고, 적어도 하나의 셀에서 사운드를 발생하여 연주하는 악기 혹은 악기 소프트웨어를 나타낼 수 있다. 다양한 실시 예들에서, 루퍼 어플리케이션 300은 동시에 여러 사운드 샘플(또는 오디오 루프(audio loop))를 재생할 수 있는 오디오 재생 시스템을 포함할 수 있다. 다양한 실시 예들에서, 사운드 샘플(또는 샘플)은 일반적으로 외부에서 가져오는 모든 사운드를 나타낼 수 있다. 예를 들면, wav, mp3 등의 확장자로 이루어진 음악 파일을 포함할 수 있으며, 드럼 샘플(drum sample), 보컬 샘플(vocal sample) 등으로 사용될 수 있다. 다양한 실시 예들에서 루프는 샘플의 한 종류로, 계속 반복되는 샘플을 나타낼 수 있다. 예를 들면, 음악의 마디(예: 4마디, 8마디, 16마디 등) 단위로 샘플을 반복할 수 있다.
상기 도 3에 도시한 바와 같이, 루퍼 어플리케이션 300은 음악 어플리케이션 200의 전반적인 제어를 위한 기본 컨트롤 영역 310, 다수의 셀들(cells)을 포함하는 루퍼 영역 320, 루퍼 어플리케이션 300 또는 루퍼 영역 320의 각 셀들과 관련된 제어를 위한 루퍼 컨트롤 영역 330을 포함할 수 있다.
다양한 실시 예들에서, 기본 컨트롤 영역 310은 음악 어플리케이션 200의 전체적인 실행 옵션들(예: 각종 기능 또는 모드 등)을 조정할 수 있는 메뉴들을 포함하는 영역을 나타낼 수 있다. 기본 컨트롤 영역 310은 구간 반복, 리와인드(rewind), 재생, 일시 정지, 녹음 등의 기능을 위한 버튼(예: Transport Buttons)을 포함하는 플레이 제어 오브젝트 311, 프로젝트를 구성하는 가상 악기들의 트랙을 편집할 수 있는 오브젝트 313, 프로젝트를 구성하는 가상 악기들의 이퀄라이저(equalizer)를 조정할 수 있는 오브젝트 315, 장르 또는 가상 악기들의 음색 등을 설정할 수 있는 오브젝트 317, 메트로놈(metronome) 기능 온/오프를 위한 메트로놈 오브젝트 319(예: 프로젝트 메트로놈), 메트로놈 관련 옵션(예: 박자, BPM, 볼륨 등)을 조정할 수 있는 오브젝트 321, 프로젝트의 플레이 상태(예: 트랙 진행 상태)를 제공하는 트랙 영역 323(또는 타임라인 영역)을 포함하여 구성할 수 있다.
다양한 실시 예들에서, 메트로놈 오브젝트 319가 활성화(온 상태)되어 있는 경우, 메트로놈 기능이 동작할 수 있다. 예를 들어, 메트로놈 기능은, 설정된 메트로놈 관련 옵션(예: 박자, BPM, 볼륨 등)에 따라(예: 박자 타이밍 마다) 규칙적인 메트로놈 사운드가 출력될 수 있다. 또한, 메트로놈 기능은, 메트로놈 오브젝트 319 자체 또는 메트로놈 오브젝트 319와 인접하여 제공되는 점멸 오브젝트를 메트로놈 관련 옵션에 따라 규칙적으로 점멸(예: 램프 점멸 방식)할 수 있다.
한 실시 예에 따르면, 예를 들어, 프로젝트의 박자가 4/4박자인 경우를 가정하면, 메트로놈 오브젝트 319(예: 프로젝트 메트로놈)는 "하나-둘-셋-넷, 하나-둘-셋-넷,..."의 4/4박자에 맞추어 점멸될 수 있고, 점멸되는 속도는 프로젝트의 빠르기(예: 템포, BPM)에 맞추어 동작할 수 있다. 다양한 실시 예들에서, 박자는 4/4, 3/4, 6/8 등 다양한 박자로 설정할 수 있다. 다양한 실시 예들에서 빠르기(예: BPM)는, 이에 한정하지는 않지만, 예를 들면, BPM 40 내지 BPM 240 내에서, 아주 느리게(BPM 40 ~) - 느리게(BPM 66 ~) - 조금 느리게(BPM 76 ~) - 보통(BPM 108) - 조금 빠르게(BPM 120 ~) - 빠르게(BPM 168 ~) - 아주 빠르게(BPM 200 ~ BPM 240) 등과 같이 다양하게 설정할 수 있다.
다양한 실시 예들에 따르면, 루퍼 어플리케이션 300에서, 기본 컨트롤 영역 310을 이용하여 프로젝트 선택 또는 전환할 수 있고, 또한 다른 악기 선택, 선택된 악기의 플레이 또는 연주할 수 있다. 이러한 경우, 루퍼 어플리케이션 300의 루퍼 영역 320에서 선택된 적어도 하나의 셀 340의 사운드 샘플과 기본 컨트롤 영역 310을 통해 선택된 프로젝트 또는 악기의 사운드가 독립적으로 출력될 수 있다.
다양한 실시 예들에서, 루퍼 영역 320은 여러 가지 장르의 사운드 샘플을 포함한 다수의 버튼(이하, 셀(cell))들 340이 배열된 영역으로, 뮤직 작업창을 나타낼 수 있다. 사용자는 루퍼 영역 320에서 적어도 하나의 셀을 선택(예: 터치)하여 다양한 음향 효과를 조합하여 연주할 수 있다. 다양한 실시 예들에서, 루프(loop)는 동일한 음악 패턴으로 멜로디나 비트 등이 반복되는 것을 나타낼 수 있다.
루퍼 영역 320에서, 다수의 셀들 340은, 이에 한정하지는 않지만, 예를 들면, 매트릭스(matrix) 구조로 다양하게 배치될 수 있다. 다수의 셀들 340은 적어도 하나의 사운드 샘플(예: 악기의 사운드 샘플)을 임포트하여 기타 다양한 음악적 속성을 적어도 하나 이상 정의해 놓은 오브젝트를 나타낼 수 있다. 다수의 셀들 340은 행 또는 열을 기준으로 동일한 악기 또는 장르를 임포트 할 수 있고, 이에 대응하여 열 또는 행을 기준으로 다른 악기 또는 장르를 임포트 할 수 있다. 예를 들어, 각 행마다 동일한 악기 또는 장르를 임포트 할 수 있고, 각 열마다 다른 악기 또는 장르를 임포트 할 수 있다.
다양한 실시 예들에서, 셀들 340 각각은 정의된 음악적 속성에 대응하는 하나 또는 그 이상의 시각적 효과를 표현할 수 있다. 한 실시 예에 따르면, 셀들 340 중 선택에 따라 사운드 샘플을 플레이하는 활성화되는 셀 또는 활성화되는 셀의 주변 영역 중 적어도 일부에서 컬러 광(예: glow 효과)을 출력할 수 있다. 다양한 실시 예들에서, 루퍼 영역 320은 각 셀들 340을 통해 각 셀에 임포트된 사운드 샘플이 가지는 음악적 속성(예: 무드)을 대표 색상으로 표현할 수 있다. 한 실시 예에 따르면, 셀들 340의 각 행 또는 열 마다 동일한 무드를 나타내기 위하여 동일한 색상으로 지정할 수 있다.
다양한 실시 예들에서, 루퍼 컨트롤 영역 330은 루퍼 어플리케이션 300의 실행 옵션들(예: 각종 기능 또는 모드 등)을 조정할 수 있는 메뉴들을 포함하는 영역을 나타낼 수 있다. 루퍼 컨트롤 영역 330은 뷰(view) 방식을 변경하기 위한 뷰 오브젝트 331, 루퍼 어플리케이션 300에 설정된 옵션(예: 박자, 템포(예: 빠르기, BPM) 등)에 따라 규칙적 및 순차적으로 점멸하는 메트로놈 오브젝트 333(예: 메트로놈, 루퍼 메트로놈), 루퍼 어플리케이션 300에 기반하여 현재 프로젝트(예: 음악 어플리케이션 200을 통해 백그라운드로 플레이 중인 프로젝트, 또는 백그라운드로 플레이 중인 다른 악기)에 추가 녹음을 위한 녹음 오브젝트 335, 루퍼 어플리케이션 300(예: 루퍼 영역 320)과 관련된 다양한 옵션(예: 루프 장르, 악기, 박자, BPM 등)을 조정할 수 있는 설정 오브젝트 337을 포함하여 구성할 수 있다.
다양한 실시 예들에서, 루퍼 어플리케이션 300은, 루프 영역 320의 다수의 셀들 340에 의한 음악 플레이(예: 루프 연주)를 위한 음악 어플리케이션 내의 서브 어플리케이션을 나타낼 수 있으며, 드럼, 피아노, 또는 기타 등과 같이 가상 악기의 종류로 루퍼 악기로 칭할 수도 있다.
도 4 내지 도 6은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 사운드 샘플을 플레이 하는 동작 예시를 설명하기 위해 도시하는 도면들이다.
도 4를 참조하면, 상기 도 4는 루퍼 어플리케이션이 실행되고 플레이가 이루어지기 전의 화면 예시를 나타낼 수 있다. 상기 도 4와 같은 상태에서 사용자는 다양한 사용자 입력으로 사운드 샘플을 플레이 할 수 있다. 예를 들어, 사용자는 도 5에 도시한 바와 같이 터치 입력으로 셀을 선택할 수 있다. 또는 사용자는 도 6에 도시한 바와 같이 드래그 입력으로 다수의 셀들을 연속적으로 선택할 수 있다.
다양한 실시 예들에서, 상기 도 4와 같이 루퍼 어플리케이션이 대기 상태(예: 제2 음악(예: 적어도 하나의 사운드 샘플)의 플레이 전)에서도, 음악 어플리케이션에 의해 제1 음악(예: 프로젝트)이 플레이(예: 프로젝트의 오디오 출력) 중일 수 있다. 이러한 경우, 제1 음악(예: 프로젝트)를 위한 메트로놈 오브젝트 400(이하, "프로젝트 메트로놈" 이라 칭함)에 의해 메트로놈 기능을 시각적 또는 청각적으로 제공할 수 있다. 한 실시 예에 따르면, 프로젝트 메트로놈 400 자체 또는 메트로놈의 시각적 디스플레이를 위한 점멸 오브젝트 450을 플레이 중인 프로젝트의 템포(또는 박자)에 맞추어 규칙적으로 점멸할 수 있다.
다양한 실시 예들에서, 메트로놈 오브젝트 400 또는 점멸 오브젝트 450은 프로젝트의 템포(또는 박자)의 진행을 알리기 위한 것으로, 이하에서는 설명의 편의를 위한 프로젝트 메트로놈이라 칭하기로 한다. 예를 들어, 프로젝트의 템포 진행을 프로젝트 메트로놈 400을 통해 디스플레이 할 수 있다.
여기서, 루퍼 어플리케이션이 대기 상태이므로, 제2 음악(예: 사운드 샘플)을 위한 메트로놈 오브젝트 410(이하, "루퍼 메트로놈" 이라 칭함)은 별도의 청각적 또는 시각적 출력 없이 대기 상태에 존재할 수 있다.
상기 도 5를 참조하면, 사용자는 루퍼 영역에서 특정 셀 510을 선택할 수 있다. 한 실시 예에 따르면, 사용자는 특정 셀 510을 터치 500하여 특정 셀 510을 선택할 수 있다. 전자 장치는 사용자 선택에 대응하는 셀 510에 설정된 사운드 샘플을 출력할 수 있다. 다양한 실시 예들에서, 전자 장치는 셀 선택에 응답하여 선택된 셀의 음악적 속성에 기반하여 시각적 효과를 제공할 수 있다.
상기 도 6을 참조하면, 사용자는 루퍼 영역에서 다수의 셀들 610, 620, 630, 640, 650을 선택할 수 있다. 한 실시 예에 따르면, 사용자는 연속적인 연주 동작(예: 특정 셀 610에서 터치 입력 후 다른 셀들 620, 630, 640, 650을 순차적으로 지나는 드래그 600(또는 스와이프))을 입력할 수 있다. 전자 장치는 사용자 선택에 대응하는 다수의 셀들 610, 620, 630, 640, 650에 설정된 사운드 샘플을 출력할 수 있다. 다양한 실시 예들에서, 전자 장치는 셀 선택에 응답하여 선택된 다수의 셀들 각각의 음악적 속성에 기반하여 각 셀들을 통해 시각적 효과를 제공할 수 있다. 다양한 실시 예들에 따르면, 루퍼 영역을 구성하는 셀들은 열 별로 대표 색상을 가질 수 있고, 선택된 다수의 셀들(예: 사운드 샘플을 출력하는 셀들)은 각각의 대표 색상으로 연주 동작의 시각적 효과를 제공할 수 있다. 예를 들어, 시각적 효과란, 원형인 셀의 전체 또는 일부를 대표 색상으로 표시하는 것일 수 있다. 예를 들어, 전자 장치는 원형인 셀의 둘레를 감싸는 가장자리를 대표 색상으로 표시할 수 있다. 또한, 전자 장치는 상기 선택된 복수의 셀들 중에서 두 셀들 사이의 영역에 터치 드래그에 따른 트레이스 이펙트를 표시할 수 있다.
다양한 실시 예들에서, 사용자 입력에 따라 플레이 되는 적어도 하나의 사운드 샘플은 일회 플레이 되거나, 또는 적어도 하나의 사운드 샘플은 반복하여 플레이 될 수 있다. 또는 사운드 샘플의 적어도 하나는 사용자 입력(예: 터치 또는 터치 제스처)이 유지되는 동안 플레이 되고, 사용자 입력이 해제(release)되는 시점에 플레이를 중지할 수도 있다.
다양한 실시 예들에서, 상기 도 5 또는 상기 도 6의 예시와 같이, 루퍼 영역에서 적어도 하나의 셀이 선택될 시, 선택된 셀이 가지는 제2 음악(예: 사운드 샘플)이 플레이(예: 사운드 샘플의 오디오 출력) 될 수 있다. 다양한 실시 예들에서는, 사운드 샘플의 플레이에 반응하여 루퍼 메트로놈에 의한 메트로놈 기능이 동작할 수 있다. 한 실시 예에 따르면, 루퍼 메트로놈 410예를 들어, 루퍼 어플리케이션에 대응하는 템포(또는 박자)에 맞추어 루퍼 메트로놈을 플레이 중인 사운드 샘플의 템포(또는 박자)에 맞추어 규칙적으로 점멸할 수 있다. 예를 들어, 사운드 샘플의 템포 진행을 루퍼 메트로놈 410을 통해 디스플레이 할 수 있다.
다양한 실시예들에 따르면, 전자 장치는 디스플레이, 메모리, 및 상기 디스플레이, 및 상기 메모리와 전기적으로 연결된 하나 또는 그 이상의 프로세서들을 포함하고, 상기 하나 또는 그 이상의 프로세서들은, 상기 디스플레이에 표시된 유저 인터페이스에 기반하여, 적어도 하나의 음악의 플레이를 위한 터치 드래그를 감지하고, 상기 터치 드래그에 대응하는 복수의 셀(Cell)들을 식별하고, 상기 식별된 복수의 셀들 중에서 두 셀들 사이의 영역에 상기 터치 드래그에 따른 트레이스 이펙트를 표시하도록 구성될 수 있다.
상기 유저 인터페이스는, 다양한 음악들이 각각 설정된 다수의 셀들(cells)을 매트릭스(matrix) 구조로 제공하는 루퍼 영역을 포함하고, 상기 다수의 셀들 중 사용자 선택에 따른 하나 또는 그 이상의 셀들에 설정된 음악을 출력하고, 상기 하나 또는 그 이상의 셀들에 설정된 대표 색상을 표시하도록 구성될 수 있다.
상기 프로세서는, 상기 두 셀들 각각의 음악적 속성, 음악 또는 대표 색상 중 적어도 하나에 기반하여 상기 두 셀들 사이의 영역에 트레이스 이펙트의 색상을 결정하고, 결정된 색상으로 상기 트레이스 이펙트를 표시하도록 구성될 수 있다.
상기 트레이스 이펙트의 색상은 제1 셀의 대표 색상, 제2 셀의 대표 색상, 상기 제1 셀의 대표 색상과 상기 제2 셀의 대표 색상을 혼합한 색상 중 적어도 하나로 구성될 수 있다.
상기 프로세서는, 상기 트레이스 이펙트의 색상을 두 셀들의 대표 색상과 동일 또는 유사하게 결정하거나, 두 셀들의 대표 색상을 혼합한 색상과 동일 또는 유사하게 결정하도록 구성될 수 있다.
상기 프로세서는, 상기 두 셀들 사이의 영역을 복수개로 분할하고, 두 셀들의 대표 색상을 기반으로 상기 분할된 각 영역에 트레이스 이펙트로 표시할 색상을 결정하도록 구성될 수 있다.
상기 프로세서는, 상기 두 셀들 사이의 영역을 제1 영역, 제2 영역, 제3 영역으로 분할하고, 제1 셀과 가까운 제1 영역의 트레이스 이펙트의 색상을 제1 셀의 대표 색상으로 결정하고, 제2 셀과 가까운 제3 영역의 트레이스 이펙트의 색상을 제2 셀의 대표 색상으로 결정하며, 상기 제1 영역과 상기 제3 영역의 가운데인 제2 영역의 트레이스 이펙트의 색상을 상기 제1 셀의 대표 색상과 상기 제2 셀의 대표 색상을 혼합한 색상으로 결정하도록 구성될 수 있다.
상기 프로세서는, 상기 터치 드래그의 면적, 강도, 또는 속도 중 적어도 하나를 산출하고, 상기 산출된 면적, 강도, 또는 속도 중 적어도 하나 또는 둘 이상의 조합에 기반하여 상기 트레이스 이펙트의 면적, 채도 또는 명도 중 적어도 하나 또는 둘 이상을 구별되게 표시하도록 구성될 수 있다.
상기 프로세서는, 상기 터치 드래그가 해제되거나, 설정된 시간이 경과하거나, 새로운 사용자 입력이 검출되는 경우, 상기 트레이스 이펙트의 표시를 제거하도록 구성될 수 있다.
상기 프로세서는, 상기 터치 드래그에 대응하여 표시된 트레이스 이펙트의 색상을 변경하도록 구성될 수 있다.
도 7은 다양한 실시 예들에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 7을 참조하면, 동작 701에서, 제어부 180은 유저 인터페이스를 디스플레이 할 수 있다. 예를 들어, 사용자는 전자 장치 100을 이용하여 음악 어플리케이션을 실행하도록 조작(사용자 입력)할 수 있다. 제어부 180은 사용자의 음악 어플리케이션을 실행하는 조작에 응답하여, 음악 어플리케이션을 실행하고, 실행하는 음악 어플리케이션에 대응하는 유저 인터페이스를 디스플레이 하도록 처리할 수 있다. 한 실시 예에 따르면, 제어부 180은 음악 어플리케이션 200을 실행 후, 루퍼 215를 선택하여 루퍼 어플리케이션 300이 실행된 화면을 표시할 수 있다. 예를 들어, 제어부 180은 전술한 도 3에 대응하는 유저 인터페이스를 디스플레이 하도록 처리할 수 있다.
동작 703에서, 제어부 180은 터치 드래그를 검출할 수 있다. 예를 들어, 상기 터치 드래그는 사용자의 손가락 또는 물체(예: 터치 펜)를 이용하여 터치스크린 130을 터치한 후, 상기 터치를 이동시키는 입력을 의미할 수 있다. 터치스크린 130에는 루퍼 어플리케이션 300이 실행된 유저 인터페이스가 표시되고 있는데, 터치가 이동되면, 유저 인터페이스 내 포함된 셀들이 하나 이상 선택될 수 있다. 제어부 180은 터치스크린 130에 유저 인터페이스를 표시할 때, 각 셀이 표시된 위치를 인지하고 있으므로, 터치의 위치를 기반으로 터치가 입력된 셀을 식별할 수 있다.
예를 들어, 셀 위로 터치가 입력되면, 제어부 180은 터치가 입력된 셀을 식별하고, 식별된 셀에 해당하는 사운드 샘플(예: 음악)을 출력하고, 식별된 셀에 해당하는 대표 색상을 표시할 수 있다. 상기 도 3에에서도 설명한 바와 같이, 각각의 셀에는 사운드 샘플이 담겨 있어, 셀이 선택되면, 셀에 해당하는 사운드 샘플이 가지는 음악적 속성(예; 악기, 무드 등)에 따라 대표 색상이 표시될 수 있다. 제어부 180은 제일 먼저 터치가 입력된 제1 셀의 대표 색상을 표시하고, 상기 터치가 유지된 상태에서 제1 셀에서 제2 셀로 이동하는 터치 드래그를 검출할 수 있다. 만약, 제1 셀 위에서 입력된 터치가 이동하지 않고 해제된 경우, 제어부 180은 제1 셀의 대표 색상만 표시할 수 있다.
동작 703에서, 제어부 180은 상기 검출된 터치 드래그에 대응하는 복수의 셀들을 식별할 수 있다. 제어부 180은 상기 터치가 이동하는 경로 상에 위치하는 셀들을 식별할 수 있다. 예를 들어, 상기 도 6을 참조하면, 제어부 180은 특정 셀 610에서 터치 입력 후, 다른 셀들 620, 630, 640, 650을 순차적으로 지나는 드래그 입력에 대응하여 복수의 셀들 610 내지 650을 식별할 수 있다.
동작 705에서, 제어부 180은 상기 식별된 복수의 셀들 사이의 영역에 터치 드래그에 따른 트레이스 이펙트를 표시할 수 있다. 여기서, 상기 트레이스 이펙트(Trace effect)란 두 셀들 간의 영역에 터치가 지나간 흔적을 시각적으로 표현하는 것일 수 있다. 예를 들어, 제어부 180은 상기 트레이스 이펙트로서, 셀과 셀 사이의 영역에 고리(loop) 모양의 흔적을 색상으로 표시하는 것일 수 있다. 이 경우, 터치 드래그의 이동 경로 데로 셀의 색상과 셀들 사이의 영역에 색상이 표시됨으로써, 사용자는 터치 드래그에 따라 색상이 변화하는 모습을 보고 시각적 흥미가 유발될 수 있다.
다양한 실시예들에 따르면, 제어부 180은 상기 터치 드래그가 제1 셀에서 제2 셀로 이동하는 경우, 제1 셀의 대표 색상과 제2 셀의 대표 색상을 이용하여 제1 셀과 제2 셀 사이의 영역에 트레이스 이펙트를 표시할 수 있다. 제어부 180은 대표 색상과 연관된 트레이스 이펙트를 표시할 때, 대표 색상과 동일 또는 유사한 색상으로 트레이스 이펙트를 표시할 수 있다. 상기 대표 색상과 유사한 색상이란 대표 색상과 채도(Chroma) 또는 명도(Brightness)가 다른 색상을 의미할 수 있다. 예를 들어, 제어부 180은 두 셀 사이의 영역에 제1 셀의 대표 색상을 트레이스 이펙트로서 표시할 수 있다. 또는, 제어부 180은 두 셀 사이의 영역에 제1 셀의 대표 색상과 제2 셀의 대표 색상이 혼합된 색상을 트레이스 이펙트로서 표시할 수 있다. 예를 들어, 상기 제1 셀의 대표 색상이 빨강색이고, 상기 제2 셀의 대표 색상이 노랑색인 경우, 상기 혼합한 색상은 주황색일 수 있다.
다양한 실시예들에 따르면, 제어부 180은 두 셀 사이의 영역을 복수개로 분할하고, 제1 셀의 대표 색상과 제2 셀의 대표 색상을 이용하여 분할된 각 영역에 트레이스 이펙트로 표시할 색상을 결정할 수 있다. 예를 들어, 제어부 180은 두 셀 사이의 영역을 두 부분으로 분할하고(예: 제1 영역과 제2 영역), 제1 셀과 가까운 영역(예: 제1 영역)에는 제1 셀의 대표 색상을 트레이스 이펙트로서 표시하고, 제2 셀과 가까운 영역(예: 제2 영역)에는 제2 셀의 대표 색상을 트레이스 이펙트로서 표시할 수 있다. 또는, 제어부 180은 두 셀 사이의 영역을 세 부분으로 분할하고(예: 제1 영역, 제2 영역, 제3 영역), 제1 셀과 가까운 영역(예: 제1 영역)에는 제1 셀의 대표 색상을 트레이스 이펙트로서 표시하고, 제2 셀과 가까운 영역(예: 제3 영역)에는 제2 셀의 대표 색상을 트레이스 이펙트로서 표시하며, 제1 영역과 제3 영역의 가운데 영역(예: 제2 영역)에는 제1 셀의 대표 색상과 제2 셀의 대표 색상을 혼합한 색상을 트레이스 이펙트로서 표시할 수 있다.
다양한 실시예들에 따르면, 제어부 180은 각 셀의 음악적 속성을 기반으로 상기 트레이스 이펙트로 표시할 색상을 결정할 수 있다. 또는, 제어부 180은 각 셀의 사운드 샘플을 기반으로 상기 트레이스 이펙트로 표시할 색상을 결정할 수 있다. 예를 들어, 제어부 180은 제1 셀의 사운드 샘플과 제2 셀의 사운드 샘플을 기반으로 제1 셀의 대표 색상과 제2 셀의 대표 색상을 혼합한 색상을 결정할 수 있다. 제1 셀의 대표 색상과 제2 셀의 대표 색상이 동일하다 하더라도, 사운드 샘플에 따라 혼합한 색상의 채도 또는 명도가 달라질 수 있다.
다양한 실시예들에 따르면, 제어부 180은 상기 터치 드래그의 입력값에 기반하여 상기 트레이스 이펙트를 다르게 표시할 수 있다. 예를 들어, 상기 터치 드래그의 입력값이란 터치 면적, 터치 강도 또는 터치 속도 중 적어도 하나 또는 둘 이상의 조합일 수 있다. 따라서, 제어부 180은 상기 터치 드래그의 입력값에 따라 각각 다른 트레이스 이펙트를 제공할 수 있다. 이에 대한 설명은 후술하는 도 11을 통해 설명하기로 한다.
다양한 실시예들에 따르면, 제어부 180은 상기 트레이스 이펙트를 설정된 시간(예: 1초) 동안 표시한 후 제거할 수 있다. 예를 들어, 제어부 180은 상기 트레이스 이펙트가 표시되면 시간을 카운트하고, 카운트한 시간이 설정된 시간을 경과하면 표시된 트레이스 이펙트를 제거할 수 있다. 따라서, 상기 트레이스 이펙트는 시간에 따라 순차적으로 제거할 수 있다. 트레이스 이펙트를 제거한다는 것은 표시되고 있던 트레이스 이펙트를 사라지게 처리한다는 의미일 수 있다. 예를 들면, 제어부 180은 사용자가 순차적으로 제1 셀, 제2 셀, 제 3 셀로 터치 드래그한 경우, 제1 셀과 제2 셀 사이의 영역에 표시된 트레이스 이펙트가 제2 셀과 제3 셀 사이의 영역에 표시된 트레이스 이펙트보다 먼저 사라지도록 처리할 수 있다.
도 8a 및 도 8b는 다양한 실시 예들에 따른 트레이스 이펙트를 표시하는 일례를 도시한 도면이다.
도 8a를 참조하면, 제어부 180은 제1 셀 810을 터치하는 제1 사용자 입력을 검출할 수 있다. 이때, 사용자는 제1 셀 810을 터치한 후 터치를 해제할 수 있다. 제어부 180은 터치된 제1 셀 810의 사운드 샘플을 출력하고, 제1 셀 810의 대표 색상을 표시할 수 있다. 이어서, 제어부 180은 제2 셀 820을 터치하는 제2 사용자 입력을 검출할 수 있다. 이때, 제어부 180은 제1 셀 810과 제2 셀 820 사이에는 터치 드래그가 검출되지 않았으므로, 제1 셀 810과 제2 셀 820 사이의 영역 811에는 트레이스 이펙트가 표시되지 않도록 처리할 수 있다. 이때, 사용자는 제2 셀 820을 터치한 후 터치를 해제하지 않고 제3 셀 830 및 제4 셀 840으로 터치를 이동시킬 수 있다.
제어부 180은 제2 셀 820에서 제4 셀 840까지 이동하는 터치 드래그가 검출되면, 터치 드래그에 따라 두 셀 사이의 영역에 트레이스 이펙트를 표시할 수 있다. 예를 들어, 제어부 180은 제2 셀 820에서 제3 셀 830으로 터치가 이동되면, 제2 셀 820과 제3 셀 830 사이의 영역 821에 트레이스 이펙트를 표시할 수 있다. 이때, 트레이스 이펙트는 제2 셀 820의 대표 색상, 제 3 셀 830의 대표 색상, 제2 셀 820의 대표 색상과 제 3 셀 830의 대표 색상을 혼합한 색상 중 적어도 하나일 수 있다. 예를 들어, 터치된 위치가 제2 셀 820과 제3 셀 830의 사이인 경우, 제어부 180은 영역 821에 상기 트레이스 이펙트로서 제2 셀 820의 대표 색상을 표시할 수 있다. 또는, 터치된 위치가 제3 셀 830과 가까워지는 경우, 제어부 180은 영역 821에 상기 트레이스 이펙트로서 제2 셀 820의 대표 색상과 상기 제3 셀 830의 대표 색상을 각각 표시할 수 있다.
또는, 상기 터치가 드래그되는 위치가 제3 셀 830 위인 경우, 제어부 180은 영역 821에 상기 트레이스 이펙트로서 제2 셀 820의 대표 색상과 상기 제3 셀 830의 대표 색상을 각각 표시할 수 있다. 이때, 제어부 180은 영역 821의 가운데에는 제2 셀 820의 대표 색상과 제 3 셀 830의 대표 색상을 혼합한 색상이 표시되도록 처리할 수 있다.
또한, 제어부 180은 제3 셀 830에서 제4 셀 840으로 이동하는 터치 드래그가 검출되면, 제3 셀 830과 제4 셀 840 사이의 영역 831에 트레이스 이펙트로 표시할 수 있다. 이때, 트레이스 이펙트는 제3 셀 830의 대표 색상, 제 4 셀 840의 대표 색상, 제3 셀 830의 대표 색상과 제 4 셀 840의 대표 색상을 혼합한 색상 중 적어도 하나일 수 있다. 예를 들어, 터치된 위치가 제3 셀 830과 제4 셀 840의 사이인 경우(예: 영역 831), 제어부 180은 영역 831에 상기 트레이스 이펙트로서 제3 셀 830의 대표 색상을 표시할 수 있다. 또는, 터치된 위치가 제4 셀 840과 가까워지는 경우, 제어부 180은 영역 831에 상기 트레이스 이펙트로서 제3 셀 830의 대표 색상과 상기 제4 셀 840의 대표 색상을 각각 표시할 수 있다.
또는, 상기 터치가 드래그되는 위치가 제4 셀 840 위인 경우, 제어부 180은 영역 831에 상기 트레이스 이펙트로서 제3 셀 830의 대표 색상과 상기 제4 셀 840의 대표 색상을 각각 표시할 수 있다. 이때, 제어부 180은 영역 831의 가운데에는 제3 셀 830의 대표 색상과 제 4 셀 840의 대표 색상을 혼합한 색상이 표시되도록 처리할 수 있다.
도 8a에서는 트레이스 이펙트로 두 원이 중첩되는 형태로 표현될 수 있다. 그러나, 상기 트레이스 이펙트를 표시하는 방법은 다양하며, 도면에 의해 트레이스 이펙트의 모양이 한정되지 않는다.
사용자는 제2 셀 820부터 제4 셀 840을 조금 지난 위치까지 터치를 드래그한 후 터치를 해제할 수 있다. 제어부 180은 터치가 제4 셀 840을 지나 드래그되는 경우, 제4 셀 840을 벗어난 영역에 제 4 셀 840의 대표 색상을 트레이스 이펙트로 표시할 수 있다.
다양한 실시예들에 따르면, 제어부 180은 제2 셀 820에서 제4 셀 840까지 터치 드래그가 이동하는 동안 제2 셀 820부터 제4 셀 840까지 두 셀 사이에 트레이스 이펙트를 표시하고, 제2 셀 820에서 제4 셀 840까지 이동한 터치 드래그가 해제되면, 제2 셀 820부터 제4 셀 840까지 두 셀 사이에 표시한 트레이스 이펙트를 사라지게 처리할 수 있다. 또는, 제어부 180은 새로운 사용자 입력이 검출되면, 제2 셀 820부터 제4 셀 840까지 두 셀 사이에 표시한 트레이스 이펙트를 사라지게 처리할 수 있다. 또는, 제어부 180은 설정된 시간(예: 1초, 3초)이 지나면 트레이스 이펙트를 사라지게 처리할 수 있다. 이때, 제어부 180은 순차적으로 트레이스 이펙트를 사라지게 처리할 수 있다. 즉, 먼저 표시된 트레이스 이펙트가 나중에 표시된 트레이스 이펙트보다 먼저 사라질 수 있다. 예를 들어, 영역 821에 표시된 트레이스 이펙트가 영역 831에 표시된 트레이스 이펙트보다 먼저 사라질 수 있다.
도 8b를 참조하면, 제어부 180은 제5 셀 850을 터치하는 제3 사용자 입력을 검출할 수 있다. 이때, 사용자는 제5 셀 850을 터치한 후 터치를 유지한 상태에서 제7 셀 870까지 터치를 이동시킬 수 있다. 제어부 180은 제5 셀 850에서 제7 셀 870까지 이동하는 터치 드래그가 검출되면, 터치 드래그에 따라 두 셀 사이의 영역에 트레이스 이펙트를 표시할 수 있다. 이때, 제어부 180은 제2 셀 820부터 제4 셀 840까지 두 셀 사이에(예: 영역 821, 831) 표시한 트레이스 이펙트를 더 이상 표시하지 않을 수 있다.
예를 들어, 제어부 180은 제5 셀 850에서 제6 셀 860으로 터치가 이동되면, 제5 셀 850과 제6 셀 860 사이의 영역 851에 트레이스 이펙트를 표시할 수 있다. 트레이스 이펙트는 제5 셀 850의 대표 색상, 제 6 셀 860의 대표 색상, 제5 셀 850의 대표 색상과 제 6 셀 860의 대표 색상을 혼합한 색상 중 적어도 하나일 수 있다. 예를 들어, 터치된 위치가 제5 셀 850과 제6 셀 860의 사이인 경우(예: 영역 851), 제어부 180은 영역 851에 상기 트레이스 이펙트로서 제5 셀 850의 대표 색상을 표시할 수 있다. 또는, 터치된 위치가 제6 셀 860과 가까워지는 경우, 제어부 180은 영역 851에 상기 트레이스 이펙트로서 제5 셀 850의 대표 색상과 상기 제6 셀 860의 대표 색상을 각각 표시할 수 있다.
또는, 상기 터치가 드래그되는 위치가 제6 셀 860 위인 경우, 제어부 180은 영역 851에 상기 트레이스 이펙트로서 제5 셀 850의 대표 색상과 상기 제6 셀 860의 대표 색상을 각각 표시할 수 있다. 이때, 제어부 180은 영역 851의 가운데에는 제5 셀 850의 대표 색상과 제 6 셀 860의 대표 색상을 혼합한 색상이 표시되도록 처리할 수 있다.
또한, 제어부 180은 제6 셀 860에서 제7 셀 870으로 이동하는 터치 드래그가 검출되면, 제6 셀 860과 제7 셀 870 사이의 영역 861에 트레이스 이펙트로 표시할 수 있다. 이때, 트레이스 이펙트는 제6 셀 860의 대표 색상, 제 7 셀 870의 대표 색상, 제6 셀 860의 대표 색상과 제 7 셀 870의 대표 색상을 혼합한 색상 중 적어도 하나일 수 있다. 영역 861에 표시되는 트레이스 이펙트도 상기 설명한 것과 동일하게 처리될 수 있다. 즉, 터치된 위치가 제6 셀 860과 제7 셀 870의 사이인 경우(예: 영역 861), 제어부 180은 영역 861에 상기 트레이스 이펙트로서 제6 셀 860의 대표 색상을 표시할 수 있다. 또는, 터치된 위치가 제7 셀 870과 가까워지는 경우, 제어부 180은 영역 861에 상기 트레이스 이펙트로서 제6 셀 860의 대표 색상과 상기 제7 셀 870의 대표 색상을 각각 표시할 수 있다.
또는, 상기 터치가 드래그되는 위치가 제7 셀 870 위인 경우, 제어부 180은 영역 861에 상기 트레이스 이펙트로서 제6 셀 860의 대표 색상과 상기 제7 셀 870의 대표 색상을 각각 표시할 수 있다. 이때, 제어부 180은 영역 861의 가운데에는 제6 셀 860의 대표 색상과 제 7 셀 870의 대표 색상을 혼합한 색상이 표시되도록 처리할 수 있다.
상기 표시된 트레이스 이펙트를 사라지게 처리하는 방식도 상기에서 설명한 것과 동일 또는 유사하다.
도 9는 다양한 실시 예들에 따른 트레이스 이펙트를 표시하는 방법을 도시한 흐름도이다.
도 9를 참조하면, 동작 901에서, 제어부 180은 제1 셀의 선택을 수신할 수 있다. 예를 들어, 제어부 180은 상기 제1 셀 상에서 터치가 검출되면, 터치가 검출된 제1 셀을 선택한 것으로 판단할 수 있다. 제어부 180은 상기 제1 셀의 선택을 수신하면, 상기 제1 셀에 해당하는 사운드 샘플(예: 오디오)을 출력하고, 상기 제1 셀에 해당하는 대표 색상을 표시할 수 있다.
동작 903에서, 제어부 180은 터치 이동을 검출할 수 있다. 예를 들어, 제어부 180은 상기 제1 셀 상에서 검출된 터치가 해제되지 않고 이동하는 것으로 검출할 수 있다. 만약, 제어부 180은 상기 제1 셀 상에서 검출된 터치가 이동하지 않고 해제된 경우, 제1 셀의 대표 색상을 표시하고 종료할 수 있다.
상기 터치 이동이 검출되면, 동작 905에서, 제어부 180은 상기 제1 셀의 대표 색상을 터치 이동 영역의 색상으로 결정하고 표시할 수 있다. 즉, 제어부 180은 상기 제1 셀 상에서 검출된 터치가 상기 제1 셀을 벗어나 이동하는 경우, 이동 경로 상의 영역을 상기 제1 셀의 대표 색상으로 표시하도록 처리할 수 있다. 즉, 터치 이동 영역은 상기 제1 셀과 다른 셀 간의 사이 영역일 수 있다. 제어부 180은 상기 터치 이동 영역에 상기 제1 셀의 대표 색상을 트레이스 이펙트로서 표시할 수 있다.
동작 907에서, 제어부 180은 제2 셀의 선택을 수신할 수 있다. 예를 들어, 제어부 180은 상기 제1 셀 상에서 검출된 터치가 상기 제2 셀로 이동하는 것을 검출할 수 있다. 상기 터치가 상기 제2 셀 위에서 검출되는 경우, 제어부 180은 상기 제2 셀을 선택한 것으로 판단할 수 있다. 제어부 180은 상기 제2 셀의 선택을 수신하면, 상기 제2 셀에 해당하는 사운드 샘플(예: 오디오)을 출력하고, 상기 제2 셀에 해당하는 대표 색상을 표시할 수 있다.
동작 909에서, 제어부 180은 상기 제1 셀의 대표 색상과 상기 제2 셀의 대표 색상을 이용하여 상기 터치 이동 영역의 색상을 결정할 수 있다. 즉, 제어부 180은 상기 제1 셀과 상기 제2 셀 사이의 영역을 터치 이동 영역으로 판단할 수 있다. 상기 제1 셀에서 검출된 터치가 상기 제2 셀로 이동하였으므로, 제어부 180은 상기 제1 셀의 대표 색상과 상기 제2 셀의 대표 색상을 혼합한 색상을 상기 터치 이동 영역의 색상으로 결정할 수 있다.
다양한 실시예들에 따르면, 제어부 180은 상기 터치 이동 영역을 복수개로 분할하고, 제1 셀의 대표 색상과 제2 셀의 대표 색상을 이용하여 분할된 각 영역에 트레이스 이펙트로 표시할 색상을 결정할 수 있다. 예를 들어, 제어부 180은 상기 터치 이동 영역을 두 부분으로 분할하고(예: 제1 영역과 제2 영역), 제1 셀과 가까운 영역(예: 제1 영역)에는 제1 셀의 대표 색상을 트레이스 이펙트의 색상으로 결정하고, 제2 셀과 가까운 영역(예: 제2 영역)에는 제2 셀의 대표 색상을 트레이스 이펙트의 색상으로 결정할 수 있다. 또는, 제어부 180은 상기 터치 이동 영역을 세 부분으로 분할하고(예: 제1 영역, 제2 영역, 제3 영역), 제1 셀과 가까운 영역(예: 제1 영역)에는 제1 셀의 대표 색상을 트레이스 이펙트의 색상으로 결정하고, 제2 셀과 가까운 영역(예: 제3 영역)에는 제2 셀의 대표 색상을 트레이스 이펙트의 색상으로 결정하며, 제1 영역과 제3 영역의 가운데 영역(예: 제2 영역)에는 제1 셀의 대표 색상과 제2 셀의 대표 색상을 혼합한 색상을 트레이스 이펙트의 색상으로 결정할 수 있다.
동작 911에서, 제어부 180은 상기 결정된 색상으로 상기 터치 이동 영역의 색상을 변경하여 표시할 수 있다. 예를 들어, 제어부 180은 상기 혼합한 색상을 트레이스 이펙트로서 상기 터치 이동 영역에 표시할 수 있다. 또는, 제어부 180은 상기 터치 이동 영역에 제1 셀의 대표 색상, 상기 제2 셀의 대표 색상, 상기 혼합한 색상 중 적어도 하나를 트레이스 이펙트로서 표시할 수 있다.
도 10은 다양한 실시 예들에 따른 트레이스 이펙트의 일례를 도시한 도면이다.
도 10의 (a)는 사용자가 제1 셀 1010 위를 터치한 상태에서 제2 셀 1020으로 터치를 드래그한 일례를 도시한 것이다. 제어부 180은 터치가 이동되는 순서에 따라 해당하는 색상이 표시되도록 처리할 수 있다. 예를 들어, 제어부 180은 사용자가 제1 셀 1010 위를 터치하면, 제1 셀 1010의 대표 색상을 표시할 수 있다. 제어부 180은 터치된 위치가 제1 셀 1010을 벗어나서 제1 셀 1010과 제2 셀 1020 사이의 영역 1010A로 이동되면, 영역 1010A에 제1 셀 1010의 대표 색상을 트레이스 이펙트로서 표시할 수 있다. 이때, 제어부 180은 상기 트레이스 이펙트의 색상을 제1 셀 1010의 대표 색상보다 채도 또는 명도가 높거나 낮은 색상으로 표시할 수 있다. 또는, 제어부 180은 제1 셀 1010의 사운드 샘플에 기초하여 제1 셀 1010의 대표 색상보다 채도 또는 명도가 높거나 낮은 색상으로 상기 트레이스 이펙트를 표시할 수 있다.
여기서, 채도 또는 명도가 "낮다" 또는 "높다"라고 기재한 것은 채도 또는 명도가 "연하다(light)" 또는 "진하다(dark)"로 표현될 수도 있다.
또는, 제어부 180은 영역 1010A를 제1 영역 1011 및 제2 영역 1021로 구분하고, 제1 영역 1011에 트레이스 이펙트의 색상을 제1 셀 1010의 대표 색상으로 표시할 수 있다. 여기서, 제1 영역 1011은 제1 셀 1010에 가까운 영역이고, 제2 영역 1021은 제2 셀 1020에 가까운 영역일 수 있다.
제어부 180은 터치가 제2 셀 1020 위에 위치하면, 영역 1010A에 제2 셀 1020의 대표 색상을 트레이스 이펙트로서 표시할 수 있다. 또는, 제어부 180은 영역 1010A에 제1 셀 1010의 대표 색상과 제2 셀 1020의 대표 색상을 혼합한 색상을 트레이스 이펙트로서 표시할 수 있다. 또는, 제어부 180은 제1 셀 1010의 사운드 샘플과 제2 셀 1020의 사운드 샘플에 기초하여 영역 1010A에 표시할 트레이스 이펙트의 색상을 결정할 수 있다. 예를 들어, 제어부 180은 제1 셀 1010의 사운드 샘플과 제2 셀 1020의 사운드 샘플에 기초하여 상기 혼합 색상의 채도 또는 명도를 조절할 수 있다. 또는, 제어부 180은 제1 영역 1011에는 제1 셀 1010의 대표 색상을 표시하고, 제2 영역 1021을 제2 셀 1020의 대표 색상으로 표시할 수 있다. 또는, 제어부 180은 제1 영역 1011을 상기 혼합한 색상으로 표시하고, 제2 영역 1021을 상기 제2 셀의 대표 색상으로 결정할 수 있다. 또는, 제어부 180은 제1 영역 1011에 제1 셀 1010의 대표 색상을 표시하고, 제2 영역 1021에 제2 셀 1020의 대표 색상을 표시하며, 제1 영역 1011 및 제2 영역 1021이 중첩된 영역 1011-1에 제1 셀 1010의 대표 색상과 제2 셀 1020의 대표 색상을 혼합한 색상으로 표시할 수 있다.
도 10의 (b)는 사용자가 제1 셀 1010 위를 터치한 상태에서 제2 셀 1020을 지나 제3 셀 1030까지 터치를 드래그한 일례를 도시한 것이다. 예를 들어, 제어부 180은 사용자가 영역 1010A 위로 터치를 이동시키면, 영역 1010A에 트레이스 이펙트로서 상기 혼합한 색상을 표시할 수 있다. 제어부 180은 상기 사용자가 제2 셀 1020으로 터치를 이동시키면, 제1 영역 1011에 제1 셀 1010의 대표 색상을 표시하고, 제2 영역 1021에 제2 셀 1020의 대표 색상을 표시하며, 중첩된 영역 1101-1에 상기 혼합한 색상으로 표시할 수 있다. 이때, 터치 위치가 영역 1010A에 있을 경우의 혼합한 색상과 터치 위치가 제2 셀 1020으로 이동한 경우의 혼합한 색상은 동일하거나 다를 수 있다. 다른 경우에는 상기 혼합한 색상의 채도 또는 명도를 다르게 조절할 수 있다.
제어부 180은 터치의 위치가 제2 셀 1020과 제3 셀 1030 사이의 영역 1020A로 이동되면, 영역 1020A에 제2 셀 1020의 대표 색상을 트레이스 이펙트로서 표시할 수 있다. 이때, 제어부 180은 상기 혼합한 색상으로 표시하던 영역 1010A를 제1 셀 1010의 대표 색상으로 변경할 수 있다. 또는, 제어부 180은 영역 1010A에 표시하던 상기 혼합한 색상의 채도 또는 명도를 변경할 수도 있다. 제어부 180은 영역 1020A를 제1 영역 1022 및 제2 영역 1031로 구분하고, 제1 영역 1022에 트레이스 이펙트의 색상을 제2 셀 1020의 대표 색상으로 표시할 수 있다. 여기서, 제1 영역 1022는 제2 셀 1020에 가까운 영역이고, 제2 영역 1031은 제3 셀 1030에 가까운 영역일 수 있다.
제어부 180은 터치가 제3 셀 1030 위에 위치하면, 영역 1020A에 제2 셀 1020의 대표 색상을 트레이스 이펙트로서 표시할 수 있다. 또는, 제어부 180은 영역 1020A에 제2 셀 1020의 대표 색상과 제3 셀 1030의 대표 색상을 혼합한 색상을 트레이스 이펙트로서 표시할 수 있다. 또는, 제어부 180은 제2 셀 1020의 사운드 샘플과 제3 셀 1030의 사운드 샘플에 기초하여 영역 1020A에 표시할 트레이스 이펙트의 색상을 결정할 수 있다. 예를 들어, 제어부 180은 제2 셀 1020의 사운드 샘플과 제3 셀 1030의 사운드 샘플에 기초하여 상기 혼합 색상의 채도 또는 명도를 조절할 수 있다. 또는, 제어부 180은 제1 영역 1022에는 제2 셀 1020의 대표 색상을 표시하고, 제2 영역 1031을 제3 셀 1030의 대표 색상으로 표시할 수 있다. 또는, 제어부 180은 제1 영역 1022을 상기 혼합한 색상으로 표시하고, 제2 영역 1031을 제3 셀 1030의 대표 색상으로 결정할 수 있다. 또는, 제어부 180은 제1 영역 1022에 제2 셀 1020의 대표 색상을 표시하고, 제2 영역 1031에 제3 셀 1030의 대표 색상을 표시하며, 제1 영역 1022 및 제2 영역 1031이 중첩된 영역 1022-1에 상기 혼합한 색상으로 표시할 수 있다.
도 10의 (c)는 사용자가 제1 셀 1010 위를 터치한 상태에서 제2 셀 1020을 지나 제4 셀 1040까지 터치를 드래그한 일례를 도시한 것이다. (b)의 제3 셀 1030과 (c)의 제4 셀 1040을 비교해 보면, 동일한 열에 배치된 것으로, 대표 색상이 동일 또는 유사할 수 있다. 예를 들어, 제어부 180은 제3 셀 1030의 대표 색상보다 제4 셀 1040의 대표 색상이 채도 또는 명도가 높거나 낮을 수 있다. 따라서, 제어부 180은 제2 셀 1020과 제3 셀 1030 사이의 영역 1020A의 색상을 제2 셀 1020과 제4 셀 1040 사이의 영역 1020B의 색상과 동일 또는 다르게 결정할 수 있다. 또는, 제어부 180은 제2 셀 1020의 사운드 샘플과 제4 셀 1040의 사운드 샘플에 기초하여 영역 1020B의 색상을 결정할 수 있다. 왜냐하면, 제어부 180은 제3 셀 1020의 사운드 샘플과 제4 셀 1040의 사운드 샘플이 다르기 때문에 영역 1020B의 색상도 영역 1020A의 색상과 다를 수 있다. 예를 들어, 제어부 180은 제1 영역 1022에 제2 셀 1020의 대표 색상을 표시하고, 제2 영역 1041에 제4 셀 1040의 대표 색상을 표시하며, 제1 영역 1022 및 제2 영역 1041이 중첩된 영역 1022-2에 제2 셀 1020의 대표 색상과 제4 셀 1040의 대표 색상을 혼합한 색상으로 표시할 수 있다. 즉, 중첩된 영역 1022-1과 중첩된 영역 1022-2의 혼합된 색상은 동일할 수도 있고, 다를 수도 있다.
도 11은 다양한 실시 예들에 따른 터치 드래그의 입력값에 따라 트레이스 이펙트를 표시하는 방법을 도시한 흐름도이다.
도 11을 참조하면, 동작 1101에서, 제어부 180은 터치 드래그의 입력값을 검출할 수 있다. 상기 터치 드래그는 사용자의 손가락 또는 물체(예: 터치 펜)를 이용하여 터치스크린 130을 터치한 후, 상기 터치를 이동시키는 입력을 의미할 수 있다. 즉, 상기 터치 드래그는 상기 도 7의 동작 703에서 설명한 것이다. 상기 입력값은 터치 면적, 터치 강도 또는 터치 속도 중 적어도 하나 또는 조합일 수 있다. 따라서, 제어부 180은 터치 드래그가 검출되면, 검출된 터치 드래그에 대한 입력값을 실시간으로 산출할 수 있다.
동작 1103에서, 제어부 180은 상기 입력값에 대응하는 설정 범위를 결정할 수 있다. 상기 설정 범위는 사용자의 설정 또는 전자 장치 100의 설정에 기초하여 다양하게 설정될 수 있다. 예를 들면, 상기 설정 범위는 기준치를 기준으로 높다/낮다로 설정되거나, 상/중/하로 설정되거나, 상/상중/중/중하/하로 설정되거나, 1부터 10까지 세분화하여 설정될 수도 있다. 제어부 180은 상기 검출된 입력값이 어느 설정 범위에 해당하는지 결정할 수 있다.
동작 1105에서, 제어부 180은 상기 결정된 설정 범위에 해당하는 트레이스 이펙트를 확인할 수 있다. 다양한 실시예들에 따르면, 트레이스 이펙트는 설정 범위에 따라 다양하게 표현될 수 있다. 예를 들어, 제어부 180은 설정 범위에 따라 상기 트레이스 이펙트의 면적, 크기, 채도, 명도를 각각 다르게 설정할 수 있다. 상기 입력값이 터치 면적인 경우, 좁은 면적으로 터치한 경우와 넓은 면적으로 터치한 경우의 트레이스 이펙트가 구별될 수 있다. 또는, 상기 입력값이 터치 강도인 경우, 큰 강도로 터치한 경우와 작은 강도로 터치한 경우의 트레이스 이펙트가 구별될 수 있다. 또는, 상기 입력값이 터치 속도인 경우, 빠른 속도로 터치한 경우와 느린 속도로 터치한 경우의 트레이스 이펙트가 구별될 수 있다.
다양한 실시예들에 따르면, 제어부 180은 상기 터치 면적, 상기 터치 강도, 상기 터치 속도의 조합에 따라 각각 다른 트레이스 이펙트가 설정될 수 있다. 예를 들면, 제어부 180은 터치 면적이 넓고 터치 강도가 작은 경우와 터치 면적이 좁고 터치 강도가 큰 경우의 트레이스 이펙트가 구별되도록 설정할 수 있다. 제어부 180은 터치 면적이 넓고 터치 속도가 느린 경우와 터치 면적이 좁고 터치 강도가 빠른 경우의 트레이스 이펙트가 구별되도록 설정할 수 있다. 또는 제어부 180은 터치 강도가 강하고 터치 속도가 빠른 경우와 터치 강도가 약하고 터치 속도가 느린 경우의 트레이스 이펙트가 구별되도록 설정할 수 있다.
다양한 실시예들에 따르면, 도 11의 동작 1101 내지 동작 1105는 상기 도 7의 동작 703에 포함되어 수행될 수 있다.
동작 1107에서, 제어부 180은 상기 트레이스 이펙트를 표시할 수 있다. 예를 들면, 제어부 180은 좁은 면적으로 터치한 경우의 트레이스 이펙트를 좁게 표시하고, 넓은 면적으로 터치한 경우의 트레이스 이펙트를 넓게 표시할 수 있다. 또는, 제어부 180은 좁은 면적으로 터치한 경우, 트레이스 이펙트의 면적을 좁게 트레이스 이펙트의 채도와 명도를 낮게 표시할 수 있다. 제어부 180은 넓은 면적으로 터치한 경우, 트레이스 이펙트의 면적을 넓게, 트레이스 이펙트의 채도와 명도를 높게 표시할 수 있다. 또는, 제어부 180은 큰 강도로 터치한 경우 트레이스 이펙트의 채도와 명도를 높게 표시하고, 작은 강도로 터치한 경우 트레이스 이펙트의 채도와 명도를 낮게 표시할 수 있다. 또는, 제어부 180은 큰 강도로 터치한 경우의 트레이스 이펙트의 채도와 명도를 높게 표시함과 동시에 추가 비주얼 이펙트를 표시하도록 처리할 수도 있다. 추가 비주얼 이펙트는 상기 트레이스 이펙트와 함께 표시되는 것으로 시각적으로 트레이스 이펙트와 구별되는 효과를 나타내는 것일 수 있다. 또는, 제어부 180은 작은 강도로 터치한 경우 트레이스 이펙트의 채도와 명도를 낮게 표시함과 동시에 추가 비주얼 이펙트를 표시하도록 처리할 수도 있다.
다양한 실시예들에 따르면, 제어부 180은 설정 범위에 따라 각 셀의 대표 색상에 대한 채도 또는 명도를 다양하게 설정할 수 있다. 예를 들어, 상기 입력값이 터치 면적인 경우, 좁은 면적으로 터치한 경우와 넓은 면적으로 터치한 경우의 셀의 대표 색상이 구별될 수 있다. 또는, 상기 입력값이 터치 강도인 경우, 큰 강도로 터치한 경우와 작은 강도로 터치한 경우의 셀의 대표 색상이 구별될 수 있다. 또는, 상기 입력값이 터치 속도인 경우, 빠른 속도로 터치한 경우와 느린 속도로 터치한 경우의 셀의 대표 색상이 구별될 수 있다.
예를 들어, 제어부 180은 좁은 면적으로 터치한 경우 셀의 대표 색상에 대한 채도 또는 명도를 낮게 표시하고, 넓은 면적으로 터치한 경우 셀의 대표 색상에 대한 채도 또는 명도를 높게 표시할 수 있다. 또는, 그 반대도 가능하다. 제어부 180은 큰 강도로 터치한 경우 셀의 대표 색상에 대한 채도 또는 명도를 높게 표시하고, 작은 강도로 터치한 경우 셀의 대표 색상에 대한 채도 또는 명도를 낮게 표시할 수 있다. 제어부 180은 빠른 속도로 터치한 경우 셀의 대표 색상에 대한 채도 또는 명도를 높게 표시하고, 느린 속도로 터치한 경우 셀의 대표 색상에 대한 채도 또는 명도를 낮게 표시할 수 있다. 제어부 180은 상기 터치 면적, 상기 터치 강도, 상기 터치 속도의 조합에 따라 셀의 대표 색상에 대한 채도 또는 명도를 각각 다르게 설정할 수도 있다.
도 12는 다양한 실시 예들에 따른 터치 면적에 따라 트레이스 이펙트를 표시하는 일례를 도시한 도면이다.
도 12의 (a)는 사용자가 좁은 면적으로 터치한 경우에 표시되는 트레이스 이펙트의 일례를 도시한 것이다. 예를 들면, 제어부 180은 사용자가 터치한 부분에 면적 A를 반경 r1을 이용하여 산출할 수 있다. 제어부 180은 면적 A로 터치한 경우, 면적 A에 대응하는 설정 범위를 확인하고, 설정 범위에 대응하는 셀의 대표 색상 또는 트레이스 이펙트를 확인할 수 있다. 제어부 180은 확인된 셀의 대표 색상 1210A, 1220A, 1230A, 1240A를 각각 표시하고, 확인된 트레이스 이펙트를 두 셀 간의 사이 영역 1211A, 1221A, 1231A에 표시할 수 있다. 다양한 실시예들에 따르면, 영역 1211A에서 중첩된 영역 1211-1은 제1 셀 1210A의 대표 색상과 제2 셀 1220A의 대표 색상을 혼합한 색상으로 표시될 수 있다. 영역 1221A에서 중첩된 영역 1221-1은 제2 셀 1220A의 대표 색상과 제3 셀 1230A의 대표 색상을 혼합한 색상으로 표시될 수 있다. 영역 1231A에서 중첩된 영역 1231-1은 제3 셀 1230A의 대표 색상과 제4 셀 1240A의 대표 색상을 혼합한 색상으로 표시될 수 있다.
도 12의 (b)는 사용자가 넓은 면적으로 터치한 경우에 표시되는 트레이스 이펙트의 일례를 도시한 것이다. 예를 들면, 제어부 180은 사용자가 터치한 부분에 면적 B를 반경 r2를 이용하여 산출할 수 있다. 제어부 180은 면적 B로 터치한 경우, 면적 B에 대응하는 설정 범위를 확인하고, 설정 범위에 대응하는 셀의 대표 색상 또는 트레이스 이펙트를 확인할 수 있다. 제어부 180은 확인된 셀의 대표 색상 1210B, 1220B, 1230B, 1240B를 각각 표시하고, 확인된 트레이스 이펙트를 두 셀 간의 사이 영역 1211B, 1221B, 1231B에 표시할 수 있다. 다양한 실시예들에 따르면, 영역 1211B에서 중첩된 영역 1211-2는 제1 셀 1210B의 대표 색상과 제2 셀 1220B의 대표 색상을 혼합한 색상으로 표시될 수 있다. 영역 1221B에서 중첩된 영역 1221-2는 제2 셀 1220B의 대표 색상과 제3 셀 1230B의 대표 색상을 혼합한 색상으로 표시될 수 있다. 영역 1231B에서 중첩된 영역 1231-2는 제3 셀 1230B의 대표 색상과 제4 셀 1240B의 대표 색상을 혼합한 색상으로 표시될 수 있다.
도 12의 (a)와 (b) 를 비교하면, 셀의 대표 색상 1210A, 1220A, 1230A, 1240A와 셀의 대표 색상 1210B, 1220B, 1230B, 1240B는 채도 또는 명도가 다를 수 있다. 예를 들어, 셀의 대표 색상 1210A, 1220A, 1230A, 1240A가 셀의 대표 색상 1210B, 1220B, 1230B, 1240B보다 채도 또는 명도가 높을 수 있다. 또는 그 반대도 가능하다. 이와 마찬가지로, 트레이스 이펙트 1211A, 1221A, 1231A와 트레이스 이펙트 1211B, 1221B, 1231B는 면적, 채도 또는 명도가 상이할 수 있다. 즉, 트레이스 이펙트 1211A, 1221A, 1231A는 트레이스 이펙트 1211B, 1221B, 1231B보다 적은 면적을 가지며, 채도 또는 명도가 낮을 수 있다. 또는 그 반대도 가능하다. 또한, (a)에서 중첩 영역 1211-1, 1221-1, 1231-1과 (b)에서 중첩 영역 1211-2, 1221-2, 1231-2는 면적, 채도 또는 명도가 상이할 수 있다. 중첩 영역 1211-1, 1221-1, 1231-1는 중첩 영역 1211-2, 1221-2, 1231-2보다 적은 면적을 가지며, 채도 또는 명도가 낮을 수 있다. 또는 그 반대도 가능하다.
다양한 실시예들에 따르면, 터치 면적이 상이함에 따라 셀의 대표 색상, 트레이스 이펙트, 트레이스 이펙트 내 중첩 영역의 면적, 채도 또는 명도가 각각 상이할 수 있다.
도 13은 다양한 실시 예들에 따른 터치 강도에 따라 트레이스 이펙트를 표시하는 일례를 도시한 도면이다.
도 13을 참조하면, 사용자가 넓은 면적으로 강하게 터치한 경우에 표시되는 트레이스 이펙트의 일례를 도시한 것이다. 예를 들면, 제어부 180은 사용자가 터치한 부분에 면적 B를 반경 r2를 이용하여 산출하고, 압력 센서 또는 터치감지부 133을 이용하여 터치 강도를 산출할 수 있다. 제어부 180은 면적 B, 강도 S로 터치한 경우, 면적 B 및 강도 S에 대응하는 설정 범위를 확인하고, 설정 범위에 대응하는 셀의 대표 색상 또는 트레이스 이펙트를 확인할 수 있다. 제어부 180은 확인된 셀의 대표 색상 1310, 1320, 1330, 1340을 각각 표시하고, 확인된 트레이스 이펙트를 두 셀 간의 사이 영역 1311, 13221, 1331에 표시할 수 있다. 다양한 실시예들에 따르면, 영역 1311에서 중첩된 영역 11311A는 제1 셀 1310의 대표 색상과 제2 셀 1320의 대표 색상을 혼합한 색상으로 표시될 수 있다. 영역 1321에서 중첩된 영역 1321A는 제2 셀 1320의 대표 색상과 제3 셀 1330의 대표 색상을 혼합한 색상으로 표시될 수 있다. 영역 1331에서 중첩된 영역 1331A는 제3 셀 1330의 대표 색상과 제4 셀 1340의 대표 색상을 혼합한 색상으로 표시될 수 있다. 이와 더불어, 제어부 180은 추가 비주얼 이펙트 1350을 표시하도록 처리할 수 있다. 예를 들어, 추가 비주얼 이펙트 1350은 셀 주변에 물방울 무늬를 표시하는 것으로, 연주에 따라 마치 물방울이 튀기는 것과 같은 느낌을 표현할 수 있다. 이러한 추가 비주얼 이펙트는 도 13에 의해 한정되는 것은 아니며, 구현에 따라 다양한 방법으로 표현될 수 있다.
도 12(b) 및 도 13을 비교하면, 셀의 대표 색상 1210B, 1220B, 1230B, 1240B와 셀의 대표 색상 1310, 1320, 1330, 1340은 채도 또는 명도가 다를 수 있다. 예를 들어, 셀의 대표 색상 1310, 1320, 1330, 1340이 셀의 대표 색상 1210B, 1220B, 1230B, 1240B보다 채도 또는 명도가 높을 수 있다. 또는 그 반대도 가능하다. 이와 마찬가지로, 트레이스 이펙트 1211B, 1221B, 1231B와 트레이스 이펙트 1311, 1321, 1331은 면적, 채도 또는 명도가 상이할 수 있다. 즉, 트레이스 이펙트 1311, 1321, 1331은 트레이스 이펙트 1211B, 1221B, 1231B보다 큰 면적을 가지며, 채도 또는 명도가 높을 수 있다. 또는 그 반대도 가능하다. 또한, 중첩 영역 1211-2, 1221-2, 1231-2와 중첩 영역 1311A, 1321A, 1331A는 면적, 채도 또는 명도가 상이할 수 있다. 예를 들어, 중첩 영역 1311A, 1321A, 1331A는 중첩 영역 1211-2, 1221-2, 1231-2보다 적은 면적을 가지며, 채도 또는 명도가 낮을 수 있다. 또는 그 반대도 가능하다.
다양한 실시예들에 따르면, 터치 강도가 상이함에 따라 셀의 대표 색상, 트레이스 이펙트, 트레이스 이펙트 내 중첩 영역의 면적, 채도 또는 명도가 각각 상이할 수 있다.
도 14는 다양한 실시 예들에 따른 터치 속도에 따라 트레이스 이펙트를 표시하는 일례를 도시한 도면이다.
도 14의 (a)는 사용자가 느린 속도로 터치한 경우에 표시되는 트레이스 이펙트의 일례를 도시한 것이다. 예를 들면, 제어부 180은 시간(예: t1, t2)에 따라 변화하는 터치 위치를 기반으로 터치 속도를 산출할 수 있다. (a)에 도시한 t1, t2의 길이는 터치가 이동한 거리로 해석할 수 있다. 화살표 방향은 터치가 이동하는 방향일 수 있다. 제어부 180은 산출된 터치 속도에 설정 범위를 확인하고, 설정 범위에 대응하는 셀의 대표 색상 또는 트레이스 이펙트를 확인할 수 있다. 제어부 180은 확인된 셀의 대표 색상 1410, 1420, 1430, 1440을 각각 표시하고, 확인된 트레이스 이펙트를 두 셀 간의 사이 영역 1411A, 1421A, 1431A에 표시할 수 있다. 다양한 실시예들에 따르면, 영역 1431A에서 중첩된 영역 1411-1은 제1 셀 1410의 대표 색상과 제2 셀 1420의 대표 색상을 혼합한 색상으로 표시될 수 있다. 영역 1421A에서 중첩된 영역 1421-1은 제2 셀 1420의 대표 색상과 제3 셀 1430의 대표 색상을 혼합한 색상으로 표시될 수 있다. 영역 1431A에서 중첩된 영역 1431-1은 제3 셀 1430의 대표 색상과 제4 셀 1440의 대표 색상을 혼합한 색상으로 표시될 수 있다.
도 14의 (b)는 사용자가 빠른 속도로 터치한 경우에 표시되는 트레이스 이펙트의 일례를 도시한 것이다. 예를 들면, 제어부 180은 시간(예: t'1, t'2)에 따라 변화하는 터치 위치를 기반으로 터치 속도를 산출할 수 있다. (b)에 도시한 t'1, t'2의 길이는 터치가 이동한 거리로 해석할 수 있다. (a)에 도시한 t1, t2의 길이에 비해 (b)에 도시한 t'1, t'2의 길이가 더 긴 것은 동일한 시간에 이동한 거리가 더 큰 것을 알 수 있다.
제어부 180은 산출된 터치 속도에 설정 범위를 확인하고, 설정 범위에 대응하는 셀의 대표 색상 또는 트레이스 이펙트를 확인할 수 있다. 제어부 180은 확인된 셀의 대표 색상 1410, 1420, 1430, 1440을 각각 표시하고, 확인된 트레이스 이펙트를 두 셀 간의 사이 영역 1411B, 1421B, 1431B에 표시할 수 있다. 다양한 실시예들에 따르면, 영역 1431B에서 중첩된 영역 1411-2는 제1 셀 1410의 대표 색상과 제2 셀 1420의 대표 색상을 혼합한 색상으로 표시될 수 있다. 영역 1421B에서 중첩된 영역 1421-2는 제2 셀 1420의 대표 색상과 제3 셀 1430의 대표 색상을 혼합한 색상으로 표시될 수 있다. 영역 1431B에서 중첩된 영역 1431-2는 제3 셀 1430의 대표 색상과 제4 셀 1440의 대표 색상을 혼합한 색상으로 표시될 수 있다.
도 14의 (a)와 (b) 를 비교하면, 셀의 대표 색상 1410, 1420, 1430, 1440은 채도 또는 명도가 동일하거나, 다를 수 있다. 예를 들어, (a)에 도시한 셀의 대표 색상이 (b)에 도시한 셀의 대표 색상보다 채도 또는 명도가 높을 수 있다. 또는 그 반대도 가능하다. 이와 마찬가지로, 트레이스 이펙트 1411A, 1421A, 1431A와 트레이스 이펙트 1411B, 1421B, 1431B는 면적, 채도 또는 명도가 상이할 수 있다. 즉, 트레이스 이펙트 1411A, 1421A, 1431A는 트레이스 이펙트 1411B, 1421B, 1431B보다 적은 면적을 가지며, 채도 또는 명도가 낮을 수 있다. 또는 그 반대도 가능하다. 또한, (a)에서 중첩 영역 1411-1, 1421-1, 1431-1과 (b)에서 중첩 영역 1411-2, 1421-2, 1431-2는 면적, 채도 또는 명도가 상이할 수 있다. 중첩 영역 1411-1, 1421-1, 1431-1는 중첩 영역 1411-2, 1421-2, 1431-2보다 적은 면적을 가지며, 채도 또는 명도가 낮을 수 있다. 또는 그 반대도 가능하다.
다양한 실시예들에 따르면, 터치 속도가 상이함에 따라 셀의 대표 색상, 트레이스 이펙트, 트레이스 이펙트 내 중첩 영역의 면적, 채도 또는 명도가 각각 상이할 수 있다.
도 15는 다양한 실시 예들에 따른 비주얼 이펙트를 표시하는 일례를 도시한 도면이다.
도 15를 참조하면, 음악 어플리케이션에 포함된 음악에 이펙트를 설정할 수 있는 유저 인터페이스의 예시를 나타낸 것이다. 예를 들어, 제어부 180은 사용자 조작에 대응하여 루퍼 영역을 이펙트 설정 창으로 전환하여 디스플레이 하거나, 또는 루퍼 영역 상에 이펙트 설정 창을 디스플레이 할 수 있다. 이펙트 설정 창은 사용자 입력에 의한 이펙트 설정을 위한 이펙트 입력 패드(예: 카오스 패드)를 포함하여 구성할 수 있다. 사용자는 이펙트 입력 패드에 터치를 가함으로써, 특정 이펙트 오브젝트를 선택할 수 있고, 제어부 180은 선택된 이펙트 오브젝트에 대응하여 이펙트를 설정(예: 이펙트 오브젝트에 대응하는 옵션에 기반한 이펙트 생성)할 수 있다.
이때, 제어부 180은 이펙트 입력 패드를 x축 및 y축을 기준으로 복수개의 영역으로 구분할 수 있다. 예를 들어, 제어부 180은 다수개의 영역 1510, 1520, 1530, 1540으로 구분하고, 사용자가 어떤 영역에 터치하였는지에 따라 서로 다른 비주얼 이펙트를 제공할 수 있다. 예를 들어, 제어부 180은 영역 1510에서 영역 1540으로 갈수록 비주얼 이펙트의 면적, 채도, 명도 중 적어도 하나가 증가되도록 처리할 수 있다. 즉, 사용자가 영역 1510을 터치한 경우 표시되는 비주얼 이펙트 1511은 사용자가 영역 1540을 터치한 경우 표시되는 비주얼 이펙트 1541보다 작을 수 있다.
다양한 실시예들에 따른 전자 장치의 동작 방법은 유저 인터페이스에 기반하여, 적어도 하나의 음악의 플레이를 위한 터치 드래그를 감지하는 동작, 상기 터치 드래그에 대응하는 복수의 셀(Cell)들을 식별하는 동작, 및 상기 식별된 복수의 셀들 중에서 두 셀들 사이의 영역에 상기 터치 드래그에 따른 트레이스 이펙트를 표시하는 동작을 포함할 수 있다.
상기 유저 인터페이스는 다양한 음악들이 각각 설정된 다수의 셀들(cells)을 매트릭스(matrix) 구조로 제공하는 루퍼 영역을 포함하고, 상기 다수의 셀들 중 사용자 선택에 따른 하나 또는 그 이상의 셀들에 설정된 음악을 출력하고, 상기 하나 또는 그 이상의 셀들에 설정된 대표 색상을 표시하도록 구성될 수 있다.
상기 표시하는 동작은, 상기 두 셀들 각각의 음악적 속성, 음악 또는 대표 색상 중 적어도 하나에 기반하여 상기 두 셀들 사이의 영역에 트레이스 이펙트의 색상을 결정하는 동작, 및 상기 결정된 색상으로 상기 트레이스 이펙트를 표시하는 동작을 포함할 수 있다.
상기 트레이스 이펙트의 색상은 제1 셀의 대표 색상, 제2 셀의 대표 색상, 상기 제1 셀의 대표 색상과 상기 제2 셀의 대표 색상을 혼합한 색상 중 적어도 하나로 구성될 수 있다.
상기 결정하는 동작은, 상기 트레이스 이펙트의 색상을 두 셀들의 대표 색상과 동일 또는 유사하게 결정하거나, 두 셀들의 대표 색상을 혼합한 색상과 동일 또는 유사하게 결정하는 동작을 포함할 수 있다.
상기 표시하는 동작은, 상기 두 셀들 사이의 영역을 복수개로 분할하는 동작, 상기 두 셀들의 대표 색상을 기반으로 상기 분할된 각 영역에 트레이스 이펙트로 표시할 색상을 결정하는 동작, 및 상기 결정된 색상으로 상기 트레이스 이펙트를 표시하는 동작을 포함할 수 있다.
상기 결정하는 동작은 상기 두 셀들 사이의 영역을 제1 영역, 제2 영역, 제3 영역으로 분할하는 동작, 제1 셀과 가까운 제1 영역의 트레이스 이펙트의 색상을 제1 셀의 대표 색상으로 결정하고, 제2 셀과 가까운 제3 영역의 트레이스 이펙트의 색상을 제2 셀의 대표 색상으로 결정하며, 상기 제1 영역과 상기 제3 영역의 가운데인 제2 영역의 트레이스 이펙트의 색상을 상기 제1 셀의 대표 색상과 상기 제2 셀의 대표 색상을 혼합한 색상으로 결정하는 동작을 포함할 수 있다.
상기 표시하는 동작은, 상기 터치 드래그의 면적, 강도, 또는 속도 중 적어도 하나를 산출하는 동작, 및 상기 산출된 면적, 강도, 또는 속도 중 적어도 하나 또는 둘 이상의 조합에 기반하여 상기 트레이스 이펙트의 면적, 채도 또는 명도 중 적어도 하나 또는 둘 이상을 구별되게 표시하는 동작을 포함할 수 있다.
상기 동작 방법은 상기 터치 드래그의 해제 여부, 설정된 시간의 경과 여부, 새로운 사용자 입력의 검출 여부 중 적어도 하나에 해당하는지를 판단하는 동작, 및 상기 터치 드래그가 해제되거나, 설정된 시간이 경과하거나, 새로운 사용자 입력이 검출되는 경우, 상기 트레이스 이펙트의 표시를 제거하는 동작을 더 포함할 수 있다.
상기 동작 방법은 상기 터치 드래그에 대응하여 상기 표시된 트레이스 이펙트의 색상을 변경하는 동작을 더 포함할 수 있다.
그리고 본 명세서와 도면에 개시된 실시 예들은 본 발명의 내용을 쉽게 설명하고, 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 전자 장치
120: 사용자 입력부 130: 터치스크린
131: 디스플레이 133: 터치감지부
140: 오디오 처리부 150: 메모리
180: 제어부(프로세서)
300: 루퍼 어플리케이션
310: 기본 컨트롤 영역 320: 루퍼 영역
330: 루퍼 컨트롤 영역 340: 셀(Cell)

Claims (20)

  1. 전자 장치에 있어서,
    디스플레이,
    메모리, 및
    상기 디스플레이, 및 상기 메모리와 전기적으로 연결된 하나 또는 그 이상의 프로세서들을 포함하고,
    상기 하나 또는 그 이상의 프로세서들은,
    서로 다른 음악들이 각각 설정된 복수의 셀들을 표시하고,
    상기 복수의 셀들 중 제1 셀에서 제2 셀로 이동하는 터치 드래그를 감지하고,
    상기 터치 드래그의 감지에 응답하여, 상기 제1 셀과 상기 제2 셀 사이의 영역을 상기 제1 셀과 가까운 제1 영역, 상기 제2 셀과 가까운 제2 영역 및 상기 제1 영역과 상기 제2 영역 사이인 제3 영역으로 분할하고,
    상기 제1 셀의 적어도 일부 및 상기 제1 영역을 제1 색상으로 표시하고, 상기 제2 셀의 적어도 일부 및 상기 제2 영역을 상기 제1 색상과 다른 제2 색상으로 표시하고, 상기 제3 영역을 상기 제1 색상과 상기 제2 색상을 혼합한 색상에 대응되는 제3 색상으로 표시하고,
    상기 제1 셀에 설정된 제1 음악 및 상기 제2 셀에 설정된 제2 음악을 출력하되,
    상기 터치 드래그의 면적에 기반하여, 상기 제3 영역의 면적이 결정되도록 구성된 전자 장치.
  2. 제1항에 있어서,
    상기 복수의 셀들은 매트릭스 구조로 표시되는 전자 장치.
  3. 제1항에 있어서,
    상기 제1 색상은 상기 제1 음악의 음악적 속성에 기반하여 결정되고,
    상기 제2 색상은 상기 제2 음악의 음악적 속성에 기반하여 결정되는 전자 장치.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 제1항에 있어서, 상기 하나 또는 그 이상의 프로세서들은,
    상기 터치 드래그의 면적이 제1 값이면, 상기 제3 영역의 면적을 제2 값으로 결정하고,
    상기 터치 드래그의 면적이 상기 제1 값보다 큰 제3 값이면, 상기 제3 영역의 면적을 상기 제2 값보다 큰 제4 값으로 결정하도록 구성된 전자 장치.
  9. 삭제
  10. 삭제
  11. 전자 장치의 동작 방법에 있어서,
    서로 다른 음악들이 각각 설정된 복수의 셀들을 표시하는 동작,
    상기 복수의 셀들 중 제1 셀에서 제2 셀로 이동하는 터치 드래그를 감지하는 동작,
    상기 터치 드래그의 감지에 응답하여, 상기 제1 셀과 상기 제2 셀 사이의 영역을 상기 제1 셀과 가까운 제1 영역, 상기 제2 셀과 가까운 제2 영역 및 상기 제1 영역과 상기 제2 영역 사이인 제3 영역으로 분할하는 동작,
    상기 제1 셀의 적어도 일부 및 상기 제1 영역을 제1 색상으로 표시하고, 상기 제2 셀의 적어도 일부 및 상기 제2 영역을 상기 제1 색상과 다른 제2 색상으로 표시하고, 상기 제3 영역을 상기 제1 색상과 상기 제2 색상을 혼합한 색상에 대응되는 제3 색상으로 표시하는 동작, 및
    상기 제1 셀에 설정된 제1 음악 및 상기 제2 셀에 설정된 제2 음악을 출력하는 동작을 포함하되,
    상기 터치 드래그의 면적에 기반하여, 상기 제3 영역의 면적이 결정되는 전자 장치의 동작 방법.
  12. 제11항에 있어서, 상기 복수의 셀들을 표시하는 동작은,
    상기 복수의 셀들을 매트릭스 구조로 표시하는 동작을 포함하는 전자 장치의 동작 방법.
  13. 제11항에 있어서,
    상기 제1 색상은 상기 제1 음악의 음악적 속성에 기반하여 결정되고,
    상기 제2 색상은 상기 제2 음악의 음악적 속성에 기반하여 결정되는 전자 장치의 동작 방법.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 제11항에 있어서,
    상기 터치 드래그의 면적이 제1 값이면, 상기 제3 영역의 면적은 제2 값으로 결정되고,
    상기 터치 드래그의 면적이 상기 제1 값보다 큰 제3 값이면, 상기 제3 영역의 면적은 상기 제2 값보다 큰 제4 값으로 결정되는 전자 장치의 동작 방법.
  19. 삭제
  20. 삭제
KR1020150112744A 2015-08-10 2015-08-10 유저 인터페이스 제공 방법 및 이를 구현한 전자 장치 KR102347392B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150112744A KR102347392B1 (ko) 2015-08-10 2015-08-10 유저 인터페이스 제공 방법 및 이를 구현한 전자 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150112744A KR102347392B1 (ko) 2015-08-10 2015-08-10 유저 인터페이스 제공 방법 및 이를 구현한 전자 장치

Publications (2)

Publication Number Publication Date
KR20170018746A KR20170018746A (ko) 2017-02-20
KR102347392B1 true KR102347392B1 (ko) 2022-01-06

Family

ID=58265263

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150112744A KR102347392B1 (ko) 2015-08-10 2015-08-10 유저 인터페이스 제공 방법 및 이를 구현한 전자 장치

Country Status (1)

Country Link
KR (1) KR102347392B1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101496451B1 (ko) * 2007-01-19 2015-03-05 엘지전자 주식회사 단말기 및 이를 이용한 스크롤 바의 표시방법
KR101534090B1 (ko) * 2012-12-12 2015-07-07 삼성메디슨 주식회사 초음파 장치 및 초음파 장치의 정보 입력 방법
KR102208112B1 (ko) * 2013-11-28 2021-01-27 엘지전자 주식회사 디스플레이 디바이스 및 제어 방법
KR20150081125A (ko) * 2014-01-03 2015-07-13 삼성전자주식회사 전자 장치 스크린에서의 입자 효과 디스플레이

Also Published As

Publication number Publication date
KR20170018746A (ko) 2017-02-20

Similar Documents

Publication Publication Date Title
US20170046121A1 (en) Method and apparatus for providing user interface in an electronic device
US10452333B2 (en) User terminal device providing user interaction and method therefor
KR102255143B1 (ko) 벤디드 디스플레이를 구비한 휴대 단말기의 제어 방법 및 장치
CN105630298B (zh) 一种文件夹的管理方法和设备
US20170047082A1 (en) Electronic device and operation method thereof
US20160110152A1 (en) Method for sharing screen between devices and device using the same
CN105609121B (zh) 多媒体播放进度控制方法及装置
US20110181520A1 (en) Video out interface for electronic device
CN110083282A (zh) 基于信息展示页面的人机交互方法、装置、终端及介质
KR102607562B1 (ko) 베젤 기반 인터랙션에 따른 비주얼 이펙트 제공 방법 및 이를 구현한 전자 장치
US11233895B2 (en) Automatic wallpaper setting method, terminal device, and graphical user interface
KR102521192B1 (ko) 전자 장치 및 그의 동작 방법
CN105447124B (zh) 虚拟物品分享方法和装置
KR20140034100A (ko) 휴대단말과 외부 표시장치 연결 운용 방법 및 이를 지원하는 장치
WO2020007114A1 (zh) 分屏应用切换方法、装置、存储介质和电子设备
KR102468086B1 (ko) 컨텐츠 표시 방법 및 이를 구현한 전자 장치
KR20150098424A (ko) 전자 장치의 입력 처리 방법 및 장치
CN110121094A (zh) 视频合拍模板的显示方法、装置、设备及存储介质
US20140229823A1 (en) Display apparatus and control method thereof
US10908868B2 (en) Data processing method and mobile device
KR20150025105A (ko) 전자 장치에서 입력 기능 운영 방법 및 장치
US10235036B2 (en) Electronic device and method for controlling electronic device thereof
AU2017330785A1 (en) Electronic apparatus and controlling method thereof
KR102347392B1 (ko) 유저 인터페이스 제공 방법 및 이를 구현한 전자 장치
KR102535086B1 (ko) 전자 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right