KR20150131872A - 전자 장치 및 전자 장치에서의 음악 연주 방법 - Google Patents

전자 장치 및 전자 장치에서의 음악 연주 방법 Download PDF

Info

Publication number
KR20150131872A
KR20150131872A KR1020140059264A KR20140059264A KR20150131872A KR 20150131872 A KR20150131872 A KR 20150131872A KR 1020140059264 A KR1020140059264 A KR 1020140059264A KR 20140059264 A KR20140059264 A KR 20140059264A KR 20150131872 A KR20150131872 A KR 20150131872A
Authority
KR
South Korea
Prior art keywords
electronic device
sensor
music
stroke
information
Prior art date
Application number
KR1020140059264A
Other languages
English (en)
Other versions
KR102260721B1 (ko
Inventor
박진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140059264A priority Critical patent/KR102260721B1/ko
Priority to US14/713,192 priority patent/US10067733B2/en
Priority to EP15167937.0A priority patent/EP2945045B1/en
Publication of KR20150131872A publication Critical patent/KR20150131872A/ko
Application granted granted Critical
Publication of KR102260721B1 publication Critical patent/KR102260721B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0083—Recording/reproducing or transmission of music for electrophonic musical instruments using wireless transmission, e.g. radio, light, infrared
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/201—User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/211—User input interfaces for electrophonic musical instruments for microphones, i.e. control of musical parameters either directly from microphone signals or by physically associated peripherals, e.g. karaoke control switches or rhythm sensing accelerometer within the microphone casing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/221—Keyboards, i.e. configuration of several keys or key-like input devices relative to one another
    • G10H2220/241—Keyboards, i.e. configuration of several keys or key-like input devices relative to one another on touchscreens, i.e. keys, frets, strings, tablature or staff displayed on a touchscreen display for note input purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/351—Environmental parameters, e.g. temperature, ambient light, atmospheric pressure, humidity, used as input for musical purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/371—Vital parameter control, i.e. musical instrument control based on body signals, e.g. brainwaves, pulsation, temperature, perspiration; biometric information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/391—Angle sensing for musical purposes, using data from a gyroscope, gyrometer or other angular velocity or angular movement sensing device
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/395—Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

본 발명의 다양한 실시 예들은, 전자 장치에 관한 것으로, 음악 연주 애플리케이션을 실행하는 전자 장치에 있어서, 상기 음악 연주 애플리케이션이 실행되면, 통신으로 연결된 제2 전자 장치로부터 제어 정보를 수신하는 통신 모듈; 상기 음악 연주 애플리케이션의 실행에 따라 재생 요청된 음악 데이터에 상기 수신된 제어 정보가 적용되도록 처리하는 프로세서; 및 상기 프로세서에 의해 처리된 음악 데이터를 출력시키는 오디오 모듈;을 포함할 수 있다.
또한, 본 발명의 다양한 실시 예들은 다른 실시 예들이 가능할 수 있다.

Description

전자 장치 및 전자 장치에서의 음악 연주 방법{ELECTRONIC DEVICE AND METHOD FOR EXECUTING A MUSICAL PERFORMANCE IN THE ELECTRONIC DEVICE}
본 발명의 다양한 실시 예들은 전자 장치 및 전자 장치에서의 음악 연주 방법에 관한 것이다.
최근 사용되는 다양한 전자 장치들에는 무선 통신의 기능뿐만 아니라 사진, 음악, 동영상, 멀티미디어, 게임 등의 다양한 기능들이 사용되도록 개발되어 있다. 이러한 전자 장치의 전면에는 다양한 기능들을 보다 효과적으로 이용할 수 있도록 표시부가 제공된다. 예컨대, 최근의 스마트폰의 경우 장치의 전면부가 터치에 의해 감응하는 표시부(예컨대, 터치 스크린)가 제공되고 있다.
또한, 전자 장치에서는 다양한 애플리케이션(예컨대, '앱(App)'이라고도 한다)들이 설치되어 실행될 수 있다. 상기 애플리케이션들을 전자 장치상에서 실행시키고 제어하기 위해서는 다양한 입력 수단들(예컨대, 터치 스크린, 버튼, 마우스, 키보드, 센서 등)이 사용될 수 있다.
상기 다양한 애플리케이션들 중에는 실제 악기 연주의 기분을 느낄 수 있도록 전자 장치에 구비된 터치 스크린을 이용하여 음악을 연주할 수 있는 애플리케이션이 제공되고 있다. 또한, 다른 기술로서 실제 전자 악기와 전기적인 신호를 주고 받을 수 있는 매개 장치를 이용하여 TV 등에 연주 정보 등을 디스플레이하는 방법 등이 존재한다.
현존하는 기술에 의하면, 전자 장치(예컨대, 스마트폰)를 이용한 음악 연주 방법으로서 터치 입력 센서를 이용하여 악기 연주 효과를 제공할 수 있도록 하는 방식 등이 제공되어 왔다. 예컨대, 도 7에 도시된 바와 같이, 기타 연주 애플리케이션을 실행하면, 터치 스크린에 표시된 기타 줄을 터치함에 따라 해당하는 기타 줄을 스트로크(stroke)하는 소리가 출력된다.
그러나, 종래의 기타 연주 애플리케이션은 기타를 연주하는 소리만을 실제와 유사하게 재생할 뿐 실제 악기를 연주하는 경험적 차원에서는 여전히 차이가 많다. 이에 따라, 전자 장치(예컨대, 스마트폰)를 통한 음악 연주가 활성화되는데 장애가 되고 있다.
따라서, 전자 장치를 통해서도 실제 기타 연주와 같이 연주자가 기타를 들고 움직이고 율동을 섞을 수 있는 등의 액션감 있는 음악 연주를 할 수 있는 사용자 경험을 제공할 필요성이 있다.
본 발명의 다양한 실시 예에서는, 전자 장치(예컨대, 웨어러블 장치)의 움직임을 감지하여 기타 연주의 효과를 제공할 수 있는, 전자 장치 및 전자 장치에서의 음악 연주 방법을 제공할 수 있다.
또한, 본 발명의 다양한 실시 예에서는, 두 개의 전자 장치를 통신으로 연결하고, 적어도 하나의 전자 장치의 움직임을 감지하여 기타 연주의 효과를 제공함으로써 실제 기타 연주와 유사한 사용자 경험을 제공할 수 있는, 전자 장치 및 전자 장치에서의 음악 연주 방법을 제공할 수 있다.
본 발명의 다양한 실시 예 중 어느 하나에 따른 전자 장치는, 음악 연주 애플리케이션을 실행하는 전자 장치에 있어서, 상기 음악 연주 애플리케이션이 실행되면, 통신으로 연결된 제2 전자 장치로부터 제어 정보를 수신하는 통신 모듈; 상기 음악 연주 애플리케이션의 실행에 따라 재생 요청된 음악 데이터에 상기 수신된 제어 정보가 적용되도록 처리하는 프로세서; 및 상기 프로세서에 의해 처리된 음악 데이터를 출력시키는 오디오 모듈;을 포함할 수 있다.
본 발명의 다양한 실시 예 중 어느 하나에 따른 전자 장치에서의 음악 연주 방법은, 음악 연주 애플리케이션이 실행되면, 통신으로 연결된 제2 전자 장치로부터 제어 정보를 수신하는 동작; 상기 음악 연주 애플리케이션의 실행에 따라 재생 요청된 음악 데이터에 상기 수신된 제어 정보가 적용되도록 처리하는 동작; 및 상기 처리된 음악 데이터를 출력시키는 동작;을 포함할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 스마트폰 등과 같은 전자 장치를 이용한 디지털 음악 연주에 있어서 보다 현실감 있고, 시간과 장소에 구애받지 않으며, 실제 악기를 연주하는 것과 유사한 사용자 경험을 제공할 수 있다.
또한, 본 발명의 다양한 실시 예에 따르면, 스마트폰 등과 연동되는 웨어러블 장치를 이용하여 악기를 연주하는 동작을 판단함으로써 사용자는 실제 악기를 연주할 때와 유사한 사용자 경험과 액션감을 얻을 수 있다.
도 1은 본 발명의 일 실시 예에 따른 네트워크 환경을 나타내는 도면이다.
도 2는 본 발명의 일 실시 예에 따른 전자 장치들 간의 연결을 나타내는 도면이다.
도 3은 본 발명의 일 실시 예에 따른 전자 장치의 예를 나타내는 도면이다.
도 4는 본 발명의 일 실시 예에 따른 제1 전자 장치의 구성 예를 나타내는 도면이다.
도 5 및 도 6은 본 발명의 일 실시 예에 따른 제2 전자 장치의 구성 예를 나타내는 도면이다.
도 7은 전자 장치에서 실행되는 기타 연주 애플리케이션의 실행 화면을 나타내는 도면이다.
도 8은 본 발명의 일 실시 예에 따른 전자 장치를 이용한 기타 연주 동작의 예를 나타내는 도면이다.
도 9는 본 발명의 일 실시 예에 따른 기타 연주 애플리케이션의 실행 화면을 나타내는 도면이다.
도 10은 본 발명의 일 실시 예에 따른 전자 장치들 간의 동작 절차를 나타내는 신호 흐름도이다.
도 11은 본 발명의 일 실시 예에 따른 전자 장치의 동작 절차를 나타내는 흐름도이다.
도 12 내지 도 14는 본 발명의 일 실시 예에 따른 전자 장치의 제스처 판단을 위한 센서 값의 변화를 나타내는 그래프이다.
도 15는 본 발명의 다양한 실시 예에 따른 전자 장치를 이용한 기타 연주 동작의 예를 나타내는 도면이다.
도 16은 본 발명의 일 실시 예에 따른 전자 장치의 세부 구조를 나타내는 블록도이다.
이하, 첨부된 도면을 참조하여 본 발명(present disclosure)를 설명한다. 본 발명는 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 발명를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.
본 발명 가운데 사용될 수 있는“포함한다” 또는 “포함할 수 있다” 등의 표현은 발명된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명에서 “또는” 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, “A 또는 B”는, A를 포함할 수도, B를 포함할 수도, 또는 A 와 B 모두를 포함할 수도 있다.
본 발명 가운데 “제 1,”“제2,”“첫째,”또는“둘째,”등의 표현들이 본 발명의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분 짓기 위해 사용될 수 있다. 예를 들어, 제1 사용자 기기와 제 2 사용자 기기는 모두 사용자 기기이며, 서로 다른 사용자 기기를 나타낸다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.
본 발명에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명에 따른 전자 장치(후술하는 실시 예들에서의 제1 전자 장치 또는 제2 전자 장치)는 통신 기능이 포함된 장치일 수 있으나, 이에 한정되는 것은 아니다. 예를 들면, 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예컨대, 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 또는 스마트 와치(smartwatch))중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에 따르면, 전자 장치는 통신 기능을 갖춘 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들자면, 전자 장치는 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(game consoles), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에 따르면, 전자 장치는 각종 의료기기(예컨대, MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예컨대, 선박용 항법 장치 및 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛, 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller’s machine) 또는 상점의 POS(point of sales) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에 따르면, 전자 장치는 통신 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측기기(예컨대, 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 본 발명에 따른 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 본 발명에 따른 전자 장치는 플렉서블 장치일 수 있다. 또한, 본 발명에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.
이하, 첨부된 도면을 참조하여 다양한 실시 예에 따른 전자 장치에 대해서 살펴본다. 다양한 실시 예에서 이용되는 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치를 지칭할 수 있다.
도 1은 다양한 실시 예에 따른, 전자 장치(101)를 포함하는 네트워크 환경(100)을 도시한다. 도 1을 참조하면, 상기 전자 장치(101)는 버스(110), 프로세서(120), 메모리(130), 입출력 인터페이스(140), 디스플레이(150) 및 통신 인터페이스(160) 중 적어도 어느 하나를 포함할 수 있다.
상기 버스(110)는 전술한 구성요소들을 서로 연결하고, 전술한 구성요소들 간의 통신(예컨대, 제어 메시지)을 전달하는 회로일 수 있다.
상기 프로세서(120)는, 예를 들면, 상기 버스(110)를 통해 전술한 다른 구성요소들(예컨대, 상기 메모리(130), 상기 입출력 인터페이스(140), 상기 디스플레이(150), 또는 상기 통신 인터페이스(160) 등)로부터 명령을 수신하여, 수신된 명령을 해독하고, 해독된 명령에 따른 연산이나 데이터 처리를 실행할 수 있다.
상기 메모리(130)는, 상기 프로세서(120) 또는 다른 구성요소들(예컨대, 상기 입출력 인터페이스(140), 상기 디스플레이(150), 또는 상기 통신 인터페이스(160) 등)로부터 수신되거나 상기 프로세서(120) 또는 다른 구성요소들에 의해 생성된 명령 또는 데이터를 저장할 수 있다. 상기 메모리(130)는, 예를 들면, 커널(131), 미들웨어(132), 애플리케이션 프로그래밍 인터페이스(API: application programming interface)(133) 또는 애플리케이션(134) 등의 프로그래밍 모듈들을 포함할 수 있다. 전술한 각각의 프로그래밍 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다.
상기 커널(131)은 나머지 다른 프로그래밍 모듈들, 예를 들면, 상기 미들웨어(132), 상기 API(133) 또는 상기 애플리케이션(134)에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예컨대, 상기 버스(110), 상기 프로세서(120) 또는 상기 메모리(130) 등)을 제어 또는 관리할 수 있다. 또한, 상기 커널(131)은 상기 미들웨어(132), 상기 API(133) 또는 상기 애플리케이션(134)에서 상기 전자 장치(101)의 개별 구성요소에 접근하여 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
상기 미들웨어(132)는 상기 API(133) 또는 상기 애플리케이션(134)이 상기 커널(131)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 상기 미들웨어(132)는 상기 애플리케이션(134)으로부터 수신된 작업 요청들과 관련하여, 예를 들면, 상기 애플리케이션(134) 중 적어도 하나의 애플리케이션에 상기 전자 장치(101)의 시스템 리소스(예컨대, 상기 버스(110), 상기 프로세서(120) 또는 상기 메모리(130) 등)를 사용할 수 있는 우선 순위를 배정하는 등의 방법을 이용하여 작업 요청에 대한 제어(예컨대, 스케쥴링 또는 로드 밸런싱)를 수행할 수 있다.
상기 API(133)는 상기 애플리케이션(134)이 상기 커널(131) 또는 상기 미들웨어(132)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 화상 처리 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예컨대, 명령어)를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 애플리케이션(134)은 SMS/MMS 애플리케이션, 이메일 애플리케이션, 달력 애플리케이션, 알람 애플리케이션, 건강 관리(health care) 애플리케이션(예컨대, 운동량 또는 혈당 등을 측정하는 애플리케이션) 또는 환경 정보 애플리케이션(예컨대, 기압, 습도 또는 온도 정보 등을 제공하는 애플리케이션) 등을 포함할 수 있다. 추가적으로 또는 대안적으로, 상기 애플리케이션(134)은 상기 전자 장치(101)와 외부 전자 장치(예컨대, 전자 장치(104)) 사이의 정보 교환과 관련된 애플리케이션일 수 있다. 상기 정보 교환과 관련된 애플리케이션은, 예를 들어, 상기 외부 전자 장치에 특정 정보를 전달하기 위한 알림 전달(notification relay) 애플리케이션, 또는 상기 외부 전자 장치를 관리하기 위한 장치 관리(device management) 애플리케이션을 포함할 수 있다.
예를 들면, 상기 알림 전달 애플리케이션은 상기 전자 장치(101)의 다른 애플리케이션(예컨대, SMS/MMS 애플리케이션, 이메일 애플리케이션, 건강 관리 애플리케이션 또는 환경 정보 애플리케이션 등)에서 발생한 알림 정보를 외부 전자 장치(예컨대, 전자 장치(104))로 전달하는 기능을 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 알림 전달 애플리케이션은, 예를 들면, 외부 전자 장치(예컨대, 전자 장치(104))로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다. 상기 장치 관리 애플리케이션은, 예를 들면, 상기 전자 장치(101)와 통신하는 외부 전자 장치(예컨대, 전자 장치(104))의 적어도 일부에 대한 기능(예컨대, 외부 전자 장치 자체(또는, 일부 구성 부품)의 턴온/턴오프 또는 디스플레이의 밝기(또는, 해상도) 조절), 상기 외부 전자 장치에서 동작하는 애플리케이션 또는 상기 외부 전자 장치에서 제공되는 서비스(예컨대, 통화 서비스 또는 메시지 서비스)를 관리(예컨대, 설치, 삭제 또는 업데이트)할 수 있다.
다양한 실시 예에 따르면, 상기 애플리케이션(134)은 상기 외부 전자 장치(예컨대, 전자 장치(104))의 속성(예컨대, 전자 장치의 종류)에 따라 지정된 애플리케이션을 포함할 수 있다. 예를 들어, 외부 전자 장치가 MP3 플레이어인 경우, 상기 애플리케이션(134)은 음악 재생과 관련된 애플리케이션을 포함할 수 있다. 유사하게, 외부 전자 장치가 모바일 의료기기인 경우, 상기 애플리케이션(134)은 건강 관리와 관련된 애플리케이션을 포함할 수 있다. 일 실시 예에 따르면, 상기 애플리케이션(134)은 전자 장치(101)에 지정된 애플리케이션 또는 외부 전자 장치(예컨대, 서버(106) 또는 전자 장치(104))로부터 수신된 애플리케이션 중 적어도 하나를 포함할 수 있다.
또한, 본 발명의 다양한 실시 예에 따르면, 상기 애플리케이션(134)은 음악 연주와 관련된 애플리케이션을 포함할 수 있다. 예를 들면, 상기 애플리케이션(134)이 기타 연주와 관련된 애플리케이션일 경우, 프로세서(120)에 의한 상기 애플리케이션(134)의 실행에 따라 디스플레이(150)를 통해 기타 연주 관련 정보들이 표시될 수 있다. 또한, 상기 애플리케이션(134)의 실행에 따라 네트워크(162)를 통해 상기 외부의 전자 장치(104)(예컨대, 웨어러블 장치)로부터 제어 정보를 수신하여 기타 연주와 관련된 애플리케이션에 반영함으로써 현실감 있는 기타 연주 효과를 제공할 수 있다. 이에 대한 상세한 실시 예들은 후술하기로 한다.
상기 입출력 인터페이스(140)는, 입출력 장치(예컨대, 센서, 키보드 또는 터치 스크린)를 통하여 사용자로부터 입력된 명령 또는 데이터를, 예를 들면, 상기 버스(110)를 통해 상기 프로세서(120), 상기 메모리(130), 또는 상기 통신 인터페이스(160)에 전달할 수 있다. 예를 들면, 상기 입출력 인터페이스(140)는 터치 스크린을 통하여 입력된 사용자의 터치에 대한 데이터를 상기 프로세서(120)로 제공할 수 있다. 또한, 상기 입출력 인터페이스(140)는, 예를 들면, 상기 버스(110)를 통해 상기 프로세서(120), 상기 메모리(130), 또는 상기 통신 인터페이스(160)로부터 수신된 명령 또는 데이터를 상기 입출력 장치(예컨대, 스피커 또는 디스플레이)를 통하여 출력할 수 있다. 예를 들면, 상기 입출력 인터페이스(140)는 상기 프로세서(120)를 통하여 처리된 데이터를 스피커 등을 통하여 사용자에게 출력할 수 있다.
상기 디스플레이(150)는 사용자에게 각종 정보(예컨대, 멀티미디어 데이터 또는 텍스트 데이터, 기타 연주 애플리케이션 관련 정보 등)를 표시할 수 있다.
상기 통신 인터페이스(160)는 상기 전자 장치(101)와 외부 장치(예컨대, 전자 장치(104) 또는 서버(106)) 간의 통신을 연결할 수 있다. 예를 들면, 상기 통신 인터페이스(160)는 무선 통신 또는 유선 통신을 통해서 네트워크(162)에 연결되어 상기 외부 장치와 통신할 수 있다. 상기 무선 통신은, 예를 들어, Wifi(wireless fidelity), BT(Bluetooth), NFC(near field communication), GPS(global positioning system) 또는 cellular 통신(예컨대, LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro 또는 GSM 등) 중 적어도 하나를 포함할 수 있다. 상기 유선 통신은, 예를 들어, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232) 또는 POTS(plain old telephone service) 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 상기 네트워크(162)는 통신 네트워크(telecommunications network)일 수 있다. 상기 통신 네트워크는 컴퓨터 네트워크(computer network), 인터넷(internet), 사물 인터넷(internet of things) 또는 전화망(telephone network) 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따르면, 상기 전자 장치(101)와 외부 장치 간의 통신을 위한 프로토콜(예컨대, transport layer protocol, data link layer protocol 또는 physical layer protocol))은 애플리케이션(134), 애플리케이션 프로그래밍 인터페이스(133), 상기 미들웨어(132), 커널(131) 또는 통신 인터페이스(160) 중 적어도 하나에서 지원될 수 있다.
상기 도 1에서는 전자 장치(101)가 통신 인터페이스(160)를 구비하여 네트워크(120)를 통해 외부 전자 장치(104) 또는 서버(106) 등과 통신하는 것으로 도시되어 있으나, 본 발명의 다른 실시 예에 따라 상기 전자 장치(101)는 별도의 통신 기능 없이 전자 장치(101)의 내에서 독립적으로 동작하도록 구현될 수도 있다.
도 2는 본 발명의 일 실시 예에 따른 전자 장치들 간의 연결을 나타내는 도면이다. 도 2를 참조하면, 제1 전자 장치(101)와 제2 전자 장치(104)는 무선 통신 수단에 의해 상호 간에 또는 일방향으로 정보를 송수신할 수 있다. 상기 제1 전자 장치(101)는 스마트폰 등과 같은 휴대용 전자 장치일 수 있으며, 상기 제2 전자 장치(104)는 시계형 장치 또는 안경형 장치 등과 같은 웨어러블 장치일 수 있다. 그러나, 본 발명의 실시 예들이 상기 장치들로 한정되는 것은 아니다.
또한, 상기 도 2에서는 상기 제1 전자 장치(101)와 상기 제2 전자 장치(104)가 서로 통신하는 것으로 도시되어 있으나, 본 발명의 다른 실시 예들에서는 상기 제1 전자 장치(101)가 상기 제2 전자 장치(104)와 통신하지 않고 구현될 수도 있다. 예컨대, 본 발명의 다양한 실시 예들에 따라 상기 제1 전자 장치(101)가 독립적으로 실시되거나, 상기 제2 전자 장치(104)가 독립적으로 실시될 수도 있다.
도 3은 본 발명의 일 실시 예에 따른 전자 장치의 예를 나타내는 도면이다. 도 3을 참조하면, 상기 도 2에 도시된 제1 전자 장치(101)의 일 예는 스마트폰(310)일 수 있으며, 제2 전자 장치(104)의 일 예는 시계형 장치(320)일 수 있다. 그러나, 본 발명의 실시 예들이 상기 장치들로 한정되는 것은 아니다.
상술한 바와 같이 상기 스마트폰(310)과 시계형 장치(320)는 유무선 통신 수단에 의해 서로 통신할 수 있으며, 본 발명의 실시 예들이 이에 한정되는 것은 아니다.
본 발명의 다양한 실시 예들에 따라 상기 스마트폰(310)에서는 음악 연주 애플리케이션이 실행될 수 있으며, 상기 애플리케이션의 실행에 따라 상기 시계형 장치(320)로부터 음악 연주와 관련된 제어 정보를 제공받을 수 있다.
이에 따라, 예컨대 상기 스마트폰(310)에서 기타 연주 애플리케이션이 실행되고 사용자가 상기 시계형 장치(320)를 착용한 상태에서 기타 연주와 유사한 동작을 취하게 될 경우, 상기 시계형 장치(320)의 움직임을 감지하여 기타 연주 동작에 대응하는 제어 정보를 스마트폰(310)으로 전송할 수 있다. 이에 대한 다양한 실시 예들에 대한 상세한 설명은 후술하기로 한다.
한편, 후술하는 본 발명의 실시 예들에서는 설명의 편의상 도 3에 도시된 바와 같이 제1 전자 장치(101)로서 스마트폰(310)을 예로 들어 설명하며, 제2 전자 장치(104)로서 시계형 장치(320)를 예로 들어 설명한다. 그러나, 본 발명의 실시 예들이 상기 장치들로 한정되는 것은 아니다.
도 4는 다양한 실시 예들에 따른, 전자 장치(예컨대, 제1 전자 장치(101)에 설치되는 음악 연주 처리 모듈(400))의 블록도를 도시한다. 도 4를 참조하면, 음악 연주 처리 모듈(400)은 장치 연결 처리 모듈(410), 제어 정보 수신 모듈(420), 입력 정보 판단 모듈(430), 음성 정보 수신 모듈(440), 음악 파일 재생 모듈(450) 및 사운드 합성 모듈(460) 중 적어도 하나의 모듈을 포함할 수 있다.
장치 연결 처리 모듈(410)은 제1 전자 장치(101)와 제2 전자 장치(104)의 장치 간 연결을 처리할 수 있다. 예컨대, 상기 장치 연결 처리 모듈(410)은 음악 연주 애플리케이션(예컨대, 기타 연주 애플리케이션)이 실행될 때 제1 전자 장치(101)와 제2 전자 장치(104) 간 유무선 통신 수단에 의한 연결을 처리할 수 있다. 또한, 상기 장치 연결 처리 모듈(410)은 음악 연주 애플리케이션이 실행되고, 음악 연주가 시작되면 제1 전자 장치(101)와 제2 전자 장치(104)의 동기화를 처리할 수도 있다. 이에 따라, 제1 전자 장치(101)에서는 제2 전자 장치(104)로부터 수신된 제어 정보를 정확한 음악 연주 타이밍에 맞게 적용시킬 수 있다.
제어 정보 수신 모듈(420)은 상기 장치 연결 처리 모듈(410)에 의해 통신으로 연결된 제2 전자 장치(104)로부터 제어 정보를 수신하는 기능을 수행할 수 있다. 상기 제2 전자 장치(104)로부터 수신된 제어 정보는 음악 연주 동작과 관련된 정보를 포함할 수 있다. 예컨대, 본 발명의 다양한 실시 예에 따라 기타 연주 애플리케이션이 실행될 경우, 상기 제어 정보는 기타 줄을 퉁기는 스트로크 동작과 관련된 정보를 포함할 수 있다. 또한, 본 발명의 다양한 실시 예에 따라 상기 제어 정보는 상기 제2 전자 장치(104)의 움직임 정보로부터 결정된 제어 정보 또는 상기 움직임 정보 자체를 포함할 수도 있다. 이에 대한 상세한 설명은 도 8과 관련된 설명에서 후술하기로 한다.
입력 정보 판단 모듈(430)은 제1 전자 장치(101)에 구비된 다양한 입력 수단들(예컨대, 터치 스크린, 버튼, 카메라, 센서 등) 중 적어도 하나로부터 입력된 정보가 미리 설정된 어떤 동작에 대응하는지 판단하는 기능을 수행할 수 있다. 예컨대, 기타 연주 애플리케이션이 실행되고, 제1 전자 장치(101)에 구비된 터치 스크린을 통해 터치 신호가 입력될 때, 해당 터치 신호에 대응하여 상기 기타 연주 애플리케이션에서 설정된 동작을 판단할 수 있다.
음성 정보 수신 모듈(440)은 본 발명의 다양한 실시 예에 따라 음악 연주 애플리케이션 실행 중 마이크로 입력되는 음성 정보를 출력되는 음악에 합성하고자 할 때, 상기 마이크로부터 입력된 신호를 수신하는 기능을 수행할 수 있다.
음악 파일 재생 모듈(450)은 음악 연주 애플리케이션의 실행에 따라 재생 요청된 음악 파일을 재생하는 기능을 수행할 수 있다. 상기 재생할 음악 파일은 사용자의 선택에 의해 결정될 수도 있으며, 미리 설정된 방법에 따라 결정될 수도 있다. 또한, 상기 재생할 음악 파일은 네트워크를 통해 외부의 서버로부터 제공받을 수도 있으며, 사용자가 전자 장치(101) 내에 미리 저장한 음악 파일을 사용할 수도 있다.
사운드 합성 모듈(460)은 재생 요청된 음악 파일을 출력할 때, 제2 전자 장치(104)로부터 수신된 제어 정보, 사용자로부터 입력된 입력 정보, 마이크로부터 입력된 신호 중 적어도 하나를 상기 음악 파일에 적용하는 기능을 수행할 수 있다. 예컨대, 기타 연주 애플리케이션이 실행될 때, 상기 제2 전자 장치(104)로부터 수신된 제어 정보 및 사용자로부터 입력된 입력 정보에 대응하는 음계 또는 화음의 기타 소리가 상기 음악 파일에 합성될 수 있다. 또한, 다른 예로서 상기 마이크로부터 입력된 신호가 상기 음악 파일의 재생시에 실시간으로 합성되어 출력될 수 있다. 상기 사운드 합성 모듈(460)과 관련된 구체적인 실시 예들의 설명은 후술하기로 한다.
한편, 상기 도 4에서 음악 연주 처리 모듈(400)은 도 1의 프로세서(120)와 별도의 모듈로 구현될 수도 있으며, 음악 연주 처리 모듈(400)의 적어도 일부 기능이 프로세서(120) 내에 포함되어 구현될 수도 있다. 다른 실시 예에 따라, 상기 음악 연주 처리 모듈(400)의 전체 기능이 상기 프로세서(120) 또는 다른 프로세서 내에 포함되어 구현될 수도 있다. 또한, 상기 음악 연주 처리 모듈(400)은 소프트웨어 또는 하드웨어 형태로 구현될 수 있다. 예컨대, 상기 음악 연주 처리 모듈(400)이 소프트웨어로 구현될 경우, 애플리케이션(134)의 형태로 메모리(130)에 저장될 수 있다.
본 발명의 다양한 실시 예 중 어느 하나에 따른 전자 장치는, 음악 연주 애플리케이션을 실행하는 전자 장치에 있어서, 상기 음악 연주 애플리케이션이 실행되면, 통신으로 연결된 제2 전자 장치로부터 제어 정보를 수신하는 통신 모듈; 상기 음악 연주 애플리케이션의 실행에 따라 재생 요청된 음악 데이터에 상기 수신된 제어 정보가 적용되도록 처리하는 프로세서; 및 상기 프로세서에 의해 처리된 음악 데이터를 출력시키는 오디오 모듈;을 포함할 수 있다.
상기 제어 정보는, 상기 제2 전자 장치의 움직임 정보에 대응하여 생성될 수 있다.
상기 움직임 정보는, 상기 제2 전자 장치에 구비된 적어도 하나의 센서에 의해 감지된 신호로부터 판단될 수 있다.
상기 센서는, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, RGB 센서, 생체 센서, 온/습도 센서, 조도 센서 및 UV 센서 중에서 선택된 적어도 하나일 수 있다.
상기 음악 연주 애플리케이션은 기타 연주 애플리케이션일 수 있다.
상기 제어 정보는, 적어도 하나의 기타 줄에 대한 스트로크와 관련된 정보ㅇ일 수 있다.
상기 스트로크와 관련된 정보는, 스트로크의 세기, 스트로크의 방향, 스트로크의 속도, 스트로크의 패턴, 스트로크의 발생 여부 및 스트로크의 발생 시간 중 선택된 적어도 하나의 정보일 수 있다.
상기 스트로크와 관련된 정보는, 가속도 센서 또는 자이로 센서로부터 측정된 값의 변화에 따라 결정될 수 있다.
상기 전자 장치는, 사용자 입력을 수신하는 터치 패드를 더 포함하며, 상기 프로세서는, 상기 터치 패드를 통해 입력된 사용자 입력이 음계 상의 적어도 하나의 계이름 또는 화음에 대응하도록 처리할 수 있다.
상기 전자 장치는, 마이크를 더 포함하며, 상기 프로세서는, 상기 마이크를 통해 입력된 음성 신호가 상기 음악 데이터에 합성되도록 더 처리할 수 있다.
상기 전자 장치는, 적어도 하나의 센서를 더 포함하며, 상기 프로세서는, 상기 센서를 통해 센싱된 값으로부터 전자 장치의 움직임을 판단하고, 상기 판단된 움직임에 대응하여 미리 설정된 음향 효과가 상기 음악 데이터에 적용되도록 더 처리할 수 있다.
상기 제어 정보는, 상기 제2 전자 장치에 구비된 적어도 하나의 센서에 의해 감지된 신호를 포함할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 제2 전자 장치의 구성 예를 나타내는 도면이다. 도 5를 참조하면, 본 발명의 일 실시 예에 따른 제2 전자 장치(500)는 센서(510), 통신 모듈(520), 프로세서(530), 디스플레이(540) 중 적어도 하나를 포함할 수 있다. 또한, 상기 도 5에서는 하나의 센서(510)를 도시하였으나, 둘 이상의 센서를 구비할 수도 있으며, 다양한 종류의 센서들(예컨대, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, RGB 센서, 생체 센서, 온/습도 센서, 조도 센서, UV 센서 등) 중 어느 하나가 상기 센서(510)에 해당할 수 있다.
상기 센서(510)는 제2 전자 장치(500)(예컨대, 웨어러블 장치)의 움직임을 감지할 수 있다. 예컨대, 후술하는 실시 예들에서와 같이 자이로 센서, 가속도 센서 등에 의해 제2 전자 장치(500)의 움직임을 감지할 수 있다.
상기 프로세서(530)는 상기 센서(510)로부터 감지된 움직임 정보를 통신 모듈(520)을 통해 제1 전자 장치(예컨대, 스마트폰)로 실시간으로 전송할 수 있다. 본 발명의 다양한 실시 예에 따라, 상기 프로세서(530)는 상기 감지된 움직임 정보를 직접 전송할 수도 있으며, 다른 실시 예에 따라 각 움직임에 대응하여 설정된 제어 정보를 전송할 수도 있다. 이에 따라, 상기 움직임 정보 또는 움직임에 대응하는 제어 정보를 수신한 제1 전자 장치에서는 제2 전자 장치(500)의 움직임을 실시간으로 판단할 수 있다.
본 발명의 일 실시 예에 따라, 전술한 바와 같이 제1 전자 장치에서 음악 연주 애플리케이션(예컨대, 기타 연주 애플리케이션)이 실행되면, 상기 제2 전자 장치(500)에서는 상기 제1 전자 장치로부터 연주 애플리케이션의 실행과 관련된 정보를 통신 모듈(520)을 통해 수신할 수 있다. 프로세서(530)에서는 상기 음악 연주 애플리케이션의 실행과 관련된 정보에 따라 상기 센서(510)로부터 센싱된 움직임 정보 또는 상기 제어 정보를 실시간으로 제1 전자 장치로 전송할 수 있다. 이에 따라, 제1 전자 장치에서는 제2 전자 장치(500)의 움직임을 상기 음악 연주 애플리케이션의 음악 재생에 적용할 수 있다.
디스플레이(540)는 프로세서(530)의 제어에 따라 음악 연주 애플리케이션의 실행과 관련된 정보를 화면상에 표시할 수 있다. 다양한 실시 예에 따라 상기 디스플레이(540)는 상기 제2 전자 장치(500)에 구비되지 않을 수도 있다. 또한, 상기 제2 전자 장치(500)의 프로세서(530)에서는 상기 제2 전자 장치(500)의 움직임과 각 움직임에 대응되는 제어 정보를 설정하도록 구성될 수 있으며, 상기 제어 정보의 설정과 관련된 정보는 디스플레이(540)에 표시될 수 있다.
또한, 다양한 실시 예에 따라 프로세서(530)는 상기 통신 모듈(520)을 통해 제1 전자 장치와의 연결 시 동기화 정보를 수신할 수도 있다. 상기 동기화 정보에 의해 제1 전자 장치와 제2 전자 장치(500)는 동기화될 수 있다. 이에 따라, 음악 연주 애플리케이션의 실행 시, 제1 전자 장치에서의 음악 재생 시간과 제2 전자 장치에서의 움직임에 따른 제어 정보의 적용 시간을 동기화하여 처리할 수 있다.
메모리(미도시)에는 상기 음악 재생 애플리케이션과 관련된 정보를 저장할 수 있다. 예컨대, 상기 메모리에는 상기 제2 전자 장치(500)의 움직임에 매핑된 제어 정보, 다양한 유형의 움직임을 판단하기 위한 기준이 되는 임계값(threshold)들, 제1 전자 장치와의 동기화 정보 등을 저장할 수 있다.
도 6은 다양한 실시 예들에 따른, 전자 장치(예컨대, 제2 전자 장치(500)에 설치되는 연주 정보 처리 모듈(600))의 블록도를 도시한다. 도 6을 참조하면, 연주 정보 처리 모듈(600)은 장치 연결 처리 모듈(610), 센싱 정보 분석 모듈(620), 제어 정보 처리 모듈(630) 중 적어도 하나를 포함할 수 있다.
장치 연결 처리 모듈(610)은 제1 전자 장치에서의 음악 연주 애플리케이션 실행 시, 상기 제1 전자 장치와의 연결을 처리할 수 있다. 또한, 상기 장치 연결 처리 모듈(610)은 제1 전자 장치와의 동기화(예컨대, 시간의 동기화)를 처리할 수 있다.
센싱 정보 분석 모듈(620)은 상기 음악 연주 애플리케이션 실행 시, 제2 전자 장치의 움직임을 센싱한 정보를 분석할 수 있다. 예컨대, 상기 센싱 정보 분석 모듈(620)은 전술한 바와 같은 다양한 종류의 센서들 중 적어도 하나로부터 센싱된 신호를 분석하여 제2 전자 장치의 움직임을 판단할 수 있다.
제어 정보 처리 모듈(630)은 상기 센싱 정보 분석 모듈(620)에 의해 판단한 움직임 정보에 대응하여 미리 설정된 제어 정보를 생성하여 제1 전자 장치로 전송 처리하는 기능을 수행할 수 있다.
전술한 바와 같이 본 발명의 다양한 실시 예들에 따라, 상기 제2 전자 장치의 연주 정보 처리 모듈(600)은 상기 판단한 움직임 정보를 제1 전자 장치로 전송할 수도 있으며, 상기 움직임 정보에 대응하여 설정된 제어 정보를 제1 전자 장치로 전송할 수도 있다.
한편, 상기 도 6에서 연주 정보 처리 모듈(600)은 도 5의 프로세서(530)와 별도의 모듈로 구현될 수도 있으며, 연주 정보 처리 모듈(600)의 적어도 일부 기능이 프로세서(530) 내에 포함되어 구현될 수도 있다. 다른 실시 예에 따라, 상기 연주 정보 처리 모듈(600)의 전체 기능이 상기 프로세서(530) 또는 다른 프로세서 내에 포함되어 구현될 수도 있다. 또한, 상기 연주 정보 처리 모듈(600)은 소프트웨어 또는 하드웨어 형태로 구현될 수 있다. 예컨대, 상기 연주 정보 처리 모듈(600)이 소프트웨어로 구현될 경우, 애플리케이션의 형태로 메모리에 저장될 수 있다.
이하, 도 7 내지 도 9를 참조하여, 본 발명의 다양한 실시 예들에 따른 음악 연주 처리 방법들을 설명한다.
도 7은 전자 장치에서 실행되는 기타 연주 애플리케이션의 실행 화면을 나타내는 도면이다. 도 7을 참조하면, 전자 장치(700)에서 음악 연주 애플리케이션들 중 기타 연주 애플리케이션을 실행하면, 기타 줄의 이미지가 표시될 수 있으며, 사용자가 특정 줄을 터치하면 해당 줄에 대응하는 소리가 현재 재생되는 음악과 합성되어 출력될 수 있다.
도 8은 본 발명의 일 실시 예에 따른 전자 장치를 이용한 기타 연주 동작의 예를 나타내는 도면이다. 도 8을 참조하면, 제1 전자 장치(예컨대, 스마트폰(810))와 제2 전자 장치(에컨대, 시계형 장치(820))의 통신에 의해 현실감 있는 음악 연주 애플리케이션(예컨대, 기타 연주 애플리케이션)을 제공할 수 있다.
보다 구체적으로 설명하면, 본 발명의 다양한 실시 예에 따라 스마트폰 등에서 음악 연주 애플리케이션 실행 시 사용자에게 실제 악기를 연주하는 듯한 사용자 경험(user experience; UE)을 제공할 수 있다.
예를 들어, 실제 기타 연주시에 연주자가 한 손으로는 기타 넥(neck)을 잡아 코드를 누르고, 다른 한 손은 기타 줄을 스트로크한다. 본 발명의 일 실시 예에서는 도 8에 도시된 바와 같이 기타 연주 애플리케이션이 실행되면, 한 손으로는 스마트폰(810)을 잡은 채로 손가락을 이용하여 코드를 누르며, 다른 한 손으로는 손목에 웨어러블 장치(예컨대, 시계형 장치(820))를 착용한 채로 기타 줄을 스트로크하는 동작을 취할 수 있다. 상기 기타 줄을 스트로크하는 동작에 따라 손목에 착용된 시계형 장치(820)가 함께 움직이게 되며, 상기 시계형 장치(820)에서는 각종 센서들을 이용하여 스트로크의 형태를 판단할 수 있다.
따라서, 스마트폰(810)에서 기타 연주 애플리케이션이 실행되어 음악이 재생되고, 상기 재생되는 음악에 맞춰 사용자가 시계형 장치(820)를 착용한 손으로 스트로크 동작을 취하면, 상기 동작과 관련된 정보가 시계형 장치(820)에서 스마트폰(810)으로 전송되어 상기 재생되는 음악에 적용될 수 있다. 이러한 원리에 따라, 사용자는 실제 악기를 연주할 때와 같은 연주자의 움직임과 동작으로서 기타 연주 게임을 즐길 수 있다.
도 9는 본 발명의 일 실시 예에 따른 기타 연주 애플리케이션의 실행 화면을 나타내는 도면이다. 도 9를 참조하면, 본 발명의 다양한 실시 예에 따라 전자 장치에서 기타 연주 애플리케이션이 실행되고, 설정된 음악의 재생이 시작되면, 상기 음악에 따라 설정된 기타 코드 또는 기타 음에 대응하는 표시들이 터치스크린 상에 디스플레이될 수 있다.
예컨대, 기타 줄에 대응하는 이미지가 화면상에 디스플레이될 수도 있으며, 사용자의 각 손가락에 대응하여 터치하여야 할 가이드 라인이 화면상에 디스플레이될 수 있다. 예컨대, 음악이 재생됨에 따라 각 손가락에 대응하는 라인상에 기타 음에 대응하는 음계 또는 코드 이미지가 디스플레이될 수 있다. 사용자는 각 손가락에 대응하여 표시되고 있는 음계 또는 코드 이미지를 각 손가락을 이용하여 터치함으로써 실제 기타 연주와 동일한 효과를 가질 수 있다. 상기 기타 연주 애플리케이션과 관련된 다양한 세부 실시 예들에 대한 설명은 도 12의 설명 부분에서 상세히 후술하기로 한다.
이하, 도 10 및 도 11을 참조하여, 전자 장치에서 실행되는 동작 절차를 설명하기로 한다.
도 10은 본 발명의 일 실시 예에 따른 전자 장치들 간의 동작 절차를 나타내는 신호 흐름도이다. 도 10을 참조하면, 동작 1002에서 제1 전자 장치(101)(예컨대, 스마트폰)에 설치된 음악 연주 애플리케이션이 실행(1002)되면, 동작 1004에서 제2 전자 장치(104)(예컨대, 웨어러블 장치(예컨대, 시계형 장치))와 연결될 수 있다. 상기 장치들 간의 연결은 상기 음악 연주 애플리케이션의 실행 전에 수행될 수도 있다.
재생이 요청된 음악 파일이 재생되면, 동작 1006에서 연주를 시작할 수 있다. 동작 1008에서 연주 시작 정보(또는 음악 재생 시작 정보)는 제2 전자 장치(104)로 전송될 수 있다. 또한, 다양한 실시 예에 따라 장치 간의 동기화를 위한 동기화 정보가 전송될 수 있다. 상기 동기화 정보의 전송 또는 장치 간의 동기화 절차는 음악 파일 재생 전 또는 동작 1004의 장치 연결 시에 수행될 수도 있다.
본 발명의 일 실시 예에 따라 제2 전자 장치(104)에서는 동작 1010에서 제2 전자 장치의 움직임에 따라 센싱 정보를 판단하고, 상기 판단에 의해 제2 전자 장치(104)의 움직임 또는 동작을 판단할 수 있다. 동작 1014에서 제2 전자 장치(104)는 상기 판단한 움직임 정보에 대응하는 제어 정보를 생성하여 제1 전자 장치(101)로 전송할 수 있다.
본 발명의 다양한 실시 예에 따라 상기 제2 전자 장치(104)에서 상기 제1 전자 장치(101)로 전송되는 제어 정보는 다양하게 설정될 수 있다. 예컨대, 전술한 바와 같이 상기 제어 정보는 상기 제2 전자 장치(104)의 적어도 하나의 센서에 의해 센싱된 정보로부터 판단된 움직임 정보를 포함할 수 있다. 또한, 다른 실시 예로서 상기 판단된 움직임 정보에 대응하여 설정된 적어도 하나의 기타 줄에 대한 스트로크와 관련된 정보를 포함할 수 있다. 예컨대, 상기 스트로크와 관련된 정보는, 스트로크의 세기, 스트로크의 방향, 스트로크의 속도 중 선택된 적어도 하나의 정보일 수 있다. 또한, 상기 스트로크와 관련된 정보는 스트로크 패턴 정보일 수도 있다.
또한, 다른 실시 예로서 상기 제2 전자 장치(104)의 적어도 하나의 센서(예컨대, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, RGB 센서, 생체 센서, 온/습도 센서, 조도 센서 및 UV 센서 등)에 의해 센싱된 정보가 제어 정보에 포함되어 전송될 수도 있다. 이와 같이, 상기 제2 전자 장치(104)에서 센싱된 정보가 제1 전자 장치(101)로 전송될 경우, 제1 전자 장치(101)에서는 상기 제2 전자 장치(104)로부터 수신된 상기 센싱된 정보로부터 제2 전자 장치(104)의 움직임을 판단하고, 상기 판단된 움직임에 대응하여 설정된 적어도 하나의 기타 줄에 대한 스트로크와 관련된 음향 효과를 현재 재생되는 음악에 적용할 수 있다.
또한, 다른 실시 예로서, 상기 제어 정보는 상기 제2 전자 장치(104)에서 센싱된 정보로부터 판단된 스트로크 동작의 발생 여부 또는 스트로크 동작의 발생 시간과 같은 정보를 포함할 수도 있다. 상기 스트로크 동작의 발생 여부 또는 스트로크 동작의 발생 시간을 포함하는 제어 정보가 제1 전자 장치(101)로 전송되면, 상기 제1 전자 장치(101)에서는 상기 전송된 스트로크 동작의 발생 여부 또는 스트로크 동작의 발생 시간을 음악 연주 애플리케이션의 게임 점수 산출에 반영할 수 있다.
제1 전자 장치(101)에서는 동작 1012에서 각종 입력 수단(예컨대, 터치 스크린)을 통해 입력된 정보를 판단하고, 동작 1016에서 상기 입력 정보와 상기 전송된 제어 정보를 출력하고자 하는 사운드 신호에 적용하여 출력시킬 수 있다. 예컨대, 음악 연주 애플리케이션의 일 예로서 기타 연주 애플리케이션이 실행될 경우, 상기 제1 전자 장치(101)의 입력 정보는 미리 설정된 음계 또는 코드로 매핑하고, 상기 제어 정보로부터 판단된 상기 제2 전자 장치(104)의 움직임 정보는 기타의 스트로크 형태에 매핑할 수 있다. 이에 따라, 상기 매핑된 음계 또는 코드에 대한 스트로크에 해당하는 기타 사운드를 생성하고, 상기 생성된 기타 사운드를 재생되는 음악 사운드에 합성하여 출력시킬 수 있다.
또한, 본 발명의 다양한 실시 예에 따라 기타 사운드는 상기 제2 전자 장치(104)(예컨대, 웨어러블 장치)를 통해 출력되고, 현재 재생되는 음악 파일의 사운드(예컨대, 기타 사운드가 제거된 음악 사운드)는 상기 제1 전자 장치(101)(예컨대, 스마트폰)을 통해 출력되도록 구현할 수도 있다.
동작 1018에서 연주가 종료(또는 음악 재생이 종료)되면, 동작 1020에서 연주 종료 정보(또는 음악 재생 종료 정보)를 제2 전자 장치(104)로 전송하고, 연주를 종료시킬 수 있다.
도 11은 본 발명의 일 실시 예에 따른 전자 장치의 동작 절차를 나타내는 흐름도이다. 도 11을 참조하면, 동작 1102에서 제1 전자 장치에 설치된 음악 연주 애플리케이션(예컨대, 기타 연주 애플리케이션)이 실행되고, 동작 1104에서 제2 전자 장치와 연결될 수 있다. 상기 제2 전자 장치와의 연결은 상기 음악 연주 애플리케이션의 실행 전에 수행될 수도 있다.
동작 1106에서 연주가 시작되면(또는 재생 요청된 음악이 재생되면), 미리 설정된 연주 모드에 따라 음악 연주가 진행될 수 있다. 예컨대, 동작 1108에서는 현재 설정된 연주 모드가 노래 입력 모드인지를 판단하고, 노래 입력 모드일 경우 동작 1110에서 마이크를 통해 입력된 정보를 수신할 수 있다. 반면, 노래 입력 모드가 아닐 경우에는 마이크를 통해 입력된 정보를 수신하지 않을 수 있다.
음악 재생에 따라 동작 1112에서는 제1 전자 장치의 입력 수단(예컨대, 터치 스크린)을 통해 입력된 정보를 판단한다. 아울러, 동작 1114에서는 제2 전자 장치로부터 제어 정보(또는 움직임 정보)를 수신할 수 있다.
동작 1116에서는 상기 제1 전자 장치에서 입력된 정보 또는 상기 제2 전자 장치로부터 수신된 제어 정보(또는 움직임 정보)를 현재 재생되고 있는 음악의 사운드와 합성하여 출력할 수 있다. 다양한 실시 예에 따라 상기 합성된 음악은 제1 전자 장치의 스피커 또는 이어폰을 통해 출력될 수 있다.
상기 동작 1108 내지 동작 1116의 절차는 연주가 종료될 때까지(또는 음악 재생이 종료될 때까지) 연속적으로 수행될 수 있다. 동작 1118에서 연주의 종료(또는 음악의 재생이 종료)를 판단하여 연주 절차가 종료될 수 있다. 상기 동작 1108 내지 동작 1116의 절차는 연주가 진행되는 중에는 순서에 상관없이 실시간으로 수행될 수 있으며, 복수의 동작들이 동시에 또는 순차적으로 수행될 수도 있다.
한편, 상기 도 10 또는 도 11에 도시된 동작들 중 적어도 하나의 동작이 생략되어 실행될 수도 있으며, 적어도 하나의 다른 동작이 상기 동작들 사이에 추가될 수도 있다. 또한, 상기 도 10 또는 도 11의 동작들은 도시된 순서로 처리될 수도 있으며, 적어도 하나의 동작에 대한 실행 순서가 다른 동작의 실행 순서와 변경되어 처리될 수도 있다.
본 발명의 다양한 실시 예들에 따른 전자 장치에서의 음악 연주 방법은, 음악 연주 애플리케이션이 실행되면, 통신으로 연결된 제2 전자 장치로부터 제어 정보를 수신하는 동작; 상기 음악 연주 애플리케이션의 실행에 따라 재생 요청된 음악 데이터에 상기 수신된 제어 정보가 적용되도록 처리하는 동작; 및 상기 처리된 음악 데이터를 출력시키는 동작;을 포함할 수 있다.
상기 제어 정보는, 상기 제2 전자 장치의 움직임 정보에 대응하여 생성될 수 있다.
상기 움직임 정보는, 상기 제2 전자 장치에 구비된 적어도 하나의 센서에 의해 감지된 신호로부터 판단될 수 있다.
상기 센서는, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, RGB 센서, 생체 센서, 온/습도 센서, 조도 센서 및 UV 센서 중에서 선택된 적어도 하나일 수 있다.
상기 음악 연주 애플리케이션은 기타 연주 애플리케이션일 수 있다.
상기 제어 정보는, 적어도 하나의 기타 줄에 대한 스트로크와 관련된 정보일 수 있다.
상기 스트로크와 관련된 정보는, 스트로크의 세기, 스트로크의 방향, 스트로크의 속도, 스트로크의 패턴, 스트로크의 발생 여부 및 스트로크의 발생 시간 중 선택된 적어도 하나의 정보일 수 있다.
상기 스트로크와 관련된 정보는, 가속도 센서 또는 자이로 센서로부터 측정된 값의 변화에 따라 결정될 수 있다.
상기 방법은, 터치 패드를 통해 사용자 입력을 수신하는 동작; 및 상기 터치 패드를 통해 입력된 사용자 입력이 음계 상의 적어도 하나의 계이름 또는 화음에 대응하도록 처리하는 동작을 더 포함할 수 있다.
상기 방법은, 마이크를 통해 입력된 음성 신호가 상기 음악 데이터에 합성되도록 처리하는 동작을 더 포함할 수 있다.
상기 방법은, 적어도 하나의 센서를 통해 센싱된 값으로부터 전자 장치의 움직임을 판단하는 동작; 및 상기 판단된 움직임에 대응하여 미리 설정된 음향 효과가 상기 음악 데이터에 적용되도록 처리하는 동작을 더 포함할 수 있다.
상기 제어 정보는, 상기 제2 전자 장치에 구비된 적어도 하나의 센서에 의해 감지된 신호를 포함할 수 있다.
이하, 도 12 내지 도 15를 참조하여 본 발명이 기타 연주 애플리케이션에 적용된 다양한 실시 예들을 설명한다. 먼저 제1 전자 장치에서의 적용 예를 설명하고, 다음으로 제2 전자 장치에서의 적용 예를 설명한다.
전술한 바와 같이 제1 전자 장치(예컨대, 스마트폰)에서는 기타 연주를 위해 재생하고자 하는 음악 파일을 서버로 다운로드 받아 메모리에 저장할 수 있다. 서버에서는 복수 개의 악기를 이용해 연주되고, 복수 개의 트랙(Multi-track)을 이용하여 녹음 및 저장된 음악 파일을 저장하고, 각 전자 장치의 요청에 따라 저장된 음악 파일을 제공할 수 있다.
사용자는 제1 전자 장치를 이용하여 서버로부터 적어도 하나의 음악을 선택하여 다운로드 받을 수 있다. 다양한 실시 예에 따라 음악 연주에 사용할 음악 파일은 특정 애플리케이션 마켓(예컨대, 음악 파일 마켓)에서 구매되도록 구현할 수도 있다.
제1 전자 장치에서는 음악 연주 애플리케이션(예컨대, 기타 연주 애플리케이션)의 실행에 따라 함께 연동하여 플레이할 제2 전자 장치(예컨대, 시계형 장치)와의 연결을 설정할 수 있다. 상기 제1 전자 장치와 제2 전자 장치 간의 연결은 전술한 바와 같이 다양한 유무선 통신 수단에 의해 연결될 수 있다. 예컨대, 근거리 무선 통신(보다 구체적인 예로서 블루투스(BT) 통신)에 의해 장치 간 연결하는 것이 가능하다.
상기 음악 연주 애플리케이션의 실행에 따라 사용자는 제1 전자 장치에서 연주에 사용할 악기와 음악 파일를 선택할 수 있다. 또한, 연주 시 제공될 수 있는 각종 모드를 설정할 수도 있다. 상기 악기 정보 선택에 의해 프로세서에서는 선택된 음악 파일에서 상기 선택된 악기의 정보를 저장한 트랙을 찾아 재생에 대한 소거(Mute)를 설정할 수도 있다.
제1 전자 장치에서 연주 시작 명령이 입력되면 제2 전자 장치와의 동기화 과정이 진행될 수 있다. 상기 동기화 과정은 상기 제1 전자 장치와 제2 전자 장치 간의 통신 상태에 따라 발생할 수 있는 지연이 방지할 수 있다. 이와 같이 동기화를 통해 게임 미션 완수 여부의 판단에 있어 발생하는 타이밍 오류를 처리 또는 보정할 수 있다.
상기 제1 전자 장치는 유무선 통신(예컨대, 설정된 근거리 통신)을 이용하여 제2 전자 장치로 연주 시작 정보(또는 연주 시작 명령)을 전송하고, 재생할 음악 파일을 재생할 수 있다. 또한, 디스플레이(예컨대, 터치 스크린) 상에는 상기 연주와 관련된 정보를 디스플레이할 수 있다.
예를 들어, MIDI 파일의 형태로도 구성될 수 있으며, 기 음악 파일의 연주 시작에 따라, 상기 MIDI 파일의 기타 악기 트랙은 소거(Mute)처리된 상태로 재생될 수 있다. 상기 제1 전자 장치에서는 연주와 관련된 화면을 디스플레이하고, 사용자로부터의 입력(예컨대, 터치 스크린에 대한 터치 입력)을 감지할 수 있다.
이와 동시에, 프로세서에서는 전술한 바와 같이 상기 통신으로 연결된 제2 전자 장치로부터 발생하는 제어 신호를 수신하여 재생되고 있는 음악 파일에 적용시킬 수 있다.
이하, 기타 연주 애플리케이션을 실행하여, 연주 절차를 진행할 때, 각종 수집된 정보를 음악 파일에 적용하여 사운드를 출력하는 다양한 실시 예들을 설명한다. 그러나, 본 발명이 후술하는 실시 예들에 한정되는 것은 아니며, 각 실시 예들을 조합하여 구현하는 것도 가능하다.
예컨대, 만약 제1 전자 장치에서 터치 입력이 감지되면, 터치된 위치에 대응하는 코드 버튼이나 계명 버튼의 터치 여부를 판단한다. 상기 코드 버튼 또는 계명버튼이 터치된 상태에서 제2 전자 장치로부터 근거리 통신을 통해 제어 정보가 수신되면, 출력할 사운드를 결정할 수 있다. 예컨대, 출력할 사운드의 종류는 코드 버튼/계명 버튼과 제2 전자 장치를 통해 감지된 동작 또는 제스처에 따라 결정된 제어 정보에 의해 결정될 수 있다. 상기 제1 전자 장치는 미리 정의된 입력값과 패턴에 따라 재생될 사운드의 종류와 음향효과를 결정할 테이블을 미리 저장하고, 상기 음악 연주에 따라 상기 저장된 테이블을 참조하여 상기 입력된 정보를 음악 파일 재생에 적용할 수 있다.
예컨대, 제1 전자 장치의 터치 입력과 제2 전자 장치의 제어 명령이 수신되면, 상기 저장된 테이블에서 사운드 파일 정보를 추출한다. 상기 추출된 정보를 이용하여 사운드 파일에 정해진 음향 효과를 재생 중인 음악과 혼합(mixing)하여 스피커로 출력시킬 수 있다. 또한, 본 발명의 다른 실시 예로서, 도 15에 도시된 바와 같이 음악 연주 게임 사용자가 마이크를 통해 입력한 음성 정보를 상기 재생 중인 음악과 혼합할 수도 있다.
다양한 실시 예에 따라, 상기 기타 연주 애플리케이션을 게임 형태로 제작할 경우, 상기 제1 전자 장치의 터치 입력과 제2 전자 장치의 제어 신호가 수신되면 게임 미션 달성 여부를 검사할 수 있다. 이에 따라, 기타 연주 애플리케이션에서는 게임 진행에 따라 상기 입력들의 발생 타이밍을 검사하여 결과를 판정할 수 있다. 상기 판정 결과는 다양한 방식으로 설정될 수 있다. 예컨대, 퍼펙트(perfect), 그레이트(great), 굿(good), 푸어(poor), 미스(miss) 등의 형태로 사용자 입력을 판정할 수도 있다.
예컨대, 사용자가 한 손으로 제1 전자 장치(예컨대, 스마트폰)을 잡고, 사용자가 연주를 입력해야 하는 타이밍에 코드 버튼 또는 음계 버튼을 터치 스크린의 터치 영역에 입력할 수 있다. 이와 동시에, 제2 전자 장치로부터 제어 정보가 입력되면 입력의 정확도에 따라 해당 노트(note)에 대한 판정이 결정될 수 있다. 또한, 상기 판정에 따라 미리 설정된 점수가 산정될 수 있으며, 상기 판정 결과는 실시간으로 제1 전자 장치 또는 제2 전자 장치의 화면에 디스플레이될 수 있다.
본 발명의 다양한 실시 예들에서는 게임 사용자에게 사실적인 기타 연주 경험을 제공하기 위해, 도 8에 도시된 바와 같이 한 손으로 제1 전자 장치(예컨대, 스마트폰)을 파지한 상태에서 손가락 터치에 따른 입력을 받을 수 있다. 따라서, 제1 전자 장치를 파지한 상태에서 엄지를 제외한 4개 손가락으로 제1 전자 장치의 터치를 입력받도록 구현할 수 있다. 또한, 다양한 실시 예에 따라 제1 전자 장치를 파지한 상태에서 손가락의 터치 입력을 용이하게 하기 위해 3 ~ 4개의 손가락을 터치 입력 수단으로 단순화시켜 제공할 수도 있다. 이에 따라, 사용자는 코드 입력의 복잡함을 피하고 단순히 기타 연주에 있어 액션감 자체를 즐길 수 있다.
도 9를 참조하면, 본 발명의 다양한 실시 예들에 따라 기타 연주 화면을 다음과 같이 제어할 수 있다.
1. 음악의 악보 정보를 참조하여 코드 정보와 계명 정보를 추출할 수 있다.
2. 코드 정보와 계명 정보는 게임을 위해 각기 코드 버튼과 계명 버튼으로 제공할 수 있다. 이때, 코드 버튼과 음계 버튼은 모양으로 구분할 수도 있다.
3. 코드 버튼과 계명 버튼은 디스플레이 상단에서 연주타이밍 전에 나타나며, 연주 타이밍에 가깝게 갈수록 디스플레이 하단 터치 영역으로 이동할 수 있다. 상기 코드 버튼 또는 계명 버튼이 이동하는 레일(rail)의 수는 터치할 손가락의 수에 따라 3개 내지 5개로 구성될 수 있다.
4. 코드 버튼/계명 버튼의 레일 위치 결정은 다양한 알고리즘의 의해 수행될 수 있다. 예를 들어, 음악 정보에서 코드 발생 빈도 순으로 코드를 정렬한 후, 3 또는 4 모듈러(modular) 연산을 취해 각 코드를 레일 번호에 할당할 수 있다. 구체적인 예로서, 3 모듈러 연산 시, A, B, C, D, E, F, G 코드는 각각 1, 2, 3, 1, 2, 3번 레일에 할당할 수 있다. 또한, 다양한 실시 예에 따라 빈도 수가 가장 낮은 코드들이 4번 레일에 할당함으로써, 손가락 자세가 가장 불안정한 새끼 손가락의 터치 입력을 최소화시킬 수 있다.
다른 예로서, 주요한 3개의 코드는 1, 2, 3 번의 3개의 레일에 배정하고 가장 사용 빈도가 낮은 코드를 4번 레일에 배정할 수도 있다. 또 다른 예로서 1 내지 4번 또는 1 내지 3번 레일에 무작위로 코드와 계명을 배정시킬 수도 있다.
5. 본 발명의 다양한 실시 예에 따라 기타 연주를 위해 사용되는 탭(TAB) 악보 정보 및 기타 리듬 정보를 기타 연주 애플리케이션에 적용할 수 있다. 상기 악보 정보는 기타의 스트로크(Stroke) 또는 픽킹(Picking) 업/다운(UP/DOWN) 여부, 박자의 세기(센내기 및 여린내기), 당김음(Syncopation) 등의 정보가 포함될 수 있다. 상기 다양한 기타 연주 관련 정보를 이용하여 코드 버튼과 계명 버튼을 각기 다르게 표시할 수도 있다.
이상으로, 본 발명의 다양한 실시 예들이 제1 전자 장치에 구현된 예를 설명하였으며, 다음으로 본 발명의 다양한 실시 예들이 제2 전자 장치에 구현된 예를 설명한다.
제2 전자 장치는 웨어러블 장치(예컨대, 시계형 장치)일 수 있다. 먼저 전술한 제1 전자 장치와 연결이 설정되고, 연주가 시작되면 제1 전자 장치와 제2 전자 장치간의 동기화가 설정될 수 있다. 예컨대, 제2 전자 장치에서 상기 제1 전자 장치로부터 연주 실행과 동기화 요청 및 연주 시작 명령이 수신될 수 있다. 전술한 바와 같이 제1 전자 장치와 제2 전자 장치 간의 통신 상태에 따라 지연이 존재할 수 있으며, 상기 지연에 의한 오류가 발생할 수 있다. 따라서, 제1 전자 장치와 제2 전자 장치의 동기화를 통해 이러한 지연에 의한 오류를 처리할 수 있다.
제2 전자 장치에는 다양한 종류의 센서가 구비될 수 있다. 상기 연주 시작에 따라 적어도 하나의 센서가 활성화될 수 있다. 예컨대, 제2 전자 장치에 설치된 자이로(gyro) 센서 또는 가속도 센서 등이 활성화될 수 있다. 제2 전자 장치의 예로서 도 8에 도시된 바와 같이 시계형 장치를 손목에 착용한 상태에서 기타 연주 동작과 유사하게 팔을 흔들게 되면, 상기 흔드는 동작에 의해 상기 센서를 통해 입력된 측정값이 저장될 수 있다. 상기 센싱된 측정값은 미리 설정된 임계값(threshold)과 비교함으로써 사용자의 동작이 미리 설정된 제스처인지 또는 미리 설정된 동작인지를 판단할 수 있다. 상기 판단 결과 미리 설정된 동작 또는 제스처인 경우, 상기 판단된 동작 또는 제스처 정보(또는 움직임 정보)를 제1 전자 장치로 전송할 수 있다. 또한, 다른 실시 예에 따라 상기 판단된 동작 또는 제스처 정보(또는 움직임 정보)를 미리 설정된 제어 정보로 변환하여 제1 전자 장치로 전송할 수도 있다.
본 발명의 다양한 실시 예에 따라 연주자가 선택한 코드 버튼이나 계명 버튼을 제1 전자 장치의 터치스크린 상에서 한 손의 손가락으로 누른 채, 다른 손으로 기타를 스트로크하거나 픽킹하는 제스처를 취하면, 해당 코드나 계명을 퉁기는 기타 소리가 출력될 수 있다.
예를 들어, 연주자의 스트로크 또는 픽킹 제스처는, 연주자가 착용하고 있는 시계형 장치의 가속도 센서와 자이로 센서 값의 변화로 감지될 수 있다. 예컨대, 시계형 장치를 오른손에 착용한 상태로 사용자가 스트로크 또는 픽킹 제스처를 취하면, 시계형 장치에 구비된 가속도 센서 또는 자이로 센서에서 Y축 가속도와 요(Yaw) 회전 변화가 동시에 가장 크게 감지될 수 있다. 따라서, 두 센서를 통한 측정값의 변화량을 미리 설정된 임계값과 비교함으로써 사용자의 기타 연주 동작을 다양하게 판단할 수 있다. 예컨대, 사용자의 기타 연주 동작으로서 스트로크(또는 픽킹)의 세기, 속도, 방향 등이 결정될 수 있다.
보다 구체적인 예를 들어 설명하면, 센서로부터 측정된 값들에 대한 동작 판단을 위한 패턴 매칭은 실시간으로 이루어질 수 있다. 또한, 각 센서로부터 측정된 측정값에 대해 대응하는 제스처에 대한 패턴 정의는 미리 정의된 테이블에 의해 결정될 수 있다. 상기 미리 결정된 패턴에 의해 센서로부터 측정된 값들에 대응하는 제어 정보(또는 제어 명령)이 결정되고, 상기 결정된 제어 정보가 제1 전자 장치로 전송될 수 있다.
도 12 내지 도 14는 본 발명의 일 실시 예에 따른 전자 장치의 제스처 판단을 위한 센서 값의 변화를 나타내는 그래프이다.
도 12를 참조하면, Y축 가속도와 요(Yaw) 회전 변화를 판단함으로써 기타 연주에 있어서 스트로크하는 기타 줄의 수가 결정될 수 있다. 예컨대, 도 12에 도시된 바와 같이 센서로부터 측정된 값이 제1 임계값과 제2 임계값 사이일 경우에는 짧은 스트로크(short stroke)로 판단하여 3개의 기타 줄이 퉁기는 사운드 효과를 합성하는 제어 정보를 생성할 수 있다. 또한, 상기 센서로부터 측정된 값이 제2 임계값을 초과할 경우, 긴 스트로크(long stroke)로 판단하여, 6개의 기타 줄을 퉁기는 사운드 효과에 대응하는 제어 정보를 생성할 수 있다. 상기 생성된 제어 정보는 제1 전자 장치로 전송될 수 있다.
본 발명의 다양한 실시 예들에 따라 도 13 및 도 14를 참조하면, 단위 시간당 Y축 가속도와 요 회전 변화량에 따라, 스트로크 되는 기타 음의 세기가 결정될 수 있다. 예를 들어, 사용자의 제스처에 따라 기타 연주법에 있어 기타 줄을 약하게 퉁기는 여림 효과와 세게 퉁기는 셈 효과 사운드를 구분할 수 있다. 기타 연주 스트로크 또는 픽킹의 세기를 결정하는 요인은 연주자가 스트로크 속도와 줄을 퉁기는 힘으로 가정할 수 있다. 이에 따라, 사용자의 제스처에 따라 센서로부터 측정된 값을 참조하여, 단위 시간당 변화량이 제1 임계값과 제2 임계값의 사이이면 제 1 강도의 스트로크 또는 픽킹 사운드 효과에 대응하는 제어 정보를 생성할 수 있다. 또한, 상기 단위 시간당 변화량이 제2 임계값을 초과할 경우, 제2 강도의 스트로크 또는 픽킹 사운드 효과에 대응하는 제어 정보를 생성할 수 있다. 상기 생성된 제어 정보는 제1 전자 장치로 전송될 수 있다.
또한, 다양한 실시 예들에 따라 상기 기타 연주 시 스트로크의 세기는 스트로크의 패턴으로 판단할 수도 있다. 예를 들어, 도 13을 참조하면, 가속도 센서의 변화에 있어서 연주자가 제1 다운 스트로크와 다음 스트로크인 제2 다운 스트로크 사이에 순간적으로 정지한 패턴이 나타날 수 있다. 이때, 가속도 센서에 대한 측정값 중 최소값 부분이 1개 변곡점으로 나타나지 않고 2개 변곡점이 나타날 수 있으며, 상기 2개의 변곡점 간에는 변화가 없는 아래 톱니 모양 파형을 갖게 된다. 이러한 경향은 다운 스트로크가 강력한 기타의 커팅(Cutting) 주법을 사용하는 음악에서 두드러지게 나타날 수 있다. 따라서, 상기 가속도 센서에 대한 측정 값을 분석하여, 최소 변곡점에서 가속도 센서 변화가 멈출 경우 제1 강도의 스트로크(상대적으로 강한 스트로크)에 대응하는 제어 정보를 생성할 수 있으며, 최소 변곡점에서 가속도 센서 변화 방향이 바뀔 경우에는 제2 강도의 스트로크(상대적으로 약산 스트로크)에 대응하는 제어 정보를 생성할 수도 있다.
또한, 다양한 실시 예에 따라, 자이로 센서의 요 회전 변화 방향은 기타 연주에 있어서, 기타 줄 스트로크의 방향을 결정할 수 있다. 기타 연주를 위해 사용되는 TAB 악보정보 및 기타리듬 정보를 사용할 때, 기타는 업 스트로크와 다운 스트로크가 구별될 수 있다. 따라서, 상기 자이로 센서에 대한 측정값의 변화 방향에 따라 사용자의 제스처가 업스트로크인지 다운 스트로크인지 여부를 결정할 수 있다.
예컨대, 자이로 센서에서 측정된 값으로부터 요(yaw) 회전 방향의 변화가 '-'이면 업 스트로크로 판단하여 제1 사운드에 대응하는 제어 정보를 생성할 수 있으며, 상기 제1 사운드에 대응하는 제어 정보에 따라 제1 전자 장치에서 출력되는 음악에는 1번, 2번, 3번 기타 줄의 순서로 사운드를 합성하여 출력시킬 수 있다. 반면, 자이로 센서에서 측정된 값으로부터 요(yaw) 회전 방향의 변화가 '+'이면 다운 스트로크로 판단하여 제2 사운드에 대응하는 제어 정보를 생성할 수 있으며, 상기 제2 사운드에 대응하는 제어 정보에 따라 제1 전자 장치에서 출력되는 음악에는 3번, 2번, 1번 기타 줄의 순서로 사운드를 합성하여 출력시킬 수 있다.
상기 제2 전자 장치에서 각종 센서로부터 감지된 신호에 따라 결정된 다양한 사용자의 제스처 패턴에 따라 미리 정의된 음향 제어 정보가 존재하면, 해당하는 제어 정보를 생성하여 제1 전자 장치로 전송할 수 있다. 본 발명의 다양한 실시 예에서는 기타 연주를 위해 사용되는 탭(TAB) 악보 정보 및 기타 리듬 정보를 적용할 수도 있다. 상기 악보 정보는 기타의 스트로크 또는 픽킹 업/다운 여부, 센 내기와 여린 내기, 당김음(Syncopation), 등의 정보가 포함될 수 있다. 따라서, 상기 제1 전자 장치에서 상기 제2 전자 장치로부터 각종 제스처에 의한 제어 정보를 수신하면, 상기 제어 정보에 대응하는 상기 악보 정보를 참조하여 기타 사운드의 효과음을 생성할 수 있으며, 상기 생성된 기타 사운드의 효과음은 재생되는 음악과 혼합(mixing)되어 출력될 수 있다.
본 발명의 다양한 실시 예에 따라, 제1 전자 장치의 터치 스크린상에서 코드 버튼을 누른 상태에서, 제2 전자 장치를 스트로크 정보에 대응하는 제스처로 움직이면, 상기 제스처를 코드 연주를 위한 스트로크로 판단하고, 복수 개의 기타 현을 조합한 화음 사운드가 출력될 수 있다. 다른 실시 예에 따라, 상기 제1 전자 장치의 터치 스크린 상에서 계명 버튼을 누른 상태에서, 스트로크에 대응하는 제스처로 제2 전자 장치를 움직이면, 상기 제스처를 픽킹 제스처로 판단할 수 있다. 이에 따라, 사용자의 스트로크 제스처의 세기와 관계없이, 하나의 기타 줄에 대응하는 픽킹 사운드가 합성되어 출력될 수 있다.
또한, 다양한 실시 예에 따라 아르페지오(Arpeggio) 주법이 사용되는 음악에서는 전술한 스트로크(Stoke) 주법과 달리 손가락 픽킹이 빈번하게 발생할 수 있다. 예컨대, 상기 아르페지오 주법으로 연주되는 음악 설정 모드에서는 제1 전자 장치에서 코드 버튼을 누른 상태로 제2 전자 장치에서 한 번의 스트로크 또는 픽킹 제스처를 취함으로써 아르페지오 효과에 대응하는 기타 사운드를 출력할 수 있다.
전술한 본 발명의 다양한 실시 예들에서는 가속도 센서 또는 자이로 센서 센서를 이용한 제스처 식별 방법을 예로서 설명하였으나, 인식의 정확도를 높이기 위해 자기장 센서를 추가하여 자기장 방향 정보를 이용해 제스처의 오류를 줄일 수도 있다.
또한, 본 발명의 다양한 실시 예에 따라, 상기 제1 전자 장치에 구비된 다양한 센서를 통해 제1 전자 장치의 움직임을 감지하여 재생되는 음악에 다양한 음향 효과를 반영할 수도 있다. 예를 들어, 사용자가 제1 전자 장치의 터치 스크린상에서 특정 음계 또는 코드를 터치한 상태에서, 상기 제1 전자 장치를 위 아래로 흔드는 동작이 감지되면, 재생되는 음악에 트레몰로 주법에 대응하는 기타 사운드를 적용할 수 있다. 또한, 다른 예로서 사용자가 제1 전자 장치의 터치 스크린상에서 특정 음계 또는 코드를 터치한 상태에서, 상기 제1 전자 장치를 아래에서 위로 올리는 동작이 감지되면, 재생되는 음악에 웨일링(wailing) 효과에 대응하는 기타 사운드를 적용할 수 있다.
상기에서는 제1 전자 장치 또는 제2 전자 장치의 움직임을 감지하여 재생되는 음악에 다양한 기타 연주 효과를 적용하는 다양한 실시 예들을 설명하였다. 그러나, 본 발명의 다양한 실시 예들이 전술한 실시 예들에 한정되는 것은 아니며, 제1 전자 장치 또는 제2 전자 장치의 다양한 형태의 움직임을 판단하여, 각 움직임에 대응하여 미리 설정된 다양한 음향 효과를 재생되는 음악에 적용할 수도 있다.
도 16 은 다양한 실시 예들에 따른 전자 장치(1601)의 블록도(1600)를 도시한다. 상기 전자 장치(1601)는, 예를 들면, 도 1에 도시된 전자 장치(101)의 전체 또는 일부를 구성할 수 있다. 도 16을 참조하면, 상기 전자 장치(1601)는 하나 이상의 애플리케이션 프로세서(AP: application processor)(1610), 통신 모듈(1620), SIM(subscriber identification module) 카드(1624), 메모리(1630), 센서 모듈(1640), 입력 장치(1650), 디스플레이(1660), 인터페이스(1670), 오디오 모듈(1680), 카메라 모듈(1691), 전력관리 모듈(1695), 배터리(1696), 인디케이터(1697) 및 모터(1698)를 포함할 수 있다.
상기 AP(1610)는 운영체제 또는 응용 프로그램을 구동하여 상기 AP(1610)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 멀티미디어 데이터를 포함한 각종 데이터 처리 및 연산을 수행할 수 있다. 상기 AP(1610)는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 일 실시 예에 따르면, 상기 AP(1610)는 GPU(graphic processing unit, 미도시)를 더 포함할 수 있다.
상기 통신 모듈(1620)(예컨대, 상기 통신 인터페이스(160))은 상기 전자 장치(1601)(예컨대, 상기 전자 장치(101))와 네트워크를 통해 연결된 다른 전자 장치들(예컨대, 전자 장치(104) 또는 서버(106) 간의 통신에서 데이터 송수신을 수행할 수 있다. 일 실시 예에 따르면, 상기 통신 모듈(1620)은 셀룰러 모듈(1621), Wifi 모듈(1623), BT 모듈(1625), GPS 모듈(1627), NFC 모듈(1628) 및 RF(radio frequency) 모듈(1629)을 포함할 수 있다.
상기 셀룰러 모듈(1621)은 통신망(예컨대, LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro 또는 GSM 등)을 통해서 음성 통화, 영상 통화, 문자 서비스 또는 인터넷 서비스 등을 제공할 수 있다. 또한, 상기 셀룰러 모듈(1621)은, 예를 들면, 가입자 식별 모듈(예컨대, SIM 카드(1624))을 이용하여 통신 네트워크 내에서 전자 장치의 구별 및 인증을 수행할 수 있다. 일 실시 예에 따르면, 상기 셀룰러 모듈(1621)은 상기 AP(1610)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 예를 들면, 상기 셀룰러 모듈(1621)은 멀티 미디어 제어 기능의 적어도 일부를 수행할 수 있다.
일 실시 예에 따르면, 상기 셀룰러 모듈(1621)은 커뮤니케이션 프로세서(CP: communication processor)를 포함할 수 있다. 또한, 상기 셀룰러 모듈(1621)은, 예를 들면, SoC(System on Chip) 형태로 구현될 수 있다. 도 16에서는 상기 셀룰러 모듈(1621)(예컨대, 커뮤니케이션 프로세서), 상기 메모리(1630) 또는 상기 전력관리 모듈(1695) 등의 구성요소들이 상기 AP(1610)와 별개의 구성요소로 도시되어 있으나, 일 실시 예에 따르면, 상기 AP(1610)가 전술한 구성요소들의 적어도 일부(예컨대, 셀룰러 모듈(1621)을 포함하도록 구현될 수 있다.
한 실시 예에 따르면, 상기 AP(1610) 또는 상기 셀룰러 모듈(1621)(예컨대, 커뮤니케이션 프로세서)은 각각에 연결된 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, 상기 AP(1610) 또는 상기 셀룰러 모듈(1621)은 다른 구성요소 중 적어도 하나로부터 수신하거나 다른 구성요소 중 적어도 하나에 의해 생성된 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
상기 Wifi 모듈(1623), 상기 BT 모듈(1625), 상기 GPS 모듈(1627) 또는 상기 NFC 모듈(1628) 각각은, 예를 들면, 해당하는 모듈을 통해서 송수신되는 데이터를 처리하기 위한 프로세서를 포함할 수 있다. 도 16에서는 셀룰러 모듈(1621), Wifi 모듈(1623), BT 모듈(1625), GPS 모듈(1627) 또는 NFC 모듈(1628)이 각각 별개의 블록으로 도시되었으나, 일 실시 예에 따르면, 셀룰러 모듈(1621), Wifi 모듈(1623), BT 모듈(1625), GPS 모듈(1627) 또는 NFC 모듈(1628) 중 적어도 일부(예컨대, 두 개 이상)는 하나의 집적 회로(integrated chip; IC) 또는 IC 패키지 내에 포함될 수 있다. 예를 들면, 셀룰러 모듈(1621), Wifi 모듈(1623), BT 모듈(1625), GPS 모듈(1627) 또는 NFC 모듈(1628) 각각에 대응하는 프로세서들 중 적어도 일부(예컨대, 셀룰러 모듈(1621))에 대응하는 커뮤니케이션 프로세서 및 Wifi 모듈(1623)에 대응하는 Wifi 프로세서)는 하나의 SoC로 구현될 수 있다.
상기 RF 모듈(1629)은 데이터의 송수신, 예를 들면, RF 신호의 송수신을 할 수 있다. 상기 RF 모듈(1629)은, 도시되지는 않았으나, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter) 또는 LNA(low noise amplifier) 등을 포함할 수 있다. 또한, 상기 RF 모듈(1629)은 무선 통신에서 자유 공간상의 전자파를 송수신하기 위한 부품, 예를 들면, 도체 또는 도선 등을 더 포함할 수 있다. 도 16에서는 셀룰러 모듈(1621), Wifi 모듈(1623), BT 모듈(1625), GPS 모듈(1627) 및 NFC 모듈(1628)이 하나의 RF 모듈(1629)을 서로 공유하는 것으로 도시되어 있으나, 일 실시 예에 따르면, 셀룰러 모듈(1621), Wifi 모듈(1623), BT 모듈(1625), GPS 모듈(1627) 또는 NFC 모듈(1628) 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호의 송수신을 수행할 수 있다.
상기 SIM 카드(1624)는 가입자 식별 모듈을 포함하는 카드일 수 있으며, 전자 장치의 특정 위치에 형성된 슬롯에 삽입될 수 있다. 상기 SIM 카드(1624)는 고유한 식별 정보(예컨대, ICCID(integrated circuit card identifier)) 또는 가입자 정보(예컨대, IMSI(international mobile subscriber identity))를 포함할 수 있다.
상기 메모리(1630)(예컨대, 상기 메모리(130))는 내장 메모리(1632) 또는 외장 메모리(1634)를 포함할 수 있다. 상기 내장 메모리(1632)는, 예를 들면, 휘발성 메모리(예를 들면, DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous dynamic RAM) 등) 또는 비휘발성 메모리(non-volatile Memory)(예를 들면, OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, NAND flash memory, NOR flash memory 등) 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 상기 내장 메모리(1632)는 SSD(Solid State Drive) 일 수 있다. 상기 외장 메모리(1634)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 메모리 스틱(Memory Stick) 등을 더 포함할 수 있다. 상기 외장 메모리(1634)는 다양한 인터페이스를 통하여 상기 전자 장치(1601)와 기능적으로 연결될 수 있다. 일 실시 예에 따르면, 상기 전자 장치(1601)는 하드 드라이브와 같은 저장 장치(또는 저장 매체)를 더 포함할 수 있다.
상기 센서 모듈(1640)은 물리량을 계측하거나 전자 장치(1601)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 상기 센서 모듈(1640)은, 예를 들면, 제스처 센서(1640A), 자이로 센서(1640B), 기압 센서(1640C), 마그네틱 센서(1640D), 가속도 센서(1640E), 그립 센서(1640F), 근접 센서(1640G), 색상(color) 센서(1640H)(예컨대, RGB(red, green, blue) 센서), 생체 센서(1640I), 온/습도 센서(1640J), 조도 센서(1640K) 또는 UV(ultra violet) 센서(1640M) 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 센서 모듈(1640)은, 예를 들면, 후각 센서(E-nose sensor, 미도시), EMG 센서(electromyography sensor, 미도시), EEG 센서(electroencephalogram sensor, 미도시), ECG 센서(electrocardiogram sensor, 미도시), IR(infra red) 센서(미도시), 홍채 센서(미도시) 또는 지문 센서(미도시) 등을 포함할 수 있다. 상기 센서 모듈(1640)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다.
상기 입력 장치(1650)는 터치 패널(touch panel)(1652), (디지털) 펜 센서(pen sensor)(1654), 키(key)(1656) 또는 초음파(ultrasonic) 입력 장치(1658)를 포함할 수 있다. 상기 터치 패널(1652)은, 예를 들면, 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다. 또한, 상기 터치 패널(1652)은 제어 회로를 더 포함할 수도 있다. 정전식의 경우, 물리적 접촉 또는 근접 인식이 가능하다. 상기 터치 패널(1652)은 택타일 레이어(tactile layer)를 더 포함할 수도 있다. 이 경우, 상기 터치 패널(1652)은 사용자에게 촉각 반응을 제공할 수 있다.
상기 (디지털) 펜 센서(1654)는, 예를 들면, 사용자의 터치 입력을 받는 것과 동일 또는 유사한 방법 또는 별도의 인식용 쉬트(sheet)를 이용하여 구현될 수 있다. 상기 키(1656)는, 예를 들면, 물리적인 버튼, 광학식 키 또는 키패드를 포함할 수 있다. 상기 초음파(ultrasonic) 입력 장치(1658)는 초음파 신호를 발생하는 입력 도구를 통해, 전자 장치(1601)에서 마이크(예컨대, 마이크(1688))로 음파를 감지하여 데이터를 확인할 수 있는 장치로서, 무선 인식이 가능하다. 일 실시 예에 따르면, 상기 전자 장치(1601)는 상기 통신 모듈(1620를 이용하여 이와 연결된 외부 장치(예컨대, 컴퓨터 또는 서버)로부터 사용자 입력을 수신할 수도 있다.
상기 디스플레이(1660)(예컨대, 상기 디스플레이(150))는 패널(1662), 홀로그램 장치(1664) 또는 프로젝터(1666))를 포함할 수 있다. 상기 패널(1662)은, 예를 들면, LCD(liquid-crystal display) 또는 AM-OLED(active-matrix organic light-emitting diode) 등일 수 있다. 상기 패널(1662)은, 예를 들면, 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 상기 패널(1662)은 상기 터치 패널(1652)과 하나의 모듈로 구성될 수도 있다. 상기 홀로그램 장치(1664)는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 상기 프로젝터(1666)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 상기 스크린은, 예를 들면, 상기 전자 장치(1601)의 내부 또는 외부에 위치할 수 있다. 일 실시 예에 따르면, 상기 디스플레이(1660)는 상기 패널(1662), 상기 홀로그램 장치(1664), 또는 프로젝터(1666)를 제어하기 위한 제어 회로를 더 포함할 수 있다.
상기 인터페이스(1670)는, 예를 들면, HDMI(high-definition multimedia interface)(1672), USB(universal serial bus)(1674), 광 인터페이스(optical interface)(1676) 또는 D-sub(D-subminiature)(1678)를 포함할 수 있다. 상기 인터페이스(1670)는, 예를 들면, 도 1에 도시된 통신 인터페이스(160)에 포함될 수 있다. 추가적으로 또는 대안적으로, 상기 인터페이스(1670)는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD(secure Digital) 카드/MMC(multi-media card) 인터페이스 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
상기 오디오 모듈(1680)은 소리(sound)와 전기신호를 쌍방향으로 변환시킬 수 있다. 상기 오디오 모듈(1680)의 적어도 일부 구성요소는, 예를 들면, 도 1 에 도시된 입출력 인터페이스(140)에 포함될 수 있다. 상기 오디오 모듈(1680)은, 예를 들면, 스피커(1682), 리시버(1684), 이어폰(1686) 또는 마이크(1688) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
상기 카메라 모듈(1691)은 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 일 실시 예에 따르면, 하나 이상의 이미지 센서(예컨대, 전면 센서 또는 후면 센서), 렌즈(미도시), ISP(image signal processor, 미도시) 또는 플래쉬(flash, 미도시)(예컨대, LED 또는 제논 램프(xenon lamp))를 포함할 수 있다.
상기 전력 관리 모듈(1695)은 상기 전자 장치(1601)의 전력을 관리할 수 있다. 도시하지는 않았으나, 상기 전력 관리 모듈(1695)은, 예를 들면, PMIC(power management integrated circuit), 충전 IC(charger integrated circuit) 또는 배터리 또는 연료 게이지(battery or fuel gauge)를 포함할 수 있다.
상기 PMIC는, 예를 들면, 집적회로 또는 SoC 반도체 내에 탑재될 수 있다. 충전 방식은 유선과 무선으로 구분될 수 있다. 상기 충전 IC는 배터리를 충전시킬 수 있으며, 충전기로부터의 과전압 또는 과전류 유입을 방지할 수 있다. 일 실시 예에 따르면, 상기 충전 IC는 유선 충전 방식 또는 무선 충전 방식 중 적어도 하나를 위한 충전 IC를 포함할 수 있다. 무선 충전 방식으로는, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등이 있으며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로 또는 정류기 등의 회로가 추가될 수 있다.
상기 배터리 게이지는, 예를 들면, 상기 배터리(1696)의 잔량, 충전 중 전압, 전류 또는 온도를 측정할 수 있다. 상기 배터리(1696)는 전기를 저장 또는 생성할 수 있고, 그 저장 또는 생성된 전기를 이용하여 상기 전자 장치(1601)에 전원을 공급할 수 있다. 상기 배터리(1696)는, 예를 들면, 충전식 전지(rechargeable battery) 또는 태양 전지(solar battery)를 포함할 수 있다.
상기 인디케이터(1697)는 상기 전자 장치(1601) 혹은 그 일부(예컨대, 상기 AP(1610)의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 상기 모터(1698)는 전기적 신호를 기계적 진동으로 변환할 수 있다. 도시되지는 않았으나, 상기 전자 장치(1601)는 모바일 TV 지원을 위한 처리 장치(예컨대, GPU)를 포함할 수 있다. 상기 모바일 TV 지원을 위한 처리 장치는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting) 또는 미디어플로우(media flow) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.
본 발명에 따른 전자 장치의 전술한 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성 요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 본 발명에 따른 전자 장치는 전술한 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 본 발명에 따른 전자 장치의 구성 요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.
본 발명에 사용된 용어 “모듈”은, 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. “모듈”은 예를 들어, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component) 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. “모듈”은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. “모듈”은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. “모듈”은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, 본 발명에 따른 “모듈”은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시 예에 따르면, 본 발명에 따른 장치(예컨대, 모듈들 또는 그 기능들) 또는 방법(예컨대, 동작들)의 적어도 일부는, 예컨대, 프로그래밍 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어는, 하나 이상의 프로세서 (예컨대, 상기 프로세서(210)에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 상기 메모리(220)가 될 수 있다. 상기 프로그래밍 모듈의 적어도 일부는, 예를 들면, 상기 프로세서(210)에 의해 구현(implement)(예컨대, 실행)될 수 있다. 상기 프로그래밍 모듈 의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트 (sets of instructions) 또는 프로세스 등을 포함할 수 있다.
상기 컴퓨터로 판독 가능한 기록 매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 마그네틱 매체(Magnetic Media)와, CD-ROM(Compact Disc Read Only Memory), DVD(Digital Versatile Disc)와 같은 광기록 매체(Optical Media)와, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media)와, 그리고 ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령(예컨대, 프로그래밍 모듈)을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
본 발명에 따른 모듈 또는 프로그래밍 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 본 발명에 따른 모듈, 프로그래밍 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
다양한 실시 예에 따르면, 명령들을 저장하고 있는 저장 매체에 있어서, 상기 명령들은 적어도 하나의 프로세서에 의하여 실행될 때에 상기 적어도 하나의 프로세서로 하여금 적어도 하나의 동작을 수행하도록 설정된 것으로서, 상기 적어도 하나의 동작은, 음악 연주 애플리케이션이 실행되면, 통신으로 연결된 제2 전자 장치로부터 제어 정보를 수신하는 동작; 상기 음악 연주 애플리케이션의 실행에 따라 재생 요청된 음악 데이터에 상기 수신된 제어 정보가 적용되도록 처리하는 동작; 상기 처리된 음악 데이터를 출력시키는 동작을 포함할 수 있다.
그리고 본 명세서와 도면에 발명된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 발명된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 네트워크 환경 101 : 전자 장치
104 : 전자 장치 106 : 서버
110 : 버스 120 : 프로세서
130 : 메모리 131 : 커널
132 : 미들웨어 133 : API
134 : 애플리케이션 140 : 입출력 인터페이스
150 : 디스플레이 160 : 통신 인터페이스
162 : 네트워크 310 : 스마트 폰
320 : 웨어러블 장치 400 : 음악 연주 처리 모듈
410 : 장치 연결 처리 모듈 420 : 제어 정보 수신 모듈
430 : 입력 정보 판단 모듈 440 : 음성 정보 수신 모듈
450 : 음악 파일 재생 모듈 460 : 사운드 합성 모듈
500 : 웨어러블 장치 510 : 센서
520 : 통신 모듈 530 : 프로세서
540 : 디스플레이 600 : 연주 정보 처리 모듈
610 : 장치 연결 처리 모듈 620 : 센싱 정보 분석 모듈
630 : 제어 정보 처리 모듈

Claims (25)

  1. 음악 연주 애플리케이션을 실행하는 전자 장치에 있어서,
    상기 음악 연주 애플리케이션이 실행되면, 통신으로 연결된 제2 전자 장치로부터 제어 정보를 수신하는 통신 모듈;
    상기 음악 연주 애플리케이션의 실행에 따라 재생 요청된 음악 데이터에 상기 수신된 제어 정보가 적용되도록 처리하는 프로세서; 및
    상기 프로세서에 의해 처리된 음악 데이터를 출력시키는 오디오 모듈;을 포함하는, 전자 장치.
  2. 제1항에 있어서, 상기 제어 정보는,
    상기 제2 전자 장치의 움직임 정보에 대응하여 생성되는, 전자 장치.
  3. 제2항에 있어서, 상기 움직임 정보는,
    상기 제2 전자 장치에 구비된 적어도 하나의 센서에 의해 감지된 신호로부터 판단되는, 전자 장치.
  4. 제3항에 있어서, 상기 센서는,
    제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, RGB 센서, 생체 센서, 온/습도 센서, 조도 센서 및 UV 센서 중에서 선택된 적어도 하나인, 전자 장치.
  5. 제1항에 있어서, 상기 음악 연주 애플리케이션은 기타 연주 애플리케이션인, 전자 장치.
  6. 제5항에 있어서, 상기 제어 정보는,
    적어도 하나의 기타 줄에 대한 스트로크와 관련된 정보인, 전자 장치.
  7. 제6항에 있어서, 상기 스트로크와 관련된 정보는,
    스트로크의 세기, 스트로크의 방향, 스트로크의 속도, 스트로크의 패턴, 스트로크의 발생 여부 및 스트로크의 발생 시간 중 선택된 적어도 하나의 정보인, 전자 장치.
  8. 제6항에 있어서, 상기 스트로크와 관련된 정보는,
    가속도 센서 또는 자이로 센서로부터 측정된 값의 변화에 따라 결정되는, 전자 장치.
  9. 제1항에 있어서, 상기 전자 장치는,
    사용자 입력을 수신하는 터치 패드를 더 포함하며,
    상기 프로세서는,
    상기 터치 패드를 통해 입력된 사용자 입력이 음계 상의 적어도 하나의 계이름 또는 화음에 대응하도록 처리하는, 전자 장치.
  10. 제1항에 있어서, 상기 전자 장치는,
    마이크를 더 포함하며,
    상기 프로세서는,
    상기 마이크를 통해 입력된 음성 신호가 상기 음악 데이터에 합성되도록 더 처리하는, 전자 장치.
  11. 제1항에 있어서, 상기 전자 장치는,
    적어도 하나의 센서를 더 포함하며,
    상기 프로세서는,
    상기 센서를 통해 센싱된 값으로부터 전자 장치의 움직임을 판단하고, 상기 판단된 움직임에 대응하여 미리 설정된 음향 효과가 상기 음악 데이터에 적용되도록 더 처리하는, 전자 장치.
  12. 제1항에 있어서, 상기 제어 정보는,
    상기 제2 전자 장치에 구비된 적어도 하나의 센서에 의해 감지된 신호를 포함하는, 전자 장치.
  13. 전자 장치에서의 음악 연주 방법에 있어서,
    음악 연주 애플리케이션이 실행되면, 통신으로 연결된 제2 전자 장치로부터 제어 정보를 수신하는 동작;
    상기 음악 연주 애플리케이션의 실행에 따라 재생 요청된 음악 데이터에 상기 수신된 제어 정보가 적용되도록 처리하는 동작; 및
    상기 처리된 음악 데이터를 출력시키는 동작;을 포함하는, 방법.
  14. 제13항에 있어서, 상기 제어 정보는,
    상기 제2 전자 장치의 움직임 정보에 대응하여 생성되는, 방법.
  15. 제14항에 있어서, 상기 움직임 정보는,
    상기 제2 전자 장치에 구비된 적어도 하나의 센서에 의해 감지된 신호로부터 판단되는, 방법.
  16. 제15항에 있어서, 상기 센서는,
    제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, RGB 센서, 생체 센서, 온/습도 센서, 조도 센서 및 UV 센서 중에서 선택된 적어도 하나인, 방법.
  17. 제13항에 있어서, 상기 음악 연주 애플리케이션은 기타 연주 애플리케이션인, 방법.
  18. 제17항에 있어서, 상기 제어 정보는,
    적어도 하나의 기타 줄에 대한 스트로크와 관련된 정보인, 방법.
  19. 제18항에 있어서, 상기 스트로크와 관련된 정보는,
    스트로크의 세기, 스트로크의 방향, 스트로크의 속도, 스트로크의 패턴, 스트로크의 발생 여부 및 스트로크의 발생 시간 중 선택된 적어도 하나의 정보인, 방법.
  20. 제18항에 있어서, 상기 스트로크와 관련된 정보는,
    가속도 센서 또는 자이로 센서로부터 측정된 값의 변화에 따라 결정되는, 방법.
  21. 제13항에 있어서, 상기 방법은,
    터치 패드를 통해 사용자 입력을 수신하는 동작; 및
    상기 터치 패드를 통해 입력된 사용자 입력이 음계 상의 적어도 하나의 계이름 또는 화음에 대응하도록 처리하는 동작을 더 포함하는, 방법.
  22. 제13항에 있어서, 상기 방법은,
    마이크를 통해 입력된 음성 신호가 상기 음악 데이터에 합성되도록 처리하는 동작을 더 포함하는, 방법.
  23. 제13항에 있어서, 상기 방법은,
    적어도 하나의 센서를 통해 센싱된 값으로부터 전자 장치의 움직임을 판단하는 동작; 및
    상기 판단된 움직임에 대응하여 미리 설정된 음향 효과가 상기 음악 데이터에 적용되도록 처리하는 동작을 더 포함하는, 방법.
  24. 제13항에 있어서, 상기 제어 정보는,
    상기 제2 전자 장치에 구비된 적어도 하나의 센서에 의해 감지된 신호를 포함하는, 방법.
  25. 컴퓨터상에서 수행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체에 있어서,
    상기 프로그램은, 프로세서에 의한 실행 시, 상기 프로세서가,
    음악 연주 애플리케이션이 실행되면, 통신으로 연결된 제2 전자 장치로부터 제어 정보를 수신하는 동작; 상기 음악 연주 애플리케이션의 실행에 따라 재생 요청된 음악 데이터에 상기 수신된 제어 정보가 적용되도록 처리하는 동작; 상기 처리된 음악 데이터를 출력시키는 동작을 수행하도록 하는 실행 가능한 명령을 포함하는, 컴퓨터 판독 가능한 기록 매체.
KR1020140059264A 2014-05-16 2014-05-16 전자 장치 및 전자 장치에서의 음악 연주 방법 KR102260721B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140059264A KR102260721B1 (ko) 2014-05-16 2014-05-16 전자 장치 및 전자 장치에서의 음악 연주 방법
US14/713,192 US10067733B2 (en) 2014-05-16 2015-05-15 Electronic device and method of playing music in electronic device
EP15167937.0A EP2945045B1 (en) 2014-05-16 2015-05-18 Electronic device and method of playing music in electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140059264A KR102260721B1 (ko) 2014-05-16 2014-05-16 전자 장치 및 전자 장치에서의 음악 연주 방법

Publications (2)

Publication Number Publication Date
KR20150131872A true KR20150131872A (ko) 2015-11-25
KR102260721B1 KR102260721B1 (ko) 2021-06-07

Family

ID=53189688

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140059264A KR102260721B1 (ko) 2014-05-16 2014-05-16 전자 장치 및 전자 장치에서의 음악 연주 방법

Country Status (3)

Country Link
US (1) US10067733B2 (ko)
EP (1) EP2945045B1 (ko)
KR (1) KR102260721B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017135549A1 (ko) * 2016-02-04 2017-08-10 박종섭 양극 연주 전자 악기
WO2020040447A1 (ko) * 2018-08-23 2020-02-27 숙명여자대학교산학협력단 센서를 이용한 음악 출력 장치 및 그 방법

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI20135621L (fi) * 2013-06-04 2014-12-05 Berggram Dev Oy Ristikkoon perustuva käyttöliittymä sointuesitystä varten kosketusnäyttölaitteessa
US9830895B2 (en) * 2014-03-14 2017-11-28 Berggram Development Oy Method for offsetting pitch data in an audio file
EP3400505A1 (en) 2016-05-10 2018-11-14 Google LLC Volumetric virtual reality keyboard methods, user interface, and interactions
CN108604122B (zh) * 2016-05-10 2022-06-28 谷歌有限责任公司 在虚拟现实环境中使用预测动作的方法和装置
US9847079B2 (en) * 2016-05-10 2017-12-19 Google Llc Methods and apparatus to use predicted actions in virtual reality environments
CN110168634B (zh) * 2017-03-24 2024-03-19 雅马哈株式会社 发声装置、发声系统及游戏装置
CN106991469B (zh) * 2017-04-17 2024-02-02 长安大学 一种跟随纸质书阅读位置的音乐播放装置及方法
EP3404434B1 (de) * 2017-05-19 2020-09-09 Siemens Healthcare GmbH Magnetresonanzanlage mit musiknetzwerk
CN107577450A (zh) * 2017-09-18 2018-01-12 广东小天才科技有限公司 一种音频控制方法、音频控制装置及智能终端
WO2020051586A1 (en) * 2018-09-07 2020-03-12 Groover Keith Electronic musical instrument
US10768888B1 (en) * 2019-02-27 2020-09-08 Daniel W. Rubin Wireless control and modification of electronic audio signals of remote electronic devices
US10839778B1 (en) * 2019-06-13 2020-11-17 Everett Reid Circumambient musical sensor pods system
FR3111445B1 (fr) * 2020-06-18 2022-12-16 Orange Jeu virtuel perfectionné d’un instrument à cordes
US11792559B2 (en) * 2021-08-17 2023-10-17 Sufang Liu Earphone control method and device, and non-transitory computer readable storage medium
BR102022002441A2 (pt) * 2022-02-09 2022-06-07 Tix Tecnologia Assistiva Ltda Dispositivo e sistema para controle de interfaces eletrônicas

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070009298A (ko) * 2005-07-15 2007-01-18 삼성전자주식회사 모션 감지에 의하여 효과 음향을 재생하고 제어하는 방법및 장치
US20130135223A1 (en) * 2009-12-13 2013-05-30 Ringbow Ltd. Finger-worn input devices and methods of use

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6542584B1 (en) 1998-08-31 2003-04-01 Intel Corporation Digital telephone system with automatic voice mail redirection
EP1837858B1 (en) * 2000-01-11 2013-07-10 Yamaha Corporation Apparatus and method for detecting performer´s motion to interactively control performance of music or the like
JP4694705B2 (ja) 2001-02-23 2011-06-08 ヤマハ株式会社 楽音制御システム
US6969795B2 (en) 2003-11-12 2005-11-29 Schulmerich Carillons, Inc. Electronic tone generation system and batons therefor
US20060060068A1 (en) * 2004-08-27 2006-03-23 Samsung Electronics Co., Ltd. Apparatus and method for controlling music play in mobile communication terminal
AU2007264413B2 (en) 2006-06-29 2012-07-12 Commonwealth Scientific And Industrial Research Organisation A system and method that generates outputs
KR101333456B1 (ko) 2006-11-24 2013-11-26 삼성전자주식회사 악기를 연주하기 위한 이동 통신 단말기 및 방법
US8663013B2 (en) * 2008-07-08 2014-03-04 Harmonix Music Systems, Inc. Systems and methods for simulating a rock band experience
US20110021273A1 (en) * 2008-09-26 2011-01-27 Caroline Buckley Interactive music and game device and method
KR101554221B1 (ko) * 2009-05-11 2015-09-21 삼성전자주식회사 휴대단말기를 이용한 악기 연주 방법 및 장치
US20110316793A1 (en) 2010-06-28 2011-12-29 Digitar World Inc. System and computer program for virtual musical instruments
US8835738B2 (en) * 2010-12-27 2014-09-16 Apple Inc. Musical systems and methods
KR101380159B1 (ko) 2012-03-26 2014-04-01 인제대학교 산학협력단 악기연주 시스템
US9729687B2 (en) * 2012-08-10 2017-08-08 Silverplus, Inc. Wearable communication device
US9236039B2 (en) * 2013-03-04 2016-01-12 Empire Technology Development Llc Virtual instrument playing scheme

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070009298A (ko) * 2005-07-15 2007-01-18 삼성전자주식회사 모션 감지에 의하여 효과 음향을 재생하고 제어하는 방법및 장치
US20130135223A1 (en) * 2009-12-13 2013-05-30 Ringbow Ltd. Finger-worn input devices and methods of use

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017135549A1 (ko) * 2016-02-04 2017-08-10 박종섭 양극 연주 전자 악기
WO2020040447A1 (ko) * 2018-08-23 2020-02-27 숙명여자대학교산학협력단 센서를 이용한 음악 출력 장치 및 그 방법

Also Published As

Publication number Publication date
US10067733B2 (en) 2018-09-04
EP2945045B1 (en) 2020-02-12
KR102260721B1 (ko) 2021-06-07
US20150331659A1 (en) 2015-11-19
EP2945045A1 (en) 2015-11-18

Similar Documents

Publication Publication Date Title
KR102260721B1 (ko) 전자 장치 및 전자 장치에서의 음악 연주 방법
US9666173B2 (en) Method for playing virtual musical instrument and electronic device for supporting the same
KR102207208B1 (ko) 음악 정보 시각화 방법 및 장치
US10996847B2 (en) Method for providing content search interface and electronic device for supporting the same
KR102516590B1 (ko) 전자 장치 및 전자 장치에서 디스플레이의 변형에 따라 기능을 실행하기 위한 방법
KR102114178B1 (ko) 근거리에 위치한 전자 장치들을 제어하는 방법 및 장치
US9812104B2 (en) Sound providing method and electronic device for performing the same
US20150324004A1 (en) Electronic device and method for recognizing gesture by electronic device
US20170046123A1 (en) Device for providing sound user interface and method thereof
US20170041272A1 (en) Electronic device and method for transmitting and receiving content
US20180341400A1 (en) Electronic device for selecting external device and controlling the same and operating method thereof
KR102388590B1 (ko) 전자 장치 및 전자 장치의 입력 방법
US11198154B2 (en) Method and apparatus for providing vibration in electronic device
KR20170052976A (ko) 모션을 수행하는 전자 장치 및 그 제어 방법
US9990912B2 (en) Electronic device and method for reproducing sound in the electronic device
KR20160057822A (ko) 디스플레이를 제어하기 위한 방법 및 그 전자 장치
US20150063577A1 (en) Sound effects for input patterns
KR102548687B1 (ko) 전자 장치에서 실행된 어플리케이션을 제어하는 웨어러블 전자 장치 및 방법
KR20170081925A (ko) 영상 저장을 위한 방법 및 그 장치
KR102512840B1 (ko) 실행 화면 레코딩 방법 및 그 방법을 처리하는 전자 장치
KR20180041905A (ko) Emi 센서를 포함하는 전자 장치
KR20150117807A (ko) 전자 장치의 문자 입력 방법 및 이를 이용한 전자 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant