KR20160109819A - 전자 장치, 전자 장치의 현악기 연주 인식 방법 및 전자 장치의 현악기 연주 피드백 방법 - Google Patents

전자 장치, 전자 장치의 현악기 연주 인식 방법 및 전자 장치의 현악기 연주 피드백 방법 Download PDF

Info

Publication number
KR20160109819A
KR20160109819A KR1020150034929A KR20150034929A KR20160109819A KR 20160109819 A KR20160109819 A KR 20160109819A KR 1020150034929 A KR1020150034929 A KR 1020150034929A KR 20150034929 A KR20150034929 A KR 20150034929A KR 20160109819 A KR20160109819 A KR 20160109819A
Authority
KR
South Korea
Prior art keywords
bow
user
string
electronic device
performance
Prior art date
Application number
KR1020150034929A
Other languages
English (en)
Inventor
전대영
김연수
김영민
박정민
오경석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150034929A priority Critical patent/KR20160109819A/ko
Priority to EP16159668.9A priority patent/EP3067883B1/en
Priority to US15/066,655 priority patent/US10176791B2/en
Priority to CN201610144693.0A priority patent/CN105976800B/zh
Publication of KR20160109819A publication Critical patent/KR20160109819A/ko
Priority to KR1020170123695A priority patent/KR102319228B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G7/00—Other auxiliary devices or accessories, e.g. conductors' batons or separate holders for resin or strings
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H3/00—Instruments in which the tones are generated by electromechanical means
    • G10H3/12—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument
    • G10H3/14—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument using mechanically actuated vibrators with pick-up means
    • G10H3/18—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument using mechanically actuated vibrators with pick-up means using a string, e.g. electric guitar
    • G10H3/181—Details of pick-up assemblies
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G10H1/0016—Means for indicating which keys, frets or strings are to be actuated, e.g. using lights or leds
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H3/00—Instruments in which the tones are generated by electromechanical means
    • G10H3/12—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/32—Constructional details
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H3/00—Instruments in which the tones are generated by electromechanical means
    • G10H3/12—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument
    • G10H3/125—Extracting or recognising the pitch or fundamental frequency of the picked up signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H3/00—Instruments in which the tones are generated by electromechanical means
    • G10H3/12—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument
    • G10H3/14—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument using mechanically actuated vibrators with pick-up means
    • G10H3/146—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument using mechanically actuated vibrators with pick-up means using a membrane, e.g. a drum; Pick-up means for vibrating surfaces, e.g. housing of an instrument
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/101—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters
    • G10H2220/121—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters for graphical editing of a musical score, staff or tablature
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/165—User input interfaces for electrophonic musical instruments for string input, i.e. special characteristics in string composition or use for sensing purposes, e.g. causing the string to become its own sensor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/365—Bow control in general, i.e. sensors or transducers on a bow; Input interface or controlling process for emulating a bow, bowing action or generating bowing parameters, e.g. for appropriately controlling a specialised sound synthesiser
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/395—Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing.
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/401—3D sensing, i.e. three-dimensional (x, y, z) position or movement sensing.
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/405—Beam sensing or control, i.e. input interfaces involving substantially immaterial beams, radiation, or fields of any nature, used, e.g. as a switch as in a light barrier, or as a control device, e.g. using the theremin electric field sensing principle
    • G10H2220/411—Light beams
    • G10H2220/415—Infrared beams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
    • G10H2220/455—Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/461—Transducers, i.e. details, positioning or use of assemblies to detect and convert mechanical vibrations or mechanical strains into an electrical signal, e.g. audio, trigger or control signal
    • G10H2220/525—Piezoelectric transducers for vibration sensing or vibration excitation in the audio range; Piezoelectric strain sensing, e.g. as key velocity sensor; Piezoelectric actuators, e.g. key actuation in response to a control voltage
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2230/00—General physical, ergonomic or hardware implementation of electrophonic musical tools or instruments, e.g. shape or architecture
    • G10H2230/005—Device type or category
    • G10H2230/015—PDA [personal digital assistant] or palmtop computing devices used for musical purposes, e.g. portable music players, tablet computers, e-readers or smart phones in which mobile telephony functions need not be used

Abstract

본 발명의 다양한 실시 예에 따른 전자 장치는, 현악기에 대한 활(bow)의 움직임을 감지하는 이미지 센서, 현악기에서 발생하는 진동을 감지하는 진동 감지 센서 및 활의 움직임 및 진동을 이용하여 현악기에 대한 사용자의 운지 위치를 판단하는 제어 모듈을 포함할 수 있다. 또한, 다른 실시 예도 가능하다.

Description

전자 장치, 전자 장치의 현악기 연주 인식 방법 및 전자 장치의 현악기 연주 피드백 방법{ELECTRONIC DEVICE, SENSING METHOD OF PLAYING STRING INSTRUMENT AND FEEDBACK METHOD OF PLAYING STRING INSTRUMENT}
본 발명은 현악기 연주를 인식하여 피드백을 제공하는 전자 장치에 관한 것이다.
전자 기술의 발달로 다양한 전자 장치가 개발되고 있다. 예를 들어, 현악기 연주자의 연주 동작을 인식하기 위한 장치가 개발되고 있으며, 다양한 종류의 센서들을 이용하여 연주자의 연주 동작을 정확하게 인식하기 위한 시도가 계속되고 있다.
현악기 연주를 인식하는 장치의 일부는 활에 장착된 형태로 구현되어 활 전체의 무게 증가뿐만 아니라 활의 무게 중심 변화를 가져와 연주에 방해가 될 수 있다.
본 발명의 다양한 실시 예는 현악기에 장착된 전자 장치를 이용하여 현악기 연주를 인식하고, 획득되는 연주 데이터를 이용하여 사용자에게 다양한 종류의 피드백을 제공하는 것을 목적으로 한다.
본 발명의 다양한 실시 예에 따른 전자 장치는, 상기 현악기에 대한 활(bow)의 움직임을 감지하는 이미지 센서, 상기 현악기에서 발생하는 진동을 감지하는 진동 감지 센서 및 상기 활의 움직임 및 상기 진동을 이용하여 상기 현악기에 대한 사용자의 운지 위치를 판단하는 제어 모듈을 포함할 수 있다.
본 발명의 다양한 실시 예에 따른 전자 장치는, 디스플레이, 외부 전자 장치로부터 사용자의 현악기 연주 데이터를 수신하는 통신 모듈, 상기 연주 데이터를 이용하여 사용자의 에러 패턴을 분석하고, 상기 디스플레이에 상기 에러 패턴에 대한 피드백을 제공하도록 제어하는 제어 모듈을 포함할 수 있다.
본 발명의 다양한 실시 예에 따른 전자 장치의 현악기 연주 인식 방법은, 상기 현악기에 대한 활(bow)의 움직임을 감지하는 동작, 상기 현악기에서 발생하는 진동을 감지하는 동작 및 상기 활의 움직임 및 상기 진동을 이용하여 상기 현악기에 대한 사용자의 운지 위치를 판단하는 동작을 포함할 수 있다.
본 발명의 다양한 실시 예에 따른 전자 장치의 현악기 연주 피드백 방법은, 외부 전자 장치로부터 현악기 연주 데이터를 수신하는 동작, 상기 연주 데이터를 이용하여 사용자의 에러 패턴을 분석하는 동작 및 상기 에러 패턴에 대한 피드백을 제공하는 동작을 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 현악기에 부착된 장치를 이용하여 현악기 연주 데이터를 획득함으로써 활의 무게 변화를 최소화하면서 정확한 현악기 연주 데이터를 획득할 수 있으며, 획득된 연주 데이터를 의미있는 형태로 가공하여 사용자에게 다양한 피드백을 제공할 수 있다.
도 1은 본 발명의 다양한 실시 예에 따른 현악기 연주 시스템의 구성을 나타내는 도면이다.
도 2는 본 발명의 다양한 실시 예에 따른 제1 전자 장치의 구조를 나타내는 도면이다.
도 3은 본 발명의 다양한 실시 예에 따른 제1 전자 장치의 구조를 나타내는 도면이다.
도 4는 본 발명의 다양한 실시 예에 따른 제1 전자 장치의 구성을 나타내는 블럭도이다.
도 5는 본 발명의 일 실시 예에 따른 이미지 센서의 구조 및 시야각을 나타내는 도면이다.
도 6은 본 발명의 일 실시 예에 따른 이미지 센서의 구조 및 시야각을 나타내는 도면이다.
도 7은 본 발명의 일 실시 예에 따른 측면 이미지 센서의 시야각을 나타내는 도면이다.
도 8은 활의 위치 및 자세를 결정하는 요소를 나타내는 도면이다.
도 9는 이미지 센서에 의해 생성된 적외선 이미지의 예를 나타내는 도면이다.
도 10은 이미지 센서에 의해 생성된 적외선 이미지의 예를 나타내는 도면이다.
도 11은 이미지 센서에 의해 생성된 적외선 이미지의 예를 나타내는 도면이다.
도 12는 본 발명의 다양한 실시 예에 따른 활털의 패턴을 나타내는 도면이다.
도 13은 이미지 센서에 의해 생성된 적외선 이미지의 예를 나타내는 도면이다.
도 14는 이미지 센서에 의해 생성된 적외선 이미지의 예를 나타내는 도면이다.
도 15는 활에 부착된 금속의 부착 패턴을 나타내는 도면이다.
도 16은 활에 부착된 자석의 부착 위치를 나타내는 도면이다.
도 17은 본 발명의 다양한 실시 예에 따른 제2 전자 장치의 구성을 나타내는 블럭도이다.
도 18은 본 발명의 다양한 실시 예에 따른 사용자 인터페이스를 나타내는 도면이다.
도 19는 본 발명의 다양한 실시 예에 따른 사용자 인터페이스를 나타내는 도면이다.
도 20은 본 발명의 다양한 실시 예에 따른 사용자 인터페이스를 나타내는 도면이다.
도 21은 본 발명의 다양한 실시 예에 따른 사용자 인터페이스를 나타내는 도면이다.
도 22는 본 발명의 다양한 실시 예에 따른 사용자 인터페이스를 나타내는 도면이다.
도 23은 본 발명의 다양한 실시 예에 따른 사용자 인터페이스를 나타내는 도면이다.
도 24는 본 발명의 다양한 실시 예에 따른 전자 장치의 현악기 연주 인식 방법을 나타내는 흐름도이다.
도 25는 본 발명의 다양한 실시 예에 따른 제2 전자 장치의 현악기 연주 피드백 방법을 나타내는 흐름도이다.
이하, 본 문서의 다양한 실시예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 문서의 실시예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제 1," "제 2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제 1 사용자 기기와 제 2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시예들을 배제하도록 해석될 수 없다.
본 문서의 다양한 실시예들에 따른 전자 장치(예: 제1 전자 장치(100) 및 제2 전자 장치(200))는, 예를 들면, 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다. 다양한 실시예에 따르면, 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형(예: implantable circuit) 중 적어도 하나를 포함할 수 있다.
어떤 실시예들에서, 전자 장치는 가전 제품(home appliance)일 수 있다. 가전 제품은, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), 홈 오토매이션 컨트롤 패널(home automation control panel), 보안 컨트롤 패널(security control panel), TV 박스(예: 삼성 HomeSync™, 애플TV™, 또는 구글 TV™), 게임 콘솔(예: Xbox™, PlayStation™), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션(navigation) 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller's machine), 상점의 POS(point of sales), 또는 사물 인터넷 장치(internet of things)(예: 전구, 각종 센서, 전기 또는 가스 미터기, 스프링클러 장치, 화재경보기, 온도조절기(thermostat), 가로등, 토스터(toaster), 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.
어떤 실시예에 따르면, 전자 장치는 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시예에서, 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 어떤 실시예에 따른 전자 장치는 플렉서블 전자 장치일 수 있다. 또한, 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 전자 장치를 포함할 수 있다.
이하, 첨부 도면을 참조하여, 다양한 실시예에 따른 전자 장치가 설명된다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 본 발명의 다양한 실시 예에 따른 현악기 연주 시스템의 구성을 나타내는 도면이다.
도 1을 참조하면, 현악기 연주 시스템은 제1 전자 장치(100), 제2 전자 장치(200), 제3 전자 장치(300) 및 서버(400)를 포함할 수 있다. 제1 전자 장치(100), 제2 전자 장치(200), 서버(300) 및 제3 전자 장치(300)는 네트워크로 연결되어 서로 통신할 수 있다. 예를 들어, 제1 전자 장치(100), 제2 전자 장치 및 제3 전자 장치(300)는 블루투스(bluetooth), NFC(near field communication), 지그비(zigbee) 등의 근거리 무선 통신기술로 연결될 수 있다. 다른 예를 들어, 서버(400)는 제2 전자 장치(200) 또는 제3 전자 장치(300)와 인터넷 망 또는 이동 통신망을 통해 연결될 수 있다.
본 발명의 다양한 실시 예에 따르면, 제1 전자 장치(100)는 사용자의 현악기 연주에 따라 발생하는 연주 데이터를 센싱할 수 있다. 현악기(10)는, 예를 들어, 활(bow)(20)을 사용하여 연주하는 현악기일 수 있다. 본 발명의 다양한 실시 예는, 활을 사용하여 연주하는 모든 현악기에 적용될 수 있으나 본 명세서에서는 설명의 편의를 위해 현악기(10)가 바이올린인 경우를 예를 들어 설명한다. 연주 데이터는, 예를 들어, 음높이, 음의 세기, 리듬, 활의 지판 방향 위치(longitudinal position), 활의 활방향 위치(lateral position), 활과 현의 상대 각도(tilt), 활의 지판 방향으로의 각도(skewness), 활의 현악기의 몸통 방향으로의 각도(inclination), 활이 접촉하고 있는 현의 종류, 사용자의 운지 위치, 활의 속도 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따르면, 제1 전자 장치(100)는 현악기(10)에 부착(또는, 체결) 가능한 구조로 구현될 수 있다. 일 실시 예에 따르면, 제1 전자 장치(100)는 연주 데이터를 제2 전자 장치(200)로 전송할 수 있다. 예를 들어, 제1 전자 장치(100)는 MIDI(music instrument digital interface) 또는 music XML(extensible markup language) 형태로 연주 데이터를 전송할 수 있다.
일 실시 예에 따르면, 제2 전자 장치(200)는 스마트폰, 태블릿 PC 등과 같은 휴대용 전자 장치 또는 스마트 워치, 스마트 글래스 등과 같은 웨어러블 전자 장치일 수 있다. 일 실시 예에 따르면, 제2 전자 장치(200)는 제1 전자 장치(100)로부터 사용자의 연주 데이터를 수신할 수 있다. 일 실시 예에 따르면, 제2 전자 장치(200)는 연주 데이터를 악보 데이터와 비교하여 사용자의 연주 결과(예: 정상적 연주하였는지 또는 연주에 에러가 발생하였는지)를 판단할 수 있다. 일 실시 예에 따르면, 제2 전자 장치(200)는 사용자의 연주 결과를 실시간으로 판단하여 사용자에게 연주 결과에 대응되는 피드백을 제공할 수 있다. 일 실시 예에 따르면, 제2 전자 장치(200)는 연주 결과에 기초하여 사용자의 연주 패턴(정상 연주 패턴 및 에러 패턴)을 판단할 수 있다. 예를 들어, 제2 전자 장치(200)는 패턴 분석 알고리즘을 이용하여 사용자의 연주 패턴을 분석할 수 있다. 일 실시 예에 따르면, 제2 전자 장치(200)는 사용자의 연주 패턴을 실시간으로 판단하여 사용자에게 에러 패턴과 관련된 실시간 피드백을 제공할 수 있다.
일 실시 에에 따르면, 제2 전자 장치(200)는 사용자의 연주 데이터, 연주 결과 및 연주 패턴을 서버(400)로 전송할 수 있다. 일 실시 예에 따르면, 제2 전자 장치(200)는 사용자의 정상 연주 패턴 및 에러 패턴에 대응되는 피드백을 제공할 수 있다.
일 실시 예에 따르면, 제3 전자 장치(300)는 스마트 워치, 스마트 글래스 등과 같은 웨어러블 전자 장치일 수 있다. 일 실시 예에 따르면, 제3 전자 장치(300)는 제2 전자 장치(200)로부터 사용자의 연주 결과, 연주 패턴 및 피드백을 수신하여 사용자에게 제공할 수 있다.
일 실시 예에 따르면, 서버(400)는 악보 데이터, 정상 연주 패턴 및 에러 패턴을 데이터 베이스 형태로 저장할 수 있다. 정상 연주 패턴 데이터 베이스는, 예를 들어, 악보 데이터로부터 각각의 음높이를 연주하기 위한 손가락 번호, 손가락 위치, 현 번호, 리듬, 각 손가락의 사용 횟수, 각 현의 연주 횟수, 활 연주 방향, 활 연주 속도, 운지 순서, 현 연주 순서, 활 연주 순서 손가락 주법(또는, 왼손 주법) 및 활 주법(또는, 오른손 주법) 등을 특정 단위(예: 마디 또는 마디의 배수 단위)로 분석하고, 유사한 연주 패턴별로 분류하여 생성될 수 있다. 일 실시 예에 따르면, 새로운 연주 패턴이 분석되면 서버(400)는 저장된 정상 연주 패턴 데이터 베이스를 업데이트 할 수 있다. 에러 패턴 데이터 베이스는, 예를 들어, 복수의 사용자에 의한 연주 데이터를 악보 데이터와 비교하여 연주 에러가 발생한 부분을 판단하고, 에러가 발생한 부분을 특정 단위(예: 마디 단위)로 분석하고, 유사한 에러 패턴별로 분류하여 생성될 수 있다. 일 실시 예에 따르면, 새로운 에러 패턴이 분석되면 서버(400)는 저장된 에러 패턴 데이터 베이스를 업데이트 할 수 있다.
일 실시 예에 따르면, 서버(400)는 제2 전자 장치(200)로부터 사용자의 연주 데이터, 연주 결과 및 정상 연주 패턴 및 에러 패턴 중 적어도 하나를 수신하여 저장할 수 있다. 서버(400)는 사용자별로 사용자의 연주 데이터, 연주 결과, 연주 패턴, 에러 패턴 및 에러 패턴의 발생 빈도를 저장할 수 있다. 일 실시 예에 따르면, 서버(400)는 제2 전자 장치(200)의 요청에 따라 사용자의 과거 연주 데이터 과거 연주 데이터에 기초한, 연주 결과, 정상 연주 패턴 및 에러 패턴 중 적어도 하나를 제2 전자 장치(200)로 전송할 수 있다.
도 2는 본 발명의 다양한 실시 예에 따른 제1 전자 장치의 구조를 나타내는 도면이다.
도 2의 (a)는 제1 전자 장치(100)의 상면도(top view)를 나타낸다. 도 2의 (a)를 참조하면 제1 전자 장치(100)는 몸체부(101) 및 체결부(103)를 포함할 수 있다. 일 실시 예에 따르면, 체결부(103)는 몸체부(101)의 양측 방향으로부터 연장될 수 있다. 일 실시 예에 따르면, 몸체부(101)는 상면에 이미지 센서(111)를 포함할 수 있다.
도 2의 (b)는 제1 전자 장치(100)의 정면도(front view)를 나타낸다. 도 2의 (b)를 참조하면 체결부(103)는 몸체부(101)의 양측 방향으로부터 연장될 수 있으며 말단에서 몸체부(101) 방향으로 굴곡된 형상을 가질 수 있다. 일 실시 예에 따르면, 몸체부(101)는 하면에 진동 감지 센서(113)를 포함할 수 있다. 제1 전자 장치(100)는 몸체부(101)의 하면이 현악기(10)와 마주보는 형태로 현악기(10)에 부착될 수 있으며, 이에 따라, 진동 감지 센서(113)는 현악기(10)에 직접적으로 접촉할 수 있다.
도 2의 (c)는 제1 전자 장치(100)가 현악기(10)에 부착된 상태에서의 사시도(perspective view)를 나타낸다. 도 2의 (c)를 참조하면, 몸체부(101)는 현악기(10)의 지판(finger board)(11) 및 브릿지(bridge)(13) 사이에 부착될 수 있다. 일 실시 예에 따르면, 제1 전자 장치(100)는 몸체부(101)의 일부가 현악기(10)의 지판(11) 및 앞판(top)(15) 사이에 부착될 수 있다. 일 실시 예에 따르면, 체결부(103)는 현악기(10)의 허리몸통(c-bout)(17)에 체결되어 제1 전자 장치(100)를 현악기(10)에 고정시킬 수 있다.
도 3은 본 발명의 다양한 실시 예에 따른 제1 전자 장치의 구조를 나타내는 도면이다.
도 3의 (a)는 제1 전자 장치(100)의 상면도(top vier)를 나타낸다. 도 3의 (a)를 참조하면 제1 전자 장치(100)는 일측면에 직선 형태의 슬릿(105)을 포함할 수 있다. 일 실시 예에 따르면, 슬릿(105)은 제1 전자 장치(100)의 일측면으로부터 반대 측면을 향하여 형성될 수 있다. 일 실시 예에 따르면, 몸체부(101)는 상면에 이미지 센서(111)를 포함할 수 있다.
도 3의 (b)는 제1 전자 장치(100)의 측면도(side view)를 나타낸다. 도 3의 (b)를 참조하면, 일 실시 예에 따르면, 제1 전자 장치(100)는 하면에 진동 감지 센서(113)를 포함할 수 있다. 제1 전자 장치(100)는 하면이 현악기(10)와 마주보는 형태로 현악기(10)에 부착될 수 있으며, 이에 따라, 진동 감지 센서(113)는 현악기(10)에 직접적으로 접촉할 수 있다.
도 3의 (c)는 제1 전자 장치(100)가 현악기(10)에 부착된 상태에서의 사시도(perspective view)를 나타낸다. 도 3의 (c)를 참조하면, 제1 전자 장치(100)는 현악기(10)의 브릿지(bridge)가 제1 전자 장치(100)의 슬릿(105)에 삽입된 형태로 현악기(10)에 부착될 수 있다.
도 4는 본 발명의 다양한 실시 예에 따른 제1 전자 장치의 구성을 나타내는 블럭도이다.
도 4를 참조하면 제1 전자 장치(100)는 센서 모듈(110), 통신 모듈(120), 오디오 모듈(130), 전력 관리 모듈(140), 배터리(150) 및 제어 모듈(160)을 포함할 수 있다.
일 실시 예에 따르면, 센서 모듈(110)은 현악기에 대한 활(bow)의 움직임 및 현악기에서 발생하는 진동을 감지할 수 있다. 다양한 실시 예에 따르면, 센서 모듈(110)은 이미지 센서(111), 진동 감지 센서(113), 금속 감지 센서(115), 자기장 센서(117), 관성 센서(inertia measurement unit)(118) 및 근접 센서(119)를 포함할 수 있다.
일 실시 예에 따르면, 이미지 센서(111)는 현악기(10)에 대한 활(bow)의 움직임을 감지할 수 있다. 일 실시 예에 따르면, 이미지 센서(111)는 제1 전자 장치(100)의 상면에 위치하여 현악기(10)의 지판(11)과 브릿지(13) 사이에 위치하는 활의 적외선 이미지를 센싱할 수 있다. 일 실시 예에 따르면, 이미지 센서(111)는 적외선 신호를 송출하고 활(20)(또는, 활털(hair))에 반사된 적외선 신호를 수신하여 적외선 이미지를 생성할 수 있다.
일 실시 예에 따르면, 이미지 센서(111)는 어레이 이미지 센서(또는, 이차원 이미지 센서)로 구현될 수 있다. 예를 들어, 이미지 센서(111)는 현악기(10)의 지판(11)과 브릿지(13) 사이의 이차원 영역을 센싱할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 이미지 센서의 구조 및 시야각을 나타내는 도면이다.
도 5의 (a)는 제1 전자 장치(100)가 현악기에 부착된 상태에서 제1 전자 장치의 측면 절단면을 나타낸다. 도 5의 (a)를 참조하면 이미지 센서(111)는 현악기의 지판(19) 및 브릿지(13) 사이에 위치하여 이미지 센서의 상측 방향으로 이차원 적외선 이미지를 생성할 수 있다. 일 실시 예에 따르면, 이미지 센서(111)는 송신 모듈(31), 수신 모듈(32) 및 적외선 필터(33)를 포함할 수 있다. 송신 모듈(31)은 적외선 신호를 송출할 수 있다. 예를 들어, 송신 모듈(31)은 적외선 신호를 발생시키는 LED(light emitting diode) 모듈을 포함할 수 있다. 일 실시 예에 따르면, 송신 모듈(31)은 이미지 센서(111)의 외측면에 위치할 수 있다. 수신 모듈(32)은 송신 모듈(31)에서 송출된 적외선 신호 중 활(20)(또는, 활털)에 반사된 적외선 신호를 수신할 수 있다. 일 실시 예에 따르면, 수신 모듈(32)은 이미지 센서(111)의 중심에 위치할 수 있다. 일 실시 예에 따르면, 수신 모듈(32)은 적외선 신호를 검출할 수 있는 광 다이오드(photo diode)를 포함할 수 있으며, 광 다이오드는 수신 모듈(32) 내에서 이차원적으로 배치될 수 있다. 일 실시 예에 따르면, 적외선 필터(33)는 수신 모듈(32)의 상측에 위치할 수 있으며 이미지 센서(111)에 입사되는 신호 중 적외선 신호만을 통과시키고 나머지 신호(예: 가시광선)를 필터링할 수 있다. 이에 따라, 수신 모듈(32)은 적외선 신호만을 수신할 수 있다.
도 5의 (b) 및 (c)는 각각 제1 전자 장치(100)의 측면 및 상면에서 바라본 이미지 센서(111)의 시야각을 나타낸다. 도 5의 (b) 및 (c)를 참조하면 이미지 센서(111)는 상측 방향으로 퍼져나가는 형태의 시야각을 가질 수 있다. 이에 따라, 이미지 센서는 지판(11) 및 브릿지(13) 사이의 현을 포함하는 영역을 센싱하여, 지판(11) 및 브릿지(13) 사이에서 현에 접촉되는 활의 움직임을 감지할 수 있다.
일 실시 예에 따르면, 이미지 센서(111)는 라인 이미지 센서로 구현될 수 있다. 예를 들어, 라인 이미지 센서는 현악기(10)의 현 방향으로의 라인을 센싱할 수 있다. 일 실시 예에 따르면, 라인 이미지 센서는 현악기(10)의 현 방향으로 복수(예: 두 개)의 라인을 센싱할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 이미지 센서의 구조 및 시야각을 나타내는 도면이다.
도 6의 (a)는 제1 전자 장치(100)가 현악기에 부착된 상태에서 제1 전자 장치의 상면도를 나타낸다. 도 6의 (a)를 참조하면 이미지 센서(111)는 현악기의 지판(19) 및 브릿지(13) 사이에 위치하여 이미지 센서의 상측 방향으로 일차원 적외선 이미지를 생성할 수 있다. 일 실시 예에 따르면, 이미지 센서(111)는 송신 모듈(34) 및 수신 모듈(35)을 포함할 수 있다. 송신 모듈(34)은 적외선 신호를 송출할 수 있다. 예를 들어, 송신 모듈(34)은 적외선 신호를 발생시키는 LED(light emitting diode) 모듈을 포함할 수 있다. 일 실시 예에 따르면, 송신 모듈(31)은 현(19) 방향의 라인 형태로 이미지 센서(111)의 중심에 위치할 수 있다. 수신 모듈(35)은 송신 모듈(34)에서 송출된 적외선 신호 중 활에 반사된 적외선 신호를 수신할 수 있다. 일 실시 예에 따르면, 수신 모듈(35)은 송신 모듈(34)의 좌우 측면에 위치할 수 있다. 일 실시 예에 따르면, 수신 모듈(35)은 적외선 신호를 검출할 수 있는 광 다이오드를 포함할 수 있으며, 광 다이오드는 수신 모듈(35) 내에서 현(19) 방향으로 일차원적으로 배치될 수 있다. 일 실시 예에 따르면, 수신 모듈(35)은 저역 통과 필터(low pass filter)를 포함할 수 있다. 수신 모듈(35)은 저역 통과 필터를 이용하여 광 다이오드에 의해 검출된 아날로그 신호에서 적외선 신호를 제외한 나머지 신호(예: 가시광선)를 필터링할 수 있다.
도 6의 (b)는 제1 전자 장치(100)의 정면에서 바라본 이미지 센서(111)의 시야각을 나타내는 도면이다. 도 6의 (b)를 참조하면 이미지 센서(111)는 상측 방향으로 퍼져나가는 형태의 시야각을 가질 수 있다. 이에 따라, 이미지 센서(111)는 현 방향으로의 두 개의 라인을 센싱하여, 지판(11) 및 브릿지(13) 사이에서 현에 접촉되는 활(20)의 움직임을 감지할 수 있다.
일 실시 예에 따르면, 센서 모듈(110)은 제1 전자 장치(110)의 측면 방향으로 적외선 이미지를 센싱하는 이미지 센서(111)를 포함할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 측면 이미지 센서의 시야각을 나타내는 도면이다.
도 7을 참조하면 측면 이미지 센서(111)는 수신 모듈(36)을 포함할 수 있다. 수신 모듈(36)은 활(20)의 활털걸이(frog)(23)에서 송출된 적외선 신호를 수신할 수 있다. 일 실시 예에 따르면, 활(20)은 적외선 신호를 송출하는 송신 모듈(23)을 포함할 수 있다. 일 실시 예에 따르면, 송신 모듈(41)은 활털걸이(23)에 위치할 수 있다. 일 실시 예에 따르면, 송신 모듈(41)은 적외선 신호를 발생시키는 적어도 하나의 LED(light emitting diode)(43)를 포함할 수 있다. 예를 들어, 송신 모듈(41)은 활털 걸이(23)에서 세로 방향으로 배치된 두 개의 LED(43)를 포함할 수 있다. 일 실시 예에 따르면, 수신 모듈(36)은 적외선 신호를 검출할 수 있는 광 다이오드를 포함할 수 있으며, 광 다이오드는 수신 모듈(36) 내에서 이차원적으로 배치될 수 있다. 도 7에 도시되어 있지는 않으나 측면 방향의 이미지 센서(111)는 적외선 필터를 포함할 수 있다. 적외선 필터는 이미지 센서(111)에 입사되는 신호 중 적외선 신호만을 통과시키고 나머지 신호(예: 가시광선)를 필터링할 수 있다. 이에 따라, 수신 모듈(36)은 적외선 신호만을 수신할 수 있다.
일 실시 예에 따르면, 측면 이미지 센서(111)는 적외선 신호를 송출하는 송신 모듈을 포함할 수 있다. 측면 이미지 센서(111)가 송신 모듈을 포함하는 경우 활털걸이(23)에 위치하는 LED(43)는 적외선 신호를 반사시키는 반사판으로 구현될 수 있다. 이에 따라, 수신 모듈(36)은 송신 모듈에서 송출된 적외선 신호 중 활털걸이(23)에 위치한 반사판에 의해 반사된 적외선 신호를 수신할 수 있다. 활털걸이(23)에 반사판이 부착된 경우 활의 무게 배분 및 활의 전체적인 무게 변화가 거의 발생하지 않는다는 장점이 있으나, LED(43)를 부착한 경우에 비해 제1 전자 장치(100)에서 송출하는 신호량이 증가하여 제1 전자 장치(100)의 소모 전력이 증가할 수 있다.
진동 감지 센서(113)는 현악기(10)에서 발생하는 진동(또는, 소리)을 감지할 수 있다. 예를 들어, 진동 감지 센서(113)는 피에조(piezo) 센서를 포함할 수 있다. 진동 감지 센서는 현악기(10)에서 발생하는 진동을 감지하여 전기적 신호로 변환할 수 있다.
금속 감지 센서(115)는 제1 전자 장치(100) 주변에 위치하는 금속을 감지할 수 있다. 일 실시 예에 따르면, 금속 감지 센서(115)는 활대에 부착된 금속(예: 알루미늄)의 움직임을 감지할 수 있다. 예를 들어, 금속 감지 센서(115)에 포함된 코일은 활대에 부착된 금속의 움직임에 의해 임피던스 변화를 발생시킬 수 있으며, 금속 감지 센서(115)는 코일의 임피던스 변화를 감지할 수 있다. 일 실시 예에 따르면, 금속 감지 센서(115)는 지정된 간격만큼 떨어진 복수(예: 두 개)의 영역을 센싱할 수 있다. 일 실시 예에 따르면, 센서 모듈(110)은 복수의 금속 감지 센서(115)를 포함할 수 있다. 복수의 금속 감지 센서(115)는 지정된 간격만큼 떨어져서 각각 상이한 영역을 센싱할 수 있다. 일 실시 예에 따르면, 금속 감지 센서(115)는 지정된 간격만큼 떨어져서 각각 상이한 영역을 센싱할 수 있는 복수의 코일을 포함할 수 있다.
자기장 센서(117)는 제1 전자 장치(100) 주변의 자기장의 변화를 감지할 수 있다. 일 실시 예에 따르면, 자기장 센서(117)는 활대에 부착된 자석의 움직임에 의한 자기장 변화를 감지할 수 있다.
관성 센서(118)는 현악기(10)의 움직임을 감지할 수 있다. 일 실시 예에 따르면, 관성 센서(118)는 가속도 센서 및 자이로 센서를 포함할 수 있다. 가속도 센서는 현악기(10)의 가속도를 센싱할 수 있다. 예를 들어, 가속도 센서는 현악기(10)의 가속도를 센싱하여 3 축(예: x, y 및 z 축) 방향의 현악기(10)의 가속도 값을 출력할 수 있다. 자이로 센서는 현악기(10)의 회전 각속도를 센싱할 수 있다. 예를 들어, 자이로 센서는 현악기(10)의 각속도를 센싱하여 3축(예: x, y 및 z 축) 방향으로 현악기(10)의 각속도를 출력할 수 있다.
근접 센서(119)는 특정 거리 내에 물체가 접근하였는지 판단할 수 있다. 에를 들어, 근접 센서(119)는 현악기(10)의 지판(11) 및 브릿지(13) 사이 영역을 센싱하여 활(20)이 현에 접촉하였는지 여부를 판단할 수 있다.
통신 모듈(120)은 제2 전자 장치(200)와 통신할 수 있다. 예를 들어, 통신 모듈(120)은 블루투스, NFC 또는 지그비 등의 근거리 무선 통신기술을 이용하여 제2 전자 장치(200)와 통신할 수 있다. 일 실시 예에 따르면, 통신 모듈(120)은 제2 전자 장치(200)로 연주 데이터를 전송할 수 있다. 일 실시 예에 따르면, 통신 모듈(120)은 활(20)에 관성 센서가 부착되어 있는 경우 활에 부착된 전자 장치로부터 활(20)의 움직임에 대한 정보를 수신할 수 있다.
오디오 모듈(130)은, 예를 들면, 오디오 신호를 생성할 수 있다. 일 실시 예에 따르면, 오디오 모듈(130)은 진동 감지 센서(113)에 의해 감지된 현악기(10)의 진동을 이용하여 오디오 신호를 생성할 수 있다. 오디오 모듈(130)은 스피커 또는 이어폰(또는, 헤드폰)을 연결할 수 있는 오디오 인터페이스를 통해 오디오 신호를 출력할 수 있다. 일 실시 예에 따르면, 오디오 모듈(130)은 리벌브, 딜레이, 이퀄라이저 연산을 통해 오디오 신호에 음향 효과(예: 음장감, 디스토션(distortion) 등)를 부여할 수 있다.
전력 관리 모듈(140)은 제1 전자 장치(100)의 전력을 관리할 수 있다. 예를 들어, 전력 관리 모듈(140)은 배터리(150)를 이용하여 제1 전자 장치(100)의 구성요소에 전력을 공급하거나 차단할 수 있다. 일 실시 예에 따르면, 전력 관리 모듈(140)은 PMIC(power management integrated circuit)을 포함할 수 있다. 일 실시 예에 따르면, 전력 관리 모듈(140)은 배터리(150)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 일 실시 예에 따르면, 배터리(150)는, 예를 들면, 충전식 전지(rechargeable battery) 및/또는 태양 전지(solar battery)를 포함할 수 있다. 일 실시 예에 따르면, 전력 관리 모듈(140)은 이미지 센서(111)에 의해 측정되는 광량이 지정된 기준 미만인 경우에는 센서 모듈(110)에 공급되는 전력을 차단할 수 있다.
일 실시 예에 따르면, 제어 모듈(160)은 센서 모듈(110)에서 감지되는 활의 움직임 및 현악기의 진동을 분석하여 연주 데이터를 생성할 수 있다. 연주 데이터는, 예를 들어, 음높이, 음의 세기, 리듬, 활의 지판 방향 위치(longitudinal position), 활의 활방향 위치(lateral position), 활과 현의 상대 각도(tilt), 활의 지판 방향으로의 각도(skewness), 활의 현악기의 몸통 방향으로의 각도(inclination), 활이 접촉하고 있는 현의 종류, 사용자의 운지 위치, 활의 속도 중 적어도 하나를 포함할 수 있다.
도 8은 활의 위치 및 자세를 결정하는 요소를 나타내는 도면이다.
도 8을 참조하면, 사용자가 현악기를 연주할 때 현에 대한 활의 지판 방향 위치(longitudinal position), 활의 활방향 위치(lateral position), 활과 현의 상대 각도(tilt), 활의 지판 방향으로의 각도(skewness), 활의 현악기의 몸통 방향으로의 각도(inclination)에 의해 활의 위치 및 자세가 결정될 수 있다.
일 실시 예에 따르면, 제어 모듈(160)은 이미지 센서(111)의 센싱값을 이용하여 활의 지판 방향 위치(longitudinal position), 활의 지판 방향으로의 각도(skewness), 활의 현악기 몸통 방향으로의 각도(inclination) 및 활의 속도를 판단할 수 있다. 일 실시 예에 따르면, 제어 모듈(160)은 이미지 센서(111)의 적외선 이미지를 이진화하고 이진화된 이미지를 이용하여 상술한 요소들을 판단할 수 있다.
도 9는 이미지 센서에 의해 생성된 적외선 이미지의 예를 나타내는 도면이다.
일 실시 예에 따르면, 제어 모듈(160)은 어레이 이미지 센서의 적외선 이미지를 이용하여 지판 방향 위치(longitudinal position)를 판단할 수 있다. 도 9의 (a) 및 (b)를 참조하면, 활에 반사된 영역은 적외선 이미지에서 밝은색으로 나타날 수 있으며, 활에 반사되지 않은 영역은 적외선 이미지에서 어두운 색으로 나타날 수 있다. 적외선 이미지를 수평 방향(또는, 현의 수직 방향)으로 프로젝션시키면 우측과 같이 밝은색 픽셀의 분포를 나타내는 그래프(51, 52)를 얻을 수 있다. 그래프(51, 52)의 x축은 지판 방향의 위치를 나타내며, y축은 특정 위치에서의 밝은색 픽셀의 누적값을 나타낸다. 일 실시 예에 따르면, 제어 모듈(160)은 그래프(51, 52)에서 밝은색 픽셀의 누적값이 최대값인 지점을 활의 지판 방향 위치로 판단할 수 있다. 다른 예를 들어, 제어 모듈(160)은 밝은색 픽셀의 평균값에 해당하는 지점을 활의 지판 방향 위치로 판단할 수 있다.
일 실시 예에 따르면, 제어 모듈(160)은 지판 및 브릿지의 중간 지점을 기준으로 활의 지판 방향 위치를 나타낼 수 있다. 일 실시 예에 따르면, 활의 지판 방향 위치는 활이 지판에 가까운 경우에는 +값을 가질 수 있으며, 활이 브릿지에 가까운 경우에는 -값을 가질 수 있다. 도 9의 (a)와 같이 활이 지판 방향으로 치우친 경우 제어 모듈(160)은 활의 지판 방향 위치를 +10mm 로 판단할 수 있다. 도 9의 (b)와 같이 활이 지판 및 브릿지의 중간에 위치하는 경우 제어 모듈(160)은 활의 지판 방향 위치를 0으로 판단할 수 있다.
도 10은 이미지 센서에 의해 생성된 적외선 이미지의 예를 나타내는 도면이다.
일 실시 예에 따르면, 제어 모듈(160)은 어레이 이미지 센서의 적외선 이미지를 이용하여 활의 지판 방향으로의 각도(skewness)를 판단할 수 있다. 일 실시 예에 따르면, 제어 모듈(160)은 현의 수직 방향과 활이 이루는 각도를 활의 지판 방향으로의 각도로 판단할 수 있다. 일 실시 예에 따르면, 제어 모듈(160)은 현의 수직 방향(x축)으로의 활의 중심 위치(55, 57)를 판단할 수 있다. 일 실시 예에 따르면, 제어 모듈(160)은 활의 중심 위치의 기울기 각도를 활의 지판 방향으로의 각도로 판단할 수 있다. 도 10의 (a)와 같이 현의 수직 방향으로의 활의 중심 위치(55)가 동일한 경우, 제어 모듈(160)은 활의 지판 방향으로의 각도를 0˚로 판단할 수 있다. 도 10의 (b)와 같이 활의 중심 위치(57)가 4번 현에서 1번 현으로 갈수록 높아지는 경우, 제어 모듈(160)은 활의 지판 방향으로의 각도를 +10˚로 판단할 수 있다.
도 11은 이미지 센서에 의해 생성된 적외선 이미지의 예를 나타내는 도면이다.
일 실시 예에 따르면, 제어 모듈(160)은 어레이 이미지 센서의 적외선 이미지를 이용하여 활의 현악기 몸통 방향으로의 각도(inclination)를 판단할 수 있다. 도 11의 (a) 내지 (d)를 참조하면, 활에 반사된 영역은 적외선 이미지에서 밝은색으로 나타날 수 있으며, 활에 반사되지 않은 영역은 적외선 이미지에서 어두운 색으로 나타날 수 있다. 일 실시 예에 따르면, 현의 수직 방향으로 적외선 이미지에 나타나는 활의 두께가 달라질 수 있다. 예를 들어, 활이 동일한 두께를 가지더라도, 원근감에 따라, 이미지 센서(111)와 가까운 부분은 두껍게 나타낼 수 있으며 이미지 센서(111)에서 멀어질수록 두께가 얇아질 수 있다. 적외선 이미지를 수직 방향(또는, 현의 수평 방향)으로 프로젝션시키면 적외선 이미지의 하측과 같이 밝은색 픽셀의 분포를 나타내는 그래프(61, 63, 65, 67)를 얻을 수 있다. 그래프(61, 63, 65, 67)의 x축은 현의 수평 방향의 위치를 나타내며, y축은 특정 위치에서의 밝은색 픽셀의 누적값을 나타낸다. 일 실시 예에 따르면, 제어 모듈(160)은 그래프(61, 63, 65, 67)를 이용하여 밝은색 픽셀의 누적값의 기울기를 판단할 수 있다. 제어 모듈(160)은 기울기값에 기초하여 활의 현악기 몸통 방향으로의 각도(inclination)를 판단할 수 있다.
일 실시 예에 따르면, 제어 모듈(160)은 어레이 이미지 센서의 적외선 이미지를 이용하여 활의 활방향 위치(lateral position)를 판단할 수 있다. 예를 들어, 제어 모듈(160)은 적외선 이미지에 포함된 활털의 패턴을 이용하여 활의 활방향 위치 및 활의 속도(방향 및 속력)를 판단할 수 있다.
도 12는 본 발명의 다양한 실시 예에 따른 활털의 패턴을 나타내는 도면이다.
활털(21)의 패턴은 활털(21)의 기본 색(예: 흰색)과 대비되는 색(예: 검은색)으로 활털(21)의 일부를 염색하여 형성될 수 있다. 도 12의 (a)를 참조하면 활에 포함된 활털(21)은 활 방향으로 두 개의 라인(71, 72)으로 분리될 수 있다. 두 개의 라인(71, 72)은 각각 상이한 패턴을 가질 수 있다. 예를 들어, 제1 라인(71)은 이등분되어 한쪽이 검은색으로 염색될 수 있다. 제2 라인(72)은 사등분되어 검은색과 흰색이 반복되도록 패턴이 형성될 수 있다. 도 14의 (b)를 참조하면 활에 포함된 활털(21)은 활 방향으로 세 개의 라인(73, 74, 75)으로 분리될 수 있다. 세 개의 라인(73, 74, 75)은 각각 상이한 패턴을 가질 수 있다. 예를 들어, 제1 라인(73)은 이등분되어 한쪽이 검은색으로 염색될 수 있다. 제2 라인(74)은 사등분되어 검은색과 흰색이 반복되도록 패턴이 형성될 수 있다. 제3 라인(75)은 팔등분 되어 검은색과 흰색이 반복되도록 패턴이 형성될 수 있다.
일 실시 예에 따르면, 제어 모듈(160)은 활털(21)에 포함된 복수의 라인의 패턴을 분석하여 활의 활방향 위치(lateral position)를 인식할 수 있다. 일 실시 예에 따르면, 활털(21)에 포함된 라인의 수가 증가할수록 활의 활방향 위치(lateral position)의 정확도가 향상될 수 있다. 일 실시 예에 따르면, 제어 모듈(160)은 활털(21)에 포함된 복수의 라인의 패턴 변화를 분석하여 활(20)이 헤드방향으로 움직이는지 또는 활털걸이 방향으로 움직이는지 여부를 판단할 수 있다. 일 실시 예에 따르면, 제어 모듈(160)은 활털(21)에 포함된 복수의 라인의 패턴 변화 속도를 이용하여 활이 움직이는 속력을 판단할 수 있다.
도 13은 이미지 센서에 의해 생성된 적외선 이미지의 예를 나타내는 도면이다.
일 실시 예에 따르면, 제어 모듈(160)은 라인 이미지 센서의 적외선 이미지를 이용하여 활의 현악기 활의 지판 방향으로의 각도(skewness) 및 활의 몸통 방향으로의 각도(inclination)를 판단할 수 있다. 라인 이미지 센서로부터 생성되는 적외선 이미지는 예를 들어, 도 13의 (a) 내지 (d)와 같이 현의 수평 방향으로 두 개의 라인을 포함할 수 있다.
도 13의 (a) 및 (b)를 참조하면, 활에 반사된 영역은 적외선 이미지에서 밝은색으로 나타날 수 있으며, 활에 반사되지 않은 영역은 적외선 이미지에서 어두운 색으로 나타날 수 있다. 제어 모듈(160)은 두 개의 라인 각각에 대해 밝은색 픽셀의 중심 위치를 판단할 수 있다. 제어 모듈(160)은 두 개의 라인 센서 간의 거리 및 두 개의 중심 위치 간의 거리를 이용하여 활의 지판 방향으로의 각도를 판단할 수 있다. 예를 들어, 제어 모듈(160)은 도 13의 (a)에 도시된 이미지에 대해 활의 지판 방향으로의 각도를 +10˚로 판단하고, 도 13의 (b)에 도시된 이미지에 대해 활의 지판 방향으로의 각도를 -10˚로 판단할 수 있다.
도 13의 (c) 및 (d)를 참조하면, 이미지 센서(111)와 활의 거리에 따라 활에 이미지 센서에 수신되는 적외선 신호의 광량이 달라질 수 있다. 즉, 활(20)이 이미지 센서(111)와 가까우면 적외선 이미지상에서 밝게 표시될 수 있으며 이미지 센서(111)에서 멀어질수록 어둡게 표시될 수 있다. 예를 들어, 활의 활털걸이(frog)부분 보다 헤드(head) 부분이 이미지 센서(111)에 근접한 경우, 도 13의 (c)와 같이 좌측 이미지 센서에 포함된 활은 밝게 표시되며 우측 이미지 센서에 표시된 활은 어둡게 표시될 수 있다. 다른 예를 들어, 활의 활털걸이(frog) 부분이 헤드(head) 부분보다 이미지 센서(111)에 근접한 경우, 도 13의 (d)와 같이 우측 이미지 센서에 포함된 활은 밝게 표시되며 좌측 이미지 센서에 표시된 활은 어둡게 표시될 수 있다. 일 실시 예에 따르면, 제어 모듈(160)은 라인 이미지 센서에 포함된 픽셀의 밝기(또는, 밝기 차이)를 이용하여 활의 몸통 방향으로의 각도(inclination)를 판단할 수 있다.
도 14는 이미지 센서에 의해 생성된 적외선 이미지의 예를 나타내는 도면이다.
일 실시 예에 따르면, 제어 모듈(160)은 측면 이미지 센서의 적외선 이미지를 이용하여 활의 현악기 활의 지판 방향으로의 각도(skewness), 활의 몸통 방향으로의 각도(inclination) 및 활의 활방향 위치(lateral position)를 판단할 수 있다. 측면 이미지 센서로부터 생성되는 적외선 이미지는 예를 들어, 도 14의 (a) 내지 (f)와 같이 이차원 이미지 내에 복수(예: 두 개)의 포인트를 포함할 수 있다. 복수의 포인트는 도 8을 참조하여 설명한 바와 같이 활털걸이(21)에 부착된 적외선 송신 모듈로부터 수신되는 적외선 신호 또는 활털걸이(21)에 부착된 반사판에 의해 반사된 적외선 신호일 수 있다.
일 실시 예에 따르면, 제어 모듈(160)은 적외선 이미지에 포함된 복수의 포인트 간의 거리 또는 복수의 포인트의 크기를 이용하여 활의 활방향 위치를 판단할 수 있다. 예를 들어, 제어 모듈(160)은 도 14의 (a)와 같이 두 개의 포인트 간의 거리가 멀거나 또는 포인트의 크기가 크면 활(20)이 현악기(10)에 근접하였다고 판단할 수 있으며, 도 14의 (b)와 같이 두 개의 포인트 간의 거리가 가깝거나 또는 포인트의 크기가 작으면 활이 상대적으로 멀리 있다고 판단할 수 있다.
일 실시 예에 따르면, 제어 모듈(160)은 적외선 이미지에 포함된 복수의 포인트의 가로 방향 위치를 이용하여 활의 지판 방향으로의 각도(skewness)를 판단할 수 있다. 예를 들어, 제어 모듈(160)은 활의 지판 방향 위치(longitudinal position) 및 활의 활방향 위치(lateral position)가 결정된 상태에서 적외선 포인트의 가로 방향 위치를 이용하여 활의 지판 방향으로의 각도(skewness)를 판단할 수 있다. 예를 들어, 제어 모듈(160)은 도 14의 (c)에 도시된 이미지에 대해 활의 지판 방향으로의 각도를 +10˚로 판단하고, 도 14의 (d)에 도시된 이미지에 대해 활의 지판 방향으로의 각도를 -10˚로 판단할 수 있다.
일 실시 예에 따르면, 제어 모듈(160)은 적외선 이미지에 포함된 복수의 포인트의 세로 방향 위치를 이용하여 활의 몸통 방향으로의 각도(inclination)를 판단할 수 있다. 예를 들어, 제어 모듈(160)은 활(20)이 현에 접촉되어 있으며, 활의 활방향 위치(lateral position)가 결정된 상태에서 적외선 포인트의 세로 방향 위치를 이용하여 활의 몸통 방향으로의 각도(inclination)를 판단할 수 있다. 활(20)이 현에 접촉되어 있는지 여부는 근접 센서(119)를 이용하여 판단할 수 있다. 예를 들어, 제어 모듈(160)은 도 14의 (e)에 도시된 이미지에 대해 활의 지판 방향으로의 각도를 +10˚로 판단하고, 도 14의 (f)에 도시된 이미지에 대해 활의 지판 방향으로의 각도를 -10˚로 판단할 수 있다.
일 실시 예에 따르면, 제어 모듈(160)은 적외선 이미지에 포함된 복수의 포인트의 기울기를 이용하여 활과 현의 상대 각도(tilt)를 판단할 수 있다. 예를 들어, 제어 모듈(160)은 도 14의 (a) 내지 (e)와 같이 복수의 포인트가 이루는 기울기가 무한대인 경우(즉, 모든 활털이 현에 접촉한 경우) 활과 현의 상대 각도가 0˚라고 판단할 수 있다. 제어 모듈(160)은 도 14의 (g)와 같이 복수의 포인트가 이루는 기울기가 음수인 경우 활(20)이 오른쪽 방향으로 기울였다고 판단하고, 활과 현의 상대 각도를 +20˚라고 판단할 수 있다. 제어 모듈(160)은 도 14의 (g)와 같이 복수의 포인트가 이루는 기울기가 양수인 경우 활(20)이 왼쪽 방향으로 기울었다고 판단하고, 활과 현의 상대 각도를 -20˚라고 판단할 수 있다.
일 실시 예에 따르면, 제어 모듈(160)은 금속 감지 센서(115)의 센싱값을 이용하여 활의 속도(방향 및 속력)를 판단할 수 있다.
도 15는 활에 부착된 금속의 부착 패턴을 나타내는 도면이다.
도 15를 참조하면 활(20)은 특정 패턴을 가지는 금속(71)을 포함할 수 있다. 일 실시 예에 따르면, 금속(71)은 활대(stick)(25)에 부착될 수 있다. 일 실시 예에 따르면, 금속(71)은 주기적인 패턴을 가지도록 부착될 수 있다. 예를 들어, 금속(71)은 활대(25)를 따라 금속 물질(71)이 부착된 영역과 금속 물질(71)이 부착되지 않은 영역이 주기적으로 반복되는 패턴을 가지도록 부착될 수 있다. 일 실시 예에 따르면, 금속 물질(71)이 부착된 영역 및 금속 물질(71)이 부착되지 않은 영역의 길이는 금속 감지 센서(115)가 센싱할 수 있는 복수(예: 두 개)의 영역 간의 간격과 상이하게 설정될 수 있다. 일 실시 예에 따르면, 제어 모듈(160)은 금속 감지 센서(115)가 센싱할 수 있는 복수의 영역의 금속 감지 여부를 이용하여 활(20)이 헤드방향으로 움직이는지 또는 활털걸이 방향으로 움직이는지 여부를 판단할 수 있다. 일 실시 예에 따르면, 제어 모듈(160)은 금속 감지 센서(115) 의 금속 감지 주기를 이용하여 활이 움직이는 속력을 판단할 수 있다.
일 실시 예에 따르면, 제어 모듈(160)은 자기장 센서(117)의 센싱값을 이용하여 활의 활방향 위치(lateral position) 및 활의 속도(방향 및 속력)를 판단할 수 있다.
도 16은 활에 부착된 자석의 부착 위치를 나타내는 도면이다.
도 16을 참조하면 활(20)은 적어도 하나의 자석(73)을 포함할 수 있다. 일 실시 예에 따르면, 자석(73)은 활대(stick)(25)에 부착될 수 있다. 일 실시 예에 따르면, 자석(73)의 개수에 따라 자석(73)이 부착되는 위치가 결정될 수 있다. 예를 들어, 활대(25)에 부착된 자석(73)이 세 개인 경우, 세 개의 자석은 각각 전체 활길이를 사등분하는 위치에 부착될 수 있다. 일 실시 예에 따르면, 활대(25)에 부착된 적어도 하나의 자석(73)은 자기장의 방향이 상이하도록 배치될 수 있다. 예를 들어, 활대(25)에 부착된 자석(73)이 세 개인 경우, 세 개의 자석의 N극 방향이 각각 x축, y축 및 z축을 향하도록 배치될 수 있다. 세 개의 자석에 의해 형성되는 자기장은 활대(25)의 위치에 따라 상이하게 측정될 수 있으며, 제어 모듈(160)은 자기장 센서(117)에 의해 감지되는 자기장을 분석하여 활의 활방향 위치(lateral position)를 판단할 수 있다. 일 실시 예에 따르면, 제어 모듈(160)은 자기장 센서(117)에 의해 센싱되는 자기장의 변화를 이용하여 활(20)이 헤드방향으로 움직이는지 또는 활털걸이 방향으로 움직이는지 여부를 판단할 수 있다. 일 실시 예에 따르면, 제어 모듈(160)은 자기장 센서(117)에 의해 센싱되는 자기장의 변화 속도를 이용하여 활이 움직이는 속력을 판단할 수 있다.
일 실시 예에 따르면, 제어 모듈(160)은 관성 센서(inertia measurement unit)(118)에 의해 감지된 현악기(10)의 움직임 및 활(20)에 부착된 관성 센서에 의해 감지된 활의 움직임을 이용하여 활의 지판 방향 위치(longitudinal position), 활의 활방향 위치(lateral position), 활과 현의 상대 각도(tilt), 활의 지판 방향으로의 각도(skewness), 활의 현악기의 몸통 방향으로의 각도(inclination) 및 활의 속도를 판단할 수 있다.
일 실시 예에 따르면, 제어 모듈(160)은 활의 현악기 몸통 방향으로의 각도(inclination)를 이용하여 활이 접촉하는 현을 판단할 수 있다. 예를 들어, 제어 모듈(160)은 활의 현악기 몸통 방향으로의 각도가 제1 범위에 속하면 활이 1번 현에 접촉하고 있다고 판단하고, 제2 범위에 속하면 2번 현에 접촉하고 있다고 판단하고, 제3 범위에 속하면 3번 현에 접촉하고 있다고 판단하고, 제4 범위에 속하면 4번 현에 접촉하고 있다고 판단할 수 있다.
일 실시 예에 따르면, 제어 모듈(160)은 진동 감지 센서(113)에 의해 감지된 진동을 분석하여 음높이(pitch), 음의 세기, 리듬을 판단할 수 있다. 예를 들어, 음높이는 진동의 주파수에 의해 판단될 수 있으며, 음의 세기는 진동의 진폭에 의해 판단될 수 있으며, 리듬은 진동이 감지되는 타이밍에 의해 판단될 수 있다.
일 실시 예에 따르면, 제어 모듈(160)은 활이 접촉하는 현에 대한 정보를 이용하여 음높이 판단의 신뢰도를 향상시킬 수 있다. 예를 들어, 진동 감지 센서(113)에 의해 감지된 진동은 복합음으로서 복수의 부분음을 가질 수 있다. 진동은 기본음 및 기본음의 정수배의 주파수를 가지는 배음을 포함할 수 있다. 진동 감지 센서(113)에 의해 감지되는 진동을 시간 영역에서 주파수 영역으로 변환하면 기본음에 해당하는 주파수의 세기(또는, 레벨)가 가장 강하게 나타날 수 있다. 이에 따라, 가장 강한 세기를 가지는 주파수를 진동의 음높이로 판단할 수 있다. 다만, 배음의 세기가 기본음보다 높게 나타나는 경우에는 배음을 기본음으로 판단하는 옥타브 에러가 발생할 수 있다. 일 실시 예에 따르면, 제어 모듈(160)은 진동에 의해 판단된 음높이가 활이 접촉하는 현에서 발생할 수 있는 음높이인지 판단할 수 있다. 즉, 제어 모듈(160)은 진동에 포함된 복수의 주파수 성분 중 활이 접촉하는 현에서 발생할 수 있는 주파수 성분을 이용하여 음높이를 판단할 수 있다. 이에 따라, 음높이 판단 과정에서 발생할 수 있는 옥타브 에러를 방지할 수 있다.
일 실시 예에 따르면, 제어 모듈(160)은 음높이를 감지하기 위해 진동 감지 센서(113)에 의해 감지되는 진동을 시간 영역에서 주파수 영역으로 변환할 때 윈도우 함수를 적용할 수 있다. 예를 들어, 진동 감지 센서(113)에 의해 감지되는 진동의 음높이를 판단하기 위해 필요한 일정 시간 동안의 진동 신호만을 필터링하여 주파수 영역으로 변환할 수 있다. 일 실시 예에 따르면, 제어 모듈(160)은 활이 접촉하는 현의 종류에 따라 윈도우 함수의 시간 축 크기를 상이하게 설정할 수 있다. 일 실시 예에 따르면, 제어 모듈(160)은 고음에 해당하는 현(예: 1번 현)으로 갈수록 윈도우 함수의 시간 축 크기를 작게 설정하고, 저음에 해당하는 현(예: 4번 현)으로 갈수록 윈도우 함수의 시간 축 크기를 크게 설정할 수 있다. 이에 따라, 음높이를 판단하기 위해 걸리는 시간 및 데이터 처리량을 감소시킬 수 있다.
일 실시 예에 따르면, 제어 모듈(160)은 음높이 및 활이 접촉하는 현에 기초하여 사용자의 운지 위치를 판단할 수 있다. 현악기의 특성상 사용자의 운지 위치에 따라 상이한 현에서 동일한 음높이가 발생할 수 있다. 따라서, 음높이만으로 사용자의 운지 위치를 판단하는 경우에는 정확한 운지 위치를 판단하는 것이 불가능할 수 있다. 일 실시 예에 따르면, 제어 모듈(160)은 음높이에 대응되는 복수의 운지 위치 중 활이 접촉하는 현의 운지 위치를 사용자의 운지 위치로 판단할 수 있다. 예를 들어, 제어 모듈(160)에 의해 판단된 음높이가 1번 현 및 2번 현에서 발생될 수 있으며, 활이 접촉하는 현은 1번 현인 경우 제어 모듈(160)은 1번 현에서 해당 음높이에 대응되는 위치를 사용자의 운지 위치로 판단할 수 있다. 즉, 제어 모듈(160)은 활이 접촉하는 현에서 음높이가 발생될 수 있는 위치를 사용자의 운지 위치로 판단할 수 있다. 이에 따라, 동일한 음높이를 가지는 복수의 운지 위치가 존재하는 경우에도 사용자의 운지 위치를 정확하게 판단할 수 있다.
도 17은 본 발명의 다양한 실시 예에 따른 제2 전자 장치의 구성을 나타내는 블럭도이다.
도 17을 참조하면 제2 전자 장치(200)는 통신 모듈(210), 입력 모듈(220), 메모리(230), 제어 모듈(240), 디스플레이(250) 및 오디오 모듈(260)을 포함할 수 있다.
통신 모듈(210)은 제1 전자 장치(200), 제3 전자 장치(300) 및 서버(400)와 통신할 수 있다. 통신 모듈(210)은, 예를 들어, 블루투스, NFC 또는 지그비 등의 근거리 무선 통신기술을 이용하여 제1 전자 장치(200) 및 제3 전자 장치(300)와 통신할 수 있다. 통신 모듈(210)은, 예를 들어, 인터넷 망 또는 이동 통신망을 통해 서버(400)와 통신할 수 있다.
일 실시 예에 따르면, 통신 모듈(210)은 제1 전자 장치(200)로부터 사용자의 연주 데이터를 수신할 수 있다. 연주 데이터는, 예를 들어, 음높이, 음의 세기, 리듬, 활의 지판 방향 위치(longitudinal position), 활의 활방향 위치(lateral position), 활과 현의 상대 각도(tilt), 활의 지판 방향으로의 각도(skewness), 활의 현악기의 몸통 방향으로의 각도(inclination), 활이 접촉하고 있는 현의 종류, 사용자의 운지 위치, 활의 속도 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 통신 모듈(210)은 서버(400)로 사용자의 연주 데이터, 연주 결과 및 정상 연주 패턴, 에러 패턴, 에러 패턴의 발생 빈도를 전송할 수 있다.
입력 모듈(220)은 사용자 조작을 입력받을 수 있다. 일 실시 예에 따르면, 입력 모듈(220)은 사용자의 터치 조작을 센싱하는 터치 센서 패널, 사용자의 펜 조작을 센싱하는 펜 센서 패널, 사용자의 움직임을 인식하는 제스처 센서(또는, 모션 인식 센서) 또는 사용자의 음성을 인식하는 음성 인식 센서를 포함할 수 있다.
일 실시 예에 따르면, 메모리(230)는 통신 모듈(210)로부터 수신되는 사용자의 연주 데이터를 저장할 수 있다. 일 실시 예에 따르면, 메모리(230)는 연주 결과 판단 모듈(261)에 의해 판단된 사용자의 연주 결과를 저장할 수 있다. 일 실시 예에 따르면, 메모리(230)는 패턴 분석 알고리즘을 저장할 수 있다. 일 실시 예에 따르면, 메모리(230)는 패턴 분석 알고리즘에 의해 판단된 사용자의 연주 패턴을 저장할 수 있다. 일 실시 예에 따르면, 메모리(230)는 악보 데이터를 저장할 수 있다.
제어 모듈(240)은 제2 전자 장치(200)의 전반적인 동작을 제어할 수 있다. 예를 들면, 제어 모듈(240)은 운영 체제 또는 응용 프로그램(예: 현악기 레슨 어플리케이션)을 구동하여 제어 모듈(240)은에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다.
일 실시 예에 따르면, 제어 모듈(240)은 연주 결과 판단 모듈(241) 및 패턴 분석 모듈(243)을 포함할 수 있다.
일 실시 예에 따르면, 연주 결과 판단 모듈(241)은 연주 데이터를 이용하여 사용자가 연주한 연주 기법을 판단할 수 있다. 예를 들어, 연주 결과 판단 모듈(241)은 활의 움직임과 관련된 연주 데이터를 이용하여 어떠한 활연주 기법을 사용하였는지 판단할 수 있다. 연주 결과 판단 모듈(241)은 활이 1500 ms(millisecond) 내에 활 길이의 1/2 이상 움직인 경우 스타카토 주법을 사용하였다고 판단할 수 있다. 연주 결과 판단 모듈(241)은 활의 방향 전환 없이 두 개 이상의 음이 연주되면 슬러(slur) 또는 이음줄(tie) 기법을 사용하였다고 판단할 수 있다.
일 실시 예에 따르면, 연주 결과 판단 모듈(241)은 연주 데이터를 악보 데이터와 비교하여 실시간으로 사용자의 연주 결과를 판단할 수 있다. 예를 들어, 연주 결과 판단 모듈(241)은 사용자가 악보 데이터와 일치하도록 연주하였는지 또는 연주 에러가 발생하였는지 판단할 수 있다. 일 실시 예에 따르면, 연주 결과 판단 모듈(241)은, 음높이(또는, 손가락 연주), 리듬 및 활연주로 구분하여 사용자의 연주 결과를 판단할 수 있다. 예를 들어, 음정은 악보 데이터의 음높이와 연주 데이터의 음높이가 일치하는지(또는, 지정된 오차 범위내인지)여부로 판단할 수 있다. 리듬은 악보 데이터와 연주 데이터의 음 발생 타이밍이 일치하는지(또는, 지정된 오차 범위 내인지) 여부로 판단할 수 있다. 활연주는 연주 데이터와 악보 데이터의 활의 움직임 또는 연주 기법 일치하는지(또는, 지정된 오차 범위 내인지) 여부로 판단할 수 있다.
일 실시 예에 따르면, 연주 결과 판단 모듈(241)은 연주 결과에 대한 피드백을 제공할 수 있다. 일 실시 예에 따르면, 연주 결과 판단 모듈(241)은 연주 에러가 발생한 경우 에러 정보 및 에러 교정 정보를 실시간으로 제공할 수 있다. 일 실시 예에 따르면, 연주 결과 판단 모듈(241)은 디스플레이(150)를 통해 이미지 또는 텍스트 형태로 피드백을 제공하거나, 오디오 모듈(260)을 통해 음성 형태로 피드백을 제공할 수 있다. 일 실시 예에 따르면, 연주 결과 판단 모듈(241)은 사용자의 연주가 완료되면 사용자의 연주 결과를 종합하여 피드백을 제공할 수 있다. 예를 들어, 연주 결과 판단 모듈(241)은 판단 요소(예: 음높이, 리듬 및 활연주)별로 연주 결과에 대한 피드백을 제공할 수 있다. 다른 예를 들어, 연주 결과 판단 모듈(241)은 각각의 판단 요소를 종합한 종합 연주 결과에 대한 피드백을 제공할 수 있다.
일 실시 예에 따르면, 패턴 분석 모듈(243)은 사용자의 연주 데이터를 이용하여 사용자의 연주 패턴을 분석할 수 있다. 사용자의 연주 패턴은, 예를 들어, 사용자가 능숙하게 연주하는 정상 연주 패턴 및 사용자가 자주 틀리는 에러 연주 패턴을 포함할 수 있다. 예를 들어, 패턴 분석 모듈(243)은 어떠한 손가락이 자주 틀리는지, 어떤 현에서 손가락 연주를 자주 틀리는지, 어떤 현에서 활 연주를 자주 틀리는지 판단할 수 있다. 일 실시 예에 따르면 패턴 분석 모듈(243)은 메모리(230)에 저장된 패턴 분석 알고리즘을 이용하여 사용자의 연주 패턴을 분석할 수 있다. 일 실시 예에 따르면, 패턴 분석 알고리즘은 정상 연주 패턴 데이터 베이스 및 에러 패턴 데이터 베이스를 이용하여 연주 패턴을 학습할 수 있다.
일 실시 예에 따르면, 패턴 분석 모듈(243)은 사용자의 연주 패턴과 관련된 피드백을 제공할 수 있다. 일 실시 예에 따르면, 패턴 분석 모듈(243)은 디스플레이(150)를 통해 이미지 또는 텍스트 형태로 피드백을 제공하거나, 오디오 모듈(260)을 통해 음성 형태로 피드백을 제공할 수 있다. 일 실시 예에 따르면, 패턴 분석 모듈(243)은 연주 결과 판단 모듈(241)에 의해 판단된 사용자의 연주 결과를 실시간으로 분석하여 에러 패턴을 분석할 수 있다. 패턴 분석 모듈(243)은 실시간으로 분석된 에러 패턴에 대한 교정 정보를 실시간으로 제공할 수 있다.
일 실시 예에 따르면, 패턴 분석 모듈(243)은 사용자의 연주가 완료되면 사용자의 전체 연주 결과를 분석하여 연주 패턴을 분석할 수 있다. 일 실시 예에 따르면, 패턴 분석 모듈(243)은 사용자의 연주가 완료되면 분석된 연주 패턴과 관련된 피드백(예, 에러 패턴과 관련된 교정 정보 또는 에러 패턴과 관련된 강의 컨텐츠)을 제공할 수 있다. 일 실시 예에 따르면, 패턴 분석 모듈(243)은 연주 패턴의 발생 횟수를 카운트하여, 연주 패턴의 발생 횟수에 기초하여 피드백을 제공할 수 있다. 즉, 패턴 분석 모듈(243)은 과거에 분석된 연주 패턴을 함께 고려하여 연주 패턴과 관련된 피드백을 제공할 수 있다. 아래 표 1은 패턴 분석 모듈(243)이 분석할 수 있는 에러 패턴 및 에러 패턴에 대한 교정 정보의 예를 나타낸다.
에러 패턴 교정 정보
4번 손가락 운지 후 전반적으로 음이 높아짐 4번 손가락 운지를 하면서 엄지손가락이 브릿지 쪽으로 따라 갈 수 있습니다.손의 스트레칭이 필요합니다. 동영상을 보면서 스트레칭을 따라해 보세요.
활의 아랫부분을 켤 때 마다 활이 몸쪽으로 기울어 짐
- 손목문제		 활이 자꾸 몸쪽으로 기울어집니다.
손목을 좀더 아래쪽으로 꺾어서 보잉을 시작해보세요.
활의 아랫부분을 켤 때 마다 활이 몸쪽으로 기울어 짐
- 어깨에 힘이 들어간 경우(상박)		 활이 자꾸 몸쪽으로 기울어 집니다.
활을 내리면서 어깨에 힘을 빼고 팔을 펴면서, 동시에 팔꿈치를 바깥쪽으로 활의 절반 지점까지 당겨줍니다.
활의 아랫부분을 켤 때 마다 활이 몸쪽으로 기울어 짐
- 파지 문제		 활이 자꾸 몸쪽으로 기울어 집니다. 활을 잘못 잡은 경우 아랫활 부분에서 활이 현을 따라 움직이게 되어 좋은 소리를 내지 못합니다. 파지법을 숙지하고, 손가락에 힘을 빼고 보잉을 해보세요
활의 아랫부분을 켤 때 마다 활이 몸쪽으로 기울어 짐
- 팔의 움직임 문제(하박)		 활이 자꾸 몸쪽으로 기울어 집니다.
활을 반정도 내린 지점 부터는 팔꿈치가 더이상 바깥으로 나가지 않도록하고, 팔의 아랫부분을 움직여서 활을 당겨주시면 됩니다.
활의 아랫부분을 켤 때 마다 활이 바깥쪽으로 기울어 짐
- 손목/하박/파지/상박		 활이 자꾸 몸쪽으로 기울어 집니다.
몸의 자세가 곧지 않음 허리를 펴서 연주해 보세요.
G현을 연주하는 경우 간혹 숙여 연주할 수도 있지만
허리를 숙이면 A,E현 보잉이 어려워집니다.
일 실시 예에 따르면, 제어 모듈(240)은 특정 동작에 필요한 데이터가 메모리(230)에 저장되어 있지 않은 경우 통신 모듈(210)을 통해 서버(400)로 필요한 데이터를 요청하여 수신할 수 있다. 예를 들어, 제어 모듈(240)은 사용자의 과거 연주 데이터, 연주 결과, 연주 패턴, 연주 패턴과 관련된 컨텐츠 등을 서버(400)로 요청하여 수신할 수 있다.
일 실시 예에 따르면, 제어 모듈(240)은 연주 데이터를 이용하여 현악기의 튜닝이 필요한지 판단할 수 있다. 예를 들어, 현악기 연주 중 개방현 연주가 필요한 음에서 획득된 주파수를 개방현의 이론적인 주파수와 비교하여 특정 값(예: 5Hz) 이상 차이가 나면 해당 현의 튜닝이 필요하다고 판단할 수 있다. 일 실시 예에 따르면, 제어 모듈(240)은 현악기의 튜닝이 필요하다고 판단되면 디스플레이(250) 또는 오디오 모듈(260)을 통해 사용자에게 알릴 수 있다. 일 실시 예에 따르면, 제어 모듈(240)은 현악기의 튜닝이 필요하다고 판단되면 디스플레이(250)에 튜닝 모드 진입 여부를 선택할 수 있는 사용자 인터페이스를 표시할 수 있다. 일 실시 예에 따르면, 사용자가 튜닝 모드 진입을 선택하면 제어 모듈(240)튜닝 모드로 진입하여 디스플레이(250)에 현악기의 튜닝을 가이드할 수 있는 사용자 인터페이스를 표시할 수 있다.
일 실시 예에 따르면, 디스플레이(250)는 현악기 레슨 어플리케이션에서 제공하는 사용자 인터페이스를 표시할 수 있다. 사용자 인터페이스는, 예를 들어, 사용자의 연주 결과, 에러 정보, 에러 교정 정보, 추천 컨텐츠 및 레슨 컨텐츠를 포함할 수 있다. 일 실시 예에 따르면, 사용자 인터페이스는 사용자의 연주 데이터에 기초하여 사용자의 연주 결과를 실시간으로 제공할 수 있다. 예를 들어, 사용자 인터페이스는 사용자의 운지 위치, 활의 움직임을 실시간으로 제공할 수 있다. 일 실시 예에 따르면, 사용자 인터페이스는 사용자의 연주 결과에 따른 에러 정보 및 에러 교정 정보를 실시간으로 제공할 수 있다. 일 실시 예에 따르면, 사용자 인터페이스는 사용자의 연주가 완료되면 사용자의 연주 패턴 및 에러 패턴에 기초하여 추천 컨텐츠 및 레슨 컨텐츠를 제공할 수 있다.
도 18은 본 발명의 다양한 실시 예에 따른 사용자 인터페이스를 나타내는 도면이다.
도 18을 참조하면 디스플레이(250)는 사용자의 실시간 연주 결과, 에러 정보 및 에러 교정 정보를 포함하는 사용자 인터페이스를 표시할 수 있다. 일 실시 예에 따르면, 사용자 인터페이스는 악보를 표시하는 영역(또는, 악보 영역)(81) 및 운지 위치를 시각화하여 표시하는 영역(또는, 운지 영역)(82)을 포함할 수 있다.
악보 영역(81)은 악보 데이터를 표시할 수 있다. 일 실시 예에 따르면, 악보 영역(81)은 현재 연주 위치를 나타내는 인디케이터(81A)를 포함할 수 있다. 인디케이터(83)는, 예를 들어, 시간의 흐름에 따라 이동될 수 있다. 일 실시 예에 따르면, 악보 영역(81)에는 사용자의 연주에 에러가 발생한 경우 에러 정보 및 에러 교정 정보가 표시될 수 있다. 예를 들어, 음높이가 높거나 낮게 연주된 경우 악보 영역(81)에 음높이 교정 오브젝트(81B)가 표시될 수 있다. 다른 예를 들어, 활의 업/다운 방향이 잘못된 경우 업/다운 기호(81C)가 기존과 상이하게 표시될 수 있다. 예를 들어, 업/다운 기호(81C)의 크기, 색채, 명도가 변경되거나 또는 업/다운 기호에 하이라이트 또는 깜빡임 효과가 부여될 수 있다. 또 다른 예를 들어, 활의 위치 또는 각도가 잘못된 경우 활 교정 오브젝트(81D)가 표시될 수 있다. 또 다른 예를 들어, 활의 속력이 잘못된 경우 활의 속력을 교정하도록 유도하는 오브젝트(81E)가 표시될 수 있다.
일 실시 예에 따르면, 운지 영역(82)에는 현악기의 지판 이미지(82A)가 표시될 수 있다. 일 실시 예에 따르면, 지판 이미지(82A)에는 현재 연주되어야 하는 운지 위치를 나타내는 오브젝트(82B)가 표시될 수 있다. 또한, 지판 이미지(82B)에는 사용자의 연주 데이터에 따른 실제 운지 위치를 나타내는 오브젝트(82C)가 표시될 수 있다. 일 실시 예에 따르면, 실제 운지 위치를 나타내는 오브젝트(82C)는 에러가 발생한 경우에만 표시될 수 있다.
도 19는 본 발명의 다양한 실시 예에 따른 사용자 인터페이스를 나타내는 도면이다.
도 19를 참조하면 디스플레이(250)는 사용자의 실시간 연주 결과, 에러 정보 및 에러 교정 정보를 포함하는 사용자 인터페이스를 표시할 수 있다. 일 실시 예에 따르면, 사용자 인터페이스는 악보를 표시하는 영역(또는, 악보 영역)(81) 및 활의 움직임을 시각화하여 표시하는 영역(또는, 활연주 영역)(83, 84)을 포함할 수 있다.
악보 영역(81)은 악보 데이터를 표시할 수 있다. 악보 영역에 대해서는 도 18을 참조하여 설명하였으므로 구체적인 설명은 생략한다.
일 실시 예에 따르면, 활연주 영역(83, 84)은 활의 지판 방향 각도를 표시하는 영역(또는, skewness 영역)(83) 및 활의 현악기 몸체 방향 각도를 표시하는 영역(또는, inclination 영역)(84)을 포함할 수 있다. 일 실시 예에 따르면, skewness 영역(83)에는 현악기의 허리몸통(c-bout) 부분의 이미지(83A) 및 활 이미지(83B)가 표시될 수 있다. 일 실시 예에 따르면, 활 이미지(83B)는 사용자의 실제 활연주에 따라 각도 및 위치가 변경될 수 있다. 예를 들어, 활 이미지(83B)의 위치 및 각도는 사용자의 연주 데이터에 포함된 활의 지판 방향 각도 및 활의 지판 방향 위치에 의해 결정될 수 있다. 일 실시 예에 따르면, skewness 영역(83)에는 활이 움직일 수 있는 범위(83C)가 표시될 수 있다. 일 실시 예에 따르면, 활 이미지(83B)가 활이 움직일 수 있는 범위(83C)를 벗어난 경우에는 활이 움직일 수 있는 범위(83C)의 색채, 명도가 변경되거나 하이라이트 또는 깜빡임 효과가 부여될 수 있다. 일 실시 예에 따르면, inclination 영역(84)에는 현악기의 브릿지 이미지(84A) 및 활 이미지(84B)가 표시될 수 있다. 일 실시 예에 따르면, 활 이미지(84B)는 사용자의 실제 활연주에 따라 각도 및 위치가 변경될 수 있다. 예를 들어, 활 이미지(83B)의 위치 및 각도는 사용자의 연주 데이터에 포함된 활의 현악기 몸통 방향 각도(inclination) 및 활의 활방향 위치(lateral positon)에 의해 결정될 수 있다.
도 20은 본 발명의 다양한 실시 예에 따른 사용자 인터페이스를 나타내는 도면이다.
도 20을 참조하면, 디스플레이(250)는 사용자의 연주가 종료되면 사용자의 연주 결과, 에러 정보 및 에러 교정 정보, 사용자의 연주 패턴과 관련된 컨텐츠를 포함하는 사용자 인터페이스를 표시할 수 있다. 일 실시 예에 따르면, 사용자 인터페이스는 판단 요소(활연주(85A), 음높이(또는, 손가락 연주)(85B) 및 리듬(85C)별 연주 결과를 나타내는 아이콘을 포함할 수 있다. 일 실시 예에 따르면, 사용자 인터페이스는 종합 연주 결과를 나타내는 아이콘(85D)을 포함할 수 있다. 일 실시 예에 따르면, 사용자 인터페이스는 사용자의 연주 결과에 대한 에러 교정 정보(86)를 포함할 수 있다. 예를 들어, 에러 교정 정보(86)는 텍스트 형태로 제공될 수 있다. 일 실시 예에 따르면, 사용자 인터페이스는 사용자의 에러 패턴과 관련된 컨텐츠(87)를 포함할 수 있다. 예를 들어, 사용자의 에러 패턴을 교정하기 위한 연습곡이 또는 강의 컨텐츠가 링크 형태로 제공될 수 있다. 일 실시 예에 따르면, 사용자 인터페이스는 사용자의 정상 연주 패턴과 관련된 컨텐츠(88)를 포함할 수 있다. 예를 들어, 사용자의 정상 연주 패턴을 포함하여 사용자가 무리없이 연주할 수 있는 추천곡이 링크 형태로 제공될 수 있다. 일 실시 예에 따르면, 사용자가 에러 패턴과 관련된 컨텐츠(87)를 선택하는 사용자 명령을 입력하면, 디스플레이(250)에 도 21에 도시된 사용자 인터페이스가 표시될 수 있다.
도 21은 본 발명의 다양한 실시 예에 따른 사용자 인터페이스를 나타내는 도면이다.
도 21을 참조하면, 디스플레이(250)에 강의 컨텐츠와 관련된 사용자 인터페이스가 표시될 수 있다. 사용자 인터페이스는 악보를 표시하는 영역(또는, 악보 영역)(91), 운지 위치를 시각화하여 표시하는 영역(또는, 운지 영역)(92) 및 동영상 강의가 재생되는 영역(93)을 포함할 수 있다. 일 실시 예에 따르면, 강의 컨텐츠의 내용에 대응하여 악보 영역(91) 및 운지 영역(92)에 표시되는 내용이 변경될 수 있다. 예를 들어, 강의 컨텐츠의 내용에 따라 악보 영역(91)에 표시되는 악보가 변경될 수 있다. 다른 예를 들어, 강의 컨텐츠의 내용에 따라 운지 영역(92)이 활의 각도를 표시하는 영역으로 변경될 수 있다.
오디오 모듈(260)은 오디오 신호를 생성하여 출력할 수 있다. 예를 들어, 오디오 모듈(260)은 스피커 또는 이어폰(또는, 헤드폰)을 연결할 수 있는 오디오 인터페이스 또는, 내장 스피커를 포함할 수 있다. 일 실시 예에 따르면, 오디오 모듈(260)은 연주 데이터를 이용하여 오디오 신호를 생성할 수 있다.
도 22는 본 발명의 다양한 실시 예에 따른 사용자 인터페이스를 나타내는 도면이다.
도 22는 제2 전자 장치(200)가 스마트 워치로 구현된 경우에 실시간 교정 정보를 제공하는 사용자 인터페이스를 나타낸다. 예를 들어, 사용자가 종이 악보를 이용하여 현악기를 연주하며, 제2 전자 장치(200)는 사용자의 연주 결과 및 연주 패턴을 실시간으로 분석하여 교정 정보를 제공할 수 있다.
도 22의 (a)를 참조하면 디스플레이(250)는 사용자가 연주할 곡(또는, 악보)를 선택할 수 있는 사용자 인터페이스를 제공할 수 있다. 예를 들어, 디스플레이(250)는 메모리(230)에 저장된 악보 데이터의 목록을 표시할 수 있다. 도 22의 (b)를 참조하면, 디스플레이(250)는 교정 정보의 종류를 선택할 수 있는 사용자 인터페이스를 표시할 수 있다. 예를 들어, 교정 정보의 종류는 사용자의 연주 결과를 판단하는 요소인 활연주, 음정(또는, 손가락 연주) 및 리듬 중 적어도 하나를 선택할 수 있다. 일 실시 예에 따르면, 사용자가 판단 요소 중 하나를 선택하면 선택된 판단 요소의 세부 항목들을 선택할 수 있는 사용자 인터페이스가 표시될 수 있다. 도 22의 (c) 및 (d)를 참조하면 디스플레이(250)는 사용자의 연주 결과 및 연주 패턴의 실시간 분석 결과에 따른 교정 정보를 표시할 수 있다.
예를 들어, 사용자가 현악기를 연주하면 제1 전자 장치(100)는 현악기 연주에 의해 발생하는 음의 음높이(또는, 주파수)를 판단할 수 있다. 제1 전자 장치(100)는 판단된 음높이(또는, 주파수)를 제2 전자 장치(200)로 전송할 수 있으며, 제2 전자 장치(200)는 음높이에 대응되는 동작을 수행할 수 있다.
도 23은 본 발명의 다양한 실시 예에 따른 사용자 인터페이스를 나타내는 도면이다.
일 실시 예에 따르면, 사용자는 현악기의 연주를 통해 제2 전자 장치(200)에 사용자 명령을 입력할 수 있다. 도 23을 참조하면, 제2 전자 장치(200)는 현악기 레슨 어플리케이션의 시작 화면에 해당하는 사용자 인터페이스가 표시될 수 있다. 일 실시 예에 따르면, 사용자 인터페이스는 복수의 메뉴 및 각각의 메뉴에 대응되는 코드 정보(95)를 포함할 수 있다. 사용자가 특정 코드에 대응되는 음을 연주하면 제1 전자 장치(100)는 현악기 연주에 의해 발생하는 음의 음높이(또는, 주파수)를 판단할 수 있다. 제1 전자 장치(100)는 판단된 음높이(또는, 주파수)를 제2 전자 장치(200)로 전송할 수 있으며, 제2 전자 장치(200)는 음높이에 대응되는 동작을 수행할 수 있다. 예를 들어, 도 23에서 사용자가 G 코드를 연주한 경우 현악기 레슨 어플리케이션이 시작될 수 있다.
일 실시 예에 따르면, 사용자는 현악기의 움직임을 통해 제2 전자 장치(200)에 사용자 명령을 입력할 수 있다. 예를 들어, 사용자가 현악기를 움직이면 현악기에 부착된 제1 전자 장치(100)가 관성 센서를 이용하여 현악기의 움직임을 감지할 수 있다. 제1 전자 장치(100)는 현악기의 움직임 정보를 제2 전자 장치(200)로 전송할 수 있으며, 제2 전자 장치(200)는 현악기의 움직임에 대응되는 동작을 수행할 수 있다.
도 24는 본 발명의 다양한 실시 예에 따른 전자 장치의 현악기 연주 인식 방법을 나타내는 흐름도이다. 도 24에 도시된 흐름도는 도 4에 도시된 제1 전자 장치(100)에서 처리되는 동작들로 구성될 수 있다. 따라서, 이하에서 생략된 내용이라 하더라도 도 4 내지 도 16을 참조하여 제1 전자 장치(100)에 관하여 기술된 내용은 도 24에 도시된 흐름도에도 적용될 수 있다.
도 24를 참조하면, 제1 전자 장치(100)는, 2410 동작에서, 활의 움직임을 감지할 수 있다. 일 실시 예에 따르면, 제1 전자 장치(100)는 이미지 센서를 이용하여 활의 움직임을 감지할 수 있다. 일 실시 예에 따르면, 제1 전자 장치(100)는 금속 감지 센서 또는 자기장 센서를 이용하여 활의 움직임을 감지할 수 있다.
일 실시 예에 따르면, 제1 전자 장치(100)는, 2420 동작에서, 현악기에서 발생하는 진동을 감지할 수 있다. 일 실시 예에 따르면, 제1 전자 장치(100)는 진동 감지 센서를 이용하여 현악기에서 발생하는 진동을 감지할 수 있다.
일 실시 예에 따르면, 제1 전자 장치(100)는, 2430 동작에서, 활의 움직임 및 현악기의 진동을 분석하여 연주 데이터를 생성할 수 있다. 연주 데이터는, 예를 들어, 음높이, 음의 세기, 리듬, 활의 지판 방향 위치(longitudinal position), 활의 활방향 위치(lateral position), 활과 현의 상대 각도(tilt), 활의 지판 방향으로의 각도(skewness), 활의 현악기의 몸통 방향으로의 각도(inclination), 활이 접촉하고 있는 현의 종류, 사용자의 운지 위치, 활의 속도 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 제1 전자 장치(100)는 이미지 센서의 센싱값을 이용하여 활의 지판 방향 위치(longitudinal position), 활의 지판 방향으로의 각도(skewness), 활의 현악기 몸통 방향으로의 각도(inclination) 및 활의 속도를 판단할 수 있다. 일 실시 예에 따르면, 제1 전자 장치(100)는 이미지 센서의 적외선 이미지를 이진화하고 이진화된 이미지를 이용하여 상술한 요소들을 판단할 수 있다. 일 실시 예에 따르면, 제1 전자 장치(100)는 금속 감지 센서의 센싱값을 이용하여 활의 속도(방향 및 속력)를 판단할 수 있다. 일 실시 예에 따르면, 제1 전자 장치(100)는 자기장 센서의 센싱값을 이용하여 활의 활방향 위치(lateral position) 및 활의 속도(방향 및 속력)를 판단할 수 있다. 일 실시 예에 따르면, 제어 모듈(160)은 활의 현악기 몸통 방향으로의 각도(inclination)를 이용하여 활이 접촉하는 현을 판단할 수 있다.
일 실시 예에 따르면, 제1 전자 장치(100)는 진동 감지 센서에 의해 감지된 진동을 분석하여 음높이(pitch), 음의 세기, 리듬을 판단할 수 있다. 일 실시 예에 따르면, 제1 전자 장치(100)는 진동에 포함된 복수의 주파수 성분 중 활이 접촉하는 현에서 발생할 수 있는 주파수 성분을 이용하여 음높이를 판단할 수 있다. 일 실시 예에 따르면, 제1 전자 장치(100)는 음높이를 감지하기 위해 진동 감지 센서(113)에 의해 감지되는 진동을 시간 영역에서 주파수 영역으로 변환할 때 윈도우 함수를 적용할 수 있다. 일 실시 예에 따르면, 제1 전자 장치(100)는 활이 접촉하는 현의 종류에 따라 윈도우 함수의 시간 축 크기를 상이하게 설정할 수 있다.
일 실시 예에 따르면, 제1 전자 장치(100)는 음높이 및 활이 접촉하는 현에 기초하여 사용자의 운지 위치를 판단할 수 있다. 일 실시 예에 따르면, 제1 전자 장치(100)는 음높이에 대응되는 복수의 운지 위치 중 활이 접촉하는 현의 운지 위치를 사용자의 운지 위치로 판단할 수 있다.
일 실시 예에 따르면, 제1 전자 장치(100)는, 2440 동작에서, 제2 전자 장치(200)로 연주 데이터를 전송할 수 있다.
도 25는 본 발명의 다양한 실시 예에 따른 제2 전자 장치의 현악기 연주 피드백 방법을 나타내는 흐름도이다. 도 25에 도시된 흐름도는 도 17에 도시된 제2 전자 장치(200)에서 처리되는 동작들로 구성될 수 있다. 따라서, 이하에서 생략된 내용이라 하더라도 도 17 내지 도 23을 참조하여 제2 전자 장치(200)에 관하여 기술된 내용은 도 25에 도시된 흐름도에도 적용될 수 있다.
도 25를 참조하면 제2 전자 장치(200)는, 2510 동작에서, 제1 전자 장치(100)로부터 현악기 연주 데이터를 수신할 수 있다. 연주 데이터는, 예를 들어, 음높이, 음의 세기, 리듬, 활의 지판 방향 위치(longitudinal position), 활의 활방향 위치(lateral position), 활과 현의 상대 각도(tilt), 활의 지판 방향으로의 각도(skewness), 활의 현악기의 몸통 방향으로의 각도(inclination), 활이 접촉하고 있는 현의 종류, 사용자의 운지 위치, 활의 속도 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 제2 전자 장치(200)는, 2520 동작에서, 연주 데이터를 이용하여 사용자의 연주 결과를 판단할 수 있다. 일 실시 예에 따르면, 제2 전자 장치(200)는 연주 데이터를 이용하여 사용자가 어떠한 연주 기법을 사용하였는지 판단할 수 있다. 일 실시 예에 따르면, 제2 전자 장치(200)는 연주 데이터를 악보 데이터와 비교하여 실시간으로 사용자의 연주 결과를 판단할 수 있다. 예를 들어, 제2 전자 장치(200)는 사용자가 악보 데이터와 일치하도록 연주하였는지 또는 연주 에러가 발생하였는지 판단할 수 있다. 일 실시 예에 따르면, 제2 전자 장치(200)는 음높이(또는, 손가락 연주), 리듬 및 활연주로 구분하여 사용자의 연주 결과를 판단할 수 있다.
일 실시 예에 따르면, 제2 전자 장치(200)는 연주 에러가 발생한 경우 에러 정보 및 에러 교정 정보를 실시간으로 제공할 수 있다. 일 실시 예에 따르면, 제2 전자 장치(200)는 디스플레이를 통해 이미지 또는 텍스트 형태로 피드백을 제공하거나, 오디오 모듈을 통해 음성 형태로 피드백을 제공할 수 있다. 일 실시 예에 따르면, 제2 전자 장치(200)는 사용자의 연주가 완료되면 사용자의 연주 결과를 종합하여 피드백을 제공할 수 있다.
일 실시 예에 따르면, 제2 전자 장치(200)는, 2530 동작에서, 사용자의 연주 결과를 이용하여 사용자의 연주 패턴을 분석할 수 있다. 사용자의 연주 패턴은, 예를 들어, 사용자가 능숙하게 연주하는 정상 연주 패턴 및 사용자가 자주 틀리는 에러 연주 패턴을 포함할 수 있다. 일 실시 예에 따르면, 제2 전자 장치(200)는 메모리에 저장된 패턴 분석 알고리즘을 이용하여 사용자의 연주 패턴을 분석할 수 있다. 일 실시 예에 따르면, 패턴 분석 알고리즘은 정상 연주 패턴 데이터 베이스 및 에러 패턴 데이터 베이스를 이용하여 연주 패턴을 학습할 수 있다.
일 실시 예에 따르면, 제2 전자 장치(200)는 사용자의 연주 결과를 실시간으로 분석하여 에러 패턴을 분석할 수 있다. 일 실시 예에 따르면, 제2 전자 장치(200)는 사용자의 연주가 완료되면 사용자의 전체 연주 결과를 분석하여 연주 패턴을 분석할 수 있다.
일 실시 예에 따르면, 제2 전자 장치(200)는, 2540 동작에서 사용자의 연주 패턴에 대한 피드백을 제공할 수 있다. 일 실시 예에 따르면, 제2 전자 장치(200)는 디스플레이를 통해 이미지 또는 텍스트 형태로 피드백을 제공하거나, 오디오 모듈을 통해 음성 형태로 피드백을 제공할 수 있다. 일 실시 예에 따르면, 제2 전자 장치(200)는 실시간으로 분석된 에러 패턴에 대한 교정 정보를 실시간으로 제공할 수 있다. 일 실시 예에 따르면, 제2 전자 장치(200)는 사용자의 연주가 완료되면 분석된 연주 패턴과 관련된 피드백(예, 에러 패턴과 관련된 교정 정보 또는 에러 패턴과 관련된 강의 컨텐츠)을 제공할 수 있다. 일 실시 예에 따르면, 제2 전자 장치(200)는 연주 패턴의 발생 횟수를 카운트하여, 연주 패턴의 발생 횟수에 기초하여 피드백을 제공할 수 있다.
본 문서에서 사용된 용어 "모듈"은, 예를 들면, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "모듈"은, 예를 들면, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component), 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "모듈"은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면,"모듈"은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 제어 모듈(160) 및 제어 모듈(240))에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 메모리(230)가 될 수 있다.
컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예: 자기테이프), 광기록 매체(optical media)(예: CD-ROM(compact disc read only memory), DVD(digital versatile disc), 자기-광 매체(magneto-optical media)(예: 플롭티컬 디스크(floptical disk)), 하드웨어 장치(예: ROM(read only memory), RAM(random access memory), 또는 플래시 메모리 등) 등을 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다. 그리고 본 문서에 개시된 실시예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 문서에서 기재된 기술의 범위를 한정하는 것은 아니다. 따라서, 본 문서의 범위는, 본 문서의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시예를 포함하는 것으로 해석되어야 한다.
100 : 제1 전자 장치 110 : 센서 모듈
120 : 통신 모듈 130 : 오디오 모듈
140 : 전력 관리 모듈 150 : 배터리
160 : 제어 모듈 200 : 제2 전자 장치
210 : 통신 모듈 220 : 입력 모듈
230 : 메모리 240 : 제어 모듈
250 : 디스플레이 260 : 오디오 모듈
300 : 제3 전자 장치 400 : 서버

Claims (20)

  1. 현악기에 부착 가능한 전자 장치에 있어서,
    상기 현악기에 대한 활(bow)의 움직임을 감지하는 이미지 센서;
    상기 현악기에서 발생하는 진동을 감지하는 진동 감지 센서; 및
    상기 활의 움직임 및 상기 진동을 이용하여 상기 현악기에 대한 사용자의 운지 위치를 판단하는 제어 모듈;을 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 제어 모듈은,
    상기 진동에 대응되는 음높이(pitch)를 판단하고, 상기 활의 움직임을 이용하여 활이 접촉하는 현을 판단하며, 상기 음높이 및 상기 활이 접촉하는 현에 기초하여 사용자의 운지 위치를 판단하는 전자 장치.
  3. 제2항에 있어서,
    상기 제어 모듈은,
    상기 활이 접촉하는 현에서 상기 음높이(pitch)가 발생될 수 있는 위치를 상기 운지 위치로 판단하는 전자 장치.
  4. 제2항에 있어서,
    상기 제어 모듈은,
    상기 진동에 포함된 복수의 주파수 성분 중 상기 활이 접촉하는 현에서 발생할 수 있는 주파수 성분을 이용하여 상기 음높이를 판단하는 전자 장치.
  5. 제2항에 있어서,
    상기 제어 모듈은,
    상기 진동의 시간 영역 신호에 윈도우 함수를 적용하여 주파수 영역 신호로 변환하여 상기 음높이를 판단하며, 상기 활이 접촉하는 현의 종류에 따라 상기 윈도우 함수의 시간 축 크기를 상이하게 설정하는 전자 장치.
  6. 제1항에 있어서,
    상기 제어 모듈은,
    상기 활의 움직임을 이용하여 활의 지판 방향 위치(longitudinal position), 활의 활방향 위치(lateral position), 활과 현의 상대 각도(tilt), 활의 지판 방향으로의 각도(skewness), 활의 현악기의 몸통 방향으로의 각도(inclination), 활이 접촉하고 있는 현의 종류, 사용자의 운지 위치, 활의 속도 중 적어도 하나를 판단하는 전자 장치.
  7. 디스플레이;
    외부 전자 장치로부터 사용자의 현악기 연주 데이터를 수신하는 통신 모듈;
    상기 연주 데이터를 이용하여 사용자의 에러 패턴을 분석하고, 상기 디스플레이에 상기 에러 패턴에 대한 피드백을 제공하도록 제어하는 제어 모듈;을 포함하는 전자 장치.
  8. 제7항에 있어서,
    상기 연주 데이터는,
    음높이, 음의 세기, 리듬, 활의 지판 방향 위치(longitudinal position), 활의 활방향 위치(lateral position), 활과 현의 상대 각도(tilt), 활의 지판 방향으로의 각도(skewness), 활의 현악기의 몸통 방향으로의 각도(inclination), 활이 접촉하고 있는 현의 종류, 사용자의 운지 위치, 활의 속도 중 적어도 하나를 포함하는 전자 장치.
  9. 제7항에 있어서,
    악보 데이터를 저장하는 메모리;를 더 포함하며,
    상기 제어 모듈은,
    상기 연주 데이터를 상기 악보 데이터와 비교하여 사용자의 연주 에러를 판단하고, 상기 연주 에러를 이용하여 사용자의 에러 패턴을 분석하는 전자 장치.
  10. 제7항에 있어서,
    상기 제어 모듈은,
    상기 에러 패턴의 발생 횟수를 카운트하며, 상기 에러 패턴의 발생 횟수에 기초하여 상기 피드백을 제공하는 전자 장치.
  11. 전자 장치의 현악기 연주 인식 방법에 있어서,
    상기 현악기에 대한 활(bow)의 움직임을 감지하는 동작;
    상기 현악기에서 발생하는 진동을 감지하는 동작; 및
    상기 활의 움직임 및 상기 진동을 이용하여 상기 현악기에 대한 사용자의 운지 위치를 판단하는 동작;을 포함하는 방법.
  12. 제11항에 있어서,
    상기 사용자의 운지 위치를 판단하는 동작은,
    상기 진동에 대응되는 음높이(pitch)를 판단하는 동작;
    상기 활의 움직임을 이용하여 활이 접촉하는 현을 판단하는 동작; 및
    상기 음높이 및 상기 활이 접촉하는 현에 기초하여 사용자의 운지 위치를 판단하는 동작;을 포함하는 방법.
  13. 제12항에 있어서,
    상기 사용자의 운지 위치를 판단하는 동작은,
    상기 활이 접촉하는 현에서 상기 음높이(pitch)가 발생될 수 있는 위치를 상기 운지 위치로 판단하는 동작;을 포함하는 방법.
  14. 제12항에 있어서,
    상기 음높이를 판단하는 동작은,
    상기 진동에 포함된 복수의 주파수 성분 중 상기 활이 접촉하는 현에서 발생할 수 있는 주파수 성분을 선택하는 동작;
    상기 선택된 주파수 성분을 이용하여 상기 음높이를 판단하는 동작;을 포함하는 방법.
  15. 제12항에 있어서,
    상기 음높이를 판단하는 동작은,
    상기 활이 접촉하는 현의 종류에 따라 윈도우 함수의 시간 축 크기를 상이하게 설정하는 동작;
    상기 진동의 시간 영역 신호에 상기 윈도우 함수를 적용하는 동작;
    상기 시간 영역 신호를 주파수 영역 신호로 변환하는 동작; 및
    상기 주파수 영역 신호를 이용하여 음높이를 판단하는 동작;을 포함하는 방법.
  16. 제11항에 있어서,
    상기 활의 움직임을 이용하여 활의 지판 방향 위치(longitudinal position), 활의 활방향 위치(lateral position), 활과 현의 상대 각도(tilt), 활의 지판 방향으로의 각도(skewness), 활의 현악기의 몸통 방향으로의 각도(inclination), 활이 접촉하고 있는 현의 종류, 활의 속도 중 적어도 하나를 판단하는 동작;을 더 포함하는 방법.
  17. 전자 장치의 현악기 연주 피드백 방법에 있어서,
    외부 전자 장치로부터 현악기 연주 데이터를 수신하는 동작;
    상기 연주 데이터를 이용하여 사용자의 에러 패턴을 분석하는 동작; 및
    상기 에러 패턴에 대한 피드백을 제공하는 동작;을 포함하는 방법.
  18. 제17항에 있어서,
    상기 연주 데이터는,
    음높이, 음의 세기, 리듬, 활의 지판 방향 위치(longitudinal position), 활의 활방향 위치(lateral position), 활과 현의 상대 각도(tilt), 활의 지판 방향으로의 각도(skewness), 활의 현악기의 몸통 방향으로의 각도(inclination), 활이 접촉하고 있는 현의 종류, 사용자의 운지 위치, 활의 속도 중 적어도 하나를 포함하는 방법.
  19. 제17항에 있어서,
    사용자의 에러 패턴을 분석하는 동작은,
    상기 연주 데이터를 악보 데이터와 비교하여 사용자의 연주 에러를 판단하는 동작; 및
    상기 연주 에러를 이용하여 사용자의 에러 패턴을 분석하는 동작;을 포함하는 방법.
  20. 제17항에 있어서,
    상기 에러 패턴의 발생 횟수를 카운트하는 동작;을 더 포함하며,
    상기 에러 패턴에 대한 피드백을 제공하는 동작은,
    상기 에러 패턴의 발생 횟수에 기초하여 상기 피드백을 제공하는 동작;을 포함하는 방법.
KR1020150034929A 2015-03-13 2015-03-13 전자 장치, 전자 장치의 현악기 연주 인식 방법 및 전자 장치의 현악기 연주 피드백 방법 KR20160109819A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020150034929A KR20160109819A (ko) 2015-03-13 2015-03-13 전자 장치, 전자 장치의 현악기 연주 인식 방법 및 전자 장치의 현악기 연주 피드백 방법
EP16159668.9A EP3067883B1 (en) 2015-03-13 2016-03-10 Electronic device, method for recognizing playing of string instrument in electronic device, and method for providing feedback on playing of string instrument in electronic device
US15/066,655 US10176791B2 (en) 2015-03-13 2016-03-10 Electronic device, method for recognizing playing of string instrument in electronic device, and method for providng feedback on playing of string instrument in electronic device
CN201610144693.0A CN105976800B (zh) 2015-03-13 2016-03-14 电子装置和在电子装置中识别弦乐器演奏的方法
KR1020170123695A KR102319228B1 (ko) 2015-03-13 2017-09-25 전자 장치, 전자 장치의 현악기 연주 인식 방법 및 전자 장치의 현악기 연주 피드백 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150034929A KR20160109819A (ko) 2015-03-13 2015-03-13 전자 장치, 전자 장치의 현악기 연주 인식 방법 및 전자 장치의 현악기 연주 피드백 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020170123695A Division KR102319228B1 (ko) 2015-03-13 2017-09-25 전자 장치, 전자 장치의 현악기 연주 인식 방법 및 전자 장치의 현악기 연주 피드백 방법

Publications (1)

Publication Number Publication Date
KR20160109819A true KR20160109819A (ko) 2016-09-21

Family

ID=55966982

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150034929A KR20160109819A (ko) 2015-03-13 2015-03-13 전자 장치, 전자 장치의 현악기 연주 인식 방법 및 전자 장치의 현악기 연주 피드백 방법

Country Status (4)

Country Link
US (1) US10176791B2 (ko)
EP (1) EP3067883B1 (ko)
KR (1) KR20160109819A (ko)
CN (1) CN105976800B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180074004A (ko) * 2016-12-23 2018-07-03 김민홍 현악기 픽업 장치, 현악기 픽업 장치를 이용한 연주 정보 출력 방법, 및 현악기
KR20220095962A (ko) * 2020-12-30 2022-07-07 한송이 반음 및 온음을 시각화하여 연주할 수 있는 현악기 교구

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3220385B1 (en) * 2016-03-15 2018-09-05 Advanced Digital Broadcast S.A. System and method for stringed instruments' pickup
US20180137425A1 (en) * 2016-11-17 2018-05-17 International Business Machines Corporation Real-time analysis of a musical performance using analytics
CN106847248B (zh) * 2017-01-05 2021-01-01 天津大学 基于鲁棒性音阶轮廓特征和向量机的和弦识别方法
CN108665747A (zh) * 2017-04-01 2018-10-16 上海伍韵钢琴有限公司 一种在线钢琴陪练系统及使用方法
CN108269563A (zh) * 2018-01-04 2018-07-10 暨南大学 一种虚拟爵士鼓及实现方法
CN111868820A (zh) * 2018-01-10 2020-10-30 Qrs音乐技术公司 音乐活动系统
ES1209014Y (es) * 2018-03-02 2018-06-25 Orts Constantino Martinez Arco para instrumento musical de cuerda frotada
CN109102784A (zh) * 2018-06-14 2018-12-28 森兰信息科技（上海）有限公司 一种ar辅助乐器练习方法、系统以及一种智能设备
CN109543543A (zh) * 2018-10-25 2019-03-29 深圳市象形字科技股份有限公司 一种基于计算机视觉技术的辅助二胡练习者弓法检测方法
CN109523567A (zh) * 2018-10-25 2019-03-26 深圳市象形字科技股份有限公司 一种基于计算机视觉技术的辅助二胡练习者指法检测方法
CN109935222B (zh) * 2018-11-23 2021-05-04 咪咕文化科技有限公司 一种构建和弦转换向量的方法、装置及计算机可读存储介质
CN109711294A (zh) * 2018-12-14 2019-05-03 深圳市象形字科技股份有限公司 一种基于计算机视觉的辅助小提琴练习者弓法检测方法
JP7307422B2 (ja) * 2019-02-01 2023-07-12 銀河ソフトウェア株式会社 演奏支援システム、方法及びプログラム
JP7307906B2 (ja) 2019-02-01 2023-07-13 後藤ガット有限会社 楽器用調律器
WO2021038833A1 (ja) * 2019-08-30 2021-03-04 ソニフィデア合同会社 音響空間生成装置
CN112420006B (zh) * 2020-10-30 2022-08-05 天津亚克互动科技有限公司 运行模拟乐器组件的方法及装置、存储介质、计算机设备
CN112802439B (zh) * 2021-02-05 2024-04-12 腾讯科技（深圳）有限公司 一种演奏数据识别方法、装置、设备及存储介质
JP2023096762A (ja) * 2021-12-27 2023-07-07 ローランド株式会社 情報処理装置、端末、及び情報処理方法
CN115048025A (zh) * 2022-06-14 2022-09-13 陕西理工大学 人机交互的传统弓拉弦鸣乐器演奏方法、装置及设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2229189A (en) * 1939-06-01 1941-01-21 Rice Max Violin mute and amplifying device
JP2797112B2 (ja) * 1988-04-25 1998-09-17 カシオ計算機株式会社 電子弦楽器のコード判別装置
US6448488B1 (en) * 1999-01-15 2002-09-10 Fishman Transducers, Inc. Measurement and processing of stringed acoustic instrument signals
US6162981A (en) * 1999-12-09 2000-12-19 Visual Strings, Llc Finger placement sensor for stringed instruments
US8993867B2 (en) * 2005-02-02 2015-03-31 Audiobrax Indústria E Comércio De Produtos Eletrônicos S/A Mobile communication device with musical instrument functions
US7323633B2 (en) * 2005-04-26 2008-01-29 Optek Music Systems, Inc. Methods and apparatus for transmitting finger positions to stringed instruments having a light-system
JP2008008924A (ja) * 2006-06-27 2008-01-17 Yamaha Corp 電気弦楽器システム
US8907193B2 (en) 2007-02-20 2014-12-09 Ubisoft Entertainment Instrument game system and method
US8454418B2 (en) * 2008-01-24 2013-06-04 745 Llc Methods and apparatus for stringed controllers and instruments
US7605317B2 (en) 2008-01-30 2009-10-20 Ning Chen Bow-to-string pressure training device for bowed string music instruments
US8109146B2 (en) * 2008-02-21 2012-02-07 Massachusetts Institute Of Technology Measurement of bowed string dynamics
US8084678B2 (en) * 2008-05-21 2011-12-27 Kesumo Llc Sensor bow for stringed instruments
GB2475339A (en) * 2009-11-17 2011-05-18 Univ Montfort Optical bowing sensor for emulation of bowed stringed musical instruments
JP2011221472A (ja) 2010-04-06 2011-11-04 Nobuo Yoshizawa 画像表示装置付きギター
US8338684B2 (en) 2010-04-23 2012-12-25 Apple Inc. Musical instruction and assessment systems
CN102129798B (zh) * 2011-01-20 2012-12-12 程矛 微电脑控制的数码弦乐器
US20120240751A1 (en) * 2011-03-23 2012-09-27 Ayako Yonetani Hybrid stringed instrument
US20120266740A1 (en) * 2011-04-19 2012-10-25 Nathan Hilbish Optical electric guitar transducer and midi guitar controller
CN103729062B (zh) * 2014-01-19 2017-02-08 浙江大学 一种多功能乐器同步互动系统和方法
CN104036766B (zh) * 2014-06-20 2018-10-30 北京趣乐科技有限公司 一种智能钢琴及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180074004A (ko) * 2016-12-23 2018-07-03 김민홍 현악기 픽업 장치, 현악기 픽업 장치를 이용한 연주 정보 출력 방법, 및 현악기
KR20220095962A (ko) * 2020-12-30 2022-07-07 한송이 반음 및 온음을 시각화하여 연주할 수 있는 현악기 교구

Also Published As

Publication number Publication date
EP3067883A1 (en) 2016-09-14
EP3067883B1 (en) 2018-05-23
US20160267895A1 (en) 2016-09-15
CN105976800B (zh) 2021-12-07
CN105976800A (zh) 2016-09-28
US10176791B2 (en) 2019-01-08

Similar Documents

Publication Publication Date Title
KR20160109819A (ko) 전자 장치, 전자 장치의 현악기 연주 인식 방법 및 전자 장치의 현악기 연주 피드백 방법
KR102395515B1 (ko) 가상 악기의 연주 방법 및 이를 지원 하는 장치
CN107978303B (zh) 智能钢琴的智能检测和反馈系统
KR102310776B1 (ko) 광학 센서를 사용해 검출된 모션 제스처 입력
US20190238755A1 (en) Method and apparatus for push interaction
EP2945045B1 (en) Electronic device and method of playing music in electronic device
Gummeson et al. An energy harvesting wearable ring platform for gestureinput on surfaces
JP5421466B2 (ja) 選択運動制御の分類
US10789952B2 (en) Voice command execution from auxiliary input
WO2010011923A1 (en) Enhanced detection of circular engagement gesture
CN105339870A (zh) 用于提供虚拟输入界面的方法和可穿戴装置
KR102319228B1 (ko) 전자 장치, 전자 장치의 현악기 연주 인식 방법 및 전자 장치의 현악기 연주 피드백 방법
CN109716270A (zh) 用于确定相对运动的设备和方法
CN110045829A (zh) 利用用户接口的事件的设备和方法
US11562721B2 (en) Wireless multi-string tuner for stringed instruments and associated method of use
US9520117B2 (en) Optical electronic musical instrument
WO2022111260A1 (zh) 音乐筛选方法、装置、设备及介质
US20220375362A1 (en) Virtual tutorials for musical instruments with finger tracking in augmented reality
Medeiros Advanced instrumentation and sensor fusion methods in input devices for musical expression
Martin Touchless gestural control of concatenative sound synthesis
US20240111380A1 (en) Finger tapping measurement processing terminal, system, method, and computer program
KR20180103634A (ko) 통계적 방법에 의한 음향 분석 및 비교
Wu Synchronous Interfaces for Wearable Computers
JP6281745B2 (ja) 摺動操作検出装置、電子機器及びプログラム
Kooiker Gestural Data for Expressive Control: A study in repetition and recognition

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
A107 Divisional application of patent