KR20090083098A - 하모닉 특징을 이용한 음악 인식 방법 및 음악 인식을이용한 이동 로봇의 동작 생성 방법 - Google Patents

하모닉 특징을 이용한 음악 인식 방법 및 음악 인식을이용한 이동 로봇의 동작 생성 방법 Download PDF

Info

Publication number
KR20090083098A
KR20090083098A KR1020080009070A KR20080009070A KR20090083098A KR 20090083098 A KR20090083098 A KR 20090083098A KR 1020080009070 A KR1020080009070 A KR 1020080009070A KR 20080009070 A KR20080009070 A KR 20080009070A KR 20090083098 A KR20090083098 A KR 20090083098A
Authority
KR
South Korea
Prior art keywords
music
harmonic
feature
motion
mobile robot
Prior art date
Application number
KR1020080009070A
Other languages
English (en)
Inventor
김현수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080009070A priority Critical patent/KR20090083098A/ko
Priority to US12/361,692 priority patent/US20090205483A1/en
Publication of KR20090083098A publication Critical patent/KR20090083098A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90—Pitch determination of speech signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/086—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for transcription of raw audio or music data to a displayed or printed staff representation or to displayable MIDI-like note-oriented data, e.g. in pianoroll format
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/131—Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
    • G10H2240/141—Library retrieval matching, i.e. any of the steps of matching an inputted segment or phrase with musical database contents, e.g. query by humming, singing or playing; the steps may include, e.g. musical analysis of the input, musical feature extraction, query formulation, or details of the retrieval process
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/025—Envelope processing of music signals in, e.g. time domain, transform domain or cepstrum domain
    • G10H2250/031—Spectrum envelope processing

Abstract

본 발명은 하모닉 특징을 이용한 음악 인식 방법 및 음악 인식을 이용한 이동 로봇의 동작 생성 방법에 관한 것이다. 본 발명은 입력된 음악의 오디오 신호로부터 하모닉 피크를 추출하고, 추출된 하모닉 피크 사이의 거리에 기반으로 한 하모닉 특징을 산출하고, 산출된 하모닉 특징에 따른 하모닉 성분을 분석하여 입력된 음악을 인식하는 음악 인식 방법을 제공한다. 또한 본 발명은 음악의 오디오 신호를 입력받아 음악 특징을 추출하고, 추출된 음악 특징을 기반으로 상기 음악을 인식하여 초기 악보를 생성하고, 상기 초기 악보와 상기 추출된 음악 특징이 동기화된 최종 악보를 생성하고, 상기 최종 악보에 이동 로봇의 패턴 동작을 매칭시켜 이동 로봇의 동작을 생성하거나 동작 스크립트 파일을 생성하는 음악 인식을 이용한 이동 로봇의 동작 생성 방법을 제공한다. 상기 음악 특징은 상기 음악의 음정, 박자, 비트, 하모닉 정보 중에 적어도 하나를 포함한다. 상기 하모닉 정보는 하모닉 피크 사이의 거리를 기반으로 산출된 하모닉 특징을 포함한다. 본 발명에 따르면, 음악 인식을 이용하여 이동 로봇을 동작시키거나, 이동 로봇의 동작에 필요한 동작 스크립트 파일을 제공한다. 특히 동작 스크립트 파일은 다른 이동 로봇의 동작 생성에 필요한 소스로 사용될 수 있다.
음악, 인식, 하모닉, 로봇, 댄스

Description

하모닉 특징을 이용한 음악 인식 방법 및 음악 인식을 이용한 이동 로봇의 동작 생성 방법{Method for recognition music using harmonic characteristic and method for producing action of mobile robot using music recognition}
본 발명은 음악 인식 및 그를 이용한 이동 로봇의 동작 생성 방법에 관한 것으로, 더욱 상세하게는 음악의 하모닉 특징을 산출하여 음악을 인식하는 음악 인식 방법 및 그를 이용한 이동 로봇의 동작 생성 방법에 관한 것이다.
음악 인식 기술은 음악이 재생될 때 그 음악의 특성을 분석하여 그 음악이 어떤 음악인지 분별해 내는 기술이다. 즉 음악 인식 기술은 사람이 음악을 듣고 이해하는 것 처럼 컴퓨터와 같은 음악 인식 장치가 음악을 듣고 이해할 수 있도록 하는 것을 의미한다.
그런데 현재 음악 인식 기술의 활용은 단순하게 재생되는 음악의 파일, 곡명, 작곡가, 작사가, 가수 등에 대한 정보를 제공하는 수준에 그치고 있다.
따라서, 본 발명의 제 1 목적은 음악의 하모닉 특징 산출을 통하여 음악을 인식하는 방법을 제공하기 위한 것이다.
본 발명의 제 2 목적은 음악 인식을 이용한 이동 로봇의 동작 생성 방법을 제공하기 위한 것이다.
상기 목적을 달성하기 위하여, 본 발명은 음악의 오디오 신호를 입력받아 주파수 도메인으로 변환하는 변환 과정과, 상기 변환된 주파수 도메인에서 1차 하모닉 피크를 추출하고, 상기 추출된 1차 하모닉 피크를 토대로 n차까지 하모닉 피크(n은 2이상의 자연수)를 추출하는 추출 과정과, 동일한 차수의 상기 추출된 하모닉 피크 사이의 거리에 기판으로 한 하모닉 성분(f0)과의 평균 거리인 상기 음악의 하모닉 특징을 산출하는 산출 과정을 포함하는 것을 특징으로 하는 하모닉 특징을 이용한 음악 인식 방법을 제공한다.
한편 본 발명은 또한, 음악의 오디오 신호를 입력받아 음악 특징을 추출하는 과정과, 상기 추출된 음악 특징을 기반으로 상기 음악을 인식하여 초기 악보를 생성하는 초기 악보 생성 과정과, 상기 초기 악보와 상기 추출된 음악 특징이 동기화된 최종 악보를 생성하는 과정과, 상기 최종 악보에 이동 로봇의 패턴 동작을 매칭시켜 이동 로봇의 동작을 생성하는 동작 생성 과정을 포함하는 것을 특징으로 하는 음악 인식을 이용한 이동 로봇의 동작 생성 방법을 제공한다.
한편 본 발명은 또한, 음악의 오디오 신호를 입력받아 음악 특징을 추출하는 과정과, 상기 추출된 음악 특징을 기반으로 상기 음악을 인식하여 초기 악보를 생 성하는 초기 악보 생성 과정과, 상기 초기 악보와 상기 추출된 음악 특징이 동기화된 최종 악보를 생성하는 과정과, 상기 최종 악보에 이동 로봇의 패턴 동작을 매칭시켜 이동 로봇의 동작 스크립트 파일을 생성하는 동작 스크립트 파일 생성 과정을 포함하는 것을 특징으로 하는 음악 인식을 이용한 이동 로봇의 동작 생성 방법을 제공한다.
한편 본 발명은 또한, 음악의 오디오 신호를 입력받아 음악 특징을 추출하는 추출 과정과, 상기 추출된 음악 특징에 이동 로봇의 패턴 동작을 매칭시켜 이동 로봇의 동작을 생성하는 동작 생성 과정을 포함하는 것을 특징으로 하는 음악 인식을 이용한 이동 로봇의 동작 생성 방법을 제공한다.
본 발명에 따르면 음악 인식에 이용할 수 있는 추출된 하모닉 피크 사이의 거리에 기반으로 한 하모닉 특징을 산출한다. 산출된 하모닉 특징은 하모닉 성분과의 평균 거리로서, 오디오 신호의 하모닉 성분의 크기로 볼 수 있으며, 추출된 하모닉 피크의 주기성에 대한 정보를 제공한다. 따라서 산출된 하모닉 특징에 따른 하모닉 성분을 분석하여 입력된 음악을 인식한다.
본 발명은 또한 음악 인식을 이용하여 이동 로봇을 동작시키거나, 이동 로봇의 동작에 필요한 동작 스크립트 파일을 제공한다. 특히 동작 스크립트 파일은 다른 이동 로봇의 동작 생성에 필요한 소스로 사용될 수 있다. 즉 동작 스크립트 파일을 활용하여 물리적인 이동 로봇 뿐만 아니라 소프트웨어적으로 구현된 가상 이동 로봇에도 활용할 수 있다.
이하, 첨부 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하고자 한다.
본 발명의 실시예에 따른 하모닉 특징을 이용한 음악 인식 장치(100)는, 도 1에 도시된 바와 같이, 음성 입력부(11), 음성 처리부(13), 제어부(15), 메모리부(17), 입력부(18) 및 표시부(19)를 포함하여 구성된다.
본 실시예에 따른 음악 인식 장치(10)는 별도의 장치로 구현되거나, 컴퓨터 또는 이동 로봇에 설치될 수 있다.
음성 입력부(11)는 음악의 오디오 신호를 입력받아 음성 처리부(13)로 출력한다. 음성 입력부(11)는 음악의 오디오 신호를 카세트 플레이어, CD 플레이어, MD 플레이어, MP3 플레이어, 컴퓨터, 휴대폰, 라디오 등과 같은 음악 재생 장치로부터 입력받는다. 이때 음성 입력부(11)는 마이크 또는 오디오 신호 입력단을 포함할 수 있다. 마이크는 음악 재생 장치의 스피커를 통하여 출력되는 음악의 오디오 신호를 입력받는다. 오디오 신호 입력단은 유무선으로 연결된 음악 재생 장치로부터 음악의 오디오 신호를 입력받는다. 오디오 신호 입력단과 음악 재생 장치의 유선 연결 방법으로는 오디오 케이블이 사용될 수 있고, 무선 연결 방법으로는 RF 통신 또는 블루투스와 같은 근거리 무선이 사용될 수 있다.
음성 처리부(13)는 음성 입력부(11)로 입력되는 오디오 신호를 주파수 도메인으로 변환하여 제어부(15)로 출력한다. 주파수 도메인으로는 FFT(Fast Fourier Transform), STFT(Short-Time Fourier Transform) 또는 DFT(Discrete Fourier Transform) 또는 DCT(Discrete Cosine Transform) 중에 하나가 사용될 수 있다.
제어부(15)는 음악 인식 장치(10)의 전반적인 제어 동작을 수행하는 마이크로 프로세서이다. 특히 제어부(15)는 입력된 음악의 오디오 신호로부터 하모닉 특징을 산출하고, 산출된 하모닉 특징을 토대로 입력된 음악을 인식한다.
메모리부(17)는 음악 인식 장치(10)의 동작 제어시 필요한 프로그램과, 그 프로그램 수행 중에 발생되는 데이터를 저장하며, 하나 이상의 휘발성 메모리 소자와 비휘발성 메모리 소자로 이루어진다. 특히 메모리부(17)는 하모닉 특징을 산출하기 위한 하모닉 특징 산출 프로그램(17a)과, 그 하모닉 특징 산출 프로그램(17a)의 실행에 의해 산출된 하모닉 특징(17b)을 저장한다.
입력부(18)는 음악 인식 장치(10)의 조작을 위한 복수의 키를 제공하며, 사용자의 키선택에 따른 선택 신호를 발생하여 제어부(15)에 전달한다. 입력부(18)를 통해 발생되는 사용자의 명령은 음성 입력부(11)를 통한 오디오 신호의 입력 허용 및 하모닉 특징 산출 프로그램(17a)의 실행 등을 포함한다. 입력부(18)로는 마우스, 키패드, 터치패드와 같은 포인팅 장치, 터치스크린(touch screen) 등의 입력장치가 사용될 수 있다.
그리고 표시부(19)는 음악 인식 장치(10)에서 실행되는 각종 기능 메뉴를 비롯하여 메모리부(17)에 저장된 정보를 표시한다. 표시부(19)로는 LCD(Liquid Crystal Display)나 터치 스크린(touch screen)이 사용될 수 있다. 터치 스크린은 표시 장치와 입력 장치로서의 역할을 동시에 수행한다.
특히 제어부(15)는 피크 추출부(15a), 하모닉 특징 산출부(15b) 및 하모닉 성분 분석부(15c)를 포함하여 구성된다.
피크 추출부(15a)는 음성 처리부(13)에서 변환된 주파수 도메인으로부터 1차 하모닉 피크를 추출하고, 추출된 1차 하모닉 피크를 토대로 n차까지의 하모닉 피크를 추출한다(n은 2이상의 자연수). 이때 피크 추출부(15a)는 n차 하모닉 피크를 (n-1)차 하모닉 피크로 이루어진 주파수 도메인에서 추출한다.
예컨대, 피크 추출부(15a)는 도 2에 도시된 바와 같은 방법으로 1차 하모닉 피크를 추출할 수 있다. 피크 추출부(15a)는 음성 처리부(13)에서 변화된 주파수 도메인에서 첫 번째 검색 구간(t)에서 최대의 피크를 찾아 첫 번째 하모닉 피크(p1)로 선택한다. 다음으로 첫 번째 하모닉 피크(p1)를 기준으로 일정 거리(a) 떨어진 지점에서부터 두 번째 검색 구간(t)에서 최대의 피크를 찾아 두 번째 하모닉 피크(p2)로 선택한다. 그리고 이와 같은 방법을 반복하여 주파수 도메인의 1차 하모닉 피크(p1 내지 p4)를 추출한다. 이때 1차 하모닉 피크를 추출하기 위한 검색 구간(t=b-a)은 동일하다. 2차 하모닉 피크는 추출된 1차 하모닉 피크로 구성된 주파수 도메인에서 전술된 방법과 동일한 방법으로 추출될 수 있다. 그리고 이와 같은 과정을 반복하여 n차 하모닉 피크를 추출할 수 있다.
이때 차수가 높은 하모닉 피크는 차수가 낮은 하모닉 피크에 비해서 평균적으로 높은 레벨을 가지며, 추출된 하모닉 피크의 차수가 높을수록 피크수는 줄어든다.
하모닉 특징 산출부(15b)는 동일한 차수의 추출된 하모닉 피크 사이의 거리 에 기반한 음악의 하모닉 특징을 산출한다. 산출된 하모닉 특징은 추출된 피크 사이의 거리에 기반한 하모닉 성분(f0)과의 평균 거리를 나타낸다. 하모닉 특징 산출부(15b)는 산출된 하모닉 특징(17b)을 메모리부(17)에 저장할 수 있다.
하모닉 특징은 아래의 수학식1 또는 수학식2로 산출할 수 있다. 수학식2는 추출된 하모닉 피크의 진폭에 따른 가중치를 고려한 하모닉 특징이다.
Figure 112008007465712-PAT00001
(N은 해당 차수 피크의 총 피크수,
Figure 112008007465712-PAT00002
는 k번째 피크)
Figure 112008007465712-PAT00003
(
Figure 112008007465712-PAT00004
는
Figure 112008007465712-PAT00005
의 진폭이며,
Figure 112008007465712-PAT00006
는 상수)
그리고 하모닉 성분 분석부(15c)는 산출된 하모닉 특징에 따른 하모닉 성분 분석으로 입력된 음악을 인식한다. 즉 하모닉 특징은 추출된 피크 사이의 거리에 기반한 하모닉 성분(f0)과의 평균 거리로서, 오디오 신호의 하모닉 성분(f0)의 크기로 볼 수 있으며, 추출된 하모닉 피크의 주기성에 대한 정보를 제공한다. 따라서 하모닉 성분 분석부(15c)는 산출된 하모닉 특징의 하모닉 성분(f0)과의 평균 거리를 분석하여 입력된 음악을 인식한다.
또한 본 발명에 따른 음악 인식 장치(10)가 제공하는 하모닉 특징은 음악 인식을 수행할 때 하모닉 정보로 사용될 수 있다.
본 발명의 실시예에 따른 음악 인식 방법을 도 1 내지 도 3을 참조하여 설명하면 다음과 같다.
S21과정에서 음성 입력부(11)를 통하여 음악의 오디오 신호가 입력되면, S23과정에서 음성 처리부(13)는 입력된 오디오 신호를 주파수 도메인으로 변환한다.
다음으로 S25과정에서 피크 추출부(15a)는 변환된 주파수 도메인에서 1차 하모닉 피크를 추출한다. 이어서 S27과정에서 피크 추출부(15a)는 추출된 1차 하모닉 피크를 토대로 n차까지 하모닉 피크를 추출한다.
S29과정에서 n차까지의 하모닉 피크 중 사용할 피크 차수가 선택되면, S31과정에서 하모닉 특징 산출부(15b)는 선택된 피크 차수의 하모닉 특징을 산출한다. 즉 하모닉 특징 산출부(15b)는 수학식1 또는 수학식2를 이용하여 하모닉 특징을 산출한다. S29과정에서 사용할 피크 차수의 선택은 입력부(18)를 통한 사용자의 선택 신호에 의해 수행될 수 있다.
이때 사용할 피크 차수로는 2차 이상을 선택하는 것이 바람직하다. 이유는 1차 하모닉 피크는 입력된 오디오 신호에서 변환된 주파수 도메인으로부터 추출하기 때문에, 입력된 오디오 신호에는 노이즈 성분이나 실제 하모닉 피크가 아닌 피크가 하모닉 피크(이하 '더미 피크'라 한다)로 추출될 수 있다. 하지만 2차 이상의 하모닉 피크는 이전 차수의 하모닉 피크로부터 추출된 하모닉 피크이기 때문에, 이전 차수의 하모닉 피크에 포함된 더미 피크를 걸러낼 수 있다.
그리고 S33과정에서 하모닉 성분 분석부(15c)는 산출된 하모닉 특징에 따른 하모닉 성분 분석으로 입력된 음악을 인식한다.
한편 본 실시예에서는 S27과정과 S31과정 사이의 S29과정에서 사용할 피크 차수를 선택하는 예를 개시하였지만 이에 한정되는 것은 아니다. 예컨대, 사용할 피크 차수를 선택하는 과정은 S21과정 전에 수행되거나 디폴트로 설정될 수 있다.
본 발명의 다른 실시예에 따른 음악 인식을 이용한 이동 로봇의 동작 생성 장치(50)는, 도 4에 도시된 바와 같이, 음성 입력부(51), 음성 처리부(53), 제어부(55), 메모리부(57), 입력부(58) 및 표시부(59)를 포함하여 구성된다.
본 실시예에 따른 동작 생성 장치(50)는 별도의 장치로 구현되거나 컴퓨터, 물리적인 이동 로봇에 설치될 수 있다. 동작 생성 장치(50)는 가상의 이동 로봇에 연결될 수 있다. 가상의 이동 로봇은 프로그램적으로 구현된 소프트웨어 로봇으로서, 아바타 형태를 가질 수 있다. 이하 이동 로봇이라 하면 물리적인 이동 로봇과 가상의 이동 로봇을 포함한다.
음성 입력부(51)는 음악의 오디오 신호를 입력받아 음성 처리부(53)로 출력한다. 음성 입력부(51)는 음악의 오디오 신호를 카세트 플레이어, CD 플레이어, MD 플레이어, MP3 플레이어, 컴퓨터, 휴대폰, 라디오 등과 같은 음악 재생 장치로부터 입력받는다. 음성 입력부(51)는 마이크 또는 오디오 신호 입력단을 포함할 수 있다. 마이크는 음악 재생 장치의 스피커를 통하여 출력되는 음악의 오디오 신호를 입력받는다. 오디오 신호 입력단은 유무선으로 연결된 음악 재생 장치로부터 음악의 오디오 신호를 입력받는다. 오디오 신호 입력단과 음악 재생 장치의 유선 연결 방법으로는 오디오 케이블이 사용될 수 있고, 무선 연결 방법으로는 RF 통신 또는 블루투스와 같은 근거리 무선이 사용될 수 있다.
음성 처리부(53)는 음성 입력부(51)로 입력되는 오디오 신호를 주파수 도메인으로 변환하여 제어부(55)로 출력한다. 주파수 도메인으로는 FFT, STFT 또는 DFT 또는 DCT 중에 하나가 사용될 수 있다.
제어부(55)는 동작 생성 장치(50)의 전반적인 제어 동작을 수행하는 마이크로 프로세서이다. 특히 제어부(55)는 입력된 음악의 오디오 신호에 따른 이동 로봇의 동작을 생성하거나 동작 스크립트 파일을 생성한다.
메모리부(57)는 동작 생성 장치(50)의 동작 제어시 필요한 프로그램과, 그 프로그램 수행 중에 발생되는 데이터를 저장하며, 하나 이상의 휘발성 메모리 소자와 비휘발성 메모리 소자로 이루어진다. 특히 메모리부(57)는 음악의 오디오 신호에 따른 이동 로봇의 동작을 생성하거나 동작 스크립트 파일을 생성하는 동작 생성 프로그램(57a)과, 그 동작 생성 프로그램(57a)의 실행에 의해 생성된 동작 스크립트 파일(57b)을 저장할 수 있다.
입력부(58)는 동작 생성 장치(50)의 조작을 위한 복수의 키를 제공하며, 사용자의 키선택에 따른 선택 신호를 발생하여 제어부(55)에 전달한다. 입력부(58)를 통해 발생되는 사용자의 명령은 음성 입력부(51)를 통한 오디오 신호의 입력 허용, 저작 도구 화면(90)의 표시를 포함한 동작 생성 프로그램의 실행, 저작 도구 화면(90)으로의 추출된 음악 특징과 최종 악보의 표시 등이 될 수 있다. 입력부(58)로는 마우스, 키패드, 터치패드와 같은 포인팅 장치, 터치스크린(touch screen) 등 의 입력장치가 사용될 수 있다.
그리고 표시부(59)는 동작 생성 장치(50)에서 실행되는 각종 기능 메뉴를 비롯하여 메모리부(57)에 저장된 정보를 표시한다. 표시부(59)는 동작 스크립트 파일의 생성에 필요에 저작 도구 화면(90)을 표시한다. 표시부(59)로는 LCD(Liquid Crystal Display)나 터치 스크린(touch screen)이 사용될 수 있다. 터치 스크린은 표시 장치와 입력 장치로서의 역할을 동시에 수행한다.
특히 제어부(55)는 음악 특징 추출부(55a), 악보 생성부(55b) 및 동작 생성부(55c)를 포함하여 구성된다. 음악 특징 추출부(55a)는 음악의 오디오 신호를 입력받아 음악 특징을 추출한다. 악보 생성부(55b)는 추출된 음악 특징을 기반으로 음악을 인식하여 초기 악보를 생성하고, 생성된 초기 악보와 추출된 음악 특징을 동기화시켜 최종 악보를 생성한다. 그리고 동작 생성부(55c)는 최종 악보에 이동 로봇의 패턴 동작을 매칭시켜 이동 로봇의 동작을 생성하거나 동작 스크립트 파일을 생성한다. 동작 스크립트 파일에는 음악의 출력에 필요한 최종 악보와, 생성된 이동 로봇의 동작에 대한 정보를 포함한다.
음악 특징 추출부(55a)에서 추출되는 음악 특징은 입력된 음악의 인식에 필요한 음정, 박자, 비트, 하모닉 정보 중에 적어도 하나를 포함한다. 하모닉 정보는 전술된 하모닉 특징을 포함한다.
악보 생성부(55b)는 추출된 음악 특징들 중에서 적어도 하나를 이용하여 초기 악보 및 최종 악보를 순차적으로 생성한다.
그리고 동작 생성부(55c)는, 동작 생성 장치(50)가 이동 로봇에 연결된 경 우, 생성된 동작으로 이동 로봇을 동작시킬 수 있다. 즉 이동 로봇에 음악이 입력되면, 동작 생성부(55c)의 제어에 따라 이동 로봇은 음악에 맞추어 동작하는 기능을 수행한다. 예컨대, 이동 로봇은 음악에 맞추어 이동 또는 회전하거나, 머리, 다리, 팔 등을 움직일 수 있다. 동작 생성부(55c)는 생성된 이동 로봇의 동작을 동작 스크립트 파일로 생성할 수 있다.
이와 같은 이동 로봇의 패턴 동작은 디폴트로 제공될 수 있다. 패턴 동작은 복수의 단위 동작을 포함한다. 단위 동작은 이동 로봇에서 구현될 수 있는 실제 동작을 의미한다. 예컨대 단위 동작은 이동 로봇의 앞으로 이동, 뒤로 이동, 왼쪽으로 이동, 오른쪽으로 이동, 팔을 들고, 들고 있던 팔을 내리고, 머리를 왼쪽으로 회전, 머리를 오른쪽으로 회전 등과 같은 단일 동작과, 복수의 단일 동작이 복합된 복합 동작을 포함한다.
또한 동작 생성부(55c)는 최종 악보에 이동 로봇의 패턴 동작을 매칭시켜 이동 로봇의 동작 스크립트 파일만을 생성할 수 있다. 전술된 바와 같이 패턴 동작은 디폴트로 제공되거나, 저작 도구 화면(90)을 통하여 사용자가 직접 패턴 동작을 선택할 수 있다.
저작 도구 화면(90)에는, 도 5a 내지 도 5c에 도시된 바와 같이, 추출된 음악 특징(95), 최종 악보(93) 및 적어도 하나의 패턴 동작을 포함하는 동작 아이템들(97)이 표시될 수 있다. 사용자가 입력부(58)를 통하여 이동 로봇의 동작에 필요한 동작 아이템(97)을 선택하면, 동작 생성부(55c)는 선택된 동작 아이템(97)으로 입력된 음악에 대응되는 동작 스크립트 파일을 생성한다.
저작 도구 화면(90)에는 추출된 음악 특징(95)과 최종 악보(93)를 입력하고, 동작 스크립트 파일을 생성시키는 메뉴를 포함하는 메뉴바(91)가 표시된다. 저작 도구 화면(90)에는 동작 아이템(97)을 선택하여 동작 스크립트 파일을 생성할 수 있는 작업창(99)이 표시된다. 저작 도구 화면(90)에는 사용자가 시간 기반 방식 또는 이벤트 기반 방식으로 패턴 동작의 선택을 요청하는 안내창(94)이 작업창(99)에 표시될 수 있다. 사용자는 저작 도구 화면(90)에 표시되는 커서(92)를 이용하여 저작 도구 화면(90)에 표시되는 기능을 선택 및 실행시킬 수 있으며, 커서(92)의 이동은 입력부(58)를 통하여 수행될 수 있다.
한편 도 5a 내지 도 5c에서, 동작 아이템들(97)은 영문자 대문자(A,B,C,D…,Z)로 구분하여 표시하였고, 음악 특징들(93)은 영문자 소문자(a,b,c,…,z)로 구분하여 표시하였다.
시간 기반 방식의 경우, 도 5a에 도시된 바와 같이, 인식된 음악이 재생되는 시간의 순서에 따라 수행될 동작 아이템(97)이 선택되어 작업창(99)에 배열되면, 동작 생성부(55c)는 선택 및 배열된 동작 아이템(97)으로 스크립트 파일을 생성한다. 예컨대, 도 5a의 작업창(99)에 표시된 안내창(94)에서 시간 기반이 선택되면, 도 5a에 도시된 바와 같이 동작 생성부(55c)는 작업창(99)에 동작 아이템(97)을 배열할 수 있는 복수의 작업 필드(96)를 표시한다. 사용자가 입력부(58)를 통하여 제 1 내지 제 4 작업 필드(96)에 제 1 내지 제 4 동작 아이템(A,B,C,D)을 선택하여 각각 배열할 수 있다. 그리고 사용자가 입력부(58)를 통하여 메뉴바(91)의 스크립트 파일 생성 메뉴를 선택하면, 동작 생성부(55c)는 배열된 제 1 내지 제 4 동작 아이 템(A,B,C,D)으로 동작 스크립트 파일을 생성한다. 특히 표시부(59)가 터치 스크린인 경우, 동작 아이템(97)을 작업 필드(96)에 드래그 앤 드롭(drag & drop) 방식으로 배열시킬 수 있다.
이와 같이 시간 기반 방식으로 생성된 동작 스크립트 파일이 이동 로봇에 적용된 경우, 이동 로봇은 해당 음악의 재생시 시간의 순서에 따라 제 1 내지 제 4 동작 아이템(A,B,C,D)에 대응되는 동작을 순차적으로 수행한다.
이벤트 기반 방식의 경우, 도 5c에 도시된 바와 같이, 표시된 음악 특징들(95) 중 적어도 하나에 매칭될 동작 아이템(98)이 선택되면, 동작 생성부(55c)는 선택된 음악 특징(a,b,c,d)에 매칭된 동작 아이템(A,B,C,D)으로 동작 스크립트 파일을 생성한다. 예컨대, 도 5a의 작업창(99)에 표시된 안내창(94)에서 이벤트 기반이 선택되면, 도 5c에 도시된 바와 같이 동작 생성부(55c)는 작업창(99)에 음악 특징(95)과 동작 아이템(97)을 매칭시킬 수 있는 작업 필드(98)를 표시한다. 사용자가 입력부(58)를 통하여 제 1 내지 제 4 작업 필드(98)에 제 1 내지 제 4 음악 특징(a,b,c,d)과, 제 1 내지 제 4 동작 아이템(A,B,C,D)을 각각 매칭시켜 배열할 수 있다. 그리고 사용자가 입력부(58)를 통하여 메뉴바(91)의 스크립트 파일 생성 메뉴를 선택하면, 동작 생성부(55c)는 제 1 내지 제 4 음악 특징(a,b,c,d)과, 제 1 내지 제 4 동작 아이템(A,B,C,D)이 각각 매칭된 동작 스크립트 파일을 생성한다. 특히 표시부(59)가 터치 스크린인 경우, 음악 특징(93)과 동작 아이템(97)을 작업 필드(98)에 드래그 앤 드롭 방식으로 배열시킬 수 있다.
이와 같이 이벤트 기반 방식으로 생성된 동작 스크립트 파일이 이동 로봇에 적용된 경우, 이동 로봇은 해당 음악의 재생시 해당 음악 특징이 출현할 때마다 해당 음악 특징에 매칭된 동작 아이템에 대응되는 동작을 수행한다. 즉 음악 재생시 제 2 음악 특징(b)이 출현하면, 이동 로봇은 제 2 음악 특징(b)에 매칭된 제 2 동작 아이템(B)에 대응되는 동작을 수행한다.
한편 도 5a에서는 제 1 내지 제 4 동작 아이템(A,B,C,D)이 배열된 예를 개시하였지만 이에 한정되는 것은 아니며 다양하게 배열할 수 있음은 물론이다. 또한 도 5c에서는 제 1 내지 제 4 음악 특징(a,b,c,d)에 제 1 내지 제 4 동작 아이템(A,B,C,D)이 매칭된 예를 개시하였지만 이에 한정되는 것은 아니며 다양하게 매칭할 수 있음은 물론이다. 또한 도 5a 내지 도 5c는 저작 도구 화면(90)의 일 예에 불과하며 다양한 형태로 변형될 수 있음은 물론이다.
본 발명의 따른 실시예에 따른 음악 인식을 이용한 이동 로봇의 동작 생성 방법을 도 4 내지 도 7을 참조하여 설명하면 다음과 같다.
먼저 도 4 및 도 6을 참조하여 동작 생성 방법의 제 1 예를 설명하면 다음과 같다. 제 1 예는 저작 도구 화면(90)을 사용하지 않는 경우의 동작 생성 방법으로, 이동 로봇에 본 실시예에 따른 동작 생성 장치(50)가 연결된 경우이다.
S61과정에서 음성 입력부(51)를 통하여 오디오 신호가 입력되면 음성 처리부(53)는 입력된 오디오 신호를 주파수 도메인으로 변환한다.
S63과정에서 음악 특징 추출부(55a)는 입력된 음악의 오디오 신호로부터 음악 특징을 추출한다. 이때 음악 특징 추출부(55a)에서 추출되는 음악 특징은 입력된 음악의 인식에 필요한 음정, 박자, 비트, 하모닉 정보 중에 적어도 하나를 포함 한다. 하모닉 정보는 전술된 하모닉 특징을 포함한다.
S65과정 및 S65과정에서 악보 생성부(55b)는 초기 악보와 최종 악보를 순차적으로 생성한다. 즉 S65과정에서 악보 생성부(55b)는 추출된 음악 특징을 기반으로 음악을 인식하여 초기 악보를 생성한다. 이어서 S67과정에서 악보 생성부(55b)는 생성된 초기 악보와 추출된 음악 특징을 동기화시켜 최종 악보를 생성한다.
S69과정에서 동작 생성부(55c)는 최종 악보에 이동 로봇의 패턴 동작을 매칭시켜 이동 로봇의 동작을 생성한다. 예컨대 동작 생성부(55c)는 최종 악보에 동기화된 음악 특징에 이동 로봇의 패턴 동작을 매칭시켜 이동 로봇의 동작을 생성할 수 있다. 동작 생성부(55c)는 생성된 동작으로 이동 로봇을 동작시킨다. 따라서 본 실시예에 따른 동작 생성 장치(50)가 연결된 이동 로봇은 입력되는 음악에 맞추어 동작을 수행한다.
그리고 S71과정에서 동작 생성부(55c)는 생성된 이동 로봇의 동작을 동작 스크립트 파일로 생성할 수 있다. 또한 동작 생성부(55c)는 생성된 동작 스크립트 파일을 메모리부(57)에 저장할 수 있다.
한편 제 1 예에 따른 동작 생성 방법에서는 최종 악보에 이동 로봇의 패턴 동작을 매칭시켜 이동 로봇의 동작을 생성하는 과정을 개시하였지만 이에 한정되는 것은 아니다. 예컨대, 음악의 오디오 신호를 입력받아 음악 특징을 추출하고, 최종 악보의 생성 없이 추출된 음악 특징에 이동 로봇의 패턴 동작을 매칭시켜 이동 로봇의 동작을 생성할 수도 있다.
다음으로 도 4, 도 5a 내지 도 5c 및 도 7을 참조하여 동작 생성 방법의 제 2 예를 설명하면 다음과 같다. 제 2 예는 저작 도구 화면(90)을 사용하는 경우의 동작 생성 방법이다.
제 2 예에 따른 동작 생성 방법에 있어서, S81과정 내지 S87과정은 제 1 예에 따른 동작 생성 방법의 S61과정 내지 S67과정과 동일한 순서로 진행되기 때문에 상세한 설명은 생략한다.
그리고 S87과정 이후에 S89과정에서 동작 생성부(55c)는 최종 악보에 이동 로봇의 패턴 동작을 매칭시켜 이동 로봇의 동작 스크립트 파일을 생성한다. 이때 패턴 동작은 디폴트로 제공되거나, 저작 도구 화면(90)을 통하여 사용자가 직접 패턴 동작을 선택할 수 있다. 사용자는 입력부(58)를 통하여 저작 도구 화면(90)에서 패턴 동작을 시간 기반 방식 또는 이벤트 기반 방식으로 선택하여 패턴 동작을 선택할 수 있다.
이와 같이 본 발명에 따른 동작 생성 방법은 제 1 예에 개시된 바와 같이 입력되는 음악에 맞추어 이동 로봇을 바로 동작시킬 수 있다.
또한 제 1 및 제 2 예에 개시된 바와 같이, 입력되는 음악에 맞추어 이동 로봇을 동작시킬 수 있는 동작 스크립트 파일을 생성한다. 따라서 생성된 동작 스크립트 파일은 다른 이동 로봇의 동작 생성에 필요한 소스로 사용될 수 있다. 즉 동작 스크립트 파일을 이동 로봇에 제공하면, 이동 로봇은 입력된 동작 스크립트 파일의 음악을 출력하면서 동작을 수행할 수 있다. 또는 입력된 동작 스크립트 파일에 대응되는 음악이 이동 로봇으로 입력되면, 이동 로봇은 입력된 동작 스크립트 파일에 따른 동작을 수행하게 된다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
도 1은 본 발명의 실시예에 따른 하모닉 특징을 이용한 음악 인식 장치의 구성을 보여주는 블록도이다.
도 2는 도 1의 피크 추출부에서 수행되는 하모닉 피크 추출 방법을 보여주는 그래프이다.
도 3은 본 발명의 실시예에 따른 음악 인식용 하모닉 특징 산출 방법에 따른 흐름도이다.
도 4는 본 발명의 다른 실시예에 따른 음악 인식을 이용한 이동 로봇의 동작 생성 장치의 구성을 보여주는 블록도이다.
도 5a 내지 도 5c는 도 4의 표시부에 표시되는 저작 도구 화면을 보여주는 화면 예시도이다.
도 6은 본 발명의 다른 실시예에 따른 음악 인식을 이용한 이동 로봇의 동작 생성 방법에 따른 제 1 흐름도이다.
도 7은 본 발명의 다른 실시예에 따른 음악 인식을 이용한 이동 로봇의 동작 생성 방법에 따른 제 2 흐름도이다.

Claims (25)

  1. 음악의 오디오 신호를 입력받아 주파수 도메인으로 변환하는 변환 과정과;
    상기 변환된 주파수 도메인에서 1차 하모닉 피크를 추출하고, 상기 추출된 1차 하모닉 피크를 토대로 n차까지 하모닉 피크(n은 2이상의 자연수)를 추출하는 추출 과정과;
    동일한 차수의 상기 추출된 하모닉 피크 사이의 거리에 기반한 하모닉 성분(f0)과의 평균 거리인 상기 음악의 하모닉 특징을 산출하는 산출 과정;을 포함하는 것을 특징으로 하는 하모닉 특징을 이용한 음악 인식 방법.
  2. 제 1항에 있어서,
    상기 산출된 하모닉 특징에 따른 하모닉 성분 분석으로 상기 입력된 음악을 인식하는 인식 과정;을 더 포함하는 것을 특징으로 하는 하모닉 특징을 이용한 음악 인식 방법.
  3. 제 2항에 있어서, 상기 하모닉 특징은,
    Figure 112008007465712-PAT00007
    (N은 해당 차수 하모닉 피크의 총 피크수,
    Figure 112008007465712-PAT00008
    는 k번째 하모닉 피크)
    위의 수학식으로 산출되는 것을 특징으로 하는 하모닉 특징을 이용한 음악 인식 방법.
  4. 제 2항에 있어서, 상기 하모닉 특징은,
    Figure 112008007465712-PAT00009
    (
    Figure 112008007465712-PAT00010
    는
    Figure 112008007465712-PAT00011
    의 진폭이며,
    Figure 112008007465712-PAT00012
    는 상수)
    위의 수학식으로 산출되는 것을 특징으로 하는 하모닉 특징을 이용한 음악 인식 방법.
  5. 제 3항 또는 제 4항에 있어서, 상기 추출 과정에서,
    n차 하모닉 피크는 (n-1)차 하모닉 피크로 이루어진 주파수 도메인에서 추출된 것을 특징으로 하는 하모닉 특징을 이용한 음악 인식 방법.
  6. 제 5항에 있어서, 상기 산출 과정에서 사용되는 하모닉 피치 차수는 2차 이상의 하모닉 피크에서 선택되는 것을 특징으로 하는 하모닉 특징을 이용한 음악 인식 방법.
  7. 음악의 오디오 신호를 입력받아 음악 특징을 추출하는 과정과;
    상기 추출된 음악 특징을 기반으로 상기 음악을 인식하여 초기 악보를 생성 하는 초기 악보 생성 과정과;
    상기 초기 악보와 상기 추출된 음악 특징이 동기화된 최종 악보를 생성하는 과정과;
    상기 최종 악보에 이동 로봇의 패턴 동작을 매칭시켜 이동 로봇의 동작을 생성하는 동작 생성 과정;을 포함하는 것을 특징으로 하는 음악 인식을 이용한 이동 로봇의 동작 생성 방법.
  8. 제 7항에 있어서, 상기 음악 특징은 상기 음악의 음정, 박자, 비트, 하모닉 정보 중에 적어도 하나를 포함하는 것을 특징으로 하는 것을 특징으로 하는 음악 인식을 이용한 이동 로봇의 동작 생성 방법.
  9. 제 8항에 있어서, 상기 하모닉 정보는,
    음악의 오디오 신호를 입력받아 주파수 도메인으로 변환하는 변환 과정과;
    상기 변환된 주파수 도메인에서 1차 하모닉 피크를 추출하고, 상기 추출된 1차 하모닉 피크를 토대로 n차까지 하모닉 피크(n은 2이상의 자연수)를 추출하는 추출 과정과;
    동일한 차수의 상기 추출된 하모닉 피크 사이의 거리에 기반한 하모닉 성분과의 평균 거리인 상기 음악의 하모닉 특징을 산출하는 산출 과정;에 의해 획득되는 상기 하모닉 특징을 포함하는 것을 특징으로 하는 음악 인식을 이용한 이동 로봇의 동작 생성 방법.
  10. 제 8항에 있어서, 상기 동작 생성 과정에서 상기 패턴 동작은 디폴트로 제공되는 것을 특징으로 하는 음악 인식을 이용한 이동 로봇의 동작 생성 방법.
  11. 제 10항에 있어서,
    상기 생성된 이동 로봇의 동작을 동작 스크립트 파일로 생성하는 스크립트 파일 생성 과정;을 더 포함하는 것을 특징으로 하는 음악 인식을 이용한 이동 로봇의 동작 생성 방법.
  12. 제 7항에 있어서, 상기 이동 로봇은 물리적인 이동 로봇과 가상 이동 로봇을 포함하는 것을 특징으로 하는 음악 인식을 이용한 이동 로봇의 동작 생성 방법.
  13. 음악의 오디오 신호를 입력받아 음악 특징을 추출하는 과정과;
    상기 추출된 음악 특징을 기반으로 상기 음악을 인식하여 초기 악보를 생성하는 초기 악보 생성 과정과;
    상기 초기 악보와 상기 추출된 음악 특징이 동기화된 최종 악보를 생성하는 과정과;
    상기 최종 악보에 이동 로봇의 패턴 동작을 매칭시켜 이동 로봇의 동작 스크립트 파일을 생성하는 동작 스크립트 파일 생성 과정;을 포함하는 것을 특징으로 하는 음악 인식을 이용한 이동 로봇의 동작 생성 방법.
  14. 제 13항에 있어서, 상기 음악 특징은 상기 음악의 음정, 박자, 비트, 하모닉 정보 중에 적어도 하나를 포함하는 것을 특징으로 하는 것을 특징으로 하는 음악 인식을 이용한 이동 로봇의 동작 생성 방법.
  15. 제 14항에 있어서, 상기 하모닉 정보는,
    음악의 오디오 신호를 입력받아 주파수 도메인으로 변환하는 변환 과정과;
    상기 변환된 주파수 도메인에서 1차 하모닉 피크를 추출하고, 상기 추출된 1차 하모닉 피크를 토대로 n차까지 하모닉 피크(n은 2이상의 자연수)를 추출하는 추출 과정과;
    동일한 차수의 상기 추출된 하모닉 피크 사이의 거리에 기반한 하모닉 성분과의 평균 거리인 상기 음악의 하모닉 특징을 산출하는 산출 과정;에 의해 획득되는 상기 하모닉 특징을 포함하는 것을 특징으로 하는 음악 인식을 이용한 이동 로봇의 동작 생성 방법.
  16. 제 14항에 있어서, 상기 동작 스크립트 파일 생성 과정에서 상기 패턴 동작은 디폴트로 제공되는 것을 특징으로 하는 음악 인식을 이용한 이동 로봇의 동작 생성 방법.
  17. 제 14항에 있어서, 상기 동작 스크립트 파일 생성 과정은 저작 도구 화면에 서 수행되는 것을 특징으로 하는 음악 인식을 이용한 이동 로봇의 동작 생성 방법.
  18. 제 17항에 있어서, 상기 패턴 동작은 복수의 단위 동작을 포함하는 것을 특징으로 하는 음악 인식을 이용한 이동 로봇의 동작 생성 방법.
  19. 제 18항에 있어서, 상기 동작 스크립트 파일 생성 과정은,
    상기 저작 도구 화면에 상기 추출된 음악 특징과, 상기 최종 악보 및 적어도 하나의 패턴 동작을 포함하는 동작 아이템들을 표시하는 제 1 과정과;
    상기 인식된 음악이 재생되는 시간의 순서에 따라 수행될 상기 동작 아이템을 선택 및 배열하여 동작 스크립트 파일을 생성하는 제 2 과정;을 포함하는 것을 특징으로 하는 음악 인식을 이용한 이동 로봇의 동작 생성 방법.
  20. 제 18항에 있어서, 상기 동작 스크립트 파일 생성 과정은,
    상기 저작 도구 화면에 상기 추출된 음악 특징과, 상기 최종 악보 및 적어도 하나의 패턴 동작을 포함하는 동작 아이템들을 표시하는 제 1 과정과;
    상기 표시된 음악 특징들 중 적어도 하나의 음악 특징에 상기 동작 아이템을 각각 매칭시켜 동작 스크립트 파일을 생성하는 제 2 과정;을 포함하는 것을 특징으로 하는 음악 인식을 이용한 이동 로봇의 동작 생성 방법.
  21. 제 13항에 있어서, 상기 이동 로봇은 물리적인 이동 로봇과 가상 이동 로봇 을 포함하는 것을 특징으로 하는 음악 인식을 이용한 이동 로봇의 동작 생성 방법.
  22. 음악의 오디오 신호를 입력받아 음악 특징을 추출하는 추출 과정과;
    상기 추출된 음악 특징에 이동 로봇의 패턴 동작을 매칭시켜 이동 로봇의 동작을 생성하는 동작 생성 과정;을 포함하는 것을 특징으로 하는 음악 인식을 이용한 이동 로봇의 동작 생성 방법.
  23. 제 20항에 있어서, 상기 음악 특징은 상기 음악의 음정, 박자, 비트, 하모닉 정보 중에 적어도 하나를 포함하는 것을 특징으로 하는 것을 특징으로 하는 음악 인식을 이용한 이동 로봇의 동작 생성 방법.
  24. 제 23항에 있어서, 상기 하모닉 정보는,
    음악의 오디오 신호를 입력받아 주파수 도메인으로 변환하는 변환 과정과;
    상기 변환된 주파수 도메인에서 1차 하모닉 피크를 추출하고, 상기 추출된 1차 하모닉 피크를 토대로 n차까지 하모닉 피크(n은 2이상의 자연수)를 추출하는 추출 과정과;
    동일한 차수의 상기 추출된 하모닉 피크 사이의 거리에 기반한 하모닉 성분과의 평균 거리인 상기 음악의 하모닉 특징을 산출하는 산출 과정;에 의해 획득되는 상기 하모닉 특징을 포함하는 것을 특징으로 하는 음악 인식을 이용한 이동 로봇의 동작 생성 방법.
  25. 제 13항에 있어서, 상기 동작 생성 과정에서 상기 패턴 동작은 상기 음악 특징들에 각각 대응되게 설정된 것을 특징으로 하는 음악 인식을 이용한 이동 로봇의 동작 생성 방법.
KR1020080009070A 2008-01-29 2008-01-29 하모닉 특징을 이용한 음악 인식 방법 및 음악 인식을이용한 이동 로봇의 동작 생성 방법 KR20090083098A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080009070A KR20090083098A (ko) 2008-01-29 2008-01-29 하모닉 특징을 이용한 음악 인식 방법 및 음악 인식을이용한 이동 로봇의 동작 생성 방법
US12/361,692 US20090205483A1 (en) 2008-01-29 2009-01-29 Music recognition method based on harmonic features and mobile robot motion generation method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080009070A KR20090083098A (ko) 2008-01-29 2008-01-29 하모닉 특징을 이용한 음악 인식 방법 및 음악 인식을이용한 이동 로봇의 동작 생성 방법

Publications (1)

Publication Number Publication Date
KR20090083098A true KR20090083098A (ko) 2009-08-03

Family

ID=40953889

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080009070A KR20090083098A (ko) 2008-01-29 2008-01-29 하모닉 특징을 이용한 음악 인식 방법 및 음악 인식을이용한 이동 로봇의 동작 생성 방법

Country Status (2)

Country Link
US (1) US20090205483A1 (ko)
KR (1) KR20090083098A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101140737B1 (ko) * 2010-07-26 2012-05-03 전자부품연구원 기본 주파수 추출 장치, 보컬 멜로디 추출 장치 및 방법
US9373336B2 (en) 2013-02-04 2016-06-21 Tencent Technology (Shenzhen) Company Limited Method and device for audio recognition
US10354307B2 (en) 2014-05-29 2019-07-16 Tencent Technology (Shenzhen) Company Limited Method, device, and system for obtaining information based on audio input

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8613666B2 (en) 2010-08-31 2013-12-24 Microsoft Corporation User selection and navigation based on looped motions
US8589171B2 (en) 2011-03-17 2013-11-19 Remote Media, Llc System and method for custom marking a media file for file matching
US8688631B2 (en) 2011-03-17 2014-04-01 Alexander Savenok System and method for media file synchronization
US8478719B2 (en) 2011-03-17 2013-07-02 Remote Media LLC System and method for media file synchronization
JP6019858B2 (ja) * 2011-07-27 2016-11-02 ヤマハ株式会社 楽曲解析装置および楽曲解析方法
US20140013193A1 (en) * 2012-06-29 2014-01-09 Joseph John Selinger Methods and systems for capturing information-enhanced images
TW201434600A (zh) * 2013-03-01 2014-09-16 Compal Electronics Inc 具有可因應不同聲音信號產生相對應肢體動作之機器人
US8927846B2 (en) * 2013-03-15 2015-01-06 Exomens System and method for analysis and creation of music
CN106558318B (zh) 2015-09-24 2020-04-28 阿里巴巴集团控股有限公司 音频识别方法和系统
US20170282383A1 (en) * 2016-04-04 2017-10-05 Sphero, Inc. System for content recognition and response action
US20210090535A1 (en) * 2019-09-24 2021-03-25 Secret Chord Laboratories, Inc. Computing orders of modeled expectation across features of media

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101140737B1 (ko) * 2010-07-26 2012-05-03 전자부품연구원 기본 주파수 추출 장치, 보컬 멜로디 추출 장치 및 방법
US9373336B2 (en) 2013-02-04 2016-06-21 Tencent Technology (Shenzhen) Company Limited Method and device for audio recognition
US10354307B2 (en) 2014-05-29 2019-07-16 Tencent Technology (Shenzhen) Company Limited Method, device, and system for obtaining information based on audio input

Also Published As

Publication number Publication date
US20090205483A1 (en) 2009-08-20

Similar Documents

Publication Publication Date Title
KR20090083098A (ko) 하모닉 특징을 이용한 음악 인식 방법 및 음악 인식을이용한 이동 로봇의 동작 생성 방법
JP6595686B2 (ja) ハプティック効果の自動適合
CN104620313B (zh) 音频信号分析
US11175698B2 (en) Methods and systems for processing touch inputs based on touch type and touch intensity
JP6004358B1 (ja) 音声合成装置および音声合成方法
CN1959629B (zh) 用于用声音控制计算机用户界面的方法和装置
CN103092981B (zh) 一种建立语音标记的方法及电子设备
JP2020046500A (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP4906776B2 (ja) 音声制御装置
US11430417B2 (en) Data generation device and non-transitory computer-readable storage medium
CN113901186A (zh) 电话录音标注方法、装置、设备及存储介质
Lee et al. Haptic interaction with user manipulation for smartphone
WO2007017796A2 (en) Method for introducing interaction pattern and application functionalities
JP2005227850A (ja) 情報処理装置、情報処理方法及びプログラム
CN109814541B (zh) 一种机器人的控制方法、系统及终端设备
JP2006189799A (ja) 選択可能な音声パターンの音声入力方法及び装置
JP5935815B2 (ja) 音声合成装置およびプログラム
KR20120077757A (ko) 입력 음성의 분석을 이용한 작곡 및 기성곡 검색 시스템
Ó Nuanáin et al. An interactive software instrument for real-time rhythmic concatenative synthesis
JP6391064B2 (ja) 音声出力処理装置、音声出力処理プログラムおよび音声出力処理方法
CN111201799A (zh) 话筒、声音处理系统和声音处理方法
JP5391597B2 (ja) 楽音データ編集装置及びプログラム
Chiu et al. The Design of Music Conducting System Using Kinect and Dynamic Time Warping
JP2010072223A (ja) 演奏データ編集装置及びプログラム

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid