KR20100086618A - 생체 신호를 이용한 음악 검색 장치 및 그 방법 - Google Patents

생체 신호를 이용한 음악 검색 장치 및 그 방법 Download PDF

Info

Publication number
KR20100086618A
KR20100086618A KR1020090005932A KR20090005932A KR20100086618A KR 20100086618 A KR20100086618 A KR 20100086618A KR 1020090005932 A KR1020090005932 A KR 1020090005932A KR 20090005932 A KR20090005932 A KR 20090005932A KR 20100086618 A KR20100086618 A KR 20100086618A
Authority
KR
South Korea
Prior art keywords
sound source
biosignal
feature information
information
similar
Prior art date
Application number
KR1020090005932A
Other languages
English (en)
Other versions
KR101142679B1 (ko
Inventor
김재필
정선태
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090005932A priority Critical patent/KR101142679B1/ko
Priority to US12/693,159 priority patent/US20100186577A1/en
Publication of KR20100086618A publication Critical patent/KR20100086618A/ko
Application granted granted Critical
Publication of KR101142679B1 publication Critical patent/KR101142679B1/ko
Priority to US15/182,176 priority patent/US20160292271A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/40—Rhythm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00—Measuring physiological parameters of the user
    • A63B2230/04—Measuring physiological parameters of the user heartbeat characteristics, e.g. ECG, blood pressure modulations
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/0028—Training appliances or apparatus for special sports for running, jogging or speed-walking
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/371—Vital parameter control, i.e. musical instrument control based on body signals, e.g. brainwaves, pulsation, temperature or perspiration; Biometric information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/131—Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

본 발명은 생체 신호를 이용한 음악 검색 장치 및 그 방법에 관한 것이다.
이를 위해 본 발명은 사용자 상황별로 선택된 음원에 대한 음원 특징 정보와 사용자 상황별로 측정된 사용자의 생체 신호에 대한 생체 신호 특징 정보를 매칭시킨 특징 정보 테이블을 생성하고, 사용자의 요청에 따라 측정된 생체 신호에 대한 생체 신호 특징 정보와 유사한 유사 생체 신호 특징 정보를 특징 정보 테이블로부터 검출한 후 검출된 유사 생체 신호 특징 정보에 대응되는 음원 특징 정보와 유사한 음원 특징 정보를 가지는 음원을 검색함으로써 사용자가 측정된 자신의 생체 신호를 이용하여 자동으로 자신이 선호하는 음악을 선곡할 수 있게 된다.
생체 신호, 심전도, 음악 검색, 생체 신호 특징 정보, 음원 특징 정보

Description

생체 신호를 이용한 음악 검색 장치 및 그 방법{SYSTEM AND METHOD FOR RETRIEVING MUSIC USING BIO-SIGNAL}
본 발명은 음악 검색 장치 및 그 방법에 관한 것으로, 특히 심전도 또는 광전용적맥파와 같은 생체 신호를 이용하여 음악을 검색하기 위한 장치 및 그 방법에 관한 것이다.
사용자는 일반적으로 운동을 하면서 음악을 듣게 되는데, 이처럼 사용자가 운동을 하면서 음악을 듣는 것이 운동 결과에 영향을 미친다는 연구 결과를 바탕으로 사용자의 심박수에 따라 음악을 검색하기 위한 방법이 개발되었다.
이러한 음악 검색 방법은 사용자의 목표 심박수를 설정하고, 실제로 사용자가 운동하는 중에 사용자의 심박수를 검출하여 검출된 심박수와 미리 설정된 목표 심박수를 비교한다. 만약 검출된 심박수가 목표 심박수보다 작으면 사용자가 빠른 음악을 들으면서 운동할 수 있도록 빠른 박자의 음악을 현재 재생중인 음악 재생 목록에 업데이트 한다.
또한 검출된 심박수가 목표 심박수보다 크면 사용자가 느린 박자의 음악을 들으면서 운동할 수 있도록 느린 박자의 음악을 현재 재생중인 음악 재생 목록에 업데이트 한다.
이처럼 음악 검색 방법은 사용자의 현재 심박수와 목표 심박수를 비교하여 사용자의 현재 상태 조건에 맞는 음악을 검색하여 운동 시 실시간으로 음악 재생 장치에서 재생될 수 있도록 한다.
상기와 같이 사용자의 심박수를 이용한 음악 검색 방법 이외에 사용자의 휘파람이나 허밍을 이용한 음악 검색 방법도 있다. 이러한 음악 검색 방법은 마이크로 입력된 사용자의 허밍 데이터의 음 높이 변화를 이용하여 음원이 저장된 데이터베이스 내의 컨텐츠와 비교 검색하는 방법이다.
이와 같이 종래에는 운동 시 심전도로부터 검출되는 심박수를 목표 심박수와 비교하여 비교 결과에 따라 빠른 박자의 음악 또는 느린 박자의 음악을 검색하여 재생하였다.
그러나 종래에는 심박수만을 이용하여 음악의 박자, 채널별 음원 데이터 크기와 같은 객관적인 수치 데이터를 이용하여 음악을 검색하기 때문에 사용자의 선호도가 반영된 음악 검색이 어렵다는 문제점이 있다.
뿐만 아니라 종래에는 검색된 음악이 빠른 박자의 음악이거나 느린 박자의 음악으로 분류될 수 있어 사용자에게 식상한 음악을 제공할 수 있다는 문제점이 있다.
또한 사용자의 휘파람이나 허밍을 이용하여 음악을 검색할 시 허밍의 질에 따라 검색 결과의 정확도가 달라지는 문제점이 있다.
따라서, 본 발명은 생체 신호를 이용하여 사용자 선호도가 반영된 음악 검색을 위한 장치 및 그 방법을 제공한다.
상술한 바를 달성하기 위한 본 발명은 사용자의 생체 신호를 측정하는 생체 신호 측정부와, 상기 측정된 생체 신호에 대한 생체 신호 특징 정보를 추출하는 생체 신호 특징 정보 추출부와, 음원에 대한 음원 특징 정보를 추출하는 음원 특징 정보 추출부와, 복수의 음원을 저장하는 메모리부와, 사용자의 음원 선택이 있으면 상기 선택된 음원에 대한 음원 특징 정보를 추출하도록 상기 음원 특징 정보 추출부제어하고, 상기 측정된 생체 신호에 대한 생체 신호 특징 정보를 상기 추출된 음원 특징 정보와 상기 추출된 생체 신호 특징 정보를 매칭시켜 특징 정보 테이블을 생성한 후 사용자 요청에 따라 생체 신호를 측정하도록 상기 생체 신호 측정부를 제어하고, 상기 특징 정보 테이블에 저장된 생체 신호 특징 정보들 중 상기 측정된 생체 신호와 유사한 유사 생체 신호 특징 정보를 추출한 후 상기 메모리부에 저장된 복수의 음원 중 상기 유사 생체 신호 특징 정보에 대응된 음원 특징 정보와 유사한 유사 음원 특징 정보를 가지는 음원을 검색한 후 상기 검색된 음원을 음원 재생 목록에 업데이트하는 제어부를 포함하는 것을 특징으로 한다.
또한, 본 발명은 사용자 상황별로 음원 선택이 있으면 상기 선택된 음원에 대한 음원 특징 정보를 추출하는 과정과, 상기 사용자 상황별로 사용자의 생체 신호를 측정하는 과정과, 상기 측정된 생체 신호에 대한 생체 신호 특징 정보를 추출하는 과정과, 상기 추출된 음원 특징 정보와 상기 추출된 생체 신호 특징 정보를 매칭시켜 상기 특정 정보 테이블을 생성하는 과정과, 사용자 요청에 따라 생체 신호를 측정하는 과정과, 상기 특정 정보 테이블에 저장된 생체 신호 특징 정보들 중 상기 추출된 생체 신호 특징 정보와 유사한 유사 생체 신호 특정 정보를 검출하는 과정과, 복수의 음원 중 상기 검출된 유사 생체 신호 특정 정보에 대응된 음원 특징 정보와 유사한 유사 음원 특징 정보를 가지는 음원을 검색하는 과정과, 상기 검색된 음원을 음원 재생 목록에 업데이트하는 과정을 포함함을 특징으로 한다.
본 발명은 사용자가 음악을 들으면서 생체 신호를 측정하고, 측정된 생체 신호에 대한 특징 정보와 특징 음원에 대한 특징 정보를 미리 매칭함으로써 이후에 측정된 생체 신호를 이용하여 자동으로 사용자가 선호하는 음악을 선곡할 수 있다는 이점이 있다.
또한 본 발명은 생체 신호에 대한 특징 정보와 사용자에 의해 선택된 특징 음원에 대한 특징 정보를 매칭함으로써 사용자가 선호하는 음악과 유사한 음악을 검색할 수 있는 가능성이 높다는 이점이 있다.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
도 1은 본 발명의 실시 예에 따른 음악 검색 장치의 구성도를 나타내는 도면이다.
본 발명의 실시 예에 따른 음악 검색 장치는 제어부(10), 생체 신호 측정부(20), 생체 신호 특징 정보 추출부(30), 메모리부(40), 음원 특징 정보 추출부(50), 입력부(70)를 포함한다.
제어부(10)는 음악 검색 장치의 전반적인 동작을 제어하는데 특히, 입력부(70)를 통해서 사용자 카테고리 입력이 있는지 판단한다. 이때 사용자 상황별 카테고리는 운동, 휴식, 피로와 같은 사용자 상황을 의미한다.
제어부(10)는 카테고리별로 현재 사용자가 선호하는 음원에 대한 선택을 입 력부(70)를 통해서 입력받는다.
제어부(10)는 사용자 상황별 카테고리별로 선택된 음악들 각각에 대한 음악 선택 리스트를 생성한다. 이때 생성된 음악 선택 리스들은 운동 시 듣고 싶은 음악들, 휴식 때 듣고 싶은 음악들, 피로할 때 듣고 싶은 음악들 각각에 대한 음악 선택 리스트를 의미한다.
제어부(10)는 생성된 음악 선택 리스트에 포함된 음원들 각각에 대한 음원 특징 정보를 음원 특징 정보 추출부(50)가 추출하도록 제어한다. 여기서 음원 특징 정보는 음원의 제목, 가수, 음높이의 변화, 템포, 음의 길이와 같은 정보를 포함한다.
제어부(10)는 사용자 상황별 카테고리별로 추출된 음원 특징 정보를 대응시켜 메모리부(40)에 저장한다. 구체적으로 도 2를 참조하면 제어부(10)는 입력부(70)를 통해서 입력된 사용자 상황1(200)과 추출된 제1 음원 특징 정보(202)를 대응시켜 저장한다.
이후 입력부(70)를 통해서 생체 신호를 측정하기 위한 요청이 있으면 제어부(10)는 사용자의 심전도 또는 광전용적맥파와 같은 생체 신호를 측정하도록 생체 신호 측정부(20)를 제어하고, 측정된 생체 신호에 대한 생체 신호 특징 정보를 추출하도록 생체 신호 특징 정보 추출부(30)를 제어한다. 여기서 생체 신호 특징 정보는 심박수의 최대, 최소, 평균, 표준 편차 및 심박 변화율에 대한 정보를 포함한다. 이때 사용자는 선택된 음악을 들으면서 생체 신호를 측정한다.
제어부(10)는 도 2와 같이 생체 신호 특징 정보 추출부(30)를 통해서 추출된 제1 생체 신호 특징 정보(201)를 사용자 상황1(202)과 대응된 제1 음원 특징 정보(202)와 매칭시킨 특징 정보 테이블을 생성한다.
한편 입력부(70)를 통해서 음원 업데이트 요청이 있으면 제어부(10)는 사용자의 생체 신호를 측정하도록 생체 신호 측정부(20)를 제어하고, 생체 신호 특징 정보를 추출하도록 생체 신호 특징 정보 추출부(30)를 제어한다.
제어부(10)는 특징 정보 테이블에 저장된 생체 신호 특징 정보와 추출된 생체 신호 특징 정보를 비교하여 추출된 생체 신호 특징 정보와 유사한 유사 생체 신호 특징 정보를 검출한다. 이때 제어부(10)는 특징 정보 테이블에 저장된 생체 신호 특징 정보 값과 추출된 생체 신호 특징 정보 값의 차이 값이 미리 설정된 임계값 보다 작으면 유사하다고 판단한다.
제어부(10)는 검출된 유사 생체 신호 특징 정보에 대응되는 음원 특징 정보를 추출하고, 추출된 음원 특징 정보와 메모리부(40)에 저장된 음원들에 대한 음원 특징 정보를 비교한다.
제어부(10)는 비교 결과 추출된 음원 특징 정보와 유사한 음원 특징 정보를 가지는 음원들을 메모리부(40)로부터 검출한다. 이때 제어부(10)는 추출된 음원 특징 정보 값과 메모리부(40)에 저장된 음원에 대한 특징 정보 값의 차이값이 미리 설정된 임계값 보다 작으면 유사하다고 판단한다.
이후 제어부(10)는 검출된 음원들을 음원 재생 목록에 업데이트한다. 이때 본 발명에서는 상기와 같이 실시간으로 음원 재생 목록을 업데이트하는 대신에 특징 정보 테이블을 생성할 시 사용자 상황 카테고리별로 저장된 음원 특징 정보와 유사한 음원 특징 정보를 가지는 음원들을 추출하여 음원 업데이트 리스트를 생성할 수도 있다.
이와 같이 본 발명은 사용자의 상태에 따라 사용자가 선호하는 음원과 유사한 음원을 검색하여 제공할 수 있다는 이점이 있다.
생체 신호 측정부(20)는 심전도 또는 광전용적맥파와 같은 생체 신호를 측정하여 생체 신호 특징 정보 추출부(30)로 전달한다. 구체적으로 생체 신호 측정부(20)는 심전도 또는 광전용적맥파와 같은 생체 신호를 측정하고, 측정된 생체 신호의 각 비트들에 대한 피크(Peak) 정보를 기반으로 심박수 정보를 추출한다. 그리고 생체 신호 측정부(20)는 추출된 심박수 정보를 이용하여 심박 변화율을 추출한다.
생체 신호 특징 정보 추출부(30)는 수신된 생체 신호에 대한 특징 정보를 추출한다. 구체적으로 생체 신호 특징 정보 추출부(30)는 심박수와 관련된 특징 정보, 생체 신호의 각 비트들에 대한 웨이블릿 변환(Wavelet Transform)을 통한 특징 정보, 심박 변화율의 주파수 특성 값들을 이용한 특징 정보를 추출할 수 있다. 특히, 본 발명의 생체 신호 특징 정보 추출부(30)는 심박수의 최대, 최소, 평균, 표준 편차 및 심박 변화율에 대한 고속 푸리에 변환(Fast Fourier Transform)을 통하여 산출된 주파수 성분에서 정해진 저주파 대역 및 고주파 대역간의 파워 스펙트럼 밀도(Power Spectrum Density, PSD)의 적분값인 파워 스펙트럼 값을 생체 신호 특징 정보로 추출할 수 있다.
메모리부(40)는 복수의 음원, 음원 재생 목록, 음원 업데이트 리스트, 특징 정보 테이블을 저장한다.
음원 특징 정보 추출부(50)는 입력부(70)를 통해서 선택된 음원의 특징 정보를 추출한다. 이때 추출된 음원 특징 정보는 음높이의 변화, 음의 길이 정보, 템포등과 같은 정보를 포함한다.
입력부(70)는 사용자로부터 음원 검색 요청에 따른 사용자 상황별 카테고리를 입력받고, 입력된 사용자 상황별 카테고리에 따른 음원 선택을 입력 받는다. 또한 입력부(70)는 음원 업데이트에 대한 요청을 입력 받는다.
도 3은 본 발명의 실시 예에 따라 음악 검색 장치가 특징 정보 테이블을 생성하기 위한 과정을 나타내는 흐름도이다.
300단계에서 제어부(10)는 입력부(70)를 통해서 사용자 상황별 카테고리 입력이 있으면 301단계로 진행하고, 그렇지 않으면 300단계에서 입력부(70)를 통해서 카테고리 입력이 있는지 여부를 계속적으로 판단한다. 이때, 사용자 상황별 카테고리는 ‘운동’, ‘휴식’, ‘피로’ 등과 같은 정보를 의미한다.
301단계에서 제어부(10)는 입력부(70)를 통해서 사용자 상황별 카테고리마다 사용자 선호 음원에 대한 입력이 있는지 확인하여 입력이 있으면 302단계로 진행하고, 그렇지 않으면 301단계에서 사용자 선호 음원에 대한 입력이 있는지 계속적으로 판단한다.
302단계에서 제어부(10)는 선택된 음원에 대한 음원 특징 정보를 음원 특징 정보 추출부(50)가 추출하도록 제어하고, 입력된 사용자 상황별 카테고리에 추출된 음원 특징 정보를 대응시켜 저장한다.
303단계에서 제어부(10)는 생체 신호를 측정하도록 생체 신호 측정부(20)를 제어한다.
304단계에서 제어부(10)는 측정된 생체 신호에 대한 생체 신호 특징 정보를 추출하도록 생체 신호 특징 정보 추출부(30)를 제어한다.
305단계에서 제어부(10)는 추출된 생체 신호 특징 정보와 음원 특징 정보를 대응시킨 특징 정보 테이블을 생성하여 메모리부(40)에 저장한다.
305단계에서
Figure 112009004656936-PAT00001
단계로 진행하여 특징 정보 테이블을 이용하여 사용자가 선호하는 음원을 검색하기 위한 과정에 대해서 도 4를 참조하여 하기에서 구체적으로 살펴보도록 한다. 여기서 도 4의
Figure 112009004656936-PAT00002
단계는 도 3의
Figure 112009004656936-PAT00003
단계와 연결되는 단계이다.
도 4는 본 발명의 실시 예에 따라 음악 검색 장치가 특징 정보 테이블을 이용하여 사용자가 선호하는 음원을 검색하기 위한 과정을 나타내는 흐름도이다.
400단계에서 제어부(10)는 입력부(70)를 통해서 음원 업데이트 요청이 있는지 판단하여 요청이 있으면 401단계를 진행하고, 그렇지 않으면 400단계에서 음원 업데이트 요청이 있는지 계속적으로 판단한다.
401단계에서 제어부(10)는 생체 신호 측정부(20)를 통해서 현재 사용자의 생체 신호를 측정하도록 생체 신호 측정부(20)를 제어한다.
402단계에서 제어부(10)는 측정된 생체 신호의 생체 신호 특징 정보를 추출하도록 생체 신호 특징 정보 추출부(30)를 제어한다.
403단계에서 제어부(10)는 추출된 생체 신호 특징 정보와 특징 정보 테이블 에 저장된 생체 신호 특징 정보들을 비교한다.
404단계에서 제어부(10)는 특징 정보 테이블에 저장된 생체 신호 특징 정보들 중 측정된 생체 신호 특징 정보와 유사한 유사 생체 신호 특징 정보가 존재하는지 판단하여 존재하면 405단계로 진행하고, 그렇지 않으면 401단계로 진행하여 현재 사용자의 생체 신호를 다시 측정하도록 생체 신호 측정부(20)를 제어한다.
405단계에서 제어부(10)는 특징 정보 테이블로부터 유사 생체 신호 특징 정보를 검출하고, 검출된 유사 생체 신호 특징 정보에 대응되는 음원 특징 정보를 특징 정보 테이블로부터 검출한다.
406단계에서 제어부(10)는 메모리부(40)에 저장된 음원들 중 검출된 음원 특징 정보와 유사한 유사 음원 특징 정보를 가지는 음원이 존재하는지 여부를 판단하여 존재하면 407단계로 진행하고, 그렇지 않으면 409단계로 진행한다.
407단계에서 제어부(10)는 메모리부(40)로부터 유사 음원 특징 정보를 가지는 음원을 검출한다.
408단계에서 제어부(10)는 검출된 음원을 현재 재생 중인 음원 재생 목록에 업데이트한다.
406단계와 408단계에서 409단계로 진행한 제어부(10)는 음원 업데이트가 완료되는지 여부를 판단하여 음원 업데이트가 완료되지 않으면 401단계로 진행하여 생체 신호를 측정하고, 402단계~ 409단계를 수행한다.
이와 같이 본 발명은 생체 신호를 이용하여 사용자가 선호하는 음원과 유사한 음원을 검색함으로써 사용자가 사용자 상황별로 사용자 선호 음원과 유사한 음 원을 들을 수 있다는 이점이 있다.
도 1은 본 발명의 실시 예에 따른 음악 검색 장치의 구성도,
도 2는 본 발명의 실시 예에 따른 특징 정보 테이블을 설명하기 위한 예시도,
도 3은 본 발명의 실시 예에 따라 음악 검색 장치가 특징 정보 테이블을 생성하기 위한 과정을 나타내는 흐름도,
도 4는 본 발명의 실시 예에 따라 음악 검색 장치가 특징 정보 테이블을 이용하여 사용자가 선호하는 음원을 검색하기 위한 과정을 나타내는 흐름도.

Claims (10)

  1. 사용자의 생체 신호를 측정하는 생체 신호 측정부와,
    상기 측정된 생체 신호에 대한 생체 신호 특징 정보를 추출하는 생체 신호 특징 정보 추출부와,
    음원에 대한 음원 특징 정보를 추출하는 음원 특징 정보 추출부와,
    복수의 음원을 저장하는 메모리부와,
    사용자의 음원 선택이 있으면 상기 선택된 음원에 대한 음원 특징 정보를 추출하도록 상기 음원 특징 정보 추출부제어하고, 상기 측정된 생체 신호에 대한 생체 신호 특징 정보를 상기 추출된 음원 특징 정보와 상기 추출된 생체 신호 특징 정보를 매칭시켜 특징 정보 테이블을 생성한 후 사용자 요청에 따라 생체 신호를 측정하도록 상기 생체 신호 측정부를 제어하고, 상기 특징 정보 테이블에 저장된 생체 신호 특징 정보들 중 상기 측정된 생체 신호와 유사한 유사 생체 신호 특징 정보를 추출한 후 상기 메모리부에 저장된 복수의 음원 중 상기 유사 생체 신호 특징 정보에 대응된 음원 특징 정보와 유사한 유사 음원 특징 정보를 가지는 음원을 검색한 후 상기 검색된 음원을 음원 재생 목록에 업데이트하는 제어부를 포함하는 것을 특징으로 하는 음원 검색 장치.
  2. 제1항에 있어서,
    상기 생체 신호 특징 정보는 심박수와 관련된 특징 정보, 생체 신호의 각 비 트들에 대한 웨이블릿 변환(Wavelet Transform)을 통한 특징 정보, 심박 변화율의 주파수 특성 값들을 이용한 특징 정보, 심박수의 최대, 최소, 평균, 표준 편차 및 심박 변화율에 대한 고속 푸리에 변환(Fast Fourier Transform)을 통하여 산출된 주파수 성분에서 정해진 저주파 대역 및 고주파 대역간의 파워 스펙트럼 밀도(Power Spectrum Density, PSD)의 적분값인 파워 스펙트럼 값 중 적어도 하나를 포함하는 것을 특징으로 하는 음원 검색 장치.
  3. 제1항에 있어서,
    상기 음원 특징 정보는 음높이의 변화, 음의 길이 정보, 템포 중 적어도 하나를 포함하는 것을 특징으로 하는 음원 검색 장치.
  4. 제1항에 있어서,
    상기 유사 생체 신호 특정 정보는 상기 특징 정보 테이블에 저장된 생체 신호 특징 정보들 중 상기 생체 신호 특징 정보 추출부를 통해서 추출된 생체 신호 특징 정보 값과의 차이값이 미리 설정된 임계값보다 작은 차이값을 가지는 것을 특징으로 음원 검색 장치.
  5. 제1항에 있어서,
    상기 유사 음원 특징 정보는 상기 메모리부에 저장된 음원들에 대한 음원 특징 정보들 중 상기 음원 특징 정보 추출부를 통해서 추출된 음원 특징 정보 값과의 차이값이 미리 설정된 임계값보다 작은 차이값을 가지는 것을 특징으로 하는 음원 검색 장치.
  6. 사용자의 음원 선택이 있으면 상기 선택된 음원에 대한 음원 특징 정보를 추출하는 과정과,
    상기 사용자 상황별로 사용자의 생체 신호를 측정하는 과정과,
    상기 측정된 생체 신호에 대한 생체 신호 특징 정보를 추출하는 과정과,
    상기 추출된 음원 특징 정보와 상기 추출된 생체 신호 특징 정보를 매칭시켜 상기 특정 정보 테이블을 생성하는 과정과,
    사용자 요청에 따라 생체 신호를 측정하는 과정과,
    상기 특정 정보 테이블에 저장된 생체 신호 특징 정보들 중 상기 추출된 생체 신호 특징 정보와 유사한 유사 생체 신호 특정 정보를 검출하는 과정과,
    복수의 음원 중 상기 검출된 유사 생체 신호 특정 정보에 대응된 음원 특징 정보와 유사한 유사 음원 특징 정보를 가지는 음원을 검색하는 과정과,
    상기 검색된 음원을 음원 재생 목록에 업데이트하는 과정을 포함함을 특징으로 하는 음원 검색 방법.
  7. 제6항에 있어서,
    상기 생체 신호 특징 정보는 심박수와 관련된 특징 정보, 생체 신호의 각 비트들에 대한 웨이블릿 변환(Wavelet Transform)을 통한 특징 정보, 심박 변화율의 주파수 특성 값들을 이용한 특징 정보, 심박수의 최대, 최소, 평균, 표준 편차 및 심박 변화율에 대한 고속 푸리에 변환(Fast Fourier Transform)을 통하여 산출된 주파수 성분에서 정해진 저주파 대역 및 고주파 대역간의 파워 스펙트럼 밀도(Power Spectrum Density, PSD)의 적분값인 파워 스펙트럼 값 중 적어도 하나를 포함함을 특징으로 하는 음원 검색 방법.
  8. 제6항에 있어서,
    상기 음원 특징 정보는 음높이의 변화, 음의 길이 정보, 템포 중 적어도 하나를 포함함을 특징으로 하는 음원 검색 방법.
  9. 제6항에 있어서,
    상기 유사 생체 신호 특정 정보를 검출하는 과정은,
    상기 생체 신호 특징 정보 추출부를 통해서 추출된 생체 신호 특징 정보 값과 상기 특징 정보 테이블에 저장된 생체 신호 특징 정보 값의 차이값을 산출하는 과정과,
    상기 산출된 차이값이 미리 설정된 임계값보다 작은 차이값을 가지는 생체 신호 특징 정보를 검출하는 과정을 포함함을 특징으로 하는 음원 검색 방법.
  10. 제6항에 있어서,
    상기 유사 음원 특징 정보를 가지는 음원을 검색하는 과정은,
    상기 추출된 음원 특징 정보 값과 상기 복수의 음원에 대한 음원 특징 정보 값 각각에 대한 차이값을 산출하는 과정과,
    상기 산출된 차이값들 중 미리 설정된 임계값보다 작은 차이값을 가지는 음원을 검색하는 과정을 포함함을 특징으로 하는 음원 검색 방법.
KR1020090005932A 2009-01-23 2009-01-23 생체 신호를 이용한 음악 검색 장치 및 그 방법 KR101142679B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020090005932A KR101142679B1 (ko) 2009-01-23 2009-01-23 생체 신호를 이용한 음악 검색 장치 및 그 방법
US12/693,159 US20100186577A1 (en) 2009-01-23 2010-01-25 Apparatus and method for searching for music by using biological signal
US15/182,176 US20160292271A1 (en) 2009-01-23 2016-06-14 Electronic device for providing sound source and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090005932A KR101142679B1 (ko) 2009-01-23 2009-01-23 생체 신호를 이용한 음악 검색 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20100086618A true KR20100086618A (ko) 2010-08-02
KR101142679B1 KR101142679B1 (ko) 2012-05-03

Family

ID=42353080

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090005932A KR101142679B1 (ko) 2009-01-23 2009-01-23 생체 신호를 이용한 음악 검색 장치 및 그 방법

Country Status (2)

Country Link
US (1) US20100186577A1 (ko)
KR (1) KR101142679B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101539650B1 (ko) * 2014-10-31 2015-07-28 (주)와이브레인 음악 컨텐츠 제공 시스템
KR102020641B1 (ko) * 2018-04-10 2019-09-10 성균관대학교산학협력단 영상을 이용한 맥박 조율을 위한 음원 생성 장치
KR20200061934A (ko) * 2018-11-26 2020-06-03 건양대학교산학협력단 심박동수와 연계한 음원을 이용한 스트레스 완화시스템

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100089526A (ko) * 2009-02-04 2010-08-12 삼성전자주식회사 생체 신호를 이용한 음악 생성 장치 및 그 방법
US10140372B2 (en) 2012-09-12 2018-11-27 Gracenote, Inc. User profile based on clustering tiered descriptors
KR101506561B1 (ko) * 2013-07-19 2015-03-27 전자부품연구원 감정 분석을 통한 선호 음원 관리 장치 및 방법
JP6837407B2 (ja) * 2017-06-27 2021-03-03 京セラ株式会社 電子機器、サーバ、データ構造、体調管理方法及び体調管理プログラム
WO2019003811A1 (ja) * 2017-06-27 2019-01-03 京セラ株式会社 電子機器、サーバ、データ構造、体調管理方法及び体調管理プログラム
CN116440387A (zh) * 2022-01-06 2023-07-18 安徽华米健康科技有限公司 音频播放方法、装置、可穿戴设备和存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL122597A0 (en) * 1997-12-14 1998-06-15 Pylon Inc System and method for monitoring activity
US20070074617A1 (en) * 2005-10-04 2007-04-05 Linda Vergo System and method for tailoring music to an activity
US20070118043A1 (en) * 2005-11-23 2007-05-24 Microsoft Corporation Algorithms for computing heart rate and movement speed of a user from sensor data
EP1811496B1 (en) * 2006-01-20 2009-06-17 Yamaha Corporation Apparatus for controlling music reproduction and apparatus for reproducing music
RU2315635C2 (ru) * 2006-02-27 2008-01-27 Эл Джи Электроникс Инк. Способ коррекции функциональных нарушений сердечного ритма
KR100769911B1 (ko) * 2006-09-12 2007-10-24 엘지전자 주식회사 이동통신 단말기 및 그 동작방법
KR20080060820A (ko) * 2006-12-27 2008-07-02 엘지전자 주식회사 바이오리듬에 따른 음악 재생 장치 및 그 재생방법
US7956274B2 (en) * 2007-03-28 2011-06-07 Yamaha Corporation Performance apparatus and storage medium therefor
KR101414927B1 (ko) * 2007-08-27 2014-07-07 삼성전자주식회사 생체정보 측정용 센서 및 이를 구비한 이어폰

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101539650B1 (ko) * 2014-10-31 2015-07-28 (주)와이브레인 음악 컨텐츠 제공 시스템
WO2016068634A1 (ko) * 2014-10-31 2016-05-06 (주)와이브레인 음악 컨텐츠 제공 시스템
KR102020641B1 (ko) * 2018-04-10 2019-09-10 성균관대학교산학협력단 영상을 이용한 맥박 조율을 위한 음원 생성 장치
KR20200061934A (ko) * 2018-11-26 2020-06-03 건양대학교산학협력단 심박동수와 연계한 음원을 이용한 스트레스 완화시스템

Also Published As

Publication number Publication date
US20100186577A1 (en) 2010-07-29
KR101142679B1 (ko) 2012-05-03

Similar Documents

Publication Publication Date Title
KR101142679B1 (ko) 생체 신호를 이용한 음악 검색 장치 및 그 방법
US7373209B2 (en) Sound features extracting apparatus, sound data registering apparatus, sound data retrieving apparatus, and methods and programs for implementing the same
CN109785859B (zh) 基于语音分析的管理音乐的方法、装置和计算机设备
US9239700B2 (en) System and method for automatically producing haptic events from a digital audio signal
US8761915B2 (en) System and method for automatically producing haptic events from a digital audio file
KR101143160B1 (ko) 기록된 음악의 브라우징 방법 및 음악 브라우징 시스템
US9449083B2 (en) Performance data search using a query indicative of a tone generation pattern
JP5112300B2 (ja) コンテンツ項目の特性を決定する方法および電子装置
US8865993B2 (en) Musical composition processing system for processing musical composition for energy level and related methods
JP2010020133A (ja) 再生装置、表示方法および表示プログラム
JP5970934B2 (ja) 楽音発生パターンを示すクエリーを用いて演奏データの検索を行う装置、方法および記録媒体
US8885841B2 (en) Audio processing apparatus and method, and program
US9245508B2 (en) Music piece order determination device, music piece order determination method, and music piece order determination program
GB2533654A (en) Analysing audio data
EP2528054A2 (en) Management of a sound material to be stored into a database
WO2014042599A1 (en) System and method for developing a model indicative of a subject's emotional state when listening to musical pieces
CN105956014A (zh) 一种基于深度学习的音乐播放方法
US20110214556A1 (en) Rhythm explorer
JP2003177784A (ja) 音響変節点抽出装置及びその方法、音響再生装置及びその方法、音響再生システム、音響配信システム、情報提供装置、音響信号編集装置、音響変節点抽出方法プログラム記録媒体、音響再生方法プログラム記録媒体、音響信号編集方法プログラム記録媒体、音響変節点抽出方法プログラム、音響再生方法プログラム、音響信号編集方法プログラム
JP5345783B2 (ja) 音声信号用フットプリントを生成する方法
KR101813704B1 (ko) 사용자 음색 분석 장치 및 음색 분석 방법
WO2016102738A1 (en) Similarity determination and selection of music
WO2018207936A1 (ja) 譜面自動検出方法および装置
CN107871492B (zh) 音乐合成方法和系统
JP2008015388A (ja) 歌唱力評価方法及びカラオケ装置

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160330

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170330

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190328

Year of fee payment: 8