KR20210081703A - Stereo sound source analyzing method - Google Patents

Stereo sound source analyzing method Download PDF

Info

Publication number
KR20210081703A
KR20210081703A KR1020190173922A KR20190173922A KR20210081703A KR 20210081703 A KR20210081703 A KR 20210081703A KR 1020190173922 A KR1020190173922 A KR 1020190173922A KR 20190173922 A KR20190173922 A KR 20190173922A KR 20210081703 A KR20210081703 A KR 20210081703A
Authority
KR
South Korea
Prior art keywords
sound source
user
neural network
characteristic
frequency
Prior art date
Application number
KR1020190173922A
Other languages
Korean (ko)
Other versions
KR102285883B1 (en
Inventor
혁 원
김형진
Original Assignee
주식회사 이엠텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이엠텍 filed Critical 주식회사 이엠텍
Priority to KR1020190173922A priority Critical patent/KR102285883B1/en
Publication of KR20210081703A publication Critical patent/KR20210081703A/en
Application granted granted Critical
Publication of KR102285883B1 publication Critical patent/KR102285883B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution

Abstract

The present invention relates to a stereo sound source analysis method. According to the present invention, stereo sound source characteristics are analyzed and sound source information that depends on binaural beat characteristics is provided or recommended in view of the analyzed characteristics and the psychological state of a user. The method includes: a first analysis step of converting an owned stereo sound source into a frequency region and analyzing the frequency characteristics of the owned sound source; a first learning step of applying the analyzed frequency characteristics of the owned sound source to a neural network model for determining binaural beat characteristics and causing learning; a second analysis step of converting a new stereo sound source into a frequency region and analyzing the frequency characteristics of the new sound source; and a step of applying the frequency characteristics of the new sound source to the neural network model after the learning and determining the binaural beat characteristics of the new sound source.

Description

스테레오 음원 분석 방법{STEREO SOUND SOURCE ANALYZING METHOD}Stereo sound source analysis method {STEREO SOUND SOURCE ANALYZING METHOD}

본 발명은 스테레오 음원 분석 방법에 관한 것으로서, 특히 스테레오 음원의 특성을 분석하고, 분석된 특성과 사용자의 심리 상태를 고려하여 바이노럴 비트(binaural beats) 특성에 따른 음원 정보를 제공하거나 추천하는 스테레오 음원 분석 방법에 관한 것이다.The present invention relates to a method for analyzing a stereo sound source, and in particular, a stereo sound source that provides or recommends sound source information according to the characteristics of binaural beats in consideration of the analyzed characteristics and the psychological state of the user by analyzing the characteristics of the stereo sound source It relates to sound analysis method.

근래에는 스마트기기의 보급과 통신망의 발달로 인하여 장소에 제한되지 않고 스마트기기를 이용하여 온라인을 통해 음악 청취가 가능해졌다.In recent years, due to the spread of smart devices and the development of communication networks, it has become possible to listen to music online using smart devices without being limited to places.

이러한 추세에 맞추어 음원을 제공하는 사이트는 사용자 취향에 맞게 음악을 제공하되, 선호도를 반영한 음악을 제공하기 위한 다양한 기술이 개발되고 있다.In line with this trend, sites that provide sound sources provide music according to users' tastes, but various technologies are being developed to provide music reflecting preferences.

이와 같이 선호도를 반영한 음악 제공의 기술 중의 하나로 공개특허공보 제10-2008-0002348호에 음악추천 시스템 및 방법이 기재되었다.A music recommendation system and method are described in Korean Patent Application Laid-Open No. 10-2008-0002348 as one of the techniques for providing music that reflects preferences as described above.

위에 기재된 음악추천 시스템 및 방법은 음원 데이터부터 검출한 파형 집중도가 가장 높은 최대 집중 마디로부터 일정 개수의 마디까지의 영역을 대표선율로 정하고, 사용자에게 테스트 음악을 제시하고 사용자의 응답을 기초로 사용자가 선호하는 대표선율을 수집한 후, 상기 음원데이터의 대표선율과 상기 사용자의 대표선율을 비교하여 상기 사용자가 선호하는 대표선율과 유사한 음원데이터를 추천한다.The music recommendation system and method described above determine the area from the maximum concentration of the detected waveform from the sound source data to a certain number of bars as a representative melody, present the test music to the user, and the user based on the user's response. After collecting the preferred representative melody, the representative melody of the sound source data is compared with the representative melody of the user, and sound source data similar to the representative melody preferred by the user is recommended.

이러한 음악추천 시스템 및 방법은 사용자의 선호도에 기초하여 사용자의 취향에 적합한 곡을 추천할 수 있다.Such a music recommendation system and method may recommend a song suitable for the user's taste based on the user's preference.

그러나, 대표선율은 음원데이터에 구성되는 정보로써, 그 구성은 intro, verse, transitional bridge, primary ridge, chorus, hook, interlude 및 out tro 중 적어도 1개 이상으로 구성되며, 2개 이상으로 구성시 그 순서 또한 다양하게 구성된다. 즉, 대표선율은 각각의 음악에 따라 매우 다양하게 이루어지는 것으로, 사용자에게 음악을 추천 시 추천되는 음악이 다양하지 못하고 일부 음악의 장르에 제한되는 문제점이 있다.However, representative melody is information composed of sound source data, and its composition consists of at least one or more of intro, verse, transitional bridge, primary ridge, chorus, hook, interlude and out tro. The order is also varied. That is, the representative melodies are very diverse according to each music, and when recommending music to a user, there is a problem in that the recommended music is not diverse and limited to some genres of music.

음악추천의 다른 기술로는 공개특허공보 제10-2009-0000232호에 상황인식 사례기반 음악추천 시스템 및 방법이 기재되었다.As another technique for music recommendation, a situation-aware case-based music recommendation system and method are described in Korean Patent Publication No. 10-2009-0000232.

위의 상황인식 사례기반 음악추천 시스템 및 방법은 사례기반추론 기법을 이용하여 외부상황정보와 유사한 과거 상황에서 사용자와 유사한 적어도 한 명의 타사용자가 청취한 음악들에 대한 정보와 타사용자에 대한 정보를 수집하고, 상기 수집된 정보들에 기초하여 음악을 추천한다. 이때, 외부상황정보는 계절, 월, 요일, 날씨, 최저기온, 최고기온 및 평균기온에 대한 정보 중 적어도 하나를 포함한다.The above context-aware case-based music recommendation system and method uses a case-based reasoning technique to collect information about music and other users that have been listened to by at least one other user similar to the user in a past situation similar to external context information. and recommends music based on the collected information. In this case, the external context information includes at least one of information about a season, month, day of the week, weather, minimum temperature, maximum temperature, and average temperature.

이러한 상황인식 사례기반 음악추천 시스템 및 방법은 사용자의 환경과 가장 유사한 환경에서 타사용자가 청취하였던 정보를 기초로 사용자에게 음악을 추천할 수 있는 장점이 있다.Such a context-aware case-based music recommendation system and method has the advantage of being able to recommend music to a user based on information that other users have listened to in an environment most similar to the user's environment.

그러나, 사용자에게 음악 추천 시 사용자의 과거상황이 아닌 타사용자의 과거상황에 근거하여 음악이 추천되는 것으로, 사용자 개인이 선호하는 음악이 추천되기보다는 다수의 타사용자가 선호하는 음악이 추천됨으로써, 사용자 각각의 음악 선호도를 제대로 반영하지 못하는 문제점이 있다.However, when recommending music to a user, music is recommended based on the past situation of other users rather than the user's past situation. There is a problem in that each music preference cannot be properly reflected.

본 발명은 스테레오 음원의 특성을 분석하고, 분석된 특성과 사용자의 심리 상태를 고려하여 바이노럴 비트 특성의 음원 정보를 제공하거나 추천하는 스테레오 음원 분석 방법을 제공하는 것을 목적으로 한다.An object of the present invention is to provide a stereo sound source analysis method that analyzes the characteristics of a stereo sound source and provides or recommends sound source information of a binaural beat characteristic in consideration of the analyzed characteristics and the user's psychological state.

본 발명인 스테레오 음원 분석 방법은 스테레오 음원인 보유 음원을 주파수 영역으로 변환시켜, 보유 음원의 주파수 특성을 분석하는 제 1 분석 단계와, 분석된 보유 음원의 주파수 특성을 바이노럴 비트 특성의 판단을 위한 신경망 모델에 적용하여 학습시키는 제 1 학습단계와, 스테레오 음원인 신규 음원을 주파수 영역으로 변환시켜, 신규 음원의 주파수 특성을 분석하는 제 2 분석 단계와, 신규 음원의 주파수 특성을 학습된 신경망 모델에 적용하여, 신규 음원의 바이노럴 비트 특성을 판단하는 단계를 포함한다.The present invention's stereo sound source analysis method converts the retained sound source, which is a stereo sound source, into the frequency domain, and a first analysis step of analyzing the frequency characteristic of the retained sound source, and the analyzed frequency characteristic of the retained sound source for the determination of binaural beat characteristics A first learning step of applying and learning to the neural network model, a second analysis step of converting a new sound source, which is a stereo sound source, into a frequency domain, and analyzing the frequency characteristics of the new sound source, and applying the frequency characteristics of the new sound source to the learned neural network model and determining the binaural bit characteristic of the new sound source by applying the same.

또한, 스테레오 음원 분석 방법은 제 1 분석 단계에서 분석된 보유 음원의 주파수 특성 및 사용자의 심리 상태에 관련된 감지값 중의 어느 하나 이상을 바이노럴 비트 특성의 판단을 위한 신경망 모델에 적용하여 학습시키는 제 2 학습 단계를 추가적으로 포함하는 것이 바람직하다.In addition, the stereo sound source analysis method applies any one or more of the frequency characteristics of the possessed sound source analyzed in the first analysis step and the sensed values related to the user's psychological state to the neural network model for determining the binaural beat characteristics to learn it. It is preferable to additionally include 2 learning steps.

또한, 스테레오 음원 분석 방법은 제 2 학습 단계 이후에, 사용자의 심리 상태에 관련된 감지값을 신경망 모델에 적용하여 감지값에 대응하는 바이노럴 비트 특성을 결정하는 단계와, 판단 단계에서 판단된 신규 음원 중에서 결정된 바이노럴 비트 특성에 대응하는 음원을 사용자 통신 단말기에 제공하는 단계를 포함하는 것이 바람직하다.In addition, the stereo sound source analysis method includes the steps of determining the binaural bit characteristic corresponding to the sensed value by applying the sensed value related to the user's psychological state to the neural network model after the second learning step, and the new determined in the decision step Preferably, the method includes providing a sound source corresponding to the binaural bit characteristic determined from among the sound sources to the user communication terminal.

또한, 스테레오 음원 분석 방법은 판단 단계 이후에 사용자가 선택한 바이노럴 비트 특성을 지닌 보유 음원 또는 신규 음원을 사용자 통신 단말기에 제공하는 단계를 포함하는 것이 바람직하다.In addition, the stereo sound source analysis method preferably includes the step of providing a retained sound source or a new sound source having a binaural bit characteristic selected by the user to the user communication terminal after the determining step.

또한, 보유 음원의 주파수 특성은 좌 음원 및 우 음원 각각의 주파수들 간의 차이인 것이 바람직하다.In addition, it is preferable that the frequency characteristic of the retained sound source is a difference between frequencies of the left sound source and the right sound source, respectively.

본 발명은 스테레오 음원의 특성을 분석하고, 분석된 특성과 사용자의 심리 상태를 고려하여 바이노럴 비트 특성의 음원 정보를 제공하거나 추천할 수 있는 효과가 있다.The present invention has the effect of analyzing the characteristics of the stereo sound source, and providing or recommending sound source information of the binaural beat characteristic in consideration of the analyzed characteristics and the user's psychological state.

도 1은 스테레오 음원 분석 방법이 수행되는 음원 처리 시스템의 구성도이다.1 is a block diagram of a sound source processing system in which a stereo sound source analysis method is performed.

이하에서, 본 발명은 실시예와 도면을 통하여 상세하게 설명된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.Hereinafter, the present invention will be described in detail through examples and drawings. However, this is not intended to limit the present invention to specific embodiments, and it should be understood that various modifications, equivalents, and/or alternatives of the embodiments of the present invention are included. In connection with the description of the drawings, like reference numerals may be used for like components.

본 문서에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.In this document, expressions such as "have", "may have", "includes", or "may include" refer to the presence of a corresponding characteristic (eg, a numerical value, function, operation, or component such as a part). and does not exclude the presence of additional features.

본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.In this document, expressions such as "A or B", "at least one of A and/and B", or "one or more of A or/and B" may include all possible combinations of the items listed together. . For example, "A or B", "at least one of A and B", or "at least one of A or B" means (1) includes at least one A, (2) includes at least one B; Or (3) it may refer to all cases including both at least one A and at least one B.

본 문서에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.Expressions such as "first", "second", "first", or "second" used in this document may modify various elements, regardless of order and/or importance, and may modify one element to another. It is used only to distinguish it from the components, and does not limit the components. For example, the first user equipment and the second user equipment may represent different user equipment regardless of order or importance. For example, without departing from the scope of the rights described in this document, a first component may be referred to as a second component, and similarly, the second component may also be renamed as a first component.

어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.A component (eg, a first component) is "coupled with/to (operatively or communicatively)" to another component (eg, a second component) When referring to "connected to", it will be understood that the certain element may be directly connected to the other element or may be connected through another element (eg, a third element). On the other hand, when it is said that a component (eg, a first component) is "directly connected" or "directly connected" to another component (eg, a second component), the component and the It may be understood that other components (eg, a third component) do not exist between other components.

본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성(또는 설정)된"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성(또는 설정)된 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.The expression "configured to (or configured to)" as used in this document, depending on the context, for example, "suitable for", "having the capacity to" It can be used interchangeably with "," "designed to", "adapted to", "made to", or "capable of". The term "configured (or set up to)" may not necessarily mean only "specifically designed to" in hardware. Instead, in some circumstances, the expression “a device configured to” may mean that the device is “capable of” with other devices or parts. For example, the phrase "a processor configured (or configured to perform) A, B, and C" may be used to execute a dedicated processor (eg, an embedded processor), or one or more software programs stored in a memory device, to perform the corresponding operations. By doing so, it may mean a generic-purpose processor (eg, a CPU or an application processor) capable of performing corresponding operations.

본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은 관련 기술의 문맥 상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.Terms used in this document are only used to describe specific embodiments, and may not be intended to limit the scope of other embodiments. The singular expression may include the plural expression unless the context clearly dictates otherwise. Terms used herein, including technical or scientific terms, may have the same meanings as commonly understood by one of ordinary skill in the art described in this document. Among the terms used in this document, terms defined in a general dictionary may be interpreted with the same or similar meaning as the meaning in the context of the related art, and unless explicitly defined in this document, have an ideal or excessively formal meaning. not interpreted In some cases, even terms defined in this document cannot be construed to exclude embodiments of this document.

본 발명에서의 바이노럴 비트는 2개의 다른 주파수가 사용자의 각 귀에 청취될 때 뇌가 인식하는 청각적인 착각으로, 그 주파수의 차이가 뇌파 전환의 자극이 되는 것이다. 주파수의 차이에 따른 뇌파와 그 상태는 하기의 표 1과 같이 알려져 있다.The binaural beat in the present invention is an auditory illusion recognized by the brain when two different frequencies are heard by each ear of the user, and the difference in frequency becomes a stimulus for EEG conversion. EEG according to the difference in frequency and its state are known as shown in Table 1 below.

뇌파brain waves 주파수 차이(Hz)Frequency difference (Hz) 사용자의 심리 상태(효과)The user's psychological state (effect) 감마파gamma wave 30 초과over 30 흥분, 불안, 순간 인지excitement, anxiety, momentary awareness 베타파beta wave 13~ 3013 to 30 스트레스, 의식 깨어 있을 때Stress, consciousness when awake 알파파alpha wave 8~ 138 to 13 명상, 집중력 강화, 강박증 완화Meditation, concentration enhancement, OCD relief 세타파theta wave 3~83-8 졸음, 명상, 불안 감소, 창조력, 얕은 수면Drowsiness, meditation, anxiety reduction, creativity, light sleep 델타파delta wave 0.5~30.5~3 깊은 수면, 내면 의식deep sleep, inner consciousness

표 1에서와 같이, 바이노럴 비트 특성은 감마파, 베타파, 알파파, 세타파, 델타파로 구별되며, 알파파는 집중력을 향상시키고, 세타 및 델타파는 장기 기억에 효과가 있는 것으로 알려져 있다. As shown in Table 1, binaural beat characteristics are divided into gamma wave, beta wave, alpha wave, theta wave, and delta wave, alpha wave improves concentration, and theta and delta wave are known to have an effect on long-term memory.

본 발명에서는 스테레오 음원들의 특성(예를 들면, 좌우 음원 간의 주파수 차이)을 추출하여 이 추출된 특성 및/또는 각 음원의 청취 시나 현재의 사용자의 심리 상태에 관련된 감지값(예를 들면, EEG 센서의 출력값 등)등을 학습데이터로 사용하여 바이노럴 비트 신경망 모델을 학습시켜 음원의 바이노럴 비트 특성을 판단할 수 있도록 하는 제 1 특징과, 신규 음원의 특성을 이 바이노럴 비트 신경망 모델에 적용하여 신규 음원의 바이노럴 비트 특징을 판단하는 제 2 특징과, 사용자의 심리 상태나 선택에 대응하는 바이노럴 비트 특징을 포함하는 음원의 정보(음원 정보)를 추천하거나 그 음원을 재생하도록 하는 제 3 특징을 포함한다. 본 발명의 제 1 내지 제 3 특징들에 대해서 하기에서 상세하게 기재된다.In the present invention, the characteristics of stereo sound sources (eg, the frequency difference between the left and right sound sources) are extracted, and the extracted characteristics and/or detection values related to the current user's psychological state when listening to each sound source (eg, EEG sensor) The first characteristic that can determine the binaural beat characteristics of the sound source by learning the binaural beat neural network model using the output value of Recommends or reproduces the sound source information (sound source information) including the second feature of determining the binaural beat feature of a new sound source by applying to the user and the binaural beat feature corresponding to the user's psychological state or selection It includes a third feature that allows The first to third features of the present invention are described in detail below.

도 1은 스테레오 음원 분석 방법이 수행되는 음원 처리 시스템의 구성도이다.1 is a block diagram of a sound source processing system in which a stereo sound source analysis method is performed.

음원 처리 시스템은 네트워크(60)를 통하여 서로 통신 가능한 사용자 통신 단말기(20)와, 음원 분석 서버(40)와, 음원 공급 서버(50) 등을 포함하여 구성된다.The sound processing system is configured to include a user communication terminal 20 capable of communicating with each other through a network 60 , a sound analysis server 40 , and a sound source supply server 50 .

사용자 통신 단말기(20)는 유선 또는 무선 통신이 가능한 정보 통신 단말기로서, 예를 들면 스마트폰, 테블릿, 데스크탑 등을 포함한다. 사용자 통신 단말기(20)는 사용자의 입력(예를 들면, 선호 입력, 비선호 입력 등)을 획득하여 데이터 프로세서(19)에 인가하는 입력부(1)와, 음원 정보 등을 표시하는 표시부(3)와, 네트워크(60)를 통하여 유선 및/또는 무선 통신을 수행하는 통신부(5)와, 음향 변환 장치(예를 들면, 헤드셋, 이어폰 등)와 유선 통신을 수행하는 출력부(예를 들면, AUX 포트 등)(7)와, 음 방출하는 스피커부(9)와, 사용자의 심리 상태에 관련된 감지값을 측정하여 데이터 프로세서(19)에 인가하는 감지부(11)와, 상술된 구성요소들을 제어하여, 저장된 음원 데이터 또는 음원 정보 등을 제공하는 음원 제공 기능과, 음원 분석 서버(40)로부터 제공된 음원 데이터 또는 음원 정보에 대한 음원 선호 선택 기능 등을 수행하는 데이터 프로세서(19) 등을 포함하여 구성된다. 다만, 전원부(미도시됨), 입력부(1), 표시부(3), 통신부(5), 출력부(7), 스피커부(9) 등은 본 발명이 속하는 기술 분야에 대한 통상의 기술자에게 당연히 인식되는 기술에 불과하여, 그 설명이 생략된다.The user communication terminal 20 is an information communication terminal capable of wired or wireless communication, and includes, for example, a smart phone, a tablet, a desktop, and the like. The user communication terminal 20 includes an input unit 1 that obtains a user's input (eg, a preference input, a non-preference input, etc.) and applies it to the data processor 19, and a display unit 3 that displays sound source information, etc. , a communication unit 5 for performing wired and/or wireless communication through the network 60, and an output unit (eg, AUX port) for performing wired communication with a sound conversion device (eg, headset, earphone, etc.) etc.) (7), the speaker unit 9 that emits sound, the sensing unit 11 that measures the sensed value related to the user's psychological state and applies it to the data processor 19, and controls the above-described components. , a data processor 19 that performs a sound source providing function that provides stored sound data or sound source information, and a sound source preference selection function for sound source data or sound source information provided from the sound source analysis server 40, etc. . However, the power supply unit (not shown), the input unit 1, the display unit 3, the communication unit 5, the output unit 7, the speaker unit 9, etc. are of course to those skilled in the art to which the present invention belongs. Since it is only a recognized technique, its description is omitted.

감지부(11)는 사용자의 심리 상태에 관련된 감지값(예를 들면, 음성, 심박, 뇌파 또는 날씨 등에 관련된 데이터)을 획득하여 데이터 프로세서(19)에 인가한다. 감지부(11)는 예를 들면, 마이크, EEG(electroencephalogram) 센서 또는 온도 감지부 등으로 구현될 수 있다.The sensing unit 11 obtains a sensing value related to the user's psychological state (eg, data related to voice, heartbeat, brain wave, or weather) and applies it to the data processor 19 . The sensing unit 11 may be implemented as, for example, a microphone, an electroencephalogram (EEG) sensor, or a temperature sensing unit.

데이터 프로세서(19)는 음원 분석 서버(40)로의 음원 데이터 및/또는 사용자의 심리 상태에 관련된 감지값의 제공 기능, 음원 분석 서버(40)로부터 제공된 음원 데이터 또는 음원 정보에 대한 음원 선호 선택 기능 등을 수행하는 프로세서(예를 들면, CPU, MICROPROCESSOR, MCU 등)와, 음원 데이터 및 음원 정보 등을 저장하는 저장 공간(예를 들면, 메모리 등) 등을 포함하여 구성된다.The data processor 19 provides a function of providing sound data to the sound source analysis server 40 and/or a detection value related to the user's psychological state, a sound source preference selection function for sound source data or sound source information provided from the sound source analysis server 40, etc. It is configured to include a processor (eg, CPU, MICROPROCESSOR, MCU, etc.) for performing the operation, and a storage space (eg, memory, etc.) for storing sound data and sound information.

음원 데이터는 음원을 포함하는 데이터로서, 예를 들면, mp3, WAVE, FLAC, ALAC 등의 파일 형식의 데이터를 포함한다. 음원 정보는 각 음원의 곡명, 가수, 장르, 바이노럴 비트 특징 등을 포함하는 정도에 해당된다. 본 실시예에서 음원은 음원 데이터 및 음원 정보를 모두 포함할 수 있다.The sound source data is data including a sound source, and includes, for example, data in a file format such as mp3, WAVE, FLAC, and ALAC. The sound source information corresponds to the degree of including the song name, singer, genre, and binaural beat characteristics of each sound source. In this embodiment, the sound source may include both sound source data and sound source information.

데이터 프로세서(19)의 상세한 기능에 대해서는 하기에서 기재된다.Detailed functions of the data processor 19 are described below.

음원 분석 서버(40)는 네트워크(60)를 통하여 유선 및/또는 무선 통신을 수행하는 통신부(45)와, 음원 데이터 및/또는 사용자의 심리 상태에 관련된 감지값을 학습 데이터로서 사용하여 바이노럴 비트 신경망 모델을 학습시키고, 신규 음원을 바이노럴 비트 신경망 모델에 적용하여 분석하여 출력값(예를 들면, 바이노럴 비트 특성)을 데이터 프로세서(49)에 인가하는 분석부(47)와, 음원 데이터 및/또는 사용자의 심리 상태에 관련된 감지값을 통신부(45)를 통하여 수신하고 분석부(47)에 인가하여 분석하도록 하고, 분석부(47)로 하여금 바이노럴 비트 신경망 모델을 적용하도록 하는 데이터 프로세서(49) 등을 포함하여 구성된다. 다만, 전원부(미도시됨), 입력부(미도시됨), 표시부(미도시됨), 통신부(45) 등은 본 발명이 속하는 기술 분야에 대한 통상의 기술자에게 당연히 인식되는 기술에 불과하여, 그 설명이 생략된다.The sound source analysis server 40 uses the communication unit 45 for performing wired and/or wireless communication through the network 60, and the sound source data and/or the sensed value related to the user's psychological state as learning data. An analysis unit 47 that trains a bit neural network model, applies a new sound source to the binaural beat neural network model and analyzes it, and applies an output value (eg, binaural beat characteristic) to the data processor 49; Receives data and/or a sensed value related to the user's psychological state through the communication unit 45, applies it to the analysis unit 47 to analyze, and causes the analysis unit 47 to apply the binaural beat neural network model and a data processor 49 and the like. However, the power supply unit (not shown), the input unit (not shown), the display unit (not shown), the communication unit 45, etc. are only technologies that are naturally recognized by those skilled in the art to which the present invention belongs, and the Description is omitted.

분석부(47)는 상술된 바와 같이, 신경망 학습을 수행하는 바이노럴 비트 신경망 모델을 포함하여 구성되며, 본 발명의 제 1 내지 제 3 특징들의 동작들을 데이터 프로세서(49)의 제어에 의해 수행하는 하드웨어, 또는 펌웨어 또는 소프트웨어로 구현될 수 있다. 바이노럴 비트 신경망 모델은 예를 들면, 심층 신경망(Deep Neural Networks), 합성곱 신경망(Convolutional deep Neural Networks), 순환 신경망(Recurrent Boltzmann Machine), 제한 볼츠만 머신(Restricted Boltzmann Machine), 심층 신뢰 신경망(Deep Belief Networks), 심층 Q-네트워크(Deep Q-Network)와 같은 다양한 딥러닝 기법으로 구현될 수 있다. 또한, 바이노럴 비트 신경망 모델은 이미 널리 알려진 신경망과 같이, 입력층(Input layer), 은닉층 (Hidden layer) 및 출력층 (Output layer)의 구조를 포함하며, 입력데이터의 값을 연결해서 예측값을 생성하는 과정(feedfoward)과 예측값과 실제값의 차이를 최소화하기 위해 연결의 가중치(weight)를 갱신하는 학습 과정(backpropagation) 등을 포함하는 학습 과정을 수행한다. As described above, the analysis unit 47 includes a binaural bit neural network model for performing neural network learning, and performs operations of the first to third features of the present invention under the control of the data processor 49 . may be implemented in hardware, firmware or software. Binaural beat neural network models include, for example, Deep Neural Networks, Convolutional Deep Neural Networks, Recurrent Boltzmann Machine, Restricted Boltzmann Machine, Deep Trusted Neural Network ( It can be implemented with various deep learning techniques such as Deep Belief Networks) and Deep Q-Networks. In addition, the binaural bit neural network model includes the structure of an input layer, a hidden layer, and an output layer, like a well-known neural network, and generates a predicted value by connecting the values of the input data. A learning process including a feedback process and a learning process (backpropagation) of updating the weight of the connection in order to minimize the difference between the predicted value and the actual value is performed.

데이터 프로세서(49)는 본 발명의 제 1 내지 제 3 특징들을 수행하는 프로세서(예를 들면, CPU, MICROPROCESSOR, MCU 등)와, 보유 음원 및/또는 신규 음원 등을 저장하는 저장 공간(예를 들면, 메모리 등) 등을 포함하여 구성된다. The data processor 49 includes a processor (eg, CPU, MICROPROCESSOR, MCU, etc.) performing the first to third aspects of the present invention, and a storage space (eg, a stored sound source and/or a new sound source, etc.) , memory, etc.) and the like.

본 실시예에서, 보유 음원은 음원 분석 서버(40)에 저장되어 있는 음원에 해당된다.In this embodiment, the retained sound source corresponds to the sound source stored in the sound source analysis server 40 .

신규 음원은 사용자가 음원 분석 서버(20)에 저장하지도 않으며, 사용자 통신 단말기(20)나 음원 공급 서버(50)로부터 음원 분석 서버(40)에 이전에 제공되지 않은 새로운 스테레오 음원 등을 포함한다.The new sound source is not stored by the user in the sound source analysis server 20, and includes a new stereo sound source that has not been previously provided to the sound source analysis server 40 from the user communication terminal 20 or the sound source supply server 50.

데이터 프로세서(49)의 상세한 기능에 대해서는 하기에서 기재된다.Detailed functions of the data processor 49 are described below.

다음으로, 음원 공급 서버(50)는 사용자 통신 단말기(20) 및/또는 음원 분석 서버(40)로 음원을 제공할 수 있는 통신 시스템에 해당되며, 네트워크(60)를 통하여 유선 및/또는 무선 통신을 수행하는 통신부(45)와, 신규 음원을 저장하며 저장된 신규 음원을 통신부(45)를 통하여 사용자 통신 단말기(20) 및/또는 음원 분석 서버(40)로 네트워크(60)를 통하여 전송하는 데이터 프로세서(59) 등을 포함하여 구성된다. 다만, 전원부(미도시됨), 입력부(미도시됨), 표시부(미도시됨), 통신부(55) 등은 본 발명이 속하는 기술 분야에 대한 통상의 기술자에게 당연히 인식되는 기술에 불과하여, 그 설명이 생략된다.Next, the sound source supply server 50 corresponds to a communication system that can provide a sound source to the user communication terminal 20 and/or the sound source analysis server 40 , and via the network 60 , wired and/or wireless communication A data processor that stores a new sound source and transmits the stored new sound source to the user communication terminal 20 and/or the sound source analysis server 40 through the communication unit 45 through the network 60 (59) and the like. However, the power supply unit (not shown), the input unit (not shown), the display unit (not shown), the communication unit 55, etc. are just technologies that are naturally recognized by those skilled in the art to which the present invention belongs, and the Description is omitted.

데이터 프로세서(49)는 본 발명의 제 1 내지 제 3 특징들을 음원 분석 서버(40)가 수행할 수 있도록 필요한 데이터 등을 제공하는 프로세서(예를 들면, CPU, MICROPROCESSOR, MCU 등)와, 신규 음원의 음원 데이터 및 음원 정보 등을 저장하는 저장 공간(예를 들면, 메모리 등) 등을 포함하여 구성된다. The data processor 49 includes a processor (eg, CPU, MICROPROCESSOR, MCU, etc.) that provides necessary data so that the sound source analysis server 40 can perform the first to third features of the present invention, and a new sound source It is configured to include a storage space (eg, memory, etc.) for storing sound source data and sound source information of the .

데이터 프로세서(59)의 상세한 기능에 대해서는 하기에서 기재된다.Detailed functions of the data processor 59 are described below.

먼저, 본 발명의 제 1 특징에 대한 처리 과정이 기재된다. First, the processing for the first aspect of the present invention is described.

데이터 프로세서(40)는 보유 음원들의 특성(예를 들면, 좌우 음원 간의 주파수 차이)을 추출하여 이 추출된 특성 및/또는 각 보유 음원의 청취 시의 사용자의 심리 상태에 관련된 감지값(예를 들면, EEG 센서의 출력값 등)등 학습데이터로 사용하여 바이노럴 비트 신경망 모델을 학습시켜, 신규 음원을 적용할 수 있도록 준비한다.The data processor 40 extracts the characteristics of the retained sound sources (for example, the frequency difference between the left and right sound sources), and detects values related to the extracted characteristics and/or the user's psychological state when listening to each of the retained sound sources (for example, , EEG sensor output value, etc.) are used as learning data to train a binaural beat neural network model, and prepare to apply a new sound source.

먼저, 데이터 프로세서(40)는 보유 음원에 대하여, 즉 기저장된 음원에 대하여, 또는 음원 공급 서버(50)에 저장된 음원을 요청하여 수신한 음원에 대해서, 분석부(47)를 제어하여 바이노럴 비트 신경망 모델을 학습시키기 위해 주파수 특성 분석을 수행한다. 분석부(47)는 기설정된 구간(기설정된 시간, 마디 또는 동기)에서의 스테레오 음원인 각 보유 음원의 주파수(왼쪽 및 오른쪽 음원 각각의 주파수 [Hz]) 영역으로의 변환(예를 들면, FFT)을 통하여, 또는 전체 구간에서의 스테레오 음원인 각 보유 음원의 주파수(왼쪽 및 오른쪽 음원 각각의 주파수 [Hz]) 영역으로의 변환을 수행하여 보유 음원의 주파수 특성을 학습 데이터로 사용하여 바이노럴 비트 신경망 모델을 학습시킨다. 분석부(47)가 주파수 영역에서, 스테레오 음원의 왼쪽 주파수(왼쪽 음원의 주파수)와 오른쪽 주파수(오른쪽 음원의 주파수) 간의 차이를 산정하거나, 스테레오 음원의 왼쪽 주파수와 오른쪽 주파수를 비교하여, 왼쪽 주파수와 오른쪽 주파수 간의 차이가 대부분 0.5~3 Hz 면 델타파 음원으로, 대부분 3~8 Hz 면 세타파 음원으로, 대부분 8~13 Hz 면 알파파 음원으로, 대부분 14~30 Hz 면 베타파 음원으로 판단한다. 즉, 분석부(47)는 보유 음원의 왼쪽 주파수와 오른쪽 주파수를 포함하는 주파수 특성을 학습 데이터로서 사용하여 바이노럴 비트 신경망 모델(제 1 신경망 모델)을 학습시켜, 학습된 바이노럴 비트 신경망 모델이 보유 음원의 바이노럴 비트 특성을 판단할 수 있다.First, the data processor 40 controls the analysis unit 47 to control the analysis unit 47 with respect to the sound source stored, that is, the sound source stored in the pre-stored sound source, or the sound source stored in the sound source supply server 50 and received by controlling the binaural sound source. Frequency characteristic analysis is performed to train the bit neural network model. The analysis unit 47 converts (eg, FFT) into a frequency (frequency [Hz] of each of the left and right sound sources) of each retained sound source that is a stereo sound source in a preset section (predetermined time, measure or sync) ) or by converting to the frequency (frequency [Hz] of each left and right sound source) of each retained sound source, which is a stereo sound source in the entire section, using the frequency characteristics of the retained sound source as learning data. Train a bit neural network model. The analysis unit 47 calculates the difference between the left frequency (frequency of the left sound source) and the right frequency (the frequency of the right sound source) of the stereo sound source in the frequency domain, or compares the left frequency and the right frequency of the stereo sound source, the left frequency If the difference between the right frequency and the right frequency is mostly 0.5~3 Hz, it is judged as a delta wave sound source, mostly 3~8 Hz as theta wave sound source, most of the 8~13 Hz as an alpha sound source, and mostly 14~30 Hz as a beta wave source . That is, the analysis unit 47 trains the binaural beat neural network model (the first neural network model) by using the frequency characteristics including the left and right frequencies of the retained sound source as learning data, and the learned binaural beat neural network The model can determine the binaural beat characteristics of the sound source possessed.

또한, 분석부(47)는 바이노럴 비트 신경망 모델을 학습시킴에 있어서, 하나의 음원에 복수 개의 바이노럴 비트 특성이 포함된 경우(예를 들면, 델타파와 알파파가 근소한 차이로 모두 포함된 경우), 해당 음원의 각 바이노럴 비트 특성이 임계 기준값(예를 들면, 시간 또는 횟수 등) 이상인지를 판단하고, 임계 기준값 이상인 그 중 어느 하나의 바이노럴 비트 특성을 해당 음원의 바이노럴 비트 특성으로 결정하도록 학습시킨다. In addition, when the analysis unit 47 trains the binaural beat neural network model, when a plurality of binaural beat characteristics are included in one sound source (for example, delta wave and alpha wave are both included with a slight difference) ), it is determined whether each binaural beat characteristic of the corresponding sound source is greater than or equal to a threshold reference value (eg, time or number of times, etc.), and any one binaural beat characteristic greater than or equal to the threshold reference value is set to the bar of the corresponding sound source. Learn to make decisions based on the natural beat characteristics.

이러한 주파수 특성의 분석 시에, 분석부(47)는 음원의 마디(동기), 시간 등으로 특정 구간 추출하고, 특정 구간으로 추출된 음원의 주파수 또는 스펙트로그램을 추출할 수도 있다. 또는, 분석부(47)는 단일 구간 또는 복수 구간의 평균 주파수 또는 스펙트로그램을 추출할 수도 있다. 또한, 분석부(47)는 특정 구간의 크기인 윈도우 폭을 가변할 수도 있다. When analyzing such frequency characteristics, the analysis unit 47 may extract a specific section with a node (synchronization), time, etc. of the sound source, and extract a frequency or a spectrogram of the sound source extracted with a specific section. Alternatively, the analyzer 47 may extract an average frequency or spectrogram of a single section or a plurality of sections. Also, the analysis unit 47 may vary the window width, which is the size of a specific section.

분석부(47)는 신경망 모델(제 1 신경망 모델)이 위와 같은 특성값이나, 특성값의 패턴에 따라 구별되거나 식별되는 바이노럴 비트 특징별 음원에 대한 학습을 수행하도록 한다. 즉, 분석부(47)는 신경망 모델이 학습에 의해 바이노럴 비트 특징별 기준 특성값을 산정하도록 한다. 예를 들면, 바이노럴 비트 특징이 4개이면, 분석부(47)는 신경망 모델이 서로 상이한 4개의 기준 특성값을 저장하여 이용하도록 한다.The analysis unit 47 allows the neural network model (the first neural network model) to learn the sound source for each characteristic of the binaural beat, which is distinguished or identified according to the above characteristic values or patterns of characteristic values. That is, the analysis unit 47 allows the neural network model to calculate a reference characteristic value for each binaural beat characteristic by learning. For example, if there are four binaural bit features, the analysis unit 47 allows the neural network model to store and use four different reference feature values.

또한, 데이터 프로세서(49)는 보유 음원 중에서 사용자 통신 단말기(20)에서 재생되어 음 방출된 보유 음원의 바이노럴 비트 특성을 결정함에 있어서, 사용자 통신 단말기(20)로 통신부(45)를 통하여 음 방출 시의 감지부(11)로부터의 감지값을 요청하여 수신하고, 분석부(47)로 하여금 바이노럴 비트 신경망 모델이 음 방출된 보유 음원의 주파수 분석 결과와 수신된 감지값을 학습 데이터로서 학습하도록 하여, 음 방출된 보유 음원의 바이노럴 비트 특성을 결정하도록 하고, 분석부(47)로부터 출력값(예를 들면, 바이노럴 비트 특성 등)을 인가 받는다. 즉, 분석부(47)는 보유 음원들의 주파수 특성(예를 들면, 좌우 음원 간의 주파수 차이)을 추출하도록 바이노럴 비트 신경망 모델을 적용하되, 각 보유 음원의 청취 시의 사용자의 심리 상태에 관련된 감지값(예를 들면, EEG 센서의 출력값 등)도 학습 데이터로 함께 이용하도록 바이노럴 비트 신경망 모델(제 2 신경망 모델)을 학습시키고, 데이터 프로세서(49)는 이러한 분석부(47)를 제어한다. In addition, the data processor 49 determines the binaural bit characteristics of the retained sound source reproduced and emitted by the user communication terminal 20 among the sound sources, and the sound is transmitted to the user communication terminal 20 through the communication unit 45 . Requests and receives the detection value from the detection unit 11 at the time of emission, and causes the analysis unit 47 to use the frequency analysis result and the received detection value of the sound source from which the binaural beat neural network model is emitted as learning data. Learning is performed to determine the binaural beat characteristics of the retained sound source emitted by the sound, and an output value (eg, binaural beat characteristics, etc.) is applied from the analysis unit 47 . That is, the analysis unit 47 applies the binaural beat neural network model to extract the frequency characteristics (eg, the frequency difference between the left and right sound sources) of the retained sound sources, but related to the user's psychological state when listening to each of the retained sound sources. The binaural bit neural network model (second neural network model) is trained so that the sensed values (eg, the output value of the EEG sensor, etc.) are also used as training data, and the data processor 49 controls the analysis unit 47 . do.

또한, 데이터 프로세서(49)는 사용자 통신 단말기(20)로 통신부(45)를 통하여 감지부(11)로부터의 감지값을 요청하여 수신하고, 분석부(47)로 하여금 바이노럴 비트 신경망 모델이 수신된 감지값을 학습 데이터로서 학습하도록 하여, 사용자의 심리 상태를 판단할 수도 있다(제 3 신경망 모델). 즉, 데이터 프로세서(49)는 사용자의 심리 상태의 판단에 따라 하기의 제 3 특징에서와 같이, 사용자의 심리 상태에 대응하는 바이노럴 비트 특징을 포함하는 음원의 정보(음원 정보)를 추천하거나 그 음원을 재생하도록 할 수 있다. In addition, the data processor 49 requests and receives the sensing value from the sensing unit 11 through the communication unit 45 to the user communication terminal 20, and causes the analysis unit 47 to generate the binaural bit neural network model. By learning the received sensing value as learning data, it is also possible to determine the user's psychological state (third neural network model). That is, according to the determination of the user's psychological state, the data processor 49 recommends or recommends information (sound source information) of a sound source including a binaural beat characteristic corresponding to the user's psychological state as in the following third characteristic. You can play that sound.

상술된 바와 같이, 제 1 신경망 모델은 음원의 주파수 특성에 대한 학습 과정을 포함하고, 제 2 신경망 모델은 음원의 주파수 특성과 감지값에 대한 학습 과정을 포함하고, 제 3 신경망 모델은 감지값에 대한 학습 과정을 포함한다.As described above, the first neural network model includes a learning process for the frequency characteristic of the sound source, the second neural network model includes a learning process for the frequency characteristic of the sound source and the sensed value, and the third neural network model includes a learning process for the frequency characteristic of the sound source. includes a learning process for

또한, 데이터 프로세서(49)는 음 방출된 보유 음원의 출력 크기(청취 데시벨)에 대한 정보도 사용자 통신 단말기(20)에 요청하고 수신하여 저장한다. 데이터 프로세서(49)는 음 방출된 보유 음원과 동일한 바이노럴 비트 특성을 지닌 음원을 사용자 통신 단말기(20)에 제공할 때, 저장된 출력 크기를 함께 사용자 통신 단말기(20)로 전송한다.In addition, the data processor 49 also requests, receives, and stores information on the output size (listening decibels) of the sound-emitting retained sound source from the user communication terminal 20 . When the data processor 49 provides a sound source having the same binaural bit characteristics as the sound emitted by the retained sound source to the user communication terminal 20 , the stored output size is transmitted to the user communication terminal 20 together.

다음으로, 제 2 특징으로서, 데이터 프로세서(49)는 분석부(47)를 제어하여 신규 음원의 주파수 특성을 이 바이노럴 비트 신경망 모델에 적용하여 신규 음원의 바이노럴 비트 특징을 판단한다. 데이터 프로세서(49)는 통신부(45)를 통하여 사용자 통신 단말기(20)에 저장된 음원을 요청하여 수신하거나, 음원 공급 서버(50)에 저장된 음원(음원 데이터)을 요청하여 수신하여 신규 음원을 준비한다. 데이터 프로세서(19)는 음원 분석 서버(40)로부터의 요청에 따라 저장된 음원을 통신부(5)를 통하여 음원 분석 서버(40)로 전송하고, 데이터 프로세서(59)는 저장된 음원을 통신부(55)를 통하여 음원 분석 서버(40)로 전송하고, 데이터 프로세서(49)는 저장된 음원을 수신하여 저장한다. 데이터 프로세서(49)는 수신된 음원(신규 음원)을 분석부(47)에 인가하여, 분석부(47)로 하여금 바이노럴 비트 신경망 모델(제 1 신경망 모델)에 인가 적용하여 신규 음원의 바이노럴 비트 특성을 결정하도록 하고, 결정된 바이노럴 비트 특성을 인가 받아 저장한다.Next, as a second feature, the data processor 49 controls the analysis unit 47 to apply the frequency characteristic of the new sound source to the binaural beat neural network model to determine the binaural beat feature of the new sound source. The data processor 49 prepares a new sound source by requesting and receiving the sound source stored in the user communication terminal 20 through the communication unit 45 or by requesting and receiving the sound source (sound source data) stored in the sound source supply server 50 . The data processor 19 transmits the stored sound source to the sound source analysis server 40 through the communication unit 5 according to a request from the sound source analysis server 40, and the data processor 59 transmits the stored sound source to the communication unit 55 Transmits to the sound source analysis server 40 through the data processor 49 receives and stores the stored sound source. The data processor 49 applies the received sound source (new sound source) to the analysis unit 47, and causes the analysis unit 47 to apply and apply the binaural beat neural network model (first neural network model) to the bar of the new sound source. It determines the natural bit characteristic, and receives and stores the determined binaural bit characteristic.

제 2 특징에서 바이노럴 비트 특성을 결정함에 있어서, 분석부(47)는 신경망 모델이 신규 음원의 주파수 특성이 학습 분야별 기준 특성값들 중에서 일치하는 기준 특성값이 있거나, 어느 기준 특성값에 대하여 적정 오차율(예를 들면, 기준 특성값과의 오차율이 5% 미만인 것) 이내인 경우에는 그 기준 특성값이 대응하는 바이노럴 비트 특성으로 신규 음원의 주파수 특성을 결정한다. 다만, 일치하거나 적정 오차율 이내의 기준 특성값이 없을 경우, 분석부(47)는 다른 신규 음원을 분석할 수 있다.In determining the binaural beat characteristic in the second characteristic, the analysis unit 47 determines that the neural network model has a reference characteristic value in which the frequency characteristic of the new sound source matches among the reference characteristic values for each learning field, or with respect to a certain reference characteristic value When the error rate is within an appropriate error rate (eg, the error rate with respect to the reference characteristic value is less than 5%), the frequency characteristic of the new sound source is determined by the binaural beat characteristic corresponding to the reference characteristic value. However, when there is no reference characteristic value that matches or is within an appropriate error rate, the analysis unit 47 may analyze another new sound source.

다음으로, 제 3 특징으로서, 데이터 프로세서(49)는 사용자의 심리 상태에 대응하는 바이노럴 비트 특징을 포함하는 음원의 정보(음원 정보)를 추천하거나 그 음원을 재생하도록 한다. Next, as a third feature, the data processor 49 recommends or reproduces the sound source information (sound source information) including the binaural bit feature corresponding to the user's psychological state.

제 3 특징 중에서, 사용자가 바이노럴 비트 특징을 선택하도록 하는 방법이 있다. 데이터 프로세서(19)는 사용자가 선택 가능한 바이노럴 비트 특징을 표시부(3)를 통하여 표시하고, 입력부(1)를 통하여 사용자가 선택한 바이노럴 비트 특징 선택 입력을 획득하여 음원 분석 서버(40)에 통신부(5)를 통하여 전송한다. 데이터 프로세서(49)는 통신부(45)를 통하여 바이노럴 비트 특징 선택 입력을 수신하여, 제 1 및 제 2 특징에서 분석부(47)에 의해 결정된 바이노럴 비트 특징들 중에서 선택 입력에 대응하는 바이노럴 비트 특징을 지닌 적어도 하나 이상의 음원을 판독하여 통신부(45)를 통하여 사용자 통신 단말기(20)로 전송한다. 데이터 프로세서(19)는 수신된 음원의 음원 정보를 표시부(3)에 표시하고, 입력부(1)로부터 음원 분석 서버(40)로부터 제공된 음원에 대한 음원 선택 입력을 획득하고, 획득된 음원 선택 입력에 대응하는 음원이 재생하여 스피커부(9)나 출력부(7)로 인가하여 음 방출되도록 한다.Among the third features, there is a method for allowing a user to select a binaural beat feature. The data processor 19 displays the binaural beat features selectable by the user through the display unit 3, and obtains the binaural beat feature selection input selected by the user through the input unit 1 to obtain the sound source analysis server 40 is transmitted through the communication unit (5). The data processor 49 receives the binaural bit feature selection input through the communication unit 45, and receives the binaural bit feature selection input corresponding to the selection input from among the binaural bit features determined by the analysis unit 47 in the first and second features. At least one sound source having a binaural beat characteristic is read and transmitted to the user communication terminal 20 through the communication unit 45 . The data processor 19 displays the sound source information of the received sound source on the display unit 3, obtains a sound source selection input for the sound source provided from the sound source analysis server 40 from the input unit 1, and adds A corresponding sound source is reproduced and applied to the speaker unit 9 or the output unit 7 to emit sound.

또한, 데이터 프로세서(49)는 사용자에 의해 선택된 음원이 사용자 통신 단말기(20)에서 음 방출되는 중에, 감지부(11)에 의한 감지값을 사용자 통신 단말기(20)에 요청할 수 있다. 데이터 프로세서(19)는 그 요청에 따라 감지값을 음원 분석 서버(40)로 전송하고, 데이터 프로세서(49)는 감지값을 수신하여 분석부(47)를 제어하여 바이노럴 비트 신경망 모델에 인가 적용하여, 음 방출되는 음원의 바이노럴 비트 특징과, 감지값에 대응하는 바이노럴 비트 특징을 비교하여, 이들 바이노럴 비트 특징이 동일하지 않을 경우, 분석부(47)가 바이노럴 비트 신경망 모델이 이러한 바이노럴 비트 특징들 간의 오차나 불일치를 학습할 수 있도록 한다. 이러한 추가적인 학습 과정에 의해서, 음원 분석 서버(40)는 보다 사용자가 원하는 바이노럴 비트 특징을 지닌 음원을 제공할 수 있도록 한다.In addition, the data processor 49 may request the user communication terminal 20 for a value detected by the sensing unit 11 while the sound source selected by the user is emitted from the user communication terminal 20 . The data processor 19 transmits the sensed value to the sound source analysis server 40 according to the request, and the data processor 49 receives the sensed value and controls the analyzer 47 to apply it to the binaural beat neural network model. By applying, by comparing the binaural beat characteristics of the sound source emitted from the sound and the binaural beat characteristics corresponding to the sensed value, if these binaural beat characteristics are not the same, the analysis unit 47 determines the binaural It allows the bit neural network model to learn errors or mismatches between these binaural beat features. By this additional learning process, the sound source analysis server 40 can provide a sound source having a binaural beat characteristic desired by the user.

제 3 특징 중에서, 데이터 프로세서(49)가 사용자의 심리 상태를 분석하여 그에 대응하는 음원을 제공할 수도 있다. 데이터 프로세서(49)는 통신부(45)를 제어하여 사용자 통신 단말기(20)로 감지값을 요청하여 수신하고, 분석부(47)를 제어하여 수신된 감지값을 바이노럴 비트 신경망에 적용하여, 분석부(47)로부터 감지값에 대응하는 바이노럴 비트 특성을 인가 받는다. 데이터 프로세서(49)는 인가된 바이노럴 비트 특성에 대응하는 음원을 통신부(45)를 통하여 사용자 통신 단말기(20)에 인가하고, 데이터 프로세서(19)는 인가된 음원을 재생하여 스피커부(9)나 출력부(7)를 통하여 음 방출되도록 한다. 또한, 데이터 프로세서(19)는 현재 음 방출되는 음원에 대한 선호 여부(음원 선호 선택 입력)를 입력부(1)를 통하여 획득하여, 그 선호 여부 결과(선호 또는 비선호)를 통신부(5)를 통하여 음원 분석 서버(40)에 인가한다. 데이터 프로세서(49)는 인가된 선호 여부 결과를 분석부(47)로 인가하여, 선호 여부 결과를 바이노럴 비트 신경망 모델에 적용하여, 학습하도록 한다. 즉, 선호 여부 결과가 비선호인 경우에, 분석부(47)는 사용자의 비선호 선택을 바이노럴 비트 신경망 모델에 적용하여 학습시킴으로써, 이후에 감지값에 대응하는 음원을 선택함에 있어서, 그 정확도를 향상시킨다. 이렇게 바이노럴 비트 특성 판단의 오차를 감소시키기 위해, 데이터 프로세서(49)는 오차 역전파(역전파는 먼저 계산 결과와 정답의 오차를 구해 이 오차에 관여하는 값들의 가중치를 수정하여 오차가 작아지는 방향으로 일정 횟수를 반복해 수정하는 방법)방법 등을 이용할 수도 있다.Among the third features, the data processor 49 may analyze the user's psychological state and provide a sound source corresponding thereto. The data processor 49 controls the communication unit 45 to request and receive a detection value from the user communication terminal 20, and controls the analysis unit 47 to apply the received detection value to the binaural bit neural network, A binaural bit characteristic corresponding to the sensed value is applied from the analysis unit 47 . The data processor 49 applies the sound source corresponding to the applied binaural bit characteristic to the user communication terminal 20 through the communication unit 45, and the data processor 19 reproduces the applied sound source to the speaker unit 9 ) or the output unit 7 to emit sound. In addition, the data processor 19 obtains preference (sound source preference selection input) for the sound source currently emitting sound through the input unit 1, and transmits the preference result (preference or non-preference) to the sound source through the communication unit 5 . It is applied to the analysis server 40 . The data processor 49 applies the applied preference result to the analysis unit 47 and applies the preference result to the binaural bit neural network model to learn. That is, when the preference result is non-preference, the analysis unit 47 applies the user's non-preference selection to the binaural beat neural network model to learn it, and then selects the sound source corresponding to the sensed value. improve In order to reduce the error in determining the binaural bit characteristics, the data processor 49 performs error backpropagation (reverse propagation first obtains the error between the calculation result and the correct answer, then corrects the weight of the values involved in this error to reduce the error. A method of repeating correction a certain number of times in the same direction) can also be used.

상술된 과정에서, 음원 분석 서버(40)는 사용자의 관심을 향상시킬 수 있는 음원을 활용하되 신경망 모델에 의해 결정되는 바이노럴 비트 특성을 지닌 음원을 제공하도록 할 수 있다.In the above-described process, the sound source analysis server 40 may utilize a sound source capable of improving the user's interest, but may provide a sound source having a binaural beat characteristic determined by a neural network model.

다양한 실시 예에 따른 장치(예: 프로세서 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 메모리가 될 수 있다.At least a portion of an apparatus (eg, a processor or functions thereof) or a method (eg, operations) according to various embodiments is stored in a computer-readable storage medium in the form of, for example, a program module It can be implemented with stored instructions. When the instruction is executed by a processor, the one or more processors may perform a function corresponding to the instruction. The computer-readable storage medium may be, for example, a memory.

컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예: 자기테이프), 광기록 매체(optical media)(예: CD-ROM, DVD(Digital Versatile Disc), 자기-광 매체(magnetoopticalmedia)(예: 플롭티컬 디스크(floptical disk)), 하드웨어 장치(예: ROM, RAM, 또는 플래시 메모리 등)등을 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시 예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.Computer-readable recording media include hard disks, floppy disks, magnetic media (eg, magnetic tape), optical media (eg, CD-ROM, DVD (Digital Versatile Disc), magnetic- It may include an optical medium (eg, a floptical disk), a hardware device (eg, ROM, RAM, or flash memory, etc.), etc. In addition, program instructions include It may include not only machine code but also high-level language code that can be executed by a computer using an interpreter, etc. The above-described hardware device may be configured to operate as one or more software modules to perform operations of various embodiments, and The same goes for the station.

다양한 실시 예에 따른 프로세서 또는 프로세서에 의한 기능들은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시 예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.The processor or functions by the processor according to various embodiments may include at least one or more of the above-described components, some may be omitted, or may further include additional other components. Operations performed by a module, a program module, or other components according to various embodiments may be executed sequentially, in parallel, iteratively, or in a heuristic method. Also, some operations may be executed in a different order, omitted, or other operations may be added.

이상 설명한 바와 같이, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형의 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.As described above, the present invention is not limited to the specific preferred embodiments described above, and anyone with ordinary skill in the art to which the invention pertains can use various methods without departing from the gist of the present invention as claimed in the claims. It goes without saying that modifications are possible, and such modifications are intended to be within the scope of the claims.

20: 사용자 통신 단말기 40: 음원 분석 서버
50: 음원 공급 서버20: user communication terminal 40: sound source analysis server
50: sound source server

Claims (5)

스테레오 음원인 보유 음원을 주파수 영역으로 변환시켜, 보유 음원의 주파수 특성을 분석하는 제 1 분석 단계와;
분석된 보유 음원의 주파수 특성을 바이노럴 비트 특성의 판단을 위한 신경망 모델에 적용하여 학습시키는 제 1 학습단계와;
스테레오 음원인 신규 음원을 주파수 영역으로 변환시켜, 신규 음원의 주파수 특성을 분석하는 제 2 분석 단계와;
신규 음원의 주파수 특성을 학습된 신경망 모델에 적용하여, 신규 음원의 바이노럴 비트 특성을 판단하는 판단 단계를 포함하는 것을 특징으로 하는 스테레오 음원 분석 방법.a first analysis step of converting the retained sound source, which is a stereo sound source, into a frequency domain to analyze the frequency characteristics of the retained sound source;
a first learning step of applying the analyzed frequency characteristic of the retained sound source to a neural network model for determining the binaural beat characteristic and learning;
a second analysis step of converting a new sound source that is a stereo sound source into a frequency domain and analyzing the frequency characteristics of the new sound source;
A method for analyzing a stereo sound source comprising the step of determining the binaural beat characteristic of the new sound source by applying the frequency characteristic of the new sound source to the learned neural network model. 제 1 항에 있어서,
스테레오 음원 분석 방법은 제 1 분석 단계에서 분석된 보유 음원의 주파수 특성 및 사용자의 심리 상태에 관련된 감지값 중의 어느 하나 이상을 바이노럴 비트 특성의 판단을 위한 신경망 모델에 적용하여 학습시키는 제 2 학습 단계를 추가적으로 포함하는 것을 특징으로 하는 스테레오 음원 분석 방법.The method of claim 1,
The stereo sound source analysis method is a second learning that applies any one or more of the frequency characteristics of the possessed sound source analyzed in the first analysis step and the detection values related to the user's psychological state to the neural network model for determining the binaural beat characteristics to learn. Stereo sound source analysis method, characterized in that it further comprises the step. 제 2 항에 있어서,
스테레오 음원 분석 방법은 제 2 학습 단계 이후에, 사용자의 심리 상태에 관련된 감지값을 신경망 모델에 적용하여 감지값에 대응하는 바이노럴 비트 특성을 결정하는 단계와, 판단 단계에서 판단된 신규 음원 중에서 결정된 바이노럴 비트 특성에 대응하는 음원을 사용자 통신 단말기에 제공하는 단계를 포함하는 것을 특징으로 하는 스테레오 음원 분석 방법.3. The method of claim 2,
The stereo sound source analysis method includes the steps of applying a detection value related to the user's psychological state to a neural network model after the second learning step to determine the binaural beat characteristic corresponding to the detection value, and among the new sound sources determined in the determination step Stereo sound source analysis method comprising the step of providing a sound source corresponding to the determined binaural bit characteristic to a user communication terminal. 제 1 항에 있어서,
스테레오 음원 분석 방법은 판단 단계 이후에 사용자가 선택한 바이노럴 비트 특성을 지닌 보유 음원 또는 신규 음원을 사용자 통신 단말기에 제공하는 단계를 포함하는 것을 특징으로 하는 스테레오 음원 분석 방법.The method of claim 1,
Stereo sound source analysis method, stereo sound source analysis method, characterized in that it comprises the step of providing a new sound source or a retained sound source having a binaural bit characteristic selected by a user after the determination step to a user communication terminal. 제 1 항에 있어서,
보유 음원의 주파수 특성은 좌 음원 및 우 음원 각각의 주파수들 간의 차이인 것을 특징으로 하는 스테레오 음원 분석 방법.The method of claim 1,
The frequency characteristic of the retained sound source is a stereo sound source analysis method, characterized in that the difference between the frequencies of the left sound source and the right sound source.
KR1020190173922A 2019-12-24 2019-12-24 Stereo sound source analyzing method KR102285883B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190173922A KR102285883B1 (en) 2019-12-24 2019-12-24 Stereo sound source analyzing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190173922A KR102285883B1 (en) 2019-12-24 2019-12-24 Stereo sound source analyzing method

Publications (2)

Publication Number Publication Date
KR20210081703A true KR20210081703A (en) 2021-07-02
KR102285883B1 KR102285883B1 (en) 2021-08-05

Family

ID=76897040

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190173922A KR102285883B1 (en) 2019-12-24 2019-12-24 Stereo sound source analyzing method

Country Status (1)

Country Link
KR (1) KR102285883B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100133151A (en) * 2009-06-11 2010-12-21 주식회사 오디녹스 Method and apparatus for generating audio signal for learning using binaural beat frequency
KR20150010313A (en) * 2013-07-19 2015-01-28 전자부품연구원 Apparatus and method for managing preference sound source using emotion analysis
KR20190080437A (en) * 2017-12-28 2019-07-08 한양대학교 산학협력단 Apparatus and method for searching music source using machine learning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100133151A (en) * 2009-06-11 2010-12-21 주식회사 오디녹스 Method and apparatus for generating audio signal for learning using binaural beat frequency
KR20150010313A (en) * 2013-07-19 2015-01-28 전자부품연구원 Apparatus and method for managing preference sound source using emotion analysis
KR20190080437A (en) * 2017-12-28 2019-07-08 한양대학교 산학협력단 Apparatus and method for searching music source using machine learning

Also Published As

Publication number Publication date
KR102285883B1 (en) 2021-08-05

Similar Documents

Publication Publication Date Title
US11342062B2 (en) Method and system for analysing sound
Coutinho et al. Psychoacoustic cues to emotion in speech prosody and music
US20200313782A1 (en) Personalized real-time audio generation based on user physiological response
US20240064463A1 (en) Playback of generative media content
EP3496425B1 (en) Costumized headphone sound quality
Roy et al. Musical sound quality impairments in cochlear implant (CI) users as a function of limited high-frequency perception
Esposito et al. Judgment of infant cry: the roles of acoustic characteristics and sociodemographic characteristics
Miguel et al. From beat tracking to beat expectation: Cognitive-based beat tracking for capturing pulse clarity through time
Francombe et al. A model of distraction in an audio-on-audio interference situation with music program material
KR102285883B1 (en) Stereo sound source analyzing method
JP4516366B2 (en) Hearing test device, hearing aid selection device using the same, management server, and computer-readable recording medium
US20190197415A1 (en) User state modeling
US11432078B1 (en) Method and system for customized amplification of auditory signals providing enhanced karaoke experience for hearing-deficient users
US11596763B2 (en) Patient tailored system and process for treating ASD and ADHD conditions using music therapy and mindfulness with Indian Classical Music
JP2021189450A (en) Audio track analysis technique for supporting personalization of audio system
US11966661B2 (en) Audio content serving and creation based on modulation characteristics
US20230281244A1 (en) Audio Content Serving and Creation Based on Modulation Characteristics and Closed Loop Monitoring
Lei et al. Wearable neck surface accelerometers for occupational vocal health monitoring: instrument and analysis validation study
US20220295204A1 (en) Real-Time Adaptation of Audio Playback
KR20210081704A (en) Sound source analyzing method
WO2023179765A1 (en) Multimedia recommendation method and apparatus
Yadav et al. Towards a method for loudness-based analysis of the sound of one's own voice
US20230000410A1 (en) Neural stimulation through audio with dynamic modulation characteristics
JP2005137879A (en) Audibility test system and hearing aid selection system using the same
Lorenz Impact of Head-Tracking on the listening experience of binaural music

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right