KR20210115379A - 오디오 데이터 식별장치 - Google Patents

오디오 데이터 식별장치 Download PDF

Info

Publication number
KR20210115379A
KR20210115379A KR1020200031064A KR20200031064A KR20210115379A KR 20210115379 A KR20210115379 A KR 20210115379A KR 1020200031064 A KR1020200031064 A KR 1020200031064A KR 20200031064 A KR20200031064 A KR 20200031064A KR 20210115379 A KR20210115379 A KR 20210115379A
Authority
KR
South Korea
Prior art keywords
audio data
audio
unit
identification information
resource
Prior art date
Application number
KR1020200031064A
Other languages
English (en)
Other versions
KR102400903B1 (ko
Inventor
한윤창
이수빈
박정수
정일영
이돈문
임현기
Original Assignee
주식회사 코클리어닷에이아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 코클리어닷에이아이 filed Critical 주식회사 코클리어닷에이아이
Priority to KR1020200031064A priority Critical patent/KR102400903B1/ko
Priority to EP21766949.8A priority patent/EP4120098A4/en
Priority to CN202180019728.7A priority patent/CN115298661A/zh
Priority to JP2022554581A priority patent/JP7470336B2/ja
Priority to PCT/KR2021/002496 priority patent/WO2021182782A1/ko
Priority to US17/911,078 priority patent/US20230178096A1/en
Publication of KR20210115379A publication Critical patent/KR20210115379A/ko
Application granted granted Critical
Publication of KR102400903B1 publication Critical patent/KR102400903B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/65—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Library & Information Science (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 임의의 오디오 데이터를 수집하여 수집된 오디오 데이터 중 어느 한 구간을 추출한 오디오 리소스를 식별하는 오디오 데이터 식별장치에 관한 것으로, 임의의 오디오 데이터를 수집하여 전달하는 통신부; 수집된 상기 오디오 데이터를 식별하는 제어부;를 포함하고, 제어부는 수집된 오디오 데이터를 소정의 단위로 파싱하는 파싱부; 오디오 데이터의 파싱된 복수의 구간 중 어느 한 구간을 오디오 리소스로 선택하는 추출부; 미리 탑재된 인공지능 알고리즘에 의해 오디오 리소스의 식별정보를 매칭하는 매칭부; 및 오디오 리소스에 매칭된 식별정보를 검증하는 검증부를 포함하는 것을 특징으로 한다.

Description

오디오 데이터 식별장치{Audio Data Identification Device}
본 발명은 임의의 오디오 데이터를 수집하여 수집된 오디오 데이터 중 어느 한 구간을 추출한 오디오 리소스를 식별하는 오디오 데이터 식별장치에 관한 것이다.
최근 오디오를 처리하기 위하여 딥 러닝과 같은 인공지는 기술들이 적용되고 있다. 오디오와 관련된 처리 기술 중 하나인 오디오 식별 기술은 오디오 입력이 어떤 주체로부터 발생되었는지, 해당 주체의 어떤 상황에서 발생되는 것인지 여부를 검출하기 위한 목적으로 개발된다.
이와 같이, 인공지능을 이용한 오디오 식별 기술을 구현하기 위하여, 다수의 오디오 입력과, 그에 대응되어 이미 식별된 오디오 정보, 또는 오디오 분석은 필수적인 요소이다.
종래, 오디오 입력에 대응되는 오디오 정보를 획득하기 위하여, 정답지 수집 방식이 활용되고 있다. 정답지 수집 방식에 의한 오디오 정보 수집은, 소수의 고용된 사람들에 의해 수행됨으로, 고용된 사람의 개인적 특성에 따라 수집된 오디오 정보의 특성이 변화하고, 수집된 오디오 정보가 제한적인 문제점이 있었다.
즉, 정답지 수집 방식으로 오디오 정보를 수집하게 되면, 수집된 오디오 정보의 신뢰성 및 객관성을 확보하기 어려우며, 광범위한 오디오 정보를 확보하는 것이 어렵다. 아울러, 오디오 정보의 신뢰성 및 범위가 저하되면 자연히 오디오 식별 기술의 성능이 저하되는 문제점이 발생한다.
정답지 수집 방식의 또 다른 문제점은 고용된 몇몇의 사람에 의해 수동적으로 수행되어야 하므로, 대량의 오디오 입력과 대응되는 오디오 정보를 수집하는 과정에서 상당한 시간이 소요된다는 것이다.
또 다른 종래의 방법으로는, 음성 인식 시스템을 구축하기 위해 음성 발화 데이터를 확보하는 방식이 있었다. 즉, 고용된 인력이 직접 발화 상황에서 나는 소리를 발화하고, 이를 녹음 및 수집하는 방식이 존재하였다. 하지만, 이런 방식은 근본적으로 고용된 소수의 인력에 의해 수집된 오디오 정보의 특성이 변화할 수 있으므로, 지역적인 한계를 벗어나기 힘들다는 단점이 있었다.
따라서, 본 발명에서는 온라인 상에서 소셜 네트워크, 유투브 등을 통해 올라오는 오디오 및 영상 데이터를 임의로 수집하여 분석함으로써 오디오 리소스의 식별을 진행하고, 식별된 정보를 검증하는 과정을 거침으로써, 인공지능 알고리즘을 학습시켜 신뢰성 및 광범위한 데이터의 식별 성능을 향상시킬 수 있는 오디오 데이터 식별장치를 제공하고자 한다.
본 발명은 네트워크를 통해 임의의 오디오 데이터를 수집하도록 하는 오디오 데이터 식별장치를 제공하고자 한다.
또한, 본 발명은 임의로 수집된 데이터를 소정의 단위로 파싱하여 추출된 오디오 리소스의 식별정보를 매칭하는 오디오 데이터 식별장치를 제공하고자 한다.
또한, 본 발명은 인공지능 알고리즘을 통해 오디오 리소스의 식별정보를 매칭하되, 검증을 통해 인공지능 알고리즘을 학습시켜 식별 성능을 향상시키는 오디오 데이터 식별장치를 제공하고자 한다.
또한, 본 발명에서 식별정보가 분류되지 않은 오디오 리소스는 피드백을 통해 인공지능 알고리즘이 학습할 수 있는 오디오 데이터 식별장치를 제공하고자 한다.
또한, 외부 단말기를 통해 불특정 다수로부터 매칭된 식별정보를 검증하여 신뢰성을 향상시키는 오디오 데이터 식별장치를 제공하고자 한다.
상기와 같은 본 발명의 기술적 과제를 해결하기 위해서, 본 발명에 따른 오디오 데이터 식별장치는 임의의 오디오 데이터를 수집하여 전달하는 통신부; 수집된 상기 오디오 데이터를 식별하는 제어부;를 포함하고, 제어부는 수집된 오디오 데이터를 소정의 단위로 파싱하는 파싱부; 오디오 데이터의 파싱된 복수의 구간 중 어느 한 구간을 오디오 리소스로 선택하는 추출부; 미리 탑재된 인공지능 알고리즘에 의해 오디오 리소스의 식별정보를 매칭하는 매칭부; 및 오디오 리소스에 매칭된 식별정보를 검증하는 검증부를 포함하는 것을 특징으로 한다.
일 실시예에 있어서, 인공지능 알고리즘은 검증부에서 판별된 식별정보의 판별 결과를 입력받아 학습하는 것을 특징으로 하고, 검증부는 외부 단말기에 의한 사용자의 입력에 근거하여 식별정보를 판별하는 것을 특징으로 한다.
또한, 일 실시예에 있어서, 검증부는 외부 단말기에 의한 불특정 다수의 입력에 근거하여 식별정보를 판별하되, 불특정 다수의 판별 결과의 오차 범위가 큰 경우, 해당 오디오 리소스는 폐기하는 것을 특징으로 한다.
일 실시예에 있어서, 외부 단말기는 매칭된 식별정보의 참 또는 거짓을 입력 받아 검증부로 전송하는 것을 특징으로 한다.
다른 실시예에 있어서, 외부 단말기는 미리 제공된 복수의 식별자 중 어느 하나를 선택하여 입력 받고, 선택된 식별자와 오디오 리소스에 매칭된 식별정보의 동일 여부를 판별하여 검증부로 전송하는 것을 특징으로 한다.
일 실시예에 있어서, 매칭부는 미리 지정된 소정의 범주 내에서 식별정보를 매칭하고, 소정의 범주 내에 인식되지 않는 경우 해당 오디오 리소스는 미분류 데이터로 처리하고, 미분류 데이터로 처리된 오디오 리소스는 외부 단말기에서 주관식으로 해당 식별정보를 입력 받아 검증부로 전송하는 것을 특징으로 한다.
일 실시예에 있어서, 임의의 오디오 데이터는 미리 지정된 키워드에 의해 수집되는 것을 특징으로 한다.
본 발명에 따르면, 광범위한 오디오 리소스에 대한 식별 성능을 향상시킬 수 있는 효과가 있다.
또한, 인력이 낭비되지 않고, 오디오 리소스의 정확도를 향상시킬 수 있는 효과가 있다.
최종적으로, 본 발명에서 제안하는 오디오 데이터 식별장치에 의하면, 텍스트에 비해 복잡하게 구성되는 오디오에 대하여, 인공지능 알고리즘을 통해 용이하게 식별정보를 매칭시키고, 검증과정을 통해 인공지능 알고리즘을 학습시킴으로써 오디오 리소스를 식별할 수 있는 오디오 데이터 식별장치를 제공하는 데이터베이스를 구현할 수 있다.
도 1은 본 발명의 일 실시예에 따른 오디오 데이터 식별장치를 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 오디오 데이터 식별장치를 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 파싱부 및 추출부를 설명하는 도면이다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 매칭부 및 검증부의 피드백 과정을 설명하는 도면이다.
도 6 및 도 7은 본 발명의 다른 실시예에 따른 매칭부 및 검증부의 피드백 과정을 설명하는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 이하에서 개시되는 도면 및 실시예에 한정되는 것은 아니다. 또한, 도면에서 본 발명을 명확하게 설명하기 위하여 본 발명과 관계없는 부분은 생략하였으며, 도면에서 동일하거나 유사한 부호들은 동일하거나 유사한 구성요소들을 나타낸다.
본 발명의 목적 및 효과는 하기의 설명에 의해서 자연스럽게 이해되거나 보다 분명해질 수 있으며, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하므로, 하기의 기재만으로 본 발명의 목적 및 효과가 제한되는 것은 아니다.
이하, 도면을 참조하여 본 발명의 실시예를 상세히 설명하도록 한다. 도 1은 본 발명의 일 실시예에 따른 오디오 데이터 식별장치를 개략적으로 나타낸 도면이다.
먼저, 도 1을 참조하여 본 발명의 일 실시예를 개략적으로 설명하면, 유투브, 소셜 네트워크 및 각종 온라인 상의 오디오 데이터를 미리 지정된 키워드에 따라 검색 및 다운을 통해 수집하고, 수집된 오디오 데이터를 기반으로 유효한 오디오 리소스를 추출한다. 이후, 추출된 오디오 리소스를 인공지능 알고리즘을 통해 해당 오디오 리소스가 어떤 상황 또는 어떤 종류의 소리인지를 판별하여 식별정보를 매칭하고, 매칭된 결과를 피드백을 통해 검증하여 인공지능 알고리즘이 학습함으로써, 신뢰성 및 식별범위가 향상되는 오디오 데이터 식별장치에 관한 것이다. 즉, 오디오 데이터 식별장치는 인공지능 알고리즘이 스스로 학습함으로써, 임의의 오디오에 대해 해당 오디오를 구분할 수 있는 능력을 향상할 수 있다. 이러한 오디오 데이터 식별장치는 별도의 장치로 제공될 수도 있으나, 종래의 각종 단말기에 탑재되어 제공될 수도 있다. 상세하게, 데스크탑, 노트북 등에 탑재되어 인터넷 네트워크망을 통해 오디오 데이터 식별장치가 스스로 검색하고 학습하는 과정을 반복할 수 있다. 또한, 사용자의 개인 스마트 단말기인 스마트폰이나 태블릿 PC 등에 탑재되어, 사용자가 영상 또는 오디오를 사용함에 따라 해당 영상 또는 오디오의 데이터가 수집되어 오디오 데이터 식별장치가 학습할 수도 있다. 보다 상세하게, 일 실시예에 따르면, 사용자의 스마트폰에 내장 또는 어플 형식으로 오디오 데이터 식별장치가 제공될 수 있으며, 사용자가 실시간 시청하는 영상 또는 오디오를 기반으로 오디오 데이터가 수집되고, 해당 오디오 데이터를 소정의 단위로 파싱한 후, 파싱된 복수의 구간 중 어느 한 구간을 오디오 리소스로 추출하여 인공지능 알고리즘을 통해 식별정보 매칭 및 피드백을 반복할 수 있다. 일 실시예와 같이 사용자의 스마트폰 상에서 사용자의 사용에 의한 오디오 데이터가 수집 및 분석되는 경우, 각 사용자 기반으로 인공지능 알고리즘이 학습될 수 있는 장점이 있다. 즉, 개개인 맞춤형 오디오 데이터 식별장치를 제공할 수 있는 것이다.
반면, 별도의 오디오 데이터 식별장치가 구비되는 경우, 인터넷 네트워크를 기반으로 오디오 데이터 식별장치에서 스스로 키워드 검색을 함으로써, 분석할 오디오 데이터를 수집할 수 있다. 이와 같이 수집된 오디오 데이터는 오디오 리소스로 일부 구간이 나누어져 추출되고, 오디오 데이터 식별장치에 탑재된 인공지능 알고리즘을 통해 식별정보가 매칭될 수 있다. 매칭된 식별정보는 불특정 다수를 통해 피드백될 수 있는데, 이때 불특정 다수는 스마트 단말기의 사용자로, 휴대폰, 태블릿 PC, 데스크탑, 노트북 등을 통해 제공되는 어플이나 온라인 네트워크 상에서 소정의 대가와 함께 이벤트를 수신할 수 있다. 일 실시예에 따르면, 소정의 포인트를 획득하는 대가로 불특정 다수의 스마트폰에 어플을 통한 검증 이벤트를 전송할 수 있다. 따라서, 해당 이벤트를 수신한 불특정 다수는 해당 오디오 리소스를 듣고 인공지능 알고리즘을 통해 매칭된 식별정보를 검증하여 입력함으로써, 인공지능 알고리즘은 피드백을 받아 학습될 수 있다.
상술한 내용은 본 발명의 오디오 데이터 식별장치의 개략적인 실시예를 나열한 것이며, 이하 도 2를 참조하여 오디오 데이터 식별장치의 구체적인 구성을 설명하고, 도 3 내지 도 7을 참조하여 각 실시예들을 보다 상세히 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 오디오 데이터 식별장치를 나타내는 블록도이다. 도 2를 참조하면, 본 발명의 오디오 데이터 식별장치는 통신부(100) 및 제어부(200)로 구성될 수 있다. 또한, 후술될 검증부(240)에서 입력되는 입력 단말기가 더 포함되어 구성될 수도 있다.
먼저, 통신부(100)는 임의의 오디오 데이터를 수집하여 제어부(200)로 전달하는 구성으로, 수집부(110) 및 전송부(120)를 포함할 수 있다. 상세하게, 통신부(100)는 본 발명의 오디오 데이터 식별장치에 함께 구비되는 단말기일 수 있으나, 별도의 단말기 형태로 구현될 수도 있다. 즉, 데스트탑 컴퓨터, 디지털 TV 등의 단말기 일 수도 있으며, 이동 가능한 휴대폰, 노트북, PDA, 태블릿 PC, 노트북, 웨어러블 디바이스 등의 이동 단말기 형태로 구현될 수도 있다.
수집부(110)는 임의의 오디오 데이터를 수집하는 구성으로, 상술한 바와 같은 통신부(100) 내에서 검색을 통해 수집된 오디오 데이터를 임의로 수집할 수 있다. 상세하게, 미리 지정된 범위 내의 키워드에 의해 검색됨으로써 오디오 데이터가 수집될 수 있으며, 소셜 네트워크, 유투브, 블로그 등의 오디오 데이터 수집이 가능한 네트워크를 통해 미리 지정된 키워드가 랜덤으로 검색되며 오디오 데이터를 수집할 수 있다. 구체적으로, 오디오 데이터는 사용자의 입력에 의해 수집될 수도 있으나, 본 발명의 오디오 데이터 식별장치의 성능을 향상시키기 위해서는 사용자의 개입 없이 별도의 인공지능 신경망을 통해 랜덤으로 수집되는 것이 바람직할 수 있다.
전송부(120)는 수집부(110)에서 수집된 오디오 데이터를 제어부(200)로 전송하는 구성이다. 상세하게, 전송부(120)는 유선을 통한 전송일 수도 있으나 통신부(100)가 상술한 바와 같이 별도의 단말기로 구성되는 경우, 무선 통신을 이용한 전송을 하는 것이 바람직하다. 보다 상세하게, 전송부(120)는 방송 송신 모듈, 이동통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈 중 적어도 하나를 포함하여 구성됨으로써, 수집된 오디오 데이터를 제어부(200)로 전송할 수 있다.
제어부(200)는 통신부(100)로부터 수집된 오디오 데이터를 전달받아 해당 오디오 데이터를 분석하고 식별하는 구성으로, 파싱부(210), 추출부(220), 매칭부(230) 및 검증부(240)를 포함하여 구성될 수 있다.
이하, 제어부(200)의 각 구성은 도 3 내지 도 7을 참조하여 상세히 설명하도록 한다. 먼저, 도 3은 본 발명의 일 실시예에 따른 파싱부 및 추출부를 설명하는 도면이다.
도 3을 참조하면, 파싱부(210)는 수집된 오디오 데이터를 소정의 단위로 파싱하는 구성이다. 상세하게, 수집된 오디오 데이터는 복수의 구간으로 구분되어 파싱될 수 있으며, 이때 파싱되는 복수의 구간은 소정의 동일한 단위로 파싱되는 것이 바람직하다. 수집된 오디오 데이터는 다양한 식별정보를 포함하는 소리들이 섞여 있는 데이터가 대부분 이므로, 각 소리별로 정확한 식별정보를 매칭하여 식별력을 향상시키기 위해서 수집된 오디오 데이터를 파싱한 후 파싱된 구간별로 추출하여 식별정보를 매칭하는 것이 바람직하다. 구체적으로, 일 실시예에 따르면, 파싱부(210)에서 오디오 데이터를 파싱하는 단위는 0.5초 내지 2초로 이루어 지는 것이 바람직하며, 1초 정도가 가장 바람직할 수 있다. 파싱되는 소정의 단위가 너무 짧은 경우 추출된 오디오 리소스의 파형 및 파장 등의 파악이 어렵고 일부 구간의 파형, 파장 및 주파수가 유사한 오디오의 경우 식별정보의 매칭이 어려울 수 있다. 또한, 소정의 단위가 너무 긴 경우에는 오디오 데이터에 포함된 노이즈나 여러 식별정보가 동시에 포함되어 구분이 어려울 수 있다. 따라서, 적절한 소정의 단위로 파싱하여 구간을 구분하는 것이 바람직하다.
추출부(220)는 파싱부(210)에서 오디오 데이터의 파싱된 복수의 구간 중 어느 한 구간을 오디오 리소스로 선택하는 구성이다. 여기서, 오디오 리소스는 후술될 매칭부(230)에서 식별정보가 매칭될 오디오 데이터 중 일부 구간으로, 상술한 소정의 단위로 파싱된 오디오 데이터의 복수의 구간 중 하나로 소정의 단위길이의 오디오 리소스인 것이 바람직하다. 상세하게, 오디오 리소스는 각 오디오 데이터 별로 1개만 추출될 수도 있으나, 하나의 오디오 데이터에서 복수개로 나누어 추출됨으로써 동일한 오디오 데이터의 구간별로 식별정보의 매칭 및 검증을 통해 본 발명의 오디오 데이터 식별장치의 신뢰성을 향상시킬 수 있다.
이하, 도 4 내지 도 7을 참조하여, 본 발명의 매칭부(230) 및 검증부(240)를 상세히 설명하도록 한다. 도 4 및 도 5는 본 발명의 일 실시예에 따른 매칭부 및 검증부의 피드백 과정을 설명하는 도면이고, 도 6 및 도 7은 본 발명의 다른 실시예에 따른 매칭부 및 검증부의 피드백 과정을 설명하는 도면이다.
매칭부(230)는 미리 탑재된 인공지능 알고리즘에 의해 추출부(220)에서 추출된 오디오 리소스의 식별정보를 매칭하는 구성이다. 상세하게, 도 4에서와 같이 매칭부(230)에 포함된 인공지능 알고리즘에 의해 식별정보가 매칭될 수 있다. 상세하게, 매칭부(230)에서는 미리 학습된 인공지능 알고리즘에 의해 해당 오디오 리소스의 식별정보가 매칭되는 것이 바람직하다. 도 4을 참조하여 일 실시예에 따르면, 미리 학습되어 탑재된 인공지능 알고리즘이 추출된 오디오 리소스의 파장, 파형 및 주파수 등을 기준으로 해당 오디오 리소스에 "Gunshot"이라는 식별정보를 매칭할 수 있다. 이와 같이 식별정보는 해당 오디오 리소스의 소리 종류, 소리의 상황 중 어느 하나일 수 있다. 상세하게, 매칭부(230)에서 전달받은 오디오 리소스는 모두 식별정보가 매칭되는 것이 바람직하나 인공지능 알고리즘이 학습되지 않은 범주의 오디오 리소스는 식별정보의 매칭이 어려울 수 있다. 즉, 매칭부(230)의 인공지능 알고리즘은 미리 지정된 소정의 범주 내에서 오디오 리소스에 식별정보를 매칭하고, 여기서 소정의 범주는 인공지능 알고리즘이 학습된 범주를 말한다. 상세하게, 도 6를 참조하여 다른 실시예에 따르면, 인공지능 알고리즘이 학습되지 않은 영역에 속하여 소정의 범주 내에서 인식되지 않는 경우, 해당 오디오 리소스는 매칭부(230)에서는 미분류 데이터로 처리될 수 있다.
매칭부(230)에서 인공지능 알고리즘에 의해 식별정보와 매칭된 오디오 리소스는 검증부(240)에서 검증을 통해 피드백될 수 있다. 상세하게, 도 5 및 도 7과 같이 검증부(240)에서는 오디오 리소스에 매칭된 식별정보를 검증한 후, 검증 결과를 매칭부(230)로 전송할 수 있다. 상세하게, 검증부(240)는 본 발명의 오디오 데이터 식별장치 자체에 내장된 기기를 통해 검증결과가 입력될 수 있으나, 외부 단말기를 통해 검증정보가 입력되는 것이 보다 바람직할 수 있다. 즉, 외부 단말기에 의한 사용자의 입력에 근거하여 식별정보를 판별할 수 있다. 상세하게, 사용자 개인의 스마트폰 또는 태블릿PC 등을 통해 사용자가 검증 대상의 오디오 리소스를 듣고 검증결과를 입력할 수 있다. 또한, 사용자 개인의 결과만으로는 신뢰도가 떨어질 수 있으므로, 검증결과의 신뢰성을 보다 향상시키 위해 외부 단말기에 의한 불특정 다수의 입력에 근거하여 식별정보를 판별할 수도 있다. 즉, 불특정 다수의 스마트 단말기로 이벤트를 전송하여 오디오 리소스를 듣고 검증결과를 입력하도록 요청할 수 있으며, 불특정 다수의 입력을 바탕으로 검증결과를 판단할 수 있다. 이때, 동일한 오디오 리소스에 대하여 입력된 불특정 다수의 판결 결과의 오차 범위가 큰 경우, 해당 오디오 리소스는 판단이 어려운 오디오 리소스로 폐기하는 것이 바람직하다. 상세하게, 10명의 불특정 다수가 동일한 오디오 리소스를 들은 후, 판단한 결과가 모두 다른 경우 해당 오디오 리소스는 적합하지 않은 것으로 판단되어 폐기할 수 있다.
검증부(240)는 상술한 바와 같이 사용자 또는 불특정 다수에 의해 검증된 결과를 입력받아 매칭부(230)로 전송할 수 있으며, 이때, 검증부(240)에 검증결과는 외부 단말기를 통해 입력될 수 있다. 외부 단말기는 매칭부(230)를 통해 매칭된 오디오 리소스에 대한 식별정보의 참 또는 거짓을 입력 받아 검증부(240)로 전송할 수 있다. 상세하게, 참으로 입력된 검증결과에 대해서는 매칭부(230)로 전송하여 해당 오디오 리소스에 대한 인공지능 알고리즘의 정답 가중치를 높일 수 있으며, 거짓으로 입력된 검증결과에 대해서는 매칭부(230)로 전송하여 해당 오디오 리소스 및 해당 식별정보를 구분하는 결과에 대한 피드백을 통해 인공지능 알고리즘을 학습시킬 수 있다. 단순히 참 거짓만을 피드백할 수도 있으나, 도 5와 같이 외부 단말기를 통해 검증부(240)는 미리 제공된 복수의 식별자 중 어느 하나를 선택하여 입력 받고, 선택된 식별자와 오디오 리소스에 매칭된 식별정보의 동일 여부를 판별하여 검증부(240)로 전송할 수 있다.
도 4 및 도 5를 참조하여 일 실시예를 설명하면, 검증부(240)는 외부 단말기를 통해 미리 제공된 복수의 식별자 중 어느 하나를 선택하여 입력 받고, 선택된 식별자와 오디오 리소스에 매칭된 식별정보의 동일 여부를 판별하여 검증결과를 전송받을 수 있다. 상세하게, 도 4에서와 같이 매칭부(230)에서 오디오 리소스를 Gunshot으로 식별정보를 매칭한 후, 검증부(240)에서 제공된 복수의 식별자 중 오디오 리소스를 듣고 동일하게 Gunshot으로 선택한 경우, 검증부(240)에서 선택된 식별자와 오디오 리소스에 매칭된 식별정보를 동일로 판단하고, 검증부(240)는 매칭부(230)의 인공지능 알고리즘의 Gunshot 판별에 대한 신뢰성을 향상시킬 수 있다. 그러나, 도 4에서와 같이 검증부(240)에서 제공된 복수의 식별자 중 오디오 리소스를 듣고 사용자 또는 불특정 다수가 단말기를 통해 선택한 식별자가 매칭된 식별정보와 다른 Knock로 선택한 경우, 검증부(240)는 선택된 식별자를 매칭부(230)의 인공지능 알고리즘으로 전송하여 인공지능 알고리즘을 학습시킬 수 있다. 따라서, 도 5와 같이 인공지능 알고리즘은 검증부(240)에서 선택된 식별자와 오디오 리소스를 매칭하여 학습할 수 있으며, 서로 다른 오디오 리소스를 통해 상기와 같은 과정의 반복을 통해 매칭부(230)의 식별정보 매칭 정확도가 향상될 수 있다.
도 6 및 도 7을 참조하여 다른 실시예를 설명하면, 매칭부(230)는 미리 지정된 소정의 범주 내에서 식별정보를 매칭하고, 소정의 범주 내에 인식되지 않는 경우 해당 오디오 리소스는 미분류 데이터로 처리할 수 있다. 상세하게, 상술한 바와 같이 매칭부(230)에서는 미리 탑재된 인공지능 알고리즘이 학습된 범주 내에서 식별정보를 매칭할 수 있으며, 인공지능 알고리즘이 학습되지 않은 오디오 리소스에 대해서는 미분류 데이터로 처리되는 것이 바람직하다. 따라서, 도 6와 같이 미분류 데이터로 처리된 오디오 리소스는 사용자 또는 불특정 다수를 통해 외부 단말기에서 주관식으로 해당 식별정보를 입력 받아 입력 받은 해당 식별정보를 검증부(240)로 전송할 수 있다. 이후, 도 7에서와 같이, 검증부(240)에 전송된 식별정보는 매칭부(230)의 인공지능 알고리즘으로 전송되어 인공지능 알고리즘이 학습할 수 있으며, 이러한 학습 과정의 반복을 통해 매칭부(230)에서 식별정보를 매칭할 수 있는 소정의 범주가 점차적으로 증가할 수 있다. 다만, 한 명의 사용자 또는 불특정 다수에 의해 주관식으로 입력된 식별정보가 매칭부(230)의 인공지능 알고리즘에 바로 전달이 되는 경우, 해당 식별정보를 제공한 개인의 주관적인 판단에 의해 잘못된 식별정보가 전달될 수 있는 문제점이 있다. 따라서, 하나의 오디오 리소스에 대해서 다수의 입력에 근거한 식별정보를 복수개 전달받는 것이 바람직하며, 복수개 입력된 식별정보를 판별하여 해당 식별정보들이 통일되지 못하고, 오차 범위가 큰 경우에 해당 오디오 리소스는 폐기하는 것이 바람직하다. 다만, 다수의 입력이 동일하나, 한 명의 입력만 다른 경우에는 한 명의 입력에 실수가 있던 것으로 판단하여 다수의 입력을 근거로 인공지능 알고리즘을 학습시킬 수 있다. 이때, 불특정 다수는 다양한 경험과 배경을 가진 다수로 많을수록 신뢰성을 향상시킬 수 있다.
특히, 본 발명의 일 실시예에 따른 인공지능 알고리즘은 오디오 리소스의 식별정보를 판단하는 방법에 있어서, 오디오 리소스의 파형, 파장 및 주파수 등을 분석하여 식별정보를 판단할 때, 어느 하나의 식별정보로 판단하는 기준이 되는 파형, 파장 및 주파수 등의 범위를 평균 범위보다 넓게 지정하여 판단할수록 미분류로 분류되거나 폐기되는 오디오 리소스의 양을 줄일 수 있으며, 이러한 결과물에 대해 검증부(240)의 피드백을 받음으로써 보다 광범위하고 신뢰성이 높은 오디오 데이터 식별장치를 제공할 수 있는 효과가 있다. 또한, 본 발명의 오디오 데이터 식별장치에 따르면 개인 작업자에 의해 단순 피드백을 업무로 제공함으로써 인력이 낭비되는 점을 방지하고, 불특정 다수에게 소정의 대가를 통해 피드백을 요청함으로써 인력을 절감함과 동시에 보다 다양한 범위를 갖는 오디오 데이터 식별장치를 제공할 수 있다.
본 발명에 따라 제공되는 오디오 데이터 식별장치에 의해, 사용자 맞춤형 오디오 인식 및 오디오 정보를 제공할 수 있으며, 역으로 사용자 요청에 의한 오디오를 제공할 수도 있다. 상세하게, 사용자 기반으로 학습된 인공지능 알고리즘에 의한 오디오 데이터 식별장치는, 사용자가 필요로 하는 오디오 식별정보를 제공하면 해당 오디오 데이터를 제공하는 결과도 이끌어낼 수 있다. 또한, 청각이 온전하지 못한 청각장애인의 경우, 위험상황 뿐만 아니라 실생활에서 오디오를 듣지 못하여 발생되는 문제 및 불편함을 감수하고 있다. 본 발명의 오디오 데이터 식별장치가 청각장애인의 사용자 디바이스 또는 별도의 디바이스로 제공되는 경우, 시각 또는 촉각 등 다른 감각을 통해 오디오 정보를 실시간 제공할 수 있는 효과도 이끌어낼 수 있다. 상세하게, 청각장애인이 길을 걷다가 보이지 않는 뒤에서 발생되는 자동차 크락션 또는 각종 안내 등을 개인 스마트 디바이스를 통해 진동 및 시각적 정보제공을 하여 위험신호를 안내할 수 있다. 또한, 실생활에서 아기의 울음소리, 물이 끓는 소리 등을 시각적 또는 촉각적으로 정보를 제공하여 일상생활에 불편함을 극복할 수 있도록 할 수 있다. 이때, 개인 스마트 디바이스는 스마트폰, 스마트워치 등 휴대용 단말기 또는 웨어러블 기기 등으로 제공되는 것이 보다 효율적일 수 있을 것이다.
상기한 본 발명은 일 실시예에 관한 것으로, 이는 실시예에 불과하며, 본 기술분야에서 통상의 지식을 가진 자는 이로부터 다양한 변형 및 균등한 다른 실시예도 가능할 수 있다. 따라서, 본 발명의 권리범위는 상기한 실시예 및 첨부된 도면에 의해 한정되는 것은 아니다.
100: 통신부 110: 수집부
120: 전송부
200: 제어부 210: 파싱부
220: 추출부 230: 매칭부
240: 검증부

Claims (8)

  1. 임의의 오디오 데이터를 수집하여 전달하는 통신부(100);
    수집된 상기 오디오 데이터를 식별하는 제어부(200);를 포함하고,
    상기 제어부(200)는,
    수집된 상기 오디오 데이터를 소정의 단위로 파싱하는 파싱부(210);
    상기 오디오 데이터의 파싱된 복수의 구간 중 어느 한 구간을 오디오 리소스로 선택하는 추출부(220);
    미리 탑재된 인공지능 알고리즘에 의해 상기 오디오 리소스의 식별정보를 매칭하는 매칭부(230); 및
    상기 오디오 리소스에 매칭된 식별정보를 검증하는 검증부(240);를 포함하는 것을 특징으로 하는 오디오 데이터 식별장치.
  2. 제 1 항에 있어서,
    상기 인공지능 알고리즘은,
    상기 검증부(240)에서 판별된 식별정보의 판별 결과를 입력받아 학습하는 것을 특징으로 하는 오디오 데이터 식별장치.
  3. 제 2 항에 있어서,
    상기 검증부(240)는,
    외부 단말기에 의한 사용자의 입력에 근거하여 상기 식별정보를 판별하는 것을 특징으로 하는 오디오 데이터 식별장치.
  4. 제 2 항에 있어서,
    상기 검증부(240)는,
    외부 단말기에 의한 불특정 다수의 입력에 근거하여 상기 식별정보를 판별하되,
    상기 불특정 다수의 판별 결과의 오차 범위가 큰 경우, 해당 오디오 리소스는 폐기하는 것을 특징으로 하는 오디오 데이터 식별장치.
  5. 제 3 항 또는 제 4 항에 있어서,
    상기 외부 단말기는,
    매칭된 식별정보의 참 또는 거짓을 입력 받아 상기 검증부(240)로 전송하는 것을 특징으로 하는 오디오 데이터 식별장치.
  6. 제 3 항 또는 제 4 항에 있어서,
    상기 외부 단말기는,
    미리 제공된 복수의 식별자 중 어느 하나를 선택하여 입력 받고, 선택된 상기 식별자와 상기 오디오 리소스에 매칭된 식별정보의 동일 여부를 판별하여 상기 검증부(240)로 전송하는 것을 특징으로 하는 오디오 데이터 식별장치.
  7. 제 3 항 또는 제 4 항에 있어서,
    상기 매칭부(230)는,
    미리 지정된 소정의 범주 내에서 식별정보를 매칭하고,
    상기 소정의 범주 내에 인식되지 않는 경우 해당 오디오 리소스는 미분류 데이터로 처리하고,
    상기 미분류 데이터로 처리된 오디오 리소스는,
    상기 외부 단말기에서 주관식으로 해당 식별정보를 입력 받아 상기 검증부(240)로 전송하는 것을 특징으로 하는 오디오 데이터 식별장치.
  8. 제 1 항에 있어서,
    상기 임의의 오디오 데이터는,
    미리 지정된 키워드에 의해 수집되는 것을 특징으로 하는 오디오 데이터 식별장치.
KR1020200031064A 2020-03-13 2020-03-13 오디오 데이터 식별장치 KR102400903B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020200031064A KR102400903B1 (ko) 2020-03-13 2020-03-13 오디오 데이터 식별장치
EP21766949.8A EP4120098A4 (en) 2020-03-13 2021-02-26 DEVICE FOR IDENTIFYING AUDIO DATA
CN202180019728.7A CN115298661A (zh) 2020-03-13 2021-02-26 音频数据识别装置
JP2022554581A JP7470336B2 (ja) 2020-03-13 2021-02-26 オーディオデータ識別装置
PCT/KR2021/002496 WO2021182782A1 (ko) 2020-03-13 2021-02-26 오디오 데이터 식별장치
US17/911,078 US20230178096A1 (en) 2020-03-13 2021-02-26 Audio data identification apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200031064A KR102400903B1 (ko) 2020-03-13 2020-03-13 오디오 데이터 식별장치

Publications (2)

Publication Number Publication Date
KR20210115379A true KR20210115379A (ko) 2021-09-27
KR102400903B1 KR102400903B1 (ko) 2022-05-24

Family

ID=77670727

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200031064A KR102400903B1 (ko) 2020-03-13 2020-03-13 오디오 데이터 식별장치

Country Status (6)

Country Link
US (1) US20230178096A1 (ko)
EP (1) EP4120098A4 (ko)
JP (1) JP7470336B2 (ko)
KR (1) KR102400903B1 (ko)
CN (1) CN115298661A (ko)
WO (1) WO2021182782A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102501623B1 (ko) * 2021-11-24 2023-02-21 주식회사 원아이디랩 음악을 검증하여 저작권료의 공정하고 투명한 정산 및 분배를 위한 저작권료 분배 방법 및 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190094316A (ko) * 2019-05-16 2019-08-13 엘지전자 주식회사 사용자의 음성을 인식하는 인공 지능 장치 및 그 방법
KR20200016111A (ko) * 2018-08-06 2020-02-14 주식회사 코클리어닷에이아이 오디오 정보 수집장치 및 그의 제어방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1889172A (zh) * 2005-06-28 2007-01-03 松下电器产业株式会社 可增加和修正声音类别的声音分类系统及方法
KR101969504B1 (ko) * 2017-05-02 2019-04-16 서강대학교산학협력단 심층 신경망을 기반으로 한 사운드 이벤트 검출 방법 및 사운드 이벤트 검출 장치
JP6767322B2 (ja) 2017-08-18 2020-10-14 ヤフー株式会社 出力制御装置、出力制御方法及び出力制御プログラム
KR101986905B1 (ko) * 2017-10-31 2019-06-07 전자부품연구원 신호 분석 및 딥 러닝 기반의 오디오 음량 제어 방법 및 시스템
KR102635811B1 (ko) * 2018-03-19 2024-02-13 삼성전자 주식회사 사운드 데이터를 처리하는 시스템 및 시스템의 제어 방법
US10832672B2 (en) * 2018-07-13 2020-11-10 International Business Machines Corporation Smart speaker system with cognitive sound analysis and response
US11069334B2 (en) 2018-08-13 2021-07-20 Carnegie Mellon University System and method for acoustic activity recognition
KR20190106902A (ko) * 2019-08-29 2019-09-18 엘지전자 주식회사 사운드 분석 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200016111A (ko) * 2018-08-06 2020-02-14 주식회사 코클리어닷에이아이 오디오 정보 수집장치 및 그의 제어방법
KR20190094316A (ko) * 2019-05-16 2019-08-13 엘지전자 주식회사 사용자의 음성을 인식하는 인공 지능 장치 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102501623B1 (ko) * 2021-11-24 2023-02-21 주식회사 원아이디랩 음악을 검증하여 저작권료의 공정하고 투명한 정산 및 분배를 위한 저작권료 분배 방법 및 시스템

Also Published As

Publication number Publication date
EP4120098A4 (en) 2024-03-20
WO2021182782A1 (ko) 2021-09-16
KR102400903B1 (ko) 2022-05-24
US20230178096A1 (en) 2023-06-08
CN115298661A (zh) 2022-11-04
JP7470336B2 (ja) 2024-04-18
JP2023531850A (ja) 2023-07-26
EP4120098A1 (en) 2023-01-18

Similar Documents

Publication Publication Date Title
US11880442B2 (en) Authentication of audio-based input signals
CN107395352B (zh) 基于声纹的身份识别方法及装置
US9230547B2 (en) Metadata extraction of non-transcribed video and audio streams
CN108335695B (zh) 语音控制方法、装置、计算机设备和存储介质
CN107707436A (zh) 终端控制方法、装置及计算机可读存储介质
PH12020551830A1 (en) Computerized systems and methods for determining authenticity using micro expressions
CN110634472B (zh) 一种语音识别方法、服务器及计算机可读存储介质
US11127399B2 (en) Method and apparatus for pushing information
CN101697514A (zh) 一种身份验证的方法及系统
CN107666404B (zh) 宽带网络用户识别方法和装置
CN104078045B (zh) 一种识别的方法及电子设备
JP2008287210A5 (ko)
CN111583919A (zh) 信息处理方法、装置及存储介质
KR102131724B1 (ko) 사용자 단말의 알람 제어 방법 및 서버의 알람 해제 미션 결정 방법
CN109949798A (zh) 基于音频的广告检测方法以及装置
CN109729067A (zh) 语音打卡方法、装置、设备和计算机存储介质
CN107451185B (zh) 录音方法、朗读系统、计算机可读存储介质和计算机装置
KR102400903B1 (ko) 오디오 데이터 식별장치
Czyżewski et al. Analysis of results of large‐scale multimodal biometric identity verification experiment
CN115050372A (zh) 一种音频片段的聚类方法、装置、电子设备和介质
KR102171658B1 (ko) 크라우드전사장치 및 그 동작 방법
CN111128127A (zh) 一种语音识别处理方法及装置
CN111785280B (zh) 身份认证方法和装置、存储介质和电子设备
CN117275459B (zh) 一种基于大数据服务的信息采集设备及信息采集方法
KR102369263B1 (ko) 인공지능 기반 대상자의 치매 검사를 위한 아웃바운드 콜의 음량 제어 방법, 장치 및 시스템

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant