KR20200122577A - 주파수신호를 이용한 음계인식시스템 - Google Patents

Abstract

본 발명은 이동단말기의 어플리케이션을 통해 입력되는 음향정보를 음계정보로 추출함과 동시에 추출된 해당 음계정보와 제조사서버의 음악정보와 대비하여 표절 여부까지 확인할 수 있는 주파수신호를 이용한 음계인식시스템에 관한 것으로, 더욱 상세하게는 음향수단에서 발생하는 음향신호를 인식하여 음계를 생성할 수 있는 음계인식시스템에 있어서, 상기 음계인식시스템은 음향신호를 인식하는 이동단말기 및 상기 이동단말기와 유/무선 통신네트워크에 연결되되 상기 이동단말기에 설치가능한 어플리케이션을 제공하는 관리서버를 포함하되, 상기 어플리케이션은 상기 이동단말기에 제공되는 음향신호를 주파수 별로 분석하되 그 분석정보와 기본설정값을 대비하여 음계정보를 추출하는 분석부, 상기 분석부를 통해 획득한 음계정보가 상기 이동단말기를 통해 디스플레이될 수 있도록 표시하는 표시부, 추출된 음계정보와 제조사서버의 데이터 베이스에 저장된 음악정보와 대비하여 해당 음계정보의 매칭 여부를 판단할 수 있게 사용자에 의해 선택되는 확인부를 포함하는 것을 특징으로 한다.

Description

주파수신호를 이용한 음계인식시스템{Sound Perception System Using Frequency Signals}

본 발명은 이동단말기의 어플리케이션을 통해 입력되는 음향정보를 음계정보로 추출함과 동시에 추출된 해당 음계정보와 제조사서버의 음악정보와 대비하여 표절 여부까지 확인할 수 있는 주파수신호를 이용한 음계인식시스템에 관한 것이다.

인류에게 있어서 노래는 오래 전부터 존재해 왔던 하나의 문화 현상이며, 개인과 사회 집단의 감정표현의 수단이자 유희의 도구였다. 노래는 음성의 범주에 속하며, 발성 기관을 통해 표현되어 언어적인 모습을 지닌다는 점에서는 일반적인 말과 비슷하지만, 음고(音高), 음량(音量), 음가(音價), 음색(音色) 등의 음악적 속성을 가지고 있으므로 일반적인 말과는 차이점이 있다.

이와 같이 사람의 노래나 악기로 연주된 음악의 음정, 박자, 가사를 인식하거나 기존의 노래 자료와 입력된 노래의 비교를 통해 곡명을 인식하는 연구인 곡조 인식(music recognition)은 음성 인지 분야 중 하나로 노래의 각 특징량을 사용하여 최종적으로 원하는 데이터의 형태로 나타내 주는 것을 말한다.

이러한 곡조 인식은 노래를 통한 시창 교육 분야 및 여가 활동을 위한 엔터테인먼트 분야에 사용 될 수 있을 뿐만 아니라 최근에 중요시되고 있는 노래의 저작권을 보호하기 위한 표절 검사의 도구로 사용 될 수도 있다.

하지만 다양한 정보 수단에 대한 컴퓨터의 성능이 발전하고 있음에도 불구하고 곡조 인식에 관한 연구는 현재까지 미미한 실정이다.

음성 처리에 있어서 곡조 인식의 한 분야인 자동 채보 시스템은 사람의 음성 및 악기로 연주된 노래로부터 음의 높이(음정(音程), interval), 길이(음장(音長), duration), 가사를 인식하여 그 결과를 악보의 형태로 나타내어 주는 것으로서, 기존의 음악에 익숙한 전문가가 직접 노래를 듣고 채보하는 방법에 비하여 시창자(始唱者)의 노래가 가진 음악적 특징을 시스템이 자동으로 인식하여 악보화할 수 있으므로 일반인도 쉽게 사용할 수 있다.

현재 알려진 종래의 자동 채보 시스템으로는 연속적인 음성신호에서 추출된 특징 정보를 각각의 음표로 인식할 수 있게 하는 분할을 위하여 음소 단위로 분절된 구간을 합쳐 음절의 경계 정보로 사용하는 방법, 피치 간격마다 발생하는 음성의 최대값을 연결하여 구한 에너지 정보를 이용하여 음절 구간(segment)을 형성하는 방법 등이 있다.

상술한 바와 같은 종래의 채보 시스템은 국내공개특허 제10-2010-83637호(공개일:2010.07.22.)이 개시되어 있으며, 이러한 종래의 채보 시스템에 대한 구성을 간략하게 살펴보면, 마이크와 같은 음성신호 입력부를 통해 입력되는 음성신호로부터 피치를 추출하고, 추출된 피치 데이터를 기반으로 연속된 음성신호를 음절 단위로 분할함과 동시에 음성신호의 잡음을 제거하고 음절의 대표 피치값을 제공하고, 분할된 음절을 음장 인식이 가능한 유효 단위 구간으로 변환하는 전처리를 수행한 후 각각의 음표 단위로 클러스터링하여 음장 인식을 수행하고, 분할된 첫음절의 대표 피치값을 기준으로 상대 음정 주파수 표를 재구성한 후 재구성된 상대 음정 주파수 표를 토대로 음절의 대표 피치값을 매핑하여 음정 인식을 수행하고, 추출된 피치 데이터에 임계값을 적용하여 임계값 이하의 비음성 구간인 휴지기를 추출한 후 추출된 휴지기 정보를 이용하여 마디를 검출하며, 음장 인식 정보, 음정 인식 정보, 마디 검출 정보를 토대로 악보 데이터를 생성할 수 있는 시스템으로 구성된다.

그러나, 이러한 종래의 채보 시스템은 악보 데이터를 추출하기 위해 사용자가 입력하는 음성신호가 공지되어 있는 악보정보와 대비할 수 있는 구성이 존재하지 않아 단지, 악보 데이터를 획득하기 위한 수단으로만 사용될 뿐, 해당 사용자가 작곡을 전문직업으로 하는 사용자인 경우에 표절 여부를 확인할 수 있는 구성이 존재하지 못한다는 단점이 있었다.

상술한 종래의 문제점을 해결하기 위해 본 발명은 사용자의 음성신호를 통해 악보 데이터를 생성한 이후에 해당 악보 데이터가 공지된 악보정보와 대비하여 표절 여부까지 확인할 수 있는 채보 시스템을 제공하고자 하는데 그 목적이 있다.

상술한 기술적 과제를 해결하기 위해 본 발명에 따른 주파수신호를 이용한 음계인식시스템은 음향수단에서 발생하는 음향신호를 인식하여 음계를 생성할 수 있는 음계인식시스템에 있어서, 상기 음계인식시스템은 음향신호를 인식하는 이동단말기 및 상기 이동단말기와 유/무선 통신네트워크에 연결되되 상기 이동단말기에 설치가능한 어플리케이션을 제공하는 관리서버를 포함하되, 상기 어플리케이션은 상기 이동단말기에 제공되는 음향신호를 주파수 별로 분석하되 그 분석정보와 기본설정값을 대비하여 음계정보를 추출하는 분석부, 상기 분석부를 통해 획득한 음계정보가 상기 이동단말기를 통해 디스플레이될 수 있도록 표시하는 표시부, 추출된 음계정보와 제조사서버의 데이터 베이스에 저장된 음악정보와 대비하여 해당 음계정보의 매칭 여부를 판단할 수 있게 사용자에 의해 선택되는 확인부를 포함하는 것을 특징으로 한다.

또한 상기 제조사서버는 음반제작사를 의미하되, 상기 음계정보는 공지되지 않은 상기 제조사서버의 데이터 베이스에 저장된 음악정보와 대비하여 양자 간의 표절 여부를 사용자가 확인할 수 있도록 하는 것이 바람직하다.

또한 상기 관리서버는 상기 어플리케이션을 통해 획득한 음계정보를 사용자 별로 저장할 수 있는 데이터 베이스를 더 포함하는 것이 바람직하다.

또한 상기 확인부는 상기 표시부를 통해 음계정보가 상기 이동단말기 상에 디스플레이시에 아이콘의 형식으로 항시 노출되어 해당 음계정보와 음악정보를 서로 대비할 수 있도록 디스플레이되는 것이 바람직하다.

본 발명에 따르면, 종래와는 차별적으로 관리서버에서 이동단말기로 제공된 어플리케이션을 통해 사용자가 음향수단으로 제공하는 음향신호를 음계정보로 추출하되 그 추출된 음계정보를 제조사서버의 음악정보와 확인부를 통해 대비하여 표절 여부를 확인할 수 있는 효과를 갖게 된다.

도 1은 본 발명에 따른 주파수신호를 이용한 음계인식시스템을 나타낸 개념도.
도 2는 본 발명에 따른 주파수신호를 이용한 음계인식시스템의 어플리케이션을 나타낸 개념도.
도 3은 도 2에 대한 이동단말기 상에 음계정보가 디스플레이되는 모습을 도시한 도면.
도 4는 본 발명에 따른 주파수신호를 이용한 음계인식시스템에 대한 흐름도.

이하, 첨부된 도면을 참조하여 본 발명에 따른 주파수신호를 이용한 음계인식시스템(이하, 간략하게 '음계인식시스템'이라 한다)에 대하여 상세하게 설명하도록 한다.

설명에 앞서, 본 발명에서의 음향수단은 사용자 본인의 음성이나 악기에서 파생되는 소리 및 라디오나 텔레비젼 등과 같은 전자기기를 통해 외부로 출력되는 소리 등을 의미하며, 본 발명에서는 사용자 본인의 음성을 예시적으로 설명하고 있음에 유의한다.

먼저, 도 1 및 도 2에 도시한 바와 같이, 본 발명에 따른 음계인식시스템은 크게 이동단말기(100) 및 상기 이동단말기(100)에 음계정보를 생성하기 위한 어플리케이션(200)을 제공하는 관리서버(300)를 포함한다. 설명에 앞서, 본 발명에서의 이동단말기(100)는 후술하는 관리서버(300)에서 제공하는 어플리케이션(200)이 설치되되 상기 관리서버(300)와 유/무선 통신네트워크에 의해 연결되며, 마이크(M)가 내장된 통상의 스마트폰, 테블릿 및 노트북 등을 의미하는 것으로, 본 발명에서는 상기 이동단말기(100)에 대한 상세한 설명은 생략하도록 한다.

더욱 상세하게 설명하면, 본 발명에서의 관리서버(300)는 유/무선 통신네트와 연결된 이동단말기(100)에 내려받아 설치할 수 있는 어플리케이션(200)을 제공 및 관리하되 필요에 따라 상기 어플리케이션(200)을 통해 획득한 음계정보를 상기 이동단말기(100)를 사용하는 사용자 별로 저장하여 언제든지 저장된 해당 음계정보를 확인할 수 있도록 하기 위한 구성이다.

이를 위해 관리서버(300)는 음계정보를 저장하기 위한 데이터 베이스(310)를 별도로 구비할 수 있으며, 해당 데이터 베이스(310)에 저장되는 음계정보는 이미지파일로 저장되어 메일이나 문자 등을 이용해 다른 사용자와 공유할 수 있도록 하는 것도 가능하다.

아울러 관리서버(300)는 사용자의 요청에 의해 저장되는 음계정보의 보안을 위해 이동단말기(100)에 설치된 어플리케이션(200)을 통해 상기 관리서버(300)에 회원가입하여 로그인이 이루어진 사용자에 한정하여 상기 관리서버(300)의 데이터 베이스를 활용하도록 한다.

한편, 관리서버(300)를 통해 이동단말기(100)에 설치가능하도록 공급되는 본 발명에서의 어플리케이션(200)은 도 2 및 도 3에 도시한 바와 같이, 분석부(210) 및 표시부(220)의 구성을 포함할 수 있다.

분석부(210)는 도시한 바와 같이, 이동단말기(100)의 마이크(M)를 통해 사용자의 음성이 입력되면 그 입력정보를 주파수 별로 분석하되 그 분석정보와 어플리케이션(200)에 미리 저장된 기본설정값을 대비하여 음계정보를 확인할 수 있도록 한다.

예컨대 분석부(210)는 사용자의 음성신호가 입력되면 해당 입력정보의 진동을 파악할 수 있는 주파수 대역폭에 따라 푸리에 변환기술(Fourier Fast Transform)을 이용하여 나누되 그 나뉘어진 주파수 대역폭에 따른 가사, 음정 및 박자 등을 추출하여 기본설정값과 대비할 수 있도록 한다.

여기서 기본설정값은 음악이라는 장르의 기본인 다장조에 4/4박자의 빠르기를 기본설정값으로 하되 이 기본설정값을 입력신호와 대비하여 음계를 추출할 수 있도록 하는 것이다.

표시부(220)는 상술한 분석부(210)에 의해 추출된 음계를 이동단말기(100) 상에 디스플레이하여 사용자가 본인이 입력한 음성신호의 음계를 확인할 수 있도록 하기 위한 구성이다.

예컨대 사용자가 동요인 '산토끼'의 한 소절을 음성신호로 상술한 분석부(210)에 제공하여 음계정보의 분석이 추출되면 이 음계정보에 맞게 음계로 이동단말기(100) 상에 디스플레이 한다.

한편, 본 발명에서의 어플리케이션(200)은 상술한 분석부(210)를 통해 추출된 음계정보와 일치하는 음악정보가 존재하는 지의 여부를 제조사서버(400)를 통해 확인하기 위한 확인부(230)를 더 포함할 수 있다.

여기서 확인부(230)는 도시한 바와 같이, 사용자가 상술한 '산토끼'를 음성신호로 입력하여 그 음계정보가 표시부(220)를 통해 표시되는 상태에서 이동단말기(100) 상에 확인부(230)와 연동될 수 있는 아이콘이 항시 노출될 수 있도록 하며, 사용자는 음계정보를 추출한 상태에서 아무때나 해당 아이콘을 터치(선택)하여 추출된 해당 음계정보와 매칭되는 음악정보가 실존하고 있는지를 확인할 수 있도록 한다.

이를 위해 사용자가 확인부(230)와 연동되는 아이콘을 터치하면 어플리케이션(200)은 이동단말기(100)의 송수신부를 통해 관리서버(300)에 해당 확인부(230)의 선택정보를 제공하며, 상기 관리서버(300)는 적어도 하나 이상의 제조사서버(400)의 데이터 베이스에 저장된 각각의 음악정보를 검색하여 추출된 음계정보와 음악정보를 매칭한다.

더불어 매칭이 이루어진 이후에 관리서버(300)는 그 매칭에 대한 결과정보를 신속하게 이동단말기(100)로 전송하여 사용자에 의해 추출된 음계정보와 음악정보의 일치성 여부를 상기 이동단말기(100)를 통해 확인할 수 있도록 한다.

하여, 본 발명에 따른 음계인식시스템은 본인이 찾고자 하는 노래의 음계를 확인하는 용도 이외에 해당 사용자가 작곡을 직업으로 하는 인물인 경우에는 상술한 확인부(230)를 통해 본인이 입력한 음계정보가 현재 존재하고 있는 본인이 모르는 음악정보와 일치 여부를 신속하게 확인할 수 있어 표절 등에 의한 시시비비를 확인할 수 있는 용도도 가능하게 하는 것이다.

이때, 제조사서버(400)는 통상의 음반제작사나 음원제공사를 의미하며, 상기 제조사서버(400)의 데이터 베이스에 저장된 음악정보는 이미 시장에 유통되고 있는 음악을 기반으로 저장될 수 있도록 하는 것이 바람직하다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 음계인식시스템의 작업과정에 대하여 상세히 설명하도록 한다. 설명에 앞서, 하기에는 본 발명의 요지를 명확하게 하기 위해 관리서버(300)에서 제공하는 어플리케이션(200)이 이동단말기(100)에 설치되어 있는 상태를 기본으로 하여 설명하도록 한다.

먼저, 도 4를 참조하면, 사용자는 본인이 소지한 이동단말기(100)의 어플리케이션(200)을 실행한다.(S10)

어플리케이션(200)이 실행되면 사용자는 이동단말기(100)의 마이크(M) 부분에 근접하게 노래를 불러 상기 이동단말기(100)에 음성정보를 제공한다.(S20)

이 음성정보를 제공받은 어플리케이션(200)은 분석부(210)를 통해 해당 음성정보를 주파수 대역폭 별로 분할함과 동시에 가사, 박자 및 음정 등을 기본설정값과 대비할 수 있게 분석하여 음계를 추출할 수 있도록 한다.(S30)

여기서, 어플리케이션(200)은 이동단말기(100) 상에 사용자가 입력한 음성정보에 따른 음계정보와 음악정보 간의 매칭 여부를 실시간으로 선택 후, 확인할 수 있게 상기 이동단말기(100) 상에 확인부(230)가 아이콘의 형태로 지속적으로 노출될 수 있도록 하며, 상기 확인부(230)에 의한 매칭정보를 원하지 않는 경우에는 추출된 음계정보가 이동단말기(100)를 통해 디스플레이될 수 있도록 한다.(S40 및 S50)

이때, 사용자가 확인부(230)와 연동하는 아이콘을 선택하면 어플리케이션(200)은 이동단말기(100)의 송수신부를 통해 관리서버(300)에 추출된 음계정보를 전송하게 되며, 상기 관리서버(300)는 적어도 하나 이상의 제조사서버(400)의 데이터 베이스에 저장된 음악정보와 추출된 음계정보를 매칭시켜 일치 여부를 예컨대 퍼센트 비율로 판단하여 그 판단정보를 상기 이동단말기(100)에 재전송하여 사용자가 실시간으로 확인할 수 있도록 하는 것이 바람직하다.(S60)

아울러 사용자는 상술한 음계정보와 음악정보의 매칭을 통해 본인이 찾는 음악의 음계인 경우, 더 이상의 음성신호를 입력하지 않고 관리서버(300)를 통해 제조사서버(400)에서 해당 음계를 제공하는 지의 여부를 확인하여 음계를 획득하거나 다른 의미로 사용자 본인이 입력한 음계정보와 100% 가까이 매칭되는 음악정보가 존재하면 표절 등의 시비가 일어나지 않게 다른 음성정보를 제공하여 작곡에 대한 작업용으로 활용할 수 있도록 한다.(다시 S20)

마지막으로, 사용자는 상술한 확인부(230)의 결과와 상관없이 지속적으로 이동단말기(100)를 통해 음성정보를 제공하여 본인이 부른 노래의 음계정보 전체가 표시부(220)를 통해 상기 이동단말기(100)에 디스플레이되는 것으로 사용자가 원하는 음계정보를 확인하는 것으로 종료된다.

이와 같은 구성으로 이루어진 본 발명에 따른 음계인식시스템은 종래와는 차별적으로 관리서버(300)에서 이동단말기(100)로 제공된 어플리케이션(200)을 통해 사용자가 음향수단으로 제공하는 음향신호를 음계정보로 추출하되 그 추출된 음계정보를 제조사서버(400)의 음악정보와 확인부(230)를 통해 대비하여 표절 여부를 확인할 수 있는 효과를 갖게 된다.

이상, 본 발명의 특정 실시예에 대하여 상술하였다. 그러나, 본 발명의 사상 및 범위는 이러한 특정 실시예에 한정되는 것이 아니라, 본 발명의 요지를 변경하지 않는 범위 내에서 다양하게 수정 및 변형 가능하다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 것이다.

따라서, 이상에서 기술한 실시예들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이므로, 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 하며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

100: 이동단말기 200: 어플리케이션
210: 분석부 220: 표시부
230: 확인부
300: 관리서버 400: 제조사서버

Claims (4)

1. 음향수단에서 발생하는 음향신호를 인식하여 음계를 생성할 수 있는 음계인식시스템에 있어서, 상기 음계인식시스템은
   음향신호를 인식하는 이동단말기(100); 및
   상기 이동단말기(100)와 유/무선 통신네트워크에 연결되되 상기 이동단말기(100)에 설치가능한 어플리케이션(200)을 제공하는 관리서버(300);를 포함하되,
   상기 어플리케이션(200)은 상기 이동단말기(100)에 제공되는 음향신호를 주파수 별로 분석하되 그 분석정보와 기본설정값을 대비하여 음계정보를 추출하는 분석부(210), 상기 분석부(210)를 통해 획득한 음계정보가 상기 이동단말기(100)를 통해 디스플레이될 수 있도록 표시하는 표시부(220), 추출된 음계정보와 제조사서버(400)의 데이터 베이스에 저장된 음악정보와 대비하여 해당 음계정보의 매칭 여부를 판단할 수 있게 사용자에 의해 선택되는 확인부(230)를 포함하는 것을 특징으로 하는 주파수신호를 이용한 음계인식시스템.
   
2. 제1항에 있어서,
   상기 제조사서버(400)는 음반제작사를 의미하되, 상기 음계정보는 공지되지 않은 상기 제조사서버(400)의 데이터 베이스에 저장된 음악정보와 대비하여 양자 간의 표절 여부를 사용자가 확인할 수 있도록 하는 것을 특징으로 하는 주파수신호를 이용한 음계인식시스템.
   
3. 제1항에 있어서,
   상기 관리서버(300)는 상기 어플리케이션(200)을 통해 획득한 음계정보를 사용자 별로 저장할 수 있는 데이터 베이스(310)를 더 포함하는 것을 특징으로 하는 주파수신호를 이용한 음계인식시스템.
   
4. 제1항에 있어서,
   상기 확인부(230)는
   상기 표시부(220)를 통해 음계정보가 상기 이동단말기(100) 상에 디스플레이시에 아이콘의 형식으로 항시 노출되어 해당 음계정보와 음악정보를 서로 대비할 수 있도록 디스플레이되는 것을 특징으로 하는 주파수신호를 이용한 음계인식시스템.
   

Images