KR20150064870A - 노래 가사 자동 디스플레이 방법, 노래 가사를 인식하는 서버 및 이 서버를 포함하는 노래 가사 자동 디스플레이 시스템 - Google Patents

Abstract

본 발명은 (a) 마이크를 통해 입력된 오디오 신호에 대응하는 노래 데이터 정보를 수신하는 단계와 (b) 수신된 노래 데이터 정보로부터 대응하는 곡을 식별하는 단계와 (c) 식별된 곡에 대응하는 가사 데이터를 포함하는 가사 데이터 정보를 생성하는 단계와 (d) 상기 가사 데이터 정보를 전송하는 단계를 포함하는 노래 가사 자동 디스플레이 방법에 관한 것이다.
본 발명을 이용함으로써, 외부로부터 들려오는 노래에 관한 정보의 획득이 가능하고 동기화된 가사의 디스플레이가 가능한 효과가 있다.

Description

노래 가사 자동 디스플레이 방법, 노래 가사를 인식하는 서버 및 이 서버를 포함하는 노래 가사 자동 디스플레이 시스템{METHOD FOR DISPLAYING MUSIC LYRICS AUTOMATICALLY, SERVER FOR RECOGNIZING MUSIC LYRICS AND SYSTEM FOR DISPLAYING MUSIC LYRICS AUTOMATICALLY COMPRISING THE SERVER}

본 발명은 노래 가사 자동 디스플레이 방법, 노래 가사를 인식하는 서버 및 이 서버를 포함하는 노래 가사 자동 디스플레이 시스템에 관한 것으로서, 외부로부터 들려오는 노래로부터 실시간으로 가사를 디스플레이하고 가사와 노래의 동기를 이룰 수 있도록 하는, 노래 가사 자동 디스플레이 방법, 노래 가사를 인식하는 서버 및 이 서버를 포함하는 노래 가사 자동 디스플레이 시스템에 관한 것이다.

우리는 생활 주변의 다양한 곳에서 노래를 접하게 된다. 일반적으로 커피점, 음식점, 음악회 등에서 노래를 들을 수 있으며, 또한 라디오나 TV, 유튜브 등과 같은 기기로부터 흘러나오는 노래를 들을 수도 있다. 그리고 이곳에서 노래를 듣는 청취자들은 들려오는 노래가 어떤 노래인지 알고 싶고 특히 노래 가사가 무엇인지를 알고 싶어한다.

그러나 들려오는 노래에 관한 정보를 획득하는 것은 용이치 않다. 만일 청취자가 노래의 제목을 알 수 있다면 인터넷을 통한 검색으로 해당 노래에 대한 가사 등과 같은 정보를 획득할 수 있을 것이다. 인터넷을 통한 검색도 청취자의 상황(예를 들어 운전 중)에 따라 검색 입력이나 확인이 불편한 것이 현실이다.

따라서 청취자들이 듣고 있는 노래에 대한 정보를 용이하게 획득할 수 있도록 하는 장치나 방법이 필요하다.

한편 기술의 발전에 따라 인터넷에 연결되어 데이터 송수신이 가능한 다양한 형태의 장치가 보급되었다. 인터넷에 연결되는 장치는 또한 내부적으로 프로세서를 구비하여 탑재된 응용 프로그램에 따라 동작될 수 있으며, 스마트 폰, 스마트 TV, 개인용 컴퓨터, 전자 액자, 태블릿 PC 등이 한 예이다.

그리고 이 장치는 디스플레이를 구비하고 있는 데, 디스플레이를 통해 노래 가사와 같은 노래 정보를 디스플레이할 수 있다면 청취자에게 편리하게 그리고 직관적으로 노래에 관한 정보를 제공할 수 있을 것이다.

본 발명은 상술한 문제점을 해결하기 위해서 안출한 것으로서, 마이크 등을 통해 입력된 오디오 신호로부터 노래에 관련된 정보를 추출할 수 있도록 하는, 노래 가사 자동 디스플레이 방법, 노래 가사를 인식하는 서버 및 이 서버를 포함하는 노래 가사 자동 디스플레이 시스템을 제공하는 데 그 목적이 있다.

또한 본 발명은 입력된 오디오 신호에 대응하는 가사를 식별하여 대응하는 가사를 디스플레이할 수 있도록 하는, 노래 가사 자동 디스플레이 방법, 노래 가사를 인식하는 서버 및 이 서버를 포함하는 노래 가사 자동 디스플레이 시스템을 제공하는 데 그 목적이 있다.

또한 본 발명은 실시간으로 가사를 디스플레이할 수 있도록 하는, 노래 가사 자동 디스플레이 방법, 노래 가사를 인식하는 서버 및 이 서버를 포함하는 노래 가사 자동 디스플레이 시스템을 제공하는 데 그 목적이 있다.

또한 본 발명은 입력된 오디오 신호의 변화에 따라 가사의 디스플레이가 변경될 수 있도록 하는, 노래 가사 자동 디스플레이 방법, 노래 가사를 인식하는 서버 및 이 서버를 포함하는 노래 가사 자동 디스플레이 시스템을 제공하는 데 그 목적이 있다.

또한 본 발명은 입력된 오디오 신호와 가사의 디스플레이가 처리 시간과 네트워크의 지연 시간을 고려하여 동기화될 수 있도록 하는, 노래 가사 자동 디스플레이 방법, 노래 가사를 인식하는 서버 및 이 서버를 포함하는 노래 가사 자동 디스플레이 시스템을 제공하는 데 그 목적이 있다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기와 같은 목적을 달성하기 위한 노래 가사 자동 디스플레이 방법은 (a) 마이크를 통해 입력된 오디오 신호에 대응하는 노래 데이터 정보를 수신하는 단계와 (b) 수신된 노래 데이터 정보로부터 대응하는 곡을 식별하는 단계와 (c) 식별된 곡에 대응하는 가사 데이터를 포함하는 가사 데이터 정보를 생성하는 단계와 (d) 상기 가사 데이터 정보를 전송하는 단계를 포함한다.

또한 상기와 같은 목적을 달성하기 위한 노래 가사를 인식하는 서버는 마이크를 통해 입력된 오디오 신호에 대응하는 노래 데이터 정보를 수신하고 가사 데이터 정보를 전송하는 통신부와 통신부를 통해 수신된 노래 데이터 정보로부터 대응하는 곡을 식별하고 식별된 곡에 대응하는 가사 데이터를 포함하는 가사 데이터 정보를 생성하여 통신부로 전달하는 제어부를 포함한다.

또한 상기와 같은 목적을 달성하기 위한 서버를 포함하는 노래 가사 자동 디스플레이 시스템은 노래 가사를 인식하는 서버를 포함하고, 노래 가사를 인식하는 서버는 마이크를 통해 입력된 오디오 신호에 대응하는 노래 데이터 정보를 수신하고 가사 데이터 정보를 전송하는 통신부와 통신부를 통해 수신된 노래 데이터 정보로부터 대응하는 곡을 식별하고 식별된 곡에 대응하는 가사 데이터를 포함하는 가사 데이터 정보를 생성하여 통신부로 전달하는 제어부를 포함한다.

상기와 같은 본 발명에 따른 노래 가사 자동 디스플레이 방법, 노래 가사를 인식하는 서버 및 이 서버를 포함하는 노래 가사 자동 디스플레이 시스템은 마이크 등을 통해 입력된 오디오 신호로부터 노래에 관련된 정보를 추출할 수 있도록 하는 효과가 있다.

또한 상기와 같은 본 발명에 따른 노래 가사 자동 디스플레이 방법, 노래 가사를 인식하는 서버 및 이 서버를 포함하는 노래 가사 자동 디스플레이 시스템은 입력된 오디오 신호에 대응하는 가사를 식별하여 대응하는 가사를 디스플레이할 수 있도록 하는 효과가 있다.

또한 상기와 같은 본 발명에 따른 노래 가사 자동 디스플레이 방법, 노래 가사를 인식하는 서버 및 이 서버를 포함하는 노래 가사 자동 디스플레이 시스템은 실시간으로 가사를 디스플레이할 수 있도록 하는 효과가 있다.

또한 상기와 같은 본 발명에 따른 노래 가사 자동 디스플레이 방법, 노래 가사를 인식하는 서버 및 이 서버를 포함하는 노래 가사 자동 디스플레이 시스템은 입력된 오디오 신호의 변화에 따라 가사의 디스플레이가 변경될 수 있도록 하는 효과가 있다.

또한 상기와 같은 본 발명에 따른 노래 가사 자동 디스플레이 방법, 노래 가사를 인식하는 서버 및 이 서버를 포함하는 노래 가사 자동 디스플레이 시스템은 입력된 오디오 신호와 가사의 디스플레이가 처리 시간과 네트워크의 지연 시간을 고려하여 동기화될 수 있도록 하는 효과가 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 노래를 인식하고인식된 노래의 가사를 디스플레이하기 위한 노래 가사 자동 디스플레이 시스템의 예시적인 시스템 구성도를 도시한 도면이다.
도 2는 노래 인식 서버의 예시적인 블록 구성도를 도시한 도면이다.
도 3은 노래 인식 서버에서 수행되는 예시적인 제어 흐름을 도시한 도면이다.
도 4는 개인용 장치의 예시적인 블록 구성도를 도시한 도면이다.
도 5는 개인용 장치에서 수행되는 예시적인 제어 흐름을 도시한 도면이다.

상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술 되어 있는 상세한 설명을 통하여 더욱 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다.

도 1은 노래를 인식하고 인식한 노래의 가사를 디스플레이하기 위한 노래 가사 자동 디스플레이 시스템의 예시적인 시스템 구성도를 도시한 도면이다.

도 1에 따르면 노래 가사 자동 디스플레이 시스템은 음원 소스(100), 개인용 장치(200), 통신 네트워크(300) 및 노래 인식 서버(400)를 포함한다. 이러한 노래 가사 자동 디스플레이 시스템의 블록 중 일부는 생략될 수 있다. 예를 들어 음원 소스(100)는 변형 예에 따라 생략될 수도 있다.

도 1에 따른 노래 가사 자동 디스플레이 시스템의 각 구성 블록을 살펴보면, 음원 소스(100)는 노래를 재생하고 오디오로 출력할 수 있는 장치이다. 예를 들어 음원 소스(100)는 라디오, TV, 음향 데크, 음향 데크에 연결된 스피커 등일 수 있다.

이러한 음원 소스(100)는 적어도 스피커를 포함하고 재생 중인 특정 노래(음악)를 오디오로 출력하여 주위의 청취자나 본 발명의 노래 가사 자동 디스플레이 시스템을 이용하는 사용자 등에게 노래를 들을 수 있도록 한다.

개인용 장치(200)는 개인이 이용가능한 장치이다. 예를 들어 개인용 장치(200)는 핸드폰, 스마트 폰, 태블릿 PC, 개인용 컴퓨터, 전자 액자 등일 수 있다. 그리고 개인용 장치(200)는 적어도 오디오를 전기 신호로 변환할 수 있는 마이크를 포함하고 이미지를 표시할 수 있는 디스플레이를 포함한다.

개인용 장치(200)는 마이크와 디스플레이를 이용하여 음원 소스(100)로부터 출력된 노래를 직간접(바람직하게는 노래 인식 서버(400)를 통해) 인식하고 인식된 노래의 가사를 디스플레이할 수 있다. 개인용 장치(200)에 관한 더욱더 상세한 설명은 도 4 및 도 5를 통해서 살펴보도록 한다.

노래 인식 서버(400)는 하나 이상의 개인용 장치(200)에 연결되어 노래를 인식하고 가사를 추출할 수 있는 장치이다. 이와 같은 노래 인식 서버(400)는 지정된 통신 프로토콜(예를 들어 OSI(Open System Interconnection) 7 계층 중 응용 계층의 통신 프로토콜)에 따라 외부의 개인용 장치(200)와 통신 가능하다.

그리고 노래 인식 서버(400)는, 연결된 개인용 장치(200)로부터 노래 인식에 이용된 노래 데이터 정보를 수신하고 수신된 노래 데이터 정보로부터 대응하는 곡과 곡의 가사를 데이터 베이스를 이용하여 식별할 수 있다. 이후 식별된 곡과 가사는 노래 인식 서버(400)에 의해 개인용 장치(200)로 전달될 수 있다. 이를 전달받은 개인용 장치(200)는 가사를 디스플레이를 통해 출력할 수 있다.

노래 인식 서버(400)에 관한 보다더 상세한 설명은 도 2 및 도 3을 통해서 살펴보도록 한다.

통신 네트워크(300)는 하나 이상의 개인용 장치(200)와 노래 인식 서버(400) 사이의 데이터를 송수신할 수 있는 네트워크이다. 이러한 통신 네트워크(300)는 유선 랜과 같은 유선 통신 네트워크, LTE 또는 무선 랜과 같은 무선 통신 네트워크를 포함한다. 또는 통신 네트워크(300)는 유선 통신 네트워크와 무선 통신 네트워크의 조합으로 이루어질 수 있다. 이와 같은 통신 네트워크(300)는 바람직하게는 인터넷을 구성한다.

이상, 도 1에서는 음원 소스(100)가 존재하는 것으로 도시하였다. 이 음원 소스(100)는 생략될 수 있고 개인용 장치(200)가 음원 소스로서의 역할을 수행할 수도 있다. 이에 따라 개인용 장치는 저장된 특정 노래를 스피커를 통해 출력할 수 있고 마이크를 통한 입력으로, 또는 내부적인 직접 전달로 노래의 인식이나 가사의 디스플레이를 가능하도록 한다.

도 2는 노래 인식 서버(400)의 예시적인 블록 구성도를 도시한 도면이다.

도 2에 따르면, 노래 인식 서버(400)는 통신부(410), 저장부(420), 제어부(430) 및 연결부(440)를 포함한다. 이 중 일부의 블록은 노래 인식 서버(400)의 종류나 변형 예에 따라 생략되거나 도시되지 않은 다른 블록들이 이 블록 구성도에 더 포함하도록 구성될 수 있다. 그리고 도 2는 노래 인식이나 가사 인식을 위해 적어도 필요한 구성만을 도시하였고, 노래 인식이나 가사 인식에 상관없는 구성요소는 본 발명의 요지를 흐릴 수 있으므로 생략하도록 한다.

노래 인식 서버(400)의 각 블록들을 살펴보면, 통신부(410)는 통신 네트워크(300)로 데이터를 송신하고 수신할 수 있도록 한다. 이러한 통신부(410)는 하나 이상의 개인용 장치(200)와 데이터 통신이 가능하도록 구성된다.

통신부(410)는 통신 네트워크(300)에 연결될 수 있고 통신 타입에 따라 지정된 유선 또는 무선의 아날로그 신호를 출력하고 수신하도록 구성된다.

예를 들어 통신부(410)는 통신 네트워크(300)로부터 데이터를 수신하여 노래 인식 서버(400) 내부의 제어부(430)로 전달할 수 있고 제어부(430)로부터의 데이터를 통신 네트워크(300)로 출력할 수 있다.

저장부(420)는 하드 디스크와 같은 대용량 저장 매체, 휘발성 메모리, 비휘발성 메모리 등을 포함하여 각종 데이터와 프로그램을 저장한다. 이와 같은 저장부(420)는 데이터베이스를 포함할 수 있다. 예를 들어 저장부(420)는 곡 DB와 가사 DB를 포함한다.

곡 DB와 가사 DB는 연결된 개인용 장치(200)로부터 수신된 노래 데이터 정보로부터 곡을 식별하고 나아가 가사를 추출하기 위해서 이용된다.

곡 DB는 노래 인식 서버(400)에서 인식 가능한 곡에 관련된 각종 정보를 각각의 곡 별로 저장한 데이터베이스이다. 각각의 곡 별 정보는 예를 들어 박자 정보, 멜로디 정보, 가수, 가수의 음성 특성, 작곡가, 제목, 하나 이상의 대표 단어 등과 같은 정보를 포함한다. 이와 같은 정보는 곡 DB의 설계나 설치시에 미리 구성될 수 있다.

여기서 멜로디 정보나 가수의 음성 특성은 주파수 도메인이나 시간 도메인 상에서 정의된 정보일 수 있고 음악 인식 분야에서 널리 활용되는 소위 특성 벡터로 또는 특성 벡터의 조합으로 구성될 수 있다.

가사 DB는 곡 별 가사를 저장한 데이터베이스이다. 곡 별 각각의 가사는 개인용 장치(200)에 전달되어 디스플레이될 수 있다. 특히 곡 별 가사는 복 수개의 소절 데이터로 분할되어 가사 DB에서 관리될 수 있다. 소절 데이터는 노래의 마디를 나타내거나 개인용 장치(200)의 디스플레이에서 표시될 때 동일한 라인에 표시될 가사의 일부분을 나타낼 수 있다.

또한 가사 DB에 포함되는 곡 별 가사는 복 수개의 소절 데이터와 각각 대응하는 복 수개의 시간 정보를 포함할 수 있다. 이러한 시간 정보는 대응하는 소절 데이터의 시작 시각과 종료 시각, 혹은 시작 시각과 소절 데이터의 연주 시간과 같은 정보를 포함할 수 있다. 그리고 시간 정보는 통신 네트워크(300)를 통해 연결된 개인용 장치(200)로 전송될 수 있다. 각각의 소절 데이터의 시간 정보는 곡의 연주 개시 후 상대적인 시간(시각)으로 표현될 수 있다.

이와 같이 복수의 소절 데이터는 한 곡의 가사를 나타내며 시간 정보를 활용하여 소절 데이터 간 선후 관계나 각 소절 데이터가 연주되는 시간과 같은 정보를 개인용 장치(200)나 노래 인식 서버(400)에 제공할 수 있도록 구성된다.

그리고 가사 DB에 포함되는 시간 정보는 미리 구성될 수 있고 개인용 장치(200)에서 복 수개의 소절 데이터로 표현되는 가사를 표시할 때 시간의 경과에 따라 특정 소절 데이터를 강조(highlight)하기 위해서 이용될 수 있다.

또한 가사 DB는 곡 별의 가사(또는 소절 데이터)에 대응하는 특성 벡터들을 더 포함할 수 있다. 이러한 특성 벡터들은 음성을 통한 가사 인식에 이용될 수 있다.

제어부(430)는 노래 인식 서버(400) 내의 블록들을 제어한다. 제어부(430)는 저장부(420)에 저장된 프로그램의 명령어를 실행할 수 있는 프로세서로 구성될 수 있다. 프로세서는 하나 이상의 실행 유닛(Execution Unit)을 포함하는 소위 CPU이거나 MPU(Micro Processor Unit) 등일 수 있다.

이와 같은 제어부(430)는 바람직하게는 저장부(420)에 저장된 각종 프로그램을 이용하여 다른 블록들을 제어한다. 예를 들어 제어부(430)는 저장부(420)에 저장된 데이터베이스를 활용하여 원격의 개인용 장치(200)로부터 수신된 노래 데이터 정보로부터 곡과 가사를 식별하고 추출할 수 있다.

제어부(430)에서 수행되는 제어 흐름은 이하 도 3을 통해서 상세히 살펴보도록 한다.

연결부(440)는 노래 인식 서버(400) 내의 블록 간에 데이터를 송신하거나 수신할 수 있도록 한다. 이러한 연결부(440)는 병렬 버스이거나 시리얼 버스이거나 혹은 단일의 신호 선이거나 이러한 버스나 신호 선의 조합으로 구성된다.

도 3은 노래 인식 서버(400)에서 수행되는 예시적인 제어 흐름을 도시한 도면이다. 도 3의 제어 흐름은 제어부(430)에 의해서 다른 블록을 제어함으로써 이루어지며 바람직하게는 저장부(420)에 저장된 프로그램을 이용하여 이루어진다.

먼저, 도 3의 제어 흐름은 통신 네트워크(300)를 통한 원격의 개인용 장치(200)로부터의 접속 요청에 따라 시작(S100)하고 종료 요청에 따라 종료(S200)될 수 있다.

이러한 접속 요청의 수신에 따라 제어부(430)는 원격의 개인용 장치(200)와 통신 설정을 수행한다. 예를 들어 제어부(430)는 OSI 7 계층의 응용 계층에서 수행되는 프로그램을 이용하여 개인용 장치(200)에 ID(예를 들어 세션 ID 등)를 할당할 수 있다.

이후 단계 S101에서, 제어부(430)는 통신부(410)를 통해 노래 데이터 정보를 수신한다. 수신된 노래 데이터 정보는 개인용 장치(200)의 마이크를 통해 입력된 오디오로부터 생성된 오디오 데이터를 포함할 수 있다. 오디오 데이터는 개인용 장치(200)에서 식별된 한 소절을 나타내는 데이터이거나 약속된 시간 동안에 마이크를 통해 수신된 데이터일 수 있다. 그리고 이 오디오 데이터는 임의의 약속된 포맷으로 압축되어 있을 수 있다. 약속된 시간이나 약속된 포맷은 통신 설정 시에 결정되거나 프로그램 자체에서 미리 설정될 수 있다.

단계 S103에서, 제어부(430)는 노래 데이터 정보의 오디오 데이터에 대응하는 곡을 저장부(420)의 곡 DB와 가사 DB를 이용하여 식별한다. 예를 들어 제어부(430)는 오디오 데이터와 곡 DB에 포함된 각종 정보를 비교하여 특정 곡을 식별할 수 있다.

이를 위해, 제어부(430)는 수신된 오디오 데이터로부터 음성 데이터와 멜로디 데이터를 분리하고 또한 박자 정보를 추출한다. 일반적으로 음성과 악기(예를 들어 피아노 등)의 특성이 상이하기에 이 음성 데이터와 멜로디 데이터는 분리 가능하다.

그리고 음성 데이터나 멜로디 데이터는 곡 DB에 저장된 가수의 음성 특성이나 멜로디 정보와 동일한 형태로 변환될 수 있다.

이와 같은 데이터나 정보를 획득한 제어부(430)는 분리된 음성 데이터와 분리된 멜로디 데이터와 나아가 박자 정보를 이용하여 곡 DB에서 특정 하나 이상의 곡을 식별한다.

예를 들어 제어부(430)는 음성 데이터를 음성 인식하여 인식된 내용을 곡 DB에 저장된 대표 단어와 비교하여 각 곡과의 유사 여부를 결정할 수 있다. 또는 제어부(430)는 분리된 멜로디 데이터와 박자 정보를 이용하여 곡 DB의 멜로디 정보와 박자 정보를 비교하여 각 곡과의 유사 여부를 결정할 수 있다. 또는 제어부(430)는 음성 데이터로부터 추출된 음성 특성과 곡 DB에 저장된 가수의 음성 특성을 더 비교하여 각 곡과의 유사 여부를 결정할 수 있다. 또는 제어부(430)는 음성 인식이나 멜로디 정보나 박자 정보나 음성 특색의 조합으로 특정 곡과의 유사 여부를 결정할 수 있다. 이러한 유사 여부의 결정에 따라 특정 임계 유사도 이상의 곡들을 식별할 수 있을 것이다.

이러한 과정은 물론 효율적인 검색과 비교가 필요하다. 특히 노래 인식 서버(400)에서 디지털 신호 처리가 필요하기에 더욱더 그러하다. 이에 따라 검색의 범위를 좁힐 필요가 있다. 이를 위해 제어부(430)는 곡 식별을 위한 각종 파라미터(위의 음성이나 멜로디나 박자나 음성 특색 등)의 순차적인 선택과 적용을 수행하도록 구성될 수 있다.

예를 들어 제어부(430)는 분리된 멜로디 데이터를 이용하여 곡 DB에서 이 멜로디 데이터와 일정 유사도 이상인 다수의 곡을 선택하고 이 다수의 곡에 분리된 음성 데이터로부터 인식된 내용이 존재하는 지를 식별하여 곡을 식별할 수 있다. 이 과정에서 제어부(430)는 인식된 내용과 대표 단어를 비교할 수 있다. 혹은 제어부(430)는 인식된 내용과 다수의 곡에 대응하는 복 수개의 소절 데이터의 가사를 비교하여 이로부터 곡을 식별할 수 있다.

이와 같은 과정을 통해 제어부(430)는 하나 혹은 복수의 곡을 식별할 수 있다. 일반적으로 하나의 곡을 식별할 수 있을 것으로 예상되나 식별력이 떨어지는 경우에는 복수의 곡이 식별되거나 선택될 수 있다. 이 복수의 곡에 관한 정보나 가사 정보는 개인용 장치(200)로 전달되어 개인용 장치(200)에서의 선택에 따라 특정 하나의 곡을 디스플레이하도록 구성될 수도 있다.

이후 단계 S105에서, 제어부(430)는 식별된 곡에 대응하는 가사 데이터 정보를 가사 DB를 이용하여 생성한다. 가사 데이터 정보는 식별된 곡에 대응하는 가사를 포함할 수 있다.

좀 더 구체적으로 살펴보면, 제어부(430)는 가사 DB에서 식별된 곡에 대응하는 복수의 소절 데이터를 포함하는 가사 데이터와 복수의 소절 데이터 각각의 시간 정보를 추출하고 이를 포함하는 가사 데이터 정보를 생성할 수 있다. 소절 데이터의 시간 정보는 노래 연주 중 이 소절 데이터의 시작 시각이나 연주 시간 등과 같은 정보로 표현될 수 있다. 이 시간 정보는 이후 개인용 장치(200)에 의해서 언제 해당 소절 데이터가 강조되어야 하는지를 알 수 있도록 하고 나아가 노래와 가사의 시간 동기화에 이용될 수 있다.

이와 같이 제어부(430)는 수신된 오디오 데이터로부터 인식된 곡의 모든 가사와 가사 내의 가사 데이터가 표시되어야 하는 시점에 관련된 정보를 개인용 장치(200)로 전송할 수 있다.

또한 제어부(430)는 수신된 오디오 데이터와 식별된 곡의 가사 전체를 비교하여 특정 가사 일부분(예를 들어 소절 데이터)을 매칭할 수 있다. 예를 들어 제어부(430)는 수신된 오디오 데이터 자체 혹은 분리된 음성 데이터와 복수의 소절 데이터 각각을 비교하여 일정한 임계 유사도 이상으로 매칭되는 부분을 식별한다.

각각의 소절 데이터와 수신된 오디오 데이터의 음성 데이터가 비교될 수 있지만 이에 국한될 필요는 없다. 예를 들어 제어부(430)는 음성 데이터와 연속적인 두 개의 소절 데이터(예를 들어 한 소절의 소절 데이터와 이 소절 바로 후속하는 후속 소절의 소절 데이터)를 비교하여 매칭되는 부분을 식별할 수 있다.

그리고 제어부(430)는 이러한 매칭되는 부분 또는 매칭되는 소절 데이터를 나타내는 정보를 가사 데이터 정보에 포함시킬 수 있다. 이러한 매칭 정보는 노래의 연주가 진행됨에 따라 어떤 가사를 강조할 것인지를 개인용 장치(200)로 하여금 알 수 있도록 한다.

여기서 매칭 정보는 개인용 장치(200)로부터의 오디오 데이터 정보의 수신과 가사 데이터 정보의 전송에 요구되는 네트워크 지연 시간과 단계 S103 등에서의 복수의 소절 데이터와 비교에 따른 경과 시간을 더 고려할 수 있다.

이에 따라 매칭 정보는 네트워크 지연 시간과 내부 경과 시간을 반영할 수 있다. 예를 들어 제어부(430)는 매칭되는 부분을 오디오 데이터의 대응하는 소절 데이터로부터 네트워크 지연 시간과 내부 처리 경과 시간 후에 대응하는 소절 데이터로 변경하거나 설정할 수 있다.

네트워크 지연 시간은 간단하게는 통신 네트워크(300)를 통해 송신되는 데이터 패킷의 전송 시각과 이 데이터 패킷의 응답 패킷의 수신 시각의 차에 기초하여 결정될 수 있다. 그리고 경과 시간은 단계 S103과 단계 S105에 소요되는 시간으로 제어부(430)가 간단히 결정할 수 있다.

그리고 원래의 매칭 정보에 지연 시간 등의 적용은 변형 예에 따라서는 생략될 수 있고 개인용 장치(200)에 의해서 이러한 매칭을 수행할 수도 있다. 개인용 장치(200)에서 이루어지는 매칭되는 소절 데이터의 결정은 도 5에서 살펴보도록 한다.

그리고 가사 데이터 정보는 곡 DB에 포함된 다른 정보를 더 포함할 있다. 예를 들어 가사 데이터 정보는 제목이나 가수 등과 같은 정보를 더 포함할 수 있다.

이후 단계 S107에서, 제어부(430)는 생성된 가사 데이터 정보를 설정된 통신 채널을 통해 통신부(410)를 경유하여 개인용 장치(200)로 전송한다.

이러한 단계 S101 내지 단계 S107은 반복적으로 수행될 수 있고, 반복적인 수행에 따라서는 더욱더 정확한 소절 데이터나 부분의 매칭이 이루어질 수도 있다.

이상, 도 3에서 살펴본 제어 흐름에 의해서 실시간으로 가사를 요청한 개인용 장치(200)로 전달할 수 있고 가사와 노래의 동기화를 시각적으로 이루어질 수 있도록 한다.

도 4는 개인용 장치(200)의 예시적인 블록 구성도를 도시한 도면이다.

도 4에 따르면, 개인용 장치(200)는 오디오 수신부(210), 입력부(220), 출력부(230), 통신부(240), 저장부(250), 제어부(260) 및 연결부(270)를 포함한다. 이 중 일부의 블록은 개인용 장치(200)의 종류나 변형 예에 따라 생략되거나 도시되지 않은 다른 블록들이 이 블록 구성도에 더 포함하도록 구성될 수 있다. 그리고 도 4는 노래 인식과 가사 디스플레이를 위해 적어도 필요한 구성만을 도시하였고, 노래 인식과 가사 디스플레이와 상관없는 구성요소는 본 발명의 요지를 흐릴 수 있으므로 생략하도록 한다.

개인용 장치(200)의 각 블록들을 살펴보면, 오디오 수신부(210)는 마이크와 ADC(Analog Digital Converter)를 포함하여 마이크로부터 오디오 신호를 수신한다. 이러한 오디오 수신부(210)는 마이크로부터 수신된 아날로그의 오디오 신호를 ADC를 통해 디지털의 오디오 신호로 변환하여 출력할 수 있도록 구성된다.

입력부(220)는 버튼이나 터치 패널 등을 포함하여 사용자 입력을 수신한다. 이러한 입력부(220)를 통한 사용자 입력은 본 발명에 따른 노래 인식과 가사 디스플레이에 이용되는 프로그램의 구동을 시작할 수 있도록 한다.

출력부(230)는 LCD(Liquid Crystal Display)나 LED(Light Emitting Diode) 디스플레이 등을 포함하여 제어부(260)에 의해 생성된 이미지 데이터 등을 출력한다. 출력부(230)를 통해 다수의 프로그램을 표시할 수 있고, 사용자의 구동에 따라 수신된 가사 데이터 정보의 가사 데이터가 출력될 수 있도록 한다.

통신부(240)는 통신 네트워크(300)로 데이터를 송신하고 수신할 수 있도록 한다. 이러한 통신부(240)는 노래 인식 서버(400)와 데이터 통신이 가능하도록 구성된다.

통신부(240)는 유선 랜이나 LTE 또는 무선랜과 같은 통신 네트워크(300)에 연결될 수 있고 통신 타입에 따르는 신호를 출력하고 수신하도록 구성된다.

저장부(250)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함하여 각종 데이터와 프로그램을 저장한다. 이러한 저장부(250)는 노래 인식 서버(400)로 연결 요청을 수행하고 오디오 데이터를 생성하고 이에 따라 가사를 디스플레이하기 위한 응용 프로그램을 포함한다.

응용 프로그램은 개인용 장치(200)의 타입에 따라 혹은 개인용 장치(200)의 OS에 따라 상이한 형태로 구성될 수 있다. 예를 들어 응용 프로그램은 소위 스마트폰용 앱(App)일 수 있다.

제어부(260)는 개인용 장치(200) 내의 블록들을 제어한다. 제어부(260)는 저장부(250)에 저장된 프로그램의 명령어를 실행할 수 있는 프로세서로 구성될 수 있다. 프로세서는 하나 이상의 실행 유닛(Execution Unit)을 포함하는 소위 CPU이거나 MPU(Micro Processor Unit)이거나 AP(Application Processor) 등일 수 있다.

이와 같은 제어부(260)는 바람직하게는 저장부(250)에 저장된 각종 프로그램을 이용하여 다른 블록들을 제어한다. 예를 들어 제어부(260)는 저장부(250)에 저장된 응용 프로그램을 구동하여 원격의 노래 인식 서버(400)와 연결될 수 있다. 그리고 이 노래 인식 서버(400)와의 데이터 통신에 따라 가사 데이터를 수신하고 이 가사 데이터를 출력부(230)를 통해 디스플레이할 수 있다.

제어부(260)에서 수행되는 제어 흐름은 이하 도 5를 통해서 상세히 살펴보도록 한다.

연결부(270)는 개인용 장치(200) 내의 블록 간에 데이터를 송신하거나 수신할 수 있도록 한다. 이러한 연결부(270)는 병렬 버스이거나 시리얼 버스이거나 혹은 단일의 신호 선이거나 이러한 버스나 신호 선의 조합으로 구성된다.

도 5는 개인용 장치(200)에서 수행되는 예시적인 제어 흐름을 도시한 도면이다. 도 5의 제어 흐름은 제어부(260)에 의해서 다른 블록을 제어함으로써 이루어지며 바람직하게는 저장부(250)에 저장된 응용 프로그램을 이용하여 이루어진다.

먼저, 도 5의 제어 흐름은 입력부(220)를 통한 사용자 입력으로 지정된 응용 프로그램이 구동됨으로써 시작(S300)되고 사용자 입력을 통한 종료 요청에 따라 종료(S400)될 수 있다.

시작 이후에, 제어부(260)는 통신부(240)를 통해 원격의 노래 인식 서버(400)로 접속 요청을 하고 통한 통신 채널을 설정한다.

이후 단계 S301에서, 오디오 수신부(210)는 마이크로부터의 아날로그 오디오 신호를 디지털의 오디오 신호로 변환한다. 좀 더 구체적으로 마이크는 공기중의 음파를 전기 신호로 변환하고 전기 신호로 변환된 아날로그 오디오 신호는 ADC를 통해 디지털의 오디오 신호로 변환된다. 이후 이 디지털의 오디오 신호는 지정된 버스(I2S 등)를 통해 제어부(260)로 전달된다.

이러한 단계 S301에 의해서 생성된 디지털의 오디오 신호는 시간상으로 연속적으로 출력되는 신호일 수 있다.

단계 S303에서, 제어부(260)는 오디오 수신부(210)로부터 디지털의 오디오 신호를 수신하고 수신된 디지털의 오디오 신호에 기초하여 오디오 데이터를 생성한다. 오디오 데이터는 연속적인 디지털의 오디오 신호로부터 식별된 한 소절을 나타내는 데이터이거나 일정한 시간 동안에 연속적으로 수신된 오디오 신호의 데이터일 수 있다.

한 소절을 나타내는 데이터를 식별하는 방법의 예로서, 제어부(260)는 디지털의 오디오 신호에서 음성 검출을 이용하여 일정 시간 음성이 검출되지 않는 시점에서부터 다음의 일정 시간(예를 들어 1초 등) 음성이 검출되지 않는 시점까지의 오디오 신호의 데이터를 한 소절로 간단히 식별할 수 있다.

그리고 제어부(260)는 디지털의 오디오 신호를 원격의 노래 인식 서버(400)와 약속된 포맷으로 압축하여 오디오 데이터를 생성할 수 있다. 이러한 압축은 음악이나 음성에 이용되는 압축 포맷일 수 있다.

이후 단계 S305에서, 제어부(260)는 생성된 오디오 데이터를 포함하는 노래 데이터 정보를 연결된 노래 인식 서버(400)로 통신부(240)를 통해 전송한다. 노래 데이터 정보는 노래 인식 서버(400)와 약속된 포맷으로 구성될 수 있고 오디오 데이터 외에도 각종 정보를 더 포함할 수 있다.

이후 단계 S307에서, 제어부(260)는 전송된 노래 데이터 정보에 대응한 가사 데이터 정보를 노래 인식 서버(400)로부터 수신한다. 이와 같이 수신된 가사 데이터 정보는 마이크를 통해 인식된 노래의 가사 정보를 포함한다.

구체적으로, 가사 데이터 정보는 인식된 곡의 전체 가사를 나타내는 복수의 소절 데이터와 소절 데이터 각각에 관련된 시간 정보를 포함한다. 또한 가사 데이터 정보는 단계 S303에서 전송된 오디오 데이터에 매칭되는 소절 데이터를 나타내는 매칭 정보를 포함할 수 있다. 매칭 정보는 제어부(260)의 제어에 따라 출력부(230)을 통해 가사가 디스플레이될 때 어떤 가사를 강조할 것인지를 결정하기 위해서 이용된다.

이후 단계 S309에서, 제어부(260)는 가사 데이터 정보에 포함된 가사 데이터를 출력부(230)를 통해 출력하여 LCD나 LED 등으로 구성된 출력 화면에 디스플레이한다. 여기서 출력 화면은 LCD나 LED 디스플레이 자체를 나타내거나 응용 프로그램에 의해서 가사를 표시하기 위해서 이용가능한 디스플레이 내의 일정 영역을 나타내거나 응용 프로그램에 의해서 제어 가능한 디스플레이의 전체 영역을 나타낸다.

구체적으로, 제어부(260)는 복수의 소절 데이터 중에서 현재 표시될 하나 이상의 소절 데이터를 선택한다. 이러한 선택은 가사 데이터 정보에 포함된 매칭 정보에 기초하여 결정될 수 있다. 복수의 소절 데이터는 전체 가사를 나타내고 개인용 장치(200)의 디스플레이는 시인성(visibility)으로 인해 모든 가사를 표시할 수 없을 수 있다. 이에 따라 특정 시간에는 일부의 가사만이 표시되고 후속하는 다른 시간에는 다른 가사가 표시되도록 구성할 필요가 있다.

그리고 제어부(260)는 매칭 정보에 기초하여 선택된 하나 이상의 소절 데이터 중 특정 하나의 소절 데이터를 마이크를 통해 입력된 오디오 신호에 대응하는 소절 데이터로 결정할 수 있다. 이러한 소절 데이터를 강조하여 가사와 노래의 오디오 신호를 동기화할 수 있도록 한다.

이에 따라 제어부(260)는 복수의 소절 데이터 중에서 하나 이상의 소절 데이터를 이미지 데이터로 변환하여 출력부(230)를 통해 디스플레이하고 하나 이상의 소절 데이터 중 특정 하나의 소절 데이터를 이미지로 강조(다른 색상을 이용하거나 반전시키거나 등)하여 출력부(230)를 통해 디스플레이한다.

이러한 과정은 가사 데이터 정보의 수신시 수행될 수 있고, 이후 시간 경과에 따라서 변경되고 강조되는 소절 데이터의 이미지만을 변경하여 이루어질 수 있다. 그리고 강조될 소절 데이터의 변경은 노래 데이터 정보에 포함된 각 소절 데이터의 시간 정보를 이용하여 이루어진다.

한편 단계 S305에서 전송된 오디오 데이터에 응답하여 매칭되는 소절 데이터를 나타내는 매칭 정보는 네트워크 지연 시간과 노래 인식 서버(400)에서의 처리 시간을 고려된 정보이거나 혹은 이 시간이 고려되지 않은 정보일 수 있다.

만일 지연 시간과 노래 인식 서버(400)에서의 경과 시간이 고려된 경우에는, 제어부(260)는 단지 매칭 정보로부터 대응하는 소절 데이터를 식별하여 식별된 소절 데이터를 포함하는 하나 이상의 소절 데이터를 나타내고 식별된 소절 데이터를 강조하는 이미지 데이터를 출력부(230)를 통해 출력하면 된다.

만일 지연 시간과 경과 시간이 고려되지 않은 경우에는, 제어부(260)는 이러한 시간을 자체적으로 계산할 수 있다.

예를 들어 제어부(260)는 오디오 신호를 마이크를 통해 수신한 시각을 이용하여 자체적으로 계산할 수 있다. 제어부(260)는 단계 S303에서 오디오 데이터 생성에 이용되는 디지털의 오디오 신호의 수신 시각을 저장부(250)에 기록한다. 이와 같이 저장되는 수신 시각은 수신 시작 시각과 수신 종료 시각 또는 수신 시간을 포함할 수 있다.

이후 제어부(260)는 가사 데이터 정보를 수신한 시각을 또한 저장부(250)에 저장한다. 그리고 가사 데이터 정보를 수신한 시각과 오디오 신호의 수신 시각(수신 시작 시각 또는 수신 종료 시각)의 차이 값을 계산한다. 그리고 제어부(260)는 차이 값과 가사 데이터 정보에 포함되는 매칭 정보의 매칭되는 소절 데이터를 이용하여 현재 강조할 소절 데이터를 결정할 수 있다.

예를 들어 차이 값이 수신된 매칭 정보의 소절 데이터의 시간 정보의 연주 시간을 초과하는 경우에는 이 소절 데이터 이후에 연주되고 차이 값에 따라 결정되는 소절 데이터를 강조할 소절 데이터로 결정할 수 있다. 또는 차이 값이 연주 시간 이내인 경우에도 차이 값과 연주 시간과의 비율에 따라 일정 비율 이상인 경우에 후속하는 소절 데이터를 강조할 소절 데이터로 결정할 수 있다.

이와 같이 강조될 소절 데이터는 원격의 노래 인식 서버(400)에 의해서 또는 개인용 장치(200)에 의해서 다양한 방법으로 동적으로 결정될 수 있다. 그리고 강조될 소절 데이터는 노래 인식 서버(400)에서의 경과 시간과 네트워크 지연 시간을 고려하여 결정된다. 이와 같이 실시간으로 노래와 가사의 동적인 동기화가 가능하다.

한편 단계 S309에서, 제어부(260)는 개인용 장치(200) 내부에서 결정된 시간의 경과에 따라 디스플레이되는 하나 이상의 소절 데이터나 강조될 소절 데이터를 변경할 수 있다.

이 과정에서 제어부(260)는 가사 데이터 정보에 포함된 소절 데이터 각각의 시간 정보를 이용한다.

예를 들어 제어부(260)는 가사 데이터 정보의 수신에 따라 하나 이상의 소절 데이터를 선택하고 강조될 소절 데이터를 결정하여 출력부(230)를 통해 출력 화면에 디스플레이한다.

이후 제어부(260)는 내부의 타이머(도면 미도시)를 이용하여 시간 경과를 측정하고 디스플레이 후 경과 된 시간이 강조될 소절 데이터의 연주 시간을 초과하는지를 판단한다. 만일 초과하는 경우에는 이후 강조될 소절 데이터를 후속하는 소절 데이터로 결정하여 해당 소절 데이터를 강조하도록 디스플레이하고 이전의 소절 데이터의 강조를 제거한다.

만일 선택된 하나 이상의 소절 데이터의 마지막 소절 데이터가 강조되는 상태인 경우에는 이 하나 이상의 소절 데이터에 후속하고 출력 화면에 디스플레이될 새로운 하나 이상의 소절 데이터를 선택하여 디스플레이하고 첫 번째 소절 데이터를 강조하도록 제어부(260)가 출력부(230)를 제어한다.

그리고 단계 S301 내지 단계 S309는 일정한 주기로 반복적으로 수행될 수 있다. 예를 들어 일정한 시간의 경과 시에 노래 인식 서버(400)로 재차 노래 데이터 정보를 전송할 수 있다. 또는 노래 인식 서버(400)가 매칭되는 소절 데이터를 제대로 인식하지 못한 경우에 매칭되는 소절 데이터의 인식이 가능할 때까지 반복적으로 노래 데이터 정보를 전송할 수 있다.

한편 단계 309에서, 시간의 경과에 따라 강조될 소절 데이터가 다른 소절로 변경되어 디스플레이되는 것으로 설명하였다. 이러한 설명은 강조될 소절 데이터의 스크롤(scroll)이 가능하도록 한다. 즉 출력 화면에 여러 소절 데이터가 표시된 상태에서 소절 데이터의 출력 위치는 고정되고 강조될 소절 데이터가 달리 선택되어 강조 표시된다.

이 외에도 다양한 방식으로 가사를 디스플레이할 수 있다. 예를 들어 강조될 소절 데이터의 위치는 출력 화면상에서 고정된 상태에서 시간의 경과에 따라 표시될 하나 이상의 소절 데이터를 변경하는 방안이 있을 수 있다.

즉 강조될 소절 데이터가 시간의 경과에 따라 변경될 때마다 출력 화면상에 표시될 하나 이상의 소절 데이터를 제어부(260)가 변경하고 변경된 하나 이상의 소절 데이터를 재차 출력 화면에 표시하는 방안이 있을 수 있다. 이와 같은 구성은 기존 소절 데이터의 표시 위치의 변경(예를 들어 스크롤 업이나 스크롤 다운)을 유도하고 현재 노래와 동기화되는 강조되는 소절 데이터의 위치는 고정되도록 한다.

이와 같은 과정을 통해, 제어부(260)는 실시간으로 가사와 음악의 동기를 이룰 수 있도록 하고 음향 기기 등과 같은 음원 소스(100)로부터 들려오는 노래에 관련된 가사뿐 아니라 다양한 정보를 획득가능하도록 한다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니다.

100 : 음원 소스 200 : 개인용 장치
210 : 오디오 수신부 220 : 입력부
230 : 출력부 240 : 통신부
250 : 저장부 260 : 제어부
270 : 연결부
300 : 통신 네트워크 400 : 노래 인식 서버
410 : 통신부 420 : 저장부
430 : 제어부 440 : 연결부

Claims (18)

1. 노래 가사 자동 디스플레이 방법으로서,
   (a) 마이크를 통해 입력된 오디오 신호에 대응하는 노래 데이터 정보를 수신하는 단계;
   (b) 수신된 노래 데이터 정보로부터 대응하는 곡을 식별하는 단계;
   (c) 식별된 곡에 대응하는 가사 데이터를 포함하는 가사 데이터 정보를 생성하는 단계; 및
   (d) 상기 가사 데이터 정보를 전송하는 단계;를 포함하는,
   노래 가사 자동 디스플레이 방법.
2. 제1항에 있어서,
   상기 단계 (b)는 (b-1) 상기 노래 데이터 정보의 오디오 데이터로부터 음성 데이터와 멜로디 데이터를 분리하는 단계; 및 (b-2) 분리된 음성 데이터와 분리된 멜로디 데이터를 이용하여 곡을 식별하는 단계;를 포함하는,
   노래 가사 자동 디스플레이 방법.
3. 제2항에 있어서,
   상기 (b-2)는 분리된 멜로디 데이터를 이용하여 복수의 곡을 선택하는 단계; 및 선택된 복수의 곡에서 상기 분리된 음성 데이터로부터 인식되는 가사를 이용하여 하나 이상의 곡을 결정하는 단계;를 포함하는,
   노래 가사 자동 디스플레이 방법.
4. 제1항에 있어서,
   상기 단계 (c)는 식별된 곡에 대응하는 복수의 소절 데이터를 포함하는 가사 데이터, 소절 데이터 각각의 시간 정보 및 복수의 소절 데이터 중 상기 노래 데이터 정보의 오디오 데이터와 매칭되는 소절 데이터를 나타내는 정보를 포함하는 가사 데이터 정보를 생성하는,
   노래 가사 자동 디스플레이 방법.
5. 제4항에 있어서,
   상기 단계 (a) 내지 (d)는 노래 가사를 인식하기 위한 서버에서 수행되며,
   상기 노래 가사 자동 디스플레이 방법은, 상기 서버에 연결된 개인용 장치에 의해, (e) 상기 가사 데이터 정보를 수신하는 단계; 및 (f) 상기 가사 데이터 정보의 가사 데이터를 출력 화면에 디스플레이하는 단계;를 더 포함하는,
   노래 가사 자동 디스플레이 방법.
6. 제5항에 있어서,
   상기 단계 (f)는 가사 데이터에 포함된 복수의 소절 데이터 중 하나 이상의 소절 데이터를 출력 화면에 디스플레이하는 단계; 및 상기 매칭되는 소절 데이터에 기초하여 결정되는 소절 데이터를 강조(highlight)하는 단계;를 포함하며,
   강조되는 소절 데이터는 시간의 경과에 따라 소절 데이터 각각의 시간 정보를 이용하여 변경되는,
   노래 가사 자동 디스플레이 방법.
7. 제4항에 있어서,
   상기 매칭되는 소절 데이터를 나타내는 정보는 상기 노래 데이터 정보의 오디오 데이터로부터 분리되는 음성 데이터와 복수의 소절 데이터의 비교에 따른 경과 시간과 서버와 개인용 장치 사이에서의 네트워크 지연 시간을 이용하여 결정되는,
   노래 가사 자동 디스플레이 방법.
8. 제6항에 있어서,
   상기 개인용 장치에 의해, 상기 오디오 신호를 마이크를 통해 수신한 시각을 기록하는 단계;를 더 포함하며,
   상기 단계 (f)의 소절 데이터를 강조하는 단계는 상기 가사 데이터 정보의 수신 시각과 기록된 시각과의 차이와 상기 매칭되는 소절 데이터를 나타내는 정보를 이용하여 강조될 소절 데이터를 결정하는,
   노래 가사 자동 디스플레이 방법.
9. 제5항에 있어서,
   상기 개인용 장치에 의해, 마이크로부터 수신된 아날로그 신호를 디지털의 오디오 신호로 변환하는 단계; 변환된 디지털의 오디오 신호로부터 오디오 데이터를 생성하는 단계; 및 생성된 오디오 데이터를 포함하는 상기 노래 데이터 정보를 상기 서버로 전송하는 단계;를 더 포함하며,
   상기 오디오 데이터는 곡의 한 소절을 나타내는 데이터이거나 일정한 시간 동안에 수신된 데이터이고,
   상기 노래 데이터 정보를 상기 서버로 전송하는 단계는 반복적으로 수행되는,
   노래 가사 자동 디스플레이 방법.
10. 노래 가사를 인식하는 서버로서,
    마이크를 통해 입력된 오디오 신호에 대응하는 노래 데이터 정보를 수신하고 가사 데이터 정보를 전송하는 통신부; 및
    상기 통신부를 통해 수신된 노래 데이터 정보로부터 대응하는 곡을 식별하고 식별된 곡에 대응하는 가사 데이터를 포함하는 상기 가사 데이터 정보를 생성하여 상기 통신부로 전달하는 제어부;를 포함하는,
    서버.
11. 제10항에 있어서,
    상기 제어부는 상기 노래 데이터 정보의 오디오 데이터로부터 음성 데이터와 멜로디 데이터를 분리하고 분리된 음성 데이터와 분리된 멜로디 데이터를 이용하여 상기 곡을 식별하는,
    서버.
12. 제11항에 있어서,
    곡 DB와 가사 DB를 포함하는 저장부;를 더 포함하며,
    상기 제어부는 분리된 멜로디 데이터와 상기 곡 DB에 저장된 멜로디 정보의 비교로 복수의 곡을 선택하고 상기 분리된 음성 데이터로부터 인식되는 가사와 상기 선택된 복수의 곡에 대한 상기 가사 DB에 저장된 가사의 비교로 하나 이상의 곡을 결정하는,
    서버.
13. 제10항에 있어서,
    곡 DB와 가사 DB를 포함하는 저장부;를 더 포함하며,
    상기 제어부는 식별된 곡에 대응하는 복수의 소절 데이터 및 소절 데이터 각각의 시간 정보를 상기 가사 DB로부터 추출하고 복수의 소절 데이터 중 상기 노래 데이터 정보의 오디오 데이터와 매칭되는 소절 데이터를 결정하며,
    상기 제어부는 추출된 복수의 소절 데이터와 소절 데이터 각각의 시간 정보와 매칭되는 소절 데이터를 나타내는 정보를 포함하는 가사 데이터 정보를 생성하는,
    서버.
14. 노래 가사 자동 디스플레이 시스템으로서,
    제10항에 따른 서버;를 포함하는,
    노래 가사 자동 디스플레이 시스템.
15. 제14항에 있어서,
    상기 서버에 연결된 개인용 장치;를 더 포함하며,
    상기 개인용 장치는 상기 가사 데이터 정보를 수신하기 위한 통신부; 및 상기 가사 데이터 정보의 가사 데이터를 출력하는 출력부;를 포함하는,
    노래 가사 자동 디스플레이 시스템.
16. 제15항에 있어서,
    상기 개인용 장치는 상기 출력부를 제어하는 제어부;를 더 포함하며,
    상기 개인용 장치의 제어부는 상기 가사 데이터 정보에 포함되는 복수의 소절 데이터 중 하나 이상의 소절 데이터를 나타내고 상기 하나 이상의 소절 데이터 중에서 결정되는 소절 데이터를 강조하기 위한 이미지 데이터를 상기 출력부로 전달하는,
    노래 가사 자동 디스플레이 시스템.
17. 제16항에 있어서,
    상기 개인용 장치는 데이터를 저장하기 위한 저장부; 및 마이크로부터 오디오 신호를 수신하기 위한 오디오 수신부;를 더 포함하며,
    상기 개인용 장치의 제어부는 상기 오디오 신호를 수신한 시각을 상기 저장부에 저장하고 상기 통신부를 통해 수신된 가사 데이터 정보의 수신 시각과 상기 저장부에 저장된 시각과의 차이를 이용하여 강조될 소절 데이터를 결정하는,
    노래 가사 자동 디스플레이 시스템.
18. 제17항에 있어서,
    상기 오디오 수신부는 마이크로부터 수신된 오디오 신호를 디지털의 오디오 신호로 변환하고,
    상기 개인용 장치의 제어부는 변환된 디지털의 오디오 신호로부터 오디오 데이터를 생성하고 생성된 오디오 데이터를 포함하는 노래 데이터 정보를 상기 통신부로 전달하여 상기 노래 데이터 정보가 상기 서버로 전송되도록 하며,
    상기 오디오 데이터는 곡의 한 소절을 나타내는 데이터이거나 일정한 시간 동안에 상기 오디오 수신부를 통해 수신된 데이터이고,
    상기 노래 데이터 정보는 반복적으로 전송되는,
    노래 가사 자동 디스플레이 시스템.

Images