KR101100191B1 - 멀티미디어 재생장치와 이를 이용한 멀티미디어 자료검색방법 - Google Patents

Abstract

본 발명은 멀티미디어 재생장치와 이를 이용한 멀티미디어 자료검색 방법에 관한 것이다. 본 발명은 입력 음성의 패턴 모델이 저장된 음성정보데이터베이스와; 입력 음성의 노이즈를 제거하여 음성을 추출하는 오디오 후처리부와; 상기 추출된 음성과 가장 유사한 음성패턴을 상기 음성정보데이터베이스로부터 검출하고, 검출된 음성패턴에 해당하는 텍스트 형태의 자막을 생성하는 음성인식 프로세서를; 포함하는 것을 특징으로 하는 멀티미디어 재생장치를 제공한다. 또한 상기 멀티미디어 재생장치에서 자막 파일을 이용한 멀티미디어 자료 검색 방법을 제공한다. 본 발명에 의하면, 입력 멀티미디어로부터 자동으로 자막을 생성하여 자막을 이용해 시청하거나, 자막을 저장하여 이를 이용하여 정확한 정보를 검색할 수 있다.

음성인식, 자막

Description

멀티미디어 재생장치와 이를 이용한 멀티미디어 자료검색 방법{A multimedia player and the multimedia-data search way using the player}

도1은 저장매체를 포함하지 않는 멀티미디어 재생장치에서의 자막파일 생성과정을 나타낸 흐름도.

도2는 고정용 저장매체를 포함한 멀티미디어 재생장치에서의 자막파일 생성과정을 나타낸 흐름도.

도3은 휴대용 저장매체를 포함한 멀티미디어 재생장치에서의 자막파일 생성과정을 나타낸 흐름도.

도4는 본 발명의 따른 자막파일을 이용한 멀티미디어 자료 검색방법의 실시예를 나타낸 흐름도.

도5는 본 발명의 따른 자막파일을 이용한 멀티미디어 자료 검색방법의 다른 실시예를 나타낸 흐름도.

<도면의 주요부분에 대한 부호의 설명>

10 : 수신 스트림 디코더 20 : 메모리부

30 : 비디오 디스플레이 처리부 40 : 오디오 디스플레이 처리부

50 : 음성정보데이터베이스 60 : 오디오 후처리부

70 : 음성인식프로세서 75 : 타이밍 정보 처리부

80 : 디스플레이부 100 : 하드디스크

150 : 메모리 카드 200 : 타 단말기

본 발명은 멀티미디어 재생장치와 이를 이용한 멀티미디어 자료검색 방법에 관한 것으로서, 보다 상세하게는 입력된 음성 정보로부터 음성인식 기술을 이용하여 자막을 생성하고 저장하여 이를 기반으로 음성 검색이 가능한 멀티미디어 재생장치 및 이를 이용한 멀티미디어 자료검색 방법에 관한 것이다.

음성 인식이란 구체적으로 음성 파형을 입력하여 단어나 단어열을 식별하고 의미를 추출하는 처리과정이다. 음성인식은 넒은 의미로는 음성분석,음소인식,단어인식,문장해석,의미추출의 5가지를 포함하는 의미이고, 좁은 의미로는 음성분석에서 단어인식까지를 포함한다. 이와 같이 음성인식은 인간과 기계 사이의 인터페이스 개선의 하나로서, 정보를 음성으로 입력하는데 사용되는 음성인식과 음성으로부터 정보를 출력하는 음성합성기술의 연구개발이 장기간 진행되어 왔다.

과거에 대형장치를 필요로 하였던 음성 인식 장치와 음성 합성 장치가 반도체 및 컴퓨터 응용기술 등의 급속한 발전과 더불어 현재는 비교적 용이하게 구현이 가능해져서 이를 실현할 수 있게 됨으로써 음성 입출력 장치가 실용화되었다. 현재 상기의 음성인식 기술은 전화에 의한 은행 잔고 조회, 증권 시세 조회, 통신 판매의 신청, 신용 카드 조회, 호텔이나 항공기 좌석예약 등에 사용되고 있다. 그러나, 이는 단순히 화자(話者)인식을 위해 사용되거나, 연속어 또는 문장을 인식하지 못하고 단어만을 인식하는 것이 대부분이다. 특히 디지털 텔레비전과 같은 PVR(Personal Video Recorder)계열의 멀티미디어 재생장치에서 디스플레이 정보에 대해 음성인식 기술을 이용하여 자막을 자동으로 생성하고, 이를 응용하는 기술에 적용되지 않았다.

종래 방송 스트림에 자막 정보를 비디오 및 오디오 신호와 함께 송신하는 경우도 있지만, 상기의 음성 인식 기술을 방송 스트림 수신 장치에 사용하여 인지한 음성을 자막으로 제공하지는 못하였다.

따라서, 상기의 수신 장치를 가진 멀티미디어 재생장치에서 검색 기능은 자막 데이터를 기반으로 하지 못하고, 비디오 신호를 기반으로 하였다. 즉, 단순히 비디오 신호를 이용해 검색하거나 타임 쉬프팅 기능을 지원하기 위해서는 디코딩된 비디오 신호 정보만을 이용해 추출된 정보를 인덱스화하고 상기 인덱스만을 이용해 검색하였다. 따라서, 검색 결과의 정확성도 떨어지는 문제점이 있었다.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 자막 신호가 없는 방송 수신 정보에서 자막을 생성하고 이를 표출할 수 있는 멀티미디어 재생장치를 제공하는 것이다.

본 발명의 다른 목적은 상기의 멀티미디어 재생장치에서 자막 정보를 저장한 파일을 기반으로 자료 검색이 가능하고 검색 결과의 정확성을 높이는 멀티미디어 재생장치 및 방법을 제공하는 것이다.

상기 목적을 달성하기 위하여, 본 발명은 입력 음성의 패턴 모델이 저장된 음성정보데이터베이스와; 입력 음성의 노이즈를 제거하여 음성을 추출하는 오디오 후처리부와; 상기 추출된 음성과 가장 유사한 음성패턴을 상기 음성정보데이터베이스로부터 검출하고, 검출된 음성패턴에 해당하는 텍스트 형태의 자막을 생성하는 음성인식 프로세서를; 포함하는 것을 특징으로 하는 멀티미디어 재생장치를 제공한다.

상기의 음성인식프로세서는 검출된 음성패턴과 비디오 정보를 참조하여 자막을 생성하는 것이 바람직하다. 상기 자료저장 매체는 고정용 기억장치 또는 휴대용 보조기억장치 중 적어도 하나 이상인 것이 바람직하다.

본 발명의 다른 목적을 달성하기 위하여, 저장매체를 구비한 멀티미디어 재생장치에서 자료를 검색하는 방법으로서, 수신된 음성 신호에 해당하는 텍스트 형태의 자막파일을 생성하고, 이때의 타이밍 정보와 함께 상기의 자막파일을 상기 저장매체에 저장하는 단계와; 사용자로부터 검색 키워드를 입력받는 단계와; 상기 저장매체에 저장된 자막 파일로부터 입력 키워드를 검색하는 단계와; 검색된 자막의 타이밍 정보를 추출하는 단계와; 추출된 타이밍에 해당하는 비디오 또는 오디오 자료를 추출하는 단계와; 비디오 또는 오디오 또는 자막의 어느 하나 이상을 디스플레이하는 단계를; 포함하여 이루어지는 것을 특징으로 하는 멀티미디어 재생장치의 자막 파일을 이용한 멀티미디어 자료 검색 방법을 제공한다.

수신된 신호에 자막정보가 포함되어 있는 경우이면 이 자막 정보를 텍스트 형태의 자막파일로 생성하는 것이 가능하다.

상기의 추출된 타이밍에 해당하는 비디오 또는 오디오 자료를 추출하는 단계를 거친 후 상기의 자료가 사용자가 원하는 자료인지 판단하는 단계를 거치는 것이 가능하고, 상기의 검색 키워드를 입력 방법은 음성을 이용한 입력인 것이 바람직하다.

도1을 참조하여 본 발명에 따른 디지털 멀티미디어 재생장치를 설명하면 다음과 같다.

도1은 고정용 또는 휴대용 저장 매체를 포함하지 않는 멀티미디어 재생장치에서 자막 생성의 실시예를 보인 것이다. 멀티미디어 재생장치가 텔레비전인 경우 수신 스트림 디코더(10),메모리부(20),비디오 디스플레이 처리부(30), 오디오 디스플레이 처리부(40), 음성정보데이터베이스(50), 오디오 후처리부(60),음성인식프로세서(70),디스플레이부(80)으로 구성된다.

수신 스트림 디코더(10)는 수신된 방송 스트림으로부터 오디오와 비디오 방송 스트림을 분리하여 각각 디코딩하는 부분이다. 수신된 방송 스트림은 아날로그 방송 스트림, 디지털 방송 스트림의 모든 경우를 포함한다. 상기 수신 스트림 디코더(10)에서 디코딩된 비디오 및 오디오 정보는 일단 메모리부(20)에 저장된다.

비디오 디코딩 스트림의 경우 비디오 디스플레이 처리부(30)에서 영상화면이 표출될 수 있도록 처리된 후 디스플레이부(80)로 전송된다. 오디오 디코딩 스트림의 경우 오디오 디스플레이 처리부(40)에서 가청 오디오 신호로 처리된 후 디스플레이부(80)로 전송된다. 디스플레이부(80)로 전송된 상기 오디오 신호는 다양한 음 향으로부터 음성 신호를 추출해 내기 위해 오디오 후처리부(60)로 보내진다. 음성 통신환경은 음성인식에 중요한 영향을 끼칠 수 있는데, 예를 들어, 전화 음성과 같이 주파수 대역폭이 제한되거나, 배경 잡음이 심한 경우는 음향 노이즈가 많이 포함되어 있다. 따라서, 오디오 후처리부(60)에서 음향의 노이즈를 제거하여 음성만을 추출하는 과정을 거친다. 오디오 후처리부(60)에서 추출된 음성은 음성인식 프로세서(70)로 출력된다.

음성인식프로세서(70)가 음성을 인식하여 자막을 생성하기 위해서는 단어만을 인식하는 경우와는 달리 연속어 또는 문장을 인식해야 한다. 어떤 단어 뒤에 다른 어떤 말을 할지 예상하기 힘들고 발성이 어디서 끝나고 어디서 문장의 끝인지를 알 수 없기 때문에 복잡한 문법규칙과 이의 변용에 대응하기 위해 음성정보데이터베이스(50)의 저장정보를 이용한다. 사람의 말을 인식하는 과정은 일종의 패턴인식 과정이므로 음성정보데이터베이스(50)에서는 발성하는 특정 단어의 신호가 패턴화되어 데이터베이스에 저장되어 있다. 그래서, 음성인식프로세서(70)에 새로운 음성이 입력되면 입력된 음성이 저장되어 있는 패턴들 중 어느 것과 가장 유사한지를 판단할 수 있게 한다.

음성인식프로세서(70)에서 음성을 추출해 내기 위해서 음성인식처리 알고리즘을 사용한다. 상기 알고리즘 중 하나는 사람의 입모양을 인식해서 그때의 음성을 보다 정확하게 인식한다. 따라서 음성 인식을 정확하게 하기 위한 정보가 비디오 디스플레이 처리부(30)에서 음성인식프로세서(70)로 보내진다. 상기의 알고리즘에 따라 미리 저장되어 있는 음성정보데이터베이스(50)로부터 가장 유사한 음성 패턴 을 검색하고 비디오 정보를 참조하여 음성을 텍스트로 변환한 후 이를 자막으로 디스플레이부(80)로 전송한다. 만일, 입력 스트림이 자막 정보를 이미 포함하고 있는 경우에는 음성인식을 위한 오디오 후처리부(60) 및 음성인식프로세서(70)를 거치지 않고 바이패스한다.

도2는 고정용 저장 매체를 포함하는 멀티미디어 재생장치에서 자막 생성의 실시예를 보인 것이다. 고정용 저장 매체로는 대용량의 멀티미디어를 저장할 수 있는 하드디스크가 바람직하다. 고정용 저장매체를 포함하는 멀티미디어 재생장치는 PVR(Personal Video Recorder)계열의 재생장치가 가능하고, 디지털 녹화기(DVR), 개인용 텔레비전 수신기(PTR), 개인용 비디오 스테이션(PVS)등이 가능하며, 하드디스크를 포함하고 있는 디지털 텔레비전도 가능하다.

도2의 음성인식에 의한 자막을 생성하는 과정은 도1의 경우와 같다. 다만, 본 실시예의 경우에는 상기 도1의 실시예에서 생성된 자막이 파일의 형태로 하드 디스크(100)에 저장된다. 그리고 후에 사용자가 녹화된 스트림을 재생하는 것을 원할때 이 자막 파일로부터 읽어 온 자막을 디스플레이하기 위해서 디스플레이하는 시간 정보가 필요하다. 따라서, 자막 파일의 재생 시간에 관한 정보를 부가하기 위해 타이밍 정보 처리부(75)에 의해 음성이 스피커로 출력되기 직전에 음성을 감지하고 언제 디스플레이해야 하는지에 관한 타이밍 정보도 파일로 저장된다. 상기 타이밍 정보는 자막에 해당하는 비디오 및 오디오가 언제 디스플레이되어야 하는지에 대한 정보가 된다. 만일 입력 스트림으로부터 자막이 포함되어 전송된다면 그 자막 정보를 파일의 형태로 저장할 수 있다.

도3는 휴대용 저장 매체(150)를 포함하는 멀티미디어 재생장치에서 자막 생성의 실시예를 보인 것이다. 휴대용 저장 매체(150)는 대용량이면서 이동성이 좋은 저장 매체로서 메모리 카드가 바람직하다. 따라서, 메모리 카드를 상기의 장치에서 분리하여 타 단말기에 연결할 경우, 음성인식 기능이 없는 PDA(Personal Digital Assistants)와 같은 휴대용 개인 정보 단말기나, DMB(Digital Multimedia Broadcasting) 수신기등 타 단말기(200)로도 비디오 및 오디오 스트림과 함께 자막 정보를 제공할 수 있다.

도4를 참조하여 본 발명에 따른 멀티미디어 재생장치의 자막 파일을 이용한 멀티미디어 자료 검색 방법을 설명하면 다음과 같다. 수신 신호에 자막정보가 포함되어 있는지 여부를 판단하고(단계 370), 자막정보가 포함되어 있으면 자막정보를 자막파일로 생성해서 저장한다(단계 380). 만약 수신 신호에 자막정보를 포함하고 있지 않은 경우 음성 신호를 상기 음성인식프로세서에서 자막파일로 생성하고 이를 파일로 저장한다(단계 390). 자료 검색 방법은 사용자가 검색 키워드를 입력하면(단계 400), 입력된 키워드를 상기의 자막 파일로부터 검색한다. 이때 키워드가 문자이면 그대로, 음성이면 텍스트로 변환하여 검색에 이용한다(단계 410). 검색 후 검색된 자막에 해당하는 타이밍 정보를 추출하고(단계 420), 추출된 타이밍에 해당하는 비디오 및 오디오를 추출한다(단계 430). 상기의 추출한 정보는 사용자가 원하는 형태로 비디오 또는 오디오 또는 자막 중 하나 이상이 디스플레이된다(단계 460).

예를 들어, 자막정보를 포함하고 있지 않은 뉴스를 녹화한 경우에 아나운서 가 말하는 내용을 모두 자막으로 변환하고 해당 타이밍 정보를 부가하여 파일로 저장한다. 이후 사용자가 녹화된 뉴스를 시청하고자 할때, 관심있는 텍스트를 사용자로부터 입력받게 된다. 본 발명에 따른 멀티미디어 재생장치는 음성을 추출하는 오디오 후처리부(60)를 포함하고 있으므로 입력 방법은 사용자의 음성에 의한 입력이 바람직하다. 사용자가 만약 "날씨"라는 단어가 들어가는 뉴스에 관심이 있어서 이 뉴스만을 추출하여 듣고 싶다면 사용자는 "날씨"라고 텔레비전를 향하여 말한다. 텔레비전의 음성 인식부는 "날씨"라는 소리를 음성 인식으로 추출하여 이를 텍스트로 변환하고 이를 자막 파일에서 검색하게 된다. 검색된 자막 파일은 타이밍 정보를 포함하고 있으므로 "날씨"라는 단어가 들어 있는 비디오 및 오디오의 위치들을 추출할 수 있다. 따라서 그 위치에 해당하는 비디오 정보를 하드디스크에 녹화된 스트림으로부터 검색하여 이를 화면에 보여줄 수 있다. 이때 사용자의 요구에 따라 스트림 전체에서 "날씨"라는 단어가 들어가는 비디오를 모두 검색하여 썸네일(thumbnail)의 형태로 디스플레이한 후 사용자가 이중에서 선택하게 할 수도 있고, 또는 처음으로 검색된 시점부터 바로 디스플레이하도록 할 수도 있을 것이다. 이와 같은 과정에 의해서 사용자는 매우 간편하게 원하는 뉴스 정보를 얻을 수 있다.

현재 하드 디스크를 기반으로 하는 많은 텔레비전 수신기에서는 비디오를 디코딩할때 여러 정보를 추출하여 이를 이용하여 부가기능을 제공할 수 있도록 하고 있다. 따라서 상기와 같은 멀티미디어 재생장치에 있어서, 사용자가 요청한 음성 정보로부터 해당하는 자막과 이에 대응하는 비디오를 찾아서 비디오 정보로부터 추출된 여러 정보를 이용하면 보다 더 정확하게 해당 장면을 찾아낼 수 있다. 도5는 상기와 같은 멀티미디어 재생장치에서 보다 정확한 검색이 가능한 검색 방법의 실시예를 나타내었다. 본 실시예는 도4에서 보인 실시예와 동일하나, 추출된 비디오가 사용자가 원하는 정보인지 판단하는 단계(단계 440)를 포함한다.

예를 들어, 비디오를 디코딩할 때 장면 전환 부분을 찾아서 인덱스 파일로 만들어 놓을 수가 있다. 사용자로부터 "날씨"라는 말이 입력되고 자막 파일에서 이에 해당하는 타이밍과 일치하는 비디오 장면들을 검색한다. 이때는 실제 날씨 뉴스 뿐만 아니라 날씨 뉴스와는 상관없는 예컨데,"추운 날씨에도 불구하고 군인들이 경계를 잘 서고 있다"라는 기자의 말이 있는 비디오 장면도 검색될 수도 있다. 상기의 예처럼 추출된 장면이 사용자가 원하지 않는 검색 장면인 경우에는 추출된 비디오 및 오디오 정보를 무시한다(단계 450). 그리고 다시 검색어와 동일한 키워드를 갖는 다른 화면의 타이밍 정보를 추출하는 단계(단계 420)로 되돌아 간다. 사용자가 검색을 원하는 장면일 경우에는 도4의 실시예와 같이 상기 장면을 디스플레이한다(단계 460).

따라서 이때 비디오 인덱스 파일로부터 실제 장면이 전환되는 부분으로 판단한 비디오 위치와 자막으로부터 검색된 타이밍과 일치하는 비디오를 디스플레이하면 사용자에게 보다 정확한 비디오 검색결과를 제공할 수 있다.

본 발명에 의한 기술적 사상은 상기의 텔레비전등의 장치에만 국한하지 않고, 상기의 기술적 사상이 채용될 수 있는 어떤 재생장치에서 실시될 수 있고, 이와 같은 실시예는 본 발명의 청구범위안에 속한다고 해야 할 것이다.

상기에서 설명한 본 발명에 따른 음성 인식 기능을 가진 디지털 멀티미디어 재생장치의 효과를 설명하면 다음과 같다.

첫째, 본 발명에 의하면 입력 비디오와 오디오 스트림으로부터 자동으로 자막을 생성하여 디스플레이 할 수 있다. 따라서, 청각 장애자 또는 어학 학습자들을 위해 편리하게 사용될 수 있다.

둘째, 하드디스크와 같은 대용량 저장 장치를 가지고 있는 멀티미디어 재생장치에서는 자동으로 생성된 자막 파일에 타이밍 정보를 부가하여 저장하고, 이를 비디오 검색 등을 위해서 사용할 수 있다. 이 경우에 비디오 정보만을 이용할 때보다 더 편리하고 정확하게 장면을 검색할 수 있다.

셋째, 자막 파일을 이동형 저장 매체에 저장하면 타 단말기에도 자막이 있는 비디오 및 오디오를 즐길 수 있다

Claims (9)

1. 음성 패턴이 저장된 음성정보데이터베이스;

   입력 음성의 노이즈를 제거하여 음성을 추출하는 오디오 후처리부;

   비디오 신호에서 음성 인식을 위한 비디오 정보를 추출하는 비디오 디스플레이 처리부; 및

   상기 추출된 음성에 대응되는 음성 패턴을 상기 음성정보데이터베이스로부터 검출하고 상기 추출된 비디오 정보를 참조하여 음성을 인식하고, 텍스트 형태의 자막을 생성하는 음성인식 프로세서

   를 포함하는 멀티미디어 재생장치.
2. 삭제
3. 제 1항에 있어서,

   상기의 음성인식프로세서에서 생성된 음성의 자막을 파일 형태로 저장하는 자료저장 매체; 및

   생성된 자막의 표출 시간 정보를 가진 타이밍 정보 처리부

   를 더 포함하는 멀티미디어 재생장치.
4. 제 3항에 있어서,

   상기 자료저장 매체는 고정용 기억장치 또는 휴대용 보조기억장치중 적어도 하나이상인 것을 특징으로 하는 멀티미디어 재생장치.
5. 수신된 음성 신호에 대해 음성 패턴과 음성 인식을 위한 비디오 정보를 이용하여 텍스트 형태의 자막파일을 생성하는 단계;

   상기의 자막파일과 함께 해당 타이밍 정보를 저장매체에 저장하는 단계;

   사용자로부터 검색 키워드를 입력받는 단계;

   상기 저장매체에 저장된 자막 파일로부터 입력 키워드를 검색하는 단계;

   검색된 자막의 타이밍 정보를 추출하는 단계; 및

   추출된 타이밍에 해당하는 비디오 또는 오디오 자료를 추출하는 단계

   를 포함하는 멀티미디어 자료 검색 방법.
6. 삭제
7. 제 5항에 있어서,

   상기 추출된 자료가 사용자가 원하는 자료인지 판단하는 단계; 및

   사용자가 원하지 않는 자료인 경우, 상기 추출된 자료를 무시하고 다음 타이밍 정보를 추출하는 단계

   를 더 포함하는 멀티미디어 자료 검색 방법.
8. 제 5항에 있어서,

   입력된 검색 키워드가 음성이면 텍스트로 변환하여 검색에 이용하는 멀티미디어 자료 검색 방법.
9. 삭제

Images