KR20080075266A - 음성 데이터를 이용하여 멀티미디어 데이터 파일의 인덱싱정보를 생성하는 시스템 및 방법과 멀티미디어 데이터파일의 인덱싱 정보를 검색하는 시스템 및 방법 - Google Patents

음성 데이터를 이용하여 멀티미디어 데이터 파일의 인덱싱정보를 생성하는 시스템 및 방법과 멀티미디어 데이터파일의 인덱싱 정보를 검색하는 시스템 및 방법 Download PDF

Info

Publication number
KR20080075266A
KR20080075266A KR1020070014192A KR20070014192A KR20080075266A KR 20080075266 A KR20080075266 A KR 20080075266A KR 1020070014192 A KR1020070014192 A KR 1020070014192A KR 20070014192 A KR20070014192 A KR 20070014192A KR 20080075266 A KR20080075266 A KR 20080075266A
Authority
KR
South Korea
Prior art keywords
data
data file
multimedia data
indexing
voice
Prior art date
Application number
KR1020070014192A
Other languages
English (en)
Other versions
KR100929688B1 (ko
Inventor
김용화
Original Assignee
주식회사 이지씨앤씨
김용화
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이지씨앤씨, 김용화 filed Critical 주식회사 이지씨앤씨
Priority to KR1020070014192A priority Critical patent/KR100929688B1/ko
Priority to PCT/KR2008/000725 priority patent/WO2008100037A1/en
Publication of KR20080075266A publication Critical patent/KR20080075266A/ko
Application granted granted Critical
Publication of KR100929688B1 publication Critical patent/KR100929688B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/40—Data acquisition and logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G06F16/745—Browsing; Visualisation therefor the internal structure of a single video sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/685—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using automatically derived transcript of audio data, e.g. lyrics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명의 음성 데이터를 이용하여 멀티미디어 데이터 파일의 인덱싱 정보를 생성하는 시스템은, 멀티미디어 데이터 파일 제공자가 웹을 통해 등록하는 멀티미디어 데이터 파일에 음성 데이터가 포함되어 있는지를 판단하여, 멀티미디어 데이터 파일에 음성 데이터가 포함되어 있으면, 음성 데이터를 추출하는 음성 데이터 추출부; 상기 추출된 음성 데이터를 텍스트 데이터로 변환하는 데이터 변환부; 상기 텍스트 데이터와 해당 텍스트 데이터 구문의 시간정보 데이터를 조합하여 초기 데이터를 생성하는 초기 데이터 생성부; 상기 초기 데이터에서 소정의 데이터를 선택하고, 소정의 데이터 선택이 끝났는지를 판단하여, 소정의 데이터 선택이 끝났으면, 선택한 소정의 데이터의 시간정보 데이터와 음성의 텍스트 데이터의 조합에 식별코드를 부여하는 식별코드 부여부; 상기 선택한 소정의 데이터의 시간정보 데이터와 음성의 텍스트 데이터의 조합 및 식별코드를 멀티미디어 데이터 파일의 메타 데이터에 기록하는 기록부; 및 상기 멀티미디어 데이터 파일을 데이터베이스에 저장하는 저장부;를 포함한다.
음성 데이터, 텍스트 데이터, 멀티미디어 데이터 파일, 인덱싱 정보

Description

음성 데이터를 이용하여 멀티미디어 데이터 파일의 인덱싱 정보를 생성하는 시스템 및 방법과 멀티미디어 데이터 파일의 인덱싱 정보를 검색하는 시스템 및 방법{The system and method for generating indexing information of multimedia data file using vocal data and retrieving indexing information of multimedia data file}
도 1은 본 발명의 음성 데이터를 이용하여 멀티미디어 데이터 파일의 인덱싱 정보를 생성하는 시스템의 구성도이다.
도 2는 본 발명의 멀티미디어 데이터 파일로부터 음성 데이터를 추출하고 이를 텍스트 데이터로 변환하는 방법을 나타낸 도면이다.
도 3은 본 발명의 멀티미디어 데이터 파일에서 추출된 음성 텍스트 데이터와 시간정보 데이터의 싱크를 맞추어 초기의 데이터를 추출하는 방법을 나타낸 도면이다.
도 4a 내지 도 4c는 본 발명의 소정의 데이터에 식별코드를 부여하는 방법을 나타낸 도면이다.
도 5는 본 발명의 시간정보 데이터 및 음성 텍스트 데이터와 이에 부여한 식별코드의 조합을 멀티미디어 데이터 파일의 메타데이터에 추가하는 과정을 나타낸 도면이다.
도 6a는 본 발명의 음성 데이터를 이용하여 멀티미디어 데이터 파일의 인덱싱 정보를 검색하는 시스템의 구성도이다.
도 6b는 도 6a의 검색 및 인덱싱 구문 선택부의 구성도이다.
도 7은 본 발명의 멀티미디어 데이터 파일의 사용자 단말기와 웹 서버 및 시스템 서버와의 동작과정을 나타낸 도면이다.
도 8a는 본 발명의 멀티미디어 데이터 파일 검색 방법 중에서 인덱싱 정보 목록을 통한 검색방법에 대한 사용자 인터페이스 수단을 나타낸 도면이다.
도 8b는 본 발명의 멀티미디어 데이터 파일 검색 방법 중에서 단어 또는 구절 검색을 통한 검색방법에 대한 사용자 인터페이스 수단을 나타낸 도면이다.
도 9는 본 발명의 멀티미디어 데이터 파일의 인덱싱 정보를 생성하는 방법을 나타낸 흐름도이다.
도 10은 본 발명의 멀티미디어 데이터 파일의 인덱싱 정보를 검색하는 방법을 나타낸 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
100 : 멀티미디어 데이터 파일의 인덱싱 정보를 생성하는 시스템
110 : 음성 데이터 추출부 120 : 데이터 변환부
130 : 초기 데이터 생성부 140 : 식별코드 부여부
150 : 기록부 160 : 저장부
500 : 멀티미디어 데이터 파일의 인덱싱 정보를 검색하는 시스템
510 : 인덱싱 정보 목록 수신부 520 : 검색 및 인덱싱 구문 선택부
521 : 검색 인식부 522 : 이동부
523 : 검색부 524 : 인덱싱 구문 선택부
530 : 식별코드 전송부 540 : 시간정보 전송부
550 : 영상 재생부 601 : 웹 서버
602 : 스트리밍 서버 603, 604 : 사용자 단말기
701 : 사용자 인터페이스 수단 702 : 재생부
703 : 검색부 711 : 사용자 인터페이스 수단
712 : 재생부 713 : 검색부
본 발명은 음성 데이터를 이용하여 멀티미디어 데이터 파일의 인덱싱 정보를 생성하는 시스템 및 방법과 멀티미디어 데이터 파일의 인덱싱 정보를 검색하는 시스템 및 방법에 관한 것으로, 특히 음성 데이터를 이용하여 멀티미디어 데이터 파일의 인덱싱 정보를 생성하고, 생성된 인덱싱 정보를 이용하여 멀티미디어 데이터 파일 사용자가 찾고자 하는 내용을 검색할 수 있게 하는 시스템 및 방법에 관한 것이다.
현재까지는, 멀티미디어 데이터에 대한 수요의 증가와 더불어, 다양한 미디어 플레이어들이 등장하고 스트리밍 서비스가 급속히 확산되어 왔다. 실시간 라이브 영상 외에도 VOD(Video on Demand)에 대한 이용자의 수도 많아지고 있다. 대부 분의 VOD 및 멀티미디어 데이터 파일들은 음성 및 영상 위주로 이루어져 있기 때문에, 멀티미디어 데이터 파일의 정보를 파악하기 위해서는 멀티미디어 데이터 파일의 제목이나 웹 페이지를 통해 제공되는 제한된 내용의 소개에만 의존해 왔으며, 제한된 정보조차 제공되지 않는 경우에는 멀티미디어 데이터 파일을 직접 시청해야만 했다.
또한, 멀티미디어 데이터 파일의 전반적인 내용을 알기 위해서는, 해당 멀티미디어 데이터 파일의 전 부분에 대하여 시청해야 하고, 중요한 내용만을 검색하여 본다는 것은 매우 어려운 실정이다. 멀티미디어 데이터 파일 사용자가 임의의 일부분만 선택하여 보는 경우에는 멀티미디어 데이터 파일의 내용을 정확히 인지하기 어렵다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로써, 음성 데이터를 기반으로 하여 멀티미디어 데이터 파일의 중요한 부분에 대한 인덱싱 정보를 생성하여 사용자가 멀티미디어 데이터 파일 내에서 필요한 정보만을 신속히 검색하여 이용할 수 있게 하는 시스템 및 방법을 제공하는 것을 목적으로 한다.
본 발명은 멀티미디어 데이터 파일에 음성 데이터가 포함되어 있는지를 판단하여, 멀티미디어 데이터 파일에 음성 데이터가 포함되어 있으면, 음성 데이터를 추출하는 음성 데이터 추출부; 추출된 음성 데이터를 텍스트 데이터로 변환하는 데이터 변환부; 텍스트 데이터와 해당 텍스트 데이터의 구문의 시간정보 데이터를 조 합하여 초기 데이터를 생성하는 초기 데이터 생성부; 초기 데이터에서 소정의 데이터를 선택하고, 소정의 데이터 선택이 끝났는지를 판단하여, 소정의 데이터 선택이 끝났으면, 선택한 소정의 데이터의 시간정보 데이터와 음성의 텍스트 데이터의 조합에 식별코드를 부여하는 식별코드 부여부; 선택한 소정의 데이터의 시간정보 데이터와 음성의 텍스트 데이터의 조합 및 식별코드를 멀티미디어 데이터 파일의 메타데이터에 기록하는 기록부; 및 멀티미디어 데이터 파일을 데이터베이스에 저장하는 저장부;를 포함하는 음성 데이터를 이용하여 멀티미디어 데이터 파일의 인덱싱 정보를 생성하는 시스템을 제시한다.
또한, 본 발명은 음성 데이터 추출부가 멀티미디어 데이터 파일 제공자가 웹을 통해 등록하는 멀티미디어 데이터 파일에 음성 데이터가 포함되어 있는지를 판단하여, 멀티미디어 데이터 파일에 음성 데이터가 포함되어 있으면, 음성 데이터를 추출하는 제1단계; 데이터 변환부가 추출된 음성 데이터를 텍스트 데이터로 변환하는 제2단계; 초기 데이터 생성부가 텍스트 데이터와 해당 텍스트 데이터의 구문의 시간정보 데이터를 조합하여 초기 데이터를 생성하는 제3단계; 식별코드 부여부가 초기 데이터에서 소정의 데이터를 선택하고, 소정의 데이터 선택이 끝났는지를 판단하여, 소정의 데이터 선택이 끝났으면, 선택한 소정의 데이터의 시간정보 데이터와 음성의 텍스트 데이터의 조합에 식별코드를 부여하는 제4단계; 기록부가 선택한 소정의 데이터의 시간정보 데이터와 음성의 텍스트 데이터의 조합 및 식별코드를 멀티미디어 데이터 파일의 메타데이터에 기록하는 제5단계; 및 저장부가 멀티미디어 데이터 파일의 메타데이터를 웹 서버를 통해 데이터베이스에 저장하는 제6단계; 를 포함하는 음성 데이터를 이용하여 멀티미디어 데이터 파일의 인덱싱 정보를 생성하는 방법을 제시한다.
또한, 본 발명은 멀티미디어 데이터 파일에서 해당 멀티미디어 데이터 파일의 소정의 부분에 대한 인덱싱 정보 목록을 수신하는 인덱싱 정보 목록 수신부; 멀티미디어 데이터 파일의 인덱싱 정보 목록을 통해 특정한 시점의 영상을 검색하였는지를 판단하여, 인덱싱 구문을 선택하는 검색 및 인덱싱 구문 선택부; 인덱싱 구문에 대한 식별코드를 웹 서버로 전송하는 식별코드 전송부; 멀티미디어 데이터 파일의 사용자 단말기에 해당 식별코드가 가리키는 멀티미디어 데이터 파일의 시간정보 데이터를 전송하는 시간정보 전송부; 및 멀티미디어 데이터 파일의 사용자 단말기가 시간정보 데이터를 수신하여 해당 시점의 영상을 재생하는 영상 재생부;를 포함하는 음성 데이터를 이용하여 멀티미디어 데이터 파일의 인덱싱 정보를 검색하는 시스템을 제시한다.
또한, 본 발명은 인덱싱 정보 목록 수신부가 멀티미디어 데이터 파일에서 해당 멀티미디어 데이터 파일의 소정의 부분에 대한 인덱싱 정보 목록을 수신하는 제1단계; 검색 및 인덱싱 구문 선택부가 멀티미디어 데이터 파일의 인덱싱 정보 목록을 통해 특정한 시점의 영상이 검색되는지를 판단하여, 인덱싱 구문을 선택하는 제2단계; 식별코드 전송부가 인덱싱 구문에 대한 식별코드를 웹 서버로 전송하는 제3단계; 시간정보 전송부가 멀티미디어 데이터 파일을 사용하는 사용자 단말기와 시스템 서버에 해당 식별코드가 가리키는 멀티미디어 데이터 파일의 시간정보 데이터를 전송하는 제4단계; 및 영상 재생부가 멀티미디어 데이터 파일을 사용하는 사용 자 단말기에서 시간정보 데이터를 수신하여 해당 시점의 영상을 재생하게 하는 제5단계;를 포함하는 멀티미디어 데이터 파일의 인덱싱 정보를 검색하는 방법을 제시한다.
이하, 본 발명의 실시예를 도면을 통하여 상세히 설명하기로 한다.
도 1은 본 발명의 음성 데이터를 이용하여 멀티미디어 데이터 파일의 인덱싱 정보를 생성하는 시스템의 구성도이다. 도 1에 도시된 바와 같이, 음성 데이터를 이용하여 멀티미디어 데이터 파일의 인덱싱 정보를 생성하는 시스템(100)은, 음성 데이터 추출부(110), 데이터 변환부(120), 초기 데이터 생성부(130), 식별코드 부여부(140), 기록부(150) 및 저장부(160)를 포함한다.
음성 데이터 추출부(110)는 멀티미디어 데이터 파일 제공자가 웹을 통해 등록하는 멀티미디어 데이터 파일에 음성 데이터가 포함되어 있는지를 판단하여, 멀티미디어 데이터 파일에 음성 데이터가 포함되어 있으면, 음성 데이터를 추출한다.
데이터 변환부(120)는 추출된 음성 데이터를 텍스트 데이터로 변환한다.
초기 데이터 생성부(130)는 텍스트 데이터와 해당 텍스트 데이터 구문의 시간정보 데이터를 조합하여 초기 데이터를 생성한다.
식별코드 부여부(140)는 초기 데이터에서 소정의 데이터를 선택하고, 소정의 데이터 선택이 끝났는지를 판단하여, 소정의 데이터 선택이 끝났으면, 선택한 소정의 데이터의 시간정보 데이터와 음성의 텍스트 데이터의 조합에 식별코드를 부여한다. 소정의 데이터는 사용자가 사용자 단말기에서 선택한 부분의 데이터이다.
기록부(150)는 선택한 소정의 데이터의 시간정보 데이터와 음성의 텍스트 데 이터의 조합 및 식별코드를 멀티미디어 데이터 파일의 메타데이터에 기록한다.
저장부(160)는 멀티미디어 데이터 파일을 데이터베이스에 저장한다.
도 2는 본 발명의 멀티미디어 데이터 파일로부터 음성 데이터를 추출하고 이를 텍스트 데이터로 변환하는 방법을 나타낸 도면이다. 도 2에 도시된 바와 같이, 음성 데이터 추출부(110)는 멀티미디어 데이터 파일(102)에 음성 데이터(104)가 포함되어 있는지를 판단하여, 멀티미디어 데이터 파일(102)에 음성 데이터(104)가 포함되어 있으면, 음성 데이터(104)를 시간정보 데이터(105)와 함께 분리하여 추출한다. 그리고, 데이터 변환부(120)는 추출된 음성 데이터(104)를 음성 텍스트 데이터(106)로 변환한다.
도 3은 본 발명의 멀티미디어 데이터 파일에서 추출된 음성 텍스트 데이터와 시간정보 데이터의 싱크를 맞추어 초기의 데이터를 추출하는 방법을 나타낸 도면이다. 도 3에 도시된 바와 같이, 본 발명에서는 멀티미디어 데이터 파일 제공자가 등록하는 멀티미디어 데이터 파일에서 추출 및 변환한 음성 텍스트 데이터와 해당 음성 텍스트 데이터 구문의 시간정보 데이터를 조합하여 초기 데이터를 생성한다. 해당 과정은 하나의 문장 단위(201)로 이루어지고, 시간정보 데이터의 표현형식은 시작시간(202), 종료시간(204) 및 해당 시간 동안의 음성 텍스트 데이터(206)를 포함한다. 시간정보 데이터(202, 203, 204, 205)는 시, 분, 초 형태의 타임 데이터(202, 204)와 SCR(System Clock Referrence) 정보 또는 OCR(Optical Character Reader) 정보(203, 205)를 포함한다. 예를 들어, 해당 문장(206)이“도쿄에서 OOO특파원입니다.”일 경우에 시간정보 데이터는 시작시간 Start = 00:02:50, 00009001(202, 203)에서 종료시간 End = 00:02:55, 00013500(204, 205)까지가 된다.
도 4a 내지 도 4c는 본 발명의 소정의 데이터에 식별코드를 부여하는 방법을 나타낸 도면이다.
각 언어에는 기본 음소, 음절, 알파벳 및 부수 등의 최소 단위가 존재하는데, 이를 기본 단위라 칭한다. 한글에서는 “ㄱ ㄴ ㄷ ㄹ … ㅛ ㅡ ㅣ”등의 음소를 기본 단위로 정하고, 영어에서는 “a b c d e … x y z”등의 알파벳을 기본 단위로 정하며, 중국어에서는 “一 ㅣ … 龍 龜”등의 부수를 기본 단위로 정한다. 기타 각 국의 언어도 해당 언어의 최소 단위에 따라 상기와 동일한 방식으로 기본 단위를 정한다.
그리고, 각 언어의 기본 단위를 순서대로 나열하여 순차적으로 숫자를 지정한다. 숫자의 크기는 8비트이고, 1~255 사이의 십진수 숫자로 지정한다. 예를 들어, 도 4a와 같이“ㄱ ㄴ ㄷ ㄹ … ㅛ ㅡ ㅣ” 의 24개 기본 단위(음소)를 갖는 한글에는 십진수 1~24를 부여하고(301),“a b c d e … x y z”의 26개 기본 단위(알파벳)를 갖는 영어에는 십진수 1~26을 부여하며(302), 214개의 기본 단위(부수)를 갖는 중국어는 “一 ㅣ … 龍 龜”의 부수의 순서대로 십진수 1~214를 부여한다(303).
또한, 선택된 소정의 데이터 문장에는 끊어지는 단위(띄어쓰기가 되는 마디 또는 음절)가 존재하는데, 문장을 구성하는 각 단위(띄어쓰기가 되는 마디 또는 음절) 중에서 12개까지에 대해 각 단위의 첫 글자의 첫 기본 단위(음소, 음절, 알파 벳 또는 부수 등)을 추출한다. 예를 들어, 도 4b와 같이, 한글 문장“도요타 자동차가 개발을 서두르고 있는 음주 운전 방지 차량의 시스템은 이렇습니다.”에서 12개 마디까지 첫 기본 단위(음소)“ㄷ”, “ㅈ”, “ㄱ”, “ㅅ”, “ㅇ”, “ㅇ”, “ㅇ”, “ㅂ”, “ㅊ”, “ㅅ”, “ㅇ”를 추출한다(311).
12개 마디의 각 첫 기본 단위에 해당하는 숫자열을 조합하여 96 비트(12 바이트)의 부분 식별코드를 만든다. 예를 들어, 도 4b과 같이, 한글 부분 식별코드는“ㄷ”에 해당하는 숫자“3”과“ㅈ”에 해당하는 숫자“9”,“ㄱ”에 해당하는 숫자“1”,“ㅅ”에 해당하는 숫자“7,“ㅇ”에 해당하는 숫자“8”,“ㅇ”에 해당하는 숫자“8”,“ㅇ”에 해당하는 숫자“8”,“ㅂ”에 해당하는 숫자“6”,“ㅊ”에 해당하는 숫자“10”을(이하, 생략) 조합한다(312). 문장의 단위(마디 또는 음절)가 12개 미만인 경우에, 공란에는 숫자“0”을 채운다. 그리고, 12개의 첫 음소를 조합하게 되면,“3.9.1.7.8.8.8.6.10.7.8.0”의 96 비트의 부분 식별코드를 만들 수 있다(313).
동일한 방식으로 영어 문장도 상위 12개의 끊어지는 각 단위(마디)에 대해서 첫 글자의 기본 단위(알파벳)를 추출하여 부분 식별코드를 부여하고 검색할 수 있다. 예를 들어,“A network of people or institutions is a large number of them that have a connection with each other and work together as a system.“라는 문장의 첫 음절 “a”, “n”, “o”, “p”, “o”, “i”, “i”, “a”, “l”, “n”, “o”, “t”을 추출한다. 12개의 알파벳에 해당하는 숫자를 조합하면,“1.14.15.16.15.9.9.1.12.124.15.20”의 96 비트의 부분 식별코드를 만들 수 있다.
동일한 방식으로 중국어 문장의 부분 식별코드는 다음과 같이 생성된다. 예를 들어,“學和老師這麻 熱情地歡送我們”라는 문장의 첫 음절“學”은 아들 자(子) 부수가 39번째이므로 숫자 “39”를 부여하며, “和”는 입 구(口) 부수가 30번째이므로 숫자 “30”을 부여하여(이하 생략) 조합하면“39.30.… . 0.0”의 96비트의 부분 식별코드가 생성된다.
이미 존재하는 식별코드와 중복되는 것을 방지하기 위해, 상기와 동일한 방법으로 생성된 96 비트의 부분 식별코드에 32 비트(4 바이트)의 인덱스를 덧붙인다. 인덱스를 나타내는 숫자의 크기는 8 비트이고, 0~255 사이의 십진수 숫자로 지정하며, 인덱스는 다음 인덱스가 생성될 때 1씩 자동으로 증가하여 생성된다. 예를 들어, 도 4c와 같이,“3.9.1.7.8.8.8.6.10.7.8.0”이라는 부분 식별코드가 생성되었는데(321), 이미 26개가 존재하는 경우에는 27번째에 생성된 부분 식별코드에는 “0.0.0.26”의 인덱스가 덧붙고(322), 다음에는 또 다시 1씩 자동 증가하여 28번째에 생성되는 부분 식별코드에는“0.0.0.27”의 인덱스가 덧붙는다(323).
전체 식별코드는 상기 방법으로 생성된 96 비트의 부분 식별코드와 32 비트의 인덱스를 조합하여, 128 비트(16 바이트)로 이루어진다. 예를 들어, 도 4b 및 도 4c와 같이,“도요타 자동차가 개발을 서두르고 있는 음주 운전 방지 차량의 시스템은 이렇습니다”에서 12개 기본 단위를 추출하여“3.9.1.7.8.8.8.6.10.7.8.0”의 부분 식별코드를 생성하고, 해당 식별코드가 이미 26개 생성되었을 경우에 27 번째를 나타내는 인덱스“0.0.0.26”이 덧붙어, 해당 문장의 식별코드는 “3.9.1.7.8.8.8.6.10.7.8.0.0.0.0.26”이 된다.
도 5는 본 발명의 시간정보 데이터 및 음성 텍스트 데이터와 이에 부여한 식별코드의 조합을 멀티미디어 데이터 파일의 메타데이터에 추가하는 과정을 나타낸 도면이다. 도 5에 도시된 바와 같이, 멀티미디어 데이터 파일(401)은 해당 파일의 소정의 부분에 대한 시간정보(406), 그 시점의 음성 텍스트 정보(407), 해당 텍스트의 언어정보(405) 및 언어정보에 대한 식별코드(404) 데이터가 기록되는 메타데이터(404, 405, 406, 407)를 포함하는 헤더 부분(402)과, 실제의 데이터를 저장하는 데이터 부분(403)으로 이루어져 있다.
멀티미디어 데이터 파일 제공자가 멀티미디어 데이터 파일에 대한 하나 이상의 소정의 부분을 선택하면, 식별코드 생성부의 저작 툴은 해당 부분의 시간정보 데이터(406)와 음성 텍스트 정보(407), 해당 텍스트의 언어정보(405)의 조합에 식별코드를 부여하는 과정을 수행한다. 멀티미디어 데이터 파일 제공자가 여러 개의 소정의 부분을 선택하면, 다수의 데이터 조합이 존재한다. 이때, 저작 툴은 생성된 하나 이상의 식별코드와 데이터의 조합을 멀티미디어 데이터 파일(401)의 헤더 부분(402)의 메타데이터(404, 405, 406, 407)에 저장한다.
도 6a는 본 발명의 음성 데이터를 이용하여 멀티미디어 데이터 파일의 인덱싱 정보를 검색하는 시스템의 구성도이고, 도 6b는 도 6a의 검색 및 인덱싱 구문 선택부의 구성도이다. 도 6a와 도 6b에 도시된 바와 같이, 음성 데이터를 이용하여 멀티미디어 데이터 파일의 인덱싱 정보를 검색하는 시스템(500)은, 인덱싱 정보 목록 수신부(510), 검색 및 인덱싱 구문 선택부(520), 식별코드 전송부(530), 시간정보 전송부(540), 영상 재생부(550)를 포함한다. 그리고, 검색 및 인덱싱 구문 선택 부(520)는 검색 인식부(521), 이동부(522), 검색부(523), 인덱싱 구문 선택부(524)를 포함한다.
인덱싱 정보 목록 수신부(510)는 멀티미디어 데이터 파일에서 해당 멀티미디어 데이터 파일의 소정의 부분에 대한 인덱싱 정보 목록을 수신한다.
검색 및 인덱싱 구문 선택부(520)는 멀티미디어 데이터 파일의 인덱싱 정보 목록을 통해 특정한 시점의 영상을 검색하였는지를 판단하여, 인덱싱 구문을 선택한다. 검색 및 인덱싱 구문 선택부(520)는 검색 인식부(521), 이동부(522), 검색부(523), 검색결과 출력부(524), 인덱싱 구문 선택부(525)를 포함한다. 검색 인식부(521)는 멀티미디어 데이터 파일의 인덱싱 정보 목록을 통해 특정한 시점의 영상을 검색하였는지 인식하고, 인덱싱 정보 목록을 통해 특정한 시점의 영상을 검색하지 않았으면 구문을 통해 특정한 시점의 영상을 검색하였는지를 판단한다. 그리고, 이동부(522)는 구문을 통해 특정한 시점의 영상을 검색하였으면, 인덱싱 정보에 대한 구문 검색 인터페이스 수단으로 이동시킨다. 또한, 검색부(523)은 구문 검색 인터페이스 수단을 통하여 검색을 수행하여, 인덱싱 정보 목록 형태로 검색 결과를 출력한다. 또한, 인덱싱 구문 선택부(524)는 인덱싱 정보 목록에서 이동하고자 하는 인덱싱 구문을 선택한다.
식별코드 전송부(530)는 인덱싱 구문에 대한 식별코드를 웹 서버로 전송한다.
시간정보 전송부(540)는 스트리밍 서버 및 단말기에 해당 식별코드가 가리키는 멀티미디어 데이터 파일의 시간정보 데이터를 전송한다.
영상 재생부(550)는 멀티미디어 데이터 파일의 사용자 단말기에서 시간정보데이터를 수신하여 해당 시점의 영상을 재생한다.
도 7은 본 발명의 멀티미디어 데이터 파일의 사용자 단말기와 웹 서버 및 시스템 서버와의 동작과정을 나타낸 도면이다. 도 7에 도시된 바와 같이, 멀티미디어 데이터 파일의 사용자는 사용자 단말기(603, 604)를 이용하여 찾고자 하는 멀티미디어 데이터 파일을 검색하여 재생하고, 원하는 시점의 멀티미디어 데이터 파일을 검색하기 위해 이동할 수 있다. 멀티미디어 데이터 파일의 사용자 단말기(603, 604)는 시스템의 웹 서버(601)에 접속하여, 웹 페이지를 통해 찾고자 하는 내용을 검색하여 시청하고자 하는 멀티미디어 데이터 파일을 요청하면, 스트리밍 서버(602)는 해당 멀티미디어 데이터 파일을 전송하여 사용자 인터페이스 수단이 이를 재생한다. 사용자 인터페이스 수단에서 멀티미디어 데이터 파일 재생 중에 인덱싱 정보 목록을 통한 검색 및 단어 또는 구절을 통한 검색을 수행하여 멀티미디어 데이터 파일의 특정한 위치를 요청하면 해당 위치의 멀티미디어 데이터 파일을 전송한다.
도 8a는 본 발명의 멀티미디어 데이터 파일 검색 방법 중에서 인덱싱 정보 목록을 통한 검색방법에 대한 사용자 인터페이스 수단을 나타낸 도면이다. 도 8a에 도시된 바와 같이, 멀티미디어 데이터 파일의 사용자는 웹 페이지를 통해 제공되는 사용자 인터페이스 수단(701)에서 멀티미디어 데이터 파일을 재생하고, 표시되는 멀티미디어 데이터 파일의 인덱싱 정보 목록에서 찾고자 하는 내용을 선택하여 멀티미디어 데이터 파일의 해당 시점으로 이동할 수 있다.
사용자 인터페이스 수단(701)은 재생부(702)와 검색부(703)로 구성된다. 재생부(702)에는 멀티미디어 데이터 파일을 재생하는 미디어 플레이어(704)가 삽입된다. 미디어 플레이어(704)는 멀티미디어 데이터 파일을 보여주는 디스플레이 창(705)과 멀티미디어 데이터 파일의 재생시점을 조정하는 프레임 바(706), 재생을 제어하는 조작버튼(707)으로 구성된다. 프레임 바(706)의 표시지점을 이동시키면, 멀티미디어 데이터 파일은 이동된 표시지점에 해당하는 내용을 재생한다. 검색부(703)에는 멀티미디어 데이터 파일 인덱싱 정보 창(708)과 페이지 이동 버튼(710)이 삽입된다.
도 2 내지 도 5에서와 같이, 멀티미디어 데이터 파일의 메타데이터에는 저장된 식별코드, 시간정보 데이터 및 해당 시점의 음성 텍스트 데이터가 저장된다. 본 발명의 인덱싱 정보 목록 수신부는 멀티미디어 데이터 파일의 메타데이터로부터 정보를 수신하여, 해당 멀티미디어 데이터 파일의 음성 텍스트 데이터를 사용자 인터페이스 수단의 인덱싱 정보 창(708)에 목록 형태로 출력한다. 즉, 멀티미디어 데이터 파일 제공자가 멀티미디어 데이터 파일의 소정의 부분으로 선별한 특정한 시점의 정보의 음성 텍스트 데이터가 멀티미디어 데이터 파일 재생부(702)와 함께 표시된다.
멀티미디어 데이터 파일의 사용자는 재생부(702)에서 멀티미디어 데이터 파일을 재생하고 조작하면서, 검색부(703)의 멀티미디어 데이터 파일의 인덱싱 정보 목록(708)을 참조하고, 인덱싱 구문(709)을 선택할 수 있다. 이때, 본 발명에 의한 식별코드 전송부가 선택된 인덱싱 구문(709)에 해당하는 식별코드를 웹 서버로 전 송하여, 해당 음성 텍스트 데이터에 대한 시간정보 데이터를 요청한다. 시간정보 전송부는 해당 음성 텍스트 데이터에 대한 시간정보 데이터를 스트리밍 서버로 전달하고, 해당 시점의 멀티미디어 데이터 파일 부분을 사용자 단말기에서 재생할 수 있다. 즉, 멀티미디어 데이터 파일의 인덱싱 정보 목록(708)에서 인덱싱 구문(709)을 선택하여 선택한 정보에 해당하는 시점으로 이동하여, 소정의 부분을 빠르게 시청할 수 있으며, 쉽게 검색할 수 있다. 여러 개의 인덱싱 정보를 지정하면, 순차적으로 나머지 인덱싱 정보의 내용을 재생할 수 있다.
페이지 이동 버튼(710) 중에서 검색 메뉴(710)를 선택하면, 단어 또는 구절 검색이 가능한 사용자 인터페이스 수단으로 이동할 수 있다.
도 8b는 본 발명의 멀티미디어 데이터 파일 검색 방법 중에서 단어 또는 구절 검색을 통한 검색방법에 대한 사용자 인터페이스 수단을 나타낸 도면이다. 도 8b에 도시된 바와 같이, 멀티미디어 데이터 파일 사용자는 웹 페이지를 통해 제공되는 사용자 인터페이스 수단(711)에서 멀티미디어 데이터 파일을 재생하고, 제공되는 인덱싱 정보 검색 툴(718)을 이용하여 데이터베이스에 등록된 멀티미디어 데이터 파일 중에서, 찾고자 하는 정보를 검색할 수 있다. 그리고, 결과 목록(719) 중에서 정보를 선택하여 멀티미디어 데이터 파일의 해당 시점으로 이동할 수 있다.
사용자 인터페이스 수단(711)은 재생부(712)와 검색부(713)로 구성된다. 재생부(712)에는 멀티미디어 데이터 파일을 재생하는 미디어 플레이어(714)가 삽입된다. 미디어 플레이어(714)는 멀티미디어 데이터 파일을 보여주는 디스플레이 창(715), 멀티미디어 데이터 파일의 재생 시점을 조정하는 프레임 바(716), 재생을 제어하는 조작버튼(717)으로 구성된다. 프레임 바(716)의 표시 지점을 이동시키면, 멀티미디어 데이터 파일은 이동된 표시 지점에 해당하는 멀티미디어 데이터를 재생시킨다. 검색부(713)에는 인덱싱 정보 검색 툴(718)과 검색 결과 출력 창(719), 페이지 이동 버튼(721)이 삽입된다.
멀티미디어 데이터 파일 사용자는 찾고자 하는 단어 또는 구절의 검색어를 멀티미디어 데이터 파일의 인덱싱 정보 검색 툴(718)에 입력하여, 검색을 수행한다. 본 발명의 인덱싱 정보 목록 수신부는 등록된 멀티미디어 데이터 파일의 메타데이터 중에서 해당 검색과 관련된 정보를 수신하여 검색결과인 음성 텍스트 데이터를 검색 결과 출력 창(719)에 목록 형태(720)로 출력한다.
멀티미디어 데이터 파일의 사용자는 재생부(712)에서 멀티미디어 데이터 파일을 재생하고 조작하면서, 검색부(713)의 멀티미디어 데이터 파일의 인덱싱 정보 검색 툴(718)을 이용하여 단어 또는 구절 검색을 수행하고, 출력 결과에서 원하는 인덱싱 구문(720)을 선택할 수 있다.
이때, 본 발명의 식별코드 전송부가 선택된 인덱싱 구문(720)에 해당하는 식별코드를 웹 서버로 전송하여, 해당 음성 텍스트 데이터에 대한 시간정보 데이터를 요청한다. 시간정보 전송부는 해당 음성 텍스트 데이터에 대한 시간정보 데이터를 스트리밍 서버로 전송하고, 해당 시점의 멀티미디어 데이터 파일 부분을 사용자 단말기로 전송한다. 즉, 멀티미디어 데이터 파일의 인덱싱 정보 목록(719)에서 인덱싱 구문(720)을 선택하여 선택한 정보(720)에 해당하는 시점으로 이동하여, 소정의 부분을 빠르게 시청할 수 있으며, 쉽게 검색할 수 있다. 여러 개의 인덱싱 정보를 지정하면, 순차적으로 나머지 인덱싱 정보의 내용을 재생할 수 있다.
페이지 이동 버튼(721) 중에서 목록 메뉴(721)를 선택하면, 인덱싱 정보 목록을 통해 검색 가능한 사용자 인터페이스 수단으로 이동할 수 있다.
도 9는 본 발명의 멀티미디어 데이터 파일의 인덱싱 정보를 생성하는 방법을 나타낸 흐름도이다. 도 9를 도 1과 함께 살펴보면, 본 발명의 멀티미디어 데이터 파일의 인덱싱 정보를 생성하는 방법은 다음과 같다.
먼저, 멀티미디어 데이터 파일 제공자가 웹 서버에 접속하여(S101), 멀티미디어 데이터 파일을 등록한다(S102).
이후, 음성 데이터 추출부(110)가 멀티미디어 데이터 파일에 음성 데이터가 포함되어 있는지를 판단한다(S103). 멀티미디어 데이터 파일에 음성 데이터가 포함되어 있으면, 음성 데이터 추출부(110)는 음성 데이터를 추출하고(S104) 데이터 변환부(120)는 추출된 음성 데이터를 텍스트 데이터로 변환한다(S105). 그러나, 멀티미디어 데이터 파일에 음성 데이터가 포함되어 있지 않으면, 멀티미디어 데이터 파일을 다시 등록한다(S102).
이후, 초기 데이터 생성부(130)가 텍스트 데이터와 해당 텍스트 데이터의 시간정보 데이터를 조합하여 초기 데이터를 생성한다(S106).
이후, 식별코드 부여부(140)가 초기 데이터에서 소정의 데이터를 선택하고 (S107), 소정의 데이터 선택이 끝났는지를 판단한다(S108). 소정의 데이터 선택이 끝났으면, 식별코드 부여부(140)는 소정의 데이터의 시간정보 데이터와 음성의 텍스트 데이터의 조합에 식별코드를 부여한다(S109). 그러나, 소정의 데이터 선택이 끝나지 않았으면, 식별코드 부여부(140)는 소정의 데이터 선택이 끝날 때까지 소정의 데이터 선택이 끝났는지를 판단한다.
이후, 기록부(150)가 소정의 데이터의 시간정보 데이터 및 음성의 텍스트 데이터와, 이에 부여한 식별코드 조합을 멀티미디어 데이터 파일의 메타데이터에 기록하고(S110), 저장부(160)는 멀티미디어 데이터 파일을 데이터베이스에 전송하여 저장한다(S111).
도 10은 본 발명의 멀티미디어 데이터 파일의 인덱싱 정보를 검색하는 방법을 나타낸 흐름도이다. 도 10을 도 6a 및 6b와 함께 살펴보면, 멀티미디어 데이터 파일의 인덱싱 정보를 검색하는 방법은 다음과 같다.
먼저, 멀티미디어 데이터 파일의 사용자가 웹 서버에 접속하여 웹 페이지에서 멀티미디어 데이터 파일을 단어 또는 구절로 검색한다(S201).
이후, 사용자 인터페이스 수단을 통하여 멀티미디어 데이터 파일을 인덱싱 정보 목록에서 선택하여 재생한다(S202).
이후, 인덱싱 정보 목록 수신부(510)가 재생된 멀티미디어 데이터 파일에서 해당 멀티미디어 데이터 파일의 소정의 부분에 대한 인덱싱 정보 목록을 수신한다(S203).
이후, 검색 및 인덱싱 구문 선택부(520)가 멀티미디어 데이터 파일의 인덱싱 정보 목록을 통해 사용자가 원하는 특정한 시점의 영상을 검색하는지를 판단한다(S204). 멀티미디어 데이터 파일의 인덱싱 정보 목록을 통해 특정한 시점의 영상을 검색하였으면, 검색 및 인덱싱 구문 선택부(520)가 인덱싱 정보 목록에서 이동 하고자 하는 인덱싱 구문을 선택한다(S209).
이후, 식별코드 전송부(530)가 선택한 인덱싱 구문에 대한 식별코드를 웹 서버로 전송한다(S210).
이후, 시간정보 전송부(540)가 멀티미디어 데이터 파일을 사용하는 사용자 단말기에 해당 식별코드가 가리키는 멀티미디어 데이터 파일의 시간정보 데이터를 전송한다(S211).
이후, 영상 재생부(550)가 멀티미디어 데이터 파일을 사용하는 사용자 단말기에서 시간정보 데이터를 수신하여 해당 시점의 영상을 재생한다(S212).
그러나, S204 과정에서 멀티미디어 데이터 파일의 인덱싱 정보 목록을 통해 특정한 시점의 영상을 검색하지 않으면 S204~S209 과정 대신에 S205~S208 과정이 수행된다. 즉, 검색 인식부(521)가 구문을 통해 특정한 시점의 영상을 검색하는지를 판단한다(S205). 이후, 구문을 통해 특정한 시점의 영상을 검색하였으면, 이동부(522)가 인덱싱 정보에 대한 구문 검색 인터페이스 수단으로 이동시킨다(S206). 이후, 검색부(523)가 구문 검색 인터페이스 수단에서 제공되는 검색 툴을 이용하여 검색을 수행하면, 검색 결과가 인덱싱 정보 목록 형태로 출력된다(S207). 이후, 인덱싱 구문 선택부(524)가 검색 결과 목록에서 이동하고자 하는 인덱싱 구문을 선택한다(S208).
상기와 같이, 본 발명은 동영상, 음성 등이 포함된 멀티미디어 데이터 파일의 음성 데이터를 추출하여 파일 검색 인덱스를 생성하고, 멀티미디어 데이터 파일의 제공자에 의한 단어 및 구절의 선별, 이에 식별코드 체계를 부여함으로써 멀티 미디어 데이터 파일의 사용자가 식별코드를 이용하여 검색하고자 하는 내용을 검색하고, 파일 내의 검색하고자하는 특정한 시점으로 쉽게 이동하게 한다.
상기와 같은 방법으로 방대한 양의 멀티미디어 데이터 파일들을 수집하여, 파일 인덱싱 정보를 생성하고, 식별코드 체계를 데이터베이스화하여 웹 페이지 상의 사용자가 단어 또는 구절을 중심으로 다양한 멀티미디어 데이터 파일들을 검색하여 관련된 멀티미디어 데이터 정보를 바로 이용할 수 있게 한다. 즉, 사용자는 멀티미디어 데이터 파일의 소정의 부분을 표현하는 멀티미디어 데이터 파일에서 원하는 정보를 선택하여 멀티미디어 데이터 파일 재생 중에 쉽게 원하는 위치로 이동하여 멀티미디어 데이터 파일을 계속 시청할 수 있다.
이상에서 살펴본 바와 같은 음성 데이터를 이용하여 멀티미디어 데이터 파일의 인덱싱 정보를 생성하는 방법 및 멀티미디어 데이터 파일의 인덱싱 정보를 검색하는 방법에 대한 기술사상을 첨부도면과 함께 서술하였지만, 이는 본 발명의 가장 양호한 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 이 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술사상을 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.
본 발명은 멀티미디어 데이터 파일 제공자에 의한 가공을 거치지 않더라도 별도의 음성 추출기가 음성 텍스트와 시간정보 데이터를 추출하여, 파일 인덱싱 정보를 자동으로 생성, 등록 및 저장함으로써, 기존의 멀티미디어 데이터 파일들에 대하여 단어 또는 구절을 통한 검색(키워드 검색 포함)이 가능하게 한다. 따라서, 사용자는 정보 검색시 해당 멀티미디어 데이터 파일을 재생하지 않고도 핵심 내용에 대한 간략한 파악이 가능하고, 이로 인하여 필요하지 않은 정보를 열람하지 않아도 되기 때문에 정보 검색의 효율성을 높일 수 있다.
또한, 사용자는 멀티미디어 데이터 파일의 많은 내용들 중에서 일부의 원하는 단어 또는 구절만을 검색하여 해당되는 부분으로 신속히 이동할 수 있다. 따라서, 멀티미디어 데이터 파일의 전체를 시청하지 않더라도, 내용에 대하여 빠르게 이해할 수 있어 동적인 정보검색을 위하여 효과적이다.

Claims (9)

  1. 멀티미디어 데이터 파일 제공자가 웹을 통해 등록하는 멀티미디어 데이터 파일에 음성 데이터가 포함되어 있는지를 판단하여, 멀티미디어 데이터 파일에 음성 데이터가 포함되어 있으면, 음성 데이터를 추출하는 음성 데이터 추출부;
    상기 추출된 음성 데이터를 텍스트 데이터로 변환하는 데이터 변환부;
    상기 텍스트 데이터와 해당 텍스트 데이터 구문의 시간정보 데이터를 조합하여 초기 데이터를 생성하는 초기 데이터 생성부;
    상기 초기 데이터에서 소정의 데이터를 선택하고, 소정의 데이터 선택이 끝났는지를 판단하여, 소정의 데이터 선택이 끝났으면, 선택한 소정의 데이터의 시간정보 데이터와 음성의 텍스트 데이터의 조합에 식별코드를 부여하는 식별코드 부여부;
    상기 선택한 소정의 데이터의 시간정보 데이터와 음성의 텍스트 데이터의 조합 및 식별코드를 멀티미디어 데이터 파일의 메타데이터에 기록하는 기록부; 및
    상기 멀티미디어 데이터 파일을 데이터베이스에 저장하는 저장부;
    를 포함하는 음성 데이터를 이용하여 멀티미디어 데이터 파일의 인덱싱 정보를 생성하는 시스템.
  2. 청구항 1에 있어서,
    상기 초기 데이터는 시작시간, 종료시간 및 해당 시간 동안의 음성 텍스트 데이터를 포함하는 것을 특징으로 하는 음성 데이터를 이용하여 멀티미디어 데이터 파일의 인덱싱 정보를 생성하는 시스템.
  3. 청구항 1에 있어서,
    상기 메타데이터는 해당 파일의 소정의 부분에 대한 시간정보, 그 시점의 음성 텍스트 정보, 해당 텍스트의 언어정보 및 상기 정보들의 조합에 대한 식별코드를 포함하는 것을 특징으로 하는 음성 데이터를 이용하여 멀티미디어 데이터 파일의 인덱싱 정보를 생성하는 시스템.
  4. 음성 데이터 추출부가 멀티미디어 데이터 파일 제공자가 웹을 통해 등록하는 멀티미디어 데이터 파일에 음성 데이터가 포함되어 있는지를 판단하여, 멀티미디어 데이터 파일에 음성 데이터가 포함되어 있으면, 음성 데이터를 추출하는 제1단계;
    데이터 변환부가 상기 추출된 음성 데이터를 텍스트 데이터로 변환하는 제2단계;
    초기 데이터 생성부가 상기 텍스트 데이터와 해당 텍스트 데이터의 구문의 시간정보 데이터를 조합하여 초기 데이터를 생성하는 제3단계;
    식별코드 부여부가 상기 초기 데이터에서 소정의 데이터를 선택하고, 소정의 데이터 선택이 끝났는지를 판단하여, 소정의 데이터 선택이 끝났으면, 선택한 소정의 데이터의 시간정보 데이터와 음성의 텍스트 데이터의 조합에 식별코드를 부여하는 제4단계;
    기록부가 상기 선택한 소정의 데이터의 시간정보 데이터와 음성의 텍스트 데이터의 조합 및 식별코드를 멀티미디어 데이터 파일의 메타데이터에 기록하는 제5단계; 및
    저장부가 상기 멀티미디어 데이터 파일을 데이터베이스에 저장하는 제6단계;
    를 포함하는 음성 데이터를 이용하여 멀티미디어 데이터 파일의 인덱싱 정보를 생성하는 방법.
  5. 멀티미디어 데이터 파일에서 해당 멀티미디어 데이터 파일의 소정의 부분에 대한 인덱싱 정보 목록을 수신하는 인덱싱 정보 목록 수신부;
    상기 멀티미디어 데이터 파일의 인덱싱 정보 목록을 통해 특정한 시점의 영상을 검색하였는지를 판단하여, 인덱싱 구문을 선택하는 검색 및 인덱싱 구문 선택부;
    상기 인덱싱 구문에 대한 식별코드를 웹 서버로 전송하는 식별코드 전송부;
    상기 멀티미디어 데이터 파일을 사용하는 사용자 단말기에 해당 식별코드가 가리키는 멀티미디어 데이터 파일의 시간정보 데이터를 전송하는 시간정보 전송부; 및
    상기 멀티미디어 데이터 파일을 사용하는 사용자 단말기에서 상기 시간정보데이터를 수신하여 해당 시점의 영상을 재생하는 영상 재생부;
    를 포함하는 멀티미디어 데이터 파일의 인덱싱 정보를 검색하는 시스템.
  6. 청구항 5에 있어서,
    상기 검색 및 인덱싱 구문 선택부는,
    상기 멀티미디어 데이터 파일의 인덱싱 정보 목록을 통해 특정한 시점의 영상을 검색하였는지 인식하고, 상기 인덱싱 정보 목록을 통해 특정한 시점의 영상을 검색하지 않았으면 구문을 통해 특정한 시점의 영상을 검색하였는지를 판단하는 검색 인식부;
    상기 인덱싱 정보 목록에서 이동하고자 하는 인덱싱 구문을 선택하는 인덱싱 구문 선택부;
    상기 구문을 통해 특정한 시점의 영상을 검색하였으면, 인덱싱 정보에 대한 구문 검색 인터페이스 수단으로 이동시키는 이동부; 및
    상기 구문 검색 인터페이스 수단을 통하여 검색을 수행하여, 인덱싱 정보 목록 형태로 검색 결과를 출력하는 검색부;
    를 포함하는 멀티미디어 데이터 파일의 인덱싱 정보를 검색하는 시스템.
  7. 인덱싱 정보 목록 수신부가 멀티미디어 데이터 파일에서 해당 멀티미디어 데이터 파일의 소정의 부분에 대한 인덱싱 정보 목록을 수신하는 제1단계;
    검색 및 인덱싱 구문 선택부가 상기 멀티미디어 데이터 파일의 인덱싱 정보 목록을 통해 특정한 시점의 영상이 검색되는지를 판단하여, 인덱싱 구문을 선택하는 제2단계;
    식별코드 전송부가 상기 인덱싱 구문에 대한 식별코드를 웹 서버로 전송하는 제3단계;
    시간정보 전송부가 상기 멀티미디어 데이터 파일을 사용하는 사용자 단말기와 시스템 서버에 해당 식별코드가 가리키는 멀티미디어 데이터 파일의 시간정보 데이터를 전송하는 제4단계; 및
    영상 재생부가 상기 멀티미디어 데이터 파일을 사용하는 사용자 단말기에서 시간정보 데이터를 수신하여 해당 시점의 영상을 재생하게 하는 제5단계;
    를 포함하는 멀티미디어 데이터 파일의 인덱싱 정보를 검색하는 방법.
  8. 청구항 7에 있어서,
    상기 제2단계는,
    상기 멀티미디어 데이터 파일의 인덱싱 정보 목록을 통해 특정한 시점의 영상이 검색되었으면, 상기 검색 및 인덱싱 구문 선택부가 인덱싱 정보 목록에서 이동하고자 하는 인덱싱 구문을 선택하는 단계를 포함하는 멀티미디어 데이터 파일의 인덱싱 정보를 검색하는 방법.
  9. 청구항 7에 있어서,
    상기 제2단계는,
    상기 멀티미디어 데이터 파일의 인덱싱 정보 목록을 통해 특정한 시점의 영상이 검색되지 않았으면, 검색 인식부가 구문을 통해 특정한 시점의 영상을 검색하였는지를 판단하는 단계;
    상기 구문을 통해 특정한 시점의 영상이 검색되었으면, 이동부가 인덱싱 정보에 대한 구문 검색 인터페이스 수단으로 이동시키는 단계;
    검색부가 상기 구문 검색 인터페이스 수단을 통하여 검색을 수행하여, 검색 결과를 인덱싱 정보 목록 형태로 출력하는 단계; 및
    인덱싱 구문 선택부가 상기 출력된 인덱싱 정보 목록에서 이동하고자 하는 인덱싱 구문을 선택하는 단계;
    를 포함하는 멀티미디어 데이터 파일의 인덱싱 정보를 검색하는 방법.
KR1020070014192A 2007-02-12 2007-02-12 음성 데이터를 이용하여 멀티미디어 데이터 파일의 인덱싱정보를 생성하는 시스템 및 방법과 멀티미디어 데이터파일의 인덱싱 정보를 검색하는 시스템 및 방법 KR100929688B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070014192A KR100929688B1 (ko) 2007-02-12 2007-02-12 음성 데이터를 이용하여 멀티미디어 데이터 파일의 인덱싱정보를 생성하는 시스템 및 방법과 멀티미디어 데이터파일의 인덱싱 정보를 검색하는 시스템 및 방법
PCT/KR2008/000725 WO2008100037A1 (en) 2007-02-12 2008-02-05 The system and method for generating indexing information of multimedia data file using vocal data and retrieving indexing information of multimedia data file

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070014192A KR100929688B1 (ko) 2007-02-12 2007-02-12 음성 데이터를 이용하여 멀티미디어 데이터 파일의 인덱싱정보를 생성하는 시스템 및 방법과 멀티미디어 데이터파일의 인덱싱 정보를 검색하는 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20080075266A true KR20080075266A (ko) 2008-08-18
KR100929688B1 KR100929688B1 (ko) 2009-12-03

Family

ID=39690233

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070014192A KR100929688B1 (ko) 2007-02-12 2007-02-12 음성 데이터를 이용하여 멀티미디어 데이터 파일의 인덱싱정보를 생성하는 시스템 및 방법과 멀티미디어 데이터파일의 인덱싱 정보를 검색하는 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR100929688B1 (ko)
WO (1) WO2008100037A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150022601A (ko) * 2013-08-23 2015-03-04 삼성전자주식회사 저장된 정보 표시 방법 및 그 전자 장치
KR20150098820A (ko) * 2014-02-21 2015-08-31 ㈜빅스바이트 리터러시 향상을 위한 영어단어 디코딩 멀티미디어파일 생성시스템

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014203818A1 (de) * 2014-03-03 2015-09-03 Sennheiser Electronic Gmbh & Co. Kg Verfahren und Vorrichtung zum Umwandeln von Sprachsignalen in Text
KR102249086B1 (ko) * 2014-04-04 2021-05-10 삼성전자주식회사 레코딩 지원 전자장치 및 방법
KR101992631B1 (ko) * 2017-07-17 2019-06-25 주식회사 코난테크놀로지 비동기 방식을 사용하는 파일 색인장치 및 그 방법
KR102274275B1 (ko) * 2019-03-29 2021-07-08 아이피랩 주식회사 음성파일이 연동된 텍스트 링크 생성 어플리케이션 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003075184A1 (en) * 2002-03-06 2003-09-12 Chung-Tae Kim Methods for constructing multimedia database and providing multimedia-search service and apparatus therefor
KR20040071369A (ko) * 2003-02-05 2004-08-12 (주)에어스파이더 디지탈 영상자료 검색 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150022601A (ko) * 2013-08-23 2015-03-04 삼성전자주식회사 저장된 정보 표시 방법 및 그 전자 장치
KR20150098820A (ko) * 2014-02-21 2015-08-31 ㈜빅스바이트 리터러시 향상을 위한 영어단어 디코딩 멀티미디어파일 생성시스템

Also Published As

Publication number Publication date
WO2008100037A1 (en) 2008-08-21
KR100929688B1 (ko) 2009-12-03

Similar Documents

Publication Publication Date Title
CN101202864B (zh) 动画再现装置
JP5178109B2 (ja) 検索装置、方法及びプログラム
CN101382937B (zh) 基于语音识别的多媒体资源处理方法及其在线教学系统
KR100929688B1 (ko) 음성 데이터를 이용하여 멀티미디어 데이터 파일의 인덱싱정보를 생성하는 시스템 및 방법과 멀티미디어 데이터파일의 인덱싱 정보를 검색하는 시스템 및 방법
US8965916B2 (en) Method and apparatus for providing media content
CN101422041A (zh) 基于因特网搜索的电视
CN113326387B (zh) 一种会议信息智能检索方法
CN103414948A (zh) 一种视频的播放方法和装置
JP2009522845A (ja) サーチ可能なマルチメディア・ストリーム
WO2014161282A1 (zh) 视频文件播放进度的调整方法及装置
KR101100191B1 (ko) 멀티미디어 재생장치와 이를 이용한 멀티미디어 자료검색방법
CN101778233A (zh) 数据处理装置、数据处理方法及程序
JP5296598B2 (ja) 音声情報抽出装置
CN112765460A (zh) 会议信息查询方法、装置、存储介质、终端设备和服务器
CN108305622A (zh) 一种基于语音识别的音频摘要文本创建方法及其创建装置
CN102136001B (zh) 一种多媒体信息模糊检索方法
KR20060100646A (ko) 영상물의 특정 위치를 검색하는 방법 및 영상 검색 시스템
JP2006115052A (ja) コンテンツ検索装置とその入力装置、コンテンツ検索システム、コンテンツ検索方法、プログラム及び記録媒体
JP7121378B2 (ja) 映像管理方法、映像管理装置、及び映像管理システム
KR100882857B1 (ko) 식별코드를 이용한 콘텐츠 재생 방법
KR20070042000A (ko) 동영상 스트림의 챕터 별 제목 설정 방법 및 장치
JP4080965B2 (ja) 情報提示装置及び情報提示方法
KR100944958B1 (ko) 특정 구간의 멀티미디어 데이터 및 캡션 데이터를 제공하는장치 및 서버
JP2006054517A (ja) 情報提示装置、方法及びプログラム
KR100888341B1 (ko) 음원 검색 시스템 및 방법과, 이를 위한 음원 검색 서버

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130225

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131210

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20141125

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20151124

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee