KR20150004681A - 미디어 정보 제공 서버, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 - Google Patents

미디어 정보 제공 서버, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR20150004681A
KR20150004681A KR1020130078011A KR20130078011A KR20150004681A KR 20150004681 A KR20150004681 A KR 20150004681A KR 1020130078011 A KR1020130078011 A KR 1020130078011A KR 20130078011 A KR20130078011 A KR 20130078011A KR 20150004681 A KR20150004681 A KR 20150004681A
Authority
KR
South Korea
Prior art keywords
information
media
media content
frame
text
Prior art date
Application number
KR1020130078011A
Other languages
English (en)
Other versions
KR102107678B1 (ko
Inventor
아밋 아갈왈
염동현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130078011A priority Critical patent/KR102107678B1/ko
Priority to US14/204,991 priority patent/US20150010288A1/en
Publication of KR20150004681A publication Critical patent/KR20150004681A/ko
Application granted granted Critical
Publication of KR102107678B1 publication Critical patent/KR102107678B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명의 실시 예는 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 방법에 관한 것으로, 복수의 프레임들을 포함하는 상기 미디어 콘텐츠에서 적어도 하나의 프레임을 선택하는 과정과, 상기 선택된 적어도 하나의 각 프레임에서 적어도 하나의 텍스트 정보를 추출하는 과정과, 상기 추출된 텍스트 정보로 상기 미디어 콘텐츠와 관련된 미디어 정보를 요청하는 과정을 포함할 수 있다.

Description

미디어 정보 제공 서버, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 장치, 방법 및 컴퓨터 판독 가능한 기록 매체{SERVER FOR PROVIDING MEDIA INFORMATION, APPARATUS, METHOD AND COMPUTER READABLE RECORDING MEDIUM FOR SEARCHING MEDIA INFORMATION RELATED TO MEDIA CONTENTS}
본 발명의 실시 예는 전자 기기에 관한 것으로, 보다 상세하게는 미디어 콘텐츠와 관련된 미디어 정보를 검색하여 제공하기 위한 미디어 정보를 제공하는 서버, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 장치, 방법 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
일반적으로 인터넷은 전세계 어디서나, 누구나 접속하고자 하는 상대편 컴퓨터에 TCP/IP 라는 공통의 프로토콜을 적용하여 자유롭게 연결하여 사용할 수 있도록 구성된 개방형 네트워크로서, 기본적인 문자정보의 전달은 물론 압축기술의 발전과 더불어 멀티미디어 정보의 전달에 이용되는 등 전자우편, 파일전송, WWW(World Wide Web) 등의 다양한 서비스를 이용할 수 있다.
이와 같은 인터넷은 국내를 비롯하여 세계적으로 사용이 급격하게 증가하면서 기존 산업의 전 부분에 걸쳐 효율성과 생산성 제고를 위한 전략적인 도구로서 중요성이 급속히 증대되고 있으며, 인터넷을 통한 새로운 비즈니스 기회가 지속적으로 창출됨은 물론, 그 영역도 확장되고 있는 추세로서 인터넷을 이용한 사업자들도 점점 더 증가되고 있다.
한편, 동영상과 같은 미디어 콘텐츠(media contents)들은 컴퓨터(PC) 또는 휴대용 기기와 같은 전자 기기 내에 설치된 미디어 재생 프로그램에 의해 재생되거나, 전용 미디어 재생 장치를 통해 재생될 수 있다.
상기 미디어 콘텐츠에는 콘텐츠 제작 시 제작자가 메타 데이터(meta data)로 삽입하거나, 콘텐츠 제작 시 생성되는 콘텐츠와 관련된 단순한 기본 정보(예컨대, 재생 시간, 콘텐츠 생성 일자 등)들만이 포함되어 있다. 따라서, 미디어 콘텐츠와 관련된 보다 구체적인 정보들을 얻기 위해서는 사용자가 직접 인터넷을 통해 검색하여야 하는 불편함이 있다.
예컨대, 미디어 콘텐츠와 관련된 미디어 정보로서 자막(subtitle) 정보를 얻기 위해서는 사용자가 직접 해당 자막 파일을 검색하여 다운로드하여야 한다. 보다 구체적으로 설명하면, 사용자는 미디어 파일의 파일명 또는 콘텐츠 제목 등으로 인터넷에서 자막 정보를 검색하여 다운로드 받고, 다운로드된 자막 정보를 해당 미디어 콘텐츠가 저장된 동일한 디렉토리에 복사한다. 그런 다음, 소정의 미디어 재생 프로그램을 실행하여 해당 미디어 콘텐츠를 재생시키면, 화면상에서 상기 다운로드된 자막 정보가 미디어 콘텐츠와 합성되어 표시된다.
또한, 미디어 콘텐츠와 관련된 정보를 검색하는 다른 방법으로서, 애플리케이션(예컨대, 별도의 자막 검색 애플리케이션 또는 미디어 재생 프로그램 등)이 미디어 콘텐츠의 파일명을 키워드로 하여 자동으로 인터넷상에서 자막 파일을 검색하도록 할 수도 있다.
도 1은 종래의 미디어 콘텐츠 관련 정보를 얻기 위한 프로그램 실행 화면을 나타내는 도면이다. 도 1을 참조하면, 소정의 자막 검색 애플리케이션에서 "The Replacement Killers"라는 파일명(file name)으로 자막 검색을 실행하면, 도시된 바와 같이 서브타이틀 파일(sub) 또는 텍스트 파일(txt) 포맷의 파일들이 인터넷을 통해 검색됨을 알 수 있다.
그러나, 이러한 종래의 미디어 콘텐츠 관련 정보(예컨대, 자막 정보) 검색 방법들은 단순히 미디어 콘텐츠의 파일명만을 이용하여 검색하기 때문에 잘못 검색될 확률이 높으며, 부정확한 정보가 검색될 수도 있다. 예컨대, 미디어 콘텐츠가 배포되는 중에 특정 사용자가 파일명을 변경할 경우, 해당 미디어 콘텐츠에 대한 정확한 자막 정보를 얻는 것이 어려우며, 동일 또는 유사한 파일명을 갖는 상이한 미디어 콘텐츠가 다수 존재할 경우에는 잘못된 자막 정보가 검색될 수도 있다.
따라서, 가장 적절하고 신뢰도가 높은 미디어 콘텐츠 관련 정보를 자동으로 검색할 수 있는 방법의 필요성이 요구되고 있다.
본 발명의 일 실시 예는 미디어 콘텐츠 내의 특정 프레임 내에 포함된 텍스트 정보를 추출하고, 추출된 텍스트 정보로 관련 미디어 정보를 검색함으로써 가장 정확하고 적절한 미디어 정보를 자동으로 검색할 수 있는 미디어 정보를 제공하는 서버, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 장치, 방법 및 컴퓨터 판독 가능한 기록 매체를 제공할 수 있다.
또한, 본 발명의 다른 실시 예는 미디어 콘텐츠 내의 특정 프레임 내에 포함된 텍스트 정보를 추출하고, 추출된 텍스트 정보와 미디어 콘텐츠에 포함된 메타 데이터로 관련 미디어 정보를 검색함으로써 가장 정확하고 적절한 미디어 정보를 자동으로 검색할 수 있는 미디어 정보를 제공하는 서버, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 장치, 방법 및 컴퓨터 판독 가능한 기록 매체를 제공할 수 있다.
또한, 본 발명의 또 다른 실시 예는 미디어 콘텐츠 내의 특정 프레임 내에 포함된 텍스트 정보를 추출하고, 추출된 텍스트 정보와 특정 키 프레임의 이미지 정보로 관련 미디어 정보를 검색함으로써 가장 정확하고 적절한 미디어 정보를 자동으로 검색할 수 있는 미디어 정보를 제공하는 서버, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 장치, 방법 및 컴퓨터 판독 가능한 기록 매체를 제공할 수 있다.
또한, 본 발명의 또 다른 실시 예는 미디어 콘텐츠 내의 특정 프레임 내에 포함된 텍스트 정보를 추출하고, 추출된 텍스트 정보와 상기 텍스트 정보가 추출된 시간 정보로 관련 미디어 정보를 검색함으로써 가장 정확하고 적절한 미디어 정보를 자동으로 검색할 수 있는 미디어 정보를 제공하는 서버, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 장치, 방법 및 컴퓨터 판독 가능한 기록 매체를 제공할 수 있다.
또한, 본 발명의 또 다른 실시 예는 미디어 콘텐츠 내의 특정 프레임 내에 포함된 텍스트 정보를 추출하고, 추출된 텍스트 정보와 최초로 음성이 출력된 시간 정보로 관련 미디어 정보를 검색함으로써 가장 정확하고 적절한 미디어 정보를 자동으로 검색할 수 있는 미디어 정보를 제공하는 서버, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 장치, 방법 및 컴퓨터 판독 가능한 기록 매체를 제공할 수 있다.
본 발명의 일 측면에 따르면, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 방법은, 복수의 프레임들을 포함하는 상기 미디어 콘텐츠에서 적어도 하나의 프레임을 선택하는 과정과, 상기 선택된 적어도 하나의 각 프레임에서 적어도 하나의 텍스트 정보를 추출하는 과정과, 상기 추출된 텍스트 정보로 상기 미디어 콘텐츠와 관련된 미디어 정보를 요청하는 과정을 포함할 수 있다.
상기 미디어 콘텐츠에 관한 미디어 정보는 상기 미디어 콘텐츠의 자막 정보일 수 있다.
상기 적어도 하나의 프레임을 선택하는 과정은, 상기 미디어 콘텐츠의 시작 프레임으로부터 순차적으로 키 프레임을 검색하는 과정과, 상기 검색 결과, 최초로 텍스트가 포함된 키 프레임을 선택하는 과정을 포함할 수 있다.
상기 최초로 텍스트가 포함된 프레임을 선택하는 과정 이후에, 미리 설정된 시간 간격만큼 이격된 다음 키 프레임들을 미리 설정된 개수만큼 선택하는 과정을 더 포함할 수 있다.
상기 적어도 하나의 프레임을 선택하는 과정은, 상기 미디어 콘텐츠의 종료 프레임으로부터 역순으로 키 프레임을 검색하는 과정과, 상기 검색 결과, 최초로 텍스트가 포함된 키 프레임을 선택하는 과정을 포함할 수 있다.
상기 최초로 텍스트가 포함된 프레임을 선택하는 과정 이후에, 미리 설정된 시간 간격만큼 이격된 이전 키 프레임들을 미리 설정된 개수만큼 선택하는 과정을 더 포함할 수 있다.
상기 방법은, 상기 미디어 콘텐츠에 포함된 적어도 하나의 이미지를 추출하는 과정과, 상기 검출된 적어도 하나의 텍스트 정보에 상기 추출된 적어도 하나의 이미지를 더 포함하여 상기 미디어 콘텐츠와 관련된 미디어 정보를 요청하는 과정을 포함할 수 있다.
상기 이미지를 추출하는 과정은, 상기 미디어 콘텐츠의 전체 재생 시간 중 미리 설정된 시간의 이미지를 추출할 수 있다.
상기 방법은, 상기 미디어 콘텐츠에 포함된 적어도 하나의 메타 데이터를 추출하는 과정과, 상기 검출된 적어도 하나의 텍스트 정보에 상기 추출된 적어도 하나의 메타 데이터를 더 포함하여 상기 미디어 콘텐츠와 관련된 미디어 정보를 요청하는 과정을 포함할 수 있다.
상기 메타 데이터는, 파일명, 재생 시간, 프레임 크기, 오디오 데이터 크기, 비디오 데이터 크기, 프레임 레이트, 픽셀의 종횡비, 키 프레임 정보, 비디오 코덱, 오디오 코덱 등의 정보 중 선택된 어느 하나 이상일 수 있다.
상기 방법은, 상기 텍스트 정보가 추출된 프레임의 시간 정보를 검출하는 과정과, 상기 검출된 적어도 하나의 텍스트 정보에 상기 검출된 시간 정보를 더 포함하여 상기 미디어 콘텐츠와 관련된 미디어 정보를 요청하는 과정을 포함할 수 있다.
상기 방법은, 상기 미디어 콘텐츠에서 최초로 음성이 출력된 시간 정보를 검출하는 과정과, 상기 검출된 적어도 하나의 텍스트 정보에 상기 검출된 시간 정보를 더 포함하여 상기 미디어 콘텐츠와 관련된 미디어 정보를 요청하는 과정을 포함할 수 있다.
본 발명의 다른 측면에 따르면, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 장치는, 적어도 하나의 미디어 콘텐츠 정보를 저장하는 저장부; 및 복수의 프레임들을 포함하는 상기 미디어 콘텐츠에서 적어도 하나의 프레임을 선택하고, 상기 선택된 적어도 하나의 각 프레임에서 적어도 하나의 텍스트 정보를 추출하며, 상기 추출된 텍스트 정보로 상기 미디어 콘텐츠와 관련된 미디어 정보를 요청하도록 제어하는 제어부를 포함할 수 있다.
상기 미디어 콘텐츠에 관한 미디어 정보는 상기 미디어 콘텐츠의 자막 정보일 수 있다.
상기 제어부는, 상기 미디어 콘텐츠의 시작 프레임으로부터 순차적으로 키 프레임을 검색하고, 상기 검색 결과, 최초로 텍스트가 포함된 키 프레임을 선택하도록 제어할 수 있다.
상기 제어부는, 상기 최초로 텍스트가 포함된 프레임을 선택한 이후에, 미리 설정된 시간 간격만큼 이격된 다음 키 프레임들을 미리 설정된 개수만큼 선택하도록 더 제어할 수 있다.
상기 제어부는, 상기 미디어 콘텐츠의 종료 프레임으로부터 역순으로 키 프레임을 검색하고, 상기 검색 결과, 최초로 텍스트가 포함된 키 프레임을 선택하도록 제어할 수 있다.
상기 제어부는, 상기 최초로 텍스트가 포함된 프레임을 선택한 이후에, 미리 설정된 시간 간격만큼 이격된 이전 키 프레임들을 미리 설정된 개수만큼 선택하도록 더 제어할 수 있다.
상기 제어부는, 상기 미디어 콘텐츠에 포함된 적어도 하나의 이미지를 추출하고, 상기 검출된 적어도 하나의 텍스트 정보에 상기 추출된 적어도 하나의 이미지를 더 포함하여 상기 미디어 콘텐츠와 관련된 미디어 정보를 요청하도록 제어할 수 있다.
상기 제어부는, 상기 미디어 콘텐츠의 전체 재생 시간 중 미리 설정된 시간의 이미지를 추출하도록 제어할 수 있다.
상기 제어부는, 상기 미디어 콘텐츠에 포함된 적어도 하나의 메타 데이터를 추출하고, 상기 검출된 적어도 하나의 텍스트 정보에 상기 추출된 적어도 하나의 메타 데이터를 더 포함하여 상기 미디어 콘텐츠와 관련된 미디어 정보를 요청하도록 제어할 수 있다.
상기 메타 데이터는, 파일명, 재생 시간, 프레임 크기, 오디오 데이터 크기, 비디오 데이터 크기, 프레임 레이트, 픽셀의 종횡비, 키 프레임 정보, 비디오 코덱, 오디오 코덱 등의 정보 중 선택된 어느 하나 이상일 수 있다.
상기 제어부는, 상기 텍스트 정보가 추출된 프레임의 시간 정보를 검출하고, 상기 검출된 적어도 하나의 텍스트 정보에 상기 검출된 시간 정보를 더 포함하여 상기 미디어 콘텐츠와 관련된 미디어 정보를 요청하도록 제어할 수 있다.
상기 제어부는, 상기 미디어 콘텐츠에서 최초로 음성이 출력된 시간 정보를 검출하고, 상기 검출된 적어도 하나의 텍스트 정보에 상기 검출된 시간 정보를 더 포함하여 상기 미디어 콘텐츠와 관련된 미디어 정보를 요청하도록 제어할 수 있다.
본 발명의 또 다른 측면에 따르면, 미디어 콘텐츠와 관련된 미디어 정보를 제공하는 미디어 정보 제공 서버는, 각 미디어 콘텐츠에 적어도 하나의 미디어 정보들이 매핑되어 저장되는 미디어 정보 데이터베이스; 각 미디어 콘텐츠 재생 장치로부터 전송된 미디어 정보 요청 메시지를 수신하는 요청 정보 수신부; 상기 수신된 미디어 정보 요청 메시지에 포함된 적어도 하나의 정보들로 상기 미디어 정보 데이터베이스에 저장된 미디어 정보를 검색하는 미디어 정보 검색부; 및 상기 미디어 정보 검색부를 통해 검색된 미디어 정보를 해당하는 상기 미디어 콘텐츠 재생 장치로 전송하는 미디어 정보 전송부를 포함하며, 상기 미디어 정보 요청 메시지는, 복수의 프레임들을 포함하는 상기 미디어 콘텐츠에서 선택된 적어도 하나의 프레임으로부터 추출된 텍스트 정보를 포함할 수 있다.
상기 미디어 정보 요청 메시지는 상기 미디어 콘텐츠로부터 추출된 적어도 하나의 이미지 정보를 더 포함하고, 상기 미디어 정보 검색부는 상기 수신된 미디어 정보 요청 메시지에 포함된 텍스트 정보를 통해 미디어 정보 검색에 실패할 경우, 상기 이미지 정보를 통해 미디어 정보를 더 검색할 수 있다.
한편, 상기 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 방법에 대한 정보는 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있다. 이러한 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있도록 프로그램 및 데이터가 저장되는 모든 종류의 기록매체를 포함한다. 그 예로는, 롬(Read Only Memory), 램(Random Access Memory), CD(Compact Disk), DVD(Digital Video Disk)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치, 임베디드 멀티미디어 카드(eMMC) 등이 있으며, 또한 케리어 웨이브(예를 들면, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함된다. 또한, 이러한 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
본 발명의 실시 예에 따르면, 미디어 콘텐츠 내의 특정 프레임 내에 포함된 텍스트 정보를 추출하고, 추출된 텍스트 정보로 관련 미디어 정보를 검색함으로써 가장 정확하고 적절한 미디어 정보를 자동으로 검색할 수 있다.
또한, 본 발명의 실시 예에 따르면, 미디어 콘텐츠 내의 특정 프레임 내에 포함된 텍스트 정보와 다른 각종 미디어 콘텐츠 관련 정보들(예컨대, 메타 데이터, 특정 키 프레임의 이미지, 텍스트 정보가 추출된 프레임의 시간 정보, 최초로 음성이 출력된 시간 정보 등)을 조합하여 관련 미디어 정보를 검색함으로써 가장 정확하고 적절한 미디어 정보를 자동으로 검색할 수 있다.
또한, 미디어 콘텐츠의 관련 정보를 검색함에 있어 미디어 콘텐츠의 파일명에만 의존하지 않음으로써 파일명이 검색의 신뢰도를 향상시킬 수 있는 장점이 있다.
도 1은 종래의 미디어 콘텐츠 관련 정보를 얻기 위한 프로그램 실행 화면을 나타내는 도면이다.
도 2는 본 발명의 실시 예에 따른 미디어 콘텐츠와 관련된 정보를 획득하는 개념을 나타내는 도면이다.
도 3은 본 발명의 실시 예에 따른 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 시스템을 나타내는 도면이다.
도 4는 본 발명의 실시 예에 따른 미디어 정보 재생 장치의 세부 구조를 나타내는 블록도이다.
도 5는 본 발명의 실시 예에 따른 미디어 정보 제공 서버의 세부 구조를 나타내는 블록도이다.
도 6은 본 발명의 실시 예에 따른 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 절차를 나타내는 흐름도이다.
도 7은 본 발명의 실시 예에 따른 시작 프레임으로부터 검색되는 프레임을 나타내는 도면이다.
도 8은 본 발명의 실시 예에 따른 종료 프레임으로부터 검색되는 프레임을 나타내는 도면이다.
도 9는 본 발명의 실시 예에 따른 시작 프레임으로부터 순차적으로 프레임을 검색하여 텍스트를 추출하는 절차를 나타내는 흐름도이다.
도 10은 본 발명의 실시 예에 따른 종료 프레임으로부터 역순으로 프레임을 검색하여 텍스트를 추출하는 절차를 나타내는 흐름도이다.
도 11 및 도 12는 본 발명의 실시 예에 따른 키 프레임에서의 텍스트 추출을 나타내는 도면이다.
도 13은 본 발명의 제1 실시 예에 따른 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 절차를 나타내는 흐름도이다.
도 14는 본 발명의 제2 실시 예에 따른 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 절차를 나타내는 흐름도이다.
도 15는 본 발명의 제3 실시 예에 따른 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 절차를 나타내는 흐름도이다.
도 16은 본 발명의 제4 실시 예에 따른 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 절차를 나타내는 흐름도이다.
도 17은 본 발명의 실시 예에 따른 미디어 콘텐츠 재생 화면에서 시작 프레임 및 종료 프레임으로부터 각각 검색된 프레임을 나타내는 도면이다.
도 18a 내지 도 18c는 시작 프레임으로부터 순차적으로 검색된 텍스트가 포함된 프레임을 나타내는 도면이다.
도 19a 내지 도 19d는 종료 프레임으로부터 역순으로 검색된 텍스트가 포함된 프레임을 나타내는 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시 예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시 예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시 예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시 예에 관련하여 본 발명의 사상 및 범위를 벗어나지 않으면서 다른 실시 예로 구현될 수 있다. 또한, 각각의 개시된 실시 예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 사상 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는 적절하게 설명된다면 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
한편, 본 발명에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 발명에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시 예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 2는 본 발명의 실시 예에 따른 미디어 콘텐츠와 관련된 정보를 획득하는 개념을 나타내는 도면이다. 도 2를 참조하면, 본 발명의 실시 예에 따른 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 방법으로서 복수의 프레임(예컨대, 이미지 프레임)들 중에서 적어도 하나의 특정 프레임에 대해 텍스트 정보를 추출하고, 추출된 텍스트 정보를 이용하여 미디어 정보를 검색할 수 있다.
한편, 후술하는 본 발명의 실시 예들에서 '미디어 콘텐츠'는 일정 시간 동안 재생 가능한 콘텐츠를 의미하는 최광의의 개념이며, 그 예로서 동영상 등이 포함될 수 있다. 또한, 상기 미디어 콘텐츠는 파일 형태로 저장부에 저장될 수 있으나, 본 발명이 이에 한정되는 것은 아니다.
또한, 본 발명의 실시 예들에서 미디어 콘텐츠는 도 2에 도시된 바와 같이 복수의 프레임들로 구성될 수 있으며, 미디어 콘텐츠의 재생되는 시간 순서에 따라 가장 처음 재생되는 프레임을 '시작 프레임(Start Frame)'이라 하고, 가장 마지막에 재생되는 프레임을 '종료 프레임(End Frame)'이라 할 수 있다. 이때, 본 발명의 실시 예들에서는 상기 시작 프레임과 종료 프레임 사이의 적어도 하나의 프레임 내에 포함된 텍스트를 추출함으로써 관련된 미디어 정보를 검색할 수 있다. 한편, 상기 미디어 콘텐츠에 포함된 복수의 프레임들 중에는 텍스트 정보를 포함하는 프레임과 텍스트 정보를 포함하지 않는 프레임이 섞여서 존재할 수 있다. 따라서, 본 발명에서는 상기 복수의 프레임들 중에서 텍스트 정보를 포함하는 프레임에 대해 해당 텍스트 정보를 추출하여 미디어 정보의 검색을 위한 검색 키워드로 사용한다.
한편, 상기 미디어 정보의 검색을 위해서는 본 발명의 실시 예에 따라 상기 특정 프레임에서 추출된 텍스트 정보가 사용될 수 있으며, 본 발명의 다양한 실시 예들에 따라 미디어 콘텐츠에 포함된 메타 데이터, 특정 키 프레임의 이미지, 텍스트 정보가 추출된 프레임의 시간 정보, 최초로 음성이 출력된 시간 정보 등을 조합하여 검색하도록 할 수도 있다. 이때, 상기 메타 데이터는 미디어 콘텐츠에 포함 또는 연결된 미디어 콘텐츠와 관련된 정보로서 미디어 콘텐츠 파일 내에 포함되어 배포될 수 있다. 상기 메타 데이터는 파일명, 재생 시간, 프레임 크기, 오디오 데이터 크기, 비디오 데이터 크기, 프레임 레이트, 픽셀의 종횡비, 키 프레임 정보, 비디오 코덱, 오디오 코덱 등의 정보 중 어느 하나 이상을 포함할 수 있다.
이와 같이, 미디어 콘텐츠로부터 추출된 각종 정보들을 키워드로 하여 미디어 정보 데이터베이스에 저장된 미디어 정보를 검색한다. 한편, 상기 미디어 정보 데이터베이스는 도 3에 도시된 바와 같이 미디어 콘텐츠 재생 장치(또는 미디어 정보 검색 장치)와는 별도의 서버에 연결되어, 인터넷 등을 통해 검색하도록 구현할 수 있다. 또한, 다른 방법으로서, 상기 미디어 정보 데이터베이스에 저장된 미디어 정보는 콘텐츠 재생 장치(또는 미디어 정보 검색 장치) 내의 저장부에 저장되어, 장치 내에서 검색을 수행하도록 구현할 수도 있다. 즉, 상기 미디어 정보 데이터베이스에는 특정 미디어 콘텐츠를 식별할 수 있는 미디어 콘텐츠 식별 정보와 각 미디어 콘텐츠 식별 정보에 해당하는 미디어 정보가 매핑되어 저장될 수 있다. 따라서, 상기 검색에 의해 특정 미디어 콘텐츠가 식별되면, 상기 식별된 미디어 콘텐츠에 매핑되어 저장된 해당 미디어 정보가 검색 결과로서 제공될 수 있다.
상기 미디어 콘텐츠에 매핑된 미디어 정보는 자막 정보(subtitle)를 포함할 수 있으며, 그 외 미디어 콘텐츠와 관련된 어떠한 정보들도 본 발명의 실시 예에 따른 미디어 정보가 될 수 있다.
이하, 후술하는 본 발명의 다양한 실시 예들에서는 검색 결과로서 제공되는 미디어 정보의 특정 예로서 자막 정보를 예를 들어 설명한다. 그러나, 본 발명이 이에 한정되지는 않는다.
아하, 도 3 내지 도 5를 참조하여 본 발명의 실시 예에 따른 시스템 및 장치의 구조를 설명하며, 다음으로 도 6 내지 도 19를 참조하여 본 발명의 실시 예들에 따른 절차 및 구현 예들을 상세히 설명한다.
도 3은 본 발명의 실시 예에 따른 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 시스템을 나타내는 도면이다. 도 3을 참조하면, 본 발명의 실시 예에 따른 시스템은, 미디어 콘텐츠 재생 장치(110), 통신 네트워크(120), 미디어 정보 제공 서버(130) 등을 포함하여 구성될 수 있다.
미디어 콘텐츠 재생 장치(110)는 사용자에 의해 선택된 특정 미디어 콘텐츠를 재생시키는 기능을 수행하며, 상술한 바와 같이 미디어 콘텐츠 재생을 위한 전용 장치를 의미할 수도 있으며, 컴퓨터 또는 휴대용 기기 등에 프로그램 형태로 설치된 애플리케이션을 의미할 수도 있다. 또한, 상기 도 3에서는 미디어 콘텐츠 재생 장치(110)로 도시되었으나, 본 발명의 다른 실시 예에 따라 미디어 콘텐츠의 재생 기능을 포함하지 않고 미디어 콘텐츠와 관련된 정보의 검색만을 수행하기 위한 미디어 정보 검색 장치로 대체될 수도 있다. 즉, 본 발명의 실시 예에 따라 미디어 콘텐츠 재생 장치(110)는 미디어 콘텐츠의 재생 기능과 함께 해당 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 기능을 동시에 수행될 수도 있으며, 미디어 콘텐츠의 재생을 위한 장치와 상기 미디어 콘텐츠와 관련된 미디어 정보를 검색하기 위한 장치가 별도의 소프트웨어 또는 하드웨어로 구성될 수도 있다.
예컨대, 본 발명의 실시 예에 따른 미디어 콘텐츠 재생 장치(110)는 연산 수단(예컨대, 제어부)을 구비하는 임의의 장치일 수 있으며, 디지털 카메라, 스마트폰, 휴대폰, 게임기, 텔레비전(TV), 디스플레이 장치, 차량용 헤드 유닛, 노트북 컴퓨터, 랩탑 컴퓨터, 태블릿(Tablet) 컴퓨터, PMP(Personal Media Player), PDA(Personal Digital Assistants), 내비게이션 장치, 은행의 ATM, 상점의 POS(Point of sales) 장치 등일 수 있다. 또한, 본 발명의 실시 예에 따른 미디어 콘텐츠 재생 장치(110)는 플렉서블 장치 또는 플렉서블 디스플레이 장치일 수 있다.
상기 미디어 콘텐츠 재생 장치(110)는 통신 네트워크(120)를 통해 미디어 정보 제공 서버(130)로 본 발명의 다양한 실시 예들에 따라 검색을 위한 적어도 하나의 정보를 전송하며, 검색 결과로서 미디어 정보를 상기 미디어 정보 제공 서버(130)로부터 제공받는다.
즉, 미디어 정보 제공 서버(130)는 상기 미디어 콘텐츠 재생 장치(110)로부터 적어도 하나의 정보(예컨대, 본 발명의 실시 예에 따라 미디어 콘텐츠의 프레임 내에 포함된 텍스트 정보)를 수신하고, 상기 수신된 정보를 키워드로 하여 미디어 정보 데이터베이스(131)에 저장된 미디어 정보를 검색한다. 그런 다음, 미디어 정보 제공 서버(130)는 상기 검색된 미디어 정보를 통신 네트워크(120)를 통해 미디어 콘텐츠 재생 장치(110)로 제공한다.
한편, 상기 도 3에는 상기 미디어 콘텐츠 재생 장치(110)에서 통신 네트워크(120)를 통해 미디어 정보 제공 서버(130)로 관련 미디어 정보의 검색을 요청하는 것으로 도시되어 있으나, 전술한 바와 같이 본 발명의 다른 실시 예에 따라 미디어 콘텐츠 재생 장치(110) 내에 저장된 미디어 정보를 직접 검색하도록 구현될 수도 있다.
상기 통신 네트워크(120)는 유선 및 무선 등과 같은 그 통신 양태를 가리지 않고 구성될 수 있으며, 단거리 통신망(PAN; Personal Area Network), 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 또한, 상기 통신 네트워크(120)는 공지의 월드와이드웹(WWW; World Wide Web)일 수 있으며, 적외선(Infrared Data Association; IrDA) 또는 블루투스(Bluetooth)와 같이 단거리 통신에 이용되는 무선전송기술을 이용할 수도 있다.
미디어 정보 데이터베이스(131)에는 각 미디어 콘텐츠에 해당하는 다양한 미디어 정보들이 저장될 수 있으며, 특정 미디어 콘텐츠에 적어도 하나의 미디어 정보들이 매핑되어 저장될 수 있다. 따라서, 상기 미디어 콘텐츠 재생 장치(110)로부터 전송된 정보(예컨대, 미디어 콘텐츠로부터 추출된 정보 또는 미디어 콘텐츠와 함게 저장된 정보 등)로부터 상기 전송된 정보에 해당하는 미디어 콘텐츠를 식별하고, 상기 식별된 미디어 콘텐츠에 매핑하여 저장된 미디어 정보(예컨대, 자막 정보)를 상기 미디어 콘텐츠 재생 장치(110)로 전송한다.
이하, 도 4 및 도 5를 참조하여 상기 미디어 콘텐츠 재생 장치(110) 및 미디어 정보 제공 서버(130)의 세부 구성을 상세히 설명한다.
도 4는 본 발명의 실시 예에 따른 미디어 정보 재생 장치의 세부 구조를 나타내는 블록도이다. 도 4를 참조하면, 본 발명의 실시 예에 따른 미디어 정보 재생 장치는 저장부(410), 제어부(420), 표시부(430), 입력부(440) 및 통신부(450) 등을 포함하여 구성할 수 있다.
저장부(410)에는 미디어 콘텐츠가 저장될 수 있으며, 미디어 콘텐츠의 관련 미디어 정보를 더 저장할 수도 있다. 이때, 상기 미디어 콘텐츠와 매핑된 미디어 정보를 함께 저장할 경우, 미디어 정보 제공 서버(130)로 미디어 정보 검색을 요청하지 않고서도 장치 내에서 검색이 가능할 수 있다.
제어부(420)는 본 발명의 실시 예에 따라 미디어 콘텐츠와 관련된 미디어 정보에 대한 검색을 요청하고, 검색 결과를 수신하는 기능을 수행한다. 따라서, 상기 제어부(420)는 본 발명의 실시 예에 따라 프레임 선택부(421), 텍스트 추출부(422), 프레임 정보 수집부(423), 미디어 정보 요청부(424), 미디어 정보 수신부(425) 및 미디어 재생 처리부(426) 중에서 어느 하나 이상을 포함할 수 있다.
프레임 선택부(421)는 미디어 콘텐츠를 구성하는 복수의 프레임들 중에서 텍스트를 추출할 특정 프레임을 선택하는 기능을 수행한다. 이때, 상기 프레임 선택부(421)에서 프레임을 선택하는 방법은 본 발명의 실시 예들에 따라 다양하게 구현될 수 있다.
예컨대, 미디어 콘텐츠의 시작 프레임으로부터 키 프레임(key frame)들을 순차적으로 검색하고, 텍스트가 포함된 가장 최초로 검색된 프레임을 텍스트 추출을 위한 프레임으로 선택할 수 있다. 또한, 다른 실시 예에 따라 미디어 콘텐츠의 종료 프레임으로부터 키 프레임(key frame)들을 역순으로 검색하고, 텍스트가 포함된 가장 최초로 검색된 프레임을 텍스트 추출을 위한 프레임으로 선택할 수 있다. 한편, 상기 프레임 선택부(421)는 하나의 프레임을 선택할 수도 있으며, 둘 이상의 프레임들을 선택할 수도 있다. 이에 대한 상세한 실시 예들은 도 7 이하에서 후술하기로 한다.
텍스트 추출부(422)는 상기 프레임 선택부(421)에서 선택한 프레임으로부터 텍스트를 추출하는 기능을 수행한다. 상기 텍스트 추출부(422)에서의 텍스트 추출 방법은 공지된 다양한 기술들 중에서 적어도 일부 기술을 이용하여 구현될 수 있다. 예컨대, OCR(Optical Character Recognition) 등과 같은 광학 문자 인식 기술을 이용하여 텍스트를 추출할 수도 있으며, 본 발명이 이에 한정되지는 않는다.
미디어 정보 요청부(424)는 상기 텍스트 추출부(422)로부터 추출된 텍스트를 키워드로 하여 미디어 정보를 요청하는 기능을 수행한다. 이때, 상기 미디어 정보 요청부(424)는 본 발명의 실시 예에 따라 상기 장치 내의 저장부(410)에 저장된 미디어 정보를 요청할 수도 있으며, 통신부(450)를 통해 미디어 정보 제공 서버(130)로 미디어 정보를 요청할 수도 있다. 또한, 상기 미디어 정보 요청부(424)는 상기 미디어 정보를 요청하기 위해 수집 또는 추출된 각 정보들을 쿼리(query) 정보로 형성하여 통신 네트워크(120)를 통해 정보를 요청할 수 있다.
통신부(450)는 미디어 콘텐츠 재생 장치(110)의 네트워크 통신 기능을 제공하며, 미디어 정보 요청부(424)로부터 미디어 정보에 대한 검색을 요청하는 메시지를 미디어 정보 제공 서버(130)로 전송하고, 상기 미디어 정보 제공 서버(130)로부터 검색된 미디어 정보를 수신하는 기능을 수행할 수 있다.
한편, 본 발명의 실시 예에 따라 상기 미디어 정보 요청부(424)는 상기 텍스트 추출부(422)를 통해 제공된 프레임으로부터 추출된 텍스트로 미디어 정보를 요청할 수도 있으며, 본 발명의 다양한 실시 예들에 따라 상기 저장부(410)에 저장된 미디어 콘텐츠와 관련된 정보(예컨대, 메타 데이터)를 함께 전송함으로써 미디어 정보를 요청할 수도 있다. 또한, 본 발명의 다른 실시 예에 따라 프레임 정보 수집부(423)를 통해 상기 선택된 프레임에 대한 관련 정보(예컨대, 해당 프레임의 시간 정보, 해당 프레임의 순서 정보 등) 더 제공받아 미디어 정보 제공 서버(130)로 전송함으로써 보다 정확한 미디어 정보를 얻을 수 있다. 즉, 프레임 정보 수집부(423)는 프레임 선택부(421)에서 선택된 프레임에 대한 프레임 관련 정보를 수집하고, 이를 미디어 정보 요청부(424)에 제공하여 함께 검색을 요청하도록 구현할 수 있다.
미디어 정보 수신부(425)는 상기 미디어 정보 요청부(424)에 의해 요청된 미디어 정보를 수신하여, 미디어 재생 처리부(426)로 제공한다.
미디어 재생 처리부(425)는 입력부(440)를 통한 사용자의 미디어 콘텐츠 재생 요청에 따라 선택된 미디어 콘텐츠를 재생하여 표시부(예컨대, 스크린)(430)를 통해 디스플레이시킨다. 이때, 상기 미디어 정보 수신부(425)를 통해 수신된 미디어 콘텐츠와 관련된 미디어 정보를 표시부(430)에 함께 표시되도록 할 수 있다. 예컨대, 상기 미디어 정보 수신부(425)를 통해 수신된 미디어 정보가 자막 정보일 경우, 상기 미디어 콘텐츠 재생 시 해당 자막 정보가 동기화되어 화면에 표시될 수 있다.
한편, 상기 미디어 재생 처리부(426)는 입력부(440)를 통해 사용자가 선택한 특정 미디어 콘텐츠에 대한 재생이 요청되면, 본 발명의 실시 예에 따라 상기 선택된 미디어 콘텐츠와 관련된 미디어 정보의 검색 과정이 실시간으로 함께 수행될 수 있다. 따라서, 상기 미디어 재생 처리부(426)에서는 프레임 선택부(421)로 상기 선택된 미디어 콘텐츠에서 검색을 위한 특정 프레임을 선택하도록 제어할 수 있다.
한편, 상기 도 4에서는 미디어 재생 처리부(426)에 의해 미디어 콘텐츠에 대한 재생이 요청될 때, 관련된 미디어 정보의 검색이 요청되는 것으로 설명하였으나, 전술한 바와 같이 미디어 콘텐츠의 재생과는 별도로 미디어 콘텐츠와 관련된 미디어 정보의 검색 절차가 수행되도록 구현할 수도 있다.
상기 제어부(420)는 CPU(Central Processing Unit), 미디어 콘텐츠 재생 장치(110)의 제어를 위한 제어 프로그램이 저장된 롬(ROM) 및 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 장치 내에서 수행되는 작업을 위한 기억 영역으로 사용되는 램(RAM)을 포함할 수 있다. CPU는 싱글 코어, 듀얼 코어, 트리플 코어 또는 쿼드 코어를 포함할 수 있다. CPU, 롬 및 램은 내부 버스(bus)를 통해 상호 연결될 수 있다.
또한, 제어부(420)는 저장부(410), 입력부(440), 통신부(450), 표시부(430) 등을 제어할 수 있다.
이때, 제어부(110)는 본 발명의 다양한 실시 예들에 따라 재생 요청된 미디어 콘텐츠 및 검색 결과로 수신된 미디어 정보를 표시부(430)(예컨대, 스크린)에 표시하도록 제어하고, 입력부(440)(예컨대, 입/출력 모듈)의 입력 신호에 따라 상기 화면 정보와 관련된 다양한 기능들을 실행하도록 제어할 수 있다.
한편, 본 발명의 실시 예에 따라 상기 입력부(440)는 터치 스크린을 통한 사용자 입력 외에, 카메라 모듈을 통한 제스처 입력, 버튼 또는 키패드를 통한 스위치/버튼 입력, 마이크를 통한 음성 입력, 리모콘을 통한 원격 입력 등을 포함할 수 있다.
통신부(450)는 제어부(420)의 제어에 따라 적어도 하나-하나 또는 복수-의 안테나를 이용하여 이동 통신을 통해 미디어 콘텐츠 재생 장치(110)가 외부 전자 장치(예컨대, 미디어 정보 제공 서버(130))와 연결되도록 할 수 있다. 또한, 상기 통신부(450)는 무선랜 모듈과 근거리 통신 모듈 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선랜 모듈만을 포함하거나, 근거리 통신 모듈만을 포함하거나 또는 무선랜 모듈과 근거리 통신 모듈을 모두 포함할 수 있다.
무선랜 모듈은 제어부(420)의 제어에 따라 무선 액세스 포인트(AP, access point)가 설치된 장소에서 인터넷에 연결될 수 있다. 무선랜 모듈은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE 802.11x)을 지원할 수 있다. 근거리 통신 모듈은 제어부(420)의 제어에 따라 미디어 콘텐츠 재생 장치(110)와 외부 전자 장치(예컨대, 미디어 정보 제공 서버(130)) 사이에 무선으로 근거리 통신을 할 수 있다. 근거리 통신 방식은 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association), 와이파이 다이렉트(WiFi-Direct) 통신, NFC(Near Field Communication) 등이 포함될 수 있다.
따라서, 본 발명의 실시 예들에 따라 상기 미디어 콘텐츠 재생 장치(110)는 미디어 정보 제공 서버(130)와 이동 통신 모듈, 서브 통신 모듈, 무선랜 모듈 중 어느 하나의 모듈에 의해 통신할 수 있다.
한편, 상기 제어부(420) 내에 멀티미디어 모듈을 더 포함할 수 있으며, 상기 미디어 재생 처리부(426)가 멀티미디어 모듈에 해당할 수 있다. 예컨대, 상기 멀티미디어 모듈은 오디오 재생 모듈 또는 동영상 재생 모듈을 포함할 수 있다. 오디오 재생 모듈은 제어부(410)의 제어에 따라 저장부(410)에 저장되거나 또는 수신되는 디지털 오디오 파일(예, 파일 확장자가 mp3, wma, ogg 또는 wav인 파일)을 재생할 수 있다. 동영상 재생 모듈은 제어부(420)의 제어에 따라 저장되거나 또는 수신되는 디지털 동영상 파일(예컨대, 파일 확장자가 mpeg, mpg, mp4, avi, mov, 또는 mkv인 파일)을 재생할 수 있다.
입력부(440)는 적어도 하나의 버튼, 적어도 하나의 마이크, 적어도 하나의 진동 소자, 커넥터, 키패드 및 입력 유닛 중 적어도 하나를 포함할 수 있다. 그리고, 이러한 입/출력 모듈은 이에 국한되지 않으며, 마우스, 트랙볼, 조이스틱 또는 커서 방향 키들과 같은 커서 컨트롤(cursor control) 표시부(예컨대, 스크린) 상의 커서의 움직임을 제어하기 위해 제공될 수 있다.
저장부(410)는 제어부(420)의 제어에 따라 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(410)는 미디어 콘텐츠 재생 장치(110) 또는 제어부(410)의 제어를 위한 제어 프로그램 및 애플리케이션들을 저장할 수 있다.
'저장부'라는 용어는 저장부(410), 제어부(420) 내의 롬, 램 또는 미디어 콘텐츠 재생 장치(110)에 장착되는 메모리 카드(예를 들어, SD 카드, 메모리 스틱) 등의 임의의 데이터 저장 장치를 지칭하는 용어로 사용될 수 있다. 저장부(410)는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수도 있다.
저장부(410)는 기계(예를 들어, 컴퓨터)로 읽을 수 있는 매체이며, 기계로 읽을 수 있는 매체라는 용어는 기계가 특정 기능을 수행할 수 있도록 상기 기계로 데이터를 제공하는 매체로 정의될 수 있다. 저장부(410)는 비휘발성 매체(non-volatile media) 및 휘발성 매체를 포함할 수 있다. 이러한 모든 매체는 상기 매체에 의해 전달되는 명령들이 상기 명령들을 상기 기계로 읽어 들이는 물리적 기구에 의해 검출될 수 있도록 유형의 것이어야 한다.
상기 기계로 읽을 수 있는 매체는, 이에 한정되지 않지만, 플로피 디스크(floppy disk), 플렉서블 디스크(flexible disk), 하드 디스크, 자기 테이프, 시디롬(compact disc read-only memory: CD-ROM), 광학 디스크, 펀치 카드(punch card), 페이퍼 테이프(paper tape), 램, 피롬(Programmable Read-Only Memory: PROM), 이피롬(Erasable PROM: EPROM), 플래시-이피롬(FLASH-EPROM), 및 임베디드 멀티미디어 카드(eMMC(embedded Multi Media Card)) 중의 적어도 하나를 포함할 수 있다.
이상으로, 도 4를 참조하여 미디어 콘텐츠 재생 장치(110)에 대해 상세히 설명하였다. 이하, 도 5를 참조하여 미디어 정보 제공 서버(130)를 상세히 설명한다.
도 5는 본 발명의 실시 예에 따른 미디어 정보 제공 서버의 세부 구조를 나타내는 블록도이다. 도 5를 참조하면, 본 발명의 실시 예에 따른 미디어 정보 제공 서버(130)는 요청 정보 수신부(510), 미디어 정보 검색부(520), 미디어 정보 전송부(530) 등을 포함하여 구성될 수 있다.
요청 정보 수신부(510)는 각 미디어 콘텐츠 재생 장치(110)로부터 전송된 미디어 정보 요청 메시지를 수신하는 기능을 수행한다. 상기 미디어 정보 요청 메시지에는 미디어 정보 검색을 위한 적어도 하나의 키워드 정보(예컨대, 특정 프레임으로부터 추출된 적어도 하나의 텍스트 정보 등), 이미지 정보, 미디어 콘텐츠와 관련된 각종 메타 데이터 등을 포함할 수 있다.
미디어 정보 검색부(520)는 상기 수신된 미디어 정보 요청 메시지에 포함된 각종 정보들을 통해 미디어 정보를 검색하는 기능을 수행한다. 이때, 상기 미디어 정보 검색부(520)는 미디어 정보 데이터베이스(131)를 통해 기저장된 미디어 정보를 검색할 수 있다. 예컨대, 상기 수신된 각종 정보들이 상기 미디어 정보 데이터베이스(131)에 저장된 복수의 미디어 콘텐츠들 중에서 어떤 미디어 콘텐츠에 해당하는 정보인지를 식별한다. 그런 다음, 상기 식별 결과 상기 수신된 정보가 특정 미디어 콘텐츠에 해당하는 정보일 경우, 상기 해당 미디어 콘텐츠에 대해 매핑된 미디어 정보(예컨대, 자막 정보)를 미디어 정보 전송부(530)를 통해 상기 해당 미디어 콘텐츠 재생 장치(110)로 전송한다.
한편, 상기 도 4 및 도 5에서 상술한 미디어 콘텐츠 재생 장치(110) 또는 미디어 정보 제공 서버(130)의 각각의 구성요소들은 기능 및 논리적으로 분리될 수 있음을 나타나기 위해 별도로 도면에 표시한 것이며, 물리적으로 반드시 별도의 구성요소이거나 별도의 코드로 구현되는 것을 의미하는 것은 아니다.
그리고 본 명세서에서 각 기능부라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 각 기능부는 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
이상으로 본 발명의 시스템을 구성하는 미디어 콘텐츠 재생 장치(110) 및 미디어 정보 제공 서버(130)의 세부 구성에 대해 상세히 설명하였다. 이하, 도 6 내지 도 19를 참조하여 본 발명의 실시 예에 따른 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 세부적인 실시 예들을 상세히 설명하기로 한다.
먼저, 도 6 내지 도 12를 참조하여, 본 발명의 실시 예에 따라 미디어 정보 검색을 위해 사용되는 텍스트 추출을 위한 프레임을 선택하는 각종 실시 예들을 상세히 설명하며, 다음으로 도 13 내지 도 19를 참조하여 본 발명의 다양한 실시 예들에 따라 미디어 정보 검색을 위해 사용되는 각종 정보들의 예를 상세히 설명한다.
도 6은 본 발명의 실시 예에 따른 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 절차를 나타내는 흐름도이다. 도 6을 참조하면, 복수의 프레임들을 포함하는 특정 미디어 콘텐츠에서 적어도 하나의 프레임을 선택(S601)한다. 상기 프레임을 선택하는 방법의 구체적인 실시 예들은 후술하기로 한다.
그런 다음, 상기 선택된 프레임 내에 포함된 텍스트 정보를 추출(S602)한다. 이때, 상기 미디어 콘텐츠에 포함된 각 프레임은 이미지 프레임일 수 있으며, 상기 단계에서 이미지 내에 포함된 텍스트를 추출하는 방법은 다양한 방법들로 구현될 수 있다. 예컨대, 상술한 바와 같이 OCR 기법을 이용하여 각 프레임 이미지에서 텍스트 정보를 파싱(parsing)함으로써 추출할 수도 있다.
다음으로, 상기 추출된 텍스트 정보를 포함하여 미디어 정보 검색을 요청(S603)한다. 이때, 상기 도 6에서는 상기 추출된 텍스트 정보를 이용하여 미디어 정보를 검색하도록 설명하고 있으며, 본 발명의 다양한 실시 예들에 따라(예컨대, 도 13 내지 도 16에서와 같이), 미디어 콘텐츠로부터 추출된 또는 미디어 콘텐츠 내에 포함된 다양한 정보들이 미디어 정보 검색을 위해 함께 사용될 수 있다.
이와 같이, 상기 미디어 정보 검색 요청에 따라 미디어 정보가 검색되고, 검색 결과에 해당하는 미디어 정보를 수신하면, 수신된 미디어 정보를 저장하거나, 화면상에서 표시하게 된다. 또한, 본 발명의 실시 예에 따라 상기 수신된 미디어 정보가 자막 정보일 경우, 상기 미디어 콘텐츠의 재생 시 상기 자막 정보가 각 화면의 프레임과 동기화되어 화면상에 함께 표시될 수 있다.
이하, 도 7 내지 도 12를 참조하여, 본 발명의 실시 예에 따른 미디어 정보 검색을 위해, 상기 검색을 위한 정보로 사용되는 텍스트를 추출하기 위한 프레임 정보를 선택하는 예들을 설명한다.
도 7은 본 발명의 실시 예에 따른 시작 프레임으로부터 검색되는 프레임을 나타내는 도면이며, 도 8은 본 발명의 실시 예에 따른 종료 프레임으로부터 검색되는 프레임을 나타내는 도면이다.
먼저, 도 7을 참조하면, 텍스트를 추출할 프레임을 선택하기 위해 먼저 미디어 콘텐츠의 시작 프레임(예컨대, 00:00 시간)으로부터 순차적으로 프레임을 검사한다. 이때, 프레임의 검사는 모든 프레임에 대해 수행할 수도 있으며, 키 프레임(key frame)에 대해서만 수행할 수도 있으며, 일정 시간 간격마다 수행할 수도 있다. 상기 키 프레임에 대한 설명은 도 11 및 도 12에서 후술하기로 한다.
이와 같이, 순차적으로 프레임을 검사하여, 해당 프레임 내에 텍스트가 포함되어 있는 지를 검사하며, 본 발명의 실시 예에 따라 텍스트가 포함된 최초의 프레임을 Z1으로 표시한다. 한편, 상기 미디어 콘텐츠가 영화 동영상일 경우, Z1 프레임은 도 18a에 도시된 바와 같은 영화 배급사의 명칭을 텍스트로 포함하는 화면일 수 있다.
이때, 본 발명의 실시 예에 따라, 상기 Z1 프레임으로부터 미리 설정된 Y 시간 간격으로 X1 개의 프레임을 선택할 수 있다. 따라서, 상기 도 7에서와 같은 실시 예에서는 Z1, Z1+Y, Z1+2Y,..., Z1+(X1-1)Y 등의 X1 개의 프레임이 선택될 수 있다.
이와 같이 선택된 X1 개의 각 프레임에 대해 본 발명의 실시 예에 따라 텍스트 추출이 수행된다. 이에 따라, 추출된 적어도 하나의 텍스트 정보는 상기 미디어 콘텐츠에 대한 미디어 정보를 검색하기 위한 검색 키워드로 사용될 수 있다.
한편, 상기 프레임의 순차적인 검색은 미디어 콘텐츠 재생 장치의 빨기 감기(FF(Fast Forwarding)) 기능을 이용하여 구현될 수도 있으나, 본 발명이 이에 한정되는 것은 아니다.
다음으로, 도 8을 참조하면, 텍스트를 추출할 프레임을 선택하기 위해 먼저 미디어 콘텐츠의 종료 프레임(또는 마지막 프레임)으로부터 역순으로 프레임을 검사한다. 이때, 프레임의 검사는 모든 프레임에 대해 수행할 수도 있으며, 키 프레임(key frame)에 대해서만 수행할 수도 있으며, 일정 시간 간격마다 수행할 수도 있다. 상기 키 프레임에 대한 설명은 도 11 및 도 12에서 후술하기로 한다.
이와 같이, 종료 프레임으로부터 역순으로 프레임을 검사하여, 해당 프레임 내에 텍스트가 포함되어 있는 지를 검사하며, 본 발명의 실시 예에 따라 텍스트가 포함된 최초의 프레임을 Z2로 표시한다. 한편, 상기 미디어 콘텐츠가 영화 동영상일 경우, Z2 프레임은 도 19a에 도시된 바와 같은 영화의 명칭을 텍스트로 포함하는 화면일 수 있다.
이때, 본 발명의 실시 예에 따라, 상기 Z2 프레임으로부터 미리 설정된 Y 시간 간격으로 X2 개의 프레임을 선택할 수 있다. 따라서, 상기 도 8에서와 같은 실시 예에서는 Z2, Z2-Y, Z2-2Y,..., Z2-(X2-1)Y 등의 X2 개의 프레임이 선택될 수 있다.
이와 같이 선택된 X2 개의 각 프레임에 대해 본 발명의 실시 예에 따라 텍스트 추출이 수행된다. 이에 따라, 추출된 적어도 하나의 텍스트 정보는 상기 미디어 콘텐츠에 대한 미디어 정보를 검색하기 위한 검색 키워드로 사용될 수 있다.
한편, 상기 프레임의 역순 검색은 미디어 콘텐츠 재생 장치의 되감기(REW(Rewinding)) 기능을 이용하여 구현될 수도 있으나 본 발명이 이에 한정되는 것은 아니다.
도 9는 본 발명의 실시 예에 따른 시작 프레임으로부터 순차적으로 프레임을 검색하여 텍스트를 추출하는 절차를 나타내는 흐름도이며, 도 10은 본 발명의 실시 예에 따른 종료 프레임으로부터 역순으로 프레임을 검색하여 텍스트를 추출하는 절차를 나타내는 흐름도이다. 도 9 및 도 10을 참조하면, 각각 전술한 도 7 및 도 8에 의한 방법으로 프레임을 선택하여 텍스트를 추출할 수 있다.
즉, 도 7을 참조하여 도 9를 설명하면, 먼저 시작 프레임으로부터 순차적으로 키 프레임을 검색(S901)한다. 이때, 해당 검색된 키 프레임에 텍스트 정보가 포함(S902-N)되어 있지 않으면, 다음 키 프레임을 검색한다.
만약, 검색된 키 프레임에 텍스트 정보가 포함되어 있을 경우(S902-Y), 상기 포함된 텍스트 정보를 추출하여 저장(S903)하고, 해당 프레임을 Z1으로 표시(S904)한다.
그런 다음, 이후 미리 설정된 Y 시간(예컨대, Y 초(second)) 간격으로, 다음 키 프레임들을 검색(S905)한다. 해당 검색된 키 프레임에 텍스트 정보가 포함되어 있을 경우(S906-Y), 해당 텍스트 정보를 추출하여 저장(S907)한다.
상기 키 프레임의 검색 절차를 다음 Y 시간마다 반복 수행하며, 검색된 프레임의 수가 미리 설정된 X1 개 이상일 경우(S908-Y) 상기 텍스트 정보 추출 절차를 종료한다. 이렇게 함으로써, 미디어 콘텐츠의 시작 부분에서 특정 개수의 텍스트를 효과적으로 추출해 낼 수 있다. 즉, 일반적으로 영화 동영상의 경우 도 18a 내지 도 18c에서와 같이 영화 도입부에 배급사, 영화의 제목, 주연 배우 등과 같은 영화와 관련된 주요 정보들이 영화 화면 내에 텍스트로 포함될 수 있다. 따라서, 본 발명의 실시 예에서와 같이, 시작 프레임으로부터 최초 텍스트가 포함된 프레임을 먼저 검출하고, 해당 검출된 프레임으로부터 일정 시간 동안의 프레임들에 포함된 텍스트를 추출함으로써 해당 미디어 콘텐츠와 관련된 주요한 정보들을 획득할 수가 있게 된다.
다음으로, 도 8을 참조하여 도 10을 설명하면, 먼저 마지막 프레임(즉, 종료 프레임)으로부터 역순으로 키 프레임을 검색(S1001)한다. 이때, 해당 검색된 키 프레임에 텍스트 정보가 포함(S1002-N)되어 있지 않으면, 이전 키 프레임을 검색한다.
만약, 검색된 키 프레임에 텍스트 정보가 포함되어 있을 경우(S1002-Y), 상기 포함된 텍스트 정보를 추출하여 저장(S1003)하고, 해당 프레임을 Z2로 표시(S1004)한다.
그런 다음, 미리 설정된 Y 시간(예컨대, Y 초(second)) 간격으로, 이전 키 프레임들을 검색(S1005)한다. 해당 검색된 키 프레임에 텍스트 정보가 포함되어 있을 경우(S1006-Y), 해당 텍스트 정보를 추출하여 저장(S1007)한다.
상기 키 프레임의 검색 절차를 다음 Y 시간마다 반복 수행하며, 검색된 프레임의 수가 미리 설정된 X2 개 이상일 경우(S1008-Y) 상기 텍스트 정보 추출 절차를 종료한다. 이렇게 함으로써, 미디어 콘텐츠의 종료 부분에서 특정 개수의 텍스트를 효과적으로 추출해 낼 수 있다. 즉, 일반적으로 영화 동영상의 경우 도 19a 내지 도 19d에서와 같이 영화 마지막 부분에 출연 배우, 스태프, 영화 제목 등과 같은 영화와 관련된 주요 정보들이 영화 화면 내에 텍스트로 포함될 수 있다. 따라서, 본 발명의 실시 예에서와 같이, 종료 프레임으로부터 역순으로 최초 텍스트가 포함된 프레임을 먼저 검출하고, 해당 검출된 프레임으로부터 이전 일정 시간 동안의 프레임들에 포함된 텍스트를 추출함으로써 해당 미디어 콘텐츠와 관련된 주요한 정보들을 획득할 수가 있게 된다.
도 11 및 도 12는 본 발명의 실시 예에 따른 키 프레임에서의 텍스트 추출을 나타내는 도면이다. 전술한 바와 같이 미디어 콘텐츠에 포함된 복수의 프레임들 중에서 일정 시간 간격마다의 프레임을 검사할 수 있으며, 미디어 콘텐츠의 프레임들이 도 11 및 도 12에 도시된 바와 같이 GOP(Group of Pictures)의 형태로 구성될 경우, 특정 키 프레임(key frame)(예컨대, 도 11 및 도 12에서는 I-프레임(I-frame))만을 검사함으로써 텍스트 정보를 효과적으로 추출할 수 있다.
GOP는 동영상 압축시 I-프레임, P-프레임 및 B-프레임의 수를 조절함으로써 화질 저하를 최소화하면서 동영상의 크기를 줄이는 압축 기술이다. 이때, 상기 I-프레임은 압축에서 기본이 되는 프레임으로 키 프레임이라고도 하며, 완전한 하나의 이미지를 형성할 수 있다. 한편, P-프레임 및 B-프레임은 I-프레임을 기준으로 변환된 부분(움직인 부분)의 정보만 가지고 있는 프레임이다. 따라서, I-프레임의 수가 많으면 화질은 좋아지는 반면 비트 레이트가 올라가고 파일 사이즈가 커지게 된다. 따라서, 압축시 움직임이 많을 수 있으며 장면변화가 심한 동영상은 I-프레임이 많아 상대적으로 움직임이 거의 없는 동영상(즉, I-프레임의 수가 적은 동영상)보다 비트 레이트가 높고 파일 사이즈가 커지게 된다.
도 11 및 도 12에서는 하나의 GOP가 하나의 I-프레임과 복수의 P-프레임 및 B-프레임들로 구성된 예를 나타낸다. 따라서, 본 발명의 실시 예에서는 키 프레임인 I-프레임에 대해서만 텍스트 정보의 추출을 수행할 수 있다.
따라서, 도 11을 참조하면, 본 발명의 실시 예에 따라 먼저 제1 GOP의 I-프레임부터 순차적으로 I-프레임 내에 텍스트가 포함되어 있는지를 검사한다. 상기 검사 결과 도시된 바와 같이 제K GOP의 I-프레임에 가장 먼저 텍스트가 검출될 경우, 상기 제K GOP의 I-프레임을 Z1으로 표시할 수 있다. 그런 다음, 상술한 바와 같이 Y 시간 간격으로 다음 I-프레임을 검사하거나, 매 I-프레임을 검사할 수도 있다.
마찬가지로, 도 12를 참조하면, 본 발명의 실시 예에 따라 먼저 미디어 콘텐츠의 마지막 프레임인 제N GOP의 I-프레임부터 역순으로 I-프레임 내에 텍스트가 포함되어 있는지를 검사한다. 상기 검사 결과 도시된 바와 같이 제L GOP의 I-프레임에 가장 먼저 텍스트가 검출될 경우, 상기 제L GOP의 I-프레임을 Z2로 표시할 수 있다. 그런 다음, 상술한 바와 같이 Y 시간 간격으로 이전 I-프레임을 검사하거나, 매 이전 I-프레임을 검사할 수도 있다.
이하, 도 13 내지 도 16을 참조하여, 본 발명의 각 실시 예들에 따른 각종 정보를 이용하여 미디어 정보를 검색하는 방법들을 상세히 설명한다. 예컨대, 후술하는 설명에서는 4가지 실시 예에 따른 방법들이 설명되며, 본 발명이 후술하는 실시 예들로 한정되는 것은 아니다.
도 13은 본 발명의 제1 실시 예에 따른 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 절차를 나타내는 흐름도이다. 도 13을 참조하면, 복수의 프레임들을 포함하는 특정 미디어 콘텐츠에서 적어도 하나의 프레임을 상술한 방법들에서와 같이 선택(S1301)한다.
그런 다음, 상기 선택된 프레임 내에 포함된 텍스트 정보를 추출(S1302)한다. 이때, 상기 미디어 콘텐츠에 포함된 각 프레임은 이미지 프레임일 수 있으며, 상기 단계에서 이미지 내에 포함된 텍스트를 추출하는 방법은 전술한 바와 같이 다양한 방법들로 구현될 수 있다.
다음으로, 본 발명의 제1 실시 예에 따라 특정 키 프레임으로부터 적어도 하나의 이미지를 추출(S1303)한다. 이때, 하나의 프레임이 하나의 이미지를 형성할 수 있으므로, 상기 추출된 이미지 정보는 해당 프레임 자체일 수도 있다. 한편, 상기와 같이 이미지를 추출하는 특정 프레임은 상기 텍스트 정보가 추출된 적어도 하나의 프레임일 수도 있으며, 미리 설정된 특정 시간의 프레임 또는 미리 설정된 순번의 프레임일 수도 있다.
그런 다음, 상기 추출된 텍스트 정보와 이미지 정보를 포함하여 미디어 정보 검색을 요청(S1304)한다. 이와 같이, 특정 프레임으로부터 추출된 텍스트 정보에 이미지 정보를 더 포함하여 미디어 정보 검색을 수행함으로써 텍스트 정보만을 사용하여 검색할 때보다 검색의 정확성을 더 높일 수 있다.
한편, 상기 미디어 정보 검색 요청에 따라 미디어 정보가 검색되고, 검색 결과에 해당하는 미디어 정보를 수신하면, 수신된 미디어 정보를 저장하거나, 화면상에서 표시할 수 있다.
이때, 본 발명의 다양한 실시 예에 따라 미디어 정보 제공 서버(130)에서 상기 전송된 텍스트 정보와 이미지 정보를 동시에 사용하여 미디어 정보를 검색할 수도 있으며, 다른 실시 예에 따라 먼저 텍스트 정보를 사용하여 미디어 정보를 검색한 후, 검색이 실패하면, 이미지 정보를 이용하여 재검색하도록 구현할 수도 있다.
또한, 본 발명의 실시 예에 따라 상기 수신된 미디어 정보가 자막 정보일 경우, 전술한 바와 같이 상기 미디어 콘텐츠의 재생 시 상기 자막 정보가 각 화면의 프레임과 동기화되어 화면상에 함께 표시될 수 있다.
도 14는 본 발명의 제2 실시 예에 따른 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 절차를 나타내는 흐름도이다. 도 14를 참조하면, 복수의 프레임들을 포함하는 특정 미디어 콘텐츠에서 적어도 하나의 프레임을 상술한 방법들에서와 같이 선택(S1401)한다.
그런 다음, 상기 선택된 프레임 내에 포함된 텍스트 정보를 추출(S1402)한다. 이때, 상기 미디어 콘텐츠에 포함된 각 프레임은 이미지 프레임일 수 있으며, 상기 단계에서 이미지 내에 포함된 텍스트를 추출하는 방법은 전술한 바와 같이 다양한 방법들로 구현될 수 있다.
다음으로, 본 발명의 제2 실시 예에 따라 선택된 상기 미디어 콘텐츠에 포함된 메타 데이터를 추출(S1403)한다. 이때, 상기 메타 데이터는 전술한 바와 같이 미디어 콘텐츠에 포함 또는 연결된 미디어 콘텐츠와 관련된 정보로서 미디어 콘텐츠 파일 내에 포함된 정보일 수 있다. 예컨대, 상기 메타 데이터는 파일명, 재생 시간, 프레임 크기, 오디오 데이터 크기, 비디오 데이터 크기, 프레임 레이트, 픽셀의 종횡비, 키 프레임 정보, 비디오 코덱, 오디오 코덱 등의 정보 중 어느 하나 이상을 포함할 수 있다.
그런 다음, 상기 추출된 텍스트 정보와 메타 데이터를 포함하여 미디어 정보 검색을 요청(S1404)한다. 이와 같이, 특정 프레임으로부터 추출된 텍스트 정보에 메타 데이터를 더 포함하여 미디어 정보 검색을 수행함으로써 텍스트 정보만을 사용하여 검색할 때보다 검색의 정확성을 더 높일 수 있다.
한편, 상기 미디어 정보 검색 요청에 따라 미디어 정보가 검색되고, 검색 결과에 해당하는 미디어 정보를 수신하면, 수신된 미디어 정보를 저장하거나, 화면상에서 표시할 수 있다. 또한, 본 발명의 실시 예에 따라 상기 수신된 미디어 정보가 자막 정보일 경우, 전술한 바와 같이 상기 미디어 콘텐츠의 재생 시 상기 자막 정보가 각 화면의 프레임과 동기화되어 화면상에 함께 표시될 수 있다.
도 15는 본 발명의 제3 실시 예에 따른 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 절차를 나타내는 흐름도이다. 도 15를 참조하면, 복수의 프레임들을 포함하는 특정 미디어 콘텐츠에서 적어도 하나의 프레임을 상술한 방법들에서와 같이 선택(S1501)한다.
그런 다음, 상기 선택된 프레임 내에 포함된 텍스트 정보를 추출(S1502)한다. 이때, 상기 미디어 콘텐츠에 포함된 각 프레임은 이미지 프레임일 수 있으며, 상기 단계에서 이미지 내에 포함된 텍스트를 추출하는 방법은 전술한 바와 같이 다양한 방법들로 구현될 수 있다.
다음으로, 본 발명의 제3 실시 예에 따라 상기 텍스트 정보가 추출된 프레임의 시간 정보를 검출(S1503)한다.
그런 다음, 상기 추출된 텍스트 정보와 검출된 시간 정보를 포함하여 미디어 정보 검색을 요청(S1504)한다. 이와 같이, 특정 프레임으로부터 추출된 텍스트 정보에 시간 정보를 더 포함하여 미디어 정보 검색을 수행함으로써 텍스트 정보만을 사용하여 검색할 때보다 검색의 정확성을 더 높일 수 있다.
한편, 상기 미디어 정보 검색 요청에 따라 미디어 정보가 검색되고, 검색 결과에 해당하는 미디어 정보를 수신하면, 수신된 미디어 정보를 저장하거나, 화면상에서 표시할 수 있다. 또한, 본 발명의 실시 예에 따라 상기 수신된 미디어 정보가 자막 정보일 경우, 전술한 바와 같이 상기 미디어 콘텐츠의 재생 시 상기 자막 정보가 각 화면의 프레임과 동기화되어 화면상에 함께 표시될 수 있다.
도 16은 본 발명의 제4 실시 예에 따른 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 절차를 나타내는 흐름도이다. 도 16을 참조하면, 복수의 프레임들을 포함하는 특정 미디어 콘텐츠에서 적어도 하나의 프레임을 상술한 방법들에서와 같이 선택(S1601)한다.
그런 다음, 상기 선택된 프레임 내에 포함된 텍스트 정보를 추출(S1602)한다. 이때, 상기 미디어 콘텐츠에 포함된 각 프레임은 이미지 프레임일 수 있으며, 상기 단계에서 이미지 내에 포함된 텍스트를 추출하는 방법은 전술한 바와 같이 다양한 방법들로 구현될 수 있다.
다음으로, 본 발명의 제4 실시 예에 따라 상기 미디어 콘텐츠에서 최초로 음성이 출력된 시간 정보를 검출(S1603)한다. 이때, 상기 최초로 음성이 출력된 시간 정보는 유의미한 정보일 수 있다. 예컨대, 일반적인 영화 동영상 파일의 경우 동영상 재생 시작시에는 음성이 없이 배경 음악만 출력될 수 있다. 그런 후, 일정 시간 이 경과하면, 영화에 등장하는 캐릭터가 화면에 나타나거나 나래이션에 의해 음성이 출력될 수 있다. 이와 같이, 영화 시작 후 최초로 음성이 출력될 때에는 자막 정보가 함께 출력될 수도 있으며, 유의미한 텍스트 정보들이 화면상에 함께 표시될 수 있다. 따라서, 이와 같이 본 발명의 제4 실시 예에 따라 미디어 콘텐츠에서 최초로 음성이 출력된 시간 정보를 검출하여 검색을 위한 정보로 사용함으로써 검색의 정확성을 높일 수 있다.
한편, 상기 최초로 음성이 출력되는 시간 정보를 검출하는 방법은 다양한 방법으로 구현될 수 있다. 예컨대, 미디어 콘텐츠의 음성 데이터에서 사람의 음성에 해당하는 주파수(예컨대, 100Hz~5KHz)가 최초로 검출되는 시점을 최초로 음성이 출력되는 시간 정보로 결정할 수 있다. 그러나, 본 발명이 상기 방법으로 한정되지는 않는다.
그런 다음, 상기 추출된 텍스트 정보와 검출된 시간 정보를 포함하여 미디어 정보 검색을 요청(S1604)한다. 이와 같이, 특정 프레임으로부터 추출된 텍스트 정보에 최초로 음성이 출력된 시간 정보를 더 포함하여 미디어 정보 검색을 수행함으로써 텍스트 정보만을 사용하여 검색할 때보다 검색의 정확성을 더 높일 수 있다.
한편, 상기 미디어 정보 검색 요청에 따라 미디어 정보가 검색되고, 검색 결과에 해당하는 미디어 정보를 수신하면, 수신된 미디어 정보를 저장하거나, 화면상에서 표시할 수 있다. 또한, 본 발명의 실시 예에 따라 상기 수신된 미디어 정보가 자막 정보일 경우, 전술한 바와 같이 상기 미디어 콘텐츠의 재생 시 상기 자막 정보가 각 화면의 프레임과 동기화되어 화면상에 함께 표시될 수 있다.
이상으로, 도 13 내지 도 16을 참조하여 본 발명의 다양한 실시 예들에 따른 방법들을 설명하였다.
한편, 상술한 본 발명의 일 실시 예에 따른 미디어 콘텐츠에 대한 미디어 정보 검색 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이하, 도 17 내지 도 19를 참조하여 본 발명의 실시 예에 따라 실제 미디어 콘텐츠 재생 화면에서 프레임을 선택하는 예를 설명한다.
도 17은 본 발명의 실시 예에 따른 미디어 콘텐츠 재생 화면에서 시작 프레임 및 종료 프레임으로부터 각각 검색된 프레임을 나타내는 도면이다. 도 17을 참조하면, 전술한 바와 같이 시작 프레임으로부터 순차적으로 각 프레임을 검사하여 도시된 바와 같이 최초로 텍스트가 포함된 프레임(예컨대, "Big Buck BUNNY"라는 텍스트가 포함된 프레임)이 검출되면, 해당 프레임을 Z1으로 표시할 수 있다. 그런 다음, 상기 Z1으로부터 일정 시간 간격(Y)마다 X1개의 프레임들에 포함된 텍스트를 추출하여 미디어 정보 검색을 위한 정보로 사용할 수 있다.
마찬가지로, 전술한 바와 같이 종료 프레임으로부터 역순으로 각 프레임을 검사하여 도시된 바와 같이 최초로 텍스트가 포함된 프레임이 검출되면, 해당 프레임을 Z2로 표시할 수 있다. 그런 다음, 상기 Z2로부터 일정 시간 간격(Y)마다 X2개의 프레임들에 포함된 텍스트를 추출하여 미디어 정보 검색을 위한 정보로 사용할 수 있다.
도 18a 내지 도 18c는 시작 프레임으로부터 순차적으로 검색된 텍스트가 포함된 프레임을 나타내는 도면이다. 도 18a 내지 도 18c를 참조하면, 도 17에서와 같이 시작 프레임으로부터 순차적으로 각 프레임을 검사하면 도 18a와 같이 최초로 텍스트가 포함된 프레임이 검출될 수 있다. 그런 다음, 일정 시간 간격마다 프레임을 검출하면, 도 18b 및 도 18c와 같은 텍스트가 포함된 프레임이 검출될 수 있다.
이와 같이, 텍스트가 포함된 프레임들에서 적어도 하나의 텍스트를 추출함으로써 미디어 콘텐츠와 관련된 미디어 정보를 효과적으로 검색할 수 있다.
도 19a 내지 도 19d는 종료 프레임으로부터 역순으로 검색된 텍스트가 포함된 프레임을 나타내는 도면이다. 도 19a 내지 도 19d를 참조하면, 도 17에서와 같이 종료 프레임으로부터 역순으로 각 프레임을 검사하면 도 19a와 같이 최초로 텍스트가 포함된 프레임이 검출될 수 있다. 그런 다음, 일정 시간 간격마다 프레임을 검출하면, 도 19b 내지 도 19d와 같은 텍스트가 포함된 프레임이 검출될 수 있다.
이와 같이, 텍스트가 포함된 프레임들에서 적어도 하나의 텍스트를 추출함으로써 미디어 콘텐츠와 관련된 미디어 정보를 효과적으로 검색할 수 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시 예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시 예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
110 : 미디어 콘텐츠 재생 장치 120 : 통신 네트워크
130 : 미디어 정보 제공 서버 131 : 미디어 정보 DB
410 : 저장부 420 : 제어부
421 : 프레임 선택부 422 : 텍스트 추출부
423 : 프레임 정보 수집부 424 : 미디어 정보 요청부
425 : 미디어 정보 수신부 426 : 미디어 재생 처리부
430 : 표시부 440 : 입력부
450 : 통신부 510 : 요청 정보 수신부
520 : 미디어 정보 검색부 530 : 미디어 정보 전송부

Claims (27)

  1. 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 방법으로서,
    복수의 프레임들을 포함하는 상기 미디어 콘텐츠에서 적어도 하나의 프레임을 선택하는 과정과,
    상기 선택된 적어도 하나의 각 프레임에서 적어도 하나의 텍스트 정보를 추출하는 과정과,
    상기 추출된 텍스트 정보로 상기 미디어 콘텐츠와 관련된 미디어 정보를 요청하는 과정을 포함하는, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 방법.
  2. 제1항에 있어서, 상기 미디어 콘텐츠에 관한 미디어 정보는 상기 미디어 콘텐츠의 자막 정보인, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 방법.
  3. 제1항에 있어서, 상기 적어도 하나의 프레임을 선택하는 과정은,
    상기 미디어 콘텐츠의 시작 프레임으로부터 순차적으로 키 프레임을 검색하는 과정과,
    상기 검색 결과, 최초로 텍스트가 포함된 키 프레임을 선택하는 과정을 포함하는, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 방법.
  4. 제3항에 있어서, 상기 최초로 텍스트가 포함된 프레임을 선택하는 과정 이후에,
    미리 설정된 시간 간격만큼 이격된 다음 키 프레임들을 미리 설정된 개수만큼 선택하는 과정을 더 포함하는, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 방법.
  5. 제1항에 있어서, 상기 적어도 하나의 프레임을 선택하는 과정은,
    상기 미디어 콘텐츠의 종료 프레임으로부터 역순으로 키 프레임을 검색하는 과정과,
    상기 검색 결과, 최초로 텍스트가 포함된 키 프레임을 선택하는 과정을 포함하는, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 방법.
  6. 제5항에 있어서, 상기 최초로 텍스트가 포함된 프레임을 선택하는 과정 이후에,
    미리 설정된 시간 간격만큼 이격된 이전 키 프레임들을 미리 설정된 개수만큼 선택하는 과정을 더 포함하는, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 방법.
  7. 제1항에 있어서, 상기 방법은,
    상기 미디어 콘텐츠에 포함된 적어도 하나의 이미지를 추출하는 과정과,
    상기 검출된 적어도 하나의 텍스트 정보에 상기 추출된 적어도 하나의 이미지를 더 포함하여 상기 미디어 콘텐츠와 관련된 미디어 정보를 요청하는 과정을 포함하는, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 방법.
  8. 제7항에 있어서, 상기 이미지를 추출하는 과정은,
    상기 미디어 콘텐츠의 전체 재생 시간 중 미리 설정된 시간의 이미지를 추출하는, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 방법.
  9. 제1항에 있어서, 상기 방법은,
    상기 미디어 콘텐츠에 포함된 적어도 하나의 메타 데이터를 추출하는 과정과,
    상기 검출된 적어도 하나의 텍스트 정보에 상기 추출된 적어도 하나의 메타 데이터를 더 포함하여 상기 미디어 콘텐츠와 관련된 미디어 정보를 요청하는 과정을 포함하는, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 방법.
  10. 제9항에 있어서, 상기 메타 데이터는,
    파일명, 재생 시간, 프레임 크기, 오디오 데이터 크기, 비디오 데이터 크기, 프레임 레이트, 픽셀의 종횡비, 키 프레임 정보, 비디오 코덱, 오디오 코덱 등의 정보 중 선택된 어느 하나 이상인, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 방법.
  11. 제1항에 있어서, 상기 방법은,
    상기 텍스트 정보가 추출된 프레임의 시간 정보를 검출하는 과정과,
    상기 검출된 적어도 하나의 텍스트 정보에 상기 검출된 시간 정보를 더 포함하여 상기 미디어 콘텐츠와 관련된 미디어 정보를 요청하는 과정을 포함하는, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 방법.
  12. 제1항에 있어서, 상기 방법은,
    상기 미디어 콘텐츠에서 최초로 음성이 출력된 시간 정보를 검출하는 과정과,
    상기 검출된 적어도 하나의 텍스트 정보에 상기 검출된 시간 정보를 더 포함하여 상기 미디어 콘텐츠와 관련된 미디어 정보를 요청하는 과정을 포함하는, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 방법.
  13. 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 장치로서,
    적어도 하나의 미디어 콘텐츠 정보를 저장하는 저장부; 및
    복수의 프레임들을 포함하는 상기 미디어 콘텐츠에서 적어도 하나의 프레임을 선택하고, 상기 선택된 적어도 하나의 각 프레임에서 적어도 하나의 텍스트 정보를 추출하며, 상기 추출된 텍스트 정보로 상기 미디어 콘텐츠와 관련된 미디어 정보를 요청하도록 제어하는 제어부를 포함하는, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 장치.
  14. 제13항에 있어서, 상기 미디어 콘텐츠에 관한 미디어 정보는 상기 미디어 콘텐츠의 자막 정보인, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 장치.
  15. 제13항에 있어서, 상기 제어부는,
    상기 미디어 콘텐츠의 시작 프레임으로부터 순차적으로 키 프레임을 검색하고, 상기 검색 결과, 최초로 텍스트가 포함된 키 프레임을 선택하도록 제어하는, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 장치.
  16. 제15항에 있어서, 상기 제어부는,
    상기 최초로 텍스트가 포함된 프레임을 선택한 이후에, 미리 설정된 시간 간격만큼 이격된 다음 키 프레임들을 미리 설정된 개수만큼 선택하도록 더 제어하는, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 장치.
  17. 제13항에 있어서, 상기 제어부는,
    상기 미디어 콘텐츠의 종료 프레임으로부터 역순으로 키 프레임을 검색하고, 상기 검색 결과, 최초로 텍스트가 포함된 키 프레임을 선택하도록 제어하는, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 장치.
  18. 제17항에 있어서, 상기 제어부는,
    상기 최초로 텍스트가 포함된 프레임을 선택한 이후에, 미리 설정된 시간 간격만큼 이격된 이전 키 프레임들을 미리 설정된 개수만큼 선택하도록 더 제어하는, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 장치.
  19. 제13항에 있어서, 상기 제어부는,
    상기 미디어 콘텐츠에 포함된 적어도 하나의 이미지를 추출하고, 상기 검출된 적어도 하나의 텍스트 정보에 상기 추출된 적어도 하나의 이미지를 더 포함하여 상기 미디어 콘텐츠와 관련된 미디어 정보를 요청하도록 제어하는, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 장치.
  20. 제19항에 있어서, 상기 제어부는,
    상기 미디어 콘텐츠의 전체 재생 시간 중 미리 설정된 시간의 이미지를 추출하도록 제어하는, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 장치.
  21. 제13항에 있어서, 상기 제어부는,
    상기 미디어 콘텐츠에 포함된 적어도 하나의 메타 데이터를 추출하고, 상기 검출된 적어도 하나의 텍스트 정보에 상기 추출된 적어도 하나의 메타 데이터를 더 포함하여 상기 미디어 콘텐츠와 관련된 미디어 정보를 요청하도록 제어하는, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 장치.
  22. 제21항에 있어서, 상기 메타 데이터는,
    파일명, 재생 시간, 프레임 크기, 오디오 데이터 크기, 비디오 데이터 크기, 프레임 레이트, 픽셀의 종횡비, 키 프레임 정보, 비디오 코덱, 오디오 코덱 등의 정보 중 선택된 어느 하나 이상인, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 장치.
  23. 제13항에 있어서, 상기 제어부는,
    상기 텍스트 정보가 추출된 프레임의 시간 정보를 검출하고, 상기 검출된 적어도 하나의 텍스트 정보에 상기 검출된 시간 정보를 더 포함하여 상기 미디어 콘텐츠와 관련된 미디어 정보를 요청하도록 제어하는, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 장치.
  24. 제13항에 있어서, 상기 제어부는,
    상기 미디어 콘텐츠에서 최초로 음성이 출력된 시간 정보를 검출하고, 상기 검출된 적어도 하나의 텍스트 정보에 상기 검출된 시간 정보를 더 포함하여 상기 미디어 콘텐츠와 관련된 미디어 정보를 요청하도록 제어하는, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 장치.
  25. 미디어 콘텐츠와 관련된 미디어 정보를 제공하는 미디어 정보 제공 서버로서,
    각 미디어 콘텐츠에 적어도 하나의 미디어 정보들이 매핑되어 저장되는 미디어 정보 데이터베이스;
    각 미디어 콘텐츠 재생 장치로부터 전송된 미디어 정보 요청 메시지를 수신하는 요청 정보 수신부;
    상기 수신된 미디어 정보 요청 메시지에 포함된 적어도 하나의 정보들로 상기 미디어 정보 데이터베이스에 저장된 미디어 정보를 검색하는 미디어 정보 검색부; 및
    상기 미디어 정보 검색부를 통해 검색된 미디어 정보를 해당하는 상기 미디어 콘텐츠 재생 장치로 전송하는 미디어 정보 전송부를 포함하며,
    상기 미디어 정보 요청 메시지는, 복수의 프레임들을 포함하는 상기 미디어 콘텐츠에서 선택된 적어도 하나의 프레임으로부터 추출된 텍스트 정보를 포함하는, 미디어 정보 제공 서버.
  26. 제25항에 있어서, 상기 미디어 정보 요청 메시지는 상기 미디어 콘텐츠로부터 추출된 적어도 하나의 이미지 정보를 더 포함하고,
    상기 미디어 정보 검색부는 상기 수신된 미디어 정보 요청 메시지에 포함된 텍스트 정보를 통해 미디어 정보 검색에 실패할 경우, 상기 이미지 정보를 통해 미디어 정보를 더 검색하는, 미디어 정보 제공 서버.
  27. 청구항 제1항 내지 제12항 중 어느 한 항에 기재된 방법을 컴퓨터상에서 수행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
KR1020130078011A 2013-07-03 2013-07-03 미디어 정보 제공 서버, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 KR102107678B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130078011A KR102107678B1 (ko) 2013-07-03 2013-07-03 미디어 정보 제공 서버, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
US14/204,991 US20150010288A1 (en) 2013-07-03 2014-03-11 Media information server, apparatus and method for searching for media information related to media content, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130078011A KR102107678B1 (ko) 2013-07-03 2013-07-03 미디어 정보 제공 서버, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 장치, 방법 및 컴퓨터 판독 가능한 기록 매체

Publications (2)

Publication Number Publication Date
KR20150004681A true KR20150004681A (ko) 2015-01-13
KR102107678B1 KR102107678B1 (ko) 2020-05-28

Family

ID=52132887

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130078011A KR102107678B1 (ko) 2013-07-03 2013-07-03 미디어 정보 제공 서버, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 장치, 방법 및 컴퓨터 판독 가능한 기록 매체

Country Status (2)

Country Link
US (1) US20150010288A1 (ko)
KR (1) KR102107678B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019088592A1 (ko) * 2017-11-01 2019-05-09 삼성전자주식회사 전자 장치 및 이의 제어방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10162889B2 (en) 2014-06-18 2018-12-25 Google Llc Methods, systems, and media for searching for video content
US11750674B2 (en) * 2015-05-05 2023-09-05 Penguin Computing, Inc. Ultra-low latency remote application access
US10283262B2 (en) * 2016-10-18 2019-05-07 Hubbell Incorporated Enhanced common mode current reduction in three-phase inductors, transformers, and motor drive systems
CN110121118B (zh) * 2019-06-17 2021-08-06 腾讯科技（深圳）有限公司 视频片段定位方法、装置、计算机设备及存储介质
US11106916B2 (en) * 2019-08-23 2021-08-31 International Business Machines Corporation Identifying segment starting locations in video compilations

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030107592A1 (en) * 2001-12-11 2003-06-12 Koninklijke Philips Electronics N.V. System and method for retrieving information related to persons in video programs
US20090138906A1 (en) * 2007-08-24 2009-05-28 Eide Kurt S Enhanced interactive video system and method
US20110075992A1 (en) * 2009-09-30 2011-03-31 Microsoft Corporation Intelligent overlay for video advertising
US20110170741A1 (en) * 2010-01-12 2011-07-14 Brother Kogyo Kabushiki Kaisha Image processing device and storage medium storing image processing program
US8340498B1 (en) * 2009-02-03 2012-12-25 Amazon Technologies, Inc. Extraction of text elements from video content

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9521453B2 (en) * 2009-09-14 2016-12-13 Tivo Inc. Multifunction multimedia device
US8994827B2 (en) * 2012-11-20 2015-03-31 Samsung Electronics Co., Ltd Wearable electronic device
US9723366B2 (en) * 2013-03-12 2017-08-01 Disney Enterprises, Inc. System and method to provide supplemental content to a video player
US9161066B1 (en) * 2013-03-14 2015-10-13 Google Inc. Methods, systems, and media for generating and presenting supplemental content based on contextual information
US10277945B2 (en) * 2013-04-05 2019-04-30 Lenovo (Singapore) Pte. Ltd. Contextual queries for augmenting video display
US20140373036A1 (en) * 2013-06-14 2014-12-18 Telefonaktiebolaget L M Ericsson (Publ) Hybrid video recognition system based on audio and subtitle data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030107592A1 (en) * 2001-12-11 2003-06-12 Koninklijke Philips Electronics N.V. System and method for retrieving information related to persons in video programs
US20090138906A1 (en) * 2007-08-24 2009-05-28 Eide Kurt S Enhanced interactive video system and method
US8340498B1 (en) * 2009-02-03 2012-12-25 Amazon Technologies, Inc. Extraction of text elements from video content
US20110075992A1 (en) * 2009-09-30 2011-03-31 Microsoft Corporation Intelligent overlay for video advertising
US20110170741A1 (en) * 2010-01-12 2011-07-14 Brother Kogyo Kabushiki Kaisha Image processing device and storage medium storing image processing program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019088592A1 (ko) * 2017-11-01 2019-05-09 삼성전자주식회사 전자 장치 및 이의 제어방법
KR20190049248A (ko) * 2017-11-01 2019-05-09 삼성전자주식회사 전자 장치 및 이의 제어방법
US11367283B2 (en) 2017-11-01 2022-06-21 Samsung Electronics Co., Ltd. Electronic device and control method thereof

Also Published As

Publication number Publication date
KR102107678B1 (ko) 2020-05-28
US20150010288A1 (en) 2015-01-08

Similar Documents

Publication Publication Date Title
US10714145B2 (en) Systems and methods to associate multimedia tags with user comments and generate user modifiable snippets around a tag time for efficient storage and sharing of tagged items
JP5998807B2 (ja) 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム
US8489600B2 (en) Method and apparatus for segmenting and summarizing media content
WO2019134587A1 (zh) 视频数据处理方法、装置、电子设备和存储介质
KR102107678B1 (ko) 미디어 정보 제공 서버, 미디어 콘텐츠와 관련된 미디어 정보를 검색하는 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
JP4388128B1 (ja) 情報提供サーバ、情報提供方法及び情報提供システム
US20210082382A1 (en) Method and System for Pairing Visual Content with Audio Content
US20090079840A1 (en) Method for intelligently creating, consuming, and sharing video content on mobile devices
JP2006155384A (ja) 映像コメント入力・表示方法及び装置及びプログラム及びプログラムを格納した記憶媒体
US8255395B2 (en) Multimedia data recording method and apparatus for automatically generating/updating metadata
US20070070218A1 (en) Storage system for retaining identification data to allow retrieval of media content
CN110046263B (zh) 多媒体推荐方法、装置、服务器及存储介质
JP2014006680A (ja) ビデオ記録装置、情報処理システム、情報処理方法および記録媒体
US20230072899A1 (en) Tagging an Image with Audio-Related Metadata
KR100716967B1 (ko) 텔리비젼의 멀티미디어 컨텐츠 전용 탐색기 및 그 방법
KR20150030185A (ko) 컨텐트 데이터에 기초하여 정보를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
WO2015000433A1 (zh) 一种多媒体查找方法、终端、服务器及系统
KR20090035989A (ko) 컨텐츠 획득 시스템 및 그 방법
US20120059855A1 (en) Method and computer program product for enabling organization of media objects
JP6076149B2 (ja) 放送番組管理装置、放送番組再生装置、及びプログラム
WO2009044351A1 (en) Generation of image data summarizing a sequence of video frames
TWI497959B (zh) Scene extraction and playback system, method and its recording media
JP6206534B2 (ja) 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム
US20140189769A1 (en) Information management device, server, and control method
KR20200042287A (ko) 영상 컨텐츠 관련 음악 정보 제공 방법 및 이를 지원하는 서비스 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant