KR101472014B1 - 비디오 컨텐츠의 재생 화면에 포함된 텍스트를 이용하여 검색을 수행하는 장치 및 방법 - Google Patents

비디오 컨텐츠의 재생 화면에 포함된 텍스트를 이용하여 검색을 수행하는 장치 및 방법 Download PDF

Info

Publication number
KR101472014B1
KR101472014B1 KR1020120146449A KR20120146449A KR101472014B1 KR 101472014 B1 KR101472014 B1 KR 101472014B1 KR 1020120146449 A KR1020120146449 A KR 1020120146449A KR 20120146449 A KR20120146449 A KR 20120146449A KR 101472014 B1 KR101472014 B1 KR 101472014B1
Authority
KR
South Korea
Prior art keywords
text
search
video content
user
user terminal
Prior art date
Application number
KR1020120146449A
Other languages
English (en)
Other versions
KR20140077535A (ko
Inventor
이주용
장동현
김종안
김진한
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020120146449A priority Critical patent/KR101472014B1/ko
Priority to US14/107,122 priority patent/US20140172816A1/en
Publication of KR20140077535A publication Critical patent/KR20140077535A/ko
Application granted granted Critical
Publication of KR101472014B1 publication Critical patent/KR101472014B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

비디오 컨텐츠의 재생 화면에 포함된 텍스트를 이용하여 검색을 수행하는 사용자 단말은 상기 비디오 컨텐츠가 재생되는 동안, 상기 사용자 단말의 화면을 선택하는 유저 입력을 수신하는 사용자 인터페이스부, 텍스트 관리 서버에게 상기 비디오 컨텐츠의 재생 화면에 표시된 텍스트를 요청하는 텍스트 요청부, 상기 텍스트 관리 서버로부터 상기 요청된 텍스트를 수신하는 텍스트 수신부, 상기 사용자 단말의 화면에 상기 수신된 텍스트 및 검색어 입력 영역이 포함된 검색 영역을 표시하는 검색 영역 제공부, 상기 검색어 입력 영역에 상기 사용자 인터페이스부를 통해 입력된 검색어의 검색을 검색 서버에게 요청하는 검색 요청부 및 상기 검색 서버로부터 상기 입력된 검색어에 대응하는 검색 결과를 수신하는 검색 결과 수신부를 포함한다.

Description

비디오 컨텐츠의 재생 화면에 포함된 텍스트를 이용하여 검색을 수행하는 장치 및 방법{apparatus using text included in reproduction screen of video contents and method thereof}
사용자 단말 중 어느 하나에서 재생 중인 비디오 컨텐츠의 재생 화면에 포함된 텍스트를 이용하는 장치 및 방법에 관한 것이다.
정보 통신 기술의 발전으로 시청자들은 IPTV를 이용하여 시청하려는 비디오 컨텐츠를 다운로드 받아 시청할 수 있으며, 이동 중에 스마트 단말을 이용하여 비디오 컨텐츠를 다운로드 받아 시청할 수 있다.
또한, IPTV, 스마트 단말 등의 기기의 성능이 향상되고, 제공되는 서비스가 늘어남에 따라서, 시청자들은 IPTV 또는 스마트 단말을 이용하여 인터넷에 접속하며, 검색을 수행할 수도 있다.
다만, 시청자가 특정 비디오 컨텐츠를 시청 중에 비디오 컨텐츠의 재생 화면에 나타난 자막에 있어서 궁금증이 생긴 경우, 시청자는 비디오 컨텐츠의 재생을 정지시킨 후 사용자 단말을 이용하여 해당 자막을 검색해야만 한다. 만일 VOD(video on demand)와 달리 일시 정지가 불가능한 실시간 비디오 컨텐츠를 시청하는 중에 궁금증이 생긴 경우, 시청자는 비디오 컨텐츠가 끝날 때까지 궁금함을 견디어내고 검색을 하거나, 비디오 컨텐츠의 내용을 놓치면서, 검색을 해야만 하는 문제가 있다.
사용자 단말 중 어느 하나에서 재생 중인 비디오 컨텐츠의 재생 화면에 포함된 텍스트를 수신하여 검색 용도로 이용하는 장치 및 방법을 제공하고자 한다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른, 비디오 컨텐츠의 재생 화면에 포함된 텍스트를 이용하여 검색을 수행하는 사용자 단말은 상기 비디오 컨텐츠가 재생되는 동안, 상기 사용자 단말의 화면을 선택하는 유저 입력을 수신하는 사용자 인터페이스부, 텍스트 관리 서버에게 상기 비디오 컨텐츠의 재생 화면에 표시된 텍스트를 요청하는 텍스트 요청부, 상기 텍스트 관리 서버로부터 상기 요청된 텍스트를 수신하는 텍스트 수신부, 상기 사용자 단말의 화면에 상기 수신된 텍스트 및 검색어 입력 영역이 포함된 검색 영역을 표시하는 검색 영역 제공부, 상기 검색어 입력 영역에 상기 사용자 인터페이스부를 통해 입력된 검색어의 검색을 검색 서버에게 요청하는 검색 요청부 및 상기 검색 서버로부터 상기 입력된 검색어에 대응하는 검색 결과를 수신하는 검색 결과 수신부를 포함하는 것을 특징으로 한다.
한편, 본 발명의 제 2 측면에 따른, 비디오 컨텐츠의 재생 화면에 포함된 텍스트를 이용하여 검색을 수행하는 방법은 상기 비디오 컨텐츠가 재생되는 동안, 사용자 단말의 화면을 선택하는 유저 입력을 수신하는 단계, 텍스트 관리 서버에게 상기 비디오 컨텐츠의 재생 화면에 표시된 텍스트를 요청하는 단계, 상기 텍스트 관리 서버로부터 상기 요청된 텍스트를 수신하는 단계, 상기 사용자 단말의 화면에 상기 수신된 텍스트 및 검색어 입력 영역이 포함된 검색 영역을 표시하는 단계, 상기 검색어 입력 영역에 상기 사용자 인터페이스부를 통해 입력된 검색어의 검색을 검색 서버에게 요청하는 단계 및 상기 검색 서버로부터 상기 입력된 검색어에 대응하는 검색 결과를 수신하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 제 3 측면에 따른, 비디오 컨텐츠의 재생 화면에 포함된 텍스트를 관리하는 텍스트 관리 서버는 컨텐츠 서버로부터 상기 비디오 컨텐츠를 수신하는 컨텐츠 수신부, 상기 수신된 비디오 컨텐츠의 재생 화면에 포함된 자막을 재생 시간별로 추출하고, 상기 추출한 자막을 조사를 제외한 명사형 단어인 텍스트로 분리하는 텍스트 추출부, 사용자 단말로부터 텍스트 요청을 수신하는 텍스트 요청 수신부 및 상기 추출된 텍스트를 상기 사용자 단말에게 전송하는 텍스트 전송부를 포함하는 것을 특징으로 한다.
한편, 본 발명의 제 4 측면에 따른, 비디오 컨텐츠의 재생 화면에 포함된 텍스트를 관리하는 방법은 컨텐츠 서버로부터 상기 비디오 컨텐츠를 수신하는 단계, 상기 수신한 비디오 컨텐츠의 재생 화면에 포함된 자막을 재생 시간별로 추출하고, 상기 추출된 자막을 조사를 제외한 명사형 단어인 텍스트로 분리하는 단계, 사용자 단말로부터 텍스트 요청을 수신하는 단계 및 상기 추출된 텍스트를 상기 사용자 단말에게 전송하는 단계를 포함하는 것을 특징으로 한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 사용자 단말은 재생 중인 비디오 컨텐츠의 재생 화면에 포함된 텍스트를 텍스트 관리 서버로부터 수신하여 이를 이용해 검색 서비스를 제공받는 등 사용자 편의성을 도모할 수 있다.
도 1은 본 발명의 일 실시예에 따른, 비디오 컨텐츠의 재생 화면에 포함된 텍스트를 이용하는 검색 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른, 도 1에 도시된 제 1 사용자 스마트패드의 구성도이다.
도 3은 본 발명의 다른 실시예에 따른, 도 1에 도시된 제 1 사용자 스마트패드의 구성도이다.
도 4는 본 발명의 일 실시예에 따른, 제 1 사용자 스마트패드가 비디오 컨텐츠의 재생 화면에 포함된 텍스트를 이용하여 검색하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 다른 실시예에 따른, 제 1 사용자 스마트패드에 표시된 검색영역을 도시한 도면이다.
도 6은 본 발명의 다른 실시예에 따른, 제 1 사용자 스마트패드 및 제 1 사용자 IPTV를 이용하여 비디오 컨텐츠의 재생 화면에 포함된 텍스트를 수신하는 구성도이다.
도 7은 본 발명의 일 실시예에 따른, 도 1에 도시된 텍스트 관리 서버의 구성도이다.
도 8은 본 발명의 일 실시예에 따른, 텍스트 관리 서버가 텍스트를 추출하는 과정을 설명하기 위한 도면이다.
도 9은 본 발명의 일 실시예에 따른, 제 1 사용자 단말에서의 비디오 컨텐츠의 재생 화면에 포함된 텍스트를 이용한 검색 방법을 나타낸 동작 흐름도이다.
도 10은 본 발명의 일 실시예에 따른, 텍스트 관리 서버에서의 텍스트 추출 방법을 나타낸 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 첨부된 구성도 또는 처리 흐름도를 참고하여, 본 발명의 실시를 위한 구체적인 내용을 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른, 비디오 컨텐츠의 재생 화면에 포함된 텍스트를 이용하는 검색 시스템의 구성도이다. 도 1을 참조하면, 검색 시스템은 제 1 사용자 단말(100), 제 2 사용자 단말(200), 텍스트 관리 서버(300), 검색 서버(400), 컨텐츠 서버(500) 및 네트워크(600)을 포함할 수 있다. 다만, 이러한 도 1의 컨텐츠 수신 시스템은 본 발명의 일 실시예에 불과하므로 도 1을 통해 본 발명이 한정 해석되는 것은 아니다.
제 1 사용자 단말(100)은 제 1 사용자 스마트패드(101) 및 제 1 사용자 IPTV(102) 등을 포함할 수 있다.
제 1 사용자 단말(100)은 비디오 컨텐츠의 재생 화면에 포함된 텍스트를 이용하는 검색 서비스를 제공하기에 앞서 다양한 방법으로 사용자를 인증할 수 있다. 예를 들어, 제 1 사용자 단말(100)의 내장/외장 카메라를 이용하여 사용자의 얼굴을 인식함으로써 정당한 서비스의 사용자인지 여부를 판단할 수 있다. 이 때, 정당한 서비스의 사용자인지 여부의 판단은 제 1 사용자 단말(100)에서 뿐만 아니라, 외부 장치, 예를 들어 사용자 인증 서버(미도시) 등에서 수행할 수 있다.
또한 비디오 컨텐츠 또는 다양한 부가 서비스를 구매함에 있어서, 제 1 사용자 단말(100)의 내장/외장 카메라를 이용하거나 사용자의 지문 인식 또는 사용자 아이디 및 비밀번호를 입력하는 등의 다양한 방법으로 사용자를 인증할 수 있다.
제 1 사용자 단말(100)은 비디오 컨텐츠가 재생되는 동안 텍스트 관리 서버(300)에게 비디오 컨텐츠의 재생 화면에 표시된 텍스트를 요청하고, 텍스트 관리 서버(300)로부터 비디오 컨텐츠의 재생 화면에 표시된 텍스트를 수신할 수 있다. 이 때, 재생되는 비디오 컨텐츠는 컨텐츠 서버(500)로부터 제공되는 것이고, 제 1 사용자 스마트패드(101)에서 재생되거나 제 1 사용자 IPTV(102)에서 재생되는 것일 수 있다. 즉, 제 1 사용자 스마트패드(101)에서 재생 중인 비디오 컨텐츠의 재생 화면에 표시된 텍스트를 제 1 사용자 스마트패드(101)에서 요청 및 수신할 수 있으며, 제 1 사용자 IPTV(102)에서 재생 중인 비디오 컨텐츠의 재생 화면에 표시된 텍스트를 제 1 사용자 스마트패드(101)에서 요청 및 수신할 수 있다.
제 1 사용자 단말(100)은 텍스트 관리 서버(300)로부터 수신한 비디오 컨텐츠의 재생 화면에 표시된 텍스트 중 사용자 입력에 의해 선택된 적어도 하나 이상의 텍스트에 대한 검색을 검색 서버(400)에게 요청하고, 검색 서버(400)로부터 적어도 하나 이상의 텍스트에 대한 검색 결과를 수신할 수 있다.
제 1 사용자 단말(100)은 비디오 컨텐츠의 재생 중, 제 1 사용자 단말(100)의 요청에 의해, 제 2 사용자 단말(200)에게 해당 비디오 컨텐츠를 추천할 수 있다. 이 때, 추천 메시지에는 해당 비디오 컨텐츠의 식별 번호, 추천 시점의 재생 시간, 제 1 사용자 단말 및 제 2 사용자 단말(200)의 식별정보를 포함할 수 있다. 구체적으로, 제 1 사용자 단말(100)은 컨텐츠 서버(500)를 통해 제 2 사용자 단말(200)에게 추천 메시지를 전송할 수 있고, 제 2 사용자 단말(200)가 추천 메시지를 승인한 경우, 컨텐츠 서버(500)는 제 2 사용자 단말(200)에게 해당 비디오 컨텐츠를 제공할 수 있다. 특히, 추천 메시지에 포함된 추천 시점의 재생 시간에 대응하는 부분부터 비디오 컨텐츠가 제공될 수 있다.
제 2 사용자 단말(200)은 제 2 사용자 스마트폰(201) 및 제 2 사용자 스마트패드(202) 등을 포함할 수 있다.
제 2 사용자 단말(200)은 비디오 컨텐츠의 재생 화면에 포함된 텍스트를 텍스트 관리 서버(300)에게 요청하고 수신하며 수신한 텍스트 중 일부 또는 전부에 대해 검색 서버(400)에게 검색을 요청하고 검색 결과를 수신하는 등 제 1 사용자 단말(100)과 동일한 역할을 수행할 수 있다.
본 발명의 다양한 실시예들에 따르면 제 1 사용자 단말(100) 및 제 2 사용자 단말(200)은 다양한 형태일 수 있다. 예를 들어, 제 1 사용자 단말(100) 및 제 2 사용자 단말(200)은 네트워크를 통해 원격지의 서버에 접속할 수 있는 TV 장치, 컴퓨터 또는 휴대용 단말일 수 있다. 여기서, TV 장치의 일 예에는 스마트 TV, IPTV 셋톱박스 등이 포함되고, 컴퓨터의 일 예에는 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등이 포함되고, 휴대용 단말의 일 예에는 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트패드(smartpad), 태블릿 PC 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치가 포함될 수 있다.
텍스트 관리 서버(300)는 컨텐츠 서버(500)로부터 비디오 컨텐츠를 수신하고, 비디오 컨텐츠의 재생 화면에 포함된 자막을 재생 시간 별로 추출할 수 있다. 또한, 추출한 자막을 조사를 제외한 명사형 단어인 텍스트로 분리하여 별도로 관리할 수 있다. 이 때, 텍스트는 비디오 컨텐츠의 식별 정보 및 텍스트에 대응하는 자막이 비디오 컨텐츠의 재생 화면에 나타난 재생 시간과 함께 저장될 수 있다.
텍스트 관리 서버(300)는 제 1 사용자 단말(100)로부터 텍스트의 요청을 받은 경우, 텍스트 요청에 포함된 비디오 컨텐츠 식별 번호 및 재생 시간 정보를 이용하여 텍스트 관리 서버(300)의 DB에서 적절한 텍스트를 검색하여 제 1 사용자 단말(100)에게 전송할 수 있다.
또한, 텍스트가 다른 텍스트로 잘못 인식되어 추출된 경우 텍스트 관리 서버(300)는 제 1 사용자 단말(100)로부터 텍스트의 수정 요청을 받을 수 있고, 수정 요청에는 제대로 인식된 텍스트가 포함되어 있을 수 있다.
검색 서버(400)는 제 1 사용자 단말(100)로부터 텍스트의 검색 요청을 수신할 수 있다. 이에 대한 응답으로, 검색 서버(400)는 요청 대상인 텍스트에 대한 검색을 수행하고, 검색 결과를 제 1 사용자 단말(100)에게 전송할 수 있다. 이 때, 검색 결과는 텍스트에 대한 광범위한 결과가 포함될 수 있으며, 나아가 추천 비디오 컨텐츠, 추천 이미지 컨텐츠, 광고 등을 포함할 수 있다. 추천 비디오 컨텐츠, 추천 이미지 컨텐츠, 광고 등은 제 1 사용자 단말(100)의 사용자 정보에 기초하여 결정될 수 있다.
또한, 검색 서버(400)는 텍스트 관리 서버(300)에서 추출한 텍스트와 텍스트에 대응하는 비디오 컨텐츠의 재생 화면을 매칭시켜 검색 DB로 활용할 수 있다. 즉, 검색 서버(400)는 임의의 단말로부터 특정 검색어를 입력받은 경우, 해당 검색어에 대한 비디오 컨텐츠의 재생 화면을 검색 결과로서 제공할 수 있다.
컨텐츠 서버(500)는 제 1 사용자 단말(100), 제 2 사용자 단말(200) 또는 텍스트 관리 서버(300)에게 비디오 컨텐츠를 제공할 수 있다. 또한, 검색 서버(400)에서 검색 결과로서 추천 비디오 컨텐츠에 대한 정보를 제 1 사용자 단말(100)에게 전송한 경우, 컨텐츠 서버(500)는 제 1 사용자 단말(100)로부터 해당 추천 비디오 컨텐츠의 제공을 요청받고, 이에 대한 응답으로 추천 비디오 컨텐츠를 제 1 사용자 단말(100)에게 전송할 수 있다.
네트워크(600)는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(600)의 일 예에는 인터넷(Internet), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 3G, LTE(Long Term Evolution), WiFi(Wireless Fidelity), WiMAX(World Interoperability for Microwave Access), WiGig(Wireless Gigabit) 등이 포함되나 이에 한정되지는 않는다.
비디오 컨텐츠의 재생 화면에 포함된 텍스트를 이용하는 검색 서비스는 제 1 사용자 단말(100) 또는 제 2 사용자 단말(200)에 설치되어있는 애플리케이션을 통해 제공될 수 있다. 여기서 애플리케이션은 응용 프로그램(application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(app)을 포함할 수 있다.
이하에서는 도 1의 제 1 사용자 스마트패드(101)의 동작에 대해 보다 구체적으로 설명한다.
도 2는 본 발명의 일 실시예에 따른, 도 1에 도시된 제 1 사용자 스마트패드(101)의 구성도이다. 도 2를 참조하면, 제 1 사용자 스마트패드(101)는 사용자 인터페이스부(110), 텍스트 요청부(120), 텍스트 수신부(130), 검색 영역 제공부(140), 검색 요청부(150), 검색 결과 수신부(160) 및 DB(데이터베이스)(190)를 포함할 수 있다. 다만, 도 2에 도시된 제 1 사용자 스마트패드(101)는 본 발명의 하나의 구현 예에 불과하며, 도 2에 도시된 구성요소들을 기초로 하여 여러 가지 변형이 가능하다. 예를 들어, 제 1 사용자 스마트패드(101)는 이용자로부터 어떤 명령 내지 정보를 입력받기 위한 사용자 인터페이스는 일반적으로 키보드, 마우스 등과 같은 입력 장치가 될 수도 있고, 영상 표시 장치에 표현되는 그래픽 유저 인터페이스(GUI, Graphical User interface)가 될 수도 있다.
사용자 인터페이스부(110)는 비디오 컨텐츠가 재생되는 동안, 제 1 사용자 스마트패드(101)의 화면을 선택하는 유저 입력을 수신할 수 있다. 이 때, 비디오 컨텐츠는 제 1 사용자 스마트패드(101) 또는 제 1 사용자 스마트패드(101)를 보유한 제 1 사용자의 다른 단말인 제 1 사용자 IPTV(102)에서 재생되는 것일 수 있다.
텍스트 요청부(120)는 텍스트 관리 서버(300)에게 비디오 컨텐츠의 재생 화면에 표시된 텍스트를 요청할 수 있다. 이 때, 비디오 컨텐츠의 재생 화면에 표시된 텍스트의 요청은 사용자 인터페이스부(110)에서의 제 1 사용자 스마트패드(101)의 화면을 선택하는 유저 입력의 수신에 대한 응답으로 수행될 수 있다.
텍스트 수신부(130)는 텍스트 관리 서버(300)로부터 텍스트 요청부(120)에서 요청한 텍스트를 수신할 수 있다.
검색 영역 제공부(140)는 제 1 사용자 스마트패드(101)의 화면에 검색 영역을 표시할 수 있고, 검색 영역은 텍스트 수신부(130)에서 수신한 텍스트 및 검색어 입력 영역을 포함할 수 있다.
검색 요청부(150)는 제 1 사용자 스마트패드(101)의 화면에 표시된 검색 영역 내의 검색어 입력 영역에 입력된 검색어를 검색 서버(400)에게 전송할 수 있다. 이 때, 검색어 입력 영역에 입력된 검색어는 사용자 인터페이스부(110)를 통해 입력된 것일 수 있다.
검색 결과 수신부(160)는 검색 서버(400)로부터 검색어 입력 영역에 입력된 검색어에 대응하는 검색 결과를 수신할 수 있다.
DB(190)는 데이터를 저장한다. 이 때, 데이터는 제 1 사용자 스마트패드(101) 내부의 각 구성요소들 간에 입력 및 출력되는 데이터를 포함하고, 제 1 사용자 스마트패드(101)과 제 1 사용자 스마트패드(101) 외부의 구성요소들간에 입력 및 출력되는 데이터를 포함한다. 예를 들어, DB(190)는 텍스트 수신부(130)에서 수신하는 텍스트를 저장할 수 있다. 이러한 DB(190)의 일 예에는 제 1 사용자 스마트패드(101) 내부 또는 외부에 존재하는 하드디스크드라이브, ROM(Read Only Memory), RAM(Random Access Memory), 플래쉬메모리 및 메모리카드 등이 포함된다.
당업자라면, 사용자 인터페이스부(110), 텍스트 요청부(120), 텍스트 수신부(130), 검색 영역 제공부(140), 검색 요청부(150), 검색 결과 수신부(160) 및 DB(190) 각각이 분리되어 구현되거나, 이 중 하나 이상이 통합되어 구현될 수 있음을 충분히 이해할 것이다.
도 3은 본 발명의 다른 실시예에 따른, 도 1에 도시된 제 1 사용자 스마트패드(101)의 구성도이다. 도 3을 참조하면, 사용자 인터페이스부(110), 텍스트 요청부(120), 텍스트 수신부(130), 검색 영역 제공부(140), 검색 요청부(150), 검색 결과 수신부(160), 검출부(170), 검색어 전송부(180) 및 DB(190)를 포함할 수 있다. 다만, 도 3에 도시된 제 1 사용자 스마트패드(101)는 본 발명의 하나의 구현 예에 불과하며, 도 3에 도시된 구성요소들을 기초로 하여 여러 가지 변형이 가능하다. 예를 들어, 제 1 사용자 스마트패드(101)가 이용자로부터 어떤 명령 내지 정보를 입력받기 위한 사용자 인터페이스로서 키보드, 마우스, GUI 등이 포함될 수 있음은 앞서 도 2를 통해 설명된 바와 같다.
사용자 인터페이스부(110)는 비디오 컨텐츠가 재생되는 동안, 제 1 사용자 스마트패드(101)의 화면을 선택하는 유저 입력을 수신할 수 있다.
또한, 사용자 인터페이스부(110)는 텍스트 수신부(130)에서 수신하여 검색 영역에 포함된 텍스트를 선택하는 선택 유저 입력을 더 수신할 수 있다. 이 때, 선택 유저 입력에 대한 응답으로 선택된 텍스트는 검색어 입력 영역에 검색어로서 입력될 수 있다. 즉, 사용자는 검색하려는 검색어를 일일이 타이핑할 필요가 없이 검색 영역에 포함되어 제 1 사용자 스마트패드(101)의 화면에 표시된 텍스트를 간단히 선택함으로써 검색어 입력 영역에 해당 텍스트를 입력할 수 있다. 선택 유저 입력의 대상이 되는 텍스트는 위에서 설명한 바와 같이, 선택 유저 입력만으로 검색어 입력 영역에 입력되기 위해 버튼 형식으로 가공된 것일 수 있다.
사용자 인터페이스부(110)는 텍스트 관리 서버(300)로부터 수신된 텍스트가 비디오 컨텐츠의 재생 화면에 표시된 텍스트와 다른 경우, 수신된 텍스트를 수정하는 유저 입력을 통해 텍스트 수정 사용자 인터페이스를 제공할 수 있다. 이 때, 수정된 텍스트는 텍스트 관리 서버(300)에게 전송되어 해당 비디오 컨텐츠의 텍스트 정보를 업데이트시키는데 이용될 수 있다.
텍스트 요청부(120)는 텍스트 관리 서버(300)에게 비디오 컨텐츠의 재생 화면에 표시된 텍스트를 요청할 수 있다. 이 때, 텍스트 요청은 비디오 컨텐츠의 식별 정보 및 검출부(170)에서 추출한, 사용자 인터페이스부(110)에서 사용자 단말의 화면을 선택하는 유저 입력이 수신된 시점의, 비디오 컨텐츠의 재생 시간 정보를 포함할 수 있다.
텍스트 수신부(130)는 텍스트 관리 서버(300)로부터 텍스트 요청부(120)에서 요청한 텍스트를 수신할 수 있다. 이 때, 텍스트 수신부(130)에서 수신하는 텍스트는 비디오 컨텐츠의 재생 화면에 표시된 자막이 텍스트 관리 서버(300)에서 명사형 단어로 분리된 것일 수 있다. 또한, 텍스트 수신부(130)에서 수신하는 텍스트는 검색어 전송부(170)에서 텍스트 관리 서버(300)에게 전송되어, 텍스트 관리 서버(300)에서 관리되는 관련 텍스트를 포함할 수 있다.
텍스트 수신부(130)에서 수신하는 텍스트는 검출부(170)에서 추출한 비디오 컨텐츠의 재생 시간 정보에 대응하는 것일 수 있고, 구체적으로 비디오 컨텐츠의 재생 시간으로부터 기설정된 시간 범위 이내에 있는 텍스트일 수 있다.
검색 영역 제공부(140)는 제 1 사용자 스마트패드(101)의 화면에 텍스트 수신부(130)에서 수신한 텍스트 및 검색어 입력 영역이 포함된 검색 영역을 표시할 수 있다. 이 때, 검색어 입력 영역에는 사용자 인터페이스부(110)를 통해 검색어가 입력될 수 있다.
또한, 검색 영역 제공부(140)는 검색 영역이 표시된 상태에서 검색 영역 이외의 제 1 사용자 스마트패드(101)의 화면을 선택하는 유저 입력을 사용자 인터페이스부(110)를 통해 수신하는 경우, 표시된 검색 영역을 보이지 않게 할 수 있다. 즉, 활성화된 검색 영역을 비활성화 시킬 수 있다.
검색 요청부(150)는 제 1 사용자 스마트패드(101)의 화면에 표시된 검색 영역 내의 검색어 입력 영역에 입력된 검색어를 검색 서버(400)에게 전송할 수 있다.
검색 결과 수신부(160)는 검색 서버(400)로부터 검색어 입력 영역에 입력된 검색어에 대응하는 검색 결과를 수신할 수 있다. 이 때, 검색어 입력 영역에 입력된 검색어는 여러 개일 수 있고, 검색 서버(400)로부터 수신된 검색 결과는 제 1 사용자 스마트패드(101)를 보유한 제 1 사용자의 정보에 기초한 추천 비디오 컨텐츠 정보, 추천 이미지 컨텐츠 정보 및 광고 정보 중 어느 하나를 포함할 수 있다.
검출부(170)는 사용자 인터페이스부(110)에서 사용자 단말의 화면을 선택하는 유저 입력이 수신된 시점의 비디오 컨텐츠의 재생 시간 정보를 검출할 수 있다.
검색어 전송부(180)는 검색 영역에 포함되고, 제 1 사용자 스마트패드(101)의 화면에 표시된 검색어 입력 영역에 사용자 인터페이스부(110)를 통해 별도로 검색어가 입력된 경우, 별도로 입력받은 별도의 검색어를 텍스트 관리 서버(300)에게 전송할 수 있다. 이 때, 텍스트 관리 서버(300)에게 전송한 별도의 검색어는 텍스트 관리 서버(300)에서 관련 텍스트로서 관리될 수 있다.
여기서, 별도의 검색어는 별도의 검색어에 대응하는 비디오 컨텐츠의 재생 화면과 매칭되어 검색 서버(400)에서 검색 DB로 활용될 수 있다. 구체적으로, 별도의 검색어에 대응하는 비디오 컨텐츠의 재생 화면이란, 별도의 검색어가 입력되는 검색 영역에 포함된, 텍스트 관리 서버(300)로부터 수신된 텍스트에 대응하는 비디오 컨텐츠의 재생 화면을 의미한다.
DB(190)는 데이터를 저장한다. 이 때, 데이터는 제 1 사용자 스마트패드(101) 내부의 각 구성요소들 간에 입력 및 출력되는 데이터를 포함하고, 제 1 사용자 스마트패드(101)와 제 1 사용자 스마트패드(101) 외부의 구성요소들간에 입력 및 출력되는 데이터를 포함한다. 예를 들어, DB(190)는 검출부(170)에서 검출한 비디오 컨텐츠의 재생 시간 정보 및 검색어 전송부(180)에서 전송한 별도로 입력받은 검색어 내역을 저장할 수 있다. 이러한 DB(190)의 일 예에는 제 1 사용자 스마트패드(101) 내부 또는 외부에 존재하는 하드디스크드라이브, ROM(Read Only Memory), RAM(Random Access Memory), 플래쉬메모리 및 메모리카드 등이 포함된다.
이와 같은, 사용자 인터페이스부(110), 텍스트 요청부(120), 텍스트 수신부(130), 검색 영역 제공부(140), 검색 요청부(150), 검색 결과 수신부(160), 검출부(170), 검색어 전송부(180) 및 DB(190)에 대하여 이상에서 설명되지 아니한 사항은 앞서 도 2를 통해 설명된 내용과 동일하거나 설명된 내용으로부터 당업자에 의해 용이하게 유추되므로 설명을 생략하도록 한다.
당업자라면, 사용자 인터페이스부(110), 텍스트 요청부(120), 텍스트 수신부(130), 검색 영역 제공부(140), 검색 요청부(150), 검색 결과 수신부(160), 검출부(170), 검색어 전송부(180) 및 DB(190) 각각이 분리되어 구현되거나, 이 중 하나 이상이 통합되어 구현될 수 있음을 충분히 이해할 것이다.
이하, 제 1 사용자 스마트패드(101)가 비디오 컨텐츠의 재생 화면에 포함된 텍스트를 이용하여 검색하는 과정을 도 4 내지 도 6을 통해 설명한다.
도 4는 본 발명의 일 실시예에 따른, 제 1 사용자 스마트패드(101)가 비디오 컨텐츠의 재생 화면에 포함된 텍스트를 이용하여 검색하는 과정을 설명하기 위한 도면이다.
도 4의 (a)를 참조하면, 제 1 사용자 스마트패드(101)에서 재생 중인 비디오 컨텐츠의 재생 화면은 "구탄행성이 미래에 지구와 충돌하거나 지구를 침공할 것"이라는 자막을 표시하고 있다. 이 때, 제 1 사용자 인터페이스부(110)는 제 1 사용자 스마트패드(101)의 화면을 선택하는 유저 입력을 수신할 수 있다. 즉, 제 1 사용자 스마트패드(101)는 터치스크린 기반의 사용자 인터페이스부(110)를 통해 제 1 사용자 스마트패드(101)의 화면을 터치함으로써 선택하는 유저 입력을 수신할 수 있다.
도 4의 (b)를 참조하면, 검색 영역 제공부(140)는 사용자 인터페이스부(110)를 통해 수신한 제 1 사용자 스마트패드(101)의 화면을 선택하는 유저 입력에 대한 응답으로, 검색 영역을 표시할 수 있다. 이 때, 검색 영역은 텍스트 수신부(130)에서 텍스트 관리 서버(300)로부터 수신한 텍스트인 "구탄행성", "미래", "지구" 및 "침공"을 검색 영역 내에 표시할 수 있다. 또한, 사용자 인터페이스부(110)는 검색 영역에 표시된 "구탄행성", "미래", "지구" 및 "침공"을 선택하는 선택 유저 입력을 수신함으로써, 선택된 "구탄행성", "미래", "지구" 및 "침공"을 검색 영역에 포함된 검색어 입력 영역에 입력할 수 있다.
여기서 텍스트 관리 서버(300)로부터 수신된 텍스트인 "구탄행성", "미래", "지구" 및 "침공"은 버튼 형식으로 가공된 것일 수 있다. 도 4의 경우, 텍스트 관리 서버(300)로부터 수신된 텍스트만이 검색 영역에 포함되지만, 도 5를 참조하면, 본 발명의 다른 실시예에 있어서 비디오 컨텐츠의 재생 화면에 표시된 자막 전체가 검색 영역에 표시될 수 있다.
도 5는 본 발명의 다른 실시예에 따른, 제 1 사용자 스마트패드(101)에 표시된 검색영역을 도시한 도면이다.
도 5를 참조하면, 제 1 사용자 스마트패드(101)에 표시된 검색영역은 제 1 사용자 스마트패드(101)에서 재생 되는 비디오 컨텐츠의 재생 화면에 표시된 자막 전체를 텍스트 관리 서버(300)로부터 수신하여 표시하고, 텍스트 관리 서버(300)로부터 수신된 텍스트인 "구탄행성", "미래", "지구" 및 "침공"를 버튼 형식으로 가공하여 선택 가능하게, 해당 자막과 함께, 표시될 수 있다.
또한 도 5를 참조하면, 검색 영역 상단에 버튼 형식의 "영상 검색" 및 "단어" 탭이 표시되어 있고, "영상 검색" 탭이 활성화된 상태에서는 선택된 택스트에 대응하는 추천 비디오 컨텐츠, 추천 이미지 컨텐츠, 광고 등을 검색 결과로서 수신할 수 있고, "단어" 탭이 활성화된 상태에서는 선택된 택스트에 대응하는 일반 포털 검색 결과를 수신할 수 있다. 다만, 이러한 사항은 예시일 뿐, 이에 한정되지 않는다.
다시 도 4의 (c)를 참조하면, 도 4의 (b)에서 검색어 입력 영역에 입력된 텍스트에 대한 검색 요청에 의한 검색 결과가 검색 영역에 표시될 수 있다. 이 때, 검색 요청은 검색어 입력 영역에 표시된 "돋보기" 버튼을 터치함으로써 수행될 수 있다.
도 6은 본 발명의 다른 실시예에 따른, 제 1 사용자 스마트패드 및 제 1 사용자 IPTV를 이용하여 비디오 컨텐츠의 재생 화면에 포함된 텍스트를 수신하는 구성도이다.
도 6을 참조하면, 제 1 사용자 IPTV(102)를 보유한 제 1 사용자는 제 1 사용자 IPTV(102)를 통해 비디오 컨텐츠 시청 중에 비디오 컨텐츠의 재생 화면에 표시된 "구탄행성이 미래에 지구와 충돌하거나 지구를 침공할 것"에 대한 텍스트 요청을 텍스트 관리 서버(300)에 요청할 수 있다. 이 때, 텍스트 요청은 제 1 사용자의 다른 단말인 제 1 사용자 스마트패드(101)를 통해 수행될 수 있다. 구체적으로, 제 1 사용자 스마트패드(101)와 제 1 사용자 IPTV(102)는 미리 연동되어 있고, 제 1 사용자 IPTV(102)에서 비디오 컨텐츠 재생 중에 제 1 사용자 스마트패드(101)을 통해 서비스 제공을 요청하는 유저 입력을 수신함으로써, 제 1 사용자 스마트패드(101)는 텍스트 관리 서버(300)로부터 텍스트를 수신하고, 검색 서버(400)로부터 검색 결과를 수신하는 등의 서비스를 제공받을 수 있다.
이하에서는 도 1의 텍스트 관리 서버(300)의 동작에 대해 보다 구체적으로 설명한다.
도 7은 본 발명의 일 실시예에 따른, 도 1에 도시된 텍스트 관리 서버(300)의 구성도이다. 도 7을 참조하면, 텍스트 관리 서버(300)는 컨텐츠 수신부(310), 텍스트 추출부(320), 텍스트 요청 수신부(330), 텍스트 전송부(340), 검색어 수신부(350) 및 DB(360)를 포함할 수 있다. 다만, 도 7에 도시된 텍스트 관리 서버(300)는 본 발명의 하나의 구현 예에 불과하며, 도 7에 도시된 구성요소들을 기초로 하여 여러 가지 변형이 가능하다. 예를 들어, 텍스트 관리 서버(300)는 이용자로부터 어떤 명령 내지 정보를 입력받기 위해 사용자 인터페이스를 포함할 수 있다. 사용자 인터페이스는 일반적으로 키보드, 마우스 등과 같은 입력 장치가 될 수도 있고, 영상 표시 장치에 표현되는 그래픽 유저 인터페이스(GUI, Graphical User interface)가 될 수도 있다.
컨텐츠 수신부(310)는 컨텐츠 서버(500)로부터 비디오 컨텐츠를 수신할 수 있다. 이 때, 컨텐츠 수신부(310)에서 수신하는 비디오 컨텐츠는 식별 정보를 포함할 수 있다.
텍스트 추출부(320)는 컨텐츠 수신부(310)에서 수신한 비디오 컨텐츠의 재생 화면에 포함된 자막을 재생 시간별로 추출하고, 추출한 자막을 조사를 제외한 명사형 단어인 텍스트로 분리할 수 있다. 이 때 재생 시간별로 추출된 자막 및 텍스트는 비디오 컨텐츠의 식별 정보 및 재생 시간과 함께 DB(390)에 저장될 수 있다. 제 1 사용자 단말(100)로부터 텍스트 추출부(320)에서 추출한 텍스트에 대한 수정 요청이 있는 경우, 텍스트 추출부(320)는 해당 재생 시간의 자막을 정밀하게 스캔함으로써 수정 요청에 포함된 텍스트의 진위를 판단할 수 있다.
구체적으로, 텍스트 추출부(320)는 OCR(Optical Character Reader) 방식으로 비디오 컨텐츠의 재생 화면에 포함된 자막을 추출하고, 사전을 이용하여 텍스트 추출부(320)에서 추출한 자막을 텍스트로 분리할 수 있다. 여기서, 텍스트 추출부(320)는 비디오 컨텐츠의 프레임(frame) 별로 OCR엔진을 구동함으로써 자막을 추출할 수 있다.
본 발명의 다른 실시예에 따르면, 텍스트 추출부(320)는 비디오 컨텐츠의 재생 화면을 스캔하여 threshold 값이 급격히 달라지는 부분을 띄어쓰기로 인식함으로써, 어절 단위로 자막을 추출할 수 있다. 따라서 추출된 어절 단위의 자막을 사전을 이용하여 조사를 제거하고 명사형 단어인 텍스트를 추출할 수 있는 바, 정확성을 높이고, 추출속도를 향상시킬 수 있다. 이하 도 8을 참조하여 설명하겠다.
도 8은 본 발명의 일 실시예에 따른, 텍스트 관리 서버가 텍스트를 추출하는 과정을 설명하기 위한 도면이다.
도 8의 (a)를 참조하면, 비디오 컨텐츠의 재생 화면은 "이 시각 이후의 주요 뉴스"라고 표시된 자막을 포함한다.
도 8의 (b)를 참조하면 텍스트 추출부(320)는 비디오 컨텐츠의 재생 화면을 화살표 방향으로 스캔 함으로써, 자막이 표시된 다소 넓은 범위의 영역을 검출할 수 있다. 예를 들어, 다소 넓은 범위는 비디오 컨텐츠 재생 화면이 크게 상단 영역, 중단 영역 및 하단 영역으로 나눠진 것일 수 있고, 혹은 비디오 컨텐츠 재생 화면이 크게 좌측 영역, 우측 영역으로 나눠진 것일 수도 있다. 구체적으로, 도 8의 (b)의 경우, 텍스트 추출부(320)는 비디오 컨텐츠의 재생 화면을 화살표 방향으로 스캔 함으로써, "이 시각 이후의 주요 뉴스"라고 표시된 자막이 비디오 컨텐츠 재생 화면의 하단 영역에 위치한 것임을 판단할 수 있다. 이 때, 화살표 방향은 예시일 뿐이고, 다양한 형태의 방향이 될 수 있다.
도 8의 (c)를 참조하면, 텍스트 추출부(320)는 검색된 다소 넓은 범위의 영역을 화살표 방향으로 스캔 할 수 있고, 이미지의 threshold 값이 급격히 달라지는 부분의 위치를 파악함으로써, 띄어쓰기 부분을 인식할 수 있다. 이 때, 화살표 방향 역시 예시일 뿐이고, 다양한 형태의 방향이 될 수 있다.
도 8의 (d)를 참조하면, 스캔의 결과 "이", "시각", "이후의", "주요", "뉴스"의 다섯 어절로 나뉜 자막을 추출할 수 있고, 텍스트 추출부(320)는 추출된 어절 각각을 사전을 이용하여 텍스트로 분리시킬 수 있다.
다시 도 7을 참조하면, 텍스트 요청 수신부(330)는 제 1 사용자 단말(100)로부터 텍스트 요청을 수신할 수 있다. 이 때, 수신한 텍스트 요청은 비디오 컨텐츠의 식별 정보 및 재생 시간 정보를 포함할 수 있다.
텍스트 전송부(340)는 텍스트 요청 수신부(330)에서 수신한 텍스트 요청에 대한 응답으로 텍스트 추출부(320)에서 추출한 텍스트를 제 1 사용자 단말(100)에게 전송할 수 있다. 이 때, 제 1 사용자 단말(100)에게 전송한 텍스트는 텍스트 요청 수신부(330)에서 수신한 텍스트 요청에 포함된 비디오 컨텐츠의 식별 정보 및 재생 시간 정보를 이용하여 DB(390)로부터 획득된 텍스트일 수 있다. 또한, 텍스트 전송부(340)는 DB(390)에 저장된 관련 텍스트를 텍스트 추출부(320)에서 추출한 텍스트와 함께 제 1 사용자 단말(100)에게 전송할 수 있다.
검색어 수신부(350)는 텍스트 추출부(320)에서 추출된 텍스트 이외의 별도의 검색어를 복수의 단말로부터 수신할 수 있고, 수신한 별도의 검색어를 관련 텍스트로서 저장 및 관리할 수 있다. 이 때, 검색어 수신부(350)에서 수신한 별도의 검색어는 복수의 단말 각각의 화면에 포함된 검색 영역 내의 검색어 입력 영역에 입력된 것일 수 있다. 따라서, 검색어 수신부(350)에서 수신한 별도의 검색어는 별도의 검색어에 대응하는 비디오 컨텐츠 식별 정보 및 재생 시간을 이용하여 이에 대응하는 텍스트 추출부(320)에서 추출된 텍스트와 함께 DB(390)에 저장될 수 있다.
다만, 검색어 수신부(350)에서 수신한 별도의 검색어는, 복수의 사용자 단말로부터 수신된 각각의 별도의 검색어들간 유사도에 기초하여 복수의 사용자 단말에게 추천될 수 있는 관련 텍스트로서 DB(390)에서 관리될 수 있다. 임의의 사용자 단말에서 잘못 입력되어 전송된 별도의 검색어까지 관련 텍스트로서 관리하면, 관련 텍스트가 방대해져서 문제가 생길 수 있기 때문이다.
구체적으로, 제어부(미도시)는 별도의 검색어들간의 유사도별로 가중치를 달리 부여하여 미리 설정된 임계값을 초과하는 별도의 검색어에 한하여 관련 텍스트로서 관리되게 할 수 있다.
또한, 제어부(미도시)는 별도의 검색어가 텍스트 추출부(320)에서 추출된 텍스트와 유사한 정도에 따라 별도의 검색어에게 가중치를 달리 부여하여 미리 설정된 임계값을 초과하는 별도의 검색어에 한하여 관련 텍스트로서 관리되게 할 수 있다.
DB(390)는 데이터를 저장한다. 이 때, 데이터는 텍스트 관리 서버(300) 내부의 각 구성요소들 간에 입력 및 출력되는 데이터를 포함하고, 텍스트 관리 서버(300)와 텍스트 관리 서버(300) 외부의 구성요소들간에 입력 및 출력되는 데이터를 포함한다. 예를 들어, DB(390)는 텍스트 추출부(320)에서 추출하는 텍스트를 저장할 수 있다. 이러한 DB(390)의 일 예에는 텍스트 관리 서버(300) 내부 또는 외부에 존재하는 하드디스크드라이브, ROM(Read Only Memory), RAM(Random Access Memory), 플래쉬메모리 및 메모리카드 등이 포함된다.
당업자라면, 컨텐츠 수신부(310), 텍스트 추출부(320), 텍스트 요청 수신부(330), 텍스트 전송부(340), 검색어 수신부(350) 및 DB(390) 각각이 분리되어 구현되거나, 이 중 하나 이상이 통합되어 구현될 수 있음을 충분히 이해할 것이다.
도 9은 본 발명의 일 실시예에 따른, 제 1 사용자 단말(100)에서의 비디오 컨텐츠의 재생 화면에 포함된 텍스트를 이용한 검색 방법을 나타낸 동작 흐름도이다. 도 9에 도시된 실시예에 따른 검색 방법은 도 2 내지 도 8에 도시된 실시예에 따른 제 1 사용자 단말(100)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 2 내지 도 8의 제 1 사용자 단말(100)에 관하여 기술된 내용은 도 9에 도시된 실시예에 따른 검색 방법에도 적용된다.
단계 S901에서 제 1 사용자 단말(100)은 비디오 컨텐츠가 재생되는 동안, 제 1 사용자 단말의 화면을 선택하는 유저 입력을 수신할 수 있다.
단계 S902에서 제 1 사용자 단말(100)은 텍스트 관리 서버(300)에게 비디오 컨텐츠의 재생 화면에 표시된 텍스트를 요청할 수 있다.
단계 S903에서 제 1 사용자 단말(100)은 텍스트 관리 서버(300)로부터 단계 S902에서 요청한 텍스트를 수신할 수 있다.
단계 S904에서 제 1 사용자 단말(100)은 제 1 사용자 단말(100)의 화면에 단계 S903에서 수신한 텍스트 및 검색어 입력 영역이 포함된 검색 영역을 표시할 수 있다.
단계 S905에서 제 1 사용자 단말(100)은 단계 S904에서 표시한 검색어 입력 영역에 사용자 인터페이스를 통해 입력된 검색어의 검색을 검색 서버(400)에게 요청할 수 있다.
단계 S906에서 제 1 사용자 단말(100)은 검색 서버(400)로부터 단계 S905에서 요청한 검색어에 대응하는 검색 결과를 수신할 수 있다.
도 10은 본 발명의 일 실시예에 따른, 텍스트 관리 서버(300)에서의 텍스트 추출 방법을 나타낸 동작 흐름도이다. 도 10에 도시된 실시예에 따른 텍스트 추출 방법은 도 2 내지 도 8에 도시된 실시예에 따른 텍스트 관리 서버(300)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 2 내지 도 8의 텍스트 관리 서버(300)에 관하여 기술된 내용은 도 9에 도시된 실시예에 따른 텍스트 추출 방법에도 적용된다.
단계 S1001에서 텍스트 관리 서버(300)는 컨텐츠 서버(500)로부터 비디오 컨텐츠를 수신할 수 있다.
단계 S1002에서 텍스트 관리 서버(300)는 단계 S1001에서 수신한 비디오 컨텐츠의 재생 화면에 포함된 자막을 재생 시간별로 추출할 수 있다.
단계 S1003에서 텍스트 관리 서버(300)는 단계 S1002에서 추출한 자막을 조사를 제외한 명사형 단어인 텍스트로 분리할 수 있다.
단계 S1004에서 텍스트 관리 서버(300)는 제 1 사용자 단말(100)로부터 단계 S1003에서 추출한 텍스트 요청을 수신할 수 있다.
단계 S1005에서 텍스트 관리 서버(300)는 단계 S1003에서 추출한 텍스트를 단계 S1004에서의 요청에 대한 응답으로 제 1 사용자 단말(100)에게 전송할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 제 1 사용자 단말
200: 제 2 사용자 단말
300: 텍스트 관리 서버
400: 검색 서버
500: 컨텐츠 서버
600: 네트워크

Claims (16)

  1. 비디오 컨텐츠의 재생 화면에 포함된 텍스트를 이용하여 검색을 수행하는 사용자 단말에 있어서,
    상기 비디오 컨텐츠가 재생되는 동안, 상기 사용자 단말의 화면을 선택하는 유저 입력을 수신하는 사용자 인터페이스부;
    텍스트 관리 서버에게 상기 비디오 컨텐츠의 재생 화면에 표시된 텍스트를 요청하는 텍스트 요청부;
    상기 텍스트 관리 서버로부터 상기 요청된 텍스트를 수신하는 텍스트 수신부;
    상기 사용자 단말의 화면에 상기 수신된 텍스트 및 검색어 입력 영역이 포함된 검색 영역을 표시하는 검색 영역 제공부;
    상기 검색어 입력 영역에 상기 사용자 인터페이스부를 통해 입력된 검색어의 검색을 검색 서버에게 요청하는 검색 요청부;
    상기 검색 서버로부터 상기 입력된 검색어에 대응하는 검색 결과를 수신하는 검색 결과 수신부를 포함하고,
    상기 사용자 단말의 화면을 선택하는 유저 입력이 수신된 시점의 상기 비디오 컨텐츠의 재생 시간 정보를 검출하는 검출부를 더 포함하고,
    상기 텍스트 요청부는 상기 텍스트 관리 서버에게 상기 검출된 재생 시간 정보를 전송하는 것인 사용자 단말.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 텍스트는 상기 비디오 컨텐츠의 재생 화면에 표시된 자막이 상기 텍스트 관리 서버에서 명사형 단어로 분리된 것인, 사용자 단말.
  4. 제 1 항에 있어서,
    상기 비디오 컨텐츠는 상기 사용자 단말 또는 상기 사용자 단말을 보유한 사용자의 다른 단말에서 재생되는 것인, 사용자 단말.
  5. 제 1 항에 있어서,
    상기 사용자 인터페이스부는 상기 검색 영역에 포함된 텍스트를 선택하는 선택 유저 입력을 더 수신하고,
    상기 선택된 텍스트는 상기 선택 유저 입력에 대한 응답으로 상기 검색어 입력 영역에 상기 검색어로서 입력되는 것인, 사용자 단말.
  6. 제 5 항에 있어서,
    상기 검색어 입력 영역에 상기 사용자 인터페이스부를 통해 별도로 검색어가 입력된 경우, 상기 별도로 입력받은 별도의 검색어를 상기 텍스트 관리 서버에게 전송하는 검색어 전송부를 더 포함하고,
    상기 전송된 별도의 검색어는 상기 텍스트 관리 서버에서 관련 텍스트로서 관리되는 것인, 사용자 단말.
  7. 제 6 항에 있어서,
    상기 텍스트 수신부는 상기 텍스트 관리 서버로부터 관련 텍스트를 더 수신하는 것인, 사용자 단말.
  8. 제 1 항에 있어서,
    상기 검색 서버로부터 수신된 검색 결과는 상기 사용자 단말을 보유한 사용자의 정보에 기초한 추천 비디오 컨텐츠 정보, 추천 이미지 컨텐츠 정보 및 광고 정보 중 어느 하나를 포함하는 것인, 사용자 단말.
  9. 제 1 항에 있어서,
    상기 사용자 인터페이스부는 상기 텍스트 관리 서버로부터 수신된 텍스트가 상기 비디오 컨텐츠의 재생 화면에 표시된 텍스트와 다른 경우, 상기 수신된 텍스트를 수정하는 텍스트 수정 사용자 인터페이스를 제공하는 것인, 사용자 단말.
  10. 비디오 컨텐츠의 재생 화면에 포함된 텍스트를 이용하여 검색을 수행하는 방법에 있어서,
    상기 비디오 컨텐츠가 재생되는 동안, 사용자 단말의 화면을 선택하는 유저 입력을 수신하는 단계;
    텍스트 관리 서버에게 상기 비디오 컨텐츠의 재생 화면에 표시된 텍스트를 요청하는 단계;
    상기 텍스트 관리 서버로부터 상기 요청된 텍스트를 수신하는 단계;
    상기 사용자 단말의 화면에 상기 수신된 텍스트 및 검색어 입력 영역이 포함된 검색 영역을 표시하는 단계;
    상기 검색어 입력 영역에 상기 사용자 인터페이스부를 통해 입력된 검색어의 검색을 검색 서버에게 요청하는 단계;
    상기 검색 서버로부터 상기 입력된 검색어에 대응하는 검색 결과를 수신하는 단계를 포함하고,
    상기 텍스트를 요청하는 단계는 상기 사용자 단말의 화면을 선택하는 유저 입력이 수신된 시점의 상기 비디오 컨텐츠의 재생 시간 정보를 검출하는 단계; 및
    상기 텍스트 관리 서버에게 상기 검출된 재생 시간 정보를 전송하는 단계를 포함하는 것인 텍스트 검색 방법.
  11. 비디오 컨텐츠의 재생 화면에 포함된 텍스트를 관리하는 텍스트 관리 서버에 있어서,
    컨텐츠 서버로부터 상기 비디오 컨텐츠를 수신하는 컨텐츠 수신부;
    상기 수신된 비디오 컨텐츠의 재생 화면에 포함된 자막을 재생 시간별로 추출하고, 상기 추출한 자막을 조사를 제외한 명사형 단어인 텍스트로 분리하는 텍스트 추출부;
    사용자 단말로부터 텍스트 요청을 수신하는 텍스트 요청 수신부;
    상기 추출된 텍스트를 상기 사용자 단말에게 전송하는 텍스트 전송부를 포함하고,
    상기 수신된 텍스트 요청은 상기 비디오 컨텐츠의 식별 정보 및 재생 시간 정보를 포함하고, 상기 전송된 텍스트는 상기 비디오 컨텐츠의 식별 정보 및 재생 시간 정보를 이용하여 획득된 텍스트인 것인 텍스트 관리 서버.
  12. 삭제
  13. 제 11 항에 있어서,
    복수의 단말로부터 상기 추출된 텍스트 이외의 별도의 검색어를 수신하는 검색어 수신부를 더 포함하고,
    상기 텍스트 전송부는 상기 수신된 별도의 검색어를 관련 텍스트로서 상기 사용자 단말에게 전송하는 것인, 텍스트 관리 서버.
  14. 제 11 항에 있어서,
    상기 텍스트 추출부는 OCR(Optical Character Reader) 방식으로 상기 비디오 컨텐츠의 재생 화면에 포함된 자막을 추출하고, 사전을 이용하여 상기 추출된 자막을 텍스트로 분리하는 것인, 텍스트 관리 서버.
  15. 제 11 항에 있어서,
    상기 텍스트 추출부는 상기 비디오 컨텐츠의 재생 화면을 스캔하여 threshold 값이 급격히 달라지는 부분을 띄어쓰기로 인식하는 것인, 텍스트 관리 서버.
  16. 비디오 컨텐츠의 재생 화면에 포함된 텍스트를 관리하는 방법에 있어서,
    컨텐츠 서버로부터 상기 비디오 컨텐츠를 수신하는 단계;
    상기 수신한 비디오 컨텐츠의 재생 화면에 포함된 자막을 재생 시간별로 추출하고, 상기 추출된 자막을 조사를 제외한 명사형 단어인 텍스트로 분리하는 단계;
    사용자 단말로부터 텍스트 요청을 수신하는 단계;
    상기 추출된 텍스트를 상기 사용자 단말에게 전송하는 단계를 포함하고,
    상기 수신된 텍스트 요청은 상기 비디오 컨텐츠의 식별 정보 및 재생 시간 정보를 포함하고, 상기 전송된 텍스트는 상기 비디오 컨텐츠의 식별 정보 및 재생 시간 정보를 이용하여 획득된 텍스트인 것인
    텍스트 관리 방법.
KR1020120146449A 2012-12-14 2012-12-14 비디오 컨텐츠의 재생 화면에 포함된 텍스트를 이용하여 검색을 수행하는 장치 및 방법 KR101472014B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120146449A KR101472014B1 (ko) 2012-12-14 2012-12-14 비디오 컨텐츠의 재생 화면에 포함된 텍스트를 이용하여 검색을 수행하는 장치 및 방법
US14/107,122 US20140172816A1 (en) 2012-12-14 2013-12-16 Search user interface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120146449A KR101472014B1 (ko) 2012-12-14 2012-12-14 비디오 컨텐츠의 재생 화면에 포함된 텍스트를 이용하여 검색을 수행하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140077535A KR20140077535A (ko) 2014-06-24
KR101472014B1 true KR101472014B1 (ko) 2014-12-12

Family

ID=50932159

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120146449A KR101472014B1 (ko) 2012-12-14 2012-12-14 비디오 컨텐츠의 재생 화면에 포함된 텍스트를 이용하여 검색을 수행하는 장치 및 방법

Country Status (2)

Country Link
US (1) US20140172816A1 (ko)
KR (1) KR101472014B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10506003B1 (en) * 2014-08-08 2019-12-10 Amazon Technologies, Inc. Repository service for managing digital assets
KR102206184B1 (ko) * 2014-09-12 2021-01-22 삼성에스디에스 주식회사 동영상 내 객체 관련 정보 검색 방법 및 동영상 재생 장치
KR102088443B1 (ko) 2015-04-01 2020-03-12 삼성전자주식회사 검색을 수행하는 디스플레이 장치 및 이의 제어 방법
CN112580499A (zh) * 2020-12-17 2021-03-30 上海眼控科技股份有限公司 文本识别方法、装置、设备及存储介质
WO2021092632A2 (en) * 2021-02-26 2021-05-14 Innopeak Technology, Inc. Weakly-supervised text-based video moment retrieval via cross attention modeling

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000072482A (ko) * 2000-09-06 2000-12-05 이재학 이용자의 검색을 용이하게 하는 인터넷 검색 시스템 및 그방법
KR20090093571A (ko) * 2008-02-29 2009-09-02 한국과학기술원 Ｔｖ 시청중 인터넷을 검색하는 장치 및 그 방법
KR20100030379A (ko) * 2008-09-10 2010-03-18 삼성전자주식회사 디지털 캡션에 포함된 용어의 설명을 표시해주는 방송수신장치 및 이에 적용되는 디지털 캡션 처리방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7596755B2 (en) * 1997-12-22 2009-09-29 Ricoh Company, Ltd. Multimedia visualization and integration environment
US20070300258A1 (en) * 2001-01-29 2007-12-27 O'connor Daniel Methods and systems for providing media assets over a network
US8438157B2 (en) * 2004-06-28 2013-05-07 International Business Machines Corporation System and method for previewing relevance of streaming data
US8255815B2 (en) * 2006-08-04 2012-08-28 Apple Inc. Motion picture preview icons
US10108730B2 (en) * 2006-09-28 2018-10-23 Oath Inc. Method and system for posting video
US8296808B2 (en) * 2006-10-23 2012-10-23 Sony Corporation Metadata from image recognition
US8904442B2 (en) * 2007-09-06 2014-12-02 At&T Intellectual Property I, Lp Method and system for information querying
US8112702B2 (en) * 2008-02-19 2012-02-07 Google Inc. Annotating video intervals
US20100241507A1 (en) * 2008-07-02 2010-09-23 Michael Joseph Quinn System and method for searching, advertising, producing and displaying geographic territory-specific content in inter-operable co-located user-interface components
US20100281108A1 (en) * 2009-05-01 2010-11-04 Cohen Ronald H Provision of Content Correlated with Events
US8327407B2 (en) * 2009-10-27 2012-12-04 Sling Media, Inc. Determination of receiving live versus time-shifted media content at a communication device
US8433719B1 (en) * 2011-12-29 2013-04-30 Google Inc. Accelerating find in page queries within a web browser

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000072482A (ko) * 2000-09-06 2000-12-05 이재학 이용자의 검색을 용이하게 하는 인터넷 검색 시스템 및 그방법
KR20090093571A (ko) * 2008-02-29 2009-09-02 한국과학기술원 Ｔｖ 시청중 인터넷을 검색하는 장치 및 그 방법
KR20100030379A (ko) * 2008-09-10 2010-03-18 삼성전자주식회사 디지털 캡션에 포함된 용어의 설명을 표시해주는 방송수신장치 및 이에 적용되는 디지털 캡션 처리방법

Also Published As

Publication number Publication date
US20140172816A1 (en) 2014-06-19
KR20140077535A (ko) 2014-06-24

Similar Documents

Publication Publication Date Title
US10037360B2 (en) Approximate template matching for natural language queries
US20150026718A1 (en) Systems and methods for displaying a selectable advertisement when video has a background advertisement
KR101472014B1 (ko) 비디오 컨텐츠의 재생 화면에 포함된 텍스트를 이용하여 검색을 수행하는 장치 및 방법
US20170324607A1 (en) Methods, systems, and media for media transmission and management
US11100292B2 (en) Systems and methods for disambiguating a term based on static and temporal knowledge graphs
CN102595228A (zh) 内容同步设备和方法
US20150154303A1 (en) System and method for providing content recommendation service
KR20170010378A (ko) 비디오의 텍스트 검출
CN108111898B (zh) 电视画面截图的图形用户界面的显示方法以及智能电视
US20150319509A1 (en) Modified search and advertisements for second screen devices
CN105049950A (zh) 显示信息的方法和系统
US20130007057A1 (en) Automatic image discovery and recommendation for displayed television content
US20150128190A1 (en) Video Program Recommendation Method and Server Thereof
US11804017B2 (en) Systems and methods for displaying supplemental content for media using augmented reality
US20120323900A1 (en) Method for processing auxilary information for topic generation
KR20150066915A (ko) 방송 컨텐츠에 대한 부가 정보를 생성하는 서버 및 방법, 그리고 부가 정보를 표시하는 디바이스
KR101186419B1 (ko) 실시간으로 방송 연관 정보를 제공하는 방법 및 장치
US20150026744A1 (en) Display system, display apparatus, display method, and program
US10650065B2 (en) Methods and systems for aggregating data from webpages using path attributes
US20150052589A1 (en) Apparatus for processing image, method for providing personalization service, and computer-readable medium
KR101334127B1 (ko) 클라이언트 단말기를 이용한 동영상 콘텐츠 공유 서비스 제공 시스템 및 방법
KR101997224B1 (ko) 장면 기반의 메타데이터를 생성하는 장치 및 방법
CN112154671B (zh) 电子设备及其内容识别信息获取
KR20150043904A (ko) 학습 컨텐츠를 제공하는 방법 및 장치
KR102205793B1 (ko) 요약 뉴스를 생성하는 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant