JP6602423B2 - コンテンツ提供サーバ、コンテンツ提供端末及びコンテンツ提供方法 - Google Patents

コンテンツ提供サーバ、コンテンツ提供端末及びコンテンツ提供方法 Download PDF

Info

Publication number
JP6602423B2
JP6602423B2 JP2018108345A JP2018108345A JP6602423B2 JP 6602423 B2 JP6602423 B2 JP 6602423B2 JP 2018108345 A JP2018108345 A JP 2018108345A JP 2018108345 A JP2018108345 A JP 2018108345A JP 6602423 B2 JP6602423 B2 JP 6602423B2
Authority
JP
Japan
Prior art keywords
subtitle
page
section
content providing
caption
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018108345A
Other languages
English (en)
Other versions
JP6602423B6 (ja
JP2018207492A (ja
Inventor
チェー,ビョンギョ
ソ,チャンス
パク,ソンヒョン
イ,ソンヒョン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Naver Corp
Original Assignee
Naver Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Naver Corp filed Critical Naver Corp
Publication of JP2018207492A publication Critical patent/JP2018207492A/ja
Application granted granted Critical
Publication of JP6602423B2 publication Critical patent/JP6602423B2/ja
Publication of JP6602423B6 publication Critical patent/JP6602423B6/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4886Data services, e.g. news ticker for displaying a ticker, e.g. scrolling banner for news, stock exchange, weather data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74Browsing; Visualisation therefor
    • G06F16/745Browsing; Visualisation therefor the internal structure of a single video sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4858End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/93Regeneration of the television signal or of selected parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47Detecting features for summarising video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、コンテンツ提供サーバ、コンテンツ提供端末及びコンテンツ提供方法に関し、より具体的には、映像コンテンツから抽出された情報に対応して字幕ページを生成して提供するコンテンツ提供サーバ及びコンテンツ提供方法及びコンテンツ提供端末に関する。
通信技術と文化の発達によって多様な映像コンテンツが製作されて世界中に伝播されている。しかし、映像コンテンツは本と違って視聴者がコンテンツの進み具合を制御することができないので再生される映像に対する視聴者の内容への理解度にかかわらず映像を鑑賞しなければならない問題点がある。よって、このような問題点を解決するために、映像の再生時点を制御したり映像を探索するための多様な方法が提示されている。
映像の再生時点を制御するために代表的に提示されることができる方法として、スクロールバーを用いた制御を例示できる。これはユーザが映像の再生時間に対応して生成されるスクロール領域で任意の地点を選択した場合、該当時点へ映像の再生時点が移動するようになる方式である。
しかし、スクロール領域は映像の再生時間にかかわらず一定の長さを持つようになるので、映像の再生時間が長い場合はスクロール領域での僅かな移動でも映像の再生時点が大きく変更されるので再生時点の微細な制御が難しくなる。特にモバイル環境で映像を鑑賞する場合、ディスプレイのサイズが小さく、指でスクロールバーを制御しなければならない場合が多いので映像の再生時点を制御することがさらに難しくなる問題点がある。
また、映像の場合はユーザの理解を助けるために登場人物のセリフ又は再生される内容の説明のための字幕が添付されて提供される場合が多い。しかし、ユーザが映像から特定の内容の字幕を探すためにスクロール機能を用いた場合、上記した難点のため所望の場面とセリフに対する字幕を探すことが容易ではない。
また、ユーザの通信速度が制限される環境で映像の内容を把握しようとするとき、映像が大容量又は高画質の場合はサーバからコンテンツ提供端末へ映像が円滑に提供されることができず、映像の全ての場面をリアルタイムで鑑賞することが難しい場合がある。この場合、映像の重要な場面だけを選択的に鑑賞することでサーバのデータ伝送量を低減できるコンテンツ提供方法が要求される。
大韓民国公開公報第10−2008−0050657号
本発明は、上記従来の問題点を解決するために創案されたものであって、字幕情報と映像コンテンツから抽出された代表イメージによって字幕ページを生成し、複数の字幕ページによって映像コンテンツの探索を容易にしてユーザが映像コンテンツをユーザの理解度合いに合わせて鑑賞できるようにすることを目的とする。
上記課題を解決するための本発明の一実施形態に係るコンテンツ提供サーバは、映像コンテンツで字幕が表示される字幕区間の単位字幕及び前記映像コンテンツから抽出された代表イメージを含む字幕ページを生成する字幕ページ生成部と、前記映像コンテンツから前記字幕区間に対応する代表イメージを抽出するイメージ情報抽出部と、を含み、前記字幕ページ生成部は、前記映像コンテンツを区分する複数の字幕区間に対応して複数の字幕ページを生成し、前記複数の字幕ページをコンテンツ提供端末に提供できる。
また、上記課題を解決するための本発明の一実施形態に係るコンテンツ提供方法は、コンテンツ提供サーバによるコンテンツ提供方法であって、映像コンテンツで字幕が表示される字幕区間の単位字幕を獲得するステップと、前記映像コンテンツのうち前記字幕区間に対応する代表イメージを抽出するステップと、前記映像コンテンツを区分する複数の字幕区間の順番に従って前記単位字幕及び前記代表イメージを含む複数の字幕ページを生成するステップと、コンテンツ提供端末に前記複数の字幕ページを提供するステップと、を含むことができる。
また、上記課題を解決するための本発明の一実施形態に係るコンテンツ提供端末は、ディスプレイと、少なくとも1つのプログラムが記憶されたメモリと、前記少なくとも1つのプログラムの制御に応じて動作するプロセッサと、を含み、前記プロセッサは、映像コンテンツの再生順番に従って前記映像コンテンツで字幕が表示される字幕区間に各々対応する複数の字幕ページのうち1つを前記ディスプレイに表示し、前記複数の字幕ページは、前記字幕区間に対応する単位字幕を表示するための第1表示領域及び前記字幕区間に対応する代表イメージを表示するための第2表示領域を含み、前記代表イメージは前記映像コンテンツの前記字幕区間から抽出されたものであってよい。
また、上記課題を解決するための本発明の一実施形態に係るコンテンツ提供端末は、ディスプレイと、映像コンテンツで字幕が表示される字幕区間の単位字幕及び前記映像コンテンツから抽出された代表イメージを含む字幕ページを生成する字幕ページ生成部と、前記映像コンテンツから前記字幕区間に対応する前記代表イメージを抽出するイメージ情報抽出部と、を含み、前記字幕ページ生成部は、前記映像コンテンツを区分する複数の字幕区間に対応して複数の字幕ページを生成し、前記複数の字幕ページを前記ディスプレイを介してユーザに表示できる。
また、上記課題を解決するための本発明の一実施形態に係るコンテンツ提供方法は、コンテンツ提供端末によるコンテンツ提供方法であって、映像コンテンツで字幕が表示される字幕区間の単位字幕を獲得するステップと、前記映像コンテンツから前記字幕区間に対応する代表イメージを抽出するステップと、前記映像コンテンツを区分する複数の字幕区間の順番に従って前記単位字幕及び前記代表イメージを含む複数の字幕ページを生成するステップと、前記複数の字幕ページをディスプレイを介してユーザに表示するステップと、を含むことができる。
また、上記課題を解決するための本発明の一実施形態に係るコンテンツ提供端末は、ディスプレイと、インターネットを介してサーバと接続される通信部と、映像コンテンツで字幕が表示される字幕区間の単位字幕及び前記字幕区間に対応して前記映像コンテンツから抽出された代表イメージを含む字幕ページを生成する字幕ページ生成部と、を含み、前記単位字幕及び前記代表イメージは、前記字幕ページ生成部のソース情報要求に対応して前記サーバで提供されるソース情報であって、前記字幕ページ生成部は、前記通信部を介して前記ソース情報を受信して、前記ソース情報を用いて映像コンテンツを区分する複数の字幕区間に対応して複数の字幕ページを生成し、前記ディスプレイを介して前記複数の字幕ページをユーザに表示できる。
また、上記課題を解決するための本発明の一実施形態に係るコンテンツ提供方法は、コンテンツ提供端末によるコンテンツ提供方法であって、映像コンテンツで字幕が表示される字幕区間の単位字幕及び前記字幕区間に対応して前記映像コンテンツから抽出された代表イメージを含むソース情報を要求するステップと、サーバから前記ソース情報を受信するステップと、前記ソース情報を用いて前記映像コンテンツを区分する複数の字幕区間に対応して複数の字幕ページを生成してユーザに提供するステップと、を含むことができる。
本発明の一実施形態は、字幕情報と映像コンテンツから抽出された代表イメージによって字幕ページを生成し、複数の字幕ページによって映像コンテンツの探索を容易にしてユーザが映像コンテンツをユーザの理解度合いに合わせて鑑賞できるようにする効果がある。
ただし、本発明の一実施形態に係るコンテンツ提供サーバ、コンテンツ提供端末及びコンテンツ提供方法が達成できる効果は上述したものに限定されず、言及していない他の効果らは下記の記載から本発明の属する技術の分野における通常の知識を有する者に明確に理解されることができるであろう。
本発明に関する理解を助けるために詳細な説明の一部として含まれる添付の図面は、本発明に対する実施形態を提供し、詳細な説明と共に本発明の技術的思想を説明する。
本発明の一実施形態に係るコンテンツ提供サーバの構成を示すブロック図である。 本発明の一実施形態に係るコンテンツ提供方法を説明するためのフローチャートである。 本発明の一実施形態に係るコンテンツ提供方法を説明するためのフローチャートである。 本発明の一実施形態に係るコンテンツ提供方法を説明するためのフローチャートである。 図4の本発明の一実施形態で字幕区間を再設定する過程を説明するための図である。 本発明の一実施形態に係るコンテンツ提供方法を説明するための図である。 本発明の一実施形態に係るコンテンツ提供端末の構成を示すブロック図である。 本発明の一実施形態によって生成された字幕ページがコンテンツ提供端末で表示される画面を例示するための図である。 本発明の一実施形態によって生成された字幕ページがコンテンツ提供端末で表示される画面を例示するための他の図である。 本発明の一実施形態に係る複数の字幕ページに対する再生オプションを制御する過程を説明するためのフローチャートである。 本発明の一実施形態に係るコンテンツ提供端末の構成を示すブロック図である 本発明の一実施形態に係るコンテンツ提供端末及びコンテンツ提供サーバの構成を示すブロック図である。 本発明の一実施形態に係るコンテンツ提供方法を説明するための図である。 本発明の一実施形態に係るコンテンツ提供方法を説明するための図である。
本発明は、多様な変換を加えることができ様々な実施形態を有することができるものであって、以下、特定の実施形態を添付の図面に基づいて詳細に説明する。
下記の実施形態は本明細書で述べられた方法、装置及び/又はシステムに対する包括的な理解を助けるために提供される。しかし、これは例示に過ぎず本発明はこれに制限されない。
本発明の実施形態を説明するに当たって、本発明と関連づけられた公知技術についての具体的な説明が本発明の要旨を不要に不明確にする場合があると判断された場合はその詳細な説明を省略する。そして、後述の用語らは本発明での機能を考慮して定義された用語であって、これはユーザ、運用者の意図又は慣例などによって異なる場合がある。したがって、その定義は本明細書全般にわたる内容に基づいて下されるべきである。詳細な説明で用いられる用語は単に本発明の実施形態を記述するためのものであって、決して制限的であってはならない。明確に異なる用いられ方でない限り、単数形の表現は複数形の意味を含む。本説明で、「含む」又は「具備」のような表現は、ある特性、数字、ステップ、動作、要素、それらの一部又は組み合わせを示すためのものであって、記述されたもの以外に1つ又はそれ以上の他の特性、数字、ステップ、動作、要素、それらの一部又は組み合わせの存在又は可能性を排除するように解釈されるべきではない。
また、第1、第2などの用語は多様な構成要素を説明するために用いられることができるが、上記の構成要素は上記の用語によって限定されるのではなく、上記用語は1つの構成要素を他の構成要素から区別する目的でのみ用いられる。
以下、本発明によるコンテンツ提供サーバ、コンテンツ提供方法及びコンテンツ提供端末を例示した実施形態が添付された図面を参照して詳細に説明する。
図1は、本発明の一実施形態に係るコンテンツ提供サーバの構成を示すブロック図である。
図1を参照すると、コンテンツ提供サーバ100は、字幕ページ生成部110、イメージ情報抽出部120、オーディオ情報提供部130及び通信部140を含むことができる。
コンテンツ提供サーバ100は、インターネット10を介してコンテンツ提供端末200とオンラインで接続されたサーバであってよい。インターネット10は、コンテンツ提供サーバ100とコンテンツ提供端末200をオンラインで接続するための多様な通信方法が例示されることができる。そして、コンテンツ提供端末200は、パーソナルコンピュータ、ノートパソコン、スマートフォン、タブレット、ウェアラブルコンピュータなどコンテンツ提供方法と関連づけられたウェブ/モバイルサイトの接続又はサービス専用アプリケーションの設置及び実行が可能な端末装置を意味することができる。本発明でコンテンツ提供端末200はコンテンツ提供サーバ100によって提供される字幕ページを探索するためのコンテンツ提供端末200を意味できる。
このとき、コンテンツ提供端末200は、コンテンツ提供サーバ100から提供された字幕ページを再生するための端末であって、ウェブ/モバイルサイト又は専用アプリケーションの制御下にサービス画面構成、データ入力、データ送受信、データ保存などサービス全般の動作を行うことができる。
コンテンツ提供サーバ100は、データベース150に保存された映像コンテンツから字幕情報、代表イメージ、オーディオ情報のうち少なくともいずれか1つ以上を用いて複数の字幕ページを生成し、通信部140を介してコンテンツ提供端末200に複数の字幕ページを提供できる。
コンテンツ提供サーバ100は、コンピュータシステムであってよい。コンテンツ提供サーバ100は、プロセッサを含むことができる。プロセッサは、映像コンテンツ情報から他の情報を抽出して組み合わせるために要求される演算を処理できる。字幕ページ生成部110、イメージ情報抽出部120及びオーディオ情報提供部130はコンテンツ提供サーバ100のプロセッサの一部であってよいし、プロセッサによって行われるモジュール、機能又はユニットなどであってよい。
ここで、映像コンテンツは、コンテンツ提供端末200で出力されるコンテンツであって、オーディオとともに多数のフレームで連続的に構成されて再生可能な動画を意味できる。映像コンテンツは、コンテンツ提供端末200によってファイル形式でダウンロードされるか、又はストリーミング方式で伝送されることができる。
また、字幕ページは、コンテンツ提供端末200を介してユーザに見せられるページに関する情報を含むことができる。字幕ページは、単位字幕及び代表イメージだけをコンテンツ提供端末200のディスプレイに表示するように構成されるか、又は単位字幕、代表イメージが表示されながらオーディオ情報が共に出力されるように構成されることができる。字幕ページは、字幕ページ生成部110によって生成されることができる。
字幕ページ生成部110は、字幕情報から映像コンテンツに1つ以上存在する字幕区間に対応する単位字幕をロード(又は獲得)できる。ここで、字幕情報は、映像コンテンツに登場する人物又は事物の会話内容、説明のために用いられるナレーションなど映像コンテンツで出力される多様なセリフをテキストで表現した字幕に関する情報を意味できる。字幕ページ生成部110は、字幕情報から字幕区間と単位字幕と関連づけられた情報を抽出できる。
字幕区間は、映像コンテンツの再生区間のうち字幕が表示される時間区間を意味できる。字幕区間は、字幕製作者又は編集者によって任意に設定されることができる。字幕区間は、映像コンテンツでセリフ又はナレーションが出力される区間に限られて設定されるものではない。したがって、字幕情報の製作者や編集者は映像コンテンツの任意の区間を字幕区間に設定することもできる。そして、各字幕区間で表示される1つ以上の単語で構成された字幕を単位字幕と見なすことができる。
字幕区間は、各単位字幕が表示され始める映像コンテンツの再生時点に対する字幕開始時点、各単位字幕の表示が終了する映像コンテンツの再生時点に対する字幕終了時点、字幕区間内で単位字幕の表示が維持される時間に対する字幕表示時間などを含むことができる。例えば、映像コンテンツの再生区間のうちAの字幕が再生時点5分20秒から5分25秒まで表示される場合、5分20秒から5分25初の間の区間を字幕区間に設定し、該字幕区間の単位字幕をAに設定できる。
字幕情報は、映像コンテンツと関連づけられた字幕に関する情報であって、映像コンテンツに含まれて提供されてよいし、映像コンテンツと区分されて提供されてもよい。字幕情報は字幕製作者によって製作されてデータベース150に保存されることができる。
ここで、字幕区間は、映像コンテンツの再生時点を基準として設定されることができ、単位字幕は字幕区間の数だけ少なくとも1つ以上存在し得る。上記1つ以上の単位字幕は字幕区間の再生順番による順番を有してよい。
イメージ情報抽出部120は、映像コンテンツから代表イメージを抽出できる。代表イメージは、映像コンテンツで字幕区間から抽出された情報であってよい。
代表イメージは、字幕区間内で再生される映像コンテンツの連続するフレームのうち1つであってよい。さらに詳しくは、代表イメージは字幕区間で任意に選択されるか、又は予め設定された規則によって選択(例えば、字幕区間のうち最初の順番のフレーム又は中間の順番のフレーム)されたフレームであってよい。各々の字幕区間に対応する各々の字幕ページは該字幕ページを代表する代表イメージを有することができる。具現例によれば、上記代表イメージは1つが抽出されてよいし、又は複数個が抽出されてもよい。
字幕ページ生成部110は、単位字幕及び代表イメージを用いて字幕ページを生成できる。
具現例によれば、字幕ページは、単位字幕及び代表イメージだけでなくオーディオ情報まで含んで生成されてよい。このとき、字幕ページの生成に用いられるオーディオ情報はオーディオ情報提供部130によって提供されることができる。
オーディオ情報提供部130は、映像コンテンツの字幕区間に対応してオーディオ情報を提供できる。オーディオ情報は各々の字幕区間の間出力されるオーディオを意味できる。さらに詳しくは、オーディオ情報提供部130は、映像コンテンツの全体区間の間出力されるオーディオのうち字幕区間に該当するオーディオを区分してオーディオ情報として字幕ページ生成部110に提供できる。
単位字幕、映像コンテンツ及びオーディオ情報の関係を例を挙げて説明すると次のとおりである。任意の映像コンテンツに対して映像コンテンツの再生時点を基準に2分30秒から2分45秒まで字幕が表示され、4分10秒から4分20秒まで字幕が表示される場合を仮定する。字幕ページ生成部110は、字幕情報から映像コンテンツの2分30秒から2分45秒を1つの字幕区間と認識して該字幕区間に対応する字幕ページ(第1字幕ページ)を生成し、映像コンテンツの4分10秒から4分20秒までを他の字幕区間と認識して該字幕区間に対応する字幕ページ(第2字幕ページ)を生成できる。
字幕ページ生成部110は、第1字幕ページの字幕区間(映像コンテンツの再生時点を基準に2分30秒から2分45秒までの区間)で表示される字幕を1つの単位字幕として認識でき、イメージ情報抽出部120は、該字幕区間で再生されるフレームのうち1つを代表イメージとして抽出できる。また、オーディオ情報提供部130は、第1字幕ページの字幕区間の間出力されるオーディオを該字幕区間のオーディオ情報と認識して提供できる。以降、字幕ページ生成部110は、単位字幕、代表イメージ、オーディオ情報を用いて第1字幕ページを生成できる。
以降、字幕ページ生成部110が第2字幕ページの字幕区間(映像コンテンツの再生時点を基準に4分10秒から4分20秒までの区間)に対応して単位字幕をロードし、イメージ情報抽出部120は代表イメージを抽出し、オーディオ情報提供部130はオーディオ情報を提供することによって第2字幕ページを生成できる。上述のように、字幕ページ生成部110が字幕ページを生成する過程は字幕区間の数に対応して複数回行われることができる。
オーディオ情報は、映像コンテンツから抽出されて別途の音声ファイルで存在できる。また、オーディオ情報は、コンテンツ提供端末200が映像コンテンツを再生するとき、映像コンテンツの画面をユーザに表示せず再生時間によってオーディオのみが出力されるようにする形態で提供されてもよい。
通信部140は、コンテンツ提供端末200に映像コンテンツ及び字幕ページのうち少なくとも1つを伝送できる。
データベース150は、ハードディスクドライブ(Hard Disk Drive;HDD)、ソリッドステートドライブ(Solid State Drive;SSD)、ランダムアクセスメモリ(Random Access Memory;RAM)及びフラッシュ(flash)メモリなどのような情報保存のためのハードウェアであってよい。データベース150は、コンテンツ提供サーバ100に共に搭載されるか、又は別途の装置に実装されてコンテンツ提供サーバ100とオンライン又はオフラインで接続されることができる。
下記の図面に用いられるコンテンツ提供サーバ100の構成は上記図1に示す構成と引用符号を用いて説明する。
図2は、本発明の一実施形態に係るコンテンツ提供方法を説明するためのフローチャートである。図2を参照すると、映像コンテンツ提供方法は、単位字幕をロードするステップS100、代表イメージを抽出するステップS200、複数の字幕ページを生成するステップS300、複数の字幕ページを提供するステップS400を含むことができる。
単位字幕をロードするステップS100は、字幕ページ生成部110が単位字幕をロードするステップであってよい。より具体的には、字幕ページ生成部110は、コンテンツ提供端末200から映像コンテンツ及び字幕ページのうち少なくとも1つの提供を求める旨の要求を受信した場合、データベース150から映像コンテンツに対応する字幕情報をロードできる。一例として、前記字幕情報はsmiのような拡張子を有する公知の字幕ファイルを含むことができる。字幕ページ生成部110によってロードされた字幕情報には上記の字幕区間と各字幕区間に対応する単位字幕に関する情報が含まれることができる。
代表イメージを抽出するステップS200は、イメージ情報抽出部120が映像コンテンツから字幕区間に対応する代表イメージを抽出するステップであってよい。
複数の字幕ページを生成するステップS300は、映像コンテンツが含む複数の字幕区間の順番に従って単位字幕及び代表イメージを各々の字幕ページに挿入する過程であってよい。
複数の字幕ページを構成する各々の字幕ページは隣接した順番の字幕ページ間の移動が可能に互いにリンクで接続されることができる。したがって、ユーザは任意の字幕ページを鑑賞した後、コンテンツ提供端末200にページ移動を要求することで前の順番又は後の順番の字幕ページに移動できるようになる。ユーザは前記字幕区間の順番に従って配列された字幕ページの間を前後で探索することによって映像コンテンツを本のようにページ単位で鑑賞できるようになる。したがって、ユーザは映像コンテンツの内容を自らの理解度合いに合わせて鑑賞することができ、映像コンテンツの内容のうち字幕区間だけを鑑賞できるようになって速いスピードで映像コンテンツの内容を理解できるようになる。
複数の字幕ページを提供するステップS400は、字幕ページ生成部110が生成した複数の字幕ページを通信部140を介してコンテンツ提供端末200に提供するステップであってよい。
コンテンツ提供端末200に提供された複数の字幕ページは、その後、コンテンツ提供端末200の処理によって多様な機能を行うことができるが、これに関して後述する。
図3は、本発明の一実施形態に係るコンテンツ提供方法を説明するためのフローチャートである。図3を参照すると、図2とは違って代表イメージを抽出するステップS200の後にオーディオ情報を提供するステップS210が含まれたことが分かる。図3の実施形態において上述の図2に説明されものと同じ構成や効果に対する記載は省略する。
先に説明されたように、字幕ページは単位字幕及び代表イメージを含むだけでなくオーディオ情報を共に含むことによって映像コンテンツに対するユーザの理解を助けることができる。
オーディオ情報を提供するステップS210は、オーディオ情報提供部130が映像コンテンツの字幕区間に対応するオーディオ情報を提供するステップであってよい。オーディオ情報提供部130は、字幕ページ生成部110の制御によってデータベース150に保存された映像コンテンツでオーディオ情報を提供できる。このとき、オーディオ情報提供部130は、字幕区間に対応する映像コンテンツのオーディオ区間の間出力されるオーディオ情報を提供できる。
図3ではオーディオ情報を提供するステップS210が代表イメージを抽出するステップS200の後に行われると例示されたが、オーディオ情報を提供するステップS210は、代表イメージを抽出するステップS200の前に行われてもよい。
図4は、本発明の一実施形態に係るコンテンツ提供方法を説明するためのフローチャートである。
一般に映像コンテンツの字幕区間は字幕製作者が任意に設定した場合が多い。先に説明したように、提供されるオーディオ情報は字幕区間に対応して行われるが、字幕区間は字幕製作者が任意に設定した区間なので実際に映像コンテンツで出力される登場人物のセリフや音とその表示時間が一致しない場合がある。したがって、字幕ページ単位で該当の映像コンテンツを探索するとき、字幕とオーディオがずれてユーザが違和感を感じる場合がある。
例えば、実際にセリフが出力される時間は10秒であるが、字幕製作者が10秒より短い時間の間字幕が表示されるように入力した場合、字幕ページは字幕製作者が任意に入力した字幕時間に合わせてページを切り替えるようになるので、字幕ページを切り替えるとき、セリフが全部出力される前にページが切り替えられたり切り替えられた字幕ページが字幕に該当する音声を全部出力できない現象が生じる場合がある。したがって、字幕製作者が任意に設定した字幕区間を実際にオーディオが出力される音声区間に合わせて再設定する必要性がある。
図4は、図3と違って字幕区間を再設定するステップS220が含まれたことが分かる。
字幕区間を再設定するステップS220は、字幕区間の再設定のためにオーディオ情報提供部130が映像コンテンツからオーディオを分析し、分析結果によって音声区間を設定し、音声区間に対応して字幕区間を再設定するステップであってよい。
より具体的には、オーディオ情報提供部130は、登場人物の音声が出力される領域の音量とスペクトルを分析することができる。また、オーディオ情報提供部130は、音量とスペクトルから派生する第1次音声特徴及び第1次音声特徴から派生する高次音声特徴を分析することができる。
オーディオ情報提供部130は、オーディオの音量、スペクトル、音声特徴によって実際に音声が出力される区間である音声区間を設定できる。オーディオ情報提供部130は、オーディオの音声特徴と実際の音声の音声特徴の類似度と関連して神経網(ニューラルネットワーク)等の学習された分類器を介して短いオーディオ区間を音声区間と非音性区間とに分類できる。そして、オーディオ情報提供部130は、上記した過程によって分類された複数の隣接した短い音声区間を併合して長い音声区間の開始時点及び終了時点を設定できる。
以降、字幕ページ生成部110は、設定された音声区間に合わせて字幕区間を再設定できる。より具体的には、字幕ページ生成部110は、設定された音声区間の音声開始時点を基準として字幕区間の開始時点を再設定し、再設定された音声終了時点を基準として字幕区間の終了時点を再設定できる。
例えば、映像コンテンツの再生区間のうち字幕区間が10秒乃至15秒に設定されたが、それに対応する音声区間が8秒乃至17秒と識別された場合、字幕区間も8秒乃至17秒に変更するものである。
字幕区間を再設定するステップS220の後、再設定された字幕区間に対応して代表イメージを抽出するステップS200及びオーディオ情報を提供するステップS210が行われることができる。
図5は、図4の本発明の一実施形態で字幕区間を再設定する過程を説明するための図である。図5は、映像コンテンツの任意の区間に対するオーディオスペクトル分析結果を例示したものである。オーディオ情報提供部130は、該オーディオスペクトルを分析することによって音声区間を設定できる。第1乃至第3音声区間A10,A20,A30は、オーディオスペクトルを分析した結果、再設定されたオーディオ区間と見なすことができる。オーディオスペクトルによって第1音声区間A10と第2音声区間A20の間、第2音声区間A20と第3音声区間A30の間は人の音声が出力されない区間であることが分かる。
第1乃至第3字幕区間S10,S20,S30は、再設定される前の字幕区間と見なすことができる。第4乃至第6字幕区間S11,S21,S31は、第1乃至第3字幕区間S10,S20,S30が第1乃至第3音声区間A10,A20,A30に合わせて再設定された字幕区間を意味する。
前記字幕区間の再設定によって字幕ページの字幕区間が実際にオーディオが出力されるオーディオ区間に合わせられるので字幕ページの探索過程で字幕とオーディオの間の不一致によって感じられる違和感を緩和することができる。
図6は、本発明の一実施形態に係るコンテンツ提供方法を説明するための図である。図6を参照すると、コンテンツ提供方法は、単位字幕をロードするステップS100、代表イメージを抽出するステップS200、通信速度を感知するステップS230、複数の字幕ページを生成するステップS300及び複数の字幕ページを提供するステップS400を含むことができる。図6の実施形態において先に説明された実施形態と重なる構成及び効果に対する説明は省略する。
コンテンツ提供端末200とコンテンツ提供サーバ100の間の通信はインターネット10の状態や距離通信環境に多くの影響を受けることができる。特に、通信速度が制限される地域のコンテンツ提供端末200がコンテンツ提供サーバ100と通信する場合、コンテンツ提供サーバ100が映像コンテンツをコンテンツ提供端末200に円滑に提供することが難しく、コンテンツ提供端末200のユーザも該映像コンテンツの内容を把握することが難しくなる。この場合、代表イメージ及び単位字幕だけで構成された字幕ページを提供することによってコンテンツ提供サーバ100とコンテンツ提供端末200との通信速度が低くてもコンテンツ提供端末200のユーザが字幕ページによって映像コンテンツの内容を探索できるようにすることができる。
通信速度を感知するステップS230は、字幕ページ生成部110がコンテンツ提供端末200の通信速度を感知するステップであってよい。字幕ページ生成部110は、コンテンツ提供端末200との通信速度を測定するために時間あたりのパケット伝送量、コンテンツ提供端末200がコンテンツ提供サーバ100への接続を試みる地域又は接続に用いられた通信環境などによってコンテンツ提供端末200の通信速度を感知して判断できる。また、字幕ページ生成部110は、他の装置又はプロセッサで測定された通信速度を用いてコンテンツ提供端末200の通信速度を判断することもできる。
通信速度を感知するステップS230は、複数の字幕ページを生成するステップS300の前に行われてよいし、図6と違って代表イメージを抽出するステップS200又は単位字幕をロードするステップS100より前に行われてもよい。
複数の字幕ページを生成するステップS300は、コンテンツ提供端末の通信速度が所定の値以下の場合、単位字幕及び代表イメージを用いて字幕ページに組み合わせるステップであってよい。
これと異なって、複数の字幕ページを生成するステップS300でコンテンツ提供端末の通信速度が所定の値を超える場合は、図3の実施形態のように、オーディオ情報を提供するステップS210が行われることができ、字幕ページ生成部110は、単位字幕、代表イメージ及びオーディオ情報を全部用いて字幕ページを生成することもできる。
通信速度に対する所定の値は映像コンテンツの画質や容量によって異ならせて設定されることができる。そして、字幕ページ生成部110は、通信速度が所定値以下の場合、オーディオ情報を除いて字幕情報及び代表イメージのみを用いて字幕ページを生成できる。これによって生成された字幕ページはオーディオ情報が共に挿入された字幕ページに比べて低い容量を有することができる。そして、字幕ページ生成部110は、このような字幕ページをコンテンツ提供端末200に提供することによって低速の通信環境でもコンテンツ提供端末200に字幕ページを円滑に提供することが可能である。
具現例によれば、コンテンツ提供サーバ100は、単位字幕及び代表イメージを含む第1種の字幕ページと、単位字幕、代表イメージ及びオーディオを全部含む第2種の字幕ページと、を生成した後、映像コンテンツを要求するコンテンツ提供端末200との通信速度に応じて第1種の字幕ページ又は第2種の字幕ページをコンテンツ提供端末200に提供することができる。具現例によれば、前記第1種の字幕ページは単位字幕及びオーディオのみを含むこともできる。
図7は、本発明の一実施形態に係るコンテンツ提供端末の構成を示すブロック図である。図7を参照すると、コンテンツ提供端末は、ディスプレイ210、メモリ220、プロセッサ230及び通信部240を含むことができる。
ディスプレイ210は、字幕ページや映像コンテンツをユーザに表示する。
メモリ220には少なくとも1つのプログラムが記憶される。メモリ220に記憶されたプログラムは字幕ページの再生のためのプログラムを含むことができる。
プロセッサ230は、少なくとも1つのプログラムの制御に応じて動作できる。
通信部240は、コンテンツ提供サーバ100から映像コンテンツ及び複数の字幕ページのうち少なくとも1つを受信することができる。
コンテンツ提供サーバ100から字幕ページを提供されたコンテンツ提供端末200のディスプレイ210を介してユーザが字幕ページを探索し字幕ページによってサポートされた機能を活用する過程は図8を参照して説明する。
図8は、本発明の一実施形態によって生成された字幕ページがコンテンツ提供端末で表示される画面を例示するための図である。図8は、字幕ページを提供されるコンテンツ提供端末200で任意の字幕ページを選択した場合、コンテンツ提供端末200に表示される字幕ページ画面800を例示した図面である。
図8を参照すると、字幕ページ画面800は、機能メニュー領域810、字幕表示領域820、スクロール領域830、及びイメージ表示領域840を含んでコンテンツ提供端末200に表示されることができる。図8の例において各領域は例示的に表現されたものであって、設計方式によってその位置や大きさが変更されることができる。
機能メニュー領域810は、字幕ページを鑑賞するとき、ユーザに役立つための機能を実行するためのメニューが配置される領域であってよい。字幕ページ生成部110によって生成されてコンテンツ提供端末200に提供される複数の字幕ページはユーザの選択に対応して所定の機能を行うように設定されることができる。
機能メニュー領域810にはプロセッサ230がユーザから映像切り替え要求を受けるための第1機能メニュー811、プロセッサ230がユーザから再生オプションの制御を受けるための第2機能メニュー812、プロセッサ230が字幕ページで出力されるオーディオ情報の再生/停止要求を受けるための再生/停止機能メニュー813、プロセッサ230がユーザから画面分割要求を受けるための第3機能メニュー814、プロセッサ230がユーザから字幕検索又は翻訳要求を受けるための第4機能メニュー815を含むことができる。
各機能メニュー811乃至815の大きさと位置は設計方式によって様々に変更されることができる。
字幕表示領域820にはディスプレイに出力される字幕ページに含まれた字幕区間が表示され、スクロール領域830にはコンテンツ提供端末200が出力できる複数の字幕ページの各々のサムネイルイメージ(例えば、代表イメージ)が表示されることができ、イメージ表示領域840にはディスプレイに出力される字幕ページの代表イメージが表示されることができる。サムネイルイメージはイメージ情報抽出部120が代表イメージを抽出することに対応して代表イメージより小さなサイズで表示されるように生成できる。
プロセッサ230は、ユーザのページ移動要求に対応してディスプレイ210に表示される字幕ページと隣接した順番の字幕区間を含む字幕ページに移動し、移動された字幕ページをディスプレイ210に表示できる。
より具体的には、プロセッサ230は、現在ディスプレイ210に表示されてオーディオ情報が出力される字幕ページのオーディオ出力が完了する前であっても、ユーザからページ移動要求が入ってくると、ディスプレイ210に字幕区間の順番が隣接した他の字幕ページを表示できる。
ページ移動要求は、ユーザがディスプレイ210の一部の領域を選択又はスクロールすることによって行われることができる。例えば、下記のイメージ表示領域840の右側の半分は次の字幕区間を有する字幕ページに移動するための領域で、イメージ表示領域840の左側の半分は前の字幕区間を有する字幕ページに移動するための領域であってよい。ユーザはイメージ表示領域840のいずれか1つの領域を選択することによって該当領域が示す字幕ページに移動して他の字幕ページを鑑賞できる。また、ページ移動要求は、実際の本のようにページをめくる感覚を与えるためにいずれか1つの地点から他の1地点へスクロールすることで行われることもできる。
プロセッサ230は、ユーザの映像切り替え要求に対応してディスプレイ210に表示される字幕ページの字幕区間に対応する時点から映像コンテンツを再生できる。
映像切り替え要求は字幕ページを鑑賞するとき、該字幕ページに対応する字幕区間から映像コンテンツを直接視聴しようとするときに用いられることができる機能である。
ユーザが第1機能メニュー811を選択すると、プロセッサ230は、ディスプレイ210に表示される字幕ページの字幕区間の開始時点から映像コンテンツを再生できる。
ページ切り替え要求と違って、映像コンテンツを再生するプロセッサ230は映像コンテンツの任意の再生時点でユーザから受信した字幕ページ切り替え要求に対応して前記任意の再生時点に対応する字幕ページをディスプレイ210に表示できる。
より具体的には、プロセッサ230は、ページ切り替え要求に対応して任意の再生時点又は前記任意の再生時点より前の再生時点を含む字幕区間に対応する字幕ページをディスプレイに表示できる。
例えば、映像コンテンツの再生の途中にユーザがページ切り替えを要求した場合、プロセッサ230は、該映像コンテンツの再生時点を字幕区間として含む字幕ページをユーザに表示できる。また、プロセッサ230は、該当映像コンテンツの再生時点を字幕区間として含む字幕ページがない場合、該当映像時点より前の再生時点を字幕区間として含む字幕ページのうち、最も遅い再生時点を含む字幕区間を含む字幕ページをユーザに表示できる。
そのために、プロセッサ230は映像コンテンツを再生する際、ユーザからページ切り替え要求を受信するための機能を有することができる。
ユーザは、映像切り替え要求及びページ切り替え要求を介して映像コンテンツの鑑賞と字幕ページの鑑賞を自由に切り替えることができる。したがって、切り替えの過程において現在鑑賞中のコンテンツの進み具合に合わせて対応する再生時点に切り替えられるのでユーザのコンテンツ内容への理解が容易になる効果がある。
プロセッサ230は、ユーザの再生オプション制御要求に対応してオーディオ情報の出力方法を制御できる。より具体的には、プロセッサ230は、再生オプション制御要求に対応してディスプレイ210に表示される字幕ページのオーディオ情報を繰り返し出力する第1再生モード、ディスプレイ210に表示される字幕ページのオーディオ情報が出力された後オーディオ情報の出力を停止する第2再生モード、ディスプレイ210に表示される字幕ページのオーディオ情報が出力された後、ディスプレイに表示される字幕ページの次の字幕区間順番を有する字幕ページに移動し、移動された字幕ページを表示する第3再生モードのうち1つの再生モードを行うことができる。
ユーザは、第2機能メニュー812を繰り返し選択することによって前記第1乃至第3再生モードを交互に選択できる。ユーザは、再生オプションを制御することによって該当字幕ページのオーディオ情報を理解度合いによって繰り返し聴取できるようになり語学学習の用途にも高い学習効果を持つことができる。
プロセッサ230は、ユーザが画面分割機能を要求すると、ディスプレイ210に出力されるメインページの数を2つ以上に増やすことができる。ユーザが第3機能メニュー814を繰り返し選択することによってディスプレイ210に出力されるメインページの数は2つ、3つ、4つなどに予め設定された数だけ変更されて出力されることができる。
プロセッサ230は、ユーザの再生/停止要求に対応して字幕ページで出力されるオーディオ情報を再生又は停止できる。
プロセッサ230は、ユーザの字幕検索要求に対応してユーザから入力された検索語を複数の字幕ページの単位字幕から検索して、検索結果をディスプレイ210に表示できる。
プロセッサ230は、コンテンツ提供端末200から入力される検索語と一致する字幕を複数の字幕ページ全体の単位字幕で検索できる。字幕ページ生成部110は、検索された字幕と該字幕が位置する字幕ページをコンテンツ提供端末200に知らせることができ、検索された字幕ページがあれば該字幕ページに即座に移動できるリンクを提供することができる。
プロセッサ230は、ユーザの字幕翻訳要求に対応してディスプレイ210に表示される字幕ページの単位字幕のうち選択された1つ以上の単語を翻訳し、翻訳結果をディスプレイ210に表示できる。
プロセッサ230は、字幕翻訳を要求された単語を連動された内部翻訳プログラム又は外部の翻訳プログラムにオンライン又はオフラインでアクセスして該当単語に対する翻訳を要求して翻訳された結果をディスプレイ210に提供できる。
図8で字幕検索/翻訳機能は第4機能メニュー815によって要求されることができるが、図8に示したものと違って字幕検索要求と字幕翻訳要求のための領域はそれぞれ分離されて表示されることもできる。
字幕表示領域820は、コンテンツ提供端末200に表示される字幕ページの単位字幕が表示される領域である。字幕表示領域820は、イメージ表示領域840の内部又は一部と重なる領域に位置でき、よって、イメージ表示領域840を介して表示される代表イメージと重なって表示されることができる。また、字幕表示領域820は、イメージ表示領域840の外部に位置することによってイメージ表示領域840と字幕表示領域820とが互いに分離されて表示されることもできる。
スクロール領域630には複数の字幕ページの代表イメージがサムネイル形式で並べられることができる。字幕ページのサムネイルはスクロール領域630の大きさに合わせて代表イメージより小さなサイズで設定されることができる。ディスプレイ210に表示される現在字幕ページの代表イメージのサムネイルはスクロール領域830の中央部831に位置することができる。すなわち、スクロール領域830の中央部831には現在ユーザが鑑賞中の字幕ページが位置することができる。ユーザはスクロール領域830に位置した字幕ページのサムネイルイメージのうち1つを選択することによって該当字幕ページに即座に移動できるようにプロセッサ230に要求できる。スクロール領域830に位置するサムネイルイメージは、コンテンツ提供端末200に表示される字幕ページと隣接した順番の字幕区間を有する字幕ページに対するサムネイルイメージであってよいし、スクロール領域830に含まれるサムネイルイメージの数は可変であってよい。
イメージ表示領域840は、ディスプレイ210に表示される字幕ページの代表イメージが表示される領域である。イメージ表示領域840は、字幕ページ画面800の全体又は一部領域を含んで設定されることができる。
図9は、ディスプレイ210に4つの字幕ページが同時に表示される場合を例示した画面である。
図9は、図8で説明された画面分割機能が実行された場合を説明するための図である。図9で例示された画面900は図8で例示される字幕ページ画面800と違って4つの字幕ページ910乃至940が表示されることができる。図9で例示される画面900は第1字幕ページ910、第2字幕ページ920、第3字幕ページ930及び第4字幕ページ940を含むことができる。第1乃至第4字幕ページ910乃至940は、字幕ページの順番に従って配置されることができる。画面分割機能が実行された場合、第1乃至第4字幕ページ910乃至940は、字幕区間の順番に従って順番にオーディオ情報を出力できる。図9は、画面分割機能を説明するための例示なので、画面分割機能が設計によって図9のように4つではなく多様な数の字幕ページが1つの画面に表示されることもできる。
図10は、本発明による複数の字幕ページに対する再生オプションを制御する過程を説明するためのフローチャートである。
プロセッサ230は、ページ移動要求に対応して特定の字幕ページに移動できる(S1000)。そして、プロセッサ230は、字幕ページのサムネイルをスクロール領域830に表示できる(S1010)。以降、プロセッサ230は、字幕ページの単位字幕及び代表イメージを表示し字幕ページのオーディオ情報を出力できる(S1020)。以降、プロセッサ230は、字幕ページの再生オプションを確認することができる(S1030)。プロセッサ230は、再生オプションによって、上記した第1再生モードによって字幕ページのオーディオ情報を繰り返し出力してよいし(S1040)、第2再生モードによってオーディオ情報の出力が終了した後、字幕ページの移動を終了してよいし(S1050)、第3再生モードによってディスプレイ210に表示された字幕ページの次の順番の字幕区間を含む字幕ページへ移動してもよい(S1060)。
一方、上述の本発明の実施形態は、コンピュータ実行可能なプログラムで作成可能で、コンピュータ読み取り可能な記録媒体を用いて上記のプログラムを動作させる汎用デジタルコンピュータで具現されることができる。
図11は、本発明の一実施形態に係るコンテンツ提供端末の構成を示すブロック図である。
図11を参照すると、コンテンツ提供端末201は、字幕ページ生成部250、イメージ情報抽出部260、オーディオ情報提供部270、ディスプレイ280及びデータベース290を含むことができる。
図11に示すコンテンツ提供端末201は、上述の実施形態とは違ってコンテンツ提供端末201の内部に実装されるか、又はコンテンツ提供端末201とオフラインで接続されたデータベース290に保存された映像コンテンツから複数の字幕ページを生成してユーザに提供するための実施形態である。
コンテンツ提供端末201は、オンラインでサーバと接続しなくてもオフラインで接続されたデータベース290に予め保存された映像コンテンツにアクセスして複数の字幕ページを生成できる。この場合、サーバと接続されてデータを送受信する過程なしで複数の字幕ページをオフライン上で生成できるので、オンライン接続による遅延やデータのダウンロードによる費用の消耗なく映像コンテンツに対する複数の字幕ページ生成が可能である。
すなわち、図11の実施形態に係るコンテンツ提供端末201は、図1のコンテンツ提供サーバ100にあった字幕ページ生成部110、イメージ情報抽出部120、オーディオ情報提供部130がユーザ端末200の内部に含まれる構成であると理解されることができる。よって、図11の実施形態において、上述の実施形態とその機能や効果が同じ構成に対する説明は省略する。
字幕ページ生成部250は、映像コンテンツで字幕が表示される字幕区間の単位字幕及び映像コンテンツから抽出された代表イメージを含む字幕ページを生成できる。そして、字幕ページ生成部250は、映像コンテンツを区分する複数の字幕区間に対応して複数の字幕ページを生成し、前記複数の字幕ページをディスプレイ280を介してユーザに表示できる。
字幕ページ生成部250は、上述の実施形態の字幕ページ生成部110と同様に単位字幕、代表イメージによって字幕ページを生成できる。また、字幕ページ生成部250は、下記のようにオーディオ情報をさらに含んで字幕ページを生成できる。字幕ページ生成部250が生成する字幕ページの数は映像コンテンツの字幕区間の数だけ繰り返し行われることによって複数の字幕ページを生成できる。
字幕ページ生成部250は、図1の字幕ページ生成部110とは違って生成された複数の字幕ページを別途のユーザ端末200にインターネット10を介して伝達せず、コンテンツ提供端末201に含まれたディスプレイ280に即座に表示できる。その他、字幕ページ生成部250が字幕ページを生成する過程に対する説明は上述したので省略する。
ディスプレイ280は、生成された字幕ページや映像コンテンツをユーザに表示する。
データベース290は、ハードディスクドライブ(Hard Disk Drive;HDD)、ソリッドステートドライブ
(Solid State Drive;SSD)、ランダムアクセスメモリ(Random Access Memory;RAM)及びフラッシュ(flash)メモリなどのような情報保存のためのハードウェアであってよい。データベース290には映像コンテンツ及び字幕情報が保存されることができ、コンテンツ提供端末201に共に搭載されるか、又は別途のコンテンツ及び字幕情報が保存されることができ、コンテンツ提供端末201に共に搭載されるか、又は別途の装置に実装されてコンテンツ提供端末201とオフラインで接続されてよい。
図12は、本発明の一実施形態に係るコンテンツ提供端末及びコンテンツ提供サーバの構成を示すブロック図である。
図12による実施形態は、上述の実施形態とは違って字幕ページの生成に用いられるソース情報をコンテンツ提供サーバ101で生成してコンテンツ提供端末202に提供し、コンテンツ提供端末202は、ソース情報を用いて字幕ページを生成するための実施形態である。
すなわち、映像コンテンツ及び字幕情報は、コンテンツ提供サーバ101のデータベース150に保存され、コンテンツ提供サーバ101は、コンテンツ提供端末202のソース情報要求に対応してコンテンツ提供端末202が字幕ページを生成するために用いられるソース情報を提供できる。そして、コンテンツ提供端末202は、コンテンツ提供サーバ101から受信したソース情報を用いて字幕ページを生成し、生成された複数の字幕ページをディスプレイ281を介してユーザに表示できる。
コンテンツ提供端末202は、字幕ページの生成に必要なソース情報をコンテンツ提供サーバ101に要求できる。コンテンツ提供サーバ101は、コンテンツ提供端末202のソース情報要求に対応して該ソース情報をコンテンツ提供サーバ101のデータベース150に保存された映像コンテンツを用いて生成できる。ここで、ソース情報は、前記字幕情報と映像コンテンツから抽出された代表イメージ及びオーディオのうち少なくともいずれか1つ以上を含む情報であってよい。
イメージ情報抽出部120は、データベース150から字幕情報をロードして映像コンテンツの複数の字幕区間を確認し、各々の字幕区間に対応して代表イメージを抽出できる。
オーディオ情報提供部130は、データベース150から字幕情報をロードして映像コンテンツの複数の字幕区間を確認し、各々の字幕区間に対応するオーディオ情報を提供できる。
オーディオ情報提供部130は、映像コンテンツに含まれるか、又は映像コンテンツと区分される別途のファイル形式で存在するオーディオ情報のうち、ソース情報要求に含まれた字幕区間に対応する区間に該当するオーディオ情報を提供できる。
イメージ情報抽出部120が字幕区間に対応して映像コンテンツから代表イメージを抽出する方法、又はオーディオ情報提供部130が字幕区間に対応してオーディオ情報を提供する過程に対する説明は上述したので説明を省略する。
図12を参照すると、コンテンツ提供端末202は、字幕ページ生成部251、ディスプレイ281及び通信部291を含むことができ、コンテンツ提供端末202とインターネット10で接続されたコンテンツ提供サーバ101は、イメージ情報抽出部120、オーディオ情報提供部130及び通信部140を含むことができる。
字幕ページ生成部251は、インターネット10に接続された通信部291を介してコンテンツ提供サーバ101に接続してソース情報要求をする。このとき、ソース情報要求はユーザがコンテンツ提供端末202を用いてコンテンツ提供サーバ101に接続して字幕ページを要求することに対応して行われることができる。
ソース情報要求には複数の字幕ページ全体に対する単位字幕、代表イメージ、オーディオ情報を要求することが含まれてもよいし、複数の字幕ページのうちユーザが選択した字幕ページに対する代表イメージ又はオーディオ情報を要求することが含まれてもよい。
ソース情報要求を受信したコンテンツ提供サーバ101は、データベース150に保存された字幕情報を通信部140を介してコンテンツ提供端末202に提供できる。また、ソース情報要求の内容によって、コンテンツ提供サーバ101は、代表イメージ及びオーディオ情報のうち少なくとも1つ以上の全て又は一部をコンテンツ提供端末202に提供できる。
イメージ情報抽出部120は、ソース情報要求に対応して字幕情報の字幕区間を確認し、字幕区間に対応する代表イメージを映像コンテンツから抽出してコンテンツ提供端末202に提供できる。
オーディオ情報提供部130は、ソース情報要求に対応して字幕情報の字幕区間を確認し、字幕区間に対応するオーディオ情報を確認して該オーディオ情報をコンテンツ提供端末202に提供できる。
字幕ページ生成部251は、字幕区間の順番に従って複数の字幕ページの順番を設定できる。
前記ソース情報要求によって、コンテンツ提供サーバ101がコンテンツ提供端末202に提供するソース情報が変わる場合がある。
まず、ソース情報要求が複数の字幕区間に対応する単位字幕と、複数の字幕区間に対応する代表イメージと、複数の字幕区間に対応するオーディオ情報と、をすべて要求する場合を例に上げることができる。
この場合、コンテンツ提供サーバ101は、コンテンツ提供端末202のソース情報要求に対応してコンテンツ提供端末202が字幕ページを生成する際に必要な全ての情報を提供できる。したがって、コンテンツ提供端末202は、複数の字幕区間に対応する全ての字幕ページを予め生成しておくことができる。これにより、ユーザが字幕ページを探索する過程で字幕ページ間を移動するとき、追加的なダウンロードなしで遅延を最小化することができる長所がある。
また、ソース情報要求が複数の字幕区間に対応する単位字幕と、複数の字幕区間のうちユーザに選択された字幕ページの字幕区間に対応する代表イメージと、ユーザに選択された字幕ページの字幕区間に対応するオーディオ情報と、を要求する場合を他の例として挙げることができる。
この場合、コンテンツ提供サーバ101は、コンテンツ提供端末202のソース情報要求に対応してコンテンツ提供端末202が字幕ページを生成する際に必要な一部の情報のみを提供できる。したがって、コンテンツ提供端末202は、ユーザが選択して鑑賞しようとする字幕ページに対する代表イメージ及びオーディオ情報のみをコンテンツ提供サーバ101からダウンロードすることができるようになる。これにより、ユーザはコンテンツ提供端末202が複数の字幕ページを構成するための全ての情報をダウンロードするまで待つ必要がなく、選択された字幕ページに関する情報のみをダウンロードするようになってデータ使用量が低減する長所がある。
また、ソース情報要求がユーザに選択された字幕ページの字幕区間及び選択された字幕ページと隣接した順番を持つ字幕ページの字幕区間に対応する代表イメージと、ユーザに選択された字幕ページの字幕区間及び選択された字幕ページと隣接した順番を持つ字幕ページの字幕区間に対応するオーディオ情報と、を要求する場合をさらに他の例として挙げることができる。
この場合、コンテンツ提供サーバ101は、コンテンツ提供端末のソース情報要求に対応してコンテンツ提供端末202が字幕ページを生成する際に必要な一部の情報のみを提供できる。しかし、上述の例示とは違って、コンテンツ提供端末202がユーザが選択した字幕ページと隣接した順番の字幕ページに関する情報まで予め確保するようになるので、ユーザが選択した字幕ページの直後の順番又は直前の順番の字幕ページに切り替えられる際の遅延を緩和することができる長所がある。
ソース情報要求は、複数の字幕ページのうちユーザに選択された字幕ページが前記ディスプレイに表示されるとき、選択された字幕ページ及び選択された字幕ページと隣接した順番の字幕ページのサムネイルイメージに対する要求を含むことができる。ここで、サムネイルイメージは図8によって説明したスクロール領域830に表示される各字幕ページの代表イメージに対応するイメージであってよい。イメージ情報抽出部120は、サムネイルイメージを含むソース情報要求を受信した場合、代表イメージを抽出することに対応して代表イメージより小さなサイズで表示されるサムネイルイメージを共に生成できる。
上記ソース情報要求は例示として挙げたものであって、その他にもコンテンツ提供端末202及びコンテンツ提供サーバ101の環境や管理者の設定によって他の形態のソース情報要求が提示されることができるであろう。
図13は、本発明の一実施形態に係るコンテンツ提供方法を説明するための図である。
図13を参照すると、図12の実施形態に係るコンテンツ提供端末202が字幕ページを生成する過程がわかる。図13によるコンテンツ提供方法は、ソース情報を要求するステップS1310、ソース情報を受信するステップS1320及び複数の字幕ページを生成するステップS1330を含むことができる。
ソース情報を要求するステップS1310は、コンテンツ提供端末202が映像コンテンツで字幕が表示される字幕区間の単位字幕及び単位字幕区間に対応して映像コンテンツから抽出された代表イメージを含むソース情報を要求するステップであってよい。
ソース情報を受信するステップS1320は、コンテンツ提供端末202がコンテンツ提供サーバ101からソース情報を受信するステップであってよい。
複数の字幕ページを生成するステップS1330は、コンテンツ提供端末202がソース情報を用いて映像コンテンツを区分する複数の字幕区間に対応して複数の字幕ページを生成してユーザに提供するステップであってよい。
図14は、本発明の一実施形態に係るコンテンツ提供方法を説明するための図である。
図14は、図12の実施形態よるコンテンツ提供端末202が字幕ページを生成する際、通信速度を感知して感知された結果に対応してソース情報要求の内容を変更できる実施形態を表現する。図14を参照すると、コンテンツ提供方法は、通信速度を感知するステップS1410と、ソース情報を要求するステップS1420と、ソース情報を受信するステップS1430と、複数の字幕ページを生成するステップS1440と、を含むことができる。
コンテンツ提供端末202とコンテンツ提供サーバ101の間の通信はインターネット10の状態や距離通信環境に多くの影響を受けることができる。特に、通信速度が制限される地域のコンテンツ提供端末202がコンテンツ提供サーバ101と通信する場合、コンテンツ提供サーバ101が映像コンテンツをコンテンツ提供端末202に円滑に提供することが難しく、コンテンツ提供端末202のユーザも該映像コンテンツの内容を把握することが難しくなる。この場合、代表イメージと単位字幕だけで構成された字幕ページを提供することによってコンテンツ提供サーバ101とコンテンツ提供端末202との通信速度が低くてもコンテンツ提供端末202のユーザが字幕ページによって映像コンテンツの内容を探索できるようにすることができる。
通信速度を感知するステップS1410は、コンテンツ提供端末202がコンテンツ提供サーバ101との通信速度を感知し、感知された通信速度に対応してコンテンツ提供サーバ101にソース情報要求をするステップであってよい。より具体的には、コンテンツ提供端末202は、コンテンツ提供サーバ101との通信速度を測定するために時間あたりのパケット伝送量、コンテンツ提供端末202がコンテンツ提供サーバ101に接続を試みる地域又は接続に用いられた通信環境などによってコンテンツ提供端末202の通信速度を感知して判断できる。また、コンテンツ提供端末202は、他の装置又はプロセッサで測定された通信速度を用いてコンテンツ提供端末202の通信速度を判断することもできる。
コンテンツ提供端末202は、感知された通信速度が所定の速度以下の場合、単位字幕及び代表イメージに対するソース情報だけを要求するか、又は単位字幕及びオーディオ情報に対するソース情報だけを要求できる(S1420)。
通信速度の基準となる所定の値は映像コンテンツの画質や容量によって異ならせて設定されることができる。そして、コンテンツ提供端末202の字幕ページ生成部251は、上記のソース情報要求によって提供されたソース情報を受信し(S1430)、受信されたソース情報のみを用いて字幕ページを生成できる(S1440
)。これによって生成された字幕ページはオーディオ情報が共に挿入された字幕ページに比べて低い容量を有することができる。これにより低速の通信環境でもコンテンツ提供端末200に字幕ページを円滑に提供することが可能である。
媒体はコンピュータ実行可能なプログラムを継続的に記憶したり、実行又はダウンロードのために一時記録するものであってもよい。また、媒体は単一又は複数のハードウェアが結合された形態の多様な記録手段又は保存手段であってよいが、あるコンピュータシステムに直接接続される媒体に限定されず、ネットワーク上に分散存在するものであってもよい。媒体の例示としては、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、CD−ROM及びDVDのような光気録媒体、フロプティカルディスク(floptical disk)のような磁気−光媒体、及びROM、RAM、フラッシュメモリなどを含んでプログラム命令が保存されるように構成されたものであってよい。また、他の媒体の例示として、アプリケーションを流通するアップストア(App Store)又はその他多様なソフトウェアを供給乃至流通するサイト、サーバなどで管理する記録媒体乃至記憶媒体を挙げることもできる。
以上の説明は、本発明の技術思想を例示的に説明したものに過ぎず、本発明の属する技術分野における通常の知識を有する者であれば本発明の本質的な特性から逸脱しない範囲で多様な修正及び変形が可能であろう。よって、本願明細書に記載の実施形態は本発明の技術思想を限定するためではなく説明するためのものであって、本発明はこのような実施形態に限定されるものではない。本発明の保護範囲は下記の請求範囲によって解釈されるべきであって、それと均等な範囲内にある全ての技術思想は本発明の権利範囲に含まれると解釈されるべきである。
また、本発明の実施形態は、以下の目的を有する。
本発明の実施形態は、データ通信に要求される伝送速度が制限される環境でもユーザが映像コンテンツの内容を鑑賞できるようにすることを目的とする。
また、本発明の実施形態は、以下の効果を達成する。
また、本発明の一実施形態は、データ通信に要求される伝送速度が制限される環境でもユーザが映像コンテンツの内容を鑑賞できるようにする効果がある。
100 コンテンツ提供サーバ
110 字幕ページ生成部
120 イメージ情報抽出部
130 オーディオ情報提供部
140 通信部
150 データベース
200 コンテンツ提供端末
210 ディスプレイ
220 メモリ
230 プロセッサ
240 通信部

Claims (35)

  1. 映像コンテンツで字幕が表示される字幕区間の単位字幕及び前記映像コンテンツから抽出された代表イメージを含む字幕ページを生成する字幕ページ生成部と、
    前記映像コンテンツから前記字幕区間に対応する代表イメージを抽出するイメージ情報抽出部と、
    前記映像コンテンツのうち前記字幕区間に対応するオーディオ情報を提供するオーディオ情報提供部と、
    を含み、
    前記字幕ページ生成部は前記映像コンテンツを区分する複数の字幕区間に対応して、前記単位字幕、前記代表イメージ及び前記オーディオ情報を含む複数の字幕ページを生成し、前記複数の字幕ページをコンテンツ提供端末に提供することを特徴とするコンテンツ提供サーバ。
  2. 前記字幕ページ生成部は、前記字幕区間の順番に従って前記複数の字幕ページの順番を設定することを特徴とする請求項1に記載のコンテンツ提供サーバ。
  3. 前記オーディオ情報提供部は前記映像コンテンツの音声特徴を分析して前記映像コンテンツで音声が出力される音声区間を設定し、
    前記字幕ページ生成部は前記音声区間に対応して前記字幕区間を再設定することを特徴とする請求項に記載のコンテンツ提供サーバ。
  4. 前記字幕ページ生成部は、
    前記コンテンツ提供端末の通信速度が所定の値以下の場合、前記単位字幕及び前記代表イメージを含む字幕ページを生成するか、又は前記単位字幕及び前記オーディオ情報を含む字幕ページを生成することを特徴とする請求項又はに記載のコンテンツ提供サーバ。
  5. コンテンツ提供サーバによるコンテンツ提供方法であって、
    映像コンテンツで字幕が表示される字幕区間の単位字幕を獲得するステップと、
    前記映像コンテンツのうち前記字幕区間に対応する代表イメージを抽出するステップと、
    前記映像コンテンツで前記字幕区間に対応するオーディオ情報を提供するステップと、
    前記映像コンテンツを区分する複数の字幕区間の順番に従って前記単位字幕及び前記代表イメージを含む複数の字幕ページを生成するステップと、
    コンテンツ提供端末に前記複数の字幕ページを提供するステップと、を含み、
    前記複数の字幕区間に対応して前記複数の字幕ページを生成するステップは、
    前記単位字幕、前記代表イメージ及び前記オーディオ情報を含む複数の字幕ページを生成するステップを含むことを特徴とするコンテンツ提供方法。
  6. ディスプレイと、
    少なくとも1つのプログラムが記憶されたメモリと、
    前記少なくとも1つのプログラムの制御に応じて動作するプロセッサと、を含み、
    前記プロセッサは、
    映像コンテンツの再生順番に従って前記映像コンテンツで字幕が表示される字幕区間に各々対応する複数の字幕ページのうち1つを前記ディスプレイに表示し、
    前記複数の字幕ページは、前記字幕区間に対応する単位字幕を表示するための第1表示領域及び前記字幕区間に対応する代表イメージを表示するための第2表示領域を含み、
    前記代表イメージは前記映像コンテンツの前記字幕区間から抽出され
    前記複数の字幕ページは、前記字幕区間に対応するオーディオ情報を含み、前記オーディオ情報は前記映像コンテンツの前記字幕区間に対応して提供されることを特徴とするコンテンツ提供端末。
  7. 前記プロセッサは、
    ユーザのページ移動要求に対応して前記ディスプレイに表示される字幕ページと隣接した順番の字幕区間を含む字幕ページに移動し、移動された前記字幕ページを前記ディスプレイに表示することを特徴とする請求項に記載のコンテンツ提供端末。
  8. 前記プロセッサは、
    ユーザの映像切り替え要求に対応して前記ディスプレイに表示される字幕ページの字幕区間に対応する時点から前記映像コンテンツを再生することを特徴とする請求項又はに記載のコンテンツ提供端末。
  9. 前記プロセッサは、
    前記映像切り替え要求に対応して前記ディスプレイに表示される字幕ページの字幕区間開始時点から前記映像コンテンツを再生することを特徴とする請求項に記載のコンテンツ提供端末。
  10. 前記複数の字幕ページは、
    前記ユーザの前記映像切り替え要求を入力されるための第1機能メニューを含むことを特徴とする請求項又はに記載のコンテンツ提供端末。
  11. 前記プロセッサは、
    前記映像コンテンツの任意の再生時点でユーザから受信した字幕ページ切り替え要求に対応して前記任意の再生時点に対応する字幕ページを前記ディスプレイに表示することを特徴とする請求項のうちいずれか一項に記載のコンテンツ提供端末。
  12. 前記プロセッサは、
    前記字幕ページ切り替え要求に対応して前記任意の再生時点又は前記任意の再生時点より前の再生時点を含む字幕区間に対応する字幕ページを前記ディスプレイに表示することを特徴とする請求項11に記載のコンテンツ提供端末。
  13. 前記プロセッサは、
    ユーザの再生オプション制御要求に対応して前記オーディオ情報の出力方法を制御することを特徴とする請求項に記載のコンテンツ提供端末。
  14. 前記複数の字幕ページは、
    前記再生オプション制御要求を入力されるための第2機能メニューを含むことを特徴とする請求項13に記載のコンテンツ提供端末。
  15. 前記プロセッサは、
    前記再生オプション制御要求に対応して、
    前記ディスプレイに表示される字幕ページのオーディオ情報を繰り返し出力する第1再生モードと、
    前記ディスプレイに表示される字幕ページのオーディオ情報が出力された後、前記オーディオ情報の出力を停止する第2再生モードと、
    前記ディスプレイに表示される字幕ページのオーディオ情報が出力された後、前記ディスプレイに表示される字幕ページの次の字幕ページに移動し、移動された字幕ページを表示する第3再生モードと、のうち1つの再生モードを行うことを特徴とする請求項13又は14に記載のコンテンツ提供端末。
  16. 前記プロセッサは、
    ユーザの画面分割要求に対応して前記ディスプレイに表示される字幕ページの数を2つ以上に変更することを特徴とする請求項11のうちいずれか一項に記載のコンテンツ提供端末。
  17. 前記複数の字幕ページは、
    前記画面分割要求を入力されるための第3機能メニューを含むことを特徴とする請求項16に記載のコンテンツ提供端末。
  18. 前記プロセッサは、
    前記画面分割要求に対応して前記ディスプレイに表示される2つ以上の字幕ページを前記字幕区間の順番に従って配置し、
    前記2つ以上の字幕ページが含むオーディオ情報を前記字幕区間の順番に従って出力することを特徴とする請求項16又は17に記載のコンテンツ提供端末。
  19. ディスプレイと、
    少なくとも1つのプログラムが記憶されたメモリと、
    前記少なくとも1つのプログラムの制御に応じて動作するプロセッサと、を含み、
    前記プロセッサは、
    映像コンテンツの再生順番に従って前記映像コンテンツで字幕が表示される字幕区間に各々対応する複数の字幕ページのうち1つを前記ディスプレイに表示し、
    前記複数の字幕ページは、前記字幕区間に対応する単位字幕を表示するための第1表示領域及び前記字幕区間に対応する代表イメージを表示するための第2表示領域を含み、
    前記代表イメージは前記映像コンテンツの前記字幕区間から抽出され、
    前記複数の字幕ページは、前記字幕区間に対応するオーディオ情報を含み、前記オーディオ情報は前記映像コンテンツの前記字幕区間に対応して提供され、
    前記プロセッサは、
    ユーザの字幕検索要求に対応して前記ユーザから入力された検索語を前記複数の字幕ページの前記単位字幕から検索し、
    検索結果を前記ディスプレイに表示することを特徴とするンテンツ提供端末。
  20. 前記複数の字幕ページは、
    前記字幕検索要求を入力されるための第4機能メニューを含むことを特徴とする請求項19に記載のコンテンツ提供端末。
  21. 前記プロセッサは、
    ユーザの字幕翻訳要求に対応して前記ディスプレイに表示される字幕ページの前記単位字幕のうち選択された1つ以上の単語を翻訳し、
    翻訳結果を前記ディスプレイに表示することを特徴とする請求項19に記載のコンテンツ提供端末。
  22. 前記複数の字幕ページは、
    前記字幕翻訳要求を入力されるための第5機能メニューを含むことを特徴とする請求項21に記載のコンテンツ提供端末。
  23. ディスプレイと、
    映像コンテンツで字幕が表示される字幕区間の単位字幕及び前記映像コンテンツから抽出された代表イメージを含む字幕ページを生成する字幕ページ生成部と、
    前記映像コンテンツから前記字幕区間に対応する前記代表イメージを抽出するイメージ情報抽出部と、
    前記映像コンテンツで前記字幕区間に対応するオーディオ情報を提供するオーディオ情報提供部と、
    を含み、
    前記字幕ページ生成部は前記映像コンテンツを区分する複数の字幕区間に対応して、前記単位字幕、前記代表イメージ及び前記オーディオ情報を含む複数の字幕ページを生成し、前記複数の字幕ページを前記ディスプレイを介してユーザに表示することを特徴とするコンテンツ提供端末。
  24. 前記字幕ページ生成部は、
    前記字幕区間の順番に従って前記複数の字幕ページの順番を設定することを特徴とする請求項23に記載のコンテンツ提供端末。
  25. 前記オーディオ情報提供部は前記映像コンテンツの音声特徴を分析して前記映像コンテンツで音声が出力される音声区間を設定し、
    前記字幕ページ生成部は前記音声区間に対応して前記字幕区間を再設定することを特徴とする請求項23に記載のコンテンツ提供端末。
  26. コンテンツ提供端末によるコンテンツ提供方法であって、
    映像コンテンツで字幕が表示される字幕区間の単位字幕を獲得するステップと、
    前記映像コンテンツから前記字幕区間に対応する代表イメージを抽出するステップと、
    前記映像コンテンツで前記字幕区間に対応するオーディオ情報を提供するステップと、
    前記映像コンテンツを区分する複数の字幕区間の順番に従って前記単位字幕及び前記代表イメージを含む複数の字幕ページを生成するステップと、
    前記複数の字幕ページをディスプレイを介してユーザに表示するステップと、
    を含み、
    前記複数の字幕区間に対応して前記複数の字幕ページを生成するステップは、前記単位字幕、前記代表イメージ及び前記オーディオ情報を含む複数の字幕ページを生成するステップを含む、ことを特徴とするコンテンツ提供方法。
  27. ディスプレイと、
    インターネットを介してサーバと接続される通信部と、
    映像コンテンツで字幕が表示される字幕区間の単位字幕及び前記字幕区間に対応して前記映像コンテンツから抽出された代表イメージを含む字幕ページを生成する字幕ページ生成部と、を含み、
    前記単位字幕及び前記代表イメージは前記字幕ページ生成部のソース情報要求に対応して前記サーバで提供されるソース情報であって、
    前記字幕ページ生成部は前記通信部を介して前記ソース情報を受信し、前記ソース情報を用いて映像コンテンツを区分する複数の字幕区間に対応する前記映像コンテンツから抽出されたオーディオ情報を含む複数の字幕ページを生成し、前記ディスプレイを介して前記複数の字幕ページをユーザに表示し、前記オーディオ情報は前記字幕ページ生成部の前記ソース情報要求に対応して前記サーバで提供されるソース情報であることを特徴とするコンテンツ提供端末。
  28. 前記字幕ページ生成部は、前記字幕区間の順番に従って前記複数の字幕ページの順番を設定することを特徴とする請求項27に記載のコンテンツ提供端末。
  29. 前記ソース情報要求は前記複数の字幕区間に対応する単位字幕、前記複数の字幕区間に対応する代表イメージ及び前記複数の字幕区間に対応するオーディオ情報を要求することを特徴とする請求項27に記載のコンテンツ提供端末。
  30. 前記ソース情報要求は前記複数の字幕区間に対応する単位字幕、前記複数の字幕区間のうち前記ユーザに選択された字幕ページの字幕区間に対応する代表イメージ及び前記選択された字幕ページの字幕区間に対応するオーディオ情報を要求することを特徴とする請求項27又は29に記載のコンテンツ提供端末。
  31. 前記ソース情報要求は、
    前記ユーザに選択された字幕ページの字幕区間及び前記選択された字幕ページと隣接した順番を持つ字幕ページの字幕区間に対応する代表イメージと、前記ユーザに選択された字幕ページの字幕区間及び前記選択された字幕ページと隣接した順番を持つ字幕ページの字幕区間に対応するオーディオ情報と、を要求することを特徴とする請求項30に記載のコンテンツ提供端末。
  32. 前記ソース情報要求は、
    前記複数の字幕ページのうち前記ユーザに選択された字幕ページが前記ディスプレイに表示されるとき、前記選択された字幕ページ及び前記選択された字幕ページと隣接した順番の字幕ページのサムネイルイメージに対する要求を含むことを特徴とする請求項27、29、30のいずれか一項に記載のコンテンツ提供端末。
  33. 前記字幕ページ生成部は、
    前記コンテンツ提供端末と前記サーバの通信速度が所定の値以下の場合、前記単位字幕及び前記代表イメージを要求するソース情報要求を伝送するか、又は前記単位字幕及び前記オーディオ情報を要求するソース情報要求を伝送することを特徴とする請求項27、29、30、32のいずれか一項に記載のコンテンツ提供端末。
  34. コンテンツ提供端末によるコンテンツ提供方法であって、
    映像コンテンツで字幕が表示される字幕区間の単位字幕及び前記字幕区間に対応して前記映像コンテンツから抽出された代表イメージを含むソース情報を要求するステップと、
    サーバから前記ソース情報を受信するステップと、
    前記ソース情報を用いて前記映像コンテンツを区分する複数の字幕区間に対応して複数の字幕ページを生成してユーザに提供するステップと、を含み、
    前記ソース情報を要求するステップは前記字幕区間に対応して前記映像コンテンツから抽出されたオーディオ情報をさらに含むソース情報を要求するステップである、コンテンツ提供方法。
  35. ハードウェアと結合されて請求項5、26、34のいずれか一項に記載のコンテンツ提供方法を実行させるためのコンピュータプログラム。
JP2018108345A 2017-06-07 2018-06-06 コンテンツ提供サーバ、コンテンツ提供端末及びコンテンツ提供方法 Active JP6602423B6 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0070883 2017-06-07
KR1020170070883A KR101924634B1 (ko) 2017-06-07 2017-06-07 콘텐츠 제공 서버, 콘텐츠 제공 단말 및 콘텐츠 제공 방법

Publications (3)

Publication Number Publication Date
JP2018207492A JP2018207492A (ja) 2018-12-27
JP6602423B2 true JP6602423B2 (ja) 2019-11-06
JP6602423B6 JP6602423B6 (ja) 2020-01-15

Family

ID=64562301

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018108345A Active JP6602423B6 (ja) 2017-06-07 2018-06-06 コンテンツ提供サーバ、コンテンツ提供端末及びコンテンツ提供方法

Country Status (5)

Country Link
US (1) US11128927B2 (ja)
JP (1) JP6602423B6 (ja)
KR (1) KR101924634B1 (ja)
CN (1) CN109005444A (ja)
TW (1) TWI686084B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7434762B2 (ja) 2019-09-10 2024-02-21 富士フイルムビジネスイノベーション株式会社 情報処理装置およびプログラム
KR102314007B1 (ko) * 2020-12-01 2021-10-15 남상훈 인공지능을 이용한 사용자 맞춤형 강의 제공 시스템

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6271892B1 (en) * 1994-06-02 2001-08-07 Lucent Technologies Inc. Method and apparatus for compressing a sequence of information-bearing frames having at least two media
US6098082A (en) * 1996-07-15 2000-08-01 At&T Corp Method for automatically providing a compressed rendition of a video program in a format suitable for electronic searching and retrieval
US20050028194A1 (en) * 1998-01-13 2005-02-03 Elenbaas Jan Hermanus Personalized news retrieval system
WO2000045604A1 (en) * 1999-01-29 2000-08-03 Sony Corporation Signal processing method and video/voice processing device
KR19990064823A (ko) 1999-05-12 1999-08-05 김민선 동영상에 포함된 외국어 대사의 학습을 위한 캡션 제어방법 및 그 기록매체
US20010003214A1 (en) * 1999-07-15 2001-06-07 Vijnan Shastri Method and apparatus for utilizing closed captioned (CC) text keywords or phrases for the purpose of automated searching of network-based resources for interactive links to universal resource locators (URL's)
US6580437B1 (en) * 2000-06-26 2003-06-17 Siemens Corporate Research, Inc. System for organizing videos based on closed-caption information
US20030163815A1 (en) * 2001-04-06 2003-08-28 Lee Begeja Method and system for personalized multimedia delivery service
US7554576B2 (en) * 2005-06-20 2009-06-30 Ricoh Company, Ltd. Information capture and recording system for controlling capture devices
US20080046406A1 (en) * 2006-08-15 2008-02-21 Microsoft Corporation Audio and video thumbnails
JP4835321B2 (ja) 2006-08-21 2011-12-14 ソニー株式会社 番組提供方法、番組提供方法のプログラム、番組提供方法のプログラムを記録した記録媒体及び番組提供装置
US8090694B2 (en) * 2006-11-02 2012-01-03 At&T Intellectual Property I, L.P. Index of locally recorded content
KR100848495B1 (ko) 2006-12-04 2008-07-28 주식회사 알티캐스트 동영상 탐색 시스템 및 그 방법.
US8671337B2 (en) * 2007-03-27 2014-03-11 Sharp Laboratories Of America, Inc. Methods, systems and devices for multimedia-content presentation
JP2009171388A (ja) 2008-01-18 2009-07-30 Panasonic Corp 情報送信装置および情報配信システム
JP4618384B2 (ja) * 2008-06-09 2011-01-26 ソニー株式会社 情報提示装置および情報提示方法
JP4937211B2 (ja) 2008-08-11 2012-05-23 日本放送協会 静止画抽出装置及び静止画抽出プログラム
JP2010154053A (ja) * 2008-12-24 2010-07-08 Canon Inc 映像処理装置、映像処理方法並びにプログラム
DE202010018551U1 (de) * 2009-03-12 2017-08-24 Google, Inc. Automatische Bereitstellung von Inhalten, die mit erfassten Informationen, wie etwa in Echtzeit erfassten Informationen, verknüpft sind
JP5493531B2 (ja) * 2009-07-17 2014-05-14 三菱電機株式会社 映像音声記録再生装置および映像音声記録再生方法
US9098758B2 (en) * 2009-10-05 2015-08-04 Adobe Systems Incorporated Framework for combining content intelligence modules
US8605221B2 (en) * 2010-05-25 2013-12-10 Intellectual Ventures Fund 83 Llc Determining key video snippets using selection criteria to form a video summary
JP5612974B2 (ja) * 2010-09-14 2014-10-22 株式会社Kadokawa セリフチェック装置、セリフチェック方法、及びプログラム
US9332319B2 (en) * 2010-09-27 2016-05-03 Unisys Corporation Amalgamating multimedia transcripts for closed captioning from a plurality of text to speech conversions
JP5451696B2 (ja) * 2011-07-13 2014-03-26 Necビッグローブ株式会社 字幕付加装置、コンテンツデータ、字幕付加方法及びプログラム
KR101835327B1 (ko) * 2011-11-18 2018-04-19 엘지전자 주식회사 디스플레이기기 및 디스플레이기기의 컨텐츠 제공 방법
KR20130082936A (ko) * 2011-12-23 2013-07-22 주식회사 케이티 컨텐츠 제공 시스템 및 방법
US20140123178A1 (en) * 2012-04-27 2014-05-01 Mixaroo, Inc. Self-learning methods, entity relations, remote control, and other features for real-time processing, storage, indexing, and delivery of segmented video
US20140164507A1 (en) * 2012-12-10 2014-06-12 Rawllin International Inc. Media content portions recommended
WO2014113071A1 (en) * 2013-01-15 2014-07-24 Viki, Inc. System and method for captioning media
CN103067775A (zh) * 2013-01-28 2013-04-24 Tcl集团股份有限公司 一种音视频终端的字幕显示方法、音视频终端及服务器
KR20140141408A (ko) 2013-05-29 2014-12-10 한양대학교 산학협력단 영상 및 자막 정보를 이용한 스토리 북 제작 방법
US8947596B2 (en) * 2013-06-27 2015-02-03 Intel Corporation Alignment of closed captions
CN103533256A (zh) * 2013-10-28 2014-01-22 广东威创视讯科技股份有限公司 一种字幕的处理方法,装置及字幕显示系统
CN103634605B (zh) * 2013-12-04 2017-02-15 百度在线网络技术(北京)有限公司 视频画面的处理方法及装置
CN103647909B (zh) * 2013-12-16 2017-05-17 宇龙计算机通信科技(深圳)有限公司 字幕调节方法及装置
WO2015163555A1 (ko) * 2014-04-22 2015-10-29 주식회사 뱁션 자막 삽입 시스템 및 방법
US9521470B2 (en) * 2014-06-13 2016-12-13 Hulu, LLC Video delivery system configured to seek in a video using different modes
JP2016009262A (ja) 2014-06-23 2016-01-18 株式会社ニコン 動画処理装置、動画処理プログラム及び動画処理方法
US10536758B2 (en) * 2014-10-09 2020-01-14 Thuuz, Inc. Customized generation of highlight show with narrative component
US9818450B2 (en) * 2015-03-31 2017-11-14 Sony Interactive Entertainment Europe Limited System and method of subtitling by dividing script text into two languages
KR101749420B1 (ko) 2015-10-20 2017-06-20 주식회사 에스비에스 자막 정보를 이용한 영상 콘텐츠의 대표 이미지 추출 장치 및 방법
CN105898556A (zh) * 2015-12-30 2016-08-24 乐视致新电子科技(天津)有限公司 一种外挂字幕的自动同步方法及装置
US20180189249A1 (en) * 2017-01-04 2018-07-05 Microsoft Technology Licensing, Llc Providing application based subtitle features for presentation
CN106792145A (zh) * 2017-02-22 2017-05-31 杭州当虹科技有限公司 一种音视频自动叠加字幕的方法和装置

Also Published As

Publication number Publication date
JP6602423B6 (ja) 2020-01-15
KR101924634B1 (ko) 2018-12-04
US11128927B2 (en) 2021-09-21
JP2018207492A (ja) 2018-12-27
TW201904267A (zh) 2019-01-16
US20180359537A1 (en) 2018-12-13
CN109005444A (zh) 2018-12-14
TWI686084B (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
US20220075829A1 (en) Voice searching metadata through media content
US9213705B1 (en) Presenting content related to primary audio content
JP6745381B2 (ja) シーンメタ情報生成装置およびシーンメタ情報生成方法
KR102290419B1 (ko) 디지털 컨텐츠의 시각적 내용 분석을 통해 포토 스토리를 생성하는 방법 및 장치
US11343595B2 (en) User interface elements for content selection in media narrative presentation
CN113709561A (zh) 视频剪辑方法、装置、设备及存储介质
US9558784B1 (en) Intelligent video navigation techniques
US10014029B2 (en) Video processing apparatus and method
US9564177B1 (en) Intelligent video navigation techniques
JP2011217209A (ja) 電子機器、コンテンツ推薦方法及びプログラム
US20160117311A1 (en) Method and Device for Performing Story Analysis
JP2011107808A (ja) コンテンツ推薦装置、コンテンツ推薦方法、及びコンテンツ推薦プログラム
JP6602423B2 (ja) コンテンツ提供サーバ、コンテンツ提供端末及びコンテンツ提供方法
JP6641045B1 (ja) コンテンツ生成システム、及びコンテンツ生成方法
US20240087547A1 (en) Systems and methods for transforming digital audio content
KR102353797B1 (ko) 영상 컨텐츠에 대한 합성음 실시간 생성에 기반한 컨텐츠 편집 지원 방법 및 시스템
US20190129683A1 (en) Audio app user interface for playing an audio file of a book that has associated images capable of rendering at appropriate timings in the audio file
CA3208553A1 (en) Systems and methods for transforming digital audio content
KR20220000459A (ko) 동영상 내 언어 난이도 평가 방법 및 이를 위한 컴퓨터 프로그램
US12003694B2 (en) Systems and methods for generating virtual reality scenes
KR102488623B1 (ko) 영상 컨텐츠에 대한 합성음 실시간 생성에 기반한 컨텐츠 편집 지원 방법 및 시스템
JP7277635B2 (ja) イメージに対する音声合成に基づいて映像コンテンツを生成する方法およびシステム
JP5860575B1 (ja) 音声録音プログラム、音声録音端末装置、及び音声録音システム
KR20240077796A (ko) 맞춤형 영상 콘텐츠 제작 시스템
KR20240028622A (ko) 의미 단위 이동이 가능한 미디어 플레이어를 갖는 사용자 단말장치 및 그의 동작 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180607

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190910

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191008

R150 Certificate of patent or registration of utility model

Ref document number: 6602423

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250