JP6412893B2 - Video distribution system, video transmission device, communication terminal, and program - Google Patents

Video distribution system, video transmission device, communication terminal, and program Download PDF

Info

Publication number
JP6412893B2
JP6412893B2 JP2016055430A JP2016055430A JP6412893B2 JP 6412893 B2 JP6412893 B2 JP 6412893B2 JP 2016055430 A JP2016055430 A JP 2016055430A JP 2016055430 A JP2016055430 A JP 2016055430A JP 6412893 B2 JP6412893 B2 JP 6412893B2
Authority
JP
Japan
Prior art keywords
moving image
data
character
image data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016055430A
Other languages
Japanese (ja)
Other versions
JP2017169174A (en
Inventor
泰裕 永井
泰裕 永井
藤井 輝也
輝也 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SoftBank Corp
Original Assignee
SoftBank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SoftBank Corp filed Critical SoftBank Corp
Priority to JP2016055430A priority Critical patent/JP6412893B2/en
Publication of JP2017169174A publication Critical patent/JP2017169174A/en
Application granted granted Critical
Publication of JP6412893B2 publication Critical patent/JP6412893B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、動画配信システム、動画送信装置、通信端末、及びプログラムに関する。   The present invention relates to a moving image distribution system, a moving image transmission device, a communication terminal, and a program.

動画を配信する場合に、通信品質の異なる様々な環境にある通信端末に対して、適応的に異なる画質の動画を配信する技術が知られていた(例えば、特許文献1参照)。
[先行技術文献]
[特許文献]
[特許文献1]特開2002−135783号公報
When distributing moving images, a technique for adaptively distributing moving images of different image quality to communication terminals in various environments with different communication quality has been known (see, for example, Patent Document 1).
[Prior art documents]
[Patent Literature]
[Patent Document 1] JP 2002-135783 A

以下、従来の動画配信システムの例を用いて本発明が解決しようとする課題について説明する。図1は従来の動画配信システム40の一例である。動画配信システム40は、動画送信装置50と通信端末60から構成される。動画送信装置50は、通信端末60からの動画データの配信要求を受け付ける要求受信部51と、配信する動画データを格納する動画データ格納部53と、動画データ格納部53に格納された動画データを送信する動画データ送信部54とで構成される。通信端末60は動画データの配信要求を動画送信装置50に送信する要求送信部61と、動画データを受信して再生する動画データ受信部62とで構成される。   Hereinafter, a problem to be solved by the present invention will be described using an example of a conventional moving image distribution system. FIG. 1 shows an example of a conventional moving image distribution system 40. The moving image distribution system 40 includes a moving image transmission device 50 and a communication terminal 60. The video transmission device 50 receives a video data distribution request from the communication terminal 60, a video data storage unit 53 that stores video data to be distributed, and video data stored in the video data storage unit 53. It is comprised with the moving image data transmission part 54 to transmit. The communication terminal 60 includes a request transmission unit 61 that transmits a distribution request for moving image data to the moving image transmission device 50, and a moving image data reception unit 62 that receives and reproduces the moving image data.

動画配信システム40では、通信端末60が送信する配信要求に応じて、動画送信装置50は予め動画データ格納部53に格納していた動画データ55を通信端末60に送信し、通信端末60の動画データ受信部62が受信した動画データ55を再生する。   In the video distribution system 40, in response to the distribution request transmitted by the communication terminal 60, the video transmission device 50 transmits the video data 55 stored in advance in the video data storage unit 53 to the communication terminal 60. The video data 55 received by the data receiving unit 62 is reproduced.

動画データはデータ量が多いため、様々な通信品質の環境にある通信端末に対して動画配信を行う場合、予めエンコードを施してデータ量を圧縮した動画データを動画配信に用いる。エンコードされた動画データはデータ量が少なくなる一方でエンコードされる前の動画と比較して画質が低下するため、配信された動画データを再生した際に、動画に含まれる文字が読みにくくなってしまう場合があった。   Since moving image data has a large amount of data, when moving image distribution is performed to communication terminals in various communication quality environments, moving image data that has been encoded in advance and compressed in data amount is used for moving image distribution. Encoded video data has a smaller amount of data, but the image quality is lower than that of the video before encoding. Therefore, when the distributed video data is played back, the characters in the video are difficult to read. There was a case.

また、通信端末が動画データを受信する際に、通信品質の低い環境にある通信端末では、動画データを受信するために十分な通信帯域を得られず、動画データを受信できない場合があった。一般的には、動画データのデータ量は画質が高いほど多く、画質が低いほど少ないため、通信端末の通信品質に応じて適応的に異なる画質の動画を配信する技術が普及している。   Further, when the communication terminal receives moving image data, the communication terminal in an environment with low communication quality may not be able to obtain a communication band sufficient for receiving the moving image data and may not be able to receive the moving image data. In general, the amount of moving image data is larger as the image quality is higher and lower as the image quality is lower. Therefore, a technique for adaptively distributing moving images having different image quality according to the communication quality of the communication terminal is widespread.

図2は複数の異なる画質の動画データを配信する動画配信システム70の一例である。動画配信システム70は、動画送信装置80と通信端末90から構成される。動画送信装置80は、通信端末90からの動画データの配信要求を受け付ける要求受信部81と、一つの動画コンテンツについて複数の画質の動画データを格納する動画データ格納部83と、動画データ格納部83に格納された動画データを送信する動画データ送信部84とで構成される。本例では、高画質動画データ85と低画質動画データ86が動画データ格納部83に格納されているものとする。通信端末90は、複数の画質の動画データのうち何れかの画質の動画データの配信要求を動画送信装置80に送信する要求送信部91と、動画データを受信して再生する動画データ受信部92とで構成される。   FIG. 2 shows an example of a moving image distribution system 70 that distributes a plurality of moving image data having different image quality. The moving image distribution system 70 includes a moving image transmission device 80 and a communication terminal 90. The video transmission device 80 includes a request receiving unit 81 that receives a video data distribution request from the communication terminal 90, a video data storage unit 83 that stores video data of a plurality of image quality for one video content, and a video data storage unit 83. And a moving image data transmission unit 84 for transmitting the moving image data stored in the. In this example, it is assumed that high-quality moving image data 85 and low-quality moving image data 86 are stored in the moving image data storage unit 83. The communication terminal 90 includes a request transmission unit 91 that transmits a distribution request for moving image data of any image quality among a plurality of moving image data to the moving image transmission device 80, and a moving image data reception unit 92 that receives and reproduces the moving image data. It consists of.

動画配信システム70では、通信端末90は自身の通信品質に応じて高画質又は低画質の動画データの配信要求を動画送信装置80に送信する。動画送信装置80は受信した配信要求に応じて、動画データ格納部83に格納していた高画質又は低画質の動画データを通信端末90に送信し、通信端末90の動画データ受信部92が受信した動画データを再生する。   In the video distribution system 70, the communication terminal 90 transmits a high-quality or low-quality video data distribution request to the video transmission device 80 according to its own communication quality. In response to the received distribution request, the video transmission device 80 transmits high-quality or low-quality video data stored in the video data storage unit 83 to the communication terminal 90, and the video data reception unit 92 of the communication terminal 90 receives the video data. Play the recorded video data.

複数の異なる画質の動画データを配信する動画配信システムでは、通信品質に応じた画質の動画データを配信することで、通信端末は動画データを受信して再生できる。一方で、通信端末の通信品質が低い場合は、低画質な動画データを配信することになるため、動画に含まれる文字が読みにくくなってしまう場合があった。   In a moving image distribution system that distributes a plurality of moving image data of different image quality, a communication terminal can receive and reproduce moving image data by distributing moving image data of an image quality corresponding to communication quality. On the other hand, when the communication quality of the communication terminal is low, low-quality moving image data is distributed, and thus characters included in the moving image may be difficult to read.

以上、従来の動画配信では、動画データの画質が低い場合に、動画に含まれる文字が読みにくくなってしまうという課題があり、特に通信品質の低い環境にある通信端末においては、十分な通信帯域が得られないため、文字が読みにくい低画質な動画データが提供されてしまうという問題があった。そこで本発明では、以上の課題を解決する方法を提供する。   As described above, in the conventional video distribution, there is a problem that it is difficult to read characters included in the video when the image quality of the video data is low, and particularly in a communication terminal in an environment with low communication quality, a sufficient communication bandwidth Therefore, there is a problem in that low-quality moving image data in which characters are difficult to read is provided. Therefore, the present invention provides a method for solving the above problems.

本発明の第1の態様によれば、複数の動画データを含む動画コンテンツと動画コンテンツに対応する文字データとを配信する動画送信装置と、動画コンテンツと文字データとを受信して表示する通信端末とを備える動画配信システムであって、動画送信装置は、動画コンテンツに含まれる第1動画データ、及び第1動画データより画質が低い動画コンテンツの第2動画データを格納する動画データ格納部と、第1動画データから文字情報を抽出し、文字情報に基づく文字データを生成する文字データ生成部と、文字データと、文字情報を抽出した第1動画データ又は第2動画データとを対応付けて格納する文字データ格納部と、通信端末からの要求に応答して、第1動画データ又は第2動画データを通信端末に送信する動画データ送信部と、第2動画データを通信端末に送信する場合に、第2動画データ又は第1動画データに対応付けて格納された文字データを通信端末に送信する文字データ送信部とを有し、通信端末は、動画データ送信部によって送信された第1動画データ又は第2動画データを受信する動画データ受信部と、文字データ送信部によって送信された文字データを受信する文字データ受信部と、文字データが示す文字を第2動画データとともに表示させる表示制御部とを有する、動画配信システムが提供される。   According to the first aspect of the present invention, a video transmission device that distributes video content including a plurality of video data and character data corresponding to the video content, and a communication terminal that receives and displays the video content and character data. A video transmission system comprising: a video data storage unit that stores first video data included in video content, and second video data of video content having lower image quality than the first video data; Character information is extracted from the first moving image data, and the character data generating unit that generates character data based on the character information, the character data, and the first moving image data or the second moving image data from which the character information is extracted are stored in association with each other. A character data storage unit, a video data transmission unit that transmits the first video data or the second video data to the communication terminal in response to a request from the communication terminal, A character data transmitting unit that transmits character data stored in association with the second moving image data or the first moving image data to the communication terminal when transmitting the two moving image data to the communication terminal. A moving image data receiving unit that receives the first moving image data or the second moving image data transmitted by the data transmitting unit, a character data receiving unit that receives the character data transmitted by the character data transmitting unit, and a character indicated by the character data A moving image distribution system is provided that includes a display control unit that displays the second moving image data.

上記動画配信システムは、上記第1動画データを他の装置から取得し、上記第1動画データをエンコードして上記第2動画データを生成するエンコード部をさらに備えてよい。上記エンコード部は、上記第1動画データをエンコードして、上記第2動画データを含む、画質が異なる複数の動画データを生成してよい。上記文字データ生成部は、上記第1動画データを構成するフレームに含まれる文字画像を抽出してよく、上記文字データ送信部は、上記文字画像を文字認識することによって取得されたテキストデータを上記通信端末に送信してよい。上記文字データ送信部は、上記文字画像を含むフレームにおける上記文字画像の位置を示す表示位置情報と、上記テキストデータとを上記通信端末に送信してよい。上記文字データ生成部は、上記第1動画データを構成するフレームに含まれる文字画像を抽出してよく、上記文字データ送信部は、上記文字画像と、上記文字画像を含むフレームにおける上記文字画像の位置を示す表示位置情報とを含む上記文字データを上記通信端末に送信してよい。   The moving image distribution system may further include an encoding unit that acquires the first moving image data from another device, encodes the first moving image data, and generates the second moving image data. The encoding unit may encode the first moving image data to generate a plurality of moving image data having different image quality including the second moving image data. The character data generation unit may extract a character image included in a frame constituting the first moving image data, and the character data transmission unit converts the text data obtained by character recognition of the character image into the text data You may transmit to a communication terminal. The character data transmission unit may transmit display position information indicating a position of the character image in a frame including the character image and the text data to the communication terminal. The character data generation unit may extract a character image included in a frame constituting the first moving image data, and the character data transmission unit may extract the character image and the character image in the frame including the character image. The character data including the display position information indicating the position may be transmitted to the communication terminal.

上記通信端末は、上記文字データの送信要否を含む上記動画コンテンツの送信要求を上記動画送信装置に送信する要求送信部をさらに有してよく、上記動画送信装置は、上記送信要求を受信する要求受信部と、上記送信要求に基づいて上記文字データを上記通信端末に送信するか否かを判定する文字データ送信判定部とをさらに有してよく、上記文字データ送信部は、上記文字データ送信判定部によって上記文字データを上記通信端末に送信すると判定された場合に、上記文字データを上記通信端末に送信してよい。上記文字データ送信判定部は、上記動画データ送信部が上記送信要求に応答して上記通信端末に送信する上記第1動画データ又は上記第2動画データに対応付けて格納されている上記文字データに付与されたフラグに基づいて、上記文字データを上記通信端末に送信するか否かを判定してよい。上記動画データ格納部は、上記第1動画データ及び上記第2動画データを含む、上記動画コンテンツの複数の異なる画質の動画データを格納してよく、上記文字データ格納部は、上記複数の異なる画質の動画データ毎に上記文字データを送信するか否かを示す上記フラグを前記文字データに付与して格納してよい。   The communication terminal may further include a request transmission unit that transmits a transmission request for the video content including whether the character data needs to be transmitted to the video transmission device, and the video transmission device receives the transmission request. It may further include a request reception unit and a character data transmission determination unit that determines whether or not to transmit the character data to the communication terminal based on the transmission request, and the character data transmission unit includes the character data The character data may be transmitted to the communication terminal when the transmission determination unit determines that the character data is to be transmitted to the communication terminal. The character data transmission determining unit is configured to store the character data stored in association with the first moving image data or the second moving image data that the moving image data transmitting unit transmits to the communication terminal in response to the transmission request. Whether the character data is transmitted to the communication terminal may be determined based on the assigned flag. The moving image data storage unit may store a plurality of different image quality moving image data of the moving image content including the first moving image data and the second moving image data, and the character data storage unit may store the plurality of different image quality values. The character data may be stored with the flag indicating whether or not to transmit the character data for each moving image data.

上記通信端末は、上記動画データの画質を判定する画質判定部をさらに備えてよく、上記表示制御部は、上記動画データの画質が予め定められた閾値より低い場合に、上記文字データが示す文字を上記動画データとともに表示させてよい。上記通信端末は、上記文字データ受信部が受信した上記文字データが示す文字の表示方法を設定する表示設定部をさらに備えてよく、上記表示設定部は、上記文字データがテキストデータ及び表示位置情報を含む場合に、上記テキストデータが示す文字を、上記動画データ受信部が受信した上記動画データにおける上記表示位置情報が示す位置に合成して表示させるか、上記動画データに隣接する文字ウィンドウに表示させるかを設定してよく、上記表示制御部は、上記表示設定部による設定に従って上記テキストデータが示す文字を上記動画データとともに表示させてよい。上記表示設定部は、上記テキストデータが示す文字を上記動画データにおける上記表示位置情報が示す位置に合成して表示させる場合に、文字のみを合成するか、予め定められたオブジェクト上に配置した文字を合成するかをさらに設定してよい。上記表示設定部は、上記文字データが文字画像及び表示位置情報を含む場合に、上記文字画像を、上記動画データ受信部が受信した上記動画データにおける上記表示位置情報が示す位置に合成して表示させるか、上記動画データに隣接する文字ウィンドウに表示させるかを設定してよく、上記表示制御部は、上記表示設定部による設定に従って上記文字画像を動画データとともに表示させてよい。   The communication terminal may further include an image quality determination unit that determines an image quality of the moving image data, and the display control unit detects the character indicated by the character data when the image quality of the moving image data is lower than a predetermined threshold value. May be displayed together with the moving image data. The communication terminal may further include a display setting unit that sets a display method of a character indicated by the character data received by the character data receiving unit, wherein the display setting unit includes text data and display position information. The character indicated by the text data is displayed in the character window adjacent to the moving image data by combining it with the position indicated by the display position information in the moving image data received by the moving image data receiving unit. The display control unit may display the characters indicated by the text data together with the moving image data according to the setting by the display setting unit. When the character indicated by the text data is combined and displayed at the position indicated by the display position information in the moving image data, the display setting unit synthesizes only the character or the character arranged on a predetermined object. You may further set whether to synthesize. When the character data includes a character image and display position information, the display setting unit synthesizes and displays the character image at a position indicated by the display position information in the moving image data received by the moving image data receiving unit. Or display in a character window adjacent to the moving image data, and the display control unit may display the character image together with the moving image data according to the setting by the display setting unit.

本発明の第2の態様によれば、動画コンテンツに含まれる第1動画データ、及び第1動画データより画質が低い動画コンテンツの第2動画データを格納する動画データ格納部と、第1動画データから文字情報を抽出し、文字情報に基づく文字データを生成する文字データ生成部と、文字データと、文字情報を抽出した第1動画データ又は第2動画データとを対応付けて格納する文字データ格納部と、通信端末からの要求に応答して、第1動画データ又は第2動画データを通信端末に送信する動画データ送信部と、第2動画データを通信端末に送信する場合に、第2動画データ又は第1動画データに対応付けて格納された文字データを通信端末に送信する文字データ送信部とを備える動画配信装置が提供される。   According to the second aspect of the present invention, the first moving image data storing unit stores the first moving image data included in the moving image content and the second moving image data of the moving image content having a lower image quality than the first moving image data. Character data storage that extracts character information from the character data and generates character data based on the character information, character data, and the first moving image data or the second moving image data from which the character information is extracted and stored in association with each other In response to a request from the communication terminal, a moving image data transmission unit that transmits the first moving image data or the second moving image data to the communication terminal, and a second moving image data when the second moving image data is transmitted to the communication terminal. There is provided a moving image distribution apparatus including a character data transmitting unit that transmits character data stored in association with data or first moving image data to a communication terminal.

本発明の第3の態様によれば、コンピュータを、上記動画送信装置として機能させるためのプログラムが提供される。   According to the 3rd aspect of this invention, the program for functioning a computer as said moving image transmission apparatus is provided.

本発明の第4の態様によれば、動画コンテンツに含まれる文字を示す文字データを受信する文字データ受信部と、動画コンテンツの動画データを受信する動画データ受信部と、動画データの画質を判定する画質判定部と、動画データの画質が予め定められた閾値より低い場合に、文字データが示す文字を動画データとともに表示させる表示制御部とを備える、通信端末が提供される。   According to the fourth aspect of the present invention, the character data receiving unit that receives character data indicating characters included in the moving image content, the moving image data receiving unit that receives the moving image data of the moving image content, and the image quality of the moving image data are determined. There is provided a communication terminal that includes an image quality determination unit that performs display and a display control unit that displays characters indicated by the character data together with the moving image data when the image quality of the moving image data is lower than a predetermined threshold.

上記通信端末は、上記文字データ受信部が受信した上記文字データが示す文字の表示方法を設定する表示設定部をさらに備えてよく、上記表示設定部は、上記文字データがテキストデータ及び表示位置情報を含む場合に、上記テキストデータが示す文字を、上記動画データ受信部が受信した上記動画データにおける上記表示位置情報が示す位置に合成して表示させるか、上記動画データに隣接する文字ウィンドウに表示させるかを設定してよく、上記表示制御部は、上記表示設定部による設定に従って上記テキストデータが示す文字を上記動画データとともに表示させてよい。上記表示設定部は、上記テキストデータが示す文字を上記動画データにおける上記表示位置情報が示す位置に合成して表示させる場合に、文字のみを合成するか、予め定められたオブジェクト上に配置した文字を合成するかをさらに設定してよい。上記通信端末は、上記文字データ受信部が受信した上記文字データが示す文字の表示方法を設定する表示設定部をさらに備えてよく、上記表示設定部は、上記文字データが文字画像及び表示位置情報を含む場合に、上記文字画像を、上記動画データ受信部が受信した上記動画データにおける上記表示位置情報が示す位置に合成して表示させるか、上記動画データに隣接する文字ウィンドウに表示させるかを設定してよく、上記表示制御部は、上記表示設定部による設定に従って上記文字画像を上記動画データとともに表示させてよい。   The communication terminal may further include a display setting unit that sets a display method of a character indicated by the character data received by the character data receiving unit, wherein the display setting unit includes text data and display position information. The character indicated by the text data is displayed in the character window adjacent to the moving image data by combining it with the position indicated by the display position information in the moving image data received by the moving image data receiving unit. The display control unit may display the characters indicated by the text data together with the moving image data according to the setting by the display setting unit. When the character indicated by the text data is combined and displayed at the position indicated by the display position information in the moving image data, the display setting unit synthesizes only the character or the character arranged on a predetermined object. You may further set whether to synthesize. The communication terminal may further include a display setting unit that sets a display method of a character indicated by the character data received by the character data receiving unit. The display setting unit includes a character image and display position information. Whether the character image is synthesized and displayed at a position indicated by the display position information in the moving image data received by the moving image data receiving unit or displayed in a character window adjacent to the moving image data. The display control unit may display the character image together with the moving image data according to the setting by the display setting unit.

本発明の第5の態様によれば、コンピュータを、上記通信端末として機能させるためのプログラムが提供される。   According to the fifth aspect of the present invention, there is provided a program for causing a computer to function as the communication terminal.

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。   It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.

従来の動画配信システム40の一例である。It is an example of the conventional moving image delivery system 40. 複数の異なる画質の動画データを配信する動画配信システム70の一例である。It is an example of the moving image delivery system 70 which delivers several moving image data of different image quality. 動画配信システム10の一例を概略的に示す。An example of animation distribution system 10 is shown roughly. 動画配信システム10の機能構成の一例を概略的に示す。An example of functional composition of animation distribution system 10 is shown roughly. 動画送信装置100による処理の流れの一例を概略的に示す。An example of the flow of processing by the moving picture transmitting apparatus 100 is schematically shown. 通信端末200による処理の流れの一例を概略的に示す。An example of the flow of processing by communication terminal 200 is shown roughly. 画質判定部210を備える通信端末200を有する動画配信システム10の機能構成の一例を概略的に示す。An example of a functional structure of the moving image delivery system 10 which has the communication terminal 200 provided with the image quality determination part 210 is shown roughly. 通信端末200による処理の流れの一例を概略的に示す。An example of the flow of processing by communication terminal 200 is shown roughly. 表示設定部212を備える通信端末200の一例である。3 is an example of a communication terminal 200 including a display setting unit 212. 文字データ送信判定部118を備える動画送信装置100を有する通信システム10の機能構成の一例を概略的に示す。An example of a functional structure of the communication system 10 which has the moving image transmitter 100 provided with the character data transmission determination part 118 is shown roughly. 動画表示例300を概略的に示す。A moving image display example 300 is schematically shown. 動画表示例310を概略的に示す。A moving image display example 310 is schematically shown. 動画表示例320を概略的に示す。A moving image display example 320 is schematically shown. 動画表示例330を概略的に示す。A moving image display example 330 is schematically shown. 動画表示例340を概略的に示す。A moving image display example 340 is schematically shown. 文字データテーブル400の一例を概略的に示す。An example of the character data table 400 is shown schematically. 他の装置から受信した動画を配信する動画配信システム10の一例である。It is an example of the moving image delivery system 10 which delivers the moving image received from the other apparatus. 動画配信システム10の機能構成の一例を概略的に示す。An example of functional composition of animation distribution system 10 is shown roughly. 動画送信装置100として機能するコンピュータ900のハードウエア構成の一例を示す。2 shows an example of a hardware configuration of a computer 900 that functions as the moving picture transmitting apparatus 100.

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。   Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.

図3は、動画配信システム10の一例を概略的に示す。動画配信システム10は、動画送信装置100及び通信端末200を備える。動画送信装置100は、動画コンテンツの配信サービスを通信端末200に対して提供する。   FIG. 3 schematically shows an example of the moving image distribution system 10. The moving image distribution system 10 includes a moving image transmission device 100 and a communication terminal 200. The video transmission device 100 provides a video content distribution service to the communication terminal 200.

通信端末200は、動画送信装置100が配信する動画コンテンツを表示することができれば、どのような端末であってもよい。例えば、通信端末200は、スマートフォン等の携帯電話、タブレット端末、及びPC(Personal Computer)である。   The communication terminal 200 may be any terminal as long as it can display the moving image content distributed by the moving image transmission apparatus 100. For example, the communication terminal 200 is a mobile phone such as a smartphone, a tablet terminal, and a PC (Personal Computer).

動画送信装置100と通信端末200とは、ネットワーク20を介して通信する。ネットワーク20は、インターネット、有線LAN、無線LAN、有線電話網、及び無線電話網の少なくともいずれかを含んでよい。   The video transmission device 100 and the communication terminal 200 communicate via the network 20. The network 20 may include at least one of the Internet, a wired LAN, a wireless LAN, a wired telephone network, and a wireless telephone network.

動画送信装置100は、内容の異なる複数の動画コンテンツを配信する。動画送信装置100は、内容の異なる複数の動画コンテンツのそれぞれについて、複数の異なる画質の動画データを送信可能である。   The moving picture transmission device 100 distributes a plurality of moving picture contents having different contents. The moving image transmitting apparatus 100 can transmit a plurality of moving image data having different image quality for each of a plurality of moving image contents having different contents.

例えば、動画送信装置100は、内容の異なる複数の動画コンテンツのそれぞれについて、高画質モード及び低画質モードのいずれかを選択して動画データを送信する。画質の種類は3種類以上であってもよく、例えば3種類の場合、動画送信装置100は、高画質モード、標準画質モード、及び低画質モードのいずれかを選択して動画データを送信する。   For example, the moving image transmitting apparatus 100 transmits moving image data by selecting either the high image quality mode or the low image quality mode for each of a plurality of moving image contents having different contents. There may be three or more types of image quality. For example, in the case of three types, the moving image transmission apparatus 100 selects one of the high image quality mode, the standard image quality mode, and the low image quality mode and transmits the moving image data.

動画送信装置100は、内容の異なる複数の動画コンテンツのそれぞれについて、複数の異なる画質の動画データを格納してよい。本実施形態では、同一の内容の複数の異なる画質の動画データを、動画セットと記載して説明する。   The moving image transmitting apparatus 100 may store a plurality of moving image data having different image quality for each of a plurality of moving image contents having different contents. In the present embodiment, a plurality of pieces of moving image data having the same content and different image quality are described as a moving image set.

動画セットは、一の動画データと、当該一の動画データをエンコードした動画データとを含んでよい。動画セットは、一の動画データと、当該一の動画データを複数の異なるパラメータ設定でエンコードした複数の異なる画質の動画データとを含んでもよい。また、動画セットは、一の動画データは含まずに、当該一の動画データを複数の異なるパラメータ設定でエンコードした複数の異なる画質の動画データを含んでもよい。   The moving image set may include one moving image data and moving image data obtained by encoding the one moving image data. The moving image set may include one moving image data and a plurality of moving image data with different image quality obtained by encoding the one moving image data with a plurality of different parameter settings. In addition, the moving image set may include a plurality of moving image data with different image quality obtained by encoding the one moving image data with a plurality of different parameter settings without including one moving image data.

動画送信装置100は、動画セットのうち、例えば、通信端末200の使用者が要求する画質の動画データを通信端末200に送信する。また、動画送信装置100は、例えば、動画セットのうち、通信環境に応じた画質の動画データを通信端末200に送信する。   The moving image transmission apparatus 100 transmits, for example, moving image data having an image quality requested by the user of the communication terminal 200 to the communication terminal 200 in the moving image set. In addition, for example, the moving image transmitting apparatus 100 transmits moving image data having an image quality corresponding to the communication environment in the moving image set to the communication terminal 200.

本実施形態に係る動画送信装置100は、動画セットのうち、ある画質の動画データを通信端末200に送信する場合、当該動画データより画質の高い動画データから抽出した文字情報に基づく文字データも通信端末200に送信する。   When transmitting moving image data having a certain image quality from the moving image set to the communication terminal 200, the moving image transmitting apparatus 100 according to the present embodiment also communicates character data based on character information extracted from moving image data having higher image quality than the moving image data. Transmit to terminal 200.

例えば、動画送信装置100は、通信端末200に送信する動画データより画質が高い動画データを構成するフレームに含まれる文字画像を抽出し、当該フレームから当該文字画像を切り出して通信端末200に送信する。これにより、動画中の文字の部分の画質を向上させることができ、文字を見やすくすることができる。   For example, the moving image transmission apparatus 100 extracts a character image included in a frame constituting moving image data having higher image quality than the moving image data transmitted to the communication terminal 200, cuts out the character image from the frame, and transmits the character image to the communication terminal 200. . Thereby, the image quality of the character part in a moving image can be improved and a character can be made easy to see.

また、例えば、動画送信装置100は、通信端末200に送信する動画データより画質が高い動画データを構成するフレームに含まれる文字画像を抽出して、当該文字画像を文字認識することによって取得されたテキストデータを通信端末200に送信する。文字画像ではなくテキストデータを送信することにより、送信データ量を低減することができる。動画データと比較してテキストデータのデータ量は非常に少ないので、送信データ量をほとんど増やすことなく、文字を見やすくすることができる。また、送信する動画データから文字画像を抽出して文字認識する場合に比べて、文字の誤認識の少ない動画を提供することができる。   Further, for example, the moving image transmission apparatus 100 is obtained by extracting a character image included in a frame constituting moving image data having higher image quality than the moving image data transmitted to the communication terminal 200 and recognizing the character image. The text data is transmitted to the communication terminal 200. By transmitting text data instead of character images, the amount of transmission data can be reduced. Since the amount of text data is much smaller than that of moving image data, it is possible to make the characters easier to see without substantially increasing the amount of transmitted data. In addition, it is possible to provide a moving image with fewer character recognition errors than when character images are extracted from moving image data to be transmitted and character recognition is performed.

図4は、動画配信システム10の機能構成の一例を概略的に示す。動画送信装置100は、動画データ格納部106、文字データ生成部110、文字データ格納部111、要求受信部112、動画データ送信部116、及び文字データ送信部120を備える。通信端末200は、要求送信部202、動画データ受信部204、文字データ受信部206、及び表示制御部208を備える。なお、動画配信システム10がこれらのすべての構成を備えることは必須とは限らない。以下では、まず動画送信装置100について説明する。   FIG. 4 schematically illustrates an example of a functional configuration of the moving image distribution system 10. The moving image transmission apparatus 100 includes a moving image data storage unit 106, a character data generation unit 110, a character data storage unit 111, a request reception unit 112, a moving image data transmission unit 116, and a character data transmission unit 120. The communication terminal 200 includes a request transmission unit 202, a moving image data reception unit 204, a character data reception unit 206, and a display control unit 208. In addition, it is not necessarily essential that the moving image distribution system 10 includes all of these configurations. Hereinafter, first, the moving image transmitting apparatus 100 will be described.

動画データ格納部106は、配信する動画データを格納する。動画データ格納部106は、動画セットに含まれる複数の動画データを対応付けて格納してよい。動画データ格納部106は、通信端末200から動画コンテンツの送信要求を受け付ける要求受信部112が受信した送信要求に応じて、送信する動画データを動画データ送信部116に渡す。動画データ格納部106は、要求された動画コンテンツの動画データのうち、通信環境に応じた画質の動画データを動画データ送信部116に渡してよい。また、動画データ格納部106は、要求受信部112が受信した送信要求に画質の指定が含まれる場合、要求された動画コンテンツの動画データのうち、指定された画質の動画データを動画データ送信部116に渡してよい。   The moving image data storage unit 106 stores moving image data to be distributed. The moving image data storage unit 106 may store a plurality of moving image data included in the moving image set in association with each other. The moving image data storage unit 106 passes the moving image data to be transmitted to the moving image data transmission unit 116 in response to the transmission request received by the request receiving unit 112 that receives a transmission request for moving image content from the communication terminal 200. The moving image data storage unit 106 may pass to the moving image data transmission unit 116 moving image data having an image quality corresponding to the communication environment among the requested moving image data of the moving image content. In addition, when the transmission request received by the request receiving unit 112 includes designation of image quality, the moving image data storage unit 106 transmits moving image data having the specified image quality among moving image data of the requested moving image content. 116 may be passed.

文字データ生成部110は、動画データ格納部106に格納されている動画データから文字情報を抽出し、抽出した文字情報を基に文字データを生成する。文字データ生成部110は、例えば、動画セットのうち、最も画質が高い動画データから文字情報を抽出する。文字データ生成部110は、動画データを構成する複数のフレームのそれぞれに含まれる文字画像を文字情報として抽出してよい。文字データ生成部110は抽出した文字画像を文字認識することによってテキストデータを生成する。   The character data generation unit 110 extracts character information from the moving image data stored in the moving image data storage unit 106, and generates character data based on the extracted character information. For example, the character data generation unit 110 extracts character information from moving image data having the highest image quality in the moving image set. The character data generation unit 110 may extract a character image included in each of a plurality of frames constituting the moving image data as character information. The character data generation unit 110 generates text data by recognizing the extracted character image.

文字データ生成部110はさらに、テキストデータの表示時刻情報を生成してよい。表示時刻情報は、文字画像を抽出したフレームのフレーム番号であってよい。文字データ生成部110は、連続する複数のフレームに同じ文字が含まれる場合、当該複数のフレームについて、一のテキストデータと、当該複数のフレームのフレーム番号とを含む文字データを生成してもよい。   The character data generation unit 110 may further generate display time information of text data. The display time information may be the frame number of the frame from which the character image is extracted. When the same character is included in a plurality of consecutive frames, the character data generation unit 110 may generate character data including one text data and frame numbers of the plurality of frames for the plurality of frames. .

文字データ生成部110はさらに、フォント情報を生成してもよい。フォント情報は、文字色、文字サイズ、及び字体の少なくとも1つを含んでよい。文字データ生成部110はさらに、テキストデータの表示位置情報を生成してもよい。表示位置情報は、例えば、文字画像を抽出したフレームにおける、文字画像の位置を示す。表示位置情報は、テキストデータの文字列の向きを含んでもよい。   The character data generation unit 110 may further generate font information. The font information may include at least one of a character color, a character size, and a font. The character data generation unit 110 may further generate display position information of text data. The display position information indicates, for example, the position of the character image in the frame from which the character image is extracted. The display position information may include the direction of the character string of the text data.

ここで、文字データには、テキストデータの種別が含まれてもよい。テキストデータの種別は、例えば、字幕及び背景を含む。文字データ生成部110は、例えば、動画送信装置100を管理する管理者等の指示に従って、テキストデータと、テキストデータの種別とを含む文字データを生成する。動画送信装置100の管理者等は、例えば、動画データを閲覧することによって、文字が字幕であるか背景文字であるかを判断する。   Here, the character data may include the type of text data. The type of text data includes, for example, subtitles and background. For example, the character data generation unit 110 generates character data including text data and a type of text data in accordance with an instruction from an administrator or the like who manages the moving picture transmission apparatus 100. For example, the administrator of the moving image transmitting apparatus 100 determines whether the character is a subtitle or a background character by browsing the moving image data.

また、テキストデータの種別は、文字データ生成部110が判断してもよい。例えば、文字データ生成部110は、動画データから抽出した文字情報を文字認識することによってテキストデータを取得するとともに、当該動画データの音声を音声認識することによって、文字が表示されるときの音声を示すテキストデータを取得する。そして、文字データ生成部110は、文字認識によって取得したテキストデータと、音声認識によって取得したテキストデータとを比較して、一致度が予め定められた閾値より高い場合、種別を字幕と判断し、一致度が予め定められた閾値より低い場合、種別を背景と判断する。   The text data generation unit 110 may determine the type of text data. For example, the character data generation unit 110 acquires text data by recognizing character information extracted from moving image data, and recognizes the sound when the character is displayed by recognizing the sound of the moving image data. Get the indicated text data. Then, the character data generation unit 110 compares the text data acquired by the character recognition with the text data acquired by the speech recognition, and determines that the type is a caption when the matching degree is higher than a predetermined threshold value. When the degree of coincidence is lower than a predetermined threshold, the type is determined as background.

また、文字データには、テキストデータの優先度が含まれていてもよい。テキストデータの優先度は、高低の2段階であってよく、また、3段階以上であってもよい。文字データ生成部110は、例えば、動画送信装置100を管理する管理者等の指示に従って、テキストデータと、テキストデータの優先度とを含む文字データを生成する。動画送信装置100の管理者等は、例えば、動画データを閲覧することによって、テキストデータの優先度を判断する。   In addition, the priority of text data may be included in the character data. The priority of text data may be two levels, high and low, or may be three or more levels. For example, the character data generation unit 110 generates character data including text data and the priority of the text data in accordance with an instruction from an administrator or the like who manages the moving picture transmission apparatus 100. The administrator of the moving image transmitting apparatus 100 determines the priority of the text data by browsing the moving image data, for example.

文字データ格納部111は、文字データ生成部110が生成した文字データを格納する。例えば、文字データ格納部111は、文字データ生成部110が生成したテキストデータと、当該テキストデータの表示時刻情報と、フォント情報と、表示位置情報とを含む文字データを格納する。文字データ格納部111は、テキストデータの種別及びテキストデータの優先度の少なくともいずれかをさらに含む文字データを格納してもよい。また、例えば、文字データ格納部111は、文字データ生成部110が生成した文字画像と、当該文字画像の表示時刻情報と、表示位置情報とを含む文字データを格納する。   The character data storage unit 111 stores the character data generated by the character data generation unit 110. For example, the character data storage unit 111 stores character data including text data generated by the character data generation unit 110, display time information of the text data, font information, and display position information. The character data storage unit 111 may store character data further including at least one of text data type and text data priority. Further, for example, the character data storage unit 111 stores character data including the character image generated by the character data generation unit 110, display time information of the character image, and display position information.

文字データ格納部111は、格納する文字データと文字データを抽出した動画セットとを対応付けて管理する。文字データ格納部111は、例えば、文字データと、当該文字データを生成する元となった文字情報を抽出した動画データとを対応付けて格納する。文字データ格納部111は、文字データを生成する元となった文字情報を抽出した動画データを含む動画セットの全ての動画データについて、動画データを通信端末200に送信するときに文字データを送信するか否かを示すフラグを、当該文字データに付与して管理してよい。また、文字データ格納部111は、字幕や背景などの文字種別毎に、当該フラグを付与して管理してもよい。文字データ格納部111は、要求受信部112が受信した送信要求に基づいて各文字データを送信するかを判定し、送信する文字データを文字データ送信部120に渡す。文字データ格納部111は、要求受信部112が受信した送信要求に応じて動画データ送信部116が送信する動画データに対応する文字データに、当該動画データを送信することを示すフラグが付与されている場合、当該文字データを文字データ送信部120に渡してよい。   The character data storage unit 111 manages character data to be stored in association with a moving image set from which character data has been extracted. The character data storage unit 111 stores, for example, character data and moving image data obtained by extracting character information from which the character data is generated in association with each other. The character data storage unit 111 transmits the character data when transmitting the moving image data to the communication terminal 200 for all the moving image data of the moving image set including the moving image data from which the character information from which the character data is generated is extracted. A flag indicating whether or not may be assigned to the character data for management. In addition, the character data storage unit 111 may manage by assigning the flag for each character type such as caption or background. The character data storage unit 111 determines whether to transmit each character data based on the transmission request received by the request reception unit 112, and passes the character data to be transmitted to the character data transmission unit 120. In the character data storage unit 111, a flag indicating that the moving image data is transmitted is added to the character data corresponding to the moving image data transmitted by the moving image data transmission unit 116 in response to the transmission request received by the request receiving unit 112. If it is, the character data may be passed to the character data transmission unit 120.

フラグは、例えば、動画送信装置100を管理する管理者等によって予め付与されてよい。管理者は、例えば、動画セットに含まれる全ての動画データを実際に閲覧して、文字が読めるか又は読みやすいか等の基準に従ってフラグを付与する。例えば、一の文字データ対して4つの動画データが対応付けられており、管理者が各動画データを閲覧した結果2つの動画データについて文字データを送信した方がよいと判断した場合、管理者は、当該一の文字データに、当該2つの動画データについて文字データを送信することを示すフラグを対応付ける。具体例として、文字データを送信しないことを示すフラグを0、文字データを送信することを示すフラグを1とした場合、管理者は、4つの動画データのうち、文字データを送信した方がよいと判断した2つの動画データについて1を示し、それ以外の2つの動画データについて0を示すフラグを、当該文字データに対応付ける。   The flag may be given in advance by, for example, an administrator who manages the moving image transmitting apparatus 100. For example, the administrator actually browses all moving image data included in the moving image set, and assigns a flag according to a criterion such as whether characters can be read or read easily. For example, when four moving image data are associated with one character data and the administrator browses each moving image data and determines that it is better to transmit character data for two moving image data, the administrator The flag indicating that character data is transmitted for the two moving image data is associated with the one character data. As a specific example, when the flag indicating that character data is not transmitted is set to 0 and the flag indicating that character data is transmitted is set to 1, the administrator should transmit character data among the four moving image data. The flag indicating 1 for the two moving image data determined to be 0 and 0 indicating the other two moving image data is associated with the character data.

フラグは、文字データ格納部111によって判定され、付与されてもよい。例えば、文字データ格納部111は、動画セットに含まれる複数の動画データのうち、解像度が予め定められた閾値より低い動画データについて文字データを送信し、解像度が予め定められた閾値より高い動画データについて文字データを送信しないと判定する。予め定められた閾値は、例えば、動画送信装置100を管理する管理者等によって決定されてよい。管理者は、例えば、ある動画データの解像度を様々に変化させた複数の動画データを閲覧し、どの程度の解像度であれば文字を判読できるかを確認することによって、閾値を決定する。   The flag may be determined and assigned by the character data storage unit 111. For example, the character data storage unit 111 transmits character data for moving image data whose resolution is lower than a predetermined threshold among a plurality of moving image data included in the moving image set, and moving image data whose resolution is higher than a predetermined threshold. It is determined that character data is not transmitted. The predetermined threshold value may be determined by, for example, an administrator who manages the moving picture transmitting apparatus 100. For example, the administrator browses a plurality of moving image data in which the resolution of certain moving image data is changed variously, and determines the threshold value by confirming how much resolution the character can be read.

なお、原則として、動画データ中の文字のサイズが大きいほど、解像度が低くても判読が可能であるといえる。そこで、管理者は、文字の大きさごとに解像度の閾値を決定してもよい。そして、文字データ格納部111は、動画データのフレームに含まれる文字の大きさに対応する閾値を読み出して、動画データの解像度が当該閾値より低い場合、文字データを送信すると判定し、当該閾値より高い場合、文字データを送信しないと判定してよい。   In principle, it can be said that the larger the character size in the moving image data is, the lower the resolution is. Therefore, the administrator may determine a resolution threshold value for each character size. Then, the character data storage unit 111 reads a threshold value corresponding to the size of the character included in the frame of the moving image data, and determines that character data is transmitted when the resolution of the moving image data is lower than the threshold value. When it is high, it may be determined that character data is not transmitted.

文字データ格納部111は、動画セットに含まれる複数の動画データのうち、ビットレートが予め定められた閾値より低い動画データについて文字データを送信し、ビットレートが予め定められた閾値より高い動画データについて文字データを送信しないと判定してもよい。予め定められた閾値は、例えば、動画送信装置100を管理する管理者等によって決定されてよい。管理者は、例えば、ある動画データのビットレートを様々に変化させた複数の動画データを閲覧し、どの程度のビットレートであれば文字を判読できるかを確認することによって、閾値を決定する。   The character data storage unit 111 transmits character data for moving image data having a bit rate lower than a predetermined threshold among a plurality of moving image data included in the moving image set, and moving image data having a bit rate higher than a predetermined threshold It may be determined that character data is not transmitted. The predetermined threshold value may be determined by, for example, an administrator who manages the moving picture transmitting apparatus 100. For example, the administrator determines a threshold value by viewing a plurality of moving image data in which the bit rate of a certain moving image data is changed, and confirming at what bit rate the characters can be read.

なお、原則として、動画データ中の文字のサイズが大きいほど、ビットレートが低くても判読が可能であるといえる。そこで、管理者は、文字の大きさごとにビットレートの閾値を決定してもよい。そして、文字データ格納部111は、動画データのフレームに含まれる文字の大きさに対応する閾値を読み出して、動画データのビットレートが当該閾値より低い場合、文字データを送信すると判定し、当該閾値より高い場合、文字データを送信しないと判定してよい。   In principle, it can be said that the larger the character size in the moving image data is, the lower the bit rate is. Thus, the administrator may determine a bit rate threshold for each character size. Then, the character data storage unit 111 reads a threshold value corresponding to the size of the character included in the frame of the moving image data, and determines that character data is transmitted when the bit rate of the moving image data is lower than the threshold value. If higher, character data may not be transmitted.

要求受信部112は、通信端末200から動画コンテンツの送信要求を受け付ける。要求受信部112は、画質の指定のある送信要求を受け付けてよい。通信端末200は、例えば、通信端末200の使用者によって選択された画質を指定する送信要求を動画送信装置100に送信する。また、通信端末200は、例えば、自らの通信品質を測定して、測定した通信品質に応じた画質を指定する送信要求を動画送信装置100に送信する。要求受信部112は、画質の指定のない送信要求を受け付けてもよい。   The request receiving unit 112 receives a moving image content transmission request from the communication terminal 200. The request receiving unit 112 may accept a transmission request with image quality designation. For example, the communication terminal 200 transmits a transmission request designating the image quality selected by the user of the communication terminal 200 to the moving image transmission apparatus 100. In addition, the communication terminal 200, for example, measures its own communication quality and transmits a transmission request for designating an image quality corresponding to the measured communication quality to the moving image transmission apparatus 100. The request receiving unit 112 may accept a transmission request without designating image quality.

動画データ送信部116は、要求受信部112が通信端末200から受信した送信要求に応じて動画データ格納部106からから受け取った動画データを、通信端末200に送信する。   The moving image data transmission unit 116 transmits the moving image data received from the moving image data storage unit 106 to the communication terminal 200 in response to the transmission request received by the request receiving unit 112 from the communication terminal 200.

文字データ送信部120は、動画データ送信部116が動画データを送信する場合において、要求受信部112が受信した送信要求に応じて、文字データ格納部111から受け取った文字データを通信端末200に送信する。文字データ送信部120は、例えば、MPEG−TS(MPEG−2 Transport Stream)に準拠したデータ形式で動画データと文字データを対応付けて、文字データを送信する。   The character data transmission unit 120 transmits the character data received from the character data storage unit 111 to the communication terminal 200 in response to the transmission request received by the request reception unit 112 when the moving image data transmission unit 116 transmits the moving image data. To do. The character data transmission unit 120 associates moving image data and character data in a data format conforming to, for example, MPEG-TS (MPEG-2 Transport Stream), and transmits character data.

文字データ送信部120は、動画データ送信部116が送信する動画データを含む動画セットのうち、動画データ送信部116が送信する動画データより画質の高い動画データから抽出された文字情報に基づく文字データを通信端末200に送信してよい。例えば、文字データ送信部120は、動画データ送信部116が送信する動画データを含む動画セットのうち、最も画質が高い動画データから抽出された文字情報に基づく文字データを通信端末200に送信する。   The character data transmission unit 120 is character data based on character information extracted from moving image data having higher image quality than the moving image data transmitted by the moving image data transmission unit 116 in the moving image set including moving image data transmitted by the moving image data transmission unit 116. May be transmitted to the communication terminal 200. For example, the character data transmission unit 120 transmits to the communication terminal 200 character data based on character information extracted from the moving image data having the highest image quality among the moving image sets including the moving image data transmitted by the moving image data transmission unit 116.

文字データ送信部120は、動画データ送信部116が送信する動画データに対応付けて文字データ格納部111に格納されている文字データを通信端末200に送信してよい。また、文字データ送信部120は、動画データ送信部116が送信する動画データを含む動画セットのうち、動画データ送信部116が送信する動画データより画質の高い動画データに対応付けて文字データ格納部111に格納されている文字データを通信端末200に送信してよい。   The character data transmission unit 120 may transmit the character data stored in the character data storage unit 111 in association with the moving image data transmitted by the moving image data transmission unit 116 to the communication terminal 200. The character data transmission unit 120 is associated with the video data having higher image quality than the video data transmitted by the video data transmission unit 116 in the video set including the video data transmitted by the video data transmission unit 116. The character data stored in 111 may be transmitted to the communication terminal 200.

以下、通信端末200について説明する。要求送信部202は、動画コンテンツの送信要求を動画送信装置100に送信する。要求送信部202は、通信端末200の使用者の指示に従って、送信要求を動画送信装置100に送信してよい。   Hereinafter, the communication terminal 200 will be described. The request transmission unit 202 transmits a video content transmission request to the video transmission device 100. The request transmission unit 202 may transmit a transmission request to the video transmission device 100 in accordance with an instruction from the user of the communication terminal 200.

動画データ受信部204は、要求送信部202が送信した送信要求に応じて動画送信装置100が送信した動画データを受信する。   The moving image data receiving unit 204 receives the moving image data transmitted by the moving image transmitting apparatus 100 in response to the transmission request transmitted by the request transmitting unit 202.

文字データ受信部206は、要求送信部202が送信した送信要求に応じて動画送信装置100が送信した文字データを受信する。   The character data receiving unit 206 receives the character data transmitted from the moving image transmitting apparatus 100 in response to the transmission request transmitted from the request transmitting unit 202.

表示制御部208は、文字データ受信部206が受信した文字データが示す文字を、動画データ受信部204が受信した動画データとともに表示させる。表示制御部208は、通信端末200が備えるディスプレイに動画データ及び文字データが示す文字を表示させてよい。また、表示制御部208は、通信端末200の外部のディスプレイに動画データ及び文字データが示す文字を表示させてもよい。   The display control unit 208 displays the characters indicated by the character data received by the character data receiving unit 206 together with the moving image data received by the moving image data receiving unit 204. The display control unit 208 may display the characters indicated by the moving image data and the character data on the display included in the communication terminal 200. Further, the display control unit 208 may display the characters indicated by the moving image data and the character data on a display external to the communication terminal 200.

表示制御部208は、文字データ受信部206が受信した文字データにテキストデータが含まれる場合、動画データとともに当該テキストデータを表示させてよい。表示制御部208は、文字データに含まれるテキストデータを、文字データに含まれる表示時刻情報に従って動画データとともに表示させてよい。表示制御部208は、一の文字データに、一のテキストデータ及び複数のフレーム番号が含まれる場合、当該一のテキストデータを、当該複数のフレーム番号のフレームとともに表示させてよい。   When the text data is included in the character data received by the character data receiving unit 206, the display control unit 208 may display the text data together with the moving image data. The display control unit 208 may display the text data included in the character data together with the moving image data according to the display time information included in the character data. When one text data and a plurality of frame numbers are included in one character data, the display control unit 208 may display the one text data together with the frames having the plurality of frame numbers.

表示制御部208は、文字データにさらにフォント情報が含まれる場合、テキストデータにフォント情報を適用した文字を表示させてよい。表示制御部208は、文字データにさらに表示位置情報が含まれる場合、テキストデータを、動画データ中の当該表示位置情報が示す位置に合成して表示させてよい。   When the font data is further included in the character data, the display control unit 208 may display the character to which the font information is applied to the text data. When the display position information is further included in the character data, the display control unit 208 may synthesize and display the text data at the position indicated by the display position information in the moving image data.

表示制御部208は、文字データ受信部206が受信した文字データに文字画像が含まれる場合、動画データとともに当該文字画像を表示させてよい。表示制御部208は、文字データに含まれる文字画像を、文字データに含まれる表示時刻情報に従って動画データとともに表示させてよい。表示制御部208は、文字データにさらに表示位置情報が含まれる場合、文字画像を、動画データ中の当該表示位置情報が示す位置に合成して表示させてよい。   When the character data received by the character data receiving unit 206 includes a character image, the display control unit 208 may display the character image together with the moving image data. The display control unit 208 may display the character image included in the character data together with the moving image data according to the display time information included in the character data. When the display position information is further included in the character data, the display control unit 208 may synthesize and display the character image at the position indicated by the display position information in the moving image data.

図5は、動画送信装置100による処理の流れの一例を概略的に示す。ここでは、動画送信装置100が、通信端末200からの動画コンテンツの送信要求に応じて、動画セットのうち、画質が最も高い動画データ以外の動画データを通信端末200に配信する処理の一例を示す。図5に示す各処理は、動画送信装置100が備える制御部が主体となって実行される。   FIG. 5 schematically shows an example of the flow of processing by the moving picture transmitting apparatus 100. Here, an example of processing in which the moving image transmission apparatus 100 distributes moving image data other than moving image data having the highest image quality in the moving image set to the communication terminal 200 in response to a moving image content transmission request from the communication terminal 200 is shown. . Each process illustrated in FIG. 5 is executed mainly by a control unit included in the moving image transmission apparatus 100.

ステップ(ステップをSと省略して記載する場合がある。)402では、要求受信部112が、要求送信部202から動画コンテンツの送信要求を受信する。S404では、動画データ格納部106が、通信端末200に送信する動画データを決定する。S406では、動画データ送信部116が、S404において決定された動画データを通信端末200に送信する。   In step 402 (step may be abbreviated as S) 402, the request reception unit 112 receives a transmission request for moving image content from the request transmission unit 202. In S <b> 404, the moving image data storage unit 106 determines moving image data to be transmitted to the communication terminal 200. In S406, the moving image data transmission unit 116 transmits the moving image data determined in S404 to the communication terminal 200.

S408では、文字データ格納部111が、S404において決定した送信する動画データについて、文字データの送信フラグがあるか否かをを判定する。文字データ格納部111は、送信する動画データに対応する文字データに、当該動画データについて文字データを送信することを示すフラグが対応付けられているか否かを判定してよい。送信フラグ有りと判定された場合、S410に進み、送信フラグ無しと判定された場合、処理を終了する。   In step S408, the character data storage unit 111 determines whether there is a character data transmission flag for the moving image data to be transmitted determined in step S404. The character data storage unit 111 may determine whether the character data corresponding to the moving image data to be transmitted is associated with a flag indicating that character data is transmitted for the moving image data. If it is determined that there is a transmission flag, the process proceeds to S410. If it is determined that there is no transmission flag, the process ends.

S410では、S404において決定された動画データに対応する文字データを、文字データ送信部120が通信端末200に送信する。そして、処理を終了する。   In S410, the character data transmission unit 120 transmits the character data corresponding to the moving image data determined in S404 to the communication terminal 200. Then, the process ends.

図6は、通信端末200による処理の流れの一例を概略的に示す。ここでは、通信端末200が、動画送信装置100から動画データ及び文字データを受信して、当該動画データを表示する処理の一例を示す。図6に示す各処理は、通信端末200が備える制御部が主体となって実行される。   FIG. 6 schematically shows an example of the flow of processing by the communication terminal 200. Here, an example of processing in which the communication terminal 200 receives moving image data and character data from the moving image transmission apparatus 100 and displays the moving image data is shown. Each process illustrated in FIG. 6 is executed mainly by a control unit included in the communication terminal 200.

S502では、動画データ受信部204が、動画データ送信部116によって送信された動画データを受信する。S504では、文字データ受信部206が、文字データ送信部120によって送信された文字データを受信する。   In S <b> 502, the moving image data receiving unit 204 receives the moving image data transmitted by the moving image data transmitting unit 116. In S504, the character data receiving unit 206 receives the character data transmitted by the character data transmitting unit 120.

S506では、表示制御部208が、S504において文字データ受信部206が受信した文字データが示す文字を、S502において動画データ受信部204が受信した動画データとともに表示させる。そして、処理を終了する。   In S506, the display control unit 208 displays the characters indicated by the character data received by the character data receiving unit 206 in S504 together with the moving image data received by the moving image data receiving unit 204 in S502. Then, the process ends.

以上、従来では段落[0010]で述べた通り、動画に含まれる文字が読みにくくなるという課題があった。本実施形態では、図4に示した動画配信システム10が図5、図6に示した処理を行うことにより、動画データの送信時に、対応する文字データを送信することで上記の課題を解決する。一般的に文字データは、動画データと比較して非常にデータ量が少ないため、送信データ量をほとんど増やすことなく、動画配信において、動画に含まれる文字を見やすくすることができる。   As described above, as described in paragraph [0010], there has been a problem that characters included in a moving image are difficult to read. In the present embodiment, the moving image distribution system 10 shown in FIG. 4 performs the processing shown in FIGS. 5 and 6 to solve the above-mentioned problem by transmitting the corresponding character data when transmitting the moving image data. . In general, character data has a very small amount of data compared to moving image data. Therefore, characters included in a moving image can be easily seen in moving image distribution without increasing the amount of transmission data.

通信端末200は、受信した動画の画質を判定する画質判定部210をさらに備えてよい。図7は、画質判定部210を備える通信端末200を有する動画配信システム10の機能構成の一例である。画質判定部210は、動画データ受信部204が受信した動画データの画質を判定する。画質判定部210は、動画データ毎に画質を判定してよい。また、画質判定部210は、動画データを構成するフレーム毎に画質を判定してもよい。   The communication terminal 200 may further include an image quality determination unit 210 that determines the image quality of the received moving image. FIG. 7 is an example of a functional configuration of the moving image distribution system 10 having the communication terminal 200 including the image quality determination unit 210. The image quality determination unit 210 determines the image quality of the moving image data received by the moving image data reception unit 204. The image quality determination unit 210 may determine the image quality for each moving image data. Further, the image quality determination unit 210 may determine the image quality for each frame constituting the moving image data.

図8は、通信端末200による処理の流れの一例を概略的に示す。ここでは、通信端末200が、動画送信装置100から動画データ及び文字データを受信して、当該動画データを表示する処理の一例を示す。図8に示す各処理は、通信端末200が備える制御部が主体となって実行される。   FIG. 8 schematically shows an example of the flow of processing by the communication terminal 200. Here, an example of processing in which the communication terminal 200 receives moving image data and character data from the moving image transmission apparatus 100 and displays the moving image data is shown. Each process illustrated in FIG. 8 is executed mainly by a control unit included in the communication terminal 200.

S602では、動画データ受信部204が、動画データ送信部116によって送信された動画データを受信する。S604では、文字データ受信部206が、文字データ送信部120によって送信された文字データを受信する。   In S <b> 602, the moving image data receiving unit 204 receives the moving image data transmitted by the moving image data transmitting unit 116. In step S <b> 604, the character data receiving unit 206 receives the character data transmitted by the character data transmitting unit 120.

S606では、画質判定部210が、S602において動画データ受信部204が受信した動画データの画質が、予め定められた閾値より低いか否かを判定する。予め定められた閾値より低いと判定された場合、S608に進み、低くないと判定された場合、S610に進む。   In S606, the image quality determination unit 210 determines whether the image quality of the moving image data received by the moving image data reception unit 204 in S602 is lower than a predetermined threshold. If it is determined that the value is lower than the predetermined threshold value, the process proceeds to S608. If it is determined that the value is not lower, the process proceeds to S610.

S608では、表示制御部208が、S604において文字データ受信部206が受信した文字データが示す文字を、S602において動画データ受信部204が受信した動画データとともに表示させる。S610では、表示制御部208が、S602において動画データ受信部204が受信した動画データを表示させる。そして、処理を終了する。   In S608, the display control unit 208 displays the characters indicated by the character data received by the character data receiving unit 206 in S604 together with the moving image data received by the moving image data receiving unit 204 in S602. In S610, the display control unit 208 displays the moving image data received by the moving image data receiving unit 204 in S602. Then, the process ends.

表示制御部208は、画質判定部210によって判定された画質に基づいて、文字データ受信部206が受信した文字データを、動画データ受信部204が受信した動画データとともに表示するか否かを決定してよい。例えば、表示制御部208は、画質判定部210によって判定された画質が予め定められた閾値より低い場合、文字データを表示すると判定し、予め定められた閾値より高い場合、文字データを表示しないと判定する。   Based on the image quality determined by the image quality determination unit 210, the display control unit 208 determines whether to display the character data received by the character data reception unit 206 together with the moving image data received by the moving image data reception unit 204. It's okay. For example, the display control unit 208 determines to display character data when the image quality determined by the image quality determination unit 210 is lower than a predetermined threshold, and does not display character data when the image quality is higher than a predetermined threshold. judge.

表示制御部208は、例えば、画質判定部210によって判定された動画データの解像度が予め予め定められた閾値より低い場合、文字データを表示すると判定し、予め定められた閾値より高い場合、文字データを表示しないと判定してよい。   For example, when the resolution of the moving image data determined by the image quality determination unit 210 is lower than a predetermined threshold, the display control unit 208 determines to display character data. When the resolution is higher than the predetermined threshold, the character data May be determined not to be displayed.

予め定められた閾値は、例えば、通信端末200を使用する使用者等によって決定されてよい。使用者は、例えば、ある動画データの解像度を様々に変化させた複数の動画データを閲覧し、どの程度の解像度であれば文字を判読できるかを確認することによって、閾値を決定する。また、使用者は、文字の大きさごとに解像度の閾値を決定してもよい。そして、表示制御部208は、動画データ受信部204が受信した動画データのフレームに含まれる文字の大きさに対応する閾値を読み出して、動画データ受信部204が受信した動画データの解像度が当該閾値より低い場合、文字データを送信すると判定し、当該閾値より高い場合、文字データを送信しないと判定してよい。   The predetermined threshold value may be determined by a user who uses the communication terminal 200, for example. The user determines the threshold value by, for example, viewing a plurality of moving image data in which the resolution of certain moving image data is changed, and confirming at what resolution the characters can be read. In addition, the user may determine a resolution threshold for each character size. Then, the display control unit 208 reads a threshold value corresponding to the character size included in the frame of the moving image data received by the moving image data receiving unit 204, and the resolution of the moving image data received by the moving image data receiving unit 204 is the threshold value. If lower, character data may be determined to be transmitted, and if higher than the threshold, character data may not be transmitted.

表示制御部208は、例えば、画質判定部210によって判定された動画データのビットレートが予め定められた閾値より低い場合、文字データを表示すると判定し、予め定められた閾値より高い場合、文字データを表示しないと判定してよい。   For example, if the bit rate of the moving image data determined by the image quality determination unit 210 is lower than a predetermined threshold, the display control unit 208 determines to display character data. If the bit rate is higher than the predetermined threshold, the character data May be determined not to be displayed.

予め定められた閾値は、例えば、通信端末200を使用する使用者等によって決定されてよい。使用者は、例えば、ある動画データのビットレートを様々に変化させた複数の動画データを閲覧し、どの程度の解像度であれば文字を判読できるかを確認することによって、閾値を決定する。また、使用者は、文字の大きさごとにビットレートの閾値を決定してもよい。そして、表示制御部208は、動画データ受信部204が受信した動画データのフレームに含まれる文字の大きさに対応する閾値を読み出して、動画データ受信部204が受信した動画データのビットレートが当該閾値より低い場合、文字データを送信すると判定し、当該閾値より高い場合、文字データを送信しないと判定してよい。   The predetermined threshold value may be determined by a user who uses the communication terminal 200, for example. The user determines the threshold value by, for example, viewing a plurality of moving image data in which the bit rate of certain moving image data is variously changed and confirming how much resolution the character can be read. The user may determine a bit rate threshold value for each character size. Then, the display control unit 208 reads a threshold value corresponding to the character size included in the frame of the moving image data received by the moving image data receiving unit 204, and the bit rate of the moving image data received by the moving image data receiving unit 204 is When it is lower than the threshold value, it may be determined that character data is transmitted, and when it is higher than the threshold value, it may be determined that character data is not transmitted.

動画送信装置100は、上述したように、送信する動画データについて、文字データを送信することを示すフラグが文字データに対応付けられている場合に、文字データを通信端末200に送信してよいが、これに限らず、通信端末200に動画データを送信する場合には、常時、当該動画データに対応する文字データを送信するようにしてもよい。例えば、動画送信装置100は、階層符号化方式によって複数の画質のデータを含むように符号化された動画データを通信端末200に送信する場合に、動画データの全てのレイヤのデータを送信しつつ、文字データも送信する。動画送信装置100が動画データの全てのレイヤのデータを送信したとしても、通信端末200がそのすべてを適切に受信できるとは限らず、通信端末200が再生できる動画の画質が低下する場合がある。本実施形態に係る動画配信システム10では、画質判定部210が、動画データ受信部204が受信した、再生対象となる動画データの画質が予め定められた閾値より低いか否かを判定し、表示制御部208が、画質判定部210によって低いと判定された場合に、文字データ受信部206が受信した文字データを動画データとともに表示させ、低くないと判定された場合に、文字データ受信部206が受信した文字データは表示させずに、動画データを表示させてよい。   As described above, the moving image transmission apparatus 100 may transmit character data to the communication terminal 200 when the flag indicating that character data is transmitted is associated with the character data for the moving image data to be transmitted. Not limited to this, when moving image data is transmitted to the communication terminal 200, character data corresponding to the moving image data may be transmitted at all times. For example, the moving image transmitting apparatus 100 transmits data of all layers of moving image data when transmitting moving image data encoded to include a plurality of pieces of image quality data by the hierarchical encoding method to the communication terminal 200. Also send character data. Even if the video transmission device 100 transmits data of all layers of the video data, the communication terminal 200 may not receive all of the data properly, and the image quality of the video that can be played back by the communication terminal 200 may deteriorate. . In the moving image distribution system 10 according to the present embodiment, the image quality determination unit 210 determines whether or not the image quality of the moving image data to be reproduced received by the moving image data reception unit 204 is lower than a predetermined threshold, and displays When the control unit 208 determines that the image quality determination unit 210 is low, the character data reception unit 206 displays the character data received together with the moving image data, and when it is determined that the control unit 208 is not low, the character data reception unit 206 The moving image data may be displayed without displaying the received character data.

通信端末200は、文字データ受信部206が受信した文字データが示す文字の表示方法を設定する表示設定部212をさらに備えてよい。図9は表示設定部212を備える通信端末200の一例である。表示設定部212は、表示制御部208に受信した文字データが示す文字の表示方法を指示することで文字の表示方法を設定する。例えば、表示設定部212は、文字データがテキストデータを含む場合において、テキストデータが示す文字の表示位置を設定する。表示設定部212は、テキストデータが示す文字を、動画データにおける、表示位置情報が示す位置に合成して表示させるか、テキストデータが示す文字を、動画データに隣接する文字ウィンドウに表示させるかを設定する。表示制御部208は、表示設定部212による指示に従って、テキストデータが示す文字を動画データとともに表示させてよい。   The communication terminal 200 may further include a display setting unit 212 that sets a display method of characters indicated by the character data received by the character data receiving unit 206. FIG. 9 is an example of a communication terminal 200 that includes a display setting unit 212. The display setting unit 212 sets the character display method by instructing the display control unit 208 to display the character indicated by the received character data. For example, when the character data includes text data, the display setting unit 212 sets the display position of the character indicated by the text data. The display setting unit 212 synthesizes and displays the character indicated by the text data at the position indicated by the display position information in the moving image data, or displays the character indicated by the text data in the character window adjacent to the moving image data. Set. The display control unit 208 may display the characters indicated by the text data together with the moving image data in accordance with an instruction from the display setting unit 212.

表示設定部212は、テキストデータが示す文字を動画データにおける表示位置情報が示す位置に合成して表示させる場合に、文字のみを合成するか、予め定められたオブジェクト上に配置した文字を合成するかを設定してもよい。予め定められたオブジェクトは、当該オブジェクト上に配置した文字を見やすくすることができれば、どのようなオブジェクトであってもよい。例えば、予め定められたオブジェクトは、任意の形状の無地のオブジェクトである。当該任意の形状は、例えば矩形であってよい。当該無地のオブジェクトの色は任意の色であってよく、例えば、白地のオブジェクトである。当該オブジェクト上に配置したテキストデータが示す文字を、動画データにおける表示位置情報が示す位置に合成して表示させることによって、文字を見やすくすることができる。   When the character indicated by the text data is displayed at the position indicated by the display position information in the moving image data, the display setting unit 212 synthesizes only the character or synthesizes the character arranged on the predetermined object. May be set. The predetermined object may be any object as long as the characters placed on the object can be easily seen. For example, the predetermined object is a solid object having an arbitrary shape. The arbitrary shape may be a rectangle, for example. The color of the plain object may be any color, for example, a white object. By combining and displaying the character indicated by the text data arranged on the object at the position indicated by the display position information in the moving image data, the character can be easily seen.

表示設定部212は、文字データ受信部206が受信した文字データに、テキストデータ及びテキストデータの種別が含まれている場合、テキストデータの種別毎に、表示するか否かを設定してもよい。例えば、表示設定部212は、種別が字幕であるテキストデータは表示させ、種別が背景であるテキストデータは表示させないように設定可能である。   When the character data received by the character data receiving unit 206 includes text data and the type of text data, the display setting unit 212 may set whether to display for each type of text data. . For example, the display setting unit 212 can be set to display text data whose type is caption and not to display text data whose type is background.

表示設定部212は、文字データ受信部206が受信した文字データに、テキストデータ及びテキストデータの優先度が含まれている場合、テキストデータの優先度に基づいて、テキストデータを表示するか否かを設定してもよい。例えば、表示設定部212は、優先度が高いテキストデータを表示させ、優先度が低いテキストデータを表示させないように設定可能である。   If the text data received by the text data receiving unit 206 includes text data and text data priority, the display setting unit 212 determines whether to display the text data based on the text data priority. May be set. For example, the display setting unit 212 can be set so that text data with a high priority is displayed and text data with a low priority is not displayed.

また、例えば、文字データが文字画像を含む場合において、表示設定部212は、文字画像の表示位置を設定する。表示設定部212は、文字画像を、動画データにおける表示位置情報が示す位置に合成して表示させるか、文字ウィンドウに表示させるかを設定してよい。表示制御部208は、表示設定部212による設定に従って、文字画像を動画データとともに表示させてよい。   For example, when the character data includes a character image, the display setting unit 212 sets the display position of the character image. The display setting unit 212 may set whether to display the character image by combining it with the position indicated by the display position information in the moving image data or displaying it on the character window. The display control unit 208 may display the character image together with the moving image data according to the setting by the display setting unit 212.

動画送信装置100は、文字データ送信判定部118をさらに備えてよい。図10は文字データ送信判定部118を備える動画送信装置100を有する動画配信システム10の機能構成の一例である。図10に示す動画配信システム10において、要求送信部202は、動画コンテンツの送信要求を動画送信装置100に送信してよく、また、文字データの送信要否を含む動画コンテンツの送信要求を動画送信装置100に送信してもよい。要求送信部202は、例えば、通信端末200の使用者の指示に従って、文字データの送信要否を含む動画コンテンツの送信要求を動画送信装置100に送信する。   The moving picture transmission apparatus 100 may further include a character data transmission determination unit 118. FIG. 10 is an example of a functional configuration of the moving image distribution system 10 having the moving image transmission apparatus 100 including the character data transmission determination unit 118. In the moving image distribution system 10 shown in FIG. 10, the request transmission unit 202 may transmit a moving image content transmission request to the moving image transmission device 100, and transmits a moving image content transmission request including whether or not to transmit character data. You may transmit to the apparatus 100. For example, the request transmission unit 202 transmits a video content transmission request including whether or not to transmit character data to the video transmission device 100 in accordance with an instruction from the user of the communication terminal 200.

文字データ送信判定部118は、要求受信部112が受信した動画コンテンツの送信要求に文字データの送信要否が含まれている場合に、当該送信要否に基づいて、文字データを送信するか否かを判定する。   The character data transmission determination unit 118 determines whether or not to transmit the character data based on the necessity of transmission when the transmission request of the moving image content received by the request reception unit 112 includes the necessity of transmission of the character data. Determine whether.

例えば、文字データ送信判定部118は、動画コンテンツの送信要求に、文字データの送信否を示す情報が含まれる場合、文字データを送信しないことを指示する情報を文字データ格納部111に渡す。文字データ格納部111は、文字データを送信しないことを指示する情報を文字データ送信判定部118から受け取った場合、文字データ送信部120に文字データを渡さない。   For example, when the video content transmission request includes information indicating whether or not to transmit character data, the character data transmission determination unit 118 passes information indicating that character data is not transmitted to the character data storage unit 111. When the character data storage unit 111 receives information for instructing not to transmit character data from the character data transmission determination unit 118, the character data storage unit 111 does not pass the character data to the character data transmission unit 120.

また、例えば、文字データ送信判定部118は、動画コンテンツの送信要求に、文字データの送信要を示す情報が含まれる場合、文字データを送信することを指示する情報を文字データ格納部111に渡す。文字データ格納部111は、文字データを送信することを指示する情報を文字データ送信判定部118から受け取った場合、動画データ送信部116が送信する動画データに対応する文字データに、当該動画データを送信することを示すフラグが付与されている場合、当該文字データを文字データ送信部120に渡し、当該文字データに、当該動画データを送信することを示すフラグが付与されていない場合、文字データ送信部120に文字データを渡さない。   In addition, for example, when the video content transmission request includes information indicating that character data needs to be transmitted, the character data transmission determination unit 118 passes information indicating that character data is to be transmitted to the character data storage unit 111. . When the character data storage unit 111 receives information instructing to transmit the character data from the character data transmission determination unit 118, the character data storage unit 111 adds the moving image data to the character data corresponding to the moving image data transmitted by the moving image data transmission unit 116. When the flag indicating transmission is given, the character data is transferred to the character data transmission unit 120, and when the flag indicating transmission of the video data is not added to the character data, the character data transmission is performed. Character data is not passed to the section 120.

図11は、通信端末200による動画表示例300を概略的に示す。動画表示例300は、通信端末200が、動画セットに含まれる動画データのうち、最も画質が高い動画データを動画送信装置100から受信して、表示した例を示す。字幕領域302は、字幕を表示する領域である。背景文字領域304は、背景文字を表示する領域である。   FIG. 11 schematically shows a moving image display example 300 by the communication terminal 200. The moving image display example 300 shows an example in which the communication terminal 200 receives and displays moving image data having the highest image quality from moving image data included in the moving image set from the moving image transmitting apparatus 100. The caption area 302 is an area for displaying captions. The background character area 304 is an area for displaying a background character.

図12は、通信端末200による動画表示例310を概略的に示す。動画表示例310は、通信端末200が、動画セットに含まれる動画データのうち、最も画質が高い動画データ以外の動画データを動画送信装置100から受信し、文字データは表示せずに、動画データを表示した例を示す。動画表示例310においては、字幕領域302及び背景文字領域304に示すように、動画データに含まれる文字が判読できない又は判読しにくい状態になっている。   FIG. 12 schematically shows a moving image display example 310 by the communication terminal 200. In the moving image display example 310, the communication terminal 200 receives moving image data other than the moving image data having the highest image quality from moving image data included in the moving image set from the moving image transmitting apparatus 100, and displays moving image data without displaying character data. An example of displaying is shown. In the moving image display example 310, as shown in the subtitle area 302 and the background character area 304, the characters included in the moving image data are not readable or difficult to read.

図13は、通信端末200による動画表示例320を概略的に示す。動画表示例320は、通信端末200が、動画セットに含まれる動画データのうち最も画質が高い動画データ以外の動画データと、字幕領域302の文字に対応するテキストデータ及び表示位置情報を含む文字データとを受信した場合の表示例を示す。   FIG. 13 schematically shows a moving image display example 320 by the communication terminal 200. In the moving image display example 320, the communication terminal 200 includes moving image data other than moving image data with the highest image quality among moving image data included in the moving image set, text data corresponding to characters in the subtitle area 302, and character data including display position information. A display example in the case of receiving and is shown.

表示制御部208は、動画表示例320に示すように、文字データに含まれるテキストデータが示す文字326を、表示位置情報が示す位置に合成して表示させてよい。表示制御部208は、受信した文字データに、背景文字領域304の文字に対応するテキストデータ及び表示位置情報が含まれている場合には、当該文字を表示位置情報が示す位置に合成して表示してもよい。   As shown in the moving image display example 320, the display control unit 208 may synthesize and display the character 326 indicated by the text data included in the character data at the position indicated by the display position information. If the received character data includes text data and display position information corresponding to the characters in the background character area 304, the display control unit 208 combines the characters with the positions indicated by the display position information and displays them. May be.

図14は、通信端末200による動画表示例330を概略的に示す。動画表示例330は、通信端末200が、動画セットに含まれる動画データのうち最も画質が高い動画データ以外の動画データと、字幕領域302の文字に対応するテキストデータ及び表示位置情報とを受信した場合の表示例を示す。   FIG. 14 schematically shows a moving image display example 330 by the communication terminal 200. In the moving image display example 330, the communication terminal 200 receives moving image data other than moving image data having the highest image quality among moving image data included in the moving image set, and text data and display position information corresponding to characters in the caption area 302. A display example is shown.

表示制御部208は、動画表示例330に示すように、文字データに含まれるテキストデータが示す文字を白地の矩形336上に配置して、表示位置情報が示す位置に合成して表示させてよい。表示制御部208は、受信した文字データに、背景文字領域304の文字に対応するテキストデータ及び表示位置情報が含まれている場合には、当該文字を白地の矩形上に配置して、表示位置情報が示す位置に合成して表示してよい。   As shown in the moving image display example 330, the display control unit 208 may arrange the characters indicated by the text data included in the character data on the white rectangle 336 and synthesize the characters at the position indicated by the display position information. . If the received character data includes text data and display position information corresponding to the characters in the background character area 304, the display control unit 208 arranges the characters on a white rectangle and displays the display position. You may synthesize | combine and display on the position which information shows.

なお、表示制御部208は、文字データに含まれるテキストデータが示す文字を、白以外の色の矩形上に配置して表示させてもよい。また、表示制御部208は、文字データに含まれるテキストデータが示す文字を、矩形以外の形状のオブジェクトの上に配置して表示させてもよい。   Note that the display control unit 208 may display the characters indicated by the text data included in the character data by arranging them on a color rectangle other than white. Further, the display control unit 208 may display the character indicated by the text data included in the character data by arranging it on an object having a shape other than a rectangle.

図15は、通信端末200による動画表示例340を概略的に示す。動画表示例340は、通信端末200が、動画セットに含まれる動画データのうち最も画質が高い動画データ以外の動画データと、字幕領域302の文字に対応するテキストデータとを受信した場合の表示例を示す。表示制御部208は、動画表示例340に示すように、文字データに含まれるテキストデータが示す文字346を、文字ウィンドウ350に表示させてよい。   FIG. 15 schematically shows a moving image display example 340 by the communication terminal 200. The moving image display example 340 is a display example when the communication terminal 200 receives moving image data other than moving image data having the highest image quality among moving image data included in the moving image set and text data corresponding to characters in the caption area 302. Indicates. The display control unit 208 may cause the character window 350 to display the character 346 indicated by the text data included in the character data, as shown in the moving image display example 340.

図16は、文字データ生成部110によって生成された文字データテーブル400の一例を概略的に示す。文字データテーブル400は、フレーム毎の文字データを含む。なお、文字データ生成部110が生成する文字データのデータ形式は、テーブル形式でなくてもよい。   FIG. 16 schematically shows an example of the character data table 400 generated by the character data generation unit 110. The character data table 400 includes character data for each frame. The data format of the character data generated by the character data generation unit 110 may not be a table format.

文字データテーブル400は、フレーム番号欄401、テキスト欄402、種別欄404、文字色欄406、サイズ欄408、字体欄410、及び表示位置欄412を含む。フレーム番号欄は、フレーム番号を含む。テキスト欄402は、テキストデータを含む。種別欄404は、テキストデータの種別を含む。   The character data table 400 includes a frame number field 401, a text field 402, a type field 404, a character color field 406, a size field 408, a font field 410, and a display position field 412. The frame number column includes a frame number. The text column 402 includes text data. The type column 404 includes the type of text data.

文字色欄406は、文字色を含む。ここでは、文字色を色の名前で示す例を挙げているが、これに限らず、色を表現できれば任意の形式であってよい。例えば、RGB値であってもよい。サイズ欄408は、文字サイズを含む。字体欄410は、字体を含む。表示位置欄412は、表示位置情報を含む。表示位置情報は、座標情報を含んでよい。   The character color column 406 includes a character color. Here, an example is shown in which the character color is indicated by the name of the color. For example, it may be an RGB value. The size column 408 includes a character size. The font field 410 includes a font. The display position column 412 includes display position information. The display position information may include coordinate information.

また、動画送信装置100は、他の装置から受信した動画データを格納して、通信端末200に送信してよい。図17は他の装置から受信した動画を配信する動画配信システム10の一例である。例えば、動画送信装置100は、動画サーバ30が配信する動画データを受信して、当該動画データを通信端末200に送信する。動画送信装置100は、動画サーバ30から受信した動画データをエンコードして通信端末200に送信してもよい。また、動画送信装置100は、他の装置によってエンコードされた動画データを受信して、当該動画データを通信端末200に送信してもよい。動画送信装置100は、動画送信装置100において生成された動画データを通信端末200に送信してもよい。また、動画送信装置100は、動画送信装置100において生成された動画データをエンコードして通信端末200に送信してもよい。   In addition, the moving image transmission device 100 may store moving image data received from another device and transmit it to the communication terminal 200. FIG. 17 is an example of a moving image distribution system 10 that distributes moving images received from other devices. For example, the video transmission device 100 receives video data distributed by the video server 30 and transmits the video data to the communication terminal 200. The moving picture transmitting apparatus 100 may encode the moving picture data received from the moving picture server 30 and transmit it to the communication terminal 200. In addition, the moving image transmitting apparatus 100 may receive moving image data encoded by another device and transmit the moving image data to the communication terminal 200. The video transmission device 100 may transmit the video data generated in the video transmission device 100 to the communication terminal 200. Further, the moving picture transmission device 100 may encode the moving picture data generated by the moving picture transmission device 100 and transmit the encoded data to the communication terminal 200.

図18は、動画配信システム10の機能構成の一例を概略的に示す。動画送信装置100は、段落[0034]で図4を用いて説明した動画送信装置100の構成に、外部からの動画データを受信し、受信した動画データをエンコードして生成した動画データを動画データ格納部106に格納するエンコード部122をさらに備える。   FIG. 18 schematically illustrates an example of a functional configuration of the moving image distribution system 10. The moving image transmitting apparatus 100 receives moving image data from the outside in the configuration of the moving image transmitting apparatus 100 described in FIG. 4 in paragraph [0034], encodes the received moving image data, and generates moving image data as moving image data. The encoding unit 122 further stores in the storage unit 106.

エンコード部122は、他の装置から取得した動画データを任意のパラメータ設定でエンコードして動画セットを生成する。また、エンコード部122は、他の装置から動画セットを取得した場合、任意のパラメータでエンコードして新しく動画セットを生成してもよい。エンコード部122は、生成した動画セットを動画データ格納部106に格納する。   The encoding unit 122 encodes moving image data acquired from another device with arbitrary parameter settings to generate a moving image set. In addition, when the moving image set is acquired from another device, the encoding unit 122 may generate a new moving image set by encoding with an arbitrary parameter. The encoding unit 122 stores the generated moving image set in the moving image data storage unit 106.

文字データ生成部110は動画データ格納部106に格納された動画セットのうち、画質が最も高い動画データから文字情報を抽出し、抽出した文字情報を基に文字データを生成し、文字情報を抽出した動画セットと対応つけて文字データ格納部111に格納する。   The character data generation unit 110 extracts character information from the moving image data having the highest image quality from the moving image set stored in the moving image data storage unit 106, generates character data based on the extracted character information, and extracts the character information. The character set is stored in the character data storage unit 111 in association with the moving image set.

動画送信装置100は、通信端末200から受信した動画データの配信要求に応じて、他の装置から受信した動画データをエンコードして生成した動画セットに含まれる何れかの動画データと、当該動画セットに対応する文字データとを通信端末200へ送信する。   In response to a video data distribution request received from the communication terminal 200, the video transmission device 100 encodes any video data included in a video set generated by encoding video data received from another device, and the video set. Is transmitted to the communication terminal 200.

図19は、動画送信装置100として機能するコンピュータ900のハードウエア構成の一例を示す。本実施形態に係るコンピュータ900は、ホストコントローラ1082により相互に接続されるCPU1000、RAM1020、及びグラフィックコントローラ1075を有するCPU周辺部と、入出力コントローラ1084によりホストコントローラ1082に接続される通信I/F1030、ハードディスクドライブ1040、及びDVDドライブ1060を有する入出力部と、入出力コントローラ1084に接続されるROM1010、FDドライブ1050、及び入出力チップ1070を有するレガシー入出力部とを備える。   FIG. 19 shows an example of the hardware configuration of a computer 900 that functions as the moving picture transmitting apparatus 100. The computer 900 according to this embodiment includes a CPU peripheral unit including a CPU 1000, a RAM 1020, and a graphic controller 1075 connected to each other by a host controller 1082, and a communication I / F 1030 connected to the host controller 1082 by an input / output controller 1084. An input / output unit including a hard disk drive 1040 and a DVD drive 1060, and a legacy input / output unit including a ROM 1010, an FD drive 1050, and an input / output chip 1070 connected to the input / output controller 1084 are provided.

CPU1000は、ROM1010及びRAM1020に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィックコントローラ1075は、CPU1000などがRAM1020内に設けたフレーム・バッファ上に生成する画像データを取得し、ディスプレイ1080上に表示させる。これに代えて、グラフィックコントローラ1075は、CPU1000などが生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。   The CPU 1000 operates based on programs stored in the ROM 1010 and the RAM 1020, and controls each unit. The graphic controller 1075 acquires image data generated by the CPU 1000 or the like on a frame buffer provided in the RAM 1020 and displays the image data on the display 1080. Alternatively, the graphic controller 1075 may include a frame buffer that stores image data generated by the CPU 1000 or the like.

通信I/F1030は、有線又は無線によりネットワークを介して他の装置と通信する。また、通信I/F1030は、通信を行うハードウエアとして機能する。ハードディスクドライブ1040は、CPU1000が使用するプログラム及びデータを格納する。DVDドライブ1060は、DVD−ROM1095からプログラム又はデータを読み取り、RAM1020を介してハードディスクドライブ1040に提供する。   The communication I / F 1030 communicates with other devices via a network by wire or wireless. The communication I / F 1030 functions as hardware that performs communication. The hard disk drive 1040 stores programs and data used by the CPU 1000. The DVD drive 1060 reads a program or data from the DVD-ROM 1095 and provides it to the hard disk drive 1040 via the RAM 1020.

ROM1010は、コンピュータ900が起動時に実行するブート・プログラム、及びコンピュータ900のハードウエアに依存するプログラムなどを格納する。FDドライブ1050は、フレキシブルディスク1090からプログラム又はデータを読み取り、RAM1020を介してハードディスクドライブ1040に提供する。入出力チップ1070は、FDドライブ1050を入出力コントローラ1084へと接続するとともに、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポートなどを介して各種の入出力装置を入出力コントローラ1084へと接続する。   The ROM 1010 stores a boot program that the computer 900 executes at startup, a program that depends on the hardware of the computer 900, and the like. The FD drive 1050 reads a program or data from the flexible disk 1090 and provides it to the hard disk drive 1040 via the RAM 1020. The input / output chip 1070 connects the FD drive 1050 to the input / output controller 1084, and connects various input / output devices to the input / output controller 1084 via, for example, a parallel port, a serial port, a keyboard port, and a mouse port. Connect to.

RAM1020を介してハードディスクドライブ1040に提供されるプログラムは、フレキシブルディスク1090、DVD−ROM1095、又はICカードなどの記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、RAM1020を介してハードディスクドライブ1040にインストールされ、CPU1000において実行される。   A program provided to the hard disk drive 1040 via the RAM 1020 is stored in a recording medium such as the flexible disk 1090, the DVD-ROM 1095, or an IC card and provided by the user. The program is read from the recording medium, installed in the hard disk drive 1040 via the RAM 1020, and executed by the CPU 1000.

コンピュータ900にインストールされ、コンピュータ900を動画送信装置100として機能させるプログラムは、CPU1000などに働きかけて、コンピュータ900を、動画送信装置100の各部としてそれぞれ機能させてよい。これらのプログラムに記述された情報処理は、コンピュータ900に読込まれることにより、ソフトウエアと上述した各種のハードウエア資源とが協働した具体的手段である動画データ格納部106、文字データ生成部110、文字データ格納部111、要求受信部112、動画データ送信部116、文字データ送信判定部118、文字データ送信部120、及びエンコード部122として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ900の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の動画送信装置100が構築される。   A program that is installed in the computer 900 and causes the computer 900 to function as the moving image transmission apparatus 100 may work on the CPU 1000 or the like to cause the computer 900 to function as each unit of the moving image transmission apparatus 100. The information processing described in these programs is read by the computer 900, whereby the moving image data storage unit 106, the character data generation unit, which are specific means in which the software and the various hardware resources described above cooperate. 110, a character data storage unit 111, a request reception unit 112, a moving image data transmission unit 116, a character data transmission determination unit 118, a character data transmission unit 120, and an encoding unit 122. And the specific moving image transmission apparatus 100 according to the use purpose is constructed | assembled by implement | achieving the calculation or processing of the information according to the use purpose of the computer 900 in this embodiment by these specific means.

以上の説明において、通信端末200の各部は、ハードウエアにより実現されてもよく、ソフトウエアにより実現されてもよい。また、ハードウエアとソフトウエアとの組み合わせにより実現されてもよい。また、プログラムが実行されることにより、コンピュータが、通信端末200として機能してもよい。プログラムは、コンピュータ読み取り可能な媒体又はネットワークに接続された記憶装置から、通信端末200の少なくとも一部を構成するコンピュータにインストールされてよい。   In the above description, each unit of the communication terminal 200 may be realized by hardware or may be realized by software. Further, it may be realized by a combination of hardware and software. Further, the computer may function as the communication terminal 200 by executing the program. The program may be installed in a computer constituting at least a part of the communication terminal 200 from a computer-readable medium or a storage device connected to a network.

コンピュータにインストールされ、コンピュータを本実施形態に係る通信端末200として機能させるプログラムは、CPU等に働きかけて、コンピュータを、通信端末200の各部としてそれぞれ機能させる。これらのプログラムに記述された情報処理は、コンピュータに読込まれることにより、ソフトウエアと通信端末200のハードウエア資源とが協働した具体的手段として機能する。   A program that is installed in a computer and causes the computer to function as the communication terminal 200 according to the present embodiment causes the CPU or the like to function as each unit of the communication terminal 200. Information processing described in these programs functions as a specific means in which software and hardware resources of the communication terminal 200 cooperate with each other by being read by a computer.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。   As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above embodiment. It is apparent from the description of the scope of claims that embodiments with such changes or improvements can be included in the technical scope of the present invention.

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。   The order of execution of each process such as operations, procedures, steps, and stages in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. It should be noted that it can be realized in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the description, and the drawings, even if it is described using “first”, “next”, etc. for convenience, it means that it is essential to carry out in this order. It is not a thing.

10 動画配信システム、20 ネットワーク、30 動画サーバ、40 動画配信システム、50 動画送信装置、51 要求受信部、53 動画データ格納部、54 動画データ送信部、55 動画データ、60 通信端末、61 要求送信部、62 動画データ受信部、70 動画配信システム、80 動画送信装置、81 要求受信部、83 動画データ格納部、84 動画データ送信部、85 高画質動画データ、86 低画質動画データ、90 通信端末、91 要求送信部、92 動画データ受信部、100 動画送信装置、106 動画データ格納部、110 文字データ生成部、111 文字データ格納部、112 要求受信部、116 動画データ送信部、118 文字データ送信判定部、120 文字データ送信部、122 エンコード部、200 通信端末、202 要求送信部、204 動画データ受信部、206 文字データ受信部、208 表示制御部、210 画質判定部、212 表示設定部、300 動画表示例、302 字幕領域、304 背景文字領域、310 動画表示例、320 動画表示例、326 文字、330 動画表示例、336 矩形、340 動画表示例、346 文字、350 文字ウィンドウ、400 文字データテーブル、401 フレーム番号欄、402 テキスト欄、404 種別欄、406 文字色欄、408 サイズ欄、410 字体欄、412 表示位置欄、900 コンピュータ、1000 CPU、1010 ROM、1020 RAM、1030 通信I/F、1040 ハードディスクドライブ、1050 FDドライブ、1060 DVDドライブ、1070 入出力チップ、1075 グラフィックコントローラ、1080 ディスプレイ、1082 ホストコントローラ、1084 入出力コントローラ、1090 フレキシブルディスク、1095 DVD−ROM 10 video distribution system, 20 network, 30 video server, 40 video distribution system, 50 video transmission device, 51 request reception unit, 53 video data storage unit, 54 video data transmission unit, 55 video data, 60 communication terminal, 61 request transmission 62, moving image data receiving unit, 70 moving image distribution system, 80 moving image transmission apparatus, 81 request receiving unit, 83 moving image data storage unit, 84 moving image data transmitting unit, 85 high quality moving image data, 86 low quality moving image data, 90 communication terminal 91 request transmission unit, 92 video data reception unit, 100 video transmission device, 106 video data storage unit, 110 character data generation unit, 111 character data storage unit, 112 request reception unit, 116 video data transmission unit, 118 character data transmission Judgment unit, 120 character data transmission unit, 122 encoding unit 200 communication terminal, 202 request transmission unit, 204 moving image data receiving unit, 206 character data receiving unit, 208 display control unit, 210 image quality determination unit, 212 display setting unit, 300 moving image display example, 302 subtitle area, 304 background character area, 310 movie display example, 320 movie display example, 326 characters, 330 movie display example, 336 rectangle, 340 movie display example, 346 characters, 350 character window, 400 character data table, 401 frame number column, 402 text column, 404 type column , 406 Character color field, 408 Size field, 410 Font field, 412 Display position field, 900 Computer, 1000 CPU, 1010 ROM, 1020 RAM, 1030 Communication I / F, 1040 Hard disk drive, 1050 FD drive, 960 DVD Live, 1070 output chip 1075 graphic controller 1080 display, 1082 host controller, 1084 input-output controller, 1090 a flexible disk, 1095 DVD-ROM

Claims (20)

複数の動画データを含む動画コンテンツと前記動画コンテンツに対応する文字データとを配信する動画送信装置と、
前記動画コンテンツと前記文字データとを受信して表示する通信端末と
を備える動画配信システムであって、
前記動画送信装置は、
前記動画コンテンツに含まれる第1動画データ、及び前記第1動画データより画質が低い前記動画コンテンツの第2動画データを格納する動画データ格納部と、
前記第1動画データから文字情報を抽出し、前記文字情報に基づく文字データを生成する文字データ生成部と、
前記文字データと、前記文字情報を抽出した前記第1動画データ又は前記第2動画データとを対応付けて格納する文字データ格納部であって、前記第1動画データ及び前記第2動画データを含む前記動画コンテンツに含まれる複数の動画データのそれぞれについて、動画データのフレームに含まれる文字の大きさに対応する閾値を読み出して、解像度が前記閾値より低い動画データに、文字データを送信することを示すフラグを対応付け、解像度が前記閾値より高い動画データに、文字データ送信しないことを示すフラグを対応付ける、文字データ格納部と、
前記通信端末からの要求に応答して、前記第1動画データ又は前記第2動画データを前記通信端末に送信する動画データ送信部と、
前記第2動画データを前記通信端末に送信する場合に、前記第2動画データに前記文字データを送信することを示す前記フラグが対応付けられている場合、前記第2動画データ又は前記第1動画データに対応付けて格納された前記文字データを前記通信端末に送信し、前記文字データを送信しないことを示す前記フラグが対応付けられている場合、前記文字データを送信しない、文字データ送信部と
を有し、
前記通信端末は、
前記動画データ送信部によって送信された前記第1動画データ又は前記第2動画データを受信する動画データ受信部と、
前記文字データ送信部によって送信された前記文字データを受信する文字データ受信部と、
前記文字データが示す文字を前記第2動画データとともに表示させる表示制御部と
を有する、
動画配信システム。
A video transmission device that distributes video content including a plurality of video data and character data corresponding to the video content;
A video distribution system comprising a communication terminal that receives and displays the video content and the character data,
The video transmitting device is
A moving image data storage unit that stores first moving image data included in the moving image content, and second moving image data of the moving image content having a lower image quality than the first moving image data;
A character data generating unit that extracts character information from the first moving image data and generates character data based on the character information;
A character data storage unit that stores the character data in association with the first moving image data or the second moving image data from which the character information is extracted, and includes the first moving image data and the second moving image data. For each of a plurality of video data included in the video content, a threshold corresponding to the size of characters included in a frame of the video data is read, and character data is transmitted to video data having a resolution lower than the threshold. A character data storage unit that associates a flag indicating that the character data is not transmitted with the moving image data having a resolution higher than the threshold value ,
In response to a request from the communication terminal, a moving image data transmission unit that transmits the first moving image data or the second moving image data to the communication terminal;
When transmitting the second moving image data to the communication terminal, if the flag indicating that the character data is transmitted is associated with the second moving image data , the second moving image data or the first moving image A character data transmission unit that transmits the character data stored in association with data to the communication terminal and does not transmit the character data when the flag indicating that the character data is not transmitted is associated ; Have
The communication terminal is
A moving image data receiving unit for receiving the first moving image data or the second moving image data transmitted by the moving image data transmitting unit;
A character data receiver for receiving the character data transmitted by the character data transmitter;
A display control unit for displaying the character indicated by the character data together with the second moving image data,
Video distribution system.
前記動画送信装置は、前記第1動画データを他の装置から取得し、前記第1動画データをエンコードして前記第2動画データを生成するエンコード部をさらに有する、請求項1に記載の動画配信システム。   The moving image distribution according to claim 1, wherein the moving image transmission device further includes an encoding unit that acquires the first moving image data from another device, encodes the first moving image data, and generates the second moving image data. system. 前記エンコード部は、前記第1動画データをエンコードして、前記第2動画データを含む、画質が異なる複数の動画データを生成する、請求項2に記載の動画配信システム。   The moving image distribution system according to claim 2, wherein the encoding unit encodes the first moving image data to generate a plurality of moving image data having different image quality including the second moving image data. 前記文字データ生成部は、前記第1動画データを構成するフレームに含まれる文字画像を抽出し、
前記文字データ送信部は、前記文字画像を文字認識することによって取得されたテキストデータを前記通信端末に送信する、請求項1から3のいずれか一項に記載の動画配信システム。
The character data generation unit extracts a character image included in a frame constituting the first moving image data;
The moving image distribution system according to any one of claims 1 to 3, wherein the character data transmission unit transmits text data acquired by character recognition of the character image to the communication terminal.
前記文字データ送信部は、前記文字画像を含むフレームにおける前記文字画像の位置を示す表示位置情報と、前記テキストデータとを前記通信端末に送信する、請求項4に記載の動画配信システム。   The moving image distribution system according to claim 4, wherein the character data transmission unit transmits display position information indicating a position of the character image in a frame including the character image and the text data to the communication terminal. 前記文字データ生成部は、前記第1動画データを構成するフレームに含まれる文字画像を抽出し、
前記文字データ送信部は、前記文字画像と、前記文字画像を含むフレームにおける前記文字画像の位置を示す表示位置情報とを含む前記文字データを前記通信端末に送信する、請求項1に記載の動画配信システム。
The character data generation unit extracts a character image included in a frame constituting the first moving image data;
The moving image according to claim 1, wherein the character data transmission unit transmits the character data including the character image and display position information indicating a position of the character image in a frame including the character image to the communication terminal. Distribution system.
前記通信端末は、前記文字データの送信要否を含む前記動画コンテンツの送信要求を前記動画送信装置に送信する要求送信部をさらに有し、
前記動画送信装置は、前記送信要求を受信する要求受信部と、前記送信要求に基づいて前記文字データを前記通信端末に送信するか否かを判定する文字データ送信判定部とをさらに有し、
前記文字データ送信部は、前記文字データ送信判定部によって前記文字データを前記通信端末に送信すると判定された場合に、前記文字データを前記通信端末に送信する、請求項1から6のいずれか一項に記載の動画配信システム。
The communication terminal further includes a request transmission unit that transmits a transmission request for the video content including whether the character data needs to be transmitted to the video transmission device,
The moving image transmission device further includes a request reception unit that receives the transmission request, and a character data transmission determination unit that determines whether to transmit the character data to the communication terminal based on the transmission request,
The character data transmission unit transmits the character data to the communication terminal when the character data transmission determination unit determines to transmit the character data to the communication terminal. The video distribution system described in the section.
前記文字データ送信判定部は、前記動画データ送信部が前記送信要求に応答して前記通信端末に送信する前記第1動画データ又は前記第2動画データに対応付けて格納されている前記文字データに付与されたフラグに基づいて、前記文字データを前記通信端末に送信するか否かを判定する、請求項7に記載の動画配信システム。   The character data transmission determining unit is configured to store the character data stored in association with the first moving image data or the second moving image data that the moving image data transmitting unit transmits to the communication terminal in response to the transmission request. The moving image distribution system according to claim 7, wherein it is determined whether to transmit the character data to the communication terminal based on a given flag. 前記動画データ格納部は、前記第1動画データ及び前記第2動画データを含む、前記動画コンテンツの複数の異なる画質の動画データを格納し、
前記文字データ格納部は、前記複数の異なる画質の動画データ毎に前記文字データを送信するか否かを示す前記フラグを、前記文字データに付与して格納する、請求項8に記載の動画配信システム。
The moving image data storage unit stores moving image data of a plurality of different image quality of the moving image content including the first moving image data and the second moving image data,
The moving image distribution according to claim 8, wherein the character data storage unit adds the flag indicating whether the character data is transmitted for each of the plurality of moving image data having different image quality to the character data and stores the flag. system.
前記通信端末は、前記動画データの画質を判定する画質判定部をさらに有し、
前記表示制御部は、前記動画データの画質が予め定められた閾値より低い場合に、前記文字データが示す文字を前記動画データとともに表示させる、請求項1から9のいずれか一項に記載の動画配信システム。
The communication terminal further includes an image quality determination unit that determines an image quality of the moving image data,
The moving image according to any one of claims 1 to 9, wherein the display control unit displays a character indicated by the character data together with the moving image data when an image quality of the moving image data is lower than a predetermined threshold value. Distribution system.
前記通信端末は、前記文字データ受信部が受信した前記文字データが示す文字の表示方法を設定する表示設定部をさらに有し、
前記表示設定部は、前記文字データがテキストデータ及び表示位置情報を含む場合に、前記テキストデータが示す文字を、前記動画データ受信部が受信した前記動画データにおける前記表示位置情報が示す位置に合成して表示させるか、前記動画データに隣接する文字ウィンドウに表示させるかを設定し、
前記表示制御部は、前記表示設定部による設定に従って前記テキストデータが示す文字を前記動画データとともに表示させる、請求項1から10のいずれか一項に記載の動画配信システム。
The communication terminal further includes a display setting unit for setting a display method of characters indicated by the character data received by the character data receiving unit,
When the character data includes text data and display position information, the display setting unit combines the character indicated by the text data with the position indicated by the display position information in the moving image data received by the moving image data receiving unit. To display in a character window adjacent to the video data,
The moving image distribution system according to any one of claims 1 to 10, wherein the display control unit displays characters indicated by the text data together with the moving image data according to the setting by the display setting unit.
前記表示設定部は、前記テキストデータが示す文字を前記動画データにおける前記表示位置情報が示す位置に合成して表示させる場合に、文字のみを合成するか、予め定められたオブジェクト上に配置した文字を合成するかをさらに設定する、請求項11に記載の動画配信システム。   The display setting unit combines the characters only when the characters indicated by the text data are displayed at the position indicated by the display position information in the moving image data, or the characters arranged on a predetermined object. The moving image distribution system according to claim 11, further comprising setting whether to synthesize. 前記表示設定部は、前記文字データが文字画像及び表示位置情報を含む場合に、前記文字画像を、前記動画データ受信部が受信した前記動画データにおける前記表示位置情報が示す位置に合成して表示させるか、前記動画データに隣接する文字ウィンドウに表示させるかを設定し、
前記表示制御部は、前記表示設定部による設定に従って前記文字画像を前記動画データとともに表示させる、請求項11に記載の動画配信システム。
When the character data includes a character image and display position information, the display setting unit synthesizes and displays the character image at a position indicated by the display position information in the moving image data received by the moving image data receiving unit. Or display in a character window adjacent to the video data,
The moving image distribution system according to claim 11, wherein the display control unit displays the character image together with the moving image data according to the setting by the display setting unit.
動画コンテンツに含まれる第1動画データ、及び前記第1動画データより画質が低い前記動画コンテンツの第2動画データを格納する動画データ格納部と、
前記第1動画データから文字情報を抽出し、前記文字情報に基づく文字データを生成する文字データ生成部と、
前記文字データと、前記文字情報を抽出した前記第1動画データ又は前記第2動画データとを対応付けて格納する文字データ格納部であって、前記第1動画データ及び前記第2動画データを含む前記動画コンテンツに含まれる複数の動画データのそれぞれについて、動画データのフレームに含まれる文字の大きさに対応する閾値を読み出して、解像度が前記閾値より低い動画データに、文字データを送信することを示すフラグを対応付け、解像度が前記閾値より高い動画データに、文字データ送信しないことを示すフラグを対応付ける、文字データ格納部と、
通信端末からの要求に応答して、前記第1動画データ又は前記第2動画データを前記通信端末に送信する動画データ送信部と、
前記第2動画データを通信端末に送信する場合に、前記第2動画データに前記文字データを送信することを示す前記フラグが対応付けられている場合、前記第2動画データ又は前記第1動画データに対応付けて格納された前記文字データを前記通信端末に送信し、前記文字データを送信しないことを示す前記フラグが対応付けられている場合、前記文字データを送信しない、文字データ送信部と
を備える動画送信装置。
A moving image data storage unit that stores first moving image data included in the moving image content, and second moving image data of the moving image content having a lower image quality than the first moving image data;
A character data generating unit that extracts character information from the first moving image data and generates character data based on the character information;
A character data storage unit that stores the character data in association with the first moving image data or the second moving image data from which the character information is extracted, and includes the first moving image data and the second moving image data. For each of a plurality of video data included in the video content, a threshold corresponding to the size of characters included in a frame of the video data is read, and character data is transmitted to video data having a resolution lower than the threshold. A character data storage unit that associates a flag indicating that the character data is not transmitted with the moving image data having a resolution higher than the threshold value ,
In response to a request from a communication terminal, a moving image data transmission unit that transmits the first moving image data or the second moving image data to the communication terminal;
When transmitting the second moving image data to the communication terminal, if the flag indicating that the character data is transmitted is associated with the second moving image data , the second moving image data or the first moving image data When the flag indicating that the character data stored in association with the communication terminal is not transmitted and the character data is not transmitted is associated with the character data transmitting unit , the character data is not transmitted. A moving picture transmission apparatus provided.
コンピュータを、請求項14に記載の動画送信装置として機能させるためのプログラム。   A program for causing a computer to function as the moving picture transmitting apparatus according to claim 14. 動画コンテンツに含まれる文字を示す文字データを受信する文字データ受信部と、
前記動画コンテンツの動画データを受信する動画データ受信部と、
前記動画データの画質を判定する画質判定部と、
前記動画データの画質が予め定められた閾値より低い場合に、前記文字データが示す文字を前記動画データとともに表示させる表示制御部と
を備え、
前記画質判定部は、前記動画データの解像度を判定し、
前記表示制御部は、前記動画データのフレームに含まれる文字の大きさに対応する閾値を読み出して、前記動画データの解像度が当該閾値より低い場合に、前記文字データが示す文字を前記動画データとともに表示させ、前記動画データの解像度が当該閾値より高い場合、前記文字データが示す文字を前記動画データとともに表示させない、
通信端末。
A character data receiving unit for receiving character data indicating characters included in the video content;
A video data receiver for receiving video data of the video content;
An image quality determination unit for determining the image quality of the video data;
A display control unit that displays characters indicated by the character data together with the moving image data when the image quality of the moving image data is lower than a predetermined threshold;
The image quality determination unit determines the resolution of the moving image data,
The display control unit reads a threshold value corresponding to the size of a character included in a frame of the moving image data, and when the resolution of the moving image data is lower than the threshold value, the character indicated by the character data together with the moving image data When the resolution of the moving image data is higher than the threshold, the characters indicated by the character data are not displayed together with the moving image data.
Communication terminal.
前記文字データ受信部が受信した前記文字データが示す文字の表示方法を設定する表示設定部
をさらに備え、
前記表示設定部は、前記文字データがテキストデータ及び表示位置情報を含む場合に、前記テキストデータが示す文字を、前記動画データ受信部が受信した前記動画データにおける前記表示位置情報が示す位置に合成して表示させるか、前記動画データに隣接する文字ウィンドウに表示させるかを設定し、
前記表示制御部は、前記表示設定部による設定に従って前記テキストデータが示す文字を前記動画データとともに表示させる、請求項16に記載の通信端末。
A display setting unit for setting a display method of characters indicated by the character data received by the character data receiving unit;
When the character data includes text data and display position information, the display setting unit combines the character indicated by the text data with the position indicated by the display position information in the moving image data received by the moving image data receiving unit. To display in a character window adjacent to the video data,
The communication terminal according to claim 16, wherein the display control unit displays the characters indicated by the text data together with the moving image data according to the setting by the display setting unit.
前記表示設定部は、前記テキストデータが示す文字を前記動画データにおける前記表示位置情報が示す位置に合成して表示させる場合に、文字のみを合成するか、予め定められたオブジェクト上に配置した文字を合成するかをさらに設定する、請求項17に記載の通信端末。   The display setting unit combines the characters only when the characters indicated by the text data are displayed at the position indicated by the display position information in the moving image data, or the characters arranged on a predetermined object. The communication terminal according to claim 17, further setting whether to synthesize. 前記文字データ受信部が受信した前記文字データが示す文字の表示方法を設定する表示設定部
をさらに備え、
前記表示設定部は、前記文字データが文字画像及び表示位置情報を含む場合に、前記文字画像を、前記動画データ受信部が受信した前記動画データにおける前記表示位置情報が示す位置に合成して表示させるか、前記動画データに隣接する文字ウィンドウに表示させるかを設定し、
前記表示制御部は、前記表示設定部による設定に従って前記文字画像を前記動画データとともに表示させる、請求項16に記載の通信端末。
A display setting unit for setting a display method of characters indicated by the character data received by the character data receiving unit;
When the character data includes a character image and display position information, the display setting unit synthesizes and displays the character image at a position indicated by the display position information in the moving image data received by the moving image data receiving unit. Or display in a character window adjacent to the video data,
The communication terminal according to claim 16, wherein the display control unit displays the character image together with the moving image data in accordance with the setting by the display setting unit.
コンピュータを、請求項16から19のいずれか一項に記載の通信端末として機能させるためのプログラム。   The program for functioning a computer as a communication terminal as described in any one of Claims 16-19.
JP2016055430A 2016-03-18 2016-03-18 Video distribution system, video transmission device, communication terminal, and program Active JP6412893B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016055430A JP6412893B2 (en) 2016-03-18 2016-03-18 Video distribution system, video transmission device, communication terminal, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016055430A JP6412893B2 (en) 2016-03-18 2016-03-18 Video distribution system, video transmission device, communication terminal, and program

Publications (2)

Publication Number Publication Date
JP2017169174A JP2017169174A (en) 2017-09-21
JP6412893B2 true JP6412893B2 (en) 2018-10-24

Family

ID=59914139

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016055430A Active JP6412893B2 (en) 2016-03-18 2016-03-18 Video distribution system, video transmission device, communication terminal, and program

Country Status (1)

Country Link
JP (1) JP6412893B2 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000358232A (en) * 1999-06-15 2000-12-26 Toshiba Corp Vod system
JP4000844B2 (en) * 2001-12-11 2007-10-31 日本電気株式会社 Content distribution system, content distribution system distribution server and display terminal, and content distribution program
JP5091502B2 (en) * 2007-02-26 2012-12-05 株式会社東芝 Subtitled video display system, server device, and terminal device
JP2011055286A (en) * 2009-09-02 2011-03-17 Toshiba Corp Video distribution apparatus and video distribution method

Also Published As

Publication number Publication date
JP2017169174A (en) 2017-09-21

Similar Documents

Publication Publication Date Title
US20220014819A1 (en) Video image processing
US11917221B2 (en) Encoding device and method, reproduction device and method, and program
JP6460228B2 (en) Information processing apparatus, information processing method, and information processing program
TWI595777B (en) Transmitting display management metadata over hdmi
WO2017118078A1 (en) Image processing method, playing method and related device and system
JP6333858B2 (en) System, apparatus, and method for sharing a screen having multiple visual components
US9584761B2 (en) Videoconference terminal, secondary-stream data accessing method, and computer storage medium
JP2017139628A (en) Communication device, communication system, communication method and computer program
KR20150134324A (en) Screencasting for multi-screen applications
US9596435B2 (en) Distribution control apparatus, distribution control method, and computer program product
WO2019187437A1 (en) Information processing device, information processing method, and program
US11533348B2 (en) Information processing apparatus, information processing method, and program
JP6412893B2 (en) Video distribution system, video transmission device, communication terminal, and program
KR20160131827A (en) System for cloud streaming service, method of image cloud streaming service using alpha level of color bit and apparatus for the same
US20120281066A1 (en) Information processing device and information processing method
CN103581733A (en) Remote display apparatus
KR20160011158A (en) Screen sharing system and method
JP2014506036A (en) Video stream display system and protocol
US7233366B2 (en) Method and apparatus for sending and receiving and for encoding and decoding a telop image
JP2010091845A (en) Image display device
JP6431301B2 (en) Movie processing apparatus, method, and computer program
KR101631730B1 (en) Apparatus and method for playing handwriting message using handwriting data
JP2015118518A (en) Communication device
KR20130025129A (en) Data reproducing apparatus and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170807

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180424

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180918

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181001

R150 Certificate of patent or registration of utility model

Ref document number: 6412893

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250