JP5196635B2 - Video content playback terminal and video content playback program - Google Patents

Video content playback terminal and video content playback program Download PDF

Info

Publication number
JP5196635B2
JP5196635B2 JP2007221556A JP2007221556A JP5196635B2 JP 5196635 B2 JP5196635 B2 JP 5196635B2 JP 2007221556 A JP2007221556 A JP 2007221556A JP 2007221556 A JP2007221556 A JP 2007221556A JP 5196635 B2 JP5196635 B2 JP 5196635B2
Authority
JP
Japan
Prior art keywords
subtitle
subtitles
displayed
data
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007221556A
Other languages
Japanese (ja)
Other versions
JP2009055466A (en
Inventor
磨悟 齋藤
昌巳 藤田
直樹 河合
章 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2007221556A priority Critical patent/JP5196635B2/en
Priority to PCT/JP2008/064273 priority patent/WO2009028318A1/en
Priority to CN2008801045337A priority patent/CN101785315B/en
Publication of JP2009055466A publication Critical patent/JP2009055466A/en
Priority to HK10111099.5A priority patent/HK1144634A1/en
Application granted granted Critical
Publication of JP5196635B2 publication Critical patent/JP5196635B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005Reproducing at a different information rate from the information rate of recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明は、ビデオコンテンツ再生端末およびビデオコンテンツ再生プログラムに関する。   The present invention relates to a video content playback terminal and a video content playback program.

いわゆる第3世代と呼ばれる携帯電話機は、極めて高いビットレートのデータ伝送を誇り、従来の世代の携帯電話機では難しかった動画像のストリーミング再生をも実現するに至っている。このような携帯電話機の高スペック化に伴い、各種サービスプロバイダから携帯電話機の利用者に向けて配信されるコンテンツも静止画像から動画像へと変化しつつあり、動画像のコンテンツの配信環境をより良くするための技術も提案されている。例えば、特許文献1に開示された携帯電話端末は、動画像のコンテンツをストリーミング再生している間に自端末に宛てた着信が入ると、コンテンツの配信元のサーバに対して配信の中断を要求する。そして、着信元の相手との通話が終了すると改めてサーバへ配信を要求し、中断された箇所からストリーミング再生を再開できるようになっている。
特開2006−270729号公報
The so-called third-generation mobile phone is proud of data transmission at an extremely high bit rate, and has realized streaming playback of moving images that was difficult with conventional generation mobile phones. With such high specifications of mobile phones, the content distributed from various service providers to mobile phone users is also changing from still images to moving images, and the distribution environment of moving image content is more Techniques for improving it have also been proposed. For example, when a mobile phone terminal disclosed in Patent Document 1 receives an incoming call addressed to the terminal while streaming the content of a moving image, the mobile phone terminal requests the distribution source server to interrupt the distribution. To do. Then, when the call with the caller is terminated, distribution is requested to the server again, and streaming playback can be resumed from the interrupted point.
JP 2006-270729 A

ところで、動画像のコンテンツをストリーミング再生する携帯電話機の画面には、動画像をなす一連のフレームとともに、冒頭からの再生時間を示すインジケータが表示される。そして、利用者は、このインジケータを参照しつつ各種キーを操作することにより、そのコンテンツを巻戻させたり、または、早送りさせたりできるようになっている。   By the way, on the screen of the mobile phone for streaming playback of moving image content, an indicator indicating the playback time from the beginning is displayed along with a series of frames forming the moving image. Then, the user can rewind or fast-forward the content by operating various keys while referring to the indicator.

しかしながら、ストリーミング再生は、ビデオデータをデコードして得た数十フレーム分の画像を表示させている間に次の数十フレーム分のビデオデータを受信する、という手順を繰り返しながら進められていく。このため、画像を確認しながら早送り若しくは巻戻しをすることができない。したがって、自分の希望する動画像の再生位置まで早送り若しくは巻戻しをしたいとの利用者の要請に応えることができない。   However, streaming reproduction is performed while repeating the procedure of receiving video data for the next several tens of frames while displaying images for several tens of frames obtained by decoding the video data. For this reason, it is impossible to fast forward or rewind while confirming the image. Therefore, the user's request to fast forward or rewind to the desired moving image playback position cannot be met.

本発明は、利用者が希望する動画像の再生位置まで動画像のコンテンツの早送りや巻戻しを円滑に行い得るような仕組みを提供することを目的とする。   SUMMARY OF THE INVENTION An object of the present invention is to provide a mechanism that can smoothly forward or rewind moving image content to a moving image reproduction position desired by a user.

本発明の好適な態様であるビデオコンテンツ再生端末は、操作手段と、通信手段と、表示手段と、記憶手段と、ビデオコンテンツをなす一連のフレーム画像、または、それらのうちの一部のフレーム画像の各々と対応する字幕を示すテキストデータとビデオコンテンツの冒頭から末尾に至る間の時間軸上の位置を示すタイムコードの各対を、通信手段を介して取得し、取得した各対を記憶手段に記憶させる第1の制御手段と、記憶手段に記憶されたタイムコードを時間軸上の位置が先行するものから順次特定し、特定したタイムコードと対をなすテキストデータが示す字幕を表示手段に表示させる手段であって、操作手段の操作を通じて字幕の早送りまたは巻戻しの指示が下されるたびに、表示手段に表示されている字幕をその字幕に後続しまたは先行する別の字幕に切り換えるとともに、切り換え後の字幕のテキストデータと対をなすタイムコードを含むリクエストを通信手段を介して発信する第2の制御手段と、リクエストに含まれるタイムコードが示す時間軸上の位置以降での再生が予定される一連のフレーム画像を示すビデオデータを通信手段を介して取得し、取得したビデオデータが示す一連のフレーム画像を字幕とともに表示手段に順次表示させる第3の制御手段と、を有し、第3の制御手段は、サムネイル画像データが示す縮小画像を字幕と対応付けて表示手段に表示させるときに、字幕のみを先に表示し、サムネイル画像データのデコードにより得られたサムネイル画像を後から字幕に対応付けて表示させるものであるA video content playback terminal according to a preferred aspect of the present invention includes an operation unit, a communication unit, a display unit, a storage unit, and a series of frame images forming a video content, or a part of the frame images. Each pair of text data indicating a subtitle corresponding to each of the video data and a time code indicating a position on the time axis from the beginning to the end of the video content is acquired via the communication unit, and each acquired pair is stored in the storage unit The first control means to be stored in the storage means, and the time code stored in the storage means are sequentially specified from the position preceded by the position on the time axis, and the subtitles indicated by the text data paired with the specified time code are displayed on the display means Each time a subtitle fast-forward or rewind instruction is given through operation of the operation means, the subtitle displayed on the display means follows the subtitle. Or a second control means for transmitting a request including a time code paired with the subtitle text data after the switching, via the communication means, and a time code included in the request. The video data indicating a series of frame images scheduled to be reproduced after the position on the time axis is acquired via the communication means, and the series of frame images indicated by the acquired video data is sequentially displayed on the display means together with the subtitles. 3, and when the reduced image indicated by the thumbnail image data is displayed on the display unit in association with the caption, only the caption is displayed first, and the thumbnail image data A thumbnail image obtained by decoding is displayed in association with a subtitle later .

また、ビデオデータは、一連のフレーム画像とそれらの再生が予定される時間軸上の位置とを示し、第2の制御手段は、早送りまたは巻き戻しの指示が下されない間は、取得されたビデオデータが示す一連のフレーム画像の各々の時間軸上の位置をそのビデオデータを基に特定し、第3の制御手段が表示手段に表示させるフレーム画像の各々と時間軸上の位置を同じくする字幕を、表示手段に順次表示させるようにしてもよい。   The video data indicates a series of frame images and positions on the time axis at which they are scheduled to be played back, and the second control means captures the acquired video while no fast forward or rewind instruction is given. The position on the time axis of each of the series of frame images indicated by the data is specified based on the video data, and the subtitles having the same position on the time axis as each of the frame images displayed on the display means by the third control means May be sequentially displayed on the display means.

本発明の別の好適な態様であるビデオコンテンツ再生プログラムは、操作手段、通信手段、表示手段、および記憶手段を有するコンピュータに、ビデオコンテンツをなす一連のフレーム画像、または、それらのうちの一部のフレーム画像の各々と対応する字幕を示すテキストデータとビデオコンテンツの冒頭から末尾に至る間の時間軸上の位置を示すタイムコードの各対を、通信手段を介して取得し、取得した各対を記憶手段に記憶させる第1の制御機能と、記憶手段に記憶されたタイムコードを時間軸上の位置が先行するものから順次特定し、特定したタイムコードと対をなすテキストデータが示す字幕を表示手段に表示させる機能であって、操作手段の操作を通じて字幕の早送りまたは巻戻しの指示が下されるたびに、表示手段に表示されている字幕をその字幕に後続しまたは先行する別の字幕に切り換えるとともに、切り換え後の字幕のテキストデータと対をなすタイムコードを含むリクエストを通信手段を介して発信する第2の制御機能と、リクエストに含まれるタイムコードが示す時間軸上の位置以降での再生が予定される一連のフレーム画像を示すビデオデータを通信手段を介して取得し、取得したビデオデータが示す一連のフレーム画像を字幕とともに表示手段に順次表示させる第3の制御機能と、を実現させ、第3の制御機能は、サムネイル画像データが示す縮小画像を字幕と対応付けて表示手段に表示させるときに、字幕のみを先に表示し、サムネイル画像データのデコードにより得られたサムネイル画像を後から字幕に対応付けて表示させるものであるAnother preferred aspect of the present invention is a video content playback program that stores a series of frame images constituting a video content on a computer having operation means, communication means, display means, and storage means, or a part of them. Each pair of text data indicating a subtitle corresponding to each of the frame images and a time code indicating a position on the time axis from the beginning to the end of the video content are acquired via communication means, and each acquired pair A first control function that stores the time code stored in the storage means, sequentially specifying the time code stored in the storage means from the one preceded by the position on the time axis, and subtitles indicated by the text data paired with the specified time code This function is displayed on the display means and is displayed on the display means every time a subtitle fast forward or rewind instruction is given through the operation of the operation means. A second control function for switching a subtitle being switched to another subtitle following or preceding the subtitle and transmitting a request including a time code paired with the text data of the subtitle after the switching through the communication unit; Video data indicating a series of frame images scheduled to be reproduced after the position on the time axis indicated by the time code included in the request is acquired via communication means, and the series of frame images indicated by the acquired video data is subtitled. And a third control function that sequentially displays on the display means, and the third control function displays only the subtitles first when the reduced image indicated by the thumbnail image data is displayed on the display means in association with the subtitles. The thumbnail image obtained by decoding the thumbnail image data is displayed in association with the subtitle later .

本発明によると、利用者が希望する動画像の再生位置まで動画像のコンテンツの早送りや巻戻しを円滑に行えるようにすることができる。   According to the present invention, it is possible to smoothly perform fast-forwarding and rewinding of moving image content up to a moving image reproduction position desired by a user.

(発明の実施の形態)
本発明の実施形態について、以下、図面を参照しながら説明する。
(Embodiment of the Invention)
Embodiments of the present invention will be described below with reference to the drawings.

図1は、本実施形態にかかる動画像コンテンツ配信システムの全体構成図である。図1に示すように、このシステムは、コンテンツ配信サーバ装置10が接続されるインターネット通信網91、携帯電話端末30(「ビデオコンテンツ再生端末」に相当)が接続される移動体パケット通信網92、及びそれらの両通信網91,92の間に介在するゲートウェイサーバ装置93より構成される。なお、この実施形態は、本発明にかかるコンテンツの配信を、インターネット通信網91と移動体パケット通信網92を利用して行うものであるが、放送網を通じてコンテンツを配信するようにしてもよい。   FIG. 1 is an overall configuration diagram of a moving image content distribution system according to the present embodiment. As shown in FIG. 1, this system includes an Internet communication network 91 to which the content distribution server device 10 is connected, a mobile packet communication network 92 to which a mobile phone terminal 30 (corresponding to a “video content playback terminal”) is connected, And a gateway server device 93 interposed between the two communication networks 91 and 92. In this embodiment, the content according to the present invention is distributed using the Internet communication network 91 and the mobile packet communication network 92. However, the content may be distributed through a broadcast network.

インターネット通信網91は、TCP(transmission control protocol)/IP(internet protocol)や、そのTCP/IP上で実現される、HTTP(hyper text transfer protocol)、SMTP(simple mail transfer protocol)などに準拠した手順でデータを伝送するノードの集合体であり、サーバ装置やルータを有する。 移動体パケット通信網92は、TCP/IPを簡素化したプロトコルや、そのTCP/IP上で実現される、HTTPに相当するプロトコルなどに準拠した手順でデータを転送するノードの集合体であり、基地局やパケット加入者処理装置を有する。   The Internet communication network 91 is a procedure conforming to TCP (transmission control protocol) / IP (internet protocol), HTTP (hyper text transfer protocol), SMTP (simple mail transfer protocol), etc. realized on the TCP / IP. The node is a collection of nodes that transmit data and includes a server device and a router. The mobile packet communication network 92 is a collection of nodes that transfer data in accordance with a protocol based on a simplified TCP / IP protocol or a protocol equivalent to HTTP implemented on the TCP / IP. It has a base station and a packet subscriber processing device.

ゲートウェイサーバ装置93は、移動体パケット通信網92とインターネット通信網91を相互接続する移動パケット関門中継交換局内にて稼働するコンピュータであり、一方の通信網のノードから他方の通信網のノードに宛てて送出されたデータは、このゲートウェイサーバ装置93にてプロトコル変換された上で、他方の通信網のノードへと転送される。   The gateway server device 93 is a computer that operates in a mobile packet gateway relay switching center that interconnects the mobile packet communication network 92 and the Internet communication network 91, and is addressed from one communication network node to the other communication network node. The data sent in this way is converted into a protocol by the gateway server device 93 and then transferred to the node of the other communication network.

図2は、コンテンツ配信サーバ装置10のハードウェア概略構成を示す図である。コンテンツ配信サーバ装置10は、動画像、音声、および字幕によって映画や興業などのビデオコンテンツを表現する各種フォーマットのデータ(以下、それらの集合体を「ビデオコンテンツデータ」と呼ぶ)を携帯電話端末30からの要求に応じて配信する。   FIG. 2 is a diagram illustrating a schematic hardware configuration of the content distribution server device 10. The content distribution server device 10 uses the mobile phone terminal 30 to store data in various formats (hereinafter referred to as “video content data”) representing video content such as movies and entertainments with moving images, audio, and subtitles. Delivered in response to requests from

図2に示すように、このサーバ装置10は、制御部11、通信インターフェース12、及びハードディスク13を備えている。制御部11は、CPU14、RAM15、ROM16を内蔵する。通信インターフェース12は、TCP/IP、HTTPなどのプロトコルに従った手順でデータを送受信する。   As shown in FIG. 2, the server device 10 includes a control unit 11, a communication interface 12, and a hard disk 13. The control unit 11 includes a CPU 14, a RAM 15, and a ROM 16. The communication interface 12 transmits and receives data according to a procedure according to a protocol such as TCP / IP or HTTP.

ハードディスク13は、コンテンツデータベース17およびメニュー画面表示支援データ18を記憶する。コンテンツデータベース17は、複数のビデオコンテンツデータを収録したデータベースである。ビデオコンテンツデータの各々は、ビデオデータ、テキストデータ、サムネイル画像データを取り纏めたものである。ビデオデータは、動画像として再生される一連のフレーム画像の画像信号とそれらのフレーム画像と併せて再生される一連の音声の音声信号とを、所定のエンコード規格に従ってエンコードしたデータである。一連のフレーム画像および音声の信号は、MPEG(Moving Picture Experts Group)-4など規格に従ってエンコードするとよい。この種のエンコード規格においては、フレーム画像および音声が、コンテンツの冒頭から末尾までの間の時間軸上の位置を示すタイムコードと対応付けたうえで、圧縮符号化される。   The hard disk 13 stores a content database 17 and menu screen display support data 18. The content database 17 is a database that records a plurality of video content data. Each of the video content data is a collection of video data, text data, and thumbnail image data. Video data is data obtained by encoding an image signal of a series of frame images reproduced as a moving image and a series of audio signals reproduced together with the frame images according to a predetermined encoding standard. A series of frame image and audio signals may be encoded according to a standard such as MPEG (Moving Picture Experts Group) -4. In this type of encoding standard, a frame image and audio are compressed and encoded after being associated with a time code indicating a position on the time axis from the beginning to the end of the content.

テキストデータは、ビデオデータの一連のフレーム画像と併せて表示する字幕の文字列を示すデータである。テキストデータが示す各字幕は、コンテンツの冒頭から末尾までの間の時間軸上の位置を示すタイムコードと対応付けられている。   The text data is data indicating a subtitle character string to be displayed together with a series of frame images of video data. Each subtitle indicated by the text data is associated with a time code indicating a position on the time axis from the beginning to the end of the content.

サムネイル画像データは、ビデオデータの一連のフレーム画像の中から離散的に抽出したフレーム画像の縮小画像であるサムネイル画像の画像信号を、所定のエンコード規格に従ってエンコードしたデータである。サムネイル画像データが示す各サムネイル画像も、コンテンツの冒頭から末尾までの間の時間軸上の位置を示すタイムコードと対応付けられている。サムネイル画像の信号は、GIF(Graphics Interchange Format)などの規格に従ってエンコードするとよい。   The thumbnail image data is data obtained by encoding an image signal of a thumbnail image, which is a reduced image of a frame image discretely extracted from a series of frame images of video data, according to a predetermined encoding standard. Each thumbnail image indicated by the thumbnail image data is also associated with a time code indicating a position on the time axis from the beginning to the end of the content. The thumbnail image signal may be encoded according to a standard such as GIF (Graphics Interchange Format).

メニュー画面表示支援データ18は、コンテンツデータベース17に収録された各コンテンツデータの記憶領域を示すアドレスとそれらのコンテンツデータのタイトルを示す各文字列との関連付けを、所定のマークアップ言語によって記述したデータである。   The menu screen display support data 18 is data in which an association between an address indicating the storage area of each content data recorded in the content database 17 and each character string indicating the title of the content data is described in a predetermined markup language. It is.

図3は、携帯電話端末30のハードウェア概略構成を示す図である。携帯電話端末30は、通信部31(「通信手段」に相当)、操作部32(「操作手段」に相当)、液晶表示部33(「表示手段」に相当)、収音部34、放音部35、および制御部36(「第1の制御手段」、「第2の制御手段」、「第3の制御手段」に相当)を備える。通信部31は、制御部36による制御の下、移動体パケット通信網92の基地局と無線通信を行う。   FIG. 3 is a diagram illustrating a schematic hardware configuration of the mobile phone terminal 30. The mobile phone terminal 30 includes a communication unit 31 (corresponding to “communication unit”), an operation unit 32 (corresponding to “operation unit”), a liquid crystal display unit 33 (corresponding to “display unit”), a sound collection unit 34, and a sound emission. And a control unit 36 (corresponding to “first control means”, “second control means”, “third control means”). The communication unit 31 performs wireless communication with the base station of the mobile packet communication network 92 under the control of the control unit 36.

操作部32は、カーソルを上下左右方向に移動させた上で確定するマルチファンクションボタン(後述)、番号や文字などを入力するダイヤルボタンなどの各種ボタンからなり、利用者によって入力操作が行われると、その入力操作に対応した操作信号を制御部36に供給する。液晶表示部33は、液晶パネル等の表示装置から構成されており、制御部36による制御の下に各種情報を表示する。収音部34はマイクロホンであり、放音部35はスピーカである。   The operation unit 32 includes various buttons such as a multi-function button (described later) that is determined after moving the cursor up, down, left, and right, and a dial button that inputs a number, a character, and the like. Then, an operation signal corresponding to the input operation is supplied to the control unit 36. The liquid crystal display unit 33 includes a display device such as a liquid crystal panel, and displays various information under the control of the control unit 36. The sound collection unit 34 is a microphone, and the sound emission unit 35 is a speaker.

制御部36は、CPU37、ROM38、RAM39(「記憶手段」に相当)、及びEEPROM40を有している。CPU37は、RAM39をワークエリアとして利用しつつ、ROM38やEEPROM40に記憶された各種プログラムを実行する。   The control unit 36 includes a CPU 37, a ROM 38, a RAM 39 (corresponding to “storage means”), and an EEPROM 40. The CPU 37 executes various programs stored in the ROM 38 and the EEPROM 40 while using the RAM 39 as a work area.

ROM38は、OS(Operating System)プログラム、メーラプログラム、ブラウザプログラム、呼接続支援プログラム、およびビデオコンテンツ再生プログラムを記憶する。OSプログラムは、各種ハードウェアリソースの駆動や調停などといった基幹的な処理の手順を記したプログラムである。呼接続支援プログラムは、他の携帯電話機や固定電話との間の呼接続や通話に関わる処理の手順を記したプログラムである。メーラプログラムは、電子メールの作成や送受信に関わる処理の手順を記したプログラムである。ブラウザプログラムは、サイトの閲覧に関わる処理の手順を記したプログラムである。   The ROM 38 stores an OS (Operating System) program, a mailer program, a browser program, a call connection support program, and a video content reproduction program. The OS program is a program that describes basic processing procedures such as driving and arbitration of various hardware resources. The call connection support program is a program that describes a procedure for processing related to call connection and call with other mobile phones and fixed phones. The mailer program is a program in which processing procedures related to creation and transmission / reception of electronic mail are described. The browser program is a program that describes the procedure of processing related to browsing the site.

ビデオコンテンツ再生プログラムは、コンテンツ配信サーバ装置10のコンテンツデータベース17に収録されたビデオコンテンツデータのストリーミング再生や再生するコンテンツデータの選択に関わる処理の手順を記したプログラムである。このプログラムに記された手順に従ったCPU37の動作を通じて、後に詳述するコンテンツ選択支援処理およびコンテンツ再生処理が実行される。   The video content reproduction program is a program that describes a processing procedure related to streaming reproduction of video content data recorded in the content database 17 of the content distribution server device 10 and selection of content data to be reproduced. Through the operation of the CPU 37 according to the procedure described in this program, a content selection support process and a content reproduction process which will be described in detail later are executed.

EEPROM40には、携帯電話端末30からのリクエストに応じてゲートウェイサーバ装置93やインターネット通信網91のサーバ装置からダウンロードされるプログラムが記憶される。   The EEPROM 40 stores a program downloaded from the gateway server device 93 or the server device of the Internet communication network 91 in response to a request from the mobile phone terminal 30.

次に、本実施形態にかかる特徴的な処理であるコンテンツ選択支援処理とコンテンツ再生処理について説明する。   Next, content selection support processing and content reproduction processing, which are characteristic processing according to the present embodiment, will be described.

図4および図5は、コンテンツ選択支援処理を示すフローチャートである。図4および図5に示す一連の処理は、コンテンツデータベース17に収録された各コンテンツデータのタイトルを列記したメニュー画面が液晶表示部33に表示された状態で、それらのいずれかのタイトルが操作部32の操作を通じて選択されると、開始される。メニュー画面は、メニュー画面表示支援データ18のURL(Uniform Resource Locator)を含むリクエストを移動体パケット通信網92へ発信し、コンテンツ配信サーバ装置10から返信されるレスポンスに含まれるメニュー画面表示支援データ18を解釈して得た内容を基に、液晶表示部33に表示される。   4 and 5 are flowcharts showing the content selection support process. The series of processes shown in FIGS. 4 and 5 are performed in a state where a menu screen listing the titles of the respective content data recorded in the content database 17 is displayed on the liquid crystal display unit 33, and any of those titles is displayed on the operation unit. When selected through 32 operations, it starts. The menu screen transmits a request including the URL (Uniform Resource Locator) of the menu screen display support data 18 to the mobile packet communication network 92, and the menu screen display support data 18 included in the response returned from the content distribution server device 10. Is displayed on the liquid crystal display unit 33 based on the content obtained by interpreting the above.

メニュー画面に表示されたタイトルのいずれかが選択されると(S100:Yes)、制御部36は、ビデオコンテンツ再生プログラムを起動させる(S110)。以降の処理は、このビデオコンテンツ再生プログラムが示す手順に従って行われる。   When one of the titles displayed on the menu screen is selected (S100: Yes), the control unit 36 activates the video content reproduction program (S110). The subsequent processing is performed according to the procedure indicated by the video content reproduction program.

制御部36は、テキストデータを求めるコンテンツ配信サーバ装置10宛てのリクエストを、通信部31から発信する(S120)。このリクエストには、ステップS100で選択されたタイトルを示す識別子が内包される。発信されたリクエストは、移動体パケット通信網92、ゲートウェイサーバ装置93、およびインターネット通信網91を経由してコンテンツ配信サーバ装置10まで送信される。   The control unit 36 transmits a request addressed to the content distribution server device 10 for text data from the communication unit 31 (S120). This request includes an identifier indicating the title selected in step S100. The transmitted request is transmitted to the content distribution server device 10 via the mobile packet communication network 92, the gateway server device 93, and the Internet communication network 91.

リクエストを受信したコンテンツ配信サーバ装置10の制御部11は、そのリクエストに含まれる識別子が指し示すコンテンツのビデオコンテンツデータをコンテンツデータベース17から特定し(S130)、そのビデオコンテンツデータから取得したテキストデータを含むレスポンスを通信インターフェース12から発信する(S140)。発信されたレスポンスは、インターネット通信網91、ゲートウェイサーバ装置93、および移動体パケット通信網92を経由して、リクエストの発信元の携帯電話端末30まで送信される。   The control unit 11 of the content distribution server device 10 that has received the request identifies video content data of the content indicated by the identifier included in the request from the content database 17 (S130), and includes text data acquired from the video content data. A response is transmitted from the communication interface 12 (S140). The transmitted response is transmitted to the mobile phone terminal 30 that is the source of the request via the Internet communication network 91, the gateway server device 93, and the mobile packet communication network 92.

レスポンスを受信した携帯電話端末30の制御部36は、そのレスポンスに含まれるテキストデータをRAM16に記憶する(S150)。このテキストデータが示す各字幕がコンテンツの冒頭から末尾までの間の時間軸上の位置を示すタイムコードと対をなしていることは、上述した通りである。   The control unit 36 of the mobile phone terminal 30 that has received the response stores the text data included in the response in the RAM 16 (S150). As described above, each subtitle indicated by the text data is paired with a time code indicating a position on the time axis from the beginning to the end of the content.

続いて、制御部11は、RAM16にて各字幕と対応付けられた一連のタイムコードの中から、コンテンツの冒頭により近い時間軸上の位置を示す3つのタイムコードを取得し(S160)、取得した3つのタイムコードを含むコンテンツ配信サーバ装置10宛てのリクエストを通信部31から発信するとともに(S170)、それらのタイムコードと対をなす字幕を埋め込んだ再生箇所検索画面を液晶表示部33に表示させる(S180)。   Subsequently, the control unit 11 acquires three time codes indicating positions on the time axis closer to the beginning of the content from a series of time codes associated with each subtitle in the RAM 16 (S160). A request addressed to the content distribution server device 10 including the three time codes is transmitted from the communication unit 31 (S170), and a playback location search screen in which subtitles that are paired with these time codes are embedded is displayed on the liquid crystal display unit 33. (S180).

図6は、再生箇所検索画面を示す図である。この画面は、再生時間表示領域52の下に、字幕表示領域53とサムネイル画像表示領域54とを左右に並べて配したレイアウトになっている。再生時間表示領域52は、細長い矩形状の上下の2つの枠52a,52bに分かれ、上側の枠52aには、コンテンツの冒頭から末尾までの間の時間軸上の位置を百分率によって示す数値が表示される。下側の枠54bには、コンテンツの冒頭から末尾までの時間軸上の位置を、時間、分、および秒により表す数値が表示される。また、その時間、分、および秒を表す数値の背後は、コンテンツの冒頭から末尾までの時間軸上の位置を表すインジケータとなっている。   FIG. 6 is a diagram showing a playback location search screen. This screen has a layout in which a subtitle display area 53 and a thumbnail image display area 54 are arranged side by side on the left and right below the playback time display area 52. The playback time display area 52 is divided into two elongated rectangular upper and lower frames 52a and 52b, and the upper frame 52a displays a numerical value indicating the position on the time axis from the beginning to the end of the content as a percentage. Is done. The lower frame 54b displays numerical values representing the position on the time axis from the beginning to the end of the content in terms of hours, minutes, and seconds. Also, behind the numerical values representing the hours, minutes, and seconds are indicators that represent the position on the time axis from the beginning to the end of the content.

字幕表示領域53には、ステップS180にて埋め込まれた字幕、つまり、コンテンツの冒頭により近い時間軸上の位置と対応する3つの字幕が、上段、中段、下段に分かれて表示されている。3つのうち時間軸上の位置が一番前の字幕は上段に表示され、時間軸上の位置が一番後の字幕は下段に表示される。サムネイル画像表示領域54には、サムネイル画像を埋め込むための3つの矩形枠が、字幕の各々の真横に相当する位置に表示されている。ただし、後述するステップS190にて、コンテンツ配信サーバ装置10からサムネイル画像データを取得するまで、それらの矩形枠は空白のままにされる。   In the subtitle display area 53, the subtitles embedded in step S180, that is, three subtitles corresponding to positions on the time axis closer to the beginning of the content are displayed in an upper stage, a middle stage, and a lower stage. Of the three subtitles, the subtitle with the earliest position on the time axis is displayed in the upper row, and the subtitle with the last position on the time axis is displayed in the lower row. In the thumbnail image display area 54, three rectangular frames for embedding thumbnail images are displayed at positions corresponding to the right side of each subtitle. However, these rectangular frames are left blank until thumbnail image data is acquired from the content distribution server device 10 in step S190 described later.

リクエストを受信したコンテンツ配信サーバ装置10の制御部11は、そのリクエストに含まれる3つのタイムコードと対をなすサムネイル画像データをステップS130で特定したビデオコンテンツデータから取得し(S190)、取得した3つのサムネイル画像データを含むレスポンスを通信インターフェース12から発信する(S200)。   The control unit 11 of the content distribution server device 10 that has received the request acquires the thumbnail image data paired with the three time codes included in the request from the video content data specified in step S130 (S190), and acquires the acquired 3 A response including two thumbnail image data is transmitted from the communication interface 12 (S200).

レスポンスを受信した携帯電話端末30の制御部36は、そのレスポンスに含まれる3つのサムネイル画像データをそれぞれデコードして得た各サムネイル画像を、再生箇所検索画面のサムネイル画像表示領域54に表示させる(S210)。具体的には、レスポンスに含まれる3つのサムネイル画像データをRAM39に確保したバッファ領域に記憶したうえで、それらの画像データを時間軸上の位置が先行するものから順に1つずつデコードし、デコードを経て得られたサムネイル画像をサムネイル画像表示領域54の上の矩形枠から順に並べて表示させていく。   Upon receiving the response, the control unit 36 of the mobile phone terminal 30 displays each thumbnail image obtained by decoding the three thumbnail image data included in the response in the thumbnail image display area 54 of the playback location search screen ( S210). Specifically, after storing the three thumbnail image data included in the response in the buffer area secured in the RAM 39, the image data is decoded one by one in order from the one with the position on the time axis, and decoded. The thumbnail images obtained through the above are displayed in order from the rectangular frame on the thumbnail image display area 54.

図7は、ステップS210における表示が行われている途中の再生箇所検索画面を示す図である。図7は、上段の矩形枠へのサムネイル画像の表示が完了した後、その下の矩形枠へのサムネイル画像の表示が完了する前の画面の様子を示すものとなっており、サムネイル画像が未取得であることを示す「Loading」の文字列が、上段を除く2つの矩形枠の中にそれぞれ記されている。   FIG. 7 is a diagram showing a playback location search screen during the display in step S210. FIG. 7 shows the state of the screen after the thumbnail image display in the upper rectangular frame is completed and before the thumbnail image display in the lower rectangular frame is completed. A character string “Loading” indicating acquisition is written in each of the two rectangular frames excluding the upper row.

ステップS210にて、画像のサムネイル画像表示領域54の3つの矩形枠へサムネイル画像が表示されると、利用者は、操作部32のマルチファンクションボタンの上下の操作を通じて字幕の早送りまたは巻戻しを指示することができる。早送りの指示はマルチファンクションの下ボタンの押下を通じて下され、巻戻しの指示はその上ボタンの押下を通じて下される。また、早送りした先の箇所や巻き戻しした先の箇所からのビデオデータの再生の指示は、下ボタンと上ボタンの間の確定ボタンの押下を通じて下される。   When the thumbnail images are displayed in the three rectangular frames in the thumbnail image display area 54 of the image in step S210, the user instructs fast forward or rewind of the subtitles through the up and down operations of the multifunction buttons of the operation unit 32. can do. The fast-forward instruction is given through pressing the lower button of the multi-function, and the rewinding instruction is given through pressing the upper button. In addition, an instruction to reproduce video data from a fast-forward destination location or a rewind destination location is given by pressing a confirm button between the lower button and the upper button.

早送りの指示が下されると(S220:Yes)、制御部36は、字幕表示領域53の下段に表示された字幕に後続する字幕をRAM39のテキストデータから取得するとともに(S240)、サムネイル画像データを求めるコンテンツ配信サーバ装置10宛てのリクエストを、通信部31から発信する(S250)。このリクエストには、ステップS240で取得したテキストデータと対をなすタイムコードが含まれる。   When an instruction for fast-forwarding is given (S220: Yes), the control unit 36 obtains subtitles subsequent to the subtitles displayed in the lower part of the subtitle display area 53 from the text data in the RAM 39 (S240), and thumbnail image data. A request addressed to the content distribution server device 10 is transmitted from the communication unit 31 (S250). This request includes a time code that is paired with the text data acquired in step S240.

リクエストを受信したコンテンツ配信サーバ装置10の制御部11は、そのリクエストに含まれるタイムコードと対応するサムネイル画像データをステップS130で特定したビデオコンテンツデータから取得し(S260)、取得したサムネイル画像データを含むレスポンスを通信インターフェース12から発信する(S270)。   The control unit 11 of the content distribution server device 10 that has received the request acquires the thumbnail image data corresponding to the time code included in the request from the video content data specified in step S130 (S260), and acquires the acquired thumbnail image data. A response including this is transmitted from the communication interface 12 (S270).

レスポンスを受信した携帯電話端末30の制御部36は、そのレスポンスに含まれるサムネイル画像データおよびステップS240で取得した字幕を、再生箇所検索画面に表示されたサムネイル画像データと字幕の3つの組のうち時間軸上の位置が最も前の組に代えて表示させる(S280)。このステップS280における表示の切り換えは、以下の手順に従う。まず、字幕表示領域53およびサムネイル画像表示領域54の中段に表示されていた字幕とサムネイル画像を、各々の領域の上段に移動させるとともに、字幕表示領域53およびサムネイル画像表示領域54の下段に表示されていた字幕とサムネイル画像を、各々の領域の中段に移動させる。次に、ステップS240で取得した字幕を字幕表示領域53の下段に表示させるとともに、ステップS270で発信されたレスポンスに含まれるサムネイル画像データをデコードして得たサムネイル画像をサムネイル画像表示領域54の下段に表示させる。   The control unit 36 of the mobile phone terminal 30 that has received the response uses the thumbnail image data included in the response and the subtitle acquired in step S240, among the three sets of thumbnail image data and subtitles displayed on the playback location search screen. The position on the time axis is displayed instead of the previous group (S280). The display switching in step S280 follows the following procedure. First, the subtitles and thumbnail images displayed in the middle of the subtitle display area 53 and the thumbnail image display area 54 are moved to the upper stage of the respective areas, and are displayed in the lower stage of the subtitle display area 53 and the thumbnail image display area 54. The subtitles and thumbnail images that have been moved are moved to the middle of each area. Next, the subtitles acquired in step S240 are displayed in the lower part of the subtitle display area 53, and the thumbnail images obtained by decoding the thumbnail image data included in the response transmitted in step S270 are displayed in the lower part of the thumbnail image display area 54. To display.

下ボタンが押下されるたびに、ステップS240からステップS280の処理が繰り返され、再生箇所選択画面の字幕表示領域53とサムネイル画像表示領域54に並ぶ字幕とサムネイル画像の3つの組のうち下の2つが上にスクロールし、新たな組が下段に現れる。利用者は、下ボタンの押下を繰り返すことにより、再生箇所選択画面に表示される字幕とサムネイル画像の組をより後の時間軸上の位置と対応するものへと順次切り換え、再生を希望する箇所の字幕が字幕表示領域53の中段に至ったときに確定ボタンを押下する。   Each time the down button is pressed, the processing from step S240 to step S280 is repeated, and the lower two of the three sets of subtitles and thumbnail images arranged in the subtitle display area 53 and thumbnail image display area 54 of the playback location selection screen are displayed. One scrolls up and a new pair appears in the bottom row. By repeatedly pressing the down button, the user sequentially switches the combination of subtitles and thumbnail images displayed on the playback location selection screen to the one corresponding to the position on the later time axis, and the location where playback is desired When the subtitle has reached the middle of the subtitle display area 53, the confirm button is pressed.

一方、巻戻しの指示が下されると(S230:Yes)、制御部36は、字幕表示領域53の上段に表示された字幕に先行する字幕をRAM39のテキストデータから取得するとともに(S290)、サムネイル画像データを求めるコンテンツ配信サーバ装置10宛てのリクエストを、通信部31から発信する(S300)。このリクエストには、ステップS290で取得したテキストデータと対をなすタイムコードが含まれる。   On the other hand, when an instruction for rewinding is given (S230: Yes), the control unit 36 acquires the subtitle preceding the subtitle displayed in the upper part of the subtitle display area 53 from the text data in the RAM 39 (S290), A request addressed to the content distribution server device 10 for thumbnail image data is transmitted from the communication unit 31 (S300). This request includes a time code that is paired with the text data acquired in step S290.

リクエストを受信したコンテンツ配信サーバ装置10の制御部11は、そのリクエストに含まれるタイムコードと対応するサムネイル画像データをステップS130で特定したビデオコンテンツデータから取得し(S310)、取得したサムネイル画像データを含むレスポンスを通信インターフェース12から発信する(S320)。   The control unit 11 of the content distribution server apparatus 10 that has received the request acquires thumbnail image data corresponding to the time code included in the request from the video content data specified in step S130 (S310), and acquires the acquired thumbnail image data. A response including this is transmitted from the communication interface 12 (S320).

レスポンスを受信した携帯電話端末30の制御部36は、そのレスポンスに含まれるサムネイル画像データをデコードして得たサムネイル画像およびステップS290で取得した字幕を、再生箇所検索画面に表示されたサムネイル画像データと字幕の3つの組のうち時間軸上の位置が最も後の組に代えて表示させる(S330)。このステップS330における表示の切り換えは、以下の手順に従う。まず、字幕表示領域53およびサムネイル画像表示領域54の中段に表示されていた字幕とサムネイル画像を、各々の領域の下段に移動させるとともに、字幕表示領域53およびサムネイル画像表示領域54の上段に表示されていた字幕とサムネイル画像を、各々の領域の中段に移動させる。次に、ステップS290で取得した字幕を字幕表示領域53の上段に表示させるとともに、ステップS320で発信されたレスポンスに含まれるサムネイル画像データをデコードして得たサムネイル画像をサムネイル画像表示領域54の上段に表示させる。   The control unit 36 of the mobile phone terminal 30 that has received the response displays the thumbnail image data obtained by decoding the thumbnail image data included in the response and the thumbnail image data displayed on the playback location search screen, with the subtitles acquired in step S290. And the position on the time axis among the three sets of subtitles is displayed instead of the last set (S330). The switching of display in step S330 follows the following procedure. First, the subtitles and thumbnail images displayed in the middle of the subtitle display area 53 and the thumbnail image display area 54 are moved to the lower stages of the respective areas, and are displayed in the upper stages of the subtitle display area 53 and the thumbnail image display area 54. The subtitles and thumbnail images that have been moved are moved to the middle of each area. Next, the caption obtained in step S290 is displayed in the upper part of the caption display area 53, and the thumbnail image obtained by decoding the thumbnail image data included in the response transmitted in step S320 is displayed in the upper part of the thumbnail image display area 54. To display.

上ボタンが押下されるたびに、ステップS290からステップS330の処理が繰り返され、再生箇所選択画面の字幕表示領域53とサムネイル画像表示領域54に並ぶ字幕とサムネイル画像の3つの組のうち上の2つが下にスクロールし、新たな組が上段に現れる。利用者は、上ボタンの押下を繰り返すことにより、再生箇所選択画面に表示される字幕とサムネイル画像の組をより後の時間軸上の位置と対応するものへと順次切り換え、再生を希望する箇所の字幕が字幕表示領域53の中段に至ったときに確定ボタンを押下する。   Each time the upper button is pressed, the processing from step S290 to step S330 is repeated, and the upper two of the three sets of subtitles and thumbnail images arranged in the subtitle display area 53 and the thumbnail image display area 54 of the playback location selection screen are displayed. One scrolls down and a new pair appears in the top row. By repeatedly pressing the upper button, the user sequentially switches the subtitle and thumbnail image set displayed on the playback location selection screen to the one corresponding to the position on the later time axis, and the location where playback is desired When the subtitle has reached the middle of the subtitle display area 53, the confirm button is pressed.

ステップS280またはステップS330が実行された後、確定ボタンが押下されると(S340:Yes)、ストリーミング再生処理が開始される。   When the confirmation button is pressed after step S280 or step S330 is executed (S340: Yes), streaming playback processing is started.

図8は、ストリーミング再生処理を示すフローチャートである。確定ボタンが押下されると(S340:Yes)、制御部36は、ビデオデータを求めるコンテンツ配信サーバ装置10宛てのリクエストを、通信部31から発信するとともに(S350)、ストリーミング再生画面を液晶表示部33に表示させる(S360)。このリクエストには、確定ボタンが押下された時に字幕表示領域53の中段に表示されていた字幕と対をなすタイムコードが含まれる。ストリーミング再生画面のレイアウトの詳細は、後述する。   FIG. 8 is a flowchart showing streaming playback processing. When the confirmation button is pressed (S340: Yes), the control unit 36 sends a request for video data to the content distribution server device 10 from the communication unit 31 (S350), and displays a streaming playback screen on the liquid crystal display unit. 33 is displayed (S360). This request includes a time code that is paired with the subtitle displayed in the middle of the subtitle display area 53 when the confirmation button is pressed. Details of the layout of the streaming playback screen will be described later.

リクエストを受信したコンテンツ配信サーバ装置10の制御部11は、そのリクエストに含まれるタイムコードが示す時間軸上の位置以降での再生が予定される分のビデオデータのダウンロードを開始する(S370)。   The control unit 11 of the content distribution server apparatus 10 that has received the request starts downloading video data for the amount of playback scheduled after the position on the time axis indicated by the time code included in the request (S370).

コンテンツ配信サーバ装置10によるビデオデータのダウンロードが始まると、制御部36は、ストリーミング再生画面を通じたビデオデータのストリーミング再生を開始する(S380)。ストリーミング再生が始まると、ビデオデータのエンコード、そのエンコードを経て得られるフレーム画像の表示と音声の放音、およびフレーム画像と対応する字幕の表示の関わる処理が並行して行われる。これらの処理の手順を具体的に示すと、以下のようになる。コンテンツ配信サーバからダウンロードされるビデオデータはRAM39に確保したバッファ領域に記憶される。制御部36は、そのバッファ領域に記憶されるビデオデータをデコードし、デコードを経て得られる一連のフレーム画像をストリーミング再生画面のフレーム画像表示領域55(後述)に順次表示させるとともに、その音声を放音部35から放音させる。各フレーム画像の表示の切り換えのタイミング、および、音声の放音のタイミングは、デコードの際にそれらのフレーム画像や音声の信号と併せて得られるタイムコードを基に特定される。また、制御部36は、フレーム画像と時間軸上の位置を同じくするタイムコードと対をなす字幕をRAM39に記憶されているテキストデータから取得し、それらの字幕をストリーミング再生画面の字幕表示領域56(後述)に順次表示させる。   When the download of video data by the content distribution server device 10 starts, the control unit 36 starts streaming playback of the video data through the streaming playback screen (S380). When streaming playback starts, processing related to encoding of video data, display of a frame image obtained through the encoding, sound emission, and display of subtitles corresponding to the frame image are performed in parallel. Specifically, the procedure of these processes is as follows. Video data downloaded from the content distribution server is stored in a buffer area secured in the RAM 39. The control unit 36 decodes the video data stored in the buffer area, sequentially displays a series of frame images obtained through the decoding in a frame image display area 55 (described later) of the streaming playback screen, and releases the sound. Sound is emitted from the sound part 35. The display switching timing of each frame image and the sound emission timing are specified based on a time code obtained together with the frame image and the sound signal at the time of decoding. In addition, the control unit 36 obtains subtitles that are paired with the time code having the same position on the time axis as the frame image from the text data stored in the RAM 39, and these subtitles are displayed in the subtitle display area 56 of the streaming playback screen. (To be described later) sequentially displayed.

図9は、ストリーミング再生画面を示す図である。この画面は、再生時間表示領域52の下に、フレーム画像表示領域55と字幕表示領域56を上下に並べて配したレイアウトになっている。フレーム画像表示領域55には、ビデオデータをデコードして得たフレーム画像が表示される。字幕表示領域56には、RAM39のテキストデータから取得される字幕が表示される。それらの領域55,56のフレーム画像および字幕が時間軸の流れに従って切り換えられることは、上述した通りである。   FIG. 9 is a diagram showing a streaming playback screen. This screen has a layout in which a frame image display area 55 and a caption display area 56 are arranged vertically below the playback time display area 52. In the frame image display area 55, a frame image obtained by decoding the video data is displayed. In the caption display area 56, captions acquired from the text data in the RAM 39 are displayed. As described above, the frame images and subtitles in these areas 55 and 56 are switched according to the flow of the time axis.

ステップS380にて、ストリーミング再生が始まると、利用者は、操作部32のマルチファンクションボタンの左右の操作を通じて字幕の早送りまたは巻戻しを指示することができる。早送りの指示はマルチファンクションの右ボタンの押下を通じて下され、巻戻しの指示はその左ボタンの押下を通じて下される。また、早送りした先の箇所や巻き戻しした先の箇所からのビデオデータの再生の指示は、確定ボタンの押下を通じて下される。   In step S380, when streaming playback starts, the user can instruct fast forward or rewind of subtitles through left and right operations of the multifunction buttons of the operation unit 32. A fast-forward instruction is issued by pressing the right button of the multi-function, and a rewind instruction is given by pressing the left button. In addition, an instruction to reproduce video data from a fast-forward destination or a rewind destination is issued by pressing the enter button.

早送りの指示が下されると(S390:Yes)、制御部36は、字幕表示領域56に表示された字幕に後続する字幕をRAM39のテキストデータから取得し(S410)、その字幕をストリーミング再生画面の字幕表示領域56に表示させるとともに(S420)、ビデオデータを求めるコンテンツ配信サーバ装置10宛てのリクエストを、通信部31から発信する(S430)。このリクエストには、ステップS410で取得した字幕と対をなすタイムコードが含まれる。   When an instruction for fast-forwarding is given (S390: Yes), the control unit 36 acquires a subtitle subsequent to the subtitle displayed in the subtitle display area 56 from the text data in the RAM 39 (S410), and the subtitle is displayed on the streaming playback screen. Is displayed in the subtitle display area 56 (S420), and a request addressed to the content distribution server device 10 for video data is transmitted from the communication unit 31 (S430). This request includes a time code that is paired with the caption obtained in step S410.

リクエストを受信したコンテンツ配信サーバ装置10の制御部11は、そのリクエストに含まれるタイムコードが示す時間軸上の位置以降での再生が予定される分のビデオデータのダウンロードを開始する(S440)。つまり、このステップS440では、リクエストを受信するまで続いていたビデオデータのダウンロードが一旦途切れ、そのリクエストに含まれるタイムコードが示す時間軸上の位置以降のビデオデータのダウンロードが改めて開始される。   The control unit 11 of the content distribution server apparatus 10 that has received the request starts downloading video data for the amount of playback scheduled after the position on the time axis indicated by the time code included in the request (S440). That is, in this step S440, the download of the video data that has continued until the request is received is temporarily interrupted, and the download of the video data after the position on the time axis indicated by the time code included in the request is started again.

一方、巻戻しの指示が下されると(S400:Yes)、制御部36は、字幕表示領域56に表示された字幕に先行する字幕をRAM39のテキストデータから取得し(S450)、その字幕をストリーミング再生画像の字幕表示領域56に表示させるとともに(S460)、ビデオデータを求めるコンテンツ配信サーバ装置10宛てのリクエストを、通信部31から発信する(S470)。このリクエストには、ステップS450で取得した字幕と対をなすタイムコードが含まれる。   On the other hand, when an instruction to rewind is given (S400: Yes), the control unit 36 acquires the subtitle preceding the subtitle displayed in the subtitle display area 56 from the text data in the RAM 39 (S450), and the subtitle is displayed. The streaming reproduction image is displayed in the subtitle display area 56 (S460), and a request for the video data is sent from the communication unit 31 to the content distribution server device 10 (S470). This request includes a time code that is paired with the caption obtained in step S450.

リクエストを受信したコンテンツ配信サーバ装置10の制御部11は、そのリクエストに含まれるタイムコードが示す時間軸上の位置以降での再生が予定される分のビデオデータのダウンロードを開始する(S480)。このステップS480も上述したステップS440と同様に、リクエストを受信するまで続いていたビデオデータのダウンロードが一旦途切れ、そのリクエストに含まれるタイムコードが示す時間軸上の位置以降のビデオデータのダウンロードが改めて開始される。   The control unit 11 of the content distribution server apparatus 10 that has received the request starts downloading video data for the amount of playback scheduled after the position on the time axis indicated by the time code included in the request (S480). Similarly to step S440 described above, in step S480, the download of video data that has continued until the request is received is temporarily interrupted, and the download of video data after the position on the time axis indicated by the time code included in the request is updated. Be started.

以上説明した本実施形態にかかる携帯電話端末30のコンテンツ選択支援処理においては、メニュー画面からユーザが選択したタイトルと対応するビデオコンテンツデータのテキストデータをコンテンツ配信サーバ装置10から受信した携帯電話端末30が、時間軸上の位置が連続する3つの字幕をそのテキストデータから取得し、取得した字幕およびそれらと対応するサムネイル画像を再生箇所検索画面に表示させるようになっている。さらに、操作部32の上下の操作を通じてその再生箇所検索画面に表示された字幕とサムネイル画像の対を上下にスクロールさせ、スクロールによりサムネイル画像が新たに現れるたびに、そのサムネイル画像の画像データをコンテンツ配信サーバ装置16への要求と引き換えに受信するようになっている。このように、コンテンツの冒頭から末尾に至る字幕のテキストデータは一括して受信する一方で、テキストデータよりもデータ容量の大きいサムネイル画像データはいわゆるオンデマンドで受信するようにすることで、操作部32の上下の操作に対するスクロールの追随性を高めるとともに、携帯電話端末30のメモリリソースを効率的に利用することができる。   In the content selection support process of the mobile phone terminal 30 according to the present embodiment described above, the mobile phone terminal 30 that has received the text data of the video content data corresponding to the title selected by the user from the menu screen from the content distribution server device 10. However, three subtitles whose positions on the time axis are continuous are acquired from the text data, and the acquired subtitles and thumbnail images corresponding to the subtitles are displayed on the playback location search screen. Further, the pair of subtitles and thumbnail images displayed on the playback location search screen is scrolled up and down through the up and down operation of the operation unit 32, and the image data of the thumbnail images is stored as content each time a new thumbnail image appears by scrolling. It is received in exchange for a request to the distribution server device 16. As described above, the subtitle text data from the beginning to the end of the content is collectively received, while the thumbnail image data having a data capacity larger than the text data is received on-demand, so that the operation unit It is possible to improve the followability of the scroll with respect to the up / down operation of 32 and to efficiently use the memory resource of the mobile phone terminal 30.

また、上記実施形態にかかる携帯電話端末30のコンテンツ再生処理においては、フレーム画像表示領域55と字幕表示領域56とを個別に配したストリーミング再生画面を液晶表示部33に表示させ、字幕表示領域56に表示された字幕を操作部32の左右の操作を通じて左右にスクロールさせるようになっている。そして、その左右の操作を通じて早送りした先の箇所や巻き戻しした先の箇所からのビデオデータの再生の指示が下されると、その箇所からビデオデータの再生が行われるようになっている。このように、フレーム画像表示領域55におけるビデオデータの再生を中断しないまま字幕表示領域56の字幕を早送りまたは巻戻しさせ、再生位置の確定の指示が下されたところでその位置からビデオデータを改めて再生させるようにすることにより、巻戻しおよび早送りの操作性をより向上させることができる。   In the content playback process of the mobile phone terminal 30 according to the above embodiment, a streaming playback screen in which the frame image display area 55 and the caption display area 56 are individually arranged is displayed on the liquid crystal display unit 33, and the caption display area 56 is displayed. The subtitles displayed on the screen are scrolled left and right through left and right operations of the operation unit 32. When an instruction to reproduce video data is given from the fast-forward destination or the rewind destination location through the left and right operations, the video data is reproduced from that location. In this way, the subtitle in the subtitle display area 56 is fast-forwarded or rewinded without interrupting the playback of the video data in the frame image display area 55, and the video data is replayed from that position when an instruction to confirm the playback position is given. By doing so, the operability of rewinding and fast-forwarding can be further improved.

(他の実施形態)
本発明は、種々の変形実施が可能である。
(Other embodiments)
The present invention can be modified in various ways.

上記実施形態にかかる携帯電話端末30のコンテンツ選択支援処理においては、マルチファンクションボタンの上下の操作によって早送りまたは巻戻しの指示が下されると、サムネイル画像データを求めるコンテンツ配信サーバ装置10宛てのリクエストがまず発信され、そのレスポンスに含まれるサムネイル画像データのデコードを実行した後に、デコードを経て得たサムネイル画像とそれに対応する字幕とが纏めて表示されるようになっている。これに対し、早送りまたは巻戻しの指示が下された時点で字幕のみを先に切り換え、サムネイル画像データのデコードにより得られたサムネイル画像を後から表示させるようにしてもよい。   In the content selection support process of the mobile phone terminal 30 according to the above embodiment, when a fast-forward or rewind instruction is given by the up / down operation of the multifunction button, a request addressed to the content distribution server device 10 for obtaining thumbnail image data Is first transmitted, and after decoding the thumbnail image data included in the response, the thumbnail image obtained through the decoding and the corresponding subtitles are displayed together. On the other hand, when a fast forward or rewind instruction is given, only the subtitles are switched first, and the thumbnail image obtained by decoding the thumbnail image data may be displayed later.

本発明の実施形態にかかる動画像コンテンツ配信システムの全体構成図である。1 is an overall configuration diagram of a moving image content distribution system according to an embodiment of the present invention. コンテンツ配信サーバ装置のハードウェア概略構成図である。It is a hardware schematic block diagram of a content delivery server apparatus. 携帯電話端末のハードウェア概略構成図である。It is a hardware schematic block diagram of a mobile telephone terminal. コンテンツ選択支援処理を示すフローチャートである(前半部分)。It is a flowchart which shows a content selection assistance process (first half part). コンテンツ選択支援処理を示すフローチャートである(後半部分)。It is a flowchart which shows a content selection assistance process (second half part). 再生箇所検索画面を示す図である。It is a figure which shows a reproduction | regeneration location search screen. 再生箇所検索画面を示す図である。It is a figure which shows a reproduction | regeneration location search screen. ストリーミング再生処理を示すフローチャートである。It is a flowchart which shows a streaming reproduction process. ストリーミング再生画面を示す図である。It is a figure which shows a streaming reproduction | regeneration screen.

符号の説明Explanation of symbols

10…コンテンツ配信サーバ装置、91…インターネット通信網、92…移動体パケット通信網、93…ゲートウェイサーバ装置、30…携帯電話端末、11,36…制御部、12…通信インターフェース、13…ハードディスク、14,37…CPU、15,38…ROM、16,39…RAM、17…コンテンツデータベース、18…メニュー画面表示支援データ、40…EEPROM、31…通信部、32…操作部、33…液晶表示部、34…収音部、35…放音部、52…再生時間表示領域、53,56…字幕表示領域、54…サムネイル画像表示領域、55…フレーム画像表示領域、 DESCRIPTION OF SYMBOLS 10 ... Content delivery server apparatus, 91 ... Internet communication network, 92 ... Mobile packet communication network, 93 ... Gateway server apparatus, 30 ... Mobile phone terminal, 11, 36 ... Control part, 12 ... Communication interface, 13 ... Hard disk, 14 37 ... CPU, 15, 38 ... ROM, 16, 39 ... RAM, 17 ... content database, 18 ... menu screen display support data, 40 ... EEPROM, 31 ... communication unit, 32 ... operation unit, 33 ... liquid crystal display unit, 34 ... Sound collection unit, 35 ... Sound emission unit, 52 ... Playback time display area, 53, 56 ... Subtitle display area, 54 ... Thumbnail image display area, 55 ... Frame image display area,

Claims (3)

操作手段と、
通信手段と、
表示手段と、
記憶手段と、
ビデオコンテンツをなす一連のフレーム画像、または、それらのうちの一部のフレーム画像の各々と対応する字幕を示すテキストデータと前記ビデオコンテンツの冒頭から末尾に至る間の時間軸上の位置を示すタイムコードの各対を、前記通信手段を介して取得し、取得した各対を前記記憶手段に記憶させる第1の制御手段と、
前記記憶手段に記憶されたタイムコードを時間軸上の位置が先行するものから順次特定し、特定したタイムコードと対をなすテキストデータが示す字幕を前記表示手段に表示させる手段であって、前記操作手段の操作を通じて字幕の早送りまたは巻戻しの指示が下されるたびに、前記表示手段に表示されている字幕をその字幕に後続しまたは先行する別の字幕に切り換えるとともに、切り換え後の字幕のテキストデータと対をなすタイムコードを含むリクエストを前記通信手段を介して発信する第2の制御手段と、
前記リクエストに含まれるタイムコードが示す時間軸上の位置以降での再生が予定される一連のフレーム画像を示すビデオデータを前記通信手段を介して取得し、取得したビデオデータが示す一連のフレーム画像を前記字幕とともに前記表示手段に順次表示させる第3の制御手段と、
を有し、
前記第3の制御手段は、サムネイル画像データが示す縮小画像を前記字幕と対応付けて前記表示手段に表示させるときに、前記字幕のみを先に表示し、前記サムネイル画像データのデコードにより得られたサムネイル画像を後から前記字幕に対応付けて表示させる、
ことを特徴とするビデオコンテンツ再生端末。
Operation means;
Communication means;
Display means;
Storage means;
A series of frame images forming the video content, or a time indicating the position on the time axis during which the beginning of the text data and the video content showing a corresponding subtitle and each part of the frame image of which leads to the end each pair of code acquired via the communication unit, a first control means for storing each pair acquired in the storage means,
Said sequential identifying the time codes stored in the storage means from which the position on the time axis prior to a means for displaying subtitles represented by text data constituting a time code and pair specific to the display means, wherein each time the instruction of fast-forward or rewind the subtitle is made as through operation of the operating means, it switches the subtitles being displayed on the display means to another subtitle succeeding or preceding the subtitles, the subtitle after switching and second control means for transmitting a request including a time code constituting the text data and the pair via the said communication means,
The video data representing a sequence of frame images reproduced are scheduled at later position on the time axis indicated by the time code included in the request obtained via the communication unit, a series of frame images indicated by the acquired video data and third control means for sequentially displaying on said display means together with the subtitles,
Have
When the reduced image indicated by the thumbnail image data is displayed on the display unit in association with the subtitle, the third control unit displays only the subtitle first, and is obtained by decoding the thumbnail image data. Display thumbnail images in association with the subtitles later.
A video content playback terminal characterized by that.
前記ビデオデータは、
一連のフレーム画像とそれらの再生が予定される時間軸上の位置とを示し、
前記第2の制御手段は、
前記早送りまたは巻き戻しの指示が下されない間は、前記取得されたビデオデータが示す一連のフレーム画像の各々の時間軸上の位置をそのビデオデータを基に特定し、前記第3の制御手段が表示手段に表示させるフレーム画像の各々と時間軸上の位置を同じくする字幕を、前記表示手段に順次表示させる、
ことを特徴とする請求項1に記載のビデオコンテンツ再生端末。
The video data is
Shows a series of frame images and their positions on the time axis where they will be played,
The second control means includes
While the fast forward or rewind instruction is not given, the position on the time axis of each of the series of frame images indicated by the acquired video data is specified based on the video data, and the third control means Subtitles having the same position on the time axis as the frame images to be displayed on the display means are sequentially displayed on the display means.
The video content reproduction terminal according to claim 1, wherein
操作手段、通信手段、表示手段、および記憶手段を有するコンピュータに、
ビデオコンテンツをなす一連のフレーム画像、または、それらのうちの一部のフレーム画像の各々と対応する字幕を示すテキストデータと前記ビデオコンテンツの冒頭から末尾に至る間の時間軸上の位置を示すタイムコードの各対を、前記通信手段を介して取得し、取得した各対を前記記憶手段に記憶させる第1の制御機能と、
前記記憶手段に記憶されたタイムコードを時間軸上の位置が先行するものから順次特定し、特定したタイムコードと対をなすテキストデータが示す字幕を前記表示手段に表示させる機能であって、前記操作手段の操作を通じて字幕の早送りまたは巻戻しの指示が下されるたびに、前記表示手段に表示されている字幕をその字幕に後続しまたは先行する別の字幕に切り換えるとともに、切り換え後の字幕のテキストデータと対をなすタイムコードを含むリクエストを前記通信手段を介して発信する第2の制御機能と、
前記リクエストに含まれるタイムコードが示す時間軸上の位置以降での再生が予定される一連のフレーム画像を示すビデオデータを前記通信手段を介して取得し、取得したビデオデータが示す一連のフレーム画像を前記字幕とともに前記表示手段に順次表示させる第3の制御機能と、
を実現させ、
前記第3の制御機能は、サムネイル画像データが示す縮小画像を前記字幕と対応付けて前記表示手段に表示させるときに、前記字幕のみを先に表示し、前記サムネイル画像データのデコードにより得られたサムネイル画像を後から前記字幕に対応付けて表示させる、
ことを特徴とするビデオコンテンツ再生プログラム。
In a computer having operation means, communication means, display means, and storage means,
A series of frame images forming the video content, or a time indicating the position on the time axis during which the beginning of the text data and the video content showing a corresponding subtitle and each part of the frame image of which leads to the end each pair of code acquired via the communication unit, a first control function of storing each pair acquired in the storage means,
Said sequential identifying the time codes stored in the storage means from which the position on the time axis prior to a function of displaying subtitles represented by text data constituting a time code and pair specific to the display means, wherein each time the instruction of fast-forward or rewind the subtitle is made as through operation of the operating means, it switches the subtitles being displayed on the display means to another subtitle succeeding or preceding the subtitles, the subtitle after switching a second control function for transmitting a request including a time code constituting the text data and the pair via the said communication means,
The video data representing a sequence of frame images reproduced are scheduled at later position on the time axis indicated by the time code included in the request obtained via the communication unit, a series of frame images indicated by the acquired video data a third control function for sequentially displaying on said display means together with the subtitles,
Realized,
When the reduced image indicated by the thumbnail image data is displayed on the display unit in association with the subtitle, the third control function displays only the subtitle first, and is obtained by decoding the thumbnail image data. Display thumbnail images in association with the subtitles later.
A video content reproduction program characterized by the above .
JP2007221556A 2007-08-28 2007-08-28 Video content playback terminal and video content playback program Expired - Fee Related JP5196635B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007221556A JP5196635B2 (en) 2007-08-28 2007-08-28 Video content playback terminal and video content playback program
PCT/JP2008/064273 WO2009028318A1 (en) 2007-08-28 2008-08-08 Video content reproduction terminal and video content reproduction program
CN2008801045337A CN101785315B (en) 2007-08-28 2008-08-08 Video content reproduction terminal
HK10111099.5A HK1144634A1 (en) 2007-08-28 2010-11-29 Video content reproduction terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007221556A JP5196635B2 (en) 2007-08-28 2007-08-28 Video content playback terminal and video content playback program

Publications (2)

Publication Number Publication Date
JP2009055466A JP2009055466A (en) 2009-03-12
JP5196635B2 true JP5196635B2 (en) 2013-05-15

Family

ID=40387044

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007221556A Expired - Fee Related JP5196635B2 (en) 2007-08-28 2007-08-28 Video content playback terminal and video content playback program

Country Status (4)

Country Link
JP (1) JP5196635B2 (en)
CN (1) CN101785315B (en)
HK (1) HK1144634A1 (en)
WO (1) WO2009028318A1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150091185A (en) * 2011-12-28 2015-08-07 인텔 코포레이션 Real-time natural language processing of datastreams
JP6885662B2 (en) * 2015-05-11 2021-06-16 日本電気株式会社 Ordering terminal, menu server, ordering server, ordering system, ordering method, and ordering program
JP6078673B1 (en) * 2016-02-29 2017-02-08 三菱日立パワーシステムズ株式会社 Video playback device, video playback method, and program
JP7447422B2 (en) 2019-10-07 2024-03-12 富士フイルムビジネスイノベーション株式会社 Information processing equipment and programs
CN113259739B (en) * 2021-05-13 2022-06-03 四川长虹网络科技有限责任公司 Video display method, video display device, computer equipment and readable storage medium

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW293981B (en) * 1995-07-21 1996-12-21 Philips Electronics Nv
JP3982295B2 (en) * 2002-03-20 2007-09-26 日本電信電話株式会社 Video comment input / display method and system, client device, video comment input / display program, and recording medium therefor
JP4296157B2 (en) * 2005-03-09 2009-07-15 ダイキン工業株式会社 Information processing apparatus, portable device, information processing method, and program
JP2007036752A (en) * 2005-07-27 2007-02-08 Tdk Corp System, method and program for reproducing contents
JP2007174245A (en) * 2005-12-21 2007-07-05 Daikin Ind Ltd System and method for reproducing video recording

Also Published As

Publication number Publication date
JP2009055466A (en) 2009-03-12
HK1144634A1 (en) 2011-02-25
CN101785315A (en) 2010-07-21
CN101785315B (en) 2013-04-17
WO2009028318A1 (en) 2009-03-05

Similar Documents

Publication Publication Date Title
US8249422B2 (en) Content usage system, content usage method, recording and playback device, content delivery method, and content delivery program
KR101394515B1 (en) Mobile communication device capable of storing video chatting log and operating method thereof
EP2830322A1 (en) Method, terminal and server for implementing trickplay
JP2009171388A (en) Information transmission apparatus, and information distribution system
JP5196635B2 (en) Video content playback terminal and video content playback program
WO2008047647A1 (en) Mobile communication terminal
JP4628285B2 (en) Program recording device, portable terminal, program recording / playback system, recorded program display method
JP2007172264A (en) Electronic mail animation reproduction system
JP5196634B2 (en) Video content playback terminal and video content playback program
JP2007104679A (en) Dmb terminal and method for regenerating dmb data in dmb service
JP5025099B2 (en) Mobile device
JP5214614B2 (en) Video distribution apparatus and video distribution program
JP2007089025A (en) Information processing apparatus for viewing content during speech, information processing method and program therefor
JP4399865B2 (en) Recorded program playback device, recorded program playback method, and recorded program playback program
JP6223016B2 (en) Video output device, subtitle server device, video output method, and program
JP2005156626A (en) Display apparatus with scrolling processing, recording medium, and computer readable program
JP5173269B2 (en) Information distribution system and video content reproduction control method in the same system
JP4938384B2 (en) Moving image data distribution system, moving image data providing method, moving image data distribution program, moving image data providing program, and computer-readable recording medium on which those programs are recorded
JP4709107B2 (en) Television broadcast receiving apparatus and program
JP4768554B2 (en) Portable terminal device and program
JP4846674B2 (en) Still image extraction apparatus and still image extraction program
JP6473770B2 (en) Video output device, subtitle server device, video output method, and program
JP5643149B2 (en) Portable terminal device and program
JP4129454B2 (en) Television receiving method and mobile communication terminal device
KR101378092B1 (en) Method for searching streaming data skip and device thereof

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20100329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100329

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130204

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160215

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5196635

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees