JP4544166B2 - Broadcast image generation method, broadcast image generation program, and broadcast image generation apparatus - Google Patents

Broadcast image generation method, broadcast image generation program, and broadcast image generation apparatus Download PDF

Info

Publication number
JP4544166B2
JP4544166B2 JP2006021065A JP2006021065A JP4544166B2 JP 4544166 B2 JP4544166 B2 JP 4544166B2 JP 2006021065 A JP2006021065 A JP 2006021065A JP 2006021065 A JP2006021065 A JP 2006021065A JP 4544166 B2 JP4544166 B2 JP 4544166B2
Authority
JP
Japan
Prior art keywords
image data
character
data
pixel
broadcast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006021065A
Other languages
Japanese (ja)
Other versions
JP2007202065A (en
Inventor
治 井坂
晴雄 東風
充 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daikin Industries Ltd
Original Assignee
Daikin Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daikin Industries Ltd filed Critical Daikin Industries Ltd
Priority to JP2006021065A priority Critical patent/JP4544166B2/en
Publication of JP2007202065A publication Critical patent/JP2007202065A/en
Application granted granted Critical
Publication of JP4544166B2 publication Critical patent/JP4544166B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、携帯端末等の処理能力に制限がある端末においても、字幕情報を表示させるための放送画像生成方法、放送画像生成プログラム及び放送画像生成装置に関する。   The present invention relates to a broadcast image generation method, a broadcast image generation program, and a broadcast image generation apparatus for displaying caption information even in a terminal having limited processing capability such as a portable terminal.

テレビジョン放送として放送される番組のデータには、映像データと音声データが含まれている。そして、放送される番組データには、表示させるか否かをユーザ側で選択可能な字幕データが含まれている場合がある。このような選択可能な字幕データは、一般にクローズドキャプション(closed caption)と称され、主に、聴覚障害者用に開発されたものである。この字幕の中には、出演者の会話だけではなく、例えば、BGMや効果音などの説明も含まれる。   The data of a program broadcast as a television broadcast includes video data and audio data. The broadcast program data may include subtitle data that allows the user to select whether to display the program data. Such selectable caption data is generally referred to as closed caption, and is mainly developed for the hearing impaired. This subtitle includes not only the performer's conversation but also explanations such as BGM and sound effects.

このクローズドキャプションは、テレビジョン信号の21番目の水平走査線に、画面に関する音声等を文字コード化したものを挿入する。クローズドキャプションデータは、専用のデコーダによってテレビジョン信号から分離することができる。   In this closed caption, a voice-coded audio code or the like is inserted into the 21st horizontal scanning line of the television signal. Closed caption data can be separated from the television signal by a dedicated decoder.

このようなクローズドキャプションデータに基づき表示するか否かをユーザが選択することが可能なテキストデータを用いてメタデータを生成する技術も開示されている(例えば、特許文献1を参照。)。この文献記載の情報処理装置においては、送信号を取得し、この放送信号から番組を固有に区別可能な区別情報を取得する。そして、放送信号に、時刻情報と区別情報とを付加する。これにより、テキストデータに対応する時刻情報と番組を区別する区別情報を有するメタデータを用いて検索することができる。   A technique for generating metadata using text data that allows the user to select whether or not to display based on such closed caption data is also disclosed (see, for example, Patent Document 1). In the information processing apparatus described in this document, a transmission signal is acquired, and identification information that can uniquely distinguish a program is acquired from the broadcast signal. Then, time information and distinction information are added to the broadcast signal. Thereby, it is possible to search using the metadata having the time information corresponding to the text data and the discriminating information for discriminating the program.

また、小さなディスプレイに映像を再生表示しても見やすいキャプションを表示する技術も検討されている(例えば、特許文献2を参照。)。この文献記載の技術では、記録メディアから読み込んだ変換前の映像データをフレームメモリに展開する。文字認識部は映像データ中に映像として書き込まれている映像キャプションを図形として解析し、文字認識を行なってキャプションテキストデータを得る。必要に応じてデータフォーマット変換部により映像データのデータフォーマットを変換し、書き込み部により変換後の映像データとキャプションテキストデータを記録する。携帯電話等の小型データ表示装置は記録メディアまたはネットワークメディアから映像データを入力し、ディスプレイの第1の表示エリアに映像データを、第2の表示エリアにキャプションテキストデータから当該エリアに合わせて生成したキャプションを表示する。
特開2005−198206号公報(第1頁) 特開2005−123726号公報(第1頁)
In addition, a technique for displaying a caption that is easy to view even when an image is reproduced and displayed on a small display has been studied (for example, see Patent Document 2). In the technique described in this document, video data before conversion read from a recording medium is developed in a frame memory. The character recognition unit analyzes the video caption written as video in the video data as a figure, and performs character recognition to obtain caption text data. If necessary, the data format conversion unit converts the data format of the video data, and the writing unit records the converted video data and caption text data. A small-sized data display device such as a mobile phone inputs video data from a recording medium or network media, and generates video data in the first display area of the display and caption text data in the second display area according to the area. Display caption.
JP 2005-198206 A (first page) Japanese Patent Laying-Open No. 2005-123726 (first page)

上述のように、特に最近では携帯電話端末等の携帯型端末が広く普及しつつある。このような携帯型端末は、ネットワーク接続機能、画像再生機能等、多種多様な機能を備えているものもある。更に、プログラムの実行環境を搭載した機種も提供されており、簡単なアプリケーションプログラムをダウンロードしたり、実行したりできる場合もある。しかし、携帯型端末は、携帯性のために小型の筐体に収められ、ディスプレイの大きさにも制限がある。更に、メモリ容量、消費電力やCPU(central processing unit )の機能にも制限があるため、高度な情報処理を実行することが困難な場合がある。このため、クローズドキャプションデータのデコーダ機能等の複雑なアプリケーションプログラムを小型の携帯端末において実行させることには限界がある。   As described above, portable terminals such as cellular phone terminals have recently become widespread. Some of such portable terminals have various functions such as a network connection function and an image reproduction function. Furthermore, a model equipped with a program execution environment is also provided, and a simple application program may be downloaded or executed. However, the portable terminal is housed in a small casing for portability, and the size of the display is limited. Furthermore, since there are limitations on the memory capacity, power consumption, and CPU (central processing unit) functions, it may be difficult to execute advanced information processing. For this reason, there is a limit in executing a complicated application program such as a closed caption data decoder function in a small portable terminal.

本発明は、上記課題を解決するためになされたものであり、その目的は、携帯端末等の処理能力に制限がある端末においても、字幕情報の表示を行なうことができる放送画像生成方法、放送画像生成プログラム及び放送画像生成装置を提供することにある。   The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a broadcast image generation method capable of displaying subtitle information even in a terminal having limited processing capability such as a portable terminal, and a broadcast An object is to provide an image generation program and a broadcast image generation apparatus.

上記問題点を解決するために、請求項1に記載の発明は、放送信号を取得する制御コンピュータを用いて、放送に関する画像データを生成する方法であって、前記制御コンピュータが、放送信号における映像データから第1画像データを取得する画像データ取得段階と、前記映像データに対応する文字データを取得する文字データ取得段階と、前記文字データに対してサブピクセルを用いた階調表現処理を行なった文字画像データを生成する文字画像生成段階と、前記文字画像データと前記第1画像データとを合体させた第2画像データを、JPEG方式の変換アルゴリズムにより生成する合体画像生成段階とを実行し、前記サブピクセルを用いた階調表現処理は、ピクセルを構成する赤・緑・青の三原色の画素において、一ピクセルを構成する前記各色の階調を制御するアンチエイリアシング処理であることを要旨とする。 In order to solve the above problem, the invention described in claim 1 is a method for generating image data relating to broadcasting using a control computer for acquiring a broadcast signal, wherein the control computer is configured to generate a video image in the broadcast signal. An image data acquisition step for acquiring first image data from the data, a character data acquisition step for acquiring character data corresponding to the video data, and a gradation expression process using subpixels for the character data Performing a character image generation step of generating character image data, and a merged image generation step of generating second image data obtained by combining the character image data and the first image data by a JPEG conversion algorithm ; The gradation expression processing using the sub-pixels constitutes one pixel in the three primary colors of red, green and blue constituting the pixel. That is summarized in that said a anti-aliasing process for controlling the gradation of each color.

請求項2に記載の発明は、請求項1に記載の放送画像生成方法において、前記制御コンピュータが、受信した放送信号から字幕信号を抽出する段階と、前記文字データ取得段階において、前記字幕信号に基づいて文字データを生成することを要旨とする。   According to a second aspect of the present invention, in the broadcast image generation method according to the first aspect, the control computer extracts the caption signal from the received broadcast signal and the character data acquisition stage. The gist is to generate character data based on this.

請求項3に記載の発明は、請求項1に記載の放送画像生成方法において、前記制御コンピュータが、受信した放送信号の放送識別子を特定する段階と、前記文字データ取得段階において、前記放送識別子に関連付けられた文字データを、映像毎に取得することを要旨とする。   According to a third aspect of the present invention, in the broadcast image generation method according to the first aspect, the control computer specifies the broadcast identifier in a step of specifying a broadcast identifier of the received broadcast signal and in the character data acquisition step. The gist is to obtain associated character data for each video.

請求項4に記載の発明は、放送信号を取得する制御コンピュータを用いて、放送に関する画像データを生成する方法であって、前記制御コンピュータが、放送信号における映像データから第1画像データを取得する画像データ取得段階と、前記映像データに対応する文字データを取得する文字データ取得段階と、前記文字データに対してサブピクセルを用いた階調表現処理を行なった文字画像データを生成する文字画像生成段階と、前記文字画像データと前記第1画像データとを合体させた第2画像データを、離散コサイン変換の圧縮アルゴリズムにより生成する合体画像生成段階とを実行し、前記サブピクセルを用いた階調表現処理は、ピクセルを構成する赤・緑・青の三原色の画素において、一ピクセルを構成する前記各色の階調を制御するアンチエイリアシング処理であることを要旨とする。 The invention according to claim 4 is a method for generating image data relating to broadcasting using a control computer for acquiring a broadcast signal, wherein the control computer acquires first image data from video data in the broadcast signal. An image data acquisition step, a character data acquisition step of acquiring character data corresponding to the video data, and a character image generation of generating character image data obtained by performing gradation expression processing using subpixels on the character data And a combined image generating step of generating second image data obtained by combining the character image data and the first image data by a compression algorithm of discrete cosine transform, and performing gradation using the sub-pixels The expression process controls the gradation of each color that constitutes one pixel in the three primary colors of red, green, and blue that constitute the pixel. And summarized in that a that the anti-aliasing process.

請求項5に記載の発明は、放送信号を取得する制御コンピュータを用いて、放送に関する画像データを生成する装置であって、前記制御コンピュータが、放送信号における映像データから第1画像データを取得する画像データ取得手段と、前記映像データに対応する文字データを取得する文字データ取得手段と、前記文字データに対してサブピクセルを用いた階調表現処理を行なった文字画像データを生成する文字画像生成手段と、前記文字画像データと前記第1画像データとを合体させた第2画像データを、JPEG方式の変換アルゴリズムにより生成する合体画像生成手段として機能し、前記サブピクセルを用いた階調表現処理は、ピクセルを構成する赤・緑・青の三原色の画素において、一ピクセルを構成する前記各色の階調を制御するアンチエイリアシング処理であることを要旨とする。 The invention according to claim 5 is an apparatus for generating image data relating to broadcasting using a control computer for acquiring a broadcast signal, wherein the control computer acquires first image data from video data in the broadcast signal. Image data acquisition means, character data acquisition means for acquiring character data corresponding to the video data, and character image generation for generating character image data obtained by performing gradation expression processing using subpixels on the character data And gradation expression processing using the sub-pixel, functioning as combined image generation means for generating second image data obtained by combining the character image data and the first image data using a JPEG conversion algorithm Controls the gradation of each color constituting one pixel in the three primary colors of red, green, and blue constituting the pixel. And summarized in that a anti-aliasing process.

請求項6に記載の発明は、放送信号を取得する制御コンピュータを用いて、放送に関する画像データを生成する装置であって、前記制御コンピュータが、放送信号における映像データから第1画像データを取得する画像データ取得手段と、前記映像データに対応する文字データを取得する文字データ取得手段と、前記文字データに対してサブピクセルを用いた階調表現処理を行なった文字画像データを生成する文字画像生成手段と、前記文字画像データと前記第1画像データとを合体させた第2画像データを、離散コサイン変換の圧縮アルゴリズムにより生成する合体画像生成手段として機能し、前記サブピクセルを用いた階調表現処理は、ピクセルを構成する赤・緑・青の三原色の画素において、一ピクセルを構成する前記各色の階調を制御するアンチエイリアシング処理であることを要旨とする。 The invention according to claim 6 is an apparatus for generating image data relating to broadcasting using a control computer for acquiring a broadcast signal, wherein the control computer acquires first image data from video data in the broadcast signal. Image data acquisition means, character data acquisition means for acquiring character data corresponding to the video data, and character image generation for generating character image data obtained by performing gradation expression processing using subpixels on the character data Gradation expression using the sub-pixel, functioning as a combined image generating means for generating second image data obtained by combining the character image data and the first image data by a compression algorithm of discrete cosine transform The processing controls the gradation of each color constituting one pixel in the three primary colors of red, green, and blue constituting the pixel. And summarized in that a anti-aliasing process for.

請求項7に記載の発明は、放送信号を取得する制御コンピュータを用いて、放送に関する画像データを生成するプログラムであって、前記制御コンピュータを、放送信号における映像データから第1画像データを取得する画像データ取得手段と、前記映像データに対応する文字データを取得する文字データ取得手段と、前記文字データに対してサブピクセルを用いた階調表現処理を行なった文字画像データを生成する文字画像生成手段と、前記文字画像データと前記第1画像データとを合体させた第2画像データを、JPEG方式の変換アルゴリズムにより生成する合体画像生成手段として機能させ、前記サブピクセルを用いた階調表現処理は、ピクセルを構成する赤・緑・青の三原色の画素において、一ピクセルを構成する前記各色の階調を制御するアンチエイリアシング処理であることを要旨とする。 The invention according to claim 7 is a program for generating image data relating to broadcasting using a control computer for acquiring a broadcast signal, wherein the control computer acquires first image data from video data in the broadcast signal. Image data acquisition means, character data acquisition means for acquiring character data corresponding to the video data, and character image generation for generating character image data obtained by performing gradation expression processing using subpixels on the character data And a gray scale expression process using the sub-pixel, functioning as a combined image generating means for generating a second image data obtained by combining the character image data and the first image data by a JPEG conversion algorithm. Is the gradation of each color constituting one pixel in the three primary colors of red, green and blue constituting the pixel. A gist that the anti-aliasing process of controlling.

請求項8に記載の発明は、放送信号を取得する制御コンピュータを用いて、放送に関する画像データを生成するプログラムであって、前記制御コンピュータを、放送信号における映像データから第1画像データを取得する画像データ取得手段と、前記映像データに対応する文字データを取得する文字データ取得手段と、前記文字データに対してサブピクセルを用いた階調表現処理を行なった文字画像データを生成する文字画像生成手段と、前記文字画像データと前記第1画像データとを合体させた第2画像データを、離散コサイン変換の圧縮アルゴリズムにより生成する合体画像生成手段として機能させ、前記サブピクセルを用いた階調表現処理は、ピクセルを構成する赤・緑・青の三原色の画素において、一ピクセルを構成する前記各色の階調を制御するアンチエイリアシング処理であることを要旨とする。 The invention according to claim 8 is a program for generating image data relating to broadcasting using a control computer for acquiring a broadcast signal, wherein the control computer acquires first image data from video data in the broadcast signal. Image data acquisition means, character data acquisition means for acquiring character data corresponding to the video data, and character image generation for generating character image data obtained by performing gradation expression processing using subpixels on the character data Gray scale expression using the sub-pixels, functioning as combined image generation means for generating second image data obtained by combining the character image data and the first image data by a compression algorithm of discrete cosine transform The processing is performed on the pixels of the three primary colors of red, green, and blue constituting the pixel. And summarized in that a anti-aliasing processing for controlling the tone.

(作用)
請求項1、5、7に記載の発明によれば、文字データに対してサブピクセルを用いた階調表現処理(ピクセルを構成する赤・緑・青の三原色の画素において、一ピクセルを構成する各色の階調を制御するアンチエイリアシング処理)を行なった文字画像データを生成し、文字画像データと第1画像データとを合体させた第2画像データを、JPEG方式の変換アルゴリズムにより生成する。これにより、JPEG方式で生成された画像を閲覧することができるビューアを備えた端末を用いて、映像と文字とを閲覧することができる。更に、文字画像データはサブピクセルを用いた階調表現処理を行なって生成されるので、読みやすい文字を再現させることができる。
(Function)
According to the first, fifth, and seventh aspects of the invention, gradation expression processing using sub-pixels for character data (one pixel is formed in the three primary colors of red, green, and blue constituting the pixel). Character image data subjected to anti-aliasing processing for controlling the gradation of each color is generated, and second image data obtained by combining the character image data and the first image data is generated by a JPEG conversion algorithm. Thereby, it is possible to browse video and characters using a terminal including a viewer that can browse images generated by the JPEG method. Furthermore, since the character image data is generated by performing gradation expression processing using subpixels, it is possible to reproduce easy-to-read characters.

請求項2に記載の発明によれば、受信した放送信号から字幕信号を抽出し、字幕信号に基づいて文字データを生成するため、字幕放送の文字を、デコーダのない端末においても閲覧することができる。   According to the second aspect of the present invention, since the caption signal is extracted from the received broadcast signal and character data is generated based on the caption signal, the characters of the caption broadcast can be viewed even on a terminal without a decoder. it can.

請求項3に記載の発明によれば、受信した放送信号の放送識別子を特定し、この放送識別子に関連付けられた文字データを、映像毎に取得するため、字幕情報のみならず、多様なチャネルを介して提供される情報を、簡易な端末において閲覧することができる。   According to the third aspect of the invention, the broadcast identifier of the received broadcast signal is specified, and the character data associated with the broadcast identifier is acquired for each video. The information provided through the user can be viewed on a simple terminal.

請求項4、6、8に記載の発明によれば、文字画像データと第1画像データとを合体させた第2画像データを、離散コサイン変換の圧縮アルゴリズムにより生成する。離散コサイン変換を用いた場合、データ圧縮を行なうと同時に、簡易な端末においても読みやすい文字を再現することができる。   According to the fourth, sixth, and eighth aspects of the invention, the second image data obtained by combining the character image data and the first image data is generated by a compression algorithm of discrete cosine transform. When the discrete cosine transform is used, it is possible to reproduce characters that are easy to read even with a simple terminal while performing data compression.

本発明によれば、携帯端末等の処理能力に制限がある端末においても、字幕情報の表示を行なうことができる。   According to the present invention, it is possible to display caption information even in a terminal having a limited processing capability such as a portable terminal.

以下、本発明を具体化した一実施形態を、図1〜図3を用いて説明する。図1は、本発明を適用した映像情報処理装置の構成について説明するための説明図である。本実施形態では、図1に示すように、放送局からの放送信号を、テレビジョン受像機30を用いて受信する。このテレビジョン受像機30には表示選択字幕デコーダ40、ホームサーバ50が接続される。表示選択字幕デコーダ40は、ユーザの操作入力に基づいて、表示選択字幕をデコードして映像に重畳させて表示させたり、録画データを生成し、ホームサーバ50に供給して録画させたりする。   Hereinafter, an embodiment embodying the present invention will be described with reference to FIGS. FIG. 1 is an explanatory diagram for explaining a configuration of a video information processing apparatus to which the present invention is applied. In this embodiment, as shown in FIG. 1, a broadcast signal from a broadcast station is received using a television receiver 30. A display selection subtitle decoder 40 and a home server 50 are connected to the television receiver 30. The display selection subtitle decoder 40 decodes the display selection subtitle based on the user's operation input and displays it on the video, or generates recording data and supplies it to the home server 50 for recording.

放送局10は、地上波や衛星波などを用いて番組を放送する施設である。放送される番
組の放送信号には、映像データと音声データが含まれる。この映像データは、動画像データであり、音声データは、映像データと同期して再生される音声に関するデータである。
The broadcasting station 10 is a facility that broadcasts programs using terrestrial waves or satellite waves. The broadcast signal of the broadcast program includes video data and audio data. The video data is moving image data, and the audio data is data relating to audio that is reproduced in synchronization with the video data.

また、この放送信号の中には、映像として常に表示される字幕と、選択により表示される字幕とが含まれる。前者には、番組の題名やキャストなどの紹介、海外の作品における日本語字幕等がある。一方、後者のように表示選択の可能な字幕データ(いわゆるクローズドキャプション)には、出演者の会話に対応するテキストデータや、例えばBGMや効果音など、放送コンテンツに関する説明が含まれている場合もある。このように、表示と非表示を選択可能な字幕データを「表示選択字幕データ」と呼ぶ。   Also, the broadcast signal includes subtitles that are always displayed as video and subtitles that are displayed by selection. The former includes introductions of program titles and casts, Japanese subtitles in overseas works, etc. On the other hand, subtitle data (so-called closed caption) that can be displayed and selected as in the latter case may include text data corresponding to a performer's conversation, and explanations about broadcast content such as BGM and sound effects. is there. In this way, caption data that can be selected to be displayed or not is referred to as “display selected caption data”.

次に、この表示選択字幕データについて説明する。例えばNTSC方式のアナログの地上波放送では、映像信号に525本の走査線が用いられている。この525本のうち、各フィールド(2フィールドで1フレームを構成)の最初の21本相当は、VBI(Vertical Blanking Interval:垂直帰線消去期間)と呼ばれ、走査を開始するためのインターバル用に割り当てられている。クローズドキャプションは、各フィールドのVBIのうち、VBIの21本目に7bitの文字コードを多重化することによって伝送されるように構成されている。そして、各フィールドを使って2種類の文字セットを約60文字/秒で伝送することができる。この表示選択字幕データは、再生時に映像データからデコードされて、映像と同時に表示させることができる。   Next, the display selection subtitle data will be described. For example, in NTSC analog terrestrial broadcasting, 525 scanning lines are used for video signals. Of these 525 lines, the first 21 lines of each field (one field is composed of 2 fields) is called VBI (Vertical Blanking Interval), and is used as an interval for starting scanning. Assigned. The closed caption is configured to be transmitted by multiplexing a 7-bit character code in the 21st VBI of the VBI of each field. Each field can be used to transmit two types of character sets at about 60 characters / second. This display selection subtitle data is decoded from the video data at the time of reproduction, and can be displayed simultaneously with the video.

ユーザは、テレビジョン受像機30を用いて、表示選択字幕データを含む映像データ及び音声データで構成される放送信号を受信する。このテレビジョン受像機30は、チューナ31、信号処理部32、ディスプレイやスピーカからなる出力部33を備える。表示選択字幕データを表示させない場合には、チューナ31によって選局された放送信号を信号処理部32において復調し、出力部33において、映像信号はディスプレイに出力し、音声信号はスピーカに出力して番組を視聴することができる。   The user uses the television receiver 30 to receive a broadcast signal composed of video data and audio data including display selection subtitle data. The television receiver 30 includes a tuner 31, a signal processing unit 32, and an output unit 33 including a display and a speaker. When the display selection subtitle data is not displayed, the broadcast signal selected by the tuner 31 is demodulated by the signal processing unit 32, the video signal is output to the display, and the audio signal is output to the speaker by the output unit 33. You can watch the program.

このテレビジョン受像機30は、チューナ31によって選局された放送信号を取得する。そして、表示選択字幕デコーダ40は、テレビジョン受像機30のチューナ31によって選局された放送信号を取得し、映像信号および音声信号をデコードする。そして、ユーザの操作入力に基づいて、表示選択字幕データを抽出、デコードし、出力部33への出力を行なう。   The television receiver 30 acquires a broadcast signal selected by the tuner 31. The display selection subtitle decoder 40 acquires the broadcast signal selected by the tuner 31 of the television receiver 30 and decodes the video signal and the audio signal. Then, the display selection subtitle data is extracted and decoded based on the user's operation input, and output to the output unit 33.

ホームサーバ50は、ネットワークとしてのインターネットIを介して、映像情報処理装置としての映像情報提供サーバ70に接続される。
一方、ホームサーバ50は、ユーザの操作入力に基づいて、表示選択字幕デコーダ40により生成されたタイムスタンプつき録画データの供給を受けて、内部の録画データ記憶部に記録する。また、ホームサーバ50は、インターネットIを介して、映像情報提供サーバ70から、表示選択字幕データに対応するテキストデータと、テキストデータに対応するタイムコードにより構成される暗号化メタデータの供給を受ける。
The home server 50 is connected to a video information providing server 70 as a video information processing apparatus via the Internet I as a network.
On the other hand, the home server 50 receives the recording data with the time stamp generated by the display selection subtitle decoder 40 based on the user's operation input, and records it in the internal recording data storage unit. In addition, the home server 50 receives supply of encrypted metadata including text data corresponding to display selection subtitle data and a time code corresponding to the text data from the video information providing server 70 via the Internet I. .

更に、暗号化メタデータを、鍵データを利用して復号化し、このメタデータを用いてユーザが入力したテキストとメタデータとのマッチング処理を実行することができる。そして、マッチング処理の結果、ユーザが入力したテキストに対応するタイムコードを検出した場合には、タイムコードに基づいて録画データを検索し、表示選択字幕デコーダ40に供給する。   Furthermore, it is possible to decrypt the encrypted metadata using the key data, and execute matching processing between the text input by the user and the metadata using the metadata. If the time code corresponding to the text input by the user is detected as a result of the matching process, the recorded data is searched based on the time code and supplied to the display selection subtitle decoder 40.

映像情報提供サーバ70は、各種ネットワークや電波を介して受信することにより、放送局10が作成した表示選択字幕データ付きの放送信号を取得する。そして、この放送信号を用いてメタデータを作成する。そして、作成したメタデータを暗号化する。また、映
像情報提供サーバ70は、暗号化されたメタデータを、インターネットIを介してユーザに配布する。この映像情報提供サーバ70は、CPU、ROM(Read Only Memory)やRAM(Random Access Memory )、HDD(Hard Disk Drive )等のデータ記憶手段を備える。このCPUが制御コンピュータとして機能する。映像情報提供サーバ70のブロック構成を図2に示す。映像情報提供サーバ70のCPUは、映像情報処理プログラムを実行することによって、画像データ取得段階、文字データ取得段階、文字画像生成段階、合体画像生成段階等を実行する。この結果、映像情報提供サーバ70は、画像データ取得手段、文字データ取得手段、文字画像生成手段、合体画像生成手段等として機能する。ここでは、映像情報提供サーバ70は、通常のメタデータ生成処理と、携帯端末向けの映像情報生成処理とを実行する。以下、映像情報提供サーバ70のブロック図に示す機能を実現する。
The video information providing server 70 acquires a broadcast signal with display-selected caption data created by the broadcast station 10 by receiving it through various networks and radio waves. Then, metadata is created using this broadcast signal. Then, the created metadata is encrypted. Further, the video information providing server 70 distributes the encrypted metadata to the user via the Internet I. The video information providing server 70 includes data storage means such as a CPU, ROM (Read Only Memory), RAM (Random Access Memory), and HDD (Hard Disk Drive). This CPU functions as a control computer. The block configuration of the video information providing server 70 is shown in FIG. The CPU of the video information providing server 70 executes an image information processing program, thereby executing an image data acquisition stage, a character data acquisition stage, a character image generation stage, a combined image generation stage, and the like. As a result, the video information providing server 70 functions as an image data acquisition unit, a character data acquisition unit, a character image generation unit, a combined image generation unit, and the like. Here, the video information providing server 70 executes normal metadata generation processing and video information generation processing for mobile terminals. Hereinafter, the functions shown in the block diagram of the video information providing server 70 are realized.

(メタデータ生成処理)
先ず、通常のメタデータ生成処理について説明する。映像情報提供サーバ70のCPUは、信号取得手段としての放送信号取得部701として機能する。この放送信号取得部701は、ネットワークや放送電波を介して放送信号を取得してデコーダ702に供給する。デコーダ702は、放送信号取得部701から供給された放送信号をデコードする。ここで、デコーダ702は、放送信号のうち、メタデータの作成に必要となる番組ID情報を含む番組管理情報や表示選択字幕データが含まれている映像信号のみをデコードする。
(Metadata generation process)
First, normal metadata generation processing will be described. The CPU of the video information providing server 70 functions as a broadcast signal acquisition unit 701 as a signal acquisition unit. The broadcast signal acquisition unit 701 acquires a broadcast signal via a network or broadcast radio wave and supplies it to the decoder 702. The decoder 702 decodes the broadcast signal supplied from the broadcast signal acquisition unit 701. Here, the decoder 702 decodes only the video signal including the program management information including the program ID information and the display selection subtitle data necessary for creating the metadata among the broadcast signals.

番組ID情報抽出部703は、デコーダ702によりデコードされた映像データに含まれる番組管理データから、放送番組を特定することができる番組ID情報を抽出し、メタデータ生成部708に供給する。更に、番組ID情報抽出部703は、この映像データを、分離手段としての表示選択字幕データデコーダ704に供給する。   The program ID information extraction unit 703 extracts program ID information that can specify a broadcast program from the program management data included in the video data decoded by the decoder 702 and supplies the extracted program ID information to the metadata generation unit 708. Further, the program ID information extraction unit 703 supplies the video data to the display selection subtitle data decoder 704 as a separating unit.

表示選択字幕データデコーダ704は、取得した映像データに含まれる表示選択字幕データをデコードして、対応するテキストデータを解析処理部705に供給する。解析処理部705は、表示選択字幕データデコーダ704から供給された表示選択字幕データに対応するテキストデータを、必要に応じて適切な長さのテキスト群に分割(例えば、一度に表示されるテキストを1つのテキスト群として分割)し、分割されたテキスト群をタイムコード付加処理部707に供給する。   The display selection subtitle data decoder 704 decodes the display selection subtitle data included in the acquired video data, and supplies the corresponding text data to the analysis processing unit 705. The analysis processing unit 705 divides the text data corresponding to the display selection subtitle data supplied from the display selection subtitle data decoder 704 into a text group of an appropriate length as necessary (for example, the text displayed at a time is displayed). Are divided as one text group), and the divided text group is supplied to the time code addition processing unit 707.

そして、タイムコード付加処理部707は、解析処理部705から字幕データの登録指示を受ける。タイムコード付加処理部707は、タイマ706を用いて、字幕データの登録指示を受けた時刻をタイムコードとして付加する。例えば、表示選択字幕に対応するテキストの場合には、表示選択字幕の開始時刻に対応するタイムコードが付加される。放送信号取得部701が、放送に対してリアルタイムで放送信号を取得した場合、タイムコード付加処理部707はタイマ706が示す現在時刻に基づいて、タイムコードをテキストデータに付加するものとする。また、番組放送時刻に対してタイムコード付加時刻に遅れがある場合には、タイムコード付加処理部707は、この遅延時間とタイマ706が示す現在時刻とに基づいて、番組の放送時刻に対応するタイムコードを算出し、テキストデータに付加する。   Then, the time code addition processing unit 707 receives a subtitle data registration instruction from the analysis processing unit 705. Using the timer 706, the time code addition processing unit 707 adds the time when the subtitle data registration instruction is received as a time code. For example, in the case of text corresponding to a display selection subtitle, a time code corresponding to the start time of the display selection subtitle is added. When the broadcast signal acquisition unit 701 acquires a broadcast signal in real time for the broadcast, the time code addition processing unit 707 adds the time code to the text data based on the current time indicated by the timer 706. If the time code addition time is delayed with respect to the program broadcast time, the time code addition processing unit 707 corresponds to the broadcast time of the program based on the delay time and the current time indicated by the timer 706. The time code is calculated and added to the text data.

メタデータ生成部708は、タイムコード付加処理部707から供給されたタイムコードが付加されたテキストデータに、番組ID情報抽出部703から供給された番組ID情報を付加してメタデータを生成する。このメタデータは、テキストデータに対して開始時刻が記載されたタイムコードが付加される。そして、番組ID情報抽出部703から供給された番組ID情報が付加される。そして、このメタデータは暗号化処理部709に供給される。   The metadata generation unit 708 generates metadata by adding the program ID information supplied from the program ID information extraction unit 703 to the text data to which the time code supplied from the time code addition processing unit 707 is added. This metadata is added with a time code in which the start time is described for the text data. Then, the program ID information supplied from the program ID information extraction unit 703 is added. This metadata is supplied to the encryption processing unit 709.

暗号化処理部709は、メタデータ生成部708から供給されたメタデータを、鍵データ記憶部72に予め記憶されている暗号化鍵で暗号化する。鍵データ記憶部72には、番組ID毎に暗号化鍵が記録されている。そして、暗号化処理部709は、メタデータに含まれる番組IDに基づいて、鍵データ記憶部72から暗号化鍵を抽出し、この暗号化鍵を用いてメタデータの暗号化を行なうとともに、暗号化メタデータ記憶部73に記録する。暗号化メタデータ記憶部73は、検索を行なった文字に基づいて映像情報ファイルを記録する映像情報記憶手段として機能する。この暗号化メタデータは、ユーザからの要求に応じて、番組毎に、送信手段としての通信部710からインターネットIを介してホームサーバ50に提供される。   The encryption processing unit 709 encrypts the metadata supplied from the metadata generation unit 708 with an encryption key stored in advance in the key data storage unit 72. In the key data storage unit 72, an encryption key is recorded for each program ID. Then, the encryption processing unit 709 extracts the encryption key from the key data storage unit 72 based on the program ID included in the metadata, encrypts the metadata using the encryption key, and encrypts the encryption key. Recorded in the generalized metadata storage unit 73. The encrypted metadata storage unit 73 functions as video information storage means for recording a video information file based on the searched characters. The encrypted metadata is provided to the home server 50 via the Internet I from the communication unit 710 as a transmission unit for each program in response to a request from the user.

ホームサーバ50は、映像情報提供サーバ70から取得した暗号化メタデータを、内蔵する暗号化メタデータ記憶部に記憶する。そして、鍵データ記憶部において、予め記憶された復号化鍵を用いて暗号化メタデータを復号する。この復号化鍵は番組ID毎に提供され、記録されている。復号されたメタデータは、ホームサーバ50内のメタデータ記憶部に記録される。ホームサーバ50の操作入力部に、検索対象の番組IDと、検索キーとなるテキストが入力された場合、ホームサーバ50はメタデータ記憶部に記録されているメタデータを参照して、マッチング処理を実行する。そして、検索キーを含むテキストを特定した場合、このテキストに関連付けられたタイムコードを用いて録画データ記憶部を検索する。   The home server 50 stores the encrypted metadata acquired from the video information providing server 70 in a built-in encrypted metadata storage unit. In the key data storage unit, the encrypted metadata is decrypted using the decryption key stored in advance. This decryption key is provided and recorded for each program ID. The decrypted metadata is recorded in the metadata storage unit in the home server 50. When a search target program ID and a text as a search key are input to the operation input unit of the home server 50, the home server 50 refers to the metadata recorded in the metadata storage unit and performs matching processing. Execute. When the text including the search key is specified, the recorded data storage unit is searched using the time code associated with the text.

(携帯端末向けの映像情報生成処理)
次に、携帯電話端末100に対して提供する映像情報の生成処理について、図3を用いて説明する。この処理は、解析処理部705において表示選択字幕データに対応するテキストデータから生成された文字データを用いて実行する。
(Video information generation processing for mobile devices)
Next, generation processing of video information provided to the mobile phone terminal 100 will be described with reference to FIG. This processing is executed using character data generated from the text data corresponding to the display selection subtitle data in the analysis processing unit 705.

まず、映像情報提供サーバ70は、字幕データと映像データとを分離する(ステップS1−1)。この処理は、メタデータ生成処理と同様に、放送信号取得部701が取得した放送信号を、画像データ取得手段としてのデコーダ702がデコードする。ここでも、デコーダ702は、放送信号のうち、メタデータの作成に必要となる番組ID情報を含む番組管理情報や字幕信号(表示選択字幕データ)が含まれている映像信号のみをデコードする。   First, the video information providing server 70 separates caption data and video data (step S1-1). In this process, similarly to the metadata generation process, the broadcast signal acquired by the broadcast signal acquisition unit 701 is decoded by a decoder 702 as an image data acquisition unit. Again, the decoder 702 decodes only the video signal that includes the program management information including the program ID information and the subtitle signal (display selected subtitle data) necessary for creating the metadata among the broadcast signals.

更に、番組ID情報抽出部703は、デコーダ702によりデコードされた映像データに含まれる番組管理データから、放送番組を特定することができる番組ID情報を抽出する。携帯端末向けの映像情報生成処理においては、この番組ID情報を重畳画像生成部712に供給する。更に、番組ID情報抽出部703は、この映像データを表示選択字幕データデコーダ704に供給する。   Further, the program ID information extraction unit 703 extracts program ID information that can specify a broadcast program from program management data included in the video data decoded by the decoder 702. In the video information generation process for the portable terminal, the program ID information is supplied to the superimposed image generation unit 712. Further, the program ID information extraction unit 703 supplies this video data to the display selection subtitle data decoder 704.

次に、映像情報提供サーバ70は、字幕データをテキストに変換する(ステップS1−2)。ここでも、表示選択字幕データデコーダ704が、取得した映像データに含まれる表示選択字幕データをデコードして、対応するテキストデータを、文字データ取得手段としての解析処理部705に供給する。解析処理部705は、表示選択字幕データに対応するテキストデータを用いて文字データを生成する。   Next, the video information providing server 70 converts the caption data into text (step S1-2). Here again, the display selection subtitle data decoder 704 decodes the display selection subtitle data included in the acquired video data, and supplies the corresponding text data to the analysis processing unit 705 as the character data acquisition means. The analysis processing unit 705 generates character data using text data corresponding to the display selection subtitle data.

そして、映像情報提供サーバ70は、生成した文字データ(テキストデータ)に対してRGBのサブピクセルにより階調表現した文字画像データを生成する(ステップS1−3)。本実施形態では、文字画像生成手段としての文字画像生成部711が、解析処理部705からテキストに対して、取得したサブピクセルを利用したアンチエイリアシング処理を用いて文字画像データを生成する。この技術は、文字と背景の境界部に両者の中間色を配置して階調をなめらかに調整する一般的なアンチエイリアシング処理を、サブピクセル
を含めて実施する技術である。すなわち、カラーディスプレイのピクセルを構成する「赤・緑・青」の三原色の画素において、一ピクセルを構成する各色の階調を制御するサブピクセルレンダリングにより、より細かい階調の変化を表現する。なお、本処理では、補間用のデータが存在するフォントを使用するため、ビットマップフォントは利用しない。
Then, the video information providing server 70 generates character image data in which the generated character data (text data) is expressed by gradation using RGB sub-pixels (step S1-3). In the present embodiment, a character image generation unit 711 serving as a character image generation unit generates character image data for the text from the analysis processing unit 705 using anti-aliasing processing using the acquired subpixels. In this technique, a general anti-aliasing process including a sub-pixel is performed in which an intermediate color between the characters and the background is arranged at the boundary between the character and the background to adjust the gradation smoothly. That is, in the pixels of the three primary colors “red, green, and blue” that make up the pixels of the color display, finer changes in gradation are expressed by sub-pixel rendering that controls the gradation of each color that makes up one pixel. In this process, since a font having interpolation data is used, a bitmap font is not used.

次に、映像情報提供サーバ70は、映像データに対して、文字画像生成部711において生成した文字画像データを重畳したJPEG画像データ(第2画像データ)を生成する(ステップS1−4)。ここでは、まず、重畳画像生成手段としての重畳画像生成部712がデコーダ702から、第1画像データとしての映像データを取得する。そして、「JPEG(Joint Photographic Experts Group)」方式など複数の形式をサポートした「Exif(Exchangeable Image File Format)」を用いて画像データを生成する。この「Exif」は、JPEG方式で圧縮された画像データに画像情報などを付加してファイルに格納するための標準フォーマットである「JFIF(JPEG File Interchange Format)」を拡張した形式である。日本電子工業振興協会(JEIDA)によって標準化されたデジタルカメラ用の画像ファイルの規格となっている。この規格では、画像についての情報や撮影日時などの付加情報を記録したり、縮小画像(サムネイル)を記録したりすることができる。   Next, the video information providing server 70 generates JPEG image data (second image data) in which the character image data generated by the character image generation unit 711 is superimposed on the video data (step S1-4). Here, first, a superimposed image generation unit 712 as a superimposed image generation unit acquires video data as first image data from the decoder 702. Then, image data is generated using “Exif (Exchangeable Image File Format)” that supports a plurality of formats such as “JPEG (Joint Photographic Experts Group)”. This “Exif” is an extension of “JFIF (JPEG File Interchange Format)” which is a standard format for adding image information and the like to image data compressed by the JPEG method and storing it in a file. It is a standard for image files for digital cameras standardized by the Japan Electronics Industry Promotion Association (JEIDA). According to this standard, it is possible to record information about an image, additional information such as a shooting date and time, and record a reduced image (thumbnail).

更に、文字画像生成部711から取得した文字画像データを、対応する映像データに重畳させた画像データを、JPEG方式の変換アルゴリズムにより生成する。なお、本実施形態では、文字画像データを画像データに重畳させるが、全体として両データが合体されて一つのファイルになっていればよい。例えば、文字画像データを第1画像データとは別のエリアに表示させ、両者を一体とした第2画像データを生成することも可能である。   Furthermore, image data obtained by superimposing the character image data acquired from the character image generation unit 711 on the corresponding video data is generated by a JPEG conversion algorithm. In the present embodiment, the character image data is superimposed on the image data, but it is sufficient that both data are combined into one file as a whole. For example, it is also possible to display character image data in a different area from the first image data and generate second image data in which both are integrated.

次に、映像情報提供サーバ70は、JPEG画像データを、携帯端末用画像データ記憶部75に記録する(ステップS1−5)。この場合、重畳画像生成部712は、番組ID情報抽出部703から、放送番組を特定することができる番組ID情報を取得する。そして、番組ID情報を合成画像データに付与して、生成した順番に携帯端末用画像データ記憶部75に記録する。   Next, the video information providing server 70 records the JPEG image data in the portable terminal image data storage unit 75 (step S1-5). In this case, the superimposed image generation unit 712 acquires program ID information that can specify a broadcast program from the program ID information extraction unit 703. Then, the program ID information is added to the composite image data and recorded in the mobile terminal image data storage unit 75 in the order of generation.

そして、表示選択字幕データが変更されるまで待機する(ステップS1−6)。新たな表示選択字幕データが供給された場合には、ステップS1−1〜S1−5が繰り返される。これらの処理は、番組が終了した場合には処理を終了する(ステップS1−7)。   And it waits until display selection subtitle data is changed (step S1-6). When new display selection subtitle data is supplied, steps S1-1 to S1-5 are repeated. These processes end when the program ends (step S1-7).

そして、このように携帯端末用画像データ記憶部75に記録された画像データは、利用者の要求に応じて通信部710を介して携帯電話端末100に提供される。
一方、携帯電話端末100では、通常のJPEG形式の画像データを閲覧可能なビューアを用いて閲覧することができる。この場合、利用者は、字幕の埋め込まれた映像画像を閲覧することができる。
Then, the image data recorded in the portable terminal image data storage unit 75 in this way is provided to the cellular phone terminal 100 via the communication unit 710 in response to a user request.
On the other hand, the mobile phone terminal 100 can browse normal JPEG format image data using a viewer capable of browsing. In this case, the user can browse a video image in which subtitles are embedded.

以上、本実施形態によれば、以下に示す効果を得ることができる。
・ 上記実施形態では、字幕データと映像データとを分離し(ステップS1−1)、字幕データをテキストに変換する(ステップS1−2)。そして、テキストデータに対してRGBのサブピクセルにより階調表現した文字画像データを生成する(ステップS1−3)。映像データに対して生成した文字画像データを重畳したJPEG画像データを生成する(ステップS1−4)。字幕の付加された画像はJPEG形式の画像データとして提供されるため、携帯端末等の比較的簡易な機種であっても閲覧することができる。
As described above, according to the present embodiment, the following effects can be obtained.
In the above embodiment, caption data and video data are separated (step S1-1), and the caption data is converted into text (step S1-2). Then, character image data in which gradation is expressed by RGB subpixels is generated for the text data (step S1-3). JPEG image data is generated by superimposing the generated character image data on the video data (step S1-4). Since the subtitled image is provided as JPEG image data, it can be browsed even with a relatively simple model such as a portable terminal.

・ 上記実施形態では、テキストデータに対してRGBのサブピクセルにより階調表現した文字データを生成する(ステップS1−3)。例えば、DCT(discrete cosine tr
ansform :離散コサイン変換)処理を行なう場合にも、カラーシフトによりテキストデータを画像に重畳させた場合にも画像データとの相性がよく、読みやすい文字を再現することができる。
In the above embodiment, character data in which gradation representation is performed on text data by RGB sub-pixels is generated (step S1-3). For example, DCT (discrete cosine tr
ansform (discrete cosine transform) processing, and even when text data is superimposed on the image by color shift, the compatibility with the image data is good and an easy-to-read character can be reproduced.

・ 上記実施形態では、映像情報提供サーバ70がメタデータ生成処理及び携帯端末向けの映像情報生成処理を実行する。従って、この2つの処理では、放送信号取得部701〜解析処理部705を兼用させることができる。   In the above embodiment, the video information providing server 70 executes metadata generation processing and video information generation processing for mobile terminals. Therefore, in these two processes, the broadcast signal acquisition unit 701 to the analysis processing unit 705 can be combined.

なお、上記実施形態は、以下の態様に変更してもよい。
○ 上記実施形態では、JPEG画像データの生成において離散コサイン変換だけではなく、離散ウェーブレット変換(DWT:Discrete Wavelet Transform)を用いることの可能である。この場合には、DCTの定常波(余弦波)の代わりに、DWTでは空間的局在性がある孤立波を用いる。これにより、さらに高周波成分に比較的多くの波の割当を行なうことにより、急激な変化にも対応することができる。従って、エッジなどの急峻な変化の周囲で発生していたモスキートノイズを抑制することができる。
In addition, you may change the said embodiment into the following aspects.
In the embodiment described above, it is possible to use not only discrete cosine transform but also discrete wavelet transform (DWT) in generating JPEG image data. In this case, a solitary wave having spatial localization is used in the DWT instead of the DCT standing wave (cosine wave). Thereby, by assigning a relatively large number of waves to the higher frequency components, it is possible to cope with a sudden change. Therefore, it is possible to suppress mosquito noise that has occurred around a sharp change such as an edge.

○ 上記実施形態では、映像情報提供サーバ70が携帯端末向けの映像情報生成処理を実行する。これに代えて、携帯端末向けの映像情報生成処理をホームサーバ50において実行させてもよい。この場合には、ホームサーバ50に文字画像生成部711や重畳画像生成部712を設ける。   In the above embodiment, the video information providing server 70 executes video information generation processing for mobile terminals. Instead, the home server 50 may execute video information generation processing for a portable terminal. In this case, the home server 50 is provided with a character image generation unit 711 and a superimposed image generation unit 712.

○ 上記実施形態では、文字画像データを生成する場合、文字画像生成部711が、解析処理部705からテキストに対して、取得したサブピクセルを利用したアンチエイリアシング処理を用いて文字画像データを生成する。この文字画像データの生成に用いるテキストは、解析処理部705から取得したデータに限定されるものはない。例えば、受信した放送信号の放送識別子を特定し、他のデータ記憶部から放送識別子に関連付けられた文字データを、映像毎に取得することも可能である。これにより、字幕データのみならず、多くのサーバから供給されている多様な情報を利用することができる。   In the above embodiment, when generating character image data, the character image generation unit 711 generates character image data from the analysis processing unit 705 using the anti-aliasing processing using the acquired subpixels for the text. . The text used for generating the character image data is not limited to the data acquired from the analysis processing unit 705. For example, it is also possible to specify a broadcast identifier of a received broadcast signal and acquire character data associated with the broadcast identifier from another data storage unit for each video. Thereby, not only caption data but also various information supplied from many servers can be used.

○ 上記実施形態では、映像情報提供サーバ70がメタデータ生成処理及び携帯端末向けの映像情報生成処理を実行する。映像情報提供サーバ70が、二つの処理を同時期に実行することに限定されるものではない。   In the above embodiment, the video information providing server 70 executes the metadata generation process and the video information generation process for the mobile terminal. The video information providing server 70 is not limited to executing the two processes at the same time.

○ 上記実施形態では、映像情報提供サーバ70が、字幕データと映像データとの分離(ステップS1−1)〜文字画像データの記録(ステップS1−5)の処理を実行する。これらの処理を一つのコンピュータに実行させることに限定されるものではない。例えば、字幕データと映像データとの分離(ステップS1−1)、字幕データのテキスト変換(ステップS1−2)、文字画像データ生成(ステップS1−3)〜記録(ステップS1−5)を、それぞれ別のコンピュータで実行されることも可能である。これにより、放送時に同時に画像を生成する場合の他に、一度録画保存された番組と、字幕メタデータとからJPEG画像データを作ることも可能である。   In the above embodiment, the video information providing server 70 performs processing from separation of subtitle data and video data (step S1-1) to recording of character image data (step S1-5). The present invention is not limited to causing one computer to execute these processes. For example, separation of subtitle data and video data (step S1-1), text conversion of subtitle data (step S1-2), character image data generation (step S1-3) to recording (step S1-5), respectively. It can also be executed on another computer. As a result, in addition to the case where an image is generated at the same time as broadcasting, it is also possible to create JPEG image data from a program once recorded and saved and subtitle metadata.

本発明の一実施形態のシステム概略図。The system schematic of one Embodiment of this invention. 本発明の一実施形態の映像情報提供サーバのブロック構成の説明図。Explanatory drawing of the block configuration of the image | video information provision server of one Embodiment of this invention. 本発明の実施形態の処理手順の説明図。Explanatory drawing of the process sequence of embodiment of this invention.

符号の説明Explanation of symbols

10…放送局、30…テレビジョン受像機、40…表示選択字幕デコーダ、50…ホームサーバ、70…映像情報処理装置としての映像情報提供サーバ、701…放送信号取得
部、702…デコーダ、704…表示選択字幕データデコーダ、705…解析処理部、711…文字画像生成部、712…重畳画像生成部、75…携帯端末用画像データ記憶部、I…ネットワークとしてのインターネット。
DESCRIPTION OF SYMBOLS 10 ... Broadcasting station, 30 ... Television receiver, 40 ... Display selection subtitle decoder, 50 ... Home server, 70 ... Video information provision server as a video information processing apparatus, 701 ... Broadcast signal acquisition part, 702 ... Decoder, 704 ... Display selection subtitle data decoder, 705... Analysis processing unit, 711... Character image generation unit, 712... Superimposed image generation unit, 75.

Claims (8)

放送信号を取得する制御コンピュータを用いて、放送に関する画像データを生成する方法であって、
前記制御コンピュータが、
放送信号における映像データから第1画像データを取得する画像データ取得段階と、
前記映像データに対応する文字データを取得する文字データ取得段階と、
前記文字データに対してサブピクセルを用いた階調表現処理を行なった文字画像データを生成する文字画像生成段階と、
前記文字画像データと前記第1画像データとを合体させた第2画像データを、JPEG方式の変換アルゴリズムにより生成する合体画像生成段階とを実行し、
前記サブピクセルを用いた階調表現処理は、ピクセルを構成する赤・緑・青の三原色の画素において、一ピクセルを構成する前記各色の階調を制御するアンチエイリアシング処理である
ことを特徴とする放送画像生成方法。
A method of generating image data related to broadcasting using a control computer that acquires a broadcast signal,
The control computer is
An image data acquisition stage for acquiring first image data from video data in a broadcast signal;
A character data acquisition step of acquiring character data corresponding to the video data;
A character image generation step of generating character image data obtained by performing gradation expression processing using subpixels on the character data;
Performing a combined image generation step of generating second image data obtained by combining the character image data and the first image data by a JPEG conversion algorithm ;
The gradation expression process using the sub-pixel is an anti-aliasing process for controlling the gradation of each color constituting one pixel in pixels of three primary colors of red, green, and blue constituting the pixel. A broadcast image generation method characterized by the above.
前記制御コンピュータが、受信した放送信号から字幕信号を抽出する段階と、
前記文字データ取得段階において、前記字幕信号に基づいて文字データを生成することを特徴とする請求項1に記載の放送画像生成方法。
The control computer extracting a caption signal from the received broadcast signal;
The broadcast image generation method according to claim 1, wherein in the character data acquisition step, character data is generated based on the caption signal.
前記制御コンピュータが、受信した放送信号の放送識別子を特定する段階と、
前記文字データ取得段階において、前記放送識別子に関連付けられた文字データを、映像毎に取得することを特徴とする請求項1に記載の放送画像生成方法。
The control computer identifying a broadcast identifier of a received broadcast signal;
The broadcast image generation method according to claim 1, wherein in the character data acquisition step, character data associated with the broadcast identifier is acquired for each video.
放送信号を取得する制御コンピュータを用いて、放送に関する画像データを生成する方法であって、
前記制御コンピュータが、
放送信号における映像データから第1画像データを取得する画像データ取得段階と、
前記映像データに対応する文字データを取得する文字データ取得段階と、
前記文字データに対してサブピクセルを用いた階調表現処理を行なった文字画像データを生成する文字画像生成段階と、
前記文字画像データと前記第1画像データとを合体させた第2画像データを、離散コサイン変換の圧縮アルゴリズムにより生成する合体画像生成段階とを実行し、
前記サブピクセルを用いた階調表現処理は、ピクセルを構成する赤・緑・青の三原色の画素において、一ピクセルを構成する前記各色の階調を制御するアンチエイリアシング処理である
ことを特徴とする放送画像生成方法。
A method of generating image data related to broadcasting using a control computer that acquires a broadcast signal,
The control computer is
An image data acquisition stage for acquiring first image data from video data in a broadcast signal;
A character data acquisition step of acquiring character data corresponding to the video data;
A character image generation step of generating character image data obtained by performing gradation expression processing using subpixels on the character data;
Performing a combined image generation step of generating second image data obtained by combining the character image data and the first image data by a compression algorithm of discrete cosine transform ;
The gradation expression process using the sub-pixel is an anti-aliasing process for controlling the gradation of each color constituting one pixel in pixels of three primary colors of red, green, and blue constituting the pixel. A broadcast image generation method characterized by the above.
放送信号を取得する制御コンピュータを用いて、放送に関する画像データを生成する装置であって、
前記制御コンピュータが、
放送信号における映像データから第1画像データを取得する画像データ取得手段と、
前記映像データに対応する文字データを取得する文字データ取得手段と、
前記文字データに対してサブピクセルを用いた階調表現処理を行なった文字画像データを生成する文字画像生成手段と、
前記文字画像データと前記第1画像データとを合体させた第2画像データを、JPEG方式の変換アルゴリズムにより生成する合体画像生成手段として機能し、
前記サブピクセルを用いた階調表現処理は、ピクセルを構成する赤・緑・青の三原色の画素において、一ピクセルを構成する前記各色の階調を制御するアンチエイリアシング処理である
ことを特徴とする放送画像生成装置。
A device that generates image data related to broadcasting using a control computer that acquires broadcast signals,
The control computer is
Image data acquisition means for acquiring first image data from video data in a broadcast signal;
Character data acquisition means for acquiring character data corresponding to the video data;
Character image generation means for generating character image data obtained by performing gradation expression processing using subpixels on the character data;
The second image data obtained by combining the character image data and the first image data functions as a combined image generation unit that generates a JPEG conversion algorithm ,
The gradation expression process using the sub-pixel is an anti-aliasing process for controlling the gradation of each color constituting one pixel in pixels of three primary colors of red, green, and blue constituting the pixel. A broadcast image generating apparatus characterized by the above.
放送信号を取得する制御コンピュータを用いて、放送に関する画像データを生成する装置であって、
前記制御コンピュータが、
放送信号における映像データから第1画像データを取得する画像データ取得手段と、
前記映像データに対応する文字データを取得する文字データ取得手段と、
前記文字データに対してサブピクセルを用いた階調表現処理を行なった文字画像データを生成する文字画像生成手段と、
前記文字画像データと前記第1画像データとを合体させた第2画像データを、離散コサイン変換の圧縮アルゴリズムにより生成する合体画像生成手段として機能し、
前記サブピクセルを用いた階調表現処理は、ピクセルを構成する赤・緑・青の三原色の画素において、一ピクセルを構成する前記各色の階調を制御するアンチエイリアシング処理である
ことを特徴とする放送画像生成装置。
A device that generates image data related to broadcasting using a control computer that acquires broadcast signals,
The control computer is
Image data acquisition means for acquiring first image data from video data in a broadcast signal;
Character data acquisition means for acquiring character data corresponding to the video data;
Character image generation means for generating character image data obtained by performing gradation expression processing using subpixels on the character data;
The second image data obtained by combining the character image data and the first image data functions as a combined image generation unit that generates a compression algorithm of discrete cosine transform ,
The gradation expression process using the sub-pixel is an anti-aliasing process for controlling the gradation of each color constituting one pixel in pixels of three primary colors of red, green, and blue constituting the pixel. A broadcast image generating apparatus characterized by the above.
放送信号を取得する制御コンピュータを用いて、放送に関する画像データを生成するプログラムであって、
前記制御コンピュータを、
放送信号における映像データから第1画像データを取得する画像データ取得手段と、
前記映像データに対応する文字データを取得する文字データ取得手段と、
前記文字データに対してサブピクセルを用いた階調表現処理を行なった文字画像データを生成する文字画像生成手段と、
前記文字画像データと前記第1画像データとを合体させた第2画像データを、JPEG方式の変換アルゴリズムにより生成する合体画像生成手段として機能させ、
前記サブピクセルを用いた階調表現処理は、ピクセルを構成する赤・緑・青の三原色の画素において、一ピクセルを構成する前記各色の階調を制御するアンチエイリアシング処理である
ことを特徴とする放送画像生成プログラム。
A program for generating image data related to broadcasting using a control computer that acquires a broadcast signal,
The control computer;
Image data acquisition means for acquiring first image data from video data in a broadcast signal;
Character data acquisition means for acquiring character data corresponding to the video data;
Character image generation means for generating character image data obtained by performing gradation expression processing using subpixels on the character data;
The second image data obtained by combining the character image data and the first image data is caused to function as a combined image generation unit that generates a JPEG conversion algorithm ,
The gradation expression process using the sub-pixel is an anti-aliasing process for controlling the gradation of each color constituting one pixel in pixels of three primary colors of red, green, and blue constituting the pixel. A broadcast image generation program characterized by the above.
放送信号を取得する制御コンピュータを用いて、放送に関する画像データを生成するプログラムであって、
前記制御コンピュータを、
放送信号における映像データから第1画像データを取得する画像データ取得手段と、
前記映像データに対応する文字データを取得する文字データ取得手段と、
前記文字データに対してサブピクセルを用いた階調表現処理を行なった文字画像データを生成する文字画像生成手段と、
前記文字画像データと前記第1画像データとを合体させた第2画像データを、離散コサイン変換の圧縮アルゴリズムにより生成する合体画像生成手段として機能させ、
前記サブピクセルを用いた階調表現処理は、ピクセルを構成する赤・緑・青の三原色の画素において、一ピクセルを構成する前記各色の階調を制御するアンチエイリアシング処理である
ことを特徴とする放送画像生成プログラム。
A program for generating image data related to broadcasting using a control computer that acquires a broadcast signal,
The control computer;
Image data acquisition means for acquiring first image data from video data in a broadcast signal;
Character data acquisition means for acquiring character data corresponding to the video data;
Character image generation means for generating character image data obtained by performing gradation expression processing using subpixels on the character data;
The second image data obtained by combining the character image data and the first image data is caused to function as a combined image generation unit that generates a compression algorithm of discrete cosine transform ,
The gradation expression process using the sub-pixel is an anti-aliasing process for controlling the gradation of each color constituting one pixel in pixels of three primary colors of red, green, and blue constituting the pixel. A broadcast image generation program characterized by the above.
JP2006021065A 2006-01-30 2006-01-30 Broadcast image generation method, broadcast image generation program, and broadcast image generation apparatus Expired - Fee Related JP4544166B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006021065A JP4544166B2 (en) 2006-01-30 2006-01-30 Broadcast image generation method, broadcast image generation program, and broadcast image generation apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006021065A JP4544166B2 (en) 2006-01-30 2006-01-30 Broadcast image generation method, broadcast image generation program, and broadcast image generation apparatus

Publications (2)

Publication Number Publication Date
JP2007202065A JP2007202065A (en) 2007-08-09
JP4544166B2 true JP4544166B2 (en) 2010-09-15

Family

ID=38456152

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006021065A Expired - Fee Related JP4544166B2 (en) 2006-01-30 2006-01-30 Broadcast image generation method, broadcast image generation program, and broadcast image generation apparatus

Country Status (1)

Country Link
JP (1) JP4544166B2 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092460A (en) * 1998-09-08 2000-03-31 Nec Corp Device and method for subtitle-voice data translation
JP2001117529A (en) * 1999-08-05 2001-04-27 Matsushita Electric Ind Co Ltd Method and device for improving sharpness of white-and- black text and graphics on color matrix digital display device
JP2002041022A (en) * 2000-07-19 2002-02-08 Matsushita Electric Ind Co Ltd Display device of character string, display method of character string and recording medium that record program
JP2002171235A (en) * 2000-11-30 2002-06-14 Nippon Hoso Kyokai <Nhk> Broadcast character information distributing system and its server and its method
JP2002232861A (en) * 2001-01-30 2002-08-16 Hitachi Ltd Video information distributing device and operation device
JP2002344871A (en) * 2001-05-14 2002-11-29 Hitachi Ltd Device and method for recording caption broadcast
JP2003288096A (en) * 2002-03-27 2003-10-10 Nippon Telegr & Teleph Corp <Ntt> Method, device and program for distributing contents information
JP2005303743A (en) * 2004-04-13 2005-10-27 Daikin Ind Ltd Information processing apparatus and information processing method, program, and information processing system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100965471B1 (en) * 2004-11-02 2010-06-24 가부시키가이샤 테레비 아사히 데이터 비젼 Captioned still image content creating device, captioned still image content creating program and captioned still image content creating system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092460A (en) * 1998-09-08 2000-03-31 Nec Corp Device and method for subtitle-voice data translation
JP2001117529A (en) * 1999-08-05 2001-04-27 Matsushita Electric Ind Co Ltd Method and device for improving sharpness of white-and- black text and graphics on color matrix digital display device
JP2002041022A (en) * 2000-07-19 2002-02-08 Matsushita Electric Ind Co Ltd Display device of character string, display method of character string and recording medium that record program
JP2002171235A (en) * 2000-11-30 2002-06-14 Nippon Hoso Kyokai <Nhk> Broadcast character information distributing system and its server and its method
JP2002232861A (en) * 2001-01-30 2002-08-16 Hitachi Ltd Video information distributing device and operation device
JP2002344871A (en) * 2001-05-14 2002-11-29 Hitachi Ltd Device and method for recording caption broadcast
JP2003288096A (en) * 2002-03-27 2003-10-10 Nippon Telegr & Teleph Corp <Ntt> Method, device and program for distributing contents information
JP2005303743A (en) * 2004-04-13 2005-10-27 Daikin Ind Ltd Information processing apparatus and information processing method, program, and information processing system

Also Published As

Publication number Publication date
JP2007202065A (en) 2007-08-09

Similar Documents

Publication Publication Date Title
US20100083316A1 (en) Electronic Apparatus and Electronic Program Guide Display Method
JP4973906B2 (en) Information processing apparatus and method, and program
JP3737754B2 (en) Semiconductor integrated circuit, program recording / reproducing apparatus, program recording / reproducing system, and program recording / reproducing method
KR20060048250A (en) Signal processing apparatus, image display apparatus, and image display method
US20140050457A1 (en) Information processing system, recording/playback apparatus, playback terminal, information processing method, and program
JP2007174245A (en) System and method for reproducing video recording
US8559796B2 (en) Video recorder apparatus for recording moving picture file in detachable recording medium
US20190027077A1 (en) Electronic device and method
CN102364960B (en) Mobile digital television picture in picture and channel thumbnail playing method and mobile terminal
US10566027B2 (en) Information processing apparatus and information processing method
KR100491717B1 (en) System for producing image album on digital television receiver using moving image capture and method therefor
US7589762B2 (en) Image processing apparatus, image processing method, and computer program
JP4544166B2 (en) Broadcast image generation method, broadcast image generation program, and broadcast image generation apparatus
US20120105437A1 (en) Image Reproducing Apparatus and Image Reproducing Method
KR20070076781A (en) Method and apparatus for data communication using settop-box
JP2007174246A (en) Video information processing method, program, and apparatus
JP5042182B2 (en) Abstract content generation apparatus and computer program
JP2008053991A (en) Digital broadcast receiver
JP4254509B2 (en) Image processing apparatus, image processing method, and computer program
JP4413661B2 (en) Recording / playback device, image playback system, and terminal device
US7599563B2 (en) Data-transceiving equipment, image processor, and image-processing method
KR20000051765A (en) Apparatus and method for capturing object in TV program
JP4591598B2 (en) Image display apparatus, image display method, and computer program
JP2008061061A (en) Video-recording and playback apparatus
KR100863379B1 (en) Storage system of digital data broadcasting and the method

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100309

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100608

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100621

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130709

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130709

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees