JP5075383B2 - Subtitle transmission apparatus and subtitle transmission method - Google Patents

Subtitle transmission apparatus and subtitle transmission method Download PDF

Info

Publication number
JP5075383B2
JP5075383B2 JP2006263311A JP2006263311A JP5075383B2 JP 5075383 B2 JP5075383 B2 JP 5075383B2 JP 2006263311 A JP2006263311 A JP 2006263311A JP 2006263311 A JP2006263311 A JP 2006263311A JP 5075383 B2 JP5075383 B2 JP 5075383B2
Authority
JP
Japan
Prior art keywords
subtitle
data
caption
input
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006263311A
Other languages
Japanese (ja)
Other versions
JP2008085663A (en
Inventor
龍一郎 富田
日中 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2006263311A priority Critical patent/JP5075383B2/en
Publication of JP2008085663A publication Critical patent/JP2008085663A/en
Application granted granted Critical
Publication of JP5075383B2 publication Critical patent/JP5075383B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、デジタル地上放送のワンセグ放送の字幕送出装置および字幕送出方法に関する。   The present invention relates to a caption transmission device and a caption transmission method for digital terrestrial one-segment broadcasting.

地上デジタルテレビジョン放送の開始に伴って、携帯電話で放送画面を視聴する通称、ワンセグ放送が開始されている。ワンセグ放送では、デジタル放送の特徴を活かした字幕放送も行われ、ワンセグ字幕放送では、番組の映像画面とそれに合わせた文字画面がディスプレイ上に表示される。   With the start of digital terrestrial television broadcasting, so-called one-seg broadcasting, which is a common name for viewing a broadcast screen on a mobile phone, has started. In 1Seg broadcasting, subtitle broadcasting utilizing the characteristics of digital broadcasting is also performed, and in 1Seg subtitle broadcasting, a video screen of a program and a character screen corresponding thereto are displayed on a display.

図7は、従来のワンセグ字幕放送システムの構成を示す系統図である。以下、図7によりワンセグ放送システムの字幕データの処理方法についての概要を説明する。
図7において、ワンセグ放送システムは、地上波HD放送システムに併設され、サイマル放送を行う場合を説明する。送信側の機材として、マスタ装置1、VANC字幕装置2、ワンセグ字幕送出装置300、ダウンコンバータ(以下D/Cと記す。)4、H264符号化装置(以下H264ENCと記す。)5、送信設備6と受信側の機材としてワンセグ受信器7を備え、HD放送システムとして、地上波HD放送のHD符号化器H5、送信設備H6、受信器H7が備えられている。また、以上のマスタ装置1〜送信設備6の各装置が共通のタイミングで動作をするための時刻情報参照装置として局内時計8があり、図示されないネットワークで時刻情報が各装置へ伝えられるか、又は、各装置の内部時計(図示せず。)と所定の時刻校正が行われている。
FIG. 7 is a system diagram showing a configuration of a conventional one-segment subtitle broadcasting system. Hereinafter, an outline of a processing method of caption data in the one-segment broadcasting system will be described with reference to FIG.
In FIG. 7, a case where the one-segment broadcasting system is provided in the terrestrial HD broadcasting system and performs simulcasting will be described. As equipment on the transmission side, master device 1, VANC subtitle device 2, one-segment subtitle transmission device 300, down converter (hereinafter referred to as D / C) 4, H264 encoding device (hereinafter referred to as H264ENC) 5, and transmission equipment 6 As a receiving side equipment, a one-segment receiver 7 is provided, and as an HD broadcasting system, a terrestrial HD broadcasting HD encoder H5, a transmission facility H6, and a receiver H7 are provided. In addition, there is a local clock 8 as a time information reference device for each device of the master device 1 to the transmission facility 6 to operate at a common timing, and time information is transmitted to each device via a network not shown in the figure, or A predetermined time calibration is performed with an internal clock (not shown) of each device.

通常の地上放送は、HD放送の番組を送出するマスタ装置1から出力される番組信号を受信して、所定のHD放送の字幕情報がVANC字幕装置2によって、HD放送のビデオ信号に多重されたTS(Transport Stream)信号が生成される。そしてVANC字幕装置2からのTS信号出力がHD符号化器H5へ入力され、字幕データが多重された番組(TS)信号がHD信号にデジタル符号化された後、図示されない送信器等を備える送信設備H6から放送電波が送信される。受信器H7は、放送電波を受信し復号し、映像信号と共にデジタルデータとして受信した字幕情報を画面に表示する。   In normal terrestrial broadcasting, a program signal output from the master device 1 that sends out an HD broadcast program is received, and predetermined HD broadcast caption information is multiplexed by the VANC caption device 2 onto the HD broadcast video signal. A TS (Transport Stream) signal is generated. Then, the TS signal output from the VANC caption device 2 is input to the HD encoder H5, and the program (TS) signal multiplexed with the caption data is digitally encoded into the HD signal, and then transmitted with a transmitter (not shown). Broadcast radio waves are transmitted from the facility H6. The receiver H7 receives and decodes the broadcast radio wave, and displays the caption information received as digital data together with the video signal on the screen.

これらのシステム動作や処理手順は、標準規格である「ARIB TR−B14地上テレビジョン放送運用規定」、および、「ARIB STD−B37補助データパケット形式で伝送されるデジタル字幕データの構造と運用」とによって規定されている。   These system operations and processing procedures are as follows: “ARIB TR-B14 Terrestrial Television Broadcasting Operation Rules” and “Arrib STD-B37 Structure and Operation of Digital Caption Data Transmitted in Auxiliary Data Packet Format” It is prescribed by.

ワンセグ放送でもサイマル放送として、同様にHD放送信号の映像と同じ番組の映像信号にワンセグ放送用として準備される字幕データが多重されて送信される。例えば、携帯電話端末を利用したワンセグ受信器7で、H264符号化データが内部の復号器(図示せず)で復号され、モニタ画面では字幕情報が映像と共に画面表示される。   In the case of one-seg broadcasting, subtitle data prepared for one-seg broadcasting is multiplexed and transmitted as a simulcast in the same manner as the video signal of the HD broadcast signal. For example, the H264 encoded data is decoded by an internal decoder (not shown) by the one-segment receiver 7 using a mobile phone terminal, and the subtitle information is displayed on the monitor screen together with the video.

図7に戻り、ワンセグ字幕放送では、HD、SD、アナログの地上波放送の字幕放送の番組信号を出力するVANC字幕装置2の出力信号がワンセグ字幕送出装置300に入力される。ワンセグ字幕送出装置300は、入力されるHD放送のTS信号の文字情報を携帯電話端末の画面に適した字幕データに変換したPES(Packetized Elementary Stream)信号を重畳した番組信号に変換して出力する。   Returning to FIG. 7, in the one-segment subtitle broadcast, the output signal of the VANC subtitle device 2 that outputs the program signal of the subtitle broadcast of HD, SD, and analog is input to the one-segment subtitle transmission device 300. The one-segment subtitle transmission apparatus 300 converts a character signal of an input HD broadcast TS signal into subtitle data suitable for a screen of a mobile phone terminal, converts the PES (Packetized Elementary Stream) signal into a superimposed program signal, and outputs the program signal. .

変換出力された番組信号は、さらにD/C4でワンセグ放送用のH264符号化装置5との入力条件に適合するようダウンコンパートされる。そして、ダウンコンバートされた信号は、H264符号化装置5へ入力され、字幕データと映像情報とを含む放送信号に符号化される。符号化されたワンセグ放送信号は、送信設備6から放送電波に変換されてワンセグ受信器7(携帯端末)で受信される。   The converted and output program signal is further down-comparted so as to meet the input conditions with the H264 encoding apparatus 5 for one-segment broadcasting at D / C4. Then, the down-converted signal is input to the H264 encoding device 5 and encoded into a broadcast signal including caption data and video information. The encoded one-segment broadcasting signal is converted into a broadcast radio wave from the transmission facility 6 and received by the one-segment receiver 7 (mobile terminal).

ワンセグ放送では、アナログ地上波放送と異なり字幕(文字)重畳映像は映像信号に、重畳するように挿入されない。そして、字幕データのパケット(PES)は、映像信号チャネルとは別の字幕データチャネルで伝送される。受信した映像情報と字幕データとの表示は同期しなければならないので、受信側で電波伝播途中のエラーによって発生した映像信号の遅延と字幕データとの同期ずれを救済する同期方法が提案されている(例えば、特許文献1。)。   In one-segment broadcasting, unlike analog terrestrial broadcasting, caption (character) superimposed video is not inserted so as to be superimposed on the video signal. The subtitle data packet (PES) is transmitted on a subtitle data channel different from the video signal channel. Since the display of the received video information and subtitle data must be synchronized, a synchronization method has been proposed to relieve the video signal delay caused by an error during radio wave propagation on the receiving side and the synchronization error between the subtitle data. (For example, Patent Document 1).

しかし、後述の様に字幕データと映像信号の間では符号化、復号処理による遅延時間差があるので、送信側で2者間でのタイミング調整を取らねばならない。即ち、H264符号化装置5に入力された映像信号は、符号化処理、および送出設備6から送信され、受信器7で復号されるまでに符号化処理によって概ね2100msecほどの遅延時間が発生する一方、字幕データは、H264符号化装置から受信器7で復号されるまでに、約0.5秒程度の遅延時間が発生するので、1.5秒間ほど遅延時間差が生じる。   However, as described later, there is a delay time difference between the caption data and the video signal due to the encoding and decoding processes, and therefore, the transmission side must adjust the timing between the two. That is, the video signal input to the H264 encoding device 5 is transmitted from the encoding process and the transmission facility 6 and is delayed by about 2100 msec by the encoding process before being decoded by the receiver 7. Since the subtitle data has a delay time of about 0.5 seconds before it is decoded by the receiver 7 from the H264 encoding device, a delay time difference of about 1.5 seconds occurs.

この字幕と映像が対応して表示されるよう、字幕放送信号には、シーン(画面、フレーム等)毎に対応する映像信号、音声、字幕の間のタイミング調整を行うためにデータPTS(Presentation Time Stamp)が用いられる。そして、PTSには、この対応をとるための識別情報が、ARIB STD―B37の「字幕補助データパケットの配列と構成」の規定に従って付加されている。   The subtitle broadcast signal includes data PTS (Presentation Time) for adjusting the timing between the video signal, audio, and subtitle corresponding to each scene (screen, frame, etc.) so that the subtitle and the video are displayed correspondingly. Stamp) is used. Identification information for taking this correspondence is added to the PTS in accordance with the provisions of “Arrangement and configuration of subtitle auxiliary data packets” of ARIB STD-B37.

詳細説明は省略するが、識別情報について模式的に説明すれば、例えば、ある特定のシーン(例えば、シーン「1」、それに続くシーン「2」とする。)に対して、映像信号、音声信号、字幕データのパケットに、それぞれ、識別情報として、シーン「1」についてPTS−V1、PTS−A1、PTS−C1、シーン「2」には、PTS−V2、PTS−A2、PTS−C2が付与されるとする。受信側では、各シーンに対応して、各信号の識別情報の添字「1」、「2」が組になるように各信号が揃って出力され、モニタ等に表示される。   Although detailed description is omitted, if the identification information is schematically described, for example, for a specific scene (for example, a scene “1” and a subsequent scene “2”), a video signal, an audio signal, etc. , PTS-V1, PTS-A1, PTS-C1 for scene “1”, and PTS-V2, PTS-A2, PTS-C2 for scene “2” are assigned to the subtitle data packets as identification information, respectively. Suppose that On the receiving side, corresponding to each scene, the signals are output together so that the subscripts “1” and “2” of the identification information of each signal are combined and displayed on a monitor or the like.

本来、ワンセグ受信器7では、字幕データが出力可能となるまでの遅延時間が、映像信号の遅延時間よりも小さいので、字幕データは、字幕データ用のバッファ等で保持され、映像信号が映像信号のバッファに入力されるまで待機してから出力される。   Originally, in the one-segment receiver 7, since the delay time until the caption data can be output is shorter than the delay time of the video signal, the caption data is held in a caption data buffer or the like, and the video signal is the video signal. Wait until it is input to the buffer before being output.

しかし、後述する如く、最初に送信された字幕データ(PTS―C1)が待機中、字幕データ(PTS―C1)に対応する映像情報がモニタに表示される前に、次の字幕データ(PTS−C2)がワンセグ受信器7のバッファに入力された場合、字幕データ(PTS―C1)は、次のシーンに表示される字幕データ(PTS−C2)により上書きされる。   However, as will be described later, while the first transmitted caption data (PTS-C1) is on standby, before the video information corresponding to the caption data (PTS-C1) is displayed on the monitor, the next caption data (PTS-C1) is displayed. When C2) is input to the buffer of the one-segment receiver 7, the caption data (PTS-C1) is overwritten with the caption data (PTS-C2) displayed in the next scene.

その結果、映像信号PTS−V1がモニタに表示されたとしても、それに対応する字幕データPTS−C1は上書きされてバッファに保存されていないので字幕のないシーンとなる。特に、字幕の書き変え間隔が、映像信号の遅延時間よりも短い場合に上書きが生じることになる。(もし、その上書きされた字幕をモニタに、字幕と映像の識別情報が一致しないまま表示した場合は、シーンと字幕が揃わなくなる。)。   As a result, even if the video signal PTS-V1 is displayed on the monitor, the subtitle data PTS-C1 corresponding to the video signal PTS-V1 is overwritten and not saved in the buffer, so that there is no subtitle scene. In particular, overwriting occurs when the subtitle rewriting interval is shorter than the delay time of the video signal. (If the overwritten subtitle is displayed on the monitor without the subtitle and video identification information matching, the scene and subtitle are not aligned.)

図8、図9は、字幕情報と、映像の対応例を示す図である。
図8は、映像と画面が正しく対応して表示されている場合で図8(a)〜(c)に対応する字幕情報が正しく表示されている。しかし、図9は、図9(b)で表示されるべき字幕を表示する前に、次の字幕データが入力されて表示されてしまった場合の画面表示例である。
8 and 9 are diagrams illustrating examples of correspondence between caption information and video.
FIG. 8 shows the case where the video and the screen are displayed correctly corresponding to each other, and the subtitle information corresponding to FIGS. 8A to 8C is correctly displayed. However, FIG. 9 is a screen display example when the next caption data is input and displayed before displaying the caption to be displayed in FIG. 9B.

この様に、ワンセグ受信器7でモニタ画面上に表示される映像画面と字幕とが対応出来る様に、符号化処理を行うH264符号化装置5から出力される字幕放送信号には、PTS情報が付加され、ワンセグ受信器7は、タイミング処理用のPCR(Program Clock Reference)に合わせて、このPTS情報を参照し、映像(および、音声)と字幕情報に付与されるPTSが一致すると、復号化された映像と字幕情報が揃ってモニタ画面に表示される。   In this manner, the subtitle broadcast signal output from the H264 encoding apparatus 5 that performs the encoding process includes PTS information so that the video screen displayed on the monitor screen and the subtitle can be supported by the one-segment receiver 7. In addition, the one-seg receiver 7 refers to this PTS information in accordance with the PCR (Program Clock Reference) for timing processing, and performs decoding when the PTS added to the video (and audio) and the subtitle information matches. The recorded video and subtitle information are displayed together on the monitor screen.

従来は、字幕データが、字幕データのPES(Paketized Elementary Stream)の最小送出間隔を1秒とする補正をことにより字幕データと映像信号との遅延時間差を少なくすることにより、上書きを防ぐ方法がとられている。   Conventionally, there is a method for preventing overwriting of subtitle data by reducing the delay time difference between the subtitle data and the video signal by correcting the subtitle data PES (Packetized Elementary Stream) minimum transmission interval to 1 second. It has been.

しかし、この方法では、字幕データの文字数に拘わらず遅延時間は、固定されている。一方、字幕情報は、1秒間に最大2パケット分の文字情報しか送信出来ないので文字数が多くなると、字幕送信に時間がかかるので受信器7では実効的には映像信号との間の遅延時間差が小さくなり、例えば、規定の最大数である3パケットになると遅延時間差は殆ど無くなる。   However, in this method, the delay time is fixed regardless of the number of characters of the caption data. On the other hand, since subtitle information can only transmit character information for a maximum of two packets per second, if the number of characters increases, it takes time to transmit subtitles, so the receiver 7 effectively has a delay time difference from the video signal. For example, the delay time difference is almost eliminated when the number of packets becomes three, which is the prescribed maximum number.

その結果、従来の固定1秒を持たせる方法では、待機時間に遅延時間1秒が加わるので、字幕更新タイミングは、モニタに映像表示されるタイミングより字幕が遅れて表示されたりすることとなって字幕と映像表示が不自然になる問題が有った。
特開2004−140504号公報 (第31頁、第6図)
As a result, with the conventional method of giving a fixed 1 second, a delay time of 1 second is added to the standby time, so that the subtitle update timing is displayed with a delay after the video display timing on the monitor. There was a problem that subtitles and video display were unnatural.
JP 2004-140504 A (page 31, FIG. 6)

ワンセグ放送で、従来の字幕と映像を一致させるために1秒間の固定遅延を字幕データに与えて送出する放送では、受信器側で表示される画面では字幕データ数によって字幕更新タイミングが映像と同期せず、不自然となる問題が有った。   In one-seg broadcasting, in order to match conventional subtitles and video, the subtitle update timing is synchronized with the video depending on the number of subtitle data on the screen displayed on the receiver side, by giving subtitle data a fixed delay of 1 second for transmission. There was an unnatural problem.

本発明は上記問題を解決するためになされたもので、字幕データ数の多少に影響されることなく、映像と字幕表示が揃ったタイミングで更新されるワンセグ放送用の字幕送出装置および字幕送出方法を提供することを目的とする。   The present invention has been made to solve the above-described problem, and is capable of updating a caption transmission device and a caption transmission method for one-segment broadcasting, which are updated at the same time when video and caption display are aligned without being affected by the number of caption data. The purpose is to provide.

上記目的を達成するために、本発明の字幕送出装置は、入力される地上波デジタル放送システムの字幕放送信号を映像データと字幕データとに分離して出力する字幕抽出手段から出力された映像信号と字幕データとを字幕重畳手段が重畳し、ワンセグ字幕放送信号として送出する字幕送出装置において、入力される地上波デジタル放送システムの字幕放送信号を映像データと字幕データとに分離して出力する字幕抽出手段と、入力される前記分離された字幕データを一時蓄積した後、制御信号で指定される時間の経過後に出力するバッファ手段と、前記バッファ手段に入力される字幕データのパケット数を計数して出力するパケットサイズ判定手段と、前記計数して出力されたパケット数を受信し、受信したパケット数が1の場合、前記字幕抽出手段に前記字幕放送信号が入力したタイミングから1秒経過後に前記字幕重畳手段から前記字幕データが前記重畳されて出力される様に前記バッファ手段へ前記制御信号を出力し、受信したパケット数が2の場合、前記字幕抽出手段に前記字幕放送信号が入力したタイミングから0.5秒経過後に前記字幕重畳手段から前記字幕データが前記重畳されて出力される様に前記バッファ手段へ前記制御信号を出力し、受信したパケット数が3の場合、前記字幕抽出手段に前記字幕放送信号が入力したタイミングから0.1秒経過後に前記字幕重畳手段から前記字幕データが前記重畳されて出力される様に前記バッファ手段へ前記制御信号を出力する制御手段と、前記字幕抽出手段から入力される前記映像信号に前記字幕データを前記バッファ手段から前記字幕データが入力されるタイミングで重畳し、ワンセグ字幕放送信号として送出する字幕重畳手段とを備えることを特徴とする。 In order to achieve the above object, a caption transmission device according to the present invention provides a video signal output from a caption extraction means for separating and outputting a caption broadcast signal of an input terrestrial digital broadcasting system into video data and caption data. And subtitle data superimposed by the subtitle superimposing means, and transmitted as a one-segment subtitle broadcast signal, the subtitle broadcast signal of the input digital terrestrial broadcast system is separated into video data and subtitle data and output Extracting means, buffer means for temporarily outputting the separated subtitle data to be input, and outputting after the elapse of the time specified by the control signal, and counting the number of subtitle data packets input to the buffer means Packet size determination means for outputting the received packet number and the number of packets output after counting, and when the received packet number is 1, the subtitle The control signal is output to the buffer means so that the caption data is superimposed and output from the caption superimposing means after 1 second from the timing when the caption broadcast signal is input to the output means, and the number of received packets is In the case of 2, the control signal is sent to the buffer means so that the caption data is superimposed and output from the caption superimposing means after 0.5 seconds from the timing when the caption broadcast signal is input to the caption extracting means. When the number of received packets is 3, so that the caption data is superimposed and output from the caption superimposing means after 0.1 second from the timing when the caption broadcast signal is input to the caption extracting means. Control means for outputting the control signal to the buffer means; and the subtitle data in the video signal input from the subtitle extraction means. Superimposed at the timing when the subtitle data from the stage are input, characterized in that it comprises a closed caption superposition means for sending the one-segment subtitle broadcast signal.

また、本発明の地上波ワンセグ字幕放送用の字幕送出装置の字幕送出方法は、入力される地上波デジタル放送システムの字幕放送信号を映像データと字幕データとに分離して出力する字幕抽出手段と、バッファ手段と、パケットサイズ判定手段と、制御手段と、字幕重畳手段とを備え、前記映像信号と前記字幕データとを重畳し、ワンセグ字幕放送信号として送出する字幕送出装置の字幕送出方法において、前記字幕抽出手段は、入力される地上波デジタル放送システムの字幕放送信号を映像データと字幕データとに分離して出力し、前記バッファ手段は、前記分離された字幕データが入力され、それを一時蓄積した後、制御信号で指定される時間の経過後に出力し、前記パケットサイズ判定手段は、前記バッファ手段に入力される字幕データのパケット数を計数して出力し、前記制御手段は、前記計数して出力されたパケット数を受信し、受信したパケット数が1の場合、前記字幕抽出手段に前記字幕放送信号が入力したタイミングから1秒経過後に前記字幕重畳手段から前記字幕データが前記重畳されて出力される様に前記バッファ手段へ前記制御信号を出力し、受信したパケット数が2の場合、前記字幕抽出手段に字幕放送信号が入力したタイミングから0.5秒経過後に前記字幕重畳手段から前記字幕データが前記重畳されて出力される様に前記バッファ手段へ前記制御信号を出力し、受信したパケット数が3の場合、前記字幕抽出手段に前記字幕放送信号が入力したタイミングから0.1秒経過後に字幕重畳手段から前記字幕データが前記重畳されて出力される様に前記バッファ手段へ前記制御信号を出力し、前記字幕重畳手段は、前記字幕抽出手段から入力される前記映像信号に前記字幕データを前記バッファ手段から前記字幕データが入力されるタイミングで重畳し、ワンセグ字幕放送信号として送出することを特徴とする。Also, the subtitle transmission method of the subtitle transmission apparatus for terrestrial one-segment subtitle broadcasting of the present invention includes subtitle extraction means for separating and outputting the subtitle broadcast signal of the input terrestrial digital broadcast system into video data and subtitle data. A subtitle transmitting method of a subtitle transmitting apparatus, comprising a buffer means, a packet size determining means, a control means, and a subtitle superimposing means, superimposing the video signal and the subtitle data, and transmitting the subtitle data as a one-segment subtitle broadcast signal; The subtitle extraction means separates and outputs the subtitle broadcast signal of the input digital terrestrial broadcasting system into video data and subtitle data, and the buffer means receives the separated subtitle data and temporarily outputs it. After the accumulation, the packet size determination unit outputs the subtitle data input to the buffer unit after the time specified by the control signal has elapsed. The number of packets is counted and output, and the control unit receives the number of packets output by counting, and when the number of received packets is 1, the timing when the caption broadcast signal is input to the caption extraction unit When the control signal is output to the buffer means so that the subtitle data is superposed and output from the subtitle superimposing means after one second has elapsed and the number of received packets is 2, When the control signal is output to the buffer means so that the caption data is output after being superimposed from the caption superimposing means after 0.5 seconds have elapsed from the signal input timing, and the number of received packets is 3, The caption data is superimposed and output from the caption superimposing means after 0.1 seconds from the timing when the caption broadcast signal is input to the caption extracting means. The control signal is output to a buffer unit, and the subtitle superimposing unit superimposes the subtitle data on the video signal input from the subtitle extracting unit at a timing when the subtitle data is input from the buffer unit. It is characterized by being transmitted as a broadcast signal.

本発明によれば、字幕データ数の多少に影響されることなく、映像と字幕表示が揃ったタイミングで更新されるワンセグ放送用の字幕送出装置および字幕送出方法を提供することができる。   According to the present invention, it is possible to provide a subtitle transmission apparatus and subtitle transmission method for one-segment broadcasting that are updated at the timing when video and subtitle display are aligned without being affected by the number of subtitle data.

以下、図面を参照して本発明の実施例を説明する。   Embodiments of the present invention will be described below with reference to the drawings.

図1は、本発明の実施例に関わるワンセグ字幕送出装置を用いたワンセグ字幕放送システムの構成を示す系統図である。
図1において、ワンセグ放送システムは、地上波HD放送システムに併設され、サイマル放送を行う場合を説明する。送信側の機材として、マスタ装置1、VANC字幕装置2、本発明のワンセグ字幕送出装置3、ダウンコンバータ(以下D/Cと記す。)4、H264符号化装置(以下、H264ENCと省略する。)5、送信設備6と受信側の機材としてワンセグ受信器7を備え、HD放送システムとして、HD放送のHD符号化器H5、送信設備H6、受信器H7が備えられている。
FIG. 1 is a system diagram showing a configuration of a one-segment subtitle broadcasting system using a one-segment subtitle transmission apparatus according to an embodiment of the present invention.
In FIG. 1, a case where a one-segment broadcasting system is provided alongside a terrestrial HD broadcasting system and performs simulcasting will be described. As equipment on the transmission side, the master device 1, the VANC caption device 2, the one-segment caption transmission device 3 of the present invention, the down converter (hereinafter referred to as D / C) 4, the H264 encoding device (hereinafter referred to as H264ENC). 5. A transmission facility 6 and a one-seg receiver 7 are provided as receiving-side equipment, and an HD broadcast HD encoder H5, a transmission facility H6, and a receiver H7 are provided as an HD broadcast system.

なお、ここでは、HD字幕放送信号からワンセグ放送の放送電波を作成する場合を例に動作説明をするが、SD字幕、または、アナログ字幕放送信号からワンセグ放送の放送電波を作成する場合であってもその作成に関わる基本動作は同様である。   Here, the operation will be described by way of example in the case of creating a one-segment broadcast radio wave from the HD subtitle broadcast signal, but in the case of creating a one-segment broadcast radio wave from the SD subtitle or analog subtitle broadcast signal. The basic operations related to its creation are the same.

また、以上のマスタ装置1〜送信設備6の各装置が共通のタイミングで動作をするための時刻情報参照装置として局内時計8があり、図示されないネットワークで時刻情報が各装置へ伝えられるか、又は、各装置の内部時計(図示せず。)と所定の時刻で校正が行われる。   In addition, there is a local clock 8 as a time information reference device for each device of the master device 1 to the transmission facility 6 to operate at a common timing, and time information is transmitted to each device via a network not shown in the figure, or The calibration is performed at a predetermined time with an internal clock (not shown) of each device.

図1のワンセグ放送システムは、図7に示されるワンセグ字幕送出装置300と動作が異なるワンセグ字幕送出装置3が用いられている以外、基本的には図7に示されるワンセグ放送システムと同様の動作を行う。以下、図7と共通な事項は説明を省略し、本発明の実施例のワンセグ放送システムの字幕データの処理方法についての概要を説明する。   The one-seg broadcasting system of FIG. 1 is basically the same operation as the one-seg broadcasting system shown in FIG. 7 except that the one-seg subtitle sending device 3 whose operation is different from that of the one-seg subtitle sending device 300 shown in FIG. 7 is used. I do. Hereinafter, description of items common to FIG. 7 will be omitted, and an outline of a processing method of caption data in the one-segment broadcasting system according to the embodiment of the present invention will be described.

図2は、ワンセグ受信器7の動作を説明する機能ブロック図である。
図2において、ワンセグ受信器7は、それぞれの間が、内部バス等で接続されているRF処理部71、検波復調部72、受信バッファ部73、出力部74、監視制御部75、入力設定部76を備え、受信する放送電波をモニタ(ディスプレイ)やスピーカに出力する。
FIG. 2 is a functional block diagram for explaining the operation of the one-segment receiver 7.
In FIG. 2, a one-segment receiver 7 includes an RF processing unit 71, a detection demodulation unit 72, a reception buffer unit 73, an output unit 74, a monitoring control unit 75, and an input setting unit, which are connected to each other by an internal bus or the like. 76, and outputs received broadcast radio waves to a monitor (display) or a speaker.

RF処理部71は、図示されないアンテナから受信した放送電波を増幅し中間周波数に変換して検波復調部72へ出力する。検波復調部72は、入力された放送電波の中間周波信号をベースバンドの放送信号に検波復調し、字幕データ、映像信号のパケット、音声信号のパケットにして例えば、内部バスを介して受信バッファ部73へ出力する。   The RF processing unit 71 amplifies a broadcast radio wave received from an antenna (not shown), converts it to an intermediate frequency, and outputs it to the detection demodulation unit 72. The detection demodulator 72 detects and demodulates the input intermediate frequency signal of the broadcast radio wave into a baseband broadcast signal, converts it into subtitle data, a video signal packet, and an audio signal packet, for example, via the internal bus. To 73.

そこから出力されるパケットは、ARIB規定によるワンセグ放送のデータパケットであり、受信バッファ部73は、それらのパケットを字幕バッファ731、映像バッファ732、音声バッファ733にバッファする。   Packets output therefrom are one-segment broadcasting data packets according to the ARIB regulations, and the reception buffer unit 73 buffers these packets in the caption buffer 731, the video buffer 732, and the audio buffer 733.

出力部74は、H264復号出力インタフェースを含み、制御監視部75の制御に従ってバッファ部74から入力されるデータを、ビデオ出力部741と音声出力部742がそれぞれモニタやスピーカに、字幕と映像が表示された画面情報、音声信号にして出力する。   The output unit 74 includes an H264 decoding output interface, and the video output unit 741 and the audio output unit 742 display the subtitles and the video on the monitor and the speaker, respectively, according to the control of the control monitoring unit 75. Screen information and audio signals are output.

監視制御部75は、内部バスを介してRF処理部71〜受信バッファ部73、受信チャネル等の条件が設定される入力部75の各動作や設定を監視、判読する。そして、例えば、映像と字幕が同期してモニタに表示する様に字幕バッファ731と映像バッファ732からそれぞれ対応する字幕データと、映像パケットとをタイミング調整して出力部74へ出力する制御を行うことにより所要の受信チャネルが視聴出来るようにする。   The monitoring control unit 75 monitors and interprets each operation and setting of the input processing unit 75 in which conditions such as the RF processing unit 71 to the reception buffer unit 73 and the reception channel are set via the internal bus. Then, for example, control is performed to adjust the timing of the corresponding caption data and the video packet from the caption buffer 731 and the video buffer 732 and output to the output unit 74 so that the video and the caption are displayed on the monitor in synchronization. To enable viewing of the required reception channel.

今、1つのシーン(例えば、Aシーン)を構成する連続した画面(映像)、音声、およびこれらのシーン映像を背景に表示される字幕(例えば、2ページに亘って表示されるとする。)の表示処理の動作タイミング調整について簡略に説明する。   Now, it is assumed that a continuous screen (video), audio, and subtitles displayed on the background of these scene videos (for example, displayed over two pages) constituting one scene (for example, A scene). The operation timing adjustment of the display process will be briefly described.

今、Aシーンでは1、2ページの各背景画面(A1、A2)が表示されるので、1ページ目、2ページ目の背景となる映像信号(複数フレーム)と、音声信号、字幕データには、簡単にいえば、上述のPTSとして、それぞれ、A1、A2という識別情報が、マスタ装置1から出力される放送信号に付与されている。そして、VANC字幕装置2、ワンセグ字幕送出装置3でもこれらが対応するようパケット送出処理が行われる。   Now, in the A scene, the background screens (A1, A2) of the first and second pages are displayed. Therefore, the video signal (multiple frames) as the background of the first page and the second page, the audio signal, and the caption data In short, as the above-described PTS, identification information of A1 and A2 is given to the broadcast signal output from the master device 1, respectively. The VANC caption device 2 and the one-segment caption transmission device 3 also perform packet transmission processing so that they correspond.

ワンセグ受信器7が受信した各信号と字幕データは、上記の各バッファ731〜733に入力、蓄積されるが、各バッファに入力されるパケットのPTSの各識別情報を照合対比し、上記のA1、A2が一致して対応するようにパケットのPTSを同じに合わせて順番に出力することにより再生したシーン画面にすれば良い。   Each signal and subtitle data received by the one-segment receiver 7 is input and stored in each of the buffers 731 to 733. The identification information of the PTS of the packet input to each buffer is compared and compared, and the above A1 , A2 may coincide with and correspond to the PTS of the packet in order to output a scene screen reproduced in order.

映像信号のパケットは、もっとも高速な繰り返しのサイクルで送信されるデータであるので、ワンセグ受信器7は、この映像信号のパケットを上記のPCR(同期情報)としても利用する。言い換えれば、映像信号のPTSを、PCRの同期タイミングとしても利用する。   Since the video signal packet is data transmitted in the fastest repetition cycle, the one-segment receiver 7 also uses this video signal packet as the PCR (synchronization information). In other words, the PTS of the video signal is also used as the PCR synchronization timing.

字幕情報を映像と同期して表示するには、受信して検波復調された信号から、例えば、識別情報A1が付与された字幕データ(例えば、PTS−CA1が識別情報として付与されたとする。)を、映像信号の入力に先駆けて字幕バッファ731に蓄積する。   In order to display the caption information in synchronization with the video, for example, caption data to which identification information A1 is added from the received and detected demodulated signal (for example, PTS-CA1 is assigned as identification information). Are stored in the caption buffer 731 prior to the input of the video signal.

監視制御部75は、それに続いて、入力される映像信号のPTSを監視し、識別情報としてPTS−VA1が付与された映像信号のパケットが映像バッファ732に入力されたら、直ちにこの映像信号と字幕データを両バッファ731,732、および音声バッファ733から取り出して出力部74から出力するように制御する。そして、識別情報が「A1」で統一された映像、音声、字幕が対応して出力、表示される。   Subsequently, the monitoring control unit 75 monitors the PTS of the input video signal. When a video signal packet to which PTS-VA1 is added as identification information is input to the video buffer 732, the video signal and the subtitle are immediately displayed. Control is performed so that the data is extracted from both the buffers 731 and 732 and the audio buffer 733 and output from the output unit 74. Then, video, audio, and subtitles whose identification information is unified as “A1” are output and displayed correspondingly.

さて、図1に戻り、通常のワンセグ放送を行う手順について概要を説明する。   Now, returning to FIG. 1, an outline of a procedure for performing normal one-segment broadcasting will be described.

字幕多重放送は、VANC字幕装置2によりHDの映像信号に字幕データが重畳されたHD字幕放送信号が作成される。この時点で、映像と、字幕が対応するようにするため、ARIB STD―B37に「字幕データパケット配列と内部構成」中に説明されている、PTSが付加される。そしてそのHD字幕放送信号は、ワンセグ放送の字幕重畳を行うために、ワンセグ字幕送出装置3へ入力される。   In the caption multiplex broadcasting, the VANC caption device 2 creates an HD caption broadcast signal in which caption data is superimposed on the HD video signal. At this point, the PTS described in “Subtitle Data Packet Arrangement and Internal Configuration” is added to the ARIB STD-B 37 so that the video and the subtitle correspond to each other. The HD subtitle broadcast signal is input to the one-segment subtitle transmission device 3 in order to superimpose the subtitles of the one-segment broadcast.

図3は、ワンセグ字幕送出装置3の動作を説明する機能ブロック図である。
図3において、ワンセグ字幕送出装置3は、字幕放送データを入出力するためのインタフェース部31とHD字幕データをワンセグ放送の字幕データに変換する変換部32とを有している。
FIG. 3 is a functional block diagram for explaining the operation of the one-segment subtitle transmission apparatus 3.
In FIG. 3, the one-segment subtitle transmission device 3 includes an interface unit 31 for inputting / outputting subtitle broadcast data and a conversion unit 32 for converting HD subtitle data into subtitle data of one-segment broadcast.

インタフェース部31は、制御部311、VANC字幕抽出部312、VANC字幕重畳部313を備え、また変換部32は、変換テーブル321、HD−ワンセグ字幕データ変換部322、サイズ判定部323、出力バッファ324を備え、これら各構成は、内部バス等によってそれぞれの間が接続されている。なお、細部の上記各構成は、上記の区分に配置に限定されるものではなくインタフェース部31と変換部32の内部に適宜配置されて良い。   The interface unit 31 includes a control unit 311, a VANC subtitle extraction unit 312, and a VANC subtitle superimposition unit 313, and the conversion unit 32 includes a conversion table 321, an HD-one-segment subtitle data conversion unit 322, a size determination unit 323, and an output buffer 324. These components are connected to each other by an internal bus or the like. The detailed configurations described above are not limited to the above-described sections, and may be appropriately disposed inside the interface unit 31 and the conversion unit 32.

VANC字幕抽出部311は、VANC字幕装置2から入力されるHD字幕放送信号から字幕データ(ここではHD字幕データ)を抽出し、内部バスを介してHD−ワンセグ字幕データ変換部322へ出力する。また、映像信号は、VANC字幕重畳部313へ出力される。なお、入力されるHD字幕放送信号がアナログ信号で有れば、デジタル変換手段を備えておき(図示せず)、入力信号をデジタル変換し、その変換されたデジタルデータを同様に処理するものであっても良い。   The VANC caption extraction unit 311 extracts caption data (here, HD caption data) from the HD caption broadcast signal input from the VANC caption device 2, and outputs the caption data to the HD-one-segment caption data conversion unit 322 via the internal bus. Further, the video signal is output to the VANC caption superimposing unit 313. If the input HD caption broadcast signal is an analog signal, digital conversion means (not shown) is provided, the input signal is digitally converted, and the converted digital data is processed in the same manner. There may be.

なお、以下では、内部バスを監視する制御部311によって、VANC字幕装置2から入力される各信号、字幕データのPTSを読み取り、各信号や字幕データが対応するように信号処理されている。   In the following description, the control unit 311 that monitors the internal bus reads the PTS of each signal and caption data input from the VANC caption device 2, and performs signal processing so that each signal and caption data corresponds.

HD−ワンセグ字幕データ変換部322は、入力されたHD字幕データを、ワンセグ字幕データへ変換する方法が設定記憶されている変換テーブル321と参照することにより、字幕データ数の少ないワンセグ字幕データに変換し、バッファ部324へ出力する。   The HD-one seg subtitle data conversion unit 322 converts the input HD subtitle data into one seg subtitle data with a small number of subtitle data by referring to the conversion table 321 in which a method for converting to one seg subtitle data is set and stored. And output to the buffer unit 324.

サイズ判定部323は、この変換されたワンセグ字幕データのデータサイズをカウントし、字幕データサイズに応じてARIB規定のパケット数を求め、内部バスを介し制御部311へ通知する。制御部311は、このパケット数に応じて、出力バッファ324からワンセグ字幕データを取り出してVANC字幕重畳部313へ入力する。VANC字幕重畳部313は、VANC字幕抽出部から入力される映像信号にHD、SD、アナログの各字幕データにワンセグ字幕データを更に追加した各種のVANC字幕放送信号を生成する。そして、ワンセグ字幕データが重畳されたワンセグ放送用のVANC字幕信号をD/C4を介してH246符号化装置5へ向けて出力する。なお、以下では、特に断らない限りワンセグ字幕データを字幕データと省略して説明する。   The size determination unit 323 counts the data size of the converted one-segment subtitle data, obtains the number of ARIB-specified packets according to the subtitle data size, and notifies the control unit 311 via the internal bus. The control unit 311 extracts the one-segment subtitle data from the output buffer 324 according to the number of packets, and inputs it to the VANC subtitle superimposing unit 313. The VANC subtitle superimposing unit 313 generates various VANC subtitle broadcast signals obtained by further adding one-segment subtitle data to HD, SD, and analog subtitle data to the video signal input from the VANC subtitle extraction unit. Then, the one-segment broadcasting VANC caption signal on which the one-segment caption data is superimposed is output to the H246 encoding apparatus 5 via the D / C 4. In the following description, one-segment subtitle data is abbreviated as subtitle data unless otherwise specified.

従来は、図3における制御部311はVANC字幕重畳部313から出力されるVANC字幕放送信号の字幕データの出力タイミングを1秒遅らせ、VANC字幕重畳部313から出力させ、ワンセグ受信器7で字幕データが上書きされるのを防いでいた。   Conventionally, the control unit 311 in FIG. 3 delays the output timing of subtitle data of the VANC subtitle broadcast signal output from the VANC subtitle superimposing unit 313 by 1 second, and outputs the subtitle data from the VANC subtitle superimposing unit 313. Was prevented from being overwritten.

図4、図5は、ワンセグ受信器7における字幕と映像の表示タイミング(字幕データ遅延なし、あり)を示す説明図である。
図4、図5において、1パケットサイズの字幕データが1500ms間隔で更新される場合を例に説明する。図4、図5の(a)、(b)は、それぞれ図7におけるワンセグ字幕送出装置300への字幕データの入力、出力タイミングである。
4 and 5 are explanatory diagrams showing subtitle and video display timing (no subtitle data delay is present) in the one-segment receiver 7. FIG.
In FIG. 4 and FIG. 5, an example will be described in which caption data of one packet size is updated at intervals of 1500 ms. (A) and (b) of FIG. 4 and FIG. 5 are the input and output timing of caption data to the one-segment caption transmission device 300 in FIG. 7, respectively.

図4、図5の(c)は、D/C4を経て、H264ENC5へ入力するタイミング、図4、図5の(d)は、H264ENC5での符号化、および送信設備6を介してからワンセグ受信器7で字幕データがバッファされるまでのタイミングが示されている。   4 and 5 (c) shows the timing of input to H264ENC5 via D / C4, and FIGS. 4 and 5 (d) show the encoding in H264ENC5 and the one-segment reception after passing through the transmission facility 6. The timing until the caption data is buffered by the device 7 is shown.

図4において、N−1ページの字幕データx(PTS−c1)は、ワンセグ字幕送出装置3に入力されたタイミングt0から処理時間100msec後のタイミングt1に字幕データがD/Cを介してH264ENC5へ向けて出力される。D/C4でも同様に200msecの処理時間を経てタイミングt2に字幕データx(PTS−c1)がH264ENC5へ入力される。   In FIG. 4, subtitle data x (PTS-c1) of page N-1 is subtitled to H264ENC5 via D / C at timing t1 after processing time 100 msec from timing t0 input to the one-segment subtitle transmission apparatus 3. Is output. Similarly, in D / C4, the caption data x (PTS-c1) is input to H264ENC5 at timing t2 after a processing time of 200 msec.

そして、そこでH264符号化され更に、送信設備6を経て送信された放送電波がワンセグ受信器7で受信される。その結果、字幕データy(PTS−c1)は、タイミングt0から400msec後のタイミングt3に復号化されて字幕バッファ732で待機する状態となる。   Then, broadcast radio waves that are H264 encoded and transmitted through the transmission facility 6 are received by the one-segment receiver 7. As a result, the caption data y (PTS-c1) is decoded at a timing t3 400 msec after the timing t0, and enters a state of waiting in the caption buffer 732.

一方、映像信号n−1(PTS−V1)は、ワンセグ字幕送出装置3に入力されてから、ワンセグ受信器7で復号化され映像バッファ732に入力されるタイミングtpまでに2100msecかかる。   On the other hand, it takes 2100 msec from the time when the video signal n-1 (PTS-V1) is input to the one-segment subtitle transmission apparatus 3 to the timing tp when it is decoded by the one-segment receiver 7 and input to the video buffer 732.

ところで、Nページの字幕データy(PTS−c2)も、N−1ページの字幕データx(PTS−c1)出力後、1500msec経過したタイミングでワンセグ字幕送出装置300へ入力される。そして各装置で、同様にタイミングtn0〜タイミングtn3で出力、又は入力されてワンセグ受信器7の字幕バッファに732へ入力される。   By the way, the N page subtitle data y (PTS-c2) is also input to the one-segment subtitle transmission apparatus 300 at the timing when 1500 msec has elapsed after the output of the N-1 page subtitle data x (PTS-c1). In each device, the signal is output or input at timing tn0 to timing tn3 and input to the subtitle buffer of the one-segment receiver 7 to 732.

図4から分かるようにN−1ページの映像n−1(PTS−V1)が表示される、言い換えると映像バッファ732に映像信号が入力されるタイミングtpには、字幕バッファ731に在るN−1ページの字幕データx(PTS−V1)は、タイミングtpよりも200msec前のタイミングtn3で字幕バッファ731へ入力されるNページの字幕データy(PTS−c2)によって上書きされてしまい、このままでは、入力される映像信号と字幕データのPTSの識別情報の番号とが「1」と「2」と異なってしまう。   As can be seen from FIG. 4, N-1 page video n-1 (PTS-V1) is displayed, in other words, at the timing tp when the video signal is input to the video buffer 732, the N- One page of caption data x (PTS-V1) is overwritten by N pages of caption data y (PTS-c2) input to the caption buffer 731 at timing tn3 200 msec before timing tp. The input video signal and the PTS identification information number of the caption data are different from “1” and “2”.

図5は、この問題を改善するための従来のワンセグ字幕送出装置300へ入力される字幕データに変換にかかる時間に更に1秒(1000msec)間の遅延時間を与えてから出力する処理手順を示す。この場合、図7のワンセグ字幕送出装置300は、ワンセグ字幕データを生成後、1秒間、例えば、字幕バッファ731に滞留させてからタイミングt2d(タイミングt0から1200msec後)に出力している。   FIG. 5 shows a processing procedure for outputting after adding a delay time of 1 second (1000 msec) to the time taken to convert the subtitle data input to the conventional one-segment subtitle transmission apparatus 300 to improve this problem. . In this case, the one-segment subtitle transmission apparatus 300 in FIG. 7 generates the one-segment subtitle data and outputs it at the timing t2d (after 1200 msec from the timing t0) for 1 second, for example, after being retained in the subtitle buffer 731.

その結果、ワンセグ字幕送出装置300から、D/C4を経てH264符号化装置へ入力されるN−1ページの字幕データX(PTS―C1)は、ワンセグ字幕送出装置300入力後のタイミングt3dに1400msec経って出力される。そして、N−1ページの映像信号n−1(PTS−V1)が映像バッファ732に入力されるタイミングtpまで700msecの余裕を持ってワンセグ受信器7の字幕バッファに731で待機する。   As a result, N-1 page subtitle data X (PTS-C1) input from the one-segment subtitle transmission apparatus 300 to the H264 encoding apparatus via D / C4 is 1400 msec at timing t3d after the one-segment subtitle transmission apparatus 300 is input. After that, it is output. Then, the video signal n-1 (PTS-V1) of page N-1 waits at 731 in the subtitle buffer of the one-segment receiver 7 with a margin of 700 msec until the timing tp when the video signal n-1 (PTS-V1) is input to the video buffer 732.

一方、Nページ目の字幕データY(PTS−C2)は、タイミングt0から2900msec後のタイミングtn3dにワンセグ受信器7で字幕信号に復元されるので、N−1ページの映像信号n−1(PTS−V1)が表示される前にN−1ページの字幕データX(PTS―C1)を上書きすることは無くなる。   On the other hand, the caption data Y (PTS-C2) of the Nth page is restored to a caption signal by the one-segment receiver 7 at a timing tn3d after 2900 msec from the timing t0. The subtitle data X (PTS-C1) on page N-1 is not overwritten before -V1) is displayed.

さて、字幕データが、1パケットの場合、上記の遅延時間1000msecを付加することにより、字幕と映像との表示は、タイミングが一致するようになる。しかし、ワンセグ放送の電波伝搬では、字幕データは、1秒間に2パケットが送信設備6とワンセグ受信器7との間の最大伝送速度であるため、字幕データが3パケット構成になると、字幕データは、更に1秒間遅れてワンセグ受信器へ入力されることになる。   When the caption data is one packet, the display timing of the caption and the video is matched by adding the delay time of 1000 msec. However, in radio wave propagation of one-segment broadcasting, subtitle data has a maximum transmission rate between the transmission facility 6 and the one-seg receiver 7 of 2 packets per second. Further, the signal is input to the one-segment receiver with a delay of one second.

その場合、字幕データの上書きは生じないが、映像が変わっても未だに1つ前の映像画面に対する字幕が表示され、従来の改善手段では不自然な字幕表示となってしまう問題がある。   In this case, overwriting of subtitle data does not occur, but even if the video changes, the subtitle for the previous video screen is still displayed, and there is a problem that subtitle display is unnatural in the conventional improvement means.

ここで図1に戻る。本発明の実施例のワンセグ字幕送出装置3では、変換されたワンセグ字幕データの字幕パケット数を計数し、3パケット(以上)の場合は、遅延を与えず、1パケットの場合は、遅延を与えるようにする。即ち、パケット数に応じて遅延時間を変化させることにより、字幕と映像の整合に違和感が起きないようにするものである。   Returning now to FIG. In the one-segment subtitle transmission apparatus 3 according to the embodiment of the present invention, the number of subtitle packets of the converted one-segment subtitle data is counted, and no delay is given in the case of 3 packets (or more), and a delay is given in the case of 1 packet. Like that. That is, by changing the delay time in accordance with the number of packets, a sense of incongruity does not occur in the alignment between subtitles and video.

図6は、本発明の実施例におけるワンセグ字幕送出装置5の字幕送出タイミングの処理手順を説明するフローチャートである。
以下、図6と図3を参照して、字幕送出タイミングの処理手順を説明する。図3において、VANC字幕装置2から入力される字幕データは、前述の如く出力バッファ324に一時蓄積されると共に、サイズ判定部323でパケットサイズが判定され、内部バスを介して制御部311に当該字幕データのパケット数が入力される(図6のステップs1)。
FIG. 6 is a flowchart for explaining the processing procedure of the subtitle transmission timing of the one-segment subtitle transmission apparatus 5 in the embodiment of the present invention.
Hereinafter, a processing procedure of subtitle transmission timing will be described with reference to FIGS. In FIG. 3, the caption data input from the VANC caption device 2 is temporarily stored in the output buffer 324 as described above, the packet size is determined by the size determination unit 323, and the control unit 311 is informed via the internal bus. The number of subtitle data packets is input (step s1 in FIG. 6).

制御部311は、このパケット数が1(図6のステップs2が1)の場合、その字幕データのパケットがVANC字幕抽出部312に入力後、例えば、従来と同様にVANC字幕重畳部313から1秒間(1000msec)遅延して出力するよう出力バッファ324での滞留時間を調整してから出力する制御を行う(ステップs3)。   When the number of packets is 1 (step s2 in FIG. 6 is 1), the control unit 311 inputs the subtitle data packet to the VANC subtitle extraction unit 312. The output is controlled after adjusting the residence time in the output buffer 324 so that the output is delayed for a second (1000 msec) (step s3).

また、パケット数が2(図6のステップs2が2)の場合、放送電波が字幕2パケットを送信するのに必要な時間を差し引いた遅延時間として補正し、例えば、0.5秒を遅延時間とするように出力バッファ324での滞留時間を調整してから出力する制御を行う(ステップs4)。   Further, when the number of packets is 2 (step s2 in FIG. 6 is 2), the delay time is corrected by subtracting the time required for the broadcast radio wave to transmit the subtitle 2 packet. For example, 0.5 seconds is the delay time. Then, the output is controlled after adjusting the residence time in the output buffer 324 (step s4).

そして、前述の様にパケット数が最大許容数の3パケット(図6のステップs2が3)の場合、字幕データの放送電波がワンセグ受信器7で復調されて出力バッファ324に蓄積されるまでに上書きを防ぐのに十分な時間を消費している。従って制御部311は、遅延時間を与えないか、最小の調整時間(もしくは処理時間)として、例えば、0.1秒を遅延時間とするように出力バッファ324での滞留時間を調整してから出力する制御を行う(ステップs5)。   If the number of packets is the maximum allowable number of 3 packets (step s2 in FIG. 6 is 3) as described above, the broadcast wave of the caption data is demodulated by the one-segment receiver 7 and accumulated in the output buffer 324. Sufficient time is consumed to prevent overwriting. Therefore, the control unit 311 outputs the output after adjusting the residence time in the output buffer 324 so that the delay time is not given or the delay time is 0.1 seconds, for example, as the minimum adjustment time (or processing time). Control is performed (step s5).

この様にすれば、ワンセグ受信器7には手を加えること無く字幕データのパケット数の多少に関わらず映像と字幕が揃ったタイミングで表示出来るようになる。   In this way, the one-seg receiver 7 can be displayed at the timing when the video and the subtitle are aligned regardless of the number of subtitle data packets without any changes.

また、上記説明では、HD放送を例に、ワンセグ放送の字幕送出方法を説明したが、SD放送、アナログ放送の場合も同様である。その場合、放送種類や装置名でのHDをそれぞれSD、アナログに読み替えれば良い。   In the above description, the subtitle transmission method for one-segment broadcasting has been described by taking HD broadcasting as an example, but the same applies to SD broadcasting and analog broadcasting. In that case, the HD in the broadcast type and device name may be read as SD and analog, respectively.

なお、上記説明は、地上波放送の放送信号を利用したサイマル放送におけるワンセグ放送での字幕送出の方法を例に説明したが、ワンセグ放送専用の映像信号と、字幕データを送出コンテンツとして字幕放送をおこなう場合にも同様に、映像信号と字幕データとの間で字幕データの遅延時間を調整するものであっても良い。この場合、図3におけるワンセグ字幕送出装置3には、VANC字幕装置2の代わりに直接映像信号と字幕データとが入力され、字幕送出装置3の字幕抽出部312をバイパスしてVANC字幕重畳部313へ映像信号が入力される。また、字幕データは、HD−ワンセグ字幕データ変換部322をバイパスし、直接、サイズ判定部323と出力バッファ324とへ入力されるようにすればよい。   In the above description, the method of transmitting captions in one-segment broadcasting in simulcasting using terrestrial broadcast signals is described as an example. However, subtitle broadcasting is performed using video signals dedicated to one-segment broadcasting and caption data as transmission content. Similarly, when performing, the delay time of the caption data may be adjusted between the video signal and the caption data. In this case, the one-segment subtitle transmission device 3 in FIG. 3 receives the video signal and the subtitle data directly instead of the VANC subtitle device 2, bypasses the subtitle extraction unit 312 of the subtitle transmission device 3, and the VANC subtitle superposition unit 313. A video signal is input. The caption data may be directly input to the size determination unit 323 and the output buffer 324, bypassing the HD-one-segment caption data conversion unit 322.

本発明の実施例に係わるワンセグ字幕放送システムの構成を示す系統図。1 is a system diagram showing a configuration of a one-segment subtitle broadcasting system according to an embodiment of the present invention. ワンセグ受信器の機能構成を説明するブロック図。The block diagram explaining the function structure of a one-segment receiver. 本発明の実施例に係わるワンセグ字幕送出装置の機能を説明する機能ブロック図。The functional block diagram explaining the function of the one-segment subtitle transmission apparatus concerning the Example of this invention. ワンセグ受信器における字幕と映像の表示タイミング(字幕データ遅延なし)の説明図。Explanatory drawing of the subtitle and video display timing (no subtitle data delay) in the one-segment receiver. ワンセグ受信器における字幕と映像の表示タイミング(字幕データ遅延あり)の説明図。Explanatory drawing of the subtitle and video display timing (with subtitle data delay) in a one-segment receiver. 本発明の実施例におけるワンセグ字幕送出装置の字幕送出タイミングの処理手順を説明するフローチャート。The flowchart explaining the process sequence of the subtitle transmission timing of the one-segment subtitle transmission apparatus in the Example of this invention. 従来のワンセグ字幕放送システムの構成を示す系統図。The system diagram which shows the structure of the conventional one-segment subtitle broadcasting system. 字幕と、映像が正しく対応して表示される例を示す図。The figure which shows the example in which a caption and a video | video are correctly matched and displayed. 字幕と、映像が正しく対応せずに表示される例を示す図。The figure which shows the example displayed without a subtitle | symbol and an image | video correctly matching.

符号の説明Explanation of symbols

1 マスタ装置
2 VANC字幕装置
3、300 ワンセグ字幕送出装置
31 インタフェース部
311 制御部
312 VANC字幕抽出部
313 VANC字幕重畳部
32 変換部
321 変換テーブル
322 HD−ワンセグ字幕データ変換部
323 サイズ判定部
324 出力バッファ
4 ダウンコンバータ(D/C)
5 H264エンコーダ(H264ENC)
6 送信設備
7 ワンセグ受信器
H5 HD符号化器
H6 送信設備
H7 受信器H7
DESCRIPTION OF SYMBOLS 1 Master apparatus 2 VANC subtitle apparatus 3, 300 One segment subtitle transmission apparatus 31 Interface section 311 Control section 312 VANC subtitle extraction section 313 VANC subtitle superimposition section 32 Conversion section 321 Conversion table 322 HD-one segment subtitle data conversion section 323 Size determination section 324 Output Buffer 4 Down converter (D / C)
5 H264 encoder (H264ENC)
6 Transmission equipment 7 One-segment receiver H5 HD encoder H6 Transmission equipment H7 Receiver H7

Claims (4)

入力される地上波デジタル放送システムの字幕放送信号を映像データと字幕データとに分離して出力する字幕抽出手段から出力された映像信号と字幕データとを字幕重畳手段が重畳し、ワンセグ字幕放送信号として送出する字幕送出装置において、
入力される地上波デジタル放送システムの字幕放送信号を映像データと字幕データとに分離して出力する字幕抽出手段と、
入力される前記分離された字幕データを一時蓄積した後、制御信号で指定される時間の経過後に出力するバッファ手段と、
前記バッファ手段に入力される字幕データのパケット数を計数して出力するパケットサイズ判定手段と、
前記計数して出力されたパケット数を受信し、
受信したパケット数が1の場合、前記字幕抽出手段に前記字幕放送信号が入力したタイミングから1秒経過後に前記字幕重畳手段から前記字幕データが前記重畳されて出力される様に前記バッファ手段へ前記制御信号を出力し、
受信したパケット数が2の場合、前記字幕抽出手段に前記字幕放送信号が入力したタイミングから0.5秒経過後に前記字幕重畳手段から前記字幕データが前記重畳されて出力される様に前記バッファ手段へ前記制御信号を出力し、
受信したパケット数が3の場合、前記字幕抽出手段に前記字幕放送信号が入力したタイミングから0.1秒経過後に前記字幕重畳手段から前記字幕データが前記重畳されて出力される様に前記バッファ手段へ前記制御信号を出力する
制御手段と、
前記字幕抽出手段から入力される前記映像信号に前記字幕データを前記バッファ手段から前記字幕データが入力されるタイミングで重畳し、ワンセグ字幕放送信号として送出する字幕重畳手段とを
備えることを特徴とする字幕送出装置
The subtitle superimposing means superimposes the video signal output from the subtitle extracting means for outputting the subtitle broadcast signal of the input digital terrestrial broadcasting system into the video data and the subtitle data, and the subtitle data. In the subtitle sending device that sends out as
Subtitle extraction means for separating and outputting the subtitle broadcast signal of the input terrestrial digital broadcasting system into video data and subtitle data;
Buffer means for temporarily storing the input subtitle data to be input, and outputting after the time specified by the control signal;
A packet size determining means for counting and outputting the number of subtitle data packets input to the buffer means;
Receiving the number of packets output by counting,
When the number of received packets is 1, the subtitle superimposing unit outputs the superimposed subtitle data to the buffer unit after 1 second from the timing when the subtitle broadcast signal is input to the subtitle extracting unit. Output a control signal,
When the number of received packets is 2, the buffer means so that the caption data is superimposed and output from the caption superimposing means after 0.5 seconds from the timing when the caption broadcast signal is input to the caption extracting means. Output the control signal to
When the number of received packets is 3, the buffer means so that the caption data is superimposed and output from the caption superimposing means after 0.1 seconds have elapsed from the timing when the caption broadcast signal is input to the caption extracting means. Output the control signal to
Control means;
Subtitle superimposing means for superimposing the subtitle data on the video signal input from the subtitle extracting means at a timing when the subtitle data is input from the buffer means, and transmitting the subtitle data as a one-segment subtitle broadcast signal;
A caption transmission device comprising:
映像信号と字幕データとを字幕重畳手段が重畳し、ワンセグ字幕放送信号として送出する地上波ワンセグ字幕放送用の字幕送出装置において、In a caption transmission device for terrestrial one-segment caption broadcasting in which a caption superimposing means superimposes a video signal and caption data and transmits it as a one-segment caption broadcast signal,
入力される字幕データを一時蓄積した後、制御信号で指定される時間の経過後に出力するバッファ手段と、  Buffer means for temporarily storing the input subtitle data and then outputting after the time specified by the control signal;
前記一時蓄積される字幕データのパケット数を計数して出力するパケットサイズ判定手段と、  A packet size determining means for counting and outputting the number of packets of the temporarily stored caption data;
前記計数して出力されたパケット数を受信し、  Receiving the number of packets output by counting,
受信したパケット数が1の場合、前記バッファ手段に前記字幕データが入力したタイミングから1秒経過後に前記字幕重畳手段から前記字幕データが前記重畳されて出力される様に前記バッファ手段へ前記制御信号を出力し、    When the number of received packets is 1, the control signal is sent to the buffer means so that the caption data is superimposed and output from the caption superimposing means after one second from the timing when the caption data is input to the buffer means. Output
受信したパケット数が2の場合、前記バッファ手段に前記字幕データが入力したタイミングから0.5秒経過後に前記字幕重畳手段から前記字幕データが前記重畳されて出力される様に前記バッファ手段へ前記制御信号を出力し、  When the number of received packets is 2, the subtitle data is superimposed and output from the subtitle superimposing means to the buffer means after 0.5 seconds from the timing when the subtitle data is input to the buffer means. Output a control signal,
受信したパケット数が3の場合、前記バッファ手段に前記字幕データが入力したタイミングから0.1秒経過後に前記字幕重畳手段から前記字幕データが前記重畳されて出力される様に前記バッファ手段へ前記制御信号を出力するWhen the number of received packets is 3, the subtitle data is superimposed and output from the subtitle superimposing means to the buffer means after 0.1 second from the timing when the subtitle data is input to the buffer means. Output control signal
制御手段と、Control means;
映像信号に前記字幕データを前記バッファ手段から前記字幕データが入力されるタイミングで重畳し、ワンセグ字幕放送信号として送出する字幕重畳手段とを  Subtitle superimposing means for superimposing the subtitle data on a video signal at a timing when the subtitle data is input from the buffer means and transmitting the subtitle data as a one-segment subtitle broadcast signal;
備えることを特徴とする字幕送出装置。A caption transmission device comprising:
入力される地上波デジタル放送システムの字幕放送信号を映像データと字幕データとに分離して出力する字幕抽出手段と、バッファ手段と、パケットサイズ判定手段と、制御手段と、字幕重畳手段とを備え、前記映像信号と前記字幕データとを重畳し、ワンセグ字幕放送信号として送出する字幕送出装置の字幕送出方法において、Subtitle extraction means for separating the subtitle broadcast signal of the input digital terrestrial broadcasting system into video data and subtitle data and outputting the data, buffer means, packet size determination means, control means, and subtitle superposition means In the subtitle transmission method of a subtitle transmission apparatus that superimposes the video signal and the subtitle data and transmits the one-segment subtitle broadcast signal,
前記字幕抽出手段は、入力される地上波デジタル放送システムの字幕放送信号を映像データと字幕データとに分離して出力し、  The caption extraction means separates and outputs the caption broadcast signal of the input digital terrestrial broadcasting system into video data and caption data,
前記バッファ手段は、前記分離された字幕データが入力され、それを一時蓄積した後、制御信号で指定される時間の経過後に出力し、  The buffer means receives the separated subtitle data, temporarily stores it, and then outputs it after elapse of the time specified by the control signal,
前記パケットサイズ判定手段は、前記バッファ手段に入力される字幕データのパケット数を計数して出力し、  The packet size determination means counts and outputs the number of subtitle data packets input to the buffer means,
前記制御手段は、  The control means includes
前記計数して出力されたパケット数を受信し、Receiving the number of packets output by counting,
受信したパケット数が1の場合、前記字幕抽出手段に前記字幕放送信号が入力したタイミングから1秒経過後に前記字幕重畳手段から前記字幕データが前記重畳されて出力される様に前記バッファ手段へ前記制御信号を出力し、    When the number of received packets is 1, the subtitle superimposing unit outputs the superimposed subtitle data to the buffer unit after 1 second from the timing when the subtitle broadcast signal is input to the subtitle extracting unit. Output a control signal,
受信したパケット数が2の場合、前記字幕抽出手段に字幕放送信号が入力したタイミングから0.5秒経過後に前記字幕重畳手段から前記字幕データが前記重畳されて出力される様に前記バッファ手段へ前記制御信号を出力し、  When the number of received packets is 2, the subtitle superimposing means outputs the superimposed data to the buffer means after 0.5 seconds from the timing when the subtitle broadcast signal is input to the subtitle extracting means. Outputting the control signal;
受信したパケット数が3の場合、前記字幕抽出手段に前記字幕放送信号が入力したタイミングから0.1秒経過後に字幕重畳手段から前記字幕データが前記重畳されて出力される様に前記バッファ手段へ前記制御信号を出力し、  When the number of received packets is 3, the subtitle superimposing means outputs the superimposed subtitle data to the buffer means after 0.1 seconds from the timing when the subtitle broadcast signal is input to the subtitle extracting means. Outputting the control signal;
前記字幕重畳手段は、前記字幕抽出手段から入力される前記映像信号に前記字幕データを前記バッファ手段から前記字幕データが入力されるタイミングで重畳し、ワンセグ字幕放送信号として送出することを特徴とする字幕送出装置の字幕送出方法。  The subtitle superimposing unit superimposes the subtitle data on the video signal input from the subtitle extracting unit at a timing when the subtitle data is input from the buffer unit, and transmits the subtitle data as a one-segment subtitle broadcast signal. A subtitle transmission method of a subtitle transmission apparatus.
バッファ手段と、パケットサイズ判定手段と、制御手段と、字幕重畳手段とを備え、映像信号と、字幕データとを重畳し、ワンセグ字幕放送信号として送出する字幕送出装置の字幕送出方法において、In a caption sending method of a caption sending device comprising a buffer means, a packet size determining means, a control means, and a caption superimposing means, superimposing a video signal and caption data and sending it as a one-segment caption broadcast signal,
前記バッファ手段は、前記字幕データが入力され、それを一時蓄積した後、制御信号で指定される時間の経過後に出力し、  The buffer means receives the subtitle data, temporarily stores it, and outputs it after elapse of the time specified by the control signal,
前記パケットサイズ判定手段は、前記バッファ手段に入力される字幕データのパケット数を計数して出力し、  The packet size determination means counts and outputs the number of subtitle data packets input to the buffer means,
前記制御手段は、  The control means includes
前記計数して出力されたパケット数を受信し、Receiving the number of packets output by counting,
受信したパケット数が1の場合、前記バッファ手段に前記字幕データが入力したタイミングから1秒経過後に前記字幕重畳手段から前記字幕データが前記重畳されて出力される様に前記バッファ手段へ前記制御信号を出力し、    When the number of received packets is 1, the control signal is sent to the buffer means so that the caption data is superimposed and output from the caption superimposing means after one second from the timing when the caption data is input to the buffer means. Output
受信したパケット数が2の場合、前記バッファ手段に前記字幕データが入力したタイミングから0.5秒経過後に前記字幕重畳手段から前記字幕データが前記重畳されて出力される様に前記バッファ手段へ前記制御信号を出力し、  When the number of received packets is 2, the subtitle data is superimposed and output from the subtitle superimposing means to the buffer means after 0.5 seconds from the timing when the subtitle data is input to the buffer means. Output a control signal,
受信したパケット数が3の場合、前記バッファ手段に前記字幕データが入力したタイミングから0.1秒経過後に前記字幕重畳手段から前記字幕データが前記重畳されて出力される様に前記バッファ手段へ前記制御信号を出力し、  When the number of received packets is 3, the subtitle data is superimposed and output from the subtitle superimposing means to the buffer means after 0.1 second from the timing when the subtitle data is input to the buffer means. Output a control signal,
前記字幕重畳手段は、前記映像信号に前記字幕データを前記バッファ手段から前記字幕データが入力されるタイミングで重畳し、ワンセグ字幕放送信号として送出することを特徴とする字幕送出装置の字幕送出方法。  A subtitle transmitting method of a subtitle transmitting apparatus, wherein the subtitle superimposing unit superimposes the subtitle data on the video signal at a timing when the subtitle data is input from the buffer unit, and transmits the subtitle data as a one-segment subtitle broadcast signal.
JP2006263311A 2006-09-27 2006-09-27 Subtitle transmission apparatus and subtitle transmission method Expired - Fee Related JP5075383B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006263311A JP5075383B2 (en) 2006-09-27 2006-09-27 Subtitle transmission apparatus and subtitle transmission method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006263311A JP5075383B2 (en) 2006-09-27 2006-09-27 Subtitle transmission apparatus and subtitle transmission method

Publications (2)

Publication Number Publication Date
JP2008085663A JP2008085663A (en) 2008-04-10
JP5075383B2 true JP5075383B2 (en) 2012-11-21

Family

ID=39356059

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006263311A Expired - Fee Related JP5075383B2 (en) 2006-09-27 2006-09-27 Subtitle transmission apparatus and subtitle transmission method

Country Status (1)

Country Link
JP (1) JP5075383B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013026696A (en) * 2011-07-15 2013-02-04 Sony Corp Transmitting device, transmission method and receiving device
JP6058973B2 (en) * 2012-10-26 2017-01-11 京セラ株式会社 Electronic equipment and system
JP6700957B2 (en) * 2016-05-10 2020-05-27 日本放送協会 Subtitle data generation device and program
JP6743931B2 (en) * 2019-03-26 2020-08-19 ソニー株式会社 Transmission device, transmission method, reception device, and reception method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003284010A (en) * 2002-03-26 2003-10-03 Mitsubishi Electric Corp Encoding apparatus and media data synchronizing method
JP4074504B2 (en) * 2002-10-16 2008-04-09 シャープ株式会社 Receiver
JP4102727B2 (en) * 2003-08-26 2008-06-18 松下電器産業株式会社 Recording / reproducing apparatus and data transmission / reception system

Also Published As

Publication number Publication date
JP2008085663A (en) 2008-04-10

Similar Documents

Publication Publication Date Title
EP1097578B1 (en) Method and arrangement for transmitting and receiving encoded images
JP5075383B2 (en) Subtitle transmission apparatus and subtitle transmission method
JP4074504B2 (en) Receiver
JP4884787B2 (en) Broadcast receiving apparatus and channel selection method
JP4186514B2 (en) Broadcast receiver
WO2009122668A1 (en) Digital broadcast transmission/reception device
JP2004172864A (en) Controller for display of superimposed-dialogue
JP5394248B2 (en) Digital broadcast receiver
JPH10304327A (en) Data broadcast receiver and television receiver
US20080158419A1 (en) Video display apparatus and method for displayiing video
JP4444702B2 (en) Digital transmission system
JP4783724B2 (en) TS switch for digital terrestrial broadcasting and method
JP2009171393A (en) Broadcast receiver, broadcast receiving method and broadcast receiving program
JP4210997B2 (en) Digital broadcast receiver
JP5326664B2 (en) Decoder device, digital broadcasting system, TS packet decoding method, and broadcast caption monitoring method
KR101007245B1 (en) Method and system for vfc memory management
JP4361340B2 (en) Digital tv receiver
JP4322478B2 (en) Television broadcast program relay transmission system, television broadcast signal reception processing apparatus thereof, and signal processing control method used in the television broadcast signal reception processing apparatus
WO2009119031A1 (en) Digital television broadcast reception device
JP4970059B2 (en) Digital broadcast receiver
JP5400738B2 (en) Retransmission device
JPH11275475A (en) Digital broadcast receiving method and digital broadcast recording and/or reproducing method
JP2018042027A (en) Digital broadcast receiver
JP2007096407A (en) Digital broadcast receiver
JP2004140506A (en) Providing method, receiver, and transmitter for broadcast program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090609

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20111125

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20111205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120120

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120803

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120827

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150831

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees