JP5274179B2 - Subtitle broadcasting system and subtitle broadcasting method - Google Patents
Subtitle broadcasting system and subtitle broadcasting method Download PDFInfo
- Publication number
- JP5274179B2 JP5274179B2 JP2008245265A JP2008245265A JP5274179B2 JP 5274179 B2 JP5274179 B2 JP 5274179B2 JP 2008245265 A JP2008245265 A JP 2008245265A JP 2008245265 A JP2008245265 A JP 2008245265A JP 5274179 B2 JP5274179 B2 JP 5274179B2
- Authority
- JP
- Japan
- Prior art keywords
- subtitle
- time
- data
- video
- caption
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Circuits (AREA)
- Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、字幕放送システム及び字幕放送方法に関する。 The present invention relates to a caption broadcasting system and a caption broadcasting method.
近年、ニュースなどの生のテレビ番組では、聴覚障害者向けサービスとして字幕を放送することが増えている。この「生」の字幕放送（「生字幕放送」、「リアルタイム字幕放送」）では、時として映像に対して字幕が数秒〜数十秒遅れて放送され、視聴者が違和感を覚えることがある。これは、生の音声より、字幕データを作成するので、時間的に字幕データが映像・音声に対して遅れてしまうからである。 In recent years, in live TV programs such as news, subtitles are increasingly broadcast as a service for the hearing impaired. In this “live” subtitle broadcast (“live subtitle broadcast”, “real-time subtitle broadcast”), the subtitle is sometimes broadcast with a delay of several seconds to several tens of seconds with respect to the video, and the viewer may feel uncomfortable. This is because subtitle data is created from raw audio, so that the subtitle data is delayed with respect to video / audio.
このような字幕遅延を補償する手法が例えば特許文献１に提案されている。 For example, Patent Document 1 proposes a method for compensating for such caption delay.
ところで、デジタル放送では、地上アナログ放送と異なり字幕（文字）重畳映像は映像信号に、重畳するように挿入されない。そして、字幕データのパケット（ＰＥＳ）は、映像信号チャネルとは別の字幕データとしてで伝送される。受信した映像情報と字幕データとの表示は同期しなければならない。 By the way, in digital broadcasting, unlike terrestrial analog broadcasting, caption (character) superimposed video is not inserted so as to be superimposed on a video signal. The subtitle data packet (PES) is transmitted as subtitle data different from the video signal channel. The display of the received video information and subtitle data must be synchronized.
この字幕と映像が対応して表示されるよう、字幕放送信号には、シーン（画面、フレーム等）毎に対応する映像信号、音声、字幕の間のタイミング調整を行うためにＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）が用いられる。 In order to display the subtitle and the video in correspondence, the subtitle broadcast signal has a PTS (Presentation Time Stamp) for adjusting the timing between the video signal, audio, and subtitle corresponding to each scene (screen, frame, etc.). ) Is used.
例えば、ＰＴＳについて模式的に説明すれば、例えば、ある特定のシーン（例えば、シーン「１」、それに続くシーン「２」とする。）に対して、映像信号、音声信号、字幕データのパケットに、それぞれ、ＰＴＳとして、シーン「１」についてＰＴＳ−Ｖ１、ＰＴＳ−Ａ１、ＰＴＳ−Ｃ１、シーン「２」には、ＰＴＳ−Ｖ２、ＰＴＳ−Ａ２、ＰＴＳ−Ｃ２が付与されるとする。受信側では、各シーンに対応して、各信号のＰＴＳの添字「１」、「２」が一組になるように各信号が揃って出力され、モニタ等に表示される。
しかしながら、上述したリアルタイム字幕放送のような、生の映像・音声から字幕データを作成する場合には、映像に対して字幕が遅れて表示されることには変わらず、字幕放送に対して視聴者が違和感を覚えていた。 However, when subtitle data is created from live video / audio, such as the above-mentioned real-time subtitle broadcast, the subtitle is displayed with a delay relative to the video, and the viewer is I felt uncomfortable.
そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は、字幕放送システムにおいて、映像・音声と字幕との時間的なずれを減少させる字幕放送システム及び字幕放送方法を提供することにある。 Accordingly, the present invention has been invented in view of the above problems, and an object of the present invention is to provide a caption broadcasting system and a caption broadcasting method for reducing a time lag between video / audio and caption in a caption broadcasting system. There is to do.
上記課題を解決する本発明は、字幕データのＰＴＳの値を、データのうち最もエンコードに時間がかかるデータのエンコード時間と、字幕データのエンコード時間との差分時間分、少なくとも減算して設定する字幕ＰＴＳ設定手段を有することを特徴とする字幕放送システムである。 The present invention that solves the above-described problem is a subtitle in which the PTS value of subtitle data is set by subtracting at least a difference time between the encoding time of data that takes the longest encoding time and the encoding time of subtitle data. A subtitle broadcasting system having PTS setting means.
また、上記課題を解決する本発明は、字幕データのＰＴＳの値を、データのうち最もエンコードに時間がかかるデータのエンコード時間と、字幕データのエンコード時間との差分時間少なくとも減算して設定することを特徴とする字幕放送方法である。 Also, the present invention for solving the above-mentioned problem is to set the PTS value of caption data by subtracting at least the difference time between the encoding time of data that takes the longest encoding time and the encoding time of caption data. Is a subtitle broadcasting method characterized by
本発明は、字幕放送システムにおいて、映像・音声と字幕との時間的なずれを減少させることができる。 The present invention can reduce the time lag between video / audio and subtitles in a subtitle broadcasting system.
本発明の実施の形態を説明する。 An embodiment of the present invention will be described.
デジタル放送においては、「映像・音声」と「字幕」とでは、エンコードにかかる時間に差があり、「映像・音声」は、通常、エンコードに最も時間がかかる。そこで、本発明の実施の形態では、「映像・音声」のエンコードにかかる時間と、「字幕」のエンコードにかかる時間との差分時間を字幕データのＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）の値に反映し、リアルタイム字幕における表示タイミングの遅れを吸収する。 In digital broadcasting, there is a difference in encoding time between “video / audio” and “caption”, and “video / audio” usually takes the longest to encode. Therefore, in the embodiment of the present invention, the difference time between the time required for encoding “video / audio” and the time required for encoding “caption” is reflected in the value of PTS (Presentation Time Stamp) of the caption data, Absorbs display timing delay in real-time captions.
図１は本実施の形態における字幕放送システムのブロック図である。 FIG. 1 is a block diagram of a caption broadcasting system in the present embodiment.
まず、映像・音声データは字幕作成装置１に入力され、映像・音声データによる映像、音声をモニタし、この映像・音声に基づいて、オペレータがテキストを字幕作成装置１に打ち込み、字幕データが作成される。 First, the video / audio data is input to the subtitle creation apparatus 1, and the video and audio based on the video / audio data are monitored. Based on this video / audio, the operator inputs text into the subtitle creation apparatus 1 to create subtitle data. Is done.
続いて、字幕作成装置１は、作成されたた字幕データ（テキストや、書式情報）をＨＤ−ＳＤＩ信号（映像・音声）のＡＮＣ(Ａｎｃｉｌｌａｒｙ)領域に格納する。このとき、字幕データと共に、エンコーダ２による映像・音声データのエンコードにかかる時間とエンコーダ２による字幕データのエンコードにかかる時間との差分時間をオフセット値としてＨＤ−ＳＤＩ信号のＡＮＣ(Ａｎｃｉｌｌａｒｙ)領域に格納する。尚、差分時間であるが、エンコーダ２による映像・音声データのエンコード時間と字幕データのエンコード時間とを予め計測しておき、これらの差分時間をオフセット値として記憶しておく。 Subsequently, the caption creation device 1 stores the created caption data (text and format information) in an ANC (Ancillary) area of the HD-SDI signal (video / audio). At this time, along with the caption data, the difference time between the time required for encoding the video / audio data by the encoder 2 and the time required for encoding the caption data by the encoder 2 is stored as an offset value in the ANC (Ancillary) area of the HD-SDI signal. To do. In addition, although it is difference time, the encoding time of the video / audio data by the encoder 2 and the encoding time of caption data are measured in advance, and these difference times are stored as offset values.
エンコーダ２は、映像・音声データにＰＴＳ値を付してエンコードする。また、その映像・音声データのＡＮＣ領域に格納されている字幕データ及びオフセット値を取り出し、映像・音声データに付されたＰＴＳ値からオフセット値を減算した値（ＰＴＳ値−オフセット値）を、字幕データのＰＴＳ値として付与し、字幕データをエンコードする。 The encoder 2 encodes video / audio data with a PTS value. Also, subtitle data and offset values stored in the ANC area of the video / audio data are extracted, and a value obtained by subtracting the offset value from the PTS value attached to the video / audio data (PTS value-offset value) It is given as a PTS value of data, and caption data is encoded.
このように構成することにより、テレビ受信機では、ＰＴＳ値をもとに、映像、音声及び字幕の表示タイミングを決定するので、音声と字幕表示タイミングのずれが減少する。 With this configuration, the television receiver determines the display timing of video, audio, and subtitles based on the PTS value, thereby reducing the difference between audio and subtitle display timing.
次に、本実施の形態の具体的な動作を説明する。 Next, a specific operation of the present embodiment will be described.
図２は本実施の形態の具体例を示した図である。 FIG. 2 is a diagram showing a specific example of the present embodiment.
まず、エンコード前の状態で、映像・音声Ａ、…、映像・音声Ｂ、…、映像・音声Ｃ…、が存在している。 First, video / audio A, ..., video / audio B, ..., video / audio C ... exist before being encoded.
ここで、映像・音声Ａ、…、映像・音声Ｂ、…、映像・音声Ｃ…をモニタすることにより、それぞれの字幕Ａ、字幕Ｂ、字幕Ｃ…が作成される。ここでは、リアルタイム字幕システムを前提にしているので、これらの字幕データは対応する映像・音声データに対して字幕作成時間Ｘ分に遅れて作成される。例えば、字幕Ａは、オペレータが映像・音声Ａをモニタして作成するので、映像・音声Ａよりも、字幕作成時間Ｘだけ遅れている。 Here, video / audio A,..., Video / audio B,..., Video / audio C,. Here, since the real-time caption system is premised, these caption data are created after the caption creation time X minutes with respect to the corresponding video / audio data. For example, the subtitle A is created by monitoring the video / audio A by the operator, and therefore is delayed from the video / audio A by the subtitle creation time X.
字幕作成装置１は、作成した字幕を映像、音声のＡＮＣ領域に格納すると共に、エンコーダ２が映像・音声をエンコードするのにかかる時間ＶＥとエンコーダ２が字幕をエンコードするのにかかる時間ＧＥとの差分時間をオフセット値ＴとしてＡＮＣ領域に格納する。オフセット値Ｔは、各エンコード時間を予め計測しておき、これらの時間の差分時間をオフセット値Ｔとして記憶しておき、このオフセット値ＴをＡＮＣ領域に格納する。 The caption creation device 1 stores the created caption in the ANC area of video and audio, and the time VE required for the encoder 2 to encode the video / audio and the time GE required for the encoder 2 to encode the caption The difference time is stored in the ANC area as an offset value T. For the offset value T, each encoding time is measured in advance, the difference time between these times is stored as the offset value T, and this offset value T is stored in the ANC area.
尚、映像・音声Ａに対応した字幕Ａは、上述したように時間的に遅れて作成されるので、映像・音声ＡのＡＮＣ領域には格納されず、時間的に後の映像・音声ＡのＡＮＣ領域に格納される。 Note that the caption A corresponding to the video / audio A is created with a time delay as described above, so it is not stored in the ANC area of the video / audio A, and the video / audio A of the later video / audio A is not stored. Stored in the ANC area.
字幕データ及びオフセット値ＴがＡＮＣ領域に格納された映像・音声は、エンコーダ２に入力される。そして、映像・音声はエンコードされて、ＰＴＳ値が付される。図２では、映像・音声ＡにＰＴＳ（ａ）が付され、映像・音声ＢにＰＴＳ（ｂ）が付され、映像・音声ＣにＰＴＳ（ｃ）が付される。 The video / audio in which the caption data and the offset value T are stored in the ANC area is input to the encoder 2. The video / audio is encoded and assigned a PTS value. In FIG. 2, PTS (a) is added to video / audio A, PTS (b) is added to video / audio B, and PTS (c) is added to video / audio C.
一方、映像・音声のＡＮＣ領域に格納された字幕データもエンコードされ、ＰＴＳ値が付される。このとき従来では、図２示すごとく、字幕ＡにＰＴＳ（ａ＋Ｘ）が付され、字幕ＢにＰＴＳ（ｂ＋Ｘ）が付され、字幕ＣにＰＴＳ（ｃ＋Ｘ）が付される。尚、Ｘは字幕作成時間である。 On the other hand, caption data stored in the ANC area of video / audio is also encoded and assigned a PTS value. At this time, conventionally, as shown in FIG. 2, PTS (a + X) is attached to subtitle A, PTS (b + X) is attached to subtitle B, and PTS (c + X) is attached to subtitle C. X is a caption creation time.
しかし、本実施の形態では、エンコーダ２は、字幕データをエンコードする際に付するＰＴＳ値から、ＡＮＣ領域に格納されているオフセット値を引いたものを字幕データのＰＴＳ値とする。 However, in the present embodiment, the encoder 2 sets the PTS value of the caption data by subtracting the offset value stored in the ANC area from the PTS value attached when the caption data is encoded.
例えば、図２では、字幕ＡにＰＴＳ（ａ＋Ｘ−Ｔ）が付され、字幕ＢにＰＴＳ（ｂ＋Ｘ−Ｔ）が付され、字幕ＣにＰＴＳ（ｃ＋Ｘ−Ｔ）が付される。尚、Ｔはオフセット値である。 For example, in FIG. 2, PTS (a + XT) is attached to caption A, PTS (b + XT) is attached to caption B, and PTS (c + XT) is attached to caption C. T is an offset value.
上述の如くエンコードされた映像、音声及び字幕は、受信機で受信され、各ＰＴＳ値を参照し、映像、音声、字幕が再生される。例えば、字幕ＡのＰＴＳ値は（ａ＋Ｘ−Ｔ）なので、ＰＴＳ値が（ａ＋Ｘ−Ｔ）に近い映像・音声ともに再生される。 The video, audio, and subtitle encoded as described above are received by the receiver, and the video, audio, and subtitle are reproduced with reference to each PTS value. For example, since the PTS value of subtitle A is (a + XT), both video and audio with a PTS value close to (a + XT) are reproduced.
このように、本実施の形態では、映像・音声のエンコードに時間がかかるエンコード時間と、字幕データのエンコード時間との差分時間分、字幕のＰＴＳ値を減算しているので、映像・音声と字幕との時間的なずれを減少させることができる。 As described above, in the present embodiment, the subtitle PTS value is subtracted by the difference time between the encoding time of the video / audio encoding and the encoding time of the subtitle data. Can be reduced.
尚、上述の実施の形態では、映像・音声のエンコードに時間がかかるエンコード時間と字幕データのエンコード時間との差分時間を、オフセット値とした。これは、受信機のデコードのためのバッファを考慮したためである。受信機は少なくとも映像・音声をエンコード又はデコードする時間を吸収するバッファを持っているので、映像・音声のエンコードに時間がかかるエンコード時間と字幕データのエンコード時間との差分時間分、字幕のＰＴＳ値を減算しても、字幕のデータのＰＴＳ値に近い映像・音声のデータがバッファから削除されず、その映像・音声とともに再生することができる。 In the above-described embodiment, the difference time between the encoding time that takes time to encode the video / audio and the encoding time of the caption data is used as the offset value. This is because a buffer for decoding the receiver is taken into consideration. Since the receiver has a buffer that absorbs at least the time for encoding / decoding the video / audio, the PTS value of the subtitle is equal to the difference between the encoding time that takes time to encode the video / audio and the encoding time of the subtitle data. Is subtracted, video / audio data close to the PTS value of the caption data is not deleted from the buffer and can be reproduced together with the video / audio.
従って、バッファの容量に余裕がある場合や、蓄積型のハードディスクレコーダのように即時性を要求しないものであれば、オフセット値を差分時間よりも大きくしても良い。この場合、より、映像・音声と字幕とのずれをより多く吸収することができる。 Therefore, the offset value may be made larger than the difference time when there is a sufficient capacity in the buffer or when immediacy is not required like a storage type hard disk recorder. In this case, the difference between the video / audio and subtitles can be absorbed more.
また、オフセット値を可変としても良い。この場合、字幕を作成するに要した時間をオフセット値にしても良いし、字幕の作成にかかる時間に比例するようにオフセット時間を設定するようにしても良い。 Further, the offset value may be variable. In this case, the time required for creating the caption may be set as the offset value, or the offset time may be set in proportion to the time required for creating the caption.
１ 字幕作成装置
２ エンコーダ
1 Subtitle creation device 2 Encoder
Claims (8)
前記字幕データと、前記オフセット値とを、映像・音声データのＡＮＣ領域に格納する手段と、
前記字幕データに付与されるＰＴＳ値から前記オフセット値を減算してＰＴＳ値を設定する手段と
を有することを特徴とする請求項１に記載の字幕放送システム。 The subtitle PTS setting means includes:
It said caption data and said offset value, means for storing in the ANC area of video and audio data,
Subtitles broadcast system of claim 1, characterized in that it comprises a means for setting the PTS value by subtracting the offset value from the PTS value applied to the subtitle data.
映像・音声データのエンコード時間と、字幕データのエンコード時間との差分時間以上、デコードされた前記字幕データを受信機でバッファすることができる時間以下の範囲内にある所定時間をオフセット値として設定し、前記字幕データに付与されるＰＴＳ値から前記オフセット値を減算した値を、前記字幕データのＰＴＳの値に設定することを特徴とする字幕放送方法。 Subtitle creation device
Set a predetermined time as an offset value within the range of the difference time between the encoding time of video / audio data and the encoding time of subtitle data and less than the time that the decoded subtitle data can be buffered by the receiver. A subtitle broadcasting method , wherein a value obtained by subtracting the offset value from a PTS value assigned to the subtitle data is set as a PTS value of the subtitle data .
前記字幕データと、前記オフセット値とを、映像・音声データのＡＮＣ領域に格納し、
前記字幕データに付与されるＰＴＳ値から前記オフセット値を減算してＰＴＳ値を設定することを特徴とする請求項５に記載の字幕放送方法。 The caption production device
Wherein the caption data and the offset value, and stores in the ANC area of video and audio data,
6. The caption broadcasting method according to claim 5, wherein the PTS value is set by subtracting the offset value from the PTS value given to the caption data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008245265A JP5274179B2 (en) | 2008-09-25 | 2008-09-25 | Subtitle broadcasting system and subtitle broadcasting method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008245265A JP5274179B2 (en) | 2008-09-25 | 2008-09-25 | Subtitle broadcasting system and subtitle broadcasting method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010081141A JP2010081141A (en) | 2010-04-08 |
| JP5274179B2 true JP5274179B2 (en) | 2013-08-28 |
Family
ID=42211111
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008245265A Expired - Fee Related JP5274179B2 (en) | 2008-09-25 | 2008-09-25 | Subtitle broadcasting system and subtitle broadcasting method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5274179B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2370218B1 (en) * | 2010-05-20 | 2012-10-18 | Universidad Carlos Iii De Madrid | PROCEDURE AND DEVICE FOR SYNCHRONIZING SUBTITLES WITH AUDIO IN DIRECT SUBTITLE. |
| JP5586511B2 (en) * | 2011-03-25 | 2014-09-10 | 日本放送協会 | Synchronous control device and program |
| JP5903924B2 (en) * | 2012-02-17 | 2016-04-13 | ソニー株式会社 | Receiving apparatus and subtitle processing method |
| KR101789221B1 (en) * | 2015-07-16 | 2017-10-23 | 네이버 주식회사 | Device and method for providing moving picture, and computer program for executing the method |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003284010A (en) * | 2002-03-26 | 2003-10-03 | Mitsubishi Electric Corp | Encoding apparatus and media data synchronizing method |
| JP2006165772A (en) * | 2004-12-03 | 2006-06-22 | Hitachi Ltd | Information reproducing apparatus and method therefor |
| JP2007282163A (en) * | 2006-04-12 | 2007-10-25 | Matsushita Electric Ind Co Ltd | Data packet, broadcast data generating apparatus, and broadcast data receiving apparatus |
| JP2007324872A (en) * | 2006-05-31 | 2007-12-13 | Tv Asahi Data Vision Corp | Delay controller and delay control program for video signal with closed caption |
-
2008
- 2008-09-25 JP JP2008245265A patent/JP5274179B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010081141A (en) | 2010-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101350754B1 (en) | Method for reducing channel change times and synchronizing audio/video content during channel change | |
| JP4570462B2 (en) | A stable method to achieve audio-video synchronization with an MPEG decoder in personal video recording applications | |
| JP6184408B2 (en) | Receiving apparatus and receiving method thereof | |
| JP6313704B2 (en) | Reception device and synchronization processing method thereof | |
| JP4468001B2 (en) | Video data and auxiliary data readout synchronization device, processing and related products | |
| WO2010019409A2 (en) | Real time high definition caption correction | |
| JP5274179B2 (en) | Subtitle broadcasting system and subtitle broadcasting method | |
| US9350936B2 (en) | Controlling playback of recordings | |
| US9071864B2 (en) | Method and apparatus for correcting synchronization errors between audio signals and video signals | |
| JP4096915B2 (en) | Digital information reproducing apparatus and method | |
| US7260316B2 (en) | Digital broadcast/analog broadcast receiving and recording apparatus | |
| KR100937418B1 (en) | PVR Apparatus with message recording function during user's absence and method for the same | |
| JP5111134B2 (en) | Recording / playback device | |
| JP2007267420A (en) | Muting method for video signal | |
| JP4664173B2 (en) | Transmitting apparatus, reproducing apparatus, and methods for subtitle concealment broadcasting | |
| KR101053699B1 (en) | Recording device and method of digital broadcasting | |
| JP4967402B2 (en) | Multiplexed stream conversion apparatus and method | |
| KR100539731B1 (en) | Transport stream storage device and method | |
| JP2011049670A (en) | Television broadcast receiving device | |
| JP2006148969A (en) | Muting method for video signal | |
| US7206502B2 (en) | Apparatus and method for recording and reproducing digital data | |
| JP2009044282A (en) | Digital video data reproduction apparatus and display device | |
| JP4295963B2 (en) | Analog teletext broadcasting / digital teletext conversion device and analog teletext / digital teletext conversion method | |
| KR100871239B1 (en) | Method for reproducting image in digital multimedia broadcasting | |
| JP2006345364A (en) | Segment metadata generation device and method therefor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110616 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121121 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130118 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20130325 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130424 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130514 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5274179 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |