JP5154465B2 - File reading method, distribution server, program, and recording medium - Google Patents
File reading method, distribution server, program, and recording medium Download PDFInfo
- Publication number
- JP5154465B2 JP5154465B2 JP2009028440A JP2009028440A JP5154465B2 JP 5154465 B2 JP5154465 B2 JP 5154465B2 JP 2009028440 A JP2009028440 A JP 2009028440A JP 2009028440 A JP2009028440 A JP 2009028440A JP 5154465 B2 JP5154465 B2 JP 5154465B2
- Authority
- JP
- Japan
- Prior art keywords
- index file
- video data
- encoded video
- storage unit
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Signal Processing For Digital Recording And Reproducing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、ファイル読み取り方法、配信サーバ、プログラムおよび記録媒体に係り、特に、符号化映像データの符号化情報が記述されたインデックスファイルの読み取り方法に関する。 The present invention relates to a file reading method, a distribution server, a program, and a recording medium, and more particularly, to an index file reading method in which encoding information of encoded video data is described.
従来、符号化映像データの符号化情報が記述されたインデックスファイルを用いて符号化映像データの再生を行う場合、基本的に以下の方法で行われている。
(1)インデックスファイルは、ハードディスクに保存されている。
(2)インデックスファイルには、1行単位でいつ再生すれば良いかを示す細かく刻まれた再生時間等が記載されており、1行単位でハードディスクから読み出す。
なお、符号化映像データの符号化情報が記述されたインデックスファイルについては、例えば、下記特許文献1に記載されている。
Conventionally, when reproducing encoded video data using an index file in which encoding information of the encoded video data is described, the following method is basically used.
(1) The index file is stored on the hard disk.
(2) The index file describes a finely chopped playback time indicating when playback should be performed in units of one line, and is read from the hard disk in units of one line.
Note that an index file in which encoding information of encoded video data is described is described in, for example, Patent Document 1 below.
しかしながら、前述した従来の方法は、以下のような問題点があった。
(1)いつ再生すれば良いかを示す細かく刻まれた再生時間単位(1行単位)でインデックスファイルを読み出すため、ファイルリード回数が大量に発生する。
(2)ハードディスからの読み出しで処理速度が遅い。
(3)ジャンプ再生の場合、インデックスファイルを先頭から読み出すため、再生位置のサーチに時間が掛かる。
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、ファイル読み取り方法および配信サーバにおいて、インデックスファイルを用いて符号化映像データの再生を行う場合に、ハードディスクヘのアクセス回数を減少させ、処理速度を向上させるとともに、ジャンプ再生の場合に再生位置のサーチ処理速度を向上させることが可能となる技術を提供することにある。
また、本発明の他の目的は、前述の読み取り方法をコンピュータに実行させるプログラムと、当該プログラムが記述された記録媒体を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
However, the conventional method described above has the following problems.
(1) Since the index file is read in finely chopped reproduction time units (one line unit) indicating when to reproduce, a large number of file reads occur.
(2) The processing speed is slow when reading from the hard disk.
(3) In jump playback, since the index file is read from the head, it takes time to search for the playback position.
The present invention has been made to solve the above-described problems of the prior art, and an object of the present invention is to reproduce encoded video data using an index file in a file reading method and a distribution server. Another object of the present invention is to provide a technique capable of reducing the number of accesses to the hard disk, improving the processing speed, and improving the search processing speed of the playback position in the case of jump playback.
Another object of the present invention is to provide a program for causing a computer to execute the above-described reading method and a recording medium in which the program is described.
The above and other objects and novel features of the present invention will become apparent from the description of this specification and the accompanying drawings.
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
(1)再生端末からの配信要求を受信する受信部と、前記再生端末に前記配信要求のあった符号化映像データを送信する送信部と、符号化映像データ情報であるインデックスファイルが格納されているインデックスファイル格納部と、符号化映像データが格納されている符号化映像データ格納部と、前記インデックスファイルを一時保存する一時記憶部とを備え、前記符号化映像データの蓄積と配信を行う配信サーバのファイル読み取り方法であって、P、Rを整数とするとき、前記インデックスファイルは複数行で構成され、1フレームがP行で、1GOPがRフレームから成り、かつ、各行にはそれぞれ再生時間が記述されており、前記受信部において受信した前記再生端末からの配信要求を判断するステップ1と、前記ステップ1での判断結果が映像の先頭からの再生の場合に、前記再生端末から配信要求のあった符号化映像データのインデックスファイルを先頭から1GOP単位で前記インデックスファイル格納部から読み出すステップ2と、前記読み出したインデックスファイルを前記一時記憶部に書き込むステップ3と、前記一時記憶部から前記書き込んだインデックスファイルを1行づつ読み出すステップ4と、前記読み出した前記インデックスファイルの1行毎に記述されている再生時間に対応する、前記再生端末から配信要求のあった符号化映像データを前記符号化映像データ格納部から読み出すステップ5と、前記送信部から前記再生端末に対して、前記読み出した符号化映像データを送信するステップ6とを有する。
Of the inventions disclosed in this application, the outline of typical ones will be briefly described as follows.
(1) A receiving unit that receives a distribution request from a reproduction terminal, a transmission unit that transmits encoded video data that has been requested to be distributed to the reproduction terminal, and an index file that is encoded video data information are stored. Distribution for storing and distributing the encoded video data, comprising: an index file storage unit; an encoded video data storage unit storing encoded video data; and a temporary storage unit for temporarily storing the index file. In the server file reading method, when P and R are integers, the index file is composed of a plurality of lines, one frame is composed of P lines, one GOP is composed of R frames, and each line has a playback time. In step 1 for determining a distribution request from the playback terminal received by the receiver, and in step 1 When the determination result is playback from the beginning of the video, the index file of the encoded video data requested for distribution from the playback terminal is read from the index file storage unit in units of 1 GOP from the top, and the read index Corresponding to the step 3 for writing the file to the temporary storage unit, the step 4 for reading the written index file line by line from the temporary storage unit, and the playback time described for each line of the read index file And reading the encoded video data requested to be distributed from the playback terminal from the encoded video data storage unit, and transmitting the read encoded video data from the transmission unit to the playback terminal. Step 6 is included.
(2)(1)において、前記ステップ1での判断結果がジャンプ再生の場合、前記ステップ2ないしステップ3に代えて、前記インデックスファイル格納部からの前記インデックスファイルの1GOP単位での読み出しを一時停止するステップ11と、前記一時停止で最後に読み出した前記インデックッスファイルの再生時間からジャンプ再生時間が何秒先か、あるいは何秒前かを割り出し、前記インデックスファイルの読み出し先GOPを割り出すステップ12と、前記再生端末から配信要求のあった符号化映像データの前記インデックスファイルを、前記割り出した読み出し先GOPから1GOP単位で前記インデックスファイル格納部から読み出すステップ13と、前記読み出したインデックスファイルを前記一時記憶部に書き込むステップ14とを実行する。
(3)(1)において、前記ステップ1での判断結果が一時停止の場合、前記インデックスファイル格納部からの前記符号化映像データのインデックスファイルの1GOP単位での読み出しと、前記一時記憶部からの前記インデックスファイルの1行づつの読み出しと、前記符号化映像データ格納部からの符号化映像データの読み出しを一時停止するステップ21を有し、前記ステップ1での判断結果が再生再開の場合、前記インデックスファイル格納部からの前記符号化映像データのインデックスファイルの1GOP単位での読み出しと、前記一時記憶部からの前記インデックスファイルの1行づつの読み出しと、前記符号化映像データ格納部からの符号化映像データの読み出しを継続して実行するステップ22とを有する。
(2) In (1), when the judgment result in step 1 is jump playback, reading of the index file from the index file storage unit in units of 1 GOP is temporarily stopped instead of
(3) In (1), when the judgment result in step 1 is temporarily stopped, reading the index file of the encoded video data from the index file storage unit in units of 1 GOP and reading from the temporary
(4)(1)ないし(3)の何れかにおいて、前記インデックスファイルは、1行が1NALユニットであり、Sを整数とするとき、前記1NALユニットは、固定長のSバイトであり、1フレームは、1NALユニットのP倍で構成される。
(5)また、本発明は、前述の(1)ないし(4)のファイル読み取り方法を実行する配信サーバである。
(6)また、本発明は、前述の(1)ないし(4)のいずれかのファイル読み取り方法を、コンピュータに実行させるためのプログラムである。
(7)また、本発明は、前述の(6)のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
(4) In any one of (1) to (3), in the index file, one line is one NAL unit, and S is an integer, the one NAL unit is a fixed-length S byte, and one frame Is composed of P times 1 NAL unit.
(5) Moreover, this invention is a delivery server which performs the file reading method of the above-mentioned (1) thru | or (4).
(6) The present invention is a program for causing a computer to execute the file reading method of any one of (1) to (4) described above.
(7) Further, the present invention is a computer-readable recording medium on which the program (6) described above is recorded.
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
本発明によれば、インデックスファイルを用いて符号化映像データの再生を行う場合に、ハードディスクヘのアクセス回数を減少させ、処理速度を向上させるとともに、ジャンプ再生の場合に再生位置のサーチ処理速度を向上させることが可能となる。
The effects obtained by the representative ones of the inventions disclosed in the present application will be briefly described as follows.
According to the present invention, when the encoded video data is reproduced using the index file, the number of accesses to the hard disk is reduced, the processing speed is improved, and the search processing speed of the reproduction position is increased in the case of jump reproduction. It becomes possible to improve.
以下、図面を参照して本発明の実施例を詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
図1は、本発明の実施例の配信サーバが適用される映像配信システムの概略構成と、本発明の実施例のファイル読み取り方法を説明するためのブロック図である。
図1において、10は符号化映像データを蓄積、配信する配信サーバ、20は配信サーバ10に符号化映像データの配信を要求し、符号化映像データを再生する再生端末、30は配信サーバ10と再生端末20とを接続するネットワークである。
配信サーバ10は、再生端末20から配信要求を受け取る受信部11と、読み取り制御部12と、インデックッスファイルを書き込む一時記憶部13と、符号化映像データ情報であるインデックスファイルが格納されているインデックスファイル格納部14と、符号化映像データが格納されている符号化映像データ格納部15と、符号化映像データを再生端末20へ送信する送信部16とを備える。ここで、読み取り制御部12は、符号化映像データ格納部15と、インデックスファイル格納部14と、一時記憶部13の制御を行う。
また、再生端末20は、送信部21と、受信部22と、復号部23と、再生要求部24と、表示部25とを備える。
ユーザは、再生端末20の再生要求部24から映像配信要求を送信部21を介して配信サーバ10に送信し、受信部22を介して符号化映像データ受信し、復号部23で復号化し、表示部25で再生する。
図2は、図1に示す読み取り制御部12の概略構成を示すブロック図である。
図2に示すように、読み取り制御部12は、配信要求判断を行う要求判断部17と、インデックスファイルの読み取り制御を行うファイル制御部18と、符号化映像データの読み取り制御を行う映像データ制御部19とを備える。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
In all the drawings for explaining the embodiments, parts having the same functions are given the same reference numerals, and repeated explanation thereof is omitted.
FIG. 1 is a block diagram for explaining a schematic configuration of a video distribution system to which a distribution server of an embodiment of the present invention is applied and a file reading method of the embodiment of the present invention.
In FIG. 1, 10 is a distribution server that stores and distributes encoded video data, 20 is a reproduction terminal that requests the
The
The
The user transmits a video distribution request from the
FIG. 2 is a block diagram showing a schematic configuration of the
As shown in FIG. 2, the
以下、図1、図2を用いて、本実施例の映像配信システムの動作の概要について説明する。
ユーザは、再生端末20の再生要求部24から映像配信要求を送信部21を介して配信サーバ10に送信する(図1の(1))。
配信要求を受け取った配信サーバ10の受信部11は、要求判断部17へ配信要求を送信し(図1の(2))、要求判断部17は、受信部11から受け取った配信要求内容を判断し、ファイル制御部18へその判断結果を送信する。
ファイル制御部18は、要求判断結果が映像の先頭からの再生の場合、インデックスファイル格納部14から、配信要求のあった符号化映像データのインデックスファイルを、先頭から1GOP(Lバイト)単位で読み出す命令を出す(図1の(4))。
また、ファイル制御部18は、インデックスファイル格納部14から、1GOP(Lバイト)単位で読み出したインデックスファイルを一時記憶部13に書き込む命令を出す(図1の(5))。さらに、ファイル制御部18は、一時記憶部13に書き込んだインデックスファイルを1行(Nバイト)づつ読み出す命令を出し(図1の(6))、1行(Nバイト)づつ読み出したインデックスファイルの1行毎に記述されている再生時間を、映像データ制御部19へ通知する命令を出す。
映像データ制御部19は、ファイル制御部18から受け取った再生時間に対応する、配信要求あった符号化映像データを符号化映像データ格納部15から読み出す命令を出す(図1の(7))。
また、映像データ制御部19は、読み出した符号化映像データを送信部16へ送信する命令を出す(図1の(8))。そして、送信部16は符号化映像データを再生端末20に配信する(図1の(9))。
再生端末20の受信部22を介して符号化映像データ受信し、復号部23で復号化し、表示部25で再生する(図1の(10))。
The outline of the operation of the video distribution system of this embodiment will be described below with reference to FIGS.
The user transmits a video distribution request from the
The receiving
When the request determination result is playback from the beginning of the video, the
Further, the
The video data control unit 19 issues a command to read out the encoded video data requested for distribution from the encoded video
In addition, the video data control unit 19 issues a command to transmit the read encoded video data to the transmission unit 16 ((8) in FIG. 1). Then, the
The encoded video data is received via the
また、ファイル制御部18は、要求判断結果が一時停止の場合、インデックスファイル格納部14からのインデックスファイルの1GOP(Lバイト)単位での読み出だしを一時中止する命令を出す。また、ファイル制御部18は、一時記憶部13からの1行(Nバイト)づつのインデックスファイル読み出しを一時中止する命令を出す。
さらに、ファイル制御部18は、映像データ制御部19へ一時停止を通知する。映像データ制御部19は、ファイル制御部18から一時停止を受け取ると、符号化映像データ格納部15からの符号化映像データ読み出しを一時停止する命令を出す。
また、ファイル制御部18は、要求判断結果が再生再開の場合、一時停止していたインデックスファイル格納部14から1GOP(Lバイト)単位でインデックスファイル読み出しを再開し継続して行う命令を出す。また、ファイル制御部18は、インデックスファイル格納部14から、1GOP(Lバイト)単位で読み出したインデックスファイルを一時記憶部13へ書き込み命令を出す。
さらに、ファイル制御部18は、一時記憶部13に書き込んだインデックスファイルを1行(Nバイト)づつ読み出す命令を出し、1行(Nバイト)づつ読み出したインデックスファイルの1行毎に記述されている再生時間を、映像データ制御部19へ通知する命令を出す。映像データ制御部19は、ファイル制御部18から受け取った再生時間に対応する、配信要求のあった符号化映像データを符号化映像データ格納部15から読み出す命令を出す。また、映像データ制御部19は、読み出した符号化映像データを送信部16へ送信する命令を出す。そして、送信部16は符号化映像データを再生端末20に配信する。
Further, when the request determination result is temporarily stopped, the
Further, the
In addition, when the request determination result is to resume reproduction, the
Further, the
また、ファイル制御部18は、要求判断結果がジャンプ再生の場合、ファイル制御部18は、インデックスファイル格納部14からインデックスファイルの1GOP(Lバイト)単位での読み出だしを一時停止する命令を出し、この一時停止した時にインデックスファイル格納部14から最後に1GOP(Lバイト)単位で読み出したインデックスファイルの再生時間を確認する。
また、ファイル制御部18は、ジャンプ再生時間と最後に読み出したインデックスファイルの再生時間を比較し、最後に読み出したインデックッスファイルの再生時間からジャンプ再生時間が何秒先か、あるいは何秒前かを割り出し、ファイル制御部18は、割り出した先から、インデックスファイルを1GOP(Lバイト)単位で、インデックスファイル格納部14から読み出す命令を出す。
また、ファイル制御部18は、インデックスファイル格納部14から、1GOP(Lバイト)単位で読み出したインデックスファイルを一時記憶部13に書き込む命令を出す。さらに、ファイル制御部18は、一時記憶部13に書き込んだインデックスファイルを1行(Nバイト)づつ読み出す命令を出し、1行(Nバイト)づつ読み出したインデックスファイルの1行毎に記述されている再生時間を、映像データ制御部19へ通知する命令を出す。
映像データ制御部19は、ファイル制御部18から受け取った再生時間に対応する、配信要求のあった符号化映像データを符号化映像データ格納部15から読み出す命令を出す。
When the request determination result is jump playback, the
Further, the
Further, the
The video data control unit 19 issues a command to read out the encoded video data requested for distribution from the encoded video
以下、図2を用いて、読み取り制御部12の動作について詳細に説明する。
(1)要求判断部17は、配信要求を受信し、配信要求内容を判断する(図2の(1))。
(2)要求判断部17は、判断結果をファイル制御部18に通知する(図2の(2))。
(3)ファイル制御部18は、映像の先頭からの再生の配信要求を受け取った場合、インデックスファイル格納部14から配信要求のあった符号化映像データのインデックスファイルを、先頭から1GOP(Lバイト)単位で読み出す命令を出す(図2の(3))。
(4)ファイル制御部18は、1GOP(Lバイト)単位でインデックスファイル格納部14から読み出したインデックスファイルを一時記憶部13に書き込む命令を出す(図2の(4))。
(5)ファイル制御部18は、一時記憶部13からインデックスファイルを1行単位(Nバイト)づつ読みだし、1行毎に記載されている再生時間を確認し、映像データ制御部19にこの確認した再生時間を通知する命令を出す(図2の(5))。
(6)映像データ制御部19は、ファイル制御部18から受け取った再生時間に対応する、配信要求のあった符号化映像データを符号化映像データ格納部15から読み出す命令を出す(図2の(6))。
(7)映像データ制御部19は、読み出した符号化映像データを送信部16へ送信する命令を出す(図2の(7))。
(8)ファイル制御部18は、ジャンプ再生の配信要求を受け取った場合、インデックスファイル格納部14からのインデックスファイル読み出し一時停止命令を出し、この一時停止で最後に読み出したインデックッスファイルの再生時間からジャンプ再生時間が何秒先か、あるいは、何秒前かを割り出す(図2の(8))。
(9)ファイル制御部18は、要求判断部17から通知された判断結果が一時停止の場合、一時記憶部13、インデックッスファイル格納部14からの読み出しを一時中止する命令を出す(図2の(9))。
(10)配信要求が一時停止の場合、ファイル制御部18は、映像データ制御部19に一時中止を通知する(図2の(10))。
(11)配信要求が一時停止の場合、映像データ制御部19は、符号化映像データ格納部15からの符号化映像データ読み出しを一時停止命令を出す(図2の(11))。
Hereinafter, the operation of the
(1) The
(2) The
(3) When the
(4) The
(5) The
(6) The video data control unit 19 issues a command to read out the encoded video data requested for distribution from the encoded video
(7) The video data control unit 19 issues a command to transmit the read encoded video data to the transmission unit 16 ((7) in FIG. 2).
(8) When receiving the jump playback distribution request, the
(9) When the determination result notified from the
(10) When the distribution request is paused, the
(11) When the distribution request is paused, the video data control unit 19 issues a pause command to read out the encoded video data from the encoded video data storage unit 15 ((11) in FIG. 2).
図3は、本実施例の配信サーバのインデックスファイル格納部に格納されるインデックスファイルの概要を説明するための図である。
本実施例において、符号化映像データ情報がのインデックスファイルである。
インデックスファイルには、符号化映像データの再生時間情報等の、符号化映像データの符号化情報が記述されている。
本実施例のインデックスファイルは、以下の構成を有する。
(1)インデックスファイルは、複数行で構成されるが、1行をNALユニットとする。
1NALユニット(Network Abstraction Layer unit)は、データを分割および識別するためものであり、RTP(Real-time Transport Protocol)パケットに分割して伝送したりするなど、圧縮データをさまざまな用途に柔軟に適用できるようになっている。
(2)1行は固定長のN(Nは整数)バイトとする。
(3)1行毎にいつ再生すれば良いかを示す再生時間が必ず記述されている。
(4)NALU×X(Xは整数)行を1フレームとする。したがって、1フレームあたりのバイト数は、Nバイト×X行=Mバイトとなる。
(5)1GOP(Lバイト)単位でインデックスファイルをインデックスファイル格納部14から読み出す。1GOP(Group Of Pictures)は15フレーム(1GOP=15フレーム=0.5秒)であり、15×(1NALU×X行)=Y行毎に、つまり、15×(Nバイト×X行)=Lバイトごとに、インデックスファイル格納部14からインデックスファイルを読み出すことになる。なお、本実施例では、1GOPは15フレームであるが、1GOPは必ずしも15フレームである必要はなく、任意の値に設定することが可能である。
FIG. 3 is a diagram for explaining an overview of the index file stored in the index file storage unit of the distribution server according to the present embodiment.
In this embodiment, the encoded video data information is an index file.
The index file describes encoding information of the encoded video data such as reproduction time information of the encoded video data.
The index file of the present embodiment has the following configuration.
(1) The index file is composed of a plurality of lines, but one line is a NAL unit.
1 NAL unit (Network Abstraction Layer unit) is used to divide and identify data, and it can be applied flexibly to various uses such as RTP (Real-time Transport Protocol) packet. It can be done.
(2) One line has a fixed length of N (N is an integer) bytes.
(3) A playback time indicating when playback should be performed for each line is always described.
(4) NALU × X (X is an integer) row is one frame. Therefore, the number of bytes per frame is N bytes × X rows = M bytes.
(5) The index file is read from the index
図4は、本実施例のファイル読み取り方法の処理手順を示すフローチャートである。
[映像データの先頭からの再生]
ステップ101で、再生端末20の送信部21から配信要求を配信サーバ10に送信する。
ステップ102で、配信サーバ10の受信部11は配信要求を受け取り、さらに受信部11は要求判断部17へ配信要求を送信する。
ステップ103で、要求判断部17は、受信部11から受け取った配信要求内容を判断し、ファイル制御部18へその判断結果を通知する。
ステップ104で、要求判断結果が映像の先頭からの再生の場合、ステップ105に進み、ファイル制御部18は、インデックスファイル格納部14から、配信要求のあった符号化映像データのインデックスファイルを、先頭から1GOP(Lバイト)単位で読み出す命令を出し、ステップ106で、ファイル制御部18は、1GOP(Lバイト)単位で読み出したインデックスファイルを一時記憶部13に書き込む命令を出す。
ステップ107で、ファイル制御部18は、一時記憶部13に書き込んだインデックスファイルを1行(Nバイト)づつ読み出す命令を出し、1行(Nバイト)づつ読み出したインデックスファイルの1行毎に記述されている再生時間を確認し、映像データ制御部19へ確認した再生時間を通知する命令を出す。
ステップ108で、映像データ制御部19は、ファイル制御部18から受け取った再生時間に対応する、配信要求のあった符号化映像データを、符号化映像データ格納部15から読み出す命令を出し、さらに、送信部16へ符号化映像データを送信する命令を出す。
ステップ109で、送信部16から再生端末20に符号化映像データを配信する。
ステップ110で、再生端末20の受信部22は、符号化映像データを受信し、復号部23で復号し、表示部25で再生する。
FIG. 4 is a flowchart showing the processing procedure of the file reading method of this embodiment.
[Play from the beginning of the video data]
In step 101, a distribution request is transmitted from the
In
In
If the request determination result is playback from the top of the video in
In
In
In
In
[一時停止]
ステップ104で、要求判断結果が一時停止の場合、ステップ113に進み、ファイル制御部18は、インデックスファイル格納部14からのインデックスファイルの1GOP(Lバイト)単位での読み出だしを一時中止する命令を出す。
また、ファイル制御部18は、一時記憶部13からの1行(Nバイト)づつのインデックスファイル読み出しを一時中止する命令を出す。さらに、ファイル制御部18は、映像データ制御部19へ一時停止を通知する。
映像データ制御部19は、ファイル制御部18から一時停止を受け取ると符号化映像データ格納部15からの符号化映像データ読み出しを一時停止する命令を出す。
[pause]
In
In addition, the
When the video data control unit 19 receives a pause from the
[再生再開]
ステップ104で、要求判断結果が再生再開の場合、ステップ105に進み、ファイル制御部18は、一時停止していたインデックスファイル格納部14から、1GOP(Lバイト)単位でインデックスファイルの読み出しを再開する命令を出し、ステップ106で、ファイル制御部18は、1GOP(Lバイト)単位で読み出したインデックスファイルを一時記憶部13に書き込む命令を出す。
ステップ107で、ファイル制御部18は、一時記憶部13に書き込んだインデックスファイルを1行(Nバイト)づつ読み出す命令を出し、1行(Nバイト)づつ読み出したインデックスファイルの1行毎に記述されている再生時間を確認し、映像データ制御部19へ確認した再生時間を通知する命令を出す。
ステップ108で、映像データ制御部19は、ファイル制御部18から受け取った再生時間に対応する、配信要求のあった符号化映像データを符号化映像データ格納部15から読み出す命令を出し、さらに送信部16へ符号化映像データを送信する命令を出す。
ステップ109で、送信部16から再生端末20に符号化映像データを配信する。
ステップ110で、再生端末20の受信部22は、符号化映像データを受信し、復号部23で復号し、表示部25で再生する。
[Resume playback]
If it is determined in
In
In
In
In
[ジャンプ再生]
ステップ104で、要求判断結果がジャンプ再生の場合、ステップ111に進み、ファイル制御部18は、インデックスファイル格納部14からインデックスファイルの1GOP(Lバイト)単位での読み出しを一時停止する命令を出し、ステップ112で、ファイル制御部18は、この一時停止した時にインデックスファイル格納部14から最後に1GOP(Lバイト)単位で読み出したインデックスファイルの再生時間を確認する。
さらに、ジャンプ再生時間と最後に読み出したインデックスファイルの再生時間を比較し、最後に読み出したインデックッスファイルの再生時間からジャンプ再生時間が何秒先か、あるいは、何秒前かを割り出す。
ステップ105で、ファイル制御部18は、割り出した先から、インデックスファイルを1GOP(Lバイト)単位で、インデックスファイル格納部14から読み出す命令を出す。
ステップ106で、ファイル制御部18は、インデックスファイル格納部14から1GOP(Lバイト)単位で読み出したインデックスファイルを一時記憶部13に書き込む命令を出す。
ステップ107で、ファイル制御部18は、一時記憶部13に書き込んだインデックスファイルを1行(Nバイト)づつ読み出す命令を出し、1行(Nバイト)づつ読み出したインデックスファイルの1行毎に記述されている再生時間を確認し、映像データ制御部19へ確認した再生時間を通知する命令を出す。
ステップ108で、映像データ制御部19は、ファイル制御部18から受け取った再生時間に対応する、配信要求のあった符号化映像データを符号化映像データ格納部15から読み出す命令を出し、読み出した符号化映像データを送信部16へ送信する命令を出す。
ステップ109で、送信部16から再生端末20に符号化映像データを配信する。
ステップ110で、再生端末20の受信部22は、符号化映像データを受信し、復号部23で復号し、表示部25で再生する。
[Jump playback]
If the request determination result is jump playback in
Further, the jump playback time is compared with the playback time of the index file read last, and the jump playback time how many seconds ahead or how many seconds ago is calculated from the playback time of the index file read last.
In
In
In
In
In
In
ジャンプ再生の場合、読み取り制御部12のファイル制御部18は、インデックスファイル格納部14からのインデックスファイルの1GOP(Lバイト)単位での読み出しを一時停止し、さらに、この一時停止した時に最後に1GOP(Lバイト)単位でインデックスファイル格納部14から読み出したインデックスファイルの再生時間を確認する。さらに、ファイル制御部18は、この確認した再生時間をもとに、インデックスファイルの読み出し先GOPを割り出す。
図5は、図4のフローチャートにおける、ステップ111のより詳細な処理手順の一例説明するための図である。
図5に示すように、ジャンプ再生先が現再生時点から先の場合、例えば、一時停止した時に1GOP(Lバイト)単位で最後に読み出した再生時間を10秒目、ジャンプ再生時間を40秒目とした場合、両者を比較すると、最後に読み込んだインデックスファイルの再生時間からの差分は40秒−10秒=30秒先、30秒×2GOP=60GOP先と分かる。
ファイル制御部18は、10秒(20GOP)目の次の21GOP目から数えて60GOP(60GOP×Lバイト)目からインデックスファイルを1GOP(Lバイト)単位で、インデックスファイル格納部14から読み出す。
In the case of jump playback, the
FIG. 5 is a diagram for explaining an example of a more detailed processing procedure of step 111 in the flowchart of FIG.
As shown in FIG. 5, when the jump playback destination is after the current playback time, for example, when paused, the last playback time read in units of 1 GOP (L bytes) is 10 seconds, and the jump playback time is 40 seconds. If the two are compared, the difference from the playback time of the last read index file is found to be 40 seconds-10 seconds = 30 seconds ahead, 30 seconds × 2 GOP = 60 GOP ahead.
The
図6は、図4のフローチャートにおける、ステップ111のより詳細な処理手順の他の例を説明するための図である。
図6に示すように、ジャンプ再生先が現再生時点から戻る場合、例えば、一時停止した時に最後に読み出したインデックスファイルの再生時間を30秒、ジャンプ再生時間を10秒とした場合、両者を比較すると、最後に読み込んだインデックスファイルの再生時間から戻る分は30秒−10秒=20秒、20秒×2GOP=40GOP分戻る事が分かる。
読み取り制御部12は、30秒(60GOP)目の1つ前の59GOP目から40GOP(40GOP×Lバイト)戻り、この戻った20GOP目からインデックスファイルを1GOP(Lバイト)単位で、インデックスファイル格納部14から読み出す。
以上説明したように、本実施例によれば、ハードディスクからのインデックッスファイルの読み取り単位を1GOP(=15フレーム=0.5秒=Lバイト)とし、1GOP(Lバイト)単位で読み出すため、処理速度の遅いハードディスクヘのアクセス回数が減少する。また、行単位でのインデックスファイル読み出しは一時記憶部13からになるため、処理速度をあげることができる。
さらに、再生がジャンプした場合においても、何GOP先、あるいは何GOP前を読み込めば、要求されたジャンプ位置情報を取得できるかが簡単に分かり、再生位置のサーチ処理速度を向上させることができる。なお、前述の説明では、1GOPは15フレームであるが、1GOPは必ずしも15フレームである必要はない。
なお、本発明の配信サーバは、コンピュータで実行することも可能である。この場合、本発明のファイル読み取り方法は、コンピュータ内のハードディスクなどに格納されるプログラムを、コンピュータが実行することにより行われる。そして、このプログラムは、CD−ROM、あるいは、ネットワークを介したダウンロードにより供給される。
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
FIG. 6 is a diagram for explaining another example of a more detailed processing procedure of step 111 in the flowchart of FIG.
As shown in FIG. 6, when the jump playback destination returns from the current playback point, for example, when the playback time of the index file read last when paused is 30 seconds and the jump playback time is 10 seconds, the two are compared. Then, it can be seen that the amount returned from the reproduction time of the last read index file is 30 seconds-10 seconds = 20 seconds and 20 seconds × 2 GOP = 40 GOP.
The
As described above, according to the present embodiment, the reading unit of the index file from the hard disk is set to 1 GOP (= 15 frames = 0.5 seconds = L bytes), and reading is performed in units of 1 GOP (L bytes). The number of accesses to the slow hard disk decreases. In addition, since the index file is read in units of lines from the
Further, even when the playback jumps, it is easy to know how many GOP destinations or before GOPs can be read to obtain the requested jump position information, and the playback position search processing speed can be improved. In the above description, 1 GOP is 15 frames, but 1 GOP is not necessarily 15 frames.
The distribution server of the present invention can also be executed by a computer. In this case, the file reading method of the present invention is performed by the computer executing a program stored in a hard disk or the like in the computer. This program is supplied by CD-ROM or download via a network.
As mentioned above, the invention made by the present inventor has been specifically described based on the above embodiments. However, the present invention is not limited to the above embodiments, and various modifications can be made without departing from the scope of the invention. Of course.
10 配信サーバ
11 受信部
12 読み取り制御部
13 一時記憶部
14 インデックスファイル格納部
15 符号化映像データ格納部
16 送信部
17 要求判断部
18 ファイル制御部
19 映像データ制御部
20 再生端末
21 送信部
22 受信部
23 復号部
24 再生要求部
25 表示部
30 ネットワーク
DESCRIPTION OF
Claims (10)
前記再生端末に前記配信要求のあった符号化映像データを送信する送信部と、
符号化映像データ情報であるインデックスファイルが格納されているインデックスファイル格納部と、
符号化映像データが格納されている符号化映像データ格納部と、
前記インデックスファイルを一時保存する一時記憶部とを備え、
前記符号化映像データの蓄積と配信を行う配信サーバのファイル読み取り方法であって、
P、Rを整数とするとき、前記インデックスファイルは複数行で構成され、1フレームがP行で、1GOPがRフレームから成り、かつ、各行にはそれぞれ再生時間が記述されており、
前記受信部において受信した前記再生端末からの配信要求を判断するステップ1と、
前記ステップ1での判断結果が映像の先頭からの再生の場合に、前記再生端末から配信要求のあった符号化映像データのインデックスファイルを先頭から1GOP単位で前記インデックスファイル格納部から読み出すステップ2と、
前記読み出したインデックスファイルを前記一時記憶部に書き込むステップ3と、
前記一時記憶部から前記書き込んだインデックスファイルを1行づつ読み出すステップ4と、
前記読み出した前記インデックスファイルの1行毎に記述されている再生時間に対応する、前記再生端末から配信要求のあった符号化映像データを前記符号化映像データ格納部から読み出すステップ5と、
前記送信部から前記再生端末に対して、前記読み出した符号化映像データを送信するステップ6とを有することを特徴とするファイル読み取り方法。 A receiving unit for receiving a distribution request from the playback terminal;
A transmitting unit that transmits the encoded video data requested to be distributed to the playback terminal;
An index file storage unit in which an index file that is encoded video data information is stored;
An encoded video data storage unit in which encoded video data is stored;
A temporary storage unit for temporarily storing the index file,
A file reading method of a distribution server for storing and distributing the encoded video data,
When P and R are integers, the index file is composed of a plurality of lines, one frame is composed of P lines, one GOP is composed of R frames, and each line describes a playback time,
Determining a delivery request from the playback terminal received by the receiver;
A step 2 of reading an index file of encoded video data requested for distribution from the playback terminal from the index file storage unit in units of 1 GOP when the judgment result in the step 1 is playback from the head of the video; ,
Writing the read index file into the temporary storage unit; and
Step 4 of reading the written index file line by line from the temporary storage unit;
Step 5 of reading out the encoded video data requested to be distributed from the playback terminal from the encoded video data storage unit corresponding to the playback time described for each line of the read index file;
And a step of transmitting the read encoded video data from the transmission unit to the playback terminal.
前記一時停止で最後に読み出した前記インデックッスファイルの再生時間からジャンプ再生時間が何秒先か、あるいは何秒前かを割り出し、前記インデックスファイルの読み出し先GOPを割り出すステップ12と、
前記再生端末から配信要求のあった符号化映像データの前記インデックスファイルを、前記割り出した読み出し先GOPから1GOP単位で前記インデックスファイル格納部から読み出すステップ13と、
前記読み出したインデックスファイルを前記一時記憶部に書き込むステップ14とを実行することを特徴とする請求項1に記載のファイル読み取り方法。 If the determination result in step 1 is jump playback, step 11 for temporarily stopping reading the index file from the index file storage unit in units of 1 GOP instead of steps 2 to 3;
A step 12 of determining how many seconds or how many seconds before the jump playback time from the playback time of the index file read last in the pause, and determining a read destination GOP of the index file;
Reading the index file of the encoded video data requested to be distributed from the playback terminal from the index file storage unit in units of 1 GOP from the determined read destination GOP;
The file reading method according to claim 1, wherein the step 14 of writing the read index file to the temporary storage unit is executed.
前記ステップ1での判断結果が再生再開の場合、前記インデックスファイル格納部からの前記符号化映像データのインデックスファイルの1GOP単位での読み出しと、前記一時記憶部からの前記インデックスファイルの1行づつの読み出しと、前記符号化映像データ格納部からの符号化映像データの読み出しを継続して実行するステップ22とを有することを特徴とする請求項1に記載のファイル読み取り方法。 When the determination result in step 1 is temporary stop, reading the index file of the encoded video data from the index file storage unit in units of 1 GOP, and for each row of the index file from the temporary storage unit Reading and temporarily stopping the reading of the encoded video data from the encoded video data storage unit,
If the determination result in step 1 is to resume playback, reading the index file of the encoded video data from the index file storage unit in units of 1 GOP, and one line of the index file from the temporary storage unit The file reading method according to claim 1, further comprising a step of reading and executing step 22 of continuously reading the encoded video data from the encoded video data storage unit.
Sを整数とするとき、前記1NALユニットは、固定長のSバイトであり、
1フレームは、1NALユニットのP倍で構成されることを特徴とする請求項1ないし請求項3のいずれか1項に記載のファイル読み取り方法。 In the index file, one line is one NAL unit,
When S is an integer, the 1 NAL unit is a fixed-length S byte,
The file reading method according to any one of claims 1 to 3, wherein one frame is configured by P times one NAL unit.
前記再生端末に前記配信要求のあった符号化映像データを送信する送信部と、
符号化映像データ情報であるインデックスファイルが格納されているインデックスファイル格納部と、
符号化映像データが格納されている符号化映像データ格納部と、
前記インデックスファイルを一時保存する一時記憶部と、
読み取り制御部とを備え、
前記符号化映像データの蓄積と配信を行う配信サーバであって、
P、Rを整数とするとき、前記インデックスファイルは複数行で構成され、1フレームがP行で、1GOPがRフレームから成り、かつ、各行にはそれぞれ再生時間が記述されており、
前記読み取り制御部は、要求判断部と、
ファイル制御部と、
映像データ制御部とを有し、
前記要求判断部は、前記受信部において受信した前記再生端末からの配信要求を判断し、その判断結果を前記ファイル制御部に通知し、
前記ファイル制御部は、前記受信部において受信した前記再生端末からの配信要求が映像の先頭からの再生の場合に、前記再生端末から配信要求があった符号化映像データのインデックスファイルを先頭から1GOP単位で前記インデックスファイル格納部から読み出し、前記1GOP単位で読み出したインデックスファイルを前記一時記憶部に書き込む機能11と、
前記一時記憶部に書き込んだ前記インデックスファイルを1行づつ読み出し、1行毎に記載されている再生時間を前記映像データ制御手段に通知する機能12とを有し、
前記映像データ制御部は、前記ファイル制御手段から受け取った再生時間に対応する、前記再生端末から配信要求のあった符号化映像データを前記符号化映像データ格納部から読み出す機能21と、
前記読み出した符号化映像データを前記送信部へ送信する機能22とを有することを特徴とする配信サーバ。 A receiving unit for receiving a distribution request from the playback terminal;
A transmitting unit that transmits the encoded video data requested to be distributed to the playback terminal;
An index file storage unit in which an index file that is encoded video data information is stored;
An encoded video data storage unit in which encoded video data is stored;
A temporary storage unit for temporarily storing the index file;
A reading control unit,
A distribution server for storing and distributing the encoded video data,
When P and R are integers, the index file is composed of a plurality of lines, one frame is composed of P lines, one GOP is composed of R frames, and each line describes a playback time,
The read control unit includes a request determination unit,
A file control unit;
A video data control unit,
The request determination unit determines a distribution request from the playback terminal received by the reception unit, notifies the determination result to the file control unit,
When the distribution request from the playback terminal received by the reception unit is playback from the beginning of the video, the file control unit reads the index file of the encoded video data requested from the playback terminal by 1 GOP from the top. A function 11 for reading from the index file storage unit in units and writing the index file read in units of 1 GOP to the temporary storage unit;
A function 12 for reading the index file written in the temporary storage unit line by line and notifying the video data control means of the reproduction time described for each line;
The video data control unit reads out from the encoded video data storage unit the encoded video data requested to be distributed from the playback terminal corresponding to the playback time received from the file control unit;
A distribution server comprising a function 22 for transmitting the read encoded video data to the transmission unit.
前記一時停止で最後に読み出した前記インデックッスファイルの再生時間からジャンプ再生時間が何秒先か、あるいは何秒前かを割り出し、前記インデックスファイルの読み出し先GOPを割り出す機能14とを有し、
前記ファイル制御部の前記機能11は、前記再生端末から配信要求のあった符号化映像データの前記インデックスファイルを、前記割り出した読み出し先GOPから1GOP単位で前記インデックスファイル格納部から読み出し、前記読み出したインデックスファイルを前記一時記憶部に書き込むことを特徴とする請求項5に記載の配信サーバ。 The file control unit, when the distribution request received from the playback terminal received by the reception unit is jump playback, a function 13 for temporarily stopping reading of the index file from the index file storage unit in units of 1 GOP;
A function 14 for determining how many seconds ahead or how many seconds before the jump playback time from the playback time of the index file read last in the pause and determining the index file read destination GOP;
The function 11 of the file control unit reads the index file of the encoded video data requested to be distributed from the playback terminal from the index file storage unit in units of 1 GOP from the determined read destination GOP. 6. The distribution server according to claim 5, wherein an index file is written in the temporary storage unit.
前記受信部において受信した前記再生端末からの配信要求が再生再開の場合、前記インデックスファイル格納部からの前記符号化映像データのインデックスファイルの1GOP単位での読み出しと、前記一時記憶部からの前記インデックスファイルの1行づつの読み出とを継続して実行する機能16とを有し、
前記映像データ制御部は、前記受信部において受信した前記再生端末からの配信要求が一時停止の場合、前記符号化映像データ格納部からの符号化映像データの読み出しを一時停止する機能23と、
前記受信部において受信した前記再生端末からの配信要求が再生再開の場合、前記符号化映像データ格納部からの符号化映像データの読み出しを継続して実行する機能24とを有することを特徴とする請求項5に記載の配信サーバ。 When the distribution request from the playback terminal received by the reception unit is temporarily stopped, the file control unit reads the index file of the encoded video data from the index file storage unit in units of 1 GOP, A function 15 for stopping reading out the index file line by line from the storage unit;
When the distribution request from the playback terminal received by the receiving unit is to resume playback, reading the index file of the encoded video data from the index file storage unit in 1 GOP units and the index from the temporary storage unit A function 16 for continuously reading the file line by line;
The video data control unit, when a distribution request from the playback terminal received by the reception unit is temporarily stopped, a function 23 for temporarily stopping reading of the encoded video data from the encoded video data storage unit;
And a function 24 for continuously reading out the encoded video data from the encoded video data storage unit when the distribution request received from the playback terminal received by the receiving unit is to resume playback. The distribution server according to claim 5.
Sを整数とするとき、前記1NALユニットは、固定長のSバイトであり、
1フレームは、1NALユニットのP倍で構成されることを特徴とする請求項5ないし請求項7のいずれか1項に記載の配信サーバ。 In the index file, one line is one NAL unit,
When S is an integer, the 1 NAL unit is a fixed-length S byte,
The distribution server according to any one of claims 5 to 7, wherein one frame is configured by P times one NAL unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009028440A JP5154465B2 (en) | 2009-02-10 | 2009-02-10 | File reading method, distribution server, program, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009028440A JP5154465B2 (en) | 2009-02-10 | 2009-02-10 | File reading method, distribution server, program, and recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010187077A JP2010187077A (en) | 2010-08-26 |
JP5154465B2 true JP5154465B2 (en) | 2013-02-27 |
Family
ID=42767480
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009028440A Expired - Fee Related JP5154465B2 (en) | 2009-02-10 | 2009-02-10 | File reading method, distribution server, program, and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5154465B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6224522B2 (en) * | 2014-05-22 | 2017-11-01 | 日本電信電話株式会社 | Video distribution device, video distribution method, and video distribution program |
CN105847825A (en) * | 2015-01-16 | 2016-08-10 | 杭州海康威视数字技术股份有限公司 | Encoding, index storage and access methods for video encoding code stream and corresponding apparatus |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1118051A (en) * | 1997-06-24 | 1999-01-22 | Matsushita Electric Ind Co Ltd | I-frame extract method |
JP2000201343A (en) * | 1999-01-05 | 2000-07-18 | Toshiba Corp | Moving image data reproducing device, moving image data dividing device and recording medium readable by computer in which program is recorded |
JP2003046948A (en) * | 2001-07-27 | 2003-02-14 | Matsushita Electric Ind Co Ltd | Recording/reproducing apparatus for monitoring image |
DE60223483T2 (en) * | 2001-10-29 | 2008-09-18 | Humax Co. Ltd., Yougin | A method of recording a digital broadcast program and time based replay of a recorded broadcast program and associated apparatus |
-
2009
- 2009-02-10 JP JP2009028440A patent/JP5154465B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010187077A (en) | 2010-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101868281B1 (en) | Information processing apparatus, information processing method, and computer-readable recording medium | |
US20020122656A1 (en) | Method and apparatus for recording broadcast data | |
RU2005134850A (en) | DEVICE FOR PLAYING MULTIMEDIA DATA, METHOD FOR RECEIVING AUDIO DATA AND THE STRUCTURE OF AUDIO DATA IN THEM | |
KR100608072B1 (en) | Recording method and reproducing method of multi angle data | |
JP5197702B2 (en) | Reproduction method and recording medium for reproducing information storage medium | |
US20200145722A1 (en) | Bandwidth limited dynamic frame rate video trick play | |
JP2006303652A (en) | Information recording and reproducing system, apparatus, and method | |
JP5154465B2 (en) | File reading method, distribution server, program, and recording medium | |
KR20120084817A (en) | Disc-shaped recording medium, video information reproducing apparatus and video information reproducing method | |
JP6258168B2 (en) | Distribution device, playback device, and distribution system | |
JP2016072858A (en) | Media data generation method, media data reproduction method, media data generation device, media data reproduction device, computer readable recording medium and program | |
JP2010192971A (en) | Selected-area encoded video data distributing method, encoded video data decoding method, distribution server, reproduction terminal, program, and recording medium | |
JPH0951505A (en) | Reproducing device and reproducing method, and recording method and recording device for recording medium | |
JP4005505B2 (en) | Providing program specification information of information recording medium | |
JP3745936B2 (en) | Video / audio signal recording apparatus and video / audio signal recording / reproducing apparatus | |
JP4778345B2 (en) | Information processing apparatus and information processing apparatus control method | |
JP2009200567A (en) | Video recording and playback apparatus | |
EP1534005A2 (en) | Method and apparatus for recording broadcast data | |
JP2005167787A (en) | Method, apparatus and program for distribution and controlling reproduction of video data | |
JP2003324687A (en) | Video data processing device and stream transfer control device | |
JP2002158967A (en) | Disk recording and reproducing device | |
KR20060052762A (en) | Method for reproducing information storage medium storing multi-angle data | |
JP2012244587A (en) | Storage server | |
JP2011198459A (en) | Data signal recording device and data signal reproducing device | |
JP2007184093A (en) | Data signal recording/reproduction apparatus and data signal recording/reproduction method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110223 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121024 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121205 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151214 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5154465 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |