JP5643242B2 - メディアプレイヤパラメタ推定装置及び方法及びプログラム - Google Patents

メディアプレイヤパラメタ推定装置及び方法及びプログラム Download PDF

Info

Publication number
JP5643242B2
JP5643242B2 JP2012031126A JP2012031126A JP5643242B2 JP 5643242 B2 JP5643242 B2 JP 5643242B2 JP 2012031126 A JP2012031126 A JP 2012031126A JP 2012031126 A JP2012031126 A JP 2012031126A JP 5643242 B2 JP5643242 B2 JP 5643242B2
Authority
JP
Japan
Prior art keywords
time
playback
player
estimated value
log information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012031126A
Other languages
English (en)
Other versions
JP2013168814A (ja
Inventor
泰理 本多
泰理 本多
山本 浩司
浩司 山本
大介 池上
大介 池上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2012031126A priority Critical patent/JP5643242B2/ja
Publication of JP2013168814A publication Critical patent/JP2013168814A/ja
Application granted granted Critical
Publication of JP5643242B2 publication Critical patent/JP5643242B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、メディアプレイヤパラメタ推定装置及び方法及びプログラムに係り、特に、ネットワークを介して受信した映像等のコンテンツを再生するアプリケーションソフトウェア(メディアプレイヤ)の情報を推定するためのメディアプレイヤパラメタ推定装置及び方法及びプログラムに関する。
近年の通信網の広帯域化の進行により、大容量のコンテンツデータについても、クライアント端末でダウンロードとデータ処理を平行して実行するプログレッシブ・ダウンロード型の映像アプリケーション(メディアプレイヤ)が普及している。当該アプリケーションは、再生開始までに一定量のバッファリング(初期バッファ量)を要することを特徴とし、ネットワーク条件の劣化に起因する再生品質劣化の軽減が可能である一方、ネットワーク条件の劣化等により再生バッファ内の蓄積データ量が低下した場合、再生が停止する場合がある。このようなコンテンツ配信形態では、ネットワークを介することによる伝送品質の劣化等が、端末側でのコンテンツ再生に影響することから、端末側で再生バッファを用意し、上位アプリケーションに対してネットワークの影響を隠蔽する仕組みが多用されている。また、ネットワークによる影響の軽減とデータ処理開始までの待機時間の短縮のバランスを適正化するため、パケット転送遅延時間に基づき、初期バッファ量を動的に変化させる技術も開示されている。
しかしながら、ネットワークのスループットがコンテンツデータの処理速度よりも一時的に低下して再生バッファのコンテンツ蓄積量が一定量(再生停止閾値)を下回る場合に発生する再生停止の事象については、従来技術では対応できておらず、コンテンツ配信サービスの運用保守の観点からは、コンテンツに対するユーザ体感品質を適切に推定する技術が求められている。
これに対し、予め与えられた再生バッファパラメタの値(初期バッファ時間)とネットワーク条件から推定したバッファリング時間に基づき、ユーザ体感品質を推定する方法が開示されている(例えば、非特許文献1参照)。
Z. Wang, S. Banerjee, and S. Jamin, "Studying streaming video quality: from an application point of view" MULTIMEDIA ' 03: Proceedings of the eleventh ACM international conference on Multimedia, (2003) 327--330.
しかしながら、上記の非特許文献1の技術では、実際の保守運用上では、ログやキャプチャデータから再生バッファパラメタを推定する必要がある。
本発明は、上記の点に鑑みなされたもので、保守運用におけるユーザ体感品質の推定のために、体感品質に影響を与えるメディアプレイヤのパラメタ(再生開始閾値、再生再開閾値、デコードレート)を推定するメディアプレイヤパラメタ推定装置及び方法及びプログラムを提供することを目的とする。
上記の課題を解決するため、本発明は、ネットワークを介して受信したコンテンツデータを再生する端末のメディアプレイヤの情報を推定するためのプレイヤパラメタ推定装置であって、
前記端末から取得した、再生アプリケーションの映像再生時のログを取得した時刻、再生開始時刻から再生停止時刻までの再生時間、及び、前回の再生停止から次回のネットワーク切断までの累積受信バイト数を再生ログ情報としてログ情報記憶手段に格納するログ取得蓄積手段と、
予め、データをデコードすることによりモデル化されたプレイヤモデルを格納したプレイヤモデル記憶手段と、
前記再生ログ情報と前記プレイヤモデルを用いて、該プレイヤモデルにおける体感品質に影響を与えるプレイヤパラメタの推定値を算出するプレイヤパラメタ推定値算出手段と、
前記プレイヤパラメタの推定値体感の推定を行う前記メディアプレイヤに出力する手段と、
を有し、
前記プレイヤパラメタ推定値算出手段は、
前記プレイヤモデルを、アプリケーション開始後、初回の再生に要するデータのバッファ内残量の再生開始閾値、再生停止後、2回目以降の再生に要するデータのバッファ内残量の再生再開閾値[res]、映像再生に至るデータのバッファ内残量の再生停止閾値[inf]、バッファ内に蓄積されたデータのデコードレート[dec]の4つのメディアプレイヤパラメタと無限長のバッファと固定レートのデコーダでモデル化し、前記再生ログ情報に基づいて前記プレイヤパラメタの推定値を算出する手段を含む。
上記のように、本発明によれば、体感品質に影響を与えるメディアプレイヤのパラメタを推定することにより、体感品質を推定するアプローチを提供することが可能となる。
本発明の一実施の形態におけるプレイヤパラメタ推定装置の構成図である。 本発明の一実施の形態におけるプレイヤモデルイメージである。 本発明の一実施の形態における再生時間ログ及び累積受信バイト数ログの出力イメージである。 本発明の一実施の形態におけるバッファ内残量の推移を示す図である。
以下、図面と共に本発明の実施の形態を説明する。
本発明は、端末が配信サーバから大容量の映像コンテンツをダウンロードして映像再生を行うシステムにおいて、端末に接続されメディアプレイヤのパラメタを推定するパラメタ推定装置である。当該パラメタ推定装置で推定された推定値をコンテンツ事業者や網提供事業者に提供することで、保守・運用における体感品質の推定を可能にするものである。本発明では、メディアプレイヤのパラメタ推定処理のみを扱う。
図1は、本発明の一実施の形態におけるパラメタ推定装置の構成を示す。
同図に示すパラメタ推定装置1は、ログ取得蓄積部10、記憶部20、プレイヤパラメタ推定値算出部30から構成される。
ログ取得部10は、外部の映像アプリケーションから再生端末における再生時間ログ及び累積受信バイト数ログを取得して記憶部20に格納する。
記憶部20は、再生時間ログ記憶領域21、累積受信バイト数ログ記憶領域22、プレイヤモデル記憶領域23から構成される。
プレイヤモデル記憶領域23には、プレイヤを無限長のバッファと、固定レートでバッファ中のデータをデコードすることによりモデル化されたプレイヤモデルを格納する。プレイヤモデルのイメージ図2に示す。
プレイヤモデルの閾値は以下の4種である。
1)再生開始閾値:アプリケーション開始後、初回の再生に要する、データのバッファ内残量である。
2)再生再開閾値:再生停止後、2回目以降の再生に要する、データのバッファ内残量である。
3)再生停止閾値:映像の再生停止に至る、データのバッファ内残量である。
4)デコードレート:バッファ内に蓄積されたデータのデコードレート。本モデルでは固定値とする。
このようなプレイヤモデルは、予めプレイヤ受信データをデコードすることにより生成される。
記憶部20の再生ログ記憶領域21、累積受信バイト数ログ記憶領域22に格納されるイメージを図3に示す。
以下では、次の記号を用いて説明するものとする。
・inf: プレイヤの再生停止閾値[byte];
・res:再生再開閾値[byte];
・dec:再生デコードレート[bps];
なお、再生開始閾値は、記憶部20の累積受信バイト数ログ、および再生時間ログより取得可能である。すなわち、再生時間ログより推定再生開始時刻(値が正の値をとる最初の時刻)を把握し、当該時点もしくはそれに最も近い時刻における累積受信バイト数を累積受信バイト数ログより取得することにより、取得可能である。
また下記手順は試行毎に再生開始閾値が変化する場合にも有効である。以下にプレイヤパラメタ推定装置の動作を説明する。
プレイヤパラメタ推定装置を起動する前に、予め、端末において、プレイヤパラメタ推定のためにアプリケーション視聴を開始し、視聴中に断続的にネットワーク接続・切断を実施しているものとする。
ログ取得・蓄積部10は、端末における映像アプリケーションからアプリケーション視聴中の再生時間と累積受信バイト量の時系列を取得し、記憶部20に格納する。
プレイヤパラメタ推定値算出部30は、記憶部20の再生時間ログ、累積受信バイト数ログ、プレイヤモデルに基づき、プレイヤパラメタ(再生開始閾値、再生再開閾値、下限閾値、デコードレート)の推定値を算出する。
図4は、本発明の一実施の形態におけるバッファ内残量の推移を示す。
同図において、a0,a1,a3,a4等は、記憶部20の再生時間ログから取得した再生時間と累積受信バイト数から求めたバッファ内の残量の値である。
以下にプレイヤパラメタ推定値算出部30における推定動作を説明する。
<デコードレート:dec>
最初にデコードレートdecの推定について説明する。
図4において、1回目のネットワーク切断時[a0]におけるバッファ内残量b1は、記憶部20の累積受信バイト数ログにより把握可能である。初回再生停止[a1]から2回目ネットワーク切断[a3]までの累積受信バイト数をb2、[a3]から2回目再生停止[a4]までの時間をt3とすると、デコードレート推定値は、
dec = b2/ t3
により算出できる。
以下に、具体的な当該decの推定動作を示す。
例えば、いま、2回目のネットワーク切断時刻[a3]から2回目の再生停止時刻 [a4]が9秒、また初回再生停止[a1]から[a3]までの累積受信バイト数を900kbyteとする。この時、デコードレート推定値は、
dec = 900/9=100 [kbyte/sec]
と算出できる。
<再生停止閾値:inf>
次に、再生停止閾値infの推定について説明する。
1回目ネットワーク切断時[a0]における累積受信バイト数をb1、[a0]から[a1]までの時間をt1とすると、再生停止閾値の推定値は、
inf = b1− dec × t 1
により算出可能である。
以下に、具体的な当該infの推定動作を示す。
[a0]における累積受信バイト数が600kbyte、[a0]から[a1]までの時間が5秒であったとする。
この時、再生停止閾値の推定値は、
inf = 600 − 5*100 = 100[kbyte]
と算出できる。
<再生再開閾値:res>
次に、再生再開閾値res推定について説明する。
上記で既に算出済みのinfに、[a1]から2回目再生開始時刻までの累積受信バイト数を加算することにより、再生再開閾値resの推定値を算出可能である。
上記の各閾値の推定において、複数の推定値が得られた場合には、その平均値を求め、当該平均値を推定値とする。
なお、上記のログ取得・蓄積部10では、記憶部20に格納される累積受信バイト数の取得において直接観測値を用いていたが、ACK観測結果を累積受信バイト数ログとして記憶部20の累積受信バイト数ログ22に格納することも可能である。
ACKパケットのACK番号フィールドには、累積受信バイト数が記載される。このため、本フィールドの観測により、当該時点までの累積受信バイト数の把握が可能である。ACKパケットがN(N≧1)個の受信パケット毎に送出される場合には、データ送受信開始後、所定時間の観測によりNを把握した上で、各ACK間の受信パケットを補間することも可能である。具体的には、フレームACK_1(時刻t_1受信、ACK番号A_1)に続きフレームACK_2(時刻t_2受信、ACK番号A_2)が観測された場合、時間区間[t_1,t_2]のN等分点t(i) (i=1,2,...,N)において(A_2-A_1)/Nバイトの受信パケットが存在するものとみなし、前記累積受信バイト量時系列の推定値とみなす。
上記の図1に示すプレイヤパラメタ推定装置の各構成要素の動作をプログラムとして構築し、プレイヤパラメタ推定装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
1 プレイヤパラメタ推定装置
10 ログ取得・蓄積部
20 記憶部
21 再生時間ログ
22 累積受信バイト数ログ
23 プレイヤモデル
30 プレイヤパラメタ推定値算出部

Claims (6)

  1. ネットワークを介して受信したコンテンツデータを再生する端末のメディアプレイヤの情報を推定するためのプレイヤパラメタ推定装置であって、
    前記端末から取得した、再生アプリケーションの映像再生時のログを取得した時刻、再生開始時刻から再生停止時刻までの再生時間、及び、前回の再生停止から次回のネットワーク切断までの累積受信バイト数を再生ログ情報としてログ情報記憶手段に格納するログ取得蓄積手段と、
    予め、データをデコードすることによりモデル化されたプレイヤモデルを格納したプレイヤモデル記憶手段と、
    前記再生ログ情報と前記プレイヤモデルを用いて、該プレイヤモデルにおける体感品質に影響を与えるプレイヤパラメタの推定値を算出するプレイヤパラメタ推定値算出手段と、
    前記プレイヤパラメタの推定値体感の推定を行う前記メディアプレイヤに出力する手段と、
    を有し、
    前記プレイヤパラメタ推定値算出手段は、
    前記プレイヤモデルを、アプリケーション開始後、初回の再生に要するデータのバッファ内残量の再生開始閾値、再生停止後、2回目以降の再生に要するデータのバッファ内残量の再生再開閾値[res]、映像再生に至るデータのバッファ内残量の再生停止閾値[inf]、バッファ内に蓄積されたデータのデコードレート[dec]の4つのメディアプレイヤパラメタと無限長のバッファと固定レートのデコーダでモデル化し、前記再生ログ情報に基づいて前記プレイヤパラメタの推定値を算出する手段を含む
    ことを特徴とするプレイヤパラメタ推定装置。
  2. 前記プレイヤパラメタ推定値算出手段は、
    前記プレイヤパラメタの推定値を、
    前記ログ情報記憶手段から前記累積受信バイト数及び前記再生時間を取得し、該再生時間から値が正の値をとる最初の時刻を把握し、当該時点または当該時点に最も近い時刻における累積受信バイト数を、前記再生開始閾値とし、
    1回目のネットワーク切断時[a0]におけるバッファ内残量[b1]を前記ログ情報記憶手段の前記累積受信バイト数より取得し、初回停止時刻[a1]から2回目のネットワーク切断までの時刻[a3]までの累積受信バイト数[b2]を該ログ情報記憶手段の該累積受信バイト数より取得し、該時刻[a3]から2回目再生停止時刻[a4]までの時間を[t3]とし、[b2]/[[t3]により求められた値を前記デコードレート[dec]とし、
    1回目のネットワーク切断時[a0]における累積受信バイト数[b1]を前記ログ情報記憶手段より取得し、該1回目のネットワーク切断時[a0]から前記初回停止時刻[a1]までの時間を[t1]とし、[b1]−[dec]×[t1]により求められた値を前記再生停止閾値[inf]とし、
    前記再生停止閾値[inf]に、前記ログ情報記憶手段から取得した前記初回停止時刻[a1]から2回目の再生開始時刻までの累積受信バイト数を加算した値を前記再生再開閾値[res]とする
    手段を含む
    請求項1記載のプレイヤパラメタ推定装置。
  3. 前記プレイヤパラメタ推定値算出手段は、
    複数回の試行を行い、前記累積受信バイト数や再生開始から停止までの時間について、複数のプレイヤパラメタの推定値が算出された場合には、平均値を求め前記プレイヤパラメタの推定値とする手段を含む
    請求項1または2記載のプレイヤパラメタ推定装置。
  4. ネットワークを介して受信したコンテンツデータを再生する端末のメディアプレイヤの情報を推定するためのプレイヤパラメタ推定方法であって、
    ログ取得蓄積手段が、前記端末から取得した、再生アプリケーションの映像再生時のログを取得した時刻、再生開始時刻から再生停止時刻までの再生時間、及び、前回の再生停止から次回のネットワーク切断までの累積受信バイト数を再生ログ情報としてログ情報記憶手段に格納するログ取得蓄積ステップと、
    プレイヤパラメタ推定値算出手段が、前記再生ログ情報と、データをデコードすることによりモデル化されたプレイヤモデルを用いて、該プレイヤモデルにおける体感品質に影響を与えるプレイヤパラメタの推定値を算出するプレイヤパラメタ推定値算出ステップと、
    出力手段が、前記プレイヤパラメタの推定値体感の推定を行う前記メディアプレイヤに出力するステップと、
    を行い、
    前記プレイヤパラメタ推定値算出ステップにおいて、
    前記プレイヤモデルを、アプリケーション開始後、初回の再生に要するデータのバッファ内残量の再生開始閾値、再生停止後、2回目以降の再生に要するデータのバッファ内残量の再生再開閾値[res]、映像再生に至るデータのバッファ内残量の再生停止閾値[inf]、バッファ内に蓄積されたデータのデコードレート[dec]の4つのメディアプレイヤパラメタと無限長のバッファと固定レートのデコーダでモデル化し、前記再生ログ情報に基づいて前記プレイヤパラメタの推定値を算出する
    ことを特徴とするプレイヤパラメタ推定方法。
  5. 前記プレイヤパラメタ推定値算出ステップにおいて、
    前記プレイヤパラメタの推定値を、
    前記ログ情報記憶手段から前記累積受信バイト数及び前記再生時間を取得し、該再生時間から値が正の値をとる最初の時刻を把握し、当該時点または当該時点に最も近い時刻における累積受信バイト数を、前記再生開始閾値とし、
    1回目のネットワーク切断時[a0]におけるバッファ内残量[b1]を前記ログ情報記憶手段の前記累積受信バイト数より取得し、初回停止時刻[a1]から2回目のネットワーク切断までの時刻[a3]までの累積受信バイト数[b2]を該ログ情報記憶手段の該累積受信バイト数より取得し、該時刻[a3]から2回目再生停止時刻[a4]までの時間を[t3]とし、[b2]/[[t3]により求められた値を前記デコードレート[dec]とし、
    1回目のネットワーク切断時[a0]における累積受信バイト数[b1]を前記ログ情報記憶手段より取得し、該1回目のネットワーク切断時[a0]から前記初回停止時刻[a1]までの時間を[t1]とし、[b1]−[dec]×[t1]により求められた値を前記再生停止閾値[inf]とし、
    前記再生停止閾値[inf]に、前記ログ情報記憶手段から取得した前記初回停止時刻[a1]から2回目の再生開始時刻までの累積受信バイト数を加算した値を前記再生再開閾値[res]とする
    請求項4記載のプレイヤパラメタ推定方法。
  6. 前記プレイヤパラメタ推定値算出ステップにおいて、
    複数回の試行を行い、前記累積受信バイト数や再生開始から停止までの時間について、複数のプレイヤパラメタの推定値が算出された場合には、平均値を求め前記プレイヤパラメタの推定値とする
    請求項4または5記載のプレイヤパラメタ推定方法。
JP2012031126A 2012-02-15 2012-02-15 メディアプレイヤパラメタ推定装置及び方法及びプログラム Active JP5643242B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012031126A JP5643242B2 (ja) 2012-02-15 2012-02-15 メディアプレイヤパラメタ推定装置及び方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012031126A JP5643242B2 (ja) 2012-02-15 2012-02-15 メディアプレイヤパラメタ推定装置及び方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2013168814A JP2013168814A (ja) 2013-08-29
JP5643242B2 true JP5643242B2 (ja) 2014-12-17

Family

ID=49178903

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012031126A Active JP5643242B2 (ja) 2012-02-15 2012-02-15 メディアプレイヤパラメタ推定装置及び方法及びプログラム

Country Status (1)

Country Link
JP (1) JP5643242B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107920275A (zh) * 2017-12-29 2018-04-17 广东欧珀移动通信有限公司 视频播放方法、装置、终端及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6158752B2 (ja) * 2014-05-30 2017-07-05 日本電信電話株式会社 ネットワーク要件導出装置及び方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003289526A (ja) * 2002-03-28 2003-10-10 Toshiba Corp 映像受信端末装置およびその再生制御方法
WO2010041469A1 (ja) * 2008-10-09 2010-04-15 日本電気株式会社 コンテンツ配信システム、コンテンツ配信方法およびコンピュータプログラム
JP2011061533A (ja) * 2009-09-10 2011-03-24 Nec Corp コンテンツ配信システム、体感品質推定装置、方法、及び、プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107920275A (zh) * 2017-12-29 2018-04-17 广东欧珀移动通信有限公司 视频播放方法、装置、终端及存储介质
CN107920275B (zh) * 2017-12-29 2020-06-09 Oppo广东移动通信有限公司 视频播放方法、装置、终端及存储介质

Also Published As

Publication number Publication date
JP2013168814A (ja) 2013-08-29

Similar Documents

Publication Publication Date Title
JP5875725B2 (ja) コンテンツ再生情報推定装置及び方法及びプログラム
CN103535047B (zh) 流式传输视频内容的方法、监视视频内容流的网络中的节点
JP5690399B2 (ja) 余剰ネットワーク容量を使用するプログレッシブダウンロードのためのシステムおよび方法
JP5701400B2 (ja) アダプティブストリーミングサービスを提供する方法
CN109644162B (zh) 媒体缓冲
US20140109156A1 (en) Method, terminal, server and system for playing media file
EP2993911A1 (en) Method and client terminal for receiving a multimedia content split into at least two successive segments, and corresponding computer program product and computer-readable medium
JP2023522895A (ja) オーディオ及び/又はビデオコンテンツ配信のための方法及びサーバ
JP2015023323A (ja) チャンクダウンロード完了判定装置、チャンクダウンロード完了判定方法、及びプログラム
JP5643242B2 (ja) メディアプレイヤパラメタ推定装置及び方法及びプログラム
JP2011061533A (ja) コンテンツ配信システム、体感品質推定装置、方法、及び、プログラム
WO2020170869A1 (ja) エンゲージメント推定装置、エンゲージメント推定方法及びプログラム
JP5107971B2 (ja) ユーザ体感品質推定システムおよび方法
JP5806982B2 (ja) ユーザポーズ操作時間推定装置及び方法及びプログラム
WO2015104069A1 (en) Method for adapting the behavior of a cache, and corresponding cache
Laine et al. Network Capacity Estimators Predicting QoE in HTTP Adaptive Streaming
CN107707928B (zh) 一种数据流延迟的控制方法、装置及接收设备
JP5806981B2 (ja) 再生状態推定装置及び方法及びプログラム
Ahsan et al. DASHing towards hollywood
Shende et al. Cross-layer Network Bandwidth Estimation for Low-latency Live ABR Streaming
JP6053180B2 (ja) 映像再生状態推定装置、映像再生状態推定方法、及びプログラム
WO2020170837A1 (ja) エンゲージメント推定装置、エンゲージメント推定方法及びプログラム
JP5749693B2 (ja) ユーザポーズ時間推定装置及び方法及びプログラム
US10051025B2 (en) Method and apparatus for estimating packet loss
CN112823527A (zh) 在能够运行一个自适应流传输会话的设备处实现的方法以及对应的设备

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20131001

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131224

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140318

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141028

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141030

R150 Certificate of patent or registration of utility model

Ref document number: 5643242

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150