JP4460506B2 - ユーザ体感品質推定装置、方法、およびプログラム - Google Patents

ユーザ体感品質推定装置、方法、およびプログラム Download PDF

Info

Publication number
JP4460506B2
JP4460506B2 JP2005245561A JP2005245561A JP4460506B2 JP 4460506 B2 JP4460506 B2 JP 4460506B2 JP 2005245561 A JP2005245561 A JP 2005245561A JP 2005245561 A JP2005245561 A JP 2005245561A JP 4460506 B2 JP4460506 B2 JP 4460506B2
Authority
JP
Japan
Prior art keywords
frame
invalid
packet
quality information
user experience
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005245561A
Other languages
English (en)
Other versions
JP2007060475A (ja
Inventor
征貴 増田
聡子 富永
孝典 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2005245561A priority Critical patent/JP4460506B2/ja
Publication of JP2007060475A publication Critical patent/JP2007060475A/ja
Application granted granted Critical
Publication of JP4460506B2 publication Critical patent/JP4460506B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明は、通信品質推定技術に関し、特にリアルタイム系アプリケーションのユーザ体感品質を推定する技術に関する。
近年、パケット通信技術の飛躍的な発展に伴い、パケット網が音声や映像等のメディアを１対１あるいは多地点間で通信するリアルタイム系アプリケーションで利用されつつある。パケット網のインサービス品質管理では、このようなアプリケーションに対する品質管理も必要とされている。特にリアルタイム系アプリケーションでは、実際にアプリケーションを利用するユーザレベルでの主観的あるいは客観的な品質などのユーザ体感品質を用いた品質管理が重要視されており、ネットワーク品質からユーザ体感品質を推定する技術も提案されている（例えば、非特許文献１等参照）
従来、発明者らは、リアルタイム系アプリケーションの主観品質を推定する技術を提案した（例えば、特許文献１等参照）。この技術では、試験用パケットのうち受信側端末へ到着しなかった損失パケットと、直前到着パケットとの到着間隔がリアルタイム系アプリケーションの揺らぎ吸収許容時間を越えた遅着パケットとを無効パケットと判定してこれら無効パケット数を計数し、送信側から送信されたすべての試験用パケット数に対する無効パケット数の割合を無効パケット率として算出し、予め生成しておいた無効パケット率と主観品質評価値との関係を示す品質推定モデルを参照して、無効パケット率に対応する主観品質評価値を推定している。
特開２０００−２４７４２１号公報 A.Clark,「Modeling the Effects of Burst Packet Loss and Recency on Subjective Voice Quality」,IP Telephony Workshop 2001,Apr. 2001.
しかしながら、このような従来技術では、メディアデータの通信に用いるメディア用パケットに着目した無効パケット率に基づき主観品質を推定しているため、ある程度の推定精度は保証できるが、高い推定精度が求められる場合には十分ではないという問題点があった。
リアルタイム系アプリケーションでは、高能率符号化した映像信号や音声信号などのメディア信号をフレームに分解した後、さらにメディア用パケットに変換してやり取りしている。このため、アプリケーション端末でメディア信号を復号する際、受信したメディア用パケットからフレームを組み立て、さらに前後のフレーム情報を使用してメディア信号を復号する。
したがって、パケット網でパケット損失が発生した場合、１パケットの損失によるメディア信号の品質劣化が当該フレームにとどまらず、複数のフレームに及ぶことがある。例えば、パケット損失が発生した次のフレームでパケット損失が生じていない場合、直前フレームの欠損により次のフレームの復号に影響がおよび、復号されたメディア信号では品質劣化が発生するが、パケットレベルでは品質劣化がないと判断されるため、実際のリアルタイム系アプリケーションでの品質劣化状況とは異なる推定結果となる。
本発明はこのような課題を解決するためのものであり、リアルタイム系アプリケーションのユーザ体感品質値を高い精度で推定することができるユーザ体感品質推定装置、方法およびプログラムを提供することを目的としている。
このような目的を達成するために、本発明にかかるユーザ体感品質推定装置は、パケット網を介して接続された送信側および受信側アプリケーション端末間で用いられて、映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信するリアルタイム系のアプリケーションについて、ユーザ体感品質を推定するユーザ体感品質推定装置であって、送信側アプリケーション端末から送信されたメディア用パケットのそれぞれに格納されているフレームのフレーム種別を含む、これらメディア用パケットの送信状況を示す送信品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得部と、送信品質情報および受信品質情報に基づいてメディア用パケットで送受信した各フレームのうちメディア用パケットの損失による影響を受けた無効フレームの割合を無効フレーム率として算出する品質解析部と、無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、品質解析部で算出された無効フレーム率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定部とを備えている。
また、本発明にかかるユーザ体感品質推定装置は、上記に加え、品質解析部は、送信品質情報と受信品質情報とに基づいてメディア用パケットのうち損失したパケットを無効パケットとして判定する無効パケット判定手段と、送信品質情報に基づいて無効パケットに対応するフレームを対象フレームとして識別するフレーム識別手段と、送信品質情報のフレーム種別に基づき識別した対象フレームのフレーム種別とメディアの符号化に用いたフレーム構成とに基づいて、各フレームについて無効フレームか否かを判定する無効フレーム判定手段と、メディア用パケットで送信された全フレーム数に対する無効フレーム数の割合を無効フレーム率として算出する無効フレーム率算出手段とを有している。
また、無効パケット判定手段で、送信品質情報で送信が確認されたメディア用パケットのうち受信品質情報で受信が確認されていないメディア用パケット、および受信品質情報の各メディア用パケットの到着間隔を示す遅延揺らぎ時間がアプリケーションの許容パケット遅延時間を超えるメディア用パケットを無効パケットと判定するようにしてもよい。
また、無効パケット判定手段で、受信品質情報で受信確認されたメディア用パケットの送信順序と受信順序とが矛盾するメディア用パケットを無効パケットと判定するようにしてもよい。
また、フレーム識別手段で、送信品質情報に含まれる無効パケットのヘッダ情報から、対象フレームのフレーム番号およびフレーム種別を取得し、無効フレーム判定手段で、各フレームのうち対象フレームを無効フレームと判定するとともに、フレーム構成で規定されているフレーム種別の並びに従って当該フレームの復号に用いる他のフレームに無効フレームが含まれている場合には当該フレームを無効フレームと判定するようにしてもよい。
また、品質情報取得部で、受信側アプリケーション端末のパケット受信部で受信された送信側アプリケーション端末側からの送信品質情報を送信品質情報として取得するとともに、受信側アプリケーション端末のパケット受信部で受信されたメディア用パケットから得られた受信品質情報を受信品質情報として取得するようにしてもよい。
また、品質情報取得部で、送信側アプリケーション端末のパケット受信部で受信された受信側アプリケーション端末側からの受信品質情報を受信品質情報として取得するとともに、送信側アプリケーション端末のパケット送信部で送信されたメディア用パケットから得られた送信品質情報を送信品質情報として取得するようにしてもよい。
また、送信側アプリケーション端末のパケット送信部で得られた送信品質情報を受信側アプリケーション端末へ通知する品質情報通知部をさらに備えてもよい。
受信側アプリケーション端末のパケット受信部で得られた受信品質情報を送信側アプリケーション端末へ通知する品質情報通知部をさらに備えてもよい。
また、本発明にかかるユーザ体感品質推定方法は、パケット網を介して接続された送信側および受信側アプリケーション端末間で用いられて、映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信するリアルタイム系のアプリケーションについて、ユーザ体感品質を推定するユーザ体感品質推定装置で用いられるユーザ体感品質推定方法であって、送信側アプリケーション端末から送信されたメディア用パケットのそれぞれに格納されているフレームのフレーム種別を含む、これらメディア用パケットの送信状況を示す送信品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得ステップと、送信品質情報および受信品質情報に基づいてメディア用パケットで送受信した各フレームのうちメディア用パケットの損失による影響を受けた無効フレームの割合を無効フレーム率として算出する品質解析ステップと、無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、品質解析ステップで算出された無効フレーム率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定ステップとを備え、品質解析ステップは、送信品質情報と受信品質情報とに基づいてメディア用パケットのうち損失したパケットを無効パケットとして判定する無効パケット判定ステップと、送信品質情報に基づいて無効パケットに対応するフレームを対象フレームとして識別するフレーム識別ステップと、送信品質情報のフレーム種別に基づき識別した対象フレームのフレーム種別とメディアの符号化に用いたフレーム構成とに基づいて、各フレームについて無効フレームか否かを判定する無効フレーム判定ステップと、メディア用パケットで送信された全フレーム数に対する無効フレーム数の割合を無効フレーム率として算出する無効フレーム率算出ステップとを有している。
また、本発明にかかるプログラムは、パケット網を介して接続された送信側および受信側アプリケーション端末間で用いられて、映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信するリアルタイム系のアプリケーションについて、ユーザ体感品質を推定するユーザ体感品質推定装置のコンピュータで、送信側アプリケーション端末から送信されたメディア用パケットのそれぞれに格納されているフレームのフレーム種別を含む、これらメディア用パケットの送信状況を示す送信品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得ステップと、送信品質情報および受信品質情報に基づいてメディア用パケットで送受信した各フレームのうちメディア用パケットの損失による影響を受けた無効フレームの割合を無効フレーム率として算出する品質解析ステップと、無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、品質解析ステップで算出された無効フレーム率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定ステップとを実行させ、、品質解析ステップは、送信品質情報と受信品質情報とに基づいてメディア用パケットのうち損失したパケットを無効パケットとして判定する無効パケット判定ステップと、送信品質情報に基づいて無効パケットに対応するフレームを対象フレームとして識別するフレーム識別ステップと、送信品質情報のフレーム種別に基づき識別した対象フレームのフレーム種別とメディアの符号化に用いたフレーム構成とに基づいて、各フレームについて無効フレームか否かを判定する無効フレーム判定ステップと、メディア用パケットで送信された全フレーム数に対する無効フレーム数の割合を無効フレーム率として算出する無効フレーム率算出ステップとを有している。
本発明によれば、品質解析部により、送信品質情報および受信品質情報に基づいてメディア用パケットで送受信した各フレームのうちメディア用パケットの損失による影響を受けた無効フレームの割合が無効フレーム率として算出され、ユーザ体感品質推定部により、無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、品質解析部で算出された無効フレーム率に対応するユーザ体感品質値が導出されて、アプリケーションのユーザ体感品質の推定値として出力される。この際、品質解析部において、送信品質情報と受信品質情報とに基づいてメディア用パケットのうち損失したパケットを無効パケットとして判定し、送信品質情報に基づいて無効パケットに対応するフレームを対象フレームとして識別し、送信品質情報のフレーム種別に基づき識別した対象フレームのフレーム種別とメディアの符号化に用いたフレーム構成とに基づいて、各フレームについて無効フレームか否かを判定し、メディア用パケットで送信された全フレーム数に対する無効フレーム数の割合を無効フレーム率として算出している。
したがって、ユーザ体感品質を推定する場合、客観的な品質情報として得られるパケット損失率や無効パケット率からユーザ体感品質値を推定する場合と比較して、各メディア用パケットが構成するフレームとそのフレーム種別とから判定した無効フレームの数に基づいてユーザ体感品質値を推定することができ、リアルタイム系アプリケーションのユーザ体感品質値を高い精度で推定することができる。
次に、本発明の実施の形態について図面を参照して説明する。
［第１の実施の形態］
まず、図１を参照して、本発明の第１の実施の形態にかかるユーザ体感品質推定装置について説明する。図１は、本発明の第１の実施の形態にかかるユーザ体感品質推定装置の構成を示すブロック図である。
ユーザ体感品質推定装置１は、通信機能を有する情報処理装置からなり、アプリケーション端末２さらにはパケット網５と接続されて、アプリケーション端末２で実行されるリアルタイム系アプリケーションのユーザ体感品質を推定する。
このユーザ体感品質推定装置１には、主な機能部として、品質情報取得部１１、品質解析部１２、ユーザ体感品質推定部１３、推定結果通知部１６、および品質情報通知部１７が設けられている。
本実施の形態は、品質情報取得部１１により、送信側アプリケーション端末から送信されたメディアデータの通信に用いるメディア用パケットの送信状況を示す送信品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得し、品質解析部１２により、送信品質情報および受信品質情報に基づいてメディア用パケットで送受信した各フレームのうちメディア用パケットの損失による影響を受けた無効フレームの割合を無効フレーム率として算出し、ユーザ体感品質推定部１３により、無効フレーム率とユーザ体感品質値との関係を示す品質推定モデル１４から、品質解析部で算出された無効フレーム率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力するようにしたものである。
ユーザ体感品質推定装置１の各機能部は、専用の回路部や演算処理部、さらには記憶部から構成されている。特に、演算処理部は、ＣＰＵなどのマイクロプロセッサとその周辺回路を有し、周辺回路内のメモリや記憶部に格納されているプログラムを読み込んで実行することにより、上記ハードウェアとプログラムとを協働させて各機能部を実現する。記憶部は、メモリやハードディスクなどの記憶装置からなり、各機能部での処理に用いる各種処理情報を記憶する。
品質情報取得部１１は、送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信品質情報をアプリケーション端末２のパケット受信部２１から取得する機能と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報をアプリケーション端末２のパケット受信部２１から取得する機能とを有している。
品質解析部１２は、送信品質情報および受信品質情報に基づいてメディア用パケットで送受信した各フレームのうちメディア用パケットの損失による影響を受けた無効フレームの割合を無効フレーム率として算出する機能を有している。
品質解析部１２を構成する機能手段としては、無効パケット判定手段１２Ａ、対象フレーム識別手段１２Ｂ、無効フレーム判定手段１２Ｃ、および無効フレーム率算出手段１２Ｄがある。
無効パケット判定手段１２Ａは、送信品質情報と受信品質情報とに基づいてメディア用パケットのうち損失したパケットを無効パケットとして判定する機能を有している。
対象フレーム識別手段１２Ｂは、送信品質情報に基づいて無効パケットに対応するフレームを対象フレームとして識別する機能を有している。
無効フレーム判定手段１２Ｃは、メディアの符号化に用いたフレーム構成と対象フレームとに基づいて、各フレームについて無効フレームか否かを判定する機能を有している。
無効フレーム率算出手段１２Ｄは、メディア用パケットで送信された全フレーム数に対する無効フレーム数の割合を無効フレーム率として算出する機能を有している。
ユーザ体感品質推定部１３は、無効フレーム率とユーザ体感品質値との関係を示す品質推定モデル１４から、品質解析部で算出された無効フレーム率に対応するユーザ体感品質値を導出し、アプリケーションの品質推定値１５として出力する機能を有している。
推定結果通知部１６は、パケット網５を介して対向アプリケーション端末に接続されているユーザ体感品質推定装置（図示せず）や品質管理サーバ（図示せず）に対し、制御パケットを用いて、当該装置で得られた品質推定値１５さらにはこのユーザ体感品質値の算出に用いた送受信品質情報などの品質要因情報を含む推定結果情報を、定期的あるいは必要に応じて通知する機能を有している。
品質情報通知部１７は、アプリケーション端末２のパケット送信部２２で得られた送信品質情報を受信側アプリケーション端末へ通知する機能を有している。
［ユーザ体感品質推定処理］
次に、本発明の第１の実施の形態にかかるユーザ体感品質推定装置の動作について説明する。
まず、図２を参照して、本発明の第１の実施の形態にかかるユーザ体感品質推定装置のユーザ体感品質推定動作について説明する。図２は、本発明の第１の実施の形態にかかるユーザ体感品質推定装置のユーザ体感品質推定処理を示すフローチャートである。
ここでは、アプリケーション端末２が受信側であり、送信側となる対向アプリケーション端末（図示せず）から送信されパケット網５を介して受信した映像メディアのメディア用パケットに関するユーザ体感品質値を推定する場合を例として説明する。この際、対向アプリケーション端末に接続されているユーザ体感品質推定装置（図示せず）から、対向アプリケーション端末のパケット送信部で得られた送信品質情報がアプリケーション端末２へ制御用パケットにより通知される場合を例として説明する。
ユーザ体感品質推定装置１の品質情報取得部１１は、対向アプリケーション端末側からＲＴＣＰ ＸＲ(RTP Control Protocol)などの制御用パケットで送信された送信品質情報が、アプリケーション端末２のパケット受信部２１で受信されたものを取得する（ステップ１００）。この送信品質情報に含まれている主な品質情報としては、各送信メディア用パケットに関する、送信順序を示すシーケンス番号、映像フレーム種別、映像フレーム番号、送信パケット数、および送信フレーム数がある。
また、品質情報取得部１１は、アプリケーション端末２のパケット受信部２１で対向アプリケーション端末からのメディア用パケットから得られた受信品質情報を取得する（ステップ１０１）。この受信品質情報に含まれている主な品質情報としては、各受信メディア用パケットに関する、送信順序を示すシーケンス番号および直前メディア用パケットとの到着時刻差を示す遅延揺らぎ時間がある。
次に、品質解析部１２は、無効パケット判定手段１２Ａにより、送信品質情報で送信が確認されている各メディア用パケットについて、無効パケットの判定を行う（ステップ１０２）。無効パケットとは、送信側のリアルタイム系アプリケーションから送信されたメディア用パケットのうち、受信側のリアルタイム系アプリケーションでメディアとして再生できないパケットのことである。具体的には、送信側アプリケーション端末と受信側アプリケーション端末とをパケット網５を介して結ぶ伝送路上で損失したパケット、受信側アプリケーションの持つ揺らぎ吸収バッファで到着間隔が調整できなかった遅着パケット、さらにはメディア用パケットの到着順序が規定されているリアルタイム系アプリケーションでメディア用パケットの到着順序が逆転したパケットなどが対象となる。
次に、品質解析部１２は、対象フレーム識別手段１２Ｂにより、送信品質情報を参照して、無効パケット判定手段１２Ａで無効パケットと判定されたメディア用パケットのフレーム種別とフレーム番号を取得し、無効パケットを含む対象フレームを識別する（ステップ１０３）。
続いて、品質解析部１２は、無効フレーム判定手段１２Ｃにより、送信品質情報および受信品質情報を参照して、対象フレーム識別手段１２Ｂで識別された対象フレームのフレーム種別およびフレーム番号と評価対象となるリアルタイム系アプリケーションでメディアの符号化に用いたフレーム構成とに基づき、各フレームのうちメディア用パケットの損失すなわち無効パケットによる影響を受けた復号できない無効フレームを判定する（ステップ１０４）。
例えば、映像メディアでは、基準フレームとの差分データで後続フレームを転送するＭＰＥＧ(Moving Picture Exparts Group)などの圧縮符号化方式があり、このようなフレーム構成がＧＯＰ(Group of Picture)構成情報で予め規定されている。このような圧縮符号化方式を用いる場合、差分データが正常に受信されていても基準フレームが無効フレームとなれば後続フレームも復号できず、結果として後続フレームも無効フレームとなる。
この後、品質解析部１２は、無効フレーム率算出手段１２Ｄにより、送信品質情報で示される全フレームのうち無効フレーム判定手段１２Ｃにより判定された無効フレームの割合を無効フレーム率として算出する（ステップ１０５）。
次に、ユーザ体感品質推定部１３は、予め用意して記憶部（図示せず）に格納しておいた無効フレーム率とユーザ体感品質値との関係を示す品質推定モデル１４から、品質解析部１２で算出された無効フレーム率に対応するユーザ体感品質値を導出し、リアルタイム系アプリケーションのユーザ体感品質の品質推定値１５として記憶部へ出力する（ステップ１０６）。
品質推定モデルの作成は、中間パラメータと実際にオピニオン評価を行って得られた主観評価値であるＭＯＳ値(Mean Opinion Score 平均オピニオン評点)からなるユーザ体感品質との関係を回帰曲線またはテーブルによって表すことでモデル化しておく。従来、中間パラメータとしてパケット網上で損失した損失パケットの無効パケット率を用い、この無効パケット率とＭＯＳ値との関係を示す図３のような推定モデルを用いて、無効パケット率からＭＯＳ値を推定していた（特許文献１など参照）。このような推定モデルでは、ある程度の推定精度は保証できるが、メディア用パケットとフレームとが１対１に対応していないことから、高い推定精度が求められる場合には十分ではない。
本実施の形態では、メディアの圧縮符号化に用いられるフレームを考慮した無効フレーム率を求め、これを中間パラメータとして用いている。図４は、無効フレーム率とＭＯＳ値との関係を示す品質推定モデルである。この無効フレーム率は、図３の無効パケット率を求めた際と同じメディア用パケットの品質情報から導出したものであり、図３の場合と比較して、ばらつきが少ないことがわかる。
実際にユーザ体感品質推定部１３で用いる品質推定モデル１４としては、図４の回帰曲線を用いてもよく、これをテーブル化した推定モデルを用いてもよい。
具体的には、図４において、例えば入力パラメータの入力最小単位（具体的には、無効フレーム率の入力最小単位）を０．０１とした場合、０．０１刻で、出力された値を平均することで表を作成する。つまり、図５の点線で示すように、最小刻を引き、その範囲内に入っているＭＯＳ値を平均することで、０から最小刻ごとに無効フレーム率とＭＯＳの関係をテーブルを作成する。ただし、図５では、評価サンプル数が少ないため、最小刻の中で、データがない場合が存在する。その際には、前後にデータが存在するものを利用して補完を行う。この補完は、線形であっても、回帰を用いても構わない。このような現象が極力少なくなるように、モデル作成時には、多数のデータサンプルを取得することが望ましい。
この後、推定結果通知部１６は、ユーザ体感品質推定部１３で推定された品質推定値１５を記憶部から読み込んで、ＲＴＣＰ ＸＲなどの制御用パケットに格納し、パケット網５を介して対向アプリケーション端末に接続されているユーザ体感品質推定装置（図示せず）や品質管理サーバ（図示せず）に対しで送信し（ステップ１０７）、一連のユーザ体感品質推定処理を終了する。
この際、一定間隔ごとに品質推定値１５の平均値やばらつきを示す分散などを求める統計処理した結果を推定結果通知部１６で通知してもよい。
このように、本実施の形態では、品質情報取得部１１により、送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得し、品質解析部１２により、送信品質情報および受信品質情報に基づいてメディア用パケットで送受信した各フレームのうちメディア用パケットの損失による影響を受けた無効フレームの割合を無効フレーム率として算出し、ユーザ体感品質推定部１３により、無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、品質解析部で算出された無効フレーム率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力している。
したがって、ユーザ体感品質を推定する場合、客観的な品質情報として得られるパケット損失率や無効パケット率からユーザ体感品質値を推定する場合と比較して、各メディア用パケットが構成するフレームを考慮してユーザ体感品質値を推定することができ、リアルタイム系アプリケーションのユーザ体感品質値を高い精度で推定することができる。
［第２の実施の形態］
次に、図６を参照して、本発明の第２の実施の形態にかかるユーザ体感品質推定装置について説明する。図６は、本発明の第２の実施の形態にかかるユーザ体感品質推定装置の無効パケット判定処理を示すフローチャートである。
本実施の形態では、前述した第１の実施の形態の無効パケット判定手段１２Ａにおける無効パケット判定処理の具体例について説明する。
無効パケット判定手段１２Ａは、まず、送信品質情報から未判定の送信メディア用パケットを任意に選択し（ステップ１１０）、そのシーケンス番号と同じメディア用パケットが受信されているか受信品質情報で確認する（ステップ１１１）。ここで、シーケンス番号と同じメディア用パケットが受信されていない場合には（ステップ１１１：ＮＯ）、当該メディア用パケットが途中の伝送路で損失した損失パケットであると判断できることから、無効パケットであると判定する（ステップ１１５）。
一方、シーケンス番号と同じメディア用パケットが受信されている場合には（ステップ１１１：ＹＥＳ）、当該送信メディア用パケットの遅延揺らぎ時間を受信品質情報で確認し、リアルタイム系アプリケーションが持つ許容遅延時間と比較する（ステップ１１２）。ここで、遅延揺らぎ時間が許容遅延時間を上回っている場合には（ステップ１１２：ＮＯ）、当該メディア用パケットが途中の伝送路や端末内で遅延して到着した遅着パケットであると判断できることから、無効パケットであると判定する（ステップ１１５）。
一方、遅延揺らぎ時間が許容遅延時間以下である場合には（ステップ１１２：ＹＥＳ）、当該リアルタイム系アプリケーションが到着順序逆転パケットを損失と見なす場合にのみ（ステップ１１３：ＹＥＳ）、かつ当該メディア用パケットの到着順とシーケンス番号とが一致するか受信品質情報により確認する。ここで、この一致が確認できず到着順序が逆転しているパケットである場合には（ステップ１１４：ＹＥＳ）、無効パケットであると判定する（ステップ１１５）。
なお、到着順序が逆転していない場合（ステップ１１４：ＮＯ）や、当該リアルタイム系アプリケーションが到着順序逆転パケットを損失と見なさない場合（ステップ１１３：ＮＯ）、当該パケットは無効パケットではないと判定する（ステップ１１６）。
このようにして、選択した送信メディア用パケットに対して無効パケット判定を行った後、無効パケット未判定の送信パケットが残っている場合には（ステップ１１７：ＹＥＳ）、前述したステップ１１０へ戻って残りの受信メディア用パケットに対する無効パケット判定を繰り返し行う。一方、すべての送信メディア用パケットに対して無効パケット判定が終了した場合（ステップ１１７：ＮＯ）、一連の無効パケット判定処理を終了する。
このように、本実施の形態では、無効パケット判定手段１２Ａにより、送信品質情報で送信が確認されたメディア用パケットのうち受信品質情報で受信が確認されていないメディア用パケット、および受信品質情報の各メディア用パケットの到着時刻から得た直前メディア用パケットとの到着時刻差がアプリケーションの許容パケット遅延時間を超えるメディア用パケットを無効パケットと判定するようにしたので、途中の伝送路だけではなく遅着により損失したパケットについても無効パケットと判定することができ、受信側のリアルタイム系アプリケーションでメディアとして再生できないパケットを正確に判定できる。
また、無効パケット判定手段により、受信品質情報で受信確認されたメディア用パケットの送信順序と受信順序とが矛盾するメディア用パケットを無効パケットと判定するようにしたので、当該リアルタイム系アプリケーションが到着順序逆転パケットを損失と見なす場合、受信側のリアルタイム系アプリケーションでメディアとして再生できないパケットをさらに正確に判定できる。
［第３の実施の形態］
次に、図７を参照して、本発明の第３の実施の形態にかかるユーザ体感品質推定装置について説明する。図７は、本発明の第３の実施の形態にかかるユーザ体感品質推定装置の無効フレーム判定処理を示すフローチャートである。
本実施の形態では、前述した第１の実施の形態の無効フレーム判定手段１２Ｃにおける無効フレーム判定処理の具体例について説明する。
無効フレーム判定手段１２Ｃは、まず、送信品質情報で送信確認されている各フレームのうち、対象フレーム識別手段１２Ｂにより無効パケットを含むために対象フレームと識別されたフレームを無効フレームと判定する（ステップ１２０）。
次に、受信品質情報を参照して、受信側に到着した順序にしたがって無効フレーム未判定のフレームを選択し（ステップ１２１）、当該リアルタイム系アプリケーションでメディアの符号化に用いたフレーム構成を示すフレーム構成情報と受信品質情報とを参照することにより、当該フレームの復号に用いる他のフレームに、無効フレームが含まれているか確認する（ステップ１２２）。フレーム構成情報は、予め記憶部に設定しておいてもよく送受信品質情報で取得してもよい。
ここで、無効フレームが含まれている場合（ステップ１２２：ＹＥＳ）、当該フレームを正常に復号できないことから、当該フレームを無効フレームと判定する（ステップ１２３）。一方、無効フレームが含まれていない場合（ステップ１２２：ＮＯ）、当該フレームを正常に復号できることから、当該フレームを無効フレームではないと判定する（ステップ１２４）。
図８は、無効フレームの判定処理例である。ここでは、映像メディアが「ＩＢＢ」のＧＯＰ構成で圧縮符号化されフレームに分割されている。フレーム種別Ｉフレームは基準となるフレームで、Ｉフレームだけで元のフレームを復号できる。フレーム種別ＢフレームはＩフレームとの差分データからなり、その復号にはＩフレームが必要となる。
図８に示すように、フレーム「１〜９」が「ＩＢＢ」のＧＯＰ構成にしたがってメディア用パケットに分割されて送信され、受信側で受信した際、このうちフレーム「２，４，７，８」に無効パケットが含まれていたとする。
この場合には、まず、無効パケットを含む対象フレームが無効フレームと判定され、さらに、これら無効フレームを復号時に用いるフレームについても無効フレームと判定される。
具体的には、フレーム「５，６」の復号にフレーム「４」を用いるがフレーム「４」が無効フレームであるため、これらフレーム「５，６」も無効フレームと判定される。同様に、フレーム「９」の復号にフレーム「７」を用いるがフレーム「７」が無効フレームであるため、フレーム「９」も無効フレームと判定される。なお、フレーム「３」の復号にフレーム「１」を用いるがフレーム「１」が無効フレームではないため、フレーム「３」は無効フレームではないと判定される。
このようにして、選択したフレームに対して無効フレーム判定を行った後、無効フレーム未判定のフレームが残っている場合には（ステップ１２５：ＹＥＳ）、前述したステップ１２１へ戻って残りのフレームに対する無効フレーム判定を繰り返し行う。一方、すべての送信メディア用パケットに対して無効パケット判定が終了した場合（ステップ１２５：ＮＯ）、一連の無効フレーム判定処理を終了する。
このように、本実施の形態では、無効フレーム判定手段１２Ｃにより、各フレームのうち対象フレームを無効フレームと判定するとともに、フレーム構成で規定されているフレーム種別の並びに従って当該フレームの復号に用いる他のフレームに無効フレームが含まれている場合には当該フレームを無効フレームと判定するようにしたので、単に無効パケットの有無により無効フレームを判定する場合と比較して、実際のフレーム構成に応じて正確に無効フレームを判定できる。
［各実施の形態の拡張］
以上の各実施の形態では、アプリケーション端末２が受信側であり、送信側となる対向アプリケーション端末（図示せず）から送信されパケット網５を介して受信した映像メディアのメディア用パケットに関するユーザ体感品質値を推定する場合を例として説明したがこれに限定されるものではない。すなわち、アプリケーション端末２が送信側であり、受信側となる対向アプリケーション端末（図示せず）でパケット網５を介して受信した映像メディアのメディア用パケットに関するユーザ体感品質値を推定することもできる。
この場合には、ユーザ体感品質推定装置１の品質情報取得部１１により、アプリケーション端末２のパケット送信部２２で得られた送信品質情報を前述した送信品質情報として用いるとともに、アプリケーション端末２のパケット受信部２１で受信した対向アプリケーション端末からの受信品質情報を前述した受信品質情報として用いればよい。
この際、対向アプリケーション端末でも同様のユーザ体感品質を推定する場合には、前述した品質情報通知部１７でアプリケーション端末２のバケット送信部２２で得られた送信品質情報を送信する代わりに、パケット受信部２１で得られた受信メディア用パケットに関する受信品質情報を対向アプリケーション端末へ送信すればよい。
なお、これら送受信品質情報は、直接、送信側と受信側との間でやり取りしてもよいが、これら品質情報を管理する品質管理サーバを介してやり取りするようにしてもよい。また、ユーザ体感品質推定装置１で、品質情報を直接受信するようにしてもよい。
また、以上の各実施の形態では、ユーザ体感品質推定装置１をアプリケーション端末２とは別個の装置で実現した場合を例として説明したが、これに限定されるものではなく、リアルタイム系アプリケーションと並行してアプリケーション端末２で実行される品質推定アプリケーションにより実現してもよい。これにより、アプリケーション端末２のハードウェア資源を共用して実現でき、極めて容易にユーザ体感品質を管理できる。
本発明の第１の実施の形態にかかるユーザ体感品質推定装置の構成を示すブロック図である。 本発明の第１の実施の形態にかかるユーザ体感品質推定装置のユーザ体感品質推定処理を示すフローチャートである。 無効パケット率とＭＯＳ値との関係を示す品質推定モデルである。 無効フレーム率とＭＯＳ値との関係を示す品質推定モデルである。 無効フレーム率とＭＯＳ値との関係のテーブル化した推定モデル例である。 本発明の第２の実施の形態にかかるユーザ体感品質推定装置の無効パケット判定処理を示すフローチャートである。 本発明の第３の実施の形態にかかるユーザ体感品質推定装置の無効フレーム判定処理を示すフローチャートである。 無効フレームの判定処理例である。
符号の説明
１…ユーザ体感品質推定装置、１１…品質情報取得部、１２…品質解析部、１２Ａ…無効パケット判定手段、１２Ｂ…対象フレーム識別手段、１２Ｃ…無効フレーム判定手段、１２Ｄ…無効フレーム率算出手段、１３…ユーザ体感品質推定部、１４…品質推定モデル、１５…品質推定値、１６…推定結果通知部、１７…品質情報通知部、２…アプリケーション端末、２１…パケット受信部、２２…パケット送信部、５…パケット網。

Claims (10)

  1. パケット網を介して接続された送信側および受信側アプリケーション端末間で用いられて、映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信するリアルタイム系のアプリケーションについて、ユーザ体感品質を推定するユーザ体感品質推定装置であって、
    前記送信側アプリケーション端末から送信されたメディア用パケットのそれぞれに格納されているフレームのフレーム種別を含む、これらメディア用パケットの送信状況を示す送信品質情報と、前記受信側アプリケーション端末で受信した前記メディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得部と、
    前記送信品質情報および前記受信品質情報に基づいて前記メディア用パケットで送受信した各フレームのうちメディア用パケットの損失による影響を受けた無効フレームの割合を無効フレーム率として算出する品質解析部と、
    無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、前記品質解析部で算出された無効フレーム率に対応するユーザ体感品質値を導出し、前記アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定部と
    を備え、
    前記品質解析部は、
    前記送信品質情報と前記受信品質情報とに基づいて前記メディア用パケットのうち損失したパケットを無効パケットとして判定する無効パケット判定手段と、
    前記送信品質情報に基づいて前記無効パケットに対応するフレームを対象フレームとして識別するフレーム識別手段と、
    前記送信品質情報のフレーム種別に基づき識別した前記対象フレームのフレーム種別と前記メディアの符号化に用いたフレーム構成とに基づいて、前記各フレームについて前記無効フレームか否かを判定する無効フレーム判定手段と、
    前記メディア用パケットで送信された全フレーム数に対する前記無効フレーム数の割合を前記無効フレーム率として算出する無効フレーム率算出手段と
    を有することを特徴とするユーザ体感品質推定装置。
  2. 請求項１に記載のユーザ体感品質推定装置において、
    前記無効パケット判定手段は、前記送信品質情報で送信が確認されたメディア用パケットのうち前記受信品質情報で受信が確認されていないメディア用パケット、および前記受信品質情報の各メディア用パケットの到着間隔を示す遅延揺らぎ時間が前記アプリケーションの許容パケット遅延時間を超えるメディア用パケットを前記無効パケットと判定することを特徴とするユーザ体感品質推定装置。
  3. 請求項１に記載のユーザ体感品質推定装置において、
    前記無効パケット判定手段は、前記受信品質情報で受信確認されたメディア用パケットの送信順序と受信順序とが矛盾するメディア用パケットを前記無効パケットと判定することを特徴とするユーザ体感品質推定装置。
  4. 請求項１に記載のユーザ体感品質推定装置において、
    前記フレーム識別手段は、前記送信品質情報に含まれる前記無効パケットのヘッダ情報から、前記対象フレームのフレーム番号およびフレーム種別を取得し、
    前記無効フレーム判定手段は、前記各フレームのうち前記対象フレームを無効フレームと判定するとともに、前記フレーム構成で規定されているフレーム種別の並びに従って当該フレームの復号に用いる他のフレームに無効フレームが含まれている場合には当該フレームを無効フレームと判定する
    ことを特徴とするユーザ体感品質推定装置。
  5. 請求項１に記載のユーザ体感品質推定装置において、
    前記品質情報取得部は、前記受信側アプリケーション端末のパケット受信部で受信された前記送信側アプリケーション端末側からの送信品質情報を前記送信品質情報として取得するとともに、前記受信側アプリケーション端末のパケット受信部で受信されたメディア用パケットから得られた受信品質情報を前記受信品質情報として取得することを特徴とするユーザ体感品質推定装置。
  6. 請求項１に記載のユーザ体感品質推定装置において、
    前記品質情報取得部は、前記送信側アプリケーション端末のパケット受信部で受信された前記受信側アプリケーション端末側からの受信品質情報を前記受信品質情報として取得するとともに、前記送信側アプリケーション端末のパケット送信部で送信されたメディア用パケットから得られた送信品質情報を前記送信品質情報として取得することを特徴とするユーザ体感品質推定装置。
  7. 請求項１に記載のユーザ体感品質推定装置において、
    前記送信側アプリケーション端末のパケット送信部で得られた前記送信品質情報を前記受信側アプリケーション端末へ通知する品質情報通知部をさらに備えることを特徴とするユーザ体感品質推定装置。
  8. 請求項１に記載のユーザ体感品質推定装置において、
    前記受信側アプリケーション端末のパケット受信部で得られた前記受信品質情報を前記送信側アプリケーション端末へ通知する品質情報通知部をさらに備えることを特徴とするユーザ体感品質推定装置。
  9. パケット網を介して接続された送信側および受信側アプリケーション端末間で用いられて、映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信するリアルタイム系のアプリケーションについて、ユーザ体感品質を推定するユーザ体感品質推定装置で用いられるユーザ体感品質推定方法であって、
    前記送信側アプリケーション端末から送信されたメディア用パケットのそれぞれに格納されているフレームのフレーム種別を含む、これらメディア用パケットの送信状況を示す送信品質情報と、前記受信側アプリケーション端末で受信した前記メディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得ステップと、
    前記送信品質情報および前記受信品質情報に基づいて前記メディア用パケットで送受信した各フレームのうちメディア用パケットの損失による影響を受けた無効フレームの割合を無効フレーム率として算出する品質解析ステップと、
    無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、前記品質解析ステップで算出された無効フレーム率に対応するユーザ体感品質値を導出し、前記アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定ステップと
    を備え、
    前記品質解析ステップは、
    前記送信品質情報と前記受信品質情報とに基づいて前記メディア用パケットのうち損失したパケットを無効パケットとして判定する無効パケット判定ステップと、
    前記送信品質情報に基づいて前記無効パケットに対応するフレームを対象フレームとして識別するフレーム識別ステップと、
    前記送信品質情報のフレーム種別に基づき識別した前記対象フレームのフレーム種別と前記メディアの符号化に用いたフレーム構成とに基づいて、前記各フレームについて前記無効フレームか否かを判定する無効フレーム判定ステップと、
    前記メディア用パケットで送信された全フレーム数に対する前記無効フレーム数の割合を前記無効フレーム率として算出する無効フレーム率算出ステップと
    を有することを特徴とするユーザ体感品質推定方法。
  10. パケット網を介して接続された送信側および受信側アプリケーション端末間で用いられて、映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信するリアルタイム系のアプリケーションについて、ユーザ体感品質を推定するユーザ体感品質推定装置のコンピュータで、
    前記送信側アプリケーション端末から送信されたメディア用パケットのそれぞれに格納されているフレームのフレーム種別を含む、これらメディア用パケットの送信状況を示す送信品質情報と、前記受信側アプリケーション端末で受信した前記メディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得ステップと、
    前記送信品質情報および前記受信品質情報に基づいて前記メディア用パケットで送受信した各フレームのうちメディア用パケットの損失による影響を受けた無効フレームの割合を無効フレーム率として算出する品質解析ステップと、
    無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、前記品質解析ステップで算出された無効フレーム率に対応するユーザ体感品質値を導出し、前記アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定ステップと
    を実行させ、
    前記品質解析ステップは、
    前記送信品質情報と前記受信品質情報とに基づいて前記メディア用パケットのうち損失したパケットを無効パケットとして判定する無効パケット判定ステップと、
    前記送信品質情報に基づいて前記無効パケットに対応するフレームを対象フレームとして識別するフレーム識別ステップと、
    前記送信品質情報のフレーム種別に基づき識別した前記対象フレームのフレーム種別と前記メディアの符号化に用いたフレーム構成とに基づいて、前記各フレームについて前記無効フレームか否かを判定する無効フレーム判定ステップと、
    前記メディア用パケットで送信された全フレーム数に対する前記無効フレーム数の割合を前記無効フレーム率として算出する無効フレーム率算出ステップと
    を有することを特徴とするプログラム。
JP2005245561A 2005-08-26 2005-08-26 ユーザ体感品質推定装置、方法、およびプログラム Active JP4460506B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005245561A JP4460506B2 (ja) 2005-08-26 2005-08-26 ユーザ体感品質推定装置、方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005245561A JP4460506B2 (ja) 2005-08-26 2005-08-26 ユーザ体感品質推定装置、方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2007060475A JP2007060475A (ja) 2007-03-08
JP4460506B2 true JP4460506B2 (ja) 2010-05-12

Family

ID=37923522

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005245561A Active JP4460506B2 (ja) 2005-08-26 2005-08-26 ユーザ体感品質推定装置、方法、およびプログラム

Country Status (1)

Country Link
JP (1) JP4460506B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2077672B1 (en) 2007-08-22 2014-06-25 Nippon Telegraph and Telephone Corporation Video quality estimation device, video quality estimation method, frame type judgment method, and recording medium
JP5405915B2 (ja) * 2009-06-22 2014-02-05 日本電信電話株式会社 映像品質推定装置、映像品質推定方法および映像品質推定装置の制御プログラム
JP5144593B2 (ja) * 2009-06-24 2013-02-13 日本電信電話株式会社 ユーザ体感品質推定システムおよび方法
JP5107971B2 (ja) * 2009-06-29 2012-12-26 日本電信電話株式会社 ユーザ体感品質推定システムおよび方法
JP5149248B2 (ja) * 2009-06-29 2013-02-20 日本電信電話株式会社 網品質管理閾値算出装置および方法
JP2011114444A (ja) * 2009-11-25 2011-06-09 Fujitsu Ltd 情報処理装置，情報生成方法，およびプログラム
JP5491150B2 (ja) * 2009-12-03 2014-05-14 日本電信電話株式会社 オーディオ品質要因指標算出方法、装置、およびプログラム
JP5394991B2 (ja) * 2010-06-04 2014-01-22 日本電信電話株式会社 映像フレーム種別推定用調整係数算出方法、装置、およびプログラム

Also Published As

Publication number Publication date
JP2007060475A (ja) 2007-03-08

Similar Documents

Publication Publication Date Title
JP4460506B2 (ja) ユーザ体感品質推定装置、方法、およびプログラム
EP2364540B1 (en) Method for estimating the 'quality of experience' of a user in respect of audio and/or video contents distributed through telecommunications networks
US9723329B2 (en) Method and system for determining a quality value of a video stream
JP4308227B2 (ja) 映像品質推定装置、映像品質管理装置、映像品質推定方法、映像品質管理方法、およびプログラム
JP2007019802A (ja) 映像品質推定装置および映像品質推定方法
US20210409820A1 (en) Predicting multimedia session mos
US10440087B2 (en) Estimation of losses in a video stream
JP4460523B2 (ja) ユーザ体感品質推定装置、方法、およびプログラム
JP2008301026A (ja) 映像品質推定方法、装置、およびプログラム
JP4634339B2 (ja) ユーザ体感品質推定装置、方法、およびプログラム
US9203708B2 (en) Estimating user-perceived quality of an encoded stream
JP4668851B2 (ja) 品質クラス決定装置、品質クラス決定方法、およびプログラム
JP4733071B2 (ja) 映像品質推定方法および装置
JP2007329778A (ja) ユーザ体感品質推定装置、方法、およびプログラム
JP4460548B2 (ja) ユーザ体感品質推定装置、方法、およびプログラム
JP2006352528A (ja) ユーザ体感品質推定モデル生成装置、方法、およびプログラム
JP2007329773A (ja) パケット損失特性解析装置、方法、およびプログラム
JP2007329777A (ja) コンテンツ特性解析装置、方法、およびプログラム
JP4460549B2 (ja) ユーザ体感品質推定装置、方法、およびプログラム
JP2007329775A (ja) ユーザ体感品質推定装置、方法、およびプログラム
Botia et al. Strategies for improving the QoE assessment over iTV platforms based on QoS metrics
EP2745518B1 (en) Estimating user-perceived quality of an encoded video stream

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090811

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091110

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100209

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100212

R151 Written notification of patent or utility model registration

Ref document number: 4460506

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130219

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350