JP4490374B2 - Video quality evaluation apparatus and method - Google Patents
Video quality evaluation apparatus and method Download PDFInfo
- Publication number
- JP4490374B2 JP4490374B2 JP2006010899A JP2006010899A JP4490374B2 JP 4490374 B2 JP4490374 B2 JP 4490374B2 JP 2006010899 A JP2006010899 A JP 2006010899A JP 2006010899 A JP2006010899 A JP 2006010899A JP 4490374 B2 JP4490374 B2 JP 4490374B2
- Authority
- JP
- Japan
- Prior art keywords
- quality evaluation
- video quality
- evaluation value
- video
- unit time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、通信品質評価技術に関し、特にネットワークを介して配信された映像について視聴者が実感する品質(主観品質)を評価する映像品質評価技術に関する。 The present invention relates to a communication quality evaluation technique, and more particularly to a video quality evaluation technique for evaluating a quality (subjective quality) perceived by a viewer for a video distributed via a network.
近年、インターネットアクセス回線のブロードバンド化に伴い、商用の映像配信サービスが普及してきている。このようなネットワークを用いて視聴者に映像を配信する技術は大きく2つに分けられる。1つはネットワーク上の映像配信サーバから映像データを視聴者端末にファイル転送し、転送終了後に映像を再生するダウンロード技術である、もう1つの方法は、ネットワーク上の映像配信サーバから映像データをダウンロードしながら再生するストリーミング技術である。映像配信を行う場合、現在では後者の技術が広く認知されており、Windows Media(登録商標)、Real、QuickTime(登録商標)等の多くの映像配信システムがこの技術を採用している。 In recent years, commercial video distribution services have become widespread with the broadbandization of Internet access lines. There are roughly two techniques for distributing video to viewers using such a network. One is a download technology for transferring video data from the video distribution server on the network to the viewer terminal and playing the video after the transfer is completed. Another method is to download the video data from the video distribution server on the network. It is a streaming technology that plays while playing. In video distribution, the latter technique is now widely recognized, and many video distribution systems such as Windows Media (registered trademark), Real, and QuickTime (registered trademark) employ this technology.
ストリーミング技術を用いて視聴者に映像配信する場合、映像配信システムと視聴者端末間のネットワークが混雑すると、高品質な映像を配信するのに十分なネットワーク伝送帯域を使用することができず、映像データが欠落する場合がある。これにより、符号化映像を正しく復号することができず、再生映像にブロック状の歪みやフリーズ等が発生するため、視聴者が実感する主観的な映像品質が低下してしまう。 When distributing video to viewers using streaming technology, if the network between the video distribution system and the viewer terminal is congested, network transmission bandwidth sufficient to distribute high-quality video cannot be used. Data may be missing. As a result, the encoded video cannot be decoded correctly, and block-like distortion or freezing occurs in the reproduced video, so that the subjective video quality perceived by the viewer is lowered.
この品質劣化を軽減するため、上記映像配信システムでは、多段階の品質の符号化映像を作成し、利用できるネットワーク帯域に応じて最適な符号化速度の映像を配信する等の処理が行われている。
具体的には、視聴者端末で映像配信システムから正確に受信できなかったデータ量(パケット損失量)やデータ到着の時間的なゆらぎ(遅延ゆらぎ量)の情報、あるいは、視聴者端末に既に到着している再生前のデータ量(バッファリング量)の情報等を映像配信システムに返信し、これらの情報から映像配信システムと視聴者端末間のネットワークの混雑度合いを推定している。映像配信システムと視聴者端末間が混雑している場合、映像配信システムはその視聴者端末に対する映像の伝送帯域を1段階低下させる。
In order to alleviate this quality degradation, the video distribution system performs processing such as creating encoded video of multi-stage quality and distributing video of optimal encoding speed according to the available network bandwidth. Yes.
Specifically, information on the amount of data (packet loss) that could not be correctly received from the video distribution system at the viewer terminal, information on temporal fluctuation of data arrival (delay fluctuation amount), or already arrived at the viewer terminal Information on the amount of data (buffering amount) before reproduction is returned to the video distribution system, and the degree of network congestion between the video distribution system and the viewer terminal is estimated from the information. When the video distribution system and the viewer terminal are congested, the video distribution system decreases the transmission band of the video for the viewer terminal by one level.
これにより、必要となるネットワーク伝送帯域が低下するため、符号化速度の低下に伴う映像品質劣化は発生するものの、データ損失(パケット損失)等による映像の歪み・フリーズ、音の途切れ等のような重大な品質劣化現象を避けることが可能となる。例えば、クライアント毎のストリーミング受信アプリケーションに実際の通信環境に即した適正な接続速度パラメータを自動設定可能であるストリーミング・メディア・サーバーが考案されている。 As a result, the required network transmission bandwidth is reduced, and although video quality degradation due to a reduction in coding speed occurs, video distortion / freezing due to data loss (packet loss), sound interruptions, etc. It is possible to avoid a serious quality deterioration phenomenon. For example, a streaming media server that can automatically set an appropriate connection speed parameter in accordance with an actual communication environment in a streaming reception application for each client has been devised.
このような映像配信システムを用いると、映像の配信ビットレートが時間的に変動するため、視聴者が実感する品質も時間的に変動することになる。また、配信ビットレートを動的に変動させないシステムにおいても、品質劣化が非定常に発生することになるため、前述の場合と同様に、映像品質が時間的に変動することになる。したがって、ネットワークを用いて配信された映像に対して視聴者が実感する品質を評価するためには、時間的に変動する品質をどのように評価するかが課題となる。従来の品質評価技術では、10秒程度の映像を視聴してその品質を評価するという方法が一般的であるが、(1)配信ビットレートの時間変動が数秒以上の単位で発生することを考慮すると、10秒程度の映像では様々な時間変動を模擬して評価できないことや(2)視聴者が映像コンテンツの意味を理解するためにはある程度の時間長が必要であること等から、数分単位での品質評価が必要となる。 When such a video distribution system is used, the video distribution bit rate fluctuates with time, so the quality perceived by the viewer also fluctuates with time. Further, even in a system in which the distribution bit rate is not dynamically changed, the quality deterioration occurs non-steadyly, so that the video quality is temporally changed as in the case described above. Therefore, in order to evaluate the quality perceived by the viewer with respect to the video distributed using the network, how to evaluate the temporally varying quality becomes an issue. In conventional quality evaluation technology, it is common to view a video of about 10 seconds and evaluate its quality. (1) Considering that time fluctuation of the delivery bit rate occurs in units of several seconds or more. Then, since it is impossible to evaluate various time fluctuations by simulating various images with a time of about 10 seconds, and (2) a certain amount of time is required for the viewer to understand the meaning of the video content. Quality assessment in units is required.
従来、このような課題を解決する方法の一例として、単位時間毎に得られた映像品質評価の時系列データから品質変動の影響と視聴者の品質劣化の忘却特性を考慮して、任意の評価期間内における映像品質を推定する技術が提案されている(例えば、特許文献1など参照、非特許文献1−3など参照)。また文献2では、10秒程度の映像の品質評価値の平均値を用いて3分間の品質評価値を推定しても、品質評価推定精度が非常に悪くなることを示している。
Conventionally, as an example of a method for solving such a problem, an arbitrary evaluation is performed in consideration of the influence of quality fluctuations and the forgetting characteristic of the viewer's quality deterioration from the time series data of the video quality evaluation obtained every unit time. Techniques for estimating video quality within a period have been proposed (see, for example,
しかしながら、このような従来技術では、映像符号化速度が時間的に変動する場合でも、ある程度の精度でユーザが実感する映像品質を評価できるものの、ユーザの映像品質評価特性における、単位時間の映像を視聴した場合の品質評価特性(短時間視聴時の品質評価特性)と単位時間よりも長い評価時間の映像を視聴した場合の品質評価特性(長時間視聴時の品質評価特性)の違いを考慮していないため、品質評価値の大きさによっては品質推定精度が低くなるという問題点があった。 However, in such a conventional technique, even when the video encoding speed fluctuates with time, the video quality perceived by the user can be evaluated with a certain degree of accuracy. Considering the difference between quality evaluation characteristics when viewing (quality evaluation characteristics during short-time viewing) and quality evaluation characteristics when viewing videos with an evaluation time longer than unit time (quality evaluation characteristics during long-time viewing) Therefore, there is a problem that the quality estimation accuracy is lowered depending on the size of the quality evaluation value.
図10に示すように、例えば10秒程度の単位時間の映像に対する品質が比較的良いと判断された場合、単位時間よりも長い例えば3分程度の評価期間分継続して同じ品質レベルの映像を視聴した場合の評価値は、単位時間の品質評価値よりも高く評価される傾向がある。逆に、10秒程度の単位時間の映像に対する品質が比較的悪いと判断された場合、単位時間よりも長い例えば3分程度の評価期間分継続して同じ品質レベルの映像を視聴した場合の評価値は、単位時間の品質評価値よりも低く評価される傾向がある。従来技術では、このような特性を反映できておらず、品質評価値が高い領域と低い領域で推定精度が低くなってしまうという問題がある。 As shown in FIG. 10, when it is determined that the quality for a unit time of about 10 seconds is relatively good, for example, an image having the same quality level continues for an evaluation period longer than the unit time, for example, about 3 minutes. When viewed, the evaluation value tends to be evaluated higher than the quality evaluation value per unit time. On the other hand, if it is determined that the quality of the video for a unit time of about 10 seconds is relatively poor, the evaluation when the video of the same quality level is continuously viewed for an evaluation period longer than the unit time, for example, about 3 minutes. The value tends to be evaluated lower than the quality evaluation value per unit time. In the prior art, such characteristics cannot be reflected, and there is a problem that the estimation accuracy is lowered in a region where the quality evaluation value is high and a region where the quality evaluation value is low.
本発明はこのような課題を解決するためのものであり、視聴者の単位時間視聴時の品質評価特性と評価期間視聴時の品質評価特性の違いを考慮して、視聴者が実感する品質を高精度に推定できる映像品質評価装置および方法を提供することを目的としている。 The present invention is for solving such a problem, and considers the difference between the quality evaluation characteristic at the time of viewing of the viewer unit time and the quality evaluation characteristic at the time of viewing the evaluation period, and the quality perceived by the viewer. An object of the present invention is to provide a video quality evaluation apparatus and method that can be estimated with high accuracy.
このような目的を達成するために、本発明にかかる映像品質評価装置は、ネットワークを介して配信された配信映像に対して視聴者が実感する品質を推定評価する映像品質評価装置であって、入力された配信映像の映像品質評価値を単位時間毎に単位時間映像品質評価値として推定して記憶部へ格納する単位時間映像品質評価値推定部と、記憶部から所望の評価期間内に得られた各単位時間映像品質評価値を取得し、これら単位時間映像品質評価値から当該評価期間における総合映像品質評価値を推定する総合映像品質評価値推定部と、視聴者の単位時間視聴時の品質評価特性と評価期間視聴時の品質評価特性の違いに応じた補正関数に基づいて総合映像品質評価値を補正する総合映像品質評価値補正部とを備えている。 In order to achieve such an object, a video quality evaluation apparatus according to the present invention is a video quality evaluation apparatus that estimates and evaluates the quality perceived by a viewer for distribution video distributed via a network, A unit-time video quality evaluation value estimation unit that estimates the video quality evaluation value of the input distribution video as a unit-time video quality evaluation value every unit time and stores it in the storage unit, and obtains it from the storage unit within a desired evaluation period. Each unit time video quality evaluation value obtained, and from these unit time video quality evaluation values, an overall video quality evaluation value estimation unit for estimating a total video quality evaluation value in the evaluation period, and a viewer's unit time viewing time An overall video quality evaluation value correction unit that corrects the overall video quality evaluation value based on a correction function corresponding to a difference between the quality evaluation characteristic and the quality evaluation characteristic during viewing during the evaluation period;
この際、総合映像品質評価値補正部で、総合映像品質評価値推定部で推定された総合映像品質評価値が高い場合はさらに高く、かつ総合映像品質評価値推定部で推定された総合映像品質評価値が低い場合はさらに低くなるよう補正するようにしてもよい。 At this time, if the total video quality evaluation value estimated by the total video quality evaluation value estimation unit is high in the total video quality evaluation value correction unit, it is higher and the total video quality estimated by the total video quality evaluation value estimation unit If the evaluation value is low, it may be corrected so as to be lower.
また、本発明にかかる映像品質評価方法は、ネットワークを介して配信された配信映像に対して視聴者が実感する品質を推定評価する映像品質評価装置で用いられ、配信映像から単位時間毎に得た単位時間映像品質評価値のうち、所望の評価期間内に得られた各単位時間映像品質評価値に基づき、当該評価期間における配信映像に対して視聴者が実感する品質を総合映像品質評価値として推定する映像品質評価方法であって、視聴者の単位時間視聴時の品質評価特性と評価期間視聴時の品質評価特性の違いに応じた補正関数に基づいて総合映像品質評価値を補正する総合映像品質評価値補正ステップを備えている。 Also, the video quality evaluation method according to the present invention is used in a video quality evaluation apparatus that estimates and evaluates the quality perceived by a viewer for a distribution video distributed via a network, and is obtained from the distribution video every unit time. Based on each unit time video quality evaluation value obtained during the desired evaluation period, the total video quality evaluation value indicates the quality perceived by the viewer for the distribution video during the evaluation period. Is a video quality evaluation method that estimates the total video quality evaluation value based on a correction function according to the difference between the quality evaluation characteristics of the viewer during unit time viewing and the quality evaluation characteristics during viewing of the evaluation period. A video quality evaluation value correction step is provided.
また、本発明にかかる他の映像品質評価方法は、ネットワークを介して配信された配信映像に対して視聴者が実感する品質を推定評価する映像品質評価装置で用いられる映像品質評価方法であって、単位時間映像品質評価値推定部により、入力された配信映像の映像品質評価値を単位時間毎に単位時間映像品質評価値として推定して記憶部へ格納する単位時間映像品質評価推定ステップと、総合映像品質評価値推定部により、記憶部から所望の評価期間内に得られた各単位時間映像品質評価値を取得し、これら単位時間映像品質評価値から当該評価期間における総合映像品質評価値を推定する総合映像品質評価値推定ステップと、総合映像品質評価値補正部により、視聴者の単位時間視聴時の品質評価特性と評価期間視聴時の品質評価特性の違いに応じた補正関数に基づいて総合映像品質評価値を補正する総合映像品質評価値補正ステップとを備えている。 Another video quality evaluation method according to the present invention is a video quality evaluation method used in a video quality evaluation apparatus for estimating and evaluating the quality perceived by a viewer for a distribution video distributed via a network. The unit time video quality evaluation value estimating unit estimates the video quality evaluation value of the input distribution video as a unit time video quality evaluation value for each unit time and stores it in the storage unit; and Each unit time video quality evaluation value obtained within a desired evaluation period is acquired from the storage unit by the total video quality evaluation value estimation unit, and the total video quality evaluation value in the evaluation period is obtained from these unit time video quality evaluation values. The total video quality evaluation value estimation step to be estimated and the total video quality evaluation value correction unit, the quality evaluation characteristics of the viewer during unit time viewing and the quality evaluation characteristics during the evaluation period viewing On the basis of the correction function according to the had and a comprehensive image quality evaluation value correction step of correcting the overall image quality evaluation value.
この際、総合映像品質評価値補正ステップで、総合映像品質評価値推定ステップで推定された総合映像品質評価値が高い場合はさらに高く、かつ総合映像品質評価値推定ステップで推定された総合映像品質評価値が低い場合はさらに低くなるよう補正してもよい。 At this time, in the total video quality evaluation value correction step, if the total video quality evaluation value estimated in the total video quality evaluation value estimation step is high, it is higher and the total video quality estimated in the total video quality evaluation value estimation step You may correct | amend so that it may become still lower when an evaluation value is low.
本発明によれば、入力された映像信号の映像品質評価値が単位時間毎に単位時間映像品質評価値として時系列で推定されて、所望の評価期間内に得られた各単位時間映像品質評価値から当該評価期間における総合映像品質評価値が推定され、得られた総合映像品質評価値に対して視聴者の単位時間視聴時の品質評価特性と評価期間視聴時の品質評価特性の違いを考慮して補正が行われるため、視聴者の単位時間視聴時の品質評価特性と評価期間視聴時の品質評価特性の違いを考慮し、視聴者が実感する品質を高精度に推定することができる。 According to the present invention, the video quality evaluation value of the input video signal is estimated in time series as the unit time video quality evaluation value every unit time, and each unit time video quality evaluation obtained within a desired evaluation period is obtained. The total video quality evaluation value during the evaluation period is estimated from the value, and the difference between the quality evaluation characteristics during viewing of the viewer in unit time and the quality evaluation characteristics during viewing during the evaluation period is considered for the obtained total video quality evaluation value Thus, the quality perceived by the viewer can be estimated with high accuracy in consideration of the difference between the quality evaluation characteristics during the unit time viewing of the viewer and the quality evaluation characteristics during the viewing of the evaluation period.
次に、本発明の実施の形態について図面を参照して説明する。
[第1の実施の形態]
まず、図1を参照して、本発明の第1の実施の形態にかかる映像品質評価装置について説明する。図1は、本発明の第1の実施の形態にかかる映像品質評価装置の構成を示すブロック図である。
この映像品質評価装置1は、パーソナルコンピュータなどの通信機能を有する情報処理装置からなり、インターネットなどのネットワーク3を介して配信サーバ2から配信された映像について視聴者が実感する品質(主観品質)を評価する機能を有している。
Next, embodiments of the present invention will be described with reference to the drawings.
[First Embodiment]
First, the video quality evaluation apparatus according to the first embodiment of the present invention will be described with reference to FIG. FIG. 1 is a block diagram showing the configuration of the video quality evaluation apparatus according to the first embodiment of the present invention.
The video
本実施の形態は、入力された映像信号の映像品質評価値を単位時間毎に単位時間映像品質評価値として時系列で推定し、所望の評価期間内に得られた各単位時間映像品質評価値から当該評価期間における総合映像品質評価値を推定し、得られた総合映像品質評価値に対して視聴者の単位時間視聴時の品質評価特性と評価期間視聴時の品質評価特性の違いを考慮して補正を行うようにしたものである。 In this embodiment, the video quality evaluation value of the input video signal is estimated in time series as the unit time video quality evaluation value every unit time, and each unit time video quality evaluation value obtained within a desired evaluation period The overall video quality evaluation value during the evaluation period is estimated from the above, and the difference between the quality evaluation characteristics during viewing of the viewer in unit time and the quality evaluation characteristics during viewing during the evaluation period is considered for the obtained total video quality evaluation value. Correction is performed.
次に、図1を参照して、本実施の形態にかかる映像品質評価装置の構成について詳細に説明する。映像品質評価装置1には、主な機能部として、単位時間映像品質評価値推定部11、単位時間映像品質評価値記憶部12、総合映像品質評価値推定部13、および総合映像品質評価値補正部14が設けられている。
Next, the configuration of the video quality evaluation apparatus according to the present embodiment will be described in detail with reference to FIG. The video
これら機能部のうち、単位時間映像品質評価値推定部11、総合映像品質評価値推定部13、および総合映像品質評価値補正部14は、各種演算処理を行う演算処理部から構成される。演算処理部ついては、専用の演算処理回路で構成してもよいが、CPUとその周辺回路を用いて、CPU内部や周辺回路のメモリからプログラムを読み込んで実行することにより、上記ハードウェアとプログラムとを協働させて上記機能部を実現させてもよい。
また、単位時間映像品質評価値記憶部12は、ハードディスクやメモリなどの記憶装置から構成される。
Among these functional units, the unit time video quality evaluation
The unit time video quality evaluation
単位時間映像品質評価値推定部11は、入力された映像信号の映像品質評価値を単位時間(短時間)毎に単位時間映像品質評価値として時系列で推定する機能と、単位時間映像品質評価値記憶部12に格納する機能とを有している。
総合映像品質評価値推定部13は、単位時間映像品質評価値記憶部12から所望の評価期間内に得られた各単位時間映像品質評価値を取得する機能と、これら単位時間映像品質評価値から当該評価期間における総合映像品質評価値を推定する機能とを有している。
総合映像品質評価値補正部14は、推定された総合映像品質評価値を所定の補正関数に基づいて補正する機能を有している。
The unit time video quality evaluation
The total video quality evaluation
The total video quality evaluation
[第1の実施の形態の動作]
次に、図2を参照して、本発明の第1の実施の形態にかかる映像品質評価装置の動作について説明する。図2は、本発明の第1の実施の形態にかかる映像品質評価装置の映像品質評価処理を示すフローチャートである。
映像品質評価装置1は、ネットワーク3を介して配信サーバ2から配信された映像について視聴者が実感する品質(主観品質)を評価する場合、図2の映像品質評価処理を実行する。
[Operation of First Embodiment]
Next, the operation of the video quality evaluation apparatus according to the first embodiment of the present invention will be described with reference to FIG. FIG. 2 is a flowchart showing the video quality evaluation process of the video quality evaluation apparatus according to the first embodiment of the present invention.
The video
図2の映像品質評価処理において、映像品質評価装置1は、まず、単位時間映像品質評価値推定部11により、配信映像から単位時間毎、例えば10秒毎に単位時間映像品質評価値を時系列でそれぞれ推定し、これら単位時間映像品質評価値を単位時間映像品質評価値記憶部12へ格納する(ステップ100)。
次に、総合映像品質評価値推定部13により、単位時間映像品質評価値記憶部12から所望の評価期間内に得られた各単位時間映像品質評価値を取得し、これら各単位時間映像品質評価値から当該評価期間における総合映像品質評価値を推定する(ステップ101)。
続いて、総合映像品質評価値補正部14により、推定された総合映像品質評価値を所定の補正関数に基づいて補正し(ステップ102)、一連の映像品質評価処理を終了する。
In the video quality evaluation process of FIG. 2, the video
Next, the total video quality evaluation
Subsequently, the total video quality evaluation
次に、図3〜図5を参照して、図2の映像品質評価処理を構成する各処理ステップについて詳細に説明する。図3は、単位時間映像品質評価値推定処理を示すフローチャートである。図4は、総合映像品質評価値推定処理を示すフローチャートである。図5は、総合映像品質評価値補正処理を示すフローチャートである。 Next, with reference to FIGS. 3 to 5, each processing step constituting the video quality evaluation process of FIG. 2 will be described in detail. FIG. 3 is a flowchart showing unit time video quality evaluation value estimation processing. FIG. 4 is a flowchart showing the comprehensive video quality evaluation value estimation process. FIG. 5 is a flowchart showing the comprehensive video quality evaluation value correction process.
まず、図3を参照して、単位時間映像品質評価値推定処理について説明する。図2の映像品質評価処理のステップ100において、単位時間映像品質評価値推定部11は、図3の単位時間映像品質評価値推定処理を実行する。
図3の単位時間映像品質評価値推定処理において、単位時間映像品質評価値推定部11は、まず、入力された配信映像の符号化ビットレートを取得して(ステップ110)、この符号化ビットレートから単位時間毎、例えば10秒毎の映像品質評価値すなわち単位時間映像品質評価値を順次算出する(ステップ111)。
First, the unit time video quality evaluation value estimation processing will be described with reference to FIG. In
In the unit time video quality evaluation value estimation process of FIG. 3, the unit time video quality evaluation
単位時間映像品質評価値を算出する際、符号化ビットレートと単位時間映像品質評価値の対応関係を事前に求めておいて、符号化ビットレートを単位時間映像品質評価値へ変換すればよい。具体的には、品質評価対象とする映像配信アプリケーションにおいて、符号化ビットレートを変更した映像の主観品質評価特性を事前に求め、例えばデータベース化しておく。映像品質は平均オピニオン評点(MOS:Mean Opinion Score)を用い、「非常に良い」、「良い」、「普通」、「悪い」、「非常に悪い」の5段階の品質評価尺度に対してそれぞれ5〜1点を付け、16名以上の評価者が投票した得点の平均値を平均オピニオン評点と呼ぶ)で表現する。 When calculating the unit time video quality evaluation value, the correspondence relationship between the encoding bit rate and the unit time video quality evaluation value is obtained in advance, and the encoding bit rate may be converted into the unit time video quality evaluation value. Specifically, in a video distribution application to be subjected to quality evaluation, the subjective quality evaluation characteristics of the video whose coding bit rate has been changed are obtained in advance, for example, a database. Video quality uses the mean opinion score (MOS) for each of the five levels of quality rating scales: “very good”, “good”, “normal”, “bad”, and “very bad”. 5 to 1 points, and the average value of the scores voted by 16 or more evaluators is called the average opinion score).
主観評価実験方法の詳細は、国際標準化機関ITU−T(International Telecommunication Union Telecommunication Standardization Sector)勧告P.910に記載されている。同じ符号化ビットレートの映像でも、映像の動き量や細かさの違いにより実現される品質は異なるため、多くの評価映像に対する評価結果を用い、その平均値などを主観品質評価値の代表値として定義することにより求めることができる。この単位時間映像品質評価値は、例えば10秒間の映像を評価して導出する。また、ITU−T勧告J.144に記載されている映像品質客観評価法を用いて、符号化ビットレートと単位時間の映像品質評価値の対応関係を導出することも可能である。 For details of the subjective evaluation experiment method, see International Standardization Organization ITU-T (International Telecommunication Union Telecommunication Standardization Sector) Recommendation 910. Even for videos with the same coding bit rate, the quality achieved depends on the amount of motion and fineness of the video, so the evaluation results for many evaluation videos are used, and the average value is used as the representative value for subjective quality evaluation values. It can be obtained by defining. This unit time video quality evaluation value is derived, for example, by evaluating a video for 10 seconds. In addition, ITU-T recommendation J.I. It is also possible to derive the correspondence between the encoding bit rate and the video quality evaluation value per unit time using the video quality objective evaluation method described in No. 144.
その後、単位時間映像品質評価値推定部11は、得られた各単位時間映像品質評価値を時系列で単位時間映像品質評価値記憶部12へ格納し(ステップ112)、一連の単位時間映像品質評価値推定処理を終了する。
これら単位時間映像品質評価値は、総合映像品質評価値推定の元データとなる。本実施の形態では、所望の評価期間を3分間とし、この評価期間内に得られた各単位時間映像品質評価値から当該評価期間における総合映像品質評価値を推定している。図3のステップ111では、単位時間を10秒間とし、この単位時間の符号化ビットレート毎に単位時間映像品質評価値を求めているが、ここでは1秒間の映像品質も10秒間の映像品質と同等であると仮定し、3分間180個の単位時間映像品質評価値を格納しておく。
Thereafter, the unit time video quality evaluation
These unit time video quality evaluation values are the original data for estimating the total video quality evaluation value. In the present embodiment, the desired evaluation period is set to 3 minutes, and the total video quality evaluation value in the evaluation period is estimated from each unit time video quality evaluation value obtained within this evaluation period. In
次に、図4を参照して、総合映像品質評価値推定処理について説明する。図2の映像品質評価処理のステップ102において、総合映像品質評価値推定部13は、図4の総合映像品質評価値推定処理を実行する。
図4の総合映像品質評価値推定処理において、総合映像品質評価値推定部13は、まず、単位時間映像品質評価値記録部12から過去3分間の評価期間内に得られた180個の単位時間映像品質評価値を取得する(ステップ120)。
Next, the overall video quality evaluation value estimation process will be described with reference to FIG. In
In the overall video quality evaluation value estimation process of FIG. 4, the overall video quality evaluation
続いて、総合映像品質評価値推定部13は、品質変動の影響と視聴者の品質劣化の忘却特性を考慮して、評価期間における配信映像の総合映像品質評価値を推定するため、180個の単位時間映像品質評価値のデータ群を品質劣化量および経過時間長で加重平均化された総合品質評価値を導出する。
具体的には、まず、時刻tの平均オピニオン評点をMOS(t)とし、現在時刻t=0から3分前の時刻t=−180のMOS(t)を用いて、式(1)により平均オピニオン評点MOS(t)を心理的な距離尺度であるQ(t)に変換する(ステップ121)。
Subsequently, the total video quality
Specifically, first, the average opinion score at time t is set to MOS (t), and the average value is calculated by the equation (1) using the MOS (t) at time t = −180 three minutes before the current time t = 0. The opinion score MOS (t) is converted into Q (t) which is a psychological distance measure (step 121).
次に、このQ(t)のデータ群に対して、式(2)により、心理的な距離尺度上で総合映像品質評価値Qestを算出して(ステップ122)、総合映像品質評価値補正部14へ出力し(ステップ123)、一連の総合映像品質評価値推定処理を終了する。 Next, the total video quality evaluation value Q est is calculated on the psychological distance scale for the data group of Q (t) by the equation (2) (step 122), and the total video quality evaluation value correction is performed. Output to the unit 14 (step 123), and the series of comprehensive video quality evaluation value estimation processing ends.
ここで、wおよびTは定数を表し、それぞれ、w=0.355、T=441の値をとる。数式(2)の右辺のexp{−wQ(t)}は劣化が大きいほど、すなわちQ(t)が小さい値をとるほど、総合映像品質に与える影響が強くなることを考慮した項を表している。また、exp(t/T)は時間的に後で発生した劣化の影響が前に発生したそれと比べて大きいことを考慮した項を表している。 Here, w and T represent constants and take values of w = 0.355 and T = 441, respectively. Exp {−wQ (t)} on the right side of Equation (2) represents a term that takes into consideration that the greater the deterioration, that is, the smaller the Q (t), the stronger the influence on the overall video quality. Yes. Also, exp (t / T) represents a term that takes into account that the influence of deterioration that occurred later in time is greater than that that occurred earlier.
次に、図5を参照して、総合映像品質評価値補正処理について説明する。図2の映像品質評価処理のステップ103において、総合映像品質評価値補正部14は、図5の総合映像品質評価値補正処理を実行する。
図5の総合映像品質評価値補正処理において、総合映像品質評価値補正部14は、まず、単位時間映像品質評価値推定部13から過去3分間の評価期間における総合映像品質評価値Qestを取得する(ステップ130)。
Next, the overall video quality evaluation value correction process will be described with reference to FIG. In step 103 of the video quality evaluation process of FIG. 2, the total video quality evaluation
In the total video quality evaluation value correction process of FIG. 5, the total video quality evaluation
続いて、総合映像品質評価値補正部140は、式(3)により、視聴者の単位時間視聴時の品質評価特性と評価期間視聴時の品質評価特性の違いを補正した総合映像品質評価値補正値Qest_cを算出する(ステップ131)。図6は、補正前後の映像品質評価特性の違いを示す説明図であり、式(3)はこれら特性の違いを補正する関数である。式(3)において、c1〜c3は定数を表し、例えば、c1=0.117、c2=0.145、c3=1.049の値をとる。ここでは、総合映像品質評価値推定部140で推定された総合映像品質評価値が高い場合はさらに高くなるよう補正し、かつ総合映像品質評価値推定部140で推定された総合映像品質評価値が低い場合はさらに低くなるよう補正する。 Subsequently, the total video quality evaluation value correction unit 140 corrects the total video quality evaluation value correction by correcting the difference between the quality evaluation characteristic at the time of viewing the viewer unit time and the quality evaluation characteristic at the time of viewing the evaluation period according to the equation (3). The value Q est_c is calculated (step 131). FIG. 6 is an explanatory diagram showing the difference in video quality evaluation characteristics before and after correction, and Equation (3) is a function for correcting the difference in these characteristics. In Expression (3), c1 to c3 represent constants, and take values of c 1 = 0.117, c 2 = 0.145, and c 3 = 1.049, for example. Here, when the total video quality evaluation value estimated by the total video quality evaluation value estimation unit 140 is high, the total video quality evaluation value is corrected to be higher, and the total video quality evaluation value estimated by the total video quality evaluation value estimation unit 140 is If it is lower, correct it to be lower.
次に、総合映像品質評価値補正部140は、式(4)により、心理的な距離尺度上で表現された総合映像品質評価値補正値Qest_cを、元の評価尺度上、ここでは平均オピニオン評点での総合映像品質評価値MOSallへ変換し(ステップ132)、評価期間における配信映像に対応する所望の総合映像品質評価値15として出力し(ステップ133)、一連の総合映像品質評価値補正処理を終了する。
Next, the total video quality evaluation value correction unit 140 calculates the total video quality evaluation value correction value Q est_c expressed on the psychological distance scale by the equation (4) on the original evaluation scale, here, the average opinion. The total video quality evaluation value MOS all at the score is converted to MOS all (step 132), and output as a desired total video
図7は、配信映像から得られた映像品質評価値(補正有り)の推定精度を示す説明図である。図8は、配信映像から得られた映像品質評価値(補正無し)の推定精度を示す説明図である。
図7において、横軸は視聴者が評価期間3分間の映像を視聴して実感した主観品質評価値を示し、縦軸は本実施の形態にかかる映像品質評価装置で得られた主観品質評価値の推定値(MOSall)を示している。ここでは、2種類のコンテンツA,Bに適用した場合の推定結果がプロットされている。
FIG. 7 is an explanatory diagram showing the estimation accuracy of the video quality evaluation value (with correction) obtained from the distribution video. FIG. 8 is an explanatory diagram showing the estimation accuracy of the video quality evaluation value (without correction) obtained from the distribution video.
In FIG. 7, the horizontal axis indicates the subjective quality evaluation value that the viewer feels by viewing the video for the evaluation period of 3 minutes, and the vertical axis indicates the subjective quality evaluation value obtained by the video quality evaluation apparatus according to the present embodiment. Is an estimated value (MOS all ). Here, the estimation results when applied to two types of contents A and B are plotted.
一方、図8には、前述した式3の補正を行わず、式2で得られたQestをQest_cとしてそのまま式4に代入してMOS値へ逆変換して得た品質評価値の推定結果がプロットされている。
主観品質評価値自体が持つ統計的ばらつき(95%信頼区間)の平均値MCI(Mean of 95% Confidence Interval)が0.23であるのに対して、図7における推定誤差(RMSE:Root Mean Square Error)がMCIより小さい0.19であり、図8における推定誤差がMCIより大きい0.25であることから、本実施の形態にかかる映像品質評価装置は、MCIよりも推定誤差が小さいという、実用上十分な精度で映像品質を推定できていることがわかる。
On the other hand, FIG. 8 shows the estimation of the quality evaluation value obtained by performing the inverse conversion to the MOS value by substituting Q est obtained in
The average value MCI (Mean of 95% Confidence Interval) of the statistical variation (95% confidence interval) of the subjective quality evaluation value itself is 0.23, whereas the estimation error (RMSE: Root Mean Square) in FIG. Error) is 0.19 smaller than MCI, and the estimated error in FIG. 8 is 0.25 larger than MCI. Therefore, the video quality evaluation apparatus according to the present embodiment has a smaller estimated error than MCI. It can be seen that the video quality can be estimated with sufficient accuracy for practical use.
このように、本実施の形態は、単位時間映像品質評価値推定部11により、入力された配信映像の映像品質評価値を単位時間毎に単位時間映像品質評価値として推定し、これら単位時間映像品質評価値のうち所望の評価期間内に得られた各単位時間映像品質評価値から当該評価期間における総合映像品質評価値を総合映像品質評価値推定部13により推定し、視聴者の単位時間視聴時の品質評価特性と評価期間視聴時の品質評価特性の違いに応じた補正関数に基づいて、総合映像品質評価値補正部14により総合映像品質評価値を補正するようにしたので、映像符号化速度が時間的に変動する場合でも、視聴者の単位時間視聴時の品質評価特性と評価期間視聴時の品質評価特性の違いを考慮して、視聴者が実感する品質を高精度に推定できる。
As described above, in this embodiment, the unit time video quality evaluation
[第2の実施の形態]
次に、図9を参照して、本発明の第2の実施の形態にかかる映像品質評価装置について説明する。図9は、本発明の第2の実施の形態にかかる映像品質評価装置の単位時間映像品質評価値推定処理を示すフローチャートである。
[Second Embodiment]
Next, a video quality evaluation apparatus according to the second embodiment of the present invention will be described with reference to FIG. FIG. 9 is a flowchart showing unit time video quality evaluation value estimation processing of the video quality evaluation apparatus according to the second embodiment of the present invention.
第1の実施の形態では、単位時間映像品質評価値推定部11において、配信映像の符号化ビットレートを入力とし、符号化ビットレートと映像品質評価値の関係から、単位時間の映像品質評価値を推定して出力した。本実施の形態では、配信映像信号からその品質評価値の変動を時系列として得る場合について説明する。なお、映像品質評価装置の構成は図1と同様であり、ここでの詳細な説明は省略する。
In the first embodiment, the unit time video quality
図2の映像品質評価処理のステップ100において、単位時間映像品質評価値推定部11は、図9の単位時間映像品質評価値推定処理を実行する。
図9の単位時間映像品質評価値推定処理において、単位時間映像品質評価値推定部11は、まず、入力された配信映像の映像信号を取得して(ステップ200)、この映像信号から単位時間毎、例えば10秒毎の映像品質客観評価値を順次算出する(ステップ201)。この際、映像品質客観評価値は、例えば、ITU−T勧告J.144に記載されている映像品質客観評価法を用いればよい。
In
In the unit time video quality evaluation value estimation process of FIG. 9, the unit time video quality evaluation
その後、単位時間映像品質評価値推定部11は、得られた各映像品質客観評価値を時系列で単位時間映像品質評価値記憶部12へ格納し(ステップ202)、一連の単位時間映像品質評価値推定処理を終了する。
これにより、単位時間映像品質評価値を推定する場合、配信映像信号からその品質評価値の変動を時系列として得ることができる。
Thereafter, the unit time video quality evaluation
Thereby, when estimating a unit time video quality evaluation value, the fluctuation of the quality evaluation value can be obtained as a time series from the distribution video signal.
[実施の形態の拡張]
以上の各実施の形態では、映像品質評価装置1が視聴者端末とは別個の装置から構成される場合を例として説明したが、これに限定されるものではなく、視聴者端末で実行されるアプリケーションプログラムにより映像品質評価装置1の各機能部を実現してもよい。この場合、映像品質評価装置1の各機能部を実現するアプリケーションプログラムをCD−ROMなどの記録媒体に記録して配布してもよい。
[Extended embodiment]
In each of the above embodiments, the case where the video
1…映像品質評価装置、11…単位時間映像品質評価値推定部、12…単位時間映像品質評価値記憶部、13…総合映像品質評価値推定部、14…総合映像品質評価値補正部、15…総合映像品質評価値、2…配信サーバ、3…ネットワーク。
DESCRIPTION OF
Claims (4)
入力された配信映像の映像品質評価値を単位時間毎に単位時間映像品質評価値として推定して記憶部へ格納する単位時間映像品質評価値推定部と、
前記記憶部から所望の評価期間内に得られた各単位時間映像品質評価値を取得し、これら単位時間映像品質評価値から当該評価期間における総合映像品質評価値を推定する総合映像品質評価値推定部と、
視聴者の単位時間視聴時の品質評価特性と評価期間視聴時の品質評価特性の違いに応じた補正関数に基づいて前記総合映像品質評価値を補正する総合映像品質評価値補正部と
を備えることを特徴とする映像品質評価装置。 A video quality evaluation apparatus that estimates and evaluates the quality perceived by viewers for distribution video distributed via a network,
A unit time video quality evaluation value estimator for estimating the video quality evaluation value of the input distribution video as a unit time video quality evaluation value for each unit time,
Total video quality evaluation value estimation for obtaining each unit time video quality evaluation value obtained within a desired evaluation period from the storage unit and estimating the total video quality evaluation value in the evaluation period from these unit time video quality evaluation values And
A total video quality evaluation value correction unit that corrects the total video quality evaluation value based on a correction function according to a difference between a quality evaluation characteristic during viewing of the viewer unit time and a quality evaluation characteristic during viewing during the evaluation period. A video quality evaluation device characterized by
前記総合映像品質評価値補正部は、前記総合映像品質評価値推定部で推定された総合映像品質評価値が高い場合はさらに高く、かつ前記総合映像品質評価値推定部で推定された総合映像品質評価値が低い場合はさらに低くなるよう補正することを特徴とする映像品質評価装置。 The video quality evaluation apparatus according to claim 1,
The total video quality evaluation value correction unit is higher when the total video quality evaluation value estimated by the total video quality evaluation value estimation unit is higher, and the total video quality estimated by the total video quality evaluation value estimation unit A video quality evaluation apparatus, wherein when the evaluation value is low, correction is performed so that the evaluation value is further reduced.
視聴者の単位時間視聴時の品質評価特性と評価期間視聴時の品質評価特性の違いに応じた補正関数に基づいて前記総合映像品質評価値を補正する総合映像品質評価値補正ステップを備えることを特徴とする映像品質評価方法。 It is used in a video quality evaluation device that estimates and evaluates the quality perceived by viewers for distribution video distributed via a network. Among the unit time video quality evaluation values obtained for each unit time from the distribution video, a desired value Based on each unit time video quality evaluation value obtained during the evaluation period, a video quality evaluation method for estimating the quality perceived by the viewer for the distribution video in the evaluation period as an overall video quality evaluation value,
A comprehensive video quality evaluation value correction step for correcting the total video quality evaluation value based on a correction function according to a difference between a quality evaluation characteristic at the time of viewing by the viewer and a quality evaluation characteristic at the time of viewing the evaluation period; Characteristic video quality evaluation method.
単位時間映像品質評価値推定部により、入力された配信映像の映像品質評価値を単位時間毎に単位時間映像品質評価値として推定して記憶部へ格納する単位時間映像品質評価推定ステップと、
総合映像品質評価値推定部により、前記記憶部から所望の評価期間内に得られた各単位時間映像品質評価値を取得し、これら単位時間映像品質評価値から当該評価期間における総合映像品質評価値を推定する総合映像品質評価値推定ステップと、
総合映像品質評価値補正部により、視聴者の単位時間視聴時の品質評価特性と評価期間視聴時の品質評価特性の違いに応じた補正関数に基づいて前記総合映像品質評価値を補正する総合映像品質評価値補正ステップと
を備えることを特徴とする映像品質評価方法。 A video quality evaluation method used in a video quality evaluation apparatus for estimating and evaluating the quality perceived by a viewer with respect to distribution video distributed via a network,
A unit time video quality evaluation value estimating unit for estimating a video quality evaluation value of the input distribution video as a unit time video quality evaluation value for each unit time and storing it in the storage unit;
Each unit time video quality evaluation value obtained within a desired evaluation period is acquired from the storage unit by the total video quality evaluation value estimation unit, and the total video quality evaluation value in the evaluation period is obtained from these unit time video quality evaluation values. A total video quality evaluation value estimation step for estimating
Comprehensive video quality evaluation value correction unit corrects the comprehensive video quality evaluation value based on a correction function according to a difference between a quality evaluation characteristic during viewing of a viewer unit time and a quality evaluation characteristic during evaluation period viewing by a viewer. A video quality evaluation method comprising: a quality evaluation value correction step.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006010899A JP4490374B2 (en) | 2006-01-19 | 2006-01-19 | Video quality evaluation apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006010899A JP4490374B2 (en) | 2006-01-19 | 2006-01-19 | Video quality evaluation apparatus and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007194893A JP2007194893A (en) | 2007-08-02 |
JP4490374B2 true JP4490374B2 (en) | 2010-06-23 |
Family
ID=38450232
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006010899A Expired - Fee Related JP4490374B2 (en) | 2006-01-19 | 2006-01-19 | Video quality evaluation apparatus and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4490374B2 (en) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5221459B2 (en) * | 2009-07-01 | 2013-06-26 | 日本電信電話株式会社 | Video quality estimation apparatus, system, method and program |
JP5901175B2 (en) * | 2011-08-08 | 2016-04-06 | アイキューブド研究所株式会社 | Content processing apparatus, content processing method, and program |
KR101323203B1 (en) | 2012-04-18 | 2013-10-30 | 연세대학교 산학협력단 | An apparatus for assessing continuous subjective visual discomfort and quality of 3-dimension contents and the method thereof |
JP5933487B2 (en) * | 2013-06-28 | 2016-06-08 | 日本電信電話株式会社 | QoE estimation apparatus, QoE estimation method and program |
JP6162596B2 (en) * | 2013-12-24 | 2017-07-12 | 日本電信電話株式会社 | Quality estimation apparatus, method and program |
JP6276206B2 (en) * | 2015-01-30 | 2018-02-07 | 日本電信電話株式会社 | Bandwidth allocation control device and bandwidth allocation control method |
RU2693027C1 (en) * | 2015-12-16 | 2019-07-01 | Ниппон Телеграф Энд Телефоун Корпорейшен | Device for assessing quality of audiovisual signal and method of evaluating quality of audiovisual signal |
CN105812706A (en) * | 2016-03-17 | 2016-07-27 | 掌赢信息科技(上海)有限公司 | Video call quality evaluation method and electronic device |
WO2018002234A1 (en) | 2016-06-29 | 2018-01-04 | Telefonaktiebolaget Lm Ericsson (Publ) | Quality estimation of adaptive multimedia streaming |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004072178A (en) * | 2002-08-01 | 2004-03-04 | Nippon Telegr & Teleph Corp <Ntt> | Apparatus for determining permissible packet loss rate and program therefor |
JP2004172753A (en) * | 2002-11-18 | 2004-06-17 | Nippon Telegr & Teleph Corp <Ntt> | Method and apparatus for objectively evaluating video / audio quality |
JP2005229214A (en) * | 2004-02-10 | 2005-08-25 | Nippon Telegr & Teleph Corp <Ntt> | Video service quality control method and apparatus for implementing the method |
JP2005244609A (en) * | 2004-02-26 | 2005-09-08 | Nippon Telegr & Teleph Corp <Ntt> | Network quality control target value calculating method and apparatus thereof, network quality monitoring method, and apparatus thereof |
-
2006
- 2006-01-19 JP JP2006010899A patent/JP4490374B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004072178A (en) * | 2002-08-01 | 2004-03-04 | Nippon Telegr & Teleph Corp <Ntt> | Apparatus for determining permissible packet loss rate and program therefor |
JP2004172753A (en) * | 2002-11-18 | 2004-06-17 | Nippon Telegr & Teleph Corp <Ntt> | Method and apparatus for objectively evaluating video / audio quality |
JP2005229214A (en) * | 2004-02-10 | 2005-08-25 | Nippon Telegr & Teleph Corp <Ntt> | Video service quality control method and apparatus for implementing the method |
JP2005244609A (en) * | 2004-02-26 | 2005-09-08 | Nippon Telegr & Teleph Corp <Ntt> | Network quality control target value calculating method and apparatus thereof, network quality monitoring method, and apparatus thereof |
Also Published As
Publication number | Publication date |
---|---|
JP2007194893A (en) | 2007-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4490374B2 (en) | Video quality evaluation apparatus and method | |
JP4486130B2 (en) | Video communication quality estimation apparatus, method, and program | |
US8154602B2 (en) | Video quality estimation apparatus, method, and program | |
EP2018068B1 (en) | Video quality estimating device, method, and program | |
JP5172440B2 (en) | Video quality estimation apparatus, method and program | |
US7965203B2 (en) | Video quality estimation apparatus, method, and program | |
JP6662905B2 (en) | Audiovisual quality estimation device, audiovisual quality estimation method, and program | |
US11463742B2 (en) | Quality estimation of adaptive multimedia streaming | |
JP7380832B2 (en) | Mathematical model derivation device, mathematical model derivation method and program | |
JP6162596B2 (en) | Quality estimation apparatus, method and program | |
JP6228906B2 (en) | Video quality estimation apparatus, method and program | |
JP4451857B2 (en) | Video quality parameter estimation apparatus, method, and program | |
WO2019194034A1 (en) | Viewing behaviour estimation device, viewing behaviour estimation method, and program | |
JP2020136922A (en) | Engagement estimation device, engagement estimation method, and program | |
JP7405256B2 (en) | Viewing completion rate estimation device, viewing completion rate estimation method, and program | |
JP7215209B2 (en) | Engagement estimation device, engagement estimation method and program | |
JP4460549B2 (en) | User experience quality estimation apparatus, method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100330 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100401 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130409 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130409 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140409 Year of fee payment: 4 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |